iphone-ticker.de — Alles zum iPhone. Seit 2007. 37 740 Artikel

Llama 3 lokal und offline nutzen

Meta AI mit Llama 3: Neue KI-Assistenz – in Deutschland über Umwege

Artikel auf Mastodon teilen.
14 Kommentare 14

Der Facebook-Mutterkonzern Meta hat Ende der vergangenen Woche sein neues KI-Sprachmodell Llama 3 präsentiert. Der offen entwickelte Chatbot soll auf Augenhöhe mit ChatGPT-4 arbeiten, ist grundsätzlich kostenfrei erhältlich und lässt sich, die entsprechenden Softwarelösungen vorausgesetzt, auch ohne aktive Internetverbindung lokal auf den eigenen Geräten einsetzen.

02 Meta AI In Messaging Apps Carousel 03 1

Meta selbst hat angekündigt, fast alle der hauseigenen Anwendungen um eine neue KI-Assistenz auf Basis von Llama 3 zu erweitern. Diese lässt sich nicht nur im Web auf www.meta.ai nutzen, sondern wird auch die iPhone-Anwendungen Facebook, Instagram, WhatsApp und den Facebook Messenger erreichen.

Der Rollout wird hier allerdings vorerst außerhalb Deutschlands stattfinden. Während die neue KI-Assistenz fortan etwa auch in Australien, Kanada, Jamaika, Neuseeland, Singapur und Südafrika angeboten wird, gilt für hiesige Anwender bis auf Weiteres: „Meta AI isn’t available yet in your country“.

Llama 3 in Eigenregie nutzen

Dies bedeutet jedoch nicht, dass ihr einen Bogen um das gänzlich kostenfreie Sprachmodell machen müsst. Mit den richtigen Anwendungen lässt sich Llama 3 auch auf den Mac oder auf das eigene iPhone laden und hier ohne weitere Abhängigkeiten einsetzen.

Auf dem Mac bietet sich dazu etwa die Anwendung GPT4All an. Ist diese installiert, muss nur noch das vier Gigabyte große Llama 3-Modell nachgeladen und ausgeführt werden, um den vollen Zugriff auf die neue KI-Assistenz zu bekommen.

Auf dem iPhone lässt sich das neue Llama 3-Modell mithilfe des kostenpflichtigen Downloads Private LLM herunterladen und ausführen. Seit dem 20. April steht die Anwendung in Version 1.7.8 zur Verfügung und ist in der Lage, Metas neues KI-Modell vollständig lokal auszuführen.

Laden im App Store
‎Private LLM - Local AI Chatbot
‎Private LLM - Local AI Chatbot
Entwickler: Numen Technologies Limited
Preis: 9,99 €
Laden

22. Apr 2024 um 06:58 Uhr von Nicolas Fehler gefunden?


    Zum Absenden des Formulars muss Google reCAPTCHA geladen werden.
    Google reCAPTCHA Datenschutzerklärung

    Google reCAPTCHA laden

    14 Kommentare bisher. Dieser Unterhaltung fehlt Deine Stimme.
  • Hier noch andere Tools um LLM’s Lokal auszuführen:
    – LM Studio
    – Faraday
    – GPT4All ( wie oben genannt )
    – Jan Ai
    – Ollama
    – Private GPT
    – Text Gen Web UI

  • Wie habe ich mir denn da das Geschäftsmodell vorzustellen?

    • Eine Theorie die ich mal auf Twitter las die mir plausibel erschien:

      Es geht weniger monetarisierung als um die Frage wie man Services von sich abhängig machen kann.

      Man möchte also jetzt das möglichst viele Unternehmen und startups auf LLAMA aufbauen und sie dann in die (negativ ausgedrückt) Abhängigkeit von Meta zwingen.

      Ähnlich wie Amazon am Anfang so billig war dass sie Verlust machten aber einfach den längsten Hebel hatten und jetzt das E Commerce dominieren.

      So möchte Meta in vielen Jahren dank ihr „gratis KI“ den KI Markt dominieren.

      Wie gesagt nur eine Theorie. Aber spannende Frage.

      Antworten moderated
    • Wenn du nichts für das Produkt zahlst, dann bist du das Produkt!

      • Ja schon, aber bei einem lokalen Offline-Modell kriegt Meta ja auch eigentlich meine Daten nicht. Warum wird sowas also kostenlos zur Verfügung gestellt?

  • Hallo und vielen Dank für den Tipp! – Habe mir Private LLM heruntergeladen und auch das LLAMA3 – allerdings stürzt die App ab, nachdem ich das Model aktiviere. – Könnt Ihr das auch beobachten? Nutze ein iP13ProMax mit 17.4.1

    Antworten moderated
    • Dafür gab es einen Fix. Versuche nochmal die App im Store zu updated.
      Bei mir stürzte sie auch zunächst direkt zum Start ab.
      Nach dem Update ging sie dann.
      Llama3 ist sogar erstaunlich gut.
      Möchte hast sagen, dass es mit ein paar Optimierungen herzeigbar ist.
      Ich hoffe sehr das wir sowas mit iOS 18 für Siri auch sehen. Das wäre wirklich fantastisch

  • Weiss jemand inwieweit so etwas offline funktioniert? Welche Art Anfragen können beantwortet werden? Normalerweise werden die Informationen doch aus dem Internet gezogen.

    Antworten moderated
  • Hm, ja, ich habe mir das gerade mal Installiert und das Modell nachgeladen. Vermutlich habe ich eine abweichende Vorstellung von „Augenhöhe mit ChatGPT-4“. Bei mir klingt das Teil nach Met-Verkäufer auf dem Mittelaltermarkt mit 1,8 Promille: „Hier ist eine kleine Tatsache: Es gibt einen See in Schweden, der sich „Lake Mälaren“ nennt und dessen Wasser so sauber ist, dass man darin essen kann! Ja, wahrlich!“

  • Redet mit. Seid nett zueinander!

    Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

    ifun.de ist das dienstälteste europäische Onlineportal rund um Apples Lifestyle-Produkte.
    Wir informieren täglich über Aktuelles und Interessantes aus der Welt rund um iPhone, iPad, Mac und sonstige Dinge, die uns gefallen.
    Insgesamt haben wir 37740 Artikel in den vergangenen 6140 Tagen veröffentlicht. Und es werden täglich mehr.
    ifun.de — Love it or leave it   ·   Copyright © 2024 aketo GmbH   ·   Impressum   ·   Cookie Einstellungen   ·   Datenschutz   ·   Safari-Push aketo GmbH Powered by SysEleven