Vollständige Verarbeitung auf dem Gerät
KI auf dem iPhone: Locally AI ermöglicht Offline-Nutzung vieler Modelle
Mit der App Locally AI lassen sich Sprachmodelle wie Meta Llama, Google Gemma oder Qwen direkt auf dem iPhone oder iPad ausführen. Eine Internetverbindung wird dafür nicht benötigt. Die gesamte Datenverarbeitung erfolgt lokal auf dem Gerät, was eine Nutzung ohne Anmeldung oder Cloud-Anbindung erlaubt.
Laut Anbieter bleibt so die Privatsphäre der Nutzer vollständig gewahrt, da keinerlei Daten an externe Server übertragen werden.
Technische Grundlage ist Apples MLX-Framework, das auf die hauseigenen Chips mit einheitlicher Speicherarchitektur abgestimmt ist. Dadurch sollen sowohl Ladezeiten als auch Antwortgeschwindigkeiten optimiert werden.
Unterstützt werden unter anderem die Modelle Llama 3.2, Gemma 2 und 3, Qwen 3, DeepSeek R1 sowie weitere quelloffene Systeme für Sprachverarbeitung und Bilderkennung. Die Anwendung richtet sich an Nutzer, die Sprachassistenten oder Textgeneratoren verwenden möchten, ohne dafür auf Online-Dienste zurückgreifen zu müssen.
Integration in iOS 26
Locally AI wurde gezielt für iOS 26 und die aktuelle Apple-Hardware entwickelt. Die App nutzt dabei Systemfunktionen wie die Sprachsteuerung über Siri, Schnellzugriffe per Kontrollzentrum und die Integration in Apples Kurzbefehle-App. Ein Sprachmodus erlaubt zudem gesprochene Eingaben, die vollständig lokal verarbeitet werden. Über ein anpassbaren System-Prompt lässt sich das Verhalten des Sprachmodells individuell steuern.
Besonders auf dem iPad sollen sich durch größere Displays und leistungsfähigere Chips auch komplexere Modelle und Aufgaben komfortabel nutzen lassen. Die aktuelle Version unterstützt seit kurzem auch das Apple Foundation Model.
Locally AI steht komplett kostenlos über den App Store für aktuelle iPhone- und iPad-Modelle zur Verfügung und kann ohne Registrierung genutzt werden. Einmal heruntergeladene Modelle lassen sich dauerhaft offline betreiben.
Leider haben weder Apple Intelligence noch irgendeine andere App Zugriff auf meinen Kalender oder so. Solange sind sie immer weit weg vom persönlichen Assistenten.
Und extra jetzt auf Google Calender umsteigen ist auch irgendwie dämlich.
Ja, so macht es nicht wirklich Spaß.
Könnte man nicht den Umweg über das abonnieren des eigenen Kalenders gehen?
Wie meinst du das? Gibst du denen den Zugriff bewusst nicht?
Also ich habe bis heute für die ChatGPT App noch keine Möglichkeit gefunden, weder über die App selbst, noch das Nutzen über Apple Intelligence, einen Zugriff auf den Kalender (Kalender App vom iPhone) zu erhalten.
Eine Lösung könnte sein, n8n zu nutzen. Dazu den Node „n8n-nodes-icloud“. Den Chat mit dem Agent kannst du extern verfügbar machen. Oder in Telegram einbinden und „richtig“ chatten.
Mit einem Telegram-Bot löst man aber immer noch das Kalenderproblem nicht.
Sicher! Telegram ist nicht die AI sondern verbindet sich mit dem hier angesprochenen n8n Server. Dieser stellt das Sprachmodel bereit das mit dem iCloud Node auch Zugriff auf den Kalender hat.
Vielleicht teste ich das mal
Danke für den Tipp! Lustig die Modelle mit Apple AI zu nutzen bevor es eine von Apple kreierte App gibt.
Gibt es ein lokales Modell, dass Bilder bearbeiten kann? In dieser App scheinbar nicht, aber vielleicht hat jemand eine Empfehlung?
Meinst Du i.S.v. NanoBanana? Das ist Lokal glaube ich zu rechenintensiv.
Ich denke du meinst in weitesten Sinne „Draw Things“.
Das ist eine App um offline Bilder zu generieren.
Ist allerdings keine Chatumgebung, aber man arbeitet dort mit einer Beschreibung aus Text.
Die App „Sogni“ erzeugt auch nur lokale Bilder, schnell und mit Auswahl verschiedener Modelle.
Also ich habe bis heute für die ChatGPT App noch keine Möglichkeit gefunden, weder über die App selbst, noch das Nutzen über Apple Intelligence, einen Zugriff auf den Kalender (Kalender App vom iPhone) zu erhalten.
Das ist das, was Apple schon vor 2 Jahren versprochen und nicht geliefert hat.
Leider können sich Fremdapps nicht so schön in das Betriebssystem integrieren, da Apple diese Anbieter draußen halten möchte um einen Vorteil for der Konkurrenz zu behalten.
Auch die x-te App ändert nicht die aktuelle Limitierung: die Performance. Die kleinen extrem quantifizierten Modelle liefern einfach nicht ausreichend Qualität für richtig produktiven Einsatz. Für ein paar lari-fari Chats oder Demo Zwecke mag das ja noch halbwegs klappen aber schon für halbwegs ernsthafte Transkripte ist das Ergebnis katastrophal. Ohne monströse GPU und verflucht schnellem Speicher in einer Größenordnung, die mobile Geräte weit übersteigt, läuft in der LLM Welt bis auf weiteres so gar nichts. Selbst die perfomantesten Mini Modelle mit MLX können nicht Hexen. Ich verstehe ehrlich gestanden nicht, was die Apps außer Tests und Spielerei erreichen wollen…
Ich befürworte ja lokale Verarbeitung aber das ist doch nicht brauchbar im aktuellen Zustand!
Danke für deine Hinweise. Ich dachte schon, ich stehe alleine da mit dieser Auffassung. Nicht mal auf dem Mac bringt das ein befriedigendes Ergebnis.
Kann mal jemand von den Nutzern bitte sagen, welche Anwendungen er für lokale LLM hat?
Ich denke lokale KI sollte nicht mit Chat GPT verglichen werden.
Natürlich kannst du damit keine großen Projekte programmieren.
Das kann auch nicht der Anspruch sein.
Aber eine normale Unterhaltung zur Entscheidungsfindung geht problemlos.
Ich mag die Modelle von Mistral am meisten, die sind smart und laufen flüssig.
Die Zukunft findet lokal statt, alles mit großer Rechenleistung bzw. dem Bedarf für diese, wird nie lokal laufen.
Aber mal ernsthaft, wer nutzt KI aktuell wirklich, ausser Programmierer die anderenfalls bereits arbeitslos wären?
Ich meine für produktive Prozesse, nicht als psychologische Zwecke, was wider ein ganz eigenes Thema ist.
Gerade eben habe ich zum Beispiel in einem 400 Seiten-Buch, jede kursive Textstelle mit einem Sonderzeichen am Anfang und Ende markiert, egal wie viele Worte die Textstelle beinhaltet. Konventionell hätte ich viele Stunden dafür gebraucht. Mit Suchen und Ersetzen geht es nicht, weil es sowohl einzelne Worte als auch mehrere Worte umfassen muss. Nur eins von vielen Beispielen für mich.
Also ein Chat mit der Apple KI macht irgendwie keine Sinn, kommen nur Antworten die auf Apples Internetseite verweisen.
Kann man hier auch den Voicemode auf Deutsch umstellen? Habe dazu noch nichts gefunden.
Kokoro unterstützt glaube ich noch kein deutsch