Open Source und gänzlich kostenlos
Lokale KI auf iOS 26: Aeru nutzt Apples Foundation-Modelle
Leser haben uns auf Aeru aufmerksam gemacht, eine App, die wie SmartFruit auf Apples neue Foundation-Modelle setzt, jedoch vollständig kostenlos nutzbar ist. Mit iOS 26 hat Apple Entwicklern den direkten Zugriff auf die lokalen Sprachmodelle ermöglicht. Aeru zeigt, wie diese Schnittstellen praktisch eingesetzt werden können und positioniert sich als offene und datenschutzfreundliche Lösung.
Funktionen ohne Internetverbindung
Aeru bietet ein Chat-Interface, das direkt auf iPhone oder iPad läuft. Nutzer können Texteingaben machen, Dokumente hochladen und inhaltlich durchsuchen oder mehrere Chat-Sitzungen parallel führen. Alle Anfragen werden lokal verarbeitet, sodass keine Daten an externe Server übermittelt werden. Optional lässt sich eine Websuche einbinden, wenn aktuelle Informationen benötigt werden.
Besonders hervorzuheben ist der Sprachmodus, der freihändige Gespräche mit der KI erlaubt. Für die Dokumentensuche nutzt Aeru semantische Verfahren, um Inhalte nicht nur nach Schlagwörtern, sondern nach inhaltlichen Zusammenhängen zu erschließen. So können Anwender ein persönliches Wissensarchiv aufbauen, das vollständig offline bleibt.
Open Source und kostenlos
Die App ist quelloffen und vollständig auf GitHub einsehbar. Entwickler können sie anpassen oder erweitern und damit direkt an der Weiterentwicklung mitwirken. Auch das Interface orientiert sich an den aktuellen iOS-Designrichtlinien und bindet die von Apple bereitgestellten Foundation-Modelle ein.
Alle Funktionen sind ohne Zusatzkosten verfügbar. Weder Abonnements noch In-App-Käufe sind erforderlich. Damit positioniert sich Aeru als transparente und kostenfreie Alternative für Anwender, die die Möglichkeiten von Apple Intelligence nutzen möchten, ohne dabei auf Datenschutz oder lokale Verarbeitung zu verzichten. Vorausgesetzt wird ein iPhone 15 Pro oder neuer.
Und da kommt der wahre Vorteil von Apple Intelligence doch wirklich zum Vorschein. Ein Grundgerüst auf den jeder Entwickler bauen kann. Ohne extra Abos abzuschließen. Für alles Andre gibt es ja immer noch extra Apps.
Tja da bin ich mit meinem iPhone 14 Pro raus ;) Mein Gerät wird nicht unterstützt.
Ich bin mir nur nicht so sicher, wo genau der Vorteil sein soll. Das Modell an sich ist ja nicht so super. Da gibt es dich deutlich bessere auch lokal.
Sicherlich. Aber der Anfang ist gemacht.
Was hat Andre damit zu tun?!
Es wird nicht lange dauern und ein Entwickler wird eine App mit einem Abo rausbringen…
Dieser hier vermutlich nicht.
Geht dass dann für alle Geräte mit IOS 26, oder nur die neueren?
iOS 26 bietet die Schnittstelle an und alle Apple Intelligence Geräte halt. Also ab 15 pro.
Schade, danke für die Antwort.
English only
Sie versteht Deutsch, antwortet aber nur auf Englisch
Bei mir antwortet die auch auf Deutsch
Per Testeingabe
Apple Intelligence
natürlich Texteingabe
Bei mir hat sie auch erst auf Englisch geantwortet. Schreibt einfach dazu: „Antworte auf Deutsch.“, dann macht sie das auch.
Ach das läuft eh nicht. Fragt man, ob Wasser gesund ist, bekomme ich be SF die Anrwort, dass ich Informationen zum Produkt auf der Website von Apple einsehen kann.
Be Mir kommt. Yes, water is healthy!
Und bei SF = Ja, Wasser ist gesund und wichtig für unser Körper. Es hilft bei der Verdauung, dem Transport von Nährstoffen und der Regulierung der Körpertemperatur. Es ist eine gute Idee, ausreichend Wasser zu trinken, um gesund zu bleiben.
Wie bei SmartFruit
Geht bei Euch der pdf-Upload?
Habe es bisher nicht verstanden wie das funktionieren soll.
Wenn die App alles lokal verarbeitet, was bedeutet dann „Dokumente hochladen“ im obigen Artikel bzw. „Upload“ in Deiner Frage? Dass man der App ein Dokument oder einen Ordner mit Dokumenten zur Nutzung freigibt? Und wie lange dauert es dann, bis die App ein oder mehrere Dokumente durchsucht hat? Und zum Beispiel davon eine Zusammenfassung oder Inhaltsangabe erstellen kann – oder Fragen zu den Dokumentinhalten beantworten kann…?
Teste es doch einfach. Ist immer unterschiedlich
Also ich habe testweise versucht eine Bedienungsanleitung von einem PV Wechselrichter mit 248 Seiten hochzuladen und etwas darüber zu fragen. Der „Upload“ des Dokuments hat geklappt. Nach dem Abschicken der Frage kam jedoch die Fehlermeldung „An error occurred while processing your request: Exceeded model context window size“. Was weiss ich wo hier die Grenze ist.
@Hallojulia: Wenn ich iOS 26 hätte, würde ich nicht fragen. Da ich auf mein iPhone auch beruflich angewiesen bin, ist ein Umstieg auf die erste Betriebssystemversion tabu.
@Lanope: Also noch in den Kinderschuhen. Ich warte weiter.
Ich verstehe gerade nicht, wie eine KI offline funktionieren kann. Kann mich da einer aufschlauen? Ich meine, bei KI ist ja das schöne dass sie auf das (aktuelle) Wissen der Welt zurückgreift und daraus komplexe Themen aufbereiten oder Fragen beantworten kann.
…das ist doch nur ein kleines (wenn auch aktuell das populärste) Feld zur Nutzung der KI…
Du bist noch aus der Generation, die KI automatisch mit einem Chatbot gleichsetzt. Deshalb klingt deine Frage eher so, als würdest du den Chatbot mit seinem Wissenskontext meinen. Bei der vorgestellten App läuft es so: Sie greift auf ein LLM zurück, das ein solides Grundwissen mitbringt und optional eine Internetsuche nutzen kann, um aktuelles Wissen einzubeziehen. Apple Intelligence selbst wird regelmäßig aktualisiert und angepasst. Mit jedem Training des LLMs wird das System präziser, aktueller und damit auch „wissender“.
Ja ich sehe das tatsächlich aktuell hauptsächlich als Chatbot. Meine Frage geht also in die Richtung, wie lokal soviel Informationen / LLM gespeichert werden können – habe aber keinerlei Vorstellung von benötigter Datenmenge.
Und dass die KI (hier: Aeru) dann doch wieder aufs Internet zurückgreift, bedeutet ja dass es eben nicht nur lokal läuft.
Das ist ja nur optional. Wenn man Dinge im Internet suchen möchte. Das muss man auch aktivieren.
Die benötigte Datenmenge hängt immer vom Trainingsmaterial und vom geplanten Einsatz ab. Ein LLM bringt schon ein breites Grundwissen mit, das lokal genutzt werden kann.
Hm okay, da werde ich mich mal einlesen. Die App werde ich definitiv testen, da ich zwar die Vorzüge eines Chatbots liebe, aber trotzdem nicht meine Informationen den Anbietern (aktuell nutze ich Chat GPT und Grok) überlassen will.
Wobei du fairerweise sagen musst: ein LLM hat in dem Sinne keine „Wissen“ und beantwortet keine Fragen inhaltlich (es „versteht“ die Frage auch nicht in unserem Sinne von „verstehen“), es berechnet eigentlich immer nur die Antwort auf die gleiche Frage: „Was ist die wahrscheinlichste Antwort auf diese Frage?“
Ja das stimmt. Ich wollte es aber vereinfacht erklären. Es kommt halt auch immer auf die Qualität der Trainingsdaten an. Umso präziser ist die Wahrscheinlich passende Antwort.
Musste bei der Frage schmunzeln. Aber klar, wenn man nicht den akademischen Background, kann das solche Fragen hervorbringen.
Ein LLM ist nur ein (großes) mathematisches Modell, um einen Input auf einen Output abzubilden.
Ähnlich wie x^2 eine 2 auf eine 4 abbildet, bildet ein LLM den Input „Was ist ein LLM?“ auf eine clevere Antwort ab. Wenn man das Modell zusätzlich probabilistisch auslegt, dann sind die Antworten sogar jedes Mal etwas unterschiedlich, aber dennoch meist richtig.
Ja ich bin da tatsächlich nicht im Thema was die Funktion einer KI bzw. eines LLM angeht. Danke trotzdem fürs Antworten ohne Hate.
+1
Ich glaube die lokale Engine hat 7-9 GB
Ja klar, ohne akademischen Background hat man keine Chance das Thema zu verstehen. Mir tut es leid für alle, die keinen Doktortitel haben, sorry
Gibt es sowas für den Mac eigentlich? Also da Apples Foundation model zu nutzen?
Klar.
Warum werden nur Screenshots mit englischen Wörtern gezeigt und im Text ich’s drauf eingegangen ob auch deutsch geht? So bleibt einem nichts anderes übrig es zu laden, Zeit zu verplempern um es dann eventuell wieder löschen zu „müssen „
iPhone 15 Pro mit IOS 26 : bei mir wird angezeigt dass es nicht unterstützt wird.