Audio Intelligence: Apples neuer KI-Bereich hört zu

Mit der „Visuellen Intelligenz“ hat Apple bereits einen eigenen Bereich geschaffen, in dem das iPhone seine Kamera nutzt, um die Umgebung zu erfassen und Informationen zu Gegenständen, Orten oder Texten bereitzustellen. Apple beschreibt die Funktion inzwischen als festen Bestandteil von Apple Intelligence. Nun bekommt auch das Hören einen vergleichbaren Überbau.

Unter dem Namen „Audio Intelligence“ fasst Apple vier Funktionen der Apple Watch Series 12 und Apple Watch Ultra 4 zusammen. Dazu gehören Siri Recap, Live Rewind, die automatische Musikerkennung mit Shazam und die Geräuscherkennung. Apple selbst spricht von einer neuen Klasse von Apple-Intelligence-Funktionen.

Damit geht es nicht nur darum, Gespräche mit künstlicher Intelligenz auszuwerten. Siri Recap erstellt Zusammenfassungen längerer Unterhaltungen. Den technischen Ablauf haben wir bereits ausführlich beschrieben. Live Rewind kann nach einem Doppeldruck auf die Digitale Crown die vorausgegangenen 15 Sekunden eines Gesprächs als Text zurückholen. Shazam erkennt Musik in der Umgebung, während die Geräuscherkennung unter anderem auf Sirenen, Alarme und Türklingeln reagieren kann.

Vier Funktionen unter einem neuen Oberbegriff

Der neue Name ist deshalb vor allem als Klammer zu verstehen. Ähnlich wie die Visuelle Intelligenz unterschiedliche Aufgaben rund um Kamera und Bilder bündelt, ordnet Audio Intelligence verschiedene Formen der akustischen Wahrnehmung unter Apple Intelligence ein. Die einzelnen Funktionen arbeiten dabei keineswegs identisch.

Gemeinsam ist ihnen die technische Grundlage auf der Apple Watch. Alle vier verwenden den S11-Chip und dessen sogenannte Secure Exclave. Dieser hardwareseitig abgeschottete Bereich verarbeitet Audiodaten getrennt vom restlichen System. Das Betriebssystem, Apps, der Nutzer selbst und Apple sollen keinen Zugriff auf die dort befindlichen Rohdaten erhalten. Statt dauerhaft gespeicherter Aufnahmen arbeitet das System mit einem fortlaufend überschriebenen Audiopuffer.

Vom lokalen Geräusch bis zur Cloud-Zusammenfassung

Wie weit die Audiodaten anschließend verarbeitet werden, hängt von der jeweiligen Funktion ab. Die Geräuscherkennung arbeitet direkt auf der Apple Watch. Bei Shazam wird aus dem Audiosignal zunächst eine nicht zurückrechenbare akustische Signatur erzeugt und nur diese zur Identifikation an Shazam übertragen. Live Rewind nutzt zusätzlich das gekoppelte iPhone für die Spracherkennung. Siri Recap geht noch einen Schritt weiter und lässt den zuvor lokal transkribierten und gekürzten Text von Private Cloud Compute zusammenfassen.

Apple macht mit Audio Intelligence damit ein weiteres klar benanntes Teilgebiet innerhalb von Apple Intelligence auf. Während die Visuelle Intelligenz Kamera und Bildschirminhalte als Ausgangspunkt nimmt, wird nun auch die akustische Wahrnehmung der Geräte zu einer eigenen Kategorie. Weitere Details zur neuen Sammelkategorie und ihrer technischen Umsetzung hat Apple in einem Support-Dokument zu Audio Intelligence sowie in einem ausführlichen Datenschutzpapier (PDF-Download) veröffentlicht.