ARKit 2: Apple baut Gesichts-Tracking massiv aus

Schon zu seinem Debüt in iOS 11 verfügte Apples Augmented Reality-Framework ARKit über umfangreiche Gesichts-Tracking-Funktionen. Sind die iPhone-Sensoren beim Einsatz entsprechender Apps scharf geschaltet, erkennt ARKit schon jetzt ganze 50 Gesichtseigenschaften, aus denen sich Gesichtsausdrücke extrapolieren lassen. Ist das linke Auge geöffnet? Ist der rechte Mundwinkel angezogen?

Funktionen die Apple zuletzt Kritik von Snowden eingehandelt und dafür gesorgt haben, dass Entwickler jetzt eine zusätzliche Datenschutz-Erklärung zeichnen müssen.

Nur selten im Einsatz, wird das von ARKit bereitgestellte Gesichts-Tracking etwa vorausgesetzt um den Einsatz der im vergangenen Jahre demonstrierten Snapchat-Masken zu ermöglichen. Nur durch die von Apple bereitgestellte, genaue Erfassung des Gesichtes und die beinahe latenzfreie Verfolgung der Muskelbewegungen lassen sich die Snapchat-Masken und Animoji-Charaktere überhaupt ordentlich animieren.

Zusammen mit iOS 12 wird Apple im Herbst ARKit 2 ausliefern und die Gesichts-Tracking-Kapazitäten dann erneut ausbauen.

Augen- und Zungenerkennung

Neben der auf der WWDC-Bühne besprochenen Zungen-Erkennung wird ARKit 2 in iOS 12 erstmals das Tracking der aktuellen Blickrichtung unterstützen. Sowohl die von beiden Augen im Verbund als auch die Einzel-Blickrichtungen für das rechte und das linke Auge.

Daten, die Entwickler anschließend sowohl zur Animation von eigenen Emojis oder Masken nutzen können, die sich aber auch zur App-Steuerung einsetzen lassen. Wie könnten in unserer neuen App etwa die Favoriten-Funktion aktivieren, sobald eine herausgestreckte Zunge erkannt wird (was wir nicht vorhaben).

Control your iPhone with your eyes. Just look at a button to select it and blink to press. Powered by ARKit 2. #ARKit #ARKit2 #WWDC #iOS pic.twitter.com/ow8TwEkC8J

— Matt Moss (@thefuturematt) 7. Juni 2018

Der Entwickler Matt Moss zeigt die Nutzung der neuen ARKit-Feature im eingebetteten Tweet – der Bau einer komplett von den Augen des Anwenders gesteuerten App, ist mit ARKit 2 jetzt ohne Weiteres möglich. Apple selbst erklärt die neuen Funktionen im WWDC-Vortrag 602 „What’s New in ARKit 2“.