{"id":257463,"date":"2025-06-02T09:00:15","date_gmt":"2025-06-02T07:00:15","guid":{"rendered":"https:\/\/www.iphone-ticker.de\/?p=257463"},"modified":"2025-06-11T05:15:29","modified_gmt":"2025-06-11T03:15:29","slug":"beeindruckende-demo-chatgpt-uebernimmt-die-steuerung-des-iphones","status":"publish","type":"post","link":"https:\/\/www.iphone-ticker.de\/beeindruckende-demo-chatgpt-uebernimmt-die-steuerung-des-iphones-257463\/","title":{"rendered":"Beeindruckende Demo: ChatGPT \u00fcbernimmt die Steuerung des iPhones"},"content":{"rendered":"<p class=\"ai-optimize-7 ai-optimize-introduction\">Ein pers\u00f6nliches Projekt eines OpenAI-Entwicklers sorgt derzeit als Machbarkeitsstudie f\u00fcr Aufsehen in der iPhone-Community: Mit seinem sogenannten \u201e<a href=\"https:\/\/github.com\/rounak\/PhoneAgent\">PhoneAgent<\/a>\u201c demonstriert der App-Entwickler Rounak Jain, wie sich ein iPhone mithilfe von ChatGPT nahezu vollst\u00e4ndig per Sprache steuern l\u00e4sst \u2013 ganz ohne Zugriff auf nicht-\u00f6ffentliche Apple-Schnittstellen oder den Umweg \u00fcber einen Jailbreak.<\/p>\n<p class=\"ai-optimize-17\"><a href=\"https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2025\/04\/chatgpt-einsatz.png\"><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-medium wp-image-253921\" src=\"https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2025\/04\/chatgpt-einsatz-500x336.png\" alt=\"Chatgpt Einsatz\" width=\"500\" height=\"336\" srcset=\"https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2025\/04\/chatgpt-einsatz-500x336.png 500w, https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2025\/04\/chatgpt-einsatz-700x470.png 700w, https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2025\/04\/chatgpt-einsatz.png 1326w\" sizes=\"auto, (max-width: 500px) 100vw, 500px\" \/><\/a><\/p>\n<h6 class=\"ai-optimize-18\">ChatGPT: Schon jetzt in iOS integriert, allerdings nur als Siri-Notl\u00f6sung<\/h6>\n<p class=\"ai-optimize-8\">Die Anwendung basiert ausschlie\u00dflich auf offiziell verf\u00fcgbaren Entwicklerwerkzeugen und nutzt die Benutzeroberfl\u00e4che des Betriebssystems, wie sie auch f\u00fcr UI-Tests in Xcode zur Verf\u00fcgung steht. Dar\u00fcber kann der PhoneAgent Inhalte auslesen, auf Schaltfl\u00e4chen tippen, Texteingaben machen oder durch Apps scrollen. Die Kommunikation zwischen App und Testumgebung erfolgt dabei \u00fcber eine lokale Netzwerkverbindung.<\/p>\n<h2 class=\"ai-optimize-9\">Sprachsteuerung quer durch Apps<\/h2>\n<p class=\"ai-optimize-10\">Der PhoneAgent verarbeitet Eingaben \u00fcber Sprache oder Text und kann in mehreren Apps hintereinander Aufgaben ausf\u00fchren \u2013 \u00e4hnlich wie ein Nutzer, der sein Ger\u00e4t aktiv bedient. In einer Demonstration verschickte der virtuelle Assistent unter anderem Selfies mit dazu gedichteten Haikus, aktivierte die Taschenlampe, rief Fahrdienste oder \u00f6ffnete Anwendungen auf Zuruf. Eine optionale \u201eAlways On\u201c-Funktion erkennt Sprachbefehle sogar bei minimierter App im Hintergrund, sofern ein definiertes Schl\u00fcsselwort verwendet wird.<\/p>\n<p class=\"ai-optimize-11\">Die Umsetzung erfolgt auf Basis des GPT-4.1-Modells von OpenAI, das mithilfe der auslesbaren App-Struktur fundierte Entscheidungen trifft und passende Aktionen einleitet. Ein vollst\u00e4ndiges Bild der Benutzeroberfl\u00e4che erh\u00e4lt das System dabei nicht \u2013 dennoch reicht die zug\u00e4ngliche Datenstruktur f\u00fcr viele der typischen iPhone-Aktionen aus.<\/p>\n<p><div class=\"responsive-video\"><iframe loading=\"lazy\" title=\"Phone Using AI Agent\" width=\"500\" height=\"281\" src=\"https:\/\/www.youtube-nocookie.com\/embed\/4rnv6dN-2Lg?feature=oembed\" frameborder=\"0\" allow=\"accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture; web-share\" referrerpolicy=\"strict-origin-when-cross-origin\" allowfullscreen><\/iframe><\/div><\/p>\n<h2 class=\"ai-optimize-12\">Perspektive f\u00fcr Apple und OpenAI?<\/h2>\n<p class=\"ai-optimize-13\">Auch wenn es sich um ein privates Experiment handelt, zeigt das Projekt, welches Potenzial in einer engeren Kooperation zwischen Apple und OpenAI stecken k\u00f6nnte. Theoretisch lie\u00dfe sich das iPhone mit den vorhandenen Mitteln in einen durchg\u00e4ngigen, sprachgesteuerten Assistenten verwandeln \u2013 ganz ohne tiefgreifende Eingriffe in das Betriebssystem.<\/p>\n<p class=\"ai-optimize-14\">Der PhoneAgent ist auf dem Code-Portal <a href=\"https:\/\/github.com\/rounak\/PhoneAgent\">GitHub \u00f6ffentlich verf\u00fcgbar<\/a>, bei dessen Einsatz gilt jedoch: Alle Inhalte, mit denen der Assistent arbeitet, werden an die OpenAI-Schnittstelle \u00fcbermittelt.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/vg08.met.vgwort.de\/na\/9629f90e73a64b5c8b2ba8064050c9e0\" width=\"1\" height=\"1\" no-lazy class=\"tracking\"><\/p>\n","protected":false},"excerpt":{"rendered":"<a href=\"https:\/\/www.iphone-ticker.de\/beeindruckende-demo-chatgpt-uebernimmt-die-steuerung-des-iphones-257463\/\"><img decoding=\"async\" width=\"150\" src=\"https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2025\/04\/chatgpt-einsatz-500x336.png\" class=\"alignright wp-post-image tfe\" alt=\"Chatgpt Einsatz\" title=\"\" \/><\/a><p>Ein pers\u00f6nliches Projekt eines OpenAI-Entwicklers sorgt derzeit als Machbarkeitsstudie f\u00fcr Aufsehen in der iPhone-Community: Mit seinem sogenannten \u201ePhoneAgent\u201c demonstriert der App-Entwickler Rounak Jain, wie sich ein iPhone mithilfe von ChatGPT nahezu vollst\u00e4ndig per Sprache steuern l\u00e4sst \u2013 ganz ohne Zugriff auf nicht-\u00f6ffentliche Apple-Schnittstellen oder den Umweg \u00fcber einen Jailbreak. ChatGPT: Schon jetzt in iOS integriert, [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1,1975],"tags":[6316,3917,344,6781,8],"class_list":["post-257463","post","type-post","status-publish","format-standard","hentry","category-news","category-feature","tag-chatgpt","tag-entwickler","tag-iphone","tag-openai","tag-video"],"aioseo_notices":[],"subheadline":["Kein Jailbreak, keine Apple-Sonderrechte"],"featured_image":["https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2025\/02\/chatgpt-widget-feature.jpg"],"rest_api_enabler":{"subheadline":"Kein Jailbreak, keine Apple-Sonderrechte","featured_image":"https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2025\/02\/chatgpt-widget-feature.jpg"},"_links":{"self":[{"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/posts\/257463","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/comments?post=257463"}],"version-history":[{"count":1,"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/posts\/257463\/revisions"}],"predecessor-version":[{"id":257464,"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/posts\/257463\/revisions\/257464"}],"wp:attachment":[{"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/media?parent=257463"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/categories?post=257463"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/tags?post=257463"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}