{"id":227216,"date":"2023-12-21T12:45:37","date_gmt":"2023-12-21T11:45:37","guid":{"rendered":"https:\/\/www.iphone-ticker.de\/?p=227216"},"modified":"2023-12-21T12:49:33","modified_gmt":"2023-12-21T11:49:33","slug":"ki-auf-mobilgeraeten-apple-forscher-melden-durchbruch","status":"publish","type":"post","link":"https:\/\/www.iphone-ticker.de\/ki-auf-mobilgeraeten-apple-forscher-melden-durchbruch-227216\/","title":{"rendered":"KI auf Mobilger\u00e4ten: Apple-Forscher melden Durchbruch"},"content":{"rendered":"<p>Um so genannte Large Language Modelle (LLM), also die k\u00fcnstlich intelligenten Sprachgeneratoren vom Typ ChatGPT, lokal und ohne Internetverbindung auf den eigenen Ger\u00e4ten einsetzen zu k\u00f6nnen wird eine vergleichsweise performante Hardware ben\u00f6tigt.<\/p>\n<p><a href=\"https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2023\/12\/apple-ml-research.png\"><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-medium wp-image-227219\" src=\"https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2023\/12\/apple-ml-research-500x263.png\" alt=\"Apple Ml Research\" width=\"500\" height=\"263\" srcset=\"https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2023\/12\/apple-ml-research-500x263.png 500w, https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2023\/12\/apple-ml-research-700x368.png 700w, https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2023\/12\/apple-ml-research.png 1200w\" sizes=\"auto, (max-width: 500px) 100vw, 500px\" \/><\/a><\/p>\n<h2>F\u00fcr lokale Sprachmodelle<\/h2>\n<p>Zum Ausf\u00fchren der Sprachmodelle sind dabei nicht unbedingt schnelle Prozessoren erforderlich, sondern vor allem ein \u00fcppiger Vorrat an freiem Arbeitsspeicher. Dieser ist auf Mobilger\u00e4ten wie dem iPhone bekanntlich Mangelware. Selbst Apples aktuellstes iPhone-Modell, das iPhone 15 Pro, verf\u00fcgt &#8222;nur&#8220; \u00fcber acht Gigabyte Arbeitsspeicher.<\/p>\n<p>Als entsprechend signifikant darf die Ver\u00f6ffentlichung eingestuft werden, die ein Team von Wissenschaftlern um Apples Machine-Learning-Ingenieure <a href=\"https:\/\/www.linkedin.com\/posts\/mehrdad-farajtabar-9963b79a_sparsity-windowing-locality-activity-7143330882244796416-q4Nj\">Mehrdad Farajtabar<\/a>, Keivan Alizadeh und Ahsen Khaliq jetzt in Form eines Papers freigegeben hat.<\/p>\n<ul>\n<li><strong>PDF-Download:<\/strong> <a href=\"https:\/\/arxiv.org\/pdf\/2312.11514.pdf\">Efficient Large Language Model Inference with Limited Memory<\/a><\/li>\n<\/ul>\n<p>Dabei haben Apples Ingenieure und Forscher eine Methode entwickelt, um gro\u00dfe Sprachmodelle auch auf Ger\u00e4ten mit begrenztem DRAM effizient zu betreiben. Grob vereinfacht, werden die Modellparameter dabei auf dem Flash-Speicher schwachbr\u00fcstiger Endger\u00e4te gesichert und nur bei Bedarf in den Arbeitsspeicher geladen.<\/p>\n<p><a href=\"https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2023\/12\/apple-paper.png\"><img loading=\"lazy\" decoding=\"async\" class=\"aligncenter size-large wp-image-227217\" src=\"https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2023\/12\/apple-paper-700x587.png\" alt=\"Apple Paper\" width=\"700\" height=\"587\" srcset=\"https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2023\/12\/apple-paper-700x587.png 700w, https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2023\/12\/apple-paper-500x419.png 500w, https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2023\/12\/apple-paper-1536x1288.png 1536w, https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2023\/12\/apple-paper.png 1610w\" sizes=\"auto, (max-width: 700px) 100vw, 700px\" \/><\/a><\/p>\n<h2>4- bis 25-mal schneller als bisher<\/h2>\n<p>Als Durchbruch darf die Art und Weise beschrieben werden, wie auf die Daten zugegriffen wird. Hier haben die Wissenschaftler ein Modell entwickelt, das voraussagt, welche Parameter als N\u00e4chstes ben\u00f6tigt werden und k\u00f6nnen diese so schnell und effizient von der Festplatte der Mobilger\u00e4te in deren Arbeitsspeicher \u00fcberf\u00fchren.<\/p>\n<p>Dank dieser neuen Techniken ist es den Forschern gelungen, lokale KI-Modelle zu nutzen, die doppelt so gro\u00df wie der verf\u00fcgbare Arbeitsspeicher sind. Zudem kann auf die f\u00fcr deren Ausf\u00fchrung ben\u00f6tigten Informationen 4- bis 25-mal schneller als bisher zugegriffen werden. Unterm Strich sind so die M\u00f6glichkeiten geschaffen, auch gro\u00dfe Sprachmodelle auf Endger\u00e4ten mit begrenztem Speicher effektiv nutzen zu k\u00f6nnen.<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/vg02.met.vgwort.de\/na\/471eda3d1dc24eb3a8b3f8e1147473d7\" width=\"1\" height=\"1\" no-lazy class=\"tracking\"><\/p>\n","protected":false},"excerpt":{"rendered":"<a href=\"https:\/\/www.iphone-ticker.de\/ki-auf-mobilgeraeten-apple-forscher-melden-durchbruch-227216\/\"><img width=\"150\" height=\"150\" src=\"https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2023\/12\/apple-ml-research-150x150.png\" class=\"alignright tfe wp-post-image\" alt=\"Apple Ml Research\" decoding=\"async\" loading=\"lazy\" \/><\/a><p>Um so genannte Large Language Modelle (LLM), also die k\u00fcnstlich intelligenten Sprachgeneratoren vom Typ ChatGPT, lokal und ohne Internetverbindung auf den eigenen Ger\u00e4ten einsetzen zu k\u00f6nnen wird eine vergleichsweise performante Hardware ben\u00f6tigt. F\u00fcr lokale Sprachmodelle Zum Ausf\u00fchren der Sprachmodelle sind dabei nicht unbedingt schnelle Prozessoren erforderlich, sondern vor allem ein \u00fcppiger Vorrat an freiem Arbeitsspeicher. [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":227219,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[1],"tags":[3912,3753,3696],"class_list":["post-227216","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news","tag-apple","tag-ki","tag-kuenstliche-intelligenz"],"aioseo_notices":[],"subheadline":["Kleiner Speicher, gro\u00dfe Sprachmodelle"],"featured_image":["https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2023\/12\/apple-ki-research.jpg"],"rest_api_enabler":{"subheadline":"Kleiner Speicher, gro\u00dfe Sprachmodelle","featured_image":"https:\/\/images.iphone-ticker.de\/wp-content\/uploads\/2023\/12\/apple-ki-research.jpg"},"_links":{"self":[{"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/posts\/227216","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/comments?post=227216"}],"version-history":[{"count":2,"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/posts\/227216\/revisions"}],"predecessor-version":[{"id":227224,"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/posts\/227216\/revisions\/227224"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/media\/227219"}],"wp:attachment":[{"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/media?parent=227216"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/categories?post=227216"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.iphone-ticker.de\/apiv2\/wp\/v2\/tags?post=227216"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}