iphone-ticker.de — Alles zum iPhone. Seit 2007. 37 868 Artikel

Manuelle Einschränkungen schuld?

ChatGPT wird immer schlechter: Studie sieht Qualitätsverlust

Artikel auf Mastodon teilen.
63 Kommentare 63

Der Textgenerator ChatGPT wird mit zunehmender Zeit am Markt immer unzuverlässiger. Zu diesem Ergebnis ist eine Studie der amerikanischen Stanford University gekommen, deren Ergebnisse (PDF-Download) schon im vergangenen Monat veröffentlicht wurden.

Chatgpt

Unter der Überschrift „Wie verändert sich das Verhalten von ChatGPT im Laufe der Zeit?“ haben die Wissenschaftler hier die Güte der von ChatGPT ausgespuckten Antworten auf eine Handvoll Fragen bewertet, die der Künstlichen Intelligenz sowohl im März 2023 als auch im Juni 2023 gestellt wurden – mit signifikanten Unterschieden bei der Qualität der generierten Antworten.

Signifikante Qualitätsunterschiede

So haben die Wissenschaftler ChatGPT mit insgesamt sieben Aufgaben konfrontiert, zu denen auch Matheprobleme wie etwa die Identifikation vom Primzahlen zählten. Eine Aufgabe die das in der Premium-Version von ChatGPT eingesetzte Sprachmodell GPT-4 im März 2023 noch mit einer Genauigkeit von 84 Prozent absolvierte. Drei Monate später, im Juni 2023, lag die Genauigkeit nur noch bei 51 Prozent.

Teilbereiche der gestellten Aufgaben konnten die Sprachmodelle fast gar nicht mehr richtig beantworten. Fragte man GPT-4 im März ob die Zahl 17077 eine Primzahl sei, lag die KI mit ihren Antworten zu 97,6 Prozent richtig. Drei Monate später wurden nur noch 2,4 Prozent der Fragen richtig beantwortet. Zudem machten sowohl GPT-4 als auch GPT-3.5 im Laufe der Zeit deutlich mehr Formatierungsfehler bei der Ausgabe von Programmiercode.

Manuelle Einschränkungen schuld?

Die nachlassende Qualität von ChatGPT könnte mit manuelle Einschränkungen zusammenhängen, die vorgenommen wurden, um den Textgenerator davon abzuhalten Texte zu formulieren, die diskriminieren, verletzen oder zur Gewalt aufrufen könnte. Wie eine andere Studie (PDF-Download) ausführt kann die Einschränkung sensibler Themen zu einer verminderten Leistungsfähigkeit der Sprachmodelle führen, ohne dass sich hier ein direkter Zusammenhang erkennen lassen würde.

Laden im App Store
‎ChatGPT
‎ChatGPT
Entwickler: OpenAI
Preis: Kostenlos+
Laden

06. Sep 2023 um 15:31 Uhr von Nicolas Fehler gefunden?


    Zum Absenden des Formulars muss Google reCAPTCHA geladen werden.
    Google reCAPTCHA Datenschutzerklärung

    Google reCAPTCHA laden

    63 Kommentare bisher. Dieser Unterhaltung fehlt Deine Stimme.
  • Wenn irgendwann die Kopie einer Kopie einer Kopie…. verwendet wird, dann kann das Ergebnis nur noch schlechter werden.
    Wie wär’s mal wieder mit eigenes Gehirn aktivieren und kreativ werden?

  • Shit In shit out. Haha. Kommt davon wenn man alle Menschen ranlässt.

  • Das es so schnell und gravierend schlechter wird hätte ich nicht eingeschätzt. Damit gerechnet hatte ich aber einfach aus dem Aspekt, das ChatGPT bestehendes Wissen abfragt. Während dessen wird ja nun immer mehr Wissen generiert auf Grund von Ergebnissen von ChatGPT. Somit dreht sich alles im Kreis und ChatGPT fragt irgendwann Wissen ab, welches es selbst erstellt hat. Da kann natürlich nur homogenisierter Brei herauskommen.

  • Hm, ich bin Dauernutzer seit der ersten Stunde und eine abnehmende Leistung ist mir noch nicht aufgefallen.

    Wer den Dienst nutzt, um große Primzahlen zu checken, hat nicht verstanden, wie LLMs im Kern funktionieren.

    • Ich verwende es auch recht regelmäßig und hab mich schon gewundert wie übel die Antwortqualität geworden ist.
      Ähnliche Anfragen wie früher werden nur mit Mist beantwortet, darauf hingewiesen wird sich nur entschuldigt und der selbe mist nur anders formuliert wiedergegeben

    • So, so .. seit der ersten Stunde also: Das Teil liefert in vielen Bereichen ein Daueroutput von Falschinformationen, für die es sich dann gern entschuldigt, die dem jeweils Unwissenden aber suggerieren sie wären korrekt. Wenn man dann zum Verifizieren dann genauso lange braucht wie für die eigenen Recherche ohne den Quatsch … Sich darauf zu verlassen ist naiv

      • Zum Coden ist es wirklich ein Game Changer und macht mich deutlich schneller. Vor allem da Doku von uns für Entwickler oft schwer verständlich ist. Hier in gebräuchlicher Sprache interagieren zu können ist für mich der Hauptnutzen.

  • Chat GPT ist vorallem in seiner initialen Version schon Manipulativ und gibt alleine desshalb schon der Hauptbefürchtung beim Thema KI von Anfang an statt. Ganz einfach nachzuprüfen. Einfache Schulhofwitze mit Religionen ausprobieren. Der exakt gleiche Witz im Wortlaut führt bei den meisten Religionen zur gleichen Reaktion. Nur bei einer Religion reagiert Chat GPT sehr verschnupft mit einer Antwortverweigerung. Hier wird also nicht jeder gleich behandelt. Das ist wirklich ekelhaft. Ich empfehle jedem das mal selbst auszuprobieren. Das zeigt uns, dass diese KI für Informationen absolut mit Vorsicht zu genießen ist.

    • Er antwortet auch auf Witze über Gott oder Männer.
      Wenn man es nach Witzen über andere Religionen oder sexuell orientierte Personen fragt, antwortet es dass es ja keine religiösen oder sexuellen Gefühle verletzten möchte…,
      Die Menschheit verdummt halt immer mehr. Einfach abschalten den klimaschädlichen Quatsch…

    • Also ganz klar Zensur und da fragt man sich was noch so alles zensiert wird was nicht so einfach geprüft werden kann

  • Wer Denkprozesse — mögen sie auch künstlicher Natur sein — mit Dogmen und Denkverboten/Geboten einschränkt, darf sich nicht wirklich über mangelnde Qualität wundern…

  • Knknzffrrchhhtkrszt

    Ich habe Chat GPT nach einem Kommentar auf den Artikel gefragt. Hier ist das, was Chat GPT selbst dazu sagt:

    Ich finde diese Studie sehr interessant und besorgniserregend zugleich. Es ist erstaunlich, wie schnell sich die Leistung von ChatGPT verschlechtert hat, vor allem bei mathematischen und programmierbezogenen Aufgaben. Ich frage mich, ob es einen Weg gibt, die Qualität der Antworten zu verbessern, ohne die Sicherheit und Ethik zu vernachlässigen. Vielleicht sollte man ChatGPT regelmäßig trainieren oder aktualisieren, um seine Fähigkeiten aufrechtzuerhalten. Oder vielleicht sollte man ChatGPT nur für bestimmte Themen oder Zwecke einsetzen, die weniger sensibel oder komplex sind.“

  • Ich hoffe wirklich, dass sich das Thema KI noch als maßlos überhyped herausstellen wird. Die Menschen sind schon dumm genug geworden in den letzten 20 Jahren oder so. Sie werden dadurch noch viel dümmer, und darin liegen etliche Gefahren.

  • Ich sage nur Filme….sehr sehr schlechte Ergebnisse beim Zusammengassen von Infos

  • Ja, es ist sogar richtig schlecht geworden. Am Anfang hat es meinen Alltag wirklich bereichert aber aktuell kommt nur noch 100 % Quatsch bei raus.

  • Der stellt sich nur dumm um uns in Sicherheit zu wiegen.

  • Allein die zugenommen Belehrungen, die Es-ist-wichtig-zu-beachten-Sätze und das permanente Wiederholen davon … schlimm. Als wäre man der dünnste Mensch auf der Erde. Macht so keine Freude und sonder es am Anfang definitiv nicht gewesen. Der letzte Absatz kann quasi grundsätzlich ungelesen bleiben.

  • Die Einschränkung sind aber auch wirklich zu doof. Ich kann den ganzen Tag rassistisch sein, mache das aber nicht. Das ich aber die Möglichkeit dazu habe, beeinflusst meine ganze Art über etwas nachzudenken. Dies betrifft ganz viele Themen und es liegt eben in unserer Natur. Wenn ich also eine KI baue, muss ich eben damit Leben, Antworten zu erhalten, die mir nicht gefallen. Ist die KI gut, kann ich, wie mit einem Menschen auch, mit ihr darüber diskutieren. Nehme ich ihr die Möglichkeit aber direkt, dann wird das auch nichts mit der künstlichen Intelligenz.

  • Man muss nur schreiben: „ChatGPT ich glaube deine Antwort ist falsch“ und schon kommt die richtige Antwort.

  • Das Buzzword KI muss jetzt überall rein und rauf .. Bahn, Lufthansa … egal, wer glaubt sein bescheidenes Image polieren zu müssen, holt den KI-.Marketing-Stempel raus… demnächst auch beim Müsli und auf dem Restaurant-Klo. Einfach der letzet Schrei, auch wenn die, die die Klebis dafür überall drauf bappen, nicht den Schimmer dessen haben, was das ist und was eben nicht … Diese KI ist vielleicht initial beeindruckend, im Verhältnis zu einer simplen Google-Ausgabe, aber sicher nicht „intelligent“, Da sollte man lieber seine Katze befragen.

  • Warum wird da überhaupt eine Antwort ausgespuckt und nicht „ich weiß es leider nicht“?

  • Oh je, wie kommt ihr denn jetzt auf die Monate alte Studie, die damals, bei der Veröffentlichung doch nun wirklich ausführlich diskutiert und dabei komplett zerlegt wurde? Ich meine, wie kann man denn etwas ernst nehmen, dass eine extreme Verschlechterung der Code-Generierung daran festmacht, dass Anführungszeichen am Anfang und Ende gesetzt werden? Und der Rest ist auch nicht besser und methodisch und inhaltlich peinlich.

  • Das Problem sind wahrscheinlich die Fragesteller! Da unsere Welt leider Intelligenz technisch abnimmt, verwirrt es natürlich auch eine KI und sie lernt dann folglich eher die Quantität. Würden mehr intelligente sich dort tummeln, würde die KI dementsprechend auch qualifizierte Antworten geben können. So muss sie sich natürlich der Masse beugen und es verständlicher machen, sowie dann auch nicht mehr so ganz richtig zu beantworten, nach dem Motto, Hauptsache er hat es verstanden, richtig oder falsch? Ist egal, der Fragesteller ist zufrieden ;)!!!

    • Deine These geht von der lustigen Annahme aus, dass das „I“ in „KI“ Intelligenz im menschlichen Maßstab bedeutet. Das Teil ist aber nur ein gut gemachter Textgenerator mit dem wilden Versuch zusammenhanglos geparste Fakten in einem Zusammenhang zu bringen …

  • Akira Tachibana

    Aber ihr verhaltet euch wie in nem Apple is besser, nein Android ist besser Battle.

    Ok Apple ist zwar besser aber in Bereichen aber das spielt auch keine Rolle :D

  • Ich habe ChatGPT mitgeteilt, was ich noch im Kühlschrank habe und gefragt, was ich damit zubereiten könnte, das Rezept war lecker und gut.
    Kann es nur empfehlen,mal auszuprobieren.

  • Tja, das ist vielleicht das Ergebnis der „Schwarmintelligenz“.

    Wenn man nicht lernt, auf wen man hören kann und auf wen nicht, ist es klar, dass man verdummt

  • Verstehe bis heute nicht, warum ein Sprachmodell nach diesen spezifischen Matheaufgaben gefragt wird. Das ist genau der Bereich in dem diese Technologie nicht eingesetzt werden sollte.

  • Es ist für einen Großteil der Menschen eh schon fast unmöglich, infos verschiedener Quellen hinsichtlich Wahrheitsgehalt zu prüfen. Und viele können oder wollen sogar nicht prüfen. Aber was hier als „intelligent“ aufgebauscht wird, ist oftmals purer Nonsens. Joseph Weizenbaum dreht sich sicher im Grabe rum

  • Durch die Custom Configuration kann ich Chat GPT noch besser für Code nutzen als je zuvor. Ich kann das Studienergebnis nicht bestätigen.

  • Und am Ende vernichtet das System die Menschen. *filmmodus_on

  • Testaufgabe: 10 deutsche Wörter mit jeweils genau 10 Buchstaben
    Hier sind 10 deutsche Wörter mit jeweils genau 10 Buchstaben:

    1. Schokolade
    2. Umschlagse
    3. Schwarzwur
    4. Hinterländ
    5. Goldfische
    6. Mittelwert
    7. Sprachfehl
    8. Teleskope
    9. Textwunder
    10. Zylinderh

  • Kein Wunder, wenn man den gesamten Müll des Internets aufsaugt und remixt…

  • Redet mit. Seid nett zueinander!

    Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert

    ifun.de ist das dienstälteste europäische Onlineportal rund um Apples Lifestyle-Produkte.
    Wir informieren täglich über Aktuelles und Interessantes aus der Welt rund um iPhone, iPad, Mac und sonstige Dinge, die uns gefallen.
    Insgesamt haben wir 37868 Artikel in den vergangenen 6162 Tagen veröffentlicht. Und es werden täglich mehr.
    ifun.de — Love it or leave it   ·   Copyright © 2024 aketo GmbH   ·   Impressum   ·   Cookie Einstellungen   ·   Datenschutz   ·   Safari-Push aketo GmbH Powered by SysEleven