Manuelle Einschränkungen schuld?
ChatGPT wird immer schlechter: Studie sieht Qualitätsverlust
Der Textgenerator ChatGPT wird mit zunehmender Zeit am Markt immer unzuverlässiger. Zu diesem Ergebnis ist eine Studie der amerikanischen Stanford University gekommen, deren Ergebnisse (PDF-Download) schon im vergangenen Monat veröffentlicht wurden.
Unter der Überschrift „Wie verändert sich das Verhalten von ChatGPT im Laufe der Zeit?“ haben die Wissenschaftler hier die Güte der von ChatGPT ausgespuckten Antworten auf eine Handvoll Fragen bewertet, die der Künstlichen Intelligenz sowohl im März 2023 als auch im Juni 2023 gestellt wurden – mit signifikanten Unterschieden bei der Qualität der generierten Antworten.
Signifikante Qualitätsunterschiede
So haben die Wissenschaftler ChatGPT mit insgesamt sieben Aufgaben konfrontiert, zu denen auch Matheprobleme wie etwa die Identifikation vom Primzahlen zählten. Eine Aufgabe die das in der Premium-Version von ChatGPT eingesetzte Sprachmodell GPT-4 im März 2023 noch mit einer Genauigkeit von 84 Prozent absolvierte. Drei Monate später, im Juni 2023, lag die Genauigkeit nur noch bei 51 Prozent.
Teilbereiche der gestellten Aufgaben konnten die Sprachmodelle fast gar nicht mehr richtig beantworten. Fragte man GPT-4 im März ob die Zahl 17077 eine Primzahl sei, lag die KI mit ihren Antworten zu 97,6 Prozent richtig. Drei Monate später wurden nur noch 2,4 Prozent der Fragen richtig beantwortet. Zudem machten sowohl GPT-4 als auch GPT-3.5 im Laufe der Zeit deutlich mehr Formatierungsfehler bei der Ausgabe von Programmiercode.
Manuelle Einschränkungen schuld?
Die nachlassende Qualität von ChatGPT könnte mit manuelle Einschränkungen zusammenhängen, die vorgenommen wurden, um den Textgenerator davon abzuhalten Texte zu formulieren, die diskriminieren, verletzen oder zur Gewalt aufrufen könnte. Wie eine andere Studie (PDF-Download) ausführt kann die Einschränkung sensibler Themen zu einer verminderten Leistungsfähigkeit der Sprachmodelle führen, ohne dass sich hier ein direkter Zusammenhang erkennen lassen würde.
