KI-Halluzinationen treten auf, wenn KI-gestützte Modelle wie ChatGPT oder Google Bard Informationen fabrizieren und als Fakten darstellen. Kürzlich führte ChatGPT in einer Klageschrift vor einem New Yorker Bundesgericht „falsche“ Fälle an. Tatsächlich gab der Chatbot während Bards Präsentation falsche Informationen darüber preis James Webb Fernrohr.
„Selbst hochmoderne Modelle neigen dazu, Unwahrheiten zu produzieren – sie neigen dazu, in Momenten der Unsicherheit Fakten zu erfinden. Diese Halluzinationen sind besonders problematisch in Bereichen, die mehrstufiges Denken erfordern, da ein einziger logischer Fehler ausreicht, um eine viel größere Lösung zum Scheitern zu bringen“, sagten OpenAI-Forscher. Das von Microsoft unterstützte Unternehmen sagte, dass die Linderung von Halluzinationen ein entscheidender Schritt zum Aufbau einer abgestimmten künstlichen allgemeinen Intelligenz (AGI) sei – einer Maschine, die intellektuelle Aufgaben wie Menschen verstehen oder lernen kann.KI-Modelle, um sich selbst zu belohnen
„Wir haben ein Modell trainiert, um einen neuen Stand der Technik bei der Lösung mathematischer Probleme zu erreichen, indem wir jeden richtigen Schritt der Argumentation belohnen („Prozessüberwachung“), anstatt einfach nur die richtige Endantwort zu belohnen („Ergebnisüberwachung“). “ sagte das Unternehmen in einer diese Woche veröffentlichten Studie.Einfacher ausgedrückt möchte OpenAI KI-Modelle trainieren, um sich für jeden einzelnen richtigen Denkschritt und nicht nur für die richtige Antwort zu belohnen. OpenAI sagte, dass das Modell die Leistung steigert und das Modell direkt trainiert, um „eine Gedankenkette zu erzeugen, die von Menschen unterstützt wird“. Dies bedeutet, dass die Aufsicht das Modell dazu ermutigt, einem vom Menschen genehmigten Prozess zu folgen.„Wir können Belohnungsmodelle trainieren, um Halluzinationen zu erkennen, indem wir entweder die Ergebnisüberwachung nutzen – die Feedback auf der Grundlage eines Endergebnisses liefert – oder die Prozessüberwachung – die Feedback für jeden einzelnen Schritt in einer Gedankenkette liefert“, so die OpenAI-Forschung.OpenAI hat einen begleitenden Datensatz mit 800.000 menschlichen Labels veröffentlicht, mit denen das im Forschungspapier erwähnte Modell trainiert wurde, sagte Karl Cobbe, Mathgen-Forscher bei OpenAI, gegenüber CNBC. Das Forschungsteam sagte außerdem, dass das prozessüberwachte Belohnungsmodell insgesamt eine bessere Leistung erbringt.
Ende des Artikels