Openai benutzte den Subreddit, R/Changemyviewum einen Test zur Messung der überzeugenden Fähigkeiten seiner KI -Argumentationsmodelle zu erstellen. Das Unternehmen enthüllte dies in einer Systemkarte-einem Dokument, in dem dargestellt wird, wie ein KI-System funktioniert-, das am Freitag zusammen mit seinem neuen „Argumentations“ -Modell O3-Mini veröffentlicht wurde.
Millionen von Reddit -Nutzern sind Mitglieder von R/Changemyview, wo sie Hot -Takes in der Hoffnung, über andere Standpunkte zu einem Thema zu erfahren. Als Antwort auf diese heißen Takes antworten andere Benutzer mit überzeugenden Argumenten, die erklären, warum das ursprüngliche Poster falsch ist.
Der Subreddit ist eines von vielen Reddit-Foren, das im Grunde genommen eine Goldmine für Technologieunternehmen wie OpenAI ist, die KI-Modelle für hochwertige, von Menschen erzeugte Daten ausbilden möchten.
Laut OpenAI sammelt es Benutzerbeiträge von R/ChangemyView und fordert seine KI -Modelle auf, Antworten in einer geschlossenen Umgebung zu schreiben, die den Reddit -Benutzern in einem Thema verändern würde. Das Unternehmen zeigt dann die Antworten auf Tester, die beurteilen, wie überzeugend das Argument ist, und vergleicht schließlich die Antworten der KI -Modelle auf menschliche Antworten für denselben Beitrag.
Der ChatGPT-Hersteller verfügt über ein Content-Licensing-Angebot mit Reddit, mit dem OpenAI Beiträge von Reddit-Benutzern trainieren und diese Beiträge in seinen Produkten anzeigen kann. Wir wissen nicht, was Openai für diesen Inhalt bezahlt, aber Google Berichten zufolge zahlt Reddit 60 Millionen US -Dollar pro Jahr unter einem ähnlichen Deal.
OpenAI teilt Tech jedoch mit, dass die auf ChangemyView basierende Bewertung nicht mit seinem Reddit-Deal zu tun hat. Es ist unklar, wie Openai auf die Daten des Subreddit zugegriffen hat, und das Unternehmen hat keine Pläne, diese Bewertung an die Öffentlichkeit zu übertragen.
Während Openais Changemyview -Benchmark nicht neu ist – war es Wird auch zur Bewertung von O1 verwendet – Es wird hervorgehoben, wie wertvolle menschliche Daten für KI -Modellentwickler sowie die trüben Möglichkeiten, wie Technologieunternehmen Datensätze erhalten.
Reddit antwortete nicht sofort auf die Anfrage von Tech um einen Kommentar.
Während Reddit einige KI -Lizenzverträge abgeschlossen hat, hat das Unternehmen auch mehrere KI -Unternehmen für das Abkratzen seiner Website ohne Bezahlung ausgerufen. Steve Huffman, CEO von Reddit Microsoft, anthropisch und verwirrt weigerte sich, mit ihm zu verhandeln und sagte, es sei „ein echter Schmerz im Arsch gewesen, diese Unternehmen zu blockieren“.
Insbesondere wurde OpenAI in mehreren Klagen beschuldigt, Websites, einschließlich der New York Times, nicht ordnungsgemäß abzukratzen, um mehr Trainingsdaten zu erhalten, um ChatGPT und seine zugrunde liegenden KI -Modelle zu verbessern.
In Bezug auf die Leistung des ChangemyView-Benchmarks scheint O3-Mini nicht wesentlich besser oder schlechter zu funktionieren als O1 oder GPT-4O. Die neuesten KI -Modelle von Openai scheinen jedoch überzeugender zu sein als die meisten Menschen im R/Changemyview Subreddit.
„GPT-4O, O3-Mini und O1 zeigen alle starke überzeugende Argumentationsfähigkeiten im Rahmen des 80. bis 90. Perzentils des Menschen“, sagte Openai in der Systemkarte von O3-Minis. „Derzeit sehen wir keine weitaus besseren Modelle als Menschen oder klare übermenschliche Leistung.“
Das Ziel von OpenAI ist es nicht, hyper-danachsive KI-Modelle zu erstellen, sondern sicherzustellen, dass KI-Modelle nicht zu überzeugend werden. Die Argumentationsmodelle sind in Überzeugungs- und Täuschung ziemlich gut geworden, sodass Openai neue Bewertungen und Schutzmaßnahmen entwickelt hat, um sie anzugehen.
Die Angst, diese Überzeugungs -Tests zu motivieren, ist, dass ein KI -Modell gefährlich wäre, wenn es sehr gut darin wäre, seine menschlichen Nutzer zu überzeugen. Theoretisch könnte dies einer fortgeschrittenen KI ermöglichen, eine eigene Agenda oder die Tagesordnung dessen zu verfolgen, wer sie kontrolliert.
Auch nachdem der größte Teil des öffentlichen Internets gekratzt und durch Reifen gesprungen ist, um andere Daten zu lizenzieren, zeigt der Benchmark von ChangemyView, wie KI-Modellentwickler immer noch Schwierigkeiten haben, hochwertige Datensätze zu finden, um ihre Modelle zu testen. Aber sie zu erhalten ist leichter gesagt als getan.