Kurz nachdem OpenAI o1, sein erstes „logisches“ KI-Modell, veröffentlicht hatte, bemerkten die Leute ein merkwürdiges Phänomen. Das Modell begann manchmal auf Chinesisch, Persisch oder einer anderen Sprache zu „denken“ – selbst wenn ihm eine Frage auf Englisch gestellt wurde.
Wenn ein Problem gelöst werden muss – z. B. „Wie viele R enthält das Wort ‚Erdbeere‘?“ – würde o1 seinen „Denkprozess“ beginnen und durch die Durchführung einer Reihe von Argumentationsschritten zu einer Antwort gelangen. Wenn die Frage auf Englisch verfasst wäre, wäre die endgültige Antwort von o1 auf Englisch. Das Modell würde jedoch einige Schritte in einer anderen Sprache ausführen, bevor es seine Schlussfolgerung zieht.
„[O1] „Ich habe mittendrin zufällig angefangen, auf Chinesisch zu denken“, ein Benutzer auf Reddit sagte.
„Warum? [o1] „Fangen Sie zufällig an, auf Chinesisch zu denken?“ fragte ein anderer Benutzer in einem Beitrag auf X. „Kein Teil der Konversation (5+ Nachrichten) war auf Chinesisch.“
Warum fing o1 pro zufällig an, auf Chinesisch zu denken? Kein Teil der Konversation (5+ Nachrichten) war auf Chinesisch … sehr interessant … Einfluss der Trainingsdaten pic.twitter.com/yZWCzoaiit
– Rishab Jain (@RishabJainK) 9. Januar 2025
OpenAI hat keine Erklärung für das seltsame Verhalten von o1 geliefert – oder es auch nur zugegeben. Was könnte also los sein?
Nun, KI-Experten sind sich nicht sicher. Aber sie haben ein paar Theorien.
Mehrere auf X, darunter Hugging Face-CEO Clément Delangue, angedeutet Dies liegt daran, dass Argumentationsmodelle wie o1 auf Datensätzen trainiert werden, die viele chinesische Schriftzeichen enthalten. Ted Xiao, ein Forscher bei Google DeepMind, behauptete, dass Unternehmen wie OpenAI chinesische Datenkennzeichnungsdienste von Drittanbietern nutzen und dass die Umstellung von o1 auf Chinesisch ein Beispiel für „chinesischen sprachlichen Einfluss auf das Denken“ sei.
„[Labs like] OpenAI und Anthropic nutzen [third-party] Datenkennzeichnungsdienste für Argumentationsdaten auf PhD-Ebene für Naturwissenschaften, Mathematik und Codierung“, schrieb Xiao in einem Beitrag auf X. „[F]Aus Gründen der Verfügbarkeit von Fachkräften und aus Kostengründen haben viele dieser Datenanbieter ihren Sitz in China.“
Beschriftungen, auch Tags oder Anmerkungen genannt, helfen Modellen, Daten während des Trainingsprozesses zu verstehen und zu interpretieren. Beschriftungen zum Trainieren eines Bilderkennungsmodells könnten beispielsweise die Form von Markierungen um Objekte oder Bildunterschriften annehmen, die sich auf jede Person, jeden Ort oder jedes Objekt beziehen, die in einem Bild dargestellt sind.
Studien haben gezeigt, dass voreingenommene Etiketten zu voreingenommenen Modellen führen können. Zum Beispiel die durchschnittlicher Kommentator Es ist wahrscheinlicher, dass Phrasen im African-American Vernacular English (AAVE), der von einigen schwarzen Amerikanern verwendeten informellen Grammatik, als giftig gekennzeichnet werden. Führende KI-Toxizitätsdetektoren wurden auf die Etiketten trainiert, um AAVE als unverhältnismäßig giftig einzustufen.
Andere Experten glauben jedoch nicht an die o1-Hypothese der chinesischen Datenkennzeichnung. Sie weisen darauf hin, dass ein Wechsel zu o1 ebenso wahrscheinlich ist Hindi, Thailändischoder eine andere Sprache als Chinesisch, während Sie eine Lösung finden.
Vielmehr sagen diese Experten, o1 und andere Argumentationsmodelle könnte einfach so sein Sprachen nutzen Sie finden es am effizientesten, ein Ziel zu erreichen (oder zu halluzinieren).
„Das Modell weiß nicht, was Sprache ist oder dass Sprachen unterschiedlich sind“, sagte Matthew Guzdial, KI-Forscher und Assistenzprofessor an der University of Alberta, gegenüber Tech. „Es ist alles nur Text dazu.“
Tatsächlich verarbeiten Modelle Wörter nicht direkt. Sie verwenden stattdessen Token. Token dürfen Seien Sie Wörter wie „fantastisch“. Oder es können Silben sein, wie „fan“, „tas“ und „tic“. Oder es können sogar einzelne Zeichen in Wörtern sein – z. B. „f“, „a“, „n“, „t“, „a“, „s“, „t“, „i“, „c“.
Ebenso wie die Kennzeichnung können Token zu Vorurteilen führen. Beispielsweise gehen viele Wort-zu-Token-Übersetzer davon aus, dass ein Leerzeichen in einem Satz ein neues Wort bezeichnet, obwohl nicht alle Sprachen Leerzeichen zum Trennen von Wörtern verwenden.
Tiezhen Wang, ein Softwareentwickler beim KI-Startup Hugging Face, stimmt mit Guzdial darin überein, dass die Sprachinkonsistenzen von Argumentationsmodellen durch Assoziationen erklärt werden können, die die Modelle während des Trainings hergestellt haben.
„Indem wir jede sprachliche Nuance berücksichtigen, erweitern wir die Weltanschauung des Modells und ermöglichen ihm, aus dem gesamten Spektrum menschlichen Wissens zu lernen“, sagte Wang schrieb in einem Beitrag auf Aber wenn es um Themen wie unbewusste Voreingenommenheit geht, wechsle ich automatisch auf Englisch, vor allem weil ich dort diese Ideen zum ersten Mal gelernt und aufgenommen habe.“
Wangs Theorie ist plausibel. Modelle sind schließlich Wahrscheinlichkeitsmaschinen. Anhand vieler Beispiele lernen sie Muster, um Vorhersagen zu treffen, z. B. wie „an wen“ in einer E-Mail normalerweise vor „es könnte etwas betreffen“ steht.
Aber Luca Soldaini, Forscher am gemeinnützigen Allen Institute for AI, warnte, dass wir es nicht mit Sicherheit wissen können. „Diese Art der Beobachtung auf einem eingesetzten KI-System lässt sich aufgrund der Undurchsichtigkeit dieser Modelle nicht belegen“, sagte er gegenüber Tech. „Dies ist einer der vielen Gründe dafür, warum Transparenz beim Aufbau von KI-Systemen von grundlegender Bedeutung ist.“
Ohne eine Antwort von OpenAI müssen wir darüber nachdenken, warum o1 daran denkt Lieder auf Französisch aber Synthetische Biologie auf Mandarin.