Hat OpenAI eine KI-Technologie erfunden, die das Potenzial hat, „die Menschheit zu bedrohen“? Einige der jüngsten Schlagzeilen lassen vermuten, dass dies der Fall ist.
Reuters Und Die Information Letzte Woche wurde erstmals berichtet, dass mehrere OpenAI-Mitarbeiter in einem Brief an den Vorstand des KI-Startups auf die „Fähigkeit“ und die „potenzielle Gefahr“ eines internen Forschungsprojekts namens „Q*“ hingewiesen hätten. Dem Bericht zufolge könnte dieses KI-Projekt bestimmte mathematische Probleme lösen – wenn auch nur auf Grundschulniveau –, hatte aber nach Ansicht der Forscher die Chance, zu einem schwer fassbaren technischen Durchbruch zu führen.
Es gibt derzeit eine Debatte darüber, ob der Vorstand von OpenAI jemals einen solchen Brief erhalten hat – The Verge zitiert a Quelle was darauf hindeutet, dass dies nicht der Fall war. Aber abgesehen von der Formulierung von Q* ist Q* in Wirklichkeit möglicherweise nicht so monumental – oder bedrohlich – wie es klingt. Es könnte nicht einmal neu sein.
KI-Forscher auf In einem Beitrag auf X schreibt Rick Lamers, der den Substack-Newsletter Coding with Intelligence schreibt: spitz zu einem MIT-Gastvortrag, den OpenAI-Mitbegründer John Schulman vor sieben Jahren hielt und in dem er eine mathematische Funktion namens „Q*“ beschrieb.
Mehrere Forscher glauben, dass sich das „Q“ im Namen „Q*“ auf „Q-Learning“ bezieht, eine KI-Technik, die einem Modell hilft, bei einer bestimmten Aufgabe zu lernen und sich zu verbessern, indem es bestimmte „richtige“ Aktionen ausführt und dafür belohnt wird. Forscher sagen, dass das Sternchen ein Hinweis auf A* sein könnte, einen Algorithmus zur Überprüfung der Knoten, aus denen ein Diagramm besteht, und zur Erkundung der Routen zwischen diesen Knoten.
Beide gibt es schon eine Weile.
Google DeepMind nutzte Q-Learning, um einen KI-Algorithmus zu entwickeln, der Atari 2600-Spiele auf menschlicher Ebene spielen konnte … im Jahr 2014. A* hat seinen Ursprung in einer wissenschaftlichen Arbeit, die 1968 veröffentlicht wurde. Und vor einigen Jahren von Forschern an der UC Irvine erforscht Verbesserung von A* mit Q-Learning – das könnte genau das sein, was OpenAI jetzt anstrebt.
Nathan Lambert, ein Forschungswissenschaftler am Allen Institute for AI, sagte gegenüber Tech, er glaube, dass Q* „hauptsächlich“ mit Ansätzen in der KI zusammenhängt [for] Matheaufgaben in der High School studieren“ – nicht die Menschheit zerstören.
„OpenAI hat Anfang dieses Jahres sogar Arbeiten zur Verbesserung der mathematischen Argumentation von Sprachmodellen mit einer Technik namens Prozessbelohnungsmodelle veröffentlicht“, sagte Lambert, „aber es bleibt abzuwarten, wie bessere mathematische Fähigkeiten etwas anderes bewirken als machen.“ [OpenAI’s AI-powered chatbot] ChatGPT ist ein besserer Code-Assistent.“
Mark Riedl, Informatikprofessor an der Georgia Tech, äußerte sich ähnlich kritisch gegenüber der Berichterstattung von Reuters und The Information über Q* – und der breiteren Medienerzählung rund um OpenAI und sein Streben nach künstlicher allgemeiner Intelligenz (d. h. KI, die jede Aufgabe genauso gut ausführen kann). ein Mensch kann). Reuters deutete unter Berufung auf eine Quelle an, dass Q* ein Schritt in Richtung künstlicher allgemeiner Intelligenz (AGI) sein könnte. Doch Forscher – darunter auch Riedl – bestreiten dies.
„Es gibt keine Beweise dafür, dass große Sprachmodelle existieren [like ChatGPT] oder jede andere Technologie, die bei OpenAI entwickelt wird, ist auf dem Weg zu AGI oder einem der Untergangsszenarien“, sagte Riedl gegenüber Tech. „OpenAI selbst war bestenfalls ein ‚Fast Follower‘, da es bestehende Ideen aufgegriffen hat … und Wege gefunden hat, sie zu erweitern.“ Während OpenAI erstklassige Forscher einstellt, kann ein Großteil dessen, was sie getan haben, von Forschern anderer Organisationen übernommen werden. Dies wäre auch möglich, wenn OpenAI-Forscher bei einer anderen Organisation wären.
Riedl ahnte wie Lambert nicht, ob Q* Q-Learning oder A* mit sich bringen könnte. Aber wenn es sich um eines von beidem – oder um eine Kombination aus beidem – handele, stünde es im Einklang mit den aktuellen Trends in der KI-Forschung, sagte er.
„Das sind alles Ideen, die von anderen Forschern aus Wissenschaft und Industrie aktiv verfolgt werden und in den letzten sechs Monaten oder länger Dutzende Veröffentlichungen zu diesen Themen veröffentlicht haben“, fügte Riedl hinzu. „Es ist unwahrscheinlich, dass Forscher bei OpenAI Ideen hatten, die nicht auch die beträchtliche Anzahl von Forschern hatte, die ebenfalls Fortschritte in der KI verfolgen.“
Das soll nicht heißen, dass Q* – an dem Berichten zufolge Ilya Sutskever, der Chefwissenschaftler von OpenAI, beteiligt war – nicht den Weg nach vorne ebnen könnte.
Lamers behauptet, dass, wenn Q* einige der in a. beschriebenen Techniken verwendet Papier Wie OpenAI-Forscher im Mai veröffentlichten, könnte es die Fähigkeiten von Sprachmodellen „erheblich“ steigern. Auf der Grundlage des Papiers könnte OpenAI einen Weg gefunden haben, die „Argumentationsketten“ von Sprachmodellen zu kontrollieren, sagt Lamers – und es ihnen ermöglichen, Modelle anzuleiten, wünschenswertere und logisch fundiertere „Pfade“ zu verfolgen, um Ergebnisse zu erzielen.
„Dadurch würde es weniger wahrscheinlich sein, dass Modelle „menschlichem Denken fremd“ und falschen Mustern folgen, um böswillige oder falsche Schlussfolgerungen zu ziehen“, sagte Lamers. „Ich denke, das ist tatsächlich ein Gewinn für OpenAI in Bezug auf die Ausrichtung … Die meisten KI-Forscher sind sich einig, dass wir bessere Möglichkeiten brauchen, diese großen Modelle zu trainieren, damit sie Informationen effizienter nutzen können.“
Aber was auch immer aus Q* hervorgeht, es – und die relativ einfachen mathematischen Gleichungen, die es löst – werden kein Verhängnis für die Menschheit sein.