Laut einer Person aus diesem Team wurden dem Superalignment-Team von OpenAI, das für die Entwicklung von Möglichkeiten zur Steuerung und Steuerung „superintelligenter“ KI-Systeme verantwortlich ist, 20 % der Rechenressourcen des Unternehmens versprochen. Doch Anfragen nach einem Bruchteil dieser Rechenleistung wurden oft abgelehnt, was das Team daran hinderte, seine Arbeit zu erledigen.
Dieses Problem führte unter anderem dazu, dass mehrere Teammitglieder diese Woche zurücktraten, darunter Co-Leiter Jan Leike, ein ehemaliger DeepMind-Forscher, der während seiner Zeit bei OpenAI an der Entwicklung von ChatGPT, GPT-4 und ChatGPTs Vorgänger InstructGPT beteiligt war.
Leike ging am Freitagmorgen mit einigen Gründen für seinen Rücktritt an die Öffentlichkeit. „Ich war schon seit geraumer Zeit anderer Meinung als die Führung von OpenAI über die Kernprioritäten des Unternehmens, bis wir endlich einen Bruchpunkt erreichten“, schrieb Leike in einer Reihe von Beiträgen auf X. „Ich glaube, dass viel mehr unserer Bandbreite für die Vorbereitung aufgewendet werden sollte.“ für die nächsten Generationen von Modellen zu Sicherheit, Überwachung, Bereitschaft, Schutz, Widerstandsfähigkeit gegen Gegner, (Super-)Ausrichtung, Vertraulichkeit, gesellschaftliche Auswirkungen und verwandte Themen. Es ist ziemlich schwierig, diese Probleme zu lösen, und ich mache mir Sorgen, dass wir nicht auf dem richtigen Weg sind, dorthin zu gelangen.“
OpenAI antwortete nicht sofort auf eine Bitte um Stellungnahme zu den versprochenen und diesem Team zugewiesenen Ressourcen.
OpenAI gründete im vergangenen Juli das Superalignment-Team und wurde von Leike und OpenAI-Mitbegründer Ilya Sutskever geleitet, der diese Woche ebenfalls aus dem Unternehmen ausschied. Es hatte das ehrgeizige Ziel, in den nächsten vier Jahren die zentralen technischen Herausforderungen der Steuerung superintelligenter KI zu lösen. Zusammen mit Wissenschaftlern und Ingenieuren aus der früheren Alignment-Abteilung von OpenAI sowie Forschern aus anderen Organisationen im gesamten Unternehmen sollte das Team durch Initiativen, einschließlich eines Forschungsstipendienprogramms, Forschungsarbeiten zur Sicherheit interner und nicht von OpenAI stammender Modelle beisteuern , die Arbeit der breiteren KI-Branche anwerben und mit ihr teilen.
Dem Superalignment-Team gelang es, eine Reihe von Forschungsergebnissen zur Sicherheit zu veröffentlichen und Zuschüsse in Millionenhöhe an externe Forscher weiterzuleiten. Doch als Produkteinführungen zunehmend die Bandbreite der OpenAI-Führung in Anspruch nahmen, sah sich das Superalignment-Team gezwungen, um mehr Vorabinvestitionen zu kämpfen – Investitionen, von denen es glaubte, dass sie für die erklärte Mission des Unternehmens, superintelligente KI zum Nutzen aller zu entwickeln, von entscheidender Bedeutung waren Menschheit.
„Der Bau intelligenterer Maschinen als Menschen ist ein grundsätzlich gefährliches Unterfangen“, fuhr Leike fort. „Aber in den letzten Jahren sind Sicherheitskultur und -prozesse gegenüber glänzenden Produkten in den Hintergrund getreten.“
Sutskevers Kampf mit OpenAI-CEO Sam Altman sorgte für zusätzliche Ablenkung.
Sutskever und der alte Vorstand von OpenAI beschlossen Ende letzten Jahres, Altman abrupt zu entlassen, weil sie Bedenken hatten, dass Altman gegenüber den Vorstandsmitgliedern nicht „durchweg offen“ gewesen sei. Unter dem Druck der OpenAI-Investoren, darunter Microsoft, und vieler eigener Mitarbeiter des Unternehmens wurde Altman schließlich wieder eingestellt, ein Großteil des Vorstands trat zurück und Sutskever angeblich nie zur Arbeit zurückgekehrt.
Laut der Quelle war Sutskever maßgeblich am Superalignment-Team beteiligt – er trug nicht nur zur Forschung bei, sondern fungierte auch als Brücke zu anderen Abteilungen innerhalb von OpenAI. Er würde auch als eine Art Botschafter fungieren und die Bedeutung der Arbeit des Teams für wichtige OpenAI-Entscheidungsträger verdeutlichen.
Nach dem Weggang von Leike und Sutskever ist John Schulman, ein weiterer Mitbegründer von OpenAI, an die Spitze der Arbeit des Superalignment-Teams getreten, aber es wird kein eigenes Team mehr geben, sondern ein loses Team Gruppe von Forschern, die in Abteilungen im gesamten Unternehmen eingebettet sind. Ein OpenAI-Sprecher beschrieb es als „integrierend“. [the team] tiefer.“
Es besteht die Befürchtung, dass die KI-Entwicklung von OpenAI dadurch nicht so sicherheitsorientiert sein wird, wie sie hätte sein können.
Wir starten einen KI-Newsletter! Melden Sie sich an Hier um es ab dem 5. Juni in Ihren Posteingängen zu erhalten.