Der neue Sicherheitsausschuss von OpenAI besteht aus Insidern

OpenAI hat gebildet ein neuer Ausschuss, der „kritische“ Sicherheitsentscheidungen im Zusammenhang mit den Projekten und Aktivitäten des Unternehmens überwachen soll. Doch in einem Schritt, der sicherlich den Zorn der Ethiker auf sich ziehen wird, hat OpenAI beschlossen, den Ausschuss mit Unternehmensinsidern – darunter Sam Altman, CEO von OpenAI – statt mit externen Beobachtern zu besetzen.

Altman und der Rest des Sicherheitsausschusses – die OpenAI-Vorstandsmitglieder Bret Taylor, Adam D’Angelo und Nicole Seligman sowie der Chefwissenschaftler Jakub Pachocki, Aleksander Madry (der OpenAIs „Bereitschafts“-Team leitet), Lilian Weng (Leiterin der Sicherheitssysteme), Matt Knight (Leiter der Sicherheit) und John Schulman (Leiter der „Ausrichtungswissenschaft“) – werden laut einem Beitrag im Unternehmensblog des Unternehmens in den nächsten 90 Tagen für die Bewertung der Sicherheitsprozesse und -vorkehrungen von OpenAI verantwortlich sein. Der Ausschuss wird seine Ergebnisse und Empfehlungen dann dem gesamten OpenAI-Vorstand zur Überprüfung vorlegen, sagt OpenAI. Zu diesem Zeitpunkt wird ein Update zu allen angenommenen Vorschlägen veröffentlicht, „in einer Weise, die mit Sicherheit und Schutz vereinbar ist“.

„OpenAI hat vor kurzem mit dem Training seines nächsten Grenzmodells begonnen und wir erwarten, dass die daraus resultierenden Systeme uns auf die nächste Leistungsebene bringen werden auf unserem Weg zu [artificial general intelligence,]”, schreibt OpenAI. „Wir sind stolz darauf, Modelle zu entwickeln und zu veröffentlichen, die sowohl in puncto Leistungsfähigkeit als auch Sicherheit branchenführend sind, begrüßen jedoch in diesem wichtigen Moment eine intensive Debatte.“

OpenAI hat in den letzten Monaten mehrere Aufsehen erregende Abgänge aus dem Sicherheitsbereich des technischen Teams – und einige dieser ehemaligen Mitarbeiter äußerten ihre Besorgnis über das, was sie als absichtliche Herabstufung der KI-Sicherheit ansehen.

Daniel Kokotajlo, der im Governance-Team von OpenAI arbeitete, aufhören im April, nachdem er das Vertrauen verloren hatte, dass OpenAI sich bei der Veröffentlichung immer leistungsfähigerer KI „verantwortungsvoll verhalten“ würde, wie er in einem Beitrag in seinem persönlichen Blog schrieb. Und Ilya Sutskever, Mitbegründer von OpenAI und ehemaliger Chefwissenschaftler des Unternehmens, verließ das Unternehmen im Mai nach einem langwierigen Streit mit Altman und Altmans Verbündeten – angeblich teilweise wegen Altmans Eile, KI-gestützte Produkte auf Kosten der Sicherheitsarbeit auf den Markt zu bringen.

Vor kurzem trat Jan Leike, ein ehemaliger DeepMind-Forscher, der bei OpenAI an der Entwicklung von ChatGPT und ChatGPTs Vorgänger, InstructGPT, beteiligt war, von seiner Rolle als Sicherheitsforscher zurück und sagte in einer Reihe von Beiträgen auf X, dass er glaube, dass OpenAI „nicht auf dem richtigen Weg“ sei, um Fragen der KI-Sicherheit und des KI-Schutzes „richtig“ zu lösen. Die KI-Politikforscherin Gretchen Krueger, die OpenAI letzte Woche verließ, wiederholte Leikes Aussagen: fordert das Unternehmen auf die Rechenschaftspflicht und Transparenz zu verbessern und „die Sorgfalt, mit der [it uses its] eigene Technologie.“

Quarz Anmerkungen dass neben Sutskever, Kokotajlo, Leike und Krueger mindestens fünf der sicherheitsbewusstesten Mitarbeiter von OpenAI seit Ende letzten Jahres entweder gekündigt oder entlassen wurden, darunter die ehemaligen OpenAI-Vorstandsmitglieder Helen Toner und Tasha McCauley. In einem Kommentar für The Economist veröffentlicht Am Sonntag schrieben Toner und McCauley, dass sie nicht glauben, dass man sich mit Altman an der Spitze darauf verlassen könne, dass OpenAI sich selbst Verantwortung übernimmt.

„[B]Aufgrund unserer Erfahrungen sind wir davon überzeugt, dass die Selbstverwaltung dem Druck von Gewinnanreizen nicht zuverlässig standhalten kann“, sagten Toner und McCauley.

Zu Toners und McCauleys Argument berichtete Tech Anfang des Monats, dass dem Superalignment-Team von OpenAI, das für die Entwicklung von Methoden zur Steuerung und Kontrolle „superintelligenter“ KI-Systeme verantwortlich ist, 20 % der Rechenressourcen des Unternehmens versprochen wurden – es aber kaum einen Bruchteil davon erhielt. Das Superalignment-Team wurde inzwischen aufgelöst und ein Großteil seiner Arbeit in die Zuständigkeit von Schulman und einer im Dezember von OpenAI gegründeten Sicherheitsberatungsgruppe gestellt.

OpenAI hat sich für eine Regulierung der KI eingesetzt. Gleichzeitig hat das Unternehmen Anstrengungen unternommen, diese Regulierung zu gestalten. Einstellung ein interner Lobbyist und Lobbyisten bei einer wachsenden Zahl von Anwaltskanzleien und gab allein im vierten Quartal 2023 Hunderttausende für Lobbyarbeit in den USA aus. Kürzlich gab das US-Heimatschutzministerium bekannt, dass Altman zu den Mitgliedern seines neu gegründeten Artificial Intelligence Safety and Security Board gehören wird, das Empfehlungen für eine „sichere und geschützte Entwicklung und Bereitstellung von KI“ in den kritischen Infrastrukturen der USA abgeben soll.

Um den Anschein zu vermeiden, dass mit dem von Führungskräften dominierten Sicherheitsausschuss ethische Feigenblätter gespielt werden, hat sich OpenAI verpflichtet, externe Experten für „Sicherheit, Schutz und Technik“ zu engagieren, um die Arbeit des Ausschusses zu unterstützen. Dazu gehören der Cybersicherheitsveteran Rob Joyce und der ehemalige Beamte des US-Justizministeriums John Carlin. Abgesehen von Joyce und Carlin hat das Unternehmen jedoch weder die Größe noch die Zusammensetzung dieser externen Expertengruppe näher erläutert – noch hat es Licht in die Grenzen der Macht und des Einflusses der Gruppe auf den Ausschuss gebracht.

In einem Post Auf X weist Bloomberg-Kolumnist Parmy Olson darauf hin, dass Aufsichtsgremien von Unternehmen wie das Safety and Security Committee, ähnlich wie Googles KI-Aufsichtsgremien wie der Advanced Technology External Advisory Council, „[do] praktisch keine tatsächliche Aufsicht.“ Bezeichnenderweise sagt Sie möchte über den Ausschuss auf „berechtigte Kritik“ an ihrer Arbeit eingehen – wobei „berechtigte Kritik“ natürlich im Auge des Betrachters liegt.

Altman versprach einst, dass Außenstehende eine wichtige Rolle bei der Governance von OpenAI spielen würden. In einem Artikel im New Yorker aus dem Jahr 2016 schrieb er: sagte dass OpenAI „[plan] eine Möglichkeit, weiten Teilen der Welt die Wahl von Vertretern in einen … Verwaltungsrat zu ermöglichen.“ Dazu ist es nie gekommen – und es erscheint zum jetzigen Zeitpunkt auch unwahrscheinlich, dass es dazu kommen wird.



tch-1-tech