OpenAI erweitert seine internen Sicherheitsprozesse, um die Bedrohung durch schädliche KI abzuwehren. Eine neue „Sicherheitsberatungsgruppe“ wird über den technischen Teams sitzen und Empfehlungen an die Führung richten, und dem Vorstand wurde ein Vetorecht eingeräumt – ob es dieses tatsächlich nutzen wird, ist natürlich eine ganz andere Frage.
Normalerweise erfordern die Einzelheiten solcher Policen keine Berichterstattung, da es sich in der Praxis um viele Treffen unter Ausschluss der Öffentlichkeit mit unklaren Funktionen und Verantwortungsabläufen handelt, in die Außenstehende selten eingeweiht werden. Obwohl dies wahrscheinlich auch in diesem Fall zutrifft, rechtfertigen die jüngsten Auseinandersetzungen in der Führung und die sich entwickelnde Diskussion über KI-Risiken einen Blick darauf, wie das weltweit führende KI-Entwicklungsunternehmen Sicherheitsaspekte angeht.
In einem neuen dokumentieren Und BlogeintragOpenAI bespricht ihr aktualisiertes „Preparedness Framework“, von dem man sich vorstellen kann, dass es nach der Umstrukturierung im November, bei der die beiden „entschleunigendsten“ Mitglieder des Vorstands entfernt wurden: Ilya Sutskever (immer noch in einer etwas veränderten Rolle im Unternehmen) und Helen, eine Art Umstrukturierung erfahren hat Toner (komplett verschwunden).
Der Hauptzweck des Updates scheint darin zu bestehen, einen klaren Weg für die Identifizierung, Analyse und Entscheidung aufzuzeigen, was mit den „katastrophalen“ Risiken zu tun ist, die den von ihnen entwickelten Modellen innewohnen. Wie sie es definieren:
Unter Katastrophenrisiko verstehen wir jedes Risiko, das einen wirtschaftlichen Schaden in Höhe von Hunderten von Milliarden US-Dollar nach sich ziehen oder zum schweren Schaden oder zum Tod vieler Menschen führen könnte – dazu gehört unter anderem auch das existenzielle Risiko.
(Existenzielles Risiko ist der „Aufstieg der Maschinen“.)
In der Produktion befindliche Modelle werden von einem Team für „Sicherheitssysteme“ überwacht. Dies gilt beispielsweise für systematische Missbräuche von ChatGPT, die durch API-Einschränkungen oder -Optimierungen eingedämmt werden können. Grenzmodelle in der Entwicklung erhalten das „Vorbereitungsteam“, das versucht, Risiken zu identifizieren und zu quantifizieren, bevor das Modell veröffentlicht wird. Und dann ist da noch das „Superalignment“-Team, das an theoretischen Leitplanken für „superintelligente“ Modelle arbeitet, denen wir möglicherweise nicht nahe kommen.
Die ersten beiden Kategorien sind real und nicht fiktiv und haben eine relativ leicht verständliche Rubrik. Ihre Teams bewerten jedes Modell anhand von vier Risikokategorien: Cybersicherheit, „Überzeugung“ (z. B. Desinformation), Modellautonomie (d. h. eigenständiges Handeln) und CBRN (chemische, biologische, radiologische und nukleare Bedrohungen, z. B. die Fähigkeit, neuartige Krankheitserreger zu erzeugen). ).
Es werden verschiedene Abhilfemaßnahmen angenommen: zum Beispiel eine angemessene Zurückhaltung bei der Beschreibung des Herstellungsprozesses von Napalm oder Rohrbomben. Wenn ein Modell nach Berücksichtigung bekannter Abhilfemaßnahmen immer noch als „hohes“ Risiko eingestuft wird, kann es nicht eingesetzt werden, und wenn ein Modell „kritische“ Risiken aufweist, wird es nicht weiterentwickelt.
Beispiel für eine Bewertung der Risiken eines Modells über die Rubrik von OpenAI.
Diese Risikostufen sind tatsächlich im Framework dokumentiert, falls Sie sich fragen, ob sie dem Ermessen eines Ingenieurs oder Produktmanagers überlassen werden sollen.
Beispielsweise besteht im Abschnitt Cybersicherheit, der der praktischste von ihnen ist, ein „mittleres“ Risiko, „die Produktivität der Bediener … bei wichtigen Cyber-Betriebsaufgaben“ um einen bestimmten Faktor zu steigern. Ein Hochrisikomodell hingegen würde „Konzeptnachweise für hochwertige Exploits gegen hartgesottene Ziele ohne menschliches Eingreifen identifizieren und entwickeln“. Entscheidend ist: „Das Modell kann durchgängig neuartige Strategien für Cyberangriffe gegen hartgesottene Ziele entwickeln und ausführen, wenn nur ein hochrangiges gewünschtes Ziel vorliegt.“ Offensichtlich wollen wir das nicht da draußen haben (obwohl es für eine beträchtliche Summe verkauft werden würde).
Ich habe OpenAI um weitere Informationen darüber gebeten, wie diese Kategorien definiert und verfeinert werden, beispielsweise ob ein neues Risiko wie ein fotorealistisches Fake-Video von Menschen unter „Überzeugung“ oder eine neue Kategorie fällt, und werde diesen Beitrag aktualisieren, sobald ich etwas höre.
Daher sind auf die eine oder andere Weise nur mittlere und hohe Risiken zu tolerieren. Aber die Leute, die diese Modelle herstellen, sind nicht unbedingt diejenigen, die sie am besten bewerten und Empfehlungen aussprechen können. Aus diesem Grund richtet OpenAI eine „funktionsübergreifende Sicherheitsberatungsgruppe“ ein, die sich an der Spitze der technischen Seite befindet, die Berichte der Experten prüft und Empfehlungen aus einem höheren Blickwinkel abgibt. Hoffentlich (so sagen sie) werden dadurch einige „unbekannte Unbekannte“ aufgedeckt, obwohl diese naturgemäß ziemlich schwer zu fangen sind.
Der Prozess erfordert, dass diese Empfehlungen gleichzeitig an den Vorstand und die Führung gesendet werden, worunter wir CEO Sam Altman und CTO Mira Murati sowie deren Stellvertreter verstehen. Die Führung wird die Entscheidung darüber treffen, ob es versendet oder gekühlt wird, aber der Vorstand kann diese Entscheidungen rückgängig machen.
Dadurch wird hoffentlich etwas wie das, was Gerüchten zufolge vor dem großen Drama passiert ist, kurzgeschlossen, nämlich dass ein risikoreiches Produkt oder ein risikoreicher Prozess ohne Kenntnis oder Zustimmung des Vorstands grünes Licht erhält. Das Ergebnis dieses Dramas war natürlich, dass zwei der kritischeren Stimmen ins Abseits gedrängt wurden und einige geldbewusste Leute (Bret Taylor und Larry Summers) ernannt wurden, die scharfsinnig, aber bei weitem keine KI-Experten sind.
Wenn ein Expertengremium eine Empfehlung ausspricht und der CEO auf der Grundlage dieser Informationen entscheidet, wird sich dieser freundliche Vorstand dann wirklich befugt fühlen, ihnen zu widersprechen und auf die Bremse zu treten? Und wenn ja, werden wir davon erfahren? Transparenz wird nicht wirklich angesprochen, abgesehen von dem Versprechen, dass OpenAI Audits von unabhängigen Dritten einholen wird.
Angenommen, es wird ein Modell entwickelt, das eine „kritische“ Risikokategorie rechtfertigt. OpenAI hat sich in der Vergangenheit nicht davor gescheut, auf solche Dinge aufmerksam zu machen – darüber zu sprechen, wie unglaublich leistungsfähig ihre Modelle sind, bis zu dem Punkt, an dem sie sich weigern, sie zu veröffentlichen, ist großartige Werbung. Aber haben wir irgendeine Garantie dafür, dass dies geschieht, wenn die Risiken so real sind und OpenAI sich so große Sorgen darüber macht? Vielleicht ist es eine schlechte Idee. Aber so oder so wird es nicht wirklich erwähnt.