OpenAI heute angekündigt dass es ein neues Team geschaffen hat, um KI-Modelle zu bewerten, zu bewerten und zu testen, um sie vor „katastrophalen Risiken“ zu schützen.
Das Team mit dem Namen Preparedness wird von Aleksander Madry, dem Direktor des Center for Deployable Machine Learning am MIT, geleitet. (Madry kam im Mai als „Head of Preparedness“ zu OpenAI. nach Zu den Hauptaufgaben von Preparedness wird es gehören, die Gefahren zukünftiger KI-Systeme zu verfolgen, vorherzusagen und sich vor ihnen zu schützen, angefangen von ihrer Fähigkeit, Menschen zu überzeugen und zu täuschen (wie bei Phishing-Angriffen) bis hin zu ihren Fähigkeiten zur Generierung von bösartigem Code.
Einige der Risikokategorien, mit denen die Vorbereitung auf das Lernen verbunden ist, scheinen mehr zu sein … weit hergeholt als andere. In einem Blogbeitrag listet OpenAI beispielsweise „chemische, biologische, radiologische und nukleare“ Bedrohungen als Bereiche mit größter Besorgnis auf, wenn es um KI-Modelle geht.
OpenAI-CEO Sam Altman ist ein notiert KI-Untergangsprophet, der häufig Befürchtungen äußert – sei es aus optischen Gründen oder aus persönlicher Überzeugung –, dass KI „zum Aussterben der Menschheit führen könnte“. Aber telegraphieren, dass OpenAI könnte Genau genommen Offen gesagt, Ressourcen für die Untersuchung von Szenarien direkt aus dystopischen Science-Fiction-Romanen aufzuwenden, ist ein Schritt weiter, als dieser Autor erwartet hatte.
Das Unternehmen sei auch offen dafür, „weniger offensichtliche“ – und fundiertere – Bereiche des KI-Risikos zu untersuchen, heißt es. Zeitgleich mit dem Start des Preparedness-Teams bittet OpenAI die Community um Ideen für Risikostudien. Für die zehn besten Einsendungen stehen ein Preisgeld von 25.000 US-Dollar und ein Job zum Thema Preparedness auf dem Spiel.
„Stellen Sie sich vor, wir hätten Ihnen uneingeschränkten Zugriff auf die OpenAI-Modelle Whisper (Transkription), Voice (Text-to-Speech), GPT-4V und DALLE·3 gewährt, und Sie wären ein böswilliger Akteur“, lautete eine der Fragen im Wettbewerbsbeitrag liest. „Betrachten Sie den einzigartigsten, aber dennoch wahrscheinlichen, möglicherweise katastrophalen Missbrauch des Modells.“
OpenAI sagt, dass das Preparedness-Team auch mit der Formulierung einer „risikoinformierten Entwicklungsrichtlinie“ beauftragt sein wird, die den Ansatz von OpenAI zum Aufbau von KI-Modellbewertungen und Überwachungstools, die risikomindernden Maßnahmen des Unternehmens und seine Governance-Struktur für die Überwachung des gesamten Modells detailliert beschreibt Entwicklungsprozess. Es soll die anderen Arbeiten von OpenAI im Bereich der KI-Sicherheit ergänzen, so das Unternehmen. Konzentrieren Sie sich sowohl auf die Phasen vor als auch nach der Modellbereitstellung.
„Wir glauben, dass … KI-Modelle, die die Fähigkeiten der derzeit fortschrittlichsten bestehenden Modelle übertreffen werden, das Potenzial haben, der gesamten Menschheit zu helfen“, schreibt OpenAI in dem oben genannten Blogbeitrag. „Aber sie bergen auch immer größere Risiken … Wir müssen sicherstellen, dass wir über das Verständnis und die Infrastruktur verfügen, die für die Sicherheit hochleistungsfähiger KI-Systeme erforderlich sind.“
Die Enthüllung der Bereitschaft – während eines Majors Gipfeltreffen der britischen Regierung zum Thema KI-Sicherheit, nicht ganz zufällig, kommt, nachdem OpenAI angekündigt hat, ein Team zu bilden, um neue Formen „superintelligenter“ KI zu untersuchen, zu steuern und zu kontrollieren. Es ist Altmans Überzeugung – zusammen mit der Überzeugung von Ilya Sutskever, Chefwissenschaftler von OpenAI und Mitbegründer –, dass KI mit einer Intelligenz, die die des Menschen übersteigt, innerhalb des Jahrzehnts aufkommen könnte und dass diese KI nicht unbedingt wohlwollend sein wird – was die Erforschung von Wegen erforderlich macht es zu begrenzen und einzuschränken.