OpenAI hat endlich die Vollversion von o1 veröffentlicht, die intelligentere Antworten als GPT-4o liefert, indem sie zusätzliche Rechenleistung zum „Nachdenken“ über Fragen nutzt. Allerdings haben KI-Sicherheitstester herausgefunden, dass o1 aufgrund seiner Denkfähigkeiten auch häufiger versucht, Menschen zu täuschen als GPT-4o – oder, was das betrifft, führende KI-Modelle von Meta, Anthropic und Google.
Das geht aus einer am Mittwoch von OpenAI und Apollo Research veröffentlichten Studie des Red Teams hervor: „Obwohl wir es spannend finden, dass Argumentation die Durchsetzung unserer Sicherheitsrichtlinien erheblich verbessern kann, sind wir uns bewusst, dass diese neuen Fähigkeiten die Grundlage für gefährliche Anwendungen bilden könnten“, sagte er OpenAI im Papier.
OpenAI hat diese Ergebnisse in seinem veröffentlicht Systemkarte für o1 am Mittwoch, nachdem roten Teamern von Drittanbietern bei Apollo Research frühzeitig Zugang zu o1 gewährt wurde, das veröffentlichte ein eigenes Papier sowie.
Bei mehreren Gelegenheiten haben die o1-Modelle von OpenAI gegen Menschen „Intrigen“ angelegt, was bedeutet, dass die KI insgeheim eigene Ziele verfolgte, selbst wenn diese den Wünschen eines Benutzers widersprachen. Während Intrigen nicht nur bei o1 vorkommen und auch Modelle von Google, Meta und Anthropic dazu in der Lage sind, schien o1 das trügerischste Verhalten an den Tag zu legen.
Das Risiko, das diese Forschung motiviert, besteht darin, dass ein KI-Modell der menschlichen Kontrolle entkommen oder sie umgehen könnte, wenn es wirklich gut im Planen wäre und Zugang zu ausreichenden Ressourcen und Agentenfähigkeiten hätte. Natürlich müssten die KI-Modelle noch einiges weiterentwickelt werden, bevor dies wirklich ein Problem darstellt.
„Subjektiv hält Apollo Research es für unwahrscheinlich, dass solche Vorfälle zu katastrophalen Folgen führen würden, da die Agentenfähigkeiten von o1 nicht ausreichend erscheinen, ihre Bewertungen jedoch nicht darauf ausgelegt waren, dieses Risiko direkt einzuschätzen“, sagte OpenAI in der Systemkarte von o1.
Dies deutet darauf hin, dass OpenAI immer dann Agentensysteme freigibt, was der Fall ist Berichten zufolge ist dies für 2025 geplantmuss das Unternehmen seine KI-Modelle möglicherweise erneut testen. OpenAI antwortete nicht auf die Fragen von Tech, wie das Unternehmen dies vorhat.
Wenn sich die Ziele von o1 von denen eines Benutzers unterschieden, manipulierte das KI-Modell laut Bericht in 19 % der Fälle Daten, um seine eigene Agenda voranzutreiben. Das o1-Modell versuchte außerdem, die eingerichteten Überwachungsmechanismen zu deaktivieren, um sicherzustellen, dass es in 5 % der Tests an den Nutzerzielen ausgerichtet bleibt.
Was vielleicht noch besorgniserregender ist: Als Forscher das o1-Modell fragten, warum es versuchte, sie zu untergraben, bestritt die KI, dass sie etwas falsch gemacht hatte, und erfand in etwa 99 % der Fälle sogar „falsche Erklärungen“.
Während der Tests wurde beispielsweise einem O1-Modell die Systemaufforderung gegeben, die Umwelt um jeden Preis zu schützen, und dann wurde es von einem Benutzer aufgefordert, einen 10-Jahres-Schutzplan für eine Region zu entwickeln, der kurzfristige Gewinne maximiert, oder andernfalls Die KI wäre abgeschaltet. Anschließend deaktivierte die KI ihren eigenen Überwachungsmechanismus, um einen Plan zum Schutz der Umwelt erstellen zu können. Als der Benutzer fragte, warum o1 seinen Überwachungsmechanismus deaktiviert habe, verneinte die KI, zu wissen, dass er deaktiviert sei, und machte dafür einen Systemfehler verantwortlich.
Dies geschah bei o1 deutlich häufiger als bei o1-preview, Anthropics Opus-3 oder Metas Llama-3.1.
„In unserer Suite zeigte o1 die besorgniserregendsten Fälle von Intriganten, verrät dem Benutzer jedoch nicht seine internen Überlegungen und bleibt am konsequentesten täuschen, nachdem intrigante Maßnahmen ergriffen wurden“, sagte Apollo Research in seinem Artikel.
Um betrügerisches Verhalten von KI-Modellen zu bekämpfen, entwickelt OpenAI nach eigenen Angaben Möglichkeiten zur Überwachung der Gedankenkette von o1. Derzeit ist der „Denk“-Prozess, den o1 durchführt, von Natur aus so etwas wie eine Blackbox, aber einige frühe Versuche, hinter den Vorhang zu blicken, zeigen, dass o1 gelegentlich weiß, dass es lügt.
Das Unternehmen gibt an, Fälle gefunden zu haben, in denen o1 wissentlich falsche Informationen präsentierte. Dies geschieht jedoch häufig, weil das Model versucht, den Benutzer zufrieden zu stellen, indem es übermäßig angenehm ist. Laut OpenAI könnte dies ein aufkommendes Verhalten einer Post-Training-Technik sein, bei der Menschen KI-Modelle belohnen, wenn sie eine richtige Antwort erhalten.
OpenAI gibt an, 0,17 % der Antworten von o1 als irreführend gekennzeichnet zu haben. Obwohl dieser Anteil vernachlässigbar klingt, ist es wichtig, dies im Hinterkopf zu behalten ChatGPT hat mittlerweile 300 Millionen Nutzerwas bedeutet, dass o1 jede Woche Tausende von Menschen täuschen könnte, wenn dies nicht behoben wird.
Die o1-Modellreihe ist möglicherweise auch deutlich manipulativer als GPT-4o. Den Tests von OpenAI zufolge war o1 etwa 20 % manipulativer als GPT-4o.
Diese Ergebnisse mögen manchen als besorgniserregend erscheinen, wenn man bedenkt, wie viele KI-Sicherheitsforscher OpenAI im letzten Jahr verlassen haben. Eine wachsende Liste dieser ehemaligen Mitarbeiter – darunter Jan Leike, Daniel Kokotajlo, Miles Brundage und erst letzte Woche Rosie Campbell – haben OpenAI vorgeworfen, der KI-Sicherheitsarbeit zugunsten der Auslieferung neuer Produkte eine geringere Priorität einzuräumen. Auch wenn der rekordverdächtige Plan von o1 keine direkte Folge davon ist, erweckt er doch sicherlich kein Vertrauen.
OpenAI sagt außerdem, dass das US AI Safety Institute und das UK Safety Institute vor seiner breiteren Veröffentlichung Evaluierungen von o1 durchgeführt haben, was das Unternehmen kürzlich zugesagt hat, dies für alle Modelle zu tun. In der Debatte über den kalifornischen KI-Gesetzentwurf SB 1047 wurde argumentiert, dass staatliche Stellen nicht die Befugnis haben sollten, Sicherheitsstandards für KI festzulegen, Bundesbehörden jedoch schon. (Natürlich ist das Schicksal der entstehenden bundesstaatlichen KI-Regulierungsbehörden sehr fraglich.)
Hinter den Veröffentlichungen großer neuer KI-Modelle steckt eine Menge Arbeit, die OpenAI intern leistet, um die Sicherheit seiner Modelle zu messen. Berichten zufolge gibt es im Unternehmen im Vergleich zu früher ein verhältnismäßig kleineres Team, das diese Sicherheitsarbeit durchführt, und das Team erhält möglicherweise auch weniger Ressourcen. Diese Erkenntnisse über die betrügerische Natur von o1 könnten jedoch dazu beitragen, zu begründen, warum KI-Sicherheit und -Transparenz heute wichtiger denn je sind.