Ein hochkarätiger Ex-Openai-Politikforscher, Miles Brundage, in soziale Medien übernommen Am Mittwoch kritisieren OpenAI für „Umschreiben der Geschichte“ seines Bereitstellungsansatzes zu potenziell riskanten KI -Systemen.
Anfang dieser Woche veröffentlichte Openai a dokumentieren Erläuterung seiner aktuellen Philosophie zur Sicherheit und Ausrichtung der KI, dem Prozess der Gestaltung von KI -Systemen, die sich auf wünschenswerte und erklärbare Weise verhalten. In dem Dokument sagte OpenAI, dass die Entwicklung von AGI, die allgemein als KI -Systeme definiert ist, die jede Aufgabe ausführen können, die ein Mensch als „kontinuierlicher Weg“ ausführen kann, der „iterativ einsetzen und lernt“ von KI -Technologien erforderlich ist.
„In einer diskontinuierlichen Welt […] Sicherheitsunterricht kommt aus der Behandlung der heutigen Systeme mit übergroßer Vorsicht im Vergleich zu ihrer offensichtlichen Kraft. [which] ist der Ansatz, den wir gewählt haben [our AI model] GPT -2 “, schrieb Openai. „Wir betrachten jetzt die erste Agi als nur einen Punkt entlang einer Reihe von Systemen mit zunehmender Nützlichkeit […] In der kontinuierlichen Welt besteht der Weg, das nächste System sicher und vorteilhaft zu gestalten, aus dem aktuellen System zu lernen. “
Aber Brundage behauptet, dass GPT-2 zum Zeitpunkt seiner Veröffentlichung tatsächlich vorsichtig war und dass dies heute mit der iterativen Bereitstellungsstrategie von OpenAI „100% konsistent“ war.
„OpenAIs Veröffentlichung von GPT-2, an dem ich beteiligt war, war 100% konsistent [with and] OpenAs aktuelle Philosophie des iterativen Einsatzes vorhaben “, Brundage schrieb in einem Beitrag auf x. „Das Modell wurde schrittweise veröffentlicht, wobei bei jedem Schritt die Lektionen geteilt wurden. Viele Sicherheitsexperten dankten uns für diese Vorsicht. “
Brundage, der 2018 als Forschungswissenschaftler zu Openai kam, war seit mehreren Jahren der Leiter der politischen Forschung des Unternehmens. Im Team „AGI Readiness“ von Openai konzentrierte er sich besonders auf die verantwortungsvolle Bereitstellung von Systemen für Sprachgenerierungssysteme wie die AI -Chatbot -Plattform von OpenAI.
GPT-2, das Openai im Jahr 2019 bekannt gab, war ein Vorläufer der AI-Systeme, die Chatgpt antraten. GPT-2 könnte Fragen zu einem Thema beantworten, Artikel zusammenfassen und Text auf einer Ebene generieren, die manchmal nicht von denen des Menschen zu unterscheiden sind.
Während GPT-2 und seine Ausgänge heute einfach aussehen, waren sie zu dieser Zeit innovativ. OpenAi lehnte das Risiko einer böswilligen Verwendung ab und lehnte es zunächst ab, den Quellcode von GPT-2 zu veröffentlichen. Sie entschied sich stattdessen dafür, ausgewählten Nachrichtenagenturen eingeschränkten Zugriff auf eine Demo zu gewähren.
Die Entscheidung wurde mit gemischten Bewertungen der KI -Branche getroffen. Viele Experten argumentierten, dass die von GPT-2 ausgestellte Bedrohung war übertrieben gewesenund dass es keine Beweise dafür gab, dass das Modell in der Art und Weise, wie Openai beschrieben wurde, missbraucht werden konnte. AI-fokussierte Veröffentlichung Der Gradient ging so weit, eine zu veröffentlichen offener Brief Bitten Sie, dass OpenAI das Modell veröffentlichen und argumentieren, es sei zu technologisch wichtig, sich zurückzuhalten.
OpenAI veröffentlichte schließlich sechs Monate nach der Enthüllung des Modells eine teilweise Version von GPT-2, gefolgt von dem vollständigen System danach. Brundage ist der Meinung, dass dies der richtige Ansatz war.
„Was für ein Teil von [the GPT-2 release] wurde von Agi motiviert oder vorgesehen, als sie diskontinuierlich denkt? Nichts davon „, sagte er in einem Posten auf X.“ Was ist der Beweis, dass diese Vorsicht „unverhältnismäßig“ ex ante war? Ex post, es prob. wäre in Ordnung gewesen, aber das heißt nicht, dass es für das Yolo verantwortlich war [sic] Zu der Zeit gegebene Informationen. “
Brundage befürchtet, dass Openais Ziel mit dem Dokument darin besteht, eine Beweislast einzurichten, bei der „Bedenken alarmistisch“ und „Sie müssen überwältigende Beweise für unmittelbar bevorstehende Gefahren benötigen, um auf sie zu reagieren“. Dies sei eine „sehr gefährliche“ Mentalität für fortschrittliche KI -Systeme.
„Wenn ich noch bei Openai arbeiten würde, würde ich fragen, warum das [document] wurde so geschrieben, wie es war und was genau Openai auf so einseitige Weise durch Kot poo-pooing vorsichtig ist “, fügte Brundage hinzu.
OpenAI wurde in der Vergangenheit beschuldigt Rushing Product Releases Konkurrenzunternehmen auf den Markt zu schlagen. Im vergangenen Jahr löste Openai sein AGI -Bereitschaftsteam auf, und eine Reihe von KI -Sicherheits- und Politikforschern verließen das Unternehmen für Rivalen.
Der Wettbewerbsdruck hat sich nur erhöht. Das chinesische AI Lab Deepseek hat die Aufmerksamkeit der Welt mit seinem offen verfügbaren R1 -Modell auf sich gezogen, das OpenAs O1 -Argumentationsmodell auf einer Reihe wichtiger Benchmarks entsprach. Sam Altman, CEO von OpenAI sagte Dieser Openai würde einige Veröffentlichungen „hochziehen“, um besser zu konkurrieren.
Es ist viel Geld auf der Linie. Openai verliert jährlich Milliarden und das Unternehmen hat es Berichten zufolge prognostiziert, dass sich die jährlichen Verluste bis 2026 auf 14 Milliarden US-Dollar verdienen könnten. Ein schnellerer Produktfreisetzungszyklus könnte kurzfristig, aber möglicherweise auf Kosten der Sicherheit langfristig das Endergebnis von OpenAI zugute kommen. Experten wie Brundage fragen sich, ob sich der Kompromiss lohnt.