Jan Leike, ein führender KI-Forscher, der Anfang des Monats bei OpenAI zurückgetreten war, bevor er den Ansatz des Unternehmens zur KI-Sicherheit öffentlich kritisierte, ist dem OpenAI-Konkurrenten Anthropic beigetreten, um ein neues „Superalignment“-Team zu leiten.
In einem Beitrag auf X sagte Leike, dass sich sein Team bei Anthropic auf verschiedene Aspekte der Sicherheit von KI konzentrieren werde, insbesondere auf „skalierbare Überwachung“, „Generalisierung von schwacher zu starker“ und die Erforschung der automatischen Ausrichtung.
Eine mit der Angelegenheit vertraute Quelle teilte Tech mit, dass Leike direkt an Jared Kaplan, den wissenschaftlichen Leiter von Anthropic, berichten werde und dass die Forscher von Anthropic, die derzeit an skalierbarer Aufsicht arbeiten – Techniken, um das Verhalten großer künstlicher Intelligenz auf vorhersehbare und wünschenswerte Weise zu steuern –, zu Leike wechseln werden, wenn Leikes Team hochfährt.
In vielerlei Hinsicht ähnelt die Mission von Leikes Team der des kürzlich aufgelösten Superalignment-Teams von OpenAI. Das Superalignment-Team, das Leike mitleitete, hatte das ehrgeizige Ziel, die zentralen technischen Herausforderungen der Steuerung superintelligenter KI in den nächsten vier Jahren zu lösen, wurde dabei jedoch oft durch die Führung von OpenAI behindert.
Anthropic hat oft versucht, sich als sicherheitsorientierter zu positionieren als OpenAI.
Der CEO von Anthropic, Dario Amodei, war einst Vizepräsident für Forschung bei OpenAI und trennte sich Berichten zufolge von OpenAI, nachdem es zu Meinungsverschiedenheiten über die Ausrichtung des Unternehmens gekommen war – nämlich über den wachsenden kommerziellen Fokus von OpenAI. Amodei brachte eine Reihe ehemaliger OpenAI-Mitarbeiter mit, um Anthropic zu gründen, darunter auch den ehemaligen Leiter für Politik bei OpenAI, Jack Clark.