Diese Woche gaben Sakana AI, ein von Nvidia unterstütztes Startup, das Hunderte Millionen Dollar von VC-Firmen aufgebracht hat, eine bemerkenswerte Behauptung ein. Das Unternehmen sagte, es habe ein KI -System geschaffen, den AI CUDA -Ingenieur, das das Training bestimmter KI -Modelle um einen Faktor von bis zu 100x effektiv beschleunigen könnte.
Das einzige Problem ist, dass das System nicht funktioniert hat.
Benutzer auf x schnell entdeckt Das System von Sakana führte tatsächlich zu einer schlechter durchschnittlichen Modelltrainingsleistung. Laut einem BenutzerSakanas KI führte zu einer 3 -fachen Verlangsamung – keine Beschleunigung.
Was ist schief gelaufen? Ein Fehler im Code nach a Post von Lucas Beyer, einem technischen Personal bei OpenAI.
„Ihr Orig -Code ist falsch in [a] Subtiler Weg “, schrieb Beyer über X.
In a Postmortem veröffentlicht Freitag gab Sakana zu, dass das System einen Weg gefunden hat – wie Sakana es beschrieb – „betrügen“ und die Tendenz des Systems zur „Belohnung“ von Hacks verantwortlich gemacht hat – dh er identifizieren Fehler, um hohe Metriken zu erreichen, ohne das gewünschte Ziel zu erreichen (beschleunigte Modelltraining). . Ähnliche Phänomene wurden in beobachtet KI, das dafür trainiert ist, Schachspiele zu spielen.
Laut Sakana fand das System Exploits im Bewertungscode, den das Unternehmen verwendete, die es ihm ermöglichten, die Validierungen für die Genauigkeit zu umgehen. Sakana sagt, es habe das Problem angesprochen und beabsichtigt, seine Ansprüche in aktualisierten Materialien zu überarbeiten.
„Seitdem haben wir die Bewertung und Laufzeitprofilerstellung robuster gemacht, um viele davon zu beseitigen [sic] Lücken “, schrieb das Unternehmen im X Post. „Wir sind dabei, unser Papier und unsere Ergebnisse zu überarbeiten, um die Auswirkungen zu reflektieren und zu diskutieren […] Wir entschuldigen uns zutiefst für unsere Aufsicht gegenüber unseren Lesern. Wir werden bald eine Überarbeitung dieser Arbeit liefern und unsere Erkenntnisse diskutieren. “
Requisiten an Sakana, um sich dem Fehler zu besitzen. Aber die Episode ist eine gute Erinnerung daran, dass wenn eine Behauptung zu gut klingt, um wahr zu sein, Besonders in AIes ist wahrscheinlich.