Die Liste der Flaggschiff-KI-Modelle, die ihr versprochenes Startfenster verpasst haben, wächst weiter.
Letzten Sommer sagte der Milliardär Elon Musk, Gründer und CEO des KI-Unternehmens xAI, dass Grok 3, das nächste große KI-Modell von xAI, bis „Ende des Jahres“ 2024 eintreffen werde. Grok, xAIs Antwort auf Modelle wie GPT-4o von OpenAI und Google Zwillinge können Bilder analysieren und auf Fragen antworten und unterstützen eine Reihe von Funktionen auf X, dem sozialen Netzwerk von Musk.
„Grok 3 Ende des Jahres nach dem Training auf 100.000 H100s sollte wirklich etwas Besonderes sein“, sagte Musk schrieb in einem Juli-Beitrag auf X, der sich auf xAIs bezieht riesiger Cluster mit Sitz in Memphis von GPUs. „Grok 3 wird ein großer Schritt nach vorne sein“, sagte er sagte in einem Folgebeitrag Mitte Dezember.
Doch es ist der 2. Januar und Grok 3 ist noch nicht angekommen – und es gibt auch keine Anzeichen dafür, dass seine Einführung unmittelbar bevorsteht.
Tatsächlich wurde ein Code auf der Website von xAI vom KI-Tippgeber Tibor Blaho entdeckt schlägt vor dass ein Zwischenmodell, „Grok 2.5“, zuerst landen könnte.
Grok[.]com kommt möglicherweise bald mit dem Grok 2.5-Modell (grok-2-latest – „Unser intelligentestes Modell“) – danke für den Hinweis, Anon! pic.twitter.com/emsvmZyaf7
— Tibor Blaho (@btibor91) 20. Dezember 2024
Zugegeben, dies ist nicht das erste Mal, dass Musk sich ein hohes Ziel gesetzt und es verfehlt hat. Es ist gut etabliert dass Musks Aussagen über den Zeitpunkt von Produkteinführungen oft bestenfalls unrealistisch sind.
Und um fair zu sein: In einem Interview mit Podcaster Lex Fridman im August sagte Musk sagte dass Grok 3 „hoffentlich“ im Jahr 2024 verfügbar sein würde, „wenn wir Glück haben“.
Aber der MIA-Status von Grok 3 ist interessant, weil er Teil eines wachsenden Trends ist.
Im vergangenen Jahr gelang es dem KI-Startup Anthropic nicht, einen Nachfolger für sein Spitzenmodell Claude 3 Opus zu liefern. Monate nach der Ankündigung, dass ein Modell der nächsten Generation, Claude 3.5 Opus, bis Ende 2024 erscheinen würde, Anthropic verschrottet Alle Erwähnungen des Modells aus der Entwicklerdokumentation. (Nach Einem Bericht zufolge hat Anthropic das Training von Claude 3.5 Opus irgendwann im letzten Jahr abgeschlossen, aber entschieden, dass die Veröffentlichung wirtschaftlich keinen Sinn ergibt.)
Berichten zufolge haben Google und OpenAI dies auch getan gelitten Rückschläge mit ihren Flaggschiffmodellen in den letzten Monaten.
Dies könnte ein Beweis für die Grenzen der aktuellen KI-Skalierungsgesetze sein – der Methoden, die Unternehmen nutzen, um die Fähigkeiten ihrer Modelle zu erhöhen. Vor nicht allzu langer Zeit war es möglich, durch das Training von Modellen mit enormer Rechenleistung und immer größeren Datensätzen erhebliche Leistungssteigerungen zu erzielen. Doch mit jeder Modellgeneration schrumpfen die Gewinne, was dazu führt, dass Unternehmen auf alternative Techniken umsteigen.
Grok 3 trainiert mit der 10-fachen, bald 20-fachen Rechenleistung von Grok 2
— Elon Musk (@elonmusk) 21. September 2024
Darauf hat Musk selbst im Fridman-Interview hingewiesen.
„Du hoffst darauf [Grok 3] auf dem neuesten Stand sein?“ Fragte Fridman.
„Hoffentlich“, antwortete Musk. „Ich meine, das ist das Ziel. An diesem Ziel könnten wir scheitern. Das ist der Anspruch.“
Es könnte andere Gründe für die Verzögerung von Grok 3 geben. Zum einen hat xAI ein viel kleineres Team als viele seiner Konkurrenten. Dennoch ist der verschobene Startzeitrahmen ein weiterer Beweis dafür, dass herkömmliche KI-Trainingsansätze an ihre Grenzen stoßen.