X.ai, das KI-Startup von Elon Musk, hat sein neuestes generatives KI-Modell Grok-1.5 vorgestellt. Wird in nicht allzu ferner Zukunft („in den kommenden Tagen“, schreibt X.ai) den Grok-Chatbot des sozialen Netzwerks X antreiben Blogeintrag) scheint Grok-1.5 eine messbare Verbesserung gegenüber seinem Vorgänger Grok-1 zu sein – zumindest gemessen an den Benchmark-Ergebnissen und Spezifikationen, die X veröffentlicht hat.
Laut X.ai profitiert Grok-1.5 von „verbessertem Denken“, insbesondere wenn es um Codierung und mathematische Aufgaben geht. Das Modell verdoppelt die Punktzahl von Grok-1 bei einem beliebten Mathematik-Benchmark, MATH, und schneidet beim HumanEval-Test zur Generierung von Programmiersprachen und zur Problemlösungsfähigkeit um mehr als zehn Prozentpunkte besser ab.
Natürlich ist es schwierig vorherzusagen, wie sich diese Ergebnisse auf die tatsächliche Nutzung auswirken werden. Wie wir kürzlich geschrieben haben, erfassen häufig verwendete KI-Benchmarks, die so esoterische Dinge wie die Leistung bei Chemieprüfungsfragen für Hochschulabsolventen messen, nur unzureichend, wie die durchschnittliche Person heutzutage mit Modellen interagiert.
Eine Verbesserung sollen zu beobachtbaren Gewinnen führt, ist die Menge an Kontext, die Grok-1.5 im Vergleich zu Grok-1 aufnehmen kann.
Grok-1.5 hat einen 128.000-Token-Kontext – „Tokens“ beziehen sich auf Teile des Rohtextes (z. B. das Wort „fantastic“ aufgeteilt in „fan“, „tas“ und „tic“). Kontext oder Kontextfenster bezieht sich auf Eingabedaten (in diesem Fall Text), die ein Modell berücksichtigt, bevor es eine Ausgabe (mehr Text) generiert. Modelle mit kleinen Kontextfenstern neigen dazu, den Inhalt selbst sehr aktueller Gespräche zu vergessen, während Modelle mit größeren Kontexten diese Gefahr vermeiden – und als zusätzlichen Vorteil den Datenfluss, den sie aufnehmen, besser erfassen.
„[Grok-1.5 can] Nutzen Sie Informationen aus wesentlich längeren Dokumenten“, schreibt X.ai in dem oben genannten Blogbeitrag. „Darüber hinaus kann das Modell längere und komplexere Eingabeaufforderungen verarbeiten und behält gleichzeitig seine Fähigkeit zur Befehlsfolge bei, wenn sein Kontextfenster erweitert wird.“
Was die Grok-Modelle von Die Models beantworten Fragen auch mit „einer rebellischen Ader“, wie Musk es beschrieben hat, und mit völlig unhöflicher Sprache, wenn sie dazu aufgefordert werden.
Es ist unklar, welche Änderungen Grok-1.5 in diesen Bereichen gegebenenfalls mit sich bringt. X.ai erwähnt dies im Blogbeitrag nicht.
Laut X.ai wird Grok-1.5 bald für frühe X-Tester verfügbar sein, begleitet von „mehreren neuen Funktionen“. Musk hat zuvor angedeutet, Threads und Antworten zusammenzufassen und Inhalte für Beiträge vorzuschlagen; Wir werden sehen, ob die bald eintreffen.
Die Ankündigung von Grok-1.5 erfolgt, nachdem X.ai Grok-1 als Open-Source-Lösung herausgebracht hat, allerdings ohne den Code, der zur Feinabstimmung oder weiteren Schulung erforderlich ist. Kürzlich sagte Musk, dass mehr Benutzer von X – insbesondere diejenigen, die für den Premium-Plan von