Elon Musks xAI hat es veröffentlicht Grok großes Sprachmodell als „Open Source“ am Wochenende veröffentlicht. Der Milliardär hofft offensichtlich, sein Unternehmen mit dem Rivalen OpenAI in Konflikt zu bringen, der trotz seines Namens nicht besonders offen ist. Aber trägt die Veröffentlichung des Codes für etwas wie Grok tatsächlich zur KI-Entwicklungsgemeinschaft bei? Ja und nein.
Grok ist ein von xAI trainierter Chatbot, der die gleiche vage definierte Rolle wie ChatGPT oder Claude ausfüllt: Man fragt ihn, er antwortet. Dieses LLM erhielt jedoch einen frechen Ton und zusätzlichen Zugriff auf Twitter-Daten, um es von den anderen abzuheben.
Wie immer ist es nahezu unmöglich, diese Systeme zu bewerten, aber der allgemeine Konsens scheint zu sein, dass sie mit mittelgroßen Modellen der letzten Generation wie dem GPT-3.5 konkurrenzfähig sind. (Ob Sie entscheiden, dass dies angesichts der kurzen Entwicklungszeit beeindruckend oder angesichts des Budgets und des Bombasts, das xAI umgibt, enttäuschend ist, liegt ganz bei Ihnen.)
Auf jeden Fall ist Grok ein modernes und funktionales LLM von beträchtlicher Größe und Leistungsfähigkeit, und je mehr Zugang die Entwicklergemeinschaft zum Kern solcher Dinge hat, desto besser. Das Problem besteht darin, „offen“ auf eine Weise zu definieren, die mehr bewirkt, als einem Unternehmen (oder Milliardär) die moralische Überlegenheit zu überlassen.
Dies ist nicht das erste Mal, dass die Begriffe „offen“ und „Open Source“ in der KI-Welt in Frage gestellt oder missbraucht werden. Dabei geht es nicht nur um einen technischen Streit, etwa um die Auswahl einer Nutzungslizenz, die nicht so offen ist wie eine andere (Grok ist Apache 2.0, falls Sie sich fragen).
Erstens sind KI-Modelle anders als andere Software, wenn es darum geht, sie „Open Source“ zu machen.
Wenn Sie beispielsweise ein Textverarbeitungsprogramm erstellen, ist es relativ einfach, es Open Source zu machen: Sie veröffentlichen Ihren gesamten Code öffentlich und lassen die Community Verbesserungen vorschlagen oder ihre eigene Version erstellen. Ein Teil dessen, was Open Source als Konzept wertvoll macht, besteht darin, dass jeder Aspekt der Anwendung originell ist oder seinem ursprünglichen Ersteller zugeschrieben wird – diese Transparenz und die Einhaltung der korrekten Namensnennung sind nicht nur ein Nebenprodukt, sondern der Kern des Konzepts der Offenheit.
Mit KI ist dies wohl überhaupt nicht möglich, da die Art und Weise, wie Modelle für maschinelles Lernen erstellt werden, einen weitgehend unbekannten Prozess beinhaltet, bei dem eine enorme Menge an Trainingsdaten in eine komplexe statistische Darstellung destilliert wird, deren Struktur kein Mensch wirklich steuert oder auch nur versteht . Dieser Prozess kann nicht wie herkömmlicher Code untersucht, geprüft und verbessert werden. Obwohl er also in gewisser Hinsicht immer noch einen immensen Wert hat, kann er nie wirklich offen sein. (Die Standards-Community hat noch nicht einmal definiert, was offen sein wird in diesem Zusammenhang aber sind aktiv darüber diskutieren.)
Das hat KI-Entwickler und Unternehmen nicht davon abgehalten, ihre Modelle als „offen“ zu entwerfen und zu bezeichnen, ein Begriff, der in diesem Zusammenhang viel von seiner Bedeutung verloren hat. Manche nennen ihr Modell „offen“, wenn es eine öffentlich zugängliche Schnittstelle oder API gibt. Manche nennen es „offen“, wenn sie ein Papier veröffentlichen, das den Entwicklungsprozess beschreibt.
Am nächsten an „Open Source“ kann ein KI-Modell wohl dann sein, wenn seine Entwickler es veröffentlichen Gewichte, das heißt die genauen Attribute der unzähligen Knoten seiner neuronalen Netze, die vektormathematische Operationen in präziser Reihenfolge ausführen, um das durch die Eingabe eines Benutzers gestartete Muster zu vervollständigen. Aber selbst „offene Gewichte“-Modelle wie LLaMa-2 schließen andere wichtige Daten wie den Trainingsdatensatz und -prozess aus – die nötig wären, um ihn von Grund auf neu zu erstellen. (Manche Projekte gehen natürlich noch weiter.)
All dies noch bevor überhaupt die Tatsache erwähnt wird, dass es Millionen von Dollar an Rechen- und Entwicklungsressourcen erfordert, um diese Modelle zu erstellen oder zu replizieren, was effektiv auf Unternehmen mit beträchtlichen Ressourcen beschränkt ist, wer sie erstellen und replizieren kann.
Wo ist also die Grok-Veröffentlichung von xAI in diesem Spektrum einzuordnen?
Als Modell mit offenen Gewichten ist es für jedermann geeignet herunterladen, verwenden, modifizieren, verfeinern oder destillieren. Das ist gut! In Bezug auf die Parameter scheint es zu den größten Modellen zu gehören, auf die jeder auf diese Weise frei zugreifen kann – 314 Milliarden –, was neugierigen Ingenieuren viel Arbeit bietet, wenn sie testen möchten, wie es nach verschiedenen Modifikationen funktioniert.
Allerdings bringt die Größe des Modells gravierende Nachteile mit sich: Um es in dieser Rohform nutzen zu können, sind Hunderte Gigabyte Hochgeschwindigkeits-RAM erforderlich. Wenn Sie nicht bereits im Besitz von beispielsweise einem Dutzend Nvidia H100 in einem sechsstelligen KI-Inferenzsystem sind, klicken Sie nicht auf diesen Download-Link.
Und obwohl Grok wohl mit einigen anderen modernen Modellen konkurrenzfähig ist, ist es auch viel, viel größer als diese, was bedeutet, dass es mehr Ressourcen erfordert, um das Gleiche zu erreichen. Es gibt immer eine Hierarchie von Größe, Effizienz und anderen Kennzahlen, und sie sind immer noch wertvoll, aber es handelt sich dabei eher um Rohmaterial als um das Endprodukt. Es ist auch nicht klar, ob dies die neueste und beste Version von Grok ist, wie die deutlich abgestimmte Version, auf die einige über X Zugriff haben.
Insgesamt ist es eine gute Sache, diese Daten zu veröffentlichen, aber sie verändern das Spiel nicht so, wie manche es sich erhofft hatten.
Es ist auch schwer, sich nicht zu fragen, warum Musk das tut. Hat sich sein junges KI-Unternehmen wirklich der Open-Source-Entwicklung verschrieben? Oder ist das nur Schlamm im Auge von OpenAI, mit dem Musk derzeit einen Beef auf Milliardärsniveau verfolgt?
Wenn sie sich wirklich der Open-Source-Entwicklung widmen, wird dies die erste von vielen Veröffentlichungen sein, und sie werden hoffentlich das Feedback der Community berücksichtigen, weitere wichtige Informationen veröffentlichen, den Trainingsdatenprozess charakterisieren und ihren Ansatz weiter erläutern. Wenn dies nicht der Fall ist und dies nur geschieht, damit Musk in Online-Diskussionen darauf hinweisen kann, ist es immer noch wertvoll – nur nicht etwas, auf das sich irgendjemand in der KI-Welt verlassen oder dem man in den nächsten Monaten beim Spielen viel Aufmerksamkeit schenken wird das Model.