OpenAI mag jetzt ein Synonym für maschinelles Lernen sein und Google tut sein Bestes, um sich vom Boden aufzuheben, aber beide könnten bald einer neuen Bedrohung ausgesetzt sein: sich schnell vermehrende Open-Source-Projekte, die den Stand der Technik vorantreiben und die tiefen Taschen aber verlassen schwerfällige Konzerne in ihrem Staub. Diese Zerg-ähnliche Bedrohung mag nicht existentiell sein, aber sie wird die dominanten Spieler sicherlich in der Defensive halten.
Der Gedanke ist bei weitem nicht neu – in der schnelllebigen KI-Community wird erwartet, dass diese Art von Störungen wöchentlich zu sehen ist – aber die Situation wurde durch a relativiert weit verbreitetes Dokument angeblich von Google stammen. „Wir haben keinen Graben und OpenAI auch nicht“, heißt es in dem Memo.
Ich werde den Leser nicht mit einer langen Zusammenfassung dieses perfekt lesbaren und interessanten Artikels belasten, aber das Wesentliche ist, dass GPT-4 und andere proprietäre Modelle zwar den Löwenanteil an Aufmerksamkeit und tatsächlich Einnahmen erhalten haben, aber den Vorsprung, den sie gewonnen haben mit Finanzierung und Infrastruktur sieht von Tag zu Tag schlanker aus.
Auch wenn das Tempo der Veröffentlichungen von OpenAI nach den Maßstäben gewöhnlicher großer Software-Veröffentlichungen überwältigend erscheinen mag: GPT-3, ChatGPT und GPT-4 waren sich sicherlich dicht auf den Fersen, wenn man sie mit Versionen von iOS oder Photoshop vergleicht. Aber sie treten immer noch in der Größenordnung von Monaten und Jahren auf.
Das Memo weist darauf hin, dass im März ein durchgesickertes Grundsprachenmodell von Meta namens LLaMA in ziemlich grober Form durchgesickert ist. Innerhalb Wochen, hatten Leute, die an Laptops und Penny-a-Minute-Servern herumbastelten, Kernfunktionen wie Anweisungsabstimmung, mehrere Modalitäten und verstärkendes Lernen aus menschlichem Feedback hinzugefügt. OpenAI und Google stocherten wahrscheinlich auch im Code herum, aber sie konnten – konnten nicht – das Niveau der Zusammenarbeit und des Experimentierens replizieren, das in Subreddits und Discords vorkommt.
Könnte es wirklich sein, dass das titanische Berechnungsproblem, das den Herausforderern ein unüberwindbares Hindernis – einen Graben – darzustellen schien, bereits ein Relikt aus einer anderen Ära der KI-Entwicklung ist?
Sam Altman hat bereits angemerkt, dass wir mit abnehmenden Renditen rechnen sollten, wenn wir Parameter auf das Problem werfen. Größer ist nicht immer besser, sicher – aber nur wenige hätten gedacht, dass kleiner stattdessen ist.
GPT-4 ist ein Wal-Mart, und niemand mag Wal-Mart wirklich
Das derzeit von OpenAI und anderen verfolgte Geschäftsparadigma ist ein direkter Nachkomme des SaaS-Modells. Sie haben eine Software oder einen Dienst von hohem Wert und bieten sorgfältig geschützten Zugriff darauf über eine API oder ähnliches an. Es ist ein unkomplizierter und bewährter Ansatz, der absolut sinnvoll ist, wenn Sie Hunderte von Millionen in die Entwicklung eines einzigen monolithischen und dennoch vielseitigen Produkts wie eines großen Sprachmodells investiert haben.
Wenn GPT-4 sich gut verallgemeinern lässt, um Fragen zu Präzedenzfällen im Vertragsrecht zu beantworten, großartig – egal, dass ein großer Teil seines „Intellekts“ darauf verwendet wird, den Stil jedes Autors nachzuahmen, der jemals ein Werk in englischer Sprache veröffentlicht hat. GPT-4 ist wie ein Wal-Mart. Eigentlich niemand will dorthin zu gehen, also stellt das Unternehmen verdammt sicher, dass es keine andere Option gibt.
Aber die Kunden beginnen sich zu fragen, warum ich durch 50 Gänge voller Müll gehe, um ein paar Äpfel zu kaufen? Warum stelle ich die Dienste des größten und universellsten KI-Modells ein, das jemals geschaffen wurde, wenn ich nur ein wenig Intelligenz aufwenden möchte, um die Sprache dieses Vertrags mit ein paar hundert anderen abzugleichen? Auf die Gefahr hin, die Metapher zu quälen (ganz zu schweigen vom Leser), wenn GPT-4 der Wal-Mart ist, zu dem Sie Äpfel kaufen, was passiert, wenn ein Obststand auf dem Parkplatz eröffnet wird?
In der KI-Welt dauerte es nicht lange, bis ein großes Sprachmodell, natürlich in stark verkürzter Form, auf (passenderweise) einem Raspberry Pi ausgeführt wurde. Für ein Unternehmen wie OpenAI, seinen Jockey Microsoft, Google oder jeden anderen in der AI-as-a-Service-Welt stellt dies effektiv die gesamte Prämisse ihres Geschäfts in Frage: dass diese Systeme so schwer zu erstellen und zu betreiben sind, dass sie es müssen TU es für dich. Tatsächlich sieht es so aus, als ob diese Unternehmen eine Version von KI ausgewählt und entwickelt haben, die zu ihrem bestehenden Geschäftsmodell passt, und nicht umgekehrt!
Früher mussten Sie die mit der Textverarbeitung verbundenen Berechnungen auf einen Mainframe auslagern – Ihr Terminal war nur ein Display. Das war natürlich eine andere Zeit, und wir haben längst die ganze Anwendung auf einem Personal Computer unterbringen können. Diese Prozesse sind seitdem viele Male aufgetreten, da unsere Geräte ihre Rechenkapazität wiederholt und exponentiell erhöht haben. Wenn heutzutage etwas auf einem Supercomputer gemacht werden muss, versteht jeder, dass es nur eine Frage der Zeit und der Optimierung ist.
Für Google und OpenAI kam die Zeit viel schneller als erwartet. Und sie waren nicht diejenigen, die die Optimierung vorgenommen haben – und werden es vielleicht nie in diesem Tempo tun.
Nun, das bedeutet nicht, dass sie kein Glück haben. Google hat es nicht geschafft, der Beste zu sein – jedenfalls nicht lange. Ein Wal-Mart zu sein, hat seine Vorteile. Unternehmen möchten nicht die maßgeschneiderte Lösung finden müssen, die die gewünschte Aufgabe 30 % schneller erledigt, wenn sie von ihrem bestehenden Anbieter einen angemessenen Preis erzielen können und das Boot nicht zu sehr ins Wanken bringen. Unterschätzen Sie niemals den Wert der Trägheit im Geschäft!
Sicher, die Leute wiederholen LLaMA so schnell, dass ihnen die Kameliden ausgehen, um sie nach ihnen zu benennen. Übrigens möchte ich den Entwicklern für einen Vorwand danken, einfach durch Hunderte von Bildern von niedlichen, gelbbraunen zu scrollen Vicuñas statt zu arbeiten. Aber nur wenige IT-Abteilungen von Unternehmen werden eine Implementierung von Stability’s Open-Source-Derivat in Arbeit eines quasi legalen durchgesickerten Meta-Modells über die einfache, effektive API von OpenAI zusammenschustern. Sie haben ein Geschäft zu führen!
Aber gleichzeitig habe ich vor Jahren aufgehört, Photoshop für die Bildbearbeitung und -erstellung zu verwenden, weil die Open-Source-Optionen wie Gimp und Paint.net so unglaublich gut geworden sind. An dieser Stelle geht die Argumentation in die andere Richtung. Bezahle wie viel für Photoshop? Auf keinen Fall, wir haben ein Geschäft zu führen!
Worüber die anonymen Autoren von Google eindeutig besorgt sind, ist, dass der Abstand von der ersten zur zweiten Situation viel kürzer sein wird, als irgendjemand dachte, und es scheint nichts zu geben, was irgendjemand dagegen tun kann.
Außer, das Memo argumentiert: Nimm es an. Öffnen, veröffentlichen, zusammenarbeiten, teilen, Kompromisse eingehen. Als sie schließen:
Google sollte sich als führendes Unternehmen in der Open-Source-Community etablieren und die Führung übernehmen, indem es mit der breiteren Diskussion kooperiert, anstatt sie zu ignorieren. Dies bedeutet wahrscheinlich, dass einige unangenehme Schritte unternommen werden, wie z. B. die Veröffentlichung der Modellgewichte für kleine ULM-Varianten. Das bedeutet zwangsläufig, dass wir die Kontrolle über unsere Modelle aufgeben. Aber dieser Kompromiss ist unvermeidlich. Wir können nicht darauf hoffen, Innovationen voranzutreiben und gleichzeitig zu kontrollieren.