Allumfassende, hochgradig verallgemeinerbare generative KI-Modelle waren einst das A und O und sind es wohl immer noch. Da sich jedoch immer mehr große und kleine Cloud-Anbieter dem generativen KI-Kampf anschließen, sehen wir eine neue Generation von Modellen, die sich auf die finanzstärksten potenziellen Kunden konzentrieren: das Unternehmen.
Ein typisches Beispiel: Snowflake, das Cloud-Computing-Unternehmen, stellte heute Arctic LLM vor, ein generatives KI-Modell, das als „Unternehmensklasse“ beschrieben wird. Arctic LLM ist unter einer Apache 2.0-Lizenz verfügbar und für „Unternehmens-Workloads“ optimiert, einschließlich der Generierung von Datenbankcode, sagt Snowflake, und ist für Forschung und kommerzielle Nutzung kostenlos.
„Ich denke, dies wird die Grundlage sein, die es uns – Snowflake – und unseren Kunden ermöglichen wird, Produkte der Enterprise-Klasse zu entwickeln und tatsächlich beginnen, das Versprechen und den Wert von KI zu erkennen“, sagte CEO Sridhar Ramaswamy in einer Pressekonferenz. „Sie sollten dies als unseren ersten, aber großen Schritt in der Welt der generativen KI betrachten, und es werden noch viele weitere folgen.“
Ein Unternehmensmodell
Mein Kollege Devin Coldewey hat kürzlich darüber geschrieben, dass kein Ende des Ansturms generativer KI-Modelle in Sicht ist. Ich empfehle Ihnen, seinen Artikel zu lesen, aber das Wesentliche ist: Modelle sind eine einfache Möglichkeit für Anbieter, Begeisterung für ihre Forschung und Entwicklung zu wecken, und sie dienen auch als Trichter zu ihren Produktökosystemen (z. B. Modellhosting, Feinabstimmung usw.). .
Bei Arctic LLM ist das nicht anders. Das Flaggschiffmodell von Snowflake in einem Familie generativer KI-Modelle namens ArcticArctic LLM – dessen Schulung etwa drei Monate, 1.000 GPUs und 2 Millionen US-Dollar dauerte – folgt auf DBRX von Databricks, ein generatives KI-Modell, das ebenfalls als für den Unternehmensbereich optimiert vermarktet wird.
Snowflake zieht in seinen Pressematerialien einen direkten Vergleich zwischen Arctic LLM und DBRX und sagt, dass Arctic LLM DBRX bei den beiden Aufgaben des Codierens (Snowflake hat nicht angegeben, welche Programmiersprachen sind) und übertrifft SQL Generation. Das Unternehmen sagte, Arctic LLM sei bei diesen Aufgaben auch besser als Metas Llama 2 70B (aber nicht das neuere Llama 3 70B) und Mistrals Mixtral-8x7B.
Snowflake behauptet außerdem, dass Arctic LLM bei einem beliebten allgemeinen Sprachverständnis-Benchmark, MMLU, eine „führende Leistung“ erzielt. Ich möchte jedoch darauf hinweisen, dass MMLU soll die Fähigkeit generativer Modelle bewerten, logische Probleme zu lösen. Es umfasst Tests, die durch Auswendiglernen gelöst werden können. Nehmen Sie diesen Punkt also mit Vorsicht.
„Arctic LLM geht auf spezifische Bedürfnisse im Unternehmenssektor ein“, sagte Baris Gultekin, Leiter KI bei Snowflake, in einem Interview mit Tech, „und weicht von generischen KI-Anwendungen wie dem Verfassen von Gedichten ab, um sich auf unternehmensorientierte Herausforderungen wie die Entwicklung von SQL-Kooperationen zu konzentrieren.“ Piloten und hochwertige Chatbots.“
Arctic LLM ist, wie DBRX und Googles derzeit leistungsstärkste generative Version, Gemini 1.5 Pro, eine Kombination aus Expert-Architektur (MoE). MoE-Architekturen zerlegen Datenverarbeitungsaufgaben grundsätzlich in Teilaufgaben und delegieren sie dann an kleinere, spezialisierte „Experten“-Modelle. Während Arctic LLM also 480 Milliarden Parameter enthält, aktiviert es jeweils nur 17 Milliarden – genug, um die 128 separaten Expertenmodelle anzutreiben. (Parameter definieren im Wesentlichen die Fähigkeiten eines KI-Modells für ein Problem, z. B. das Analysieren und Generieren von Text.)
Snowflake behauptet, dass dieses effiziente Design es ihm ermöglicht habe, Arctic LLM auf offenen öffentlichen Web-Datensätzen (einschließlich) zu trainieren RefinedWeb, C4, Roter Pyjama Und StarCoder) zu „ungefähr einem Achtel der Kosten ähnlicher Modelle“.
Überall laufen
Snowflake stellt neben Arctic LLM Ressourcen wie Codierungsvorlagen und eine Liste von Schulungsquellen zur Verfügung, um Benutzer durch den Prozess zu führen, das Modell zum Laufen zu bringen und es für bestimmte Anwendungsfälle zu optimieren. Snowflake ist sich jedoch bewusst, dass dies für die meisten Entwickler wahrscheinlich kostspielige und komplexe Unternehmungen sind (die Feinabstimmung oder der Betrieb von Arctic LLM erfordert etwa acht GPUs), und verspricht außerdem, Arctic LLM auf einer Reihe von Hosts verfügbar zu machen, darunter Hugging Face und Microsoft Azure , der Model-Hosting-Service von Together AI und die generative KI-Plattform für Unternehmen Lamini.
Hier liegt jedoch der Haken: Arctic LLM wird verfügbar sein Erste auf Cortex, der Plattform von Snowflake für die Entwicklung von Apps und Diensten, die auf KI und maschinellem Lernen basieren. Es überrascht nicht, dass das Unternehmen es als die bevorzugte Möglichkeit anpreist, Arctic LLM mit „Sicherheit“, „Governance“ und Skalierbarkeit zu betreiben.
„Unser Traum hier ist es, innerhalb eines Jahres eine API zu haben, die unsere Kunden nutzen können, damit Geschäftsanwender direkt mit Daten kommunizieren können“, sagte Ramaswamy. „Das wäre es gewesen Es fiel uns leicht zu sagen: „Oh, wir warten einfach auf ein Open-Source-Modell und verwenden es.“ Stattdessen tätigen wir eine grundlegende Investition, weil wir denken [it’s] Wir werden unseren Kunden mehr Mehrwert bieten.“
Ich frage mich also: Für wen außer Snowflake-Kunden ist Arctic LLM wirklich geeignet?
In einer Landschaft voller „offener“ generativer Modelle, die für praktisch jeden Zweck fein abgestimmt werden können, sticht Arctic LLM nicht in irgendeiner Weise hervor. Seine Architektur könnte im Vergleich zu einigen anderen Optionen auf dem Markt zu Effizienzsteigerungen führen. Ich bin jedoch nicht davon überzeugt, dass sie dramatisch genug sein werden, um Unternehmen von den unzähligen anderen bekannten und unterstützten, geschäftsfreundlichen generativen Modellen (z. B. GPT-4) abzubringen.
Es gibt auch einen Grund, warum Arctic LLM ungünstig ist: sein relativ kleiner Kontext.
In der generativen KI bezieht sich das Kontextfenster auf Eingabedaten (z. B. Text), die ein Modell berücksichtigt, bevor es eine Ausgabe generiert (z. B. mehr Text). Modelle mit kleinen Kontextfenstern neigen dazu, den Inhalt selbst sehr aktueller Gespräche zu vergessen, während Modelle mit größeren Kontexten diese Gefahr normalerweise vermeiden.
Der Kontext von Arctic LLM liegt je nach Feinabstimmungsmethode zwischen etwa 8.000 und etwa 24.000 Wörtern – weit unter dem von Modellen wie Anthropics Claude 3 Opus und Googles Gemini 1.5 Pro.
Snowflake erwähnt es im Marketing nicht, aber Arctic LLM leidet mit ziemlicher Sicherheit unter den gleichen Einschränkungen und Unzulänglichkeiten wie andere generative KI-Modelle – nämlich Halluzinationen (d. h. selbstbewusstes, falsches Beantworten von Anfragen). Das liegt daran, dass Arctic LLM wie jedes andere existierende generative KI-Modell eine statistische Wahrscheinlichkeitsmaschine ist – eine Maschine, die wiederum über ein kleines Kontextfenster verfügt. Es errät anhand einer Vielzahl von Beispielen, welche Daten wo am „sinnvollsten“ zu platzieren sind (z. B. das Wort „go“ vor „the market“ im Satz „I go to the market“). Es wird unweigerlich falsch geraten – und das ist eine „Halluzination“.
Wie Devin in seinem Artikel schreibt, können wir uns bis zum nächsten großen technischen Durchbruch im Bereich der generativen KI nur auf inkrementelle Verbesserungen freuen. Das wird Anbieter wie Snowflake jedoch nicht davon abhalten, sie als großartige Errungenschaften zu verherrlichen und sie mit allen Mitteln zu vermarkten.