Eine der produktivsten Entwicklungsplattformen für KI und maschinelles Lernen. Gewichte und Voreingenommenheiten hat sich eine neue Tranche Bargeld vom ehemaligen GitHub-CEO Nat Friedman und dem ehemaligen Y Combinator-Partner Daniel Gross gesichert.
Friedman und Gross haben zusammen mit den bestehenden Investoren Coatue, Insight Partners, Felicis, Bond, BloombergBeta und Sapphire in einer strategischen Runde 50 Millionen US-Dollar in Weights & Biases investiert, die das Unternehmen mit 1,25 Milliarden US-Dollar bewertet. Die Gesamteinnahmen des Startups belaufen sich auf 250 Millionen US-Dollar. Die Investition erfolgt, während Weights & Biases die Einführung von Prompts vorbereitet, einem neuen Produkt, das Benutzern dabei helfen soll, die Leistung großer Sprachmodelle (LLMs) nach dem Vorbild von OpenAIs GPT-4 zu überwachen und zu bewerten.
Die 50-Millionen-Dollar-Investition ist weitaus geringer als die bisherige Serie C von Weights & Biases, die sich auf rund 135 Millionen Dollar belief. Aber Lavanya Shukla, Vizepräsidentin für Wachstum bei Weights & Biases, beschrieb es als opportunistisch.
„Wir glauben, dass die Bereitstellung von Tools für maschinelles Lernen für CTOs und ihre Teams eine wichtige Rolle spielen sollte“, sagte er gegenüber Tech in einem E-Mail-Interview. „Durch die Auseinandersetzung mit Tests, Sicherheit und Zuverlässigkeit befindet sich Weights & Biases an einem entscheidenden Punkt in der Entwicklung eines erfolgreichen Modells für maschinelles Lernen.“
Lukas Biewald und Chris Van Pelt gründeten 2017 gemeinsam Weights & Biases, nachdem sie jahrelang an Tools für Machine-Learning-Ingenieure und Datenwissenschaftler gearbeitet hatten. Die beiden starteten zuvor Figure Eight, früher bekannt als CrowdFlower, um Crowdworker zu rekrutieren, die Trainingsdaten für maschinelle Lernalgorithmen kennzeichnen. (Figure Eight wurde 2019 von Appen für 175 Millionen US-Dollar übernommen.)
„Die beiden identifizierten ein größeres Problem: dass die Praktiker des maschinellen Lernens kein gutes Aufzeichnungssystem für ihre Experimente hatten“, sagte Shukla. „Diese höchst experimentelle und dennoch entscheidende Wissenschaft wurde in Tabellenkalkulationen und degradierten Screenshots protokolliert.“
Also schlossen sich Biewald und Van Pelt mit dem Entwickler Shawn Lewis, einem Google-Alumnus, zusammen, um dieses Problem zu lösen. Im Laufe der nächsten Jahre bauten sie das MVP für Weights & Biases auf: Workflows zur Unterstützung des Entwicklungslebenszyklus des maschinellen Lernens.
Weights & Biases gehört zu einer Kategorie von Plattformen, die als MLOps oder Machine-Learning-Operationen bekannt sind und es Datenwissenschaftlern ermöglichen, neue Machine-Learning-Modelle zu erstellen und sie durch wiederholbare, automatisierte Workflows laufen zu lassen, die sie in der Produktion einsetzen. Mit der steigenden Nachfrage nach KI steigt auch die Nachfrage nach MLOps-Plattformen. Allied Market Research schätzt, dass das MLOps-Segment bis 2023 einen Wert von 23,1 Milliarden US-Dollar haben wird.
Regelmäßig entstehen neue MLOps-Plattformen. Um nur einige zu nennen: Seldon, FedML, Qwak, Galileo, Striveworks, Arize, Comet und Tecton. Dabei werden Angebote von etablierten Anbietern wie Azure, AWS und Google Cloud ignoriert.
Aber was Weights & Biases auszeichnet, ist sein Ansatz für MLOps, behauptet Shukla.
Erstens wurden alle Produkte von Weights & Biases gemeinsam mit Partnern und Kunden entwickelt, um sicherzustellen, dass sie den Bedürfnissen dieser Partner und Kunden gerecht werden, sagt Shukla. Zweitens legt die Plattform einen Schwerpunkt auf Tools zur Abfrage der Datensätze, die zum Trainieren von Modellen verwendet werden, sodass Kunden mögliche Probleme wie Vorurteile und das Vorhandensein persönlich identifizierbarer Informationen überprüfen können – idealerweise bevor diese Datensätze in Produktion gehen.
Gewichtungs- und Verzerrungsüberwachungsplattform für maschinelle Lernvorgänge. Bildnachweis: Gewichte und Voreingenommenheiten
„Weights & Biases ist die führende Plattform für maschinelles Lernen, die Entwicklern hilft, schneller bessere Modelle zu erstellen“, sagte Shukla. „Wir entwickeln leichte, interoperable Tools, um Experimente schnell zu verfolgen, Datensätze zu versionieren und zu iterieren, die Modellleistung zu bewerten, Modelle zu reproduzieren, Ergebnisse zu visualisieren und Regressionen zu erkennen und Ergebnisse mit Kollegen zu teilen. Dadurch können Ingenieure für maschinelles Lernen ihre Pipelines für maschinelles Lernen schnell iterieren und dabei sicher sein, dass ihre Datensätze und Modelle in einem zuverlässigen Aufzeichnungssystem verfolgt und versioniert werden.“
Welche weiteren Vorteile Weights & Biases auch bietet, First Mover ist mit ziemlicher Sicherheit einer davon.
Die Lösung der Plattform sei in über 20.000 Open-Source-Repositories integriert, behauptet Shukla, und Weights & Biases wurde in Hunderten von wissenschaftlichen Forschungsarbeiten zum maschinellen Lernen zitiert. Es ist auch das Toolset der Wahl für hochkarätige, gut finanzierte Entwickler generativer KI-Modelle, darunter OpenAI, Aleph Alpha, Cohere, Anthropic und Hugging Face.
„OpenAI trainiert alle Modelle auf Gewichtungen und Verzerrungen. Da Hunderte von Mitarbeitern Tausende von Experimenten durchführen, ist es von entscheidender Bedeutung, dass OpenAI eine Möglichkeit hat, ihre Modelle schnell zu testen, Probleme zu identifizieren und Fehler zu beheben“, sagte Shukla. „OpenAI muss außerdem viele Trainingsläufe mit kleinen Teilmengen seiner Daten durchführen. Dank Weights & Biases konnten sie GPT-4 schneller trainieren.“
Über die generative KI-Kohorte hinaus hat Weights & Biases 700.000 Nutzer – gegenüber 100.000 im Jahr 2021 – und mehr als 1.000 zahlende Nutzer. Das Team ist mittlerweile auf über 200 Mitarbeiter angewachsen, die meisten davon in der Zentrale in San Francisco.
Weights & Biases möchte diesen Kundenstamm mit Prompts, dem angekündigten neuen Produkt, weiter vergrößern, das es Benutzern ermöglicht, die Ausgaben eines LLMs abzufragen und die LLMs selbst zu optimieren.
„LLMs verringern möglicherweise die Anzahl der Personen, die zum Trainieren von Modellen erforderlich sind, erhöhen jedoch die Anzahl der Personen, die Unternehmen für die Feinabstimmung, Schnittstelle und Erstellung von Apps mit diesen Modellen benötigen“, sagte Shukla. „Das Ziel von Prompts besteht auch darin, eine neue Klasse von Benutzern zu bedienen und die Art und Weise zu ändern, wie große Labore Modelle für maschinelles Lernen erstellen. Zusätzlich zu den schnellen Ingenieuren und Feinabstimmungskräften werden Forscher und Unternehmen, die einzigartige interne Modelle erstellen, über mehr Werkzeuge zur Verbesserung ihrer Modelle verfügen.“
Was Weights & Biases betrifft, wird es einen Grund haben, seine MLOps-Suite weiter auszubauen.