Die Entwicklung hochmoderner KI-Systeme wie ChatGPT erfordert massive technische Ressourcen, zum Teil, weil ihre Entwicklung und ihr Betrieb kostspielig sind. Während mehrere Open-Source-Bemühungen versucht haben, proprietäre Closed-Source-Systeme zurückzuentwickeln, die von kommerziellen Labors wie DeepMind und OpenAI von Alphabet erstellt wurden, sind sie oft auf Hindernisse gestoßen – hauptsächlich aufgrund eines Mangels an Kapital und Fachwissen.
In der Hoffnung, diesem Schicksal zu entgehen, hat eine Gemeinschaftsforschungsgruppe EleutherAIIst Bildung eine gemeinnützige Stiftung. Die Organisation gab heute bekannt, dass sie ein gemeinnütziges Forschungsinstitut, das EleutherAI Institute, gründen wird, das durch Spenden und Zuschüsse von Geldgebern finanziert wird, darunter die KI-Startups Hugging Face und Stability AI, der ehemalige GitHub-CEO Nat Friedman, Lambda Labs und Canva.
„Die Formalisierung als Organisation ermöglicht es uns, Vollzeitmitarbeiter aufzubauen und uns an längeren und aufwendigeren Projekten zu beteiligen, als dies als Freiwilligengruppe möglich wäre“, Stella Biderman, KI-Forscherin bei Booz Allen Hamilton, die das EleutherAI Institute mitleiten wird, sagte Tech in einem E-Mail-Interview. „Speziell in Bezug auf eine gemeinnützige Organisation denke ich, dass es ein Kinderspiel ist, wenn man bedenkt, dass wir uns auf Forschung und den Open-Source-Bereich konzentrieren.“
EleutherAI begann vor einigen Jahren als eine Grassroots-Sammlung von Entwicklern, die an der Open-Source-KI-Forschung arbeiteten. Seine Gründungsmitglieder – Connor Leahy, Leo Gao und Sid Black – schrieben den Code und sammelten die Daten, die benötigt werden, um ein Modell für maschinelles Lernen zu erstellen, das dem texterzeugenden GPT-3 von OpenAI nahe kommt, das zu dieser Zeit viel Aufmerksamkeit erregte.
Das Unternehmen kuratierte und veröffentlichte The Pile, eine Sammlung von Datensätzen, die dazu dient, GPT-3-ähnliche Modelle zu trainieren, um Text zu vervollständigen, Code zu schreiben und mehr. Und es veröffentlichte mehrere Modelle unter der Apache 2.0-Lizenz, darunter GPT-J und GPT-NeoX, Sprachmodelle, die für eine Weile eine ganz neue Welle von Startups angeheizt.
Um seine Modelle zu trainieren, stützte sich EleutherAI hauptsächlich auf die TPU Research Cloud, ein Google Cloud-Programm, das Projekte mit der Erwartung unterstützt, dass die Ergebnisse öffentlich geteilt werden. CoreWeave, ein in den USA ansässiger Kryptowährungs-Miner, der Cloud-Dienste für KI-Workloads anbietet, stellte EleutherAI im Austausch für Modelle, die seine Kunden nutzen und bedienen können, auch Rechenressourcen zur Verfügung.
EleutherAI wuchs schnell. Heute arbeiten über 20 der regelmäßigen Mitwirkenden der Community Vollzeit und konzentrieren sich hauptsächlich auf die Forschung. Und in den letzten 18 Monaten haben EleutherAI-Mitglieder 28 wissenschaftliche Arbeiten mitverfasst, Dutzende von Modellen trainiert und zehn Codebasen veröffentlicht.
Aber die unbeständige Natur seiner Cloud-Anbieter zwang EleutherAI manchmal, seine Pläne zu verwerfen. Ursprünglich hatte die Gruppe beabsichtigt, ein Modell zu veröffentlichen, das in Bezug auf die Anzahl der Parameter ungefähr die Größe von GPT-3 hat, diese Roadmap jedoch aus technischen und finanziellen Gründen zurückgestellt hat. (In der KI sind Parameter die Teile des Modells, die aus historischen Trainingsdaten gelernt wurden, und definieren im Wesentlichen die Fähigkeiten des Modells bei einem Problem, z. B. beim Generieren von Text.)
Ende 2022 machte EleutherAI Bekanntschaft mit Stability AI, dem mittlerweile gut finanzierten Startup hinter dem bilderzeugenden KI-System Stable Diffusion. Zusammen mit anderen Mitarbeitern half es bei der Erstellung der ersten Version von Stable Diffusion. Und seitdem hat Stability AI einen Teil der Rechenleistung aus seinem AWS-Cluster für die laufende Sprachmodellforschung von EleutherAI gespendet.
Nachdem sich ein weiterer großer Förderer – Hugging Face – an EleutherAI gewandt hatte, begannen Diskussionen über gemeinnützige Organisationen, sagt Biderman. (Viele Mitarbeiter von EleutherAI waren an den BigScience-Bemühungen des Unternehmens beteiligt, die darauf abzielten, ein GPT-3-ähnliches Modell im Laufe eines Jahres zu trainieren und als Open Source zu veröffentlichen.)
„EleutherAI hat sich in der Vergangenheit weitgehend auf große Sprachmodelle konzentriert, die ChatGPT architektonisch ähnlich sind, und wird dies wahrscheinlich auch weiterhin tun“, sagte Biderman. „Über das Training großer Sprachmodelle hinaus freuen wir uns, mehr Ressourcen für Ethik, Interpretierbarkeit und Alignment-Arbeit bereitzustellen.“
Man könnte sich fragen, ob die Beteiligung kommerziell motivierter Unternehmen wie Stability AI und Hugging Face – die beide durch erhebliches Risikokapital unterstützt werden – die Forschung von EleutherAI beeinflussen könnte. Es ist eine natürliche Annahme – und sie ist sogar durch Beweise gestützt. Mindestens ein lernen zeigt einen direkten Zusammenhang zwischen Spenden und der Wahrscheinlichkeit, dass sich gemeinnützige Organisationen zu einer vorgeschlagenen Regierungsregelung äußern.
Biderman beteuert, dass die EleutherAI Foundation unabhängig bleiben wird und sieht bisher kein Problem mit dem Spenderpool.
„Wir entwickeln keine Modelle im Auftrag kommerzieller Unternehmen“, sagte Biderman. „Wenn überhaupt, denke ich, dass ein vielfältiges Sponsoring unsere Unabhängigkeit verbessert. Wenn wir vollständig von einem Technologieunternehmen finanziert würden, scheint das ein viel größeres potenzielles Problem von unserer Seite zu sein.“
Eine weitere Herausforderung, die die EleutherAI Foundation meistern muss, besteht darin, dafür zu sorgen, dass ihre Kassen nicht austrocknen. OpenAI ist eine warnende Geschichte; Nachdem das Unternehmen 2015 als gemeinnützige Organisation gegründet wurde, wechselte es später zu einer „Capped-Profit“-Struktur, um seine laufende Forschung zu finanzieren.
Im Großen und Ganzen waren gemeinnützige Initiativen zur Finanzierung der KI-Forschung eine gemischte Sache.
Zu den Erfolgsgeschichten gehört das Allen Institute for AI (AI2), das vom verstorbenen Microsoft-Mitbegründer Paul Allen gegründet wurde und darauf abzielt, wissenschaftliche Durchbrüche in den Bereichen KI und maschinelles Lernen zu erzielen. Es gibt auch das Alan Turing Institute, das in Großbritannien ansässige, staatlich finanzierte nationale Institut für Datenwissenschaft und maschinelles Lernen. Zu den kleineren vielversprechenden Bemühungen gehören Cohere For AI des KI-Startups Cohere (trotz seiner Unternehmensbindungen) und Distributed AI Research von Timnit Gebru, eine weltweit verteilte Forschungsorganisation.
Aber für jede AI2 gibt es den Fonds für KI-Forschung des ehemaligen Google-Vorsitzenden Eric Schmidt. Mit einem Volumen von über 125 Millionen US-Dollar sorgte es nach Politico für neue Kontroversen gemeldet dass Schmidt einen ungewöhnlich starken Einfluss auf das Büro für Wissenschafts- und Technologiepolitik des Weißen Hauses ausübt.
Die Zeit wird zeigen, welche Richtung die EleutherAI Foundation letztendlich einschlägt. Wahrscheinlich wird sich die Mission im Laufe der Zeit weiterentwickeln und verändern – auf positive Weise können wir nur hoffen.