Kai-Fu Lee, der im Westen für seinen Bestseller bekannte Informatiker KI-Superkräfte und in China für seine Wetten auf Einhörner mit künstlicher Intelligenz, hat ein neues Unterfangen – und einen großen Ehrgeiz.
Ende März gründete Lee ein Unternehmen namens 01.AI mit der Vision, ein eigenes großes Sprachmodell für den chinesischen Markt zu entwickeln. Das Unternehmen stellt ihn in Konkurrenz zu anderen prominenten chinesischen Technologieführern, darunter Sogous Gründer Wang Xiaochuan, die schnell Talente und Risikokapital gesammelt haben, um Chinas Äquivalente zu OpenAI zu etablieren.
„Ich denke, Notwendigkeit ist die Mutter der Innovation, und in China gibt es eindeutig eine große Notwendigkeit“, sagte Lee in einem Interview mit Tech und erläuterte das Motiv für die Gründung von 01.AI. „Im Gegensatz zum Rest der Welt hat China keinen Zugang zu OpenAI und Google, weil diese beiden Unternehmen ihre Produkte nicht in China verfügbar gemacht haben. Daher denke ich, dass viele LLM-Absolventen versuchen, ihren Teil zur Entwicklung einer Lösung für einen Markt beizutragen.“ Das braucht es wirklich.“
Das Wachstum von 01.AI spiegelt die rasante Entwicklung im Bereich der generativen KI angemessen wider. Sieben Monate nach seiner Gründung hat das Startup sein erstes Modell veröffentlicht, das Open-Source Yi-34B. Die Entscheidung, ein offenes LLM als Debütprodukt einzuführen, sei eine Möglichkeit, der Gesellschaft „etwas zurückzugeben“, sagte Lee. Für Menschen, die das Gefühl hatten, dass LLaMA ein „Geschenk des Himmels“ sei, „haben wir eine überzeugende Alternative bereitgestellt“, fügte er hinzu.
Zum Zeitpunkt des Schreibens ist Yi-34B ein zweisprachiges (Englisch und Chinesisch) Basismodell, das mit 34 Milliarden Parametern trainiert wurde und deutlich kleiner als andere offene Modelle wie Falcon-180B und Meta LlaMa2-70B ist. belegte den ersten Platz unter den vorab trainierten LLM-Modellen, laut einem Ranking von Hugging Face.
„Wir glauben immer noch, dass größere Modelle, wenn sie gut auf einer großen Menge hochwertiger Daten trainiert werden, kleinere Modelle vergleichbarer Qualität und vergleichbarer Technologie immer deutlich übertreffen werden, denke ich.“ [Yi-34B] Viel größere Modelle zu übertreffen, ist etwas, das wir normalerweise nicht sehen“, sagte Lee. „Wir sind ziemlich zuversichtlich, dass wir im Laufe der nächsten eineinhalb Jahre Modelle mit einer Stückzahl von 100 bis 400 Milliarden auf den Markt bringen werden. Diese Modelle werden deutlich besser sein als das heutige Modell, das wir angekündigt haben.“
Die Fähigkeit des Startups, schnell mit der Modellausbildung zu beginnen, ist zweifellos das Ergebnis seiner reibungslosen Mittelbeschaffung, die für die Sicherung erstklassiger Talente und KI-Prozessoren von entscheidender Bedeutung ist. Lee wollte zwar nicht offenlegen, wie viel 01.AI eingesammelt hat, sagte aber, der Wert sei auf 1 Milliarde US-Dollar geschätzt, nachdem er eine Finanzierung von Sinovation Ventures, Alibaba Cloud und anderen nicht genannten Investoren erhalten habe.
01.AI ist bereits auf mehr als 100 Mitarbeiter angewachsen, von denen mehr als die Hälfte LLM-Experten großer multinationaler und chinesischer Technologieunternehmen sind. Sein Vizepräsident für Technologie ist beispielsweise ein frühes Mitglied von Googles Bard, und sein Chefarchitekt war Gründungsmitglied von TensorFlow und arbeitete mit renommierten Forschern wie Jeff Dean und Samy Bengio bei Google Brain zusammen. Die Schlüsselfiguren hinter Yi-34B sind Wenhao Huang, ein Veteran von Microsoft Research Asia, und Ethan Dai, der leitende KI-Positionen bei Huawei und Alibaba innehatte.
Mit der Unterstützung von über zehn Einhörnern und der Gründung von sieben Unternehmen durch Sinovation Ventures ist Lee möglicherweise einer der am besten vernetzten Investoren und Unternehmer in China.
„Seit der Gründung von Microsoft Research Asia sind mehr als 25 Jahre vergangen, und bei allem, was ich getan habe, ging es darum, großartige Talente zu gewinnen“, sagte Lee, der Microsoft Research Asia, das größte Forschungszentrum des US-Riesen im Ausland, gegründet hat. bevor er zu Google China wechselte. Im Laufe der Jahre hat sich Microsoft Research Asia den Ruf als „West Point“ für die Förderung von Chinas KI-Unternehmern erworben.
„Natürlich möchte man die Leute fair bezahlen, und man muss bei der Bezahlung wettbewerbsfähig sein, aber ich denke wirklich, dass es auch darum geht, dass die Leute glauben, dass sie etwas bewirken können und dass das Unternehmen erfolgreich sein kann“, fügte Lee hinzu.
Es ist kein Geheimnis, dass der Aufbau von LLMs ein kostspieliges Unterfangen ist. Um seinen bargeldintensiven Betrieb aufrechtzuerhalten, hat 01.AI von Anfang an Pläne zur Monetarisierung. Während das Unternehmen einige seiner Modelle weiterhin als Open Source bereitstellen wird, besteht sein Ziel darin, ein hochmodernes proprietäres Modell zu entwickeln, das als Grundlage für eine vielfältige Palette kommerzieller Produkte dient.
„Wir „Man kann nicht alles als Open Source anbieten“, sagte Lee. „Wir waren uns der Tatsache bewusst, dass diese großen Sprachmodelle viel Rechenleistung erfordern und daher sehr teuer sind. Wenn wir viel Geld sammeln, wird das meiste davon für die GPU ausgegeben. Vor diesem Hintergrund mussten wir zunächst so viel GPU wie möglich besorgen, was wir auch taten.“
Wie andere LLM-Akteure in China hat 01.AI im Vorgriff auf US-Sanktionen proaktiv GPUs gelagert; Es hat Geld geliehen, um Prozessoren zu kaufen, noch bevor es die Finanzierung erhielt. Im vergangenen Jahr hat die Biden-Regierung die Beschränkungen für Chinas Zugang zu hochwertigen KI-Chips verschärft. was chinesische Firmen dazu veranlasst, überhöhte Preise für Chips zu zahlen. Die Weitsicht wurde belohnt – 01.AI verfügt nun über einen Vorrat, der ausreicht mindestens die nächsten 12-18 Monate.
Abgesehen davon, dass sie chinesischen Unternehmen Kopfzerbrechen bereiteten, waren die US-Sanktionen auch ein Katalysator für Innovationen, indem sie sie dazu ermutigten, die Nutzung der Rechenleistung zu optimieren. „Mit einem sehr hochwertigen Infrastrukturteam können wir pro 1.000 GPUs möglicherweise die Arbeitslast von 2.000 GPUs herausholen“, sagte Lee.
Der Weg von 01.AI zur Monetarisierung hängt weitgehend von seiner Fähigkeit ab, für seine teuren KI-Modelle ein Produkt zu finden, das für den Markt geeignet ist. Während es an erstklassigen LLM-Wissenschaftlern mangelt, gibt es in China keinen Mangel an Produkttalenten.
„China ist den USA im LLM nicht voraus, aber es besteht kein Zweifel, dass China bessere Anwendungen entwickeln kann als amerikanische Entwickler, vor allem aufgrund des phänomenalen mobilen Internet-Ökosystems, das in den letzten etwa 12 Jahren aufgebaut wurde“, argumentierte Lee.
Während der Gründer keine Details zu den in der Pipeline befindlichen Diensten nannte, deutete er an, dass das Unternehmen mit Konzepten in den Bereichen Produktivität und Soziales experimentiere und er „enttäuscht“ wäre, wenn 01.AI in diesem Kalender keine App veröffentlichen würde Jahr.
Das ultimative Ziel des Startups besteht laut Lee darin, ein Ökosystem zu werden, in dem externe Entwickler problemlos Anwendungen erstellen können. „Die Pflicht besteht nicht nur darin, gute Forschungsmodelle voranzutreiben, sondern, was noch wichtiger ist, die Anwendungsentwicklung zu vereinfachen, damit es überzeugende Anwendungen geben kann“, sagte er. „Am Ende des Tages. Es ist ein Ökosystemspiel.“ Die Zeit wird zeigen, ob sich Lees KI-Bemühungen auszahlen werden.