Im Februar gründete Sogou Wang Xiaochuan genannt auf Weibo, dass „China seine eigene OpenAI braucht.“ Der chinesische Unternehmer kommt seinem Traum nun immer näher, als sein junges Startup Baichuan Intelligence sein großes Sprachmodell der nächsten Generation einführte Baichuan-13B Heute.
Baichuan wird als einer der vielversprechendsten LLM-Entwickler Chinas angepriesen, da sein Gründer eine geschichtsträchtige Vergangenheit als Wunderkind der Informatik an der Tsinghua-Universität hatte und den Suchmaschinenanbieter Sogou gründete, der später von Tencent übernommen wurde.
Wang trat Ende 2021 von Sogou zurück. Als ChatGPT die Welt im Sturm eroberte, gründete der Unternehmer Baichuan Im April und kassierte schnell eine Finanzierung in Höhe von 50 Millionen US-Dollar von einer Gruppe Angel-Investoren.
Wie andere einheimische LLMs in China wird Baichuan, ein 13-Milliarden-Parameter-Modell, das auf der Transformer-Architektur (die auch GPT zugrunde liegt) basiert, auf chinesischen und englischen Daten trainiert. (Parameter beziehen sich auf Variablen, die das Modell zum Generieren und Analysieren von Text verwendet.) Das Modell ist Open Source und für kommerzielle Anwendungen optimiert, heißt es auf der GitHub-Seite.
Baichuan-13 wird auf 1,4 Billionen Token trainiert. Im Vergleich dazu die von Meta Lama verwendet 1 Billion Token in seinem 13-Milliarden-Parameter-Modell. Wang sagte zuvor in einem Interview dass sein Startup auf dem besten Weg sei, bis Ende dieses Jahres ein groß angelegtes Modell zu veröffentlichen, das mit OpenAIs GPT-3.5 vergleichbar sei.
Baichuan wurde erst vor drei Monaten gestartet und hat bereits eine bemerkenswerte Entwicklungsgeschwindigkeit erreicht. Bis Ende AprilDas Team war auf 50 Personen angewachsen und brachte im Juni sein erstes LLM auf den Markt, das Pre-Training-Modell Baichuan-7B, das über 7 Milliarden Parameter verfügt.
Jetzt steht das Basismodell Baichuan-13B Akademikern und Entwicklern kostenlos zur Verfügung, die eine offizielle Genehmigung zur kommerziellen Nutzung erhalten haben. Wichtig ist, dass das Modell im Zeitalter der US-KI-Chip-Sanktionen gegen China Varianten bietet, die auf Hardware der Verbraucherklasse laufen können, einschließlich der 3090-Grafikkarten von Nvidia.
Andere chinesische Firmen, die stark in große Sprachmodelle investiert haben, sind der Suchmaschinenriese Baidu; Zhipu.ai, ein Spin-off der Tsinghua-Universität unter der Leitung von Professor Tang Jie; sowie das Forschungsinstitut IDEA unter der Leitung von Harry Shum, dem Mitbegründer von Microsoft Research Asia.
Chinas große Sprachmodelle entwickeln sich rasch weiter, während sich das Land auf die Umsetzung einiger der strengsten KI-Vorschriften der Welt vorbereitet. Wie die Financial Times berichtetEs wird erwartet, dass China Vorschriften für generative KI mit besonderem Schwerpunkt auf Inhalten ausarbeitet, was auf eine stärkere Kontrolle als die im April eingeführten Regeln hindeutet. Unternehmen müssen möglicherweise auch eine Lizenz erwerben, bevor sie große Sprachmodelle einführen, was Chinas Bemühungen, in der aufstrebenden Branche mit den USA zu konkurrieren, bremsen könnte.