Bei einer Veranstaltung in London am Dienstag bestätigte Meta, dass es innerhalb des nächsten Monats eine erste Veröffentlichung von Llama 3 plant – der nächsten Generation seines großen Sprachmodells, das generative KI-Assistenten antreibt.
Dies bestätigt einen am Montag von The Information veröffentlichten Bericht Meta stand kurz vor dem Start.
„Innerhalb des nächsten Monats, eigentlich weniger, hoffentlich in sehr kurzer Zeit, hoffen wir, mit der Einführung unserer neuen Suite von Foundation-Modellen der nächsten Generation, Llama 3, beginnen zu können“, sagte Nick Clegg, Präsident für globale Angelegenheiten bei Meta. Er beschrieb, was sich wie die Veröffentlichung mehrerer verschiedener Iterationen oder Versionen des Produkts anhört. „Es wird eine Reihe verschiedener Modelle mit unterschiedlichen Fähigkeiten und unterschiedlichen Vielseitigkeiten geben [released] im Laufe dieses Jahres beginnen und wirklich sehr bald beginnen.“
Der Plan, fügte Chris Cox, Chief Product Officer von Meta, hinzu, besteht darin, mehrere Produkte in Meta mit Llama 3 zu betreiben.
Meta hat sich bemüht, zu OpenAI aufzuschließen, was es und andere große Technologieunternehmen wie Google überraschte, als es vor über einem Jahr ChatGPT auf den Markt brachte und die App viral ging und generative KI-Fragen und -Antworten in alltägliche Mainstream-Erlebnisse verwandelte.
Meta hat bei der KI größtenteils einen sehr vorsichtigen Ansatz gewählt, aber das kam in der Öffentlichkeit nicht gut an, da frühere Versionen von Llama als zu eingeschränkt kritisiert wurden. (Llama 2 wurde im Juli 2023 öffentlich veröffentlicht. Die erste Version von Llama wurde nicht veröffentlicht, ist aber dennoch online durchgesickert.)
Es wird erwartet, dass Llama 3, das einen größeren Umfang als seine Vorgänger hat, dieses Problem angeht und nicht nur die Möglichkeit bietet, Fragen genauer zu beantworten, sondern auch ein breiteres Spektrum an Fragen zu beantworten, die möglicherweise kontroversere Themen umfassen. Man hofft, dass das Produkt dadurch bei den Nutzern Anklang findet.
„Unser Ziel ist es, mit der Zeit eine Meta-KI mit Lama-Antrieb zum nützlichsten Assistenten der Welt zu machen“, sagte Joelle Pineau, Vizepräsidentin für KI-Forschung. „Es liegt noch einiges an Arbeit vor uns, um dorthin zu gelangen.“ Das Unternehmen sprach weder über die Größe der Parameter, die es in Llama 3 verwendet, noch bot es Demos zur Funktionsweise an. Es wird erwartet, dass es etwa 140 Milliarden Parameter hat, verglichen mit 70 Milliarden beim größten Llama-2-Modell.
Vor allem die Llama-Familien von Meta, die als Open-Source-Produkte entwickelt wurden, stellen einen anderen philosophischen Ansatz dar, wie sich KI als umfassendere Technologie entwickeln sollte. Dadurch hofft Meta, bei Entwicklern eine größere Gunst gegenüber proprietäreren Modellen zu erzielen.
Aber Meta geht offenbar auch vorsichtiger vor, insbesondere wenn es um andere generative KI geht, die über die Textgenerierung hinausgeht. Das Unternehmen veröffentlicht Emu, sein Tool zur Bildgenerierung, noch nicht, sagte Pineau.
„Latenz ist neben Sicherheit und Benutzerfreundlichkeit von großer Bedeutung, um Bilder zu generieren, auf die Sie stolz sind und die Ihren kreativen Kontext repräsentieren“, sagte Cox.
Ironischerweise – oder vielleicht vorhersehbar (heh) – gibt es, obwohl Meta an der Veröffentlichung von Llama 3 arbeitet, einige erhebliche Skeptiker der generativen KI im Haus.
Yann LeCun, der gefeierte KI-Akademiker und leitende KI-Wissenschaftler von Meta, warf einen kurzen Blick auf die Grenzen der generativen KI insgesamt und sagte, er setze auf das, was danach kommt. Er prognostiziert, dass es eine Joint Embedding Predicting Architecture (JEPA) geben wird, einen anderen Ansatz sowohl zum Trainieren von Modellen als auch zum Erzeugen von Ergebnissen, den Meta verwendet hat, um eine genauere prädiktive KI in diesem Bereich zu entwickeln Bilderzeugung.
„Die Zukunft der KI ist JEPA. Es ist keine generative KI“, sagte er. „Wir müssen den Namen der Produktabteilung von Chris ändern.“