Meta hat angekündigt das neueste Mitglied seiner Llama-Familie generativer KI-Modelle: Llama 3.3 70B.
In einem Post auf
„Durch die Nutzung der neuesten Fortschritte bei Post-Training-Techniken … verbessert dieses Modell die Kernleistung zu deutlich geringeren Kosten“, schrieb Al-Dahle.
Al-Dahle hat ein Diagramm veröffentlicht, das zeigt, dass Llama 3.3 70B Googles Gemini 1.5 Pro, OpenAIs GPT-4o und Amazons neu veröffentlichtes Nova Pro bei einer Reihe von Branchen-Benchmarks übertrifft, darunter MMLU, das die Fähigkeit eines Modells, Sprache zu verstehen, bewertet. Per E-Mail sagte ein Meta-Sprecher, dass das Modell Verbesserungen in Bereichen wie Mathematik, Allgemeinwissen, Befolgen von Anweisungen und App-Nutzung liefern sollte.
Wir stellen Llama 3.3 vor – ein neues 70B-Modell, das die Leistung unseres 405B-Modells bietet, aber einfacher und kosteneffizienter im Betrieb ist. Durch die Nutzung der neuesten Fortschritte bei Post-Training-Techniken, einschließlich Online-Präferenzoptimierung, verbessert dieses Modell die Kernleistung bei… pic.twitter.com/6oQ7b3Yuzc
— Ahmad Al-Dahle (@Ahmad_Al_Dahle) 6. Dezember 2024
Llama 3.3 70B, erhältlich für herunterladen von der KI-Entwicklungsplattform Hugging Face und anderen Quellen, einschließlich dem offiziellen Llama Webseiteist Metas jüngster Versuch, den KI-Bereich mit „offenen“ Modellen zu dominieren, die für eine Reihe von Anwendungen genutzt und kommerzialisiert werden können.
Metas Bedingungen einschränken wie bestimmte Entwickler Lama-Modelle verwenden können; Plattformen mit mehr als 700 Millionen monatlichen Nutzern müssen eine spezielle Lizenz beantragen. Für viele ist es jedoch unerheblich, dass Llama-Modelle nicht im engeren Sinne „offen“ sind. Laut Meta hat Llama beispielsweise mehr als 650 Millionen Downloads verzeichnet.
Meta hat Llama auch intern genutzt. Meta AI, der KI-Assistent des Unternehmens, der vollständig auf Llama-Modellen basiert, hat inzwischen fast 600 Millionen aktive Benutzer pro Monat. pro Meta-CEO Mark Zuckerberg. Zuckerberg behauptet, dass Meta AI auf dem besten Weg ist, der meistgenutzte KI-Assistent der Welt zu werden.
Für Meta war die Offenheit von Lama ein Segen und ein Fluch. Im November wurde in einem Bericht behauptet, chinesische Militärforscher hätten ein Lama-Modell verwendet, um einen Verteidigungs-Chatbot zu entwickeln. Meta reagierte, indem es seine Llama-Modelle US-Verteidigungsunternehmen zur Verfügung stellte.
Meta hat auch Bedenken hinsichtlich seiner Fähigkeit geäußert, den AI Act einzuhalten, das EU-Gesetz, das einen Regulierungsrahmen für KI festlegt, und bezeichnete die Umsetzung des Gesetzes als „zu unvorhersehbar“ für seine Strategie der offenen Veröffentlichung. Ein damit verbundenes Problem für das Unternehmen sind Bestimmungen der DSGVO, des EU-Datenschutzgesetzes, die sich auf KI-Schulungen beziehen. Meta trainiert KI-Modelle anhand der öffentlichen Daten von Instagram- und Facebook-Nutzern, die sich nicht abgemeldet haben – Daten, die in Europa den DSGVO-Garantien unterliegen.
EU-Regulierungsbehörden forderten Meta Anfang des Jahres auf, die Schulung zu europäischen Benutzerdaten einzustellen, während sie die DSGVO-Konformität des Unternehmens bewerteten. Meta gab nach und befürwortete gleichzeitig eine offener Brief fordert eine „moderne Interpretation“ der DSGVO, die „den Fortschritt nicht ablehnt“.
Meta ist nicht immun gegen die technischen Herausforderungen, mit denen andere KI-Labore konfrontiert sind, und baut seine Computerinfrastruktur aus, um zukünftige Lama-Generationen zu trainieren und zu bedienen. Das Unternehmen gab am Mittwoch bekannt, dass es in Louisiana ein KI-Rechenzentrum im Wert von 10 Milliarden US-Dollar bauen werde – das größte KI-Rechenzentrum, das Meta jemals gebaut hat.
Zuckerberg sagte bei Metas Q4-Gewinnaufruf im August, dass das Unternehmen zum Trainieren des nächsten großen Satzes von Llama-Modellen, Llama 4, zehnmal mehr Rechenleistung benötigen wird, als zum Trainieren von Llama 3 erforderlich war. Meta hat einen Cluster von mehr als 100.000 Nvidia beschafft GPUs für die Modellentwicklung, die mit den Ressourcen der Konkurrenz wie xAI konkurrieren.
Das Training generativer KI-Modelle ist eine kostspielige Angelegenheit. Die Investitionsausgaben von Meta stiegen im zweiten Quartal 2024 um fast 33 % auf 8,5 Milliarden US-Dollar, gegenüber 6,4 Milliarden US-Dollar im Vorjahr, getrieben durch Investitionen in Server, Rechenzentren und Netzwerkinfrastruktur.