Führungskräfte und Forscher, die die KI-Bemühungen von Meta leiten, waren laut Angaben davon besessen, das GPT-4-Modell von OpenAI zu schlagen, während sie Llama 3 entwickelten Interne Nachrichten wurden am Dienstag von einem Gericht entsiegelt in einem der laufenden KI-Urheberrechtsfälle des Unternehmens, Kadrey gegen Meta.
„Ehrlich gesagt … unser Ziel muss GPT-4 sein“, sagte Ahmad Al-Dahle, Vizepräsident für generative KI bei Meta, in einer Nachricht vom Oktober 2023 an den Meta-Forscher Hugo Touvron. „Wir haben 64.000 GPUs im Angebot! Wir müssen lernen, neue Maßstäbe zu setzen und dieses Rennen zu gewinnen.“
Obwohl Meta offene KI-Modelle veröffentlicht, konzentrierten sich die KI-Führungskräfte des Unternehmens viel mehr darauf, Konkurrenten zu schlagen, die die Gewichtungen ihrer Modelle normalerweise nicht freigeben, wie Anthropic und OpenAI, und sie stattdessen hinter eine API zu drängen. Die Führungskräfte und Forscher von Meta hielten Claude von Anthropic und GPT-4 von OpenAI für den Goldstandard, auf den man hinarbeiten sollte.
Das französische KI-Startup Mistral, einer der größten offenen Konkurrenten von Meta, wurde in den internen Nachrichten mehrfach erwähnt, der Ton war jedoch abweisend.
„Mistral ist Peanuts für uns“, sagte Al-Dahle in einer Nachricht. „Wir sollten es besser machen können“, sagte er später.
Tech-Unternehmen wetteifern heutzutage darum, sich gegenseitig mit modernsten KI-Modellen in den Schatten zu stellen, aber diese Gerichtsakten zeigen, wie wettbewerbsfähig die KI-Führungskräfte von Meta tatsächlich waren – und scheinbar immer noch sind. An mehreren Stellen im Nachrichtenaustausch sprachen die KI-Leiter von Meta darüber, wie „sehr aggressiv“ sie bei der Beschaffung der richtigen Daten zum Trainieren von Lama vorgegangen seien; Irgendwann sagte ein Manager in einer Nachricht an Kollegen sogar: „Lama 3 ist buchstäblich alles, was mich interessiert.“
Die Staatsanwälte behaupten in diesem Fall, dass die Führungskräfte von Meta in ihrem wahnsinnigen Wettlauf um die Bereitstellung von KI-Modellen gelegentlich Abstriche gemacht und dabei an urheberrechtlich geschützten Büchern geschult haben.
Touvron wies in einer Nachricht darauf hin, dass die Mischung der für Llama 2 verwendeten Datensätze „schlecht“ sei, und sprach darüber, wie Meta eine bessere Mischung von Datenquellen nutzen könnte, um Llama 3 zu verbessern. Touvron und Al-Dahle sprachen dann darüber, den Weg für die Nutzung freizumachen der LibGen-Datensatz, der urheberrechtlich geschützte Werke von Cengage Learning, Macmillan Learning, McGraw Hill und Pearson Education enthält.
„Haben wir dort die richtigen Datensätze?[?]“, sagte Al-Dahle. „Gibt es etwas, das Sie verwenden wollten, aber aus irgendeinem dummen Grund nicht konnten?“
Mark Zuckerberg, CEO von Meta, hat zuvor erklärt, dass er versucht, die Leistungslücke zwischen den KI-Modellen von Llama und den geschlossenen Modellen von OpenAI, Google und anderen zu schließen. Die internen Meldungen verdeutlichen den enormen Druck innerhalb des Unternehmens, dies zu tun.
„In diesem Jahr ist Llama 3 mit den fortschrittlichsten Modellen konkurrenzfähig und in einigen Bereichen führend“, sagte Zuckerberg in einem Brief ab Juli 2024. „Ab dem nächsten Jahr gehen wir davon aus, dass die künftigen Llama-Modelle die fortschrittlichsten der Branche sein werden.“
Als Meta schließlich im April 2024 Llama 3 veröffentlichte, war das offene KI-Modell mit den führenden geschlossenen Modellen von Google, OpenAI und Anthropic konkurrenzfähig und übertraf die offenen Optionen von Mistral. Die Daten, die Meta zum Trainieren seiner Modelle verwendet hat – Daten, die Zuckerberg Berichten zufolge trotz ihres Urheberrechtsstatus grünes Licht für die Nutzung gegeben hat – werden jedoch in mehreren laufenden Gerichtsverfahren einer genauen Prüfung unterzogen.