Meta ist fest entschlossen, mit seinen Konkurrenten im Bereich der generativen KI gleichzuziehen, und gibt Geld aus Milliarden auf eigene KI-Bemühungen. Ein Teil dieser Milliarden fließt in die Zukunft Rekrutierung von KI-Forschern. Aber ein noch größerer Teil wird für die Entwicklung von Hardware aufgewendet, insbesondere für Chips zum Ausführen und Trainieren der KI-Modelle von Meta.
Meta hat heute, auffällig einen Tag nach Intel, das neueste Ergebnis seiner Chip-Entwicklungsbemühungen vorgestellt angekündigt seine neueste KI-Beschleuniger-Hardware. Der als Meta Training and Inference Accelerator (MTIA) der „nächsten Generation“ bezeichnete Chip ist der Nachfolger des letztjährigen MTIA v1 und führt Modelle aus, unter anderem für das Ranking und die Empfehlung von Display-Anzeigen auf den Eigenschaften von Meta (z. B. Facebook).
Im Vergleich zu MTIA v1, das auf einem 7-nm-Prozess basiert, beträgt der MTIA der nächsten Generation 5 nm. (Bei der Chipherstellung bezieht sich „Prozess“ auf die Größe der kleinsten Komponente, die auf dem Chip gebaut werden kann.) Der MTIA der nächsten Generation ist ein physisch größeres Design und verfügt über mehr Prozessorkerne als sein Vorgänger. Und während es mehr Strom verbraucht – 90 W gegenüber 25 W –, verfügt es auch über mehr internen Speicher (128 MB gegenüber 64 MB) und läuft mit einer höheren durchschnittlichen Taktrate (1,35 GHz gegenüber 800 MHz).
Laut Meta ist MTIA der nächsten Generation derzeit in 16 seiner Rechenzentrumsregionen im Einsatz und bietet im Vergleich zu MTIA v1 eine insgesamt bis zu dreimal bessere Leistung. Wenn diese „3x“-Behauptung etwas vage klingt, liegen Sie nicht falsch – das dachten wir auch. Aber Meta gab nur an, dass die Zahl aus Tests der Leistung von „vier Schlüsselmodellen“ beider Chips stammte.
„Da wir den gesamten Stack kontrollieren, können wir im Vergleich zu kommerziell erhältlichen GPUs eine höhere Effizienz erreichen“, schreibt Meta in einem mit Tech geteilten Blogbeitrag.
Die Hardware-Präsentation von Meta – die nur 24 Stunden nach einer Pressekonferenz zu den verschiedenen laufenden generativen KI-Initiativen des Unternehmens stattfindet – ist aus mehreren Gründen ungewöhnlich.
Erstens gibt Meta in dem Blogbeitrag bekannt, dass das MTIA der nächsten Generation derzeit nicht für generative KI-Trainings-Workloads verwendet wird, obwohl das Unternehmen angibt, dass es „mehrere Programme im Gange“ hat, die dies untersuchen. Zweitens gibt Meta zu, dass MTIA der nächsten Generation GPUs zum Ausführen oder Trainieren von Modellen nicht ersetzen, sondern ergänzen wird.
Wenn man zwischen den Zeilen liest, bewegt sich Meta langsam – vielleicht langsamer, als ihm lieb ist.
Die KI-Teams von Meta stehen mit ziemlicher Sicherheit unter dem Druck, Kosten zu senken. Das Unternehmen wird voraussichtlich einen ausgeben geschätzt Bis Ende 2024 sollen 18 Milliarden US-Dollar für GPUs zum Trainieren und Ausführen generativer KI-Modelle ausgegeben werden, und – bei Trainingskosten für hochmoderne generative Modelle im zweistelligen Millionenbereich – stellt hauseigene Hardware eine attraktive Alternative dar.
Und während die Hardware von Meta nachlässt, ziehen die Konkurrenten weiter, sehr zur Bestürzung der Führung von Meta, vermute ich.
Google hat diese Woche seinen benutzerdefinierten Chip der fünften Generation zum Trainieren von KI-Modellen, TPU v5p, allgemein für Google Cloud-Kunden verfügbar gemacht und seinen ersten dedizierten Chip zum Ausführen von Modellen vorgestellt, Axion. Amazon hat mehrere benutzerdefinierte AI-Chip-Familien auf dem Markt. Und Microsoft hat sich letztes Jahr mit dem Azure Maia AI Accelerator und der Azure Cobalt 100 CPU ins Getümmel gestürzt.
In dem Blogbeitrag sagt Meta, dass es weniger als neun Monate gedauert habe, um „vom ersten Silizium zu Produktionsmodellen“ des MTIA der nächsten Generation zu gelangen, was fairerweise kürzer ist als das typische Zeitfenster zwischen Google-TPUs. Aber Meta muss noch viel aufholen, wenn es ein gewisses Maß an Unabhängigkeit von GPUs Dritter erreichen will – und mit der harten Konkurrenz mithalten möchte.