„Die Anzahl der Parameter in LLMs ist in den letzten fünf Jahren um das Zehnfache pro Jahr gestiegen. Daher benötigen Kunden eine KI-optimierte Infrastruktur, die sowohl kostengünstig als auch skalierbar ist“, sagte Google.
„Wir bieten eine Komplettlösung für KI, von der für KI optimierten Computerinfrastruktur bis hin zu End-to-End-Software und -Diensten, die den gesamten Lebenszyklus des Modelltrainings, der Optimierung und der Bereitstellung auf globaler Ebene unterstützen“, fügte es hinzu.
TPU v5e-Funktionen, Spezifikationen
Laut Google wurde Cloud TPU v5e speziell entwickelt, um die Kosteneffizienz und Leistung zu bieten, die für mittlere und große Schulungen und Inferenzen erforderlich sind. Es wird behauptet, dass es „eine bis zu 2-mal höhere Trainingsleistung pro Dollar und eine bis zu 2,5-fache Inferenzleistung pro Dollar für LLMs und Gen-KI-Modelle im Vergleich zu Cloud TPU v4“ liefert.
Google sagte, der neue Chip sei eine Kombination aus Leistung und Flexibilität mit Kostenvorteilen.
„Wir bringen Leistung, Flexibilität und Effizienz mit TPU v5e-Pods in Einklang und ermöglichen die Verbindung von bis zu 256 Chips mit einer Gesamtbandbreite von mehr als 400 Tbit/s und 100 PetaOps INT8-Leistung“, sagte Google. Darüber hinaus können Kunden die richtigen Konfigurationen auswählen, um ein breites Spektrum abzudecken LLM und Gen-KI-Modellgrößen.
Googles neuer Supercomputer
Google hat außerdem eine neue Version seines Supercomputers angekündigt, um generativere KI-Modelle ausführen zu können. Die als A3 VMs bezeichnete Maschine basiert auf Nvidia H100-GPUs, um große KI-Modelle anzutreiben. Die A3-VM verfügt über zwei skalierbare Intel Xeon-Prozessoren der nächsten Generation der 4. Generation, acht Nvidia H100-GPUs pro VM und 2 TB Hostspeicher.