Der Nvidia H200 ist laut Pressemitteilung des Unternehmens die erste GPU, die HBM3e bietet – schnellerer, größerer Speicher, um die Beschleunigung generativer KI und großer Sprachmodelle voranzutreiben und gleichzeitig das wissenschaftliche Rechnen für HPC-Workloads voranzutreiben. Mit HBM3e liefert der Nvidia H200 genau das 141 GB Arbeitsspeicher mit 4,8 Terabyte pro Sekunde, fast doppelt so viel Kapazität und 2,4-mal mehr Bandbreite im Vergleich zum Vorgänger, dem Nvidia A100, so das Unternehmen.
Wann wird der Chip verfügbar sein?
Der Nvidia H200 wird ab dem zweiten Quartal 2024 bei globalen Systemherstellern und Cloud-Dienstanbietern erhältlich sein. Amazon Web Services, Google Cloud, Microsoft Azure und Oracle Cloud Infrastructure werden zu den ersten Cloud-Dienstanbietern gehören, die ab sofort H200-basierte Instanzen bereitstellen nächstes Jahr.
Angetrieben durch Nvidia NVLink- und NVSwitch-Hochgeschwindigkeitsverbindungen bietet HGX H200 höchste Leistung bei verschiedenen Anwendungs-Workloads, einschließlich LLM-Training und Inferenz für die größten Modelle mit mehr als 175 Milliarden Parametern. Ein achtfacher HGX H200 bietet über 32 Petaflops FP8-Deep-Learning-Rechenleistung und 1,1 TB aggregierten Speicher mit hoher Bandbreite für höchste Leistung bei generativen KI- und HPC-Anwendungen, sagte Nvidia.
Die Grafikprozessoren (GPUs) von Nvidia spielen eine immer wichtigere Rolle bei der Entwicklung und dem Einsatz generativer KI-Modelle. GPUs sind darauf ausgelegt, die umfangreichen parallelen Berechnungen zu bewältigen, die für das Training und die Ausführung dieser Modelle erforderlich sind, wodurch sie sich gut für Aufgaben wie die Bilderzeugung und die Verarbeitung natürlicher Sprache eignen. Die GPUs des Unternehmens sind in der Lage, das Training und die Ausführung generativer KI-Modelle um mehrere Größenordnungen zu beschleunigen. Dies liegt an ihrer parallelen Verarbeitungsarchitektur, die es ihnen ermöglicht, viele Berechnungen gleichzeitig durchzuführen.