Die Dual-Konfiguration – die bis zu 3,5-mal mehr Speicherkapazität und 3-mal mehr Bandbreite als das Angebot der aktuellen Generation bietet – umfasst einen einzelnen Server mit 144 Arm-Neoverse-Kernen, acht Petaflops KI-Leistung und 282 GB der neuesten HBM3e-Speichertechnologie, so das Unternehmen in einer Pressemitteilung.
Der Grace Hopper Es wird außerdem behauptet, dass er energieeffizienter sei als frühere Chips, was zu niedrigeren Betriebskosten für Rechenzentren führen könnte, die ihn verwenden. Dies ist wichtig, da LLMs immer beliebter werden und die Betriebskosten ein großes Hindernis für die Einführung darstellen.
Wie es helfen kann, die Kosten zu senken
ChatGPT ist ein großes Sprachmodell, das von OpenAI entwickelt wurde und in der Lage ist, Texte in menschlicher Qualität zu generieren. Es wird in einer Vielzahl von Anwendungen eingesetzt, darunter Kundenservice, Inhaltserstellung und Forschung. Der Grace Hopper Chip könnte es für Unternehmen erschwinglicher machen, ChatGPT und andere LLMs zu nutzen, was zu einer breiteren Akzeptanz dieser Technologien führen könnte. „Um der steigenden Nachfrage nach generativer KI gerecht zu werden, benötigen Rechenzentren beschleunigte Rechenplattformen mit speziellen Anforderungen“, sagte Jensen Huang, Gründer und CEO von NVIDIA. „Die neue GH200 Grace Hopper Superchip-Plattform bietet dies mit außergewöhnlicher Speichertechnologie und Bandbreite zur Verbesserung des Durchsatzes, der Möglichkeit, GPUs zu verbinden, um die Leistung ohne Kompromisse zu aggregieren, und einem Serverdesign, das problemlos im gesamten Rechenzentrum eingesetzt werden kann.“
Führende Systemhersteller werden voraussichtlich im zweiten Quartal des Kalenderjahres 2024 Systeme auf Basis der Plattform liefern, sagte Nvidia in einer Pressemitteilung.