Es herrscht ein Mangel an GPUs, da die Nachfrage nach generativer KI, die oft auf GPUs trainiert und ausgeführt wird, wächst. Nvidias leistungsstärkste Chips sind angeblich bis 2024 ausverkauft. Der CEO des Chipherstellers TSMC zeigte sich zuletzt weniger optimistisch, vorschlagen dass der Mangel an GPUs von Nvidia – wie auch von Nvidias Konkurrenten – bis ins Jahr 2025 andauern könnte.
Um ihre Abhängigkeit von GPUs zu verringern, entwickeln Unternehmen, die es sich leisten können (d. h. Technologiegiganten), kundenspezifische Chips, die auf die Erstellung, Iteration und Produktisierung von KI-Modellen zugeschnitten sind – und stellen sie in einigen Fällen ihren Kunden zur Verfügung. Eines dieser Unternehmen ist Amazon, das heute auf seiner jährlichen re:Invent-Konferenz die neueste Generation seiner Chips für Modelltraining und -inferenz (dh die Ausführung trainierter Modelle) vorstellte.
Das erste von beiden, AWS Trainium2, soll laut Amazon eine bis zu viermal bessere Leistung und eine zweimal bessere Energieeffizienz bieten als das Trainium der ersten Generation, das im Dezember 2020 vorgestellt wurde. Tranium2 soll in EC-Trn2-Instanzen in Clustern von 16 Chips in der AWS-Cloud verfügbar sein und kann im EC2-UltraCluster-Produkt von AWS auf bis zu 100.000 Chips skaliert werden.
Laut Amazon liefern einhunderttausend Trainium-Chips 65 Exaflops an Rechenleistung – was 650 Teraflops pro einzelnem Chip entspricht. („Exaflops“ und „Teraflops“ messen, wie viele Rechenoperationen pro Sekunde ein Chip ausführen kann.) Es gibt wahrscheinlich erschwerende Faktoren, die dazu führen, dass diese einfache Berechnung nicht unbedingt unglaublich genau ist. Aber wenn man davon ausgeht, dass ein einzelner Tranium2-Chip tatsächlich eine Leistung von etwa 200 Teraflops liefern kann, heißt das Also über der Kapazität der benutzerdefinierten KI-Trainingschips von Google ca. 2017.
Laut Amazon kann ein Cluster aus 100.000 Trainium-Chips ein großes KI-Sprachmodell mit 300 Milliarden Parametern in Wochen statt in Monaten trainieren. („Parameter“ sind die Teile eines Modells, die aus Trainingsdaten gelernt werden und im Wesentlichen die Fähigkeiten des Modells bei einem Problem definieren, wie z. B. das Generieren von Text oder Code.) Das ist etwa das 1,75-fache der Größe von OpenAIs GPT-3, dem Vorgänger des Textes -Erzeugung von GPT-4.
„Silizium ist die Grundlage jeder Kundenarbeitslast und macht es zu einem entscheidenden Innovationsbereich für AWS“, sagte David Brown, VP für Computer und Netzwerke bei AWS, in einer Pressemitteilung. „[W]Mit dem wachsenden Interesse an generativer KI wird Tranium2 Kunden dabei helfen, ihre ML-Modelle schneller, zu geringeren Kosten und mit besserer Energieeffizienz zu trainieren.“
Amazon hat nicht gesagt, wann Trainium2-Instanzen für AWS-Kunden verfügbar sein werden, außer „irgendwann im nächsten Jahr“. Seien Sie versichert, wir werden nach weiteren Informationen Ausschau halten.
Der zweite Chip, den Amazon heute Morgen angekündigt hat, ist der Armbasiert Graviton4 ist für Rückschlüsse gedacht. Es handelt sich um die vierte Generation der Graviton-Chipfamilie von Amazon (wie durch die an „Graviton“ angehängte „4“ angedeutet) und unterscheidet sich von Inferentia, dem anderen Inferenzchip von Amazon.
Laut Amazon bietet Graviton4 bis zu 30 % bessere Rechenleistung, 50 % mehr Kerne und 75 % mehr Speicherbandbreite als ein Graviton-Prozessor der vorherigen Generation, Graviton3 (jedoch nicht der neuere Graviton3E), der auf Amazon EC2 läuft. Bei einem weiteren Upgrade von Graviton3 sind alle physischen Hardwareschnittstellen von Graviton4 „verschlüsselt“, sagt Amazon – was angeblich eine bessere Sicherung von KI-Trainings-Workloads und -Daten für Kunden mit erhöhten Verschlüsselungsanforderungen bedeutet. (Wir haben Amazon gefragt, was „verschlüsselt“ genau bedeutet, und wir werden diesen Artikel aktualisieren, sobald wir etwas hören.)
„Graviton4 markiert die vierte Generation, die wir in nur fünf Jahren geliefert haben, und ist der leistungsstärkste und energieeffizienteste Chip, den wir je für ein breites Spektrum an Arbeitslasten gebaut haben“, fuhr Brown in einer Erklärung fort. „Indem wir unsere Chip-Designs auf echte Arbeitslasten konzentrieren, die für Kunden wichtig sind, können wir ihnen die fortschrittlichste Cloud-Infrastruktur bereitstellen.“
Graviton4 wird in Amazon EC2 R8g-Instanzen verfügbar sein, die heute in der Vorschau verfügbar sind. Die allgemeine Verfügbarkeit ist für die kommenden Monate geplant.
