Jensen Huang, CEO von Nvidia, sagt, dass die Leistung der KI-Chips seines Unternehmens schneller zunimmt als die historischen Raten, die durch das Mooresche Gesetz festgelegt werden, die Rubrik, die jahrzehntelang den Computerfortschritt vorangetrieben hat.
„Unsere Systeme entwickeln sich viel schneller als das Mooresche Gesetz“, sagte Huang am Dienstag in einem Interview mit Tech, einen Morgen nachdem er auf der CES in Las Vegas eine Grundsatzrede vor 10.000 Zuschauern gehalten hatte.
Das 1965 von Intel-Mitbegründer Gordon Moore geprägte Mooresche Gesetz sagte voraus, dass sich die Anzahl der Transistoren auf Computerchips jedes Jahr ungefähr verdoppeln würde, was im Wesentlichen die Leistung dieser Chips verdoppeln würde. Diese Vorhersage hat sich größtenteils bewahrheitet und über Jahrzehnte hinweg zu raschen Leistungssteigerungen und sinkenden Kosten geführt.
In den letzten Jahren hat sich das Mooresche Gesetz verlangsamt. Huang behauptet jedoch, dass sich die KI-Chips von Nvidia in einem beschleunigten Eigentempo entwickeln; Das Unternehmen gibt an, dass sein neuester Rechenzentrums-Superchip bei der Ausführung von KI-Inferenz-Workloads mehr als 30-mal schneller ist als seine Vorgängergeneration.
„Wir können die Architektur, den Chip, das System, die Bibliotheken und die Algorithmen gleichzeitig bauen“, sagte Huang. „Wenn Sie das tun, können Sie schneller vorankommen als Moores Gesetz, weil Sie über den gesamten Stack hinweg Innovationen hervorbringen können.“
Die kühne Behauptung des CEO von Nvidia kommt zu einem Zeitpunkt, an dem viele sich fragen, ob der Fortschritt der KI ins Stocken geraten ist. Führende KI-Labore – wie Google, OpenAI und Anthropic – verwenden die KI-Chips von Nvidia, um ihre KI-Modelle zu trainieren und auszuführen, und Fortschritte bei diesen Chips würden wahrscheinlich zu weiteren Fortschritten bei den Fähigkeiten der KI-Modelle führen.
Dies ist nicht das erste Mal, dass Huang behauptet, dass Nvidia Moores Gesetz übertrifft. In einem Podcast im Novemberschlug Huang vor, dass die KI-Welt auf dem Weg zum „Hyper Moore’s Law“ sei.
Huang lehnt die Vorstellung ab, dass sich der KI-Fortschritt verlangsamt. Stattdessen behauptet er, dass es jetzt drei aktive KI-Skalierungsgesetze gibt: Pre-Training, die anfängliche Trainingsphase, in der KI-Modelle Muster aus großen Datenmengen lernen; Post-Training, das die Antworten eines KI-Modells mithilfe von Methoden wie menschlichem Feedback verfeinert; und Testzeitberechnungen, die während der Inferenzphase stattfinden und einem KI-Modell nach jeder Frage mehr Zeit zum „Nachdenken“ geben.
„Moores Gesetz war in der Geschichte der Informatik so wichtig, weil es die Rechenkosten senkte“, sagte Huang gegenüber Tech. „Das Gleiche wird mit Inferenz passieren, wenn wir die Leistung steigern, und infolgedessen werden die Kosten für Inferenz geringer sein.“
(Natürlich hat Nvidia hat sich zum wertvollsten Unternehmen der Welt entwickelt indem er den KI-Boom nutzt, ist es also für Huang von Vorteil, das zu sagen.)
Nvidias H100s waren der Chip der Wahl für Technologieunternehmen, die KI-Modelle trainieren wollten, aber jetzt, da sich Technologieunternehmen mehr auf Inferenz konzentrieren, fragen sich einige, ob Nvidias teure Chips weiterhin an der Spitze bleiben werden.
KI-Modelle, die Testzeitberechnungen nutzen, sind heute teuer in der Ausführung. Es besteht die Sorge, dass das o3-Modell von OpenAI, das eine vergrößerte Version der Testzeitberechnung verwendet, für die meisten Benutzer zu teuer wäre. Beispielsweise gab OpenAI fast 20 US-Dollar pro Aufgabe für die Verwendung von o3 aus, um bei einem Test der allgemeinen Intelligenz Ergebnisse auf menschlichem Niveau zu erzielen. Ein ChatGPT Plus-Abonnement kostet 20 US-Dollar für einen ganzen Monat Nutzung.
Huang hielt Nvidias neuesten Rechenzentrums-Superchip, den GB200 NVL72, während der Keynote am Montag wie einen Schutzschild auf die Bühne. Dieser Chip ist bei der Ausführung von KI-Inferenz-Workloads 30- bis 40-mal schneller als Nvidias bisher meistverkaufte Chips, der H100. Laut Huang bedeutet dieser Leistungssprung, dass KI-Argumentationsmodelle wie o3 von OpenAI, das während der Inferenzphase eine erhebliche Menge an Rechenleistung verbraucht, mit der Zeit billiger werden.
Huang sagt, er konzentriere sich insgesamt auf die Entwicklung leistungsfähigerer Chips und dass leistungsfähigere Chips auf lange Sicht zu niedrigeren Preisen führen.
„Die direkte und unmittelbare Lösung für Testzeitberechnungen, sowohl hinsichtlich der Leistung als auch der Kostenerschwinglichkeit, besteht darin, unsere Rechenkapazität zu erhöhen“, sagte Huang gegenüber Tech. Er wies darauf hin, dass KI-Argumentationsmodelle langfristig genutzt werden könnten, um bessere Daten für das Vor- und Nachtraining von KI-Modellen zu erstellen.
Wir haben im letzten Jahr sicherlich einen Preisverfall bei KI-Modellen erlebt, der zum Teil auf Computerdurchbrüche von Hardwareunternehmen wie Nvidia zurückzuführen ist. Huang sagt, dass dies ein Trend ist, von dem er erwartet, dass er sich bei KI-Argumentationsmodellen fortsetzt, auch wenn die ersten Versionen, die wir von OpenAI gesehen haben, ziemlich teuer waren.
Im weiteren Sinne behauptete Huang, dass seine KI-Chips heute 1.000-mal besser seien als die vor 10 Jahren. Das ist ein viel schnelleres Tempo als der durch das Mooresche Gesetz festgelegte Standard. Huang sagt, er sehe keine Anzeichen dafür, dass er bald damit aufhört.