Die Google TPU befindet sich mittlerweile in der vierten Generation. Google hat am Dienstag ein wissenschaftliches Papier veröffentlicht, in dem detailliert beschrieben wird, wie es mehr als 4.000 der Chips zu einem aneinandergereiht hat Supercomputer mit seinen eigenen kundenspezifisch entwickelten optischen Schaltern, um die Verbindung einzelner Maschinen zu unterstützen. Die Verbesserung dieser Verbindungen ist zu einem entscheidenden Wettbewerbsfaktor zwischen Bauunternehmen geworden KI Supercomputer, weil sogenannte große Sprachmodelle, die Technologien wie Googles Bard oder OpenAIs ChatGPT antreiben, in ihrer Größe explodiert sind, was bedeutet, dass sie viel zu groß sind, um sie auf einem einzigen Chip zu speichern. Die Modelle müssen stattdessen auf Tausende von Chips aufgeteilt werden, die dann wochenlang oder länger zusammenarbeiten müssen, um das Modell zu trainieren. Das PaLM-Modell von Google – das bisher größte öffentlich zugängliche Sprachmodell – wurde trainiert, indem es über 50 Tage auf zwei der 4.000-Chip-Supercomputer aufgeteilt wurde. Google sagte, dass seine Supercomputer es einfach machen, Verbindungen zwischen Chips im laufenden Betrieb neu zu konfigurieren, Probleme zu vermeiden und für Leistungssteigerungen zu optimieren. „Circuit Switching macht es einfach, ausgefallene Komponenten zu umgehen“, schrieben Google Fellow Norm Jouppi und Google Distinguished Engineer David Patterson in einem Blogbeitrag über das System. „Diese Flexibilität ermöglicht es uns sogar, die Topologie der Supercomputer-Verbindung zu ändern, um die Leistung eines ML-Modells (Maschinelles Lernen) zu beschleunigen.“ Während Google erst jetzt Details zu seinem Supercomputer veröffentlicht, ist dieser seit 2020 intern in einem Rechenzentrum in Mayes County, Oklahoma, online. Google sagte, dass das Startup Midjourney das System verwendet hat, um sein Modell zu trainieren, das neue Bilder generiert, nachdem es mit ein paar Wörtern Text gefüttert wurde. In dem Papier sagte Google, dass seine Chips für vergleichbar große Systeme bis zu 1,7-mal schneller und 1,9-mal energieeffizienter seien als ein System, das auf dem A100-Chip von Nvidia basiert, der gleichzeitig mit der TPU der vierten Generation auf dem Markt war . Ein Nvidia-Sprecher lehnte eine Stellungnahme ab. Google sagte, es habe seine vierte Generation nicht mit Nvidias aktuellem Flaggschiff-Chip H100 verglichen, da der H100 nach dem Chip von Google auf den Markt kam und mit neuerer Technologie hergestellt wurde. Google deutete an, dass es möglicherweise an einem neuen TPU arbeitet, das mit dem Nvidia H100 konkurrieren würde, gab jedoch keine Details bekannt, wobei Jouppi Reuters mitteilte, dass Google „eine gesunde Pipeline zukünftiger Chips“ habe.
Google sagt, sein KI-Supercomputer sei schneller und umweltfreundlicher als der Nvidia A100-Chip
Alphabet Inc Google veröffentlichte am Dienstag neue Details über die Supercomputer, die es zum Trainieren seiner Modelle für künstliche Intelligenz verwendet, und besagt, dass die Systeme sowohl schneller als auch energieeffizienter als vergleichbare Systeme sind NVIDIA Corp. Google hat einen eigenen benutzerdefinierten Chip namens Tensor Processing Unit oder TPU entwickelt. Es verwendet diese Chips für mehr als 90 % der Arbeit des Unternehmens im Bereich der Schulung künstlicher Intelligenz, dem Prozess, Daten durch Modelle zu füttern, um sie für Aufgaben wie die Beantwortung von Anfragen mit menschenähnlichem Text oder die Generierung von Bildern nützlich zu machen.