Elon Musk möchte nicht, dass Tesla bloß ein Autohersteller ist. Er möchte, dass Tesla ein KI-Unternehmen wird, das herausgefunden hat, wie man Autos selbstfahren lässt.
Entscheidend für diese Mission ist Dojo, Teslas spezieller Supercomputer, der die neuronalen Netzwerke für das vollautonome Fahren (Full Self-Driving, FSD) trainieren soll. FSD ist nicht wirklich vollautonom; es kann einige automatisierte Fahraufgaben ausführen, erfordert aber dennoch einen aufmerksamen Menschen am Steuer. Aber Tesla glaubt, dass es mit mehr Daten, mehr Rechenleistung und mehr Training die Schwelle vom beinahe autonomen Fahren zum vollautonomen Fahren überschreiten kann.
Und hier kommt Dojo ins Spiel.
Musk hat Dojo schon seit einiger Zeit angedeutet, aber der Manager hat die Diskussionen über den Supercomputer im Laufe des Jahres 2024 intensiviert. Dojos Bedeutung für Tesla könnte existenziell sein – da die Verkäufe von Elektrofahrzeugen zurückgehen, wollen die Investoren Zusicherungen, dass Tesla autonom fahren kann. Nachfolgend finden Sie eine Zeitleiste mit Erwähnungen und Versprechen von Dojo.
2019
Erste Erwähnungen von Dojo
22. April – Beim Autonomy Day von Tesla hatte der Autohersteller sein KI-Team auf der Bühne, um über Autopilot und vollautonomes Fahren sowie die KI, die beides antreibt, zu sprechen. Das Unternehmen teilt Informationen über Teslas speziell entwickelte Chips, die speziell für neuronale Netzwerke und selbstfahrende Autos entwickelt wurden.
Während der Veranstaltung macht Musk eine Andeutung auf Dojo und verrät, dass es sich dabei um einen Supercomputer zum Trainieren künstlicher Intelligenz handelt. Er merkt auch an, dass alle zu diesem Zeitpunkt produzierten Tesla-Autos über die für das vollautonome Fahren erforderliche Hardware verfügen und nur ein Software-Update benötigen würden.
2020
Musk startet Dojo-Roadshow
2. Februar – Moschus sagt Tesla wird bald weltweit über mehr als eine Million vernetzte Fahrzeuge verfügen, die mit den für völlig autonomes Fahren erforderlichen Sensoren und Computern ausgestattet sind – und wirbt mit den Fähigkeiten von Dojo.
„Dojo, unser Trainings-Supercomputer, wird in der Lage sein, riesige Mengen an Video-Trainingsdaten zu verarbeiten und Hyperspace-Arrays mit einer riesigen Anzahl an Parametern, viel Speicher und ultrahoher Bandbreite zwischen den Kernen effizient auszuführen. Mehr dazu später.“
14. August – Musk bekräftigt Teslas Plan, einen Trainingscomputer für neuronale Netzwerke namens Dojo zu entwickeln, „um wirklich riesige Mengen an Videodaten zu verarbeiten“, nennt ihn „ein Biest“. Er sagt auch, dass die erste Version von Dojo „ungefähr ein Jahr entfernt“, was den Starttermin auf etwa August 2021 legen würde.
Dezember 31 — Elon sagt Dojo wird nicht benötigtaber es wird das autonome Fahren besser machen. „Es reicht nicht aus, sicherer zu sein als menschliche Fahrer. Der Autopilot muss letztendlich mehr als zehnmal sicherer sein als menschliche Fahrer.“
2021
Tesla macht Dojo offiziell
19. August – Der Autohersteller kündigt Dojo offiziell bei Teslas erstem KI-Tag an, einer Veranstaltung, die Ingenieure für Teslas KI-Team gewinnen soll. Tesla stellt auch seinen D1-Chip vor, den der Autohersteller – neben Nvidias GPU – zum Betrieb des Dojo-Supercomputers verwenden will. Tesla gibt an, dass sein KI-Cluster 3.000 D1-Chips enthalten wird.
12. Oktober – Tesla-Neuerscheinungen A Whitepaper zu Dojo Technology„ein Leitfaden zu Teslas konfigurierbaren Gleitkommaformaten und Arithmetik.“ Das Whitepaper beschreibt einen technischen Standard für eine neue Art binärer Gleitkommaarithmetik, die in neuronalen Deep-Learning-Netzwerken verwendet wird und „vollständig in Software, vollständig in Hardware oder in einer beliebigen Kombination aus Software und Hardware“ implementiert werden kann.
2022
Tesla gibt Dojo-Fortschritte bekannt
12. August – Musk sagt, Tesla werde „Phase im Dojo. Nächstes Jahr müssen nicht so viele zusätzliche GPUs gekauft werden.“
30. September – An Teslas zweitem KI-Tag gibt das Unternehmen bekannt, dass es den ersten Dojo-Schrank installiert hat, der 2,2 Megawatt Belastungstests unterzogen wird. Tesla sagt, es baue jeden Tag eine Kachel (die aus 25 D1-Chips besteht). Tesla führt Dojo auf der Bühne vor und führt ein stabiles Diffusionsmodell aus, um ein KI-generiertes Bild eines „Cybertrucks auf dem Mars“ zu erstellen.
Wichtig ist, dass das Unternehmen als Zieldatum die Fertigstellung eines vollständigen Exapod-Clusters bis zum ersten Quartal 2023 festlegt und angibt, dass es den Bau von insgesamt sieben Exapods in Palo Alto plant.
2023
Eine Wette mit geringen Erfolgsaussichten‚
19. April – Während Teslas Gewinnzahlen im ersten Quartal bekannt gibt, teilt Musk den Investoren mit, dass Dojo „das Potenzial hat, die Schulungskosten um ein Vielfaches zu senken“ und auch „das Potenzial hat, ein verkaufbarer Service zu werden, den wir anderen Unternehmen auf die gleiche Weise anbieten würden, wie Amazon Web Services Webservices anbietet.“
Musk merkt auch an, dass er „Dojo als eine Art Wette mit geringem Erfolgspotenzial“ betrachte, aber als eine „Wette, die sich lohnt“.
21. Juni — Der Tesla AI X-Account Beiträge dass die neuronalen Netzwerke des Unternehmens bereits in Kundenfahrzeugen verbaut sind. Der Thread enthält ein Diagramm mit einer Zeitleiste der aktuellen und geplanten Rechenleistung von Tesla, die den Beginn der Dojo-Produktion auf Juli 2023 datiert, wobei nicht klar ist, ob sich dies auf die D1-Chips oder den Supercomputer selbst bezieht. Musk sagt Am selben Tag war Dojo bereits online und führte Aufgaben in den Rechenzentren von Tesla aus.
Das Unternehmen prognostiziert außerdem, dass Teslas Rechenleistung bis etwa Februar 2024 zu den fünf besten auf der ganzen Welt gehören wird (es gibt keine Anzeichen dafür, dass dies erfolgreich war) und dass Tesla bis Oktober 2024 100 Exaflops erreichen wird.
19. Juli – Tesla Anmerkungen In seinem Ergebnisbericht für das zweite Quartal hat das Unternehmen mit der Produktion von Dojo begonnen. Musk sagt auch, dass Tesla plant, bis 2024 mehr als 1 Milliarde Dollar für Dojo auszugeben.
6. September – Musk-Beiträge auf X dass Tesla durch die KI-Trainingsleistung eingeschränkt ist, aber dass Nvidia und Dojo das beheben werden. Er sagt, dass es extrem schwierig ist, die Daten der rund 160 Milliarden Videobilder zu verwalten, die Tesla täglich von seinen Autos erhält.
2024
Pläne zur Skalierung
24. Januar – Während Teslas Gewinnbesprechung zum vierten Quartal und zum Gesamtjahr räumt Musk erneut ein, dass Dojo ein Projekt mit hohem Risiko und hoher Rendite ist. Er sagt auch, dass Tesla „den dualen Weg von Nvidia und Dojo“ verfolgt, dass „Dojo funktioniert“ und „Ausbildungsjobs“ durchführt. Er merkt an, dass Tesla es ausbaut und „Pläne für Dojo 1.5, Dojo 2, Dojo 3 und so weiter“ hat.
26. Januar – Tesla kündigte Pläne an, 500 Millionen Dollar für den Bau eines Dojo-Supercomputers in Buffalo auszugeben. Musk spielt die Investition dann etwas herunter, Posten auf X dass 500 Millionen Dollar zwar eine große Summe sind, aber „nur einem 10k H100-System von Nvidia entsprechen. Tesla wird dieses Jahr mehr für Nvidia-Hardware ausgeben. Die Mindestanforderungen für die Wettbewerbsfähigkeit im Bereich KI liegen derzeit bei mindestens mehreren Milliarden Dollar pro Jahr.“
30. April – Auf dem North American Technology Symposium von TSMC sagte das Unternehmen, dass Dojos Trainingskachel der nächsten Generation – die D2, die die gesamte Dojo-Kachel auf einem einzigen Silizium-Wafer platziert, anstatt 25 Chips zu einer Kachel zu verbinden – bereits in Produktion sei, so IEEE-Spektrum.
20. Mai – Moschus Anmerkungen dass im hinteren Teil der Fabrikerweiterung von Giga Texas der Bau eines „superdichten, wassergekühlten Supercomputer-Clusters“ stattfinden wird.
4. Juni – A CNBC-Bericht enthüllt, dass Musk Tausende von Nvidia-Chips, die für Tesla reserviert waren, an X und xAI umgeleitet hat. Nachdem er zunächst behauptet hatte, der Bericht sei falsch, Musk-Posts auf X dass Tesla keinen Ort hatte, an den es die Nvidia-Chips zum Einschalten schicken konnte, da die Bauarbeiten an der Süderweiterung von Giga Texas noch andauerten, „also hätten sie einfach in einem Lagerhaus gestanden.“ Er merkte an, dass die Erweiterung „50.000 H100 für das FSD-Training beherbergen wird.“
Er hat auch Beiträge:
„Von den etwa 10 Milliarden Dollar an KI-bezogenen Ausgaben, die Tesla laut meiner Prognose dieses Jahr tätigen wird, ist etwa die Hälfte intern, hauptsächlich für den von Tesla entwickelten KI-Inferenzcomputer und die Sensoren, die in allen unseren Autos vorhanden sind, sowie für Dojo. Für den Aufbau der KI-Trainings-Supercluster macht NVidia-Hardware etwa 2/3 der Kosten aus. Meine derzeitige Schätzung für die Nvidia-Käufe durch Tesla liegt dieses Jahr bei 3 bis 4 Milliarden Dollar.“
1. Juli – Musk verrät auf X dass aktuelle Tesla-Fahrzeuge möglicherweise nicht über die richtige Hardware für das KI-Modell der nächsten Generation des Unternehmens verfügen. Er sagt, dass die etwa fünffache Erhöhung der Parameteranzahl mit der KI der nächsten Generation „sehr schwer zu erreichen ist, ohne den Fahrzeug-Inferenzcomputer zu aktualisieren.“
Nvidia-Lieferprobleme
23. Juli – Während Teslas Gewinnbesprechung zum zweiten Quartal sagte Musk, die Nachfrage nach Nvidia-Hardware sei „so hoch, dass es oft schwierig ist, die GPUs zu bekommen.“
„Ich denke, das erfordert daher, dass wir viel mehr Anstrengungen in Dojo stecken, um sicherzustellen, dass wir die Trainingsmöglichkeiten haben, die wir brauchen“, sagt Musk. „Und wir sehen mit Dojo einen Weg, mit Nvidia konkurrenzfähig zu sein.“
Eine Grafik in Teslas Investoren-Deck sagt voraus, dass die Trainingskapazität für Tesla-KI bis Ende 2024 auf etwa 90.000 H100-äquivalente GPUs steigen wird, im Vergleich zu etwa 40.000 im Juni. Später an diesem Tag auf X, Musk-Beiträge dass Dojo 1 bis Ende des Jahres „etwa 8.000 H100-Äquivalente an Training online haben wird“. Er schreibt auch Fotos des Supercomputers, der offenbar das gleiche kühlschrankähnliche Edelstahlgehäuse wie die Cybertrucks von Tesla hat.
XXX
30. Juli – AI5 ist etwa 18 Monate von der Massenproduktion entfernt, sagt Musk in einem Antwort zu einem Post von jemandem, der behauptet, einen Club von „Tesla HW4/AI4-Besitzern zu gründen, die wütend sind, weil sie abgehängt werden, wenn AI5 herauskommt.“
3. August – Musk-Posts auf X dass er einen Rundgang durch „den Tesla-Supercomputer-Cluster bei Giga Texas (auch bekannt als Cortex)“ gemacht hat. Er merkt an, dass dieser aus etwa 100.000 H100/H200 Nvidia-GPUs mit „riesigem Speicher für das Videotraining von FSD und Optimus“ bestehen würde.