Startup für Photonic Computing Lichtmaterie hat 400 Millionen US-Dollar gesammelt, um einen der Engpässe moderner Rechenzentren weit aufzulösen. Die optische Verbindungsschicht des Unternehmens ermöglicht den synchronen Betrieb Hunderter GPUs und vereinfacht so die kostspielige und komplexe Aufgabe des Trainings und Ausführens von KI-Modellen.
Das Wachstum der KI und die damit verbundenen immensen Rechenanforderungen haben die Rechenzentrumsbranche stark beschleunigt, aber es ist nicht so einfach, weitere tausend GPUs anzuschließen. Wie Experten für Hochleistungsrechnen seit Jahren wissen, spielt es keine Rolle, wie schnell jeder Knoten Ihres Supercomputers ist, wenn diese Knoten die Hälfte der Zeit im Leerlauf sind und auf den Dateneingang warten.
Die Verbindungsschicht bzw. -schichten sind eigentlich das, was CPU- und GPU-Racks praktisch zu einer einzigen riesigen Maschine macht. Daraus folgt, dass das Rechenzentrum umso schneller ist, je schneller die Verbindung ist. Und es sieht so aus, als würde Lightmatter mithilfe der seit 2018 entwickelten photonischen Chips die mit Abstand schnellste Verbindungsschicht aufbauen.
„Hyperscaler wissen, wenn sie einen Computer mit einer Million Knoten wollen, können sie das nicht mit Cisco-Switches erreichen. Sobald Sie das Rack verlassen, wechseln Sie von der Verbindung mit hoher Dichte zu einer Verbindung auf der anderen Seite“, sagte Nick Harris, CEO und Gründer des Unternehmens, gegenüber Tech. (Sie können einen kurzen Vortrag sehen, in dem er dieses Thema zusammenfasste Hier.)
Der Stand der Technik sei NVLink und insbesondere die NVL72-Plattform, die 72 verkabelte Nvidia-Blackwell-Einheiten in einem Rack zusammenfasst und maximal 1,4 ExaFLOPs bei FP4-Präzision ermöglicht, sagte er. Aber kein Rack ist eine Insel, und die gesamte Rechenleistung muss durch 7 Terabit „skalierbare“ Netzwerke herausgequetscht werden. Klingt nach viel und ist es auch, aber die Unfähigkeit, diese Einheiten schneller untereinander und mit anderen Racks zu vernetzen, ist eines der Haupthindernisse für eine Leistungsverbesserung.
„Für eine Million GPUs braucht man mehrere Schichten von Switches. und das führt zu einer enormen Latenzbelastung“, sagte Harris. „Man muss von elektrisch zu optisch, von elektrisch zu optisch wechseln … die Menge an Strom, die man verbraucht, und die Zeit, die man warten muss, sind enorm. Und in größeren Clustern wird es noch dramatisch schlimmer.“
Was bringt Lightmatter also mit? Faser. Jede Menge Glasfaser, die über eine rein optische Schnittstelle geführt wird. Mit bis zu 1,6 Terabit pro Glasfaser (unter Verwendung mehrerer Farben) und bis zu 256 Glasfasern pro Chip … nun, sagen wir einfach, 72 GPUs mit 7 Terabit klingen geradezu urig.
„Die Photonik kommt viel schneller voran, als die Leute dachten – die Leute haben jahrelang darum gekämpft, sie zum Laufen zu bringen, aber wir sind da“, sagte Harris. „Nach sieben Jahren absolut mörderischer Arbeit“, fügte er hinzu.
Die derzeit von Lightmatter erhältliche photonische Verbindung leistet 30 Terabit, während die optische Verkabelung im Rack in der Lage ist, 1.024 GPUs synchron in ihren eigenen, speziell entwickelten Racks arbeiten zu lassen. Falls Sie sich fragen: Die beiden Zahlen erhöhen sich nicht um ähnliche Faktoren, da vieles, was mit einem anderen Rack vernetzt werden müsste, im Rack in einem Cluster mit tausend GPUs erledigt werden kann. (Und überhaupt, 100 Terabit sind unterwegs.)
Der Markt dafür sei riesig, betonte Harris, da alle großen Rechenzentrumsunternehmen von Microsoft über Amazon bis hin zu neueren Marktteilnehmern wie xAI und OpenAI einen grenzenlosen Appetit auf Rechenleistung zeigten. „Sie verbinden Gebäude miteinander! Ich frage mich, wie lange sie das durchhalten können“, sagte er.
Viele dieser Hyperscaler sind bereits Kunden, Harris möchte jedoch keine nennen. „Stellen Sie sich Lightmatter ein wenig wie eine Gießerei vor, wie TSMC“, sagte er. „Wir wählen keine Favoriten aus und hängen unseren Namen nicht an die Marken anderer Leute. Wir bieten ihnen eine Roadmap und eine Plattform – und helfen so, den Kuchen wachsen zu lassen.“
Aber er fügte schüchtern hinzu: „Man vervierfacht seine Bewertung nicht, ohne diese Technologie zu nutzen.“ Vielleicht eine Anspielung auf die jüngste Finanzierungsrunde von OpenAI, die das Unternehmen mit 157 Milliarden US-Dollar bewertete, aber die Bemerkung könnte sich genauso gut auf sein eigenes Unternehmen beziehen.
Diese 400-Millionen-Dollar-D-Runde bewertet das Unternehmen mit 4,4 Milliarden US-Dollar, ein ähnliches Vielfaches seiner Bewertung Mitte 2023, die „uns zum mit Abstand größten Photonik-Unternehmen macht.“ Das ist also cool!“ sagte Harris. Die Runde wurde von T. Rowe Price Associates geleitet, unter Beteiligung der bestehenden Investoren Fidelity Management and Research Company und GV.
Was kommt als nächstes? Neben der Verbindungstechnik entwickelt das Unternehmen auch neue Substrate für Chips, damit diese mithilfe von Licht, wenn man so will, noch intimere Vernetzungsaufgaben erfüllen können.
Harris spekulierte, dass neben der Verbindung die Leistung pro Chip in Zukunft das große Unterscheidungsmerkmal sein wird. „In zehn Jahren wird es von jedem Wafer-Chips geben – es gibt einfach keine andere Möglichkeit, die Leistung pro Chip zu verbessern“, sagte er. Cerebras arbeitet natürlich bereits daran, ob sie jedoch in dieser Phase der Technologie in der Lage sind, den wahren Wert dieses Fortschritts zu erfassen, ist eine offene Frage.
Aber Harris plant, angesichts der Tatsache, dass die Chipindustrie an eine Wand stößt, bereit zu sein und den nächsten Schritt abzuwarten. „In zehn Jahren vernetzen Sie sich Ist Moores Gesetz“, sagte er.