Groq, ein Startup, das Chips entwickelt, um generative KI-Modelle schneller auszuführen als herkömmliche Prozessoren, gab am Montag bekannt, dass es in einer neuen Finanzierungsrunde unter der Leitung von Blackrock 640 Millionen Dollar aufgebracht hat. Neuberger Berman, Type One Ventures, Cisco, KDDI und Samsung Catalyst Fund beteiligten sich ebenfalls.
Die Tranche, die Groq insgesamt auf über 1 Milliarde Dollar bringt und das Unternehmen mit 2,8 Milliarden Dollar bewertet, ist ein großer Gewinn für Groq, das Berichten zufolge ursprünglich Wir möchten erhöhen 300 Millionen Dollar bei einem etwas niedriger (2,5 Milliarden US-Dollar) Bewertung. Das ist mehr als das Doppelte der vorherigen Bewertung von Groq (~1 Milliarde US-Dollar) im April 2021, als das Unternehmen in einer von Tiger Global Management und D1 Capital Partners geleiteten Runde 300 Millionen US-Dollar einsammelte.
Der Chef-KI-Wissenschaftler von Meta, Yann LeCun, wird Groq als technischer Berater zur Seite stehen und Stuart Pann, der frühere Leiter von Intels Gießereigeschäft und ehemaliger CIO bei HP, wird dem Startup als Chief Operating Officer beitreten, wie Groq heute ebenfalls bekannt gab. LeCuns Ernennung ist angesichts der Investitionen von Meta in seine eigenen KI-Chips etwas unerwartet – aber sie verschafft Groq zweifellos einen mächtigen Verbündeten in einem hart umkämpften Markt.
Groq, das 2016 aus dem Verborgenen auftauchte, entwickelt eine sogenannte LPU-Inferenzmaschine (Language Processing Unit). Das Unternehmen behauptet, dass seine LPUs bestehende generative KI-Modelle, deren Architektur der von OpenAIs ChatGPT und GPT-4o ähnelt, mit der zehnfachen Geschwindigkeit und einem Zehntel des Energieverbrauchs ausführen können.
Groq-CEO Jonathan Ross ist bekannt dafür, dass er an der Erfindung der Tensor Processing Unit (TPU) mitgewirkt hat, Googles speziellem KI-Beschleunigerchip, der zum Trainieren und Ausführen von Modellen verwendet wird. Ross hat sich vor fast einem Jahrzehnt mit Douglas Wightman zusammengetan, einem Unternehmer und ehemaligen Ingenieur im X Moonshot Lab der Google-Muttergesellschaft Alphabet, um Groq mitzubegründen.
Groq bietet eine LPU-basierte Entwicklerplattform namens GroqCloud, die „offene“ Modelle wie Metas Llama 3.1-Familie, Googles Gemma, OpenAIs Whisper und Mistrals Mixtral sowie eine API bietet, mit der Kunden die Chips in Cloud-Instanzen verwenden können. (Groq betreibt auch einen Spielplatz für KI-gestützte Chatbots, GroqChat, der Ende letzten Jahres gestartet wurde.) Im Juli hatte GroqCloud über 356.000 Entwickler; Groq sagt, dass ein Teil des Erlöses aus der Runde verwendet wird, um die Kapazität zu skalieren und neue Modelle und Funktionen hinzuzufügen.
„Viele dieser Entwickler arbeiten in großen Unternehmen“, sagte Stuart Pann, COO von Groq, gegenüber Tech. „Unseren Schätzungen zufolge sind über 75 % der Fortune 100-Unternehmen vertreten.“
Während der Boom der generativen KI anhält, sieht sich Groq zunehmender Konkurrenz sowohl von konkurrierenden KI-Chip-Neulingen als auch von Nvidia ausgesetzt, dem beeindruckenden Platzhirsch im KI-Hardwaresektor.
Nvidia kontrolliert schätzungsweise 70 bis 95 Prozent des Marktes für KI-Chips, die zum Trainieren und Bereitstellen generativer KI-Modelle verwendet werden, und das Unternehmen unternimmt aggressive Schritte, um seine beherrschende Stellung aufrechtzuerhalten.
Nvidia hat sich verpflichtet, jedes Jahr eine neue KI-Chiparchitektur herauszubringen, und nicht wie bisher jedes zweite Jahr. Und es ist Berichten zufolge Gründung einer neuen Geschäftseinheit mit dem Schwerpunkt auf der Entwicklung maßgeschneiderter Chips für Cloud-Computing-Unternehmen und andere, einschließlich KI-Hardware.
Neben Nvidia konkurriert Groq mit Amazon, Google und Microsoft, die alle maßgeschneiderte Chips für KI-Workloads in der Cloud anbieten oder bald anbieten werden. Amazon hat seine Trainium-, Inferentia- und Graviton-Prozessoren über AWS verfügbar; Google Cloud-Kunden können die oben genannten TPUs und mit der Zeit auch Googles Axion-Chip verwenden; und Microsoft hat kürzlich Azure-Instanzen als Vorschau für seine Cobalt 100-CPU gestartet; Maia 100 AI Accelerator-Instanzen sollen in den nächsten Monaten folgen.
Groq könnte Arm, Intel, AMD und eine wachsende Zahl von Startups als Konkurrenten in einem KI-Chip-Markt betrachten, der laut einigen Analysten in den nächsten fünf Jahren einen Jahresumsatz von 400 Milliarden Dollar erreichen könnte. Insbesondere Arm und AMD haben florierende KI-Chip-Geschäfte, dank steigende Kapitalausgaben von Cloud-Anbietern, um den Kapazitätsbedarf für generative KI zu decken.
D-Matrix Ende letzten Jahres erzogen 110 Millionen Dollar, um die erste Inferenz-Rechnerplattform ihrer Art zu kommerzialisieren. Im Juni tauchte Etched aus dem Verborgenen auf und investierte 120 Millionen Dollar in einen Prozessor, der speziell dafür entwickelt wurde, die derzeit vorherrschende generative KI-Modellarchitektur, den Transformer, zu beschleunigen. Masayoshi Son von SoftBank ist Berichten zufolge will 100 Milliarden Dollar für ein Chip-Unternehmen aufbringen, das mit Nvidia konkurrieren soll. Und OpenAI ist sagte sich in Gesprächen mit Investmentfirmen befinden, um eine Initiative zur Herstellung von KI-Chips zu starten.
Um seine Nische zu besetzen, investiert Groq massiv in die Unternehmens- und Regierungsarbeit.
Im März übernahm Groq Definitive Intelligence, ein in Palo Alto ansässiges Unternehmen, das eine Reihe geschäftsorientierter KI-Lösungen anbietet, und gründete eine neue Geschäftseinheit namens Groq Systems. In den Zuständigkeitsbereich von Groq Systems fallen Organisationen, darunter US-Behörden und souveräne Staaten, die Groq-Chips in bestehende Rechenzentren einbauen oder neue Rechenzentren mit Groq-Prozessoren bauen möchten.
Vor Kurzem ist Groq eine Partnerschaft mit Carahsoft eingegangen, einem IT-Auftragnehmer der öffentlichen Hand, um seine Lösungen über die Reseller-Partner von Carahsoft an Kunden im öffentlichen Sektor zu verkaufen. Zudem verfügt das Startup über eine Absichtserklärung zur Installation von Zehntausenden seiner LPUs im norwegischen Rechenzentrum der europäischen Firma Earth Wind & Power.
Groq arbeitet außerdem mit dem saudi-arabischen Beratungsunternehmen Aramco Digital zusammen, um LPUs in zukünftigen Rechenzentren im Nahen Osten zu installieren.
Während Groq mit Sitz in Mountain View, Kalifornien, Kundenbeziehungen aufbaut, bereitet es sich gleichzeitig auf die nächste Generation seines Chips vor. Im vergangenen August gab das Unternehmen bekannt, dass es mit dem Halbleiterhersteller Global Foundries einen Vertrag zur Herstellung von 4-nm-LPUs abschließen werde, die gegenüber Groqs 13-nm-Chips der ersten Generation eine höhere Leistung und Effizienz bieten sollen.
Groq plant, bis Ende des ersten Quartals 2025 über 108.000 LPUs einzusetzen.