Immer mehr Unternehmen nutzen große Sprachmodelle, die Zugriff auf GPUs erfordern. Die mit Abstand beliebtesten davon stammen von Nvidia, was sie teuer und oft knapp macht. Es ist nicht unbedingt sinnvoll, eine Instanz langfristig bei einem Cloud-Anbieter zu mieten, wenn Sie nur für einen einzelnen Auftrag Zugriff auf diese kostspieligen Ressourcen benötigen.
Um zur Lösung dieses Problems beizutragen, hat AWS heute Amazon Elastic Compute Cloud (EC2) Capacity Blocks für ML eingeführt, die es Kunden ermöglichen, für einen bestimmten Zeitraum Zugriff auf diese GPUs zu erwerben, typischerweise um eine Art KI-bezogene Aufgabe wie Schulungen auszuführen Modell für maschinelles Lernen oder Ausführen eines Experiments mit einem vorhandenen Modell.
„Dies ist eine innovative neue Möglichkeit, GPU-Instanzen zu planen, bei der Sie die Anzahl der Instanzen, die Sie benötigen, für einen zukünftigen Termin und genau für den Zeitraum reservieren können, den Sie benötigen“, schrieb Channy Yun in einem Blogbeitrag Ankündigung der neuen Funktion.
Das Produkt bietet Kunden Zugriff auf NVIDIA H100 Tensor Core GPUs-Instanzen in Clustergrößen von einer bis 64 Instanzen mit 8 GPUs pro Instanz. Sie können bis zu 8 Wochen im Voraus Zeit für bis zu 14 Tage in 1-Tages-Schritten reservieren. Wenn der Zeitrahmen abgelaufen ist, werden die Instanzen automatisch heruntergefahren.
Das neue Produkt ermöglicht es Benutzern, sich für eine bestimmte Anzahl von Instanzen anzumelden, die sie für einen bestimmten Zeitraum benötigen, genau wie die Reservierung eines Hotelzimmers für eine bestimmte Anzahl von Tagen (wie das Unternehmen es ausdrückte). Aus Sicht des Kunden weiß er im Voraus genau, wie lange der Auftrag läuft, wie viele GPUs er verwenden wird und wie viel er kosten wird, was ihm Kostensicherheit gibt.
Für Amazon können sie diese gefragten Ressourcen in einer Art Auktionsumgebung einsetzen und sich so Einnahmen sichern (vorausgesetzt, die Kunden kommen natürlich). Der Preis für den Zugang zu diesen Ressourcen wird nach Angaben des Unternehmens wirklich dynamisch sein und je nach Angebot und Nachfrage variieren.
Wenn sich ein Benutzer für den Dienst anmeldet, werden die Gesamtkosten für den Zeitrahmen und die Ressourcen angezeigt. Benutzer können dies je nach Ressourcenbedarf und Budget erhöhen oder verringern, bevor sie dem Kauf zustimmen.
Die neue Funktion ist ab heute allgemein in der AWS-Region USA Ost (Ohio) verfügbar.