OpenAI bringt stillschweigend eine neue Entwicklerplattform auf den Markt, mit der Kunden die neueren Modelle des Unternehmens für maschinelles Lernen, wie GPT-3.5, mit dedizierter Kapazität ausführen können. In Screenshots der auf Twitter veröffentlichten Dokumentation von Benutzer Mit frühem Zugriff beschreibt OpenAI das bevorstehende Angebot mit dem Namen Foundry als „für Spitzenkunden mit größeren Workloads konzipiert“.
„[Foundry allows] Inferenz in großem Maßstab mit voller Kontrolle über die Modellkonfiguration und das Leistungsprofil“, heißt es in der Dokumentation.
Wenn man den Screenshots Glauben schenken darf, wird Foundry bei jedem Start eine „statische Zuweisung“ von Rechenkapazität (möglicherweise auf Azure, der bevorzugten öffentlichen Cloud-Plattform von OpenAI) für einen einzelnen Kunden bereitstellen. Benutzer können bestimmte Instanzen mit denselben Tools und Dashboards überwachen, die OpenAI zum Erstellen und Optimieren von Modellen verwendet. Darüber hinaus bietet Foundry ein gewisses Maß an Versionskontrolle, sodass Kunden entscheiden können, ob sie auf neuere Modellversionen aktualisieren möchten oder nicht, sowie eine „robustere“ Feinabstimmung für die neuesten Modelle von OpenAI.
Foundry wird auch Service-Level-Verpflichtungen anbieten, z. B. Betriebszeit und termingerechte technische Unterstützung. Mieten basieren auf dedizierten Recheneinheiten mit dreimonatiger oder einjähriger Verpflichtung; Das Ausführen einer einzelnen Modellinstanz erfordert eine bestimmte Anzahl von Recheneinheiten (siehe Diagramm unten).
Instanzen werden nicht billig sein. Das Ausführen einer Lightweight-Version von GPT-3.5 kostet 78.000 US-Dollar für eine dreimonatige Verpflichtung oder 264.000 US-Dollar für eine einjährige Verpflichtung. Um das ins rechte Licht zu rücken: Einer der Supercomputer der jüngsten Generation von Nvidia, die DGX Station, läuft 149.000 $ pro Einheit.
Adleraugen-Twitter und Reddit Benutzer haben festgestellt, dass eines der textgenerierenden Modelle, die in der Preistabelle für Instanzen aufgeführt sind, ein Kontextfenster von maximal 32.000 hat. (Das Kontextfenster bezieht sich auf den Text, den das Modell berücksichtigt, bevor es zusätzlichen Text generiert; längere Kontextfenster ermöglichen es dem Modell, sich im Wesentlichen mehr Text zu „merken“.) GPT-3.5, das neueste Textgenerierungsmodell von OpenAI, hat ein maximales 4k-Kontextfenster, was darauf hindeutet, dass dieses mysteriöse neue Modell der lang erwartete GPT-4 sein könnte – oder ein Sprungbrett dorthin.
OpenAI steht unter zunehmendem Druck, nach einer milliardenschweren Investition von Microsoft Gewinne zu erzielen. Das Unternehmen angeblich erwartet im Jahr 2023 200 Millionen US-Dollar zu verdienen, ein Almosen im Vergleich zu den mehr als 1 Milliarde US-Dollar, die bisher in das Startup gesteckt wurden.
Die Rechenkosten sind größtenteils schuld. Trainieren Sie hochmoderne KI-Modelle, die Befehle erteilen können Millionen von Dollar aufwärts, und der Betrieb ist im Allgemeinen nicht viel billiger. Laut Sam Altman, Mitbegründer und CEO von OpenAI, kostet es a wenige Cent pro Chat, um ChatGPT, den viralen Chatbot von OpenAI, auszuführen – keine unbedeutende Menge, wenn man bedenkt, dass ChatGPT im letzten Dezember über eine Million Benutzer hatte.
In Richtung Monetarisierung hat OpenAI kürzlich eine „Pro“-Version von ChatGPT, ChatGPT Plus, ab 20 US-Dollar pro Monat auf den Markt gebracht und sich mit Microsoft zusammengetan, um Bing Chat zu entwickeln, einen umstrittenen Chatbot (um es milde auszudrücken), der die Aufmerksamkeit des Mainstreams auf sich gezogen hat. Nach zu Semafor und Die Informationplant OpenAI, in Zukunft eine mobile ChatGPT-App einzuführen und seine KI mitzubringen Sprachtechnologie in Microsoft-Apps wie Word, PowerPoint und Outlook.
Unabhängig davon stellt OpenAI seine Technologie weiterhin über Microsofts Azure OpenAI Service zur Verfügung, eine geschäftsorientierte Model-Serving-Plattform, und pflegt Copilot, einen erstklassigen Code-Generierungsdienst, der in Partnerschaft mit GitHub entwickelt wurde.