ChatGPT, die kostenlose textgenerierende KI, die vom in San Francisco ansässigen Startup OpenAI entwickelt wurde, als Hit zu bezeichnen, ist eine massive Untertreibung.
Ab Dezember hatte ChatGPT eine geschätzt über 100 Millionen monatlich aktive Benutzer. Es hat große Aufmerksamkeit in den Medien erregt und unzählige Memes in den sozialen Medien hervorgebracht. Es ist daran gewöhnt schreiben Hunderte von E-Books im Kindle-Shop von Amazon. Und es wird zumindest das Co-Authoring zugeschrieben eine wissenschaftliche Arbeit.
Aber OpenAI, ein Unternehmen – wenn auch ein Unternehmen mit begrenztem Gewinn – musste ChatGPT irgendwie monetarisieren, damit die Investoren nicht unruhig wurden. Mit der Einführung eines Premium-Dienstes, ChatGPT Plus, im Februar wurde ein Schritt in diese Richtung getan. Und es hat heute einen größeren Schritt gemacht, indem es eine API eingeführt hat, die es jedem Unternehmen ermöglicht, ChatGPT-Technologie in seine Apps, Websites, Produkte und Dienstleistungen zu integrieren.
Eine API war immer der Plan. Das sagt Greg Brockman, der Präsident und Vorsitzende von OpenAI (und auch einer der Mitbegründer). Er sprach gestern Nachmittag per Videoanruf vor dem Start der ChatGPT-API mit mir.
„Wir brauchen eine Weile, um diese APIs auf ein bestimmtes Qualitätsniveau zu bringen“, sagte Brockman. „Ich denke, es ist ungefähr so, dass man einfach der Nachfrage und dem Umfang gerecht werden kann.“
Laut Brockman basiert die ChatGPT-API auf dem gleichen KI-Modell wie das äußerst beliebte ChatGPT von OpenAI mit dem Namen „gpt-3.5-turbo“. GPT-3.5 ist das leistungsfähigste Textgenerierungsmodell, das OpenAI heute über seine API-Suite anbietet; der Moniker „Turbo“ bezieht sich auf ein optimiert, reaktionsschneller Version von GPT-3.5, die OpenAI stillschweigend für ChatGPT getestet hat.
Mit einem Preis von 0,002 $ pro 1.000 Token oder etwa 750 Wörtern behauptet Brockman, dass die API eine Reihe von Erfahrungen ermöglichen kann, einschließlich „Nicht-Chat“-Anwendungen. Snap, Quizlet, Instacart und Shopify gehören zu den Early Adopters.
Die ursprüngliche Motivation hinter der Entwicklung von gpt-3.5-turbo könnte darin bestanden haben, die gigantischen Rechenkosten von ChatGPT zu senken. Sam Altman, CEO von OpenAI, bezeichnete die Ausgaben von ChatGPT einmal als „augenfällig“. sie zu schätzen bei ein paar Cent Rechenkosten pro Chat. (Bei über einer Million Nutzern summiert sich das vermutlich schnell.)
Aber Brockman sagt, dass gpt-3.5-turbo auf andere Weise verbessert wird.
„Wenn Sie einen KI-gestützten Tutor bauen, möchten Sie niemals, dass der Tutor dem Schüler nur eine Antwort gibt. Sie möchten, dass es es immer erklärt und ihnen beim Lernen hilft – das ist ein Beispiel für die Art von System, das Sie bauen können sollten [with the API]“, sagte Brockmann. „Wir glauben, dass dies etwas sein wird, das die API einfach viel benutzerfreundlicher und zugänglicher macht.“
Die ChatGPT-API unterstützt My AI, Snaps kürzlich angekündigten Chatbot für Snapchat+-Abonnenten, und die neue Q-Chat-Funktion für virtuelle Tutoren von Quizlet. Shopify nutzte die ChatGPT-API, um einen personalisierten Assistenten für Einkaufsempfehlungen zu erstellen, während Instacart sie nutzte, um Ask Instacart zu erstellen, eine bevorstehende Maut, die es Instacart-Kunden ermöglichen wird, nach Lebensmitteln zu fragen und „einkaufbare“ Antworten zu erhalten, die auf Produktdaten aus dem Einzelhandel des Unternehmens basieren Partner.
„Lebensmitteleinkauf kann eine große mentale Belastung erfordern, bei der viele Faktoren eine Rolle spielen, wie Budget, Gesundheit und Ernährung, persönlicher Geschmack, Saisonalität, kulinarische Fähigkeiten, Vorbereitungszeit und Rezeptinspiration“, sagte mir JJ Zhuang, Chefarchitekt von Instacart, per E-Mail . „Was wäre, wenn KI diese mentale Belastung übernehmen könnte und wir den Haushaltsvorständen helfen könnten, die üblicherweise für den Lebensmitteleinkauf, die Essensplanung und das Anrichten von Lebensmitteln verantwortlich sind – und Lebensmitteleinkauf wirklich Spaß machen könnten? Das KI-System von Instacart wird es uns ermöglichen, wenn es in ChatGPT von OpenAI integriert ist, genau das zu tun, und wir freuen uns darauf, mit den Möglichkeiten der Instacart-App zu experimentieren.“
Bildnachweis: Instacart
Diejenigen, die die ChatGPT-Saga aufmerksam verfolgt haben, fragen sich jedoch vielleicht, ob sie reif für die Veröffentlichung ist – und das zu Recht.
Schon früh konnten Benutzer ChatGPT auffordern, Fragen zu beantworten rassistisch und sexistisch Wege, ein Spiegelbild der voreingenommenen Daten, auf denen ChatGPT ursprünglich trainiert wurde. (Die Trainingsdaten von ChatGPT umfassen eine breite Palette von Internetinhalten, nämlich E-Books, Reddit-Posts und Wikipedia-Artikel.) ChatGPT erfindet auch Fakten, ohne dies offenzulegen, ein Phänomen in der KI, das als bekannt ist Halluzination.
ChatGPT – und ähnliche Systeme – sind auch anfällig für aufforderungsbasierte Angriffe oder böswillige gegnerische Aufforderungen, die sie dazu bringen, Aufgaben auszuführen, die nicht zu ihren ursprünglichen Zielen gehörten. Ganze Gemeinden auf Reddit haben sich gebildet, um Wege zu finden, ChatGPT zu „jailbreaken“ und alle Sicherheitsvorkehrungen zu umgehen, die OpenAI eingerichtet hat. In einem der weniger anstößigen Beispiele konnte ein Mitarbeiter des Startups Scale AI ChatGPT dazu bringen preisgeben Informationen über sein technisches Innenleben.
Marken würden zweifellos nicht ins Fadenkreuz geraten wollen. Brockman besteht darauf, dass sie es nicht sein werden. Warum so? Ein Grund, sagt er, sind kontinuierliche Verbesserungen am Backend – in einigen Fällen am Kosten kenianischer Vertragsarbeiter. Aber Brockman betonte einen neuen (und entschieden weniger kontroversen) Ansatz, den OpenAI Chat Markup Language oder ChatML nennt. ChatML speist Text als eine Folge von Nachrichten zusammen mit Metadaten in die ChatGPT-API ein. Das ist im Gegensatz zum Standard-ChatGPT, das Rohtext verbraucht, der als eine Reihe von Token dargestellt wird. (Das Wort „fantastisch“ würde zum Beispiel in die Tokens „fan“, „tas“ und „tic“ aufgeteilt.)
Zum Beispiel bei der Aufforderung „Was sind einige interessante Partyideen für meinen 30. Geburtstag?“ Ein Entwickler kann diese Eingabeaufforderung mit einer zusätzlichen Eingabeaufforderung wie „Sie sind ein lustiger Konversations-Chatbot, der entwickelt wurde, um Benutzern bei den Fragen, die sie stellen, zu helfen, anhängen. Du solltest wahrheitsgemäß und auf unterhaltsame Weise antworten!“ oder „Du bist ein Bot“, bevor es von der ChatGPT-API verarbeitet wird. Diese Anweisungen helfen laut Brockman dabei, die Antworten des ChatGPT-Modells besser anzupassen – und zu filtern.
„Wir wechseln zu einer übergeordneten API. Wenn Sie eine strukturiertere Art haben, Eingaben für das System darzustellen, wo Sie sagen: „Das ist vom Entwickler“ oder „Das ist vom Benutzer“ … sollte ich erwarten, dass Sie als Entwickler tatsächlich robuster sein können [using ChatML] gegen diese Art von sofortigen Angriffen“, sagte Brockman.
Eine weitere Änderung, die (hoffentlich) unbeabsichtigtes ChatGPT-Verhalten verhindert, sind häufigere Modellaktualisierungen. Mit der Veröffentlichung von gpt-3.5-turbo werden Entwickler standardmäßig automatisch auf das neueste stabile Modell von OpenAI aktualisiert, sagt Brockman, beginnend mit gpt-3.5-turbo-0301 (heute veröffentlicht). Entwickler haben jedoch die Möglichkeit, bei einem älteren Modell zu bleiben, wenn sie dies wünschen, was den Vorteil etwas zunichte machen könnte.
Unabhängig davon, ob sie sich für ein Update auf das neueste Modell entscheiden oder nicht, stellt Brockman fest, dass einige Kunden – hauptsächlich große Unternehmen mit entsprechend großen Budgets – mit der Einführung dedizierter Kapazitätspläne eine bessere Kontrolle über die Systemleistung haben werden. Die dedizierten Kapazitätspläne von OpenAI, die Anfang dieses Monats zum ersten Mal detailliert durchgesickert sind, ermöglichen es Kunden, für eine Zuweisung von Recheninfrastruktur zu bezahlen, um ein OpenAI-Modell auszuführen – zum Beispiel gpt-3.5-turbo. (Es ist übrigens Azure im Backend.)
Zusätzlich zur „vollständigen Kontrolle“ über die Last der Instanz – normalerweise erfolgen Aufrufe an die OpenAI-API auf gemeinsam genutzten Rechenressourcen – gibt dedizierte Kapazität Kunden die Möglichkeit, Funktionen wie längere Kontextbeschränkungen zu aktivieren. Kontextgrenzen beziehen sich auf den Text, den das Modell berücksichtigt, bevor zusätzlicher Text generiert wird; Längere Kontextgrenzen ermöglichen es dem Modell, sich im Wesentlichen mehr Text zu „merken“. Während höhere Kontextgrenzen möglicherweise nicht alle Verzerrungs- und Toxizitätsprobleme lösen, könnten sie Modelle wie gpt-3.5-turbo dazu führen weniger halluzinieren.
Laut Brockman können Kunden mit dedizierter Kapazität gpt-3.5-turbo-Modelle mit einem Kontextfenster von bis zu 16.000 erwarten, was bedeutet, dass sie viermal so viele Token aufnehmen können wie das Standard-ChatGPT-Modell. Dadurch könnte jemand seitenweise Steuercodes einfügen und vernünftige Antworten vom Modell erhalten, sagen wir – eine Leistung, die heute nicht möglich ist.
Brockman spielte auf eine allgemeine Veröffentlichung in der Zukunft an, aber nicht in absehbarer Zeit.
„Die Kontextfenster beginnen sich zu verdichten, und ein Teil des Grundes dafür, dass wir im Moment nur Kunden mit dedizierter Kapazität sind, liegt darin, dass es auf unserer Seite viele Kompromisse bei der Leistung gibt“, sagte Brockman. „Vielleicht können wir irgendwann eine On-Demand-Version derselben Sache anbieten.“
Angesichts des zunehmenden Drucks von OpenAI, nach einer milliardenschweren Investition von Microsoft Gewinne zu erzielen, wäre das nicht sehr überraschend.