Hallo Leute, willkommen zum regelmäßigen KI-Newsletter von Tech. Wenn Sie ihn jeden Mittwoch in Ihrem Posteingang haben möchten, melden Sie sich hier an.
Man kann über generative KI sagen, was man will. Aber sie wird zur Massenware – oder zumindest scheint es so.
Anfang August haben sowohl Google als auch OpenAI die Preise für ihre budgetfreundlichsten Textgenerierungsmodelle drastisch gesenkt. Google reduzierte den Inputpreis für Gemini 1.5 Flash (die Kosten für die Textverarbeitung durch das Modell) um 78 % und den Outputpreis (die Kosten für die Textgenerierung durch das Modell) um 71 %. OpenAI wiederum senkte den Inputpreis für GPT-4o um die Hälfte und den Outputpreis um ein Drittel.
Einer schätzensinken die durchschnittlichen Kosten der Inferenz – also im Wesentlichen die Kosten für die Ausführung eines Modells – jährlich um 86 %. Was ist also der Grund dafür?
Zum einen gibt es zwischen den verschiedenen Flaggschiff-Modellen hinsichtlich ihrer Fähigkeiten keine großen Unterschiede.
Andy Thurai, leitender Analyst bei Constellation Research, sagte mir: „Wir erwarten, dass der Preisdruck bei allen KI-Modellen anhält, wenn es kein Alleinstellungsmerkmal gibt. Wenn der Konsum ausbleibt oder der Wettbewerb an Fahrt gewinnt, müssen alle diese Anbieter ihre Preise aggressiv gestalten, um die Kunden zu halten.“
John Lovelock, VP Analyst bei Gartner, stimmt zu, dass die Kommerzialisierung Und Der Wettbewerb ist für den jüngsten Abwärtsdruck auf die Modellpreise verantwortlich. Er weist darauf hin, dass die Modelle seit ihrer Einführung auf einer Kosten-Plus-Basis bepreist wurden – mit anderen Worten, der Preis sollte die Millionen von Dollar wieder einbringen, die für ihre Ausbildung aufgewendet wurden (OpenAIs GPT-4 angeblich kostet 78,4 Millionen US-Dollar) und die Serverkosten für deren Betrieb (ChatGPT war zu einem Zeitpunkt Kalkulation OpenAI ~700.000 US-Dollar pro Tag). Aber jetzt haben Rechenzentren hat eine Größe erreicht – und ein Ausmaß — um Rabatte zu unterstützen.
Anbieter wie Google, Anthropic und OpenAI haben Techniken wie Prompt-Caching und Batching eingeführt, um zusätzliche Einsparungen zu erzielen. Mit Prompt-Caching können Entwickler bestimmte „Prompt-Kontexte“ speichern, die bei API-Aufrufen an ein Modell wiederverwendet werden können, während Batching asynchrone Gruppen von Modellinferenzanfragen mit niedriger Priorität (und daher günstiger) verarbeitet.
Große Open-Model-Releases wie Metas Llama 3 werden wahrscheinlich auch Auswirkungen auf die Preisgestaltung der Anbieter haben. Die größten und leistungsfähigsten dieser Modelle sind zwar nicht gerade billig im Betrieb, können aber kostenmäßig mit den Angeboten der Anbieter konkurrieren, wenn sie auf der unternehmensinternen Infrastruktur laufen.
Die Frage ist, ob die Preisrückgänge nachhaltig sind.
Anbieter von generativer KI verbrennen ihr Geld – und zwar schnell. OpenAI soll auf dem Weg, 5 Milliarden Dollar zu verlieren dieses Jahr, während der Rivale Anthropic prognostiziert, dass es über 2,7 Milliarden Dollar im Minus bis 2025.
Lovelock glaubt, dass die hohen Investitions- und Betriebskosten die Anbieter dazu zwingen könnten, völlig neue Preisstrukturen einzuführen.
„Die Kostenschätzungen für die Entwicklung der nächsten Modellgeneration liegen bei Hunderten Millionen Dollar. Was bedeutet die Kostenaufschlagskalkulation für den Verbraucher?“, fragte er.
Wir werden es früh genug herausfinden.
Nachricht
Musk unterstützt SB 1047: Elon Musk, CEO von X, Tesla und SpaceX, hat sich für den kalifornischen Gesetzentwurf SB 1047 ausgesprochen, der Hersteller sehr großer KI-Modelle dazu verpflichtet, Sicherheitsvorkehrungen zu treffen und zu dokumentieren, damit diese Modelle keinen ernsthaften Schaden anrichten.
KI-Übersichten sprechen schlechtes Hindi: Ivan schreibt, dass die KI-Übersichten von Google, die auf bestimmte Suchanfragen KI-generierte Antworten liefern, auf Hindi viele Fehler machen – etwa den Vorschlag, im Sommer „klebrige Dinge“ als Essbares zu verwenden.
OpenAI unterstützt KI-Wasserzeichen: OpenAI, Adobe und Microsoft unterstützen einen Gesetzentwurf aus Kalifornien, der Technologieunternehmen verpflichtet, KI-generierte Inhalte zu kennzeichnen. Der Gesetzentwurf soll im August endgültig abgestimmt werden, berichtet Max.
Die Flexion fügt Pi Großbuchstaben hinzu: Das KI-Startup Inflection, dessen Gründer und die meisten seiner Mitarbeiter vor fünf Monaten von Microsoft abgeworben wurden, plant, den kostenlosen Zugang zu seinem Chatbot Pi einzuschränken, da sich der Schwerpunkt des Unternehmens in Richtung Unternehmensprodukte verlagert.
Stephen Wolfram über KI: Ron Miller interviewte Stephen Wolfram, den Gründer von Wolfram Alpha, der sagte, er sehe die Philosophie aufgrund des wachsenden Einflusses der KI und all der Fragen, die sie aufwerfe, in ein neues „goldenes Zeitalter“ eintreten.
Waymo fährt Kinder: Waymo, eine Tochtergesellschaft von Alphabet, erwägt Berichten zufolge die Einführung eines Abonnementprogramms, das es Teenagern ermöglichen würde, alleine eines der Autos des Unternehmens heranzuwinken und den Eltern Abhol- und Bringbenachrichtigungen für ihre Kinder zu senden.
Protest der DeepMind-Mitarbeiter: Einige Mitarbeiter von DeepMind, Googles KI-Forschungs- und Entwicklungsabteilung, sind unzufrieden mit Googles gemeldet Verteidigungsaufträge – und sie sollen intern einen Brief in Umlauf gebracht haben, der dies zum Ausdruck brachte.
KI-Startups fördern den Kauf von SVPs: Risikokapitalgeber kaufen auf dem Sekundärmarkt zunehmend Anteile von Startups in der Spätphase, oft in Form von Finanzinstrumenten, die als Zweckgesellschaften (Special Purpose Vehicles, SVPs) bezeichnet werden, da sie versuchen, sich Anteile an den angesagtesten KI-Unternehmen zu sichern, schreibt Rebecca.
Forschungspapier der Woche
Wie wir bereits früher geschrieben haben, sagen uns viele KI-Benchmarks nicht viel. Sie sind zu einfach – oder esoterisch. Oder sie enthalten eklatante Fehler.
Mit dem Ziel, bessere Bewertungen speziell für Vision-Language-Modelle (VLMs) zu entwickeln (d. h. Modelle, die sowohl Fotos als auch Text verstehen können), haben Forscher am Allen Institute for AI (AI2) und anderswo kürzlich einen Teststand namens WildVision.
WildVision besteht aus einer Bewertungsplattform, die rund 20 Modelle hostet, darunter Gemini Pro Vision von Google und GPT-4o von OpenAI, und einer Bestenliste, die die Präferenzen der Leute in Chats mit den Modellen widerspiegelt.
Bei der Entwicklung von WildVision stellten die AI2-Forscher fest, dass selbst die besten VLMs halluzinierten und Probleme mit Kontexthinweisen und räumlichem Denken hatten. „Unsere umfassende Analyse … zeigt zukünftige Richtungen für die Weiterentwicklung von VLMs auf“, schrieben sie in einem Papier begleitet die Veröffentlichung der Testsuite.
Modell der Woche
Es handelt sich zwar nicht um ein Modell an sich, aber diese Woche hat Anthropic seine Artifacts-Funktion für alle Benutzer eingeführt, die Gespräche mit den Claude-Modellen des Unternehmens in Apps, Grafiken, Dashboards, Websites und mehr umwandelt.
Artifacts wurde im Juni als Vorschau veröffentlicht und ist jetzt kostenlos im Internet und in den Claude-Apps von Anthropic für iOS und Android verfügbar. Es bietet ein spezielles Fenster, in dem die mit Claude erstellten Kreationen angezeigt werden. Benutzer können Artefakte mit der breiteren Community veröffentlichen und remixen, während Abonnenten des Team-Plans von Anthropic Artefakte in abgeriegelteren Umgebungen teilen können.
So beschrieb Michael Gerstenhaber, Produktleiter bei Anthropic, Artifacts in einem Interview mit Tech: „Artefakte sind die Modellausgabe, die generierte Inhalte beiseite legt und es Ihnen als Benutzer ermöglicht, diese Inhalte zu iterieren. Nehmen wir an, Sie möchten Code generieren – das Artefakt wird in die Benutzeroberfläche eingefügt, und dann können Sie mit Claude sprechen und das Dokument iterieren, um es zu verbessern, damit Sie den Code ausführen können.“
Bemerkenswert ist, dass Poe, Quoras abonnementbasierter, plattformübergreifender Aggregator für KI-Modelle, darunter Claude, eine ähnliche Funktion wie Artifacts namens Previews hat. Aber im Gegensatz zu Artifacts ist Previews nicht kostenlos – man muss dafür 20 $ pro Monat für Poes Premium-Plan bezahlen.
Wundertüte
OpenAI hat möglicherweise eine Erdbeere im Ärmel.
Das ist nach The Information zufolge versucht das Unternehmen, ein neues KI-Produkt auf den Markt zu bringen, das Probleme besser durchdenken kann als seine bestehenden Modelle. Strawberry – früher Q* genannt, worüber ich letztes Jahr geschrieben habe – soll in der Lage sein, komplexe Mathematik- und Programmierprobleme zu lösen, die es noch nie zuvor gesehen hat, sowie Worträtsel wie „Connections“ der New York Times.
Der Nachteil besteht darin, dass das „Denken“ länger dauert. Unklar ist, wie viel länger es im Vergleich zu OpenAIs derzeit bestem Modell, GPT-4o, dauert.
OpenAI hofft, diesen Herbst eine Art Strawberry-infundiertes Modell auf den Markt zu bringen, möglicherweise auf seiner KI-gestützten Chatbot-Plattform ChatGPT. Berichten zufolge verwendet das Unternehmen Strawberry auch, um synthetische Daten zum Trainieren von Modellen zu generieren, darunter sein nächstes großes Modell mit dem Codenamen Orion.
In Kreisen von KI-Enthusiasten sind die Erwartungen an Strawberry enorm. Kann OpenAI diese Erwartungen erfüllen? Das ist schwer zu sagen – aber ich hoffe zumindest auf eine Verbesserung der Rechtschreibfähigkeiten von ChatGPT.