Meta hat in einer heute veröffentlichten Ankündigung eine bemerkenswerte Behauptung aufgestellt, die mehr Klarheit über seine Inhaltsempfehlungsalgorithmen schaffen soll. Es bereitet sich auf Verhaltensanalysesysteme vor, die „um Größenordnungen“ größer sind als die größten großen Sprachmodelle da draußen, einschließlich ChatGPT und GPT-4. Ist das wirklich notwendig?
Von Zeit zu Zeit beschließt Meta, sein Engagement für Transparenz aufzufrischen, indem es erklärt, wie einige seiner Algorithmen funktionieren. Manchmal ist dies aufschlussreich oder informativ, und manchmal führt es nur zu weiteren Fragen. Dieser Anlass ist ein bisschen von beidem.
Zusätzlich zu den „Systemkarten“, die erklären, wie KI in einem bestimmten Kontext oder einer bestimmten App verwendet wird, veröffentlichte das soziale und Werbenetzwerk eine Übersicht über die verwendeten KI-Modelle. Es kann sich beispielsweise lohnen zu wissen, ob ein Video Rollhockey oder Roller Derby darstellt, auch wenn es visuelle Überschneidungen gibt, sodass es ordnungsgemäß empfohlen werden kann.
Tatsächlich gehört Meta zu den produktivsten Forschungsorganisationen auf dem Gebiet der multimodalen KI, die Daten aus mehreren Modalitäten (z. B. visuell und akustisch) kombiniert, um einen Inhalt besser zu verstehen.
Nur wenige dieser Modelle werden öffentlich veröffentlicht, obwohl wir häufig davon hören, wie sie intern verwendet werden, um Dinge wie „Relevanz“, was ein Euphemismus für Targeting ist, zu verbessern. (Sie ermöglichen einigen Forschern den Zugriff darauf.)
Dann kommt dieser interessante kleine Leckerbissen, der beschreibt, wie es seine Rechenressourcen aufbaut:
Um die Präferenzen von Menschen tiefgreifend zu verstehen und zu modellieren, können unsere Empfehlungsmodelle Dutzende Billionen Parameter haben – Größenordnungen größer als selbst die größten heute verwendeten Sprachmodelle.
Ich habe Meta gebeten, etwas genauer auf diese theoretischen Zehn-Billionen-Modelle einzugehen, und genau das sind sie: theoretisch. In einer klarstellenden Erklärung sagte das Unternehmen: „Wir glauben, dass unsere Empfehlungsmodelle das Potenzial haben, Dutzende Billionen Parameter zu erreichen.“ Diese Formulierung ist ein bisschen so, als würde man sagen, dass Ihre Burger 16-Unzen-Pastetchen haben „können“, aber dann zugeben, dass sie sich noch im Viertelpfünder-Stadium befinden. Dennoch erklärt das Unternehmen klar, dass es darauf abzielt, „sicherzustellen, dass diese sehr großen Modelle effizient trainiert und in großem Maßstab eingesetzt werden können“.
Würde ein Unternehmen eine kostspielige Infrastruktur für Software aufbauen, die es nicht erstellen oder verwenden möchte? Es scheint unwahrscheinlich, aber Meta lehnte es ab, zu bestätigen (obwohl sie es auch nicht dementiert haben), dass sie aktiv Modelle dieser Größe verfolgen. Die Implikationen liegen auf der Hand. Wir können dieses Modell im Dutzend-Billionen-Maßstab zwar nicht als vorhanden betrachten, aber wir dürfen Betrachten Sie es als wirklich ehrgeizig und wahrscheinlich in der Planung.
Unter „Menschenpräferenzen verstehen und modellieren“ ist übrigens eine Verhaltensanalyse von Nutzern zu verstehen. Ihre tatsächlichen Vorlieben könnten wahrscheinlich durch eine Klartextliste mit einer Länge von hundert Wörtern dargestellt werden. Grundsätzlich ist es schwer zu verstehen, warum ein so großes und komplexes Modell erforderlich ist, um Empfehlungen selbst für ein paar Milliarden Benutzer zu verarbeiten.
Die Wahrheit ist, dass das Problemfeld in der Tat riesig ist: Es gibt Milliarden und Abermilliarden von Inhalten, alle mit zugehörigen Metadaten, und zweifellos alle möglichen komplexen Vektoren, die zeigen, dass Menschen, die Patagonia folgen, auch dazu neigen, an die World Wildlife Federation zu spenden und zunehmend kaufen teure Vogelhäuschen und so weiter. Daher ist es vielleicht nicht so überraschend, dass ein auf all diesen Daten trainiertes Modell ziemlich groß wäre. Aber „um Größenordnungen größer“ als selbst die Größten da draußen, etwas, das auf praktisch jedem zugänglichen schriftlichen Werk basiert?
Es gibt keine verlässliche Parameteranzahl für GPT-4, und führende Köpfe in der KI-Welt haben auch herausgefunden, dass es sich dabei um ein reduzierendes Maß für die Leistung handelt, aber ChatGPT liegt bei rund 175 Milliarden und man geht davon aus, dass GPT-4 höher, aber niedriger ist als die wilden 100 Billionen Ansprüche. Auch wenn Meta ein wenig übertreibt, ist das immer noch erschreckend groß.
Stellen Sie sich vor: ein KI-Modell, das so groß oder größer ist als alle bisher erstellten Modelle … Was am einen Ende eingeht, ist jede einzelne Aktion, die Sie auf Metas Plattformen ausführen, was am anderen Ende herauskommt, ist eine Vorhersage dessen, was Sie als Nächstes tun oder mögen werden. Irgendwie gruselig, nicht wahr?
Natürlich sind sie nicht die Einzigen, die das tun. Tiktok war führend in der algorithmischen Verfolgung und Empfehlung und hat sein Social-Media-Imperium auf seinem süchtig machenden Feed mit „relevanten“ Inhalten aufgebaut, der Sie so lange scrollen lässt, bis Ihnen die Augen weh tun. Die Konkurrenten sind offen neidisch.
Meta zielt eindeutig darauf ab, Werbetreibende mit wissenschaftlichen Erkenntnissen zu blenden, sowohl mit dem erklärten Ziel, das größte Modell auf dem Markt zu schaffen, als auch mit Passagen wie den folgenden:
Diese Systeme verstehen die Verhaltenspräferenzen von Menschen mithilfe sehr umfangreicher Aufmerksamkeitsmodelle, grafischer neuronaler Netze, Wenig-Schuss-Lernen und anderen Techniken. Zu den jüngsten Schlüsselinnovationen gehört eine neuartige hierarchische Deep Neural Retrieval-Architektur, die es uns ermöglichte, verschiedene hochmoderne Basislinien deutlich zu übertreffen, ohne die Inferenzlatenz zu verschlechtern; und eine neue Ensemble-Architektur, die heterogene Interaktionsmodule nutzt, um für die Interessen der Menschen relevante Faktoren besser zu modellieren.
Der obige Absatz ist nicht dazu gedacht, Forscher (sie wissen das alles) oder Benutzer (sie verstehen es nicht oder kümmern sich nicht darum) zu beeindrucken. Aber versetzen Sie sich in die Lage eines Werbetreibenden, der sich zu fragen beginnt, ob sein Geld sinnvoll für Instagram-Anzeigen angelegt ist und nicht für andere Optionen. Dieses technische Palaver soll sie verblüffen und davon überzeugen, dass Meta nicht nur führend in der KI-Forschung ist, sondern dass KI wirklich hervorragend darin ist, die Interessen und Vorlieben der Menschen zu „verstehen“.
Falls Sie daran zweifeln: „Mehr als 20 Prozent der Inhalte in den Facebook- und Instagram-Feeds einer Person werden mittlerweile von KI von Personen, Gruppen oder Konten empfohlen, denen sie nicht folgen.“ Genau das, wonach wir gefragt haben! Das ist es also. KI funktioniert großartig.
All dies erinnert aber auch an den verborgenen Apparat im Herzen von Meta, Google und anderen Unternehmen, deren primäres Motivationsprinzip darin besteht, Anzeigen mit immer detaillierterer und präziserer Ausrichtung zu verkaufen. Der Wert und die Legitimität dieses Targetings müssen ständig bekräftigt werden, auch wenn die Nutzer rebellieren und die Werbung sich vervielfacht und unterstellt, anstatt sie zu verbessern.
Noch nie hat Meta so etwas Vernünftiges getan, wie mir eine Liste mit 10 Marken oder Hobbys vorzulegen und zu fragen, welche davon mir gefallen. Sie schauen mir lieber über die Schulter, während ich das Internet auf der Suche nach einem neuen Regenmantel durchstöbere, und tun so, als wäre es eine Meisterleistung fortschrittlicher künstlicher Intelligenz, wenn sie mir am nächsten Tag Werbung für Regenmäntel liefern. Es ist nicht ganz klar, dass der letztere Ansatz dem ersteren überlegen ist, oder wenn ja, wie überlegen? Das gesamte Web basiert auf dem kollektiven Glauben an präzises Anzeigen-Targeting und jetzt wird die neueste Technologie eingesetzt, um es für eine neue, skeptischere Welle von Marketingausgaben zu stützen.
Natürlich braucht man ein Modell mit zehn Billionen Parametern, um zu sagen, was den Leuten gefällt. Wie sonst könnten Sie die Milliarden Dollar rechtfertigen, die Sie für die Ausbildung ausgegeben haben!