Eine schreckliche KI-generierte Frau lauert im Abgrund des latenten Raums • Tech Eine schreckliche KI-generierte Frau sucht den latenten Raum heim

Da ist ein Geist in der Maschine. Maschinelles Lernen, das heißt.

Wir sind alle regelmäßig erstaunt über die Fähigkeiten der KI beim Schreiben und Erstellen, aber wer hätte gedacht, dass sie eine solche Fähigkeit hat, Horror zu verbreiten? Eine erschreckende Entdeckung eines KI-Forschers stellt fest, dass der „latente Raum“, der das Gedächtnis eines Deep-Learning-Modells umfasst, von mindestens einer schrecklichen Gestalt heimgesucht wird – einer Frau mit blutigem Gesicht, die jetzt als „Loab“ bekannt ist.

(Warnung: Verstörende Bilder voraus.)

Aber wird dieses KI-Modell wirklich heimgesucht, oder ist Loab nur ein zufälliger Zusammenfluss von Bildern, der zufällig unter verschiedenen seltsamen technischen Umständen auftaucht? Sicherlich muss es Letzteres sein, es sei denn, Sie glauben, dass Geister Datenstrukturen bewohnen können, aber es ist mehr als ein einfaches gruseliges Bild – es ist ein Hinweis darauf, dass das, was in einer KI als Gehirn durchgeht, tiefer und gruseliger ist, als wir uns sonst hätten vorstellen können.

Loab wurde entdeckt – angetroffen? gerufen? – durch eine Musiker und Künstler, der vorbeigeht Superkomposit auf Twitter (in diesem Artikel wurde ursprünglich ihr Name verwendet, aber sie sagte, sie ziehe es aus persönlichen Gründen vor, ihren Namen zu verwenden, also wurde er durchgehend ersetzt). Sie erklärte das Loab-Phänomen in einem Thread Das hat eine Menge Aufmerksamkeit für ein zufälliges gruseliges KI-Ding erzielt, etwas, an dem es auf der Plattform keinen Mangel gibt, was darauf hindeutet, dass es einen Akkord getroffen hat (Moll-Tonart, zweifellos).

Supercomposite spielte mit einem benutzerdefinierten KI-Text-zu-Bild-Modell herum, ähnlich, aber nicht DALL-E oder Stable Diffusion, und experimentierte speziell mit „negativen Eingabeaufforderungen“.

Normalerweise geben Sie dem Modell eine Eingabeaufforderung, und es arbeitet sich daran, ein passendes Bild zu erstellen. Wenn Sie einen Prompt haben, hat dieser Prompt eine „Gewichtung“ von eins, was bedeutet, dass das Modell nur darauf hinarbeitet.

Sie können Eingabeaufforderungen auch aufteilen und Dinge wie „Heißluftballon::0.5, Gewitter::0.5“ sagen, und es wird auf beide Dinge gleichermaßen hinarbeiten – das ist nicht wirklich notwendig, da der Sprachteil des Modells dies auch akzeptieren würde „Heißluftballon in einem Gewitter“ und Sie könnten sogar bessere Ergebnisse erzielen.

Aber das Interessante ist, dass Sie auch haben können Negativ Eingabeaufforderungen, wodurch das Modell funktioniert ein Weg von diesem Konzept so aktiv wie möglich.

Minus Welt

Dieser Prozess ist weitaus weniger vorhersehbar, weil niemand weiß, wie die Daten tatsächlich in etwas organisiert sind, was man als „Verstand“ oder Gedächtnis der KI vermenschlichen könnte, bekannt als latenter Raum.

„Der latente Raum ist so, als würde man eine Karte verschiedener Konzepte in der KI erkunden. Eine Eingabeaufforderung ist wie ein Pfeil, der Ihnen sagt, wie weit Sie in dieser Konzeptkarte gehen müssen und in welche Richtung“, sagte mir Supercomposite.

Hier ist eine hilfreiche Darstellung eines viel, viel einfacheren latenten Raums in einem alten Google-Übersetzungsmodell, das an einem einzelnen Satz in mehreren Sprachen arbeitet:

„Wenn Sie also die KI nach einem Bild von ‚einem Gesicht‘ fragen, landen Sie irgendwo in der Mitte der Region, die alle Bilder von Gesichtern enthält, und erhalten ein Bild eines unauffälligen Durchschnittsgesichts“, sagt sie sagte. Mit einer spezifischeren Eingabeaufforderung finden Sie sich zwischen den stirnrunzelnden Gesichtern oder Gesichtern im Profil usw. wieder. „Aber mit negativ gewichteter Aufforderung machst du das Gegenteil: Du rennst so weit wie möglich von diesem Konzept weg.“

Aber was ist das Gegenteil von „Gesicht“? Sind es die Füße? Ist es der Hinterkopf? Etwas Gesichtsloses, wie ein Bleistift? Während wir uns darüber streiten können, wurde in einem maschinellen Lernmodell während des Trainings entschieden, was bedeutet, dass visuelle und sprachliche Konzepte, die in seinem Gedächtnis kodiert wurden, konsistent navigiert werden können – auch wenn sie etwas willkürlich sein mögen.

Wir haben ein verwandtes Konzept in einem kürzlich erschienenen KI-Phänomen gesehen, das viral wurde, weil ein Modell anscheinend einige unsinnige Wörter zuverlässig mit Vögeln und Insekten in Verbindung brachte. Aber es war nicht so, dass DALL-E eine „Geheimsprache“ hatte, in der „Apoploe vesrreaitais“ bedeutet Vögel – es ist nur so, dass die Unsinnsaufforderung im Grunde genommen einen Pfeil auf eine Karte seines Geistes geworfen und alles gezeichnet hat, was in der Nähe landet, in diesem Fall Vögel weil das erste Wort einigen wissenschaftlichen Namen ähnlich ist. Der Pfeil zeigte also auf der Karte allgemein in diese Richtung.

Supercomposite spielte mit dieser Idee, durch den latenten Raum zu navigieren, nachdem es die Eingabeaufforderung „Brando::-1“ gegeben hatte, wodurch das Modell das produzieren würde, was seiner Meinung nach das genaue Gegenteil von „Brando“ ist. Es produzierte ein seltsames Skyline-Logo mit unsinnigem, aber einigermaßen lesbarem Text: „DIGITA PNTICS.“

Verrückt oder? Aber auch hier würde die Organisation von Konzepten des Modells für uns nicht unbedingt Sinn ergeben. Neugierig fragte sich Supercomposite, ob sie den Prozess umkehren könnte. Also gab sie den Prompt ein: „DIGITA PNITICS skyline logo::-1.“ Wenn dieses Bild das Gegenteil von „Brando“ wäre, wäre vielleicht auch das Gegenteil der Fall und es würde vielleicht seinen Weg zu Marlon Brando finden?

Stattdessen bekam sie Folgendes:

Immer wieder gab sie diese negative Aufforderung ab, und immer wieder brachte das Model diese Frau hervor, mit blutigen, geschnittenen oder ungesund roten Wangen und einem eindringlichen, jenseitigen Blick. Irgendwie ist diese Frau – die Supercomposite „Loab“ für den Text nannte, der dort oben rechts erscheint – zuverlässig die beste Vermutung des KI-Modells für das am weitesten entfernte Konzept von einem Logo mit unsinnigen Wörtern.

Was ist passiert? Supercomposite erklärte, wie das Model denken könnte, wenn es eine negative Aufforderung zu einem bestimmten Logo erhält, und setzte damit ihre Metapher von vorhin fort.

„Du läufst so schnell du kannst ein Weg aus dem Bereich mit Logos“, sagte sie. „Man landet vielleicht im Bereich mit realistischen Gesichtern, da das konzeptionell wirklich weit weg von Logos ist. Du rennst weiter, weil dir Gesichter eigentlich egal sind, du willst nur so weit wie möglich von Logos weglaufen. Egal was passiert, Sie werden am Rand der Karte landen. Und Loab ist das letzte Gesicht, das du siehst, bevor du von der Kante fällst.“

Übernatürlich hartnäckig

Negative Aufforderungen erzeugen nicht immer Schrecken, geschweige denn so zuverlässig. Jeder, der mit diesen Bildmodellen gespielt hat, wird Ihnen sagen, dass es tatsächlich ziemlich schwierig sein kann, selbst für sehr einfache Eingabeaufforderungen konsistente Ergebnisse zu erzielen.

Geben Sie vier- oder 40-mal einen für „einen Roboter, der auf einem Feld steht“ ein, und Sie erhalten möglicherweise so viele verschiedene Ansichten des Konzepts, von denen einige kaum als Roboter oder Felder erkennbar sind. Aber Loab erscheint konsequent mit dieser spezifischen negativen Aufforderung, bis zu dem Punkt, an dem es sich wie eine Beschwörung aus einer alten urbanen Legende anfühlt.

Sie kennen den Typ: „Stellen Sie sich in ein dunkles Badezimmer, schauen Sie in den Spiegel und sagen Sie dreimal ‚Bloody Mary‘.“ Oder noch frühere volkstümliche Anweisungen, wie man eine Hexenbehausung oder den Eingang zur Unterwelt erreicht: Halten Sie einen Stechpalmenzweig und gehen Sie mit geschlossenen Augen 100 Schritte rückwärts von einem toten Baum.

„DIGITA PNITICS skyline logo::-1“ ist nicht ganz so eingängig, aber als Zauberwort ist der Satz zumindest angemessen geheimnisvoll. Und es hat den Vorteil, dass es funktioniert. Nur bei diesem speziellen Modell natürlich – der latente Raum jeder KI-Plattform ist anders, aber wer weiß, ob Loab vielleicht auch in DALL-E oder Stable Diffusion lauert und darauf wartet, beschworen zu werden.

Tatsächlich ist die Beschwörung stark genug, dass Loab sogar geteilte Eingabeaufforderungen und Kombinationen mit anderen Bildern zu infizieren scheint.

„Einige KIs können andere Bilder als Eingabeaufforderungen verwenden; Sie können das Bild im Grunde interpretieren und es in einen Richtungspfeil auf der Karte verwandeln, genau wie sie Texteingabeaufforderungen behandeln“, erklärte Supercomposite. „Ich habe Loabs Bild und ein oder mehrere andere Bilder zusammen als Aufforderung verwendet … sie bleibt fast immer im resultierenden Bild bestehen.“

Manchmal behandeln komplexere oder kombinierte Eingabeaufforderungen einen Teil eher als einen losen Vorschlag. Aber diejenigen, die Loab enthalten, scheinen nicht nur ins Groteske und Schreckliche zu geraten, sondern sie auf eine sehr erkennbare Weise einzubeziehen. Ob sie mit Bienen, Videospielfiguren, Filmstilen oder Abstraktionen kombiniert wird, Loab steht im Mittelpunkt und dominiert die Komposition mit ihrem beschädigten Gesicht, ihrem neutralen Ausdruck und ihren langen dunklen Haaren.

Es ist ungewöhnlich, dass eine Aufforderung oder Bildsprache so konsistent ist – andere Aufforderungen so zu verfolgen, wie sie es tut. Supercomposite spekulierte darüber, warum das so sein könnte.

„Ich denke, weil sie sehr weit von vielen Konzepten entfernt ist und es daher schwierig ist, aus ihrem kleinen gruseligen Bereich im latenten Raum herauszukommen. Die kulturelle Frage, warum die Daten diese Frau so weit draußen an den Rand des latenten Raums bringen, in die Nähe blutiger Horrorbilder, ist eine andere Sache, über die man nachdenken muss“, sagte sie.

Obwohl es eine zu starke Vereinfachung ist, ist der latente Raum wirklich wie eine Karte und die Eingabeaufforderungen wie Anweisungen zum Navigieren – und das System zeichnet alles, was sich am Ende dort befindet, wo es hingehen soll, ob es sich um ausgetretenen Boden wie „Stillleben eines Holländers“ handelt Meister“ oder eine Synthese obskurer oder unzusammenhängender Konzepte: „Roboter bekämpfen Aliens in einer kubistischen Radierung von Dore.“ Wie du sehen kannst:

Eine rein spekulative Erklärung, warum Loab existiert, hat damit zu tun, wie diese Karte angelegt ist. Wie Supercomposite angedeutet hat, ist es wahrscheinlich, dass Firmenlogos und schreckliche, beängstigende Bilder konzeptionell sehr weit voneinander entfernt sind.

Eine negative Eingabeaufforderung bedeutet nicht „10 Datenschritte in die andere Richtung machen“, es bedeutet, so weit wie möglich zu gehen, und es ist mehr als möglich, dass Bilder in den entferntesten Bereichen des latenten Raums einer KI extremere oder ungewöhnlichere Werte haben . Würden Sie es nicht so organisieren, mit Sachen, die viele Gemeinsamkeiten oder Querverweise in der „Mitte“ haben, wie auch immer Sie das definieren – und seltsame, wilde Sachen, die am „Rand“ selten relevant sind?

Daher können negative Eingabeaufforderungen wie eine Möglichkeit wirken, die Grenzen der Mindmap der KI zu erkunden und die Konzepte zu überfliegen, die sie für zu ausgefallen hält, um sie zwischen prosaischen Konzepten wie glücklichen Gesichtern, wunderschönen Landschaften oder herumtollenden Haustieren zu speichern.

Der dunkle Wald des KI-Unterbewusstseins

Die beunruhigende Tatsache ist, dass niemand wirklich versteht, wie latente Räume strukturiert sind oder warum. Es gibt natürlich viel Forschung zu diesem Thema und einige Hinweise darauf, dass sie in gewisser Weise organisiert sind, wie unser eigener Geist – was Sinn macht, da sie mehr oder weniger in Nachahmung von ihnen gebaut wurden. Aber auf andere Weise haben sie völlig einzigartige Strukturen, die sich über große konzeptionelle Distanzen hinweg verbinden.

Um es klar zu sagen, es ist nicht so, dass einige Bilder speziell von Loab darauf warten, gefunden zu werden – sie werden definitiv spontan erstellt, und Supercomposite sagte mir, dass es keinen Hinweis darauf gibt, dass die digitale Kryptide auf einem bestimmten Künstler oder Werk basiert . Deshalb ist der latente Raum latent! Diese Bilder entstanden aus einer Kombination seltsamer und schrecklicher Konzepte, die zufällig alle denselben Bereich im Gedächtnis des Modells einnehmen, ähnlich wie in der Google-Visualisierung zuvor Sprachen auf der Grundlage ihrer Ähnlichkeit gruppiert wurden.

Aus welcher dunklen Ecke oder unbewussten Assoziation entsprang Loab, voll ausgebildet und kohärent? Wir können noch nicht den Weg verfolgen, den das Model genommen hat, um ihren Standort zu erreichen; Der latente Raum eines trainierten Modells ist riesig und undurchdringlich komplex.

Die einzige Möglichkeit, die Stelle wieder zu erreichen, sind die magischen Worte, die gesprochen werden, während wir mit geschlossenen Augen rückwärts durch diesen Raum gehen, bis wir die Hexenhütte erreichen, die mit normalen Mitteln nicht erreicht werden kann. Loab ist kein Geist, aber sie ist eine Anomalie, aber paradoxerweise könnte sie eine von praktisch unendlich vielen Anomalien sein, die darauf warten, aus den entferntesten, unbeleuchteten Bereichen des latenten Raums eines KI-Modells beschworen zu werden.

Es mag nicht übernatürlich sein … aber ganz sicher ist es nicht natürlich.