Haben Sie schon einmal gekotzt und gleichzeitig Durchfall gehabt? Das habe ich, und als es passierte, hörte ich mir eine von Fans erstellte Hörbuchversion von an Harry Potter und die Methoden der Rationalität (HPMOR), eine Fanfiction von Eliezer Yudkowsky.
Nein, der zweiseitige körperliche Horror wurde nicht durch die Fanfic angeregt, aber die beiden Erfahrungen sind für mich untrennbar miteinander verbunden. Ich war schockiert, als ich Jahre später herausfand, dass die 660.000 Wörter umfassende Fanfiction, die ich während meiner Krankheit absolviert habe, einige bizarre Überschneidungen mit den ultrareichen Technorati aufweist, darunter viele der Figuren, die in das aktuelle OpenAI-Debakel verwickelt sind.
Ein typisches Beispiel: in einem Easter Egg entdeckt von 404 Media (was zu unbedeutend war, als dass irgendjemand anders – sogar ich, jemand, der tatsächlich die mehr als tausend Seiten umfassende Fanfiction gelesen hat – es bemerken könnte), es gibt einen einmal erwähnten Quidditchspieler in der weitläufigen Geschichte namens Emmett Shear. Ja, derselbe Emmett Shear, der Twitch mitbegründet hat und gerade zum Interims-CEO von OpenAI ernannt wurde, dem wohl einflussreichsten Unternehmen der 2020er Jahre. Shear war ein Fan von Yudkowskys Werk und verfolgte die fortlaufende Geschichte, als sie online veröffentlicht wurde. Als Geburtstagsgeschenk bekam er einen Cameo-Auftritt geschenkt.
Shear ist ein langjähriger Fan der Schriften von Yudkowsky, ebenso wie viele der Hauptakteure der KI-Branche. Aber diese Harry-Potter-Fanfic ist Yudkowskys beliebtestes Werk.
HPMOR ist eine alternative Universum-Neufassung der Harry-Potter-Reihe, die mit der Prämisse beginnt, dass Harrys Tante Petunia einen Oxford-Biochemieprofessor geheiratet hat und nicht den missbräuchlichen Idioten Vernon Dursley. So wächst Harry als besserwisserischer Junge auf, der von rationalistischem Denken besessen ist, einer Ideologie, die experimentelles, wissenschaftliches Denken zur Lösung von Problemen schätzt und Emotionen, Religion oder andere ungenaue Maßstäbe meidet. Es sind keine drei Seiten in der Geschichte, bis Harry die Feynman-Vorlesungen über Physik zitiert, um zu versuchen, eine Meinungsverschiedenheit zwischen seinen Adoptiveltern darüber zu lösen, ob Magie real ist oder nicht. Wenn Sie gedacht haben tatsächlich Harry Potter könnte manchmal etwas frustrierend sein (warum stellt er Dumbledore nie die offensichtlichsten Fragen?), machen Sie sich darauf gefasst Das Harry Potter, der dem gleichnamigen „Young Sheldon“ Konkurrenz machen könnte.
Es macht Sinn, dass Yudkowsky in denselben Kreisen verkehrt wie viele der einflussreichsten Menschen der heutigen KI, da er selbst ein langjähriger KI-Forscher ist. In einem New Yorker-Artikel aus dem Jahr 2011 über Technolibertäre des Silicon Valley, berichtet George Packer von einer Dinnerparty im Haus des milliardenschweren Risikokapitalgebers Peter Thiel, der später OpenAI mitbegründete und in dieses investierte. Während „Blondinen in schwarzen Kleidern“ den Männern Wein einschenken, speist Packer mit PayPal-Mitbegründern wie David Sacks und Luke Nosek. Auf der Party ist auch Patri Friedman, eine ehemalige Google-Ingenieurin, die von Thiel Gelder für die Gründung einer gemeinnützigen Organisation erhalten hat, deren Ziel der Aufbau schwimmender, anarchistischer Meereszivilisationen ist, die vom Burning Man-Festival inspiriert sind (nach fünfzehn Jahren scheint die Organisation dies nicht mehr getan zu haben). große Fortschritte gemacht). Und dann ist da noch Yudkowsky.
Um die beteiligten Parteien weiter miteinander zu verbinden, sehen Sie sich ein zehn Monate altes Selfie des inzwischen gestürzten OpenAI-CEO Sam Altman, Grimes und Yudkowsky an.
Yudkowsky ist kein bekannter Name wie Altman oder Elon Musk. Aber er taucht immer wieder in den Geschichten hinter Unternehmen wie OpenAI auf, oder sogar hinter der großen Liebesgeschichte, die uns Kinder namens X Æ A-Xii, Exa Dark Sideræl und Techno Mechanicus bescherte. Nein, wirklich – Musk wollte einmal einen Witz twittern über „Rokos Basilisk„, ein Gedankenexperiment über künstliche Intelligenz, das auf LessWrong, Yudkowskys Blog und Community-Forum, entstand. Aber wie sich herausstellte, hatte Grimes bereits im Musikvideo zu ihrem Song „Flesh Without Blood“ denselben Witz über einen „Rokoko-Basilisk“ gemacht.
HPMOR ist im wahrsten Sinne des Wortes ein Rekrutierungsinstrument für die rationalistische Bewegung, die in Yudkowskys LessWrong ihr virtuelles Zuhause findet. In einer zugegebenermaßen unterhaltsamen Geschichte nutzt Yudkowsky die vertraute Welt von Harry Potter, um die rationalistische Ideologie zu veranschaulichen und zeigt, wie Harry seinen kognitiven Vorurteilen entgegenwirkt, um ein meisterhafter Problemlöser zu werden. In einem letzten Showdown zwischen Harry und Professor Quirrell – seinem Rationalismus-Mentor, der sich als böse herausstellt – durchbrach Yudkowsky die vierte Wand und gab seinen Lesern ein „Abschlussprüfung.“ Als Gemeinschaft mussten die Leser rationalistische Theorien einreichen, die erklären, wie Harry aus einer fatalen misslichen Lage herauskommen könnte. Zum Glück hat die Community im Interesse eines Happy Ends bestanden.
Aber die Moral von HPMOR besteht nicht nur darin, ein besserer Rationalist zu sein oder so „weniger falsch“ wie möglich zu sein.
„Für mich dreht sich bei HPMOR so viel darum, wie Rationalität einen unglaublich effektiv machen kann, aber unglaublich effektiv kann immer noch unglaublich böse sein“, sagte mir mein einziger anderer Freund, der HPMOR gelesen hat. „Ich habe das Gefühl, dass der springende Punkt bei HPMOR darin besteht, dass Rationalität letztendlich irrelevant ist, wenn man auf das Böse ausgerichtet ist.“
Aber natürlich können wir uns nicht alle auf eine Definition von Gut und Böse einigen. Das bringt uns zurück zu den Umwälzungen bei OpenAI, einem Unternehmen, das versucht, eine KI zu entwickeln, die intelligenter ist als Menschen. OpenAI möchte diese künstliche allgemeine Intelligenz (AGI) mit menschlichen Werten in Einklang bringen (wie dem menschlichen Wert, nicht in einem apokalyptischen, KI-induzierten Ereignis getötet zu werden), aber es ist einfach so, dass dies „Ausrichtungsforschung„ist Yudkowskys Spezialität.
Im März unterzeichneten Tausende namhafte Persönlichkeiten der KI einen offenen Brief, in dem sie sich dafür aussprachen, dass „alle KI-Labore sofort für mindestens sechs Monate pausieren“ sollten.
Zu den Unterzeichnern gehörten Meta- und Google-Ingenieure, Gründer von Skype, Getty Images und Pinterest, Stability AI-Gründer Emad Mostaque, Steve Wozniak und sogar Elon Musk, ein Mitbegründer von Open AI, der 2018 zurücktrat. Yudkowsky unterzeichnete den Brief jedoch nicht , und stattdessen aus der Feder ein Kommentar im TIME Magazine zu argumentieren, dass eine sechsmonatige Pause nicht radikal genug ist.
„Wenn jemand unter den gegenwärtigen Bedingungen eine zu mächtige KI baut, gehe ich davon aus, dass jedes einzelne Mitglied der menschlichen Spezies und alles biologische Leben auf der Erde kurz darauf sterben“, schrieb Yudkowsky. „Es gibt keinen vorgeschlagenen Plan, wie wir so etwas tun und überleben könnten. OpenAI wird offen erklärt Absicht besteht darin, eine zukünftige KI dazu zu bringen, unsere Hausaufgaben zur KI-Ausrichtung zu erledigen. Ich höre das gerade Das ist der Plan sollte ausreichen, um jeden vernünftigen Menschen in Panik zu versetzen. Das andere führende KI-Labor, DeepMind, hat überhaupt keinen Plan.“
Während Yudkowsky in Bezug auf KI für den doomeristischen Ansatz plädiert, hat der Aufruhr der OpenAI-Führung die große Bandbreite unterschiedlicher Überzeugungen darüber hervorgehoben, wie man mit der Technologie umgeht, die möglicherweise eine existenzielle Bedrohung darstellt.
Als Interims-CEO von OpenAI veröffentlicht Shear – mittlerweile einer der mächtigsten Menschen der Welt und kein Quidditch-Suchender in einer Fanfiction – Memes über die verschiedenen Fraktionen in der KI-Debatte.
Es gibt die Techno-Optimisten, die das Wachstum der Technologie um jeden Preis unterstützen, weil sie glauben, dass alle Probleme, die durch diese „Wachstum um jeden Preis“-Mentalität verursacht werden, durch die Technologie selbst gelöst werden. Dann gibt es noch die effektiven Akzelerationisten (e/acc), die ein bisschen wie Techno-Optimismus zu sein scheinen, aber mit mehr Worten darüber, dass Wachstum um jeden Preis der einzige Weg nach vorne ist, weil der zweite Hauptsatz der Thermodynamik dies besagt. Die Safetyisten (oder „Decels“) unterstützen das Wachstum der Technologie, aber nur auf eine Art und Weise, die reguliert und sicher ist (während der Risikokapitalgeber Marc Andreessen in seinem „Techno-Optimisten-Manifest“ „Vertrauen und Sicherheit“ und „Technische Ethik“ verurteilt ” als sein Feind). Und dann sind da noch die Untergangsverderber, die denken, dass die KI uns alle umbringen wird, wenn sie uns überlistet.
Yudkowsky ist einer der Anführer unter den Doomern, und er ist auch jemand, der die letzten Jahrzehnte damit verbracht hat, in den gleichen Kreisen zu agieren wie scheinbar die Hälfte des Vorstands von OpenAI. Eine populäre Theorie über Altmans Absetzung besagt, dass der Vorstand jemanden ernennen wollte, der sich stärker an seinen „Entschleunigungs“-Werten orientiert. Da kommt Shear ins Spiel, von dem wir wissen, dass er von Yudkowsky inspiriert ist und sich selbst auch als solchen betrachtet Doomer-Slash-Safetyist.
Wir wissen immer noch nicht, was bei OpenAI vor sich geht, und die Geschichte scheint sich etwa alle zehn Sekunden zu ändern. Derzeit streiten sich Technikkreise in den sozialen Medien weiterhin um die Decel- vs. E/Acc-Ideologie und nutzen dabei den Hintergrund des OpenAI-Chaos, um ihre Argumente vorzubringen. Und inmitten all dessen finde ich es faszinierend, dass, wenn man genau hinschaut, das alles auf eine wirklich langweilige Harry-Potter-Fanfic zurückgeht.