Update: Der kalifornische Haushaltsausschuss hat am Donnerstag, den 15. August, den Gesetzentwurf SB 1047 mit wesentlichen Änderungen verabschiedet, die den Gesetzentwurf ändern. Hier können Sie mehr darüber lesen.
Außerhalb von Science-Fiction-Filmen gibt es keinen Präzedenzfall dafür, dass KI-Systeme Menschen töten oder für massive Cyberangriffe eingesetzt werden. Einige Gesetzgeber wollen jedoch Sicherheitsvorkehrungen treffen, bevor böswillige Akteure diese dystopische Zukunft Wirklichkeit werden lassen. Ein kalifornischer Gesetzentwurf, bekannt als SB 1047, versucht, reale Katastrophen durch KI-Systeme zu verhindern, bevor sie eintreten. Er soll Ende August im Senat des Bundesstaates endgültig abgestimmt werden.
Obwohl dies ein Ziel zu sein scheint, auf das wir uns alle einigen können, hat SB 1047 den Zorn großer und kleiner Akteure des Silicon Valley auf sich gezogen, darunter Risikokapitalgeber, große Technologiehandelsgruppen, Forscher und Startup-Gründer. Im ganzen Land sind derzeit viele KI-Gesetze im Umlauf, aber Kaliforniens Safe and Secure Innovation for Frontier Artificial Intelligence Models Act ist zu einem der umstrittensten geworden. Hier ist der Grund.
Was würde SB 1047 bewirken?
SB 1047 soll verhindern, dass große KI-Modelle dazu verwendet werden, der Menschheit „kritischen Schaden“ zuzufügen.
Der Gesetzentwurf nennt Beispiele für „kritische Schäden“ wie etwa einen böswilligen Akteur, der ein KI-Modell verwendet, um eine Waffe zu entwickeln, die zu Massenopfern führt, oder einen solchen anweist, einen Cyberangriff zu orchestrieren, der Schäden in Höhe von mehr als 500 Millionen Dollar verursacht (zum Vergleich: der CrowdStrike-Ausfall ist geschätzt Schäden im Wert von über 5 Milliarden US-Dollar verursacht haben sollen). Der Gesetzesentwurf macht die Entwickler – also die Unternehmen, die die Modelle entwickeln – dafür haftbar, dass sie ausreichende Sicherheitsprotokolle implementieren, um solche Folgen zu verhindern.
Für welche Modelle und Unternehmen gelten diese Regelungen?
Die Regeln von SB 1047 würden nur für die weltweit größten KI-Modelle gelten: solche, die mindestens 100 Millionen Dollar kosten und während des Trainings 10^26 FLOPS verwenden – eine enorme Rechenleistung, aber OpenAI-CEO Sam Altman sagte GPT-4 kostet ungefähr so viel zu trainieren. Diese Schwellenwerte könnten bei Bedarf angehoben werden.
Nur sehr wenige Unternehmen haben heute öffentliche KI-Produkte entwickelt, die groß genug sind, um diese Anforderungen zu erfüllen, aber Technologiegiganten wie OpenAI, Google und Microsoft werden dies wahrscheinlich sehr bald tun. KI-Modelle – im Wesentlichen riesige statistische Engines, die Muster in Daten erkennen und vorhersagen – sind im Allgemeinen mit zunehmender Größe präziser geworden, ein Trend, von dem viele erwarten, dass er sich fortsetzt. Mark Zuckerberg sagte kürzlich, dass die nächste Generation von Metas Llama zehnmal mehr Rechenleistung erfordern wird, was sie unter die Autorität von SB 1047 bringen würde.
Bei Open-Source-Modellen und deren Derivaten legt der Gesetzesentwurf fest, dass der ursprüngliche Entwickler verantwortlich ist, es sei denn, ein anderer Entwickler gibt dreimal so viel aus, um ein Derivat des ursprünglichen Modells zu erstellen.
Der Gesetzentwurf verlangt außerdem ein Sicherheitsprotokoll, um den Missbrauch der abgedeckten KI-Produkte zu verhindern, einschließlich eines „Not-Aus“-Knopfes, der das gesamte KI-Modell abschaltet. Entwickler müssen außerdem Testverfahren entwickeln, die die von KI-Modellen ausgehenden Risiken berücksichtigen, und müssen jährlich externe Prüfer beauftragen, um ihre KI-Sicherheitspraktiken zu bewerten.
Das Ergebnis muss eine „angemessene Sicherheit“ sein, dass die Einhaltung dieser Protokolle kritische Schäden verhindern wird – nicht absolute Sicherheit, die natürlich nicht gegeben werden kann.
Wer würde es durchsetzen und wie?
Eine neue kalifornische Behörde, die Frontier Model Division (FMD), würde die Vorschriften überwachen. Jedes neue öffentliche KI-Modell, das die Grenzwerte von SB 1047 erfüllt, muss einzeln mit einer schriftlichen Kopie seines Sicherheitsprotokolls zertifiziert werden.
Die FMD würde von einem fünfköpfigen Gremium geleitet, dem Vertreter der KI-Industrie, der Open-Source-Community und der Wissenschaft angehören und das vom Gouverneur und dem Parlament Kaliforniens ernannt wird. Das Gremium würde den Generalstaatsanwalt Kaliforniens bei möglichen Verstößen gegen SB 1047 beraten und den Entwicklern von KI-Modellen Richtlinien zu Sicherheitspraktiken geben.
Der technische Leiter eines Entwicklers muss der FMD jährlich eine Bescheinigung vorlegen, in der er die potenziellen Risiken seines KI-Modells bewertet, die Wirksamkeit seines Sicherheitsprotokolls festhält und beschreibt, wie das Unternehmen SB 1047 einhält. Ähnlich wie bei der Meldung von Verstößen muss der Entwickler einen „KI-Sicherheitsvorfall“ der FMD innerhalb von 72 Stunden nach Kenntnisnahme des Vorfalls melden.
Wenn ein Entwickler eine dieser Bestimmungen nicht einhält, kann der Generalstaatsanwalt von Kalifornien gemäß SB 1047 eine Zivilklage gegen den Entwickler einreichen. Für ein Modell, dessen Training 100 Millionen Dollar kostet, könnten die Strafen beim ersten Verstoß bis zu 10 Millionen Dollar und bei weiteren Verstößen bis zu 30 Millionen Dollar betragen. Dieser Strafsatz steigt, wenn KI-Modelle teurer werden.
Schließlich sieht der Gesetzentwurf Schutzmaßnahmen für Mitarbeiter vor, die als Hinweisgeber versuchen, dem Generalstaatsanwalt Kaliforniens Informationen über ein unsicheres KI-Modell preiszugeben.
Was sagen die Befürworter?
Der kalifornische Staatssenator Scott Wiener, der den Gesetzentwurf verfasst hat und San Francisco vertritt, erklärte gegenüber Tech, dass SB 1047 ein Versuch sei, aus politischen Fehlern der Vergangenheit im Bereich soziale Medien und Datenschutz zu lernen und die Bürger zu schützen, bevor es zu spät ist.
„Wir haben in der Vergangenheit mit der Technologie darauf gewartet, dass etwas Schlimmes passiert, und dann die Hände gerieben“, sagte Wiener. „Lasst uns nicht warten, bis etwas Schlimmes passiert. Lasst uns ihm einfach zuvorkommen.“
Selbst wenn ein Unternehmen ein 100-Millionen-Dollar-Modell in Texas oder Frankreich ausbildet, fällt es unter SB 1047, solange es in Kalifornien tätig ist. Wiener sagt, der Kongress habe „im letzten Vierteljahrhundert bemerkenswert wenig Gesetzgebung im Bereich Technologie“ erlassen, daher sei es seiner Meinung nach an Kalifornien, hier einen Präzedenzfall zu schaffen.
Auf die Frage, ob er sich mit OpenAI und Meta zu SB 1047 getroffen habe, sagt Wiener: „Wir haben uns mit allen großen Labors getroffen.“
Zwei KI-Forscher, die manchmal als „Paten der KI“ bezeichnet werden, Geoffrey Hinton und Yoshua Bengio, haben sich für diesen Gesetzesentwurf ausgesprochen. Diese beiden gehören zu einer Fraktion der KI-Gemeinschaft, die sich über die gefährlichen Weltuntergangsszenarien Sorgen macht, die die KI-Technologie hervorrufen könnte. Diese „KI-Untergangspropheten“ gibt es in der Forschungswelt schon seit einiger Zeit, und SB 1047 könnte einige ihrer bevorzugten Schutzmaßnahmen gesetzlich kodifizieren. Eine andere Gruppe, die SB 1047 unterstützt, das Center for AI Safety, schrieb einen offener Brief im Mai 2023 und fordert die Welt auf, der „Minderung des Aussterberisikos durch KI“ die gleiche Priorität einzuräumen wie Pandemien oder Atomkriegen.
„Dies liegt im langfristigen Interesse der Industrie in Kalifornien und den USA im Allgemeinen, da ein schwerwiegender Sicherheitsvorfall wahrscheinlich das größte Hindernis für weitere Fortschritte darstellen würde“, sagte der Direktor des Center for AI Safety, Dan Hendrycks, in einer E-Mail an Tech.
In letzter Zeit wurden Hendrycks‘ eigene Motivationen in Frage gestellt. Im Juli stellte er öffentlich ein Startup vor, Gray Swan, das „Tools entwickelt, die Unternehmen dabei helfen, die Risiken ihrer KI-Systeme einzuschätzen“, heißt es in einem Pressemitteilung. Nach Kritik, dass Hendrycks‘ Startup im Falle der Verabschiedung des Gesetzesentwurfs möglicherweise als einer der Wirtschaftsprüfer, die Entwickler nach SB 1047 einstellen müssen, profitieren könnte, sagte er veräußerte seinen Aktienanteil im Grauen Schwan.
„Ich habe mich zurückgezogen, um ein klares Signal zu senden“, sagte Hendrycks in einer E-Mail an Tech. „Wenn die milliardenschwere Risikokapitalgesellschaft, die sich gegen eine vernünftige KI-Sicherheit stellt, zeigen will, dass ihre Motive rein sind, dann sollen sie es ihnen gleichtun.“
Was sagen die Gegner?
Immer mehr Akteure aus dem Silicon Valley sprechen sich gegen SB 1047 aus.
Hendrycks‘ „Milliardärs-VC-Opposition“ bezieht sich wahrscheinlich auf a16z, die von Marc Andreessen und Ben Horowitz gegründete Risikokapitalgesellschaft, die sich stark gegen SB 1047 ausgesprochen hat. Anfang August reichte der Chefjurist der Risikokapitalgesellschaft, Jaikumar Ramaswamy, einen Brief Senator Wiener behauptete, dass das Gesetz „Startups aufgrund seiner willkürlichen und sich ändernden Schwellenwerte belasten“ werde, was einen abschreckenden Effekt auf das KI-Ökosystem haben werde. Mit fortschreitender KI-Technologie wird sie teurer werden, was bedeutet, dass mehr Startups die 100-Millionen-Dollar-Schwelle überschreiten und von SB 1047 abgedeckt werden; a16z sagt, dass mehrere ihrer Startups bereits so viel für Trainingsmodelle erhalten.
Fei-Fei Li, oft als Patin der KI bezeichnet, brach Anfang August ihr Schweigen zu SB 1047 und schrieb in einem Kolumne „Glück“ dass der Gesetzentwurf „unserem aufkeimenden KI-Ökosystem schaden wird“. Während Li eine angesehene Pionierin der KI-Forschung aus Stanford ist, hat sie Berichten zufolge auch eine KI-Startup namens World Labs im April, mit einem Wert von einer Milliarde Dollar und gedeckt durch a16z.
Sie schließt sich einflussreichen KI-Wissenschaftlern wie ihrem Stanford-Kollegen Andrew Ng an, der den Gesetzesentwurf während einer Rede bei einer Y Combinator-Veranstaltung im Juli als „Angriff auf Open Source“ bezeichnete. Open-Source-Modelle können für ihre Entwickler zusätzliche Risiken bergen, da sie wie jede offene Software leichter verändert und für beliebige und potenziell böswillige Zwecke eingesetzt werden können.
Yann LeCun, leitender KI-Wissenschaftler bei Meta, sagte in einem Beitrag auf X. Metas Llama LLM ist eines der bedeutendsten Beispiele für ein Open-Source-LLM.
Auch Start-ups sind nicht glücklich über den Gesetzentwurf. Jeremy Nixon, CEO des KI-Start-ups Omniscience und Gründer von AGI House SF, einem Zentrum für KI-Start-ups in San Francisco, befürchtet, dass SB 1047 sein Ökosystem zerstören wird. Er argumentiert, dass Akteure, die kritische Schäden verursachen, bestraft werden sollten, und nicht die KI-Labore, die die Technologie offen entwickeln und vertreiben.
„Im Kern des Gesetzesentwurfs herrscht tiefe Verwirrung darüber, dass LLMs sich in ihrer Gefährlichkeit irgendwie unterscheiden können“, sagte Nixon. „Meiner Meinung nach ist es mehr als wahrscheinlich, dass alle Modelle über die in dem Gesetzentwurf definierten Gefährlichkeitsmerkmale verfügen.“
Doch auch die großen Technologiekonzerne, auf die sich der Gesetzentwurf direkt konzentriert, sind wegen SB 1047 in Panik. Die Kammer des Fortschritts – eine Handelsgruppe, die Google, Apple, Amazon und andere Big Tech-Giganten vertritt – gab eine offener Brief gegen den Gesetzesentwurf SB 1047 schränke die freie Meinungsäußerung ein und „dränge technische Innovationen aus Kalifornien“. Letztes Jahr haben Google-CEO Sundar Pichai und andere Tech-Führungskräfte befürwortete die Idee einer föderalen KI-Regulierung.
Der US-Kongressabgeordnete Ro Khanna, der das Silicon Valley vertritt, veröffentlichte eine Erklärung gegen SB 1047 am Dienstag. Er äußerte Bedenken, dass das Gesetz „ineffektiv sein, einzelne Unternehmer und kleine Unternehmen bestrafen und Kaliforniens Innovationsgeist schädigen würde.“
Silicon Valley sieht es traditionell nicht gern, wenn Kalifornien derart umfassende Regulierungen für die Technologie erlässt. 2019 zog Big Tech eine ähnliche Karte, als ein weiteres staatliches Datenschutzgesetz, der kalifornische Consumer Privacy Act, ebenfalls die Technologielandschaft zu verändern drohte. Silicon Valley Lobbyarbeit gegen dieses Gesetzund Monate vor seinem Inkrafttreten hatten Amazon-Gründer Jeff Bezos und 50 weitere Führungskräfte schrieb einen offenen Brief, in dem ein Bundesgesetz zum Datenschutz gefordert wurde stattdessen.
Wie geht es weiter?
Am 15. August wird SB 1047 mit allen angenommenen Änderungen an den Senat von Kalifornien weitergeleitet. Laut Wiener ist das der Punkt, an dem Gesetzesentwürfe im Senat von Kalifornien „leben oder sterben“. Angesichts der überwältigenden Unterstützung der Gesetzgeber wird erwartet, dass der Gesetzesentwurf verabschiedet wird.
Anthropic reichte eine Reihe Änderungsvorschläge zu SB 1047 Ende Juli, was Wiener und die politischen Ausschüsse des kalifornischen Senats aktiv in Erwägung ziehen. Anthropic ist der erste Entwickler eines hochmodernen KI-Modells, der öffentlich signalisiert hat, dass er bereit ist, mit Wiener bei SB 1047 zusammenzuarbeiten, obwohl er den Gesetzentwurf in seiner jetzigen Form nicht unterstützt. Dies wurde weitgehend als Sieg für den Gesetzentwurf angesehen.
Zu den von Anthropic vorgeschlagenen Änderungen gehören die Abschaffung der FMD, die Einschränkung der Befugnisse des Generalstaatsanwalts, KI-Entwickler zu verklagen, bevor ein Schaden entsteht, und die Abschaffung der Whistleblower-Schutzbestimmung in SB 1047. Wiener sagt, er stehe den Änderungen grundsätzlich positiv gegenüber, muss sie aber von mehreren politischen Ausschüssen des Senats genehmigen lassen, bevor sie in den Gesetzentwurf aufgenommen werden können.
Wenn SB 1047 den Senat passiert, wird der Gesetzentwurf an den Gouverneur von Kalifornien, Gavin Newsom, weitergeleitet, wo er letztlich entscheiden wird, ob er den Gesetzentwurf vor Ende August unterzeichnet und in Kraft setzt. Wiener sagt, er habe nicht mit Newsom über den Gesetzentwurf gesprochen und kenne dessen Position nicht.
Dieses Gesetz würde nicht sofort in Kraft treten, da die FMD erst im Jahr 2026 in Kraft treten soll. Und sollte das Gesetz tatsächlich verabschiedet werden, ist es sehr wahrscheinlich, dass es bis dahin zu rechtlichen Anfechtungen kommen wird, möglicherweise von denselben Gruppen, die sich jetzt dafür einsetzen.
Korrektur: Diese Geschichte bezog sich ursprünglich auf einen früheren Entwurf der Formulierung von SB 1047 bezüglich der Frage, wer für fein abgestimmte Modelle verantwortlich ist. Derzeit besagt SB 1047, dass der Entwickler eines abgeleiteten Modells nur dann für ein Modell verantwortlich ist, wenn er dreimal so viel für die Schulung ausgibt wie der ursprüngliche Modellentwickler.