Update: Der kalifornische Haushaltsausschuss hat am Donnerstag, den 15. August, den Gesetzentwurf SB 1047 mit wesentlichen Änderungen verabschiedet, die den Gesetzentwurf ändern. Hier können Sie mehr darüber lesen.
Außerhalb von Science-Fiction-Filmen gibt es keinen Präzedenzfall dafür, dass KI-Systeme Menschen töten oder für massive Cyberangriffe eingesetzt werden. Einige Gesetzgeber wollen jedoch Sicherheitsvorkehrungen treffen, bevor böswillige Akteure diese dystopische Zukunft Wirklichkeit werden lassen. Ein Gesetzentwurf in Kalifornien, bekannt als SB 1047, versucht, reale Katastrophen durch KI-Systeme zu verhindern, bevor sie eintreten. Es wurde im August vom Senat des Staates verabschiedet und wartet nun auf die Zustimmung oder das Veto von Kaliforniens Gouverneur Gavin Newsom.
Obwohl dies ein Ziel zu sein scheint, auf das wir uns alle einigen können, hat SB 1047 den Zorn großer und kleiner Akteure des Silicon Valley auf sich gezogen, darunter Risikokapitalgeber, große Technologiehandelsgruppen, Forscher und Startup-Gründer. Im ganzen Land sind derzeit viele KI-Gesetze im Umlauf, aber Kaliforniens Safe and Secure Innovation for Frontier Artificial Intelligence Models Act ist zu einem der umstrittensten geworden. Hier ist der Grund.
Was würde SB 1047 bewirken?
SB 1047 versucht zu verhindern, dass große KI-Modelle verwendet werden, um der Menschheit „kritischen Schaden“ zuzufügen.
Der Gesetzentwurf nennt Beispiele für „kritische Schäden“ wie etwa einen böswilligen Akteur, der ein KI-Modell verwendet, um eine Waffe zu entwickeln, die zu Massenopfern führt, oder einen solchen anweist, einen Cyberangriff zu orchestrieren, der Schäden in Höhe von mehr als 500 Millionen Dollar verursacht (zum Vergleich: der CrowdStrike-Ausfall ist geschätzt Schäden im Wert von über 5 Milliarden US-Dollar verursacht haben sollen). Der Gesetzesentwurf macht die Entwickler – also die Unternehmen, die die Modelle entwickeln – dafür haftbar, ausreichende Sicherheitsprotokolle zu implementieren, um solche Folgen zu verhindern.
Für welche Modelle und Unternehmen gelten diese Regelungen?
Die Regeln von SB 1047 würden nur für die weltweit größten KI-Modelle gelten: solche, die mindestens 100 Millionen Dollar kosten und während des Trainings 10^26 FLOPS verwenden – eine enorme Rechenleistung, aber OpenAI-CEO Sam Altman sagte GPT-4 kostet ungefähr so viel zu trainieren. Diese Schwellenwerte könnten bei Bedarf angehoben werden.
Nur sehr wenige Unternehmen haben heute öffentliche KI-Produkte entwickelt, die groß genug sind, um diese Anforderungen zu erfüllen, aber Technologiegiganten wie OpenAI, Google und Microsoft werden dies wahrscheinlich sehr bald tun. KI-Modelle – im Wesentlichen riesige statistische Engines, die Muster in Daten erkennen und vorhersagen – sind im Allgemeinen mit zunehmender Größe präziser geworden, ein Trend, von dem viele erwarten, dass er sich fortsetzt. Mark Zuckerberg sagte kürzlich, dass die nächste Generation von Metas Llama zehnmal mehr Rechenleistung erfordern wird, was sie unter die Autorität von SB 1047 bringen würde.
Bei Open-Source-Modellen und deren Derivaten legt der Gesetzesentwurf fest, dass der ursprüngliche Entwickler verantwortlich ist, sofern nicht ein anderer Entwickler weitere 10 Millionen US-Dollar für die Erstellung eines Derivats des ursprünglichen Modells ausgibt.
Der Gesetzentwurf verlangt außerdem ein Sicherheitsprotokoll, um den Missbrauch der abgedeckten KI-Produkte zu verhindern, einschließlich eines „Not-Aus“-Knopfes, der das gesamte KI-Modell abschaltet. Entwickler müssen außerdem Testverfahren entwickeln, die die von KI-Modellen ausgehenden Risiken berücksichtigen, und müssen jährlich externe Prüfer beauftragen, um ihre KI-Sicherheitspraktiken zu bewerten.
Das Ergebnis muss eine „angemessene Sicherheit“ sein, dass die Einhaltung dieser Protokolle kritische Schäden verhindern wird – nicht absolute Sicherheit, die natürlich nicht gegeben werden kann.
Wer würde es durchsetzen und wie?
Eine neue kalifornische Behörde, das Board of Frontier Models, würde die Regeln überwachen. Jedes neue öffentliche KI-Modell, das die Grenzwerte von SB 1047 erfüllt, muss einzeln mit einer schriftlichen Kopie seines Sicherheitsprotokolls zertifiziert werden.
Das Board of Frontier Models würde von neun Personen geleitet werden, darunter Vertreter der KI-Industrie, der Open-Source-Community und der Wissenschaft, die vom Gouverneur und dem Parlament Kaliforniens ernannt würden. Das Gremium würde den Generalstaatsanwalt Kaliforniens bei möglichen Verstößen gegen SB 1047 beraten und KI-Modellentwicklern Richtlinien zu Sicherheitspraktiken geben.
Der technische Leiter eines Entwicklers muss dem Vorstand jährlich eine Bescheinigung vorlegen, in der er die potenziellen Risiken seines KI-Modells bewertet, die Wirksamkeit seines Sicherheitsprotokolls festhält und beschreibt, wie das Unternehmen SB 1047 einhält. Ähnlich wie bei der Meldung von Verstößen muss der Entwickler einen „KI-Sicherheitsvorfall“ innerhalb von 72 Stunden nach Kenntnisnahme der FMD melden.
Wenn die Sicherheitsmaßnahmen eines Entwicklers als unzureichend erachtet werden, kann der Generalstaatsanwalt von Kalifornien gemäß SB 1047 eine einstweilige Verfügung gegen den Entwickler erwirken. Dies könnte bedeuten, dass der Entwickler den Betrieb oder die Schulung seines Modells einstellen muss.
Wenn sich herausstellt, dass ein KI-Modell tatsächlich bei einem Katastrophenereignis eingesetzt wurde, kann der Generalstaatsanwalt von Kalifornien das Unternehmen verklagen. Für ein Modell, dessen Training 100 Millionen Dollar kostet, könnten die Strafen beim ersten Verstoß bis zu 10 Millionen Dollar und bei weiteren Verstößen bis zu 30 Millionen Dollar betragen. Dieser Strafsatz steigt, wenn KI-Modelle teurer werden.
Schließlich sieht der Gesetzentwurf Schutzmaßnahmen für Mitarbeiter vor, die als Hinweisgeber versuchen, dem Generalstaatsanwalt Kaliforniens Informationen über ein unsicheres KI-Modell preiszugeben.
Was sagen die Befürworter?
Der kalifornische Staatssenator Scott Wiener, der den Gesetzentwurf verfasst hat und San Francisco vertritt, erklärte gegenüber Tech, dass SB 1047 ein Versuch sei, aus politischen Fehlern der Vergangenheit im Bereich soziale Medien und Datenschutz zu lernen und die Bürger zu schützen, bevor es zu spät ist.
„Wir haben in der Vergangenheit mit der Technologie darauf gewartet, dass etwas Schlimmes passiert, und dann die Hände gerieben“, sagte Wiener. „Lasst uns nicht warten, bis etwas Schlimmes passiert. Lasst uns ihm einfach zuvorkommen.“
Selbst wenn ein Unternehmen ein 100-Millionen-Dollar-Modell in Texas oder Frankreich ausbildet, fällt es unter SB 1047, solange es in Kalifornien tätig ist. Wiener sagt, der Kongress habe „im letzten Vierteljahrhundert bemerkenswert wenig Gesetzgebung im Bereich Technologie“ erlassen, daher sei es seiner Meinung nach an Kalifornien, hier einen Präzedenzfall zu schaffen.
Auf die Frage, ob er sich mit OpenAI und Meta zu SB 1047 getroffen habe, sagt Wiener: „Wir haben uns mit allen großen Labors getroffen.“
Zwei KI-Forscher, die manchmal als „Paten der KI“ bezeichnet werden, Geoffrey Hinton und Yoshua Bengio, haben sich für diesen Gesetzesentwurf ausgesprochen. Diese beiden gehören zu einer Fraktion der KI-Gemeinschaft, die sich über die gefährlichen Weltuntergangsszenarien Sorgen macht, die die KI-Technologie hervorrufen könnte. Diese „KI-Untergangspropheten“ gibt es in der Forschungswelt schon seit einiger Zeit, und SB 1047 könnte einige ihrer bevorzugten Schutzmaßnahmen gesetzlich kodifizieren. Eine andere Gruppe, die SB 1047 unterstützt, das Center for AI Safety, schrieb einen offener Brief im Mai 2023 und fordert die Welt auf, der „Minderung des Aussterberisikos durch KI“ die gleiche Priorität einzuräumen wie Pandemien oder Atomkriegen.
„Dies liegt im langfristigen Interesse der Industrie in Kalifornien und den USA im Allgemeinen, da ein schwerwiegender Sicherheitsvorfall wahrscheinlich das größte Hindernis für weitere Fortschritte darstellen würde“, sagte der Direktor des Center for AI Safety, Dan Hendrycks, in einer E-Mail an Tech.
In letzter Zeit wurden Hendrycks‘ eigene Motivationen in Frage gestellt. Im Juli stellte er öffentlich ein Startup vor, Gray Swan, das „Tools entwickelt, die Unternehmen dabei helfen, die Risiken ihrer KI-Systeme einzuschätzen“, heißt es in einem Pressemitteilung. Nach Kritik, dass Hendrycks‘ Startup im Falle der Verabschiedung des Gesetzesentwurfs möglicherweise als einer der Wirtschaftsprüfer, die Entwickler nach SB 1047 einstellen müssen, profitieren könnte, sagte er veräußerte seinen Aktienanteil im Grauen Schwan.
„Ich habe mich zurückgezogen, um ein klares Signal zu senden“, sagte Hendrycks in einer E-Mail an Tech. „Wenn die milliardenschwere Risikokapitalgesellschaft, die sich gegen eine vernünftige KI-Sicherheit stellt, zeigen will, dass ihre Motive rein sind, dann sollen sie es ihnen gleichtun.“
Nachdem mehrere von Anthropic vorgeschlagene Änderungen zu SB 1047 hinzugefügt wurden, veröffentlichte CEO Dario Amodei eine Brief Er sagte, dass die „Vorteile des Gesetzesentwurfs wahrscheinlich die Kosten überwiegen“. Das ist keine Befürwortung, aber ein lauwarmes Signal der Unterstützung. Kurz darauf signalisierte Elon Musk, dass er für den Gesetzentwurf sei.
Was sagen die Gegner?
Immer mehr Akteure aus dem Silicon Valley sprechen sich gegen SB 1047 aus.
Hendrycks‘ „Milliardärs-VC-Opposition“ bezieht sich wahrscheinlich auf a16z, die von Marc Andreessen und Ben Horowitz gegründete Risikokapitalgesellschaft, die sich stark gegen SB 1047 ausgesprochen hat. Anfang August reichte der Chefjurist der Risikokapitalgesellschaft, Jaikumar Ramaswamy, einen Brief Senator Wiener behauptete, dass das Gesetz „Startups aufgrund seiner willkürlichen und sich ändernden Schwellenwerte belasten“ werde, was einen abschreckenden Effekt auf das KI-Ökosystem haben werde. Mit fortschreitender KI-Technologie wird sie teurer werden, was bedeutet, dass mehr Startups die 100-Millionen-Dollar-Schwelle überschreiten und von SB 1047 abgedeckt werden; a16z sagt, dass mehrere ihrer Startups bereits so viel für Trainingsmodelle erhalten.
Fei-Fei Li, oft als Patin der KI bezeichnet, brach Anfang August ihr Schweigen zu SB 1047 und schrieb in einem Kolumne „Glück“ dass der Gesetzentwurf „unserem aufkeimenden KI-Ökosystem schaden wird“. Während Li eine angesehene Pionierin der KI-Forschung aus Stanford ist, hat sie Berichten zufolge auch eine KI-Startup namens World Labs im April, mit einem Wert von einer Milliarde Dollar und gedeckt durch a16z.
Sie schließt sich einflussreichen KI-Wissenschaftlern wie ihrem Stanford-Kollegen Andrew Ng an, der den Gesetzesentwurf während einer Rede bei einer Y Combinator-Veranstaltung im Juli als „Angriff auf Open Source“ bezeichnete. Open-Source-Modelle können für ihre Entwickler zusätzliche Risiken bergen, da sie wie jede offene Software leichter verändert und für beliebige und potenziell böswillige Zwecke eingesetzt werden können.
Yann LeCun, leitender KI-Wissenschaftler bei Meta, sagte in einem Beitrag auf X. Metas Llama LLM ist eines der bedeutendsten Beispiele für ein Open-Source-LLM.
Auch Start-ups sind nicht glücklich über den Gesetzentwurf. Jeremy Nixon, CEO des KI-Start-ups Omniscience und Gründer von AGI House SF, einem Zentrum für KI-Start-ups in San Francisco, befürchtet, dass SB 1047 sein Ökosystem zerstören wird. Er argumentiert, dass Akteure, die kritische Schäden verursachen, bestraft werden sollten, und nicht die KI-Labore, die die Technologie offen entwickeln und vertreiben.
„Im Kern des Gesetzesentwurfs herrscht tiefe Verwirrung darüber, dass LLMs sich in ihrer Gefährlichkeit irgendwie unterscheiden können“, sagte Nixon. „Meiner Meinung nach ist es mehr als wahrscheinlich, dass alle Modelle über die in dem Gesetzentwurf definierten Gefährlichkeitsmerkmale verfügen.“
OpenAI war Ende August gegen SB 1047 und wies darauf hin, dass nationale Sicherheitsmaßnahmen im Zusammenhang mit KI-Modellen auf Bundesebene geregelt werden sollten. OpenAI unterstützte einen entsprechenden Bundesgesetzentwurf.
Doch auch die großen Technologiekonzerne, auf die sich der Gesetzentwurf direkt konzentriert, sind wegen SB 1047 in Panik. Die Kammer des Fortschritts – eine Handelsgruppe, die Google, Apple, Amazon und andere Big Tech-Giganten vertritt – gab eine offener Brief gegen den Gesetzesentwurf SB 1047 schränke die freie Meinungsäußerung ein und „dränge technische Innovationen aus Kalifornien“. Letztes Jahr haben Google-CEO Sundar Pichai und andere Tech-Führungskräfte befürwortete die Idee einer föderalen KI-Regulierung.
Der US-Kongressabgeordnete Ro Khanna, der Silicon Valley vertritt, veröffentlichte eine Erklärung gegen SB 1047 im August. Er äußerte Bedenken, dass das Gesetz „ineffektiv sein, einzelne Unternehmer und kleine Unternehmen bestrafen und Kaliforniens Innovationsgeist schädigen würde“. Inzwischen haben sich ihm die Sprecherin Nancy Pelosi und die Handelskammer der Vereinigten Staaten angeschlossen, die ebenfalls sagten, dass das Gesetz der Innovation schaden würde.
Silicon Valley sieht es traditionell nicht gern, wenn Kalifornien derart umfassende Regulierungen für die Technologie erlässt. 2019 zog Big Tech eine ähnliche Karte, als ein weiteres staatliches Datenschutzgesetz, der kalifornische Consumer Privacy Act, ebenfalls die Technologielandschaft zu verändern drohte. Silicon Valley Lobbyarbeit gegen dieses Gesetzund Monate vor seinem Inkrafttreten hatten Amazon-Gründer Jeff Bezos und 50 weitere Führungskräfte schrieb einen offenen Brief, in dem ein Bundesgesetz zum Datenschutz gefordert wurde stattdessen.
Wie geht es weiter?
SB 1047 liegt derzeit auf dem Schreibtisch des Gouverneurs von Kalifornien, Gavin Newsom, wo er letztlich entscheiden wird, ob er das Gesetz vor Ende August unterzeichnet. Wiener sagt, er habe nicht mit Newsom über das Gesetz gesprochen und kenne dessen Position nicht.
Dieses Gesetz würde nicht sofort in Kraft treten, da das Board of Frontier Models erst im Jahr 2026 gegründet werden soll. Und sollte das Gesetz tatsächlich verabschiedet werden, ist es sehr wahrscheinlich, dass es bis dahin zu rechtlichen Anfechtungen kommen wird, möglicherweise von denselben Gruppen, die sich jetzt dafür einsetzen.
Korrektur: Diese Geschichte bezog sich ursprünglich auf einen früheren Entwurf der Formulierung von SB 1047 bezüglich der Frage, wer für fein abgestimmte Modelle verantwortlich ist. Derzeit besagt SB 1047, dass der Entwickler eines abgeleiteten Modells nur dann für ein Modell verantwortlich ist, wenn er dreimal so viel für die Schulung ausgibt wie der ursprüngliche Modellentwickler.