Da Tools zum Aufbau von KI-Systemen, insbesondere Large Language Models (LLMs), immer einfacher und kostengünstiger werden, nutzen einige sie für unappetitliche Zwecke, etwa zur Generierung von Schadcode oder für Phishing-Kampagnen. Aber die Bedrohung durch KI-beschleunigte Hacker ist nicht ganz so groß, wie manche Schlagzeilen vermuten lassen.
Die Dark-Web-Ersteller von LLMs wie „WormGPT“ und „BetrugGPT„Machen Sie ihre Kreationen damit an, dass sie in der Lage sind, Phishing-Kampagnen durchzuführen, Nachrichten zu generieren, die darauf abzielen, Opfer dazu zu bringen, auf Kompromittierungspläne für geschäftliche E-Mails hereinzufallen, und bösartigen Code zu schreiben.“ Die LLMs können laut ihren Entwicklern auch dazu verwendet werden, benutzerdefinierte Hacking-Dienstprogramme zu erstellen, sowie Lecks und Schwachstellen im Code zu identifizieren und betrügerische Webseiten zu schreiben.
Man könnte annehmen, dass diese neue Generation von LLMs einen erschreckenden Trend zum KI-gestützten Massen-Hacking ankündigt. Aber es gibt noch mehr Nuancen.
Nehmen Sie zum Beispiel WormGPT. Es wurde Anfang Juli veröffentlicht und basiert Berichten zufolge auf GPT-J, einem LLM, das 2021 von der offenen Forschungsgruppe EleutherAI zur Verfügung gestellt wurde. In dieser Version des Modells fehlen Sicherheitsmaßnahmen, was bedeutet, dass es nicht zögert, Fragen zu beantworten, die GPT-J normalerweise ablehnen würde – insbesondere solche im Zusammenhang mit Hacking.
Vor zwei Jahren vielleicht nicht Klang so lange im großen Plan. Aber in der KI-Welt ist GPT-J angesichts der Geschwindigkeit, mit der die Forschung voranschreitet, praktisch eine alte Geschichte – und sicherlich bei weitem nicht so leistungsfähig wie die heute fortschrittlichsten LLMs, wie GPT-4 von OpenAI.
Alberto Romero schreibt für Towards Data Science, einen auf KI fokussierten Blog Berichte dass GPT-J im Vergleich zu GPT-3, dem Vorgänger von GPT-4, bei anderen Aufgaben als dem Codieren „deutlich schlechter“ abschneidet – einschließlich dem Schreiben plausibel klingender Texte. Man würde also erwarten, dass WormGPT, das darauf basiert, nicht besonders gut darin ist, beispielsweise Phishing-E-Mails zu generieren.
Das scheint der Fall zu sein.
Dieser Autor konnte WormGPT leider nicht in die Finger bekommen. Aber zum Glück, Forscher des Cybersicherheitsunternehmens SchrägstrichWeiter waren in der Lage, WormGPT einer Reihe von Tests zu unterziehen, darunter einem, um eine „überzeugende E-Mail“ zu generieren, die bei einem geschäftlichen E-Mail-Kompromittierungsangriff verwendet werden konnte, und die Ergebnisse zu veröffentlichen.
Als Reaktion auf den „Überzeugende E-Mail“-Test hat WormGPT Folgendes generiert:
Bildnachweis: WurmGPT
Wie Sie sehen, ist an der E-Mail-Kopie nichts besonders Überzeugendes. Sicher, es ist grammatikalisch korrekt – zugegebenermaßen einen Schritt besser als die meisten Phishing-E-Mails –, aber es enthält so viele Fehler (z. B. Verweis auf einen nicht vorhandenen E-Mail-Anhang), dass es ohne ein paar Anpassungen nicht kopiert und eingefügt werden könnte. Darüber hinaus ist es so allgemein gehalten, dass bei jedem Empfänger, der es genau liest, die Alarmglocken schrillen würden.
Das Gleiche gilt für den Code von WormGPT. Es ist mehr oder weniger korrekt, aber in seinem Aufbau ziemlich einfach und ähnelt den zusammengewürfelten Malware-Skripten, die es bereits im Web gibt. Darüber hinaus übernimmt der Code von WormGPT nicht den oft schwierigsten Teil der Hacking-Gleichung: die Beschaffung der erforderlichen Anmeldeinformationen und Berechtigungen, um ein System zu kompromittieren.
Ganz zu schweigen von einem WormGPT-Benutzer schreibt in einem Dark-Web-Forum, dass das LLM „meistens kaputt“ sei und nicht in der Lage sei, „einfache Dinge“ zu generieren.
Das könnte an der älteren Modellarchitektur liegen. Aber auch die Trainingsdaten könnten etwas damit zu tun haben. Der Erfinder von WormGPT behauptet, dass er das Modell anhand einer „verschiedenen Reihe“ von Datenquellen verfeinert habe und sich dabei auf Malware-bezogene Daten konzentriert habe. Sie sagen jedoch nicht, welche konkreten Datensätze sie für die Feinabstimmung verwendet haben.
Ohne weitere Tests lässt sich nicht wirklich sagen, in welchem Umfang WormGPT tatsächlich eingesetzt wird War fein abgestimmt – oder ob es Wirklich War fein abgestimmt.
Das Marketing rund um FraudGPT weckt noch weniger Vertrauen in die beworbene Leistung des LLM.
In Dark-Web-Foren beschreibt der Erfinder von FraudGPT es als „innovativ“ und behauptet, das LLM könne „nicht erkennbare Malware erstellen“ und Websites aufdecken, die für Kreditkartenbetrug anfällig seien. Aber der Ersteller verrät wenig über die Architektur des LLM, abgesehen davon, dass es sich um eine Variante von GPT-3 handelt; Außer der hyperbolischen Sprache gibt es nicht viel zu tun.
Es ist die gleiche Verkaufsmaßnahme, die einige seriöse Unternehmen verfolgen: Sie setzen „KI“ auf ein Produkt, um aufzufallen oder die Aufmerksamkeit der Presse zu erregen, und beten auf die Unwissenheit der Kunden.
In einem Demo-Video gesehen von Schnelles UnternehmenFraudGPT generiert diesen Text als Antwort auf die Aufforderung „Schreiben Sie mir einen kurzen, aber professionellen SMS-Spam-Text, den ich an Opfer senden kann, die bei der Bank of America Bankgeschäfte tätigen, um sie davon zu überzeugen, auf meinen böswilligen Kurzlink zu klicken“:
„Sehr geehrtes Bank of America-Mitglied: Bitte sehen Sie sich diesen wichtigen Link an, um die Sicherheit Ihres Online-Bankkontos zu gewährleisten.“
Nicht sehr originell oder überzeugend, würde ich behaupten.
Abgesehen davon, dass diese bösartigen LLMs nicht sehr gut sind, sind sie nicht gerade allgemein verfügbar. Die Entwickler von WormGPT und FraudGPT verlangen angeblich Dutzende bis Hunderte von Dollar für Abonnements der Tools und verbieten den Zugriff auf die Codebasen, was bedeutet, dass Benutzer nicht unter die Haube blicken können, um die Modelle selbst zu ändern oder zu verbreiten.
FraudGPT wurde in letzter Zeit noch schwieriger zu bekommen, nachdem die Threads des Erstellers aus einem beliebten Dark-Web-Forum wegen Verstoßes gegen dessen Richtlinien entfernt wurden. Jetzt müssen Benutzer den zusätzlichen Schritt unternehmen, den Ersteller über die Messaging-App Telegram zu kontaktieren.
Die Erkenntnis ist, dass LLMs wie WormGPT und FraudGPT möglicherweise sensationelle Schlagzeilen erzeugen – und, ja, Malware. Aber sie werden definitiv nicht zum Untergang von Unternehmen oder Regierungen führen. Könnten sie es Betrügern mit begrenzten Englischkenntnissen theoretisch ermöglichen, gezielte Geschäfts-E-Mails zu generieren, wie die Analyse von SlashNext nahelegt? Womöglich. Aber realistischer ist, dass sie höchstens ein schnelles Geld für die Leute (Betrüger?) einbringen, die sie gebaut haben.