Dieser neue KI-Wurm kann E-Mail-Assistenten nutzen, um sensible Daten zu stehlen. So funktioniert er |

earthpressnews
Dieser neue KI Wurm kann E Mail Assistenten nutzen um sensible Daten zu
Eine Gruppe von Forschern hat einen Prototyp entwickelt KI-Wurm angerufen Morris II. Den Forschungsberichten zufolge (entdeckt von Wired) kann dieser KI-Wurm der ersten Generation Daten stehlen und verbreiten Schadsoftware Und Spam Benutzer durch KI-gestützte E-Mail-Assistenten. Es ist jedoch wichtig zu beachten, dass diese Forschung in einer kontrollierten Umgebung durchgeführt wurde und der Wurm nicht in der realen Welt eingesetzt wurde. Diese Entwicklung verdeutlicht jedoch die potenziellen Schwachstellen in generative KI-Modelle und betont die Notwendigkeit strenger Sicherheitsmaßnahmen.

Was die Forscher zum KI-Wurm sagen

Das Forschungsteam, bestehend aus Ben Nassi von Cornell Tech, Stav Cohen vom Israel Institute of Technology und Ron Bitton von Intuit, benannte den Wurm nach dem ursprünglichen Morris-Wurm. Dieser berüchtigte Computerwurm wurde 1988 freigesetzt. Im Gegensatz zu seinem Vorgänger zielt Morris II auf KI-Apps ab, insbesondere auf solche, die große Sprachmodelle (LLMs) wie verwenden Zwillinge ProChatGPT 4.0 und LLaVA, um Text und Bilder zu generieren.
Der Wurm verwendet eine Technik namens „kontroverse, sich selbst reproduzierende Eingabeaufforderungen.“ Wenn diese Eingabeaufforderungen in das LLM eingespeist werden, verleiten sie das Modell dazu, sie zu replizieren und böswillige Aktionen auszulösen. Dazu gehört: Die Forscher beschrieben: „Die Studie zeigt, dass Angreifer solche Eingabeaufforderungen in Eingaben einfügen können, die bei der Verarbeitung durch GenAI-Modelle das Modell dazu veranlassen, die Eingabe als Ausgabe zu replizieren (Replikation) und böswillige Aktivitäten auszuführen (Nutzlast). Darüber hinaus zwingen diese Eingaben den Agenten dazu, sie an neue Agenten weiterzugeben (zu verbreiten), indem er die Konnektivität innerhalb des GenAI-Ökosystems nutzt. Wir demonstrieren die Anwendung von Morris II gegen GenAI-basierte E-Mail-Assistenten in zwei Anwendungsfällen (Spamming und Exfiltration persönlicher Daten), unter zwei Einstellungen (Black-Box- und White-Box-Zugriffe) und unter Verwendung von zwei Arten von Eingabedaten (Text und Bilder). .“
Die Fähigkeiten des Wurms konnten die Forscher in zwei Szenarien erfolgreich demonstrieren:

  • Spam: Morris II generierte und versendete Spam-E-Mails über den kompromittierten E-Mail-Assistenten.
  • Datenexfiltration: Der Wurm extrahierte sensible persönliche Daten aus dem infizierten System.

Die Forscher sagten, dass KI-Würmer wie dieser Cyberkriminellen dabei helfen können, vertrauliche Informationen wie Kreditkartendaten, Sozialversicherungsnummern und mehr zu extrahieren. Sie haben auch ein Video auf YouTube hochgeladen, um zu erklären, wie der Wurm funktioniert:

ComPromptMized: Freisetzung von Zero-Click-Würmern, die auf GenAI-basierte Anwendungen abzielen

Was KI-Unternehmen über den Wurm sagen

In einer Erklärung, an OpenAI Ein Sprecher sagte: „Sie scheinen einen Weg gefunden zu haben, Sicherheitslücken vom Typ „Prompt-Injection“ auszunutzen, indem sie sich auf Benutzereingaben verlassen, die nicht überprüft oder gefiltert wurden.“
Der Sprecher sagte, dass das Unternehmen seine Systeme widerstandsfähiger mache und fügte hinzu, dass Entwickler Methoden verwenden sollten, die sicherstellen, dass sie nicht mit schädlichen Eingaben arbeiten.
In der Zwischenzeit, Google weigerte sich, sich zu der Forschung zu äußern.

toi-tech