KI-Würmer kriechen von einem System ins nächste

Forschende der Cornell Tech haben die Risiken von vernetzten und autonomen KI-Ökosystemen aufgezeigt. Sie entwickelten einen der angeblich ersten generativen KI-Würmer, der sich von einem System in ein anderes ausbreiten kann - und dabei womöglich Daten stehlen oder Malware einsetzen könnte, wie "Wired" berichtet.

"Das bedeutet im Grunde, dass man jetzt die Möglichkeit hat, eine neue Art von Cyberangriff durchzuführen, die es bisher noch nicht gegeben hat", zitiert das Portal Ben Nassi, einen der Forscher hinter der Entwicklung. Er und seine Forscherkollegen tauften den Wurm auf den Namen "Morris II", eine Anspielung auf einen Computerwurm, der in der 1980ern sein Unwesen trieb, wie es weiter heisst. In einem Forschungspapier, das "Wired" vorliegt, zeigen die Forscher, wie der KI-Wurm einen generativen KI-E-Mail-Assistenten angreifen kann, um Daten aus E-Mails zu stehlen und Spam-Nachrichten zu versenden - und dabei einige Sicherheitsvorkehrungen in ChatGPT und Gemini umgeht.

Um aufzuzeigen, wie der Wurm funktioniert, erstellten die Forschenden laut Bericht ein E-Mail-System mit Schnittstellen zu ChatGPT, Gemini und dem Open-Source-Modell LLaVA, das mit Hilfe der KI selbst Nachrichten senden und empfangen kann. Sie fanden dabei zwei Möglichkeiten, das System auszunutzen.

Textbasierter Prompt

In einem Fall hätten die Forscher als Angreifer eine E-Mail mit dem Prompt geschrieben, der die Datenbank eines E-Mail-Assistenten mit Retrieval-Augmented Generation (RAG) "vergiftet". Wenn die E-Mail von der RAG als Reaktion auf eine Benutzeranfrage abgerufen und an GPT-4 oder Gemini Pro gesendet wird, um eine Antwort zu erstellen, würde sie den GenAI-Dienst "jailbreaken" und schliesslich Daten aus den E-Mails stehlen. "Die generierte Antwort, die die sensiblen Benutzerdaten enthält, infiziert später neue Hosts, wenn sie zur Beantwortung einer an einen neuen Client gesendeten E-Mail verwendet und dann in der Datenbank des neuen Clients gespeichert wird", zitiert "Wired" den Forscher.

Prompt in einer Bilddatei

Bei der zweiten Methode sorge eben ein Bild mit dem "adversarial self-replicating prompt" dafür, dass der E-Mail-Assistent die Nachricht an andere weiterleitet. "Durch die Verschlüsselung des "adversarial self-replicating prompt" in das Bild kann jede Art von Bild, das Spam, missbräuchliches Material oder sogar Propaganda enthält, an neue Clients weitergeleitet werden, nachdem die erste E-Mail gesendet wurde", so Nassi.

Die Forschenden führten die Demonstration des KI-Wurms in einer kontrollierten Testumgebung durch. Dennoch warnen laut "Wired" mehrere Sicherheitsexperten, welche die Forschung überprüft haben, dass das zukünftige Risiko generativer KI-Würmer von Entwicklern ernst genommen werden sollte. Nassi und seine Kollegen rechnen in den nächsten zwei bis drei Jahren mit generativen KI-Würmern in freier Wildbahn.

Übrigens: Die Stanford University hat untersucht, wie sich KI-Chatbots in diplomatischen Konfliktsituationen verhalten würden. Demnach sollen sie sich jeweils für den Weg der grössten Eskalation entscheiden - mehr dazu lesen Sie hier.

Wenn Sie mehr zu Cybercrime und Cybersecurity lesen möchten, melden Sie sich hier für den Newsletter von Swisscybersecurity.net an. Auf dem Portal lesen Sie täglich News über aktuelle Bedrohungen und neue Abwehrstrategien.