Wo Cyberkriminelle mit KI an Grenzen stossen

"Einfach mal ausprobieren!" – dürfte die Tage einer der meist gehörten Ratschläge in Sachen generativer künstlicher Intelligenz (GenAI) sein. Auch Cyberkriminelle scheinen sich diesen Tipp zu Herzen zu nehmen, wie eine Untersuchung der Google Threat Intelligence Group (GTIG) zeigt. Darin beschreiben die Experten, wie bösartige Hacker KI für ihre kriminellen Machenschaften nutzen. Für ihre Untersuchung werteten sie tatsächlich erfolgte Interaktionen in der Web-Applikation von Googles eigener KI Gemini aus.

Aus ihren Beobachtungen schliessen die GTIG-Forschenden, dass Bedrohungsakteure mit Gemini experimentieren, um ihre Operationen zu unterstützen, wie das zu Google gehörende Cybersecurity-Unternehmen Mandiant in einer Mitteilung zusammenfasst. Sie werden dadurch produktiver, entwickeln aber noch keine neuen Fähigkeiten. Derzeit nutzen sie KI hauptsächlich für die Recherche, die Fehlersuche im Code und die Erstellung und Lokalisierung von Inhalten.

Sicherheitsmechanismen greifen

Etwas konkreter stellten die Forschenden ein paar Unterschiede in der KI-Nutzung fest. So nutzten APT (Advanced Persistent Threat)-Akteure die künstliche Intelligenz zur Unterstützung mehrerer Phasen des Angriffslebenszyklus. Dazu gehören die Erforschung potenzieller Infrastrukturen und kostenloser Hosting-Anbieter, die Recherche über Zielorganisationen, die Erforschung von Schwachstellen, die Entwicklung von Nutzdaten und die Unterstützung bei bösartigen Skripten und Umgehungstechniken. Dabei seien iranische APT-Akteure die stärksten Nutzer von Gemini gewesen, merkt Mandiant an. Dagegen hätten russische Akteure die KI nur in begrenztem Umfang verwendet.

IO (Information Operations)-Akteure nutzten Gemini für Recherchen und die Erstellung von Inhalten. Dazu gehören die Entwicklung von Personas und Botschaften, die Übersetzung und Lokalisierung von Inhalten sowie die Suche nach Möglichkeiten zur Erhöhung ihrer Reichweite. Auch hier waren iranische IO-Akteure die stärksten Nutzer von Gemini. Auf sie entfielen nämlich drei Viertel der gesamten Nutzung durch IO-Akteure, wie Mandiant zusammenfasst. Zudem beobachteten die Experten, dass chinesische und russische IO-Akteure Gemini hauptsächlich für allgemeine Recherchen und die Erstellung von Inhalten nutzten.

Während die Google-Ki die bösartigen Hacker bei allgemeinen Aufgaben - der Erstellung von Inhalten, Zusammenfassungen, der Erläuterung komplexer Konzepte oder bei einfachen Codierungsaufgaben – bereitwillig unterstützte, setzte sie laut dem Bericht auch Grenzen: Anfragen "nach aufwändigeren oder explizit bösartigen Aufgaben" lösten eine Sicherheitsreaktion bei Gemini aus. Diese Sicherheitsmassnahmen verhinderten somit die Erstellung von Inhalten, die die Fähigkeiten der Bedrohungsakteure massgeblich verbessern würden, schreibt Mandiant.

Auf Granit bissen die Cybergauner auch beim Versuch, Gemini für den Missbrauch von Google-Produkten zu nutzen, wie es weiter heisst. Demnach versuchten die Hacker etwa, mit KI-Techniken Gmail-Phishing zu erforschen, Datendiebstahl zu begehen, einen Chrome-Infostealer zu programmieren oder Googles Kontoverifizierungsmethoden zu umgehen.

Dagegen beobachteten die Forschenden keine anhaltenden Versuche von Bedrohungsakteuren, Prompt-Angriffen oder anderen auf maschinelles Lernen ausgerichteten Bedrohungen. Anstatt massgeschneiderte Prompts zu entwickeln, nutzten die Bedrohungsakteure einfachere Massnahmen oder öffentlich verfügbare Jailbreak-Prompts, mit denen sie aber an den Sicherheitskontrollen des KI-Tools scheiterten.

In einer anderen Studie untersuchte Cisco Talos, wie KI-Modelle wie ChatGPT Security-Teams bei der Abwehr von Cyberangriffen unterstützen können. Erste Ergebnisse zeigen Potenziale, aber auch klare Einschränkungen, wie Sie hier lesen können.

Wenn Sie mehr zu Cybercrime und Cybersecurity lesen möchten, melden Sie sich hier für den Newsletter von Swisscybersecurity.net an. Auf dem Portal lesen Sie täglich News über aktuelle Bedrohungen und neue Abwehrstrategien.