Wie Cyberkriminelle generative KI einsetzen
Anstatt grosse Sprachmodelle für kriminelle Zwecke zu entwickeln, begnügen sich Bedrohungsakteure damit, bestehende KI-Anwendungen zu missbrauchen. Auf den Marktplätzen der Cyberkriminellen tummeln sich Angebote wie Jailbreaking-as-a-Service und Deepfake-Dienste.
![(Source: Anthony Brown / stock.adobe.com)](https://d1leteosk75kgr.cloudfront.net/styles/np8_full/s3/media/2024/06/11/adobestock_299775896_preview.jpg?itok=ptiC1Dky)
Im vergangenen Jahr haben Cyberkriminelle zwar versucht, Large Language Models (LLMs) für zwielichtige Zwecke zu entwickeln - doch die Versuche liefen weitgehend ins Leere, wie der japanische Anbieter von Sicherheitslösungen Trend Micro feststellt. Stattdessen würden sich Bedrohungsakteure damit abfinden, bestehende Modelle zu jailbreaken, das heisst, sie mit Tricks dazu zu bringen, ihre Sicherheitsvorkehrungen zu umgehen.
Auf kriminellen Onlinemarktplätzen gibt es inzwischen Angebote wie Jailbreaking-as-a-Service. Hierbei nutzen Kriminelle raffinierte Techniken, um LLMs dazu zu bringen, Anfragen zu beantworten, die eigentlich blockiert werden sollten. Diese Techniken reichen von Rollenspielen über hypothetische Szenarien bis hin zur Nutzung fremder Sprachen. Anbieter wie OpenAI oder Google arbeiteten daran, diese Sicherheitslücken zu schliessen - Cyberkriminelle wiederum würden aus diesem Grund auf immer raffiniertere Jailbreaking-Prompts zurückgreifen. So sei ein Markt für eine neue Klasse von kriminellen Diensten in Form von Chatbot-Angeboten für Jailbreaking entstanden, teilt Trend Micro mit.
Auf Spurensuche im Untergrund
Der IT-Security-Dienstleister untersuchte kriminelle Untergrundforen, um herauszufinden, wie Cyberkriminelle KI tatsächlich nutzen. Man sei auch auf LLM-Angebote von Kriminellen für Kriminelle gestossen, darunter FraudGPT, DarkBARD, DarkBERT und DarkGPT. Diese würden viele Ähnlichkeiten mit den KI-Diensten von OpenAI und Google aufweisen. "Aus diesem Grund vermuten wir, dass sie höchstwahrscheinlich als Wrapper-Dienste für den legitimen ChatGPT oder Google BARD funktionieren – wir nennen sie Jailbreaking-as-a-Service-Dienste", sagt David Sancho, Senior Threat Researcher bei Trend Micro.
David Sancho, Senior Threat Researcher bei Trend Micro, an der Londoner IT-Security-Messe Cloudsec im Jahre 2017. (Source: Netzmedien)
Ebenfalls Gegenstand der Untersuchung waren andere, womöglich gefälschte kriminelle LLM-Angebote namens WolfGPT, XXXGPT und Evil-GPT. Zudem befassten sich die Trend-Micro-Forscher mit Deepfake-Diensten für Kriminelle. "Wir haben Preise und einige frühe Geschäftsmodelle rund um diese KI-gestützten gefälschten Bilder und Videos gesehen", sagt Sancho.
Kriminelle machen Kasse mit Deepfakes
Cyberkriminelle bieten mittlerweile Deepfake-Dienste an, um Systeme zur Identitätsüberprüfung zu umgehen. Besonders in der Finanzbranche werde dies zum Problem. Denn Banken und Kryptobörsen würden immer strengere Überprüfungen verlangen und Cyberkriminelle seien inzwischen in der Lage, gefälschte Bilder und Videos zu erstellen, die selbst fortgeschrittene Sicherheitssysteme täuschen könnten. Oftmals reiche schon ein gestohlenes Ausweisdokument, um ein überzeugendes Fake-Bild zu generieren, bemerkt Trend Micro.
Das Unternehmen zieht daraus den Schluss: Kriminelle finden immer neue Wege, um KI-Technologien zu missbrauchen. Und es sei nur eine Frage der Zeit, bis ernsthaftere Angriffe zu erwarten seien. Cyberkriminelle hätten gerade erst begonnen, an der Oberfläche der Möglichkeiten zu kratzen, die GenAI ihnen biete.
Für den Fall, dass Bedrohungsakteure im grossen Stil auf GenAI setzen, kommen gemäss Trend Micro drei grundlegende Regeln cyberkrimineller Geschäftsmodelle zum Tragen:
- Kriminelle wollen ein leichtes Leben: Ziel ist es, mit möglichst geringem Aufwand und niedrigem Risiko ein bestimmtes wirtschaftliches Ergebnis zu erreichen.
- Neue Technologien müssen besser sein als vorhandene Tools: Kriminelle übernehmen neue Technologien nur, wenn die Rendite höher ist als mit den bestehenden Methoden.
- Evolution statt Revolution: Kriminelle bevorzugen schrittweise Anpassungen statt umfassender Überarbeitungen, um neue Risikofaktoren zu vermeiden.
KI birgt übrigens auch Sicherheitsrisiken durch automatisierte Cyberangriffe oder durch die Umgehung von Sicherheitsmechanismen mittels Adversarial Artificial Intelligence - mehr darüber erfahren Sie im Fachbeitrag des Advisory Board Cybersecurity der SATW.
Wenn Sie mehr zu Cybercrime und Cybersecurity lesen möchten, melden Sie sich hier für den Newsletter von Swisscybersecurity.net an. Auf dem Portal lesen Sie täglich News über aktuelle Bedrohungen und neue Abwehrstrategien.
![Der fast vollständige Vorstand der SISA (v.l.): Simon Seebeck von Die Mobiliar, Katja Dörlemann von Switch, Rita Frei von Sunrise und Marcus Beyer von Swisscom. Nicht auf dem Foto: Fabian Ilg von der Schweizerischen Kriminalprävention. (Source: Netzmedien)](https://d1leteosk75kgr.cloudfront.net/styles/teaser_small/s3/media/2024/09/05/sisa_jubi_2024_vorstand.jpg?itok=44fVr9L5)
Die Swiss Internet Security Alliance feiert ihr 10-Jahr-Jubiläum
![(Source: zVg)](https://d1leteosk75kgr.cloudfront.net/styles/teaser_small/s3/media/2024/09/05/ausschnitt-bosa_logo.jpeg?itok=L177_lXR)
Best of Swiss Apps 2024 geht in die Verlängerung
![(Source: Coen Kaat / Netzmedien)](https://d1leteosk75kgr.cloudfront.net/styles/teaser_small/s3/media/2024/01/23/stillstandblog_0.png?itok=kxQFBMvg)
Die Malware, deren Namen nicht genannt werden darf, nistet sich in Google-Tabellen ein
![(Source: Artem / stock.adobe.com)](https://d1leteosk75kgr.cloudfront.net/styles/teaser_small/s3/media/2024/09/04/adobestock_316354557_preview.jpg?itok=kKV3nbmI)
UMB sucht neuen Informationssicherheits-Consultant
![(Source: Screenshot / https://www.youtube.com/watch?v=BhJfjm8qEYU)](https://d1leteosk75kgr.cloudfront.net/styles/teaser_small/s3/media/2024/09/04/esports_dota.jpg?itok=pCVG6lVI)
Die spektakuläre Flucht des E-Sport-Fans aus dem Office
![(Source: RitaE / Pixabay.com)](https://d1leteosk75kgr.cloudfront.net/styles/teaser_small/s3/media/2024/09/05/webclimb-2490783_12801.jpg?itok=58EUxtjr)
Das Netzmedien-Team schwingt sich in luftige Höhen
![(Source: Jcomp / Freepik.com)](https://d1leteosk75kgr.cloudfront.net/styles/teaser_small/s3/media/2024/09/05/webdata_security_10.jpg?itok=jTut-ukz)
Schweiz passt Regeln für Datenaustausch im Schengen-Raum an
![(Source: Screenshot / youtube.com/watch?v=UymlSE7ax1o&t=1s)](https://d1leteosk75kgr.cloudfront.net/styles/teaser_small/s3/media/2024/09/05/rowan_vs._captcha.png?itok=mzldHvjo)
Am I not human? Rowan gegen den Captcha-Test
![(Source: Sigtrix / Fotolia.com)](https://d1leteosk75kgr.cloudfront.net/styles/teaser_small/s3/media/2022/04/21/Sigtrix-Fotolia_6372372_M.jpg?itok=1S9TBOOg)
Cyberschwindler gaukeln Easypark-Rückerstattung vor
![(Source: pch.vector / Freepik)](https://d1leteosk75kgr.cloudfront.net/styles/teaser_small/s3/media/2024/09/04/4560_-_freepik_-_pch.vector_preview.jpg?itok=PwrRhbFQ)