Wie Künstliche Intelligenz die Cybersicherheit beeinflusst

Künstliche Intelligenz und Maschinelles Lernen: Grundlagen und Anwendungen

Die Begriffe KI und als Teilbereich davon Maschinelles Lernen (ML) decken ein grosses Forschungsgebiet ab, das ein Teil von Computer Science ist und mit der Operationsforschung verwandt ist. Bei KI handelt es sich im Kern um einen Ansatz, mit dem Maschinen intelligentes, menschliches Verhalten imitieren, indem Informationen in Eingabedaten erkannt und sortiert werden. Diese Intelligenz kann auf programmierten Abläufen basieren oder durch ML erzeugt werden. Bei ML handelt es sich um eine Methode (mathematische Modelle und Algorithmen) zur Vorhersage von Ereignissen, basierend auf erkannten Mustern aus vorhandenen Datensätzen. Die Möglichkeiten der künstlichen Intelligenz und der Automatisierung von Entscheiden bzw. Handlungen werden für die digitale Gesellschaft und Industrie immer wichtiger. Um kritische Entscheidungen zu treffen und Prozesse sowie Entscheidungsabläufe zu automatisieren, sind wir zunehmend von der Fähigkeit der KI zur eigenständigen Beurteilung und Handlung abhängig. Sie ermöglicht es uns, aus früheren Erfahrungen zu lernen, Schlussfolgerungen zu ziehen, Zusammenhänge zu entdecken und komplexe Daten zu klassifizieren. 

Bedeutung, Chancen und Herausforderungen für die Schweiz

Neben der Möglichkeit, Abläufe zu automatisieren und somit eine Steigerung der Effizienz zu bewirken, ermöglicht die KI auch eine Steigerung der Qualität der getroffenen Entscheidungen: im Vergleich zu einem rein manuellen Vorgehen zeigt sich, dass beispielsweise medizinische Entscheide von höherer Güte sein können und somit zur Steigerung der Lebenserwartung führen.

Im Bereich der Cybersicherheit erlaubt der Einsatz von KI, Angriffe besser zu erkennen, indem grosse Datenmengen verarbeitet und auf ungewöhnliche Muster hin überprüft werden. Jedoch ermöglicht die gleiche Technologie es den Angreifern auch, Muster und Schwächen in komplexen Systemen zu erkennen und diese automatisiert auszunutzen. 

Mit der zunehmenden Digitalisierung aller Lebensbereiche sowie der grösseren Verfügbarkeit von Daten steigt die Bedeutung von KI, weshalb die Technologie auch für die Schweiz von grosser Wichtigkeit ist. Weil wir in dieser Disziplin eher noch in den Anfängen der zu erwarteten Entwicklung stehen – wir betreiben aktuell vor allem den Teilbereich des "Machine Learning" beispielsweise für die automatisierte Erkennung von Bildinhalten – kann mit den steigenden Fähigkeiten auch der zu erwartende Einfluss auf verschiedene Technologiebereiche noch deutlich steigen. KI bringt neben grossem Potenzial auch komplexe ethische Fragen mit sich, die zwingend beachtet und mit flankierenden Massnahmen versehen werden müssen.

Wenn Angreifer Methoden und Werkzeuge der KI ausnutzen

Die Durchdringung der KI führt u.a. auch zum Phänomen der "Adversarial Artificial Intelligence", bei der Angreifer Methoden und Werkzeuge der KI ausnutzen, um 

• sich in Gebrauch befindliche KI-Modelle zu kompromittieren
• Mit Deepfakes und Advanced Persistent Threats (APTs) Elemente von Angriffen zu skalieren und zu automatisieren, die vorher unmöglich waren (Deepfakes) oder stark auf manuellen Prozessen beruhten.

AAI führt in ersten obigem Fall dazu, dass Modelle des Maschinellen Lernens gegebene Eingaben falsch interpretieren und sich in einer für den Angreifer günstigen Weise verhalten. Um das Verhalten eines Modells zu kompromittieren, erstellen Angreifer "gegnerische Daten", also Daten mit einer Art Hintertür, die oft den zu erwartenden Eingaben ähneln, aber die Leistung des Modells beeinträchtigen oder die Ausgabe des Modells im Sinne des Angreifers verändern. KI-Modelle klassifizieren dann diese gegnerischen Daten entgegen der erwarteten Weise und liefern mit hoher Genauigkeit inkorrekte Antworten. Verschiedene KI-Modelle, einschliesslich hochmoderner neuronaler Netze, sind anfällig für solche gegnerischen Daten. Die günstiger werdende Rechenleistung und die steigende Fülle der gesammelten Daten führen dazu, dass immer komplexere KI-Modelle entwickelt werden, bei denen sich viele Verhaltensweisen jedem umfassenden menschlichen Verständnis und — spätestens ab der Kategorie "Deep Learning" — immer mehr der Nachvollziehbarkeit und der menschlichen Kontrolle entziehen. So zeigt ein aktuelles Forschungspapier, dass in trainierte Modelle Hintertüren so eingebaut werden können, dass diese aufgrund des Standardverhaltens des Modells nicht erkennbar sind, jedoch bei gezielter Aktivierung ein gesondert spezifiziertes Verhalten zeigen. Dies würde es den Urhebern erlauben, ein System des Maschinellen Lernens mit spezifisch manipulierten Inputs zu einer von ihnen gewünschten Entscheidung zu veranlassen. Die Hintertüren könnten auch mit noch so vielen Tests nicht entdeckt werden.

Relevante Risikoszenarien

Manipulative Angriffe auf Schlüsseltechnologien wie Bildverarbeitung, optische Zeichenerkennung (OCR), Verarbeitung natürlicher Sprache (NLP), Sprache und Video (Deepfakes) sowie Erkennung von Malware wurden bereits nachgewiesen.

Beispiele für weitere AAI-Bedrohungen

1. Deepfakes und Face Swapping (Gesichtsausdruck oder nur das Gesicht einer Person auf eine andere übertragen durch computergenerierte Manipulation) in Videos unter Verwendung von maschinellen Lernalgorithmen. Deepfake-Dienste werden online bereits für wenige Dollar angeboten. Wie Europol kürzlich vermeldet hat, werden Deepfakes bei Kriminellen ein immer beliebteres Werkzeug und es ist mit einer Zunahme dieser Gefährdung zu rechnen, um Desinformationskampagnen durchzuführen. Viele Dienste sind in Echtzeit verfügbar, was die Grenze der Machbarkeit vom statischen Bild und aufgezeichneten Video hin zu dynamischen Videokonferenzen verschiebt. 
2. Bilderkennung/Klassifizierung im Bereich des autonomen Fahrens, z.B. Fehlinterpretation von Strassenschildern oder Hindernissen.
3. Manipulation der Texterkennung in automatisierten Dienstleistungen der Dokumenten- oder Zahlungsverarbeitung. 
4. Fähigkeit, AI-gesteuerte Betrugserkennungs- und Kontrollmechanismen zu umgehen und zu industrialisieren (mittels KI-automatisierter und industrialisierter APT).
5. Böswillige Beeinflussung von AI-Modellen zur Begünstigung oder Diskreditierung bestimmter Gruppen.

Anwendungen auf Manipulation kontrollieren

Aktuell sind noch zahlreiche strategische Fragestellungen unbeantwortet, die im Zusammenhang mit kritischen Abhängigkeiten stehen: 

• Inwiefern sollten Anwendungen der KI in kritischen Infrastrukturen oder mit breiter gesellschaftlicher Relevanz in der Schweiz auf deren rechtmässige Ausführung oder auf Manipulation kontrolliert werden (v.a. in Bezug auf Ethik, Datenschutz, Transparenz und AAI, Qualität von Trainingsdatensätzen, etc.)?
• Welche Entwicklung zeichnet sich bzgl. Einsatz von AAI in der Cyberkriminalität ab und wie muss die Schweiz eine solchen Entwicklung in der Cybersicherheit antizipieren und darauf reagieren?
• Welche proaktiven und reaktiven Strategien gibt es in der Schweiz, um reisistenter gegenüber AAI zu werden?

So kann die Schweiz robuster gegenüber AAI werden

AAI zielt auf Bereiche der Angriffsfläche, die wir noch nie zuvor gesichert haben: Die KI-Modelle selbst. Die Experten des SATW Advisory Boards Cybersecurity empfehlen die Umsetzung folgender Massnahmen:

1. Die mit KI-Modellen sowie KI-gesteuerter Automatisierung und Entscheidungsfindung verbundenen Risiken müssen Teil der Risikobewertung der kritischen Infrastrukturen sein.
2. Es muss ein Verständnis dafür entwickelt werden, wo die sich entwickelnden AAI-gesteuerten Bedrohungen zu neuen systemrelevanten Risiken führen können und wo entsprechend neue Schutzmechanismen entwickelt und eingesetzt werden müssen.
3. Die Robustheit von KI-Modellen (Widerstandsfähigkeit gegen Manipulation) muss als Entscheidungskriterium bei der Auswahl solcher Modelle berücksichtigt werden.
4. Bildungsorganisationen auf allen Ebenen müssen sicherstellen, dass sie über die erforderlichen Ausbildungsgänge und Talent-Pipeline verfügen, um das notwendige Know-how (KI, AAI, Einsatz von KI im Bereich Cybersicherheit) in der Schweiz aufzubauen und weiterzuentwickeln. Das SBFI muss entsprechende Anreize schaffen und steuern. 
5. Regulierung sollte jedoch zurückhaltend, technologieneutral und vertrauensbildend ausgestaltet sein, um Innovation nicht zu behindern.
6. Mit dem Einsatz von KI verknüpfte, ethische Fragen sollten bei allen Entscheiden gebührend berücksichtigt werden, um gesellschaftliches Vertrauen und Akzeptanz für die Anwendung dieser Technologien zu erreichen und zu fördern.

Anwendungen der KI durchdringen immer mehr Bereiche der Wirtschaft und Gesellschaft, in denen man sich einen ihrer Vorteile, aus Datensätzen Ergebnisse vorherzusagen, zu Nutze macht. Zahlreiche Anwendungen, sei es in der Medizin, im Verkehr oder in der Landwirtschaft beruhen auf KI und nicht selten sind kritische Infrastrukturen und sicherheitskritische Anwendungen betroffen. Aus diesem Grund und mit Blick auf die stark ansteigende Verbreitung des Einsatzes von immer leistungsfähigeren Algorithmen und Lösungen, ist das Thema KI und die sich daraus ergebenden Chancen und die negativen Konsequenzen in Form von AAI von grosser gesellschaftlicher und volkswirtschaftlicher Relevanz für die Schweiz. 

Verfasser:

• Themenverantwortung: Martin Leuthold
• Autoren: Karl Aberer, Umberto Annino, Alain Beuchat, Matthias Bossardt, Stefan Frei, Roger Halbheer, Hannes Lubich, Adrian Perrig, Raphael Reischuk, Bernhard Tellenbach, Daniel Walther, Andreas Wespi
• Redaktion: Nicole Wettstein

Weitere Quellen: 

• Explaining and Harnessing Adversarial Examples  
• What is adversarial artificial intelligence and why does it matter?
• Deepfakes Web