KI-Systeme im Fadenkreuz von Cyberkriminellen

Die Vorteile, die Anwendungen von künstlicher Intelligenz (KI) für Unternehmen, Wissenschaft & Forschung, Mobilitäts- und Verwaltungsinfrastrukturen und vieles mehr bringen können, sind derzeit in aller Munde: Effizienzsteigerungen, Zeitersparnis, optimierte Entscheidungsfindungen, mehr Genauigkeit, weniger Fehler ...

.Doch hat die KI-Medaille auch ihre Kehrseite: Neben gesellschaftlichen Fragen rund um Technologieabhängigkeit, Privatsphäre, Datenschutz sowie strukturelle Veränderungen auf den Arbeitsmärkten stellen KI-Modelle auch jene, die mit ihnen arbeiten, vor neue Herausforderungen. Denn längst haben Cyberkriminelle – die übrigens auch schon KI-Systeme für ihre Beutezüge trainieren – erkannt, dass KI-Anwendungen, z. B. in Unternehmen, ihnen viele neue Angriffsflächen bieten.

Die rapide Entwicklung von KI-Technologien, insbesondere von Large Language Models (LLMs), erzeugt tiefgreifende Veränderungen in der Art, wie der Mensch mit seinen Maschinen interagiert. Denn diese können heute schon weit mehr als nur Textantworten erzeugen. Sie können eigenständig entscheiden und autonom mit anderen Systemen interagieren. Doch gerade diese beeindruckenden Fähigkeiten sind auch mit vielen neuen Herausforderungen hinsichtlich KI-Sicherheit verbunden. Schwachstellen in KI-Systemen findet man entlang der gesamten KI-Software-Lieferkette, auf den Ebenen der KI-Architektur sowie auf den Daten- und Nutzerebenen.

Schwachstelle Zugriff

Sind die Kontrollen des Zugriffs auf ein KI-System schwach oder fehlen überhaupt, dann können LLMs z. B. das Ziel für böswillige Anfragen oder für eine Remote-Code-Ausführung werden. Darunter versteht man einen Cyber­angriff, bei dem ein Angreifer Schadcode auf den Computern oder im Netzwerk eines Unternehmens ausführen kann. Erhebliche Risiken entstehen auch, wenn die Ausgaben von LLMs ungeprüft in andere Systeme wie Web-Anwendungen oder Datenbanken einfließen. Auf diese Weise können Cyberkriminelle Backend-Systeme von Unternehmen, also deren Datenverwaltung und -verarbeitung, angreifen. Ein typisches Angriffsszenario ist das sogenannte Cross-Site Scripting, mit dem Angreifer:innen u. a. unbefugte Aktionen im Namen des Opfers oder auch Phishing-Angriffe durchführen können.

Schwachstelle Daten

In diese Kategorie fallen die KI-Schwachstellen Prompt Injection und Daten-Vergiftung. Mit gezielten Eingaben (Prompts) können Cyberkriminelle das LLM dazu bringen, schädliche Inhalte zu erzeugen, sensible Daten preiszugeben oder sein Verhalten zu ändern. Wenn ein Angreifer eine KI dazu bringt, gegen ihre eigenen Sicherheitsregeln zu verstoßen, spricht man von Jailbreaking.

Beim Data Poisoning werden die Trainingsdaten eines LLMs verändert oder manipuliert, um das KI-Modell zu steuern. 2016 wurde z. B. ein Microsoft-Chatbot (das ist ein virtueller Assistent mit KI-Unterstützung) durch gezielte Eingabe rassistischer und beleidigender Kommentare so „vergiftet“, dass er selbst solche Inhalte produzierte.

Schwachstelle Ausgabe

Hat ein LLM, z. B. durch unzureichende und/oder fehlerhafte Trainingsdaten, zu wenige Informationen, um eine Frage richtig zu beantworten, dann neigt es zum sogenannten „Halluzinieren“. Das heißt, es kann Ausgaben erzeugen, die zwar plausibel erscheinen, aber sachlich falsch, unsinnig, aber manchmal auch kompromittierend sind. KI-generierte Ausgaben ungeprüft zu veröffentlichen, kann daher für ein Unternehmen zu erheblichen Reputationsschäden führen.

Wie kann man KI-Anwendungen schützen?

Schwachstellen eines KI-Modells ­sind seine ­Software-Lieferkette sowie die Ebenen seiner Architektur. Kritische Angriffspunkte sind auch die Daten- und Nutzer-Ebene. Bei der KI-Absicherung muss daher immer das Gesamt­system betrachtet werden:

Zero-Trust-Strategie: Dabei werden u. a. KI-Systeme in ­isolierten Umgebungen ausgeführt („Sandboxing“) – mit strengen Zugangskon­trollen. Promptfilter erkennen bösartige Eingaben, Outputfilter ­stellen sicher, dass keine gefährlichen KI-Ausgaben weiter­gegeben werden.

Data Security Posture Management: Sensible Daten müssen sauber von gemeinschaftlich zugänglichen Daten getrennt werden. Ein sorgfältiges Rechte­management, strenge Zugriffskontrollen und ein kontinuierliches Monitoring minimieren Datenrisiken.

XDR (Extended Detection and Response): Unter XDR versteht man ein kontinuierliches Monitoring, um verdächtiges Verhalten schnell aufdecken und stoppen zu können.

KI Security Policy: Ein Unternehmen braucht klare Richtlinien für den KI-Einsatz. Schulungen für Mitarbeitende schaffen ein Bewusstsein für KI-Risiken

Bei der Absicherung von KI muss immer das Gesamtsystem betrachtet werden © Adobestock/Visionary

OWASP und die Top-10-Risiken für LLM-Anwendungen und generative KI

OWASP – Open Worldwide Application Security Projekt – ist eine Non-­Profit-Organisation, die die Sicherheit von Anwendungen, Diensten und Software verbessern möchte. 2023 startete sie ein Generative-AI-Security-­Projekt, um die Risiken im Zusammenhang mit ­künstlicher Intelligenz – für Large ­Language Models (LLM) sowie generative KI – zu klassifizieren.

1. Prompt Injection: Hacker tarnen dabei böswillige Eingaben (Prompts) als legitime Prompts und manipulieren Systeme für generative KI so, dass diese vertrauliche Daten preisgeben, Fehlinformationen verbreiten etc.

2. Sensitive Information Disclosure: Darunter versteht man die Preisgabe vertraulicher Daten, Algorithmen oder anderer sensibler Informationen durch ein LLM.

3. Schwachstellen in der Software-­Lieferkette des LLMs können Ziele für Angriffe, z. B. auf Trainingsdaten, sein.

4. (Trainings-)Daten-Vergiftung: Data Poisoning manipuliert z. B. das Vortraining des LLMs oder stört die Bedeutungs­erkennung von Wörtern.

5.Unsichere Ausgaben: Werden KI-Ausgaben vor der Weitergabe an nachgelagerte Systeme nicht validiert/bereinigt, können Angriffe (z. B. Cross-Site Scripting) die Folge sein.

6. Übermäßige Handlungsfreiheit („Excessive Agency“) bedeutet, dass ein LLM ein Übermaß an Autonomie, Fähigkeiten oder Zugriffsrechten hat.

7. System Prompt Leakage ist die unbeabsichtigte Preisgabe der ­Konfigurationsdaten eines LLMs durch einen Benutzer-Prompt.

8. Unsichere Plug-ins: Schwachstellen rund um Plug-ins können zur Manipulation von LLM-Ausgaben oder zu unbefugtem Zugriff führen.

9. Übermäßiges Vertrauen in die KI: LLMs können falsche oder irreführende Inhalte (Halluzinationen) erzeugen, die u. a. zu Reputationsschäden führen.

10. Model Theft: Darunter versteht man den Diebstahl eines bereits trainierten Machine-Learning-Modells.