KI-Systeme im Fadenkreuz von Cyberkriminellen
Die rasante Weiterentwicklung von KI-Anwendungen bringt neben vielen Vorteilen auch neue Herausforderungen für die IT-Sicherheit. Denn diese KI-Modelle bieten leider auch Cyberkriminellen einige neue Angriffsflächen
Die Vorteile, die Anwendungen von künstlicher Intelligenz (KI) für Unternehmen, Wissenschaft & Forschung, Mobilitäts- und Verwaltungsinfrastrukturen und vieles mehr bringen können, sind derzeit in aller Munde: Effizienzsteigerungen, Zeitersparnis, optimierte Entscheidungsfindungen, mehr Genauigkeit, weniger Fehler ...
.Doch hat die KI-Medaille auch ihre Kehrseite: Neben gesellschaftlichen Fragen rund um Technologieabhängigkeit, Privatsphäre, Datenschutz sowie strukturelle Veränderungen auf den Arbeitsmärkten stellen KI-Modelle auch jene, die mit ihnen arbeiten, vor neue Herausforderungen. Denn längst haben Cyberkriminelle – die übrigens auch schon KI-Systeme für ihre Beutezüge trainieren – erkannt, dass KI-Anwendungen, z. B. in Unternehmen, ihnen viele neue Angriffsflächen bieten.
Die rapide Entwicklung von KI-Technologien, insbesondere von Large Language Models (LLMs), erzeugt tiefgreifende Veränderungen in der Art, wie der Mensch mit seinen Maschinen interagiert. Denn diese können heute schon weit mehr als nur Textantworten erzeugen. Sie können eigenständig entscheiden und autonom mit anderen Systemen interagieren. Doch gerade diese beeindruckenden Fähigkeiten sind auch mit vielen neuen Herausforderungen hinsichtlich KI-Sicherheit verbunden. Schwachstellen in KI-Systemen findet man entlang der gesamten KI-Software-Lieferkette, auf den Ebenen der KI-Architektur sowie auf den Daten- und Nutzerebenen.
Schwachstelle Zugriff
Sind die Kontrollen des Zugriffs auf ein KI-System schwach oder fehlen überhaupt, dann können LLMs z. B. das Ziel für böswillige Anfragen oder für eine Remote-Code-Ausführung werden. Darunter versteht man einen Cyberangriff, bei dem ein Angreifer Schadcode auf den Computern oder im Netzwerk eines Unternehmens ausführen kann. Erhebliche Risiken entstehen auch, wenn die Ausgaben von LLMs ungeprüft in andere Systeme wie Web-Anwendungen oder Datenbanken einfließen. Auf diese Weise können Cyberkriminelle Backend-Systeme von Unternehmen, also deren Datenverwaltung und -verarbeitung, angreifen. Ein typisches Angriffsszenario ist das sogenannte Cross-Site Scripting, mit dem Angreifer:innen u. a. unbefugte Aktionen im Namen des Opfers oder auch Phishing-Angriffe durchführen können.
Schwachstelle Daten
In diese Kategorie fallen die KI-Schwachstellen Prompt Injection und Daten-Vergiftung. Mit gezielten Eingaben (Prompts) können Cyberkriminelle das LLM dazu bringen, schädliche Inhalte zu erzeugen, sensible Daten preiszugeben oder sein Verhalten zu ändern. Wenn ein Angreifer eine KI dazu bringt, gegen ihre eigenen Sicherheitsregeln zu verstoßen, spricht man von Jailbreaking.
Beim Data Poisoning werden die Trainingsdaten eines LLMs verändert oder manipuliert, um das KI-Modell zu steuern. 2016 wurde z. B. ein Microsoft-Chatbot (das ist ein virtueller Assistent mit KI-Unterstützung) durch gezielte Eingabe rassistischer und beleidigender Kommentare so „vergiftet“, dass er selbst solche Inhalte produzierte.
Gut zu wissen: Generative KI
Generative KI ist eine Form der künstlichen Intelligenz, die in der Lage ist, neue Inhalte wie Texte, Bilder, Musik und sogar Videos zu erschaffen, indem sie die ihnen zugrunde liegenden Muster aus bereits vorhandenen Datenbeständen erlernt.
Schwachstelle Ausgabe
Hat ein LLM, z. B. durch unzureichende und/oder fehlerhafte Trainingsdaten, zu wenige Informationen, um eine Frage richtig zu beantworten, dann neigt es zum sogenannten „Halluzinieren“. Das heißt, es kann Ausgaben erzeugen, die zwar plausibel erscheinen, aber sachlich falsch, unsinnig, aber manchmal auch kompromittierend sind. KI-generierte Ausgaben ungeprüft zu veröffentlichen, kann daher für ein Unternehmen zu erheblichen Reputationsschäden führen.
Gut zu Wissen: Large Language Model (LLM)
Ein Large Language Model (LLM – übersetzt „großes Sprachmodell“) ist eine KI, die Techniken des Machine Learnings nutzt, um Text verstehen und analysieren zu können. Sie ist, einfach gesagt, eine „Wahrscheinlichkeitsmaschine“, die bei der Beantwortung von Fragen berechnet, welches Wort oder welcher Satz als Nächstes folgen sollte. Die Berechnung basiert auf Milliarden von Trainingsdaten sowie komplexer Mathematik.
Zum Trainieren eines LLMs werden u. a. Webseiten, Bücher und Fachartikel, Forenbeiträge und Kundenfeedback, Programmiercodes sowie Millionen von Gesprächen herangezogen. Dabei liest das LLM diese Texte nicht, sondern erkennt und speichert deren Muster. Das heißt, es merkt sich nicht, was konkret in einem Text steht, sondern wie dessen Sprache aufgebaut ist.
Beispiel: Mensch versus LLM
„Die Sonne geht unter im ...“
Der Mensch denkt: „Ich weiß aus meinem geografischen Schulwissen und aus meiner Erfahrung: Die Sonne geht unter im Westen.“
Ein LLM rechnet: „In meinen Millionen Trainings-Textdaten folgt nach ,Sonne geht im unter im …‘ am häufigsten das Wort ,Westen‘. Also wähle ich Westen.“
Wie kann man KI-Anwendungen schützen?
Schwachstellen eines KI-Modells sind seine Software-Lieferkette sowie die Ebenen seiner Architektur. Kritische Angriffspunkte sind auch die Daten- und Nutzer-Ebene. Bei der KI-Absicherung muss daher immer das Gesamtsystem betrachtet werden:
Zero-Trust-Strategie: Dabei werden u. a. KI-Systeme in isolierten Umgebungen ausgeführt („Sandboxing“) – mit strengen Zugangskontrollen. Promptfilter erkennen bösartige Eingaben, Outputfilter stellen sicher, dass keine gefährlichen KI-Ausgaben weitergegeben werden.
Data Security Posture Management: Sensible Daten müssen sauber von gemeinschaftlich zugänglichen Daten getrennt werden. Ein sorgfältiges Rechtemanagement, strenge Zugriffskontrollen und ein kontinuierliches Monitoring minimieren Datenrisiken.
XDR (Extended Detection and Response): Unter XDR versteht man ein kontinuierliches Monitoring, um verdächtiges Verhalten schnell aufdecken und stoppen zu können.
KI Security Policy: Ein Unternehmen braucht klare Richtlinien für den KI-Einsatz. Schulungen für Mitarbeitende schaffen ein Bewusstsein für KI-Risiken
OWASP und die Top-10-Risiken für LLM-Anwendungen und generative KI
OWASP – Open Worldwide Application Security Projekt – ist eine Non-Profit-Organisation, die die Sicherheit von Anwendungen, Diensten und Software verbessern möchte. 2023 startete sie ein Generative-AI-Security-Projekt, um die Risiken im Zusammenhang mit künstlicher Intelligenz – für Large Language Models (LLM) sowie generative KI – zu klassifizieren.
1. Prompt Injection: Hacker tarnen dabei böswillige Eingaben (Prompts) als legitime Prompts und manipulieren Systeme für generative KI so, dass diese vertrauliche Daten preisgeben, Fehlinformationen verbreiten etc.
2. Sensitive Information Disclosure: Darunter versteht man die Preisgabe vertraulicher Daten, Algorithmen oder anderer sensibler Informationen durch ein LLM.
3. Schwachstellen in der Software-Lieferkette des LLMs können Ziele für Angriffe, z. B. auf Trainingsdaten, sein.
4. (Trainings-)Daten-Vergiftung: Data Poisoning manipuliert z. B. das Vortraining des LLMs oder stört die Bedeutungserkennung von Wörtern.
5.Unsichere Ausgaben: Werden KI-Ausgaben vor der Weitergabe an nachgelagerte Systeme nicht validiert/bereinigt, können Angriffe (z. B. Cross-Site Scripting) die Folge sein.
6. Übermäßige Handlungsfreiheit („Excessive Agency“) bedeutet, dass ein LLM ein Übermaß an Autonomie, Fähigkeiten oder Zugriffsrechten hat.
7. System Prompt Leakage ist die unbeabsichtigte Preisgabe der Konfigurationsdaten eines LLMs durch einen Benutzer-Prompt.
8. Unsichere Plug-ins: Schwachstellen rund um Plug-ins können zur Manipulation von LLM-Ausgaben oder zu unbefugtem Zugriff führen.
9. Übermäßiges Vertrauen in die KI: LLMs können falsche oder irreführende Inhalte (Halluzinationen) erzeugen, die u. a. zu Reputationsschäden führen.
10. Model Theft: Darunter versteht man den Diebstahl eines bereits trainierten Machine-Learning-Modells.
