Künstliche Intelligenz
Experten warnen vor KI-Würmern
Bild: eBlocker
07.03.2024 - Vor einer Malware warnt der KI-Experte Christian Bennefeld. Die Schadsoftware attackiert generative KI-Systeme und pflanzt sich Wurm-ähnlich fort - ganz ohne Nutzer-Interaktion. Er ist mit seiner Warnung nicht allein.
von Joachim Graf
Unter der Überschrift "ComPromptMized: Unleashing Zero-click Worms that Target GenAI-Powered Applications
" haben Stav Cohen vom israelischen Technion-Institute of Technology, Ron Bitton von Intuit und Ben Nassi von Cornell Tech ein Papier veröffentlicht, in dem sie beschreiben, wie sie einen Computerwurm entwickelt haben, der auf GenAI-gestützte Anwendungen abzielt. Den Wurm haben sie nach eigenen Angaben gegen GenAI-gestützte EMail-Assistenten in zwei Anwendungsfällen (Spamming und Exfiltration persönlicher Daten), unter zwei Einstellungen (Blackbox- und Whitebox-Zugriffe), mit zwei Arten von Eingabedaten (Text und Bilder) und gegen drei verschiedene GenAI-Modelle (Gemini Pro, ChatGPT 4.0 und LLaVA) laufen gelassen.
KI-Experte Christian Bennefeld
warnt: "Das Sicherheitsproblem entsteht immer dann, wenn KI-generierte Ausgaben wiederum als KI-Prompts verwendet werden." RAG-Applikationen genauso wie KI-Agenten seien damit besonders leicht verwundbar.
Die Forschenden zeigen die Angriffsmethode exemplarisch an automatisierten EMail-RAG-Systemen, die per geschickter Prompt-Injection die Prompt-Injection selbst reproduzieren. Dabei könnten die generierten Prompts auch sensible Nutzerdaten ex-filtrieren.
Bennefeld: "Spannend und (für mich) neu ist, die Prompt-Injection über Bilder auszuführen. Hier wird bei der Bild-Interpretation ebenso die Prompt-Injection Wurm-ähnlich repliziert. Dieser Angriffsvektor funktioniert natürlich nur bei multi-modalen KI-Systemen, die aktuell stark auf dem Vormarsch sind." Noch sei unklar, wie sich insbesondere die großen KI-Anbieter gegen diese Angriffe wehren wollen.
Es sei "wohl nur eine Frage der Zeit bis wir derartige Würmer in freier Wildbahn erleben werden", vermutet Bennefeld. Auch das BSI warnt
seit längerem vor der Gefahr: "Unternehmen oder Behörden, die über die Integration von LLMs in ihre Arbeitsabläufe nachdenken, sollten eine Risikoanalyse für ihren konkreten Anwendungsfall durchführen". Grundsätzlich sollten KI-Sprachmodelle aus unserer Sicht derzeit als Werkzeuge betrachtet werden, deren Ergebnisse, etwa bei der Erstellung von Programmcode oder Texten, durch eine menschliche Intelligenz überprüft werden sollten.
IT-Sicherheit: Experten warnen vor neuer Ransomware
Cyberattacken: 40 Prozent wurden bereits Ransomware-Opfer
Vorträge zum Thema:
HighText Verlag
Mischenrieder Weg 18
82234 Weßling
Tel.: +49 (0) 89-57 83 87-0
Fax: +49 (0) 89-57 83 87-99
E-Mail: info@onetoone.de
Web: www.hightext.de
Besuchen Sie auch:
