Anzeige
Anzeige

Künstliche Intelligenz

Experten warnen vor KI-Würmern

07.03.2024 - Vor einer Malware warnt der KI-Experte Christian Bennefeld. Die Schadsoftware attackiert generative KI-Systeme und pflanzt sich Wurm-ähnlich fort - ganz ohne Nutzer-Interaktion. Er ist mit seiner Warnung nicht allein.

von Joachim Graf

Unter der Überschrift "ComPromptMized: Unleashing Zero-click Worms that Target GenAI-Powered Applications   " haben Stav Cohen vom israelischen Technion-Institute of Technology, Ron Bitton von Intuit und Ben Nassi von Cornell Tech ein Papier veröffentlicht, in dem sie beschreiben, wie sie einen Computerwurm entwickelt haben, der auf GenAI-gestützte Anwendungen abzielt. Den Wurm haben sie nach eigenen Angaben gegen GenAI-gestützte EMail-Assistenten in zwei Anwendungsfällen (Spamming und Exfiltration persönlicher Daten), unter zwei Einstellungen (Blackbox- und Whitebox-Zugriffe), mit zwei Arten von Eingabedaten (Text und Bilder) und gegen drei verschiedene GenAI-Modelle (Gemini Pro, ChatGPT 4.0 und LLaVA) laufen gelassen.

KI-Experte Christian Bennefeld warnt: "Das Sicherheitsproblem entsteht immer dann, wenn KI-generierte Ausgaben wiederum als KI-Prompts verwendet werden." RAG-Applikationen genauso wie KI-Agenten seien damit besonders leicht verwundbar.

Die Forschenden zeigen die Angriffsmethode exemplarisch an automatisierten EMail-RAG-Systemen, die per geschickter Prompt-Injection die Prompt-Injection selbst reproduzieren. Dabei könnten die generierten Prompts auch sensible Nutzerdaten ex-filtrieren.

Bennefeld: "Spannend und (für mich) neu ist, die Prompt-Injection über Bilder auszuführen. Hier wird bei der Bild-Interpretation ebenso die Prompt-Injection Wurm-ähnlich repliziert. Dieser Angriffsvektor funktioniert natürlich nur bei multi-modalen KI-Systemen, die aktuell stark auf dem Vormarsch sind." Noch sei unklar, wie sich insbesondere die großen KI-Anbieter gegen diese Angriffe wehren wollen.

Es sei "wohl nur eine Frage der Zeit bis wir derartige Würmer in freier Wildbahn erleben werden", vermutet Bennefeld. Auch das BSI warnt   seit längerem vor der Gefahr: "Unternehmen oder Behörden, die über die Integration von LLMs in ihre Arbeitsabläufe nachdenken, sollten eine Risikoanalyse für ihren konkreten Anwendungsfall durchführen". Grundsätzlich sollten KI-Sprachmodelle aus unserer Sicht derzeit als Werkzeuge betrachtet werden, deren Ergebnisse, etwa bei der Erstellung von Programmcode oder Texten, durch eine menschliche Intelligenz überprüft werden sollten.

Ihr Guide im New Marketing Management - ab 6,23 im Monat!

Hat Ihnen diese Beitrag weiter geholfen? Dann holen Sie sich die ONEtoONE-Premium-Mitgliedschaft. Sie unterstützen damit die Arbeit der ONEtoONE-Redaktion. Sie erhalten Zugang zu allen Premium-Leistungen von ONEtoONE, zum Archiv und sechs mal im Jahr schicken wir Ihnen die aktuelle Ausgabe.

Mehr zum Thema:
Diskussion:

Vorträge zum Thema:

  • Bild: Isabel Kick
    Isabel Kick (synaigy GmbH)
    Bild: Katja Moritz
    Katja Moritz (synaigy GmbH)

    10 Irrtümer der Webanalyse: Was Sie von 25 Jahre Datenanalyse über Customer Experience lernen können

    In diesem Deep-Insight-Vortrag erhalten Sie einen Einblick in die größten Fehler aus dem Bereich Webanalyse. Außerdem erfahren Sie unter anderem:

    • wie Sie Customer Experience und KI in Ihrem Unternehmen zusammenführen
    • warum fehlende Signifikanz nicht nur schlecht ist
    • wie Sie vermeiden, dass Sie auf den größten KI-Irrglauben der Welt hereinfallen
    • weshalb Sie auch zu viele Daten sammeln können (und was Sie dagegen tun können)
    • warum Conversion nicht gleich Kauf ist
    • wie Sie in ihrer Webanalyse auch die angrenzenden Tools wie Google Ads und CDP erfolgreich berücksichtigen
    • was sich wirklich hinter dem Begriff "Datenqualität" verbirgt
    • wie Sie sicherstellen, dass Ihr Unternehmen datenbasierten Entscheidungen trifft

    Vortrag im Rahmen der Daten & KI 2023. Virtuelle Kongressmesse über Customer Experience mit datengestütztem Marketing und Vertrieb am 06.06.23, 12:25 Uhr

www.hightext.de

HighText Verlag

Mischenrieder Weg 18
82234 Weßling

Tel.: +49 (0) 89-57 83 87-0
Fax: +49 (0) 89-57 83 87-99
E-Mail: info@onetoone.de
Web: www.hightext.de

Kooperationspartner des

Folgen Sie uns:



Besuchen Sie auch:

www.press1.de

www.ibusiness.de

www.versandhausberater.de