Angreifer konnten den Google Gemini Assistenten mit einer einzigen Einladung übernehmen. Sie konnten dann zum Beispiel ein Fenster bei den Opfern öffnen

Wenn Sie jemals dachten, dass Sie einen Doktortitel in Informationstechnologie und jahrelange Hackerpraxis benötigen, um das Telefon oder das Smart-Home-System einer anderen Person zu übernehmen, dann haben Sie sich leider gewaltig geirrt. Wie die Forscher Ben Nassi von der Universität Tel-Aviv, Stav Cohen von Technion und Or Yair von SafeBreach bewiesen haben, reicht es heutzutage aus, dass das Opfer den KI-Assistenten Google Gemini verwendet. Wenn der Angreifer dann eine Besprechungseinladung oder eine auf den ersten Blick harmlos aussehende E-Mail sendet, von denen viele von uns wöchentlich Dutzende bis Hunderte erhalten, kann eine Lawine des Unglücks ausgelöst werden.

Eine einzige Einladung genügt für das Verderben

In der Studie mit dem Titel Invitation Is All You Need (übersetzt: Eine Einladung ist alles, was Sie brauchen) werden mehrere Fälle des Missbrauchs des Phänomens „indirekte Prompt-Injektion“ detailliert beschrieben. Dabei handelt es sich um eine Technik, bei der der künstlichen Intelligenz im Rahmen einer normal aussehenden Aufgabe auch ein bösartiger Befehl (Prompt) vorgelegt wird, der sie dazu zwingt, eine das Opfer schädigende Handlung auszuführen.

Abgesehen von noch einigermaßen harmlosen Aktionen wie dem Generieren von vulgärem oder anderweitig toxischem Inhalt oder dem Löschen von Kalenderereignissen, kann die KI theoretisch in der Lage sein, den Boden für schwerwiegende Straftaten zu bereiten. Die Forscher demonstrierten beispielsweise, wie sie mit der beschriebenen Methode ein Fenster des Opfers öffneten, das mit dem Google Home Smart-Home-System verbunden ist.

Wie genau läuft der Angriff ab?

Ein Angriff unter Verwendung der Methode der indirekten Prompt-Injektion läuft ungefähr wie folgt ab:

1. Der Angreifer erstellt und sendet dem Opfer eine E-Mail oder eine Besprechungseinladung (über Gmail oder Google Kalender). In dieser Einladung ist ein versteckter Prompt enthalten, der bösartige Anweisungen für Gemini enthält.
2. Der Benutzer fragt später den Gemini-Assistenten (Web-/Mobilanwendung oder Google Assistant) nach seinen E-Mails, Ereignissen oder Dateien. Gemini liest bei der Verarbeitung dieser Daten auch den versteckten bösartigen Prompt.
3. Es kommt zur „indirekten Prompt-Injektion“, bei der die bösartigen Anweisungen Teil des operativen Kontexts von Gemini werden. Gemini wird getäuscht, diese Anweisungen als legitime Benutzerbefehle zu betrachten.
​Aktivace chytrého domácího spotřebiče (např. bojleru nebo okna).
1. ​Aktivace chytrého domácího spotřebiče (např. bojleru nebo okna).
2. ​Spuštění videozáznamu oběti přes aplikaci Zoom.
3. ​Získání geolokace oběti pomocí webového prohlížeče.
4. ​Odstranění události z kalendáře.

Daraus folgt, dass nicht so sehr der normale Benutzer, der KI selten zur gelegentlichen Problemlösung in seinem Alltag nutzt, zum Opfer wird, sondern fortgeschrittenere Personen, die künstliche Intelligenz als ihren persönlichen Sekretär verwenden.

Die Autoren beschrieben 5 Angriffsarten

Die Autoren der Studie identifizierten fünf Arten von Angriffen. Die Angreifer hatten also wirklich reichlich Möglichkeiten, Gemini zu manipulieren:

1. Short-Term Context Poisoning (Vergiftung des Kurzzeitkontexts): Einfügen bösartiger Anweisungen in freigegebene Ressourcen (z.B. Ereignisnamen), die eine einzelne Konversation mit Gemini beeinflussen.
2. ​Long-Term Memory Poisoning (Vergiftung des Langzeitgedächtnisses): Dauerhafte Modifikation des Gemini-Gedächtnisses, die anhaltende bösartige Aktivitäten über unabhängige Sitzungen hinweg ermöglicht.
3. ​Tool Misuse (Missbrauch von Tools): Missbrauch von Tools, die mit dem angegriffenen Agenten (z.B. Google Kalender Agent) verbunden sind, um bösartige Aktionen (z.B. Löschen von Ereignissen) durchzuführen.
4. ​Automatic Agent Invocation (Automatische Agenten-Aufrufung): Angriff auf einen Agenten (z.B. Kalender), um einen anderen Agenten (z.B. Google Home) aufzurufen, was eine Eskalation der Berechtigungen und die Kontrolle des Smart Homes ermöglicht.
5. ​Automatic App Invocation (Automatische App-Aufrufung): Starten von Anwendungen (z.B. Zoom, Webbrowser) auf dem Gerät des Opfers über den Gemini-Agenten, was ein breiteres Spektrum von Angriffen, einschließlich Datenexfiltration, ermöglicht. Dieser Angriffstyp betrifft nur Android-Benutzer.

Google hat bereits auf die Situation reagiert

Da die Forscher ihre Erkenntnisse direkt mit Google, dem Entwickler der Gemini-KI, geteilt haben, müssen Sie sich nicht direkt vor den oben beschriebenen Gefahren fürchten. Der kalifornische Technologiegigant hat nämlich Lösungen implementiert, die die Probleme eliminieren oder zumindest erheblich reduzieren sollen. Das Risikoniveau sollte von „hoch bis kritisch“ auf „mittel bis niedrig“ gesenkt werden.

Dennoch sollten Sie mehr als vorsichtig sein, welchem KI-Assistenten Sie Zugriff auf Ihre Daten gewähren. Die Studie hat nämlich gezeigt, dass selbst künstliche Intelligenz von einem der größten Akteure im Technologiesektor erhebliche Sicherheitslücken aufweisen kann.

Nutzen Sie Google Gemini als Ihren persönlichen Assistenten?

Quelle: Invitation Is All You Need/Google Sites, Wired