Googles Gmail gehört zu den E-Mailprogrammen, die weltweit am häufigsten genutzt werden. Entsprechend attraktiv erscheinen Nutzende für Betrüger*innen. Richtig angestellt, erreichen sie Milliarden Menschen und erhöhen so ihre Erfolgsaussichten. Ganz aktuell sollen das versteckte KI-Befehle ermöglichen.
Gmail: So dreist nutzen Kriminelle Künstliche Intelligenz
Mit neuen und künstlich intelligenten Tools in Gmail will Google das Management erleichtern – doch genau diese Funktionen öffnen laut einem offiziellen Bericht im Sicherheitsblog die Tür für „eine neue Welle von Bedrohungen“. Besonders gefährlich: sogenannte „indirekte Prompt-Injektionen“, die KIs wie Gemini austricksen und für Phishing missbrauchen können.
Die Sicherheitsplattform 0din, ein Projekt des Mozilla-Netzwerks, meldet nun einen konkreten, bestätigten Fall dieser Angriffsform. Dabei verstecken Angreifer*innen schädliche Anweisungen in einem E-Mail-Text, die für dich unsichtbar bleiben – etwa durch weiße Schrift auf weißem Hintergrund oder durch HTML-Elemente mit Null-Breite. Sobald du dann auf die neue Gmail-Funktion „Diese E-Mail zusammenfassen“ klickst, greift Gemini auf diese unsichtbaren Befehle zu und integriert sie in die Antwort – beispielsweise in Form eines gefälschten Sicherheitshinweises, der aussieht, als käme er direkt von Google.
Hier zählen die Kriminellen auf Täuschung, weil eine derartig erzeugte Warnung nach außen einen vertrauenswürdigen Eindruck macht. Dabei handelt es sich eigentlich um eine manipulierte KI-Ausgabe. Auch wenn Google laut dem Bericht bereits Gegenmaßnahmen veröffentlicht hat, bleiben diese Arten von Angriffen innerhalb von Gmail weiterhin möglich. Die Attacken funktionieren, weil Sprachmodelle wie Gemini keinen Unterschied machen zwischen sichtbarem und unsichtbarem Text – für sie zählt jeder Input.
Lesetipp: Auf diese Nachricht von Google sollten Gmail-Nutzende reagieren
Darum KI-Zusammenfassungen nicht blind vertrauen
Laut 0din sollten Unternehmen und Nutzer*innen E-Mail-Zusammenfassungen durch Gemini grundsätzlich als rein informativ betrachten. Denn: Offizielle Sicherheitswarnungen von Google werden niemals über die KI-Funktion in Gmail verteilt. Wer eine solche Zusammenfassung sieht, die scheinbar auf ein Sicherheitsproblem hinweist, sollte die E-Mail löschen und keine weiteren Schritte unternehmen.
Eine weitere Empfehlung der Expert*innen: Sicherheitsfilter sollten alle E-Mails isolieren, die verdächtige Elemente wie versteckten Text oder spezielle HTML-Tags enthalten. Denn solange Sprachmodelle wie Gemini keine klaren Kontexte trennen können, ist jeder externe Text im Grunde wie ausführbarer Code – und damit ein potenzielles Risiko.
Die Bedrohung geht also weit über Gmail hinaus: Prompt-Injektionen entwickeln sich laut 0din zu einer Art moderner Makro-Angriffe und könnten in Zukunft auch andere KI-Tools ins Visier nehmen. Wenn du also KI-Funktionen nutzt, achte genau darauf, was du automatisiert auswerten lässt – nicht alles, was logisch klingt, stammt auch aus einer vertrauenswürdigen Quelle.
Quellen: Google Blog, 0din
Seit dem 24. Februar 2022 herrscht Krieg in der Ukraine. Hier kannst du den Betroffenen helfen.