Er wordt misbruik gemaakt van een kwetsbaarheid in Google Gemini om op AI gebaseerde e-mailsamenvattingen om te zetten in een phishingtool.

Er is een ernstig beveiligingslek ontdekt in Google Gemini voor Workspace , dat aanvallers kunnen misbruiken om kwaadaardige code in e-mails te injecteren. Deze code kan vervolgens worden gebruikt om een ​​AI-tool te manipuleren, gebruikers te misleiden en hen door te sturen naar phishingwebsites.

Volgens een rapport van Bleeping Computer is deze kwetsbaarheid gebaseerd op het genereren van e-mailsamenvattingen die er volkomen normaal uitzien, maar verborgen kwaadaardige instructies of waarschuwingen bevatten. Deze instructies worden automatisch door Gemini uitgevoerd wanneer de berichtsamenvatting wordt gegenereerd.

Het aanvalsmechanisme is gebaseerd op het insluiten van onzichtbare Gemini-instructies in de e-mail. Dit wordt bereikt door de instructies aan het einde van de berichttekst te verbergen met behulp van HTML- en CSS-code, en vervolgens de lettergrootte op nul en de kleur op wit in te stellen. Omdat deze extra tekst geen bijlagen of links bevat, wordt deze zelfs door de beste antivirus- of e-mailprogramma's niet gedetecteerd of gemarkeerd, waardoor de kans groter is dat deze in de inbox van een potentieel slachtoffer terechtkomt.

Wanneer de beoogde gebruiker de e-mail opent en Gemini vraagt de inhoud ervan samen te vatten, voert de AI-software automatisch de verborgen instructies uit die het detecteert. Gebruikers vertrouwen vaak op Gemini's vermogen om inhoud te verwerken als onderdeel van Workspace, waardoor de waarschuwing wordt gezien als een legitieme waarschuwing in plaats van een kwaadaardige injectie.

Het afgelopen jaar zijn soortgelijke aanvallen gemeld. Ondanks enkele preventieve maatregelen om misleidende reacties te blokkeren, is de techniek over het algemeen nog steeds succesvol. Dit verklaart waarom deze nog steeds wordt gebruikt.

Bleeping Computer meldde dat toen ze bij Google navraag deden naar verdedigingsmechanismen tegen dit soort aanvallen, een woordvoerder van het bedrijf verwees naar een blogpost over code-injectieaanvallen en uitlegde dat er preventieve maatregelen werden geïmplementeerd of op het punt stonden te worden uitgebracht. Google bevestigde ook dat er tot nu toe geen bewijs is dat dit type aanval in de praktijk voorkomt.

Figueroa, manager van Mozilla's GenAI bug bounty-programma, die de kwetsbaarheid ontdekte, suggereert een aantal ideeën om deze bedreiging te voorkomen: beveiligingsteams zouden inhoud die bedoeld is om verborgen te blijven in de berichttekst, moeten verwijderen, neutraliseren of negeren. Als alternatief zouden ze filters kunnen implementeren die Gemini scannen op urgente berichten, URL's en telefoonnummers, en deze markeren voor verdere beoordeling door gebruikers.

Wees voorlopig voorzichtig met het gebruik van Gemini om e-mails samen te vatten, want je weet nooit wat erin verborgen zit. We hopen dat Google zo snel mogelijk een oplossing voor dit nieuwe type aanval uitbrengt.