Er wordt misbruik gemaakt van een kwetsbaarheid in Google Gemini om op AI gebaseerde e-mailsamenvattingen om te zetten in een phishingtool.

Er is een ernstig beveiligingslek ontdekt in Google Gemini voor Workspace, die aanvallers kunnen misbruiken om schadelijke code in e-mails te plaatsen. Deze instructies zouden de AI-tool kunnen aanzetten om gebruikers te misleiden en ze door te sturen naar Phishing-sites.

Volgens een rapport De computer laten leeglopenDeze kwetsbaarheid is gebaseerd op het aanmaken van e-mailsamenvattingen die er volkomen normaal uitzien, maar verborgen schadelijke instructies of waarschuwingen bevatten. Deze instructies worden automatisch door Gemini uitgevoerd bij het genereren van de berichtensamenvatting.

Het aanvalsmechanisme is gebaseerd op het insluiten van onzichtbare Gemini-instructies in de e-mail. Dit wordt bereikt door de instructies aan het einde van de berichttekst te verbergen met behulp van HTML- en CSS-code, en vervolgens de lettergrootte op nul en de kleur op wit in te stellen. Omdat deze extra tekst geen bijlagen of links bevat, wordt deze zelfs door de beste antivirus- of e-mailprogramma's niet gedetecteerd of gemarkeerd, waardoor de kans groter is dat deze in de inbox van een potentieel slachtoffer terechtkomt.

Wanneer de beoogde gebruiker de e-mail opent en Gemini vraagt de inhoud ervan samen te vatten, voert de AI-software automatisch de verborgen instructies uit die het detecteert. Gebruikers vertrouwen vaak op Gemini's vermogen om inhoud te verwerken als onderdeel van Workspace, waardoor de waarschuwing wordt gezien als een legitieme waarschuwing in plaats van een kwaadaardige injectie.

Het afgelopen jaar zijn soortgelijke aanvallen gemeld. Ondanks enkele preventieve maatregelen om misleidende reacties te blokkeren, is de techniek over het algemeen nog steeds succesvol. Dit verklaart waarom deze nog steeds wordt gebruikt.

Bleeping Computer meldde dat toen ze Google vroegen naar verdedigingen tegen dit soort aanvallen, een woordvoerder van het bedrijf aangaf dat Blog Wat betreft code-injectieaanvallen legde hij uit dat er preventieve maatregelen zijn genomen of binnenkort worden geïmplementeerd. Google bevestigde ook dat er nog geen bewijs is dat deze aanval in het wild heeft plaatsgevonden.

Figueroa, manager van Mozilla's GenAI bug bounty-programma, die de kwetsbaarheid ontdekte, suggereert een aantal ideeën om deze bedreiging te voorkomen: beveiligingsteams zouden inhoud die bedoeld is om verborgen te blijven in de berichttekst, moeten verwijderen, neutraliseren of negeren. Als alternatief zouden ze filters kunnen implementeren die Gemini scannen op urgente berichten, URL's en telefoonnummers, en deze markeren voor verdere beoordeling door gebruikers.

Wees voorlopig voorzichtig met het gebruik van Gemini om e-mails samen te vatten, want je weet nooit wat erin verborgen zit. We hopen dat Google zo snel mogelijk een oplossing voor dit nieuwe type aanval uitbrengt.