Google Gemini-model misbruikt voor kwaadaardige doeleinden: de mogelijkheid om slimme thuissystemen te hacken en te controleren

Vroeger haalde hacknieuws de krantenkoppen, maar het is zo gewoon geworden dat het de meeste mensen niet meer verbaast. Pas als het een groot bedrijf overkomt en miljoenen mensen treft, krijgt het aandacht, zoals in T-Mobile hackzaak treft 64 miljoen klantenOmdat er zoveel manieren zijn waarop uw gegevens in gevaar kunnen komen, beschikt vrijwel elk type digitale dienst of product over beveiligingsmaatregelen om dit te voorkomen.

Natuurlijk zijn deze producten niet perfect, en er zijn altijd manieren om kwaadaardige aanvallen uit te voeren als een aanvaller slim genoeg is. Met de opkomst van grote taalmodellen (LLM's) zoals Google's Gemini, bestaat altijd de mogelijkheid dat deze AI-tools voor kwaadaardige doeleinden worden gebruikt. Hoewel we nog geen belangrijke meldingen hebben gezien, hebben we die wel. Wired belichtte een onderzoeksproject Gemini wordt gebruikt om toegang te krijgen tot je leven op manieren die je je nooit had kunnen voorstellen. Dit onderzoek laat zien hoe Gemini kan worden gebruikt om verschillende aspecten van je digitale leven te controleren, mogelijk inclusief de slimme apparaten in je huis. Dit roept vragen op over veiligheid en privacy in het tijdperk van kunstmatige intelligentie.

Dit type aanval kan gevaarlijker zijn.

Ben Nassi, Stav Cohen en Or Yair van de Universiteit van Tel Aviv presenteerden hun project, “Uitnodiging is alles wat je nodig hebt"Die Gemini gebruikt om toegang te krijgen tot een slim huis en het te bedienen. Het interessante is dat de aanval niet vanuit het huis zelf begint, maar afhankelijk is van een ander, niet-gerelateerd Google-product om het proces te starten.

Simpel gezegd wordt er een ongewenste actie geactiveerd wanneer een gebruiker Gemini gebruikt met een bepaalde prompt. Het slimme van dit alles is dat het verborgen is en de gebruiker het niet kan zien. Hij legt uit: Het onderzoeksteam legt uit hoe dit werkt., waarbij “promptware” gebruikmaakt van een groot taalmodel (LLM) om kwaadaardige activiteiten uit te voeren.

Met behulp van 'short-term context poisoning' en 'long-term memory poisoning' ontdekten de onderzoekers dat ze Gemini acties konden laten uitvoeren die oorspronkelijk niet in de prompt waren opgenomen. Dit kon gebeurtenissen uit verschillende Google-apps verwijderen, een Zoom-gesprek openen, de locatie van een gebruiker doorgeven, smarthomeproducten bedienen en meer. Dit type aanval, bekend als 'indirect prompt injection', maakt gebruik van kwetsbaarheden in de manier waarop grote taalmodellen omgaan met externe data.

Het onderzoeksteam laat ook zien hoe het allemaal werkt met verbluffende instructievideo's. Het is een simpele en effectieve manier om iemands leven te verwoesten zonder dat diegene het weet. Mensen zijn meer gefocust op traditionele hackmethoden, wat betekent dat zoiets enorm onverwacht kan zijn.

Gelukkig heeft het onderzoeksteam deze problemen in februari aan Google gemeld en ook met het team gesproken om ze op te lossen. Google meldt dat het "meerlaagse verdedigingsmechanismen heeft geïmplementeerd, waaronder: verbeterde gebruikersbevestigingen voor gevoelige acties; robuuste URL-verwerking met beleid voor opschoning en vertrouwensniveaus; en geavanceerde detectie van claiminjectie met behulp van contentclassificaties."

Het project belicht "theoretische technieken voor indirecte claiminjectie die van invloed zijn op assistenten die werken met grote taalmodellen", die in de nabije toekomst wellicht vaker zullen voorkomen naarmate AI-tools geavanceerder worden. Dit staat nog in de kinderschoenen en vereist betere monitoring om te voorkomen dat het in de toekomst ernstigere schade aanricht. Nu we steeds meer afhankelijk zijn van AI in ons dagelijks leven, wordt het begrijpen en beperken van deze potentiële risico's cruciaal.

Als u geïnteresseerd bent in beveiligingskwetsbaarheden, kunt u altijd contact met ons opnemen. Stuur wat u vindt naar Google Via het Bug Hunters-programma zijn er verschillende manieren om bij te dragen, aangezien AI slechts een klein onderdeel is van wat er momenteel wordt gemonitord. Als er iets ernstigers aan de hand is, biedt Google ook een beloning voor je werk, wat de inspanning nog waardevoller maakt.