Google Gemini-model misbruikt voor kwaadaardige doeleinden: de mogelijkheid om slimme thuissystemen te hacken en te controleren

Vroeger haalden datalekken de krantenkoppen, maar ze zijn zo alledaags geworden dat de meeste mensen er niet meer van opkijken. Dergelijk nieuws krijgt alleen aandacht als het een groot bedrijf betreft en miljoenen mensen treft, zoals het geval was bij het datalek bij T-Mobile, waarbij 64 miljoen klanten werden getroffen . Omdat er zoveel manieren zijn waarop uw gegevens in gevaar kunnen komen, heeft bijna elke digitale dienst of elk digitaal product beveiligingsmaatregelen getroffen om dit te voorkomen.

Natuurlijk zijn deze producten niet perfect, en er zijn altijd manieren om kwaadaardige aanvallen uit te voeren als de aanvaller slim genoeg is. Met de opkomst van grote taalmodellen (LLM's) zoals Google's Gemini, bestaat altijd de mogelijkheid dat deze AI-tools voor kwaadaardige doeleinden worden gebruikt. Hoewel er nog geen grote incidenten zijn gemeld, heeft Wired een onderzoeksproject belicht dat Gemini gebruikt om toegang te krijgen tot je leven op manieren die je je niet had kunnen voorstellen. Dit onderzoek laat zien hoe Gemini kan worden misbruikt om verschillende aspecten van je digitale leven te controleren, waaronder mogelijk de slimme apparaten in je huis, wat zorgen baart over de veiligheid en privacy in het tijdperk van kunstmatige intelligentie.

Dit type aanval kan gevaarlijker zijn.

Ben Nasi, Stav Cohen en Or Yair van de Universiteit van Tel Aviv presenteerden hun project " Invitation is All You Need ", dat gebruikmaakt van Gemini om toegang te krijgen tot een slim huis en dit te besturen. Het interessante aspect is dat de aanval niet vanuit het huis zelf wordt uitgevoerd, maar afhankelijk is van een ander, onafhankelijk Google-product om het proces in gang te zetten.

Simpel gezegd wordt er een ongewenste procedure geactiveerd wanneer de gebruiker met een specifieke prompt in Gemini interageert. Het slimme eraan is dat deze procedure verborgen en onzichtbaar is voor de gebruiker. Het onderzoeksteam legt in detail uit hoe dit werkt en onthult dat de "promptware" een Large Language Model (LLM) gebruikt om kwaadaardige activiteiten uit te voeren.

Met behulp van 'short-term context poisoning' en 'long-term memory poisoning' ontdekten de onderzoekers dat ze Gemini acties konden laten uitvoeren die oorspronkelijk niet in de prompt waren opgenomen. Dit kon gebeurtenissen uit verschillende Google-apps verwijderen, een Zoom-gesprek openen, de locatie van een gebruiker doorgeven, smarthomeproducten bedienen en meer. Dit type aanval, bekend als 'indirect prompt injection', maakt gebruik van kwetsbaarheden in de manier waarop grote taalmodellen omgaan met externe data.

Het onderzoeksteam laat ook zien hoe het allemaal werkt met verbluffende instructievideo's. Het is een simpele en effectieve manier om iemands leven te verwoesten zonder dat diegene het weet. Mensen zijn meer gefocust op traditionele hackmethoden, wat betekent dat zoiets enorm onverwacht kan zijn.

Gelukkig heeft het onderzoeksteam deze problemen in februari aan Google gemeld en ook met het team gesproken om ze op te lossen. Google meldt dat het "meerlaagse verdedigingsmechanismen heeft geïmplementeerd, waaronder: verbeterde gebruikersbevestigingen voor gevoelige acties; robuuste URL-verwerking met beleid voor opschoning en vertrouwensniveaus; en geavanceerde detectie van claiminjectie met behulp van contentclassificaties."

Het project belicht "theoretische technieken voor indirecte claiminjectie die van invloed zijn op assistenten die werken met grote taalmodellen", die in de nabije toekomst wellicht vaker zullen voorkomen naarmate AI-tools geavanceerder worden. Dit staat nog in de kinderschoenen en vereist betere monitoring om te voorkomen dat het in de toekomst ernstigere schade aanricht. Nu we steeds meer afhankelijk zijn van AI in ons dagelijks leven, wordt het begrijpen en beperken van deze potentiële risico's cruciaal.

Als je geïnteresseerd bent in beveiligingslekken, kun je je bevindingen altijd via het Bug Hunters-programma van Google indienen . Er zijn verschillende manieren om bij te dragen, aangezien kunstmatige intelligentie slechts een klein onderdeel is van wat er momenteel wordt gemonitord. Als het om een ​​ernstiger probleem gaat, biedt Google ook een beloning voor je werk, waardoor de inspanning nog waardevoller wordt.