De "Ik ga akkoord"-knop: waarom is dit misschien wel de gevaarlijkste AI voor bedrijven?

Om 2:00 uur 's nachts detecteert een geautomatiseerde probleemoplossingsagent een netwerkprobleem, herleidt het tot een verkeerd geconfigureerd beleid, controleert via een aangepast framework of de voorgestelde oplossing werkt binnen de gedefinieerde beleidsgrenzen en lost het probleem vervolgens op. Het netwerk stabiliseert zich en niemand wordt hiervan op de hoogte gesteld.

's Ochtends bekijkt de medewerker de dagelijkse inzichten van de agent: een samenvatting van alle doorgevoerde wijzigingen, met links naar records, audit trails, logica en oorzaken. Ze bevestigen dat alles correct is opgelost en gaan vervolgens verder. Dit is het "human-on-the-loop"-model.

Bij een andere organisatie detecteert een zelfgebouwde, geïmproviseerde verwerkingsagent om 4:00 uur 's ochtends een netwerkprobleem, herleidt het tot een verkeerd geconfigureerd beleid en lost het op. Het netwerk stabiliseert zich en niemand wordt op de hoogte gesteld. De volgende ochtend bekijkt een medewerker de logboeken, gaat ervan uit dat het probleem is opgelost en gaat verder.

Waar zit het verschil?

Het verschil zit hem in het feit dat in het zelfbouwscenario de logboeken slechts een deel van het verhaal vertellen. Ze laten niet zien dat de agent drie andere wijzigingen heeft aangebracht om tot deze oplossing te komen, en dat deze wijzigingen uitgebreider waren dan aanvankelijk gepland. Bovendien werden de beslissingen achter deze wijzigingen niet gerapporteerd, omdat de agent hiertoe niet verplicht was binnen zijn beperkingen. Dit gebrek aan systeemtransparantie vormt de kern van het probleem.

Dit is hoe een systeem met menselijke controle eruit kan zien zonder de juiste checks and balances. Er is geen sprake van een dramatische overdracht van taken, maar slechts een reeks kleine, redelijke delegaties die geleidelijk aan uitmonden in iets waar niemand expliciet mee heeft ingestemd. Dit onderstreept het belang van menselijke controle over de toekomst van kunstmatige intelligentie.

Dit gebeurt sneller dan de meeste leiders beseffen. Volgens recent onderzoek verwacht 57% van de IT-leiders dat mensen binnen een jaar of minder niet meer bij de controle betrokken zullen zijn, en 79% beschouwt AI-agenten al als 'gebruikers' die hun eigen identiteitsbeheer en governance-mechanismen nodig hebben.

De overgang naar proxy-AI vindt sneller plaats dan de meeste organisaties aankunnen, zowel wat betreft governance als het vermogen om autonome systemen te evalueren.

Dat zijn de "Ik ga akkoord"-knoppen.

De oplossing voor autonome AI leek altijd ongelooflijk eenvoudig: behoud een menselijke factor in de controle. Iemand beoordeelt de output, klikt op een 'goedkeuringsknop' en zorgt voor verantwoording. Maar de realiteit is niet zo simpel. Het beoordelen van elke actie creëert niet automatisch verantwoording en het weerhoudt organisaties ervan de volledige voordelen van autonomie te benutten.

In plaats van elke procedure afzonderlijk te beoordelen, zouden mensen zich moeten richten op het evalueren van de resultaten, ervoor zorgen dat het systeem binnen de beoogde grenzen functioneert en feedback geven die de prestaties in de loop van de tijd verbetert.

Goedkeuring kan een betekenisloos ritueel worden. Naarmate systemen hun betrouwbaarheid bewijzen en het aantal meldingen toeneemt, gaan mensen ingrijpen soms beschouwen als iets dat vaak overbodig is.

Goedkeuring kan een simpele klik worden in plaats van een weloverwogen keuze. En wanneer er iets misgaat (bijvoorbeeld een verkeerd geconfigureerd beleid of geautomatiseerde verwerking die leidt tot een servicestoring), wordt het lastig om te bepalen wie verantwoordelijk is.

Dit versterkt ook een bredere verschuiving: waarbij kritisch denken en het testen van hypotheses een van de belangrijkste menselijke vaardigheden wordt, in plaats van het uitvoeren van taken.

Er gebeurt nog iets anders. Mensen verschuiven van de uitvoeringsfase naar de fase van 'lezen vóór goedkeuring' – een fundamentele verandering in het dagelijkse werk van de meesten van ons.

Bovendien is toeschrijving niet hetzelfde als bronvermelding. Een document waarin staat wat een AI-agent heeft gedaan, vertelt je bijna niets over waarom, of wat die beslissing heeft beïnvloed. En als er iets misgaat, is dat precies de informatie die je nodig hebt.

Niet-menselijke identiteiten en het nieuwe netwerklandschap

Wanneer AI-agenten actief zijn op uw netwerk – systemen bevragen, configuratiewijzigingen doorvoeren of verkeer routeren – worden ze beschouwd als daadwerkelijke gebruikers. Net als menselijke operators hebben ze referenties, beleid, beveiligingsmaatregelen, interpreteerbaarheid en auditlogboeken nodig. Deze behoefte aan transparantie en verantwoording is vergelijkbaar met de inspanningen om transparantie in AI-datacenters af te dwingen.

De meeste organisaties hebben deze ontwikkeling nog niet bijgehouden. Identiteitsframeworks zijn ontworpen voor mensen, en het achteraf toepassen van AI-agenten creëert precies het soort heimelijke toegang dat beveiligingsteams hun hele leven proberen te elimineren.

Bijna 80% van de leiders die al AI-agenten gebruiken als beheerde identiteiten, lopen voorop. De rest stapelt risico's op die ze pas kunnen inschatten als er zich een beveiligingsincident voordoet.

Om dit goed te bereiken, moet elke agent worden behandeld als een hoofdentiteit met gedefinieerde privileges, toegang met een tijdslimiet, een duidelijke procedure voor intrekking en een volledig logboek; niet alleen van wat de agent heeft gedaan, maar ook van wat de agent mocht doen en waarom.

Onafhankelijkheid krijg je niet zomaar, die moet je verdienen.

Netwerk- en cybersecurityteams begrijpen al hoe ze dit principe moeten toepassen. Elke organisatie heeft toegangsbeheersystemen die bepalen waartoe mensen toegang hebben en wanneer. Een junior engineer krijgt niet meteen volledige toegang tot productiesystemen; die toegang wordt geleidelijk verkregen. Dezelfde logica zou moeten gelden voor AI-agenten.

We zijn nog niet zover. Autonomie wordt te vaak gezien als een alles-of-niets-kwestie, en dat is niet het juiste model. Vertrouwen werkt niet zo met mensen, en dat zou ook niet zo moeten werken met AI. AI-agenten zouden moeten beginnen met het voorstellen van oplossingen en vervolgens hun competentie binnen duidelijke en afgebakende grenzen moeten bewijzen voordat hun bevoegdheden worden uitgebreid. En zorg ervoor dat elke beslissing een spoor achterlaat dat niet alleen verklaart wat er is gebeurd, maar ook de redenen erachter.

Naarmate het gebruik van autonome AI toeneemt, zullen organisaties een evenwicht moeten vinden tussen menselijk toezicht en systematisch bestuur. Mensen blijven verantwoordelijk voor het beoordelen van niet alleen de resultaten van AI, maar ook, waar nodig, de acties die de AI onderneemt en de redenering daarachter.

Naarmate de omvang en complexiteit van autonome beslissingen toenemen, moet dit toezicht echter worden aangevuld met een infrastructuur die identiteitsbeheer, beleidshandhaving, monitoringmogelijkheden en verantwoording integreert. Deze controles zorgen er samen voor dat AI-acties transparant, traceerbaar en afgestemd op de organisatiedoelen blijven.

Het bouwen van multi-agentsystemen die bestand zijn tegen druk.

Naarmate deze systemen krachtiger worden, stappen organisaties steeds vaker over op multi-agent architecturen. In deze architecturen behandelt elke gespecialiseerde agent een deel van de workflow en geeft de context door aan de volgende agent. Hierin schuilt de complexiteit.

Het gedrag van een individuele agent kan worden getraceerd als deze een fout maakt. Een keten van agenten, waarbij elke agent handelt op basis van de output van de vorige, is echter veel moeilijker te ontrafelen wanneer er een fout optreedt, tenzij de juiste structuur en governance aanwezig zijn. Je moet weten wat elke agent wist, niet alleen wat ze deden.

Voltooi de basistaken.

Twee organisaties gebruiken dezelfde AI-gestuurde netwerkagent. De ene organisatie heeft de basistaken, die er niet aantrekkelijk uitzien, al uitgevoerd: het instellen van strikte toegangsrechten, passende identiteitscontroles en auditlogboeken die duidelijke antwoorden geven wanneer dat nodig is. De andere organisatie heeft dat nog niet gedaan.

Je merkt het verschil pas als er iets misgaat.