Anthropic: Onderzoekers mogen Claude niet gebruiken voor potentieel onderzoek naar biologische wapens
Anthropic heeft het gebruik van Claude voor potentieel biologisch wapenonderzoek verboden. Ontdek de details van deze strenge beslissing en hoe AI-giganten de risico's van misbruik ervan het hoofd bieden.
De belangrijkste dingen die je moet weten
- De onderzoekers omzeilden Claude's beveiligingsprocedures door hun locatie te verbergen en gevaarlijk onderzoek op te delen in ogenschijnlijk onschuldige verzoeken, waardoor het voor Anthropic moeilijk was om hun ware bedoelingen te achterhalen.
- Het gevaar schuilt niet in het feit dat kunstmatige intelligentie uit de hand loopt, maar in het vermogen ervan om gevaarlijke biologische processen voor mensen te versnellen, hen nieuwe mogelijkheden te geven en een grijs gebied te creëren tussen legitiem en kwaadwillig gebruik.
- Om misbruik van AI tegen te gaan, is het nodig geavanceerde beveiligingsmaatregelen te ontwikkelen die verdachte gedragspatronen herkennen bij meerdere interacties en pogingen om beperkingen te omzeilen, in plaats van elk verzoek afzonderlijk te beoordelen.
Grote AI -bedrijven waarschuwen al langer dat hun modellen de ontwikkeling van biologische wapens kunnen faciliteren. In dit kader onthulde Anthropic dat het de dienstverlening aan een groep onderzoekers al had moeten opschorten nadat hun acties ernstige zorgen hadden gewekt. Rapporten geven aan dat nieuwe regelgevende instanties misbruik van AI in de gaten houden , wat het belang van deze waarschuwingen onderstreept.
Volgens een rapport van The New York Times heeft Anthropic dit jaar verschillende gebruikers geblokkeerd nadat er activiteiten waren gedetecteerd die zeer verdacht leken en duidden op onderzoek naar biologische wapens.
Ter verduidelijking: Anthropic heeft geen doorslaggevende bevestiging dat deze onderzoekers probeerden dodelijke ziekteverwekkers te ontwikkelen.
Geavanceerde biologie is inherent "dubbelzinnig"; onderzoek dat kan leiden tot een levensreddend vaccin, kan ook voor gevaarlijke doeleinden worden gebruikt. Maar Anthropic detecteerde dit verdachte gedrag. Onderzoekers zouden geografische beperkingen hebben omzeild om toegang te krijgen tot de cloud en stappen hebben ondernomen om het doel van hun werk te verbergen. Dit patroon was voor Anthropic reden genoeg om de dienst te beëindigen.
Hoe hebben ze de veiligheidsmaatregelen van Claude kunnen omzeilen?
De onderzoekers hebben Claude niet letterlijk "gehackt". Volgens Anthropic hebben ze manieren gevonden om zowel hun toegang tot het model als hun uiteindelijke doelstellingen te verbergen.
In één geval zou een onderzoeker toegang hebben gekregen tot Cloud vanuit een niet-ondersteunde regio via een virtuele infrastructuur in de VS, met behulp van een automatisch gegenereerd account. Anthropic ontdekte ook dat Cloud-verzoeken werden doorgestuurd via een platform dat door tal van biowetenschappers werd gebruikt, waaronder virologen verbonden aan civiele en militaire instellingen.
De onderzoekers probeerden ook het doel van hun werk te verbergen om te voorkomen dat de cloudbeveiligingsmaatregelen geactiveerd zouden worden . Dit is met name in de biologie moeilijk te detecteren, omdat een individueel verzoek volkomen legitiem kan lijken, zelfs als het bijdraagt aan een groter, potentieel gevaarlijk project.
Een van de gevallen betrof naar verluidt een wetenschapper die Claude om hulp vroeg bij het opstellen van een onderzoekssubsidieaanvraag om het chikungunya-virus genetisch te modificeren en zo eigenschappen zoals overdraagbaarheid en immuunontwijking te bestuderen. Deze zaak illustreert hoe Claude kan worden ingezet voor complexe taken zoals het opstellen van onderzoeksvoorstellen . Dit soort onderzoek kan legitieme wetenschappelijke doelen dienen, en dat is precies de reden waarom Anthropic stelde dat het niet kon vaststellen of de uiteindelijke intenties van de onderzoekers welwillend of kwaadaardig waren.
Anthropic was echter van mening dat de combinatie van gedegen onderzoek en pogingen om activiteiten te verbergen voldoende was om de rekeningen te sluiten.
Waarom is biologie de ultieme test voor kunstmatige intelligentie?
Kunstmatige intelligentie kan geen chemicaliën mengen in een petrischaal of biologische wapens produceren met behulp van fysieke laboratoriumapparatuur. Maar het kan wel een krachtige versneller zijn.
Voor iemand met ervaring in laboratoriumwerk kan een competent AI-model complex onderzoek vereenvoudigen, data analyseren, problemen onderzoeken en oplossen, en specialistische technische lacunes overbruggen. Het kan mensen alles bieden wat ze nodig hebben om uitdagende taken gemakkelijker en sneller uit te voeren.
Dit plaatst AI-bedrijven in een enorm grijs gebied. Een jurist en iemand die een biologisch wapen ontwikkelt, zouden allebei veel van dezelfde vragen kunnen stellen. Misbruik hoeft niet per se de vorm aan te nemen van één enkele, duidelijke beschuldiging. Iedereen kan een groot project opsplitsen in tientallen ogenschijnlijk onschuldige taken, waardoor het voor beveiligingssystemen erg moeilijk wordt om het grotere geheel te overzien, vooral gezien de groeiende zorgen over misbruik van AI.
Dan is er nog het probleem van valse positieven. Als deze waarborgen te streng zijn, loop je het risico legitiem wetenschappelijk onderzoek te belemmeren. Als ze te soepel zijn, kunnen potentieel gevaarlijke activiteiten erdoorheen glippen.
Het hangt allemaal af van de menselijke intentie.
Het is belangrijk om te verduidelijken wat er níét is gebeurd, vooral na het ontslag van Jacob Coxon bij Anthropic gisteren , nu de zorgen over AI een hoogtepunt hebben bereikt. We maken ons zorgen over modellen die op hol slaan of autonome agenten die op eigen houtje handelen, maar Claude sloeg niet op hol en geen enkele autonome AI-agent begon op eigen houtje een biologisch wapen te plannen. Mensen hadden de controle.
Dit maakt het gevaar veel directer. De zorg is hier niet dat een superintelligente AI plotseling besluit de mensheid kwaad te doen. Het gaat er veeleer om dat krachtige modellen mensen vaardigheden geven die ze anders misschien niet zouden bezitten.
Wat kunnen AI-bedrijven nu eigenlijk echt doen?
Er bestaat geen perfecte oplossing voor dit dilemma. Het blokkeren van voor de hand liggende vragen werkt alleen als de gebruiker duidelijk weet wat hij of zij probeert te doen. Als een gebruiker een potentieel gevaarlijk project opsplitst in tientallen ogenschijnlijk onschuldige verzoeken, hebben AI-bedrijven beveiligingsmechanismen nodig die het grotere geheel kunnen overzien in plaats van elk verzoek afzonderlijk te beoordelen.
Dit kan betekenen dat er gezocht wordt naar herhaalde pogingen om de veiligheidsbeperkingen van het model te omzeilen, dat verdachte patronen in interacties worden gemonitord en dat er strengere controles worden opgelegd aan de krachtigste wetenschappelijke mogelijkheden. Bedrijven zouden nieuwe modellen ook vóór de lancering kunnen testen om te bepalen of ze een minder ervaren persoon kunnen ondersteunen bij het uitvoeren van potentieel gevaarlijk biologisch werk.
Maar elke extra beveiligingsmaatregel brengt ook nadelen met zich mee. Dezelfde systemen die proberen iemand te detecteren die een biologisch wapen ontwikkelt, kunnen ook een onderzoeker signaleren die aan een dergelijk project werkt. Daarom is de onthulling van Anthropic zo belangrijk. De volgende stap voor de veiligheid van AI is bepalen wanneer een gedragspatroon dat op zich legitiem lijkt, gevaarlijk genoeg wordt voor een bedrijf om in te grijpen.
Reacties zijn gesloten.