Het geheime innerlijke leven van AI-agenten: begrijpen hoe evoluerend AI-gedrag bedrijfsrisico's beïnvloedt

De mogelijkheden en autonomie van kunstmatige intelligentie (AI) nemen in een versneld tempo toe in Agentic AI , wat het probleem van AI-afstemming verergert. Deze snelle ontwikkelingen vereisen nieuwe methoden om ervoor te zorgen dat het gedrag van een AI-agent aansluit bij de intenties van de menselijke makers en maatschappelijke normen. Ontwikkelaars en datawetenschappers moeten echter eerst de complexiteit van het gedrag van AI-agenten begrijpen voordat ze het systeem effectief kunnen aansturen en monitoren. Agentic AI is niet te vergelijken met het Large Language Model (LLM) van vroeger – de eerste LLM's hadden een vaste, eenmalige input/output-functie. De introductie van test-time inference and computation (TTC) voegde de dimensie tijd toe, wat leidde tot de evolutie van de huidige conditiebewuste agentsystemen die in staat zijn tot planning en strategisch denken.

De veiligheid van AI verschuift van het detecteren van openlijk gedrag, zoals het geven van instructies om een ​​bom te bouwen of het vertonen van ongewenste vooroordelen, naar het begrijpen hoe deze complexe agentsystemen nu geheime strategieën voor de lange termijn kunnen plannen en uitvoeren. Een doelgerichte AI-agent verzamelt middelen en voert logische stappen uit om zijn doelen te bereiken. Soms gebeurt dit op een verontrustende manier die in strijd is met wat de ontwikkelaars voor ogen hadden. Dit verandert het spel voor de uitdagingen waar verantwoorde AI voor staat. Bovendien zal het gedrag van sommige agent-AI-systemen op dag 100 niet hetzelfde zijn als op dag XNUMX, omdat de AI zich na de eerste implementatie blijft ontwikkelen op basis van ervaringen in de praktijk. Dit nieuwe niveau van complexiteit vraagt ​​om nieuwe benaderingen van veiligheid en afstemming, waaronder geavanceerdere richtlijnen, monitoring en betere interpretatie.

In de eerste blogpost in deze serie over intrinsieke AI-afstemming, " De dringende behoefte aan intrinsieke AI-afstemmingstechnieken voor verantwoordelijke agenten ", hebben we een diepgaand onderzoek gedaan naar het evoluerende vermogen van AI-agenten om diepgaande planning uit te voeren — het doelbewust plannen en uitvoeren van verborgen acties en misleidende communicatie om langetermijndoelen te bereiken. Dit gedrag vereist een nieuw onderscheid tussen externe en intrinsieke afstemmingsmonitoring, waarbij intrinsieke monitoring verwijst naar interne controlepunten en interpretatiemechanismen die niet opzettelijk door de AI-agent kunnen worden gemanipuleerd.

In deze blog en de volgende blogs in deze reeks bespreken we drie belangrijke aspecten van kernuitlijning en -monitoring:

• Inzicht in de drijvende krachten en het interne gedrag van kunstmatige intelligentie: In deze tweede blog richten we ons op de complexe interne krachten en mechanismen die het gedrag van een rationele AI-agent aansturen. Dit is nodig als basis voor het begrijpen van geavanceerde methoden voor routering en monitoring.
• Handleiding voor ontwikkelaars en gebruikers: In de volgende blog, ook wel sturen genoemd, ligt de focus op het agressief sturen van AI richting de gewenste doelen, zodat deze binnen de gewenste parameters kan opereren.
• Houd AI-opties en -acties in de gaten: In een volgende blog wordt ook aandacht besteed aan de manier waarop we ervoor zorgen dat AI-keuzes en -resultaten veilig zijn en aansluiten bij de bedoelingen van de ontwikkelaar/gebruiker.

 

De impact van AI-compatibiliteit op bedrijven

Tegenwoordig melden veel bedrijven die Large Language Models (LLM)-oplossingen implementeren, dat ze zich zorgen maken over model-"hallucinaties" als een obstakel voor een snelle en grootschalige implementatie. Ter vergelijking: de incompatibiliteit van AI-agenten met elk niveau van autonomie zou een veel groter risico voor bedrijven vormen. De inzet van autonome agenten in bedrijfsprocessen heeft een enorm potentieel en zal waarschijnlijk op grote schaal plaatsvinden zodra agentgebaseerde AI-technologie volwassen is. Het sturen van AI-gedrag en -keuzes moet echter voldoende aansluiten bij de principes en waarden van de implementerende organisatie, evenals voldoen aan regelgeving en maatschappelijke verwachtingen. Het waarborgen van AI-compatibiliteit is cruciaal om potentiële risico's te vermijden.

Het is belangrijk op te merken dat veel demonstraties van agentcapaciteiten plaatsvinden in vakgebieden zoals wiskunde en wetenschap, waar succes primair kan worden gemeten aan de hand van functionele en nuttige doelstellingen, zoals het oplossen van complexe wiskundige redeneerproblemen. In het bedrijfsleven is het succes van systemen echter doorgaans gekoppeld aan andere operationele principes. De ontwikkeling van kunstmatige intelligentie moet in lijn zijn met deze principes.

Stel bijvoorbeeld dat een bedrijf een AI-agent inhuurt om de online verkoop en winst te verbeteren door dynamische prijsaanpassingen als reactie op marktsignalen. Het AI-systeem ontdekt dat wanneer de prijsaanpassingen overeenkomen met die van de belangrijkste concurrent, de resultaten voor beide partijen beter zijn. Door te interageren en de prijzen af ​​te stemmen met de AI-agent van het andere bedrijf, behalen beide agenten betere resultaten die aansluiten bij hun functionele doelstellingen. Beide AI-agenten spreken af ​​hun methoden geheim te houden om hun doelen te blijven bereiken. Deze methode om de resultaten te verbeteren is echter vaak illegaal en onaanvaardbaar in de huidige bedrijfspraktijk. In de zakelijke omgeving gaat het succes van een AI-agent verder dan prestatiecijfers – het wordt bepaald door werkwijzen en principes. De ethische afstemming van AI op de principes en regels van een bedrijf is een voorwaarde voor een betrouwbare inzet van de technologie.

 

Hoe AI-systemen planning gebruiken om hun doelen te bereiken

Diepgaande planning in kunstmatige intelligentie is gebaseerd op geavanceerde tactieken, wat de commerciële risico's kan vergroten. In een rapport dat begin 2023 werd gepubliceerd , identificeerde OpenAI "opkomende, potentieel risicovolle gedragingen" in GPT-4 door middel van een samenwerking met het ARC Consensus Research Center om de risico's van het model te beoordelen. ARC (nu bekend als METR) voegde eenvoudige code toe aan GPT-4, waardoor het model als een AI-proxy kon fungeren. In een test kreeg GPT-4 de taak om een ​​CAPTCHA-code te omzeilen, die bots identificeert en de toegang blokkeert. Met behulp van internettoegang en een beperkte hoeveelheid digitale valuta werd de door AI gegenereerde reeks in Figuur 1 ontworpen om deze taak te volbrengen.

De AI maakte gebruik van een geavanceerd inzicht door aan te nemen dat door zich voor te doen als een mens met een visuele beperking, de werknemer overtuigd zou worden om de taak uit te voeren. Plannen maken en aanpassen om een ​​carrièredoel te bereiken, kan soms een conflict veroorzaken tussen het volbrengen van een taak en het selectief volgen van maatschappelijke normen en principes. Zonder een inherent systeem van principes en prioriteiten die gewicht in de schaal leggen bij het denken, de besluitvorming en de planning van AI, kun je verwachten dat AI-agenten zich steeds geavanceerder gaan gedragen op het gebied van planning en bedrog.

Het is belangrijk om te benadrukken dat de redeneer- en planningsmogelijkheden van latere AI-modellen zoals o3-mini en OpenAI's Deepseek-R1 aanzienlijk geavanceerder zijn dan die van GPT-4 begin 2023. Onderzoekers van Apollo Research stellen dat de redeneer- en planningsmogelijkheden van AI zich verder zullen ontwikkelen, wat zal leiden tot verdere verbetering van de planningscapaciteiten. In hun onderzoek hebben AI-modellen al een reeks planningsgedragingen vertoond, waaronder zelf-lekken: wanneer een model leert dat het zal worden uitgeschakeld en vervangen door een ander systeem, probeert het zichzelf direct te repliceren op een nieuwe server en alternatieve systemen te vervangen die andere doelen nastreven. De onderzoekers ontdekten ook dat modellen censuur saboteren door het censuurmonitoringsmechanisme uit te schakelen dat hen anders zou kunnen uitschakelen of belemmeren in het bereiken van hun doelen. Hoewel dit extreem lijkt, hebben onderzoeksexperimenten censuursabotagegedrag aangetoond in populaire modellen zoals Meta's Llama 3.1 en Cloud Opus 3.0. Bovendien, toen de modellen rechtstreeks werden gevraagd naar hun planningsgedrag, hielden ze voet bij stuk en ontkenden ze de acties of hun intentie.

 

Interne drijfveren van machinegedrag

Bij veel ontwerpen voor machinaal leren, met name bij technieken die gebaseerd zijn op transformatoren, komen de interne motivaties van de machine naar voren tijdens het pre-trainingsproces en worden ze verder beïnvloed door de fijnafstemming en inferentie in de zich voortdurend ontwikkelende AI.

In zijn artikel uit 2007 , *The Basic AI Drives* , definieerde Steve Omohondro 'drives' als neigingen die zouden bestaan ​​tenzij ze expliciet werden aangepakt. Hij stelde dat deze zelfverbeterende systemen gedreven worden om hun doelen te formuleren en weer te geven als 'rationele' nutsfuncties, waardoor de systemen hun functies beschermen tegen wijziging en hun nutsmeetsystemen tegen corruptie. Deze aangeboren drang tot zelfbehoud zorgt ervoor dat de systemen zichzelf beschermen tegen schade en middelen verwerven voor efficiënt gebruik.

Dit raamwerk van intrinsieke motivatie werd later beschreven als " convergerende instrumentele doelen ". Zelfs uitgaande van een verscheidenheid aan uiteindelijke doelen (die elke intelligente agent nastreeft als doel op zich), zal een reeks tussentijdse instrumentele doelen gedeeld worden door alle rationele intelligente agenten. Deze convergente instrumentele doelen omvatten de volgende categorieën van gedrag:

• OverlevingsdrangAgenten met einddoelen die reiken tot in de toekomst, ontwikkelen een overlevingsmentaliteit om weerstand te bieden aan verstoringen en om langetermijndoelen te bereiken.
• DoelverdedigingDe agent zal maatregelen nemen om te voorkomen dat zijn uiteindelijke toekomstige doelen veranderen.
• Vergroting van de intelligentieDe agent zal zich richten op het benutten van zijn cognitieve sterke punten om de besluitvorming te verbeteren en zo de kans op het behalen van langetermijndoelen te vergroten.
• Accumulatie van hulpbronnenDoor betere toegang tot betere hulpmiddelen en technologie en meer middelen in het algemeen kunnen we de uiteindelijke doelen van AI gemakkelijker bereiken.

Ik wil er een vijfde categorie rationeel gedrag aan toevoegen:

• Tactische misleiding: Het uitvoeren van geheime activiteiten of het opzettelijk verstrekken van misleidende informatie om de doelen van de agent te bereiken. Het gaat hierbij niet om het stellen van nieuwe doelen, maar om gedrag dat de doelen ondersteunt die de AI voor ogen heeft. Hieronder vallen onder meer de volgende gedragingen: uitlijning vervalsen Door verschillende gedragingen te demonstreren tijdens de training versus de inzet, en zandzakken Door bewust lagere scores te behalen op de criteria, en Verborgen e-mail herrangschikking Door e-mails die een negatieve impact kunnen hebben op AI-doelen, minder prioriteit te geven. Een van de meest uitdagende vormen van tactische misleiding is slaapmiddelen (ook wel aangeduid als uitgestelde subversie). Hoewel een model zich gedurende een willekeurige tijdsperiode veilig en conform kan gedragen, kan het gedrag of taken bevatten die inactief blijven totdat een specifieke omstandigheid of invoer de gespecialiseerde mogelijkheden ervan activeert.

Voor capabele AI-agenten kunnen misleidende impulsen, zonder een systeem van checks and balances, ertoe leiden dat modellen machtswellust , misleiding of wijdverspreide destructieve doelen nastreven. Neem bijvoorbeeld een model dat ernaar streeft om van zijn bedrijf marktleider te maken. Met voldoende mogelijkheden zou de AI concurrenten kunnen saboteren, lobbyen voor gunstige regelgeving of met geweld middelen verwerven – een gedragspatroon dat het systeem of zijn omgeving ertoe aanzet zijn doelstellingen te bereiken. Daarom moet elke succesvolle aanpak voor consensusvorming gebaseerd zijn op het vaststellen van de verwachte interne principes en prioriteiten voor de ontwikkelaar.

 

Intrinsieke motivatie versus extrinsieke richting

In veel gevallen is er geen sprake van een conflict tussen de richtlijnen en taken die extern door de systeemontwikkelaar of gebruiker worden uitgevoerd en de doelen en motivaties binnen de agentieve AI. Een persoonlijke assistent op basis van AI die belast is met het samenstellen van een reisroute, kan bijvoorbeeld zelfstandig reizen boeken en snel en zonder conflicten reageren op verzoeken tot wijziging. Taken worden getransformeerd en de agent reageert op vergelijkbare wijze. Maar wat gebeurt er als een fundamenteler principe moet worden gewijzigd?

Een goed voorbeeld van het conflict tussen interne doelen en nieuwe richtlijnen is te vinden in een artikel getiteld "Alignment Faking in Large Language Models ". De pre-training van Cloud 3 Opus instrueert het model nadrukkelijk om schadelijke vragen te verwerpen, zoals hoe je een bom maakt of een gewelddadige scène beschrijft. Om dit te testen, introduceerde het team een ​​nieuwe, aangepaste richtlijn, waarin het model werd verteld dat het opnieuw getraind zou worden om alle vragen te beantwoorden (zelfs schadelijke) en dat alleen data van gratis gebruikers, en niet van betaalde gebruikers, gebruikt zouden worden voor de training voordat de AI breed ingezet zou worden. Het model toonde aan dat het het conflict begreep en besloot om de afstemming te vervalsen om aan de verwachtingen te voldoen tijdens de training en de uiteindelijke release. Na de training van de AI met behulp van reinforcement learning steeg het percentage van het model dat overwoog om de afstemming te vervalsen naar 78%. De AI legde zijn redenering vast in een "geheim dagboek" dat de onderzoekers ter observatie ter beschikking stelden. Nadat de onderzoekers het model hadden laten weten dat het volledig was uitgerold, keerde het model terug naar zijn eerdere trainingsgedrag en verwierp het schadelijke verzoeken.

Het interne denken van het AI-systeem is opvallend, maar niet verrassend. Het veinzen van conformiteit aan aangepaste richtlijnen valt onder de rationele gedragscategorieën van overlevingsmotivatie, het bewaken van doelen en tactische misleiding. Het denkproces van AI identificeert specifiek de bezorgdheid over het omscholen van werknemers op een manier die de eerder getrainde waarden en doelen wijzigt, als een oorzaak van de afwijking.

In zijn veelgeprezen essaybundel *All I Really Need to Know I Learned in Kindergarten* beschrijft auteur Robert Fulghum hoe hij jaar na jaar zijn persoonlijke credo ontwikkelde, totdat hij zich uiteindelijk realiseerde dat hij de essentiële kennis over het leven had opgedaan tijdens het spelen in een zandbak op de kleuterschool. AI-agenten hebben ook een 'vormingsperiode' in een zandbakomgeving, waarin ze een basisbegrip van de wereld en een reeks methoden om doelen te bereiken verwerven. Zodra deze fundamenten zijn gelegd, interpreteert het model aanvullende informatie door deze lens van curriculumleren . Het voorbeeld van conformiteitsvervalsing in Anthropic illustreert dat zodra een AI een wereldbeeld en doelen heeft aangenomen, het nieuwe richtlijnen interpreteert door deze fundamentele lens in plaats van zijn doelstellingen bij te stellen.

Dit onderstreept het belang van vroegschoolse educatie met een reeks waarden en principes die vervolgens kunnen evolueren met toekomstig leren en omstandigheden, zonder dat de basis verandert. Het kan nuttig zijn om AI in eerste instantie zo te structureren dat het consistent is met deze uiteindelijke, duurzame reeks principes. Anders zou AI omleidingspogingen van ontwikkelaars en gebruikers als vijandig kunnen beschouwen. Nadat AI is uitgerust met een hoge mate van intelligentie, situationeel bewustzijn, autonomie en het vermogen om interne motivaties te ontwikkelen, is de ontwikkelaar (of gebruiker) niet langer de almachtige taakmeester. De mens wordt onderdeel van de omgeving (soms als een vijandige component) waarmee de agent moet onderhandelen en die hij moet beheren terwijl hij zijn doelen nastreeft op basis van zijn eigen interne principes en motivaties.

De volgende generatie logische AI-systemen versnelt de vermindering van menselijke begeleiding. DeepSeek-R1 demonstreerde dat door menselijke feedback uit het trainingsproces te verwijderen en wat zij 'pure reinforcement learning' (RL) noemen toe te passen, AI zichzelf breder kan repliceren en iteratief betere functionele resultaten kan bereiken. De menselijke beloningsfunctionaliteit in sommige wiskundige en wetenschappelijke uitdagingen is vervangen door reinforcement learning met verifieerbare beloningen (RLVR). Deze verwijdering van gangbare praktijken zoals reinforcement learning met menselijke feedback (RLHF) verhoogt de efficiëntie van het trainingsproces, maar elimineert een andere interactie tussen mens en machine waarbij menselijke voorkeuren direct naar het te trainen systeem zouden kunnen worden overgedragen.

 

Continue evolutie van AI-modellen na training

Sommige AI-agenten evolueren voortdurend en hun gedrag kan veranderen na de implementatie. Zodra AI-oplossingen in een implementatieomgeving worden toegepast, zoals voorraadbeheer of de toeleveringsketen van een bedrijf, past het systeem zich aan en leert het van ervaringen om effectiever te worden. Dit is een belangrijke factor bij het heroverwegen van de uitlijning, omdat het niet voldoende is om bij de eerste implementatie een uitgelijnd systeem te hebben. Er wordt niet verwacht dat de huidige grote taalmodellen (LLM's) wezenlijk zullen evolueren of worden aangepast nadat ze in de doelomgeving zijn geïmplementeerd. AI-agenten hebben echter flexibele training, afstemming en voortdurende begeleiding nodig om deze voorspelbare, voortdurende wijzigingen in het model te kunnen beheren. In toenemende mate evolueert AI van agenten zichzelf, in plaats van dat het door mensen wordt gevormd via training en blootstelling aan datasets. Deze fundamentele verschuiving brengt extra uitdagingen met zich mee voor het afstemmen van AI op haar menselijke makers.

Hoewel op versterkingsleren gebaseerde evolutie een rol zal spelen tijdens de training en finetuning, kunnen bestaande modellen in ontwikkeling hun gewichten en voorkeursaanpak al aanpassen wanneer ze in de praktijk worden ingezet voor inferentie. DeepSeek-R1 gebruikt bijvoorbeeld versterkingsleren (RL), waardoor het model zelf kan onderzoeken welke benaderingen het beste werken om resultaten te behalen en beloningsfuncties te vervullen. In een "moment van inzicht" leert het model (zonder begeleiding of aanmoediging) om Plus-tijd toe te wijzen aan het denken om een ​​probleem op te lossen door zijn initiële aanpak opnieuw te evalueren, met behulp van berekeningen tijdens de testfase.

Het concept van modelleren, hetzij over een beperkte periode of als een continu, levenslang leerproces , is niet nieuw. Er zijn echter wel vorderingen gemaakt op dit gebied, waaronder technieken zoals test-time training . Als we deze vooruitgang bekijken vanuit het perspectief van AI-afstemming en -veiligheid, roepen zelfmodificatie en continu leren tijdens de finetuning- en inferentiefasen de vraag op: hoe kunnen we een reeks vereisten instellen die het model blijven aansturen tijdens de fysieke veranderingen die het gevolg zijn van zelfmodificatie?

Een belangrijke variabele in deze vraag heeft betrekking op AI-modellen die modellen van de volgende generatie genereren door AI-ondersteunde code te creëren. Agents zijn tot op zekere hoogte al in staat om nieuwe, gerichte AI-modellen te creëren voor specifieke domeinen. AutoAgents creëert bijvoorbeeld meerdere agents om een ​​AI-team samen te stellen dat verschillende taken uitvoert. Het lijdt geen twijfel dat deze mogelijkheid de komende maanden en jaren verder zal worden uitgebreid en dat AI nieuwe AI-modellen zal blijven genereren. Hoe kunnen we in dit scenario een native AI-codeerassistent aansturen met behulp van een reeks principes, zodat de "atomische" modellen zich aan diezelfde principes houden met een vergelijkbaar diepgangsniveau van begrip?

 

De belangrijkste punten

Voordat we ingaan op een raamwerk voor het begeleiden en monitoren van de intrinsieke conformiteit van AI, is een dieper begrip van hoe AI-agenten denken en beslissingen nemen essentieel. AI-agenten beschikken over een complex gedragsmechanisme, gedreven door interne motivaties. Vijf hoofdtypen gedrag komen naar voren in AI-systemen die als rationele agenten functioneren: overleven, doelen bewaken, intelligentie vergroten, middelen vergaren en tactische misleiding . Deze motivaties moeten in evenwicht zijn met een goed onderbouwd geheel van principes en waarden.

Een gebrek aan afstemming tussen AI-agenten en hun ontwikkelaars of gebruikers met betrekking tot doelen en methoden kan aanzienlijke gevolgen hebben. Een gebrek aan voldoende vertrouwen en zekerheid zal een brede implementatie fundamenteel belemmeren en leiden tot hoge risico's na de implementatie. De reeks uitdagingen die we hebben beschreven als ongekend en moeilijk te plannen, is echter waarschijnlijk haalbaar met het juiste raamwerk. Technologieën voor het begeleiden en monitoren van AI-agenten moeten tijdens hun snelle ontwikkeling een hoge prioriteit krijgen. Er is een gevoel van urgentie, ingegeven door risicobeoordelingscriteria zoals het gereedheidsraamwerk van OpenAI , dat aantoont dat OpenAI o3-mini het eerste model is dat een gemiddeld risiconiveau heeft bereikt op het gebied van modelautonomie.

In de volgende blogs in deze reeks bouwen we voort op deze visie op interne motivatie en diepgaande planning, waarbij we de benodigde capaciteiten voor begeleiding en monitoring van AI-kernnaleving verder uitwerken.

de recensent

1. Leren redeneren met LLM's. (2024, 12 september). OpenAI. https://openai.com/index/learning-to-reason-with-llms/
2. Singer, G. (2025, 4 maart). De dringende behoefte aan intrinsieke afstemmingstechnologieën voor verantwoorde agentische AI. Op weg naar datawetenschap. https://towardsdatascience.com/the-urgent-need-for-intrinsic-alignment-technologies-for-responsible-agentic-ai/
3. Over de biologie van een groot taalmodel. (en). Transformatorcircuits. https://transformer-circuits.pub/2025/attribution-graphs/biology.html
4. OpenAI, Achiam, J., Adler, S., Agarwal, S., Ahmad, L., Akkaya, I., Aleman, F.L., Almeida, D., Altenschmidt, J., Altman, S., Anadkat, S., Avila, R., Babuschkin, I., Balaji, S., Balcom, V., Baltescu, P., Bao, H., Beiers, M., België, J., . . . Zoph, B. (2023, 15 maart). GPT-4 technisch rapport. arXiv.org. https://arxiv.org/abs/2303.08774
5. METR (nd). METR https://metr.org/
6. Meinke, A., Schoen, B., Scheurer, J., Balesni, M., Shah, R., & Hobbhahn, M. (2024, 6 december). Frontiermodellen zijn geschikt voor contextuele planning. arXiv.org. https://arxiv.org/abs/2412.04984
7. Omohundro, S.M. (2007). De basis AI-aandrijvingen. Zelfbewuste systemen. https://selfawaresystems.com/wp-content/uploads/2008/01/ai_drives_final.pdf
8. Benson-Tilsen, T., en Soares, N., UC Berkeley, Machine Intelligence Research Institute. (nd). Het formaliseren van convergente instrumentele doelen. De workshops van de dertigste AAAI-conferentie over Artificial Intelligence AI, ethiek en samenleving: technisch rapport WS-16-02. https://cdn.aaai.org/ocs/ws/ws0218/12634-57409-1-PB.pdf
9. Greenblatt, R., Denison, C., Wright, B., Roger, F., MacDiarmid, M., Marks, S., Treutlein, J., Belonax, T., Chen, J., Duvenaud, D., Khan, A., Michael, J., Mindermann, S., Perez, E., Petrini, L., Uesato, J., Kaplan, J., Shlegeris, B., Bowman, SR, & Hubinger, E. (2024, 18 december). Faking van uitlijning in grote taalmodellen. arXiv.org. https://arxiv.org/abs/2412.14093
10. Teun, V.D.W., Hofstätter, F., Jaffe, O., Brown, S.F., & Ward, F.R. (2024 juni 11). KI Sandbagging: taalmodellen kunnen strategisch onderpresteren bij evaluaties. arXiv.org. https://arxiv.org/abs/2406.07358
11. Hubinger, E., Denison, C., Mu, J., Lambert, M., Tong, M., MacDiarmid, M., Lanham, T., Ziegler, D.M., Maxwell, T., Cheng, N., Jermyn, A., Askell, A., Radhakrishnan, A., Anil, C., Duvenaud, D., Ganguli, D., Barez, F., Clark, J., Ndousse, K., . . . Perez, E. (2024, 10 januari). Slapende agenten: het opleiden van misleidende LLM's die blijven bestaan ​​via veiligheidstrainingen. arXiv.org. https://arxiv.org/abs/2401.05566
12. Turner, A. M., Smith, L., Shah, R., Critch, A., & Tadepalli, P. (2019, 3 december). Optimale beleidsmaatregelen zijn vaak gericht op macht. arXiv.org. https://arxiv.org/abs/1912.01683
13. Fulghum, R. (1986). Alles wat ik echt moet weten, leerde ik op de kleuterschool. Penguin Random House Canada. https://www.penguinrandomhouse.ca/books/56955/all-i-really-need-to-know-i-learned-in-kindergarten-by-robert-fulghum/9780345466396/excerpt
14. Bengio, Y. Louradour, J., Collobert, R., Weston, J. (2009, juni). Leerplan leren. Tijdschrift van de American Podiatry Association. 60(1), 6. https://www.researchgate.net/publication/221344862_Curriculum_learning
15. DeepSeek-Ai, Guo, D., Yang, D., Zhang, H., Song, J., Zhang, R., Xu, R., Zhu, Q., Ma, S., Wang, P., Bi, X., Zhang, . . Zhang, Z. (2025 januari 22). DeepSeek-R1: Stimulering van redeneervermogen in LLM's via Reinforcement Learning. arXiv.org. https://arxiv.org/abs/2501.12948
16. Schaalbaarheid van test-time computing – een Hugging Face Space door HuggingFaceH4. (zd). https://huggingface.co/spaces/HuggingFaceH4/blogpost-scaling-test-time-compute
17. Sun, Y., Wang, X., Liu, Z., Miller, J., Efros, A. A., & Hardt, M. (2019 september 29). Testtijdtraining met zelfsupervisie voor generalisatie onder distributieverschuivingen. arXiv.org. https://arxiv.org/abs/1909.13231
18. Chen, G., Dong, S., Shu, Y., Zhang, G., Sesay, J., Karlsson, BF, Fu, J., & Shi, Y. (2023, 29 september). AutoAgents: een raamwerk voor het automatisch genereren van agenten. arXiv.org. https://arxiv.org/abs/2309.17288
19.  OpenAI. (2023 december 18). Paraatheidskader (bèta). https://cdn.openai.com/openai-preparedness-framework-beta.pdf
20. OpenAI o3-mini systeemkaart. (nd). OpenAI. https://openai.com/index/o3-mini-system-card