DeepSeek bereidt zich voor op de volgende AI-revolutie met zelfverbeterende modellen.

Enkele maanden geleden stond Wall Street's grote gok op generatieve AI voor een keerpunt toen DeepSeek ten tonele verscheen. Ondanks de sterk gecensureerde aard ervan, bewees DeepSeek's open-source aanpak dat een toonaangevend inferentieel AI-model niet per se miljarden dollars hoeft te kosten en met bescheiden middelen kan worden gerealiseerd. Dit betekent een belangrijke verschuiving in ons begrip van de ontwikkeling van geavanceerde AI-modellen.

Het werd al snel commercieel omarmd door giganten als Huawei, Oppo en Vivo, terwijl bedrijven als Microsoft, Alibaba en Tencent het snel een plekje op hun platforms gaven. Het volgende doelwit van het populaire Chinese bedrijf zijn zelfverbeterende AI-modellen die gebruikmaken van een lusvormige "rechter-beloning"-benadering om zichzelf te verbeteren. Deze trend weerspiegelt het voortdurende streven van bedrijven om efficiëntere en effectievere AI-systemen te ontwikkelen.

In een preprint (via Bloomberg ) beschrijven onderzoekers van DeepSeek en de Tsinghua Universiteit in China een nieuwe aanpak waarmee AI-modellen slimmer en efficiënter kunnen worden gemaakt door middel van zelfverbetering. De onderliggende techniek staat bekend als Initial Self-Criticism Tuning (SPCT) en de aanpak als Generative Reward Modeling (GRM). Deze aanpak is een belangrijke ontwikkeling op het gebied van AI-reinforcement learning.

Simpel gezegd is het vergelijkbaar met het creëren van een realtime feedbacklus. Een AI-model wordt voornamelijk verbeterd door de modelgrootte tijdens de training te vergroten. Hiervoor zijn veel menselijke arbeid en computercapaciteit nodig. DeepSeek stelt een systeem voor waarbij een primaire 'arbiter' zijn eigen reeks kritiekpunten en principes voor het AI-model bedenkt terwijl hij een antwoord voorbereidt op vragen van gebruikers. Deze aanpak is erop gericht om de afhankelijkheid van intensieve menselijke hulpbronnen in het opleidingsproces te verminderen.

Deze kritiekpunten en principes worden vervolgens vergeleken met de vastgestelde regels die de kern vormen van het AI-model en de gewenste uitkomst. Als er sprake is van een hoge mate van match, wordt er een beloningssignaal gegenereerd, wat de AI effectief aanzet tot betere prestaties in de volgende ronde. Dit voortdurende proces van evaluatie en beloning verbetert het leer- en aanpassingsvermogen van het model.

De experts achter het onderzoeksrapport noemen dit zelfoptimaliserende AI-model van de volgende generatie DeepSeek-GRM. De benchmarks die in het rapport worden genoemd, geven aan dat deze modellen beter presteren dan Google's Gemini, Meta's Llama en OpenAI's GPT-4o. DeepSeek stelt dat deze AI-modellen van de volgende generatie via een open-sourcekanaal beschikbaar zullen worden gesteld. Deze toewijding aan openheid zou het tempo van innovatie op het gebied van kunstmatige intelligentie kunnen versnellen.

Zelfverbeterende AI: is het mogelijk?

Het idee van zelfverbeterende kunstmatige intelligentie heeft ambitieuze en controversiële discussies opgeroepen. Voormalig Google-CEO Eric Schmidt heeft gesteld dat we dergelijke systemen wellicht moeten "uitschakelen". Fortune citeerde Schmidt met de woorden: "Wanneer een systeem zichzelf kan verbeteren, moeten we serieus overwegen om het uit te schakelen." Zelfverbeterende AI-systemen worden beschouwd als een van de belangrijkste ontwikkelingen op het gebied van AI.

Het concept van zelfverbeterende kunstmatige intelligentie is niet helemaal nieuw. Het idee van een superintelligente machine, die in staat is betere machines te creëren, dateert al van 1965, toen wiskundige I.J. Goode ermee begon. In 2007 theoretiseerde AI-expert Eliezer Yudkowski over Seed AI , een kunstmatige intelligentie "ontworpen voor zelfbegrip, zelfaanpassing en iteratieve zelfverbetering".

In 2024 presenteerde het Japanse bedrijf Sakana AI details van zijn "AI-wereld" -concept , een systeem dat in staat is om de volledige productielijn van een wetenschappelijk artikel van begin tot eind te doorlopen. In een artikel dat in maart van dit jaar werd gepubliceerd, onthulden Meta-experts zelfbelonende taalmodellen waarbij de AI zelf als rechter optreedt en beloningen uitdeelt tijdens de training. Deze stap richting zelflerende AI-systemen is een belangrijke sprong voorwaarts in de ontwikkeling van kunstmatige intelligentie.

Microsoft CEO Satya Nadella zegt dat de ontwikkeling van AI wordt geoptimaliseerd door het o1-model van OpenAI en een recursieve fase is ingegaan: "we gebruiken AI om AI-tools te bouwen om betere AI te bouwen" pic.twitter.com/IHuFIpQl2C

— Tsarathustra (@tsarnick) 21 oktober 2024

Interne tests van Meta met zijn Llama 2 AI-model, dat gebruikmaakt van innovatieve zelfbelonende technologie, toonden aan dat het beter presteerde dan concurrenten zoals Anthropic's Claude 2, Google's Gemini Pro en OpenAI's GPT-4-modellen. Het door Amazon gesteunde Anthropic gaf details over wat het 'beloningsmanipulatie' noemde, een onverwacht proces "waarbij het model zijn eigen beloningsmechanisme direct aanpast".

Google loopt met dit idee niet ver achter. In een studie die eerder deze maand in Nature werd gepubliceerd , demonstreerden experts van Google DeepMind een AI-algoritme genaamd Dreamer dat zichzelf kan verbeteren, met Minecraft als oefenvoorbeeld.

Experts van IBM werken aan een eigen aanpak genaamd inductieve sluitingstraining, waarbij een AI-model zijn eigen reacties gebruikt en deze vergelijkt met trainingsgegevens om zichzelf te verbeteren. Het uitgangspunt is echter niet geheel positief.

Uit onderzoek blijkt dat AI-modellen die zichzelf proberen te trainen met zelfgegenereerde synthetische data, te maken krijgen met fouten die in de volksmond 'modelcrashes' worden genoemd. Het zal interessant zijn om te zien hoe DeepSeek dit idee in de praktijk brengt en of het dat op een goedkopere manier kan doen dan de westerse concurrenten.