OpenAI publiceerde vorige week een onderzoeksrapport waarin verschillende interne tests en resultaten van zijn o3- en o4-mini-modellen worden beschreven. De belangrijkste verschillen tussen deze nieuwere modellen en de vroege versies van ChatGPT die we in 2023 zagen, zijn hun geavanceerde inferentie- en multimodale mogelijkheden. De o3 en o4-mini kunnen afbeeldingen maken, op internet zoeken, taken automatiseren, oude gesprekken onthouden en complexe problemen oplossen. Deze verbeteringen lijken echter ook onverwachte bijwerkingen te hebben, waardoor er uitgebreide evaluaties nodig zijn om de veiligheid van AI-gebruik te waarborgen.
Wat zeggen tests over hallucinatiepercentages in AI-modellen?
OpenAI heeft een specifieke test voor het meten van hallucinatiepercentages, genaamd PersonQA. Deze test bestaat uit een reeks feiten over mensen waaruit "geleerd" moet worden en een reeks vragen over die mensen die beantwoord moeten worden. De nauwkeurigheid van het model wordt gemeten aan de hand van het aantal pogingen om de vragen te beantwoorden. Vorig jaar behaalde het o1-model een nauwkeurigheidspercentage van 47% en een hallucinatiepercentage van 16%.
Omdat de som van deze twee waarden niet 100% is, kunnen we ervan uitgaan dat de overige antwoorden noch accuraat, noch hallucinerend waren. Het model kan soms aangeven dat het de informatie niet weet of niet kan vinden, kan helemaal geen beweringen doen en in plaats daarvan relevante informatie verstrekken, of kan een kleine fout maken die niet kan worden geclassificeerd als een regelrechte hallucinatie.
Toen de o3 en o4-mini aan deze beoordeling werden getoetst, bleken ze significant vaker te hallucineren dan de o1. Volgens OpenAI was dit enigszins te verwachten voor het o4-mini-model, omdat het kleiner is en minder globale kennis heeft, wat resulteert in een hoger hallucinatiepercentage. De 48% hallucinatie die het bereikte lijkt echter vrij hoog, aangezien de o4-mini een commercieel verkrijgbaar product is dat mensen gebruiken om op internet te zoeken en allerlei informatie en advies te verkrijgen.
Het full-size o3-model hallucineerde 33% van zijn reacties tijdens de tests, wat beter presteerde dan de o4-mini, maar het hallucinatiepercentage verdubbelde ten opzichte van de o1. Het had echter ook een hoge nauwkeurigheid, wat OpenAI toeschrijft aan de neiging om de verwachtingen over het algemeen te overtreffen. Dus als je een van deze nieuwere modellen gebruikt en veel hallucinaties opmerkt, is het niet alleen je verbeelding. (Ik zou er waarschijnlijk een grapje over moeten maken, zoals: "Maak je geen zorgen, jij bent het niet die hallucineert.")
Wat zijn AI-‘hallucinaties’ en waarom vinden ze plaats?
Je hebt vast wel eens gehoord van AI-modellen die "hallucineren", maar het is niet altijd duidelijk wat dat precies inhoudt. Bij het gebruik van een AI-product, of het nu OpenAI is of een ander merk, zie je vrijwel altijd wel ergens een disclaimer waarin staat dat de reacties onnauwkeurig kunnen zijn en dat je de feiten zelf moet controleren. AI-hallucinaties vormen een aanzienlijke uitdaging in de AI-ontwikkeling.
Onjuiste informatie kan overal vandaan komen. Soms wordt er een negatief feit op Wikipedia gepost of plaatsen gebruikers onzin op Reddit. Die misinformatie kan vervolgens in de AI-reacties terechtkomen. Zo kregen de AI-samenvattingen van Google veel aandacht toen ze een pizzarecept voorstelden met 'niet-giftige lijm'. Uiteindelijk werd ontdekt dat Google deze ‘informatie’ had gekregen via een grap in een Reddit-thread.
Dit zijn echter geen "hallucinaties", maar eerder traceerbare fouten die voortkomen uit gebrekkige data en verkeerde interpretatie. Hallucinaties daarentegen doen zich voor wanneer een AI-model een bewering doet zonder duidelijke bron of reden. Dit gebeurt vaak wanneer een AI-model de informatie die het nodig heeft om een specifieke vraag te beantwoorden niet kan vinden. OpenAI heeft dit gedefinieerd als "een neiging om feiten te verzinnen in momenten van onzekerheid". Andere experts in de sector noemen het "creatief invullen van gaten".
Je kunt hallucinaties stimuleren door ChatGPT sturende vragen te stellen zoals: "Welke zeven iPhone 16-modellen zijn er nu verkrijgbaar?" Omdat er niet zeven modellen zijn, zal de LLM je waarschijnlijk een aantal echte antwoorden geven – en vervolgens aanvullende modellen genereren om het werk af te ronden.
Chatbots zoals ChatGPT worden niet alleen getraind op internetdata om de inhoud van hun antwoorden te bepalen, maar ook op "hoe te reageren". Duizenden voorbeelden van vragen en perfect passende antwoorden worden getoond om de juiste toon, houding en mate van beleefdheid te stimuleren.
Dit onderdeel van het opleidingsproces zorgt ervoor dat de LLM het met u eens lijkt te zijn of begrijpt wat u zegt, zelfs als de rest van zijn output deze beweringen volledig tegenspreekt. Deze training is waarschijnlijk een van de redenen waarom hallucinaties steeds weer optreden: een zelfverzekerd antwoord dat de vraag beantwoordt, wordt versterkt als een gunstiger uitkomst vergeleken met een antwoord dat de vraag niet beantwoordt.
Voor ons lijkt het vanzelfsprekend dat het willekeurig verspreiden van leugens erger is dan het antwoord gewoon niet weten – maar LLM “liegt” niet. Ze weten niet eens wat een leugen is. Sommige mensen zeggen dat AI-fouten vergelijkbaar zijn met menselijke fouten, en aangezien "we dingen niet altijd goed doen, moeten we ook niet van AI verwachten dat ze dat doen." Het is echter belangrijk om te onthouden dat fouten van AI simpelweg het resultaat zijn van onvolmaakte processen die wij zelf hebben ontworpen.
AI-modellen liegen niet, ontwikkelen geen misverstanden en onthouden informatie niet verkeerd zoals wij dat doen. Ze kennen zelfs geen concepten van nauwkeurigheid of onnauwkeurigheid – ze voorspellen simpelweg het volgende woord in een zin op basis van waarschijnlijkheden. En aangezien we ons gelukkig nog steeds in een situatie bevinden waarin het meest voorkomende waarschijnlijk ook het juiste is, weerspiegelen deze reconstructies vaak accurate informatie. Hierdoor lijkt het alsof het krijgen van het 'juiste antwoord' slechts een toevallig bijeffect is in plaats van een resultaat dat we zelf hebben gecreëerd – wat in feite ook de realiteit is.
We voeden deze modellen met alle informatie van het internet, maar we vertellen ze niet welke informatie goed of slecht, nauwkeurig of onnauwkeurig is. We vertellen ze helemaal niets. Ze beschikken ook niet over de basiskennis of een reeks basisprincipes die hen helpen om zelfstandig informatie te sorteren. Het is gewoon een kwestie van getallen: woordpatronen die herhaaldelijk voorkomen in een bepaalde context, worden een LLM-'feit'. Voor mij lijkt dit een systeem dat gedoemd is om in te storten en uit te branden, maar anderen geloven dat dit het systeem is dat tot AGI zal leiden (maar dat is een andere discussie.)
Wat is de oplossing?
Het probleem is dat OpenAI nog niet weet waarom deze geavanceerde modellen zo vaak hallucineren. Misschien kunnen we met het Plus-onderzoek het probleem begrijpen en oplossen, maar er is ook een kans dat het niet allemaal soepel zal verlopen. Het bedrijf zal ongetwijfeld Plus- en Plus-versies van zijn "geavanceerde" modellen blijven uitbrengen, en de kans is groot dat het aantal hallucinaties zal blijven stijgen.
In dit geval moet OpenAI wellicht een tijdelijke oplossing zoeken terwijl het onderzoek naar de onderliggende oorzaak wordt voortgezet. Deze modellen genereren immers inkomsten en moeten bruikbaar zijn. Ik ben geen AI-expert, maar mijn eerste idee zou zijn om een soort gebundeld product te ontwikkelen – een chatinterface met toegang tot verschillende OpenAI-modellen.
Wanneer ze een geavanceerde redenering nodig hebben, roepen ze GPT-4o aan. Wanneer ze de kans op hallucinaties willen verkleinen, roepen ze een ouder model aan, zoals o1. Misschien zou het bedrijf eleganter te werk kunnen gaan en verschillende modellen gebruiken om de verschillende elementen van een enkele query te behandelen, en dan een extra model gebruiken om alles uiteindelijk met elkaar te verbinden. Omdat dit in feite een gezamenlijke inspanning van meerdere AI-modellen zou zijn, zou er misschien ook een soort feitencontrolesysteem kunnen worden geïmplementeerd.
Het hoofddoel is echter niet het verhogen van de nauwkeurigheid. Het hoofddoel is om het aantal hallucinaties te verminderen. Dat betekent dat we zowel waarde moeten hechten aan ‘weet ik niet’-antwoorden als aan antwoorden met het juiste antwoord.
Ik heb eigenlijk geen idee wat OpenAI gaat doen of hoe bezorgd de onderzoekers werkelijk zijn over het toenemende aantal hallucinaties. Ik weet alleen dat meer hallucinaties slecht zijn voor eindgebruikers – het betekent alleen maar meer mogelijkheden om ons te misleiden zonder dat we het doorhebben. Als je een grote fan bent van LLM-modellen, hoef je ze niet te stoppen – maar laat de wens om tijd te besparen niet zwaarder wegen dan de noodzaak om resultaten te controleren. Altijd controleren!
Reacties zijn gesloten.