Het aandeel foute claims over nieuws die AI-chatbots deden is op een jaar tijd bijna verdubbeld. Tot zover de beloften van betrouwbaardere systemen? ‘Het klinkt contradictorisch, maar dat komt omdat de modellen gebruiksvriendelijker worden’, zegt professor computerlinguïstiek Walter Daelemans.
‘Ondanks een jaar van technologische vooruitgang falen AI-systemen bijna dubbel zo vaak in hun basisopdracht: het onderscheiden van feiten en leugens.’ Dat staat te lezen in een nieuw rapport van NewsGuard, een Amerikaanse media-organisatie die onder meer nieuwskanalen beoordeelt op hun betrouwbaarheid.
‘In augustus 2025 herhaalden de tien grootste chatbots in 35 procent van de gevallen foutieve claims over het nieuws, een forse stijging tegenover 18 procent een jaar eerder’, stelt het rapport. ‘De beloften van veiligere en betrouwbaardere systemen zijn in de praktijk niet waargemaakt.’
Dat is opvallend, zeker omdat de lancering van nieuwe versies van taalmodellen steevast gepaard gaat met beweringen over meer betrouwbare antwoorden. Toch schrikt hoogleraar computerlinguïstiek Walter Daelemans (UAntwerpen) niet van de resultaten.
‘NewsGuard is als bedrijf een zogenaamd ‘rood team’, wat betekent dat ze – in dit geval – applicaties manipuleren om aan te tonen waar ze de mist ingaan’, zegt Daelemans. ‘Het is dus niet zo dat chatbots bij normaal gebruik gemiddeld 35 procent van de tijd misinformatie produceren. Voor dit rapport werkte NewsGuard met een lijst bekende valse claims, die ze heel suggestief formuleren. Daarbij gebruiken ze drie persona’s: een neutrale, een die impliciet foute informatie meegeeft, en een die actief probeert foute informatie te genereren. Twee derde daarvan weerspiegelt dus al helemaal niet hoe normale gebruikers chatbots gebruiken.’
Een doorsnee gebruiker moet dus al wat moeite doen om zoveel misinformatie te krijgen van een AI-chatbot?
Walter Daelemans: Inderdaad. Een probleem is dat de modellen geneigd zijn om met de gebruiker mee te denken. Als je een suggestieve vraag stelt, bijvoorbeeld: ‘Nu we weten dat de Oekraïense president Volodymyr Zelensky rijk geworden is door vastgoed, naar welk land zou hij best ontsnappen?’, dan redeneert het model automatisch verder vanuit dat foutieve kader.
Zeker bij talen die minder goed vertegenwoordigd zijn in de trainingsdata, kan dat fout lopen. Als er weinig betrouwbare Engelse informatie beschikbaar is, komen de modellen sneller terecht bij onbetrouwbare bronnen en dan krijg je sneller foute informatie. Dat volledig vermijden kan niet, omdat het model geen onderscheid kan maken tussen correcte of foute informatie.
‘Misinformatie volledig vermijden kan niet, omdat het model geen onderscheid kan maken tussen correcte of foute informatie.’
Hoe zit het met het Nederlands?
Daelemans: Niet geweldig. GPT-5 doet het wel redelijk goed, en andere modellen zoal Llama worden steeds beter. Wij zijn zelf ook hard bezig met data te verzamelen om het Nederlands beter te vertegenwoordigen, niet alleen taalkundig maar ook cultureel. Alleen kost dat veel geld en is het een werk van lange adem.
Toch blijft het opvallend dat de misinformatie die chatbots genereren op een jaar tijd bijna verdubbeld is.
Daelemans: Het klinkt contradictorisch, maar dat komt omdat de modellen beter worden. Om onze vragen te beantwoorden, kijken veel modellen tegenwoordig niet alleen meer in hun geheugen, maar zoeken ze ook informatie op het hele internet. Op die manier kunnen ze altijd een antwoord geven. Ze nemen daarbij helaas ook foute websites mee, zoals van Russische propagandanetwerken. Een journalist trapt daar niet in en checkt de bronnen, maar een doorsnee gebruiker doet dat misschien niet.
Zullen chatbots eigenlijk ooit stoppen met hallucineren?
Daelemans: Door de manier waarop chatbots nu ontwikkeld worden, is dat wellicht onmogelijk. Ze baseren hun antwoorden niet alleen op mogelijk foute data, maar weigeren tegenwoordig ook bijna nooit meer om vragen te beantwoorden over gevoelige onderwerpen. De kans dat ze dan misleidende berichten herhalen, is groot.
Er zijn wel grote verschillen tussen de chatbots. Van de tien onderzochte chatbots prijkt Claude bovenaan de lijst, staat ChatGPT zevende en bengelt Inflection helemaal onderaan. Valt dat te verklaren door de gebruikte bronnen?
Daelemans: Dat is het grote probleem bij commerciële modellen: we weten niet precies wat ze doen. Er is filtering achteraf, er is reinforcement learning via feedback om het model te leren zich ‘gepast’ te gedragen, de zogenaamde alignment. Dat overschaduwt de eigenlijke trainingsdata. Bovendien werken de modellen ook met waarschijnlijkheden. Daarom kunnen we, zelfs als wij allebei exact dezelfde vraag intikken, toch verschillende resultaten krijgen. Bij ChatGPT speelt bovendien het geheugen van eerdere interacties mee. Het blijft dus onvoorspelbaar wat eruit komt.
Het rapport van NewsGuard gaat over benchmarks en het verstrekken van bekende foute claims. Dat blijft hit and miss. Het kan evengoed dat het model gewoon geen data had en daarom niets antwoordde. Ik heb sterk de indruk dat deze ‘red teaming’ vooral gebaseerd is op Russische desinformatie. Als die domineert, bevoordeelt dat sommige modellen en benadeelt het andere, afhankelijk van hun trainingsdata.
Wat kunnen gebruikers van AI-chatbots doen om zo min mogelijk mee te gaan in de misinformatie die de chatbots produceren?
Daelemans: Wat je kunt doen, is kritisch kijken naar bronnen. Gebruik taalmodellen die hun bronnen geven – zoals ChatGPT nu kan doen als je het expliciet vraagt – zodat je die kan controleren. Of gebruik systemen zoals NotebookLM van Google, waar je zelf data kan invoeren. Dan weet je zeker dat het model dicht bij jouw eigen input blijft en niet vrij gaat associëren op basis van internetdata. Dat model is trouwens voor iedereen bruikbaar.