Hallucinaties: wat is het risico?

Naarmate kunstmatige intelligentie (AI) vaker wordt ingezet en gebruikt, groeit ook het bewustzijn dat deze technologie onjuiste feiten kan presenteren alsof ze waar zijn. Deze 'hallucinaties', oftewel plausibel klinkende maar onjuiste informatie, vormen een bekend risico bij het gebruik van AI, maar velen realiseren zich niet hoe ernstig ze kunnen zijn. Als mensen de risico's van hallucinaties niet begrijpen, kunnen ze de implicaties ervan ook niet beoordelen.

In de mediabeschikbaarheid worden large language models (LLM's) – een type generatieve AI dat is getraind om menselijke taal te begrijpen en te genereren – de standaardmotoren voor entertainmentervaringen van de volgende generatie. Succes op dit vlak hangt echter af van het ondersteunen van LLM's met geloofwaardige, externe databronnen om nauwkeurige, actuele en relevante resultaten te leveren. Dit proces wordt 'grounding' genoemd.

Waarom LLM's hallucineren

Belangrijk is dat LLM's geen databases zijn en geen data opslaan in traditionele zin. Het zijn probabilistische matrices die zijn getraind op uitgebreide, maar eindige data. Hierdoor synthetiseren ze antwoorden in plaats de feiten op te halen en te verwoorden. In de praktijk is de belangrijkste taak van LLM's het voorspellen van het meest waarschijnlijke tekstdeel (bijv. een token) in een statistisch voorgeschreven patroon. Als het taalkundig meest plausibele volgende woord in een reeks toevallig onjuist is, levert het LLM dit toch omdat het in het patroon past.

De essentiële, probabilistische aard van de technologie zelf is dus de belangrijkste bron van hallucinaties, maar deze kwetsbaarheid wordt versterkt door de data waarop de modellen zijn getraind. Modellen zijn met name vatbaar voor hallucinaties wanneer ze worden gevraagd om te antwoorden op vragen waarvoor weinig of geen actuele data in hun trainingsdataset aanwezig is, of wanneer de relevante trainingsdata elkaar tegenspreken. Dit is met name zichtbaar in mediatoepassingen waarbij vragen worden gesteld over recente releases, recente gebeurtenissen (zoals de laatste Academy Awards) en minder bekende of nichetitels.

Het internet draagt hier een aanzienlijke verantwoordelijkheid, aangezien het dient als primaire dataset voor de training van LLM's. Het grouden van een LLM met feitelijke, geverifieerde data uit de echte wereld is de belangrijkste verdediging tegen hallucinaties. Groundingmethoden variëren, evenals de databronnen die ze aanboren. Hierdoor is elk individueel LLM slechts zo betrouwbaar als de data waartoe het toegang heeft. Sinds 2026 zijn geen enkele LLM's vrij van hallucinaties, en gezien de aard van de technologie zal deze realiteit naar verwachting niet snel veranderen. Grounding is in feite de enige levensvatbare aanpak om hallucinaties te beperken.

LLM's in de entertainmentindustrie

In lijn met de bredere adoptie en het gebruik van AI, willen entertainmentaanbieders de contentervaringen die ze hun klanten bieden naar een hoger plan tillen. Op dit vlak biedt AI aanzienlijke voordelen ten opzichte van traditionele database- en zoektechnologieën. Krachtige rangschikkings- en sorteermogelijkheden, hypergepersonaliseerde aanbevelingen, harmonisatie van contentcatalogi en conversatiegericht zoeken behoren tot de belangrijkste voordelen die LLM's kunnen bieden.

Metadata vormen de fundamenten voor het succes van elk LLM dat tot taak heeft om de manier waarop mensen content ervaren te revolutioneren. Hoewel de consument misschien slechts 10 of 20 metadata-attributen ziet voor een bepaalde film of tv-show, traceren streamingdiensten en studio's vaak honderden – of zelfs duizenden – datapunten voor individuele titels.

Belangrijk is dat de mate van het hallucinatierisico niet consistent is voor alle metadata-attributen. Bepaalde attributen, zoals contenttype en genre, vormen een zeer laag risico op hallucinaties omdat LLM's uitblinken wanneer waarschijnlijkheidsreacties gericht zijn op gestructureerde logica en categorische mapping. 

Wanneer metadata-attributen echter zeer uniek zijn, neemt het risico op hallucinaties aanzienlijk toe. Content ID's en wiskundige attributen brengen bijvoorbeeld een zeer hoog hallucinatierisico met zich mee. In dergelijke gevallen zal een LLM vol zelfvertrouwen een getal 'gokken' waarvan het denkt dat het plausibel is, terwijl het feitelijk onjuist is. Nummers worden bijvoorbeeld vaak opgesplitst in sub-tokens. Zo kan een LLM het getal 154 zien als 15 en 4. Bij het samenstellen hiervan loopt de 'wiskunde' vaak spaak, wat leidt tot fouten van één cijfer ernaast. 

Seizoens- en afleveringsnummers zijn bijzonder uitdagend vanwege de werking van LLM's. Als een LLM bijvoorbeeld 1000 afleveringen van The Simpsons heeft gezien, weet het dat er een seizoen 10, aflevering 5 bestaat. Als een kijker vraagt naar een niceshow met slechts zes afleveringen, kan het nog steeds leunen naar een hoger nummer omdat de meeste shows waarop het is getraind langere seizoenen hebben.

Het beoordelen van het hallucinatierisico op basis van metadata-attributen

Gezien de brede variëteit aan bestaande metadata-attributen zijn deze niet allemaal universeel vatbaar voor hallucinaties. 

Het risico op een hallucinatie over een regisseur verschilt bijvoorbeeld voor producties van grote studio's ten opzichte van kleine, onafhankelijke films. Hier kan naamsverwarring ertoe leiden dat een LLM een producent of beroemde hedendaagse filmmaker aanwijd als regisseur.

Laten we dieper ingaan op het hallucinatierisico binnen specifieke contenttypen en metadata-attributen.

Algemene attributen

Filmatributen

Tv-serie-attributen

Kenmerken van tv-afleveringen en -seizoenen

De wiskundige weg van de minste weerstand

Grote taalmodellen (LLM’s) zijn getraind om ‘verlies’ te minimaliseren, wat betekent dat ze zo ‘correct’ mogelijk willen zijn op basis van hun trainingsgegevens. In een enorme dataset komen bepaalde patronen vaker voor dan andere.

Wat betreft de jaar van uitgave: in de trainingsdata wordt de tekenreeks „Star Wars“ miljoenen keren gevolgd door „1977“. De kans dat „1977“ volgt op „Star Wars“ is bijna 100%.

Wat seizoenen en afleveringen betreft, komt ‘seizoen 1’ voor een middelgrote serie veel vaker voor in de trainingsdata dan ‘seizoen 7’. Als het LLM twijfelt over de feiten, kiest het standaard voor het meest voorkomende patroon in de trainingsdata, dat doorgaans lagere getallen bevat (1, 2 of 3).

Semantische zwaartekracht

"Waarschijnlijke reeksen" worden ook bepaald door de stijl van de content. Daarom zijn afleveringstitels zo vatbaar voor hallucinaties. Als je een groot taalmodel vraagt om een aflevering van Friends te noemen, kent het het patroon: "The One With…"

• De realiteit: er is geen aflevering met de titel „Die met de zonsverduistering“.
• De illusie: Omdat „The One With…“ een veelvoorkomend voorvoegsel is en „Solar Eclipse“ een gangbaar tv-cliché (het geeft het publiek het signaal dat „het er vreemd aan toe gaat“), combineert het LLM deze tot een „waarschijnlijke reeks“. Het antwoord klinkt 100% authentiek omdat het de semantische regels van de afleveringstitels van Friends volgt, ook al is het feitelijk onjuist.

Het probleem met gehele getallen: tokens versus getallen

Grote taalmodellen ‘tellen’ niet op dezelfde manier als mensen. Ze beschouwen getallen als afzonderlijke delen, dus het getal 154 kan worden verwerkt als twee afzonderlijke eenheden: 15 en 4.

Wanneer een ongetrainde LLM een afleveringsnummer voorspelt, raadpleegt hij geen database. Hij vraagt zich af: „Welk cijfer volgt er meestal in een reeks getallen na de titel van deze serie?“

Als uit de trainingsgegevens blijkt dat de serie ongeveer 20 afleveringen per seizoen telt en het LLM al „seizoen 2“ heeft gegenereerd, zal het statistisch gezien de voorkeur geven aan elk getal tussen 1 en 20. De specifieke keuze tussen „12“ en „13“ is vaak een kwestie van geluk, afhankelijk van de „ruis“ in het model, en je zou verschillende antwoorden kunnen krijgen op dezelfde prompt.

Waarom hallucinaties er zo overtuigend uitzien

Een LLM kent geen ‘ik weet het niet’-toestand, tenzij het daar specifiek op is afgestemd. Meestal kiest het voor een ‘waarschijnlijke reeks’ en genereert het tokens met een hoge wiskundige betrouwbaarheid, een ‘waarschijnlijkheidskaart’. Hier is een voorbeeld van een waarschijnlijkheidskaart met betrekking tot regisseursnamen:

Vraag: De regisseur van de film Titanic (1997) is…

Kansen voor het volgende token:

• James: 99,2%
• Steven: 0,3%
• George: 0,1%

Het verwachte resultaat vanwege de overweldigende geschreven associatie tussen James Cameron en de film Titanic.

Invoer: De regisseur van de tv-aflevering 'The Fly' is...

Kansen voor het volgende token:

• Vince (showrunner, Breaking Bad): 45%
• Rian (daadwerkelijke regisseur, Breaking Bad, S03 E10): 30%
• Michelle (veelvoorkomende regisseur): 20%

In dit tweede voorbeeld kiest het LLM voor Vince (Gilligan) omdat hij 'waarschijnlijker' in verband wordt gebracht met de tekst van de serie in zijn algemeenheid, ook al heeft hij die specifieke aflevering niet geregisseerd. Omdat er minder geschreven materiaal over deze aflevering beschikbaar is (vergeleken met het Titanic-voorbeeld), zorgt de relatief marginale trainingsdata ervoor dat de waarschijnlijkheidskaart waarschijnlijk een onjuist antwoord oplevert.