Kan AI de juiste tv-aflevering vinden? Niet op betrouwbare wijze.

De wereld wordt steeds meer een wereld van conversaties, en GenAI helpt mensen hun weg te vinden in een steeds complexere wereld. In de entertainmentwereld maken tv-kijkers gebruik van spraakgestuurd zoeken om hun weg te vinden in het overvolle, steeds groter wordende videolandschap, dat zich steeds verder versnipperd over verschillende kanalen en diensten.

Hoewel spraakfunctionaliteit op allerlei apparaten wijdverbreid is, hangt het nut van deze technologie echter af van gegevens: informatie uit de praktijk en in realtime die een^LLM1 gebruikt om de antwoorden op vragen van gebruikers te valideren, aan te vullen en te corrigeren. Binnen de streamingwereld is dit met name van cruciaal belang voor episodische content.

Niet alleen is de hoeveelheid content het aantal beschikbare films, maar het publiek zoekt ook op een andere manier naar tv-afleveringen dan naar films. Kijkers weten zelden welk seizoen of welke aflevering ze precies willen zien, vooral bij series die al zo lang lopen als klassiekers als NCIS, Grey’s Anatomy en The Simpsons. Daarom gebruiken ze bij het zoeken contextuele zoekopdrachten zoals “Toon me de kerstafleveringen van The Office”en “In welke afleveringen van Friends speelt Bruce Willis een gastrol?”

In deze gevallen zullen de antwoorden van LLM’s doorgaans onjuist zijn. Dat komt doordat ze hun antwoorden baseren op waarschijnlijkheid, waarbij ze gebruikmaken van seizoen- en afleveringsnummers. Voor aanbieders zal de slechte gebruikerservaring die gepaard gaat met onjuiste antwoorden de frustraties over content toenemende content nog verder vergroten. Afleveringsgebaseerde content een grote rol in content , aangezien tv-afleveringen goed zijn voor 85% van de content door de zes wereldwijde SVOD-aanbieders die worden bijgehouden in de Gracenote Data Hubworden bijgehouden.

Naarmate videocatalogi groeien, zal GenAI steeds nuttiger worden voor kijkers die op zoek zijn naar iets om te bekijken. In slechts anderhalf jaar tijd is het aantal tv-afleveringen dat voor het publiek beschikbaar is bijvoorbeeld met meer dan 21% toegenomen.

Door functies aan te bieden zoals conversatiegerichte zoekfuncties, gepersonaliseerde beelden bij programma’s, op maat gemaakte aanbevelingen en realtime sporthoogtepunten, zal GenAI de manier waarop kijkers met content omgaan ingrijpend veranderen.

Om deze mogelijkheden te kunnen bieden – en deze op een relevante en gepersonaliseerde manier te kunnen aanbieden – hebben de grote taalmodellen (LLM’s) die ten grondslag liggen aan zoek- en ontdekkingsfuncties toegang nodig tot nauwkeurige en uitgebreide entertainmentgegevens. Dit geldt met name voor de 50% van de Amerikanen die aangeven dat ze zouden overwegen een abonnement op te zeggen als er geen content wordt aangeboden content ^{hen interesseert2}.

De koppeling met gevalideerde, realtime gegevens is van cruciaal belang, aangezien de LLM’s die voor zakelijk gebruik worden ingezet, niet zijn gekoppeld aan externe informatiebronnen. In tegenstelling tot populaire chatbots (bijvoorbeeld ChatGPT, Gemini) weten ze alleen wat hun trainingsgegevens bieden. Informatie over nieuwe programma’s valt vaak buiten de trainingsgegevens van een LLM, waardoor ze niet in staat zijn om kijkers te helpen bij het vinden van wat ze zoeken. De komedie Rooster, met Steve Carell in de hoofdrol, is bijvoorbeeld te nieuw om informatie over te bevatten in een LLM die in 2025 is uitgebracht.

Ongefundeerde LLM-antwoorden en de ervaring van de kijker 

Zoals uiteengezet in ons recente rapport „Plot holes in AI”, hebben LLM’s zonder context moeite om nauwkeurige antwoorden te geven wanneer ze worden gevraagd naar basiskenmerken van populaire tv-series en films. Bij episodische content is deze tekortkoming nog veel duidelijker. Dat komt doordat metagegevens op afleveringsniveau veel unieker zijn dan op het niveau van de programmatitel. 

Semantisch giswerk, voorspellende waarschijnlijkheid en een gebrek aan indexeringsmogelijkheden dragen er allemaal toe bij dat de kans veel groter is dat een LLM zonder context gaat hallucineren wanneer het alleen beschikt over een programmatitel, een seizoensnummer en een afleveringsnummer. En wat belangrijk is: kijkers zoeken zelden naar een aflevering op basis van de titel.

Om beter inzicht te krijgen in het belang van contextgebondenheid bij het zoeken en ontdekken op afleveringsniveau, hebben we onlangs de kwaliteit beoordeeld van contextloze LLM-antwoorden op eenvoudige vragen over specifieke tv-afleveringen. Hoewel mensen niet op deze manier zoeken, hebben we in onze zoekopdrachten seizoen- en afleveringsnummers gebruikt om de nauwkeurigheid van de bijbehorende metagegevens te evalueren. Het onderzoek omvatte 100 populaire afleveringen uit 13 landen (in totaal 1.300).

Over het geheel genomen was de feitelijke nauwkeurigheid van de antwoorden voor afleveringen aanzienlijk lager dan die voor tv-series en films. Van de 100 populairste afleveringen in de VS was bijvoorbeeld gemiddeld slechts 27% van de programmabeschrijvingen^correct², vergeleken met gemiddeld 69% van de beschrijvingen voor de 100 populairste tv-series en de 100 populairste films.

Nauwkeurigheid was niet het enige punt waar de ongetrainde LLM moeite mee had bij de 1.300 afleveringen (100 per land) in het onderzoek. Het ontbreken van informatie vormde een nog groter probleem, aangezien het geen geen informatie (titel, beschrijving, acteurs, genre) beschikte. Dit kwam het duidelijkst naar voren in Zweden, waar voor 73 van de 100 afleveringen geen informatie werd verstrekt. In de VS leverde het ongetrainde LLM voor 31 afleveringen geen informatie.

Die met het verkeerde verhaal

Wanneer de niet-getrainde LLM geen lege antwoorden teruggaf, leverde hij vaak onjuiste afleveringsbeschrijvingen – een neveneffect van semantisch gissen, voorspellende waarschijnlijkheid en een gebrek aan indexering. Hoewel kijkers waarschijnlijk nooit naar een aflevering zouden zoeken met alleen een serienummer en een afleveringsnummer, gebruiken streamingdiensten deze kenmerken om de resulterende afleveringstitels om te zetten in deep links of een bijbehorend record in hun data lake. Hier zijn harmonisatie en indexering van backend-gegevens van cruciaal belang om ervoor te zorgen dat een dienst content elke individuele kijker nauwkeurig de juiste content kan weergeven. 

Omdat elke zoekopdracht slechts een serienummer en een afleveringsnummer bevatte, gaf de niet-gegrondelde LLM vaak beschrijvingen die betrekking hadden op de details van totaal andere afleveringen dan die waarnaar werd gevraagd. In de onderstaande voorbeelden zijn de titels en beschrijvingen die door de niet-gegrondelde LLM worden gegeven, onjuist.

Aarding is van cruciaal belang voor content van de volgende generatie

De manier waarop consumenten naar informatie zoeken en de hulpmiddelen die ze daarbij gebruiken, veranderen. Het gebruik van GenAI is gemeengoed onder digital natives, en het wordt in steeds bredere kringen toegepast.

content huidige content is te uitgestrekt om met verouderde zoekfuncties te doorzoeken – zelfs binnen afzonderlijke platforms en diensten. Het gebruik van GenAI voor content en ontdekken content betekent een ingrijpende verandering in de gebruikerservaring, die het potentieel heeft om het negatieve sentiment onder kijkers aanzienlijk te verminderen naarmate content toeneemt. 

Maar toen hem werd gevraagd naar aflevering 2 van seizoen 2 van Stranger Things, combineerde het antwoord van de ongefundeerde LLM informatie uit verschillende afleveringen. Hierdoor zal een kijker uiteindelijk wantrouwig worden tegenover de dienst, iets wat nu al veel voorkomt onder huidige chatbotgebruikers: 75% geeft aan de resultaten van AI-chatbots te controleren omdat ze bang zijn dat deze^{onjuist zijn³}.

Het eindresultaat in dit scenario is een slechte gebruikerservaring – een ervaring die ertoe zou kunnen leiden dat de kijker elders op zoek gaat naar iets om te bekijken.

Voor meer informatie over het gebruik van niet-gegrond LLM’s bij content en ontdekken van content kunt u ons rapport 'Plot holes in AI'.

Aantekeningen

1. LLM’s zijn een vorm van generatieve AI die op basis van enorme hoeveelheden gegevens zijn getraind om mensachtige taal te begrijpen en te genereren.
2. In vergelijking met de gegevens over het aan de grond lopen.
3. Gracenote Onderzoek naar het gebruik van GenAI in 2026