Waarom ongegronde large language models contentontdekking niet kunnen oplossen

Stelt u zich eens voor: het is het einde van een lange dag en u ploft op de bank om u onder te dompelen in de wereld van streaming, als ontsnapping aan de realiteit. In plaats van door een eindeloze muur van programmategels te scrollen, vraagt u uw spraakgestuurde afstandsbediening om die 'spannende, langzaam opbouwende misdaadthriller in een klein, regenachtig stadje die net uit is' te vinden.

Dit is de kracht van generatieve AI: conversatiegerichte, alledaagse contentontdekking. Het nadeel is echter dat de large language models (LLMs¹) die voor bedrijfsdoeleinden worden ingezet, niet zijn uitgerust om vragen te beantwoorden op dezelfde manier als populaire chatbots zoals Gemini en ChatGPT. Dat komt doordat ze geen enkele kennis hebben buiten hun initiële trainingsdata.

In het bovenstaande voorbeeld valt informatie over een nieuwe film buiten de trainingsdata van een niet-gegrondend LLM. Dus in plaats van een verborgen pareltje klaar te zetten, verzint de door AI aangedreven assistent vol zelfvertrouwen een plot, combineert elementen van twee op elkaar lijkende films of beveelt een film aan waarvan uw abonnementsdienst niet eens de distributierechten heeft.

Wanneer 'goed genoeg' eigenlijk niet goed genoeg is

In de wereld van AI zijn niet-volmaakte antwoorden een bekend bijproduct van technologie die reageert op basis van waarschijnlijkheid. Populaire chatbots hebben echter het voordeel dat ze zijn gekoppeld aan geloofwaardige, externe databronnen (bijv. 'grounding') om hun antwoorden te onderbouwen. Dit is niet het geval bij enterprise LLMs. Zij weten alleen waarmee ze zijn getraind. Als gevolg daarvan weten ze vaak niet hoe ze moeten reageren, of verzinnen ze simpelweg dingen (bijv. 'hallucineren').

Zo bleek uit een recent Gracenote-onderzoek dat niet-gegrondende LLMs moeite hebben om informatie te verstrekken over films die in de afgelopen twee jaar in première zijn gegaan, ongeacht de opbrengsten aan de kassa en de media-aandacht in populaire entertainmentpublicaties. Voorbeelden hiervan zijn GOAT, Mercy, Send Help, Solo Mio en It Was Just an Accident.

Het feit dat een LLM het juiste antwoord niet heeft, betekent echter niet dat het toegeeft dat het het niet weet. In ons onderzoek, met daarin 2.600 populaire tv-shows en films in 13 landen, hallucineerde een niet-gegrondend LLM 100% van de antwoordinformatie voor 506 van de titels (20% van de titels in het onderzoek).

Voor kwaliteitsresultaten zit de kneep in de data

Om kijkers te verbinden met iets wat ze willen zien, hebben LLMs meer nodig dan realtime informatie en het vermogen om metadata-attributen te matchen. Het waarmaken van de stijgende verwachtingen van klanten naarmate het AI-gebruik groeit, hangt af van het vermogen van een dienst om uitgebreide informatie te verstrekken over de duizenden titels in individuele videocatalogi. Hier schieten niet-gegrondende LLMs te kort.

Om de algehele prestatie van het niet-gegrondende LLM te beoordelen, hebben we kwaliteitsscores toegekend aan de volledige resultaten die zijn verstrekt voor alle 2.600 titels. De scores (nul-, lage, gemiddelde en hoge kwaliteit) weerspiegelen de combinatie van twee afzonderlijke beoordelingen: het matchen van metadata-attributen tegen de grounding-data en de feitelijke juistheid van de antwoorden. 

Over de 2.600 titels heen waren de geaggregeerde nul-, lage en gemiddelde kwaliteitsresultaten vrij hoog, variërend van 77% tot 91%. Minder dan een derde van de resultaten werd als van hoge kwaliteit beschouwd. In Nederland en Mexico werd minder dan 10% als van hoge kwaliteit beschouwd.

Te midden van toenemende contentfragmentatie en abonnementsmoeheid zal succes in video-entertainment steeds meer afhangen van de gebruikerservaring. Hier hebben LLMs de macht om toenemende frustraties over contentontdekking te verzachten, maar niet als ze slechte resultaten leveren. En maar al te vaak, vooral bij enterprise use-cases, gaan niet-gegrondende LLMs niet de geloofwaardige, realtime resultaten leveren die het succes zullen bepalen naarmate catalogi groeien en distributie nog gedecentraliseerder wordt.

Download voor meer inzicht ons recente ongegrondende LLM-antwoordonderzoek.

Opmerking

1. LLMs zijn een type generatieve AI dat is getraind op enorme hoeveelheden data om menselijke taal te begrijpen en te genereren.