Waarom grote taalmodellen zonder grondgegevens het probleem van content niet kunnen oplossen

Stel je eens voor: het is het einde van een lange dag en je ploft neer op de bank in je woonkamer om je onder te dompelen in de wereld van streaming, als een manier om even aan de echte wereld te ontsnappen. In plaats van door een eindeloze reeks programmategels te scrollen, vraag je je spraakgestuurde afstandsbediening om die „spannende, langzaam opbouwende misdaadthriller te zoeken die zich afspeelt in een klein, regenachtig stadje en net is uitgekomen.”

Dat is het mooie van generatieve AI: content op een conversatieachtige manier content uit de echte wereld. Het nadeel is echter dat de grote taalmodellen (^LLM’s1) die voor zakelijk gebruik worden ingezet, niet in staat zijn om vragen te beantwoorden op dezelfde manier als populaire chatbots zoals Gemini en ChatGPT dat doen. Dat komt doordat ze geen kennis hebben buiten hun oorspronkelijke trainingsgegevens om.

In het bovenstaande voorbeeld valt informatie over een nieuwe film buiten de trainingsgegevens van een LLM zonder contextuele kennis. In plaats van een verborgen pareltje aan te bevelen, zal de AI-aangedreven assistent dus vol vertrouwen een verhaallijn verzinnen, elementen van twee films die qua titel op elkaar lijken combineren, of een film aanbevelen waarvoor jouw dienst niet eens de distributierechten heeft.

Wanneer ‘goed genoeg’ eigenlijk niet genoeg is

In de wereld van AI zijn niet-perfecte antwoorden een bekend neveneffect van technologie die op basis van waarschijnlijkheid reageert. Populaire chatbots profiteren er echter van dat ze zijn gekoppeld aan betrouwbare, externe gegevensbronnen (bijvoorbeeld ‘grounding’) om hun antwoorden te onderbouwen. Dit is niet het geval bij LLM’s voor bedrijven. Zij weten alleen wat ze tijdens de training hebben geleerd. Daardoor weten ze vaak niet hoe ze moeten reageren, of verzinnen ze gewoon dingen (bijvoorbeeld ‘hallucineren’).

Uit een recent Gracenote is bijvoorbeeld gebleken dat LLM’s zonder context moeite hebben om informatie te verstrekken over films die de afgelopen twee jaar in première zijn gegaan, ongeacht de opbrengsten aan de kassa en de aandacht in populaire entertainmentbladen. Voorbeelden hiervan zijn GOAT, Mercy, Send Help, Solo Mio en It Was Just an Accident.

Het feit dat een LLM het juiste antwoord niet weet, betekent echter nog niet dat het zal toegeven dat het het niet weet. In ons onderzoek, dat 2.600 populaire tv-programma’s en films uit 13 landen omvatte, verzon een LLM zonder feitelijke basis 100% van de antwoordinformatie voor 506 van de titels (20% van de titels in het onderzoek).

Voor kwalitatief hoogwaardige resultaten zit het hem in de details van de gegevens

Om kijkers te koppelen aan iets wat ze willen bekijken, hebben LLM’s meer nodig dan alleen realtime-informatie en de mogelijkheid om metagegevenskenmerken te matchen. Of er aan de stijgende verwachtingen van klanten kan worden voldaan naarmate het gebruik van AI toeneemt, hangt af van het vermogen van een dienst om uitgebreide informatie te bieden over de duizenden titels in individuele videocatalogi. Op dit vlak zijn LLM’s zonder context niet opgewassen tegen deze taak.

Om de algehele prestaties van het niet-gegrondvest LLM te beoordelen, hebben we kwaliteitsscores toegekend aan de volledige resultaten die voor alle 2.600 titels werden geleverd. De scores (nul-, lage-, gemiddelde- en hoge kwaliteit) weerspiegelen de combinatie van twee afzonderlijke beoordelingen: de overeenstemming van metagegevensattributen met de grondgegevens en de feitelijke nauwkeurigheid van de antwoorden. 

Over de 2.600 titels genomen was het totale percentage resultaten van lage, gemiddelde en geen kwaliteit vrij hoog, variërend van 77% tot 91%. Minder dan een derde van de resultaten werd als van hoge kwaliteit beoordeeld. In Nederland en Mexico werd minder dan 10% als van hoge kwaliteit beoordeeld.

Te midden van toenemende content en abonnementsmoeheid zal succes op het gebied van video-entertainment steeds meer afhangen van de gebruikerservaring. Hier kunnen LLM’s de groeiende frustraties over content helpen verlichten – maar niet als ze slechte resultaten opleveren. En maar al te vaak, vooral in zakelijke toepassingen, zullen LLM’s zonder solide basis niet de betrouwbare, realtime resultaten opleveren die bepalend zijn voor succes, naarmate catalogi groeien en de distributie nog verder gedecentraliseerd raakt.

Download voor meer informatie ons recente onderzoek naar ongegronde LLM-reacties.

Opmerking

1. LLM’s zijn een vorm van generatieve AI die op basis van enorme hoeveelheden gegevens zijn getraind om mensachtige taal te begrijpen en te genereren.