Hoe RAG en MCP van invloed zijn op AI-gestuurde tv-ervaringen

De groeiende aanwezigheid van artificial intelligence (AI) in ons dagelijks leven heeft de wens van consumenten naar personalisatie en direct resultaat versterkt. In de entertainmentwereld verwachten mensen direct antwoord, gerichte suggesties en de mogelijkheid om actie te ondernemen op basis van wat ze zien en horen. Voor de een betekent dit het vinden van de perfecte film voor een specifiek moment, voor de ander de wedstrijd tussen hun favoriete team en grootste rivaal.

Om deze ervaringen mogelijk te maken, makenuitgevers, platforms en diensten in toenemende mate gebruik van large language models (LLMs)¹, die de standaardengines zullen worden voor entertainmentomgevingen van de volgende generatie. 

LLMs zijn probabilistische matrices, geen databases, die zijn getraind op uitgebreide maar eindige data. De fundamentele aard van deze nieuwe technologie betekent dat LLMs data synthetiseren in plaats van ophalen, en daarom vatbaar zijn voor 'hallucinaties', waarbij ze plausibel lijkende maar onjuiste data teruggeven. Om ervoor te zorgen dat antwoorden van LLMs nauwkeurig, relevant en betrouwbaar zijn, moeten LLMs worden gekoppeld aan aanvullende kennisbronnen uit de echte wereld. Dit proces van 'grounding' vermindert fouten, verrijkt resultaten en zorgt voor contextuele relevantie. Er zijn twee primaire methoden om LLMs te gronden: retrieval-augmented generation (RAG) en de Model Context Protocol (MCP).

RAG en MCP pakken elk de beperkingen van LLM's aan, maar benaderen het probleem op fundamenteel verschillende manieren.

Kort samengevat:

RAG omvat een proces waarbij de oorspronkelijke prompt wordt verrijkt met relevante data uit een externe kennisbank met relevante documenten. Dit verrijkte proces wordt verwerkt en het antwoord weerspiegelt de nauwkeurigheid van de data uit de externe kennisverrijking.

MCP is een open-sourceprotocol dat standaardiseert hoe applicaties context bieden aan LLMs. Als universele interface, soms omschreven als de 'USB-C voor AI', verbindt MCP LLMs met externe databronnen en logica, waardoor aangepaste code en integraties overbodig worden. Hier is een LLM gekoppeld aan een of meer MCP-servers die realtime validatie voor binnenkomende zoekopdrachten vergemakkelijken.

RAG: de expert in het ophalen van documenten

Van de twee technieken heeft RAG de meeste geschiedenis. Met wortels in vroege informatiewinning werd RAG in 2020 voor het eerst besproken als een proces om LLMs dynamisch te verbinden met externe kennisopslagplaatsen.

Eenvoudig gezegd stelt RAG LLMs in staat om te verwijzen naar informatie buiten hun trainingsdata voordat ze reageren op een gebruikersvraag. Met RAG hoeven LLMs niet constant opnieuw te worden getraind om actueel te blijven. In plaats daarvan zorgen periodieke updates van de externe kennisbank ervoor dat de antwoorden van een LLM actueel en relevant blijven.

Hoewel RAG de nauwkeurigheid en relevantie van LLM-output drastisch verbetert, heeft het ook enkele beperkingen:

1. RAG werkt het beste bij ongestructureerde, documentgebaseerde informatieopvraging.
2. RAG verrijkt de prompt voordat de LLM begint met verwerken, zodat de LLM zijn eigen interne logica niet kan gebruiken om relevante informatie te achterhalen.

MCP: De katalysator voor acties in realtime

MCP is eind 2024 uitgebracht als open-sourceprotocol en lost de uitdaging op van het ontwikkelen van maatwerkintegraties tussen databronnen en AI-modellen. Als universele connector creëert MCP een interface tussen een LLM en externe databronnen. Met een API met lage latentie en een uniforme, geabstraheerde interface stelt MCP LLM's in staat om realtime, actuele informatie op te halen bij een of meer domeinspecifieke services. Ook kan de LLM hiermee specifieke tools aanroepen om het best mogelijke antwoord te geven.

Met MCP kunnen LLM's naadloos worden gekoppeld aan tal van databronnen, wat zorgt voor toegang tot data en acties in realtime. Dankzij deze architectuur voorziet MCP antwoorden van onderbouwing met externe kennisbronnen na een gebruikersvraag. Dit maakt het ideaal voor scenario's waarin de meest recente informatie nodig is, zoals sportscores of schommelingen in aandelenkoersen.

MCP is de juiste technologie voor de entertainmentwereld van morgen

RAG en LLM's zijn in de kern ontworpen om hetzelfde te doen: LLM-antwoorden verrijken met externe context om hallucinaties te verminderen en contextuele relevantie te bieden. Ze blinken echter uit in verschillende datatypen, bieden verschillende niveaus van geavanceerdheid en de methoden waarmee ze deze taak uitvoeren verschillen fundamenteel.

RAG is het meest geschikt voor het ophalen van ongestructureerde documentdata, terwijl MCP is geoptimaliseerd voor gestructureerde realtime datatoegang. Hoewel LLM's aanzienlijk betere zoek- en ontdekkingservaringen bieden dan traditionele technologie-infrastructuren, is MCP de ideale onderbouwingsoplossing in content-first ervaringen die gebruikmaken van gestructureerde data en afhankelijk zijn van redeneringen die het best buiten de LLM zelf plaatsvinden.

Actualiteit van data is hier cruciaal. Statische documentbestanden zijn handig voor een gebruikersvraag over de geschiedenis van hoe een specifieke film of tv-show is ontwikkeld, maar ze kunnen gebruikers niet helpen te achterhalen wanneer of waar die show of film wordt uitgezonden. Trainingsdata van LLM's zijn tijdgebonden, dus onderbouwing voorziet LLM's niet alleen van correcte data, maar ook van actuele en tijdige data. Hierdoor krijgen LLM's toegang tot de echte wereld buiten hun 'kennisvergrendelde' model.

Maar programma-beschikbaarheid is slechts het tipje van de ijsberg. MCP luidt een nieuw tijdperk van entertainmentervaringen in vanwege de capaciteit om uiterst rijke en gepersonaliseerde ervaringen te creëren. Hier is een voorbeeld:

• Een CTV-aanbieder wil een dagelijkse rij aanbevolen films maken op basis van de locatie van een gebruiker en het actuele weer.
• De aanbieder verbindt de fundamentele LLM met twee MCP-servers: een die het weer voor de locatie retourneert en een die het content-ID voor een combinatie van film en jaar retourneert.
•  Wanneer de gebruiker zich die dag voor het eerst aanmeldt, vraagt de aanbieder de LLM om de top 10 van films op basis van populariteit te retourneren, afgestemd op het weer op het specifieke IP-adres.
• De LLM gebruikt de weer-MCP om het actuele weer te bepalen. 
• Vervolgens stelt de LLM een lijst samen met films die bij dat weer passen, uitsluitend op basis van de kennis in het fundamentele model. 
• De LLM raadpleegt een entertainment-metadataprovider die het content-ID voor elke aanbevolen film retourneert.
• De filmaanbevelingen worden doorgegeven aan de CTV-aanbieder en worden aan de gebruiker getoond.
  

Het gebruik van LLM's zal revolutionair zijn voor het publiek, maar zonder onderbouwing zijn LLM's beperkt tot niet-geverifieerde, tijdgebonden antwoorden. Dankzij onderbouwde LLM's kunnen platforms en services loskomen van de beperkingen van traditionele zoekinfrastructuren, terwijl ze de deur openzetten naar een brede reeks geavanceerde zoekopdrachten die meer actuele en relevante antwoorden opleveren.

Lees meer en download onze whitepaper over MCP Server.

Opmerking

1. LLM's zijn een type generatieve AI die content creëren op basis van aangeleerde patronen.