Perché i modelli linguistici di grandi dimensioni non basati su dati non possono risolvere il problema della scoperta dei contenuti

Immagina questa scena: è la fine di una lunga giornata e ti lasci cadere sul divano del salotto per immergerti nel mondo dello streaming, in cerca di una via di fuga dalla realtà. Invece di scorrere una lista infinita di titoli, chiedi al tuo telecomando a comando vocale di trovarti quel “film thriller poliziesco, teso e dal ritmo lento, ambientato in una piccola cittadina piovosa, appena uscito”.

È proprio questa la bellezza dell’IA generativa: la scoperta di contenuti del mondo reale attraverso la conversazione. Il rovescio della medaglia, tuttavia, è che i modelli linguistici di grandi dimensioni (^LLM1) implementati per uso aziendale non sono in grado di rispondere alle domande allo stesso modo dei chatbot più diffusi, come Gemini e ChatGPT. Questo perché non dispongono di alcuna conoscenza al di fuori dei dati utilizzati per il loro addestramento iniziale.

Nell’esempio sopra riportato, le informazioni relative a un nuovo film non rientreranno nei dati di addestramento di un LLM non contestualizzato. Pertanto, invece di proporre una perla nascosta, l’assistente basato sull’intelligenza artificiale inventerà con sicurezza una trama, combinerà elementi di due film dal titolo simile o consiglierà un film di cui il vostro servizio non detiene nemmeno i diritti di distribuzione.

Quando “abbastanza buono” in realtà non lo è

Nel mondo dell’intelligenza artificiale, le risposte non perfette sono un effetto collaterale ben noto di una tecnologia che opera sulla base delle probabilità. I chatbot più diffusi, tuttavia, traggono vantaggio dal collegamento a fonti di dati esterne affidabili (ad esempio, il “grounding”) a sostegno delle loro risposte. Questo è non il caso dei modelli di linguaggio di grandi dimensioni (LLM) aziendali. Essi conoscono solo ciò con cui sono stati addestrati. Di conseguenza, spesso non sanno come rispondere, oppure si limitano a inventare delle risposte (ad esempio, “allucinano”).

Ad esempio, un recente Gracenote ha rilevato che i modelli di linguaggio di grandi dimensioni (LLM) non addestrati su dati reali faticano a fornire informazioni sui film usciti negli ultimi due anni, indipendentemente dagli incassi al botteghino e dalla copertura mediatica da parte delle principali testate di intrattenimento. Tra questi figurano GOAT, Mercy, Send Help, Solo Mio e It Was Just an Accident.

Tuttavia, il fatto che un LLM non abbia la risposta giusta non significa che ammetterà di non saperla. Nel nostro studio, che ha preso in esame 2.600 tra le principali serie TV e film in 13 paesi, un LLM privo di dati di riferimento ha generato informazioni errate nel 100% delle risposte relative a 506 titoli (il 20% dei titoli inclusi nello studio).

Per ottenere risultati di qualità, tutto sta nei dettagli

Per mettere in contatto gli spettatori con i contenuti che desiderano guardare, i modelli di linguaggio di grandi dimensioni (LLM) non possono limitarsi a fornire informazioni in tempo reale e a confrontare gli attributi dei metadati. Per soddisfare le crescenti aspettative dei clienti, di pari passo con l’aumento dell’utilizzo dell’intelligenza artificiale, sarà fondamentale che un servizio sia in grado di fornire informazioni complete sulle migliaia di titoli presenti nei singoli cataloghi video. In questo ambito, i modelli LLM non addestrati su dati concreti non sono all’altezza del compito.

Per valutare le prestazioni complessive del modello LLM non ancorato, abbiamo assegnato punteggi di qualità ai risultati completi forniti per tutti i 2.600 titoli. I punteggi (qualità zero, bassa, media e alta) riflettono la combinazione di due valutazioni distinte: la corrispondenza degli attributi dei metadati con i dati di riferimento e l’accuratezza fattuale delle risposte. 

Tra i 2.600 titoli esaminati, la percentuale complessiva dei risultati di qualità nulla, bassa e media è risultata piuttosto elevata, oscillando tra il 77% e il 91%. Meno di un terzo dei risultati è stato giudicato di alta qualità. Nei Paesi Bassi e in Messico, meno del 10% è stato giudicato di alta qualità.

In un contesto caratterizzato da una crescente frammentazione dei contenuti e da una crescente stanchezza nei confronti degli abbonamenti, il successo nel settore dell’intrattenimento video dipenderà sempre più dall’esperienza utente. In questo ambito, i modelli di linguaggio di grandi dimensioni (LLM) hanno il potere di alleviare le crescenti frustrazioni legate alla scoperta dei contenuti, ma non se forniscono risultati scadenti. E fin troppo spesso, specialmente nei casi d’uso aziendali, i modelli LLM privi di un fondamento concreto non saranno in grado di fornire i risultati credibili e in tempo reale che determineranno il successo, man mano che i cataloghi crescono e la distribuzione diventa ancora più decentralizzata.

Per ulteriori approfondimenti, scarica il nostro recente sulla risposta non motivata dei modelli LLM.

Nota

1. Gli LLM sono una tipologia di IA generativa addestrata su enormi quantità di dati per comprendere e generare un linguaggio simile a quello umano.