Hallucinations : quels sont les risques ?
À mesure que l'adoption et l'utilisation de l'intelligence artificielle (IA) se développent, on prend davantage conscience de son risque de présenter des affirmations erronées comme des faits avérés. Ces « hallucinations », des informations qui semblent plausibles mais qui sont fausses, constituent un risque connu lié à l'utilisation de l'IA, mais beaucoup ignorent à quel point elles peuvent être graves. Lorsque les gens ne comprennent pas les risques associés aux hallucinations, ils ne sont pas en mesure d'en évaluer les implications.
Dans le secteur des médias, les grands modèles linguistiques (LLM), un type d'IA générative formée pour comprendre et générer du langage humain, deviendront les moteurs par défaut qui offriront des expériences de divertissement de nouvelle génération. Le succès dans ce domaine repose toutefois sur l'appui des LLM par des sources de données externes fiables, afin de garantir la fourniture de résultats précis, actualisés et pertinents. Ce processus est appelé « ancrage ».
Pourquoi les grands modèles de langage (LLM) produisent-ils des hallucinations ?
Il est important de noter que les grands modèles linguistiques (LLM) ne sont pas des bases de données et qu’ils ne stockent pas de données au sens traditionnel du terme. Il s’agit de matrices de probabilité entraînées sur des données exhaustives, mais finies. Par conséquent, ils synthétisent des réponses plutôt que de récupérer et d’exposer des faits. En pratique, la fonction principale des LLM est de prédire l'élément de texte (par exemple, un token) le plus probable selon un modèle statistiquement imposé. Si le mot suivant le plus plausible d'un point de vue linguistique dans une séquence s'avère incorrect, le LLM le proposera quand même car il correspond au modèle.
Ainsi, la nature probabiliste inhérente à la technologie elle-même est la principale source d'hallucinations, mais cette vulnérabilité technologique est aggravée par les données utilisées pour l'entraînement des modèles. Les modèles sont particulièrement sujets aux hallucinations lorsqu'ils sont invités à répondre à des questions pour lesquelles il n'existe que peu ou pas de données pertinentes dans leur ensemble de données d'entraînement, ou lorsque les données d'entraînement pertinentes sont contradictoires. Cela est particulièrement évident dans les cas d'utilisation liés aux médias, où les questions portent sur des sorties récentes, des événements récents (tels que la dernière cérémonie des Oscars) et des titres moins connus ou marginaux.
Internet porte une grande part de responsabilité dans ce domaine, car il constitue la principale source de données pour l'entraînement des grands modèles de langage (LLM). Ancrer un LLM à des données réelles et vérifiées constitue la principale défense contre les hallucinations. Les méthodes d'ancrage varient, tout comme les sources de données auxquelles elles ont recours. Par conséquent, la fiabilité d'un LLM donné dépend entièrement de la qualité des données auxquelles il a accès. En 2026, aucun LLM n'est exempt d'hallucinations, et compte tenu de la nature de cette technologie, cette réalité ne devrait pas changer de sitôt. L'ancrage est, en réalité, la seule approche viable pour atténuer les hallucinations.
Les grands modèles de langage dans le secteur du divertissement
À mesure que l'IA se généralise et s'intègre de plus en plus dans les pratiques quotidiennes, les fournisseurs de divertissement cherchent à améliorer l'expérience qu'ils offrent à leurs clients en matière de contenu. Dans ce domaine, l'IA présente des avantages considérables par rapport aux technologies traditionnelles de bases de données et de recherche. Des capacités puissantes de classement et de tri, des recommandations hyper-personnalisées, l'harmonisation des catalogues de contenu et la recherche conversationnelle comptent parmi les principaux atouts que les modèles de langage à grande échelle (LLM) peuvent apporter.
Les métadonnées sont à la base du succès de tout grand modèle de langage (LLM) chargé de révolutionner la manière dont les utilisateurs interagissent avec les contenus. Alors que le consommateur ne voit généralement qu’une dizaine ou une vingtaine d’attributs de métadonnées pour un film ou une série télévisée donné(e), streaming et les studios enregistrent souvent des centaines, voire des milliers, de points de données pour chaque titre.
Il est important de noter que le niveau de risque d'hallucinations n'est pas le même pour tous les attributs de métadonnées. Certains attributs, tels que le type de contenu et le genre, présentent un risque très faible d'hallucinations, car les grands modèles de langage (LLM) excellent lorsque les réponses probabilistes s'appuient sur une logique structurée et un mappage catégoriel.
Cependant, lorsque les attributs des métadonnées sont très spécifiques, le risque d'hallucination augmente considérablement. Les identifiants de contenu et les attributs mathématiques, par exemple, présentent un risque d'hallucination très élevé. Dans ces cas-là, les LLM « devineront » avec assurance un nombre qu’ils jugent plausible, mais qui est en réalité erroné. Par exemple, les nombres sont souvent décomposés en sous-tokens. Ainsi, un LLM pourrait percevoir le nombre 154 comme 15 et 4. Lors de la construction de ces éléments, le « calcul » se brise souvent, entraînant des erreurs de type « off-by-one ».
Les numéros de saison et d'épisode posent un défi particulier en raison du mode de fonctionnement des grands modèles de langage (LLM). Par exemple, si un LLM a vu 1 000 épisodes des Simpson, il sait qu'il existe un épisode 5 de la saison 10. Si un spectateur pose une question sur une série de niche ne comptant que six épisodes, le modèle pourrait tout de même avoir tendance à proposer un nombre plus élevé, car la plupart des séries sur lesquelles il a été entraîné comportent des saisons plus longues.
Évaluation du risque d'hallucinations à partir des attributs des métadonnées
Compte tenu de la grande diversité des attributs de métadonnées existants, tous ne sont pas universellement sujets à des « hallucinations ».
Le risque d'erreur concernant le réalisateur, par exemple, n'est pas le même pour les productions des grands studios que pour les petits films indépendants. Dans ce cas, une confusion au niveau des crédits pourrait amener un modèle de langage de grande capacité (LLM) à attribuer à tort le rôle de réalisateur à un producteur ou à un cinéaste contemporain célèbre.
Examinons de plus près le risque d'hallucination pour différents types de contenu et attributs de métadonnées.
Caractéristiques générales
| Attribut | Risque d'hallucinations | Raisonnement |
| Gracenote (ou tout autre identifiant) | Critique | Chaînes non sémantiques : les identifiants n'ont aucun sens sémantique pour un modèle linguistique ; les grands modèles de langage (LLM) se contenteront donc d'inventer une chaîne qui ressemble aux identifiants qu'ils ont déjà rencontrés. Les LLM ne fourniront pas le TMSID correct pour les titres qui ne figurent pas parmi les identifiants occasionnellement mentionnés dans la documentation publique Gracenote. |
| Type | Très faible | Logique structurelle : les modèles savent généralement, grâce au contexte, s’ils parlent d’un film ou d’une série. Il est rare qu’ils confondent un « film » avec un « épisode » lorsque le titre est fourni. Cependant, les modèles ont tendance à confondre les séries et les films portant le même titre, surtout s’ils partagent un membre du casting. |
| Acteurs | Faible | Biais d'association : les grands modèles de langage (LLM) affichent une grande précision pour les noms les plus connus, mais ils peuvent attribuer à tort à un acteur une participation à un projet auquel il n'a jamais pris part, simplement parce qu'il travaille souvent avec ce réalisateur ou dans un genre similaire. |
| Genre | Faible | Classification par catégories : il existe, en principe, une liste finie de genres. Les modèles de langage de grande envergure (LLM) parviennent généralement à classer « The Batman » dans la catégorie « action/policier », même s’ils peuvent passer à côté de certains sous-genres et que leurs réponses ne correspondent pas à une taxonomie standard. |
| Description | Faible | Capacité de génération : les modèles de langage à grande échelle (LLM) sont généralement capables de produire un résumé plausible. Il s'agit là de données « approximatives », pour lesquelles la « précision » est subjective. Cela suppose toutefois que les LLM ne confondent pas ou ne mélangent pas des titres portant le même nom. La description ne respectera pas les normes éditoriales (par exemple, pas de spoilers) à moins que des règles spécifiques ne soient demandées. |
| Images | Critique | Absence de vérification des droits : les grands modèles de langage (LLM) ne peuvent pas vérifier si l'URL d'une image est valide ou pertinente. Ils ont souvent tendance à inventer un chemin d'accès plausible, et les images qui s'affichent correctement ne sont pas classées, leurs droits d'utilisation restant inconnus. |
| Durée | Moyen | Retour à la moyenne : les grands modèles de langage (LLM) ont tendance à estimer des durées standard (22 min, 44 min, 90 min, 120 min) plutôt que la durée d'exécution exacte, au cadre près. |
Caractéristiques du film
| Attribut | Risque d'hallucinations | Raisonnement |
| Année | Moyen | Remarque historique : les années de sortie des films constituent des « faits de référence » dans les données d'entraînement des modèles LLM. Le risque est plus élevé pour les films indépendants peu connus et les projets qui n'ont jamais vu le jour. Cependant, Gracenote ont montré qu'il n'est pas rare que les années de sortie soient erronées d'un an. |
| Directeur | Moyen | Confusion au niveau des crédits : les grands modèles de langage (LLM) ont moins tendance à attribuer à tort le rôle de réalisateur à des personnalités de films célèbres. En revanche, pour les films moins connus, ils peuvent attribuer à tort ce rôle au producteur ou à une personnalité contemporaine plus célèbre. |
Caractéristiques de la série télévisée
| Attribut | Risque d'hallucinations | Raisonnement |
| Période | Moyen | Erreur : les grands modèles de langage (LLM) indiquent généralement correctement l'année de lancement, mais ils peuvent donner une date erronée pour la fin de la série si celle-ci a été annulée ou renouvelée après la date limite de l'entraînement du modèle, alors que la série se poursuit. |
| Créateur | Moyen | Confusion des rôles : les grands modèles linguistiques (LLM) ont souvent du mal à cerner les rôles spécifiques au sein d'une production. Ils peuvent savoir que « Vince Gilligan a créé Breaking Bad », mais ils ont souvent tendance à se tromper sur les liens entre les personnes et leur implication dans une œuvre donnée. |
| Nombre de saisons | Élevé | Limite des connaissances : une série qui compte aujourd’hui cinq saisons n’en comptait peut-être que trois au moment où le modèle a été entraîné. Par conséquent, le LLM présentera l’ancien nombre comme un « fait ». En général, les LLM ne sont pas fiables pour les nombres entiers, car ceux-ci ne sont pas « stockés » comme des faits. Ils sont plutôt prédits à partir de données similaires. |
Caractéristiques des épisodes et des saisons de séries télévisées
| Attribut | Risque d'hallucinations | Raisonnement |
| Titre de l'épisode | Élevé | Devinettes sémantiques: pour les épisodes célèbres (par exemple, « Les Pluies de Castamere »), le taux de précision est élevé. Pour les épisodes plus génériques, les modèles de langage grand public (LLM) inventent un titre qui « semble » correspondre à cette série (par exemple, en inventant un épisode de Friends intitulé « Celui du café »). |
| Numéro de saison | Élevé | Probabilité prédictive : les grands modèles de langage (LLM) considèrent les numéros de saison comme des « séquences probables ». Si une série dure depuis longtemps, le modèle peut prédire une saison 4 plutôt qu'une saison 5, car les deux sont tout aussi « probables » selon ses paramètres de pondération. |
| Numéro de l'épisode | Élevé | Absence d'indexation : sans repères, le LLM ne fait que deviner la position d'un épisode. Il commet souvent des erreurs de type « décalage d'un ». |
| Date de diffusion initiale | Élevé | Reconnaissance de schémas : les grands modèles de langage (LLM) peuvent savoir qu’une émission a été diffusée « les jeudis en 2014 » et inventer de toutes pièces une date plausible correspondant à un jeudi, bien qu’elle soit factuellement incorrecte. |
| Directeur | Élevé | Dilution des crédits : les réalisateurs des épisodes changent constamment. À moins qu’un épisode ne compte un « réalisateur invité » célèbre (par exemple, Tarantino réalisant un épisode de CSI), les modèles de langage de grande capacité (LLM) devineront généralement le showrunner ou un réalisateur habituel de la série. |
La voie mathématique de la moindre résistance
Les grands modèles de langage (LLM) sont entraînés pour minimiser la « perte », ce qui signifie qu'ils cherchent à être aussi « corrects » que possible, conformément à leurs données d'entraînement. Dans un ensemble de données volumineux, certains schémas apparaissent plus souvent que d'autres.
En ce qui concerne les années de sortie : dans les données d'apprentissage, la chaîne « Star Wars » est suivie de « 1977 » des millions de fois. La probabilité que « 1977 » suive « Star Wars » est proche de 100 %.
En ce qui concerne les saisons et les épisodes, l'expression « saison 1 » pour une série de second plan apparaît beaucoup plus souvent dans les données d'entraînement que « saison 7 ». Si le LLM n'est pas certain des faits, il se rabattra par défaut sur le modèle le plus fréquent dans ses données d'entraînement, qui contiennent généralement des chiffres plus bas (1, 2 ou 3).
Gravité sémantique
Les « séquences probables » dépendent également du style du contenu. C'est pourquoi les titres d'épisodes sont si sujets aux erreurs. Si vous demandez à un modèle de langage de grande capacité (LLM) de citer un épisode de Friends, il connaît la formule : « Celui où… »
- La réalité : il n'existe aucun épisode intitulé « Celui de l'éclipse solaire ».
- L'illusion : comme « The One With… » est un préfixe très courant et que « Solar Eclipse » est un trope télévisuel classique (qui signale au public que « les choses vont prendre une tournure bizarre »), le modèle de langage de grande échelle (LLM) les combine pour former une « séquence plausible ». La réponse semble tout à fait authentique car elle respecte les règles sémantiques des titres d'épisodes de Friends, même si elle est factuellement incorrecte.
Le problème des nombres entiers : jetons ou chiffres ?
Les grands modèles de langage (LLM) ne « comptent » pas comme le font les humains. Ils perçoivent les chiffres comme des fragments ; ainsi, le nombre 154 peut être traité comme deux éléments distincts : 15 et 4.
Lorsqu'un modèle de langage de grande capacité (LLM) non entraîné prédit le numéro d'un épisode, il ne se réfère pas à une base de données. Il se demande plutôt : « Dans une suite de chiffres suivant le titre de cette émission, quel chiffre vient généralement ensuite ? »
Si les données d'entraînement indiquent que la série compte environ 20 épisodes par saison et que le LLM a déjà généré une « saison 2 », il privilégiera statistiquement n'importe quel nombre compris entre 1 et 20. Le choix précis entre « 12 » et « 13 » relève souvent du hasard, en raison du « bruit » présent dans le modèle, et vous pourriez obtenir des réponses différentes pour une même requête.
Pourquoi les hallucinations semblent-elles si convaincantes ?
Un modèle de langage (LLM) ne dispose pas d'un état « Je ne sais pas », à moins d'avoir été spécialement configuré à cet effet. Le plus souvent, il se place sur une « séquence probable » et génère des tokens avec un niveau de confiance mathématique élevé, ce qu'on appelle une « carte de probabilité ». Voici un exemple de carte de probabilité concernant les noms de réalisateurs :
Question : Le réalisateur du film Titanic (1997) est…
Probabilités des jetons suivants :
- James : 99,2 %
- Steven : 0,3 %
- George : 0,1 %
Le résultat attendu, compte tenu de l'association indissociable entre James Cameron et le film Titanic.
Question : Le réalisateur de l'épisode télévisé « The Fly » est…
Probabilités des jetons suivants :
- Vince (showrunner de Breaking Bad) : 45 %
- Rian (réalisateur de « Breaking Bad », saison 3, épisode 10) : 30 %
- Michelle (membre assidue du conseil d'administration) : 20 %
Dans ce deuxième exemple, le LLM choisira Vince (Gilligan) car il est plus « susceptible » d’être associé au texte de la série dans son ensemble, même s’il n’a pas réalisé cet épisode en particulier. Étant donné qu’il existe moins de documents écrits concernant cet épisode (par rapport à l’exemple du Titanic ), le volume relativement faible des données d’entraînement fait que la carte de probabilité est plus susceptible de produire une réponse erronée.
Pour offrir des expériences de divertissement de nouvelle génération, la qualité des modèles de langage à grande échelle (LLM) dépend entièrement de la qualité des données auxquelles ils ont accès
Pour que les grands modèles de langage (LLM) d'entreprise puissent offrir les expériences de contenu de nouvelle génération dont ils sont capables, il est essentiel qu'ils aient accès à des données fiables et spécifiques à leur secteur.
L'IA peut améliorer la découverte de contenu, mais pas si les gens ne lui font pas confiance
L'IA générative a le pouvoir de mettre les gens en relation avec le contenu qu'ils recherchent, mais la confiance constitue un obstacle de taille.
La recherche et la découverte de programmes télévisés à l'ère de l'IA
La manière dont les gens recherchent des informations évolue, mais sans les données adéquates, l'IA ne fera que confirmer qu'on ne peut pas lui faire confiance.