Alucinações: qual é o risco?

À medida que a adoção e o uso da inteligência artificial (IA) crescem, também aumenta a conscientização sobre seu potencial de apresentar afirmações incorretas como se fossem fatos. Essas “alucinações” — informações que parecem plausíveis, mas são falsas — são um risco conhecido associado ao uso da IA, mas muitas pessoas não têm noção de quão graves elas podem ser. Quando as pessoas não compreendem os riscos associados às alucinações, não conseguem avaliar suas implicações.

No setor de mídia, os grandes modelos de linguagem (LLMs), um tipo de IA generativa treinada para compreender e gerar linguagem humana, se tornarão os mecanismos padrão para oferecer experiências de entretenimento de última geração. O sucesso nessa área, no entanto, depende do apoio aos LLMs por meio de fontes de dados externas confiáveis, a fim de garantir a apresentação de resultados precisos, atualizados e relevantes. Esse processo é chamado de “grounding”.

Por que os LLMs têm alucinações

É importante ressaltar que os LLMs não são bancos de dados e não armazenam dados no sentido tradicional. Eles são matrizes de probabilidade treinadas com dados exaustivos, mas finitos. Consequentemente, eles sintetizam respostas em vez de recuperar e articular fatos. Na prática, a principal função dos LLMs é prever o trecho de texto mais provável (por exemplo, um token) dentro de um padrão determinado estatisticamente. Se a próxima palavra linguisticamente mais plausível em uma sequência for incorreta, o LLM a apresentará mesmo assim, pois ela se encaixa no padrão.

Portanto, a natureza essencialmente probabilística da própria tecnologia é a principal fonte de alucinações, mas essa vulnerabilidade tecnológica é agravada pelos dados com os quais os modelos são treinados. Os modelos são especialmente propensos a alucinações quando são solicitados a responder a perguntas sobre temas para os quais há poucos ou nenhum dado específico em seu conjunto de dados de treinamento, ou quando os dados de treinamento relevantes são contraditórios. Isso fica particularmente evidente em casos de uso na mídia, nos quais são feitas perguntas sobre lançamentos recentes, eventos recentes (como a última cerimônia do Oscar) e títulos menos conhecidos ou de nicho.

A internet tem boa parte da culpa nisso, já que serve como principal conjunto de dados para o treinamento de LLMs. Ancorar um LLM em dados do mundo real e verificados é a principal defesa contra alucinações. Os métodos de ancoragem variam, assim como as fontes de dados às quais recorrem. Consequentemente, a confiabilidade de qualquer LLM específico depende exclusivamente da qualidade dos dados aos quais ele tem acesso. Até 2026, nenhum LLM está livre de alucinações e, dada a natureza da tecnologia, é improvável que essa realidade mude tão cedo. O “grounding”, na verdade, é a única abordagem viável para mitigar as alucinações.

LLMs no entretenimento

Acompanhando a crescente adoção e uso da IA, os provedores de entretenimento buscam aprimorar as experiências de conteúdo que oferecem aos seus clientes. Nesse contexto, a IA oferece vantagens significativas em relação às tecnologias tradicionais de bancos de dados e pesquisa. Recursos avançados de classificação e ordenação, recomendações hiperpersonalizadas, harmonização de catálogos de conteúdo e pesquisa conversacional estão entre as principais vantagens que os LLMs podem oferecer.

Os metadados são a base do sucesso de qualquer LLM encarregado de revolucionar a forma como as pessoas interagem com o conteúdo. Embora o consumidor possa ver apenas 10 ou 20 atributos de metadados para um determinado filme ou série de TV, os serviços de streaming e os estúdios costumam rastrear centenas — ou até milhares — de pontos de dados para títulos individuais.

É importante ressaltar que o grau de risco de alucinações não é consistente em todos os atributos de metadados. Certos atributos, como tipo de conteúdo e gênero, apresentam um risco muito baixo de alucinações, pois os LLMs se destacam quando as respostas probabilísticas se concentram na lógica estruturada e no mapeamento categórico. 

No entanto, quando os atributos de metadados são altamente exclusivos, o risco de alucinação aumenta significativamente. IDs de conteúdo e atributos matemáticos, por exemplo, apresentam um risco muito alto de alucinação. Nesses casos, os LLMs “adivinham” com confiança um número que consideram plausível, mas que, na verdade, está errado. Por exemplo, os números costumam ser divididos em subtókenes. Assim, um LLM pode interpretar o número 154 como 15 e 4. Ao construir esses valores, a “matemática” frequentemente falha, levando a erros do tipo “off-by-one”. 

Os números de temporadas e episódios representam um desafio especial devido à forma como os LLMs funcionam. Por exemplo, se um LLM tiver visto 1.000 episódios dos Simpsons, ele sabe que existe a 10ª temporada, episódio 5. Se um espectador perguntar sobre uma série de nicho com apenas seis episódios, o LLM ainda assim pode tender a sugerir um número maior, pois a maioria das séries com as quais foi treinado tem temporadas mais longas.

Avaliação do risco de alucinações por meio de atributos de metadados

Dada a ampla variedade de atributos de metadados existentes, nem todos são universalmente suscetíveis a alucinações. 

O risco de alucinação em relação a um diretor, por exemplo, é diferente entre as grandes produções de estúdio e os pequenos filmes independentes. Nesse caso, a confusão nos créditos poderia levar um LLM a alucinar que um produtor ou um cineasta contemporâneo famoso fosse o diretor.

Vamos analisar o risco de alucinações em diferentes tipos de conteúdo e atributos de metadados.

Atributos gerais

Atributos do filme

Atributos do programa de TV

Atributos de episódios e temporadas de séries de TV

O caminho matemático de menor resistência

Os LLMs são treinados para minimizar a “perda”, o que significa que buscam ser o mais “corretos” possível, de acordo com seus dados de treinamento. Em um conjunto de dados massivo, certos padrões aparecem com mais frequência do que outros.

Com relação aos anos de lançamento: nos dados de treinamento, a sequência “Star Wars” é seguida por “1977” milhões de vezes. A probabilidade de “1977” vir após “Star Wars” é de quase 100%.

No que diz respeito a temporadas e episódios, a expressão “1ª temporada” para uma série de médio porte aparece nos dados de treinamento com muito mais frequência do que “7ª temporada”. Se o LLM não tiver certeza dos fatos, ele recorrerá por padrão ao padrão mais frequente em seus dados de treinamento, que geralmente contêm números menores (1, 2 ou 3).

Gravidade semântica

As “sequências prováveis” também são influenciadas pelo estilo do conteúdo. É por isso que os títulos dos episódios são tão propensos a gerar alucinações. Se você pedir a um LLM para citar o título de um episódio de Friends, ele conhece o padrão: “The One With…”

• A verdade: Não existe nenhum episódio chamado “Aquele do Eclipse Solar”.
• A alucinação: como “Aquele em que…” é um prefixo de alta probabilidade e “Eclipse Solar” é um clichê comum na TV (que indica ao público que “as coisas estão prestes a ficar estranhas”), o LLM combina os dois em uma “sequência provável”. A resposta soa 100% autêntica porque segue as regras semânticas dos títulos dos episódios de Friends, mesmo que seja factualmente incorreta.

O problema dos números inteiros: tokens x números

Os LLMs não “contam” da mesma forma que os humanos. Eles veem os números como fragmentos; assim, o número 154 pode ser processado como dois tokens: 15 e 4.

Quando um LLM sem treinamento com dados de referência prevê o número de um episódio, ele não está consultando um banco de dados. Ele está se perguntando: “Em uma sequência de números que segue o título desse programa, qual dígito geralmente vem a seguir?”

Se os dados de treinamento indicarem que a série tem aproximadamente 20 episódios por temporada e o LLM já tiver gerado “2ª temporada”, ele tenderá estatisticamente a escolher qualquer número entre 1 e 20. A escolha específica entre “12” e “13” costuma ser uma questão de sorte, baseada no “ruído” do modelo, e é possível obter respostas diferentes para o mesmo prompt.

Por que as alucinações parecem tão convincentes

Um LLM não possui um estado de “não sei”, a menos que tenha sido especificamente ajustado para isso. Na maioria das vezes, ele entra em uma “sequência provável” e gera tokens com alta confiança matemática, um “mapa de probabilidade”. Aqui está um exemplo de mapa de probabilidade em relação a nomes de diretores:

Questão: O diretor do filme Titanic (1997) é…

Probabilidades do próximo token:

• James: 99,2%
• Steven: 0,3%
• George: 0,1%

O resultado esperado, devido à associação esmagadora, na mídia, entre James Cameron e o filme “Titanic”.

Dado: O diretor do episódio de TV “A Mosca” é…

Probabilidades do próximo token:

• Vince (produtor executivo de Breaking Bad): 45%
• Rian (diretor de “Breaking Bad”, 3ª temporada, episódio 10): 30%
• Michelle (Diretora assídua): 20%

Neste segundo exemplo, o LLM escolherá Vince (Gilligan) porque é mais “provável” que ele seja associado ao texto da série como um todo, mesmo que ele não tenha dirigido aquele episódio específico. Como há menos material escrito relacionado a esse episódio (em comparação com o exemplo do Titanic ), os dados de treinamento relativamente insignificantes fazem com que o mapa de probabilidade tenha mais chances de produzir uma resposta incorreta.