Por que os LLMs sem fundamentação não conseguem resolver a descoberta de conteúdo

Imagine o seguinte: é o fim de um longo dia e você se joga no sofá da sala para mergulhar no mundo do streaming como uma forma de fugir da realidade. Em vez de ficar rolando a tela por uma lista interminável de programas, você pede ao seu controle remoto com comando de voz para encontrar aquele “filme de suspense policial tenso e de ritmo lento, ambientado em uma pequena cidade chuvosa, que acabou de ser lançado”.

Essa é a beleza da IA generativa: a descoberta de conteúdo do mundo real por meio de conversas. A desvantagem, no entanto, é que os grandes modelos de linguagem (^LLMs1) implantados para uso corporativo não estão preparados para responder a perguntas da mesma forma que chatbots populares, como o Gemini e o ChatGPT. Isso porque eles não possuem nenhum conhecimento além dos dados de treinamento iniciais.

No exemplo acima, as informações sobre um novo filme não estarão incluídas nos dados de treinamento de um LLM sem contexto. Assim, em vez de sugerir uma joia escondida, o assistente alimentado por IA inventará com segurança um enredo, combinará elementos de dois filmes com nomes parecidos ou recomendará um filme cujos direitos de distribuição seu serviço nem sequer possui.

Quando “bom o suficiente” na verdade não é

No mundo da IA, respostas imperfeitas são um subproduto bem conhecido de uma tecnologia que responde com base em probabilidades. Os chatbots populares, no entanto, se beneficiam da integração com fontes de dados externas confiáveis (por exemplo, “grounding”) para respaldar suas respostas. Isso é não é o caso dos LLMs corporativos. Eles sabem apenas o que lhes foi ensinado durante o treinamento. Como resultado, muitas vezes não sabem como responder ou simplesmente inventam coisas (por exemplo, “alucinar”).

Por exemplo, um estudo recente daGracenote constatou que os LLMs sem base de conhecimento têm dificuldade em fornecer qualquer informação sobre filmes que estrearam nos últimos dois anos, independentemente da bilheteria e da cobertura em publicações populares de entretenimento. Entre os exemplos estão GOAT, Mercy, Send Help, Solo Mio e It Was Just an Accident.

No entanto, o fato de um LLM não ter a resposta correta não significa que ele vá admitir que não sabe. Em nosso estudo, que incluiu 2.600 dos principais programas de TV e filmes em 13 países, um LLM sem contexto inventou 100% das informações da resposta para 506 desses títulos (20% dos títulos do estudo).

Para obter resultados de qualidade, os detalhes estão nos dados

Para conectar os espectadores a algo que eles queiram assistir, os LLMs precisam de mais do que informações em tempo real e da capacidade de comparar atributos de metadados. Atender às crescentes expectativas dos clientes, à medida que o uso da IA se expande, dependerá da capacidade de um serviço de fornecer informações abrangentes sobre os milhares de títulos presentes nos catálogos de vídeo individuais. Nesse aspecto, os LLMs sem base de dados não estão à altura da tarefa.

Para avaliar o desempenho geral do LLM sem base, atribuímos pontuações de qualidade aos resultados completos fornecidos para todos os 2.600 títulos. As pontuações (qualidade zero, baixa, média e alta) refletem a combinação de duas avaliações distintas: a correspondência dos atributos dos metadados com os dados de referência e a precisão factual das respostas. 

Entre os 2.600 títulos, a porcentagem agregada de resultados de qualidade zero, baixa e média foi bastante elevada, variando de 77% a 91%. Menos de um terço dos resultados foi considerado de alta qualidade. Na Holanda e no México, menos de 10% foram considerados de alta qualidade.

Em meio à crescente fragmentação de conteúdo e ao cansaço das assinaturas, o sucesso no entretenimento em vídeo dependerá cada vez mais da experiência do usuário. Nesse contexto, os LLMs têm o poder de amenizar as frustrações crescentes em relação à descoberta de conteúdo — mas não se apresentarem resultados ruins. E, com muita frequência, especialmente em casos de uso corporativo, LLMs sem base sólida não vão oferecer os resultados confiáveis e em tempo real que definirão o sucesso, à medida que os catálogos crescem e a distribuição se torna ainda mais descentralizada.

Para saber mais, baixe nosso recente estudo sobre respostas de LLM não fundamentadas.

Nota

1. Os LLMs são um tipo de IA generativa treinada com enormes quantidades de dados para compreender e gerar linguagem semelhante à humana.