Por que razão os modelos de linguagem de grande dimensão sem base não conseguem resolver a questão da descoberta de conteúdos

Imagina o seguinte: é o fim de um longo dia e deitas-te no sofá da sala para mergulhar no mundo do streaming como forma de fugir da realidade. Em vez de percorrer uma lista interminável de ícones de programas, pedes ao teu comando de voz para encontrar aquele «filme de suspense policial tenso e de ritmo lento, ambientado numa pequena cidade chuvosa, que acabou de estrear».

É esta a beleza da IA generativa: a descoberta de conteúdos do mundo real através de conversas. A desvantagem, no entanto, é que os grandes modelos de linguagem (^LLMs1) implementados para uso empresarial não estão preparados para responder a perguntas da mesma forma que os chatbots populares, como o Gemini e o ChatGPT. Isto porque não possuem qualquer conhecimento para além dos dados de treino iniciais.

No exemplo acima, as informações sobre um novo filme não farão parte dos dados de treino de um LLM sem contexto. Assim, em vez de sugerir uma joia escondida, o assistente alimentado por IA inventará com toda a confiança um enredo, combinará elementos de dois filmes com títulos semelhantes ou recomendará um filme cujos direitos de distribuição o seu serviço nem sequer detém.

Quando «suficientemente bom» não é, na verdade, suficiente

No mundo da IA, as respostas imperfeitas são um subproduto bem conhecido de uma tecnologia que responde com base na probabilidade. Os chatbots mais populares, no entanto, beneficiam da ligação a fontes de dados externas credíveis (por exemplo, «grounding») para reforçar as suas respostas. Isto é não o caso dos LLMs empresariais. Estes só sabem aquilo com que foram treinados. Como resultado, muitas vezes não sabem como responder ou simplesmente inventam coisas (por exemplo, «alucinar»).

Por exemplo, um Gracenote recente Gracenote revelou que os LLMs sem contexto têm dificuldade em fornecer qualquer informação sobre filmes que estrearam nos últimos dois anos, independentemente das receitas de bilheteira e da cobertura em publicações populares de entretenimento. Entre os exemplos contam-se GOAT, Mercy, Send Help, Solo Mio e It Was Just an Accident.

No entanto, o facto de um LLM não ter a resposta certa não significa que vá admitir que não sabe. No nosso estudo, que incluiu 2 600 programas de televisão e filmes de grande audiência em 13 países, um LLM sem base de conhecimento inventou 100% das informações da resposta para 506 desses títulos (20% dos títulos incluídos no estudo).

Para obter resultados de qualidade, os detalhes estão nos dados

Para ligar os espectadores a algo que desejam ver, os LLMs precisam de mais do que informação em tempo real e da capacidade de corresponder atributos de metadados. Satisfazer as crescentes expectativas dos clientes, à medida que a utilização da IA aumenta, dependerá da capacidade de um serviço fornecer informação abrangente sobre os milhares de títulos presentes nos catálogos de vídeo individuais. Neste contexto, os LLMs sem base não estão à altura da tarefa.

Para avaliar o desempenho global do LLM sem fundamentação, atribuímos pontuações de qualidade aos resultados completos fornecidos para todos os 2 600 títulos. As pontuações (qualidade zero, baixa, média e elevada) refletem a combinação de duas avaliações distintas: a correspondência dos atributos dos metadados com os dados de fundamentação e a exatidão factual das respostas. 

Nos 2 600 títulos analisados, a percentagem agregada de resultados de qualidade nula, baixa e média foi bastante elevada, variando entre 77 % e 91 %. Menos de um terço dos resultados foi considerado de alta qualidade. Nos Países Baixos e no México, menos de 10 % foram considerados de alta qualidade.

Num contexto de crescente fragmentação de conteúdos e de cansaço em relação às subscrições, o sucesso no entretenimento em vídeo dependerá cada vez mais da experiência do utilizador. Neste contexto, os LLMs têm o poder de aliviar as frustrações crescentes relacionadas com a descoberta de conteúdos — mas não se apresentarem maus resultados. E, com demasiada frequência, especialmente em casos de utilização empresarial, os LLMs sem base sólida não irão fornecer os resultados credíveis e em tempo real que definirão o sucesso, à medida que os catálogos crescem e a distribuição se torna ainda mais descentralizada.

Para saber mais, descarregue o nosso recente estudo sobre respostas de LLM sem fundamentação.

Nota

1. Os LLMs são um tipo de IA generativa que é treinada com enormes quantidades de dados para compreender e gerar linguagem semelhante à humana.