Dlaczego duże modele językowe oparte na danych z otwartych źródeł nie są w stanie rozwiązać problemu wyszukiwania treści

Wyobraź sobie następującą sytuację: to koniec długiego dnia i osuwasz się na kanapę w salonie, by zanurzyć się w świecie serwisów streamingowych i uciec od rzeczywistości. Zamiast przewijać niekończącą się listę programów, prosisz swój pilot sterowany głosem, by znalazł ten „napięty, powoli rozwijający się thriller kryminalny, którego akcja rozgrywa się w małym, deszczowym miasteczku, a który właśnie wszedł do kin”.

Na tym polega piękno generatywnej sztucznej inteligencji: na odkrywaniu treści w sposób konwersacyjny, osadzony w realnym świecie. Wadą jest jednak to, że duże modele językowe (^LLM¹), wdrażane do użytku korporacyjnego, nie są przystosowane do udzielania odpowiedzi na pytania w taki sam sposób, jak popularne chatboty, takie jak Gemini i ChatGPT. Wynika to z faktu, że nie dysponują one żadną wiedzą wykraczającą poza dane wykorzystane podczas początkowego szkolenia.

W powyższym przykładzie informacje o nowym filmie nie będą uwzględnione w danych szkoleniowych modelu LLM bez kontekstu. Zamiast więc zaproponować prawdziwą perełkę, asystent oparty na sztucznej inteligencji z przekonaniem wymyśli fabułę, połączy elementy dwóch filmów o podobnych tytułach lub poleci film, do którego Twoja usługa nie posiada nawet praw do dystrybucji.

Kiedy „wystarczająco dobre” w rzeczywistości nie jest wystarczające

W świecie sztucznej inteligencji odpowiedzi dalekie od doskonałości są powszechnie znanym skutkiem ubocznym technologii opartej na prawdopodobieństwie. Popularne chatboty czerpią jednak korzyści z połączenia z wiarygodnymi, zewnętrznymi źródłami danych (np. „grounding”), które stanowią zabezpieczenie ich odpowiedzi. To jest nie w przypadku korporacyjnych modeli LLM. Wiedzą one jedynie to, na czym zostały wyszkolone. W rezultacie często nie wiedzą, jak odpowiedzieć, lub po prostu coś zmyślają (np. „mają halucynacje”).

Na przykład niedawne Gracenote wykazało, że modele LLM bez danych kontekstowych mają trudności z dostarczeniem jakichkolwiek informacji na temat filmów, które miały premierę w ciągu ostatnich dwóch lat, niezależnie od wyników kasowych i relacji w popularnych magazynach rozrywkowych. Przykłady to: „GOAT”, „Mercy”, „Send Help”, „Solo Mio” oraz „It Was Just an Accident”.

Jednak fakt, że model LLM nie zna prawidłowej odpowiedzi, nie oznacza, że przyzna się do niewiedzy. W naszym badaniu, które objęło 2 600 najpopularniejszych seriali telewizyjnych i filmów z 13 krajów, model LLM bez danych referencyjnych wygenerował fałszywe informacje w 100% odpowiedzi dotyczących 506 tytułów (20% tytułów objętych badaniem).

Aby uzyskać wysokiej jakości wyniki, kluczowe znaczenie mają szczegóły zawarte w danych

Aby dopasować widzom treści, które chcą oglądać, duże modele językowe (LLM) potrzebują czegoś więcej niż tylko informacji w czasie rzeczywistym i możliwości dopasowywania atrybutów metadanych. Spełnienie rosnących oczekiwań klientów w miarę upowszechniania się sztucznej inteligencji będzie zależało od zdolności serwisu do dostarczania wyczerpujących informacji na temat tysięcy tytułów w poszczególnych katalogach wideo. W tym zakresie modele LLM oparte na danych nieprzetworzonych nie są w stanie sprostać temu zadaniu.

Aby ocenić ogólną wydajność modelu LLM bez ugruntowania, przypisaliśmy oceny jakości do kompletnych wyników dostarczonych dla wszystkich 2 600 tytułów. Oceny te (zerowa, niska, średnia i wysoka jakość) odzwierciedlają połączenie dwóch odrębnych kryteriów oceny: zgodności atrybutów metadanych z danymi ugruntowującymi oraz merytorycznej poprawności odpowiedzi. 

W przypadku wszystkich 2 600 pozycji łączny odsetek wyników o jakości zerowej, niskiej i średniej był dość wysoki i wahał się od 77% do 91%. Mniej niż jedna trzecia wyników została uznana za wysokiej jakości. W Holandii i Meksyku odsetek ten wyniósł mniej niż 10%.

W obliczu rosnącej fragmentacji treści i zmęczenia modelami subskrypcyjnymi sukces w branży rozrywki wideo będzie w coraz większym stopniu zależał od wrażeń użytkownika. W tym kontekście duże modele językowe (LLM) mogą złagodzić narastającą frustrację związaną z wyszukiwaniem treści — ale tylko wtedy, gdy dostarczają dobre wyniki. A zbyt często, zwłaszcza w zastosowaniach korporacyjnych, modele LLM pozbawione odpowiedniego ugruntowania nie będą w stanie zapewnić wiarygodnych wyników w czasie rzeczywistym, które będą decydować o sukcesie w miarę powiększania się katalogów i coraz większej decentralizacji dystrybucji.

Aby uzyskać więcej informacji, pobierz nasze najnowsze badanie dotyczące nieuzasadnionych odpowiedzi modeli LLM.

Uwaga

1. LLM to rodzaj generatywnej sztucznej inteligencji, która jest szkolona na ogromnych ilościach danych w celu zrozumienia i generowania języka przypominającego ludzki.