Warum nicht auf Daten basierende große Sprachmodelle das Problem der Inhaltssuche nicht lösen können

Stell dir Folgendes vor: Es ist das Ende eines langen Tages und du lässt dich auf dein Sofa im Wohnzimmer fallen, um in die Welt des Streamings einzutauchen und dem Alltag zu entfliehen. Anstatt durch eine endlose Liste von Programmkacheln zu scrollen, bittest du deine sprachgesteuerte Fernbedienung, diesen „spannenden, sich langsam aufbauenden Krimi zu finden, der in einer kleinen, regnerischen Stadt spielt und gerade erst erschienen ist“.

Das ist das Schöne an generativer KI: die dialogorientierte Entdeckung von Inhalten aus der realen Welt. Der Nachteil ist jedoch, dass die großen Sprachmodelle (^LLMs1), die im Unternehmensbereich eingesetzt werden, nicht in der Lage sind, Fragen auf dieselbe Weise zu beantworten wie beliebte Chatbots wie Gemini und ChatGPT. Das liegt daran, dass sie über kein Wissen verfügen, das über ihre ursprünglichen Trainingsdaten hinausgeht.

Im obigen Beispiel würden Informationen über einen neuen Film nicht in den Trainingsdaten eines nicht auf realen Daten basierenden LLM enthalten sein. Anstatt also einen Geheimtipp vorzuschlagen, würde der KI-gestützte Assistent selbstbewusst eine Handlung erfinden, Elemente aus zwei ähnlich klingenden Filmen kombinieren oder einen Film empfehlen, für den Ihr Dienst nicht einmal die Vertriebsrechte besitzt.

Wenn „gut genug“ eigentlich gar nicht gut genug ist

In der Welt der KI sind nicht ganz perfekte Antworten ein bekanntes Nebenprodukt von Technologien, die auf der Grundlage von Wahrscheinlichkeiten reagieren. Beliebte Chatbots profitieren jedoch davon, dass sie mit glaubwürdigen externen Datenquellen verknüpft sind (z. B. „Grounding“), um ihre Antworten abzusichern. Dies ist bei bei LLMs für Unternehmen der Fall. Sie wissen nur, womit sie trainiert wurden. Infolgedessen wissen sie oft nicht, wie sie reagieren sollen, oder sie erfinden einfach etwas (z. B. „halluzinieren“).

Eine aktuelle Gracenote ergab beispielsweise, dass LLMs ohne Hintergrundwissen Schwierigkeiten haben, Informationen zu Filmen zu liefern, die in den letzten zwei Jahren Premiere hatten – unabhängig von den Einspielergebnissen und der Berichterstattung in beliebten Unterhaltungsmagazinen. Beispiele hierfür sind „GOAT“, „Mercy“, „Send Help“, „Solo Mio“ und „It Was Just an Accident“.

Nur weil ein LLM nicht die richtige Antwort hat, heißt das jedoch nicht, dass es zugeben wird, dass es sie nicht weiß. In unserer Studie, die 2.600 beliebte Fernsehsendungen und Filme aus 13 Ländern umfasste, hat ein LLM ohne Datengrundlage bei 506 Titeln (20 % der Titel in der Studie) 100 % der Antwortinformationen frei erfunden.

Für hochwertige Ergebnisse sind die Details in den Daten enthalten

Um Zuschauer mit Inhalten zu verbinden, die sie sehen möchten, benötigen LLMs mehr als nur Echtzeitinformationen und die Fähigkeit, Metadatenattribute abzugleichen. Ob die steigenden Kundenerwartungen angesichts der zunehmenden Nutzung von KI erfüllt werden können, hängt davon ab, inwieweit ein Dienst in der Lage ist, umfassende Informationen zu den Tausenden von Titeln in den einzelnen Videokatalogen bereitzustellen. Hier sind LLMs ohne Kontextdaten dieser Aufgabe nicht gewachsen.

Um die Gesamtleistung des nicht auf Daten basierenden LLM zu bewerten, haben wir die vollständigen Ergebnisse für alle 2.600 Titel mit Qualitätsbewertungen versehen. Die Bewertungen (keine Qualität, geringe Qualität, mittlere Qualität und hohe Qualität) spiegeln die Kombination zweier separater Bewertungen wider: den Abgleich der Metadatenattribute mit den Referenzdaten und die sachliche Richtigkeit der Antworten. 

Bei den insgesamt 2.600 Titeln lag der Gesamtanteil der Ergebnisse mit geringer, mittlerer und keiner Qualität recht hoch und reichte von 77 % bis 91 %. Weniger als ein Drittel der Ergebnisse wurde als qualitativ hochwertig eingestuft. In den Niederlanden und in Mexiko wurden weniger als 10 % als qualitativ hochwertig eingestuft.

Angesichts der zunehmenden Fragmentierung von Inhalten und der Abneigung gegen Abonnements wird der Erfolg im Bereich der Video-Unterhaltung zunehmend von der Nutzererfahrung abhängen. Hier können große Sprachmodelle (LLMs) dazu beitragen, die wachsende Frustration bei der Suche nach Inhalten zu mindern – allerdings nur, wenn sie gute Ergebnisse liefern. Und allzu oft, insbesondere in Unternehmensanwendungen, werden LLMs ohne fundierte Datenbasis nicht die glaubwürdigen Echtzeit-Ergebnisse liefern, die den Erfolg ausmachen, wenn die Kataloge wachsen und die Verbreitung noch dezentraler wird.

Um weitere Einblicke zu erhalten, laden Sie unsere aktuelle Studie zu unbegründeten LLM-Antworten.

Hinweis

1. LLMs sind eine Art generativer KI, die anhand riesiger Datenmengen trainiert wird, um menschenähnliche Sprache zu verstehen und zu erzeugen.