幻覚：そのリスクとは？

人工知能（AI）の導入と利用が進むにつれ、AIが誤った情報を事実として提示する可能性があることへの認識も高まっています。こうした「幻覚」と呼ばれる、一見もっともらしいが実際には誤った情報は、AI利用に伴う既知のリスクですが、その深刻さを認識していない人は少なくありません。人々が幻覚に伴うリスクを理解していなければ、その影響を適切に評価することはできません。

メディア業界において、人間の言語を理解・生成するように訓練された生成AIの一種である大規模言語モデル（LLM）は、次世代のエンターテインメント体験を提供する中核的なエンジンとなるでしょう。しかし、この分野での成功は、正確かつ最新で関連性の高い結果を提供するために、信頼性の高い外部データソースを用いてLLMを裏付けられるかどうかにかかっています。このプロセスは「グラウンディング」と呼ばれています。

なぜLLMは幻覚を起こすのか

重要な点として、LLMはデータベースではなく、従来の意味でのデータを保存するものではありません。LLMは、網羅的ではあるものの有限なデータを用いて学習された確率行列です。その結果、LLMは事実を検索して表現するのではなく、応答を合成するのです。 実際には、LLMの主な役割は、統計的に規定されたパターンの中で最も可能性の高いテキスト（例：トークン）を予測することです。もし、シーケンスの中で言語学的に最も妥当と思われる次の単語がたまたま間違っていたとしても、その単語がパターンに合致している以上、LLMはそれを提示してしまいます。

つまり、この技術そのものが本質的に確率論的であるということが、幻覚の主な原因ですが、この技術的な脆弱性は、モデルが学習に使用されるデータによってさらに悪化します。 モデルは、トレーニングデータセットにそのトピックに関するデータがほとんどない、あるいは全くない場合、あるいは関連するトレーニングデータに矛盾がある場合に、質問への回答を促されると、特に幻覚を起こしやすくなります。これは、最近の公開作品や最近の出来事（最新のアカデミー賞など）、あるいはあまり知られていない作品やマイナーな作品について質問されるメディアのユースケースにおいて、特に顕著です。

この問題の責任の多くはインターネットにある。なぜなら、インターネットはLLMの学習における主要なデータセットとなっているからだ。現実世界の検証済みデータを用いてLLMを「グラウンディング」することが、幻覚現象に対する主な防御策となる。グラウンディングの手法は様々であり、活用されるデータソースも同様だ。その結果、個々のLLMの信頼性は、それがアクセスできるデータの信頼性に左右されることになる。 2026年現在、幻覚を全く起こさないLLMは存在せず、この技術の性質上、この状況が近い将来に変わる可能性は低い。現実世界との結びつけこそが、幻覚を軽減するための唯一の実用的なアプローチである。

エンターテインメント分野におけるLLM

AIの普及と活用が進む中、エンターテインメント事業者は、顧客に提供するコンテンツ体験をさらに向上させようとしています。この点において、AIは従来のデータベースや検索技術に比べて大きな優位性を持っています。強力なランキング・ソート機能、高度にパーソナライズされたレコメンデーション、コンテンツカタログの統合、会話型検索などは、LLMがもたらす主な利点の一部です。

メタデータは、コンテンツの体験方法に革命をもたらすことを使命とするあらゆるLLMの成功を支える基盤となっています。消費者が特定の映画やテレビ番組について目にするメタデータ属性は10～20項目程度かもしれませんが、ストリーミングサービスや制作スタジオは、個々の作品について数百、場合によっては数千ものデータポイントを追跡していることがよくあります。

重要な点として、幻覚が生じるリスクの程度は、すべてのメタデータ属性において一様ではありません。コンテンツの種類やジャンルといった特定の属性については、幻覚が生じるリスクが非常に低くなります。これは、確率に基づく応答が構造化された論理やカテゴリ別のマッピングに焦点を当てている場合、LLMがその能力を最大限に発揮するためです。 

しかし、メタデータ属性の独自性が高い場合、幻覚が生じるリスクは大幅に高まります。例えば、コンテンツIDや数学的属性は、幻覚が生じるリスクが非常に高いものです。 このような場合、LLMは、もっともらしいと信じているが実際には間違っている数値を、自信を持って「推測」してしまいます。例えば、数値はしばしばサブトークンに分割されます。そのため、LLMは数値「154」を「15」と「4」として認識してしまう可能性があります。これらを構成する際、「計算」が破綻し、「オフバイワン」エラーを引き起こすことがよくあります。 

LLMの仕組み上、シーズンやエピソードの番号の処理は特に難しい課題です。例えば、あるLLMが『シンプソンズ』の1,000エピソードを学習した場合、シーズン10の第5話が存在することを認識しています。しかし、視聴者が全6話しかないマイナーな番組について尋ねたとしても、LLMは依然としてより大きな数字を提示しがちです。なぜなら、学習に使用された番組のほとんどがより長いシーズン構成を持っているからです。

メタデータ属性による幻覚リスクの評価

メタデータ属性には多種多様なものがあるため、そのすべてが普遍的に幻覚の影響を受けやすいわけではない。 

例えば、監督に関する誤った情報を生成してしまうリスクは、大手スタジオの製作作品と小規模なインディペンデント映画とでは異なります。この場合、クレジット情報の混同により、LLMがプロデューサーや著名な現代の映画監督を監督として誤って生成してしまう可能性があります。

特定のコンテンツタイプやメタデータ属性ごとに、幻覚リスクについて詳しく見ていきましょう。

一般的な属性

映画の属性

テレビ番組の属性

テレビ番組のエピソードおよびシーズンの属性

数学における最小抵抗経路

LLMは「損失」を最小化するよう訓練されており、つまり、学習データに基づいて可能な限り「正確」であることを目指しています。膨大なデータセットの中では、特定のパターンが他のパターンよりも頻繁に現れます。

公開年について：トレーニングデータでは、「Star Wars」という文字列の後に「1977」が続くケースが数百万回も確認されています。「Star Wars」の後に「1977」が続く確率は、ほぼ100%です。

シーズンやエピソード数に関しては、中堅番組の「シーズン1」は、「シーズン7」よりもはるかに頻繁にトレーニングデータに登場します。LLMが事実を確信できない場合、トレーニングデータ内で最も頻度の高いパターンにデフォルトで従うことになりますが、そのデータには通常、より小さい数字（1、2、または3）が含まれています。

意味的重力

「ありそうな文脈」は、コンテンツのスタイルによっても左右されます。だからこそ、エピソードのタイトルは特に「幻覚」を起こしやすいのです。LLMに『フレンズ』のエピソード名を挙げてくれと頼めば、LLMはそのパターン、「The One With…」を知っています。

• 実のところ、 「日食の回」というエピソードは存在しません。
• この錯覚は、「The One With…」という接頭語が頻繁に使われること、そして「Solar Eclipse」がテレビドラマの定番の展開（視聴者に「これから奇妙なことが起きる」と暗示する）であることから、LLMがこれらを組み合わせて「ありそうな文脈」を作り出してしまうためです。たとえ事実とは異なっていても、その回答は『フレンズ』のエピソードタイトルの意味論的なルールに従っているため、100％本物のように聞こえてしまうのです。

整数の問題：トークン対数字

LLMは人間のように「数える」ことはありません。LLMは数字を断片として認識するため、154という数字は「15」と「4」という2つのトークンとして処理される可能性があります。

グラウンド付けされていないLLMがエピソード番号を予測するとき、データベースを参照しているわけではありません。それは、「この番組のタイトルの後に続く数字の列において、通常はどの数字が来るのか？」と問いかけているのです。

もしトレーニングデータから、その番組が1シーズンあたりおよそ20話あることが分かっているにもかかわらず、LLMがすでに「シーズン2」を生成してしまった場合、統計的には1から20までのいずれかの数字が選ばれやすくなります。「12」と「13」のどちらを選ぶかは、モデルの「ノイズ」に左右されるため、多くの場合、コインを投げるようなものであり、同じプロンプトに対して異なる回答が返ってくることもあります。

なぜ幻覚はあれほど確信に満ちているのか

LLMは、特にそのように調整されていない限り、「わからない」という状態にはなりません。最も一般的なのは、「ありそうなシーケンス」に入り、数学的な信頼度が高いトークンを生成する、いわゆる「確率マップ」です。以下は、監督名に関する確率マップの例です：

入力：映画『タイタニック』（1997年）の監督は…

次のトークンの出現確率：

• ジェームズ：99.2%
• スティーブン：0.3%
• ジョージ：0.1%

ジェームズ・キャメロンと映画『タイタニック』との圧倒的な結びつきから予想される結果。

入力：テレビドラマ『ザ・フライ』の監督は……

次のトークンの出現確率：

• ヴィンス（『ブレイキング・バッド』ショーランナー）：45%
• リアン（『ブレイキング・バッド』第3シーズン第10話の実際の監督）：30%
• ミシェル（常任理事）：20%

この2つ目の例では、LLMはヴィンス（ギリガン）を選択します。なぜなら、彼はその特定のエピソードの監督を務めてはいなかったものの、番組のテキスト全体と関連付けられる「可能性」がより高いからです。このエピソードに関する文書資料は（タイタニックの例と比べて）少ないため、訓練データの量が少ないことが原因で、確率マップが誤った回答を生成する可能性が高くなります。