환각: 위험성은 무엇인가?

인공지능(AI)의 도입과 활용이 확대됨에 따라, AI가 잘못된 주장을 사실인 양 제시할 수 있다는 점에 대한 인식도 높아지고 있습니다. 그럴듯하게 들리지만 사실은 허위인 이러한 ‘환각’은 AI 사용과 관련된 잘 알려진 위험 요소이지만, 많은 사람들이 그 심각성을 제대로 인지하지 못하고 있습니다. 사람들이 환각과 관련된 위험을 이해하지 못하면, 그 파장을 제대로 평가할 수 없게 됩니다.

미디어 산업에서 인간의 언어를 이해하고 생성하도록 훈련된 생성형 AI의 일종인 대규모 언어 모델(LLM)은 차세대 엔터테인먼트 경험을 제공하는 핵심 엔진이 될 것입니다. 그러나 이 분야에서 성공하기 위해서는 정확하고 최신이며 관련성 높은 결과를 보장하기 위해 신뢰할 수 있는 외부 데이터 소스로 LLM을 뒷받침해야 합니다. 이러한 과정을 ‘그라운딩(grounding)’이라고 합니다.

왜 대규모 언어 모델(LLM)은 허구를 만들어내는가

중요한 점은, LLM은 데이터베이스가 아니며 전통적인 의미에서 데이터를 저장하지도 않는다는 것입니다. LLM은 방대하지만 유한한 데이터로 훈련된 확률 행렬입니다. 그 결과, LLM은 사실을 검색하여 전달하기보다는 응답을 생성해 냅니다. 실제로 LLM의 주된 역할은 통계적으로 정해진 패턴 내에서 가장 가능성이 높은 텍스트(예: 토큰)를 예측하는 것입니다. 만약 문맥상 가장 타당한 다음 단어가 사실 틀렸더라도, 패턴에 부합하기만 한다면 LLM은 그대로 출력해 냅니다.

따라서 기술 자체의 본질적인 확률적 특성이 환각 현상의 주된 원인이지만, 모델이 학습된 데이터로 인해 이러한 기술적 취약성은 더욱 심화됩니다. 모델은 훈련 데이터셋에 해당 주제에 대한 데이터가 거의 없거나 아예 없거나, 관련 훈련 데이터가 상충할 때 질문에 답하도록 프롬프트를 받았을 때 특히 환각 현상을 일으키기 쉽습니다. 이는 최근 개봉작, 최근 사건(예: 최근 아카데미 시상식) 및 잘 알려지지 않았거나 마이너한 작품에 대한 질문이 제기되는 미디어 활용 사례에서 특히 두드러집니다.

이 문제에서 인터넷은 LLM 훈련의 주요 데이터 세트 역할을 하기 때문에 상당한 책임이 있습니다. 검증된 실제 데이터를 바탕으로 LLM을 ‘그라운딩(grounding)’하는 것이 환각 현상을 방지하는 가장 효과적인 방법입니다. 그라운딩 기법은 각기 다르며, 활용하는 데이터 소스도 다양합니다. 결과적으로 개별 LLM의 신뢰도는 접근 가능한 데이터의 신뢰도에 전적으로 좌우됩니다. 2026년 현재, 환각 현상이 전혀 없는 LLM은 없으며, 이 기술의 특성상 이러한 현실이 당분간 바뀔 가능성은 낮습니다. 사실, 그라운딩이야말로 환각 현상을 완화할 수 있는 유일한 실행 가능한 접근 방식입니다.

엔터테인먼트 분야의 대규모 언어 모델(LLM)

AI의 보급과 활용이 확대됨에 따라, 엔터테인먼트 업체들은 고객에게 제공하는 콘텐츠 경험을 한 단계 더 발전시키기 위해 노력하고 있습니다. 이 분야에서 AI는 기존의 데이터베이스 및 검색 기술에 비해 상당한 이점을 제공합니다. 강력한 순위 지정 및 정렬 기능, 초개인화된 추천, 콘텐츠 카탈로그의 통합, 대화형 검색 등은 대규모 언어 모델(LLM)이 제공할 수 있는 주요 이점 중 일부입니다.

메타데이터는 콘텐츠 소비 방식을 혁신하는 임무를 맡은 모든 대규모 언어 모델(LLM)의 성공을 뒷받침합니다. 소비자는 특정 영화나 TV 프로그램에 대해 10~20개 정도의 메타데이터 속성만 볼 수 있지만, 스트리밍 서비스와 제작사는 개별 작품에 대해 수백 개, 심지어 수천 개에 달하는 데이터 포인트를 추적하는 경우가 많습니다.

중요한 점은, 환각 발생 위험도가 모든 메타데이터 속성에 걸쳐 일관되게 나타나는 것은 아니라는 것입니다. 콘텐츠 유형이나 장르와 같은 특정 속성의 경우, 대규모 언어 모델(LLM)이 구조화된 논리와 범주적 매핑에 초점을 맞춘 확률적 응답을 생성하는 데 탁월하기 때문에 환각 발생 위험이 매우 낮습니다. 

그러나 메타데이터 속성이 매우 고유한 경우, 환각 현상이 발생할 위험이 크게 높아집니다. 예를 들어, 콘텐츠 ID나 수학적 속성은 환각 위험이 매우 높습니다. 이러한 경우, LLM은 타당하다고 판단되는 숫자를 자신 있게 “추측”하지만, 이는 사실과 다릅니다. 예를 들어, 숫자는 종종 하위 토큰으로 분할됩니다. 따라서 LLM은 숫자 154를 15와 4로 인식할 수 있습니다. 이를 구성할 때 “수학적 연산”이 종종 깨지면서 “오프바이원(off-by-one)” 오류가 발생합니다. 

LLM의 작동 방식 때문에 시즌과 에피소드 번호는 특히 다루기 까다롭습니다. 예를 들어, LLM이 《심슨 가족》의 에피소드 1,000편을 학습했다면, 시즌 10의 5화라는 것이 존재한다는 사실을 알고 있습니다. 하지만 시청자가 에피소드가 단 6편뿐인 틈새 장르의 프로그램에 대해 묻는다면, LLM은 여전히 더 큰 숫자를 제시할 가능성이 높습니다. 이는 LLM이 학습한 대부분의 프로그램이 더 긴 시즌을 가지고 있기 때문입니다.

메타데이터 속성을 통한 환각 위험 평가

존재하는 메타데이터 속성의 범위가 매우 넓기 때문에, 모든 속성이 환각 현상에 취약한 것은 아닙니다. 

예를 들어, 감독에 대한 허구적 정보를 생성할 위험은 대형 스튜디오 제작물과 소규모 독립 영화에서 서로 다릅니다. 이 경우, 크레딧 정보가 혼동되면 LLM이 제작자나 유명한 현대 영화 감독을 감독으로 잘못 지목할 수 있습니다.

특정 콘텐츠 유형과 메타데이터 속성별로 환각 현상이 발생할 위험을 자세히 살펴보겠습니다.

일반 속성

영화 정보

TV 프로그램의 특징

TV 에피소드 및 시즌 정보

수학적으로 가장 쉬운 길

LLM은 “손실”을 최소화하도록 훈련받았으며, 이는 훈련 데이터에 따라 가능한 한 “정확”해지기를 추구한다는 의미입니다. 방대한 데이터셋에서는 특정 패턴이 다른 패턴보다 더 자주 나타납니다.

개봉 연도와 관련하여: 훈련 데이터에서 “Star Wars”라는 문자열 뒤에는 수백만 번이나 “1977”이 이어집니다. “Star Wars” 뒤에 “1977”이 올 확률은 거의 100%에 가깝습니다.

시즌과 에피소드 번호의 경우, 중위권 드라마의 “시즌 1”은 “시즌 7”보다 훈련 데이터에 훨씬 더 자주 등장합니다. LLM이 사실을 확신하지 못할 경우, 훈련 데이터에서 가장 빈도가 높은 패턴을 기본값으로 삼게 되는데, 이 데이터에는 대개 더 작은 숫자(1, 2, 3)가 포함되어 있습니다.

의미적 중력

“가능성 높은 문장 구조”는 콘텐츠의 스타일에도 영향을 받습니다. 이것이 바로 에피소드 제목이 특히 환각 현상에 취약한 이유입니다. 대규모 언어 모델(LLM)에게 《프렌즈》의 에피소드 제목을 말해 달라고 요청하면, 모델은 “The One With…”라는 패턴을 알고 있습니다.

• 사실은 이렇습니다: “일식이 나오는 에피소드”라는 제목의 에피소드는 존재하지 않습니다 .
• 환상: “The One With…”은 등장 확률이 매우 높은 접두사이고, “Solar Eclipse”는 흔히 볼 수 있는 TV 클리셰(시청자에게 “곧 이상한 일이 벌어질 것”이라고 암시하는)이기 때문에, 대규모 언어 모델(LLM)은 이 둘을 결합해 “가능성 높은 문구”를 만들어 냅니다. 이 답변은 사실과 다르더라도 《 프렌즈 》 에피소드 제목의 의미론적 규칙을 따르고 있기 때문에 100% 진짜처럼 들립니다.

정수 문제: 토큰 대 숫자

LLM은 인간과 같은 방식으로 “세지” 않습니다. 이들은 숫자를 단편으로 인식하기 때문에, 154라는 숫자는 15와 4라는 두 개의 토큰으로 처리될 수 있습니다.

지식 기반이 없는 대규모 언어 모델(LLM)이 에피소드 번호를 예측할 때, 데이터베이스를 참조하는 것은 아닙니다. 대신 “이 프로그램 제목 뒤에 오는 숫자열에서, 보통 다음에는 어떤 숫자가 나오나요?”라고 묻는 셈입니다.

훈련 데이터에 따르면 해당 드라마의 시즌당 에피소드 수가 대략 20개 정도이고, 대규모 언어 모델(LLM)이 이미 “시즌 2”를 생성했다면, 통계적으로 1에서 20 사이의 어떤 숫자라도 선택될 가능성이 높습니다. “12”와 “13” 중 어느 쪽을 선택할지는 모델 내의 “잡음”에 따라 종종 동전 던지기와 같은 우연의 결과이며, 동일한 프롬프트에 대해 서로 다른 답변이 나올 수도 있습니다.

왜 환각은 그렇게 확신에 차 보이는가

LLM은 특별히 그렇게 조정되지 않는 한 “모르겠습니다”라는 상태를 가지지 않습니다. 가장 흔한 경우, LLM은 “가능성이 높은 시퀀스”로 진입하여 수학적 신뢰도가 높은 토큰, 즉 “확률 맵”을 생성합니다. 다음은 감독 이름과 관련된 확률 맵의 예시입니다:

입력: 영화 《타이타닉》(1997)의 감독은…

다음 토큰의 확률:

• 제임스: 99.2%
• 스티븐: 0.3%
• 조지: 0.1%

제임스 카메론과 영화 《타이타닉》이 대중의 인식 속에서 압도적으로 강하게 연결되어 있기 때문에 예상되는 결과.

입력: TV 에피소드 ‘The Fly’의 감독은…

다음 토큰의 확률:

• 빈스 (쇼러너, 브레이킹 배드): 45%
• 리안 (실제 감독, 브레이킹 배드, 시즌 3 에피소드 10): 30%
• 미셸 (자주 출연하는 감독): 20%

두 번째 예시에서, LLM은 비록 그가 해당 에피소드를 직접 연출하지는 않았더라도, 전체적으로 볼 때 그 드라마의 대본과 연관될 “가능성”이 더 높기 때문에 빈스(길리건)를 선택할 것입니다. 이 에피소드와 관련된 문서가 ( 타이타닉 예시에 비해) 적기 때문에, 훈련 데이터가 상대적으로 부족하다는 점은 확률 맵이 잘못된 답을 내놓을 가능성이 더 높다는 것을 의미합니다.