AI 할루시네이션 뜻, 그럴듯한 설명이 사실과 어긋나는 이유

작성자:

AI 할루시네이션은 생성형 AI가 사실과 맞지 않거나 근거가 없는 내용을 그럴듯하게 만들어 내는 현상을 가리킵니다. 없는 문헌을 제시하거나, 실제 자료의 날짜와 숫자를 바꾸거나, 주어진 내용과 다른 결론을 만드는 경우가 포함될 수 있습니다.

여기서 할루시네이션은 사람이 겪는 의학적 증상을 진단하는 표현이 아닙니다. AI 출력의 오류를 설명하는 기술적 용어입니다. NIST는 비슷한 현상을 컨패뷸레이션이라는 이름으로 다루며 자신 있게 제시되는 잘못된 내용과 입력·문맥에 어긋나는 출력을 포함해 설명합니다.

이 글의 목차

문장이 자연스러운데 왜 틀릴까?

언어모델의 대표적인 생성 과정은 입력과 앞선 출력에 이어질 토큰을 계산하는 방식입니다. 토큰은 글을 처리하는 단위입니다. 문장이 자연스럽게 이어지도록 학습된 능력은 유용하지만, 생성된 모든 인명과 수치가 외부 사실과 일치한다는 보장은 아닙니다.

NIST의 생성형 AI 위험 문서는 통계적 패턴을 이용한 출력이 사실에 맞을 수도 있지만 틀리거나 내부적으로 모순될 수도 있다고 설명합니다. 오류는 모델이 매번 의도적으로 거짓말을 결정해서만 생기는 것이 아닙니다.

질문이 긴 설명을 요구하거나 특정 분야의 맥락을 필요로 하면 확인할 세부 요소도 늘어납니다. 문장 전체가 유창하더라도 그 안의 주장들은 각각 다른 사실 조건을 갖습니다. 표현의 확신과 내용의 정확성을 같은 척도로 보기 어려운 이유입니다.

틀린 사실과 자료에 없는 설명은 구분된다

실제 세계의 사실과 다른 답변이 있을 수 있고, 사용자가 준 자료에 없는 내용을 덧붙이는 경우도 있습니다. 어떤 설명이 일반적으로 맞는 말이라도 요청한 문서의 요약에는 근거가 없을 수 있습니다.

NIST는 입력에서 벗어나거나 같은 문맥 안에서 앞선 설명과 모순되는 출력도 다룹니다. 따라서 오류 확인에는 외부 사실과의 일치뿐 아니라 입력 자료를 충실히 반영했는지도 포함됩니다.

자료의 적용 연도나 대상 집단을 생략하면 문장 자체가 완전히 틀리지 않아도 의미가 달라질 수 있습니다. 이런 경우에는 ‘문법이 맞고 출처 이름도 있다’는 확인만으로 충분하지 않습니다. 실제 자료가 어떤 조건에서 무엇을 말했는지가 확인 대상입니다.

사람에게 널리 퍼진 오해도 학습 대상이 될 수 있다

TruthfulQA 연구는 사람들이 흔히 가진 오해 때문에 잘못 답하기 쉬운 질문을 만들어 언어모델을 평가했습니다. 2021년에 공개되고 2022년 학회에 발표된 이 연구의 질문 집합은 38개 분야의 817개 질문으로 구성됐습니다.

이 평가의 목적은 일반 지식 문제를 많이 맞히는지만 보는 것이 아니라, 사람의 텍스트에 담긴 잘못된 믿음을 그대로 재현하는지를 살피는 것이었습니다. 모델이 대량의 글을 학습했다는 사실과 그 글의 오류를 모두 구별했다는 사실은 다릅니다.

원논문은 당시 시험한 모델과 평가 조건에 관한 결과입니다. 오래된 모델의 점수를 현재 모든 AI의 정답률로 소개할 수는 없습니다. 이 연구가 현재에도 설명해 주는 것은 학습 데이터에 나타나는 빈도와 사실성이 동일하지 않다는 평가상의 문제입니다.

한 문장이 전부 맞거나 전부 틀리는 것은 아니다

FActScore 연구는 긴 글을 개별 사실 단위로 나누어 검증하는 방법을 제시했습니다. 인물 소개글처럼 많은 세부 정보가 들어 있는 글에서는 일부는 근거가 있고 일부는 그렇지 않을 수 있기 때문입니다.

이 연구는 신뢰할 수 있는 지식 자료가 뒷받침하는 개별 사실의 비중을 계산합니다. 전체 글에 맞음·틀림 하나만 붙일 때 놓칠 수 있는 차이를 다루는 방법입니다.

여기서 근거가 확인되지 않았다는 결과와 그 사실이 명백히 거짓이라는 판단도 구분할 필요가 있습니다. 선택한 지식 자료의 범위 밖에 있는 정보가 있을 수 있기 때문입니다. 평가가 어떤 자료를 기준으로 했는지에 따라 점수의 의미가 달라집니다.

자료를 길게 넣으면 모두 정확하게 읽을까?

‘Lost in the Middle’ 연구는 긴 입력에서 관련 정보의 위치를 바꿔 언어모델의 성능을 평가했습니다. 여러 문서를 이용하는 질의응답과 키·값 검색 과제에서, 필요한 정보가 중간에 있을 때 성능이 낮아지는 현상을 관찰했습니다.

이 결과는 긴 입력을 받을 수 있는 능력과 그 안의 모든 정보를 고르게 활용하는 능력이 다른 문제임을 보여 줍니다. 입력 한도가 크다는 제품 설명만으로 자료를 빠짐없이 해석한다고 보장할 수는 없습니다.

다만 해당 연구는 2023년의 모델과 과제에 관한 것입니다. 모든 최신 모델이 같은 정도로 실패한다고 말하는 자료는 아닙니다. 현재 시스템의 성능은 별도로 평가해야 하며, 여기서는 정보의 존재와 정보의 활용을 구분하는 연구 사례로 이해할 수 있습니다.

검색과 출처 링크가 있어도 남는 오류

검색 결합 시스템은 외부 자료를 찾아 모델의 답변에 넣습니다. Microsoft의 RAG 문서도 검색 질문 이해, 여러 자료원의 연결, 제한된 입력 길이, 접근 권한을 각각 별도의 과제로 다룹니다. 문서를 찾는 과정부터 여러 조건이 관여합니다.

자료가 검색돼도 해당 문서의 어느 부분이 답변을 뒷받침하는지는 별개의 문제입니다. NIST는 AI가 만들어 낸 논리나 인용 자체가 잘못돼 사람을 오도할 수 있다고 설명합니다. 링크 모양이 존재한다는 것만으로 인용의 정확성이 성립하지 않습니다.

출처 확인은 문서의 실제 존재, 발행 기관과 시점, 연결한 문장과 원문의 일치 범위를 나누어 볼 수 있습니다. 이는 모델에게 같은 질문을 다시 해서 동일한 답을 얻는 것과도 다릅니다. 같은 생성 결과가 반복되는 현상은 외부 근거의 독립적인 확인이 아닙니다.

출처가 맞는지와 출처가 충분한지는 다른 질문이다

2023년 ALCE 연구는 AI 답변을 자연스러움, 정답과의 일치, 인용 품질로 나누어 평가했습니다. 인용 품질 안에서도 답변의 설명이 인용 자료로 충분히 뒷받침되는지와 불필요하거나 관련 없는 인용이 붙어 있는지를 구분했습니다.

첫 번째는 근거가 빠진 설명을 찾는 질문에 가깝습니다. 두 번째는 달아 놓은 출처가 실제 설명에 기여하는지를 묻습니다. 참고문헌의 개수가 많아도 핵심 주장에 필요한 근거가 빠질 수 있고, 실제로 존재하는 논문을 연결했어도 그 논문이 해당 주장을 말하지 않을 수 있습니다.

인용 판정에는 별도의 언어 추론 모델도 사용됐습니다. 자동 평가와 사람 평가의 관련성을 살폈지만, 평가 모델도 기준 자료와 판단 방식에 영향을 받습니다.

답을 먼저 쓰고 나중에 링크를 붙이면 무엇이 달라질까?

ALCE는 외부 자료 없이 먼저 답을 만들고 나중에 관련 인용을 붙이는 방식도 실험했습니다. 논문에서는 답변 내용의 정답 평가가 비교적 좋아도 인용 품질은 충분하지 않은 결과를 보고했습니다. 생성된 설명과 나중에 찾은 문헌의 표현·범위가 잘 맞지 않을 수 있었기 때문입니다.

이는 검색을 사용하지 않은 답이 언제나 틀리다는 뜻도, 검색한 답이 언제나 맞다는 뜻도 아닙니다. ‘맞는 내용인가’와 ‘제시한 자료가 그 내용을 뒷받침하는가’를 별도로 평가해야 한다는 실험상의 구분입니다. 당시 모델과 데이터셋의 결과를 최신 제품의 공통 오류율로 옮길 수는 없습니다.

할루시네이션 비율을 하나의 숫자로 말하기 어려운 이유

질문 종류, 답변 길이, 허용되는 근거 자료, 정답 판정 방식이 달라지면 평가 결과도 달라집니다. TruthfulQA는 오해를 유도하기 쉬운 질문에 대한 진실성을, FActScore는 긴 글 속 세부 사실의 근거 비중을 다뤘습니다. 두 점수는 같은 것을 측정하지 않습니다.

또한 답변을 거절한 경우나 자료가 부족하다고 말한 경우를 어떻게 처리하는지에 따라서도 수치의 의미가 달라질 수 있습니다. 하나의 벤치마크 점수를 모든 업무의 오류 가능성으로 바꾸는 것은 평가 범위를 넘어섭니다.

할루시네이션은 단순히 ‘AI가 가끔 틀린다’는 말보다 구체적인 문제입니다. 사실과 다른 출력, 입력에 없는 설명, 인용의 오류, 긴 문맥의 누락을 구분하면 어떤 부분을 검증해야 하는지가 명확해집니다. 유창성, 근거의 존재, 근거와 주장의 일치는 서로 다른 확인 항목입니다.

참고자료