할루시네이션(Hallucination)은 생성형 AI가 사실이 아닌 내용을 그럴듯하게 만들어내는 현상입니다.
문장 구조는 자연스럽지만 사실성이 깨지는 것이 핵심 문제입니다.

1. 할루시네이션이란?

AI 맥락에서 할루시네이션은 다음을 의미합니다.

  • 학습 데이터에 없거나
  • 사실과 다르거나
  • 근거가 불분명한 내용을
  • 모델이 자신 있게 생성하는 현상

유형

  1. 내재적 환각 (Intrinsic)
    입력 정보와 직접 모순되는 답변 생성

  2. 외재적 환각 (Extrinsic)
    입력에 없는 내용을 모델이 지어내 생성 (허위 인용 등)

2. 왜 발생하고 왜 위험한가?

기술적 원인

LLM은 “진실 판별기”가 아니라 “다음 토큰 확률 예측기”입니다.

  • 학습 데이터의 오류/편향
  • 확률 기반 생성의 한계
  • 압축 표현 과정의 정보 손실/혼합

위험성

  • 사용자 신뢰 훼손
  • 의료/법률/금융 등 고위험 영역 오판
  • 법적/윤리적 문제(허위 사실, 명예훼손, 잘못된 인용)

3. 주요 대응 기술

① RAG (Retrieval-Augmented Generation)

  • 모델 파라미터 기억에만 의존하지 않음
  • 외부 지식원에서 근거 검색 후 생성
  • 사실성 향상에 가장 실용적인 접근

② RLHF (인간 피드백 강화학습)

  • 사람이 선호/비선호 응답 신호 제공
  • “모르면 모른다”는 응답 행동 강화

③ CoT / Reasoning 강화

  • 단계적 추론 과정을 통해 답변 생성
  • 내부 모순/추론 오류를 줄이는 방향

④ Fact-checking 루프

  • 생성 결과를 별도 검증 모듈에 통과
  • 지식 그래프/검증 모델로 대조 후 재생성

⑤ 출처 인용(Citation)

  • 답변 근거 링크/문서 제시
  • 사용자 검증 가능성 확보

4. 완전 해결 가능할까?

현재 관점에서 할루시네이션 0%는 매우 어렵습니다.
생성 모델의 창의성과 확률적 생성 메커니즘이 본질적으로 연결되어 있기 때문입니다.

따라서 실무에서는 다음 원칙이 중요합니다.

  • 신뢰 가능한 근거 기반 생성(RAG)
  • 검증 루프(Fact-checking)
  • 인간 최종 검토(Human-in-the-loop)

한 줄 요약

할루시네이션은 LLM의 통계적 생성 본성에서 발생하는 “그럴듯한 거짓말”이며,
현재는 RAG·추론 강화·검증 루프·인간 검토를 조합해 실용적으로 억제하는 방향으로 발전하고 있습니다.