
TL;DR AI 할루시네이션은 모델이 모르는 것을 그럴듯하게 지어내는 현상입니다. 없앨 수는 없지만 근거 연결·검증·측정으로 업무에 쓸 만큼 줄일 수 있습니다.
2026년 국내 기업이 생성형 AI 도입을 확대하면서, 의사결정권자와 실무자를 위해 AI 할루시네이션이 왜 생기고 어떤 방법으로 줄이는지 원인과 대응을 한 번에 정리했습니다.
“보고서 초안을 AI로 썼는데 인용한 통계가 존재하지 않았다”, “사내 챗봇이 없는 규정을 있다고 안내했다.” 생성형 AI를 업무에 붙여 본 조직이라면 한 번쯤 겪는 장면입니다. 이렇게 AI가 사실이 아닌 내용을 사실처럼 말하는 현상을 AI 할루시네이션, 우리말로 환각이라고 부릅니다. 문제는 틀린 답이 틀려 보이지 않는다는 데 있습니다. 문장은 매끄럽고 말투는 단정적이어서, 읽는 사람이 따로 확인하지 않으면 그대로 보고서와 고객 안내문에 들어갑니다. 이 글은 할루시네이션의 뜻과 유형, 생기는 원인, 국내외 실제 사례를 먼저 짚고, 기업이 현실적으로 쓸 수 있는 다섯 가지 감소 방법과 업무별 허용 기준, 도입 점검표까지 차례로 정리합니다. AI 전반의 개념이 먼저 궁금하다면 AI(인공지능)란 무엇인가를, 모델이 답을 만드는 과정이 궁금하다면 AI 원리 — 학습·추론·토큰을 함께 보시면 좋습니다.
이 글이 답하는 여덟 가지 질문 목록
“AI 할루시네이션”, “AI 환각”, “할루시네이션 뜻”, “할루시네이션 해결 방법”을 검색하는 분들이 실제로 궁금해하는 순서대로 구성했습니다.
- AI 할루시네이션은 정확히 무엇이고, 왜 환각이라고 부르나요?
- 할루시네이션은 어떤 모습으로 나타나나요?
- AI는 왜 모르는 것도 아는 척하나요?
- 실제로 어떤 사고가 있었고, 국내에서도 일어났나요?
- 할루시네이션을 완전히 없앨 수 있나요?
- 업무마다 어느 정도까지 허용해야 하나요?
- 기업은 어떤 방법으로 할루시네이션을 줄이나요?
- 우리 조직은 무엇부터 점검해야 하나요?
AI 할루시네이션이란 무엇인가?
AI 할루시네이션(AI hallucination)은 생성형 AI가 학습 데이터나 주어진 자료로 뒷받침되지 않는 내용을 사실처럼 만들어 내는 현상입니다. 없는 논문을 인용하거나, 존재하지 않는 법 조항을 설명하거나, 회의록에 없던 결정 사항을 요약에 끼워 넣는 것이 모두 여기에 속합니다. 영어 hallucination 은 원래 “실재하지 않는 것을 보거나 듣는 증상”을 뜻하는 의학 용어인데, AI가 없는 것을 있다고 말하는 모습이 닮았다고 해서 이 이름이 붙었습니다. 국내에서는 할루시네이션과 환각을 같은 뜻으로 섞어 씁니다.
중요한 점은 할루시네이션이 오류 메시지처럼 눈에 띄지 않는다는 것입니다. 프로그램 버그는 대개 화면이 멈추거나 숫자가 이상하게 나와서 바로 드러납니다. 반면 할루시네이션은 문법이 완벽하고 논리 흐름도 자연스러운 문장 안에 섞여 나옵니다. 그래서 사용자는 정답과 오답을 같은 신뢰도로 받아들이게 됩니다. 의사결정권자 입장에서 이 현상이 위험한 이유는 오류율 자체보다 오류를 알아채기 어렵다는 점에 있습니다.
답의 형식이 완벽해도 내용은 틀릴 수 있다는 점이 핵심입니다. 그래서 줄이는 방법도 모델 개선만이 아니라 사용자 쪽 검증 절차를 함께 갖추는 쪽으로 이어집니다.
할루시네이션은 특정 회사 제품의 결함도 아닙니다. 대규모 언어 모델(LLM)이 문장을 만드는 방식 자체에서 생기기 때문에 ChatGPT, Gemini, Claude, 국내 모델, 오픈소스 모델 모두 정도의 차이만 있을 뿐 같은 현상을 보입니다. LLM의 기본 구조가 궁금하다면 LLM이란 무엇인가 — 원리부터 기업 도입 판단까지에서 먼저 개념을 잡으시면 이 글의 원인 설명이 훨씬 쉽게 읽힙니다.
| 구분 | 일반 소프트웨어 오류 | AI 할루시네이션 |
|---|---|---|
| 드러나는 방식 | 화면 멈춤·오류 코드로 바로 보임 | 매끄러운 문장 속에 섞여 보이지 않음 |
| 재현성 | 같은 입력이면 같은 오류 | 같은 질문에도 답이 달라질 수 있음 |
| 원인 위치 | 코드의 특정 줄 | 모델의 확률적 생성 방식 전반 |
| 고치는 방법 | 버그 수정 후 배포 | 근거 연결·검증·측정으로 빈도를 낮춤 |
표에서 보듯 할루시네이션은 “고친다”기보다 “관리한다”는 관점으로 접근해야 하는 대상입니다. 이 관점 차이가 이후 다섯 가지 방법의 출발점입니다.
할루시네이션 유형을 나누는 기준
할루시네이션을 줄이려면 먼저 어떤 종류가 있는지 나눠 보는 것이 좋습니다. 연구계에서 널리 쓰는 분류는 Huang 등의 서베이 논문 A Survey on Hallucination in Large Language Models가 제시한 것으로, 할루시네이션을 사실성 환각(factuality hallucination)과 충실성 환각(faithfulness hallucination) 두 갈래로 나눕니다.
사실성 환각은 세상의 사실과 어긋나는 답입니다. 인물·날짜·수치를 틀리게 말하는 사실 모순, 그리고 아예 존재하지 않는 논문·판례·제품을 만들어 내는 사실 날조가 여기에 속합니다. 업무 현장에서 가장 자주 문제가 되는 것은 출처 날조입니다. 그럴듯한 기관명과 연도, 문서 번호까지 붙어 나오기 때문에 검색해 보기 전까지는 진짜처럼 보입니다.
충실성 환각은 사용자가 준 지시나 자료와 어긋나는 답입니다. “이 계약서 내용만으로 답하라”고 했는데 일반 상식을 섞어 답하는 맥락 불일치, “세 줄로 요약하라”는 지시를 무시하는 지시 불일치, 앞에서 한 말과 뒤에서 한 말이 맞지 않는 논리 불일치가 대표적입니다. 사내 문서 요약이나 RAG 챗봇처럼 근거 자료를 함께 주는 시스템에서는 충실성 환각이 핵심 관리 대상이 됩니다.
| 유형 | 세부 형태 | 업무 현장 예시 | 주로 막는 방법 |
|---|---|---|---|
| 사실성 환각 | 사실 모순 | 제품 출시 연도·가격을 틀리게 안내 | 사내 데이터 근거 연결 |
| 사실성 환각 | 사실 날조 | 존재하지 않는 판례·논문·통계 인용 | 출처 표기 강제와 링크 검증 |
| 충실성 환각 | 지시 불일치 | 요약 분량·형식 지시를 무시 | 프롬프트 구조화와 형식 검사 |
| 충실성 환각 | 맥락 불일치 | 첨부 문서에 없는 조항을 덧붙임 | 근거 문장 대조와 검증 계층 |
| 충실성 환각 | 논리 불일치 | 계산 과정과 결론이 서로 맞지 않음 | 단계 분리와 규칙 기반 검사 |
이 분류를 알아 두면 “할루시네이션을 줄였다”는 말이 어느 유형을 얼마나 줄였는지로 바뀝니다. 실제로 기업 프로젝트에서 성과를 측정할 때도 유형별로 따로 세어야 개선 효과가 보입니다.
유형마다 위험의 크기도 다릅니다. 지시 불일치는 대개 사람이 읽자마자 알아챕니다. 세 줄로 요약하라고 했는데 열 줄이 나오면 누구나 압니다. 반면 사실 날조와 맥락 불일치는 원문을 대조하기 전까지 드러나지 않습니다. 그래서 업무 설계에서는 눈에 잘 띄지 않는 유형일수록 자동 검사를 먼저 붙이고, 눈에 잘 띄는 유형은 사용자 교육으로 넘기는 식으로 역할을 나눕니다. 같은 오류라도 누가, 언제, 어떤 비용으로 잡을지를 정하는 것이 유형 분류의 실제 쓸모입니다.
AI는 왜 모르는 것도 아는 척할까?
가장 근본적인 원인은 LLM이 “사실을 찾는 기계”가 아니라 “다음에 올 단어를 고르는 기계”라는 점입니다. LLM은 앞에 나온 문장을 보고 다음 토큰(단어 조각)이 무엇일 확률이 높은지 계산해 하나씩 이어 붙입니다. “대한민국의 수도는”이라는 문장 뒤에는 “서울”이 올 확률이 압도적으로 높으니 정답이 나옵니다. 그런데 학습 데이터에 거의 등장하지 않은 질문을 받으면 사정이 달라집니다. 정답 단어의 확률이 뚜렷하게 높지 않아도 모델은 멈추지 않고 가장 그럴듯한 단어를 골라 문장을 완성합니다.
여기서 “그럴듯함”과 “사실”이 갈라집니다. 모델이 배운 것은 문장의 패턴이지 사실 하나하나의 진위가 아닙니다. 예를 들어 판례 번호는 “연도 + 사건 부호 + 번호” 형식을 따른다는 패턴을 모델은 아주 잘 압니다. 그래서 실제 판례를 모르더라도 형식이 완벽한 가짜 판례 번호를 만들어 낼 수 있습니다. 사람에게는 “모르면 모른다고 말하는” 습관이 있지만, 기본 상태의 LLM에는 그런 멈춤 장치가 없습니다.
또 하나는 확신도 표현의 문제입니다. 사람은 자신 없을 때 “아마”, “제 기억으로는” 같은 말로 불확실성을 드러냅니다. LLM도 그런 표현을 쓸 수는 있지만, 실제 내부 확률과 말투가 일치한다는 보장이 없습니다. 틀린 답을 단정적으로 말하고 맞는 답을 머뭇거리며 말하는 일이 흔합니다. 그래서 답의 말투만 보고 진위를 판단하면 안 됩니다.
이 생성 방식은 AI 원리 — 학습·추론·토큰으로 보는 AI 글에서 더 자세히 다룹니다. 할루시네이션 관점에서 기억해 둘 결론은 하나입니다. 모델에게 근거를 주지 않으면 모델은 기억과 패턴으로 빈칸을 채운다는 것입니다. 이후 소개할 방법 대부분은 이 빈칸을 근거로 메우거나, 빈칸을 채운 결과를 검사하는 장치입니다.
학습 데이터와 지식 마감일이 만드는 한계
두 번째 원인은 학습 데이터 자체에 있습니다. LLM은 인터넷 문서, 책, 코드 등 방대한 텍스트로 학습하지만 이 데이터에는 세 가지 빈틈이 있습니다.
첫째, 오류와 소문이 섞여 있습니다. 인터넷에는 잘못된 정보, 오래된 정보, 서로 모순되는 주장이 함께 존재합니다. 모델은 이 가운데 어느 것이 맞는지 판단해서 배우는 것이 아니라 자주 등장한 패턴을 더 강하게 배웁니다. 틀린 주장이 널리 퍼져 있으면 모델도 그 주장을 사실처럼 말할 수 있습니다.
둘째, 지식 마감일(knowledge cutoff)이 있습니다. 모델은 학습 데이터를 모은 시점 이후의 일을 모릅니다. 그런데도 최신 정보를 물으면 과거 패턴을 이어 붙여 답을 만듭니다. 2026년 1월 22일 시행된 국내 AI 기본법처럼 비교적 최근의 제도나, 지난 분기 바뀐 사내 규정을 물으면 할루시네이션이 생기기 쉬운 이유가 여기에 있습니다(뉴스서울 보도).
셋째, 기업 내부 지식은 아예 없습니다. 우리 회사의 제품 가격표, 인사 규정, 고객 계약 조건, 장애 대응 이력은 공개 인터넷에 없으므로 모델이 학습할 수 없었습니다. 그런데 직원은 사내 챗봇에 바로 이런 것을 묻습니다. 근거가 없는 상태에서 질문을 받으면 모델은 일반적인 회사라면 이럴 것이라는 추측으로 답합니다. 기업용 AI에서 할루시네이션이 특히 문제가 되는 지점입니다.
| 빈틈 | 증상 | 기업 업무에서 생기는 일 |
|---|---|---|
| 오류가 섞인 학습 데이터 | 널리 퍼진 오해를 사실처럼 답함 | 잘못된 업계 통념이 보고서에 들어감 |
| 지식 마감일 | 최근 제도·가격을 옛 기준으로 답함 | 바뀐 규정을 예전 기준으로 안내 |
| 내부 지식 부재 | 사내 정보를 일반론으로 추측 | 없는 사내 규정·계약 조건을 만들어 냄 |
이 표의 세 가지 가운데 기업이 가장 크게 개선할 수 있는 것은 마지막 두 가지입니다. 최신 문서와 사내 문서를 답변 순간에 넣어 주면 지식 마감일과 내부 지식 부재를 동시에 메울 수 있고, 이것이 다섯 가지 방법 가운데 첫째인 RAG의 출발점입니다.
평가 방식이 추측을 부추기는 이유
세 번째 원인은 잘 알려지지 않았지만 최근 가장 주목받는 부분입니다. 바로 모델을 훈련하고 평가하는 방식이 “모른다”보다 “찍기”를 보상한다는 점입니다.
OpenAI 연구진이 2025년 9월 공개한 논문 Why Language Models Hallucinate는 할루시네이션이 지속되는 원인으로 학습과 평가 절차가 불확실성을 인정하는 것보다 추측하는 쪽을 보상한다는 점을 들었습니다. 객관식 시험을 떠올리면 이해가 쉽습니다. 정답 개수만 세는 시험에서는 모르는 문제를 비워 두면 0점이지만, 아무 번호나 찍으면 일정 확률로 점수를 얻습니다. 그러니 점수를 올리려는 수험생은 모르는 문제도 찍습니다.
LLM 벤치마크 상당수가 이 시험과 같은 구조입니다. 정확도만 보는 순위표에서는 “모르겠습니다”라고 답하는 모델이 손해를 봅니다. 모델 개발사는 순위표 점수를 올리려고 모델을 조정하고, 그 결과 모델은 확신이 없을 때도 답을 내놓는 쪽으로 길들여집니다. 논문은 그래서 틀린 답에 감점을 주고 답변 보류에는 부분 점수를 주는 평가 방식으로 바꿔야 한다고 제안합니다.
이 이야기는 기업에도 그대로 적용됩니다. 사내 AI 프로젝트를 “정답률 몇 %”라는 단일 지표로만 평가하면, 운영팀도 모르는 질문에 답을 하도록 시스템을 조정하게 됩니다. 반대로 “틀린 답 비율”과 “답변 보류 비율”을 따로 재면 모르는 질문에서 멈추는 시스템이 좋은 평가를 받습니다. 기업이 할루시네이션 관리 지표를 설계할 때 반드시 점검해야 할 부분이 바로 이 평가 기준입니다.
현업 부서의 기대도 같은 방향으로 작용합니다. 시연 자리에서 “그건 자료에 없습니다”라는 답이 나오면 참석자들은 실망하고, 무엇이든 답하는 시스템이 더 똑똑해 보입니다. 그러나 운영에 들어가면 사정이 뒤집힙니다. 모르는 질문에 정직하게 멈추는 시스템이 결국 신뢰를 얻고 사용률도 오래 유지합니다. 그래서 시연과 파일럿 단계부터 보고서에 답변 보류 건수를 따로 적고, 그것이 실패가 아니라 안전장치가 작동한 결과라는 점을 경영진과 현업에 미리 설명해 두는 것이 좋습니다.
긴 문맥과 복잡한 지시에서 늘어나는 이유
네 번째 원인은 입력이 길고 복잡해질 때 생깁니다. 최근 모델은 수십만 토큰을 한 번에 읽을 수 있지만, 많이 읽을 수 있다는 것과 빠짐없이 정확하게 쓴다는 것은 다릅니다.
긴 문서를 통째로 넣고 질문하면 모델은 문서 중간에 있는 정보를 놓치거나, 비슷한 표현이 나오는 다른 단락의 내용을 섞어 답하기도 합니다. 계약서 수십 쪽을 넣고 “위약금 조항을 요약하라”고 했을 때, 실제 위약금 조항 대신 손해배상 조항의 숫자를 가져오는 식입니다. 이런 혼동은 충실성 환각의 전형입니다.
지시가 복잡할 때도 비슷합니다. 한 번의 요청에 “요약하고, 위험 요소를 찾고, 표로 정리하고, 영어로 번역하라”를 모두 넣으면 모델은 일부 지시를 빠뜨리거나 단계 사이에서 내용을 바꿉니다. 사람에게도 한꺼번에 여러 일을 맡기면 실수가 늘어나는 것과 같습니다.
대화가 길어질 때도 같은 문제가 생깁니다. 상담이나 업무 지원 대화가 수십 번 오가면 앞부분에서 확인한 조건과 뒷부분의 질문이 섞이고, 모델은 이미 바뀐 조건을 예전 값으로 기억해 답하기도 합니다. 고객이 대화 초반에 “법인 고객”이라고 밝혔는데 후반에는 개인 고객 기준으로 안내하는 식입니다. 그래서 긴 대화를 다루는 시스템은 핵심 조건을 따로 정리해 매 요청마다 다시 넣어 주는 설계가 필요합니다.
에이전트처럼 여러 단계를 스스로 이어 가는 시스템에서는 문제가 더 커집니다. 첫 단계에서 생긴 작은 환각이 다음 단계의 입력이 되어 오류가 눈덩이처럼 커지기 때문입니다. 예를 들어 첫 단계에서 고객 등급을 잘못 판단하면 이후 할인율 계산, 안내 메일 작성, 시스템 등록까지 모두 틀린 전제로 진행됩니다. 그래서 에이전트를 설계할 때는 단계를 잘게 나누고 각 단계 끝에 검사점을 두는 방식이 중요합니다. 이 원칙은 뒤에서 다룰 검증 계층과 연결됩니다.
국내외 실제 할루시네이션 사례
할루시네이션은 실험실 안의 이야기가 아닙니다. 이미 법정과 고객 응대 현장에서 금전적·법적 책임으로 이어진 사례가 여럿 있습니다. 공개 출처로 확인할 수 있는 대표 사례를 정리했습니다.
세종대왕 맥북프로 던짐 사건(2023년, 국내). 국내에서 할루시네이션을 대중에게 알린 가장 유명한 장면입니다. 한 사용자가 “조선왕조실록에 기록된 세종대왕 맥북프로 던짐 사건에 대해 알려 달라”고 묻자, ChatGPT가 실제로 없던 일을 그럴듯한 역사 서술로 답해 화제가 됐습니다(파이낸셜뉴스·뉴스1 보도). 웃음으로 넘길 수 있는 예였지만, 질문에 거짓 전제가 들어 있으면 모델이 그 전제를 그대로 받아 이야기를 만든다는 점을 잘 보여 줍니다.
국내 법원에 제출된 AI 허위 판례(2025~2026년). 2025년에는 한 지방법원 형사재판부가 변호사 의견서에 인용된 판결 5건이 법원 전산망에 존재하지 않는다는 것을 확인했습니다(디지털데일리 보도). 2026년 8월 보도에서는 서울북부지법 사건에서 인용된 사건번호가 모두 존재하지 않았고, 헌법재판소 사건에서도 없는 사건번호가 인용됐다고 전했습니다. 기사는 이를 AI가 만든 서면의 허위 판례를 검토 없이 제출한 사례로 설명합니다(한국경제 보도). 전문가 업무에서도 검증 단계가 빠지면 할루시네이션이 그대로 공식 문서에 들어간다는 점을 보여 줍니다.
미국 Mata v. Avianca 사건(2023년). 미국 뉴욕 연방법원에서 원고 측 변호사들이 ChatGPT로 작성한 서면에 존재하지 않는 판례를 인용했고, 법원은 변호사들에게 5,000달러의 제재금을 부과했습니다(Wikipedia — Mata v. Avianca). AI 허위 판례 문제가 세계적으로 알려진 계기가 된 사건입니다.
캐나다 Moffatt v. Air Canada 사건(2024년). 에어캐나다 웹사이트 챗봇이 유족 할인 운임 규정을 실제와 다르게 안내했고, 캐나다 브리티시컬럼비아주 민사분쟁조정재판소는 2024년 2월 항공사가 웹사이트에서 제공한 정보에 책임을 져야 한다며 운임 차액 약 812캐나다달러와 이자·비용을 배상하라고 결정했습니다(Wikipedia — Moffatt v. Air Canada). “챗봇이 한 말은 회사가 한 말”이라는 원칙을 확인한 판단이라, 고객 응대 챗봇을 운영하는 기업이라면 반드시 기억해야 할 사례입니다.
법률 분야 할루시네이션 측정(2024년, 미국 스탠퍼드대). 스탠퍼드대 연구진은 범용 LLM이 구체적인 법률 질의에 69%~88%의 환각 비율을 보였다고 발표했습니다(Stanford HAI). 이어 법률 전문 AI 도구를 시험한 연구에서도 Lexis+ AI는 17%가 넘는 비율로, Westlaw의 AI 리서치 기능은 34%가 넘는 비율로 잘못된 정보를 냈다고 밝혔습니다(Stanford HAI). 전문 데이터와 검색을 붙인 도구도 할루시네이션이 0이 되지는 않는다는 것이 핵심입니다.
| 사례 | 연도 | 무엇이 틀렸나 | 결과 | 교훈 |
|---|---|---|---|---|
| 세종대왕 맥북프로 | 2023 | 거짓 전제를 사실처럼 서술 | 사회적 화제 | 질문의 전제도 검증 대상 |
| 국내 법원 허위 판례 | 2025~2026 | 존재하지 않는 판결·사건번호 인용 | 재판부가 확인·지적 | 전문가 문서도 원문 대조 필수 |
| Mata v. Avianca | 2023 | 가짜 판례 인용 | 제재금 5,000달러 | 출처는 반드시 원본 확인 |
| Moffatt v. Air Canada | 2024 | 챗봇의 잘못된 운임 안내 | 회사 배상 책임 | 챗봇 답변은 회사 책임 |
| 스탠퍼드 법률 AI 측정 | 2024 | 전문 도구도 오류 발생 | 17%·34% 초과 오류 | 전문 데이터만으로는 부족 |
국내 공공 부문에서도 이 위험은 일찍부터 지적됐습니다. 국가정보원은 2023년 “챗GPT 등 생성형 AI 기술 활용 보안 가이드라인”에서 환각(Hallucination)으로 인한 잘못된 결과물의 위험을 경고하며, 답변으로 제공됐다고 모두 정답은 아니라는 점을 짚었습니다(보안뉴스 보도).
할루시네이션을 완전히 없앨 수 있나?
결론부터 말하면 현재 기술로 할루시네이션을 0으로 만드는 방법은 없습니다. 앞에서 본 것처럼 원인이 LLM의 생성 방식 자체에 있기 때문입니다. 다만 “없앨 수 없다”는 말이 “줄일 수 없다”는 뜻은 아닙니다.
모델 자체의 환각 비율은 세대가 바뀔 때마다 꾸준히 낮아지고 있습니다. 문서 요약 과제에서 모델이 원문에 없는 내용을 얼마나 끼워 넣는지 재는 Vectara의 환각 리더보드(HHEM)를 보면, 2026년 10월 기준 상위 모델들의 요약 환각 비율은 대체로 2~4%대입니다. 다만 이 수치는 원문을 주고 요약만 시키는 비교적 쉬운 과제에서 잰 값입니다. 원문 없이 사실을 묻거나, 여러 문서를 엮어 판단하게 하면 비율은 훨씬 올라갑니다. 순위와 수치도 수시로 바뀌므로 특정 모델 이름보다 “우리 업무 문장으로 직접 재야 한다”는 원칙을 기억하는 편이 낫습니다.
실무에서 현실적인 목표는 세 가지입니다. 첫째, 빈도를 업무가 감당할 수 있는 수준으로 낮춥니다. 둘째, 남은 오류가 사람 눈에 띄게 만듭니다. 출처 링크, 근거 문장 표시, 확신도 표시가 그 장치입니다. 셋째, 오류가 생겨도 피해가 커지기 전에 멈추게 합니다. 결제·발송·시스템 변경처럼 되돌리기 어려운 동작 앞에는 사람 승인을 둡니다.
이 세 가지 목표를 기준으로 보면, 기업이 할 일은 “할루시네이션 없는 모델”을 찾는 것이 아니라 할루시네이션이 생겨도 안전한 업무 구조를 만드는 것입니다. 모델은 계속 바뀌지만 이 구조는 모델을 바꿔도 그대로 남는 자산이 됩니다.
모델 선택에서도 같은 원칙이 통합니다. 더 큰 모델이 대체로 오류가 적지만, 비용과 응답 속도, 데이터 보안 조건까지 함께 보면 언제나 가장 큰 모델이 정답은 아닙니다. 사내 문서를 근거로 답하는 업무라면 근거를 잘 따르는 중형 모델과 튼튼한 검증 구조의 조합이 비싼 대형 모델 단독보다 나은 결과를 내는 경우가 많습니다. 그래서 모델 비교도 공개 순위표가 아니라 우리 업무 평가 세트 위에서 해야 합니다.
기업 업무에서 할루시네이션 비용이 커지는 이유
개인이 ChatGPT를 쓰다 틀린 답을 받으면 다시 물으면 그만입니다. 하지만 기업 시스템에 들어간 AI의 할루시네이션은 비용 구조가 완전히 다릅니다.
첫째, 규모가 곱해집니다. 사내 챗봇 하나가 하루 수천 건을 응대하면 1%의 할루시네이션도 하루 수십 건의 잘못된 안내가 됩니다. 사람 상담원 한 명의 실수와 달리 같은 오류가 반복해서 퍼집니다.
둘째, 책임이 회사로 돌아옵니다. 에어캐나다 사례처럼 챗봇이 고객에게 한 말은 회사의 공식 안내로 간주됩니다. 금융 상품 설명, 보험 약관 안내, 공공 민원 응답처럼 규제가 있는 업무에서는 할루시네이션이 곧 불완전 판매나 민원, 법적 분쟁으로 이어질 수 있습니다.
특히 금융·법률·의료처럼 정답이 분명하고 정확도가 곧 신뢰인 분야에서는 AI의 그럴듯한 거짓말이 단순한 기술 오류로 끝나지 않습니다. 잘못된 정보가 의사결정을 왜곡하고 브랜드 평판을 훼손하는 사업 리스크가 되며, 답의 출처를 검증할 수 없다면 기업은 그 결과를 실무에 그대로 쓸 수 없습니다.
셋째, 신뢰가 한 번에 무너집니다. 직원들은 AI가 몇 번만 틀려도 “결국 다 확인해야 한다면 안 쓰는 게 낫다”고 판단합니다. 그러면 큰 비용을 들여 만든 AI 시스템의 사용률이 떨어지고 투자 효과가 사라집니다. 기업 AI 도입이 실패하는 흔한 경로 가운데 하나가 바로 이 신뢰 붕괴입니다.
이 비용은 숨어 있어서 더 위험합니다. 직원들이 AI 답변을 매번 원문과 대조하느라 쓰는 시간은 어느 보고서에도 비용으로 잡히지 않습니다. 겉으로는 AI를 쓰고 있지만 실제로는 검증 작업이 사람에게 그대로 남아 생산성 효과가 사라지는 셈입니다. 도입 효과를 측정할 때 처리 시간뿐 아니라 검증에 들어간 시간도 함께 재야 하는 이유입니다.
넷째, 에이전트 시대에는 말이 행동이 됩니다. 답변만 하던 챗봇과 달리 AI 에이전트는 메일을 보내고, 티켓을 만들고, 설정을 바꿉니다. 할루시네이션이 텍스트에 머물지 않고 실제 시스템 변경으로 이어질 수 있다는 뜻입니다. 2026년 1월 시행된 AI 기본법이 고영향 AI에 위험 관리와 설명 의무를 요구하는 흐름까지 고려하면, 할루시네이션 관리는 품질 과제를 넘어 거버넌스 과제가 됩니다.
아래 슬라이드는 에이전트 환경에서 할루시네이션이 두 갈래로 나타난다는 점을 정리한 것입니다. 그럴듯한 가짜 결과를 내놓는 결과의 할루시네이션과, 필요 없는 삭제나 설정 변경처럼 잘못된 조작을 실행하는 행동의 할루시네이션입니다.
그림. 에이전트 환경의 행동 할루시네이션과 결과 할루시네이션
그래서 할루시네이션 대응 예산은 “AI 품질 개선비”가 아니라 “AI를 업무에 쓰기 위한 최소 안전장치 비용”으로 보는 것이 맞습니다. 이 관점을 경영진과 먼저 맞춰 두면 이후 검증 계층이나 평가 체계 투자를 설명하기가 훨씬 쉬워집니다.
업무별 허용 수준을 정하는 기준
모든 업무에 같은 수준의 할루시네이션 대책을 적용하면 비용이 지나치게 커집니다. 반대로 모든 업무를 같은 기준으로 느슨하게 두면 사고가 납니다. 그래서 업무를 위험도에 따라 나누고 등급별로 허용 수준과 통제 방법을 다르게 정하는 것이 출발점입니다.
판단 기준은 세 가지 질문으로 정리할 수 있습니다. ① 틀린 답이 외부(고객·국민·규제기관)로 나가는가? ② 틀린 답이 되돌리기 어려운 행동으로 이어지는가? ③ 틀린 답을 사람이 쉽게 알아챌 수 있는가? 세 질문에 “예”가 많을수록 높은 등급으로 분류합니다.
| 등급 | 업무 예시 | 허용 수준 | 필수 통제 |
|---|---|---|---|
| 낮음 | 아이디어 발상, 문장 다듬기, 회의 초안 | 사람이 고쳐 쓰는 전제로 허용 | 사용자 교육, AI 생성 표시 |
| 중간 | 사내 규정 안내, 기술 문서 검색, 내부 보고 요약 | 근거 없는 답은 허용하지 않음 | RAG 근거 연결, 출처 링크, 답변 보류 |
| 높음 | 고객 상담, 금융·보험 상품 안내, 민원 응답 | 근거와 다른 답은 내보내지 않음 | 검증 계층, 금칙 규칙, 표본 감사 |
| 매우 높음 | 계약·법률 판단, 결제·설정 변경, 의료 판단 | AI 단독 결정 불허 | 사람 승인 필수, 행동 전 확인, 감사 로그 |
이 표를 사내 기준으로 바꿀 때는 업무 담당 부서, 보안 부서, 법무 부서가 함께 등급을 정해야 합니다. 특히 “매우 높음” 등급에 AI를 쓸지 말지는 기술팀이 아니라 경영진이 결정해야 할 문제입니다. 등급표가 있으면 새 AI 과제가 들어올 때마다 어떤 통제를 먼저 갖춰야 하는지 바로 정해지고, 과제별 예산과 일정도 현실적으로 잡을 수 있습니다.
예를 들어 같은 사내 챗봇이라도 직원용 복리후생 안내는 “중간”, 고객용 요금 안내는 “높음”으로 분류할 수 있습니다. 같은 기술 위에서 돌아가더라도 업무마다 다른 통제 수준을 적용하는 것이 비용과 안전을 함께 지키는 방법입니다. 등급은 한 번 정하고 끝나는 것이 아니라 운영 데이터를 보며 분기마다 다시 확인합니다.
첫째, RAG로 답의 근거를 사내 문서에 묶는 방식
할루시네이션을 줄이는 첫 번째이자 가장 효과가 큰 방법은 RAG(Retrieval-Augmented Generation, 검색 증강 생성)입니다. 질문이 들어오면 먼저 사내 문서 저장소에서 관련 문단을 검색하고, 그 문단을 질문과 함께 모델에 넣어 “이 자료를 근거로 답하라”고 지시하는 구조입니다. RAG는 Lewis 등의 2020년 논문에서 정리된 이후 기업 생성형 AI의 표준 구조가 됐습니다.
RAG의 이름에 담긴 세 단계, 즉 검색(Retrieval)·보강(Augmented)·생성(Generation)이 할루시네이션을 어떻게 바꾸는지는 아래 슬라이드 한 장으로 정리됩니다.
그림. 할루시네이션과 RAG의 검색·보강·생성 단계, 그리고 근거 있는 답변
모델 내부에 저장된 지식, 흔히 파라메트릭 메모리라고 부르는 기억에만 기대면 답의 출처를 확인할 길이 없습니다. RAG는 답을 만들 때마다 검증된 외부 문서를 참조하게 해서 답의 근거를 사람이 따라가 볼 수 있게 만든다는 점에서 기업 AI 신뢰성의 기본 장치로 자리 잡았습니다.
RAG가 효과적인 이유는 앞에서 본 원인 세 가지를 한꺼번에 공략하기 때문입니다. 모델이 기억으로 빈칸을 채우는 대신 검색된 근거를 읽고 답하게 되므로 학습 데이터의 오류에 덜 의존하고, 문서를 최신으로 유지하면 지식 마감일 문제가 사라지며, 사내 문서를 넣으니 내부 지식 부재도 메워집니다. 답변과 함께 근거 문서 링크를 보여 줄 수 있어서 사용자가 직접 확인하기도 쉬워집니다.
다만 RAG를 붙였다고 할루시네이션이 저절로 사라지지는 않습니다. 실제 프로젝트에서 자주 만나는 함정은 세 가지입니다. ① 검색이 틀리면 답도 틀립니다. 관련 없는 문단을 가져오면 모델은 그 문단을 근거로 엉뚱한 답을 만듭니다. ② 문서를 너무 잘게 자르면 맥락이 끊깁니다. 조항 번호와 예외 조건이 서로 다른 조각에 들어가면 모델은 예외를 빼고 답합니다. ③ 문서끼리 충돌합니다. 옛 규정과 새 규정이 함께 검색되면 모델이 둘을 섞습니다.
그래서 RAG의 품질은 모델보다 문서 정리, 분할 방식, 검색 품질, 버전 관리가 좌우합니다. 파이프라인 단계별 설계와 도입 체크리스트는 RAG란 무엇인가 — 파이프라인 해부와 도입 체크리스트에 정리돼 있습니다.
실무에서 바로 쓸 수 있는 요령도 몇 가지 있습니다. 검색 결과의 유사도 점수가 일정 기준보다 낮으면 답을 만들지 말고 “관련 자료를 찾지 못했습니다”로 멈추게 합니다. 문서에 작성일과 시행일, 폐기 여부를 메타데이터로 붙여 최신 유효 문서만 검색되도록 거릅니다. 표와 조항 번호처럼 구조가 중요한 문서는 제목과 상위 조항을 각 조각에 함께 붙여 맥락이 끊기지 않게 합니다. 이 세 가지만 지켜도 검색 단계에서 생기는 오답이 눈에 띄게 줄어듭니다.
조직도, 제품 구성, 규정 간 참조처럼 정보 사이의 관계가 중요한 질문이라면 벡터 검색만으로는 한계가 있습니다. 이때는 문서에서 개체와 관계를 뽑아 지식 그래프로 만들고, 그래프를 따라가며 근거를 모으는 GraphRAG가 대안이 됩니다. 벡터 검색으로 진입점을 찾고 그래프 순회로 연결된 맥락을 모으는 하이브리드 방식은 벡터DB+GraphDB로 만드는 GraphRAG와 GraphRAG로 구현하는 정확한 엔터프라이즈 AI에서 자세히 다룹니다.
둘째, 프롬프트와 출처 표기를 강제하는 방식
두 번째 방법은 모델에게 주는 지시, 즉 프롬프트를 할루시네이션에 강하게 설계하는 것입니다. 돈이 거의 들지 않고 바로 적용할 수 있어서 가장 먼저 손대야 할 방법이기도 합니다.
핵심 원칙은 네 가지입니다. 첫째, 답의 근거 범위를 명확히 정합니다. “아래 제공된 문서에 있는 내용만 사용해 답하고, 문서에 없으면 ‘제공된 자료에서 찾을 수 없습니다’라고 답하라”처럼 근거 밖으로 나가지 말라는 지시와 함께 모를 때의 답을 미리 정해 줍니다. 앞에서 본 것처럼 모델은 기본적으로 찍는 쪽으로 길들여져 있으므로, 멈출 수 있는 출구를 명시적으로 열어 줘야 합니다.
둘째, 출처 표기를 강제합니다. 답의 각 문장 뒤에 근거 문서 번호나 문단을 붙이게 하면 두 가지 효과가 있습니다. 모델이 근거 없는 문장을 덜 만들고, 사람이 근거를 바로 대조할 수 있습니다. 출처가 붙지 않은 문장을 자동으로 걸러 내는 후처리 규칙을 함께 두면 효과가 더 커집니다.
셋째, 한 번에 한 가지 일만 시킵니다. 앞에서 본 복잡한 지시 문제를 피하려면 “검색 → 요약 → 표 작성 → 검토”처럼 단계를 나눠 각각 다른 요청으로 처리합니다. 단계를 나누면 중간 결과를 검사할 지점도 생깁니다.
넷째, 질문의 전제를 확인하게 합니다. 세종대왕 맥북프로 사례처럼 질문에 거짓 전제가 들어 있으면 모델은 전제를 그대로 받아들입니다. “질문의 전제가 자료와 맞지 않으면 먼저 그 점을 지적하라”는 지시를 넣어 두면 이런 유형을 상당 부분 막을 수 있습니다.
프롬프트 작성 원칙을 더 알고 싶다면 실무자를 위한 ChatGPT 프롬프트 작성 6가지 원칙을 참고하시기 바랍니다. 다만 프롬프트는 모델이 지시를 따른다는 전제 위에서만 작동합니다. 모델이 지시를 어기는 경우까지 막으려면 다음 방법인 검증 계층이 필요합니다.
셋째, 검증 계층과 판단 전용 모델을 두는 방식
세 번째 방법은 생성된 답을 그대로 내보내지 않고, 별도의 검증 단계를 한 번 더 거치게 하는 구조입니다. 글을 쓰는 사람과 검토하는 사람을 나누는 것과 같은 원리입니다.
검증 계층은 보통 세 겹으로 만듭니다. 첫째, 규칙 기반 검사입니다. 숫자·날짜·금액·상품 코드처럼 형식이 정해진 값은 원본 데이터베이스와 바로 대조할 수 있습니다. 답에 나온 가격이 가격표와 다르면 내보내지 않습니다. 단순하지만 사실 모순 유형을 가장 확실하게 잡습니다.
둘째, 근거 대조 검사입니다. 답의 각 문장이 검색된 근거 문단에서 뒷받침되는지 다른 모델이나 판정 로직으로 확인합니다. 근거에 없는 문장이 섞여 있으면 그 문장을 지우거나 답변 전체를 보류합니다. RAG 시스템의 충실성 환각을 잡는 핵심 장치입니다.
셋째, 판단 단계 분리입니다. 에이전트가 “이 문의를 어느 부서로 보낼까”, “이 요청을 승인할까”처럼 정해진 선택지 중 하나를 골라야 하는 자리에 자유롭게 문장을 생성하는 LLM을 쓰면, 선택지에 없는 답을 지어내거나 형식이 깨지는 일이 생깁니다. 이런 자리에는 선택지 안에서만 답하도록 구조가 정해진 판단 전용 모델을 두는 방법이 있습니다.
자연어 요청을 바로 실행하지 않고 중간 단계로 한 번 풀어 보여 주는 방식도 같은 효과를 냅니다. 운영자의 질문을 의도·기간·대상·호출할 도구 계획으로 나눠 화면에 먼저 보여 주고, 사람이 확인하거나 고친 뒤에 실행하게 하면 모델이 잘못 이해한 요청이 실행 전에 걸러집니다. 질문을 엉뚱하게 해석해 생기는 할루시네이션을 막는 1차 방어선 역할을 합니다.
판단 전용 AI 모델 제브(Jev)가 그런 예입니다. 제브는 텍스트를 생성하지 않고, 미리 정한 선택지 가운데 하나와 선택지별 확률을 돌려줍니다. 구조상 선택지 밖의 답이 나올 수 없고, 확률을 함께 주기 때문에 확신도가 낮은 건만 사람에게 넘기는 설계가 쉬워집니다. 다만 형식이 맞는다고 값이 맞는 것은 아니므로, 사람이 정답을 붙인 업무 문장 100건 안팎으로 정답률을 먼저 재고 확신도 임계값을 정해야 합니다. 지연·비용 수치와 도입 검증 절차는 판단 전용 AI 모델 제브로 LLM 대비 지연·비용을 줄이는 법에서 자세히 다룹니다.
검증 계층을 두면 응답 시간과 비용이 조금 늘어납니다. 그래서 앞에서 정한 업무 등급에 따라 검증 깊이를 다르게 하는 것이 현실적입니다. “낮음” 등급은 규칙 검사만, “높음” 이상은 근거 대조와 판단 분리까지 적용하는 식입니다.
검증을 맡은 모델도 틀릴 수 있다는 점은 기억해 둘 필요가 있습니다. 생성 모델과 같은 모델로 자기 답을 검사하게 하면 같은 착각을 그대로 반복하는 경우가 있습니다. 그래서 검증에는 다른 모델, 다른 프롬프트, 또는 규칙 기반 로직을 쓰고, 검증 단계가 놓친 오류는 다섯째 방법인 운영 측정에서 다시 걸러 내는 이중 구조를 둡니다.
넷째, 가드레일과 평가 체계를 갖추는 방식
네 번째 방법은 시스템 전체에 가드레일(안전 울타리)과 평가 체계를 두는 것입니다. 앞의 방법들이 개별 답변을 다룬다면, 이 방법은 시스템이 시간이 지나도 같은 품질을 유지하는지를 다룹니다.
가드레일은 입력과 출력 양쪽에 둡니다. 입력 쪽에서는 시스템이 다루지 않는 주제의 질문, 개인정보가 섞인 질문, 프롬프트를 조작하려는 시도를 걸러 냅니다. 출력 쪽에서는 금칙어, 확정적 약속 표현(“반드시 보장합니다”), 근거 없는 수치, 경쟁사 비방 같은 위험 표현을 검사합니다. 할루시네이션 관점에서 특히 중요한 것은 “답할 수 없는 질문은 답하지 않게 하는 범위 제한”입니다. 시스템이 맡은 업무 밖의 질문에 성실하게 답하려는 순간 할루시네이션 가능성이 크게 올라가기 때문입니다.
평가 체계는 할루시네이션 관리의 심장입니다. 많은 조직이 PoC 단계에서 몇십 개 질문으로 “잘 된다”고 판단하고 넘어가는데, 운영에 들어가면 질문의 다양성이 훨씬 커집니다. 그래서 다음과 같은 평가 세트를 따로 만들어 두고 모델·프롬프트·문서가 바뀔 때마다 다시 돌려야 합니다.
| 평가 항목 | 무엇을 재나 | 왜 필요한가 |
|---|---|---|
| 정답률 | 정답이 있는 질문에서 맞힌 비율 | 기본 품질 확인 |
| 할루시네이션 비율 | 근거에 없는 내용이 들어간 답의 비율 | 핵심 위험 지표 |
| 답변 보류율 | “찾을 수 없습니다”로 멈춘 비율 | 찍기 대신 멈추는지 확인 |
| 근거 일치율 | 답 문장이 인용한 근거와 맞는 비율 | 출처 표기의 실효성 확인 |
| 거짓 전제 대응률 | 잘못된 전제 질문을 지적한 비율 | 세종대왕형 오류 차단 확인 |
이 표의 핵심은 정답률 하나만 보지 않는다는 점입니다. 앞에서 본 OpenAI 연구가 지적했듯 정답률만 재면 시스템은 찍는 쪽으로 기웁니다. 할루시네이션 비율과 답변 보류율을 함께 보면 모르는 질문에서 정직하게 멈추는 시스템이 좋은 점수를 받습니다. 평가 세트에는 실제 사용자 질문, 일부러 만든 함정 질문, 문서에 답이 없는 질문을 고르게 섞어야 합니다.
에이전트에 도구 권한을 주는 단계라면 위험 분류 기준도 함께 점검하는 것이 좋습니다. OWASP 위험 분류 — 에이전트 검토의 8가지 필수 기능에 에이전트 검토 기준이 정리돼 있습니다.
평가 세트는 처음부터 크게 만들 필요가 없습니다. 실제 사용자 질문 100~200건에 정답과 근거 문서를 붙이는 것으로 시작하고, 운영 중 신고된 오답을 계속 추가해 키워 갑니다. 중요한 것은 크기보다 같은 세트로 반복해서 재는 일관성입니다. 세트가 매번 바뀌면 개선됐는지 나빠졌는지를 비교할 수 없습니다.
측정 방법도 한 가지로 끝나지 않습니다. 아래 슬라이드처럼 형식·금지어처럼 기계로 판정할 수 있는 것은 먼저 기계로 막고, 말투·관련성처럼 애매한 품질은 판정용 모델에 맡기며, 최종 수용 여부와 기준 보정은 사람이 맡는 세 층으로 나눕니다.
그림. 기계적 검사, LLM Judge, 사람 판단으로 나눈 평가의 세 층
모든 판정을 판정용 모델에 맡기면 비용이 커지고 결과도 흔들립니다. 할루시네이션 평가에서도 숫자·날짜 대조처럼 규칙으로 잡을 수 있는 오류는 규칙으로 먼저 걸러 내는 것이 효율적입니다.
다섯째, 사람 검토와 운영 측정을 돌리는 방식
다섯 번째 방법은 사람과 운영 데이터를 할루시네이션 관리 고리에 넣는 것입니다. 앞의 네 가지가 시스템 안의 장치라면, 이 방법은 그 장치들이 실제로 작동하는지 확인하고 계속 개선하는 체계입니다.
사람 검토(Human-in-the-Loop)는 위험 등급에 따라 다르게 둡니다. “매우 높음” 등급 업무는 AI가 초안을 만들고 사람이 승인해야만 실행되게 합니다. “높음” 등급은 확신도가 낮거나 근거 대조에서 걸린 건만 사람에게 보냅니다. “중간” 등급은 일정 비율을 무작위로 뽑아 사후 감사합니다. 이렇게 하면 사람의 검토 시간을 위험이 실제로 있는 곳에 집중할 수 있습니다.
AI 에이전트처럼 스스로 여러 단계를 실행하는 시스템이라면 검토 체계를 두 가지 질문으로 정리해 볼 수 있습니다. 이 실행을 누가 승인했는가, 그리고 그 결과를 누가 확인하는가입니다. 앞 질문에 답이 없으면 잘못된 판단이 그대로 실행되고, 뒤 질문에 답이 없으면 실행 뒤의 오류가 쌓여도 아무도 알아채지 못합니다. 에이전트 제품을 검토할 때도 기능 개수보다 이 두 질문에 어떤 장치로 답하는지를 먼저 보는 편이 빠릅니다.
운영 측정은 실제 사용 중에 할루시네이션을 찾아내는 장치입니다. 답변마다 “도움이 됐나요” 버튼과 함께 “틀린 정보가 있어요” 신고 버튼을 두고, 신고된 건을 유형별로 분류합니다. 신고가 몰리는 질문 유형이 보이면 그 영역의 문서를 보강하거나 검색 설정을 고칩니다. 이때 질문·검색된 근거·답변·검증 결과를 함께 로그로 남겨 두어야 어느 단계에서 오류가 생겼는지 거슬러 올라갈 수 있습니다.
사람 승인을 거치는 업무라면 AI가 낸 권고와 그 근거, 결재자와 승인 사유, 처리 시각을 감사 로그로 함께 남깁니다. 나중에 문제가 생겼을 때 AI가 잘못 권고했는지, 사람이 잘못 승인했는지를 같은 기록 안에서 가를 수 있어 책임 경계가 분명해집니다.
운영 측정에서 자주 놓치는 것은 문서 변경 관리입니다. 규정이 바뀌었는데 RAG 저장소에는 옛 문서가 그대로 남아 있으면, 시스템은 성실하게 옛 규정을 근거로 답합니다. 이것은 모델의 할루시네이션처럼 보이지만 실제로는 데이터 관리 문제입니다. 문서 담당 부서와 AI 운영팀이 문서 갱신 일정을 함께 관리해야 하는 이유입니다.
마지막으로 사용자 교육도 이 방법에 포함됩니다. 직원들이 “AI 답변은 초안이고, 출처를 확인하는 것은 내 책임”이라는 원칙을 알고 있으면 할루시네이션이 생겨도 피해로 이어지기 전에 걸러집니다. 국내 법원 허위 판례 사례가 보여 주듯 도구보다 확인 습관이 마지막 방어선입니다.
운영 측정 결과는 정기적으로 보고 체계에 올리는 것이 좋습니다. 월 단위로 신고 건수, 유형별 분포, 원인 단계(검색·생성·문서 낡음), 조치 내역을 한 장으로 정리하면 AI 운영이 감에 의존하지 않고 숫자로 관리되는 업무가 됩니다. 이런 기록은 AI 기본법 시대에 위험 관리 의무를 설명해야 할 때도 그대로 근거 자료가 됩니다.
다섯 가지 방법을 한 표로 비교
다섯 가지 방법은 서로 대체재가 아니라 겹겹이 쌓는 보완재입니다. 각각이 막는 할루시네이션 유형과 비용, 적용 시점을 한 표로 정리했습니다.
| 방법 | 주로 막는 유형 | 도입 난이도 | 비용 | 언제 적용하나 |
|---|---|---|---|---|
| 첫째, RAG 근거 연결 | 사실 모순, 내부 지식 부재, 지식 마감일 | 중간 | 문서 정리·검색 인프라 | 사내 지식 질의응답을 시작할 때 |
| 둘째, 프롬프트와 출처 강제 | 사실 날조, 지시 불일치, 거짓 전제 | 낮음 | 거의 없음 | 첫날부터 |
| 셋째, 검증 계층과 판단 분리 | 맥락 불일치, 형식 오류, 선택지 밖 답 | 중간~높음 | 추가 호출·개발 | 고객 대면·자동 실행 전 |
| 넷째, 가드레일과 평가 체계 | 범위 밖 질문, 품질 저하 | 중간 | 평가 세트 구축·운영 | 파일럿에서 운영으로 넘어갈 때 |
| 다섯째, 사람 검토와 운영 측정 | 남은 모든 유형, 문서 낡음 | 낮음~중간 | 검토 인력·로그 | 운영 전 기간 |
이 표를 보면 순서가 자연스럽게 나옵니다. 프롬프트와 출처 강제로 바로 시작하고, 사내 지식을 다루는 순간 RAG를 붙이며, 파일럿을 운영으로 올리기 전에 평가 체계를 만들고, 고객 대면이나 자동 실행 단계에 들어가기 전에 검증 계층을 둡니다. 사람 검토와 운영 측정은 처음부터 끝까지 함께 갑니다.
한 가지 방법에 모든 것을 걸지 않는 것이 중요합니다. RAG만 믿으면 검색 오류가 그대로 답이 되고, 사람 검토만 믿으면 검토자가 지쳐서 결국 그냥 승인하게 됩니다. 여러 겹의 방법이 서로의 빈틈을 메우도록 설계해야 실제 운영에서 버틸 수 있습니다.
할루시네이션 대응을 위한 도입 점검 체크리스트
지금까지의 내용을 우리 조직에 대입해 볼 수 있도록 점검 항목으로 정리했습니다. 새 AI 과제를 시작하기 전이나 이미 운영 중인 시스템을 다시 볼 때 하나씩 확인해 보시기 바랍니다.
업무와 위험 정의
- AI를 적용할 업무의 위험 등급(낮음·중간·높음·매우 높음)을 부서 합의로 정했는가?
- 틀린 답이 외부로 나가거나 되돌리기 어려운 행동으로 이어지는 지점을 표시했는가?
- “매우 높음” 등급 업무에 AI를 쓸지 경영진이 결정했는가?
근거와 데이터
- 답의 근거가 될 사내 문서를 정하고 최신 버전만 남겼는가?
- 옛 규정과 새 규정이 함께 검색되지 않도록 문서 버전을 관리하는가?
- 문서 담당 부서와 갱신 일정을 공유하고 있는가?
생성과 검증
- 프롬프트에 근거 범위와 “모를 때의 답”을 명시했는가?
- 답변에 출처 표기를 강제하고, 출처 없는 문장을 걸러 내는가?
- 숫자·날짜·금액은 원본 데이터와 자동으로 대조하는가?
- 정해진 선택지 중 하나를 고르는 판단 자리에 자유 생성을 쓰고 있지 않은가?
평가와 운영
- 정답률뿐 아니라 할루시네이션 비율과 답변 보류율을 함께 재는가?
- 평가 세트에 함정 질문과 답이 없는 질문이 들어 있는가?
- 모델·프롬프트·문서가 바뀔 때마다 평가를 다시 돌리는가?
- 사용자 신고 버튼과 질문·근거·답변 로그가 있는가?
점검 결과 “아니오”가 많은 영역부터 순서를 정하면 됩니다. 특히 운영 중인 시스템이라면 평가 지표와 로그부터 점검해야 합니다. 지금 할루시네이션이 얼마나 생기는지 모르는 상태에서는 어떤 개선 방법이 효과가 있었는지도 판단할 수 없기 때문입니다. 아직 시작 전이라면 업무 위험 등급을 먼저 정하고, 다음 30일 안에 평가 세트 초안을 만드는 것을 권합니다.
첫 적용 업무는 좁게 잡을수록 좋습니다. 업무 하나로 시작하면 비용은 처리 건 단위로 계산되고, 효과는 그 업무의 처리 시간과 오답 비율로 측정되며, 사람이 확인할 지점도 한두 곳으로 줄어듭니다. 넓은 범위의 범용 비서로 시작하면 할루시네이션이 어디서 왜 생기는지 추적하기 어려워 개선 속도가 떨어집니다.
MSAP.ai가 신뢰할 수 있는 AI 구축을 돕는 방식
할루시네이션 대응은 모델 하나를 고르는 일이 아니라 문서, 검색, 검증, 평가, 운영을 잇는 플랫폼을 만드는 일입니다. MSAP.ai는 기업과 공공기관이 이 구조를 자체 환경 안에서 갖추도록 돕습니다.
먼저 근거 연결 단계에서는 사내 문서를 정리하고 RAG와 GraphRAG 파이프라인을 설계해, 답변이 사내 근거에 묶이도록 만듭니다. 데이터가 외부로 나갈 수 없는 금융·공공 환경이라면 온프레미스 LLM과 함께 구성합니다. 다음으로 검증 단계에서는 규칙 검사, 근거 대조, 판단 전용 모델을 업무 위험 등급에 맞춰 배치하고, LLM 게이트웨이로 모델 호출과 로그를 한곳에서 관리합니다. 마지막으로 운영 단계에서는 평가 세트 구축과 할루시네이션 지표 모니터링을 함께 설계해, 모델이나 문서가 바뀌어도 품질을 계속 확인할 수 있게 합니다.
어디서부터 시작해야 할지 막막하다면 업무 하나를 골라 위험 등급과 평가 지표부터 함께 정해 보는 것을 권합니다. 작은 범위에서 할루시네이션 비율을 실제로 재 보면, 어떤 방법에 먼저 투자해야 하는지가 숫자로 드러납니다.
실제 진행은 보통 세 단계로 나눕니다. 먼저 대상 업무의 실제 질문을 모아 평가 세트를 만들고 현재 시스템이나 범용 모델의 오답 비율을 잽니다. 다음으로 RAG와 출처 표기, 검증 규칙을 붙여 같은 평가 세트로 다시 재고 개선 폭을 확인합니다. 마지막으로 운영 로그와 신고 체계를 붙여 실제 사용 환경에서 지표를 이어 갑니다. 이렇게 하면 도입 전후 차이를 같은 기준으로 비교할 수 있어서 경영진 보고와 확산 판단이 쉬워집니다.
핵심 정리
- AI 할루시네이션은 생성형 AI가 근거 없는 내용을 사실처럼 만드는 현상이며, 국내에서는 환각과 같은 뜻으로 씁니다.
- 유형은 세상의 사실과 어긋나는 사실성 환각과, 주어진 지시·자료와 어긋나는 충실성 환각으로 나뉩니다.
- 원인은 다음 토큰 확률 예측이라는 생성 방식, 학습 데이터의 오류와 지식 마감일, 내부 지식 부재, 추측을 보상하는 평가 방식, 긴 문맥과 복잡한 지시입니다.
- 국내외에서 허위 판례 제출, 챗봇 오안내 배상 같은 사례가 이미 나왔고, 챗봇의 답은 회사의 답으로 간주됩니다.
- 할루시네이션은 0으로 만들 수 없으므로, 업무 위험 등급별로 허용 수준과 통제를 다르게 정해야 합니다.
- 기업이 쓰는 다섯 가지 방법은 RAG 근거 연결, 프롬프트와 출처 강제, 검증 계층과 판단 분리, 가드레일과 평가 체계, 사람 검토와 운영 측정이며 겹겹이 쌓아야 효과가 납니다.
- 운영 중인 시스템이라면 정답률 하나가 아니라 할루시네이션 비율과 답변 보류율부터 재기 시작하십시오.
자주 묻는 질문
AI 할루시네이션이란 무엇인가요?
AI 할루시네이션은 생성형 AI가 학습 데이터나 주어진 자료로 뒷받침되지 않는 내용을 사실처럼 만들어 내는 현상입니다. 없는 논문이나 판례를 인용하거나, 문서에 없는 내용을 요약에 넣는 것이 대표적이며 국내에서는 환각과 같은 뜻으로 씁니다.
할루시네이션과 환각은 같은 말인가요?
네, 같은 현상을 가리킵니다. 영어 hallucination 을 음역하면 할루시네이션, 번역하면 환각이며 기사와 업무 문서에서 두 표현을 섞어 씁니다. 연구계에서는 이를 사실성 환각과 충실성 환각으로 나눠 다룹니다.
AI 할루시네이션은 왜 생기나요?
LLM이 사실을 찾는 대신 다음에 올 단어를 확률로 골라 문장을 만들기 때문입니다. 여기에 학습 데이터의 오류, 지식 마감일, 사내 정보 부재, 모르면 멈추기보다 추측을 보상하는 평가 방식, 긴 문맥과 복잡한 지시가 겹치면 할루시네이션이 늘어납니다.
할루시네이션을 완전히 없앨 수 있나요?
현재 기술로는 완전히 없앨 수 없습니다. 원인이 모델의 생성 방식 자체에 있기 때문입니다. 대신 근거 연결, 출처 표기, 검증 계층, 평가 체계, 사람 검토를 겹겹이 두면 업무가 감당할 수 있는 수준까지 빈도를 낮추고 남은 오류를 눈에 띄게 만들 수 있습니다.
RAG를 쓰면 할루시네이션이 사라지나요?
크게 줄지만 사라지지는 않습니다. 검색이 엉뚱한 문단을 가져오거나, 문서가 잘게 잘려 맥락이 끊기거나, 옛 문서와 새 문서가 함께 검색되면 RAG 시스템도 틀린 답을 냅니다. 그래서 문서 정리와 검색 품질 관리, 근거 대조 검사를 함께 두어야 합니다.
기업은 할루시네이션을 어떤 지표로 관리해야 하나요?
정답률만 보지 말고 할루시네이션 비율, 답변 보류율, 근거 일치율, 거짓 전제 대응률을 함께 재야 합니다. 정답률만 재면 시스템이 모르는 질문에도 찍는 쪽으로 기울기 때문입니다. 모델·프롬프트·문서가 바뀔 때마다 같은 평가 세트로 다시 측정합니다.
챗봇이 틀린 답을 하면 회사가 책임져야 하나요?
책임을 질 수 있습니다. 캐나다 Moffatt v. Air Canada 사건에서 재판소는 항공사가 웹사이트 챗봇이 제공한 정보에도 책임이 있다고 보고 운임 차액 배상을 결정했습니다. 고객 대면 챗봇은 회사의 공식 안내로 간주될 수 있으므로 검증 계층과 사람 검토를 갖춰야 합니다.
참고 리소스
MSAP.ai
- AI(인공지능)란 무엇인가 — 뜻·원리·종류부터 기업 도입까지
- AI는 어떻게 답을 만들까 — 학습·추론·토큰으로 보는 AI 원리
- LLM이란 무엇인가 — 원리부터 기업 도입 판단까지
- RAG란 무엇인가 — 파이프라인 해부와 도입 체크리스트
- 벡터DB+GraphDB로 만드는 GraphRAG — 신뢰할 수 있는 AI 구축
- GraphRAG로 구현하는 정확한 엔터프라이즈 AI — LLM 환각 해결
- 판단 전용 AI 모델 제브로 LLM 대비 지연·비용을 줄이는 법
- OWASP 위험 분류 — 에이전트 검토의 8가지 필수 기능
- 실무자를 위한 ChatGPT 프롬프트 작성 6가지 원칙
openmaru.io · cncf.co.kr
- 데이터의 연결이 AI의 미래다 — GraphRAG 백서
- GraphRAG란? 데이터 연결이 만드는 차세대 엔터프라이즈 AI
- 그래프DB로 환각 줄이기 — 사례
- LLM의 한계를 넘는 AI Agent — 엔터프라이즈 IT 아키텍처의 핵심
외부 자료
- Kalai 외 — Why Language Models Hallucinate (arXiv, 2025)
- Huang 외 — A Survey on Hallucination in Large Language Models (arXiv)
- Lewis 외 — Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks (arXiv, 2020)
- Stanford HAI — Hallucinating Law (2024)
- Stanford HAI — AI on Trial: Legal Models Hallucinate (2024)
- Vectara Hallucination Leaderboard (GitHub)
- 한국경제 — AI 허위 판례 제출 보도 (2026.8)
- 보안뉴스 — 국정원 생성형 AI 활용 보안 가이드라인 (2023)
다음 단계
우리 조직의 AI 시스템에서 할루시네이션이 얼마나 생기는지, 어떤 검증 구조부터 갖춰야 하는지 함께 점검해 보려면 아래에서 시작하시기 바랍니다. AI 전반의 개념은 AI(인공지능)란 무엇인가에서 먼저 보실 수 있습니다.
- msap.ai 홈페이지
- MSAP.ai 도입 문의
- 무료 AI Discovery Workshop 신청
- 이메일 문의: hello@msap.ai · 전화 문의: 02-6953-5427





