2025-10-07
1일 1아티클
요즘IT
AI에 환각이 생기는 이유
환각(hallucination)
- 언어 모델이 그럴듯하지만 사실이 아닌 답변을 자신있게 생성하는 현상
원인
- 현재 모델 학습 및 평가 방식은
정답률(accuracy)중심 - “모르겠다” 답변은 0점 부여, 추측 답변 시 맞출 가능성 존재 → 모델이 추측 선호
- 그 결과, 정확도는 높아도
오답률(환각률)증가
사례 (SimpleQA 평가)
- GPT-5 thinking-mini
- 기권 52%
- 정답률 22%
- 오답률 26%
- OpenAI o4-mini
- 기권 1%
- 정답률 24%
- 오답률 75%
해결 방안
- 정답 / 오답 2분법적인 평가 지표에서 벗어날 필요
- 오답에 강한 패널티, 불확실성 표현에 부분 점수 부여
- 시험 방식 중 하나처럼, ‘틀리면 감점, 모르면 무응답 권장’ 방식 적용
- 환각의 원인은 데이터 특성(패턴 없는 희귀 정보 예측 불가)이므로, 불확실성을 인정하는 것이 합리적
환각 문제 해결은 모델 성능 개선이 아닌, 평가 체계 개편이 핵심
OpenAI는 GPT-5에서 환각률 감소, 자신감 있는 오류(confident errors) 최소화 중점 연구 중