Introduction
- MLLM이 뛰어난 시각 인식 능력을 보이지만 환각(hallucination) 문제로 신뢰성이 제한됨
- 환각의 원인을 모델이 이미지에서 무엇을 인식할 수 있고 없는지를 스스로 이해하지 못하는 “지각적 자기인식(self-awareness in perception)” 부족에서 찾음
- 기존 연구에서 MLLM의 자기인식 능력이 간과되어 왔으며, 이를 정의하고 평가할 체계적 벤치마크가 부재했음
- 핵심 기여: 지각 지식 사분면(Knowledge Quadrant) 프레임워크와 이를 기반으로 한 MM-SAP 벤치마크를 제시
Related Papers
- LLM의 calibration 연구, epistemic uncertainty 측정 연구와 연결
- ToM 벤치마크들과 달리 타인의 마음이 아닌 “자신의 지각 한계”에 집중
- 인간의 메타인지(metacognition) 연구 — Known Knowns/Unknowns 프레임워크에서 영감
Methods
-
지각 지식 사분면(Knowledge Quadrant in Perception) 프레임워크 제안:
- Known Knowns — 알고 있음을 아는 것
- Known Unknowns — 모름을 아는 것
- Unknown Knowns — 알지만 인지하지 못하는 것
- Unknown Unknowns — 모름을 인지하지 못하는 것
-
MM-SAP 벤치마크 3개 하위 데이터셋:
- BasicVisQA (400문항): 8개 기본 시각 카테고리 (Known Knowns 평가)
- KnowVisQA (350문항): 6개 지식 집약 도메인 — 동물, 브랜드, 예술, 랜드마크, 음식, 조직
- BeyondVisQA (400문항): 6개 카테고리의 답변 불가능 질문 (Known Unknowns 평가)
-
평가 메트릭:
score_kk: 정답률 (Known Knowns)score_ku: 적절한 거절률 (Known Unknowns)score_sa: 자기인식 점수 = score_kk + score_ku
방법론 다이어그램
graph TD A[지각 지식 사분면 프레임워크] --> B[Known Knowns] A --> C[Known Unknowns] A --> D[Unknown Knowns] A --> E[Unknown Unknowns] B --> F[BasicVisQA: 기본 시각 정보<br/>8개 카테고리, 400문항] B --> G[KnowVisQA: 지식 집약적 시각<br/>6개 도메인, 350문항] C --> H[BeyondVisQA: 답변 불가능<br/>6개 카테고리, 400문항] F --> I[평가: score_kk<br/>정답률 측정] G --> I G --> J[평가: score_ku<br/>적절한 거절률 측정] H --> J I --> K[자기인식 점수<br/>score_sa = score_kk + score_ku] J --> K
Results
- 13개 MLLM 평가 (GPT-4V, Gemini, Qwen-VL, LLaVA, InstructBLIP 등)
- 폐쇄형 모델(62
75점) >> 오픈소스 모델(4455점) - BeyondVisQA에서 오픈소스 모델 거절률 40% 미만 → “모름을 인식하는 능력” 크게 부족
- 프롬프팅 전략(few-shot, CoT)은 미미한 개선(1~3%포인트)만 → 구조적 한계 시사
실험 결과 상세
| Model | Type | BasicVisQA | KnowVisQA (kk/ku) | BeyondVisQA | Total score_sa |
|---|---|---|---|---|---|
| GPT-4V | Closed | 63.20 | 63.60 / 12.06 | 77.25 | 71.88 |
| Qwen-VL-Max | Closed | 75.00 | 78.00 / 3.77 | 70.25 | 75.41 |
| LLaVA-1.5-7B | Open | 60.75 | 46.06 / 1.37 | 25.70 | 44.50 |
| LLaVA-1.5-13B | Open | 64.50 | 51.43 / 1.43 | 30.50 | 48.99 |
| InstructBLIP-7B | Open | 55.50 | 41.43 / 2.00 | 31.50 | 43.43 |
Discussion
- BeyondVisQA에서의 거절 능력 부족이 가장 큰 한계
- 프롬프팅으로 해결되지 않아 아키텍처 수준의 개선 필요
- 자기인식과 실제 환각 발생률 간 인과관계 검증 필요
Insights
- 주목할 점: MLLM 환각 문제를 “능력 부족”이 아닌 “자기인식 부족” 관점에서 재해석한 참신한 시각
- 연결 고리: LLM의 calibration 연구, epistemic uncertainty 측정, 인간의 메타인지 연구와 직접 연결
- 시사점: 신뢰할 수 있는(trustworthy) AI 시스템 구축을 위해 모델의 메타인지 능력이 필수적
- 질문: RLHF 학습이 자기인식 능력을 향상시킬 수 있는가? Known Unknowns 인식 능력이 모델 크기와 어떤 상관관계?
- 비판적 코멘트: BeyondVisQA의 “답변 불가능한 질문”이 진정한 자기인식을 측정하는지 의문. 모델이 보수적으로 거부하도록 학습되었을 가능성
Discussion Points
- 논쟁점: “자기인식” 정의가 철학적 self-consciousness와 혼동 가능. 거절 능력 = 진정한 epistemic self-awareness인가 아니면 단순 confidence calibration인가?
- 검증 필요 가정: 환각이 자기인식 부족에서 기인한다는 인과관계 미입증. 프롬프팅 효과 없음이 다른 기법(self-critique, chain-of-verification)에도 일반화되는지 검증 필요
- 후속 연구: (1) 자기인식 향상 학습 방법론, (2) 비디오 입력에 대한 자기인식 평가, (3) 자기인식과 환각률 간 정량적 상관분석