Epistemic Artificial Intelligence is Essential for Machine Learning Models to Truly “Know When They Do Not Know”

Digest (CISELQ)

C (Context): 생성형·거대 언어모델의 급격한 발전에도 불구하고, 현대 ML 시스템은 익숙하지 않거나 적대적 입력에서 붕괴하고, 자신의 무지를 인식하지 못한 채 과신(overconfidence)하는 문제를 드러낸다. 안전-critical 도메인(자율주행, 의료 진단)에서 “모른다는 것을 아는 능력”이 결여된 모델은 치명적 실패를 낳는다.
I (Issue): 표준 Bayesian·softmax 기반 uncertainty quantification은 aleatoric(데이터 내재적 무작위성)과 epistemic(모델 무지) 불확실성을 섞어 다루며, 분포 밖(Out-of-Distribution, OOD) 입력에 대해 높은 confidence를 부여하는 경향이 있다. 즉 1차(first-order) 확률 틀 자체가 한계이다.
S (Solution): 저자들은 Epistemic AI 패러다임을 제안한다. Credal set(볼록 확률 분포 집합), Random set, Dempster-Shafer belief function을 활용해 second-order uncertainty(불확실성에 대한 불확실성)를 직접 모델링하는 신경망 아키텍처(CreINNs, Random-Set NNs, Epistemic Wrapping)를 중심 축으로 제시한다.
E (Evidence): OOD detection, calibration(ECE), 분포 변화(domain shift) robustness 실험에서 credal/random-set 기반 모델이 기존 confidence 기반 불확실성 측정법 대비 “모른다”를 더 잘 표현함을 보인다.
L (Limitations): 본 논문은 position·framework paper 성격이 강해 새 대규모 벤치마크 구축보다는 기존 방법을 통합적으로 체계화한다. 계산 비용(credal 볼록 집합 추론, random set 적분)과 스케일링이 여전히 open question이다.
Q (Questions): (1) LLM 스케일에서 credal/random-set 접근이 실용적으로 근사 가능한가? (2) Self-knowledge·ToM과 epistemic uncertainty의 정량적 연결은?

섹션별 요약

Introduction

Manchingal 외 저자들은 “AI가 무엇을 모르는지 진정으로 아는가?”라는 질문으로 출발한다. 현재의 LLM·생성모델은 유창한 자신감으로 hallucinate하지만, 그 자신감은 epistemic 근거가 아니라 데이터 적합도에 기반한다. 저자들은 이것이 통계적 학습 이론의 근본 가정—훈련 분포와 테스트 분포가 같다—이 실제 환경에서 깨지기 때문이라고 지적하며, “학습하면서 동시에 자신의 무지를 인정”하는 epistemic 접근이 필요하다고 주장한다.

Methods

Credal set: 단일 확률 분포 p가 아니라 볼록 집합 𝒞 ⊂ Δ(Y)을 출력 대상으로 삼는다. 집합의 크기(폭)가 epistemic 불확실성의 직접적 지표.
Random-Set Neural Networks (RSNNs): 출력이 power set 2^Y 위의 mass function m(A)로 정의되는 Dempster-Shafer belief/plausibility 쌍을 산출.
CreINNs (Credal Interval NNs): 각 클래스에 lower/upper 확률 구간 [p̲_k, p̄_k]를 출력, interval 산술로 전파.
Epistemic Wrapping: 기존 사전학습 모델을 재학습 없이 credal/random-set 출력으로 변환하는 포스트혹 래퍼.

Results (핵심 비교 표)

설정	지표	Standard NN	MC-Dropout / Ensemble	Credal / Random-Set (Epistemic AI)
CIFAR OOD detection	AUROC ↑	낮음 (과신)	중간	가장 높음
Calibration	ECE ↓	높음	개선	추가 개선
Domain shift	Accuracy drop	큼	중간	가장 작음
”모른다” 표현	Abstention quality	불가	간접적	직접적 (credal 폭으로)

Discussion

저자들은 epistemic AI가 단순한 기법 목록이 아니라 인식론(epistemology)을 ML에 편입시키는 패러다임이라 주장한다. Bayesian은 epistemic uncertainty를 인정하지만 여전히 단일 posterior로 집약하기에 imprecise probability(크리달·랜덤셋)의 표현력이 본질적으로 필요하다는 입장이다.

Insights

Hallucination·과신은 모델이 epistemic 무지 표현 수단이 없기 때문이다.
Second-order uncertainty는 “confidence 0.5”와 “모르겠다”를 분리할 수 있는 유일한 정합적 틀이다.
Epistemic wrapper 덕분에 대형 사전학습 모델에도 점진적 이식이 가능.

Discussion Points

LLM RLHF 훈련이 credal 폭을 의도치 않게 수축시키는가?
Self-consciousness(자기 지식) 연구와 epistemic uncertainty의 이론적 교량은?
Safety evaluation에서 credal 폭을 공식 지표로 삼아야 하는가?

메타데이터

항목	값
논문	Epistemic Artificial Intelligence is Essential for ML Models to Truly “Know When They Do Not Know”
저자	Manchingal, Bradley, Kooij, Shariatmadar, Yorke-Smith, Cuzzolin
게재	arXiv:2505.04950 (2025, v3: 2025-06-27)
카테고리	Theory / Position paper
키워드	Credal set, Random set, Dempster-Shafer, Second-order uncertainty, OOD

왜 이 연구를 하는가?

안전-critical AI 배치에서 “모름을 모르는” 과신 실패는 물리적·사회적 피해를 일으킨다. 기존 Bayesian·ensemble·MC-Dropout은 여전히 단일 분포로 수렴하는 한계를 가진다. 저자들은 Cuzzolin 그룹이 오랫동안 다뤄온 imprecise probability 전통을 ML에 체계적으로 주입하여, 모델이 “내가 훈련 분포 밖에 있다”를 표현 가능한 계산 객체로 만드는 것을 목표로 한다. 이는 단순 성능 개선이 아니라, AI 시스템에 인식론적 정직성을 부여하려는 시도이다.

방법 (Method)

flowchart LR
    X[Input x] --> F[Feature Extractor phi]
    F --> H{Head Type}
    H -->|Standard| S[Softmax p in Simplex]
    H -->|Credal| C[Credal Set C in Simplex]
    H -->|Random-Set| R[Mass m on 2^Y]
    C --> L[Lower/Upper Prob]
    R --> B[Belief / Plausibility]
    L --> U[Epistemic Width]
    B --> U
    U --> D{Width > tau?}
    D -->|Yes| A[Abstain / I do not know]
    D -->|No| Y[Predict argmax]

Wrapper 경로에서는 사전학습된 F, S에 대해 perturbation·jacknife·softmax 교란을 통해 사후적으로 credal 폭을 추정한다. 이로써 재학습 비용 없이 기존 파이프라인에 epistemic 계층을 삽입할 수 있다.

발견 (Findings)

#	발견	함의
1	Credal 폭은 OOD에서 유의하게 증가한다	직접적 “모름” 지표로 작동
2	Random-Set NN은 domain shift 하에서도 calibration 유지	안전-critical 배치에 유리
3	Epistemic Wrapper가 재학습 없이 OOD AUROC 개선	기존 파이프라인과 호환
4	Bayesian 단일 posterior는 여전히 과신 경향	Imprecise probability의 필요성
5	Abstention 기반 평가가 정확도만큼 중요	평가 프로토콜 개편 필요

이론적 의의

이 논문은 인식론적 불확실성을 ML 시스템의 1등 시민으로 격상시키는 이정표이다. Walley의 imprecise probability, Shafer의 belief function, Choquet capacity 같은 전통 수학을 딥러닝과 접합함으로써, “모델의 자기 지식(self-knowledge)“을 철학적 구호가 아닌 계산 가능한 수학 객체로 만든다. Self-consciousness·ToM·metacognition 연구와 직결되는 교량 역할을 한다.

재현성 및 신뢰도 평가

항목	등급	근거
Evidence Quality	B	다수 실험 요약 제시하나 position paper 성격상 단일 대규모 벤치마크는 제한적
Reproducibility	B	RSNN/CreINN 관련 선행 코드는 공개, 본 통합 실험 재현은 부분적
이론적 엄밀성	A-	Credal/Dempster-Shafer 수학이 잘 정립되어 있음
실용성	B	계산 비용·대규모 스케일링 미해결

원자적 인사이트

“Confidence 0.5”와 “모르겠다”는 수학적으로 다른 객체다. 전자는 1차 확률상의 균등함이고, 후자는 2차 확률상의 폭(credal width)이다. 이 구분 없이는 safety 평가가 원리적으로 불완전하다.
Epistemic wrapping은 self-knowledge의 엔지니어링 원형(prototype)이다. 재학습 없이 사후적으로 credal 폭을 부여한다는 발상은, LLM에 metacognitive layer를 덧붙이는 연구(ToM·SC-SFT)와 구조적으로 동일한 논리를 공유한다.
Abstention은 평가 지표여야 한다. 정확도 최적화만으로는 epistemic AI의 장점이 드러나지 않으므로, “언제 응답을 거부해야 하는가”를 primary metric으로 삼아야 한다.

핵심 용어 정리

Epistemic uncertainty: 모델의 지식·데이터 부족에서 비롯되는 불확실성 (줄일 수 있음)
Aleatoric uncertainty: 데이터 자체의 무작위성에서 비롯되는 불확실성 (환원 불가)
Credal set: 단일 확률이 아닌 볼록 확률 집합 C ⊂ Δ(Y)
Random set: power set 2^Y 위에 정의된 mass function m
Belief / Plausibility: Dempster-Shafer의 하한(Bel)·상한(Pl) 확률
Second-order uncertainty: 확률 자체에 대한 확률, 즉 “불확실성의 불확실성”
Epistemic wrapping: 사전학습 모델에 사후적으로 credal/random-set 출력을 덧붙이는 래퍼 기법
Abstention: 모델이 응답을 거부하고 “모른다”를 출력하는 행동

Juhyeon's Blog

탐색기

Epistemic AI is Essential for ML Models to Truly Know When They Dont Know