Introduction
- 모델이 자신이 모를 때를 인식하면 많은 가능성이 열림
- Calibrated confidence의 reliability와 comparability를 경험적으로 입증
- Vision과 language model 모두에 적용 가능한 training-free calibration 방법
- Model calibration
- Model cascading, data cleaning
Methods
- Training-free universal calibration method
- Model cascading: calibrated advantage routing으로 large/small model을 효율적으로 결합
- Data cleaning: multiple expert의 calibrated confidence로 mislabeled sample 탐지
- ImageNet, MMLU 데이터셋에서 실험
Results
- Higher confidence → higher accuracy (single model 내에서)
- Validation set calibration이 held-out test set에서도 유지됨
- Cascading으로 accuracy 손실 없이 효율성 개선, 동급 모델 cascading으로 개별 모델 이상의 성능
- ImageNet과 MMLU에서 mislabeled sample 효과적 탐지
Discussion
- Self-knowledge의 실용적 downstream 활용 사례
- “아는 것을 아는” 능력의 reliability 검증