Introduction
- Large Reasoning Model(LRM)이 자신의 추론 과정을 모니터링하고 조절할 수 있는가?
- Cognitive science의 metacognition 이론을 LRM 평가에 적용
- 내부 신호(internal signals)와 관찰 가능한 행동(observable behaviors) 두 축으로 분석
Methods
- 5개 LRM에 대해 내부 activation과 attention pattern 분석
- Metacognitive 기능별 평가 태스크 설계:
- Difficulty awareness: 태스크 난이도 인지
- Confidence adjustment: 확신도 조정 능력
- Task decomposition: 문제 분해 전략
- Strategy revision: 전략 수정 능력
- Prompt-based 및 supervised training 접근법으로 능력 향상 시도
Results
- LRM이 부분적 metacognitive 행동을 보이나, 일관성이 부족하고 쉽게 교란됨
- Difficulty awareness는 상대적으로 양호, strategy revision은 미흡
- Supervised training으로 일부 개선 가능하나 일반화에 한계
Discussion
- Metacognition이 단일 능력이 아닌 다면적 구성 요소임을 실증
- Rejected paper이나, LRM의 metacognition을 체계적으로 분석한 초기 연구로 가치
- 후속 연구에서 training 기법과 평가 프레임워크 개선 필요