Metacognitive Prompting Improves Understanding in Large Language Models

Introduction

인간 metacognition의 핵심 단계를 에뮬레이션하는 metacognitive prompting 방법을 제안. NLU 성능 향상을 목표.

Methods

• 5단계 metacognitive 프로세스 설계:
  1. 입력 텍스트 이해
  2. 예비 판단(preliminary judgment) 형성
  3. 판단에 대한 비판적 평가(critical evaluation)
  4. 전체 과정에 대한 confidence level 평가
  5. 최종 판단 도출
• 인간의 자기 평가(self-assessment) 과정을 반영하여 LLM이 보다 정확한 텍스트 해석과 판단을 수행하도록 유도

Results

• 기존 prompting 방법 대비 NLU 태스크에서 성능 향상
• Self-assessment 단계가 판단 품질 개선에 기여

Discussion

• Metacognition을 prompting 전략으로 구현한 실용적 접근
• 모델 내부의 metacognitive 능력이 아닌, 외부에서 metacognitive 프로세스를 부여하는 방식
• NAACL 2024 accept