Introduction


  • LLM이 모를 때 답변을 거부(abstain)하도록 학습
  • 다국어 환경에서의 abstention 능력 평가

Related Papers


  • Selective prediction
  • LLM refusal

Methods


  • Multilingual feedback을 활용한 abstention training
  • 다양한 언어에서 self-knowledge 평가

Results


  • Multilingual feedback으로 abstention 능력 향상
  • 언어별 self-knowledge 수준 차이 발견
  • 13 citations, EMNLP venue

Discussion


  • Abstention을 self-knowledge의 행동적 표현으로 해석
  • 다국어 맥락에서의 metacognition 차이