Introduction
- LLM이 사전훈련 중 방대한 지식을 축적하지만, 이 획득을 지배하는 동역학은 잘 이해되지 않음
- 합성 사실 회상 태스크에서 언어 모델의 학습 동역학 조사
- 세 가지 핵심 발견 제시
- 환각이 지식과 동시에 발생하며, 새로운 지식 통합이 기존 파라메트릭 메모리를 손상시킬 수 있음
- LLM 학습 동역학 연구
- Grokking 및 phase transition 연구
- 환각(hallucination) 연구
Methods
- 합성 사실 회상 태스크 설계
- 학습 동역학의 세 단계 분석
- attention 기반 회로 형성 추적
- 훈련 데이터 분포가 학습 동역학에 미치는 영향 분석
Results
- 발견 1: 언어 모델이 세 단계로 학습 - 정확한 사실 지식 획득 전 성능 고원(plateau) 존재
- 고원은 회상을 지원하는 attention 기반 회로 형성과 일치
- 발견 2: 불균형 분포가 더 짧은 고원으로 이어짐
- 발견 3: 환각이 지식과 동시에 발생; 미세조정으로 새 지식 통합이 기존 파라메트릭 메모리를 빠르게 손상
Discussion
- 데이터 분포가 지식 획득에 중요함 강조
- 신경망 훈련 가속화를 위한 새로운 데이터 스케줄링 전략 제안
- 환각 문제의 근본적 원인 이해에 기여
- 향후 연구: 실제 언어 모델에서의 검증