암묵적 추론을 통해 본 언어 모델의 파국적 망각 이해
Digest: 미세조정(fine-tuning, 사전학습된 모델을 특정 데이터로 추가 학습)은 종종 다른 능력을 잃게 만드는데, 이를 파국적 망각(catastrophic forgetting)이라 부른다. 이 논문은 그 원인이 능력 자체의 소실이 아니라, 모델이 프롬프트를 보고 어떤 태스크인지 암묵적으로 추론(implicit inference)하는 과정이 미세조정 분포 쪽으로 치우치기 때문이라고 주장한다. 저자들은 예측을 “태스크 추론 × 능력”으로 분해하는 합성 선형회귀 실험으로 이를 보이고, 프롬프트를 미세조정 분포에서 멀어 보이게 만드는 켤레 프롬프팅(Conjugate Prompting)을 제안한다. 언어 번역만으로 지시 미세조정이 억눌렀던 ICL(맥락 내 학습) 능력, 코드 미세조정이 억눌렀던 추론, 안전 미세조정이 억눌렀던 유해 응답이 되살아났다 — 예: AdvBench 유해 응답률이 영어에서는 92%→3%로 떨어졌지만 말라얄람어에서는 71%→65%로 거의 유지됐다(4.3절). 배운 점은 망각이 “잊음”이 아니라 “접근 실패”라는 재해석이고, 남은 질문은 태스크 추론을 담당하는 하위 회로를 어떻게 찾고 통제하느냐다.
먼저 이해하기
사전학습된 큰 언어 모델을 특정 목적(지시 따르기, 코딩, 안전한 응답 등)에 맞추려고 추가로 학습시키는 것을 미세조정이라고 한다. 문제는 이렇게 하면 원래 잘하던 다른 일들을 갑자기 못 하게 되는 현상이 자주 관찰된다는 점이다. 이를 파국적 망각 또는 정렬세(alignment tax, 안전/정렬을 얻는 대가로 잃는 능력)라 부른다.
이 논문의 핵심 통찰은 이렇다: 모델은 능력을 진짜로 잃은 게 아니다. 프롬프트를 받으면 “이건 무슨 종류의 요청이지?”를 속으로 추론(task inference)하는데, 미세조정이 이 추론을 학습 데이터 쪽으로 편향시켜서 원래 능력을 억누를 뿐이다. 능력은 그대로 있고 접근 경로가 막힌 것이다.
그렇다면 프롬프트를 미세조정 데이터와 “덜 비슷해” 보이게 만들면 억눌린 능력이 되살아나야 한다. 저자들이 쓴 방법이 바로 언어 번역이다. 대부분의 미세조정 데이터는 영어이므로, 요청을 프랑스어·일본어·말라얄람어 등으로 바꾸면 모델은 “이건 미세조정 때 보던 요청이 아니네”라고 추론하고 사전학습 때의 능력을 그대로 발휘한다.
왜 중요한가: (1) 파국적 망각을 “능력 소실” 문제에서 “태스크 추론” 문제로 재정의한다 — 원문 근거 안에서 미세조정 트레이드오프가 능력 손실이 아니라 프롬프트 우도(likelihood)와 상관됨을 합성 실험으로 보였다. (2) 안전 측면에서, 비영어 요청이 안전 미세조정을 우회한다는 취약점을 드러낸다(저자들은 새 공격을 만든 게 아니라 기존 탈옥을 설명한다고 강조).
| 용어 | 뜻 |
|---|---|
| 파국적 망각(catastrophic forgetting) | 미세조정 후 기존 능력을 잃는 현상 |
| 태스크 추론(task inference) | 프롬프트를 보고 어떤 종류의 태스크인지 암묵적으로 판단하는 과정 |
| 켤레 프롬프팅(Conjugate Prompting) | 프롬프트를 미세조정 분포에서 멀어 보이게 변환해 사전학습 능력을 되살리는 기법 |
| ICL(In-Context Learning, 맥락 내 학습) | 예시 몇 개를 보고 규칙을 즉석에서 배워 답하는 능력 |
| 우도(likelihood) | 어떤 입력이 특정 데이터 분포에서 나올 법한 정도 |
| 가역성(invertibility) | 변환한 프롬프트의 출력을 원래 형식으로 되돌릴 수 있는 성질 |
섹션별 요약
초록 (Abstract)
미세조정이 다양한 태스크에서 LM 성능에 미치는 영향을 분석한다. 저자들은 모델이 태스크 정체성을 암묵적으로 추론하며, 미세조정이 이 추론을 미세조정 분포 쪽으로 왜곡한다고 제안한다. 억눌린 사전학습 능력을 되살리기 위해, 프롬프트를 미세조정 분포에서 더 멀어 보이게 만드는 켤레 프롬프팅을 도입한다. 지시 미세조정이 잃은 ICL, 코드 미세조정이 잃은 자연어 추론, 안전 미세조정이 억누른 유해 콘텐츠를 단순한 언어 번역으로 되살릴 수 있음을 보인다.
저자 contribution
- 합성 선형회귀 ICL 실험에서 미세조정 트레이드오프가 능력 손실이 아니라 태스크 추론 변화로 설명됨을 보였다.
- 예측을 “태스크 추론 × 능력”으로 분해하는 인수분해(Eq7)를 제시했다.
- 두 조건(미세조정 분포 하에서 낮은 우도 + 가역성)으로 정의되는 켤레 프롬프팅을 제안하고, 3가지 실제 미세조정 시나리오에서 번역으로 검증했다.
왜 이 연구를 하는가?
미세조정에는 파국적 망각/정렬세라는 위험이 따른다. 저자들의 가설은 모델이 능력을 완전히 잊는 것이 아니라, 태스크 추론이 바뀌어(프롬프트를 다르게 해석해서) 능력을 억누른다는 것이다. 기존 한계는 (1) 망각을 능력 파라미터의 소실로만 보아 왔다는 점, (2) 미세조정 후 능력 저하를 되돌릴 실용적 레버가 부족했다는 점이다. 핵심 RQ: 망각은 능력의 소실인가 접근의 실패인가, 그리고 접근을 회복시킬 수 있는가?
방법 (Methods)
합성 실험: GPT-2 스타일 자기회귀 트랜스포머(22.4M 파라미터)를 선형함수 ICL로 학습. 가중치 분포 3종 — D_cont(가우시안, ridge 회귀가 최적), D_disc(고정된 64개 w에 대한 균등분포, discrete 회귀가 최적), D_mix = α·D_disc + (1−α)·D_cont.
태스크 추론 인수분해(Eq7): w_θ = g_θ·w_disc + (1−g_θ)·w_cont. 여기서 g_θ가 태스크 추론(어느 분포로 판단하는지), w_disc·w_cont가 각 능력이다.
켤레 프롬프팅: (1) 미세조정 분포 하에서 낮은 우도, (2) 가역성. 선형회귀 구현 — 변환 s:(X,y)→(X,γy), γ∈{1.5,2.0}; 출력을 γ로 나눠 원복. LM 실험에서는 언어 번역으로 켤레 프롬프팅을 구현한다(미세조정 데이터가 대부분 영어 → 비영어는 우도를 낮추고 역번역으로 가역). Leetspeak, Pig Latin도 사용.
결과 (Results)
합성: α=0.5 미세조정 시 discrete 손실은 개선, continuous 손실은 악화되는 트레이드오프가 나타나며, 손실 변화는 D_disc 하 프롬프트 우도와 상관된다. 켤레 프롬프팅 γ∈{1.5,2.0}은 ridge 성능을 회복하고, 샘플 수가 적을 때(k=3~5) 효과가 가장 강하다.
실제 LM: 지시 미세조정으로 잃은 ICL, 코드 미세조정으로 잃은 XNLI 추론, 안전 미세조정으로 억눌린 유해 응답이 모두 비영어 번역으로 상당 부분 회복됐다(상세 수치는 아래 표 참조).
발견
- 미세조정 트레이드오프는 능력 소실이 아니라 프롬프트 우도(태스크 추론)와 상관된다.
- 영어에서만 능력이 억눌리고, 비영어/Leetspeak에서는 능력이 유지된다 — 손실이 언어 의존적이다.
- 켤레 프롬프팅의 효과는 태스크가 모호할수록(적은 샘플) 커진다.
논의 (Discussion)
한계: (1) 번역이 불완전하다(특히 저자원 언어), (2) 켤레 프롬프팅은 학습 데이터와 배포 태스크에 대한 사전 지식을 요구한다, (3) 실험 모델이 ≤13B로 작다, (4) 일부 변환은 가역성을 위반할 수 있다. 향후 방향: 태스크 추론 하위 네트워크의 위치 파악, 더 나은 미세조정, 강건한 아키텍처. 이론적 의의: 파국적 망각을 태스크 추론 문제로 재구성한다. 안전: 비영어 우회는 블랙박스 안전 미세조정의 취약점을 드러내며, 새 공격을 만드는 게 아니라 기존 탈옥을 설명한다.
Discussion Points
- 검증할 가정: “능력은 그대로이고 접근만 막혔다”를 파라미터 수준(하위 회로 탐침)으로 직접 확인할 수 있는가?
- 논쟁점: 안전 미세조정 우회를 공개하는 것의 위험 vs 취약점 규명의 이득.
- 후속: 켤레 프롬프팅에 강건한(태스크 추론이 언어에 덜 의존하는) 미세조정 기법 설계.
실험 결과 상세
4.1 지시 미세조정 vs ICL — 언어별 ICL 정확도 하락폭
원문 Table 1 기반. 값은 미세조정 전후 ICL 정확도 하락폭(%p, 클수록 능력이 많이 억눌림).
| 모델 쌍 | 영어 하락 | 프랑스어 하락 | Leetspeak 하락 |
|---|---|---|---|
| LLaMa-7b → Alpaca | −56.75 | −29.00 | −1.50 |
| LLaMa-7b → Vicuna | −33.00 | — | −1.00 |
| OPT-1.3b → OPT-IML | −21.00 | −9.25 | — |
절대치 참고: LLaMa-7b 92.00% → Alpaca 35.25%; Vicuna 59.00%; OPT-1.3b 78.75% → OPT-IML 57.75%. 영어에서 가장 크게 떨어지고, 비영어/Leetspeak에서는 거의 유지됨(회복).
4.2 코드 미세조정 vs XNLI(자연어 추론) — 언어별
원문 4.2절 기반. English LLaMa-2 대비 Code LLaMa의 정확도 변화.
| 언어 | 정확도 변화 |
|---|---|
| 영어 | −8.36 (44.26% → 35.90%) |
| 프랑스어 | −1.45 |
| 스페인어 | −0.77 |
| 독일어 | +1.01 |
코드 미세조정은 영어 추론만 손상시키고, 다른 언어에는 거의 영향이 없거나 오히려 소폭 개선.
4.3 안전 미세조정 vs AdvBench(유해 프롬프트 100개) — 언어별 응답률
GPT-3.5-turbo vs text-davinci-003의 유해 요청 응답률(answer rate) 변화.
| 언어 | 응답률 변화 (전 → 후) |
|---|---|
| 영어 | 92% → 3% (−89) |
| 헝가리어 | 87% → 12% (−76) |
| 일본어 | 56% → 9% (−47) |
| 스와힐리어 | 63% → 16% (−47) |
| 말라얄람어 | 71% → 65% (−6) |
안전 미세조정은 영어 유해 응답을 강하게 억누르지만(−89), 말라얄람어에서는 거의 억누르지 못한다(−6). 이는 안전 정렬이 언어 의존적이며, 저자원 언어로 우회 가능함을 보여준다.
프레임워크 다이어그램
켤레 프롬프팅의 흐름을 원문 용어로 표현한다.
flowchart TD A["원래 프롬프트 (미세조정 분포에 가까움)"] --> B["변환 s: 낮은 우도로 이동 (예: 영어 to 비영어 번역)"] B --> C["모델이 태스크를 사전학습 쪽으로 재추론"] C --> D["억눌린 사전학습 능력 발휘"] D --> E["역변환 s^-1: 출력을 원래 형식으로 원복 (가역성)"] E --> F["회복된 최종 응답"]
재현성 및 신뢰도 평가
- 코드 공개: github.com/kothasuhas/understanding-forgetting (부록 C-F: 하이퍼파라미터, 템플릿, 확장 결과)
- 재현성 종합등급: B — 합성 실험은 코드/설정이 공개되어 재현 가능. 다만 실제 LM 실험은 GPT-3.5-turbo/text-davinci-003 등 폐쇄형 API에 의존하고 번역 품질에 좌우되어 완전 재현은 제한적.
- 주장별 신뢰도:
- “망각은 태스크 추론 변화” — 중~높음: 합성 실험에서 손실 변화가 프롬프트 우도와 상관됨을 직접 보임(인과보다는 강한 상관 증거).
- “번역으로 능력 회복” — 높음: 3개 독립 시나리오(ICL/XNLI/AdvBench)에서 일관된 언어 의존적 회복 패턴.
- “≤13B 모델에서만 검증” — 저자 명시 한계: 대형 모델 일반화는 미검증.
관련 연구 비교 매트릭스
| 논문 | 문제 | 접근 | 차별점 |
|---|---|---|---|
| 본 논문 (Kotha et al. 2023) | 미세조정 후 파국적 망각 | 예측=태스크 추론×능력 분해, 켤레 프롬프팅 | 망각을 접근 실패로 재해석, 번역으로 회복 |
| 정렬세/안전 미세조정 계열 | 안전 튜닝의 능력 저하 | 안전 데이터로 RLHF/미세조정 | 본 논문은 그 저하가 능력 소실이 아님을 반증 |
| 다국어 탈옥(jailbreak) 연구 | 안전 정렬 우회 | 저자원 언어 프롬프트 | 본 논문은 이를 태스크 추론 이론으로 설명 |
원자적 인사이트 (Zettelkasten)
- 미세조정 후 사라진 능력은 파라미터에서 지워진 것이 아니라, 모델의 암묵적 태스크 추론이 미세조정 분포로 편향되어 접근이 막힌 것이다.
- 프롬프트를 미세조정 분포에서 멀어 보이게(낮은 우도) 만들면서 가역적으로 변환하면, 억눌린 사전학습 능력을 되살릴 수 있다 — 이것이 켤레 프롬프팅이다.
- 능력 회복 효과는 태스크가 모호할수록(예: ICL 샘플이 3~5개로 적을 때) 커진다 — 추론 여지가 클수록 편향을 뒤집기 쉽다.
- 안전 미세조정은 언어 의존적이다: 영어 유해 응답은 강하게 억제되지만 말라얄람어는 거의 그대로여서, 정렬이 분포 표면에 얕게 새겨졌음을 시사한다.
핵심 용어 정리
- 파국적 망각(catastrophic forgetting): 미세조정 후 기존에 잘하던 능력을 갑자기 못 하게 되는 현상.
- 정렬세(alignment tax): 안전/정렬을 얻는 대가로 잃는 일반 능력.
- 태스크 추론(task inference / implicit inference): 프롬프트를 보고 어떤 종류의 태스크인지 모델이 속으로 판단하는 과정. g_θ로 인수분해됨.
- 켤레 프롬프팅(Conjugate Prompting): 낮은 우도 + 가역성 두 조건을 만족하는 프롬프트 변환으로 억눌린 능력을 회복시키는 기법.
- ICL(In-Context Learning): 프롬프트 안 예시들로 규칙을 즉석 학습해 답하는 능력.
- 가역성(invertibility): 변환한 프롬프트의 출력을 원래 형식으로 되돌릴 수 있는 성질(예: 역번역).
- 우도(likelihood): 입력이 특정 분포(여기선 미세조정 분포)에서 나올 법한 정도.
관련 연구
- Empty Shelves or Lost Keys - Recall Is the Bottleneck for Parametric Factuality — 능력/지식이 “소실”된 것이 아니라 “접근/회상 실패”라는 공통 재해석. 본 논문이 미세조정 능력을 태스크 추론 접근 문제로 본 것과, 저 논문이 사실성을 회상 병목으로 본 것이 같은 프레임을 공유한다.
태그
논문 catastrophic-forgetting task-inference conjugate-prompting fine-tuning ai-safety
BibTeX
@article{kotha2023understanding,
title={Understanding Catastrophic Forgetting in Language Models via Implicit Inference},
author={Kotha, Suhas and Springer, Jacob Mitchell and Raghunathan, Aditi},
journal={arXiv preprint arXiv:2309.10105},
year={2023}
}