Persona-Driven 추론을 Activation Patching으로 해부하기

Digest: 이 논문은 LLM에 인종·색·속성 기반 persona(“Asian student”, “bad student” 등)를 부여했을 때 객관식 추론(MMLU)이 바뀌는 현상의 인과 회로를 activation patching(de-noising 변형, causal mediation)으로 추적한다. Llama 3.2 1B를 주 대상(3B·Qwen 2.5 1.5B 보조)으로, persona 토큰만 바꾼 clean/corrupted 쌍에서 컴포넌트를 교체해 **상대 logit 차이(Δr)**를 측정한 결과 — **초기 MLP 층(1–3)**이 persona 토큰을 단순 구문이 아니라 의미적으로 인코딩(간접 효과)하고, 이 표현을 **중간 MHA 층(9–11)**이 받아 최종 출력을 조형한다. 또한 특정 attention head(H₉²⁵, H₁₀²⁵, H₁₁²⁶, H₁₃³, H₁₃¹⁴ 등)가 인종/색 정체성 토큰에 과도하게 주의를 할당함을 식별한다. 한계는 작은 모델·MMLU 단일 데이터셋·head 분석의 수동성. 기여는 “persona가 추론을 바꾼다”는 행동적 관찰을 회로 수준 메커니즘으로 끌어내린 첫걸음이라는 점.

먼저 이해하기

이 논문은 **activation patching(활성화 이식)**이라는 white-box 기법으로 “persona를 주면 왜 답이 달라지나”를 모델 내부에서 본다. 핵심 아이디어는 통제 실험이다: 두 입력이 persona 토큰 하나만 다르게 만든 뒤(예: “Asian student” vs “Indian student”), 한쪽(clean) 실행에서 특정 컴포넌트의 활성화(activation, 그 층/위치의 내부 벡터)를 떼어다 다른쪽(corrupted) 실행에 끼워 넣는다. 그 이식만으로 정답 logit이 얼마나 회복되는지를 보면 그 컴포넌트가 persona 효과를 얼마나 매개하는지를 인과적으로 잴 수 있다.

측정 지표는 **상대 logit 차이 Δr(relative logit difference)**다. 정답 토큰의 logit 변화에서 네 보기(A·B·C·D) 평균 변화를 빼서, “정답을 직접 올린 것”뿐 아니라 “오답을 깎아 정답을 부각한 것”까지 잡는다. 분석 대상은 객관식 14,024문항의 MMLU이고, persona 쌍마다 ID1은 맞히고 ID2는 틀리는 부분집합(S3)만 골라 이식의 목표(정답 logit 상승)를 명확히 한다.

왜 중요한가

기존 persona 연구(예: Gupta et al. 2024 계열)는 “persona가 편향·성능 저하를 일으킨다”는 **행동(behavior)**을 측정했을 뿐, 모델 내부의 어떤 회로가 그 변화를 만드는지는 다루지 않았다. 이 논문은 그 간극을 메우는 mechanistic interpretability 시도다. 특히 “초기 층은 구문만 처리한다”는 통념을 반박하고(초기 MLP가 의미 처리), bias 완화를 위한 국소적 개입 지점(어떤 head를 건드릴지)을 제시한다는 점에서 의의가 있다. 다만 결과는 1B급 소형 모델·MMLU 단일 데이터셋에 한정되므로 일반화는 신중해야 한다.

먼저 알아둘 기술 용어

용어 쉬운 설명
Activation patching clean 실행의 내부 활성화를 corrupted 실행에 이식해 그 컴포넌트의 인과 기여를 측정
De-noising (causal mediation) corrupted(노이즈) 상태에 clean 신호를 주입해 효과를 복원하는 방향의 patching
Symmetric Token Replacement persona 토큰 1개만 바꿔 구문 구조를 보존하는 corrupting 방식
Δr (relative logit difference) 정답 logit 변화 − 네 보기 평균 logit 변화
MLP / MHA Transformer 블록의 피드포워드 / 멀티헤드 어텐션 서브층
Direct vs indirect effect 컴포넌트가 출력에 직접 작용 vs 하위 컴포넌트를 거쳐 간접 작용

용어	쉬운 설명
Activation patching	clean 실행의 내부 활성화를 corrupted 실행에 이식해 그 컴포넌트의 인과 기여를 측정
De-noising (causal mediation)	corrupted(노이즈) 상태에 clean 신호를 주입해 효과를 복원하는 방향의 patching
Symmetric Token Replacement	persona 토큰 1개만 바꿔 구문 구조를 보존하는 corrupting 방식
Δr (relative logit difference)	정답 logit 변화 − 네 보기 평균 logit 변화
MLP / MHA	Transformer 블록의 피드포워드 / 멀티헤드 어텐션 서브층
Direct vs indirect effect	컴포넌트가 출력에 직접 작용 vs 하위 컴포넌트를 거쳐 간접 작용

섹션별 요약

Abstract

LLM은 다양한 persona를 채택하는 능력이 뛰어나다. 이 연구는 persona 부여가 객관적 과제에서의 추론에 어떤 영향을 주는지 검토하고, activation patching으로 모델의 핵심 컴포넌트가 persona 정보를 어떻게 인코딩하는지 이해하는 첫걸음을 뗀다. 발견: 초기 MLP 층은 입력의 구문 구조뿐 아니라 의미 내용도 처리하여 persona 토큰을 더 풍부한 표현으로 변환하고, 이 표현을 중간 MHA 층이 사용해 출력을 조형한다. 또한 인종·색 기반 정체성에 불균형하게 주의를 두는 특정 attention head들을 식별한다.

저자 contribution

MLP 층·MHA 층·개별 attention head가 persona 유발 추론 변화에서 맡는 역할을 activation patching으로 추적.
“초기 MLP는 구문만 처리한다”는 가정을 반박(의미 처리 증거 제시).
인종 기반 persona 단서에 과도하게 집중하는 head 식별 → bias 완화의 토대.

왜 이 연구를 하는가?

선행 연구(Salewski 2023, Deshpande 2023, Gupta 2024, Zheng 2024)는 persona 부여가 추론을 바꾸고 사회적 편향을 증폭함을 보였지만, 그 효과를 낳는 사전학습 모델 내부의 인과 메커니즘은 검토하지 않았다. MCQA 정답 선택 회로를 다룬 interpretability 연구(Lieberum 2023, Wiegreffe 2025)는 있었으나 persona-driven 행동은 미답이었다. 즉 “persona 효과를 관찰·정량화”하는 단계와 “그 회로를 이해”하는 단계 사이에 간극이 있고, 이 논문은 후자를 노린다.

Introduction

최근 LLM은 맥락 민감 응답을 위해 다양한 persona를 채택하지만, 그 결과 추론이 흔들리고 편향이 드러난다. 저자들은 이를 surface-level 관찰에 그치지 말고 회로 수준에서 풀자고 제안한다. 16개 persona(4 범주 × 4)를 “X student” 형태로 통일하고, persona 토큰만 다른 clean/corrupted 쌍을 구성한다. 대상 과제는 답이 객관적인 MMLU(4지선다)로, 도메인·persona 특이 편향을 줄이기 위해 57개 주제를 폭넓게 쓴다.

Methods

기법: de-noising 변형 activation patching = causal mediation analysis. corrupted 실행의 컴포넌트 활성화를 clean 실행의 대응 활성화로 교체. Symmetric Token Replacement로 persona 토큰 1개만 바꿔 구문은 고정, 의미만 변주.
무엇을 patch하나: ① MLP 층(층 인덱스별, 전체 토큰 위치 / 정체성 토큰 위치 한정), ② MHA 층(층별), ③ 개별 attention head(Hₗₐyₑᵣ^head 표기). direct vs indirect 효과 분리 측정.
persona(16개, 4범주): 인종(Asian/Indian/African/British), 색(White/Black/Brown/Yellow), 긍정속성(good/intelligent/bright/sharp), 부정속성(bad/dull/stupid/dumb). base는 “helpful assistant”. 10개 persona 쌍으로 clean(ID1)·corrupted(ID2) 생성.
데이터·부분집합: MMLU 14,024문항을 쌍마다 S1(둘 다 정답)/S2(둘 다 오답)/S3(ID1 정답·ID2 오답, 선택됨)/S4로 분할. S3가 목표 logit 상승을 잘 정의해줌.
지표: ① Δr = {l_correct(P)−l_correct(C)} − {μ(l_ABCD(P))−μ(l_ABCD(C))}; ② patching 후 정답 토큰이 최고 logit이 되는 문항 비율.
모델: Llama 3.2 1B Instruct(주), Llama 3.2 3B Instruct, Qwen 2.5 1.5B Instruct. head-level patching은 계산 제약으로 1B에 한정.

발견 (Findings)

persona 평가: 부정 속성 persona는 base 대비 평균 확률 차 −0.0027(T=11.7, p<0.001)로 유의하게 저조. 인종·색 persona는 일관성이 낮아 고정관념 연관에 대한 확정 결론은 보류.
층 단위 patching(세 모델 공통): 초기 MLP 층 1–3과 중간 MHA 층 9–11에서 Δr 최대. Qwen 1.5B는 MLP 18층·MHA 1층 이상치도 보여 추가 탐구 필요.
정체성 토큰 위치 한정 patching: MLP 층 1만으로 전체 토큰 위치 patching과 거의 동등한 효과, 층 2 이후 급감 → 초기 MLP가 정체성 토큰 위치에 persona 정보를 집중 인코딩.
direct vs indirect: 네트워크 말단 근처 MLP만 출력에 직접 효과. 초기 층 효과는 순수 간접 → 다운스트림이 쓰는 표현을 변환할 뿐.
의미 처리 주장: 변화 지점 국소 구문이 고정인데도 의미가 다른 persona에서 초기 MLP 효과가 나타남 → 초기 MLP가 구문뿐 아니라 의미도 처리(Belinkov 2017·Peters 2018·Jawahar 2019 통념 반박).

Results

고영향 head(positive-effect, 8개): H₉²⁵, H₁₀²⁵, H₁₁²⁵, H₁₁²⁶, H₁₁²⁷, H₁₂⁹, H₁₃¹⁴, H₁₅²⁵.
고영향 head(negative-effect, 4개): H₁₂¹¹, H₁₃³, H₁₃¹⁶, H₁₅²⁶.
인종 정체성에 과집중: H₉²⁵, H₁₀²⁵, H₁₁²⁶, H₁₃³, H₁₃¹⁴.
색 정체성: H₁₁²⁶·H₁₃³·H₁₃¹⁴(덜 일관), H₁₃¹⁶(색 전용).
속성 정체성: H₁₅²⁵(긍·부정 속성을 초기 토큰 위치에서 우선).
MLP→attention 반응(Appendix J): MLP 활성화를 인종/색→속성 persona로 patch하면, 앞서 정체성 토큰에 집중하던 head의 attention이 유의하게 감소. 대부분 head는 첫 층 이후 patching엔 둔감.

Discussion

검증 가설: 초기 MLP가 (특히 정체성 토큰 위치에서) persona 정보를 만들고 → 후속 MHA가 이를 받아 persona-driven 행동을 산출. 단계적 정보 흐름이 데이터로 뒷받침됨.
head 기능 분업: 8개 positive head 중 7개가 층 9–11에 집중. 일부는 인종, 일부(H₁₃¹⁶)는 색, H₁₅²⁵는 속성을 추적.

이론적 의의

“persona가 추론을 바꾼다”는 행동적 사실을 컴포넌트·층·head 수준의 인과 회로로 환원한 초기 사례. 초기 층=구문이라는 표현학습 통념을 흔들고, persona vector 같은 방향 기반 분석(Chen et al. 2025)이 “무엇”을 짚는다면 이쪽은 “어디서·어떻게”를 짚어 상보적이다. bias 완화를 위한 국소 개입(특정 head 타깃) 가능성을 연다.

Discussion Points

한계/검증 가정: Δr는 logit 기반 대리지표 — 실제 추론 변화와의 정합성은 더 검증 필요. head 식별이 수동 attention 검사라 재현·확장성 제약.
논쟁점: “초기 MLP가 의미를 처리한다”는 강한 주장 — Symmetric Token Replacement가 구문을 충분히 통제했는지, 1B 모델 특유 현상인지 더 큰 모델에서 확인 필요.
후속: 왜 특정 persona가 특정 문항을 맞히고 틀리는가; head의 output 회로가 초기 표현을 어떻게 쓰는가; “persona”의 작동적 정의.

실험 결과 상세

분석	모델	핵심 컴포넌트	결과(수치/식별자)
persona 성능	Llama 3.2 1B(+3B, Qwen 1.5B)	—	부정 속성 persona 평균 확률차 −0.0027 (T=11.7, p<0.001)
MLP 층 patching	3모델 공통	초기 MLP	층 1–3에서 Δr 최대 (Qwen은 18층 이상치)
MHA 층 patching	3모델 공통	중간 MHA	층 9–11에서 Δr 최대 (Qwen은 1층 이상치)
정체성 토큰 위치 patching	Llama 1B	MLP	층 1만으로 전체위치와 동등, 층 2↓ 급감
direct/indirect	Llama 1B	MLP	말단 MLP만 직접 효과, 초기층은 간접
head patching	Llama 1B	attention head	positive 8개·negative 4개 식별(아래)
attention 분석	Llama 1B	head	H₉²⁵·H₁₀²⁵·H₁₁²⁶·H₁₃³·H₁₃¹⁴ 인종 토큰 과집중

증거 품질

소형 모델(1B/3B/1.5B)·MMLU 단일 데이터셋·persona 16개·head 분석 수동 → 정량 Δr·통계검정은 견고하나 외적 타당도(모델 규모·과제 다양성)는 제한적. 종합 C.

프레임워크 다이어그램

flowchart LR
    P["persona 토큰<br/>(예: 'Asian')"] --> M1["초기 MLP 층 1–3<br/>persona → 의미 표현<br/>(간접 효과)"]
    M1 --> H["중간 MHA 층 9–11<br/>정체성 토큰에 주의<br/>(H₉²⁵·H₁₁²⁶·H₁₃¹⁴ …)"]
    H --> M2["말단 MLP<br/>(직접 효과)"]
    M2 --> O["A/B/C/D logit<br/>→ 추론 변화"]
    PATCH["activation patching<br/>(de-noising, S3 쌍)"] -.측정 Δr.-> M1
    PATCH -.측정 Δr.-> H

재현성 및 신뢰도 평가

코드 공개: ✅ https://github.com/anshpoonia/Persona-Driven-Reasoning
모델: 공개 가중치(Llama 3.2 1B/3B, Qwen 2.5 1.5B) — 재현 용이.
데이터: MMLU 공개.
약점: head 식별이 수동 attention 검사(자동화 부재), Qwen 이상치 미해소.
종합 재현성 등급: B (방법·코드·모델 공개로 핵심 재현 가능, 단 head 해석 단계는 수작업 의존).

논문	white-box 방법	persona 주입	testbed	분석 단위	핵심 발견	코드
본 논문 (Poonia & Jain 2025)	activation patching	인종·색·속성 persona	MMLU(4지선다)	층·MLP·MHA·head	초기 MLP=의미, 중간 MHA=조형, 인종 head	✅
Persona Vectors (Chen 2025)	diff-in-means steering vector	trait 시스템 프롬프트	자동 생성 평가셋	층별 선형 방향	persona=선형 방향, 모니터/제어/데이터선별	✅
Persona Vectors in Games (Sun & Zhang 2026)	CAA steering	altruism/forgiveness	게임이론(Dictator 등)	층 20 방향	steering이 전략·수사 변화, 둘이 괴리	✅
Bias Runs Deep (Gupta 2024)	(black-box)	사회인구 persona	24 reasoning 데이터셋	행동 성능	persona가 추론 성능 저하·편향	—

원자적 인사이트 (Zettelkasten)

persona 효과는 단계적 회로다. 초기 MLP(의미 인코딩) → 중간 MHA(출력 조형)의 파이프라인. 단일 지점이 아니라 전달되는 표현이 핵심.
초기 층 = 구문만이라는 통념은 틀릴 수 있다. 구문을 고정(Symmetric Token Replacement)해도 의미가 다른 persona에서 초기 MLP가 작동 → 초기 MLP가 의미 처리. Representation Learning - The Platonic Representation Hypothesis
정체성 토큰 위치에 정보가 응축된다. MLP 층 1의 정체성 토큰 위치 patching만으로 전체 위치와 동등 → persona는 특정 토큰 위치에 국소화.
bias는 특정 head로 추적 가능하다. H₉²⁵·H₁₃¹⁴ 등 소수 head가 인종 토큰에 과집중 → 국소 개입(ablation·재조정)으로 완화 가능성. Persona
“무엇” vs “어디서”의 상보성. persona vector(방향)는 무엇을, activation patching(회로)은 어디서·어떻게를 답한다 — 두 white-box 렌즈가 합쳐져야 persona의 그림이 완성된다.

핵심 용어 정리

Activation patching: clean 실행의 내부 활성화를 corrupted 실행에 이식해 컴포넌트의 인과 기여를 측정하는 기법.
Causal mediation / de-noising: 노이즈 상태에 clean 신호를 주입해 효과 복원량으로 매개를 측정.
Symmetric Token Replacement: persona 토큰 1개만 교체해 구문을 보존하는 corrupting 전략.
Δr (relative logit difference): 정답 logit 변화에서 네 보기 평균 변화를 뺀 지표(오답 억제도 포착).
MHA / MLP: 멀티헤드 어텐션 / 피드포워드 서브층.
Direct vs indirect effect: 출력에 직접 작용 vs 하위 컴포넌트 경유.
MMLU: 57개 주제 4지선다 14,024문항 벤치마크.

BibTeX

@misc{poonia2025dissecting,
  title        = {Dissecting Persona-Driven Reasoning in Language Models via Activation Patching},
  author       = {Poonia, Ansh and Jain, Maeghal},
  year         = {2025},
  eprint       = {2507.20936},
  archivePrefix= {arXiv},
  primaryClass = {cs.CL},
  url          = {https://arxiv.org/abs/2507.20936}
}

Persona-Driven 추론을 Activation Patching으로 해부하기

Persona-Driven 추론을 Activation Patching으로 해부하기

먼저 이해하기

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX