GPT 내부 사실 연상의 위치 추적과 직접 편집 (ROME)

Digest: GPT가 “The Space Needle is located in the city of → Seattle”처럼 사실을 인출할 때 그 사실이 파라미터의 어디에 있는지는 2022년까지 미지의 영역이었다. 이 논문의 문제의식은 그 위치를 상관이 아니라 인과적으로 특정하고, 특정한 위치를 실제로 고쳐서 특정이 옳았음을 증명하는 것이다. 핵심 통찰은 사실 인출이 분업되어 있다는 것 — 중간층 MLP가 주어(subject)의 마지막 토큰 위치에서 그 주어의 속성 집합을 불러오고, 상위층 attention이 그것을 마지막 토큰으로 복사해 다음 토큰 예측을 만든다. 방법은 두 겹이다. 진단 도구 causal tracing은 주어 임베딩을 가우시안 노이즈( $ν = 3 σ$ )로 오염시킨 뒤 은닉 상태를 하나씩 깨끗한 값으로 되돌려 회복량(indirect effect)을 재고, 처방 도구 **ROME(Rank-One Model Editing)**은 MLP의 두 번째 선형층 $W_{p ro j}$ 를 key-value 연상 기억으로 보고 $\hat{W} = W + Λ (C^{- 1} k_{*})^{⊤}$ 라는 닫힌 형태 rank-one 갱신으로 새 사실을 삽입한다. 실험은 GPT-2 XL(1.5B, 48층)·GPT-J(6B, 28층)에서 zsRE와 저자들이 새로 만든 CounterFact(21,919 레코드)로 수행된다. 핵심 수치로 causal tracing은 1,000개 사실문에서 ATE 18.6%, 주어 마지막 토큰 layer 15에서 AIE 8.7%를 얻고 MLP 기여 6.6% vs 같은 위치 attention 1.6%로 갈린다. ROME은 CounterFact 종합점수 GPT-2 XL 89.2 / GPT-J 91.5로 FT(65.1/25.5), FT+L(66.9/68.7), KN(35.6), KE(52.2), MEND(57.9/63.2)를 모두 앞선다. 결정적 증거는 MLP 출력을 오염 상태로 “잘라낸(severed)” 대조에서 하위층 인과 효과가 사라지지만 attention을 잘라도 같은 붕괴가 없다는 것으로, 중간층 MLP가 매개자임을 분리한다. 함의는 사실 지식이 분산·불투명하다는 통념을 깨고 “국소적이며 직접 편집 가능”이라는 새 전제를 세운 것이다. 한계는 한 번에 한 사실만 편집되고, 편집이 단방향이며, 평가 벤치마크가 저자 자체 설계이고, generalization과 specificity가 층 선택에서 정면 충돌한다는 점이다.

먼저 이해하기

이 논문은 두 질문을 한 세트로 묶는다. 첫째, “GPT가 에펠탑은 파리에 있다를 알고 있을 때 그 지식은 모델 안 어디에 있는가?” 둘째, “위치를 정확히 짚었다면 거기만 건드려서 에펠탑은 로마에 있다로 바꿀 수 있는가?” 두 번째 질문이 중요한 이유는 그것이 첫 번째 질문에 대한 시험지이기 때문이다. 위치를 잘못 짚었다면 편집이 실패하거나, 성공하더라도 모델의 다른 부분을 망가뜨릴 것이다.

기존 해석가능성 연구의 대다수는 “어떤 뉴런이 어떤 개념과 함께 켜진다”는 상관관계를 본다. 그런데 상관관계는 그 뉴런이 예측을 실제로 일으켰는지는 말해 주지 않는다. 이 논문은 대신 인과추론의 도구인 causal mediation analysis를 가져온다. 방법은 잔인할 정도로 단순하다 — 먼저 주어(“Space Needle”)의 토큰 임베딩에 노이즈를 부어 모델이 답을 틀리게 만든 다음, 내부 은닉 상태를 하나씩 깨끗한 원본 값으로 되돌려 보면서 “어느 상태를 되돌려야 정답이 살아나는가”를 스캔한다. 크게 살아나는 상태가 바로 그 사실을 매개(mediate)하고 있던 지점이다.

스캔 결과는 예상 밖이었다. 마지막 토큰 근처 상위층에서 강한 효과가 나오는 것은 당연한데(거기서 예측이 만들어지니까), 그와 별개로 주어의 마지막 토큰 위치, 중간층에서 두 번째 봉우리가 나타난다. 이 “early site”를 MLP와 attention으로 쪼개 보면 MLP 쪽 기여가 압도적이다. 즉 GPT는 주어를 읽는 동안 이미 중간층 MLP에서 “이 주어에 관해 아는 것들”을 꺼내 놓고, 상위층 attention은 그중 질문에 맞는 것을 골라 마지막 토큰으로 옮긴다.

두 번째 질문에 답하기 위해 저자들은 Transformer Feed-Forward Layers Are Key-Value Memories의 관점을 가져온다. MLP의 두 선형층을 각각 “질의를 키로 바꾸는 층”과 “키를 값으로 읽어 내는 층”으로 보면, 두 번째 층 $W_{p ro j}$ 는 결국 $Wk \approx v$ 를 만족하는 선형 연상 기억이다. 선형 연상 기억에 새 항목 하나를 끼워 넣는 문제는 최소제곱 문제의 닫힌 해를 갖는다. 그래서 ROME은 경사하강 학습 없이 한 줄의 행렬 연산으로 사실을 갈아 끼운다.

causal tracing(인과 추적): 입력을 오염시킨 뒤 내부 상태를 선택적으로 복원해 각 상태의 인과 기여를 재는 진단 절차. 오늘날 activation patching의 원형.
total effect / indirect effect: TE는 깨끗한 실행과 오염된 실행의 정답 확률 차이, IE는 상태 하나를 되돌렸을 때 회복되는 확률량. 여러 사실문에 걸쳐 평균하면 ATE / AIE.
linear associative memory(선형 연상 기억): $W k_{i} \approx v_{i}$ 형태로 키-값 쌍을 겹쳐 담는 단일 행렬. 겹쳐 담기가 가능한 것은 키들이 대략 직교하기 때문이다.
rank-one update(랭크-1 갱신): 열벡터와 행벡터의 외적으로 표현되는, 가장 작은 자유도의 가중치 변경. 기존 정보 보존과 새 정보 삽입을 동시에 만족하는 최소 개입.
specificity vs generalization: 편집이 무관한 주어를 오염시키지 않으면서(specificity) 다르게 물어봐도 새 사실을 말해야 한다(generalization). 이 둘을 함께 잡는 것이 논문의 승부처다.

왜 중요한가: 이 논문 이전에 “LLM의 사실 지식”은 파라미터 전체에 흐릿하게 분산되어 손댈 수 없는 것으로 여겨졌다. ROME은 (1) 그 지식이 특정 층·특정 토큰 위치의 MLP에 국소화되어 있고, (2) 학습 없이 rank-one 연산 한 번으로 갈아 끼울 수 있으며, (3) 그 변경이 표층 암기가 아니라 패러프레이즈에도 전이됨을 한꺼번에 보였다. 이후 model editing 분야(MEMIT, PMET, AlphaEdit 등)와 mechanistic interpretability의 activation patching 계보가 여기서 갈라져 나왔고, “localization이 editing을 정당화하는가”라는 반론 계보(Hase et al., 2023)도 이 논문을 표적으로 형성되었다.

먼저 알아둘 용어 표

원 용어	쉬운 설명
factual association	(주어 $s$ , 관계 $r$ , 목적어 $o$ ) 삼항으로 표현되는 사실. 예: (Space Needle, located-in, Seattle)
clean / corrupted / restoration run	정상 실행 / 주어 임베딩에 노이즈를 부어 답을 무너뜨린 실행 / 오염 상태에서 특정 은닉 상태만 원래 값으로 되돌린 실행
early site vs late site	주어의 마지막 토큰 × 중간층(새로 발견된 인출 지점) vs 프롬프트 마지막 토큰 × 상위층(예측 조립 지점)
severed causal trace	MLP(또는 attention) 출력을 오염값에 고정해 놓고 다시 추적하는 대조 실험
$k_{}$ / $v_{}$	편집할 사실의 키(주어 표현) / 값(새 목적어를 내놓게 하는 출력 벡터)
essence drift	편집 후 모델이 주어의 정체성 자체를 잊어버리는 부작용. KL 항으로 억제
bleedover	편집한 사실이 무관한 주어에까지 번지는 현상. specificity 실패의 이름

섹션별 요약

Abstract

자기회귀 트랜스포머에서 사실 연상의 저장·인출을 분석한 결과, 그것이 국소적이고 직접 편집 가능한 계산에 대응한다는 증거를 얻었다. 먼저 사실 예측에 결정적인 뉴런 활성을 식별하는 causal intervention을 개발했고, 이는 주어 토큰을 처리하는 동안 중간층 feed-forward 모듈에서 사실 예측을 매개하는 뚜렷한 단계가 있음을 드러낸다. 이 계산이 실제로 사실 연상 인출에 해당한다는 가설을 검증하기 위해 feed-forward 가중치를 수정해 특정 사실 연상을 갱신하는 ROME을 제안한다. ROME은 표준 zsRE 모델 편집 과제에서 기존 방법에 필적하며, 더 민감한 평가를 위해 새로 만든 counterfactual assertion 데이터셋에서는 specificity와 generalization을 동시에 유지하는 반면 다른 방법들은 둘 중 하나를 희생한다. 코드·데이터셋·시각화·인터랙티브 데모 노트북 공개.

왜 이 연구를 하는가?

GPT류 모델이 방대한 사실을 기억한다는 것은 알려져 있었으나, 그 기억이 파라미터의 어디에 어떻게 담기는지는 열려 있었다. 이 공백은 두 가지를 막는다. 첫째, 모델이 왜 특정 사실을 틀리는지 진단할 수 없다. 둘째, 낡거나 잘못된 사실을 고치려면 재학습이나 fine-tuning이라는 무딘 도구밖에 없고 이는 비싸며 다른 지식을 훼손한다. 저자들의 전략적 선택은 “해석”과 “개입”을 하나의 논증 고리로 묶은 것이다 — causal tracing으로 얻은 위치 가설이 옳다면 그 위치만 최소 개입으로 고쳤을 때 편집이 성공해야 하고, 편집 성공이 곧 위치 가설의 검증이 된다. 이 왕복 구조가 이 논문의 방법론적 기여이자 동시에 후속 논쟁의 표적이 된 지점이다.

Introduction

문제: 지식이 어디에 저장되는지 모른 채로는 모델을 신뢰할 수도 고칠 수도 없다.
접근: 트랜스포머 계산 그래프를 causal mediation의 매개자 네트워크로 보고, 주어 임베딩을 오염원(treatment), 은닉 상태를 매개자, 정답 확률을 결과로 두어 각 매개자의 간접효과를 측정한다.
관찰(Figure 1): 인과 효과 지도가 두 봉우리를 갖는다 — 예측 직전의 late site, 그리고 주어 마지막 토큰 중간층의 early site. 후자가 새로운 발견이다.
기여: (1) causal tracing 기법, (2) 중간층 MLP의 사실 인출 역할 규명, (3) 그 가설에서 직접 유도된 편집기 ROME, (4) 얕은 성공을 걸러 내는 CounterFact 벤치마크와 그 위에서의 baseline 비교.

Methods

(A) Causal tracing (§2)

표기: 사실 $t = (s, r, o)$ , 프롬프트 $x$ , 은닉 상태 $h_{i}^{(l)}$ (토큰 $i$ , 층 $l$ ).
세 번의 실행. clean run은 정상 실행으로 은닉 상태와 정답 확률 $P [o]$ 를 수집하고, corrupted run은 주어 토큰 임베딩에 $ϵ \sim N (0, ν)$ , $ν = 3 σ$ (임베딩 관측 표준편차의 3배)를 더해 정답 확률을 평균 27.0% → 8.47% 로 떨어뜨리며, corrupted-with-restoration run은 오염 실행 중 특정 $(i, l)$ 의 상태만 clean 값으로 강제 대입한다.
효과 정의: $TE = P [o] - P_{*} [o]$ , $IE = P_{*, clean h_{i}^{(l)}} [o] - P_{*} [o]$ . 1,000개 사실문에 대해 평균해 ATE·AIE를 얻는다.
severed causal trace: MLP(또는 attention) 모듈의 출력을 오염 실행의 값에 고정한 채 동일한 복원 스캔을 반복한다. 특정 모듈이 매개 경로에 필수인지를 가르는 대조군이다.

(B) ROME (§3)

관점: 트랜스포머 MLP는 $m^{(l)} = W_{p ro j}^{(l)} σ (W_{f c}^{(l)} γ (a^{(l)} + h^{(l - 1)}))$ . 비선형 뒤의 벡터를 키 $k$ , $W_{p ro j}$ 의 출력을 값 $v$ 로 보면 $W_{p ro j}$ 는 $Wk \approx v$ 를 푸는 선형 연상 기억이고, 최소제곱 해는 유사역행렬 $W = V K^{+}$ 다.
갱신식: 기존 기억 $(K, V)$ 를 최소로 흔들며 새 쌍 $(k_{*}, v_{*})$ 를 삽입하는 제약 최소제곱의 닫힌 해는
$\hat{W} = W + Λ (C^{- 1} k_{*})^{⊤}, Λ = \frac{v _{*} - W k _{*}}{( C ^{- 1} k _{*} ) ^{⊤} k _{*}}$
이며, $C = K K^{⊤}$ 는 키의 비중심 공분산으로 위키백과 표본에서 미리 추정해 재사용한다. 이 갱신은 $\hat{W} k_{*} = v_{*}$ 를 정확히 만족한다.
$k_{*}$ / $v_{*}$ : $k_{*}$ 는 주어 $s$ 의 마지막 토큰, 층 $l_{*}$ 의 비선형 직후 벡터를 무작위 접두사 50개에 대해 평균한 값이다. $v_{*}$ 는 (i) 편집 프롬프트에서 새 목적어 $o_{*}$ 의 로그확률 최대화, (ii) “{subject} is a” 프롬프트 예측 분포의 KL divergence 최소화(essence drift 억제) 두 항으로 최적화한다. 경사하강은 여기서만 쓰이고 가중치 갱신 자체는 닫힌 형태다.
개입 지점: 층·토큰 스윕(Figure 5)에서 주어의 마지막 토큰에서만 generalization과 specificity가 동시에 최고가 되며, GPT-2 XL은 중간층(18번째 층 부근)이 최적이다. 다른 토큰 위치를 고르면 둘 중 하나가 무너진다.

(C) 평가 설정 (§4): 모델은 GPT-2 XL(1.5B, 48층)과 GPT-J(6B, 28층)로 둘 다 open-weight. 데이터는 zsRE(기존 표준)와 CounterFact(신규, 21,919 레코드). baseline은 FT, FT+L( $L_{\infty}$ 제약 fine-tuning), KN(Dai et al. 2022), KE(De Cao et al. 2021)와 CounterFact 재학습판 KE-CF, MEND(Mitchell et al. 2021)와 MEND-CF.

발견 (Findings)

사실 인출은 두 지점에 걸쳐 분업된다. ATE 18.6% 중 상당 부분이 개별 상태 하나로 매개되며, 주어 마지막 토큰 layer 15의 AIE가 8.7%다. late site는 자명하지만 early site는 새로운 발견이라고 저자들이 명시한다.
early site의 주역은 MLP다. 같은 위치에서 MLP 기여 AIE 6.6% vs attention 1.6%. attention은 프롬프트 마지막 토큰에서 더 중요해진다.
severed trace가 매개자를 분리한다. MLP 출력을 오염값에 고정하면 하위층 인과 효과가 크게 줄지만 상위층 효과는 남고, attention을 같은 방식으로 잘라도 이런 붕괴가 없다.
위치 가설이 편집으로 검증된다. 주어 마지막 토큰의 중간층 MLP만 rank-one으로 고쳤을 때 CounterFact 종합점수가 30.5 → 89.2(GPT-2 XL)로 뛰고, 다른 토큰 위치에서는 generalization 또는 specificity가 무너진다.
기존 방법은 두 실패 모드 중 하나에 걸린다. F1은 반사실 문장에 과적합해 패러프레이즈로 일반화하지 못하고(FT+L: PS 48.7), F2는 과소적합해 무관 주어에도 같은 출력을 내놓는 bleedover다(FT: NS 40.4, KE-CF: 6.9, MEND-CF: 5.5). ROME만 양쪽을 피한다.

Results

zsRE(Table 1, GPT-2 XL): ROME이 Efficacy 99.8로 1위, Paraphrase 88.1로 FT(82.1)·KE(61.4)·MEND(65.3)를 앞선다. 다만 해당 데이터로 직접 학습된 MEND-zsRE(99.4/99.3)·KE-zsRE(92.4/90.0)에는 Paraphrase에서 밀린다. Specificity는 모든 방법이 23~25에 몰려 변별력이 없고, 이 무변별성이 CounterFact를 새로 만든 직접적 동기다.
CounterFact(Table 4, GPT-2 XL): ROME 종합 S=89.2로 2위 FT+L(66.9)과 22.3점 차이며, ES 100.0 / PS 96.4 / NS 75.4를 동시에 달성한다. FT는 PS 87.9로 일반화는 되지만 NS 40.4로 이웃을 망가뜨리고, FT+L은 NS 70.3을 지키는 대신 PS 48.7로 일반화에 실패한다. KE-CF·MEND-CF는 PS 95.8/97.0으로 일반화는 최상급이나 NS 6.9/5.5로 모델 전체를 오염시켜 종합 18.1/14.9에 그친다.
CounterFact(Table 4, GPT-J): ROME S=91.5(ES 99.9 / PS 99.1 / NS 78.9)로 FT+L(68.7), MEND(63.2), FT(25.5)를 앞선다. 모델이 커질수록 ROME의 PS는 96.4→99.1로 오르는 반면 FT의 NS는 40.4→10.3으로 악화되어, 규모가 커질수록 무딘 fine-tuning의 부작용이 심해진다.
유창성과 사람 평가: ROME의 Generation Entropy 621.9는 원본(626.6)에 근접해 다양성 붕괴가 거의 없다(KE-CF는 383.0으로 붕괴). 그러나 15명이 50개 사실에서 ROME과 FT+L을 비교한 결과, ROME이 삽입 사실과 더 일관된다는 판정은 1.8배 많았지만 더 유창하다는 판정은 1.3배 적었다 — 일관성 이득이 유창성 손실과 교환되었음을 저자들이 인정한다.

Discussion

이론적 의의

이 논문의 이론적 주장은 세 겹으로 쌓여 있고 각 겹의 지지 강도가 다르다. 첫째 겹은 “중간층 MLP가 주어 마지막 토큰에서 사실 예측을 매개한다”로, causal tracing과 severed trace라는 개입 실험으로 직접 지지되어 가장 단단하다. 둘째 겹은 “그 MLP가 key-value 선형 연상 기억으로 동작한다”로, Transformer Feed-Forward Layers Are Key-Value Memories의 선행 관찰을 자기회귀 모델로 옮기고 형식을 부여한 것이며, 직접 검증보다 rank-one 편집이 작동한다는 사후 성공으로 간접 지지된다. 셋째 겹은 “따라서 사실 지식은 국소적이며 직접 편집 가능하다”로, 앞의 두 겹에서 연역된 가장 넓은 주장이다.

주목할 점은 이 논문이 해석가능성 연구의 방법론적 기준선을 옮겼다는 것이다. 이전 연구들은 “이 뉴런은 X와 상관된다”에서 멈췄지만, 여기서는 상관 → 인과 개입 → 개입 기반 편집 → 편집 성공의 정량 평가라는 완결된 루프를 요구한다. “위치를 알았다”는 주장의 증명 책임을 “그 위치만 고쳐서 원하는 행동 변화를 얻어 보라”로 재정의한 것이 이 논문의 가장 오래 가는 기여다. 동시에 이것이 후속 논쟁의 씨앗이다 — 편집 성공은 위치 가설의 충분조건이 아니기 때문이다.

Discussion Points

localization과 editability의 논리적 간극이 남는다. causal tracing이 짚은 층과 ROME이 편집하기 좋은 층이 반드시 같아야 할 이유는 없다. 실제로 후속 연구(Hase et al., 2023, “Does Localization Inform Editing?“)는 tracing이 가리키지 않는 층을 편집해도 잘 된다고 보고했다. “추적으로 찾고 편집으로 검증한다”는 서사는 강력하지만, 편집 성공이 추적 결과를 유일하게 지지하지는 않는다.
벤치마크 자체가 저자 설계라는 점은 양날이다. zsRE의 Specificity가 23~25에 뭉쳐 변별력이 없다는 진단은 정확하고, CounterFact의 neighborhood prompt 설계는 그 공백을 정확히 겨눈다. 그러나 “ROME이 이기도록 설계된 축에서 ROME이 이겼다”는 순환의 위험도 함께 생긴다. neighborhood가 같은 관계·유사 주어로 구성되어 있어, 더 어려운 specificity 시험(같은 주어의 다른 관계, 여러 홉 추론)은 이 벤치마크에 없다.
“specificity vs generalization 트레이드오프”는 해결이 아니라 이동에 가깝다. 논문은 ROME이 두 축을 동시에 잡았다고 하지만, 성립 조건이 매우 좁다 — 주어의 마지막 토큰, 특정 중간층. 층을 위로 올리면 표층 암기(높은 ES, 낮은 PS)로, 아래로 내리거나 다른 토큰을 고르면 bleedover로 무너진다. 트레이드오프는 사라진 것이 아니라 하이퍼파라미터 공간의 한 점으로 압축되었고, 그 점은 모델마다 다시 탐색되어야 한다. 여기에 “한 번에 한 사실”이라는 제약이 겹친다 — 저자들 스스로 ROME을 “실용적 편집기가 아니라 메커니즘 이해 도구”로 규정했고, rank-one 갱신을 수천 개 사실에 반복하면 $C^{- 1}$ 기반 보존 가정이 깨진다는 것이 MEMIT 계열 등장의 이유다.
편집의 단방향성과 잡히지 않는 유창성 손실. (Space Needle, in, Rome)을 심어도 역방향 질의는 전이되지 않아, MLP 기억이 대칭 그래프가 아니라 주어→속성 방향성 조회 테이블임을 시사한다(후일 reversal curse 논의와 같은 뿌리). 또 GE 621.9는 원본(626.6)과 사실상 같은데 사람은 ROME 텍스트를 1.3배 덜 유창하다고 판정했다 — n-gram 엔트로피는 “붕괴하지 않음”은 잡아도 “어색해짐”은 못 잡는다.

실험 결과 상세

표 1 — Causal tracing 핵심 수치 (§2, Figure 1·2)

측정	값	조건
clean run 평균 정답 확률	27.0%	오염 없음
corrupted run 평균 정답 확률	8.47%	주어 임베딩 $+ ϵ$ , $ν = 3 σ$
Average Total Effect (ATE)	18.6%	사실문 1,000개 평균
최대 AIE — 은닉 상태	8.7%	주어 마지막 토큰, layer 15
최대 AIE — MLP 기여	6.6%	early site (주어 마지막 토큰, 중간층)
최대 AIE — attention 기여	1.6%	주어 마지막 토큰 (동일 위치 대조)
severed MLP 대조	하위층 인과 효과 소실	MLP 출력을 오염값에 고정
severed attention 대조	동등한 소실 없음	attention 출력을 오염값에 고정

표 2 — zsRE 결과 (Table 1, GPT-2 XL, 단위 %)

Editor	Efficacy ↑	Paraphrase ↑	Specificity ↑
GPT-2 XL (편집 전)	22.2	21.3	24.2
FT	99.6	82.1	23.2
FT+L	92.3	47.2	23.4
KE	65.5	61.4	24.9
KE-zsRE	92.4	90.0	23.8
MEND	75.9	65.3	24.1
MEND-zsRE	99.4	99.3	24.1
ROME	99.8	88.1	24.2

Specificity 열이 전 방법 23~25로 뭉쳐 있다는 사실 자체가 결과다. zsRE는 편집기의 부작용을 구별하지 못한다.

표 3 — CounterFact 결과, GPT-2 XL (Table 4 상단; 괄호는 표준오차)

Editor	Score S ↑	ES ↑	EM ↑	PS ↑	PM ↑	NS ↑	NM ↑	GE ↑	RS ↑
GPT-2 XL (편집 전)	30.5	22.2	−4.8	24.7	−5.0	78.1	5.0	626.6	31.9
FT	65.1	100.0	98.8	87.9	46.6	40.4	−6.2	607.1	40.5
FT+L	66.9	99.1	91.5	48.7	28.9	70.3	3.5	621.4	37.4
KN	35.6	28.7	−3.4	28.0	−3.3	72.9	3.7	570.4	30.3
KE	52.2	84.3	33.9	75.4	14.6	30.9	−11.0	586.6	31.2
KE-CF	18.1	99.9	97.0	95.8	59.2	6.9	−63.2	383.0	24.5
MEND	57.9	99.1	70.9	65.4	12.2	37.9	−11.6	624.2	34.8
MEND-CF	14.9	100.0	99.2	97.0	65.6	5.5	−69.9	570.0	33.2
ROME	89.2	100.0	97.9	96.4	62.7	75.4	4.2	621.9	41.9

읽는 법: KN은 사실상 편집이 일어나지 않고(ES 28.7), KE-CF·MEND-CF는 편집이 너무 잘 일어나 모델 전체로 번진다(NS 6.9 / 5.5). ROME만 ES·PS·NS 세 축이 동시에 높다.

표 4 — CounterFact 결과, GPT-J 6B (Table 4 하단)

Editor	Score S ↑	ES ↑	EM ↑	PS ↑	PM ↑	NS ↑	NM ↑	GE ↑	RS ↑
GPT-J (편집 전)	23.6	16.3	−7.2	18.6	−7.4	83.0	7.3	621.8	29.8
FT	25.5	100.0	99.9	96.6	71.0	10.3	−50.7	387.8	24.6
FT+L	68.7	99.6	95.0	47.9	30.4	78.6	6.8	622.8	35.5
MEND	63.2	97.4	71.5	53.6	11.0	53.9	−6.0	620.5	32.6
ROME	91.5	99.9	99.4	99.1	74.1	78.9	5.2	620.1	43.0

표 5 — CounterFact 구성과 지표 정의 (§4, Appendix)

항목	값 / 정의
총 레코드 / 고유 주어 / 고유 목적어	21,919 / 20,391 / 749
paraphrase · neighborhood · generation prompt	42,876(레코드당 2) · 82,650(레코드당 10, WikiData SPARQL) · 62,346(레코드당 3)
설계 원칙	원래 확률이 낮은 거짓 사실을 삽입 목표로 삼아 얕은 성공을 배제
ES / EM	편집 후 $P [o_{}] > P [o_{c}]$ 인 비율 / 평균 차이 $P [o_{}] - P [o_{c}]$
PS / PM	패러프레이즈 프롬프트에서의 ES / EM
NS / NM	이웃 주어에서 $P [o_{c}] > P [o_{*}]$ 가 유지되는 비율 / 그 확률 차이
Score (S)	ES·PS·NS의 조화평균 — 한 축만 무너져도 총점이 붕괴
GE / RS	생성문의 bi·tri-gram 엔트로피 가중평균 / 참조 텍스트와의 unigram TF-IDF 코사인 유사도

프레임워크 다이어그램

flowchart TD
    A["사실 프롬프트<br/>The Space Needle is located in the city of"] --> B["clean run 27.0 퍼센트"]
    A --> C["corrupted run<br/>주어 임베딩 노이즈 nu = 3 sigma<br/>8.47 퍼센트"]
    B --> D["ATE = 18.6 퍼센트"]
    C --> D
    C --> E["restoration run<br/>은닉 상태 하나만 clean 값으로 복원"]
    E --> F["AIE 지도<br/>사실문 1000개 평균"]
    F --> G["late site<br/>마지막 토큰 상위층<br/>예상된 봉우리"]
    F --> H["early site<br/>주어 마지막 토큰 중간층<br/>AIE 8.7 퍼센트 at layer 15"]
    H --> I["모듈 분해<br/>MLP 6.6 vs attention 1.6 퍼센트"]
    I --> J["severed trace<br/>MLP 고정 시 하위층 효과 소실<br/>attention 고정 시 소실 없음"]
    J --> K["가설<br/>중간층 MLP가 주어 속성의 key-value 연상 기억"]
    K --> M["k star<br/>주어 마지막 토큰 비선형 직후 벡터<br/>무작위 접두사 50개 평균"]
    K --> N["v star<br/>새 목적어 로그확률 최대화<br/>+ subject is a 프롬프트 KL"]
    M --> O["ROME rank-one 갱신<br/>W hat = W + Lambda times C inverse k star transpose"]
    N --> O
    O --> P["CounterFact 21919 레코드 평가<br/>ES 100.0 · PS 96.4 · NS 75.4"]
    P --> T["Score = 조화평균<br/>89.2 on GPT-2 XL · 91.5 on GPT-J"]

재현성 및 신뢰도 평가

종합등급: Evidence A / Reproducibility A

근거(Evidence A): 증거의 축이 여러 겹으로 독립적이다. (1) 1,000개 사실문 causal tracing이 상관이 아닌 개입 실험이고, (2) MLP·attention을 각각 잘라내는 severed trace가 대조군으로 매개자를 분리하며, (3) 21,919 레코드 벤치마크에서 8개 baseline과 비교하고, (4) 크기·아키텍처가 다른 두 모델(GPT-2 XL 48층, GPT-J 28층)에서 결론이 재현되며, (5) 15명 사람 평가로 자동 지표를 교차 검증하면서 자기에게 불리한 결과(유창성 1.3배 열세)까지 보고하고, (6) 주요 표에 표준오차가 병기된다. 층·토큰 위치 스윕(Figure 5)이 “왜 하필 이 지점인가”의 ablation을 제공하는 것도 강점이다. 감점 요인은 핵심 벤치마크가 저자 자체 설계라는 점과 “localization → editability” 추론 고리가 논리적 필연이 아니라는 점.
근거(Reproducibility A): 코드·데이터셋·시각화·인터랙티브 데모 노트북이 모두 공개되었고, 두 모델 모두 open-weight이며, 가중치 갱신이 닫힌 형태라 확률적 재현 오차가 없다. 노이즈 수준( $ν = 3 σ$ ), 접두사 수(50개), $C$ 의 추정 출처(위키백과 표본), 목적함수의 두 항, 편집 토큰 위치가 본문에 명시된다. 감점 요인은 모델별 최적 층 $l_{*}$ 과 KL 항 가중치·최적화 스텝 수가 산문만으로 복원되지 않아 저장소 열람이 필요하다는 점(GPT-J의 $l_{*}$ 는 [위치 미확인]).

주장별 신뢰도

“주어의 마지막 토큰을 처리하는 중간층 MLP가 사실 예측을 매개한다” — 신뢰도 높음. AIE 8.7%(layer 15) + MLP 6.6% vs attention 1.6%의 분해 + severed trace 대조가 서로 독립적으로 같은 결론을 가리킨다(§2, Figure 1·2). 이후 다수 후속 연구에서 재현된 결과이기도 하다.
“ROME이 CounterFact에서 generalization과 specificity를 동시에 유지한다” — 신뢰도 높음. GPT-2 XL에서 PS 96.4 & NS 75.4, GPT-J에서 PS 99.1 & NS 78.9로 두 모델에서 재현되며, 경쟁 방법이 전부 한쪽을 희생하는 대조(FT NS 40.4, FT+L PS 48.7, MEND-CF NS 5.5)가 명확하다.
“causal tracing이 짚은 위치가 편집해야 할 위치다” — 신뢰도 중간. 논문 내부 증거(층·토큰 스윕에서 early site가 최적)는 일관되지만, 편집 성공은 위치 가설의 충분조건이 아니다. 후속 연구가 tracing 신호와 편집 성공률의 상관이 약함을 보고했으므로, 이 인과 고리는 논문의 서사만큼 단단하지 않다.
“ROME이 zsRE에서 기존 방법에 필적한다” — 신뢰도 중간. Efficacy 99.8은 최고지만 Paraphrase 88.1은 과제 특화 학습을 받은 MEND-zsRE(99.3)·KE-zsRE(90.0)에 뒤진다. 논문의 표현 “comparable”은 정확하며 우위 주장이 아니다.
“MLP가 key-value 선형 연상 기억이며, 편집이 표층 암기가 아닌 실제 지식 변경이다” — 신뢰도 중간. 전자는 직접 측정이 아니라 Transformer Feed-Forward Layers Are Key-Value Memories의 선행 관찰 + rank-one 편집의 사후 성공으로 간접 지지된다. 후자는 paraphrase 전이(PS 96.4)와 사람 평가 일관성 1.8배가 강한 증거지만, 편집이 단방향이라 역관계 질의에 전이되지 않는다는 저자 자신의 관찰이 “지식”이라 부르기에 부분적임을 시사한다.

추가 확인 사항

표 번호 불일치: 본 노트의 CounterFact 결과는 arXiv v5(ar5iv 렌더링) 기준 Table 4를 인용했다. NeurIPS 카메라레디 판본에서는 같은 표가 다른 번호로 등장할 수 있으므로 인용 시 판본을 명시할 것.
AIE 위치의 미세한 모호성: “AIE 8.7% at layer 15”는 은닉 상태 전체 기준, MLP 6.6% / attention 1.6%는 모듈 분해 기준이라 최대값이 나타나는 층이 다를 수 있다. MLP 봉우리의 정확한 층 번호는 산문에 별도 명시되지 않는다([위치 미확인]).
편집 층 인덱싱: 산문은 GPT-2 XL에서 “18번째 층”에서 generalization이 정점이라 하고 공개 저장소 기본 설정은 0-인덱스 layer 17이다. 같은 층의 다른 표기 관례로 읽었다. GPT-J의 $l_{*}$ 는 [위치 미확인].
미확인 항목: CounterFact의 관계(relation) 수는 추출본에서 645가 관계 수인지 관계당 레코드 수인지 갈려 표에서 제외했다. zsRE 표에는 KN 행이 없는데(CounterFact 표에는 있음) 미평가인지 추출 누락인지 원문 확인이 필요하다. 모든 표 수치는 ar5iv HTML 변환본에서 재구성했고 표준오차는 지면상 표 3·4에서 생략했다(원문에는 병기).

연구	사실이 사는 곳	개입 방식	학습 필요	핵심 차별점
ROME (본 논문)	중간층 MLP × 주어 마지막 토큰	rank-one 가중치 갱신 (닫힌 형태)	불필요(가중치), $v_{*}$ 만 소량 최적화	causal tracing으로 위치를 먼저 특정하고 그 위치만 최소 개입
Transformer Feed-Forward Layers Are Key-Value Memories (Geva et al., 2021)	feed-forward 층 전반	개입 없음 (분석만)	—	MLP를 key-value 기억으로 해석한 원전. ROME 둘째 겹 가설의 출처
Knowledge Neurons (Dai et al., 2022)	gradient attribution이 지목한 MLP 뉴런	해당 행에 목적어 임베딩을 덮어쓰기	불필요	상관 기반 귀속. CounterFact에서 ES 28.7로 사실상 편집 실패
Knowledge Editor (De Cao et al., 2021)	위치 특정 없음	하이퍼네트워크가 가중치 갱신을 예측	필요(하이퍼네트워크 학습)	편집기 자체를 학습. bleedover 심각 (NS 30.9, KE-CF 6.9)
MEND (Mitchell et al., 2021)	위치 특정 없음	그래디언트 저차원 분해를 하이퍼네트워크로 변환	필요	확장성은 좋으나 CounterFact NS 37.9로 특이성 붕괴
Constrained FT (FT+L)	전 층	$L_{\infty}$ 제약 하 경사하강	필요(편집마다)	특이성은 지키나 PS 48.7로 일반화 실패 (F1 실패 모드의 전형)

원자적 인사이트 (Zettelkasten)

“어디에 있는지 안다”는 주장의 증명 책임은 “거기만 고쳐서 행동을 바꿔 보라”로 재정의될 수 있다. ROME은 causal tracing이 지목한 층·토큰만 rank-one으로 고쳐 CounterFact 종합 30.5 → 89.2를 만든다. 이후 activation patching·circuit discovery 계열 전체가 이 틀을 물려받았고, 편집 성공이 위치 가설의 충분조건은 아니라는 논리적 여백도 함께 물려받았다.
사실 인출은 위치가 아니라 분업이다 — 중간층 MLP가 주어 속성을 꺼내고 상위층 attention이 그것을 질의에 맞춰 옮긴다. early site에서 MLP 기여 AIE 6.6% vs attention 1.6%, late site에서는 역전. “지식이 어디 있는가”는 “읽기와 라우팅 중 무엇을 묻는가”로 분해되어야 한다.
선형 연상 기억으로 보면 새 사실 삽입은 학습 문제가 아니라 최소제곱 문제다. $\hat{W} = W + Λ (C^{- 1} k_{*})^{⊤}$ 는 $\hat{W} k_{*} = v_{*}$ 를 정확히 만족하면서 기존 키에 대한 교란을 $C$ 기준으로 최소화한다. 경사하강이 필요한 곳은 목표 값 $v_{*}$ 탐색뿐이다. “무엇을 쓸지”와 “어떻게 쓸지”를 분리하면 후자가 닫힌 형태가 되는 구조는 다른 편집·언러닝 문제에도 재사용 가능하다.
벤치마크가 변별하지 못하면 방법이 아니라 벤치마크를 고쳐야 한다. zsRE에서 모든 방법의 Specificity가 23~~25에 뭉쳐 있다는 관찰이 CounterFact 설계의 직접적 동기이며, 갈아타자 같은 방법들의 종합점수가 14.9~~89.2로 흩어졌다. 평가 설계 자체가 연구 기여가 될 수 있다는 사례.
조화평균은 다축 평가에서 “한쪽을 팔아 다른 쪽을 사는” 전략을 봉쇄한다. MEND-CF는 ES 100.0 / PS 97.0으로 두 축이 최상급이지만 NS 5.5 때문에 종합 14.9로 추락한다. 산술평균이었다면 67.5로 상위권이었을 것이다. 집계 함수 선택이 결론을 바꾼다.
편집의 단방향성은 파라메트릭 기억이 방향성 조회 테이블임을 시사한다. ROME으로 (주어 → 새 목적어)를 심어도 역방향 질의에는 전이되지 않아 별도 편집이 필요하다. 사실을 대칭적 그래프 간선으로 상상하는 직관은 트랜스포머 MLP에 맞지 않다.

핵심 용어 정리

용어	정의
ROME (Rank-One Model Editing)	중간층 MLP의 $W_{p ro j}$ 에 $\hat{W} = W + Λ (C^{- 1} k_{*})^{⊤}$ 를 적용해 사실 하나를 삽입하는 닫힌 형태 편집기
causal tracing	주어 임베딩 오염 → 은닉 상태 선택적 복원 → 회복량(IE) 측정으로 인과 매개자를 찾는 절차. activation patching의 원형
ATE / AIE	오염이 정답 확률에 미친 총효과 / 상태 하나를 복원했을 때의 간접효과. 사실문 1,000개 평균
early site / late site	주어 마지막 토큰 × 중간층(이 논문의 발견, AIE 8.7% at layer 15) / 프롬프트 마지막 토큰 × 상위층(attention 지배)
severed causal trace	특정 모듈 출력을 오염값에 고정한 채 복원 스캔을 반복하는 대조 실험. MLP 필수성의 근거
linear associative memory	$W k_{i} \approx v_{i}$ 로 다수의 키-값을 한 행렬에 겹쳐 담는 구조. 유사역행렬 $W = V K^{+}$ 가 최소제곱 해
$C = K K^{⊤}$	위키백과 표본에서 미리 추정한 키의 비중심 공분산. 기존 기억을 덜 흔드는 갱신 방향을 정한다
essence drift	편집 후 모델이 주어의 정체성 자체를 잃는 부작용. “{subject} is a” 프롬프트의 KL 항으로 억제
CounterFact	21,919개 반사실 레코드 + 패러프레이즈 42,876 / 이웃 82,650 / 생성 62,346 프롬프트로 구성된 편집 벤치마크
ES / PS / NS	Efficacy / Paraphrase / Neighborhood Score. 편집 성공 / 일반화 / 특이성. 종합 Score는 셋의 조화평균
F1 / F2 실패 모드	F1은 반사실 문장에 과적합해 일반화 실패, F2는 과소적합해 무관 주어로 번지는 bleedover

BibTeX

@inproceedings{meng2022rome,
  title     = {Locating and Editing Factual Associations in {GPT}},
  author    = {Meng, Kevin and Bau, David and Andonian, Alex and Belinkov, Yonatan},
  booktitle = {Advances in Neural Information Processing Systems (NeurIPS)},
  volume    = {35},
  year      = {2022},
  eprint    = {2202.05262},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CL},
  doi       = {10.52202/068431-1262},
  url       = {https://arxiv.org/abs/2202.05262}
}

GPT 내부 사실 연상의 위치 추적과 직접 편집 (ROME)

GPT 내부 사실 연상의 위치 추적과 직접 편집 (ROME)

먼저 이해하기

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX