트랜스포머 회로를 위한 수학적 프레임워크 (Transformer Circuits Framework)

Digest: 대형 모델은 학습이 끝나고 몇 년이 지나서도 제작자조차 몰랐던 능력과 유해 행동이 계속 발견된다는 것이 이 논문의 출발점이고, 저자들은 컴파일된 바이너리를 소스 코드로 되돌리듯 트랜스포머의 계산을 역공학하는 mechanistic interpretability를 해법으로 제안한다. 핵심 통찰은 트랜스포머를 계산 효율이 아니라 해석 가능성을 기준으로 다시 쓰면 attention-only 모델의 로짓이 “토큰에서 로짓으로 가는 end-to-end path들의 합”으로 정확히 분해되고, attention pattern만 고정하면 각 항이 선형 함수가 된다는 것이다. 방법은 residual stream을 각 층이 서로 다른 subspace를 읽고 쓰는 communication channel로 보고, tensor(Kronecker) 곱 $A\otimes W_{OV}$로 “어느 토큰에서 옮기는가”와 “무엇을 어떻게 옮기는가”를 분리한 뒤 층 단위 곱을 path 단위 합으로 전개하는 path expansion trick이다. 그 결과 head 하나는 attention을 정하는 QK circuit $W_E^T{W}_{QK}^h{W}_E$와 로짓 기여를 정하는 OV circuit $W_U{W}_{OV}^h{W}_E$ 두 개의 $[n_{\text{vocab}},n_{\text{vocab}}]$ 행렬로 완전히 요약된다. 대상은 GPT-3의 96층 대신 0·1·2층 attention-only toy model이며 $n_{\text{heads}}=12$, $d_{\text{head}}=64$(예외 32×128), context 2048, 어휘 약 50,000이다. 확장된 OV 행렬은 $50,000\times 50,000$이지만 rank는 64뿐이고, eigenvalue 양수성 통계로 12개 head 중 10개가 유의하게 copying이다. 결정적 증거는 2층 모델의 induction head가 균일 무작위 토큰 시퀀스를 3회 반복한 완전 off-distribution 입력에서도 이전 등장 위치의 다음 토큰을 집어낸다는 것으로, bigram 통계에 기대는 1층 copying head로는 불가능하다. 함의는 in-context learning이 최소 2개 attention 층에서 K-composition이라는 특정 회로로 창발한다는 것이다. 한계는 명시적이다 — 파라미터의 2/3를 차지하는 MLP 층은 뉴런이 해석되지 않아 손대지 못했고, 저자들 스스로 이를 “본 연구의 중대한 약점”이라 적었다.

---

먼저 이해하기

이 논문은 “트랜스포머가 무엇을 잘하는가”가 아니라 **“트랜스포머 내부에서 어떤 알고리즘이 실제로 돌아가고 있는가”**를 묻는 연구다. 컴파일된 실행 파일을 디스어셈블해 사람이 읽는 소스 코드로 되돌리는 작업에 가깝고, 저자들은 이를 mechanistic interpretability라 부른다. 대상은 GPT-3 같은 96층 모델이 아니라 층이 0·1·2개뿐이고 MLP도 없는 장난감 모델이다 — 가장 단순한 모델부터 완전히 이해한 뒤 위로 올라가겠다는 전략이다.

핵심 재구성은 두 가지다. 첫째, residual stream(각 층 출력이 계속 더해지는 그 벡터)을 “계산 중간 결과”가 아니라 통신 채널로 본다. 각 층은 이 채널의 서로 다른 subspace를 읽고 쓰며, 채널 자체는 아무 계산도 하지 않고 완전히 선형이다. 둘째, 그 선형성 덕분에 층을 하나씩 따라가는 대신 “토큰 임베딩에서 출발해 몇 개의 head를 거쳐 로짓으로 도착하는 경로”를 통째로 하나의 행렬 곱으로 접어버릴 수 있다. 곱을 전개하면 층의 곱이 경로의 합이 되고, 각 경로는 독립적으로 해석 가능한 함수가 된다.

그 결과 층 수가 곧 표현 가능한 알고리즘의 종류를 결정한다는 위계가 드러난다. 0층은 “이 단어 다음엔 이 단어”라는 bigram 표, 1층은 “앞에 A가 있었고 지금 B라면 다음은 C”라는 skip-trigram 표들의 앙상블에 불과하다. 2층부터 head끼리 조합(composition)이 가능해져 표가 아니라 알고리즘이 나타나는데, 그 대표가 induction head다. “지금 토큰이 앞에서 나온 적 있나 찾아보고, 있었다면 그때 그 다음에 왔던 토큰을 복사한다”는 규칙을 실행하는 이 head가 저자들이 in-context learning의 기계적 정체로 지목하는 대상이다.

• mechanistic interpretability(기계적 해석 가능성): 가중치와 활성값을 사람이 읽는 알고리즘으로 역공학하는 연구 방향. 입력-출력 상관 설명이 아니라 회로 수준 설명이 목표.
• residual stream(잔차 스트림): 임베딩과 모든 층 출력이 누적 합산되는 벡터 흐름. 층들이 읽고 쓰는 공유 메모리이자 대역폭 제한이 있는 통신 채널.
• path expansion(경로 전개): 층 단위 행렬 곱을 전개해, 각 항이 “임베딩 → 특정 head들 → 언임베딩” 경로에 대응하는 합으로 바꾸는 기법.
• QK circuit / OV circuit: head 하나를 요약하는 두 행렬. QK는 “어디를 볼지”, OV는 “본 곳의 토큰이 출력 로짓을 어떻게 바꿀지”를 정하며 서로 독립적이다.
• skip-trigram(스킵 트라이그램): [source]…[destination][out] 3항 패턴. 1층 head가 표현할 수 있는 유일한 문맥 규칙.
• induction head(귀납 헤드): [a][b] … [a] → [b]를 수행하는 2층 이상 전용 head. 이전 토큰 head와의 K-composition으로 만들어진다.

왜 중요한가: 이 논문 이전의 attention 해석 연구는 대체로 “이 head는 목적어에 주목한다” 같은 pattern의 경험적 기술에 머물렀고, “attention weight는 중요도가 아니다”라는 비판에 취약했다. 이 논문은 attention-only 모델에 한해 pattern 해석이 언제 옳고 언제 틀리는지를 유형화한다 — head가 독립적으로 작동하는 1차 항에서는 pattern이 충분한 설명이고, Q·K·V composition으로 생기는 고차 항에서는 아니다. induction head가 그 반례로, pattern만 보면 완벽히 설명되는 듯하지만 그것이 이전 층 previous-token head와의 K-composition으로 만들어진다는 사실을 놓치면 회로를 통째로 오해한다. 동시에 “설명 가능성”의 하한선을 옮겼다 — 적어도 이 부류의 모델에는 알고리즘적 미스터리가 남지 않는 수준의 이해가 실제로 가능함을 시연했다.

먼저 알아둘 용어 표

원 용어	쉬운 설명
attention-only transformer	MLP 층을 뺀 트랜스포머. 이 논문 분석 대상의 단순화 가정
virtual weights	멀리 떨어진 두 층의 출력·입력 가중치를 곱해 만든 가상의 직결 가중치 $W_I^2{W}_O^1$
privileged basis	활성값의 좌표축 자체가 의미를 갖는 경우. 토큰·attention pattern·MLP 활성만 해당
Q/K/V-composition	뒤 층 head의 query/key/value가 앞 층 head가 쓴 subspace를 읽는 세 가지 조합 방식
virtual attention head	V-composition으로 생기는 합성 head. pattern은 $A^{h_2}{A}^{h_1}$, OV는 $W_{OV}^{h_2}{W}_{OV}^{h_1}$
copying (OV)	어떤 토큰에 주목하면 그 토큰 자신의 확률을 올리는 성질. eigenvalue 양수성으로 탐지
skip-trigram bug	한 head가 세 항의 상호작용을 $f_1(a,b)f_2(a,c)$로만 표현하기 때문에 생기는 원치 않는 부작용
detokenization / retokenization	토크나이저가 공백 유무로 단어를 다르게 쪼개면서 생기는 조각 토큰 복원 문제

---

섹션별 요약

Abstract

공식 abstract 대신 도입부가 그 역할을 한다. 트랜스포머 언어 모델은 GPT-3·LaMDA·Codex·Gopher처럼 실사용에 널리 들어가고 있으나, 규모가 커질수록 개방성과 고용량 때문에 예상 밖의 유해 행동 여지가 커지고, 학습 후 몇 년이 지나서도 제작자와 사용자가 몰랐던 능력·문제 행동을 계속 발견한다. 저자들은 대응 경로로 mechanistic interpretability를 제시하고, “매우 초보적인 첫걸음”으로 2층 이하 attention-only 트랜스포머를 역공학한다. 결론적으로 트랜스포머를 수학적으로 동등하지만 새로운 방식으로 재개념화하면 이 소형 모델들의 내부 작동을 상당 부분 이해할 수 있고, 특히 induction head라 이름 붙인 특정 head가 이 모델들의 in-context learning을 설명하며 이 head는 attention 층이 최소 2개인 모델에서만 발달한다.

왜 이 연구를 하는가?

저자들의 논거는 표현(representation) 선택 문제로 정리된다. 현대 딥러닝의 수학적 서술은 대체로 “효율적인 코드를 어떻게 짤 것인가”를 반영하는데, 같은 계산에 동등한 표현이 여럿 있다면 가장 계산 효율적인 표현과 가장 사람이 이해하기 좋은 표현은 다를 가능성이 높다는 것이다. 예컨대 Vaswani et al.의 원 논문은 head들의 결과를 concat한 뒤 $W_O^H$를 곱하는데, 이는 큰 행렬 곱 하나가 되어 효율적이지만 head들이 독립적으로 residual stream에 더해진다는 사실을 가린다. 마찬가지로 key·query·value 벡터는 $W_Q^T{W}_K$와 $W_O{W}_V$라는 저차원 행렬을 계산하는 중간 부산물일 뿐이며, 이들을 언급하지 않고도 트랜스포머를 기술할 수 있다. 선행 프로젝트인 Distill Circuits thread가 InceptionV1 비전 모델에 대해 한 일을 언어 모델에 대해 하겠다는 것이 목표인데, attention head는 conv net에 대응물이 없고 residual stream은 privileged basis가 없어 새로운 접근이 필요했다.

Introduction

접근 전략은 “가장 단순한 모델에서 시작해 위로 올라가기”다. GPT-3가 96층에 attention과 MLP를 번갈아 쌓는 반면, 이 논문은 attention 블록만 있는 2층 이하 모델을 다룬다. 단순화 항목은 세 가지다 — (1) MLP 층 제거(가장 실질적인 단순화이자 저자들이 스스로 “본 연구의 중대한 약점”이라 부르는 부분), (2) bias 무시(항상 1인 차원을 만들어 가중치에 접어 넣을 수 있고, attention-only에서는 대체로 로짓 bias로 귀결), (3) layer normalization 무시(분산 정규화를 제외한 나머지는 인접 파라미터에 접히는 고정 아핀 변환). 성과 요약은 세 층위로 제시된다: 0층은 bigram 통계, 1층은 bigram과 skip-trigram의 앙상블, 2층은 head composition으로 훨씬 복잡한 알고리즘 — 특히 induction head. 그리고 이 세 표는 모두 모델을 실행하지 않고 가중치에서 직접 읽어낼 수 있다.

Methods

• residual stream = communication channel: residual stream은 임베딩과 이전 모든 층 출력의 단순 합이며 자체 계산이 없다. 완전 선형이라는 점은 ResNet과 비교해도 이례적이다(ResNet은 residual stream에 비선형 활성이 붙는다). 선형이므로 basis가 privileged가 아니고, 모든 상호작용 행렬을 함께 회전시켜도 모델 동작이 변하지 않는다. 그 유용한 귀결이 virtual weights로, 몇 층 떨어진 임의의 두 층 사이에 암묵적 직결 가중치 $W_I^2{W}_O^1$을 정의할 수 있다.
• subspace와 대역폭: residual stream은 소형 모델에서 수백, 대형에서 수만 차원인데 head 하나는 64~128차원만 쓴다. 층들은 disjoint한 subspace로 간섭을 피할 수 있고, 한번 쓴 정보는 다른 층이 능동적으로 지우지 않는 한 남는다 — 차원이 곧 “메모리” 혹은 “대역폭”이 된다. 그런데 계산 차원 수는 residual stream 차원보다 훨씬 많다(MLP 하나만 해도 4배). 50층 모델의 25층 지점에서는 앞뒤로 각각 100배 많은 뉴런과 통신해야 하므로 superposition이 불가피하며, 저자들은 이런 텐서를 bottleneck activation이라 부른다. 실제로 일부 MLP 뉴런은 입출력 가중치 코사인이 크게 음수이고, 일부 head는 $W_O{W}_V$에 큰 음수 eigenvalue를 가지며 현재 토큰에 주목한다 — memory management 역할로 해석된다.
• 텐서 곱 표기: attention은 “토큰별 벡터 쪽”에 $W_V,W_O$를, “위치 쪽”에 $A$를 곱하는 양방향 연산이라 (2,2)-tensor가 자연스럽다. 3단계 $(\text{Id}\otimes W_O)(A\otimes \text{Id})(\text{Id}\otimes W_V)$에 mixed product property를 적용하면 $h(x)=(A\otimes W_O{W}_V)x$로 접히고, attention pattern도 $A=\text{softmax}(x^T{W}_Q^T{W}_{K}x)$로 키·쿼리 없이 한 번에 쓴다.
• path expansion trick: 1층 모델은 임베딩·attention 층·언임베딩 세 항의 곱이다. 전개하면 $T=(\text{Id}\otimes W_U{W}_E)+{\sum }_h{A}^h\otimes (W_U{W}_{OV}^h{W}_E)$가 되고, 첫 항은 0층과 동일한 direct path(bigram 담당), 나머지는 head별 항이다. 각 head 항은 QK circuit $W_E^T{W}_{QK}^h{W}_E$와 OV circuit $W_U{W}_{OV}^h{W}_E$라는 두 $[n_{\text{vocab}},n_{\text{vocab}}]$ 행렬로 분리된다. 2층에서는 QK circuit이 $x_1^T{W}_{QK}^h{x}_1$이 되어 1층 head가 key·query 양쪽에 개입하므로, $A_q\otimes A_k\otimes W$ 형태의 항을 담는 (4,2)-tensor(6차원)가 필요하다($x(A_q\otimes A_k\otimes W)y=A_q^{T}xWy{A}_k$).
• freezing attention patterns trick: 모델을 한 번 돌려 attention pattern만 수집하고(QK circuit에만 의존) 두 번째 실행에서 그 pattern을 고정해 넣으면 로짓이 토큰의 선형 함수가 된다. $A$가 유일한 비선형(softmax) 요소이므로 attention head는 “반쯤 선형”이다.
• 모델 사양: 0/1/2층 decoder-only attention-only. $d_{\text{model}}=n_{\text{heads}}\times d_{\text{head}}$이며 기본은 $n_{\text{heads}}=12,d_{\text{head}}=64$, 명시된 예외가 $32\times 128$. context 2048, dense attention, 어휘 약 50,000. 위치 인코딩은 Press et al. 유사 방식으로 sinusoidal 임베딩을 $W_Q,W_K$ 직전에 더해 residual stream에 위치 정보를 남기지 않는다(따라서 pointer arithmetic 기반 알고리즘은 배제). 학습 데이터셋은 Kaplan et al.(Scaling Laws)과 동일.

발견 (Findings)

• 0층: $T=W_U{W}_E$뿐이라 다른 토큰에서 정보를 가져올 수 없고, 최적해는 bigram 로그 우도의 근사다(Levy & Goldberg 2014가 초기 워드 임베딩을 로그 우도 행렬 분해로 본 것과 같은 구조). 이 항은 모든 크기의 트랜스포머에 direct path로 남아 “Barack” 다음 “Obama”처럼 일반 문법 규칙으로 설명되지 않는 bigram 잔차를 담당한다. 따라서 $W_U$는 이름과 달리 $W_E$의 역행렬이 아니다.
• 1층 = skip-trigram 표: QK circuit이 어느 source로 되돌아갈지, OV circuit이 out 예측을 어떻게 바꿀지를 정하므로 세 토큰이 [source]…[destination][out] 스킵 트라이그램을 이룬다. 가장 눈에 띄는 현상은 대부분의 head가 용량의 상당 부분을 copying에 쓴다는 것이다. OV가 “주목된 토큰의 확률을 올리도록”, QK가 “다음 토큰으로 그럴듯한 것에만 주목하도록” 세팅되어, bigram스러운 통계가 그럴듯하다고 말하는 자리에만 복사가 일어난다. 실제 관측된 예로 Python의 \n\t\t\t … \n\t\t → else/elif/except(들여쓰기가 줄면 블록 종료 키워드), def … ( → self, open … "," → rb/wb/r/w, LaTeX의 left … \ → right, HTML의 tbody … < → td, 영어 관용구 keep … in → mind / at → bay, difficult … not → impossible, 그리고 " and" 쿼리 한 head에 몰린 back and → forth, sick and → tired 등이 있다. 이것이 매우 원시적인 in-context learning이다.
• retokenization 특화 head: 토크나이저가 공백을 단어 앞에 붙이므로 " Ralph"는 한 토큰이지만 문단 첫머리의 "Ralph"는 ["R", "alph"]로 쪼개진다. 조각 토큰 "R"을 보면 공백 붙은 완전 토큰 " Ralph"로 되돌아가 "alph"를 예측하는 head가 관찰된다. 저자들은 이를 1층 모델이 induction head를 흉내 내는 특수 사례로 본다.
• skip-trigram bug: 1층 head는 스킵 트라이그램을 $f(a,b,c)=f_1(a,b)f_2(a,c)$라는 factored form으로만 표현하므로 3항 상호작용을 유연하게 담지 못한다. 한 head가 keep… in mind와 keep… at bay를 동시에 올리면 필연적으로 keep… in bay와 keep… at mind도 올라간다. 저자들은 이를 해석 가능성으로 모델 실패를 설명한 초기 사례로 제시한다.
• 2층 = 알고리즘: 소형 2층 모델은 종종 매우 단순한 조합 구조를 갖는다 — 1층의 특정 head 하나와 2층 여러 head 사이의 K-composition만 유의하고 Q·V-composition은 거의 없다. 그 1층 head는 주로 이전 토큰(부차적으로 현재 토큰과 두 칸 전)에 주목하는 previous-token head이고, 2층 head들이 induction head다. 나머지 head는 조합에 참여하지 않고 그냥 더 많은 skip-trigram 역할을 한다.
• induction head의 작동 원리: 핵심 트릭은 key를 한 토큰 뒤로 밀어 계산하는 것이다. previous-token head와의 K-composition으로 QK circuit에 $\text{Id}\otimes A^{h_{-1}}\otimes W$ 항이 생기고, $W$가 “같은 토큰끼리 매칭”하는 QK판 copying 행렬이면 “source 위치의 앞 토큰이 destination 토큰과 같을 때” attention score가 올라간다. 쿼리는 유사한 key를 찾는데 key가 밀려 있으므로 결과적으로 다음 토큰을 찾게 된다.
• virtual attention head: V-composition은 $(A^{h_2}{A}^{h_1})\otimes (W_{OV}^{h_2}{W}_{OV}^{h_1})$ 항을 만들어 그 자체로 하나의 head처럼 행동한다. 저자들은 previous-token head는 흔한데 two-back head는 드문 이유가 virtual head로 얻어지기 때문일 수 있다고 추측한다. 개수는 2-합성이 층수의 제곱, 3-합성이 세제곱으로 늘어나므로 대형 모델에서 잠재력이 크며, “1·2·3인칭 판별”처럼 정보량이 적은 과제에는 정규 head가 과하게 크다는 점에서도 유용할 수 있다.

Results

• copying 탐지(eigenvalue 요약 통계): OV circuit $M=W_U{W}_{OV}^h{W}_E$의 eigenvalue ${\lambda }_i$가 양의 실수라는 것은 “어떤 토큰들의 선형결합이 바로 그 토큰들의 로짓 선형결합을 올린다”는 뜻이다. 무작위 행렬(Ginibre 계열)이라면 양수와 음수 eigenvalue가 대칭적으로 나오는데, 실제 head들은 양수 쪽으로 크게 치우친다. 히스토그램으로 집계하면 12개 head 중 10개가 유의하게 copying이며 이는 확장 가중치를 눈으로 검토한 정성적 결과와 일치한다.
• eigenvalue 통계의 한계도 명시: copying 행렬은 반드시 양수 eigenvalue를 갖지만 역은 성립하지 않는다(eigenvector가 직교하지 않으면 전부 양수여도 자기 로짓을 낮추는 병리적 사례가 가능). 저자들은 대각 성분이 뚜렷이 양의 방향이라는 점 등 대안 지표가 같은 방향을 가리킨다는 이유로 “결정적 증명은 아니지만 강한 증거”로 채택한다.
• induction head 가설 검증 1 — off-distribution 테스트: 어휘에서 균일 무작위로 뽑은 토큰 시퀀스를 3회 반복시킨 완전 off-distribution 입력에서도 induction head가 정상 작동한다. 어떤 토큰이 어떤 토큰 뒤에 오는지에 대한 학습된 통계에 전혀 기댈 수 없는 조건이므로, 저자들은 이를 가장 어려운 시험으로 본다.
• induction head 가설 검증 2 — 2D eigenvalue 양수성: 기계적 이론은 induction head가 (1) copying OV 행렬과 (2) $\text{Id}\otimes A^{h_{-1}}\otimes W$ 항의 same-matching QK 행렬을 동시에 가질 것을 요구한다. QK·OV eigenvalue 양수성 2차원 평면에 head를 찍으면 induction head들이 전부 극단적 우상단에 모인다. 저자들은 순환논증 우려를 직접 다룬다 — 이 head들을 고른 기준은 “무작위 대비 큰 K-composition”이었지 “양수 K-composition”이 아니었고, OV까지 전부 양수일 이유는 더더욱 없었다.
• term importance analysis(고차항 절제): virtual attention head 항은 활성값에 명시적으로 존재하지 않아 0 곱셈으로 절제할 수 없다. 저자들은 attention pattern을 실측값으로 고정한 뒤 head 출력을 residual stream에 더하는 대신 직전 회차에 저장해 둔 값으로 대체하는 반복 절차로 $n$차 항까지만 살리는 알고리즘을 제시하고, 손실 차분으로 $n$차 항의 한계 기여를 잰다. 결과는 V-composition 분석과 일치해 2차 virtual head 항의 한계 효과가 작았고, 개별 head 항 중에서는 2층 head 항에 집중해야 한다는 결론이 나왔다.
• 가시화 방법론: attention pattern에 source 위치 value 노름 $\Vert v_{\text{src}}^h\Vert$를 곱한 value-weighted pattern을 쓴다(Kobayashi et al.) — head가 매칭 대상 없이 특정 토큰을 기본 대기 위치로 쓸 때 그 위치 value가 작아 착시가 제거되기 때문이다. 사례는 해리 포터 1권 첫 문단에 대한 head 1:8의 pattern과 logit effect $(W_U{W}_O^h{r}_{\text{pres\_tok}}^h{)}_{\text{next\_tok}}$다.

Discussion

이론적 의의

이 논문의 이론적 기여는 새로운 정리가 아니라 표현의 교체다. 저자들 스스로 “여기 나오는 수학적 관찰들 자체는 대체로 새롭지 않다”고 적는다 — Dong et al.은 사실상 같은 로짓 path expansion 구조를 유도했고, Shazeer et al.의 “multi-way einsum”은 같은 텐서 구조의 다른 표현이다. 기여는 이 사고방식을 mechanistic interpretability에 동원했다는 데 있다. 재표현이 사는 것은 세 가지다. 첫째, 파라미터의 contextualization 문제가 사라진다 — $W_{QK}$의 개별 엔트리는 의미가 없지만 $W_E^T{W}_{QK}{W}_E$의 엔트리는 “이 쿼리 토큰이 저 키 토큰에 얼마나 주목하려 하는가”라는 즉시 읽히는 의미를 갖는다. 둘째, attention 해석 비판에 대한 유형론을 준다(1차 항은 옳고 고차 항은 아니며, induction head가 그 반례). 셋째, path expansion에서 반복 등장하는 $y=(\text{Id}\otimes W_{\text{Id}}+{\sum }_h{A}^h\otimes W_h)x$ 형태가 convolution의 일반화임을 보인다 — 고정 상대 위치에 주목하는 $A^v$를 쓰면 $W\ast x={\sum }_v{A}^v\otimes W_v$로 정확히 convolution이 되고(Cordonnier et al.), 동적 head는 “부드럽고 의미론적인 위치를 갖는 convolution”으로 읽힌다.

Discussion Points

• 저자들이 “1층 모델을 완전히 이해했는가”에 스스로 붙인 답이 가장 정직한 대목이다 — “거대한 선형 회귀의 가중치를 본다는 의미에서, 혹은 거대한 데이터베이스를 보고 쿼리의 의미를 안다는 의미에서” 이해했을 뿐이다. 알고리즘적 미스터리는 없어졌지만 어휘가 5만이라 확장 OV 행렬 하나에 약 25억 개 엔트리가 있고, 요약 없이는 사람 머릿속에 담을 수 없다. **“해석 가능성 = 압축”**이라는 후속 과제가 여기서 명시적으로 열린다.
• MLP를 뺀 것은 편의가 아니라 회피다. 저자들은 부록에서 MLP 층의 path expansion이 $a_{\text{pre}}^m=W_I^m{W}_E+{\sum }_h{A}^h\otimes (W_I^m{W}_{OV}^h{W}_E)$로 깔끔하게 나온다는 것까지 보여주지만, GeLU 때문에 선형화가 끊기고 무엇보다 뉴런 자체가 해석되지 않는다고 인정한다(깊이 약 5% 지점의, 비슷한 의미의 짧은 구절 클러스터에 반응하는 뉴런들이 예외). 2023년 2월자 후속 요약에서 이 막힘의 원인이 superposition으로 지목되고 Toy Models of Superposition으로 이어지는데, 이 논문 본문에는 superposition이 residual stream 대역폭 논의에서 한 번 스쳐 갈 뿐 개념으로 정립되어 있지 않다. 프레임워크의 미해결 지점이 다음 연구 프로그램 전체를 규정한 셈이다.
• 논문에 붙은 정정(correction)은 재현성 측면에서 곱씹을 가치가 있다. 저차원 행렬 가속 라이브러리에서 ${\lambda }_i(AB)={\lambda }_i(BA)$ 류의 항등식을 Frobenius norm에 잘못 적용해, 의도한 $\Vert W_Q^{h_{2}T}{W}_K^{h_2}{W}_O^{h_1}{W}_V^{h_1}{\Vert }_F$ 대신 순환 치환된 양을 계산했다. 실제로 계산된 것은 “induction head의 쿼리가 previous-token head가 정보를 쓴 것과 같은 subspace에서 만들어지는 정도”였고, 우연히도 induction head를 매우 잘 골라내는 지표였다. 정정 후 그림에서는 조합이 더 많이 보이며 두 induction head가 최근 여러 토큰에 주목하는 head에도 의존한다. 결론은 살아남았지만 “composition이 이것뿐”이라는 부수 주장은 약해졌다.
• 프레임워크가 아키텍처 설계를 읽는 렌즈로도 작동한다. 아키텍처 탐색으로 발견된 Primer는 key·query·value 계산에 최근 3개 위치의 depthwise convolution을 넣는데, 저자들은 이것이 K-composition 없이 induction head를 표현 가능하게 만드는 변경임을 지적한다. Talking Heads Attention도 $W_{OV}^h={\sum }_i{\alpha }_i^h{W}_O^i{W}_V^i$로 재해석하면 여러 copying head가 OV 성분을 공유하는 구조로 읽힌다. 성능 위주로 탐색된 설계 변경이 회로 수준 설명과 맞물린다는 것은 이 프레임워크의 예측력을 보여주는 부수 증거다.
• 다만 “in-context learning = induction head”라는 등식은 이 논문 자체로는 2층 toy model 범위에서만 성립한다. 대형 모델로의 확장은 전부 후속 논문(In-context Learning and Induction Heads)으로 미뤄져 있고 본문은 “적어도 부분적으로 관련이 있음을 보이겠다”는 예고에 그친다. 인용 시 주의가 필요한 지점이다.

---

실험 결과 상세

이 논문은 벤치마크 점수를 겨루는 실험 논문이 아니라 구성적(constructive) 이론 논문이므로, 아래 표는 성능 비교가 아니라 프레임워크가 산출한 구조적 결론과 그 근거 위치를 정리한 것이다.

표 1 — 층 수별 표현 가능한 알고리즘 위계 (Summary of Results / Zero·One·Two-Layer 절)

층 수	로짓 분해식	표현 가능한 알고리즘	in-context learning 형태	가중치에서 직접 읽히나
0층	$T=W_U{W}_E$	bigram 통계 (로그 우도 근사)	없음	예 — bigram 표
1층	$T=(\text{Id}\otimes W_U{W}_E)+{\sum }_h{A}^h\otimes (W_U{W}_{OV}^h{W}_E)$	bigram + skip-trigram A…BC 앙상블	copying head: [b]…[a] → [b], 토큰화 특수 사례에서 [ab]…[a] → [b]	예 — 확장 QK/OV 표
2층	위 두 항 + virtual head 항 $(A^{h_2}{A}^{h_1})\otimes (W_{OV}^{h_2}{W}_{OV}^{h_1})$	head composition 기반 알고리즘 (induction head)	induction head: [a][b]…[a] → [b]	예 — composition도 가중치에서 탐지

핵심 대비는 마지막 열이 아니라 마지막에서 두 번째 열이다. 1층의 copying은 “이 토큰이 여기 다시 나올 만한가”라는 학습된 통계에 의존하지만, 2층의 induction은 “이 토큰이 이전에 어떻게 쓰였는지”를 보므로 훨씬 확신 있는 예측이 가능하고 분포 이동에 강하다.

표 2 — QK circuit과 OV circuit 대조 (Splitting Attention Head terms 절 / Notation 부록)

항목	QK circuit	OV circuit
정의(1층)	$W_E^T{W}_{QK}^h{W}_E$, 단 $W_{QK}^h=W_Q^{hT}{W}_K^h$	$W_U{W}_{OV}^h{W}_E$, 단 $W_{OV}^h=W_O^h{W}_V^h$
형상	$[n_{\text{vocab}},n_{\text{vocab}}]$ 쌍선형 형식	$[n_{\text{vocab}},n_{\text{vocab}}]$ 선형 사상
담당 기능	어느 source 토큰에 주목할지 (attention score)	주목된 토큰이 출력 로짓을 어떻게 바꿀지
텐서 표기에서의 위치	$A$ 쪽 — 위치 간 이동	$W$ 쪽 — 토큰별 벡터 변환
비선형성	있음 (softmax) — 모델의 유일한 비선형 요소	없음 — attention 고정 시 완전 선형
실효 rank	$d_{\text{head}}$ (64 또는 128)	$d_{\text{head}}$ (64 또는 128)
2층에서의 확장	Q-·K-composition으로 $A_q\otimes A_k\otimes W$ 형태 고차항 발생	V-composition으로 virtual head 항 발생
해석 요약 통계	eigenvalue 양수성 = “같은 토큰 매칭”	eigenvalue 양수성 = “copying”
실측 결과	induction head들이 양수성 극단값	12개 head 중 10개가 유의하게 copying

표 3 — 세 가지 attention head composition (Three Kinds of Composition 절)

구분	읽는 가중치	영향 대상	경로 전개상의 항	이 2층 모델에서의 실측	해석
Q-composition	$W_Q$	attention pattern	QK circuit의 $A_q\otimes \text{Id}\otimes W$ 계열	유의미하지 않음	쿼리 자체를 앞 층 출력으로 구성
K-composition	$W_K$	attention pattern	QK circuit의 $\text{Id}\otimes A_k\otimes W$ 계열	유일하게 유의 — 1층 head 1개와	induction head의 생성 기제
V-composition	$W_V$	옮기는 정보의 내용	로짓 식의 $(A^{h_2}{A}^{h_1})\otimes (\dots W_{OV}^{h_2}{W}_{OV}^{h_1}\dots )$	유의미하지 않음 (절제 실험으로 재확인)	virtual attention head 생성

조합 강도는 관련 행렬 곱의 Frobenius 노름을 개별 노름으로 나눈 값으로 재고, 같은 형상의 무작위 행렬에 대한 경험적 기댓값을 뺀다(예: K-composition은 $\Vert W_{QK}^{h_2}{W}_{OV}^{h_1}{\Vert }_F/(\Vert W_{QK}^{h_2}{\Vert }_F\Vert W_{OV}^{h_1}{\Vert }_F)$). Q·K는 attention pattern을 바꾸므로 환원 불가능한 반면, V는 “정보 이동 뒤 정보 이동 = 정보 이동”이라 하나의 합성 head로 접힌다는 것이 구조적 차이다.

표 4 — induction head 가설의 증거 목록 (Induction Heads / Checking the Mechanistic Theory / Term Importance 절)

예측	검증 방식	결과	증거 강도
K-composition으로만 만들어진다	1·2층 head 쌍 전체의 Q/K/V composition 강도 측정	1층 previous-token head 1개와의 K-composition만 유의	중간 — 이후 정정으로 “추가 조합 있음” 판명
OV가 copying 행렬이다	$W_U{W}_{OV}^h{W}_E$의 eigenvalue 양수성	induction head 전원이 극단적 양수	높음
QK가 same-matching 행렬이다	K-composition 항의 eigenvalue 양수성	induction head 전원이 극단적 양수 (선정 기준과 독립)	높음
attention이 이전 등장의 다음 토큰으로 간다	해리 포터 첫 문단 value-weighted attention pattern, head 1:8	대각선에서 벗어난 오프다이애거널 라인 관찰, Dursley·Potters 토큰에서 뚜렷	중간 — 단일 텍스트 정성 관찰
학습된 bigram 통계에 의존하지 않는다	균일 무작위 토큰 시퀀스를 3회 반복한 off-distribution 입력	정상 작동	높음 — 결정적 증거
virtual head(2차 항)는 이 모델에서 중요치 않다	attention 고정 + 반복 대입식 $n$차 항 절제, 손실 차분	2차 항의 한계 손실 감소 미미	중간 — 절대 수치 미공개

---

프레임워크 다이어그램

flowchart TD
    A["토큰 t 원핫<br/>n_context x n_vocab"] --> B["임베딩 W_E<br/>residual stream x0 에 기록"]
    B --> C["residual stream<br/>선형 통신 채널<br/>privileged basis 없음"]
    C --> D["direct path<br/>Id 텐서곱 W_U W_E<br/>bigram 통계만 담당"]
    C --> E["1층 attention head h<br/>A^h 텐서곱 W_OV^h"]
    E --> F["QK circuit<br/>W_E^T W_QK^h W_E<br/>어디를 볼지 결정"]
    E --> G["OV circuit<br/>W_U W_OV^h W_E<br/>로짓을 어떻게 바꿀지 결정"]
    F --> H["skip-trigram 표<br/>source ... destination out"]
    G --> H
    H --> I["copying 및 원시적 in-context learning<br/>eigenvalue 양수 head 10 of 12"]
    H --> J["skip-trigram bug<br/>keep in mind 와 keep at bay 를 올리면<br/>keep in bay 도 함께 올라감"]
    C --> K["2층 head 의 composition"]
    K --> L["K-composition<br/>Id 텐서곱 A_prev 텐서곱 W<br/>key 를 한 토큰 뒤로 이동"]
    K --> M["V-composition<br/>virtual attention head<br/>A2A1 텐서곱 W_OV2 W_OV1"]
    L --> N["induction head<br/>a b ... a 다음에 b 를 예측"]
    N --> O["무작위 반복 토큰에서도 작동<br/>off-distribution 검증"]
    M --> P["term importance 절제<br/>2차 항 한계 기여 미미"]
    D --> Q["로짓 T t"]
    I --> Q
    N --> Q
    R["MLP 층<br/>파라미터의 2/3<br/>GeLU 로 선형화 불가"] -.->|미해결| Q

재현성 및 신뢰도 평가

종합등급: Evidence B / Reproducibility C

• 근거(Evidence B): 주장 대다수가 경험적 측정이 아니라 항등식 유도라서 독자가 종이 위에서 직접 검증할 수 있다는 점이 유난히 강하다($h(x)=(A\otimes W_O{W}_V)x$, mixed product property, path expansion, $T=W_U{W}_E$). 경험적 주장 쪽도 설계가 좋다 — copying 주장은 무작위 행렬(Ginibre) 대조군을 두었고, induction head 주장은 학습 통계를 쓸 수 없는 무작위 반복 시퀀스라는 가장 가혹한 off-distribution 조건에서 검증했으며, 순환논증 우려를 저자들이 먼저 제기하고 반박한다. A가 아닌 이유는 세 가지다 — 대상이 층 2개 이하 toy model 하나뿐이고 seed·모델 반복이 없으며, 핵심 도표 다수가 정성적이고 일부는 “흥미롭도록 약간 cherry-pick했다”고 본문에 명시되며(skip-trigram bug 예시), 사후 정정에서 composition 측정 코드 버그가 인정되어 부수 주장이 약화되었다.
• 근거(Reproducibility C): 코드·가중치가 공개되지 않았다. 모델은 Anthropic 내부 toy transformer이고, 학습 데이터셋은 Kaplan et al. 참조로만 기술되며, 분석 인프라 Garcon은 별도 글로 설명될 뿐 배포되지 않는다(시각화 라이브러리 PySvelte와 companion 연습문제집은 공개). 아키텍처 사양은 비교적 상세하나($n_{\text{heads}}$=12, $d_{\text{head}}$=64, 예외 32×128, context 2048, dense attention, Press et al. 유사 위치 인코딩) 학습 스텝·토큰 수·옵티마이저는 [위치 미확인]이며, 무엇보다 “12개 중 10개가 copying”의 판정 임계값과 절제 실험의 손실 차분 절대값 등 핵심 수치의 판정 기준이 그림에만 있고 본문에 적히지 않았다. 반대로 이론 부분은 모델 없이도 임의의 attention-only 트랜스포머에 그대로 적용 가능하고, 실제로 후속 오픈소스 생태계가 이 프레임워크를 구현해 induction head 결과를 광범위하게 재현했다.

주장별 신뢰도

1. “attention-only 트랜스포머의 로짓은 end-to-end path들의 합으로 정확히 분해되며, attention pattern을 고정하면 각 항이 선형이다” — 신뢰도 높음. 순수 대수적 항등식이며 Path Expansion Trick 절과 Notation 부록에서 완결적으로 유도된다. Dong et al.이 독립적으로 같은 구조를 유도했다는 점도 저자들이 직접 밝힌다.
2. “head 하나는 QK circuit과 OV circuit 두 개로 완전히 요약된다” — 신뢰도 높음. $W_Q$와 $W_K$가, $W_O$와 $W_V$가 항상 함께만 작동하고 key·query·value 벡터는 저차원 행렬 계산의 중간 부산물이라는 관찰에서 따라 나온다.
3. “1층 attention head 용량의 상당 부분이 copying에 쓰인다 — 12개 중 10개” — 신뢰도 중간. eigenvalue 히스토그램과 확장 가중치의 정성 검토가 일치한다는 점은 강하나, 저자들 스스로 “eigenvalue 양수성은 copying의 결정적 증명이 아니다”라고 명시하고 판정 임계값이 본문에 없다. 대각 성분·top-k 자기증폭 빈도 등 대안 지표는 방향만 제시되고 수치는 [위치 미확인].
4. “induction head는 previous-token head와의 K-composition으로 만들어진다” — 신뢰도 중간~높음. 기제 자체(키를 한 칸 미는 $\text{Id}\otimes A^{h_{-1}}\otimes W$ 항)와 QK·OV 양수성 동시 만족은 강한 증거다. 다만 사후 정정으로 조합 측정에 버그가 있었고, 정정된 그림에서는 두 induction head가 최근 여러 토큰에 주목하는 head에도 의존한다 — “최소 구성”이지 “유일 구성”은 아니다.
5. “induction head가 이 소형 모델들의 in-context learning을 설명한다” / “virtual head 2차 항은 중요하지 않다” — 둘 다 신뢰도 중간. 무작위 반복 시퀀스 검증과 절제 알고리즘 설계는 타당하지만, 정량적 기여도 분해와 손실 감소 절대값이 본문에 없고 저자들도 “더 큰 모델에서는 다를 수 있다”고 유보한다.

추가 확인 사항

• 본문 “Analyzing a Two-Layer Model” 절의 composition 그림은 저자들이 사후에 버그로 인한 오류를 인정하고 정정본을 붙였다. 원본 그림 수치를 인용하면 안 되며, “이 모델에는 K-composition만 있다”는 서술은 정정 이후 완화된 형태로 읽어야 한다.
• $d_{\text{model}}$의 절대값과 정확한 $n_{\text{vocab}}$이 본문에 없다. $d_{\text{model}}=n_{\text{heads}}\times d_{\text{head}}$에서 768(예외 4096)로 계산되고 어휘는 “our vocabulary is ~50,000 tokens”라는 근사치로만 제시되며, 직접 표기는 둘 다 [위치 미확인]이다.
• copying 판정 히스토그램, term importance 절제 곡선, QK/OV eigenvalue 산점도 등 정량 근거의 상당 부분이 인터랙티브 그림 안에 있어 텍스트로는 수치가 확인되지 않는다. 위 표의 “10 out of 12”만이 본문 산문에 명시된 유일한 집계 수치다.
• superposition은 이 논문 본문에서 residual stream 대역폭을 논하며 한 차례 언급될 뿐 정식 개념으로 정의되지 않는다. superposition을 이 논문에 귀속시키는 인용은 부정확하며, 2023년 2월자 “Summary of Follow-Up Research” 절에서 후속 연구로 소개될 뿐이다.

---

관련 연구 비교 매트릭스

연구	분석 대상	설명의 단위	대형 모델 적용성	핵심 차별점
A Mathematical Framework (본 논문)	0~2층 attention-only toy model	end-to-end path (QK/OV circuit)	부분적 — attention 매개 회로만	층 곱을 경로 합으로 전개해 가중치에서 알고리즘을 직접 읽음
Attention Is All You Need	인코더-디코더 트랜스포머	아키텍처 구성요소	원형 정의	계산 효율 중심의 concat-and-multiply 표기 — 본 논문이 해석 가능한 형태로 재표현한 대상
Transformer Feed-Forward Layers Are Key-Value Memories	학습된 LM의 MLP 층	뉴런 단위 key-value 기억	실모델 적용	본 논문이 손대지 못한 MLP 쪽을 정면으로 다룸 — 상보적
Birth of a Transformer - A Memory Viewpoint	2층 트랜스포머 학습 동역학	연상 기억 행렬	이론 중심	같은 induction 회로를 “왜·어떻게 학습되는가”의 관점에서 분석
Understanding intermediate layers using linear classifier probes	중간 층 표현	선형 probe 정확도	광범위	하향식 probing — 회로가 아니라 정보 존재 여부를 측정
Network Dissection- Quantifying Interpretability of Deep Visual Representations	비전 CNN 뉴런	개념-뉴런 대응	비전 한정	본 논문이 계승하려는 Distill Circuits 계열의 비전 쪽 선행 작업

원자적 인사이트 (Zettelkasten)

• 표현을 바꾸는 것만으로 해석 가능성이 생길 수 있다. 같은 계산에 동등한 서술이 여럿일 때, 계산 효율에 최적화된 서술과 사람이 이해하기 좋은 서술은 다를 가능성이 높다. concat-and-multiply를 head별 덧셈으로, key/query/value를 $W_{QK}$·$W_{OV}$로 바꾸는 것만으로 파라미터가 ”$50,000\times 50,000$ 크기지만 rank 64인, 엔트리마다 의미가 붙은 표”가 된다. 새 실험 없이 재표기만으로 얻은 이해라는 점에서 방법론적 재사용 가치가 크다.
• 깊이가 사는 것은 파라미터 수가 아니라 조합 가능성이다. 1층 모델에 head를 아무리 늘려도 skip-trigram 표가 늘어날 뿐이지만, 층이 2개가 되는 순간 K-composition으로 induction head라는 질적으로 다른 알고리즘이 나타난다. 룩업 테이블이 프로그램으로 바뀐다는 “표현력 = 조합” 직관을 회로 수준에서 구체화한 사례다.
• factored 표현은 반드시 대가를 치른다. 1층 head가 스킵 트라이그램을 $f(a,b,c)=f_1(a,b)f_2(a,c)$로만 담기 때문에 keep… in mind와 keep… at bay를 함께 학습하면 keep… in bay도 필연적으로 올라간다. 저차원 인수분해로 파라미터를 절약하는 모든 설계에 같은 종류의 교차 오염이 구조적으로 따라붙는다.
• residual stream은 대역폭이 희소한 자원이다. 50층 모델의 25층 지점에서 residual stream은 자기 차원 수의 100배에 달하는 앞뒤 뉴런을 중개해야 하고 MLP 하나만 해도 폭이 4배다. 그래서 일부 뉴런과 head가 정보를 지우는 memory management 역할을 하는 것으로 보이며(입출력 가중치 코사인 음수, $W_O{W}_V$의 큰 음수 eigenvalue + 현재 토큰 주목), 이것이 superposition 연구의 동기가 된다.
• eigenvalue 양수성은 “복사한다”의 필요조건이지 충분조건이 아니다. copying 행렬은 반드시 양수 eigenvalue를 갖지만, eigenvector가 직교하지 않으면 모든 eigenvalue가 양수여도 어떤 토큰의 자기 로짓을 낮출 수 있다. 요약 통계를 회로 판정에 쓸 때 “무엇의 필요조건인가”를 먼저 따져야 한다.
• off-distribution 테스트가 기제 가설의 최종 심판이다. induction head 가설의 결정적 증거는 자연어 성능이 아니라 균일 무작위 토큰 시퀀스를 3회 반복한 입력에서의 작동이다. 학습된 통계로는 절대 통과할 수 없는 조건을 설계해 “통계적 상관”과 “구현된 알고리즘”을 분리했다. 덧붙여 attention pattern 해석은 조건부로만 옳다 — induction head는 pattern만 보면 완전히 설명되는 듯하지만 실은 이전 층 previous-token head의 K-composition에 전적으로 의존한다.

핵심 용어 정리

용어	정의
residual stream	임베딩과 모든 이전 층 출력의 합. 자체 계산 없이 층들이 읽고 쓰는 완전 선형 통신 채널. privileged basis 없음
virtual weights	임의의 두 층을 직결하는 암묵적 가중치 $W_I^2{W}_O^1$. 뒤 층이 앞 층이 쓴 정보를 읽는 정도
path expansion trick	층 단위 행렬 곱을 분배법칙으로 전개해 각 항이 하나의 end-to-end 경로가 되는 합으로 바꾸는 기법
$W_{QK}$ / $W_{OV}$	$W_Q^{hT}{W}_K^h$ / $W_O^h{W}_V^h$. 항상 함께 작동하는 저차원 결합 행렬 (rank $d_{\text{head}}$)
QK circuit	$W_E^T{W}_{QK}^h{W}_E$. 각 엔트리가 “쿼리 토큰이 키 토큰에 얼마나 주목하려 하는가”를 주는 $[n_{\text{vocab}},n_{\text{vocab}}]$ 행렬
OV circuit	$W_U{W}_{OV}^h{W}_E$. 주목된 토큰이 출력 로짓에 주는 영향을 주는 $[n_{\text{vocab}},n_{\text{vocab}}]$ 행렬
skip-trigram (및 그 bug)	[source]…[destination][out] 3항 패턴. $f_1(a,b)f_2(a,c)$ 인수분해 때문에 원치 않는 조합까지 확률이 올라간다
Q/K/V-composition	뒤 층 head의 $W_Q$/$W_K$/$W_V$가 앞 층 head가 쓴 subspace를 읽는 세 방식. 앞 둘은 attention pattern을, 마지막은 이동 내용을 바꿈
virtual attention head	V-composition의 산물 $h_2\circ h_1$. $A^{h_2\circ h_1}=A^{h_2}{A}^{h_1}$, $W_{OV}^{h_2\circ h_1}=W_{OV}^{h_2}{W}_{OV}^{h_1}$. 층수에 대해 제곱·세제곱으로 증가
induction head / previous-token head	[a][b]…[a] → [b]를 수행하는 2층 head와, 직전 토큰에 주목해 key를 한 칸 미는 그 필수 부품 1층 head
freezing attention patterns	attention pattern을 실측값으로 고정해 모델을 토큰의 선형 함수로 만드는 분석 트릭
value-weighted attention	attention 가중치에 source 위치 value 노름 $\Vert v_{\text{src}}^h\Vert$를 곱한 시각화. 기본 대기 위치의 착시를 제거
privileged basis / bottleneck activation	좌표축 자체가 의미를 갖는 활성(토큰·attention pattern·MLP 활성뿐) / 고차원 활성 사이에 낀 저차원 통로(residual stream, value 벡터)
mixed product property	$(A\otimes B)(C\otimes D)=(AC)\otimes (BD)$. 3단계 attention을 $A\otimes W_{OV}$ 하나로 접는 근거

관련 연구

• Attention Is All You Need — 이 논문이 “계산 효율 중심 표기”의 대표로 지목해 재작성 대상으로 삼은 원형. concat-and-multiply와 head별 덧셈이 동등함을 보이는 대목이 직접 대응한다.
• Efficient Estimation of Word Representations in Vector Space — “skip-trigram”이라는 용어가 이 논문의 skip-gram에서 유래했다고 본문에서 직접 밝힌다.
• Scaling Laws for Neural Language Models — 본 논문 toy model의 학습 데이터셋이 이 논문(Kaplan et al.)의 것과 동일하다고 Technical Details 부록에 명시된다.
• Transformer Feed-Forward Layers Are Key-Value Memories — 본 논문이 남긴 최대 공백인 MLP 층을 뉴런 단위 key-value 기억으로 해석. “파라미터의 2/3” 문제에 대한 상보적 접근.
• Birth of a Transformer - A Memory Viewpoint — 2층 트랜스포머에서 induction 회로가 학습되는 동역학을 연상 기억 관점으로 분석. 본 논문이 “무엇이 있는가”를 봤다면 이쪽은 “어떻게 생기는가”를 본다.
• RoFormer - Enhanced Transformer with Rotary Position Embedding — 본 논문이 “residual stream에 위치 정보를 남기지 않는 방식”의 예로 rotary를 들며, 그 때문에 pointer arithmetic 기반 induction head 구현이 배제된다고 논한다.
• The Geometry of Truth - Emergent Linear Structure in LLM Representations of True and False Statements — residual stream의 선형 구조를 전제로 개념을 방향으로 읽는 후속 계열. 본 논문의 “선형 residual stream” 전제가 어디까지 활용되는지 보여준다.
• Looped Transformers as Programmable Computers — 트랜스포머를 알고리즘 실행기로 보는 관점의 이론적 확장. induction head가 “룩업 테이블에서 프로그램으로”의 첫 사례라면 이쪽은 그 극단을 구성적으로 보인다.

태그

mechanistic-interpretability transformer-circuits induction-head QK-OV-circuit residual-stream path-expansion in-context-learning XAI attention-only Anthropic

---

BibTeX

@article{elhage2021mathematical,
   title   = {A Mathematical Framework for Transformer Circuits},
   author  = {Elhage, Nelson and Nanda, Neel and Olsson, Catherine and Henighan, Tom and Joseph, Nicholas and Mann, Ben and Askell, Amanda and Bai, Yuntao and Chen, Anna and Conerly, Tom and DasSarma, Nova and Drain, Dawn and Ganguli, Deep and Hatfield-Dodds, Zac and Hernandez, Danny and Jones, Andy and Kernion, Jackson and Lovitt, Liane and Ndousse, Kamal and Amodei, Dario and Brown, Tom and Clark, Jack and Kaplan, Jared and McCandlish, Sam and Olah, Chris},
   year    = {2021},
   journal = {Transformer Circuits Thread},
   note    = {https://transformer-circuits.pub/2021/framework/index.html}
}