줌인: 회로 입문 (Zoom In: An Introduction to Circuits)

Digest: 이 글의 문제의식은 interpretability 연구가 신경망 전체의 행동을 간단히 설명하려고만 한다는 데 있다. 저자들은 현미경이 세포생물학을 열었듯 개별 뉴런과 개별 가중치를 진지한 연구 대상으로 삼는 “줌인”이 deep learning에도 가능하다고 제안한다. 형식은 Schwann이 1839년 세포에 대해 내놓은 세 주장을 의도적으로 모방한 세 가지 speculative claim이다 — Claim 1 Features(feature가 기본 단위이며 layer 활성 벡터공간의 direction에 대응한다), Claim 2 Circuits(feature들은 weight로 연결되어 계산 부분그래프를 이룬다), Claim 3 Universality(유사한 feature와 circuit이 모델과 과제를 가로질러 형성된다). 실험 설정은 정량 벤치마크가 아니라 InceptionV1 한 모델을 수천 시간 들여 뉴런 단위로 훑는 정성적 자연과학 조사다. 증거는 mixed3b의 curve detector(반경 약 60픽셀, 방향별 family가 360도를 타일링), 사람이 예상하지 못한 high-low frequency detector, 그리고 고양이 얼굴·자동차 앞면·고양이 다리에 함께 반응하는 polysemantic neuron 4e:55다. 결정적 증거는 circuit 쪽에 있다. curve detector는 같은 방향의 이전 curve detector에 곡선 모양으로 배열된 양의 가중치로 흥분하고 반대 방향에는 억제되며, dog head circuit은 좌·우 경로가 서로 억제하다 합집합되는 4개 층 구조이고, mixed4c의 car detector 4c:447은 바퀴 4b:373·창문 4b:237·차체 4b:491을 위치별로 조합해 만들어진다. 그런데 다음 층에서 이 car feature는 순수한 car detector로 이어지지 않고 주로 개를 탐지하는 뉴런들 위로 흩뿌려지며, 저자들은 이를 superposition이라 부르고 polysemantic neuron의 원인으로 지목한다. 함의는 interpretability를 benchmark나 user study가 아니라 반증 가능한 자연과학으로 재정의할 수 있다는 것이다. 한계는 명백하다 — 수치 결과가 하나도 없고, universality 증거는 저자들이 직접 “anecdotal”이라 못 박으며, 상세 검증은 대부분 후속 논문으로 미뤄져 있다.

먼저 이해하기

이 글은 실험 논문이 아니라 연구 강령을 선언하는 에세이다. 과학사에서 큰 전환은 대개 더 정밀해진 순간이 아니라 관측 대상 자체가 바뀐 순간에 일어났다 — 현미경이 세포를 보여주자 동물학이 아닌 세포생물학이 생겼고, x선 결정학이 DNA를 보여주자 분자혁명이 왔다. 저자들은 묻는다. 신경망을 블랙박스라 부르며 전체 행동을 요약하려 애쓰는 대신, 뉴런 하나하나와 그 사이의 부동소수점 가중치 하나하나를 진지한 연구 대상으로 놓으면 어떤 그림이 나오는가?

답은 놀랄 만큼 낙관적이다. 수천 시간을 개별 뉴런에 쏟아본 결과 뉴런은 대체로 이해 가능했고, 뉴런 사이의 circuit은 세계에 관한 사실에 대응하는 의미 있는 알고리즘처럼 보였다는 것이다. 원문 표현대로 “곡선들로부터 원 탐지기가 조립되는 것을 볼 수 있고, 눈·주둥이·털·혀로부터 개 머리가 조립되는 것을 볼 수 있고, 바퀴와 창문으로 자동차가 구성되는 것을 관찰할 수 있다.”

글의 형식도 의도적이다. 저자들은 Theodor Schwann이 1839년 세포에 대해 내놓은 세 주장을 명시적으로 흉내 낸다. 앞의 두 주장은 현대 세포이론에 살아남았지만 세 번째(“세포는 결정이 생기듯 자유 세포 형성으로 만들어진다”)는 완전히 틀렸다. 저자들은 이 점을 오히려 근거로 삼는다 — 틀릴 수도 있는 강한 버전의 주장을 명확히 말하는 것 자체에 가치가 있다는 것이다. 그래서 세 claim은 신경망의 본성에 대한 경험적 주장인 동시에, 신경망을 이해하는 유용한 방식에 대한 규범적 주장으로 제시된다.

feature(피처): 입력에 대한 스칼라 함수. 이 글에서 신경망의 feature는 direction이며 흔히 개별 뉴런 그 자체다.
direction(방향): 한 layer 뉴런들의 선형결합. 개별 뉴런은 그 벡터공간의 기저 방향이다.
circuit(회로): 신경망의 부분그래프. 노드는 뉴런 또는 direction이고 인접 layer 두 노드 사이 엣지는 실제 가중치다.
polysemantic neuron(다의적 뉴런): 서로 무관한 여러 latent variable에 반응하는 뉴런(예: 4e:55).
superposition(중첩): 한 feature를 여러 뉴런에 분산 저장하는 현상. polysemanticity의 원인으로 지목된다.
circuit motif(회로 모티프): 여러 circuit에서 반복되는 추상 패턴. 시스템생물학에서 빌린 용어다.

왜 중요한가: 이 글은 mechanistic interpretability의 출발 문서이고, 올린 하한선은 “결과”가 아니라 “연구 대상과 증거 기준”이다. 이전까지 interpretability의 평가 기준은 대체로 방법이 유용한가였는데, 이 글은 우리가 참인 명제를 배우고 있는가로 기준을 옮긴다. 그 전환을 가능하게 하는 장치가 circuit이다 — 신경망 전체에 대해 robust하게 참인 진술을 하기는 지극히 어렵지만, 열 개 남짓 feature로 이루어진 부분그래프에 대해서는 “이 가중치를 이렇게 편집하면 무엇이 바뀔지” 예측하고 틀릴 수 있는 반증 가능한 주장을 할 수 있다. 바꾼 전제는 “신경망은 원리적으로 블랙박스”라는 가정이며, 대신 “블랙박스처럼 보이는 것은 아직 충분히 확대해 보지 않았기 때문”이라는 작업가설을 깔았다.

먼저 알아둘 용어 표

원 용어	쉬운 설명
Zoom In	모델 전체가 아니라 뉴런·가중치 단위로 내려가 보는 연구 전략. 현미경 은유
meaningful feature	곡선의 존재, 늘어진 귀처럼 말로 표현 가능한 입력 속성에 실제로 반응하는 feature
family	같은 것의 작은 변형들을 탐지하는 한 layer 안의 feature 집합(예: 방향별 curve detector)
feature visualization	뉴런을 최대로 발화시키는 입력을 최적화로 찾는 기법. 인과적 연결을 확립한다
mixed3b / mixed4c	InceptionV1의 layer 이름. 각각 초기·중후반 layer
`4c:447` 표기	layer 4c의 447번 채널(뉴런)을 가리키는 표기

섹션별 요약

Abstract

Distill의 부제가 초록 역할을 한다: “뉴런들 사이의 연결을 연구함으로써, 우리는 신경망의 가중치 안에서 의미 있는 알고리즘을 찾을 수 있다.” 이 글은 Circuits thread(thread DOI 10.23915/distill.00024)의 서론 격 에세이로, 저자들의 사고방식과 유용하다고 판단한 작업 원칙을 개괄한다. 저자들은 단일 vision model 하나를 이해하는 데도 “표면만 긁었을 뿐”이라고 명시하고, 상세한 탐구는 thread의 후속 논문들로 미룬다.

왜 이 연구를 하는가?

대부분의 interpretability 연구는 신경망 전체 행동에 대한 간단한 설명을 목표로 한다. 저자들의 문제 제기는 그 조준 자체가 잘못되었을 수 있다는 것이다. 신경망은 지극히 복잡해 전체에 대해 robust하게 참인 진술을 만들기 어렵고, 애초에 “흥미로운 경험적 진술”이 무엇인지 형식화하기도 어렵다. 그 결과 평가 기준이 참인 것을 배우고 있는가가 아니라 이 방법이 유용한가로 밀린다.

동시에 커뮤니티는 근본 사실 하나에 대해 분열되어 있다. 많은 연구자는 의미 있는 뉴런의 존재를 거의 자명하게 취급하지만, 다른 많은 연구자는 깊이 회의적이며 의미 있어 보이던 뉴런들이 착각이었다고 믿는다. 회의적 문헌은 신경망이 주로 텍스처·국소 구조·지각 불가능한 패턴에 집중한다거나, 의미 있는 feature가 있어도 해석 불가능한 것들보다 덜 중요하다고 주장한다. 저자들은 사람들이 “물체와 강하게 상관된 텍스처 탐지기”와 “물체 탐지기”의 차이를 말할 언어조차 갖지 못해 자기 견해를 정확히 표현하기 어려워한다고 지적한다. 그래서 출발점은 둘이다. 첫째, 이 분열을 해소할 만큼 높은 증거 기준으로 구체 사례를 제시할 것. 둘째, 전체 대신 작은 부분그래프로 조사 단위를 내려 반증 가능성을 확보할 것.

Introduction

도입부의 논증은 유비다. 현미경 → 세포생물학, x선 결정학 → 분자혁명, 원자론, 신경과학 — 과학은 반복적으로 줌인했고 그때마다 정밀도만 오른 게 아니라 탐구 대상이 질적으로 바뀌었다. 세포생물학은 더 조심스러운 동물학이 아니라 새로운 종류의 탐구다. Hooke의 Micrographia가 미시 세계를 드러낸 것처럼, 신경망 시각화도 이미 모델 내부의 풍부한 세계를 암시하는 힌트를 보여주고 있다(DeepDream이 그 흥분을 촉발한 사례로 인용된다).

반직관적 관찰은 이것이다. 신경망을 블랙박스로 보는 전형적 그림과 대조적으로, 이 축척에서 신경망은 놀랄 만큼 접근 가능했다. 저자들이 다는 단서 하나: “이해 가능하다”가 “단순하다”를 뜻하지는 않는다. 많은 뉴런은 처음에 신비롭고 사전 추측을 배반하지만 대개 그 뒤에 단순한 설명이 있더라는 것이다. 기여를 정리하면 (1) 세 claim의 정식화, (2) 각 claim을 뒷받침하는 구체 사례 제시, (3) polysemantic neuron과 superposition이라는 핵심 난점 명시, (4) circuit motif라는 상위 추상 층 도입, (5) interpretability를 자연과학으로 재정의하는 평가론이다.

Methods

이 글의 “방법”은 알고리즘이 아니라 증거 기준의 집합이다. curve detector가 정말 곡선을 탐지하는지 검증하기 위해 저자들은 일곱 개 논증을 제시하고, 이들이 curve 특화가 아니라 다른 feature에도 쓸 수 있는 범용 도구함이라고 명시한다(아래 표 2). 이 중 dataset example·synthetic example·tuning curve는 시각신경과학의 고전 기법이고, 마지막 세 개는 circuit에 기반한다.

저자들은 이 논증들이 다른 종류 자극에 발화하는 드문 이차 케이스의 가능성을 완전히 배제하지는 않는다고 인정한다. 다만 (1) 곡선이 이 뉴런들을 발화시키고, (2) 각 유닛이 서로 다른 각도 방향에 반응하며, (3) 다른 자극이 있더라도 드물거나 더 약한 활성만 유발한다는 것은 확립하며, 이는 신경과학에서 통용되는 증거 기준에 부합한다고 주장한다.

기술적 전제 하나가 각주에 있다. curve detector를 포함한 많은 뉴런은 InceptionV1에서 채널 수를 작은 병목으로 줄이는 1x1 convolution 뒤에 3x3 또는 5x5 convolution이 오는 branch에 산다. 이 글이 보여주는 가중치는 1x1과 큰 conv 가중치를 곱해서 펼친 버전이며, 저자들은 이 관점이 기술적으로 ReLU 비선형성 하나를 무시한다는 점을 명시한다.

발견 (Findings)

경계에 걸친 사례를 골랐다: curve detector는 주의 깊게 조사한 모든 자명하지 않은 vision model에서 발견되며, 커뮤니티가 동의하는 feature(edge detector)와 회의가 있는 feature(귀, 자동차, 얼굴)의 경계에 걸쳐 있어 전략적으로 중요하다.
직관 밖의 feature도 이해된다: high-low frequency detector는 사람이 사전에 추측할 종류가 아니지만 무엇을 하는지 알고 나면 매우 단순하다. 저자들은 이것이 “모델을 이해하면 세계를 사고할 더 나은 추상을 배울 수 있다”는 희망의 작은 성공 사례일 수 있다고 본다.
낙관론의 반례도 명시된다: 4e:55는 고양이 얼굴·자동차 앞면·고양이 다리에 반응하는데, 자동차와 고양이 얼굴의 어떤 공통점에 반응하는 것이 아니다. feature visualization은 이 뉴런이 고양이의 눈과 수염을, 털 난 다리를, 자동차의 반짝이는 앞면을 각각 찾고 있음을 보여준다.
모델은 정교함을 선택한다: 눈·털·주둥이의 위치를 신경 쓰지 않고 뭉쳐 있는지만 봐도 불변 뉴런을 쉽게 만들 수 있었지만, 신경망은 좌·우 경우를 갈라 따로 처리하는 법을 학습했다. 저자들은 gradient descent가 이런 것을 학습할 수 있다는 데 다소 놀랐다고 적는다.
universality는 시사적이지만 미확정: curve·high-low frequency detector가 네 아키텍처에서, ImageNet 대신 Places365로 학습한 모델과 처음부터 학습한 vanilla conv net에서도 반복 형성되는 것이 관측되었다. 그러나 저자들은 “오늘 제시할 수 있는 유일한 증거는 anecdotal”이라고 명시한다.

Results

이 논문에는 정량 결과 표가 존재하지 않는다. “결과”는 세 circuit 사례를 가중치 수준까지 읽어낸 정성적 서술이다(구조·세부는 아래 표 4).

Circuit 1 — Curve Detectors (2개 층): 같은 방향의 초기·완전 curve detector를 잇는 5x5 가중치에서 보이는 것은 곡선 모양으로 배열된 강한 양의 가중치와 이를 둘러싼 작은 음수 또는 0 가중치다. 곡선 위 각 점에서 초기 curve detector를 이용해 “접선 곡선(tangent curve)“을 찾고 있는 것이다. 반대 방향 곡선은 모든 점에서 억제성이고, 가중치가 curve detector의 방향에 따라 함께 회전한다(equivariant circuit).
Circuit 2 — Oriented Dog Head Detection (4개 층): 세 층에 걸쳐 신경망은 좌·우 개 머리를 각각 탐지하는 거울상 경로 두 개를 유지한다. 각 단계에서 두 경로는 서로를 억제해 대비를 날카롭게 만들고, 마지막에 두 경로 모두에 반응하는 불변 뉴런 4b:418을 만든다. 이 패턴이 unioning over cases이며, 상호 억제 때문에 XOR 비슷한 성질을 갖는다.
Circuit 3 — Cars in Superposition: mixed4c의 car detector 4c:447은 윈도 아래쪽의 바퀴(4b:373)와 위쪽의 창문(4b:237)을 찾는다. 그런데 다음 층에서 모델은 또 하나의 순수한 car detector를 만드는 대신 car feature를 주로 다른 일(특히 개 탐지)을 하는 다수의 뉴런 위로 흩뿌린다. 함의는 polysemantic neuron이 어떤 의미에서 의도적이라는 것이다. 자동차와 개의 탐지가 깊이 얽혀 어쩔 수 없이 다의적 뉴런이 생기는 세계를 상상할 수도 있지만, 여기서 보이는 것은 모델이 “순수한 뉴런”을 갖고 있다가 다른 feature와 섞어버린 상황이다. 이유는 뉴런 절약으로 추정된다 — 자동차와 개가 동시에 나타나지 않는 한 나중 층에서 복원할 수 있으므로 뉴런을 전용하지 않고 저장할 수 있다. 근본적으로 이것은 고차원 기하 성질이다. $n$ 차원 공간은 직교 벡터를 $n$ 개만 허용하지만, 거의 직교인(almost orthogonal) 벡터는 지수적으로 많이 허용한다.
Circuit Motifs: 여러 모델의 circuit에서 같은 추상 패턴이 반복 등장했다 — equivariance, unioning over cases, superposition. motif 하나를 이해하면 그것이 나타나는 모든 그래프에 지렛대를 얻는다는 시스템생물학의 착상이다. 저자들은 장기적으로 motif 연구가 개별 circuit 연구보다 더 중요해질 수 있다고 보면서도, 잘 이해된 circuit의 기반을 먼저 쌓아야 한다고 단서를 단다.
Universality의 논증 구조: Gabor filter가 자연 이미지 학습 모델의 첫 층에서 학습된다는 것은 널리 받아들여진 사실이다. 저자들은 여기서 출발한다 — 후속 층에 의미 있는 feature가 있음을 받아들이면 첫 층 너머에서 같은 feature가 형성되는 것이 정말 놀라운가? 선행 연구(convergent learning, SVCCA, CKA)는 서로 다른 신경망이 고도로 상관된 뉴런을 발달시킴을 보였지만 저자들은 이를 결정적이지 않다고 본다. 털 텍스처 탐지기와 개 몸통 탐지기가 중요하게 다른 feature임에도 고도로 상관될 수 있기 때문이다.

Discussion

이론적 의의

이 글의 이론적 기여는 결과가 아니라 연구 대상의 재정의이며, 세 겹으로 정리된다.

첫째, 분석 단위의 이동이다. 단위를 “모델”에서 “feature와 circuit”으로 내림으로써 저자들은 신경망 전체에 대해 robust하게 참인 진술을 만드는 난제를 우회한다. 반증 기준은 구체적이다 — circuit을 이해했다면 가중치를 편집했을 때 무엇이 바뀔지 예측할 수 있어야 한다. 충분히 작은 circuit에 대한 진술은 수학적 추론의 문제가 된다. 대가는 진술 범위의 축소이고, 저자들의 베팅은 모델 행동에 대한 진술을 circuit 진술로 분해할 수 있다면 circuit이 interpretability의 인식론적 기초(epistemic foundation) 역할을 하리라는 것이다.

둘째, universality가 연구 프로그램의 형태를 결정한다는 논증이다. universality가 거짓이어도 circuits 연구에 치명적이지는 않지만 어떤 연구가 말이 되는지는 크게 달라진다. 유비가 선명하다 — 모든 종이 완전히 다른 세포소기관을 가진 세계에서 세포 일반을 연구하는 것이 의미가 있겠는가? 가장 강한 의미로 참이라면 모델들을 가로질러 관측·목록화하는 **“시각 feature의 주기율표”**를 상상할 수 있고, 대체로 거짓이라면 사회적으로 중요한 소수 모델에 집중하고 그것들이 매년 바뀌지 않기를 바라야 한다.

셋째, 자연과학으로서의 interpretability라는 평가론이다. Kuhn의 The Structure of Scientific Revolutions를 빌려 저자들은 현재를 “전패러다임기”로 진단한다(이 연결은 DeepMind의 Tom McGrath와의 대화에서 얻었다고 명시). Ian Goodfellow의 인용이 이를 압축한다: “interpretability에 관해서는, 우리가 올바른 정의조차 갖고 있다고 생각하지 않는다.” 통상의 해법은 딥러닝 배경의 interpretability benchmark와 HCI 배경의 user study 둘인데, 저자들은 제3의 패러다임으로 자연과학을 제안한다 — 신경망을 생물학의 유기체와 비슷한 경험적 조사 대상으로 놓고 반증 가능성의 기준에 부치자는 것이다. 마무리에서 저자들은 현미경으로 돌아온다. 현미경은 도구로서 약 50년간 시들어 있었고 전환점은 Hooke의 Micrographia였다. 세포의 발견 역시 정성적 연구 결과였고, 그것이 세계를 바꾸는 것을 막지 못했다.

Discussion Points

서술 전략에 자기지시성이 있다. Schwann의 세 번째 주장이 틀렸다는 사실을 먼저 드러낸 뒤 자기 주장을 내놓는 것은 지적으로 정직한 동시에 비판에 대한 사전 면역으로도 기능한다 — 어떤 claim이 반증되어도 “처음부터 speculative라고 했다”는 방어선이 남는다. 각 claim이 어떤 관측으로 반증될지에 대한 조작적 정의가 본문에 없다는 점은 지적할 만하다.
polysemanticity의 진단과 처방 사이에 긴장이 있다. 저자들은 superposition이 뉴런을 아끼려는 모델의 합리적 선택임을 보이면서, 동시에 “polysemantic neuron을 애초에 갖지 않도록 학습시키는 것”을 희망으로 제시한다. 그런데 superposition이 유한한 뉴런 예산 아래 합리적이라면 그것을 금지하는 학습은 용량 대비 성능을 희생시킬 가능성이 크다. 이 글의 분석 자체가 “해석 가능성 세금”을 시사하며, 후속 연구가 “학습 시 금지”보다 “사후 unfolding”으로 기운 것은 자연스러운 귀결로 읽힌다.
universality 논증의 증거 부담이 비대칭적이다. 저자들은 선행 연구의 상관 기반 증거를 “털 텍스처 vs 개 몸통” 반례로 기각하면서, 자기 증거는 feature visualization 이미지의 시각적 유사성에 둔다. 이 기각 논리는 자기 증거에도 그대로 적용된다 — 네 아키텍처의 곡선 모양 이미지가 비슷해 보인다는 것은 저자들 자신의 기준으로 “그 feature이지 상관된 다른 feature가 아님”을 확립하지 못한다.
관측된 모든 것은 **하나의 아키텍처 계열(convolutional vision model), 하나의 과제(ImageNet 분류)**에서 나왔는데 세 claim은 “신경망”에 대한 주장으로 쓰여 있다. 회고적으로 이 일반화는 상당 부분 옳았지만(transformer 언어모델에서도 feature/circuit/superposition 틀이 작동했다), 이 글의 시점에서 그것은 논증이 아니라 베팅이었다.
“가중치를 편집해 예측을 검증한다”는 반증 기준은 이 글에서 제안만 되고 실행되지 않는다. dog head circuit 절에서 저자들은 그 검증을 후속 논문 계획으로 적는다. 이 글이 내세우는 인식론적 강점이 여기서는 실현되지 않은 약속이라는 점이 Evidence 등급을 낮게 매겨야 하는 핵심 이유다.
신경과학과의 상호작용 제안이 가장 검증 가능한 부분일 수 있다. 저자들은 curve detector가 생물학적 신경망에도 존재한다고 믿어지는 점(macaque V4 연구들)을 지적하고, high-low frequency detector가 “인공 신경망이 먼저 예측하고 나중에 생물학에서 발견되는” 후보라는 신경과학자들의 제안을 전한다. 이 글에서 유일하게 선행 예측의 형태를 띠는 대목이다.

실험 결과 상세

이 논문에는 정량 벤치마크 표가 없다. 아래는 논문이 제시한 주장별 증거 유형, 증거 도구함, feature 카탈로그, circuit 사례를 원문 위치와 함께 재구성한 것이다.

표 1 — 세 가지 speculative claim별 증거 유형과 강도 (§Three Speculative Claims ~ §Claim 3)

Claim	정확한 진술	제시된 증거 유형	저자 자평	반증 조건
Claim 1: Features	Features are the fundamental unit of neural networks. They correspond to directions.	feature visualization(인과), dataset example, 합성 자극, joint tuning, circuit 기반 3종 (§Example 1–3)	“수천 시간의 뉴런 연구 결과 전형적 경우는 이해 가능”	대다수 뉴런/방향이 조사 후에도 말로 표현 가능한 속성에 대응하지 않음
Claim 2: Circuits	Features are connected by weights, forming circuits.	가중치 직독(5x5 conv), 3개 circuit 사례, 손수 구현한 curve circuit (§Circuit 1–3)	“기대는 지저분함이었으나 발견은 대칭성을 지닌 풍부한 구조”	가중치 편집 예측이 빗나감 / 이해 못 한 작은 가중치가 지배적 역할
Claim 3: Universality	Analogous features and circuits form across models and tasks.	4개 아키텍처의 feature visualization 비교, Places365 학습 모델, from-scratch vanilla convnet (§Claim 3)	“오늘 제시할 수 있는 유일한 증거는 anecdotal”	유사해 보이는 feature가 실제로는 다른 latent variable에 반응함이 밝혀짐

표 2 — curve detector 검증을 위한 7가지 논증 도구함 (§Claim 1 / Example 1)

#	논증	무엇을 보이는가	계열
1	Feature Visualization	입력을 최적화하면 신뢰성 있게 곡선이 나옴 — 인과적 연결 확립	활성 기반
2	Dataset Examples	강하게 발화시키는 ImageNet 이미지가 예상 방향의 곡선. 중간 발화는 덜 완벽하거나 방향이 어긋난 곡선	활성 기반
3	Synthetic Examples	방향·곡률·배경을 변화시킨 합성 곡선에 예상대로 반응. 직선·날카로운 모서리에는 강하게 발화하지 않음	활성 기반
4	Joint Tuning	자극을 회전시키면 발화가 멎고 다음 방향 유닛이 발화 시작 → family가 360도를 타일링	활성 기반
5	Feature Implementation	circuit 가중치에서 곡선 탐지 알고리즘을 읽어냄. 이차적 발화 원인의 흔적 없음	circuit 기반
6	Feature Use	downstream client(원, 3D 곡률, 나선)가 예상된 방식으로 사용	circuit 기반
7	Handwritten Circuits	가중치를 손으로 설정한 cleanroom 재구현이 원본을 상당히 모사	circuit 기반

표 3 — 대표 feature 카탈로그 (§Claim 1, §Claim 3, §Glossary)

Feature	위치	무엇에 반응하는가	특이사항	재발견 아키텍처
Curve detector	`mixed3b` (3b:379, 385, 342, 340)	반경 약 60픽셀의 곡선과 경계. 경계에 수직인 선에 약간 추가 흥분, 양쪽이 다른 색이길 선호. 방향별 family가 전 방향을 커버	동의되는 feature(edge)와 회의되는 feature(고수준 물체)의 경계 사례. 원·나선·S자·3D 곡률 탐지기는 curve detector로 치지 않음	AlexNet, InceptionV1, VGG19, ResNetV2-50
High-low frequency detector	early vision (3a:136)	수용영역의 한쪽에서 저주파, 다른 쪽에서 고주파 패턴. 방향별 family	사람이 예상하지 못한 feature. 배경이 초점에서 벗어났을 때 물체 경계를 찾는 heuristic으로 추정. “AI가 먼저 예측하고 생물학에서 나중에 찾을” 후보	AlexNet, InceptionV1, VGG19, ResNetV2-50
Pose-invariant dog head detector	`4b:418`	좌·우 어느 쪽을 향한 개 머리에도 반응	feature visualization의 기하가 “물리적으로 불가능하지만 매우 유익”. 3D 모델로 각도별 합성 이미지를 만들어 검증 가능	—
Car detector	`4c:447` (`mixed4c`)	윈도 아래쪽의 바퀴 + 위쪽의 창문	다음 층에서 순수 car detector로 이어지지 않고 개 탐지기들 위로 분산됨	—
Wheels / Windows / Car body	`4b:373` / `4b:237` / `4b:491`	바퀴 / 창문 / 차체	car detector의 입력 부품. 위치별 흥분·억제 부호가 서로 다름	—
Polysemantic neuron	`4e:55`	고양이 얼굴 · 자동차 앞면 · 고양이 다리	공통점에 반응하는 것이 아님. 고양이의 눈·수염, 털 난 다리, 반짝이는 차 앞면을 각각 찾음	—
(Gabor filter)	첫 층	방향성 있는 국소 주파수 필터	첫 층에서 학습된다는 것이 널리 받아들여진 사실. universality 논증의 출발점	사실상 모든 vision model

표 4 — circuit 사례 3종 (§Claim 2 / Circuit 1–3)

Circuit	층 수	가중치에서 읽히는 알고리즘	motif	저자의 유보
Curve detectors	2	5x5 가중치가 곡선 모양으로 배열된 양수, 주변은 작은 음수/0. 각 점에서 “tangent curve”를 찾음. 같은 방향은 흥분, 반대 방향은 모든 점에서 억제. 방향이 돌면 가중치도 함께 회전	Equivariance	역할을 이해하지 못한 작은 가중치가 많음. 제시된 가중치는 1x1 병목과 큰 conv를 곱해 펼친 것이라 ReLU 하나를 무시
Oriented dog head detection	4	”head with neck” 유닛에서 머리는 올바른 쪽에서만 탐지. 합집합 단계 흥분 영역이 방향별로 다른 쪽으로 뻗어 주둥이가 같은 지점으로 수렴. 상호 억제로 XOR 비슷한 성질	Unioning over cases	좌·우 경로를 우회해 머리 구성요소가 직접 후속 head detector에 영향을 주는 경로도 존재. 가중치 편집 검증은 후속 논문으로 이월
Cars in superposition	2+	바퀴는 아래 흥분·위 억제, 창문은 위 흥분·아래 억제, 차체는 특히 아래에서 흥분. 이후 car feature가 순수 뉴런에서 다른 feature와 섞임	Superposition	”왜”는 추정(believe). 근거는 고차원 기하 — $n$ 개 직교 벡터 vs 지수적으로 많은 준직교 벡터

프레임워크 다이어그램

flowchart TD
    A["Zoom In 전략<br/>모델 전체 설명 대신<br/>뉴런과 가중치 단위로 내려가기"] --> B["Claim 1 Features<br/>feature가 기본 단위이며 direction에 대응"]
    A --> C["Claim 2 Circuits<br/>feature들이 weight로 연결된 계산 부분그래프"]
    A --> D["Claim 3 Universality<br/>유사 feature와 circuit이 모델과 과제를 넘어 재형성"]

    B --> B1["curve detector<br/>mixed3b 반경 약 60픽셀<br/>방향별 family가 360도 타일링"]
    B --> B2["high-low frequency detector<br/>수용영역 한쪽 저주파 다른쪽 고주파"]
    B --> B4["polysemantic neuron 4e 55<br/>고양이 얼굴 자동차 앞면 고양이 다리"]

    B1 --> E["7가지 논증 도구함<br/>feature visualization · dataset example<br/>synthetic example · joint tuning<br/>구현 · 사용 · 손수 만든 circuit"]

    C --> C1["curve circuit<br/>같은 방향 흥분 반대 방향 억제"]
    C --> C2["oriented dog head circuit<br/>좌우 경로가 서로 억제한 뒤 합집합"]
    C --> C3["car circuit<br/>바퀴 아래 창문 위<br/>4c 447 조립"]

    C1 --> M1["motif · equivariance"]
    C2 --> M2["motif · unioning over cases<br/>XOR 비슷한 성질"]
    C3 --> C4["다음 층에서 car feature를<br/>개 탐지 뉴런들 위로 분산"]
    C4 --> M3["motif · superposition<br/>고차원 공간의 준직교 벡터 활용"]
    M3 --> B4

    D --> D1["curve와 high-low frequency가<br/>AlexNet InceptionV1 VGG19 ResNetV2-50에서 재발견"]
    D1 --> D2["저자 자평은 anecdotal<br/>상관 기반 선행 연구는 결정적이지 않다고 기각"]
    D2 --> D3["강한 참이면 시각 feature의 주기율표<br/>대체로 거짓이면 소수 중요 모델만 연구"]

    E --> F["interpretability를 natural science로<br/>circuit은 작아서 반증 가능"]
    M1 --> F
    M2 --> F
    F --> G["Kuhn 전패러다임기 진단<br/>benchmark도 user study도 아닌 제3의 기준<br/>circuit이 epistemic foundation"]

재현성 및 신뢰도 평가

종합등급: Evidence C / Reproducibility B

근거(Evidence C): 정량 실험이 사실상 없다. 통계 표도, held-out 평가도, 대조군도, 오차 막대도 없다. 조사 대상은 압도적으로 **단일 모델(InceptionV1)의 단일 과제(ImageNet 분류)**인데 세 claim은 “신경망” 일반에 대한 명제로 쓰여 있어 주장 범위와 증거 범위가 크게 어긋난다. 핵심 반증 기준(“circuit을 이해했다면 가중치 편집의 결과를 예측할 수 있어야 한다”)은 본문에서 실행되지 않고 후속 논문으로 이월되며, universality에 대해서는 저자들 스스로 anecdotal이라고 못 박는다. 다만 C 아래로 내리지 않는 이유도 분명하다 — feature visualization은 최적화 이미지의 모든 요소가 발화를 유발하려고 추가된 것이므로 인과적 논증이고, Argument 7의 handwritten circuit은 실질적 구성 검증이며, 논문이 제목에 “Introduction”을 주장에 “speculative”를 명시해 자기 인식론적 지위를 오도하지 않는다.
근거(Reproducibility B): 정성 연구치고 재현 조건이 이례적으로 좋다. (1) 대상 모델 InceptionV1(GoogLeNet)과 학습 데이터(ImageNet)가 공개다. (2) 논의되는 유닛이 layer·채널 번호로 정확히 지목된다 — 3b:379, 3b:385, 3b:342, 3b:340, 3a:136, 4b:237, 4b:373, 4b:418, 4b:491, 4c:447, 4e:55. (3) 이 유닛들이 OpenAI Microscope(microscope.openai.com/models/inceptionv1/...) 직접 링크로 연결되어 제3자가 같은 뉴런을 즉시 열어볼 수 있다. (4) 본문·도해가 CC-BY 4.0이며 소스가 GitHub에 공개되어 있다. A가 아닌 이유는 분석 코드·노트북이 동반되지 않고, feature visualization 설정(정규화·스텝 수·목적함수)이 명시되지 않으며, “수천 시간의 뉴런 조사”라는 핵심 근거가 재현 비용이 매우 큰 인간 노동이기 때문이다.

주장별 신뢰도

“mixed3b의 curve detector가 실제로 곡선을 탐지한다” — 신뢰도 높음. 7가지 독립 논증이 제시되고 그중 feature visualization과 handwritten circuit은 인과·구성적이다. 저자들이 “드문 이차 자극”의 가능성을 배제하지 못한다고 스스로 단서를 단 점도 과장하지 않는다는 신호다. 상세 검증은 후속 Curve Detectors 논문에 있다.
“car detector가 바퀴·창문·차체로부터 조립된다” — 신뢰도 높음. §Circuit 3 도해에 유닛 ID와 위치별 흥분·억제 부호가 명시된다. 다만 가중치 시각화에 대한 저자 해석에 의존하며 정량적 attribution이나 ablation은 없다.
“polysemantic neuron은 superposition의 결과이며 superposition은 뉴런 절약을 위한 것이다” — 신뢰도 중간. 전반부(car feature가 개 탐지 뉴런들로 흩뿌려진다)는 관측이지만 후반부(왜 그러는가)는 저자 표현 그대로 “We believe”이며 검증되지 않았다. “자동차와 개가 동시에 나타나지 않는 한 복원 가능”이라는 메커니즘도 공기(co-occurrence) 통계나 복원 실험 없이 제시된다.
“dog head circuit이 좌·우 경로를 나눠 처리한 뒤 합집합한다” — 신뢰도 중간. 4개 층 구조, 상호 억제, 편측성, 합집합 단계의 흥분 영역까지 구체적으로 서술되지만 전부 가중치 도해의 시각적 해석이다. 저자들이 명시하듯 좌·우 경로를 우회하는 직접 경로도 존재하며 상대적 기여는 정량화되지 않았다.
“유사한 feature와 circuit이 모델과 과제를 가로질러 형성된다(Universality)” — 신뢰도 낮음. 제시된 것은 4개 아키텍처의 feature visualization 이미지 4장씩과 Places365·from-scratch convnet 관측 서술뿐이다. 선행 연구를 기각할 때 쓴 논리(“고도로 상관되어도 중요하게 다른 feature일 수 있다”)가 자기 증거에도 동일하게 적용된다. circuit 수준의 universality에 대한 증거는 전혀 없다.

추가 확인 사항

본문 산문은 관측 모델로 **“AlexNet, InceptionV1, InceptionV3, residual networks”**를 나열하지만 실제 비교 그림의 열은 AlexNet, InceptionV1(GoogLeNet), VGG19, ResNetV2-50이다. 산문의 InceptionV3는 그림에 없고 그림의 VGG19는 산문에 없다. 두 목록의 합집합으로 읽는 것이 안전하다.
Hooke의 Micrographia는 참고문헌 연도가 1666으로 기재되어 있다(통상 인용되는 초판 연도 1665와 다름). 이 노트는 논문 표기를 따랐다.
본문 산문에 직접 등장하는 유닛 ID는 4e:55 하나뿐이다. 4c:447·4b:373·4b:237·4b:491·4b:418은 도해 SVG 라벨에서만, curve detector 예시 ID와 3a:136은 universality 그림의 OpenAI Microscope 링크 URL에서 확인했다.
WebFetch의 응답 크기 제한을 넘는 페이지 크기(약 15MB, 이미지가 data URI로 인라인) 때문에 페이지 전체를 직접 내려받아 본문·SVG 라벨·이미지 링크를 추출하는 방식으로 읽었고, Circuits thread 목차는 별도 조회했다. 본문 전문을 확보했으므로 abstract-only 제약은 없다.
이 글이 예고하는 후속 논문들(Curve Detectors, Curve Circuits, Naturally Occurring Equivariance, High-Low Frequency Detectors, Visualizing Weights, Branch Specialization, Weight Banding 등)은 모두 같은 Circuits thread에 속한다. 본 노트의 신뢰도 판정은 이 서론 에세이 안의 증거만으로 매긴 것이다.

연구	분석 단위	인과적 개입	정량 지표	핵심 차별점
Zoom In (본 논문)	개별 뉴런 / direction / 가중치 부분그래프	부분적 — feature visualization은 인과적, handwritten circuit은 구성적. 가중치 편집 검증은 미실행	없음	feature·circuit·universality를 세포설처럼 정식화하고 interpretability를 반증 가능한 자연과학으로 재정의
Network Dissection- Quantifying Interpretability of Deep Visual Representations	개별 유닛	✗ (상관 기반 정렬)	✅ IoU 기반 해석가능성 점수	유닛을 사람 라벨 개념 사전과 자동 정렬해 정량화. 본 논문이 요구하는 “그 feature임”의 엄밀한 확립에는 못 미친다고 볼 지점
Interpretability Beyond Feature Attribution- Quantitative Testing with Concept Activation Vectors (TCAV)	활성 공간의 방향(CAV)	✅ 방향 미분으로 개념 민감도 측정	✅ TCAV score + 통계 검정	”feature = direction”이라는 Claim 1의 가정을 공유하되, 방향을 사용자가 지정한 개념에서 지도학습으로 얻는다
Grad-CAM - Visual Explanations from Deep Networks via Gradient-based Localization	입력 픽셀 / 공간 위치	✗ (gradient 귀속)	✅ 지역화 정확도	모델 전체 결정을 입력 공간으로 되돌려 설명. Zoom In이 명시적으로 대비하는 계열
Ensembling Sparse Autoencoders	사전학습된 dictionary feature	✗ (재구성 기반 분해)	✅ 재구성 손실·희소성·feature 안정성	Zoom In이 남긴 polysemanticity/superposition 난제를 unfolding 경로로 공략하는 후대 계열의 대표

원자적 인사이트 (Zettelkasten)

틀릴 수 있는 강한 주장을 명시적으로 쓰는 것 자체가 연구 전략이다. 저자들은 Schwann의 세 번째 주장이 완전히 틀렸음을 먼저 밝힌 뒤 자신들의 세 claim을 내놓는다. 모호하게 옳은 주장보다 명확해서 반증 가능한 주장이 분야를 더 빨리 움직인다는 입장이며, 강령 문서를 쓸 때 재사용 가치가 높다.
polysemanticity는 학습 실패가 아니라 의도적 압축의 부산물일 수 있다. car detector 4c:447이 다음 층에서 순수 car detector로 이어지지 않고 개 탐지 뉴런들 위로 흩뿌려진다는 관측은, 모델이 “순수 뉴런을 가졌다가 일부러 섞었다”는 그림을 지지한다. 근거는 고차원 기하 — 공간은 직교 벡터를 $n$ 개만 허용하지만 준직교 벡터는 지수적으로 많이 허용한다. 이 한 문장이 이후 superposition·sparse dictionary learning 계열 전체의 출발점이 된다.
가중치의 대칭성은 문제의 대칭성을 반영한다. curve detector 방향이 회전하면 입력 가중치 패턴도 함께 회전하고, 같은 방향은 흥분·반대 방향은 곡선 위 모든 점에서 억제된다. 이 equivariance는 하나의 circuit을 이해하면 그 family 전체를 이해하게 만드는 압축 장치이며, motif 연구가 개별 circuit 연구보다 장기적으로 더 중요할 수 있다는 예측을 뒷받침한다.
불변성은 무시가 아니라 경우 분할로 구현될 수 있다. pose-invariant dog head detector는 눈·털·주둥이의 위치를 무시해서 만들어지지 않는다. 신경망은 좌·우 경로를 따로 만들고, 서로 억제시켜 대비를 날카롭게 한 다음 합집합한다. 불변 표현을 볼 때 “무엇을 버렸나”가 아니라 “어떤 경우들을 합쳤나”를 먼저 물어야 한다는 관점 전환이다.
분석 단위를 내리면 반증 가능성이 회복된다. 신경망 전체에 대해 robust하게 참인 진술을 만들기는 지극히 어렵지만, 열 개 남짓 feature의 부분그래프에 대해서는 “가중치를 이렇게 바꾸면 이렇게 될 것”이라는 예측을 하고 틀릴 수 있다. 충분히 작은 circuit에서는 행동에 대한 진술이 수학적 추론의 문제가 된다. 대가는 진술 범위의 축소이며, 이 트레이드오프는 interpretability 밖의 복잡 시스템 분석에도 그대로 옮겨 붙는다.
“이해 가능”과 “단순”은 다르다. 많은 뉴런이 처음에는 신비롭고 사전 추측을 배반하지만 대개 뒤에 단순한 설명이 있다. high-low frequency detector가 대표 사례 — 사람이 예상하지 못했지만 알고 나면 우아하다. 해석 실패를 “이 뉴런은 해석 불가능하다”로 결론짓기 전에 가설 공간이 좁았을 가능성을 먼저 의심해야 한다.

핵심 용어 정리

용어	정의
Feature	입력에 대한 스칼라 함수. 이 글에서 신경망 feature는 direction이며 흔히 개별 뉴런 그 자체다
Direction	한 layer 뉴런들의 선형결합. 동등하게 그 layer 표현 공간의 벡터. 개별 뉴런은 기저 방향이다
Circuit	신경망의 부분그래프. 노드는 뉴런 또는 direction이고, 인접 layer 두 노드 사이 엣지의 가중치는 실제 가중치( $n_{1} W n_{2}^{⊤}$ if 선형결합). convolution layer에서는 상대 위치별 2D 행렬
Circuit Motif	circuit에서 반복 발견되는 추상 패턴(equivariance, unioning over cases, superposition). 시스템생물학에서 착안
Equivariance	문제의 대칭성이 가중치의 대칭성으로 나타나는 현상. curve detector 방향이 돌면 입력 가중치 패턴도 함께 돈다
Unioning over cases	좌·우처럼 경우를 나눠 따로 탐지하고 합집합해 불변 “multifaceted” 유닛을 만드는 패턴. 두 경로가 서로 억제하므로 XOR 비슷한 성질을 갖는다
Superposition	circuit이 하나의 feature를 여러 뉴런에 걸쳐 퍼뜨리는 현상. 제한된 뉴런 수에 더 많은 feature를 담기 위한 것으로 추정된다
Polysemantic Feature	서로 무관한 여러 latent variable에 반응하는 feature(예: `4e:55`). 진짜 다면적 feature(pose-invariant dog head)와 구별된다. pure의 반대
Meaningful Feature	말로 표현 가능한 입력 속성에 진짜로 반응하는 feature. 잡음이 있거나 불완전해도 된다
Universal Feature	서로 다른 모델과 과제에서 신뢰성 있게 형성되는 feature
Family	같은 것의 작은 변형들을 탐지하는 한 layer 안의 feature 집합
Client Neuron	특정 이전 뉴런에 의존하는 후속 layer 뉴런. 원 탐지기는 curve detector의 client
Pre-paradigmatic science	Kuhn의 용어. 연구 대상·방법·평가 기준에 합의가 없는 상태. 바람직한 상태가 아니라 생산성이 낮은 국면이다

BibTeX

@article{olah2020zoom,
  author  = {Olah, Chris and Cammarata, Nick and Schubert, Ludwig and Goh, Gabriel and Petrov, Michael and Carter, Shan},
  title   = {Zoom In: An Introduction to Circuits},
  journal = {Distill},
  year    = {2020},
  note    = {https://distill.pub/2020/circuits/zoom-in},
  doi     = {10.23915/distill.00024.001}
}

줌인: 회로 입문 (Zoom In: An Introduction to Circuits)

줌인: 회로 입문 (Zoom In: An Introduction to Circuits)

먼저 이해하기

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX