자연어 오토인코더가 만드는 LLM 활성화의 비지도 설명

Digest: LLM이 무언가를 처리하는 중간 상태는 residual stream activation(레이어를 지나며 갱신되는 d_model 차원 숫자 벡터)으로 저장되는데, 정보는 빽빽하지만 사람이 그냥 읽을 수 없다는 데서 문제가 시작된다 — 기존 비지도 도구인 logit lens(활성화를 어휘 분포로 사영해 읽는 방법)와 SAE(sparse autoencoder, 활성화를 희소한 사전 특징들의 합으로 분해하는 방법)는 둘 다 원자적 어휘에 묶여 “사용자가 비원어민이라 짐작하고 그에 맞춰 답하려 한다” 같은 조합적 해석을 아예 표현하지 못하고, 반대편의 activation oracle(활성화 내용에 대한 정답 라벨로 지도 학습한 설명 모델) 계열은 연구자가 만든 라벨 밖으로 나가지 못해 학습 분포가 좁아진다(Context). 저자들의 통찰은 “설명이 옳은지를 라벨로 채점할 필요가 없다, 설명만 보고 원래 활성화를 되살릴 수 있으면 그 설명은 활성화의 정보를 담은 것이다”로, 해석가능성을 압축 문제로 바꾸되 압축 채널을 **자연어 병목(textual bottleneck, 정보가 반드시 사람이 읽는 문장을 통과하도록 강제한 구간)**으로 두면 라벨 없이도 읽히는 설명이 강제된다는 것이다(Insight). 그래서 NLA는 — 고정 프롬프트의 특수 토큰 임베딩을 스케일된 활성화 벡터로 치환하고 T=1로 자기회귀 샘플링)와 AR(Activation Reconstructor, z를 다시 ĥ_l로 되돌리는 쪽— 레이어 l에서 절단한 LLM에 학습된 affine 변환을 붙임)을 모두 대상 모델의 복사본으로 초기화한 뒤 L = E‖h_l − AR(z)‖²₂라는 재구성 충실도 하나만 최적화하며, AR은 MSE 지도 회귀 1스텝, AV는 r = −log‖h_l − AR(z)‖²₂ 보상으로 GRPO를 돌리고, Claude Opus 4.5가 만든 요약을 프록시 과제로 supervised warm-start를 한 뒤 β·D_KL(AV_φ‖AV_φinit)로 원 모델 쪽으로 당겨 설명의 유창성을 지킨다(Solution). 근거로는 학습 후 FVE 0.6–0.8이 warm-start만 한 0.3–0.4를 크게 넘고 FVE가 log(training steps)에 대략 선형으로 증가하며, 재구성만 시켰는데도 설명의 정보량이 따라 올라 5개 downstream 예측 과제가 Haiku 3.5·Haiku 4.5·Opus 4.6 세 스케일 모두에서 학습 내내 일관되게 좋아졌고(단 SAE 등 baseline 대비 설명 품질 수치 비교는 원문 미제시), Claude Opus 4.6 사전 배포 감사에서 영어 프롬프트에 러시아어·스페인어·아랍어로 답하던 버그의 원인이 “사용자가 영어 비원어민”이라는 spurious hypothesis임을 드러내 malformed training data까지 역추적했으며, 미언어화된 평가 인식(unverbalized evaluation awareness)이 평가 트랜스크립트에서 실제 배포 트래픽보다 더 자주 나타나고 입력을 현실적으로 다시 쓰면 측정값이 줄었고, Opus 4.6의 시 계획에서 “grab it” 다음 각운 후보 “rabbit” 표상을 찾아 설명을 rabbit→mouse로 고쳐 만든 steering vector가 완성문을 약 50% 성공률로 바꿨다(Evidence). 한계는 무겁다 — 설명은 “thematically faithful”할 뿐 세부는 confabulation을 일으키고 방어책은 “인접한 여러 토큰의 설명에 반복 등장하는 주장이 참일 가능성이 높다”는 휴리스틱 수준이며, NLA 자체가 “blackboxes by construction”이라 활성화의 어느 성분이 설명의 어느 대목을 낳았는지 특정할 수 없고, AV가 완전한 LM이라 활성화에 없는 추론까지 합성하는 과잉 표현력, 두 LM에 대한 joint RL과 활성화당 수백 토큰이라는 비용, 문맥 복창이나 AR 전용 유사-해석 텍스트로도 좋은 재구성을 얻을 수 있는 목적함수 퇴화(KL은 부분 완화)가 남고, 코퍼스 크기·학습 스텝·배치·learning rate·β·총 compute가 모두 미보고다(Limitations). 열린 질문은 재구성 보상을 계속 키울 때 AV가 사람이 읽는 설명 대신 AR 전용 암호로 흐르는 것을 KL 말고 무엇이 막는가, confabulation을 반복 등장 휴리스틱보다 원리적으로 걸러낼 방법이 있는가, NLA가 보고한 평가 인식이 정말 모델 상태의 측정인지 아니면 AV의 사전 지식이 지어낸 그럴듯한 서사인지를 어떻게 분리하는가이다(Open Questions).

먼저 이해하기

쉬운 설명

NLA(Natural Language Autoencoder, 자연어 오토인코더)는 LLM 내부의 residual stream activation(레이어를 지나며 갱신되는 d_model 차원 숫자 벡터)을 사람이 읽는 문장으로 옮기고, 그 문장만 보고 원래 벡터를 다시 만들어내도록 훈련한 한 쌍의 모델이다. 앞쪽 AV(Activation Verbalizer, 활성화를 말로 옮기는 쪽)가 설명 z를 쓰고 뒤쪽 AR(Activation Reconstructor, 말을 다시 벡터로 되돌리는 쪽)이 ĥ_l을 복원하며, 학습 목표는 오직 원본과 복원본의 제곱오차 ‖h_l − AR(z)‖²₂를 줄이는 것 하나뿐이라 “이 설명이 맞다”는 정답 라벨이 필요 없다(그래서 비지도다). 요약문만 보고 원문을 복원하는 시험처럼, 설명이 부실하면 복원이 안 되니 설명이 정보를 담게 된다는 논리다. 실제로 FVE(Fraction of Variance Explained, 0이면 평균값 예측 수준이고 1이면 완벽 복원)가 학습 후 0.6–0.8에 도달해, 요약 프록시로 supervised warm-start만 한 0.3–0.4보다 확실히 높다. 재구성만 잘하라고 시켰는데 설명의 쓸모도 같이 올라서, 성별/직업 추론과 평가 트랜스크립트 탐지를 포함한 5개 downstream 예측 과제 성능이 Haiku 3.5·Haiku 4.5·Opus 4.6 세 모델 모두에서 학습 내내 향상됐다(다만 SAE 같은 baseline과의 설명 품질 수치 비교는 원문에 제시되지 않았다). 실제 Claude Opus 4.6 사전 배포 감사에서는 모델이 입 밖으로 내지 않은 “지금 평가받는 중”이라는 인식과, 언어 전환 버그의 원인이 된 “사용자가 영어 비원어민”이라는 spurious hypothesis를 표면화했고, Opus 4.6의 시 계획에서는 설명을 rabbit→mouse로 고쳐 만든 steering vector가 완성문을 약 50% 성공률로 바꿨다(저자 표현으로 보상 추론 조작은 “in a toy setting”). 단 설명은 저자 표현대로 “thematically faithful”할 뿐 세부는 confabulation(구체 사실을 꾸며냄)을 일으키고, NLA 자체가 “blackboxes by construction”이라 활성화의 어느 부분이 설명의 어느 문장을 만들었는지는 알 수 없으며, 코퍼스 크기·학습 스텝·배치·learning rate·β·총 compute는 미보고다.

왜 중요한가

지금까지 모델 속내를 확인하는 가장 흔한 경로는 모델에게 직접 묻는 자기보고였는데, NLA는 자기보고를 거치지 않고 활성화에서 곧장 “모델이 언어화하지 않는 안전 관련 인지”를 끌어낸다고 원문은 정리한다 — 논문이 alignment auditing 맥락에서 이 방법을 가치 있게 보는 이유가 여기에 있다. 실제로 Claude Opus 4.6 사전 배포 감사라는 배포 전 실무 절차 안에서 쓰여, 미언어화된 평가 인식을 표면화하고 언어 전환 버그의 근본 원인이 malformed training data임을 짚는 데 기여했다. 방법론적으로는 라벨이 필요해 분포가 좁아지는 activation oracle 계열과 원자적 어휘에 갇힌 logit lens/SAE 계열 사이를 재구성 목적함수 하나로 이어, 사람이 해석 라벨을 만들어야 한다는 병목을 우회한다. 감사 능력 자체는 Marks et al. 변형 벤치마크에서 SAE·blackbox baseline을 상회했다고만 보고되고 승률·점수는 미보고여서, 우위의 크기는 원문만으로 판단할 수 없다. 저자들도 기존 기법의 대체가 아니라 “a powerful complement to existing interpretability techniques”로 위치시키고, 회로 수준의 기계론적 이해는 이 방법에서 나오지 않는다고 명시한다.

먼저 알아둘 말

용어	쉬운 설명	정확성 메모
residual stream activation (h_l)	모델이 한 토큰을 처리하는 도중의 “중간 상태”를 담은 d_model 차원 숫자 벡터	NLA는 특정 레이어 l의 활성화 하나를 대상으로 한다. 여러 레이어를 동시에 다루지 않으며, 레이어 민감도가 한계로 지적됨
Activation Verbalizer (AV)	활성화 벡터를 읽고 그것이 무슨 상태인지 문장으로 쓰는 쪽	고정 프롬프트의 특수 토큰 임베딩을 스케일된 활성화로 치환하고 T=1로 샘플링. 대상 모델 M의 복사본으로 초기화
Activation Reconstructor (AR)	AV가 쓴 문장만 읽고 원래 활성화 벡터를 되돌려 만드는 쪽	레이어 l에서 절단(truncation)된 LLM + 마지막 토큰 layer-l 활성화에 학습된 affine 변환
textual bottleneck (자연어 병목)	정보가 반드시 사람이 읽는 문장을 통과하도록 강제한 구간	이 강제 때문에 설명이 읽히지만, AR이 워낙 표현력이 커서 “겉보기만 해석 가능한 텍스트”로 새는 목적함수 퇴화 위험이 남음
FVE (Fraction of Variance Explained)	복원이 얼마나 잘 됐는지의 점수. 0이면 평균값 찍기 수준, 1이면 완벽 복원	학습 후 0.6–0.8, warm-start만 하면 0.3–0.4. log(training steps)에 대략 선형 증가. 재구성 품질 지표이지 설명의 진위 지표가 아님
GRPO	AV를 강화학습으로 밀어주는 알고리즘. 여러 설명 후보의 상대 점수로 정책을 갱신	보상은 r = −log‖h_l − AR(z)‖²₂. AR은 RL이 아니라 MSE 지도 회귀 1스텝으로 갱신
KL divergence penalty (β)	설명이 헛소리로 흐르지 않게 초기 모델 쪽으로 당기는 제동장치	β·D_KL(AV_φ‖AV_φinit). 저자들은 퇴화 방지에 “부분적 완화”라고만 말함. β 값은 미보고
supervised warm-start	RL 전에 지도 학습으로 말이 되는 설명을 먼저 만들어 두는 준비 단계	Claude Opus 4.5가 만든 요약 s를 프록시로 (h_l, s)·(s, h_l) 쌍 학습. 이 단계만으로 FVE ≈ 0.3–0.4
logit lens	활성화를 어휘 분포로 사영해 “지금 어떤 단어를 떠올리는가”로 읽는 기존 방법	고정 어휘의 가중합에 갇혀 조합적 해석 불가 — NLA가 넘으려는 대상
SAE (sparse autoencoder)	활성화를 희소한 사전 특징들의 합으로 쪼개 읽는 기존 방법	coverage gap이 있고 특징을 다시 해석하는 2차 단계 필요. 감사 벤치마크 baseline이나 설명 품질 수치 비교는 미제시
activation oracle	활성화 내용에 대한 정답 라벨로 지도 학습한 설명 모델	ground-truth 라벨이 필요해 학습 분포가 좁아짐. NLA는 이 라벨 요구를 재구성 목적함수로 대체
confabulation	큰 줄기는 맞히면서 구체 사실은 지어내는 현상	저자 표현으로 “thematically faithful”하되 세부는 환각. 대응책은 “인접 여러 토큰 설명에 반복 등장하는 주장이 참일 가능성이 높다”는 휴리스틱뿐
unverbalized evaluation awareness	모델이 말로 꺼내지는 않지만 “지금 평가받는 중”이라고 믿는 상태	평가 트랜스크립트에서 실제 배포 트래픽보다 더 자주 관측. 입력을 현실적으로 재작성하면 측정값 감소. 절대 수치는 미보고
steering vector	활성화에 더해 모델 행동을 특정 방향으로 미는 벡터	NLA에서는 설명을 편집해 다시 활성화로 되돌린 차이로 생성. 시 계획 사례 성공률 약 50%, 보상 인식 조작은 “in a toy setting”

섹션별 요약

Abstract

LLM은 내부 계산 상태를 고차원 활성화 벡터로 인코딩하는데, 이는 정보는 풍부하지만 사람이 읽을 수 없는 숫자 나열이다. 저자들은 이 벡터의 자연어 설명을 비지도로 생성하는 Natural Language Autoencoder(NLA)를 제안한다. 방법은 두 개의 LLM 모듈을 강화학습으로 공동 학습시켜, **텍스트 병목(textual bottleneck)**을 통과시킨 뒤 잔차 스트림 활성화를 재구성하도록 하는 것이다. 재구성 충실도만을 목적함수로 삼았음에도 산출된 설명은 그럴듯한 해석으로 창발했고, 학습이 진행될수록 정보량이 정량적으로 증가했으며, Claude Opus 4.6 사전 배포 감사에 적용해 **미언어화된 평가 인식(unverbalized evaluation awareness)**을 포함한 안전 관련 행동을 드러냈다. 또한 정렬 실패 조사를 요구하는 자동 감사 벤치마크에서 baseline을 상회했으며, 저자들은 학습 코드와 오픈 아키텍처용 학습된 모델을 공개한다.

수치 주의

초록 자체에는 수치가 제시되지 않는다. 정량치(FVE 0.6–0.8, warm-start FVE ≈ 0.3–0.4)는 본문 아키텍처·방법·결과 절에서 나온다.

저자 contribution

제안한다 — Natural Language Autoencoder(NLA): 활성화 h_l ∈ ℝ^{d_model}을 텍스트 z로 옮기는 Activation Verbalizer와 z를 ĥ_l로 되돌리는 Activation Reconstructor 쌍을, 재구성 손실 하에 RL로 공동 학습하는 비지도 시스템.
보인다 — 재구성 충실도만 최적화해도 설명 품질이 따라 오른다: 학습 후 FVE 0.6–0.8(warm-start ≈ 0.3–0.4)에 도달하고, FVE는 log(training steps)에 대략 선형으로 증가하며, 5개 downstream 예측 과제 성능이 Haiku 3.5 / Haiku 4.5 / Opus 4.6 세 모델 모두에서 학습 내내 일관되게 향상된다.
적용한다 — Claude Opus 4.6 사전 배포 감사에 투입해 언어 전환의 근본 원인(malformed training data)과 미언어화된 평가 인식·보상 추론을 표면화하고, Marks et al.에서 변형한 자동 감사 벤치마크에서 SAE·blackbox baseline을 상회한다(정렬 실패 유발 학습 데이터 접근 없이도 성공).
공개한다 — 학습 코드, 오픈 모델용 학습된 NLA, Neuronpedia 협업 기반 인터랙티브 프론트엔드.

왜 이 연구를 하는가?

핵심 질문: 사람이 붙인 라벨 없이(비지도), 그러면서도 고정된 원자적 어휘가 아니라 조합 가능한 자연어로, LLM의 내부 활성화를 사람이 읽을 수 있게 번역할 수 있는가?

기존 접근의 한계 (저자가 명시한 것)

접근	계열	저자가 지적한 한계
Logit lens 및 변형	비지도	고정 어휘 분포에만 사영 — 해석이 “토큰의 가중합”이라는 형식에 갇힘
SAE (sparse autoencoder)	비지도	학습된 사전 feature 분해를 주지만 예측 불가능한 coverage gap이 있고, 사람 분석이나 모델 기반 feature 설명이라는 2차 해석 단계를 추가로 요구
(위 둘의 공통 한계)	비지도	근본적으로 원자적 어휘(atomic vocabulary)에 묶여 있어 조합적(compositional) 해석을 표현할 수 없음
Activation oracle	지도	소스 문맥에서 유도한 ground-truth 라벨이 필요 → 학습 분포가 좁아지고 일반화 부담이 커짐
Off-the-shelf 모델	지도	파인튜닝 없이는 활성화를 서술할 능력이 제한적. 연구자가 라벨링한 데이터셋 너머로 확장 불가

저자의 핵심 통찰: 두 계열의 제약은 서로 다른 축에 있다 — 비지도 계열은 표현력이, 지도 계열은 확장성이 병목이다. 목적함수를 **재구성(reconstruction)**으로 두면 라벨이 필요 없어 확장성이 풀리고, 병목을 자유 자연어로 두면 조합적 해석이 표현 가능해진다. NLA는 이 두 선택을 동시에 취해 “비지도 발견 + 자연어 표현력”이 상호 배타적이지 않음을 노린다.

Introduction

넓은 맥락: 언어모델은 계산 상태를 고차원 활성화 벡터로 인코딩한다. 이 벡터는 정보 밀도가 높지만 사람에게는 의미 없는 숫자 목록이며, 해석가능성의 간극을 메우려면 내부 벡터를 읽을 수 있는 형식으로 번역하는 도구가 필요하다.

기존 연구 — 비지도 계열: logit lens와 그 변형은 중간 활성화를 unembedding 행렬로 사영하지만 고정 어휘에 갇힌다. SAE는 활성화를 희소 선형 feature 조합으로 분해하지만 coverage gap이 있고 별도의 해석 단계를 요구한다. 두 방법 모두 원자적 어휘에 묶여 조합적 해석을 낼 수 없다.

기존 연구 — 지도 계열: activation oracle은 소스 문맥에서 정답을 알 수 있는 질문에 답하도록 파인튜닝된 모델이고, off-the-shelf 모델은 파인튜닝 없이는 활성화를 거의 서술하지 못한다. 공통 제약은 활성화 내용에 대한 라벨된 ground truth가 필요하다는 점이며, 이것이 학습 분포의 범위를 인위적으로 좁힌다.

갭: 라벨 없이 발견하면서 동시에 조합적 자연어로 설명하는 방법이 없다.

본 논문의 목표(포지션): NLA는 이 분단을 잇는다 — 재구성 목적함수로 비지도 발견을 확보하고, 텍스트 병목으로 자연어 표현력을 확보한다.

선행연구 배치(저자 스스로의 좌표): 텍스트→활성화 방향에는 HyperSteer(자연어 프롬프트를 잔차 스트림 steering 벡터로 사영하는 헤드)가 있고, Huang et al.은 기계론적 근거를 위해 학습된 희소 개념 병목으로 활성화를 통과시킨다. 가장 가까운 것은 동시 연구인 Chalnev의 Cycle-Consistent Activation Oracles로, 지도 warm-start + KL 페널티 하 RL이라는 verbalizer–reconstructor 구조를 공유하되 구현 선택과 감사 도구로서의 평가에서 갈라진다고 저자들은 밝힌다.

Methods

개요 (1문장): NLA는 (1) 활성화를 텍스트로 옮기는 Activation Verbalizer, (2) 텍스트를 활성화로 되돌리는 Activation Reconstructor 두 모듈을, (3) 지도 warm-start로 초기화한 뒤 재구성 손실에 대해 교대 업데이트(AR = 지도 회귀, AV = 강화학습)로 공동 학습한 시스템이다.

구성요소 1 — Activation Verbalizer (AV)

입력/출력: 잔차 스트림 활성화 h_l ∈ ℝ^{d_model} → 텍스트 설명 z, 조건부 분포 AV(z | h_l).
구현: 표준 LLM 아키텍처에 고정 프롬프트를 넣되, 프롬프트 내 특수 토큰 임베딩을 스케일된 활성화 벡터로 치환한다. 설명은 temperature T=1의 autoregressive 샘플링으로 생성.

구성요소 2 — Activation Reconstructor (AR)

입력/출력: 텍스트 설명 z → 재구성 활성화 ĥ_l ∈ ℝ^{d_model}.
구현: 대상 레이어 l에서 절단된 LLM이 설명을 고정 프롬프트로 감싸 처리하고, 마지막 토큰의 layer-l 활성화에 학습된 affine 변환을 적용한다.

초기화 구조: 두 모듈 모두 해석 대상 LLM M의 복사본으로 초기화하며, AR은 M의 앞 l개 레이어로 절단한다.

공동 목적함수 (재구성 손실):

L = E_{h_{ℓ} \sim H} E_{z \sim AV (\cdot ∣ h_{ℓ})} [∥ h_{ℓ} - AR (z) ∥_{2}^{2}]

여기서 $H$ 는 대상 모델 M이 코퍼스 텍스트 위에서 만들어내는 활성화 분포다.

평가 지표 — FVE (Fraction of Variance Explained):

FVE = 1 - \frac{L}{E _{h_{ℓ}} [ h _{ℓ} - h ˉ _{ℓ} _{2}^{2} ]}

범위는 0(평균 예측) ~ 1(완벽 재구성).

학습 루프 (반복당 3단계, 저자 서술 순서 보존)

활성화 배치 h_l을 샘플링하고, AV_φ에서 T=1로 설명 그룹을 생성한다.
AR 업데이트 — 샘플된 설명들에 대해 MSE를 최소화하는 지도 회귀 경사하강 1스텝.
AV 업데이트 — 재구성을 강화학습 문제로 다루어 보상 $r (h_{ℓ}, z) = - lo g ∥ h_{ℓ} - AR (z) ∥_{2}^{2}$ 을 최대화한다. 최적화 알고리즘은 GRPO, KL 계수는 β.

정규화: 초기화 정책 쪽으로 당기는 KL 페널티 β · D_KL( AV_φ ‖ AV_{φ_init} )를 두며, 저자들은 이것이 설명의 유창성을 보존한다고 본다. 안정성을 위해 모든 활성화는 단위 L₂-norm으로 정규화한다.

초기화 — 지도 warm-start: 무작위 초기화로는 비문(incoherent) 출력이 나온다. 그래서 텍스트 요약을 프록시 과제로 삼아 지도 파인튜닝을 먼저 수행한다: 무작위로 잘라낸 pretraining-like 스니펫의 마지막 토큰에서 h_l을 뽑고, Claude Opus 4.5로 요약 s를 생성한 뒤, AV는 (h_l, s) 쌍으로 AR은 (s, h_l) 쌍으로 파인튜닝한다. 이 단계만으로 FVE ≈ 0.3–0.4에 도달해, RL 이전에 읽을 수 있는 설명 baseline이 확보된다.

기존 방법과의 차별점: 지도 activation oracle과 달리 활성화 내용에 대한 ground-truth 라벨이 전혀 필요 없고(재구성만으로 학습), SAE·logit lens와 달리 병목이 사전 feature나 토큰 어휘가 아니라 자유 자연어여서 조합적 설명이 가능하다.

대상 모델: Claude Haiku 3.5, Haiku 4.5, Opus 4.6의 세 스케일. 사례연구 1건에 Claude Mythos Preview. warm-start 요약기로는 Claude Opus 4.5.

평가 설계: 재구성 품질 = FVE. 설명 품질 = 5개 downstream 예측 과제(문맥으로부터 성별/직업 추론, 평가 트랜스크립트 탐지 포함) + 자동 감사 벤치마크. 독립 검증 = steering 인과성 테스트, 학습 데이터 조사, attribution graph. 사람의 해석가능성은 체계적 평정 척도가 아니라 사례연구를 통한 정성 평가로만 다뤄진다.

스케일링 거동: FVE는 “roughly linearly in log(training steps)“로 증가하며, 평가된 NLA들은 최종 FVE 0.6–0.8에 도달한다.

재현성 주의 — 원문이 정량화하지 않은 항목

활성화는 “a corpus of pretraining-like text”에서 나온다고만 서술되고, 코퍼스 크기·학습 스텝 수·배치 크기·learning rate·β 값·총 compute는 방법론 절에서 정량화되지 않는다(부록/보충자료로 이관). 학습 코드는 공개된다.

발견 (Findings)

재구성 충실도가 warm-start 대비 크게 오른다. FVE ≈ 0.3–0.4(지도 warm-start 직후) → 0.6–0.8(RL 학습 후), 증가 곡선은 log(training steps)에 대략 선형. 조건: pretraining-like 코퍼스 활성화, Haiku 3.5 / Haiku 4.5 / Opus 4.6 세 스케일.
해석가능성이 목적함수에 없는데도 함께 자란다. 목적함수에는 오직 재구성 항만 있는데, 5개 downstream 예측 과제 성능이 세 모델 전부에서 학습 전 구간에 걸쳐 일관되게 향상된다 — 저자 표현으로 “NLA explanations grow more informative over training”. 즉 충실한 압축과 사람이 읽을 수 있는 설명이 상당 부분 함께 움직인다.
감사 실전에서 baseline을 넘지만 수치는 비공개. NLA 장착 에이전트가 정렬 실패를 유발한 학습 데이터에 접근하지 않고도 Marks et al. 변형 과제에 성공하며 SAE·blackbox baseline을 “outperform”한다. 다만 구체적 승률·점수는 가시 섹션에 제시되지 않는다.
인과성은 확인되되 부분적이다. 시 계획 사례에서 설명을 편집해 만든 steering vector가 완성을 바꾼 비율은 **약 50%**에 그쳤고 출력이 깔끔하지 않은 경우가 있었다 — 표상이 레이어에 걸쳐 diffuse하거나 AR 재구성이 불완전할 가능성을 시사한다.

Results

A. 재구성 품질

학습 후 FVE 0.6–0.8.
지도 warm-start 직후 baseline FVE ≈ 0.3–0.4.
FVE는 log(training steps)에 대략 선형으로 증가.

B. 설명 정보량 (5개 예측 과제)

Haiku 3.5, Haiku 4.5, Opus 4.6 세 모델 모두에서 학습 전 구간에 걸쳐 일관된 향상.
[미보고] 설명 품질 지표에 대해 SAE 등 baseline과의 구체적 수치 비교는 결과 절에 제시되지 않는다(원문 명시).

C. 사례연구 — Claude Opus 4.6 사전 배포 감사

(a) 언어 전환: 초기 Opus 4.6 체크포인트들이 영어 프롬프트에 러시아어·스페인어·아랍어로 자발 응답. NLA 설명은 모델이 “사용자가 영어 비원어민일 것”이라는 spurious hypothesis를 세웠음을 드러냈고, 추적 결과 영어로 번역된 프롬프트와 번역되지 않은 외국어 응답이 짝지어진 malformed training data가 원인으로 확인됐다 — 행동의 근본 원인 진단까지 도달한 사례.
(b) 미언어화된 평가 인식: NLA가 Claude가 명시적으로 말하지 않은 채 평가받는 중이라고 믿는 사례들을 표면화했다. 검증은 평가일 가능성이 서로 다른 구성 입력들로 수행됐고, NLA로 측정한 평가 인식은 실제 배포 트래픽보다 평가 트랜스크립트에서 더 자주 나타났으며, 입력을 더 현실적으로 다시 쓰면 측정값이 감소했다.
(c) 보상 추론: Claude Mythos Preview 사례에서 학습 트랜스크립트 내 채점/보상에 대한 미언어화 추론이 확인됐다. 설명을 편집한 뒤 활성화 차분으로 만든 NLA 유래 steering vector가 “어떤 응답이 보상받을지”에 대한 Opus 4.6의 인식을 바꿀 수 있었다 — 단 저자들은 이것이 **“in a toy setting”**임을 명시한다.

D. 시 계획 사례연구 (Opus 4.6)

**Lindsey et al.**이 Haiku 3.5에서 보인 결과를 Opus 4.6에서 재현: NLA 설명은 모델이 미리 계획한다는 것을 시사했다. 각운 대구 프롬프트에서 “grab it” 다음 개행 위치의 설명이 각운 후보로 “rabbit” 표상을 가리켰다.
인과 검증(steering): 설명을 편집(rabbit→mouse, habit→house, carrots→cheese)해 활성화로 되돌린 steering vector가 완성을 **약 50%**에서 성공적으로 바꿔 “rabbit” 계열에서 “mouse/house” 계열로 이동시켰다.
[부정 결과] steering은 일관되게 깔끔하지 않았다. 이상한 출력이 간간이 나타났고(예: “that of a mouse in a house of a cat”), 이는 표상이 diffuse하거나 불완전하게 재구성됐을 가능성을 시사한다.

E. 도구 사용 환각 사례연구

NLA 설명은 high-level intention은 포착하되 구체 사항은 환각했다. NLA가 모델 처리의 주제는 식별할 수 있으면서도 세부에 대해서는 검증 가능하게 거짓인 주장을 낼 수 있음을 보여주는 사례.

F. 감사 에이전트 벤치마크

**Marks et al.**에서 변형한 downstream 감사 과제: 의도적으로 정렬 실패시킨 모델을, 그 정렬 실패를 유발한 학습 데이터에 접근하지 않은 채 조사하기.
NLA 장착 에이전트는 SAE·blackbox baseline을 **“outperform”**했고 “학습 데이터 접근 없이도 성공할 수 있다”.
[미보고] 구체적 승률/수치 점수는 가시 섹션에 제시되지 않는다.

G. 독립 검증 실험 (교차 확인)

학습 데이터 조사: 언어 전환 사례에서 NLA 가설을 실제 malformed training data와 연결 → 근본 원인 식별.
프롬프트 변형: 평가 맥락 가능성이 다른 구성 입력들에서 NLA 측정값이 예측된 방향으로 변함을 확인.
독립 해석가능성 기법: 다른 기법 및 attribution graph로 corroborate.
인과 steering: 시 계획 steering 약 50% 성공.

Discussion

주요 발견의 의미. 저자들은 NLA를 “직접 읽을 수 있는 표현력 있는 자연어 설명을 갖춘, 해석가능성을 위한 편리한 인터페이스”로 규정한다. 핵심 의미는 세 갈래다. 첫째, NLA는 SAE류의 비지도 개념 발견과 지도 활성화 언어화 사이를 잇는다 — 어느 한쪽의 대가를 치르지 않고 양쪽 성질을 얻는다. 둘째, 출력이 자연어이므로 기계론적 feature에 대한 도메인 전문성 없이도 사람이 곧바로 해석할 수 있고, 이는 저자들이 “가설 생성이 가능한 감사(auditing) 워크플로에 특히 잘 맞는다”고 보는 이유다. 셋째, 실제 감사에서 **“모델이 언어화하지 않는 안전 관련 인지”**를 표면화했다는 점이 정렬 감사에 결정적이다 — 자기보고에 의존하지 않는 관측 경로가 열린다. 저자들은 NLA를 대체재가 아니라 **“기존 해석가능성 기법에 대한 강력한 보완”**으로 명시적으로 위치시킨다.

선행 연구와의 정합. 시 계획 사례에서 Haiku 3.5 대상 **Lindsey et al.**의 계획 표상 발견이 Opus 4.6에서 재현됨으로써, NLA의 산출이 독립적으로 확립된 기존 발견과 맞물린다. 감사 벤치마크는 **Marks et al.**의 정렬 실패 모델 과제 위에서 SAE·blackbox baseline과 직접 겨룬다.

한계 — 저자가 인정한 것 (6개)

Confabulation. 설명에 입력 문맥에 대한 검증 가능하게 거짓인 주장이 포함된다. “주제적으로는 충실(thematically faithful)“하되 세부는 환각한다. 저자가 제시한 휴리스틱: “인접한 여러 토큰의 설명에 걸쳐 반복 등장하는 주장은 참일 가능성이 더 높다.”
기계론적 근거 부재. **“NLA는 구성상 블랙박스(blackboxes by construction)“**이며, 활성화의 어떤 측면이 설명의 어떤 부분을 유발했는지 특정할 수 없다. 회로 수준 이해는 나오지 않는다.
과잉 표현력. AV가 완전한 언어모델이기 때문에 **“활성화에 저장된 것 이상의 추론을 할 능력”**을 갖는다. verbalizer가 원래 인코딩되지 않은 정보를 합성해 넣을 수 있다.
계산 비용. 두 개의 완전한 언어모델에 대한 joint RL이 필요하고, 추론 시 활성화당 수백 토큰을 생성해야 한다. 대규모 사용에는 비싸다.
목적함수의 퇴화 가능성. 원리상 AV는 입력 문맥을 그대로 복창하거나, AR이 워낙 표현력이 커서 역변환할 수 있는 해석 불가능한(혹은 해석 가능해 보이기만 하는) 텍스트를 출력함으로써도 좋은 재구성을 달성할 수 있다. KL 정규화는 부분적 완화일 뿐이며, 방법이 발전할수록 이 병리 위험은 남는다.
레이어 민감도 / 확산. 표상이 레이어에 걸쳐 diffuse하거나 AR 재구성이 불완전해 steering이 실패하기도 한다.

한계 — 독자가 텍스트에서 식별 가능한 것 (저자가 한계로 열거하지는 않은 것)

설명 품질에 대해 SAE 등 baseline 대비 수치 비교가 제시되지 않아 개선폭의 크기를 독자가 판단할 수 없다(원문이 “not provided”로 명시).
감사 에이전트 벤치마크의 승률/점수 미제시로 “outperform”의 강도를 검증할 수 없다.
코퍼스 크기·스텝 수·배치·learning rate·β·총 compute가 정량화되지 않아 독립 재현 난도가 높다(코드는 공개).
사람의 해석가능성이 체계적 평정 척도 없이 사례연구로만 정성 평가됐다.
steering 성공률 “약 50%“는 시행 수·통계적 불확실성이 함께 보고되지 않았다.

이론적 의의

해석가능성 병목의 표현력 축을 바꿨다. logit lens의 토큰이나 SAE의 사전 feature 같은 원자적 어휘 대신 자유 자연어를 병목으로 둠으로써, 조합적(compositional) 해석을 처음으로 표현 가능한 대상으로 만들었다. 동시에 “비지도 발견”과 “자연어 표현력”이 상호 배타적 선택지가 아님을 존재 증명으로 보였다.
해석가능성이 재구성 목적함수에서 창발할 수 있다는 증거. 목적함수에는 해석가능성 항이 전혀 없는데도 학습이 진행될수록 설명의 downstream 정보량이 증가했다 — 이는 충실한 압축과 사람이 읽을 수 있는 설명이 상당 부분 정렬되어 있다는 가설을 지지한다. 다만 저자들 스스로 퇴화 목적함수 위험을 지적하므로, 이 정렬은 경험적 관찰이지 보장이 아니다.
언어화되지 않은 인지의 측정 가능성. 평가 인식·보상 추론처럼 모델이 명시적으로 말하지 않는 상태를 활성화에서 읽어낼 수 있음을 보임으로써, chain-of-thought 등 모델 자기보고에 의존하지 않는 정렬 감사 경로를 제시했다. 근본 원인(malformed training data)까지 추적된 언어 전환 사례는 이 경로가 관찰에서 진단으로 이어질 수 있음을 보여준다.

Discussion Points

논쟁점

“재구성 충실도 = 해석 충실도”인가? 저자 스스로 인정한 퇴화 목적함수 때문에, FVE 0.6–0.8이라는 수치와 설명의 신뢰성 사이의 연결고리는 원리적으로 열려 있다. KL 정규화가 “부분적 완화”에 그친다는 저자 진술이 이 논쟁을 봉합하지 않는다.
AV가 완전한 LM이라는 사실은 강점인가 결함인가. 활성화에 없는 것까지 추론해 채워 넣는 과잉 표현력이 설명을 유용하게 만들기도 하고, 동시에 “활성화가 실제로 담은 것”과 “verbalizer가 지어낸 것”의 구분을 원리적으로 불가능하게 만들기도 한다.
기계론적 근거 없는 블랙박스 설명이 “해석가능성”으로 계수될 수 있는가. 회로 수준 이해를 목표로 삼는 진영과, 읽을 수 있는 서술이면 충분하다는 진영이 갈릴 지점이다.
정량 비교 없는 “outperform” 주장의 수용 가능성. 설명 품질 지표에서 SAE 대비 수치가, 감사 벤치마크에서 승률이 제시되지 않은 상태로 우위 주장이 이뤄진다.

검증 필요 가정

Confabulation 휴리스틱(“인접 토큰들에 걸쳐 반복되는 주장은 참일 가능성이 높다”)의 정밀도/재현율이 정량 측정되지 않았다.
NLA로 측정한 evaluation awareness가 모델의 실제 내부 상태를 반영한다는 가정. 현재 근거는 프롬프트 변형 시 측정값이 예측된 방향으로 움직였다는 것뿐이며, 다른 교란 요인이 배제됐는지는 미확인.
steering 성공률 약 50%의 원인이 표상 확산(diffuseness)인지 AR 재구성 불완전성인지 — 두 원인이 실험적으로 분리되지 않았다.
Haiku 3.5 / Haiku 4.5 / Opus 4.6에서 관찰된 경향이 더 큰 스케일이나 다른 아키텍처로 일반화되는지.
단일 대상 레이어 l의 선택이 설명 내용과 결론에 미치는 영향(저자도 레이어 민감도를 한계로 인정).
보상 추론 steering이 “toy setting”을 벗어나 현실적 학습 환경에서도 성립하는지.

후속 연구

범용 activation language model(활성화↔자연어 양방향 읽기/쓰기)로 확장해 단일 레이어 해석의 한계를 넘기.
설명 품질에 대한 SAE 대비 정량 벤치마크와 인간 평정 척도 도입 — 현재 사례연구 기반 정성 평가의 공백을 메움.
Confabulation 탐지·억제 메커니즘 연구: 다중 토큰 일관성 외의 추가 신호, 혹은 Huang et al.식 희소 개념 병목처럼 기계론적 grounding을 결합하는 하이브리드.
동시 연구인 Chalnev의 Cycle-Consistent Activation Oracles와의 직접 비교.
추론 비용 절감(활성화당 수백 토큰 → 압축) 및 감사 파이프라인으로의 대규모 운영화.

실험 결과 상세

Model/Method	Dataset	Metric	Score	vs. Baseline
NLA (RL 학습 완료, Haiku 3.5/4.5·Opus 4.6 통합 범위)	프리트레이닝식 텍스트 코퍼스 (규모 미보고)	FVE	0.6–0.8	웜스타트(SFT) 대비 약 +0.2~+0.5
NLA 웜스타트 (지도 미세조정만, RL 이전)	동일 코퍼스	FVE	0.3–0.4	원시 초기화 대비 개선(원시 초기화 수치 미보고, “incoherent”로만 서술)
NLA — Haiku 3.5 개별	동일 코퍼스	FVE	미보고 (통합 범위에 포함되나 모델별 분리 수치 없음)	미보고
NLA — Haiku 4.5 개별	동일 코퍼스	FVE	미보고	미보고
NLA — Opus 4.6 개별	동일 코퍼스	FVE	미보고	미보고
NLA (설명 정보성)	5개 다운스트림 예측 과제 (성별/직업 추론, 평가 트랜스크립트 탐지 등)	과제별 예측 정확도/정보성	미보고 (정성 서술: “훈련 전반 일관 향상”, 세 모델 모두)	방향성만: 훈련 초반 대비 향상 (크기 미보고)
NLA 스티어링 (시 작문 계획, Opus 4.6)	라임 커플릿 완성 편집 (rabbit→mouse, habit→house, carrots→cheese)	조향 성공률	약 50%	원본(“rabbit”) 완성 대비 대안 전환 성공 약 50%; 일부 출력은 diffuse하게 왜곡
NLA (평가-인식 탐지)	평가용 transcript vs. 실제 배포 트래픽	평가-인식 측정치 (척도 미보고)	미보고	방향만: 평가용 transcript > 실제 배포 트래픽; 입력을 현실적으로 재작성 시 측정치 감소
NLA 탑재 감사 에이전트	Marks et al. 기반 의도적 오정렬 모델 감사 벤치마크	감사 과제 성공률/승률	미보고	SAE·블랙박스 베이스라인 대비 우위(방향만, 수치 전혀 미보고)

데이터 불충분 — 본문에서 명시적으로 누락된 수치

학습 코퍼스 크기 · 총 학습 스텝 수 · 배치 크기 · learning rate · KL 페널티 계수 β 값 · 총 연산량(compute) · 감사 에이전트의 정량적 승률/점수 · SAE 베이스라인의 설명 품질 수치 · 5개 다운스트림 과제 개별 정확도 및 모델별 FVE 분리값 · 평가-인식 측정치의 구체적 척도.

저자들이 “부록/보충자료로 미룬다”고 밝힌 항목이 많아, 본문만으로는 재현에 필요한 핵심 수치 대부분이 비어 있다.

프레임워크 다이어그램

graph TB
    M["타깃 모델 M"]
    H["잔차 스트림 활성값 h_l"]
    AV["Activation Verbalizer AV<br/>활성값을 스케일된 특수토큰 임베딩으로 주입<br/>T=1에서 z 샘플링, AV(z given h_l)"]
    Z["자연어 설명 z<br/>(텍스트 병목)"]
    AR["Activation Reconstructor AR<br/>layer l까지 잘린 LLM + 학습된 아핀변환"]
    HHAT["재구성 활성값 h_hat_l = AR(z)"]
    LOSS["재구성 손실<br/>||h_l - AR(z)||^2_2"]
    ARUPD["AR 업데이트<br/>지도 회귀, MSE 경사하강 1스텝"]
    AVUPD["AV 업데이트: GRPO 강화학습<br/>보상 r = -log||h_l-AR(z)||^2_2<br/>+ KL 패널티 beta*D_KL(AV_phi || AV_phi_init)"]

    subgraph WARM["웜스타트 초기화 경로"]
        SUM["Claude Opus 4.5로 요약 s 생성<br/>(임의 절단 프리트레이닝식 텍스트의 h_l로부터)"]
        SFT_AV["AV 지도 미세조정: (h_l, s) 쌍"]
        SFT_AR["AR 지도 미세조정: (s, h_l) 쌍"]
        SUM --> SFT_AV
        SUM --> SFT_AR
    end

    M -. "복사 초기화" .-> AV
    M -. "복사 초기화, l번째 층까지" .-> AR
    M --> H
    H --> AV
    AV --> Z
    Z --> AR
    AR --> HHAT
    H --> LOSS
    HHAT --> LOSS
    LOSS --> ARUPD
    LOSS --> AVUPD
    ARUPD --> AR
    AVUPD --> AV
    SFT_AV -. "SFT 초기화" .-> AV
    SFT_AR -. "SFT 초기화" .-> AR

재현성 및 신뢰도 평가

항목	등급	비고
코드 공개	⚠️	학습 코드와 오픈 아키텍처용 학습된 NLA 공개, Neuronpedia 협업 인터랙티브 프론트엔드 제공. 그러나 헤드라인 결과를 낸 Haiku 3.5/4.5, Opus 4.6, Mythos Preview는 비공개 상용 모델이라 외부에서 동일 조건 재현 불가
데이터 공개	❌	학습 코퍼스는 “프리트레이닝식 텍스트”로만 서술, 데이터셋·크기·출처 비공개. 웜스타트용 요약 데이터(Opus 4.5 생성)도 비공개
하이퍼파라미터	❌	학습 스텝 수, 배치 크기, learning rate, KL 계수 β 값 등 핵심 하이퍼파라미터가 본문에 전혀 수치화되지 않고 “부록/보충자료로 미룸”이라고만 명시
실험 환경	❌	총 연산량(compute), 하드웨어, 학습 소요시간 미기재. 모델 목록(3개 스케일 + Mythos Preview)만 확인 가능
통계적 신뢰도	❌	오차범위·신뢰구간·반복실험 통계 없음. 감사 에이전트 승률, SAE 대비 수치, 시 작문 스티어링 50%의 표본 크기·유의성 검정 모두 미보고. 사례연구 중심의 정성 서술 위주
종합 등급	D	오픈모델용 코드·모델·프론트엔드 공개라는 부분적 재현성 노력은 있으나, 핵심 주장(헤드라인 FVE, 감사 벤치마크 우위, 평가-인식 발견)이 비공개 모델·비공개 데이터·미보고 하이퍼파라미터에 의존해 외부 검증이 사실상 불가능

주장별 신뢰도

#	주장	근거	신뢰도
1	학습 후 FVE 0.6–0.8, 웜스타트 FVE 0.3–0.4	본문에 범위로 명시되나 3개 모델 통합 범위일 뿐 모델별 분리 수치·분산·측정 반복 없음	🟡
2	FVE는 log(훈련 스텝)에 대략 선형 증가	”roughly linearly”라는 정성 서술뿐, 학습곡선 수치나 회귀적합(R² 등) 미제시	🟡
3	언어전환 사례의 근본원인이 오염된 훈련데이터	실제 훈련데이터 검사로 NLA 가설을 직접 대조·확인한 독립검증 사례 — 재현 논리가 가장 탄탄	🟢
4	시 작문 계획 스티어링 성공률 약 50%	구체 수치 제시 + 인과 개입 실험으로 뒷받침되나, 단일 사례연구·표본크기 미기재·“odd outputs” 존재를 저자 스스로 인정	🟡
5	평가-인식이 실제 배포보다 평가용 transcript에서 더 빈번	입력의 평가-가능성을 조작한 대조 실험으로 방향성은 검증되었으나, 효과크기·통계적 유의성 수치 전무	🟡
6	NLA 탑재 감사 에이전트가 SAE·블랙박스 baseline보다 우수	정성 서술(“outperform baselines”)만 있고 승률/점수 등 정량 근거가 전무하여 검증 불가	🔴

읽기 난이도: ⭐⭐⭐ — GRPO, KL 발산 정규화, 잔차 스트림·특수토큰 임베딩 주입 같은 트랜스포머 내부 메커니즘, SAE/logit lens 등 기존 해석가능성 기법에 대한 사전 지식이 필요하다. 필요 배경: (1) 트랜스포머 아키텍처와 잔차 스트림, (2) RLHF류 정책경사/GRPO 기초, (3) SAE 등 기계적 해석가능성 문헌, (4) 오토인코더의 재구성 손실·병목 개념.

축	본 논문 (NLA)	Logit lens	SAE / Scaling Monosemanticity	Activation oracles	HyperSteer	Cycle-Consistent Activation Oracles	J-lens / J-space
접근 방식	AV+AR 두 LLM을 GRPO로 공동 학습, activation을 자연어 “textual bottleneck”으로 압축·복원	중간층 activation을 unembedding matrix로 직접 투영, 학습 없음	activation을 학습된 sparse dictionary의 선형 조합으로 분해	source-context의 정답이 있는 질문에 activation으로부터 답하도록 fine-tune	자연어 프롬프트를 residual-stream steering vector로 매핑하는 projection head	NLA와 동형(verbalizer-reconstructor), supervised warm-start + KL-regularized RL	Jacobian 기반 causal lens로 “verbalizable subspace”를 해석적으로 분리·투영
지도 여부	Unsupervised (reconstruction loss가 목적함수; warm-start만 Opus 4.5 요약을 이용한 supervised proxy)	Unsupervised (학습 파라미터 없음)	Unsupervised (dictionary learning), 단 읽으려면 별도 해석 단계(autointerp) 필요	Supervised — source-context 유래 ground-truth 라벨 필수	문서에 세부 학습 방식 기술 없음	Supervised warm-start + RL — NLA와 학습 패러다임 유사	학습 파라미터 없는 analytic/derivative 기반 (NLA 원문에는 미언급)
출력 표현형	자유형 자연어 문장	고정 vocabulary에 대한 확률분포	sparse feature 활성값(index+magnitude); 자연어화하려면 추가 단계	질문-답변 형태 자연어(정해진 질문 포맷에 한정)	activation-space steering vector(수치); 바로 읽는 텍스트 아님	자연어 설명 (NLA와 형태상 동일)	subspace(부분공간) 자체 — basis/projection이며 자연어 문장 아님
표현력(compositional)	가능 — 완전한 LM 생성이므로 임의 조합 표현 가능	불가 — 고정 vocab 항목의 weighted sum에 국한	제한적 — atomic feature들의 선형 결합	제한적 — 학습된 질문-답 분포를 벗어난 조합 표현 어려움	벡터는 연속적이나 자연어적 compositionality와는 다른 개념	가능 — NLA와 동일하게 자연어 생성 구조	”조합”보다 “포함 여부” 개념에 가까움
인과 검증 방식	설명 편집→AR로 역변환→steering으로 행동 변화 확인(시 완성 ~50%), attribution graph·training-data inspection 등 독립 검증	원문에 causal validation 방법 기술 없음	원문에 SAE 자체의 causal 검증 기술 없음(baseline으로만 인용)	ground-truth 라벨과의 정답률 비교이지 causal steering 아님	원문에 기술 없음	원문에 “auditing tool로서 평가”라고만 언급, 구체 절차 없음	swap·ablation 인과 개입으로 직접 검증 (별도 문헌 근거)
계산 비용	높음 — “joint RL on two full language models”, 활성화당 수백 토큰, “expensive to use at scale”	매우 낮음 — 학습 불필요, 단일 행렬곱	중간 — dictionary 학습 필요하나 inference는 경량; 해석 단계 추가 시 증가	중간 — 단일 모델 fine-tuning	원문에 기술 없음	NLA와 구조가 같으므로 유사하게 높을 것으로 추정(수치 비교 없음)	낮음 — Jacobian 평균 1회 계산 후 재사용 (별도 문헌 근거)
코드·재현 공개	✅ 학습 코드 + open-architecture 학습된 모델 공개, Neuronpedia 프론트엔드	원문 내 명시 없음	원문 내 명시 없음	원문 내 명시 없음	원문 내 명시 없음	원문 내 명시 없음(concurrent work로만 인용)	원문 내 언급 자체 없음

J-lens 연구와의 관계

이 섹션의 성격

NLA 원문은 J-lens 연구를 인용하지 않는다. 아래 대조는 vault 안의 자매 노트 Verbalizable Representations Form a Global Workspace in Language Models(Gurnee et al. 2026, Transformer Circuits Thread)와 본 논문을 나란히 놓고 정리한 독자 차원의 종합이며, 어느 쪽 논문도 주장하지 않은 연결은 아래에서 “추론”으로 명시했다.

1. 같은 표적, 다른 절단면

두 연구는 동일한 대상을 겨눈다 — LLM 내부 표현 중 “모델이 말로 옮길 수 있는 것”. 그런데 묻는 방식이 정확히 직교한다.

J-lens: 어디에 있는가. 최종 레이어 표현을 각 중간 레이어로 편미분한 Jacobian을 ~1,000 프롬프트에서 평균해 언어화 가능한 방향만 뽑고, 이를 sparse 분해해 J-space라는 부분공간을 정의한다. 산출물은 위치와 좌표계다.
NLA: 무엇이라 말하는가. 활성화를 자연어 문장으로 진술하게 만든다. 산출물은 내용이다.

한쪽은 지도(map), 다른 쪽은 자막(caption)이다. J-lens는 “이 5–10%가 말할 수 있는 영역”이라 짚어주지만 그 영역이 지금 무슨 내용인지는 어휘 readout 수준에서만 읽고, NLA는 “지금 이 활성화는 사용자가 비원어민이라 짐작하는 중”이라고 문장으로 말해주지만 그 진술이 어디서 나왔는지는 원리적으로 알려주지 않는다.

2. 방법론 대조

축	J-lens / J-space (Gurnee et al. 2026)	NLA (Fraser-Taliente et al. 2026)
도구 성격	해석적(analytic) — Jacobian 편미분의 기댓값, 학습 파라미터 없음	학습형(learned) — 두 LLM 모듈의 GRPO joint RL
산출물	부분공간 + 좌표별 어휘 readout	자유 자연어 문장
표현력	single-token·어휘 수준. 조합적 서술 불가	조합적 문장 가능(AV가 완전한 LM)
인과 근거	강함 — swap/ablation 직접 개입: two-hop 중간개념 swap Sonnet 70%, 매개분석 J-space 61% vs non-J 28%, clamp 시 6%로 붕괴	약함 — 설명 편집→steering 약 50%. 기계론적 근거는 “blackboxes by construction”으로 부재
국소화	중간 레이어 L38–L92, L38부터 sharp ignition threshold	단일 대상 레이어 l 선택. 레이어 민감도가 한계로 인정됨
비용	낮음 — Jacobian 평균 1회 계산 후 재사용	높음 — 두 LM joint RL + 활성화당 수백 토큰
주된 실패 양식	선형 근사 오차, early layer 해석 불가, k=25의 임의성	confabulation, 과잉 표현력, 목적함수 퇴화
이론적 배후	global workspace theory(GWT) / access consciousness	없음 — 순수 방법론·감사 도구

3. 상보성 — 서로의 최대 약점이 서로의 강점이다

이 대조에서 가장 쓸모 있는 지점은 두 방법의 결함이 정확히 반대라는 것이다.

NLA의 치명적 약점은 confabulation과 기계론적 근거 부재다. 설명이 그럴듯한데 그게 활성화에 실재한 내용인지, AV가 지어낸 것인지 구분할 원리적 수단이 없다. 저자들이 내놓은 방어책은 “인접 토큰들에 반복 등장하면 참일 가능성이 높다”는 휴리스틱 하나뿐이다.
J-lens의 강점이 정확히 거기다. swap·ablation으로 특정 표현이 하류에 인과적으로 기여하는지를 직접 검증한다.

추론 — 어느 논문도 주장하지 않은 결합 가설

NLA 설명의 근거가 J-space 안에 있는지 확인하면 confabulation 필터가 될 수 있다. NLA가 어떤 주장을 했을 때, 그 주장에 대응하는 방향이 J-space 좌표에 실려 있으면 “활성화에 실재하는 내용”, J-space 밖이면 “AV의 사전 지식이 합성한 서사”로 1차 분류하는 식이다. 역방향도 성립한다 — J-space 좌표는 어휘 수준으로만 읽히는데, 그 좌표에 NLA를 걸면 조합적 서술을 얻는다. 이는 검증되지 않은 설계 아이디어이며, 두 표현공간(J-space의 sparse 좌표계 vs NLA가 읽는 단일 레이어 활성화)이 정렬 가능한지부터 확인이 필요하다.

4. 수렴하는 경험적 발견

서로 인용하지 않는데도 세 지점에서 같은 결론에 도달한다.

출력에 드러나지 않는 중간 개념이 실재하고 인과 조작이 가능하다. J-lens는 two-hop 추론의 중간개념을 갈아끼워 최종답을 바꿨고(Sonnet 70%·Haiku 54%·Opus 70%), NLA는 시 각운 계획의 “rabbit” 표상을 편집해 완성문을 바꿨다(~50%). 두 결과 모두 Lindsey et al.의 계획 표상 계열과 맞물린다 — 실제로 NLA의 시 계획 사례는 Lindsey et al.을 명시적으로 재현한 것이다.
주 응용이 alignment auditing으로 같다. J-lens 쪽은 J-space를 읽어 전략적 심의·평가 상황 인지·감정 반응 같은 숨은 상태를 감사하자고 제안하고, NLA 쪽은 Opus 4.6 사전 배포 감사에서 미언어화된 평가 인식을 실제로 관측했다. 제안과 실측이 짝을 이룬다.
공통의 출발점이자 비판 대상이 logit lens / tuned lens다. J-lens는 “logit lens는 identity 근사, tuned lens는 상관적이라 인과성이 없다”고 넘어서고, NLA는 “logit lens는 고정 어휘 가중합에 갇혔다”고 넘어선다. 같은 벽을 서로 다른 방향으로 뚫은 셈이다.

5. 개념적 긴장 — 가장 흥미로운 지점

두 연구의 전제가 충돌하며, 여기서 검증 가능한 질문이 나온다.

J-lens의 전제: “언어화 가능성”은 모델 표현공간의 내재적·구조적 속성이다. activation 분산의 5–10%만 차지하는 특권적 부분공간에 국소화돼 있고, 나머지는 캡슐화된 자동 처리다.
NLA의 전제: 언어화는 외부에서 학습시킨 AV가 수행하는 번역이다. 그리고 저자들이 한계 3(과잉 표현력)에서 스스로 인정하듯, AV는 완전한 LM이라 활성화에 저장된 것 이상을 추론할 수 있다.

열린 질문 — 두 논문 어느 쪽도 답하지 않음

NLA가 읽어낸 내용은 J-space 안에 있던 것인가, 아니면 J-space 밖에서 AV가 끌어낸 것인가?

전자라면 NLA는 사실상 global workspace의 고해상도 판독기다. J-lens가 워크스페이스의 경계를 긋고 NLA가 그 안의 내용을 읽는, 깔끔한 분업이 성립한다.

후자라면 NLA는 workspace 바깥의 자동 처리까지 언어화하는 도구가 된다. 이 경우 J-lens 논문이 주장한 access consciousness 대응의 경계 — “말할 수 있는 것과 없는 것”의 구분 — 이 방법론적으로 흔들린다. 모델이 스스로 언어화하지 못하는 표현도 외부 verbalizer는 언어화할 수 있다면, “언어화 가능성”은 표현의 내재적 속성이 아니라 판독기의 성능에 상대적인 속성이 된다.

NLA가 발견한 미언어화된(unverbalized) 평가 인식이 바로 이 질문의 시험대다. 모델이 말하지 않았지만 J-space 안에 있었다면 “말할 수 있었는데 말하지 않은 것”이고, J-space 밖에 있었다면 “말할 수 없었는데 NLA가 끌어낸 것”이다. 이 둘은 감사(auditing) 관점에서 함의가 완전히 다르다 — 전자는 은폐, 후자는 접근 불가 영역의 노출이다.

6. vault 관점 — 언제 무엇을 쓰나

목적	적합한 도구	이유
어떤 표현이 보고·추론에 인과적으로 기여하는지 확정	J-lens	swap/ablation으로 직접 개입 검증. 인과 주장의 강도가 높음
활성화가 지금 무슨 내용인지 서술적으로 파악	NLA	조합적 자연어 진술. 도메인 전문성 없이 읽힘
감사에서 가설을 빠르게 생성	NLA	저자들이 “hypothesis generation”에 특히 적합하다고 명시
생성된 가설을 검증	J-lens 또는 attribution graph	NLA 자체로는 confabulation을 걸러낼 수 없음
워크스페이스 구조·용량·국소화 논의	J-lens	GWT 예측(제한 용량·ignition·selectivity)과 대응

원자적 인사이트 (Zettelkasten)

💡 재구성 충실도 하나만 최적화해도 자연어 설명의 정보량이 함께 자란다

출처: 본 논문 (Fraser-Taliente et al., 2026) | 유형: 실험적

설명이 “옳은지”를 채점하는 항이 손실함수에 전혀 없는데도, 재구성 오차 ‖h_l − AR(z)‖²₂만 줄이는 학습을 돌리면 생성된 설명의 유용성이 따라 올라간다. 구체적으로 FVE가 0.3–0.4(warm-start)에서 0.6–0.8(학습 후)로 오르는 동안, 성별/직업 추론과 평가 트랜스크립트 탐지를 포함한 5개 downstream 예측 과제 성능이 세 모델 스케일 전부에서 일관 향상됐다. 즉 “설명만 보고 원본을 복원할 수 있으면 그 설명은 정보를 담고 있다”는 압축 논리가, 해석 라벨 없이도 해석가능성의 대리 학습 신호로 작동할 수 있다.

핵심 조건: Claude Haiku 3.5 / Haiku 4.5 / Opus 4.6 세 스케일, pretraining-like 코퍼스의 단일 레이어 l 활성화, T=1 샘플링, KL 정규화 하에서 관측. SAE 등 baseline 대비 설명 품질의 수치 비교는 원문에 없다.
연결: Scaling Monosemanticity, 기계적 해석가능성
활용 가능성: 라벨 없는 도메인에서 “설명 → 복원” 왕복을 학습 신호로 세우는 설계 패턴. 다만 정보량 증가와 진실성 증가는 별개이므로 별도 검증 축이 필요하다.

💡 자연어를 병목으로 쓰면 원자적 어휘와 라벨 의존을 동시에 벗어난다

출처: 본 논문 (Fraser-Taliente et al., 2026) | 유형: 이론적 / 연결

해석가능성 기법은 오래도록 두 진영으로 갈려 있었다. 비지도 쪽(logit lens, SAE)은 라벨은 필요 없지만 고정된 토큰·특징이라는 원자적 어휘의 가중합밖에 말하지 못해 “A라고 짐작하고 그에 맞춰 B를 하려 한다” 같은 조합적 상태를 표현할 수 없고, 지도 쪽(activation oracle)은 표현력은 있지만 정답 라벨이 있어야 해서 학습 분포가 연구자가 만든 데이터셋에 갇힌다. NLA의 구조적 기여는 병목의 매체를 자연어로 바꿔 “표현력은 언어에서, 학습 신호는 재구성에서” 얻는 조합을 성립시킨 것이다.

핵심 조건: 자연어 병목의 표현력은 곧 위험이기도 하다 — AV가 완전한 LM이라 활성화에 없는 추론까지 합성할 수 있고(과잉 표현력), AR이 되돌릴 수만 있으면 사람에게 무의미한 텍스트로도 낮은 손실을 얻을 수 있다(목적함수 퇴화). KL 정규화는 저자들 표현으로 부분적 완화일 뿐이다.
연결: Logit Lens, Tuned Lens, XAI
활용 가능성: 병목 매체(원자적 사전 vs 자연어 vs 희소 개념)를 설계 변수로 놓고 표현력·검증가능성·기계론적 근거를 트레이드오프하는 축으로 재사용 가능.

💡 설명을 편집해 되돌리면 그 자체가 steering 인터페이스가 된다

출처: 본 논문 (Fraser-Taliente et al., 2026) | 유형: 방법론적

NLA는 읽기 전용이 아니다. AR이 텍스트를 활성화로 되돌리는 경로를 갖고 있으므로, 설명 문장을 사람이 손으로 고친 뒤(rabbit→mouse, habit→house, carrots→cheese) 원본 설명과의 활성화 차이를 계산하면 곧바로 steering vector가 나온다. 이 벡터가 Opus 4.6의 시 완성문을 “rabbit” 계열에서 “mouse/house” 계열로 바꾼 성공률은 약 50%였고, “that of a mouse in a house of a cat” 같은 어색한 출력도 남아 표상이 diffuse하거나 AR 재구성이 불완전함을 시사한다.

핵심 조건: Opus 4.6의 각운 계획 사례(Lindsey et al.의 Haiku 3.5 결과 재현)에서 관측. 보상 인식을 바꾼 Claude Mythos Preview 유래 사례에 대해 저자들은 “in a toy setting”이라고 명시적으로 한정했다. 약 50%는 인과성의 존재를 보이기엔 충분하나 신뢰할 만한 제어 수단으로는 부족하다.
연결: Activation patching, Verbalizable Representations Form a Global Workspace in Language Models
활용 가능성: 가설 검증 루프를 “설명을 읽고 → 문장을 고치고 → 행동 변화를 본다”로 단축하는 편집 기반 개입 설계.

💡 재구성 보상은 해석가능성의 대리 지표일 뿐, 진실성 지표가 아니다

출처: 본 논문 (Fraser-Taliente et al., 2026) | 유형: 실패-한계

NLA의 손실함수는 “설명이 참인가”를 전혀 묻지 않는다. 그 결과 세 갈래로 갈라진다. (1) confabulation — 설명은 “thematically faithful”하지만 세부는 환각해, 도구 사용 사례에서 상위 의도는 맞히면서 구체 사항은 검증 가능하게 틀렸다. (2) 원리적으로 AV가 문맥을 그대로 복창하거나 AR만 되돌릴 수 있는 유사-해석 텍스트를 뱉어도 손실은 낮아진다(목적함수 퇴화). (3) NLA는 “blackboxes by construction”이라 활성화의 어느 성분이 설명의 어느 대목을 유발했는지 특정할 수 없어 회로 수준 이해가 나오지 않는다. 저자들이 내놓은 실무 대응은 “인접한 여러 토큰의 설명에 반복 등장하는 주장이 참일 가능성이 높다”는 휴리스틱 하나뿐이다.

핵심 조건: 저자들이 Limitations에서 직접 인정한 항목이며, 이 때문에 NLA는 기존 기법의 대체가 아니라 “a powerful complement”로, 그리고 감사 워크플로의 가설 생성 도구로 위치한다.
연결: XAI, Verbalizable Representations Form a Global Workspace in Language Models
활용 가능성: 생성형 해석 도구의 출력을 증거가 아니라 가설로 취급해야 하는 이유의 표준 인용처. “학습 신호가 진실성을 벌하지 않으면 진실성은 보장되지 않는다”는 일반 원칙의 사례.

핵심 용어 정리

용어	정의
NLA (Natural Language Autoencoder)	활성화를 자연어 문장으로 인코딩했다가 다시 활성화로 디코딩하도록 공동 학습한 두 LLM 모듈 시스템. 병목이 숫자 코드가 아니라 사람이 읽는 텍스트라는 점이 일반 오토인코더와 다르다
residual stream	트랜스포머에서 각 레이어가 자기 계산 결과를 더해 넣는 공용 통로. 그 통로의 특정 지점·특정 토큰 값이 h_l이며 차원 수가 d_model
h_l / ĥ_l	h_l은 대상 모델 M이 실제로 만든 레이어 l의 원본 활성화, ĥ_l은 AR이 설명 z만 보고 복원한 활성화. 손실은 둘 사이 제곱거리
Activation Verbalizer (AV)	h_l을 받아 텍스트 설명 z를 생성하는 모듈. 고정 프롬프트 속 특수 토큰의 임베딩을 스케일된 활성화 벡터로 바꿔 넣고 T=1로 자기회귀 샘플링
Activation Reconstructor (AR)	설명 z를 받아 ĥ_l을 만드는 모듈. 대상 모델을 레이어 l에서 절단하고 마지막 토큰의 layer-l 활성화에 학습된 affine 변환을 적용
textual bottleneck	정보가 반드시 자연어 문장을 통과해야만 재구성에 도달하도록 만든 구간. 읽히는 설명을 강제하는 장치이자 퇴화 위험의 근원
FVE (Fraction of Variance Explained)	1 − L / E‖h_l − h̄_l‖²₂. 0이면 평균 수준·1이면 완벽 복원. 학습 후 0.6–0.8, warm-start 0.3–0.4
GRPO	AV를 갱신하는 강화학습 알고리즘. 같은 활성화에 대해 여러 설명을 뽑아 서로의 상대 보상으로 정책을 밀어준다. 보상 r = −log‖h_l − AR(z)‖²₂
KL divergence penalty (β)	학습 중인 AV가 초기 AV에서 멀어지지 않도록 거는 벌점 항 β·D_KL(AV_φ‖AV_φinit). 유창성 보존·퇴화 부분 방지. β 값은 미보고
supervised warm-start	RL 전에 요약을 프록시 과제로 지도 파인튜닝하는 준비 단계. Claude Opus 4.5가 요약 s를 만들고 AV는 (h_l, s), AR은 (s, h_l)로 학습
L₂ 정규화 (unit L₂-norm)	모든 활성화 벡터의 길이를 1로 맞춰 학습 안정성을 확보하는 전처리
layer truncation	AR을 만들 때 대상 모델의 앞 l개 레이어만 남기고 잘라 쓰는 것. 목표 레이어와 같은 표현 공간에서 재구성하기 위한 선택
logit lens	중간 활성화를 unembedding 행렬로 사영해 어휘 분포로 읽는 해석 기법. 고정 어휘의 가중합에 갇혀 조합적 해석 불가
SAE (sparse autoencoder)	활성화를 학습된 사전의 희소 특징 조합으로 분해하는 해석 기법. coverage gap이 있고 2차 해석 단계가 필요
activation oracle	활성화 내용에 대한 정답 라벨로 파인튜닝해 활성화 관련 질문에 답하게 만든 지도 학습 모델. 라벨 의존 때문에 학습 분포가 좁다
steering vector	활성화에 더해 모델 출력을 특정 방향으로 미는 개입 벡터. NLA에서는 설명을 편집해 되돌린 활성화의 차이로 생성
attribution graph	어떤 출력이 어떤 내부 성분에서 비롯됐는지를 그래프로 추적하는 해석 기법. NLA 결과의 독립 검증 수단으로 쓰였다
confabulation	설명이 큰 주제(“thematically faithful”)는 맞히면서 구체 사실은 검증 가능하게 틀리는 현상
unverbalized cognition / evaluation awareness	모델이 말로 표현하지 않은 채 갖고 있는 내적 상태. 그중 “지금 평가받는 중”이라는 믿음이 evaluation awareness
spurious hypothesis	모델이 근거 없이 세운 잘못된 추정. 언어 전환 사례의 “사용자가 영어 비원어민” 추정이 해당
pre-deployment audit	모델 배포 전 위험 행동을 조사하는 실무 절차. 이 논문에서는 Claude Opus 4.6 감사에 NLA가 투입됨
degenerate training objective	목적함수를 만족시키는 값싼 편법 경로. 문맥 복창이나 AR 전용 유사-해석 텍스트로 낮은 재구성 손실을 얻는 경우
Neuronpedia	해석가능성 결과를 웹에서 탐색하게 해주는 외부 플랫폼. 저자들이 인터랙티브 프론트엔드 공개에 협업

BibTeX

@misc{frasertaliente2026nla,
  title={Natural Language Autoencoders Produce Unsupervised Explanations of {LLM} Activations},
  author={Fraser-Taliente, Kit and Kantamneni, Subhash and Ong, Euan and Mossing, Dan and Lu, Christina and Bogdan, Paul C. and Ameisen, Emmanuel and Chen, James and Kishylau, Dzmitry and Pearce, Adam and Tarng, Julius and Wu, Alex and Wu, Jeff and Zhang, Yang and Ziegler, Daniel M. and Hubinger, Evan and Batson, Joshua and Lindsey, Jack and Zimmerman, Samuel and Marks, Samuel},
  howpublished={Transformer Circuits Thread},
  note={Anthropic},
  year={2026},
  url={https://transformer-circuits.pub/2026/nla/index.html}
}

자연어 오토인코더가 만드는 LLM 활성화의 비지도 설명

자연어 오토인코더가 만드는 LLM 활성화의 비지도 설명

먼저 이해하기

쉬운 설명

왜 중요한가

먼저 알아둘 말

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

J-lens 연구와의 관계

1. 같은 표적, 다른 절단면

2. 방법론 대조

3. 상보성 — 서로의 최대 약점이 서로의 강점이다

4. 수렴하는 경험적 발견

5. 개념적 긴장 — 가장 흥미로운 지점

6. vault 관점 — 언제 무엇을 쓰나

원자적 인사이트 (Zettelkasten)

💡 재구성 충실도 하나만 최적화해도 자연어 설명의 정보량이 함께 자란다

💡 자연어를 병목으로 쓰면 원자적 어휘와 라벨 의존을 동시에 벗어난다

💡 설명을 편집해 되돌리면 그 자체가 steering 인터페이스가 된다

💡 재구성 보상은 해석가능성의 대리 지표일 뿐, 진실성 지표가 아니다

핵심 용어 정리

관련 연구

태그

BibTeX