Jacobian 렌즈로 본 루프 트랜스포머 — 전역 작업공간은 반복 구조에서도 살아남는가

개요

뇌과학의 global workspace(전역 작업공간) 이론은 유연한 행동이 “용량이 작고, 내용이 널리 방송되고, 말로 보고할 수 있는” 작업공간에 달려 있다고 보며, 뇌에서 이 작업공간은 되먹임(recurrent) 처리로 구현된다고 여겨진다. Anthropic의 Gurnee et al.(2026)은 **Jacobian lens(J-lens, 모델 자신의 평균 입력–출력 Jacobian으로 만든 층별 선형 지도)**로 일반 Transformer 중간층에서 말로 읽히고 인과적으로 중요한 표현 띠(band)를 찾아 workspace의 기능적 대응물이라고 했지만, 일반 Transformer는 한 번의 forward pass 안에 되먹임이 없어서 “층을 쌓은 깊이가 뇌의 반복 처리와 같은 역할을 하는가”는 열린 질문으로 남겼다. 이 논문의 통찰은 같은 가중치를 반복 적용하는 looped transformer가 바로 그 질문의 실험대라는 것이다. 저자들은 반복 계산 그래프를 깊은 일반 층 더미처럼 보여 주는 virtual unrolling(가상 펼침) 어댑터를 만들어 원 연구의 렌즈 적합·판독·11개 인과 실험 묶음을 그대로 Ouro-2.6B(48층 × 4루프, 루프마다 출력 감독), Huginn-0125(4층 core × 16회, 중간 감독 없음), 기준선 Qwen3.6-27B(64층)에 돌렸다. 답은 “workspace는 생기지만 출입구가 다르다”였다. Ouro는 루프 끝마다 상태를 토큰처럼 해독했다가 다음 루프가 다시 부호화하므로 개념(예: “장화 모양 나라” → Italy)이 루프 경계를 넘지 못하고, 그래서 개념 바꿔치기 개입도 남은 루프 전부에 걸어야 38%(Qwen 42%와 비슷)가 되고 한 루프만 걸면 21–29%에 그친다. Huginn은 반복 2–3회째 계산한 답을 16회 내내 유지하지만, 그것은 저장이 아니라 매 반복 다시 주입되는 입력으로부터의 재계산이었고, 읽기·쓰기·제거는 렌즈 목표 직전 약 2회 반복 창 안에서만 통했다. 가장 날카로운 결과는 verbal report와 introspection의 분리다. Huginn은 이미 계산 중인 개념을 바꿔치면 98%로 그것을 말하지만, 계산하지 않던 개념을 주입하면 97개 중 0개도 말하지 못했고, 주입 개념을 말로 꺼낸 모델은 루프마다 출력을 감독받은 Ouro(top-1 31%)뿐이었다(27B Qwen도 실패).

Implication: 반복 구조는 workspace를 없애지 않고 그 인터페이스를 바꾼다—그래서 looped 모델을 감시·조종하려는 도구(렌즈 판독, 개념 개입)는 절대 깊이가 아니라 루프 경계와 반복 창에 맞춰 설계해야 하며, “속에서 읽힌다”는 것이 “말로 꺼낼 수 있다”는 뜻은 아니다.

📎 https://arxiv.org/abs/2609.01924

배경과 문제

출발점이 된 질문. Global workspace 이론(Baars 1988; Dehaene & Changeux 2011; Mashour et al. 2020)은 유연한 행동이 용량이 제한된 작업공간에 달려 있고, 그 내용은 널리 방송되고(broadcast), 보고 가능하며(reportable), 방향성 있는 조절에 열려 있다고 본다. Gurnee et al.(2026)은 이를 언어모델에서 조작화해, J-lens로 일반 Transformer의 중간 깊이에서 언어화 가능하고(verbalisable), 행동에 인과적으로 필요하며, 자동적 계산이 아니라 유연한 계산에 선택적으로 관여하는 잔차 스트림 표현의 띠를 찾았다(author-stated, Section 1). vault: Verbalizable Representations Form a Global Workspace in Language Models, 이론 배경 Global Workspace Theory(GWT).

원 연구가 남긴 구조적 비유사성. 뇌의 workspace 동역학은 점화(ignition), 지속적 반향(reverberation), 재진입 루프를 통한 방송 같은 되먹임 처리로 구현된다고 여겨진다. 일반 Transformer는 forward pass 안에 되먹임이 없고 묶이지 않은(untied) 층 더미를 정확히 한 번 지난다. Gurnee et al.은 feedforward 망이 층 수만큼 되먹임 망을 흉내 낼 수 있다(가중치를 층 사이에 묶은 경우가 되먹임 모델)고 지적하면서도, Transformer의 깊이가 뇌의 되먹임과 충분히 비슷한 역할을 해서 같은 workspace 기능을 가능케 하는지는 모른다고 밝혔다(author-stated, Section 1).

왜 looped transformer인가. 가중치를 묶어 반복 적용하므로 이 질문을 직접 시험할 수 있고, 학습된 경쟁력 있는 두 계열(Ouro, Huginn)이 이제 공개되어 있다(author-stated, Section 1).

학술적 계보 (Section 2, author-stated).

• 렌즈 계열 판독기: logit lens(nostalgebraist 2020, 고정 판독), tuned lens(Belrose et al. 2023, 학습된 판독), J-lens(Gurnee 2026, 모델에서 유도된 판독). J-lens는 디코딩 목적에 맞춰 학습한 것이 아니라 모델 자신의 국소 선형화에서 나오므로, “전달 실패” 자체가 아키텍처 정보를 담을 수 있다.
• looped/반복 Transformer: Universal Transformer(Dehghani 2019)와 파라미터 공유 인코더(ALBERT, Lan 2020 — vault: ALBERT - A Lite BERT for Self-supervised Learning of Language Representations)의 계보에서, 잠재 추론 확장용으로 부활(Zhu 2025 Ouro; Geiping 2025 Huginn). 반복 계산의 이론 모델로 programmable computer(Giannou 2023 — vault: Looped Transformers as Programmable Computers)와 반복 알고리즘 학습자(Yang 2024)로 분석됐다.
• 루프 모델 해석의 선행 연구: Lu et al. 2025는 Huginn의 반복 상태를 logit lens와 coda lens로 해독해 두 렌즈가 core 블록 사이에서 체계적으로 엇갈리고 해석 가능한 잠재 CoT의 증거가 적다고 보고했다(vault: Latent Chain-of-Thought Decoding the Depth-Recurrent Transformer). Blayney et al. 2026은 은닉 상태 기하·attention·선형 probe로 반복 동역학을 분석했다(vault: A Mechanistic Analysis of Looped Reasoning Language Models). 둘 다 가상 층 사이의 전달 지도(transport map)를 적합하지 않는데, workspace 실험 묶음에는 그것이 필요하다.
• 의식 지표: Butlin et al. 2023은 이런 이론에서 AI 평가용 지표 속성을 도출했고 되먹임 처리가 반복 등장한다. 저자들은 의식에 대해서는 아무 주장도 하지 않으며 workspace 실험 묶음을 기능적 특성 기술로만 쓴다고 명시한다(Section 2.3).

이 논문의 차이. 저자들이 아는 한 루프 경계를 가로질러 전달 기반 렌즈를 적합하거나 루프 모델에 인과적 workspace 실험 묶음을 돌린 선행 연구는 없다(author-stated, Section 2.3).

지표

여러 측정이 서로 다른 실패 양식을 갖도록 일부러 섞여 있다. 주요 지표만 정리한다.

지표	무엇을 세는가	범위·방향	분모·조건	위치
Probe token rank (J-lens 판독)	렌즈로 전달한 상태를 unembed했을 때 프롬프트에 없는 탐침 토큰(예: Italy)의 순위	1이 최고. 우연 기준은 약 V/2(어휘 크기의 절반)	저자는 순위가 우연 기준보다 움직이고 그 방향이 인과 개입을 지지할 때만 판독을 유효로 본다	Section 4.1, 5
Matrix cosine (transport 유사도)	독립 적합한 두 전달 지도 J를 펼친 벡터의 코사인	−1–1, 높을수록 같은 전달	절대 좌표(가상 거리) 또는 자기 목표로부터 같은 offset에서 비교	Section 4.3, Figure 1b
Factorisation cosine	cos(J_v→t, J_w→t · J_v→w): 긴 전달이 중간 절단점에서 두 구간 곱으로 분해되는 정도	높을수록 절단점 상태가 나머지에 필요한 것을 다 요약(Markov적)	평균 Jacobian에서는 E[AB]≈E[A]E[B]가 보장되지 않음	Section 4.4, Table 4, Figure 1a
‖J‖/√d, KL, top-1 agreement	전달의 bulk(상태 전체) 품질 통계	‖J‖/√d는 크기, KL(nats)은 낮을수록, top-1은 높을수록 최종 출력과 일치	저자는 이것들을 렌즈 사용 가능성 검사로 쓰지 않고 거리 맞춤 비교에만 쓴다	Section 4.1–4.2
Occupancy (slots)	gradient-pursuit로 상태를 J-lens atom들의 희소 비음수 조합으로 재구성할 때, 토큰 atom이 처음 25개 안에 계수 0.05‖h‖ 이상으로 뽑힌 (층, 위치) 칸 수	개수. 정답 없이 계산	k=25, θ=0.05 기본, 전체 (k, θ) 격자 견고성은 Appendix E	Section 6.1, Figure 3
Next-token probability field	렌즈 해독 분포가 실제 다음 토큰에 준 확률	0–1. 약 150k 어휘에서 우연은 약 10⁻⁵	위치·프롬프트 평균, top-8 절단이라 하한	Section 6.2
인과 실험 11종의 점수	원 연구 자체 지표를 그대로 사용(Table 5): 예) verbal report = 바꿔치기 개념이 top-5에 드는 비율, flexible generalisation = 답이 주입 개념 쪽으로 뒤집힌 비율, ablation = 원래 맞힌 답이 유지된 비율, capacity = 판독 가능한 단어 수	대부분 %(높을수록 개입 효과·능력) / ablation은 “kept”가 낮을수록 효과 큼	비율과 95% Wilson 구간은 원 시행 수에서 재계산(Appendix A)	Section 7, Table 5

검증 장치: 본문의 모든 정량 주장은 공개 원자료(시행 기록, 실행 로그, 판독 덤프)에서 자동 검증 묶음(232개 검사 + pursuit 관련 132개)으로 재도출된다고 한다(author-stated, Appendix A). 저장소 주소는 본문에 없다.

방법과 벤치마크 구성

세 모델 (Table 1, Section 2.2).

모델	파라미터	물리 층	가상 깊이	중간 감독
Qwen3.6-27B	27B	64(untied)	64	없음
Ouro-2.6B	2.6B	48, ×4 루프	192	모든 루프 끝에 deep supervision
Huginn-0125	3.5B	2(prelude) + 4(core) + 2(coda), core ×r	68 (r=16)	없음(truncated BPTT, 평균 8회 펼침)

설계 축 세 가지: 루프 범위(Ouro는 48층 전체를 반복, Huginn은 4층 core만 반복하고 prelude·coda는 한 번), 반복 횟수(Ouro는 학습 때 고정 4, Huginn은 학습 때 샘플링하고 추론 때 선택 — 여기서는 r=16), 중간 상태 감독(Ouro는 모든 루프 끝에 LM head를 붙여 학습 = deep supervision, Huginn은 coda 뒤 출력만 학습). Huginn r=16은 Qwen과 깊이·계산량이 거의 같아(68 vs 64 가상 층) 묶음/비묶음 비교가 직접적이다(author-stated).

J-lens (Section 2.1, 식 (1)). 원천 층 v에서 목표 층 t로의 렌즈는 J_v = E[∂h_t/∂h_v], 말뭉치 forward pass 평균. 판독은 unembed(h_v J_vᵀ), 토큰 u의 렌즈 방향은 d = J_vᵀu / ‖J_vᵀu‖. 방향으로 인과 편집을 한다: 주입 h ← h + αd, 제거 h ← h − (h·d)d, 두 토큰 방향 사이의 clamp-transfer 바꿔치기.

Virtual unrolling (Section 3.1). “층”을 “가상 층”으로 일반화한다: 물리 블록의 k번째 발화가 펼친 그래프의 독립 노드다. Ouro는 v = 48·step + layer, Huginn은 prelude·coda가 한 번 발화하고 i번째 core 블록의 k번째 발화가 v = 2 + 4k + i. 어댑터는 모델의 층 목록을 가상 블록 대리자로 바꿔 각 hook이 자기 발화에서만 동작하게 한다—그렇지 않으면 표준 활성 기록기가 마지막 반복 상태만 조용히 남긴다. 기울기는 루프 사이 정규화와 묶인 가중치를 자동으로 통과하므로 J_v는 펼친 그래프에 대해 근사가 아니라 정확하다. 반복 구조에서만 생기는 조용한 실패 함정 세 가지와 검증 묶음은 Appendix G(author-stated).

적합 프로토콜 (Section 3.2, Table 2). 원 연구 방식 그대로: WikiText-103 프롬프트 1000개 × 128 토큰(세 모델 동일), 처음 16 위치 건너뜀, 파라미터 고정. 수렴은 이동 평균의 상대 변화로 확인(Huginn 모든 렌즈 최종 변화 ≤ 0.016, Qwen band-entry 렌즈 약 5×10⁻³). NVIDIA B200 GPU 1–3장, bf16.

렌즈 하나가 아니라 렌즈 가족 (Section 3.3). 처음엔 펼친 모델의 최종 가상 상태를 목표로 했는데, 두 루프 모델 모두에서 판독기로 실패했다(Ouro는 루프 1–3에서 구두점만 읽힘 — 루프가 비어서가 아니라 최종 목표로의 전달이 루프 경계에서 죽기 때문; Huginn은 목표와 무관하게 전달 범위가 약 2회 반복). 그래서 각 루프/반복 끝을 목표로 하는 렌즈 가족을 적합한다: Ouro는 v47/95/143/191, Huginn은 r=4/8/12/16(인과 실험용), 판독용으로는 모든 반복 끝에 목표를 둔 gap-fill 12개를 추가. 모든 교차 비교는 자기 목표로부터 같은 거리(offset)에서 한다(distance-controlled). 이것이 전달 감쇠 차이를 아키텍처 효과로 착각하지 않게 하는 핵심 통제다.

측정 묶음. (i) 전달 지도 자체의 구조 분석(Section 4), (ii) 반복이 계산하는 내용의 판독(Section 5), (iii) 원 연구의 Neuronpedia 시연 지표와 pursuit 개념 목록으로 한 workspace 기하(Section 6, 시연 프롬프트 8개, 128토큰 greedy 생성), (iv) 원 연구가 공개한 11개 인과 실험 묶음을 공유 harness로 재구현해 세 모델에 동일하게 실행(Section 7). 각 모델은 자기 검증된 인터페이스로 개입한다: Qwen은 L24–48 band를 최종 목표 렌즈로, Ouro는 루프 2–4의 band를 각 루프 렌즈로, Huginn은 마지막 세 렌즈 창을 clamp한다.

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
거리에 따른 bulk 전달 붕괴는 세 구조 공통이다	Section 4.1	거리 39에서 Qwen 집계 전달도 Ouro와 같이 죽음: 최종 출력과 top-1 일치 2%, ‖J‖/√d=0.46 (Ouro 0.14–0.53 범위 안)	그래도 같은 전달이 특정 잠재 개념은 운반한다(Table 3 첫 행)	author-stated
Ouro에서는 개념이 루프 경계를 넘지 못한다	Section 4.2, Table 3	경계 너머 Italy 투영이 목표 상태 값의 약 0.1로 떨어지고 개념–대조 구분이 사라짐. bulk 크기는 0.27–0.46 생존 → workspace 성분이 상태 전체보다 약 3배 빨리 파괴	원인은 checkpoint(루프 끝 해독·재부호화). 루프 끝 logit-lens KL 1.7/0.5/0.1 nats(루프 1–3), top-1 최대 92%; 한 블록 앞 v190은 0.8 nats·71%	author-stated
파괴는 “반복” 때문이 아니라 checkpoint 인터페이스 때문이다	Section 4.2, 5.2	해독 단계가 없는 Huginn에서는 반복 2–3회째 계산된 내용이 16회 내내 읽힌다	두 모델은 주입·감독·학습법이 동시에 달라 단일 원인 귀속은 제한적(저자 단서, Section 4.5)	author-stated
가중치 묶음은 루프 상대 좌표에서만 보인다	Section 4.3, Figure 1b	절대 좌표: Ouro J 코사인 인접 0.989, Δ=48에서 0.804, Δ=190에서 0.087, 같은 물리 층 쌍 0.676 vs 전체 쌍 0.711. 루프 상대 좌표: Ouro 평균 0.885(band 안 0.932) vs offset 불일치 0.716·무작위 0.555; Huginn 0.9991(r=8 vs r=12), 한 반복 어긋나면 0.43	실용적 귀결: 한 반복에서 적합한 렌즈가 다른 반복으로 옮겨짐(Huginn은 정확히) → 전체 깊이 렌즈 비용이 r배가 아니라 1회분	author-stated
분해 가능성이 세 구조를 줄 세운다	Section 4.4, Table 4, Figure 1a	Ouro 0.94–1.00, Qwen 0.69–0.95, Huginn 0.25–0.84	Ouro는 checkpoint 모델이라 루프별 렌즈를 따로 적합해 합성 가능, Huginn은 끝-대-끝 적합 필요	author-stated
Huginn의 “유지”는 기억 버퍼가 아니라 재주입 입력으로부터의 연속 재계산이다	Section 4.5	주입 임베딩을 α≤0.25로 줄이면 어느 시작점이든 출력 파괴(마지막 4회만 줄여도 0/8 회복), α=0.75는 거의 무해(7–8/8). α=0, k=8에서 잠재 답 순위 중앙값 11 → 2,749 → 약 40,000(우연). 입력 바꿔치기는 30개 설정 전부에서 새 입력의 답으로 뒤집힘(k=12 포함)	약 2회 반복 기억 — 평균 전달 범위와 같은 상수. 주입 경로를 둘지 말지는 통제된 학습 실험이 필요	author-stated
Ouro의 반복 정제는 대부분 루프 3에서 끝난다	Section 5.1	루프 3 출력이 최종 출력과 토큰의 92%에서 일치, 루프 4는 약 8%만 top-1 변경. 학습된 early-exit gate의 탈출 확률 [0.03, 0.14, 0.34, 0.49]	쉬운 사실(Paris)은 루프 1, 수수께끼(Italy)는 루프 2, 산술(47+38)은 루프 4에 band에서 정착 — 과제 난이도가 필요한 루프 수에 대응	author-stated
Huginn은 렌즈 목표를 따라 미끄러지는 읽기 창을 가진다	Section 5.2, Figure 2	sushi 프롬프트에서 Tokyo가 r=4 렌즈로 반복 2–3, r=8로 7, r=12로 10–11, 주 렌즈로 14–15에서 순위 1	workspace 기하는 층 번호가 아니라 렌즈를 따른다	author-stated
Huginn은 명시적 감독 없이도 모든 깊이에서 약하게 해독된다	Section 5.3, 6.2	logit-lens top-1 = 실제 다음 토큰 15–25%(v14–65, coda 63%) vs Qwen 최대 9%(L8–40), Ouro mid-loop 1–7%·checkpoint 64–71%. 확률장: Huginn 0.02–0.045, coda 0.47; Ouro 루프 끝 0.61–0.65; Qwen L36 logit 0.003, J-lens 0.019	그럴듯한 기제는 반복 횟수 샘플링(평균 32)에 의한 암묵적 deep supervision	author-stated
pursuit 점유도도 같은 band·loop·window 구조를 재현한다	Section 6.1, Figure 3	Qwen 잠재어 L20 아래 0, L24–48 band에서 잠재 42 vs 발화 326. Ouro 루프 4 band 안 22.3 vs 밖 16.6 슬롯/층. Huginn 반복 창 11개 31–44 슬롯 평탄, 첫 창 5, coda 창 92(2.4배)	Ouro는 k=50에서 관계 약화. Huginn의 부분 tiling에서는 내용이 “쌓이는” 것처럼 보이는데 이는 렌즈 거리 불균등의 인공물	author-stated
점유도가 정답·오답의 이유를 보여 준다	Section 6.1	통화 수수께끼: Ouro(정답 “Italian lira”)에서 euro는 루프 2에 최고 후 259→188, Italy는 177→390. Huginn(오답 “was the Euro”)에서는 Italy/Italian/lira/lire가 67층 전체에 5슬롯	Qwen은 중국어 Italy 토큰 102슬롯도 점유 — 영어 토큰 클래스로는 놓침	author-stated
쓰기는 남은 모든 루프에 걸어야 한다(Ouro)	Section 7.1, Table 5	flexible generalisation: Qwen 42%(192시행, 원 연구 40%), Ouro 루프 2–4 모두 38% vs 루프 2만 21%, 3만 29%(CI 23–36), 4만 25%	루프 2만: 주입 답 순위 7 → 루프 4에서 44로 되돌려짐(재도출). 루프 4만: 이미 정착한 원 답을 밀어내지 못함(주입 답 순위 11)	author-stated
Huginn의 쓰기는 마지막 창에서만 통한다	Section 7.1	마지막 창만 clamp = 세 창 모두 clamp(동일 결과), 끝에서 두 번째 창만은 3%	내용은 반복 내내 유지돼도 한 렌즈 좌표로 표현된 개입은 유지되지 않음	author-stated
제거(ablation)도 같은 인터페이스를 따른다	Section 7.2	단일 방향, 논증 개념 제거 시 정답 유지: Qwen 72%, Ouro 71%, Huginn 61%; 무관 단어 대조 100%. Ouro 루프 2만 제거는 100% 유지(완전 null), Huginn 마지막 창 = 모든 창(17/28). 정답 토큰 방향 제거: Qwen 53%, Ouro 19%, Huginn 0%	10방향 제거에서는 Ouro 루프 2만도 6/42(14%)로 효과가 생김 → 단일 방향 제거는 band 내용을 과소평가. 무작위 10방향 대조는 87–97% 유지	author-stated
기존 내용 조종과 새 내용 언어화가 분리된다	Section 7.3, Table 5	verbal report: Huginn 98%(124/126), Ouro 80%, Qwen 69%. introspection: Ouro top-1 31%, Huginn 0/97(최강 주입에서 순위 중앙값 40,666→16,258로 움직이긴 함), Qwen null(최고 순위 173)	새 내용의 언어화는 명시적 루프별 감독과만 함께 나타남 — 규모(27B)로 대체되지 않음	author-stated
null은 세 종류로 나뉜다	Section 7.4	능력 한계: Huginn은 언어 선택성 신호(hit@5 1.00 vs 0.62)는 보이지만 저자 질문은 0/8. 판독 한계: capacity Ouro 2.4 > Huginn 1.8 > Qwen 0.7(규모와 역순), pursuit로 재면 2.0/4.9/3.6 — 원 연구 약 25의 1/5 수준. 렌즈 맹점: top-down summoning은 세 모델 모두 약 0	J는 “다음 토큰에 영향을 주는 정도”로만 만들어져, 다음 토큰을 움직이지 않는(대기 중인) 내용은 원리적으로 안 보임	author-stated
reasoning SFT는 workspace를 재조직하지 않는다	Section 7.5	Ouro-2.6B-Thinking(약 8.3M 예시): introspection 31% 동일, capacity 5.1(base 4.9), 루프 2 부분공간 제거 유지 11%(base 14%)	예외 두 개: 언어 선택성 gate가 항상 켜짐(+0.25→+0.00), ignition이 날카로워짐(폭 0.55→0.20)	author-stated

결과의 연결. Section 4의 전달 구조(Ouro는 경계에서 끊기고 Markov적, Huginn은 얽혀 있고 약 2회 반복 범위)가 Section 5의 유지 방식(파괴 후 재도출 vs 계속 운반)을 설명하고, 그것이 Section 7의 인과 인터페이스(Ouro는 모든 루프에 걸쳐야, Huginn은 마지막 창만으로 충분)로 그대로 이어진다. 저자들은 이 그림이 J-lens 순위, 직접 unembedding, 모델 자신의 early-exit gate처럼 실패 양식이 다른 세 측정에서 일치하므로 단일 추정기의 인공물이 아니라고 주장한다(author-stated, Section 5.1, 8).

HW2 토론 관점의 연결 (analyst-inference). CoT 모니터링 논의(Chain of Thought Monitorability - A New and Fragile Opportunity for AI Safety)는 “잠재 공간에서 추론하면 감시 수단을 잃는다”고 걱정한다. 이 논문은 그 잠재 계산 일부가 J-lens로 읽히고(예: Ouro 루프 2에서 Italy) 개입으로 조종된다는 것을 보여 주므로, 내부 판독이 부분적 대체 감시 수단이 될 가능성을 시사한다. 그러나 동시에 (1) 판독 창이 루프 경계·반복 창에 묶여 있고, (2) 렌즈는 현재 다음 토큰을 움직이지 않는 “대기 중인” 내용에는 원리적으로 눈이 멀며(Section 7.4), (3) Huginn처럼 계산 중인 내용은 말로 잘 꺼내도 주입된 새 내용은 못 꺼내는 모델이 있다. 즉 “속에서 읽힌다”와 “모델이 그것을 말로 드러낸다”는 다른 성질이다.

Take-home

• 한 줄 요약: 같은 가중치를 반복해도 workspace는 생긴다. 바뀌는 것은 그 출입구이며, 모든 읽기·쓰기·제거 경로가 절대 깊이가 아니라 반복 구조(루프 경계, 약 2회 반복 창)를 따른다.
• 성립 범위: 공개 체크포인트 세 개(Ouro-2.6B, Huginn-0125 r=16, Qwen3.6-27B)와 원 연구의 프롬프트·실험 묶음에 한정된다. 렌즈는 WikiText-103 1000개 프롬프트로 적합했다. 인과 실험의 시행 수는 실험마다 작다(예: flexible generalisation 192시행, ablation 28·42 문항, introspection 97 개념, 주입 경로 실험 8 프롬프트).
• 저자가 인정한 한계 (author-stated, Section 8):
  • 도구의 한계: 평균 Jacobian 렌즈는 단일 토큰 개념 어휘를 쓰는 선형 요약이다. 검증 범위 밖에서는 상태를 읽지 못하고, 렌즈 가족 간격이 고르지 않으면 모델이 아니라 tiling을 보고하며, 다음 토큰을 움직이지 않는 내용에는 구조적으로 눈이 멀다. 판독 개수는 추정기에 따라 달라지고(top-8 판독으로 얻은 두 결과는 pursuit 재측정에서 살아남지 못함, Appendix E), 단일 방향 개입은 부분공간이 담은 것을 과소평가한다.
  • 비교의 한계: 계열마다 체크포인트 하나라 아키텍처가 학습법·규모와 교란된다. 사전학습 중 체크포인트 추적, Huginn 반복 횟수 체계적 sweep은 향후 과제다.
  • Huginn과 Ouro는 주입·감독·학습법이 동시에 달라, Huginn의 내용 유지를 주입 경로 하나에 귀속하지 않는다(Section 4.5). 주입 경로 설계에 대한 결론은 통제된 학습 실험이 필요하다.
• 작성자의 우려 (analyst-inference):
  • “새 내용 언어화는 명시적 루프별 감독을 따른다”는 핵심 주장은 세 모델 비교에서 나온 것이고, 감독 여부 외에도 규모·데이터·구조가 함께 다르다. 저자 표현도 “tracks”(함께 나타난다)이지 인과 증명이 아니다.
  • Ouro의 경계 파괴 증거는 주로 한 수수께끼 프롬프트(Italy)의 Table 3 행에 기댄다. 다른 개념에서의 일반성은 본문에서 정량으로 확인하지 못했다.
  • capacity가 원 연구(약 25단어)보다 다섯 배 이상 낮은데, 저자는 이를 판독 도구의 한계로 해석한다. 그 해석은 그럴듯하지만, 같은 harness로 원 연구 수치를 재현한 행이 Qwen 하나뿐이라 harness 차이와의 구분은 제한적이다(flexible generalisation 42% vs 원 연구 40%은 재현됨).
• 반복·공개: 비율에 95% Wilson 구간을 붙이고, 모든 수치를 공개 원자료에서 자동 재도출하는 검증 묶음이 “code release”에 포함된다고 한다(Appendix A). 저장소 URL은 본문·부록 텍스트에서 찾지 못했다. 렌즈 적합의 seed나 반복 적합 횟수는 보고되지 않았다(어댑터의 결정성은 bit-exact로 검증했다고 Appendix G에 언급).
• 읽지 못한 범위: 없음. 26쪽 전체 텍스트를 확인했고 본문 도표는 이미지로 직접 봤다. 부록(Appendix A–H)의 표·그림은 캡션 수준으로만 확인했다.

본문 도표

Table 1 — 세 모델

• 무엇을 보여주는가: 실험에 쓴 세 모델의 구조 비교.
• 읽는 법: 열 = Params, Physical layers, Virtual depth(한 forward pass에서 층이 적용되는 횟수), Intermediate supervision. 캡션: 계열을 가르는 것은 가중치 공유다.
• 핵심 관찰: Qwen3.6-27B 27B·64(untied)·64·none; Ouro-2.6B 2.6B·48 looped ×4·192·모든 루프 끝 deep supervision; Huginn-0125 3.5B·2+4+2 core ×r·68(r=16)·none(truncated BPTT, 평균 8).
• 의미와 주의: 저자 해석(author-stated): Huginn r=16은 Qwen과 깊이·계산량이 거의 같아 묶음/비묶음 비교가 직접적이다. 작성자 해석(analyst-inference): 파라미터 수는 27B 대 2.6–3.5B로 10배 가까이 차이 나므로 “깊이 맞춤”이 “능력 맞춤”은 아니다.
• 확인 상태: viewed

Table 2 — 렌즈 적합 요약

• 무엇을 보여주는가: 모델별로 어떤 원천 층에서 어떤 목표로 렌즈를 적합했고 시간이 얼마나 걸렸는지.
• 읽는 법: 열 = Sources, Targets, Wall-clock. 모든 렌즈가 같은 1000-프롬프트 말뭉치와 추정기를 쓰고 (원천, 목표) 기하만 다르다(캡션).
• 핵심 관찰: Qwen은 63개 층 전부 → final, L0–23 → L24(band entry), 약 3시간·2시간. Ouro는 191개 가상 층 → 가상 final + 루프 끝(v47/95/143), 약 1시간 + 1.6시간. Huginn은 67개 가상 층 → coda 끝 + r=4/8/12, gap-fill r=1–15, 약 7.3시간 + 목표당.
• 의미와 주의: 저자 해석(author-stated): gap-fill 12개는 Section 6.1 판독용 깊이 tiling을 완성하고, 인과 실험(Section 7)은 r=4/8/12/16 네 렌즈만 쓴다. 작성자 해석(analyst-inference): 판독용과 개입용 렌즈 집합이 다르다는 점을 결과 해석 때 구분해야 한다.
• 확인 상태: viewed

Table 3 — bulk 품질을 맞춘 의미 전달

• 무엇을 보여주는가: 프롬프트에 없는 잠재 개념 Italy(“장화 모양 나라의 통화는…” 수수께끼)가 전달 지도를 거친 뒤에도 목표에서 회수되는지.
• 읽는 법: 행 = 전달 종류, 열 = Distance(가상 층 수), State cosine(bulk 품질), Carries Italy?(전달 뒤 목표에서 Italy가 최상위이고 개념–대조 투영이 우연보다 높은가). 각 행의 양 끝점은 독립적으로 Italy를 담고 있음이 확인됐다(캡션).
• 핵심 관찰: Qwen band → target(스택 내) 39·0.19·yes; Ouro band → 자기 루프 끝(루프 내) 11–23·0.3–0.5·yes; Ouro 루프 2 band → 루프 3 band(경계 너머) 32–60·0.31–0.45·no.
• 의미와 주의: 저자 해석(author-stated): 경계 너머 전달은 Qwen의 정상 작동 사례보다 bulk 통계가 더 좋은데도 개념이 도착하지 않는다 → bulk 지표는 렌즈 사용 가능성 검사가 아니며, 파괴는 루프 경계의 성질이다. 작성자 해석(analyst-inference): 개념 하나, 프롬프트 하나의 결과다.
• 확인 상태: viewed

Figure 1 — 렌즈 산물에 남은 아키텍처의 서명

• 무엇을 보여주는가: (a) 중간 절단점을 통한 평균 전달의 분해 가능성, (b) 독립 적합한 전달들의 유사도.
• 읽는 법: (a) x축 = 원천에서 절단점까지 거리(가상 층, 0–140), y축 = cos(direct, composed). 초록 Qwen(cut L24), 파랑 Ouro(실선 cut v95, 점선 v143), 빨강 Huginn(실선 cut v33, 점선 v49). (b) x축 = 자기 목표로부터의 offset(층, 0–45), y축 = 같은 offset에서의 matrix cosine(0.3–1.0). 파랑 실선 = Ouro 6개 루프 쌍 평균, 빨강 실선 = Huginn r=8 vs r=12 렌즈. 점선 = 무작위 쌍 기준선(약 0.555), Huginn을 한 반복 어긋나게 맞춘 경우(약 0.43).
• 핵심 관찰: (a) Ouro는 0–140 거리 전체에서 약 0.95–1.0으로 거의 완벽히 분해된다. Qwen은 약 0.95에서 거리 30 근처 약 0.7로 내려간다. Huginn은 약 0.85에서 0.25 근처까지 빠르게 떨어진다(analyst-inference, 그래프 판독; 범위는 Table 4와 일치). (b) Huginn은 약 1.0(0.9991)으로 평평하다. Ouro는 약 0.81에서 시작해 목표에 가까워질수록 약 0.99로 오른다. 둘 다 점선 기준선보다 훨씬 위다.
• 의미와 주의: 저자 해석(author-stated): Ouro의 루프는 Markov적이라 각 루프가 다음 루프에 자족적 요약을 넘기고, Qwen은 근사적으로만, Huginn은 거의 분해되지 않아 반복들이 어느 절단에서도 얽혀 있다. 묶인 core는 매 반복 같은 일을 하고 렌즈가 그 반복을 물려받는다(Huginn은 정확히, Ouro는 근사적으로). 작성자 해석(analyst-inference): (b)의 “정확한 반복”은 Huginn의 렌즈를 한 번만 적합해도 된다는 실용적 결과로 이어지며, 이것이 루프 모델 해석 비용을 r배 줄인다.
• 확인 상태: viewed

Table 4 — 중간 절단점을 통한 평균 전달 분해

• 무엇을 보여주는가: Figure 1a의 수치 요약.
• 읽는 법: 행 = 모델과 절단점, 열 = cos(direct, composed).
• 핵심 관찰: Ouro-2.6B 감독된 루프 끝(v95, v143) 0.94–1.00; Qwen3.6-27B band entry L24 0.69–0.95(절단점에 가까울수록 상승); Huginn-0125 반복 끝(v33, v49) 0.25–0.84(절단점에 가까울수록 상승).
• 의미와 주의: 저자 해석(author-stated): 개별 프롬프트에서는 연쇄 법칙이 분해를 보장하지만 평균에서는 아니며, 분해 정도는 절단을 넘는 프롬프트 의존 상관의 양을 잰다. Ouro의 거의 완벽한 분해는 deep supervision의 증거이고, 같은 기제가 내용을 파괴한다. 실용적 귀결: checkpoint 모델은 루프별 렌즈를 따로 적합해 합성할 수 있지만 연속 반복 모델은 끝-대-끝 적합이 필요하다. 작성자 해석(analyst-inference): “분해된다 = 해석하기 쉽다”이면서 동시에 “분해된다 = 경계에서 정보가 끊긴다”이므로, 같은 성질이 감시 측면에서는 장점과 단점을 함께 가진다.
• 확인 상태: viewed

Figure 2 — Huginn의 band-map heat strip

• 무엇을 보여주는가: Huginn에서 각 원천 층(반복 단계별로 묶음)의 예상 잠재 후보 중 최고 순위를, 원래 렌즈 네 개(행)와 세 프롬프트(패널)에 대해.
• 읽는 법: 패널 = boot, eiffel, sushi 프롬프트. 행 = t17(r4), t33(r8), t49(r12), t66(r16) 렌즈, 빨간 표시 = 각 렌즈의 목표. x축 = 원천 층의 반복 단계(pre, s0–s15, coda). 색 = 최고 후보 순위의 로그 척도(밝을수록 좋음, 노랑 10⁰, 남색 10⁴). 회색 = 그 렌즈의 적합 원천 범위 밖. 모든 행이 같은 r=16 forward pass를 읽는다.
• 핵심 관찰: 밝은 칸은 각 렌즈 목표 직전 1–2개 반복에 몰린다(예: sushi의 t17은 s2–s3, t66은 s14–s15가 노랑). sushi는 모든 렌즈에서 밝은 칸이 나오고, eiffel은 중간, boot는 대부분 어둡고 늦게 약하게만 밝아진다.
• 의미와 주의: 저자 해석(author-stated): 읽기 가능한 영역이 렌즈 목표를 따라 미끄러지고(전달 거리 제한), 네 영역이 깊이 축을 타일처럼 덮으며 같은 잠재 내용을 읽는다 → 내용은 16회 내내 유지된다. 난이도도 드러난다(sushi는 반복 2부터, boot는 약하고 늦게). 작성자 해석(analyst-inference): 같은 내용이 모든 창에서 읽힌다는 것이 “유지”의 근거인데, Section 4.5는 이것이 저장이 아니라 매 반복 재계산임을 보이므로 이 그림 하나만으로 기억을 추론하면 안 된다.
• 확인 상태: viewed

Figure 3 — 동물 프롬프트의 층별 개념 점유도

• 무엇을 보여주는가: “가장 큰 육상 동물을 생각하고 있어. 그들은 뭘 먹지?” 프롬프트에서 J-lens 개념 목록(pursuit, k=25, 계수 임계 0.05‖h‖)의 층별 점유 수를 세 모델에 대해.
• 읽는 법: 세 패널(위 Qwen 64층, 가운데 Ouro 192 가상 층, 아래 Huginn 68 가상 층). x축 = (가상) 층, y축 = pursuit 점유 수. 막대는 쌓은 것: 파랑 = 잠재 클래스(판독되지만 말하지 않음, 예: food, tree, vegetation / mammal / fruit, root), 빨강 = 발화 클래스(실제 답에 나온 animal, elephant, plant). 점선 = 루프 경계(Ouro 48층마다), 반복 경계(Huginn 4 가상 층마다).
• 핵심 관찰: Qwen은 약 L20 아래 거의 0이고 L22–24부터 점유가 생겨 중반과 상단(약 L55+)에 몰린다. Ouro는 루프마다 같은 모양의 띠가 네 번 반복되고, 각 경계 직전(L41–46)에 점유가 오른다. Huginn은 반복마다 작은 톱니 모양이 고르게 이어지다 coda에서 크게 튄다(analyst-inference, 그래프 판독). 본문 수치: Qwen band 잠재 42 vs 발화 326, Ouro 루프 4 band 안 22.3 vs 밖 16.6 슬롯/층, Huginn 창당 31–44, coda 92(Section 6.1).
• 의미와 주의: 저자 해석(author-stated): 주기 패턴의 원천이 다르다—Ouro의 네 띠는 모델 성질(내용이 루프 안에서 생기고 죽음), Huginn의 톱니는 도구 성질(각 렌즈 창의 점유가 자기 목표 쪽으로 올라감). 경계 직전 상승은 그 루프의 감독된 checkpoint로의 해독이다. 작성자 해석(analyst-inference): 세 모델이 모두 직접 맞힌 유일한 시연 프롬프트를 고른 것이라(Section 6.1), 다른 프롬프트에서 같은 기하가 정량으로 재현되는지는 본문에서 사례(통화, 스포츠)로만 확인된다.
• 확인 상태: viewed

Table 5 — 11개 인과 실험 묶음

• 무엇을 보여주는가: 원 연구의 11개 인과 실험을 세 모델에 똑같이 돌린 요약. 각 실험은 원 연구 자체 지표로 채점.
• 읽는 법: 행 = 실험 묶음, 열 = Study(원 연구가 보고한 범위 또는 기대 패턴), Qwen3.6-27B, Ouro-2.6B, Huginn-0125. 굵은 글씨 = 실험별 최고 모델. “(base x%)“는 개입 없는 과제 기준선.
• 핵심 관찰: Verbal report(swap → top-5) 원 연구 59–88% / Qwen 69%, Ouro 80%, Huginn 98%. Introspection: Qwen null, Ouro top-1 31%, Huginn null(0/97). Modulation(focus/ctrl/suppress): .38/.07/.07, .77/.39/.26, .28/.15/.19. Top-down summoning: 셋 다 약 0. Two-hop probe swap: Qwen 52%(base 63%), Ouro 29%(48%), Huginn 6%(28%). Flexible generalisation: Qwen 42%, Ouro 38%, Huginn 13%(base 44%). Selectivity language: +1.00, +0.25, +0.38. Line count: 0.09@1, 1.00@1, 0.09@1. Ignition(10–90 폭): 0.10, 0.55, 창 안에서 없음. Capacity: 0.7, 2.4, 1.8(원 연구 약 25). Dual task: 6/21, 17/21, 7–8/21.
• 의미와 주의: 저자 해석(author-stated): 세 모델이 서로 다른 실험에서 이기며, 그 갈림은 규모가 아니라 학습 인터페이스를 따른다. 작성자 해석(analyst-inference): Huginn의 낮은 two-hop·flexible 점수는 기준선 자체가 낮아(28%, 44%) “workspace가 없다”가 아니라 “과제를 못한다”가 섞여 있고(Section 7.4), summoning·capacity의 null은 렌즈 맹점이라 모델 비교 근거로 쓰기 어렵다. 이 표에서 아키텍처 차이를 가장 깨끗하게 보여 주는 행은 introspection과 verbal report의 대비다.
• 확인 상태: viewed

Wiki 연결

• Verbalizable Representations Form a Global Workspace in Language Models — 이 논문이 확장·재실행하는 원 연구(Gurnee et al. 2026, Anthropic transformer-circuits). J-lens와 11개 인과 실험 묶음의 출처이며, 이 논문이 답하려는 “깊이 = 되먹임?” 질문을 남겼다.
• Latent Chain-of-Thought Decoding the Depth-Recurrent Transformer — 같은 Huginn을 logit·coda lens로 해독한 선행 연구(Lu et al. 2025). 이 논문은 고정 unembedding 대신 전달 기반 렌즈를 루프 경계 너머로 적합한다는 점에서 차별화한다.
• A Mechanistic Analysis of Looped Reasoning Language Models — 루프 모델 반복 동역학을 은닉 상태 기하·probe로 분석한 선행 연구(Blayney et al. 2026).
• Looped Transformers as Programmable Computers — looped transformer를 반복 계산 모델로 본 이론 계보(Giannou et al. 2023).
• On the Chain-of-Thought Monitorability of Looped Language Models — 같은 Ouro 계열을 CoT 모니터러빌리티 쪽에서 본 HW2 읽기 목록 논문(analyst-inference, 이 논문에서 인용되지 않음). 외부 행동(CoT) 감시와 내부 판독(J-lens)을 짝지어 토론할 수 있다.

BibTeX

@misc{wang2026loopedjacobianlens,
  title         = {Looped Transformers under the Jacobian Lens: Does the Global Workspace Survive Recurrence?},
  author        = {Wang, Wenlong and Reid, Fergal},
  year          = {2026},
  eprint        = {2609.01924},
  archivePrefix = {arXiv},
  primaryClass  = {cs.AI},
  url           = {https://arxiv.org/abs/2609.01924}
}