길이 일반화를 위한 Looped Transformer

개요

처음부터 학습한 Transformer는 덧셈이나 parity(1의 개수가 홀수인지 짝수인지) 같은 알고리즘 과제를 학습 때 본 길이에서는 잘 풀지만, 더 긴 입력이 오면 무너진다. 이것이 length generalization(길이 일반화) 문제다. 이 논문의 통찰은 원인을 “모델의 깊이가 고정돼 있다”는 데서 찾는 것이다. 20자리 덧셈과 40자리 덧셈은 필요한 계산 단계 수가 다른데, 층 수가 정해진 Transformer는 어떤 입력이든 같은 횟수만큼만 계산한다. 그래서 저자들은 “한 번의 반복은 고정 깊이 Transformer로 표현되는 짧은 연산이고, 길이 n인 문제는 그것을 T(n)번 반복하면 풀린다”는 문제 집합을 n-RASP-L로 정의하고, Copy·Parity·Addition이 실제로 이런 풀이를 가진다는 것을 보였다(Section 3). 해법은 이 정의에서 자연스럽게 나온다. 같은 decoder block을 여러 번 돌리는 Looped Transformer를 쓰고, 중간 단계 정답(scratchpad, CoT) 없이 최종 답만 “이 샘플은 T(n)번 돌린 뒤에 맞아야 한다”고 감독한다(step-dependent supervision). 길이가 다양한 샘플들이 서로 다른 반복 횟수에서 감독을 받으므로, 공유된 block은 길이와 무관하게 재사용되는 한 단계를 배우게 된다. 매 반복마다 원래 입력 임베딩을 다시 더하는 input injection도 쓴다. 결과적으로 Parity는 20자리까지 학습하고 40자리 이상에서 거의 완벽했고, Addition과 Copy는 학습 최대 길이+10에서 next-token prediction(NTP) 방식이 실패할 때도 거의 완벽했다(Section 6.2, Figure 4). 같은 깊이를 쓰는 NTP, pause token을 넣은 NTP, 층을 묶었지만 반복 횟수를 20으로 고정한 NTP-Loop 모두 이보다 못했다. 추론 때 반복 횟수를 모르면 출력의 cross-entropy가 가장 낮은 단계를 고르는 maximum confidence 규칙으로도 정답에 가까운 단계를 찾았다(Section 6.4).

Implication: 길이 일반화의 병목 중 하나는 데이터나 positional embedding이 아니라 “입력 난이도에 맞춰 계산 깊이를 늘릴 수 없는 구조”일 수 있다. 반복 횟수를 입력에 맞춰 조절하는 순환 깊이는 CoT 토큰을 쓰지 않고도 계산량을 늘리는 다른 축이 된다—다만 학습 데이터에 필요한 단계 수 T(n)가 주어져야 한다는 비용이 따른다.

📎 https://arxiv.org/abs/2409.15647

배경과 문제

왜 어려운가. 저자들은 입력 길이가 문제 난이도와 연결되는 경우가 많고, 모든 길이로 학습할 수는 없으므로 길이 일반화가 필요하다고 본다. 또 모델이 길이 일반화를 한다는 것은 특정 길이에서만 통하는 가짜 풀이가 아니라 진짜 알고리즘을 배웠다는 뜻이라고 말한다(author-stated, Section 1). GPT-4 같은 최신 LLM도 길이 일반화에 어려움을 겪는다는 선행 연구(Wu et al., 2023; Anil et al., 2022; Lee et al., 2024)를 인용하고, 그 원인 후보로 Transformer의 고정 깊이를 지목한다(author-stated, Section 1).

학술적 계보 (저자가 직접 언급한 것).

RASP / RASP-L: RASP(Weiss et al., 2021)는 Transformer가 할 수 있는 계산을 프로그래밍 언어로 쓴 것이고, RASP-L(Zhou et al., 2024a)은 그중 “학습 가능한” 부분집합이다. RASP-L은 원소별 연산과 causal attention을 흉내 내는 kqv 연산을 쓰고, 임의의 인덱스 산술과 분기·반복문(control flow)을 허용하지 않는다(Section 2.1). Zhou et al.은 RASP-L 프로그램으로 쓸 수 있는 과제(counting, mode, 고유 토큰 copy, sorting)는 NTP로도 길이 일반화가 되지만, RASP-L 표현이 알려지지 않은 addition·parity·(반복 토큰) copy는 그렇지 않다고 보였다(Section 2.1). 이 논문은 바로 그 “안 되는 과제”를 겨냥한다.
Looped Transformer: 입력 전체를 여러 번 처리하면서 중간 출력을 다음 반복의 입력으로 넘기는 구조로, 기본 모델이 Transformer면 Looped Transformer라 부른다(Yang et al., 2024). Giannou et al.(2023)의 구조를 decoder-only로 바꾼 것이라고 밝힌다(Section 4.2.1). → Looped Transformers as Programmable Computers
Universal Transformer(UT)·PonderNet: 저자들은 UT(Dehghani et al., 2018)에서 크게 영감을 받았다고 말하며, 차이를 Table 1로 정리한다. UT·PonderNet은 encoder+decoder, NTP, positional embedding 사용, input injection 없음이고, 이 논문은 decoder-only, FOP, PE 없음, input injection 있음, confidence 기반 또는 사전 지정 halting이다(Section 5, Table 1).
Deep Equilibrium Models(Bai et al., 2019)와 Yang et al.(2024): input injection의 근거로 인용(Section 4.2.1).
McLeish et al.(2024): weight-tied 층으로 고정 깊이 모델의 일반화를 높였지만 적응 깊이는 도움이 안 됐다고 보고했다. 저자들은 그 이유를 단계별(step-specific) 학습을 하지 않았기 때문이라고 보고, 비교를 위해 NTP-Loop baseline을 넣었다(Section 5 각주 8).
CoT / scratchpad / pause token: CoT 데이터는 모으기 어렵고, 모든 CoT 단계가 도움이 되지는 않으며, CoT는 고정 깊이 모델에 묶여 있다. Pause token(Goyal et al., 2023)은 CoT 데이터 없이 암묵 단계를 배우게 하지만 “수평(병렬) 계산만 늘리고 순차 계산은 늘리지 않는다”(Section 5).
Positional embedding 연구와 Chomsky hierarchy 연구(Delétang et al., 2022): PE 설계는 이 논문과 직교하는 방향이라 NoPE를 쓴다고 밝힌다(Section 5).

이 논문의 차이. (1) n-RASP-L이라는 문제 클래스를 형식적으로 정의, (2) 중간 단계 감독 없이 최종 답을 단계 수에 맞춰 감독하는 학습법, (3) 추론 때 반복 횟수를 입력에 맞춰 바꾸는 적응 깊이(Section 1 기여 목록). 저자들은 “looped Transformer에 step-dependent supervision을 쓰는 이점을 처음 보였다”고 주장한다(author-stated, Section 5).

지표

지표	뜻	단위·범위	방향	분모·정규화	측정 조건	위치
Exact match accuracy	출력 시퀀스 전체가 정답과 완전히 같은 비율	0–1	높을수록 좋음	테스트 샘플 수(6400 random samples)	각 테스트 길이별로 측정, 학습 seed 5개 평균과 standard error	Section 6.1.3, Appendix F
Cross-entropy loss (log loss)	단계 t에서 디코딩한 출력에 대한 손실. 정지 단계 선택(Eq. 2)과 Figure 5 시각화에 쓰임	실수 (Figure 5는 log 축)	낮을수록 확신이 높음	B개 샘플에 대해 계산. B = N_test(그 길이의 테스트셋 전체) 또는 B = 1(샘플별)	단계 1–T_max	Section 4.3, 6.4

“Test Length”는 과제마다 정의가 다르다(예: Parity는 자릿수, Multiplication은 두 번째 수의 길이). Section 6.1.1 참조.

방법과 벤치마크 구성

n-RASP-L 정의 (Section 3)

Definition 3.1: 프로그램 P가 n-RASP-L 프로그램이라는 것은 (1) T : ℕ → ℕ가 존재하고, (2) P가 P′를 T(n)번 순차 적용하는 것으로 분해되며, 앞뒤로 선택적 전처리 P_pre와 후처리 P_post가 붙는 것이다. 즉 P = P_pre ∘ (P′)^{T(n)} ∘ P_post, 그리고 P′, P_pre, P_post ∈ RASP-L.

쉽게 말해 “한 번 돌리는 몸통(P′)은 고정 크기 Transformer로 표현되고, 문제 길이 n에 따라 몇 번 돌릴지만 달라지는” 과제들이다.
Proposition 3.2–3.4: Parity(T(n) = n), Copy(T(n) = n), Addition(T(n) = n + 1)이 n-RASP-L 풀이를 가진다. 증명은 Appendix A의 Listing 1–3 프로그램이다. 각 반복 단계는 Parity = 입력을 오른쪽으로 1칸 shift하고 답 시퀀스와 XOR, Copy = 오른쪽으로 1칸 shift, Addition = 두 시퀀스의 XOR을 1칸 shift해 부분 답으로, AND를 carry-on 시퀀스로(Section 3, Figure 3).

예측 방식: NTP vs FOP (Section 2.2)

NTP(next-token prediction): 학습 때 질문+답 전체를 넣고 한 칸 민 시퀀스를 맞힌다. 추론 때는 한 토큰씩 생성해 덧붙인다.
FOP(full-output prediction): 학습·추론 모두 질문만 넣고 나머지 자리를 EOS(#)로 채워 입력·출력 길이를 같게 한다. 모델은 모든 내부 처리를 마친 뒤 빠진 토큰을 한꺼번에 낸다. 이 논문의 방법은 FOP를 쓴다.

구조 (Section 4.2.1, Appendix F)

Recurrence: 일정 수의 층으로 이뤄진 같은 decoder block을 반복 적용하고, 반복 횟수는 마음대로 조절할 수 있다.
Input injection(입력 재주입): 매 단계, 원래 입력 임베딩을 이전 단계 출력 임베딩에 더해서 현재 단계 입력으로 쓴다. 원래 입력과의 연결을 유지해 정보 손실을 막는다(Bai et al., 2019; Yang et al., 2024 인용).
NoPE: RASP-L 연산에는 positional encoding이 없으므로, 그 가정을 따르고 학습 방식의 효과만 보기 위해 PE를 쓰지 않는다.
기본 block: decoder-only GPT-2, NoPE, 임베딩 차원 256. 입력을 임베딩 공간으로 바꾸고, 반복 계산을 임베딩 공간에서 한 뒤, 마지막에 디코딩한다. 디코딩은 greedy(Section 4.2.2 각주 7, Appendix F).
과제별 head 수·block 깊이(층 수)는 Appendix Table 2에 있다(예: Parity 64 heads·1층, Addition 8 heads·3층).

학습 (Section 4.1–4.2.2)

데이터 가정: n-RASP-L 풀이가 존재하고, 학습 데이터는 (x, y) 쌍뿐이며 중간 단계 P′(x), P′(P′(x))는 없다. 대신 필요한 반복 횟수 T(n)는 데이터에 주어진다. 길이 n과 T(n)이 다양하게 분포한다.

손실 (Eq. 1): 데이터셋 D = {({(x_l)_{l=1}^{L_i}}i, {(y_l){l=1}^{L_i}}i, T_i, L_i)}{i=1}^N에 대해

E_D[ L( f_{T_i}(M_θ, {(x_l)_{l=1}^{L_i}}i), {(y_l){l=1}^{L_i}}i ) ], f{T_i}(M_θ, ·) = M_θ(M_θ(⋯M_θ(·))) (T_i회 반복)

L은 cross entropy. 왜 이게 통하는가에 대한 저자 설명: 어떤 입력은 T단계 뒤에 감독받지만, 다른 길이의 입력은 T−1단계 뒤에 감독받으므로, 같은 block이 다양한 길이와 다양한 단계 수에서 감독을 받는다. 그래서 길이 일반화 가능한 중간 단계를 배우리라 기대한다(author-stated, Section 4.2.2).

세부: curriculum(가장 짧은 길이부터 최대 학습 길이까지 점진적으로 늘림, Garg et al., 2022), 각 batch를 i.i.d.로 새로 샘플링하는 online 학습, AdamW, 최대 학습 길이 도달 후 learning rate를 10^−4에서 0으로 cosine decay, batch size 64, 총 100k gradient step. Parity와 Binary Sum에는 EMA(0.9999)가 도움이 됐다(Section 6.1.3, Appendix F).

적응 추론 (Section 4.3)

정지 규칙 두 가지. (1) Oracle: 필요한 단계 수를 안다고 가정. (2) Maximum confidence (Eq. 2): T = argmin_{t∈[1,T_max]} L( f_t(M_θ, {(x_l){l=1}^L}{i=1}^B), {(ŷ_l^t){l=1}^L}{i=1}^B ). 즉 단계 t의 출력을 디코딩한 ŷ^t를 정답처럼 놓고 계산한 cross-entropy가 가장 낮은(가장 확신하는) 단계를 고른다. B = N_test면 그 길이 테스트셋 전체로 한 번 고르고, B = 1이면 샘플마다 고른다. Section 6.2·6.3 결과는 Oracle 기준이다(Section 6.1.3).

과제 (Section 6.1.1)

과제	내용	길이 정의	T	학습 길이
Parity	이진 문자열의 parity	자릿수	길이와 같음	[1, 20]
Copy (반복 토큰 허용)	이진 문자열 복사	복사할 자릿수	길이와 같음	[1, 20)
Binary Addition	같은 자릿수 두 이진수 덧셈, 출력은 한 자리 더 길고 뒤집지 않음	더할 자릿수	길이와 같음	[1, 20)
Binary Sum	이진 문자열의 합을 이진수로(뒤집힌 순서)	더할 이진 자릿수	길이와 같음	[1, 20)
Binary Multiplication	첫 수는 최대 두 자리, 출력은 뒤집힌 순서	두 번째 수의 길이	두 수 길이의 곱	[1, 12)
Unique Set	50개 토큰 알파벳에서 첫 등장 순서로 고유 집합	계산할 자릿수	길이와 같음	[1, 20)

주의(analyst-inference): Proposition 3.4는 Addition의 T(n) = n + 1이라고 하지만 Section 6.1.1은 Addition의 T를 “문제 길이와 같게” 설정했다고 쓴다. 두 문장이 다르며, 어느 쪽이 실험에 쓰였는지 본문만으로는 확정할 수 없다. 또 Parity만 학습 길이가 닫힌 구간 [1, 20]로 적혀 있다.

Baseline (Section 6.1.2)

NTP: 최대 유효 깊이를 맞추려고 looped block 깊이의 20배 깊이 Transformer를 NTP로 학습.
NTP-Pause: 같은 깊이 + 답 앞에 pause token(실험에서는 20개, Appendix D).
NTP-Loop: looped block과 같은 깊이 block을 20회 고정 반복, NTP로 학습(McLeish et al., 2024 방식).
Ablation(Appendix C Figure 7): FOP-Loop-Adaptive-WO(input injection 없음), FOP-Pause, FOP(weight-tying·적응 깊이 없음, 역시 20배 깊이).

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
Copy·Parity·Addition은 n-RASP-L 풀이가 있다	Proposition 3.2–3.4, Appendix A Listing 1–3	T(n) = n, n, n + 1	존재 증명(구성)이지 학습된 모델이 이 풀이를 쓴다는 증거는 아님	author-stated
Looped 학습이 길이 일반화를 크게 높인다	Section 6.2, Figure 4	Parity: 20자리까지 학습, 40자리 넘게 거의 완벽. Addition·Copy: 학습 최대 길이+10에서 NTP는 실패, 제안 모델은 거의 완벽	Oracle 정지 규칙 기준. 5 seed 평균	author-stated
NTP 변형은 일부 개선하지만 제안 방법보다 못하다	Section 6.2, Figure 4	NTP-Loop는 Addition·Copy·Multiplication에서, NTP-Pause는 Binary Sum·Unique Set에서 소폭 개선	Binary Sum은 모든 방법이 테스트 범위에서 대체로 높음(y축 0.6–1.0)	author-stated
Multiplication에서는 제안 방법도 길이가 늘수록 떨어진다	Figure 4	길이 16에서 약 0.9대(그래프 판독), 학습 길이 [1, 12)	다른 과제보다 하락이 보임	analyst-inference
Input injection이 대체로 도움이 된다	Section 6.3, Appendix Figure 7	Addition·Binary Sum·Unique Set에서 효과가 더 뚜렷	부록 그림. 수치표 없음	author-stated
Pause token은 FOP에서도 적응 깊이만 못하다	Section 6.3	FOP-Pause가 vanilla FOP보다 나을 때가 있지만 제안 방법보다는 못함	저자 해석: pause는 병렬 계산만 늘림	author-stated
20배 깊은 고정 깊이 FOP는 학습 자체가 어렵다	Section 6.3	Addition에서 FOP·FOP-Pause의 in-distribution 정확도가 낮음	저자는 다양한 깊이로 감독하는 학습의 중요성을 보여준다고 해석	author-stated
정답 후에도 출력이 한동안 유지되는(수렴) 과제가 있다	Section 6.4, Figure 5	Addition·Copy·Multiplication·Unique Set에서 명시적 학습 없이 수렴 행동	Parity·Binary Sum은 수렴하지 않음	author-stated
Maximum confidence 규칙(B = N_test)이 맞는 정지 단계를 고른다	Section 6.4, Figure 5, Appendix Figure 6	고른 단계의 정확도 ≈ 1 (모든 과제)	그래프에 보인 단계 범위 안에서 선택	author-stated
샘플별 정지(B = 1)는 수렴 과제에서만 잘 된다	Section 6.4, Appendix B Figure 6	수렴 과제에서는 B = N_test와 거의 같음, 비수렴 과제(Parity, Binary Sum)에서는 더 나쁨	실제 사용 시 B = 1이 현실적 상황	author-stated
고정 반복 수보다 가변 깊이가 낫다	Appendix B, Figure 6	FOP-Loop-Fixed(최대 깊이 고정)가 대체로 FOP-Loop-Adaptive보다 나쁨	부록	author-stated
추론 비용은 고정 깊이 모델보다 약간 크다	Appendix E	제안: O(k·a(n′)·n′²), NTP(KV cache)·FOP: O(C·n′²), maximum confidence 사용 시 O(k·N′·n′²)	부록에서 a(n′)는 정의 없이 등장	author-stated

결과들의 연결. 이 논문의 논리는 “구성 가능성(Section 3) → 학습 가능성(Section 4·6.2) → 정지 시점을 모델이 스스로 고를 수 있음(Section 6.4)“으로 이어진다. 다만 Section 3의 증명은 이런 풀이가 존재한다는 것까지만 보이며, 학습된 block이 실제로 shift·XOR 같은 단계를 수행하는지는 확인하지 않았다(analyst-inference). 정지 규칙에서 B = N_test는 같은 길이 테스트셋 전체로 단계를 고르는 것이므로 실전보다 유리한 설정이고, 샘플별 정지는 비수렴 과제에서 약하다는 저자 보고가 이 한계를 보여 준다.

Take-home

핵심 메시지. 같은 block을 입력 길이에 맞춰 더 많이 반복하게 하고, 최종 답만 “필요한 반복 횟수 뒤에” 감독하면, 중간 단계 데이터 없이도 길이 일반화가 크게 좋아진다.

성립 범위. 이진 parity·copy·addition·sum·multiplication과 unique set이라는 6개 합성 알고리즘 과제, 임베딩 256차원 GPT-2 block(1–4층), NoPE, 학습 길이 최대 20(Multiplication 12), 테스트는 학습 길이보다 약 10–20 더 긴 범위까지(Figure 4). 자연어나 대형 모델에서의 검증은 없다.

저자가 인정한 한계 (author-stated, Section 7).

현재 n-RASP-L 정의는 여러 루프를 차례로 이어야 하는 과제를 다루지 못한다.
반복 횟수가 크면 직접 looped 학습의 계산 비용이 크다. 앞 단계 gradient를 끊는 방법(Clark et al., 2023)이 대안이지만 성능 trade-off가 있을 수 있다.
계산 자원 부족으로 제한된 단계·길이로만 학습했다.
NoPE만 썼다.
학습 데이터에 정답 단계 수 T(n)가 필요하다. 일반 end-to-end 학습보다 추가 가정이지만 CoT 학습보다는 적은 가정이라고 저자는 말한다.

작성자가 보는 우려 (analyst-inference).

T(n)를 알려면 과제의 반복 구조를 미리 알아야 한다. 이는 정답 알고리즘에 대한 강한 사전지식이며, 실제 추론 과제에서 T(n)를 어떻게 얻을지는 열려 있다.
Section 6.2–6.3 결과는 Oracle 정지 기준이다. 실전형인 샘플별 정지(B = 1)는 Parity·Binary Sum에서 더 나쁘다.
Addition의 T 설정이 Proposition 3.4(n + 1)와 Section 6.1.1(길이와 같음) 사이에서 다르게 적혀 있다.

재현성. 학습 seed 5개, 평균 exact match와 standard error 보고, 평가 6400 random samples(Appendix F). 코드 공개: https://github.com/UW-Madison-Lee-Lab/looped-tf (Section 6).

본문 도표

Figure 1 — Method Overview

무엇을 보여주는가: 제안 방법의 구조. 입력 x_1 … x_n > # … #이 같은 Decoder Block을 ×n번 통과한 뒤, 출력 * … * x_1 … x_n #과 비교된다. Copy 과제 예시.
읽는 법: #는 EOS, *는 무시하는 출력, >는 질문의 끝(EOQ). 회색 block은 모두 같은 파라미터를 공유한다.
핵심 관찰: 학습 때는 같은 block을 정해진 횟수만큼 적용한 뒤에만 출력을 정답과 맞춘다. 중간 반복의 출력은 감독하지 않는다.
의미와 주의: 저자는 이 방식이 재사용 가능하고 임의 길이를 다루는 중간 단계를 배우게 돕는다고 말한다(author-stated, 캡션). 그림에는 input injection 화살표가 따로 그려져 있지 않다(analyst-inference).
확인 상태: viewed

Figure 2 — NTP와 FOP

무엇을 보여주는가: 두 예측 방식 비교. (a) NTP: 입력 0 1 1 > 0 1 1 #(질문+답), 출력 * * * 0 1 1 # #. (b) FOP: 입력 0 1 1 > # # # #(질문 + EOS 채움), 출력 * * * 0 1 1 # #.
읽는 법: 위가 출력, 가운데 TF model, 아래가 입력. 기호 의미는 Figure 1과 같다.
핵심 관찰: FOP는 답 토큰을 입력으로 받지 않고 모든 답을 한꺼번에 낸다.
의미와 주의: FOP에서는 모델이 토큰 하나씩 예측하도록 강제되지 않고, 내부 처리 단계가 끝난 뒤 빠진 토큰을 모두 예측한다(author-stated, Section 2.2). 이 차이가 looped 구조의 “반복 후 한 번에 출력”과 맞물린다.
확인 상태: viewed

Figure 3 — n = 2일 때 Copy·Parity·Addition의 n-RASP-L 풀이

무엇을 보여주는가: 세 과제에서 반복 단계 P′가 시퀀스를 어떻게 바꾸는지 단계별 상태.
읽는 법: 아래에서 위로 진행. (a) Copy: input 0 1 > 0 → P′_copy → 0 0 1 > → P′_copy → ans 0 0 0 1. (b) Parity: init ans 0 0 0 + input 1 1 >에서 시작해 shifted input과 partial ans를 두 번 갱신. (c) Addition: summand 1·2에서 시작해 partial ans·carry-on 쌍을 세 번 갱신.
핵심 관찰: Copy는 n번 shift, Parity는 n번 shift+XOR, Addition은 n + 1번의 shifted XOR과 AND(캡션).
의미와 주의: 입력은 전처리된 상태라고 캡션이 밝힌다. EOS·EOQ 처리 같은 전후처리는 루프 밖 고정 깊이 attention 층으로 할 수 있어 생략했다(Section 3 각주 3).
확인 상태: viewed

Table 1 — UT, PonderNet, 제안 방법 비교

무엇을 보여주는가: 순환 Transformer 계열 세 방법의 설계 차이.
읽는 법: 열은 Encoder/Decoder, Prediction Type, PE(positional embedding), Input Injection, Halting Mechanism.
핵심 관찰: UT = Both / NTP / Yes / No / ACT(Bolukbasi et al., 2017). PonderNet = Both / NTP / Yes / No / Halting node. Ours = Decoder-only / FOP / No / Yes / Confidence based or predefined.
의미와 주의: 저자는 FOP 사용을 가장 큰 구조적 혁신으로 꼽는다(author-stated, Section 5). 표의 ACT 인용이 Bolukbasi et al.(2017)로 달려 있다는 점은 원문 그대로다.
확인 상태: viewed

Figure 4 — 길이 일반화 성능

무엇을 보여주는가: 6개 과제(Parity, Addition, Copy, Multiplication, Binary Sum, Unique Set)에서 테스트 길이별 exact match 정확도. 방법은 FOP-Loop-Adaptive(Ours), NTP, NTP-Pause, NTP-Loop.
읽는 법: x축 Test Length, y축 Accuracy(Binary Sum만 0.6–1.0, 나머지 0–1). 세로 점선은 최대 학습 길이. 음영은 seed 간 오차.
핵심 관찰 (그래프 판독, analyst-inference): Parity는 제안 방법이 40까지 약 1.0, 다른 방법은 30 이후 떨어져 40에서 약 0.4–0.5. Addition은 제안 방법이 30까지 약 1.0, NTP·NTP-Pause는 26 부근에서 거의 0, NTP-Loop는 더 천천히 떨어짐. Copy는 제안 방법이 34에서도 0.9 이상, NTP·NTP-Pause는 28 부근에서 거의 0, NTP-Loop는 34에서 약 0.4–0.5. Multiplication은 제안 방법이 16에서 약 0.9대, NTP-Loop 약 0.5, NTP 약 0.3, NTP-Pause 약 0.15. Binary Sum은 모든 방법이 0.9 이상이고 제안 방법이 약 1.0. Unique Set은 제안 방법이 34까지 약 1.0, 나머지는 약 0.4–0.5.
의미와 주의: 저자 해석은 “적응 깊이 looped 모델이 pause token·weight-tied 변형을 포함한 NTP 방법들보다 일반화가 좋다”(author-stated, 캡션). Oracle 정지 기준이다.
확인 상태: viewed

Figure 5 — 정지 기준 시각화

무엇을 보여주는가: 특정 테스트 길이에서 반복 단계(Step)별 정확도와 log loss. (a) Parity 40, (b) Addition 30, (c) Copy 35, (d) Multiplication 16, (e) Binary Sum 24, (f) Unique Set 35.
읽는 법: 각 패널 위는 Accuracy(0–1), 아래는 Log Loss. x축은 반복 단계(대략 0–60). 세로선은 Eq. 2(B = N_test)가 고른 단계.
핵심 관찰 (그래프 판독, analyst-inference): Parity와 Binary Sum은 정확도가 거의 모든 단계에서 낮고 고른 단계 부근에서만 1로 튄다(비수렴). Addition·Unique Set은 정확도가 오른 뒤 한동안 1 근처를 유지하다 단계가 더 늘면 떨어지고, Copy·Multiplication은 오른 뒤 그래프 범위 끝까지 대체로 유지된다. 모든 패널에서 세로선이 정확도 ≈ 1인 단계에 있다(캡션: “The chosen steps have accuracy ≈ 1 across tasks”).
의미와 주의: 저자는 수렴 행동을 명시적으로 학습시키지 않았는데도 Addition·Copy·Multiplication·Unique Set에서 나타났다고 말한다(author-stated, Section 6.4). 비수렴 과제에서는 정지 단계를 정확히 맞혀야 하므로 정지 규칙에 덜 관대하다(Appendix F).
확인 상태: viewed

Wiki 연결

Looped Transformers as Programmable Computers — 이 논문이 구조적 출발점으로 인용한 Giannou et al.(2023). 같은 Kangwook Lee 공저.
Reasoning with Latent Thoughts - On the Power of Looped Transformers — looped Transformer의 표현력·추론 능력을 다룬 후속 계열.
Fixed-Point Reasoners - Stable and Adaptive Deep Looped Transformers — 반복 후 수렴·적응 정지 문제를 더 직접 다룸. 이 논문 Figure 5의 수렴 행동과 비교할 만하다.
Scaling up Test-Time Compute with Latent Reasoning - A Recurrent Depth Approach — 같은 아이디어(입력 재주입 + 가변 반복)를 3.5B 언어모델 규모로 키운 Huginn.

BibTeX

@inproceedings{fan2025looped,
  title     = {Looped Transformers for Length Generalization},
  author    = {Fan, Ying and Du, Yilun and Ramchandran, Kannan and Lee, Kangwook},
  booktitle = {International Conference on Learning Representations (ICLR)},
  year      = {2025},
  eprint    = {2409.15647},
  archivePrefix = {arXiv}
}