느슨한 재귀 Transformer: 층별 LoRA로 효과적인 파라미터 공유

개요

LLM은 크면 성능이 좋지만 배포 비용이 비싸다. 여러 층이 같은 가중치를 쓰는 **parameter sharing(파라미터 공유, layer tying)**은 메모리를 줄이는 오래된 방법이지만, 현대 LLM에서는 성공 보고가 적었다. 이 논문의 통찰은 공유 모델을 처음부터 학습하지 말고 이미 잘 학습된 LLM의 가중치에서 출발하자는 것이다. 예를 들어 18층 Gemma 2B를 앞 9층짜리 block 하나만 저장하고 두 번 도는 Recursive Transformer로 바꾼다. 이때 공유 block을 어떻게 채우느냐가 중요하다. 일정 간격으로 원본 층을 고르는 Stepwise, 묶이는 층들의 가중치를 평균하는 Average, 앞쪽 K개 층을 그대로 쓰는 Lower를 비교했고, 15B 토큰만 추가 학습(uptraining)해도 Stepwise가 가장 좋았다. 그런데 완전히 묶으면 한 층이 여러 깊이의 역할을 동시에 맡아야 한다. 그래서 저자들은 반복마다 다른 작은 LoRA(low-rank adaptation) 모듈을 붙여 공유를 살짝 풀어 주는 Relaxed Recursive Transformer를 제안하고, LoRA를 0이 아니라 “원본 층 가중치 − 공유 가중치”의 truncated SVD로 초기화한다. 그러면 rank가 0일 때는 순수 재귀 모델, rank가 충분히 크면 원본 모델이 되어 rank 하나로 크기와 성능 사이를 연속적으로 고를 수 있다. 결과적으로 Stepwise로 만든 재귀 Gemma 1B는 같은 크기로 처음부터 학습한 모델보다 최대 13.5%p 높았고(51.7% vs 38.2%, 15B 토큰), 300B 토큰으로 학습한 Pythia 1B와 TinyLlama 1.1B도 앞섰다(Figure 5c). 60B 토큰 uptraining과 knowledge distillation을 더하면 rank 512 relaxed Gemma가 3T 토큰으로 학습한 원본과 거의 같았다(58.4% vs 58.6%, Section 3.3). 반복 구조 덕분에 서로 다른 반복 단계에 있는 샘플을 한 batch로 묶는 Continuous Depth-wise Batching과 early exiting을 결합하면, oracle 종료를 가정한 시뮬레이션에서 vanilla 대비 최대 2.66배 처리량이 나왔다(Figure 8).

Implication: 깊이 방향 반복은 계산을 늘려 추론을 키우는 데만 쓰이는 것이 아니라, 기존 LLM을 더 작게 압축하는 데도 쓸 수 있다. 공유 층에 붙인 작은 LoRA는 “얼마나 공유할지”를 정하는 손잡이가 되고, 같은 함수를 여러 깊이에서 쓴다는 성질은 서빙 시스템의 새 배칭 축이 된다—단, 처리량 이득은 실제 측정이 아닌 이론적 추정이다.

📎 https://arxiv.org/abs/2410.20672

배경과 문제

왜 중요한가. 파라미터가 많을수록 성능이 좋지만 메모리·계산 비용이 크다. 층 사이에서 가중치를 재사용하는 parameter sharing은 메모리를 줄여 더 적은(또는 저사양) 가속기를 쓰거나 더 큰 batch로 처리량을 높일 수 있다. 하지만 현대 LLM에 적용한 성공 사례는 제한적이었다(author-stated, Section 1).

학술적 계보 (저자가 직접 언급한 것).

• 층 간 parameter sharing: RNN, CNN, 그리고 Transformer에서 Universal Transformer(Dehghani et al., 2019)가 훨씬 적은 파라미터로 비재귀 모델보다 좋았다. 이후 언어 이해(Lan et al., 2020, ALBERT), 언어 모델링, 기계번역(Takase and Kiyono, 2023 등)으로 확장됐다(Section 4). 반복 방식 중 이 논문은 한 block을 통째로 반복하는 **CYCLE 전략(Takase and Kiyono, 2023)**을 채택한다(Section 2.2, Appendix B).
• 알고리즘·추론용 순환 구조: 쉬운 문제에서 배운 전략을 추론 시 반복을 늘려 더 어려운 문제로 외삽(Schwarzschild et al., 2021 등), 프로그램 시뮬레이션(Giannou et al., 2023), 반복 알고리즘 학습(Yang et al., 2024), 알고리즘 과제 길이 일반화(Fan et al., 2024)(Section 4). → Looped Transformers as Programmable Computers, Looped Transformers for Length Generalization
• 압축 관점: layer skipping, pruning, nesting 같은 압축 기법이 놀랄 만큼 높은 성능을 유지한다는 관찰이 동기가 됐다(Section 1). Stepwise 초기화는 LLM에서 몇 층을 건너뛰어도 생성 품질 손상이 작다는 선행 연구(Fan et al., 2020; Liu et al., 2023; Zeng et al., 2023; Zhang et al., 2024a)에서 나왔다(Section 2.2).
• 배칭과 early exiting: continuous sequence-wise batching(Kwon et al., 2023; Yu et al., 2022)과 early exiting(Bae et al., 2023; Elbayad et al., 2020; Schuster et al., 2022)(Section 2.4, Section 4).

기존 방법의 한계와 이 논문의 차이 (author-stated, Section 4). 이전 연구는 대부분 비교적 작은 Transformer를 사전학습 가중치 없이 처음부터 학습했다. 이 논문은 LLM 맥락에서 기존 LLM 지식을 활용하는 초기화 전략을 제안하고, 층별 모듈로 weight tying 제약을 완화하는 일반화된 틀을 “처음” 제안했다고 주장한다. early exiting에서는 vanilla Transformer가 batch 안 한 토큰이라도 전체 층을 거쳐야 하면 나머지가 기다려야 하는 동기화 문제가 있는데, 재귀 구조는 깊이마다 같은 파라미터를 쓰므로 이 문제를 구조적으로 풀 수 있다고 말한다.

지표

지표	뜻	단위·범위	방향	분모·정규화	측정 조건	위치
Few-shot accuracy (평균)	LAMBADA, HellaSwag, PIQA, WinoGrande, ARC-easy, ARC-challenge, OpenBookQA 7개 과제 정확도의 평균	%	높을수록 좋음	LAMBADA·WinoGrande 제외 과제는 정답 문자열의 byte 길이로 정규화한 accuracy. 평균은 7개 과제 단순 평균	lm-eval harness, 과제별 표준 shot 수	Section 3.1, Appendix E
Perplexity	SlimPajama, RedPajama, PG19 테스트셋 perplexity	실수	낮을수록 좋음	토큰 평균	—	Table 2, Appendix E
Training loss	SlimPajama uptraining loss	실수	낮을수록 좋음	—	0–15B 토큰	Figure 5a, 6a
Throughput	초당 생성 토큰 수(tokens/sec). Transformer block 안에서 쓴 시간만 계산	tokens/sec 또는 정규화 배수	높을수록 좋음	Figure 8은 vanilla Pythia 처리량으로 정규화. Δ_V는 vanilla Gemma 대비, Δ_Seq는 continuous sequence-wise batching(CSB)을 쓴 vanilla Gemma 대비	oracle-exiting 가정, SlimPajama·RedPajama·PG19 평균, 단일 A100 40GB에서 측정한 토큰당 시간 + 종료 궤적 시뮬레이션, 대기열 20K 샘플	Section 3.8, Figure 8, Appendix E·K
Δ (early-exit 학습 후 변화)	early-exit 학습 후 최종 출력 정확도의 변화	%p	0에 가깝거나 양수가 좋음	—	static-exiting(모든 토큰이 첫 반복 또는 둘째 반복에서 종료)	Table 3

방법과 벤치마크 구성

기본 Transformer (Section 2.1)

L개 층의 Transformer에서 시점 t의 hidden state는 층을 차례로 지나며 계산된다.

$${\mathbf{h}}_t^{\ell }=f({\mathbf{h}}_t^{\ell -1};{\Phi }_{\ell }),\ell \in [1,L],(1)$$

ht^0는 이전 시점 토큰 y{t−1}의 임베딩, Φ_ℓ은 ℓ번째 층의 학습 파라미터다.

Recursive Transformer: 반복 층 묶기 (Section 2.2, Figure 1)

$${\mathbf{h}}_t^{\ell }=f({\mathbf{h}}_t^{\ell -1};{\Phi }_{((\ell -1)\mathrm{mod}L/B)+1}^{\prime }),\ell \in [1,L],(2)$$

Φ′는 공유 모델의 파라미터, B는 반복 block 수(L의 약수로 제한). 예: 18층 Gemma 2B를 B = 2로 바꾸면 처음 9개 층의 가중치만 저장하고 forward에서 이 9층을 두 번 돈다. Transformer block의 linear 층과 RMSNorm 가중치를 포함해 모든 학습 파라미터를 묶는다. 실험의 기본값은 B = 2(Gemma B = 3 결과는 부록).

반복 층 초기화 (Figure 2). 원본 6층 모델을 3층 × 2회 반복으로 바꾸는 예:

• Stepwise: 처음과 마지막 층을 고정한 채 일정 간격으로 중간 층을 고른다(예시: Layer 1, 3, 6).
• Average: 묶이는 층들의 가중치 행렬을 평균한다(예시: (1, 4), (2, 5), (3, 6)의 평균).
• Lower: 원본의 처음 K개 층을 그대로 쓴다(예시: Layer 1, 2, 3).

Relaxed Recursive Transformer: 층별 multi-LoRA (Section 2.3)

완전 묶기의 한계 두 가지: (1) 가능한 모델 크기가 층 수 단위로만 조절되고, (2) 한 층이 여러 깊이의 역할을 맡아야 한다. 그래서 식 (2)를 다음처럼 바꾼다.

$${\mathbf{h}}_t^{\ell }=f({\mathbf{h}}_t^{\ell -1};{\Phi }_{((\ell -1)\mathrm{mod}L/B)+1}^{\prime },\Delta {\Phi }_{\ell }^{\prime }),\ell \in [1,L],(3)$$

ΔΦ′는 LoRA 모듈의 (작은) 파라미터 집합이다. 반복이 2번이면 공유 block의 각 층에 서로 다른 LoRA 두 개가 붙고, 첫 반복에는 첫 LoRA, 둘째 반복에는 둘째 LoRA를 쓴다. 기본 변환 h = W′x에 대해 h = W′x + ΔW′x = W′x + BAx, 여기서 A ∈ ℝ^{(r×k)}, B ∈ ℝ^{(d×r)}, rank r. LoRA는 공유된 모든 linear 가중치 행렬에 붙는다. 층별 prefix 같은 다른 완화 방법도 시험했다(Appendix H).

Truncated SVD로 LoRA 초기화. 보통 LoRA 미세조정은 LoRA만 학습하고 0으로 초기화하지만, 여기서는 모든 파라미터를 학습해 공유 파라미터가 여러 깊이의 최적 “중심(centroid)“을 배우게 한다. 공유 가중치 Φ′와 LoRA ΔΦ′의 합이 원본 Φ를 근사하도록, 원본 가중치와 묶인 가중치의 잔차에 truncated SVD를 적용한다.

$${\mathbf{U}}_r^{\ell },{\mathbf{\Sigma }}_r^{\ell },{\mathbf{V}}_r^{\ell }=\text{Truncated SVD}({\mathbf{W}}_{\ell }-{\mathbf{W}}_{((\ell -1)\mathrm{mod}L/B)+1}^{\prime };r),\ell \in [1,L],(4)$$

가장 큰 r개 특이값에 해당하는 열만 남긴다. W는 원본, W′는 재귀 모델 가중치. B = U_rΣ_r, A = V_r^⊤로 초기화한다. rank가 충분히 크면

$$\mathbf{Wx}\approx {\mathbf{W}}^{\prime }\mathbf{x}+({\mathbf{U}}_r{\mathbf{\Sigma }}_r)({\mathbf{V}}_r^{\top })\mathbf{x}={\mathbf{W}}^{\prime }\mathbf{x}+\mathbf{BAx}={\mathbf{W}}^{\prime }\mathbf{x}+\Delta {\mathbf{W}}^{\prime }\mathbf{x},(5)$$

로 원본(식 1)을 근사하고, rank 0이면 Recursive Transformer가 된다(Remark, Section 2.3).

Continuous Depth-wise Batching과 early exiting (Section 2.4, Figure 3)

continuous sequence-wise batching은 새 토큰을 계산하는 함수가 위치와 무관하게 같다는 점을 이용해, 끝난 요청 자리에 새 요청을 바로 넣는다. 재귀 모델은 같은 함수를 깊이(반복) 방향에서도 쓰므로, 서로 다른 반복 단계에 있는 샘플을 한 batch에서 함께 계산할 수 있다. 여기에 early exiting을 붙이면 일찍 끝난 샘플 자리에 대기 요청을 곧바로 채운다.

실험 설정 (Section 3.1, Table 1, Appendix E)

• 대상 모델: Gemma 2B(18층, 3T 토큰, 비공개 데이터), TinyLlama 1.1B(22층, SlimPajama 73B + Starcoderdata 32B의 early checkpoint), Pythia 1B(16층, Pile 300B).
• Uptraining: SlimPajama 15B 또는 60B 토큰, context 2048, batch 약 2M 토큰, AdamW lr 2e-4, cosine annealing, warmup 200(15B) / 800(60B) step, H100 8장.
• Knowledge distillation: forward KL로 full-size 모델에서 증류(Section 3.6).
• Early-exit 학습: uptrain된 모델에서 SlimPajama 15B 토큰 추가 학습, B = 2이면 종료 지점 2개(Appendix E).

Baseline (Section 3.2)

• Full-size model: Gemma·Pythia는 사전학습 데이터와 SlimPajama의 분포 차이 때문에 uptraining 후 오히려 성능이 떨어지므로(Table 2), 같은 토큰 수로 uptrain한 full-size 모델을 목표치로 삼는다. TinyLlama는 이미 SlimPajama로 학습했으므로 원본 checkpoint를 기준으로 한다.
• Reduced-size model: 재귀 모델과 파라미터 수가 같도록 절반 또는 1/3 크기인 모델을 같은 레시피(토큰 수, full-size에서 증류)로 처음부터 사전학습. 사전학습 가중치와 반복 구조가 없다.

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
SlimPajama uptraining이 Gemma·Pythia 원본 성능을 떨어뜨린다	Table 2, Section 3.2	Gemma 평균 61.7(원본) → 60.1(15B) → 58.6(60B). Pythia 48.8 → 48.8 → 48.6. TinyLlama는 43.3 → 46.4 → 47.4로 상승	그래서 baseline을 uptrain된 full-size로 설정	author-stated
재귀 모델은 절반 파라미터로 full-size에 가깝고 reduced-size를 크게 앞선다	Figure 4, Section 3.3	Gemma 재귀 모델이 reduced-size보다 10%p 높음. 재귀 TinyLlama는 105B 토큰 vanilla보다 높음	60B 토큰 + KD	author-stated
rank 512 relaxed Gemma가 원본과 거의 같다	Figure 4, Section 3.3	58.4% vs 58.6%	비교 대상 58.6은 Table 2의 60B uptrain Gemma 값과 같다. 원본 3T 체크포인트(61.7)와의 비교로 읽으면 틀린다	author-stated / analyst-inference
Stepwise가 재귀 모델의 최적 초기화다	Figure 5a·b, Section 3.4	세 모델 모두 Stepwise 평균 정확도가 가장 높고, Gemma loss도 가장 낮음	15B 토큰. Pythia에서는 Stepwise·Average·Lower가 비슷해 보임(그래프 판독)	author-stated / analyst-inference
재귀 Gemma 1B가 TinyLlama 1.1B·Pythia 1B보다 좋다	Figure 5c, Section 3.4	reduced-size 대비 최대 13.5%p(51.7% vs 38.2%)	Gemma 15B 토큰 uptraining vs Pythia 300B 사전학습	author-stated
relaxed 모델은 Average 초기화가 가장 좋다	Figure 6a·b, Section 3.5	Average + LoRA가 LoRA 없는 Stepwise보다도 높음	rank 512, SVD 초기화	author-stated
Stepwise는 완화 후 오히려 나빠질 때가 있다	Section 3.5, Figure 6b	서로 완전히 다른 층 가중치의 차이를 낮은 rank로 잡기 어렵다는 저자 추정	—	author-stated
SVD 초기화가 0 초기화보다 낫다	Figure 6c, Section 3.5	최대 6.5점 향상	Gemma, rank 512. Stepwise에서는 그래프상 0 초기화가 더 높다(그래프 판독)	author-stated / analyst-inference
rank가 클수록 대체로 좋아진다	Figure 7a, Section 3.5	크기-성능 Pareto frontier	Stepwise만 U자형(중간 rank가 나쁨)	author-stated
긴 uptraining + KD가 정확도를 올린다	Figure 7b, Section 3.6	15B 결과 대비 최대 4.1%p	15B → 60B(Gemma 사전학습량의 0.5% → 2%), forward KL	author-stated
중간 출력 손실에 작은 계수(0.1)를 주면 최종 성능을 지키며 중간 성능이 오른다	Table 3, Section 3.7	Agg(0.1) + KD: 최종 52.6(Δ +0.9), 첫 반복 48.0. Weighted CE + KD는 최종 50.4(Δ −1.3)	Gemma, 15B 토큰 post-training, static-exiting	author-stated
첫 반복 출력과 최종 출력 차이가 4.6%p	Table 3, Section 3.7	52.6 vs 48.0	같은 조건	author-stated
Continuous depth-wise batching + early exit로 처리량이 크게 오른다	Figure 8, Section 3.8	재귀 Gemma Δ_V ×2.66(Δ_Seq ×1.88), 정확도 54.0. vanilla Pythia 대비 거의 4배	oracle-exiting 가정의 이론적 시뮬레이션	author-stated
LoRA rank가 클수록 정확도↑, 처리량↓	Figure 8 표	rank 64: 54.0 / ×2.00, 512: 56.2 / ×1.59	같은 시뮬레이션	author-stated

결과들의 연결. 논리는 “좋은 초기화(Section 3.4) → LoRA 완화로 성능 회복(Section 3.5) → 긴 학습·증류로 원본에 근접(Section 3.6) → early-exit 학습(Section 3.7) → 서빙 처리량(Section 3.8)” 순서다. 단, 초기화 방법의 최적값이 완화 여부에 따라 뒤바뀐다(재귀: Stepwise, relaxed: Average)는 점이 중요하다. Average는 묶인 층들의 “중심”에 가까워 잔차가 작고 낮은 rank SVD로 잘 근사된다는 것이 저자 설명이다(author-stated, Section 3.5). Figure 8 표의 정확도(재귀 54.0, rank 512 56.2)는 early-exit 학습 뒤 값으로 보여, Figure 4의 58.4와 직접 같은 조건이 아니다(analyst-inference).

Take-home

핵심 메시지. 잘 학습된 LLM을 반복 block 하나로 묶어 압축할 때, 초기화(Stepwise / Average)와 truncated SVD로 초기화한 층·반복별 LoRA가 있으면 적은 uptraining으로 원본 성능 대부분을 되찾는다. rank가 압축률과 성능 사이의 손잡이다.

성립 범위. 1–2B 규모 세 모델(Gemma 2B, TinyLlama 1.1B, Pythia 1B), 주로 B = 2, SlimPajama uptraining 15B·60B 토큰, 7개 few-shot 과제와 3개 perplexity. 더 큰 모델·생성형 과제·지시 따르기는 다루지 않는다.

저자가 인정한 한계 (author-stated).

• 처리량은 실제 early-exiting 알고리즘이 아니라 oracle-exiting 가정 위의 이론적 추정이며, 실용적 early-exit 알고리즘 개발은 범위 밖이다(Section 3.8, Appendix K).
• SlimPajama가 사전학습 데이터보다 품질이 낮거나 분포가 달라 달성 가능한 상한이 낮다(Section 3.2).
• 재귀 모델에서 찾은 early-exit 학습 전략을 relaxed 모델에 그대로 적용했으므로 더 맞춤형 전략이 필요할 수 있다(Section 3.7).
• dense 층만 다뤘다. sparsity, MoE, SSM과의 결합은 향후 과제다(Section 5).

작성자가 보는 우려 (analyst-inference).

• “원본과 동등(58.4 vs 58.6)“의 58.6은 SlimPajama로 60B uptrain해 성능이 떨어진 full-size 값이다. 공개된 원본 Gemma 2B 체크포인트(Table 2 첫 행 평균 61.7)보다 낮다.
• Relaxed 모델의 파라미터 수는 rank에 따라 1.07B–1.60B(Figure 8 표)로 커지므로 “1B 재귀 모델”과 같은 크기가 아니다.
• 결과는 대부분 단일 run 값이며, seed 반복은 확보한 범위(본문·Appendix E)에서 확인하지 못했다.

재현성. 학습 설정(Appendix E)은 자세하다. 코드·체크포인트 공개 여부는 본문에서 확인하지 못했다.

본문 도표

Figure 1 — vanilla에서 Recursive, Relaxed Recursive로

• 무엇을 보여주는가: N층 vanilla Transformer를 K개 공유 층 block을 N/K번 반복하는 Recursive Transformer로, 다시 층별 LoRA를 붙인 Relaxed Recursive Transformer로 바꾸는 개념도.
• 읽는 법: 왼쪽 Layer 1…N, 가운데 Layer 1…K와 ×(N/K) 화살표, 오른쪽은 각 층 옆에 (1), (2), …, (N/K)번째 반복용 LoRA 모양이 붙어 있다.
• 핵심 관찰: Relaxed 모델에서는 같은 층이라도 반복마다 다른 LoRA를 쓴다.
• 의미와 주의: weight sharing의 이점을 대부분 유지하면서 성능을 높인다는 것이 저자 주장이다(author-stated, 캡션).
• 확인 상태: viewed

Figure 2 — 반복 층 초기화 세 가지와 SVD 초기화

• 무엇을 보여주는가: 6층 원본(왼쪽), 3층 × 2회 재귀 모델의 초기화 세 가지(가운데), SVD로 초기화한 relaxed 모델(오른쪽).
• 읽는 법: 각 칸의 숫자는 그 공유 층을 초기화하는 데 쓴 원본 층 번호다. Stepwise = {1, 3, 6}, Average = {(1,4), (2,5), (3,6)}, Lower = {1, 2, 3}. 오른쪽 아래 식: T-SVD(Layer 1 − Layer 1, 4) = (U_rΣ_r)(V_r^T) = BA.
• 핵심 관찰: relaxed 모델 예시는 공유 층을 Average로 초기화하고, 각 반복용 LoRA는 해당 원본 층과 공유 층 차이의 SVD로 채운다.
• 의미와 주의: 이 그림의 Stepwise 예시는 처음(1)과 마지막(6) 층을 유지하는 규칙을 보여 준다(analyst-inference, Section 2.2 설명과 일치).
• 확인 상태: viewed

Figure 3 — 깊이 방향 연속 배칭 예시

• 무엇을 보여주는가: 최대 batch 32, 모델 단계 3개, 시간 순서대로 들어오는 batch(16, 32, 8)를 (a) vanilla batching, (b) depth-wise batching, (c) early exiting 추가로 처리하는 시간표.
• 읽는 법: x축 Time Step 1–9, y축 Model Stage 1–3. 칸 안 숫자는 그 시점·단계에서 처리하는 샘플 수. 아래는 Input Stream.
• 핵심 관찰: (a)에서는 16짜리 첫 batch가 3단계를 모두 마친 뒤에야 32짜리 batch를 시작해 9 step까지 걸린다. (b)에서는 32짜리의 절반이 아직 진행 중인 첫 batch와 계산을 나눠 쓰며 더 일찍 끝난다. (c)에서는 일부 샘플이 2단계 뒤 종료하고 그 빈자리가 즉시 채워진다.
• 의미와 주의: 모든 단계가 같은 층 함수를 공유하므로 가능한 스케줄이다(author-stated, Section 2.4). 단일 forward 예시이며 여러 decode 반복으로 확장된다고 저자는 말한다.
• 확인 상태: viewed

Table 1 — 세 모델의 구조와 사전학습 정보

• 무엇을 보여주는가: Gemma 2B, TinyLlama 1.1B, Pythia 1B의 구조와 사전학습 정보.
• 읽는 법: N-emb(비임베딩 파라미터), Emb(임베딩·classifier head 파라미터), N_L(층 수), d_model, N_head, N_KV(key-value head 수), d_head, Vocab, Dataset, N_tok(학습 토큰), L_ctx.
• 핵심 관찰: Gemma 2B 1.98B/0.52B, 18층, N_KV 1, 256K 어휘, 3T 토큰, 8K context. TinyLlama 1.1B 0.97B/0.13B, 22층, N_KV 4, SlimPajama + Starcoderdata 73B*·32B, 2K. Pythia 1B 0.81B/0.21B, 16층, N_KV 8, Pile 300B, 2K.
• 의미와 주의: Gemma는 Multi-Query, TinyLlama는 Grouped-Query attention이라 KV head가 적다(캡션). TinyLlama는 덜 학습된 모델에서의 재귀 변환을 보려고 early checkpoint를 썼다(캡션 *).
• 확인 상태: viewed

Table 2 — uptraining 데이터 분포 차이의 영향

• 무엇을 보여주는가: full-size 모델을 SlimPajama로 0/15B/60B uptrain했을 때 perplexity와 few-shot 정확도.
• 읽는 법: Perplexity↓ 열 SlimP, RedP, PG19. Few-shot Accuracy↑ 열 LD(LAMBADA), HS, PQ, WG, ARC-e, ARC-c, OB, Avg.
• 핵심 관찰: Gemma Avg 61.7 → 60.1 → 58.6(SlimP perplexity는 11.46 → 10.58로 개선). TinyLlama Avg 43.3 → 46.4 → 47.4. Pythia Avg 48.8 → 48.8 → 48.6.
• 의미와 주의: perplexity가 좋아져도 few-shot 정확도는 떨어질 수 있다. 저자는 사전학습과 다른 품질·분포의 데이터로 uptrain하면 성능이 떨어질 수 있다고 해석한다(author-stated, 캡션).
• 확인 상태: viewed

Figure 4 — 주 결과: 모델 크기 대비 few-shot 정확도

• 무엇을 보여주는가: (a) Gemma, (b) TinyLlama, (c) Pythia에서 Full-size(별), Reduced-size(삼각형), Recursive(원), Relaxed(사각형, rank 64/128/256/512).
• 읽는 법: x축 Model Sizes(비임베딩 파라미터), y축 Few-shot Accuracy. 재귀·축소 모델은 60B 토큰 + KD. 재귀는 Stepwise, relaxed는 Average + SVD.
• 핵심 관찰 (그래프 판독, analyst-inference): Gemma는 Recursive 약 55(1.0B), Reduced-size 약 45, Relaxed 약 56–58.4, Full-size 약 58.6(2.0B). TinyLlama는 Recursive 약 44.3이 Full-size 약 43.3보다 높다. Pythia는 Recursive 약 45.3, Relaxed 약 46–47, Full-size 약 48.6.
• 의미와 주의: 재귀·relaxed 모델이 full-size에 근접하고 reduced-size를 크게 앞선다(author-stated, 캡션). TinyLlama는 uptraining 데이터가 사전학습 데이터와 같다는 이점이 있었다(Section 3.3).
• 확인 상태: viewed

Figure 5 — 재귀 모델 초기화 비교

• 무엇을 보여주는가: (a) Gemma 학습 loss 곡선, (b) 세 모델의 초기화별 평균 few-shot 정확도, (c) 재귀 모델과 비재귀 baseline 비교.
• 읽는 법: (a) x축 토큰 수 0–15B, y축 Training Loss. Full-size, Stepwise, Average, Lower, Random. (b) 막대. (c) x축 Model Sizes, y축 정확도. 모양은 Full-size(별), Reduced-size(삼각형), Recursive B2(원), B3(반원), 색은 모델.
• 핵심 관찰 (그래프 판독, analyst-inference): (a) loss는 Full-size < Stepwise < Average ≈ Lower < Random 순. (b) Gemma Stepwise 약 51.7, Average 약 46.7, Lower 약 47.2, Random 약 37.7. Pythia는 Stepwise·Average·Lower가 약 43–43.5로 비슷하고 Random만 약 26. (c) 화살표로 reduced-size → recursive 향상을 표시. Gemma는 약 38에서 약 51.7로.
• 의미와 주의: 저자는 Stepwise가 세 구조 모두에서 가장 높다고 쓰지만(author-stated, 캡션), Pythia에서는 차이가 매우 작다. Random 초기화는 사전학습 가중치 없이 축소 모델에 반복만 넣은 것이다.
• 확인 상태: viewed

Figure 6 — LoRA 완화의 효과

• 무엇을 보여주는가: (a) Gemma 학습 loss(LoRA 유무 × 초기화), (b) 완화로 얻는 정확도 이득, (c) SVD 초기화 vs 0 초기화.
• 읽는 법: 실선/빗금 = LoRA ✓, 점선/빈 칸 = LoRA ✗. block 2개, rank 512.
• 핵심 관찰 (그래프 판독, analyst-inference): (b) Gemma에서 Average는 약 46.7 → 약 55.5, Lower는 약 47.2 → 약 53.3으로 크게 오르지만, Stepwise는 약 51.7 → 약 51로 약간 내려간다. (c) Average는 0 초기화 약 49 vs SVD 약 55.5(약 6.5점 차), Lower는 약 49.4 vs 약 53.2. Stepwise는 0 초기화 약 53.1이 SVD 약 51.5보다 높다.
• 의미와 주의: Average 초기화 relaxed 모델이 loss와 정확도 모두 최고(author-stated, 캡션). Stepwise에서 SVD가 불리한 것은 “완전히 다른 층의 차이를 낮은 rank로 잡기 어렵다”는 저자 설명(Section 3.5)과 맞아 보인다(analyst-inference).
• 확인 상태: viewed

Figure 7 — rank, 긴 KD 학습, 전체 Pareto

• 무엇을 보여주는가: (a) LoRA rank(0, 64, 128, 256, 512)별 relaxed Gemma 성능, (b) 15B vs 60B + KD, (c) 세 모델의 최종 크기-성능.
• 읽는 법: (a) x축 LoRA Rank, 선은 초기화 방법. (b)(c) x축 Model Sizes, y축 Few-shot Accuracy.
• 핵심 관찰 (그래프 판독, analyst-inference): (a) Average는 약 46.7(rank 0) → 약 55.5(512)로 꾸준히 상승, Lower도 상승. Stepwise는 약 51.7 → 약 52 → 약 50 → 약 47.7 → 약 50.4로 U자. (b) 60B + KD에서 모든 점이 위로 이동, reduced-size도 약 38 → 약 45. (c) Gemma 재귀·relaxed 점들이 다른 모델의 full-size보다 높다.
• 의미와 주의: full-size 기준점은 60B 토큰 추가 uptrain한 모델이다(캡션). 재귀는 Stepwise, relaxed는 Average로 초기화.
• 확인 상태: viewed

Table 3 — early-exit 학습 손실 설계

• 무엇을 보여주는가: 이미 uptrain된 재귀 Gemma(0.99B, 15B, block 2, Stepwise)를 15B 토큰 더 학습할 때 중간 출력 손실 설계별 첫 반복·최종 출력 정확도.
• 읽는 법: Early-Exit Train 열 CE(Weighted 또는 Agg(0.1)), KD(✓/✗). 각 설정은 두 줄로, 윗줄이 최종(둘째 반복) 출력, 아랫줄이 첫 반복 출력. Δ는 early-exit 학습 뒤 최종 출력의 변화.
• 핵심 관찰: 기준(early-exit 학습 전) 최종 51.7. Weighted, KD ✗: 50.5(Δ −1.2) / 49.8. Agg(0.1), KD ✗: 52.5(+0.8) / 47.1. Weighted, KD ✓: 50.4(−1.3) / 49.9. Agg(0.1), KD ✓: 52.6(+0.9) / 48.0.
• 의미와 주의: 이전 연구의 가중 CE(α_i = i/Σ_i i)는 중간 표현 학습을 과하게 강조해 최종 성능을 깎는다. 중간 출력 계수를 0.1로 크게 줄이면 최종 성능을 지킨다(author-stated, Section 3.7). 다만 첫 반복 정확도 자체는 Weighted 쪽이 더 높다(49.8–49.9 vs 47.1–48.0)는 trade-off가 있다(analyst-inference).
• 확인 상태: viewed

Figure 8 — 처리량과 정확도

• 무엇을 보여주는가: 세 모델에서 Vanilla, Vanilla(CSB), Recursive, Relaxed의 정규화 처리량 대비 few-shot 정확도, 그리고 Gemma 상세 표.
• 읽는 법: x축 Normalized Throughput(vanilla Pythia = 1), y축 Few-shot Accuracy. 화살표는 vanilla → recursive 배수. 표 열: N-emb, Loop, LoRA, Batch(CSB/CDB), Exit, Acc., Thr.(tokens/sec), Δ_V, Δ_Seq.
• 핵심 관찰: Gemma 표: vanilla 1.99B 57.3, 1080(×1.00 / ×0.71). vanilla + CSB 1528(×1.41 / ×1.00). 재귀 0.99B + CDB + exit 54.0, 2877(×2.66 / ×1.88). LoRA 64/128/256/512: Acc 54.0/54.6/55.2/56.2, Δ_V ×2.00/×1.99/×1.78/×1.59. 그래프 화살표: Gemma ×2.66, ×1.71, ×1.66(그래프에서 TinyLlama·Pythia 쪽 화살표로 보임, analyst-inference).
• 의미와 주의: 처리량은 SlimPajama·RedPajama·PG19 평균이며 oracle-exiting 가정의 이론값이다(캡션, Section 3.8). 재귀 모델의 정확도(54.0)는 vanilla(57.3)보다 3.3%p 낮다. 처리량과 정확도를 함께 봐야 한다(analyst-inference).
• 확인 상태: viewed

Wiki 연결

• Looped Transformers for Length Generalization — Fan et al.(2024). 이 논문 Section 4에서 looped Transformer 계열로 인용. 같은 반복 구조를 압축이 아니라 길이 일반화에 쓴다.
• Scaling up Test-Time Compute with Latent Reasoning - A Recurrent Depth Approach — Geiping et al.(2025). 이 논문 결론에서 “반복 깊이를 늘려 잠재 추론”하는 대안 방향으로 언급. 반대로 Huginn은 이 논문을 “weight-shared 층 위 LoRA”라는 하이브리드로 인용한다.
• Looped Transformers as Programmable Computers — Giannou et al.(2023). Section 1·4에서 parameter sharing의 가능성을 보인 선행 연구로 인용.
• Training Large Language Models to Reason in a Continuous Latent Space — Hao et al.(2024). 결론의 잠재 추론 방향에서 언급.

BibTeX

@article{bae2024relaxed,
  title   = {Relaxed Recursive Transformers: Effective Parameter Sharing with Layer-wise LoRA},
  author  = {Bae, Sangmin and Fisch, Adam and Harutyunyan, Hrayr and Ji, Ziwei and Kim, Seungyeon and Schuster, Tal},
  journal = {arXiv preprint arXiv:2410.20672},
  year    = {2024}
}