Deep Equilibrium Models: 무한히 깊은 weight-tied 네트워크의 고정점을 직접 푸는 모델 (DEQ)

개요

딥러닝 모델은 보통 층(layer)을 L개 쌓고, 학습할 때는 L개 층의 중간값을 모두 메모리에 저장해 역전파한다. 그래서 깊이를 늘리면 메모리도 비례해서 늘어난다. 그런데 Universal Transformer나 TrellisNet처럼 모든 층이 같은 가중치를 쓰는(weight tying) 모델도 최신 성능을 낸다는 관찰이 있었다. 저자들이 여기서 던진 질문은 “같은 변환을 계속 반복하면 결국 어디로 가는가?”다. 실제로 이런 모델의 은닉 상태는 깊어질수록 변화가 점점 작아지며 어떤 **고정점(fixed point: f(z)=z가 되어 더 반복해도 바뀌지 않는 상태)**에 다가간다. 계산기에서 cos 버튼을 계속 누르면 0.739…에서 멈추는 것과 같다. 그렇다면 층을 하나씩 쌓아 그 점에 천천히 다가갈 필요 없이, “f(z)−z=0을 만족하는 z”를 근찾기(root-finding) 문제로 보고 Broyden 같은 준-뉴턴법으로 바로 풀면 된다. 이것이 **DEQ(Deep Equilibrium Model)**다. 핵심 이득은 역전파에서 나온다. 고정점에서는 **implicit differentiation(음함수 미분: 해가 만족하는 방정식만으로 기울기를 구하는 방법)**을 쓸 수 있어서, 그 점에 어떤 경로로 도착했는지 기억할 필요가 없다. 따라서 “무한히 깊은” 네트워크를 학습하면서도 메모리는 층 하나 분량, 즉 O(1)이다. WikiText-103에서 DEQ-Transformer(medium, adaptive embed.)는 같은 크기 Transformer-XL의 perplexity 23.6을 23.2로 낮추면서 학습 메모리를 9.0GB에서 3.7GB로 줄였고, DEQ-TrellisNet은 70층 TrellisNet과 같은 29.0대 성능을 24.7GB 대신 3.3GB로 냈다(메모리 절감은 최대 88%). 대가는 속도다. 학습은 같은 성능의 층 기반 모델보다 2.40–2.82배 느렸다.

Implication: “깊이”는 꼭 층 개수로 정할 필요가 없고, 반복이 수렴하는 평형점으로 정의할 수 있다. 이 관점은 이후 looped/recurrent-depth transformer가 반복 횟수를 늘리고, 고정점 수렴을 멈춤 기준으로 삼고, 반복 전체를 펼치지 않고 학습하는 설계의 출발점이 된다.

📎 https://arxiv.org/abs/1909.01377

배경과 문제

층 기반 모델의 메모리 문제. 깊은 네트워크는 L개 변환을 쌓고, 역전파에서 chain rule(연쇄 법칙)을 쓰려면 중간 활성값을 모두 저장해야 한다. 저자들은 이 저장 비용이 학습 하드웨어에서 깊이를 제한하는 요인이라고 본다(Section 1, Section 3 “One reason is the limited memory on training hardware”, author-stated). 기존 대응은 두 가지였다. gradient checkpointing([12])은 메모리를 O(√L)로 줄이지만 순전파를 다시 계산해야 하고, reversible network([23, 30])는 다음 층에서 이전 층 활성값을 복원한다(Section 2 “Memory-efficient deep networks”, author-stated).

weight tying에서 나온 질문. 동기는 모든 층이 같은 변환 fθ를 쓰는 모델(Universal Transformer [18], TrellisNet [8], recurrent stacking [15])이 SOTA에 견줄 만하다는 관찰이다. “같은 변환을 각 층에 적용한다면 그 과정의 극한은 무엇이고, 어떻게 모델링하는가”가 출발 질문이다(Section 1, author-stated). 저자들은 weight-tied 모델의 장점으로 정규화 효과, 모델 크기 감소, 임의 깊이 네트워크를 같은 깊이·선형 폭 증가로 weight-tied 형태로 쓸 수 있다는 점(Appendix C), 임의 깊이로 펼칠 수 있다는 점을 든다(Section 3, author-stated).

학술적 계보 (원문 Related Work 기준, author-stated).

• 연속 관점의 네트워크: equilibrium propagation([41]), Neural ODE와 ODE 기반 ResNet([24, 11]). 저자들은 ODE 방법이 adjoint system으로 잠재 궤적 전체를 역전파하는 반면 DEQ는 해에 도달한 경로와 무관하게 고정점에서 바로 역전파한다고 구분하고, ODE 모델은 수치 실험과 MNIST 수준에서만 검증되었다고 지적한다(Section 2).
• 암묵적 층(implicit layer): OptNet([3]) 등. 동시대 연구 [20](Implicit deep learning)은 Lagrangian 방법으로 작은 모델을 학습한다(Section 2).
• recurrent backpropagation(RBP, [2, 38])과 그 재검토([28]). DEQ와의 차이로 저자들은 (1) 일반 네트워크에서 깊이를 평형으로 대체하고 그 보편성을 증명했다는 점, (2) 고정 입력 RNN 밖의 SOTA 구조와 호환된다는 점, (3) 실제 규모 과제로 확장된다는 점을 든다(Section 2).

이 논문의 차이 (author-stated, Section 1–2). 특정 층 변환에 의존하지 않는 일반 틀이고, 두 개의 아주 다른 시퀀스 구조(TrellisNet, self-attention)로 구현했으며, WikiText-103 같은 대규모 고차원 과제에서 층 기반 모델과 경쟁하는 성능을 보인 첫 대규모 implicit layer 적용이라고 주장한다.

looped transformer 계보와의 위치 (analyst-inference). 이 논문은 Universal Transformer(weight-tied self-attention)를 직접 인스턴스화한다. “같은 블록을 반복한다”는 looped transformer의 기본 아이디어를 “반복의 극한 = 고정점”으로 끝까지 밀어붙인 형태로 읽을 수 있다.

지표

지표	무엇을 세나	단위·범위	방향	측정 조건	원문 위치
Copy Memory Loss	복사 기억 과제(T=400)에서의 손실. 시퀀스 앞 10개 원소를 구분자 뒤에 그대로 다시 출력해야 함	실수(손실 값)	낮을수록 좋음	시퀀스 길이 T+20, 학습 20K·테스트 2K 샘플. 손실 함수 종류는 원문에 명시되지 않음	Table 1, Appendix F
Test perplexity	언어모델이 다음 단어를 맞힐 때의 평균 “헷갈림”(정답 단어 확률의 기하평균 역수)	1 이상 실수	낮을수록 좋음	word-level PTB와 WikiText-103의 test split	Table 2, Table 3
Validation perplexity	위와 같은 지표를 검증 split에서 잰 값	같음	낮을수록 좋음	WT103, medium DEQ-Transformer(adaptive embedding 없음)	Figure 3
Memory†	학습 시 모델이 쓰는 GPU 메모리	GB	낮을수록 좋음	공정 비교를 위해 입력 길이 150, 배치 15로 통일. 실제 학습 하이퍼파라미터와 다르며 word embedding 메모리는 제외	Table 2·3 캡션
Runtime ratio	DEQ 실행 시간 ÷ 대응하는 층 기반 모델 실행 시간	배수(×)	1보다 작을수록 DEQ가 빠름	WT103, 경쟁력 있는 정확도의 DEQ 기준. 학습·추론 따로	Table 4
Broyden iterations per time step	순전파·역전파 Broyden 반복 총합 ÷ 시퀀스 길이	실수	낮을수록 빠름	WT103, 시퀀스 길이 150	Figure 2 왼쪽, Section 5.2
Difference norm ‖f(x)−x‖	고정점 방정식이 얼마나 덜 풀렸는지(잔차)	로그 스케일 실수	낮을수록 고정점에 가까움	x축은 함수 평가 횟수(NFE)	Figure 2 오른쪽

방법과 벤치마크 구성

1. 출발점: weight-tied 시퀀스 모델 (Section 3, 식 (3)). 입력 x₁:T를 모든 층에 넣어 주는(passthrough / input injection) weight-tied 모델은 z^[i+1] = fθ(z^[i]; x), z^[0]=0으로 쓴다. 저자들은 특정 fθ에서 깊이가 무한으로 가면 이 반복이 고정점 z* = fθ(z*; x)로 수렴하는 경향을 관찰했다(식 (4), 경험적 근거는 Appendix D Figure 4, author-stated). 입력을 매 층에 다시 넣는 것이 중요한데, 그래야 고정점이 입력에 의존한다(analyst-inference: 입력 주입이 없으면 고정점이 x와 무관해질 수 있다).

2. 순전파 = 근찾기 (Section 3.1.1). gθ(z; x) = fθ(z; x) − z로 두고 gθ의 근을 찾는다. 단순 반복(식 (5)) 대신 Newton·준-뉴턴(Broyden) 업데이트(식 (6))를 쓸 수 있다. 출력은 L번째 층 값이 아니라 평형점 자체이므로, 어떤 근찾기 알고리즘을 쓰든 상관없다(author-stated). 초기값은 0.

3. 역전파 = implicit differentiation (Section 3.1.2, Theorem 1, 식 (8)). 손실 ℓ = L(h(z*), y)의 파라미터 기울기는 평형점에서의 역 Jacobian J⁻¹_gθ 하나와의 행렬곱으로 표현된다. 근찾기 알고리즘이나 fθ 내부 구조와 무관하며 중간 은닉 상태를 저장할 필요가 없다(author-stated). 증명은 Appendix A.

4. 역 Jacobian 근사 (Section 3.1.3). 매번 역행렬을 계산하면 세제곱 비용이 든다. Broyden’s method(준-뉴턴법: Jacobian을 낮은 계수 업데이트로 근사)를 Sherman–Morrison 공식(식 (10))으로 쓰고, 초기값 B=−I, 잔차 노름이 허용오차 ε 아래로 떨어지거나 최대 반복에 도달하면 멈춘다. 역전파에서도 선형계 식 (11)을 vector-Jacobian product(자동미분으로 Jacobian 전체를 만들지 않고 곱만 계산)와 Broyden으로 푼다.

5. 성질 (Section 3.2).

• 메모리: z*, x 관련 변수, fθ만 저장. Jacobian(N×(Td)²)을 만들지 않고 vector-Jacobian product(N×Td)만 쓴다(author-stated).
• fθ 선택: 메모리 이득은 fθ와 무관하지만, 평형을 안정적으로 찾으려면 fθ가 “stable and constrained”여야 한다. TrellisNet의 gated activation과 Transformer의 layer normalization이 출력 범위를 제한한다(author-stated).
• DEQ를 쌓아도 이득 없음: Theorem 2(증명 Appendix B)는 DEQ 두 개를 쌓은 것이 하나의 DEQ(파라미터 합집합, 폭 d+r)로 표현된다는 것을 보인다. 즉 “단일 층” DEQ로 충분하다. 단, 이는 표현력에 관한 진술이며 학습 난이도나 효율에 대한 진술은 아니다(analyst-inference).

6. 두 가지 인스턴스 (Section 4).

• DEQ-TrellisNet: weight-tied temporal convolution(TCN)에 입력 주입을 더한 형태. fθ = ψ(Conv1D([u, z]; W_z) + x̃), ψ는 LSTM gated activation.
• DEQ-Transformer: Universal Transformer 형태. fθ = LN(φ(LN(SelfAttention(zW_QKV + x̃; PE)))), φ는 2층 position-wise feedforward residual block. 입력 주입 x̃를 Q·K·V에 더하고, Transformer-XL의 memory-augmented 구조(길이 T′ history padding, relative positional embedding)를 쓴다.

7. 실험 설정 (Section 5, Appendix F).

• 과제: copy memory(T=400), word-level Penn Treebank(학습 약 888K 단어, 어휘 10,000), WikiText-103(PTB의 약 110배, 어휘 260K 이상).
• Broyden 허용오차: 학습 시 순전파 ε=√T·10⁻⁵, 역전파 √T·10⁻⁸. 추론 시 √T·10⁻²로 완화(또는 반복 상한 축소).
• DEQ-TrellisNet은 [8]의 설정을 대체로 따르고, PTB에서 “층”이 없으므로 auxiliary loss를 쓰지 않는다. DEQ-Transformer는 WT103에서 학습·추론 모두 길이 150, relative positional embedding.
• 초기화: fθ 파라미터를 N(0, 0.05)에서 샘플링. 작은 operator norm으로 시작하는 것이 중요하다고 한다(Section 5.2 “Initialization of DEQ”).
• 비교 대상: TCN, Gated Linear ConvNet, AWD-QRNN, Relational Memory Core, Transformer-XL(small·medium·X-large), 70층 TrellisNet(± gradient checkpointing), PTB에서는 Variational LSTM·NAS·AWD-LSTM·DARTS·60층 TrellisNet.
• 하드웨어·GPU 수·학습 시간은 본문에 구체적으로 보고되지 않았다.

주요 결과

주장	근거 위치	관찰/수치	조건·주의	출처 라벨
DEQ는 긴 의존성 복사 과제를 잘 푼다	Table 1, Section 5.1	Copy Memory T=400 손실: DEQ-Transformer(14K) 3.5e-6, TCN(16K) 2.7e-5, LSTM(14K) 0.0501, GRU(14K) 0.0491	작은 합성 과제. 파라미터 수는 비슷하게 맞춤	author-stated
PTB에서 깊게 감독한 TrellisNet과 대등	Table 2, Section 5.2	DEQ-TrellisNet 57.1 vs 60층 TrellisNet(auxiliary loss, MoS 없음) 57.0, 둘 다 24M 파라미터	DEQ는 auxiliary loss 없이 처음부터 학습. PTB 최저값은 DARTS 55.7로 DEQ보다 낮다	author-stated
PTB에서 메모리 대폭 절감	Table 2	8.5GB → 1.2GB	길이 150·배치 15로 통일한 측정, embedding 제외	author-stated
WT103에서 TrellisNet 인스턴스가 원 모델보다 약간 좋음	Table 3	DEQ-TrellisNet 29.0 / 3.3GB vs 70층 TrellisNet 29.2 / 24.7GB, gradient checkpointing 적용 시 29.2 / 5.2GB	DEQ가 gradient checkpointing(O(√L))보다도 메모리를 덜 씀	author-stated
WT103에서 Transformer 인스턴스가 같은 크기 Transformer-XL과 대등하거나 약간 좋음	Table 3	medium: 24.2 / 2.7GB vs Transformer-XL(16층) 24.3 / 8.5GB. adaptive embed.: 23.2 / 3.7GB vs Transformer-XL(18층) 23.6 / 9.0GB	Transformer-XL은 weight-tied가 아님. DEQ medium은 172M vs 165M 파라미터로 약간 큼	author-stated
작은 모델에서 차이가 더 큼	Table 3	small: DEQ 32.4 / 1.1GB vs Transformer-XL(4층) 35.8 / 4.8GB, weight-tied 16층 34.9 / 6.8GB	비임베딩 파라미터 4.5M 수준	author-stated
SOTA 전체를 넘은 것은 아님	Table 3	Transformer-XL X-large(TPU, 257M) 18.7	저자들은 같은 모델 크기에서의 비교라고 명시. X-large는 TPU에서만 학습 가능	author-stated
메모리 절감 80% 이상(최대 88%)	Section 5.2 “Memory footprint”	학습 메모리 복잡도 O(L) → O(1). weight-tied가 아닌 baseline 대비로도 60% 이상 절감	embedding 메모리 제외	author-stated
DEQ는 느리다	Table 4, Section 5.2	학습: DEQ/18층 Transformer 2.82×, DEQ/70층 TrellisNet 2.40×. 추론: 1.76×, 1.64×	경쟁력 있는 정확도의 DEQ 기준 근사값. 저자: “DEQs are typically slower”	author-stated
학습이 진행될수록 근찾기가 어려워진다	Figure 2 왼쪽, Section 5.2	시간 단계당 Broyden 반복이 epoch에 따라 증가. 역전파는 순전파보다 반복이 훨씬 적음	원인은 Jfθ의 operator norm 증가일 “수 있다”는 가설 수준	author-stated (원인은 가설)
DEQ가 weight-tied 반복보다 평형을 안정적으로 찾는다	Figure 2 오른쪽	12 epoch 뒤 깊게 쌓은 self-attention은 고정점 주변에서 진동, DEQ는 준-뉴턴으로 안정 수렴	그래프상 weight-tied Ep.12 곡선은 10¹–10² 사이에서 내려가지 않음(그래프 판독)	author-stated + analyst-inference
허용오차·반복 상한을 늘리고 줄여 속도-정확도를 교환할 수 있다	Figure 3, Section 5.2	ε<0.1 또는 반복 상한 30(길이 75)이면 경쟁력 있는 성능. ε가 너무 크면 정확도가 급격히 발산	medium DEQ-Transformer(adaptive embed. 없음)	author-stated
쌓은 DEQ는 단일 DEQ보다 표현력이 크지 않다	Theorem 2, Appendix B	두 DEQ의 합성 = 하나의 DEQ의 마지막 d차원	표현력 진술. 실험으로 검증한 것은 아님	author-stated

결과는 하나의 흐름으로 이어진다. Table 1–3은 “고정점을 직접 풀어도 정확도를 잃지 않는다”를, Table 2–3의 메모리 열과 Section 5.2는 “그러면서 메모리는 깊이와 무관하다”를 보여 준다. Table 4와 Figure 2–3은 그 대가를 드러낸다. 실행 시간은 Broyden 반복 수에 달려 있고, 반복 수는 학습이 진행될수록 늘며, 반복을 아끼면 평형 추정이 나빠져 성능이 떨어진다. 즉 DEQ는 메모리를 계산 시간과 맞바꾼 설계다(analyst-inference).

Take-home

핵심 메시지. 같은 블록을 반복하는 네트워크의 “무한 깊이 극한”은 고정점으로 정의할 수 있고, 이 고정점은 근찾기로 직접 구하고 implicit differentiation으로 상수 메모리에 학습할 수 있다.

성립 범위.

• 언어모델링(PTB, WT103)과 copy memory 합성 과제에서만 확인했다(Section 5).
• 비교는 “같은 모델 크기”에서의 비교이며, 전체 SOTA(Transformer-XL X-large 18.7)를 넘지는 않는다(Table 3).
• 메모리 수치는 길이 150·배치 15로 통일한 측정이고 embedding을 제외한다(Table 2 캡션).

저자가 인정한 한계 (author-stated).

• DEQ는 층 기반 모델보다 대체로 느리다(Table 4, Section 5.2).
• Broyden 반복 수가 학습 중 증가한다(Figure 2).
• 평형 추정이 나쁘면 성능이 떨어진다(Figure 3).
• 평형을 안정적으로 찾으려면 fθ가 안정적이어야 하고 초기 operator norm이 작아야 한다(Section 3.2, 5.2).
• auxiliary loss처럼 “층”을 전제한 정규화를 어떻게 적용할지 분명하지 않고, dropout은 준-뉴턴 수렴을 느리게 한다. 미니배치 안에서 수렴 속도가 달라 GPU 활용이 비효율적일 수 있다. T>1000처럼 아주 긴 시퀀스는 고정점을 정확히 풀기 어렵다(Appendix E).

작성자가 보는 우려 (analyst-inference).

• 고정점의 존재·유일성은 보장되지 않는다. 논문은 수렴을 관찰과 안정한 fθ 선택에 기대며, 수렴 조건을 정리로 주지 않는다.
• Theorem 1의 기울기는 정확한 고정점을 전제한다. 실제로는 허용오차 ε로 멈추므로 기울기가 근사치이고, 이 오차가 학습에 미치는 영향은 Figure 3의 간접 증거 외에 정량화되지 않았다.
• 메모리는 O(1)이지만 계산은 Broyden 반복 수에 비례하므로, 학습이 진행될수록 비용이 커진다(Figure 2 왼쪽).

재현성. 코드와 사전학습 모델 공개(https://github.com/locuslab/deq, Abstract·Section 5). seed 수나 반복 실행 횟수, 오차 막대는 원문 전체에서 보고되지 않았다.

본문 도표

Figure 1 — DEQ와 일반 weight-tied 네트워크 비교

• 무엇을 보여주는가: (a) 1차원 입력에서 고정점을 찾는 과정의 그림, (b) 일반 weight-tied 깊은 네트워크와 DEQ의 학습 시 메모리 저장 범위 비교.
• 읽는 법: (a) x축은 입력, y축은 출력. 직선 y=x와 곡선 fθ(x)가 만나는 점이 z*. 녹색 점선은 DEQ(근찾기)가 z로 가는 경로, 파란 계단은 weight-tied 반복 z^[0]→z^[1]→…이다. 아래 연한 곡선 gθ(x)=fθ(x)−x의 근이 같은 z다. (b) 색칠된 상자(노랑·초록·파랑)가 학습 시 저장해야 하는 메모리. 왼쪽 일반 네트워크는 ×L 층 전체를 저장하고 역전파가 층마다 내려간다. 오른쪽 DEQ는 “Equilibrium Solver for z*=fθ(z*; x)” 상자 하나와 z*, 입력 주입 x̃만 저장한다.
• 핵심 관찰: (a) 근찾기 경로가 단순 반복보다 적은 걸음으로 z*에 닿는 모습을 그렸다. (b) DEQ의 역전파는 해 공간을 거슬러 내려가지 않고 평형점에서 바로 계산된다.
• 의미와 주의: 저자 의도는 DEQ의 상수 메모리 요구를 강조하는 것(Section 4 끝, author-stated). (a)는 개념도이며 실제 고차원 수렴 속도를 보여 주는 데이터가 아니다(analyst-inference).
• 확인 상태: viewed

Table 1 — Copy memory 과제

• 무엇을 보여주는가: 긴 시간 간격(T=400) 뒤에 앞쪽 10개 원소를 정확히 복사하는 능력.
• 읽는 법: 열은 모델(괄호 안은 파라미터 수), 값은 손실(낮을수록 좋음).
• 핵심 관찰: DEQ-Transformer(14K) 3.5e-6, TCN(16K) 2.7e-5, LSTM(14K) 0.0501, GRU(14K) 0.0491. DEQ가 가장 낮고, 순환 구조(LSTM·GRU)는 수천 배 높다.
• 의미와 주의: 저자는 DEQ가 상대적으로 긴 시퀀스에서 기억을 잘 유지한다고 해석하며, 순환 모델이 이 과제에서 약하다는 [7]의 결과와 일치한다고 말한다(author-stated). 작은 합성 과제 하나이고 seed 반복은 보고되지 않았다.
• 확인 상태: viewed

Table 2 — Penn Treebank word-level 언어모델링

• 무엇을 보여주는가: PTB에서 test perplexity와 학습 메모리.
• 읽는 법: 열은 전체 파라미터 수, 비임베딩 모델 크기, test perplexity(낮을수록 좋음), Memory†(길이 150·배치 15로 통일, embedding 제외). 위 블록은 문헌 모델, 아래 블록은 TrellisNet과 DEQ-TrellisNet.
• 핵심 관찰: DEQ-TrellisNet 57.1 / 1.2GB vs 60층 TrellisNet(auxiliary loss, MoS 없음) 57.0 / 8.5GB. 같은 24M 파라미터. 표 전체 최저 perplexity는 DARTS(second order) 55.7이고, AWD-LSTM은 58.8.
• 의미와 주의: 결론을 지지하는 비교는 TrellisNet 대비 정확도 동등·메모리 약 1/7이다. 결론을 제한하는 예외는 DEQ가 PTB 최저값이 아니라는 점이다. 캡션은 “on par with SOTA results, without fine-tuning steps”라고 표현한다(author-stated).
• 확인 상태: viewed

Table 3 — WikiText-103 word-level 언어모델링

• 무엇을 보여주는가: 대규모 말뭉치에서 DEQ 두 인스턴스와 같은 크기 baseline의 perplexity·메모리 비교.
• 읽는 법: 다섯 블록. (1) 문헌 모델과 Transformer-XL X-large, (2) TrellisNet 계열, (3) medium Transformer-XL vs DEQ, (4) adaptive embedding medium, (5) small. 같은 블록 안끼리 비교하도록 짜여 있다. Transformer-XL은 따로 표시하지 않으면 weight-tied가 아니다.
• 핵심 관찰: TrellisNet 블록 29.2 / 24.7GB(gradient checkpointing 시 5.2GB) vs DEQ 29.0 / 3.3GB. medium 24.3 / 8.5GB vs DEQ 24.2 / 2.7GB. adaptive embed. 23.6 / 9.0GB vs DEQ 23.2 / 3.7GB. small: 4층 35.8 / 4.8GB, weight-tied 16층 34.9 / 6.8GB vs DEQ 32.4 / 1.1GB.
• 의미와 주의: 모든 블록에서 DEQ가 perplexity는 같거나 약간 낮고 메모리는 크게 적다. 단, medium 블록의 차이는 0.1로 작고 DEQ 파라미터가 172M vs 165M으로 조금 더 많다. 표 전체 최저는 Transformer-XL X-large(TPU) 18.7로 DEQ보다 훨씬 낮다(analyst-inference: “SOTA 경쟁”은 같은 크기 조건 안에서만 성립).
• 확인 상태: viewed

Figure 2 — Broyden 반복 수와 수렴 안정성

• 무엇을 보여주는가: 왼쪽은 학습 epoch에 따른 시간 단계당 Broyden 반복 수, 오른쪽은 함수 평가 횟수에 따른 고정점 잔차.
• 읽는 법: 왼쪽 x축 training epoch(0–12), y축 Broyden 반복 총합 ÷ 시퀀스 길이. 파란선 Forward(eps=1e-6), 빨간선 Backward(eps=1e-8). 오른쪽 x축 함수 평가 횟수(0–350), y축 ‖f(x)−x‖(로그 스케일). weight-tied Transformer와 DEQ-Transformer 각각 1 epoch·12 epoch 곡선.
• 핵심 관찰: 왼쪽에서 순전파 반복은 약 0.5에서 0.9 이상으로, 역전파는 약 0.37에서 0.7 근처로 증가한다(그래프 판독, analyst-inference). 역전파가 줄곧 적다. 오른쪽에서 weight-tied Transformer(Ep.12)는 잔차가 10¹–10² 사이에서 더 내려가지 않고, DEQ(Ep.1)는 약 100회 평가 안에 약 10⁻⁴까지 내려간다. DEQ(Ep.12)도 수백 회 안에 같은 수준에 닿는다(그래프 판독).
• 의미와 주의: 저자는 반복 수 증가가 Neural ODE 학습에서 보고된 현상과 비슷하며, 학습이 Jfθ의 operator norm을 키우기 때문일 “수 있다”고 말한다. 역전파 반복이 적은 이유는 식 (11) 선형계가 단순하기 때문이라고 한다. 깊게 쌓은 self-attention은 12 epoch 뒤 고정점 주변에서 진동한다고 해석한다(author-stated). 그래프 범례의 eps(1e-6, 1e-8)는 Section 5 “Setting”의 √T·10⁻⁵, √T·10⁻⁸ 표기와 형태가 다르다. 둘의 관계는 원문에서 설명되지 않는다.
• 확인 상태: viewed

Table 4 — DEQ의 상대 실행 시간

• 무엇을 보여주는가: WT103에서 DEQ와 대응하는 층 기반 모델의 학습·추론 시간 비.
• 읽는 법: 값이 1×보다 크면 DEQ가 느리다.
• 핵심 관찰: DEQ/18층 Transformer 학습 2.82×, 추론 1.76×. DEQ/70층 TrellisNet 학습 2.40×, 추론 1.64×.
• 의미와 주의: 저자는 이 값이 경쟁력 있는 정확도의 DEQ에 대한 근사값이며, 반복 수에 따라 달라지는 implicit-depth 모델과 층 기반 모델의 실행 시간을 공정하게 비교하기 어렵다고 밝힌다(author-stated). 메모리 이득의 대가가 2배 안팎의 속도 손실임을 보여 준다.
• 확인 상태: viewed

Figure 3 — 허용오차·반복 상한과 성능의 교환

• 무엇을 보여주는가: 순전파 허용오차 ε(왼쪽)와 순전파 Broyden 반복 상한(오른쪽)을 바꿀 때 검증 perplexity가 어떻게 변하는지.
• 읽는 법: 왼쪽 x축 순전파 허용오차 ε(단계 평균, 로그 스케일 10⁻⁶–10⁰ 이상), y축 validation perplexity. 오른쪽 x축 반복 상한(약 10–100), y축 validation perplexity. 모델은 medium DEQ-Transformer(adaptive embedding 없음).
• 핵심 관찰: 왼쪽에서 perplexity는 ε가 약 10⁻¹까지는 약 25로 거의 평평하고, 그보다 커지면 약 75를 거쳐 약 200까지 급등한다(그래프 판독). 오른쪽에서 반복 상한이 작으면(약 10) perplexity가 약 28.6이고, 늘릴수록 단조 감소해 100 근처에서 약 23.5에 이른다(그래프 판독). 본문은 ε<0.1 또는 반복 상한 30(길이 75)이면 경쟁력 있는 성능이라고 적는다.
• 의미와 주의: 저자 해석은 “평형 추정이 나쁘면 DEQ 성능이 떨어진다”는 것이고, 동시에 ε를 키우거나 반복을 줄여 학습·평가를 크게 빠르게 할 수 있다는 것이다(author-stated). 같은 학습된 모델에서 추론 설정만 바꾼 것인지, 학습 설정까지 바꾼 것인지는 원문에서 분명하지 않다(unknown).
• 확인 상태: viewed

Wiki 연결

• Fixed-Point Reasoners - Stable and Adaptive Deep Looped Transformers — DEQ의 고정점 관점을 looped transformer로 가져오되, Broyden 근찾기 대신 직접 고정점 반복과 damping을 쓰는 후속 계보.
• Looped Transformers as Programmable Computers — 같은 블록 반복(weight tying)이 표현력 면에서 무엇을 할 수 있는지에 대한 구성적 증명. DEQ는 같은 반복을 수렴점으로, 이 논문은 프로그램 실행 단계로 해석한다.
• Reasoning with Latent Thoughts - On the Power of Looped Transformers — 반복 횟수를 깊이 대신 쓰는 looped 모델의 추론 능력 분석. DEQ의 “깊이 = 반복” 아이디어를 추론으로 연결.
• Less is More - Recursive Reasoning with Tiny Networks — 작은 네트워크를 재귀 반복하며 마지막 단계만 역전파하는 설계. DEQ의 “고정점 근처에서는 1단계 기울기로 충분하다”는 implicit-gradient 근사와 맞닿아 있다(analyst-inference).

BibTeX

@inproceedings{bai2019deep,
  title     = {Deep Equilibrium Models},
  author    = {Bai, Shaojie and Kolter, J. Zico and Koltun, Vladlen},
  booktitle = {Advances in Neural Information Processing Systems (NeurIPS)},
  year      = {2019},
  eprint    = {1909.01377},
  archivePrefix = {arXiv}
}