Universal Transformers: 깊이 방향으로 반복하는 Transformer
개요
Transformer는 모든 위치를 한꺼번에 처리해서 RNN보다 빠르고 기계번역 같은 과제에서 더 잘한다. 하지만 서로 다른 층을 정해진 수만큼 쌓은 구조라서, 문자열 복사나 간단한 논리 추론처럼 RNN이 쉽게 하는 일도 학습 때보다 긴 입력이 오면 실패한다. 이 논문의 통찰은 Transformer에 없는 것이 RNN의 **recurrent inductive bias(반복·재귀적 변환을 배우려는 구조적 성향)**라는 점이다. 해법은 반복을 시간 축이 아니라 깊이 축에 두는 것이다. **Universal Transformer(UT)**는 서로 다른 층 6개를 쌓는 대신, self-attention과 transition function(FFN or depth-wise separable Conv)으로 된 블록 하나를 모든 위치·모든 단계에서 공유하고 T번 반복 적용한다. 각 위치를 “위치마다 하나씩 있는 RNN”으로 보고, 그 RNN들이 매 단계 서로를 attention으로 참조하며 표현을 다듬는 모습이다. 여기에 Graves의 **ACT(Adaptive Computation Time)**를 위치별로 붙여, 애매한 기호는 더 많이, 쉬운 기호는 적게 반복하게 했다(dynamic halting). 단계 수를 입력 길이에 맞춰 늘릴 수 있으므로, 충분한 메모리를 가정하면 UT는 Turing-complete다. 고정 깊이 Transformer는 그렇지 않다. 결과는 과제마다 다르다. bAbI 질의응답(10K)에서 Transformer는 20개 과제 중 10개를 실패했지만 UT는 하나도 실패하지 않았다(평균 오류 15.2 → 0.21). LAMBADA에서는 최고 기록을, WMT14 영독 번역에서는 Transformer 대비 +0.9 BLEU를 얻었다. 반면 길이 40으로 학습하고 400으로 시험한 덧셈에서 UT의 시퀀스 정확도는 0.02에 그쳤다. 커리큘럼으로 학습한 Neural GPU는 1.0이었다.
Implication: “층을 쌓는 것”과 “같은 계산을 여러 번 하는 것”을 분리하면, 파라미터 수를 늘리지 않고도 계산 깊이를 입력에 맞춰 조절할 수 있다. UT는 오늘날 looped transformer 계보의 직접적 출발점이다. 다만 길이 일반화를 완전히 풀지는 못했고, ACT halting이 번역에서는 오히려 약간 손해였다는 점도 함께 기억해야 한다.
배경과 문제
선행 상황 (Section 1, author-stated). RNN은 데이터를 하나씩 순서대로 처리해 학습이 느리다. Transformer 같은 feed-forward·합성곱 구조는 모든 위치를 병렬로 처리하고 self-attention 덕분에 전체 시퀀스를 한 번에 본다(global receptive field). 그런데 Transformer는 서로 다른 층의 **고정된 쌓기(fixed stack)**라서 반복적·재귀적 변환에 대한 RNN의 귀납 편향을 버렸다. 그 결과 Neural Turing Machine, Neural GPU, Stack RNN과 달리 학습 때 못 본 길이의 입력에 잘 일반화하지 못한다.
SFT with UT - juhyeon
SFT를 하면, 유독 모델의 output이 SFT 데이터의 길이에 의존적인데, 이러한 것이 UT에서 그럴까 궁금.
halting 조건을 잘만 학습시키면, 이러한 문제에서 자유로울 수도 있을 것 같네.
왜 어려운가. 병렬성과 전역 수용장을 지키면서 반복의 귀납 편향을 되살려야 한다. 시간 축 반복(RNN)은 병렬성을 잃는다.
학술적 계보 (Section 2.2, 4).
- ACT(Graves, 2016): RNN이 입력마다 계산 단계 수를 스칼라 halting 확률로 정하는 방식. UT는 이를 위치별로 적용한다.
- Neural GPU(Kaiser & Sutskever, 2016): self-attention을 항등 함수로, transition을 합성곱으로, 단계 수를 입력 길이로 두면 UT가 정확히 Neural GPU가 된다고 저자들은 보인다(Section 4).
- Neural Turing Machine: 단계마다 한 번의 읽기/쓰기를 UT의 전역 병렬 표현 갱신으로 표현할 수 있다(Section 4).
- Recursive Transformer(Gulcehre et al., 2018): self-attention 층만 깊이 방향으로 공유. UT는 self-attention과 transition 가중치를 모두 공유한다(Section 4, 각주 5).
- End-to-end Memory Networks, Dynamic Memory Networks: 이전 반복 결과에 따라 attention을 조정하는 반복 attention 과정이 비슷하다(Section 3.1, 4).
차이점 (author-stated). 고정 단계에서 UT는 “층 간 가중치를 묶은 다층 Transformer”와 같다. 단계를 1로 제한하면 그냥 Transformer다. 그러나 시간 축 RNN은 반복 단계에서 고정 크기 상태 벡터만 쓰는 반면, UT는 반복 단계마다 이전 층 전체를 attention으로 참조할 수 있어 메모리에 접근한다(Section 4).
looped transformer와의 연결 (analyst-inference): “공유 블록을 깊이 방향으로 T번 반복”은 이후 looped transformer 연구가 쓰는 정의와 같다. Appendix B의 논증, 즉 고정 깊이 Transformer의 순차 연산 수는 입력 크기와 무관한 상수라 유한 정밀도에서 범용일 수 없다는 논증은 looped 구조의 표현력 연구가 이어받는 질문이다.
지표
| 지표 | 무엇을 세는가 | 단위·범위 | 방향 | 분모·정규화 | 측정 조건 | 원문 위치 |
|---|---|---|---|---|---|---|
| bAbI 평균 오류와 실패 과제 수 | 20개 과제의 평균 오류율, 오류 > 5%인 과제 수 | %, 0–20개 | 둘 다 낮을수록 좋음 | 20개 과제 평균 | 10K/1K 학습 예제 × 과제별(single)/공동(joint) 학습. 10회 실행 중 검증 성능 최고 모델 | Table 1, Section 3.1, 각주 3 |
| Ponder time | 위치별 반복 단계 수(재귀 처리 사슬의 깊이) | 단계 수 | 해석용 | 모든 위치·샘플 평균 ± 표준편차 | dynamic halting UT | Section 3.1, 3.3 |
| 주어-동사 일치 ranking 정확도 | 언어모델로 학습 후, 올바른 동사 형태를 틀린 형태보다 높게 순위 매긴 비율 | 0–1 | 높을수록 좋음 | 문장 수 | attractor(주어와 수가 반대인 끼어든 명사) 0–5개별 및 전체 | Table 2, Section 3.2, Appendix D.2 |
| LAMBADA LM perplexity (accuracy) | 목표 단어 예측의 perplexity(헷갈림 정도)와 정확도 | perplexity ≥ 1, 정확도 0–1 | perplexity 낮을수록, 정확도 높을수록 좋음 | 목표 단어 | 다음 단어 예측으로만 학습. control/dev/test | Table 3, Section 3.3 |
| LAMBADA RC accuracy | 목표 문장을 query로 문맥에서 목표 단어를 고르는 정확도 | 0–1 | 높을수록 좋음 | 문항 | 목표 단어가 문맥에 있는 경우는 81%, 나머지 19%는 원리상 불가능 | Table 3, Section 3.3 |
| char-acc / seq-acc | 문자 단위 정확도 / 출력 시퀀스 전체가 맞은 비율 | 0–1 | 높을수록 좋음 | 문자 수 / 시퀀스 수 | 알고리즘 과제: 길이 40 학습, 길이 400 시험. LTE: 기억 과제 최대 길이 55, 프로그램 평가 nesting 2·length 5 | Table 4–6 |
| BLEU | 번역문과 정답 번역의 n-gram 겹침 점수 | 0–100 | 높을수록 좋음 | 테스트 세트 | WMT14 En-De, 8×P100, Vaswani et al. (2017)과 같은 설정 | Table 7, Section 3.6 |
방법과 벤치마크 구성
구조 (Section 2.1, Figure 1–2, Eq. 1–8).
- 인코더. 길이 m인 입력의 임베딩으로 H⁰ ∈ ℝ^{m×d}를 만든다. 단계 t마다 모든 위치에 대해 병렬로 다음을 계산한다: A^t = LayerNorm((H^{t−1} + P^t) + MultiHeadSelfAttention(H^{t−1} + P^t)), H^t = LayerNorm(A^t + Transition(A^t)) (Eq. 4–5). 잔차 연결, dropout, layer normalization을 쓴다.
- Transition function. 과제에 따라 depth-wise separable convolution, 또는 ReLU 하나를 끼운 두 affine 변환(위치별 완전연결층) 중 하나. 위치와 단계 전체에서 공유한다.
- 좌표 임베딩 P^t. 위치 i와 단계 t의 사인파 임베딩을 각각 계산해 더한 고정값(Eq. 6–7). 같은 블록을 반복해도 지금 몇 번째 단계인지 알 수 있게 한다(
analyst-inference). - 디코더. 같은 반복 구조에, self-attention 뒤 인코더 최종 표현 H^T에 대한 attention을 더한다. teacher forcing으로 학습하고 오른쪽 위치를 가리는 마스크를 쓰는 자기회귀 구조다(Eq. 8).
- 공유 범위: self-attention과 transition의 가중치가 모두 층 간에 묶인다(각주 5).
Dynamic halting (Section 2.2, Appendix C). 모든 위치에 ACT를 따로 붙인다. 위치별 halting 확률을 시그모이드 dense 층으로 내고, 누적값이 임계값(0–1 사이 하이퍼파라미터)을 넘으면 그 위치는 멈춘다. 멈춘 위치의 상태는 다른 위치가 모두 멈추거나 최대 단계에 이를 때까지 그대로 다음 단계로 복사된다. 상태는 halting 가중치로 이전 상태와 보간한다(Appendix C Listing 2). 멈춘 위치도 다른 위치의 attention 대상으로 남는다(analyst-inference, 상태 복사 서술에서).
계산 능력 논증 (Section 4, Appendix B). 표준 Transformer는 연산 총량은 입력 크기에 따라 늘지만 순차 연산 수는 층 수로 고정된다. 그래서 유한 정밀도에서 범용 계산 모델이 될 수 없다. UT는 단계 수를 입력 길이의 함수로 정하면 이 제약이 없다. ACT 사용 여부와 무관하며, 학습 후 단계 수를 바꿀 수 있는 것은 가중치 공유 덕분이다(Appendix B).
실험 과제 (Section 3, Appendix D).
| 과제 | 구성 | 비교 대상 | 원문 |
|---|---|---|---|
| bAbI QA | 20개 합성 추론 과제. 1K/10K 학습 예제, single/joint 학습. 사실마다 학습된 곱셈형 위치 마스크로 단어 임베딩을 합쳐 사실 임베딩을 만든 뒤 UT에 입력 | QRNet, Sparse DNC, GA+MAGE, MemN2N, Transformer | 3.1 |
| 주어-동사 일치 | Linzen et al. (2016) 데이터. 언어모델(다음 단어 예측)로 학습, 시험 때 동사 형태 ranking | Yogatama et al. (2018)의 Stack-RNN·LSTM·Attention, Transformer | 3.2 |
| LAMBADA | 앞 4–5문장 문맥으로 마지막 단어 예측. LM 설정과 RC 설정. control set은 필터링 없는 표준 언어모델링 확인용 | Neural Cache, Dhingra et al. (2018), Transformer, LSTM, 고정 단계 UT(6, 8, 9단계) | 3.3 |
| 알고리즘 과제 | Copy, Reverse, 정수 Addition. 십진 기호 문자열. 길이 40 학습, 400 시험. 위치에 무작위 offset을 주어 상대 위치 변환을 유도 | LSTM, Transformer, Neural GPU(커리큘럼 사용) | 3.4 |
| Learning to Execute | 기억 과제(copy, double, reverse)와 프로그램 평가(program, control, addition). mix-strategy로 생성, 커리큘럼 없음, 시험 때 목표 시퀀스 사용 안 함 | LSTM, Transformer | 3.5 |
| 기계번역 | WMT14 En-De, Vaswani et al. (2017)과 같은 설정. 완전연결 transition, ACT 없음 | Transformer base, Weighted Transformer base(같은 파라미터 수) | 3.6 |
모델 크기·단계 수·학습 step 같은 세부 하이퍼파라미터는 과제별로 본문과 부록에 대부분 보고되지 않았다(LAMBADA의 고정 6·8·9단계, 번역의 base/small 구분 정도만 있음). 코드는 tensor2tensor에 공개되었다(Section 5).
주요 결과
| 주장 | 근거 위치 | 관찰/수치 | 조건·주의 | 출처 라벨 |
|---|---|---|---|---|
| bAbI에서 모든 설정의 최고 기록 | Table 1, Section 3.1 | UT w/ dynamic halting 평균 오류(실패 과제): 10K single 0.21 (0/20), 10K joint 0.29 (0/20), 1K single 4.55 (3/20), 1K joint 7.78 (5/20). UT(halting 없음): 0.23, 0.47, 5.31, 8.50. Transformer: 15.2 (10/20), 22.1 (12/20), 21.8 (5/20), 26.8 (14/20) | 10회 실행 중 검증 성능 최고 모델 기준 | author-stated |
| 위 bAbI 수치는 seed 평균보다 훨씬 좋다 (주의) | Appendix E | UT w/ dynamic halting 10회 seed 평균: 10K single 0.73 ±0.89, joint 1.12 ±1.62, 1K single 6.34 ±3.32, joint 11.21 ±6.65 | 부록. 본문 Table 1에는 최고 seed만 나온다 | author-stated (수치), 대비는 analyst-inference |
| 필요한 사실 수가 많을수록 더 오래 반복한다 | Section 3.1, Figure 3 | 평균 ponder: 사실 3개 필요 과제 3.8±2.2, 2개 3.1±1.1, 1개 2.3±0.8 | 테스트 데이터 전체 위치·샘플 평균. 3개 과제에서 많은 위치가 1–2단계에 멈춤 | author-stated |
| attention이 단계가 지날수록 정답 근거로 좁혀진다 | Section 3.1, Appendix F | 처음엔 매우 균등하다가 뒤 단계에서 올바른 근거 사실 주위로 날카로워짐 | 정성적 관찰. 사람의 풀이와 비슷하다는 해석은 저자 견해 | author-stated |
| 주어-동사 일치에서 전체 SOTA와 동률, attractor가 많을수록 우세 | Table 2, Section 3.2 | 전체 정확도: UT 0.992, UT w/ ACT 0.992, Transformer 0.962, 기존 최고(Attention) 0.992. Δ(UT w/ ACT − 기존 최고): attractor 0개 0, 1개 −0.008, 2개 0.002, 3개 0.009, 4개 0.016, 5개 0.027 | attractor 1개에서는 기존 최고보다 낮다 | author-stated |
| LAMBADA에서 LM·RC 모두 최고 | Table 3, Section 3.3 | UT w/ dynamic halting: LM dev 134 (0.22), test 142 (0.19). RC dev 0.5831, test 0.5625. Transformer LM test 7321 (0.0), LSTM 5174 (0.0). 기존: Neural Cache dev 139, Dhingra et al. RC test 0.5569 | control set의 LM perplexity 최저는 Neural Cache·고정 UT 8/9단계의 129. RC control 최고는 고정 6단계 UT 0.4801 | author-stated |
| dynamic halting의 이득은 단계 수만으로 설명되지 않는다 | Table 3, Section 3.3 | 최고 dynamic UT는 시험에서 평균 8.2±2.1단계. 고정 8단계 UT: dev 192, test 202. 9단계: 214, 239. 둘 다 6단계(279, 319)보다 낫지만 dynamic(134, 142)보다 못함 | 저자는 halting이 정규화 역할을 할 수 있다고 “믿는다”(가설) | author-stated |
| 길이 일반화 알고리즘 과제에서 LSTM·Transformer를 크게 앞선다 | Table 4, Section 3.4 | UT char/seq: Copy 0.91/0.35, Reverse 0.96/0.46, Addition 0.34/0.02. Transformer: 0.53/0.03, 0.13/0.06, 0.07/0.0. LSTM: 0.45/0.09, 0.66/0.11, 0.08/0.0 | 길이 40 학습 → 400 시험. Neural GPU는 커리큘럼으로 모두 1.0 | author-stated |
| 그러나 길이 일반화는 풀리지 않았다 (반례) | Table 4 | UT의 시퀀스 정확도는 Copy 0.35, Reverse 0.46, Addition 0.02 | 커리큘럼 없는 조건 | analyst-inference (표 수치 해석) |
| LTE 기억 과제를 완벽히 푼다 | Table 5, Section 3.5 | UT: Copy, Double, Reverse 모두 char 1.0 / seq 1.0. Transformer seq: 0.63, 0.55, 0.26 | 최대 길이 55 | author-stated |
| LTE 프로그램 평가에서 우세 | Table 6, Section 3.5 | UT: Program 0.89/0.63, Control 1.0/1.0, Addition 1.0/1.0. Transformer: 0.71/0.29, 0.93/0.66, 1.0/1.0 | Addition은 Transformer와 동률이라 본문의 “모든 프로그램 평가 과제에서 큰 차이로 앞선다”는 문장과 맞지 않음 | author-stated (수치), 불일치 표시는 analyst-inference |
| 기계번역에서 Transformer보다 0.9 BLEU 높다 | Table 7, Section 3.6 | UT base 28.9, Transformer base 28.0, Weighted Transformer base 28.4, UT small 26.8 | 완전연결 transition, ACT 없음, base끼리 같은 파라미터 수, 8×P100 | author-stated |
| ACT는 번역에서 약간 손해였다 (부정 결과) | Section 1 | ”marginally degraded results on MT” | 수치는 보고되지 않았다 | author-stated |
| 충분한 메모리 가정하에 Turing-complete | Section 4, Appendix B | Neural GPU로의 환원 논증 | 단계 수가 입력 길이에 따라 늘어나야 함. 엄밀한 증명이 아니라 환원 스케치 | author-stated |
결과 사이의 연결. 반복의 귀납 편향이 가장 크게 효과를 낸 곳은 bAbI·LTE 기억 과제처럼 여러 단계 추론이나 반복 규칙이 필요한 과제였다. 언어모델링(LAMBADA)과 번역에서는 효과가 작지만 일관된다. 반대로 학습보다 10배 긴 입력에 대한 알고리즘 과제는 시퀀스 단위로 보면 여전히 실패에 가깝다. “Transformer의 길이 일반화 실패를 해결한다”는 동기(Abstract)는 부분적으로만 지지된다(analyst-inference). dynamic halting의 기여는 과제마다 다르다. bAbI(0.23 → 0.21)와 LAMBADA에서는 도움이 되고, 주어-동사 일치에서는 동률, 번역에서는 약간 손해다.
Take-home
핵심 메시지. 공유 블록을 깊이 방향으로 반복하는 Transformer(UT)는 병렬성과 전역 attention을 유지하면서 RNN의 반복 귀납 편향을 되살린다. 위치별 ACT를 붙이면 기호마다 다른 깊이를 쓸 수 있다.
성립 범위. 소규모 구조적 과제(bAbI, LTE, 길이 40→400 문자열), 언어 과제(주어-동사 일치, LAMBADA), 번역 1개(WMT14 En-De). 대규모 사전학습 언어모델 설정은 다루지 않는다.
저자가 인정한 한계 (author-stated).
- dynamic halting은 번역에서 결과를 약간 나쁘게 했다(Section 1).
- Neural GPU의 완벽한 알고리즘 과제 결과는 UT가 쓰지 않은 커리큘럼 학습 덕분이며, UT는 이에 못 미친다(Section 3.4, Table 4).
- Turing-completeness는 “특정 가정하에서”(충분한 메모리, 입력 길이에 따라 늘어나는 단계 수)만 성립한다(Abstract, Section 4, Appendix B).
- 표준 Transformer는 bAbI에서 하이퍼파라미터와 크기를 바꿔도 항상 과적합했다(각주 2). 즉 Transformer 기준선은 이 과제에서 잘 맞춰지지 않았다.
작성자가 보는 우려 (analyst-inference).
- bAbI 본문 수치(Table 1)는 10회 중 최고 seed다. 부록의 seed 평균(10K single 0.73, 1K joint 11.21)은 꽤 다르다. 기존 방법들도 같은 관행이라는 설명은 있지만, 안정성을 판단할 때는 평균을 봐야 한다.
- dynamic halting이 “정규화로 작용한다”는 해석은 고정 8·9단계와의 비교 하나에서 나온 가설이다.
- 본문 3.5절은 “Tables 5 and 6 present … program evaluation and memorization tasks, respectively”라고 쓰지만 실제로는 Table 5가 기억 과제, Table 6이 프로그램 평가다. Table 6 Addition은 Transformer와 동률이다.
- 과제별 모델 크기·단계 수·임계값 같은 세부 설정이 거의 보고되지 않아 재현에 코드가 필요하다.
재현성. bAbI는 서로 다른 초기화로 10회 실행(Section 3.1, Appendix E). 다른 과제의 반복 실행 수는 보고되지 않았다. 코드는 tensor2tensor 저장소에 공개(Section 5).
본문 도표
Figure 1 — 위치별 표현을 병렬로 반복 정제하는 UT
- 무엇을 보여주는가: 두 반복 단계(t → t+1 → t+2) 동안 위치 1…m의 표현 h가 self-attention과 transition function을 거쳐 갱신되는 모습.
- 읽는 법: 세로는 위치(h₁…h_m), 가로는 반복 단계(Time). self-attention 앞의 교차 화살표는 모든 위치가 모든 위치를 참조한다는 뜻이다. 위쪽 괄호는 “파라미터가 위치와 단계 전체에 묶여 있음”을 표시한다.
- 핵심 관찰: 단계 t와 t+1의 블록이 같은 파라미터를 쓰는 동일한 블록이다. h⁰은 각 기호의 임베딩으로 초기화된다(캡션).
- 의미와 주의: 캡션에 따르면 dynamic halting을 쓰면 반복 횟수 T가 위치마다 따로 정해진다(
author-stated). 그림은 위치마다 하나씩 있는 RNN이 깊이 방향으로 흐르는 구조를 보여 준다. “시간”축은 입력 순서가 아니라 반복 단계다. - 확인 상태: viewed
Figure 2 — UT 인코더·디코더의 반복 블록
- 무엇을 보여주는가: 인코더 반복 블록(Multihead Self-Attention → Transition Function, T번 반복)과 디코더 반복 블록(Self-Attention → 인코더 출력에 대한 Multihead Attention → Transition Function, T번 반복).
- 읽는 법: 왼쪽은 입력 시퀀스 → 임베딩 → 인코더 블록, 오른쪽은 한 칸 오른쪽으로 민 목표 시퀀스 → 임베딩 → 디코더 블록 → Softmax. 굵은 되돌이 화살표가 “For T steps” 반복이다. “After T steps”에 인코더 출력이 디코더로 넘어간다.
- 핵심 관찰: 블록 하나가 되돌이 화살표로 반복되므로 층 수 대신 반복 횟수 T가 깊이를 정한다.
- 의미와 주의: 위치·단계 임베딩, dropout, 잔차, layer norm은 생략된 단순화 그림이다(캡션). 전체 그림은 Appendix A Figure 4.
- 확인 상태: viewed
Table 1 — bAbI 평균 오류와 실패 과제 수
- 무엇을 보여주는가: 10K/1K 예제 × single/joint 학습의 네 설정에서 기존 최고 결과와 Transformer, UT, UT w/ dynamic halting의 평균 오류와 실패 과제 수.
- 읽는 법: 각 칸은 “평균 오류 (실패 과제 수/20)“. 실패는 오류 > 5%.
-는 해당 설정의 기존 결과 없음. - 핵심 관찰: UT w/ dynamic halting이 네 설정 모두 최저(0.21, 0.29, 4.55, 7.78). 기존 최고는 10K single QRNet 0.3 (0/20), 10K joint Sparse DNC 2.9 (1/20), 1K single GA+MAGE 8.7 (5/20), 1K joint MemN2N 12.4 (11/20). Transformer는 네 설정에서 10–14개 과제를 실패한다.
- 의미와 주의: 가장 큰 차이는 10K joint(Sparse DNC 2.9 → 0.29)와 1K joint(12.4 → 7.78)다. 표의 UT 수치는 10회 중 최고 seed이며, seed 평균은 Appendix E에 따로 있다(
analyst-inference). - 확인 상태: viewed
Figure 3 — 세 사실이 필요한 bAbI 과제에서 위치별 ponder time
- 무엇을 보여주는가: dynamic halting UT가 이야기의 각 사실과 질문을 인코딩할 때 쓴 반복 단계 수.
- 읽는 법: x축은 이야기 속 사실들과 마지막의 질문(“Where was the apple before the bathroom?”), y축은 ponder time(0–5).
- 핵심 관찰: 대부분 사실은 1단계에 멈추고, 일부 사실만 2–5단계까지 간다. 질문은 약 3단계다(
analyst-inference, 그래프 판독). - 의미와 주의: 저자 해석은 이야기가 길고 무관한 사실이 많은 과제에서, 모델이 무관한 사실은 일찍 멈춰 무시하고 소수 위치만 더 변환한다는 것이다(
author-stated). 많이 반복된 사실이 실제 정답 근거인지는 글자 크기 때문에 그림에서 판독하기 어렵다. - 확인 상태: viewed
Table 2 — 주어-동사 일치 정확도
- 무엇을 보여주는가: attractor 수(0–5)별 및 전체 ranking 정확도.
- 읽는 법: 위 블록은 Yogatama et al. (2018)의 기존 최고(Stack-RNN, LSTM, Attention), 아래는 저자 결과(Transformer, UT, UT w/ ACT). 마지막 행 Δ는 UT w/ ACT에서 기존 최고를 뺀 값.
- 핵심 관찰: 전체는 UT·UT w/ ACT·Best Attention이 모두 0.992. Transformer는 0.962. Δ는 attractor 0개 0, 1개 −0.008이다가 2개부터 양수가 되어 5개에서 0.027까지 커진다. 5개 attractor에서 UT w/ ACT 0.907, Best LSTM·Attention 0.842.
- 의미와 주의: 평균은 동률이고, 우위는 어려운(attractor 많은) 문장에서만 나타난다(
author-stated). 주어-동사 일치는 계층적 구문 구조 포착의 대리 지표다. - 확인 상태: viewed
Table 3 — LAMBADA 언어모델링·독해 결과
- 무엇을 보여주는가: control/dev/test의 LM perplexity(괄호 안 정확도)와 RC 정확도.
- 읽는 법: 왼쪽 세 열은 LM(낮을수록 좋음, 괄호 정확도는 높을수록), 오른쪽 세 열은 RC 정확도. 마지막 두 행은 단계 수 효과를 보려 추가한 고정 8·9단계 UT.
- 핵심 관찰: Transformer와 LSTM은 dev/test perplexity가 수천(5122, 7321 / 4966, 5174)이고 정확도 0.0이다. 고정 6단계 UT는 279/319, dynamic UT는 134/142. RC test는 dynamic UT 0.5625가 Dhingra et al. 0.5569보다 높다. control LM perplexity는 Neural Cache와 고정 8·9단계 UT가 129로 가장 낮다.
- 의미와 주의: 반복(UT)과 halting이 각각 큰 개선을 준다. 고정 8·9단계가 dynamic(평균 8.2단계)보다 나쁘다는 비교가 “단계 수만의 효과가 아니다”라는 주장의 근거다(
author-stated). RC는 목표 단어가 문맥에 없는 19%가 원리상 풀 수 없다. - 확인 상태: viewed
Table 4 — 알고리즘 과제 정확도 (길이 40 학습 → 400 시험)
- 무엇을 보여주는가: Copy, Reverse, Addition의 char-acc와 seq-acc.
- 읽는 법: 행은 LSTM, Transformer, UT, Neural GPU*. *는 특수 커리큘럼으로 학습했다는 표시.
- 핵심 관찰: UT는 char-acc 0.91 / 0.96 / 0.34, seq-acc 0.35 / 0.46 / 0.02. Transformer seq-acc 0.03 / 0.06 / 0.0. Neural GPU 전부 1.0.
- 의미와 주의: 상대적으로는 UT가 크게 앞서지만, 덧셈의 시퀀스 정확도 0.02는 사실상 실패다(
analyst-inference). Neural GPU와의 비교는 학습 프로토콜이 달라 공정하지 않다고 저자가 직접 밝힌다(author-stated). - 확인 상태: viewed
Table 5 — LTE 기억 과제 (최대 길이 55)
- 무엇을 보여주는가: Copy, Double, Reverse의 char-acc와 seq-acc.
- 읽는 법: 행은 LSTM, Transformer, UT.
- 핵심 관찰: UT는 여섯 칸 모두 1.0. Transformer는 char 0.98 / 0.94 / 0.81, seq 0.63 / 0.55 / 0.26. LSTM seq 0.11 / 0.047 / 0.32.
- 의미와 주의: 기억 과제에서 UT가 완벽하다는 본문 주장과 맞는다(
author-stated). 본문 3.5절의 표 설명 순서(“Tables 5 and 6 … program evaluation and memorization, respectively”)는 실제와 반대다. - 확인 상태: viewed
Table 6 — LTE 프로그램 평가 과제 (nesting 2, length 5)
- 무엇을 보여주는가: Program, Control, Addition의 char-acc와 seq-acc.
- 읽는 법: 행은 LSTM, Transformer, UT.
- 핵심 관찰: UT: Program 0.89/0.63, Control 1.0/1.0, Addition 1.0/1.0. Transformer: 0.71/0.29, 0.93/0.66, 1.0/1.0. LSTM: 0.53/0.12, 0.68/0.21, 0.83/0.11.
- 의미와 주의: Program과 Control에서는 UT가 앞서지만 Addition은 Transformer와 동률이다. “모든 프로그램 평가 과제에서 큰 차이로 앞선다”는 본문 문장은 이 표와 맞지 않는다(
analyst-inference). - 확인 상태: viewed
Table 7 — WMT14 En-De 번역 BLEU
- 무엇을 보여주는가: 비슷한 학습 설정(8×P100)에서 네 모델의 BLEU.
- 읽는 법: base 모델들은 파라미터 수가 같다(캡션).
- 핵심 관찰: UT base 28.9, Weighted Transformer base 28.4, Transformer base 28.0, UT small 26.8.
- 의미와 주의: 같은 파라미터에서 +0.9 BLEU(Transformer 대비), +0.5(Weighted Transformer 대비). 이 UT는 ACT 없이 완전연결 transition을 썼다(Section 3.6). 같은 파라미터라도 반복하는 만큼 계산량은 다를 수 있으나 계산량 비교는 보고되지 않았다(
analyst-inference). - 확인 상태: viewed
Wiki 연결
- Adaptive Computation Time for Recurrent Neural Networks — UT의 dynamic halting이 그대로 가져온 ACT의 원 논문. RNN 시간 축의 “입력당 반복 횟수 학습”을 Transformer 깊이 축의 “위치당 반복 횟수 학습”으로 옮겼다.
- ALBERT - A Lite BERT for Self-supervised Learning of Language Representations — UT식 전층 가중치 공유를 대규모 사전학습에 적용했지만 “UT가 vanilla보다 낫다는 관찰과 다르다”고 보고한 후속 연구.
- Looped Transformers as Programmable Computers — UT의 공유 블록 반복을 하드코딩된 가중치로 범용 컴퓨터를 구성하는 쪽으로 밀어붙인 looped transformer 이론 연구. UT를 기반 연구로 비교한다.
- Reasoning with Latent Thoughts - On the Power of Looped Transformers — UT·ALBERT를 관련 연구로 두고, 반복 깊이(looped)가 추론에 주는 효과를 이론·실험으로 다룬다.
- Fixed-Point Reasoners - Stable and Adaptive Deep Looped Transformers — UT의 ACT식 외부 halting 대신 고정점 수렴을 정지 신호로 써서 적응적 깊이를 얻는 최근 looped transformer.
BibTeX
@inproceedings{dehghani2019universal,
title = {Universal Transformers},
author = {Dehghani, Mostafa and Gouws, Stephan and Vinyals, Oriol and Uszkoreit, Jakob and Kaiser, {\L}ukasz},
booktitle = {International Conference on Learning Representations (ICLR)},
year = {2019},
note = {arXiv:1807.03819}
}