ALBERT: 자기지도 언어 표현 학습을 위한 가벼운 BERT
개요
BERT 이후 언어모델은 “크게 만들수록 잘한다”는 흐름을 탔다. 그런데 파라미터가 수억 개로 늘면 GPU/TPU 메모리가 먼저 바닥나고, 분산 학습에서는 파라미터 수에 비례하는 통신 비용 때문에 학습이 느려진다. 이 논문의 통찰은 BERT의 파라미터 상당 부분이 실제로는 “표현력”이 아니라 설계상의 낭비에서 나온다는 것이다. 첫째, 단어 임베딩 크기 E를 은닉층 크기 H와 똑같이 묶어 두면 H를 키울 때마다 어휘 30,000개 × H짜리 행렬도 함께 커진다. 단어 임베딩은 문맥과 무관한 표현이라 그렇게 클 필요가 없는데도 말이다. 둘째, 24개 층이 각자 다른 가중치를 가질 필요가 있는지도 의문이다. 그래서 ALBERT는 **factorized embedding parameterization(임베딩 분해: 단어를 먼저 128차원으로 줄였다가 은닉 크기로 올리는 두 행렬)**과 **cross-layer parameter sharing(층 간 파라미터 공유: 모든 층이 같은 가중치를 반복해 쓰는 것)**을 도입한다. 여기에 BERT의 다음 문장 예측(NSP)을 **SOP(sentence-order prediction: 연속한 두 구간의 순서가 바뀌었는지 맞히기)**로 바꾼다. NSP의 부정 예제는 다른 문서에서 온 구간이라 “주제가 다르다”만 알아도 풀린다. SOP는 같은 두 구간의 순서만 바꾸므로 문장 간 일관성을 봐야 한다. 결과적으로 BERT-large 비슷한 구성의 ALBERT-large는 파라미터가 18M으로 BERT-large(334M)의 약 18분의 1이다. 이렇게 아낀 예산으로 은닉 크기를 4096까지 키운 ALBERT-xxlarge(235M)는 BERT-large보다 SQuAD v2.0 +3.1, RACE +8.4 높았다. 최종적으로 GLUE 89.4, SQuAD 2.0 test F1 92.2, RACE test 89.4로 당시 최고 기록을 세웠다. 다만 공짜는 아니다. 모든 층을 공유하면 같은 크기에서는 성능이 떨어지고(ALBERT-base 80.1 대 BERT-base 82.3), ALBERT-xxlarge는 파라미터가 적어도 BERT-large보다 학습이 약 3배 느리다.
Implication: 파라미터 수와 계산량은 다른 축이다. 같은 블록을 여러 번 반복해 깊이를 만드는 구조(ALBERT의 전층 공유)는 메모리·통신 비용을 크게 줄이지만 연산량은 줄이지 않는다. ALBERT는 이 “가중치 공유 반복 깊이”가 대규모 사전학습에서도 실용적임을 보였고, 이후 looped transformer 논의의 출발점 가운데 하나가 된다. 한편 층 출력이 고정점으로 수렴하지 않고 진동한다는 관찰은 반복 구조의 동역학 문제를 미리 보여 준다.
📎 https://arxiv.org/abs/1909.11942
배경과 문제
왜 중요한가. 사전학습 언어 표현이 크게 발전했고, 큰 네트워크가 최고 성능의 핵심이라는 증거가 쌓였다(Section 1). 그래서 저자들은 “더 좋은 NLP 모델을 갖는 것이 더 큰 모델을 갖는 것만큼 쉬운가?”라고 묻는다(Section 1, author-stated).
왜 어려운가 (Section 1, 2.1, author-stated).
- 수억–수십억 파라미터 모델은 하드웨어 메모리 한계에 쉽게 부딪힌다.
- 분산 학습에서 통신 오버헤드가 파라미터 수에 정비례해 학습이 느려진다.
- 기존 해법인 모델 병렬화(Mesh-TensorFlow, Megatron-LM)와 메모리 관리(gradient checkpointing, reversible network)는 메모리 문제만 풀고 통신 문제는 풀지 못하거나, 속도를 희생한다.
학술적 계보 (Section 2.2–2.3).
- 층 간 파라미터 공유는 Transformer에서 이미 시도되었다. 다만 표준 encoder-decoder 과제가 대상이었고 사전학습/미세조정 설정은 아니었다. Universal Transformer(UT)는 공유 네트워크가 언어모델링과 주어-동사 일치에서 표준 Transformer보다 낫다고 보고했는데, 저자들은 “우리 관찰과 다르다”고 쓴다(
author-stated). - Deep Equilibrium Model(DQE, 원문 표기)은 어떤 층의 입력과 출력 임베딩이 같아지는 평형점에 도달한다고 보였다. ALBERT의 임베딩은 수렴하지 않고 진동한다고 저자들은 대비한다(
author-stated, Section 3.1, Figure 1). - 문장 순서 목적함수는 Skip-thought, FastSent, 담화 표지 예측 등 담화 일관성 연구 흐름에 있으며, Jernite et al. (2017)의 문장 순서 목표와 가장 비슷하다. 차이는 문장이 아니라 텍스트 구간(segment) 단위라는 점이다. 동시기 StructBERT는 순서 예측을 NSP와 합쳐 3분류로 했다(Section 2.3).
- NSP의 효과가 불안정해 XLNet·RoBERTa가 이를 제거했다는 선행 결과가 SOP 도입의 동기다(Section 1, 3.1).
looped transformer와의 연결 (analyst-inference): ALBERT의 전층 공유 12/24층 인코더는 “같은 블록을 L번 반복하는 looped 구조”를 고정된 반복 횟수로 쓴 것이다. 부록의 층 수 실험(Appendix A.1, Table 11)은 파라미터 18M을 그대로 두고 반복 횟수만 1→3→…→48로 늘리면 성능이 크게 오르다가 포화한다는 것을 보여 준다. 이는 looped transformer 연구가 다루는 “깊이(반복 횟수)와 파라미터의 분리”를 사전학습 언어모델에서 측정한 초기 데이터다.
지표
| 지표 | 무엇을 세는가 | 단위·범위 | 방향 | 분모·정규화 | 측정 조건 | 원문 위치 |
|---|---|---|---|---|---|---|
| SQuAD v1.1 / v2.0 F1/EM | 추출형 질의응답에서 예측 답 구간과 정답의 토큰 겹침(F1), 정확 일치 비율(EM). v2.0은 답할 수 없는 질문 50,000개 추가 | % | 높을수록 좋음 | 질문 수 평균 | dev 또는 test. v2.0은 span 추출 손실 + 답 가능성 분류기 공동 학습 | Section 4.2.2, Appendix A.3 |
| MNLI (matched) | 자연어 추론 3분류 정확도 | % | 높을수록 좋음 | 예제 수 | MNLI-m만 보고 | Appendix A.3 |
| SST-2 | 감성 이진 분류 정확도 | % | 높을수록 좋음 | 예제 수 | dev | Section 4 |
| RACE | 중·고등 영어 시험 4지선다 독해 정확도. Middle/High 두 영역 | % | 높을수록 좋음 | 문항 수 | passage+question+선택지 연결 후 [CLS] 표현으로 확률 예측 | Appendix A.3 |
| GLUE 9개 과제 및 Avg | CoLA, SST, MRPC, STS, QQP, MNLI, QNLI, RTE, WNLI의 과제별 점수와 평균 | 점수 | 높을수록 좋음 | 과제 평균 | test는 GLUE 제출 결과. dev는 5회 중앙값 | Section 4.9, Table 9 |
| Avg (Table 2–8) | 왼쪽 하류 과제 점수의 평균. SQuAD는 F1·EM을 먼저 평균 | 점수 | 높을수록 좋음 | 과제 수 | 125k step 사전학습 모델의 dev | Table 2 캡션 |
| Speedup | BERT-large 대비 학습 데이터 처리량 비율 | 배수 (BERT-large = 1.0) | 높을수록 빠름 | 같은 TPU 수 | 같은 학습 설정 | Table 2, Section 4.3 |
| Intrinsic 정확도 (MLM, NSP, SOP) | 사전학습 과제 자체의 정확도 | % | 높을수록 좋음 | — | SQuAD·RACE dev로 만든 모니터링용 세트. 모델 선택에는 쓰지 않았다고 명시 | Section 4.2.1, Table 5 |
방법과 벤치마크 구성
뼈대 (Section 3.1). BERT와 같은 Transformer encoder + GELU. 기호: 어휘 임베딩 크기 E, 층 수 L, 은닉 크기 H. feed-forward 크기 4H, attention head 수 H/64. 어휘 V = 30,000.
세 가지 변경 (Section 3.1).
- Factorized embedding parameterization. BERT·XLNet·RoBERTa는 E ≡ H다. 저자 논리는 두 가지다. (a) 모델링 관점: WordPiece 임베딩은 문맥 독립 표현, 은닉층은 문맥 의존 표현이므로 H ≫ E가 자연스럽다. (b) 실용 관점: E ≡ H면 H를 키울 때 V×E 행렬이 커지고, 그 대부분은 학습 중 드물게만 갱신된다. 그래서 one-hot을 먼저 E차원으로, 그다음 H차원으로 투영한다. 임베딩 파라미터가 O(V×H)에서 O(V×E + E×H)로 줄어든다.
- Cross-layer parameter sharing. FFN만 공유, attention만 공유 등 여러 방식이 가능하지만 기본은 모든 파라미터 공유다. Figure 1에서 층 입력·출력 임베딩의 L2 거리와 코사인 각도를 재어, ALBERT의 층간 전이가 BERT보다 훨씬 매끄럽지만 24층 뒤에도 0으로 수렴하지 않음을 보인다.
- SOP 손실. 양성: 같은 문서의 연속 두 구간(BERT와 동일). 음성: 같은 두 구간의 순서를 바꾼 것. NSP는 주제 예측과 일관성 예측을 한 과제에 섞는데, 주제 예측이 더 쉽고 MLM과도 겹친다는 것이 저자의 추측이다(
author-stated, “We conjecture”).
모델 구성 (Table 1, Section 3.2). ALBERT-base 12M(L=12, H=768), large 18M(L=24, H=1024), xlarge 60M(L=24, H=2048), xxlarge 235M(L=12, H=4096). 모두 E=128, 공유 True. 본문 3.2절은 xxlarge를 “233M”이라고 써서 Table 1의 235M과 다르다. xxlarge는 24층도 비슷한 결과지만 계산이 비싸 주로 12층을 보고한다.
사전학습 설정 (Section 4.1). BookCorpus + English Wikipedia(약 16GB). 입력 “[CLS] x1 [SEP] x2 [SEP]”, 최대 길이 512, 10% 확률로 더 짧은 시퀀스. SentencePiece 토크나이저. MLM은 n-gram masking(n ≤ 3, p(n) ∝ 1/n). batch 4096, LAMB 옵티마이저 lr 0.00176, 기본 125,000 step. Cloud TPU V3 64–512개. 이 설정을 저자들이 다시 학습한 BERT에도 똑같이 적용했다.
평가 (Section 4.2). GLUE, SQuAD v1.1/v2.0, RACE. dev에서 early stopping 후 dev 결과로 비교. 리더보드 비교만 test도 보고. dev 분산이 큰 GLUE 과제는 5회 중앙값.
Ablation 구성. 임베딩 크기 E ∈ {64, 128, 256, 768} × 공유/비공유(Table 3), 공유 전략 4가지 × E ∈ {768, 128}(Table 4), 문장 손실 None/NSP/SOP(Table 5), 같은 학습 시간 비교(Table 6), 추가 데이터(Table 7), dropout 제거(Table 8). 부록에서 층 수(Table 11), 은닉 크기(Table 12), xxlarge의 12층 대 24층(Table 13).
최종 SOTA 모델 (Section 4.9). ALBERT-xxlarge + MLM·SOP + dropout 없음 + XLNet·RoBERTa의 추가 데이터. 단일 과제 미세조정만 했다. RTE·STS·MRPC는 MNLI 체크포인트에서 미세조정. 앙상블은 dev 성능으로 체크포인트 6–17개를 고르고, 12층·24층 모델의 예측을 평균한다.
주요 결과
| 주장 | 근거 위치 | 관찰/수치 | 조건·주의 | 출처 라벨 |
|---|---|---|---|---|
| 파라미터를 크게 줄인다 | Table 1, Section 3.2 | ALBERT-large 18M 대 BERT-large 334M (약 18배 적음) | 본문은 xxlarge를 233M이라 쓰고 Table 1은 235M | author-stated |
| xxlarge는 더 적은 파라미터로 BERT-large를 이긴다 | Table 2, Section 4.3 | 235M 대 334M. SQuAD v1.1 +1.9, v2.0 +3.1, MNLI +1.4, SST-2 +2.2, RACE +8.4. Avg 88.7 대 85.2 | 125k step, BookCorpus+Wikipedia, dev | author-stated |
| 같은 크기에서는 공유가 성능을 떨어뜨린다 (반례) | Table 2 | ALBERT-base 80.1 < BERT-base 82.3, ALBERT-large 82.4 < BERT-large 85.2, xlarge 85.5 ≈ BERT-large 85.2 | 이득은 H를 4096까지 키운 xxlarge에서만 분명 | author-stated (수치), 해석은 analyst-inference |
| 파라미터가 적다고 빠르진 않다 | Table 2, Section 4.3, 4.7 | Speedup: ALBERT-large 1.7x, xlarge 0.6x, xxlarge 0.3x (BERT-large 1.0). BERT-large 처리량이 xxlarge의 약 3.17배 | 같은 TPU 수 기준 처리량 | author-stated |
| 공유 조건에서는 E=128이 가장 좋다 | Table 3, Section 4.4 | 전층 공유 Avg: E=64 79.0, 128 80.1, 256 79.6, 768 79.8. 비공유에서는 E가 클수록 조금씩 좋아짐(81.3→82.3) | ALBERT-base. 이후 모든 설정에서 E=128 | author-stated |
| 성능 하락은 주로 FFN 공유에서 온다 | Table 4, Section 4.5 | 전층 공유 하락: E=768에서 −2.5, E=128에서 −1.5 Avg. attention만 공유: E=128 +0.1, E=768 −0.7. FFN만 공유: E=768 79.5, E=128 80.2 | ALBERT-base. 그룹 크기 M이 작을수록 성능은 좋지만 파라미터가 크게 늘어난다(수치 표 없음) | author-stated |
| NSP는 SOP를 전혀 못 풀지만 SOP는 NSP를 상당히 푼다 | Table 5, Section 4.6 | NSP로 학습 → SOP 정확도 52.0 (None 53.3과 비슷). SOP로 학습 → NSP 78.9, SOP 86.5 | 저자는 NSP가 주제 전환만 모델링한다고 결론 | author-stated |
| SOP가 다문장 하류 과제를 개선한다 | Table 5, Section 4.6 | NSP 대비 SQuAD1.1 약 +1, SQuAD2.0 약 +2, RACE +1.7, Avg 약 +1 (79.2 → 80.1) | SST-2에서는 NSP 91.1 > SOP 90.3 (반례) | author-stated |
| 같은 학습 시간이면 xxlarge가 BERT-large보다 낫다 | Table 6, Section 4.7 | BERT-large 400k step 34h: Avg 87.2. ALBERT-xxlarge 125k step 32h: Avg 88.7 (+1.5). RACE +5.2 (82.5 대 77.3) | MNLI는 둘 다 87.8로 동률 | author-stated |
| 추가 데이터는 SQuAD를 제외하고 도움이 된다 | Figure 2a, Table 7, Section 4.8 | Avg 80.1 → 80.8. MNLI 81.6→82.4, SST-2 90.3→92.8, RACE 64.0→66.0. SQuAD는 하락(89.3/82.3→88.8/81.7) | 저자는 SQuAD가 Wikipedia 기반이라 도메인 밖 데이터에 손해 본다고 설명 | author-stated |
| dropout을 빼면 더 좋아진다 | Figure 2b, Table 8, Section 4.8 | xxlarge 약 1M step: Avg 90.4 → 90.7 | 1M step 학습 후에도 과적합하지 않았다는 관찰이 근거. 다른 Transformer에서도 그런지는 추가 실험 필요하다고 저자가 명시 | author-stated |
| GLUE·SQuAD·RACE 최고 기록 | Table 9, 10, Section 4.9 | GLUE 앙상블 test Avg 89.4. SQuAD 2.0 test 92.2/89.7. RACE test 89.4 (Middle 91.2 / High 88.6). 단일 모델 RACE 86.5 | 리더보드 기준일 2019-09-16(GLUE), 2019-09-23(SQuAD·RACE). 추가 데이터 사용 | author-stated |
| RACE의 큰 폭 개선 | Section 4.9, Table 10 | 앙상블 89.4: BERT 대비 +17.4, XLNet +7.6, RoBERTa +6.2, DCMN+ +5.3. 단일 모델 86.5도 DCMN+ 앙상블(84.1)보다 2.4 높음 | 본문은 “DCMI+“로 표기, 표는 “DCMN+“ | author-stated |
| 층 간 전이는 매끄럽지만 수렴하지 않는다 | Figure 1, Section 3.1 | ALBERT-large의 L2 거리·코사인 각도가 BERT-large보다 매끄럽고 작지만, 24층 뒤에도 0이 되지 않음 | 저자는 DQE의 평형점과 다른 해 공간이라 해석 | author-stated |
| 같은 파라미터에서 반복 깊이를 늘리면 좋아지다 포화한다 | Appendix A.1, Table 11 | 18M 고정: 1층 Avg 52.9, 3층 71.2, 6층 77.2, 12층 81.5, 24층 82.1, 48층 81.8 | 부록. 3층 이상은 직전 깊이 체크포인트에서 warm-start | author-stated |
| 아주 넓은 모델은 24층이 필요 없다 | Appendix A.2, Table 13 | xxlarge 12층과 24층 모두 Avg 88.7 | 부록 | author-stated |
결과 사이의 연결. 핵심 거래는 “파라미터를 아끼고 그 예산을 폭(H)에 쓴다”이다. 같은 크기 비교(Table 2의 base·large)에서는 공유가 손해이고, 손해의 대부분은 FFN 공유에서 온다(Table 4). 그런데도 파라미터가 적으니 H = 4096까지 키울 수 있었고, 거기서 BERT-large를 넘었다. 대신 xxlarge는 넓어진 만큼 계산이 늘어 학습이 약 3배 느리다. 그래서 Table 6의 “같은 학습 시간” 비교가 공정성 논쟁의 핵심 근거가 된다. SOP(Table 5)와 dropout 제거(Table 8), 추가 데이터(Table 7)는 SOTA 수치에 함께 기여하므로, Table 9–10의 최종 이득을 아키텍처 변경만의 효과로 읽으면 안 된다(analyst-inference).
Take-home
핵심 메시지. 임베딩 분해와 전층 파라미터 공유로 BERT의 파라미터를 크게 줄일 수 있고, 아낀 예산을 은닉 크기에 쓰면 더 적은 파라미터로 더 좋은 성능을 얻는다. 단 계산량과 학습 시간은 줄지 않는다.
성립 범위. BookCorpus+Wikipedia(일부 실험은 XLNet·RoBERTa 추가 데이터)로 사전학습한 영어 encoder, GLUE·SQuAD·RACE 미세조정. 생성형(decoder) 모델이나 다른 언어로의 일반화는 이 논문에서 검증되지 않았다.
저자가 인정한 한계 (author-stated).
- ALBERT-xxlarge는 BERT-large보다 파라미터가 적지만 구조가 커서 계산 비용이 더 크다. sparse attention, block attention 같은 가속이 다음 과제다(Section 5).
- 전층 공유는 두 E 조건 모두에서 성능을 떨어뜨린다(Section 4.5).
- dropout이 해롭다는 관찰이 다른 Transformer 구조에서도 성립하는지는 추가 실험이 필요하다(Section 4.8).
- 현재 자기지도 손실이 담지 못한 차원이 더 있을 수 있다고 가정한다(Section 5).
작성자가 보는 우려 (analyst-inference).
- 최종 SOTA 결과(Table 9, 10)는 아키텍처, SOP, 추가 데이터, dropout 제거, 1M–1.5M step 학습이 모두 섞인 결과다. 각 요소의 기여는 Table 3–8의 base·xxlarge 규모 ablation에서만 따로 볼 수 있다.
- UT가 표준 Transformer보다 낫다는 결과와 “우리 관찰은 다르다”는 대비는 과제(언어모델링·주어-동사 일치 대 사전학습·미세조정)와 규모가 달라 직접 비교가 어렵다.
- Figure 1의 “진동한다”는 해석은 L2 거리와 코사인 각도가 0이 아니라는 관찰에서 나온 것이다. 실제로 오르내리는 진동인지 단순히 수렴하지 않는 것인지는 이 그림만으로는 분명하지 않다(ALBERT 곡선은 대체로 단조 감소 후 평탄).
- 문서 내부 불일치: xxlarge 파라미터 233M(본문) 대 235M(표), RACE 비교 대상 “DCMI+“(본문) 대 “DCMN+“(표).
재현성. 코드와 사전학습 모델 공개(github.com/google-research/ALBERT, Abstract). dev 분산이 큰 GLUE 과제와 SOTA 단일 모델 dev 결과는 5회 중앙값이다(Section 4.2.2, 4.9). 사전학습 자체를 여러 seed로 반복했는지는 보고되지 않았다. 하류 과제 하이퍼파라미터는 Appendix A.4 Table 14.
본문 도표
Figure 1 — 층별 입력·출력 임베딩의 L2 거리와 코사인 각도
- 무엇을 보여주는가: BERT-large와 ALBERT-large에서 각 층의 입력 임베딩과 출력 임베딩이 얼마나 다른지.
- 읽는 법: 두 패널 모두 x축은 층 번호(0–24). 왼쪽 y축은 L2 거리(0–18), 오른쪽 y축은 코사인 유사도를 각도(도)로 나타낸 값(0–45). 빨간 점선은 BERT-large, 파란 실선은 ALBERT-large.
- 핵심 관찰: BERT-large는 층마다 크게 오르내리고 마지막 층에서 L2 약 16, 각도 약 31로 급등한다. ALBERT-large는 첫 층에서 L2 약 8.5, 각도 약 22로 정점을 찍은 뒤 매끄럽게 줄어 L2 약 3.5, 각도 약 9 근처에서 평탄해진다(
analyst-inference, 그래프 판독). 0까지는 내려가지 않는다. - 의미와 주의: 저자는 가중치 공유가 네트워크 파라미터를 안정화하는 효과가 있으며, 24층 뒤에도 0으로 수렴하지 않으므로 DQE와 다른 해 공간에 있다고 해석한다(
author-stated). looped 관점에서는 같은 블록의 반복이 고정점에 도달하지 않는다는 관찰이다(analyst-inference). - 확인 상태: viewed
Table 1 — BERT·ALBERT 주요 구성
- 무엇을 보여주는가: 논문에서 분석하는 6개 모델의 파라미터 수, 층 수, 은닉 크기, 임베딩 크기, 공유 여부.
- 읽는 법: 행은 모델(BERT base/large, ALBERT base/large/xlarge/xxlarge), 열은 구성 값.
- 핵심 관찰: BERT-base 108M, BERT-large 334M(E = H). ALBERT는 모두 E = 128, 공유 True. ALBERT-large 18M(24층, H 1024), xxlarge 235M(12층, H 4096).
- 의미와 주의: 같은 이름(base, large)의 ALBERT와 BERT는 L과 H가 같다. 그래서 Table 2의 같은 이름 비교는 “공유+분해만의 효과”를 본다. xxlarge만 층 수가 12다.
- 확인 상태: viewed
Table 2 — BERT 대 ALBERT 전체 비교 (dev, 125k step)
- 무엇을 보여주는가: 6개 모델의 SQuAD1.1, SQuAD2.0, MNLI, SST-2, RACE dev 점수, Avg, 학습 처리량 배수.
- 읽는 법: SQuAD 칸은 F1/EM. Avg는 왼쪽 과제 평균(SQuAD는 F1·EM 먼저 평균). Speedup은 BERT-large = 1.0 기준 처리량.
- 핵심 관찰: ALBERT-xxlarge가 모든 과제에서 최고(SQuAD1.1 94.1/88.3, SQuAD2.0 88.1/85.1, MNLI 88.0, SST-2 95.2, RACE 82.3, Avg 88.7). 반면 같은 크기 비교에서는 ALBERT가 낮다: base 80.1 대 82.3, large 82.4 대 85.2. 처리량은 ALBERT-base 5.6x, large 1.7x, xlarge 0.6x, xxlarge 0.3x.
- 의미와 주의: “적은 파라미터로 더 좋다”는 주장은 xxlarge 대 BERT-large에서만 성립하고, 그때 처리량은 약 3분의 1이다(
author-stated수치, 해석은analyst-inference). - 확인 상태: viewed
Table 3 — 어휘 임베딩 크기 E의 효과 (ALBERT-base)
- 무엇을 보여주는가: E를 64, 128, 256, 768로 바꿀 때 공유·비공유 조건의 성능.
- 읽는 법: 위 블록은 비공유(BERT식), 아래 블록은 전층 공유(ALBERT식). 열은 파라미터, 과제별 점수, Avg.
- 핵심 관찰: 비공유에서 Avg는 81.3(64) → 81.7(128) → 81.8(256) → 82.3(768)로 조금씩 오른다. 공유에서는 79.0(64), 80.1(128), 79.6(256), 79.8(768)로 E = 128이 최고다. 공유 파라미터는 E = 128에서 12M, 768에서 31M.
- 의미와 주의: 저자는 이 결과로 이후 E = 128을 고정한다(
author-stated). 공유 조건에서 E가 커지면 오히려 나빠지는 이유는 논문이 설명하지 않는다. - 확인 상태: viewed
Table 4 — 층 간 공유 전략의 효과 (ALBERT-base)
- 무엇을 보여주는가: 전층 공유, attention만 공유, FFN만 공유, 비공유의 4전략을 E = 768, 128에서 비교.
- 읽는 법: 위 블록 E = 768, 아래 블록 E = 128. 열은 파라미터와 과제별 점수, Avg.
- 핵심 관찰: E = 768: 전층 공유 79.8(31M), attention 공유 81.6(83M), FFN 공유 79.5(57M), 비공유 82.3(108M). E = 128: 전층 공유 80.1(12M), attention 공유 81.7(64M), FFN 공유 80.2(38M), 비공유 81.6(89M).
- 의미와 주의: 성능 하락의 대부분은 FFN 공유에서 오고, attention 공유는 E = 128에서 하락이 없다(
author-stated). 그래도 ALBERT는 파라미터 절감을 위해 전층 공유를 기본으로 택한다. attention만 공유하면 파라미터가 E = 128에서 약 5배(64M 대 12M), E = 768에서 약 2.7배(83M 대 31M) 많아진다는 점이 거래의 반대편이다(analyst-inference, 표 수치로 계산). - 확인 상태: viewed
Table 5 — 문장 손실 비교: None, NSP, SOP (ALBERT-base)
- 무엇을 보여주는가: 추가 문장 손실 종류에 따른 사전학습 과제 정확도(intrinsic)와 하류 과제 점수.
- 읽는 법: 행은 학습에 쓴 문장 손실. Intrinsic 열은 MLM·NSP·SOP 과제 정확도(학습에 안 쓴 과제도 평가), Downstream 열은 하류 점수.
- 핵심 관찰: NSP로 학습하면 NSP 90.5지만 SOP 52.0(무작위 수준). SOP로 학습하면 NSP 78.9, SOP 86.5. 하류 Avg는 None 79.0, NSP 79.2, SOP 80.1. SOP는 SQuAD1.1(89.3/82.3), SQuAD2.0(80.0/77.1), MNLI(82.0), RACE(64.0)에서 최고지만 SST-2는 NSP(91.1)가 SOP(90.3)보다 높다.
- 의미와 주의: NSP가 주제 전환만 배운다는 결론의 근거다(
author-stated). SST-2는 한 문장 과제라 문장 간 손실의 이득이 없는 경우로 볼 수 있다(analyst-inference). - 확인 상태: viewed
Table 6 — 같은 학습 시간 비교
- 무엇을 보여주는가: BERT-large 400k step(34h)과 ALBERT-xxlarge 125k step(32h)의 하류 성능.
- 읽는 법: 열은 step, 시간, 과제 점수, Avg.
- 핵심 관찰: Avg 87.2 대 88.7. SQuAD1.1 93.5/87.4 대 94.0/88.1, SQuAD2.0 86.9/84.3 대 88.3/85.3, MNLI 87.8 동률, SST-2 94.6 대 95.4, RACE 77.3 대 82.5.
- 의미와 주의: xxlarge의 느린 처리량을 감안해도 우위가 남는다는 근거다(
author-stated). 시간이 정확히 같지는 않다(34h 대 32h). - 확인 상태: viewed
Table 7 — 추가 학습 데이터의 효과 (ALBERT-base)
- 무엇을 보여주는가: XLNet·RoBERTa가 쓴 추가 데이터의 유무에 따른 하류 성능.
- 읽는 법: 두 행(추가 데이터 없음/있음), 과제별 점수와 Avg.
- 핵심 관찰: Avg 80.1 → 80.8. MNLI, SST-2, RACE는 오르고 SQuAD1.1(89.3/82.3 → 88.8/81.7), SQuAD2.0(80.0/77.1 → 79.1/76.3)은 내려간다.
- 의미와 주의: SQuAD 하락은 Wikipedia 기반 과제가 도메인 밖 데이터에 손해 본 것으로 저자가 설명한다(
author-stated). 직접 검증한 실험은 없다. - 확인 상태: viewed
Figure 2 — 추가 데이터와 dropout 제거의 학습 중 효과
- 무엇을 보여주는가: (a) 추가 데이터 유무, (b) dropout 유무에 따른 dev MLM 정확도 곡선.
- 읽는 법: x축은 학습 step(단위 1e4). (a)는 35–55(35만–55만 step), y축 66.0–70.0%. (b)는 90–150(90만–150만 step), y축 70.0–72.5%. 파란 실선은 기본 조건, 빨간 점선은 변경 조건.
- 핵심 관찰: (a) 약 40(40만 step)에서 추가 데이터를 넣은 빨간 선이 파란 선보다 올라가 50 근처에서 약 69.0% 대 68.5%다. (b) 약 120(120만 step)에서 dropout을 뺀 선이 약 70.8%에서 71.4% 근처로 뛰고, 이후 약 72%까지 오른다(
analyst-inference, 그래프 판독). (b)의 dropout 있는 곡선은 약 125에서 끝난다. - 의미와 주의: 두 변경이 MLM 정확도를 올린다는 근거다(
author-stated). 곡선은 학습 도중 조건을 바꾼 것처럼 보이며, 같은 시점부터 따로 학습했는지는 원문에 명시되지 않았다. - 확인 상태: viewed
Table 8 — dropout 제거 효과 (ALBERT-xxlarge, 약 1M step)
- 무엇을 보여주는가: dropout 유무에 따른 xxlarge 하류 성능.
- 읽는 법: 두 행, 과제별 점수와 Avg.
- 핵심 관찰: 모든 과제에서 dropout 없는 쪽이 조금씩 높다. Avg 90.4 → 90.7. RACE 85.7 → 86.1, MNLI 90.0 → 90.4.
- 의미와 주의: 저자는 대형 Transformer에서 dropout이 해로울 수 있음을 처음 보였다고 주장하지만, ALBERT가 특수한 Transformer라 일반화는 추가 실험이 필요하다고 덧붙인다(
author-stated). 차이 폭은 0.1–0.4점이다. - 확인 상태: viewed
Table 9 — GLUE 최고 기록 비교
- 무엇을 보여주는가: 단일 과제 단일 모델(dev)과 앙상블(test, 2019-09-16 리더보드) 결과.
- 읽는 법: 열은 GLUE 9개 과제와 Avg. dev 단일 모델은 WNLI·Avg가 없다(
-). ALBERT(1M)·(1.5M)은 사전학습 step. - 핵심 관찰: 단일 모델 dev에서 ALBERT(1.5M)가 MNLI 90.8, QNLI 95.3, RTE 89.2, CoLA 71.4 등 대부분 최고. 다만 QQP는 RoBERTa와 92.2 동률. 앙상블 test Avg는 ALBERT 89.4로 최고. 그러나 QQP(ALICE 90.7 > ALBERT 90.5)와 CoLA(ALICE 69.2 > ALBERT 69.1)는 ALBERT가 최고가 아니다.
- 의미와 주의: 평균 SOTA지만 전 과제 최고는 아니다. 앙상블은 1M, 1.5M 등 여러 step 모델을 섞는다(캡션).
- 확인 상태: viewed
Table 10 — SQuAD·RACE 최고 기록 비교
- 무엇을 보여주는가: SQuAD1.1 dev, SQuAD2.0 dev/test, RACE test(Middle/High)의 단일 모델·앙상블 결과(2019-09-23 리더보드).
- 읽는 법: SQuAD는 F1/EM, RACE는 전체(Middle/High).
- 핵심 관찰: 앙상블 ALBERT: SQuAD1.1 dev 95.5/90.1, SQuAD2.0 dev 91.4/88.9, test 92.2/89.7, RACE 89.4(91.2/88.6). 단일 ALBERT(1.5M): SQuAD2.0 test 90.9/88.1, RACE 86.5(89.0/85.5). 비교 대상 RACE: BERT-large 72.0, XLNet 81.8, RoBERTa 83.2, DCMN+ 84.1.
- 의미와 주의: RACE에서 단일 모델이 기존 앙상블을 2.4점 넘는 것이 저자가 가장 강조하는 결과다(
author-stated). 본문의 “DCMI+“는 표의 “DCMN+“와 같은 모델로 보인다(analyst-inference). - 확인 상태: viewed
Wiki 연결
- Universal Transformers — ALBERT가 “우리 관찰과 다르다”고 대비하는 층 간 공유 선행 연구. UT는 공유+ACT로 반복 깊이를 적응시키고, ALBERT는 공유만 고정 깊이로 대규모 사전학습에 적용했다.
- Reasoning with Latent Thoughts - On the Power of Looped Transformers — 관련 연구로 UT와 ALBERT를 함께 인용하는 looped transformer 이론·실험 논문. ALBERT의 부록 층 수 실험(파라미터 고정, 반복 증가)과 같은 질문을 추론 과제에서 다룬다.
- Fixed-Point Reasoners - Stable and Adaptive Deep Looped Transformers — ALBERT가 관찰한 “반복해도 수렴하지 않고 진동한다”(Figure 1) 문제를 정규화·잔차 스케일링으로 안정화해 고정점 수렴을 정지 신호로 쓰는 후속 방향.
- Adaptive Computation Time for Recurrent Neural Networks — 같은 블록을 반복한다는 생각의 RNN 쪽 기원. ALBERT는 반복 횟수를 고정하고 ACT는 학습한다.
BibTeX
@inproceedings{lan2020albert,
title = {ALBERT: A Lite BERT for Self-supervised Learning of Language Representations},
author = {Lan, Zhenzhong and Chen, Mingda and Goodman, Sebastian and Gimpel, Kevin and Sharma, Piyush and Soricut, Radu},
booktitle = {International Conference on Learning Representations (ICLR)},
year = {2020},
note = {arXiv:1909.11942}
}