스파이크, 희소성, 그리고 싱크 - 거대 활성값과 어텐션 싱크의 해부
Digest: 트랜스포머 기반 LLM에서 극소수 채널·토큰에 나타나는 거대 활성값(massive activations, 다른 값보다 수백~수천 배 큰 극단적 outlier)과 특정 토큰에 어텐션이 쏠리는 어텐션 싱크(attention sinks)는 늘 함께 관찰되어 왔지만, 그 공존이 성능에 필수적인지는 불분명했다. 이 논문은 pre-norm 트랜스포머의 내부 경로를 해부해, 두 현상이 서로 다른 역할(거대 활성값=전역적 암묵 파라미터, 어텐션 싱크=단거리 의존성 조절)을 하며 공존은 “구조적 부산물(architectural artifact)“일 뿐임을 규명한다. 핵심 메커니즘으로 SwiGLU 피드포워드가 공유 스파이크 방향 벡터 s★와 지배적 고유값 λ★를 통해 입력이 s★에 정렬될 때 스파이크를 동기적으로 증폭하는 “방향성 이차 증폭기(directional quadratic amplifier)“임을 이론(Theorem B.2)과 실험으로 보인다. DCLM 100B 토큰으로 7B 모델을 처음부터 학습해 정규화를 sandwich로 바꾸면 spike 3818→520으로 억제되면서도 sink ratio는 46.0%→44.7%로 유지(Table 5)되어 둘이 분리 가능함을, perplexity 저하 없이(≈10.0) 입증한다. 함의는 양자화·프루닝·KV-cache 최적화에서 두 현상을 독립적으로 겨냥할 수 있다는 것이며, 한계는 decoder-only pre-norm Llama/Qwen 계열·100B 토큰 규모에 국한된다는 점이다.
먼저 이해하기
거대 언어 모델의 내부를 열어보면 이상한 현상이 두 가지 있다. 첫째, massive activations(거대 활성값 — 대부분의 뉴런 값이 -10~10 정도인데 어떤 특정 채널에서만 값이 3000~40000처럼 비정상적으로 튀는 현상)이다. 둘째, attention sinks(어텐션 싱크 — 모델이 문장의 의미와 무관하게 첫 토큰이나 마침표 같은 특정 토큰에 어텐션 가중치를 몰아주는 현상)이다. 이 둘은 거의 항상 같은 토큰에서 함께 나타난다.
기존에는 “둘이 붙어 다니니까 서로 원인-결과 관계이고, 모델이 잘 작동하려면 반드시 필요한 것”이라고 막연히 여겨졌다. 이 논문은 이 통념을 뒤집는다. 저자들은 pre-norm 구조(각 층 계산 ‘전에’ 정규화를 하는 요즘 표준 구조)를 하나씩 분해하면서, 두 현상이 사실 다른 목적을 가지며 단지 기본 설계 레시피 때문에 우연히 같이 나타난다는 것을 보인다.
왜 중요한가: 만약 두 현상이 필수라면 모델을 압축·가속할 때 이 극단값들을 함부로 건드릴 수 없다. 하지만 논문은 정규화 방식만 바꿔도 spike(스파이크 — 거대 활성값의 크기)를 3818에서 520으로 줄이면서 성능(perplexity ≈10)은 그대로 유지할 수 있음을 보인다(Table 5). 즉, 실무에서 양자화·프루닝·KV-cache 절약 전략이 두 현상을 따로따로 겨냥할 수 있다는 실용적 문이 열린다.
먼저 알아둘 용어 표
| 용어 | 쉬운 설명 |
|---|---|
| massive activation (거대 활성값) | 극소수 채널에서만 값이 수백~수만 배 큰 outlier |
| attention sink (어텐션 싱크) | 의미와 무관하게 특정 토큰(첫 토큰·구분자)으로 어텐션이 쏠림 |
| pre-norm | 서브층 계산 전에 정규화(RMSNorm)를 적용하는 표준 구조 |
| SwiGLU | gate·up 두 경로를 곱하는 게이트형 피드포워드 블록 |
| RMSNorm | 벡터 크기(RMS)로 나눠 스케일을 맞추는 정규화 |
| s★ (spike direction) | 스파이크를 유발하는 공유 방향 벡터 (트리거 방향) |
| λ★ | SwiGLU 이차형식에서 스파이크 채널이 갖는 지배적 고유값 |
| sink ratio | 싱크로 분류되는 어텐션 헤드/토큰의 비율 |
섹션별 요약
Abstract
거대 활성값과 어텐션 싱크가 트랜스포머 LLM에서 자주 공존하지만, 저자들은 이 공존이 “대체로 구조적 부산물(architectural artifact)“이며 기능적 필연이 아니라고 주장한다. 두 현상은 서로 다른 역할을 한다: 거대 활성값은 전역적으로 암묵적 파라미터처럼 작동하고, 어텐션 싱크는 국소적으로 헤드별 어텐션을 단거리 의존성 쪽으로 조절한다. Pre-norm 구성이 공존을 가능케 하는 핵심 고리(lynchpin)이며, 정규화를 바꾸면 성능 손실 없이 둘을 분리할 수 있다.
왜 이 연구를 하는가?
거대 활성값과 어텐션 싱크는 각각 별개로 관찰·보고되어 왔으나, 왜 같은 토큰에서 함께 나타나는지에 대한 통합적·기계적(mechanistic) 설명이 없었다. 이 인과 구조를 모르면 모델 압축·효율화에서 어떤 극단값을 보존/제거해도 안전한지 판단할 수 없다.
Introduction
연구 질문은 “왜 두 현상이 공존하는가”이다. 핵심 발견은 (1) 공존은 구조적 산물이고, (2) 두 현상은 서로 다른 기능을 하며, (3) pre-norm이 결합의 고리라는 것. 실험은 Llama 2 (7B, 13B), Llama 3 (8B), Qwen 2.5 (7B, 14B), Qwen 3 (8B, 14B) 등 사전학습 모델 분석과, DCLM 100B 토큰으로 처음부터 학습한 7B 모델의 절제(ablation)로 구성된다.
Methods
3.1 거대 활성값의 발생 — 활성 크기는 깊이에 따라 “상승–고원–하강(rise–plateau–fall)” 궤적을 그린다.
- Step-up 블록(초기 층): 극단값을 주입. Llama 2 7B는 block 4, Llama 2 13B는 block 8, Qwen3 8B는 block 14 (Table 1).
- Residual accumulation(중간 층): 가산적 잔차 연결을 통해 거대 활성값이 지속.
- Step-down 블록(후기 층): 반대 부호 값을 주입해 스파이크를 상쇄. Llama 2 7B는 block 62, Llama 2 13B는 block 78·79, Qwen3 8B는 block 72.
SwiGLU = 방향성 이차 증폭기: 스파이크 토큰에 대해 SiLU(x) ≈ x가 되는 near-identity 게이팅 영역에서 FFN이 F_ffn ≈ W_down·((W_gate h̃)⊙(W_up h̃))로 단순화된다. 각 출력 좌표 k는 대칭행렬 S_k를 통한 이차형식 F_ffn(h̃)_k ≈ h̃ᵀ S_k h̃로 근사되고(Theorem B.2), 스파이크 채널은 단일 지배 고유값 λ★을 가져 F_ffn(h̃)_k ≈ λ★(s★ᵀh̃)²로 귀결된다. 즉 입력이 공유 트리거 방향 s★에 정렬될 때만 스파이크가 동기적으로 발생.
스파이크 유발 토큰: 첫 토큰(어휘의 98% 이상이 position 0에서 스파이크, Table 2)과 마침표·개행 같은 구분자 토큰. 첫 토큰에서는 어텐션 블록이 선형 사상 F_attn(h⁽¹⁾)=W_VOᵀh⁽¹⁾으로 붕괴해 표현을 일관되게 s★로 밀어붙인다.
3.2 어텐션 싱크의 발생 — RMSNorm이 스파이크 토큰을 변환: (i) 유계 범위 |h̃_i| ≤ √d_model(Theorem B.3), (ii) 희소화(비스파이크 채널 억제), (iii) 준상수화(스파이크 채널 크기비가 고정되어 서로 다른 스파이크 토큰이 거의 동일 벡터로 붕괴, Fig 5에서 코사인 유사도 ≈1.0). 그 결과 sink key와 non-sink key가 기하학적으로 분리 가능한 저차원(≤2) 부분공간에 놓여, sink 헤드에서 큰 logit gap이 생기며 싱크가 형성된다.
발견 (Findings)
- 세 가지 주장 모두 절제 실험으로 확인: 각 현상을 성능 저하 없이 독립적으로 제거 가능.
- 거대 활성값은 특정 정규화 누적 패턴(pre-norm)을 요구.
- 스파이크를 없애도 어텐션 싱크는 대안 메커니즘으로 지속 → 둘은 기능적으로 결합되어 있지 않고 구조적으로만 함께 나타남.
Results
아래 “실험 결과 상세” 참조. 핵심: 정규화(Table 5)가 스파이크와 싱크를 분리하는 직접 레버이고, 헤드 차원(Table 6)이 싱크 형성의 주 요인이며, 조건부 게이팅(Table 7)이 싱크를 제거하고, 짧은 문맥 학습 제외(Table 8)가 sink ratio를 붕괴시킨다.
Discussion
표준 사전학습 LLM에서 두 현상의 중첩은 “기본 정규화·학습 레시피의 부산물”일 뿐, 어떤 기능적 필연의 반영이 아니다. 어텐션 싱크는 명시적 게이트가 없을 때 입력 의존적 암묵 게이팅 메커니즘으로 작동하는 것으로 해석된다.
이론적 의의
Theorem B.2(SwiGLU 이차형식)와 Theorem B.3(RMSNorm 유계성)은 거대 활성값→정규화→싱크로 이어지는 인과 사슬에 수학적 근거를 제공한다. 이는 “정규화가 인과적 다리(causal bridge)“라는 명제를 이론적으로 뒷받침한다.
Discussion Points
- 거대 활성값이 “전역적 암묵 파라미터”라는 해석은 검증 가능한가, 아니면 사후 서사인가?
- 100B 토큰·7B 규모의 절제 결론이 1~7T 토큰 프로덕션 모델로 일반화되는가?
- 조건부 게이팅이 싱크를 대체한다면, 이를 명시적 설계로 채택할 때의 안정성·비용은?
실험 결과 상세
DCLM 100B 토큰, 7B Llama-style 모델을 처음부터 학습. 평가는 C4 샘플. 지표: perplexity(낮을수록 좋음), sink ratio(%), spike magnitude(거대 활성값 크기).
Table 3 — 학습률(optimization)
| base LR | perplexity | sink ratio | spike |
|---|---|---|---|
| 7.5×10⁻⁵ | 11.8 | 18.6% | 1447 |
| 3.0×10⁻⁴ (baseline) | 10.1 | 46.0% | 3818 |
| 6.0×10⁻⁴ | 10.0 | 51.5% | 3773 |
→ sink ratio는 최적화 건강도의 견고한 대리지표, spike는 대체로 독립적으로 변동.
Table 4 — 피드포워드 블록 설계
| FF 설계 | perplexity | sink ratio | spike |
|---|---|---|---|
| SwiGLU (baseline) | 10.1 | 46.0% | 3818 |
| GeLU | 10.1 | 69.3% | 3369 |
| Linear | 12.5 | 58.9% | 688 |
| Attention-only | 10.8 | 73.9% | 637 |
→ 모든 설계에서 스파이크 발생하나 SwiGLU/GeLU는 단일 단계에 증폭 집중, linear/attention은 점진 누적.
Table 5 — 정규화 구성 (핵심)
| 정규화 | perplexity | sink ratio | spike |
|---|---|---|---|
| Pre-norm (baseline) | 10.1 | 46.0% | 3818 |
| Sandwich (post-norm) | 9.8 | 44.7% | 520 |
| Sandwich (QK only) | 10.0 | 42.0% | 92 |
| DynamicTanh | 10.0 | 61.0% | 153 |
→ 정규화가 spike를 억제하면서도 sink는 유지 → 분리(decouple) 가능 입증.
Table 6 — 어텐션 헤드 차원(총 용량 고정)
| 헤드 수 | perplexity | sink ratio | spike |
|---|---|---|---|
| 8 heads (d_head 큼) | 11.3 | 4.1% | 291 |
| 16 heads | 10.8 | 9.8% | 315 |
| 32 heads | 10.5 | 27.9% | 829 |
| 128 heads (baseline) | 10.1 | 46.0% | 3818 |
→ 헤드 차원이 싱크 형성의 주요 구조적 동인(큰 차원이 sink/non-sink key 부분공간 분리 용량 제공).
Table 7 — 게이트형 어텐션
| 게이팅 | perplexity | sink ratio | spike |
|---|---|---|---|
| Conditional per-channel | 10.0 | 4.5% | 202 |
| Conditional per-head | 10.1 | 6.4% | 186 |
| Single conditional | 10.1 | 31.2% | 316 |
| Unconditional channel | 10.1 | 42.2% | 1922 |
| Unconditional head | 10.1 | 41.3% | 1884 |
→ 입력 조건부 동적 게이트는 싱크를 제거, 정적/무조건 게이트는 유지 → 싱크 = 암묵적 입력 조건부 게이팅.
Table 8 — 학습 문맥 길이 분포
| min/max 토큰 | perplexity | sink ratio | spike |
|---|---|---|---|
| 1/256 | 12.4 | 42.1% | 5411 |
| 1/1024 | 10.6 | 46.3% | 4442 |
| 1/4096 (baseline) | 10.1 | 46.0% | 3818 |
| 1024/4096 | 10.1 | 13.0% | 38470 |
| 2048/4096 | 10.6 | 1.2% | 7193 |
→ 짧은 문맥을 학습에서 제외하면 sink ratio가 46%→1.2%로 붕괴 → 싱크는 근본적으로 단거리 예측을 돕는 짧은 문맥 학습의 부산물.
프레임워크 다이어그램
flowchart TD A["입력 토큰<br/>(첫 토큰·구분자)"] -->|s★에 정렬| B["Step-up 블록<br/>초기 층 (block 4~14)"] B -->|"SwiGLU 이차 증폭<br/>λ★·(s★ᵀh̃)²"| C["거대 활성값<br/>massive activation"] C -->|가산적 잔차 연결| D["Residual accumulation<br/>중간 층 지속"] D --> E["Step-down 블록<br/>후기 층 (block 54~95)<br/>반대 부호로 상쇄"] C --> F["RMSNorm 변환<br/>유계·희소·준상수"] F --> G["sink key 저차원<br/>부분공간 (dim ≤ 2)"] G -->|"큰 logit gap"| H["어텐션 싱크<br/>attention sink"] H -->|국소적: 단거리 의존성 조절| I["short-range 예측"] C -->|전역적: 암묵 파라미터| J["global bias"] K["정규화 교체<br/>(Sandwich / DyT)"] -.->|spike 억제, sink 유지| F
재현성 및 신뢰도 평가
종합등급: B (근거 A급, 코드/체크포인트 공개 여부 불명으로 재현성은 B)
- 근거 품질: 사전학습 대형 모델(Llama/Qwen 다수) 관찰 + 처음부터 학습한 통제된 절제 + 정리(Theorem B.2, B.3)로 다각 삼각검증 → A.
- 재현성: DCLM 100B 토큰 7B 학습은 상당한 컴퓨팅을 요구하고, 공개 코드/가중치 명시가 확인되지 않아 완전 재현 장벽 존재 → B.
주장별 신뢰도:
- “정규화가 spike/sink를 분리한다” — 높음: Table 5에서 spike 3818→520/92/153, sink 46.0%→44.7/42.0/61.0%로 직접 대조, perplexity 유지.
- “싱크는 짧은 문맥 학습의 부산물” — 높음: Table 8에서 문맥 하한 상향 시 46.0%→13.0%→1.2%로 단조 붕괴.
- “거대 활성값은 전역적 암묵 파라미터” — 중간: 기능적 해석은 절제보다 서사적 근거에 의존, 반증 설계가 상대적으로 약함.
원자적 인사이트 (Zettelkasten)
- 거대 활성값과 어텐션 싱크의 공존은 인과가 아니라 공통 원인(pre-norm 레시피)의 산물이다. 정규화를 바꾸면 spike는 억제되나 sink는 남으므로(Table 5), 둘은 같은 뿌리에서 갈라진 두 가지일 뿐 서로를 필요로 하지 않는다.
- SwiGLU는 방향 선택적 증폭기다. 입력이 공유 방향 s★에 정렬될 때만 지배 고유값 λ★을 통해
λ★(s★ᵀh̃)²형태로 스파이크를 동기 증폭한다 — 임의 입력이 아니라 특정 방향에만 반응한다는 점이 핵심. - 어텐션 싱크는 없어진 명시적 게이트의 대역이다. 입력 조건부 게이팅을 추가하면 sink ratio가 46%→4.5%로 사라지므로(Table 7), 싱크는 모델이 게이팅 능력을 스스로 재구현한 흔적으로 볼 수 있다.
- 짧은 문맥이 싱크를 만든다. 학습 시퀀스 하한을 2048로 올리면 sink ratio가 1.2%로 무너진다(Table 8) — 싱크는 긴 문맥 정보 저장용이 아니라 단거리 예측을 돕는 장치다.
핵심 용어 정리
- massive activation (거대 활성값): 극소수 채널·토큰에서만 나타나는, 나머지보다 수백~수만 배 큰 활성 outlier. baseline에서 spike magnitude 3818.
- attention sink (어텐션 싱크): 의미와 무관하게 첫 토큰·구분자 등 특정 토큰으로 어텐션이 집중되는 현상. sink ratio로 측정.
- s★ (spike direction): 스파이크를 유발하는 공유 트리거 방향 벡터. 입력이 이 방향에 정렬될 때 스파이크 발생.
- λ★: SwiGLU 출력 좌표의 이차형식 S_k에서 스파이크 채널이 갖는 단일 지배 고유값. rank-one dominance의 원천.
- step-up / step-down 블록: 각각 초기 층에서 스파이크를 주입하고 후기 층에서 반대 부호로 상쇄하는 층. rise–plateau–fall 궤적 형성.
- sink ratio: 싱크로 분류되는 정도의 비율(%). 최적화 건강도의 견고한 대리지표.
- DynamicTanh (DyT): 정규화를 대체하는 원소별 tanh 기반 연산. spike를 153까지 억제하면서 sink 61.0% 유지.
관련 연구
- Sparse Transformer - Generating Long Sequences with Sparse Transformers
- Interpretability Beyond Feature Attribution- Quantitative Testing with Concept Activation Vectors (TCAV)
- Brittle Minds Fixable Activations - Understanding Belief Representations in Language Models
- A Survey on Mixture of Experts in Large Language Models
태그
massive-activations attention-sinks pre-norm-transformer SwiGLU RMSNorm mechanistic-interpretability model-efficiency quantization
BibTeX
@inproceedings{sun2026spike,
title = {The Spike, the Sparse and the Sink: Anatomy of Massive Activations and Attention Sinks},
author = {Sun, Shangwen and Canziani, Alfredo and LeCun, Yann and Zhu, Jiachen},
booktitle = {Proceedings of the International Conference on Machine Learning (ICML)},
year = {2026},
eprint = {2603.05498},
archivePrefix = {arXiv},
primaryClass = {cs.LG}
}