본문으로 건너뛰기
Juhyeon's Blog
Search
검색
다크 모드
라이트 모드
탐색기
태그: massive-activations
1건의 항목
2026년 11월 01일
The Spike, the Sparse and the Sink - Anatomy of Massive Activations and Attention Sinks
massive-activations
attention-sinks
pre-norm-transformer
SwiGLU
RMSNorm
mechanistic-interpretability
model-efficiency
quantization