Transformer의 Feed-Forward 층은 Key-Value 메모리다

읽기 판단

읽기 · confidence: medium

FFN을 key-value memory로 재해석하는 이 논문은 “transformer를 메모리로 이해”하려는 목적에 정확히 부합하며, 전문가 주석과 토큰 제거·layer-wise agreement 실험 등 원문에서 직접 검증 가능한 근거가 다수 있다. 다만 이번 수집에는 핵심 수식 전개(Section 2)와 세부 방법론(Section 4/5, Appendix)이 빠져 있어, 형식적 정합성까지 확인하려면 원문 확인이 필수다.

근거 범위

이 노트는 arXiv HTML에서 섹션 단위로 추출한 범위(section-extract)에 기반한다. Section 2의 수식 전개, Section 4·5의 세부 측정 절차, Appendix, 주석자 간 일치도, Figure 축의 정확한 값은 확인하지 않았다.

1분 요약

문제: FFN 층이 transformer 파라미터의 2/3를 차지하지만 그 역할은 거의 분석되지 않았다.

핵심 아이디어: FFN의 첫 번째 선형층을 key, 두 번째 선형층을 value로 보아 unnormalized key-value memory로 재해석한다.

새로움: key가 포착하는 패턴(하위층=shallow, 상위층=semantic)과 value가 유도하는 다음 토큰 분포를 사람이 해석 가능한 형태로 실증했다.

가장 강한 근거: 160개 key에 대한 전문가 주석(평균 3.6개 패턴/key), 토큰 제거 실험(Figure 3), value-다음토큰 agreement rate의 층별 급증(Figure 4).

가장 큰 주의점: key 표본이 전체 대비 매우 작고(층당 10개) 주석자가 1인이라, 해석의 재현성·편향을 독립적으로 검증하기 어렵다.

핵심 아이디어

FFN 층은 self-attention에 비해 해석 대상으로 거의 다뤄지지 않았고, 대체로 “비선형 변환 블록” 정도로만 취급되어 왔다. 저자들은 FFN의 두 선형 변환(입력→d_ff, d_ff→출력) 구조가 key-value memory 신경망(예: End-to-End Memory Networks)과 형식적으로 동형이라는 데 착안한다.

이 관점에서 첫 번째 선형층의 각 열(뉴런)은 key 벡터, 이에 대응하는 두 번째 선형층의 행은 value 벡터가 된다. 입력 hidden state는 각 key와 내적되어 활성화 스칼라를 만들고, 이 활성화들이 value 벡터를 가중합하는 것이 FFN 출력이다.

저자들은 이 key/value가 각각 텍스트 패턴과 다음 토큰 분포에 대응함을 실증한다. key는 입력 prefix의 반복 패턴(하위층은 표면적 n-gram·구문, 상위층은 주제·의미 패턴)을 포착하고, value는 어휘 전체에 대한 분포를 유도하는데 특히 상위층에서는 이 분포가 해당 패턴 직후 등장할 가능성이 높은 토큰에 확률을 집중시킨다.

최종적으로 한 층의 출력은 활성화된 수백 개 메모리의 합성이며, 이 합성 결과가 잔차 연결을 통해 층을 거치며 점진적으로 정제되어 최종 예측 분포를 형성한다는 것이 저자들의 결론이다.

무엇을 했나

모델: WikiText-103으로 학습된 16층 transformer LM (d_model=1024, d_ff=4096, 총 247M 파라미터, fairseq transformer_lm.wiki103.adaptive)
key 해석: 층당 10개씩 무작위 표본(총 160개 key)의 top-25 prefix를 전문가 1인이 관찰해 (a) 최소 3개 prefix에 나타나는 반복 패턴 식별 → (b) 패턴 기술 → (c) shallow/semantic 분류하는 3단계 주석 (Section 3.1)
패턴 검증(토큰 제거): 1,600개 key(층당 100개)에 대해 prefix의 마지막 토큰을 제거했을 때 key 활성화 변화를 층별로 비교
value 분석: 각 value 벡터를 어휘 분포로 투영해 최고확률 토큰과 실제 다음 토큰의 일치율(agreement rate)을 층별로 측정하고 무작위 기준(0.0004%)과 대조
메모리 합성 분석: 검증셋에서 무작위 추출한 4,000개 prefix로, 층 출력이 개별 메모리 예측과 얼마나 다른지와 최종 예측이 어느 층에서 사실상 확정되는지 측정 (Section 5)

핵심 근거

주장	근거 위치	관찰/수치	조건·주의	claim_origin
key 패턴은 인간이 해석 가능하며 하위층=shallow, 상위층=semantic	Section 3.2, Figure 2	평균 3.6개 패턴/key 식별, prefix의 65–80%가 패턴 1개 이상과 연관. 층 1–9 shallow 우세, 10–16 semantic 우세	층당 10개, 총 160개 key 표본, 전문가 1인 주석	author-stated
하위층 key는 마지막 토큰 제거에 더 민감하다(얕은 패턴 의존)	Figure 3	1,600개 key(층당 100개) 대상, 하위층 활성화 변화가 상위층보다 큼	변화량 정확 수치·통계검정 [위치 미확인]	author-stated
value 분포는 상위층으로 갈수록 다음 토큰과 더 잘 일치한다	Figure 4	층 1–10 agreement ≈0 → 층 11부터 급상승해 3.5%까지. 무작위 기준(0.0004%) 대비 수 자릿수 높음	검증셋 규모·계산식 [위치 미확인]	author-stated
층 출력은 여러 메모리의 합성이며 개별 메모리 예측과 다를 수 있다	Figure 7, Figure 8	전형적 예시는 층당 수백 개 메모리(4096차원 중 10–50%) 활성화. 최소 약 68% 예시에서 최종 예측이 개별 메모리 예측과 불일치	”전형적 예시” 선정 기준·표본수 [위치 미확인]	author-stated
최종 예측의 상당 부분이 하위층에서 이미 결정된다	Figure 9	약 1/3의 예측이 하위 몇 개 층에서 결정, 층 10부터 급증	”결정됨”의 정의·측정법 [위치 미확인]	author-stated

어디까지 믿을까

저자 명시 한계 (author-stated): 층의 출력 공간이 층을 거치며 어떻게 변환되는지, 이것이 self-attention과 어떤 상호작용을 갖는지는 질문으로 남긴다(저자는 “the interplay between feed-forward layers and self-attention layers”와 관련 있을 것으로 추측). key-value memory 정식화가 BERT 인코더·번역 모델 등 다른 transformer로 일반화되는지는 검증하지 않고 향후 과제로 남긴다. 해석가능성·학습데이터 프라이버시·아키텍처 응용 등 실용적 함의는 제시만 하고 미탐구 상태다.
분석자 판단 (analyst-inference): 패턴 해석이 전체 key(4096 × 16 ≈ 65,536개) 중 극히 일부인 160개(층당 10개)에 대한 전문가 1인 주석에 기반한다. 주석자 간 일치도 수치가 이번 수집 범위에서 확인되지 않아, 주석자 편향이나 확증적 패턴 발견 가능성을 독립적으로 배제하기 어렵다.
미확인 범위 (unknown): Section 2의 형식적 수식 전개, Section 4·5의 세부 측정 절차, Appendix 전문, Figure 축의 정확한 수치, 주석자 간 일치도.

원문 읽기 지도

우선순위	먼저 볼 곳	확인할 질문	왜 중요한가
1	Section 2 (FFN as Key-Value Memories)	FFN의 두 선형 변환이 정확히 어떤 수식으로 key-value memory와 대응되는가	이 논문 전체 해석의 형식적 토대이나 이번 수집에서 미확보
2	Section 3.1 + Appendix B	전문가 1인 주석 절차의 세부 기준과 주석자 간 일치도가 보고되는가	160-key 표본 해석의 신뢰도 판단에 필요
3	Section 4 본문 + Figure 4	agreement rate 3.5%의 계산 기준과 통계적 유의성은 무엇인가	”value가 다음 토큰을 예측한다”는 핵심 주장의 강도 판단
4	Section 5.2 + Figure 9	”예측이 결정됨”의 정의와 측정 방법은 무엇인가	하위층에서 예측이 확정된다는 주장의 재현성 판단

읽기 전 용어

Key-Value Memory: 입력을 key와의 유사도로 매칭해 대응 value를 조회·합성하는 신경망 메모리 구조. 이 논문은 FFN의 두 선형층을 각각 key/value 집합으로 재해석한다
shallow vs semantic pattern: key가 포착하는 입력 패턴의 두 범주. shallow는 표면적 n-gram·구문 패턴, semantic은 주제·의미 기반 패턴
agreement rate: value 벡터를 어휘 분포로 투영했을 때 최고확률 토큰이 실제 다음 토큰과 일치하는 비율

내 메모

BibTeX

@inproceedings{geva2021transformer,
  title         = {Transformer Feed-Forward Layers Are Key-Value Memories},
  author        = {Geva, Mor and Schuster, Roei and Berant, Jonathan and Levy, Omer},
  booktitle     = {Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing (EMNLP)},
  year          = {2021},
  eprint        = {2012.14913},
  archivePrefix = {arXiv},
  url           = {https://arxiv.org/abs/2012.14913}
}

Transformer의 Feed-Forward 층은 Key-Value 메모리다

Transformer의 Feed-Forward 층은 Key-Value 메모리다

읽기 판단

핵심 아이디어

무엇을 했나

핵심 근거

어디까지 믿을까

원문 읽기 지도

읽기 전 용어

관련 노트

내 메모

BibTeX