Emerging Properties in Self-Supervised Vision Transformers

자기지도 비전 트랜스포머에서 나타나는 창발적 특성 (DINO)

Digest: 컴퓨터 비전에서 레이블 없이 강력한 표현을 학습하는 **자기지도 학습(self-supervised learning, 레이블 없이 데이터 자체의 구조에서 신호를 추출하는 학습)**은 오랫동안 지도 학습보다 뒤처졌다. 특히 **비전 트랜스포머(ViT, 이미지를 패치 단위로 분할해 시퀀스처럼 처리하는 아키텍처)**가 등장했을 때, 이것이 NLP의 BERT처럼 자기지도 방식으로 훈련될 수 있는지는 열린 문제였다. DINO(self-DIstillation with NO labels)의 핵심 통찰은 레이블도, 대조 쌍도, 예측 헤드도, 배치 정규화도 없이 “학생-교사 자기증류(self-distillation)“만으로 표현 붕괴를 막을 수 있다는 것이다. 교사 네트워크는 학생의 지수이동평균(EMA, Exponential Moving Average)으로 유지되며, 출력에 **센터링(centering, 한 차원이 지배하는 것을 막음)**과 **샤프닝(sharpening, 균등 붕괴를 막기 위해 낮은 온도로 피크를 날카롭게 함)**을 동시에 적용해 두 붕괴 방향을 상호 견제한다. 여기에 멀티-크롭(multi-crop, 큰 전역 뷰 2개 + 작은 지역 뷰 여러 개로 로컬→글로벌 대응을 유도) 전략이 k-NN 정확도를 +4.7%p 향상시킨다. 결과적으로 ViT-S/8은 파인튜닝 없이 ImageNet k-NN 78.3%, 선형 프로브 80.1%(ViT-B/8)를 달성한다 (Table 1). 더 놀라운 것은 **창발적 분할(emergent segmentation)**이다. ViT의 [CLS] 토큰 자기주의 맵이 어떤 감독 없이도 의미론적 객체 경계를 정확히 포착하며, PASCAL VOC Jaccard 45.9 vs 지도 학습 ViT 23.7을 기록한다 (Table 4). 이 현상은 지도 학습 ViT나 합성곱 신경망에서는 나타나지 않아, 자기지도 방식 자체가 이 구조를 촉발한다는 것을 시사한다. 한계로는 저자들이 모멘텀 인코더 제거 시 완전 붕괴(k-NN 0.1%)가 발생함을 보여주지만, 왜 센터링+샤프닝의 조합이 이론적으로 안정적인지에 대한 엄밀한 분석은 제공되지 않는다. 또한 훈련 비용(ViT-B/8은 매우 고비용)과 소규모 데이터셋 일반화 여부는 미검증이다. 열린 질문으로는 이 창발적 분할 능력이 스케일에 따라 어떻게 변화하는지, 그리고 생성적 접근(MAE)과 증류적 접근(DINO)이 서로 보완될 수 있는지가 남아 있다.

---

섹션별 요약

Abstract

DINO (Self-Distillation with No Labels)는 Vision Transformer (ViT)에 자기지도학습(self-supervised learning)을 적용했을 때 나타나는 새로운 창발적 속성(emergent properties)을 탐구한다. 핵심 관찰은 두 가지다. 첫째, 자기지도로 학습된 ViT의 self-attention 맵이 별도의 지도 신호 없이도 이미지의 의미론적 분할(semantic segmentation) 정보를 명시적으로 포함한다 — 이는 지도학습(supervised) ViT나 합성곱 신경망(convnet)에서는 나타나지 않는 현상이다. 둘째, 이 특징(feature)들은 파인튜닝(finetuning) 없이도 탁월한 k-최근접이웃(k-NN) 분류기로 작동하여, 소형 ViT만으로 ImageNet top-1 78.3%를 달성한다. 이 관찰들을 바탕으로, 저자들은 레이블 없는 자기증류(self-distillation without labels) 형태로 해석되는 DINO 프레임워크를 제안한다. DINO는 모멘텀 인코더, 멀티크롭 훈련, 소형 패치 사용을 핵심 구성 요소로 하며, ViT-Base로 ImageNet 선형 평가 80.1% top-1을 달성한다.

저자 contribution

• 자기지도학습된 ViT가 supervision 없이 의미론적 장면 분할 정보를 self-attention 맵에 명시적으로 인코딩함을 최초로 실증 (창발적 속성)
• 레이블 없는 자기증류(DINO) 프레임워크 제안 — predictor, batch normalization, 대조 손실(contrastive loss), 클러스터링 없이 붕괴(collapse) 방지
• 모멘텀 인코더 + 멀티크롭 + 소형 패치의 조합이 ViT 자기지도학습에서 결정적임을 체계적 ablation으로 규명
• k-NN 분류 성능 대폭 향상 (ViT-S/16 기준 vs BYOL: linear +3.5%, k-NN +7.9%); PASCAL VOC 분할에서 지도 ViT 대비 Jaccard 거의 2배 (45.9 vs 23.7)

왜 이 연구를 하는가?

관찰된 이론적 공백: NLP에서 Transformer + 자기지도학습의 결합(BERT/GPT)은 모델에 질적으로 새로운 능력을 부여했다. 그러나 비전 도메인에서는 ViT가 지도학습 조건에서 convnet 대비 명확한 우위를 보이지 못했고, 자기지도 ViT가 convnet 자기지도 방법(BYOL, SwAV 등)보다 본질적으로 우월한지 불분명했다.

핵심 가설: 감독(supervision)의 종류 자체가 표현의 질적 속성을 결정짓는 제한 요인(limiting factor)일 수 있다 — 즉, 레이블 기반 지도학습은 ViT가 가진 아키텍처적 잠재력(전역 어텐션 메커니즘)을 충분히 발현시키지 못한다.

실용적 동기: 만약 자기지도 ViT 특징이 분할·검색·비디오 이해 등 다양한 다운스트림 태스크에서 레이블 없이 직접 활용 가능하다면, 대규모 비레이블 이미지 데이터를 활용한 범용 비전 표현 학습 경로가 열린다. 이는 “비전에서의 BERT”라는 장기 목표와 직결된다.

Introduction

컴퓨터 비전에서 Transformer 아키텍처(ViT)는 충분한 데이터가 주어지면 convnet을 능가하는 잠재력을 보였으나, 지도학습 조건에서는 convnet 대비 명확한 질적 우위가 나타나지 않았다. 한편 NLP에서는 BERT, GPT 등 자기지도 사전학습이 Transformer 모델에 근본적 능력을 부여한 핵심 요인으로 알려져 있다.

저자들은 이 간극을 출발점으로 삼아 다음 질문을 제기한다: 자기지도학습은 ViT에 지도학습이나 convnet에서는 나타나지 않는 고유한 속성을 부여하는가?

실험적 탐구 결과 두 가지 창발적 속성이 발견되었다.

1. 의미론적 분할의 명시적 인코딩: 자기지도 ViT의 마지막 블록에서 추출한 [CLS] 토큰의 self-attention 맵이, 별도의 픽셀 수준 레이블이나 후처리(post-hoc) 없이도 객체 경계와 장면 레이아웃을 명확히 포착한다. 동일한 현상이 지도학습 ViT나 convnet SSL에서는 관찰되지 않는다.
2. 파인튜닝 없는 k-NN 분류 우수성: 선형 헤드, 파인튜닝, 추가 증강 없이 순수 특징 비교만으로 ImageNet top-1 78.3%를 달성한다. 이는 특징 공간이 의미론적으로 고도로 구조화되어 있음을 시사한다.

이 발견들을 체계화하여 저자들은 **DINO(self-DIstillation with No labels)**를 제안한다. DINO는 모멘텀 교사와 학생 네트워크 간 지식 증류 구조를 취하되, 레이블이나 명시적 부정 쌍(negative pair) 없이도 표현 붕괴를 방지하는 메커니즘(centering + sharpening)을 갖춘다.

Methods

전체 구조

DINO는 학생(student) 네트워크 $g_{{\theta }_s}$와 교사(teacher) 네트워크 $g_{{\theta }_t}$로 구성된 지식 증류 프레임워크다. 두 네트워크는 동일한 아키텍처를 공유하며, 백본(ViT 또는 ResNet) 위에 투사 헤드(projection head) $h$를 붙인 구조다.

• 투사 헤드: 3층 MLP (은닉 2048차원, ${\ell }_2$-norm 병목), 가중치 정규화 FC로 $K$차원 출력. 다운스트림에서는 백본 출력만 사용. ViT 구현은 배치 정규화 없음.

손실 함수

교사와 학생의 출력 분포 간 교차 엔트로피를 최소화한다:

${\min }_{{\theta }_s}H(P_t(x),P_s(x))=-P_t(x)\log P_s(x)$

• 학생 온도 ${\tau }_s$: 소프트맥스 적용 시 사용
• 교사 출력: 소프트맥스 전 센터링 적용 후, 낮은 온도 ${\tau }_t$ (0.04→0.07 워밍업)로 샤프닝
• 기울기는 학생만 통해 흐르고 교사에는 stop-gradient 적용

교사 네트워크 업데이트: EMA

${\theta }_t\leftarrow \lambda {\theta }_t+(1-\lambda ){\theta }_s$
$\lambda$는 코사인 스케줄에 따라 0.996 → 1.0으로 증가 (Polyak-Ruppert 평균). 교사를 학생의 암묵적 앙상블로 동작하게 하며, 훈련 전반에 걸쳐 교사가 학생보다 일관되게 높은 성능을 유지하는 선순환을 만든다.

멀티크롭 전략 (Multi-Crop)

• 전역 크롭(global crop): 원본의 ≥50% 면적, 224² × 2 → 학생·교사 모두 통과
• 지역 크롭(local crop): <50% 면적, 96² × 여러 장 → 학생만 통과
• 지역-전역 대응(local-to-global correspondence)을 강제하여 다중 스케일 일관성 학습

붕괴 방지 메커니즘 (Collapse Prevention)

predictor, batch normalization, 대조 손실, 클러스터링 없이 붕괴를 방지한다:

메커니즘	방식	방지하는 붕괴	허용하는 붕괴
센터링	교사 출력에서 배치 평균을 빼는 편향 항 $C$	단일 차원 지배	균일 붕괴
샤프닝	낮은 온도 ${\tau }_t$로 교사 분포를 날카롭게	균일 붕괴	단일 차원 붕괴
둘의 조합	상호 보완적 균형	두 붕괴 유형 모두	—

발견 (Findings)

핵심 발견 1 — 자기지도가 ViT에 의미론적 구조를 부여한다: DINO ViT의 [CLS] 토큰 self-attention 맵은 추가 분할 훈련 없이도 객체 경계와 장면 구조를 명시적으로 포착한다. PASCAL VOC Jaccard 45.9 vs 지도학습 23.7은 단순 성능 향상이 아닌 표현의 질적 변화를 보여준다.

핵심 발견 2 — k-NN 우수성은 표현 구조의 질을 반영한다: 선형 평가가 선형 분리 가능성을 측정한다면 k-NN은 지역적 거리 구조를 측정한다. DINO가 두 지표 모두에서 크게 앞서는 것은 특징 공간 전체의 기하학적 구조가 의미론적으로 정렬되어 있음을 시사한다.

핵심 발견 3 — 모멘텀 인코더가 가장 결정적이다: 모멘텀 인코더 제거 시 k-NN이 0.1%로 붕괴한다. 교사 네트워크의 안정성이 고품질 타겟 생성과 붕괴 방지 모두에 필수적임을 보여준다.

핵심 발견 4 — 붕괴 방지는 centering과 sharpening의 상호보완으로 달성된다: 각각이 서로 다른 붕괴 유형을 방지하면서 서로 다른 유형을 허용하는 구조가 균형 체계를 형성한다.

Results

ImageNet 표현 평가

모델	패치	선형 (Linear)	k-NN
DINO ViT-S	/16	77.0%	74.5%
DINO ViT-B	/16	78.2%	76.1%
DINO ViT-S	/8	79.7%	78.3%
DINO ViT-B	/8	80.1%	77.4%
DINO ResNet-50	—	75.3%	67.5%
Supervised ViT-S	/16	~79.8%	—

DINO ViT-S/16은 BYOL 대비 선형 +3.5%, k-NN +7.9% 우위. ResNet-50 결과는 SwAV/BYOL과 동등 수준.

의미론적 분할 (attention 기반, PASCAL VOC12)

• DINO ViT-S/8: Jaccard 45.9 vs Supervised ViT-S/8 23.7 (거의 2배)

비디오 객체 분할 (DAVIS-2017, frozen features)

• DINO ViT-B/8: 평균 영역 유사도 71.4%

이미지 검색

태스크	DINO	Supervised
Oxford/Paris (revisited, medium)	41.8 mAP	33.5
Google Landmarks v2	51.5 mAP	—
복사본 탐지 (Copydays)	85.5 (ViT-B/8)	76.4

파인튜닝 전이 (ViT-B/16, SSL이 지도학습 대비 우위)

CIFAR-100 +0.9%, iNat19 +0.4%, Cars +0.9%, ImageNet +1.6%

제거 실험 (Ablation)

• 모멘텀 인코더 제거: k-NN 0.1% (완전 붕괴) — 필수
• 멀티크롭 제거: k-NN -4.7%
• 손실: MSE 대비 Cross-Entropy +20.2 k-NN
• predictor: 유무 차이 +1.0% (미미)
• 패치 16→8: 대폭 향상, 처리량 감소
• 센터링만: 균일 붕괴 / 샤프닝만: 단일 차원 붕괴 / 둘 조합: 안정

효율성

ViT-S/16, 2×224²+10×96²: 선형 76.1%, 두 개의 8-GPU 서버 72.6시간, 최대 메모리 15.4GB. 배치 128에서도 100ep k-NN 57.9% 동작.

Discussion

모멘텀 교사의 해석: 암묵적 앙상블

EMA 업데이트는 교사를 학생 체크포인트들의 암묵적 앙상블로 만들며, 교사가 훈련 전반에 걸쳐 학생보다 높은 성능을 유지한다. 교사가 더 나은 타겟을 제공하고 학생이 이를 추격하면서 더 좋은 교사를 만드는 선순환을 형성한다. 이는 MoCo의 모멘텀 인코더(부정 쌍 키 메모리)와 본질적으로 구별된다.

의미론적 정보의 위치: Self-Attention의 역할

convnet 기반 SSL과 달리, DINO ViT에서는 의미론적 분할 정보를 후처리 없이 self-attention 맵에서 직접 읽어낼 수 있다. ViT의 전역 어텐션과 자기지도 목표(local-to-global 일관성)의 결합이 어텐션 헤드를 의미론적 영역에 선택적으로 집중하도록 강제하기 때문으로 해석된다.

이론적 의의

DINO는 자기지도학습이 단순히 지도학습의 레이블-효율적 대안이 아니라, 아키텍처의 질적으로 다른 속성을 활성화하는 학습 패러다임임을 실증한다. 지도학습으로 발현되지 않는 의미론적 분할 능력이 자기지도학습에서 창발한다는 발견은 학습 목표가 표현의 구조적 속성을 결정하는 방식에 대한 이론적 이해를 요구한다. 레이블 없는 지식 증류가 predictor/BN/contrastive 없이 가능하다는 단순성은 SSL 설계 공간에 새로운 관점을 제공한다. DINO는 이후 DINOv2(2023), Segment Anything(SAM, 2023) 등 대규모 비전 파운데이션 모델의 직접적 선행 연구로 자리잡았다.

Discussion Points

• 논쟁점 1 — 창발적 분할의 원인: 분할 능력이 ViT 아키텍처에서 기인하는지, 자기지도 목표에서 기인하는지, 둘의 결합에서 기인하는지 완전히 분리되지 않는다. 지도 ViT와의 비교만으로는 “SSL 효과”와 “멀티크롭/모멘텀 효과”를 분리하기 어렵다.
• 논쟁점 2 — k-NN 우수성의 일반성: ImageNet에서의 우수성이 분포 이동이나 fine-grained 인식에서도 유지되는지 추가 검증 필요.
• 검증 필요 가정: (1) 교사>학생이 표현 품질 향상의 원인인지 결과인지 명확하지 않음(모멘텀 제거 시 붕괴가 강하게 지지하나 이론 분석 부재). (2) centering·sharpening이 독립적으로 작용한다는 해석의 엄밀성.
• 후속 연구: (1) 비큐레이션 대규모 데이터 확장 시 분할 창발 유지 여부(DINOv2에서 부분 검증), (2) self-attention 맵과 인간 시각 saliency의 일치도(인지과학/해석가능성), (3) centering+sharpening 안정성의 수렴 보장.

---

실험 결과 상세

ImageNet Linear / k-NN

Model/Method	Metric	Score	vs. Baseline
DINO ViT-B/8	Linear Top-1 (%)	80.1	—
DINO ViT-S/8	Linear Top-1 (%)	79.7	—
DINO ViT-B/16	Linear Top-1 (%)	78.2	—
DINO ViT-S/16	Linear Top-1 (%)	77.0	vs BYOL +3.5pp
DINO ResNet-50	Linear Top-1 (%)	75.3	SwAV/BYOL 동등
Supervised ViT-S/16	Linear Top-1 (%)	~79.8	기준
DINO ViT-S/8	k-NN Top-1 (%)	78.3	—
DINO ViT-B/8	k-NN Top-1 (%)	77.4	—
DINO ViT-S/16	k-NN Top-1 (%)	74.5	vs BYOL +7.9pp
DINO ResNet-50	k-NN Top-1 (%)	67.5	—

Segmentation / Video / Retrieval

Model/Method	Dataset	Metric	Score	vs. Baseline
DINO ViT-S/8 (attention)	PASCAL VOC12	Jaccard (%)	45.9	+22.2pp vs supervised
Supervised ViT-S/8	PASCAL VOC12	Jaccard (%)	23.7	기준
DINO ViT-B/8 (frozen)	DAVIS-2017	Mean Region Sim. (%)	71.4	—
DINO ViT-B/16	Oxford/Paris (medium)	mAP (%)	41.8	+8.3pp vs supervised
DINO	Google Landmarks v2	mAP (%)	51.5	—
DINO ViT-B/8	Copydays	Copy Detection mAP (%)	85.5	+9.1pp vs supervised

Ablation (ViT-S/16, k-NN)

설정	k-NN Top-1 (%)	vs. 기준
DINO 전체	74.5	기준
w/o Momentum (EMA 제거)	0.1	-74.4pp (collapse)
w/o Multi-Crop	~69.8	-4.7pp
MSE Loss (CE 대신)	~54.3	-20.2pp
+ Predictor	~75.5	+1.0pp

프레임워크 다이어그램

graph TB
    Input["입력 이미지 (ImageNet)"]
    MC["Multi-Crop 생성"]
    GC["Global Crops x2 (224x224)"]
    LC["Local Crops xN (96x96)"]
    Student["Student Network (ViT + MLP Head)"]
    Teacher["Teacher Network (ViT + MLP Head, stop-grad)"]
    SOut["Student Softmax (temp tau_s)"]
    TOut["Teacher Output: Centering + Sharpening (temp tau_t)"]
    Loss["Cross-Entropy Loss H(teacher, student)"]
    BP["Gradient Backprop -> Student 갱신"]
    EMA["EMA Update (lambda 0.996->1.0) -> Teacher 갱신"]

    Input --> MC
    MC --> GC
    MC --> LC
    GC --> Student
    LC --> Student
    GC --> Teacher
    Student --> SOut
    Teacher --> TOut
    SOut --> Loss
    TOut --> Loss
    Loss --> BP
    BP --> EMA
    EMA --> Teacher

    style Teacher fill:#e8a838,color:#fff
    style Student fill:#4a90d9,color:#fff
    style Loss fill:#e05c5c,color:#fff

재현성 및 신뢰도 평가

항목	등급	비고
코드 공개	✅	https://github.com/facebookresearch/dino — 전체 학습 코드, ViT/ResNet backbone 포함
데이터 공개	✅	ImageNet-1K, PASCAL VOC12, DAVIS-2017 모두 표준 공개 데이터셋
하이퍼파라미터	✅	EMA λ 스케줄(0.996→1.0), 온도(teacher/student), crop 크기, 에폭 수 명시
실험 환경	✅	ViT-S/16 2×8-GPU 72.6h, peak 15.4GB 명시; PyTorch
통계적 신뢰도	⚠️	단일 run; 표준편차/신뢰구간 미제시; ablation 단일 seed 추정
종합 등급	A	코드·데이터·하이퍼파라미터 완전 공개; 통계적 반복실험 부재만 감점

주장별 신뢰도

#	주장	근거	신뢰도
1	self-attention이 레이블 없이 의미론적 분할 인코딩	VOC12 Jaccard 45.9 vs 23.7; attention 시각화	🟢
2	k-NN으로 지도학습에 버금가는 성능	ViT-S/8 k-NN 78.3% vs supervised ViT-S linear ~79.8%	🟢
3	Momentum encoder가 collapse 방지 핵심	EMA 제거 시 k-NN 0.1% 붕괴	🟢
4	centering+sharpening만으로 collapse 방지(predictor/BN 불필요)	단독 시 각각 붕괴, 조합 시 정상	🟡
5	DINO feature가 retrieval에서 supervised 능가	Oxford/Paris 41.8 vs 33.5, Copydays 85.5 vs 76.4	🟢
6	Multi-crop이 유의미 기여	제거 시 -4.7pp	🟡

읽기 난이도: ⭐⭐⭐

Knowledge distillation(teacher-student), ViT 구조 및 attention, SSL 전반(BYOL/SimCLR/MoCo)에 대한 배경이 필요. Collapse 방지(centering vs sharpening)는 직관과 반대되는 결과를 포함하므로 주의 깊은 읽기 요구. SSL 논문 2-3편 이상 읽은 독자에 적합.

관련 연구 비교 매트릭스

선정 근거: ViT를 backbone으로 삼는 기반 연구(ViT, BYOL, SwAV)와 동시대 ViT-SSL 경쟁자(MoCo v3), 대조적 패러다임인 생성형 SSL(MAE)을 포함해 DINO의 설계 선택(self-distillation, centering+sharpening, multi-crop)이 각 계보에서 무엇을 계승·차별화하는지 비교한다.

축	DINO (본 논문)	ViT [base]	BYOL [base/alt]	SwAV [base/alt]	MoCo v3 [sota/alt]	MAE [alt]
SSL 패러다임	Self-distillation(판별적); EMA 교사→학생 CE	Supervised(SSL 아님; patch tokenization 제공)	비대조 증류; online→target(EMA) MSE	online clustering + swapped prediction	Contrastive(InfoNCE) + momentum	생성/재구성; masked patch 복원
Collapse 방지	Centering + Sharpening; stop-grad	해당 없음	Predictor MLP + stop-grad	Prototype + Sinkhorn-Knopp	InfoNCE negatives; stop-grad	재구성 손실(붕괴 위험 낮음)
핵심 신호/Loss	softmax 분포에 대한 CE + multi-crop	supervised CE	normalized embedding MSE	swapped cluster assignment CE	InfoNCE	마스킹 패치 pixel MSE
창발 속성	attention map이 unsupervised 분할; 강한 k-NN	SSL 창발성 없음	보고 없음	multi-crop 도입; cluster 의미 구조	gradient spike 완화법; 창발 분할 없음	fine-tune 강/linear 약
IN Linear / k-NN	ViT-B 80.1% / 78.3%	(supervised)	RN50 74.3% / —	RN50 75.3% / —	ViT-B 76.7% / —	ViT-B 68.0% linear(FT 83.1%)
효율/확장성	multi-crop 추가 비용; EMA는 grad 불필요	대규모 데이터 필수; O(res²)	predictor 경량; negative 불필요	multi-crop 원조	gradient spike로 튜닝 민감	75% 마스킹으로 인코더 입력 1/4
코드 공개	✅	✅	✅	✅	✅	✅

주의: BYOL/SwAV linear는 ResNet-50 기반, DINO는 ViT-B 기반이라 backbone 차이를 감안해 비교해야 함. MAE의 낮은 linear(68.0%)는 붕괴가 아니라 pixel-level 재구성이 low-level 특화를 유도하기 때문(FT 83.1%와의 괴리가 패러다임 차이를 가장 잘 드러냄).

---

원자적 인사이트 (Zettelkasten)

💡 센터링과 샤프닝의 상호 견제가 레이블 없는 자기증류를 가능하게 한다

출처: 본 논문 (Caron et al., 2021) — 유형: 방법론적

자기증류의 붕괴는 두 방향(단일차원 붕괴, 균등 붕괴)으로 발생한다. DINO는 교사 출력에 센터링(한 차원 지배 억제)과 샤프닝(낮은 온도로 분포를 날카롭게)을 동시에 적용해 두 방향을 상쇄한다. 덕분에 predictor, BN, 대조 네거티브 없이 안정 훈련이 가능하다.
핵심 조건: EMA 모멘텀 교사(λ=0.996→1.0)와 함께 사용. 모멘텀 제거 시 k-NN 0.1%로 완전 붕괴.
연결: MAE, BYOL

💡 ViT의 자기주의 맵에서 나타나는 창발적 분할은 자기지도 학습 고유의 현상이다

출처: 본 논문 (Caron et al., 2021) — 유형: 실험적

DINO ViT의 [CLS] 토큰 자기주의 맵은 픽셀 레이블 없이도 객체 경계를 분리한다(VOC Jaccard 45.9 vs 지도 23.7). 같은 아키텍처를 지도 방식으로 훈련하거나 CNN을 자기지도로 훈련해도 나타나지 않아, ViT 아키텍처와 자기지도 학습의 결합에서만 발생한다.
핵심 조건: ViT-S/8(작은 패치)일수록 공간 해상도가 높아 분할 품질 향상. 파인튜닝 없이 관찰.
연결: ViT, I-JEPA

💡 자기지도 ViT의 k-NN 성능은 선형 분리성을 넘는 기하 구조를 함의한다

출처: 본 논문 (Caron et al., 2021) — 유형: 이론적

k-NN은 선형 프로브보다 강한 조건(동일 클래스 샘플의 지역적 밀집)을 요구한다. DINO ViT-S/8의 k-NN 78.3%는 표현이 글로벌 선형 분리를 넘어 지역적으로도 의미론적으로 조직화되어 있음을 의미한다. MAE(생성적, linear 강/k-NN 약)와 대비되며, 증류 방식이 판별적 구조를 강하게 유도함을 보여준다.
연결: MAE, I-JEPA

핵심 용어 정리

용어	정의
자기증류 (self-distillation)	교사가 외부 감독 없이 학생 자신의 이동평균으로 구성되는 지식 증류. DINO에서 교사가 레이블 대신 신호 역할.
모멘텀 인코더 (momentum encoder / EMA teacher)	학생의 EMA(λ=0.996→1.0)로 갱신되는 교사. 역전파로 직접 훈련되지 않으며 안정적 타겟을 제공(암묵적 앙상블).
센터링 (centering)	교사 출력에서 배치 평균을 빼는 연산. 단일차원 붕괴 방지.
샤프닝 (sharpening)	교사 소프트맥스에 낮은 온도를 적용해 분포를 뾰족하게. 균등 붕괴 방지.
표현 붕괴 (representation collapse)	모든 입력에 동일/trivial 표현을 출력하는 실패 모드.
멀티-크롭 (multi-crop)	전역 뷰 2개(교사·학생) + 지역 뷰 여러 개(학생만)로 로컬→글로벌 일관성 학습. k-NN +4.7%p.
k-NN 평가	파인튜닝 없이 특징 공간 최근접 이웃으로 분류. 표현의 지역적 기하 구조를 반영.
창발적 분할 (emergent segmentation)	DINO ViT의 자기주의 맵이 분할 레이블 없이 객체 경계를 포착하는 현상. 지도 ViT/CNN에서는 없음.
[CLS] 토큰	시퀀스 첫 위치의 특수 토큰으로 전체 집계 표현을 학습. 이 토큰의 자기주의가 분할 맵을 형성.

관련 연구

• ViT — DINO의 백본. ViT를 지도 없이 훈련했을 때 창발하는 속성을 탐구한 것이 핵심 기여.
• MAE — 생성적(재구성) SSL의 대표. DINO(판별적 증류)와 대비(선형 약/FT 강 vs 선형 강/k-NN 강).
• I-JEPA — 잠재 공간 결합 임베딩 예측으로 비대조 결합 임베딩 계보를 잇는 후속 연구.
• BYOL — 예측 헤드 + 모멘텀 교사 기반 비대조 SSL의 선행. DINO는 예측 헤드를 제거하고 centering+sharpening으로 대체한 구조로 볼 수 있음.
• SwAV — 클러스터링 기반 SSL. 멀티크롭 전략의 원조.

태그

paper #2021 self-supervised-learning self-distillation vision-transformer momentum-encoder emergent-properties representation-learning image-recognition

---

BibTeX

@inproceedings{caron2021,
  title     = {Emerging Properties in Self-Supervised Vision Transformers},
  author    = {Caron, Mathilde and Touvron, Hugo and Misra, Ishan and J{\'e}gou, Herv{\'e} and Mairal, Julien and Bojanowski, Piotr and Joulin, Armand},
  booktitle = {Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV)},
  year      = {2021},
  url       = {https://arxiv.org/abs/2104.14294},
  eprint    = {2104.14294},
  archivePrefix = {arXiv}
}