결합 임베딩 예측 아키텍처를 이용한 이미지 자기지도 학습 (I-JEPA)

Digest: 컴퓨터 비전에서 자기지도 학습(SSL, Self-Supervised Learning)은 크게 두 진영으로 나뉜다: DINO처럼 수작업 데이터 증강(augmentation)으로 동일 이미지의 두 뷰가 비슷한 표현을 갖도록 강제하는 불변성 기반(invariance-based) 방법과, MAE처럼 마스킹된 픽셀을 직접 복원하는 생성적(generative) 방법이다. 전자는 의미론적으로 풍부하지만 증강 선택에 편향되고 다른 모달리티로 옮기기 어렵고, 후자는 범용적이지만 픽셀 단위 복원에 계산을 낭비해 의미론적 품질이 낮다. I-JEPA(Image Joint-Embedding Predictive Architecture)는 Yann LeCun이 제안한 JEPA(Joint-Embedding Predictive Architecture, 두 입력의 추상 표현을 결합-예측하는 아키텍처 개념) 아이디어를 이미지 도메인에서 처음으로 구체화해 이 간극을 해소한다. 핵심 인사이트는 픽셀이 아닌 표현 공간(representation space)에서 예측한다는 것이다: 같은 이미지의 하나의 문맥 블록(context block)으로부터 여러 타깃 블록의 추상 표현을 예측하도록 학습시키면, 모델이 불필요한 픽셀 세부사항을 무시하고 의미 있는 구조를 포착하도록 자연스럽게 유도된다. 구조적으로 컨텍스트 인코더(context encoder, 보이는 영역을 ViT로 인코딩)와 EMA(Exponential Moving Average) 타깃 인코더(컨텍스트 인코더의 지수이동평균 가중치 복사본, 표현 붕괴 방지용)와 좁은 예측기(predictor ViT, 차원 384, 위치 마스크 토큰 포함)의 세 네트워크가 상호작용하며, 손실은 표현 공간의 L2 거리다. 다중 블록 마스킹(multi-block masking) 전략(스케일 0.85-1.0의 넓은 컨텍스트에서 스케일 0.15-0.2의 4개 타깃 블록을 예측)이 단일 블록 대비 절대 34%p(54.2% vs 20.2%) 성능 향상을 가져오고, 표현 공간 예측이 픽셀 공간 대비 절대 26.2%p(66.9% vs 40.7%) 우위를 보인다(둘 다 1% ImageNet 기준). 결과적으로 ViT-H/14로 선형 탐침(linear probe) 79.3%, 448 해상도에서 81.1%를 달성해 MAE ViT-H/14 77.2%를 약 10배 적은 계산으로 넘어서고 iBOT 81.0%에 근접하며(Table 1), 1% ImageNet 준지도(semi-supervised) 설정에서 77.3%로 MSN·DINO·iBOT을 모두 상회한다. 증강을 쓰지 않기 때문에 공간 정보가 보존되어 저수준 시각 과제인 Clevr 깊이 추정에서 72.4%로 DINO 53.4%를 크게 앞선다(Table 3). 한계로는 EMA 타깃 인코더를 쓰는 이유(붕괴 방지 메커니즘)에 대한 이론적 설명이 부족하고, 사전학습이 16 A100 72시간 미만이라 해도 소규모 연구자에게는 접근이 어려우며, iNat18 같은 세밀 분류에서는 증강 기반 방법에 소폭 뒤진다는 점이 있다. 열린 질문으로는 JEPA 예측기가 학습하는 표현이 다운스트림 과제(특히 추론·계획)에서 어떤 구조적 성질을 갖는지, 그리고 표현 공간 예측이 비전 너머 멀티모달·로봇 도메인에서 같은 이점을 보이는지가 남아 있다.

섹션별 요약

Abstract

**I-JEPA (Image Joint-Embedding Predictive Architecture)**는 Meta AI / FAIR, McGill, Mila의 Assran 등이 CVPR 2023에서 제안한 비생성적(non-generative) 자기지도학습(SSL) 방법이다. 핵심 아이디어는 단일 컨텍스트 블록(context block)으로부터 동일 이미지 내 여러 타겟 블록(target block)의 표현(representation)을 예측하는 것이다. 이때 예측 대상은 픽셀이나 토큰이 아니라 **타겟 인코더(target encoder)가 생성한 추상 표현 공간(abstract representation space)**이다. 주요 설계는 여러 개의 크고 의미론적인 타겟 블록을 예측하는 마스킹 전략, 공간적으로 분산된 충분한 정보량의 컨텍스트 블록, 그리고 손으로 설계된 데이터 증강 없음이다. ViT 기반으로 확장성이 높으며 ViT-Huge/14가 ImageNet에서 16개 A100 GPU로 72시간 이내에 학습된다. 선형 분류, 객체 수 세기, 깊이 예측 등 다양한 다운스트림에서 강력한 성능을 보인다.

저자 contribution

픽셀/토큰 재구성 없이 추상 표현 공간에서 예측하는 새로운 SSL 패러다임 제시 (I-JEPA)
손으로 설계된 데이터 증강 없이도 의미론적 표현을 학습하는 방법 확립
다중 타겟 블록(multi-block) 마스킹 전략으로 의미론적 예측 과제 난이도를 적절히 조절
ViT-H/14 기준 MAE 대비 약 10배 계산 효율 개선, iBOT 대비 2.5배 빠른 학습 달성
의미론적 태스크와 저수준 공간(low-level spatial) 태스크 모두에서 경쟁력 있는 성능 동시 달성

왜 이 연구를 하는가?

근본 문제: 기존 SSL의 두 계열은 상호 보완적 트레이드오프를 가진다. 불변성 기반 방법은 의미론적 품질이 높지만 모달리티 특화 증강 편향을 주입하며, 생성적 방법은 범용적이지만 의미론적 표현 품질이 낮다.

갭(gap): 픽셀 공간에서 예측하면 지각적으로 무의미한 저수준 세부 정보(텍스처, 노이즈)에 모델 용량이 낭비되어 고수준 의미론적 표현이 부족해진다. 반면 손으로 설계된 증강을 사용하면 이미지 이외의 도메인으로의 일반화가 어렵다.

가설: 예측 목표(prediction target)를 픽셀/토큰 공간이 아닌 추상 표현 공간으로 설정하면, 증강 없이도 의미론적으로 풍부한 표현을 학습할 수 있다. 이 방향이 성공한다면 이미지를 넘어 오디오·비디오·멀티모달 등 모달리티에 구애받지 않는 범용 SSL을 구축할 수 있으며, LeCun의 World Model 비전과 맞닿은 JEPA 프레임워크의 이미지 도메인 구현체로서 의미를 갖는다.

Introduction

자기지도학습(SSL)은 라벨 없는 데이터로부터 유용한 표현을 학습하는 방법론으로, 기존에는 크게 두 계열로 나뉜다.

(1) 불변성 기반 방법 (Invariance-based): SimCLR, DINO, iBOT 등. 여러 손으로 설계된 증강 뷰(크롭, 색상 지터 등)를 만들고 그 임베딩이 유사해지도록 학습한다. 의미론적 표현 품질과 선형 프로브 성능은 우수하나, 강한 태스크 특화 귀납적 편향을 주입하며 다른 모달리티/추상화 수준으로 일반화하기 어렵다.

(2) 생성적/마스크 제거 방법 (Generative/mask-denoising): MAE, BEiT, data2vec 등. 입력을 제거·손상시킨 후 원본을 예측한다. 사전 지식이 적게 필요하고 모달리티 범용성이 있으나, 픽셀/토큰 재구성이 지각적으로 무의미한 세부 정보에 용량을 낭비해 의미론적 표현 품질이 낮고 선형 프로브·전이 성능이 불변성 기반에 뒤처진다.

핵심 질문: 두 방법의 장점을 결합할 수 있는가? 저자들은 예측 대상을 **추상 표현 공간(latent space)**으로 옮기면 증강 없이도(생성적 방법의 범용성) 높은 의미론적 품질(불변성 방법의 품질)을 동시에 얻을 수 있다고 주장한다. MAE는 픽셀을 재구성하지만, I-JEPA는 타겟 인코더의 출력 즉 추상적 특징을 예측한다 — 이 차이가 의미론적 품질과 계산 효율 양쪽에서 결정적이다.

Methods

세 가지 네트워크 구성요소

1. 컨텍스트 인코더 (Context Encoder): ViT 기반. 마스킹 후 남은 가시 컨텍스트 패치를 입력받아 표현을 생성. 역전파로 직접 학습.

2. 타겟 인코더 (Target Encoder): 컨텍스트 인코더의 EMA(Exponential Moving Average) 가중치로 유지. 전체 이미지를 입력받아 타겟 블록 표현을 생성. 표현 붕괴(representation collapse)를 방지하는 핵심 메커니즘이며 역전파로 직접 업데이트되지 않음.

3. 예측기 (Predictor): 좁은 ViT (고정 임베딩 차원 384). 컨텍스트 인코더 출력 + 위치적 마스크 토큰(예측할 타겟 위치)을 입력받아 각 타겟 블록 위치의 표현을 예측.

다중 블록 마스킹 전략 (Multi-block Masking)

타겟 블록: 4개 샘플링. 스케일 0.15~~0.2(상대적으로 크고 의미론적), 종횡비 0.75~~1.5.
컨텍스트 블록: 1개. 스케일 0.85~1.0(이미지 대부분, 공간적으로 분산), 단위 종횡비. 타겟 블록과 겹치는 영역을 제거하여 비자명한 예측 과제 생성.

학습 목표

$L = \frac{1}{∣ T ∣} \sum_{y \in T} ∥ \overset{s}{^}_{y} - s_{y} ∥_{2}^{2}$

$s_{y}$ : 타겟 인코더가 생성한 타겟 블록 y의 표현(패치 단위)
$\overset{s}{^}_{y}$ : 예측기가 생성한 예측 표현
손실 = 예측과 타겟 표현 사이 L2 거리의 평균

핵심 설계 원칙

타겟은 픽셀이 아닌 추상 표현 → 의미론적 예측 과제. EMA 타겟 인코더 → 붕괴 없이 안정적 학습(BYOL/data2vec과 유사). 손으로 설계된 증강 전혀 없음 → 단일 이미지 뷰만 처리. 예측기가 위치 마스크 토큰으로 어디를 예측할지 조건화.

발견 (Findings)

핵심 발견 1: 예측 공간이 결정적이다 — 픽셀 공간 예측(40.7%)과 표현 공간 예측(66.9%)의 26.2%p 격차(1% ImageNet)는 예측 목표의 추상화 수준이 SSL 표현 품질의 핵심 결정 인자임을 보여준다.

핵심 발견 2: 마스킹 전략이 과제 난이도를 조절한다 — 단일 블록(20.2%)과 다중 블록(54.2%)의 34%p 격차는 예측 과제의 구조가 표현 품질을 직접 결정함을 시사한다. 너무 쉬운 지역적 예측은 의미론적 표현을 유도하지 못한다.

핵심 발견 3: 의미론적-공간적 표현의 동시 학습 — 증강 편향 없이 의미론적 태스크(CIFAR-100, Places205)와 저수준 공간 태스크(깊이 예측) 모두 경쟁력. 특히 깊이 예측에서 DINO 대비 +19%p는 불변성 기반 방법이 증강으로 공간 정보를 체계적으로 잃음을 시사한다.

핵심 발견 4: 계산 효율과 성능의 동시 달성 — MAE 대비 10배, iBOT 대비 2.5배 효율과 함께 더 높은 성능은 추상 표현 공간 예측의 학습 신호 품질이 픽셀 재구성보다 높음을 함의한다.

Results

ImageNet-1K 선형 프로브

모델	에포크	Top-1
I-JEPA ViT-B/16	600	72.9%
I-JEPA ViT-L/16	600	77.5%
I-JEPA ViT-H/14	300	79.3%
I-JEPA ViT-H/16 (448)	300	81.1%
MAE ViT-H/14 (비교)	1600	77.2%
iBOT ViT-L/16 (비교)	—	81.0%

MAE ViT-H/14(1600ep) 대비 약 4%p 높은 정확도를 약 10배 적은 계산으로 달성; iBOT과 경쟁력 있는 성능을 증강 없이 달성.

1% 레이블 준지도학습

모델	Top-1
I-JEPA ViT-H/14	73.3%
I-JEPA ViT-H/16@448	77.3%
MSN	75.7%
DINO	70.0%
iBOT	69.7%

더 적은 증강과 더 적은 계산으로 모든 비교 방법을 능가.

전이학습 선형 프로브 (ViT-H/14)

CIFAR-100 87.5%, Places205 58.4%, iNaturalist18 47.6% (의미론적 전이에서 DINO/iBOT과 경쟁력; iNat18 소폭 열세).

저수준 공간 태스크 (Clevr)

태스크	I-JEPA	DINO	iBOT
객체 수 세기	86.7%	86.6%	—
깊이 예측	72.4%	53.4%	62.8%

깊이 예측에서 DINO 대비 +19%p, iBOT 대비 +9.6%p 우위. 불변성 기반 방법의 증강 편향이 저수준 공간 태스크에 불리한 반면 I-JEPA는 증강 없이 의미론적+공간적 특징을 동시에 학습.

계산 효율

ViT-H/14 1200 GPU-시간 미만(iBOT ViT-S/16 대비 2.5배 빠름, MAE ViT-H/14 대비 10배 효율). 픽셀 재구성 대비 약 5배 적은 반복으로 수렴.

확장 & 절제 (1% ImageNet)

ImageNet-22K 사전학습: CIFAR-100 87.5% → 89.5%. Ablation: 표현 공간 66.9% vs 픽셀 공간 40.7%; 다중 블록 54.2% vs 단일 블록 20.2%.

Discussion

핵심 설계 선택의 중요성

(1) 표현 공간 예측: 픽셀 공간(40.7%)은 표현 공간(66.9%)에 크게 못 미친다. 픽셀 재구성은 지각적으로 무의미한 저수준 세부 정보에 용량을 낭비한다. (2) 다중 블록 마스킹: 단일(20.2%) vs 다중(54.2%)의 대규모 격차. 여러 크고 의미론적인 타겟 블록을 공간적으로 분산된 컨텍스트에서 예측하는 구조가 텍스처 복사 같은 단순 전략을 방지하고 고수준 의미론적 이해를 강제한다.

시각화를 통한 정성 분석

RCDM 디코더 시각화는 예측기가 위치적 불확실성을 포착하고, 올바른 자세의 고수준 객체 부위를 예측하며, 배경·저수준 세부 정보를 무시함을 보인다. I-JEPA가 단순 텍스처 통계가 아닌 구조적·의미론적 정보를 인코딩함을 시사한다.

이론적 의의

I-JEPA는 SSL의 두 주류 패러다임(불변성/생성)의 이분법을 추상 표현 공간에서의 예측이라는 단일 원리로 극복하려는 시도다. 예측 공간의 추상화 수준이 결정적 역할을 한다는 새로운 통찰을 제공하며, JEPA의 이미지 인스턴스화로서 LeCun이 제안한 에너지 기반 World Model의 구체적 실현 가능성을 실험적으로 입증한다. 이후 V-JEPA(비디오), MC-JEPA, IWM 등 JEPA 계열의 기반이 되며 표현 공간 예측을 SSL의 새로운 표준 패러다임으로 자리매김시킨다.

Discussion Points

논쟁점 1 — EMA 타겟 인코더의 역할: 붕괴를 방지하지만 BYOL/data2vec 메커니즘의 재사용인지 I-JEPA 고유 기여인지 불분명. 이론적 근거보다 실험적 효과에 의존.
논쟁점 2 — “증강 없음”의 엄밀한 의미: 강한 증강이 없을 뿐, 패치 분할·마스킹 자체도 일종의 구조적 사전(prior)이다. augmentation-free 주장의 범위를 엄밀히 정의할 필요.
논쟁점 3 — iNat18 열세: 세밀 분류에서 DINO/iBOT에 뒤지는 이유(크롭 기반 불변성의 이점인지 샘플링 차이인지)가 분석되지 않음.
검증 필요 가정: (1) 타겟 블록 수(4)·스케일(0.15~0.2)이 최적인지, 다른 도메인에서도 적합한지. (2) 표현 공간 예측의 우월성이 ViT 특화인지 CNN 등에서도 성립하는지.
후속 연구: (1) 비디오/오디오로의 V-JEPA/A-JEPA 확장(시간 차원 추가), (2) 타겟 인코더 없이 붕괴를 막는 대안(VICReg식 정규화 결합), (3) 예측기의 의미론적 추론 능력 계량화와 다운스트림 성능 연관 분석.

실험 결과 상세

ImageNet-1K Linear Probe

Model/Method	Metric	Score	vs. Baseline
I-JEPA ViT-H/16@448 (300ep)	Top-1 (%)	81.1	+0.1 vs iBOT ViT-L/16
I-JEPA ViT-H/14 (300ep)	Top-1 (%)	79.3	+2.1 vs MAE ViT-H/14
I-JEPA ViT-L/16 (600ep)	Top-1 (%)	77.5	—
I-JEPA ViT-B/16 (600ep)	Top-1 (%)	72.9	—
MAE ViT-H/14 (1600ep)	Top-1 (%)	77.2	-2.1 vs I-JEPA ViT-H/14
iBOT ViT-L/16	Top-1 (%)	81.0	-0.1 vs I-JEPA ViT-H/16@448

1% ImageNet Semi-Supervised

Model/Method	Top-1 (%)	vs. Baseline
I-JEPA ViT-H/16@448	77.3	+1.6 vs MSN
I-JEPA ViT-H/14	73.3	+3.3 vs DINO
MSN	75.7	—
DINO	70.0	—
iBOT	69.7	—

Low-Level (Clevr) & Ablation (1% ImageNet)

Model/Method	Metric	Score	vs. Baseline
I-JEPA ViT-H/14	Clevr Object Counting (%)	86.7	+0.1 vs DINO
I-JEPA ViT-H/14	Clevr Depth (%)	72.4	+19.0 vs DINO 53.4
iBOT	Clevr Depth (%)	62.8	-9.6 vs I-JEPA
표현 공간 예측 (I-JEPA)	1% IN Top-1 (%)	66.9	+26.2 vs pixel-space
픽셀 공간 예측	1% IN Top-1 (%)	40.7	-26.2
다중 블록 마스킹	1% IN Top-1 (%)	54.2	+34.0 vs single-block
단일 블록 마스킹	1% IN Top-1 (%)	20.2	-34.0

계산 효율 (ViT-H/14)

항목	값	비교
GPU-hours	< 1,200	MAE ViT-H/14 대비 약 10× 절감
학습 속도	2.5× faster	vs iBOT ViT-S/16
수렴 반복	~5× fewer	vs pixel-reconstruction

프레임워크 다이어그램

graph TB
    IMG["입력 이미지 (Full Image)"]

    subgraph TargetPath["Target Encoder Path (EMA)"]
        TE["Target Encoder (ViT, EMA)"]
        TR["Target Block Reps (4블록, scale 0.15-0.2)"]
    end

    subgraph ContextPath["Context Encoder Path"]
        CB["Context Block (scale 0.85-1.0, overlap 제거)"]
        CE["Context Encoder (ViT)"]
        CR["Context Representations"]
        MT["Positional Mask Tokens"]
        PRED["Predictor (narrow ViT, dim 384)"]
        PR["Predicted Representations"]
    end

    LOSS["L2 Loss (representation space)"]
    EMA_UPD["EMA 파라미터 업데이트"]

    IMG --> TE
    IMG --> CB
    TE --> TR
    CB --> CE
    CE --> CR
    CR --> PRED
    MT --> PRED
    PRED --> PR
    PR --> LOSS
    TR --> LOSS
    LOSS --> EMA_UPD
    EMA_UPD --> TE

    style TE fill:#e8a838,color:#fff
    style CE fill:#4a90d9,color:#fff
    style PRED fill:#9b59b6,color:#fff
    style LOSS fill:#e05c5c,color:#fff

재현성 및 신뢰도 평가

항목	등급	비고
코드 공개	✅	https://github.com/facebookresearch/ijepa — 학습/평가 코드 포함
데이터 공개	✅	ImageNet-1K/22K, Clevr, CIFAR-100, Places205, iNat18 모두 공개
하이퍼파라미터	✅	마스킹 scale(0.15-0.2, 0.85-1.0), AR(0.75-1.5), predictor dim(384), epoch, EMA 스케줄 상세
실험 환경	✅	ViT-H/14 16 A100, <72h(<1,200 GPU-hours) 명시
통계적 신뢰도	⚠️	단일 run 추정; 표준편차 미보고; ablation 조건별 단일 수치
종합 등급	A	코드/데이터/환경 완전 공개, 하이퍼파라미터 상세. 통계 반복 미보고만 감점

주장별 신뢰도

#	주장	근거	신뢰도
1	표현 공간 예측 > 픽셀 공간	Ablation 40.7→66.9 (+26.2pp), 조건 통제	🟢
2	다중 블록 마스킹이 필수	Ablation 20.2→54.2 (+34.0pp)	🟢
3	MAE 대비 10× 효율	<1,200 GPU-hours vs MAE 추정; 부분 추론	🟡
4	저수준(depth) 보존에서 DINO/iBOT 우위	Clevr depth 72.4 vs 53.4/62.8	🟢
5	증강 없이 의미론적 표현 학습	linear probe 79.3% (ViT-H/14)	🟡
6	IN-22K 확장 시 추가 향상	CIFAR-100 89.5 vs 87.5	🟢

읽기 난이도: ⭐⭐⭐

ViT, SSL(MAE/DINO/iBOT/MSN), EMA 업데이트, latent-space 예측 개념이 필요. “왜 표현 공간 예측이 collapse를 방지하는가”(target encoder의 stop-grad + EMA) 이해에는 BYOL/SimSiam 선행 지식이 도움됨.

축	I-JEPA (본 논문)	LeCun 2022 [base]	MAE [sota/alt]	DINO [sota/alt]	iBOT [sota/alt]	data2vec [alt]
SSL 패러다임	JEPA: context→predictor→target 표현 예측; EMA target encoder	JEPA 개념 + energy-based world model (구현 없음)	Masked Autoencoder: 마스크 패치 픽셀 복원	Self-distillation: invariance, 대조 없음	MIM + self-distillation + online tokenizer	cross-modal EMA 교사로 마스크 입력 latent 예측
예측 목표 공간	표현 공간 (EMA 인코더 출력)	표현 공간 (원칙 수준)	픽셀 공간	표현 공간 (teacher softmax)	토큰/표현 혼합	표현 공간 (EMA teacher 상위 K층 평균)
Augmentation 요구	없음 (multi-block masking만)	없음(원칙)	최소(crop/flip)	강함(multi-crop, color jitter)	강함(multi-crop)	중간(modality별)
마스킹/신호	multi-block: 대형 target 4 + context 1, overlap 제거	명시 없음	random block 75%	마스킹 없음; multi-crop	block masking + distillation	block masking; teacher는 전체 입력
IN linear-probe & 저수준	ViT-H/14 79.3, ViT-H/16@448 81.1; Clevr depth 72.4(우위)	수치 없음	ViT-H 77.2; 저수준 양호	ViT-B 78.2; 저수준 열위(depth 53.4)	ViT-L 81.0; 저수준 제한적(depth 62.8)	ViT-B ~80; 멀티모달
계산 효율	고효율(<1,200 GPU-h; pixel decoder 없음)	해당 없음	중간(큰 decoder)	비효율(multi-crop 다수 forward)	가장 비효율(MIM+distill 동시)	중간
코드 공개	✅	❌ (position paper)	✅	✅	✅	✅

원자적 인사이트 (Zettelkasten)

💡 표현 공간 예측은 픽셀 복원보다 의미론적으로 효율적이다

출처: 본 논문 (Assran et al., 2023) — 유형: 방법론적

마스킹 영역을 픽셀 수준으로 복원하면 텍스처·조명 같은 저수준 세부에 용량을 낭비한다. I-JEPA는 EMA 타깃 인코더가 만든 추상 표현을 예측 목표로 삼아 의미 있는 구조만 학습하도록 유도한다. 1% ImageNet에서 표현 공간 예측(66.9%)이 픽셀 공간(40.7%)보다 +26.2%p 높다. “무엇을 예측하는가”라는 목표 설계가 “어떻게 마스킹하는가”만큼 중요함을 시사한다.
핵심 조건: EMA 타깃 인코더가 있어야 추상 표현이 안정 제공된다. 없으면 표현 붕괴 발생 가능.
연결: MAE

💡 다중 블록 마스킹이 단일 블록 대비 절대 34%p 차이를 만든다

출처: 본 논문 (Assran et al., 2023) — 유형: 실험적

넓은 컨텍스트 블록(0.85-1.0)에서 4개의 큰 타깃 블록(0.15-0.2)을 예측하는 전략은, 단일 소형 타깃(20.2%)을 다중 대형(54.2%)으로 끌어올린다. 넓은 타깃은 국소 패턴 암기를 막고 전역 의미 구조 예측을 강제한다. 컨텍스트에서 타깃 위치를 제외해야(overlap 제거) 과제가 자명해지지 않는다.
연결: V-JEPA

💡 증강 없는 SSL은 저수준 공간 정보를 보존해 다운스트림 다양성을 확보한다

출처: 본 논문 (Assran et al., 2023) — 유형: 이론적

DINO·SimCLR 등은 크롭·색상 지터로 두 뷰 표현을 일치시키는데, 이 과정에서 증강이 파괴하는 정보(위치, 절대 색상, 깊이 단서)가 표현에서 사라진다. I-JEPA는 증강 없이 동일 이미지 내 예측만 하므로 이 정보가 보존된다(Clevr depth 72.4% vs DINO 53.4%). SSL의 귀납적 편향이 증강 선택을 통해 암묵적으로 주입됨을 역으로 증명한다.
연결: DINO, world-model 비전

핵심 용어 정리

용어	정의
JEPA (Joint-Embedding Predictive Architecture)	LeCun이 제안한 아키텍처 개념. 두 입력(또는 같은 입력의 두 부분)을 인코딩한 추상 표현 공간에서 한쪽으로부터 다른 쪽을 예측. 픽셀 복원이 아닌 표현 예측이 핵심.
표현 공간 예측 (representation-space prediction)	마스킹 영역의 원본 픽셀 대신, 인코더가 생성한 추상 특징 벡터를 예측 목표로 삼는 방식.
컨텍스트 인코더 (context encoder)	보이는 영역(context block)을 ViT로 처리해 표현을 생성하는 메인 인코더. 그래디언트로 직접 학습.
타깃 인코더 (target encoder, EMA)	컨텍스트 인코더의 EMA 가중치 복사본. 안정적 타깃 표현을 제공하며 직접 역전파되지 않아 표현 붕괴를 방지.
예측기 (predictor)	컨텍스트 출력 + 위치 마스크 토큰을 받아 타깃 블록 표현을 예측하는 좁은 ViT(dim 384). 타깃 인코더보다 작게 설계해 지름길 학습을 방지.
다중 블록 마스킹 (multi-block masking)	큰 컨텍스트 블록에서 4개의 타깃 블록을 동시에 예측하도록 마스킹하는 전략.
표현 붕괴 (representation collapse)	인코더가 입력과 무관하게 모든 샘플을 동일 상수 벡터로 매핑하는 퇴화 현상.
불변성 기반 SSL	DINO·SimCLR처럼 수작업 증강으로 두 뷰 표현을 일치시키는 SSL. 의미론적 우수, 증강 편향.
생성적 SSL	MAE처럼 마스킹 입력의 원본 픽셀을 복원하는 SSL. 범용적, 저수준 낭비.
선형 탐침 (linear probe)	인코더를 동결하고 선형 분류기만 추가해 평가하는 방법. 표현의 의미론적 품질 측정.

BibTeX

@inproceedings{assran2023self,
  title     = {Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture},
  author    = {Assran, Mahmoud and Duval, Quentin and Misra, Ishan and Bojanowski, Piotr and Vincent, Pascal and Rabbat, Michael and LeCun, Yann and Ballas, Nicolas},
  booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)},
  year      = {2023},
  eprint    = {2301.08243},
  archivePrefix = {arXiv},
  url       = {https://arxiv.org/abs/2301.08243}
}

Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture