The Platonic Representation Hypothesis

31분 분량

플라톤적 표현 가설

Digest: 서로 다른 아키텍처, 학습 목표, 데이터 모달리티로 훈련된 신경망들이 점점 유사한 표현 공간으로 수렴하고 있다. 78개 비전 모델 분석에서, 전이 성능이 높은 모델들은 표현 공간에서 밀집된 클러스터를 형성한 반면 약한 모델들은 분산되어 있었다(Figure 2). 저자들은 이 수렴의 목표가 “플라톤적 표현(platonic representation)” — 현실 세계의 사건들에 대한 결합 분포 ℙ(𝐙)의 공유된 통계적 모델 — 이라고 가설을 세운다. 이 수렴은 세 가지 선택압에 의해 구동된다: (1) 다중과제 확장(multitask scaling)으로 해 공간이 축소되고, (2) 모델 용량 증가로 전역 최적에 더 잘 도달하며, (3) 단순성 편향(simplicity bias)으로 더 단순한 해가 선호된다. 이론적으로, 대조학습(contrastive learning)이 PMI(점별 상호정보량) 커널로 수렴함을 증명하여, 서로 다른 모달리티의 표현이 동일한 K_PMI(z_a, z_b)를 근사함을 보였다(Section 4.2). 색상 사례 연구에서 언어 모델의 색상 임베딩이 CIELAB 지각 공간과 유사한 구조를 복원했다(Figure 8). 그러나 한계도 존재한다: 비전-언어 정렬 점수의 최대값이 0.16(mutual nearest-neighbor 메트릭)에 불과하며(Section 6), 전단사(bijective) 관측 함수를 가정하는 이론은 손실적이거나 확률적 관측에서는 성립하지 않고, 로보틱스 등 일부 도메인에서는 아직 수렴이 관찰되지 않았다. 교차모달 데이터 공유, 할루시네이션 감소, 비쌍(unpaired) 번역의 용이성 등 실용적 함의를 논의하면서도, 특수 목적 지능이나 사회학적 편향이 수렴을 방해할 수 있음을 인정한다.

섹션별 요약

Introduction

플라톤의 동굴 비유에서 영감을 받아, 서로 다른 신경망들이 서로 다른 “그림자”(데이터 모달리티)를 관측하면서도 동일한 “실재”의 표현으로 수렴하고 있다는 현상을 소개한다. AI 시스템이 파운데이션 모델로 균질화(homogenization)되면서 아키텍처와 능력 모두에서 수렴이 가속화되고 있음을 지적한다. 과학철학의 수렴적 실재론(convergent realism)과 ML 분야의 안나 카레니나 시나리오(잘 작동하는 신경망은 모두 같은 방식으로 세계를 표현한다)를 관련 개념으로 제시한다.

Methods

정량적 분석을 위해 커널 정렬(kernel alignment) 프레임워크를 도입한다. 표현 f:𝒳→ℝⁿ이 유도하는 커널 간의 유사도를 상호 최근접 이웃(mutual nearest-neighbor) 메트릭으로 측정한다. 78개 비전 모델의 표현을 Places-365 데이터셋에서, 교차모달 정렬은 Wikipedia 캡션(WIT) 데이터셋에서 측정했다. 이론적으로, 대조학습 목표 함수가 최적화될 때 학습된 표현의 커널이 PMI 커널 로 수렴함을 증명한다.

Results

실험데이터셋메트릭주요 발견
비전 모델 정렬Places-365mutual NN높은 전이 성능 모델일수록 밀집 클러스터 형성 (Figure 2)
교차모달 정렬WITmutual NNLLM 언어 모델링 성능 향상 → 비전 모델과 정렬 증가 (Figure 3)
하류 과제 예측HellaSwag, GSM8Kalignment score정렬 점수와 하류 과제 성능 간 선형 관계 (HellaSwag), 창발적 경향 (GSM8K) (Figure 4)
색상 표현CIFAR-10, 언어공간 구조언어/비전 모두 CIELAB과 유사한 지각적 색상 구조 복원 (Figure 8)
캡션 밀도DCIalignment캡션이 상세할수록 비전-언어 정렬 향상 (Figure 9)

Discussion

수렴의 함의로 (1) 교차모달 데이터 공유 — “최고의 비전 모델을 만들려면 이미지뿐 아니라 텍스트도 학습시켜야 한다”, (2) 스케일링에 따른 할루시네이션 감소 가능성, (3) 비쌍 번역의 용이성을 제시한다. 반면 한계로 정렬 점수 0.16의 해석 모호성, 로보틱스 등 미수렴 도메인, AI 커뮤니티의 사회학적 편향(하드웨어 로터리), 특수 목적 지능의 비수렴 가능성을 논의한다.

Insights

  • 주목할 점: 대조학습 → PMI 커널 수렴이라는 이론적 결과는 왜 서로 다른 학습 방법이 유사한 표현을 만드는지에 대한 최초의 수학적 설명을 제공한다
  • 연결 고리: 과학철학의 수렴적 실재론(Newton-Smith, 1981)을 ML에 적용한 학제간 연구로, 모델의 표현을 “세계 모델”의 근사로 재해석한다
  • 시사점: “1 픽셀 = a 단어” 변환 비율이 존재한다는 예측은 멀티모달 학습의 데이터 효율성 연구에 새로운 방향을 제시
  • 비판적 코멘트: 최대 정렬 점수 0.16이 강한 정렬인지 약한 정렬인지 저자도 미해결로 남겨둠 — 핵심 가설의 정량적 검증이 불완전

Discussion Points

  • 논쟁점: “모든 잘 작동하는 신경망은 같은 표현으로 수렴한다”는 강한 주장인데, 특수 목적 지능이나 효율성 최적화된 시스템에서는 지름길(shortcut) 표현이 더 효과적일 수 있다
  • 검증 필요 가정: 관측 함수의 전단사(bijective) 가정이 현실에서 거의 성립하지 않으며, 손실적/확률적 관측의 영향을 정량화하지 못함
  • 후속 연구: 정렬 메트릭의 표준화, 로보틱스/생물정보학 등 미수렴 도메인에서의 검증, “1 픽셀 = a 단어” 변환 비율의 실험적 측정

메타데이터

항목내용
제목The Platonic Representation Hypothesis
저자Minyoung Huh*, Brian Cheung*, Tongzhou Wang*, Phillip Isola (* 동등 기여)
소속MIT CSAIL
연도2024 (v1: 2024.05.13, v5: 2024.07.25)
발표ICML 2024 (Position Paper), PMLR vol.235, pp.20617–20640
링크arXiv, ICML, GitHub, Project
키워드representation convergence, platonic representation, kernel alignment, PMI, cross-modal alignment, simplicity bias

BibTeX:

@inproceedings{huh2024platonic,
  title={Position: The Platonic Representation Hypothesis},
  author={Huh, Minyoung and Cheung, Brian and Wang, Tongzhou and Isola, Phillip},
  booktitle={Proceedings of the 41st International Conference on Machine Learning},
  series={Proceedings of Machine Learning Research},
  volume={235},
  pages={20617--20640},
  year={2024},
  publisher={PMLR}
}

왜 이 연구를 하는가?

핵심 질문

서로 다른 아키텍처·학습 목표·데이터 모달리티로 훈련된 신경망들이 왜 점점 유사한 표현 공간으로 수렴하며, 이 수렴의 궁극적 목표는 무엇인가?

기존 접근법의 한계

한계설명
현상 관찰에 그침모델 스티칭(Lenc & Vedaldi, 2015), 로제타 뉴런(Dravid et al., 2023) 등 표현 유사성이 관찰되었으나, 왜 수렴하는지에 대한 통합적 설명이 없었음
단일 모달리티 분석기존 연구는 주로 비전 내 또는 언어 내 표현 비교에 한정되어, 교차모달 수렴 현상을 설명하지 못함
이론적 근거 부재경험적 관찰은 있으나, 어떤 수학적 메커니즘이 수렴을 구동하는지 형식화되지 않음
정렬 메트릭 비표준화CKA, SVCCA, nearest-neighbor 등 다양한 정렬 메트릭이 서로 다른 결과를 내놓으며 합의가 없음

핵심 통찰

  • 다중과제 최적화의 해 공간 축소: N개 과제를 동시에 해결하는 표현의 수는 M<N개 과제를 해결하는 표현보다 적다. 따라서 더 범용적인 모델일수록 가능한 표현의 수가 줄어들어 수렴이 발생한다.
  • 대조학습의 PMI 수렴: 대조학습 목표 함수를 최적화하면, 학습된 표현의 내적이 점별 상호정보량(PMI)에 수렴한다. PMI는 관측 모달리티에 독립적이므로, 서로 다른 모달리티의 모델이 같은 커널을 학습하게 된다.

방법 (Method)

프레임워크 개요

graph TB
    subgraph WORLD["현실 세계 (플라톤적 실재)"]
        Z["사건 시퀀스 𝐙 = [z₁,...,zₜ]<br/>분포 ℙ(𝐙)"]
    end

    subgraph OBS["관측 (동굴의 그림자)"]
        X["비전 관측<br/>obs_x: 𝒵 → 𝒳"]
        Y["언어 관측<br/>obs_y: 𝒵 → 𝒴"]
    end

    subgraph LEARN["표현 학습"]
        FX["비전 모델 f_x<br/>(SimCLR, DINO 등)"]
        FY["언어 모델 f_y<br/>(SimCSE, GPT 등)"]
    end

    subgraph CONVERGE["수렴 목표"]
        PMI["K_PMI(z_a, z_b)<br/>= 점별 상호정보량 커널"]
    end

    Z --> X
    Z --> Y
    X --> FX
    Y --> FY
    FX -->|"⟨f_x(x_a), f_x(x_b)⟩ ≈ K_PMI + c_x"| PMI
    FY -->|"⟨f_y(y_a), f_y(y_b)⟩ ≈ K_PMI + c_y"| PMI

    style WORLD fill:#f0e6ff
    style CONVERGE fill:#e6ffe6

핵심 구성요소

1. 커널 정렬 메트릭 (Kernel Alignment Metric)

표현 f가 유도하는 커널 K(x_i, x_j) = ⟨f(x_i), f(x_j)⟩에 대해, 두 커널 간의 유사도를 상호 최근접 이웃(mutual nearest-neighbor) 메트릭으로 측정한다. 이 메트릭은 두 커널이 유도하는 k-최근접 이웃 집합의 평균 교집합 크기를 k로 정규화한 값이다.

2. 세 가지 수렴 메커니즘

다중과제 확장 (Multitask Scaling): Cao & Yamins(2024)의 대반공변성 원리(contravariance principle) — 쉬운 목표의 해 집합은 크고, 어려운 목표의 해 집합은 작다 — 에 기반한다. 더 많은 과제를 동시에 해결할수록 가능한 표현의 교집합이 줄어든다. 대조학습이나 마스크드 오토인코더처럼 다중 과제를 내재적으로 최적화하는 목표 함수가 이 효과를 강화한다.

모델 용량 가설 (Capacity Hypothesis): 충분한 데이터가 주어질 때, 더 큰 모델은 더 넓은 가설 공간을 탐색할 수 있으므로 전역 최적 표현에 더 가깝게 도달한다.

단순성 편향 (Simplicity Bias): 심층 네트워크는 외부 정규화 없이도 암묵적으로 오컴의 면도날을 따르며, 데이터에 맞는 가장 단순한 해를 선호한다. 모델이 클수록 이 편향이 강해져, 표현 공간이 더 좁은 영역으로 수렴한다.

3. PMI 커널 수렴 이론

대조학습에서 양성 쌍은 시간적으로 가까운 관측이고 음성 쌍은 독립 샘플이다. 최적화 시 학습된 표현의 내적은 다음에 수렴한다:

⟨f_x(x_a), f_x(x_b)⟩ ≈ K_PMI(x_a, x_b) + c_x

여기서 K_PMI는 점별 상호정보량이다. 관측 함수가 전단사(bijective)이면 P_coor(x_a, x_b) = P_coor(z_a, z_b)이므로, K_PMI(x_a, x_b) = K_PMI(z_a, z_b)가 성립한다. 따라서 비전과 언어 모델 모두 동일한 기저 커널 K_PMI(z_a, z_b)로 수렴한다.

발견 (Findings)

주요 결과

실험모델 수메트릭핵심 수치의의
비전 모델 정렬78개mutual NN alignment고성능 모델 밀집 클러스터성능과 정렬의 양의 상관관계
교차모달 정렬다수 LLM + 비전mutual NN alignment최대 0.16LLM 성능 ↑ → 비전 정렬 ↑
HellaSwag 예측다수 LLMalignment vs accuracy선형 관계정렬이 하류 과제 성능 예측
GSM8K 예측다수 LLMalignment vs accuracy창발적 경향일정 정렬 이상에서 급격한 성능 향상
CLIP 관찰CLIP 모델alignment언어 감독 → 높은 정렬, ImageNet 미세조정 후 감소과제 특화가 범용 정렬을 저해
캡션 밀도LLaMA3-8Balignment상세 캡션 → 높은 정렬정보량이 정렬의 상한을 결정

핵심 발견

비전 모델 간 수렴은 성능과 상관한다. 78개 비전 모델의 표현을 Places-365에서 분석한 결과, VTAB 전이 성능이 높은 모델들은 표현 공간에서 밀집된 클러스터를 형성했다. 반면 약한 모델들은 분산되어 있어, 잘 작동하는 모델들 사이에서만 수렴이 일어남을 시사한다.

교차모달 정렬은 양방향으로 스케일링과 함께 증가한다. 더 나은 LLM일수록(언어 모델링 성능 기준) 비전 모델과의 정렬이 높았고, 역으로도 성립했다. 이는 두 모달리티가 동일한 기저 통계 구조를 학습하고 있음을 시사한다.

정렬이 하류 과제 성능을 예측한다. DINOv2와의 정렬 점수는 HellaSwag(상식 추론)에서 선형적, GSM8K(수학)에서 창발적(emergence-like) 관계를 보였다. 이는 범용 표현의 품질이 특정 과제 능력의 지표가 됨을 의미한다.

색상의 지각적 구조가 언어에서 복원된다. 텍스트 동시출현 통계로 학습한 언어 모델의 색상 임베딩이 CIELAB 지각 색상 공간과 유사한 구조를 보였다(Figure 8). 이는 동시출현 통계 학습이 모달리티에 독립적으로 지각적 구조를 복원함을 보여주는 인상적인 사례다.

이론적 의의

표현 학습의 통합 이론을 향하여

이 논문은 “왜 서로 다른 모델이 유사한 표현을 학습하는가?”라는 근본적 질문에 대해, 개별 관찰들을 통합하는 이론적 프레임워크를 제시한다. 다중과제 확장, 모델 용량, 단순성 편향이라는 세 메커니즘은 각각 독립적으로도 수렴을 설명하지만, 함께 작용할 때 더 강한 수렴을 예측한다. 특히 대조학습 → PMI 커널 수렴이라는 수학적 결과는, 서로 다른 학습 방법들이 궁극적으로 동일한 통계량을 추정하고 있음을 보여주는 중요한 기여다.

멀티모달 학습의 이론적 기초

“1 픽셀 = a 단어”라는 교차모달 데이터 변환 비율의 존재 가능성을 제안함으로써, 멀티모달 학습의 데이터 효율성에 대한 새로운 연구 방향을 열었다. OpenAI(2023)의 경험적 관찰 — 이미지 데이터로 함께 훈련하면 텍스트 성능이 향상됨 — 에 이론적 근거를 부여한다.

할루시네이션과 편향에 대한 스케일링 관점

모델이 현실의 통계적 모델로 수렴한다면, 스케일링은 할루시네이션을 감소시키고 편향을 데이터의 편향 수준까지 완화할 것이라는 예측을 제시한다. 다만 이는 훈련 데이터가 현실의 “충분히 손실 없는 측정”을 구성한다는 조건 하에서만 성립한다.

재현성 및 신뢰도 평가

항목등급비고
코드 공개✅GitHub 공개, 프로젝트 페이지 제공
데이터 공개✅Places-365, WIT, CIFAR-10 등 공개 데이터셋 사용
하이퍼파라미터⚠️mutual NN 메트릭의 k 값 등 일부 세부사항이 부록에만 기술
실험 환경⚠️78개 비전 모델의 구체적 체크포인트/버전 정보가 부분적
통계적 신뢰도⚠️캡션 밀도 실험에서 표준편차 보고, 그러나 대부분 실험에서 다중 실행/유의성 검정 미보고
종합 등급B코드 공개 및 공개 데이터로 재현 가능하나, 정렬 점수 해석의 불확실성과 통계적 엄밀성에 한계

주장별 신뢰도

#주장근거신뢰도
1고성능 비전 모델의 표현이 수렴한다78개 모델의 Places-365 정렬 분석 (Figure 2)🟢
2LLM 성능 향상 → 비전 모델과의 정렬 증가WIT 데이터셋 기반 교차모달 측정 (Figure 3)🟢
3대조학습이 PMI 커널로 수렴한다이론적 증명 (Section 4.2), 기존 문헌과 일관🟢
4색상 지각 구조가 모달리티 독립적으로 복원된다CIELAB vs 언어/비전 색상 임베딩 비교 (Figure 8)🟡
5스케일링이 할루시네이션을 감소시킨다이론적 예측, 경험적 근거 제한적🔴
6”1 픽셀 = a 단어” 변환 비율이 존재한다순수 가설, 실험적 검증 없음🔴

읽기 난이도: ⭐⭐

커널 정렬, 대조학습 이론, 정보 이론(PMI) 등 ML 이론 기초 지식이 필요하나, 전체 논증은 직관적 비유(플라톤의 동굴)와 시각화로 잘 전달된다. 과학철학에 관심이 있다면 더 풍부하게 읽을 수 있다.

관련 연구 비교 매트릭스

축본 논문 (Huh et al., 2024)Model Stitching (Lenc & Vedaldi, 2015)Rosetta Neurons (Dravid et al., 2023)Contravariance (Cao & Yamins, 2024)
핵심 접근커널 정렬 + PMI 이론으로 수렴 설명모델 간 레이어 교환 가능성 검증개별 뉴런 수준의 모델 간 대응 발견과제 복잡도와 해 공간의 반비례 관계 이론화
문제 정의왜 표현이 수렴하며 어디로 수렴하는가서로 다른 모델의 표현이 교환 가능한가모델 간 동일 패턴에 반응하는 뉴런이 있는가과제 수 증가 시 해 공간은 어떻게 변하는가
데이터Places-365, WIT, CIFAR-10ImageNet, Places-365다양한 비전 모델이론적 분석
핵심 메트릭mutual NN alignment (max 0.16)스티칭 후 정확도뉴런 활성화 패턴 유사도과제-해 공간 크기 관계
확장성78개 모델 + 교차모달까지 확장소수 모델 쌍 비교비전 모델에 한정이론적 프레임워크로 범용적
한계정렬 점수 해석 불확실, bijective 가정동일 도메인 내 비교에 한정뉴런 수준 분석의 확장성 한계경험적 검증 부족
코드 공개✅❌✅❌

관련 연구

원자적 인사이트 (Zettelkasten)

💡 대조학습은 점별 상호정보량(PMI)을 추정한다

출처: The Platonic Representation Hypothesis (Huh et al., 2024)
유형: 이론적

대조학습의 최적 표현은 데이터 포인트 쌍 간의 PMI를 내적으로 인코딩한다. 양성 쌍(시간적으로 가까운 관측)과 음성 쌍(독립 샘플)을 구분하는 목표 함수를 최적화하면, 학습된 표현의 내적 ⟨f(x_a), f(x_b)⟩가 K_PMI(x_a, x_b) + 상수에 수렴한다. 이는 SimCLR, SimCSE, CLIP 등 다양한 대조학습 방법이 궁극적으로 동일한 통계량을 추정하고 있음을 의미한다.

핵심 조건/맥락: 충분한 모델 용량과 데이터, 관측 함수의 전단사성이 전제되어야 한다. 손실적 또는 확률적 관측에서는 수렴이 상호정보량에 의해 상한이 제한된다.
연결: Information-theoretic learning, contrastive learning theory (Wang & Isola, 2020)
활용 가능성: 새로운 대조학습 목표 함수 설계 시, PMI 근사의 효율성을 직접 최적화하는 방향으로 활용 가능

💡 범용성이 높을수록 가능한 표현의 수가 줄어든다 (대반공변성 원리)

출처: The Platonic Representation Hypothesis (Huh et al., 2024)
유형: 이론적

N개 과제를 동시에 해결하는 표현의 집합은 M<N개 과제를 해결하는 표현의 집합보다 작다. 이 “대반공변성”(contravariance) — 과제 수와 해 공간 크기의 반비례 관계 — 는 왜 범용 모델이 특화 모델보다 서로 유사한 표현을 학습하는지 설명한다. 파운데이션 모델이 점점 더 많은 과제를 동시에 해결하면서, 가능한 표현의 공간이 좁아지고 수렴이 가속화된다.

핵심 조건/맥락: 과제들이 서로 독립적이지 않고 공유 구조를 가져야 한다. 완전히 무관한 과제들의 교집합은 공집합이 될 수 있다.
연결: Multitask learning, transfer learning, foundation models
활용 가능성: 모델 통합(model merging) 연구에서, 어떤 모델들이 성공적으로 통합될 수 있는지 예측하는 기준으로 활용 가능

💡 정렬 점수 0.16의 해석 불확실성 — 수렴 가설의 아킬레스건

출처: The Platonic Representation Hypothesis (Huh et al., 2024)
유형: 실패/한계

비전-언어 교차모달 정렬의 최대 점수가 0.16(mutual nearest-neighbor 메트릭, 이론적 최대 1.0)에 불과하다. 저자 스스로도 “이것이 강한 정렬인지 약한 정렬인지”를 미해결로 남겨둔다. 이 해석 불확실성은 플라톤적 표현 가설의 핵심 정량적 증거의 신뢰도를 약화시킨다. 정렬 메트릭 자체의 적절성(CKA vs SVCCA vs mutual NN)에 대한 합의도 없는 상태다.

핵심 조건/맥락: 메트릭의 이론적 상한과 실질적 상한이 다를 수 있으며, 노이즈가 있는 현실 데이터에서의 기대 정렬 점수가 얼마인지 알려진 바 없다.
연결: Representation similarity analysis, alignment metric debate (Bansal et al., 2021; Sucholutsky et al., 2023)
활용 가능성: 정렬 메트릭의 null distribution과 기대 상한을 이론적으로 분석하는 후속 연구의 동기

핵심 용어 정리

용어정의
플라톤적 표현 (Platonic Representation)서로 다른 모달리티·아키텍처의 모델이 수렴하는 궁극적 목표 — 현실 세계 사건의 결합 분포 ℙ(𝐙)에 대한 공유된 통계적 모델
커널 정렬 (Kernel Alignment)두 표현이 데이터 포인트 간 유사도를 얼마나 비슷하게 측정하는지 비교하는 방법. 표현 f의 커널 K(x_i, x_j) = ⟨f(x_i), f(x_j)⟩
상호 최근접 이웃 (Mutual Nearest-Neighbor) 메트릭두 커널이 유도하는 k-최근접 이웃 집합의 교집합 크기를 k로 정규화한 정렬 메트릭
PMI 커널 (Pointwise Mutual Information Kernel)K_PMI(x_a, x_b) = log[P(x_a, x_b) / P(x_a)P(x_b)]. 두 관측이 독립일 때보다 얼마나 더 자주 함께 나타나는지를 측정
대조학습 (Contrastive Learning)양성 쌍(유사 샘플)은 가깝게, 음성 쌍(비유사 샘플)은 멀게 표현을 학습하는 자기지도 학습 방법. SimCLR, CLIP, SimCSE 등이 대표적
대반공변성 원리 (Contravariance Principle)과제의 난이도/수가 증가할수록 해 공간의 크기가 감소한다는 원리 (Cao & Yamins, 2024)
단순성 편향 (Simplicity Bias)심층 네트워크가 외부 정규화 없이도 암묵적으로 데이터에 맞는 가장 단순한 해를 선호하는 경향
전단사 (Bijective) 관측 함수기저 사건 z와 관측 x 사이에 일대일 대응이 존재하는 함수. 정보 손실이 없음을 보장
모델 스티칭 (Model Stitching)한 모델의 앞부분 레이어와 다른 모델의 뒷부분 레이어를 연결하여 작동 여부를 확인하는 표현 호환성 검증 방법
로제타 뉴런 (Rosetta Neurons)서로 다른 모델에서 동일한 패턴에 반응하는 뉴런들 (Dravid et al., 2023)
수렴적 실재론 (Convergent Realism)과학 이론이 발전함에 따라 실재에 대한 점점 더 정확한 기술로 수렴한다는 과학철학적 입장 (Newton-Smith, 1981)
안나 카레니나 시나리오”잘 작동하는 신경망은 모두 같은 방식으로 세계를 표현한다”는 가설. 톨스토이의 “행복한 가정은 모두 비슷하다”에서 유래

태그

paper #2024 representation convergence platonic PMI kernel_alignment cross_modal contrastive_learning simplicity_bias MIT