플라톤적 표현 가설 재고 - 아리스토텔레스적 관점

Digest: Huh et al.(2024)의 플라톤적 표현 가설(PRH, 서로 다른 신경망의 표현이 현실의 공유된 통계적 모델로 전역 수렴한다는 가설)을 정밀 재검토한 결과, 보고된 수렴의 상당 부분이 두 가지 측정 교란 변수에 의한 아티팩트임을 밝힌다. 첫째, 너비 교란(width confounder): 임베딩 차원 d가 샘플 수 n 대비 증가하면, 상호작용 행렬 기반 유사도 메트릭(CKA 등)이 독립적인 표현에서도 𝔼[‖C̃‖²_F] = d_xd_y/(n-1), 즉 O(d/n)으로 양의 기저선을 보인다(Proposition 4.1). 둘째, 깊이 교란(depth confounder): 레이어 쌍에서 최댓값을 선택하면 M = L_A × L_B 비교에서 O(√log M)의 기대 팽창이 발생하여 깊은 모델이 허위로 더 정렬된 것처럼 보인다. 저자들은 이를 보정하기 위해 순열 기반 영가설 보정 프레임워크(permutation-based null calibration)를 제안하며, 교환가능성(exchangeability) 가정 하에서 유한표본 α-수준 타당성을 보장하는 초균일(super-uniform) p-값을 도출한다(Corollary 5.1). 204개 비전-언어 모델 쌍에 적용한 결과, 보정 후 CKA의 전역 수렴 경향은 완전히 소실되었으나, mKNN 등 국소 이웃 메트릭의 교차모달 정렬은 유의미하게 유지되었다(Section 5.3). 이에 기반하여 아리스토텔레스적 표현 가설 — “신경망은 공유된 국소 이웃 관계(누가 누구와 가까운가)로 수렴한다” — 을 제안한다. 한계로는 순열 테스트의 계산 비용(K=200 순열), 이웃 메트릭의 k 값 선택에 대한 민감도, 비전-언어 외 모달리티(오디오, 로보틱스)에서의 검증 부재를 들 수 있다. 국소 수렴이 어떤 메커니즘에 의해 구동되는지, 그리고 이것이 하류 과제 성능과 어떻게 관련되는지는 열린 질문으로 남는다.

섹션별 요약

Introduction

Huh et al.(2024)의 플라톤적 표현 가설이 AI 분야에서 큰 주목을 받았지만, 이 가설의 핵심 증거가 측정 아티팩트에 오염되어 있을 수 있다는 문제를 제기한다. 서로 다른 유사도 메트릭이 서로 다른 불변성(invariance)을 인코딩하여 질적으로 다른 결론을 내놓는다는 점(Klabunde et al., 2025)을 지적하며, 메트릭 자체의 편향을 보정하지 않은 채 “수렴”을 주장하는 것은 위험하다고 논증한다. 너비와 깊이 교란의 정확한 수학적 특성화, 이를 보정하는 범용 프레임워크, 그리고 보정 후 남는 진짜 수렴의 성격을 밝히는 것을 핵심 기여로 제시한다.

Methods

교란 변수의 수학적 특성화: 너비 교란에 대해, 독립적인 표현 X, Y의 정규화된 교차공분산 행렬 C̃의 프로베니우스 노름 제곱의 기대값이 d_xd_y/(n-1)임을 증명한다(Proposition 4.1). 이웃 메트릭(mKNN)의 영가설 기대값은 k/(n-1)로 훨씬 작아(Proposition 4.2), 스펙트럼 메트릭이 이웃 메트릭보다 너비 교란에 훨씬 취약함을 보인다.

순열 기반 영가설 보정: 관측된 유사도 점수 s_obs와 K개의 순열 영가설 점수 s^(k)를 비교하여 임계값 τ_α를 설정하고, 보정된 점수 s_cal = max((s_obs - τ_α)/(s_max - τ_α), 0)를 산출한다. 집계 인식 보정(aggregation-aware calibration)에서는 동일한 순열을 모든 레이어에 적용하여, 최대값 선택에 의한 다중비교 팽창을 제어한다.

Results

실험	메트릭	보정 전	보정 후	의미
합성 데이터 (H₀ 하)	CKA	d/n 비례 증가	0으로 수렴	너비 교란 존재 확인
합성 데이터 (H₀ 하)	mKNN	k/n 비례 (미미)	0으로 수렴	이웃 메트릭도 보정 필요하나 원래 편향 작음
합성 데이터 깊이	max CKA	깊이 L 증가 시 팽창	안정 유지	깊이 교란 제거 확인
204 비전-언어 쌍	CKA (보정 전)	모델 크기와 양의 상관	—	PRH 결과 재현
204 비전-언어 쌍	CKA (보정 후)	—	체계적 증가 경향 소실	전역 수렴은 아티팩트
204 비전-언어 쌍	mKNN (보정 후)	—	유의미한 정렬 유지 + 스케일링 경향	국소 수렴은 진짜
VideoMAE-언어	mKNN (보정 후)	—	VideoMAE-Huge에서 최강 정렬	비디오에서도 국소 수렴 확인

Discussion

전역 스펙트럼 수렴의 소실이 플라톤적 표현 가설을 “완전히 부정”하는 것은 아니며, 오히려 수렴의 성격을 더 정밀하게 규정한 것이라고 위치 짓는다. 국소 이웃 관계의 수렴(“누가 누구 옆에 있는가”)은 모달리티 간 공유 구조의 존재를 지지하지만, 거리나 전역 기하는 공유되지 않는다. 보정 프레임워크가 메트릭에 구애받지 않고(metric-agnostic) 적용 가능하며, 향후 표현 유사성 연구의 표준 도구가 될 것을 주장한다.

Insights

주목할 점: 표현 유사성 연구에서 “모델이 클수록 더 유사하다”는 관찰 중 상당 부분이 고차원 기하학의 통계적 아티팩트였다는 발견은 해당 분야 전체에 영향을 미침
연결 고리: Murphy et al.(2024)의 debiased CKA를 일반화하며, Beyer et al.(1999)의 고차원 거리 집중 현상과 Nichols & Holmes(2002)의 순열 테스트 방법론을 결합
시사점: 향후 표현 유사성을 보고하는 모든 연구는 영가설 보정을 수행해야 하며, 특히 모델 크기를 변수로 하는 스케일링 분석에서는 필수적
비판적 코멘트: 국소 이웃 수렴이 “진짜”라는 결론도 k 값 선택에 민감할 수 있으며, k=10이라는 선택의 근거가 충분히 논의되지 않음

Discussion Points

논쟁점: CKA 수렴의 소실이 “플라톤적 표현 가설의 반박”인지 “정제”인지는 해석의 여지가 있음 — 저자들은 “아리스토텔레스적 관점”이라는 정제를 택하지만, 원 저자들은 mKNN을 이미 사용했기에 반박의 강도가 논쟁적
검증 필요 가정: 교환가능성(exchangeability) 가정이 사전학습된 모델의 표현에서 얼마나 잘 성립하는지, 특히 배치 내 상관관계가 있는 경우
후속 연구: (1) 국소 수렴을 구동하는 메커니즘 규명, (2) 국소 이웃 정렬과 하류 과제 성능의 관계, (3) k 값 변화에 따른 결과 민감도 분석, (4) 오디오·촉각 등 추가 모달리티 검증

메타데이터

항목	내용
제목	Revisiting the Platonic Representation Hypothesis: An Aristotelian View
저자	Fabian Gröger, Shuo Wen, Maria Brbić
소속	EPFL MLBio Lab
연도	2026 (v1: 2026.02.16)
발표	arXiv:2602.14486
링크	arXiv, GitHub, Project
키워드	representation similarity, null calibration, width confounder, depth confounder, permutation test, CKA, mKNN, Aristotelian hypothesis

BibTeX:

@article{groger2026aristotelian,
  title={Revisiting the Platonic Representation Hypothesis: An Aristotelian View},
  author={Gr{\"o}ger, Fabian and Wen, Shuo and Brbi{\'c}, Maria},
  journal={arXiv preprint arXiv:2602.14486},
  year={2026},
  url={https://arxiv.org/abs/2602.14486}
}

왜 이 연구를 하는가?

핵심 질문

플라톤적 표현 가설이 보고한 “표현의 전역 수렴”은 진짜 현상인가, 아니면 고차원 통계의 아티팩트인가?

기존 접근법의 한계

한계	설명
너비 교란 미보정	CKA 등 스펙트럼 메트릭의 영가설 기대값이 d/n에 비례하여 0이 아님에도, 이를 보정하지 않고 점수를 직접 비교
깊이 교란 미보정	레이어 쌍의 최대값 선택이 다중비교 문제를 야기함에도, 이를 고려하지 않은 채 최대 정렬 점수를 보고
메트릭 특이적 보정만 존재	Murphy et al.(2024)의 debiased CKA는 CKA에만 적용 가능하며, mKNN 등 이웃 메트릭에는 유사한 보정 방법이 없었음
전역 vs 국소 구분 부재	유사도 메트릭이 전역 기하(global geometry)와 국소 위상(local topology) 중 무엇을 측정하는지 명확히 구분하지 않았음

핵심 통찰

너비 교란의 수학적 규명: 독립적인 표현 사이에서도 CKA가 O(d/n)의 양의 기저선을 보이는 반면, mKNN은 O(k/n)으로 훨씬 작다. 이는 “모델이 클수록 더 정렬된다”는 관찰 중 스펙트럼 메트릭 기반의 것은 차원의 저주에 의한 아티팩트일 수 있음을 의미한다.
보정 후 국소-전역 분리: 순열 기반 보정을 적용하면 전역 수렴(CKA)은 사라지지만 국소 이웃 수렴(mKNN)은 유지된다. 이는 서로 다른 모달리티의 모델이 “누가 누구와 가까운가”라는 관계적 구조만 공유하고, 거리나 전역 기하는 공유하지 않음을 시사한다.

방법 (Method)

프레임워크 개요

graph TB
    subgraph CONFOUNDERS["교란 변수 식별"]
        W["너비 교란<br/>E[||C̃||²_F] = d_xd_y/(n-1)<br/>→ CKA에 O(d/n) 편향"]
        D["깊이 교란<br/>max-선택 → O(√log M) 팽창<br/>M = L_A × L_B"]
    end

    subgraph CALIBRATION["순열 기반 영가설 보정"]
        P1["K개 순열 π_k 생성"]
        P2["영가설 점수 s^k 계산<br/>s^k = s(X, π_k(Y))"]
        P3["임계값 τ_α 설정"]
        P4["보정된 점수<br/>s_cal = max((s_obs - τ_α)/(s_max - τ_α), 0)"]
        P1 --> P2 --> P3 --> P4
    end

    subgraph AGG["집계 인식 보정"]
        A1["동일 순열을<br/>모든 레이어에 적용"]
        A2["집계 통계량의<br/>영가설 분포 생성"]
        A3["다중비교 보정된<br/>p-값 및 효과 크기"]
        A1 --> A2 --> A3
    end

    subgraph RESULT["보정 후 결과"]
        R1["CKA 전역 수렴<br/>→ ❌ 소실"]
        R2["mKNN 국소 정렬<br/>→ ✅ 유지"]
    end

    W --> P1
    D --> A1
    P4 --> R1
    P4 --> R2
    A3 --> R1
    A3 --> R2

    style CONFOUNDERS fill:#ffe6e6
    style CALIBRATION fill:#e6f0ff
    style AGG fill:#e6ffe6
    style RESULT fill:#fff0e6

핵심 구성요소

1. 너비 교란의 수학적 특성화 (Width Confounder)

X ∈ ℝ^(n×d_x)와 Y ∈ ℝ^(n×d_y)가 독립이고 행이 i.i.d., 평균 0, 단위 공분산일 때, 정규화된 교차공분산 행렬 C̃의 프로베니우스 노름 제곱의 기대값은:

𝔼_H₀[‖C̃‖²_F] = d_xd_y/(n-1)

이는 CKA와 같은 스펙트럼 메트릭의 영가설 기대값이 0이 아니라 d/n에 비례하여 증가함을 의미한다. 랜덤 행렬 이론에 따르면, 고차원 영역(d ~ n)에서 영가설 특이값 스펙트럼이 d/n 비율에 의존하는 “노이즈 벌크”로 집중된다.

대조적으로, mKNN의 영가설 기대값은:

𝔼_H₀[mKNN(X, Y)] = k/(n-1)

고정된 k ≪ d이므로 이웃 메트릭은 너비 교란에 훨씬 덜 민감하다.

2. 깊이 교란의 다중비교 분석 (Depth Confounder)

S_{ℓ,ℓ’} = s(X_ℓ^(A), Y_{ℓ’}^(B))로 레이어 쌍의 유사도를 정의하면, T_max = max_{ℓ,ℓ’} S_{ℓ,ℓ’}로 요약 시 호프딩 부등식과 합집합 한계에 의해:

𝔼_H₀[T_max] ≤ μ + C·σ·√(log M)

M = L_A × L_B가 깊은 모델일수록 커지므로, 진짜 정렬과 무관하게 최대 유사도가 팽창한다.

3. 순열 기반 영가설 보정 (Permutation-Based Null Calibration)

K개의 순열 π_k를 균일하게 추출하여 영가설 점수 s^(k) = s(X, π_k(Y))를 계산하고, 관측 점수와 결합한 순서 통계량에서 임계값 τ_α를 설정한다. 보정된 점수 s_cal은 τ_α 이하일 때 0, s_max일 때 1이 되어, 편향 없는 효과 크기를 제공한다.

교환가능성 가정 하에서 p-값은 초균일(super-uniform)이며, ℙ_H₀(p ≤ α) ≤ α가 유한표본에서 보장된다(Corollary 5.1).

4. 집계 인식 보정 (Aggregation-Aware Calibration)

레이어 쌍 전체에서 최대값을 선택하는 분석 파이프라인에서는, 동일한 순열을 모든 레이어에 적용하여 집계 통계량 T^(k) = T(S^(k))의 영가설 분포를 생성한다. 이로써 다중비교 팽창이 영가설 분포 자체에 반영되어, 깊이 교란이 자동으로 보정된다. 항목별(entry-wise) 보정 후 최대값을 선택하는 순진한 방법은 여전히 팽창을 보이지만, 집계 인식 보정은 이를 완전히 제거한다.

발견 (Findings)

주요 결과

실험 설정	메트릭	보정 전 경향	보정 후 경향	핵심 결론
합성 데이터 H₀	CKA	d/n 비례 증가	0	너비 교란 확인
합성 데이터 H₀	mKNN (k=10)	k/n (미미)	0	이웃 메트릭 편향 작음
합성 깊이 스윕	max CKA	L 증가 시 팽창	안정	깊이 교란 확인
204 비전-언어 쌍	CKA	모델 크기 ↑ → 정렬 ↑	경향 소실	전역 수렴은 아티팩트
204 비전-언어 쌍	mKNN	모델 크기 ↑ → 정렬 ↑	경향 유지	국소 수렴은 진짜
204 비전-언어 쌍	CKA-RBF (작은 대역폭)	—	정렬 없음	거리 구조는 불일치
VideoMAE-언어	mKNN	—	VideoMAE-Huge 최강 정렬	비디오에서도 국소 수렴

핵심 발견

전역 수렴은 통계적 아티팩트였다. 204개 비전-언어 모델 쌍(WIT 데이터셋, 1024 이미지-캡션 쌍)에서, Huh et al.(2024)이 보고한 CKA의 모델 크기-정렬 양의 상관관계를 재현한 뒤, 순열 기반 보정을 적용했다. 보정 후, CKA의 체계적 증가 경향은 완전히 사라졌으며, 이는 보고된 전역 수렴이 너비 교란(d/n ∈ [0.75, 8])에 의해 구동되었음을 시사한다.

국소 이웃 수렴은 진짜다. 동일한 204개 모델 쌍에서 mKNN, cycle-kNN, CKNNA(k=10) 등 이웃 기반 메트릭은 보정 후에도 유의미한 교차모달 정렬을 유지했으며, 모델 크기와의 양의 상관관계도 존재했다. Benjamini-Hochberg FDR 보정 후에도 유의성이 유지되었다.

수렴은 이웃 관계이지 거리가 아니다. CKA-RBF를 작은 대역폭으로 적용하면(국소 거리 구조 측정), 정렬이 관찰되지 않았다. 이는 모달리티 간 공유되는 것이 “누가 누구와 가까운가”라는 순서 관계이지, 구체적인 거리 값이 아님을 의미한다.

비디오 모달리티에서도 패턴이 반복된다. VideoMAE(base/large/huge)와 언어 모델 간의 비교에서도, 보정된 CKA는 경향이 없었으나 mKNN은 스케일링 경향을 보였으며, VideoMAE-Huge가 가장 강한 정렬을 보였다.

이론적 의의

표현 유사성 측정의 패러다임 전환

이 논문은 “모델 A와 B의 표현이 얼마나 유사한가?”라는 질문 자체가 메트릭 선택과 통계적 보정에 근본적으로 의존한다는 것을 보여준다. 특히, 모델 크기를 변수로 하는 스케일링 분석에서는 너비/깊이 교란이 체계적으로 결과를 왜곡할 수 있다. 순열 기반 영가설 보정은 메트릭에 구애받지 않는(metric-agnostic) 범용 도구로서, 향후 표현 유사성 연구의 필수 기준선이 될 것이다.

플라톤에서 아리스토텔레스로 — 수렴 가설의 정제

플라톤적 가설의 “현실의 공유된 통계적 모델로의 전역 수렴”을, “공유된 국소 이웃 관계로의 수렴”으로 정제한다. 이는 플라톤의 보편적 이데아(전역 기하)에서 아리스토텔레스의 개별 형상(국소 관계)로의 철학적 전환에 비유된다. 모달리티 간에 공유되는 것은 **위상적 구조(topological structure)**이지 **계량적 구조(metric structure)**가 아니라는 구분은, 멀티모달 학습의 이론적 기초를 재정립한다.

고차원 통계와 딥러닝 해석의 교차점

너비 교란의 O(d/n) 스케일링은 랜덤 행렬 이론의 고전적 결과(Marchenko-Pastur 분포)와 직접 연결되며, 딥러닝 모델의 표현 분석에서 고차원 통계의 함정을 경계해야 함을 상기시킨다.

재현성 및 신뢰도 평가

항목	등급	비고
코드 공개	✅	GitHub 공개, 프로젝트 페이지 제공
데이터 공개	✅	WIT(공개 데이터셋), 합성 데이터는 논문 내 완전 기술
하이퍼파라미터	✅	K=200 순열, α=0.05, k=10, n=1024, d/n 범위 등 완전 보고
실험 환경	✅	합성 실험의 n, d 스윕 범위, 분포 종류(Gaussian, Student-t, Laplace) 상세 기술
통계적 신뢰도	✅	유한표본 타당성 증명(Corollary 5.1), Benjamini-Hochberg FDR 보정, Type-I 오류율 보고
종합 등급	A	이론적 증명과 통계적 엄밀성이 뛰어남, 재현에 필요한 모든 세부사항 보고

주장별 신뢰도

#	주장	근거	신뢰도
1	CKA의 영가설 기대값이 d/n에 비례한다	Proposition 4.1 수학적 증명 + 합성 실험 확인	🟢
2	mKNN의 영가설 기대값이 k/n에 비례한다	Proposition 4.2 수학적 증명 + 합성 실험 확인	🟢
3	보정 후 CKA 전역 수렴이 소실된다	204개 모델 쌍에서 보정 전후 비교 (Section 5.3)	🟢
4	보정 후 mKNN 국소 정렬이 유지된다	204개 모델 쌍 + FDR 보정 (Section 5.3)	🟢
5	거리 구조는 모달리티 간 공유되지 않는다	CKA-RBF 작은 대역폭 실험 (Section 5.3)	🟡
6	국소 이웃 수렴이 하류 과제 성능과 관련된다	직접적 증거 제시되지 않음, 열린 질문으로 남김	🔴

읽기 난이도: ⭐⭐⭐

순열 테스트 이론, 고차원 통계(랜덤 행렬 이론), 다중비교 보정(FDR), 표현 유사성 메트릭(CKA, mKNN, CCA) 등 다양한 수리통계학 배경지식이 필요하다. 수학적 엄밀성이 높아 정리/보조정리의 증명을 따라가려면 상당한 노력이 필요하나, 핵심 직관(모델이 크면 점수가 자동으로 올라간다)은 명쾌하다.

축	본 논문 (Gröger et al., 2026)	PRH (Huh et al., 2024)	Debiased CKA (Murphy et al., 2024)	Distance Concentration (Beyer et al., 1999)
핵심 접근	순열 기반 영가설 보정으로 교란 제거 후 재분석	커널 정렬 + PMI 이론으로 수렴 설명	CKA 특이적 통계적 편향 보정	고차원에서 거리 의미 상실의 이론적 분석
문제 정의	보고된 수렴이 아티팩트인가 진짜인가?	왜 표현이 수렴하며 어디로 수렴하는가?	CKA 메트릭의 편향은 얼마나 큰가?	고차원에서 최근접 이웃은 의미있는가?
데이터	WIT 1024쌍, 합성 데이터, VideoMAE	Places-365, WIT, CIFAR-10	다양한 모델 쌍	이론적 분석
핵심 메트릭	보정된 CKA, mKNN, p-값	mutual NN (max 0.16)	debiased CKA	거리 비율 (max/min)
확장성	204 모델 쌍 + 비디오 확장	78 비전 모델 + 교차모달	CKA에만 적용	이론적
한계	k 선택 민감도, 비전-언어 외 모달리티 미검증	정렬 점수 해석 불확실, bijective 가정	CKA에만 한정	실제 모델 표현에 미적용
코드 공개	⚠️	✅	✅	N/A

원자적 인사이트 (Zettelkasten)

💡 모델이 크면 유사도 점수가 자동으로 올라간다 (너비 교란)

출처: Revisiting the Platonic Representation Hypothesis - An Aristotelian View (Gröger et al., 2026)
유형: 방법론적

CKA와 같은 상호작용 행렬 기반 유사도 메트릭은, 두 표현이 완전히 독립적이더라도 영가설 기대값이 d_xd_y/(n-1)로 0이 아니다. 임베딩 차원 d가 샘플 수 n에 비해 클수록(d/n 비율 증가) 이 편향이 커지며, 더 큰 모델(더 넓은 임베딩)이 자동으로 더 높은 유사도 점수를 받게 된다. 이는 “모델이 클수록 표현이 수렴한다”는 주장에 대해, 얼마나가 진짜 수렴이고 얼마나가 통계적 아티팩트인지를 구분해야 함을 시사한다.

핵심 조건/맥락: d/n > 1인 고차원 영역에서 특히 심각. d/n ≪ 1이면 편향이 미미해진다. 이웃 메트릭(mKNN)은 O(k/n)으로 훨씬 덜 영향받음.
연결: 랜덤 행렬 이론 (Marchenko-Pastur 분포), 고차원 거리 집중 (Beyer et al., 1999)
활용 가능성: 표현 유사성을 보고하는 모든 연구에서 영가설 보정을 표준 관행으로 도입. 특히 모델 크기 스케일링 실험에서 필수적.

💡 전역 수렴 vs 국소 수렴 — 수렴의 단위(granularity)가 중요하다

출처: Revisiting the Platonic Representation Hypothesis - An Aristotelian View (Gröger et al., 2026)
유형: 이론적

표현의 “수렴”을 말할 때, 전역 기하(global geometry, 전체 공간의 구조)와 국소 위상(local topology, 이웃 관계)은 근본적으로 다른 속성이다. 보정 실험에서 CKA(전역 스펙트럼)는 수렴이 사라지고 mKNN(국소 이웃)은 수렴이 유지되었다. 이는 서로 다른 모달리티의 모델이 “누가 누구와 가까운가”라는 순서 관계만 공유하고, 구체적인 거리나 방향은 공유하지 않음을 의미한다. 따라서 “표현이 수렴한다”는 주장의 해석은 어떤 수준의 구조적 유사성을 의미하는지에 따라 달라진다.

핵심 조건/맥락: k=10으로 이웃을 정의한 실험 결과에 기반. k 값에 따라 “국소”의 범위가 달라지며, 결과에 영향을 미칠 수 있음.
연결: The Platonic Representation Hypothesis, 위상적 데이터 분석(TDA), persistent homology
활용 가능성: 멀티모달 모델의 정렬을 평가할 때, 전역 메트릭과 국소 메트릭을 분리하여 보고하는 관행 수립. 국소 정렬이 하류 과제 전이에 충분한지 연구 가능.

💡 순열 기반 영가설 보정 — 메트릭에 구애받지 않는 범용 도구