왜 이 연구를 하는가?
기존 벤치마크의 한계
기존 AI 벤치마크(ImageNet, GLUE, SuperGLUE 등)는 대규모 데이터 기반 패턴 매칭 능력을 측정한다. LLM이 이런 벤치마크를 “풀어버린” 현재, 두 가지 근본적 질문이 남는다:
- 일반화 vs. 암기: 높은 벤치마크 점수가 진정한 이해를 반영하는가?
- 지능의 정의: “지능”을 어떻게 정량적으로 측정할 것인가?
ARC의 철학적 입장
Chollet은 지능 = 스킬 습득 효율성이라 정의한다. 이미 학습된 스킬을 평가하는 것이 아니라, 새로운 태스크를 최소한의 경험으로 얼마나 빠르게 해결하는가를 측정해야 한다는 것이다. ARC는 이를 위해:
- 각 태스크가 고유한 변환 규칙을 가짐 (암기 불가)
- 데모 예시 2–5개만 제공 (few-shot)
- 인간의 Core Knowledge 체계만 전제 조건으로 가정
방법 (Method)
평가 프로토콜
flowchart LR A["태스크 로드<br/>task.json"] --> B["Train Demos<br/>2-5 쌍 관찰"] B --> C["변환 규칙<br/>추론/추상화"] C --> D["Test Input에<br/>규칙 적용"] D --> E["Output Grid<br/>생성"] E --> F{"Exact Match?"} F -->|일치| G["✓ 정답"] F -->|불일치| H["✗ 오답"]
Core Knowledge Priors (전제 조건)
Chollet이 정의한 인간 선천 지식 체계로, ARC 태스크 설계의 기반이 된다:
| Prior | ARC에서의 예시 |
|---|---|
| Objectness | 연결된 같은 색상 셀을 하나의 객체로 인식 |
| Goal-directedness | 변환의 “의도”를 파악 |
| Numbers & Counting | 객체 수 세기, 크기 비교 |
| Basic Geometry | 회전, 대칭, 확대/축소 이해 |
ARC-AGI-2 (2025)
2025년 발표된 ARC-AGI-2는 더 어려운 버전으로, 기존 ARC를 풀기 시작한 시스템에 대한 상한선을 높였다. 현재 SOTA ~4%로, AGI까지의 거리를 재확인시킨다.
발견 (Findings)
이론적 의의
지능 측정 프레임워크
ARC는 단순한 벤치마크를 넘어 지능의 정량적 측정 이론을 제시한다:
이 프레임워크에서:
- 높은 지능 = 적은 경험으로 넓은 범위의 태스크를 해결
- 낮은 지능 = 대규모 데이터로 좁은 범위의 태스크만 해결
AGI 연구에 대한 함의
- 벤치마크 설계 패러다임 전환: 정적 데이터셋 → 동적/생성적 평가
- Core Knowledge 기반 설계: 인간 인지 발달 이론과 AI 평가의 접점
- Memorization 방지: 각 태스크가 고유하므로 training set 암기가 무의미
- AI 안전성 연구와의 연결: 진정한 일반화 능력이 있어야 신뢰할 수 있는 AI 시스템 구축 가능