System-2 Reasoning via Generality and Adaptation
판본 주의
arXiv:2410.07866의 v1(2024-10-10, 본 제목, NeurIPS 2024 Workshop on System 2 Reasoning At Scale 채택)은 네 갈래 연구 방향(human intention 학습 / symbolic-neural 결합 / meta-learning / RL)을 제시했다. 현재 최신판 v5(2025-08-13)는 “System 2 Reasoning for Human-AI Alignment: Generality and Adaptivity via ARC-AGI”로 개제되고 세 axis 구조로 재구성됐다. 아래 요약은 v5 기준이다.
읽기 판단
훑기 · confidence: medium
position paper로 새 실험 결과는 없고, 기존 program synthesis/LLM/transformer 문헌을 System 2 reasoning의 두 축(generality·adaptivity)으로 재배치한 정리·제안 글이다. Table 1과 세 axis, 그리고 정식화(G/A)만 확인하면 핵심을 파악할 수 있어 완독보다 훑기가 효율적이다. 단 동일 arXiv ID가 v1과 v5에서 서로 다른 논증 구조를 담고 있어, 인용 시 어느 판본을 참조하는지 반드시 확인해야 한다.
1분 요약
- 문제: transformer 기반 모델이 ARC-AGI류 과제에서 compositional generalization과 novel-rule adaptation 모두에 부족해 System 2 reasoning에 미치지 못한다
- 핵심 주장: generality G(M,T,K)와 adaptivity A(M,T,K,E)를 형식적으로 분리해, 두 능력을 동시에 갖추도록 reasoning pipeline과 그 평가 방식을 개편해야 한다
- 새로움·기여: program synthesis/LLM/transformer 세 계열을 Table 1로 비교하고, symbolic abstraction·interactive feedback·test-time augmentation 세 연구 axis와 ARC-AGI 평가 suite 개편안을 제안
- 가장 강한 근거: “최고 성능 모델도 ARC-AGI-2에서 약 15% 정확도”라는 수치 인용과 axis별 다수 선행연구(ARC-KG, MARC, CodeIt 등) 나열
- 가장 큰 주의점: 새 실험 검증 없이 기존 문헌을 사후적으로 세 축에 재배치한 position paper이며, v1과 v5의 내용이 서로 다르다
핵심 아이디어
기존 논의는 System 2 reasoning의 실패를 하나로 뭉뚱그려 진단해왔다. 저자들은 ARC-AGI류 과제에서 관찰되는 부족함이 사실 서로 다른 두 능력의 결핍이라고 보고 이를 분리한다. Generality G(M,T,K)=(1/N)ΣP(T_i|K)는 task-specific tuning 없이 사전지식 K만으로 다양한 과제 T를 푸는 능력이고, Adaptivity A(M,T,K,E)=(1/N)ΣP(T_i|K,E_i)는 환경·피드백 E_i가 주어졌을 때 행동을 수정하는 능력이다. 두 식은 조건항에 E의 유무만 다르며, “안 배운 원리도 K로 푼다”와 “풀다가 피드백을 받아 고친다”를 갈라놓는 장치다.
ARC-AGI가 시험대로 선택된 이유는, 각 과제가 소수의 demonstration만 제공하고 매번 새로운 변환 규칙을 요구해 암기로는 풀 수 없기 때문이다. 즉 K만으로 새 과제에 대응하는 generality와, 시행착오로 가설을 수정하는 adaptivity가 동시에 그리고 분리된 형태로 노출되는 벤치마크라는 논증이다.
세 axis는 각각 다른 결핍을 겨냥한다. Symbolic task abstraction(axis 1)은 픽셀 수준 상관에 갇힌 generality 결핍을, interactive feedback-driven reasoning(axis 2)은 가설을 수정하지 못하는 adaptivity 결핍을, test-time task augmentation(axis 3)은 정적 학습만으로는 부족하다는 문제의식 아래 두 능력의 균형과 robustness를 겨냥한다.
무엇을 했나
- program synthesis, LLM, structure-biased transformer 세 접근 계열을 ARC 맥락에서 문헌 정리
- Table 1로 세 계열의 Generalization/Adaptation을 정성 기호로 비교(Program Synthesis=partial/partial “Limited by pre-defined DSLs”, LLMs=strong/partial, Transformers=partial/none)
- 세 axis 제안과 axis별 exemplar 인용 — axis 1: ARC-KG, PeARL, CompressARC, Latent Program Networks, IntentionLearning / axis 2: ConceptSearch, 멀티에이전트 LLM 프레임워크, CodeIt, REx / axis 3: MARC, BARC, LLM ARChitect, ARC Prize 2024 상위 팀
- ARC-AGI 평가 suite를 symbolic generality·feedback adaptivity·task-level robustness 세 축을 추적하도록 개편할 것을 제안(구체적 신규 metric 설계 세부는 [위치 미확인])
- 판본 재구성: v1의 네 갈래 방향(human intention 학습·symbolic-neural 결합·meta-learning·RL)이 v5에서 generality/adaptivity 두 축과 위 세 axis로 재편되고 “Human-AI Alignment” 프레이밍이 추가됨
핵심 근거
(source coverage: section-extract — v5 HTML과 v1 abs 페이지의 구조화 추출. position paper이므로 아래는 실험 결과가 아니라 저자가 동원한 근거의 종류다.)
| 주장 | 근거 위치 | 관찰/근거 | 조건·주의 | claim_origin |
|---|---|---|---|---|
| 최고 성능 모델도 ARC-AGI-2에서 약 15% 정확도에 그친다 | Background 절 [세부 위치 미확인] | “around 15% accuracy on ARC-AGI-2” | 저자가 인용한 벤치마크 수치. 원출처 문헌·측정 조건은 미확인 | author-stated |
| Program synthesis는 사전정의 DSL에 제약되어 generality·adaptivity 모두 partial | Table 1 + Challenges 절 | 기호 “partial/partial”, note “Limited by pre-defined DSLs” | 저자의 정성 기호. 채점 기준이 본문에 명시되지 않음 | author-stated |
| LLM은 strong generality이나 adaptivity는 partial | Table 1 | 기호 “strong/partial” | 정성 표. 근거는 문헌 종합이며 원저자 실험이 아님 | author-stated |
| test-time training으로 소형 모델도 대형 baseline을 능가할 수 있다 | Axis 3 절 (MARC 인용) | “even small models can outperform much larger baselines when equipped with adaptive inference capabilities” | 타 문헌 요약 서술. 원논문 수치 자체는 재확인되지 않음 | author-stated |
| symbolic abstraction·feedback integration·robust adaptation 없이는 AI가 narrow domain에 갇힌다 | Conclusion | ”Without structured abstraction, active feedback integration, and robust adaptation, AI will remain confined to narrow domains, regardless of scale” | 저자의 논증적 결론. 실험적 검증 없는 position 주장 | author-stated |
어디까지 믿을까
- 저자 명시 한계 (
author-stated): 현재 모델들이 “structural priors나 대규모 데이터로 익숙한 분포 내에서는 일반화하지만 새롭거나 동적으로 변하는 과제에는 유연하게 대응하지 못하며” 가설을 거의 수정하지 않는다고 진단한다. 다만 이는 자기 논문의 한계가 아니라 분야 전반에 대한 진단이다. - 분석자 판단 (
analyst-inference): 별도 limitations 절이 확인되지 않았고, 세 axis는 새 실험 검증 없이 기존 문헌을 사후적으로 재분류한 성격이 강하다. Table 1의 partial/strong/none은 정성 기호로 채점 기준이 본문에 명시되지 않아 저자 주관이 개입했을 가능성이 있다. v1→v5의 개제·재구성 때문에 “NeurIPS 워크숍 채택”이라는 이력이 현재 판본의 내용을 그대로 보증하지는 않는다. - 미확인 범위 (
unknown): 정확한 참고문헌 번호, Figure 1 이외 도표, ARC-AGI-2 약 15% 수치의 1차 출처, limitations 절의 실제 부재 여부는 이번 추출 범위에서 확인되지 않았다.
원문 읽기 지도
| 우선순위 | 먼저 볼 곳 | 확인할 질문 | 왜 중요한가 |
|---|---|---|---|
| 1 | Background 절의 G(M,T,K)/A(M,T,K,E) 정식화 | 두 수식이 실제로 어떤 실패 모드에 대응하도록 설계됐는가 | 논문의 핵심 이론적 기여 |
| 2 | Table 1 (Challenges of System 2 Reasoning in ARC) | strong/partial/none 판정 기준이 본문에 근거되어 있는가 | 정성 비교표의 신뢰도를 좌우 |
| 3 | Axis 1–3 절의 인용 exemplar 목록 | 각 axis가 얼마나 최근·포괄적인 연구를 커버하는가 | 제안된 세 axis의 완결성 판단 |
| 4 | Conclusion 문단 | ”scaling이 아니라 abstraction·adaptation·interactive learning”이라는 결론이 앞선 근거로 뒷받침되는가 | position 주장의 논증 강도 확인 |
읽기 전 용어
- System 2 reasoning — “slow, deliberate, and logical”한 명시적 추론. 빠르고 자동적인 연상 처리(System 1)와 대비되는 인지과학의 이원 개념.
- Test-time training (TTT) — 추론 시점에 task-specific augmentation이나 내부 피드백으로 모델을 계속 학습·미세조정하는 기법.
- DSL (Domain-Specific Language) — program synthesis 접근에서 미리 정의된 변환 연산 집합. 논문이 generality·adaptivity의 제약 요인으로 지목한다.
Wiki 연결
- ARC-AGI - Abstraction and Reasoning Corpus ⭐ — 이 논문이 System 2 reasoning의 시험대로 삼는 벤치마크 자체
- Diffusion-Based Offline RL for Improved Decision-Making in Augmented ARC Task — 같은 GIST DS Lab의 RL 기반 ARC 접근. v1이 제시한 RL 방향과 axis 3의 구현 사례에 해당한다
- The Othello AI Arena - Evaluating Intelligent Systems Through Limited-Time Adaptation to Unseen Boards — 같은 lab의 adaptivity 평가 프레임워크. adaptivity 축과 방법론적으로 연결된다
- Hypothesis Search - Inductive Reasoning with Language Models — axis 2(피드백 기반 가설 수정)와 직접 맞닿는 LLM 추론 방법론
- Program Synthesis with Large Language Models — Table 1의 program synthesis/LLM 계열 비교와 연결되는 배경 문헌
BibTeX
@article{kim2024system2,
title = {System-2 Reasoning via Generality and Adaptation},
author = {Kim, Sejin and Kim, Sundong},
journal = {arXiv preprint arXiv:2410.07866},
note = {NeurIPS 2024 Workshop on System 2 Reasoning At Scale; later revised and retitled "System 2 Reasoning for Human-AI Alignment: Generality and Adaptivity via ARC-AGI"},
year = {2024},
url = {https://arxiv.org/abs/2410.07866}
}