Reasoning Abilities of Large Language Models: In-Depth Analysis on the Abstraction and Reasoning Corpus

읽기 판단

훑기 · confidence: medium

LoTH(Language of Thought Hypothesis) 세 축으로 LLM 추론을 과정 중심으로 쪼갠 실험 설계는 그 자체로 재사용 가능한 평가 프레임이라, 평가 방법론에 관심이 있다면 값어치가 있다. 다만 평가 대상이 GPT-4-32k / GPT-4o라는 2024년 시점 스냅샷이어서 이후 reasoning 특화 모델에 결론을 그대로 확장할 수 없다. 전문 정독보다는 Sec. 3의 실험 설계와 Table 1–4를 확인하는 편이 효율적이다.

1분 요약

• 문제: 기존 LLM 추론 평가는 최종 정답의 정오만 보는 results-centric 방식이라 추론 과정 자체를 평가하지 못한다.
• 핵심 아이디어: Language of Thought Hypothesis의 세 성분(논리적 일관성 · 구성성 · 생산성)을 ARC 벤치마크 위에서 각각 별도 실험으로 조작화한다.
• 새로움: augmented example 재현성 테스트(Logical Coherence), DSL 함수 선택 과제(Compositionality), Inverse Transformation Prompting으로 unseen task 생성(Productivity)이라는 3종 실험 설계.
• 가장 강한 근거: 세 실험 모두 인간 baseline과 직접 비교된다. 예컨대 compositionality에서 인간 86% 대 GPT-4o 최대 14% (Table 2).
• 가장 큰 주의점: 평가 모델이 GPT-4-32k / GPT-4o에 한정된 2024년 스냅샷이라, 이후 세대 reasoning 모델에 결론이 그대로 적용되는지는 이 논문 범위 밖이다.

핵심 아이디어

LLM 추론 능력 평가는 대부분 최종 정답의 정오만 확인한다. 그래서 모델이 맞는 답을 낸 과정이 실제로 논리적이었는지, 우연히 맞은 것인지 구분할 수 없다는 것이 저자들의 출발점이다 (Sec. 2.1).

저자들은 인지과학의 Language of Thought Hypothesis(LoTH)를 빌려와, 사고가 언어처럼 갖춰야 할 세 성질을 평가 축으로 채택한다. Logical Coherence는 같은 규칙을 다른 사례에도 일관되게 적용하는가, Compositionality는 하위 요소를 조합해 새 구조를 만들 수 있는가, Productivity는 유한한 규칙으로 무한히 새로운 표현을 생성할 수 있는가를 묻는다.

세 축을 ARC 위에서 각각 별도 실험으로 조작화한 것이 이 논문의 실질이다. 이미 푼 task를 Re-ARC로 augment해 같은 규칙의 새 예제에서도 여전히 푸는지 재검사하고(Logical Coherence, Sec. 3.1), 사전 정의된 Python DSL 함수 목록에서 풀이에 필요한 함수를 골라 조합하게 하며(Compositionality, Sec. 3.2), 저자들이 제안한 Inverse Transformation Prompting(ITP)으로 규칙을 따르는 새 task를 생성하게 한다(Productivity, Sec. 3.3). 각 실험은 인간 baseline 또는 인간이 판정한 validity와 직접 비교된다.

무엇을 했나

• 벤치마크: ARC, Re-ARC 프로그램적 augmentation, ConceptARC 16개 카테고리. grid 1×1~30×30, 최대 10색. object 정보는 PnP algorithm으로 추출.
• 모델: Logical Coherence 실험은 GPT-4-32k, Compositionality·Productivity 실험은 GPT-4o.
• Logical Coherence (Sec. 3.1): Chain of Thought / Least-to-Most / Tree of Thought 3개 프롬프트 기법으로 evaluation task 100개를 각 5회 반복 풀이. 풀린 task마다 Re-ARC로 100개씩 유사 example을 생성해 재현성 검사. training set 400 task 대상.
• Compositionality (Sec. 3.2): 10 DSL step 이내로 풀리는 task 158개, Python DSL 함수 19개를 설명과 함께 제공. test output 제공 여부 × human description 제공 여부의 2×2 조건, 조건당 10회 반복. 전용 도구를 쓴 인간 참가자 7명과 비교.
• Productivity (Sec. 3.3): ConceptARC 160개 task에 ITP를 적용해 2,913개 example pair 생성. 각 생성물의 규칙 준수(validity)는 사람이 판정.
• 참고 baseline: ARC 인간 평균 정확도 80%, 논문 시점 최고 AI 모델 40–55%, 기존 LLM(GPT-4, PaLM) 10–20%.
• 코드·자료: https://bit.ly/Prompt-ARC, https://llm-on-arc.pages.dev/

핵심 근거

주장	근거 위치	관찰/수치	조건·주의	claim_origin
프롬프트 기법 간 차이는 있으나 전반적으로 낮고, 과정까지 옳은 비율은 더 낮다	Table 1 (Sec. 3.1.2)	CoT 10.2%(과정 정답 4.0%), Least-to-Most 5.6%(3.0%), Tree of Thought 6.2%(2.4%)	GPT-4-32k, evaluation task 100개 × 5회 반복	author-stated
이미 푼 task라도 augment된 유사 example에서 일관성이 무너진다	Sec. 3.1.3	task의 57.8%가 augmented example 정확도 10% 미만. 8개 task만 0.6 이상. multi-concept task 17개는 0%	Re-ARC는 training set만 augment 가능(evaluation set 불가)	author-stated
정보를 더 줘도 compositionality는 인간과 큰 격차	Table 2 (Sec. 3.2.2)	둘 다 없음 3%, test output만 9%, description만 8%, 둘 다 14%. 인간 baseline 86%	GPT-4o, DSL 19개, task 158개, 조건당 10회	author-stated
DSL을 완벽히 이해한다고 가정해도 격차가 남는다	Table 3 (Sec. 3.2.3)	추정 정확도 둘 다 없음 5%, 둘 다 있음 29%. 단일 DSL step 정확도는 약 81% (Figure 13)	실제 관측치가 아니라 DSL 오독을 배제한 가상 추정값	analyst-inference
ITP로 생성한 unseen task 중 유효한 것은 소수	Table 4 (Sec. 3.3.2)	전체 2,913개 중 유효 생성 17.12%. 카테고리별 2.61%(Copy) ~ 45.36%(Clean Up)	validity는 사람 판정, ConceptARC 16개 카테고리	author-stated

어디까지 믿을까

• 저자가 인정한 한계 (author-stated): ARC 자체가 human-level problem-solving을 재는 벤치마크로서 갖는 한계를 Appendix A.3에서 따로 논의한다(“Will the Model Possess Human-Level Problem-Solving Abilities?”, “Will the Model Think Like Humans?”). Re-ARC는 training set만 augment할 수 있고 evaluation set에는 쓸 수 없다. ConceptARC 카테고리 내부의 task 다양성이 ITP validity에 영향을 준다. 일부 task는 입력이 유일하게만 가능해 생성 유연성이 제한된다.
• 분석자의 해석 (analyst-inference): 시효성이 가장 큰 제약이다. 평가 모델이 GPT-4-32k / GPT-4o라는 2024년 세대에 한정되므로, 이후 등장한 reasoning 특화 모델까지 결론이 일반화되는지는 이 논문만으로 판단할 수 없다. 또한 DSL 함수 19개라는 고정된 선택 집합이 compositionality 결과의 하한을 결정할 수 있어, 다른 DSL 설계에서도 같은 격차가 재현되는지는 불확실하다. Table 3의 추정치는 관측이 아니라 가정 위의 계산이므로 인용할 때 구분이 필요하다.
• 읽지 못한 범위 (unknown): seed, temperature, API 스냅샷 버전 등 재현에 필요한 세부 설정과 결과 간 통계적 유의성 검정 수행 여부는 확보한 본문 범위에서 확인되지 않는다.

원문 읽기 지도

읽는 목적	먼저 볼 곳	확인할 질문
Logical Coherence 논거를 확인하려면	Table 1 + Sec. 3.1.2–3.1.3	정답률과 과정 정답률의 격차, augmented example에서 정확도가 급락하는 이유는?
격차의 원인을 가르려면	Table 2, Table 3 + Sec. 3.2.2–3.2.3	낮은 점수가 정보 부족 탓인가 근본적 조합 능력 한계 탓인가? DSL 오독 유형은 무엇인가?
생성 실패 양상을 보려면	Table 4 + Sec. 3.3.2–3.3.3	카테고리별 유효 생성률이 2.61%~45.36%로 벌어지는 원인은?
결론의 일반화 범위를 판단하려면	Appendix A.3 + Sec. 4.3	ARC가 human-level AI 벤치마크로서 갖는 한계를 저자들이 어디까지 인정하는가?

읽기 전 용어

• LoTH (Language of Thought Hypothesis): 사고가 언어처럼 논리적 일관성 · 구성성 · 생산성을 갖춘 구조라는 가설. 이 논문의 3대 평가축이다.
• Re-ARC: 이미 푼 ARC training task와 같은 규칙을 따르는 새 example을 프로그램적으로 대량 생성하는 도구. Logical Coherence 실험의 핵심 장치다.
• ITP (Inverse Transformation Prompting): 저자들이 제안한, 주어진 규칙을 따르는 unseen ARC task를 LLM이 생성하도록 유도하는 프롬프트 기법.

Wiki 연결

• ARC-AGI - Abstraction and Reasoning Corpus ⭐ — 이 논문이 평가 기반으로 삼은 벤치마크 자체.
• Chain-of-Thought Prompting Elicits Reasoning in Large Language Models — Table 1에서 비교된 세 프롬프트 기법 중 기준선. 여기서는 정답률뿐 아니라 과정 정답률까지 쪼개 본다.
• Hypothesis Search - Inductive Reasoning with Language Models — 같은 ARC에서 “가설을 명시적으로 생성하면 나아진다”를 보인 대조군. 이 논문의 부정적 진단과 나란히 읽으면 좋다.

BibTeX

@article{lee2025reasoning,
  title   = {Reasoning Abilities of Large Language Models: In-Depth Analysis on the Abstraction and Reasoning Corpus},
  author  = {Lee, Seungpil and Sim, Woochang and Shin, Donghyeon and Seo, Wongyu and Park, Jiwon and Lee, Seokki and Hwang, Sanha and Kim, Sejin and Kim, Sundong},
  journal = {ACM Transactions on Intelligent Systems and Technology},
  year    = {2025},
  doi     = {10.1145/3712701},
  eprint  = {2403.11793},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CL}
}