프로그램 추적과 수정: 시각 추론을 위한 비평가 유도 합성
읽기 판단
훑기 · confidence: medium
critic-guided 구조적 진단(Feedback Level × Strategy Level 적응 결합, champion-challenger 루프)이라는 설계 아이디어와 ablation(Table 5, critic 제거 시 전 backbone solved 0)은 근거가 명확해 프로그램 합성·ARC-AGI 방법론에 관심 있는 독자에게 훑어볼 값어치가 있다. 다만 헤드라인 solved 수치(159)가 Table 3의 개별 모델 결과(최고 32B=126)와 직접 재구성되지 않고 MASR 인용치도 본문 내에서 166/163으로 엇갈려, 정량 비교표를 그대로 인용하려면 원문 재확인이 필요하다.
1분 요약
- 문제: ARC-AGI용 LLM 프로그램 합성은 객체 카운팅·연산 순서 같은 미묘한 오류로 실패하는데, 기존 방법(진화적 탐색, 다중 에이전트)은 실패한 프로그램을 버리고 대규모 후보군을 “맹목적으로” 재탐색한다.
- 핵심 아이디어: 실패 프로그램을 폐기하지 않고 실행 trace를 분석해, pixel accuracy α 기준으로 구조화된 진단(Feedback Level)과 수정 강도(Strategy Level)를 짝지어 라우팅하고 champion-challenger 루프로 정확도를 단조 개선한다.
- 주요 결과: Qwen2.5-Coder 7B/14B/32B에서 zero-shot으로 과제당 평균 7–8샘플만 쓰고 800개 중 각각 47/77/126개를 해결(Table 3), DreamCoder(3000샘플) 대비 약 375–429배 샘플 절감(Eq. 3).
- 핵심 한계: 헤드라인 “159 solved”가 Table 3의 어떤 모델·집계에서 나오는지 본문에서 재구성되지 않고, Limitations의 MASR 166과 Table 4의 163이 불일치한다.
- 읽을 가치: 적응적 피드백–전략 결합 메커니즘 자체는 이식 가능한 설계지만, baseline 대비 solved 수는 표를 직접 대조하기 전에는 인용하지 않는 편이 안전하다.
핵심 아이디어
기존 ARC 프로그램 합성은 두 극단으로 나뉜다. DreamCoder류 신경-기호 탐색과 SOAR류 진화적 방법은 실패 프로그램을 버리고 수천~수만 후보를 재생성하며, MASR 같은 다중 에이전트 reflection도 구조화된 진단 없이 재시도한다. 저자들은 병목이 실패 프로그램의 실행 정보를 버리는 데 있다고 본다.
TCP의 통찰은 Evaluator(Critic Module)가 학습 쌍에 대해 프로그램을 실행해 pixel accuracy α(Eq. 1)와 verdict(EQUAL / SHAPE_MISMATCH / CONTENT_MISMATCH / RUNTIME_ERROR / TIMEOUT)를 얻고, 이 α 하나로 Feedback Level(진단 세밀도: Level 1 요약 ~ Level 3 픽셀 좌표 최대 10개)과 Strategy Level(수정 강도: complete rewrite ~ precision fix)을 동시에 정한다는 데 있다. 흥미로운 설계는 두 축이 역방향으로 결합된다는 점이다. α가 낮으면 피드백은 거칠지만 전략은 과감하고(전면 재작성), α가 높으면 피드백이 정밀해지고 전략은 미세 조정으로 좁아진다.
수정 루프는 champion-challenger 방식이라 새 후보가 현재 champion의 α를 엄격히 초과할 때만 교체되어 정확도 후퇴가 구조적으로 차단된다. 또 최근 3개 hypothesis를 프롬프트에 유지해 같은 오답 가설의 반복을 막고, 테스트 출력은 최종 평가에서만 사용해 ARC-AGI 프로토콜을 지킨다.
무엇을 했나
- ARC-AGI-1 공개 800개 과제(training 400 + evaluation 400) 전체를 zero-shot 평가, 과제별 파인튜닝 없음.
- Backbone: Qwen2.5-Coder-Instruct 7B/14B/32B. 실행 5초 timeout, 입력 grid 최대 30×30.
- 파이프라인: Program Generator → Evaluator(α·verdict) → Feedback/Strategy Selection(Table 2) → Refiner(champion-challenger), 최대 10회 반복.
- 샘플링 제어: strategy별 best-of-N(2~5개), temperature를 iteration·α에 따라 조정(τ_base = 0.4).
- 지표: solved(α=1.0), improved(부분 개선), failed(무개선), final accuracy(pass@1), iteration 효율.
- 비교·Ablation: DreamCoder·MASR·SOAR와 solved 수/평균 샘플 수 대조(Table 4, Fig. 5), 400과제에서 w/o Critic vs TCP static vs TCP with Critic(Table 5, Fig. 7).
핵심 근거
| 주장 | 근거 위치 | 관찰/수치 | 조건·주의 | claim_origin |
|---|---|---|---|---|
| TCP가 159개 과제를 풀고 개선율 최대 68.1% | Abstract, Table 4 | 159 correct, ~7–8 samples/task | Table 3의 backbone별 solved(7B 47 / 14B 77 / 32B 126)와의 대응 관계가 본문에 없음 | author-stated |
| DreamCoder 대비 375–429배 적은 샘플 | Eq. 3, Fig. 5–6 | 7–8샘플/과제 vs 3000샘플 | SOAR(6000×5)·MASR(2000 + QLoRA 파인튜닝)는 zero-shot이 아니거나 예산이 훨씬 커 대등 비교가 아님 | author-stated |
| 구조화된 critic 없이는 세 backbone 모두 solved 0 | Table 5 | 7B 0/149, 14B 0/102, 32B 0/145 (solved/improved) | 샘플링 횟수·temperature·종료 조건은 세 변형 간 동일 통제 | author-stated |
| adaptive critic은 solved를 올리지만 improved를 항상 낮춤 | Table 5 | static→adaptive improved: 7B 201→196, 14B 178→173, 32B 143→134 | 세 backbone 모두 같은 방향이나 저자가 이 패턴을 논의하지 않음 | analyst-inference |
| 인용 수치의 내적 불일치 | Limitations vs Table 4 vs Table 3 | MASR 166 vs 163; headline 159 vs 단일모델 최고 126 | 오탈자인지 집계 방식 차이인지 원문만으로 판단 불가 | unknown |
어디까지 믿을까
- 저자가 인정한 한계(author-stated): solved 절대 수는 SOAR(208)·MASR보다 낮지만 A100 1장, 중형 오픈 Qwen 모델, 과제당 수 분이라는 훨씬 낮은 예산으로 달성했다며 정확도 극대화가 아닌 효율성·해석가능성 축의 상호보완적 방법으로 자리매김한다. Critic의 α 임계값은 hand-designed이자 “empirically tuned”임을 인정하고 learned critic을 future work로 남긴다.
- 분석자의 우려(analyst-inference): 헤드라인 159가 Table 3(합산 250, 최고 단일 126)과 어떻게 연결되는지 경로가 없어 집계 정의 자체가 불투명하다. adaptive selection이 static 대비 solved를 늘리며 improved를 항상 줄이는 일관된 패턴은, 부분 개선 과제 일부를 희생해 일부를 완전 해결로 밀어붙이는 trade-off일 가능성을 시사한다.
- 확인 불가 범위(unknown): MASR 인용치 166/163 중 무엇이 맞는지 본문에 근거가 없다. Appendix(Algorithm 1 전문, 프롬프트 템플릿, 하이퍼파라미터 탐색, 하드웨어 사양, backbone 스케일링 상세)는 확보하지 못해 재현성 세부는 검증 불가다.
원문 읽기 지도
| 목적 | 먼저 볼 곳 | 확인할 질문 |
|---|---|---|
| 헤드라인 수치의 출처 확정 | Sec 4 Results 서두, Table 3·Table 4 인접 본문 | ”159 solved”는 어떤 backbone 조합·집계 방식(유니크 과제 합집합?)으로 산출됐는가? |
| 적응 선택의 부작용 판단 | Table 5, Sec 5 “Necessity of the critic” | adaptive가 static 대비 improved를 일관되게 낮추는 이유를 저자가 언급하는가? |
| baseline 비교 공정성 | Table 4 및 DreamCoder·MASR·SOAR 원 논문 | zero-shot TCP와 QLoRA 파인튜닝 MASR, 진화적 SOAR의 예산·설정이 대등한가? |
| 재현 가능성 확인 | Appendix(Algorithm 1, 프롬프트 전문, 하이퍼파라미터) | 실제 프롬프트 구조와 GPU-시간 예산은 얼마인가? |
읽기 전 용어
- Champion-Challenger Loop: 새 후보가 현재 최고 정확도(champion)를 엄격히 초과할 때만 교체하는 반복 개선 절차. 정확도의 단조 증가를 구조적으로 보장한다.
- Feedback Level / Strategy Level (F(α), S(α)): pixel accuracy 구간별로 진단의 세밀도(요약
픽셀 단위)와 수정의 과감함(전면 재작성정밀 수정)을 짝지어 고르는 적응 축. - Pixel-wise accuracy (α, Eq. 1): 생성 프로그램 출력과 정답 grid의 픽셀 일치 비율. verdict 판정과 Feedback/Strategy 라우팅의 기준 신호다.
Wiki 연결
- ARC-AGI - Abstraction and Reasoning Corpus ⭐ — 이 논문이 유일한 평가 대상으로 삼는 벤치마크의 정의와 설계 의도.
- Program Synthesis with Large Language Models — LLM 기반 프로그램 합성의 generate-and-test 기본선. TCP가 대체하려는 패러다임.
- Decomposing LLM Self-Correction - The Accuracy-Correction Paradox and Error Depth Hypothesis — 외부 실행 피드백 없이 LLM이 스스로 고칠 때의 실패 구조. TCP가 결정론적 critic을 붙인 이유의 대조군.
BibTeX
@inproceedings{rusli2026tcp,
title = {Tracing and Correcting Programs: Critic-Guided Synthesis for Visual Reasoning},
author = {Rusli, Marha Midhatiey and Shin, Donghyeon and Kim, Sejin and Kim, Sundong},
booktitle = {AAAI-26 Bridge Program on Logical and Symbolic Reasoning in Language Models},
year = {2026},
url = {https://openreview.net/pdf/2f6a7a4ecb7d5ff5a1558b1156da608eedfc9347.pdf}
}