The Red Queen Gödel Machine — 에이전트와 평가자를 함께 진화시키기
읽기 판단
read · confidence: medium
자기개선 에이전트 계열(DGM·HGM·HyperAgents)의 핵심 병목인 “고정 평가 기준”을 정면으로 다루고, epoch 기반 이론 보장(App. F)과 3개 도메인 실증을 함께 낸다. 다만 preliminary preprint이고 도메인×baseline 조합당 1회 실행이라, 확정 결론보다 방향성 확인용으로 읽는 게 맞다.
1분 요약
- 문제: 기존 self-improving agent 탐색은 고정된 외부 평가 기준(벤치마크·검증기)에 의존한다. 벤치마크가 아예 없거나(논문·증명 작성), 평가가 느리거나, saturate·reward-hack되는 상황을 다루지 못한다.
- 아이디어: search를 epoch으로 쪼개 epoch 안에서는 evaluator를 동결하고(HGM 보장 유지), epoch 경계에서만 anchor 기반 ε-best-belief로 evaluator를 교체하며 그 evaluator에 의존한 utility 기록만 골라 지운다 — controlled utility evolution.
- 새로움: task agent와 evaluator를 같은 multi-agent workspace archive에서 함께 진화시키고, epoch 경계를 이용해 adversarial objective(리뷰어 self-preference bias 교정)까지 주입한다.
- 주의점: 도메인×baseline 조합당 1회 실행(App. C.2), held-out/anchor 셋이 100–166개로 작아 95% Jeffreys 구간이 ±4–9%p로 넓다.
핵심 아이디어
evaluator를 계속 바꾸면 search utility가 non-stationary해져 HGM류 수렴 보장이 무너진다. RQGM은 시간을 잘라 이 충돌을 피한다. 한 epoch 안에서는 evaluator·artifact 생성 절차·binary scoring rule을 모두 동결하므로(Asm. 2) 각 epoch이 그 자체로 fixed-criterion 탐색 문제가 되고 기존 HGM search가 그대로 적용된다(Prop. 3). epoch 경계에서만 evaluator-independent한 ground-truth anchor(APReS 사람 판정, IMO-GradingBench 사람 채점, CRAVE PR 판정)에 대해 incumbent와 challenger를 ε-best-belief로 비교해, challenger가 통계적으로 나을 때만 교체한다(Prop. 4). 교체 시 displaced evaluator에 의존한 기록만 지우는 selective erasure를 수행하고, 지수 간격 checkpoint를 쓰면 재평가 비용이 budget에 선형(O(B))으로만 는다(Prop. 6).
구조적으로 archive의 각 node는 단일 agent가 아니라 task agent와 evaluator가 코드베이스를 공유하는 workspace이고, meta-agent가 이를 통째로 고친다(Sec. 3.2). 그래서 한 번의 수정이 양쪽 역할을 동시에 개선할 수 있다.
무엇을 했나
- 도메인 3개: coding(Polyglot 실행 테스트로 앵커, code reviewer는 CRAVE로 앵커), paper writing/review(APReS), proof writing/grading(IMO-GradingBench, 7/7 만점만 accept). SWE-bench는 runtime이 길어 이번 버전에서 제외(Sec. 4).
- baseline: HGM-H = HGM search + 고정 외부 evaluator(Sakana prompt reviewer / ProofAutoGrader / IMO25 prover). 공개된 DGM-H 패치도 proxy로 비교.
- specialist/generalist 이원 보고: 단일 target utility 최고 agent와 활성 utility 평균 최고 agent를 모두 보고해, 성능이 task-specific 최적화인지 joint 최적화인지 구분.
- 비용 회계: blended token(입력+출력, 출력 5× 가중)으로 generation·evaluation call을 모두 포함. best-belief agent 비용은 최고점 최초 도달 시점 기준, matched budget.
- 사양: 전 실험 GPT-5.5 (low), run당 12,288 evaluation. 5.5절에서 search-time task-agent 호출만 Nemotron 3 Ultra로 돌리는 hybrid 실험 추가.
핵심 근거
| claim | 위치 | 관찰 | 조건·주의 | origin |
|---|---|---|---|---|
| 검증기가 있는 coding에서도 co-evolved reviewer가 탐색 효율을 높인다 | Sec. 5.1, Fig. 1, Fig. 10 | held-out pass rate 71.7% vs HGM-H 69.9%, search token 1.35×–1.72× 절감. 채택 patch의 90%가 coder·reviewer 공유 코드 수정 | Polyglot held-out 166개. 절감폭이 specialist/generalist 간 다름 | author-stated |
| 벤치마크 없는 논문 작성에서 co-evolution이 generator를 개선한다 | Tab. 1, Sec. 5.2 | 4-reviewer 패널 평균 수용률 HGM-H 21.8% → generalist 38.8%(1.78×, matched compute) / specialist 40.5%(1.86×) | 패널에 RQGM adversarial reviewer가 포함되어 완전 독립 패널은 아님 | author-stated |
| co-evolution이 evaluator 자체(grader)도 개선한다 | Fig. 5, Sec. 5.4 | RQGM grader가 IMO-GradingBench 최고 정확도를 HGM-H 대비 3× 낮은 search cost로 달성 | specialist 지점 기준. HGM-H는 동일 예산 내 이 수준 미도달 | author-stated |
| epoch 경계 adversarial objective로 리뷰어 self-preference bias를 교정한다 | Sec. 5.4, Fig. 6 | HGM-H reviewer는 AI 생성 논문을 사람 논문 대비 1.42×–1.91× 더 수용. RQGM adversarial reviewer는 두 수용률을 맞추면서 ground-truth 정확도 80% 유지 | raw APReS 정확도는 lenient한 HGM-H보다 낮음(의도된 trade-off) | author-stated |
| 증명 도메인은 아직 사람이 설계한 파이프라인을 완전히 넘지 못한다 | Tab. 2, Sec. 5.2 | RQGM specialist prover Score 4.33 / Pass@6 61.7%(둘 다 최고)이나 Pass@7 48.3% < static IMO25 55.0% | 저자는 budget 확대로 좁혀질 것으로 추정(미검증) | author-stated |
어디까지 믿을까
- 저자 명시: 이론 보장이 epoch 내부에만 유효하고 transition 누적 regret·전역 수렴은 보장 없음(App. F.4, G). evaluator 품질은 anchor 품질이 상한이며 약하거나 편향된 anchor는 drift를 부른다. 리뷰어 패널은 evaluator끼리의 수용률만 재고 사람 blind 채점은 없다. search loop(scheduler·replacement rule) 자체는 hand-crafted이며 진화 대상이 아니다. 짧은 search horizon만 탐색한 preliminary preprint(Sec. 6.1).
- 분석자 관찰: App. C.2 기준 도메인×baseline 조합당 1회 실행으로 보여 seed 분산 정보가 없다 — 1.35×–1.72×, 1.78×/1.86× 같은 비율의 run-to-run 변동을 판단할 수 없다. anchor·held-out 셋이 100–166개로 작아 구간이 ±4–9%p다. 본문·부록·참고문헌 어디에도 코드 공개 언급이 없어 재현 검증이 어렵다.
원문 읽기 지도
| 순서 | 볼 곳 | 확인할 질문 |
|---|---|---|
| 1 | Sec. 3.4–3.5 | epoch 경계에서 무엇이 동결되고 무엇이 교체되는가. selective erasure는 무엇을 지우고 무엇을 남기는가 |
| 2 | Sec. 4 + Fig. 8 | specialist/generalist와 best-belief cost의 정의. anchor와 epoch-local evaluator의 분리 방식 |
| 3 | Tab. 1–2, Fig. 5–6 | 각 수치가 어떤 패널·조건에서 나왔는가. adversarial reviewer의 정확도–공정성 trade-off 크기 |
| 4 | App. G | 저자가 인정한 한계가 결과 해석을 어디까지 제약하는가 |
읽기 전 용어
- controlled utility evolution: evaluator가 동결된 epoch 단위로 search를 나누고 경계에서만 anchor 기반 교체 + 관련 기록 삭제를 수행해, epoch 내부에서는 HGM 보장을 유지하면서 objective 자체가 진화하게 만드는 메커니즘.
- clade metaproductivity (CMP): 노드 자신의 성공률이 아니라 그 노드를 루트로 하는 서브트리 전체의 pooled 성공률로 노드를 고르는 HGM 유래 search utility.
- selective erasure: evaluator 교체 시 그 evaluator에 의존한 utility 기록만 지우고 무관한 정보는 보존하는 절차. epoch-local stationarity 유지 장치.
Wiki 연결
- Gödel Agent - Self-Referential Recursive Self-Improvement — 자기참조 재귀 자기개선의 선행 계열. RQGM은 여기에 “평가자도 진화 대상”을 더한다.
- Agent-as-a-Judge - 에이전트로 에이전트를 평가하기 — RQGM이 coding·논문 도메인에서 쓰는 평가 신호의 원형.
- Self-Improving Agent Factories for Paper Review - When Constrained Beats Open-Ended — 같은 논문리뷰 도메인에서 반대 방향(가변성 제한)을 주장하는 대조 사례.
BibTeX
@article{iacob2026redqueen,
title = {The Red Queen G\"odel Machine: Co-Evolving Agents and Their Evaluators},
author = {Iacob, Alex and Jovanovi\'c, Andrej and Shen, William F. and Burkhardt, Daniel and Kurmanji, Meghdad and Tastan, Nurbek and Sani, Lorenzo and Venanzi, Niccol\`o Alberto Elia and Odonnat, Ambroise and Cao, Zeyu and Marino, Bill and Qiu, Xinchi and Lane, Nicholas D.},
journal = {arXiv preprint arXiv:2606.26294},
year = {2026},
url = {https://arxiv.org/abs/2606.26294}
}