Argus: 장기 과제를 위한 범용 에이전틱 추론 런타임

읽기 판단

읽기 · confidence: medium

self-evolving agent 런타임과 skill 축적 방향(WikiSkill, Prime Agent)에 직접 맞닿아 있고, 벤치마크를 넘어 upstream merge된 커널·SKY130 합성 칩·6편 논문 파이프라인 같은 실제 아티팩트로 뒷받침된다. 다만 대표 수치가 저자 스스로 ablation이 아니라고 밝힌 whole-system·observational 비교라, 인과 해석에는 §8을 함께 읽어야 한다.

1분 요약

문제: 수학 증명, 미명세 소프트웨어 요청, 칩·재료 설계처럼 시작 시점에 아무도 objective를 정밀하게 쓸 수 없는 과제에는 신뢰할 점수가 없어, dense supervision을 전제한 기존 self-improving agent가 작동하지 않는다.

핵심 아이디어: pivot을 금지하는 대신 verification으로 게이팅해, 근거 있는 목표 수정(admissible pivot)과 실패를 합리화한 goal drift를 구분한다.

새로움: 가중치는 그대로 두고 memory·skill·verifier·routing만 authorized owner의 commit을 거쳐 재사용되는 verification-gated fixed-model runtime self-evolution.

가장 강한 근거: 7개 arena를 native metric 그대로 보고한 breadth(§6.1 Table 4), 재료 vertical에서 published method의 confound를 제거하고 더 단순한 방법을 채택한 사례(§6.9).

가장 큰 주의점: SWE-Bench Pro 78% vs 59%와 mature-vs-startup 효율 개선은 §8에서 저자가 whole-system·observational이라 인정하며, task order가 replay되지 않아 role 분리·게이팅·persistent state 중 무엇이 기여했는지 분리되지 않는다.

핵심 아이디어

기존 self-improving agent는 커널 속도, 리더보드, unit test처럼 매 시도가 숫자를 돌려주는 곳에서만 작동한다. 저자들은 이를 “남이 적어둔 문제를 잘 푸는 학생”의 진보로 규정한다. 점수가 방향을 못 잡아주면 런타임의 일은 점수를 올리는 것이 아니라, objective가 분명해질 때까지 캠페인을 붙들고 있다가 못 푸는 모순을 사람에게 넘기는 것이 된다.

난제는 목표를 바꾸는 행동이 겉보기에 실패와 구분되지 않는다는 점이다. 최종 산출물만으로는 “목표가 틀렸음을 발견했다”와 “못 해서 낮췄다”가 같아 보인다. 표준 대응은 objective를 고정해 선택지를 없애는 것이었지만, 이 논문은 pivot을 허용하되 verification을 안전장치로 쓴다. verification이 사후 품질 필터가 아니라 pivot과 drift를 가르는 메커니즘이 된다.

구현은 report-level contract Kt=(ι, ot, ct, vt)와 4-role 권한 분리다. 저자들은 장기 실행 에이전트가 무너지는 세 지점 — continuity(증거가 압축돼 사라짐), acceptance(일한 주체가 완료를 선언함), experience(반증된 경로가 남지 않음) — 을 durable state와 소유권 규칙으로 막는다.

무엇을 했나

7개 arena를 GPT-5.5 backbone(Copilot·Codex backend)으로 돌려 표 하나(Table 4)로 보고: SWE-Bench Pro(731 task), SOL-ExecBench(B200, 101 kernel), nanochat B200/H100(5분, validation BPB), nanoGPT speedrun(8×H100, loss 3.28 도달 시간, N=10), AARRI-Bench(82 task), Math-Reasoning Data Synthesis. metric이 호환되지 않아 평균 내지 않는다고 §5.2에서 명시.
SWE-Bench Pro 단일 run을 24개 Wave(완료 22개)로 나눠 종단 분석: Reviewer routing 비율, revision→verifier pass→strict rescue funnel, Wave 구간별 평균 token·active time. task order 고정, replay 없음.
6편 논문 생산 캠페인을 role-resolved trace로 재구성: 640 campaign-hour, 254 mission, 16 stage rollback, 전 파이프라인 AAAI·ACL 포맷 제출 완료. 수학 캠페인 1건은 반증된 경로 1건과 proof-backed frontier update 6건을 함께 보존.
외부 checker를 가진 두 vertical: ACE-2 칩(Qwen2.5-0.5B W4A8, SKY130 mapped synthesis + static timing까지), MOF 재료 생성(published steering의 confound 분리 후 best-of-K와 비교).

핵심 근거

주장	근거 위치	관찰·수치	조건·주의	claim_origin
SWE-Bench Pro 우위	§6.1 Table 4 / C6	Argus ≈78% vs Direct Copilot ≈59%, token 1.41×	whole-system 비교이며 ablation 아님. task order 고정, per-Wave Copilot 자원 기록 없음(§8)	author-stated
상태 축적에 따른 효율 개선	§6.3 Figure 4	W19–22가 W1–6 대비 solve input token −21%, active time −15%	observational·비단조. W13–18은 토큰 −50%이나 시간 증가, W23–24는 두 지표 반등	author-stated
Reviewer 게이트의 복구 기여	§6.2 Figure 3 / C3	731건 중 466건 Reviewer 라우팅, revision 요청 43건 중 34건 verifier 통과·22건 strict loop 완주, 35건 blocked	라우팅이 adaptive라 routed 쪽이 애초에 어려운 workload(자기검수 대비 token 2.75×)	author-stated
7개 arena breadth	§6.1 Table 4	AARRI-Bench 63/82(76.8%) vs paper best 68.3%; math data gap 28.0 vs Arbor 20.83	단위가 rank·BPB·시간·정확도·gap으로 제각각이라 정규화 불가	author-stated
재료 vertical에서 더 단순한 방법 채택	§6.9 Table 7	best-of-K sampling이 전 budget에서 Feynman-Kac steering 상회(K=8: 52.38%→55.21%, +2.83, p=0.0486)	989-crystal subset이 score 설계 데이터와 동일(독립 holdout 아님), DFT 검증 없음	author-stated

어디까지 믿을까

저자 명시(§8): user-guided pivot의 공개 prospective 평가가 없다. contract refinement는 여전히 실패 가능하고(Manager가 잘못된 tradeoff를 승인할 수 있음), verifier 자체가 틀린 property를 encode할 수 있다. SWE-Bench Pro 비교는 단일 task order의 whole-system 비교, startup→mature 궤적은 causal ablation이 아니며 matched frozen-state replay가 필요하다고 스스로 적는다. ACE-2는 routed timing·DRC/LVS·tapeout·실리콘 검증을 제외한 범위 인증이고, 6편 논문 케이스는 채택·novelty를 입증하지 않는다.
분석자 판단: “self-evolution”이 weight가 아니라 persistent state 변화만 뜻하는 좁은 정의인데 초록·결론에서 반복 강조돼 오독될 여지가 있다. 78% vs 59%는 런타임 전체와 도구를 통째로 비교한 값이라 role 분리·verification gating·state 축적 중 무엇이 gap을 만들었는지 분리되지 않는다. 난이도가 다른 7개 arena를 한 표에 병렬 배치한 구성도 종합적 우위라는 인상을 줄 수 있다.
미검토 범위: §2 related work 대비 차별점, §3 ManagerAdmit operator 정의, §7 discussion, Appendix D 수치는 이 프리리드에서 다루지 않았다.

원문 읽기 지도

우선순위	볼 곳	확인할 질문	왜
1	§8 “Attribution and task sequence”	78%/59%가 ablation인가 whole-system 비교인가, task order를 replay하는가	대표 수치의 인과적 해석 범위가 여기서 결정됨
2	§6.1 Table 4 (+Table 3)	각 arena의 metric·backend·baseline이 무엇이고, 어디가 실제 SOTA 상회이고 어디가 gap 보고인가	breadth 주장의 실체를 판정하는 표
3	§6.2–6.3, Figure 3–4	라우팅이 adaptive한가, mature-startup 개선이 단조인가(W23–24 반등)	효율 주장의 관찰적 성격
4	§6.9, Table 7	best-of-K 비교가 held-out인가, confound 제거 논리가 타당한가	verified pivoting이 실제 작동한 가장 구체적 사례

읽기 전 용어

verification-gated fixed-model runtime self-evolution: 파라미터는 고정한 채 memory·skill·verifier·routing 같은 persistent state만 권한 있는 역할의 commit을 거쳐 재사용되는 진화. online weight update가 아니다.
Manager / Planner / Engineer / Reviewer: 권한 4분할. Manager는 objective·stage 전환, Planner는 작업 분해, Engineer는 실행, Reviewer는 독립 검수 후 done/continue/blocked.
Kt=(ι, ot, ct, vt): report-level working contract. 불변 intent ι와 그때그때의 objective·constraint·verification 기준을 분리해, 근거 있는 갱신과 조용한 목표 이탈을 가른다.

Wiki 연결

WikiSkill - Compiling Agent Experience into Persistent Knowledge for Skill Evolution — versioned skill library와 검증 후 commit 구조를 직접 비교할 접근
A Comprehensive Survey of Self-Evolving AI Agents - A New Paradigm Bridging Foundation Models and Lifelong Agentic Systems — Argus의 “fixed-model, state-only” 정의를 survey taxonomy 안에 위치시켜 볼 곳
Prime Agent - A Self-Improving RLM Harness — 같은 harness 계열이면서 자기개선 근거를 어디에 두는지 대비됨

BibTeX

@article{li2026argus,
  title   = {Argus: A General-Purpose Agentic Reasoning Runtime for Long-Horizon Tasks},
  author  = {Li, Boxiu and Wen, Zimo and Fan, Yijia and Wen, Chuan and Yang, Fan and Guo, Hangxi and Wu, Jiaao and Zhang, Jiachen and Lei, Junxiang and Li, Mukai and Tang, Ruize and Gu, Runjing and Hu, Shibo and Chen, Sihan and Guo, Sufeng and Zhang, Wanbo and Zhang, Xian and Chen, Xiaoyu and Zhou, Xuanhe and Huang, Xuyao and Gao, Yifei and Shen, Yifei and Chen, Yilin and Wu, Yuheng and Zhang, Yuzhe and Zhao, Zelong and Deng, Zhijie},
  journal = {arXiv preprint arXiv:2608.05144},
  year    = {2026},
  url     = {https://arxiv.org/abs/2608.05144}
}