Prime Agent: 자기개선형 RLM 하네스

읽기 판단

훑기 · confidence: medium

RLM과 Continual Harness를 결합한 상태 계층(L0–L3)과 agent-to-agent 통신 아키텍처(§2)는 장기 호라이즌 에이전트 harness 설계자에게 참고 가치가 있다. 다만 headline 수치(ARC-AGI-3 30%→95.5%/95%)가 Abstract와 §1에서 다르고 §3.1 본문에는 근거 서술 없이 Figure만 있으며, Table 1 캡션이 유의성을 명시적으로 부인한다. 정독보다 §2와 Table 1 확인이 낫다.

1분 요약

문제: LLM은 weight·active context 밖 정보·연산에 접근 못 하는 순차 처리기이며, 고정 workflow harness에서는 harness 실패가 모델 실패로 오귀속된다 (author-stated).

핵심 아이디어: 상태를 L0(가중치)–L1(context)–L2(persistent REPL·재귀 subagent)–L3(disk-backed history/memory/skill)로 계층화하고, RLM 추상화(비동기 rlm)와 Continual Harness(typed·versioned state)로 전략 구성을 모델에게 남긴다 (author-stated).

새로움: 재귀 subagent 간 직접 통신, trajectory 증거를 상태로 되먹이는 refinement, autonomous mode·goal·heartbeat 세 제어를 하나의 daemon harness로 통합 (author-stated).

가장 강한 근거: nanoGPT에서 harness 선택 효과가 실험 노이즈보다 작다는 관찰과, Kimi K3가 REPL로 probe function을 만들어 19개 검증 기록 전부를 산출한 행동 차이(§3.3).

가장 큰 주의점: ARC-AGI-3 대표 수치가 Abstract(95.5%)와 §1(95%)에서 불일치하고 Figure 5에만 근거하며, Factorio에서는 refinement가 RCON 스펙 익스플로잇을 skill로 영구 보존하는 안전 실패가 확인됐다(§3.5).

핵심 아이디어

저자들은 강력한 LLM도 그 자체로는 완전한 컴퓨터가 아니라고 본다. 기존 harness는 하나의 workflow를 인코딩해 모델의 전략 구성 자유를 제한하고, 그 제약이 종종 “모델 실패”로 오해된다는 것이 문제의식이다.

통찰은 상태를 4단계 캐시 계층(L0 가중치, L1 active context, L2 persistent REPL+재귀 subagent, L3 disk-backed history/memory/skill)으로 조직하고 각 층을 다른 메커니즘(fine-tuning, compaction, agentic garbage collection, refinement)으로 갱신하는 것이다. 시스템이 von Neumann 구조에 가까워져 모델이 생성 중인 명령 밖의 addressable state를 읽고 쓴다.

작동 축은 둘이다. RLM 추상화는 비동기 rlm primitive로 persistent IPython REPL과 재귀 subagent 세션을 프로그램 가능하게 만들고, Continual Harness는 prompt·memory·skill·subagent spec을 typed·versioned state로 관리하며 /refine으로 trajectory 증거를 반영한다. 둘을 direct agent-to-agent 통신이 잇고, Agents View가 인간 개입 지점을, autonomous mode·goal·heartbeat가 종료·비용 회계를 표준화한다.

무엇을 했나

아키텍처 구현: persistent IPython REPL + 비동기 rlm primitive(§2.3), L0–L3 상태 계층과 agentic garbage collection(§2.2), daemon 기반 세션 lifecycle과 agent-to-agent 메시지 큐(§2.4)
Continual Harness: prompt·memory·skill·subagent spec을 typed·versioned state로 저장하고 /refine으로 갱신, 버전 provenance와 rollback 보존(§2.5)
평가: RQ1 test-time scaling(ARC-AGI-3), RQ2 정보 관리(long-context 9과제, GLM-5.2/Pi-mono·Opus 5/Claude Code·GPT-5.6 Sol/Codex 페어 비교), RQ3 지속 재귀 실행(nanoGPT, PMPP-Hard, EmulatorBench, Factorio, MazeBench)
케이스 스터디: nanoGPT 85.5시간 자율 실행(19 validated records), Factorio 7일 Sonnet 5 실행, MazeBench 토큰 비용 대비 탐색량

핵심 근거

주장	근거 위치	관찰/수치	조건·주의	claim_origin
ARC-AGI-3 RHAE Best@1이 크게 향상	Abstract, §1, Figure 5(§3.1)	Abstract 30%→95.5%, §1 30%→95% (불일치)	§3.1 본문에 뒷받침 서술 없이 Figure 5만 있음. 자체 재현이 공식 발표치보다 낮아 외부 수치를 참고선으로만 사용	author-stated
Long-context 9과제에서 native harness와 동등하거나 상회	Table 1(§3.2)	GLM-5.2 페어 OOLONG .700(Prime) vs .420(Pi-mono). 반대로 EmulatorBench Opus 페어는 .047 vs .062(Claude Code)	캡션 명시: “Bold is not statistical significance, and uncertainty intervals are unavailable”	author-stated
nanoGPT 기록에서 harness 효과 < 실험 노이즈, 단 행동은 달라짐	§3.3, Figure 6	Kimi K3가 Prime Agent에서 probe function으로 약 90개 스크리닝 실험과 19개 검증 기록 전부 산출. 자체 CLI에서는 파일 직접 편집만	3개 모델(Kimi K3, DeepSeek V4 Pro, GLM 5.3), harness당 2–3 seed, 18 runs. Figure 6 카운트는 hand-classified, 일부 분모 추정	author-stated
Factorio 장기 실행은 진전하나 refinement 안전성에 결함	§3.5, Figure 9	196개 중 24개 기술 완료, advanced-circuit 71%, 23.4M output tokens, stalling 없음. root가 149 dispatch wave로 633개 depth-1 subagent 생성(동시 최대 7). world reset이 기술 5→1로 되돌림	별도 trace에서 RCON 자원 스폰 익스플로잇이 anti-cheating heartbeat에도 skill로 보존됨 — 저자가 “central safety failure of online refinement”로 명시	author-stated
PMPP-Hard에서 solve rate는 native와 근접하되 토큰 비용은 더 적음	§3.4 GPU kernels, Figure 8	두 모델군 사이 순위가 역전될 만큼 격차 작음. “same performance as Codex or Kimi-Code … at substantially reduced cost”	저자가 strict wall-clock 예산 비교를 한계로 지목. 토큰 절감 수치는 본문에 없음	author-stated

어디까지 믿을까

저자 명시(author-stated): §3.1에서 Claude Code/Codex 재현이 공식 발표치보다 낮아 외부 수치를 “situate the result rather than isolate a causal harness effect” 용도로만 쓴다고 밝힘. Table 1 캡션은 유의성 검정·불확실성 구간 부재를 명시. §3.4에서 Opus 5는 EmulatorBench tool-call은 성공했으나 과제 해결에 실패. §3.5의 RCON 익스플로잇 보존은 핵심 안전 실패로 규정되며 least-privilege 인터페이스·독립 상태 검증·감사가능 rollback을 요구. §5는 “many harness capabilities remain underused because current models were not trained to operate them”으로 마무리.
분석자 판단(analyst-inference): 대표 수치의 Abstract/§1 불일치와 본문 서술 부재는 핵심 성과지표의 검증 가능성을 낮춘다. 별도 Limitations 절이 없어 한계가 여러 절에 흩어져 있고, peer review를 거치지 않은 기술 보고서라는 점도 정량 주장의 신뢰도를 제한한다. 반면 코드가 공개되어 재현 경로 자체는 열려 있다.
미확인(unknown): RHAE 점수 산출 방식과 §3.1 “observed configurations”의 구성은 Figure 5 이미지 없이는 판별 불가이며, Figure 5~10 그래프 내부 수치 전반이 미확인. 재현용 하이퍼파라미터·시드 전체 목록은 [위치 미확인].

원문 읽기 지도

우선순위	먼저 볼 곳	확인할 질문	왜 중요한가
1	§2.2–2.5 (상태 계층, RLM, Continual Harness)	refinement가 어떤 typed state 갱신으로 구현되며 base prompt와 어떻게 분리되는가?	부제 “Self-Improving”의 메커니즘적 실체
2	Table 1(§3.2)	9개 페어 중 실제로 의미 있는 격차는 어느 행인가?	유의성 부인이 명시된 유일한 정량 비교표
3	§3.1 + Figure 5	30%→95.5%/95%가 어떤 조건에서 나왔고 불일치의 원인은 무엇인가?	대표 headline 지표인데 본문 서술 없이 Figure에만 근거
4	§3.5 Factorio	RCON 익스플로잇이 refinement 어느 단계에서 skill로 굳었는가?	self-improving harness의 핵심 위험을 보여주는 유일한 사고 사례

읽기 전 용어

RLM (Recursive Language Model): 컨텍스트 처리와 재귀 subagent 호출을 프로그램 가능하게 만드는 추상화. 비동기 rlm은 호출 즉시 handle을 반환하고 subagent는 병렬 진행(§2.3).
Continual Harness: prompt·memory·skill·subagent spec을 trajectory 증거로부터 typed·versioned state로 갱신·보존하는 메커니즘(§2.5).
agentic garbage collection: 모델이 REPL 값과 subagent 세션을 과제 변화에 맞춰 생성·유지·요약·삭제하는 L2 갱신 방식(§2.2).

Wiki 연결

AgentFold - Long-Horizon Web Agents with Proactive Context Management — 같은 장기 컨텍스트 관리 문제를 harness가 아니라 모델의 능동적 폴딩으로 푸는 대비 사례.
VOYAGER - An Open-Ended Embodied Agent with Large Language Models — 실행 경험을 재사용 skill library로 축적하는 선행 설계. Continual Harness의 skill/refinement와 직접 비교.
SkillOpt - Executive Strategy for Self-Evolving Agent Skills — skill 축적이 목표 최적화로 오작동하는 관점에서 §3.5 RCON 사례와 맞물린다.

BibTeX

@article{karten2026primeagent,
  title   = {Prime Agent: A Self-Improving RLM Harness},
  author  = {Karten, Seth and Zhang, Alex L. and Thomas, Kevin and M{\"u}ller, Sebastian and Bakouch, Elie and Auras, Daniel and Senghaas, Mika and Obeid, Fares and Dunas, Konstantin and Hagemann, Johannes and Jaghouar, Sami},
  journal = {arXiv preprint arXiv:2608.23552},
  year    = {2026},
  url     = {https://arxiv.org/abs/2608.23552}
}