논문 리뷰를 위한 자기개선 에이전트 공장: 제약이 개방형을 이길 때

Digest: 자기개선 에이전트 연구의 기본 심상은 갈수록 개방형(open-ended)으로 흐른다 — 에이전트가 자신을 고치고, 자신을 고치는 절차까지 고치며, 탐색으로 개선을 누적한다. 저자는 이것이 과학적으로 가치 있지만 프라이버시·감사·롤백·비용·SLA 제약이 걸린 프로덕션 환경과는 어긋난다고 본다. 핵심 통찰은 자기개선의 위치를 “서비스 중인 에이전트”가 아니라 “그 에이전트를 다음 버전으로 다시 만들어내는 공장”에 두는 **비대칭 가변성 경계(asymmetric mutability boundary)**다. 구체적으로 Sira는 실제 배치된 논문 리뷰 서비스 CSPaper Review(CSPR)의 에이전트 생성 백엔드로, 튜닝 런 동안 factory skills·실행 하네스·공용 유틸리티 u와 factory controller를 동결하고 venue 메타데이터 m_v, 루브릭 r_v, 프롬프트·추론정책 p_v, 리뷰 템플릿 t_v, 캘리브레이션 규칙 c_v, 그리고 학습용 사이드카 b_v만 편집한다(§2, Eq. 1–2). 검증은 HyperAgents가 다룬 것과 같은 논문리뷰 도메인을 70/30 train–validation으로 재분할해 5회 반복했고, Sira는 best validation decision-label accuracy 0.941 ± 0.018을 2–5 scored candidate steps에서, HyperAgents식 가변 아카이브 baseline은 0.865 ± 0.049를 6–15 steps에서 달성했으며 final archive mean은 각각 0.868 ± 0.023 vs 0.590 ± 0.072였다(§3, Table 2). 함의는 안정된 루브릭·감사 가능한 실패·프라이버시 민감 입력을 가진 수직형(vertical) 에이전트라면 “자유 주행하는 자기수정 워커”보다 “자기개선 공장의 산출물”로 만드는 편이 낫다는 것이다(§4, §6). 한계는 저자 스스로 명시하듯 이 비교가 인과적 ablation이 아니라는 점 — 제약된 가변성이 venue 루브릭·캘리브레이션 템플릿·벤치마크 큐레이션·사람 실패분석과 엉켜 있고, 지표는 과거 accept/reject 라벨과의 이진 일치일 뿐 리뷰 품질(사실성·비판 깊이·신규성 판단·공정성)이 아니며, untouched test set도 없다(§5).

먼저 이해하기

이 논문은 “AI 리뷰어를 더 똑똑하게 만드는 법”이 아니라 **“AI 리뷰어를 어떻게 개선해야 프로덕션에서 안전한가”**를 다루는 연구다. 즉 성능 논문이라기보다, 실제 서비스 중인 시스템(CSPaper Review)의 운영 패턴을 정식화하고 작은 검증 실험을 붙인 포지션 논문이다.

self-improving agent(자기개선 에이전트): 실행 중에 자기 코드·프롬프트·전략을 스스로 고쳐 성능을 올리는 에이전트. 극단으로 가면 “고치는 절차 자체”까지 고친다.
agent factory(에이전트 공장): 에이전트를 직접 굴리는 대신, 에이전트를 만들어내는 상위 시스템. 여기서는 Sira.
asymmetric mutability boundary(비대칭 가변성 경계): 공장은 에이전트를 바꿔도 되지만, 배치된 에이전트는 사용자 원고를 처리하는 동안 자기 자신을 바꾸지 못하게 하는 경계선.

작동 규칙은 의도적으로 심심하다. 사람이 트리거(새 venue 지침, 벤치마크 실패, 저평점 감사 티켓)를 걸어 버전이 붙은 런을 연다. 동결된 공장 에이전트 F_φ가 venue별 아티팩트와 학습 사이드카만 고쳐 후보를 만들고, 학습 벤치마크 팩으로 채점한 뒤 루브릭 단위 실패 요약을 사람이 들여다본다. 그 다음에야 고정된 평가기가 validation split으로 후보를 채점하고, 승격된 후보는 이름 붙은 아카이브 버전으로 푸시되어 온라인 서비스가 그 동결된 번들을 로드한다. 즉 여기서 “자기개선”은 자율 런타임 학습이 아니라, 고정된 스킬과 기록된 사람 거버넌스 아래의 **공장 매개 재생성(factory-mediated regeneration)**이다(§2).

왜 중요한가: 논문 리뷰는 과잉 자동화와 과소 검증이 둘 다 비싼 영역이라 이 긴장이 눈에 보인다. CSPR은 arXiv ID나 PDF를 받아 약 1분 안에 desk-rejection 판정·예상 결과·루브릭 정렬 비판 등급을 돌려주며, 논문 작성 시점 기준 130개국에서 15만 건 이상의 리뷰 요청을 처리했다(§1, 각주 1). 그런데 사후 품질 평점 1,838건 중 630건이 1–2성이었고(Figure 2), 이 저평점은 온라인 학습 데이터로 쓰이지 않는다 — 미공개 원고가 다음 원고를 심사하는 시스템을 조용히 바꿔서는 안 된다는 신뢰 요건 때문이다. 개선을 어디에 둘지가 곧 프라이버시 설계 문제라는 점을 이 사례가 보여준다.

먼저 알아둘 용어 표

원 용어	쉬운 설명
Sira	venue별 CSPR 리뷰 에이전트를 만들어내는 공장(에이전트 생성 백엔드)
CSPR (CSPaper Review)	실제 배치된 학회 인지형 논문 피드백 서비스, arXiv ID/PDF 입력
mutability boundary	무엇을 바꿔도 되고 무엇은 동결인지 그은 선
artifact `a_v`	venue별로 배포되는 에이전트 번들 = 메타데이터·루브릭·프롬프트·템플릿·캘리브레이션 + 공용 유틸
sidecar `b_v`	학습용 벤치마크 논문·기대 라벨·평가 기록. 에이전트와 함께 배포되지 않음
decision-label accuracy	실제 학회 accept/reject 결정과 이진으로 얼마나 일치하는지
scored candidate step	채점된 후보 하나를 만드는 데 드는 탐색 스텝(탐색 노력의 대략적 대리지표)
mutable archive	과제 에이전트와 “변이 정책”까지 함께 편집 가능한 상태로 쌓아두는 개방형 baseline 방식

섹션별 요약

Abstract

자기개선 에이전트의 기본 심상은 개방형이지만, 프로덕션은 예측 가능·재현 가능한 동작을 요구한다. 저자는 venue별 논문리뷰 에이전트를 통제된 방식으로 생성하기 위해 배치된 사람 거버넌스 자기개선 공장 Sira를 제시한다. 튜닝 런 동안 factory skills·실행 하네스·공용 유틸리티를 동결하고 과제 특화 아티팩트(venue 메타데이터, 루브릭, 도구 사용, 추론 정책, 프롬프트, 템플릿, 캘리브레이션 규칙, 학습 샘플, 평가 피드백)만 편집한다. 생성된 에이전트는 런타임에 자기수정하지 않고 오프라인에서 재생성·수리·벤치마크·버전관리·재배포된다. 경계 지어진 ICLR-style validation-trace 연구에서 Sira는 2–5 scored candidate steps 안에 0.941 ± 0.018 decision-label accuracy에 도달했고, HyperAgents식 mutable-archive 적응은 6–15 steps에서 0.865 ± 0.049에 도달했다. 저자는 이 비교가 인과적이라기보다 예시적이라고 명시한다.

왜 이 연구를 하는가?

AI 보조 피어리뷰는 이미 현실이다. LLM은 겹치지만 불완전한 원고 피드백을 줄 수 있는 반면, 정확성 판단·비판 깊이·리뷰 근거화는 여전히 불안정하다. 결정측 채점(acceptance prediction, pairwise comparison, interpretable acceptance model)은 유용한 신호를 잡지만 피어리뷰 자체가 아니라 프록시 과제에 머문다. 동시에 CS 피어리뷰는 규모 불일치를 겪는다 — AI가 논문 생산을 가속하는데 사람 리뷰 대역폭은 그대로다. 그래서 저자가 던지는 질문은 “LLM 리뷰 에이전트가 유용한가”가 아니라 **“그런 에이전트는 프로덕션에서 어떻게 개선되어야 하는가”**다(§1).

Introduction

최근 자기개선 문헌은 점점 더 일반적인 자기참조 시스템으로 향한다 — Gödel machines와 Darwin-Gödel Machine은 개선을 재귀적 수정 + 검증으로 틀 짓고, HyperAgents는 메타 개선 메커니즘 자체가 과제 에이전트와 함께 변하게 한다. 저자는 이 노선의 중요성을 인정하되 더 좁은 주장을 편다: 많은 프로덕션 환경은 자기개선을 런타임 자기수정 에이전트가 아니라, 고정된 과제 에이전트를 반복 재구축하는 통제된 공장에 두어야 한다는 것. 런타임 자기개선은 자율성을 최적화하지만 산업 배치는 time-to-value, 비용, 재현성, 프라이버시, 롤백, 책임 소유권까지 관리해야 한다.

기여는 세 가지다. (1) 프로덕션 에이전트를 위한 비대칭 가변성 경계의 정식화 — 공장은 오프라인에서 새 과제-에이전트 아티팩트를 재생성할 수 있지만, 배치된 에이전트는 사용자를 서비스하는 동안 자기수정하지 않는다. (2) Sira/CSPR에서의 배치 근거 사례 연구 — 특히 사용자 피드백을 온라인 학습이 아니라 **오프라인 실패 분류(failure triage)**로 전환하는 방식. (3) mutable-archive baseline과의 경계 지어진 validation-trace 비교.

Methods

아티팩트 정식화(Eq. 1): venue 빌드마다 배포 에이전트 a_v = (m_v, r_v, p_v, t_v, c_v, u). m_v=venue 메타데이터, r_v=공식 루브릭·CFP, p_v=프롬프트·추론 정책, t_v=리뷰 템플릿, c_v=캘리브레이션·점수 매핑 규칙, u=CSPR 서빙 하네스에서 상속한 공용 유틸리티 코드. 별도 사이드카 b_v는 학습 벤치마크 논문·기대 라벨·평가 기록을 담으며 에이전트와 함께 배포되지 않는다.

개선 스텝(Eq. 2): (a_v^(k+1), b_v^(k+1)) ← F_φ(a_v^(k), b_v^(k), E(a_v^(k); b_v^(k)), S_v, H_v). F_φ는 동결된 공장 에이전트, E는 평가 하네스, S_v는 전문가가 유지하는 스킬 라이브러리, H_v는 명시적 사람 지침. 허용된 행동은 의도적으로 평범하다 — 공식 venue 정보 수집, 리뷰 에이전트 생성/튜닝, 학습 벤치마크 논문 큐레이션, 평가 실행, 실패 점검, 이름 붙은 버전을 아카이브에 푸시.

튜닝 런 5단계: (1) 사람 트리거(새 venue 지침·벤치마크 실패·저평점 감사 티켓)로 버전 런 개시. (2) F_φ가 m_v, r_v, p_v, t_v, c_v와 사이드카 b_v만 편집해 후보 생성 — executor, 공용 유틸 u, 평가 스크립트, validation set, 자기 controller는 편집 불가. (3) 학습 벤치마크 팩으로 채점 + 루브릭 단위 실패 요약 점검, 선택적 사람 지침 H_v 기록. (4) 후보가 확정된 후에만 고정 평가기가 validation split으로 채점 — validation 예제와 라벨은 프롬프트·사이드카·사람 지침에 복사되지 않는다. (5) 승격된 후보를 이름 붙은 아카이브 버전으로 푸시, 온라인 서비스는 그 동결 번들을 다음 오프라인 런까지 로드.

설계 대조(Table 1): 5개 축(편집 대상, 개선 위치, 탐색 편향, 승격 근거, 리스크 프로파일)에서 개방형 편집 가능 baseline과 Sira 공장 재생성을 비교한다. Sira는 개방성을 일부 희생해 미공개 원고에 중요한 재현성·프라이버시·롤백·비용 통제를 얻는다.

비교 실험 프로토콜(§3): HyperAgents가 연구한 것과 같은 논문리뷰 도메인이되, 리더보드 재현이 아닌 에이전트 생성 파일럿용으로 split 프로토콜을 달리했다. 각 샘플은 AI 연구 논문 전문 + 실제 학회 결정에서 유도된 이진 accept/reject 라벨. 가용 논문리뷰 데이터셋을 고정 70/30 train–validation으로 재분할하고, 모든 런에서 split과 클래스 균형을 동일하게 유지했다. 학습 split은 생성 루프 안에서 쓰이고, validation split은 후보 구성 밖에 두되 후보와 탐색 궤적을 채점·보고하는 데 쓴다. baseline은 과제 에이전트 행동과 미래 후보를 제안하는 변이 정책이 둘 다 편집 가능한 아카이브로 표현된 HyperAgents식 적응이며, 공식 재현이 아니다. 양측은 base model, split, evaluator, scoring script, candidate-scoring budget을 공유한다.

발견 (Findings)

Sira는 더 높은 validation 후보를 더 적은 scored candidate step으로 찾았다(2–5 vs 6–15).
final archive mean 격차(0.868 vs 0.590)는 “모든 아카이브 후보가 더 나은 배포 에이전트”라는 뜻이 아니라, Sira의 제약된 아카이브에 저점수 탐색 후보가 더 적게 담겼다는 안정성 진단이다.
유력한 설명은 일반성이 커서가 아니라 사람 사전지식에 의한 탐색 압축(search compression) — 공식 루브릭, 알려진 리뷰 실패 모드, 점수 캘리브레이션된 예시, 벤치마크 인지 실패 분석.
사용자 저평점은 벤치마크 정확도만으로는 놓치는 실패를 드러내지만, 온라인 학습 데이터가 아니라 정책이 허용할 때 비식별화된 티켓·집계 진단·벤치마크 갱신 후보로만 쓰인다.
저평점은 borderline(경계선) 추천 주변에 가장 몰려 있어, 임계값 근처 논문이 캘리브레이션·피드백 품질 실패 진단에 유용함을 시사한다(Figure 2).

Results

Table 2의 5회 반복 요약이 유일한 정량 결과다. Sira 0.941 ± 0.018 (best validation) / 0.868 ± 0.023 (final archive mean) / 2–5 steps / mutable meta agent 없음. HyperAgents식 0.865 ± 0.049 / 0.590 ± 0.072 / 6–15 steps / mutable meta agent 있음. Figure 3은 대표적 자기개선 궤적을 탐색 트리와 진행 곡선으로 보여주며, 노드는 아카이브 후보, 색은 validation accuracy, N/A는 미채점 노드, 다이아몬드는 최종 최우수 후보를 나타낸다.

저자는 해석 조건을 강하게 붙인다. 정확도는 과거 accept/reject 라벨과의 이진 일치일 뿐 사실성·신규성 판단·리뷰 유용성·공정성·캘리브레이션의 척도가 아니다. validation split은 후보 구성에서는 배제되었지만 궤적 채점에 쓰였으므로 “best validation accuracy”는 validation에서 선택된 통계이지 손대지 않은 test 추정치가 아니다. 또한 near-duplicate/재투고 감사, temporal split, 논문 결정 대비 base model의 pretraining cutoff는 보고하지 않았다.

Discussion

이론적 의의

저자는 이 구분을 철학적 선호가 아니라 공학적 목적함수로 표현한다: arg max_a U_v(a) − λC(a) − ρR(a) − γT(a) (Eq. 3). U_v는 venue별 효용, C는 컴퓨트·엔지니어링·사람 큐레이션 비용, R은 프라이버시·유출·감사가능성·롤백 같은 운영 리스크, T는 배포까지의 시간이다. 단 이 논문에서 U_v는 validation decision-label accuracy로만 부분 프록시되고, scored candidate step은 C나 T의 완전한 측정이 아닌 거친 탐색 노력 대리지표다. 토큰 비용, wall-clock 튜닝 시간, 서빙 지연, S_v 유지에 드는 전문가 시간은 보고되지 않았으므로 Eq. 3은 설계를 동기화하는 공학 목표이지 측정된 결과가 아니다. 더 일반적인 자기개선 에이전트가 언젠가 U_v를 개선할 수 있어도, 공장은 운영 항들을 충분히 줄이면 프로덕션에서 선호될 수 있다.

Discussion Points

자기개선을 아티팩트 경계에 둬라: 미공개 원고를 다루는 리뷰 에이전트는 디버깅할 만큼 안정적이고, 인용할 만큼 버전화되어 있고, 재현할 만큼 동결되어야 한다. 개선은 다음 버전을 만드는 공장에 속한다 — 소프트웨어 CI와 유사하되 테스트 단위가 “루브릭·검색 정책·프롬프트·템플릿·캘리브레이션 규칙·평가 팩을 담은 에이전트 번들”이다.
평가를 제품 인프라로 취급하라: Sira는 리뷰가 더 세련되게 들린다고 승격하지 않는다. 승격은 고정 validation 팩, 갱신된 학습 벤치마크 팩, 루브릭 단위 진단, 정성적 실패 감사에 묶인다.
사람 전문성을 감독이 아니라 탐색 압축으로 써라: venue 전문성 자체가 고가치 사전지식이며, 루브릭·실패 모드·캘리브레이션 예시를 인코딩한 전문가는 탐색 시작 전에 유망하지 않은 가지를 대량으로 제거한다. 목표는 최대 자율성이 아니라 비용·프라이버시·거버넌스 제약 아래의 신뢰 가능한 과제 성능이다.
최종 판정이 아니라 반박 가능한 산출물을 만들어라: CSPR/Sira는 프로그램 위원회 대체가 아니라 제출 전 피드백과 계산적 연구 평가용이다. 리뷰 배정·비딩이 누가 무엇을 평가할지 정하고 결과에 자의성·비일관성이 있는 사회적 결정 과정이므로, 과거 결정을 흉내만 내는 시스템은 리뷰의 외양을 보존하면서 검증이라는 인식론적 노동을 놓칠 수 있다.
전이 범위: 근거가 가장 강한 곳은 공개적/안정적 지침, 전문가 유지 루브릭, 버전화 가능한 아티팩트, 반복 가능한 평가 팩, 통제되지 않은 온라인 적응의 비용이 큰 도메인이다. 목표가 빠르게 바뀌거나, 피드백을 감사할 수 없거나, 유용한 사전지식을 처음부터 발견해야 하는 경우에는 같은 이점이 성립함을 보이지 않았다.

실험 결과 상세

Table 2 — 재분할 논문리뷰 데이터셋에서의 5회 반복 validation 요약 (동일한 70/30 파티션)

Performance metric (↑/↓ better)	Sira	HyperAgents-style
Best validation decision-label accuracy (↑)	0.941 ± 0.018	0.865 ± 0.049
Final archive mean decision-label accuracy (↑)	0.868 ± 0.023	0.590 ± 0.072
Scored candidate steps to best validation score (min–max ↓)	2–5	6–15
Mutable meta agent during run	No	Yes

주: ±는 5회 반복 런의 run-to-run 표준편차. 정확도는 과거 accept/reject 라벨과의 이진 일치이며 사실성·신규성 판단·리뷰 유용성·공정성·캘리브레이션의 척도가 아니다. best-validation 행은 validation에서 선택된 값이므로 손대지 않은 test 성능으로 해석하면 안 된다. final-archive mean은 아카이브 안정성 진단이지 최종 에이전트 능력 지표가 아니다(탐색형 방법은 약한 중간 후보를 의도적으로 보존하기 때문).

Table 1 — 설계 대조 (개방형 편집 가능 baseline vs Sira 공장 재생성)

축	개방형 편집 가능 baseline	Sira 공장 재생성	실무적 함의
편집 대상	과제 행동 + 미래 과제 행동을 생성하는 절차 둘 다 변경 가능	런 동안 factory skills·공용 유틸 동결, venue별 리뷰 에이전트 아티팩트와 벤치마크 팩만 진화	감사가능성 강화, 엔지니어·도메인 전문가·배포 에이전트 간 소유권 분리
개선 위치	라이브 또는 완전 자율 에이전트 루프에 결합 가능	오프라인: 재생성 → 평가 → 버전 → 재배포	실제 원고는 고정된 에이전트가 처리 → 재현성·롤백 향상
탐색 편향	넓은 탐색이 뜻밖의 메커니즘을 찾을 수 있으나 도메인 구조 재발견에 예산 소모	공식 루브릭·알려진 실패 모드·캘리브레이션 예시·벤치마크 진단에서 출발하는 전문가 제약 탐색	목표가 좁은 수직 제품일 때 탐색 노력 절감
승격 근거	에이전트가 이용 가능한 모든 피드백, 진화하는 메타 절차와 얽힘	고정 validation 팩, 갱신 벤치마크 샘플, 루브릭 단위 진단, 사람 실패 분류	승격 결정을 재생·반박하기 쉬움
리스크 프로파일	표현력은 크지만 자기수정 메커니즘이 변할 때 경계 짓기 어려움	일반성은 낮지만 프라이버시·거버넌스·예측 가능한 서비스 동작을 위해 설계	대량 사전 리뷰에 적합, 사람 리뷰 대체가 아님

배치 규모 및 운영 신호 (CSPR)

항목	값	출처/조건
처리한 리뷰 요청	150,000+	논문 작성 시점, 집계 프로덕션 텔레메트리(§1 각주 1)
사용 국가	130개국	동일
응답 시간	약 1분	arXiv ID/PDF 입력, desk-rejection 판정·예상 결과·루브릭 정렬 비판 등급 포함
수집된 사후 품질 평점	n = 1,838	Figure 2 스냅숏
1–2성 저평점	630건	Figure 2. 온라인 학습에 미사용, 정책 허용 시 비식별 감사 대상
저평점 집중 구간	borderline 추천 주변	Figure 2 (구체 분포 수치는 그림에만 존재, 본문 미기재)

프레임워크 다이어그램

flowchart TD
    A["사람 트리거<br/>새 venue 지침 · 벤치마크 실패 · 저평점 감사 티켓"] --> B["버전 붙은 튜닝 런 개시"]
    B --> C["동결 공장 F_phi<br/>factory skills S_v · 실행 하네스 · 공용 유틸 u · controller 모두 고정"]
    C --> D["후보 생성: m_v, r_v, p_v, t_v, c_v 와 사이드카 b_v 만 편집"]
    D --> E["학습 벤치마크 팩 채점<br/>루브릭 단위 실패 요약 · 사람 지침 H_v 기록"]
    E -->|실패 분석 환류| D
    E --> F["고정 평가기가 validation split 채점<br/>validation 라벨은 프롬프트·사이드카에 미복사"]
    F --> G["아카이브에 이름 붙은 버전 푸시"]
    G --> H["온라인 CSPR 서비스가 동결 번들 로드<br/>런타임 자기수정 없음"]
    H --> I["사용자 원고 처리<br/>arXiv ID 또는 PDF · 약 1분 응답"]
    I --> J["사후 품질 평점 수집<br/>n=1838 중 630건 1-2성"]
    J -->|비식별 티켓 · 집계 진단 · 벤치마크 갱신 후보| A
    J -.->|금지: 온라인 학습| H

재현성 및 신뢰도 평가

종합등급: Evidence C / Reproducibility D

근거(Evidence C): 5회 반복 런의 mean ± std와 baseline 비교가 있다는 점은 C 이상을 시사하지만, 증거 폭이 매우 좁다. 단일 도메인(ICLR-style 논문리뷰), 단일 지표(과거 결정 라벨과의 이진 일치), 4개 행짜리 표 하나가 정량 결과의 전부다. untouched test set이 없고 best-validation은 validation에서 선택된 값이며, matched-prior ablation이 없어 “제약된 가변성”의 효과가 전문가 루브릭·캘리브레이션 템플릿·벤치마크 큐레이션과 분리되지 않는다. baseline은 HyperAgents 공식 재현이 아니라 저자 각색이다. 저자 스스로 “The evidence is limited but operationally meaningful”이라 쓰고 §5에서 포지션 논문임을 명시하므로, 등급 C는 논문의 자기 규정과 일치한다.
근거(Reproducibility D): 재현에 필요한 핵심 정보가 대부분 비공개다. 사용한 base model 이름, 논문리뷰 데이터셋의 정체·출처·크기, candidate-scoring budget의 구체 값, factory skill S_v의 내용, 프롬프트·루브릭·캘리브레이션 규칙, 코드/아티팩트 공개 여부가 어디에도 명시되지 않는다. 게다가 대상 자체가 사내 프로덕션 시스템(CSPR/Scholar7)이고 u는 사내 서빙 하네스 상속물이다. 절차 서술(70/30 고정 split, 5회 반복, 공유 evaluator·scoring script)만으로는 개념적 재구성조차 어려워 D가 타당하다. 저자도 향후 과제로 per-iteration artifact diff 로깅을 든다.

주장별 신뢰도

“Sira 0.941 ± 0.018 vs HyperAgents식 0.865 ± 0.049, 2–5 vs 6–15 steps” — 신뢰도 중간. 5회 반복 표준편차가 보고되고 base model·split·evaluator·budget이 공유되어 내부 비교로는 일관되지만, validation 선택 통계이고 데이터셋·모델이 특정되지 않아 외부 검증이 불가능하다.
“제약된 공장 재생성이 개방형 자기수정보다 낫다” — 신뢰도 낮음. 저자 스스로 “The comparison is not an ablation proving that constraint alone beats openness”라고 못 박는다. 제목의 “When Constrained Beats Open-Ended”는 조건부 서술로 읽어야 한다.
“final archive mean 0.868 vs 0.590 격차는 Sira 아카이브에 저점수 탐색 후보가 적었음을 뜻한다” — 신뢰도 중간. 논문이 이를 능력 지표가 아닌 안정성 진단으로 한정한 점은 타당하나, 탐색형 방법이 의도적으로 약한 후보를 보존한다는 사실 자체가 이 지표를 방법 간 비교에 부적합하게 만든다.
“비대칭 가변성 경계가 감사·재생·롤백을 쉽게 만든다” — 신뢰도 중간. 설계상 따라 나오는 성질이며 배치 사례로 뒷받침되지만, 감사 소요 시간·롤백 사고 건수·사고 복구 시간 같은 운영 지표는 하나도 측정되지 않았다.
“CSPR 15만 건·130개국, 평점 1,838건 중 630건 저평점” — 신뢰도 중간. 저자 소유 서비스의 집계 텔레메트리로 외부 감사 불가이며, 논문도 “according to aggregate production telemetry”라고 조건을 단다.

논문	개선의 위치	무엇이 가변인가	이 논문과의 차이
본 논문 (Sira)	오프라인 공장, 런타임은 동결	venue 아티팩트 `m,r,p,t,c` + 학습 사이드카 `b`	거버넌스·프라이버시·롤백을 1급 제약으로 두고 배치 서비스에서 검증
Gödel Agent - Self-Referential Recursive Self-Improvement	런타임 에이전트 자신	정책 + 학습 알고리즘까지 자기참조적으로	최대 자율성 지향, 프로덕션 감사 경계 없음
SkillOpt - Executive Strategy for Self-Evolving Agent Skills	동결 LLM 위 스킬 문서	유계 편집 + 검증 게이트로 제한된 텍스트 공간	같은 “제약된 자기개선” 계열이나 단위가 venue 번들이 아니라 스킬 문서
AgentBreeder - Self-Improvement Safety in Multi-Agent Scaffolds	진화 루프(오프라인 탐색)	다중 에이전트 스캐폴드 구조	안전-성능 다목적 진화가 목표, 사람 거버넌스·버전 아카이브는 비초점
Autonomy and Agency in Agentic AI - Architectural Tactics for Regulated Contexts	설계 시점 아키텍처	agency×autonomy 설계공간의 전술 선택	규제 환경 원칙을 일반적으로 제시, 자기개선 루프 자체는 다루지 않음

원자적 인사이트 (Zettelkasten)

자기개선의 “위치”는 능력 문제가 아니라 거버넌스 문제다. 같은 개선량을 얻더라도 그것을 서비스 중인 에이전트 안에서 얻느냐, 에이전트를 재생성하는 공장에서 얻느냐에 따라 감사·재현·롤백 가능성이 갈린다. Sira는 개선을 금지하지 않고 개선이 일어나는 지점을 관측 가능하게 만든다.
전문가 사전지식은 감독이 아니라 탐색 압축으로 쓸 때 가장 값싸다. 공식 루브릭·알려진 실패 모드·캘리브레이션 예시를 인코딩하면 탐색이 시작되기도 전에 유망하지 않은 가지가 제거된다 — Sira가 2–5 스텝에서 최고점에 닿은 반면 개방형 baseline이 6–15 스텝을 쓴 것의 유력한 설명이다.
아카이브 평균 점수는 능력이 아니라 탐색 성향의 지문이다. 탐색형 방법은 약한 중간 후보를 의도적으로 남기므로 final archive mean(0.590)이 낮은 것은 실패가 아니라 설계다 — 방법 간 비교 지표로 쓰면 개방형을 부당하게 깎게 된다.
프록시 지표는 “무엇을 못 재는지”를 함께 명시할 때만 안전하다. 과거 accept/reject 라벨과의 이진 일치는 캘리브레이션 디버깅에는 쓸모 있지만 사실성·비판 깊이·신규성 판단·저자 유용성·지역/기관 간 공정성은 전혀 재지 못한다. 지표의 사용 범위를 명문화하는 것이 지표를 개선하는 것만큼 중요하다.
프라이버시 민감 도메인에서 사용자 피드백은 학습 신호가 아니라 티켓이어야 한다. 저평점 리뷰 630건은 온라인 학습에 투입되지 않고 비식별 티켓·집계 진단·벤치마크 갱신 후보로만 변환된다 — 미공개 원고가 다음 원고를 심사하는 시스템을 조용히 바꾸지 못하게 하는 구조적 차단이다.

핵심 용어 정리

용어	정의
asymmetric mutability boundary	공장은 에이전트를 재생성할 수 있으나 배치된 에이전트는 서비스 중 자기수정할 수 없게 그은 비대칭 경계
Sira	CSPR용 venue별 리뷰 에이전트를 생성·수리·벤치마크·버전관리하는 공장(에이전트 생성 백엔드)
CSPaper Review (CSPR)	arXiv ID/PDF를 받아 약 1분 안에 학회 인지형 피드백을 반환하는 배치 서비스
factory-mediated regeneration	고정 스킬과 기록된 사람 거버넌스 아래 에이전트를 오프라인 재생성하는 방식의 “자기개선”
sidecar `b_v`	학습 벤치마크 논문·기대 라벨·평가 기록 묶음. 에이전트와 함께 배포되지 않음
decision-label accuracy	생성 리뷰의 결정이 과거 학회 accept/reject와 이진으로 일치하는 비율
scored candidate step	채점된 후보 하나에 해당하는 탐색 스텝, 탐색 노력의 거친 대리지표
search compression	전문가 사전지식으로 탐색 공간을 미리 좁혀 후보 수를 줄이는 효과
mutable meta agent	과제 에이전트뿐 아니라 변이 정책까지 런 도중 변경 가능한 메타 수준 에이전트
failure triage	실패 사례를 온라인 학습이 아니라 오프라인 분류·수리 대상으로 돌리는 운영 절차

BibTeX

@inproceedings{cao2026sira,
  title     = {Self-Improving Agent Factories for Paper Review: When Constrained Beats Open-Ended},
  author    = {Cao, Lele},
  booktitle = {KDD 2026 Workshop on SciSoc Agents and LLMs},
  year      = {2026},
  address   = {Jeju, Republic of Korea},
  note      = {Oral presentation},
  url       = {https://openreview.net/forum?id=4oqr2OIXVx}
}

논문 리뷰를 위한 자기개선 에이전트 공장: 제약이 개방형을 이길 때

논문 리뷰를 위한 자기개선 에이전트 공장: 제약이 개방형을 이길 때

먼저 이해하기

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX