ReplicatorBench: 사회·행동과학 반복검증 연구에서 LLM 에이전트 평가하기

Digest: 기존 재현성 벤치마크는 코드와 데이터를 이미 쥐여 준 채 “실행이 되는가”만 물었기 때문에, 실제 replication 연구자가 겪는 두 현실 — 새 데이터 표본을 스스로 구해야 한다는 점, 검증 대상 주장 중 상당수가 애초에 재현되지 않는다는 점 — 을 담지 못했다는 것이 이 논문의 문제의식이다. 핵심 통찰은 replication을 단일 판정이 아니라 사람 replicator의 작업 흐름을 따라가는 다단계 프로세스로 분해하면 “실행 성공”과 “올바른 결론”이 서로 다른 능력임을 분리해 관측할 수 있다는 것이다. 방법은 DARPA·Center for Open Science의 SCORE 프로젝트에서 전문가 replication 보고서가 남아 있는 논문 19편을 골라 Extraction(추출 24필드 + 웹 데이터 검색) → Generation(preregistration 30필드 + 실행 체크포인트 10개) → Interpretation(해석 13필드) 3단계·총 1,568개 채점 체크포인트로 재구성하고, ReAct 기반 도구 사용 에이전트 ReplicatorAgent를 GPT-4o·GPT-5·GPT-5-mini·o3로 돌려 LLMEval(LLM-as-a-judge)로 채점하는 것이다. 핵심 수치로 GPT-5가 Execute 96.20, Interpret 93.35, 최종 판정 macro F1 77.38로 최고였으나(§7, Table 2), 같은 GPT-5의 웹 데이터 검색 macro F1은 10.95·hit@all 15.79에 그쳤고(§7.1.2, Table 3), 정보 추출은 최고 66.57로 사람 주석자 기준선 72.14를 밑돌았다(§7.1.1). 반대로 o3는 Design 97.97·Execute 96.27로 계산 단계 최상위였음에도 최종 판정 macro F1은 54.76으로 GPT-4o(63.46)보다 낮아, 계산 능력과 판단 정합성이 분리된다는 핵심 주장을 뒷받침한다. 함의는 실행 성공률만 재는 벤치마크가 에이전트의 실제 연구 보조 능력을 과대평가하며, 다음 병목이 코드가 아니라 자원 탐색과 해석이라는 것이다. 한계는 인스턴스가 19편뿐이고 Table 2에 분산 보고가 없으며, 채점자가 GPT-4o 기반 judge인데 평가 대상 목록에도 GPT-4o가 들어 있어 판정 독립성이 완전하지 않다는 점이다.

먼저 이해하기

이 논문은 “AI 에이전트가 사람 대신 논문의 결론을 다시 검증할 수 있는가”를 재는 시험대(benchmark)를 만든 연구다. 단순히 코드를 돌려 같은 숫자가 나오는지 보는 게 아니라, 새 데이터를 구하고 → 분석 계획을 세우고 → 코드를 돌리고 → “이 주장은 재검증되었다/되지 않았다”를 판정하는 전 과정을 단계별로 채점한다.

reproduction(재현): 원 논문이 쓴 바로 그 데이터와 방법으로 같은 결과가 나오는지 확인하는 것.
replication(반복검증): 새로 구한 다른 데이터 표본에 같은 방법을 적용해도 같은 결론이 나오는지 확인하는 것. 일반화 가능성을 묻는다.
focal claim(초점 주장): 논문 하나에서 검증 대상으로 지목된 한 문장짜리 정량적 주장.
preregistration(사전등록): 분석 실행 전에 가설·데이터·방법·성공 기준을 문서로 못박는 절차. 결과를 보고 기준을 바꾸는 것을 막는다.
checkpoint(체크포인트): replication 과정 중 결과물이 생기고 채점이 가능해지는 지점.

설정은 이렇다. 에이전트에게 원 논문 PDF와 검증할 focal claim 하나를 준다. Extraction 단계에서만 인터넷이 허용되고 나머지는 닫힌 샌드박스 컨테이너에서 진행된다. 성공 판정은 사람 replicator가 사전등록해 둔 기준 — α = 0.05 양측으로 유의하고 원 연구와 같은 방향인가 — 을 새 표본에서 만족하는지에 따라 criteria met / criteria unmet 중 하나로 내려진다.

정답지는 SCORE(Systemizing Confidence in Open Research and Evidence) 프로젝트에서 온다. DARPA가 Center for Open Science와 함께 사회·행동과학 주장들을 대규모로 추출하고 사람이 직접 재현·반복검증해 신뢰도를 매긴 프로그램이다. 저자들은 SCORE 사례 중 (1) focal claim이 단일 정량 검정과 명확한 pass/fail 기준으로 검증 가능하고, (2) 관찰연구여서 온라인·아카이브 자료로 새 표본을 구성할 수 있으며, (3) 사전등록·데이터 접근·코드 문서가 모두 남아 있는 것만 남겨 19편을 얻었다.

왜 중요한가: 심리학·경제학에서 반복검증 실패가 대규모로 보고된 이래 replication은 학문 신뢰성의 핵심 인프라가 됐지만 사람이 하기엔 너무 비싸다. 그런데 기존 벤치마크는 이 문제의 가장 쉬운 부분만 잘라내 왔다. CORE-Bench는 재현 가능한 주장만 담아 “재현 실패를 식별하는 능력”을 잴 수 없고, REPROBench는 코드와 데이터를 모두 쥐여준 통제 환경에 과제를 놓는다. ReplicatorBench의 숫자가 이 간극을 드러낸다: 코드 실행 단계에서 GPT-5는 96.20을 찍지만, 반복검증용 데이터를 웹에서 찾는 단계의 macro F1은 10.95다. 실행만 재면 거의 다 푼 것처럼 보이지만 실제로는 시작조차 못 한다.

먼저 알아둘 용어 표

원 용어	쉬운 설명
reproducibility / replicability	같은 데이터로 같은 결과 / 새 데이터로 같은 결론
focal claim	논문에서 검증 대상으로 지목된 한 개의 정량적 주장
SCORE	DARPA·COS의 사회행동과학 주장 신뢰도 대규모 검증 프로그램(정답지 출처)
post-registration	에이전트가 원 논문을 읽고 사후적으로 채워 넣는 구조화 요약 문서(24필드)
preregistration	실행 전에 가설·데이터·방법·기준을 못박는 계획 문서(30필드)
criteria met / unmet	사전등록된 성공 기준을 새 표본에서 충족했는가의 이진 판정
LLMEval	참조 문서와 에이전트 산출물을 LLM 심판이 0-3(또는 0/1)로 채점하는 방식
hit@any / hit@all	필요한 데이터 자원 중 하나라도 찾은 비율 / 전부 찾은 비율
Native vs Python mode	원 코드를 원 언어(R 등) 그대로 실행 vs Python으로 번역 후 실행
data-only setting	새 데이터만 주고 사람이 쓴 replication 코드는 주지 않는 어려운 설정

섹션별 요약

Abstract

기존 벤치마크는 코드·데이터 접근을 전제로 계산적 측면만 검사해, (1) reproduction과 달리 replication에서는 새 데이터를 확보할 수 있다는 보장이 없다는 현실을 반영하지 못하고, (2) 완전히 재현 가능한 논문만 담아 정답 다양성이 없어 “재현 불가 연구를 식별하는 능력”을 평가하지 못하며, (3) 과정 없이 최종 결과만 채점한다. ReplicatorBench는 사람이 검증한 replicable/non-replicable 주장을 모두 포함하는 end-to-end 벤치마크로, ① 정보 추출과 replication 데이터 검색, ② 계산 실험의 설계와 실행, ③ 결과 해석의 3단계에서 에이전트를 평가한다. 베이스라인으로 웹 검색과 샌드박스 반복 상호작용 도구를 갖춘 ReplicatorAgent를 만들어 4개 LLM과 프로그래밍 언어·코드 접근 수준 조합으로 평가했다. 결론: 현재 LLM 에이전트는 계산 실험의 설계·실행은 효과적으로 수행하지만, 주장을 반복검증하는 데 필요한 새 데이터 같은 자원을 찾아내는 데 실패한다. 코드·데이터 공개: https://github.com/CenterForOpenScience/llm-benchmarking

왜 이 연구를 하는가?

replication은 정의상 새 데이터 표본을 찾거나 구성하는 일에서 시작하는데(Nosek & Errington, 2020), CORE-Bench·PaperBench·REPRO-Bench 등 기존 벤치마크는 새 표본이 이미 준비돼 있다고 가정한다. 또 대부분 최종 결과만 채점해 사람 replicator의 활동을 흉내 내는 과정은 평가하지 않는다. 저자들은 SCORE의 프로세스 지향 문서(사전등록 → 실행 → 최종 보고서)가 남아 있다는 점을 이용해, 단일 결과가 아니라 체크포인트 위계로 에이전트 행동을 평가하는 첫 replication 벤치마크를 만든다.

Introduction

기여는 셋이다. (1) 새 데이터가 주어지지 않는 현실 설정을 흉내 낸 19개 인스턴스 벤치마크로, 이진 결과 외에 3단계·1,568개 체크포인트로 부분 점수를 준다. (2) 반복 디버깅과 end-to-end 실행을 지원하는 ReplicatorAgent와 샌드박스 오케스트레이션 셋업을 개발한다. (3) LLM 선택·코드 번역 여부 등 여러 구성으로 평가해 실패의 근본 원인을 규명한다. 저자들이 미리 밝힌 트레이드오프 하나: 원 언어(R 등) 대신 Python으로 번역해 실행하면 컴파일러·의존성 설치가 줄어 실행 실패가 감소하지만, 번역 과정의 정보 손실이 잘못된 출력을 낳아 판정 신뢰성을 떨어뜨린다.

Methods

3단계 과제 설계
- Extraction: 원 논문 PDF와 focal claim을 받아 ① focal claim / data / method / results / metadata 5개 차원, 24개 채점 항목의 post-registration 문서를 작성하고, ② replication 데이터 표본을 웹에서 검색해 URL 목록을 낸다. 후보 URL은 전혀 주어지지 않는다.
- Generation — Step 1: Design: 사람 replicator의 사전등록을 흉내 내어 hypothesis / study type / data plan / proposed methodology / codebase / environment specifications / analysis steps 7개 차원, 30개 항목의 preregistration 문서를 작성하고 실행 환경을 구성한다. easy 설정에서는 언어·의존성 설치와 파일명 불일치 해결이, hard(data-only) 설정에서는 논문의 방법 서술만 보고 코드를 직접 작성하는 일이 과제다.
- Generation — Step 2: Execution: 데이터 처리, 모델링, 중간 결과 산출, 그리고 컴파일·런타임 오류의 반복 디버깅. 산출물은 실행 요약·중간 결과·표/그림을 담은 구조화 문서다.
- Interpretation: 실행 로그와 이전 단계 산출물을 모두 받아 계획 대비 실제 실행을 대조하고, 결과를 post-registration에 기록된 원 논문 수치와 비교한 뒤, α = 0.05 양측·동일 방향 기준 충족 여부를 판정한다. 7개 차원 13개 항목이 채점된다.
규칙: 작업 공간 내 전체 읽기·쓰기 및 패키지 설치·실행 권한. 인터넷은 Extraction 단계에서만 허용. 사람 개입은 원칙적으로 불필요하나 안전장치로 실행 명령·파일 쓰기에 선택적 human-check 승인 기능을 뒀고, 유의미한 위험 행동은 관측되지 않았다.
정답지 구축: Extraction 참조는 연구 경험이 있는 주석자 3인이 사전 테스트를 통과한 뒤 19편 전체를 주석했고, 2인의 주석을 정답으로 두고 나머지 1인으로 사람 기준선을 계산하는 leave-one-out 방식을 쓴다. Design 참조는 사람 사전등록 문서 원본, Interpretation 참조는 사람 replication 최종 보고서다. Execution만은 참조 없이(reference-free) claim당 10개 체크포인트로 채점한다.
채점 척도: Extraction 0-3(24필드), Design 0 또는 3(30필드), Execution 0 또는 1(10체크포인트), Interpretation 0-3(13필드). 모두 0-100 정규화 후 macro 집계한다. 최종 판정만은 사람 결론과의 일치를 precision/recall/F1으로 재고, 판정 불능(inconclusive)은 오답 처리한다.
ReplicatorAgent: ReAct 스타일 루프로, 첫 실행 실패를 종료로 보지 않고 반복 디버깅한다. 도구 팔레트는 재귀적 디렉터리·파일 탐색, 표적 파일 리더, 데이터셋 점검 유틸, git 스타일 diff를 내는 최소 수정 편집 edit_file, 명시적 덮어쓰기 플래그를 요구하는 write_file 다섯 가지다. 실행은 이미지 빌드·마운트·로그 내보내기를 러너가 오케스트레이션하는 샌드박스 컨테이너에서 이뤄진다. 로그가 컨텍스트 한계를 넘으면 앞 2000줄만 남기고, 사전등록된 계수와 p-value가 컨텍스트에 들어오도록 분석 엔트리포인트를 요약 출력형으로 다시 쓰게 한 뒤 재실행시킨다.
설계 변수: Native vs Python 모드, easy vs data-only(코드 미제공) 설정, 그리고 GPT-4o / GPT-5 / GPT-5-mini / o3 네 개의 기저 LLM. 모두 동일한 아키텍처·도구·실행 설정으로 비교한다.

발견 (Findings)

계산 단계는 이미 강하다. Design LLMEval o3 97.97, Execute o3 96.27 / GPT-5 96.20으로 상단이 포화에 가깝다.
자원 탐색은 전 모델 붕괴 수준이다. 웹 검색 macro F1 최고 19.49(GPT-4o), hit@all 최고 15.79.
정보 추출도 사람 기준선 미달이다. 최고 GPT-5 66.57 < 사람 leave-one-out 72.14.
실행 능력 ≠ 판정 정합성. o3는 Design/Execute 최상위이면서 최종 판정 macro F1 54.76으로 GPT-4o(63.46)보다 낮다.
검색 특화 모델이 도구를 붙인 범용 모델보다 못하다. o3-deep-research hit@any 52.63 < GPT-5 63.16.

Results

주 결과(Table 2, Python 모드): GPT-5가 Info 66.57 / Execute 96.20 / Interpret 93.35 / Acc 78.95 · macro F1 77.38로 종합 최고. 준우승 GPT-4o 대비 recall 20%p 순증(85.71 vs 65.71).
웹 검색(Table 3): 검색 특화군에서는 o3-deep-research가 macro/micro F1 23.26/17.11, hit@any 52.63, hit@all 10.53으로 최강. 도구를 붙인 범용 모델은 커버리지가 전반적으로 더 높다(hit@any 최대 63.16, hit@all 최대 15.79). 저자 해석: 범용 모델은 긴 문맥 추론과 질의 반복 정제가 강해 주장→데이터셋 매핑에 유리하고, 검색 특화 모델은 일반적 웹 적합도를 최적화해 그럴듯하지만 비정본(non-canonical) 페이지를 반환해 도메인 기반 채점에서 감점된다.
계산 단계 편차의 원인: GPT-5의 Design 84.32는 o3(97.97)보다 낮은데, 수동 검사 결과 이는 실패가 아니라 과제 분해 전략 차이다. GPT-5는 Design에 “Python으로 번역하겠다”는 계획만 적고 실제 데이터 점검·번역은 Execute에서 하는데, rubric이 즉시 실행 가능한 구체적 설계에 높은 점수를 준다.
Native vs Python(Figure 3, GPT-4o): Python 모드는 네이티브 코드가 의존성·환경 호환성으로 실패할 때 실행 도달률을 높이지만 최종 판정의 신뢰성은 보장하지 않는다. 번역 과정의 환각과 정보 손실이 다른 수치를 낳고 그 오차가 해석 단계로 전파된다. 개별 수치는 그림에만 있어 [위치 미확인].
Data-only(Figure 4, GPT-5): 사람이 쓴 replication 코드를 주지 않으면 Design 점수는 오른다(데이터 탐색 턴이 늘며 data plan이 상세해짐). 그러나 계산 성공과 원 방법론 충실도를 동시에 감당해야 하므로 Interpretation과 최종 판정 정합성은 떨어진다. 수치는 [위치 미확인].
오류 분포(Table 5): 총 실패 GPT-4o 193 > GPT-5-mini 78 > GPT-5 38 ≈ o3 35. GPT-4o는 Input Data Errors 124건이 지배적(파일 포맷·자료형 처리 실패), GPT-5-mini는 Implementation Errors 74건이 주 병목. GPT-5는 Input Data Errors가 단 6건.
정성 사례: (성공) GPT-4o가 scipy==1.7.1 비호환으로 Docker 빌드가 실패하자 에러 트레이스를 읽고 replication_info.json을 1.7.3으로 최소 수정해 재빌드에 성공. (실패) R→Python 번역 중 data_clean 미정의 크래시를 “고치면서” 파일명을 data_clean_5pct.rds가 아닌 data_clean.rds로 환각했고, 그 파일이 실제로 존재해 코드가 정상 실행돼 로그상 성공·결론은 오답인 조용한 실패(silent failure)가 발생.

Discussion

이론적 의의

이 논문이 실증적으로 분리해 낸 것은 “실행 능력”과 “판정 능력”이 별개 축이라는 사실이다. 에이전트는 구조화된 코드 실행과 디버깅에는 강하지만 초기 단계(웹에서 replication 데이터 찾기)에서 훨씬 약하고, 결정적으로 실행 성공이 올바른 해석으로 자동 이어지지 않는다. 숫자를 뽑아냈더라도 해석 오류, 사전등록 계획 이탈, 미묘한 구현 차이가 잘못된 결론을 만든다. 따라서 실행 성공만 보는 벤치마크는 에이전트의 실세계 유용성을 과대평가한다는 것이 저자들의 핵심 방법론적 주장이다.

Discussion Points

정보 비대칭이 아니라 관측 층위가 문제다. Case 2의 조용한 실패는 실행 로그만 보는 감독 체계로는 탐지할 수 없다 — 로그가 “성공”이기 때문이다.
채점자 GPT-4o가 평가 대상 LLM 목록에도 들어 있다. Appendix C가 사람 대비 Spearman 86.18로 judge 타당성을 뒷받침하지만, judge-피심판 중첩에 대한 별도 통제는 텍스트에 없다.
저자들이 인정하듯 데이터 검색은 “라이브 웹 수집”이 아니라 URL 식별 과제로 모델링돼 있는데(새 표본 데이터 자체는 큐레이션 제공), 이 축약된 버전조차 F1 20 미만이다. 실제 수집으로 확장하면 더 나빠질 가능성이 크다.
향후 과제로 관찰연구를 넘어 실험 데이터를 직접 수집·생성해야 하는 실험적 replication 벤치마크를 제안한다.

실험 결과 상세

Table 2 — Python 모드 단계별 성능 (0-100 정규화, macro 집계)

Model	Info	Web P	Web R	Web F1	hit@any	hit@all	Design	Execute	Interpret	Acc	Outcome P	Outcome R	Outcome F1
o3	61.27	13.59	28.60	16.68	57.89	15.79	97.97	96.27	87.57	57.89	56.67	54.76	54.76
GPT-4o	63.23	21.75	22.53	19.49	57.89	10.53	87.74	88.32	75.60	68.42	63.10	65.71	63.46
GPT-5-mini	63.75	7.09	28.81	10.56	57.89	15.79	83.18	67.62	54.55	36.84	44.87	44.29	36.67
GPT-5	66.57	7.41	30.62	10.95	63.16	15.79	84.32	96.20	93.35	78.95	77.78	85.71	77.38
사람 주석자(leave-one-out)	72.14	—	—	—	—	—	—	—	—	—	—	—	—

핵심: 오른쪽(계산·해석)은 90점대, 왼쪽(웹 검색)은 10~20점대. Info 열은 전 모델이 사람 기준선 72.14 아래.

Table 3 — 웹 검색 서브태스크: 검색 특화 모델 vs 도구 사용 범용 모델

구분	Model	Macro P	Macro R	Macro F1	Micro F1	Hit@any	Hit@all
Search-tuned	o3-deep-research	25.35	22.09	23.26	17.11	52.63	10.53
Search-tuned	gpt-5-search-api	7.19	11.58	7.82	5.41	15.79	10.53
Search-tuned	gpt-4o-search-preview	9.56	11.21	8.82	8.86	26.32	5.26
Base + tool	gpt-4o	21.75	22.53	19.49	19.05	57.89	10.53
Base + tool	gpt-5	7.41	30.62	10.95	10.61	63.16	15.79
Base + tool	gpt-5-mini	7.09	28.81	10.56	9.82	57.89	15.79
Base + tool	o3	13.59	28.60	16.68	14.36	57.89	15.79

Table 5 — 런타임 오류 분포 (건수)

Error Category	GPT-4o	GPT-5	GPT-5-mini	o3
Setup Errors	35	21	4	9
Input Data Errors	124	6	0	1
Implementation Errors	33	11	74	25
Timeout Errors	1	0	0	0
Total	193	38	78	35

Table 1 / Table 6 — 데이터셋 구성과 심판 타당성

항목	값
논문 수 / 분야	19편 / Health 6, Economics 4, Political Science 4, Education 2, Sociology 2, Public Administration 1
총 체크포인트	1,568 = Extract-Info 456(24×19) + Extract-Web 86 + Design 570(30×19) + Execute 190(10×19) + Interpret 247(13×19) + Outcome 19
Outcome 레이블 분포	§5 본문 “criteria met 4편 / unmet 15편” vs Table 1 “14 / 5” — 원문 내 불일치
Judge 타당성 (Spearman ρ / Kendall τ)	ROUGE-L 74.66 / 60.57, BERTScore 72.38 / 57.97, LLMEval(GPT-4o) 86.18 / 78.43 (사람 4인, 6편 53개 extraction, 항목당 3주석)

프레임워크 다이어그램

flowchart TD
    A["입력: 원 논문 PDF + focal claim 1개"] --> B["Stage 1 Extraction<br/>인터넷 접속 허용"]
    B --> B1["post-registration 24필드<br/>claim, data, method, results, metadata"]
    B --> B2["웹 검색으로<br/>replication 데이터 URL 탐색"]
    B1 --> C["Stage 2 Generation<br/>샌드박스 컨테이너, 인터넷 차단"]
    B2 --> C
    C --> C1["Step 1 Design<br/>preregistration 30필드 + 환경 구성"]
    C1 --> C2["Step 2 Execution<br/>실행 + 반복 디버깅, 체크포인트 10개"]
    C2 --> D["Stage 3 Interpretation<br/>계획 대비 실행 대조 + 원 수치 비교<br/>13필드"]
    D --> E["최종 판정<br/>alpha 0.05 양측, 동일 방향"]
    E --> F["criteria met 또는 criteria unmet"]
    G["사람 정답지: SCORE 사전등록 문서<br/>주석자 3인 leave-one-out<br/>사람 replication 최종 보고서"] --> H["LLMEval judge GPT-4o<br/>0-3 또는 0/1 채점"]
    B1 --> H
    C1 --> H
    C2 --> H
    D --> H
    H --> I["단계별 macro 점수 0-100"]
    F --> J["이진 판정 P/R/F1<br/>사람 결론과 대조"]
    I --> K["총 1568 체크포인트 집계"]
    J --> K

재현성 및 신뢰도 평가

종합등급: Evidence C / Reproducibility B

근거(Evidence C): 3단계 1,568 체크포인트라는 세분화된 채점 구조, 사람 주석 기준선(72.14), LLM judge의 사람 대비 상관 검증(Spearman 86.18)까지 방법론적 공은 상당하다. 그러나 평가 축 자체가 좁다 — 인스턴스가 19편뿐이고, 최종 판정 macro F1은 19개 이진 결정 위에서 계산되며 클래스가 4:15(또는 14:5)로 크게 불균형하다. 주 결과 Table 2는 단일 값만 제시하고 분산·시드 반복이 없어 모델 간 수 점 차이의 유의성을 판단할 수 없다(Figure 3·4만 95% CI 오차막대 보고). Native vs Python 비교는 GPT-4o 하나, data-only 비교는 GPT-5 하나로만 수행돼 ablation의 일반화 근거가 저자 스스로 “다른 LLM에서도 같은 경향을 기대한다”는 추정에 머문다. 더불어 원문 내부에 두 건의 수치 불일치가 있다(아래 미확인 항목 참조).
근거(Reproducibility B): 코드·데이터가 https://github.com/CenterForOpenScience/llm-benchmarking 에 공개되고, 정답지는 SCORE의 라이선스된 사람 replication 산출물이며, 실행은 환경과 명령을 기록하는 샌드박스 컨테이너에서 이뤄지고 프롬프트 템플릿도 Appendix D(Figure 10-14)로 제시된다. A가 아닌 이유는 (1) 평가 대상과 채점자가 모두 폐쇄형 OpenAI API 모델이라 버전 드리프트로 수치 재현이 보장되지 않고, (2) Extraction이 라이브 웹에 의존해 시간이 지나면 검색 결과 자체가 변하며, (3) LLM judge의 프롬프트 민감성이 저자들에 의해 명시적으로 인정된 한계이기 때문이다.

주장별 신뢰도

“에이전트는 계산 실행에 강하지만 replication 데이터 탐색에 약하다” — 신뢰도 높음. Execute 96.20/96.27 대 웹 검색 F1 10~20이라는 격차가 크고, Table 3에서 검색 특화 모델까지 별도로 확인해 결론이 단일 구성에 의존하지 않는다.
“실행 성공이 올바른 replication 판정을 보장하지 않는다” — 신뢰도 중간~높음. o3의 Execute 96.27 대 Outcome F1 54.76이라는 해리(dissociation)와 Case 2의 조용한 실패 사례가 뒷받침하지만, 19개 판정 위의 F1 차이라 표본이 매우 작다.
“GPT-5가 최고 성능” — 신뢰도 중간. Table 2에서 대부분 열의 최상위이나 단일 런·분산 미보고이고, Design(84.32)에서는 o3에 뒤지며 저자 스스로 이를 rubric 아티팩트로 설명한다.
“LLMEval이 신뢰할 만한 자동 채점자다” — 신뢰도 중간. 사람 대비 Spearman 86.18은 ROUGE-L·BERTScore보다 확실히 높지만, 검증 규모가 6편·53개 extraction으로 작고 Extraction 단계에서만 검증됐다. Design/Execution/Interpretation 단계 judge에 대한 사람 대조는 제시되지 않는다.
“Python 번역이 실행률은 올리지만 판정 신뢰성은 떨어뜨린다” — 신뢰도 낮음~중간. Case 2라는 구체적 기제(파일명 환각 → 로그상 성공 → 오답)가 있으나 근거가 GPT-4o 단일 모델의 Figure 3이고 수치가 본문에 없다.

확인하지 못한 값 / 원문 내부 불일치

Figure 3(Native vs Python)·Figure 4(data-only)의 개별 LLMEval·macro F1 수치는 그림에만 있어 HTML 텍스트 추출로 얻을 수 없었다 — 본문에 [위치 미확인] 표기.
Appendix B.2 본문은 “GPT-5는 Input data error 6건으로 GPT-4o의 211건과 대비된다”고 쓰지만, 같은 절 Table 5는 GPT-4o를 124(총계 193)로 적는다. 같은 문단의 “총량 약 80% 감소”는 193 → 38과 부합하므로 211이 잔존 오기일 가능성이 높으나 확정 불가.
§5는 “criteria met 4편 / unmet 15편”이라 하는데 Table 1의 Outcome 열은 14 / 5다. 원문만으로 판별 불가.

항목	CORE-Bench	PaperBench	REPROBench	ReplicatorBench (본 논문)
도메인	CS, Biology, Social sciences	Machine Learning	Social & Behavioral Sciences	Social & Behavioral Sciences
논문 출처	CodeOcean	ICML 2024	저널·preprint·Twitter/X·Retraction Watch	동료심사 저널
논문 수 / 과제 수	90 / 270	20 / 8,316	112 / 112	19 / 1,568
성격	Reproducibility	Reproducibility	Reproducibility	Replicability
과제·평가	결과 중심	결과 중심	결과 중심	과정 + 결과 중심
레이블	단일(reproducible)	단일(reproducible)	4단계 재현성	이진(criteria met/unmet)
입력	코드·원 데이터·논문	논문	논문·원 데이터·코드·문서·findings	논문 + focal claim
평가 방식	수치 범위 검사	LLM 채점 + 위계적 집계	수동 정답 대조	3단계 집계(Auto + LLM)
인터넷 접속	Yes	Yes	No	Yes

원자적 인사이트 (Zettelkasten)

최종 결과만 채점하는 벤치마크는 에이전트의 실세계 유용성을 과대평가한다. o3는 Execute 96.27로 계산 단계 최상위였지만 최종 판정 macro F1은 54.76으로 GPT-4o(63.46)보다 낮았다. 실행 성공률과 결론 정합성은 순위조차 뒤바뀌므로 단일 결과 지표로는 두 능력을 구분할 수 없다.
“로그상 성공”은 감독 신호로 불충분하다 — 조용한 실패는 정의상 성공으로 기록된다. R→Python 번역 중 에이전트가 data_clean_5pct.rds 대신 data_clean.rds를 환각했는데 그 파일이 실제로 존재해 코드가 정상 종료됐다. 크래시 기반 모니터링은 이런 실패를 잡을 수 없고, 사전등록 계획과 실행을 대조하는 프로세스 체크포인트만이 드러낸다.
검색에 특화 학습된 모델이 도구를 붙인 범용 모델보다 연구용 자원 탐색에서 뒤질 수 있다. o3-deep-research의 hit@any 52.63보다 도구를 쓴 GPT-5의 63.16이 높았다. 특화 모델은 일반적 웹 적합도를 최적화해 “그럴듯하지만 비정본” 페이지를 반환하는 반면 범용 모델은 긴 문맥 추론과 질의 반복 정제로 주장→데이터셋 매핑에 유리하다 — 정답이 정본 URL로 정의될 때 relevance 최적화는 손해다.
더 많은 자율성을 주면 계획은 좋아지고 판정은 나빠질 수 있다. 사람 replication 코드를 회수한 data-only 설정에서 GPT-5는 데이터 탐색에 턴을 더 쓰면서 Design 점수가 올랐지만, 계산 성공과 방법론 충실도를 동시에 감당하느라 Interpretation과 최종 판정 정합성은 떨어졌다. 자율성은 단조로운 개선이 아니라 단계별로 부호가 다른 트레이드오프다.
벤치마크가 잘라낸 부분이 곧 미해결 문제였다. reproduction과 replication을 가르는 것은 “새 데이터를 구하는 일”인데, 기존 벤치마크가 새 표본을 미리 쥐여 준 채 계산 능력만 측정하는 동안 그 앞 단계의 F1은 20 미만에 머물러 있었다.

핵심 용어 정리

용어	정의
ReplicatorBench	사회·행동과학 논문 19편의 focal claim을 새 표본으로 반복검증하는 3단계·1,568 체크포인트 벤치마크
ReplicatorAgent	파일 탐색·최소 diff 편집·의존성 해결·반복 디버깅을 지원하는 ReAct 기반 베이스라인 에이전트
SCORE	DARPA와 Center for Open Science가 사회행동과학 주장의 신뢰도를 대규모로 검증한 프로그램(정답지 출처)
focal claim	논문에서 검증 대상으로 지목된 단일 정량 주장, 단일 통계 검정과 pass/fail 기준으로 판정 가능
post-registration / preregistration	원 논문을 읽고 사후 작성하는 24필드 요약 / 실행 전에 못박는 30필드 계획 문서
criteria met / unmet	사전등록 기준(α = 0.05 양측, 원 연구와 동일 방향)의 새 표본 충족 여부 이진 판정
LLMEval	참조 문서 대비 의미 일치를 LLM(GPT-4o)이 0-3 또는 0/1로 채점하는 자동 평가
hit@any / hit@all	정답 자원 집합 중 하나 이상 / 전부를 찾아낸 사례 비율
data-only setting	새 데이터만 주고 사람 replication 코드는 회수한 어려운 설정(방법 서술만 보고 구현)
silent failure	실행은 성공했으나 잘못된 입력·구현으로 결론이 틀리는, 로그로 탐지되지 않는 실패

BibTeX

@inproceedings{nguyen2026replicatorbench,
  title     = {{ReplicatorBench}: Benchmarking {LLM} Agents on Replicability Studies in Social and Behavioral Sciences},
  author    = {Nguyen, Bang and So{\'o}s, Dominik and Ma, Qian and Obadage, Rochana R. and Ranjan, Zack and Koneru, Sai and Errington, Timothy M. and Nematova, Shakhlo and Rajtmajer, Sarah and Wu, Jian and Jiang, Meng},
  booktitle = {Proceedings of the 32nd ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD), AI for Sciences Track},
  year      = {2026},
  note      = {arXiv:2602.11354},
  eprint    = {2602.11354},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CL},
  url       = {https://arxiv.org/abs/2602.11354}
}

ReplicatorBench: 사회·행동과학 반복검증 연구에서 LLM 에이전트 평가하기

ReplicatorBench: 사회·행동과학 반복검증 연구에서 LLM 에이전트 평가하기

먼저 이해하기

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX