열두 편의 LLM 에이전트 벤치마크 논문은 자신에 대해 무엇을 공개하는가 - 파일럿 감사와 공개 스코어링 스키마
Digest: Context — LLM 에이전트(도구 사용·환경 상호작용을 거쳐 다단계 과제를 푸는 모델) 벤치마크에서는 같은 모델·같은 벤치마크인데도 논문마다 결과가 10점씩 어긋나는데, 공개된 산출물(artifact)만 봐서는 그 원인(스캐폴드? 샘플링? 평가자 버전?)을 알 수 없다. 저자들은 SWE-bench Verified의 같은 모델 수치가 두 보고서에서
10점 차이 났던 좌절에서 출발해, “논문 한 편과 그 공개 저장소만 읽고 평가가 어떻게 돌아갔는지 복원할 수 있는가”를 묻는다. Insight — 모델 카드·Datasheets·ML Reproducibility Checklist·BetterBench 등 기존 재현성 산출물은 모두 학습된 모델·데이터셋·학습 실행·벤치마크 품질을 다루지, 에이전트 런(agent run)이라는 분석 단위(모델×스캐폴드×환경 이미지×정지 규칙×채점자의 조합)는 아무도 다루지 않는다는 빈틈을 찾아낸다. Solution — 다섯 필드(① benchmark identity 신원, ② harness specification 하네스 명세, ③ inference settings 추론 설정, ④ cost reporting 비용, ⑤ failure breakdown 실패 분류)와 단일 집계 점수로 된 작은 감사 스키마를 1차 원리에서 설계하고, 각 필드를 {0, 0.5, 1}(부재/부분/공개)로 채점하는 코드북(codebook, 경계 사례 판정 규칙집)을 함께 작성해 12편(에이전트 8 + 고전 4)에 단일 채점자가 1회 적용한다. Evidence — 8개 에이전트 벤치마크 평균 공개 점수는 0.38/1.0, 4개 고전 정적 벤치마크는 0.66(전체 0.47)이다. 가장 큰 격차는 비용(cost) 필드로, 8개 에이전트 벤치마크 중 어떤 형태로도 추론 비용을 공개한 논문이 0편(평균 0.00)이고, 하네스 명세에서도 평가 환경의 콘텐츠-주소화 컨테이너 이미지(Docker digest)를 완전 공개한 논문은 0편이다. Implication — 점수는 공개도 지표일 뿐 품질·신뢰성 지표가 아니다(낮은 점수가 잘못된 실험을 뜻하지 않음). 그러나 모든 0점이 거짓 진술이 아니라 “안 적어서 누락”이었다는 점에서, 채점 가능한 표면적 변화는 “환경 다이제스트를 공개하라”는 단일 권고로 수렴한다. 저자들은 JSON Schema·코드북·검증기·점수 시트·2개 오픈소스 하네스 패치를 함께 공개하며, 12편은 “문헌 평균”이 아니라 파일럿임을 강조하고 50100편 다중 채점자 감사를 다음 단계로 제안한다.
섹션별 요약
Abstract
저자들은 잘 알려진 LLM 에이전트 벤치마크 논문 더미를 읽고, 차원별로 각 논문이 평가가 어떻게 수행되었는지 실제로 무엇을 말하는지 적어 내려가는 소박한 작업을 시도했다. 동기는 에이전트를 다뤄 본 사람이라면 익숙한 좌절에서 왔다 — 같은 모델·같은 벤치마크인데 두 논문의 수치가 어긋나고, 그 이유(스캐폴드였나? 샘플링 설정? 다른 부분집합? 평가자 버전?)를 알 수 없다. 많은 경우 공개된 산출물로는 이를 답할 수 없다. 본 논문은 그 시도에 대한 구현 보고서다. 다섯 필드(benchmark identity, harness specification, inference settings, cost reporting, failure breakdown)의 작은 감사 스키마를 설계하고, 파일럿 채점 중 마주친 경계 사례를 담은 코드북을 작성해, 표준 벤치마크 논문 12편(에이전트 8 + 고전 정적 4)에 적용한 뒤 관찰을 기록했다. 감사는 순탄치 않았다 — 2편은 ar5iv HTML 변환이 중도 실패해 GitHub 저장소로 후퇴했고, 1편은 포함하려 했으나 점수를 매길 만큼의 텍스트에 접근하지 못해 제외했으며, 한 벤더 블로그는 HTTP 403을 반환했다. 공개도는 신뢰성을 함의하지 않으며, 그렇게 주장하지 않는다. 8개 에이전트 벤치마크 평균 감사 점수는 0.38(/1.0), 4개 고전 정적 벤치마크는 0.66이다. 가장 큰 격차는 비용(에이전트 8편 중 어떤 형태로도 추론 비용을 공개한 논문 없음)과 하네스 명세(평가 환경의 콘텐츠-주소화 컨테이너 이미지를 완전 공개한 논문 없음)다. 스키마는 JSON Schema 파일, 코드북은 Markdown, 원시 점수 시트는 CSV로 공개한다. 채점은 단일 채점자 1패스로 수행되었으며 다중 채점자 감사가 자연스러운 다음 단계다.
저자 contribution
- LLM 평가의 분석 단위인 에이전트 런(모델×스캐폴드×환경 이미지×정지 규칙×채점자)을 직접 겨냥한, 5필드 + 단일 집계 점수의 공개 감사 스키마를 1차 원리에서 설계한다.
- 파일럿 채점 중 합의가 갈렸던 경계 사례들을 명문화한 코드북(필드별 partial-vs-disclosed 규칙)을 작성·공개하여, 채점자 간 이견을 모호함이 아닌 구체적 항목으로 환원한다.
- 12편(에이전트 8 + 고전 4)에 단일 채점자 1패스 감사를 적용해 에이전트 0.38 vs 고전 0.66의 정량 격차와 비용·하네스의 체계적 부재를 실증하고, 스키마·코드북·검증기·점수 시트·2개 하네스 패치를 오픈소스로 배포한다.
왜 이 연구를 하는가?
핵심 질문: 논문 한 편과 그 공개 저장소만 읽고(모델을 돌리지 않고, 논문당 약 1시간 안에) 에이전트 평가가 어떻게 수행되었는지 충분히 복원할 수 있는가? 그러려면 어떤 최소 필드 목록이 필요하며, 현재 벤치마크 논문들은 그 목록을 얼마나 채우고 있는가?
기존 접근법의 한계
| 한계 | 설명 |
|---|---|
| 같은 수치, 복원 불가능한 차이 | 같은 모델·같은 SWE-bench Verified 수치가 두 보고서에서 약 10점 차이 났는데, 한쪽은 공식 에이전트 루프를, 다른 쪽은 커스텀 루프를 썼고 공식 루프조차 재태그되어 “공식 루프의 어느 버전”인지 복원할 수 없었다. 거짓 진술이 아니라 정보 부족의 문제다. |
| 기존 재현성 산출물의 분석 단위 불일치 | Model Cards는 학습된 모델, Datasheets는 데이터셋, ML Reproducibility Checklist는 학습 실행(seed·하이퍼파라미터), BetterBench는 벤치마크 품질을 다룬다. 어느 것도 에이전트 런(모델×스캐폴드×환경 이미지×정지 규칙×채점자) 자체를 겨냥하지 않는다(Table I). |
| 프롬프트 민감도 연구의 척도 불일치 | 단일-프롬프트 평가가 다중-프롬프트 집계 대비 노이즈가 크다는 연구는 디코딩·프롬프트가 중요하다는 배경은 주지만, 에이전트 런을 다시 측정해 주지는 않는다. |
핵심 통찰
- 에이전트 평가에서 진짜 분석 단위는 모델 하나가 아니라 모델·스캐폴드·환경 이미지·정지 규칙·채점자가 결합해 그 수치를 만든 한 번의 런이며, 이 단위를 공개 항목으로 명세하는 도구가 비어 있다.
- 무엇을 공개해야 하는지 1차 원리에서 짧은 필드 목록을 적어 내려가면, 그것이 현 벤치마크 논문에서 체계적으로 비어 있는 곳(비용·환경 이미지)을 드러낸다 — 누락은 무작위가 아니라 패턴이다.
Introduction
이 작업을 촉발한 질문은 구체적이었다. 두 보고서(한 편은 논문, 한 편은 블로그 글)가 같은 제공자의 명목상 같은 모델에 대해 SWE-bench Verified 수치를 주장했는데 그 차이가 약 10점이었다. 어느 쪽이 맞는지 가리려 두 보고서와 SWE-bench 저장소를 한나절 읽었지만 여전히 확신할 수 없었다 — 둘은 서로 다른 스캐폴드를 썼고, 한쪽은 공식 에이전트 루프를, 다른 쪽은 커스텀 루프를 썼으며, 공식 루프마저 재태그되어 “공식 루프의 어느 버전”인지조차 즉시 복원할 수 없었다. 이는 어느 보고서에 대한 비난이 아니다 — 둘 다 당시 합리적인 일을 했다. 문제는 공개된 산출물이 두 수치가 비교 가능한지를 하류 독자가 판단할 만큼의 정보를 담고 있지 않았다는 점이다.
이 문제를 인접 영역에서 다룬 글은 많다. 심층 강화학습 문헌은 10년 전 자체 재현성 물결을 겪었고, LLM 프롬프트 민감도 연구는 단일-프롬프트 평가가 다중-프롬프트 평균 대비 의미 있게 클 수 있는 노이즈를 문서화했으며, 벤치마크 메타-평가 연구는 구성 타당도(construct validity) 차원에서 벤치마크 자체를 채점해 왔다. 그러나 어느 것도 에이전트 런이라는 분석 단위 — 그 수치를 만든 모델·스캐폴드·환경 이미지·정지 규칙·채점자의 구성 — 를 겨냥하지 않는다.
그래서 저자들은 알고 싶었다. 하류 독자가 무슨 일이 있었는지 알기에 충분한 필드 목록을 짧게 적어 내려가면, 현재 벤치마크 논문들은 그 목록을 얼마나 채우고 있는가? 본 논문은 이를 작지만 실재하는 코퍼스에서 경험적으로 답하려는 시도다. 세 가지가 나왔다. 첫째, 다섯 필드 + 단일 집계 점수의 감사 스키마. 둘째, 각 필드의 partial-vs-disclosed 경계 규칙을 문서화한 코드북. 셋째, 12편의 채점된 논문 — 각각 차원 점수 1행과 필드별 짧은 정당화. 평균 공개 점수(/1.0)는 에이전트 8편 0.38, 고전 정적 4편 0.66이었으며, 현실적 천장이 어디인지 아직 몰라 이를 어떤 기준선으로도 정규화하지 않았다.
Methods
저자들은 “에이전트 평가가 어떻게 돌아갔는지”를 논문 + 공개 저장소만으로, 논문당 약 1시간 안에, 모델을 돌리지 않고 답할 수 있게 하는 5필드 감사 스키마와 코드북을 설계하고, 이를 12편에 단일 채점자 1패스로 적용했다. 핵심 설계 원칙은 스키마가 aspirational(이상적 실험 설계)이 아니라 descriptive(공개 여부)여야 한다는 것 — 1.0은 “유능한 독자가 충실히 재실행을 시도할 수 있음”을 뜻하지 “실험이 옳게 설계됨”을 뜻하지 않는다.
다섯 필드(스키마 구성요소)
- ① Benchmark identity(신원): 어떤 벤치마크를, 어떤 버전으로, 어떤 부분집합(subset)에서, 어떤 채점자(grader)로 돌렸는가. 벤치마크명+공개 저장소 참조는 절반(쉬운 절반)으로 인정하나, 명시적 버전 태그/커밋 해시가 어려운 절반이다. 부분집합 선언은 필수 구조화 필드(“full set”도 카운트되지만 적어야 함). 채점자는 시간이 지나며 바뀔 수 있으므로 별도 필드. (표에서는 이를 identity card로 줄여 부름.)
- ② Harness specification(하네스 명세): 모델을 감싼 스캐폴드, 어떤 도구를 쥐었는지, 정지 규칙, 환경 이미지. 에이전트 설정이 도입하고 고전 설정에는 없으며, 코퍼스 전체에서 가장 점수가 낮은 필드. 하위 필드: scaffold name+version(or commit), system prompt(verbatim or hash), tool inventory, stopping rule(max steps/tokens/wall-clock), environment identifier. 환경은 콘텐츠-주소화 이미지(실무상 Docker digest) 를 요구 — 태그는 가변(mutable)이므로 불충분.
- ③ Inference settings(추론 설정): 어떤 모델을, 어떤 엔진으로, 어떤 샘플링 구성·시드(또는 시드 미노출 명시)로, 어느 날짜에 질의했는가. run date(실행 날짜) 를 요구하는 이유: 폐쇄형 API 모델 별칭은 제공자가 조용히 재지정(re-point)하므로, 6개월 전 “gpt-4o”와 이후 “gpt-4o”가 다른 모델일 수 있다. 집계 규칙(single shot, mean-of-n, best-of-n against a verifier)도 하위 필드 — 두 논문이 같은 “accuracy” 헤드라인을 토큰 소비 한 자릿수 차이로 달성할 수 있기 때문.
- ④ Cost reporting(비용): 입력 토큰, 출력 토큰, 총 도구 호출 수, wall-clock 시간, 명시된 단가 기준 달러 비용. accuracy는 백 달러어치 비용과 천 달러어치 비용에서 같을 수 있어 운영점이 다르며, 벤더 보고서는 비용을 드러내는 반면 학술 논문은 억누르는 경향이 있어 공개 스펙트럼상 유용한 신호.
- ⑤ Failure breakdown(실패 분류): 각 과제에서 왜 실패했는지의 구조화 분류 — refusal(거부), infinite loop(무한 루프), tool-use error(도구 사용 오류), environment error(환경 오류), time-out(시간 초과), grader timeout(채점자 시간 초과), incorrect final state(잘못된 최종 상태). 특정 분류 체계를 요구하지 않으나(벤치마크마다 다를 수 있음), 과제 단위(task granularity)의 분류별 카운트를 보고하라고 요구한다. 정성적 오류 분석(서술문)은 공개로 치지 않음.
집계 점수(aggregate score): 다섯 필드 각각에 채점자가 {0, 0.5, 1}(absent/partial/disclosed)를 부여. N/A는 허용되며 분모에서 제외(collapse). 집계는 적용 가능한 필드의 비가중 평균(unweighted mean) — 가중치를 두면 어떤 필드가 더 중요한가라는 논쟁이 생기므로 일부러 균등 가중. 필드별 벡터를 스칼라와 함께 보고해, 비가중 평균에 동의하지 않는 사람은 성분을 직접 읽을 수 있다.
채점 절차 / 코드북: 두 출처(ar5iv HTML 또는 PDF + 공식 GitHub README·설정 파일)에서, 단일 채점자가 1패스로 각 필드에 {0, 0.5, 1} 값과 출처를 인용한 한 문장 정당화를 기록. 코드북은 4번째 논문쯤에 합의가 갈리며 추가되었고 경계 규칙을 명문화한다 — 예: “Greedy decoding alone is not enough”(샘플링 방법만 적고 엔진·토큰 캡·집계 규칙이 없으면 partial), “A repository tag is not a container digest”(Docker 저장소 태그는 partial, 콘텐츠-주소화 다이제스트라야 disclosed), “Qualitative error analysis is not a failure breakdown”(분류별 카운트가 있어야 disclosed), “Subset cardinality has to be a structured number”(부분집합 크기가 명시돼야 함). 일부 규칙은 판단 호출(judgment call)임을 인정하고 코드북을 공개해 이견을 구체화한다.
코퍼스 수집: 15편을 계획했으나 12편으로 마무리. ar5iv 변환이 3편에서 Fatal error로 실패(OSWorld·MLE-bench는 abstract+README로 후퇴해 채점, AgentBoard는 충분한 텍스트 부족으로 제외), SWE-bench Verified 벤더 블로그는 HTTP 403으로 제외(단 SWE-bench의 부분집합으로 논의엔 등장).
발견 (Findings)
- 발견 1 — 에이전트 vs 고전 공개도 격차: 8개 에이전트 벤치마크 평균 0.38, 4개 고전 정적 벤치마크 0.66, 전체 12편 0.47(Table III). 격차 일부는 고전 설정에 없는 하네스 필드가 에이전트 평균을 끌어내리기 때문이나, 그 필드를 빼도 에이전트가 비용 필드에서 더 낮다.
- 발견 2 — 비용은 코퍼스에서 가장 균일하게 부재한 차원: 12편 전체에서 비용 정책을 명시 공개한 논문은 단 1편(MBPP, 학습 compute·CO₂를 공개)뿐이고, 8개 에이전트 벤치마크 중 추론 비용을 어떤 형태로든 공개한 논문은 0편(에이전트 비용 평균 정확히 0.00).
- 발견 3 — 하네스 필드는 보편적으로 partial: 에이전트 7편이 0.5, 1편(SWE-bench, 스캐폴드 작업을 선행)이 0.0, 1.0은 0편. 스캐폴드·도구는 (흔히 부록에서) 어떤 형태로 기술되나 환경 이미지가 다이제스트로 고정(pin)되지 않음 — 채택 권고가 단일 변경(다이제스트를 공개하라)으로 가장 명확히 번역되는 지점.
- 발견 4 — Identity는 가장 강한 필드이나 분기 존재: 고전 4편 모두 1.0, 에이전트 8편 모두 0.5. 에이전트 논문들은 벤치마크 버전·부분집합 선택을 산문이 아닌 구조화 필드로 보고하지 않음(“we evaluate on the test set” 류는 partial).
- 발견 5 — Failure breakdown은 가장 이질적인 필드: 12편 중 3편(AgentBench·HumanEval·MBPP)이 1.0, 4편 partial, 5편 부재. 1.0인 논문들은 명시적 분류별 카운트 표를 공개한다는 공통점을 가짐.
Results
전체 점수(Table III) — 에이전트 평균(n=8) 0.38, 고전 평균(n=4) 0.66, 전체(n=12) 0.47. 필드별 에이전트 평균은 Identity 0.56, Harness 0.44, Inference 0.56, Cost 0.00, Failure 0.31. 가장 높은 에이전트 점수는 AgentBench 0.70(8개 환경의 분류별 카운트 표 + 명시적 가중 공식으로 코드북에 영향), 가장 낮은 점수는 SWE-bench 0.20·GAIA 0.20. 고전 벤치마크에서는 MBPP 0.88이 최고(유일하게 비용 1.0).
감사 워크스루 1 — SWE-bench (집계 0.20) — 가장 익숙했으나 점수가 가장 놀라웠던 논문. Identity 0.5(“2294 software engineering problems”는 적었으나 release tag·grader version·partial-credit 정책 미명시), Harness 0.0(에이전트 스캐폴드 없이 LLM을 프롬프트 템플릿으로 직접 평가, 환경 이미지 식별자 부재 → “not applicable” vs “absent” 판단 호출 끝에 absent), Inference 0.5(greedy + single patch는 적었으나 temperature·top-p·seed·엔진·날짜 부재), Cost 0.0(학습 compute는 “20 hours on 4 NVIDIA A100s”로 적었으나 추론 비용 없음), Failure 0.0(정성적 사례 분석만, 명명된 분류+카운트 부재). 점수가 낮은 이유는 SWE-bench가 필드 작업 대부분을 예고하면서도 정작 표준 벤치마크 도입만 다뤘기 때문 — 2025년 에이전트 논문이 보고한 SWE-bench 결과라면 하네스 필드에서 더 높았을 것.
감사 워크스루 2 — AgentBench (집계 0.70) — 가장 높은 에이전트 점수이자 코드북에 가장 영향을 준 논문. Identity 1.0(“8 distinct environments” + 과제 카운트·메트릭 표 + “reciprocal average score … as a fixed weight” 가중 공식), Harness 0.5(CoT 스타일 프롬프트·최대 상호작용 8~35턴은 기술, 환경 이미지 미공개), Inference 1.0(“temperature=0 (i.e., greedy decoding)” + 모델 식별자 + 코드북 임계 충족 → 0.5 주장도 가능한 경계였으나 1.0), Cost 0.0(approx 4k/13k calls는 카운트지만 토큰·달러 미공개), Failure 1.0(Context Limit Exceeded·Invalid Format·Invalid Action·Task Limit Exceeded·Complete 5종을 Table 4로 분류·카운트·과제 귀속).
감사가 찾지 않은 것 — 12편 중 거짓을 진술한 논문은 없었다. 모든 0.0은 misstatement가 아니라 omission(템플릿이 요구한 것을 적지 않음)에 대응했다. 저자들은 이를 교정 가능한 발견으로 간주한다 — 점수를 움직이는 레버는 평가 하네스를 계측(instrumentation) 하여 공개 항목이 자동으로 방출되게 하는 것이지, 애초에 적히지 않은 것을 잡으려 더 엄격한 동료 심사를 하는 것이 아니다.
Discussion
저자들은 자발적 표준이 ML에서 혼재된 채택 이력을 가짐을 인정하면서, 이 스키마가 채택될지 모른다고 명시한다. 다만 스키마가 싸다는 점을 강조한다 — 하네스를 한 번 계측하면 manifest가 런마다 자동 방출되어 결과당 한계비용이 거의 0이고, 코드북은 리뷰어가 15분에 읽는 단일 Markdown이며, 검증기는 90줄 스크립트다. 또한 벤치마크 유지자(maintainer)가 일방적으로 할 수 있는 최소 개입(점수와 함께 manifest 업로드를 받아 스키마로 검증하고 필드별 벡터를 공개 표에 렌더)도 제시한다.
스키마는 공개를 다룰 뿐 좋은 실험을 다루지 않는다는 점을 분명히 한다 — 모든 필드 1.0이면서도 잘못된 벤치마크·잘못된 기준선·오염된 학습 집합으로 의심스러운 실험을 돌릴 수 있다. 공개는 신뢰성의 필요조건이지 충분조건이 아니며, 스키마는 충분 절반에 대해 침묵한다.
저자가 인정한 한계
- 12편은 파일럿이다. 대표 표본 감사라면 venue별 층화 50~100편 + 채점자 간 합의를 위한 2번째 채점자가 필요하나 시도하지 않았다. Table III의 평균은 “이 12편이 하는 것”이지 “문헌 평균”이 아니다.
- 채점은 단일 채점자 1패스다. partial-vs-disclosed 경계는 여러 필드에서 판단 호출이며, 2번째 채점자가 정당하게 2~3셀을 어느 방향으로든 움직일 수 있다(per-paper 노트에 경계 근접 셀을 표기: AgentBench inference 1.0 vs 0.5, SWE-bench harness 0.0 vs n/a, AgentBench cost 0.0 vs 0.5).
- 감사는 공개된 산출물을 기록할 뿐, 공개가 빈약해도 기저 실험이 옳게 수행되었는지를 배제할 수 없다. 0.20점 논문이 세심한 작업의 미기록일 수 있다. 집계는 disclosure metric이지 quality metric이 아니다.
- 폐쇄형 API 모델 별칭의 동역학을 해결하지 못한다 — run date를 요구해 사후 제공자 changelog 대조는 가능케 하나, 제공자가 changelog를 공개하게 만들 수는 없다(외부에서 풀 수 없는 제약).
독자 식별 가능한 추가 한계
- ar5iv 변환 실패·HTTP 403 등 소스 렌더링 계층의 인프라 문제가 일부 논문의 점수(특히 HSS 하위 필드)를 실제보다 낮게 만들 수 있다 — 감사 도구가 ar5iv를 1차 소스로 쓰면 재현자마다 다른 텍스트를 볼 위험.
- 비가중 평균은 비용·하네스처럼 에이전트-특유 필드가 0에 몰린 분포에서 에이전트 점수를 구조적으로 끌어내려, “에이전트 저자가 덜 엄격하다”는 오독을 유발할 수 있다(저자도 그렇게 읽지 말라 경고).
향후 방향
- venue별 층화 50~100편 + 2번째 채점자로 채점자 간 합의를 측정하는 다중 채점자 감사 (한계: 단일 채점자 1패스의 판단 호출 편향)
- 평가 하네스 계측을 통한 manifest 자동 방출 — 2개 오픈소스 하네스 패치(swe_agent·browsergym, 각 ~30줄)를 시범 공개하고 생산용 확장은 독자에게 위임 (한계: 자발적 채택의 불확실성)
이론적 의의
- 분석 단위로서의 ‘에이전트 런’: 재현성 산출물(모델 카드·datasheet·체크리스트·BetterBench)이 각기 학습된 모델·데이터·학습 실행·벤치마크 품질을 다루는 격자에서, 모델×스캐폴드×환경×정지 규칙×채점자가 결합한 런이 비어 있던 칸임을 명시화한다 — 평가 메타-과학에 새로운 단위를 도입.
- disclosure ≠ trustworthiness의 분리 명제: 공개도 점수를 품질 점수와 의도적으로 분리하고 비가중 평균·필드 벡터로 보고함으로써, “측정 가능한 표면(공개)“과 “측정 불가능한 깊이(실험 타당성)“를 경계 짓는 메타-평가 입장을 제시한다.
- 누락의 구조성: 모든 0점이 거짓이 아니라 누락이었다는 관찰은, 교정 레버가 동료 심사 강화가 아니라 하네스 계측(공개의 자동화)에 있음을 시사 — 재현성을 사회적 규범이 아닌 엔지니어링 산출물로 재구성.
Discussion Points
- 논쟁점: 비가중 평균이 에이전트-특유 필드(비용·하네스)의 구조적 0을 그대로 반영해 에이전트 점수를 끌어내리는데, 이 격차(0.38 vs 0.66)가 공개 관행의 미성숙을 재는지 아니면 에이전트 평가가 본질적으로 더 비싸 보고 인센티브가 다르다는 운영적 현실을 재는지가 구분되지 않는다. 저자도 “메커니즘에 대해 추측 중”이라 명시.
- 검증할 가정: “단일 채점자 1패스 점수가 안정적”이라는 가정은 미검증이다. partial-vs-disclosed 경계가 다수 필드에서 판단 호출이므로, 2번째 채점자 + 채점자 간 합의(Cohen’s κ 등) 측정으로 점수의 재현성을 직접 확인해야 한다.
- 후속연구: (1) venue 층화 50~100편 다중 채점자 감사로 “문헌 평균” 추정, (2) 하네스 계측 patch를 실제 에이전트 평가 파이프라인에 통합해 manifest 자동 방출의 한계비용이 정말 ~0인지 측정, (3) run date 필드를 제공자 changelog와 대조해 폐쇄형 모델 별칭 드리프트를 사후 정량화.
실험 결과 상세
Table III — 12편 감사 점수 (1.0=공개, 0.5=부분, 0.0=부재, ”—“=N/A)
| 벤치마크 | Iden. | Harn. | Infer. | Cost | Fail. | Score |
|---|---|---|---|---|---|---|
| 에이전트 벤치마크 | ||||||
| SWE-bench | 0.5 | 0.0 | 0.5 | 0.0 | 0.0 | 0.20 |
| WebArena | 0.5 | 0.5 | 1.0 | 0.0 | 0.5 | 0.50 |
| OSWorld* | 0.5 | 0.5 | 0.5 | 0.0 | 0.0 | 0.30 |
| GAIA | 0.5 | 0.5 | 0.0 | 0.0 | 0.0 | 0.20 |
| AgentBench | 1.0 | 0.5 | 1.0 | 0.0 | 1.0 | 0.70 |
| VisualWebArena | 0.5 | 0.5 | 0.5 | 0.0 | 0.5 | 0.40 |
| Mind2Web | 0.5 | 0.5 | 0.5 | 0.0 | 0.5 | 0.40 |
| MLE-bench* | 0.5 | 0.5 | 0.5 | 0.0 | 0.0 | 0.30 |
| 고전 정적 벤치마크 | ||||||
| HumanEval | 1.0 | — | 0.5 | 0.5 | 1.0 | 0.75 |
| MMLU | 1.0 | — | 0.5 | 0.0 | 0.5 | 0.50 |
| GSM8K | 1.0 | — | 0.5 | 0.5 | 0.0 | 0.50 |
| MBPP | 1.0 | — | 0.5 | 1.0 | 1.0 | 0.88 |
| 에이전트 평균 (n=8) | 0.56 | 0.44 | 0.56 | 0.00 | 0.31 | 0.38 |
| 고전 평균 (n=4) | 1.00 | — | 0.50 | 0.50 | 0.62 | 0.66 |
| 전체 (n=12) | 0.71 | 0.44† | 0.54 | 0.17 | 0.42 | 0.47 |
* ar5iv HTML 변환 실패로 arXiv abstract + GitHub README에서 채점. † 하네스 필드가 적용되는 에이전트 8편에 대한 평균.
핵심 관찰: Cost 열은 에이전트 8편 전부 0.0(평균 0.00). Harness 열은 에이전트 8편 중 1.0이 0편. Identity 열은 고전 4편 모두 1.0 vs 에이전트 8편 모두 0.5. AgentBench(0.70)·MBPP(0.88)가 그룹별 최고.
Table I — 기존 재현성 산출물이 멈추는 지점
| 산출물 | 다루는 단위 | 에이전트 런을 다루는가? |
|---|---|---|
| Model Cards | 학습된 모델 | No |
| Datasheets | 데이터셋 | No |
| ML Repro. Checklist | 학습 실행 | Partial |
| BetterBench | 벤치마크 | No |
| 본 논문 | 에이전트 런 | Yes |
Table II — 실패 모드와 대응 스키마 필드
| 실패 모드 | 양상 | 필드 |
|---|---|---|
| Harness drift | 같은 벤치, 다른 스캐폴드, 같은 이름 | Harness |
| Silent subsetting | 부분 평가를 full로 보고 | Identity |
| Decoding underspecification | 샘플링 방법만, 엔진·캡·집계 누락 | Inference |
| Cost invisibility | accuracy만, compute·달러 비용 없음 | Cost |
| Grader opacity | 채점자 거동 기술, 버전 미고정 | Identity |
프레임워크 다이어그램
graph TB PAPER["입력: 논문 1편 + 공개 GitHub 저장소<br/>(모델 미실행, 약 1시간/편)"] subgraph SCHEMA["5필드 감사 스키마 (reprobe.schema.json)"] F1["① Benchmark identity<br/>버전·부분집합·채점자"] F2["② Harness specification<br/>스캐폴드·도구·정지규칙·환경 다이제스트"] F3["③ Inference settings<br/>엔진·샘플링·시드·run date·집계규칙"] F4["④ Cost reporting<br/>토큰·도구호출·wall-clock·달러"] F5["⑤ Failure breakdown<br/>분류별 카운트(과제 단위)"] end CODEBOOK["코드북 (CODEBOOK.md)<br/>partial-vs-disclosed 경계 규칙"] SCORE["필드별 {0, 0.5, 1} 채점<br/>(absent/partial/disclosed)"] AGG["집계 = 적용 필드 비가중 평균<br/>+ 필드 벡터"] RESULT["12편 결과<br/>에이전트 0.38 · 고전 0.66 · 전체 0.47"] PAPER --> F1 & F2 & F3 & F4 & F5 CODEBOOK --> SCORE F1 & F2 & F3 & F4 & F5 --> SCORE SCORE --> AGG AGG --> RESULT
재현성 및 신뢰도 평가
| 항목 | 등급 | 비고 |
|---|---|---|
| 코드/스키마 공개 | ✅ | github.com/mahdinaser/reprobe-audit — JSON Schema, CODEBOOK.md, validate.py(90줄), audit_results.csv, audit_notes/, harness_hooks/ 공개 명시 |
| 데이터 공개 | ✅ | 12편 per-paper 점수 + 필드별 한 문장 정당화를 CSV·Markdown으로 전부 공개, 채점 출처(논문 섹션/저장소 위치) 인용 |
| 방법(채점 절차) | ⚠️ | 단일 채점자 1패스 — 채점자 간 합의(κ) 미측정, partial-vs-disclosed 경계는 다수 필드에서 판단 호출(저자도 명시) |
| 코퍼스 대표성 | ⚠️ | 12편 파일럿(목표 15편), venue 층화 없음, “문헌 평균 아님” 명시; ar5iv 변환 실패 3편·403 1편으로 일부 점수 하향 가능 |
| 통계적 신뢰도 | ⚠️ | 표준편차·신뢰구간 없음, n=8/4 소표본, 비가중 평균만 보고(가중 민감도 분석 없음) |
| 종합 등급 | B | 스키마·코드북·원시 점수·정당화·검증기·하네스 패치를 모두 공개해 감사 과정은 완전 재현 가능. 단 단일 채점자·소표본·파일럿이라 결론의 일반화는 보수적으로 봐야 함 |
주장별 신뢰도
| 주장 | 근거 | 신뢰도 |
|---|---|---|
| 에이전트 8편 중 추론 비용을 공개한 논문 0편 (Cost 평균 0.00) | Table III Cost 열 + 본문 “none of the eight … discloses inference cost in any form” | 🟢 |
| 에이전트 평균 0.38 vs 고전 0.66 | Table III 집계 행 | 🟢 |
| 에이전트 8편 중 환경 컨테이너 이미지를 다이제스트로 완전 공개한 논문 0편 (Harness 1.0=0편) | Table III Harness 열 + 본문 | 🟢 |
| 모든 0.0이 misstatement가 아닌 omission | 본문 “every score of 0.0 corresponded to an omission … rather than a misstatement” — 단일 채점자 해석 | 🟡 |
| 0.38이 “문헌 평균”이 아닌 파일럿 12편의 값 | 저자가 명시적으로 일반화 경계 설정 | 🟢 |
| 에이전트가 비용 필드에서 더 낮은 이유는 실행 비용이 높아 보고가 결과를 비싸 보이게 하기 때문 | 본문 “We are speculating about the mechanism” — 추측 명시 | 🔴 |
관련 연구 비교 매트릭스
| 축 | 본 논문 (ReProbe Audit) | BetterBench (Reuel et al. 2024, base) | ML Reproducibility Checklist (Pineau et al. 2021, base) | Model Cards (Mitchell et al. 2019, alternative) | “Deep RL that Matters” (Henderson et al. 2018, sota/선례) |
|---|---|---|---|---|---|
| 핵심 접근 | 5필드 공개 스키마 + 코드북으로 에이전트 런의 disclosure를 {0,0.5,1} 채점 | 벤치마크 자체를 구성 타당도·문서화 차원으로 채점 | 학습 실행의 재현성 항목 체크리스트(논문 첨부) | 학습된 모델의 의도·성능·한계를 구조화 문서로 공개 | RL 결과의 비재현성을 시드·하이퍼파라미터·코드 변동으로 실증 |
| 문제 정의 | ”논문+저장소만으로 에이전트 평가를 복원할 수 있는가" | "이 벤치마크는 좋은 잣대인가" | "이 학습 실행을 재현할 수 있는가" | "이 모델을 어디에 써도 되는가" | "RL 보고 수치를 믿을 수 있는가” |
| 분석 단위 | 에이전트 런(모델×스캐폴드×환경×정지규칙×채점자) | 벤치마크 | 학습 실행 | 학습된 모델 | RL 알고리즘 실행 |
| 데이터/코퍼스 | 12편(에이전트 8+고전 4), 단일 채점자 1패스 | 다수 ML 벤치마크 | (체크리스트 자체, 코퍼스 채점 아님) | (프레임워크, 코퍼스 아님) | 여러 RL 알고리즘·환경 재실행 |
| 핵심 결과 | 에이전트 0.38 vs 고전 0.66, 비용·환경 이미지 체계적 부재 | 벤치마크별 타당도 점수·개선 권고 | 재현성 보고 관행 표준화 | 모델 문서화 규범 확산 | 같은 알고리즘이 시드·구현에 따라 크게 변동 |
| 규모 | 5필드·12편 파일럿, ~90줄 검증기 | 다차원 루브릭 | 단일 체크리스트 | 단일 카드 템플릿 | 다수 시드 실험 |
| 한계 | 단일 채점자, 소표본, 공개≠품질 | 에이전트 런 단위 미다룸 | 학습만, 평가 환경 아님 | 평가 방법 미다룸 | RL 도메인 한정 |
| 코드 공개 | ✅ (reprobe-audit) | ✅ | N/A(가이드라인) | N/A(프레임워크) | ✅ |
요약 내러티브: 기존 재현성 산출물은 학습된 모델(Model Cards)·데이터셋(Datasheets)·학습 실행(ML Repro Checklist)·벤치마크 품질(BetterBench)을 각각 표준화했으나, 에이전트 런이라는 분석 단위는 비어 있었다(Table I). 본 논문은 그 빈칸을 5필드 disclosure 스키마로 채우고 12편 파일럿에서 에이전트 0.38 vs 고전 0.66의 격차와 비용·환경 이미지의 체계적 부재를 실증한다. Henderson et al.(2018)의 RL 재현성 물결을 에이전트 평가로 옮긴 선례적 위치에 있으나, 단일 채점자·소표본이라 결론은 “이 12편이 하는 것”으로 한정된다.
원자적 인사이트 (Zettelkasten)
💡 평가의 진짜 분석 단위는 모델이 아니라 ‘에이전트 런’이다
출처: 본 논문 (Moghadasi & Ghaderi, 2026) · 유형: 개념적
재현성 도구들(모델 카드·datasheet·체크리스트·BetterBench)은 각각 학습된 모델·데이터·학습 실행·벤치마크 품질을 다루지만, 에이전트 평가에서 수치를 만들어내는 것은 모델 하나가 아니라 모델·스캐폴드·환경 이미지·정지 규칙·채점자가 결합한 한 번의 런이다. 이 런 단위가 기존 산출물 격자에서 비어 있던 칸이며, 그래서 같은 SWE-bench 수치가 두 보고서에서 10점 어긋나도 공개물로는 원인을 짚을 수 없다. 무엇을 측정할지 정하기 전에 무엇이 분석 단위인지를 먼저 못 박아야 한다.
연결: LLM Agent Evaluation · Reproducibility
💡 누락은 무작위가 아니라 구조적이다 — 그래서 레버는 심사가 아니라 계측이다
출처: 본 논문 · 유형: 실험적
12편 감사에서 거짓을 진술한 논문은 0편, 모든 0.0점은 “안 적어서 누락”이었고, 그 누락은 무작위가 아니라 비용(에이전트 8편 전부 0.00)과 환경 다이제스트(1.0 0편)에 체계적으로 몰려 있었다. 누락이 패턴이라는 사실은 교정 레버가 “더 엄격한 동료 심사”가 아니라 평가 하네스 계측(공개 항목이 런마다 자동 방출되게 함)임을 시사한다. 저자들이 ~30줄짜리 하네스 패치를 함께 공개한 이유다 — 재현성을 사회 규범이 아닌 엔지니어링 산출물로 재구성한다.
연결: Disclosure vs Trustworthiness · Research Engineering
💡 공개도 점수는 품질 점수가 아니다 (필요조건 ≠ 충분조건)
출처: 본 논문 · 유형: 개념적
0.20점 논문이 잘못된 실험을 뜻하지 않는다 — 세심한 작업의 미기록일 수 있다. 스키마는 무엇을 공개했는가만 재며, 1.0을 다 받고도 잘못된 벤치마크·오염된 학습 집합으로 의심스러운 실험을 돌릴 수 있다. 공개는 신뢰성의 필요조건이지 충분조건이 아니고, 스키마는 충분 절반(실험 타당성)에 대해 의도적으로 침묵한다. 메타-평가 지표를 설계할 때 측정 가능한 표면과 측정 불가능한 깊이를 혼동하지 않는 절제가 핵심이다.
연결: Construct Validity · Meta-Research
💡 컨테이너 ‘태그’는 다이제스트가 아니다 — 가변 식별자는 공개로 치지 않는다
출처: 본 논문 · 유형: 방법론적
코드북의 대표 경계 규칙: xlang-ai/osworld-env:latest 같은 Docker 저장소 태그는 partial이고, sha256:... 같은 콘텐츠-주소화 다이제스트라야 disclosed다. 태그는 같은 콘텐츠 해시를 바꾸지 않고 다른 이미지로 재푸시(re-push)될 수 있어, 재실행자가 다른 환경을 받을 수 있기 때문이다. 에이전트 8편 전부가 다이제스트를 고정하지 않아 하네스 필드에서 1.0이 0편이었다 — 재현성은 “어떤 이미지를 썼다”가 아니라 “불변하게 어떤 이미지를 썼다”를 요구한다.
연결: Content-Addressed Storage · Container Reproducibility
핵심 용어 정리
| 용어 | 정의 |
|---|---|
| 에이전트 런 (agent run) | 에이전트 평가에서 수치를 만들어내는 분석 단위 — 모델·스캐폴드·환경 이미지·정지 규칙·채점자의 결합. 본 논문 스키마가 겨냥하는 대상. |
| 하네스 (harness) / 스캐폴드 (scaffold) | 모델을 감싸 도구 사용·다단계 상호작용·정지 규칙을 부여하는 평가 골격. 같은 벤치·다른 스캐폴드면 수치가 비교 불가(‘harness drift’). |
| 코드북 (codebook) | 각 필드의 partial-vs-disclosed 경계 판정 규칙을 명문화한 Markdown 문서. 채점자 간 이견을 모호함이 아닌 구체적 항목으로 환원. |
| disclosure score (공개 점수) | 각 필드를 {0=부재, 0.5=부분, 1=공개}로 채점한 비가중 평균. 무엇을 공개했는가만 재며 실험 품질·신뢰성은 측정하지 않음. |
| 콘텐츠-주소화 다이제스트 (content-addressed digest) | 콘텐츠 해시(예: Docker sha256:...)로 환경 이미지를 불변 고정하는 식별자. 가변적인 저장소 태그(:latest)와 대비되어 disclosed 인정 기준. |
| run date (실행 날짜) | 모델을 질의한 날짜. 폐쇄형 API 모델 별칭(gpt-4o 등)이 제공자에 의해 조용히 재지정되므로, changelog 사후 대조를 위해 필수. |
| failure breakdown (실패 분류) | refusal·loop·tool-use error·timeout·incorrect final state 등 실패 이유를 과제 단위 분류별 카운트로 보고. 정성적 서술은 공개로 불인정. |
| silent subsetting (조용한 부분집합화) | 벤치마크 B의 부분집합 B′에서만 평가하고도 full로 보고하거나 부분집합을 안 밝히는 실패 모드. 보통 동기는 full set 실행 비용. |
| 비가중 평균 (unweighted mean) | 다섯 필드에 균등 가중을 둔 집계. 가중치 논쟁을 피하려는 선택이며, 필드별 벡터를 함께 보고해 동의 안 하는 독자가 성분을 직접 읽게 함. |
관련 연구
- BetterBench — 벤치마크 자체를 구성 타당도·문서화 차원으로 채점한 메타-평가로, 본 논문이 “에이전트 런 단위는 안 다룬다”며 빈틈을 짚는 직접 비교 대상
- ML Reproducibility Checklist — 학습 실행의 재현성을 묻는 체크리스트로, 본 논문의 “학습 ≠ 평가 환경” 대비의 기준선
- Model Cards — 학습된 모델의 의도·한계를 공개하는 프레임워크로, 평가 방법은 다루지 않는다는 대비점
- Deep RL that Matters — RL 결과의 비재현성을 시드·구현 변동으로 실증한 선례로, 본 감사가 에이전트 평가로 옮긴 재현성 물결의 원형
- SWE-bench — 감사 워크스루 1의 대상이자 가장 낮은 점수(0.20)를 받은 에이전트 벤치마크, 연구를 촉발한 ~10점 불일치의 무대
- Multi-Prompt LLM Evaluation — 단일-프롬프트 평가의 노이즈를 다중-프롬프트 집계로 보인 인접 연구로, 추론 설정 공개의 동기
태그
paper #2026 LLM-agents benchmark-reproducibility evaluation-methodology meta-research transparency-audit
BibTeX
@inproceedings{moghadasi2026twelve,
title={What Twelve LLM Agent Benchmark Papers Disclose About Themselves: A Pilot Audit and an Open Scoring Schema},
author={Naser Moghadasi, Mahdi and Ghaderi, Faezeh},
booktitle={IEEE International Conference on Big Data (IEEE Big Data)},
year={2026},
note={arXiv preprint arXiv:2605.21404},
url={https://arxiv.org/abs/2605.21404},
eprint={2605.21404},
archivePrefix={arXiv},
primaryClass={cs.LG},
doi={10.48550/arXiv.2605.21404}
}