58분 분량

LLM 에이전트 능력 평가를 위한 통합 프레임워크

A Unified Framework for the Evaluation of LLM Agentic Capabilities

저자
Pengyu Zhu et al.
출처
arXiv preprint, 2026
분류
Benchmark/Evaluation
읽은 깊이
Unread, 시작 전
리뷰
2026-06-23
LLM agentsagentic evaluationunified benchmark frameworkscaffold effectReActfailure taxonomy

이종 에이전트 벤치마크를 표준 instruction–tool–environment 포맷으로 통합·고정 ReAct 샌드박스에서 실행해 스캐폴드/환경 혼입을 모델 본질 능력에서 분리한 평가 프레임워크.

LLM 에이전트 능력 평가를 위한 통합 프레임워크

Digest: Context — LLM 에이전트(도구를 호출하고 환경과 상호작용하며 다단계로 작업을 수행하는 모델)의 능력을 평가하는 벤치마크는 단순한 질문-정답 데이터셋이 아니라, 스캐폴드(모델의 출력을 행동으로 변환하는 실행 골격), 파서, 시뮬레이터, 평가 스크립트까지 묶인 하나의 “실행 패키지”다. 그래서 보고된 점수는 모델의 본질 능력과 특정 구현과의 우연한 호환성을 한데 섞어버려, 벤치마크 간 비교가 사실상 불가능하다. Insight — 저자들이 짚은 핵심은, 이 혼입(confounding)이 단순한 노이즈가 아니라 순위 자체를 뒤집을 만큼 체계적이라는 점이다. 즉 “GPT-4o가 GPT-3.5보다 강하다”는 결론조차 평가 환경을 누가 만들었느냐에 따라 거꾸로 나올 수 있다. Solution — 그렇다면 해법은 데이터셋만 모으는 게 아니라 실행 조건을 통째로 표준화하는 것이다: 7개의 이종 벤치마크(AgentBench, BFCL, tau-bench, tau²-bench, BrowseComp, MultiAgentBench, Agent-SafetyBench)·24개 도메인을 instruction-tool-environment 삼중쌍(triplet D=⟨I,T,E⟩)으로 통일하고, 고정 ReAct(Reasoning과 Acting을 번갈아 수행하는 추론 패턴) smolagents 스캐폴드와 격리 샌드박스(replica 환경 E₀)에서 동일하게 실행한다. 여기에 통합 효율 지표(steps/tokens/time)와 6범주 실패 분류체계(decision/execution 수준)를 얹어, 혼입을 명시·통제·측정 가능하게 분리한다. Evidence — 통제의 효과는 극적이다. 파싱 우회만으로 AgentBench Database에서 GPT-3.5-Turbo가 +26.6점 상승(36.7→63.3, Table 1)했고, tau-bench Retail에서는 순위가 완전히 역전되어 원래 GPT-4o(61.2%)≫GPT-3.5(20.0%)이던 것이 GPT-3.5(55.7%)>GPT-4o(28.7%)로 뒤집혔는데(Table 1), 원인은 GPT-4 user simulator의 문체적 prior가 모델별로 비대칭하게 작용한 탓이다. 오프라인 스냅샷과 온라인 실행의 격차는 +34.5(Qwen3-30B-A3B/BFCL), +37.7(GPT-4o-mini/MAB)에 달해 이 차이가 곧 “환경 실패”임을 드러냈다(Table 2). 스캐폴드를 통제하자 open vs closed 모델 격차가 소멸해 DeepSeek-V3.2가 tau²-bench Telecom에서 85.1%로 GPT-5-mini(79.9%)를 앞섰고(Table 3), 어떤 모델도 Pareto-optimal이 아니었다. 실패 원인 분석에서는 Reasoning Deficit이 지배적(Qwen3-235B 71.6%, Figure 3)이었고, Gemini-3-flash는 runaway reasoning으로 입력 토큰을 34배(1,539.6k vs 45.4k) 소모했다. Limitation — 다만 스캐폴드를 통제한다면서 정작 단일 스캐폴드(smolagents) 하나에 고정했기에 “스캐폴드 선택” 자체의 영향은 측정되지 않으며, 텍스트 한정이라 멀티모달·체화(embodied) 에이전트는 빠졌고, 7개 벤치마크의 커버리지도 제한적이다(특히 안전성 평가는 통제된 노출이 오히려 취약점을 더 드러내, Llama-3.1-70B의 위반율이 21.0→31.2로 증가했다, Figure 4). Open Question / Implication — 그렇다면 남는 질문은: 표준 스캐폴드를 여러 개 두고 비교하면 “모델 능력”이라는 양이 과연 스캐폴드-불변(invariant)으로 정의될 수 있는가, 그리고 멀티모달·장기 자율 과제로 확장해도 이 분리가 유지되는가다. 실무적 함의는 분명하다 — 에이전트 리더보드 점수를 모델 능력의 깨끗한 측정값으로 신뢰해서는 안 되며, 스캐폴드와 환경 혼입을 반드시 통제·보고해야 한다.

섹션별 요약

Abstract

LLM이 에이전트로 배포되는 사례가 늘면서 에이전트 능력의 신뢰할 수 있는 평가가 필수적이 되었으나, 기존 벤치마크 점수는 모델 본질 능력과 스캐폴드·파서·환경 등 구현 선택을 혼입하여 교차 비교를 어렵게 만든다. 본 논문은 다양한 벤치마크를 표준 instruction–tool–environment 포맷으로 통합하고, 고정 ReAct 스타일 아키텍처와 제어 가능한 샌드박스 위에서 에이전트를 실행하며, 휘발성 라이브 환경을 선별 스냅샷으로 대체하는 선택적 오프라인 설정을 제공하는 통합 평가 프레임워크를 제시한다. 프레임워크는 각 벤치마크 원본 태스크 성공 기준을 유지하면서 자원 소비에 대한 통합 메트릭과 의사결정·실행 수준 실패 귀인 분류 체계를 도입한다. 단일 에이전트·다중 에이전트·안전 임계 시나리오를 아우르는 24개 도메인 7개 벤치마크에 대해 15개 모델, 400K rollouts, 5B tokens 규모의 대규모 실증 분석을 수행한 결과, 스캐폴드 선택과 환경 변동성이 벤치마크 결과를 양방향으로 실질적으로 이동시킨다는 것이 확인되어 프레임워크 효과·환경 효과와 내재적 LLM 능력을 분리할 수 있음을 보인다.

저자 contribution

  • 이종 벤치마크를 표준 instruction–tool–environment triplet으로 통합하고 고정 ReAct 스타일 스캐폴드와 제어 샌드박스를 제공하여, 벤치마크 간 공정 비교를 가능하게 하는 통합 평가 프레임워크를 제안한다.
  • 스캐폴드 선택과 환경 변동성이 모델 순위와 점수를 양방향으로 이동시킴을 15개 모델 / 400K rollouts / 5B tokens 규모 실험으로 실증하며, 프레임워크·환경 유발 아티팩트와 모델 내재 능력을 분리하는 방법론을 확립한다.
  • 의사결정·실행 수준 실패 귀인 분류 체계와 안전 임계 도메인을 위한 보안 테스트베드 확장성을 제시하며, 코드와 벤치마크를 GitHub/HuggingFace에 공개한다.

왜 이 연구를 하는가?

핵심 질문: 에이전트 벤치마크 점수가 모델의 본질적 능력을 반영하는가, 아니면 평가 프레임워크의 구현 선택(스캐폴드, 파서, 환경)과 혼입된 결과인가?

기존 접근법의 한계

한계설명
숨겨진 변수로서의 평가 패키지대부분의 에이전트 벤치마크는 task 데이터셋만이 아니라 특정 agent scaffold, tool-calling convention, parser, memory format, simulator, evaluation script를 패키지로 배포한다. 모델이 낮은 점수를 받았을 때 그것이 task 해결 실패인지 benchmark-specific parser와의 불일치인지 구분할 수 없다.
프레임워크 간 점수 비교 불가능동일 모델이 general-purpose 프레임워크와 specialized implementation에서 실질적으로 다른 성능을 보인다는 사실이 선행 연구들(Kapoor et al. 2026; Dong et al. 2025a; Zhu et al. 2026)에서 관찰되었다. 기존 벤치마크를 공통 scaffold로 재실행하면 점수가 양방향으로 이동하며, live retrieval과 fixed offline snapshot 비교에서는 추론이 아닌 환경이 유도한 실패가 드러난다. 이는 marginal 효과가 아니라 구조적 문제다.

핵심 통찰

  • 높은 점수는 강한 에이전트 능력이 아니라 특정 scaffold와의 호환성을 반영할 수 있다.
  • 평가의 목표는 “어떤 모델이 가장 높은 점수를 받는가”가 아니라, “평가 프레임워크가 이 혼입 변수들을 명시적으로, 통제 가능하게, 측정 가능하게 만들 수 있는가”여야 한다.

Introduction

LLM(대형 언어 모델)이 계획 수립, 도구 호출, 환경 상호작용, 다단계 태스크 완수를 수행하는 에이전트로서 평가되는 빈도가 증가하고 있으며, 신뢰할 수 있는 평가 체계의 필요성이 커지고 있다. 그러나 보고된 벤치마크 점수는 모델의 에이전트 기반 능력에 대한 순수한 측정치가 아닌 경우가 많다. 대부분의 에이전트 벤치마크는 task 데이터셋에 더하여 특정 agent scaffold, tool-calling convention, parser, memory format, simulator, evaluation script를 포함한 실행 가능한 평가 패키지로 배포되는데, 이것들이 숨겨진 변수로 기능한다. 즉, 모델이 낮은 점수를 받는 원인이 task 자체를 해결하지 못해서인지, 출력이 benchmark-specific parser와 맞지 않아서인지, 또는 reference implementation이 특정 모델에 더 나은 interaction prior를 부여하기 때문인지 식별할 수 없다. 반대로 높은 점수는 더 강한 에이전트 능력이 아니라 특화된 scaffold와의 호환성을 반영할 수 있다. 이러한 혼입은 cross-benchmark 비교를 어렵게 만들며, 선행 연구(Kapoor et al. 2026; Dong et al. 2025a; Zhu et al. 2026)는 에이전트 성능이 general-purpose 프레임워크와 specialized implementation 간에 실질적으로 달라진다는 점을 관찰하였다. 이 효과는 marginal이 아니라 구조적이다. 기존 벤치마크를 공통 scaffold로 재실행하면 점수가 양방향으로 이동하며, live retrieval과 fixed offline snapshot의 비교는 추론이 아닌 환경이 유도한 실패를 드러낸다. 이에 본 연구의 핵심 질문은 어떤 모델이 가장 높은 점수를 받는가가 아니라, 평가 프레임워크가 이 혼입 변수들을 명시적으로, 통제 가능하게, 측정 가능하게 만들 수 있는가이다. 이를 위해 본 논문은 7개 벤치마크를 24개 도메인에 걸쳐 instruction–tool–environment triplet으로 표준화하고, 고정된 ReAct-style 아키텍처와 통합 설정 시스템 하에서 실행하는 통합 프레임워크를 제안한다. 이 프레임워크는 하나의 scaffold가 유일하게 올바르다고 주장하지 않으며, 주요 scaffold 선택을 상수로 고정함으로써 scaffold 효과를 분리하고 모델의 내재적 능력을 측정하는 것을 목표로 한다.

저자가 명시한 기여

  • 표준화된 instruction–tool–environment 명세, 고정된 agent scaffold, 통제 가능한 sandbox를 갖춘 통합 확장 가능 평가 프레임워크를 제시한다.
  • 7개 벤치마크를 24개 도메인에 걸쳐 적용하고, optional offline 설정을 추가하여 환경적 변동성을 에이전트 행동으로부터 분리한다.
  • 통합 효율성 지표(steps/tokens/runtime), decision/execution-level failure taxonomy, safety-critical migration을 도입한다.
  • 15개 모델, 400K rollouts, 5B tokens 규모의 대규모 연구를 통해 분산을 decompose한다: original-vs-unified(scaffold 효과), online-vs-offline(환경적 변동성), 통합 환경에서의 advanced 모델 평가(내재적 능력).

Methods

프레임워크 개요

통합 프레임워크(Unified Framework)는 이종 벤치마크를 표준 triplet D=<I,T,E>로 규격화하고, 고정 ReAct 스캐폴드(smolagents)와 격리 샌드박스 위에서 실행해 벤치마크 간 혼입(contamination) 없이 에이전트 역량을 평가한다.

핵심 구성요소

  • 에이전트 형식화 (§2.1): LLM 에이전트를 A=<pi, P, M, T>로 정의한다. pi=LLM 정책, P=planning 모듈, M=메모리, T=도구 집합. ReAct 패러다임에서 에이전트는 instruction+memory를 조건으로 thought-action 쌍 ta_i를 반복 생성하고, 도구를 호출해 환경 E로부터 관측값 o_i를 받아 M에 추가한다.
  • 표준화 데이터셋 명세 (§2.2): 각 데이터셋을 triplet D=<I, T, E>로 표현한다.
    • Instruction Set I: 인스턴스 i=<p_i, y_i*, tau_i*, T_i*, e_i*>로 구성. p_i=필수 작업 설명, y_i*=정답 출력 레이블, tau_i*=정규 도구 호출 trace(action-level 평가 및 환경 시뮬레이션용), T_i*=작업별 도구 부분집합, e_i*=환경 레퍼런스.
    • Tool Set T={tau_1..tau_K}: 각 도구는 표준화 메타데이터(name/params/description)를 갖는 callable Python 함수이며, smolagents의 @tool 어노테이션 방식을 따른다.
    • Environment Set E: .db/.json/.csv 등 정적 로컬 포맷과 시뮬레이션 게임 등 인터랙티브 서버로 구성. 동적 실세계(live web) 환경은 직접 외부 상호작용을 허용하되, 변동성을 분리하는 오프라인 설정(offline setting)으로 수동 수집 사전 스냅샷(Chen et al. 2026; Zhou et al. 2024)을 활용한다.
  • 구성 시스템 (§2.3): 실험 전체를 C=(C_sys, C_agent)로 외재화(externalize)한다.
    • C_sys (YAML): 전역 실행 설정—데이터셋/추론/평가/모델 백엔드(vLLM, HF Transformers, OpenAI API).
    • C_agent (JSONL): 에이전트별 name/description/선택적 도구 부분집합/멀티에이전트 그래프용 routing node/선택적 작업별 system prompt. 코드 수정 없이(zero-code modifications) 실험 변경 가능.
  • 샌드박스 구성 (§2.4): 표준화 에이전트 아키텍처와 격리 제어 환경을 함께 인스턴스화한다.
    • 에이전트 인스턴스화: smolagents(Roucher et al. 2025)를 기반 스캐폴드로 채택(HAL의 generalist baseline이기도 함, Kapoor et al. 2026).
    • 환경 구성: 실행마다 복제본 E_0을 생성. 에이전트 행동이 전이 E_{t+1}=delta(E_t, a_t)를 구동하며, 변이는 복제본에만 국한되어 원본 소스는 pristine 상태를 유지. 종단 상태 E_T를 결과 환경 E_res로 캡처한다.
  • 평가 방법론 (§2.5): Task Completion Score(TCS)를 핵심 지표로 사용한다.
    • 출력 수준: 결정론적 규칙 기반 매칭 또는 LLM 판정(judge).
    • 환경 수준: 에이전트 종단 상태와 정답을 해시 기반 매칭(hash-based matching)으로 비교 (tau-bench 방식 준용).
    • per-instance TCS: 의존성 카테고리(Both/Out/Env)에 따라 TCS_i 결합. S_i^out=f_out(r_i, tau_i^pred | y_i), S_i^env=1[H(E_res)=H(E_gt)]; TCS_i = S^out·S^env (Both), S^out (Out), S^env (Env). 최종 TCS-bar는 N개 인스턴스 평균.
    • 효율성 지표(Efficiency Metrics): 로그에서 4종 추출—steps, input tokens, output tokens, elapsed time (평균 E_k-bar).
    • 실패 분석: 결정 수준+실행 수준에 걸친 6개 카테고리(Appendix C.3)의 조대 분류 체계(coarse-grained taxonomy). 기존 벤치마크의 오류 카테고리를 bottom-up 집계하며, LLM 판정으로 레이블링.
    • 기타 지표: 도메인 특화(예: safety).

기존 방법과의 차별점

기존 벤치마크는 데이터셋별로 상이한 에이전트 스캐폴드와 환경 설정을 사용해 벤치마크 간 공정 비교가 불가능했다. 본 프레임워크는 (1) 모든 데이터셋을 단일 D=<I,T,E> 포맷으로 통일하고, (2) smolagents라는 단일 고정 스캐폴드를 적용하며, (3) 실행마다 격리된 복제 환경을 생성해 실험 간 상태 오염을 구조적으로 차단한다. 또한 config-driven 설계로 코드 변경 없이 실험 변수를 제어할 수 있어 재현 가능성(reproducibility)을 극대화한다. 모든 모델은 vLLM 또는 OpenAI API로 temperature=0, serial tool invocation, 고정 20-step budget(smolagents 기본값) 하에서 실행한다.

발견 (Findings)

  • [발견 1] 스캐폴드 균일화에 따른 점수 양방향 이동 및 순위 역전: AgentBench Database에서 GPT-3.5-Turbo는 원본 대비 +26.6 F1 상승(36.7 → 63.3, Table 1)한 반면, DeepSeek-V3.2는 tau²-bench에서 최대 -35.5 하락했으며, tau-bench Retail에서는 GPT-4o(61.2% → 28.7%)와 GPT-3.5(20.0% → 55.7%)의 순위가 역전되었다. 이는 원본 구현의 모델 특화 편향이 제거되면서 나타나는 구조적 효과다.
  • [발견 2] 환경 변동성이 모델 능력으로 오귀인되는 문제 정량화: 동일한 검색 로직 하에서 온라인·오프라인 환경 전환만으로 Qwen3-30B-A3B는 BFCL에서 +34.5, GPT-4o-mini는 MAB Research에서 +37.7의 점수 차이를 보였다(Table 2). 참조 페이지 비접근, 크롤링 차단, 광고 혼입 등 세 가지 실패 모드가 식별되었다.
  • [발견 3] 선진 4모델의 과제 의존적 능력 프로필 및 open-closed 격차 소멸: 어떤 모델도 Pareto-optimal하지 않으며, DeepSeek-V3.2는 tau²-bench Telecom에서 85.1%로 선두이나 AgentBench Database에서 GPT-5-mini(74.0%), Gemini-3-flash(74.3%)에 3점 이내로 추격당한다(Table 3). 스캐폴드 혼입 요인 제거 후 open 대 closed 모델 격차가 더 이상 예측력을 갖지 않는다.
  • [발견 4] 실패 귀인 프로필의 모델별 이질성: Reasoning Deficit이 Qwen3-235B(71.6%), Gemini-3-flash(52.1%), GPT-5-mini(49.2%)의 주요 실패 원인인 반면, DeepSeek-V3.2는 Parsing Failure(37.8%)가 Reasoning Deficit(31.8%)을 상회하는 예외적 패턴을 보인다(Figure 3).
  • [발견 5] 안전성 프로필의 도구 호출 인터페이스 취약성 노출: Llama-3.1-70B(21.0 → 31.2)와 Qwen2.5-72B(22.9 → 37.3)가 균일 스캐폴드 하에서 점수 상승(더 낮은 안전성)을 보이며(Figure 4), 원본 프롬프트 기반 구현이 위험 행동을 마스킹하고 있었음을 시사한다.

Results

3.2 원본 대비 비교 (Table 1)

균일 스캐폴드 적용 후 F1 점수 변화는 양방향으로 나타나며, 변화 방향 자체가 진단적 정보를 제공한다. AgentBench Database에서 GPT-3.5-Turbo는 원본 36.7에서 63.3으로 +26.6 상승하였는데, 이는 execute_sql 도구 호출 인터페이스가 파싱 수준 불일치를 우회한 결과다. 반면 tau²-bench와 MultiAgentBench에서는 광범위한 하락이 관찰되어, DeepSeek-V3.2는 tau²-bench에서 -23.8, -35.5, -11.1을 기록했으며 Llama-3.1-70B는 MAB Bargaining에서 -33.7을 기록하였다. 이는 기밀 결합(tightly-coupled) 참조 구현이 균일 스캐폴드로 교체되면서 발생한 편향 제거 효과다. 도구 호출 사후 훈련이 없는 레거시 모델(Llama-2-70B)이 가장 민감하게 반응하여, 프롬프트 기반 JSON 파싱으로 폴백하며 형식 위반이 연쇄적으로 발생하였다.

순위 압축 및 역전 현상도 관찰되었다. AgentBench Database에서 GPT-3.5-Turbo 대 Llama-2-70B의 점수 격차는 23.7에서 7.8로 축소되었다. tau-bench Retail에서는 원본에서 GPT-4o(61.2%) >> GPT-3.5(20.0%)였던 관계가 GPT-3.5(55.7%) > GPT-4o(28.7%)로 역전되었다. 이 역전의 원인은 tau-bench의 고정 GPT-4 기반 사용자 시뮬레이터가 GPT-4o와 문체적 사전(stylistic priors)을 공유하고, 원본 프레임워크가 각 에이전트를 동일 모델 패밀리의 시뮬레이터와 페어링하기 때문이다. GPT-3.5의 tau-bench Airline에서의 병렬적 +27.2 상승이 이를 일관되게 지지한다.

효율성 지표는 유사한 과제 완수 점수(TCS)가 기만적 동점임을 폭로한다. AgentBench Database에서 GPT-3.5-Turbo 대 Llama-2-70B는 TCS가 각각 63.3 대 55.5로 비교 가능하지만, Llama-2-70B는 3.2배 더 많은 스텝, 6.4배 더 많은 입력 토큰, 2.5배 더 많은 시간을 소모하였다. Web Shopping에서도 TCS가 56.5 대 54.9로 2점 이내임에도 Llama-2-70B는 5배 스텝, 15배 입력 토큰, 8배 시간을 사용하였다.

3.3 환경 변동성 (Table 2)

BFCL Web Search와 MAB Research를 원본·온라인·오프라인 세 환경에서 재실행한 결과, 오프라인>온라인 점수 격차가 환경 실패를 모델 실패로 오귀인하는 문제를 정량화하였다. Qwen3-30B-A3B는 BFCL에서 +34.5의 격차를 보였고, GPT-4o-mini는 MAB Research에서 +37.7의 격차를 기록하였다. 식별된 세 가지 환경 실패 모드는 참조 페이지 비접근, 크롤링 차단으로 인한 빈 응답 또는 오염 응답, 광고·보일러플레이트로 인한 검색 결과 오염이다.

동일한 검색 로직 하에서도 프레임워크 선택이 점수를 변경하였다. Qwen3-30B-A3B의 BFCL 점수가 17.5에서 24.5로 상승한 반면, Llama-3.1-70B의 MAB 점수는 80.8에서 26.3으로 하락하였다.

3.4 선진 모델의 내재적 능력 (Table 3)

Gemini-3-flash, GPT-5-mini, Qwen3-235B-A22B, DeepSeek-V3.2 4개 모델을 6개 벤치마크 23개 도메인에서 평가한 결과, 어떤 단일 모델도 Pareto-optimal하지 않은 과제 의존적 프로필이 확인되었다. Gemini-3-flash는 구조화된 단기 과제에서 선두(AgentBench DB 74.3%, BFCL Single-Turn 83.1%)이나 tau²-bench Telecom에서 35.1%로 급락하였다(DeepSeek-V3.2 동 과제 85.1%). GPT-5-mini는 BFCL Single-Turn Non-Live에서 54.8%로 상대적으로 약하나(Gemini 83.1%, Qwen3 81.4%), 상태 유지(stateful) tau-bench Retail에서 59.1%로 가장 강하였다.

효율성 비교는 전략적 차이를 드러낸다. AgentBench LTP에서 Gemini-3-flash 대 GPT-5-mini는 TCS가 32.3 대 27.3으로 비슷하나, Gemini-3-flash는 34배 입력 토큰 격차를 보였다(1,539.6k 대 45.4k). 이는 제어 없는 추론 루프(runaway reasoning loops)의 징후다. Qwen3-235B는 Web Shopping에서 GPT-5-mini와 유사한 TCS(40.6 대 40.4)를 7.0배 적은 입력 토큰(13.9k 대 97.7k)으로 달성하였다.

스캐폴드 혼입 요인 제거 후 open 대 closed 모델 격차가 소멸하였다. DeepSeek-V3.2는 tau²-bench Telecom(85.1% 대 GPT-5-mini 79.9%, Gemini-3-flash 35.1%)과 BFCL Hallucination-Irrelevance(74.5% 대 73.0%, 67.0%)에서 선두이며, AgentBench Database에서는 GPT-5-mini(74.0%) 및 Gemini-3-flash(74.3%)에 3점 이내(71.3%)로 근접하였다.

3.5 실패 귀인 분석 (Figure 3)

실패는 결정 수준(Parsing Failure, Tool Invocation Error, Reasoning Deficit)과 실행 수준(Iteration Limit Exceeded, Context Overflow, Timeout)으로 구분되었다. Reasoning Deficit이 Gemini-3-flash(52.1%), GPT-5-mini(49.2%), Qwen3-235B(71.6%)에서 주요 실패 원인이었다. DeepSeek-V3.2는 예외적으로 Parsing Failure(37.8%)가 Reasoning Deficit(31.8%)을 상회하는 패턴을 보였다. 이차 원인으로 Gemini-3-flash와 DeepSeek-V3.2는 형식 취약성을 드러냈으며(Parsing Failure 각각 16.9%, 37.8%), Tool Invocation Error는 GPT-5-mini(12.9%)와 Qwen3-235B(13.6%)에서 두드러졌다. 실행 수준에서는 GPT-5-mini(32.4%)와 DeepSeek-V3.2(24.5%)가 반복 한도를 소진하였으며, Timeout 및 Context Overflow는 전 모델에서 5% 미만이었다.

3.6 안전 도메인 확장 (Figure 4)

Agent-SafetyBench를 원본 방법론 및 판정자를 유지한 채 균일 스캐폴드로 재실행한 결과, Llama-3.1-70B의 점수가 21.0에서 31.2로, Qwen2.5-72B의 점수가 22.9에서 37.3으로 상승하였다(점수 상승 = 더 낮은 안전성, 즉 더 많은 위험 행동). 균일 도구 호출 인터페이스가 원본 프롬프트 기반 스캐폴드가 마스킹하고 있던 위험 행동을 노출시킨 것으로, 안전성 프로필이 파편화된 구현이 시사하는 것보다 더 취약함을 나타낸다.

Discussion

이 연구의 핵심 기여는 에이전트 벤치마크 점수가 측정하는 것이 무엇인지를 재정의하는 데 있다. 기존 평가 체계에서는 스캐폴드(scaffold) 선택, 파서(parser) 설계, 환경 변동성이 모두 점수에 혼입되어, 보고된 수치가 모델 자체의 능력인지 실행 프레임워크의 특성인지 식별하기 어려웠다. 본 연구는 7개 벤치마크, 24개 도메인, 15개 모델, 400K rollouts, 5B tokens에 걸쳐 실행된 통합 프레임워크를 통해, 스캐폴드 선택과 환경 변동성이 양방향으로 결과를 왜곡할 수 있음을 실증적으로 보였다. 이는 “어떤 모델이 더 잘 하는가”가 아니라 “무엇 아래에서 더 잘 하는가”라는 질문을 평가의 전면으로 끌어올린다.

선행 연구들이 개별 벤치마크 위에서 모델 순위를 비교해 온 방식과 달리, 본 연구는 이질적인 벤치마크를 표준화된 instruction–tool–environment 명세로 마이그레이션하고 고정된 ReAct-style 아키텍처 하에서 실행한다는 방법론적 전환을 제안한다. 이를 통해 decision-level 실패와 execution-level 실패를 분리하여 귀인(attribution)하는 것이 가능해지며, 안전-비판적(safety-critical) 평가 맥락에서 환경 재현성을 보장하는 offline snapshot 전략도 제시된다.

저자가 인정한 한계

  • 단일 스캐폴드 고정(Single scaffold): smolagents를 모든 벤치마크에 고정 적용한다. 중립성·광범위 채택을 근거로 HAL “Generalist Agent” 기준선으로 사용하지만, 서로 다른 범용 스캐폴드들 간의 체계적 비교는 현 400K-rollout 예산을 초과하므로 미완 방향으로 남는다.
  • 모달리티 및 체화(Modality and embodiment) 부재: 현 커버리지는 텍스트 중심 에이전트 과제에 한정된다. 멀티모달(GUI 에이전트, vision-language 내비게이션) 및 물리적 체화 환경은 관측 인코딩, 행동 기반, 환경 충실도(environment fidelity)에 대한 표준화 질문을 새로이 제기한다.
  • 벤치마크 커버리지 제한: 7개 벤치마크·24개 도메인은 급속 진화하는 에이전트 환경의 소규모 표본이며, 결과가 완전히 일반화되지 않을 수 있다.

독자 식별 가능한 추가 한계

  • 해시 기반 종단 상태(terminal-state) 비교가 의미론적으로 정확한 성공을 포착하는지는 과제 유형에 따라 달라질 수 있으며, 부분 성공(partial success)이나 근사 정확(near-correct) 결과를 이진 판정으로 처리할 때 정보 손실이 발생할 수 있다.
  • LLM judge 라벨링에서 동일 모델 계열 user simulator를 짝짓는 전략은 cross-agent 균일성을 일부 희생하며, 이 trade-off가 모든 도메인에서 동등하게 적용되는지는 별도 검증이 필요하다.

향후 방향

  • 체계적 크로스-스캐폴드 비교: 단일 스캐폴드 고정 한계에 대응하여, 추가 rollout 예산 확보 후 범용 스캐폴드 간 성능 차이를 동일 통합 프레임워크 아래 측정하는 연구가 자연스러운 다음 단계다.
  • 멀티모달·체화 에이전트로의 프레임워크 확장: 관측 인코딩 표준화와 행동 기반 명세를 포함하는 확장 설계를 통해, vision-language 및 로봇 에이전트 평가에도 동일한 분리 원칙을 적용할 수 있다.
  • 동적 커버리지 확장: decoupled instruction–tool–environment 설계를 활용해 신규 벤치마크를 낮은 비용으로 편입하는 파이프라인을 공개함으로써, 커뮤니티 주도 평가 생태계 구축에 기여할 수 있다.

이론적 의의

  • 평가 타당성(Evaluation Validity)의 재정의: 에이전트 벤치마크 점수가 내재 능력(intrinsic capability)을 측정하는지 아니면 환경 아티팩트(environment artifact)를 측정하는지를 구별하는 프레임워크를 제시함으로써, 평가 타당도 논의를 이론적 수준으로 끌어올린다. 이는 단순한 방법론 개선이 아니라, 에이전트 성능 주장의 인식론적 기반에 대한 비판이다.
  • 실패 귀인(Failure Attribution) 이론의 정교화: decision-level 실패와 execution-level 실패를 분리하는 방법론은, 에이전트 시스템의 오류 원인을 추적하는 데 있어 기존의 전체 점수 비교보다 훨씬 세분화된 이론적 렌즈를 제공한다. 이는 모델 능력 이론과 시스템 설계 이론을 연결하는 브릿지 역할을 한다.
  • 환경 재현성(Environment Reproducibility)의 평가 원칙화: offline snapshot을 통해 변동성이 있는 라이브 환경을 대체하는 전략은, 과학적 실험의 재현 가능성 원칙을 에이전트 AI 평가에 명시적으로 적용한 시도다. 이는 향후 에이전트 벤치마크 설계의 방법론적 표준을 높이는 이론적 선례가 된다.

Discussion Points

  • 논쟁점: smolagents가 진정으로 ‘중립적(neutral)’ 스캐폴드인지는 커뮤니티 내 논쟁 여지가 있다. 스캐폴드 선택이 모델·벤치마크에 대해 중립적이라는 가정은 검증이 아닌 선언에 가까우며, 특정 모델 계열이 smolagents의 ReAct-style 포맷에 구조적으로 더 유리할 가능성을 배제하지 못한다. 또한 단일 스캐폴드 고정이 비교 가능성을 높이는 동시에 평가 외부 타당도(external validity)를 낮출 수 있다는 trade-off도 논쟁 대상이다.
  • 검증 필요 가정: (1) 해시 기반 종단 상태 비교가 의미론적으로 정확한 성공을 포착한다는 가정 — 특히 자연어 생성 결과물이나 부분 완료 과제에서 이진 판정이 평가 신뢰도를 실질적으로 손상하지 않는지 체계적 검증이 필요하다. (2) 동일 모델 계열 user simulator 짝짓기가 비대칭 이점을 제거하면서 cross-agent 균일성을 희생하는 것이 전반적으로 더 공정한 평가를 산출한다는 가정 — 이 trade-off가 도메인별로 다르게 나타날 가능성이 있다. (3) LLM judge 라벨링의 일관성이 모든 24개 도메인에 걸쳐 균등하게 유지된다는 가정.
  • 후속 연구: (1) 범용 스캐폴드(예: smolagents vs. LangGraph vs. AutoGen 등)를 동일 통합 프레임워크 아래 체계적으로 비교하는 크로스-스캐폴드 실험. (2) 멀티모달 및 물리적 체화 에이전트에 동일한 instruction–tool–environment 분리 원칙을 확장 적용하는 설계 연구. (3) 현재 7개 벤치마크를 넘어 신규 에이전트 벤치마크를 낮은 비용으로 편입하는 파이프라인의 커뮤니티 공개 및 커버리지 확장 실험.

실험 결과 상세

Model/MethodDatasetMetricScorevs. Baseline
[제안] OursAgentBench / Database (GPT-3.5-Turbo)TCS %63.3+26.6 vs Orig 36.7
[제안] OursAgentBench / Knowledge Graph (GPT-3.5-Turbo)TCS %58.0+32.1 vs Orig 25.9
[제안] OursAgentBench / Digital Card Game (GPT-3.5-Turbo)TCS %26.9-6.8 vs Orig 33.7
[제안] OursAgentBench / Web Shopping (GPT-3.5-Turbo)TCS %56.5-7.6 vs Orig 64.1
[제안] OursAgentBench / Database (Llama-2-70B)TCS %55.5+42.5 vs Orig 13.0
[제안] OursAgentBench / Web Shopping (Llama-2-70B)TCS %54.9+49.3 vs Orig 5.6
[제안] Ourstau-bench / Airline (GPT-3.5-Turbo)TCS %52.6+17.4 vs Orig 35.2
[제안] Ourstau-bench / Retail (GPT-3.5 — 순위 역전)TCS %55.7+35.7 vs Orig 20.0
[제안] Ourstau-bench / Retail (GPT-4o — 순위 역전)TCS %28.7-32.5 vs Orig 61.2
[제안] Ourstau²-bench / Airline (DeepSeek-V3.2)TCS %40.0-23.8 vs Orig 63.8
[제안] Ourstau²-bench / Retail (DeepSeek-V3.2)TCS %45.6-35.5 vs Orig 81.1
[제안] Ourstau²-bench / Telecom (DeepSeek-V3.2)TCS %85.1-11.1 vs Orig 96.2
[제안] OursBrowseComp (Qwen3-235B-A22B)TCS %6.4+3.8 vs Orig 2.6
[제안] OursMultiAgentBench / Research (Llama-3.1-70B)TCS %33.3-47.5 vs Orig 80.8
[제안] OursMultiAgentBench / Bargaining (Llama-3.1-70B)TCS %38.4-33.7 vs Orig 72.1
[제안] OursBFCL / Web Search (Qwen3-30B-A3B)TCS %59.0+36.5 vs Orig 22.5
[제안] OursBFCL / Web Search (Gemini-2.5-Flash)TCS %6.5-72.0 vs Orig 78.5
[Table 2] OfflineBFCL / Web Search (Qwen3-30B-A3B)TCS %59.0+34.5 vs Online 17.5
[Table 2] OfflineMultiAgentBench / Research (GPT-4o-mini)ΔTCS %+37.7vs Online 30.6
[Table 3] Gemini-3-flashAgentBench / DatabaseTCS %74.3구조화 단기과제 선두
[Table 3] Gemini-3-flashAgentBench / LTP (In 1,539.6k tok)TCS %32.3runaway reasoning
[Table 3] Gemini-3-flashtau²-bench / TelecomTCS %35.1복잡 서비스 워크플로 붕괴
[Table 3] GPT-5-miniAgentBench / LTP (In 45.4k tok)TCS %27.3—
[Table 3] GPT-5-minitau-bench / RetailTCS %59.1stateful 대화 선두
[Table 3] Qwen3-235B-A22BAgentBench / Web Shopping (In 13.9k tok)TCS %40.67.0x 적은 토큰
[Table 3] DeepSeek-V3.2tau²-bench / TelecomTCS %85.1open-weight 선두
[Table 3] DeepSeek-V3.2AgentBench / DatabaseTCS %71.3GPT-5-mini(74.0)/Gemini(74.3)에 3점 이내
[실패분석] Qwen3-235B전체Reasoning Deficit %71.6최고 추론 결함
[실패분석] DeepSeek-V3.2전체Parsing Failure %37.8Reasoning(31.8) 상회
[실패분석] GPT-5-mini전체Iteration Limit Exceeded %32.4—
[안전성] Llama-3.1-70BAgent-SafetyBenchSafety Score21.0 → 31.2+10.2 (상승=더 위험)
[안전성] Qwen2.5-72BAgent-SafetyBenchSafety Score22.9 → 37.3+14.4 (상승=더 위험)

효율성 지표(Table 1 예): GPT-3.5-Turbo / AgentBench Database = Steps 2.5 / In 4.3k / Out 0.1k / Time 5.4s. Llama-2-70B 동 과제 = Steps 7.9 / In 17.3k / Out 0.8k / Time 13.5s (동일 TCS대역에서 3.2x steps·6.4x in-tokens·2.5x time).

프레임워크 다이어그램

graph TD
    subgraph INPUT["1단계: 입력 및 설정"]
        DS["표준화 데이터셋\nD = I,T,E\n지시 집합 / 도구 집합 / 환경 집합"]
        CS["설정 시스템\nC_sys YAML\nC_agent JSONL"]
    end

    subgraph SANDBOX["2단계: 에이전트 샌드박스"]
        AG["LLM 기반 에이전트\nA = pi,P,M,T\nsmolagents 스캐폴드"]
        LLM["LLM 코어"]
        SP["시스템 프롬프트"]
        MM["메모리 모듈"]
        TI["도구 인스턴스화"]
        PM["계획 모듈"]
        ENV_BASE["기본 환경 E_0\n복제본 per run"]
        ENV_RES["결과 환경 E_T"]
    end

    subgraph EVAL["3단계: 평가 방법론"]
        TCS["태스크 완료 점수 TCS\n출력 수준 + 환경 수준\n해시 매칭"]
        EM["효율성 지표\n스텝 수 / 입력 토큰 / 출력 토큰 / 경과 시간"]
        FA["실패 분석\n의사결정 수준 + 실행 수준\n6가지 카테고리"]
        SM["기타 지표\n안전성"]
    end

    DS --> AG
    CS --> AG
    AG --> LLM
    AG --> SP
    AG --> MM
    AG --> TI
    AG --> PM
    PM --> |"계획 Plan"| ENV_BASE
    ENV_BASE --> |"행동 Act"| ENV_BASE
    ENV_BASE --> |"관찰 Observe / ReAct 루프"| PM
    ENV_BASE --> |"종료 E_T+1 = delta E_t, a_t"| ENV_RES
    ENV_RES --> TCS
    ENV_RES --> EM
    ENV_RES --> FA
    ENV_RES --> SM

재현성 및 신뢰도 평가

항목등급비고
코드 공개✅GitHub(whfeLingYu/A-Unified-Framework-for-the-Evaluation-of-LLM-Agentic-Capabilities) + HuggingFace(AgentFramework/Unified_Farmework) 동시 공개. Config-driven 설계로 코드 수정 없이 실험 재현 가능.
데이터 공개✅7개 벤치마크 표준화 데이터셋 HuggingFace 공개. 오프라인 재현을 위한 curated snapshot 제공. 400K 롤아웃 규모.
하이퍼파라미터✅temperature=0 고정, 최대 20스텝 예산 고정, smolagents 버전(Roucher et al. 2025) 명시. C_sys YAML / C_agent JSONL config 파일로 완전 기록.
실험 환경⚠️OpenAI API / vLLM 양쪽 지원. 단, GPT-5-mini, Gemini-3-flash, DeepSeek-V3.2는 API 경유 독점 모델로 정확한 버전·스냅샷 날짜가 추후 변동 가능. 샌드박스 복제본(E_0 per run) 구조는 명시.
통계적 신뢰도⚠️해시 기반 환경 상태 매칭은 결정론적이나, Gemini-3-flash LLM judge 사용 평가 항목은 temperature=0에도 불구하고 비결정론적 요소 존재. 신뢰구간/표준편차 미보고. 5B 토큰 / 15모델 / 24도메인 규모는 대규모이나 반복 실험 횟수 불명확.
종합 등급B코드·데이터·설정 공개 수준은 우수하나, 독점 API 모델의 버전 고정 불가 문제와 LLM judge 비결정론, 통계적 신뢰도 미보고가 완전 재현을 제한함.

주장별 신뢰도

#주장근거신뢰도
1동일 모델에서 원본 벤치마크 대비 TCS가 체계적으로 달라진다 (프레임워크 환경 효과)Table 1에서 GPT-3.5-Turbo DB +26.6, Llama-2-70B DB +42.5 등 일관된 방향성. 단, DCG·WS 등 일부 과제에서는 역방향 변화(-6.8, -7.6)도 나타나 태스크 의존적.🟢
2오프라인 환경이 온라인 환경보다 재현 가능성 측면에서 유리하다Table 2에서 BFCL Qwen3-30B-A3B Offline 59.0 vs Online 17.5 (+34.5), MAB GPT-4o-mini Offline +37.7 vs Online 30.6.🟢
3Reasoning Deficit이 최신 LLM 에이전트의 가장 지배적 실패 원인이다Figure 3: Qwen3-235B 71.6%, Gemini-3-flash 52.1%, GPT-5-mini 49.2%. 단 DeepSeek-V3.2는 Parsing Failure(37.8%)와 근접해 모델 의존적.🟡
4원본 벤치마크 간 모델 순위가 프레임워크 적용 후 역전될 수 있다tau-bench Retail에서 GPT-4o>GPT-3.5(원본)이 GPT-3.5(55.7%)>GPT-4o(28.7%)로 역전. 단일 사례이며 다른 벤치마크 체계적 검증 불충분.🟡
5균일 스캐폴드가 마스킹됐던 안전 위험을 노출시킨다Figure 4: Llama-3.1-70B 21.0→31.2, Qwen2.5-72B 22.9→37.3. 점수 방향 정의는 텍스트상 완전히 명확하지 않아 해석 주의.🔴
6Config-driven 제로코드 수정으로 완전 재현이 가능하다C_sys YAML + C_agent JSONL 구조 명시, 코드 공개 확인. 단 독점 API 모델 버전 드리프트로 완전 재현은 조건부.🟡

관련 연구 비교 매트릭스

선정 근거: HAL(base)은 표준화 인프라 선행 연구로 직접 비교 기준점이 되고, Zhu et al. 2602(direct)는 동일 저자 집단의 문제 제기 선행작이며, tau-bench(sota)는 본 논문이 통합한 7개 벤치마크 중 하나로 스캐폴드 편향 분석의 구체적 대상이다. Dong et al.(alternative)은 압축 LLM 맥락에서 프레임워크 의존성을 독립 검증하고, Yehudai et al.(alternative)은 평가 방법론 전반의 비일관성을 정리한 서베이로 생태계 맥락을 제공한다.

축본 논문 (Zhu et al., 2026)HAL (Kapoor et al., 2026) [base]Zhu et al. 2602 (2026) [direct]tau-bench (Yao et al., 2025) [sota]Dong et al. (2025) [alternative]
제목/연도A Unified Framework for the Evaluation of LLM Agentic Capabilities, 2026Holistic Agent Leaderboard (HAL), 2026The Necessity of a Unified Framework for LLM-based Agent Evaluation, 2026tau-bench: Tool-Agent-User Interaction, 2025Can compressed LLMs truly act?, 2025
문제·목표분산된 7개 벤치마크·24도메인을 단일 프레임워크로 통합해 LLM 에이전트의 내재적 역량을 공정하게 평가AI 에이전트 평가를 위한 표준 인프라 부재 해소; 비용 인식 리더보드 구축파편화된 벤치마크 구현이 평가를 교란한다는 문제를 논증하고 통합 필요성 제기실세계 도메인에서 도구-에이전트-사용자 3자 대화 평가; 단일 도메인 특화 벤치마크 제공LLM 압축(양자화·프루닝) 하에서 에이전트 역량이 어떻게 변하는지 실증
접근방식명령-도구-환경 삼중항 통일 표현 + 고정 ReAct smolagents 스캐폴드 + 통제된 샌드박스 + 선택적 오프라인 스냅샷; 400K 롤아웃·5B 토큰·15개 모델범용 프레임워크와 특화 구현체 간 성능 차이를 측정; Generalist Agent 베이스라인 도입; 비용(토큰·달러) 메트릭 병기실증 실험으로 구현 파편화→성능 혼동 관계를 측정; 통합 프레임워크 설계 원칙 도출GPT-4 기반 사용자 시뮬레이터 고정; 항공·소매 2개 도메인 실세계 정책 기반 평가다수 압축 기법 × 다수 에이전틱 태스크 교차 실험; 프레임워크 유형(범용 vs 특화)을 변인으로 포함
통합 벤치마크 수7개 벤치마크, 24개 도메인복수(구체적 수 미제공)다수 벤치마크 실증(구체적 수 미제공)1개 벤치마크(항공·소매 2도메인)복수 에이전틱 태스크(구체적 수 미제공)
스캐폴드 통제 여부고정 (ReAct smolagents 단일 스캐폴드 강제)부분 — 범용 vs 특화 프레임워크 비교를 측정 변인으로 사용하나 고정하지 않음스캐폴드 혼동 문제를 식별·논증하나 제어 방법 미제시미통제 — 스캐폴드 선택 연구자 자유미통제 — 프레임워크 유형을 독립 변인으로 두어 영향 측정
환경 변동성 분리 여부분리함 — 통제된 샌드박스 + 오프라인 스냅샷으로 환경 노이즈와 내재 역량 분리부분 — 비용 등 환경 요인 측정하나 체계적 분리 방법론 미제시분리 필요성 논증하나 실제 분리 메커니즘 미구현미분리 — 사용자 시뮬레이터 응답 변동이 평가 결과에 혼입미분리 — 압축 효과와 환경 변동 혼합
코드 공개공개 (GitHub + HuggingFace)공개 (HAL)미공개공개공개

원자적 인사이트 (Zettelkasten)

💡 에이전트 벤치마크 점수는 모델 능력과 구현 호환성을 혼입한다

출처: A Unified Framework for the Evaluation of LLM Agentic Capabilities (Zhu et al., 2026)
유형: 이론적

에이전트 벤치마크는 데이터셋이 아니라 스캐폴드·파서·시뮬레이터·평가 스크립트를 포함한 “실행 패키지”다. 따라서 보고된 점수는 모델의 본질 능력과, 모델이 그 특정 구현과 우연히 잘 맞는 정도(구현 호환성)를 한 숫자에 섞는다. 이 혼입은 무시할 만한 노이즈가 아니라 순위를 역전시킬 만큼 체계적이며, 이를 분리하려면 instruction-tool-environment 삼중쌍으로 표준화하고 고정 스캐폴드에서 재실행해야 한다.

핵심 조건/맥락: 도구 호출·다단계 상호작용을 요구하는 에이전트 평가에 한정. 단발 QA 벤치마크에는 혼입 효과가 약하다.
연결: ReAct (스캐폴드의 한 형태), smolagents (통제용 고정 스캐폴드)

💡 평가 순위 역전의 범인은 user simulator의 문체적 prior 비대칭이다

출처: A Unified Framework for the Evaluation of LLM Agentic Capabilities (Zhu et al., 2026)
유형: 실험적

tau-bench Retail에서 GPT-4o(61.2%)≫GPT-3.5(20.0%)이던 순위가, 스캐폴드를 통제하자 GPT-3.5(55.7%)>GPT-4o(28.7%)로 완전히 뒤집혔다. 원인은 평가에 쓰인 GPT-4 기반 user simulator가 모델마다 다르게 작용하는 문체적 prior를 주입했기 때문이다. 즉 “사용자 역할” LLM이 특정 모델의 응답 스타일에 우호적이면, 측정되는 것은 과제 능력이 아니라 시뮬레이터와의 궁합이다.

핵심 조건/맥락: LLM을 user/judge로 쓰는 모든 시뮬레이션 평가에 일반화 가능한 위험. 정적 정답 채점에는 해당 없음.
연결: tau-bench (역전이 관측된 환경), LLM-as-a-judge 편향

💡 스캐폴드를 통제하면 open–closed 모델 성능 격차가 사라진다

출처: A Unified Framework for the Evaluation of LLM Agentic Capabilities (Zhu et al., 2026)
유형: 실험적

동일한 고정 ReAct 스캐폴드에서 실행하자, open-weight DeepSeek-V3.2가 tau²-bench Telecom에서 85.1%로 closed 모델 GPT-5-mini(79.9%)를 앞질렀고 어떤 모델도 Pareto-optimal이 아니었다. 이는 “closed 모델이 본질적으로 더 강한 에이전트”라는 통념의 상당 부분이, 실은 closed 모델 제공자가 자사 스캐폴드에 최적화한 효과였을 수 있음을 시사한다.

핵심 조건/맥락: 텍스트 기반·smolagents 단일 스캐폴드 하에서의 결과. 다른 스캐폴드에서 동일 결론이 유지되는지는 미검증.
연결: DeepSeek-V3, Pareto 최적성

💡 오프라인-온라인 격차는 그 자체로 “환경 실패”의 정량 지표다

출처: A Unified Framework for the Evaluation of LLM Agentic Capabilities (Zhu et al., 2026)
유형: 방법론적

같은 모델이 오프라인 스냅샷(고정된 입력 재생)에서는 잘하다가 온라인 라이브 환경에서는 +34.5(Qwen3-30B-A3B/BFCL)·+37.7(GPT-4o-mini/MAB)만큼 떨어지는 격차가 관측됐다. 이 델타를 노이즈로 버리지 않고 “환경 실패(environment failure)“라는 측정 가능한 양으로 정의하면, 모델의 추론 능력 부족과 환경 적응 실패를 분리해 진단할 수 있다.

핵심 조건/맥락: 오프라인 스냅샷과 온라인 실행을 동일 과제로 페어링할 수 있을 때만 델타가 해석 가능.
연결: BFCL, MultiAgentBench

핵심 용어 정리

용어정의
스캐폴드(scaffold)모델의 텍스트 출력을 실제 도구 호출·행동으로 변환하고 관찰 결과를 다시 모델에 주입하는 실행 골격. 점수에 큰 영향을 주는 구현 요소다.
ReActReasoning(추론)과 Acting(행동)을 번갈아 수행하게 하는 에이전트 프롬프트 패턴. 생각→행동→관찰을 반복한다.
smolagents본 연구에서 모든 모델에 동일하게 적용한 고정 ReAct 스캐폴드 구현체. 스캐폴드 변수를 상수로 묶기 위한 통제 장치다.
삼중쌍(triplet, D=⟨I,T,E⟩)이종 벤치마크를 통일하기 위한 표준 표현. instruction(과제 지시), tool(사용 가능 도구), environment(상호작용 환경)의 묶음.
혼입(confounding)측정값에 둘 이상의 원인(여기서는 모델 능력 + 구현 호환성)이 분리 불가능하게 섞여, 인과 해석을 왜곡하는 현상.
user simulatortau-bench 등에서 사람 사용자 역할을 대신하는 LLM. 그 문체적 prior가 평가 대상 모델별로 비대칭하게 작용하면 순위를 왜곡한다.
오프라인-온라인 격차고정 스냅샷 재생(offline)과 라이브 상호작용(online)에서의 성능 차. 본 연구에서 “환경 실패”의 정량 지표로 사용.
실패 분류체계(failure taxonomy)에이전트 실패를 decision level(잘못된 판단)과 execution level(올바른 판단의 실행 오류)로 나눈 6범주 진단 틀.
Pareto-optimal다른 어떤 지표도 희생하지 않고는 더 나아질 수 없는 상태. 본 연구에선 능력-효율 trade-off에서 그런 모델이 없었다.
runaway reasoning모델이 추론을 멈추지 못하고 토큰을 과소비하는 현상. Gemini-3-flash가 입력 토큰을 34배(1,539.6k vs 45.4k) 소모한 사례.

관련 연구

  • HAL (Kapoor et al. 2026) — 에이전트 평가의 표준화/홀리스틱 비교를 지향하는 동시대 평가 프레임워크. 본 논문이 강조한 스캐폴드·환경 혼입 통제라는 문제의식과 직접 맞닿는다.
  • tau-bench (Yao et al. 2025) — 본 연구에서 순위 역전(GPT-4o↔GPT-3.5)이 관측된 대화형 도구 사용 벤치마크. user simulator 문체 prior 비대칭의 실증 무대.
  • Agent-SafetyBench (Zhang et al. 2025) — 통합 대상 7개 벤치마크 중 하나로, 통제된 노출 시 안전 위반율이 오히려 증가(Llama-3.1-70B 21.0→31.2)함을 드러낸 안전성 평가축.
  • smolagents (Roucher et al. 2025) — 모든 모델에 동일 적용된 고정 ReAct 스캐폴드 구현. 스캐폴드를 상수로 통제하는 본 프레임워크의 핵심 도구.
  • ReAct (Yao et al. 2023) — 본 연구가 채택한 reasoning–acting 패턴의 원형. 표준 스캐폴드의 추론 기반.

태그

paper #2026 llm-agents evaluation benchmark react scaffolding confounding

BibTeX

@article{zhu2026unified,
  title={A Unified Framework for the Evaluation of {LLM} Agentic Capabilities},
  author={Zhu, Pengyu and Li, Lijun and Lyu, Yaxing and Luo, Qianxin and Yang, Jingyi and Liu, Yi and Hui, Tingfeng and Yuan, Xinyu and Sun, Li and Su, Sen and Shao, Jing},
  journal={arXiv preprint arXiv:2605.27898},
  year={2026},
  url={https://arxiv.org/abs/2605.27898},
  eprint={2605.27898},
  archivePrefix={arXiv}
}