Agents’ Last Exam: 에이전트의 마지막 시험

Digest: Context: AI 에이전트는 SWE-bench·Terminal-Bench 같은 벤치마크에서 인상적인 점수를 내지만, 변호사·회계사·엔지니어처럼 경제적 가치가 큰 전문직 업무를 실제로 대체·보조하는 배치(deployment)로는 좀처럼 이어지지 않는다. Insight: 저자들은 이 격차의 원인이 모델 능력 부족이 아니라 ‘평가 문제(evaluation problem)‘라고 본다 — 기존 벤치마크는 단발성 코딩 퍼즐처럼 짧고 인위적이어서 며칠에 걸친 다단계 실무(long-horizon)와 검증 가능한 경제적 산출물을 측정하지 못한다는 것이다. Solution: 그래서 Agents’ Last Exam(ALE)는 미국 연방 직업분류 O*NET/SOC2018을 토대로 55개 하위분야·13개 클러스터에 걸친 1,490개 과업 인스턴스(960 외부+530 위탁, 250명 이상 전문가 설계)를 구축하고, 대표성(도메인 표준 소프트웨어 사용)·복잡성(엔드투엔드)·검증가능성(결정적 채점 또는 루브릭) 3요건을 5게이트 파이프라인으로 강제한다. 평가는 Task/Agent/Environment를 분리한 원격 VM에서 이뤄지며, GCUA(Generalist Computer-Use Agent, 5계층 Brain/Eyes/Body/Hands/Feet)가 GUI-as-Tool(14개 데스크톱 액션 MCP)로 실제 업무용 소프트웨어를 조작한다. Evidence: 최상위 모델조차 overall pass rate가 낮아 Codex/GPT-5.5 24.0%, ALE-Claw 23.0%, Claude Code/Fable5 22.0%에 그치고, 순수 LLM 비교에서는 Opus4.7 15.1%·Gemini3.1 14.1%, 최저 Grok4.3 4.3%였다. 같은 Codex가 Terminal-Bench 82% vs ALE-CLI 23.3%로 떨어져 난이도 차이를 드러냈고, 가장 어려운 Last-Exam 티어(38 과업)는 풀패스 <1%였다. 실패의 약 75%는 실행이 아니라 도메인 지식·접근 방식(understanding/approach)에서 발생했고, 모델 선택이 harness 선택보다 약 3배 큰 영향을 미쳤다. Limitations: Last-Exam 티어 0% 풀패스로 상한을 변별하지 못하고, 실행당 $3-10 평가 비용이 들며, public 150개(~10%)/private 1,017개와 rolling evaluation으로 재현성과 오염 방지 사이 트레이드오프가 존재한다. Open Questions: 도메인 지식 격차를 메우면 GUI 활용(34% 과업이 GUI 지정인데 에이전트는 CLI로 대체)이 늘어나는지, long-horizon 실패가 모델 추론의 한계인지 harness 설계의 한계인지, 벤치마크 점수가 실제 경제적 배치율과 상관하는지가 열려 있다.

먼저 이해하기

쉬운 설명

이 논문은 AI 에이전트가 시험은 잘 보는데 실제 직장 일은 왜 못 맡는지를 측정하기 위한 새 시험지 **Agents’ Last Exam(ALE, 에이전트의 마지막 시험)**를 만든 연구다. 저자들은 기존 벤치마크(benchmark, AI 성능을 재는 표준 문제집)가 너무 짧고 인위적이라 며칠짜리 실무를 못 잰다고 보고, 미국 연방 직업분류 O*NET/SOC2018(직업을 분야별로 나눈 공식 분류 체계)을 기준으로 55개 분야 1,490개 실제 업무 과업을 모았다(250명 이상의 현업 전문가가 직접 설계에 참여). 채점이 공정하도록 각 과업은 대표성·복잡성·검증가능성 3요건을 통과해야 하며, 정답이 명확히 갈리는 ‘결정적 채점’ 또는 채점 기준표(rubric)로만 평가해 사람·AI 채점관의 주관을 최소화한다. 평가는 원격 가상 컴퓨터(VM) 위에서 이뤄지고, AI는 GUI-as-Tool(화면 클릭·입력 같은 14개 데스크톱 조작을 도구처럼 호출)로 실제 업무용 소프트웨어를 직접 다룬다. 결과적으로 가장 잘하는 모델도 전체 통과율이 24.0%(Codex/GPT-5.5)에 그쳤고, 가장 어려운 Last-Exam 단계는 완전 통과율이 1% 미만이라, AI가 전문직 실무에서는 아직 갈 길이 멀다는 점을 수치로 보여준다.

왜 중요한가

같은 모델(Codex)이 Terminal-Bench에서는 82%를 받지만 ALE-CLI에서는 23.3%만 통과한다는 대비는, 높은 벤치마크 점수가 곧 실무 능력이라는 통념이 과대평가일 수 있음을 구체적 수치로 보여준다. 또 실패의 약 75%가 실행 단계가 아니라 도메인 지식·접근 방식에서 나온다는 분석은, 개선 노력을 ‘도구를 더 잘 쓰게 하는 것’보다 ‘전문 지식과 문제 접근법’에 집중해야 함을 시사한다. 모델 선택이 harness 선택보다 약 3배 큰 영향을 준다는 발견은, 화려한 에이전트 골격보다 기반 모델 자체의 역량이 여전히 핵심임을 보여준다. 1,490개 과업을 250명 이상의 현업 전문가가 O*NET 기반으로 설계하고 결정적 채점을 강제했다는 점에서, ALE는 ‘경제적으로 의미 있는 실무’를 재현 가능하게 측정하려는 시도로서 의미가 있다. 다만 이 점수가 실제 경제적 배치율과 어떻게 연결되는지는 논문 범위 밖이므로, 결과를 실무 대체 가능성의 직접 증거로 확대 해석해서는 안 된다.

먼저 알아둘 말

용어	쉬운 설명	정확성 메모
Agents’ Last Exam (ALE)	전문직 실무를 본떠 만든 AI 에이전트용 시험 벤치마크	정식 명칭이며 풀어쓰지 않음. 1,490 task instances, 55 하위분야
long-horizon	한 번에 끝나는 단발 작업이 아니라 여러 단계를 거쳐 며칠 단위로 이어지는 긴 과업	단발성 코딩 퍼즐과 대비되는 이 벤치마크의 핵심 성격
O*NET / SOC2018	미국 연방 정부가 직업을 분야별로 나눈 공식 직업분류 체계	과업 선정의 대표성 기준으로 사용
검증가능성 (verifiability)	결과가 정답인지 자동·객관적으로 가릴 수 있는 성질	결정적 채점 또는 루브릭으로 구현, LLM-judge 최소화
GCUA (Generalist Computer-Use Agent)	컴퓨터를 범용으로 조작하는 에이전트 추상화, Brain/Eyes/Body/Hands/Feet 5계층	평가 대상 에이전트의 표준 골격
GUI-as-Tool	화면 클릭·타이핑 등 14개 데스크톱 조작을 도구(MCP)처럼 호출하게 한 방식	주 평가 방식. 34% 과업에서 지정했으나 에이전트는 CLI로 대체하는 경향
harness	모델을 감싸 도구 사용·반복 루프를 관리하는 에이전트 실행 골격	모델 선택이 harness 선택보다 ~3배 영향
pass rate (full pass)	과업을 완전히 통과한 비율, 부분 점수와 구분되는 전부-또는-전무 통과	Last-Exam 티어에서 <1%

섹션별 요약

Abstract

AI 시스템들은 기존 벤치마크에서 높은 성능을 기록하고 있지만, 이러한 성능 향상은 전문 영역에서의 경제적으로 의미있는 실제 배치(deployment)로 이어지지 못하고 있다. 저자들은 이 격차의 핵심 원인이 평가(evaluation) 문제에 있다고 주장한다: 기존 벤치마크들은 실제로 경제적 가치를 지닌 워크플로우에 대한 지속적 측정이 부재하다. 이를 해결하기 위해 **Agents’ Last Exam(ALE)**를 소개한다. ALE는 검증 가능한 결과(verifiable outcome)를 갖는 장기 호라이즌(long-horizon)·경제적 가치를 지닌 실세계 과업에서 AI 에이전트를 평가하는 벤치마크로, 250명 이상의 산업 전문가와 공동 개발되었으며 미국 연방 직업 분류 체계인 O*NET/SOC 2018 기반으로 13개 산업 클러스터·55개 하위분야·1,000개 이상 과업으로 구성된다. 최고 난이도 구간에서는 주류 하네스(harness)·백본(backbone) 구성 전반에 걸쳐 평균 완전 통과율(full pass rate)이 1% 미만으로, 현존 최강 모델 조합으로도 포화되지 않는다. ALE는 리더보드가 아니라 벤치마크 성공과 GDP 관련 실제 영향 간 격차를 계측하기 위한 **살아있는 벤치마크(living benchmark)**로 설계되었으며, 과업 풀은 지속적으로 확장된다.

저자 contribution

250명 이상 산업 전문가와 공동 구축한 실세계 장기 호라이즌 AI 에이전트 벤치마크 ALE를 제안하고, O*NET/SOC 2018 기반 13개 클러스터·55개 하위분야·1,000개 이상 과업 분류 체계를 정의한다.
검증 가능한 결과와 경제적 가치를 평가 기준으로 삼아, 기존 벤치마크가 놓치던 “벤치마크 성능 ↔ GDP 관련 실제 배치” 격차를 정량적으로 계측할 수 있는 평가 도구를 제공한다.
최고 난이도 구간의 평균 완전 통과율이 1% 미만임을 실험적으로 확인하고, 과업 풀이 지속 확장되는 living benchmark 체계를 구축한다.

왜 이 연구를 하는가?

핵심 질문: AI 에이전트가 벤치마크에서 높은 성능을 기록함에도 실제 경제적 전문 업무에 배치되지 못하는 이유는 무엇이며, 이를 진단할 평가 체계를 어떻게 설계할 수 있는가?

기존 접근법의 한계

한계	설명
직업 워크플로 부재	기존 벤치마크는 시험형 QA·게임·코딩 과업에 치우쳐 있어 실제 직종에서 발생하는 전문 업무 워크플로를 측정하지 못한다.
단기 과업 위주	대부분의 벤치마크는 단일 스텝 혹은 단기 완결 과업을 사용하여 다단계 장기 호라이즌(long-horizon) 계획 능력을 반영하지 못한다.
협소한 산업 커버리지	기존 벤치마크가 다루는 하위 분야는 55개 전문 분야 중 한 자릿수에 불과해 직군·산업 전반의 대표성이 부족하다.

핵심 통찰

벤치마크 성공이 경제적 배치로 이어지지 않는 근본 원인은 평가 체계 자체의 결함이며, 실세계 장기 호라이즌 워크플로를 측정할 새로운 평가 기준이 필요하다.
GUI 전용(OSWorld)·CLI 전용(Terminal-Bench) 등 기존 벤치마크는 ALE의 과업 표면(task surface)에 모두 포함되는 부분집합이며, 범용 컴퓨터 사용 에이전트(GCUA)를 평가하려면 이를 통합하는 상위집합 평가 틀이 요구된다.

Introduction

AI는 게임, 수학 추론, 프로그래밍 등 수많은 벤치마크에서 인간 수준 이상의 성과를 기록해 왔다. 그러나 이 성과들은 전문 직업 영역에서의 실질적인 경제적 배치(economic deployment)로 좀처럼 이어지지 못하고 있다. 저자들은 이 격차가 모델 능력의 문제가 아니라 평가 체계의 문제임을 지적한다. 기존 벤치마크는 세 가지 구조적 결함을 공유한다: (i) 시험형 QA·게임·코딩 등 제한된 과업 유형에 집중하여 실세계 직업 워크플로를 측정하지 못하고, (ii) 단기 완결 과업 위주로 구성되어 다단계 장기 호라이즌 계획 능력을 반영하지 못하며, (iii) 산업 커버리지가 협소하여 55개 전문 하위 분야 중 한 자릿수만을 포괄한다.

이러한 한계를 극복하기 위해 저자들은 ALE를 제안한다. ALE는 장기 호라이즌(long-horizon) 특성을 갖추고 경제적 가치가 입증된 실세계 과업을, 검증 가능한 결과(verifiable outcomes) 기준으로 평가하는 벤치마크다. 이는 250명 이상의 전문가와 함께 O*NET/SOC 2018 직업 분류 체계에 기반하여 구축되었으며, 55개 하위 분야·13개 클러스터·1,000개 이상의 과업으로 구성된다. ALE의 타깃 에이전트는 GCUA(Generalist Computer-Use Agent, 범용 컴퓨터 사용 에이전트)로, 시각 인식(visual perception), 코드 실행, 도구 사용, 장기 호라이즌 계획을 통합적으로 수행하는 에이전트를 상정한다. ALE의 과업 표면(task surface)은 GUI 전용 벤치마크 OSWorld와 CLI 전용 벤치마크 Terminal-Bench를 모두 포함하는 상위집합(superset)으로 설계되어, 기존 평가 틀의 단편성을 구조적으로 극복한다. 현재 가장 강력한 에이전트 구성도 최고 난이도 계층(tier)에서 완전 통과율(full pass rate) 1% 미만에 그쳐, 기존 벤치마크와의 성능 인식 격차가 실증된다.

Methods

프레임워크 개요 — ALE는 과업 채택 3요건(Representativeness·Complexity·Verifiability)을 기준으로 SOC 2018+O*NET 기반 55개 하위분야 전체를 커버하는 1,490개 인스턴스를 5게이트 파이프라인으로 구축하고, Task/Agent/Environment 3분리 아키텍처 위에서 GCUA 5계층 에이전트가 실행하며 결정적 검사 또는 루브릭 자동검증으로 채점하는 엔드투엔드 벤치마크 설계·평가 시스템이다.

과업 채택 3요건: Representativeness(대표성) — 도메인 표준 소프트웨어(예: CAD 분야 SolidWorks/Rhino) 사용 요구; Complexity(복잡성) — 단일 UI 조작이 아닌 엔드투엔드 결과물 생성 요구(예: “치타를 다른 레이스 영상에 합성”은 채택, “DaVinci 색필터 적용”은 거부); Verifiability(검증가능성) — 결정적 검사 또는 명확한 루브릭 필수, 최고 등급은 참조 파일 대비 직접 비교.

55 하위분야 분류 체계: SOC 2018과 O*NET을 기반으로 소프트웨어 매개 워크플로가 유사한 직업군을 클러스터링하여 비디지털 섹터를 제외한 13개 최상위 도메인 → 55개 하위분야 구성. 도메인 예: 제조·산업운영(CAD→CAM→G-code), 생체분자 구조·설계(분자 도킹/MD 시뮬레이션/구조 예측/단백질 설계), 3D·애니메이션·인터랙티브 미디어(리깅/머티리얼/컴포지팅), 로보틱스·자율시스템(URDF/지각보정/경로 플래너). 16개 기존 벤치마크를 55개 하위분야에 매핑하면 13개가 커버리지 전무인 반면 ALE는 55/55 완전 커버.

5게이트 과업 구축 파이프라인: (1) 전문가 소싱(자문위) → (2) 과업 제출·편집(웹 포털, AI 보조 정제, 5요소 명세: 자연어 설명/입력 파일/대상 SW/기대 산출물/평가 명세) → (3) 1차 리뷰(컨퍼런스형 결정) → (4) 과업 구현(엔지니어가 실행 자산·SW 컨테이너·평가 로직 코드화 후 dry-run) → (5) 최종 QC(전문가 위원 동료심사). 데이터셋: 총 1,490 인스턴스(외부 제출 960 + 위탁 530), public 150개(~10%), private 1,017개, QC 대기 323개. public/private 10/90 분할이 오염 방지, rolling evaluation으로 private→public 순환.

Task/Agent/Environment 3분리 평가 아키텍처: Task Specification(main.py, load/start/evaluate 라이프사이클, evaluate가 [0,1] 점수 반환) / Agent(Harness+Model 조합, 과업 설명만 수신하고 스크린샷·셸·마우스·키보드·파일·API 액션 루프 실행) / Environment(원격 VM, 4디렉터리: input/ 읽기전용·software/ 사전설치 앱·output/ 에이전트 쓰기 대상·reference/ 정답 은닉 채점 전용). 이 분리로 임의 에이전트가 임의 과업을 실행한다.

GCUA 5계층 에이전트 아키텍처: Brain(LLM 추론·계획) / Eyes(스크린샷 기반 GUI 지각) / Body(오케스트레이션·제어흐름) / Hands(구조화 도구 호출) / Feet(런타임 substrate). CLI 에이전트(SWE-agent, ForgeCode)는 Eyes 결여, 기존 GUI 에이전트는 얕은 Body·좁은 Hands. GCUA는 5계층 완비로 GUI+CLI 합집합 요구. 현대 harness(Claude Code, Codex, OpenClaw)의 수렴 구조: 메인 루프·모듈식 시스템프롬프트 빌더·통합 도구 시스템·서브에이전트 디스패치·컨텍스트 압축 매니저. GUI 통합은 GUI-as-Tool(14개 데스크톱 액션 도구를 MCP 엔드포인트로, 단일 모델이 셸+시각을 한 루프에서 추론)과 GUI-as-SubAgent(비전 없는 모델용 비전-언어 서브에이전트 위임, 예: DeepSeek V4)로 구분되며 주평가는 GUI-as-Tool.

평가 모드 및 채점: 2개 직교 축. 비교 형태 — 정확값·해시 일치, 허용 오차 있는 수치·표, 기하 표면·점군 거리, 시각 외관(비전-LLM 판정), 고정 입력 궤적 하 행동 월드 상태, 자유 텍스트 루브릭. 합산 방식 — Gate-and-score(이진 전제조건 gate 통과 후 연속 품질 점수, gate 실패 시 0점)가 주류, 일부 Averaging. LLM-as-judge는 결정적 대안이 있는 곳에서는 회피하고 소수 주관적 산출물에만 좁은 증거 기반 yes/no 프로브로 적용.

발견 (Findings)

[발견 1] 전체 성능 상한선: 최고 성능 에이전트 Codex(GPT-5.5)의 전체 통과율이 24.0%에 그치며, 최난도 Last-Exam 티어에서는 모든 에이전트가 사실상 0%에 수렴한다 (Table 1). 현 최강 프런티어 모델도 고난도 실세계 과업 전체를 해결하지 못한다.
[발견 2] 실패의 지배적 병목은 도메인 지식 부재: 실패 분류(Fig. 9d, Claude Code + Opus 4.7)에서 Understanding(도메인 지식 부재)·Approach(잘못된 방법론) 실패가 합산 약 75%, 실행(Execution) 실패는 약 25%다. “어떻게 실행하느냐”가 아니라 “무엇을 알고 있느냐”가 주된 장벽임이 실증된다.
[발견 3] GUI 도구의 실질적 미활용: public 과업의 34%가 GUI 소프트웨어를 주요 도구로 지정하지만, 에이전트들은 네이티브 GUI 대신 Bash/CLI 대안을 선호한다 (Fig. 9b, c). GUI-as-Tool이 제공돼도 실질 활용되지 않는 설계·전략적 공백이 존재한다.

Results

티어별 성능 분포 (Table 1): 3개 난이도 티어 — Near-Term(67 태스크), Full-Spectrum(55 태스크, 하위 분야당 ≥1), Last-Exam(38 태스크, 최난도). 모든 에이전트는 GUI-as-Tool로 GCUA 평가를 확장한 조건에서 실행되며 per-run 상한은 5시간, 전체 timeout은 평균 3.8%(경량 ~1% ∼ OpenClaw 5.7%)다.

주류 harness(LLM + GUI-as-Tool) 최고는 Codex(GPT-5.5): Near-Term 38.1% pass / 64.7% score, Full-Spectrum 22.7% / 36.0%, Last-Exam 0.0% / 11.2%, 전체 24.0%. ALE-Claw(GPT-5.5) 32.8 / 23.6 / 2.6, 전체 23.0%; Claude Code(Fable 5) 34.3 / 20.9 / 0.0, 전체 22.0%; Cursor(GPT-5.5) 20.7%; Droid(GPT-5.5) 19.1%; 최하위 Grok 4.3 6.6% (20개 구성 집계).

LLM 비교(고정 harness: OpenClaw + GUI-as-Tool): GPT-5.5 21.1%, GPT-5.4 20.5%, Claude Opus 4.7 15.1%, Gemini 3.1 Pro 14.1%, 최하위 Grok 4.3 4.3%, MiniMax M2.7 5.9%, MIMO v2.5 8.6%. 스프레드 약 17 pp.

Harness 비교(고정 모델: GPT-5.5): Codex 24.0% ∼ Droid 19.1%로 스프레드 약 5 pp. 즉 모델 선택이 harness 선택의 약 3배 성능 스프레드를 만든다. 모델 역량이 harness 설계보다 결과에 훨씬 크게 기여한다.

ALE-CLI(Linux-only 105 태스크): Codex(GPT-5.5) 23.3%(Near-Term 37.2% / Full-Spectrum 19.0% / Last-Exam 0.0%). Codex가 Terminal-Bench 82%인 것과 대비하면 ALE-CLI가 현저히 더 어렵다. 후속: Claude Code Sonnet 4.6 16.7%, ForgeCode 13.3%, Hermes 13.2%, Terminus 11.9%, OpenHands 9.0%.

도메인별 성능(Fig. 9a): Claude Fable 5 + GPT-5.5 평균 기준, Computational Mathematics·Agriculture/Environment·Business·Legal 등 코드 인접 도메인이 약 50∼85% 상위권, Education은 25% 미만 최하위. 학습 데이터 커버리지가 높은 도메인일수록 성능이 높은 경향.

자원 효율: 컴퓨팅·비용 소비가 클수록 성능이 단조 증가하지 않으며, 프런티어 모델이 항상 비용 효율 최고점이 아니다.

Ablation / 제한된 케이스: Last-Exam 티어에서 Codex(GPT-5.5)·Claude Code(Fable 5) 등 최고 성능 에이전트 모두 pass rate 0.0%(score 기준도 11.2%)로 한계를 드러낸다. GUI-as-Tool 제공에도 GUI 미활용 패턴(34% 지정 vs 낮은 실사용)이 관측되며, Execution 실패(~25%)는 Understanding/Approach 실패(~75%)에 비해 부차적이다 — 실행 인프라 개선만으로 병목 해소가 어렵다.

Discussion

ALE의 핵심 논지는 “벤치마크 성공이 경제적 영향과 직결되지 않는다”는 격차 문제이며, 이 섹션은 그 격차를 구체적 결과와 한계로 검증하고 향후 방향을 정초한다. 가장 강력한 메시지는 Last-Exam 0.0% 풀패스다 — 38개 태스크에서 최강 Codex/GPT-5.5조차 전체 24.0%에 그쳤고 누구도 완전 통과에 성공하지 못해, 현 프런티어 역량이 실제 경제적 노동 자동화 요구 수준과 상당한 거리가 있음을 시사한다. GUI 활용 실패(34% 지정에도 거의 미사용)와 도메인 지식 병목(실패의 ~75%가 understanding/approach 단계)도 두드러진다.

선행 연구 대비 ALE의 차별성은 세 가지다. 첫째, MMLU·GPQA·HLE 등 지식/시험 QA 벤치마크가 최대 26/55 하위분야만 커버하는 데 반해 ALE는 55/55 완전 커버리지를 달성했다(Table 2). 둘째, GDPval·RLI(Remote Labor Index) 등 경제 기반 벤치마크가 인간 전문가 채점에 의존하는 반면, ALE는 결정적(deterministic)+루브릭 자동검증으로 인간 채점을 대체한다. 셋째, 1,490 인스턴스·55 하위분야·13 클러스터·960개 전문가 워크플로(300명 이상 실무자)는 기존 에이전트 벤치마크(502,500건)를 넘어선다. ALE의 실용적 시사점은 living benchmark와 rolling evaluation 구조에 있으며, 프런티어 AI 에이전트가 Last-Exam을 통과하는 시점이 곧 AI 진보가 실제 경제 변혁으로 등록되는 기점이 될 것이라는 저자들의 주장을 뒷받침한다.

저자가 인정한 한계

GUI 미활용: 34% GUI 지정 태스크에도 에이전트들이 GUI를 사용하지 못해 과업 공간의 유효 커버리지가 실질 축소.
도메인 지식 병목: 실패의 ~75%가 understanding/approach 단계 — 실행 능력 이전에 지식·계획 역량이 선결 병목.
평가 비용·시간: 실행당 $3-10, 수십 분~수 시간(OpenClaw 5시간 cap, timeout 5.7%); 대규모 반복 평가 실용성 제한.
결정적 검증의 편향: 자동 루브릭이 채점자 편향은 줄이나 부분 점수(partial credit)를 누락할 가능성.
Public/Private 분할 트레이드오프: 10/90 비율이 오염 방지와 재현성 사이 긴장을 완전히 해소하지 못함.

독자 식별 추가 한계

300명 이상 실무자가 작성한 워크플로이나 직종·지역·경력 분포의 편향 가능성이 명시되지 않음.
결정적 자동 검증이 창의적·비정형적 산출물을 얼마나 정확히 평가하는지 검증 부재.

향후 방향

GUI 미활용 대응 — 멀티모달 에이전트의 실제 소프트웨어 인터페이스 조작 능력 향상 연구.
understanding/approach 병목 해소 — 도메인 특화 사전학습·지식 보강 방법론.
Rolling evaluation과 종단 성능 추적이 양립하는 프로토콜 개발.
결정적 검증의 이진 채점 한계를 보완하는 세분화된 부분 점수 루브릭 고도화.

이론적 의의

벤치마크-경제 격차(Benchmark-GDP Gap) 계측 프레임워크 제안: AI 성능 지표와 실제 경제 생산성 사이 격차를 측정하는 개념 틀을 처음 명시화한다. 기존 연구가 과제 내 지표(정확도·F1)에 집중한 것과 달리 “이 성능이 경제적 노동 대체와 얼마나 가까운가”를 평가 중심에 놓는다.
자동 검증의 인간 채점 대체 타당성 확립: 결정적 검증 + 루브릭 자동채점으로 GDPval·RLI가 의존하던 고비용 인간 전문가 채점을 대체할 수 있음을 실증, 대규모 경제적 에이전트 평가의 확장성 장벽을 낮춘다.
GCUA 역량 평가의 새 기준점: 55/55 완전 커버리지·1,490 인스턴스는 가장 광범위한 GCUA 역량 프로파일링을 제공하며 향후 에이전트 연구의 기준 평가 환경이 될 기반을 마련한다.
Living Benchmark 패러다임의 방법론적 정당화: Rolling evaluation으로 정적 벤치마크의 오염 취약성을 극복하는 경로를 제시, 급변하는 프런티어 모델 평가에서 지속 가능한 평가 인프라 설계 원칙으로 일반화 가능.

Discussion Points

논쟁점: Last-Exam 0.0% 풀패스를 “프런티어 역량이 아직 멀다”는 증거로 보는 게 타당한가, 아니면 결정적 전부-또는-무 채점이 부분적 진보를 과소평가하는 구조적 바이어스인가? 루브릭 자동검증이 인간 채점을 완전 대체할 수 있다는 주장은 창의적·고맥락 태스크에서도 성립하는가?
검증 필요 가정: (1) 300명 이상 실무자 워크플로가 실제 경제적 노동의 대표 표본이라는 가정(직종·언어·지역 편향 부재의 독립 검증 필요). (2) ALE 점수 향상이 실제 GDP 기여 증가와 상관한다는 인과 주장(점수 변화 ↔ 경제 지표 변화의 종단 연구 필요).
후속 연구: (1) GUI 에이전트가 34% GUI 태스크에서 성능을 회복할 때 전체 점수 변화 분리 실험; (2) Rolling evaluation 업데이트 주기 vs 모델 성능 추이의 종단 데이터로 living benchmark 타당성 검증; (3) 부분 점수 루브릭 도입 시 순위 변동 민감도 분석.

실험 결과 상세

표 1. 주요 에이전트/모델별 ALE 전체 과제 통과율 (%)

Model/Method	Dataset	Metric	Score	vs. Baseline
Codex (GPT-5.5)	ALE Overall	Pass Rate (%)	24.0	최고성능 (기준)
Codex (GPT-5.5)	ALE Near-Term (67)	Pass Rate (%)	38.1	—
Codex (GPT-5.5)	ALE Full-Spectrum (55)	Pass Rate (%)	22.7	—
Codex (GPT-5.5)	ALE Last-Exam (38)	Pass Rate (%)	0.0	—
ALE-Claw (GPT-5.5)	ALE Overall	Pass Rate (%)	23.0	-1.0 pp vs. Codex
Claude Code (Fable5)	ALE Overall	Pass Rate (%)	22.0	-2.0 pp vs. Codex
Cursor (GPT-5.5)	ALE Overall	Pass Rate (%)	20.7	-3.3 pp vs. Codex
Droid (GPT-5.5)	ALE Overall	Pass Rate (%)	19.1	-4.9 pp vs. Codex
Grok 4.3	ALE Overall	Pass Rate (%)	6.6	-17.4 pp (최저)
GPT-5.5 (OpenClaw)	ALE Overall	Pass Rate (%)	21.1	LLM 비교 기준
GPT-5.4 (OpenClaw)	ALE Overall	Pass Rate (%)	20.5	-0.6 pp vs. GPT-5.5
Claude Opus 4.7 (OpenClaw)	ALE Overall	Pass Rate (%)	15.1	-6.0 pp vs. GPT-5.5
Gemini 3.1 Pro (OpenClaw)	ALE Overall	Pass Rate (%)	14.1	-7.0 pp vs. GPT-5.5
Grok 4.3 (OpenClaw)	ALE Overall	Pass Rate (%)	4.3	-16.8 pp vs. GPT-5.5

표 2. ALE-CLI vs. Terminal-Bench (105 Linux 과제)

Model/Method	Dataset	Metric	Score	vs. Baseline
Codex	ALE-CLI (105)	Pass Rate (%)	23.3	ALE-CLI 최고
Codex	Terminal-Bench	Pass Rate (%)	82.0	+58.7 pp (훨씬 쉬운 벤치마크)
Claude Code (Sonnet 4.6)	ALE-CLI	Pass Rate (%)	16.7	-6.6 pp vs. Codex
OpenHands	ALE-CLI	Pass Rate (%)	9.0	-14.3 pp vs. Codex

표 3. 실패 원인 분류 및 도메인 편차

Model/Method	Dataset	Metric	Score
전체 평균	ALE Overall	Understanding & Approach 실패 비율	~75%
전체 평균	ALE Overall	Execution 실패 비율	~25%
전체 평균	ALE Overall	Timeout 비율	3.8%
최고 도메인 (Comp. Math/Agriculture)	ALE Overall	도메인 Pass Rate (%)	~55-85
최저 도메인 (Education)	ALE Overall	도메인 Pass Rate (%)	<25

프레임워크 다이어그램

graph TB
    subgraph GCUA["GCUA 5계층 에이전트"]
        Brain["Brain\n(추론·계획)"]
        Eyes["Eyes\n(GUI 지각)"]
        Body["Body\n(제어 흐름)"]
        Hands["Hands\n(도구 호출)"]
        Feet["Feet\n(런타임 substrate)"]
        Brain --> Eyes --> Body --> Hands --> Feet
    end

    subgraph EVAL["ALE 평가 3분리 파이프라인"]
        Task["Task Spec\n(main.py load/start/evaluate → [0,1])"]
        Agent["Agent\n(Harness + Model)"]
        Env["Environment\n(원격 VM\ninput/software/output/reference)"]
        Task -->|"과업 명세"| Agent
        Agent -->|"액션 실행"| Env
        Env -->|"상태/출력"| Agent
        Task -->|"채점"| Env
    end

    subgraph TIERS["평가 티어"]
        NT["Near-Term (67)"]
        FS["Full-Spectrum (55)"]
        LE["Last-Exam (38)"]
        NT --> FS --> LE
    end

    GCUA --> EVAL --> TIERS

재현성 및 신뢰도 평가

항목	등급	비고
코드 공개	✅	GitHub(rdi-berkeley/agents-last-exam)·공식 사이트 공개. 평가 harness 포함
데이터 공개	⚠️	HF 데이터셋 공개하나 전체 1,490 중 ~10%만 공개(오염 방지). 530 위탁 및 90% 비공개 → 완전 재현 불가
하이퍼파라미터	⚠️	평가 모드·gate-and-score 합성 명시. 각 harness 내부 파라미터(온도·컨텍스트 등)는 에이전트마다 달라 통제 불완전
실험 환경	✅	원격 VM 격리 환경, 소프트웨어 스택·input/output/reference 명시. 비용 $3-10/run, 14 데스크톱 액션 MCP 문서화
통계적 신뢰도	⚠️	티어별 과제 수 명시(67/55/38)되나 신뢰구간·표준편차·반복 횟수 미보고. Timeout 3.8% 보고로 일부 투명성
종합 등급	B	코드·환경 공개 수준 높으나 데이터 90% 비공개·통계 신뢰도 정보 부재로 완전 외부 재현 제한

주장별 신뢰도

🟡 최강 구성도 Last-Exam 통과율 사실상 0%(최대 2.6%) — Table 1 직접 기재, 단 표본 38개로 소규모.
🟢 ALE는 Terminal-Bench 대비 훨씬 어려움 — 동일 Codex가 82% vs 23.3%, 58.7 pp 격차로 직접 비교.
🟡 실패의 ~75%가 도메인 지식·접근 — 분류 기준·분류자(자동/인간) 불명확, 표본 규모 미명시.
🟡 GUI 지정 과업에서도 34% 미활용·CLI 대체 — 행동 로그 기반 추정, 검증 방법론 상세 미공개.
🟡 도메인별 성능 편차(Comp. Math/Agriculture ~55-85% vs Education <25%) — 각 도메인 과제 수·신뢰구간 미명시.

축	ALE (2026)	GDPval (2025) [direct]	RLI (2026) [direct]	SWE-bench (2023) [base]	OSWorld (2024) [alt]	Terminal-Bench 2 (2025) [alt]	HLE (2025) [contrast]
과업 유형	실프로젝트 복합 태스크(문서·코드·분석·커뮤니케이션 혼합)	실프로젝트 복합(납품형)	실프로젝트 복합(납품형)	OSS 코드 패치(GitHub 이슈)	데스크톱 GUI 조작	CLI 워크플로	학술 시험형 QA
규모	1,490 인스턴스(1K+ 전문가, 300+ 실무자)	~200 결과물	~250 결과물	~2,000 패치	~400 GUI	~100 CLI	~2,500 QA
도메인 커버리지(55중)	55/55 완전	16/55	14/55	5/55	5/55	6/55	20/55
검증 방식	결정적 + 루브릭 자동(인간 불필요)	인간 전문가 채점	인간 전문가 채점	유닛 테스트(결정적)	상태 체크(결정적)	상태 체크	자동 정답 대조 + LLM 판정
과업 출처	실무자 300+ 실제 프로젝트	전문가 소싱(GDP 상위)	Upwork 의뢰 마이닝	OSS GitHub 이슈	큐레이터 합성	큐레이터 합성	학술 전문가 출제
시간 호라이즌	시간~주(최장)	시간~일	시간~일	분~시간	분	분~시간	초~분
코드·데이터 공개	✅ 코드·리더보드·HF public subset(10%/90%+rolling)	❌ 비공개	❌ 비공개	✅ 전체 공개	✅ 공개	✅ 코드 공개	✅ public subset

원자적 인사이트 (Zettelkasten)

💡 높은 벤치마크 점수와 실무 능력의 괴리는 ‘평가 문제’다

유형: 이론적 — AI 에이전트가 전문직 실무로 배치되지 못하는 원인을 모델 능력 부족이 아니라 측정 도구의 결함으로 재정의한다. 기존 벤치마크는 짧고 인위적이어서 long-horizon·경제적 산출물을 못 잰다. 같은 Codex가 Terminal-Bench 82% vs ALE-CLI 23.3%로 갈리는 대비가 이 주장을 뒷받침한다.

조건/맥락: O*NET 기반 1,490 실무 과업에서 검증가능한 결과(결정적/루브릭)로만 평가했을 때 성립.
연결: AgentBench - Evaluating LLMs as Agents.
활용: 새 에이전트 능력 주장을 검토할 때, 벤치마크가 실무 대표성·복잡성·검증가능성을 갖췄는지 먼저 따지는 체크리스트.

💡 에이전트 실패의 75%는 실행이 아니라 도메인 지식·접근에서 온다

유형: 실험적 — ALE 분석에서 실패의 약 75%는 understanding/approach(무엇을 어떻게 해야 하는지 모름)에서, 약 25%만 실행에서 발생했다. 도구 조작 능력보다 전문 지식과 문제 접근법이 병목이다. GUI를 34% 과업에서 쓰도록 지정해도 에이전트들이 CLI로 우회하는 현상도 같은 맥락이다.

조건/맥락: 전문직 실무 과업·원격 VM·GUI-as-Tool 평가에서 관측된 실패 원인 분포.
연결: AgentFold - Long-Horizon Web Agents with Proactive Context Management.
활용: 에이전트 개선 투자를 ‘도구·인터페이스’가 아니라 ‘도메인 지식 주입·계획 능력’에 우선 배분하는 근거.

💡 모델 선택이 harness 선택보다 약 3배 더 중요하다

유형: 실험적 — 동일 과업에서 기반 모델을 바꿨을 때의 성능 변화가 harness(실행 골격)를 바꿨을 때보다 약 3배 컸다. 화려한 에이전트 아키텍처보다 기반 모델 자체의 역량이 long-horizon 실무 성능을 좌우한다.

조건/맥락: ALE 1,490 과업, 동일 GCUA 추상화 하에서 모델 vs harness 분리 비교 시.
연결: Orak - A Foundational Benchmark for Training and Evaluating LLM Agents on Diverse Video Games.
활용: 제한된 자원으로 에이전트를 구축할 때 harness 엔지니어링보다 더 강한 기반 모델 확보에 우선순위.

핵심 용어 정리

용어	정의
Agents’ Last Exam (ALE)	전문직 실무를 본떠 만든 AI 에이전트 벤치마크. 1,490 task instances, 55 하위분야/13 클러스터, O*NET/SOC2018 기반. 정식 명칭이며 풀어쓰지 않는다
long-horizon	여러 단계를 거쳐 길게 이어지는 과업 성격. 단발성 퍼즐과 대비되며 ALE가 측정하려는 핵심 차원
검증가능성 (verifiability)	결과의 정답 여부를 자동·객관적으로 가릴 수 있는 성질. 결정적 채점 또는 루브릭으로 구현하고 LLM-judge는 최소화
O*NET / SOC2018	미국 연방 정부의 공식 직업분류 체계. ALE 과업의 대표성 기준
GCUA (Generalist Computer-Use Agent)	컴퓨터를 범용으로 조작하는 에이전트 추상화. Brain/Eyes/Body/Hands/Feet 5계층
GUI-as-Tool	클릭·타이핑 등 14개 데스크톱 액션을 도구(MCP)처럼 호출하는 주 평가 방식. 34% 과업에서 지정되나 CLI로 우회 경향
harness	모델을 감싸 도구 사용·반복 루프·상태를 관리하는 에이전트 실행 골격. 모델 선택이 harness 선택보다 ~3배 영향
gate-and-score	게이트(필수 조건) 통과 여부를 본 뒤 점수를 매기는 채점 방식. gate 실패 시 0점
rolling evaluation	과업을 주기적으로 교체·갱신하며 평가해 데이터 오염을 막는 운영 방식. 재현성과 오염 방지 사이 트레이드오프
티어 (Near-Term / Full-Spectrum / Last-Exam)	난이도별 과업 묶음(각 67/55/38). Last-Exam은 가장 어려워 풀패스 <1%

BibTeX

@article{sun2026agentslastexam,
  title={Agents' Last Exam},
  author={Sun, Yiyou and Han, Xinyang and Zhang, Weichen and Pang, Yuanbo and Wang, Tianyu and Cao, Yuhan and Huang, Yixiao and Duroiu, Chris and Zhang, Haoyun and Lin, Jeffrey and others},
  journal={arXiv preprint arXiv:2606.05405},
  year={2026},
  url={https://arxiv.org/abs/2606.05405},
  eprint={2606.05405},
  archivePrefix={arXiv},
  doi={10.48550/arXiv.2606.05405}
}

Agents’ Last Exam: 에이전트의 마지막 시험

Agents’ Last Exam: 에이전트의 마지막 시험

먼저 이해하기

쉬운 설명

왜 중요한가

먼저 알아둘 말

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

💡 높은 벤치마크 점수와 실무 능력의 괴리는 ‘평가 문제’다

💡 에이전트 실패의 75%는 실행이 아니라 도메인 지식·접근에서 온다

💡 모델 선택이 harness 선택보다 약 3배 더 중요하다

핵심 용어 정리

관련 연구

태그

BibTeX