67분 분량

AI의 장기 소프트웨어 태스크 완료 능력 측정

Measuring AI Ability to Complete Long Tasks

저자
Kwa et al.
출처
arXiv preprint, 2025
분류
Benchmark/Evaluation
읽은 깊이
Abstract, 읽는 중
리뷰
2026-06-26
AI 능력 평가벤치마크시간지평 메트릭에이전트 AI

AI 능력을 인간 소요시간 단위로 환산하는 50% 과제완수 시간지평 메트릭을 제안하고, 2019–2025년 약 7개월 배가의 지수성장 추세를 12개 모델·170개 과제로 실증한 논문

AI의 장기 소프트웨어 태스크 완료 능력 측정

Digest: AI 벤치마크(benchmark, 비교 기준 시험) 점수는 빠르게 오르지만 MMLU 90% 같은 수치가 “AI가 실제로 무엇을 할 수 있는가”를 말해주지 못한다 — 기존 벤치마크는 경제적 가치 없는 인위적 과제, 현재 모델이 취약한 부분만 골라내는 적대적 선별, 빠른 포화(saturation)로 GPT-2와 Claude 3.7처럼 능력차가 큰 모델을 공통 척도로 비교할 수 없다. 저자들은 모델 점수가 아니라 그 과제를 인간이 끝내는 데 걸리는 시간으로 능력을 환산하면 포화를 우회하면서 시점·모델을 가로질러 비교 가능한 단일 척도가 나온다는 점을 포착한다 — 마치 학생을 점수가 아니라 “몇 학년 수준 문제를 풀 수 있는가”로 표현하는 것과 같다. 이 통찰을 인간심리측정학의 문항반응이론(Item Response Theory, IRT)에서 빌려온 로지스틱 회귀로 형식화해 50% 과제완수 시간지평(50%-task-completion time horizon) — 모델이 50% 확률로 완수하는 과제의 인간 소요시간 — 을 정의하고, HCAST·RE-Bench·신규 SWAA 총 170개 과제(1초30시간)와 800회 넘는 인간 베이스라이닝(baselining)으로 12개 모델을 측정한다. o3의 50% 시간지평은 약 110분이고 2초였던 GPT-2 대비 비약적이며, 시간지평은 2019–2025년 약 207일(약 7개월)마다 2배로 지수성장했다(95% CI 166–240일, R²≥0.96). 단 80% 시간지평은 절대값이 50% 기준의 4–6배 짧고(배가 시간 204일로는 동일), SWE-bench Verified에서는 배가 시간이 약 70일로 더 짧게 나타난다. 시간지평은 도메인·과제분포·기준수행자에 상대적이며, 과제 난잡성(messiness) 평균이 3.2/16으로 낮아 실세계 복잡성을 완전히 대표하지 못하고, 계약자 베이스라이너는 저장소 관리자보다 518배 오래 걸려 ‘어떤 인간 기준이 공정한가’가 측정값을 좌우한다. 이 추세를 연장하면 한 달 분량(167시간) 소프트웨어 과제를 자동화하는 AI가 2028 중반~2030 중반(중앙값 2029)에 도달한다는 예측의 신뢰성이 여기에 달려 있다.

먼저 이해하기

쉬운 설명

이 논문은 AI가 얼마나 똑똑한지를 시험 점수 대신 “사람이 이 일을 하는 데 몇 분, 몇 시간 걸리는가”라는 시간 길이로 바꿔 측정한다. 핵심 척도인 50% 과제완수 시간지평(50%-task-completion time horizon)은 “AI가 절반의 확률로 성공시키는 과제를, 숙련된 사람이 보통 얼마나 걸려서 끝내는가”를 뜻한다 — 예를 들어 o3의 시간지평이 약 110분이라는 건, 사람이 약 110분 걸리는 소프트웨어 과제를 o3가 절반쯤 성공시킨다는 의미다. 저자들은 1초짜리부터 30시간짜리까지 길이가 다른 170개 소프트웨어 과제(HCAST·RE-Bench·SWAA)에 사람이 직접 걸린 시간을 800회 넘게 재서 기준선을 만들고, 그 위에서 12개 모델을 평가했다. 그 결과 이 시간지평이 2019년부터 2025년까지 약 207일(약 7개월)마다 2배씩 늘어나는 지수성장(exponential, 일정 기간마다 곱절로 커지는 성장)을 보였다(95% 신뢰구간 166–240일). 다만 이 결과는 자동 채점이 가능하고 명세가 깔끔한 소프트웨어 과제에 한정되며, 명세가 모호하고 실수에 덜 관대한 ‘난잡한(messy)’ 실세계 과제에서는 성능이 더 떨어진다는 조건이 함께 붙는다.

왜 중요한가

이 메트릭은 “AI가 정확히 어디까지 왔는가”를 정책 입안자나 비전문가도 “사람이 몇 시간 걸리는 일을 맡길 수 있는가”라는 직관적 언어로 읽게 해, MMLU 90% 같은 점수가 남기던 해석 공백을 메운다. 또한 벤치마크가 포화돼 서로 다른 시점의 모델을 비교할 수 없던 문제를, 과제 소요시간이라는 연속 축 위에서 GPT-2(2초)부터 o3(110분)까지 한 줄로 늘어놓아 해결한다. 측정값이 약 7개월 배가라는 깔끔한 지수추세(R²≥0.96)를 그렸다는 점은, 이 추세를 연장해 ‘한 달 분량 과제를 자동화하는 AI’의 도래 시점을 신뢰구간(2028 중반~2030 중반)으로 추정하게 해주고, 이는 프런티어 AI 개발사들이 능력 측정값에 위험 완화 수준을 연동하겠다고 공약한 거버넌스 맥락에서 실질적 입력이 된다. 다만 저자들은 이 예측이 추세 지속 가정과 소프트웨어·저난잡 과제라는 측정 범위에 묶여 있음을 명시하므로, 결과를 ‘AI 전반의 능력’으로 일반화하는 것은 원문 근거를 넘어선다.

읽기 난이도: ⭐⭐⭐

이 논문은 프런티어 AI 벤치마킹 연구로, Item Response Theory(IRT) 기반 로지스틱 회귀 모델, 계층적 부트스트랩 통계, 멀티-에이전트 스캐폴딩 구조에 대한 이해가 필요하다. 구체적으로 요구되는 배경지식은 (1) 기계학습 모델 평가 방법론 및 벤치마크 설계, (2) 심리측정학의 IRT 2PL 모델, (3) AI 에이전트 시스템과 API 기반 실행 파이프라인, (4) 통계적 부트스트랩 및 회귀 분석 해석이다. 논문 자체는 수식과 분석이 상세히 서술되어 있어 전문 연구자 수준의 독자를 대상으로 한다. 일반 독자는 주요 수치(110분, 207일 더블링) 해석은 가능하나 방법론 재현에는 높은 진입 장벽이 있다.

섹션별 요약

Abstract

이 초록은 논문 전체의 관문으로서, 기존 AI 벤치마크가 실세계 능력을 직관적으로 전달하지 못한다는 문제를 제기하고, 이를 해결하는 핵심 메트릭·결과·함의를 압축 제시함으로써 독자가 논문의 논증 전체를 읽을 가치가 있는지 판단하게 한다.

AI 벤치마크 점수는 빠르게 올라가고 있지만 그것이 실세계에서 무엇을 의미하는지는 여전히 불분명하다. 이 논문은 AI 능력을 인간 기준으로 번역하는 새 메트릭인 50%-task-completion time horizon(50% 과제완수 시간지평) — AI 모델이 50% 확률로 완수하는 과제에 대해 관련 전문성을 가진 인간이 통상적으로 소요하는 시간 — 을 제안한다. 측정을 위해 RE-Bench, HCAST, 그리고 새로 추가한 66개의 단기 과제를 조합하여 인간 전문가의 소요 시간을 측정하였으며, 이 기준 위에서 프런티어 모델(frontier model, 최신 최고 성능 모델)인 o3의 50% 시간지평이 약 110분으로 추정되었다. 과거 추세를 분석하면 2019년 이래 프런티어 AI의 시간지평은 약 7개월마다 2배씩 지수적으로 증가해 왔으며, 2024년 이후 그 속도가 가속되었을 가능성이 있다. 능력 향상의 주요 동인으로는 신뢰성 증가, 오류 적응력, 논리적 추론, 도구 사용 능력이 꼽힌다. 외부타당도(external validity, 이 결과가 다른 실세계 맥락에도 적용될 수 있는 정도) 등 한계를 논의하고, 이 추세가 실세계 소프트웨어 과제에도 일반화된다면 5년 내 AI가 인간의 한 달치 소프트웨어 과제를 자동화할 수 있게 된다는 예측을 제시한다.

핵심 기여

  • 새 메트릭 제안: AI 능력을 인간 소요 시간 단위로 환산하는 50% 과제완수 시간지평(50%-task-completion time horizon)을 정의한다.
  • 지수적 성장 추세 측정: 2019년부터 2025년까지 프런티어 AI의 시간지평이 약 7개월마다 2배씩 증가해 왔음을 RE-Bench·HCAST·SWAA 조합 과제와 12개 모델 평가를 통해 실증한다.
  • 실세계 함의 제시: 추세 연장을 통해 5년 내 한 달 규모의 소프트웨어 과제 자동화 가능성을 예측하고, 자율성 증가에 따른 위험 능력(dangerous capabilities) 함의를 논의한다.

왜 이 연구를 하는가?

핵심 질문: 프런티어 AI(frontier model, 최전선 AI 모델)의 실세계 능력을 인간이 직관적으로 이해하고 거버넌스(governance, 규범·감독 체계)에 실제로 활용할 수 있는 방식으로 측정하려면 어떤 척도가 필요한가?

기존 접근법의 한계

한계설명
인위적 과제 구성기존 벤치마크(benchmark, 비교 기준 시험)의 과제들은 경제적 가치가 있는 실제 업무가 아닌 인위적으로 설계된 문제들로 구성되어 있어 실세계 능력을 반영하지 못한다.
적대적 과제 선별 편향현재 모델이 인간 대비 어려워하는 과제를 의도적으로 골라 벤치마크를 구성하므로, 인간 수행과의 비교가 체계적으로 왜곡된다.
빠른 포화(saturation)개별 벤치마크가 점점 빠르게 포화(AI 점수가 최대치에 수렴)되며, 서로 다른 벤치마크 간 모델 능력을 비교할 공통 척도가 없어 GPT-2와 Claude 3.7처럼 능력 차이가 큰 모델들 사이의 의미 있는 비교가 불가능하다.
정성적 판단 의존위 문제들로 인해 AI 발전 정도를 파악하려면 최신 벤치마크의 “난이도”를 정성적으로 추정하는 방법에 의존할 수밖에 없어 객관성이 결여된다.

핵심 통찰

  • AI 능력을 “인간이 특정 과제를 완수하는 데 걸리는 시간”으로 환산하면, 벤치마크 점수와 달리 비전문가도 AI의 실세계 능력을 직관적으로 이해할 수 있다.
  • 능력 측정을 인간심리측정학(human psychometrics)의 문항반응이론(Item Response Theory, IRT — 시험 문항 난이도와 응시자 능력을 함께 추정하는 통계 모델)에서 착안한 로지스틱 회귀(logistic regression)로 형식화하면, 과제 길이에 따른 성공 확률을 모델별로 추정할 수 있고, 이를 통해 포화 없이 시간이 지나도 비교 가능한 단일 수치(50% 시간지평)가 도출된다.

Introduction

이 Introduction은 throughline의 첫 두 단계, 즉 “기존 벤치마크의 실패(문제)“와 “시간지평 메트릭 제안(통찰)“을 담당하며, 이후 방법·결과·논의 섹션이 전개될 전체 논증의 출발점을 설정한다.

지난 5년간 프런티어 AI 시스템은 단순 텍스트 생성에서 복잡한 다시간 머신러닝 연구 프로젝트의 자율 수행으로 급격히 진화했다. 충분히 강력한 AI는 화학·생물·방사선·핵무기(CBRN)의 자율 개발이나 인간 통제 밖에서의 자기복제·적응과 같은 위험하고 복잡한 행동을 수행할 수 있으며, 이에 따라 많은 프런티어 AI 개발사들이 특정 AI 능력 측정값을 토대로 위험 완화(risk mitigation) 수준을 결정하겠다고 공약하고 있다. 그러나 이러한 거버넌스 역할을 맡기에 기존 벤치마크들은 세 가지 결정적 한계를 지닌다: 경제적 가치가 없는 인위적 과제, 현재 모델이 취약한 과제만 골라내는 적대적 선별 편향, 그리고 점점 빠른 포화로 인해 GPT-2와 Claude 3.7처럼 능력 차이가 큰 모델들을 공통 척도 없이 비교할 수 없다는 문제다.

이에 저자들은 50% 과제완수 시간지평(50% task-completion time horizon) — 모델이 50% 확률로 완수할 수 있는 과제의 인간 소요 시간 — 메트릭을 제안한다. 이 척도는 “AI가 인간 기준으로 몇 분·몇 시간짜리 일을 해낼 수 있는가”라는 직관적 언어로 능력을 표현하며, 벤치마크 포화 문제를 우회한다. 저자들은 이를 머신러닝·소프트웨어 엔지니어링 영역의 3개 과제 스위트(suite, 묶음) — HCAST, RE-Bench, 그리고 2023년 이전 모델 측정을 위해 새로 구축한 단기 과제 묶음 SWAA(Software Atomic Actions) — 총 170개 과제로 프로토타입(prototype, 시범 구현)하며, 숙련된 인간 베이스라이너(baseliner, 인간 기준 수행자)가 각 과제에 걸린 시간을 추정해 기준선을 확보한다. 2019년부터 2025년까지의 12개 프런티어 모델을 평가하고, 인간심리측정학의 문항반응이론(IRT)에서 착안한 로지스틱 회귀로 50% 시간지평을 추정한다.

핵심 결과를 미리 밝히면: 50% 시간지평은 2019–2025년에 약 7개월 배가 시간(doubling time)으로 지수적(exponential)으로 성장해 왔으며(Figure 1), 80% 시간지평도 유사한 추세이나 약 5배 짧다. 덜 구조화된 “난잡한(messier)” 과제에서는 성능이 현저히 낮아지는 한계도 관찰됐고, 외부타당도(external validity, 실험 결과가 실세계에도 적용 가능한 정도) 검증 실험 세 가지를 통해 이 추세가 실제 과제에도 유지됨을 확인했다. 이 추세를 단순 연장하면 AI는 2028년 중반~2031년 중반 사이에 인간 한 달 분량(167 작업시간)의 소프트웨어 과제를 처리하는 시간지평에 도달할 것으로 예측된다.

저자가 명시한 기여

  • 과제 완수 소요 시간을 기준으로 AI 능력을 인간 척도로 환산하는 50% 시간지평(task-completion time horizon) 메트릭을 제안하고 형식화함
  • HCAST, RE-Bench, SWAA 세 과제 스위트(총 170개)와 숙련 인간 베이스라이닝을 결합한 측정 프레임워크를 구축하고 12개 프런티어 모델(2019–2025)을 평가함
  • 50% 시간지평이 2019–2025년에 약 7개월 배가 시간으로 지수성장해 왔음을 발견하고, 외부타당도 실험으로 강건성을 검증하며, 이 추세의 안전·거버넌스적 함의를 논함

Methods

프레임워크 개요

이 섹션은 spine의 throughline에서 “해법” 단계에 해당한다. 기존 벤치마크 한계(문제)를 극복하기 위해, 과제를 인간 소요시간으로 척도화한 ‘50% 시간지평(time horizon)’ 메트릭을 어떻게 측정·산출하는지를 정의한다. 구체적으로, 170개 과제로 구성된 3개 과제 스위트(task suite), 800회 이상의 인간 베이스라이닝(baselining), 그리고 로지스틱 회귀(logistic regression)를 통한 시간지평 추정이라는 세 축으로 구성된다.

핵심 구성요소

  • HCAST: 97개의 다양한 소프트웨어 과제를 포함하며, 과제 소요 시간이 1분에서 30시간까지 분포한다. 전문적 소프트웨어 엔지니어링에 관련된 짧은 지식 과제부터 독립적으로 경제적 가치를 지닌 1시간 이상의 실제 프로젝트 과제를 포함한다.
  • RE-Bench: ML(머신러닝) 연구 엔지니어링 난이도의 7개 과제로 구성되며, 모든 과제가 8시간 길이다. 고난도 장기 과제를 대표한다.
  • SWAA (Software Atomic Actions, 소프트웨어 원자 행동): 소프트웨어 개발자의 짧은 단위 작업을 모델링한 66개의 단일 단계(single-step) 과제로, 소요 시간이 1초에서 30초 사이다.
  • 인간 베이스라이너(baseliner, 기준 수행자): 소프트웨어 엔지니어링·ML·사이버보안 분야의 숙련 전문가 집단으로, 평균 약 5년의 관련 경험을 보유하고 세계 상위 100대 대학 출신이 다수다. 총 800회 이상, 누적 2,529시간의 수행 기록을 제공하며, 169개 과제 중 148개에 인간 베이스라인이 존재하고 나머지 21개는 연구자 추정치를 활용한다.
  • 50% 시간지평 추정 모델: 에이전트의 과제별 수행 결과를 이진값(성공/실패)으로 변환한 뒤, 로지스틱 회귀를 통해 각 에이전트의 50% 과제완수 시간지평(h_agent)을 산출한다.

입력 → 출력 흐름

먼저, 3개 과제 스위트의 각 과제에 대해 에이전트가 실행되어 점수(연속 또는 이진)가 산출된다. 연속 점수를 지닌 과제는 인간 수행 수준을 기준으로 설정된 과제별 임계값(threshold)을 통해 이진값(성공/실패)으로 변환(binarize)된다. 인간 베이스라이너의 성공 수행 시간은 기하평균(geometric mean)으로 집약되어 각 과제의 시간 기준값(t_task)이 된다. 이진 성공률(p_success)과 시간 기준값(t_task)을 입력으로 삼아, 에이전트별·과제별 로지스틱 회귀를 수행한다. 회귀식은 p_success(agent, task) = σ((log h_agent − log t_task) · β_agent)이며, 여기서 σ는 시그모이드 함수(sigmoid, S자 곡선으로 확률 0~1을 출력하는 함수), h_agent는 학습된 매개변수로 해당 에이전트의 50% 시간지평을, β_agent는 에이전트의 능력 기울기를 나타낸다. 최종 출력은 각 에이전트가 50% 확률로 성공하는 과제의 인간 소요시간(h_agent, 분 단위)으로, 이것이 이 논문의 핵심 메트릭인 ‘50% 시간지평’이다.

기존 방법과의 차별점

기존 벤치마크가 정답률·원점수 같은 모델 내부 척도를 사용해 “그래서 실제로 무엇을 할 수 있나”를 직관적으로 전달하지 못하는 것과 달리, 이 방법은 AI 수행 능력을 인간 노동 시간이라는 외재적·해석 가능한 단위로 환산한다. 또한 단일 과제 집합 포화에 취약한 고정 벤치마크와 달리, 과제 소요시간을 연속 축으로 삼아 1초~30시간의 넓은 범위에 걸친 과제 분포를 구성함으로써 포화(saturation) 저항성을 높였다.

주요 하이퍼파라미터 / 설정

  • 과제 수: HCAST 97개 + RE-Bench 7개 + SWAA 66개 = 총 170개 (단 169개에 베이스라인 적용)
  • 인간 베이스라인 수: 800회 이상, 총 2,529시간 (HCAST·RE-Bench 558회, SWAA 249회)
  • 인간 베이스라이너 배경: 소프트웨어 엔지니어링·ML·사이버보안, 평균 약 5년 경력
  • 이진화 임계값: 과제별(task-specific) 개별 설정, 인간 수행 수준 기준
  • 과제 시간 기준값(t_task): 인간 성공 수행 시간의 기하평균
  • 회귀 학습 매개변수: h_agent(50% 시간지평), β_agent(능력 기울기)
  • 21개 HCAST 과제에 대해서는 실측 베이스라인 대신 연구자 추정치 사용

발견 (Findings)

  • 지수적 능력 성장: 50% 시간지평(time horizon, AI가 50% 확률로 과제를 완수하는 데 걸리는 인간 소요시간 기준)은 2019년부터 2025년 초까지 약 207일마다 2배 증가했으며, 95% 부트스트랩(bootstrap, 반복 재표집으로 신뢰구간 추정) 신뢰구간은 166–240일이다. GPT-2의 50% 시간지평은 2초에 불과했으나, o3는 110분에 달하며 4시간 초과 과제도 일부 완수한다 (Section 3.2).

  • 50% vs 80% 시간지평 배가 시간 유사성: 80% 시간지평(time horizon, AI가 80% 확률로 과제를 완수하는 기준)의 배가 시간(doubling time)은 204일로 50% 기준(207일)과 오차 범위 내에서 일치하나, 80% 시간지평 절대값은 50% 시간지평의 4–6배 더 짧아, 프런티어 모델(frontier model, 최신 최고성능 AI 모델)도 중간 길이 과제를 안정적으로 수행하기는 어려움을 보여준다 (Section 3.2.1).

  • 실패 유형 정성적 변화: o1은 GPT-4 1106 대비 “반복 실패 행동(Repeating failed actions)” 발생 횟수가 12회→2회로 급감했으나, “조기 과제 포기(Premature task abandonment)“는 8회→16회로 증가했다. 두 모델 모두 피드백 루프(feedback loop)가 불명확하거나 능동적 정보 탐색이 필요한 “난잡한(messy)” 환경에서 더 많이 실패한다 (Table, Section 3.3).

  • 외부타당도(external validity) 3실험 결과: SWE-bench Verified 적용 시 지수추세가 재현되나 배가 시간이 약 70일로 더 짧고 (주요 과제 대비 o1 비율 0.8x), 난잡성(messiness) 요인 통제 후에도 시간 추세는 고난잡/저난잡 하위집합에서 유사하게 유지되며, 내부 PR(pull request) 과제에서 AI 성능은 저장소 유지관리자(maintainer) 소요시간 기준으로는 과대예측되나 외부 계약자(contractor) 소요시간 기준으로는 일치한다 (Section 4, 4.1).

Results

전체 논증에서 이 섹션의 역할

이 결과 섹션은 논문의 핵심 주장인 “50% 시간지평이 지수적으로 성장하고 있으며 이 추세는 강건하다”를 경험적으로 입증하는 섹션이다. 방법 섹션(Section 2–3.1)이 설계한 측정 체계를 12개 모델·170개 과제·인간 베이스라인 데이터에 적용하여 추세를 확인하고, 3개의 외부타당도 실험으로 그 강건성을 검증함으로써, Discussion(Section 5–6)의 ‘한 달 지평 AI’ 추세 연장 예측의 토대를 제공한다.

주요 결과

모델 성능 전반 추세 (Section 2.3)

2019년부터 2025년까지 출시된 프런티어 모델(frontier model) 12개와 준-프런티어 모델 4개를 에이전트/과제 쌍당 8회 실행으로 평가했다. 최근 모델들은 전체 과제의 약 50%를 완수하는 반면, 이전 모델들은 훨씬 낮은 성공률을 보인다. 모델들이 완수 가능한 과제 간 평균 상관계수는 약 0.73으로 높은 양의 상관을 보인다 (Figure 22).

인간 베이스라이너(baseliner, 인간 기준수행자)의 과제 소요시간과 모델 평균 성공률 사이에는 음의 상관관계가 존재하며, 이 감소 패턴은 지수 모델로 잘 설명된다(로그 소요시간으로 회귀 시 R² ≈ 0.80). Claude 3.7 Sonnet과 o3는 인간 베이스라이너가 4시간 이상 걸리는 과제도 일부 완수한다.

시간지평과 출시일 추세 (Section 3.2)

log(시간지평)을 출시일에 선형 회귀한 결과, 시간지평은 약 207일마다 2배 증가하며, 95% 계층적 부트스트랩(hierarchical bootstrap, 과제 패밀리→과제→실행의 3단계 재표집) 신뢰구간은 166–240일(±19%)이다. 오차 막대는 10,000회 3수준 계층적 부트스트랩 표본으로 산출했다.

개별 모델 시간지평의 오차 막대는 크지만 모델 간 오차는 높은 상관을 보이는데, 이는 동일한 인간 소요시간 등급의 과제라도 모델에게는 난이도 편차가 크기 때문이다. GPT-2의 50% 시간지평은 2초에 불과했으나 o3는 110분이며, o3는 장기 추세선보다 통계적으로 유의하게 위에 위치한다(p = 0.006). 이 결과는 연속 점수 사용 등 방법론적 절제(ablation) 후에도 강건하며, 2024년–2025년 초 추세가 더 빠를 수 있음을 시사한다.

50% vs 80% 시간지평 비교 (Section 3.2.1)

80% 시간지평의 배가 시간은 204일로 50% 기준(207일)과 오차 범위 내에서 동일하여, 성공률 임계값 선택이 장기 추세에 영향을 주지 않음을 확인했다. 그러나 80% 시간지평의 절대값은 50% 시간지평보다 4–6배 짧아, 최신 모델조차 중간 길이 과제를 80% 확률로 완수하는 데는 현저한 한계가 있음을 보여준다.

정성적 실패 분석 (Section 3.3)

무작위 표집한 GPT-4 1106 실패 31건과 o1 실패 32건 전사(transcript)를 검토한 결과, o1은 도구 사용(tool use) 능력, 실수 적응력, 논리적 추론 및 코드 생성에서 GPT-4 1106 대비 크게 향상됐다. 실패 유형별로는 o1이 “반복 실패 행동(Repeating failed actions)“은 12건→2건으로 대폭 감소했으나 “조기 과제 포기(Premature task abandonment)“는 8건→16건으로 증가했다. 두 모델 공통으로 피드백 루프가 불명확하거나 능동적 정보 탐색이 필요한 환경, 즉 ‘난잡한’ 환경에서 실패가 집중됐다.

Ablation / 부정 결과 / 제한된 케이스

외부타당도 실험 1 — SWE-bench Verified (Section 4.1)

SWE-bench Verified(소프트웨어 엔지니어링 과제 산업 표준 벤치마크)에 동일 방법론을 적용했을 때 지수 추세가 재현됐으나, 배가 시간은 약 70일로 주요 과제군(HCAST + SWAA + RE-Bench 기반 143일)보다 짧았다. 이는 SWE-bench Verified의 시간 주석(annotation)이 “코드베이스를 몇 시간 숙지한 엔지니어” 소요시간을 기준으로 하여, 외부 계약자 기준 시간 — 특히 난이도 낮은 과제 — 을 차등 과소추정하기 때문으로 분석됐다. 모델별 시간지평 비율(본 연구 과제 / SWE-bench Verified)은 Claude 3 Opus 7.8x, GPT-4 1106 7.2x, GPT-4o 1.5x, o1 0.8x로 모델마다 크게 달랐다 (Table 9).

외부타당도 실험 2 — 난잡성(messiness) 요인 통제 (Section 4)

HCAST 및 RE-Bench 과제를 자원 제약·신규성·동적 환경 포함 16개 난잡성 요인으로 점수화했다. 과제 길이를 통제한 후에도 난잡성 점수가 높을수록 모델 성능이 낮았다. 그러나 성능 시간 추세는 고난잡/저난잡 하위집합 모두에서 유사하게 유지됐으며, 고난잡 하위집합에서만 나타나는 정체(plateau) 현상의 증거는 발견되지 않았다.

외부타당도 실험 3 — 내부 PR 과제 (Section 4)

소규모 비오염(uncontaminated) 내부 PR 과제 평가에서, 인간 그룹 간 소요시간 차이가 크게 나타났다(외부 계약자가 저장소 유지관리자보다 5–18배 오래 소요). AI 에이전트 성능은 유지관리자 소요시간 기준으로는 과대예측됐으나 계약자 소요시간 기준으로는 일치했다. 이는 인간 기준수행자 집단 선택이 시간지평 추정에 영향을 줄 수 있음을 시사하는 부정적 결과다.

Discussion

이 섹션은 spine의 throughline 마지막 단계 — 추세 연장으로 ‘한 달 지평 AI’ 도래 시기를 추정하고, 연구 전체를 요약하며, 메트릭의 한계와 향후 과제를 논의함으로써 논문의 논증을 닫는다.

주요 발견의 의미

Section 5 외삽(extrapolation, 관측 추세를 미래로 연장하는 예측)에 따르면, 50% 시간지평(time horizon, AI가 50% 확률로 과제를 완수할 때 인간이 걸리는 시간)이 현재 추세를 유지할 경우 AI가 1개월(약 167 근무시간) 소요 소프트웨어 과제를 완수하는 시점의 80% 신뢰구간은 2028년 중반2030년 중반이며, 중앙값은 2029년이다. 20242025년의 가속 추세가 지속된다면 2027년 초, 심지어 2026년 말도 가능하다. ‘1개월 AGI(AI가 인간 전문가가 167시간 걸리는 과제를 능가하는 수준)‘는 소프트웨어 애플리케이션 작성, 스타트업 창업, 신과학적 발견 등 경제적으로 중요한 과제에서 인간을 초과함을 의미하며, 신입 직원이 온보딩을 마치고 경제적 가치를 창출하기 시작하는 시점과도 대응된다.

배가 시간(doubling time)이 현재보다 2배 느려지면 1개월 지평 도달이 약 4.8년 추가 지연되지만, 시간지평 자체가 2배 감소하는 경우에는 단 0.6년 지연에 그친다. 이는 추세 기울기(slope) 변화가 상수 배 변화보다 훨씬 결정적임을 시사한다.

선행 연구와의 비교

기존 벤치마크(GLUE [30], SuperGLUE [31], MMLU [32])가 정적 지식 측정에 그쳤고, AgentBench [9], SWE-bench [28] 등 에이전트 벤치마크가 복잡도를 높였지만 인간 소요시간 기준이 결여되었던 반면, 본 논문의 시간지평 메트릭은 인간 기준 수행자(baseliner)의 측정 시간으로 과제 난이도를 정량화해 모델 간·시점 간 비교를 가능하게 한다. IRT(Item Response Theory, 문항반응이론) [24, 25]에서 차용한 로지스틱 회귀 구조는 기존 IRT 2PL 모델과 달리 β를 과제가 아닌 에이전트 의존 파라미터로 전환하고, 과제 난이도를 인간 기준 완수시간의 로그값으로 대체했다.

저자가 인정한 한계

  • 시간지평은 항상 특정 도메인·과제 분포·기준 수행자의 숙련도와 맥락에 상대적이며, 특히 긴 시간지평이나 성공률이 100%에 근접하는 경우 측정이 어렵다.
  • 벤치마크 과제가 실제 과제와 체계적으로 다르다: 자동 채점 전용, 다른 에이전트와의 상호작용 없음, 자원 제약 희박, 단일 실수에 관대, 정적 환경.
  • 과제당 인간 소요시간 추정치는 표본이 적어 잡음이 많고 계통적 편향 가능성이 있다.
  • 모델 능력 끌어내기(elicitation)에 제한적 노력만 투입되어 일부 모델의 실제 역량이 과소 측정되었을 수 있다.
  • 인간 계약 기준 수행자는 해당 저장소 관리자보다 5x~18x 더 오래 걸리는 것으로 나타나(Appendix C.2), 기준선이 실제 전문가 성능과 다를 수 있다.
  • 과제 메시니스(messiness, 난잡성: 불명확한 명세·피드백·성공 기준, 다중 작업 조율 필요 등을 포함한 실세계 복잡성)가 평균 3.2/16으로 낮아, ‘좋은 연구 논문 작성(9/16~15/16)’ 수준의 실세계 복잡성을 대표하지 못한다. AI 에이전트는 메시니스가 1점 높아질수록 평균 성공률이 약 8.1% 감소(b=−0.081, R²=0.251)했다.

독자 식별 가능한 추가 한계

  • 2024~2025년 구간에 포함된 프런티어 모델(frontier model)이 7개에 불과해 단기 추세 신뢰도가 낮다.
  • 추론 컴퓨트(inference-time compute) 활용이 제한적이어서 성공 런의 80% 이상이 인간 동등 비용의 10% 미만을 사용했다는 점이 성능 상한을 인위적으로 낮췄을 수 있다.

향후 방향

  • 능력 끌어내기 개선(더 많은 모델, 더 정밀한 elicitation) — 현재 결과가 합리적 하한임을 보완.
  • 더 엄밀한 인간 기준선 수립 — 표본 크기 확대 및 계통 편향 보정.
  • 더 자연스럽고 다양한 과제 분포 — 경제적으로 가치 있는 실세계 작업 분포에의 접근.
  • 추론 컴퓨트 적극 활용 — 비용 대비 성능 상한 탐색.

이론적 의의

  • 인간 시간 기반 AI 능력 척도의 정립: 기존 벤치마크가 제공하지 못한 ‘직관적 해석 가능성’을 “인간이 며칠/몇 시간 걸리는 과제를 AI가 완수할 수 있는가”라는 시간 단위로 구현함으로써, 비전문가·정책 입안자·안전 연구자가 AI 진보 속도를 직접 가늠할 수 있는 공통 언어를 제공한다. 이는 벤치마크 점수(예: MMLU 90%)의 의미 공백을 채우는 방법론적 기여다.

  • 지수성장 추세의 경험적 정량화: 2019~2025년 약 7개월 배가라는 지수추세(R²≥0.96)를 12개 모델·170개 과제에 걸쳐 확립하고, 외부타당도(SWE-bench Verified, 메시니스 분석, 내부 PR 과제)로 강건성을 검증함으로써 AI 능력 성장률에 관한 경험적 기반을 마련한다. 이는 Amodei & Hernandez [39]의 컴퓨트 배가 추세를 과제 수행 능력 차원으로 확장한 것이다.

  • AGI 전환점 예측을 위한 조작적 정의 제공: ‘1개월 AGI’를 “인간이 167시간 걸리는 과제를 50% 확률로 완수하는 AI”로 조작적으로 정의하고 도달 시기를 신뢰구간(80% CI: 2028 중반~2030 중반)으로 제시함으로써, 추상적 AGI 논의를 측정 가능한 예측 문제로 전환한다. 동시에 메시니스·도메인 의존성 등 한계를 명시해 과잉 해석을 방지한다.

Discussion Points

  • 논쟁점: 계약 기준 수행자(baseliner)가 저장소 관리자보다 5x~18x 더 오래 걸린다는 발견은, 시간지평 메트릭이 참조하는 ‘인간 기준’이 누구인지에 따라 측정값이 크게 달라짐을 함의한다. 즉 같은 AI 시스템도 junior 개발자 기준과 senior 전문가 기준에서 전혀 다른 시간지평을 가질 수 있으며, 어떤 인간 기준을 ‘공정한 비교 대상’으로 삼을 것인지는 커뮤니티 내 논쟁 여지가 크다.
  • 검증 필요 가정: 과거 추세(7개월 배가)가 미래에도 지속된다는 외삽의 전제는 결과기반 강화학습(outcome-based RL)을 통한 에이전시 훈련, 컴퓨트 스케일링, AI R&D 자동화 등 불연속적 요인에 의해 기울기가 급변할 경우 성립하지 않는다. 특히 2024~2025년 가속 추세가 장기 추세를 대표하는지 아니면 일시적 가속인지에 대한 후속 검증이 필요하다.
  • 후속 연구: 메시니스 점수가 9/16~15/16에 달하는 실세계 복잡 과제(예: ‘좋은 연구 논문 작성’, 다중 에이전트 조율 필요 과제)에서의 시간지평 측정, 그리고 inference-time compute를 인간 동등 비용 수준까지 확장했을 때의 성능 상한 탐색이 자연스러운 다음 단계다.

실험 결과 상세

Model/MethodDatasetMetricScorevs. Baseline
o3HCAST + RE-Bench + SWAA50% 시간지평110 분최신 프런티어 기준점
o1HCAST + RE-Bench + SWAA50% 시간지평39.21 분-64% vs. o3
Claude 3.5 Sonnet (New)HCAST + RE-Bench + SWAA50% 시간지평28.98 분-74% vs. o3
Claude 3.5 Sonnet (Old)HCAST + RE-Bench + SWAA50% 시간지평18.22 분-83% vs. o3
GPT-4oHCAST + RE-Bench + SWAA50% 시간지평9.17 분-92% vs. o3
GPT-4 1106HCAST + RE-Bench + SWAA50% 시간지평8.56 분-92% vs. o3
Claude 3 OpusHCAST + RE-Bench + SWAA50% 시간지평6.42 분-94% vs. o3
GPT-2 (davinci)HCAST + RE-Bench + SWAA50% 시간지평2 초~0% (기준 최저점)
o1SWE-bench Verified50% 시간지평51.21 분+31% vs. 자체 태스크
Claude 3.5 Sonnet (New)SWE-bench Verified50% 시간지평16.88 분-42% vs. 자체 태스크
GPT-4oSWE-bench Verified50% 시간지평5.96 분-35% vs. 자체 태스크
Claude 3 OpusSWE-bench Verified50% 시간지평0.83 분-87% vs. 자체 태스크
전체 추세 (2019-2025)HCAST + RE-Bench + SWAA배가 시간207 일 (95% CI: 166-240일)R² >= 0.96
2023-2025 가속 추세HCAST + RE-Bench (비-SWAA)배가 시간172 일전체 추세 대비 약 17% 빠름
SWE-bench Verified 추세SWE-bench Verified배가 시간~70 일자체 태스크 143일 대비 2배 빠름

프레임워크 다이어그램

graph TB
    A["태스크 스위트\n(HCAST 97 + RE-Bench 7 + SWAA 66)"]
    B["인간 기준선 측정\n(800+ 실행, 2529시간)"]
    C["AI 에이전트 실행\n(12 프런티어 모델, 8회/태스크)"]
    D["이진화 처리\n(연속 점수 → 성공/실패)"]
    E["로지스틱 회귀\n(시간지평 피팅)"]
    F["50% 시간지평\n(h_agent 추정)"]
    G["지수 추세 분석\n(배가 시간: ~207일)"]
    H["외부 타당도 검증\n(SWE-bench, 내부 PR, Messiness)"]
    I["외삽 예측\n(1개월 AI: 2028-2030)"]

    A --> B
    A --> C
    B --> D
    C --> D
    D --> E
    E --> F
    F --> G
    G --> H
    G --> I

재현성 및 신뢰도 평가

항목등급비고
코드 공개⚠️핵심 피규어 재현 코드는 부록 I에 보충 자료로 제공 예정. 전체 코드베이스는 공개 불가(익명화 불가)로 명시. 개별 피규어 코드는 리뷰어 요청 시 제공.
데이터 공개⚠️HCAST·RE-Bench는 기존 공개 벤치마크 활용. SWAA 66개 태스크는 신규 제작이나 완전 공개 여부 불명확. 내부 PR 5개 태스크는 비공개.
하이퍼파라미터✅로지스틱 회귀 모델 수식 명시(IRT 2PL 변형). 태스크별 임계값 설정 원칙 서술. 8회 반복 실행 명시. 모델별 스캐폴드(modular-public, triframe, duet) 표로 제시.
실험 환경✅Anthropic/OpenAI API 사용. Vivaria 플랫폼(오픈소스)으로 인간 기준선 수집. 태스크별 자동 채점 함수 사용. 인간 기준선 인센티브 구조(속도·성공 보너스) 공개.
통계적 신뢰도✅10,000 샘플 3단계 계층적 부트스트랩(태스크 패밀리 → 태스크 → 실행). 95% CI 명시(166-240일). R² >= 0.96. p값 보고(o3 추세 이탈 p=0.006).
종합 등급B방법론·통계는 충실하나 핵심 태스크 데이터·전체 코드 미공개로 독립 재현에 제약.

주장별 신뢰도

#주장근거신뢰도
1AI 50% 시간지평이 2019-2025년에 지수적으로 성장하며 약 7개월마다 2배 증가12개 모델 측정, 3단계 부트스트랩 CI, R² >= 0.96, SWE-bench로 교차 검증, 레트로딕션 일치🟢
2o3의 50% 시간지평은 약 110분이며 장기 추세보다 통계적으로 유의미하게 높음 (p=0.006)8회 반복 실행, 부트스트랩 오차 범위, 방법론 에블레이션(연속 채점)에서도 강건🟢
3추세가 지속되면 1개월 AI는 2028-2030년(80% CI) 도래 예측외삽은 추세 지속 가정에 의존. 태스크 분포의 외부 타당도 한계 명시. 메시니스 요인 미제어.🟡
4AI 에이전트는 “지저분한(messy)” 환경에서 태스크 길이 대비 성능이 추가 저하됨HCAST 서브셋 메시니스 채점 결과(b=-0.081, R²=0.251). 단, 파일명 무작위화 실험에서 o1은 오히려 성능 향상(반례 존재).🟡
5SWE-bench Verified의 배가 시간(~70일)은 자체 태스크(143-207일)보다 현저히 짧음공개 SWE-bench 결과 수집 및 동일 방법론 적용. 단, SWE-bench 시간 주석이 쉬운 태스크 시간을 과소평가한다는 교란 요인 존재.🟡
6현 AI 에이전트 비용이 동일 태스크 인간 수행 비용의 10% 미만인 경우가 성공 실행의 80% 이상L4 엔지니어 평균 급여($143.61/시간) 기준 비용 비교. 제한적 추론 컴퓨트 사용 조건부 결과.🟢

관련 연구 비교 매트릭스

선정 근거: HCAST·RE-Bench는 본 논문이 직접 사용하는 기반 태스크 스위트로 메트릭 구성의 전제가 되며, SWE-agent는 본 논문의 외부타당도 검증에 인용된 자동화 소프트웨어 에이전트 직접 비교 대상이다. Toolathlon은 동일한 장기 태스크 실행 능력을 별도 벤치마크 설계로 측정하는 대안 패러다임으로 비교 가치가 있다.

축본 논문 (METR Time Horizon, 2025)HCAST (2025, base)RE-Bench (2024, base)SWE-agent (2024, direct)Toolathlon (2025, direct)
핵심 접근인간 소요시간으로 AI 성능을 환산하는 50% 과제완수 시간지평(time horizon) 메트릭을 정의하고 2019-2025 지수추세를 로지스틱 회귀로 추정189개 태스크에 563명 인간 베이스라이너 투입, 인간 소요시간 분포를 AI 성공률과 직접 대응시키는 인간교정(human-calibrated) 벤치마크7개 ML 연구 엔지니어링 환경에서 인간 전문가(8시간 기준)와 AI 에이전트를 동일 조건으로 비교하는 장기 open-ended 벤치마크전용 에이전트-컴퓨터 인터페이스(ACI)를 설계해 LM이 자율적으로 소프트웨어 엔지니어링 태스크(SWE-bench)를 수행하도록 하는 에이전트 시스템32개 소프트웨어 앱·604개 도구를 아우르는 108개 수동 제작 태스크로 장기 멀티스텝 워크플로우를 측정하는 에이전트 벤치마크
문제 정의기존 벤치마크 점수가 실세계 AI 능력을 직관적으로 해석 불가 → 능력을 “인간 며칠/몇 시간 분량” 단위로 번역기존 벤치마크의 인간 기준 부재 → 동일 조건 인간 수행 데이터로 AI 성능을 교정짧은 태스크 위주 벤치마크가 장시간 연구 능력을 포착 못함 → 8시간급 ML 연구 태스크로 상한 측정SWE-bench 등 코드 수정 태스크를 LM이 자율적으로 해결할 수 없음 → ACI 설계로 에이전트 행동 공간 최적화기존 벤치마크가 단일 앱·단순 태스크에 치우침 → 다앱·다도구 장기 워크플로우 실행 능력 측정
데이터HCAST + RE-Bench + SWAA 합산 170개 태스크, 12개 프런티어 모델, 인간 소요시간 메타데이터 포함ML엔지니어링·사이버보안·소프트웨어·일반추론 189개 태스크, 인간 563명 기여, 총 1500시간+ 인간 수행 데이터ML 연구 엔지니어링 7개 환경, 인간 전문가 71명 기여(최대 8시간 작업), AI 에이전트 다수 모델 비교SWE-bench 2,294개 GitHub 이슈 기반 코드 수정 태스크, 인간 기준 없이 자동 테스트로 평가32개 소프트웨어 앱·604개 도구, 수동 제작 108개 태스크, 평균 약 20 tool-calling 턴
핵심 메트릭50% 시간지평(분): o3 기준 약 110분; 2019-2025 배가시간 약 7개월; 5년 내 월간 과제 자동화 예측인간 소요시간 구간별 AI 성공률: 1시간 미만 과제 70-80%, 4시간 초과 과제 20% 미만AI vs 인간 점수 비율(8시간 기준 정규화): 최고 에이전트가 인간 전문가 중앙값의 약 절반 수준SWE-bench pass@1: 12.5% (당시 SOTA)태스크 성공률: 최고 모델(Claude-4.5-Sonnet) 38.6%
확장성태스크 스위트 교체·추가 없이 동일 로지스틱 회귀 프레임워크로 미래 모델에 지속 적용 가능; 외부 벤치마크(SWE-bench Verified)와의 상관으로 일반화 검증도메인 추가 확장 가능 구조이나 인간 베이스라이닝 비용이 주요 병목7개 환경으로 소규모; 각 환경당 대규모 인간 데이터 확보 필요로 확장 난이도 높음ACI 프레임워크는 타 태스크로 이전 가능하나 코드 저장소 특화 설계앱·도구 수 확장 가능 설계이나 수동 태스크 제작 병목 존재
한계소프트웨어 태스크 편향(물리·사회적 과제 제외), 스캐폴드 elicitation 차이로 모델 간 공정 비교 불확실, 지수추세의 지속 가정이 검증 불가태스크 선택 편향 가능성, 인간 수행자 스킬 수준 통제의 어려움, 코드 공개 미확인7개 환경 소규모로 일반화 제한, 8시간 이상 초장기 태스크 미포함, 도메인 협소(ML 연구)코드 수정 단일 도메인, 인간 소요시간 기준 부재로 절대적 능력 해석 불가, 태스크 포화 빠름성공 기준 수동 정의의 일관성 문제, 인간 기준 부재, 장기 추세 분석 불가
코드 공개✅ (arXiv 2503.14499, 재현 코드 존재)❌❌✅ (https://github.com/princeton-nlp/SWE-agent)❌

원자적 인사이트

능력을 ‘인간 소요시간’으로 환산하면 포화 없는 비교축이 생긴다

출처: Measuring AI Ability to Complete Long Tasks (Kwa et al., 2025)
유형: 방법론적

벤치마크는 점수가 최대치에 수렴(포화)하면 그 위의 모델을 구분하지 못해 시점 간 비교가 끊긴다. 이 논문은 과제를 ‘AI 점수’가 아니라 ‘사람이 끝내는 데 걸리는 시간’으로 척도화함으로써, 1초(GPT-2)부터 110분(o3)까지 능력차가 큰 모델을 하나의 연속 축에 올린다. 점수가 아니라 과제 난이도(=인간 소요시간)를 축으로 삼은 것이 포화 회피의 핵심이다.

핵심 조건/맥락: 과제 소요시간을 1초~30시간으로 넓게 분포시키고, 각 과제에 실측 인간 베이스라인을 붙여야 성립한다. 도메인은 소프트웨어·ML에 한정.
연결: Item Response Theory (능력·난이도 동시 추정의 통계적 뿌리)
활용 가능성: 다른 영역(수학 증명, 의료 진단 등)에서도 ‘전문가 소요시간’ 라벨만 확보하면 동일 프레임으로 능력 성장 추세를 추적할 수 있다.

추세 예측에서는 상수 배보다 ‘기울기’가 결정적이다

출처: Measuring AI Ability to Complete Long Tasks (Kwa et al., 2025)
유형: 이론적

50% 시간지평이 약 7개월마다 2배로 자라는 지수추세를 연장하면 ‘한 달치 과제 자동화 AI’가 중앙값 2029년에 온다. 저자들의 민감도 분석에 따르면 시간지평 절대값이 2배 줄어도 도달은 단 0.6년 지연되지만, 배가 시간(기울기)이 2배 느려지면 약 4.8년이나 지연된다. 즉 ‘지금 AI가 얼마나 잘하느냐(수준)‘보다 ‘얼마나 빨리 좋아지느냐(속도)‘가 미래 시점을 훨씬 크게 좌우한다.

핵심 조건/맥락: 지수추세가 그대로 지속된다는 가정 위에서만 유효. 결과기반 RL·컴퓨트 스케일링 등으로 기울기가 변하면 예측이 흔들린다.
연결: AI Timelines and Extrapolation
활용 가능성: AI 거버넌스·안전 로드맵에서 ‘현재 능력 스냅샷’ 논쟁보다 ‘성장률 추정과 그 불확실성’에 자원을 집중해야 함을 시사한다.

‘어떤 인간을 기준으로 삼느냐’가 AI 능력 평가를 5~18배 흔든다

출처: Measuring AI Ability to Complete Long Tasks (Kwa et al., 2025)
유형: 실패-한계

내부 PR 과제에서 외부 계약자 베이스라이너는 저장소 관리자보다 같은 일에 5~18배 오래 걸렸고, 그 결과 AI 성능이 관리자 기준으로는 과대예측, 계약자 기준으로는 일치하는 것으로 갈렸다. 즉 시간지평이 참조하는 ‘인간 기준’을 junior로 두느냐 senior 전문가로 두느냐에 따라 같은 AI의 측정값이 통째로 달라진다.

핵심 조건/맥락: 소규모 비오염 내부 PR 과제에서 관찰된 결과로 표본이 작다. 인간 기준수행자 선택이 메트릭의 숨은 자유 파라미터임을 드러낸다.
연결: Human Baselines in AI Evaluation
활용 가능성: 인간 비교 벤치마크를 설계·인용할 때 ‘기준 인간의 숙련도’를 명시하지 않으면 비교가 무의미해질 수 있다.

핵심 용어 정리

용어정의
50% 과제완수 시간지평 (50%-task-completion time horizon)AI가 50% 확률로 완수하는 과제를, 관련 전문성을 가진 인간이 통상 끝내는 데 걸리는 시간. 이 논문의 핵심 능력 메트릭.
80% 시간지평같은 정의에서 성공 확률 임계값만 80%로 올린 척도. 배가 시간은 50% 기준과 거의 같지만 절대값은 4–6배 짧다.
배가 시간 (doubling time)시간지평이 2배로 증가하는 데 걸리는 기간. 본 연구 과제 기준 약 207일(약 7개월).
인간 베이스라이너 (baseliner)각 과제를 실제로 수행해 기준 소요시간을 제공하는 숙련 전문가. 본 연구는 평균 약 5년 경력자 800회 이상, 누적 2,529시간.
로지스틱 회귀 / σ (sigmoid)입력에 따라 확률을 0~1의 S자 곡선으로 출력하는 함수·모델. 과제 길이 대비 성공 확률을 모델별로 추정하는 데 사용.
문항반응이론 (Item Response Theory, IRT) / 2PL시험 문항 난이도와 응시자 능력을 함께 추정하는 심리측정 통계. 본 연구는 2PL을 변형해 능력 기울기 β를 에이전트 파라미터로 둔다.
HCAST / RE-Bench / SWAA본 연구가 쓰는 3개 과제 스위트. HCAST 97개(1분30시간 소프트웨어 과제), RE-Bench 7개(8시간 ML 연구), SWAA 66개(130초 단일 단계 과제).
SWE-bench VerifiedGitHub 이슈 기반 코드 수정 과제의 산업 표준 벤치마크. 외부타당도 검증에 사용(배가 시간 약 70일).
외부타당도 (external validity)실험 결과가 실험 밖 실세계 맥락에도 적용되는 정도. SWE-bench·난잡성·내부 PR 3실험으로 점검.
난잡성 (messiness)명세·피드백·성공기준의 모호함, 다중 작업 조율 필요 등 실세계 복잡성. 16개 요인으로 점수화하며 본 과제 평균은 3.2/16.
프런티어 모델 (frontier model)해당 시점의 최신·최고 성능 AI 모델. 2019–2025년 12개를 평가.
1개월 AGI (1-month AGI)인간이 약 167시간(한 달치) 걸리는 과제를 50% 확률로 완수하는 AI 수준. 추세 연장 시 중앙값 2029년 도달 예측.
계층적 부트스트랩 (hierarchical bootstrap)과제 패밀리→과제→실행의 3단계로 반복 재표집해 신뢰구간을 추정하는 통계 기법. 10,000회 표본으로 95% CI 산출.

관련 연구

  • HCAST — 본 논문이 시간지평 측정의 기반으로 직접 사용하는 인간교정 과제 스위트(97개). 인간 소요시간 라벨의 출처.
  • RE-Bench — 8시간급 ML 연구 엔지니어링 과제 7개로 본 메트릭의 장기·고난도 상한을 구성하는 기반 벤치마크.
  • SWE-agent — 외부타당도 검증(SWE-bench Verified)에서 비교 대상이 되는 자율 소프트웨어 에이전트 시스템.
  • Toolathlon — 다앱·다도구 장기 워크플로우를 별도 설계로 측정하는 대안 패러다임으로, 시간지평과 다른 방식의 장기 과제 능력 측정.

태그

paper #2025 AI-evaluation time-horizon benchmark AI-agents scaling-trends AGI-forecasting

BibTeX

@article{kwa2025,
  title={Measuring AI Ability to Complete Long Software Tasks},
  author={Kwa, Thomas and West, Ben and Becker, Joel and Deng, Amy and Garcia, Katharyn and Hasin, Max and Jawhar, Sami and Kinniment, Megan and Rush, Nate and Von Arx, Sydney and Bloom, Ryan and Broadley, Thomas and Du, Haoxing and Goodrich, Brian and Jurkovic, Nikola and Miles, Luke Harold and Nix, Seraphina and Lin, Tao and Painter, Chris and Parikh, Neev and Rein, David and Sato, Lucas Jun Koba and Wijk, Hjalmar and Ziegler, Daniel M. and Barnes, Elizabeth and Chan, Lawrence},
  journal={arXiv preprint arXiv:2503.14499},
  year={2025},
  url={https://arxiv.org/abs/2503.14499},
  eprint={2503.14499},
  archivePrefix={arXiv}
}