BRIDGE: 모델 성능으로부터 인간 과제 완료 시간 예측

Digest: 벤치마크 점수는 모델이 무엇을 얼마나 잘하는지 알려주지만, 그 과제가 인간에게 얼마나 “어렵고 오래 걸리는지”는 알려주지 못한다. BRIDGE는 이 간극을 심리측정(psychometrics, 사람의 능력·문항 난이도를 통계로 추정하는 방법)으로 메운다. 여러 벤치마크에 걸친 모델의 정답/오답 패턴에 2PL IRT(two-parameter logistic Item Response Theory, 문항반응이론)를 적용해 과제별 잠재 난이도 b와 모델 능력 θ를 동시 추정하고, 이 난이도가 인간 완료시간의 로그와 선형 관계(METR 앵커에서 R²=0.81, 난이도 1단위당 시간 2.26배)를 가진다는 것을 발견한다. 그 결과 새 벤치마크에 대해 사람 실험 없이 모델 성능만으로 인간 완료시간을 추정하고, METR의 지수적 스케일링(50% 해결 가능 과제 지평이 약 6개월마다 2배)을 독립적으로 재현한다. Cybench 예측 R²=0.45, 92.3%가 0.5×–2× 밴드 내로 검증되며, 51% 관측만으로도 난이도 추정이 안정적(sparsity ablation ρ>0.97)이라 재현성이 높다. 남은 질문: LLM 심판 프록시(GDPval)·거친 시간 버킷(SWE-bench)·개인차 미정량화가 정밀도의 한계로 남는다.

먼저 이해하기

우리는 어떤 AI 모델이 “어려운 문제를 푼다”고 말할 때, 그 어려움을 대개 정답률(accuracy)로만 표현한다. 하지만 정답률은 그 과제가 인간에게 얼마나 오래 걸리는 일인지를 말해주지 않는다. 예컨대 “SWE-bench 이슈 하나 해결”이 인간 엔지니어에게 15분짜리인지 4시간짜리인지는 점수만으로 알 수 없다.

기존 방법인 METR는 인간에게 얼마나 걸리는지 직접 측정했지만, 이는 170개 과제 각각에 대해 사람이 직접 수행하는 비싸고 노이즈 많은 연구가 필요했고, 새 벤치마크가 나올 때마다 반복해야 해서 확장되지 않았다.

BRIDGE의 핵심 통찰은 이렇다. 모델의 능력은 시간에 따라 지수적으로 커지고(θ∝t), METR가 보인 인간 시간 지평도 지수적으로 커진다(h∝e^t, 즉 t∝log h). 두 지수를 이으면 모델 능력 θ가 인간 시간의 로그 log h에 비례하고, 따라서 IRT가 추정한 과제 난이도 b도 log h와 선형이 된다. 이 로그선형 다리(bridge) 하나로, 모델의 정답/오답 패턴만 있으면 새 벤치마크의 인간 완료시간을 사람 실험 없이 추정할 수 있다.

왜 중요한가: 이는 능력 평가를 “인간 중심 단위(시간)“로 해석 가능하게 만들고, 사람 스터디 없이도 프론티어 진보를 시간 지평으로 예보할 수 있게 한다. 저자들은 이 방식으로 METR의 “50% 해결 가능 과제 길이가 약 6개월마다 2배”라는 스케일링을 독립적으로 재현한다.

먼저 알아둘 핵심 용어:

용어	뜻
IRT (Item Response Theory)	정답/오답 패턴에서 문항 난이도와 응시자 능력을 동시 추정하는 심리측정 모형
2PL IRT	난이도 b와 변별도 a 두 파라미터를 쓰는 IRT. P(정답)=σ(a(θ−b))
θ (theta)	모델의 잠재 능력(응시자 능력에 해당)
b (difficulty)	과제의 잠재 난이도
a (discrimination)	변별도. 능력 차이를 얼마나 예리하게 가르는지(≥0)
METR	인간 완료시간 지평으로 모델 능력을 측정한 선행 연구(170 과제)
로그선형 캘리브레이션	log(h)=slope·b+intercept 로 난이도를 인간 시간으로 환산

섹션별 요약

초록 (Abstract)

BRIDGE는 모델 응답으로부터 잠재 과제 난이도를 학습하고 이를 인간 과제 완료시간에 앵커링하는 심리측정 프레임워크다. 여러 벤치마크에 걸친 모델 성능에 2PL IRT를 적용해 잠재 과제 난이도 b와 모델 능력 θ를 공동 추정한다. 중심 발견은 잠재 난이도가 인간 완료시간의 로그와 선형으로 변한다는 것이며, 이로써 새 벤치마크의 인간 완료시간을 모델 성능만으로 추론한다. 프론티어 능력을 예보하고 METR의 지수적 스케일링(50% 해결 가능 과제 지평이 약 6개월마다 2배)을 독립적으로 재현한다.

저자 contribution

잠재 난이도를 인간 시간과 정렬하는 통합 심리측정 프레임워크를 제시했다.
IRT 난이도가 로그 스케일에서 인간 시간을 선형으로 추적함을 보이고, 이를 캘리브레이션해 모델 성능으로 인간 시간을 예측했다.
METR 스케일링을 독립 검증하고 프론티어 능력을 과제 길이 지평 단위로 예보했다.

왜 이 연구를 하는가?

동기: 벤치마크 점수는 과제의 난이도·노력에 대한 해석력이 제한적이다. 기존 한계로는 (1) 인간 시간 주석이 비싸고 노이즈가 많으며 확장이 어렵고, (2) METR는 170개 과제에 맞춤형 인간 스터디가 필요했으며, (3) 도메인 간 전이가 취약하고, (4) 새 벤치마크마다 인간 스터디가 확장되지 않는다는 점이 있다. 핵심 RQ: 벤치마크마다 새 인간 스터디 없이 인간 과제 완료시간을 예측할 수 있는가?

방법 (Methods)

2PL IRT: P(y=1|θ_j, a_i, b_i) = σ(a_i(θ_j − b_i)). θ_j는 모델 j의 능력, a_i는 과제 i의 변별도(≥0), b_i는 난이도.
핵심 통찰: 모델 능력이 지수적으로 성장(θ∝t)하고 METR 인간 시간 지평도 지수적으로 성장(h∝e^t → t∝log h)하므로 θ∝log h, 따라서 b_i는 log h_i에 선형.
캘리브레이션: log(h_k) = slope·b_k + intercept. METR 주석 과제에서 적합하고 새 벤치마크에 적용.
차별점: IRT 잠재 척도를 로그선형 관계로 인간 시간 단위에 앵커링; 과제 수준 granularity; 새 인간 스터디 없이 인간 중심 단위로 예보. Lalor 2019·Rodriguez 2021·Hofmann 2025의 2PL IRT를 응용.
데이터: METR(170 과제: SWAA, HCAST, RE-Bench). OOD 검증으로 SWE-bench Verified(500 이슈, 4개 시간 버킷), MLE-bench(75→38 Kaggle, 기준 3개), GDPval(44 직업, LLM 심판 Gemini 3 Pro), Cybench(CTF, 인간 최초 해결시간). 모델은 GPT-2→GPT-5.1, Claude 3→4.5 Opus, Gemini, 오픈소스. 모델×과제 행렬의 51% 관측. IRT는 MCMC(py-irt), InspectAI ReAct 스캐폴딩, temp 0.0, 1000턴 제한.

결과 (Results)

METR 캘리브레이션(Fig2): log(h_k)=slope·b_k+intercept, R²=0.81; 난이도 1단위 ≈ 인간 시간 2.26배.
SWE-bench(Fig3): logit 휴리스틱·LLM 추정(Gemini 3 Pro, GPT-5.2)보다 버킷 정렬이 우수. logit은 과소추정, LLM은 범위 압축.
Cybench(Fig4): 예측 vs 실제 최초 해결시간 R²=0.45; 과제의 92.3%가 0.5×–2× 밴드 내. 베이스라인 능가.
MLE-bench(Fig7): 유효 제출 < 중간값 이상 < Kaggle 메달(4–64시간)로 명확히 분리.
예보 50% 성공(Fig6): 해결 가능 과제 길이가 약 6개월마다 2배; 2025 프론티어 약 1–2.5시간, SOTA 약 2시간.
예보 80% 성공(Fig9): 약 7개월마다 2배; 프론티어 약 40분–1.1시간.
변별도: METR a=3.92(최고), GDPval a=1.10(최저).
희소성 ablation(Table1): 50% 제거에도 b가 ρ>0.97로 안정, 70% 제거에도 ρ>0.94; θ는 더 안정. 51% 관측으로 충분.
랭킹: BRIDGE는 Claude 4.5 Opus를 Gemini 3 Pro보다 앞에 랭크(Epoch AI와 상이).

발견

IRT 난이도는 인간 완료시간의 로그와 선형 관계이며 이는 여러 도메인에서 유지된다.
모델 성능 데이터만으로 새 벤치마크의 인간 시간을 사람 실험 없이 추정할 수 있다.
METR의 6개월 배가 스케일링이 독립적으로 재현되며 80% 기준에서는 약 7개월로 완만해진다.

논의 (Discussion)

한계: (1) GDPval은 LLM 심판 프록시를 사용, (2) 일부 보안 모델은 CTF 수행을 거부, (3) SWE-bench의 거친 버킷은 이산화 오차를 낳고, (4) 개인 간 변동성이 정량화되지 않았으며, (5) 새로운 유형 과제로의 전이 불확실성이 있다. 해소된 우려: IRT는 아핀 변환까지만 식별 가능하나 캘리브레이션으로 해결되며, 51% 관측으로 충분(sparsity ablation)하고 불완전 커버리지에 강건. 향후: 인간-AI 협업, 지식 집약 과제, 불확실성 정량화, 벤치마크 간 전이. 의의: 직접 인간 스터디 없이 인간 기반의 해석 가능한 능력 평가를 제공하며, 6개월 배가를 프론티어 진보의 경험적 특성화로 제시.

Discussion Points

LLM 심판(GDPval)과 거친 시간 버킷(SWE-bench)이 캘리브레이션 정밀도에 주는 편향은 어느 정도인가?
IRT 랭킹이 Epoch AI와 다른 이유(Claude 4.5 Opus > Gemini 3 Pro)는 방법론적 차이인가 실제 능력 차이인가?
개인차 미정량화 상태에서 “인간 완료시간”을 단일 값으로 앵커링하는 것의 타당성.

실험 결과 상세

검증 축	벤치마크/설정	핵심 지표	결과
캘리브레이션	METR (170 과제; SWAA/HCAST/RE-Bench)	log(h)=slope·b+intercept 적합도	R²=0.81, 난이도 1단위당 인간 시간 2.26×
OOD 시간 버킷	SWE-bench Verified (500 이슈, 4 버킷)	버킷 정렬	logit 휴리스틱·LLM 추정(Gemini 3 Pro, GPT-5.2) 대비 우수 (logit 과소추정, LLM 범위 압축)
OOD 시간 예측	Cybench (CTF 인간 최초 해결시간)	예측 vs 실제 R², 밴드 적중	R²=0.45, 92.3%가 0.5×–2× 밴드 내, 베이스라인 능가
OOD 분리	MLE-bench (75→38 Kaggle, 기준 3개)	등급별 시간 분리	유효제출 < 중간값이상 < Kaggle 메달 (4–64시간) 명확 분리
프론티어 예보 (50%)	시간 지평 예보 (Fig6)	배가 주기, 프론티어 길이	해결 가능 과제 길이 약 6개월마다 2배; 2025 프론티어 1–2.5h, SOTA 약 2h
프론티어 예보 (80%)	시간 지평 예보 (Fig9)	배가 주기, 프론티어 길이	약 7개월마다 2배; 프론티어 약 40분–1.1h
변별도	벤치마크별 a	discrimination a	METR a=3.92(최고), GDPval a=1.10(최저)
희소성 강건성	Sparsity ablation (Table1)	난이도 b 상관 ρ	50% 제거 시 ρ>0.97, 70% 제거 시 ρ>0.94; θ는 더 안정 (51% 관측으로 충분)
모델 랭킹	IRT 능력 θ 순위	상대 순위	Claude 4.5 Opus > Gemini 3 Pro (Epoch AI와 상이)

모델×과제 행렬은 51%만 관측되었고, IRT는 MCMC(py-irt)로 추정, 에이전트 실행은 InspectAI ReAct 스캐폴딩(temp 0.0, 1000턴 제한)으로 수행되었다. 모델 범위는 GPT-2→GPT-5.1, Claude 3→4.5 Opus, Gemini, 오픈소스를 포함한다.

프레임워크 다이어그램

flowchart TD
    A["모델 성능 행렬 (모델 x 과제, 51% 관측)"] --> B["2PL IRT: P=sigma(a(theta-b))"]
    B --> C["잠재 난이도 b_i 추정"]
    B --> D["모델 능력 theta_j 추정"]
    C --> E["로그선형 캘리브레이션: log(h)=slope*b+intercept (METR 앵커, R2=0.81)"]
    E --> F["새 벤치마크 인간 완료시간 h 예측 (사람 실험 없이)"]
    D --> G["시간 지평 예보: 50% 6개월 배가 / 80% 7개월 배가"]
    F --> H["OOD 검증: Cybench R2=0.45, 92.3% 밴드 내 / SWE-bench 버킷 정렬"]

재현성 및 신뢰도 평가

코드 공개: https://github.com/McGill-NLP/BRIDGE (CC BY 4.0)
재현성 종합등급: A — 코드·라이선스 공개, 표준 도구(py-irt MCMC, InspectAI) 사용, 다수 벤치마크(METR/SWE-bench/MLE-bench/GDPval/Cybench)에 걸친 검증, 희소성 ablation으로 51% 관측 충분성을 입증. 결정론적 실행 설정(temp 0.0) 명시.
주장별 신뢰도:
- “난이도↔로그 인간시간 선형(R²=0.81)”: 높음 — METR 170 과제 직접 앵커, 명시적 적합도 보고.
- “Cybench 인간 시간 예측 R²=0.45, 92.3% 밴드 내”: 중~높음 — OOD 검증이나 R² 자체는 중간 수준, 밴드 적중률로 실용성 보강.
- “50% 6개월 / 80% 7개월 배가”: 중~높음 — METR 스케일링의 독립 재현이나 예보는 외삽으로 불확실성 내포.
- “51% 관측으로 충분(ρ>0.97)”: 높음 — ablation 수치로 직접 뒷받침.

연구	문제	접근	차별점
BRIDGE (본 논문)	인간 완료시간을 사람 실험 없이 예측	2PL IRT 난이도를 로그선형으로 인간 시간에 앵커링	과제 수준 granularity + 새 벤치마크 전이, 시간 단위 예보
METR	모델 능력을 인간 시간 지평으로 측정	170 과제에 맞춤형 인간 스터디	사람 주석 직접 수집(비싸고 비확장), BRIDGE의 앵커·검증 기준
2PL IRT 응용 (Lalor 2019, Rodriguez 2021, Hofmann 2025)	NLP 벤치마크의 문항 난이도 추정	IRT로 난이도·능력 추정	인간 시간 단위로의 앵커링 부재 — BRIDGE가 추가
Epoch AI 랭킹	프론티어 모델 능력 순위화	집계 벤치마크 점수 기반	BRIDGE는 IRT θ로 랭킹, Claude 4.5 Opus > Gemini 3 Pro로 상이

원자적 인사이트 (Zettelkasten)

IRT의 잠재 난이도 b는 인간 완료시간의 로그와 선형이다 — 능력 평가를 “시간”이라는 인간 단위로 번역하는 단일 다리가 존재한다.
두 개의 지수적 성장(모델 능력 θ∝t, 인간 시간 지평 h∝e^t)을 이으면 θ∝log h가 되고, 이것이 난이도-시간 로그선형의 이론적 근거다.
모델×과제 행렬이 절반만 채워져도(51%) 난이도 추정이 ρ>0.97로 안정적이다 — 심리측정 추정은 희소 관측에 강건하다.
예보 성공 기준을 올리면(50%→80%) 배가 주기가 완만해진다(6→7개월) — 신뢰도 높은 자동화일수록 더 느리게 전진한다.

핵심 용어 정리

2PL IRT: 난이도 b와 변별도 a 두 파라미터로 정답 확률을 σ(a(θ−b))로 모델링하는 문항반응이론.
잠재 난이도 b: 관측된 정답/오답 패턴에서 추정한 과제 고유의 어려움 척도.
모델 능력 θ: IRT에서 응시자(모델)의 잠재 능력.
변별도 a: 능력 차이를 얼마나 예리하게 구분하는지의 척도(METR 3.92 최고, GDPval 1.10 최저).
로그선형 캘리브레이션: log(h)=slope·b+intercept로 난이도를 인간 완료시간으로 환산하는 관계.
시간 지평(time horizon): 특정 성공률(예: 50%)로 해결 가능한 과제의 인간 소요시간 길이.
희소성 ablation: 관측 데이터를 인위적으로 제거해 추정 안정성(ρ)을 검사하는 실험.

BibTeX

@article{liu2026bridge,
  title={BRIDGE: Predicting Human Task Completion Time From Model Performance},
  author={Liu, Fengyuan and Gala, Jay and Nilaksh and Bahdanau, Dzmitry and Reddy, Siva and Larochelle, Hugo},
  journal={arXiv preprint arXiv:2602.07267},
  year={2026}
}

BRIDGE: 모델 성능으로부터 인간 과제 완료 시간 예측

BRIDGE: 모델 성능으로부터 인간 과제 완료 시간 예측

먼저 이해하기

섹션별 요약

초록 (Abstract)

왜 이 연구를 하는가?

방법 (Methods)

결과 (Results)

논의 (Discussion)

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX