Omni-MATH: 올림피아드 수준의 범용 수학 벤치마크

읽기 판단

훑기 · confidence: medium

수학 벤치마크의 포화 문제를 올림피아드 난이도로 밀어올린 데이터셋 논문이며, 새 방법론보다는 데이터 구성·난이도 축·평가자 신뢰도가 본체다. 추론 모델 평가 설계를 하거나 난이도·도메인 축이 있는 평가 세트를 직접 만드는 사람은 §2와 §4를 표적 확인할 가치가 있고, 알고리즘 아이디어를 찾는 독자에게는 우선순위가 낮다. section-extract 범위라 표 원셀과 부록을 못 봤기 때문에 confidence를 medium으로 둔다.

1분 요약

문제: GSM8K·MATH가 이미 높은 정확도로 풀려 상위 모델을 변별하지 못함

핵심 아이디어: 올림피아드 문제 4,428개를 모아 33개 이상 세부 도메인 + 10단계 이상 난이도라는 두 축으로 라벨링해, 총점 대신 난이도·도메인별 프로파일로 모델을 읽게 함

새로움: 수학 단일 영역에 한정한 대규모 올림피아드 세트 + 난이도/도메인 메타데이터 + 오픈소스 판정기(Omni-Judge)를 함께 제공

가장 강한 근거/논증: 최상위 모델도 60.54%에 그치고 난이도가 오를수록 정확도가 단조 하락함 (§3.2)

가장 큰 주의점: 난이도·도메인 라벨과 평가 판정이 상당 부분 GPT-4o에 의존해, 벤치마크 축 자체가 특정 모델의 판단에 얹혀 있음

핵심 아이디어

기존 수학 벤치마크의 병목은 문제 수가 아니라 해상도다. 상위 모델이 90%대를 찍는 순간 단일 정확도는 모델 간 차이를 담지 못하고, 남은 실패가 어떤 종류인지도 알려주지 못한다.

저자들의 대응은 난이도를 올리는 것에 더해, 성능을 분해 가능한 좌표계 위에 올리는 것이다. 문제마다 0–10 난이도와 계층적 도메인 트리 위치를 붙이면, 하나의 정확도 숫자가 난이도 곡선과 도메인 프로파일로 펼쳐진다. 실제로 이 좌표계 덕분에 “이산수학 취약”이나 “T4에서 급락” 같은 진술이 가능해진다.

작동 방식은 소싱과 라벨링의 분업이다. IMO·Putnam 계열의 공식 해답이 있는 문제를 모아 규칙 기반 필터와 사람 검증으로 정제하고, 난이도는 AoPS 공식 레이팅이 있으면 그대로 쓰고 없으면 GPT-4o가 레이팅된 문제를 in-context 예시로 삼아 부여한다. 도메인도 GPT-4o 자동 분류다.

채점 쪽에서는 두 갈래를 둔다. 규칙 기반 매칭이 가능한 2,821문항 부분집합(Omni-MATH-Rule)과, 자유형식 답을 판정하는 오픈소스 검증기 Omni-Judge다. 후자는 GPT-4o 판정 결과를 학습 신호로 삼아 파인튜닝됐다.

무엇을 했나

수집: IMO 및 Shortlist/Longlist, Putnam, IMC, USAMO, China TST, CMO 등 국가 단위 올림피아드를 AoPS Wiki·Forum과 공식 해답이 있는 대회 페이지에서 확보해 4,428문항 구성
정제: 규칙 기반 형식 필터 + 대학원생/박사과정 주석자 검증, 교차검증 정확도 92.7% → 샘플링 후 97.3%
난이도 축: AoPS Ratings 등재 문제는 공식 0–10 점수, 미등재 대회는 GPT-4o가 레이팅 문제로부터 in-context 부여. 평가 시 T1(1–3)/T2(3–5)/T3(5–7)/T4(7–10)로 묶음
도메인 축: 계층적 도메인 트리 기반 33개 이상 세부 도메인, 대회 가이드북에 맞춘 GPT-4o 자동 분류
채점 경로: 규칙 매칭 가능한 2,821문항 부분집합과, 약 17,618 샘플로 파인튜닝한 Omni-Judge (GPT-4o 대비 90–91%+, 사람 대비 86% 일치)
평가·분석: 15개 LLM 측정, n-gram 기반 누출 점검, Best-of-N 테스트타임 스케일링, demonstration의 난이도·도메인 거리를 바꾼 데이터 선택 실험(§4.3), 난이도 라벨 타당성을 보는 추세 강도 지표(§4.4)

핵심 근거

주장	출처 위치	관찰	조건·유의점	출처 구분
올림피아드 수학은 최상위 모델에도 미해결	§3.2 Table 3, §6	o1-mini 60.54%, o1-preview 52.55%, Qwen2.5-MATH-72B-Instruct 36.20%, GPT-4o 30.49%	시점상 o1 계열은 preview 단계이며, 표의 나머지 셀은 미확인	author-stated
난이도 라벨이 실제 성능 구배와 일치	§3.2, §4.4	o1-mini 82.23→63.10→49.11→42.69, Qwen2.5-MATH-72B 70.96→31.37→27.75→22.29; 전 모델 추세 강도 양수	난이도 대부분이 GPT-4o 부여이므로 “성능과 정합”이 곧 “정답 난이도”는 아님	author-stated
도메인별 능력이 비대칭이며 이산수학이 취약	§3.2	대수·미적분·정수론 대비 이산수학에서 뚜렷한 약세	학습 데이터 편중이라는 원인 설명은 저자 해석이며 직접 측정 아님	author-stated
Best-of-N 테스트타임 스케일링이 통하지 않음	§3.2, §6	추론 시간 확대가 일관된 향상을 내지 못함; 보상 모델의 올림피아드 감독 능력 부족을 원인으로 지목	N 범위·보상 모델 구성 등 세부는 제공 범위 밖	author-stated
자동 채점 파이프라인이 벤치마크의 단일 의존점	§2.2–2.4, §4.2	난이도·도메인 라벨과 판정 학습 신호가 모두 GPT-4o, 사람 대비 GPT-4o 98% / Omni-Judge 86%	98%는 판정 일치도이지 난이도 라벨의 타당도가 아님	analyst-inference

어디까지 믿을까

저자 명시 한계 (author-stated): 규칙 기반 채점은 4,428 중 2,821문항에만 적용 가능하고 나머지는 모델 판정에 의존한다. 데이터 누출은 대체로 미미하나 Qwen2.5-MATH-72B-Instruct는 31개 샘플에서 5-gram이 정확히 예측되는 최고 수준의 누출을 보인다. 어려운 demonstration이 전반적으로 도움이 되지만 T4에서는 소폭 하락한다. 효율적인 테스트타임 강화 기법은 미해결 과제로 남는다.
분석자 판단 (analyst-inference): 난이도·도메인 라벨과 채점 신호가 GPT-4o에 집중돼 있어, GPT-4o 계열에 유리한 방향의 체계적 편향을 이 벤치마크 안에서는 검출하기 어렵다. §4.4의 추세 강도 지표는 저자가 정의한 자체 지표이고 “모두 양수”는 약한 기준일 수 있어, 난이도 라벨 타당성의 결정적 검증으로 보기는 이르다. AoPS 기반 공개 출처는 향후 학습 코퍼스에 흡수되기 쉬워 n-gram 점검만으로 장기 무결성을 보장하기 어렵다.
미확인 범위 (unknown): 제공된 범위는 section-extract다. 부록, 각 절의 축자 전문, 위에 나열된 수치를 넘는 표 원셀(15개 모델 전체 성적, 도메인별 세부 수치, Best-of-N 설정)을 확인하지 못했다. 도메인 트리의 실제 구조와 주석 가이드라인, Omni-Judge 학습 데이터 구성도 미확인이다.

원문 읽기 지도

읽을 곳	왜	무엇을 확인
§2.2–2.4	벤치마크 신뢰성이 여기서 결정됨	GPT-4o 난이도 부여의 프롬프트·검증 절차, 2,821 규칙 부분집합의 선정 기준, Omni-Judge 학습 데이터 출처
§3.2 Table 3	인용 가능한 수치의 원본	15개 모델 전체 성적과 난이도·도메인 분해 셀, Best-of-N 설정과 N 범위
§4.1 + §4.4	두 축의 타당성 방어선	누출 탐지 기준(n-gram 길이·임계)과 추세 강도 지표 A의 정의·페널티 계수
§4.3	벤치마크를 넘어선 재사용 가능한 결과	도메인 트리 거리 정의와 이산수학이 대수 예시로 이득 보는 실험의 표본 규모·분산

용어

AoPS Ratings: Art of Problem Solving 커뮤니티의 문제 난이도 0–10 척도. 이 논문 난이도 축의 기준점이며, 미등재 문제는 이를 예시로 삼아 모델이 추정한다.
Omni-MATH-Rule: 정답이 규칙 기반 문자열 매칭으로 채점 가능한 2,821문항 부분집합. 모델 판정자 없이 재현 가능한 평가 경로다.
Best-of-N: 같은 문제에 N개 해답을 샘플링해 보상 모델이 최선을 고르는 테스트타임 스케일링. 이 벤치마크에서는 효과가 일관되지 않았다.

BibTeX

@inproceedings{gao2025omnimath,
  title     = {Omni-{MATH}: A Universal Olympiad Level Mathematic Benchmark for Large Language Models},
  author    = {Gao, Bofei and Song, Feifan and Yang, Zhe and Cai, Zefan and Miao, Yibo and Dong, Qingxiu and Li, Lei and Ma, Chenghao and Chen, Liang and Xu, Runxin and Tang, Zhengyang and Wang, Benyou and Zan, Daoguang and Quan, Shanghaoran and Zhang, Ge and Sha, Lei and Zhang, Yichang and Ren, Xuancheng and Liu, Tianyu and Chang, Baobao},
  booktitle = {The Thirteenth International Conference on Learning Representations (ICLR)},
  year      = {2025},
  eprint    = {2410.07985},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CL},
  url       = {https://arxiv.org/abs/2410.07985}
}

Omni-MATH: 올림피아드 수준의 범용 수학 벤치마크

Omni-MATH: 올림피아드 수준의 범용 수학 벤치마크

읽기 판단

핵심 아이디어

무엇을 했나

핵심 근거

어디까지 믿을까

원문 읽기 지도

용어

관련 노트

BibTeX