벤치마크 주도 AI가 볼 수 없는 미래들

Digest: 이 논문은 AI 연구가 벤치마크 경쟁을 중심으로 조직되면서, 지금 당장은 성능으로 측정되지 않지만 훗날 결정적으로 쓰일 수 있는 아이디어들이 살아남을 곳을 잃는다고 주장한다. 저자들은 생물학의 exaptation(굴절적응 — 한 기능을 위해 진화한 형질이 나중에 다른 기능에 결정적으로 쓰이는 현상)을 렌즈로 삼아, 벤치마크 중심 선택 환경이 이 굴절적응 역량에 “exaptation tax(굴절적응 세금)“를 부과한다고 본다. 핵심 통찰은 벤치마크의 성공이 벤치마크 자체 덕분이 아니라 그 이전의 탐색적 자본 덕분이라는 “it-harvests-more-than-it-plants(심는 것보다 거두는 것이 많다)” 논증이다(§3, Reviewer 8S1b 요약). 문제는 분야가 “기계가 지능적 행동을 보일 수 있는가?”에서 “정렬(aligned)·해석 가능(interpretable)·안전(safe)하면서도 그렇게 할 수 있는가?”라는 이른바 “such-that 문제”로 옮겨가면서 더 첨예해진다(Abstract). 저자들은 벤치마킹을 폐기하지 않으면서 굴절적응 역량을 복원할 네 장치 — 복수 평가 체제(plural evaluation regimes), 비교 불가능한 연구를 위한 보호 지대(protected venues), 장기 호흡 연구비(long-horizon funding), 선택 규칙 자체를 문제 삼도록 장려하는 훈련 규범 — 를 제안한다(Abstract). 실험이 없는 metascience 입장 논문이라 정량 근거는 역사적 사례와 문헌 종합에 의존한다는 것이 한계다(§한계).

먼저 이해하기

AI 연구는 대부분 benchmark(벤치마크 — 표준화된 과제 위에서 시스템을 시험하고 순위를 매기는 평가 방식) 경쟁을 중심으로 돌아간다. 이 방식은 “명확한 능력”을 재는 데는 잘 작동하지만, 가치가 한참 뒤에야 드러나거나 목표 자체가 논쟁적이어서 직접 측정하기 어려운 연구를 걸러내 버리는 경향이 있다(Lay Summary).

저자들이 빌려온 핵심 비유는 생물학의 exaptation(굴절적응 — 어떤 기능을 위해 진화한 형질이 훗날 전혀 다른, 예측 불가능한 기능에 결정적으로 쓰이게 되는 현상)이다. 논문은 과학의 진보도 같은 방식으로 작동한다고 본다. 즉, 지금은 벤치마크에서 좋은 점수를 못 받는 “휴면 상태의 아이디어”가 조건이 맞으면 거대한 도약을 가져올 수 있다는 것이다(Reviewer vYco 요약).

왜 중요한가: 하나의 선택 규칙(벤치마크 점수)이 지배하면, 그 규칙에 맞지 않는 아이디어는 “머무를 곳(nowhere to persist)“이 없어진다(Abstract). 저자들은 분야가 능력(capability) 질문에서 안전·정렬 같은 such-that 문제(무엇을 하되 "~하면서" 그렇게 하라는 조건이 붙은 문제)로 옮겨가는 지금, 이 걸러냄이 심각한 문제가 되었다고 주장한다. 능력의 정답은 자연 속에서 비교적 쉽게 찾아 측정할 수 있지만, 정렬·안전 같은 규범(normativity)의 정답은 사회적 협상의 산물이라 끊임없이 다시 다투어야 하기 때문이다(Reviewer 8S1b 요약).

먼저 알아둘 용어

원 용어	쉬운 설명
exaptation	굴절적응. 한 목적으로 생긴 특성이 나중에 다른 목적에 결정적으로 쓰이는 것 (예: 깃털이 처음엔 체온 유지용, 나중에 비행용)
exaptation tax	굴절적응 세금. 단일 선택 규칙이 지배할 때, 아직 가치가 안 드러난 탐색적 아이디어가 살아남지 못해 미래에 치르는 비용
such-that 문제	”지능적으로 행동하되(such that) 정렬·해석 가능·안전하게” 처럼 조건이 붙은 문제. 능력 문제와 종류가 다름
capability vs normativity	능력(정답이 자연에 있어 측정 쉬움) 대 규범(정답이 사회적 합의라 계속 다퉈야 함)
plural evaluation regimes	복수 평가 체제. 하나의 순위표 대신 여러 병렬 채점 기준을 두는 것
metric-objective gap	측정 지표(프록시)와 진짜 목표 사이의 간극

흐름 따라 읽기

도입 — exaptation이라는 렌즈

논문은 생물학에서 한 기능을 위해 진화한 형질이 다른 기능에 결정적으로 쓰이는 현상, 즉 exaptation을 소개하고 과학적 진보도 같은 방식으로 작동한다고 전제한다(Abstract). 과학에서의 굴절적응은 “아직 가독성(legibility)을 얻지 못한 아이디어의 장기 생존”에 결정적으로 의존한다(Reviewer 8S1b 요약).

§3 — 벤치마크 문화가 부과하는 exaptation tax

핵심 논지는 “벤치마크 중심 환경이 연구 환경과 연구 의제를 재조직한다”는 것, 그리고 이 재편이 연구 질문의 협소화에 부수적인 것이 아니라 그 협소화를 만들어낸다는 것이다(Reviewer 8S1b 요약). 저자들은 벤치마크의 선택 압력이 다음 세 축을 구조적으로 조직한다고 본다.

(i) 누가 참여하는가 (§3.1): AI 역사를 통해 예시. 신경망은 벤치마크 검증 없이 연구자들의 지속으로 두 번의 “AI 겨울”을 견뎠다 — Rosenblatt(1950년대), Hinton과 Rumelhart(1980년대), Bengio와 LeCun(1990–2000년대 커넥셔니즘이 비주류였을 때). (단, 리뷰어 vYco는 LeCun/Bengio도 MNIST 정확도·텍스트 모델링 지표를 보고했다고 지적했고, 저자들은 camera-ready에서 이 문장을 수정하기로 함.) 또한 attention 메커니즘이 computational linguistics에서 나왔다는 서술에 대해 리뷰어는 Bahdanau et al. (2014) 인용 추가를 요청.
(ii) 기존 참여자가 무엇을 선택하는가 (§3.2): Recht의 인용을 통해 이를 “대립이 아닌 보정(calibration)“의 문제로 틀 지운다. 곧 벤치마크를 버리자는 것이 아니라 exploration–exploitation 균형을 다시 맞추자는 것.
(iii) 무엇이 인정받고 무엇이 자기-실격(self-disqualified)되는가 (§3.3).

이 절의 압권은 “it-harvests-more-than-it-plants(심는 것보다 거두는 것이 많다)” 논증이다. 벤치마크의 성공은 벤치마크 자체 덕이 아니라 그 이전에 축적된 탐색적 자본(exploratory capital)을 거두어들인 결과이며, 정작 벤치마크는 다음 라운드를 위한 탐색적 자본을 심지 않는다는 것이다. 이는 “벤치마크가 성공적이니 계속하자”는 반론에 대한 되받아치기다(Reviewer 8S1b 요약).

§4 — such-that 문제

비용이 첨예해지는 지점. 분야의 질문이 “기계가 지능적 행동을 보일 수 있는가?”에서 “정렬·해석 가능·안전하면서 그렇게 할 수 있는가?”로 이동한다(Abstract). 이는 정도(degree)의 차이가 아니라 종류(kind)의 차이 — 능력(자연에 정답이 있어 측정 가능)에서 규범(정답이 사회적 협상의 산물이라 지속적으로 다퉈야 함)으로의 이동이다(Reviewer 8S1b 요약).

§4.1: such-that 문제가 이미 분야의 중심에서 인식되고 있음 — NeurIPS 윤리 리뷰 요건, 안전 워크숍, 주요 연구소의 alignment 팀이 그 증거다. (저자 rebuttal에 따르면 이들은 비판 대상이 아니라 “이동이 실재하고 진행 중”이라는 증거로 인용된 것.)
§4.2: such-that 문제가 능력 질문과 근본적으로 종류가 다름을 논증.
§4.3: 이것이 exaptation에 갖는 함의를 도출.

§5 — 처방 (네 장치)

벤치마킹을 폐기하지 않으면서 굴절적응 역량을 복원하는 제도적 장치. Reviewer 8S1b의 요약으로 정리하면 세 갈래(+abstract의 장기 연구비):

선택 기준 다양화 (§5.1): 병렬 채점 체제(plural evaluation regimes) 또는 통제된 무작위성(controlled randomness). 저자들은 TMLR을 기존 사례로 언급하기로 함(참신성보다 커뮤니티 유용성을 인정하는 venue).
탐색적 연구 보호 (§5.2): 핵심 가정을 스트레스 테스트하거나 문제 삼는 미완의 연구를 조기 제거하지 않고, 비교 불가능한(non-comparable) 연구를 위한 보호 지대를 둔다.
선택 규칙의 거버넌스 (§5.3): 평가에 관한 meta-research 전용 트랙, 지배적 선택 규칙에 대한 비판을 핵심 연구 활동으로 인정(ICML position track이 그 예), 리뷰를 학술적 기여로 인정.
장기 호흡 연구비(long-horizon funding)와 선택 규칙을 문제 삼도록 장려하는 훈련 규범(training norms) (Abstract).

§6 — metric-objective gap

측정 프록시와 진짜 목표 사이의 간극. 능력 벤치마크는 수십 년의 사용으로 “성능이 실제 진보를 추적한다”는 신뢰가 쌓였지만, such-that 문제에서는 그 신뢰가 확립되기 전에 프록시를 최적화하고 있다는 것이 저자들의 우려다(저자 rebuttal).

대안적 견해 (Alternative Views)

논문은 자기 논지에 대한 잠재적 반론을 같은 엄밀함으로 다룬다(Reviewer vYco). 리뷰 과정에서 제기된 주요 긴장:

이분법 프레이밍: “벤치마크 문화를 따르거나 말거나”의 이분법이 아니라 exploration–exploitation의 연속적 trade-off라는 지적(vYco). 저자들은 §3.2 Recht 인용이 이미 보정 문제로 틀 지었으며 camera-ready Discussion에서 명시하기로 함.
such-that도 이미 벤치마킹됨: refusal rate, bias metric, RLHF 점수 등은 실제 진보를 나타냄. 저자들은 이를 부인하지 않으며, 다만 그 metric-objective gap이 능력 연구와 근본적으로 다르다고 §4.2·§6에서 더 날카롭게 다듬기로 함.

실험 결과 상세

데이터 불충분 — 이 논문은 ICML Position Paper Track의 입장(essay) 논문으로, 정량 실험·표·데이터셋이 없다. 논증은 AI 역사 사례(신경망의 AI 겨울 생존, attention의 기원 등)와 science-of-science·진화생물학·ML 학술 비평 문헌의 종합에 의존한다.

프레임워크 다이어그램

flowchart TD
    A["벤치마크 중심 선택 환경<br/>(단일 선택 규칙 지배)"] --> B["연구 환경·의제 재조직"]
    B --> C1["(i) 누가 참여하는가 §3.1"]
    B --> C2["(ii) 무엇을 선택하는가 §3.2"]
    B --> C3["(iii) 무엇이 인정/자기실격 §3.3"]
    C1 --> D["exaptation tax<br/>(굴절적응 세금)"]
    C2 --> D
    C3 --> D
    D --> E["it-harvests-more-than-it-plants:<br/>탐색적 자본을 거두되 심지 않음"]
    F["질문의 이동:<br/>capability → such-that 문제 §4"] --> G["규범(normativity)은<br/>정답이 사회적 협상의 산물"]
    G --> H["metric-objective gap이<br/>근본적으로 다름 §6"]
    E --> I["처방 §5"]
    H --> I
    I --> P1["복수 평가 체제"]
    I --> P2["비교불가 연구 보호 지대"]
    I --> P3["장기 호흡 연구비"]
    I --> P4["선택 규칙을 문제삼는 훈련 규범"]

재현성 및 신뢰도 평가

종합 등급: Evidence-Quality C / Reproducibility D

근거: 입장 논문이므로 재현할 실험·코드·데이터가 없다(Reproducibility D). 주장은 정량 검증이 아니라 역사적 사례와 폭넓은 문헌 종합으로 뒷받침되며, 논증의 명료성과 문헌 커버리지는 리뷰어 전원 “excellent” 평가를 받았으나(Support 4/4×3), 경험적 검증 가능성은 본질적으로 제한된다(Evidence-Quality C).
주장별 신뢰도:
1. “벤치마크 성공은 이전의 탐색적 자본을 거둔 것” (it-harvests-more-than-it-plants) — 개념적으로 강력하고 리뷰어 8S1b가 “특히 설득력 있다”고 평가. 신뢰도: 중(개념적 논증, 반례 정량화는 부재).
2. “신경망이 벤치마크 없이 AI 겨울을 견뎠다” — 부분적으로 취약. 리뷰어 vYco가 LeCun(MNIST)·Bengio(텍스트 지표)는 실제로 벤치마크 안에서 작업했다고 지적, 저자도 수정 동의. 신뢰도: 하(원문 수정 예정).
3. “such-that 문제는 능력 문제와 종류가 다르다” — 논문의 중심 주장이나 리뷰어 vYco는 안전·정렬도 상당 부분 벤치마킹되고 있어 이 구분이 모든 범주에 적용되진 않는다고 지적. 신뢰도: 중(저자가 §4.2·§6에서 보강 예정).

원자적 인사이트 (Zettelkasten)

단일 선택 규칙은 아이디어의 서식지를 파괴한다. 하나의 평가 규칙이 지배하면, 그 규칙에 맞지 않는 아이디어는 성능이 나빠서가 아니라 “머물 곳이 없어서” 사라진다. 다양성 상실은 품질 판단이 아니라 서식지(habitat) 문제다.
벤치마크는 수확 기계이지 파종 기계가 아니다. 벤치마크의 가시적 성공은 그 이전 세대의 탐색적 자본을 거둔 결과다. 벤치마크 자체는 다음 도약을 위한 탐색적 자본을 심지 않으므로, “성공했으니 계속하자”는 논리는 자기 소진적이다.
능력에서 규범으로의 이동은 정도가 아니라 종류의 전환이다. 능력의 정답은 자연에서 발견되어 측정되지만, 정렬·안전의 정답은 사회적 협상의 산물이라 확정되지 않고 계속 다투어져야 한다. 확립된 신뢰 없이 프록시를 최적화하는 것이 such-that 문제의 위험이다.
선택 규칙에 대한 비판은 그 자체로 핵심 연구 활동이다. 지배적 평가 규칙을 문제 삼는 메타연구를 별도 트랙과 리뷰-기여 인정으로 제도화하는 것은, 시스템이 자기 선택 압력을 스스로 재보정하게 만드는 장치다.

핵심 용어 정리

exaptation (굴절적응): 한 기능을 위해 진화·개발된 형질/아이디어가 훗날 예측 불가능한 다른 기능에 결정적으로 쓰이는 현상. 과학적 진보의 은유로 차용.
exaptation tax (굴절적응 세금): 단일 벤치마크 선택 규칙이 지배할 때, 아직 가치가 드러나지 않은 탐색적 아이디어가 생존하지 못해 분야가 미래에 치르는 기회비용.
such-that 문제: “지능적으로 행동하되(such that) 정렬·해석 가능·안전하게”처럼 조건이 붙은 문제. 능력(capability) 문제와 종류가 다른 규범적 문제.
it-harvests-more-than-it-plants: 벤치마크의 성공이 이전의 탐색적 자본을 수확한 결과일 뿐, 새 탐색적 자본을 심지는 않는다는 논증.
metric-objective gap (지표-목표 간극): 최적화하는 측정 프록시와 실제로 원하는 목표 사이의 간극. such-that 문제에서 특히 신뢰가 확립되지 않아 위험.
plural evaluation regimes (복수 평가 체제): 단일 순위표 대신 병렬 채점 기준이나 통제된 무작위성을 두어 선택 다양성을 확보하는 처방.
exploration–exploitation trade-off: 유전 알고리즘 비유에서처럼, 새로운 탐색과 기존 성과 활용 사이의 연속적 균형. 논문은 현재 과도한 exploitation 쪽에 기울었다고 봄.

BibTeX

@inproceedings{lotfi2026futures,
  title     = {Position: There are futures that benchmark-driven {AI} cannot see},
  author    = {Lotfi, Sobhan and Iranmanesh, Ava and Naghashyar, Lachin and Shirali, Ali and Nateghi Haredasht, Fateme and Koyejo, Sanmi and Torr, Philip and Lee, Yong Suk and Barez, Fazl and Lehman, Joel and Norvig, Peter and Narayanan, Arvind},
  booktitle = {Proceedings of the 43rd International Conference on Machine Learning (ICML), Position Paper Track},
  year      = {2026},
  note      = {Spotlight. OpenReview: RzWlUbmRJi}
}

벤치마크 주도 AI가 볼 수 없는 미래들

벤치마크 주도 AI가 볼 수 없는 미래들

먼저 이해하기

흐름 따라 읽기

도입 — exaptation이라는 렌즈

§3 — 벤치마크 문화가 부과하는 exaptation tax

§4 — such-that 문제

§5 — 처방 (네 장치)

§6 — metric-objective gap

대안적 견해 (Alternative Views)

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX