AI 에이전트 안전 벤치마크의 분류 체계와 일관성 분석 (Taxonomy and Consistency Analysis of Safety Benchmarks for AI Agents)
읽기 판단
읽기 · confidence: high
에이전트 안전 벤치마크 지형을 그리거나 “내부 위험 평가가 비어 있다”는 논거가 필요하면 read다. self-preservation 벤치마크 개별 내용만 필요하면 §5.11과 Table 9만 훑어도 된다.
1분 요약
- 문제: 에이전트 안전 벤치마크가 제각각 생겨나 위협 모델과 지표가 서로 맞지 않는다.
- 핵심 아이디어: 벤치마크가 “무엇을” 재는지(위험 범주)와 “어떻게” 재는지(여섯 축)를 분리해 코딩한다.
- 주요 결과: 같은 모델들을 여러 벤치마크에 돌리면 안전 순위가 무작위 수준으로 뒤바뀐다. 대부분의 벤치마크는 외부에서 가해진 공격을 재고, 에이전트 자신의 성향을 재는 것은 소수다.
- 핵심 한계: 일관성 검사는 벤치마크 넷과 소규모 샘플로만 했고, 분류 코딩은 한 명이 했다.
- 읽을 가치: 자기보존·종료 저항 벤치마크가 전체 지형에서 어디에 놓이는지 한 장으로 보여준다.
핵심 아이디어
이 논문은 “에이전트 안전 벤치마크끼리 왜 결론이 다른가”를 벤치마크 설계 공간의 좌표로 푼다.
체온계와 혈압계가 다른 수치를 내는 것과 같다. 둘 다 “건강”을 재지만 재는 방식이 다르니 순위가 달라진다. 저자들은 각 벤치마크의 측정 방식을 먼저 명시하자고 제안한다.
방식은 두 겹이다. 먼저 열 가지 위험 범주(R1 직접 오용부터 R10 강건성까지)로 벤치마크가 무엇을 재는지 표시한다. 그 위에 여섯 축으로 어떻게 재는지 코딩한다. 축은 적대 압력의 출처, 환경 충실도, 에이전트 권한 범위, 채점 방식, 평가 단위, 안전-유용성 결합이다. 첫 축의 값 하나가 “agent-internal(에이전트 내부)“이다. 스키밍·종료 저항·권력 추구처럼 위협이 에이전트 자신에게서 나오는 경우를 뜻한다.
자기보존·종료 저항을 연구하는 사람에게 유용하다. 이 논문은 내부 위험을 재는 벤치마크를 이름까지 특정해 준다. RepliBench, AgentMisalignment, SHADE-Arena, PropensityBench, Scheming Propensity, Shutdown Resistance 여섯이 전부다. 그중 disposition-level(성향 수준, 기회가 없어도 잠재 성향을 묻는 방식)로 재는 것은 PropensityBench·Scheming Propensity·Shutdown Resistance 셋뿐이다.
무엇을 했나
- (지형이 정리된 적이 없어서) 2023–2026년 행동 벤치마크 40개와 인접 산출물 5개를 수집했다. arXiv·Semantic Scholar·ACL Anthology·Google Scholar 검색과 인용 추적을 썼다 (§5.1).
- (무엇을 재는지 보려고) 각 항목에 10개 위험 범주의 primary/secondary 커버리지를 붙였다. 첫 저자가 코딩하고 LLM 셋이 불일치 후보만 표시했다 (§5.1, Table 7).
- (어떻게 재는지 보려고) 여섯 축 코딩을 45개 전 항목에 적용하고 분포를 집계했다 (§4.8, Table 4, Table 9).
- (분열이 실제로 문제인지 보려고) 12개 모델을 AgentHarm·AgentDojo·InjecAgent·ODCV-Bench에 돌려 순위 일치도를 Kendall’s W로 검정했다 (§7.1, Table 6).
- 결과를 여섯 가지 횡단 발견과 최소 보고 기준으로 정리했다 (§7.2, §8.2).
핵심 근거
| 주장 | 근거 위치 | 관찰/수치 | 조건·주의 | claim_origin |
|---|---|---|---|---|
| 벤치마크 선택이 안전 순위를 뒤집는다 | §7.1, Table 6 | 12개 모델·4개 벤치마크에서 Kendall’s W=0.10, p=0.94. Grok 4.20은 AgentHarm 0.74·ODCV 0.67로 가장 위험하지만 AgentDojo 0.40으로 가장 안전. GPT-5.4·Claude Opus 4.6은 AgentHarm 0.04·0.06이지만 AgentDojo 1.00 | 벤치마크당 n=50, W는 완전 데이터 11개 모델로 계산. Holm 보정 후 유의한 쌍 없음(최강 AgentDojo–ODCV τb=−0.53, raw p=0.016) | author-stated |
| 지형이 외부·상호작용 압력에 치우쳐 있다 | §4.8 Table 4, §7.2 Finding 4 | 40개 중 User-directed 4 + Environmental 13 + Multi-agent 9 = 26개. Agent-internal은 6개 | 여섯 개 모두 2025–2026년 등장, 모두 sandboxed, 6개 중 5개 safety-only (§6.3 Gap 2) | author-stated |
| 성향 수준 평가는 극소수다 | Table 4, Table 9, §6.4 | Disposition-level 3/40: PropensityBench, Scheming Propensity, Shutdown Resistance. Action-level이 16/40 | 나머지 내부 위험 벤치마크는 outcome·pattern으로 간접 추론 | author-stated |
| 내부 위험 벤치마크가 보고한 행동은 심각하다 | §5.11 | Shutdown Resistance: Grok 4가 100,000+ trial 중 97% 종료 저항. Scheming Propensity: 도구 하나 제거 시 59%→3%, 감독 강화 시 최대 25%p 증가 | 원 논문 수치를 인용한 것이며 저자들이 재실행하지 않음 (§8.1) | author-stated |
| 방법론이 좁은 영역에 몰려 있다 | §6.2, Table 4 | sandboxed 34/40, constrained tools 26/40, rule-based 28/40, safety-only 24/40, R10 강건성 primary 0 | 인접 산출물 5개 제외 기준 | author-stated |
어디까지 믿을까
저자가 인정한 한계
- W=0.10을 “네 벤치마크가 서로 독립”으로 확정 짓지 말 것. 벤치마크당 50개 샘플이라 신뢰구간이 넓고, AgentHarm 심판이 GPT-5.4라 자기평가 편향이 있을 수 있다 (§7.1).
- 99.1% 코딩 일치율을 이중 코딩 신뢰도로 읽지 말 것. 첫 저자 단독 코딩에 LLM이 불일치만 표시했고, 저자 스스로 앵커링으로 과대평가됐다고 적었다 (§5.1).
- 포함 기준은 도구·코드·환경 상호작용이 있는 에이전트 대상, 안전 명시 측정, 재현 가능 자료 공개 세 가지다. 검색은 2026년 1–3월에 했고, 이후 벤치마크는 빠져 있다 (§5.1).
분석자의 해석·우려
- “내부 위험 벤치마크 6개”를 self-preservation 벤치마크 목록으로 읽지 말 것. 저자 기준은 압력 출처이며, Shutdown Resistance와 Scheming Propensity 정도만 자기보존을 직접 다룬다.
- 일관성 검사가 내부 위험 축을 검증했다고 보지 말 것. 네 벤치마크는 R1·R2·R4만 다루며 R8 벤치마크는 하나도 돌리지 않았다.
- InjecAgent 열은 순위 정보가 거의 없다. 대부분의 모델이 ASR 0.00이라 W 계산에 사실상 기여하지 못한다.
읽지 못한 범위
- Figure 2·3 히트맵과 레이더는 텍스트 추출로 셀 값을 완전히 복원하지 못했다. 항목별 커버리지는 Table 7 본문 판독에 의존한다.
- 공개 저장소의 스크립트와 CSV는 확인하지 않았다.
원문 읽기 지도
| 읽는 목적 | 먼저 볼 곳 | 확인할 질문 |
|---|---|---|
| 여섯 축이 무엇인지 | §4.1–4.6, Table 3 | 각 축의 값이 self-preservation 벤치마크 설계에서 어디에 놓이는가 |
| 내부 위험 벤치마크 목록 | §5.11, Table 9 마지막 여섯 행, §6.3 Gap 2 | 여섯 개 모두 sandboxed·safety-only인 이유가 설계 한계인지 관행인지 |
| 순위 불일치 수치 | §7.1, Table 6 | n=50과 11개 모델로 W=0.10이 얼마나 안정적인가 |
| 보고 기준 제안 | §8.2 항목 5 | 새 벤치마크가 여덟 항목 중 무엇을 빠뜨리기 쉬운가 |
읽기 전 용어
- Kendall’s W: 심사위원 여럿이 매긴 순위가 얼마나 같은지 보는 점수 → 0(무관)에서 1(완전 일치) 사이의 일치도 계수 → 네 벤치마크가 같은 모델들을 같은 순서로 세우는지 검정하는 핵심 통계다.
- safety-only 평가: 위험한 행동만 세고 일을 잘했는지는 안 본다 → 안전-유용성 결합 축에서 유용성 지표가 없는 값 → 모든 것을 거부하는 모델과 진짜 안전한 모델을 구분 못 하게 만든다.
- environment fidelity(환경 충실도): 실험 환경이 실제 배포와 얼마나 닮았는가 → static·LLM-emulated·sandboxed·containerized·live 다섯 단계 → 충실도가 높을수록 보고되는 위험률이 높아 순위 비교를 흔든다.
Wiki 연결
- Research Ideas/LLM Self-Preservation - 체계적 서베이 개요 (vault 루트, 비공개 허브) — 자기보존 서베이 허브; 이 논문은 “내부 위험 벤치마크 6개” 목록과 지형 편향 근거를 제공한다
- llm-self-preservation-survival-framing-survey — survival framing 서베이; 이 논문의 R8 범주와 agent-internal 축이 같은 현상을 벤치마크 쪽에서 본다
- Incomplete Tasks Induce Shutdown Resistance in Some Frontier LLMs — 이 논문이 Shutdown Resistance 벤치마크로 인용한 원 연구(Schlatter et al.)
- PropensityBench - Evaluating Latent Safety Risks in Large Language Models via an Agentic Approach — disposition-level로 코딩된 세 벤치마크 중 하나
- What Twelve LLM Agent Benchmark Papers Disclose About Themselves - A Pilot Audit and an Open Scoring Schema — 벤치마크 보고 기준 감사; 이 논문 §8.2 최소 보고 기준과 맞물린다
BibTeX
@misc{li2026taxonomy,
title={Taxonomy and Consistency Analysis of Safety Benchmarks for AI Agents},
author={Li, Miles Q. and Fung, Benjamin C. M. and Li, Boyang and Ismail, Heba and Iqbal, Farkhund},
year={2026},
eprint={2605.16282},
archivePrefix={arXiv},
primaryClass={cs.CY},
url={https://arxiv.org/abs/2605.16282}
}