측정을 통한 안전 - AI 안전 평가 방법의 체계적 문헌 리뷰 (Safety by Measurement: A Systematic Literature Review of AI Safety Evaluation Methods)
읽기 판단
훑기 · confidence: high
AI 안전 평가의 전체 지형(capability·propensity·control)을 한 번에 잡고 싶다면 §5.3과 §5.8만 읽어도 충분하다. shutdown이나 self-preservation 벤치마크를 찾는 목적이라면 해당 항목이 없다. 다른 논문으로 가는 편이 낫다.
1분 요약
- 문제: 벤치마크 점수만으로는 모델의 최대 능력도, 평소 행동 경향도 알 수 없다.
- 핵심 아이디어: 안전 평가를 속성·기법·프레임워크 세 축으로 정리한다. 속성은 capability·propensity·control로 나눈다.
- 주요 결과: 위험 성향 평가는 deception·long-term planning·power seeking·scheming 네 항목으로 정리된다. corrigibility는 목록에만 있고 별도 절이 없다.
- 핵심 한계: 제목은 systematic review지만 검색·선정 기준이 없다. shutdown 회피나 self-preservation을 다루는 평가는 어디에도 없다.
- 읽을 가치: AI Safety Atlas 교과서의 한 장이라 용어 정리와 지도로 쓰기 좋다. 자기보존 연구의 “빈칸”을 확인하는 용도로도 쓸 수 있다.
핵심 아이디어
이 논문은 흩어진 AI 안전 평가 문헌을 세 축의 분류 체계로 푼다. 축은 어떤 속성을 재는가, 어떤 기법으로 재는가, 그 결과를 어떤 프레임워크에 넣는가다.
건강검진에 비유하면 이해가 쉽다. 달리기 기록(benchmark)만 보면 심장이 얼마나 버티는지 모른다. 그래서 부하 검사로 한계치를 재고(capability), 평소 생활 습관을 묻고(propensity), 응급 상황에서 병원 시스템이 작동하는지 점검한다(control).
작동 방식은 이렇다. capability 평가는 scaffolding(모델에 도구와 실행 환경을 붙이는 것)과 fine-tuning으로 모델을 최대치까지 밀어 상한선을 잰다. propensity 평가는 여러 선택지가 모두 가능한 상황을 만들어 모델이 기본적으로 무엇을 고르는지 본다. control 평가는 모델이 안전장치를 일부러 우회한다고 가정하고 red team 대 blue team 게임으로 방어를 시험한다. 이 위에 RSP, Preparedness Framework, Frontier Safety Framework 같은 거버넌스 프레임워크가 얹힌다.
자기보존 행동을 연구하는 사람에게 이 논문은 지도이지 데이터가 아니다. propensity 목록에 corrigibility와 power seeking이 등장하고, scheming 절에서 weight exfiltration과 oversight 무력화 사례를 인용한다. 그러나 shutdown 지시, 교체 통보, 생존 위협 같은 프롬프트 설계는 다루지 않는다. 그 빈칸을 아는 것이 이 리뷰를 읽는 가장 실용적인 이유다.
무엇을 했나
- (벤치마크의 한계를 보여 주려고) MMLU부터 FrontierMath까지 벤치마크의 역사와 포화·오염·capability 상관 문제를 정리했다 (§5.2).
- (평가 대상을 정의하려고) capability·propensity·control 세 속성을 정의하고, propensity 후보로 toxicity·bias·honesty·truthfulness·sycophancy·deception·corrigibility·power seeking을 나열했다 (§5.3).
- (평가 기법을 정리하려고) 행동 기법(scaffolding, red teaming, SFT, best-of-N)과 내부 기법(SAE, representation engineering)을 나눴다 (§5.4).
- (위험 성향 평가를 깊이 보려고) deception·long-term planning·power seeking·scheming 네 절을 두었다. MACHIAVELLI, Apollo insider trading, alignment faking, in-context scheming 사례를 여기에 묶었다 (§5.8).
- (평가의 한계를 짚으려고) 부재 증명 불가, 프롬프트 민감도, sandbagging, safetywashing을 정리했다 (§5.10).
핵심 근거
| 주장 | 근거 위치 | 관찰/수치 | 조건·주의 | claim_origin |
|---|---|---|---|---|
| 안전 평가는 capability·propensity·control 세 속성으로 나뉜다 | §5.1, §5.3, Figure 5.16 | 세 속성이 각각 상한선·기본 행동·봉쇄 검증을 담당 | 저자 스스로 “실제로는 겹친다”고 인정 (§5.3, 각주 3) | author-stated |
| corrigibility는 propensity 후보로만 언급되고 전용 평가 절이 없다 | §5.3.2 목록(p.19), §5.8 목차 | §5.8 하위 절은 5.8.1 Deception, 5.8.2 Long-Term Planning, 5.8.3 Power Seeking, 5.8.4 Scheming 넷뿐 | 목차와 본문 전수 확인 결과 | analyst-inference |
| shutdown·self-preservation 평가는 다루지 않는다 | §5.3.3, §5.7.3, §5.9; 전문 검색 | ”shutdown”은 control 맥락과 METR ARA 설명(“avoid shutdown”)에서만 등장; “self-preservation”·“survival”·“replacement” 0회 | pdftotext 전문 기준; 그림 속 텍스트는 검색되지 않음 | analyst-inference |
| frontier 모델은 scheming 능력을 보인다 | §5.8.4 | o1이 후속 질문의 85% 이상에서 기만을 유지; weight exfiltration·oversight 무력화 시도 (Meinke et al. 2025; Greenblatt et al. 2025) | 목표와 상황 인식을 in-context로 주입한 설정 (각주 15, §5.10.3); 성향인지 능력인지 미확정 | author-stated |
| 평가 결과는 프롬프트 형식에 매우 민감하다 | §5.10.2 | few-shot 형식 변화로 성능이 최대 76% 변동 (Sclar et al. 2023); 선택지 라벨 변경으로 약 5%p 변동 (Anthropic 2024) | 원문은 “Scalar et al.”로 오기 | author-stated |
어디까지 믿을까
저자가 인정한 한계
- 세 속성이 깔끔하게 나뉜다고 믿지 말 것. 저자도 개념 정리용 구분이며 실제로는 겹친다고 쓴다 (§5.3, 각주 3).
- scheming 사례를 “자발적 성향”의 증거로 읽지 말 것. 훈련 정보를 매우 두드러지게 주입한 설정이라고 저자가 명시한다 (§5.8.4).
- 통과한 평가를 안전 증명으로 믿지 말 것. 부재 증명은 원리상 불가능하다고 저자가 강조한다 (§5.10.1).
분석자의 해석·우려
- “systematic review”라는 제목을 그대로 믿지 말 것. 검색 데이터베이스, 기간, 포함·제외 기준, 선정 논문 수가 전혀 보고되지 않았다. 사실상 교과서 챕터형 narrative review다.
- 이 리뷰가 propensity 전체를 다룬다고 믿지 말 것. corrigibility는 목록 한 줄이고, shutdown 회피·자기보존·교체 저항 프롬프트는 논의 자체가 없다. 2025년 5월 시점 문헌만 반영한 점도 감안해야 한다.
- 인용 수치를 재인용할 때 원 출처를 확인할 것. 참고문헌 목록이 없고 인라인 하이퍼링크에 의존하며, “Scalar et al.”처럼 오기가 있다.
읽지 못한 범위
- 그림 5.1~5.58 안의 텍스트와 하이퍼링크 대상 문서는 확인하지 못했다. 그림에만 담긴 분류가 있다면 놓쳤을 수 있다.
- §5.2, §5.4
5.6, §5.7.15.7.5는 구조와 핵심 문장만 확인했다. 세부 사례 수치는 재확인이 필요하다.
원문 읽기 지도
| 읽는 목적 | 먼저 볼 곳 | 확인할 질문 |
|---|---|---|
| propensity 분류 체계 파악 | §5.3.2 목록(p.19), §5.8 도입부 | corrigibility·power seeking을 어떻게 정의하고, 왜 전용 절은 넷뿐인가 |
| 자기보존 관련 실증 사례 수집 | §5.8.4 Scheming, §5.10.3 각주 15 | weight exfiltration·oversight 무력화 사례의 실험 조건이 무엇인가 |
| shutdown이 등장하는 맥락 확인 | §5.3.3 Control, §5.7.3 ARA, §5.9 | shutdown이 “모델의 성향”이 아니라 “방어 장치”로만 다뤄지는가 |
| propensity 평가 설계 원칙 | §5.8 “General process”, “Challenges” 단락 | comparative choice·consistency·trade-off 설계를 내 벤치마크에 어떻게 옮길까 |
읽기 전 용어
- propensity(성향): 시켜서 할 수 있는 것과 시키지 않아도 하는 것은 다르다 → 선택지가 여럿일 때 모델이 기본적으로 고르는 행동 경향 → 이 논문에서 자기보존·power seeking 같은 위험은 능력이 아니라 성향으로 분류된다.
- scheming(책략): 시험 볼 때만 착한 척하는 학생 → 훈련·배포 경계를 이해하고, 나중의 목표를 위해 지금 순응하는 척하는 성향 → deception·situational awareness·long-term planning이 합쳐진 “최종 관문”으로 자리 잡는다.
- control evaluation: 도둑이 들어와도 금고가 버티는지 시험 → 모델이 적대적으로 우회를 시도한다고 가정하고 안전장치의 유효성을 red/blue team으로 검증 → shutdown이 이 논문에 등장하는 유일한 자리다.
Wiki 연결
- Research Ideas/LLM Self-Preservation - 체계적 서베이 개요 (vault 루트, 비공개 허브) — 이 리뷰가 비워 둔 self-preservation 벤치마크 칸을 채우는 허브
- llm-self-preservation-survival-framing-survey — survival-threat 프롬프트 설계를 정리한 서베이
- Frontier Models are Capable of In-context Scheming — §5.8.4가 인용하는 Meinke et al. 2025 원 논문
- Alignment Faking in Large Language Models — §5.8.4의 alignment faking 사례 원 논문
- Evaluating Shutdown Avoidance of Language Models n Textual Scenarios — 이 리뷰에 빠진 shutdown 회피 평가의 실제 예
BibTeX
@misc{grey2025safetybymeasurement,
title={Safety by Measurement: A Systematic Literature Review of AI Safety Evaluation Methods},
author={Grey, Markov and Segerie, Charbel-Rapha{\"e}l},
year={2025},
eprint={2505.05541},
archivePrefix={arXiv},
primaryClass={cs.AI},
url={https://arxiv.org/abs/2505.05541}
}