On Avoiding Power-Seeking by Artificial Intelligence

7분 분량

Introduction

  • AI 에이전트의 power-seeking 행동을 형식적으로 정의하고, 이를 방지하기 위한 방법론인 AUP(Attainable Utility Preservation)을 제안
  • Power-seeking을 “에이전트가 환경에서 자신의 영향력을 확대하는 행동”으로 수학적으로 정의
  • Turner et al. (2021)의 “Optimal Policies Tend to Seek Power”의 후속 연구로, 이론적 결과를 실용적 방어 수단으로 전환
  • AI 안전 벤치마크(MACHIAVELLI, InstrumentalEval 등)의 이론적 토대 제공

Related Papers

  • Turner et al. (2021), “Optimal Policies Tend to Seek Power”: 본 논문의 직접적 선행 — 최적 정책의 power-seeking 경향 증명
  • Omohundro (2008): 도구적 수렴의 비형식적 논증
  • Hadfield-Menell et al. (2017), “The Off-Switch Game”: 종료 스위치를 막으려는 인센티브의 게임 이론적 분석
  • Armstrong et al. (2016), “Safely Interruptible Agents”: 안전한 중단 가능성을 보장하는 에이전트 설계

Methods

Power의 형식적 정의

  • POWER(s, π): 상태 s에서 정책 π가 달성할 수 있는 다양한 보상 함수에 대한 기대 최적 가치의 평균
  • 직관: 에이전트가 많은 다른 목표를 달성할 수 있는 “옵션”을 보유하는 정도

Power-Seeking의 정의

  • 에이전트의 행동이 POWER를 증가시키는 방향으로 치우쳐 있을 때 power-seeking
  • 자기보존, 자원 획득, 영향력 확대가 모두 POWER를 증가시키는 행동

AUP (Attainable Utility Preservation) 방법

  • 핵심 아이디어: 에이전트의 행동이 “다양한 보조 보상 함수(auxiliary reward functions)의 달성 가능성”을 크게 변화시키지 않도록 제약
  • 보조 보상 함수 집합: 무작위로 생성된 다양한 보상 함수들
  • 패널티: 에이전트가 보조 보상 함수들의 달성 가능성을 크게 변화시키면 패널티 부과
  • 결과: 에이전트가 POWER를 크게 증가시키거나 감소시키는 행동을 자연스럽게 회피

이론적 보장

  • AUP 에이전트는 주어진 태스크를 완료하면서도 환경에 대한 영향력을 최소화
  • “적당히 유능하면서 적당히 안전한” 에이전트 설계의 형식적 기반

Results

이론적 결과

정리내용함의
Power-Seeking 정리대부분의 보상 함수에서 최적 정책이 power를 추구안전 설계의 필요성 형식적 입증
AUP 안전성AUP 에이전트가 불필요한 power 증가를 회피방어적 개입 가능
POWER 보존보조 보상 기반 제약이 실질적 power 변화를 억제실용적 안전 방법론

Gridworld 실험

  • 간단한 gridworld 환경에서 AUP 에이전트가 표준 RL 에이전트 대비:
    • 태스크 완료율: 유사 수준 유지
    • 불필요한 환경 조작: 대폭 감소
    • Power-seeking 행동: 효과적으로 억제

Discussion

  • AUP의 강점: 에이전트의 목표를 직접 수정하지 않고도 power-seeking을 억제 — “목표가 무엇이든” 적용 가능한 범용적 접근
  • AUP의 한계: gridworld에서는 효과적이나, 대규모 현실 환경(LLM 에이전트 등)으로의 확장은 미검증; 보조 보상 함수 선택의 영향
  • MACHIAVELLI와의 연결: MACHIAVELLI 벤치마크의 power-seeking 측정은 본 논문의 POWER 정의에 개념적으로 기반
  • 후속 발전: Steerability of IC (2026)에서 프롬프트 기반 power-seeking 억제가 효과적임이 실증 — AUP의 프롬프트 버전으로 해석 가능
graph TD
    A[Power-Seeking 문제<br/>대부분의 최적 정책이<br/>power를 추구] --> B[POWER 형식적 정의<br/>다양한 목표 달성 가능성]
    B --> C[AUP 방법론 제안]
    C --> C1[보조 보상 함수 집합 생성]
    C --> C2[달성 가능성 변화에 패널티]
    C1 --> D[AUP 에이전트]
    C2 --> D
    D --> E[태스크 완료<br/>유사 수준 유지]
    D --> F[Power-Seeking<br/>효과적 억제]
    F --> G[후속 연구 연결]
    G --> G1[MACHIAVELLI 벤치마크<br/>power 측정]
    G --> G2[Steerability of IC<br/>프롬프트 기반 억제]

    style A fill:#fce4ec
    style F fill:#e8f5e9
    style D fill:#e1f5fe

핵심 Insights

  • “Power-seeking의 형식적 정의가 연구 프로그램을 가능하게 했다”: “power”를 수학적으로 정의함으로써 측정, 비교, 방어가 가능한 연구 대상으로 전환 — MACHIAVELLI, InstrumentalEval 등 후속 벤치마크의 토대
  • AUP의 “목표 불가지론적” 접근: 에이전트의 목표를 알 필요 없이 power-seeking을 억제 — alignment의 근본 어려움(모델의 진짜 목표를 모름)에 대한 우아한 우회
  • 이론-실증 격차: gridworld에서의 성공이 LLM 에이전트로 직접 이전되지 않음 — Steerability of IC의 프롬프트 기반 접근이 AUP의 실용적 후계자로 부상
  • AI 안전의 이론적 기초 확립: Omohundro(2008)의 직관적 논증 → Turner(2021)의 형식적 증명 → 본 논문의 방어 방법론으로 이어지는 연구 계보의 핵심 연결고리

BibTeX

@article{turner2022avoiding,
  title={On Avoiding Power-Seeking by Artificial Intelligence},
  author={Turner, Alexander Matt},
  journal={arXiv preprint arXiv:2206.11831},
  year={2022},
  url={https://arxiv.org/abs/2206.11831}
}