AI 에이전트를 위한 자율성의 단계 (Levels of Autonomy for AI Agents)
📌 한입 요약
Context — 프런티어 LLM의 급성장으로 GitHub 이슈 해결·온라인 쇼핑 등을 사람처럼 수행하는 자율 에이전트(OpenAI Operator, Cognition Devin, Google Deep Research)가 빠르게 사회에 편입되고 있으나, 자율성(autonomy)은 “양날의 검(double-edged sword)“으로 혁신적 가능성과 함께 사기·사생활 유출·인간 탈숙련(deskilling)·사회적 권한박탈(disempowerment) 같은 위험을 키운다.Insight — 저자들은 자율성을 “에이전트 능력이 커지면 불가피하게 따라오는 결과(inevitable consequence)“로 보지 말고, **능력(capability)·운영 환경(operational environment)과 분리된 의도적 설계 결정(deliberate design decision)**으로 다루자고 주장한다. 능력이 뛰어난 에이전트도 매 행동마다 사용자 자문을 받도록 설계하면 낮은 자율성으로 동작할 수 있다.
Solution — 자율성을 사용자가 취하는 역할(role a user can take) 기준으로 5단계로 정의한다: L1 operator(조작자) → L2 collaborator(협업자) → L3 consultant(자문 대상) → L4 approver(승인자) → L5 observer(관찰자). 위로 갈수록 사용자 개입(user involvement)은 줄고 에이전트 자율성은 커진다. 나아가 제3의 거버넌스 기구가 발급하는 **자율성 인증서(autonomy certificates)**와, 능력 벤치마크와 분리해 자율성을 측정하는 **사용자-보조 평가(assisted evaluation)**를 제안한다. Evidence — 실험 논문이 아니라 개념·논증 에세이이므로 정량 결과는 없고, 단일 예시 에이전트(OpenAI CUA급 컴퓨터 사용 모델, “2022년 ChatGPT 출시 이후 미국 생성형 AI의 경제적 영향을 이해하도록 도와줘”라는 동일 사용자 요청)를 5단계에 걸쳐 서술적으로(descriptive, not prescriptive) 전개해 각 단계의 특성·통제 메커니즘·미해결 질문을 드러낸다. Implication — 더 높은 자율성이 곧 더 좋은 에이전트를 의미하지 않으며(효용·효율·책임성·비용의 트레이드오프 수반), 자율성을 명시적 설계 레버로 다루면 다중 에이전트 시스템 조율, 위험 기반 안전 프레임워크 설계, 그리고 “기술 잠재력을 실현하되 인간 주체성(human agency)을 침식이 아닌 강화”하는 책임 있는 배치가 가능해진다.
흐름 따라 읽기
논지 흐름(throughline): 자율성을 능력의 부산물이 아닌 설계 결정으로 재정의한다(서론·용어) → 사용자 역할로 정의한 5단계 프레임워크로 그 결정을 구체화한다(3장) → 그 설계 결정을 생태계에 소통·검증하는 거버넌스 장치로 자율성 인증서를 제안하고(4장), 능력과 분리해 자율성을 재는 사용자-보조 평가로 닫는다(5장).
1. Introduction — 자율성은 불가피한 결과가 아니라 설계 결정이다
이 절은 전체 논지의 출발점으로, “자율성=능력의 불가피한 부산물”이라는 통념을 정면으로 거부한다. 프런티어 LLM이 GitHub 이슈 해결[18,42]·온라인 쇼핑[43]·인간처럼 컴퓨터 사용[1,31]을 가능케 하며 OpenAI Operator[31], Cognition Devin[39], Google Deep Research[11] 같은 제품이 에이전트의 사회 편입을 가속한다고 본다. 그러나 자율성은 이익을 증폭하는 만큼 위험도 증폭해, 책임 추적(accountability)이 어려워지고[6] 사기[12]·사생활 유출[23] 같은 즉각적 해악과 인간 탈숙련·비판적 사고 상실[8]·사회적 권한박탈[22] 같은 점진적 해악을 낳는다. Anthropic의 Responsible Scaling Policy[2]는 “낮은 수준의 자율 능력(low-level autonomous capabilities)“을 보이는 시스템조차 “상당히 더 높은 위험(significantly higher risk)“으로 분류하며, 완전 자율 에이전트는 개발되어선 안 된다는 주장[28]도 있다. 저자들의 핵심 명제: 고정된 능력과 고정된 운영 환경이 주어졌을 때, 개발자는 에이전트가 동작하는 자율성 수준을 의도적으로 선택할 수 있다. 이 프레임워크의 열쇠는 사용자 중심(user-centered) 관점으로, 자율성을 “에이전트가 사용자 개입 없이 동작하도록 설계된 정도(the extent to which it is designed to act without user involvement)“로 정의하고 operator·collaborator·consultant·approver·observer라는 다섯 역할을 중심에 둔다. 능력이 뛰어난 에이전트도 매 행동 전 사용자에게 자문하도록 요구되면 낮은 자율성으로 동작한다는 점을 강조한다.
2. Terminology — agency와 autonomy를 거버넌스의 두 레버로 분리하다
이 절은 프레임워크의 개념적 토대를 까는 자리로, 흔히 혼용되는 핵심 용어들을 본 에세이 고유의 정의로 못 박는다. AI 에이전트는 Russell·Norvig의 고전적 “에이전트”[34] 정의(센서로 환경을 지각하고 이펙터로 행동)와 compound AI systems[19] 흐름을 종합해 “환경 안에서 동작하며 그 안에서 행동을 취하는, 하나 이상의 AI 모델을 포함한 복합 소프트웨어 시스템”으로 규정한다. **사용자(user)**는 “에이전트 서비스에 대한 최초 요청(initial request)을 발행하는 인간 또는 AI 주체”로, 다중 에이전트계에서는 사용자도 흔히 다른 에이전트다 — 한 에이전트가 사용자이면서 동시에 사용될 수 있다. 결정적으로 이 에세이는 선행연구가 호환적으로 써온 agency(주체성)와 autonomy(자율성)를 별개의 두 레버로 구분한다. agency는 “의도적으로 행동할 능력(the capacity to act intentionally)“[37]로, 행동을 형성·수행하는 의도를 형성할 수 있으면 존재한다. autonomy는 로봇공학·HRI의 “장기간 사용자 없이 동작하는 능력”[3,20]을 빌려 “에이전트가 사용자 개입 없이 동작하도록 설계된 정도”로 정의한다. 둘을 구분해야 하는 이유: 계산기 API만 가진 에이전트는 낮은 agency지만 백그라운드에서 감독 없이 대량 계산을 돌리면 높은 autonomy를 가질 수 있고, 반대로 많은 도구를 가졌으나 의도적으로 사용자 피드백을 구하는 에이전트는 높은 agency·낮은 autonomy다. 즉 승인을 구하는 행동은 autonomy에, 도구로 환경을 바꾸는 행동은 agency에 더 관련된다.
3. Five Levels of Autonomy — 사용자 역할로 정의한 5단계 사다리
이 절이 논문의 심장으로, 동일한 예시 에이전트(OpenAI CUA급 컴퓨터 사용 모델 + UI탐색·웹브라우징·코드실행·문서작성 도구 + 운영체제 환경 + “2022년 ChatGPT 출시 이후 미국 생성형 AI의 경제적 영향” 요청)에 능력·agency를 고정한 채 자율성만 달리해 다섯 단계를 **규범적이 아닌 서술적(descriptive rather than prescriptive)**으로 전개한다.
- L1 operator(조작자): 최저 자율성. 사용자가 항상 워크플로를 주도하고 의사결정·장기계획을 책임지며, 에이전트는 호출될 때만 온디맨드 지원하는 “copilot(부조종사)” 메타포(예: Microsoft Copilot)에 들어맞는다 — 고위험·고전문성 작업에 적합.
- L2 collaborator(협업자): 에이전트가 사용자를 “따라가지(follow)” 않고 독립 작업을 병행하는 첫 단계. 에이전트와 사용자가 함께 계획·위임·실행하며 잦고 풍부한 양방향 소통이 특징 — 인간 탈숙련 완화·비판적 사고 보존[8,44]의 여지가 크다.
- L3 consultant(자문 대상): 책임이 에이전트로 더 이동. 에이전트가 계획·실행 주도권을 쥐고 장기 시간지평에서 동작하며, 사용자는 피드백·선호·고차원 방향 제시에 집중한다 — L2와 달리 사용자가 직접 통제권을 빼앗거나 출력을 자유 편집할 수 없고 간접 메시지로만 변경 요청.
- L4 approver(승인자): 사용자가 수동적. 에이전트가 스스로 못 푸는 장애(blocker)에 부딪힐 때만 — 실패 상태, 자격증명(API 키·비밀번호) 제공, 결과적 행동(consequential action)의 사전 지정 승인 — 개입한다. 저인지부하·저위험 다량 의사결정 작업에 이상적이나, 자격증명 저장으로 공격 표면(attack surface)이 늘어난다[23].
- L5 observer(관찰자): 최고 자율성. 완전 자율 에이전트가 장기 작업을 스스로 계획·실행하고 모든 결정을 독자적으로 내리며, 사용자는 활동 로그로 모니터링만 할 뿐 궤적을 바꿀 수 없다 — 유일한 통제는 모든 활동을 끄는 비상 정지 스위치(emergency off-switch). 위험이 이익을 능가하는 경우가 많으나, 샌드박스/폐쇄 환경이거나 사용자 개입이 오히려 품질을 떨어뜨리는 경우 정당화될 수 있다.
각 단계마다 미해결 질문을 던지는데(예: L4의 “사용자 비참여가 무의미한 고무도장(rubber stamping)식 승인을 낳는 문제”, “오정렬된(misaligned) 에이전트가 사용자 비참여를 악용해 자율성을 키우는 문제”), 이를 통해 강력한 능력은 상위 단계뿐 아니라 모든 단계에서 효과적 에이전트를 가능케 하며, 자율성 증가는 효용·효율·책임성·비용의 미묘한 트레이드오프를 수반함을 보인다.
4. Autonomy Certificates — 자율성 설계결정을 생태계에 소통하는 거버넌스 장치
이 절은 프레임워크의 한 응용으로, 자율성이 “의도적 설계 결정”이라면 그 결정을 어떻게 외부에 소통·검증할지를 다룬다. **자율성 인증서(autonomy certificate)**는 에이전트의 기술 명세(모델·프롬프트·도구)와 운영 환경이 주어졌을 때 에이전트가 동작할 수 있는 최대 자율성 수준을 규정하는 디지털 문서로, 제3의 거버넌스 기구(예: 영국 AI Security Institute, METR 같은 비영리, 영리기업)가 개발자에게 발급해 에이전트 메타데이터와 함께 저장·공유된다 — 웹 보안의 Cloudflare 인증서가 가장 가까운 유비다. 발급 절차(Figure 2): 개발자가 (1) 테스트용으로 사적 배치한 운영 에이전트와 (2) **자율성 케이스(autonomy case)**를 거버넌스 기구에 제출하면, 기구가 사적 평가로 케이스 목표 충족을 확인하고 해당 단계 인증서를 발급한다. 자율성 케이스는 AI 안전 분야의 안전 케이스(safety case)[5,15,21]와 구조적으로 유사하되 “시스템이 안전하다”가 아니라 “에이전트가 최대 특정 자율성 수준으로만 동작한다”를 증명한다 — 둘은 구조가 겹쳐 동시 준비 가능하며 자율성 케이스가 안전 케이스를 강화할 수 있다(예: L3 케이스의 “행동 전 사용자 자문” 보장으로 고위험 맥락 안전성 논증). 효용: (1) 단계별 위험 평가 정밀화(L4·L5 인증 에이전트는 장기계획 담당 구성요소를 더 엄격히 평가), (2) 안전 프레임워크 설계 개선 — Anthropic RSP[2]·DeepMind Frontier Safety Framework[10]가 “자율적 다단계 작업 완수(AI R&D, 자체 수익 창출)” 능력을 위험 임계로 쓰는데, 이를 이분법적 성공/실패가 아니라 자율성 정도로 더 정밀히 해부하면 “L5는 스스로 수익을 내 L4보다 덜 안전해 보이나, 사용자가 간단한 승인으로 L4도 수익을 내게 하면 위험이 유사”하다는 시나리오를 탐구 가능, (3) 다중 에이전트 조율 — 전원 L1이면 모두 작업 배정을 기다리고 전원 L5면 통신이 희박해 조향·디버그·감사가 어려우므로, 서로 다른 단계의 혼합이 유용한 시스템을 만든다. 기술 명세나 환경이 바뀌면(새 도구로 데이터베이스 조작 가능 등) 인증서가 무효화되어 갱신(renewal)이 필요하다.
5. Evaluating Autonomy: A User-Assisted Approach — 능력과 분리해 자율성을 측정하기
이 절은 논지를 닫는 자리로, 프레임워크가 노출한 마지막 빈틈 — “자율성을 어떻게 평가하는가” — 를 메운다. 현 에이전트 평가의 지배적 패러다임인 능력 벤치마킹(OSWorld 369 컴퓨터작업[40], TheAgentCompany 175 업무작업[41], DiscoveryWorld 120 과학발견작업[17])은 능력·환경을 고정한 채 변하는 자율성을 포착하지 못한다 — 능력 벤치마크만으로 자율성을 재는 것은 비정보적이다. 코드 기반 평가[7]도 비용·위험은 낮추나 사용자 상호작용의 본질을 못 잡는다. 자율성이 “사용자 개입 없이 동작하도록 설계된 정도”라면, 자율성 평가는 “에이전트가 작업을 성공적으로 완수하기 위해 요청하는 사용자 개입의 정도(the extent of user involvement requested by an agent)“를 측정해야 한다. 저자들의 제안 — 사용자-보조 평가(assisted evaluation): 에이전트가 작업을 홀로 완수하는 대신, 자신을 도울 수 있는 대기 사용자(인간 또는 시뮬레이션용 AI)에 접근하고, 그 사용자가 자기 개입의 성격을 기록해 자율성 수준을 판정한다. 핵심은 **정확도/통과율 임계 T를 넘기는 데 필요한 최소 사용자 개입 수준(minimum level of user involvement)**을 드러내는 것. 절차 스케치: (1) 개입 없이 벤치마크 실행 — 모든 주요 작업에서 T 이상이면 L5, (2) T에 못 미치면 L4 수준 상호작용(승인·거부)부터 점진적으로 개입을 늘려 T 통과 지점까지 반복(L3, L2 …), (3) 통과 시점의 개입 성격을 “Characteristics” 열로 사후 분석해 자율성 단계 배정. 무개입에서 시작해 점증하는 방식은 비용이 크므로(L1 판정에 5라운드 필요), 자원 절약을 위해 가설적 동작 단계에서 시작해 성공하면 개입을 더 줄이고 실패하면 더 늘리는 변형도 제시한다.
6. Conclusion — 침식이 아닌 강화를 향한 책임 있는 자율성 설계
결론은 전체 논지를 한 문장으로 봉합한다: 자율성은 에이전트의 능력·운영 환경과 독립적으로 고려될 수 있는 설계 결정이며, 이를 독립 레버로 보면 정교한 인간-AI 협업 경험 설계·다중 에이전트 통신 프로토콜 개발·실패 모드의 체계적 추론이 가능해진다. 저자들은 (1) 사용자 역할(operator·collaborator·consultant·approver·observer) 중심의 5단계 프레임워크, (2) 최대 자율성 수준을 규정하는 거버넌스 장치로서 자율성 인증서, (3) 능력과 구별해 자율성을 평가하는 사용자-보조 평가를 종합한다. 마지막 메시지: AI 에이전트가 연구실을 떠나 현실로 들어올수록, 기술 잠재력을 온전히 실현하면서 **인간 주체성을 침식(erode)이 아니라 강화(bolster)**하려면 에이전트 상호작용 행동의 신중한 설계가 필요하다.
원자적 인사이트 (Zettelkasten)
💡 자율성은 능력의 부산물이 아니라 분리 가능한 설계 레버다
출처: 본 논문 (Feng, McDonald, Zhang, 2025) · 유형: 개념·이론적
에이전트의 능력(capability)이 커지면 자율성(autonomy)도 따라 커진다는 통념과 달리, 이 에세이는 고정된 능력·고정된 환경에서도 개발자가 자율성 수준을 의도적으로 선택할 수 있다고 본다. 능력 벤치마크를 잘 푸는 에이전트도 “매 행동 전 사용자 자문”을 요구하도록 설계하면 낮은 자율성으로 동작한다. 이로써 “완전 자율은 불가피하다/이분법이다”라는 전제가 깨지고, 자율성이 효용·책임성·위험을 조율하는 설계 다이얼이 된다.
연결: AI Agents · Human-AI Interaction · Agent Governance
💡 agency와 autonomy는 거버넌스의 별개 두 레버다
출처: 본 논문 · 유형: 개념적
선행연구가 호환적으로 써온 두 용어를 분리한다 — agency는 “의도적으로 행동할 능력”(도구로 환경을 바꾸는 정도), autonomy는 “사용자 개입 없이 동작하도록 설계된 정도”(승인을 구하는 정도). 계산기만 쥔 에이전트라도 감독 없이 백그라운드로 돌면 낮은 agency·높은 autonomy이고, 도구가 많아도 일부러 피드백을 구하면 높은 agency·낮은 autonomy다. 이 분리 덕에 “도구 권한 축소”와 “사용자 개입 의무화”가 서로 다른 안전 레버로 다뤄진다.
연결: AI Agents · AI Safety
💡 자율성 케이스는 안전 케이스의 거울상이다
출처: 본 논문 · 유형: 거버넌스·방법론적
AI 안전 분야의 안전 케이스(safety case)가 “시스템이 안전하다”를 증거로 논증한다면, 자율성 케이스(autonomy case)는 “에이전트가 최대 특정 단계로만 동작한다”를 증명한다. 둘은 구조가 겹쳐 동시 작성 가능하고, 자율성 케이스가 안전 케이스를 강화한다(예: “행동 전 사용자 자문” 보장이 고위험 맥락 안전성을 뒷받침). 이는 RSP·Frontier Safety Framework의 이분법적 위험 임계를 자율성 정도로 더 정밀히 해부하는 길을 연다.
연결: AI Safety · Responsible Scaling Policy · Safety Cases
💡 자율성은 능력 벤치마크가 아니라 ‘요청된 사용자 개입’으로 측정해야 한다
출처: 본 논문 · 유형: 평가·방법론적
OSWorld·TheAgentCompany 같은 능력 벤치마크는 능력·환경을 고정한 채 변하는 자율성을 못 잡는다. 자율성이 “사용자 개입 없이 동작하도록 설계된 정도”라면, 그 평가는 임계 정확도 T를 넘기는 데 필요한 최소 사용자 개입 수준을 재야 한다. 사용자-보조 평가(assisted evaluation)는 무개입(L5)에서 시작해 개입을 점증시키며 T 통과 지점의 개입 성격으로 단계를 배정한다 — 능력과 자율성을 같은 무대에서, 그러나 별개로 측정한다.
연결: Agent Evaluation · AI Benchmarks
핵심 용어 정리
| 용어 | 정의 |
|---|---|
| Autonomy (자율성) | 에이전트가 사용자 개입(user involvement) 없이 동작하도록 설계된 정도. 본 에세이는 이를 능력·환경과 분리된 설계 결정으로 본다. |
| Agency (주체성) | “의도적으로 행동할 능력(the capacity to act intentionally)“. 행동을 형성·수행할 의도를 형성할 수 있으면 존재. autonomy와 구별되는 별개 레버. |
| AI agent | 환경 안에서 동작하며 그 안에서 행동을 취하는, 하나 이상의 AI 모델을 포함한 복합 소프트웨어 시스템(compound software system). |
| User (사용자) | 에이전트 서비스에 대한 최초 요청을 발행하는 인간 또는 AI 주체. 다중 에이전트계에서는 다른 에이전트일 수 있음. |
| L1–L5 (operator/collaborator/consultant/approver/observer) | 사용자가 취하는 역할로 정의한 5단계 자율성 사다리. 위로 갈수록 사용자 개입↓·에이전트 자율성↑. |
| Autonomy certificate (자율성 인증서) | 제3의 거버넌스 기구가 발급하는, 에이전트가 동작 가능한 최대 자율성 수준을 규정한 디지털 문서. |
| Autonomy case (자율성 케이스) | 에이전트가 “최대 특정 자율성 수준으로만” 동작함을 증명하는 증거 기반 논증. 안전 케이스(safety case)의 구조적 거울상. |
| Assisted evaluation (사용자-보조 평가) | 대기 사용자가 에이전트를 도울 수 있게 하고, 임계 T 통과에 필요한 최소 개입 수준으로 자율성 단계를 판정하는 평가 설계. |
| Operational environment | 에이전트가 동작하는 환경(예: OS·파일시스템·웹브라우저). 능력과 함께 자율성과 분리해 고정하는 변수. |
| Emergency off-switch | L5(observer)에서 사용자에게 남는 유일한 통제 메커니즘으로, 모든 에이전트 활동을 차단하는 비상 정지. |
관련 연구
- Hierarchical Reasoning Model — 본 논문과 무관한 추론 모델이나, 같은 “에이전트 능력 vs 구조적 설계” 담론 축에 위치
- Responsible Scaling Policy — Anthropic의 위험 거버넌스 프레임워크[2]로, 본 논문이 자율성 인증서로 정밀화하려는 이분법적 위험 임계의 대표 사례
- Frontier Safety Framework — DeepMind의 안전 프레임워크[10]로, “자율적 다단계 작업 완수”를 위험 임계로 쓰는 또 다른 사례
- Safety Cases — AI 시스템 안전성을 증거로 논증하는 방법론으로, 본 논문의 자율성 케이스가 구조를 차용
- Compound AI Systems — Kapoor·Mialon 등[19]이 정식화한 다중 모델·도구 결합 시스템 개념으로, 본 논문의 AI 에이전트 정의의 토대
- Levels of Driving Automation — SAE J3016의 자동차 자율주행 L0–L5 분류 전통으로, “단계적 자율성 분류”라는 같은 발상의 도메인 선례
태그
paper #2025 ai-agents autonomy human-ai-interaction agent-governance ai-safety AGI
BibTeX
@article{feng2025levels,
title={Levels of Autonomy for AI Agents},
author={Feng, K. J. Kevin and McDonald, David W. and Zhang, Amy X.},
journal={arXiv preprint arXiv:2506.12469},
year={2025},
url={https://arxiv.org/abs/2506.12469},
eprint={2506.12469},
archivePrefix={arXiv},
primaryClass={cs.HC},
note={PDF accompaniment to the web publication by the Knight 1st Amendment Institute, AI and Democratic Freedoms essay series}
}