39분 분량

규제 맥락에서의 에이전틱 AI: 자율성과 행위주체성을 위한 아키텍처 전술

Autonomy and Agency in Agentic AI - Architectural Tactics for Regulated Contexts

저자
Damir Safin et al.
출처
arXiv preprint, 2026
분류
Architecture
읽은 깊이
Unread, 시작 전
리뷰
2026-06-22
Agentic AIAutonomyAgencyArchitectural TacticsRegulated DomainsPublic SectorHuman Oversight

행위주체성(agency)×자율성(autonomy) 2차원 설계공간과 6개 아키텍처 전술로 규제 환경의 에이전틱 AI 배치를 원칙화

규제 맥락에서의 에이전틱 AI: 자율성과 행위주체성을 위한 아키텍처 전술

Digest:

Context — 규제 환경(공공·금융·의료 등 컴플라이언스가 강제되는 영역)에 에이전틱 AI(스스로 계획·도구사용·실행하는 LLM 기반 자율 에이전트)를 배치할 때, 실무자는 “이 에이전트가 무엇을 할 수 있는가”와 “얼마나 독립적으로 행동하는가”를 뒤섞어 다루다가 책임소재·감사가능성·되돌림가능성을 사후 땜질로 처리하게 된다.

Insight — 저자(Damir Safin, Dian Balta)는 이 두 속성을 **행위주체성(agency, 시스템이 도달할 수 있는 결과의 범위)**과 **자율성(autonomy, 인간 개입 없이 행동하는 정도)**이라는 직교하는 두 설계 차원으로 분리하고, 둘의 상호의존을 명시적으로 만들어야 한다고 본다. 핵심 명제는 “자율성이 높을수록 인간의 오류 교정이 덜 가능하므로(at higher autonomy, human error correction is less available), 행위주체성을 그에 맞게 제약해야 하며 컴플라이언스 요구가 이를 강화한다”는 것이다.

Solution — 각 축을 5단계(L1–L5)로 조직한 2차원 설계공간을 제시한다. 자율성은 Operator(L1, 인간 명령·에이전트 실행)→Observer(L5, 완전 자율·인간 감시)로, 행위주체성은 Model-only(L1, 공급된 맥락만으로 추론)→Pragmatic/commit(L5, 권위 기록에 비가역 쓰기)로 매겼다. 이 공간 안에서 배치 위치를 이동시키는 6개 아키텍처 전술 — Checkpoints(고정 일시정지)·Escalation(에이전트 발동 일시정지)·Multi-Agent Delegation(하위에이전트 위임)·Tool Provisioning(도구 제공/회수)·Tool Fencing(도구 범위 제약)·Write Staging(쓰기 단계화) — 과, 달성가능한 구성을 좌우하는 5개 배치 파라미터(모델 역량·에이전트 아키텍처·도구 충실도·워크플로 병목·평가)를 제안한다.

Evidence — 정량 벤치마크가 아니라 두 개의 공공부문 워크드 예시(문서 분류, 자금지원 프로그램 매칭)로 컴플라이언스-인지적 구현을 시연한다. 예컨대 문서 분류 사례는 Tool Provisioning+Fencing으로 API 쓰기를 분류·발송에 한정하고, Escalation으로 저신뢰 항목만 도메인 전문가에게 라우팅해 행위주체성 L4·자율성 L5(일반)/L4(에스컬레이션)에 위치시킨다.

Implication — 책임(responsibility)·감사가능성(auditability)·되돌림가능성(reversibility)을 사후 부가물이 아닌 명시적 설계 변수로 끌어올려, 원칙적이고 컴플라이언스-인지적인 에이전틱 AI 설계를 위한 공유 어휘를 제공한다. 다만 정량 검증·사용자 연구가 없고 두 예시는 공공부문에 한정돼 일반화는 열린 과제다.

섹션별 요약

Abstract

이 논문은 규제 환경에 AI 에이전트를 배치하는 문제를, **행위주체성(agency, 시스템의 역량)**과 **자율성(autonomy, 독립적 운영 수준)**이 어떻게 상호작용하는지 검토함으로써 다룬다. 저자는 자율성이 높아질수록 인간의 오류 교정 가능성이 줄어들기 때문에(“at higher autonomy, human error correction is less available”), 시스템이 무엇을 할 수 있는지에 더 강한 제약을 걸어야 한다고 본다. 이를 위해 두 속성을 각각 5개 운영 단계(L1–L5)로 조직한 2차원 설계공간을 제시하고, 설계공간 안에서 배치 위치를 조정하는 6개 아키텍처 전술과, 달성가능한 구성을 형성하는 5개 배치 파라미터를 제안한다. 마지막으로 공공부문 맥락의 두 워크드 예시로 컴플라이언스-인지적 구현을 실증하며, “원칙적이고 컴플라이언스-인지적인 에이전틱 AI 설계를 위한 공유 어휘”를 제공하는 것을 목표로 한다.

저자 contribution

  • 행위주체성(agency)과 자율성(autonomy)을 각각 5단계로 조직한 2차원 설계공간을 정의하여 두 속성의 상호의존을 명시적·항해가능하게 만든다.
  • 설계공간 안에서 배치 위치를 이동시키는 6개 아키텍처 전술(Checkpoints, Escalation, Multi-Agent Delegation, Tool Provisioning, Tool Fencing, Write Staging)을 제시한다.
  • 달성가능한 구성을 제약하는 5개 배치 파라미터(모델 역량, 에이전트 아키텍처, 도구 충실도, 워크플로 병목, 평가)를 식별하고, 두 개의 공공부문 워크드 예시로 컴플라이언스-인지적 적용을 시연한다.

왜 이 연구를 하는가?

핵심 질문: 규제 환경에서 에이전틱 AI를 배치할 때, “에이전트가 무엇을 할 수 있는가(행위주체성)“와 “얼마나 독립적으로 행동하는가(자율성)“를 어떻게 분리해 원칙적으로 함께 추론할 것인가?

기존 접근법의 한계

한계설명
행위주체성과 자율성의 혼동실무에서 “능력”과 “독립성”이 한데 뒤섞여 다뤄져, 어느 쪽을 조이면 어떤 위험이 완화되는지 분리해 판단하기 어렵다.
컴플라이언스의 사후 처리책임소재·감사가능성·되돌림가능성이 설계 변수가 아니라 배치 이후 부가물(retrofitted constraint)로 처리되어, 규제 요건과 아키텍처가 정렬되지 않는다.
공유 어휘의 부재자율성·행위주체성의 단계와 그것을 조정하는 수단에 대한 공통 용어가 없어, 설계 결정이 임시방편적이고 재현·비교가 어렵다.

핵심 통찰

  • 자율성과 행위주체성은 직교하는 두 차원으로 분리되며, 자율성이 높을수록 인간 오류 교정이 줄어드므로 행위주체성을 그에 맞춰 제약해야 한다.
  • 컴플라이언스 요구는 이 제약을 강화하는 방향으로 작동하므로, 책임·감사가능성·되돌림가능성을 명시적 설계 고려사항으로 끌어올리면 원칙적 배치가 가능해진다.

Introduction

서론은 에이전틱 AI(스스로 계획하고 도구를 호출하며 다단계로 행동하는 LLM 기반 시스템)가 공공·규제 영역으로 확산되면서, “능력은 크되 통제는 가능해야 한다”는 긴장이 첨예해진다는 문제의식에서 출발한다. 저자는 이 긴장의 핵심이 **행위주체성(무엇을 할 수 있는가)**과 **자율성(얼마나 독립적으로 하는가)**이라는 두 속성의 결합 방식에 있다고 본다. 두 속성을 분리하지 않으면, 높은 자율성에서 인간이 개입할 여지가 줄어드는데도 시스템이 비가역적 행동까지 수행하도록 설계되어 규제 위반·복구 불가능한 오류 위험이 커진다. 따라서 논문은 두 차원을 명시화한 설계공간, 그 공간을 항해하는 전술, 그리고 달성가능 영역을 제약하는 파라미터를 통합적으로 제시하겠다고 예고한다. 이어지는 Background는 에이전틱 AI 시스템·자율성/행위주체성 개념·규제 및 컴플라이언스 제약을 정리해 논의의 토대를 놓는다.

Methods

이 논문의 “방법”은 학습 알고리즘이 아니라 개념적 설계 프레임워크다. 세 구성요소로 이루어진다.

(1) 2차원 설계공간 — 두 직교 축

  • 자율성(Autonomy) L1–L5: 인간이 매 단계를 지시하는 정도에서 에이전트가 독립적으로 운영되는 정도까지의 스펙트럼.
    • L1 Operator: “Human commands; agent executes a specific sub-task.” 인간이 각 단계를 지시.
    • L2 Collaborator: “Shared workspace; human and agent iterate back-and-forth.” 공유 작업공간에서 양측이 산출물을 함께 정제.
    • L3 Consultant: “Agent leads planning; pauses to confirm direction with the human.” 에이전트가 계획을 주도하되 방향 확인을 위해 일시정지.
    • L4 Approver: “Agent executes; pauses for explicit approval before consequential actions.” 결과 중대 행동 전 명시적 승인을 받음.
    • L5 Observer: “Agent operates fully autonomously; human monitors and can intervene.” 완전 자율 운영, 인간은 감시·개입.
  • 행위주체성(Agency) L1–L5: 시스템이 도달할 수 있는 결과(외부 시스템 접근·쓰기)의 범위.
    • L1 Model-only: 공급된 맥락만으로 추론·초안·요약. 도구 사용·외부 검색 없음.
    • L2 Internal agent: 검증기·샌드박스 코드 등 안전한 로컬 도구 접근. 외부 시스템 연결 없음.
    • L3 Read-only agent: 데이터베이스·API 등 외부 소스에서 검색하나 기록을 수정·쓰기 불가.
    • L4 Pragmatic/reversible: 되돌림 비용이 낮은 외부 쓰기(초안 기록, 편집가능한 잠정 항목).
    • L5 Pragmatic/commit: 권위 기록(authoritative records)에 비가역 쓰기 — 최종 제출, 결제, 영구 갱신.

(2) 설계공간 항해: 자율성과 행위주체성을 (autonomy, agency) 좌표로 놓고, 배치 목표 지점을 정한 뒤 전술로 그 지점을 이동시킨다. 높은 자율성×높은 행위주체성 구석(L5×L5)은 인간 교정이 가장 약하면서 비가역 행동까지 가능한 최고위험 영역이다.

(3) 6개 아키텍처 전술 — 두 축을 각각 겨냥

  • 자율성을 겨냥: Checkpoints, Escalation, Multi-Agent Delegation.
  • 행위주체성을 겨냥: Tool Provisioning, Tool Fencing, Write Staging.

(각 전술의 정의는 아래 발견 및 프레임워크 다이어그램 절 참조.) 전술은 단독이 아니라 조합·선택(IV-C: Selecting and Combining Tactics)되며, 워크드 예시에서 여러 전술이 겹쳐 적용된다.

발견 (Findings)

  • 발견 1 — 자율성을 조정하는 3개 전술:
    • Checkpoints(체크포인트, 자율성): 산출물 품질과 무관하게 무조건 발동하는 고정 워크플로 일시정지. 시스템을 L4 자율성 쪽으로 이동시키며 감사가능한 검토 지점을 보장한다.
    • Escalation(에스컬레이션, 자율성): 모델이 신뢰성 있게 진행할 수 없다고 스스로 감지할 때 발동하는 동적·에이전트-주도 일시정지. 통상 사례에서는 높은 자율성을 유지하되 폴백으로 인간 개입을 보존한다.
    • Multi-Agent Delegation(다중 에이전트 위임, 자율성): 잘 범위지정된 하위 작업의 인간 처리자를 전문화된 하위 에이전트로 대체. 그 단계에서 인간 사인오프 없이 실효 자율성을 높인다.
  • 발견 2 — 행위주체성을 조정하는 3개 전술:
    • Tool Provisioning(도구 제공, 행위주체성): 에이전트의 가용 도구 집합에 도구를 추가·회수하여 주어진 작업의 도달가능 결과 공간을 확장·축소한다.
    • Tool Fencing(도구 펜싱, 행위주체성): 도구를 제거하지 않은 채 리소스·파라미터 수준 제약으로 작동 범위를 제한해, 경계 밖 사용을 막는다.
    • Write Staging(쓰기 단계화, 행위주체성): 에이전트 행동과 권위 커밋 사이에 초안·보류 계층을 끼워넣어, 비가역 L5 쓰기를 명시적 승격 전까지 가역 L4 행동으로 변환한다.
  • 발견 3 — 달성가능 영역을 제약하는 5개 배치 파라미터: 모델 역량·에이전트 아키텍처·도구 충실도·워크플로 병목·평가가 설계공간 내에서 실제로 도달 가능한 (autonomy, agency) 구성을 형성한다(상세는 Results 절).
  • 발견 4 — 워크드 예시가 보여주는 전술 중첩: 단일 전술이 아니라 여러 전술의 조합으로 목표 좌표에 도달하며, 같은 시스템도 사례(일반/에스컬레이션)에 따라 자율성 단계가 달라진다(예: 문서 분류 자율성 L5/L4).

Results

이 논문은 정량 벤치마크·메트릭이 없는 설계/개념 프레임워크 논문이다. “Results”는 통제 실험 수치가 아니라 두 개의 공공부문 **워크드 예시(Worked Examples)**로 프레임워크의 적용을 시연하는 형태다.

V-A: 공공부문 문서 분류(Public-Sector Document Classification) — 조직이 연속적으로 유입되는 문서(PDF·이메일·영수증)를 받아 담당 부서로 분류하고 요약 후 이메일로 발송하는 시나리오. 데이터 보호와 감사가능성이 설계를 제약한다.

  • 적용 전술: Tool Provisioning + Tool Fencing(문서 파싱·이메일 발송 도구 추가, API 쓰기를 분류·발송으로만 한정), Multi-Agent Delegation(요약·근거 생성 하위작업을 독립 처리), Escalation(저신뢰 항목은 도메인 전문가에게 라우팅, 고신뢰 항목은 자율 발송).
  • 결과 좌표: 행위주체성 L4(이메일 발송) × 자율성 L5(일반 사례) 또는 L4(에스컬레이션 사례).

V-B: 자동 자금지원 프로그램 매칭(Automated Funding Program Matching) — 시민의 프로젝트 설명을 파편화된 자금지원 프로그램 자격 기준과 대조하는 공공 시스템. 오프라인 규칙 컴파일과 온라인 질의 매칭을 분리한다.

  • 적용 전술: Tool Provisioning + Tool Fencing(지오데이터 API 추가, 생성된 규칙을 샌드박스 실행에 한정), Checkpoints(구조화된 프로젝트 프로필을 신청자에게 제시해 검토·정정), Escalation(자격을 명확히 판정할 수 없는 프로그램은 플래그하여 최종 판단을 신청자에게 위임).
  • 결과 좌표: 오프라인 단계 행위주체성 L4 × 자율성 L5; 질의 단계 L3 × 자율성 L4–L5(명확성에 따라 가변).

V-C: 예시 간 비교(Comparison Across Examples) — 두 사례는 같은 6개 전술 어휘로 서로 다른 컴플라이언스 제약을 충족시키며, 전술 조합으로 동일 설계공간의 다른 지점에 안착함을 보여준다.

Discussion

Discussion(주로 VI. Beyond Agency and Autonomy + VII. Conclusion)은 두 차원만으로는 포착되지 않는 요소들로 논의를 확장한다. 책임(responsibility)·감사가능성(auditability)·되돌림가능성(reversibility)을 사후 부가물이 아니라 1급 설계 변수로 다뤄야 한다는 점, 그리고 5개 배치 파라미터(모델 역량·에이전트 아키텍처·도구 충실도·워크플로 병목·평가)가 추상적 설계 가능성을 구체적 성능 임계로 번역하는 실무적 다리라는 점을 강조한다. 결론은 이 프레임워크가 “원칙적이고 컴플라이언스-인지적인 에이전틱 AI 설계를 위한 공유 어휘”를 제공하며, 감독·되돌림가능성·책무성을 명시적으로 균형 맞추게 한다고 정리한다.

저자가 인정한/시사한 한계

  • 평가는 정량 벤치마크가 아니라 두 개의 공공부문 워크드 예시에 한정되어, 다른 규제 도메인(금융·의료)으로의 일반성은 검증되지 않았다.
  • 단계 척도(L1–L5)와 전술의 경계가 부분적으로 정성적이어서, 실제 시스템을 단계에 매핑할 때 판단 여지가 남는다.

독자 식별 가능한 추가 한계

  • 사용자 연구·실측 배치 데이터가 없어, 전술 적용이 실제 컴플라이언스 위반·복구 비용을 얼마나 줄이는지 정량 효과는 미지수다.
  • 5단계 자율성·행위주체성 척도가 기존 자율성 분류(예: 자동화 단계 LOA, AI 에이전트 L1–L5)와 어떻게 정렬·차별화되는지의 매핑이 제한적이다.

이론적 의의

  • 행위주체성×자율성 직교화: “능력”과 “독립성”을 분리해 직교 좌표로 다루는 것은, 규제 위험을 두 축에 분해해 추론하는 분석 틀을 제공한다. 특히 L5×L5(완전 자율·비가역 쓰기) 구석을 최고위험 영역으로 식별하는 것은 설계 가이드라인의 출발점이 된다.
  • 전술→좌표 이동의 메커니즘화: 6개 전술을 “설계공간 내 위치 이동 연산자”로 정식화함으로써, 임시방편적 가드레일 추가를 재현가능·조합가능한 설계 행위로 전환한다.
  • 컴플라이언스의 설계-내재화: 되돌림가능성·감사가능성·책임을 사후가 아닌 설계 차원으로 끌어올린 점은, 규제 AI 거버넌스를 아키텍처 결정과 직접 연결하는 다리를 놓는다.

Discussion Points

  • 논쟁점: 자율성·행위주체성 각 5단계의 경계가 충분히 첨예하게 정의되는가, 아니면 실제 시스템에서는 단계 간 연속 스펙트럼이라 매핑이 분석자마다 달라지는가? 척도의 재현가능성이 프레임워크 유용성을 좌우한다.
  • 검증할 가정: “자율성이 높을수록 행위주체성을 제약하면 규제 위험·복구 비용이 줄어든다”는 핵심 가정은 정성적 예시로만 뒷받침된다. 통제된 배치 실험(전술 on/off에 따른 오류·위반·복구비용 측정)이나 사용자 연구로 직접 검증해야 명제가 확립된다.
  • 후속연구: (1) 금융·의료 등 다른 규제 도메인으로 워크드 예시 확장, (2) 6개 전술을 자동 적용·추천하는 도구체인 구현 및 정량 평가, (3) 본 5단계 척도를 LOA·CSA·기존 에이전트 자율성 분류와 정렬하는 통합 분류 체계 구축.

실험 결과 상세

데이터 불충분: 본 논문은 정량 벤치마크·메트릭·통계 비교가 없는 설계/개념 프레임워크 논문이다. Model×Dataset×Metric 형태의 실험표가 존재하지 않는다. 대신 두 개의 공공부문 워크드 예시로 프레임워크를 정성 시연하며, 각 예시의 결과는 “설계공간 좌표(autonomy×agency 단계)“로 보고된다. 아래는 그 좌표 매핑을 표로 정리한 것이다(정량 성능 지표 아님).

워크드 예시적용 전술행위주체성(Agency)자율성(Autonomy)
V-A 문서 분류 (일반 사례)Tool Provisioning, Tool Fencing, Multi-Agent Delegation, EscalationL4 (이메일 발송)L5
V-A 문서 분류 (에스컬레이션 사례)(동) Escalation 발동L4L4
V-B 자금매칭 (오프라인 규칙 컴파일)Tool Provisioning, Tool Fencing(샌드박스), CheckpointL4L5
V-B 자금매칭 (온라인 질의)Escalation, CheckpointL3L4–L5 (명확성 따라)

프레임워크 다이어그램

graph TB
    subgraph SPACE["2차원 설계공간 (Autonomy x Agency)"]
        AUT["자율성 Autonomy<br/>L1 Operator -> L2 Collaborator -> L3 Consultant<br/>-> L4 Approver -> L5 Observer"]
        AGN["행위주체성 Agency<br/>L1 Model-only -> L2 Internal -> L3 Read-only<br/>-> L4 Reversible-write -> L5 Commit-write"]
    end

    subgraph TAUT["자율성 겨냥 전술"]
        T1["Checkpoints<br/>고정 일시정지"]
        T2["Escalation<br/>에이전트 발동 일시정지"]
        T3["Multi-Agent Delegation<br/>하위에이전트 위임"]
    end

    subgraph TAGN["행위주체성 겨냥 전술"]
        T4["Tool Provisioning<br/>도구 추가/회수"]
        T5["Tool Fencing<br/>도구 범위 제약"]
        T6["Write Staging<br/>비가역->가역 변환"]
    end

    subgraph PARAM["배치 파라미터 (달성가능 영역 제약)"]
        P1["모델 역량"]
        P2["에이전트 아키텍처"]
        P3["도구 충실도"]
        P4["워크플로 병목"]
        P5["평가"]
    end

    T1 --> AUT
    T2 --> AUT
    T3 --> AUT
    T4 --> AGN
    T5 --> AGN
    T6 --> AGN
    PARAM -.제약.-> SPACE
    AUT --> RISK["L5 x L5 = 최고위험<br/>(인간교정 최소 + 비가역 행동)"]
    AGN --> RISK

재현성 및 신뢰도 평가

항목등급비고
코드 공개❌설계 프레임워크 논문으로 코드·아티팩트 없음(본 노트는 전문 미확보; abstract/HTML 기준 코드 언급 없음)
데이터 공개❌정량 데이터셋 없음; 워크드 예시는 공공부문 시나리오 서술
실험/정량 평가❌벤치마크·메트릭·통계 비교 부재; 정성 예시만
개념 정의 명확성⚠️자율성·행위주체성 5단계와 6전술 정의는 명시적이나 단계 경계가 부분적으로 정성적
재현 가능성(설계 적용)⚠️전술·단계 어휘는 따라 적용 가능하나, 정량 효과 재현은 불가(실험 없음)
종합 등급D개념·설계 기여는 명확하나 정량 검증·코드·재현가능한 실험이 없어 경험적 재현성은 낮음

주장별 신뢰도

주장근거신뢰도
자율성·행위주체성은 직교 2차원으로 분리되며 각 5단계로 조직된다III장 설계공간 정의(개념적, 정량 검증 없음)🟡
자율성이 높을수록 인간 오류 교정이 줄어 행위주체성 제약이 필요하다핵심 명제, 논리적 논증 기반(실증 데이터 없음)🟡
6개 전술로 설계공간 내 배치 위치를 이동시킬 수 있다IV장 + 두 워크드 예시의 전술 적용 시연🟡
프레임워크가 실제 공공부문 컴플라이언스 요건을 충족시킨다V장 정성 워크드 예시 2건(정량 위반/복구비용 측정 없음)🔴
5개 배치 파라미터가 달성가능 구성을 제약한다VI장 개념적 논증(파라미터별 정량 임계 미제시)🔴

관련 연구 비교 매트릭스

축본 논문 (Safin & Balta 2026)AI Agent Autonomy Levels L1–L5 (CSA, 2026, alternative)Taxonomy of Architecture Options for FM-based Agents (Lu et al. 2024, base)Identity Management for Agentic AI (2025, application)
핵심 접근행위주체성×자율성 직교 2차원 5단계 설계공간 + 6 아키텍처 전술 + 5 배치 파라미터운영 위험·인간 감독 기준 AI 에이전트 자율성 L1–L5 단일축 분류파운데이션 모델 기반 에이전트의 아키텍처 옵션 분류 + 의사결정 모델에이전틱 AI를 위한 인증·인가·신원관리 보안 프레임워크
문제 정의규제 환경의 책임·감사·되돌림가능성을 설계로 내재화자율성 수준을 운영 위험·가드레일 관점에서 표준화에이전트 설계 선택지의 체계적 비교·선택 지원에이전트 권한·신원의 안전한 위임·통제
데이터/검증공공부문 워크드 예시 2건(정성)산업 가이드/블로그 수준 분류(정성)아키텍처 패턴 카탈로그·결정모델(정성)보안 위협모델·메커니즘(정성/설계)
핵심 결과자율성 L5×행위주체성 L5를 최고위험 구석으로 식별, 전술로 좌표 이동자율성을 단계별 운영 리스크·감독 요구로 매핑다수 아키텍처 옵션과 트레이드오프 표인가·인증 메커니즘 권고안
규모/범위규제·공공부문 일반산업 전반 자율성 거버넌스FM 에이전트 일반에이전트 보안·신원 영역
한계단일 도메인 정성 검증, 정량 효과 미측정단일축(자율성)만, 행위주체성 분리 없음보안·컴플라이언스 단계화는 비초점자율성·행위주체성 설계공간은 비초점
코드 공개❌❌❌❌

요약 내러티브: 자율성 단계 분류(CSA L1–L5)는 “얼마나 독립적인가” 단일축을 표준화하지만 “무엇을 할 수 있는가(행위주체성)“를 분리하지 않는다. 본 논문은 그 둘을 직교화하고, FM-에이전트 아키텍처 분류(Lu et al. 2024)가 제공하는 설계 옵션 카탈로그를 규제·되돌림가능성 관점의 전술로 재조직한다. 신원관리 연구가 보안 메커니즘 측면을 보완하나, 자율성×행위주체성 좌표로 컴플라이언스를 설계-내재화한 점이 본 논문의 차별점이다. 네 연구 모두 정량 벤치마크·코드 공개가 없는 설계/거버넌스 계열이다.

원자적 인사이트 (Zettelkasten)

💡 자율성과 행위주체성은 분리해야 할 직교 두 축이다

출처: 본 논문 (Safin & Balta, 2026) · 유형: 개념적

에이전틱 AI를 “얼마나 똑똑/강력한가” 한 덩어리로 보면, 어디를 조여야 위험이 주는지 판단할 수 없다. 이 논문은 **자율성(얼마나 독립적으로 행동하는가)**과 **행위주체성(어떤 결과까지 도달할 수 있는가)**을 직교 두 축으로 분리하고 각각 L1–L5로 매긴다. 그러면 같은 “위험”도 자율성을 낮출지(인간 개입 추가) 행위주체성을 낮출지(쓰기 권한 제약)로 분해해 설계할 수 있다. 핵심은 자율성이 높을수록 인간 교정이 줄어드므로 행위주체성을 그에 맞춰 제약해야 한다는 결합 규칙이다.
연결: Agentic AI · Levels of Autonomy

💡 비가역 쓰기는 단계화로 가역 행동으로 강등할 수 있다

출처: 본 논문 · 유형: 설계 패턴

가장 위험한 영역은 행위주체성 L5(권위 기록에 비가역 쓰기)이다. Write Staging 전술은 에이전트 행동과 실제 커밋 사이에 초안·보류 계층을 끼워, L5 비가역 쓰기를 명시적 승격 전까지 L4 가역 행동으로 변환한다. 즉 “되돌림가능성”을 사후 복구가 아니라 아키텍처 구조로 보장한다. 같은 논리로 Tool Fencing은 도구를 제거하지 않고 작동 범위만 좁혀 경계 밖 사용을 막는다.
연결: Reversibility · Human-in-the-loop

💡 고정 체크포인트와 동적 에스컬레이션은 다른 일시정지다

출처: 본 논문 · 유형: 설계 패턴

자율성을 낮추는 두 전술은 발동 조건이 정반대다. Checkpoints는 산출물 품질과 무관하게 무조건 발동하는 고정 일시정지로, 감사가능한 검토 지점을 보장한다. Escalation은 모델이 “신뢰성 있게 진행 불가”를 스스로 감지할 때만 발동하는 동적 일시정지로, 통상 사례의 높은 자율성을 유지하면서 폴백으로만 인간을 부른다. 그래서 같은 시스템이 일반 사례 자율성 L5, 에스컬레이션 사례 L4로 갈린다.
연결: Escalation · Audit Trail

핵심 용어 정리

용어정의
에이전틱 AI (Agentic AI)스스로 계획·도구호출·다단계 실행을 수행하는 LLM 기반 자율 시스템.
행위주체성 (Agency)시스템이 도달할 수 있는 결과(외부 접근·쓰기)의 범위. L1 Model-only → L5 Commit-write의 5단계.
자율성 (Autonomy)인간 개입 없이 독립적으로 행동하는 정도. L1 Operator → L5 Observer의 5단계.
Checkpoints산출물 품질과 무관하게 무조건 발동하는 고정 워크플로 일시정지(자율성 전술).
Escalation모델이 신뢰성 있게 진행 불가를 감지할 때 발동하는 동적·에이전트-주도 일시정지(자율성 전술).
Multi-Agent Delegation범위지정된 하위작업을 전문화된 하위 에이전트에 위임해 실효 자율성을 높이는 전술.
Tool Provisioning가용 도구 집합에 도구를 추가·회수해 도달가능 결과 공간을 조정하는 행위주체성 전술.
Tool Fencing도구를 제거하지 않고 리소스·파라미터 수준 제약으로 작동 범위를 좁히는 전술.
Write Staging행동과 권위 커밋 사이에 초안·보류 계층을 두어 비가역 L5 쓰기를 가역 L4로 변환하는 전술.
되돌림가능성 (Reversibility)에이전트 행동을 사후 복구가 아닌 설계 구조로 되돌릴 수 있게 하는 명시적 설계 변수.
배치 파라미터 (Deployment Parameters)달성가능한 (autonomy, agency) 구성을 제약하는 5요소: 모델 역량·에이전트 아키텍처·도구 충실도·워크플로 병목·평가.

관련 연구

  • Levels of Autonomy — 자율성을 단계별 운영 위험·인간 감독으로 매핑하는 분류(본 논문의 자율성 축과 대비)
  • Agentic AI — 스스로 계획·도구사용·실행하는 에이전트 일반 개념으로, 본 논문의 설계 대상
  • Human-in-the-loop — Checkpoints·Escalation·Approver 단계가 구현하는 인간 개입 메커니즘
  • AI Governance — 책임·감사가능성·되돌림가능성을 설계로 내재화하는 규제 거버넌스 상위 주제
  • Multi-Agent Systems — Multi-Agent Delegation 전술의 기반이 되는 하위 에이전트 위임 구조

태그

paper #2026 agentic-ai autonomy agency architectural-tactics regulated-domains ai-governance public-sector

BibTeX

@article{safin2026autonomy,
  title={Autonomy and Agency in Agentic AI: Architectural Tactics for Regulated Contexts},
  author={Safin, Damir and Balta, Dian},
  journal={arXiv preprint arXiv:2605.12105},
  year={2026},
  url={https://arxiv.org/abs/2605.12105},
  eprint={2605.12105},
  archivePrefix={arXiv},
  primaryClass={cs.AI},
  doi={10.48550/arXiv.2605.12105}
}