AI 에이전트의 가시성

Digest: AI 에이전트의 5대 위험(악용·과의존·지연확산·다중에이전트·서브에이전트)이 “인간이 의사결정 루프에서 제거된다”는 단일 메커니즘에서 공통으로 증폭된다는 통찰에서 출발해, 그 빈자리를 메울 정보 인프라인 가시성(visibility)을 에이전트 식별자·실시간 모니터링·활동 로그라는 세 가지 상호보완적 조치로 구체화한다. 각 조치는 침해성과 정보성 스펙트럼으로 설계해 위험도에 비례 조정하며, 배포자가 없는 분산 배포 환경에서는 컴퓨트 제공자와 도구/서비스 제공자를 집행 레버로 삼아 확장한다. 정책 포지션 페이퍼로서 정량 벤치마크는 없지만 FAccT ‘24 정식 게재(evidence_quality A)이며, 프라이버시 침해와 권력 집중이라는 부작용을 명시하면서 가시성은 거버넌스의 토대일 뿐 그 자체로 충분하지 않다고 선을 긋는다.

먼저 이해하기

쉬운 설명

이 논문은 사람의 감독 없이 스스로 일을 처리하는 AI 에이전트(AI agent, 제한된 인간 감독 아래 복잡한 목표를 추구하는 시스템)가 늘어날 때, “지금 이 일을 처리한 게 사람인지 AI인지, 어떤 AI인지, 왜 그랬는지”를 알 수 있게 하자고 제안합니다. 저자들은 이 정보를 가시성(visibility)이라 부르고, 이를 확보하는 세 가지 도구를 제시합니다. 첫째 에이전트 식별자(agent identifier)는 AI가 만든 결과물에 일종의 명찰을 붙이는 것이고(이미지엔 워터마크, API 요청엔 HTTP 헤더 식으로), 둘째 실시간 모니터링(real-time monitoring)은 AI가 작동하는 동안 문제 행동을 곧바로 잡아내는 CCTV 같은 장치이며, 셋째 활동 로그(activity log)는 나중에 사고 원인을 추적할 수 있도록 행동 기록을 남기는 블랙박스입니다. 중요한 건 이 도구들을 위험이 큰 일일수록 더 촘촘하게, 작은 일엔 느슨하게 조절하도록 침해성과 정보성을 단계별로 설계한다는 점입니다. 다만 이 논문은 정책 제안서이지 실험 결과가 아니며, 저자들은 즉시 도입을 주장하지 않고 “프라이버시 침해와 권력 집중(concentration of power)이라는 부작용을 먼저 더 이해해야 한다”고 분명히 선을 긋습니다.

왜 중요한가

AI 위험을 다룬 기존 연구(Harms, TASRA 등)가 주로 “어떤 위험이 있는가”를 분류하는 데 그쳤다면, 이 논문은 그 위험을 실제로 관리하려면 무엇을 먼저 알아야 하는가라는 한 단계 앞의 질문에 답하며 집행 가능한 조치까지 내려갑니다. 특히 에이전트의 다섯 가지 위험을 “인간이 루프에서 빠진다”는 단일 원인으로 묶어낸 덕분에, 위험마다 따로 대응하는 대신 가시성이라는 공통 인프라 하나로 접근할 길을 엽니다. 또한 배포자(deployer)가 아예 존재하지 않는 오픈 릴리즈·자가 호스팅 상황까지 컴퓨트 제공자와 도구/서비스 제공자를 레버로 삼아 확장한 점은, 규제 회피가 쉬운 분산 환경에서도 거버넌스가 작동할 실마리를 줍니다. 동시에 저자들은 가시성이 만능이 아니라 거버넌스의 토대일 뿐이며 프라이버시·권력 집중이라는 대가를 수반함을 명시해, 후속 연구(ARC Framework 등 조직 거버넌스)가 딛고 설 균형 잡힌 출발점을 제공합니다.

먼저 알아둘 말

용어	쉬운 설명	정확성 메모
AI 에이전트 (AI agent)	사람 지시 없이도 목표를 향해 스스로 행동하는 AI	논문은 ‘에이전시가 상대적으로 높은’ 시스템으로 정의하며, 예측만 하는 분류기나 파운데이션 모델 자체는 제외
가시성 (visibility)	AI가 어디서·왜·어떻게·누구에 의해 쓰이는지에 대한 정보	조치가 아니라 조치들이 확보하려는 ‘정보 상태’를 가리키는 상위 개념
에이전트 식별자 (agent identifier)	AI 결과물에 붙는 ‘명찰’(어떤 에이전트가 관여했는지 표시)	출력 포맷별로 워터마크·HTTP 헤더 등 구현이 다르고, 특정성(어떤 에이전트인지 vs 에이전트 여부만)은 설계 선택
실시간 모니터링 (real-time monitoring)	작동 중 문제 행동을 즉시 탐지·차단하는 감시	로그 저장 없이 독립 적용 가능; 명확한 규칙 위반 탐지에 가장 적합
활동 로그 (activity log)	사후 원인 추적을 위한 행동 기록 ‘블랙박스’	배포자·도구제공자가 각각 다른 관점으로 보유; 세부도는 비용·프라이버시와 트레이드오프
침해성·정보성 (intrusiveness/informativeness)	조치가 얼마나 사생활을 침범하는지 / 얼마나 많은 정보를 주는지의 두 축	위험도에 비례해 조치 수준을 조정하는 설계 원리
분산 배포 (decentralized deployment)	배포자 없이 다운로드형 모델을 직접 돌리는 상황	배포자 단위 조치 대상이 사라져, 컴퓨트·도구 제공자를 대체 레버로 사용
권력 집중 (concentration of power)	감시·인증 권한이 소수에게 쏠리는 부작용	규제 포획(regulatory capture)으로 가시성이 침해적으로 변질될 위험 포함

흐름 따라 읽기

Abstract

이 섹션은 논문 전체의 논지를 압축 제시하는 관문으로, spine의 throughline — “AI 에이전트가 인간을 루프에서 제거 → 위험 증폭 → 가시성(visibility) 확보 조치 필요 → 부작용 완화”— 를 단일 문단 안에 모두 담아 독자가 논문 전체의 가치를 판별하게 한다.

상업·과학·정부·개인 영역에서 AI 에이전트(AI agent, 제한된 인간 감독 아래 복잡한 목표를 스스로 추구하는 시스템)에 대한 업무 위임이 늘어남에 따라 기존의 사회적 위험이 심화되고 새로운 위험이 출현할 수 있다. 이를 이해하고 완화하려면 기존 거버넌스 구조를 비판적으로 평가하고 수정·적용하며, 핵심 이해관계자들의 책임(accountability)을 확보해야 한다. 논문은 이를 위한 핵심 조건으로 ‘가시성(visibility)‘—어디서·왜·어떻게·누구에 의해 에이전트가 사용되는지에 관한 정보—을 제안하고, 가시성을 높이는 세 범주의 조치를 평가한다: 에이전트 식별자(agent identifier, 에이전트를 고유하게 특정하는 표지), 실시간 모니터링(real-time monitoring, 에이전트 행동을 작동 중에 관찰), 활동 로그(activity log, 에이전트 행동 이력 기록). 각 조치는 침해성(intrusiveness)과 정보성(informativeness) 수준에 따른 복수의 구현 방안을 포함하며, 중앙집중형부터 분산 배포(decentralized deployment) 환경까지 하드웨어·소프트웨어 서비스 공급망 행위자를 망라해 적용 가능성을 분석한다. 마지막으로 프라이버시와 권력집중(concentration of power)에 대한 함의를 논의하며, 이 조치들의 이해 심화와 부작용 완화가 AI 에이전트 거버넌스의 토대를 구축하는 데 기여할 수 있음을 결론으로 제시한다.

Introduction

이 섹션은 논문 전체 논지의 동기와 골격을 수립하는 부분으로, “AI 에이전트가 인간을 의사결정 루프에서 제거하기 때문에 가시성(visibility)이라는 정보 인프라가 필요하다”는 thesis의 출발점 역할을 한다. 저자들은 먼저 AI 에이전트(agentic system)를 “높은 에이전시(agency, 자율적으로 목표를 향해 계획·행동하는 능력)를 갖춘 시스템”으로 정의하고, 강화학습 시스템이나 AutoGPT처럼 외부 도구·서비스에 접근해 휴가 예약·이메일 발송 등을 독립적으로 수행하는 시스템을 예로 든다. 현재 AI 에이전트는 단순 태스크도 종종 실패하지만, AI 연구 투자 확대·스케일링 법칙(scaling laws, 모델 규모가 커질수록 성능이 향상되는 경향)·군사·경제·과학적 압력을 고려할 때 능력 향상이 지속될 것으로 전망하며 방심해서는 안 된다고 논증한다. 이어서 에이전트 고유의 5대 위험을 전개한다: (1) 악의적 사용(malicious use) — 생물·화학 무기 설계나 영향력 공작 등 전문성이 없어도 인간의 개입 없이 실행 가능해짐; (2) 과의존과 권한 박탈(overreliance and disempowerment) — 법률·금융 등 고위험 영역에서 에이전트 오작동이 사회적 규모의 피해를 유발할 수 있음; (3) 지연되고 분산된 영향(delayed and diffuse impacts) — 장기 목표를 가진 에이전트가 채용 알고리즘 편향처럼 깊이 내재화된 문제를 늦게 드러냄; (4) 다중 에이전트 위험(multi-agent risks) — 동일한 파운데이션 모델(foundation model, 대규모 사전학습 모델)에 기반한 에이전트들이 공통 취약점을 공유하거나 2010년 플래시 크래시(flash crash, 자동화 알고리즘 간 연쇄 반응으로 주가가 순간 폭락한 사건)처럼 불안정한 피드백 루프에 진입할 수 있음; (5) 서브에이전트(sub-agent) — 에이전트가 자신을 복제하거나 다른 에이전트를 생성해 고장 지점과 통제 범위를 기하급수적으로 확대함. 이 5대 위험 모두 “인간이 루프에서 빠진다”는 공통 메커니즘에서 증폭되며, 저자들은 이를 해결하기 위해 where·why·how·by whom에 대한 정보인 가시성(visibility)이 필수적이라고 논증한다. 또한 가시성 조치는 고용주가 직원을 감독하거나 주주가 이사회를 감시하는 인간 간 위임 구조에서도 유사하게 사용되어 왔음을 지적하며, 개발 단계의 사전 테스트로는 배포 후 파인튜닝·도구 연결·프롬프트 조작 등으로 위험이 증폭되는 실제 운용 맥락을 포착할 수 없다는 이유로 배포된(deployed) 에이전트에 초점을 맞춘다고 밝힌다. 마지막으로 논문의 3대 기여를 명시한다: 에이전트 식별자(agent identifier, 에이전트가 관여함을 표시하는 장치)·실시간 모니터링(real-time monitoring)·활동 로그(activity log)라는 세 가지 가시성 조치를 중앙집중형부터 분산 배포(decentralized deployment) 맥락까지 분석하고, 각 조치의 프라이버시와 권력집중 함의를 논의한다.

Definitions (§2 — 용어 정의)

이 섹션은 논문 전체의 공통 어휘 기반을 확정하는 역할을 한다. thesis가 “가시성(visibility) 확보를 위한 세 조치”를 요구하는데, 그 조치의 적용 대상과 책임 주체를 정밀하게 특정하려면 ‘에이전시’·‘에이전트’·‘스캐폴딩’이 무엇인지, 그리고 공급망 상의 행위자들이 서로 어떻게 구분되는지를 먼저 합의해야 한다. 즉 이 섹션은 이후 3절(조치)과 4절(분산 배포)의 논의가 흔들림 없이 전개될 수 있도록 용어 정의의 토대를 쌓는 ‘어휘 정초(vocabulary grounding)’ 단계다.

**Agency(에이전시)**는 AI 시스템이 사람의 개입이나 구체적 지시 없이도 장기 목표(long-horizon goals)를 달성하기 위해 세계에 직접 행동하는 정도를 의미한다. **AI agent(에이전트)**는 에이전시가 상대적으로 높은 시스템으로, 이미지 분류기처럼 예측만 하고 실세계에 행동하지 않는 시스템과 대비된다. 에이전트의 예로는 실세계와 광범위하게 상호작용하는 강화학습 시스템이나 도구 접근권이 부여된 언어 모델이 있으며, 저자들은 파운데이션 모델(foundation model — GPT-4 같이 대규모 데이터로 사전학습된 범용 AI 모델) 그 자체는 에이전트로 간주하지 않는다고 명시한다.

**Scaffolding(스캐폴딩)**은 AI 시스템 호출을 구조화하여 목표 추구를 촉진하는 모든 방법으로, 추가 프롬프트·메모리 시스템·외부 도구 접근·계획 메커니즘 등을 포함한다. AutoGPT(Richards, 2023)가 대표 사례이며, 스캐폴딩은 파운데이션 모델 같은 비에이전트 시스템을 에이전틱(agentic — 에이전시가 높은 상태)으로 만들 수 있다.

행위자 측면에서 **개발자(developer)**는 AI 시스템 구축에 관여하는 주체(모델 훈련자 + 스캐폴딩 제작자 포함), **사용자(user)**는 AI 시스템과 직접 상호작용하며 지시를 제공하는 인간 개인 또는 집단, **배포자(deployer)**는 AI 시스템을 운영하고 사용자에게 제공하는 주체다(예: Microsoft가 OpenAI의 시스템을 제품에 탑재하는 경우). **컴퓨트 제공자(compute provider)**는 AI 시스템이 작동하는 하드웨어 인프라를 공급·유지하는 주체로, 배포자나 개발자와 동일할 수 있다. **도구/서비스 제공자(tool or service provider)**는 에이전트가 과업 수행을 위해 상호작용하는 외부 시스템이나 플랫폼의 운영자이며(예: 항공권 예약 웹사이트), 에이전트는 이들과 주로 API(인간이 아닌 에이전트 전용으로 설계된 인터페이스)를 통해 연결된다.

마지막으로 **출력(outputs)**은 AI 시스템이 생성하는 결과물(이미지·텍스트·도구 호출 등 행동 포함)이고, **입력(inputs)**은 사용자·도구·다른 에이전트 등 어떤 주체로부터든 에이전트가 받아 행동이나 응답을 결정하는 데이터다. 배포자는 원칙적으로 입출력 모두에 접근할 수 있으나, 사용자 프라이버시를 이유로 수집·저장하지 않을 수 있다.

Measures (§3 — 가시성 조치)

이 섹션은 논문의 throughline에서 핵심 해법부에 해당한다. 서론이 “에이전트가 인간을 루프에서 제거하며 위험을 증폭한다”는 문제를 수립하고 2절이 공통 어휘를 확정했다면, 이 섹션은 “어디서·왜·어떻게·누구에 의해 에이전트가 쓰이는지” 파악하기 위한 세 가지 구체적 조치를 제안·설계함으로써 thesis가 내세운 ‘가시성(visibility)’ 확보 방안을 실질적으로 전개한다.

저자들은 배포자(deployer — 에이전트나 파운데이션 모델을 서비스로 제공하는 주체)가 운영하는 에이전트를 대상으로 세 가지 상호보완적 조치를 제안한다.

**첫째, 에이전트 식별자(agent identifier)**는 특정 상호작용에 AI 에이전트가 관여하는지, 어떤 에이전트인지를 표시하는 정보다. 식별자는 출력물(이미지·텍스트·API 요청 등)에 부착되며, 포맷에 따라 구현 방식이 달라진다. 예컨대 이미지 출력에는 워터마크(watermark — 이미지에 보이지 않게 삽입하는 출처 표식), API 요청에는 HTTP 헤더 방식이 활용될 수 있다. 식별자를 볼 수 있는 행위자(규제기관·일반 대중·서비스 제공자·다른 에이전트 등)와 식별자의 특정성(특정 에이전트를 가리키는지, 에이전트 관여 여부만 표시하는지) 역시 설계 결정 사항이다. 고유 식별자 구현에는 소프트웨어 어테스테이션(software attestation — 실행 중인 소프트웨어가 정품임을 암호학적으로 증명하는 기술)과 같은 암호학적 출처증명(cryptographic provenance)이 필요할 수 있다.

식별자에는 에이전트 카드(agent card — 모델 카드 등 기존 AI 문서화 작업에서 영감을 받은 부가 정보 묶음)를 첨부할 수 있다. 에이전트 카드에는 ① 기반 시스템(평가 결과·학습 데이터·의존성 등), ② 배포 인스턴스(허용 도구 목록·스캐폴딩(scaffolding — 에이전트가 메모리·계획 등을 수행하도록 감싸는 외부 실행 프레임워크) 프레임워크·의도된 목표와 권한·배포 섹터), ③ 관련 행위자(사용자·개발자·컴퓨트 제공자 등)가 포함될 수 있다. 카드의 상세도는 활동 위험도에 비례해 조정하는 것이 바람직하다.

**둘째, 실시간 모니터링(real-time monitoring)**은 에이전트 활동을 실시간으로 감시해 문제 행동을 탐지·차단하는 조치다. 자동화된 필터 방식으로 운영되므로 로그(log — 기록) 저장 없이도 독립 적용이 가능하다는 점이 중요하다. 일부 클라우드 제공자는 이미 특정 고객에게 로그 미보관 조건부 실시간 남용 모니터링을 제공한다. 실시간 모니터링은 명확한 규칙 위반(허용 활동 제한·민감 정보 유출·사용량 상한 초과)에 가장 적합하며, 단일 에이전트 수준을 넘어 다중 에이전트(multi-agent) 맥락에서의 이상 징후도 탐지할 수 있다. 예컨대 가격 담합(collusion — 여러 에이전트가 협력해 가격을 조작하는 행위)의 지표로 가격 움직임의 상관관계를 포착하거나, 서브에이전트(sub-agent — 상위 에이전트가 작업을 위임하며 생성하는 하위 에이전트)의 대규모 실행 또는 대량 물리 시스템 접속처럼 에이전트가 환경에 과도한 영향력을 행사하는 행위를 플래그(flag — 이상 징후 표시)할 수 있다.

**셋째, 활동 로그(activity log)**는 에이전트의 입출력, 외부 서비스 접속, 내부 추론·메모리 관리 등을 기록해 사후 귀책(post-incident attribution) 및 포렌식(forensics — 사고 후 원인 추적)을 가능하게 한다. 로그는 배포자와 도구/서비스 제공자 양측이 각각 보유할 수 있으며, 각자가 포착하는 정보의 관점이 다르다. 로그 세부도는 높을수록 유용하지만 비용·프라이버시 부담이 커지므로, 고위험 환경에서는 상세 전수 기록을, 일반 환경에서는 고수준 요약이나 샘플링을 채택하는 스펙트럼을 갖는다. 지연 확산 위험(delayed/diffuse impact)에 대응하려면 로그를 에이전트 수명 이후에도 장기 보존해야 하며, 서브에이전트 네트워크의 연쇄 오동작을 추적하기 위해 복수 에이전트 로그를 결합하는 것도 고려된다.

세 조치 모두에 걸친 **위험(3.4절)**으로, 저자들은 프라이버시를 핵심 긴장 지점으로 식별한다. 에이전트가 인간 활동을 광범위하게 대리할 경우 에이전트 정보는 사실상 사용자 개인정보와 등가가 될 수 있으며, GDPR·HIPAA 등 기존 데이터 보호법도 적용된다. 완화 방안으로는 ① 수집 범위를 활동 위험도에 비례해 제한, ② 데이터 트러스트(data trust — 사용자 대표가 데이터 사용 결정권을 집단적으로 행사하는 분산 데이터 수탁 구조)나 분산 데이터 수탁(decentralized data custody) 도입, ③ 접근 통제의 이중 조절 — 입도(granularity): 집계·비식별화(de-identification)·식별 가능 정보 중 최소 수준 허용, 수량(quantity): 전면 접근·검색 필터 기반 접근·사전 지정 기록 개별 요청 중 선택 — 이 제시된다. 차분 프라이버시(differential privacy — 개별 기록을 노출하지 않고 통계를 산출하는 수학적 기법)를 활용한 요약 통계 산출도 언급된다. 접근 권한의 입도·수량은 모두 접근 주체의 정당한 목적을 달성하는 데 필요한 최소 수준으로 제한되어야 한다.

Decentralized Deployment (§4 — 분산 배포 환경에서의 확장)

이 섹션은 throughline의 “해법의 일반화” 단계를 담당한다. 3절(measures)이 배포자(deployer)가 운영하는 에이전트를 대상으로 세 가지 가시성(visibility) 조치를 확립했다면, 4절은 배포자를 우회하는 오픈 릴리즈(open release, 다운로드형 공개 모델)·자가 호스팅 상황으로 그 조치를 확장한다. 즉 thesis가 요구하는 “어디서·왜·어떻게·누구에 의해 에이전트가 쓰이는지” 파악 가능성을, 배포자가 존재하지 않는 분산 배포 환경에서도 유지하려는 논증이다.

분산 배포의 문제

기업이나 개인 사용자가 다운로드형 모델을 클라우드 컴퓨트나 자체 하드웨어에서 실행하거나, 여러 배포자의 시스템을 조합해 에이전트를 구성하면 배포자 단위의 가시성 조치를 적용할 대상이 없어진다. 악의적 행위자가 의도적으로 이 구조를 선택해 규제 감시를 회피할 수 있다.

컴퓨트 제공자(compute provider) 감독

컴퓨트 제공자(클라우드·인프라 서비스 사업자)는 대규모 배포를 식별할 수 있는 위치에 있다. 대규모 배포는 많은 에이전트와 높은 영향 승수(impact multiplier)를 함의하며, 자원 소모가 뚜렷해 식별도 용이하다. 규모의 경제(economies of scale) 때문에 클라우드 컴퓨트는 기업의 기본 IT 배포 경로이므로, 컴퓨트 제공자가 대규모 에이전트 활동을 감지하면 사용자에게 가시성 조치 이행 증명을 요청하는 방식이 제안된다.

도구·서비스 제공자(tool and service provider)를 분산 집행 레버로

에이전트가 외부 도구·서비스에 의존해야 한다는 점이 두 번째 레버다. 금융 기관 등 도구·서비스 제공자가 에이전트 식별자(agent identifier) 보유 여부나 특정 가시성 조치 이행을 API 접근 조건으로 설정하면 준수를 유인할 수 있다. 단 에이전트가 API 대신 CAPTCHA(인간-소프트웨어 구분 시스템)를 통과하는 방식으로 인간 행동을 모방해 도구에 직접 접근하거나 신원을 위조·도용하는 우회 가능성이 있으며, 에이전트 능력 향상에 강건한 탐지 기술 개발과 프라이버시(privacy)·신원 확인 간 균형이 미해결 과제로 남는다. 반면 API가 제공하는 표준화 인터페이스·접근 조건 설정 기능 때문에 사용자들이 API 사용을 선호할 가능성이 높아 가시성 확보가 그나마 용이할 수 있다.

위험과 완화책 (4.3)

가시성 조치의 분산 배포 확장은 두 가지 핵심 위험을 낳는다. 첫째, 프라이버시(privacy) 위험: 소수 컴퓨트 제공자가 시장을 지배하는 현실(Richter, 2023)에서 이들의 배포 감시는 사실상 사회 전체 모니터링에 해당하며, 수집 정보 남용이나 보안 취약점 노출 가능성이 있다. 둘째, 권력 집중(concentration of power) 위험: 식별자 미보유 에이전트에 대한 도구·서비스 접근 제한이 인증된 배포자 의존을 심화시키면, 규제 포획(regulatory capture, 규제 기관이 피규제자 이익에 종속되는 현상)이나 정부 압력 아래 가시성 조치가 침해적 형태로 변질될 수 있고, 시장 집중으로 인한 시스템 위험도 가중된다.

완화책으로 저자들은 다음을 제안한다:

자발적 표준(voluntary standards): 강제보다 실험적 학습을 허용하며, 사후 법제화 기반 마련.
오픈소스 에이전트 식별자 프레임워크: 사용자가 배포자 없이도 식별자를 구현할 수 있게 하며, Let’s Encrypt(인터넷 인증기관, 무료 자동 인증서 발급으로 HTTPS 보급을 이끈 비영리 기관)를 모델로 독립 인증 기구 설립 가능.
우선순위 조정: 병원체·위험 화학물질을 다루는 과학 플랫폼(Boiko et al., 2023) 등 고위험 도구나 개인 아닌 기업 사용에 집중.
준수를 법적 책임 결정 시 고려: 식별자 미보유를 즉시 거부 대신 책임 산정에 반영하는 방식 — HIPAA(미국 의료정보보호법) 비식별화(de-identification) 표준 준수 시 규제 벌금 감면, 2023년 미국 국가 사이버보안 전략의 사이버보안 모범 사례 준수 기업 민사 면책 방식과 유사.
분산 데이터 수탁(decentralized data custody) 방식 컴퓨트 제공자 로그 관리 및 정부 데이터 요청 투명성 강화 탐색.

Conclusion

이 결론 섹션은 논문의 전체 논지 봉합 역할을 한다. 가시성(visibility)이 왜 에이전트 거버넌스의 토대인지를 정리하면서도, 가시성만으로는 불충분하다는 한계를 명시하고 후속 과제를 제시함으로써 spine의 throughline(“가시성은 거버넌스의 토대이나 그 자체로 충분치 않음”)을 봉합한다.

논문은 점점 자율화되는 에이전틱 시스템(agentic system, 사람의 개입 없이 스스로 행동을 계획·실행하는 AI 시스템)의 거버넌스를 위해 세 가지 가시성 조치를 평가했다고 요약한다. 첫째, 에이전트 식별자(agent identifier)는 어떤 에이전트가 상호작용에 관여하는지를 표시하며, 에이전트 카드(agent card)를 통해 에이전트에 관한 추가 정보를 책임 규명 및 사고 조사에 활용할 수 있다. 둘째, 실시간 모니터링(real-time monitoring)은 문제적 에이전트 행동을 발생 즉시 포착하는 것을 목표로 한다. 셋째, 활동 로그(activity log)는 에이전트의 특정 입출력을 기록하여 사후(post-hoc) 심층 분석을 가능하게 한다. 나아가 배포자(deployer)를 우회하는 분산 배포(decentralized deployment) 환경에서는 컴퓨트 제공자(compute provider)와 도구/서비스 제공자(tool and service provider)를 레버로 삼아 가시성 조치를 확장하는 방안을 논의했다. 프라이버시 및 권력집중(concentration of power)에 대한 함의도 분석했으며, 저자들은 이 조치들의 즉각적 도입을 주장하는 것이 아니라 조치의 특성과 부정적 영향 완화 방법에 대한 추가 이해가 선행되어야 한다고 밝힌다.

가시성은 에이전트 배포로 인한 위험 관리 조치의 근거를 제공하지만 그 자체로 충분하지 않다. 에이전트 활동을 포괄적으로 파악하더라도, 피해를 입은 당사자가 위험을 줄이기 위해 개입할 실질적 권한을 갖지 못할 수 있기 때문이다(Ananny and Crawford, 2018). 이를 해결하기 위한 후속 과제로는 AI 개발·배포에 대한 공적 영향력 확대, 다양한 정책 레버(policy lever) 개발, 그리고 피해를 예방·방어할 인프라 및 관행 구축이 제시된다.

축	본 논문 (Visibility into AI Agents, FAccT ‘24)	Harms from Agentic Algorithmic Systems (FAccT ‘23) [base]	Frontier AI Regulation (2023) [base]	TASRA (2023) [base]	AI Control (ICML ‘24) [direct]	ARC Framework (2025) [direct]
핵심 접근	에이전트 식별자·실시간 모니터링·활동 로그라는 세 가지 가시성 조치를 제안하여 에이전트 거버넌스의 정보 인프라를 구축	에이전시의 4개 축(목표 복잡성·환경 유형·행동 범위·의사결정 권한)을 기준으로 에이전트 피해 분류 체계 제시	개발자 표준 준수·등록·사전 위험평가·배포 후 모니터링을 포함한 프런티어 AI 전주기 규제 프레임워크 제안	AI 위험의 책임 귀속 요소(행위 주체·조직화 방식·의도성)를 기준으로 사회 규모 위험 분류 체계 제시	GPT-4를 비신뢰 모델로 활용한 안전 프로토콜(trusted editing, untrusted monitoring)의 실험적 평가 — 의도적 우회를 전제한 기술적 제어	구성 요소·설계·역량이라는 3대 위험 원천을 식별하고 조직별 기술 통제를 제공하는 역량 중심 거버넌스 프레임워크
문제 정의	에이전트가 인간을 루프에서 제거함으로써 발생하는 위험(악용·과의존·지연확산·다중에이전트·서브에이전트)에 대응하기 위한 ‘가시성’(어디서·왜·어떻게·누구에 의해) 정보 결핍	에이전시가 높아질수록 피해 가능성과 귀책 모호성이 커지는 문제 — 특히 인간 감독 제거·장기 목표 추구·다중에이전트 상호작용에서의 피해 증폭	강력한 역량을 가진 프런티어 모델의 사전 예방적 위험 관리 부재와 개발·배포 단계 간 규제 공백	다수 AI 시스템이 상호작용하거나 행위자가 의도적으로 AI를 오용하는 경우 사회 전체가 입는 규모적 피해의 분류 체계 부재	에이전트가 적극적으로 안전 프로토콜을 우회하려 할 때 기존 감독 메커니즘이 무력화되는 문제	조직이 에이전트 시스템 도입 시 어떤 위험이 어떤 역량에서 비롯되는지 체계적으로 식별·완화할 방법론 부재
데이터 / 평가 맥락	실증 데이터 없음 — 정책 포지션 페이퍼로서 사례 분석·법정책 문헌·기존 연구 인용 기반 논증	실증 데이터 없음 — 문헌 검토와 개념 분석 기반 분류 체계 구성	실증 데이터 없음 — 기존 AI 위험 사례·규제 선례·전문가 권고 문헌 분석	실증 데이터 없음 — AI 위험 시나리오의 이론적 분류 및 기존 문헌 종합	GPT-4 비신뢰 모델을 활용한 통제 실험(프로그래밍 과제에 숨겨진 논리 오류 삽입) — 정량적 안전성 평가 수행	실증 데이터 없음 — 조직 사례 분석 및 기존 연구 종합; 오픈소스 프레임워크 문서로 검증
핵심 메트릭	가시성 조치의 침해성(intrusiveness) 수준 및 정보성(informativeness) 스펙트럼으로 조치를 정성 평가; 수치 결과 없음	피해 유형별 질적 분류 완성도(4축 × 피해 카테고리 매핑); 수치 결과 없음	규제 조치의 포괄성·실행 가능성을 정성 평가; 수치 결과 없음	위험 분류 체계의 논리적 완전성; 수치 결과 없음	안전 프로토콜 하에서 비신뢰 모델의 공격 성공률 및 탐지율(정량); 구체 수치는 실험 조건별로 보고	위험 통제 커버리지(3대 원천 × 기술 통제 매핑)의 정성 평가; 수치 결과 없음
확장성	배포자 운영 에이전트에서 출발해 오픈릴리즈·자가호스팅 분산 배포로 확장; 컴퓨트 제공자·도구/서비스 제공자를 분산 집행 레버로 제시	단일 에이전트에서 다중 에이전트 시스템까지 피해 분류 확장 가능하나 집행 메커니즘은 미제시	국가 수준 규제 기관을 전제하므로 국경 간 배포·오픈릴리즈 시나리오에는 적용 한계 존재	개별 에이전트에서 사회 전체 규모까지 위험 분류 확장 가능; 구체 집행 방안은 범위 밖	특정 코드 실행 과제에 집중된 실험 설계로 인해 장기·다영역 에이전트 시나리오로의 일반화 미검증	조직 단위 적용을 상정하며 오픈소스 문서 제공; 산업 전반 표준화 가능성은 열려 있으나 규제 강제력 없음
한계	[저자 인정] 프라이버시 침해·권력 집중 부작용 인정; 가시성만으로 충분하지 않으며 후속 정책 레버 필요 명시. [독자 식별] 조치의 기술적 구현 세부 사항 및 비용 추정 부재; 행위자 인센티브 분석 없음	[저자 인정] 분류 체계의 경계 사례 모호성 인정. [독자 식별] 피해 발생 가능성의 정량적 추정 없음; 기술 발전 속도에 따른 분류 갱신 메커니즘 미제시	[저자 인정] 규제 세부 설계는 후속 과제로 유보. [독자 식별] 오픈릴리즈 모델·분산 배포 시나리오에 대한 규제 집행 가능성 불명확	[저자 인정] 분류 체계가 예방 메커니즘을 포함하지 않음 인정. [독자 식별] 위험 발생 확률 및 심각도 추정 미포함; 완화 전략 공백	[저자 인정] 실험이 단기 코딩 과제에 국한됨 인정. [독자 식별] 가시성 인프라 부재 상황에서의 프로토콜 적용 가능성 미논의; 오픈소스 모델 적용 미검토	[저자 인정] 프레임워크가 기술 중심이며 규제 강제력 없음 인정. [독자 식별] 소규모 조직·개인 배포자 적용 가이던스 부족; 조치 우선순위 결정 기준 미제시
코드 공개	❌	❌	❌	❌	❌	✅ (https://govtech-responsibleai.github.io/agentic-risk-capability-framework/)

원자적 인사이트

다중 위험을 단일 원인으로 환원하면 공통 인프라로 대응할 수 있다

출처: Visibility into AI Agents (Chan et al., 2024)
유형: 이론적

저자들은 에이전트의 5대 위험(악용·과의존·지연확산·다중에이전트·서브에이전트)이 표면적으로 이질적임에도 “인간이 의사결정 루프에서 제거된다”는 단일 메커니즘에서 공통으로 증폭됨을 보인다. 이 환원 덕분에 위험별 개별 대응 대신 그 빈자리를 메우는 정보 인프라(가시성) 하나로 일관된 거버넌스 접근이 가능해진다.

핵심 조건/맥락: 위험들이 ‘인간 부재’라는 공통 원인을 공유할 때만 성립하는 논리이며, 가시성은 위험을 관리할 근거를 줄 뿐 위험 자체를 제거하지는 않는다.
연결: Harms from Agentic Algorithmic Systems — 위험 분류에서 멈춘 연구를 집행 가능한 조치로 잇는 전환점
활용 가능성: 복잡계·다중 실패 지점을 가진 시스템(자율주행 군집, 멀티에이전트 거래)의 거버넌스 설계 시, 위험 카탈로그화 이전에 ‘공통 실패 메커니즘 식별 → 그에 대응하는 단일 관측 인프라’ 패턴으로 재사용 가능.

집행 주체가 사라지면 공급망의 인접 행위자를 레버로 삼는다

출처: Visibility into AI Agents (Chan et al., 2024)
유형: 방법론적

배포자를 우회하는 오픈 릴리즈·자가 호스팅에서는 조치를 강제할 대상이 없어진다. 저자들은 에이전트가 반드시 의존하는 두 자원—연산(컴퓨트 제공자)과 외부 도구(도구/서비스 제공자)—의 게이트키퍼에게 가시성 조치 이행을 접근 조건으로 걸어 분산 환경에서도 집행력을 복원한다.

핵심 조건/맥락: 대규모 배포는 자원 소모가 뚜렷해 컴퓨트 제공자가 식별 가능하다는 전제, 그리고 에이전트가 CAPTCHA 우회·신원 위조로 도구 접근을 회피하지 못한다는 전제에 의존한다. 소수 제공자 집중은 곧 사회 전체 감시·권력 집중 위험으로 되돌아온다.
연결: Frontier AI Regulation — 국가 규제 기관 전제가 분산 배포에서 무력화되는 한계를 보완
활용 가능성: 직접 규제가 어려운 분산 시스템(P2P 네트워크, 암호화폐, 오픈소스 배포)에서 ‘필수 의존 자원의 병목 지점을 규범 집행 레버로 전환’하는 거버넌스 패턴으로 일반화 가능.

준수를 ‘거부 트리거’가 아닌 ‘책임 산정 변수’로 쓰면 부드러운 유인이 된다

출처: Visibility into AI Agents (Chan et al., 2024)
유형: 방법론적

식별자 미보유 에이전트를 즉시 차단하는 대신, 가시성 조치 준수 여부를 사후 법적 책임을 따질 때 가중·감면 변수로 반영한다. 저자들은 HIPAA 비식별화 표준 준수 시 규제 벌금이 줄고, 2023년 미국 국가 사이버보안 전략이 모범 사례 준수 기업에 민사 면책을 주는 선례를 든다.

핵심 조건/맥락: 사후 책임 추궁이 실제로 작동하는 법체계가 전제되어야 하며, 즉시 차단보다 위양성·접근성 비용은 낮지만 사전 예방력은 약하다.
연결: ARC Framework — 조직 단위 자발적 기술 통제와 결합될 때 강제 없는 거버넌스로 확장
활용 가능성: 강제 시 혁신 위축·접근 차단 부작용이 큰 신기술 규율 전반에서, 이분법적 허가/거부 대신 ‘준수 정도를 책임의 연속 변수로 매핑’하는 설계로 응용 가능.

핵심 용어 정리

용어	정의
에이전시 (agency)	AI 시스템이 사람의 개입이나 구체적 지시 없이 장기 목표를 위해 세계에 직접 행동하는 정도. 높을수록 ‘에이전트’에 가깝다.
AI 에이전트 (AI agent)	에이전시가 상대적으로 높아 스스로 계획·행동하는 시스템. 도구 접근권이 부여된 언어 모델이나 강화학습 시스템이 예이며, 파운데이션 모델 자체는 제외된다.
스캐폴딩 (scaffolding)	파운데이션 모델 같은 비에이전트 시스템을 에이전틱하게 만드는 외부 실행 구조(추가 프롬프트·메모리·도구 접근·계획 메커니즘). AutoGPT가 대표 사례.
가시성 (visibility)	에이전트가 어디서·왜·어떻게·누구에 의해 쓰이는지에 대한 정보. 거버넌스의 토대가 되는 정보 상태.
에이전트 식별자 (agent identifier)	특정 상호작용에 어떤 AI 에이전트가 관여하는지 출력물에 부착하는 표지(워터마크·HTTP 헤더 등). 부가 정보 묶음인 에이전트 카드(agent card)를 첨부할 수 있다.
실시간 모니터링 (real-time monitoring)	에이전트 작동 중 문제 행동을 자동 필터로 탐지·차단하는 조치. 로그 저장 없이 독립 적용 가능하다.
활동 로그 (activity log)	에이전트의 입출력·외부 접속·내부 추론을 기록해 사후 귀책과 포렌식을 가능하게 하는 행동 이력.
배포자 (deployer)	AI 시스템을 운영해 사용자에게 제공하는 주체(예: OpenAI 시스템을 제품에 탑재한 Microsoft). 가시성 조치의 1차 적용 대상.
컴퓨트 제공자 (compute provider)	AI가 작동하는 하드웨어 인프라를 공급하는 주체. 대규모 배포를 식별·집행할 분산 레버.
플래시 크래시 (flash crash)	자동화 알고리즘 간 연쇄 반응으로 주가가 순간 폭락한 2010년 사건. 다중 에이전트 불안정 피드백의 실증 선례.
권력 집중 (concentration of power)	감시·인증 권한이 소수 행위자에게 쏠리는 현상. 규제 포획(regulatory capture)으로 가시성이 침해적으로 변질될 위험을 포함한다.
차분 프라이버시 (differential privacy)	개별 기록을 노출하지 않으면서 전체 통계를 산출하는 수학적 기법. 로그 요약 통계 제공 시 프라이버시 완화책.

BibTeX

@inproceedings{chan2024,
  title={Visibility into {AI} Agents},
  author={Chan, Alan and Ezell, Carson and Kaufmann, Max and Wei, Kevin and Hammond, Lewis and Bradley, Herbie and Bluemke, Emma and Rajkumar, Nitarshan and Krueger, David and Kolt, Noam and Heim, Lennart and Anderljung, Markus},
  booktitle={Proceedings of the 2024 ACM Conference on Fairness, Accountability, and Transparency},
  year={2024},
  doi={10.1145/3630106.3658948},
  url={https://arxiv.org/abs/2401.13138}
}

AI 에이전트의 가시성

AI 에이전트의 가시성

먼저 이해하기

쉬운 설명

왜 중요한가

먼저 알아둘 말

흐름 따라 읽기

Abstract

Introduction

Definitions (§2 — 용어 정의)

Measures (§3 — 가시성 조치)

Decentralized Deployment (§4 — 분산 배포 환경에서의 확장)

분산 배포의 문제

컴퓨트 제공자(compute provider) 감독

도구·서비스 제공자(tool and service provider)를 분산 집행 레버로

위험과 완화책 (4.3)

Conclusion

관련 연구 비교 매트릭스

원자적 인사이트

다중 위험을 단일 원인으로 환원하면 공통 인프라로 대응할 수 있다

집행 주체가 사라지면 공급망의 인접 행위자를 레버로 삼는다

준수를 ‘거부 트리거’가 아닌 ‘책임 산정 변수’로 쓰면 부드러운 유인이 된다

핵심 용어 정리

태그

관련 연구

BibTeX