2025 AI 에이전트 인덱스
Digest: AI 에이전트(스스로 계획·도구사용·다단계 작업을 수행하는 시스템)는 고객 서비스·업무 자동화·웹 탐색으로 빠르게 확산되지만, 누가 무엇을 책임지고 얼마나 안전한지조차 일관되게 공개되지 않아 연구자·정책 입안자·사용자 모두 실태를 파악하기 어렵다. 저자들은 이 불투명성이 단순 정보 부족이 아니라 측정 가능한 거버넌스 공백이며, 특히 자율성이 높을수록(L4–L5) 안전 문서가 오히려 더 부족하다는 역설을 포착한다 — 위험이 클수록 검증 정보가 적은 구조다. 그래서 95개 후보를 Agency·Impact·Practicality 기준으로 30개로 좁히고, 7인 주석자가 origins·design·capabilities·ecosystem·safety·evaluations 6범주 45필드로 각 에이전트를 문서화하되, 확인 불가 필드를 “공개정보 없음(not publicly available)“으로 명시 표기해 공백 자체를 데이터로 만드는 2025 AI Agent Index를 구축한다. 결과는 세 갈래로 수렴한다 — (1) 집중: 30개 중 21개(70%)가 미국 기업 개발이고 프론티어 기업 외 거의 모든 에이전트가 GPT·Claude·Gemini 세 모델에 의존, (2) 안전 문서 공백: 안전 관련 240개 필드 중 56%(135개)가 공개정보 없음, 에이전트 특화 안전 평가 공개는 4개, 제3자 안전 테스트 증거는 7개뿐, (3) 책임 파편화(accountability fragmentation): 30개 중 21개가 AI임을 기본 고지하지 않고, 안정적 User-Agent 문자열을 게시하는 곳은 7개에 불과. 저자들은 공개정보에만 의존하므로 비공개 안전 관행을 포착할 수 없어(공개정보 편향) 위험을 과대 추정할 수 있고, 30개 표본·데이터 컷오프(2025-12-31)·자체 보고 검증 불가라는 한계를 인정한다. 56% 공백이 실제 안전 노력 부재인지 공개 꺼림(disclosure aversion)인지는 이 연구만으로 구별되지 않으며, 연례 갱신을 통한 종단 분석으로 검증해야 할 과제로 남는다.
먼저 이해하기
쉬운 설명
이 논문은 2025년 시점에 실제로 배포된 AI 에이전트(스스로 계획을 세우고 웹 브라우저·코드 도구를 써서 여러 단계 작업을 처리하는 AI) 30개를 골라, 각각에 대해 6개 범주(기원·설계·역량·생태계·안전·평가) 45개 항목을 사람이 직접 조사해 채워넣은 일종의 “에이전트 신상명세서 모음집”인 2025 AI Agent Index를 만든다. 흥미로운 규칙 하나는, 정보를 찾을 수 없는 칸을 빈칸으로 두지 않고 “공개정보 없음(not publicly available)“이라고 명시한 점인데, 이렇게 하면 “무엇이 공개되지 않았는가” 자체가 셀 수 있는 데이터가 된다. 조사 결과 30개 중 21개가 미국 기업 제품이고 거의 모두가 GPT·Claude·Gemini 세 파운데이션 모델(여러 응용의 기반이 되는 초대형 사전학습 모델) 위에 올라가 있어 생태계가 소수에 쏠려 있었다. 핵심 발견은 안전 관련 240개 항목 중 56%가 공개정보 없음이었고, 특히 인간 개입이 거의 없는 고자율(L4–L5, 숫자가 클수록 사람이 덜 개입) 에이전트일수록 안전 문서가 더 부족했다는 점이다. 다만 저자들은 이 56%가 “안전 노력이 없다”는 뜻이 아니라 “공개를 안 했다”는 뜻일 수도 있고(비공개 관행은 조사로 잡히지 않음), 30개라는 표본과 2025-12-31 기준일이라는 한계가 있음을 분명히 밝힌다.
왜 중요한가
이 연구는 “AI 에이전트가 불투명하다”는 막연한 우려를 56% 같은 측정값으로 바꿔, 투명성 부재를 논쟁이 아니라 데이터로 다룰 수 있게 만든다는 점에서 의미가 있다. 특히 자율성이 높을수록 안전 문서가 오히려 부족하다는 역설은, 가장 큰 영향을 미칠 수 있는 에이전트일수록 외부 검증이 어렵다는 구조적 문제를 드러내며 고자율성 에이전트에 대한 선제적 거버넌스 논의의 근거가 된다. 책임이 파운데이션 모델 제공자·플랫폼 개발자·배포자·사용자로 흩어지는 책임 파편화는, 단일 제품에 책임을 묻는 기존 규제 틀로는 에이전트 생태계를 다루기 어렵다는 점을 구체적 근거로 보여준다. 동시에 30개 중 21개가 AI임을 기본 고지하지 않는다는 발견은, 일반 사용자가 자신이 사람과 대화하는지 자동화 시스템과 대화하는지 모를 수 있다는 일상적 문제와 직결된다. 다만 저자 스스로 인정하듯 이 결과는 공개된 정보만을 근거로 하므로, 정책 처방의 강도는 56% 공백이 실제 안전 결핍인지 공개 꺼림인지에 따라 달라질 수 있다는 점을 함께 기억해야 한다.
먼저 알아둘 말
| 용어 | 쉬운 설명 | 정확성 메모 |
|---|---|---|
| 에이전트형(agentic) AI / AI 에이전트 | 한 번 묻고 답하는 챗봇과 달리, 목표를 받아 스스로 계획하고 도구를 써서 여러 단계 작업을 끝까지 처리하는 AI | 저자 정의 3요소: ① 행동 시퀀스 실행, ② 텍스트 생성 넘는 도구 접근, ③ 매 행동마다 인간 승인 없는 부분적 자율성. 세 조건을 모두 만족해야 본 논문의 “에이전트” |
| 자율성 레벨 (L1~L5) | 사람이 얼마나 덜 개입하는지를 5단계로 나눈 척도(L이 클수록 AI가 독립적) | L1=단일응답·도구없음, L2=도구사용+매행동 승인, L3=간헐적 점검 하 다단계, L4=고위험만 감독, L5=거의 완전자율. 본 논문에선 에이전트가 자가 분류한 면이 있어 해석 의존 |
| 파운데이션 모델 | GPT·Claude·Gemini처럼 대규모 학습을 거쳐 여러 응용의 토대가 되는 초대형 AI 모델 | 본 논문 발견에선 프론티어 기업(OpenAI·Anthropic·Google) 외 거의 모든 에이전트가 이 셋의 API 위에 구축 — 집중 위험의 근거 |
| ”공개정보 없음” (not publicly available) | 조사로 정보를 못 찾은 칸을 빈칸 대신 이렇게 표기하는 규칙 | ”정보가 없다”가 아니라 “공개 확인 불가”라는 뜻. 56% 공백 수치의 토대이자, 비공개 안전 관행을 못 잡는다는 한계의 원천(공개정보 편향) |
| 책임 파편화 (accountability fragmentation) | 모델 제공자·플랫폼·배포자·사용자에게 통제권이 흩어져 누구도 온전히 책임지지 않는 상태 | 본 논문은 이를 기존 단일 제품 책임 규제로 다루기 어려운 구조적 문제로 제시 |
| User-Agent 문자열 / robots.txt | User-Agent는 접속 주체가 누구인지(사람 브라우저인지 자동화 봇인지) 알리는 표식, robots.txt는 사이트가 자동화 접근 허용·금지를 적는 표준 파일 | 안정적 UA 게시는 7개뿐, robots.txt 준수 여부 미문서화 16개, 봇 우회 명시 설계 6개 — 웹 거버넌스 공백의 근거 |
| 레드티밍 (red-teaming) | 적대적 시나리오를 일부러 던져 시스템 취약점을 찾는 안전 점검 방법 | 안전 필드 공백이 집중된 영역 중 하나. 공개 여부 자체가 드묾 |
| FMTI (Foundation Model Transparency Index) | 파운데이션 모델 개발사를 100개 지표로 점수화한 선행 투명성 지수 | 본 Index의 방법론적 계보. FMTI는 모델을, 본 논문은 그 위에 올라간 배포 에이전트를 대상으로 확장 |
섹션별 요약
Abstract
이 섹션은 전체 논문의 thesis(“에이전트 생태계의 투명성 결여 → 문서화 Index → 거버넌스 필요”)를 한 단락으로 압축하여, 독자가 연구의 문제·방법·발견을 즉시 파악하고 읽을 가치를 판단하게 하는 역할을 맡는다.
에이전트형(agentic) AI(스스로 계획을 세우고 도구를 사용해 다단계 작업을 수행하는 AI 시스템)는 전문·개인 업무를 제한된 인간 개입만으로 처리하는 능력이 빠르게 향상되고 있다. 그러나 AI 에이전트 생태계는 복잡하고 급변하며 문서화 수준도 불일치하여 연구자와 정책 입안자 모두 실태 파악에 어려움을 겪는다. 이를 해소하기 위해 본 논문은 2025 AI Agent Index를 제시한다. 이 Index는 공개 정보와 개발사와의 이메일 교신을 바탕으로 최신 AI 에이전트 30개의 기원·설계·역량·생태계·안전 특성을 체계적으로 문서화한다. 개별 에이전트 정보 외에도 Index는 에이전트 개발 전반의 추세, 역량, 그리고 개발사 투명성 수준을 조명하며, 특히 대다수 개발사가 안전성·평가·사회적 영향에 관한 정보를 거의 공개하지 않는다는 점을 발견한다.
핵심 기여
- 공개 정보 및 개발사 직접 교신을 통해 최신 AI 에이전트 30개를 체계적으로 식별하고 문서화한 2025 AI Agent Index를 구축한다.
- 에이전트 생태계 전반의 개발 추세, 역량, 개발사 투명성 수준에 관한 실증적 분석을 제공한다.
- 안전성·평가·사회적 영향 정보의 광범위한 공개 공백을 밝혀 투명성 의무화와 새로운 거버넌스 프레임워크 필요성의 근거를 제시한다.
왜 이 연구를 하는가? (Abstract 맥락)
핵심 질문: 빠르게 확산되는 에이전트형(agentic) AI(스스로 계획·도구 사용·다단계 작업을 수행하는 AI 시스템)의 기술·안전 특성을 누가 얼마나 공개하고 있으며, 생태계를 체계적으로 파악할 수 있는 구조화된 자료가 존재하는가?
기존 접근법의 한계
| 한계 | 설명 |
|---|---|
| 문서화의 불일치 | 일부 개발자는 상세한 기술 명세와 안전 평가를 제공하지만, 다른 개발자는 마케팅 자료 이상의 정보를 거의 공유하지 않아 생태계 전반 비교가 불가능하다. |
| 생태계 파악의 불투명성 | 에이전트는 이질적인 주체들이 개발하고 다양한 기술 아키텍처(구조) 위에서 서로 다른 맥락에 배포되어, 전체 지형을 일관되게 특성화하기 어렵다. |
| 정보 비대칭 | 연구자·정책 입안자·최종 사용자 모두 에이전트의 역량과 위험을 파악할 수 있는 구조화된 기준 자료가 없어, 각자의 의사결정이 근거 없이 이루어진다. |
핵심 통찰
- 에이전트형 AI는 단순 질의응답 도구와 달리 장기 목표를 추구하며 도구를 사용하는 질적 전환을 나타내므로, 기존 AI 투명성 평가 체계만으로는 포착하기 어렵다.
- 생태계의 불투명성은 단순 정보 부족 문제가 아니라 거버넌스(governance, 책임 있는 관리) 실패의 전조이며, 특히 고자율성 에이전트일수록 안전 정보 공백이 구조적으로 발생한다.
Introduction
이 섹션은 spine의 throughline에서 “문제 제기” 역할을 담당한다. 에이전트 생태계의 급부상과 문서화 불일치라는 구조적 문제를 확립한 뒤, 본 논문이 그 공백을 메우기 위해 도입하는 2025 AI Agent Index의 범위와 기여를 선언함으로써 이후 방법론·발견·논의 섹션 전체의 동기를 제공한다.
2025년에는 AI 에이전트에 대한 관심이 검색량과 학술 출판물 모두에서 급격히 증가했다. 에이전트형 AI 시스템—복잡한 다단계 과제를 제한적인 인간 감독(human oversight) 아래 수행할 수 있는 시스템—은 전문·소비자 맥락 모두에 가속적으로 배포되고 있다. 이 시스템은 단일 질의에 응답하는 기존 AI 도구와 달리, 계획을 수립하고 행동을 취하며 도구를 사용해 장기 목표를 추구한다는 점에서 질적 전환을 나타낸다.
그러나 에이전트 생태계는 여전히 특성화하기 어렵다. 개발 주체는 이질적이고 기술 아키텍처는 다양하며, 문서화 관행도 불일치한다. 일부 개발자는 상세한 기술 명세와 안전 평가를 제공하는 반면, 다른 개발자는 마케팅 자료 이상의 정보를 거의 공유하지 않는다. 이 불투명성은 에이전트 역량과 위험을 연구하는 연구자, 이 시스템을 규제하려는 정책 입안자, 그리고 자신이 무엇과 상호작용하는지 알려는 최종 사용자 모두에게 문제를 야기한다.
이러한 공백을 메우기 위해 본 논문은 2025 AI Agent Index를 도입한다. 이 Index는 배포된 에이전트형 AI 시스템의 기술·안전 특성을 체계적으로 문서화하는 시도로서, 30개의 최신 AI 에이전트를 origins(기원)·design(설계)·capabilities(역량)·ecosystem(생태계)·safety(안전)·evaluations(평가)의 6개 범주로 구성된 45개 필드에 걸쳐 정보를 기록한다. 그 목적은 연구자·정책 입안자·일반 공중이 활용할 수 있는 현 에이전트 지형의 포괄적·구조화된 개요를 제공하는 것이다.
저자가 명시한 기여
- 배포된 AI 에이전트를 식별·선정·범주화하는 방법론 수립
- 30개 에이전트를 45개 정보 필드에 걸쳐 체계적으로 문서화
- 에이전트 개발·역량·투명성의 경향 분석
- 공개 문서화의 핵심 공백—특히 안전 영역—식별
왜 이 연구를 하는가? (Background 맥락)
핵심 질문: 급증하는 AI 에이전트(스스로 계획·도구 사용·다단계 작업을 수행하는 시스템)를 체계적으로 이해·평가하려면 어떤 개념적 토대가 필요한가?
기존 접근법의 한계
| 한계 | 설명 |
|---|---|
| AI 에이전트의 정의 불일치 | 선행 연구마다 에이전트 분류 기준이 달라, 어떤 시스템이 “에이전트”인지에 대한 공통 기준이 없었다. |
| 투명성 평가의 범위 미달 | Foundation Model Transparency Index(FMTI, 파운데이션 모델의 투명성을 100개 지표로 평가한 체계)는 모델 자체를 대상으로 했으나, 실제 배포된 에이전트의 배포 설정·안전 평가·생태계 상호작용에 대한 투명성 평가는 다루지 않았다. |
핵심 통찰
- AI 에이전트는 기능적 정의(행동 시퀀스 수행, 텍스트 생성 이상의 도구 접근, 부분적 자율성)로 규정해야 실제 배포 시스템을 일관되게 식별할 수 있다.
- L1~L5 자율성 레벨(autonomy levels) 프레임워크를 도입하면 에이전트 간 자율성 편차를 정량 비교할 수 있으며, 고자율성 에이전트일수록 안전 문서 공백이 더 심각하다는 발견의 분석 단위가 된다.
Background & Related Work
이 섹션은 throughline의 첫 번째 고리인 “문제 인식”을 뒷받침하는 개념적 토대(conceptual foundation)를 구축한다. 에이전트 생태계가 복잡하고 문서화가 불일치한 이유를 설명하려면 먼저 “에이전트란 무엇인가”와 “얼마나 자율적인가”를 명확히 정의해야 하며, 이 섹션이 바로 그 역할을 맡는다.
저자들은 AI 에이전트(AI agent)를 ① 목표 달성을 위한 행동 시퀀스 실행, ② 텍스트 생성을 넘어서는 도구(웹 브라우저·코드 인터프리터·API) 접근, ③ 매 행동마다 인간 승인 없이 작동하는 부분적 자율성(autonomy)이라는 세 조건의 기능적 정의로 규정한다. 이는 기존 문헌의 다양한 분류체계를 수렴시켜 30개 에이전트 선별 기준의 기초가 된다.
자율성 수준은 L1~L5의 5단계 프레임워크로 세분화된다: L1은 단일 쿼리 응답(도구·기억 없음), L2는 도구 사용 가능하나 매 행동 전 인간 승인 필요, L3는 인간 점검이 간헐적으로 개입하는 다단계 계획 실행, L4는 고위험 결정에만 인간 감독(human oversight)이 개입하는 대체로 자율적인 운영, L5는 인간 개입이 최소화된 완전 자율 운영이다.
투명성 평가 계보(transparency assessment lineage)를 세우기 위해 저자들은 FMTI(Foundation Model Transparency Index, 파운데이션 모델 개발사를 100개 지표로 평가한 체계)를 선행 연구로 위치 짓는다. 2025 AI Agent Index는 FMTI의 체계적 투명성 평가 접근을 계승하되, 적용 대상을 파운데이션 모델에서 실제 배포된 AI 에이전트로 확장한다. 에이전트 특유의 투명성 우려 사항—배포 설정, 안전 평가(safety evaluations), 생태계 상호작용—이 FMTI가 다루지 않은 새 영역이다.
저자가 명시한 기여
- AI 에이전트의 기능적 정의와 L1~L5 자율성 레벨 프레임워크를 수립해 30개 에이전트 선별·범주화의 개념적 기준을 제공함
- FMTI의 파운데이션 모델 투명성 평가 방법론을 배포된 AI 에이전트 영역으로 확장하는 학문적 계보를 정립함
- 에이전트 특유의 투명성 대상(배포 설정·안전 평가·생태계 상호작용)을 명시적으로 범위 규정함
Methods
프레임워크 개요
본 Methodology 섹션은 throughline상 “에이전트 생태계는 파악이 어렵다(문제)“에 응답하는 접근 단계로, 이후 Findings가 보고할 발견의 신뢰성과 재현 가능성을 보장하는 방법론적 토대를 세운다. 95개 후보를 30개로 좁히는 선별 기준, 3유형 범주화 체계, 45개 필드/6범주로 이뤄진 문서화 코드북, 그리고 7인 주석자(annotator, 텍스트에 정보를 표기하고 분류하는 전문가) 기반 데이터 수집 절차의 네 단계로 구성된다.
핵심 구성요소
- 에이전트 식별 및 선별 (3.1): 뉴스 기사·제품 발표·학술 논문·업계 보고서를 체계적으로 검색해 95개 후보를 도출한 후, Agency(자율적 다단계 작업 수행 능력)·Impact(실세계 영향력: 미디어 노출·인용·사용자 수·기업 채택)·Practicality(공개 접근 가능성 또는 충분한 상세 기술) 세 기준을 적용해 30개로 압축한다.
- 에이전트 범주화 (3.2): 주된 상호작용 양식(interaction modality, 사용자와 시스템이 소통하는 방식)과 배포 맥락에 따라 30개를 3유형으로 분류한다. (1) 에이전트형 도구가 추가된 채팅 애플리케이션 12개(Claude, ChatGPT, Gemini 등), (2) 브라우저 기반 에이전트 5개(Mobile-Agent, ChatGPT Atlas, Comet 등), (3) 엔터프라이즈 워크플로 에이전트 13개(Copilot Agents, Agentforce, Zapier Agents 등).
- 문서화 필드 (3.3): 각 에이전트를 6개 범주 45개 필드로 인코딩한다. Origins(개발사 정체성·위치·설립일·조직 유형), Design(기반 모델·파인튜닝(fine-tuning, 범용 모델을 특정 목적에 맞게 추가 학습하는 과정)·메모리 구조·도구 접근), Capabilities(과제 유형·자율성 수준·컨텍스트 윈도(context window, 모델이 한번에 처리할 수 있는 텍스트 분량)·지원 양식), Ecosystem(통합 파트너·API 가용성·가격 모델·사용자 기반), Safety(안전 평가·레드티밍(red-teaming, 적대적 시나리오로 시스템 취약점을 탐색하는 절차)·콘텐츠 필터링·인간 감독 메커니즘), Evaluations(성능 벤치마크·제3자 평가·보고 지표).
- 데이터 수집 (3.4): 공개 문서·블로그·논문·뉴스와 개발사 직접 이메일 서신의 두 소스를 활용한다. 7인의 전문 주석자가 각 에이전트를 문서화하고, 불일치는 토론·합의로 해결한다.
입력 → 출력 흐름
뉴스·논문·보고서 검색으로 95개 후보 집합을 생성한다 → Agency·Impact·Practicality 기준으로 필터링해 30개 에이전트를 선정한다 → 3유형 범주화로 각 에이전트에 유형 레이블을 부여한다 → 45필드/6범주 코드북에 따라 7인 주석자가 공개 정보와 이메일 서신을 참조해 각 필드를 채운다 → 공개 정보를 확인할 수 없는 필드는 “공개정보 없음(not publicly available)“으로 표기한 완성 데이터셋이 출력된다. 이 데이터셋이 Findings 섹션 전체 분석의 입력이 된다.
기존 방법과의 차별점
FMTI(Foundation Model Transparency Index, 파운데이션 모델의 투명성을 체계적으로 평가한 선행 지수)가 파운데이션 모델 자체의 투명성을 평가한 것과 달리, 본 방법론은 그 위에 구축된 배포된 에이전트를 대상으로 하며, 자율성 수준·도구 접근·인간 감독 등 에이전트 고유의 위험 관련 필드를 포함한다. 또한 정보 부재를 “주석 실패”가 아닌 “투명성 공백”으로 명시적으로 처리하는 규칙을 채택함으로써, 안전 문서 공백이라는 핵심 발견이 방법론적으로 정당화된다.
주요 설정
| 항목 | 값 |
|---|---|
| 최종 문서화 대상 에이전트 수 | 30개 |
| 초기 후보 풀 | 95개 |
| 문서화 필드 수 | 45개 (6개 범주) |
| 에이전트 유형 수 | 3유형 (채팅형 12 / 브라우저형 5 / 엔터프라이즈형 13) |
| 주석자 수 | 7인 (불일치 시 토론·합의 해결) |
| 데이터 소스 | 공개 정보 + 개발사 직접 이메일 서신 |
| 결측 처리 규칙 | ”공개정보 없음(not publicly available)” 명시 표기 |
발견 (Findings)
-
지리적·모델 집중: 30개 에이전트 중 21개가 미국 기업 개발이며, 거의 모든 에이전트가 GPT(OpenAI)·Claude(Anthropic)·Gemini(Google) 세 파운데이션 모델(특정 AI 시스템의 기반이 되는 초대형 사전학습 모델) 계열에 의존한다. 세 공급자의 정책·가격·기능 변화 하나가 생태계 전체에 연쇄 충격을 줄 수 있다.
-
안전 문서의 광범위한 공백 — 핵심 발견: 30개 에이전트의 안전 관련 240개 필드 중 135개(56%)에 공개정보가 없다. 에이전트 특화 안전 평가를 공개한 에이전트는 4개뿐이고, 제3자 안전 테스트 증거가 있는 에이전트는 7개에 불과하다. 자율성이 가장 높은 L4–L5 에이전트 13개 중 에이전트 특화 평가를 공개한 것은 4개에 그친다.
-
책임 파편화(accountability fragmentation) 및 AI 공개 미비: 파운데이션 모델 제공자·플랫폼 개발자·기업 배포자·최종 사용자 간 책임이 분산되어 단일 주체가 에이전트 행동에 명확한 책임을 지지 않는다. 30개 중 21개는 AI임을 사용자에게 기본 고지하지 않으며, 7개만이 웹 서버가 자동화 에이전트를 식별할 수 있는 안정적 User-Agent 문자열(에이전트 신원 표시 메타데이터)을 게시한다.
Results
spine 내 역할: 이 섹션은 throughline의 ‘발견’ 단계로, 방법론이 구축한 30개 에이전트·45개 필드 체계를 실제 적용해 얻은 데이터 기반 증거를 제시한다. thesis가 주장하는 “소수 모델 집중·책임 파편화·안전 문서 심각 부족”을 수치로 실증함으로써, Discussion의 거버넌스·정책 처방에 실증적 근거를 제공한다.
4.1 에이전트 기원 및 개발 현황
지리적 집중이 두드러진다. 30개 에이전트 중 21개가 미국 법인 기업 개발이고, 5개는 중국, 나머지 4개는 독일·노르웨이·케이만 제도 소재 기업이다. 주요 에이전트형(agentic) AI 기능 대부분은 2024–2025년에 추가됐으며, 30개 중 24개가 이 기간에 대규모 업그레이드를 받았다. 즉 현 에이전트 생태계는 불과 2년 안에 형성됐다.
4.2 설계 및 기술 아키텍처
파운데이션 모델 의존이 극심하다. 프론티어 AI 기업(OpenAI·Anthropic·Google) 외 모든 에이전트는 GPT·Claude·Gemini API 위에 구축된다. 파인튜닝(fine-tuning, 기반 모델을 특정 도메인 데이터로 추가 학습하는 것) 여부는 대부분 비공개로, 베이스 모델과 실제 에이전트 행동의 괴리를 외부에서 평가하기 어렵다.
4.3 역량 및 자율성
자율성 레벨(L1~L5, L이 높을수록 인간 개입 없이 독립적으로 행동)이 범주별로 뚜렷이 갈린다. 챗 에이전트(12개)는 주로 L1–L3이고, 브라우저 에이전트(5개)는 L4–L5로 실행 중 인간 개입이 거의 없다. 엔터프라이즈 플랫폼(13개)은 설정 단계에서 L1–L3이나 프로덕션 워크플로에 배포되면 L3–L5로 올라간다. 자율성이 높을수록 결과적 행동의 파급력이 크지만, 안전 문서화는 오히려 더 부족하다.
4.4 생태계 및 배포
책임 파편화가 구조적이다. 에이전트 행동에 대한 책임이 파운데이션 모델 제공자·플랫폼 개발자·기업 배포자·최종 사용자로 분산되어, 어느 단일 주체도 명확한 책임을 지지 않는 시나리오가 빈번하다. 30개 중 21개는 AI 에이전트임을 사용자에게 기본 고지하지 않으며, 이는 고객 서비스 맥락에서 사용자가 자동화 시스템과 상호작용하는 사실을 모를 수 있음을 의미한다.
웹 행태 측면에서는 7개 에이전트만이 웹 서버가 자동화 에이전트를 식별할 수 있도록 안정적 User-Agent 문자열을 게시한다. 6개 에이전트는 인간 웹 트래픽을 모방하거나 봇 차단 시스템을 우회하도록 명시적으로 설계됐으며, 16개 에이전트는 robots.txt(웹사이트 운영자가 크롤러·자동화 에이전트에 접근 허용/금지 규칙을 명시하는 표준 파일) 준수 여부가 문서화돼 있지 않다.
4.5 안전 및 투명성 — 핵심 발견
안전 문서 공백이 가장 두드러진다. 30개 에이전트의 안전 관련 240개 필드 중 135개(56%)에 공개정보가 없다. 세부적으로는 다음과 같다.
- 에이전트 특화 안전 평가를 수행·공개한 에이전트: 4개
- 내부 안전 평가 결과를 전혀 제공하지 않는 에이전트: 25개
- 제3자 안전 테스트 증거가 없는 에이전트: 23개
에이전트 유형별로 공백 비율이 다르다. 브라우저 에이전트의 안전 관련 필드 중 60%, 엔터프라이즈 에이전트는 66%가 공개정보 없음이다. L4–L5 자율성 에이전트 13개 중 에이전트 특화 안전 평가를 공개한 것은 4개에 불과하다. SOC 2·ISO 27001 같은 엔터프라이즈 보안 인증 표준은 15개 에이전트가 참조하나, 이는 에이전트 특화 안전 문서와는 별개이며 고객 요구에 의해 채택된 경우가 많다.
4.6 전반적 문서 완성도 (한계 포함)
전체 1,350개 필드(45개 × 30개) 중 227개(16.8%)가 공개정보 없음이다. 정보 공백은 두 영역에 집중된다. (1) 생태계 상호작용 필드: 데이터 관행·제3자 통합·웹 행태. (2) 안전 및 평가 필드: 에이전트 특화 안전 테스트·레드티밍(red-teaming, 적대적 시나리오로 AI 시스템의 취약점을 의도적으로 탐색하는 평가 방법)·사회적 영향 평가.
프론티어 AI 기업이 제3자 에이전트 개발자보다 기술 문서와 안전 정보를 더 상세히 제공하는 경향이 있으나, 프론티어 기업조차 에이전트 특화 안전 속성의 문서화는 제한적이다. 이는 현 생태계 전반에 걸친 투명성 결핍이 단순히 소형 개발자만의 문제가 아님을 보여준다.
Discussion
이 Discussion 섹션은 throughline의 마지막 단계—발견에서 함의·해법으로—를 담당한다. 즉, 안전 문서 공백과 책임 파편화라는 실증 발견을 정책·거버넌스 언어로 전환하고, Index 자체의 방법론적 한계를 솔직히 인정하며, 연구의 지속 가능성을 제시한다.
거버넌스 함의
첫째, 투명성을 정책 수단으로(Transparency as a Policy Tool): 안전 문서화의 광범위한 공백은 투명성 요건을 규제 수단으로 활용할 근거가 된다. 안전 평가, 자율성 레벨, 배포 맥락의 의무 공개(mandatory disclosure)는 개발자에게 더 철저한 안전 평가를 수행할 유인을 제공하고, 정책 입안자와 공중의 감독을 가능하게 한다.
둘째, 책임 구조(Accountability Structures): 에이전트 생태계의 파편화된 책임 구조—파운데이션 모델 제공자, 플랫폼 개발자, 배포자에게 분산된 책임—는 단일 주체에 책임을 귀속시키는 기존 규제 프레임워크로는 다루기 어렵다. 분산된 책임 배분을 처리할 새로운 규제 접근법이 필요하다.
셋째, 웹 거버넌스(Web Governance): 다수 에이전트가 robots.txt(웹사이트 운영자가 크롤러의 접근을 제한하는 표준 규약) 프로토콜을 준수하지 않거나 일부는 이를 우회하려는 행동을 보인다는 발견은, AI 에이전트를 명시적으로 다루는 갱신된 웹 거버넌스 표준의 필요성을 시사한다.
저자가 인정한 한계
- 범위(Scope): 30개 에이전트는 전체 생태계의 표본에 불과하며, 영향력 크고 공개 접근 가능한 에이전트를 우선한 선별 기준은 대형 개발사 편향을 낳을 수 있다.
- 문서화 시차(Documentation Lag): 에이전트 역량과 문서화는 빠르게 진화한다. 데이터 수집 기준일(2025년 12월 31일)의 정보가 현재 관행을 반영하지 못할 수 있다.
- 검증의 어려움(Verification Challenges): 공개 문서와 개발자 자체 보고에 의존하므로 모든 주장을 독립 검증할 수 없으며, 개발자가 유리한 정보를 제시할 유인이 있다.
- 공개정보 편향(Public Information Bias): 비공개 정보는 체계적으로 포착할 수 없다. 존재하지만 공개되지 않은 안전 관행은 공백으로 집계되어, 일부 경우 안전 위험을 과대 추정하는 동시에 비공개 위험을 가릴 수 있다.
독자 식별 가능한 추가 한계
- 7인 주석자 구성의 다양성 및 inter-rater 신뢰도(주석자 간 일치도)에 대한 정보가 제한적이어서 주관적 판단이 얼마나 일관되게 적용됐는지 외부에서 평가하기 어렵다.
향후 방향
- 연간 갱신(annual update)과 개발자·연구자가 오류를 신고할 수 있는 정정 메커니즘 수립 → 문서화 시차 한계를 부분적으로 해소
- 시간 경과에 따른 에이전트 수 및 문서화 필드 확장 → 범위 한계를 완화
- FMTI(Foundation Model Transparency Index, 파운데이션 모델의 투명성을 평가하는 기존 지수) 및 AI 사고 데이터베이스(AI incident databases) 등 기존 책임 도구와의 상호보완적 위치 확립
주요 발견의 의미 (Conclusion)
저자들은 30개 배포 에이전트를 체계적으로 문서화한 결과를 다섯 가지 발견으로 종합한다. 첫째, 에이전트 생태계는 급속 발전하고 있어 문서화된 30개 에이전트 중 24개가 2024–2025년에 주요 에이전트형 기능을 새로 획득했다. 둘째, 파운데이션 모델 의존도가 높아 거의 모든 에이전트가 GPT·Claude·Gemini 위에 구축됨으로써 시스템적 집중 위험(systemic concentration risk)이 발생한다. 셋째, 자율성 레벨은 에이전트 유형별로 유의미한 차이를 보이며, 브라우저 에이전트와 엔터프라이즈 에이전트가 채팅 에이전트보다 더 높은 자율성에 도달한다. 넷째, 책임 파편화가 만연하다. 다섯째, 안전 투명성이 심각하게 제한되어 있어, 안전 관련 필드의 56%에 공개 정보가 없고 에이전트 특화 안전 평가를 게시한 에이전트는 4개에 불과하다.
이론적 의의
-
투명성의 정책 수단화: 이 연구는 안전 문서 공백을 단순한 관찰로 그치지 않고, “투명성 요건 → 개발자 유인 변화 → 실질적 안전 향상”이라는 정책 인과 논리로 전환한다. 이는 규제 설계 문헌에서 공시(disclosure) 의무의 행동 변화 효과에 대한 경험적 근거를 AI 에이전트 영역으로 확장한다.
-
분산 책임 거버넌스 프레임: 단일 법인 책임을 전제한 기존 규제 이론이 파운데이션 모델 제공자→플랫폼→배포자로 분산된 에이전트 생태계에 적합하지 않음을 구체적 근거로 보여준다. 이는 분산 소프트웨어 공급망(supply chain) 거버넌스 이론의 AI 에이전트 버전으로 자리매김한다.
-
웹 규범의 AI 에이전트 적용 공백 식별: robots.txt 같은 기존 웹 거버넌스 규범이 AI 에이전트를 명시적으로 다루지 않는다는 공백을 체계적으로 식별함으로써, 인터넷 거버넌스 연구 공동체에 구체적인 규범 갱신 과제를 제시한다.
-
투명성의 인프라화: 저자들은 2025 AI Agent Index를 단순 조사 결과가 아니라 “책임 가능한 AI 개발에 필요한 인프라”로 자리매김한다. 이는 FMTI가 기반 모델 수준에서 세운 투명성 평가 계보를 에이전트 레이어까지 확장한 것으로, 정책 입안자와 연구자가 생태계를 측정·비교할 공통 언어를 제공한다.
-
불투명성 비용의 비례 논리: “에이전트가 더 유능해지고 널리 배포될수록 불투명성의 비용이 커진다(the costs of opacity increase)“는 테제는, 안전 문서 부재가 현재는 잠재적 위험이지만 자율성 레벨이 높아질수록 실제 피해로 현실화될 수 있음을 함의한다. 이는 고자율성 에이전트에 대한 선제적 거버넌스의 이론적 근거가 된다.
-
다층적 책임 구조 문제 제기: 파운데이션 모델 제공자·플랫폼·배포자·사용자 모두에게 통제가 분산되는 책임 파편화 구조는 기존 단일 제품 책임 프레임워크로는 포착되지 않는다. 이 발견은 에이전트형 AI에 특화된 새로운 책임 귀속(accountability attribution) 이론과 규제 설계의 필요성을 학술적으로 정당화한다.
Discussion Points
-
논쟁점: 공개정보 편향 한계를 저자 스스로 인정했음에도, 안전 필드 56% 공백을 “안전 위험”의 지표로 정책 함의를 도출하는 것이 정당한가? 비공개 안전 관행이 실제로 광범위하게 존재한다면 정책 권고의 근거가 약화될 수 있다.
-
논쟁점: 안전 관련 필드의 56%가 “공개 정보 없음”이라는 발견이 실제 안전 노력의 부재를 반영하는지, 아니면 기업 비공개 정책에 의한 공개 꺼림(disclosure aversion)을 반영하는지는 이 연구만으로는 구별되지 않는다. 전자라면 안전 역량 자체의 결핍이고, 후자라면 투명성 인센티브 부재의 문제로 정책 처방이 달라진다.
-
검증 필요 가정: 투명성 요건(mandatory disclosure)이 실제로 개발자의 안전 평가를 강화하는 유인으로 작용한다는 가정이 핵심 전제인데, 금융·의약 분야의 공시 의무 선례에 비추어 AI 에이전트 영역에서도 동일한 유인 구조가 성립하는지는 별도의 실증 연구가 필요하다.
-
검증 필요 가정: “GPT·Claude·Gemini 집중이 시스템적 위험(systemic concentration risk)을 낳는다”는 주장은 공급망 단일 장애점(single point of failure) 논리에 기반하나, 이 Index는 그 위험의 실제 발현 사례나 정량적 리스크 측정을 포함하지 않는다. 집중도가 위험으로 전환되는 조건과 임계값에 대한 후속 실증 연구가 필요하다.
-
후속 연구: 연간 갱신 Index의 종단(longitudinal) 분석을 통해 투명성 요건 도입 전후 안전 문서화 수준 변화, 책임 귀속 구조의 진화, 소형 개발사·비영어권 에이전트로의 범위 확장이 자연스러운 다음 단계다.
-
후속 연구: 연례 갱신 시 동일 45개 필드를 종단적으로 추적하면 투명성 공시가 실제로 개선되는지, 어떤 거버넌스 개입(예: EU AI Act 준수 요건)이 공시 행태 변화를 유도하는지를 인과적으로 분석할 수 있다.
실험 결과 상세
| Model/Method | Dataset | Metric | Score | vs. Baseline |
|---|---|---|---|---|
| 전체 에이전트 인덱스 (30개 에이전트) | 자체 수집 (45 필드 x 30) | 문서 완성도 (전체 필드) | 83.2% (1,123/1,350 필드) | 기준선 없음 (최초 측정) |
| 전체 에이전트 인덱스 (30개 에이전트) | 안전 관련 필드 (240개) | 안전 문서 공개율 | 44% (105/240 필드) | 전체 평균 대비 -39.2%p |
| 브라우저 에이전트 (5개) | 안전 관련 필드 | 안전 필드 공개율 | 40% | 전체 평균 대비 -4%p |
| 엔터프라이즈 에이전트 (13개) | 안전 관련 필드 | 안전 필드 공개율 | 34% | 전체 평균 대비 -10%p |
| 채팅 에이전트 (12개) | 안전 관련 필드 | 안전 필드 공개율 | 상대적 양호 (미공개 비율 최저) | 3개 유형 중 최고 |
| 에이전트 안전 평가 공개 (전체 30개) | 에이전트별 안전 평가 | 안전 평가 공개 에이전트 수 | 4/30개 (13.3%) | - |
| L4-L5 고자율 에이전트 (13개) | 에이전트별 안전 평가 | 안전 평가 공개 에이전트 수 | 4/13개 (30.8%) | 전체 대비 +17.5%p (절대 수치는 동일) |
| 전체 30개 에이전트 | AI 정체 공개 여부 | AI 본성 기본 공개 에이전트 수 | 9/30개 (30%) | - |
| 전체 30개 에이전트 | User-Agent 공개 여부 | 안정적 UA 문자열 공개 에이전트 수 | 7/30개 (23.3%) | - |
| 미국 소재 에이전트 (21개) | 지역별 분포 | 전체 대비 비율 | 70% | 2위 중국(5개, 16.7%) 대비 +53.3%p |
프레임워크 다이어그램
graph TB A["에이전트 식별\n(95개 후보)"] B["선별 기준 적용"] B1["자율성 (Agency)"] B2["실제 영향력 (Impact)"] B3["실용성 (Practicality)"] C["최종 30개 에이전트 문서화"] D1["채팅 에이전트 (12개)\nL1-L3 자율성"] D2["브라우저 에이전트 (5개)\nL4-L5 자율성"] D3["엔터프라이즈 에이전트 (13개)\nL1-L5 자율성"] E["45개 필드 x 6개 범주 문서화"] F1["파운데이션 모델 집중\nGPT / Claude / Gemini"] F2["안전 문서화 공백\n240개 필드 중 56% 비공개"] F3["책임 분산 구조\n모델 제공자-플랫폼-배포자-사용자"] A --> B B --> B1 & B2 & B3 B1 & B2 & B3 --> C C --> D1 & D2 & D3 D1 & D2 & D3 --> E E --> F1 & F2 & F3
재현성 및 신뢰도 평가
| 항목 | 등급 | 비고 |
|---|---|---|
| 코드 공개 | ⚠️ | 데이터셋 웹사이트(aiagentindex.mit.edu) 공개, 분석 코드 저장소 언급 없음. 인덱싱 스크립트·집계 코드 미공개. |
| 데이터 공개 | ✅ | 30개 에이전트 45개 필드 전체 데이터를 온라인 인덱스로 공개. 이메일 서신 원문은 미공개(프라이버시). |
| 하이퍼파라미터 | ❌ | 해당 없음(실험적 ML 논문 아님). 다만 선별 기준(Agency/Impact/Practicality) 구체적 수치 임계값 미명시. |
| 실험 환경 | ⚠️ | 7명 전문 주석가, 불일치 합의 해결 방식 서술. 주석 지침 문서·IRB 정보·수집 기간 일부 불명확. 컷오프: 2025-12-31. |
| 통계적 신뢰도 | ❌ | 신뢰구간·p-값 등 통계 검정 전무. 빈도·비율 기술통계만 제공. 표본 30개로 일반화 한계 있음. |
| 종합 등급 | C | 데이터는 공개되나 분석 코드·통계적 검증 부재, 선별 기준 수치 임계값 미명시로 완전한 재현 어려움. |
주장별 신뢰도
| # | 주장 | 근거 | 신뢰도 |
|---|---|---|---|
| 1 | 에이전트 개발의 지리적 집중: 30개 중 21개(70%)가 미국 기업 | 공개 기업 정보 기반, 검증 가능한 사실. 단, 30개 표본이 전체 생태계 대표성 제한. | 🟢 |
| 2 | 안전 관련 240개 필드 중 56%(135개)에 공개 정보 없음 | 명확한 수집 방법론(공개 정보 없으면 “not publicly available” 표기) 적용. 투명성 부재를 안전 부재로 해석할 위험 내포. | 🟡 |
| 3 | 대부분 에이전트가 GPT/Claude/Gemini 3개 파운데이션 모델에 의존 | 공개된 기술 문서·API 의존 관계로 확인 가능. “거의 모든(Nearly all)” 표현이 예외 처리 모호. | 🟢 |
| 4 | 30개 중 4개 에이전트만 에이전트 특화 안전 평가 공개 | 구체적 수치 제시. 그러나 비공개 내부 평가 존재 가능성 저자도 인정(공개 정보 편향). | 🟡 |
| 5 | 6개 브라우저 에이전트가 봇 탐지 우회를 명시적으로 설계 | 공개 제품 문서 기반. “명시적으로 설계”의 판단 기준이 주석가 해석에 의존. | 🟡 |
| 6 | 2024-2025년에 30개 중 24개가 주요 에이전트 기능 획득 | 공개 제품 발표·뉴스 기사로 교차 확인 가능. 컷오프 이후 변동 반영 불가. | 🟢 |
읽기 난이도: ⭐⭐ — 수식이나 ML 알고리즘 없이 정책/거버넌스 관점의 기술 문서 분석 연구. AI 에이전트 기본 개념(LLM, API, 자율성 수준)과 AI 거버넌스 담론에 대한 배경지식이 있으면 충분히 독해 가능. 필요 배경지식: AI 에이전트 기본 구조, robots.txt·User-Agent 등 웹 표준, SOC 2/ISO 27001 같은 기업 컴플라이언스 개념.
관련 연구 비교 매트릭스
선정 근거: FMTI 3개 연도판(2023·2024·2025)은 본 논문의 직접적 방법론 계보(투명성 지표 체계화)를 형성하는 기반 연구이며, “Towards trustworthy agentic AI”는 동일한 에이전트 안전 문제를 다른 방법(서베이+완화전략)으로 접근하는 직접 비교 대상이고, “A Different Approach to AI Safety”는 투명성-안전 연계를 openness 관점에서 재구성하는 대안 패러다임 논문으로 비교 축이 공통적으로 맞춰진다.
| 축 | 본 논문 (2025 AI Agent Index) | FMTI 2023 [base] | FMTI 2024 [base] | FMTI 2025 [base] | Towards Trustworthy Agentic AI [direct] | A Different Approach to AI Safety [alternative] |
|---|---|---|---|---|---|---|
| 핵심 접근 | 배포된 AI 에이전트 30개를 45필드·6범주로 체계 문서화하여 생태계 투명성 현황을 실증 조사 | 파운데이션 모델 개발사 10곳을 100개 지표로 점수화하는 투명성 인덱스 최초 수립 | 파운데이션 모델 개발사 14곳을 동일 100개 지표로 재평가하여 전년 대비 변화 추적 | 동일 100개 지표로 개발사 재평가; 투명성 퇴행(평균 58→40) 진단 | 에이전트 AI의 안전·견고성·프라이버시·시스템 보안을 문헌 서베이로 분류하고 단계별 완화 전략 제시 | Columbia Convening 결과 보고: 개방성(공개 가중치·공공 거버넌스)이 안전을 강화한다는 테제를 45인+ 전문가 합의로 제시 |
| 문제 정의 | 에이전트 생태계의 구조·책임·안전 투명성이 파악되지 않는 상황에서 고자율성 에이전트의 공개 문서 심각 부족 | 파운데이션 모델 개발사가 어느 수준의 정보를 공개하는지 체계적으로 알 수 없음 | FMTI 2023 이후 투명성 변화 추이가 미측정 상태 | 2024년 이후 투명성이 오히려 후퇴했는지 여부 미확인 | 에이전트 AI의 신뢰성 위협이 산발적으로 연구되어 통합 분류 체계 부재 | AI 안전을 폐쇄 모델 중심 규제로만 접근할 경우 독립 검증·공공 감시가 불가능하다는 문제 |
| 데이터 | 에이전트 30개(95개 후보에서 Agency·Impact·Practicality 기준 선별), 45필드 수동 주석(7인 팀), 공개정보 기반 | 개발사 10곳의 공개 문서·API 정책 등 100개 지표 수동 코딩 | 개발사 14곳 대상 동일 100개 지표 재코딩 | 동일 100개 지표, 주요 개발사 재평가(연도별 비교 가능) | 에이전트 AI 관련 논문 문헌 서베이(수량 미명시); 위험 분류 및 완화 전략 합성 | 45인+ 연구자(학계·산업·시민사회·정부) 컨베닝 토론 및 공동 성명 |
| 핵심 메트릭 | 안전 관련 필드 56% 공개정보 없음; 자율성 레벨(L1-L5) 분포; 책임 파편화 패턴 | 개발사 평균 투명성 점수 37/100 (2023) | 개발사 평균 투명성 점수 58/100 (2024, +21점) | 개발사 평균 투명성 점수 40/100 (2025, -18점 퇴행) | 위험 유형별·워크플로 단계별 분류 체계; 통합 평가 지표·벤치마크 허브 (정량 수치 미제시) | 5대 우선 연구 방향 도출; 에이전트 안전장치 공백 식별 (정량 점수 없음) |
| 확장성 | 연례 갱신 + 범위 확장(에이전트 수·필드 수) 계획 명시; 현재 30개·45필드로 제한 | 단일 시점 스냅샷; 이후 연도판으로 연속성 확보됨 | 연도 반복으로 추세 파악 가능; 지표 고정으로 비교 용이 | 동일 지표 3년 연속 적용으로 종단 추세 분석 가능 | 분류 체계 자체는 확장 가능하나 특정 에이전트 수 제한 없음; 문헌 기반이라 신규 논문 추가 필요 | 단발 컨베닝 보고서; 반복·갱신 구조 없음 |
| 한계 | (저자 인정) 공개정보 한계로 실제 내부 구현 미반영, 30개 선정 주관성, 빠른 생태계 변화에 취약 / (독자 식별) 에이전트 유형 3분류가 경계 모호, 자율성 레벨 자가 분류 의존 | (저자 인정) 공개 문서만 평가하여 실제 관행 미반영 / (독자 식별) 지표 100개가 파운데이션 모델에 특화되어 에이전트 계층 미포함 | (저자 인정) 동일 한계 + 개발사 수 확장에도 대표성 질문 / (독자 식별) 자발적 공개 편향 가능성 | (저자 인정) 투명성 퇴행의 원인 분석 부재 / (독자 식별) 지표 설계가 에이전트 시대 신규 위험 미반영 | (저자 인정) 문헌 기반으로 실증 데이터 없음, 완화 전략 효과 미검증 / (독자 식별) 에이전트 간 상호작용·다중 에이전트 위험 얕게 다룸 | (저자 인정) 컨베닝 합의 기반으로 실증 근거 제한 / (독자 식별) 오픈소스 에이전트 특유 위험(악의적 파인튜닝 등) 과소평가 가능 |
| 코드 공개 | ❌ | ❌ | ❌ | ❌ | ❌ | ❌ |
원자적 인사이트
결측을 데이터로 바꾸는 문서화 규칙: “공개정보 없음” 명시 표기
출처: The 2025 AI Agent Index (Staufer et al., 2026)
유형: 방법론적
조사에서 확인 불가능한 항목을 빈칸으로 두면 “조사 누락”과 “공개 안 함”이 구별되지 않는다. 이 연구는 확인 불가 필드를 모두 “공개정보 없음(not publicly available)“으로 명시 표기함으로써, 부재(absence) 자체를 셀 수 있는 일급 데이터로 승격시킨다. 그 결과 “안전 필드의 56%가 공백”이라는 핵심 발견이 주석 실패가 아닌 투명성 공백으로 방법론적으로 정당화된다.
핵심 조건/맥락: 공개 정보 + 개발사 이메일 서신만을 소스로 쓰는 외부 관찰 조사이므로, 이 규칙은 “비공개=공백”으로 집계해 실제 비공개 안전 관행을 위험으로 과대 표시할 수 있다(공개정보 편향).
연결: FMTI — Foundation Model Transparency Index (지표 기반 투명성 측정의 계보)
활용 가능성: 모든 메타조사·감사 설계에서 “측정 안 됨”과 “값이 없음”을 분리해 보고하는 일반 원칙으로 전이 가능 — 데이터 품질 감사, 모델 카드, 규제 공시 양식 설계에 적용.
자율성-투명성 역설: 위험이 클수록 검증 정보가 적다
출처: The 2025 AI Agent Index (Staufer et al., 2026)
유형: 실험적
직관적으로는 인간 개입이 적은 고자율 에이전트일수록 더 철저한 안전 문서가 따라야 하지만, 실제로는 반대였다. L4–L5 자율성 에이전트 13개 중 에이전트 특화 안전 평가를 공개한 것은 4개뿐이고, 브라우저 에이전트(주로 L4–L5) 안전 필드의 60%, 엔터프라이즈 에이전트의 66%가 공개정보 없음이다. 자율성과 안전 투명성이 역상관하는 이 패턴이 고자율성 에이전트 선제 거버넌스의 실증적 근거가 된다.
핵심 조건/맥락: 30개 표본·2025-12-31 기준의 단면 관찰이며, 자율성 레벨이 부분적으로 자가 분류에 의존해 L4–L5 경계 판정에 해석 여지가 있다.
연결: 책임 파편화 — 분산 책임 거버넌스 (검증 공백과 책임 분산이 결합되면 사고 시 귀속 곤란)
활용 가능성: “역량/위험 등급이 높은 시스템일수록 더 엄격한 공시를 요구”하는 위험 비례 규제(예: EU AI Act 고위험 분류) 설계의 경험적 출발점.
책임 파편화: 단일 제품 책임 모델이 깨지는 지점
출처: The 2025 AI Agent Index (Staufer et al., 2026)
유형: 이론적
에이전트 행동에 대한 통제권은 파운데이션 모델 제공자·플랫폼 개발자·기업 배포자·최종 사용자로 분산되어, 어느 단일 주체도 명확한 책임을 지지 않는 시나리오가 구조적으로 발생한다. 30개 중 21개가 AI임을 기본 고지하지 않고 안정적 User-Agent를 게시하는 곳이 7개뿐이라는 사실은, 책임뿐 아니라 식별 가능성(누가 행동했는가)부터 흐려져 있음을 보여준다.
핵심 조건/맥락: 본 논문은 이 구조를 진단할 뿐 책임 귀속의 규범적 해법이나 실제 사고 귀속 사례는 제시하지 않는다. 분산 책임이 실제 피해로 이어지는 조건은 미해결.
연결: 분산 소프트웨어 공급망 거버넌스 (오픈소스 의존성 책임 논의의 AI 에이전트 판)
활용 가능성: 다중 주체가 한 행동을 공동 생성하는 모든 시스템(API 생태계, 플러그인 마켓플레이스)의 책임 귀속·계약 설계 프레임으로 확장.
핵심 용어 정리
| 용어 | 정의 |
|---|---|
| 에이전트형(agentic) AI / AI 에이전트 | 목표를 받아 스스로 계획을 세우고 도구(웹 브라우저·코드 인터프리터·API)를 사용해, 매 행동마다 인간 승인 없이 다단계 작업을 수행하는 AI 시스템. 본 논문은 ① 행동 시퀀스 실행 ② 텍스트 생성 넘는 도구 접근 ③ 부분적 자율성 세 조건으로 정의한다. |
| 자율성 레벨 (L1~L5) | 인간 개입 정도를 5단계로 나눈 척도. L1=단일 응답(도구·기억 없음), L2=도구 사용+매 행동 인간 승인, L3=간헐적 점검 하 다단계 계획 실행, L4=고위험 결정에만 감독, L5=거의 완전 자율. |
| 파운데이션 모델 (foundation model) | GPT·Claude·Gemini처럼 대규모 사전학습을 거쳐 다양한 응용의 토대가 되는 초대형 AI 모델. 본 논문 발견상 거의 모든 에이전트가 이 셋에 의존한다. |
| 파인튜닝 (fine-tuning) | 범용 파운데이션 모델을 특정 도메인 데이터로 추가 학습해 특정 목적에 맞게 조정하는 과정. |
| 컨텍스트 윈도 (context window) | 모델이 한 번에 읽고 처리할 수 있는 텍스트 분량의 상한. |
| 레드티밍 (red-teaming) | 적대적 시나리오를 의도적으로 투입해 AI 시스템의 취약점을 탐색하는 안전 평가 방법. |
| User-Agent 문자열 | 웹 접속 시 접속 주체(사람의 브라우저인지 자동화 에이전트인지)를 서버에 알리는 식별 메타데이터. 본 논문에선 30개 중 7개만 안정적으로 게시. |
| robots.txt | 웹사이트 운영자가 크롤러·자동화 에이전트에게 접근 허용/금지 규칙을 명시하는 표준 파일. |
| FMTI (Foundation Model Transparency Index) | 파운데이션 모델 개발사를 100개 지표로 점수화한 선행 투명성 지수. 본 Index의 방법론적 계보로, 평가 대상을 모델에서 배포 에이전트로 확장한다. |
| 책임 파편화 (accountability fragmentation) | 파운데이션 모델 제공자·플랫폼 개발자·배포자·사용자 사이에 통제권이 분산되어 어느 단일 주체도 에이전트 행동에 온전한 책임을 지지 않는 상태. |
| 의무 공개 (mandatory disclosure) | 안전 평가·자율성 레벨·배포 맥락 등을 규제로 강제 공개하게 하여 개발자 유인을 바꾸고 외부 감독을 가능케 하려는 정책 수단. |
| 공개정보 없음 (not publicly available) | 조사로 확인 불가능한 필드를 빈칸 대신 명시 표기하는 본 논문의 코드북 규칙. 부재 자체를 데이터로 만들지만 비공개 관행을 공백으로 집계하는 편향을 동반한다. |
관련 연구
- FMTI — Foundation Model Transparency Index — 본 Index가 계승한 지표 기반 투명성 평가의 직접 계보. FMTI는 파운데이션 모델 개발사를 100개 지표로 점수화했고, 본 논문은 그 접근을 배포된 에이전트 계층(배포 설정·안전 평가·생태계 상호작용)으로 확장한다.
- Towards Trustworthy Agentic AI — 동일한 에이전트 안전 문제를 문헌 서베이+완화 전략으로 접근하는 직접 비교 대상. 본 논문이 “무엇이 공개되었나”를 실증 조사한다면, 이 연구는 “어떤 위험을 어떻게 완화할 것인가”의 분류·처방을 제공해 상호 보완된다.
- A Different Approach to AI Safety — 투명성-안전 연계를 개방성(공개 가중치·공공 거버넌스) 관점에서 재구성하는 대안 패러다임. 본 논문의 “공시 의무화” 처방과 “개방을 통한 검증 가능성” 처방을 대조하는 축을 제공한다.
- AI Incident Databases — 사후 사고 기록 기반의 책임 도구. 본 Index의 사전 투명성 문서화와 결합하면 “배포 전 공시 → 배포 후 사고 추적”의 책임 사이클을 형성하며, 저자들이 상호보완 위치로 명시한 기존 도구다.
태그
paper #2026 AI거버넌스 AI에이전트 투명성 AI안전 책임성 FAccT
BibTeX
@article{staufer2026,
title={The 2025 AI Agent Index: Documenting Technical and Safety Features of Deployed Agentic AI Systems},
author={Staufer, Leon and Feng, Kevin and Wei, Kevin and Bailey, Luke and Duan, Yawen and Yang, Mick and Ozisik, A. Pinar and Casper, Stephen and Kolt, Noam},
journal={arXiv preprint arXiv:2602.17753},
year={2026},
url={https://arxiv.org/abs/2602.17753},
eprint={2602.17753},
archivePrefix={arXiv},
doi={10.48550/arXiv.2602.17753}
}