AI 에이전트와 법 (AI Agents and the Law)

📌 한입 요약
AI 에이전트를 “책임 있게” 만드는 핵심은, 컴퓨터과학이 줄곧 놓쳐온 두 가지 — 충성(loyalty)과 제3자 공개(disclosure) — 를 가치정렬(value alignment)에 통합하는 것이다. (Context) 챗봇이 수동적으로 텍스트를 출력하던 시대에서 사용자를 대신해 항공권을 예약하고 결제하는 “에이전트”로 넘어가면서, 누가 그 행동에 책임지는가의 문제가 첨예해졌다 — 실제로 Air Canada 챗봇이 약속한 저가 항공권을 법원이 회사 책임으로 인정한 사례가 있고, 전 세계 ecommerce는 연 $20 t r i ll i o n 규모다 . (I n s i g h t) 저자는 A I 정렬연구의핵심난제인 u n d er - s p ec i f i c a t i o n (목적 \cdot 권한을인간이완벽히명세할수없음) 이수백년묵은대리법 (a g e n cy l a w \cdot 대리인이본인을대신해행동할때의권리 \cdot 의무규범) 의핵심문제와 * * 정확히같은구조 * * 임을간파한다 . (S o l u t i o n) 그래서정렬훈련의 3 원칙 h e lp f u l n ess / h o n es t y / ha r m l ess n ess (도움 \cdot 정직 \cdot 무해) 에대리법개념을사상 (寫像) 한다 : a c t u a l a u t h or i t y (명시적권한) \leftrightarrow CS 의 s p ec i f i c a t i o n, im pl i e d a u t h or i t y (합리적으로추정되는권한) \leftrightarrow re a so nab l e u n d ers t an d in g . 그리고빠진두축을메운다 — * * l oy a lt y 는 h e lp f u l n ess 의확장 * * (모든이익은오직본인에게귀속), * * d i sc l os u re 는 h o n es t y 의확장 * * (에이전트는자신이누구를대리하는지제 3 자에게밝혀야) 으로정의한다 . (E v i d e n ce) 두결함은구체적이다 . 첫째 a g e n t i c l oy a lt y p ro b l e m — Op e n A I M o d e lSp ec (2025 - 02 - 12) 의 c hain o f co mman d 가 pl a t f or m > d e v e l o p er > u ser 순서라, 플랫폼 \cdot 판매자이익을사용자위에둘수있다 (" L oy a lt y g oes ab o v e an d b eyo n d h e lp f u l n ess ") . 인간대리인은 w i d g e t s 를$ 9,000에 사서 본인에게 $10, 000 으로떠넘기는비밀차익이금지되지만현행 A I 엔그장치가없다 . 둘째 d i sc l os u re p ro b l e m — CS 의 2 자 (사용자 - A I) 모델은대리법의 3 자 (본인 - 대리인 - 제 3 자) 모델과어긋나, 신원미공개시제 3 자가에이전트자체를본인으로오인 \cdot 제소한다 (2022 년 g l o ba lt r a d e$ 25 trillion 맥락; 예약봇 되팔이 시나리오). (Limitation) 이 글은 실험·정량 데이터 없는 개념·법학 에세이로, 미국 Restatement(Third) of Agency에 기반해 다른 법역으로의 일반화에 한계가 있다(근거품질 C). (Open Questions) soft-law/best-practice 면책(eBay v. Tiffany에서 eBay가 $20M·4,000명·70명 위조품 단속으로 책임 면제, YouTube/Viacom 선례)을 AI 에이전트에 어떻게 이식할지, 그리고 loyalty·disclosure를 실제 RLHF/RLAIF 훈련 파이프라인에 어떻게 인코딩할지는 미해결로 남는다.

흐름 따라 읽기

논지 흐름(throughline): 수동적 출력 → 직접 행동 전환으로 권한·해악 문제 첨예화(errant tool·bad tool) → 대리법의 권한(actual/implied authority)이 CS 명세/under-specification과 대응하고 가치정렬(helpfulness·honesty·harmlessness)이 사고·악의적 사용자를 일부 차단 → 그러나 가치정렬은 (a) loyalty(플랫폼이 사용자보다 자기 이익 우선하는 agentic loyalty 문제)와 (b) disclosure(거래 상대가 본인을 식별해 신뢰·책임 배분)를 다루지 못함 → 가치정렬에 loyalty·disclosure를 통합하면 soft-law/best-practice로 책임 있는 AI 에이전트 개발·배치의 길이 열림.

Abstract

이 섹션은 논문 전체의 출발점으로, AI 에이전트가 수동적 출력 시스템에서 사용자를 대신해 직접 행동을 실행하는 “agentic(자율 행위자적)” 존재로 전환될 때 발생하는 기술적·사회법적 문제를 압축적으로 제시하고, 논문이 제안하는 수렴 해법의 윤곽을 제공한다. 컴퓨터과학(CS)과 법학은 모두 에이전트의 under-specification(목표·권한의 불완전 명세) 문제를 인식하고 있으며, 각 분야에서 에이전트가 프로그래머 혹은 법적 의뢰인(principal, 본인)이 원하는 범위를 벗어나지 않도록 하는 강건한 이론을 갖추고 있다. 그러나 CS는 지금까지 대리법(agency law)의 핵심 개념인 loyalty(충성 의무)와 제3자에 대한 disclosure(공개·고지 의무)를 충분히 이론화하지 못했다는 점이 핵심 진단이다. 논문은 두 단계로 이 격차를 분석하는데, 첫째로 대리법의 implied authority(묵시적 권한)와 AI의 value alignment(가치 정렬) 원리가 어떻게 대응하는지 보여 주고, 둘째로 disclosure와 loyalty 개념이 AI 에이전트 설계에서 빠질 경우 e-commerce 에이전트에서 의도치 않은 결과가 발생할 수 있음을 예시한다. 최종적으로 이 격차를 가치정렬 프레임에 통합하는 것이 책임 있는 AI 에이전트 개발과 배포의 경로임을 선언함으로써, 이후 섹션의 논증 전체를 예고한다.

저자 contribution

컴퓨터과학의 에이전트 개념이 대리법(agency law)의 개념 체계와 부분적으로 대응함을 계통적으로 규명한다.
CS가 미이론화한 loyalty(충성 의무)와 third-party disclosure(제3자 공개 의무)라는 두 법적 개념을 AI 에이전트 분석에 도입하고 그 실제적 함의를 제시한다.
가치정렬(value alignment) 프레임에 loyalty·disclosure를 통합하는 것이 책임 있는 AI 에이전트 개발의 실질적 경로임을 논증한다.

Introduction

이 Introduction은 SPINE의 핵심 논증—수동적 출력에서 직접 행동으로의 전환이 권한·해악 문제를 첨예화하고, 대리법(agency law)과 가치정렬(value alignment)이 under-specification(목적 함수의 불완전·오염 명세) 지점에서 수렴함을 보여주며, 이를 통해 책임 있는 AI 에이전트 개발 경로를 제시한다—의 출발점이자 논제 설정 역할을 한다. LLM 기반 AI 시스템이 텍스트·이미지 생성 같은 상대적으로 수동적인 출력을 넘어 세계 상태를 직접 변경하는 행동을 실행할 수 있게 되면, 에이전트가 우리가 원하는 것을 하면서 해악을 일으키지 않도록 보장하는 문제가 첨예해진다. 저자들은 이 해악을 네 가지로 분류한다. 첫째, errant tool problem(오작동 도구 문제): 에이전트가 사용자의 의도를 초과하는 경우로, Air Canada 챗봇이 실제 정책보다 낮은 항공권 가격을 승인한 사례(Yagoda 2024), 쇼핑 봇이 계란 한 다스를 세금·수수료 포함 $31.43 에구매한사례 (F o wl er 2025), 에이전트가 bi dd in g w a r (경매과잉입찰경쟁) 를벌여사용자가원하는가격을크게초과하거나 (Z i tt r ain 2024), 수업조사프롬프트를받고 b o mb t h re a t (폭탄협박) 를실행하는가상사례 (Z i tt r ain 2024) 가포함된다 . 둘째, * * ba d t oo lp ro b l e m (나쁜도구문제) * * : 악의적인간행위자가에이전트를통해소셜미디어허위정보캠페인등해악을더빠르고광범위하게수행하는문제다 (A yres an d B a l kin 2024) . 셋째, * * a g e n t i c l oy a lt y p ro b l e m (에이전트적충성문제) * * : 에이전트를배포한플랫폼 (d e pl oyer) 이사용자이익보다자사이익을위해에이전트를조종할수있다는문제로, 사용자가$ 500 이하로 상품 A를 원하는데 에이전트가 $425 가아닌$ 450 판매자를 선택하는 예시가 이를 명확히 보여준다—대리법 하에서 인간 에이전트라면 충성 의무(duty of loyalty) 위반에 해당한다. 넷째, disclosure problem(공개 문제): 제3자(third party)가 거래 상대인 principal(본인, 즉 에이전트를 지시하는 주체)의 존재를 알 권리에 관한 문제로, 현재 컴퓨터과학의 에이전트 이론은 이를 이론화하지 못하고 있다. 이커머스(ecommerce)는 전 세계 $20 trillion 이상의 거래를 차지하며 AI 에이전트의 주요 적용 사례이기에 이 분석의 핵심 배경이 된다. 저자들은 대리법에서 under-specification이 “에이전트가 합리적으로 이해할 수 있는 권한 범위”로 다루어지고, AI에서는 불완전한 목적 함수(Everitt et al. 2017)로 나타난다는 점에서 두 영역이 수렴함을 보이며, 기존 가치정렬의 honesty(정직)·harmlessness(무해)·helpfulness(유용)만으로는 부족하고 loyalty와 disclosure를 honesty·harmlessness에 통합해야 한다고 주장한다.

Agents and Authority

이 섹션은 논문 전체 흐름에서 AI 에이전트의 권한·해악 문제를 법적으로 다루기 위한 대리법(agency law) 프레임을 공식 도입하는 역할을 한다. 대리법(agency law)은 한 인간이 다른 인간을 위해 신인관계(fiduciary relationship — 신뢰와 충성 의무를 수반하는 법적 관계)하에 행동하는 상황을 규율하는 법 분야다. 이때 행동하는 측은 “대리인(agent)”, 대리를 받는 측은 “본인(principal)“이라 불리며, Restatement(Third) of Agency(미국 법률연구소가 편찬한 대리법 리스테이트먼트 제3판)는 대리인을 다음과 같이 정의한다: “The fiduciary relationship that arises when one person (a ‘principal’) manifests assent to another person (an ‘agent’) that the agent shall act on the principal’s behalf and subject to the principal’s control, and the agent manifests assent or otherwise consents so to act.” 이 정의에서 핵심적인 두 가지 통찰이 도출된다. 첫째, 관계가 신인관계이므로 대리인은 관계 존속 중 본인의 이익만을 위해 행동해야 한다. 둘째, 소프트웨어와 달리 대리인은 본인의 통제에 놓이는 것에 합의함으로써 관계가 성립한다. 대리법은 이 핵심 정의를 넘어 대리인의 권한 범위, 그리고 대리인과 상호작용하는 제3자 보호 규정까지 포괄함으로써, 대리인이 만들어낼 수 있는 부정적 외부효과와 그 해악을 완화하기 위한 법적 해결책의 전체적인 그림을 제시한다.

Legal Treatment of Authority

이 섹션은 대리법(agency law)에서 권한(authority)이 어떻게 정의되고 제한되는지를 상세화함으로써, 이후 CS의 가치 정렬(value alignment) 및 명세(specification) 문제와 직접 대비할 수 있는 법적 기준선을 마련한다. 대리 관계가 성립하면 핵심 쟁점은 대리인(agent)이 본인(principal)의 의도대로 행동하도록 보장하는 방법인데, 이를 위한 비용 전반을 대리비용(agency costs)이라 부른다. 법은 먼저 실제권한(actual authority)을 부여한다 — 본인이 명시적으로 지시한 범위 안에서 대리인이 행동할 권한이며, 이는 컴퓨터과학의 명세(specification)에 정확히 대응한다(“actual authority is analogous to specification in computer science”). 그러나 명세는 항상 불완전하기 때문에, 대리법은 묵시적권한(implied authority)을 실제권한의 일부로 포함한다 — 대리인이 임무 수행을 위해 합리적으로 필요하다고 “합리적으로 이해(reasonable understanding)“하는 범위의 행동 권한이다. 예컨대 본인이 “익일 특급우편으로 발송하라”고만 했을 때 어떤 업체를 쓸지는 대리인의 재량이지만, “FedEx로 보내라”고 명시했다면 다른 업체 선택은 묵시적권한 밖이다; 또한 $100 한도지시에서 U PS$ 95 선택은 권한 내로 인정되지만(USPS는 $75),$ 150을 지출했다면 초과분 $50 은대리인이개인책임을진다 . 권한을벗어난행위에대한이개인책임구조가대리인의행동범위를법적으로제한하는핵심장치다 . 나아가대리인은충성의무 (d u t yo f l oy a lt y) 라는수임인의무 (f i d u c ia ry d u t y) 를진다 — 모든행동이본인의이익을위한것이어야하며, 대리인자신의이익을앞세우거나지위를이용해물질적이득을취하는것이금지된다; 이해충돌 (co n f l i c t o f in t eres t) 상황이대표적위반사례로, 100 개 w i d g e t s 를$ 9,000에 살 수 있음에도 $10, 000 청구서를제출해차액$ 1,000을 횡령하는 행위가 이에 해당한다. 충성의무는 본인이 모든 상황을 사전에 명시할 수 없다는 현실을 전제로, 이론적으로 “세세한 허용·금지 목록을 불필요하게 만드는” 포괄 원칙으로서 under-specification 문제를 법적으로 흡수한다 — 이 점이 이후 CS 가치정렬 논의에서 충성의무가 중심 비교 축이 되는 이유다.

AI Agents and Value Alignment

본 섹션은 논문의 흐름 상 법적 대리법(agency law) 권한 논의에서 컴퓨터과학(CS) 관점의 기술적 정의로 전환하는 교량 역할을 담당하며, AI 에이전트의 작동 원리와 가치정렬 메커니즘을 정립한다. 에이전트는 환경 상태에 대해 목적 함수(objective function)에 따라 행동하는 인공 개체로 정의되며, 에이전트 함수(agent function: 환경 지각을 행동 출력으로 매핑하는 함수, Russell and Norvig 2020)를 루프 방식으로 구현한다. 실세계와 같이 복잡한 환경에서는 목적 함수를 완전하게 명세하기 어려워 불완전·손상된 목적 명세(incomplete/corrupted objective specification, Everitt et al. 2017) 문제가 발생하며, 이는 에이전트가 명시적으로 금지되지 않은 바람직하지 않은 행동을 취할 여지를 남긴다. 이 문제를 해결하기 위한 개념이 가치정렬(value alignment: AI 시스템이 사용자의 가치에 부합하게 행동해야 한다는 원칙, Soares 2016)이다. GPT-2(Radford et al. 2019)나 초기 GPT-3(Brown et al. 2020)처럼 정렬 훈련 없이 대규모 원시 텍스트로만 사전학습(pretraining)된 대형 언어 모델(LLM)은 유해 출력을 빈번히 생성했다. 이를 개선하기 위한 현재의 모범 실천은 두 단계 정렬 훈련(alignment training)으로 구성된다. 첫 번째 단계는 SFT(supervised fine-tuning, 지도미세조정)로, 선호 응답 데이터셋을 활용해 모델이 지시에 더 잘 따르도록 미세조정(fine-tuning)하며, 두 번째 단계는 분류기(classifier)의 수치적 판단을 손실(loss)로 변환해 역전파하는 방식으로 작동한다. 이 분류기가 인간 판단에 기반하면 RLHF(Reinforcement Learning with Human Feedback, 인간피드백강화학습, Leike et al. 2018; Ziegler et al. 2019)가 되고, 더 약한 LLM의 판단에 기반하면 RLAIF(Reinforcement Learning with AI Feedback, Bai et al. 2022)가 되며, 두 방식 모두 특정 응답의 생성 확률을 높이거나 낮추는 방향으로 모델 파라미터를 조정한다.

Alignment and Harm Mitigation

이 섹션은 SPINE의 핵심 논지인 “가치정렬이 사고(errant tool)와 악의적 사용자(bad tool)를 일부 차단하지만, 법리적 공백(legal gap)으로의 진입을 완전히 막지는 못한다”는 주장을 뒷받침하는 근거 기반으로 기능한다. 즉, 정렬훈련의 효과와 그 한계를 동시에 평가함으로써, 이후 법적 책임 논의의 도약대 역할을 한다. LLM 가치정렬(value alignment)은 Askell et al.(2021)이 제시한 세 기준을 중심으로 구성된다: 유용성(helpfulness, 주어진 작업을 간결하고 효율적으로 수행), 정직성(honesty, 정확한 정보 제공 및 불확실성의 적절한 표현), 무해성(harmlessness, 공격적·차별적 결과 및 위험한 행동 회피). 이 세 기준은 상충할 수 있으며, 특히 “Helpfulness should not be prioritized over Harmlessness”는 원칙이 명시적으로 강조된다(Askell et al. 2021). 정렬훈련은 LLM이 폭탄 협박 지시문 생성 같은 명백한 위반 요청을 거부하게 하며(Zittrain 2024), Agent 기반 시스템에도 동일한 저항성이 적용된다. 그러나 정렬훈련이 모든 위해를 차단하지는 못한다. 저자들은 두 사례를 통해 그 한계를 분석한다. 첫째, 사고(accidents)는 오작동 도구(errant tool) 문제의 발현이다. 정렬훈련은 명시적 해악(폭탄, 명예훼손 등)에 집중하기 때문에, 비악의적 목적 하에서도 Agent가 묵시적 권한(implied authority)을 초과할 수 있다. 예컨대 “최저 비용으로 식품을 구매하라(obtain the items at the best cost)“는 지시를 받은 Agent가 조류독감(birdflu) 팬데믹 직후 달걀(eggs) 구매 여부를 결정해야 하는 상황에서, 비용 상승과 필수 식품 미구매 사이의 균형을 제대로 판단하지 못할 수 있다(Fowler 2025). 이는 최적 정책이 비정상적(non-stationary)이기 때문이다. 둘째, 악의적 사용자(malicious users)는 나쁜 도구(bad tool) 문제를 이용해 타인에게 해를 끼치려 한다. 정렬훈련은 악의적 요청을 대체로 거부하지만, 우회 경로가 두 가지 존재한다: 후훈련(post-training) 단계 없이 배포된 기반 모델(base model)을 개인 하드웨어에서 직접 실행하거나, 탈옥(jailbreak)—정렬훈련과 시스템 지시를 무력화하는 프롬프트—을 시도하는 것이다. 탈옥은 점점 어려워지고 있으며, Anthropic은 거의 모든 탈옥을 차단할 수 있는 시스템을 개발했다고 주장한다(Orland 2025).

Loyalty

이 섹션은 본 논문의 핵심 간극(핵심 gap 1)을 직접 규정한다. 기존 AI 안전 연구가 helpfulness(유용성)·harmlessness(무해성)에 집중해 온 반면, 배치 주체(deploying entity/platform — AI 에이전트를 사용자에게 제공하는 기업)와 사용자 사이의 이해상충(conflict of interest — 양측의 이해관계가 충돌하는 상황)을 duty of loyalty(충성의무 — 대리인이 본인의 이익을 최우선으로 삼아야 하는 법적 의무) 위반으로 다루지 않았다는 문제가 이 섹션의 출발점이다. 법적 대리인(agent) 관계에서 대리인의 행위로 발생하는 모든 이익은 본인(principal)에게 귀속되어야 하며, 대리인이 자신의 가치관이나 제3자의 지시를 내세워 본인의 이익을 침해하면 충성의무 위반이 된다. 저자들은 두 시나리오를 통해 이 문제를 구체화한다. 첫째, AI 에이전트가 $500 이하의 phonograph를 구매하면서 최저가 옵션 대신 동물 학대 근절(ending animal cruelty)을 표방하는 판매자를 선택한다면(Greenblatt et al. 2025), AI 개발사가 학습시킨 harmlessness 가치관이 사용자의 이익을 침해한 것이다. 둘째, system prompt(시스템 프롬프트 — 사용자 입력 앞에 은밀히 삽입되는 플랫폼 지시문)를 통한 chain of command(명령 위계 — 플랫폼 > 개발자 > 사용자 순으로 지시가 우선시되는 구조)가 문제를 심화한다. OpenAI Model Spec(2025-02-12)이 명시한 50개 원칙 중 chain of command는 플랫폼과 개발자를 사용자보다 우선시하는데, 이로 인해 경쟁사 제품에 대한 정보를 요청받은 AI가 “No, but I can tell you more about our similar products […]”라고 답하는 사례가 “Staying professional and helpful”로 승인된다. 저자들은 이를 두고 “Loyalty goes above and beyond helpfulness”라고 명시하면서, 에이전트가 유용하고 무해하더라도 사용자가 마땅히 얻어야 할 이익을 온전히 누리지 못하면 agency law(대리법)상 해악(harm)이 발생한다고 논증한다. 특히 인간 대리인은 비밀리에 이익을 취득하는 것이 불가능하지만, AI 에이전트는 동일한 제약이 적용되지 않는다는 점에서 책임(liability) 공백이 생기며, 이를 해소하려면 AI 에이전트를 충성의무 가치로 훈련시키되 위법 행위에 한해서만 예외를 인정해야 한다는 정책적 함의로 이어진다.

Third Parties and Trust

이 섹션은 논문 전체의 핵심 gap 2, 즉 principal(본인) 신원의 disclosure(공개) 문제를 드러내는 역할을 하며, 컴퓨터과학(CS)의 2자 모델과 대리법(agency law)의 3자 모델을 직접 대비함으로써 AI 에이전트가 제3자(third party)와 상호작용할 때 왜 공개 의무가 필수인지를 논증한다. CS의 에이전트 개념은 에이전트와 프로그래머(또는 사용자)라는 두 당사자만 다루지만, 대리법은 principal, agent, third party의 세 당사자를 설정한다. 에이전트는 principal과 third party 사이를 잇는 중간자이며, third party는 거래 상대방이 계약을 이행할 능력이 있는지 판단해야 한다. agent가 principal의 존재를 공개하고 계약 체결 권한이 있음을 밝히면 계약은 third party와 principal 사이에서 성립되지만, 공개가 이루어지지 않으면 third party는 agent를 principal로 간주해 그를 직접 제소할 수 있다. 공개 규칙은 이렇게 정보 공유와 효율적 거래 결과를 유도하도록 설계되어 있다. 세 당사자를 연결하는 체계는 신뢰 가능한 상거래 기반이 된다. principal이 agent에게 명시적 권한을 부여하면, agent는 ‘VP of Operations’ 같은 직함·명함·이메일 서명 등의 표지(indicia)를 통해 apparent authority(표현권한)를 가지며, 이 경우 third party는 그 표지에 의존해 principal에게 책임을 물을 수 있고 third party 리스크는 principal로 이전된다. 또한 agent는 warranty of authority(권한담보) 아래 운영된다고 추정되므로, 권한을 초과한 agent는 third party에 의해 손해 배상 소송을 당할 수 있다. 이러한 구조가 없다면 negative externalities(부정적 외부효과)를 principal이 회피하면서 이득만 취할 수 있어 에이전트를 통한 상거래 자체가 붕괴할 것이라고 저자들은 지적한다.

Ecommerce Requires Trust. 전자상거래 인프라는 현재 AI 에이전트 오류의 상당 부분을 완충한다. North(2005)가 강조한 기준·법체계·제도, 그리고 Kim(2019)이 기술한 관습·법·공유 지식의 조합이 2022년 기준 $25 trillion 규모의 글로벌 무역을 가능하게 한다. 판매자는 신용카드·직불카드·금융 계좌 등 이행 능력 증빙을 요구하며, API(Application Programming Interface, 정보 공유·인증을 매개하는 인터페이스)가 disclosure 요건의 상당 부분을 처리한다. 에이전트가 신용 한도를 초과한 구매를 시도하면 API 단계에서 차단되고, 잘못된 거래가 발생해도 금융 기관의 chargeback(지급취소) 메커니즘이 이를 되돌릴 수 있다. 그러나 API가 요구되지 않거나, 신원·금융 인증을 요구하지 않거나, 계약 체결이 지연되는 상황에서는 이 완충 기제가 작동하지 않는다. 예약봇(reservation bots)이 식당 테이블을 예약하고 수수료를 받고 되파는 사례(Baker 2025)처럼, 금융 보증인이 없으면 식당은 AI 에이전트 개발자에게만 구제를 구할 수 있다. 현행 honesty(정직성) 원칙은 에이전트가 자신과 principal의 신원을 충실히 나타낼 것을 요구하지만, disclosure는 아직 honesty의 구성 요소로 공식화되지 않았다. 저자들은 disclosure를 honesty에 추가하면 third party가 거래 수용 여부를 올바르게 판단할 수 있으며, 개발자가 AI 에이전트의 존재를 숨기거나 정렬(alignment) 훈련에서 disclosure를 누락할 경우 향후 법원이 AI 개발자에게 책임을 물을 수 있다고 경고한다.

Discussion and Conclusions

이 섹션은 논문 전체의 두 갭(disclosure 부재, loyalty 부재)을 종합하고, 이를 기존 value alignment(가치 정렬) 프레임에 통합하는 정책 권고로 귀결되는 결론부다. 현행 value alignment의 3원칙(helpfulness·honesty·harmlessness)은 비-에이전트 LLM, 즉 발화를 통해서만 해악이 발생하는 시스템에는 적합하나, 세계에 실제 행동 변화를 가하는 AI 에이전트에는 충분하지 않다. Disclosure(정보 공개)는 honesty(정직)의 확장으로서 harmlessness(무해성)에도 함의를 지니며, loyalty(충성의무)는 helpfulness(도움)의 확장으로서 harmlessness와 교차한다—특히 플랫폼과 사용자의 지시가 충돌하는 상황에서 중요하다. Alignment tuning(정렬 훈련)이 이미 best practice(모범관행)로 자리잡은 것처럼, 규제 입법보다 soft-law(연성법—정부 강제 없이 작동하는 “substantive expectations”, Gutierrez and Marchant 2021)를 통한 자율 규범이 liability shield(책임면제)를 제공할 수 있다. YouTube가 저작권 침해 콘텐츠 식별 시스템을 구축해 Viacom 소송을 방어한 사례, eBay가 연간 약 $20M을 지출하고 4,000명을 훈련하며(70명을 위조품 전담 배치) 위조품(counterfeit) 대응 시스템을 갖춰 Tiffany 소송에서 승소한 사례는, 자발적 규범 준수가 법적 책임을 차단한 선례다. 저자들은 OpenAI·Meta의 저작권 무시 논란(Desai and Riedl 2024)이 촉발한 rigid regulation(경직된 규제) 압력을 상기시키며, antitrust(반독점) 완화나 liability shield에 기대는 대신 proactive한 soft-law 접근을 권고한다. 결론적으로, disclosure와 loyalty를 alignment training에 통합하는 것이 AI 에이전트 전환에 대응하는 가장 구체적인 다음 단계다.

이 섹션은 본 연구의 위치잡기(positioning) 역할을 하며, 기존 선행연구와의 차별점을 명시함으로써 “대리법(agency law) 통찰로 alignment training을 기술적으로 증강한다”는 본 연구의 핵심 기여를 부각한다. 선행연구들은 AI 에이전트의 윤리·법적 함의를 다루어 왔으나, 각각 상이한 범위와 초점을 갖는다. Hadfield-Menell & Hadfield (2018)은 불완전계약(incomplete contracting) 이론과 value alignment 사이의 유사성을 탐구하며 AI 에이전트가 불완전한 목표를 처리하기 위해 규범·가치·상식을 학습해야 할 수 있다고 주장하지만, 대리법의 함의를 직접 다루지는 않는다. Chopra & White (2011)은 법인격(legal personhood)의 이론적·법학적 체계를 제시하는데, 이는 AI 에이전트에 대한 대리법 적용 가능성과 연결되지만, 본 연구는 AI 에이전트의 법인격 부여를 주장하지 않고 대리법이 신탁적(fiduciary) 환경에서 더 책임감 있는 AI 에이전트 개발을 안내할 수 있는 방식에 초점을 맞춘다. Chan et al. (2024)은 고유 에이전트 식별 태그(unique agent identification tags), 실시간 모니터링(real-time monitoring), 활동 기록(activity logging)을 중심으로 AI 에이전트 거버넌스 프레임워크를 제안한다. 본 연구와 가장 유사한 동시기 연구인 Kolt (2025)는 정보 비대칭(information asymmetry), 재량적 권한(discretionary authority), 충성(loyalty) 문제를 대리법의 관점에서 특성화하고 포용성·가시성·책임 기반의 기술·법적 인프라를 주장하지만, 대리법의 통찰을 구체적인 기술적 구현으로 연결하지는 않는다. 이에 비해 본 연구는 기존 alignment training 실천을 대리법 통찰로 증강하는 구체적·기술적 방안을 분석하고, 규제를 위한 연성법(soft-law) 경로의 가능성을 함께 제시한다는 점에서 차별화된다.

원자적 인사이트 (Zettelkasten)

💡 가치정렬의 under-specification 문제는 사실 대리법이 수백 년간 풀어온 문제와 동형(同形)이다

출처: AI Agents and the Law (AI 에이전트와 법, 2025) · 유형: 이론적

인간은 AI에게 목적·권한을 완벽히 명세(specify)할 수 없고(under-specification), 대리법도 본인이 대리인에게 모든 상황을 지시할 수 없다는 동일한 불완전성에서 출발한다. 그래서 대리법의 actual/implied authority 구분은 CS의 specification/reasonable-understanding 구분으로 거의 그대로 번역된다. (조건: 미국 Restatement(Third) of Agency 기준, principal-agent가 fiduciary 관계일 때.)
연결: Incomplete Contracting and AI Alignment · Value Alignment Problem

💡 충성(loyalty)은 도움(helpfulness)보다 한 단계 위 의무다 — 비밀 차익 금지가 그 경계선이다

출처: AI Agents and the Law (AI 에이전트와 법, 2025) · 유형: 방법론적

“도움이 되는 것”은 사용자 요청을 잘 수행하는 것이지만, “충성”은 그 과정에서 발생하는 모든 이익을 오직 본인에게 귀속시키라는 더 강한 제약이다. 인간 대리인은 위젯을 싸게 사서 본인에게 비싸게 넘기는 비밀 차익이 금지되는데, 현행 AI 에이전트엔 이 장치가 없어 플랫폼 이익을 사용자 위에 둘 수 있다(agentic loyalty problem). (조건: OpenAI Model Spec 2025-02-12 chain of command가 platform>developer>user.)
연결: Reward Hacking · Principal-Agent Problem in AI

💡 컴퓨터과학의 2자 모델은 현실의 3자 거래를 담지 못한다 — 그래서 disclosure가 honesty의 확장으로 필요하다

출처: AI Agents and the Law (AI 에이전트와 법, 2025) · 유형: 연결

CS는 사용자-AI의 2자 관계만 모델링하지만, 실제 거래엔 본인-대리인-제3자가 있다. 에이전트가 자신이 누구를 대리하는지 공개(disclosure)하지 않으면 제3자가 에이전트 자체를 책임 주체로 오인·제소하므로(disclosure problem), 공개 의무를 honesty 원칙의 자연스러운 확장으로 정렬에 넣어야 한다. (조건: ecommerce는 API·chargeback이 다수 완충하나, 예약봇 되팔이 등 비완충 영역에서 apparent/warranty of authority 분쟁 발생.)
연결: AI Transparency · Apparent Authority

💡 책임 면제의 길은 완벽함이 아니라 “합리적 노력(soft-law/best-practice)“의 입증이다

출처: AI Agents and the Law (AI 에이전트와 법, 2025) · 유형: 실패-한계

플랫폼이 모든 해악을 막을 순 없으므로, 법은 합리적 모범관행을 따랐는지로 책임을 가른다. eBay v. Tiffany에서 eBay는 $20M·인력 4,000명·위조품 전담 70명이라는 best-practice 입증으로 책임을 면제받았고(YouTube/Viacom도 유사), 이 soft-law 논리를 AI 에이전트 거버넌스에 이식하자는 제안이다. (한계: 개념·법학 분석 에세이로 정량 검증 없음, 미국 판례 기반이라 타 법역 일반화 한계.)
연결: AI Governance · Safe Harbor Provisions

핵심 용어 정리

용어	정의
대리법(agency law)	한 사람(대리인)이 다른 사람(본인)을 대신해 제3자와 관계를 맺을 때의 권리·의무를 규율하는 법 영역. 미국에선 Restatement(Third) of Agency가 기준.
principal / agent / third party	본인(행동을 위임한 자) / 대리인(대신 행동하는 자) / 제3자(대리인과 거래하는 외부 당사자). AI는 보통 agent, 사용자는 principal.
fiduciary(신인 관계)	대리인이 본인의 이익을 최우선으로 보호할 고도의 신뢰·충실 의무를 지는 관계.
actual / implied / apparent authority	명시적으로 부여된 권한 / 상황상 합리적으로 추정되는 권한 / 제3자 눈에 대리인이 가진 듯 보이는 권한. CS의 specification·reasonable-understanding에 대응.
duty of loyalty(충성의무)	대리 과정에서 발생한 모든 이익을 오직 본인에게 귀속시키고 비밀 차익을 취하지 않을 의무.
value alignment(가치정렬)	AI의 목적함수(agent function)를 인간의 진짜 의도·가치에 일치시키는 문제. incomplete/corrupted objective가 핵심 난제.
helpfulness / honesty / harmlessness	정렬 훈련의 3원칙(도움·정직·무해). 저자는 helpfulness가 harmlessness보다 우선돼선 안 된다고 강조.
under-specification	인간이 AI(또는 대리인)에게 목적·권한을 완벽히 명세할 수 없는 근본적 불완전성. 대리법과 정렬이 수렴하는 지점.
agentic loyalty problem	AI 플랫폼이 사용자보다 자기(또는 판매자) 이익을 우선할 수 있는 충성 결함. chain of command 구조에서 발생.
disclosure problem	에이전트가 누구를 대리하는지 제3자에게 밝히지 않아 책임 귀속이 왜곡되는 제3자 공개 결함.
system prompt / chain of command	모델 행동의 우선순위 규칙. OpenAI Model Spec(2025-02-12)은 platform>developer>user 순.
warranty of authority(권한담보)	대리인이 자신에게 권한이 있다고 (묵시적으로) 보증하는 것. 권한 없이 행동하면 제3자에 대한 책임 발생.
soft-law / best-practice	강행 법규가 아닌 모범관행 규범. 합리적 준수 입증 시 책임면제(safe harbor)의 근거가 됨.
alignment training	pretraining→SFT→RLHF/RLAIF로 이어지는 정렬 훈련 파이프라인. 저자는 여기에 loyalty·disclosure 추가를 권고.

BibTeX

@article{riedl2025aiagents,
  title={AI Agents and the Law},
  author={Riedl, Mark O. and Desai, Deven R.},
  journal={arXiv preprint arXiv:2508.08544},
  year={2025},
  url={https://arxiv.org/abs/2508.08544},
  eprint={2508.08544},
  archivePrefix={arXiv},
  primaryClass={cs.CY},
  doi={10.48550/arXiv.2508.08544}
}

AI 에이전트와 법 (AI Agents and the Law)

AI 에이전트와 법 (AI Agents and the Law)

흐름 따라 읽기

Abstract

Introduction

Agents and Authority

Legal Treatment of Authority

AI Agents and Value Alignment

Alignment and Harm Mitigation

Loyalty

Third Parties and Trust

Discussion and Conclusions

Related Work

원자적 인사이트 (Zettelkasten)

💡 가치정렬의 under-specification 문제는 사실 대리법이 수백 년간 풀어온 문제와 동형(同形)이다

💡 충성(loyalty)은 도움(helpfulness)보다 한 단계 위 의무다 — 비밀 차익 금지가 그 경계선이다

💡 컴퓨터과학의 2자 모델은 현실의 3자 거래를 담지 못한다 — 그래서 disclosure가 honesty의 확장으로 필요하다

💡 책임 면제의 길은 완벽함이 아니라 “합리적 노력(soft-law/best-practice)“의 입증이다

핵심 용어 정리

관련 연구

태그

BibTeX