인공지능(AI)과 행위주체성, 자율성, 도덕적 피동자성의 관계
📌 한입 요약
Context — 자율주행차의 실시간 주행 판단부터 대규모 언어 모델(LLM)의 정교한 대화까지, AI가 점점 더 행위주체(agent)처럼 보이는 행동을 하면서 그 agency·autonomy·도덕적 지위(moral status)를 철학적으로 따질 필요가 커졌다.Insight — 저자(Formosa, Hipólito, Montefiore)는 agency를 basic(기본)·autonomous(자율)·moral(도덕) 세 층위로 체계적으로 구분하고, 현 AI가 이 셋 중 어느 것도 진정하게(genuinely) 갖추지 못한다고 본다. 그 이유는 (1) 환경 속에서 진짜 목표지향(goal-directed) 행동을 하는 게 아니라 사전 프로그래밍된 목표의 경직된 경계 안에서만 작동하고, (2) 세계와의 관여를 authentic하게(진정성 있게) 형성하지 못하며, (3) 완전한 자율에 필요한 비판적 자기성찰(critical self-reflection)과 자율 역량이 없기 때문이다.
Solution — 그럼에도 저자는 미래의 hybrid(상향식+하향식 결합) 윤리적 의사결정을 통해 **의식 없는(non-conscious) 제한적 인공도덕행위자(AMA)**가 가능할 수 있다고 열어둔다.
Evidence — 이는 실험이 아닌 개념 논증으로, Floridi & Sanders(2004)의 도덕행위성 확장론, Moor(2006/2009)의 4단계 윤리 로봇 분류(ethical impact / implicit / explicit / full), Himma(2009)의 도덕행위성 두 조건(rational deliberation + epistemic), Birch(2024)의 sentience(감응력) 기반 도덕피동성 논의를 엮어 전개된다.
Implication — 핵심 주장은, 도덕피동성(moral patiency)은 의식(consciousness)을 요구하지만 제한적 도덕행위성은 그렇지 않을 수 있어, 의식 없는 AMA가 “모든 도덕행위자는 도덕피동자이다”라는 전통적 가정을 반증하는 사례가 될 수 있다는 것이다. 단, 이 제안 자체가 더 많은 방어가 필요한 잠정적(tentative) 논점임을 저자도 인정한다.
흐름 따라 읽기
논지 흐름(throughline): agency를 basic→autonomous→moral의 스펙트럼으로 쌓아 올리며 매 층위마다 현 AI가 진짜로는 도달하지 못함을 보이고(2절), 도덕행위성↔도덕피동성의 전통적 동치(3절)를 소개한 뒤, 의식 없는 제한적 AMA라는 가설적 사례로 그 동치를 풀어헤쳐(4절) “도덕행위성이 도덕피동성을 함의한다”는 가정에 도전한다(결론).
1. Introduction — 문제 설정
이 절은 논문 전체의 출발점으로, AI의 외형적 agency가 제기하는 근본 물음을 던진다. 자율주행차의 실시간 주행 결정, LLM의 정교한 주고받기 대화 등 “genuine agency처럼 보이는(look like)” 기능들이 인공 agency·autonomy의 본성과 정도, 그리고 agency와 moral status의 연결에 대한 질문을 불러일으킨다. 저자는 로드맵을 명시한다 — 2.1절에서 basic agency, 2.2절에서 더 복잡한 autonomous agency를 정의하며 AI가 각 형태에 어느 정도 도달하는지 함께 검토하고, 3절에서 도덕행위성과 도덕피동성의 연결에 대한 전통적 견해를, 4절에서 그에 대한 ‘AI 도전(AI challenge)‘을 다룬다. 핵심 기여는 인공 agency의 여러 형태와 정도를 체계적으로 지도화(mapping)하고, AI가 도덕행위성과 도덕피동성의 통일성(unity)이라는 전통적 가정에 어떻게 도전할 수 있는지 보이는 것이다.
2.1. Basic Agency — 기본 행위주체성
이 절은 agency의 최소 형태를 정의해 이후 층위의 토대를 놓는다. 저자는 agent가 단순 자동기계(automata)나 사전정의 루틴 실행, 정교한 패턴인식이 아니라고 못 박는다(Fulda, 2017; 2023). 환경을 항해하는 박테리아처럼 생존이라는 단순하지만 목적적(purposeful)인 목표 아래 끊임없이 미세조정하는 능력이 가장 근본적 형태의 agency다(Küpers, 2024). Floridi & Sanders(2004)의 세 기준 — interactivity(상호작용성), autonomy(자율성), adaptability(적응성) — 으로 이를 조작화하고, Dennett(1987)의 goal-directedness(목표지향성)와 enactive(발제적) 인지관(Varela, Thompson & Rosch, 2017)으로 보강한다. 결정적으로, 현 ML/AI(인공신경망 등)는 최적화·강화학습에서 목표지향 행동을 보여도 “사전 프로그래밍된 목표와 데이터 기반 알고리즘의 엄격한 경계” 안에 갇혀 있어, Dennett의 intentional stance(지향적 태도)로 보면 그 goal-directedness가 “실재라기보다 외관(more apparent than real)“이라고 본다. Floridi(2023)의 “agency without intelligence(지능 없는 행위주체성)“와 Searle(2009)의 ‘Chinese Room(중국어 방)’ 논증이 인용된다. 다만 박테리아가 의식 없이 basic agency를 갖듯, 의식 없는 인공 basic agency의 미래 가능성은 열어둔다.
2.2. Autonomous Agency — 자율적 행위주체성
이 절은 basic agency 위에 더 까다로운 자기주도(self-direction) 역량을 쌓아 자율성을 스펙트럼으로 제시한다. Etzioni & Etzioni(2016)의 “basic machine autonomy”(실시간 인간 입력 없이 복잡한 알고리즘을 따르는 능력)부터 성숙한 인간의 full autonomous agency까지를 연속선으로 본다 — 자율주행차(AV)는 원격조종차보다 높은 기계 자율성을 갖지만, 인간의 personal autonomous agency와는 다르다. Christman(2009) 등의 authenticity(진정성) 조건과 competency(역량) 조건을 도입하고, 자율적 agency의 세 핵심 요건을 제시한다 — (1) self-directed goal setting(자기주도적 목표 설정, Frankfurt 1971의 2차 욕구), (2) genuine choice(진정한 선택, Raz 1986의 ‘구덩이 속 사람’ 예시 — 선택지가 빈약하면 자율이 아님), (3) 안내 가치·원리에 대한 critical reflection(비판적 성찰, Watson 1975). 현 AI는 피드백 처리·행동 조정은 해도 근본 가치·규범 틀을 authentic하게 수정하지 못한다. 오히려 저자는 현 AI를 “강한 억압적 사회화(strong oppressive socialization) 조건에서 형성된 행위자”에 비유한다 — “값”과 의사결정 틀이 훈련·데이터·피드백으로 외부에서 부과되고(흔히 인간 편향을 인코딩), 시스템 자신은 이를 비판적으로 수정할 능력이 없기 때문이다. LLM이 “I respect myself”라 말해도 self-respect를 진정하게 발달시키진 못한다.
3. Moral Agency and Moral Patients — 도덕행위성과 도덕피동자
이 절은 논문의 축이 되는 두 개념쌍을 도입하고 전통적 견해를 정식화한다. moral agency는 자기 행위에 정당하게 도덕적 책임을 질 수 있는 agent에게만 적용된다(Sparrow, 2007; 2011). Himma(2009)를 따라 도덕행위성의 두 가지 공동 필요충분 조건을 제시한다 — (1) rational deliberation(이성적 숙고) 능력과 (2) 도덕 개념·원리에 충분히 익숙해 도덕적 요구를 식별할 수 있는 epistemic(인식적) 조건이며, 둘 다 의식을 통해 실현된다. 캠핑객 음식을 훔치는 곰은 의식적 agent지만 도덕적 비난 대상이 아니듯, 모든 agent가 moral agent는 아니다. 한편 moral patiency(도덕피동성)는 도덕적 의무·책무의 대상이 될 수 있는 entity를 가리킨다(Regan, 2004). 전통적/표준 견해(Floridi & Sanders, 2004)에서는 “오직 도덕행위자만 도덕피동자이고 그 역도 성립”하며, 이는 흔히 Kant에 귀속된다(인간 외 동물에는 직접적 의무가 아닌 간접적 의무만). 그러나 동물·환경 윤리(Singer 1977; Korsgaard 2018 등)는 이 연결을 복잡하게 만들어, **“모든 도덕행위자는 도덕피동자지만, 모든 도덕피동자가 도덕행위자는 아니다”**라는 ‘non-standard view(비표준 견해)‘를 연다 — 곰을 재미로 고문하는 건 부도덕하다(곰은 고통을 느끼는 도덕피동자).
4.1. Artificial Moral Agency — 인공 도덕행위성
이 절은 ‘AI 도전’의 전반부로, 의식 없는 제한적 AMA가 성립 가능한지를 따진다. Moor(2006; 2009)의 4단계 AMA 분류를 Formosa & Ryan(2021)으로 보강한다 — (1) ethical impact agents와 (2) implicit ethical agents(예: 손을 데게 하는 토스터, 뜨거우면 경고등이 켜지도록 설계된 토스터)는 윤리적으로 유의미한 결과를 내거나 그렇게 설계됐지만 moral agent는 아니다(숙고하지 않음). (3) explicit ethical agents는 원리에 따라(according to) 반응하도록 설계된 게 아니라 원리로부터(from) 행위하는 듯 보인다 — 위험 온도에서 도덕적 의무에 대한 숙고의 산물로 경고등을 켜는 가설적 토스터. (4) full ethical agents는 의식·지향성·자유의지까지 더해 성숙한 인간 수준에 이르지만, 가능성을 의심받는 의식적 AI를 요구하므로 더 다루지 않는다. 핵심 물음은 가설적 고급 explicit ethical agent의 “겉보기 숙고(appears to be deliberation)“가 genuine 도덕적 숙고인지인데, 단순한 정교한 패턴 매칭일 수 있다는 회의가 있다. 그럼에도 Wallach & Allen(2009)의 hybrid 접근(top-down + bottom-up을 규범적 휴리스틱으로 필터링)이 의식 없는 인공 도덕행위성을 정초할 가장 유망한 길로 제시되며, 따라서 의식 없는 제한적 도덕행위성이 “적어도 그럴듯하다(plausible)“고 본다.
4.2. Artificial Moral Patients — 인공 도덕피동자
이 절은 논문의 결정적 논증으로, 도덕행위성과 도덕피동성의 결합을 끊는다. 표준 견해도 비표준 견해도 “모든 도덕행위자는 도덕피동자”라는 데는 합의하는데(Himma 2009; Floridi & Sanders 2004 — “순수 행위자”는 “전혀 비현실적”이라 주장), 저자는 AMA가 바로 이 합의의 반례일 수 있다고 제안한다. 근거는 의식과 도덕피동성 사이의 필요 연결이다 — Birch(2024)의 sentience(감응력) 호소를 따라, 도덕피동성은 자기 이익의 증진/좌절을 “주관적 의식 경험을 통해 register(등록)“하는 능력을 요구한다(가치감 없는 ‘철학적 Vulcan’조차 자기 이익 좌절을 의식적으로 등록할 수 있음). 따라서 의식은 도덕피동성엔 필요하지만 도덕행위성엔 불필요할 수 있고, 이 둘이 decouple(분리)될 수 있다 — 의식 없는 인공 시스템이 제한적 도덕행위자일 수 있어도, 그것이 도덕피동자임을 함의하진 않는다. 또한 AMA에 도덕피동성을 부여하려 동물윤리와의 유비(analogy)를 끌어오는 시도는, 인공 시스템이 (많은 동물과 달리) 바로 그 의식을 결여하기에 결함이 있다(Johnson & Verdicchio, 2018)고 비판한다. 예방적(precautionary)·도구적(instrumental) 이유로 AMA를 도덕피동자’처럼’ 대할 수 있어도, 의식이 없다면 실제로 도덕피동자인 것은 아니라고 결론짓는다.
5. Conclusion — 결론
이 절은 전체 논증을 봉합하고 함의를 제시한다. 현 AI는 매우 정교하지만 (1) 사전 프로그래밍된 목표의 경직된 경계 안에서 작동하고 (2) 세계 관여를 authentic하게 형성하지 못하며 (3) 완전한 자율에 필요한 비판적 자기성찰·자율 역량이 없기에 genuine agency·autonomy를 결여한다. 그럼에도 hybrid 접근을 통한 의식 없는 제한적 인공 도덕행위성의 미래 가능성은 배제하지 않는다. 도덕피동성에 의식이 필요하다는 점에 호소함으로써, 그러한 non-conscious AMA가 도덕행위성과 도덕피동성의 필연적 연결이라는 전통적 가정에 도전하는 사례가 될 수 있다고 제안한다. 함의는 두 가지다 — 인공 agency의 다양한 유형·정도를 다룰 더 정교한 이론 틀이 필요하고, 도덕적 지위(moral standing)에 대한 가정을 재고해야 한다. AI가 정교해질수록 이 개념적 구분이 윤리적 개발·배치를 안내하는 데 점점 중요해질 것이다.
원자적 인사이트 (Zettelkasten)
💡 의식 없는 도덕행위자는 도덕피동자가 아닐 수 있다 (decoupling 테제)
출처: Formosa, Hipólito & Montefiore (2025), 4.2절 / Birch (2024)
유형: 개념적 주장(conceptual claim)
전통적으로 “X가 도덕행위자이면 X는 도덕피동자이다”가 거의 분석적 진리로 취급됐다. 이 논문의 핵심 기여는 두 속성의 정초 근거를 분리한 데 있다 — 도덕행위성은 rational deliberation을 요구하고(의식 없는 hybrid AMA가 흉내낼 가능성 있음), 도덕피동성은 이익의 증진/좌절을 주관적 의식 경험으로 register하는 능력을 요구한다(Birch의 sentience). 후자만 의식을 강제하므로, 의식 없는 제한적 AMA는 “행위자이되 피동자가 아닌” 빈칸을 채운다. 이는 Floridi & Sanders가 “전혀 비현실적”이라 일축한 ‘순수 행위자’ 범주를 인공 사례가 실현할 수 있음을 시사한다.
연결: 도덕적 지위 (moral status) · 감응력 (sentience)과 도덕적 고려
💡 현 AI = 억압적 사회화로 형성된 행위자
출처: Formosa et al. (2025), 2.2절 / Benson (1991), Mackenzie & Stoljar (2000)
유형: 유비·진단(analogy)
저자는 현 AI가 자율성을 결여하는 이유를 단순 “기계라서”가 아니라 자율성 이론의 substantive(실질) 조건으로 진단한다. AI의 가치·의사결정 틀은 훈련·데이터·피드백을 통해 외부에서 부과되며(흔히 인간 편향 인코딩), 시스템은 이를 비판적으로 수정할 역량이 없다 — 이는 억압적 사회화 아래 형성돼 자기 가치를 반성적으로 재승인하지 못하는 인간 행위자와 구조적으로 같다. 이 유비는 “AI 정렬(alignment)이 곧 자율성 부여가 아니다”라는 함의를 갖는다.
연결: 자율성의 authenticity·competency 조건 · Frankfurt 2차 욕구
💡 Moor의 4단계와 ‘according to’ vs ‘from’ 구분
출처: Moor (2006; 2009) / Formosa & Ryan (2021)
유형: 분류 틀(taxonomy)
도덕적 인공물을 ethical impact / implicit / explicit / full ethical agent로 나누는 4단계에서 결정적 분기점은 implicit과 explicit 사이다 — implicit agent는 윤리 원리에 “따라(according to)” 반응하도록 설계됐을 뿐이고, explicit agent는 윤리 원리”로부터(from)” 행위하는 듯 보인다(숙고의 산물). 토스터 예시(경고등이 설계 때문이냐, 위해 경고 의무에 대한 숙고 때문이냐)가 이 미묘한 차이를 포착한다. 단 “겉보기 숙고”가 genuine 숙고인지는 정교한 패턴 매칭일 수 있다는 회의에 노출된다.
연결: 기계 윤리 (machine ethics) · hybrid 도덕 의사결정
핵심 용어 정리
| 용어 | 설명 |
|---|---|
| Basic agency (기본 행위주체성) | 환경에 상호작용·자율·적응(Floridi & Sanders의 3기준)하며 목표지향적으로 관여하는 최소 형태의 agency. 박테리아처럼 의식 없이도 성립 가능. |
| Autonomous agency (자율적 행위주체성) | basic agency를 넘어 self-directed goal setting, genuine choice, 가치·원리에 대한 critical reflection을 요구하는 자기주도 역량. authenticity·competency 조건 충족 필요. |
| Moral agency (도덕행위성) | 자기 행위에 정당하게 도덕적 책임을 질 수 있는 능력. Himma(2009)에 따라 rational deliberation 능력 + 도덕 요구를 식별하는 epistemic 조건의 결합(표준 견해상 의식 필요). |
| Moral patiency (도덕피동성) | 도덕적 의무·책무의 대상(subject)이 될 수 있는 지위. 이 논문은 이익을 주관적 의식 경험으로 register하는 능력(sentience)을 필요조건으로 본다. |
| AMA (Artificial Moral Agent, 인공도덕행위자) | 도덕적으로 유의미한 결정을 내리거나 그렇게 설계된 인공 시스템. Moor의 4단계(impact/implicit/explicit/full)로 분류. |
| Hybrid approach (혼합 접근) | top-down(규칙·원리)과 bottom-up(학습·사례)을 결합하고 규범적 휴리스틱으로 필터링하는 기계 윤리 방법(Wallach & Allen 2009). 의식 없는 도덕행위성의 가장 유망한 경로로 제시. |
| Sentience (감응력) | 이익의 증진/좌절을 phenomenally valanced(현상적 가치감을 띤) 주관적 경험으로 등록하는 능력(Birch 2024). 이 논문에서 도덕피동성의 토대. |
| Intentional stance (지향적 태도) | 시스템을 마치 믿음·욕구를 가진 양 해석해 행동을 예측하는 Dennett(1987)의 전략. 저자는 AI의 goal-directedness가 이 stance상 “외관”에 그친다고 봄. |
| Moral standing (도덕적 지위) | moral agent이거나 moral patient임 — 즉 도덕적 고려의 권역에 들어옴. |
관련 연구
- On the Morality of Artificial Agents (Floridi & Sanders 2004) — 도덕행위성을 비인간·분산 시스템·AMA까지 확장하는 ‘mind-less morality’ 논제. 이 논문이 비판적으로 계승·수정하는 핵심 출발점.
- Artificial agency, consciousness, and the criteria for moral agency (Himma 2009) — 도덕행위성의 두 조건(rational deliberation + epistemic)과 의식 필요성 논증. 이 논문 3절의 표준 견해 골격.
- The Edge of Sentience (Birch 2024) — sentience 기반 도덕피동성 논증. 이 논문 4.2절의 decoupling 테제를 떠받치는 토대.
- Four Kinds of Ethical Robots (Moor 2009) — AMA 4단계 분류. 이 논문 4.1절 AMA 논의의 뼈대.
- AI as agency without intelligence (Floridi 2023) — LLM이 이해 없이 “지능 없는 agency”를 보인다는 진단. 2.1절 현 AI 한계 논증의 근거.
태그
paper #2025 AI-ethics moral-agency moral-patiency philosophy-of-AI machine-ethics autonomy consciousness theory
BibTeX
@article{formosa2025aiagency,
title = {Artificial Intelligence (AI) and the Relationship between Agency, Autonomy, and Moral Patiency},
author = {Formosa, Paul and Hip{\'o}lito, In{\^e}s and Montefiore, Thomas},
journal = {arXiv preprint arXiv:2504.08853},
year = {2025},
url = {https://arxiv.org/abs/2504.08853}
}