Artificial intelligence and moral dilemmas - Perception of ethical decision-making in AI

10분 분량

Introduction

  • AI 시스템이 의료, 자율주행, 사법 등 도덕적 딜레마 상황에서 의사결정자로 점점 더 많이 활용됨에 따라, 사람들이 AI의 윤리적 의사결정을 어떻게 인식하는지 이해하는 것이 중요해짐
  • 도덕 심리학에서 utilitarian(공리주의적) 접근은 결과를 중시하여 해를 수용하고, deontological(의무론적) 접근은 행위의 본질에 초점을 맞추어 해를 거부함 (Greene, 2007)
  • Stereotype Content Model (Fiske, Cuddy, Glick, & Xu, 2002)에 따르면 사회적 대상에 대한 인식은 warmth(따뜻함)와 competence(유능함) 두 차원으로 구성되며, AI는 인간에 비해 높은 competence와 낮은 warmth로 인식되는 경향이 있음
  • 본 연구는 사람들이 AI를 인간보다 공리주의적 선택을 할 가능성이 높은 존재로 인식하는지, 그리고 이러한 차이를 warmth 지각이 매개하는지를 4개 연구(총 N = 804)를 통해 검증함
  • 연구의 핵심 가설: AI에 대한 낮은 warmth 지각이 AI가 공리주의적 도덕 판단을 할 것이라는 기대를 설명하는 핵심 메커니즘임

Related Papers

  • A model of (often mixed) stereotype content: Competence and warmth respectively follow from perceived status and competition (Fiske, Cuddy, Glick, & Xu, 2002): Stereotype Content Model의 원 논문으로, warmth와 competence가 사회적 인식의 보편적 두 차원임을 제안
  • The secret lives of liberals and conservatives: Personality profiles, interaction styles, and the things they leave behind (Greene, Sommerville, Nystrom, Darley, & Cohen, 2001; Greene, 2007): 도덕 판단의 dual-process theory를 제안하여 personal moral dilemma에서는 정서적 직관이, impersonal dilemma에서는 인지적 숙고가 주도함을 밝힘
  • The Moral Machine experiment (Awad, Dsouza, Kim et al., 2018): 자율주행차의 도덕적 딜레마에 대해 전 세계 4천만 건의 의사결정을 수집한 대규모 실험으로, 문화에 따른 도덕 판단 차이를 분석
  • Autonomous morals: Inferences of mind predict acceptance of AI behavior in sacrificial moral dilemmas (Bigman & Gray, 2018): AI의 mind perception(마음 지각)이 도덕적 의사결정에서의 AI 수용에 미치는 영향을 탐색
  • Moral Uncanny Valley: A Robot’s Appearance Moderates How its Decisions are Judged (Laakasuo, Palomäki et al., 2021): 로봇의 외형이 도덕적 판단의 평가에 미치는 조절 효과를 연구하여 도덕적 uncanny valley 현상을 보고

Methods

  • 4개의 연구를 통해 총 804명의 참가자를 대상으로 실험 수행
  • Study 1 (Reverse Inference Paradigm): 참가자들에게 trolley dilemma(전차 딜레마)에서 공리주의적 또는 의무론적 선택을 한 의사결정자 시나리오를 제시하고, 해당 의사결정자가 AI인지 인간인지를 역추론(reverse inference)하도록 함. 공리주의적 선택을 한 의사결정자는 AI일 가능성이 유의하게 더 높게 평가됨
  • Study 2 (Forward Inference + Mediation): 참가자들에게 AI 또는 인간 주인공이 도덕적 딜레마에 직면한 시나리오를 제시하고, 해당 주인공이 공리주의적 선택을 할 가능성을 평가하게 함. 동시에 주인공에 대한 warmth(따뜻함)와 competence(유능함) 지각을 측정. Warmth 지각이 AI와 인간 간 도덕 판단 차이를 매개하는 핵심 메커니즘으로 확인됨 (competence는 유의한 매개 효과 없음)
  • Study 3 (Impersonal Moral Dilemma): impersonal moral dilemma(비인격적 도덕 딜레마, 예: switch version trolley dilemma) 상황에서 Study 2의 주요 효과를 개념적으로 반복 검증
  • Study 4 (Personal High-Conflict Moral Dilemma): personal high-conflict moral dilemma(인격적 고갈등 도덕 딜레마, 예: footbridge dilemma) 상황에서도 동일한 효과를 확인하여, 다양한 유형의 도덕적 딜레마에 걸쳐 결과의 일반화 가능성을 검증

방법론 다이어그램

graph TD
    A["Study 1: Reverse Inference<br/>Trolley Dilemma"] --> E["AI가 공리주의적 선택을<br/>할 것이라는 인식 확인"]
    B["Study 2: Forward Inference<br/>+ Warmth/Competence 측정"] --> F["Warmth 매개 효과 확인<br/>(Competence는 비유의)"]
    C["Study 3: Impersonal<br/>Moral Dilemma<br/>(Switch Trolley)"] --> G["Impersonal 딜레마에서<br/>효과 반복 검증"]
    D["Study 4: Personal<br/>High-Conflict Dilemma<br/>(Footbridge)"] --> H["Personal 딜레마에서도<br/>효과 일반화 확인"]

    E --> I["핵심 발견: AI는 인간보다<br/>공리주의적 선택을 할 것으로 인식됨"]
    F --> I
    G --> I
    H --> I

    I --> J["매개 메커니즘"]
    J --> K["AI: 높은 Competence<br/>+ 낮은 Warmth"]
    J --> L["인간: 높은 Warmth<br/>+ 낮은 Competence"]
    K --> M["낮은 Warmth →<br/>공리주의적 선택 기대 증가"]
    L --> N["높은 Warmth →<br/>의무론적 선택 기대 증가"]

Results

  • Study 1: 공리주의적 선택을 한 의사결정자를 AI로 추론하는 경향이 유의하게 나타남. 즉, 사람들은 공리주의적 도덕 판단을 AI와 연결 짓는 직관적 연합(intuitive association)을 보유
  • Study 2: AI 조건에서 공리주의적 선택 가능성이 인간 조건보다 유의하게 높게 평가됨. Warmth 지각이 유의한 매개 변인으로 확인되었으며, competence 지각은 유의한 매개 효과를 보이지 않음
  • Study 3: Impersonal moral dilemma(예: switch trolley dilemma)에서도 AI가 인간보다 공리주의적 선택을 할 것으로 인식되는 주요 효과가 반복 검증됨
  • Study 4: Personal high-conflict moral dilemma(예: footbridge dilemma)에서도 동일한 패턴이 확인되어, 딜레마의 유형(impersonal vs. personal)에 관계없이 효과가 일반화됨
Study패러다임딜레마 유형주요 발견
Study 1Reverse inferenceTrolley dilemma공리주의적 선택 → AI로 추론
Study 2Forward inference + Mediation도덕적 딜레마Warmth가 AI-인간 차이 매개 (Competence 비유의)
Study 3Forward inference (replication)Impersonal (Switch trolley)Impersonal 상황에서 효과 반복
Study 4Forward inference (replication)Personal high-conflict (Footbridge)Personal 상황에서도 효과 일반화
  • 전체 4개 연구(N = 804)에 걸쳐 일관적으로, AI는 인간보다 높은 competence와 낮은 warmth로 지각되었으며, 낮은 warmth가 공리주의적 선택 기대의 핵심 예측 변인임

Discussion

  • AI에 대한 warmth 지각의 결핍이 사람들이 AI를 공리주의적 의사결정자로 인식하는 핵심 메커니즘임을 실증적으로 밝힘. 이는 Stereotype Content Model(Fiske et al., 2002)의 틀을 AI 도덕 인식 연구에 확장한 것
  • Competence 지각은 AI와 인간 간 도덕 판단 차이를 매개하지 않았으며, 이는 도덕적 맥락에서 warmth가 competence보다 더 결정적인 역할을 함을 시사
  • 다양한 유형의 도덕적 딜레마(impersonal vs. personal, low-conflict vs. high-conflict)에서 일관된 결과를 확인하여 높은 외적 타당도(external validity)를 확보
  • 사람들이 AI에 대해 가지는 도덕적 기대와 편향(bias)을 이해하는 것은 향후 AI의 윤리적 설계 및 규제에 중요한 시사점을 제공함
  • 한계점: 참가자들이 실제 AI와 상호작용한 것이 아닌 가상 시나리오 기반 연구이므로, 실제 AI 의사결정 상황에서의 생태학적 타당도(ecological validity) 검증이 필요함
  • AI의 warmth 지각을 높이는 디자인 전략(예: anthropomorphism, 감정 표현)이 AI에 대한 도덕적 기대와 수용에 어떤 영향을 미치는지에 대한 후속 연구가 필요함