Introduction

인간-AI 팀(Human-AI team)의 효과적 협력을 위해 신뢰(trust)는 핵심 요소이나, 팀원이 AI인지 인간인지에 대한 **정체성 인식(teammate identity)**이 신뢰와 협력 행동에 미치는 영향에 대한 실증 연구는 부족한 상황
기존 연구에서는 algorithm aversion(알고리즘 혐오)과 algorithm appreciation(알고리즘 선호)이 상반되게 보고되고 있으며, 이러한 차이가 과제 맥락, 팀원 성능(performance), 정체성 인식에 의해 조절될 수 있음을 시사
본 연구는 기만(deception) 패러다임을 활용하여 동일한 AI 팀원을 “인간 팀원(Taylor)“으로 소개하는 조건과 “AI 팀원”으로 소개하는 조건을 비교함으로써, 팀원 정체성 인식의 순수 효과를 분리하여 검증
2 x 2 피험자 간(between-subjects) 실험 설계를 통해 팀원 정체성(“인간” vs. AI)과 팀원 성능(고성능 vs. 저성능)의 주효과 및 상호작용 효과를 체계적으로 분석
핵심 연구 질문: (1) 인간은 AI 팀원과 “인간” 팀원 중 누구를 더 신뢰하는가? (2) 팀원 정체성과 성능이 인간-AI 공동 수행(joint performance)에 어떤 영향을 미치는가? (3) AI 정체성에 대한 기만이 협력에 도움이 되는가?

An Integrative Model of Organizational Trust (Mayer, Davis & Schoorman, 1995): 신뢰의 3요소 모델(ability, benevolence, integrity) 제안 — 본 연구의 신뢰 개념화 및 perceived competence 측정의 이론적 기반
Trust in Automation: Designing for Appropriate Reliance (Lee & See, 2004): 자동화 시스템에 대한 신뢰의 개념적 프레임워크 제시 — 적절한 신뢰 수준(appropriate reliance)과 과신/불신의 문제를 다루며 본 연구의 자동화 신뢰 측정 설계에 영향
A Meta-Analysis of Factors Affecting Trust in Human-Robot Interaction (Hancock et al., 2011): 인간-로봇 상호작용에서 신뢰에 영향을 미치는 요인의 메타분석 — 로봇 관련 요인(성능, 속성)이 인간 관련 요인보다 신뢰에 더 큰 영향을 미침을 확인, 본 연구의 성능 변수 설계 근거
Human Confidence in Artificial Intelligence and in Themselves: The Evolution and Impact of Confidence on Adoption of AI Advice (Chong, Zhang, Kotovsky & Cagan, 2022): 동일 연구진의 선행 연구로, 체스 퍼즐 과제에서 AI 조언 수용에 자기 자신감(self-confidence)이 AI에 대한 자신감보다 더 큰 영향을 미침을 발견 — 본 연구의 과제 패러다임 및 개인 전문성 변수의 직접적 선행 연구
A Three-Factor Model of Trust in Automation (Hoff & Bashir, 2015): 자동화 신뢰의 3요인 모델(dispositional, situational, learned trust) 제안 — 본 연구에서 성능에 따른 학습된 신뢰(learned trust) 변화를 분석하는 이론적 틀 제공

Methods

참가자: Carnegie Mellon University에서 모집된 참가자, 영어 구사 가능하고 체스 규칙을 아는 사람으로 제한, IRB 승인 하 진행
실험 설계: 2 x 2 피험자 간(between-subjects) 설계
- 독립변수 1 — 팀원 정체성(Teammate Identity): “인간” 팀원(성별 중립적 이름 “Taylor” 사용, 실제로는 AI) vs. AI 팀원
- 독립변수 2 — 팀원 성능(Teammate Performance): 고성능(80% 정확도) vs. 저성능(정확도 낮음)
- 총 4개 실험 조건: (1) AI + 고성능, (2) AI + 저성능, (3) “인간” + 고성능, (4) “인간” + 저성능
과제 — Chess Puzzle Task:
- Stockfish 체스 엔진 기반으로 AI 팀원 구성
- 고성능 AI: 80% 정확도 (20개 체스 보드 상태 중 16회 최적 수(best move) 제안, 4회 7번째 최적 수(disadvantageous move) 제안)
- 각 퍼즐의 4단계 절차: (1) 참가자가 독립적으로 수(move) 선택 → (2) 팀원의 수 관찰 → (3) 두 수를 고려하여 최종 수 결정 (초기 선택 또는 팀원 수 채택 가능) → (4) 최종 수에 대한 피드백 수령
- 3개 연습 문제 + 실험용 체스 퍼즐 문제 수행
기만(Deception) 조건: “인간” 팀원 조건의 참가자에게는 다른 참가자(“Taylor”)와 협력한다고 안내 → 실험 후 디브리핑에서 실제로 AI였음을 공개
종속변수 및 측정 도구:
- 행동적 신뢰(Behavioral Trust): 참가자가 팀원의 수(자신의 초기 선택과 다른 경우)를 최종 수로 채택한 횟수 = 수용률(acceptance rate)
- 자기 보고 신뢰(Self-reported Trust): 설문 기반 신뢰 측정
- NASA-TLX: 작업 부하(workload) 측정, 특히 시간적 요구(temporal demand) 하위척도
- 지각된 역량(Perceived Competence): 팀원의 능력에 대한 평가
- 지각된 도움 정도(Perceived Helpfulness): 팀원이 얼마나 도움이 되었는지 평가
- 공동 수행(Joint Performance): 인간-AI 팀의 객관적 과제 성과
분석 방법: Two-way ANOVA (팀원 정체성 x 팀원 성능), 개인 전문성(individual expertise) 공변량 분석

실험 설계 다이어그램

graph TD
    subgraph DESIGN["2×2 Between-Subjects Design"]
        A["팀원 정체성<br/>(Teammate Identity)"] --> A1["AI 팀원<br/>(투명 공개)"]
        A --> A2["'인간' 팀원<br/>(기만: 'Taylor')"]
        B["팀원 성능<br/>(Teammate Performance)"] --> B1["고성능<br/>(80% 정확도)"]
        B --> B2["저성능"]
    end

    subgraph CONDITIONS["4개 실험 조건"]
        C1["조건 1<br/>AI + 고성능"]
        C2["조건 2<br/>AI + 저성능"]
        C3["조건 3<br/>'인간' + 고성능"]
        C4["조건 4<br/>'인간' + 저성능"]
    end

    subgraph TASK["Chess Puzzle Task 절차"]
        T1["Step 1<br/>참가자 독립적<br/>수 선택"] --> T2["Step 2<br/>팀원 수 관찰"]
        T2 --> T3["Step 3<br/>최종 수 결정<br/>(수용 or 유지)"]
        T3 --> T4["Step 4<br/>피드백 수령"]
    end

    subgraph MEASURES["측정 변수"]
        M1["행동적 신뢰<br/>(Acceptance Rate)"]
        M2["자기 보고 신뢰"]
        M3["NASA-TLX<br/>(Temporal Demand)"]
        M4["지각된 역량<br/>& 도움 정도"]
        M5["공동 수행<br/>(Joint Performance)"]
    end

    DESIGN --> CONDITIONS
    CONDITIONS --> TASK
    TASK --> MEASURES

    style DESIGN fill:#e1f5fe
    style CONDITIONS fill:#fff9c4
    style TASK fill:#fce4ec
    style MEASURES fill:#e8f5e9

Results

행동적 신뢰(Behavioral Trust): AI 팀원 조건의 참가자들이 “인간” 팀원 조건보다 팀원의 수를 유의미하게 더 많이 수용 — 즉, 인간은 AI를 인간보다 행동적으로(behaviorally) 더 신뢰하는 경향을 보임
기만의 역효과: AI를 “인간(Taylor)“이라고 기만한 조건에서 참가자들은 동일한 AI의 결정을 덜 수용 — 기만이 협력을 촉진하지 않고 오히려 저해함을 시사
팀원 성능의 주효과: 팀원 성능(고/저)은 **공동 수행(joint performance)**에 유의미한 영향을 미침 — 고성능 팀원 조건에서 더 높은 공동 수행
팀원 정체성의 비유의미성: 팀원 정체성(“인간” vs. AI)은 공동 수행에 유의미한 영향을 미치지 않음 — 팀원이 누구인지보다 얼마나 잘 수행하는지가 결과에 더 중요
시간적 요구(Temporal Demand): “인간” 팀원 조건에서 참가자들이 유의미하게 더 높은 시간적 부담을 지각 — 인간 팀원과 작업 시 더 많은 시간 압박을 느낌
지각된 역량과 도움 정도: 저성능 “인간” 팀원이 저성능 AI 팀원보다 더 유능하고 도움이 된다고 평가됨 — 동일 성능에도 불구하고 인간 팀원에 대한 관대한 평가(benevolent evaluation)
개인 전문성(Individual Expertise)의 영향: 참가자의 체스 과제 전문성이 인간-AI 협력에 상당한 영향을 미침 — 전문성이 높은 참가자일수록 팀원 수용률이 달라지는 패턴

주요 결과 요약

종속변수	팀원 정체성 효과	팀원 성능 효과	주요 발견
행동적 신뢰 (Acceptance Rate)	유의미	-	AI 조건 > “인간” 조건
공동 수행 (Joint Performance)	비유의미	유의미	성능이 정체성보다 중요
시간적 요구 (Temporal Demand)	유의미	-	”인간” 조건 > AI 조건
지각된 역량 (Competence)	유의미 (저성능 시)	-	저성능 “인간” > 저성능 AI
지각된 도움 정도 (Helpfulness)	유의미 (저성능 시)	-	저성능 “인간” > 저성능 AI

조건별 행동적 신뢰 패턴

조건	팀원 정체성	팀원 성능	행동적 신뢰 (수용률)
1	AI	고성능	높음
2	AI	저성능	중간
3	”인간” (기만)	고성능	중간
4	”인간” (기만)	저성능	낮음

Discussion

한계 1 — 과제 특수성(Task Specificity): 체스 퍼즐이라는 특정 도메인에서의 결과이므로, 다른 협력 과제(의사결정, 설계, 창의적 문제 해결 등)에 대한 일반화에는 주의가 필요
한계 2 — 단일 세션 실험: 참가자들이 팀원과 단기적으로만 상호작용 — 장기적 협력 관계(longitudinal interaction)에서 신뢰가 어떻게 형성·변화하는지는 추가 연구가 필요
한계 3 — 기만의 윤리적 문제: 실험에서 사용된 기만(deception) 패러다임은 실제 응용에서의 투명성(transparency) 요구와 충돌 — 기만이 역효과를 낳는다는 결과 자체가 투명성의 중요성을 뒷받침
한계 4 — 개인차 변수의 제한적 탐색: AI 친숙도(AI familiarity), 기술 수용 성향(technology acceptance), 성격 특성(personality traits) 등 개인차 변수가 충분히 통제되지 않음
핵심 시사점 — 기만의 비효과성: AI 정체성을 숨기는 것이 협력을 향상시키지 않으며, 오히려 수용률을 감소시킴 → 향후 인간-AI 협력 설계에서 AI 정체성에 대한 투명성(transparency)을 유지할 것을 강력 권고
핵심 시사점 — 성능이 정체성보다 중요: 팀원이 AI인지 인간인지보다 실제 수행 능력이 공동 성과에 더 큰 영향 → AI 시스템의 성능 최적화가 신뢰 구축보다 우선적 과제일 수 있음
향후 방향 1: 다양한 과제 도메인(의료 진단, 법적 판단, 창의적 설계)에서 팀원 정체성과 성능의 효과를 반복 검증
향후 방향 2: 장기적 인간-AI 상호작용에서의 신뢰 동태(trust dynamics) 연구 — 초기 신뢰, 신뢰 보정(trust calibration), 신뢰 회복(trust repair) 과정 탐색
향후 방향 3: 개인 전문성(individual expertise)이 인간-AI 협력에 미치는 영향을 체계적으로 분석 — 초보자와 전문가의 AI 활용 패턴 차이 규명
정책적 함의: AI 시스템이 인간과 협력할 때 자신의 정체성을 투명하게 공개하도록 의무화하는 것이 협력 효과와 윤리적 측면 모두에서 바람직함

Juhyeon's Blog

탐색기

Trust in an AI versus a Human teammate - The effects of teammate identity and performance on Human-AI cooperation

Introduction

Methods

실험 설계 다이어그램

Results

주요 결과 요약

조건별 행동적 신뢰 패턴

Discussion

그래프 뷰

목차

Properties

백링크

Trust in an AI versus a Human teammate - The effects of teammate identity and performance on Human-AI cooperation

Introduction

Related Papers

Methods

실험 설계 다이어그램

Results

주요 결과 요약

조건별 행동적 신뢰 패턴

Discussion

그래프 뷰

목차

Properties

백링크