CHI26-poster(desk-reject)_KR

28분 분량

얼굴 감정 지각의 유사성과 성별 편향: 인간과 AI의 탐지 및 평정 수행 비교

저자

초록

본 연구는 1,440장의 생성형 AI 얼굴 이미지를 사용하여 인간과 AI의 감정 인식 패턴 — 특히 valence(정서가)와 arousal(각성도) — 을 비교한다. 1,000명의 한국인 성인이 다양한 인종과 성별로 균형 잡힌 자극을 평정하였으며, 이를 두 AI 모델 — MobileViT와 enet_b0_8_va_mtl — 의 벤치마크로 사용하였다. 정량적 분석 결과, valence 평정에서는 인간-AI 간 높은 정렬이 나타났다. 그러나 arousal 패턴은 자극의 성별에 따라 유의하게 달라졌다: 인간은 긍정적 여성 얼굴에서 더 높은 arousal을 지각한 반면, AI 모델은 긍정 감정에서 성별 차이를 보이지 않았으나 중립 및 부정 범주(예: 분노, 슬픔, 공포)에서 남성 얼굴의 arousal을 더 높게 평정하였다. 이러한 결과는 AI의 감정 지각에서의 핵심적 불일치를 지적하며, 특히 대규모 훈련 데이터셋이 인간 정서의 미묘한 강도를 어떻게 왜곡할 수 있는지를 보여준다. 본 연구는 AI 기반 감정 인식 시스템에서의 성별 편향의 사회기술적 함의에 대한 중요한 통찰을 제공한다.

CCS 개념: 인간 중심 컴퓨팅 → 인간-컴퓨터 상호작용(HCI) → HCI의 실증 연구

키워드: 감정 인식, 생성형 AI, 인간-AI 비교, 성별 편향, Valence-Arousal 모형

1. 서론

1.1 동기: UX/UI에서의 감정 에이전트

감정 컴퓨팅(affective computing)의 UX/UI 설계 통합은 인간-컴퓨터 상호작용의 패러다임을 기능적 유용성에서 감정적 교감(affective rapport)으로 전환시켰다(Conati et al., 2005; Pantic et al., 2005). 정신건강 챗봇에서 반응형 가상 비서에 이르기까지 감정 에이전트는 사용자와 깊은 감정적 연결을 구축하여 사용자 경험을 향상시키는 것을 목표로 한다.

Check

이 manuscript를 제출할 당시에 사용한 모델들은 FER(Facial Expression Recognition) 전용모델들로, 일반 chatbot용으로 사용하는 모델들은 아님. 그러한 연구의 필요성 맥락을 부각하는데에는 적절하고, 이 framing을 유지한다면 FER 모델 → VLM 이 더 fit한 model selection이라 판단되어 이 구조는 유지해도 좋다는 생각. 감정을 이해하고 결론적으로 interaction을 하기 위해서 더 적합한 문석 대상 모델들은 VLM(Vision Language model).

그러나 감정 에이전트의 효능은 정서적 정렬(affective alignment) — AI 모델의 감정 단서 해석이 인간의 심리적 기준과 일치하는 정도 — 에 달려 있다. AI 모델은 범주적 감정 탐지에서 높은 정확도를 달성하였으나(Khare et al., 2024; Mollahosseini et al., 2017; Telceken et al., 2025), 인간의 미묘한 공감적 정확도를 반영하는 valence 및 arousal 평정에서의 능력은 아직 충분히 탐구되지 않았다(Mollahosseini et al., 2017; Nomiya et al., 2025; Toisoul et al., 2021). 에이전트가 사용자의 고통 강도를 잘못 해석하면, 사용자 신뢰를 해치고 의미 있는 상호작용을 유지하는 데 실패할 위험이 있다.

1.2 차원적 감정 분석의 필요성

계산 시스템에서의 감정 표상은 일반적으로 두 가지 주요 접근법을 따른다: 범주적(categorical) 접근과 차원적(dimensional) 접근이다. 범주적 접근은 소수의 기본 감정(예: 행복, 분노, 공포)이 보편적으로 인식되며 인간의 뇌에 고정 배선(hard-wired)되어 있다고 가정한다. 이 패러다임은 직관적 특성과 레이블링의 용이성으로 인해 자동화된 감정 탐지 측정 연구에서 가장 널리 채택되어 왔다.

그러나 심리학자들은 감정 상태를 이해하기 위한 더 정교한 프레임워크를 제공하는 차원적 측정을 오래전부터 활용해 왔다. 이 중 가장 저명한 것은 Russell(1980)의 정서 순환 모형(Circumplex Model of Affect)으로, 모든 감정을 Valence(긍정성 또는 부정성의 정도)와 Arousal(생리적 또는 심리적 활성화 수준)로 정의된 연속적 2차원 공간에 매핑한다(Yik et al., 2023).

범주적 접근과 달리, 차원적 평정은 감정 강도의 심리적 핵심을 포착하고 인간과 AI 모델 간의 미세한 지각적 불일치 — 범주적 분류가 가릴 수 있는 변동 — 를 감지할 수 있게 한다. 이를 위해 본 연구는 Valence-Arousal 차원을 활용하여 인간-AI 정렬 패턴을 실증적으로 검증하며, 특히 이러한 평정이 다른 얼굴 성별과 감정 범주에 걸쳐 어떻게 변화하는지에 초점을 맞춘다.

Question

위 문장에 대한 근거?
연속적 차원 측정치인 valence랑 arousal을 사용한다면,

1.3 인간 감정 지각에서의 성별 편향

인간의 감정 지각은 단순히 얼굴 근육 움직임의 객관적 해독이 아니라, 고정관념과 기대에 의해 깊이 영향받는 사회인지적 과정이다. 연구에 따르면 성별은 감정 평가에서 일차적 휴리스틱으로 작용한다. 예를 들어, 성별-감정 고정관념은 관찰자가 남성 얼굴을 분노와 같은 지배 관련 감정과 더 강하게 연합하게 하고, 여성 얼굴을 행복과 슬픔 같은 친사회적 또는 순종적 감정과 연결하게 한다(Hess et al., 2004). 이러한 편향은 차원적 평정에 유의하게 영향을 미친다; 동일한 얼굴 표정이 지각된 성별에 따라 더 강렬하게(높은 arousal) 또는 더 부정적으로(낮은 valence) 지각될 수 있음을 연구들이 보여주었다(Adolph & Alpers, 2010; Baudouin et al., 2025; Plant et al., 2000).

AI 모델은 인간이 레이블링한 고정관념을 반영하는 대규모 데이터셋에서 훈련되므로, 이러한 성별 편향을 상속할 뿐만 아니라 알고리즘 최적화를 통해 증폭시킬 위험이 있다. AI가 인간과 유사한 편향을 복제하는지 아니면 기계 고유의 독특한 불일치를 도입하는지를 — 강건한 인간 벤치마크와 함께 통제된 얼굴 자극을 사용하여 — 조사하는 것은 감정 인식 시스템의 지각적 신뢰성과 인간 심리적 기준과의 정렬을 평가하는 데 핵심적이다.

1.4 본 연구

감정 인식에서 AI의 급속한 배치에도 불구하고, 이러한 모델이 인간의 심리적 기준과 정렬하는 정도는 불명확하다. 본 연구는 인간의 감정 평정(N=1,000)을 두 가지 상이한 AI 아키텍처 — MobileViT(Mehta & Rastegari, 2021)와 enet_b0_8_va_mtl(Tan & Le, 2019) — 와 1,440장의 생성형 AI 자극(GIST-AIFaceDB, 심사 중)을 사용하여 비교함으로써 이 공백을 해결한다.

포괄적 비교 분석을 제공하기 위해, 본 연구는 다음 목표에 초점을 맞춘다. 첫째, 지각적 정렬을 정량화한다: 6개 감정 얼굴 범주에 걸쳐 인간과 AI의 valence 및 arousal 평정 간 유사성의 정도를 평가한다. 둘째, 성별 영향을 평가한다: 모델 아키텍처와 자극 성별이 인간-AI 정렬에 어떻게 상호작용하여 영향을 미치는지를 조사한다. 셋째, 이탈 패턴을 식별한다: AI 모델이 인간 벤치마크에서 유의하게 이탈하는 특정 감정 범주 또는 조건을 규명하여, 현재 감정 아키텍처의 한계를 부각한다.

대규모 인간 데이터에 대해 AI를 벤치마킹함으로써, 본 연구는 감정 컴퓨팅에서의 핵심적 불일치를 식별하고 더 인간 중심적이고 공정한 감정 인식 시스템을 구축하기 위한 실증적 근거를 제공한다.

2. 방법

2.1 자극

높은 생태학적 타당성과 엄격한 실험적 통제를 보장하기 위해, GIST AI 생성 얼굴 데이터베이스(GIST-AIFaceDB)를 활용하였다. 이 데이터베이스는 1,440장의 고해상도 사실적 얼굴 이미지로 구성된다. 생성 과정은 2단계 파이프라인을 거쳤다: 먼저 STOIQO NewReality Flux 모델을 사용하여 다양한 가상 정체성을 확립하는 중립 기본 이미지를 생성하였고, 이후 Google AI Studio에 구현된 고급 이미지 생성 및 편집 모델인 Nano-Banana(Gemini 2.5 Flash Image)를 사용하여 각 정체성에 대해 5개의 별개 감정 표현을 생성하였다. 자극은 성별(남, 여)과 3개 인종 집단(흑인, 백인, 아시아인[한국인])에 걸쳐 엄격히 균형 잡힌 240개의 고유한 가상 정체성을 나타낸다. 각 정체성은 6개 기본 감정 범주 — 행복, 분노, 혐오, 공포, 슬픔, 중립 표정 — 를 표현하는 것으로 묘사된다.

그림 1: 각 인종 집단(흑인, 백인, 아시아인[한국인])에 대해 생성된 6개 감정 얼굴 표정(중립, 행복, 분노, 슬픔, 공포)의 대표 예시. 각 행은 다른 인종 집단을, 각 열은 하나의 감정 범주를 나타낸다.

2.2 인간 참가자 및 절차

연구 프로토콜은 기관생명윤리위원회(IRB)의 심의를 거쳐 면제 승인을 받았다. 총 1,000명의 한국인 성인(여성 500명, 남성 500명), 연령 20–69세가 연구에 모집되었다. 일반 인구의 대표적 표본을 보장하기 위해 연령 코호트와 성별에 걸쳐 엄격히 균형 잡힌 모집이 이루어졌다. 실험은 온라인으로 운영되었으며, 참가자들은 개인용 컴퓨터(노트북 또는 데스크톱)를 통해 과제에 접근하였다. 각 참가자는 전체 1,440장의 자극 풀에서 무작위로 선택된 72장의 이미지를 평가하였으며, 모든 이미지는 무작위 순서로 제시되었다. 이 역균형 설계를 통해 1,440장의 각 이미지는 50개의 독립적 평정을 받았다.

절차는 두 가지 주요 감정 평정 과제 — Valence와 Arousal — 로 구성되었다. Valence 과제에서 참가자들은 각 얼굴 표정의 감정적 긍정성 또는 부정성을 평가하도록 지시받았다. Arousal 과제에서는 이미지에서 지각되는 감정적 활성화 또는 강도의 수준을 평정하였다. 두 평정 모두 9점 리커트 척도(1 = “매우 부정적” / “전혀 각성되지 않음”에서 9 = “매우 긍정적” / “매우 각성됨”)로 기록되었다.

2.3 AI 모델

인간 평정과 비교하기 위해 서로 다른 계산 아키텍처를 가진 두 AI 모델을 선정하였다: MobileViT(Mehta & Rastegari, 2021)와 enet_b0_8_va_mtl(Tan & Le, 2019). MobileViT는 CNN과 self-attention 기반 Transformer 기법을 결합한 비교적 경량 모델로, 얼굴 인식과 같은 컴퓨터 비전 과제에서 우수한 성능을 보이는 것으로 알려져 있다. enet_b0_8_va_mtl도 squeeze-and-excitation 최적화가 적용된 수정된 CNN을 통합한 경량 모델로, 얼굴 표정 감정 인식에서 우수한 성능을 보이는 것으로 보고되었다. 이 두 모델은 얼굴 표정으로부터 감정을 인식하고 valence와 arousal을 추정하는 다양한 알고리즘에서 널리 사용되어 왔다(Elsheikh et al., 2024; Wang et al., 2024).

3. 결과

3.1 Valence 평정

그림 2. 감정 범주와 자극 성별에 따른 인간-AI의 valence 평정 정렬. (A) 감정별 집계된 인간 평정과 두 AI 모델(mobileViT와 enet_b0_8_va_mtl) 간의 Spearman 순위 상관계수(ρ). (B) 자극 성별로 층화된 상관 패턴. 약어: n.s.는 비유의적 상관을 나타냄.

3.1.1 평정 유사성

인간 관찰자와 AI 모델 간의 지각된 감정 valence 정렬을 평가하기 위해, 1,440장의 얼굴 자극에 걸쳐 6개 감정 범주 각각에 대한 Spearman 순위 상관계수(ρ)를 산출하였다. 각 감정 범주(N=240)에 대해 MobileViT와 enet_b0_8_va_mtl 각각의 인간 평정자에 대한 상관 점수를 독립적으로 산출하였다. 분석 결과, 두 모델 모두 대부분의 감정 범주에서 인간 평정자와 유의한 양의 상관을 보여(p < .05), 감정 valence 지각에서의 합의를 나타내었다. 그러나 행복(Happy) 범주에서 주목할 만한 예외가 관찰되었다. 두 AI 아키텍처 모두에서 행복 표정에 대한 valence 평정은 인간 평정과 유의한 상관을 보이지 않았다.

Question

이미지에 대한 평정을 쭉 늘어두고, spearman을 돌리는 것이 지각적 평정 합의를 나타내는가? 극단적으로 spearman은 all-rating-1 vs all-rating-3에 대해 1값을 반환하여 지표의 부적절성이 의구심.

3.1.2 성별 층화 유사성

인간과 AI 모델 간의 정렬이 대상 얼굴의 성별에 의해 영향받는지를 추가 조사하기 위해, 각 감정 범주에 대한 성별 층화 상관 분석을 수행하였다. Spearman 순위 상관(ρ)을 남성 및 여성 자극(성별/감정 조합당 N=120)에 대해 별도로 산출하였다.

MobileViT의 경우, 행복 범주는 두 성별 모두에서 비유의적 상관을 보여 — 전체 분석과 일치 — 다른 모든 감정 범주는 얼굴 성별과 무관하게 AI 모델과 인간 평정자 간에 유의한 양의 상관을 보였다.

enet_b0_8_va_mtl의 경우, 행복 얼굴에서 유사한 패턴이 관찰되어 두 성별 모두에서 상관이 비유의적이었다. 그러나 공포 범주에서 독특한 분기가 나타났다: 남성 공포 얼굴의 valence 평정은 인간 평정자와 유의한 상관을 보인 반면, 여성 공포 얼굴은 통계적 유의성에 도달하지 못하였다. 다른 모든 감정 범주에서는 얼굴 성별과 무관하게 유의한 상관을 유지하였다.

3.2 Arousal 평정

그림 3. 감정 범주와 자극 성별에 따른 인간-AI의 arousal 평정 정렬. (A) 감정별 집계된 인간 평정과 두 AI 모델(mobileViT와 enet_b0_8_va_mtl) 간의 Spearman 순위 상관계수(ρ). (B) 자극 성별로 층화된 상관 패턴. 약어: n.s.는 비유의적 상관을 나타냄.

3.2.1 평정 유사성

Valence 지각 패턴과 비교하여, 두 모델의 arousal 평정 정렬은 뚜렷하고 더 복잡한 특성을 보였다. Spearman 순위 상관 분석 결과, MobileViT에서는 중립과 혐오 표현에서, enet_b0_8_va_mtl에서는 중립과 공포 범주에서 인간과 AI 평정이 유의한 관련성을 보이지 않았다(p > .05).

통계적 유의성에 도달한 대부분의 다른 감정 범주에서, 두 모델 모두 일반적으로 양의 관계를 보여 AI의 예측 강도가 인간 평정과 함께 증가하였음을 나타내었다. 그러나 슬픔 범주에서 두 아키텍처 모두에 걸쳐 핵심적이고 일관된 분기가 발견되었으며, 이는 유의한 부적 관계를 보였다. 이 역(逆) 상관은 인간과 AI 모델이 슬픔의 강도를 반대 방향으로 지각하였음을 나타낸다; 구체적으로, 인간 관찰자가 고각성으로 평가한 자극(예: 강렬한 비탄의 표현)은 모델에 의해 저각성으로 지각되었으며, 그 반대도 마찬가지였다.

3.2.2 성별 층화 유사성

두 모델 모두에 대해 성별 층화 상관 분석을 수행하였다. MobileViT의 경우, 남성 대상 얼굴의 arousal 평정은 공포와 분노 표현에서만 인간 평정과 유의한 상관을 보였으며, 다른 모든 범주는 유의한 관계를 보이지 않았다(p > .05). 반면 여성 대상 얼굴에서는 행복, 분노, 슬픔에서 유의한 상관을 보였으며, 중립, 공포, 혐오는 비유의적이었다. enet_b0_8_va_mtl에서도 유사한 성별화된 패턴이 관찰되었다; 남성 얼굴의 경우 유의한 상관이 분노와 혐오에 국한된 반면, 여성 얼굴에서는 중립과 공포를 제외한 모든 범주에서 유의성에 도달하였다. 결정적으로, 두 모델 모두에서 여성 슬픔에서 식별된 유의한 관계는 일관되게 부적이었다. 이는 감정 강도의 역(逆) 지각적 정렬 — AI가 고강도의 인간 고통을 저각성으로 지각하는 — 이 여성 얼굴을 평가할 때 특히 두드러짐을 나타낸다.

4. 논의 및 결론

4.1 결과 요약

두 AI 모델과 인간 평정자가 평가한 얼굴 표정의 valence와 arousal 평정을 비교한 결과, valence 평정은 인간과 AI 모델 간에 비교적 유사한 반면, arousal 평정은 양자 간 비교적 낮은 유사성을 보였다. Valence와 arousal 평정에서의 성별 편향은 인간과 AI에서 다소 다르게 나타났다. 특히 arousal에서 상당한 차이가 관찰되었다: 슬픔 감정에서 남성 얼굴의 arousal 평정은 두 집단 간 유의한 유사성을 보이지 않은 반면, 여성 얼굴에서는 부적 상관이 관찰되었다.

4.2 HCI 분야에 대한 함의

본 연구의 결과는 AI와 인간의 arousal 평정이 역상관을 보이는 “슬픔의 역설(sadness paradox)“을 부각하며, 정신건강 지원과 같은 민감한 UX 맥락에서 공감적 실패의 중대한 위험을 제기한다. 이 불일치는 인간 주석이 희소하고(N=12) valence 대비 arousal의 평정자 간 신뢰도가 낮은 AffectNet(Mollahosseini et al., 2017)과 같은 훈련 벤치마크의 제약에서 기인할 가능성이 높다. 강건한 인간-AI 정렬을 보장하기 위해, HCI 분야는 제한된 데이터셋을 넘어 대규모 인간 벤치마크의 AI 훈련 파이프라인 통합을 우선시해야 하며, 이를 통해 에이전트가 인간 고통의 미묘한 강도를 더 정확하게 반영할 수 있도록 해야 한다.

4.3 제한점

본 연구는 단일 감정의 정적 초상화 스타일 자극을 사용하였으며, 이는 실제 상호작용의 동적 복잡성을 결여할 수 있다. 또한 인간 참가자가 전적으로 한국인이어서 결과의 문화적 일반화 가능성이 제한될 수 있다. 향후 연구는 동적, 다중모달 자극과 문화적으로 다양한 참가자 풀을 사용하여, 식별된 “슬픔의 역설”과 성별화된 지각적 불일치가 보편적인지 아니면 문화 특이적인지를 검증해야 할 것이다.

참고문헌

Mollahosseini, A., Hasani, B., & Mahoor, M. H. (2017). AffectNet: A database for facial expression, valence, and arousal computing in the wild. IEEE Trans. Affect. Comput., 10(1), 18–31.

Toisoul, A., Kossaifi, J., Bulat, A., Tzimiropoulos, G., & Pantic, M. (2021). Estimation of continuous valence and arousal levels from faces in naturalistic conditions. Nat. Mach. Intell., 3(1), 42–50.

Deaudelin, C., Dussault, M., & Brodeur, M. (2003). Human-computer interaction: A review of the research on its affective and social aspects. Can. J. Learn. Technol., 29(1).

Adolph, D., & Alpers, G. W. (2010). Valence and arousal: A comparison of two sets of emotional facial expressions. Am. J. Psychol., 123(2), 209–219.

Elsheikh, R. A., Mohamed, M. A., Abou-Taleb, A. M., et al. (2024). Improved facial emotion recognition model based on a novel deep convolutional structure. Sci. Rep., 14, 29050.

Plant, E. A., Hyde, J. S., Keltner, D., & Devine, P. G. (2000). The gender stereotyping of emotions. Psychol. Women Q., 24(1), 81–92.

Nomiya, H., Shimokawa, K., Namba, S., Osumi, M., & Sato, W. (2025). An artificial intelligence model for sensing affective valence and arousal from facial images. Sensors, 25(4), 1188.

Russell, J. A. (1980). A circumplex model of affect. J. Pers. Soc. Psychol., 39(6), 1161–1178.

Baudouin, J.-Y., Gallian, F., Pinoit, J.-M., & Damon, F. (2025). Arousal, valence, and discrete categories in facial emotion. Sci. Rep., 15(1), 40268.

Pantic, M., Sebe, N., Cohn, J. F., & Huang, T. (2005). Affective multimodal human-computer interaction. In Proceedings of the 13th ACM International Conference on Multimedia (pp. 669–676).

Telceken, M., Akgun, D., Kacar, S., Yesin, K., & Yildiz, M. (2025). Can artificial intelligence understand our emotions? Deep learning applications with face recognition. Curr. Psychol., 44(9), 7946–7956.

Yik, M., Mues, C., Sze, I. N., Kuppens, P., Tuerlinckx, F., De Roover, K., & Russell, J. A. (2023). On the relationship between valence and arousal in samples across the globe. Emotion, 23(2), 332.

Tan, M., & Le, Q. (2019). EfficientNet: Rethinking model scaling for convolutional neural networks. In Proceedings of the 36th ICML (pp. 6105–6114).

Mehta, S., & Rastegari, M. (2021). MobileViT: Light-weight, general-purpose, and mobile-friendly vision transformer. arXiv preprint arXiv:2110.02178.

Khare, S. K., Blanes-Vidal, V., Nadimi, E. S., & Acharya, U. R. (2024). Emotion recognition and artificial intelligence: A systematic review (2014–2023). Inf. Fusion, 102, 102019.

Hess, U., Adams, R. B., Jr., & Kleck, R. E. (2004). Facial appearance, gender, and emotion expression. Emotion, 4(4), 378–388.

Conati, C., et al. (2005). Referenced in original manuscript.

Wang, et al. (2024). Referenced in original manuscript.