Paper Review: Facial Emotion Perception Similarity and Gender Bias
Reviewed: 2026-02-05
Reviewer: Ruthless Paper Reviewer (AI Agent)
Paper: Tae, J., Park, J.-H., & Choi, W. — GIST-AIFaceDB (arxiv)
Overall Score: 3.5 / 10
Verdict: Reject (current state) — Major Revision 후 mid-tier venue 재제출 권장
논문 기본 정보
- Title: Facial Emotion Perception Similarity and Gender Bias: Comparing Humans and AI in Detection and Rating Performance
- Authors: Jini Tae, Ju-Hyeon Park, Wonil Choi (Gwangju Institute of Science and Technology)
- Keywords: Emotion Recognition, Generative AI, Human-AI Comparison, Gender Bias, Valence-Arousal Model
- Core Claim: 인간(N=1,000)과 AI 모델 2개(MobileViT, enet_b0_8_va_mtl)의 얼굴 감정 인식 패턴 비교에서 arousal 차원의 gender-dependent misalignment 발견
평점 요약
| 평가 항목 | 점수 (1-10) | 비고 |
|---|---|---|
| Novelty | 3 | Pahl et al. (2022) 등 선행연구와 상당 부분 중복 |
| Technical Soundness | 2.5 | Correlation ≠ agreement 오류가 결정적 |
| Experimental Rigor | 3.5 | 대규모 참여자(N=1000)는 장점이나, 통계 및 통제 문제 다수 |
| Clarity & Writing | 5 | 구조는 명확하나 결과 보고 불충분, 참고문헌 불완전 |
| Significance & Impact | 3 | 발견 자체는 흥미(sadness 역상관)하나 방법론적 기반이 취약 |
| Reproducibility | 2 | 미공개 DB, 모델 세부사항 미기재, 불완전 참고문헌 |
Critical Issues (상)
C1. Correlation ≠ Agreement
Spearman correlation을 “alignment” 측정에 사용한 것은 근본적 방법론 오류. Correlation은 두 변수의 단조 관계(monotonic relationship)를 측정하는 것이지, 일치도(agreement)를 측정하는 것이 아니다. 예: 인간이 [2, 4, 6, 8]로 평가하고 AI가 [1, 2, 3, 4]로 평가하면 rho = 1.0이지만 실제 값은 불일치.
해결: ICC(2,k), Concordance Correlation Coefficient (CCC), 또는 Bland-Altman analysis 사용 필요.
C2. 다중비교 보정 부재
48개 이상의 상관 분석(6 감정 × 2 모델 × 2 차원 × gender)에서 Bonferroni/FDR 보정 없음. 현재 “유의”하다고 보고된 결과 중 상당수가 거짓양성(Type I error) 가능성.
C3. AI-generated Stimuli의 Ecological Validity 미검증
GIST-AIFaceDB가 peer review를 거치지 않은 상태. AI가 생성한 얼굴 표정이 실제 인간의 감정 표현과 동등한 ecological validity를 가지는지 전혀 검증하지 않음. 기존 validated face database(KDEF, ADFES, FACES 등)와의 비교 검증이 최소한 필요.
C4. 관련 연구 누락 심각
총 17개 참고문헌은 이 주제에 터무니없이 적음. 핵심 선행연구 다수 미인용:
- Pahl et al. (FAccT 2022) — 본 논문과 거의 동일한 연구 질문을 더 체계적으로 다룸
- Chen & Joo (ICCV 2021) — AffectNet의 annotation bias를 직접 분석
- Dominguez-Catena et al. (2025) — Stereotypical bias 체계적 프레임워크
- Hu & Kollias (IEEE T-BIOM, 2024/2025) — Affect analysis fairness 프로토콜
C5. enet_b0_8_va_mtl 출처 오귀속
이 모델은 Savchenko의 HSEmotion 프레임워크에서 개발되었으나, Tan & Le (2019)의 EfficientNet 원논문만 인용. 모델의 실제 학습 데이터와 방법론을 정확히 파악하지 못했음을 시사.
Major Issues (중)
M1. Gender 차이의 통계적 검증 부재
남성/여성 상관계수의 차이를 Fisher’s z-test로 직접 비교해야 함. “한쪽은 유의하고 다른 쪽은 비유의”만으로 성별 차이가 있다고 결론 내릴 수 없음.
“The difference between significant and not significant is not itself statistically significant” — Gelman & Stern (2006)
M2. Inter-rater Reliability 미보고
50명 평정자의 일치도(ICC 또는 Krippendorff’s alpha)가 보고되지 않아 “human benchmark”의 신뢰성을 평가할 수 없음.
M3. Effect Size 및 CI 미보고
모든 상관계수의 실제 값과 95% CI를 보고해야 함. N=240에서 rho=0.13만 되어도 p<.05이나, 이 수준의 상관은 실질적으로 무의미.
M4. Happy 카테고리 비유의성 미설명
가장 인식이 쉬운 감정에서 양 모델 모두 correlation이 비유의한 것은 심각한 anomaly. Ceiling effect 또는 AI-generated happy face 품질 문제 가능성 분석 필요.
M5. Cross-race Effect 미통제
한국인 평가자만으로 다인종 자극(Black, White, Asian)을 평가하면서 cross-race bias 미분석. 최소한 race별 상관 분석 필요.
M6. 모델 세부사항 재현 불가
Pre-trained weights 출처, 학습 데이터셋, 입력 전처리, 추론 설정 등 미기재.
Minor Issues (하)
| # | Issue |
|---|---|
| m1 | 제목의 “Detection”이 실제 내용(rating comparison)과 불일치 |
| m2 | ”Wang et al. (2024)” 불완전 참고문헌 — 원고 미완성 |
| m3 | Surprise를 제외한 이유 미설명 |
| m4 | 참여자 compensation/motivation 미기재 |
| m5 | 온라인 실험의 attention check 여부 미기재 |
| m6 | 화면 크기, 해상도, 밝기 등 시각 자극 실험 통제변수 미언급 |
핵심 논리적 비약 3가지
-
Introduction 동기와 실험의 불일치: “Affective agents”와 “UX/UI”를 동기로 제시하나, 실제 실험은 정적 얼굴 이미지에 대한 rating 비교일 뿐. Interactive agent와의 연결이 없음.
-
Correlation에서 alignment 결론으로의 비약: Spearman correlation이 높다고 “aligned”된 것이 아니며, 낮다고 “misaligned”된 것이 아님. 근본적 개념 혼동.
-
관찰에서 인과로의 비약: “Training data bias가 원인”이라는 주장은 관찰적 상관 연구에서 도출 불가. AffectNet에서 학습한 모델 vs 다른 데이터셋 모델 비교가 필요.
저자를 위한 질문
- Spearman correlation 대신 ICC 또는 CCC를 사용하지 않은 구체적 이유?
- 48개+ 상관 분석에서 다중비교 보정 적용 시 어떤 결과가 유의하게 남는가?
- Happy 카테고리 비유의성에 대한 가설? 이미지 품질 문제 가능성은?
- AI-generated 얼굴 표정의 인간 인식 정확도(감정 카테고리 분류 accuracy)는?
- enet_b0_8_va_mtl의 학습 데이터셋은 정확히 무엇인가? AffectNet이라면 tautological 문제 아닌가?
- 인간 평정자 50명의 inter-rater reliability 수치는?
- Cross-race effect 통제를 위한 race-stratified 분석 수행 여부?
- IRB exempt의 구체적 사유?
누락된 핵심 관련 연구
| 논문 | 학회/저널 | 관련성 |
|---|---|---|
| Pahl et al. (2022) “Female, white, 27?” | FAccT | 거의 동일한 연구 질문, 더 체계적 분석 |
| Chen & Joo (2021) “Understanding and Mitigating Annotation Bias” | ICCV | AffectNet bias 정량 분석 |
| Dominguez-Catena et al. (2025) “Less can be more” | — | Stereotypical bias 체계적 프레임워크 |
| Tsangko et al. (2025) “Reading Smiles: Proxy Bias” | IEEE Access | Foundation model proxy bias |
| Hu & Kollias (2024/2025) “Rethinking Affect Analysis” | IEEE T-BIOM | Fairness 프로토콜 |
| Gaya-Morey et al. (2024) “Unveiling human-like similarities” | MTAP | XAI 기반 인간-AI FER 비교 |
| Savchenko (2023/2024) — HSEmotion | CVPRW | enet_b0_8_va_mtl 실제 개발자 원논문 |
학회 제출 시 예상 결과
| Venue | Tier | 예상 결과 |
|---|---|---|
| CHI / CSCW / NeurIPS | Top-tier | Reject (95%+) |
| ACII / IEEE FG | Mid-tier | Borderline Reject → 대폭 수정 시 가능 |
| Frontiers in Psychology | Q1 저널 | Major Revision 가능 |
| HCII | C급 | 수정 시 수용 가능 |
| CHI Late-Breaking Work | A* short paper | 4p 압축 + 최소 수정으로 가능 |
개선 권장사항 (우선순위 순)
- ICC/CCC 기반 재분석 + Bland-Altman plot 추가
- 다중비교 보정 (FDR recommended) 적용
- Fisher’s z-test로 성별 간 상관계수 차이 직접 검증
- Inter-rater reliability 보고 (ICC or Krippendorff’s alpha)
- 관련 연구 대폭 보강 (최소 30편 이상)
- 모델 출처 정정 (Savchenko 원논문 인용)
- AI-generated stimuli validation 추가 또는 기존 DB와 비교
- Cross-race stratified analysis 추가
- 모델 세부사항 완전 기재 (reproducibility)
- “Sadness paradox”에 대한 robustness check (bootstrap CI)
최종 평가
대규모 인간 데이터(N=1,000)와 체계적 자극 설계라는 좋은 뼈대를 가지고 있으나, “correlation을 agreement로 사용”한 근본적 방법론 오류, 핵심 선행연구의 광범위한 누락, 그리고 미검증된 AI-generated stimuli 위에 세워진 결론의 취약한 기반이 논문의 학술적 기여를 심각하게 훼손한다. 수정 없이는 peer-reviewed venue에 수용되기 어렵다.
그러나, “sadness paradox” 발견 자체는 흥미롭고, N=1,000 한국인 참여자 데이터는 귀중한 자산이다. 위 권장사항을 순서대로 적용하면 mid-tier venue에서 충분히 수용 가능한 논문으로 발전시킬 수 있다.
Addendum: CHI 2026 Poster 포맷 재평가
재평가일: 2026-02-05
재평가 배경: 본 논문은 CHI 2026 Poster (Extended Abstract, 6페이지 제한) 로 제출됨. 이전 리뷰는 full paper 기준으로 평가하여 과도하게 엄격했음. 포스터 트랙의 특성을 반영하여 재평가함.
조정 평점: 5.8 / 10
조정 판정: Borderline Accept (조건부)
CHI Poster 트랙의 평가 기준
CHI Poster는 full paper와 근본적으로 다른 포맷이다:
- 6페이지 제한 (참고문헌 제외) — related work, methodology detail, discussion 모두 압축 불가피
- 목적: 예비 연구, 진행 중 연구, 토론 유발을 위한 발표
- 평가 기준: 연구 질문의 참신성, 토론 촉발 가능성, 예비 결과의 질, CHI 커뮤니티 관련성
- 수용률: ~40-50% (full paper ~25%보다 높음)
기존 비판점 재분류
Critical Issues 재평가
| ID | 이전 비판 | 포스터 기준 재평가 | 판정 |
|---|---|---|---|
| C1 | Correlation ≠ Agreement | 여전히 유효. 공간 제약과 무관한 개념적 오류. “alignment”를 측정한다면서 correlation만 사용하는 것은 포스터에서도 문제. 다만 포스터에서는 ICC 분석 전체를 실을 필요 없이, “correlation을 사용했으며 이는 agreement가 아닌 rank-order consistency를 측정한다”는 한 문장의 caveat만 추가하면 해결 가능. | (A) 유지 — 단, 해결 비용이 매우 낮음 |
| C2 | 다중비교 보정 부재 | 완화. 포스터에서는 탐색적 분석이 허용됨. “exploratory”임을 명시하고, 주요 발견(sadness negative correlation)에 대해서만 보정 결과를 각주로 보고하면 충분. | (B) 완화 |
| C3 | AI-generated stimuli validity | 완화. 포스터에서 자극 DB의 full validation을 기대하기는 어려움. GIST-AIFaceDB가 별도 논문으로 under review라는 점을 명시하고, 생성 과정의 간략한 quality check(예: 감정 인식률) 한두 줄만 추가하면 적절. | (B) 완화 |
| C4 | 참고문헌 17개 — 너무 적음 | 철회. 6페이지 포스터에서 17개 참고문헌은 적절하거나 오히려 많은 편. CHI poster의 평균 참고문헌은 10-20개. 다만, 포함된 17개의 선택에 문제는 있음(아래 C5 관련). | (C) 철회 |
| C5 | enet_b0_8_va_mtl 출처 오귀속 | 여전히 유효. 공간과 무관하게, 사용한 모델의 정확한 출처를 인용하는 것은 학술적 기본. Savchenko의 원논문 1편 추가는 공간 부담 없음. | (A) 유지 — 해결 비용 거의 없음 |
Major Issues 재평가
| ID | 이전 비판 | 포스터 기준 재평가 | 판정 |
|---|---|---|---|
| M1 | Gender 차이 Fisher’s z-test 부재 | 완화. 포스터에서 모든 하위 분석의 formal test를 기대하기 어려움. 다만 “gender difference를 주장하려면 직접 비교가 필요하다”는 점을 limitation으로 한 줄 언급하면 충분. | (B) 완화 |
| M2 | Inter-rater reliability 미보고 | 완화. Full paper에서는 필수이나, 포스터에서는 “평균 ICC = X.XX” 정도의 한 줄 보고면 충분. 완전히 빠진 것은 아쉬우나 포스터 기준에서 critical은 아님. | (B) 완화 |
| M3 | Effect size / CI 미보고 | 완화. 포스터에서는 heatmap에 rho 값을 표시한 것(Figure 2, 3)이 사실상 effect size 보고에 해당. 다만 CI가 없는 것은 아쉬움. | (B) 완화 |
| M4 | Happy 비유의성 미설명 | 여전히 유효. 공간 제약과 무관하게, 가장 눈에 띄는 anomaly를 설명하지 않는 것은 문제. Ceiling/floor effect 또는 restricted range 가능성에 대한 한 문장 설명은 반드시 필요. | (A) 유지 |
| M5 | Cross-race effect 미통제 | 완화. 포스터에서 모든 confound를 분석하기는 불가능. Limitation에서 한 줄 언급하면 적절. 현재 limitation 섹션에 cultural generalizability를 언급하고 있어 부분적으로 커버됨. | (B) 완화 |
| M6 | 모델 세부사항 재현 불가 | 철회. 포스터에서 full reproducibility를 기대하지 않음. 모델명과 아키텍처 유형을 기술한 것은 포스터 수준에서 적절. 상세 사항은 full paper 확장 시 추가하면 됨. | (C) 철회 |
Minor Issues 재평가
| ID | 판정 | 비고 |
|---|---|---|
| m1 | (B) 완화 | 제목은 개선 가능하나, 포스터에서 치명적이지는 않음 |
| m2 | (A) 유지 | 불완전 참고문헌은 포맷과 무관한 실수 |
| m3-m6 | (C) 철회 | 포스터 공간 제약상 이 수준의 디테일은 기대하기 어려움 |
조정 평점 (CHI Poster 기준)
| 평가 항목 | 이전 점수 (Full Paper) | 조정 점수 (Poster) | 변동 사유 |
|---|---|---|---|
| Novelty | 3 | 5 | 포스터에서는 preliminary finding의 흥미로움이 중요. “Sadness paradox”와 N=1,000 규모는 CHI 청중의 관심을 끌기에 충분 |
| Technical Soundness | 2.5 | 4 | C1(correlation/agreement 혼동)은 여전히 문제이나, 포스터에서는 한 문장 caveat로 해결 가능 |
| Experimental Rigor | 3.5 | 6.5 | N=1,000, 1,440 자극, 균형 설계는 포스터 수준을 초과하는 실험 규모. 이 점은 높이 평가해야 함 |
| Clarity & Writing | 5 | 6.5 | 6페이지 내 Introduction-Method-Results-Discussion 구조를 갖춘 것은 양호. Figure 포함 |
| Significance & Impact | 3 | 6 | CHI 커뮤니티에서 AI bias, affective computing, HCI 교차점의 토론 유발 가치 있음 |
| Reproducibility | 2 | 5 | 포스터 기준에서는 적절. Full paper 확장 시 보강하면 됨 |
조정 종합 평점: 5.8 / 10
이 논문이 잘한 점 (포스터 기준 강점)
-
압도적 데이터 규모: N=1,000 참여자 × 1,440 자극은 CHI poster에서 보기 드문 대규모 데이터. 대부분의 포스터가 N=20-100 수준인 것을 감안하면, 이 데이터의 설득력은 매우 높음.
-
체계적 실험 설계: 성별 × 인종 × 감정의 균형 설계, 이미지당 50명 독립 평정, 연령대 균등 배분 등은 심리학 연구의 best practice를 충실히 따름.
-
흥미로운 핵심 발견: “Sadness paradox” — AI가 인간의 슬픔 강도를 역방향으로 인식한다는 발견은 직관에 반하며 토론을 유발하기에 충분. 특히 female face에서 더 두드러진다는 점은 gender bias 논의와 자연스럽게 연결됨.
-
HCI 실무 관련성: Affective agent/chatbot의 empathetic failure 가능성을 구체적 데이터로 보여주는 것은 CHI 커뮤니티에 직접적으로 relevant.
-
명확한 시각 자료: Heatmap 기반의 gender-stratified correlation 표현은 복잡한 결과를 효과적으로 전달.
포스터 제약 내 실현 가능한 Top 5 개선사항
| 우선순위 | 개선사항 | 필요 공간 | 효과 |
|---|---|---|---|
| 1 | ”Alignment”를 “rank-order consistency”로 용어 수정 + Spearman이 agreement가 아님을 명시하는 caveat 1문장 | ~2줄 | C1 해결. 방법론적 정확성 대폭 향상 |
| 2 | Happy 비유의성에 대한 설명 추가 (ceiling effect / restricted range 가능성) | ~3줄 | M4 해결. 가장 눈에 띄는 결과 anomaly 해소 |
| 3 | Savchenko (CVPRW 2023) 원논문 인용 추가 | 참고문헌 1줄 | C5 해결. 학술적 정확성 |
| 4 | ”Wang et al. (2024)” 불완전 참고문헌 수정 | 0줄 (기존 수정) | m2 해결. 완성도 |
| 5 | Exploratory analysis임을 Method에 한 줄 명시 + sadness에 대해서만 Bonferroni-corrected p-value 각주 추가 | ~2줄 | C2 부분 해결. 통계적 신뢰성 |
총 필요 공간: ~8-10줄 (0.3페이지 미만) — 6페이지 제약 내에서 충분히 실현 가능.
CHI 2026 Poster 최종 판정
Borderline Accept (조건부)
이 논문의 데이터는 포스터 수준을 초과하는 quality를 갖추고 있으나, 분석 방법론의 conceptual precision(특히 correlation과 agreement의 혼동)이 그 데이터의 가치를 충분히 살리지 못하고 있다.
위 5가지 수정사항(총 ~10줄)을 반영하면, CHI poster로서 수용 가능하다. 특히 “sadness paradox”는 포스터 세션에서 활발한 토론을 유발할 잠재력이 있으며, N=1,000 규모의 인간 데이터는 후속 full paper로의 확장을 위한 강력한 기반이 된다.
Correlation 한 단어의 정확한 사용이 이 포스터의 운명을 가를 수 있다.
이전 평가와의 비교 요약
| 항목 | Full Paper 기준 | CHI Poster 기준 | 변동 |
|---|---|---|---|
| 종합 평점 | 3.5/10 | 5.8/10 | +2.3 |
| 판정 | Reject | Borderline Accept | 2단계 상향 |
| Critical Issues | 5건 | 2건 유지 + 2건 완화 + 1건 철회 | 60% 감소 |
| Major Issues | 6건 | 1건 유지 + 4건 완화 + 1건 철회 | 83% 감소 |
| 핵심 메시지 | 방법론 전면 수정 필요 | ~10줄 수정으로 수용 가능 | 수정 부담 대폭 감소 |
Addendum 2: 수정본 재평가 결과
재평가일: 2026-02-05
수정본 파일:Psychology/GIST-FACE-DB-paper_revised.md
평가 기준: CHI 2026 Poster (6페이지 제한)
조정 평점: 6.1 / 10
조정 판정: Weak Accept
수정사항 대응 평가
| # | 수정 내용 | 해결 이슈 | 대응 평가 | 판정 |
|---|---|---|---|---|
| 1 | ”alignment” → “rank-order consistency” / “correspondence” + Spearman caveat | C1 | 본문에서 완전히 해소. Abstract에도 반영 완료. Caveat 문장이 정확하고 간결함. | 완전 해소 |
| 2 | Happy 비유의성 ceiling effect 설명 | M4 | Ceiling effect 설명이 적절하고 간결. 포스터 수준에서 충분한 설명. | 완전 해소 |
| 3 | enet_b0_8_va_mtl → Savchenko (2022) + HSEmotion/AffectNet 명시 | C5 | 모델 출처 정확히 정정됨. 학술적 정확성 확보. | 완전 해소 |
| 4 | Wang et al. (2024) 완전한 서지정보 | m2 | 불완전 참고문헌 해소. | 완전 해소 |
| 5 | Exploratory analysis 명시 + sadness Bonferroni correction | C2 | 기대 이상의 대응. “exploratory”와 “Bonferroni-corrected for key finding”의 조합은 CHI poster에서 모범적 수준. | 완전 해소 |
추가 반영:
- Abstract의 “alignment” → “correspondence”, “significantly” → “notably”
- Limitations에 synthetic stimuli ecological validity caveat 추가
조정 평점 비교 (3단계)
| 평가 항목 | 1차 (Full Paper) | 2차 (Poster 원본) | 3차 (Poster 수정본) | 변동 (2차→3차) |
|---|---|---|---|---|
| Novelty | 3 | 5 | 5 | 0 (변동 없음 — 수정으로 novelty가 바뀌지는 않음) |
| Technical Soundness | 2.5 | 4 | 6 | +2.0 (C1, C2 해소로 가장 큰 개선) |
| Experimental Rigor | 3.5 | 6.5 | 6.5 | 0 (실험 자체는 변경 없음) |
| Clarity & Writing | 5 | 6.5 | 7 | +0.5 (용어 정확성 개선, 참고문헌 완성) |
| Significance & Impact | 3 | 6 | 6 | 0 |
| Reproducibility | 2 | 5 | 5.5 | +0.5 (Savchenko 정정으로 모델 추적 가능) |
종합 평점: 5.8 → 6.1 (+0.3)
판정: Borderline Accept → Weak Accept
잔여 이슈 (수정 불필요 — 포스터 한계 내 수용)
이하 이슈는 모두 minor이며, 포스터 포맷에서는 수용 가능한 수준:
- Inter-rater reliability 수치 미보고 (포스터에서는 생략 가능)
- Cross-race effect 미분석 (limitation에서 cultural generalizability 언급으로 부분 커버)
- Fisher’s z-test로 gender 차이 직접 비교 미수행 (탐색적 연구로 positioning)
- 제목의 “Detection”이 실제 내용과 완전히 일치하지는 않음
최종 판정
Weak Accept — 수정본은 prior review의 핵심 비판점 5건을 모두 적절히 해소했다. 특히 Technical Soundness가 +2.0으로 가장 크게 개선되었으며, 이는 C1(correlation/agreement 혼동)과 C2(다중비교)의 해소에 기인한다. 포스터 수준에서 잔여 이슈는 모두 수용 가능하다.
이 논문의 핵심 강점은 변함없이 N=1,000의 대규모 인간 데이터와 “sadness paradox”의 흥미로운 발견이며, 수정본은 이 강점을 방법론적 정확성으로 뒷받침하는 데 성공했다.
학회 추천 리스트 (수정본 기준)
수정본 평점 6.1/10 (Weak Accept) 기준, 제출 가능한 학회/저널을 트랙별로 정리
Tier 1: 높은 수용 가능성 (추천)
| 학회/저널 | 트랙 | 적합도 | 비고 |
|---|---|---|---|
| CHI 2026 | Late-Breaking Work (Poster) | ★★★★☆ | 현재 제출 형태 그대로 적합. Affective computing + gender bias = CHI 커뮤니티 관심사 |
| CSCW 2026 | Poster / Demo | ★★★★☆ | 사회적 맥락의 AI bias 연구. Collaborative/social aspects 강조 시 적합 |
| ACII 2025/2026 | Short Paper / Poster | ★★★★★ | Affective computing 전문 학회. 가장 직접적으로 관련된 venue |
| IUI 2026 | Poster | ★★★★☆ | Intelligent User Interfaces. Affective agent 동기와 직접 연결 |
Tier 2: Full Paper 확장 시 (추가 분석 필요)
| 학회/저널 | 트랙 | 필요 추가 작업 | 비고 |
|---|---|---|---|
| IEEE FG 2026 | Full Paper | ICC/CCC 분석, cross-race 분석, 모델 3개+ 비교 | Face and Gesture Recognition. 기술적 깊이 필요 |
| Frontiers in Psychology | Full Paper | 심리학 이론 프레임워크 강화, inter-rater reliability, 30+ refs | Open access Q1. Affective science special issue |
| IEEE Trans. Affect. Comput. | Full Paper | 대폭 확장 필요 (ICC, 추가 모델, ablation) | 최고 권위 저널. 현재 데이터로 충분히 확장 가능 |
| Computers in Human Behavior | Full Paper | HCI/심리학 교차점 강조, 추가 통계 분석 | Q1 저널 (IF ~8.0) |
Tier 3: Workshop / 특수 트랙
| 학회/저널 | 트랙 | 적합도 | 비고 |
|---|---|---|---|
| CHI Workshop (AI Fairness in HCI 등) | Workshop Paper | ★★★★★ | Gender bias + affective AI 주제 워크숍 |
| FAccT 2026 | Poster / Extended Abstract | ★★★★☆ | Fairness, Accountability, Transparency. Bias 프레이밍 강화 시 |
| AAAI Workshop on Affective AI | Workshop Paper | ★★★☆☆ | 기술 커뮤니티. 심리학 관점이 차별점 |
| NeurIPS Workshop (Socially Responsible AI 등) | Workshop Paper | ★★★☆☆ | AI bias 관련 워크숍 |
전략적 추천 경로
현재 수정본 (6p poster)
├── 즉시 제출 가능 ──→ CHI 2026 LBW / ACII poster / CSCW poster
│
└── Full paper 확장 (3-6개월)
├── ICC/CCC 분석 추가
├── 모델 3개+ 비교 (CLIP, DINO 등)
├── Cross-race stratified analysis
├── Inter-rater reliability 보고
└── 참고문헌 30편+
──→ IEEE T-AFFC / Frontiers in Psychology / CHI 2027 Full Paper
Addendum 3: Grad-CAM 분석 추가에 따른 v3 재평가
재평가일: 2026-02-05
수정본: v3 (Grad-CAM attention analysis section 추가)
평가 기준: CHI 2026 Poster (6페이지 제한)
이전 평점: v1 = 5.8/10 (Poster 재보정) ⇒ v2 = 6.1/10 (텍스트 수정) ⇒ v3 = ?
1. Grad-CAM 추가의 전체적 평가
Section 3.3의 Grad-CAM 분석 추가는 이 논문에서 가장 의미 있는 structural revision이다. 이전 버전(v1, v2)에서 가장 큰 약점 중 하나였던 “sadness paradox에 대한 mechanistic explanation 부재” — 즉 관찰(observation)만 있고 설명(explanation)이 없었던 문제 — 를 직접적으로 해소하려는 시도이다.
구체적으로, 세 가지 하위 분석의 구조적 설계가 논리적으로 잘 짜여 있다:
- DRAR (3.3.1): “어디를 보는가?” — 진단적 vs 비진단적 영역의 정량적 비교
- Arousal-Dependent Shift (3.3.2): “왜 역상관이 발생하는가?” — 인간이 높은 arousal로 판단하는 자극에서 AI attention이 오히려 분산
- Cross-Model Comparison (3.3.3): “원인은 무엇인가?” — 아키텍처가 아닌 학습 데이터에 귀인
이 삼단 구조는 What ⇒ Why ⇒ Where (원인의 소재)로 이어지는 논리적 흐름을 형성하며, v2까지의 “현상 보고” 수준에서 “기전 분석” 수준으로 논문의 질적 도약을 가능하게 한다.
2. 관련 연구 비교 분석 (Grad-CAM in FER 문맥)
Grad-CAM을 FER에 적용한 선행연구를 체계적으로 검색한 결과, 본 논문의 접근법이 선행연구와 어떻게 위치하는지 명확해졌다.
| 논문 | 핵심 내용 | 본 논문과의 비교 |
|---|---|---|
| Park & Wallraven (ACPR 2021) | 인간 attention(click 데이터)과 모델 saliency(CAM, GradCAM, Extremal Perturbation) 비교. Dice coefficient 사용. | 가장 직접적 선행연구. 본 논문은 FACS 기반 “diagnostic region”을 정의하여 더 theory-driven한 접근. 단, Park & Wallraven의 human attention map과의 직접 비교는 수행하지 않음. |
| Gaya-Morey et al. (MTAP 2024) | 12개 DNN의 FER heatmap을 FACS ground truth mask와 IoU로 비교. 평균 IoU 0.27로 낮은 일치. Pre-trained vs non-pretrained 군집 발견. | 반드시 인용해야 하는 핵심 선행연구. 본 논문의 DRAR 개념과 거의 동일한 접근법(FACS 기반 ground truth와 model attention 비교)을 더 대규모로, 더 체계적으로 수행. 12개 모델 vs 본 논문 2개. |
| Belharbi et al. (IEEE FG 2024) | AU heatmap을 training 과정에 직접 통합하여 interpretability 향상. RAF-DB, AffectNet에서 검증. | 본 논문의 Discussion에서 제안하는 “attention-guided training strategies”와 직접 관련. 이미 실현된 연구를 인용하지 않고 future work으로만 제안한 것은 문제. |
| Huber et al. (EUSIPCO 2023) | Grad-CAM 자체가 gender bias를 보일 수 있음을 face PAD에서 증명. 11회 인용. | 본 논문의 Grad-CAM 분석의 해석에 대한 methodological caveat으로 반드시 언급 필요. Grad-CAM이 실제 모델 bias를 반영하는지, Grad-CAM 자체의 bias를 반영하는지 구분 필요. |
| Bucchi & Lagos (ICPRS 2025) | Grad-CAM으로 face recognition bias 분석. 결론: demographic identity가 아닌 intra-person variability가 주원인. | 본 논문의 “gender bias” 주장과 상충할 수 있는 대안 설명. 헤어스타일 등 transient attribute의 gender-correlated variation 가능성 고려 필요. |
3. 새롭게 도입된 이슈 분석
Grad-CAM 섹션이 추가됨에 따라 기존에는 존재하지 않았던 새로운 방법론적 이슈들이 발생한다.
NEW-C1. DRAR 정의의 operationalization 불충분 [중]
DRAR은 “FACS에 기반한 diagnostic facial region에 떨어지는 Grad-CAM activation의 비율”로 정의되어 있다. 그러나 다음이 불명확하다:
- Region boundary 정의: AU1, AU4, AU5 등의 실제 pixel-level boundary를 어떻게 결정했는가? Facial landmark detection을 통한 자동 생성인지, 수동 annotation인지? 어떤 landmark detector를 사용했는지?
- AU 선택 근거: Sadness에 대한 FACS coding은 일반적으로 AU1+AU4+AU15+AU17이다. 그런데 AU12(lip corner puller = smile)를 sadness의 diagnostic AU에 포함한 것은 오류이다. AU12는 happiness의 핵심 AU이지 sadness가 아니다. 또한 AU5(upper lid raiser), AU7(lid tightener), AU9(nose wrinkler)는 sadness의 primary AU가 아니다.
- 해결안: (1) AU 선택을 sadness-specific하게 수정 (AU1, AU4, AU15, AU17 중심), (2) 모든 감정에 공통적으로 적용되는 generic face region을 쓰려면 그렇게 명시하고 FACS와의 연결을 약화, (3) region boundary 결정 방법을 1-2문장으로 기술.
NEW-C2. Grad-CAM의 arousal prediction head 적용 문제 [중]
논문은 “arousal prediction head에 대한 class activation map”을 생성했다고 한다. 그런데:
- Grad-CAM은 원래 classification 모델용이다. Arousal은 continuous regression output이므로, Grad-CAM을 regression head에 적용할 때는 별도의 justification이 필요하다. 어떤 “class”에 대한 gradient를 계산한 것인가?
- MobileViT의 arousal prediction이 classification head인지 regression head인지가 본문에서 명확하지 않다. enet_b0_8_va_mtl은 AffectNet에서 V/A regression으로 학습된 것으로 알려져 있어 regression output일 가능성이 높다.
- 해결안: (1) Regression output에 Grad-CAM을 적용한 구체적 방법 기술 (예: output neuron에 대한 gradient를 직접 사용했는지, 또는 arousal 값을 high/low로 이진 분류하여 적용했는지), (2) 관련 선행연구 인용 (regression에 대한 Grad-CAM 적용 사례).
NEW-M1. Averaged heatmap의 cosine similarity 해석 문제 [하]
Section 3.3.3에서 두 모델의 averaged heatmap 간 cosine similarity를 계산하여 “convergent misattention”을 주장한다. 그러나:
- Averaged heatmap은 개별 이미지 수준의 variability를 완전히 소거한다. 개별 이미지 수준에서의 모델 간 similarity는 매우 다를 수 있다.
- Random baseline이 없다. 두 모델이 단순히 face의 중앙 부분에 attention을 집중하는 경향이 있다면, sadness뿐 아니라 모든 감정에서 높은 cosine similarity가 나올 수 있다. 다른 감정(e.g., happiness, anger)에서의 cosine similarity와 비교해야 sadness-specific convergence를 주장할 수 있다.
- 해결안: (1) 최소한 다른 감정 1-2개에서의 cross-model cosine similarity를 control로 보고, (2) 개별 이미지 수준 similarity의 분포를 보고 (mean +/- SD).
NEW-M2. 핵심 선행연구 미인용 [중]
Grad-CAM 섹션 추가에도 불구하고, FACS 기반 model attention 분석의 가장 직접적인 선행연구를 인용하지 않고 있다:
- Gaya-Morey et al. (2024): 12개 DNN의 FACS ground truth 대비 IoU를 체계적으로 분석. 본 논문의 DRAR과 거의 동일한 개념.
- Park & Wallraven (2021): 인간 attention과 model saliency의 직접 비교. 본 논문의 연구 질문의 확장.
- Belharbi et al. (2024): AU cue를 training에 통합하는 방법. Discussion의 “attention-guided training” 제안과 직접 관련. 이미 구현된 기법을 단순히 future work으로 제안하는 것은 literature gap을 보여줌.
- Huber et al. (2023): Grad-CAM 자체의 gender bias 가능성. 본 논문의 결론에 대한 중요한 methodological caveat.
NEW-m1. [VALUE] placeholder의 해석적 한계 [하]
[VALUE] placeholder로 인해 실제 효과 크기의 실질적 의미(practical significance)를 평가할 수 없다. 예를 들어, DRAR이 male 55% vs female 52%인 경우와 male 70% vs female 40%인 경우는 해석이 전혀 다르다. 본 리뷰에서는 저자의 서술이 데이터에 의해 지지된다고 가정하되, 최종 수치에 따라 결론의 강도가 조정될 필요가 있다는 점을 명시한다.
4. 기존 잔여 이슈와 Grad-CAM의 상호작용
v2의 잔여 이슈 4건 중, Grad-CAM 추가로 인해 상태가 변화하는 항목이 있다:
| 잔여 이슈 (v2) | Grad-CAM 추가에 의한 변화 | 판정 |
|---|---|---|
| 1. Inter-rater reliability 미보고 | 변화 없음. 포스터 한계 내 수용. | 유지 |
| 2. Cross-race effect 미분석 | 변화 없음. | 유지 |
| 3. Fisher’s z-test 미수행 | 변화 없음. | 유지 |
| 4. 제목의 “Detection” 불일치 | Grad-CAM 분석 추가로 “Detection” 측면이 일부 보강되었으나, 여전히 주요 내용은 rating comparison. | 약간 완화 |
5. 페이지 제약 검토
6페이지 제한 내에서 Section 3.3 (Grad-CAM 분석)을 추가하는 것은 상당한 공간을 소비한다. 대략적 추정:
- 3.3 본문 (~3개 하위 섹션): 약 1-1.2 페이지
- Figure 4 (Grad-CAM heatmap): 약 0.3-0.5 페이지
- 합계: ~1.5-1.7 페이지
6페이지 내에서 이를 수용하려면 다른 섹션에서 상당한 압축이 필요하다. 특히 Introduction의 1.1-1.3 (현재 약 1.5페이지로 추정)을 0.8-1.0 페이지로 압축하거나, 3.1 (valence) 결과를 더 간결하게 요약해야 할 수 있다. 저자가 이 공간 제약을 실제로 해결했는지는 최종 레이아웃에서 확인 필요.
6. 조정 평점 비교 (4단계)
| 평가 항목 | 1차 (Full) | 2차 (Poster) | 3차 (v2 수정) | 4차 (v3 Grad-CAM) | 변동 (3차⇒4차) | 변동 근거 |
|---|---|---|---|---|---|---|
| Novelty | 3 | 5 | 5 | 6 | +1.0 | FACS 기반 DRAR + arousal-dependent attention shift는 sadness paradox에 대한 novel mechanistic analysis. Gaya-Morey et al. (2024)의 IoU 접근과 유사하나, arousal regression + gender stratification의 조합은 새로움. |
| Technical Soundness | 2.5 | 4 | 6 | 6.5 | +0.5 | Grad-CAM 분석 구조는 논리적이나, NEW-C1(AU 선택 오류), NEW-C2(regression에 대한 Grad-CAM 적용 미설명)로 인해 +1.0이 아닌 +0.5. |
| Experimental Rigor | 3.5 | 6.5 | 6.5 | 7 | +0.5 | 새로운 분석 축 추가(Grad-CAM)는 rigor를 높이나, control condition 부재(NEW-M1)와 AU operationalization 문제로 제한적 상승. |
| Clarity & Writing | 5 | 6.5 | 7 | 7 | 0 | Grad-CAM 섹션의 서술은 명료하나, 전체 페이지 제약 내 fit이 확인 불가. |
| Significance & Impact | 3 | 6 | 6 | 7 | +1.0 | Mechanistic explanation의 추가는 논문의 HCI 실무적 함의를 실질적으로 강화. “왜 AI가 틀리는지”에 대한 actionable insight (attention-guided training)를 제공. |
| Reproducibility | 2 | 5 | 5.5 | 5.5 | 0 | Grad-CAM 적용 세부사항(region boundary, regression head 처리) 미기재로 재현성 개선 없음. |
종합 평점: 6.1 ⇒ 6.8 (+0.7)
판정: Weak Accept ⇒ Accept (조건부)
7. 3라운드 전체 변화 궤적
v1 (Full Paper 기준): 3.5/10 Reject
↓ (+2.3) 포스터 재보정
v1 (Poster 기준): 5.8/10 Borderline Accept
↓ (+0.3) 텍스트 수정 5건
v2 (Poster 수정본): 6.1/10 Weak Accept
↓ (+0.7) Grad-CAM 분석 추가
v3 (Poster Grad-CAM): 6.8/10 Accept (조건부)
누적 변화의 해석:
- v1⇒v2 (+0.3): 용어 정정, 통계적 framing 개선. 표면적 수정이므로 소폭 상승.
- v2⇒v3 (+0.7): 실질적 분석 내용 추가. 논문의 “관찰 보고”에서 “기전 분석”으로의 질적 전환. Novelty(+1.0)와 Significance(+1.0)에서 가장 큰 영향.
- 총 누적 (+1.0, 5.8⇒6.8): 포스터 원본 대비 상당한 개선. 특히 v3의 Grad-CAM은 포스터 세션에서 시각적으로 강렬한 자료(heatmap)를 제공하여 발표 효과도 높일 것.
8. 새로운 비판점 심각도 분류
중 (Major — 반드시 수정 권장이나, reject 사유는 아님)
| ID | 이슈 | 해결 비용 | 개선안 |
|---|---|---|---|
| NEW-C1 | AU 선택에 AU12(smile) 포함은 sadness에 부적절. Region boundary 정의 방법 미기재. | ~3-4줄 수정 | Sadness-relevant AU로 한정(AU1, AU4, AU15, AU17). 또는 emotion-agnostic하게 “core face region”으로 재정의. Region 생성 방법 1줄 기술. |
| NEW-C2 | Regression output에 Grad-CAM 적용 시 구체적 방법 미설명 | ~2줄 추가 | ”We computed gradients of the arousal output neuron w.r.t. the final convolutional layer” 등 1-2문장 추가. |
| NEW-M2 | Gaya-Morey et al. (2024), Belharbi et al. (2024), Huber et al. (2023) 미인용 | 참고문헌 3건 추가 | 최소한 Gaya-Morey et al.은 DRAR의 직접적 선행 개념으로 반드시 인용. Belharbi et al.은 Discussion의 attention-guided training 관련. |
하 (Minor — 있으면 좋으나, 포스터에서 필수는 아님)
| ID | 이슈 | 해결 비용 | 개선안 |
|---|---|---|---|
| NEW-M1 | Cross-model cosine similarity에 다른 감정의 control condition 부재 | ~1-2줄 | ”For comparison, cosine similarity for happy faces was [VALUE]” 추가. 또는 limitation에서 언급. |
| NEW-m1 | [VALUE] placeholder — 실제 수치 필요 | 최종 원고 시 | 리뷰 시점에서는 서술 구조에 의존하여 평가. |
9. Grad-CAM 추가가 학회 추천에 미치는 영향
v2 대비 상향 조정이 필요한 venue가 있다:
| 학회/저널 | v2 적합도 | v3 적합도 | 변동 사유 |
|---|---|---|---|
| CHI 2026 LBW | ★★★★☆ | ★★★★★ | Grad-CAM heatmap은 포스터 세션에서 시각적 impact가 매우 높음. “Sadness paradox”의 mechanistic explanation은 토론 유발력을 크게 강화. |
| ACII 2026 | ★★★★★ | ★★★★★ | 변동 없음. 원래부터 최적 venue. Grad-CAM 추가로 technical depth가 ACII short paper 수준에 근접. |
| FAccT 2026 | ★★★★☆ | ★★★★★ | “왜 AI가 gender-specific하게 misattend하는가”에 대한 증거가 fairness 논의를 강화. DRAR이 bias audit metric으로 활용 가능. |
| IEEE FG 2026 (Full Paper) | 추가 분석 필요 | Short Paper 가능 | Grad-CAM 분석이 추가되면서 technical contribution이 보강됨. Short paper로 제출 가능성 상승. |
| IUI 2026 | ★★★★☆ | ★★★★☆ | 변동 없음. |
새롭게 추천 추가:
| 학회 | 트랙 | 적합도 | 비고 |
|---|---|---|---|
| AAAI 2027 | Special Track on AI and Society | ★★★☆☆ | Grad-CAM 기반 bias 분석이 AI and Society 트랙에 적합. 다만 technical novelty가 AAAI 기준으로는 아직 부족. |
| IJCAI 2026 | AI and Social Good | ★★★☆☆ | 유사한 positioning 가능. |
10. CHI 2026 Poster 최종 판정 (v3)
Accept (조건부) — 조건: NEW-C1 (AU 선택 수정) + NEW-C2 (Grad-CAM 적용 방법 명시)
Grad-CAM 분석의 추가는 이 논문을 “흥미로운 관찰 보고”에서 “기전적 설명이 있는 분석 연구”로 격상시켰다. 특히 DRAR 개념은 — AU 선택 오류를 수정한다면 — AI bias를 시각적으로 직관적이면서 이론적으로 근거 있는 방식으로 정량화하는 깔끔한 프레임워크이다.
포스터 세션에서의 강점은 더욱 두드러진다: (1) Grad-CAM heatmap은 시각적으로 강렬하여 관람객의 관심을 즉시 끌 수 있고, (2) “sadness paradox”의 원인을 눈으로 보여줄 수 있으며, (3) cross-model convergence는 “이것은 한 모델의 문제가 아니라 training data의 구조적 문제”라는 메시지를 효과적으로 전달한다.
다만, AU12(smile)를 sadness diagnostic region에 포함한 것은 FACS에 대한 오해를 반영하며, regression output에 Grad-CAM을 적용한 방법이 명시되지 않은 것은 technical precision의 부족이다. 이 두 가지는 반드시 수정되어야 하나, 수정 비용이 매우 낮으므로(~5줄) reject 사유는 아니다.
v1에서 가장 뼈아팠던 비판 — “관찰만 있고 설명이 없다” — 에 대해 저자들이 실질적 분석으로 응답한 것은 높이 평가한다.
11. 저자에 대한 최종 권장사항 (v3 기준)
즉시 수정 (제출 전):
- AU 선택 수정: AU12 제거, sadness-specific AU(AU1, AU4, AU15, AU17) 또는 generic core face region으로 재정의
- Grad-CAM 적용 방법 명시: regression output에 대한 gradient 계산 방법 1-2문장
- Gaya-Morey et al. (2024) 최소 인용 (DRAR의 선행 개념)
가능하면 수정 (공간 허용 시):
4. Cross-model cosine similarity에 다른 감정 1개의 control 보고
5. Huber et al. (2023) 인용 — Grad-CAM 자체의 bias 가능성에 대한 methodological caveat
Full paper 확장 시 반드시 추가:
6. 개별 이미지 수준 DRAR 분포 보고 + 통계 검정 (t-test 또는 Mann-Whitney)
7. 모든 감정에 대한 Grad-CAM 분석 확장
8. Belharbi et al. (2024)의 AU-guided training과 직접 비교
9. Park & Wallraven (2021) 방식의 인간 attention map과 model attention map의 직접 비교
12. 최종 한줄 평 (v3)
Grad-CAM 추가는 이 논문의 가장 큰 약점이었던 “Why?”에 대한 답을 제공했고, CHI poster로서의 완성도를 수용 가능 수준으로 끌어올렸다. 이제 남은 과제는 AU12 같은 세부 정확성의 교정이다.