Paper Digest
Affective Computing (AC) 분야를 LLM 시대 관점에서 NLP 중심으로 정리한 서베이. AC를 Affective Understanding (AU) / Affective Generation (AG) 두 과제군으로 구분하고, PLM 기반 접근의 한계(낮은 일반화, 빈약한 생성 다양성)를 지적한 뒤 LLM 기반 패러다임 전환(ICL, world knowledge, 강력한 시퀀스 생성)을 논의한다. Instruction Tuning(LoRA, P-/Prompt-Tuning), Prompt Engineering(ZS/FS, CoT, agent prompting), RL(RLHF/RLVR/RLAIF) 등 적응 기법과 벤치마크·평가 실천, 개방형 과제(윤리·데이터 품질·안전성·평가·자원 효율)를 정리한다.
6-Bullet Summary
- AC는 AU(감정 인식/분류/원인 추출 등)와 AG(감정 기반 응답/공감 대화 등) 두 축으로 정리됨.
- PLM 기반 AU는 성능은 좋으나 task 간 일반화 취약, AG는 다양성·적절성 부족.
- LLM은 ICL, CoT, 세계 지식으로 AU/AG 모두에서 빠른 적응 가능성을 제공.
- 적응 기법: Instruction Tuning(full/PEFT), Prompt Engineering(ZS/FS/CoT/agent), RL(RLHF/RLVR/RLAIF).
- 평가: AU/AG 벤치마크를 통합 정리하며 다중 목적(empathy, safety, planning)에 대한 미세 제어 필요성 강조.
- 오픈 챌린지: 윤리, 데이터 품질·편향, 안전성, robust 평가, 자원 효율.
Methods
- 서베이 구성: (i) 전통 AC 과제와 초기 LLM 연구 통합, (ii) 적응 기법 리뷰(IT, PE, RL), (iii) AU/AG 벤치마크·평가 실천, (iv) 개방형 이슈 및 향후 방향.
- NLP 관점: 텍스트 중심. 멀티모달(비전/음성) AC는 부수적으로 언급되나 주 초점은 언어 모달리티.
- RL 세부: RLHF(인간 선호), RLVR(검증 가능/프로그래매틱 보상), RLAIF(AI 피드백) 비교.
Findings
- LLM은 few-shot/ICL로 AU에서 PLM SOTA에 근접하거나 특정 subtask 초과, AG에서는 공감/안전 응답 생성 품질을 크게 향상.
- Instruction Tuning + PEFT(LoRA 등)가 도메인 특화 AU/AG에서 비용 대비 효과적.
- 평가 지표의 표준화 부재와 데이터셋 편향이 여전히 핵심 병목.
- 윤리·안전(감정 조작 가능성, prompt injection)이 AC-LLM 배치 시 중대한 리스크.
본 연구와의 비교
| 축 | Zhang 2024 (본 서베이) | 본 연구 (GIST-AIFaceDB VLM 대체 가능성) |
|---|---|---|
| 범위 | AC 전 분야 NLP 관점 서베이 | 얼굴 자극 DB의 VLM 대체 가능성 empirical test |
| 모달리티 | 텍스트 중심 (멀티모달 부수) | 시각(얼굴 이미지) 중심 멀티모달 VLM |
| 방법론 | 기존 기법·벤치마크 정리 | VLM zero-shot 인식 성능 및 인간 평정과의 일치도 실측 |
| AU/AG 구분 | AU와 AG 모두 포괄 | AU(감정/AU 인식)에 초점, 생성 미포함 |
| 기여 | landscape 정리, 연구 방향 제시 | 실험적 대체 가능성 정량 검증 |
Gap & 본 연구 포지셔닝
- 본 서베이는 텍스트 기반 AC에 치중하여 얼굴 기반 시각 AC에서 VLM의 empirical 신뢰도 문제를 다루지 않음.
- 서베이가 제기한 “robust 평가 부재” 문제는 시각 얼굴 자극에서 VLM 인식 타당도 평가로 확장 가능 — 본 연구가 이 갭을 직접 겨냥.
- RLHF/RLAIF가 감정 생성의 정렬에 기여하지만, 지각(인식) 단계의 자극 품질 문제는 별도 검증이 필요 → 본 연구가 보완.
BibTeX
@article{zhang2024affective,
title = {Affective Computing in the Era of Large Language Models: A Survey from the NLP Perspective},
author = {Zhang, Yiqun and Yang, Xiaocui and Xu, Xingle and Gao, Zeran and Huang, Yijie and Mu, Shiyi and Feng, Shi and Wang, Daling and Zhang, Yifei and Song, Kaisong and Yu, Ge},
journal = {arXiv preprint arXiv:2408.04638},
year = {2024},
url = {https://arxiv.org/abs/2408.04638}
}