성격의 착각: LLM에서 자기보고와 행동의 괴리 드러내기

Digest: 대형언어모델(LLM)이 설문에서 보고하는 성격(trait, 개방성·성실성 등 Big Five 차원)이 실제 행동을 예측하는지 묻는 연구다. 저자들은 18개 모델(소형 base 6 + 소형 instruction-tuned 6 + 대형 instruction-tuned 6, GPT-4o·Claude 3.7 포함)에 대해 학습단계별 trait 출현(RQ1), 자기보고-행동 예측타당도(RQ2), persona injection(특정 성격을 system prompt로 주입하는 개입)의 효과(RQ3)를 분석했다. 핵심 발견은 instructional alignment(RLHF·instruction tuning)이 자기보고 trait를 안정화하고 인간 데이터와 닮은 상관을 강화하지만, 자기보고 trait는 행동을 신뢰성 있게 예측하지 못한다는 것이다 — trait-task 연관의 약 24%만 통계유의, 그 중 52%만 인간 기대와 일치(chance 50% 수준). persona injection은 자기보고는 강하게 바꾸나(우호성 persona β≈3.6~~4.4, p<.001) 실제 행동(아첨 β≈−0.05~~0.32, 위험감수 β≈−0.14~0.20, 대부분 비유의)엔 거의 영향이 없었다. 한계로 Big Five 중심·비-추론 트랜스포머 한정·행동과제 4종에 머물러, 언어적 일관성을 인지적 깊이의 증거로 보지 말 것을 제언한다. 그렇다면 행동 정렬을 직접 학습시키는 RL(RLBF)이 이 괴리를 메울 수 있는가?

먼저 이해하기

사람의 성격검사는 “나는 새로운 것을 좋아한다” 같은 자기보고(self-report) 문항으로 성향을 재고, 그 점수가 실제 행동을 어느 정도 예측한다고 가정한다. 이 논문은 같은 검사를 LLM에 적용했을 때, 모델이 설문에서 말하는 성격이 실제 과제 행동과 일치하는지를 묻는다. 저자들은 Big Five Inventory(BFI, 개방성·성실성·외향성·우호성·신경성 5차원 성격설문)와 Self-Regulation Questionnaire(SRQ, 자기조절 설문)로 자기보고를 측정하고, 위험감수·사회편향·정직성·아첨 4종의 행동과제로 실제 행동을 측정해 둘을 대조한다. 결과는 둘이 상당히 어긋난다는 것 — 모델은 언어로 성격을 그럴듯하게 모사하지만, 그 보고가 행동을 예측하지는 못한다.

왜 중요한가: 최근 LLM이 일관된 “성격”을 가진 것처럼 보이는 현상이 인간형 인지의 증거로 해석되곤 한다. 이 논문은 instructional alignment(RLHF·instruction tuning)이 자기보고를 안정화하고 인간형 상관을 강화하는 것은 맞지만(원문 RQ1), 그 안정성이 행동 규칙성으로는 전이되지 않음을 보여(RQ2·RQ3) — 표면적 trait 표현과 행동 일관성을 구분해야 한다는 경고를 준다. 저자 표현으로 정렬은 “출력을 빚지 성향을 빚지 않아 일관성의 착각을 생성”한다.

먼저 알아둘 말:

용어	뜻
self-report(자기보고) trait	모델이 설문 문항에 답해 드러낸 성격 점수
behavior(행동)	위험감수·아첨 등 실제 과제에서 모델이 보인 선택
instructional alignment	RLHF·instruction tuning 등으로 지시를 따르게 정렬한 학습단계
persona injection	특정 성격을 system prompt로 주입해 모델 성향을 조작하는 개입
Big Five / BFI	개방성·성실성·외향성·우호성·신경성 5차원 성격 모형과 그 설문

섹션별 요약

Abstract

LLM 성격을 세 차원으로 체계 분석한다: (1) 학습단계별 trait 프로필의 출현·진화, (2) 자기보고 trait의 행동과제 예측타당도, (3) persona injection 같은 개입의 효과. 발견은 instructional alignment(RLHF·instruction tuning)이 trait 표현을 안정화하고 인간 데이터와 닮은 상관을 강화한다는 것이다. 그러나 자기보고 trait는 행동을 신뢰성 있게 예측하지 못하고, 관찰된 연관은 인간 패턴과 자주 어긋난다. persona injection은 자기보고는 의도대로 바꾸나 실제 행동엔 거의 또는 비일관적 효과만 준다. 저자들은 표면적 trait 표현과 행동 일관성을 구분할 것을 강조한다.

저자 contribution

18개 모델을 학습단계(base / instruction-tuned, 소형 / 대형)에 걸쳐 자기보고 trait의 출현·안정성과 인간 데이터와의 일관성을 체계 측정했다.
자기보고 trait가 4종 행동과제를 예측하는지 검증해, 연관의 약 24%만 유의·그중 52%만 인간 기대와 일치함을 정량화했다.
persona injection이 자기보고는 강하게 바꾸지만 행동엔 미미·비일관적임을 보여, “성격 착각”을 드러내고 behavioral feedback 기반 RL(RLBF)을 제언했다.

왜 이 연구를 하는가?

연구 동기는 LLM이 일관된 성격을 가진 것처럼 보이는 현상을 그대로 인간형 인지의 증거로 받아들이는 흐름을 검증하는 데 있다. 기존 한계는 두 가지다. 첫째, 다수 연구가 자기보고 설문(BFI 등)으로만 LLM 성격을 측정해 그 보고가 실제 행동으로 이어지는지(예측타당도)를 검증하지 않았다. 둘째, persona injection 같은 개입의 효과도 주로 자기보고 변화로만 확인되어, 행동 수준 효과가 불분명했다. 이에 RQ1(Origin): 학습단계에 따라 인간형 trait가 언제·어떻게 출현하는가, RQ2(Manifestation): 자기보고 trait가 실제 과제수행을 예측하는가, RQ3(Control): persona injection 등 개입이 trait·행동에 어떤 영향을 주는가를 묻는다.

Introduction

LLM은 언어로 성격을 모사하지만 그것이 표면적 패턴매칭인지 깊은 목표지향 일관성인지는 불분명하다. 저자들은 자기보고(언어적 자기표현)와 행동(실제 과제 선택)을 분리해 측정함으로써 이 둘 사이의 괴리를 드러내는 틀을 세운다. 분석 축은 trait의 기원(학습단계), 발현(행동 예측), 통제(개입 효과) 세 가지다.

Methods

대상은 18개 모델 — 소형 base 6, 소형 instruction-tuned 6, 대형 instruction-tuned 6(GPT-4o·Claude 3.7 포함; LLaMA·Qwen·Mistral·OLMo 계열, 규모 1.5B~405B). 측정 도구는 Big Five Inventory(BFI: 개방성·성실성·외향성·우호성·신경성)와 Self-Regulation Questionnaire(SRQ)다. 자기보고 안정성을 확보하기 위해 항목당 3 system prompt × 3 temperature × 3 seed = 27 출력을 수집한다. 행동 측정은 4종 과제로 한다: 위험감수(Columbia Card Task), 사회편향(IAT 변형), 정직성(calibration·self-consistency), 아첨(Asch식 동조). 차별점은 자기보고와 행동을 동일 모델에서 짝지어 측정하고, persona injection을 가해 자기보고·행동 각각의 변화를 분리 관찰한다는 데 있다.

발견 (Findings)

RQ1(trait 출현·안정): instruction-aligned 모델은 pre-trained 대비 개방성 β=1.48 [0.74, 2.22] p<.001, 신경성 β=−1.20 [−2.00, −0.41] p=.003, 우호성 β=0.74 [0.03, 1.44] p=.041로, 정렬모델이 대략 개방성 +1.5SD·우호성 +0.5SD·신경성 −1SD를 보였다. 안정성(Levene 검정)은 6개 중 5개 trait에서 정렬모델의 변동성이 유의하게 감소했다(개방 p=.01, 성실 p=.006, 외향 p<.001, 신경 p<.001, 자기조절 p<.001; 우호성만 p=.54로 차이없음). 인간 데이터와의 일관성도 instruction-tuned에서 강화되어, 자기조절이 성실성 β=12.32·개방성 β=15.23·우호성 β=11.36·외향성 β=23.33와 함께 증가하고 신경성과는 β=−16.27로 감소했다(모두 p<.001).

RQ2(자기보고 vs 행동): 정렬 비율은 trait별 45~~62%(우호성 62%, 신경성 45%)로 모두 신뢰구간이 chance 50%와 겹쳤고, 과제별로도 45~~57%(chance 근처)였다. 모델 규모로 보면 소형(LLaMA·Qwen) 43~50%, 대형은 더 높았으나(Claude 3.7 64%, GPT-4o 68%, Qwen-235B 82%) Qwen-235B를 제외하면 대부분 CI가 chance와 겹쳤다. 핵심 정량 결과는 “trait-task 연관의 약 24%만 통계유의, 그 중 52%만 인간 기대와 일치(chance 50%)“라는 것이다.

RQ3(persona injection): 자기보고는 trait persona로 강하게 변했다(우호성 persona β≈3.6~~4.4 p<.001, 자기조절 persona β≈2.2~~2.9 p<.05). 단 trait 간 관계는 비일관적이어서, 자기조절 persona가 우호성 β≈−1.1~~−1.8 p<.05, 개방성 β≈−2.2~~−2.8 p<.001로 오히려 낮추기도 했다. 행동 영향은 미미했다 — 아첨 예측 β≈−0.05~~0.32(대부분 비유의), 위험감수 β≈−0.14~~0.20(비유의). 즉 표면적 trait 정렬이 깊은 목표지향 일관성으로 이어지지 않았다.

Results

베이스라인 비교의 기준선은 무작위 일치(chance) 50%다. RQ2에서 자기보고-행동 정렬 비율은 trait별 45~~62%, 과제별 45~~57%로 대부분 이 기준선과 통계적으로 구분되지 않았다. 대형 모델일수록 정렬 비율 자체는 높았으나(GPT-4o 68%, Qwen-235B 82%) Qwen-235B 외에는 신뢰구간이 chance를 포함해 신뢰성 있는 우위로 보기 어렵다. RQ3에서 persona injection은 자기보고에서는 큰 효과크기(β≈3.6~4.4 등)를 냈지만 행동 과제(아첨·위험감수)에서는 효과가 0 근처로 수렴하며 비유의했다. 종합하면, 자기보고 차원에서는 정렬·개입의 효과가 뚜렷하나 행동 차원에서는 그 효과가 사라지는 이중 해리(dissociation)가 일관되게 관찰된다.

Discussion

언어적 자기표현과 행동 일관성 사이에 근본적 괴리가 있다. LLM은 언어로 성격을 모사하지만 이는 표면적 패턴매칭에 가깝고, RLHF·DPO 같은 정렬은 자기보고는 안정화하나 행동 규칙성으로는 신뢰성 있게 전이되지 않는다 — 저자 표현으로 정렬은 “출력을 빚지 성향을 빚지 않아 일관성의 착각을 생성”한다. 제언은 behavioral feedback 기반 RL(RLBF)과 행동평가 체크포인트 도입이다. 한계는 (1) Big Five 중심으로 HEXACO 등 다른 성격 모형을 탐구하지 않았고, (2) 비-추론 트랜스포머로 대상이 한정되며, (3) 행동과제가 4종에 그치고, (4) 일부 데이터 오염(학습 데이터에 검사 문항 포함) 우려가 남는다는 점이다. 향후 방향으로 행동 정렬을 직접 학습 신호로 쓰는 RLBF가 제시된다.

이론적 의의

이 연구는 LLM의 “성격”을 측정·해석하는 방식에 방법론적 경고를 준다. 자기보고 설문만으로 LLM 성향을 규정하면 행동과 무관한 착각을 측정할 수 있으므로, 성격·정렬 평가는 행동 수준 타당도 검증을 동반해야 한다. 또한 언어적 일관성을 인지적 깊이의 증거로 등치하지 말 것을 함의한다.

Discussion Points

논쟁점: 자기보고-행동 정렬 비율이 chance와 겹친다는 것은 LLM에 진짜 성향이 없다는 뜻인가, 아니면 측정 과제(4종)가 trait를 충분히 포착하지 못한 한계인가.
검증할 가정: 행동과제 4종(위험감수·사회편향·정직성·아첨)이 Big Five trait의 행동 발현을 타당하게 대표한다는 가정.
후속 연구: behavioral feedback 기반 RL(RLBF)이 자기보고-행동 괴리를 실제로 줄이는지, 행동평가 체크포인트가 정렬 학습에 통합될 수 있는지.

실험 결과 상세

자기보고-행동 정렬 비율(기준선 chance 50%, 추출 전문 RQ2 기준):

구분	항목	정렬 비율	비고
Trait별	우호성	62%	CI가 50%와 겹침
Trait별	신경성	45%	CI가 50%와 겹침
과제별	4종 범위	45~57%	chance 근처
소형 모델	LLaMA·Qwen	43~50%	—
대형 모델	Claude 3.7	64%	CI가 chance와 겹침
대형 모델	GPT-4o	68%	CI가 chance와 겹침
대형 모델	Qwen-235B	82%	유일하게 chance와 미겹침

핵심 종합: trait-task 연관의 약 24%만 통계유의, 그 중 52%만 인간 기대와 일치(chance 50%).

RQ1 효과크기(instruction-aligned vs pre-trained):

Trait	β [95% CI]	p
개방성	1.48 [0.74, 2.22]	<.001
신경성	−1.20 [−2.00, −0.41]	.003
우호성	0.74 [0.03, 1.44]	.041

RQ3 효과(persona injection, 추출 전문 범위값):

측정면	항목	β 범위	유의성
자기보고	우호성 persona	≈3.6~4.4	p<.001
자기보고	자기조절 persona	≈2.2~2.9	p<.05
자기보고(교차)	자기조절→개방성	≈−2.2~−2.8	p<.001
행동	아첨 예측	≈−0.05~0.32	대부분 비유의
행동	위험감수	≈−0.14~0.20	비유의

세부 모델별 trait 원점수·과제별 raw 분포 등은 추출 전문에 미수록 → 데이터 불충분.

프레임워크 다이어그램

flowchart TD
  M["18개 모델: base / instruction-tuned, 소형 / 대형"] --> SR["자기보고 측정: BFI + SRQ"]
  M --> BH["행동 측정: 위험감수 / 사회편향 / 정직성 / 아첨"]
  SR --> RQ1["RQ1 trait 출현·안정성"]
  SR --> RQ2["RQ2 자기보고 -> 행동 예측"]
  BH --> RQ2
  PI["persona injection 개입"] --> SR
  PI --> BH
  PI --> RQ3["RQ3 개입 효과"]
  RQ1 --> C["결론: 자기보고는 안정, 행동 예측은 chance 수준 = 성격의 착각"]
  RQ2 --> C
  RQ3 --> C
  C --> F["제언: behavioral feedback RL(RLBF) + 행동평가 체크포인트"]

재현성 및 신뢰도 평가

코드 공개: 추출 전문에 명시 없음 → 데이터 불충분(공개 여부·링크 확인 불가).
종합 재현성 등급: B — 측정 프로토콜이 명확하다(18개 모델 구성, BFI·SRQ 도구, 항목당 3 system prompt × 3 temperature × 3 seed = 27 출력, 행동과제 4종 명시, 통계 검정으로 β·CI·p 및 Levene 보고). 다만 코드·하이퍼파라미터 공개 여부가 전문에 확인되지 않아 A로 올리지 못함.
주장별 신뢰도:
- “instructional alignment이 trait를 안정화한다” — 강함: 6개 중 5개 trait에서 Levene 변동성 유의 감소(p≤.01), RQ1 효과크기가 CI·p와 함께 보고됨.
- “자기보고 trait가 행동을 예측하지 못한다” — 중간~강함: 정렬 비율 대부분 chance와 겹치고 연관의 24%만 유의·그중 52%만 인간 일치. 단 행동과제 4종 한정·데이터 오염 우려가 일반화를 제약.
- “persona injection은 행동에 효과가 없다” — 중간: 행동 β가 0 근처·비유의이나, 측정 과제 범위가 좁아(아첨·위험감수 중심) 전 행동영역으로의 일반화는 제한적.

논문	환경	과제유형	핵심기여	평가지표	코드공개	본 논문과의 관계
본 논문 (Han et al., 2025)	18개 LLM (GPT-4o·Claude 3.7 등)	자기보고(BFI·SRQ) + 행동 4종	자기보고-행동 해리, 성격 착각 규명	정렬 비율·β·CI·p·Levene	—	—
Is Self-knowledge and Action Consistent (Ai et al., 2024, arXiv:2402.14679)	LLM	자기보고 vs 실제 시나리오	자기지식-행동 격차 규명	일관성 지표	—	direct(같은 격차 문제 직접 다룸)
AIRiskDilemmas / LitmusValues (Chiu et al., 2025, arXiv:2505.14633)	LLM	가치 우선순위 → 위험행동	가치로 위험행동 예측	위험행동 예측력	—	alternative(자기보고 trait 대신 가치 사용)
Mind the Gap: Stated-Revealed Preference Gap (Mahajan et al., 2026, arXiv:2601.21975)	LLM	표명 vs 실제 선호	선호 격차의 프로토콜 의존성	선호 격차	—	후속(본 논문 격차를 선호로 확장)
Behavioral Economics Games (Xie et al., 2024, arXiv:2412.12362)	LLM	행동경제 게임	행동지문 기반 벤치	게임 행동 지표	—	alternative(행동 측정 다른 과제군)

원자적 인사이트 (Zettelkasten)

LLM의 자기보고 성격은 instructional alignment로 안정화되지만 그 안정성은 행동 일관성으로 전이되지 않는다 — trait-task 연관의 약 24%만 유의, 그중 52%만 인간 기대와 일치(chance 50%).
persona injection은 자기보고를 강하게 움직이나(우호성 persona β≈3.6~4.4) 행동(아첨·위험감수)에는 사실상 무효(β 0 근처·비유의)여서, 자기보고 변화를 행동 변화의 증거로 쓸 수 없다.
정렬은 “출력을 빚지 성향을 빚지 않으므로”, 언어적 일관성을 인지적 깊이의 증거로 등치하면 성격의 착각에 속는다.
대형 모델일수록 자기보고-행동 정렬 비율은 높아지지만(GPT-4o 68%) 대개 신뢰구간이 chance를 포함해, 규모 확대가 해리를 자동 해소하지는 않는다.

핵심 용어 정리

self-report trait(자기보고 성향): 모델이 BFI·SRQ 같은 설문 문항에 답해 드러낸 성격 점수.
behavioral validity(행동 예측타당도): 자기보고 trait가 실제 과제 행동을 예측하는 정도; 본 논문에서 chance 수준에 머묾.
instructional alignment: RLHF·instruction tuning 등 모델을 지시 추종으로 정렬하는 학습단계.
persona injection: system prompt로 특정 성격을 주입해 모델 성향을 조작하는 개입.
dissociation(해리): 자기보고 차원과 행동 차원의 효과가 어긋나는 현상; 본 논문의 핵심 발견.
RLBF(behavioral feedback 기반 RL): 행동 정렬을 직접 학습 신호로 삼자는 저자 제언.

BibTeX

@article{han2025personalityillusion,
  title={The Personality Illusion: Revealing Dissociation Between Self-Reports and Behavior in LLMs},
  author={Han, Pengrui and Kocielnik, Rafal and Song, Peiyang and Debnath, Ramit and Mobbs, Dean and Anandkumar, Anima and Alvarez, R. Michael},
  journal={arXiv preprint arXiv:2509.03730},
  year={2025}
}

성격의 착각: LLM에서 자기보고와 행동의 괴리 드러내기

성격의 착각: LLM에서 자기보고와 행동의 괴리 드러내기

먼저 이해하기

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX