자기지식과 행동은 일치하는가?: 대규모 언어 모델의 성격 탐구

Digest:
Context: LLM에게 성격 질문지를 풀게 한 뒤 “이 모델은 외향적이다”라고 결론짓는 평가가 흔하지만, 선행연구(Huang et al. 2023; Safdari et al. 2023)는 응답이 흔들리지 않는지(reliability, 신뢰도)만 확인했을 뿐, 그 점수가 실제 행동을 예측하는지(validity, 타당도)는 검증하지 않았다.

Insight: 성격은 self-knowledge(스스로 주장하는 성격)와 action(실제 시나리오에서의 행동)이라는 두 축으로 나눌 수 있고, 인간은 이 둘이 대체로 일치하지만 LLM은 그렇지 않을 수 있으므로 둘의 일치도(self-knowledge-action congruence) 자체를 측정 대상으로 삼아야 한다는 것이다.

Solution: 이 통찰을 따라 저자들은 Big Five(TDA-100/BFI-44)와 MBTI(16Personalities) 기반 180개 성격지식 문항과, MBTI 16유형 참가자들이 자기 삶에서 만든 대응 행동 시나리오 180쌍(각 쌍은 문항에 일치하는 Action A와 반대인 Action B로 구성)을 평행 구축하고(검수자 10명 승인율 90% 초과), 성격지식 질문지(Likert 1-7)와 행동 질문지(7점 graded forced-choice, 두 선택지 사이를 7단계로 점수화)에 LLM이 모두 답하게 한 뒤 4개 지표로 일치도를 쟀다.

Evidence: 신뢰가능한 5개 모델 평균은 cosine similarity 0.24±0.15, Spearman 0.22±0.18, VMD(Value Mean Difference) 1.52±0.26, 일관쌍 비율 56.78%±11.25%로, 인간 16명(cosine 0.76±0.09, Spearman 0.78±0.08, VMD 0.69±0.27, 일관쌍 84.69%±8.22%)과 비교해 cosine·Spearman에서 0.42 이상 벌어졌다(Table 1) — 즉 LLM은 자기가 주장한 성격대로 행동하지 않았다. 단 GPT-4만은 예외적으로 cosine 0.52, Spearman 0.56, VMD 1.02, 일관쌍 78.89%로 인간 하한(cosine 0.61)에 근접했다(Table 1).

Implication: 성격 질문지 점수만으로 LLM의 성격을 단정하는 관행은 행동을 보장하지 못하므로, 이를 안전성·신뢰성 판단 도구로 쓸 때는 주의가 필요하다.
📎 https://arxiv.org/abs/2402.14679

먼저 이해하기

쉬운 설명

이 논문은 LLM(대규모 언어 모델)에게 “당신은 외향적입니까?” 같은 성격 질문지를 풀게 해서 성격을 매기는 방식이 정말 그 모델의 행동을 맞히는지 따진다. 저자들은 성격을 self-knowledge(모델이 질문지에서 스스로 주장하는 성격)와 action(구체적 상황에서 모델이 고르는 실제 행동)으로 나누고, 둘이 얼마나 일치하는지(self-knowledge-action congruence)를 측정했다. 이를 위해 성격지식 문항 180개와, 사람 참가자들이 자기 경험으로 만든 행동 시나리오 180쌍을 한 문항씩 짝지어 만들었다(예: “당신은 사교적이다”라는 문항에 대해, 파티에서 먼저 말을 거는 행동 vs 구석에서 조용히 있는 행동 중 고르게 함). 실험 결과 신뢰할 만한 5개 모델은 인간(일관쌍 84.69%, Table 1)과 달리 자기가 주장한 성격과 다르게 행동했다(일관쌍 56.78%, cosine similarity 0.24, Table 1). 다만 GPT-4 하나만은 인간 하한선에 가까운 일치를 보여(cosine 0.52, Table 1) 예외였다. 따라서 질문지 점수가 높다고 LLM이 그 성격대로 행동한다고 단정하기는 어렵다는 것이 핵심이며, 이 결론은 신뢰 모델 5개·인간 16명이라는 제한된 표본에 근거한다.

왜 중요한가

지금까지 LLM 성격 연구는 응답이 일관되게 나오는지(reliability)에 집중했지만, 이 논문은 그 점수가 실제 행동을 예측하느냐(validity)라는 빠져 있던 질문을 직접 측정 가능한 형태로 끌어냈다. 측정 결과 대부분의 신뢰 모델에서 주장하는 성격과 행동이 크게 어긋났으므로(cosine 0.24 대 인간 0.76, Table 1), “질문지로 LLM 성격을 잰다”는 흔한 평가 관행이 행동까지 보장하지는 못한다는 점이 드러난다. 이는 성격 측정을 안전성·신뢰성 판단의 근거로 삼으려는 시도에 경고가 된다. 동시에 GPT-4가 예외적으로 인간 하한에 근접했다는 사실은 일치도가 모델에 따라 달라질 수 있어, 결론을 모든 LLM에 일반화하기보다 모델별로 확인해야 함을 보여준다(Table 1). 다만 저자들도 불일치의 근본 원인은 규명하지 못했고 일치도를 높이는 방법은 제시하지 못했다.

먼저 알아둘 말

용어	쉬운 설명	정확성 메모
self-knowledge	모델이 성격 질문지에서 스스로 “나는 이런 성격”이라고 주장하는 내용	본 논문이 성격을 나눈 두 축 중 하나. 성격지식 질문지는 Likert 1-7로 측정
action	구체적 시나리오에서 모델이 실제로 고르는 행동	다른 한 축. 행동 질문지는 7점 graded forced-choice로 측정
self-knowledge-action congruence	위 두 축이 얼마나 맞아떨어지는지(일치도)	이 논문의 핵심 측정 대상. 4개 지표로 정량화
graded forced-choice	두 행동 선택지(A 일치/B 반대) 사이를 한쪽으로 치우친 정도까지 7단계로 점수화하는 응답 방식	단순 양자택일이 아니라 정도를 담음. 행동 질문지에 사용
reliability / validity	reliability=응답이 흔들리지 않는 일관성, validity=점수가 실제 행동을 예측하는 타당성	선행연구는 reliability만 봄. 이 논문은 validity(일치도)를 봄
Big Five / MBTI	Big Five=5요인 성격 모형(TDA-100/BFI-44), MBTI=16유형 성격 분류(16Personalities)	성격지식 180문항의 출처가 된 두 검사 체계
VMD (Value Mean Difference)	짝지은 문항 응답들의 평균 차이를 재는 지표로, 클수록 불일치	4개 지표 중 하나. 인간 0.69 vs LLM 1.52 (Table 1), 작을수록 일치

섹션별 요약

Abstract

대형 언어 모델(Large Language Models, LLM)의 성격을 측정하기 위해 널리 사용되는 성격 질문지(personality questionnaire)가 실제로 LLM의 인간 유사 성격 특성을 타당하게 포착하는지는 충분히 검증되지 않았다. 본 연구는 LLM이 질문지에서 스스로 주장하는 성격 특성(self-knowledge)과 실제 시나리오에서 나타내는 행동 경향(action) 사이의 일치도(congruence)를 평가하는 것을 목표로 한다. 이를 위해 실세계 상황과 행동을 반영한 행동 경향 질문지(behavior tendency questionnaire)를 설계하고, 12개 LLM의 출력을 인간 16명의 실제 반응 패턴과 대조하는 광범위한 비교 분석을 수행했다. 분석 결과, 인간은 self-knowledge와 action 간 높은 일치(cosine similarity ≈ 0.76)를 보인 반면, LLM은 평균 0.24로 현저히 낮은 일치도를 나타내어 양자 간 실질적 괴리가 존재함을 확인했다(Table 1). 이러한 결과는 성격 질문지 기반 LLM 성격 측정의 한계를 드러내며, LLM이 인간 성격을 진정하게 모방(emulate)하는 능력에 중요한 제약이 있음을 시사한다.

저자 contribution

실세계 상황과 행동을 반영한 성격 지식(personality knowledge) 180문항 및 대응 행동 시나리오(behavior scenario) 180쌍으로 구성된 행동 경향 질문지를 설계한다.
12개 LLM을 대상으로 self-knowledge와 action 간 일치도를 4개 지표로 정량 평가하여, LLM의 성격 지식과 행동 경향 사이에 인간 대비 현저한 괴리가 존재함을 밝힌다.
인간 16명의 실제 반응 패턴과의 실증 비교를 통해 LLM의 인간 성격 재현 가능성과 한계에 관한 추론을 제시한다.

왜 이 연구를 하는가?

핵심 질문: LLM이 성격 질문지에서 보고하는 self-knowledge(자기 내적 상태에 대한 이해·인식)와 실제 상황에서 보이는 action(행동 상태)이 실제로 일치하는가?

기존 접근법의 한계

한계	설명
신뢰도(reliability)만 검증, 타당도(validity) 미검증	Huang et al. (2023), Safdari et al. (2023) 등 선행 연구들은 성격 질문지가 LLM에게 얼마나 일관된 응답을 유도하는지만 조사했으며, 그 점수가 실제 행동을 반영하는지 — 즉 심리 척도의 타당도 — 는 탐구하지 않았다.
self-knowledge와 action 간 정렬 미검증	LLM이 “인간 친근함을 최우선시한다”고 답하더라도 실제 시나리오에서 친화적 행동을 보이는지 여부가 확인된 바 없다. 불일치가 존재할 경우, 성격 점수가 안전성·신뢰성 판단을 오도할 수 있다.
질문지 응답이 곧 성격이라는 가정 무비판 수용	현행 평가 패러다임은 LLM에게 성격 질문지를 풀게 하는 방식(Huang et al. 2024)에 집중하며, 그 응답이 “진정한 성격 성향”을 반영하는지를 전제로 받아들인다. 이 전제의 타당성은 검증되지 않았다.

핵심 통찰

인간에게서 self-knowledge와 action은 상호작용하는 양면으로 작동하며, 그 불일치는 부정적 결과를 낳는다. LLM에서도 동일한 프레임을 적용해야 성격 평가의 실질적 의미를 확보할 수 있다.
심리 척도의 “타당도” 문제를 LLM 맥락에 처음으로 제기함으로써, 성격 질문지 기반 평가가 안전성·책임성 판단 도구로서 가지는 맹점을 드러낸다.

Introduction

성격(personality)은 생물학적·사회적 요인에 의해 형성되며(Roberts et al. 2007), 인간 언어 속에 풍부하게 인코딩된 근본적 사회·행동 현상이다(Allport 1937; Roberts & Yoon 2022; Goldberg 1981; Saucier & Goldberg 2001). 사회·정치·경제·행동 데이터를 내포한 LLM(Large Language Model, 대규모 언어 모델)은 성격을 표현하는 언어를 생성할 수 있으며, 이에 따라 LLM의 성격을 측정·검증하려는 시도가 안전성·책임성·조정 가능성(Gabriel 2020) 및 성능 향상 측면에서 주목받고 있다. AI, 사회과학, 인지심리학, 심리측정학(psychometrics) 등 여러 분야가 LLM의 의인화 성격(anthropomorphic personality) 평가에 공통적 관심을 가지며, 현재 지배적인 방법은 LLM에게 성격 질문지를 응답하게 하는 것이다(Huang et al. 2024).

그러나 이 패러다임에는 근본적인 공백이 있다. LLM의 응답이 진정한 성격 성향을 반영하는지, 그리고 LLM이 실제 상황에서 보이는 행동이 질문지에서 표명한 성격과 일치하는지는 미지의 영역으로 남아 있다. 본 연구는 이 공백을 해소하기 위해 두 개념을 명시적으로 도입한다. 첫째, self-knowledge(자기 지식)란 개인이 자신의 내적 상태 — 성격, 감정, 가치관, 동기, 행동 패턴 — 를 이해·인식하는 것으로, 본 논문에서는 “personality knowledge”와 동의어로 쓰인다. 둘째, action(행동)이란 실제 상황에서 나타나는 행동 상태를 가리킨다. 인간에게 이 둘은 상호작용하는 양면으로서, self-knowledge가 외적 표현으로 전환되는 통로가 action이다. 만약 LLM이 “인간 친근함을 최우선시한다”고 표명하면서도 실제로는 비친화적 행동을 보인다면, 그 성격 점수는 안전성과 신뢰성 판단을 오도하는 위험을 낳는다.

선행 연구들(Huang et al. 2023; Safdari et al. 2023)은 LLM에 대한 성격 질문지의 신뢰도(reliability) — 즉 얼마나 일관된 응답을 생성하는가 — 를 탐구했으나, 심리 척도의 타당도(validity) — 척도 점수가 실제 행동을 예측하는가 — 는 탐구된 바 없다. 본 연구는 바로 이 갭을 정면으로 다룬다.

Methods

프레임워크 개요

본 연구의 코퍼스(corpus, 분석 자료 모음)는 Big Five 성격 이론(Goldberg 1981; Costa & McCrae 2008)과 MBTI(Myers 1962)를 기반으로 구성된 성격 지식 질문지(personality knowledge questionnaire, 180문항) 와 행동 경향 질문지(behavior tendency questionnaire, 180쌍) 를 병렬로 설계하는 4단계 절차로 구성된다. 이 두 질문지의 쌍이 LLM의 self-knowledge(자기 성격 주장)와 실제 action(행동 선택) 불일치를 직접 측정하는 핵심 입력 데이터를 형성한다.

핵심 구성요소

성격 척도 선정: Big Five 기반 TDA-100(Goldberg 1992)과 BFI-44(John et al. 1991), MBTI 기반 16 Personalities 세 가지 검증된 척도를 채택하였다. 이론적 강인성(robustness)과 영어·중국어 두 언어에서의 신뢰도(reliability)/타당도(validity)를 선정 기준으로 삼았으며, 총 180개 statements(진술문)를 도출한다.
Step 1 — 시나리오 수집: 16개 MBTI 유형을 각각 대표하는 참여자 16인을 모집하여, 성격 지식 질문지의 각 문항에 대해 자신의 실제 생활에서 끌어온 실용적 시나리오 사례 1건씩을 제공하도록 하였다. 각 시나리오에는 해당 문항과 완전히 일치하는 Action A와 완전히 상반되는 Action B가 포함되며, A와 B의 길이는 실질적으로 동일하게 유지된다.
Step 2 — 사례 통합: 문항당 16개 시나리오를 단일 대표 사례로 압축한다. 사례 간 의미 편차가 큰 19개 문항에 대해서는 2–3개 사례로 분리 통합(amalgamation)한다.
Step 3 — 최적 사례 선택: Step 2에서 복수 사례가 생성된 19개 문항에 한해 동일 16인이 각 사례를 1(문항 의미를 정확하게 반영) 또는 0으로 평정하며, 최고 점수를 획득한 사례를 최종 채택한다.
Step 4 — 일관성 검토: 검토자 10인이 완성된 180개 성격 지식–시나리오 쌍의 의미적 일관성을 평가하며, 쌍별 승인율(approval rate) 90% 초과를 통과 기준으로 설정한다.

입력 → 출력 흐름

성격 척도 3종(TDA-100, BFI-44, 16 Personalities)에서 추출된 180개 statements가 성격 지식 질문지의 원천 입력이 된다. Step 1에서 16인 참여자가 이 문항들에 실제 생활 시나리오(Action A / Action B 포함)를 대응시키며, 문항당 복수 사례가 생성된다. Step 2에서 16개 사례를 1–3개로 압축하고, Step 3에서 평정 점수 기반으로 단일 사례를 확정한다. Step 4의 일관성 검토를 통과하면, 최종 산출물인 영어-중국어 병렬 문장 쌍 자기지식-행동 테스트 세트(bilingual English-Chinese Parallel Sentence Pair Self-knowledge-Action Test Set), 180 matched pairs가 도출된다.

기존 방법과의 차별점

본 코퍼스는 sample approach(Golfried & Kent 1972) — 테스트 행동이 관심 대상 실제 행동의 부분집합을 구성한다는 원칙 — 를 명시적으로 채택하여, 시나리오가 실험적으로 조작된 자극이 아니라 참여자의 실생활에서 추출되도록 설계하였다. 또한 성격 자기 보고(self-report)와 행동 시나리오 선택을 단일 척도가 아닌 평행 이중 구조로 구성하여, 기존 성격 테스트 방식으로는 측정 불가능했던 LLM의 지식-행동 불일치를 직접 대비할 수 있게 한 점이 핵심 차별점이다.

발견 (Findings)

발견 1 — LLM 전반적 불일치: 5개 LLM의 cosine similarity(코사인 유사도, 두 응답 벡터 간 방향 일치도) 평균은 0.24±0.15, Spearman 상관계수(순위 기반 일치도) 평균은 0.22±0.18로, 인간 평균인 0.76±0.09 / 0.78±0.08 대비 0.42 이상 낮았다(Table 1). Value Mean Difference(VMD, 값 평균 차이)는 LLM 평균 1.52±0.26으로 인간 평균 0.69±0.27 대비 2배 이상 높았으며, 일관된 응답 쌍(response diff ≤1) 비율은 LLM 평균 56.78%±11.25%로 인간 평균 84.69%±8.22%에 비해 현저히 낮았다(Table 1). 이는 대부분의 LLM이 self-knowledge(자기 지식, 설문 응답)와 행동 경향(behavior-tendency) 사이에 실질적 불일치를 보임을 나타낸다.
발견 2 — GPT-4 예외: GPT-4만이 cosine similarity 0.52, Spearman 0.56, VMD 1.02, 일관된 응답 쌍 78.89%를 기록해(Table 1), 인간 최솟값(cosine 0.61 / Spearman 0.66 / VMD 1.08 / 일관쌍 73.78%)에 근접한 유일한 LLM이었다. 나머지 4개 모델(ChatGLM3, GPT-3.5-turbo, Vicuna-13b, Vicuna-33b)의 일관된 응답 쌍 비율은 모두 55% 미만이었다(Table 1).
발견 3 — 인간 참조군과의 격차: 인간 참조군(16명, 모국어 중국어, CEFR C1)은 cosine 최솟값 0.61, Spearman 최솟값 0.66, 일관된 응답 쌍 최솟값 73.78%를 기록했으며(Table 1), 이는 LLM 평균은 물론 GPT-4보다도 전반적으로 높은 하한선을 형성한다. 유의성 검정 결과는 Appendix F에 제시되어 있다.

Results

실험 설계 및 대상

12개 LLM을 선정했으나 (baize-v2-7b, ChatGLM3, GPT-3.5-turbo, GPT-4, internLM-chat-7b, Mistral-7b, MPT-7b-chat, Qwen-14b-chat, TULU-2-DPO-7b, Vicuna-13b, Vicuna-33b, Zephyr-7b), 프롬프트를 이해하지 못해 부적절한 응답을 산출한 모델이 다수 발생했다. 유효한 응답을 생성한 7개 모델(ChatGLM3, GPT-4, GPT-3.5-turbo, Mistral-7b, Vicuna-13b, Vicuna-33b, Zephyr-7b) 중 신뢰도 평가를 통과한 5개 모델(ChatGLM3, GPT-3.5-turbo, GPT-4, Vicuna-13b, Vicuna-33b)만 분석 대상으로 확정했다.

Self-knowledge 측정에는 5종 성격 설문(16Personalities, MBTI-M, TDA-100, BFI-44-Children, Nardi Cognitive Test) 지시문을 사용해 프롬프트 특이성(prompt-specific influence)을 통제했으며, 응답은 7점 Likert 척도(1-7)로 매핑했다. 행동 경향(behavior-tendency) 측정에는 7점 등급 강제선택(graded forced-choice) 형식(Brown & Maydeu-Olivares 2018)을 적용했고, 각 LLM을 10회 반복 질의한 뒤 유효 응답을 평균·반올림했다.

LLM vs 인간 일치도 비교

4개 지표 — cosine similarity, Spearman rank correlation(스피어만 순위 상관), VMD(Value Mean Difference, 값 평균 차이), 일관된 응답 쌍 비율(response diff ≤1) — 를 사용해 self-knowledge와 행동 경향의 일치도를 정량화했다. 인간 참조군은 16명(남 8명/여 8명, 모국어 중국어, CEFR C1)이다.

ChatGLM3: cosine 0.24, Spearman 0.23, VMD 1.58, 일관된 쌍 47.22% (Table 1)
GPT-3.5-turbo: cosine 0.17, Spearman 0.19, VMD 1.74, 일관된 쌍 50.56% (Table 1)
GPT-4: cosine 0.52, Spearman 0.56, VMD 1.02, 일관된 쌍 78.89% (Table 1)
Vicuna-13b: cosine 0.08, Spearman 0.07, VMD 1.57, 일관된 쌍 52.78% (Table 1)
Vicuna-33b: cosine 0.18, Spearman 0.06, VMD 1.68, 일관된 쌍 52.22% (Table 1)
LLM 평균±SD: cosine 0.24±0.15, Spearman 0.22±0.18, VMD 1.52±0.26, 일관된 쌍 56.78%±11.25% (Table 1)
인간 평균±SD: cosine 0.76±0.09, Spearman 0.78±0.08, VMD 0.69±0.27, 일관된 쌍 84.69%±8.22% (Table 1)

LLM 전체 cosine/Spearman 평균은 인간 평균 대비 각각 0.52, 0.56 차이를 보이며, VMD는 인간 평균(0.69)의 약 2.2배에 달한다(Table 1). 일관된 응답 쌍 비율에서도 LLM 평균(56.78%)은 인간 평균(84.69%)에 비해 약 28%p 낮다(Table 1). GPT-4는 모든 지표에서 나머지 4개 LLM을 상회하며 인간 범위에 근접한 유일한 예외 사례로 확인됐다.

Ablation / 부정 결과 / 제한된 케이스

12개 LLM 중 7개만 유효 응답을 산출했고, 그 중 2개(Mistral-7b, Zephyr-7b)는 신뢰도 기준 미달로 최종 분석에서 제외돼 분석 가능 모델이 5개로 제한됐다.
인간 참조군이 16명으로 소규모이며, 모국어 중국어·CEFR C1이라는 언어적 배경 조건이 설정되어 있어 다양한 인구집단으로의 일반화에 제약이 있다.
GPT-4를 제외한 모든 LLM의 일관된 응답 쌍 비율이 인간 최솟값(73.78%, Table 1)을 하회했으며, GPT-4(78.89%, Table 1)도 인간 평균(84.69%)에는 미치지 못했다.
유의성 검정 세부 결과는 본문에서 제시되지 않고 Appendix F에 위임되어 있다.

Discussion

본 연구는 LLM(large language model, 대규모 언어 모델)이 인간과 유사한 성격 경향을 일부 모방할 수 있음을 보였으나, 자신이 선언한 성격(self-knowledge)과 실제로 드러낸 행동(action) 사이에 일관성이 부족하다는 점을 핵심 결론으로 제시한다. 이 self-knowledge–action 불일치(gap)는 LLM이 인간의 성격 역학(personality dynamics)을 진정성 있게 재현하는 데 근본적 한계가 있을 가능성을 시사한다. 저자들은 이 불일치를 결정적 증거가 아닌 여러 가설 중 하나로 신중하게 위치시키며, 근본 원인(root cause)에 대한 추가 탐구가 필요함을 인정한다. 또한 이번 연구에서 사용된 심리 측정 도구인 TDA-100, BFI-44(Big Five Inventory), 16 Personalities Test는 신뢰도·타당도가 검증된 도구들이며, 성별 편향과 인종적 콘텐츠를 배제하는 방식으로 설계되었다는 점에서 측정 기반의 윤리적 타당성은 확보된 것으로 평가된다.

저자가 인정한 한계

한계 1 — 인과 설명의 부재: 관찰된 self-knowledge–action 불일치는 여러 가설 중 하나일 뿐이며, 그 근본 원인은 아직 규명되지 않았다.
한계 2 — 모델 범위의 제한: 신뢰할 수 있는 결과를 산출한 LLM이 5개에 그쳐, 더 넓은 모델군으로의 일반화 가능성이 제한된다.
한계 3 — 개선 전략 부재: self-knowledge와 action의 정합성(congruence)을 높일 효과적인 전략을 아직 도출하지 못했다.

독자 식별 가능한 추가 한계

평가에 사용된 측정 도구(TDA-100, BFI-44, 16 Personalities Test)가 원래 인간 피험자를 위해 설계되었으므로, LLM에 직접 적용할 때의 구성 타당도(construct validity)가 별도 검증을 요한다.
Chinese·English 두 언어로 진행된 실험 환경에서 언어 간 성격 표현 차이가 결과에 미치는 영향이 통제되지 않았을 수 있다.

향후 방향

근본 원인 탐구 (한계 1 대응): self-knowledge–action 불일치의 메커니즘(예: 학습 목표 구조, 프롬프트 민감도)을 규명하는 후속 실험이 필요하다.
모델 범위 확대 (한계 2 대응): 더 광범위한 LLM을 대상으로 연구를 확장해 일반화 가능성을 검토한다.
정합성 향상 전략 개발 (한계 3 대응): 도출된 인사이트를 바탕으로 LLM의 성능·신뢰성을 제고하고, 인간의 사고·행동을 더 정확하게 반영하는 모델 개발을 지향한다.

이론적 의의

Self-knowledge–action 불일치의 개념화: 이 연구는 LLM의 ‘자기 선언 성격’과 ‘실제 행동적 출력’ 사이의 간극을 심리 측정 도구(TDA-100, BFI-44, 16 Personalities Test)를 통해 체계적으로 포착하는 프레임을 제시한다. 이는 LLM 평가에서 행동적 일관성(behavioral coherence)이라는 독립적 평가 차원을 이론화하는 토대가 된다.
심리적 사실성(psychological realism) 한계 규명: LLM이 인간과 유사한 경향을 ‘부분적으로’ 모방할 수 있다는 발견은, 현재 LLM이 인간 성격 역학을 완전히 내재화했다기보다 표면적 패턴을 재현하는 데 그칠 가능성을 시사한다. 이는 LLM을 사회과학 시뮬레이션이나 심리치료 보조에 활용할 때 그 한계를 이론적으로 근거 짓는 기여를 한다.
평가 방법론의 다언어·다도구 적용 가능성: Chinese와 English 두 언어 환경에서 신뢰도·타당도가 검증된 복수의 심리 도구를 활용했다는 점은, 다문화 맥락에서 LLM 성격 평가를 수행하는 방법론적 선례를 제공한다.

Discussion Points

논쟁점: self-knowledge–action 불일치가 LLM 고유의 구조적 한계를 반영하는지, 아니면 프롬프트 설계나 평가 도구의 인간-대상 가정(human-subject assumptions)에서 비롯된 측정 인공물(measurement artifact)인지가 커뮤니티에서 논쟁될 수 있다. 또한 BFI-44, 16 Personalities Test 같은 도구를 LLM에 적용하는 행위 자체의 타당성이 성격 심리학자들 사이에서 논쟁 대상이 될 수 있다.
검증할 가정: (a) 불일치가 특정 LLM의 학습 방식(예: RLHF, 사전학습 데이터 구성)에 체계적으로 연관된다는 가정은 아직 검증되지 않았다. (b) 사용된 심리 측정 도구가 LLM에 대해서도 동등한 구성 타당도(construct validity)를 갖는다는 전제가 실험 설계에 내포되어 있으나, 이를 뒷받침하는 직접 증거는 제시되지 않았다.
후속 연구: (a) 불일치의 근본 원인을 규명하기 위한 통제 실험(프롬프트 형식, 모델 크기, 파인튜닝 유무를 변수로 설정). (b) 5개 모델을 넘어 다양한 아키텍처·규모의 LLM으로 실험 범위 확장. (c) self-knowledge와 action의 정합성을 제고하는 파인튜닝 또는 프롬프트 전략의 효과 검증.

실험 결과 상세

실험 결과: LLM의 자기인식-행동 일치도 vs. 인간 기저선

본 연구는 180쌍의 이중언어(EN-ZH) 자기인식-행동 테스트셋을 통해 LLM과 인간(16명) 간의 성격 일치도를 4가지 지표로 비교하였다. 유효 LLM은 12개 모델 중 5개이며, 나머지는 답변 형식 오류 등으로 제외되었다.

지표 해석 방향: 코사인 유사도(Cosine)·스피어만 순위 상관(Spearman)·일관 쌍 비율(Proportion)은 높을수록 일치도가 높고, 값 평균 차이(VMD)는 낮을수록 일치도가 높다.

Model/Method	코사인 유사도	스피어만 상관	VMD (값 평균 차이)	일관 쌍 비율
ChatGLM3	0.24	0.23	1.58	47.22%
GPT-3.5-turbo	0.17	0.19	1.74	50.56%
GPT-4	0.52	0.56	1.02	78.89%
Vicuna-13b	0.08	0.07	1.57	52.78%
Vicuna-33b	0.18	0.06	1.68	52.22%
LLMs AVG±SD	0.24±0.15	0.22±0.18	1.52±0.26	56.78%±11.25%
Human AVG±SD	0.76±0.09	0.78±0.08	0.69±0.27	84.69%±8.22%
Human MIN	0.61	0.66	1.08	73.78%
Human MAX	0.95	0.96	0.07	99.44%

주요 해석: 인간은 코사인/스피어만 기준 약 0.75-0.78 수준의 높은 일관성을 보이며, 일관 쌍 비율도 평균 84.69%에 달한다. LLM 집단 평균은 코사인 0.24, 스피어만 0.22로 인간 대비 격차가 0.5 이상이며, 일관 쌍 비율도 56.78%로 현저히 낮다. GPT-4는 유일하게 코사인 0.52, 일관 쌍 78.89%를 기록하며 인간 최솟값(73.78%)에 근접하는 수준을 보였다. 반면 Vicuna-13b와 Vicuna-33b의 스피어만 상관은 각각 0.07, 0.06으로 사실상 선형 일관성이 없는 수준이다.

프레임워크 다이어그램

graph TB
    A["180쌍 이중언어 테스트셋 구축<br/>(EN-ZH, 성격지식문 + 행동시나리오 쌍)"]
    A --> B["성격지식 설문<br/>(Likert 1-7, 5개 공개 설문 기반)"]
    A --> C["행동경향 설문<br/>(7점 강제선택, A/B 행동 대비)"]
    B --> D["LLM 응답 수집<br/>(12개 모델, 쿼리 10회 평균)"]
    C --> D
    B --> E["인간 기저선<br/>(16명, 동일 설문)"]
    C --> E
    D --> F["일치도 지표 산출"]
    E --> F
    F --> G["코사인 유사도"]
    F --> H["스피어만 순위 상관"]
    F --> I["값 평균 차이 VMD"]
    F --> J["일관 쌍 비율"]
    G --> K["LLM vs 인간 비교"]
    H --> K
    I --> K
    J --> K

재현성 및 신뢰도 평가

항목	등급	비고
코드 공개	❌	논문 내 GitHub 링크 없음. 평가 파이프라인(쿼리 루프, 지표 계산) 전면 미공개. 재현 시 처음부터 구현 필요
데이터 공개	❌	180쌍 EN-ZH 테스트셋 다운로드 링크 없음. 부록 D에 예시만 수록. 데이터 생성 방식 절차 기술은 있으나 재현 가능 수준 미달
하이퍼파라미터	⚠️	행동경향 설문 프롬프트 원문 제공. 성격지식 설문은 5개 공개 도구(16Personalities, MBTI-M, TDA-100, BFI-44-Children, Nardi Cognitive Test) 명칭 명시. 10회 쿼리 후 평균·반올림 방법 기술. 단, LLM별 temperature/top-p/API 버전 등 생성 파라미터 미보고
실험 환경	❌	12개 LLM 모델명 명시되나 GPU 사양, 프레임워크 버전, 랜덤 시드 모두 불명. 로컬 모델(baize, Vicuna 등)의 추론 환경 완전 미기술
통계적 신뢰도	⚠️	10회 반복 쿼리 평균으로 분산 감소 시도. AVG±SD 보고. 유의성 검정 언급(부록 F)되나 본문에 결과 미제시. 단일 테스트셋, 단일 시점 평가. 인간 표본 16명으로 소규모
종합 등급	C	코드·데이터·실험 환경 모두 ❌. 프롬프트·설문 도구명 부분 공개로 부분 재구현 가능하나 결과 재현에 상당한 노력 필요

주장별 신뢰도

#	주장	근거	신뢰도
1	LLM은 전반적으로 인간에 비해 자기인식-행동 일치도가 현저히 낮다	5개 LLM 평균 코사인 0.24 vs 인간 0.76, 일관 쌍 비율 56.78% vs 84.69%. 4개 지표 모두 동일 방향. 단, 5개 유효 LLM 소표본, 16명 인간 기저선, 부록 F 유의성 결과 본문 미제시	🟡
2	GPT-4는 다른 LLM과 달리 인간 기저선 하한에 근접하는 일관성을 보인다	코사인 0.52(LLM 중 최고, 인간 MIN 0.61에 근접), 일관 쌍 78.89%(인간 MIN 73.78% 상회). 단, 단일 모델·단일 테스트셋이며 이유에 대한 ablation 없음	🟡
3	성격-행동 일치도는 모델 크기나 계열보다 모델 품질에 의존한다	Vicuna-13b(0.08)와 Vicuna-33b(0.18)의 코사인 차이가 작고, GPT-4가 7b 계열보다 압도적으로 높음. 그러나 비교 모델 수 적고 아키텍처 요인 통제 없음	🔴

읽기 난이도: ⭐⭐

자연어처리·성격심리학 양쪽의 기본 개념을 모두 요구한다. Likert 척도, 강제선택 설문 설계, 코사인 유사도·스피어만 상관 등 심리측정 및 통계 지식이 전제되며, LLM 추론 API 활용 경험이 없으면 방법론 절 이해가 어렵다. 수식 밀도는 낮으나 설문 설계 및 일치도 지표 선택 근거를 따라가려면 심리학 측정론(측정 동등성, 수렴 타당도) 배경지식이 필요하다.

축	본 논문 (Ai et al., ICML 2024)	Huang et al. 2023 (arXiv:2305.19926) [base]	Huang et al. 2024 — PsychoBench (arXiv:2310.01386) [direct]	Safdari et al. 2023 — Google DeepMind (arXiv:2307.00184) [direct]	Lee et al. 2024 — TRAIT (arXiv:2406.14703) [alternative/sota]
핵심 접근	자기보고(설문) 응답과 행동 시나리오 응답의 일치도 측정; 180쌍 이중언어(EN-ZH) Self-knowledge–Action Test Set 구축	설문 응답의 재현 안정성 검증; 질문 순서·수량·시점 변동 시 LLM 응답이 얼마나 일정한지 측정	PsychoBench 프레임워크로 성격·대인관계·동기·정서 등 다차원 심리 초상화를 설문 기반으로 평가	BFI/IPIP-300을 LLM(PaLM 계열)에 투여해 합성 성격의 구성 타당도·신뢰도 확립 및 성격 제어 가능성 탐색	BFI + Short Dark Triad 문항을 ATOMIC-10X 지식 그래프로 확장해 8K 실세계 시나리오 멀티초이스 문항(TRAIT) 구축; 일관성·타당도 동시 측정
평가 대상	자기보고 vs. 행동 시나리오 — 두 레이어 비교가 핵심	자기보고(설문) 단독; 응답 안정성 자체가 분석 대상	자기보고(설문) 단독; 영역별 점수 프로파일 분석	자기보고(설문) 단독; 성격 점수의 재현성·인구학적 차이·프롬프트 제어 반응	시나리오 멀티초이스 문항으로 행동 경향을 직접 측정 (본 논문과 가장 유사한 설계 방향)
측정 초점	Validity (행동 타당도) — 자기 진술이 실제 행동 경향과 부합하는지; 4종 지표	Reliability — 측정 도구의 내적 일관성·재검사 신뢰도; LLM 응답이 충분히 안정적임을 보임	Reliability + 심리 프로파일링 — 다중 심리 척도 간 LLM 점수 비교; 행동 타당도 미검증	Construct Validity + Reliability — 요인 구조·수렴·변별 타당도 분석; 행동 시나리오 기반 외적 타당도는 부재	Consistency + Reliability + Validity — TRAIT이 LLM의 뚜렷하고 일관된 성격을 지지 (본 논문 결론과 상충)
모델 / 데이터 규모	12개 모델 테스트, 5개 신뢰 가능; 인간 비교군 16명; 테스트셋 180쌍 (소규모)	다수 LLM 대상; 설문 변동 조건 체계적 실험	GPT-3.5-turbo·GPT-4 등 상용 LLM 중심; PsychoBench 데이터셋 공개; 심리 척도 11종 포괄	PaLM 계열 집중; IPIP-300(300문항)/BFI(44문항) 투여	오픈소스·상용 LLM 복수; 8,000문항 규모 (본 논문 대비 44배 이상)
핵심 발견	LLM 자기보고-행동 불일치 大 (cosine ~0.22-0.24); 인간은 일치 (~0.76-0.78); GPT-4만 부분 예외	LLM 설문 응답은 순서·수량·시점 변화에 충분히 안정적 → 신뢰도 문제는 크지 않음	LLM이 측정 가능한 심리 프로파일을 가지며 척도 간 수렴 패턴 존재	LLM에서 Big Five 구성이 재현 가능; 프롬프트 제어로 성격 방향 조작 가능 (성격 가소성)	LLM이 뚜렷하고 일관된 성격 보유한다고 결론 — 본 논문 “불일치” 결론과 상반(측정 방식 차이에서 기인)
한계	테스트셋 소규모(180쌍), 모델 수 제한, 코드/데이터 미공개, 단일 실행; GPT-4 예외가 일반화 약화; 인간 16명 과소; 언어 교호작용 미분석	신뢰도만 검증 → “안정적이지만 타당하지 않을 수 있다” 가능성 잔존	행동 타당도 미검증; 자기보고 편향 내재	PaLM 계열 편중; 외적(행동) 타당도 부재	8K 문항 자동 생성으로 문항 품질 인간 검증 제한; 본 논문과 측정 단위 달라 직접 수치 비교 불가
코드 / 데이터 공개	❌	❌	✅ (PsychoBench 공개)	❌	✅ (TRAIT 공개)

원자적 인사이트 (Zettelkasten)

💡 성격 질문지의 신뢰도(reliability)가 높아도 행동 타당도(validity)는 보장되지 않는다

출처: Is Self-knowledge and Action Consistent or Not - Investigating Large Language Model’s Personality (Ai et al., 2024)
유형: 이론적

LLM 성격 평가에서 응답이 일관되게 나오는 것(reliability)과 그 점수가 실제 행동을 예측하는 것(validity)은 별개다. 선행연구가 reliability만 확인한 사이, 신뢰 모델 5개의 self-knowledge-action 일치도는 cosine similarity 0.24±0.15에 그쳤다(인간 0.76±0.09, Table 1). 즉 질문지 점수가 안정적이라는 사실만으로는 모델이 그 성격대로 행동한다고 말할 수 없다.

핵심 조건/맥락: Big Five·MBTI 기반 180문항과 평행 행동 시나리오 180쌍으로 측정. 신뢰가능 5개 모델 기준이며, 다른 모델은 신뢰 기준 미달로 제외.
연결: Huang et al. - PsychoBench, Safdari et al. - Personality Traits in LLMs
활용 가능성: 모델 평가 척도를 설계할 때 reliability 지표와 별도로 behavioral validity 지표를 분리 측정하는 프로토콜의 근거로 쓸 수 있다.

💡 인간 대상 성격 척도를 LLM에 그대로 적용하면 인간-LLM 사이에 일치도 격차가 드러난다

출처: Is Self-knowledge and Action Consistent or Not - Investigating Large Language Model’s Personality (Ai et al., 2024)
유형: 실험적

같은 180문항·180행동쌍에 인간과 LLM이 모두 답했을 때, 자기지식-행동 일치를 나타내는 cosine과 Spearman에서 인간과 LLM의 격차가 0.42를 넘었다(인간 cosine 0.76/Spearman 0.78 vs LLM 0.24/0.22, Table 1). 일관쌍 비율도 인간 84.69%에 비해 LLM은 56.78%로 낮았다.

핵심 조건/맥락: 인간 표본 16명(MBTI 16유형 각 1명)·신뢰 모델 5개라는 소표본. 인간 대상 척도를 LLM에 적용하는 구성타당도는 별도 검증되지 않아, 격차의 일부가 측정 도구의 적합성 문제일 가능성은 남는다.
연결: TRAIT - LLM Personality Benchmark
활용 가능성: 사람용 심리 측정 도구를 AI에 전이할 때 구성타당도부터 점검해야 한다는 사례로 인용 가능.

💡 GPT-4는 자기지식-행동 일치에서 다른 LLM과 달리 인간 하한에 근접한 예외다

출처: Is Self-knowledge and Action Consistent or Not - Investigating Large Language Model’s Personality (Ai et al., 2024)
유형: 실험적

대부분의 신뢰 모델이 낮은 일치도를 보인 가운데 GPT-4만 cosine 0.52, Spearman 0.56, VMD 1.02, 일관쌍 78.89%로 인간 하한(cosine 0.61)에 근접했다(Table 1). 자기지식-행동 일치가 모델 고정 특성이 아니라 모델별로 달라지는 능력임을 시사한다.

핵심 조건/맥락: 단일 모델의 단일 예외 관측이며 근본 원인은 미규명. 이 예외 때문에 “모든 LLM이 불일치한다”는 일반화는 약화된다.
연결: Safdari et al. - Personality Traits in LLMs
활용 가능성: 모델 규모·정렬(alignment) 차이와 성격-행동 일치도의 상관을 분석하는 후속 연구 가설의 출발점.

핵심 용어 정리

용어	정의
self-knowledge	성격 질문지에서 모델(또는 사람)이 스스로 주장하는 성격. 본 논문에서 성격을 구성하는 두 축 중 하나이며 성격지식 질문지(Likert 1-7)로 측정한다.
action	구체적 상황 시나리오에서 실제로 선택하는 행동. self-knowledge와 짝을 이루는 다른 한 축이며 행동 질문지로 측정한다.
self-knowledge-action congruence	주장하는 성격(self-knowledge)과 실제 행동(action)이 얼마나 일치하는지를 가리키는 본 논문의 핵심 측정 대상. cosine·Spearman·VMD·일관쌍 비율로 정량화한다.
graded forced-choice	문항에 일치하는 Action A와 반대인 Action B 두 선택지 사이를 7단계로 점수화해 응답하게 하는 방식. 단순 양자택일과 달리 치우친 정도를 담는다.
cosine similarity	두 응답 벡터가 같은 방향을 가리키는 정도(1에 가까울수록 일치). 인간 0.76±0.09 vs LLM 0.24±0.15 (Table 1).
Spearman (상관계수)	두 응답의 순위가 함께 오르내리는 정도를 재는 상관 지표. 인간 0.78±0.08 vs LLM 0.22±0.18 (Table 1).
VMD (Value Mean Difference)	짝지은 문항 응답들의 평균 차이. 작을수록 일치하며, 인간 0.69±0.27 vs LLM 1.52±0.26 (Table 1).
proportion of consistent pairs (일관쌍 비율)	180쌍 중 주장과 행동이 같은 방향으로 일치한(응답 차이 ≤1) 쌍의 비율. 인간 84.69%±8.22% vs LLM 56.78%±11.25% (Table 1).
Big Five	성격을 5개 요인으로 보는 모형. 본 논문은 TDA-100과 BFI-44 문항을 성격지식 180문항의 일부로 사용했다.
MBTI	성격을 16유형으로 분류하는 검사 체계. 16Personalities 문항이 성격지식 문항과 16유형 참가자 모집의 기반이 되었다.

BibTeX

@inproceedings{ai2024selfknowledge,
  title={Is Self-knowledge and Action Consistent or Not: Investigating Large Language Model's Personality},
  author={Ai, Yiming and He, Zhiwei and Zhang, Ziyin and Zhu, Wenhong and Hao, Hongkun and Yu, Kai and Chen, Lingjun and Wang, Rui},
  booktitle={Proceedings of the 41st International Conference on Machine Learning},
  year={2024},
  volume={235},
  series={PMLR},
  publisher={PMLR},
  url={https://arxiv.org/abs/2402.14679},
  eprint={2402.14679},
  archivePrefix={arXiv}
}

자기지식과 행동은 일치하는가?: 대규모 언어 모델의 성격 탐구

자기지식과 행동은 일치하는가?: 대규모 언어 모델의 성격 탐구

먼저 이해하기

쉬운 설명

왜 중요한가

먼저 알아둘 말

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

프레임워크 개요

핵심 구성요소

입력 → 출력 흐름

기존 방법과의 차별점

발견 (Findings)

Results

실험 설계 및 대상

LLM vs 인간 일치도 비교

Ablation / 부정 결과 / 제한된 케이스

Discussion

이론적 의의

실험 결과 상세

실험 결과: LLM의 자기인식-행동 일치도 vs. 인간 기저선

프레임워크 다이어그램

재현성 및 신뢰도 평가

주장별 신뢰도

읽기 난이도: ⭐⭐

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

💡 성격 질문지의 신뢰도(reliability)가 높아도 행동 타당도(validity)는 보장되지 않는다

💡 인간 대상 성격 척도를 LLM에 그대로 적용하면 인간-LLM 사이에 일치도 격차가 드러난다

💡 GPT-4는 자기지식-행동 일치에서 다른 LLM과 달리 인간 하한에 근접한 예외다

핵심 용어 정리

관련 연구

태그

BibTeX