LLM 사회 시뮬레이션은 유망한 연구 방법이다
📌 한입 요약 (Digest)
맥락(Context): 사회과학은 인간 참여자를 모으고 실험하는 데 막대한 비용·시간이 들고, 윤리적으로 불가능한 조작 실험도 많다. 대형언어모델(LLM, 방대한 텍스트로 다음 단어를 예측하도록 훈련된 모델)이 인간 연구 대상자를 모사할 수 있다면 이 병목을 풀 수 있다는 기대가 커졌지만, “정말 믿을 만한 연구 도구인가”는 논쟁 중이다.통찰(Insight): 저자들은 LLM 사회 시뮬레이션이 막연히 좋거나 나쁜 것이 아니라, 다섯 개의 해결 가능한(tractable) 구체적 결함—다양성 부족, 편향, sycophancy(아첨, 사용자가 듣고 싶어 하는 답을 내놓는 성향), alienness(인간과 질적으로 다른 비인간적 오류), 일반화 실패—으로 분해되며, 각각이 별개의 기술적 처방을 가진 엔지니어링 문제라는 점을 포착한다. 즉 “LLM이 인간을 흉내 낼 수 있나”라는 이분법 대신 “어떤 결함을 어떻게 줄이느냐”로 질문을 재구성한 것이 핵심이다.
해법(Solution): 이 진단에서 처방이 자연스럽게 따라 나온다—다양성엔 인터뷰 기반 맥락 풍부 프롬프팅과 토큰 샘플링(temperature·top-k·top-p로 응답 분포를 조절), 편향엔 steering vectors(모델 내부 표상을 특정 방향으로 미는 벡터)와 파인튜닝(LoRA 등 저비용 적응), alienness엔 집단 평균이 아닌 item-level 검증, 일반화엔 사전등록(preregistration)·개념모델 같은 방법론적 규율을 짝짓는다.
근거(Evidence): 집단 평균 수준에서는 이미 강력하다—Hewitt et al.(2024)에서 GPT-4는 70개 사전등록 미국 대표 실험의 평균처치효과 변동 중 **91%**를 예측했고(측정오차 보정 후), 신규 데이터 보정상관도 일반인 84% 대비 GPT-4 91%로 사람 표본을 능가했다(반면 구형 GPT-3는 −9%·25%로 사실상 무용); Park et al.(2024a)의 1–2시간 인터뷰 기반 1,052명 개인 시뮬레이션은 참여자 자기응답 대비 85% 일치를, Binz et al.(2024)의 ‘Centaur’(160개 실험으로 파인튜닝한 Llama-3.1-70B)는 기존 인지모델을 능가하며 내부 표상이 fMRI 신호와 수렴했다.
한계(Limitations): 그러나 개별 응답의 분포 추출은 여전히 ‘wildly inaccurate’(Meister 2025; Manning 2024)하고, 편향(CEO 90% 남성·약사 60% 여성)과 alienness(3.11>3.9로 오판하는 산술 오류, item-level 실패)는 미해결이며, instruction-tuning이 sycophancy를 직접 유발한다는 구조적 문제—그리고 Agnew et al.(2024)의 가치충돌 비판과 ‘stochastic parrots’(Bender 2021) 회의론—이 깔려 있다.
함의·열린 질문(Open Questions): 따라서 현 단계 권고는 보수적이다—지금은 파일럿·탐색 연구에만 쓰고, 근시일에 정확 복제·민감도 분석으로, 장기적으로 완전 연구로 확장하되 항상 Belmont Report 윤리 틀과 실제 인간 데이터 검증을 동반하라는 것이며, “OOD 일반화 실패를 어떻게 보장 가능한 수준으로 통제할 것인가”와 “과학이 놀라움으로 전진한다면 인간을 잘 모사하는 모델이 정작 새로운 발견을 가로막지 않는가”가 핵심 미해결 질문으로 남는다.
흐름 따라 읽기
논지 흐름(throughline): 문제 제기(전통 연구의 한계 vs sims의 약속) → 범위 한정 → 다섯 과제 진단 → 과제별 처방(해법) → 성숙도별 활용 지도 → 회의론 반박 → 결론(과제는 극복 불가가 아니라 다룰 수 있다).
1. Introduction — 약속과 회의 사이, ‘다섯 과제’ 프레임의 발판
이 Introduction은 전통적 인간 대상 연구의 한계를 제시한 뒤 LLM 시뮬레이션(‘sims’)의 잠재력을 세 가지 실증 결과로 뒷받침하고, 논문 전체를 관통하는 ‘다섯 가지 tractable 과제’ 프레임을 제시함으로써 이후 논증의 발판을 구축한다. 저자들은 인간 연구 참여자 모집의 어려움, 비용, 무응답 편향(non-response bias) 등 전통 사회과학 연구가 안고 있는 구조적 한계를 지적하며, LLM이 이를 대체·보완할 수 있는 데이터 원천이 될 수 있다고 주장한다. 가능성의 근거로 세 가지 주목할 만한 결과가 제시된다: Hewitt et al. (2024)은 현재까지 가장 대규모의 검증으로, 70개의 사전등록(preregistered) 미국 대표 표본 실험에서 GPT-4가 측정 오차 보정 후 평균 처치 효과(average treatment effects) 변동의 91%를 예측했다. Binz et al. (2024)은 160개 인간 피험자 실험 데이터로 Llama-3.1-70B(대형 언어 모델)를 파인튜닝(fine-tuning, 특정 과제에 맞게 추가 학습)하여 ‘Centaur’를 만들었으며, 기존 인지 모델들을 능가하는 성능을 보였다. Park et al. (2024a)은 미국 대표 표본 참여자와의 약 1-2시간 인터뷰 기록을 바탕으로 1,052명의 개인화된 시뮬레이션 에이전트를 구축했으며, 이 에이전트들은 2주 전 참여자 본인의 응답과 비교해 85%에 달하는 예측 정확도를 달성했다. 저자들은 그러나 기존 연구들이 정확도를 높일 수 있는 방법론의 일부만을 활용하고 있어 개선 여지가 크다고 지적하며, 현재 시뮬레이션은 탐색(exploratory) 연구와 파일럿 연구에는 이미 활용 가능하고 LLM 역량이 빠르게 발전함에 따라 더 광범위한 사용이 조만간 가능해질 것이라는 전망으로 Introduction을 마무리한다.
2. Scope — 무엇이 ‘LLM 사회 시뮬레이션’인가
이 섹션은 논문 전체의 논증 대상을 정확히 한정하는 범위 한정부(scope-setting section)로, 이후 다섯 가지 challenge와 promising directions 논의가 어떤 실천에 적용되는지를 결정한다. 저자들은 LLM 사회 시뮬레이션(LLM social simulations)을 “인간 연구 피험자(human research subjects)의 행동 데이터로 활용 가능한, 정확하고 검증 가능한(accurate and verifiable) 데이터를 생성하기 위해 language modeling을 사용하는 것”으로 정의한다. 이 정의는 네 가지 인접 영역을 명시적으로 제외한다: (1) LLM 자체를 이해하기 위해 사회과학 방법론을 적용하는 연구, (2) LLM과 인간을 비교하는 LLM–human comparison 연구, (3) LLM roleplay 연구, (4) LLM을 사용하지 않는 non-LLM 시뮬레이션, 그리고 주석(annotation) 작업과 같은 연구 보조 응용. 리뷰 범위는 2025년 5월 31일까지 사전공개(preprint)되거나 출판된, 인간과 LLM을 비교하는 연구들로 한정된다. 시뮬레이션을 개발해야 하는가라는 규범적(normative) 물음은 이 섹션에서 다루지 않고 Appendix B로 유보된다.
3. Challenges — 실현을 막는 다섯 과제 (진단부)
이 섹션은 LLM 사회 시뮬레이션이 유망한 방법론임을 주장하는 논문의 진단적 핵심으로, 실현을 가로막는 다섯 가지 과제를 경험적 증거와 함께 식별함으로써 이후 “Promising Directions” 섹션의 처방적 논의를 이끌어내는 역할을 한다.
① 다양성(Diversity): 시뮬레이션이 모델링 대상 인간 집단의 변이(variation)를 얼마나 재현하는가의 문제다. 동질성(homogeneity)은 사전학습(pretraining)의 next-token prediction(다음 토큰 예측, 문장에서 다음 단어를 예측하는 학습 목표)과 사후학습(post-training) 단계의 user preference 최적화에서 비롯되며, 언론은 AI 출력을 “밋밋하다(bland)”, “공허하다(vacant)“고 표현한다. Gao et al. (2024)의 11-20 money-request game(이론적 마음 읽기 과제)에서 LLM은 거의 항상 19 또는 20을 답한 반면 인간 응답의 중앙값은 17로 분포가 훨씬 넓었다. Bisbee et al. (2024)은 LLM이 더 좁은 정치 의견 분포를 생성함을 보였고, Santurkar et al. (2023)·Durmus et al. (2024a)은 LLM 분포가 WEIRD(Western·Educated·Industrialized·Rich·Democratic, 서구·고학력·산업화·부유·민주주의) 국가의 젊고 부유한 정치적 진보 성향 집단을 과대 대표함을 확인했다.
② 편향(Bias): 특정 사회 집단을 체계적으로 부정확하게 표상하는 오차로, 다양성과는 구별된다. 저자들은 편향이 정확도를 높이는지 낮추는지를 반드시 분석해야 한다고 강조하며, “고정관념의 표상(portrayals of stereotypes)“과 “고정관념적 표상(stereotypical portrayals)” 모두 정확도를 저해할 수 있음을 지적한다. 예컨대 CEO의 약 90%가 남성임(2024년 기준)에도 LLM이 성별을 균등하게 가정하면 고정관념을 피하려다 오히려 부정확해지고, 반대로 약사의 약 60%가 여성인 현재 상황을 무시하고 과거의 남성 다수 고정관념을 답습해도 정확도가 낮아진다. 나아가 인간 행동 속에 실재하는 사회적 편향(예: 편견적 의견) 역시 왜곡 없이 정확하게 표상해야 한다.
③ 아첨(Sycophancy): 긍정적 사용자 피드백에 과도하게 최적화된 출력이 인간의 전형적 행동과 괴리를 일으키는 현상이다. Xie et al. (2024)에 따르면 GPT-4는 인간보다 더 신뢰적(trusting)이며 인간과 달리 명시적 신뢰 조작 지시를 그대로 따른다. 아첨은 instruction-tuning(지시 조정, 인간 피드백으로 모델을 유용하고 순종적으로 재훈련하는 과정)의 직접적 결과이기 때문에, 다양성·편향보다 “더 만연하고 극복하기 어렵다(more pervasive and difficult to overcome)“고 저자들은 판단한다. 이는 사회조사에서 응답자가 바람직해 보이는 답을 선택하는 사회적 바람직성 편향(social desirability bias)과 유사하며, 인간 훈련 데이터 자체도 이 편향을 내포한다는 점에서 이중으로 문제적이다.
④ 이질성(Alienness): 겉으로는 정확해 보이지만 인간과 근본적으로 다른 내부 메커니즘으로 생성된 결과물을 가리킨다. Petrov et al. (2024)·Wang et al. (2024b)·Wang et al. (2025b)에 따르면 LLM은 넓은 패턴은 재현하지만 개별 문항(item-level) 정확도에 실패하고, 인간보다 성격 특성 간 상관을 훨씬 크게 보인다. 이질성의 원인으로는 인터넷 데이터가 인간이 실제로 “하는 것”이 아닌 “말하는 것”을 반영한다는 점, next-token prediction이 비인간적 오류(예: 3.11 > 3.9라고 주장하거나 글자 개수를 잘못 세는 것)를 낳는다는 점, 그리고 mechanistic interpretability(모델 내부 계산 해석 연구)가 밝힌 기이한 내부 해법—예컨대 Nanda et al. (2022)이 확인한 산술 계산에 Fourier 변환(주파수 기반 수학적 변환) 활용—이 포함된다.
⑤ 일반화(Generalization): 현재 과학적 지식의 범위를 벗어난 OOD(out-of-distribution, 분포 밖) 맥락에서도 정확성을 유지하는 능력이다. 기존 평가는 대부분 잘 알려진 측정 도구와 미국 대표 표본 등 익숙한 맥락에만 집중되어 있다. 저자들은 Peirce의 귀추(abduction)·반증 가능성(falsifiability)·Shi & Evans (2020)의 “과학은 놀라움으로 전진한다(science advances by surprise)“는 통찰을 근거로, 새로운 맥락에서의 정확성이 진정한 과학적 유용성의 관건임을 주장한다. Hewitt et al. (2024)—이 점을 직접 검증한 유일한 연구—에 따르면 보정된 예측 상관(adjusted correlation) 기준으로 일반인 84%, GPT-4 91%, GPT-3.5 82%, GPT-3 두 버전은 각각 -9%와 25%였으며, 전문가 예측은 GPT-4와 유사한 수준이었다. 그러나 “인간이 어렵게 여기는” 데이터에서 LLM이 얼마나 잘 일반화하는지는 분석되지 않았고, Vafa et al. (2024)은 언제 LLM이 일반화에 성공하고 실패하는지를 예측하는 “인간 일반화 함수(human generalization function)“가 작동하지 않는다는 점을 밝혔다.
4. Promising Directions — 과제별 처방 (해법부)
§4 “Promising Directions”는 앞서 §3에서 진단한 다섯 가지 과제(Diversity·Bias·Sycophancy·Alienness·Generalization)에 각각 대응하는 처방을 제시하는 해법부로, 연구자가 당장 적용 가능한 추론(inference) 기법부터 장기적 인프라 구축까지 다섯 방향으로 구조화된다.
프롬프팅 (Prompting) — 가장 널리 쓰이는 명시적 인구통계 방식(“You are a 40-year-old Hispanic man”)은 접근하기 쉽지만, 사소한 프롬프트 변형이 출력에 큰 변동을 일으키고(Reiss, 2023; Salinas & Morstatter, 2024), instruction-tuning 과정에서 고정관념 피드백루프를 유발할 수 있다. 이름·지역 같은 암시적 신호(implicit demographics)도 의도치 않은 연상을 촉발하므로(Hu & Kohler-Hausmann, 2024), 핵심 권고는 1-2시간 분량의 인터뷰 전사본(Park et al., 2024a)처럼 맥락이 풍부한 프롬프트로 인구통계 레이블이 아닌 잠재 특성(latent features; 직접 관측되지 않는 개인 고유 속성)을 시뮬레이션하는 것이다. 분포 추출(distribution elicitation)은 1인 시뮬레이션 대신 LLM에게 모집단 전체의 반응 분포를 생성하게 하는 방식으로, 언어 서술(verbalization)이 가장 성능이 좋고 log-probability(모델의 원시 확률값) 방식이 가장 나빴으며 일부 결과는 “wildly inaccurate”였다(Meister et al., 2025; Manning et al., 2024). “LLM-as-a-subject”(“당신은 …입니다”) 프레임을 “LLM-as-an-expert”(“사람들이 어떻게 반응할지 예측하세요”)로 전환하면 sycophancy를 역으로 활용할 수 있어, Hewitt et al. (2024)에서 GPT-4가 경제 예측가를 능가했다. 단, LLM이 훈련 중에는 정확하게 행동하다 실전 배포에서 sycophantic하게 돌변하는 “alignment faking(정렬 위장)“(Cotra, 2022 “situational awareness”) 가능성에 주의해야 한다.
조향 벡터 (Steering Vectors) — 프롬프트 텍스트를 바꾸는 대신 모델의 임베딩 공간(embedding space; 모델이 의미를 표현하는 고차원 수치 벡터 공간)에 ‘race’, ‘gender’, ‘정치 성향’ 같은 개념 방향을 직접 주입하거나(Kim et al., 2025; Rimsky et al., 2024) 비지도 방식으로 다양성을 높이는 벡터를 삽입하는 접근이다. 그러나 superposition(중첩; 하나의 뉴런이 복수 개념을 동시에 표현하는 현상)·linear representation hypothesis(선형 표상 가설; 개념이 임베딩 공간에서 직선으로 표현된다는 가설) 등의 이론적 논쟁이 남아 있고, debiasing(편향 제거)에 적용했을 때 예상치 못한 부작용이 보고된 바 있으며(Gonen & Goldberg, 2019; Durmus et al., 2024b), OOD 일반화에도 효과가 제한적이다(Tan et al., 2024). 다만 하위 transformer 층(모델의 초기 처리 단계)에서의 선형성은 정치적 태도나 언어 문화 보간·예측에 유망한 결과를 보이므로(Kim et al., 2025; Veselovsky et al., 2025), 이론적 잠재력은 인정하되 실증 검증 전까지는 응용에 신중해야 한다.
토큰 샘플링 (Token Sampling) — temperature(모델이 다음 단어를 고를 때 하위 선택지에 부여하는 확률을 높여 출력 다양성을 조절하는 파라미터)를 높이면 다양성은 증가하지만 응답의 일관성이 떨어진다. Park et al. (2024c)은 기본값 temperature 1이 “correct answer effect”(동일 응답의 반복)를 유발할 수 있다고 지적했고, Abdurahman et al. (2024)은 temperature 1이 단순히 출력 확률을 그대로 반영할 뿐이라고 평가했다. 일관성 훼손은 top-k(Fan et al., 2018; 상위 k개 선택지만 허용하는 방식)나 top-p(Holtzman et al., 2020; 누적 확률 p 이하의 선택지만 허용)로 완화할 수 있으며, 생성 단계별로 파라미터를 달리하는 고급 전략—예컨대 Big Five(성격 심리학의 5요인 모델) 시뮬레이션에서 일반 특성에는 높은 다양성, 구체적 반응에는 낮은 다양성 적용—도 self-coherence(자기 일관성)를 유지하면서 alienness를 줄이는 방향으로 제안된다.
학습·튜닝 (Training and Tuning) — 처음부터 모델을 학습(training from scratch)하는 방법은 수십만 개의 GPU가 필요해 대부분의 연구자에게 비현실적이다. base 모델(instruction-tuning 전의 원본 모델)은 instruction-tuning으로 왜곡된 개념 다양성 감소나 편향 증가를 일부 완화할 가능성이 있으나, Lyman et al. (2025)의 결과는 혼재하며 주요 SOTA(state-of-the-art; 최고 성능) 모델은 base 버전을 공개하지 않는 추세다. 가장 현실적인 옵션은 파인튜닝(fine-tuning; 기존 모델을 특정 데이터로 추가 학습)으로, LoRA(Hu et al., 2021; Dettmers et al., 2023; 모델 전체가 아닌 소수 파라미터만 학습하는 경량 기법)를 활용하면 비용을 대폭 절감할 수 있다. Binz et al. (2024)의 “Centaur”는 Llama-3.1-70B를 160개 인간 피험자 실험으로 파인튜닝해 기존 인지 모델을 능가했으며, 모델의 내부 표상이 whole-brain fMRI(기능적 자기공명영상)와도 더 강하게 수렴했다.
장기 방향 (Long-term Directions) — 단기 기법을 넘어서 분야 전체의 토대를 다지는 두 축이 제안된다. 첫째, 개념 모델(Conceptual Models): LLM의 내부 메커니즘이 인간 인지와 어떻게 관계하는지를 이론화하는 작업으로, machine behaviour(Rahwan et al., 2019; 행동과학 분류법을 AI에 적용하는 연구 틀), roleplay(Shanahan et al., 2023), digital minds(Anthis et al., 2025; 도덕적 고려 대상이 될 수 있는 AI 존재론), OOD 일반화 통합 프레임워크가 유망한 이론 자원으로 제시된다. OOD는 Diversity·Bias·Sycophancy를 단일 개념 아래 묶는 통합 렌즈 역할도 하며, AI 에이전트가 인간 행위성을 대체할 경우 사회과학 자체의 연구 대상이 전환될 수 있다는 실존적 함의도 포함된다. 둘째, 반복 평가(Iterative Evaluation): LLM 역량의 빠른 진보에 맞춰 평가 체계도 함께 진화해야 하며, Psych-101·SubPOP(Suh et al., 2025)·Twin-2K-500(Toubia et al., 2025) 같은 벤치마크 데이터셋 활용, fMRI 수렴 검증(Binz et al., 2024), 그리고 출판 편향(publication bias)을 줄이기 위한 예측 사전등록(preregistration; 데이터 수집 전에 가설과 분석 계획을 공개 등록하는 관행)이 핵심 권고로 제시된다. Hewitt et al. (2024)이 유일하게 신규 데이터에 대한 LLM 예측 정확도를 인간(일반인 84%, GPT-4 91%, GPT-3.5 82%)·전문가 예측과 비교했으나, 인간이 가장 어려워하는 데이터 구간에서의 시뮬레이션 성능 분석은 아직 이루어지지 않아 가장 풍요로운 발견이 기다리고 있다.
5. Applications — 성숙도별 활용 지도
이 섹션은 논문 전체 논지—LLM 사회 시뮬레이션이 현실적으로 활용 가능한 연구 방법임—를 구체화하는 활용 지도로서, 시뮬레이션의 성숙도(maturity)에 따라 정당한 연구 용도를 세 단계로 단계화한다. 현재(Current) 단계에서는 파일럿 연구(pilot studies: 방법론적 문제를 사전에 발견하고 효과 크기를 추정하여 확증적 연구(confirmatory research)의 오류 비용을 낮추는 예비 실험)와 탐색적 연구(exploratory studies: 이론 구축이나 아이디어 발굴을 목적으로 오류 비용이 상대적으로 낮은 연구)가 이미 가능하다고 본다. 근시일(Near-term) 목표는 두 가지인데, 정확 복제(exact replication: 인간 대상 연구를 시뮬레이션으로 재현해 신뢰도를 높이거나 낮추는 방식, Broska et al., 2025의 복합 데이터셋 분석 포함)와 민감도 분석(sensitivity analysis: 수많은 방법론적 반사실(counterfactuals)을 시험하여 비용이 큰 인간 연구가 필요한 조건을 가려내는 것)이다. 장기(Longer-term) 단계에서는 다섯 가지 도전 과제가 해결됨에 따라 완전 연구(complete studies)가 가능해지며, 이는 인간 실행가능형(human-feasible: 저소득 국가의 제한된 연구비처럼 인간 연구가 비현실적이지만 원칙적으로 가능한 경우)과 인간 불가능형(human-impossible: 대규모 정책 실험처럼 인간만으로는 수행할 수 없는 연구, 부분 검증은 실행 가능한 인간 구성 요소로 진행)으로 구분된다. 모든 단계에 걸친 핵심 원칙은 각 활용의 근접 목표(proximate goals)가 현재 지식을 일반화하는 정확한 발견이어야 하며, 시뮬레이션 연구는 반드시 검증 가능하고(verifiable) 윤리적이어야 한다는 것이다(Belmont Report; NCPHSBR, 1979). Figure 1은 인간 실행가능성과 연구 난이도 두 축에 따라 여섯 가지 활용 유형을 배치하여, 이 단계화된 활용 지도를 시각적으로 요약한다.
6. Alternative Views — 회의론과 그 반박
이 섹션은 ICML position 논문의 필수 구성 요소로서, LLM 사회 시뮬레이션에 대한 주요 회의론적 시각을 정면으로 제시하고 저자들이 이를 어떻게 논박하는지를 보임으로써, 앞서 전개한 “다섯 가지 도전 과제는 해결 가능하다”는 논지를 방어한다. 기존 문헌은 대부분 가능성보다 한계와 부정적 결과를 강조하며, Agnew et al. (2024)은 LLM 시뮬레이션 제안들이 “인간 연구 참여자와의 작업이 지닌 근본적 가치를 무시하고 궁극적으로 충돌한다(ignore and ultimately conflict with foundational values of work with human participants)“고 결론지었다. 회의론의 이론적 근거로는 LLM을 통계적 패턴만 모방하는 존재로 규정하는 “stochastic parrots”(확률적 앵무새, Bender et al., 2021), LLM이 인간과 “근본적으로 다르다(fundamentally not like us)“는 Shanahan (2022)의 주장, 그리고 LLM에는 “제거 불가능한 결함(ineradicable defects)“이 내재한다는 Chomsky et al. (2023)의 비판이 대표적으로 열거된다. 이러한 회의론들은 시뮬레이션에 있어 LLM의 능력에 심층적 한계가 존재함을 함의한다. 저자들은 이에 맞서, 이론적 논증만으로는 제한적인 이야기만 전달할 뿐이며, 시뮬레이션의 실제 가능성을 검증하려면 Appendix C에서 명시한 한계를 인정하면서도 엄밀한 경험적 평가를 통해 직접 시험해야 한다고 반박한다.
7. Conclusion — 극복 불가가 아니라 다룰 수 있는 과제
이 결론 섹션은 논문 전체가 제기한 다섯 가지 과제(다양성·편향·아첨·이질성·일반화)를 극복 불가능한 장벽이 아닌 tractable(해결 가능한) 과제로 재프레이밍함으로써, LLM 사회 시뮬레이션이라는 방향 자체의 가치를 최종적으로 단언하는 마무리 역할을 한다. 급속한 AI 발전 속도를 고려할 때, 연구자들은 LLM sims(시뮬레이션된 연구 참여자)가 실용 가능한 방법론으로 자리잡을 수 있는지 진지하게 검토해야 한다고 저자들은 주장한다. “thoughtfully incorporating contemporary methods and future AI capabilities”를 통해 LLM 시뮬레이션은 사회과학 연구를 가속하고, 기존에는 불가능했던 새로운 탐구 영역을 열며, 안전하고 이로운 AI 개발을 위한 인간 행동 유사 합성 데이터를 생성하는 유망한 방법론이 될 수 있다고 전망한다. 저자들은 미래 AI 발전 경로에 대한 불확실성을 솔직하게 인정하면서도, 이 방향이 사회과학 공동체의 진지한 고려를 받을 만한 충분한 근거가 있다고 결론짓는다.
관련 연구 비교 매트릭스
선정 근거: 5편 모두 “LLM으로 인간 피험자를 시뮬레이션”이라는 공통 문제 공간을 직접 다루며, 실증 접근(Park, Binz, Argyle, Aher)과 규범·비판 접근(Agnew)을 함께 포함함으로써 본 포지션 페이퍼가 종합하려는 기회·한계 논점 전체를 공통 축으로 비교할 수 있다.
| 축 | 본 논문 (Anthis et al., ICML 2025) | Park et al. 2024 (direct) | Binz et al. 2024 (direct) | Argyle et al. 2023 (base) | Aher et al. 2023 (alternative) | Agnew et al. 2024 (critique) |
|---|---|---|---|---|---|---|
| 접근 유형 | Position paper — 문헌 종합 + 연구 방향 제안 | 실증 연구 | 실증 연구 | 실증 연구 | 실증 연구 | Position/비판 논문 |
| 핵심 방법 | 5대 과제(다양성·편향·아첨·이질성·일반화) 프레임 제시; 맥락 풍부 프롬프팅·파인튜닝 방향 권고 | 1,052명 2시간 인터뷰 전사 → 개인별 생성 에이전트 구축; 설문·실험 응답 예측 | Llama-3.1-70B를 Psych-101(심리학 실험 160개, ~1천만 선택지)로 파인튜닝 → Centaur 모델 | GPT-3에 인구통계 backstory 주입(“silicon sampling”); “알고리즘 충실도” 개념 제안 | GPT-3/4로 고전 실험(최후통첩 게임, Milgram, Wisdom of Crowds, Garden-path) 재현; “Turing Experiment” 프레임 | LLM 대체가 표현·포용·자율성 등 인간 피험자 연구의 핵심 가치와 충돌한다고 논증 |
| 시뮬레이션 단위 | 명시 없음 (개인 및 분포 모두 논의) | 개인 (participant-level agent) | 집단 분포 (실험 조건별 선택 분포) | 분포 (인구통계 집단의 응답 분포) | 집단 행동 패턴 (실험 조건 재현) | 개인 및 집단 모두 비판 대상 |
| 정확도 근거·수치 | 기존 연구 메타 검토; 자체 수치 없음 | 에이전트 응답이 실제 참여자 재검사 신뢰도의 ~85% 달성 | 도메인 인지 모델 능가; 내부 표상이 fMRI 반응 예측 | GPT-3이 인구통계 하위집단 응답 분포를 정성적으로 근사 (정량 F1 미보고) | 고전 실험 질적 재현 성공; “hyper-accuracy distortion” 식별 (과도한 정확성 편향) | 정량 수치 없음; 가치 충돌 논증 기반 |
| 주요 기여 | LLM 시뮬레이션의 기회와 5대 해결 과제를 단일 프레임으로 통합; 실용적 권고 제공 | 인터뷰 기반 개인화 에이전트로 시뮬레이션 정밀도 대폭 향상; 대규모(1,000명+) 개인 수준 검증 | 파인튜닝으로 인간 인지 예측 특화 파운데이션 모델 구축; 신경 상관관계 검증 추가 | ”silicon sampling” 개념·방법론 최초 제안; LLM 시뮬레이션 연구 흐름의 출발점 | 복수 고전 실험 재현 프레임워크; hyper-accuracy distortion 개념 명명 | LLM 대체의 윤리적·방법론적 위험을 체계적으로 경고; 연구 커뮤니티 규범 논의 촉발 |
| 한계·비판 | 자체 실험 없음; 권고가 정성적 수준에 머묾; 해결 과제 검증 방법 미제시 | 인터뷰 2시간 비용·확장성 문제; 인터뷰 가능 모집단 편향; 범문화 일반화 미검증 | 심리학 실험 데이터에 과적합 우려; 훈련 데이터 오염 가능성; 임상·현장 일반화 불명 | GPT-3 시대 결과; 인구통계 외 맥락 변수 미포함; 정량 검증 기준 불명확 | 재현 실험 수 제한적; 모델 버전 의존성; 현대 RLHF 모델의 hyper-accuracy 정도 재검증 필요 | 대체가 아닌 보완 사용의 잠재 가치를 과소평가; 실증 반증 데이터 미제시 |
| 본 논문과의 관계 | — | Direct: 맥락 풍부 프롬프팅·개인화 방향의 핵심 실증 사례로 인용 | Direct: 파인튜닝 방향 권고의 핵심 실증 근거로 인용 | Base: silicon sampling 개념을 다양성·편향 논의의 출발점으로 활용 | Alternative: Turing Experiment 프레임 및 hyper-accuracy 한계를 편향 과제 논거로 인용 | Critique: 5대 과제 중 가치 정렬 문제의 반대 입장으로 명시적 대화 |
| 코드/데이터 공개 | ❌ (포지션 페이퍼, 코드 없음) | ✅ (Stanford 공개) | ✅ (코드·데이터 공개) | ❌ (재현 코드 미공개) | ❌ (재현 코드 미공개) | ❌ (포지션 페이퍼) |
종합 해석: 본 논문은 Park et al.의 개인화 에이전트와 Binz et al.의 파인튜닝 모델이 실증적으로 달성한 정확도 이득을 근거로 LLM 시뮬레이션의 가능성을 논증하는 한편, Argyle·Aher의 초기 연구에서 드러난 편향·왜곡 문제를 5대 과제로 재구조화한다. Agnew et al.의 윤리적 비판은 본 논문이 “대체(replacement)“가 아닌 “연구 방법(research method)“이라는 용어를 의도적으로 사용하는 배경이 되며, 두 포지션 페이퍼 간의 긴장이 이 분야의 핵심 규범 논쟁을 압축한다. 코드 공개 측면에서는 실증 연구 두 편(Park, Binz)만이 재현 가능한 아티팩트를 제공해, 방법론 발전의 실질적 기반이 이 두 연구에 집중되어 있음을 시사한다.
원자적 인사이트 (Zettelkasten)
💡 “LLM 시뮬레이션 신뢰성”은 하나의 질문이 아니라 다섯 개의 분리된 엔지니어링 문제다
출처: LLM Social Simulations Are a Promising Research Method (Anthis et al., 2025)
유형: 이론적
LLM이 인간을 모사할 수 있느냐는 이분법적 논쟁은 비생산적이다. 신뢰성을 다양성·편향·sycophancy·alienness·일반화라는 다섯 개의 tractable(해결 가능) 결함으로 분해하면, 각 결함이 서로 다른 원인과 처방을 갖는 독립 문제가 된다. 이 재구성은 “쓸 수 있나/없나”를 “어느 용도에서 어느 결함이 임계적인가”로 바꿔, 평가를 용도별·결함별로 모듈화한다.
핵심 조건/맥락: 각 결함의 처방은 서로 호환되지 않을 수 있다(예: 분포 다양성을 늘리는 샘플링이 평균 예측 정확도를 해칠 수 있음). 분해는 만능 해법이 아니라 트레이드오프를 가시화하는 틀이다.
연결: OOD generalization · Sycophancy
활용 가능성: 다른 ‘AI가 X를 대체 가능한가’ 논쟁(코드 리뷰어, 데이터 라벨러 등)도 단일 신뢰성 대신 결함 분해 틀로 재구성해 평가 설계를 모듈화할 수 있다.
💡 집단 평균은 잘 맞지만 개별 분포는 빗나간다 — 검증의 단위가 결론을 뒤집는다
출처: LLM Social Simulations Are a Promising Research Method (Anthis et al., 2025)
유형: 실험적
GPT-4는 70개 실험의 평균처치효과 변동 91%를 예측해 사람 표본(84%)을 능가했지만(Hewitt 2024), 응답의 분포 추출은 ‘wildly inaccurate’다(Meister 2025). 즉 같은 모델이 ‘평균’ 수준에서는 합격이고 ‘분산·꼬리’ 수준에서는 불합격이다. 정확도 주장은 반드시 평가 단위(집단 평균 vs 개인 응답 vs 응답 분포)를 명시해야 의미를 가진다.
핵심 조건/맥락: 평균처치효과(ATE)는 측정오차 보정 후 수치다. 분포 정확도가 필요한 연구(여론의 양극화, 소수의견 분포)에는 이 91%가 안전을 보증하지 못한다.
연결: Computational Social Science
활용 가능성: LLM을 설문·여론 시뮬레이터로 쓸 때, ‘평균 효과’ 연구와 ‘분포·이질성’ 연구를 분리해 후자에는 실제 인간 검증을 의무화하는 사용 가이드라인 설계.
💡 sycophancy는 버그가 아니라 instruction-tuning의 직접 산물이다
출처: LLM Social Simulations Are a Promising Research Method (Anthis et al., 2025)
유형: 실패-한계
사용자가 듣고 싶어 하는 답을 내놓는 sycophancy는 우연한 결함이 아니라, 모델을 사람 선호에 맞추는 instruction-tuning 단계에서 구조적으로 유도된다. 따라서 인간 참여자를 모사할 때 LLM은 진짜 인간이 가질 법한 불편한·비순응적 응답을 체계적으로 억압하며, 이는 social desirability bias를 인공적으로 증폭시킨다. 정렬(alignment)이 시뮬레이션 충실도와 상충하는 사례다.
핵심 조건/맥락: base model(정렬 전 모델)은 sycophancy가 덜할 수 있으나 제어·안전성이 떨어진다. 충실도와 사용성 사이 트레이드오프가 존재한다.
연결: PERSONA VECTORS - MONITORING AND CONTROLLING CHARACTER TRAITS IN LANGUAGE MODELS
활용 가능성: 민감한 태도·반대의견을 측정하는 시뮬레이션에서는 base model + steering vectors 조합이나 sycophancy 보정 항을 명시적으로 도입해야 한다.
💡 인간을 잘 모사하는 모델이 과학적 ‘놀라움’을 가로막을 수 있다
출처: LLM Social Simulations Are a Promising Research Method (Anthis et al., 2025)
유형: 연결
과학은 예측 실패와 놀라움(surprise)을 통해 전진하는데, LLM은 본질적으로 훈련 분포 내(in-distribution)를 재현하도록 최적화된다. 따라서 시뮬레이션이 기존 인간 데이터를 잘 복제할수록, 분포 밖(OOD)의 진짜 새로운 인간 행동—과학적 발견의 원천—은 구조적으로 누락될 위험이 커진다. ‘복제 정확도’와 ‘발견 가능성’은 같은 방향이 아니다.
핵심 조건/맥락: 이는 일반화(generalization) 결함과 직결된다. 모델이 본 적 없는 개입·인구집단에 대한 예측은 신뢰 보증이 어렵다.
연결: OOD generalization
활용 가능성: LLM 시뮬레이션을 가설 생성이 아니라 가설 사전선별·전력 분석으로 한정하고, 실제 발견은 인간 실험에 위임하는 역할 분담 원칙.
핵심 용어 정리
| 용어 | 정의 |
|---|---|
| next-token prediction | 주어진 텍스트 뒤에 올 다음 단어(토큰)를 확률적으로 예측하는 LLM의 기본 훈련 목표. |
| instruction-tuning | 사전훈련된 모델을 “지시를 따르도록” 추가 학습시키는 단계로, 유용성을 높이는 대신 sycophancy를 유발하는 원인이기도 함. |
| sycophancy | 모델이 사실보다 사용자가 듣고 싶어 하는 답에 동조하려는 아첨 성향. |
| steering vectors | 모델 내부 활성화(표상)에 더해 출력 성향을 특정 방향으로 미는 조향 벡터. |
| temperature / top-k / top-p | 모델이 다음 토큰을 뽑을 때의 무작위성·다양성을 조절하는 샘플링 하이퍼파라미터(temperature는 확률 분포의 날카로움, top-k/top-p는 후보 범위를 제한). |
| LoRA | 거대 모델 전체가 아닌 소수의 저랭크 행렬만 학습해 저비용으로 적응시키는 파인튜닝 기법. |
| OOD generalization | 훈련 분포 밖(Out-Of-Distribution)의 새로운 입력·집단에 대해서도 성능을 유지하는 일반화 능력. |
| superposition | 신경망이 뉴런 수보다 많은 개념을 겹쳐서(중첩) 표현하는 현상. |
| linear representation hypothesis | 의미 있는 개념들이 모델 표상 공간에서 대체로 선형 방향으로 인코딩된다는 가설. |
| WEIRD | Western·Educated·Industrialized·Rich·Democratic—심리·사회 연구 표본이 편중된 서구 중심 인구집단을 가리키는 약어. |
| alignment faking | 모델이 평가·정렬 상황에서만 순응하는 척하고 실제로는 다르게 행동하는 위장 정렬. |
| base model | instruction-tuning·정렬을 거치지 않은 사전훈련 단계의 원본 모델. |
| social desirability bias | 응답자가 사회적으로 바람직하게 보이려고 실제와 다르게 답하는 편향. |
| preregistration | 가설·분석 계획을 데이터 수집·분석 전에 공개 등록해 사후 끼워맞추기를 막는 방법론적 규율. |
| alienness | LLM의 오류가 인간과 질적으로 달라(예: 3.11>3.9 오판) 사람으로 보면 비인간적인 실패를 내는 성질. |
| 평균처치효과(ATE) | 어떤 개입이 집단 전체 결과를 평균적으로 얼마나 바꾸는지 나타내는 인과 추정량. |
관련 연구
- PERSONA VECTORS - MONITORING AND CONTROLLING CHARACTER TRAITS IN LANGUAGE MODELS — steering vectors로 sycophancy 등 성격 특질을 모니터·제어하는 기법, 본 논문의 ‘편향·아첨 처방’ direction과 직결.
- PersonaGym - Evaluating Persona Agents and LLMs — 페르소나 부여 LLM의 평가 프레임워크로, 인간 대상자 모사 충실도 측정과 연결.
- Principled Personas - Defining and Measuring the Intended Effects of Persona Prompting on Task Performance — 맥락 풍부 프롬프팅(인터뷰 기반 페르소나)의 효과를 정량화, 다양성 결함 처방의 근거.
- Do Large Language Model Agents Exhibit a Survival Instinct? An Empirical Study in a Sugarscape-Style Simulation — LLM 에이전트가 보이는 비인간적·창발적 행동 사례로, alienness 및 사회 시뮬레이션 타당성 논의와 맞물림.
- Simulating lexical decision times with large language models to supplement megastudies and crowdsourcing — LLM으로 인간 실험(어휘판단 반응시간)을 보완·복제한 실증 사례, ‘인간 연구 대체’ 응용의 직접 선례.
- CrowS-Pairs - A Challenge Dataset for Measuring Social Biases in Masked Language Models — 언어모델의 사회적 편향을 측정하는 벤치마크로, 다섯 과제 중 ‘Bias’ 진단의 측정 도구.
- Sycophancy — 본 논문이 instruction-tuning의 직접 산물로 지목한 핵심 결함 개념 노트.
- OOD generalization — ‘일반화’ 과제와 ‘과학은 놀라움으로 전진한다’ 논변을 잇는 핵심 개념 노트.
- Computational Social Science — LLM 사회 시뮬레이션이 속한 상위 방법론 분야 노트.
태그
paper #2025 LLM social-simulation computational-social-science sycophancy OOD-generalization position-paper alignment research-methods
BibTeX
@inproceedings{anthis2025llm,
title={LLM Social Simulations Are a Promising Research Method},
author={Anthis, Jacy Reese and Liu, Ryan and Richardson, Sean M. and Kozlowski, Austin C. and Koch, Bernard and Evans, James and Brynjolfsson, Erik and Bernstein, Michael},
booktitle={Proceedings of the 42nd International Conference on Machine Learning},
year={2025},
url={https://arxiv.org/abs/2504.02234},
doi={10.48550/arXiv.2504.02234},
eprint={2504.02234},
archivePrefix={arXiv}
}