생성형 에이전트: 인간 행동의 상호작용적 시뮬라크라

Digest: Context: “사람처럼 믿을 만하게 행동하는 가상 인물”을 만드는 것은 지난 40년간 게임·HCI·AI가 풀지 못한 북극성 문제다. 기존 방식은 모두 막혀 있었다. 룰베이스(behavior tree처럼 if-then 규칙을 손으로 짜는 방식)는 열린 세계의 무한한 상황을 다 담을 수 없고, 강화학습(보상을 최대화하도록 학습)은 승패가 명확한 게임에만 통하며, LLM에 그때그때 상황만 넣어주는 first-order 프롬프트(현재 맥락만으로 즉답을 뽑는 방식)는 컨텍스트 윈도우(한 번에 읽을 수 있는 글자 수) 한계 탓에 방대한 과거 경험과 장기 일관성을 다루지 못한다. Insight: 저자들은 진짜 병목이 “추론 능력”이 아니라 “경험을 자연어로 쌓고, 거기서 스스로 의미를 길어 올리는 기억 구조”의 부재임을 간파했다 — LLM은 충분히 똑똑하지만 자기가 누구였는지 기억하지 못하는 게 문제였던 것이다. Solution: 그래서 LLM 위에 세 겹의 인지 아키텍처를 올린다. (1) memory stream(모든 경험을 “설명+생성시각+최근접근시각”을 가진 자연어 메모리 객체로 차곡차곡 저장), (2) reflection(쌓인 관찰을 종합해 “나는 연구에 시간을 많이 쓴다” 같은 고차 결론을 재귀적으로 도출), (3) planning(하루 계획을 1시간→5~~15분 단위로 쪼개고 환경이 바뀌면 즉석에서 다시 짬). 핵심 장치는 retrieval score = recency(지수감쇠, decay 0.995) + importance(LLM이 매긴 1~~10점) + relevance(쿼리와의 임베딩 코사인유사도)로, 수천 개 기억 중 지금 필요한 것만 컨텍스트에 끌어오는 가중 검색이다. Evidence: gpt-3.5-turbo로 25명의 에이전트가 사는 Smallville 샌드박스에서, “Isabella가 발렌타인 파티를 열고 싶다”는 단 하나의 seed만으로 초대 전파→데이트 신청→실제 참석이 **창발(emergent behavior, 명시적으로 프로그래밍하지 않은 집단 행동의 자연 발생)**했다. 통제 평가(100명 평가자, TrueSkill 랭킹)에서 전체 아키텍처(μ=29.89)는 reflection 제거(μ=26.88), 계획·반영 모두 제거(μ=25.64), 사람 크라우드워커가 쓴 대본(μ=22.95)을 모두 능가했고, 완전 제거 대비 효과크기 Cohen’s d=8.16으로 압도적이었다(Kruskal-Wallis H(4)=150.29, p<0.001). 2게임일 종단 실험에서는 출마 소식 인지율이 4%→32%, 파티 인지율이 4%→52%(환각 0건)로 퍼졌고 사회 네트워크 밀도가 0.167→0.74로 치솟았으며, 환각률은 453개 응답 중 1.3%에 불과했다. Limitations: 저자도 인정하듯 (1) 메모리 검색이 관련 기억을 놓치고, (2) 환각·윤색이 발생하며, (3) instruction tuning 탓에 에이전트가 과도하게 격식 차리고 지나치게 협조적이다. 더해 평가가 단일 모델·소규모 샌드박스에 한정돼 일반화·비용·장기 안정성은 미검증이다. Open Questions: 수백~수천 명 규모와 더 긴 시간 지평에서도 일관성이 유지되는가? recency·importance·relevance 가중치(모두 α=1로 고정)를 적응적으로 조정하면 더 나아지는가? parasocial 관계와 맞춤형 설득·딥페이크 악용을 audit log만으로 충분히 막을 수 있는가? 📎 https://arxiv.org/abs/2304.03442

섹션별 요약

Abstract

인간 행동을 믿을 만하게(believable) 시뮬레이션하는 계산 에이전트는 몰입형 가상 환경부터 대인 커뮤니케이션 훈련까지 폭넓은 인터랙티브 응용을 가능하게 한다. 본 논문은 대형 언어 모델(large language model)을 확장한 아키텍처를 제안하여 “generative agents”를 구현한다. 이 아키텍처는 에이전트의 경험을 자연어로 완전히 기록하는 메모리 스트림(memory stream), 기억들을 상위 수준 추론으로 종합하는 반영(reflection), 그리고 추론 결과를 구체적 행동 계획으로 전환하는 계획(planning), 세 요소로 구성된다. 검증을 위해 ChatGPT 기반의 25명 에이전트를 The Sims에서 착안한 인터랙티브 샌드박스 환경 “Smallville”에 배치하였으며, 단 하나의 씨앗 지시문—한 에이전트가 Valentine’s Day 파티를 열고 싶다는 것—만으로 에이전트들이 자율적으로 초대를 전파하고 데이트를 약속하며 함께 참석하는 창발적 사회 행동(emergent social behavior)을 보였다. Ablation 평가 결과 observation, planning, reflection 세 구성요소 각각이 believability에 결정적으로 기여하며, 대형 언어 모델과 계산 에이전트를 융합하는 아키텍처·인터랙션 패턴을 제시한다.

저자 contribution

에이전트의 변화하는 경험과 환경에 동적으로 조건화되어 믿을 만한(believable) 인간 행동을 시뮬레이션하는 generative agents를 제안한다.
메모리 스트림·반영·계획의 세 요소로 구성된 새로운 아키텍처를 도입하여, 에이전트가 장기 기억을 관리하고 상위 수준의 반영을 재귀적으로 생성하며 동적으로 변화하는 상황에서 일관된 행동을 수행하도록 한다.
아키텍처 구성요소의 인과적 기여를 확인하는 통제 평가(controlled evaluation)와 창발적 사회 행동 및 고장 유형을 분석하는 종단 평가(end-to-end evaluation), 두 가지 평가를 수행하고 generative agents의 기회·윤리적 위험을 논의한다.

왜 이 연구를 하는가?

핵심 질문: 메모리 관리와 장기 일관성을 갖춘 아키텍처 없이, LLM만으로 believable(믿을 만한)한 인간 행동 대리자를 만들 수 있는가?

기존 접근법의 한계

한계	설명
룰 기반 (finite-state machines, behavior trees)	저자 수작업으로 행동을 하드코딩하므로 오픈 월드의 광대한 상호작용 공간을 포괄할 수 없고, 사전에 정의되지 않은 새로운 절차를 수행하지 못한다.
강화학습 (AlphaStar, OpenAI Five 등)	보상이 명확하게 정의되는 적대적 게임에서는 초인적 성능을 냈으나, 보상 신호를 정의하기 어려운 오픈 월드에서 believable한 에이전트를 만드는 과제는 해결하지 못했다.
인지 아키텍처 (SOAR, ICARUS 등)	perceive-plan-act 사이클로 당시로서는 견고한 행동을 보였으나, 행동 공간이 수작업 절차 지식에 국한되고 새로운 행동을 스스로 탐색하는 메커니즘이 없어 FPS·블록 월드 같은 제한적 맥락에만 배치되었다.
LLM first-order 프롬프팅 (social simulacra 등)	LLM은 훈련 데이터에서 광범위한 인간 행동을 인코딩하지만, few-shot·chain-of-thought 템플릿은 에이전트의 현재 환경에만 조건화된다. 과거 경험의 방대한 누적을 반영하는 것은 현재 모델의 context window 한계로 근본적으로 불가능하다.

핵심 통찰

LLM은 believable 에이전트의 핵심 재료가 될 수 있지만, first-order 프롬프팅만으로는 장기 기억·일관성·재귀적 고차 추론을 지원하는 데 부족하다.
과거 경험을 매 시간 단계마다 동적으로 갱신하고, 반영(reflection)을 통해 고차 추론을 재귀적으로 생성하며, 이를 계획에 연결하는 전용 아키텍처가 필요하다.
40년간 “북극성(north star)“으로 여겨졌던 believable 인간 행동 대리자 문제는 LLM과 적합한 아키텍처의 결합으로 재조명할 수 있다.

Introduction

40년 이상 연구자들은 인간 행동을 믿을 만하게 대리하는 계산 에이전트를 비전으로 삼아왔다. 이러한 에이전트는 가상 공간 구성, 희귀하고 어려운 대인 상황 훈련, 사회과학 이론 검증, 유비쿼터스 컴퓨팅·소셜 로봇·게임 NPC 구동 등 다양한 응용을 가능하게 한다. 그러나 인간 행동의 공간은 방대하고 복잡하여, 단일 시점에서의 인간 행동 시뮬레이션에 뛰어난 LLM도 장기 일관성(long-term coherence)을 보장하려면 끊임없이 증가하는 기억을 관리하고, 새로운 사건이 발생·소멸함에 따라 연쇄적인 사회적 역학을 처리할 수 있는 아키텍처가 필요하다.

관련 연구는 세 갈래로 나뉜다. Human-AI Interaction 분야는 사용자가 모델 행동을 지정하는 인터랙티브 방법을 발전시켰으며, 자연어 에이전트 상호작용이 사진·코드 편집 등 새로운 모달리티를 열어주었다. Believable Proxies 분야에서는 finite-state machines와 behavior trees 같은 룰 기반 접근법이 단순 에이전트를 효과적으로 만들었으나 오픈 월드를 포괄하지 못했고, AlphaStar·OpenAI Five로 대표되는 강화학습은 명확한 보상이 있는 게임에서는 초인적 성능을 냈지만 오픈 월드의 believability 과제는 해결하지 못했으며, Quakebot-SOAR·ICARUS로 구현된 인지 아키텍처는 견고하지만 수작업 절차 지식의 한계를 벗어나지 못했다. LLM과 인간 행동 연구에서는 social simulacra 등이 first-order 프롬프팅으로 단기 believable 행동을 생성했으나, 과거 경험의 동적 누적을 처리하는 것은 현재 context window 한계로 근본적으로 불가능함을 드러냈다.

이에 본 논문은 generative agents—생성 모델을 기반으로 believable한 인간 행동을 시뮬레이션하는 에이전트—를 제안한다. 핵심 아키텍처는 메모리스트림(memory stream), 반영(reflection), 계획(planning)의 세 요소로 구성되며, 관련 과거 경험을 동적으로 검색하고, 기억들을 고차 추론으로 반영하며, 이를 단기 및 장기 행동 계획에 연결한다. ChatGPT LLM에 이 아키텍처를 연결하여 Smallville이라는 샌드박스 게임 환경에 25개의 에이전트 사회를 구현하였다. 단 하나의 사용자 입력(“파티를 열고 싶다”)만으로 에이전트들이 자율적으로 초대, 참석 결정, 심지어 데이트 신청까지 수행하는 결과를 보여준다.

두 가지 평가를 수행하였다. 통제 평가에서는 에이전트를 자연어로 “인터뷰”하여 캐릭터 유지, 기억, 계획, 반응, 반영 능력을 검증하고, 메모리·반영·계획 각각을 제거한 ablation과 비교하였다. 종단 평가에서는 에이전트들이 2일간의 게임 시간 동안 개방형 방식으로 상호작용하며 안정성과 창발적 사회 행동을 검토하였다. 가장 흔한 오류는 관련 기억 검색 실패, 기억에 대한 과장적 윤색(fabricated embellishments), 언어 모델에서 이식된 과도하게 격식적인 발화였다.

Methods

프레임워크 개요

Generative Agent 아키텍처는 대형 언어 모델(gpt-3.5-turbo / ChatGPT)을 중심으로, Memory Stream, Reflection, Planning & Reacting이라는 세 메커니즘을 결합하여 에이전트가 과거 경험을 토대로 장기적으로 일관된 행동을 생성하도록 설계된다. 에이전트는 현재 환경 상태와 과거 경험을 입력으로 받아 자연어 행동 서술을 출력하며, 이 출력은 Smallville 샌드박스의 실제 이동·객체 상태 변경으로 전환된다.

[1] Memory Stream (메모리 스트림)

역할: 에이전트의 모든 경험을 누적 저장하는 포괄적 데이터베이스. 컨텍스트 윈도우 한계를 극복하기 위해 전체 메모리를 직접 주입하는 대신, 현재 상황과 관련 높은 레코드만을 선택적으로 검색해 LLM에 전달한다.
입력: 에이전트가 지각한 사건(자연어 문장)
출력: 메모리 객체 목록. 각 객체는 (자연어 설명, 생성 타임스탬프 creation_timestamp, 최근 접근 타임스탬프 most_recent_access_timestamp)로 구성됨.
메모리 유형: 직접 지각한 사건인 observation(예: “Isabella Rodriguez is setting out the pastries”), 더 높은 수준의 추론인 reflection, 미래 행동 계획인 plan — 세 유형 모두 동일한 스트림에 저장되어 통합 검색된다.

Retrieval Function (검색 함수) — 현재 상황을 쿼리로 받아 메모리 스트림의 부분집합을 반환한다. 각 메모리 객체는 세 점수의 가중 합산으로 순위가 매겨진다:

score = α_recency · recency + α_importance · importance + α_relevance · relevance

세 점수는 모두 min-max 정규화를 거쳐 [0, 1] 범위로 정규화되며, 현재 구현에서 모든 α = 1이다.

Recency (최신성): 마지막으로 접근된 시점 이후 경과한 샌드박스 게임 시간(hours)에 대한 지수감쇠 함수. 감쇠 인수(decay factor) = 0.995.
Importance (중요도): LLM이 메모리 생성 시 직접 1~10 정수 점수로 평가. 예: “cleaning up the room” → 2점, “asking your crush out on a date” → 8점.
Relevance (관련성): 각 메모리의 텍스트 설명을 임베딩하고, 쿼리 메모리의 임베딩과의 코사인 유사도로 계산.

컨텍스트 윈도우에 들어오는 상위 순위 메모리들이 최종적으로 LLM 프롬프트에 포함된다.

[2] Reflection (반영)

역할: 관찰(observation) 수준의 원시 메모리만으로는 추론·일반화가 불가능하다는 한계를 극복하기 위해, 여러 관찰을 종합해 고차원의 추상적 인사이트를 생성한다. 예: Klaus Mueller의 연구 관련 관찰들 → “Klaus Mueller is dedicated to his research on gentrification.”
생성 조건: 에이전트가 최근에 지각한 사건들의 importance 점수 합산이 임계치 150을 초과하면 반성을 트리거. 실제로 하루 2~3회 발생.
생성 과정:
1. 최근 100개 메모리 레코드를 LLM에 제공하고 “가장 현저한 고차원 질문 3개”를 생성 (예: “What topic is Klaus Mueller passionate about?”).
2. 생성된 질문들을 검색 쿼리로 사용해 관련 메모리(다른 reflection 포함)를 수집.
3. LLM에 수집된 메모리를 제공하고, 인사이트와 그 근거가 된 메모리 객체 포인터(예: “because of 1, 2, 8, 15”)를 추출.
4. 생성된 reflection은 메모리 스트림에 저장됨.
Reflection Tree (반영 트리): 에이전트는 observation뿐 아니라 기존 reflection을 대상으로도 재귀적으로 반성할 수 있다. 리프 노드 = 원시 observation, 상위 비리프 노드 = 점점 더 추상적인 고차원 thought가 된다.

[3] Planning & Reacting (계획 수립 및 반응)

역할: 순간별 그럴듯한 행동을 최적화하면 시간축 일관성이 훼손된다는 문제(예: 점심 식사를 12:00, 12:30, 13:00에 반복)를 해결하기 위해, 미래 행동 시퀀스를 장기 계획으로 수립하고 환경 변화에 따라 유연하게 수정한다.
Plan 구조: 각 플랜 엔트리는 (위치, 시작 시각, 지속 시간)의 형식. 예: “for 180 minutes from 9am, February 12th, 2023, at Oak Hill College Dorm: Klaus Mueller’s room: desk, read and take notes for research paper.” 플랜은 메모리 스트림에 저장되어 observation·reflection과 통합 검색된다.
재귀적 분해(Recursive Decomposition): ① 하루 전체 계획(요약 설명+전날 일정 → 5~~8개 청크) → ② 1시간 단위 분해 → ③ 5~~15분 단위 분해.
최적화: 초기에는 고수준 계획만 사전 생성하고, 근미래 행동은 just-in-time 방식으로 재귀 분해함(계획 변경 가능성이 높아 전체 선행 분해를 피함).
4.3.1 Reacting and Updating Plans: 매 타임스텝마다 환경을 지각하고, 관찰된 사건에 대해 기존 계획을 유지할지 반응할지를 LLM이 결정. 반응 판단 프롬프트에는 두 검색 쿼리(“What is [observer]‘s relationship with the [observed entity]?”, “[Observed entity] is [action status]“)로 생성된 맥락 요약이 포함되며, 반응 시 해당 시점부터 계획을 재생성한다.
4.3.2 Dialogue: 에이전트 간 상호작용 시 각자 상대방 요약 메모리 + 현재 대화 히스토리를 조건으로 utterance를 생성하고, 한쪽이 종료를 결정할 때까지 반복한다.

구조화된 세계 ↔ 자연어 변환 (Section 5.1)

샌드박스 환경(구역·객체)은 엣지가 포함 관계(containment)를 나타내는 트리 데이터구조로 표현되며, 자연어로 변환되어 에이전트에 전달된다(예: “stove”가 “kitchen”의 자식 노드 → “there is a stove in the kitchen”). 각 에이전트는 자신이 탐색한 영역의 서브그래프만 기억하며 새 영역 진입 시 트리를 갱신한다. 행동 위치 결정은 트리를 루트부터 재귀 탐색하며 각 레벨에서 LLM이 가장 적합한 하위 영역을 선택하고, 리프 노드 도달 시 전통적 게임 경로 알고리즘으로 이동 처리한다. 객체에 행동을 실행하면 LLM 쿼리로 객체 상태가 갱신된다(예: “making espresso” → coffee machine 상태 “off”→“brewing coffee”). 샌드박스 서버는 JSON으로 위치·행동·객체를 관리하며 매 타임스텝 출력을 파싱해 시뮬레이션을 갱신한다.

발견 (Findings)

발견 1 — 전체 아키텍처의 신뢰도 우위: Full Architecture(reflection + planning + observation 모두 포함)가 TrueSkill μ=29.89 (σ=0.72)로 5개 조건 중 최고점을 기록했다. 반대편 극단인 No (Reflection, Plan, Observation) 조건(= 선행 LLM 에이전트 연구 수준)은 μ=21.21 (σ=0.70)로 최저였으며, 두 조건 간 Cohen’s d=8.16(약 8 표준편차)으로 효과 크기가 극히 컸다 (§6.5.1, Fig. 8).
발견 2 — 구성요소 제거 시 단계적 성능 하락: 각 ablation은 제거된 구성요소 수에 비례해 성능이 떨어졌다. No Reflection μ=26.88, No (Reflection, Plan) μ=25.64, Human Crowdworker μ=22.95 순이었으며, 집단 비교가 통계적으로 유의미했다(Kruskal-Wallis H(4)=150.29, p<0.001; Dunn 사후검정 — 최하위 두 조건 쌍을 제외한 전 쌍 p<0.001).
발견 3 — 정보 확산 및 관계 형성 (종단 25에이전트·2게임일): Sam의 시장 출마를 아는 에이전트 수가 1명(4%) → 8명(32%)으로, Isabella의 파티를 아는 에이전트 수가 1명(4%) → 13명(52%)으로 사용자 개입 없이 자연 확산됐다. 453개 응답 중 확인된 환각은 1.3%(n=6)에 불과했고, 네트워크 밀도는 η=0.167 → 0.74로 크게 증가했다 (§7.1.2).
발견 4 — 조율 행동: Isabella 파티 초대가 12명에게 전파됐고, Valentine’s Day 당일 실제 참석자는 5명이었다. 불참 7명 중 3명은 일정 충돌, 4명은 참석 의사는 있었으나 계획 미실행을 이유로 들었다 (§7.1.2).
발견 5 — 오류 3유형 (부정 결과): (i) 메모리 검색 실패(예: Tom이 파티 내용은 기억하나 파티 존재 자체는 불확실), (ii) 환각·윤색(예: Isabella가 Sam의 없는 발표 일정을 추가; Yuriko가 18세기 Adam Smith와 마을 주민 Adam Smith 혼동), (iii) 과격식·과협조(instruction tuning 영향으로 성격과 안 맞는 제안도 수용) (§7.2).

Results

6. 통제 평가 (Controlled Evaluation)

전체 아키텍처(Full Architecture)는 5개 평가 조건 중 가장 높은 신뢰도(believability)를 기록했다(TrueSkill μ=29.89, σ=0.72; Fig. 8). 구성요소를 하나씩 제거할수록 성능이 단조롭게 감소했다: reflection만 제거한 조건 μ=26.88 (σ=0.69), reflection과 planning을 함께 제거한 조건 μ=25.64 (σ=0.68), 인간 크라우드워커 기준선 μ=22.95 (σ=0.69), reflection·planning·observation 모두 제거한 조건(= 선행 LLM 에이전트 연구 수준 [12, 46, 80]) μ=21.21 (σ=0.70) 순이었다. 전체 아키텍처와 완전 ablation 간 Cohen’s d=8.16으로, 효과 크기가 8 표준편차에 달했다(§6.5.1).

집단 비교의 통계적 유의성은 Kruskal-Wallis 검정으로 확인됐다(H(4)=150.29, p<0.001). Dunn 사후검정에서는 최하위 두 조건(Crowdworker μ=22.95와 No-(Reflection,Plan,Observation) μ=21.21) 간 차이를 제외한 모든 쌍의 차이가 유의미했다(p<0.001; §6.5.1). 100명의 Prolific 평가자(중앙연령 25-34세, 미국 거주, 영어 유창)가 within-subjects 설계로 5개 조건을 신뢰도 순으로 순위를 매겼다(§6.3). 질적 분석에서는 reflection이 있는 에이전트가 경험을 고차원적으로 종합하는 과제(예: 지인 생일 선물 추천)에서 뚜렷한 이점을 보였다(§6.5.3).

7. 종단 평가 (End-to-End Evaluation, 25에이전트·2게임일)

정보 확산: Sam Moore의 시장 출마를 인지한 에이전트 수가 1명(4%) → 8명(32%)으로, Isabella Rodriguez의 Valentine’s Day 파티를 인지한 에이전트 수가 1명(4%) → 13명(52%)으로 사용자 개입 없이 자연 확산됐다. 정보를 안다고 답한 모든 에이전트의 메모리 스트림에서 대화 출처가 확인됐으며, 환각은 발생하지 않았다(§7.1.2).

관계 형성: 시뮬레이션 시작 시 네트워크 밀도 η=0.167에서 종료 시 η=0.74로 증가하며 에이전트 간 관계가 광범위하게 형성됐다. 타 에이전트 인지에 관한 453개 응답 중 환각으로 판정된 응답은 1.3%(n=6)에 불과했다(§7.1.2).

조율: Isabella가 파티 전날 재료 수집 및 지인 초대를 진행했고, 총 12명에게 파티 정보가 전파됐다. Valentine’s Day 당일 실제로 Hobbs Cafe에 참석한 에이전트는 5명이었다(§7.1.2).

경계 조건·오류 (§7.2): 세 가지 공통 오류가 나타났다. ① 메모리 검색 실패(Rajiv Patel은 Sam 출마 소식을 접하고도 잘 모른다고 답함), ② 환각·윤색(완전 날조보다는 기존 지식을 부풀리는 형태), ③ 과격식·과협조(instruction tuning 영향으로 추정; Isabella가 셰익스피어 낭독회 등 자신의 성격과 동떨어진 제안도 수용해 결국 영문학에 관심 있다고 답하게 됨).

Discussion

주요 발견의 의미 및 선행 연구와의 비교 — 본 논문의 generative agents는 기억 스트림·반성·계획 세 축 아키텍처를 통해 인간 행동의 신뢰성 있는 시뮬레이션이 가능함을 보였다. 이는 상태 없는(stateless) 페르소나 생성 방식인 social simulacra [80]를 상태 보존(long-term experience) 기반으로 확장하며, GOMS [51]·KLM [22] 같은 인지 모델 역할을 대규모 언어 모델로 구현할 새로운 경로를 제시한다. 멀티모달 모델과 결합 시 VR 메타버스 [78], 소셜 로봇 [9] 등으로 적용 영역이 확장될 수 있다.

저자가 인정한 한계

비용 및 속도: 25개 에이전트의 2일치 시뮬레이션에 수천 달러(thousands of dollars)의 토큰 비용과 수일의 실행 시간이 소요되어 실시간 상호작용에 제약이 있다.
짧은 평가 타임스케일: 평가가 짧은 기간과 크라우드워커 비교 조건에 그쳐, 장기 행동 및 최대 인간 성능(gold standard)과의 비교가 부재하다.
견고성(robustness) 미검증: prompt hacking, memory hacking(존재하지 않은 과거 사건을 믿도록 유도), hallucination 등에 대한 취약성이 충분히 검토되지 않았다.
기반 LLM의 편향 상속: 언어 모델의 알려진 편향이 에이전트에 이어질 수 있으며, 데이터 부족으로 소외 계층(marginalized populations)에 대한 신뢰성 있는 행동 생성이 어려울 수 있다.

독자 식별 가능한 추가 한계 — 평가 지표가 believability 중심이어서 상호작용 다양성·장기 목표 일관성의 정량 측정이 부재하고, 단일 게임 환경(Smallville)에서만 검증돼 도메인 일반화가 입증되지 않았다.

향후 방향 — ① 병렬화 및 generative agents 전용 LLM 개발로 비용 절감(비용·속도 한계 대응), ② 장기 평가 및 엄격한 벤치마크 수립(짧은 평가 한계 대응), ③ prompt/memory hacking·hallucination 체계적 테스트(robustness 한계 대응), ④ 기반 LLM value alignment 개선(편향 상속 한계 대응).

윤리 및 사회적 영향 — 네 가지 위험: (1) parasocial 관계 형성 → 계산적 본질의 명시적 공개 + value alignment, (2) 오류가 사용자 경험에 미치는 영향(유비쿼터스 맥락에서 불편→해악), (3) deepfakes·허위정보·맞춤형 설득 심화 → 입출력 감사 로그(audit log) 유지, (4) 인간 이해관계자를 대체하지 않고 보완.

이론적 의의

장기 경험 기반 행동 시뮬레이션의 실증: 기억 스트림·반성·계획 아키텍처가 단순 스크립트나 상태 없는 LLM 호출로는 불가능했던 장기적·일관된 인간 행동 시뮬레이션을 최초로 체계적으로 시연했다. 계산 사회과학·HCI에서 인간 행동 모델링의 새로운 패러다임을 제시한다.
인지 모델 계보의 LLM 기반 확장: GOMS·KLM 같은 rule-based 인지 모델을 자연어 기반 LLM 아키텍처가 대체·확장할 수 있음을 보여, 인간 중심 설계 도구의 표현력을 질적으로 높이는 이론적 토대를 마련했다.
사회 시스템 프로토타이핑의 가능성 확대: social simulacra의 정적 페르소나 생성을 넘어, 장기 상태를 유지하는 다수 에이전트가 상호작용하며 창발적 사회 현상을 시뮬레이션할 수 있음을 보였다.

Discussion Points

논쟁점: 행동 “신뢰성(believability)“이 실제 인간 행동과의 일치를 의미하는지, 아니면 관찰자가 그렇게 느끼는 외양적 유사성에 불과한지. 후자라면 “인간 행동 시뮬레이션” 주장은 과대 해석일 수 있다. parasocial 위험을 “명시적 공개”만으로 충분히 완화할 수 있는지도 논쟁적이다.
검증 필요 가정: (1) 기반 LLM이 좋아지면 성능도 자동 향상된다는 가정(아키텍처 설계의 독립 기여 미분리), (2) retrieval 모듈이 올바른 기억을 정확히 선택한다는 가정(잘못된 검색의 영향에 대한 체계적 ablation 필요), (3) 크라우드워커 판단이 believability의 유효한 척도라는 가정.
후속 연구: (1) 수십~~수백 에이전트가 수 주~~수 개월 상호작용할 때의 창발 현상(규범 형성·집단 극화) 탐구, (2) memory/prompt hacking 레드팀 실험 및 아키텍처 수준 방어, (3) 소외 계층 포함 fairness 벤치마크 개발.

실험 결과 상세

[표 1] 통제 평가: 아키텍처 조건별 TrueSkill 등급 (ablation, within-subjects, n=100 평가자)

모델/조건	평가	지표	점수 (μ ± σ)	vs. 선행연구 베이스라인
Full Architecture (관찰+반성+계획)	Smallville 인터뷰 (5범주×5문항)	TrueSkill μ	29.89 ± 0.72	+8.68 (Cohen’s d=8.16)
No Reflection (관찰+계획만)	동일	TrueSkill μ	26.88 ± 0.69	+5.67
No Reflection, No Plan (관찰만)	동일	TrueSkill μ	25.64 ± 0.68	+4.43
Human Crowdworker (인간 기준선)	동일	TrueSkill μ	22.95 ± 0.69	+1.74
No Observation, No Reflection, No Plan (선행연구 베이스라인)	동일	TrueSkill μ	21.21 ± 0.70	기준 (0.00)

Kruskal-Wallis: H(4)=150.29, p<0.001
Dunn 사후검정 (Holm-Bonferroni 보정): 크라우드워커 vs. 완전 제거 쌍을 제외한 모든 쌍 p<0.001
Cohen’s d=8.16 (Full vs. 선행연구 베이스라인)

[표 2] 종단 평가: 2 게임일, 25 에이전트

측정 항목	지표	시작	종료	변화량
Sam 시장 출마 인지 에이전트 수	정보 확산율	1명 (4%)	8명 (32%)	+7명 (+28%p)
Isabella 파티 인지 에이전트 수	정보 확산율	1명 (4%)	13명 (52%)	+12명 (+48%p)
소셜 네트워크 밀도 η	관계 형성	0.167	0.74	+0.573
에이전트 응답 중 환각 비율	환각률	—	1.3% (n=6 / 453응답)	—
Isabella 파티 실제 참석자	초대 대비 참석	—	5명 / 12명 초대	참석률 41.7%

프레임워크 다이어그램

graph TB
    A["환경 지각<br/>(Perceive)"]
    B["메모리 스트림<br/>(Memory Stream)"]
    C["검색<br/>(Retrieve)"]
    D["검색된 기억<br/>(Retrieved Memories)"]
    E["행동 생성<br/>(Act / React)"]
    F["반영<br/>(Reflect)"]
    G["계획<br/>(Plan)"]

    A -->|"관찰 저장"| B
    B -->|"관련성·최신성·중요도 기반"| C
    C --> D
    D --> E
    D --> F
    D --> G
    F -->|"고수준 추론 저장"| B
    G -->|"행동 계획 저장"| B
    E -->|"다음 타임스텝"| A

[Figure 5 재현] Generative Agent 아키텍처 핵심 루프 — 메모리 스트림은 모든 관찰·반영·계획을 자연어로 저장하는 중심 데이터베이스. 검색 함수 score = α_recency·recency + α_importance·importance + α_relevance·relevance (α 모두 1, recency decay=0.995). 반영은 중요도 합이 임계치 150 초과 시 생성되어 고수준 추론 트리를 형성하며 메모리 스트림에 재진입. 계획은 하루→1시간→5~15분 단위로 재귀 분해.

재현성 및 신뢰도 평가

항목	등급	비고
코드 공개	✅	https://github.com/joonspk-research/generative_agents 에 시뮬레이션 코드 전체 공개
데이터 공개	⚠️	25 에이전트 설정·시뮬레이션 로그 일부 공개; 평가 인터뷰 응답 원데이터·Prolific 모집 원자료 미공개
하이퍼파라미터	✅	recency decay=0.995, 반성 임계치=150, 검색 α=1(3종), 평가 5범주×5문항, n=100 상세 기술. Appendix B에 프롬프트 전문
실험 환경	⚠️	기반 모델 gpt-3.5-turbo. 25에이전트 2일 시뮬레이션에 수천 달러·수일 소요 명시하나 API 버전·정확한 비용·실행 날짜 미기재. gpt-3.5-turbo 비결정성으로 완전 재현 불가
통계적 신뢰도	✅	비모수 검정(Kruskal-Wallis H(4)=150.29, p<0.001) + Dunn 사후검정 + Holm-Bonferroni 보정. Within-subjects 설계. TrueSkill 순위→구간척도 변환. Cohen’s d=8.16 효과크기 보고
종합 등급	B	코드·하이퍼파라미터·통계는 우수하나, LLM 비결정성·수천 달러 재현 비용·평가 원자료 미공개가 완전 재현의 실질적 장벽

주장별 신뢰도

#	주장	근거	신뢰도
1	Full Architecture가 모든 ablation 및 인간 크라우드워커를 신뢰도에서 능가	μ=29.89 vs. 21.21~26.88; Kruskal-Wallis H(4)=150.29 p<0.001; Dunn 전 쌍 p<0.001; n=100 within-subjects	🟢
2	Reflection이 Plan보다 독립적으로 더 큰 신뢰도 향상에 기여	반성 제거 낙폭(29.89→26.88=3.01) > 계획 추가 제거 낙폭(26.88→25.64=1.24)	🟢
3	에이전트 사회에서 정보가 자율 확산되고 관계가 자발 형성	Sam 4%→32%, Isabella 4%→52%; 밀도 0.167→0.74; 환각 없이 확인. 단 n=25 단일 실행으로 분산 불명	🟡
4	환각 비율이 낮음(1.3%)	453 응답 중 6건 메모리 대조 확인. 단일 2일 실행·수작업 라벨링·환각 구분 기준 불명확	🟡
5	아키텍처가 gpt-3.5-turbo 이외 더 강력한 모델로 확장 가능	GPT-4 등 언급하나 실험적 검증 없음. 근거는 이론적 추론에 한정	🔴

읽기 난이도: ⭐⭐ — 핵심 아이디어(메모리·반성·계획 루프)는 Sims 비유로 직관적이나, TrueSkill·Kruskal-Wallis+Dunn+Holm-Bonferroni·임베딩 코사인유사도·재귀적 계획 분해 등 중간 수준 기술 세부가 포함. 필요 배경: LLM 프롬프팅 기초, 비모수 통계검정, TrueSkill, 임베딩 코사인유사도, HCI 평가 방법론(Prolific, within-subjects).

축	Generative Agents (본 논문, UIST 2023)	Social Simulacra (base/direct, UIST 2022)	ReAct (alternative, ICLR 2023)	Voyager (alternative/sota, 2023)
핵심 접근	Memory stream + Reflection + Planning 아키텍처로 25명 에이전트의 believable 개인·사회 행동 시뮬레이션	LLM 프롬프트 체인으로 수천 명 가상 커뮤니티 멤버·게시물·반사회적 행동 일괄 생성	Reasoning trace ↔ Task action 교차 생성으로 단일 에이전트 과제 수행	자동 커리큘럼 + 코드 스킬 라이브러리 + 반복 프롬프팅으로 Minecraft 평생학습
문제 정의	시간 경과에 따라 believable 행동을 유지하고 창발적 사회 현상이 나타나는가	실제 사용자 없이 현실적 커뮤니티 반응을 미리 시뮬레이션할 수 있는가	LLM이 환경과 상호작용하며 reasoning·acting을 결합해 복잡 과제를 수행할 수 있는가	LLM 에이전트가 오픈월드에서 인간 개입 없이 점진적으로 새 기술을 습득·일반화할 수 있는가
데이터 / 환경	Smallville 커스텀 sandbox (25명, 2일 종단)	Reddit 등 실제 온라인 커뮤니티 데이터 기반 시드	HotpotQA, FEVER, ALFWorld, WebShop	Minecraft 오픈월드
메모리 메커니즘	장기 자전적 Memory Stream + Retrieval(최신성·중요도·관련성) + 고차 Reflection	세션 내 단기 컨텍스트, 장기 메모리 없음	단기 컨텍스트 내 reasoning trace, 외부 검색 API, 장기 메모리 없음	코드 스킬 라이브러리(프로그램) 누적; 자전적·서사적 메모리 없음
다중 에이전트 사회	25명 간 대화·관계·정보 전파 → 창발적 사회 행동	수천 명 생성이나 상호작용 시뮬레이션 아님(정적)	단일 에이전트 전용	단일 에이전트 전용
평가 방식	인터뷰 believability + ablation 행동 일관성	연구자·실무자 유용성(정성)	HotpotQA EM, ALFWorld success 등(정량)	획득 아이템 수·탐험 범위·기술 수(정량)
기반 모델	GPT-3.5-turbo	GPT-3 계열	PaLM, GPT-3 계열	GPT-4
코드 공개	✅	❌	✅	✅

원자적 인사이트 (Zettelkasten)

💡 LLM 에이전트의 장기 일관성 병목은 추론이 아니라 “자연어 기억 구조”다

유형: 이론적

LLM은 단발 추론은 잘하지만 컨텍스트 윈도우 한계로 방대한 과거 경험을 다 담을 수 없어 장기 일관성이 무너진다. 해법은 모델을 더 키우는 것이 아니라, 모든 경험을 자연어 메모리 객체로 외부에 쌓고 필요할 때만 가중 검색으로 끌어오는 “기억 아키텍처”를 LLM 위에 얹는 것이다. 즉 똑똑함의 문제가 아니라 “자기가 누구였는지 기억하는가”의 문제로 재정의한 것이 핵심 전환이다.

조건/맥락: 컨텍스트 윈도우가 전체 경험을 담기에 부족한 장기·다중 세션 에이전트 설정. first-order 프롬프트로는 불가능.
연결: ReAct - 추론과 행동의 결합, LLM Long-term Memory, Retrieval-Augmented Generation

💡 Reflection(관찰의 재귀적 종합)이 믿을 만한 행동에 단일 최대 기여를 한다

유형: 실험적

원시 관찰만 검색해 행동하면 일관성이 떨어진다. 중요도 합이 임계치(150)를 넘을 때 LLM이 관찰들을 종합해 “나는 연구에 헌신적이다” 같은 고차 결론을 도출하고, 이 결론이 다시 상위 reflection의 재료가 되는 reflection tree(잎=관찰, 상위=추상)를 형성한다. ablation에서 reflection을 빼자 TrueSkill 점수가 29.89→26.88로 떨어져, 세 구성요소 중 reflection 제거의 타격이 가장 컸다.

조건/맥락: 관찰이 충분히 누적되어 종합할 거리가 있을 때(하루 2~3회 트리거). 누적형 시뮬레이션에서 효과 발현.
연결: Chain-of-Thought Prompting, Self-Reflection in LLM Agents, Hierarchical Abstraction

💡 단일 seed에서 사회적 행동이 창발한다 — 집단 행동을 일일이 코딩할 필요가 없다

유형: 실험적

“Isabella가 발렌타인 파티를 열고 싶다”는 단 하나의 의도만 주입했는데, 25명 에이전트 집단에서 초대 전파·데이트 신청·실제 참석이 명시적 프로그래밍 없이 자연 발생했다. 정보 확산은 측정 가능했다: 출마 인지율 4%→32%, 파티 인지율 4%→52%, 네트워크 밀도 0.167→0.74(2게임일). 개별 에이전트의 로컬 상호작용이 집단 수준 패턴으로 올라온 것이다.

조건/맥락: 다수 에이전트가 공유 환경에서 상호작용하고 각자 메모리·계획을 보존할 때. 단일 에이전트로는 관찰 불가능.
연결: Social Simulacra, Emergent Behavior in Multi-Agent Systems, Agent-Based Modeling

💡 Instruction tuning은 양날의 검 — 에이전트를 과도하게 격식·협조적으로 만든다

유형: 실패-한계

명령 수행에 맞춰 튜닝된 LLM은 에이전트로 쓰일 때 비현실적으로 정중하고, 갈등을 피하며, 지나치게 협조적인 톤을 보였다. 사람다운 믿음직함을 목표로 할 때, 정렬(alignment)을 위한 instruction tuning이 오히려 행동의 자연스러움을 깎아내리는 부작용으로 작용한 것이다. 환각률 자체는 1.3%로 낮았으나, 이 톤 편향은 별개의 구조적 한계였다.

조건/맥락: instruction-tuned 모델(gpt-3.5-turbo)을 행동 시뮬레이션에 전용할 때. 베이스 모델 대비 톤 평탄화.
연결: RLHF Alignment Tax, Persona Consistency in LLMs, Believability vs Helpfulness Tradeoff

핵심 용어 정리

용어	정의
Generative Agent (생성형 에이전트)	LLM에 메모리·반영·계획 아키텍처를 결합해, 과거 경험을 누적하며 장기적으로 일관되고 믿을 만한 개인·사회적 행동을 시뮬레이션하는 가상 인물.
Memory Stream (메모리 스트림)	에이전트의 모든 경험을 “자연어 설명 + 생성시각 + 최근접근시각”을 가진 메모리 객체로 시간순 저장하는 외부 기억 저장소.
Retrieval Score (검색 점수)	수천 개 기억 중 현재 필요한 것을 골라내는 가중합. recency(최신성, 지수감쇠 0.995) + importance(LLM이 매긴 1~10 중요도) + relevance(쿼리 임베딩과의 코사인유사도), 본문에서 모든 가중치 α=1.
Reflection (반영)	누적된 원시 관찰을 LLM이 종합해 “나는 연구에 헌신적이다” 같은 고차 결론을 도출하는 추론 단계. 중요도 합이 임계치 150을 넘으면 트리거(하루 2~3회).
Reflection Tree (반영 트리)	잎 노드는 원시 관찰, 상위 노드는 그 관찰들을 종합한 추상으로 구성되는 재귀적 추론 구조. 상위 반영이 다시 더 높은 반영의 재료가 됨.
Planning (계획)	에이전트가 하루 일정을 1시간→5~15분 단위로 재귀 분해하고, 환경 변화 시 즉석에서 반응(react)한 뒤 일정을 다시 짜는 행동 조직화 메커니즘.
Believability (믿음직함)	에이전트의 행동이 관찰자에게 “실제 사람처럼 그럴듯하게” 느껴지는 정도. 본 연구가 평가하려는 핵심 품질 지표.
First-order Prompt (1차 프롬프트)	현재 환경·맥락만으로 LLM에 즉답을 요청하는 방식(few-shot, CoT 등). 방대한 과거 경험과 장기 일관성을 다루지 못하는 한계.
Emergent Behavior (창발 행동)	명시적으로 프로그래밍하지 않았는데 개별 에이전트들의 로컬 상호작용에서 자연 발생하는 집단 수준 패턴(예: 파티 초대 전파, 관계 형성).
TrueSkill	Microsoft가 개발한 베이지안 스킬 랭킹 시스템. 본 논문에서 여러 ablation 조건 간 믿음직함을 쌍대비교 결과로 순위화하는 데 사용(전체 μ=29.89).
Network Density (네트워크 밀도)	가능한 전체 관계 대비 실제로 형성된 관계의 비율(η = 2
Hallucination (환각)	에이전트가 일어나지 않은 사실이나 존재하지 않는 정보를 사실처럼 생성·윤색하는 오류. 본 실험 환각률 1.3%(453개 중 6건).
Context Window (컨텍스트 윈도우)	LLM이 한 번에 입력으로 받아 처리할 수 있는 토큰(글자) 분량의 상한. 장기 경험 누적의 근본 병목.
Sandbox (샌드박스)	에이전트들이 상호작용하며 사는 통제된 가상 환경. 본 연구는 25명 에이전트가 거주하는 Smallville을 Phaser 게임 엔진으로 구현.

BibTeX

@inproceedings{park2023,
  title={Generative Agents: Interactive Simulacra of Human Behavior},
  author={Park, Joon Sung and O'Brien, Joseph C. and Cai, Carrie J. and Morris, Meredith Ringel and Liang, Percy and Bernstein, Michael S.},
  booktitle={Proceedings of the 36th Annual ACM Symposium on User Interface Software and Technology},
  series={UIST '23},
  year={2023},
  month={October},
  address={San Francisco, CA, USA},
  pages={1--22},
  doi={10.1145/3586183.3606763},
  url={https://arxiv.org/abs/2304.03442},
  eprint={2304.03442},
  archivePrefix={arXiv},
  primaryClass={cs.HC}
}

생성형 에이전트: 인간 행동의 상호작용적 시뮬라크라

생성형 에이전트: 인간 행동의 상호작용적 시뮬라크라

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

프레임워크 개요

[1] Memory Stream (메모리 스트림)

[2] Reflection (반영)

[3] Planning & Reacting (계획 수립 및 반응)

구조화된 세계 ↔ 자연어 변환 (Section 5.1)

발견 (Findings)

Results

6. 통제 평가 (Controlled Evaluation)

7. 종단 평가 (End-to-End Evaluation, 25에이전트·2게임일)

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

주장별 신뢰도

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

💡 LLM 에이전트의 장기 일관성 병목은 추론이 아니라 “자연어 기억 구조”다

💡 Reflection(관찰의 재귀적 종합)이 믿을 만한 행동에 단일 최대 기여를 한다

💡 단일 seed에서 사회적 행동이 창발한다 — 집단 행동을 일일이 코딩할 필요가 없다

💡 Instruction tuning은 양날의 검 — 에이전트를 과도하게 격식·협조적으로 만든다

핵심 용어 정리

관련 연구

태그

BibTeX