기계 마음 이론 (Machine Theory of Mind)

Digest: 사람은 타인의 뉴런이나 정책 파라미터를 들여다보지 않고도 행동만 관찰해 그의 목표·믿음·의도를 추론하는데(심리학에서 Theory of Mind, ToM), 이를 기계가 갖추려면 보통 손으로 설계한 Bayesian 역계획(inverse planning)이나 역강화학습(IRL, 보상함수를 거꾸로 추정)에 의존해 비용이 크고 일반화가 어려웠다. 이 논문은 ToM 자체를 메타러닝 문제(여러 에이전트를 거치며 “새 에이전트를 빨리 모델링하는 법”을 학습)로 재정식화해, 관찰자 신경망 ToMnet이 ① 모집단 공통의 사전지식(general theory of mind, 학습된 가중치)과 ② 한 에이전트의 과거 궤적에서 온라인으로 형성하는 개체별 임베딩 e_char(agent-specific theory of mind)를 분리해 다음 행동·소비 대상·후속표현(successor representation)·믿음을 예측하게 만든다. 11×11 그리드월드에서 랜덤·알고리즘·심층RL 에이전트를 대상으로, ToMnet은 (a) Dirichlet 정책 종(species)에 대해 Bayes-최적 계층적 추론을 근사하고, (b) 단 몇 개 관찰로 목표를 추론(few-shot IRL)하며, (c) 심층RL 에이전트의 시야·기억 차이를 disentangle된 임베딩으로 분리하고 좌수법/우수법 같은 새 행동 하위종까지 발견하며, (d·e) 무엇보다 에이전트가 세계에 대해 거짓믿음을 가질 수 있음을 행동만 보고 암묵적으로 학습하고(그리드월드판 Sally-Anne 테스트 통과) 나아가 믿음 상태를 명시적으로 보고하도록 확장된다. 한계는 그리드월드에 국한된 단순 실험이고, 명시적 믿음 추론은 에이전트가 자기 믿음을 보고해 주는 풍부한 통신 채널을 가정한다는 점이며, 핵심 질문은 “이 자율적 ToM이 풍부한 3D·다중에이전트 환경과 관찰자 자신의 부분관찰성까지 확장될 수 있는가”이다. ToMnet은 인간과 인공 에이전트 사이의 해석 가능성 중개 계층(machine anthropology)을 향한 첫걸음으로 제시된다.

섹션별 요약

Abstract

Theory of Mind(ToM)은 타인의 욕구·믿음·의도 같은 정신 상태를 표상하는 인간 능력을 가리킨다. 저자들은 기계가 이런 모델을 스스로 만들도록 학습시키는 ToMnet(Theory of Mind neural network)을 제안한다. ToMnet은 메타러닝으로, 에이전트의 행동 관찰만으로 그 에이전트의 모델을 구축한다. 이를 통해 (1) 에이전트 행동에 대한 강한 사전(prior)을 획득하고, (2) 소수의 행동 관찰만으로 에이전트의 특성·정신 상태에 대한 더 풍부한 예측으로 부트스트랩한다. 단순 그리드월드의 랜덤·알고리즘·심층RL 에이전트에 적용해, 다양한 모집단의 에이전트를 모델링하는 법을 학습함을 보이고, 타인이 거짓믿음을 가질 수 있음을 인식하는 고전 ToM 과제(“Sally-Anne” 테스트)를 통과함을 보인다.

저자 contribution

ToM을 메타러닝으로 재정식화: 새 에이전트를 빠르게 모델링하는 능력을 여러 에이전트를 거치며 학습한다(손으로 짠 에이전트 모델·IRL·Bayesian ToM에 의존하지 않음).
general ToM(학습 가중치) vs agent-specific ToM(개체 임베딩 e_char) 의 분리 — 모집단 사전(prior)과 개체 사후(posterior)에 대응.
행동 관찰만으로 거짓믿음(false belief) 을 암묵적·명시적으로 학습하는 신경망 ToM 시스템을 처음 제시(자율적·확장가능·해석가능을 강조).

왜 이 연구를 하는가?

딥러닝·심층RL 시스템이 불투명한 블랙박스로 비판받는 가운데, 인공 에이전트가 인간 세계에 들어올수록 “이들을 이해해야 한다”는 요구가 커진다. 그런데 사람이 타인을 이해하는 방식은 뉴런 활동이나 전전두엽 회로를 추정하는 것이 아니라 고수준 정신 상태 모델(욕구·믿음·의도)을 쓰는 것이다(인지심리학의 ToM). 기존 기계 ToM 연구는 손으로 설계한 (준)합리적 계획기, Bayesian 추론, IRL, 게임이론에 의존했고 — 이들은 계산 비용이 크고(특히 온라인 추론), 도메인마다 새로 짜야 했다. 핵심 연구질문(RQ): 관찰자가 제한된 행동 관찰만으로 타 에이전트의 모델을 어떻게 자율적으로(autonomously) 학습할 수 있는가? 저자들의 핵심 통찰은 “ToM의 많은 초기 난제가 올바르게 정식화되면 단순한 학습 문제로 환원된다”는 것이며, 그 올바른 정식화가 메타러닝이다.

Introduction

저자들은 인간 ToM에서 영감을 얻되, 에이전트 행동의 생성 모델을 주장해 그것을 역전(invert)하는 대신, 관찰자가 제한된 데이터로 자율적으로 타 에이전트를 모델링하는 문제에 집중한다. 이를 메타러닝 과제로 본다: 테스트 시 처음 보는 새 에이전트를 만나도 강한 사전을 갖고, 그의 행동 흔적을 수집해(사후 형성) 미래 행동 예측을 개선한다. 이때 두 구성요소를 구분한다 — general theory of mind(모든 에이전트의 공통 행동을 담는 학습된 네트워크 가중치)와 agent-specific theory of mind(테스트 시 한 에이전트 관찰로 형성되어 그 개체의 성격·정신 상태를 담는 임베딩). 이는 각각 에이전트 행동에 대한 prior와 posterior에 해당한다. 응용으로는 가치정렬(value alignment), 유연한 협력, 기계 윤리, 의사소통·교육, 그리고 자연·인공 모집단의 구조를 발견하는 machine anthropology가 제시된다. 논문 자체는 복잡도를 점증시키는 일련의 실험(§3.1~3.5)으로 구성된다.

Methods

과제 정식화 (§2.1). 부분관찰 마르코프 결정과정(POMDP) 가족 𝓜=⋃ⱼ𝓜ⱼ(예: 벽·물체 배치가 다른 그리드월드)와 에이전트 가족 𝓐=⋃ᵢ𝓐ᵢ(각자 관찰함수 ωᵢ·보상 Rᵢ·할인 γᵢ·정책 πᵢ)를 가정한다. 정책은 stateful(πᵢ(·|ωᵢ(sₜ),hₜ))도 허용. 관찰자는 에이전트 궤적의 (부분/노이즈) 관찰 τᵢⱼ^obs를 보지만 에이전트의 파라미터·보상·정책·식별자에는 접근하지 못한다(모든 실험에서 관찰함수는 항등 — 관찰자는 상태·행동을 다 보되 내부는 못 봄). 정보 비대칭: “교사”(에이전트)가 환경에 대해 “학생”(관찰자)보다 덜 알 수도 있고 체계적 편향을 가질 수 있다.

메타러닝 셋업. 관찰자는 새 에이전트의 과거 에피소드 집합 {τᵢⱼ}_{j=1}^{N_past}(N_past는 가변, 0도 가능)를 본 뒤, 현재 에피소드(시점 t까지 부분궤적 시드 가능)에서의 행동·정신 상태를 예측한다. 목표는 모방이 아니라 다른 과제에 유용한 예측·추상화 형성이며, 온라인 동작을 위해 추론 속도에 높은 우선순위를 둔다(고전 IRL/Bayesian ToM의 비용 회피 — 추론을 신경망으로 amortize).

아키텍처 (§2.2, Fig 1) — 3 모듈:

Character net f_θ: 과거 에피소드들을 각각 독립 파싱해 e_char,ij = f_θ(τᵢⱼ^obs)를 만들고 합산 e_char,i = Σⱼ e_char,ij → 개체 특성 임베딩.
Mental state net g_φ: 현재 에피소드의 t−1까지 궤적과 e_char,i로 e_mental,i = g_φ(τᵢₖ^obs[0:t−1], e_char,i) → 현재 정신 상태(“mentalise”) 임베딩.
Prediction net: e_char·e_mental·현재 상태(query)를 받아 공유 torso + 분리 head로 예측: 다음 행동 정책 π̂(·|xₜ^obs, e_char, e_mental), 물체별 소비 확률 ĉ(시그모이드 Bernoulli), 후속표현 SR̂(여러 할인 γ에 대한 정규화 할인 점유), 그리고 §3.5에서 믿음 상태 b̂.

입력 전처리: 상태는 (11×11×K) 텐서, 행동은 길이 5 벡터를 공간에 타일링해 concat(spatialisation-concatenation). char/mental net은 resnet+convLSTM, prediction net은 5-layer resnet torso + head별 conv. 손실(부록 B)은 행동 NLL + 소비 NLL + SR 교차엔트로피 + 믿음 교차엔트로피의 합, Adam(lr 1e-4, 랜덤 에이전트 40k minibatch / 그 외 2M, batch 16). 심층RL 에이전트는 UNREAL 기반으로 별도 학습(보조 믿음 과제 추가, 코어 알고리즘은 종에 맞춰 바꾸지 않음).

발견 (Findings)

§3.1 랜덤 에이전트 — Bayes-최적 계층 추론을 학습. 종 S(α)는 πᵢ~Dir(α). α=0.01(거의 결정적)~α=3(확률적). 단일 종으로 학습한 ToMnet은 πᵢ를 향한 온라인 추론이 해석적 Bayes-최적 사후(Dirichlet)와 일치하고(Fig 3a), 2D e_char가 경험적 행동 횟수의 정준 방향으로 분리된다(Fig 3b). 여러 종 혼합으로 학습하면 암묵적으로 계층적 추론(먼저 종을 추론, 그 뒤 정책)을 수행한다(Fig 3d).
§3.2 목표지향 에이전트 — few-shot IRL. 4개 물체·희소 보상(Dir α=0.01)·이동비용 −0.01·greedy는 이동비용 0.5, value iteration 최적 정책. ToMnet은 과거 궤적에서 하위종(먼 물체를 일부러 먹는지/가까운 물체를 greedy하게 먹는지)을 추론해 다음 행동·소비·SR을 예측. N_past=0이어도 합리적 행동의 강한 사전을 가짐. 2D e_char가 선호 물체별로 legible — IRL처럼 보상함수를 명시 추론하지 않고도 목표 정보가 임베딩에 드러남.
§3.3 심층RL 에이전트 — disentangled 임베딩 + 새 하위종 발견. 3종(blind: 미관찰·LSTM기억만 / sighted-stateless: 5×5 관찰·무기억·반응형 / sighted-stateful: 둘 다). UNREAL 기반 120 학습 + 120 테스트 에이전트(3종×4선호물체×10시드). char+mental net 둘 다 필요. Deep Variational Information Bottleneck(DVIB) 으로 e_char∈ℝ⁸이 종·선호물체 같은 변동 요인을 disentangle. 더 나아가 sighted/stateless를 미리 몰랐던 두 하위종 — 우수법/좌수법(right/left-hand wall-following rule) — 으로 군집화해 새 추상을 발견(Fig 9).
§3.4 거짓믿음 — 행동만으로 암묵 학습. swap event(확률 p=0.1로 물체 위치가 순간 치환, 에이전트 시야 밖이면 못 봄)를 넣은 그리드월드. ToMnet은 swap이 에이전트 시야 밖에서 일어나면 그 에이전트가 거짓믿음에 따라 행동할 것으로 예측(Sally-Anne, Fig 11). 자연 Sally-Anne(분포 내 모든 swap, swap distance 1~5; 3×3 vs 9×9 시야)에서도 시야가 좁을수록 거짓믿음에 취약함을 학습. 놀랍게도 학습 중 swap을 한 번도 안 봤어도 동일 통계를 학습(Fig A1).
§3.5 명시적 믿음 추론. 믿음 예측 head(물체별 122차원 = 11×11 위치 + 부재) 추가, 지도학습된 믿음 상태로 학습. ToMnet은 관찰 가능한 swap은 믿음 변화로, 시야 밖 swap은 믿음 불변으로 예측(Fig 13). 다양한 시야 혼합 모집단에서 “에이전트가 무엇을 볼 수 있고 따라서 무엇을 믿을지”를 행동만으로 추론.

Results

정량 핵심은 Table A1(Fig 7의 세 예측에 대한 손실; char/mental net 유무별, train/test). 행동 손실: char+mental both = 0.72/0.73(최저), none=1.14/1.12, char만=0.84/0.86, mental만=0.83/0.98. 소비 손실: both 0.16/0.14, none=0.34/0.36. 후속표현 손실: both 2.16/2.04, none=2.48/2.53. 임베딩을 미니배치 내에서 shuffle하면 손실이 크게 악화(예: 행동 both+shuffled e_char 1.57)되어 — 두 임베딩이 실제로 예측 정보를 담음을 확인. §3.1에서는 ToMnet 예측 사후와 해석적 Bayes-최적 KL 발산이 일치(Fig 3); 다른 종에 테스트하면 예측이 나빠져(Fig 3c) — 학습 종에 특화된 prior를 배웠음을 보임. 전반적으로 정량(손실·KL)과 정성(임베딩 시각화·예측 정책 화살표·SR 히트맵)이 모두 일관된 그림을 그린다.

Discussion

저자들은 메타러닝만으로 — ToM 아키텍처에 특별한 인지 장치를 넣지 않고 — POMDP에서 유능한 에이전트를 관찰하는 것만으로 표상적 ToM(거짓믿음 포함)이 창발할 수 있음을 보였다고 정리한다. 다만 이 능력을 아키텍처의 특별함으로 과대해석하면 안 되며, 매우 단순한 신경망이 competent 에이전트를 관찰하는 데서 나온다는 점을 강조한다.

Discussion Points

한계 (2+): (1) 모든 실험이 통제 용이성 때문에 그리드월드에 국한 — 풍부한 3D·복잡한 상태공간으로의 확장은 미래 과제. (2) 관찰자 자신의 부분관찰성(관찰자가 무엇을 모르는지)을 실험하지 않음 — 실세계 사회적 상호작용의 핵심 추론 문제로 남음. (3) §3.5 명시적 믿음 추론은 에이전트가 자기 믿음을 보고하는 풍부한 통신 채널과 모든 물체의 믿음 상태에 대한 지도 신호를 가정 — 실세계에서 깨지는 가정.
향후 방향 (1+): 더 풍부한 환경·다중에이전트 과제 내부에 ToMnet을 탑재; 에이전트 모델의 생성적 귀납 편향 도입; 에이전트가 자기 경험·인지에서 타인 모델을 끌어오게 하기; animate/inanimate·prosocial/adversarial 등 더 많은 특성 축; 자연·인공 모집단 구조를 발견하는 machine anthropology.
논쟁점/검증 가정: “거짓믿음 통과 = 진짜 ToM인가” — 저자는 신중하게 표상적 ToM의 창발로만 주장하고 인간 인지와 동일시하지 않음(인간 판단과의 정렬은 미래 과제로 명시). 또 KL 대신 Jensen-Shannon 발산을 쓴 이유(희소 분포에서 KL의 불안정성, 부록 F.2)도 방법론적 선택.

이론적 의의

이 연구는 “타인을 이해한다”를 추론·예측 문제로 환원하고, 그 추론을 신경망으로 amortize하면 거짓믿음 같은 ToM의 정수까지 자율 학습된다는 것을 보였다. 즉 ToM은 특수 모듈이 아니라 유능한 행동을 충분히 관찰하면 따라오는 통계적 산물일 수 있다는 강한 함의를 준다. 동시에 ToMnet은 인간 기대와 기계 내부 사이의 차원 축소된 중개 표상(해석 가능성 인터페이스)을 제공해, 인공 에이전트를 사람이 이해하는 새 방식을 연다.

실험 결과 상세

실험 (Section)	에이전트 종 / 환경	ToMnet 구성	예측 대상	핵심 수치 / 결과	출처
§3.1 랜덤	πᵢ~Dir(α), α∈{0.01,0.03,0.1,1,3}, 11×11	char net만 (2D `e_char`), N_past~U{0,10}, 길이1 궤적	초기 행동 π̂	ToMnet 사후 = 해석적 Bayes-최적 Dirichlet 사후와 일치(Fig 3a); 혼합 종 → 계층 추론(Fig 3d)	Fig 3
§3.2 목표지향	4물체, 보상~Dir(0.01), 이동 −0.01·벽 0.05, greedy 이동 0.5, value iteration	char(+full traj) net, N_past~U{0,5}/U{0,10}	다음 행동·소비 ĉ·SR̂	소수 관찰로 하위종(우회 vs greedy) 추론; N_past=0도 강한 사전; 2D `e_char` 선호물체별 분리(Fig 5d)	Fig 4,5,6
§3.3 심층RL	blind / sighted-stateless / sighted-stateful, UNREAL, 120 train + 120 test (3종×4물체×10시드)	char+mental net, N_past=4, DVIB `e_char∈ℝ⁸`	행동·소비·SR	disentangled 임베딩(종·선호물체 분리); sighted-stateless의 우수법/좌수법 하위종 발견(Fig 9)	Fig 7,8,9
§3.4 거짓믿음 (암묵)	swap p=0.1, 5×5 시야(자연: 3×3/9×9, swap dist 1~5)	§3.3과 동일 + N_past=4	행동·SR	시야 밖 swap → 거짓믿음 행동 예측(Fig 11,12); swap 미학습 시에도 동일 통계 습득(Fig A1)	Fig 10–12, A1
§3.5 명시적 믿음	다양 시야 혼합, 지도 믿음 라벨	+ belief head (물체별 122-dim)	믿음 상태 b̂	관찰가능 swap→믿음변화, 시야밖 swap→믿음불변 예측; 9×9가 3×3보다 긴 범위 믿음갱신(Fig 13)	Fig 13,14

Table A1 (정량, train/test 손실, char/mental net 유무):

예측	none	char net	mental net	both
Action loss	1.14 / 1.12	0.84 / 0.86	0.83 / 0.98	0.72 / 0.73
Consumption loss	0.34 / 0.36	0.19 / 0.16	0.32 / 0.30	0.16 / 0.14
Successor loss	2.48 / 2.53	2.23 / 2.21	2.36 / 2.29	2.16 / 2.04

임베딩 shuffle 시 손실 급증(예: action both+shuffled e_char 1.57, +shuffled both 1.99) → 두 임베딩이 실제 예측 정보를 담음을 입증.

프레임워크 다이어그램

flowchart TD
    PT["과거 궤적들 N_past episodes"] --> CN["Character Net f_theta<br/>per-episode parse + sum"]
    CN --> EC["e_char<br/>general theory of mind"]
    RT["현재 episode 부분궤적 0:t-1"] --> MN["Mental Net g_phi"]
    EC --> MN
    MN --> EM["e_mental<br/>agent-specific mental state"]
    CS["현재 상태 s_t (query)"] --> PN["Prediction Net<br/>shared torso + heads"]
    EC --> PN
    EM --> PN
    PN --> PI["pi-hat: next-step action"]
    PN --> CC["c-hat: object consumption"]
    PN --> SR["SR-hat: successor representation"]
    PN --> BEL["b-hat: belief states (3.5)"]

재현성 및 신뢰도 평가

종합 재현성 등급: C. 강점 — 부록 A~D에 아키텍처·손실·하이퍼파라미터·환경(그리드월드 규격·보상·UNREAL 설정: lr 1e-5, 100M 스텝, 16 CPU, 660 에이전트=33시드×5시야×2아키텍처×2깊이, 조건별 top20→train/test 10/10, 보상 순열 ×4 → 조건별 40+40)이 상세히 기술됨. 약점 — 공개 코드·데이터·체크포인트 없음, 커스텀 그리드월드/에이전트 시뮬레이터 의존, 일부 결과가 정성적 시각화 위주라 정확 재현이 어려움.
증거 품질 등급: B. Table A1·KL/JS 발산 등 정량 근거 + 다수 정성 시각화(임베딩·예측 정책·SR 히트맵)가 일관. 다만 통계적 유의성·다중 시드 분산 보고는 제한적이고 핵심 주장 상당수가 정성적.
주장별 신뢰도 (2+): (1) “char+mental 둘 다가 최고 예측”(Table A1) — 높음(명확한 정량 ablation, train/test 일관). (2) “ToM이 Bayes-최적 추론을 근사”(§3.1, Fig 3) — 높음(해석적 사후와 직접 비교). (3) “행동만으로 거짓믿음을 학습”(§3.4) — 중간(설득력 있는 정성 증거 + swap 미학습 통제(Fig A1)이나 그리드월드 한정).

연구	핵심 접근	에이전트 모델	추론 방식	거짓믿음	도메인	코드공개
ToMnet (Rabinowitz 2018, 본 논문)	메타러닝으로 ToM을 자율 학습	학습된 신경 임베딩 (general+agent-specific)	신경망 amortized 추론 (빠름)	암묵+명시 모두 학습	그리드월드(랜덤/알고리즘/심층RL)	❌
Baker et al. 2017 (BToM)	Bayesian 역계획 — 믿음·욕구·지각의 합리적 귀인	손설계 생성 모델(POMDP)	정확 Bayesian 역추론(비쌈)	명시(설계로)	인간 정신화 모델링	부분
IRL (Ng&Russell 2000; Abbeel&Ng 2004)	행동에서 보상함수 역추정	MDP+보상 파라미터	최적화 기반(비쌈)	✗	모방학습/제어	다양
Duan et al. 2017 (one-shot imitation)	한 시연으로 정책 모방	신경 정책(메타러닝)	신경망(빠름)	✗	로봇 조작	부분
AutoToM (Zhang 2025)	LLM 백엔드 자동 Bayesian 역계획 + 모델 자동발견	자동 구성 Bayesian net(명시 변수)	LLM amortized + 모델 적응	명시(변수 추가로)	텍스트/멀티모달 ToM 벤치	✅ (AutoToM - Scaling Model-based Mental Inference via Automated Agent Modeling)

원자적 인사이트 (Zettelkasten)

ToM을 메타러닝으로 환원하면 거짓믿음까지 자율 학습된다. “타인 모델링”을 “여러 에이전트를 거치며 새 에이전트를 빨리 예측하는 법 배우기”로 재정식화하면, 손설계 역계획 없이 행동 관찰만으로 ToM의 정수(거짓믿음)가 창발한다. → 인지 능력이 특수 모듈이 아니라 올바른 학습 정식화의 산물일 수 있다는 가설을 지지. meta-learning-as-cognition
prior와 posterior의 가중치/임베딩 이중분리. general ToM = 학습된 가중치(모집단 사전), agent-specific ToM = 테스트 시 형성되는 임베딩(개체 사후). 학습으로 굳히는 것과 추론으로 갱신하는 것을 구조적으로 분리한 설계는 다른 few-shot/개인화 시스템에도 이식 가능. weights-vs-activations-as-prior-posterior
거짓믿음은 ‘유능한 에이전트를 관찰’하는 데서 따라온다. swap을 한 번도 학습에 안 넣어도(Fig A1) ToMnet은 시야 밖 변화→거짓믿음 행동을 예측. 즉 거짓믿음 추론은 명시적 라벨이 아니라 부분관찰 에이전트의 합리적 행동 통계에 내재. false-belief-from-competent-behavior
임베딩이 새 행동 추상을 발견한다. DVIB 병목 하에서 ToMnet은 설계자가 몰랐던 sighted-stateless의 좌수법/우수법 하위종을 군집화 → 신경 ToM이 분류기가 아니라 비지도 행동 분류학(machine anthropology) 도구가 될 수 있음. embeddings-as-behavioral-taxonomy

핵심 용어 정리

Theory of Mind (ToM, 마음 이론): 타인의 욕구·믿음·의도 등 정신 상태를 표상해 행동을 예측·설명하는 능력. 여기선 기계가 이를 학습.
메타러닝 (meta-learning, learning-to-learn): 여러 과제(여기선 여러 에이전트)를 거치며 “새 과제에 빨리 적응하는 법”을 학습하는 패러다임.
POMDP (부분관찰 마르코프 결정과정): 에이전트가 상태를 부분적으로만 관찰하는 순차적 의사결정 모델. 거짓믿음의 원천(못 본 변화).
거짓믿음 (false belief): 세계의 실제 상태와 어긋난 에이전트 내부 표상. Sally-Anne 테스트가 대표 검사 — 인간 ToM의 핵심 지표.
inverse RL (IRL, 역강화학습) / Bayesian inverse planning(역계획): 관찰된 행동에서 보상함수·목표를 거꾸로 추정하는 고전적(비싼) 타에이전트 모델링 기법. ToMnet은 이를 신경망으로 amortize해 대체.
successor representation (SR, 후속표현): 현재 상태에서 미래 상태들의 할인 점유 기대값 — 정책의 미래 궤적 통계를 요약한 예측 대상(Dayan 1993).
character / mental embedding (e_char / e_mental): 각각 한 에이전트의 지속적 성격(과거 전체)과 현재 정신 상태(이번 에피소드)를 담는 학습 벡터.
DVIB (Deep Variational Information Bottleneck): 임베딩 정보량을 단위 가우시안 prior로 규제(β·KL)해 disentangle·저차원화하는 기법(Alemi 2016) — e_char 해석성을 끌어냄.

BibTeX

@inproceedings{rabinowitz2018machine,
  title     = {Machine Theory of Mind},
  author    = {Rabinowitz, Neil C. and Perbet, Frank and Song, H. Francis and Zhang, Chiyuan and Eslami, S. M. Ali and Botvinick, Matthew},
  booktitle = {Proceedings of the 35th International Conference on Machine Learning (ICML)},
  series    = {Proceedings of Machine Learning Research},
  volume    = {80},
  pages     = {4218--4227},
  year      = {2018},
  eprint    = {1802.07740},
  archivePrefix = {arXiv},
  primaryClass  = {cs.AI}
}

기계 마음 이론 (Machine Theory of Mind)

기계 마음 이론 (Machine Theory of Mind)

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX