AGENT: 핵심 심리학적 추론을 위한 벤치마크

Digest: Context — 사람은 누군가의 행동을 보면 별다른 학습 없이 “저 사람은 저걸 원하는구나”, “효율적인 길을 택했네”라고 그 사람의 마음(목표·욕구)을 추론하는데, 이런 직관심리(intuitive psychology, 타인의 행동을 마음 상태로 설명·예측하는 능력)는 기계에게 여전히 어렵다. Insight — 저자들은 무엇이 이 능력의 핵심인지를 발달심리학의 영아 실험에서 가져온다: 영아는 이미 목표 선호, 행동 효율성, 미관측 제약, 비용-보상 트레이드오프라는 4개 개념으로 행위자를 이해하므로, 기계 평가도 이 4개 핵심 개념으로 분해되어야 한다. Solution — 영아 연구의 친숙화/검사 + 기대-vs-놀라움 패러다임(violation-of-expectation)을 그대로 3D 절차생성 데이터셋으로 옮긴다: TDW(ThreeDWorld) 엔진으로 8,400 영상 / 3,360 trial(train 1,920·val 480·test 960 = 480 expected-surprising 쌍), RGB-D·인스턴스 분할·3D bbox 제공. Evidence — 핵심지식(역계획 + 직관물리) 내장형 BIPaCK(PyBullet 물리 + RRT* 플래너, 효용=보상−비용, β=0.2)는 paired accuracy All=.96·인간 상관 0.55로 인간(All=.91)에 필적/능가하나, model-free ToMnet-G(GNN+LSTM)는 분포 내(All=.90)에선 비등해도 일반화에서 무너져 G1 .65 / G2 .71(vs BIPaCK .94 / .94), 인간 상관 0.06, 일부 셀은 우연 이하(AE Type 2.5=.05, CR 4.1/4.2=.48). Limitations — BIPaCK의 강건함은 정답 물리·플래너를 손으로 내장한 ‘설계’ 의존이며, 좁은 4시나리오·소규모 합성 도메인에서만 검증됨. 핵심 메시지 — 데이터만의 from-scratch 학습은 실패했고, 인간 수준 직관심리엔 효용 계산 + 물체/직관물리 핵심지식을 통합한 행위자 표상이 필요하다.

먼저 이해하기

쉬운 설명

이 논문은 영아 인지 실험을 거의 그대로 컴퓨터용 시험으로 옮겨, 기계가 “남의 행동에서 그 의도를 읽는” 직관심리(intuitive psychology, 행동을 보고 목표·욕구 같은 마음 상태를 추론하는 능력)를 얼마나 갖췄는지 잰다. 핵심 장치는 발달심리학의 친숙화/검사 + 기대-vs-놀라움 패러다임(violation-of-expectation)인데, 아기에게 어떤 장면을 여러 번 보여줘 익숙하게 만든 뒤(친숙화), ‘물리적으론 가능하지만 행위자의 합리성에는 어긋나는’ 놀라운 장면을 보여주면 아기가 더 오래 쳐다본다는 사실을 이용한다 — 즉 더 오래 응시함 = 기대 위반을 감지함 = 직관심리가 작동함이다. AGENT는 이 응시 시간 측정을, 모델이 그 장면을 얼마나 ‘놀랍다’고 점수 매기는지로 바꿔, 목표 선호·행동 효율성·미관측 제약·비용-보상 트레이드오프 4가지 개념을 각각 시험한다(TDW 3D 엔진으로 만든 8,400 영상, 480쌍의 ‘예상되는 vs 놀라운’ 검사 장면). 두 베이스라인의 본질적 차이가 결과의 핵심인데, BIPaCK는 물리 시뮬레이터(PyBullet)와 경로 계획기(RRT*), 그리고 ‘행위자는 보상에서 비용을 뺀 효용을 최대화한다’는 규칙을 사람이 미리 모델 안에 넣어준 역계획(inverse planning, 관찰된 행동을 거꾸로 풀어 숨은 목표를 추정) 방식이고, ToMnet-G는 그런 사전 지식 없이 장면 그래프와 신경망으로 데이터에서 패턴만 배우는 model-free 방식이다. 단, 이 결과는 4개 시나리오·합성 3D 도메인이라는 좁은 조건에서 얻은 것이라, 더 넓은 현실 상황으로의 일반화는 이 논문이 직접 보여준 범위 밖이다.

왜 중요한가

이 벤치마크의 가치는 두 베이스라인이 ‘분포 안에서는 비슷하지만 일반화에서 갈린다’는 점을 드러낸 데 있다: ToMnet-G와 BIPaCK 모두 학습 분포 내에선 인간(All=.91)과 비등한 paired accuracy(.90, .96)를 내지만, 새로운 물체·물리 조건을 요구하는 일반화 분할에서 ToMnet-G는 G1=.65·G2=.71로 무너지고 일부 셀(AE 2.5=.05, CR 4.1/4.2=.48)은 우연 이하로 떨어지는 반면 BIPaCK는 .94·.94를 유지한다. 인간 응시 패턴과의 상관도 BIPaCK 0.55 대 ToMnet-G 0.06으로, 단순 정확도뿐 아니라 ‘인간이 무엇을 놀랍게 여기는가’를 BIPaCK만이 따라간다. 두 모델의 차이가 ‘데이터에서 처음부터 배웠는가(ToMnet-G)’ 대 ‘효용 계산과 직관물리를 미리 내장했는가(BIPaCK)‘에 정확히 대응하므로, 이 일반화 격차는 곧 데이터만으로의 from-scratch 학습이 직관심리에 충분치 않으며 효용·물체·직관물리 같은 핵심지식의 내장 또는 전이가 필요함을 시사한다. 다만 이는 이 4시나리오 합성 벤치마크에서 관찰된 결과로, ‘핵심지식 내장이 항상 유일한 해법’이라는 일반 명제까지 증명한 것은 아니다.

먼저 알아둘 말

용어	쉬운 설명	정확성 메모
직관심리(intuitive psychology)	남의 행동을 보고 그 사람의 목표·욕구 같은 마음 상태를 추론·예측하는 능력	’핵심 심리학적 추론(core psychological reasoning)‘으로도 표현되며 본 벤치마크의 평가 대상
친숙화/검사 + 기대-vs-놀라움 패러다임	익숙하게 만든 뒤(친숙화), 합리성에 어긋나는 ‘놀라운’ 장면에 더 오래 반응하는지로 추론을 측정	원어는 violation-of-expectation; 영아 응시시간을 모델의 surprise 점수로 환산
역계획(inverse planning)	관찰된 행동을 거꾸로 풀어 그 뒤에 숨은 목표·효용을 추정하는 방식	BIPaCK가 베이지안 사후추론으로 구현; 효용=보상−비용, β=0.2
BIPaCK	물리(PyBullet)·경로계획(RRT*)·효용 규칙을 사람이 내장한 생성모델 기반 베이스라인	핵심지식이 손으로 들어간 model-based 방식
ToMnet-G	장면그래프(GNN)+LSTM으로 데이터에서 궤적을 학습하는 model-free 신경망 베이스라인	ToMnet을 그래프 입력으로 확장; 사전 물리지식 없음, MSE로 학습
4 시나리오	목표선호·행동효율성·미관측제약·비용-보상 트레이드오프 — 영아 연구가 짚은 4개 핵심 개념	Goal Preferences/Action Efficiency/Unobserved Constraints/Cost-Reward Trade-offs
paired accuracy	’예상되는’ 장면보다 ‘놀라운’ 장면에 더 높은 surprise를 주면 정답인 쌍 단위 정확도	test 960 = 480 쌍; 우연=0.5
G1~G4 일반화	학습에 없던 물체·물리·구성으로 바꿔 모델이 진짜 추론하는지 보는 분할	model-free의 취약점을 드러내는 핵심 축
TDW(ThreeDWorld)	영상 자극을 절차적으로 생성한 3D 시뮬레이션 엔진	RGB-D·인스턴스 분할·3D bbox·8색 제공

섹션별 요약

Abstract

기계 에이전트가 현실 환경에서 인간과 성공적으로 상호작용하려면 인간의 정신적 삶(mental life)을 이해하는 능력이 필요하다. 직관 심리학(intuitive psychology), 즉 관찰된 행동으로부터 숨겨진 정신 변수(hidden mental variables)를 추론하는 능력은 인간에게 자연스러운 것으로, 심지어 언어 발달 이전의 영아도 에이전트가 제약 조건 속에서 목표를 효율적으로 달성하길 기대한다는 점에서 이를 보여준다. 이에 본 연구는 인지발달 연구에서 영감을 받아, 직관 심리학의 4가지 핵심 개념(목표 선호·행동 효율성·미관측 제약·비용-보상 트레이드오프)을 탐침하는 대규모 절차 생성(procedurally generated) 3D 애니메이션 벤치마크인 AGENT(Action, Goal, Efficiency, coNstraint, uTility)를 제안한다. AGENT는 인간 평정(human ratings)으로 검증되었으며, 일반화를 강조하는 평가 프로토콜을 제안하고, 베이지안 역계획(Bayesian inverse planning) 기반 모델 BIPaCK와 마음 이론(Theory of Mind) 신경망 ToMnet-G 두 강력한 베이스라인을 비교 평가한다. 결과적으로, 인간 수준의 직관 심리 테스트를 통과하려면 모델이 에이전트의 계획 방식, 효용 계산(utility computations), 그리고 물체와 물리에 대한 핵심 지식(core knowledge)을 통합한 내재적 표상을 갖추어야 함을 보인다.

저자 contribution

영아 인지발달 연구의 4핵심 개념(목표 선호, 행동 효율성, 미관측 제약, 비용-보상 트레이드오프)을 기반으로 절차 생성 3D 애니메이션 벤치마크 AGENT를 설계하고 공개한다.
인간 평정 데이터를 포함한 일반화 중심 평가 프로토콜을 제안하고, BIPaCK(베이지안 역계획 기반)·ToMnet-G(마음 이론 신경망) 두 베이스라인의 성능을 체계적으로 비교한다.
직관 심리학적 추론에서 인간 수준 성능을 달성하려면 효용 계산과 물체·물리 핵심 지식을 통합한 에이전트 행동 표상이 필수임을 실증한다.

왜 이 연구를 하는가?

핵심 질문: 기계 에이전트가 인간의 핵심 직관심리(core intuitive psychology) — 즉 관찰된 행동으로부터 목표·선호·제약·보상을 추론하는 능력 — 을 실제로 습득했는지를 엄밀히 측정할 표준 벤치마크가 존재하는가?

기존 접근법의 한계

한계	설명
엄밀한 평가 벤치마크 부재	타 에이전트의 정신 상태를 추론하는 기계 에이전트에 대한 관심이 높아졌음에도, 핵심 심리 추론 능력을 체계적으로 측정하는 표준 평가 도구가 없었다. 특히 학습된 표현이 새로운 에이전트·환경으로 일반화되는지를 측정하는 프로토콜이 부재했다.
선행 기계 사회 지각(machine social perception) 연구의 범위 한계	행동 인식·예측 등 동작 패턴 분류에 집중해왔고, AGENT가 대상으로 하는 정신 상태 추론(목표·선호·비가시적 제약·비용-보상 교환)은 다루지 않았다.
기존 합성 데이터셋의 개념적 협소함	2D 만화 또는 단순 추론 과제에 한정되거나, BIB(Baby Intuitions Benchmark, Gandhi et al. 2021)처럼 미로(mazes) 환경에서 목표·선호·행동만 검사해 비가시적 제약과 비용-보상 교환을 포괄하지 못한다. 또한 BIB는 단일 대형 훈련 세트 학습에 초점을 두어 다양한 물리 상황 간 일반화 평가에 적합하지 않다.
Few-shot 모방학습(few-shot imitation learning)과의 목표 차이	두 단계(친숙화/검사) 구조가 유사하게 보이지만, 모방학습의 목표는 전문가 정책 모방이며 특정 에이전트의 정신 상태를 추론하는 AGENT의 목표와 근본적으로 다르다.

핵심 통찰

사람은 언어 이전 단계의 영아기부터 다른 에이전트의 행동을 보고 숨은 정신 변수(목표, 비용, 보상, 비관찰 제약)를 자동으로 추론하며, 이 능력은 제한된 경험만으로도 새로운 에이전트·상황으로 일반화된다. 이 핵심 심리 추론은 이후 인간 사회 지능의 토대가 된다.
기계가 인간과 진정으로 상호작용하려면 이 능력을 갖춰야 하며, 그를 위해서는 효용(utility) 계산과 물체·물리에 대한 핵심 지식의 통합 표상이 필요하다.

Introduction

최근 인간과 상호작용하는 사회 인지 에이전트(socially-aware agents) 구축에 대한 관심이 높아지고 있다. 이를 위해 기계는 인간의 동기와 행동을 이해하는 능력, 즉 직관심리(intuitive psychology — 관찰된 행동으로부터 숨겨진 정신 상태를 추론하는 능력)를 갖춰야 한다. 이 능력은 인간에게 자연스러운데, 언어 이전 영아조차도 다른 에이전트를 물리적 제약 속에서 목표를 향해 효율적으로 행동하는 존재로 구분하고, 비용·보상을 추론하며 미관찰 제약을 예측할 수 있다 (Baillargeon et al., 2016; Gergely & Csibra, 2003; Liu et al., 2017; Woodward, 1998). 반면 기계 에이전트가 이 핵심 심리 원칙을 실제로 학습·보유하는지 평가할 표준 벤치마크는 존재하지 않았다.

이 간극을 해소하기 위해 저자들은 인지발달 연구에서 영감받아 AGENT (Action, Goal, Efficiency, coNstraint, uTility)를 제안한다. AGENT는 절차적으로 생성된 대규모 3D 애니메이션 데이터셋으로, 네 가지 핵심 시나리오 — 목표 선호(goal preferences), 행동 효율성(action efficiency), 비관찰 제약(unobserved constraints), 비용-보상 교환(cost-reward trade-offs) — 를 중심으로 구성된다. 각 시나리오는 영아 인지 연구의 실험 패러다임을 따르며, 친숙화(familiarization) 단계에서 특정 에이전트의 행동을 보여주고, 검사(test) 단계에서 동일 에이전트가 새로운 환경에서 보이는 행동이 ‘기대(expected)‘인지 ‘놀라움(surprising)‘인지를 판별하도록 한다. 대규모 인간 평가 실험으로 AGENT를 검증한 결과, 평균적으로 인간 관찰자는 ‘놀라운’ 검사 영상을 ‘기대’ 영상보다 더 놀랍다고 평가했다.

Related Work와의 위치 설정 측면에서, 기존 기계 사회 지각(machine social perception) 연구는 행동 인식·예측 등 동작 패턴 분류에 집중해왔으며 정신 상태 추론에는 미흡했다. 합성 데이터셋 분야에서는 BIB (Baby Intuitions Benchmark, Gandhi et al. 2021)가 유사한 목적으로 동시에 제안되었으나, AGENT와는 세 가지 측면에서 구별된다: 첫째, AGENT는 비관찰 제약과 비용-보상 교환을 추가로 검사하는 반면 BIB는 목표·선호·행동의 도구성(instrumentality)에 한정된다; 둘째, AGENT는 경사로·플랫폼·문·교량을 포함한 다양한 물리 상황을 시뮬레이션하는 반면 BIB는 미로 환경으로 국한된다; 셋째, AGENT의 평가 프로토콜은 시나리오 간·유형 간 일반화를 강조하는 반면 BIB는 단일 대형 훈련 세트에서 학습 가능성에 초점을 두며, 두 벤치마크는 베이스라인도 달리한다. Few-shot 모방학습(few-shot imitation learning)과 구조가 유사해 보이지만, AGENT의 목표는 정책 모방이 아니라 특정 에이전트의 정신 상태 추론이라는 점에서 근본적으로 다르다.

Methods

프레임워크 개요

AGENT는 영아 인지발달 패러다임에서 영감을 받아 설계된 절차 생성 3D 벤치마크로, 크게 두 부분으로 구성된다. (1) 데이터셋(§3): 에이전트의 심적 상태를 측정하는 4개 시나리오, 13개 Type의 trial을 TDW + RRT* 기반으로 절차 생성한 8,400개 비디오; (2) 베이스라인(§4): 물리 시뮬레이션 기반 생성 모델 BIPaCK과 신경망 기반 ToMnet-G.

[A] 데이터셋 설계 — 4개 시나리오

각 trial은 친숙화(familiarization) 단계와 검사(test) 단계의 2-phase 구조를 따른다. 검사 단계의 비디오는 반드시 expected(기대 부합) 또는 surprising(기대 위반) 중 하나로 분류된다. expected 비디오에서는 에이전트가 친숙화 단계와 일관된 행동을 보이고, surprising 비디오에서는 선호 목표와 다른 목표를 추구하거나, 비효율적 행동을 하거나, 물리 법칙을 위반한다.

Scenario 1 — Goal Preferences (목표 선호): 에이전트가 두 물체 중 선호 물체를 일관되게 선택하는지 테스트. 선호도는 친숙화 영상에서만 관찰 가능. 4개 Type(1.1–1.4)으로 저수준 휴리스틱(예: 단순 거리 최소화) 통제: Type 1.1/1.2는 친숙화·검사 단계 모두 동등한 행동 비용, Type 1.3/1.4는 친숙화 단계에서 선호 물체 도달 비용이 더 높음. Type 1.2/1.4는 검사 단계에서 덜 선호되는 물체에 도달하는 데 더 높은 노력이 필요하도록 설계해, 모델이 단순히 “쉬운 경로” 휴리스틱을 쓰지 못하게 통제.
Scenario 2 — Action Efficiency (행동 효율성): 에이전트가 물리적 제약(벽, 경사로, 틈, 다리 등) 속에서 최적 경로를 택하는지 평가. 5개 Type(2.1–2.5): 2.1은 검사 시 장애물 제거(효율적 경로 가능), 2.2는 장애물을 옆으로 치움, 2.3은 더 작은 장애물 도입, 2.4는 다른 종류의 장애물 도입, 2.5는 surprising 비디오에서 에이전트가 벽을 관통하는 경로를 보여줌으로써 “모델이 단순히 직선 경로를 최적으로 간주하지 않는지” 확인.
Scenario 3 — Unobserved Constraints (비관측 제약): 에이전트의 우회 경로(점프·수평 이동)를 통해 친숙화 단계 중 가려진(occluded) 물리적 장애물의 존재를 역추론하는 능력 측정. 2개 Type(3.1–3.2): 3.1은 검사 시 장벽이 없어 agent 경로가 예상보다 직선에 가까워야 expected인 경우, 3.2는 검사 상황에서 실제로는 넘을 수 있는 장벽이 존재해 비효율 경로가 surprising인 경우. 두 Type 모두 “가리개 뒤의 물체”가 surprise의 신호가 되지 않도록 통제.
Scenario 4 — Cost-Reward Trade-offs (비용-보상 절충): 에이전트가 선호 물체를 얻기 위해 감수하는 비용 수준을 관찰해, 내부 효용 함수(utility function, 행동의 보상과 비용을 통합하는 함수)를 추론하는 능력 측정. 2개 Type(4.1–4.2): 4.1은 에이전트와 두 물체 사이에 장애물이 없거나 동등한 장애물이 있으며, 4.2는 선호 물체 쪽에 더 어려운 장애물이 존재해 “낮은 비용으로 선호 물체에 도달 가능”한 surprising 상황을 구성.

[B] 절차 생성 (§3.2)

각 trial의 친숙화·검사 비디오는 TDW(ThreeDWorld)(Gan et al., 2020) 오픈소스 3D 시뮬레이션 환경에서 생성된다.

장면 그래프 샘플링: trial type별 제약에 따라 장애물 수·종류·크기, 바닥 텍스처(8종 중 1), 배경 벽 텍스처(3종 중 1), 에이전트·물체의 형태·색상·크기·초기 위치를 무작위 샘플링.
에이전트 경로 생성: (i) 각 유형의 장애물을 극복하는 사전 정의된 웨이포인트(걷기·점프·오르기)를 포함하는 손으로 제작한 모션 휴리스틱과, (ii) 이동 중 자연스러운 시선 회전(gaze turning motion)을 결합해 경로 생성.
RRT* 플래너: 웨이포인트 간 최단 경로를 연결(Rapidly-exploring Random Tree*, 확률적 최단 경로 계획 알고리즘).
에이전트 형태: 구(sphere)·원뿔(cone)·정육면체(cube) 부분집합에서만 샘플링; 장애물은 벽·경사로·플랫폼·틈·다리·문 세트에서 샘플링.

[C] 데이터셋 구조 (§3.3)

총 8,400개 비디오, 길이 5.6–25.2초, 35fps
총 3,360개 trial: 훈련 1,920 / 검증 480 / 테스트 960 (= 480 expected-surprising 쌍)
모든 훈련·검증 trial은 expected 검사 비디오만 포함; 테스트 trial은 expected·surprising 쌍으로 구성
제공 모달리티: RGB-D 프레임, 인스턴스 분할(instance segmentation), 모든 엔티티의 3D 바운딩 박스, 8가지 색상 코드(trial 내 물체 동일성 추적용)
엔티티는 agent / object / obstacle 3개 클래스로 구분

[D] 데이터셋 활용 지침 (§3.4)

저자는 데이터셋만으로 처음부터 학습(training from scratch)하는 것은 효과가 없음을 실험적으로 확인했다. 테스트를 통과하려면 (1) 귀납적 편향(inductive biases)으로 내장된 물체·물리 핵심 지식, 또는 (2) 추가 데이터로부터의 전이 학습이 필요하다. 학습 패러다임은 모듈식(인지·계획 등 구성 요소를 별도 학습) 또는 파인튜닝(타 데이터셋에서 사전 학습 후 본 데이터셋 trial로 미세 조정) 두 방향을 제안한다.

[E] 베이스라인 1 — BIPaCK: Bayesian Inverse Planning and Core Knowledge (§4.1)

역할: 물리 시뮬레이션과 베이지안 역계획(Bayesian inverse planning, 관찰된 행동으로부터 에이전트의 목표·선호·신념 등 숨겨진 심적 상태를 추론하는 방법)을 결합한 생성 모델.
입력: 현재 프레임의 엔티티 상태(3D 바운딩 박스, 색상 코드) — ground-truth 또는 인식 모델 출력
처리 흐름:
1. PyBullet 물리 엔진에서 근사 물리 장면 재구성 (TDW와 별개 엔진). 장애물→정육면체, 에이전트·물체→구(sphere)로 추상화.
2. 물리 파라미터 Φ(좌표 변환, 중력·마찰·밀도 등)와 에이전트 파라미터 Θ = (R, w) 동시 추론. R = {r_g}는 목표 물체별 보상, 비용 함수 C(s_a, s’_a) = wᵀf는 에이전트를 현재 상태에서 다음 상태로 이동시키는 힘의 가중합.
3. 생성 모델 G(S⁰, Φ, Θ)로 최적 궤적 샘플링:

$\hat{Γ} = Γ = {s_{a}^{t}}_{t = 1}^{T} ar g max \sum_{g \in G} r_{g} δ (s_{a}^{T}, s_{g}) - \sum_{t = 0}^{T - 1} C (s_{a}^{t}, s_{a}^{t + 1}) (Eq. 1)$

관찰 궤적 Γ의 우도(likelihood):

$P (Γ∣ S^{0}, Φ, Θ) = e^{- β D (Γ, \hat{Γ})} (Eq. 2, β = 0.2)$

여기서 D는 두 궤적 사이의 유클리드 거리(다른 길이 궤적은 dynamic time warping 적용), β = 0.2는 에이전트 행동 최적성 조정 파라미터.
5. 훈련 세트의 N_train 궤적으로 파라미터 사후 분포(posterior) 추정 (Eq. 3); 친숙화 비디오가 있는 검사 trial에서는 Eq. 4로 사후 분포 갱신.
6. 테스트 비디오의 서프라이즈 점수(surprise rating): 예측 궤적과 실제 관측 궤적의 기대 거리.

출력: 각 검사 비디오에 대한 surprise rating (높을수록 surprising)

[F] 베이스라인 2 — ToMnet-G: Theory of Mind Neural Network with GNN (§4.2)

역할: Rabinowitz et al.(2018)의 ToMnet을 그래프 신경망(GNN) 장면 그래프 인코더로 확장한 모델-프리(model-free) 신경망 베이스라인.
입력: 친숙화 비디오 프레임들의 장면 그래프 + 검사 비디오 초기 상태 S⁰ (ground-truth 또는 인식 모델 출력)
처리 흐름:
1. 각 프레임의 장면 그래프를 GNN으로 인코딩 → 노드 임베딩 생성. 노드 입력: 엔티티 클래스(agent/object/obstacle), 바운딩 박스, 색상 코드.
2. GNN 노드 임베딩을 LSTM에 통과 → 친숙화 영상 N개를 처리해 캐릭터 임베딩 e_char 생성 (에이전트의 지속적 특성, 예: 선호도 표현).
3. 검사 비디오 초기 상태 S⁰의 GNN+LSTM 출력 → 심적 상태 임베딩 e_mental 생성.
4. e_char + e_mental → MLP → 궤적 예측 δx (다음 위치 변위).
5. 손실 함수: MSE, $L (\hat{Γ}, Γ) = \frac{1}{T} \sum_{t = 1}^{T} ∥ \hat{x}^{t} - x^{t} ∥^{2}$ .
6. Unobserved Constraints 시나리오: 가리개(occluder) 제거 + 2차 곡선 피팅으로 가려진 구간 궤적 재구성 후 동일 파이프라인 적용.
출력: 예측 궤적과 관측 궤적의 편차 → surprise rating

기존 방법과의 차별점

BIPaCK은 물리 시뮬레이터(PyBullet)와 베이지안 역계획을 결합해 인간의 귀납적 편향(물리 지식·효용 최대화)을 명시적으로 모델에 내장한다는 점에서 기존 역강화학습(IRL) 및 단순 물리 시뮬레이션 베이스라인과 다르다. ToMnet-G는 원래 ToMnet의 격자(grid) 기반 인코더를 GNN 장면 그래프 인코더로 대체해, AGENT의 연속적이고 다양한 3D 물리 환경에 적용 가능하도록 확장했다. 두 베이스라인 모두 데이터셋만으로 처음부터 학습하는 것이 아니라, 물리 지식(BIPaCK) 또는 ToM 아키텍처 귀납적 편향(ToMnet-G)을 선험적으로 내장하는 방식으로 설계된다.

발견 (Findings)

발견 1 — Seen Scenarios에서 BIPaCK의 우위: 모든 시나리오를 학습·평가하는 All 조건에서 BIPaCK는 paired accuracy .96 (Table 1)을 기록하여 인간 베이스라인 .91과 ToMnet-G(theory of mind 신경망) .90을 모두 상회한다. BIPaCK와 인간 간 상관계수는 0.55인 반면 ToMnet-G와 인간 간 상관계수는 0.06에 불과하여, BIPaCK의 출력이 인간 직관 판단과 구조적으로 훨씬 가깝다 (§5.3).
발견 2 — 일반화(G1/G2)에서 ToMnet-G의 붕괴: G1(leave-one-type-out) 전체 평균에서 ToMnet-G는 .65, BIPaCK는 .94 (Table 1). G2(leave-one-scenario-out)에서 ToMnet-G는 .71, BIPaCK는 .94. ToMnet-G는 특히 Action Efficiency 유형 2.3(.45)·2.5(.05), Cost-Reward 유형 4.1(.48)·4.2(.48)·All(.48)에서 chance(.5) 이하로 하락한다 (Table 1, red 셀).
발견 3 — G3/G4 히트맵이 보여주는 비대칭 일반화 패턴: G3(단일 유형 학습 후 동일 시나리오 내 타 유형 평가, Fig. 6) 히트맵에서 ToMnet-G의 비대각선(off-diagonal) 셀 대부분이 red(≤.5)인 반면, BIPaCK는 비대각선 셀이 대부분 >.8을 유지하며 예외는 Type 2.3 구간의 magenta 셀에 국한된다. G4(단일 시나리오 학습 후 타 시나리오 평가, Fig. 7)에서도 ToMnet-G 비대각선 셀은 대부분 red, BIPaCK 비대각선 셀은 대부분 blue(>.8)로 강건한 교차-시나리오 일반화를 보인다.

Results

§5.1 평가 지표

본 연구는 상대적 놀라움 평점(relative surprise ratings)에 기반한 paired accuracy(쌍별 정확도)를 지표로 사용한다. 동일한 familiarization video(친숙화 영상)를 공유하는 N+ 개의 surprising 시험 영상과 N- 개의 expected 시험 영상을 짝지어, 놀라운 영상의 평점이 예상된 영상보다 높게 순위가 매겨진 쌍의 비율을 정확도로 정의한다.

§5.2 인간 베이스라인 (Experiment 1)

Amazon Mechanical Turk 참가자 300명을 모집하여 240개의 시험 시행(전체 테스트 셋의 25%)을 평가하였고, 각 시행은 10명이 독립 평점하였다. 앙상블 집계 시 인간 집단은 100% 정확도를 달성하였다. 단일 관찰자 기준 인간 정확도는 All 조건 .91 (Table 1)이며, 이 수치가 이후 모델 비교의 기준선이 된다.

§5.3 Experiment 2 — Seen Scenarios (All 조건)

모든 유형·시나리오를 학습·평가한 All 조건에서 세 주체의 성능은 다음과 같다 (Table 1):

모델	Goal Pref. All	Action Eff. All	Unobs. All	Cost-Reward All	전체 All
Human	.95	.91	.92	.87	.91
ToMnet-G	.84	.98	.89	.89	.90
BIPaCK	.99	.97	.90	.95	.96

ToMnet-G는 전체 정확도 .90으로 인간과 근사하지만, Type 1.2(.57)·Type 1.4(.57) 등 유형별 편차가 크며, 이는 특정 패턴(예: 에이전트가 장애물을 우회할 때 그 행동 단서를 비용·선호 추론 대신 휴리스틱으로 이용)에 과적합(overfitting)된 결과이다. BIPaCK와 인간 판단 간 상관계수는 0.55, ToMnet-G와 인간 간 상관계수는 0.06으로 BIPaCK가 인간 직관과 훨씬 더 유사한 구조를 가진다.

§5.4 Experiment 3 — 일반화 테스트 (G1 / G2 / G3 / G4)

네 가지 일반화 조건을 설계하였다:

G1 (leave-one-type-out): 각 시나리오에서 한 시행 유형을 제외하고 학습, 제외된 유형으로 평가.
G2 (leave-one-scenario-out): 한 시나리오를 제외하고 단일 모델 학습, 제외된 시나리오로 평가.
G3 (single-type, Fig. 6): 단일 유형 학습 후 동일 시나리오 내 나머지 유형으로 평가.
G4 (single-scenario, Fig. 7): 단일 시나리오 학습 후 나머지 세 시나리오로 평가.

BIPaCK는 G1 전체 .94, G2 전체 .94로 All 조건(.96)과 거의 동등한 수준을 유지한다. 반면 ToMnet-G는 G1 전체 .65, G2 전체 .71로 급락하며, G1 셀별 최저치는 Action Efficiency Type 2.3=.45, Type 2.5=.05, Cost-Reward Type 4.1=.48·Type 4.2=.48·All=.48이다 (Table 1, red 셀). G3 히트맵(Fig. 6)에서 ToMnet-G(A)는 비대각선 셀 대부분이 red이나 BIPaCK(B)는 대부분 >.8을 유지하며 주요 예외는 Type 2.3 magenta 셀(비용 함수 오추정으로 점프 대신 우회 궤적 오예측)이다. 단 BIPaCK는 familiarization 영상을 통한 posterior 갱신이 없으면 이 낙폭이 10–15%p 추가로 벌어진다. G4 히트맵(Fig. 7)에서도 ToMnet-G는 교차-시나리오 일반화에 실패(대부분 red)하나 BIPaCK는 단일 시나리오 학습만으로 나머지 세 시나리오에 걸쳐 대부분 blue(>.8)로 강건하다.

제한된 케이스 / 부정 결과

ToMnet-G가 일반화에 성공하는 경우는 Fig. 6A·7A의 blue 셀에 국한되며, 낯선 물리 상황 및 물체 기반 비용 추론 시나리오(Action Efficiency, Cost-Reward)에서 체계적으로 chance 이하로 붕괴한다.
본문 수치는 ground-truth 상태 정보 조건이며, 인식 모델(perception model)로 추출된 상태를 사용하는 조건의 성능은 보충 자료에 보고된다 — 즉 현재 주 논문 수치는 perception 오차를 포함하지 않는다.
BIPaCK의 가장 큰 성능 저하(Type 2.3, Fig. 6B magenta)는 모델이 의존하는 역그래픽스 및 물리 시뮬레이터의 정확도에 BIPaCK 성능이 종속됨을 의미한다.

Discussion

AGENT는 기계 에이전트의 직관적 심리학 이해를 탐침하기 위해 설계된 대규모 벤치마크로, Goal Preferences, Action Efficiency, Unobserved Constraints, Cost-Reward Trade-offs의 4가지 시나리오로 구성된다. 태스크는 인간 관찰자의 대규모 경험적 평가로 검증되었으며, 시나리오 내·외 일반화를 모두 요구하는 평가 절차를 채택한다.

두 기준 모델 중 BIPaCK는 전반적으로 ToMnet-G보다 높은 성능을 달성하며, 특히 강한 일반화(strong generalization) 조건에서 우위가 두드러진다. 그러나 BIPaCK는 장면의 정확한 3D 상태 복원(3D state reconstruction)과 내장 물리 역학 모델(built-in model of physical dynamics)에 의존하며, 이는 실제 세계 장면에서 항상 확보 가능하지 않다는 근본적 한계를 갖는다. 이 한계는 학습 가능한 역그래픽(inverse graphics)과 물리 시뮬레이터를 일반화 가능한 형태로 습득할 수 있는지라는 열린 질문으로 이어지며, Piloto et al.(2018), Riochet et al.(2020), Wu et al.(2017)의 선행 작업이 그 가능성을 시사한다. 반면 ToMnet-G는 유사한 훈련/테스트 조건에서 유망하나 시나리오 간 강한 일반화 능력이 부족하며, 이를 개선하려면 더 고급 아키텍처의 도입 또는 더 다양한 물리 장면에 대한 사전학습(pre-training)이 필요하다.

저자가 인정한 한계

BIPaCK는 장면의 정확한 3D 상태 복원이 필요하며, 이는 실제 세계 장면에서 보장되지 않는다.
BIPaCK는 내장 물리 역학 모델에 의존하므로, 이 모델이 사전에 제공되지 않는 환경에는 적용이 어렵다.
ToMnet-G는 유사 분포 조건에서는 유망하나, 시나리오를 넘나드는 강한 일반화 능력이 부족하다.

독자 식별 가능한 추가 한계

AGENT의 4가지 시나리오가 직관적 심리학 전체를 포괄하는지는 불분명하며, 사회적 추론·정서 관련 시나리오는 포함되지 않는다.
인간 검증자의 경험적 평가가 문화적·연령적으로 얼마나 대표성을 갖는지는 논의되지 않는다.

향후 방향

학습 가능한 역그래픽 및 물리 시뮬레이터를 개발하여 BIPaCK의 3D 상태 복원 의존성을 해소 (Piloto et al. 2018; Riochet et al. 2020 참조).
ToMnet-G 계열 모델에 더 고급 아키텍처를 적용하거나, 더 다양한 물리 장면으로 사전학습하여 강한 일반화 능력을 개선.

이론적 의의

직관적 심리학 벤치마크의 구조화: AGENT는 4가지 인지과학적으로 동기화된 시나리오로 직관적 심리학의 핵심 구성요소를 체계적으로 분리·탐침한다. 단일 과제로 능력을 측정하던 기존 접근과 달리, 어떤 핵심 지식이 어느 시나리오에서 왜 필요한지를 진단적으로 분해할 수 있게 한다.
핵심 지식 내장 vs. 학습 이분법의 실증적 검토: BIPaCK(핵심 지식 내장)과 ToMnet-G(데이터 기반 학습)의 비교는 직관적 추론에서 선천적 귀납 편향의 역할에 관한 오랜 논쟁을 실험적으로 탐색한다. BIPaCK의 강한 일반화 우위는 핵심 지식 통합이 표상 학습만으로는 아직 대체되기 어렵다는 점을 시사한다.
인간-AI 정렬 연구를 위한 진단 인프라 제공: 대규모 인간 경험적 평가로 검증된 AGENT는 직관적 심리학 모델들이 인간 수준과 어느 지점에서 괴리되는지를 체계적으로 추적할 수 있는 공개 진단 인프라로 기능하며, 기계 상식 추론(machine commonsense reasoning) 연구 전반에 기여한다.

Discussion Points

논쟁점: BIPaCK가 내장 물리 모델과 3D 상태 복원에 의존하는 이상, 그 강한 일반화 성능이 “진정한 심리학적 추론 능력”에서 비롯된 것인지 아니면 물리 선지식(physics prior)의 이점에서 비롯된 것인지는 논쟁 가능 지점이다. 두 원천을 분리하는 ablation이 현 논문에서는 충분히 제시되지 않는다.
검증 필요 가정: 저자들은 학습 가능한 역그래픽 및 물리 시뮬레이터가 BIPaCK의 3D 복원 의존성을 대체할 수 있다고 암묵적으로 가정하나, 그러한 모듈이 AGENT 시나리오의 정밀도 요구 수준을 충족할 수 있는지는 후속 실험으로 검증이 필요하다.
후속 연구: (1) 학습형 물리 시뮬레이터를 BIPaCK 파이프라인에 통합해 실세계 영상 입력에서 end-to-end 성능을 평가; (2) AGENT를 확장해 사회적 추론·정서 귀인 시나리오를 추가하는 후속 벤치마크 구축.

실험 결과 상세

Table 1. 인간 및 모델 성능 (쌍별 정확도, Paired Accuracy) — 출처: arXiv:2102.12321 Table 1

[요약표] 조건별 전체(All) 정확도

방법	조건	목표 선호 (GP All)	행동 효율 (AE All)	미관찰 제약 (UC All)	비용-보상 (CR All)	전체 (All)
Human	—	.95	.91	.92	.87	.91
ToMnet-G	All (전체 학습)	.84	.98	.89	.89	.90
BIPaCK	All (전체 학습)	.99	.97	.90	.95	.96
ToMnet-G	G1 (유형 제외)	.73	.66	.69	.48	.65
BIPaCK	G1 (유형 제외)	.98	.97	.86	.94	.94
ToMnet-G	G2 (시나리오 제외)	.71	.65	.73	.75	.71
BIPaCK	G2 (시나리오 제외)	.98	.95	.87	.92	.94

[세부표] 시나리오 유형별 정확도 — All 조건

방법	1.1	1.2	1.3	1.4	2.1	2.2	2.3	2.4	2.5	3.1	3.2	4.1	4.2
Human	.95	.95	.92	.97	.87	.93	.86	.95	.94	.88	.94	.82	.91
ToMnet-G (All)	.57	1.0	.67	1.0	.95	1.0	.75	1.0	.98	.93	.87	.82	.97
BIPaCK (All)	.97	1.0	1.0	1.0	1.0	1.0	.85	1.0	1.0	.93	.88	.90	1.0
ToMnet-G (G1)	.50	.90	.63	.88	.90	.75	.45	.90	.05	.58	.77	.48	.48
BIPaCK (G1)	.93	1.0	1.0	1.0	1.0	1.0	.80	1.0	1.0	.93	.82	.88	1.0
ToMnet-G (G2)	.37	.95	.63	.88	.35	.60	.75	.68	.85	.80	.65	.55	.95
BIPaCK (G2)	.93	1.0	1.0	1.0	1.0	1.0	.75	.95	.95	.88	.85	.83	1.0

주요 관찰

BIPaCK은 All/G1/G2 전 조건에서 전체 정확도 .94–.96을 유지하며 인간(.91)을 상회한다.
ToMnet-G는 All 조건(.90)에서 인간과 유사하나 G1(.65)·G2(.71)에서 급격히 저하되며, G1 조건 AE 2.5 유형에서 .05(우연 이하)를 기록한다 (Table 1 적색).
인간 성능과의 상관계수: BIPaCK = 0.55, ToMnet-G = 0.06.
G3(단일 유형 학습, Fig. 6) / G4(단일 시나리오 학습, Fig. 7): BIPaCK 대각 외 대부분 >.8, ToMnet-G 대각 외 대부분 ≤.5.

프레임워크 다이어그램

flowchart TB
    A["장면 그래프 샘플링<br/>(장애물 수·종류·크기,<br/>에이전트·객체 초기 위치)"]
    B["TDW 시뮬레이터<br/>(3D 렌더링 + RGB-D)"]
    C["친숙화 영상<br/>(Familiarization Videos)"]
    D["테스트 영상<br/>(Expected vs. Surprising)"]

    A --> B
    B --> C
    B --> D

    C --> E["BIPaCK<br/>(베이즈 역계획 + 물리엔진)"]
    D --> E
    C --> F["ToMnet-G<br/>(그래프 신경망 + LSTM)"]
    D --> F

    E --> G["놀람 등급 예측<br/>(Surprise Rating)"]
    F --> G

    G --> H["쌍별 정확도 계산<br/>(Paired Accuracy)"]
    H --> I["인간 베이스라인과 비교<br/>(상관계수: BIPaCK 0.55 / ToMnet-G 0.06)"]

    subgraph BIPaCK_detail["BIPaCK 내부 구조"]
        E1["PyBullet 물리 엔진<br/>(Φ: 물리 파라미터 추정)"]
        E2["RRT* 플래너<br/>(Θ: 에이전트 파라미터 추정)"]
        E3["베이즈 사후 확률<br/>(Eq.3-4: P(Φ,Θ|X_train))"]
        E1 --> E2 --> E3
    end

    subgraph ToMnet_detail["ToMnet-G 내부 구조"]
        F1["GNN 장면 그래프 인코딩<br/>(엔티티 클래스·bbox·색상)"]
        F2["LSTM 풀링<br/>→ e_char 임베딩"]
        F3["MLP → δx 예측<br/>(MSE 궤적 손실)"]
        F1 --> F2 --> F3
    end

    E -.-> BIPaCK_detail
    F -.-> ToMnet_detail

mmdc 검증: EXIT_CODE 0 (SVG 렌더링 성공).

재현성 및 신뢰도 평가

항목	등급	비고
코드 공개	⚠️	프로젝트 페이지(tshu.io/AGENT)에 데이터셋·보충 자료 공개. 생성 파이프라인은 오픈소스 TDW 기반이나 AGENT 전용 생성 코드·베이스라인 구현의 독립 저장소는 본문에 명시 없음.
데이터 공개	✅	8,400개 영상(5.6–25.2초, 35fps), RGB-D 프레임, 인스턴스 분할, 3D 바운딩 박스, 카메라 파라미터 포함. 3,360 trial(훈련 1,920 / 검증 480 / 테스트 960) 구조 명시.
하이퍼파라미터	⚠️	BIPaCK β=0.2(궤적 최적성), DTW 유클리드 거리 명시. ToMnet-G의 GNN·LSTM 레이어 수·학습률·배치 크기 등 상세 구성은 보충 자료 위임.
실험 환경	⚠️	PyBullet·RRT*·TDW 명시. GPU/CPU 사양·훈련 시간·난수 시드 등은 본문 미기재(보충 자료 언급).
통계적 신뢰도	⚠️	MTurk 300명, trial당 10명(240 테스트 trial, 25% 샘플). 단일 관찰자 정확도 추정법 명시하나 모델 실험의 신뢰구간·표준편차·유의성 검정은 미보고.
종합 등급	B	데이터셋 공개·생성 도구 오픈소스·핵심 수식 제시로 재현 기초는 갖추었으나, 베이스라인 학습 코드 미공개·상세 구성의 보충자료 위임·통계 신뢰구간 부재로 완전 재현엔 추가 노력 필요.

주장별 신뢰도

#	주장	근거	신뢰도
1	BIPaCK은 All 조건 전체 정확도 .96으로 인간(.91)을 상회	Table 1 직접 수치; 지표 명확히 정의됨	🟢
2	BIPaCK은 G1·G2에서도 .94 유지, ToMnet-G는 G1=.65로 급락	Table 1 G1/G2 행; Fig. 6·7 히트맵으로 시각 확인	🟢
3	인간 상관: BIPaCK 0.55 > ToMnet-G 0.06	본문 §5.3 명시; 상관계수 신뢰구간 미제시	🟡
4	ToMnet-G G1 AE 2.5=.05는 고비용 장애물 단서의 패턴 오학습 결과	Table 1 적색 셀 + §5.3 해석; 메커니즘은 저자 추론	🟡
5	BIPaCK의 유일한 주요 실패는 Type 2.3(비용함수 오추정)	Fig. 6B magenta + §5.3 서술; 직접 수치 기반	🟢

축	AGENT (Shu et al., ICML 2021)	BIB (Gandhi et al., 2021) [direct]	IntPhys (Riochet et al., 2018) [base]	PHASE (Netanyahu et al., AAAI 2021) [alt]	ToMnet (Rabinowitz et al., ICML 2018) [base]	Bayesian ToM (Baker et al., NHB 2017) [base]
(1) 과제/probed concept	직관심리 4개념(목표선호·행동효율·미관측제약·비용보상)	직관심리 3개념(목표·선호·행동, instrumentality 중심)	직관물리(object permanence·continuity·solidity)	사회 지각(helping/hindering 관계 분류)	ToM(character/mental 임베딩으로 행동·false belief 예측)	ToM(beliefs·desires·percepts 베이지안 귀인)
(2) 자극 양식 & 엔진	3D 애니메이션, TDW; 절차생성, 다양한 물리 환경	2D 미로형 gridworld	3D 동영상, Unity 물리엔진	2D 추상 도형 애니메이션	2D gridworld 궤적 시퀀스	자연어+비디오 혼합 자극
(3) 영아인지 기반 & 평가	영아 발달 직접 기반; familiarization/test + expected-vs-surprising; 대규모 인간 검증	영아 기반; VoE 유사이나 단일 대형 훈련셋 학습 후 평가	영아 물리직관 기반(심리 X); expected/surprising 비디오 쌍 — AGENT가 차용	영아인지 X; 성인 사회지각 이론, forced-choice	영아인지 X; 메타학습 후 미래 행동 예측	영아인지 X; 사람 귀인 판단과 정량 비교
(4) 일반화 강조	핵심 강점 — 시나리오 내·간 일반화를 명시적 평가 설계에 포함	학습 가능성 자체에 초점(일반화보다)	일부 포함하나 명시적이지 않음	새 사회이벤트 일반화 일부; 물리 다양성 제한	새 에이전트 일반화 목표; 시나리오 다양성 낮음	일반화 평가 프로토콜 없음
(5) 베이스라인/접근	BIPaCK(베이지안 역계획+core knowledge) + ToMnet-G(신경망) 동시 비교	raw pixel·object mask model-free 신경망	model-free CNN 계열	CNN+LSTM 분류기	메타학습 신경망(제안 모델)	베이지안 역계획(제안 모델)
(6) vs AGENT 차별점	—	unobserved constraints·cost-reward 없음, 2D, 학습가능성 초점	물리만·심리 없음; AGENT가 그 패러다임을 심리로 확장	사회지각 특화, 영아인지 구조화 없음	gridworld 한정, ToMnet-G의 전신	BIPaCK의 이론 기반, 벤치마크 아님
(7) 코드/데이터	데이터셋+코드 공개(명시)	✅ 공개	✅ 공개	✅ 공개	❌ 공식 코드 없음	❌ 표준 코드 없음

원자적 인사이트 (Zettelkasten)

💡 직관심리 평가는 ‘응시 시간’을 ‘놀라움 점수’로 번역해 기계로 옮길 수 있다

영아의 위반기대 실험은 “놀라운 장면을 더 오래 본다”는 응시시간으로 추론을 측정한다. AGENT는 이 패러다임을 그대로 보존하되, 응시시간을 모델이 expected/surprising 장면 쌍에 매기는 surprise 점수의 대소 비교(paired accuracy, 우연=0.5)로 환산한다. 덕분에 사람·기계가 같은 자극·같은 논리로 비교 가능해진다. (핵심 조건: surprising은 물리적으로 가능하되 행위자 합리성에만 어긋나야 함 — 물리 위반이 아니라 심리 위반. test 960 = 480 쌍.)

💡 분포 내 동률은 능력 동률이 아니다 — 일반화 분할이 model-free의 실체를 드러낸다

ToMnet-G는 분포 내 All=.90으로 인간(.91)·BIPaCK(.96)과 비등하지만, 새로운 물체·물리를 요구하는 일반화에서 G1=.65·G2=.71로 붕괴하고 일부 셀(AE 2.5=.05, CR 4.1/4.2=.48)은 우연 이하로 떨어진다. 같은 자극에서 BIPaCK는 .94·.94를 유지한다. 두 모델의 유일한 본질 차이는 효용·직관물리 핵심지식의 내장 여부이므로, 격차는 ‘학습 방식’이 아니라 ‘내장 지식’에 귀속된다. (시사점: 분포 내 성능만 보고하면 능력을 과대평가 — 일반화 분할을 필수 축으로.)

💡 인간과의 ‘상관’은 정확도와 다른 정보를 준다

BIPaCK는 paired accuracy(.96)뿐 아니라 인간 응시 패턴과의 상관 0.55에서도 ToMnet-G(0.06)를 크게 앞선다. 즉 BIPaCK는 ‘얼마나 맞히는가’를 넘어 ‘인간이 무엇을 놀랍게 여기는가’의 프로파일까지 닮았다. 정확도가 비슷해도(분포 내) 상관은 모델이 인간과 같은 이유로 판단하는지를 분리해 보여준다. (인간 앙상블=100%, 단일=.91이므로 인간 응시엔 노이즈가 있고, 상관은 그 노이즈 구조까지 정렬되는지를 본다.)

핵심 용어 정리

용어	정의
직관심리(intuitive psychology)	타인의 행동을 목표·욕구 등 마음 상태로 설명·예측하는 능력. 본 벤치마크가 측정하는 ‘핵심 심리학적 추론’의 대상.
목표 선호(Goal Preferences)	행위자가 여러 대상 중 무엇을 더 선호·목표하는지를 행동에서 읽는 개념(Type 1.1–1.4). Woodward(1998) 영아 연구 계열.
행동 효율성(Action Efficiency)	행위자가 목표 달성에 합리적·효율적 경로를 택한다는 기대(Type 2.1–2.5). Gergely & Csibra 합리적 행위 가정 계열.
미관측 제약(Unobserved Constraints)	보이지 않는 장애물·제약을 행위자 행동으로부터 역추론하는 개념(Type 3.1–3.2). Csibra et al.(2003) 계열.
비용-보상 트레이드오프(Cost-Reward Trade-offs)	행위자가 보상과 그를 얻기 위한 비용을 저울질한다는 추론(Type 4.1–4.2). Liu et al.(2017) 계열.
친숙화/검사 + 기대-vs-놀라움 패러다임	친숙화 후 합리성에 어긋나는 ‘놀라운’ 장면에 대한 반응(영아=응시시간, 모델=surprise 점수)으로 추론을 측정하는 violation-of-expectation 절차.
역계획(inverse planning)	관찰된 행동을 생성모델로 거꾸로 풀어 숨은 목표·효용을 베이지안 사후추론으로 추정하는 방법. BIPaCK의 핵심.
BIPaCK	PyBullet 물리 + RRT* 플래너 생성모델 위에 효용=보상−비용(β=0.2), 베이지안 역계획을 결합한 model-based 베이스라인. 핵심지식이 내장됨.
ToMnet / ToMnet-G	Machine Theory of Mind 신경망(ToMnet)을 장면그래프(GNN)+LSTM 입력으로 확장한 model-free 베이스라인. e_char + e_mental → MLP로 궤적 예측, MSE 학습.
TDW(ThreeDWorld)	자극 영상을 절차적으로 생성한 3D 시뮬레이션 엔진. RGB-D·인스턴스 분할·3D bbox·8색 모달리티 제공.
RRT*	점근적 최적의 경로계획 알고리즘(Rapidly-exploring Random Tree*). BIPaCK 생성모델이 합리적 궤적을 만들 때 사용.
paired accuracy	expected 장면보다 surprising 장면에 더 높은 surprise를 주면 정답인 쌍 단위 정확도(test=480쌍, 우연=0.5).
G1~G4 일반화	학습에 없던 물체·물리·구성으로 변형해 진짜 추론 능력을 보는 일반화 분할. model-free의 취약점을 드러냄.
장면그래프(scene graph)	물체를 노드, 관계를 엣지로 표현한 그래프 구조 입력. ToMnet-G가 GNN으로 인코딩.
인간 귀납편향(human inductive bias)	인간이 행위자 행동을 효용·물리·물체 단위로 해석하게 하는 사전 구조. BIPaCK는 이를 손으로 내장한 셈.

BibTeX

@inproceedings{shu2021agent,
  title={AGENT: A Benchmark for Core Psychological Reasoning},
  author={Shu, Tianmin and Bhandwaldar, Abhishek and Gan, Chuang and Smith, Kevin A. and Liu, Shari and Gutfreund, Dan and Spelke, Elizabeth and Tenenbaum, Joshua B. and Ullman, Tomer D.},
  booktitle={Proceedings of the 38th International Conference on Machine Learning},
  series={PMLR},
  volume={139},
  pages={9844--9856},
  year={2021},
  url={https://arxiv.org/abs/2102.12321},
  doi={10.48550/arXiv.2102.12321}
}

AGENT: 핵심 심리학적 추론을 위한 벤치마크

AGENT: 핵심 심리학적 추론을 위한 벤치마크

먼저 이해하기

쉬운 설명

왜 중요한가

먼저 알아둘 말

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

프레임워크 개요

[A] 데이터셋 설계 — 4개 시나리오

[B] 절차 생성 (§3.2)

[C] 데이터셋 구조 (§3.3)

[D] 데이터셋 활용 지침 (§3.4)

[E] 베이스라인 1 — BIPaCK: Bayesian Inverse Planning and Core Knowledge (§4.1)

[F] 베이스라인 2 — ToMnet-G: Theory of Mind Neural Network with GNN (§4.2)

기존 방법과의 차별점

발견 (Findings)

Results

§5.1 평가 지표

§5.2 인간 베이스라인 (Experiment 1)

§5.3 Experiment 2 — Seen Scenarios (All 조건)

§5.4 Experiment 3 — 일반화 테스트 (G1 / G2 / G3 / G4)

제한된 케이스 / 부정 결과

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

💡 직관심리 평가는 ‘응시 시간’을 ‘놀라움 점수’로 번역해 기계로 옮길 수 있다

💡 분포 내 동률은 능력 동률이 아니다 — 일반화 분할이 model-free의 실체를 드러낸다

💡 인간과의 ‘상관’은 정확도와 다른 정보를 준다

핵심 용어 정리

관련 연구

태그

BibTeX