행위주체성의 모델로서의 능동 추론 (Active Inference as a Model of Agency)

📌 한입 요약
RL은 행위주체성(agency, 상황을 행동으로 사상하는 능력)을 전통적으로 “수치적 보상 신호의 극대화”로 정의해 왔지만, 그러면 탐색(exploration)을 유도하는 내재적 동기·호기심 보너스를 매번 임시방편(ad-hoc)으로 덧붙여야 한다. 이 논문의 핵심 통찰은, 거시적 생물 에이전트가 환경과 상호작용하는 방식에 대한 물리적으로 타당한 가정(확률 과정·정밀 에이전트·경로공간 가산성)만 받아들이면, 모든 행동이 정준적으로(canonically) “기대 자유 에너지(Expected Free Energy, EFE)“라는 단일 목적함수의 최소화로 표현된다는 것이다. 이 EFE를 분해하면 행동은 자동으로 (i) 위험(risk) = 예측 경로와 선호 경로 사이의 KL 발산 최소화(활용·위험회피)와 (ii) 모호성(ambiguity) = 미래 관측 엔트로피 최소화(탐색·정보획득)의 정준적 혼합으로 나뉜다. 즉 탐색과 활용의 딜레마가 별도 휴리스틱 없이 하나의 함수에서 원리적으로 풀린다. 저자들은 이 틀(능동 추론, 자유 에너지 원리의 정련)이 보편적임을 주장한다 — 능동 추론의 서술적 가정을 따르는 임의의 RL 알고리즘은 어떤 암묵적 예측·선호 모델 하에서 능동 추론 에이전트와 행동적으로 동치이므로, 능동 추론은 더 구체적인 행위주체 모델들이 무엇을 전제하는지 드러내고 비교하는 도구가 된다. T-Maze 사고실험으로 능동 추론 에이전트만이 정보민감성과 위험회피를 동시에 갖춰 1000$를 확실히 확보함을 보인다. 한계: 순수 이론·개념 논문으로 대규모 실험 검증은 없고, 고지능 행동을 뒷받침하는 생성 모델의 구체적 형태(어떤 표상을 쓰는가)는 미해결로 남긴다.

---

흐름 따라 읽기

논지 흐름(throughline): 물리적 가정 → 행위주체성을 EFE 최소화로 유도 → EFE 분해로 탐색·활용(위험·모호성) 정준적 통합 → 시뮬레이션으로 보상극대화 대비 우월성 → RL 전체에 대한 보편성 주장. “보상 극대화를 넘어 행위주체성을 사고하는 정준적 방법이 있는가?”라는 질문에서 출발해, 그 답이 능동 추론임을 물리에서 연역하고, 보상 기반 RL이 능동 추론의 한 특수·암묵 사례임을 보이는 한 줄기로 이어진다.

Abstract — 핵심 주장

이 절은 논문 전체의 논지를 압축한다. 저자들은 “보상 극대화를 넘어 행위주체성을 생각하는 정준적(canonical) 방법이 있는가?”라고 묻고, 거시적 생물 에이전트가 세계와 상호작용하는 방식에 대해 물리적으로 타당한 가정을 따르는 모든 유형의 행동은, 세계 상태에 대한 위험(risk)과 모호성(ambiguity)을 최소화한다는 의미에서 탐색과 활용을 정준적으로 통합한다고 답한다. 이 서술이 곧 능동 추론(active inference) — 신경과학에서 행동과 지각을 기술하는 대중적 틀인 **자유 에너지 원리(free energy principle)**를 정련한 것 — 이다. 능동 추론은 행동신경과학·RL·로보틱스에서 널리 쓰이는 행위주체성을 시뮬레이션·모델링하는 규범적(normative) 베이지안 틀을 제공한다.

저자 contribution — 능동 추론이 RL에 유용한 이유는 세 가지(three-fold):

• a) 탐색-활용 딜레마에 대한 원리적 해를 제공한다. 기대 효용 이론(expected utility theory)과 베이지안 실험 설계(Bayesian experimental design)의 원리를 포괄하며, 보상 함수나 의사결정 목적에 임시방편(ad-hoc)적 탐색 보너스를 끼워 넣을 필요를 없앤다.
• b) 명시적 생성 세계 모델(generative world model)에 대한 위험·모호성 최소화로 행동을 시뮬레이션하는 투명한(transparent) 레시피를 제공한다 — 모든 행동 차이가 세계 모델의 차이로 명시되므로 안전하고 설명가능한 의사결정이 가능하다.
• c) 보편적(universal) 이다 — 능동 추론의 서술적 가정을 따르는 임의의 RL 알고리즘을 능동 추론 알고리즘으로 다시 쓰는 것이 이론적으로 가능하다. 따라서 능동 추론은 더 구체적인 행위주체 모델들의 전제와 가정을 드러내고 비교하는 도구가 된다.

Keywords(원문 보존): exploration, exploitation, expected free energy, generative world model, Bayesian inference.

왜 이 연구를 하는가? (Introduction)

연구 동기: RL은 행위주체성을 “수치적 보상 신호를 극대화하는 것”으로 전통적으로 틀지어 왔다(Barto & Sutton). 보상을 행위주체성의 기저로 보는 발상은 공리주의(Bentham), 기대 효용 이론(Von Neumann & Morgenstern), 게임 이론, 통계적 결정 이론(Berger), 최적 제어(Bellman), 현대 경제학에 두루 깔려 있어 어디에나 있다.

기존 한계:

• (1) 임시방편적 탐색 유도: RL 실무자들은 지능적 행동을 시뮬레이션하기 위해 보상 추구 알고리즘에 다양한 휴리스틱·편향을 덧붙여야 했다. 특히 내재적 동기(intrinsic motivation)·호기심 기반 보상(Schmidhuber; Pathak et al.; Bellemare et al.)이 탐색을 유도하는 데 효과적이지만, 이는 목적함수에 외삽된 부가물이다.
• (2) 정준적 기반의 부재: 보상 극대화를 넘어 행위주체성을 생각하는 정준적 방법이 무엇인지가 불분명하다. 이것이 논문의 핵심 연구질문이다: “is there a canonical way to think of agency beyond reward maximisation?”

핵심 통찰(RQ에 대한 답의 예고): 거시적 생물 에이전트의 물리적 상호작용 가정을 따르는 모든 행동은 외부 세계 상태에 대한 위험·모호성 최소화로서 탐색과 활용을 정준적으로 통합한다 — 이것이 능동 추론이며, 신경과학에서 태어난 자유 에너지 원리(Friston 등)를 정련한 것이다. 능동 추론은 신경과학·RL·로보틱스에서 행위주체성을 시뮬레이션·모델링하는 일반적 틀로, 위 세 가지 유용성(a/b/c)을 제공한다.

Deriving agency from physics (물리에서 행위주체성 유도하기)

이 절은 논문의 형식적 토대로, 행위주체성을 물리적 가정에서 연역한다. 전체 흐름에서 “왜 보상이 아니라 EFE인가”의 토대를 까는 역할을 한다.

• 시스템 설정: 에이전트와 환경이 함께 확률 과정(stochastic process) $x$로 진화한다. 시간 $\mathcal{T}$(이산 또는 연속), 상태공간 $\mathcal{X}$(측도공간)를 가정한다. 상태공간을 에이전트에 속하는 상태 $\mathcal{H}$와 환경에 속하는 외부 상태 $\mathcal{S}$로 분해하고, 에이전트 상태를 다시 자율 상태(autonomous states) $\mathcal{A}$와 관측 상태(observable states) $\mathcal{O}$로 나눈다. 결과적으로 $x\equiv (s,h)\equiv (s,o,a)$ — 외부 $s$, 관측 $o$, 자율 $a$.
• 거시적 구분 — 정밀 에이전트(precise agent): 지금까지의 서술은 열욕조(heat bath)와 상호작용하는 입자에도 적용된다. 사람이 입자와 다른 점은 거시적 수준에서 일어난다는 것이다. Definition 2.1: 에이전트가 환경에 결정론적으로 반응할 때, 즉 $h\mid s$가 결정론적 과정일 때 그 에이전트를 *정밀(precise)*하다고 한다. (Remark 2.2: 에이전트의 정신적 표상과 외부 상태를 혼동하지 말 것 — 본 논문은 표상을 다루지 않고, 단지 에이전트 궤적을 결정하는 충분히 상세한 환경 서술이 존재한다고 상정한다.)
• 행위주체성·의사결정 정의: 시점 $t$에서 에이전트가 가진 정보는 과거 궤적 $h_{\le t}=(o_{\le t},a_{\le t})$(역사). 의사결정(decision-making) = 가용 정보 $h_{\le t}$가 주어졌을 때 미래 자율 궤적 $a_{>t}$의 선택. 행위주체성(agency) = 결정을 내리고 실행하는 과정. $P(s,o\mid h_{\le t})$는 에이전트의 선호(preferences), $P(s,o\mid a_{>t},h_{\le t})$는 **예측(predictions)**을 표현한다.
• 핵심 결과 (EFE): 행위주체성은 에이전트의 예측과 선호의 기대 자유 에너지(expected free energy) 함수로 지배된다(Appendix D):
  $-\log P(a_{>t}\mid h_{\le t})={\mathbb{E}}_{P(s,o\mid a_{>t},h_{\le t})}[\log P(s\mid a_{>t},h_{\le t})-\log P(s,o\mid h_{\le t})].\text{(EFE)}$
  이로써 행위주체성은 하나의 목적을 최적화하는 것으로 정식화된다: 기대 자유 에너지가 낮을수록 그 행동 경로가 더 그럴듯하고, 반대도 성립한다. (관측이 시점 $t+\delta t$에서 과거 전체 정보 $h_{\le t}$에 의존할 수 있으므로 시스템은 일반적으로 **비-마르코프(non-Markovian)**다.)

Characterising agency (행위주체성 특성화하기)

이 절은 EFE를 분해하여, 행위주체성을 떠받치는 근본적 명령(imperative)들을 드러낸다. 전체 흐름에서 “탐색·활용이 어떻게 하나의 함수에서 정준적으로 나오는가”를 보이는 클라이맥스다.

• 위험 + 모호성 분해 (식 1):
  $-\log P(a_{>t}\mid h_{\le t})=\underset{\text{risk}}{\underbrace{D_{\mathrm{KL}}[P(s\mid a_{>t},h_{\le t})\Vert P(s\mid h_{\le t})]}}+\underset{\text{ambiguity}}{\underbrace{{\mathbb{E}}_{P(s\mid a_{>t},h_{\le t})}[\mathrm{H}[P(o\mid s,h_{\le t})]]}}.$
  • 위험(Risk): 예측된 외부 사건 경로와 선호된 경로 사이의 KL 발산. 역 KL 발산 최소화는 모드 일치(mode matching) 행동을 낳으므로, 위험 최소화는 비선호 경로를 피하는 위험회피적(risk-averse) 결정으로 이어진다. 위험회피는 전망 이론(prospect theory, Kahneman & Tversky)의 특징이며, 칼만 듀얼리티·KL 제어·최대 엔트로피 RL 등 “추론으로서의 제어(control as inference)“의 주된 의사결정 목적이기도 하다.
  • 모호성(Ambiguity): 미래 외부 궤적이 주어졌을 때 미래 관측의 기대 엔트로피. 한 외부 궤적이 여러 관측 궤적을 낳으면 모호성이 높다. 모호성 최소화는 외부 사건을 식별 가능케 하는 관측을 표집하도록 유도하며, 이는 행동심리학의 가로등 효과(streetlight effect, 술취한 사람의 탐색) — 밤에 열쇠를 잃으면 가로등 아래부터 찾는다, 그래야 관측(“열쇠가 보인다/안 보인다”)이 외부 상태를 명확히 구분하기 때문 — 같은 관측 편향을 낳는다.
• 외재적 + 내재적 가치 분해 (식 2):
  $-\log P(a_{>t}\mid h_{\le t})\ge \underset{\text{extrinsic value}}{\underbrace{{\mathbb{E}}_{P(o\mid a_{>t},h_{\le t})}[\log P(o\mid h_{\le t})]}}-\underset{\text{intrinsic value}}{\underbrace{{\mathbb{E}}_{P(o\mid a_{>t},h_{\le t})}[D_{\mathrm{KL}}[P(s\mid o,a_{>t},h_{\le t})\Vert P(s\mid a_{>t},h_{\le t})]]}}.$
  • 외재적 가치(Extrinsic value): 선호 모델 하에서 관측의 로그 가능도. 이를 극대화하면 선호되는 관측을 표집하게 되며, 로그 확률과 효용 함수의 대응을 통해 기대 효용·기대 보상의 극대화와 동등하다(이것이 기대 효용 이론·게임 이론·최적 제어·RL을 포괄한다 = 활용).
  • 내재적 가치(Intrinsic value): 한 결정 하에서 외부 사건 경로에 대해 얻는 정보량. 극대화하면 정보 획득을 선호하는 목표지향적 탐색(“내가 그렇게 했다면 무슨 일이 일어날까?“)이 되며, 이는 베이지안 실험 설계·능동 학습·내재적 동기·인공 호기심을 떠받치고, 베이지안 놀라움·상호정보 극대화(시각 탐색·시각 기관의 조직화)와 수학적으로 동등하다 = 탐색.
• 결론: 행위주체성은 활용 항(외재적 가치/위험)과 탐색 항(내재적 가치/모호성)을 정준적으로 저울질하는 단일 목적의 최소화로 정식화되며, 이것이 탐색-활용 딜레마(Berger-Tal et al.)에 대한 원리적 해를 준다.

Simulating agency (행위주체성 시뮬레이션하기)

이 절은 능동 추론을 알고리즘으로 어떻게 구현하는지 기술한다. 전체 흐름에서 이론을 실행 가능한 절차로 착지시키는 역할이다.

능동 추론 에이전트는 예측 모델 $P(s,o\mid a)$(행동 하의 외부·관측 경로 분포)와 선호 모델 $P(s,o)$(선호되는 외부·관측 경로)로 명세된다. 이산 시간에서 과거 $h_{\le t}$가 주어지면 EFE를 근사해 행위주체성을 지배하며, 절차는 세 단계다:

1. 선호 추론(Preferential inference): 외부·관측 궤적에 대한 선호 $P(s,o\mid h_{\le t})$를 $Q(s,o\mid h_{\le t})$로 근사.
2. 미래 행동 시퀀스 $a_{>t}$마다:
   • (a) 지각 추론(Perceptual inference): 행동 하의 경로 $P(s,o\mid a_{>t},h_{\le t})$를 $Q$로 근사.
   • (b) 추론으로서의 계획(Planning as inference): 각 행동 시퀀스를 EFE로 평가, $-\log Q(a_{>t}\mid h_{\le t})\equiv {\mathbb{E}}_Q[\log Q(s\mid a_{>t},h_{\le t})-\log Q(s,o\mid h_{\le t})]$.
3. 행위주체성(Agency): 가장 그럴듯한 결정 ${\mathbf{a}}_{t+1}=\arg \max Q(a_{t+1}\mid h_{\le t})$를 실행하거나, 행동 데이터 모델로서 $Q(a_{t+1}\mid h_{\le t})={\sum }_{a_{>t}}Q(a_{t+1}\mid a_{>t})Q(a_{>t}\mid h_{\le t})$로 표집.

(Appendix A: 예측 모델이 POMDP면 선호 모델은 은닉 마르코프 모델. Appendix B: T-Maze 시뮬레이션. 실용적 확장으로는 심층신경망 기반 계층적 생성 모델, 평균장 근사, 분할상환(amortisation), 몬테카를로 트리 탐색이 있다.)

Concluding remarks (맺음말)

이 절은 기여를 종합하고 미해결 질문을 던지며 전체 논지를 닫는다.

• 종합: 능동 추론은 물리에서 유도된 거시적 생물 에이전트의 서술로, 생물·인공 행동을 모델링하는 일반 틀을 제공한다. 위험·모호성 최소화(EFE 함수)로 행위주체성을 투명하게 기술한다.
• 보편성(c의 재진술): 능동 추론의 서술적 가정(Appendix D)을 만족하는 임의의 RL 에이전트는, 어떤 암묵적 예측·선호 모델 하에서 능동 추론 에이전트와 행동적으로 동치다. 가장 가까운 RL 정식화로는 “발산 최소화로서의 행동·지각”(위험과 유사하나 모호성 없음), “추론으로서의 제어”(모호성 없는 위험 최소화로 볼 수 있음), “Hyper”(외부 상태와 모델 파라미터 양쪽의 불확실성 최소화를 보상 극대화와 병행)가 있다.
• 안전성: 능동 추론은 안전한 알고리즘적 의사결정의 레시피를 준다 — 모든 행동 차이가 세계 모델 차이로 명시되고, EFE는 위험회피적 결정을 낳아 로봇 보조 수술처럼 파국적 결과가 가능한 공학 응용에서 결정적 이점이 된다.
• 미해결 질문: 능동 추론은 생성 세계 모델이 주어졌을 때 행위주체성이 어떻게 펼쳐지는지는 밝히지만, 고지능 행동을 뒷받침하는 표상이 무엇인지는 명세하지 않는다. 유망한 방향은 심층신경망 기반 계층적 확률 생성 모델이다. 끝으로 두 질문을 던진다: 인간은 환경을 표상하기 위해 어떤 종류의 생성 모델을 쓰는가? 아이의 마음이 세계 모델을 점진적으로 학습하며 어른의 마음으로 발달하는 계산 기제는 무엇인가?

---

핵심 사고실험 — T-Maze (Appendix B/C)

논문은 표준 실험 대신 T-Maze 사고실험으로 세 종류 에이전트의 행동을 대조한다(시간 지평 2, 보상 위치는 무작위, 바닥 팔의 단서가 맥락을 공개; 보상 +1000$, 처벌 -1000$).

목적함수(Objective)	정보 민감성(Information-sensitive)	위험 회피(Risk-averse)	T-Maze 결과
기대 자유 에너지(Expected free energy)	✓	✓	단서를 먼저 수집(위험·모호성 동시 최소화) → 1000$를 확실히 확보
기대 보상(Expected reward)	✗	✗	무작위 행동: 75%만 2000/1000/0$(1/3씩), 25%는 더 나쁨
기대 보상 + 정보 획득(Expected reward + information gain)	✓	✗	단서 수집 후 보상 → 2000/1000/0$(1/3씩), 그러나 위험회피 없음

(Table 1 원문 그대로 보존) 두 변별 특성:

1. 정보 민감성: 기대 보상만 극대화하면 행동 후 얻는 정보의 가치를 내재적으로 평가하지 않는다. EFE(또는 정보획득 부가항)는 정보 가치를 평가한다.
2. 위험 회피: 기대 보상·정보획득 에이전트는 같은 기대값을 갖는 두 대안을 구별하지 못한다(완전히 합리적 에이전트). 능동 추론 에이전트는 기대 페이오프가 중립이어도 큰 손실을 줄 수 있는 선택을 피한다 — 인간 의사결정의 특징이며 안전한 공학 응용(알고리즘 트레이딩·인간-로봇 상호작용·로봇 보조 수술)에 유리하다.

보상 함수 튜닝으로 흉내낼 수 있으나 한계: 보상 함수를 손보면(예: 중간 위치 -1$, 손실 -1001$) 기대보상 에이전트를 능동 추론처럼 만들 수 있지만 — (a) 처벌을 -1001로 할지 -1005로 할지 정답이 없고, (b) 복잡·변화하는 환경에서 원하는 행동을 내도록 보상을 수동 튜닝하는 것은 어렵고 비실용적이다. 결론: 지상 진실 보상이 명확하면 그것을 쓰고, 정보 민감성·위험 회피는 목적함수에 정준적·투명하게 통합하는 능동 추론이 낫다.

---

형식적 토대 (Appendix D)

가정(Assumptions) 3가지:

1. 확률 과정(Stochastic process): 에이전트와 환경이 $x\equiv (s,h)\equiv (s,o,a)$ 확률 과정으로 진화.
2. 정밀 에이전트(Precise agent): 외부 상태 서술이 충분히 상세하여 $h\mid s$가 결정론적.
3. 경로공간 가산성(Countability of the path space): 경로공간 $\mathcal{T}\to \mathcal{X}$가 가산(시간 가산·상태공간 유한, 또는 그 역). 비가산 경로공간으로의 확장은 향후 과제.

Lemma D.1 (가산성·정밀 에이전트 가정 하): 임의의 $a_{>t},h_{\le t}$에 대해 ${\mathbb{E}}_{P(s,o\mid a_{>t},h_{\le t})}[\log P(o\mid s,a_{>t},h_{\le t})-\log P(a_{>t}\mid s,o,h_{\le t})]=0$. (증명: 정밀 에이전트 가정으로 $s$가 $(o,a_{>t})$를 결정 → 디랙 델타 ${\delta }_{f(s)},{\delta }_{g(s)}$로 두 로그항이 상쇄.) 이로써 행위주체성이 예측·선호의 함수인 EFE로 표현됨이 따라 나온다.

---

원자적 인사이트 (Zettelkasten)

• 보상 극대화는 능동 추론의 한 특수·암묵 사례다. 외재적 가치(extrinsic value) 항만 떼어 보면 로그확률-효용 대응을 통해 기대 보상 극대화와 동등하다. 따라서 RL의 “보상”은 능동 추론 EFE 분해의 절반(활용)일 뿐이고, 나머지 절반(탐색=모호성/내재적 가치)은 보상 RL이 임시방편으로 덧붙여 온 것이다.

• 탐색-활용 딜레마는 별도 휴리스틱 없이 단일 함수에서 정준적으로 풀린다. EFE = 위험(활용·위험회피) + 모호성(탐색·정보획득)이라는 분해 자체가 두 명령을 자동으로 저울질하므로, 호기심 보너스·ε-greedy 같은 부가물이 원리적으로 불필요하다.

• 위험회피는 KL 발산의 비대칭성에서 자연 발생한다. 예측 분포를 선호 분포에 맞추는 역(reverse) KL 최소화는 모드 일치 행동을 낳고, 그 결과 비선호(고손실) 경로를 회피하게 된다. 즉 위험회피가 별도 효용함수 곡률 가정 없이 정보기하적으로 따라 나온다.

• “보편성” 주장은 동치성 주장이다. 능동 추론의 서술적 가정을 만족하는 임의의 RL 알고리즘은 어떤 암묵 예측·선호 모델 하에서 능동 추론과 행동적 동치다. 따라서 능동 추론은 새 알고리즘이라기보다, 기존 행위주체 모델들이 무엇을 전제하는지 드러내는 **메타-렌즈(분석 도구)**다.

• 정밀 에이전트(precise agent) 가정이 거시 생물학을 입자물리와 가른다. $h\mid s$의 결정론성(Definition 2.1)이 핵심 분기점으로, 이것이 있어야 Lemma D.1을 통해 행동이 깔끔한 EFE 함수로 환원된다. 이는 표상에 대한 주장이 아니라 거시적 결정론에 대한 주장이다.

---

핵심 용어 정리

• 능동 추론(Active inference): 자유 에너지 원리를 정련한, 행위주체성에 대한 규범적 베이지안 틀. 행동을 기대 자유 에너지 최소화로 기술한다.
• 자유 에너지 원리(Free energy principle, FEP): 신경과학에서 비롯된, 행동·지각을 자유 에너지 최소화로 설명하는 서술적 틀(Friston). 본 논문은 이를 정련·일반화한다.
• 기대 자유 에너지(Expected free energy, EFE): 미래 행동을 평가하는 핵심 목적함수. 위험+모호성(=음의 외재적가치 - 내재적가치)으로 분해되어 활용과 탐색을 정준적으로 통합한다.
• 위험(Risk): 예측 외부경로 분포와 선호 외부경로 분포 간 KL 발산. 최소화 시 위험회피적·활용적 행동을 낳는다.
• 모호성(Ambiguity): 외부 궤적이 주어졌을 때 미래 관측의 기대 엔트로피. 최소화 시 외부 상태를 식별 가능케 하는 관측을 표집(탐색·정보획득).
• 외재적 가치 / 내재적 가치(Extrinsic / Intrinsic value): EFE의 또 다른 분해. 외재적=선호 관측의 로그가능도(≈기대 효용·보상 극대화, 활용), 내재적=외부경로에 대한 정보 획득(≈베이지안 실험설계·호기심, 탐색).
• 정밀 에이전트(Precise agent): 환경에 결정론적으로 반응하는($h\mid s$가 결정론적) 거시적 에이전트. 입자물리적 서술과 거시 생물학을 가르는 정의(Definition 2.1).
• 예측 모델 / 선호 모델(Prediction / Preference model): 능동 추론 에이전트를 명세하는 두 분포. 예측 $P(s,o\mid a)$=행동 하 경로 분포, 선호 $P(s,o)$=바라는 경로 분포. 공유 부분(예: 가능도 $P(o\mid s)$)에서 일치해야 한다.
• POMDP / 은닉 마르코프 모델: 예측 모델이 부분관측 마르코프 결정과정(POMDP)이면 선호 모델은 은닉 마르코프 모델이 되는 이산시간 구현(Appendix A).
• 추론으로서의 계획·제어(Planning/Control as inference): 미래 행동을 EFE/근사 사후분포 추론으로 선택하는 패러다임. 칼만 듀얼리티·KL 제어·최대 엔트로피 RL과 연결되며, “위험 최소화이되 모호성은 없는” 능동 추론의 부분집합으로 볼 수 있다.

관련 연구

• A Path Towards Autonomous Machine Intelligence — LeCun의 월드 모델·계층적 계획 비전. 본 논문의 “생성 세계 모델 기반 행위주체성” 및 “어떤 표상을 쓰는가”라는 미해결 질문과 직접 맞닿는다.
• The free energy principle made simpler but not too simple (Friston et al. 2022, [10]) — 본 논문이 정련하는 FEP의 기반.
• Active Inference: The Free Energy Principle in Mind, Brain, and Behavior (Parr, Pezzulo & Friston 2022, [73]) — 능동 추론 교과서적 종합.
• Reinforcement Learning and Control as Probabilistic Inference (Levine 2018, [34]) — “추론으로서의 제어” 튜토리얼, 위험 최소화 관점의 RL.
• Hyper (Zintgraf et al. 2021, [61]) — 보상 극대화 + 외부상태·모델파라미터 불확실성 최소화. 능동 추론에 가장 근접한 RL 정식화 중 하나.

태그

active-inference free-energy-principle agency exploration-exploitation expected-free-energy bayesian-inference reinforcement-learning generative-world-model risk-ambiguity normative-model theory

---

BibTeX

@article{dacosta2024activeinference,
  title        = {Active Inference as a Model of Agency},
  author       = {Da Costa, Lancelot and Tenka, Samuel and Zhao, Dominic and Sajid, Noor},
  journal      = {arXiv preprint arXiv:2401.12917},
  year         = {2024},
  eprint       = {2401.12917},
  archivePrefix = {arXiv},
  primaryClass = {cs.AI},
  url          = {https://arxiv.org/abs/2401.12917}
}