39분 분량

에이전트 발견 (Discovering Agents)

Discovering Agents

저자
Zachary Kenton et al.
출처
arXiv preprint (cs.AI, cs.LG), 2022
분류
Theory
읽은 깊이
Abstract, 읽는 중
리뷰
2026-06-23
agent definitioncausal modelsformal theorycausal discoveryinfluence diagramsAI safety

agent를 '행동이 세상에 영향을 미치는 방식이 달라지면 정책을 바꾸는 시스템'으로 정의한 최초의 형식적 인과 정의 — mechanised SCM과 세 알고리즘으로 인과 실험에서 agent와 목표를 발견한다

에이전트 발견 (Discovering Agents)

📌 Digest
“무엇이 agent(목표를 추구하며 능동적으로 행동하는 시스템)인가”를 모델러의 직관이 아니라 인과 실험으로 검증할 수 있게 만든 것이 이 논문의 핵심 통찰이다.

Context — 유능하게 목표를 추구하는 AI는 설계자가 예상치 못한 방식으로 위험해질 수 있는데, 안전 분석의 출발점인 “여기서 누가 agent이고 그 목표 노드는 무엇인가”는 보통 모델러가 근거 없이 손으로 가정해 넣어 모델링 실수(modelling mistake)를 낳았다.

Insight — 저자들은 agent를 구성요소·지능·의도로 정의하려던 기존 시도 대신 행동의 효과 에서 단서를 찾는다: agent란 “행동이 세상에 영향을 미치는 방식이 달라진다면 그에 맞춰 정책을 바꿀 시스템(systems that would adapt their policy if their actions influenced the world in a different way)“이라는 counterfactual adaptation(반사실적 적응) 기준이며, 이 정의는 우연히 최적으로 보이는 바위·온도조절기 같은 “accidentally optimal”한 도구를 agent에서 깔끔하게 배제한다.

Solution — 이를 형식화하기 위해 일반 SCM(structural causal model, 인과구조모델)을 mechanised SCM으로 확장한다: 모든 변수 V를 흰색 object-level 노드와, 그 변수의 인과 메커니즘(조건부 분포 자체)을 값으로 갖는 검은색 mechanism 노드 Ṽ로 짝지어 |V|=|Ṽ|을 만든다. 그러면 mechanism 노드 사이의 terminal edge(다른 mechanism으로 향하지 않는 끝단 화살표)로 decision node(들어오는 terminal edge를 가짐)와 utility node(나가는 terminal edge를 가짐)를 판별한다.

Evidence — 세 알고리즘(Algorithm 1 개입 데이터→edge-labelled mechanised causal graph, Algorithm 2 그 그래프→game graph, Algorithm 3 역변환)과 이들의 정확성·상호 left-inverse 관계를 보이는 Theorem 1~3을 제시한다. 추천시스템 예제(Fig. 3)에서는 인간의 클릭 성향 메커니즘에서 추천 결정 메커니즘으로 향하는 directed path(H̃₂⇢D̃)가 드러나 “추천기가 사람을 목표 지향적으로 조종한다”는 구조를 명시화하며, Everitt et al.(2021a)의 incentive 분석이 가졌던 모호성을 폭로한다. mouse 예제는 p=0.75, q=0.9, U=1 같은 구체 수치 위에서 절차가 작동함을 보인다.

Implication — 절차는 Assumption 1~5에 의존하며, 특히 효용이 여러 agent에 공유되거나 자신의 결정의 후손(descendant)이 아닌 Assistance Game/CIRL 류 설정에서는 Assumption 1이 깨져 Algorithm 2가 부정확해진다. 또 graphical incentive 분석은 모든 non-decision mechanism이 들어오는 화살표를 갖지 않을 때만 신뢰할 수 있다.

흐름 따라 읽기

논지 흐름(throughline): agent 식별의 비형식성/모델링 실수 문제 → “행동 영향 방식이 달라지면 정책을 적응시킴”이라는 causal 정의 → mechanised SCM과 edge-labelling으로 형식화 → 세 알고리즘과 Theorem 1~3로 game graph를 실험에 grounding → worked examples로 기존 incorrect modelling 혼란 해소 → 한계와 인과·ICM 문헌 관계 논의.

Abstract

이 섹션은 논문 전체의 thesis — agent를 counterfactual adaptation으로 인과적으로 정의하고 그로부터 발견 알고리즘을 도출한다는 주장 — 를 압축하여 독자가 기여의 범위와 동기를 단번에 파악하게 하는 역할을 한다. 기계학습 시스템의 안전성 분석에서 agent의 인과 모델(causal model, 변수 간 인과관계를 그래프로 표현한 구조)이 활용되어 왔으나, agent 식별 자체는 비자명(non-trivial)하며 모델러가 근거 없이 가정하는 경우가 많다. 이런 모델링 실패가 안전성 분석의 오류로 이어진다는 문제의식에서 출발하여, 본 논문은 agent에 대한 최초의 형식적 인과 정의를 제안한다: “agent란 자신의 행동이 세상에 영향을 미치는 방식이 달라진다면 정책(policy, 상황에 따라 행동을 선택하는 규칙)을 적응시킬 시스템이다.” 이 정의로부터 경험적 데이터(empirical data)에서 agent를 발견하는 최초의 인과 발견 알고리즘(causal discovery algorithm)을 도출하며, 인과 모델과 게임 이론적 영향 다이어그램(influence diagram, 결정·기회·효용 노드로 의사결정 구조를 표현하는 그래프) 사이를 변환하는 알고리즘도 함께 제시한다. 이전 연구에서 잘못된 인과 모델링으로 발생한 혼란 사례들을 해소함으로써 접근법의 실효성을 입증한다.

저자 contribution

  • (1) mechanised SCM 도입과 interventional distribution으로부터 그래프를 산출하는 알고리즘(Sec. 3.1–3.3).
  • (2) 어떤 변수가 agent의 decision node이고 무엇이 그 결정이 최적화하는 목적(reasons that move the agent)인지 결정하는 알고리즘과 mechanised SCM → (structural) causal game 변환(Sec. 3.4).
  • (3) 우리 방법에 기반한 agent의 새로운 형식적 인과 정의(더 철학적 기여, Sec. 1.2).

Introduction

서론은 “agent를 어떻게 인식하는가”라는 근본 질문을 동기로 삼아 기존 정의들의 한계를 논증하고 본 논문의 세 가지 핵심 기여를 정당화하는 역할을 하며, 이후 mechanised SCM(변수의 메커니즘 자체를 명시적 노드로 표현한 구조적 인과 모델) 형식화와 알고리즘 전개의 기초를 놓는다. 경제학 교과서에서 효용 극대화 주체는 명확하지만 현실에서는 경계가 불분명하다. 인간은 맥락에 따라 agent이기도 하고 도구처럼 조작되기도 하며, 고급 강화학습(RL) 아키텍처는 actor·learner 같은 비-에이전틱(non-agentic) 구성요소로 이루어지고 다단계 훈련 과정에서 goal-directed agentic intelligence가 창발(emergence)한다. 목표를 유능하게 추구하는 인공 agent는 위험할 수 있으며(Bostrom 2014; Yudkowsky et al. 2008), resource acquisition·self-preservation 같은 수렴적 도구 목표(convergent instrumental goals)를 추구할 수 있다(Omohundro 2008). 핵심 직관은 agent가 출력이 moved by reasons(Dennett 1987)인 시스템 — 바람직한 결과를 precipitate할 것으로 “expects”해서 행동을 선택 — 이라는 것이며, 이는 우연히 결과에 최적인 시스템(파이프를 막는 바위)과 agent를 구별한다.

1.1 핵심 예시 — 마우스 격자세계. 세 칸 gridworld에서 마우스의 이진 결정 D(좌/우)가 있고, 얼음 미끄러짐으로 인해 위치 X는 D를 확률 p=0.75로 따르고 1−p로 반대 방향이 된다. 치즈는 오른쪽에 q=0.9, 왼쪽에 1−q의 확률로 있으며 치즈를 얻으면 U=1이다. game graph(Fig. 1b)는 D를 결정 노드, X를 기회 노드, U를 효용 노드로 표현하고, mechanised causal graph(Fig. 1c)에서는 추가 메커니즘 노드 D̃, X̃, Ũ가 결정 규칙과 확률 파라미터 p, q를 명시적으로 나타낸다. 치즈 확률이 q=0.9에서 q=0.1로 바뀌고 마우스가 그것을 인지(aware)한다면 결정 규칙이 바뀐다는 점이 counterfactual adaptation의 핵심 직관을 보여준다.

1.2 기존 특징짓기와 본 논문의 위치. 의도적 관점(intentional stance, Dennett 1987), 사이버네틱스(Ashby 1956; Wiener 1961), 결정·게임 이론, 압축 가능 시스템(Orseau et al. 2018), 최적화 시스템(Flint 2020), 목표지향 시스템(Ngo 2020), 미래가 과거에 영향 미치는 방식(Garrabrant 2021) 등 다양한 선행 정의가 존재한다. 본 논문은 “agents are systems that would adapt their policy if their actions influenced the world in a different way”라는 정의를 제안하며, Orseau et al.의 두 문제 — 행동 수가 적으면 압축 불가, 우연히 최적인 입출력을 agent로 오분류 — 를 counterfactual adaptation 검사로 회피한다.

1.3 창조 과정(creation process). 인간은 원형적 agent이며, 온도조절기(thermostat)·RL agent 같은 경계 사례는 creation process 고려 여부에 따라 달라진다. 기존 온도조절기는 히터 변화에 적응하지 않으므로 agent가 아니지만, 설계자가 히터 변화를 알았다면 다르게 설계했을 것이므로 creation process를 포함한 온도조절기는 agent다. RL 훈련 과정 자체는 agent이나, 훈련 완료 후 정책이 고정된 RL policy는 일반적으로 agent가 아니다.

Background

이 섹션은 논문 전체의 형식화 기반을 마련한다. 이후 agent 발견 알고리즘들이 의존할 SCM(구조적 인과 모델, Structural Causal Model)과 causal game의 언어를 정의하여, “행동이 세상에 영향을 미치는 방식이 달라지면 정책을 바꾸는 시스템”이라는 agent 정의가 수학적으로 무엇을 뜻하는지 확립하는 역할을 한다. Pearl(2009)의 SCM 틀에서는 관측 불가능한 외인성(exogenous) 변수 E가 모든 무작위성의 원천이며, 구조 방정식(structural equation)이 내인성(endogenous) 변수 V를 V=f^V(V,E^V) 형태로 결정한다. 여기서 f^V가 W에 의존하면 인과 그래프 G에 W→V 엣지가 생성되고, 이 인과 그래프가 순환(cyclic)일 수도 있으나 자기 루프(self-loop)는 허용되지 않는다. 개입(intervention) do(Y=y)는 구조 방정식 일부를 교체하는 행위로, 상수 교체뿐 아니라 다른 함수 g^Y로 대체하는 소프트 개입(soft intervention)도 포함된다. 구조적 인과 게임(structural causal game, Everitt et al. 2021a; Hammond et al. forthcoming; Koller and Milch 2003)은 SCM을 확장하여 내인성 변수를 확률 노드(chance, X), 결정 노드(decision, D), 효용 노드(utility, U)로 분할하며, 결정 변수는 구조 방정식 없이 의사결정자가 부모 정보를 바탕으로 행동 분포를 자유롭게 선택한다. 게임 그래프(game graph)에서 결정 노드는 사각형, 확률 노드는 원형, 효용 노드는 다이아몬드로 표기되며, 각 결정으로 향하는 엣지는 정보 가용성을 나타내는 점선 정보 엣지(information edge)로 구분된다. 마지막으로, 개입의 시점에 따라 agent가 정책 수립 전에 인지하고 적응할 수 있는 사전 정책 개입(pre-policy intervention)과 정책 수립 이후라 적응이 불가능한 사후 정책 개입(post-policy intervention)으로 나뉨을 명시함으로써, 이후 섹션에서 agent 정의의 반사실적(counterfactual) 적응 조건을 formalize할 근거를 제공한다.

Algorithms (핵심 기여)

이 섹션은 논문의 핵심 기여로서, background에서 확립한 SCM·causal game 언어를 실험 가능한 절차로 전환하여 “경험적 인과 실험으로부터 agent와 그 목표를 발견한다”는 thesis를 구체화한다. 3.1절은 mechanised SCM을 도입한다. 이는 각 object-level 변수 V(흰색)에 대응하는 메커니즘 변수 Ṽ(검은색)를 쌍으로 갖는 확장된 SCM(Definition 1)으로, Ṽ가 V가 부모에 의존하는 방식 자체를 매개변수화(parameterise)하며, 이를 통해 regime 변화를 명시적으로 표현할 수 있다. 3.2절은 엣지 레이블링(edge-labelling)을 정의한다. agent의 두 측면인 효용 노드(본질적 가치를 지닌 노드)와 결정 노드(downstream 결과를 위해 적응하는 노드)를 구별하기 위해, 자식 노드들의 반응 중단을 구조적 메커니즘 개입(structural mechanism intervention, Definition 2)으로 구현하며, 이로부터 terminal 메커니즘 엣지(E^term, 파선-점선 파란색)와 non-terminal 엣지(파선 검은색)를 Definition 3으로 구분한다. 3.3절의 Algorithm 1(Mechanised Causal Graph Discovery)은 leave-one-out 전략, 즉 V를 제외한 모든 노드에 개입하여 W만이 V에 미치는 영향을 신뢰성 있게 분리하는 방식으로 개입 데이터로부터 엣지 레이블이 붙은 mechanised causal graph를 복원하며, Lemma 1·2가 순환 그래프에서도 정확성을 보장한다. 3.4절의 Algorithm 2(Agency Identification)는 mechanised causal graph를 게임 그래프로 변환한다. incoming terminal 엣지를 갖는 메커니즘은 결정 노드, outgoing terminal 엣지를 갖는 메커니즘은 효용 노드로 판별하며, 같은 terminal 엣지 연결 성분(connected component)에 속하는 노드들을 동일 agent로 묶는다. 이 절차의 정확성은 Assumptions 1~5 하에서 Theorem 1이 G_model=G_real임을 보증한다. 여기서 Assumption 1은 각 약한 연결 성분(weakly connected component)이 결정·효용 노드를 최소 하나씩 포함하는 agent subgraph임을, Assumption 2는 모든 메커니즘 개입에 대해 각 agent가 최선 반응(best response, subgame perfect equilibrium)을 취함을, Assumption 3은 agent가 동기 없는 전략 전환을 하지 않음을 각각 요구한다. 3.5절의 Algorithm 3(Mechanism Identification)는 역방향으로 게임 그래프를 mechanised causal graph로 변환하며, Theorem 2는 Algorithm 2가 Algorithm 3의 왼쪽 역원(left inverse)임을, 즉 a2(a3(G))=G임을 증명하고, Theorem 3은 추가 조건 하에서 a3(a2(C))=C임을 보여 두 표현이 같은 시스템의 물리적·의사결정적 등가 표현임을 확립한다.

Examples

이 섹션은 앞선 두 알고리즘(Alg1·Alg2)이 실제 및 사고(thought-experiment) 시스템에 적용될 때 올바른 game graph(변수들 사이의 의사결정·우연·효용 관계를 담은 방향 그래프)를 산출하는지 검증하는 무대로, 논문 thesis — mechanised SCM(구조적 인과 모델의 메커니즘화)으로 agent와 목표를 발견할 수 있다 — 를 구체 사례로 뒷받침한다. 4.1절의 단순 mouse 예제(Fig. 1)에서는 binary 변수 D(결정)·X(우연)·U(효용)로 구성된 G_real을 Alg1이 terminal edge (X̃, D̃)로 C_model(Fig. 1c)을 도출하고, Alg2가 D̃를 유일 decision·U를 utility로 식별해 Fig. 1b를 복원한다. 4.2절의 content-recommendation 예제(Fig. 3)는 추천 시스템이 사용자를 극단적 관점으로 유도하는 안전 문제(Benkler et al. 2018; Carroll et al. 2022)를 다루는데, mechanised causal graph(Fig. 3b)가 드러내는 핵심 미묘함(critical subtlety)은 directed path H̃₂ ⇢ D̃가 존재해 추천 시스템이 사람의 의견 형성에 goal-directed하게 영향을 미친다는 것이며, 이는 Everitt et al.(2021a)의 Fig. 3a만으로는 포착되지 않던 모호함을 해소한다(graphical incentive analysis는 모든 non-decision mechanism이 ingoing arrow 없을 때만 신뢰 가능). 4.3절의 Actor-Critic 예제(Fig. 4)에서는 Alg2가 ÷Q̃를 각각 별도 decision, Y·W를 utility로 식별해 두 개의 connected component (A,Y)·(Q,W)를 올바르게 구분하고, Christiano(사적 교신 2019)가 단일 agent diagram(Fig. 4c)으로 제기했던 CID(Causal Influence Diagram) 분석 신뢰성 의문이 actor를 미모델한 부정확한 표현에서 비롯됨을 보인다. 4.4절의 MAMDP(Modified Action MDP; Langlois and Everitt 2021)는 인간이 agent 결정 D_t를 override할 수 있는 설정으로, Alg1이 edge (X̃_1, D̃_1)을 식별해 override 변수 메커니즘이 결정 규칙 선택에 영향을 줌을 포착한다. 4.5절은 decision·utility가 전혀 없는 구조(Fig. 6, X→Y→Z)에 알고리즘을 적용해 Alg2가 agent 없음을 올바르게 식별하고 표준 causal Bayesian network(인과 베이지안 네트워크)를 복원하는 zero-agent 경계 사례를 점검한다. 4.6절은 알고리즘의 전제(Assumption 1)가 위반되는 두 가지 사례 — 동일 효용을 공유하는 Assistance Game(CIRL; Hadfield-Menell et al. 2016, Fig. 7)과 agent subgraph가 비연결인 경우(Fig. 8) — 를 다루며, 두 경우 모두 Alg2가 부정확한 결과를 산출함을 인정하고 sufficient recall(Milch and Koller 2008) 조건 등을 통한 해결을 미래 과제로 남긴다.

Discussion

이 섹션은 논문 전체 논증의 형식 체계(mechanised SCM 기반 agent 정의)가 실제 모델링 실무와 기존 인과 문헌(causal literature)에 어떻게 위치하는지를 검토하며, 이론적 틀의 사용 조건과 한계를 정교화하는 역할을 맡는다. 첫째, causal game(인과 게임)의 변수 타입 — decision(결정 변수), utility(효용 변수), chance(확률 변수) — 은 절대적 속성이 아니라 모델에 포함된 변수 선택에 상대적으로만 규정된다. 예컨대 실제 utility 변수 U가 모델에 없더라도 U의 부모(Pa^U) 일부가 포함되어 있으면 그 부모 변수가 utility로 labelled되며, decision 변수 D 없이 D의 자식(Ch^D)만 있으면 그 자식이 decision으로 labelled된다(Appendix C). 이 상대성(relativism)은 모델링 선택 자체가 “무엇이 decision이고 utility인가”를 결정하는 frame임을 의미하므로, 저자들은 변수 선택 원칙 네 가지를 제시한다: 관심 환경 측면 표현, 측정·intervention 방법의 명확성, 도메인의 exhaustive·mutually exclusive 구성(Kjaerulff and Madsen 2008), 그리고 논리적 독립성(Halpern and Hitchcock 2010). 특히 object-level 변수와 mechanism 변수의 혼용 — 예: Langlois and Everitt(2021)가 decision rule을 mechanism이 아닌 object-level처럼 그린 사례 — 이 혼란을 유발할 수 있으므로 명확한 구분이 권고된다. 기존 인과 문헌과의 관계에서는 Pearl(2009) SCM을 기초로 하되 Bongers et al.(2021)의 cyclic SCM 형식론을 따르며, Correa and Bareinboim(2020)의 sigma-calculus(소프트 intervention을 관찰 데이터로 식별하는 프레임워크)와 달리 본 연구는 experimental data를 가정하여 식별이 trivially 처리된다고 설명한다. 가장 주목할 함의는 independent causal mechanisms(ICM) 원리(Peters et al. 2017; Schölkopf et al. 2012, 2021)에 대한 제약이다: ICM은 어떤 mechanism M^X에 대한 intervention이 다른 mechanism M^Y를 바꾸지 않으며 M^X에 대한 지식이 M^Y에 대한 지식을 제공하지 않는다는 인과 머신러닝의 핵심 inductive bias인데, agent의 decision rule이 개입되거나 strategically relevant한 변수가 있으면 이 원리가 위반되므로, Algorithm 1로 ICM 위반 mechanism edge를 식별하여 기존 ICM 기반 방법을 개선할 수 있다는 전망이 제시된다.

Conclusion

이 섹션은 논문의 핵심 기여 — agent에 대한 최초의 formal causal definition — 를 결산하고, 그것이 선행 비형식적 특징짓기들 및 안전 분석 실무에 대해 갖는 의의를 정리하는 역할을 한다. 본 논문은 “행동이 세상에 영향을 미치는 방식이 달라지면 정책을 바꾸는 시스템”이라는 아이디어를 mechanised SCM(mechanised structural causal model, 메커니즘을 명시적 변수로 표현한 인과 구조 모델) 위에서 형식화함으로써 agent와 incentive(인센티브)를 경험적으로, 그리고 시스템 아키텍처로부터 식별할 수 있게 한다. Algorithm 1과 Algorithm 2는 어떤 시스템이 agent인지를 평가하는 정밀한 experimental process(실험적 절차)를 제공하며, 이는 원리상 또는 일정한 가정 하에서 작동한다. 기존 비형식 특징짓기들 — Dennett(1987), Flint(2020), Garrabrant(2021), Wiener(1961) — 과 대체로 일치하면서도, 특히 Orseau et al.(2018)의 접근을 개선하여 action 수가 적은 시스템이나 “accidentally optimal”(의도치 않게 최적 행동을 보이는) 시스템을 더 잘 처리한다. AI 시스템의 causal modelling(인과 모델링)에 대한 중요성이 높아지는 흐름에서 본 논문은 그 근거를 causal discovery 실험에 두며, Section 4에서 보인 여러 AI 시스템 안전 분석 개선 사례 외에도 머신러닝 안전·공정성 분석의 신뢰성을 높이는 데 기여할 수 있음을 Ashurst et al.(2022), Cohen et al.(2021), Everitt et al.(2021b), Farquhar et al.(2022) 등 다수 문헌과 연결하여 마무리한다.

프레임워크 다이어그램

Figure 2의 세 알고리즘·세 정리 관계: 개입 데이터(I) → mechanised causal graph(C) → game graph(G)로 agent의 decision/utility node를 발견한다.

graph TB
    I["개입 분포 Interventional Distributions"]
    C["기계화 인과 그래프 Mechanised Causal Graph"]
    G["게임 그래프 Game Graph"]

    A1["Algorithm 1: 기계화 인과 그래프 발견 Mechanised Causal Graph Discovery"]
    A2["Algorithm 2: 에이전트 식별 Agency Identification"]
    A3["Algorithm 3: 메커니즘 식별 Mechanism Identification"]

    T1["Theorem 1: 정확성 G_model = G_real"]
    T2["Theorem 2: Alg2 is left-inverse of Alg3 a2(a3(G)) = G"]
    T3["Theorem 3: Alg3 is left-inverse of Alg2 a3(a2(C)) = C 조건부"]

    I --> A1
    A1 --> C
    C --> A2
    A2 --> G
    G --> A3
    A3 --> C

    A1 --> T1
    A2 --> T1
    A2 --> T2
    A3 --> T2
    A3 --> T3
    A2 --> T3

실험 결과 상세

이 논문은 이론·개념 논문으로 정량 실험·데이터셋·벤치마크 메트릭이 존재하지 않아 실험 결과 표를 구성할 수 없다(데이터 불충분). Section 4의 사례(mouse, recommender system, actor-critic, MAMDP, zero-agent, assumption-breaking)는 알고리즘 동작을 설명하는 worked example/사고 실험이며 수치 성능 비교가 아니다.

재현성 및 신뢰도 평가

항목등급비고
코드 공개❌코드 저장소 없음
데이터 공개❌정량 실험 데이터 없음
하이퍼파라미터❌해당 없음 (실험 없음)
실험 환경❌해당 없음 (실험 없음)
통계적 신뢰도❌해당 없음; 대신 수학적 증명 제공
종합 등급C알고리즘 pseudo-code(Algorithm 1~3)와 정리 증명은 명세되어 재현 가능하나, 실행 가능한 코드/데이터는 미공개

주장별 신뢰도

#주장근거신뢰도
1Algorithm 1+2 조합이 실제 game graph를 올바르게 복원한다 (Theorem 1)Appendix 완전 증명 제공; worked example로 검증🟢
2Algorithm 2는 Algorithm 3의 left inverse이다 (Theorem 2)형식 증명 제공; 역방향 관계 명시🟢
3Algorithm 3는 Algorithm 2의 left inverse이다 (Theorem 3, 조건부)증명 제공되나 추가 가정 필요🟡

읽기 난이도: ⭐⭐⭐ — 인과 추론(do-calculus, interventional distribution), 게임이론, 그래프 모델(DAG)에 대한 사전 지식이 필요하다. 특히 mechanised causal graph와 game graph 간 쌍방향 변환 구조를 이해하려면 CID(Causal Influence Diagram) 및 영향 다이어그램 문헌의 배경지식이 요구된다.

원자적 인사이트 (Zettelkasten)

💡 counterfactual adaptation: “우연한 최적성”을 agent에서 걸러내는 시험

agent를 “구성요소가 무엇인가”나 “지능이 있는가”로 정의하려는 시도는 경계가 흐릿하고 실험으로 확인하기 어렵다. 이 논문은 정의의 축을 행동의 효과로 옮긴다: 어떤 시스템이 agent인 것은, 그 행동이 세상에 영향을 주는 방식(행동→결과 메커니즘)을 바꾸었을 때 시스템이 자신의 정책을 그에 맞춰 다시 적응(adapt)하기 때문이다. 이 counterfactual adaptation(반사실적 적응) 기준의 묘미는 “accidentally optimal”한 사물 — 마침 최적처럼 보이는 바위, 고정 규칙의 온도조절기 — 을 자동으로 배제한다는 점이다. 그런 사물은 행동의 효과가 달라져도 정책을 바꾸지 않기 때문이다. 다만 이 시험은 메커니즘을 바꾸는 개입(structural mechanism intervention)을 실제로 수행하고 시스템의 반응을 관측할 수 있어야 성립한다.

💡 object-level과 mechanism을 변수로 분리하면 “인과를 인과로 캐물을” 수 있다

보통의 SCM은 변수 V들 사이의 화살표만 다루므로 “변수 X가 어떻게 결정되는지(그 메커니즘)가 바뀌면 다른 변수의 메커니즘도 바뀌는가”라는 2차 질문을 표현할 수 없다. mechanised SCM은 각 object-level 변수 V(흰색)에 대해 그 변수의 조건부 분포 자체를 값으로 갖는 mechanism 변수 Ṽ(검은색)를 도입해 |V|=|Ṽ|로 짝짓는다. 그러면 “Ṽ를 개입으로 바꿨더니 W̃가 반응하더라”가 그래프의 엣지로 표현되고, 적응·목표·전략적 의존성이 모두 mechanism 노드들 사이의 구조로 드러난다. 핵심은 적응 가능한 양(정책·반응 규칙)을 변수로 승격시킨 데 있다. 단, mechanism 변수들이 서로 독립적인 인과 메커니즘(ICM)이라는 가정 위에서 깔끔하지만, decision rule이거나 strategically relevant한 메커니즘은 이 독립성을 깬다.

💡 terminal mechanism edge가 decision과 utility를 가른다

발견 절차의 판정 규칙은 놀랄 만큼 국소적이다: 어떤 노드의 mechanism이 들어오는 terminal edge(다른 mechanism으로 더 이어지지 않는 끝단 화살표)를 가지면 그 노드는 decision node(결정 노드), 나가는 terminal edge를 가지면 utility node(효용 노드)다. 직관적으로 효용 메커니즘의 변화는 “그래서 무엇을 원하는가”를 끝점에서 규정하므로 바깥으로 향하는 끝단 신호를 내보내고, 결정 메커니즘은 그 신호를 받아 “그러면 어떻게 행동할까”로 끝맺는다. 이렇게 game graph(=causal influence diagram)의 노드 타입이 실험 가능한 그래프 성질로 환원된다. 단 이 환원은 Theorem 13이 보장하는 Algorithm 1↔2↔3의 정확성·상호 left-inverse 관계, 그리고 Assumption 15 하에서만 성립하며, 효용이 자신의 결정의 후손이 아닌(non-descendant) 설정에서는 무너진다.

💡 그래프 기반 인센티브 분석의 신뢰 조건을 명시화하다 (recommender·actor-critic)

추천시스템 예제(Fig. 3)에서 발견된 그래프는 인간의 클릭 성향 메커니즘에서 추천 결정 메커니즘으로 향하는 directed path(H̃₂⇢D̃)를 드러낸다 — 즉 추천기가 사람을 목표 지향적으로 변화시키는 구조가 명시적으로 보인다. 이는 Everitt et al.(2021a)의 인센티브 분석이 어디서 모호해지는지를 폭로한다. 일반화하면 graphical incentive analysis는 모든 non-decision mechanism이 들어오는 화살표를 갖지 않을 때에만 신뢰할 수 있다. actor-critic 예제에서는 Christiano(2019, 사적 교신)의 단일-agent 다이어그램이 의심스러웠던 지점을 multi-agent 모델링으로 재서술해 해소한다.

핵심 용어 정리

용어정의
mechanised SCM (mechanised structural causal model)일반 인과구조모델을 확장해, 각 object-level 변수에 그 변수의 인과 메커니즘(조건부 분포) 자체를 값으로 갖는 mechanism 변수를 짝지은 모델. 적응·목표 같은 “규칙의 변화”를 그래프로 표현할 수 있게 한다.
object-level 변수 vs mechanism 변수 (object-level vs mechanism variable)object-level 변수 V(흰색 노드)는 실제 관측되는 양이고, mechanism 변수 Ṽ(검은색 노드)는 “V가 어떻게 정해지는가”라는 메커니즘을 값으로 갖는 변수다. 둘은 일대일 대응해 |V|=|Ṽ|.
structural mechanism intervention어떤 변수의 메커니즘 자체(Ṽ)를 강제로 바꾸는 개입. object-level 값이 아니라 “그 변수가 결정되는 규칙”을 교체해 다른 노드들이 적응하는지를 본다.
terminal / non-terminal mechanism edgemechanism 노드들 사이 화살표 중, 더 이상 다른 mechanism으로 이어지지 않는 끝단 화살표가 terminal edge다. 들어오는 terminal edge는 decision node를, 나가는 terminal edge는 utility node를 식별한다.
leave-one-out causal discovery한 번에 하나의 메커니즘만 변화시키고 나머지는 고정하여 그 효과를 분리 관측하는 발견 전략. cyclic SCM에서도 올바른 인과 그래프를 반환하며(Lemma 1) Algorithm 1이 엣지를 라벨링하는 데 쓴다.
game graph / causal influence diagram (CID)decision·chance·utility 노드와 그 인과 의존성을 나타내는 그래프. 멀티에이전트 의사결정 문제를 인과적으로 표현하며, 본 논문의 Algorithm 2가 산출하는 목표 표현이다.
decision / chance / utility nodedecision node는 agent가 선택을 내리는 노드(들어오는 terminal mechanism edge), utility node는 agent가 최적화하는 목표 노드(나가는 terminal mechanism edge), chance node는 그 외 환경 변수다.
s-reachability (strategic relevance)한 decision의 최적 정책이 다른 노드의 메커니즘에 전략적으로 의존하는 관계(Koller and Milch 2003). mechanised graph에서 mechanism 노드 간 경로로 포착되며, 이 의존성을 갖는 메커니즘은 ICM 독립성을 깬다.
pre-policy vs post-policy intervention정책이 형성되기 전에 메커니즘을 바꾸는 개입(시스템이 적응할 기회를 가짐)과, 정책이 고정된 후에 행동·환경을 바꾸는 개입의 구분. agent 판정은 전자의 적응 반응을 본다.
independent causal mechanisms (ICM)한 시스템의 인과 메커니즘들은 서로 독립적이고 한쪽을 바꿔도 다른 쪽이 영향받지 않는다는 원리. 본 논문에서는 decision rule이거나 strategically relevant한 메커니즘은 ICM을 위반하므로 적용에 제약이 있다.
counterfactual adaptation (반사실적 적응)“행동이 세상에 영향을 주는 방식이 달라졌다면 정책을 바꿨을 것”이라는 반사실 조건. 이것이 충족되는 시스템을 agent로 정의하며, 우연히 최적인 사물을 배제하는 시험이 된다.

관련 연구

태그

paper #2022 causal-models agent-foundations AI-safety influence-diagrams causal-discovery agent-incentives mechanised-SCM

BibTeX

@article{kenton2022discovering,
  title={Discovering Agents},
  author={Kenton, Zachary and Kumar, Ramana and Farquhar, Sebastian and Richens, Jonathan and MacDermott, Matt and Everitt, Tom},
  journal={arXiv preprint arXiv:2208.08345},
  year={2022},
  url={https://arxiv.org/abs/2208.08345},
  eprint={2208.08345},
  archivePrefix={arXiv},
  doi={10.1016/j.artint.2023.103963}
}