행위주체성은 프레임 의존적이다 (Agency Is Frame-Dependent)

📌 한입 요약
강화학습 연구자가 “이 시스템이 행위주체(agent)인가?”를 물을 때, Abel 외(DeepMind, 2025)는 그 질문에 프레임 독립적(frame-independent) 정답이 없다고 논증한다. Barandiaran 외(2009)와 Moreno(2018)가 정리한 행위주체성의 네 본질 속성 — 개체성(individuality), 행동의 근원(source of action), 규범성(normativity), 적응성(adaptivity) — 을 하나씩 검토하면, 각각이 경계·인과변수·목표 의미성·적응 기준에 대한 임의적 선택(commitment)을 필요로 한다. 이 선택들의 묶음이 “reference frame”이며, 행위주체성은 네 속성을 모두 요구하므로 행위주체성 자체가 프레임 의존적이라는 결론이 따른다(이는 Dennett(1989)의 퍼즐 — 바위·온도조절기·로봇이 행위주체인가 — 을 “프레임을 먼저 고정하라”는 답으로 재구성한다). 저자들은 이것이 결함이 아니라, RL 안에서 행위주체성을 과학적으로 다루기 위한 전제라고 본다.

흐름 따라 읽기

논지 흐름(throughline): Dennett의 퍼즐 제기 → 행위주체성을 떠받치는 네 본질 속성 도입 → 각 속성이 임의적 reference frame 선택에 의존함을 사례로 입증 → 네 속성의 합으로서 행위주체성도 프레임 의존적이라는 결론 → RL/AI에서의 함의와 미해결 과제.

문제 제기 — Dennett의 퍼즐과 핵심 논지

이 논문은 하나의 오래된 물음에서 출발한다. Dennett(1989)은 무엇이 어떤 대상(바위, 온도조절기, 로봇)에게 행위주체성(agency)을 부여하는지를 결정하는 원리가 무엇이냐고 물었다. 저자들의 핵심 논지(thesis)는 단호하다. 행위주체성은 시스템의 내재적·불변(invariant) 속성이 아니라 근본적으로 프레임 의존적(frame-dependent) 이며, “어떤 시스템의 행위주체성에 대한 측정이든 반드시 reference frame에 상대적으로 이루어져야 한다”는 것이다. 여기서 행위주체성은 “시스템이 결과를 목표(goal)를 향해 조종하는 능력(capacity to steer outcomes toward a goal)“으로 느슨하게 정의된다. 이 글은 실험이 없는 순수 이론·철학 에세이이며, 저자들은 자신들의 논의가 “purely philosophical”임을 스스로 명시한다.

행위주체성의 네 본질 속성 (reference frame의 정의)

저자들은 Barandiaran 외(2009)와 Moreno(2018)를 따라 행위주체성을 떠받치는 네 가지 본질 속성을 도입한다. 이 네 속성이 곧 reference frame을 구성하는 네 가지 선택(commitment)의 대상이 된다. 즉 하나의 에이전트 reference frame은 다음 네 약속의 묶음이다.

개체성(individuality) — 행위주체를 환경으로부터 가르는 경계(boundary) 를 무엇으로 둘 것인가.
행동의 근원(source of action) — 행동이 시스템 내부에서 비롯되는지를 판정할 인과변수(causal variables, reference object) 를 무엇으로 둘 것인가.
규범성(normativity) — 무엇을 유의미한 목표 추구(meaningful goal-pursuit) 로 인정할 원리를 무엇으로 둘 것인가.
적응성(adaptivity) — 무엇을 유의미한 행동 변화(meaningful behavioral change) 로 셀지의 기준을 무엇으로 둘 것인가.

핵심 전략은 이 네 속성 각각이 임의적 선택에 의존함을 보이는 것이다. 네 속성이 모두 프레임 의존적이고, 행위주체성은 네 속성의 연접(conjunction) 을 요구하므로, 행위주체성 자체도 프레임 의존적이라는 결론이 따른다.

속성 1 — 개체성(individuality): 경계는 어디에 긋는가

첫 속성은 “분석 대상이 되는 개체”를 환경에서 갈라내는 경계를 요구하는데, 저자들은 “그런 경계를 명확히 식별하는 일은 자명하지 않다(non-trivial)“고 지적한다. 사례 (가) Bohr의 막대(Bohr’s stick): 막대를 쥔 사람을 분석할 때, 맥락에 따라 막대는 그 사람의 경계 안 에 포함될 수도, 밖 으로 배제될 수도 있다. 사례 (나) 신경망 경계: 모델프리(model-free) 학습 알고리즘의 경계는 의사난수 생성기(pseudo-random number generator)와 모든 층을 포함하도록 그을 수도 있고, 마지막 층들만 포함하도록 그을 수도 있다. 형식적 근거로 Jiang(2019)의 Proposition 10은 최적 정책(optimal policy)이나 Bellman error 같은 “RL 에이전트의 핵심 양(key quantities)이 경계에 의존(boundary-dependent)함”을 보인다.

Claim 1: “Nearly all agents admit many plausible boundaries one could draw that separates them from their environment.” (거의 모든 에이전트에 대해, 그것을 환경과 가르는 그럴듯한 경계가 여러 개 존재한다.)

속성 2 — 행동의 근원(source of action / interactional asymmetry): 인과변수를 무엇으로 잡는가

둘째 속성은 시스템이 행동을 스스로 발원 하는지, 아니면 단지 작용을 받는지 를 가르는데, 이는 전적으로 인과변수 선택에 달려 있다. 사례 (가) 벽 vs 철구(wall vs. wrecking ball): 무너지는 벽은 행동을 발원하지 않았다 — 에너지는 철구와 그 조작자에게서 왔다. 사례 (나) 새의 날갯짓(bird’s wings): 새가 날개를 펄럭이는 것은 “그 행동이 새 내부 에서 비롯된 것으로 보는 게 최선이므로(best thought of as originating from within the bird)” 직관적으로 이 조건을 만족한다. 형식적 근거로 Kenton 외(2023)는 직접 이렇게 말한다 — “[인과 모델에서 에이전트를 발견하는 일]은 프레임에 상대적이다 — 즉 우리 인과 모델에 등장하는 변수들의 선택에 상대적이다(relative to a frame – a choice of variables that appear in our causal model).”

Claim 2: “There exist cases with at least two plausible choices of causal variables where the former choice identifies an agent in the causal model, and the latter choice refutes the presence of an agent.” (인과변수에 대해 적어도 두 가지 그럴듯한 선택이 존재하여, 한 선택은 인과 모델 안에서 에이전트를 식별하고 다른 선택은 에이전트의 존재를 반박하는 경우가 있다.)

속성 3 — 규범성(normativity): 무엇을 “유의미한 목표”로 인정하는가

셋째 속성은 가장 까다롭다. 모든 입출력 시스템(input-output system)은 목표 지향적으로 기술될 수 있으므로, 유의미한 목표와 사소한(trivial) 목표를 가르려면 외부 원리가 필요하다. 사례 (가) 고장난 온도조절기(broken thermostat): 늘 온도를 20°로 맞춰버리는 고장난 온도조절기조차 “온도를 20°로 설정한다”는 목표를 가진 것으로 이해될 수 있다. 사례 (나) 바위(rock): “바위는 언덕을 굴러 내려가는 것을 목표로 갖는 것으로도, 혹은 모든 관찰자에게 자신이 바위임을 납득시키는 것을 목표로 갖는 것으로도 볼 수 있다.” 형식적 근거로 역강화학습(inverse RL)의 미결정성(underdetermination)이 동원된다 — Russell(1998)과 Ng & Russell(2000)은 “0 보상함수(zero reward function)는, 신호 출력을 결정(decision)으로 이해하는 모든 시스템과 항상 정합적(consistent)“임을 지적했다. Cao 외(2021)는 개입(intervention) 없이는 “보상이 행동에 의해 미결정(reward is under-determined by behavior)“임을 확립한다. 이 미결정을 해소하려 끌어들이는 편향(bias) — Occam의 면도날(Armstrong & Mindermann 2018) 또는 최대 엔트로피(maximum entropy) 방법(Ziebart 외 2008) — 자체가 임의적 프레임 선택일 뿐이다.

Claim 3: “For nearly all cases of input-output systems, whether that system is meaningfully goal-directed depends on a reference point whose choice is arbitrary.” (거의 모든 입출력 시스템에 대해, 그 시스템이 유의미하게 목표 지향적인지는 그 선택이 임의적인 기준점(reference point)에 달려 있다.)

속성 4 — 적응성(adaptivity): 무엇을 “유의미한 변화”로 세는가

넷째 속성은 무엇을 “유의미한” 행동 변화로 볼지를 정의해야 하는데, 그 기준은 reference frame마다 다르다. 사례 고정 정책(fixed policy): 각 입력 상태를 어떤 행동으로 사상(map)하는 정책은, 출력이 입력에 반응하므로 적응적 이라고 이해될 수도 있고, 동일 입력에 항상 동일 행동을 내므로 비적응적 이라고 이해될 수도 있다. 형식적 근거로 Zadeh(1963)는 “중요한 것은 [시스템]이 적응적인지 아닌지가 아니라, 그것이 무엇에 적응적인지(what … it is adaptive [to])“라고 말한다. Abel 외(2023)의 Theorem 3.1은 “모든 정책이, 유의미한 행동 변화의 reference class에 따라 적응적으로도 비적응적으로도 이해될 수 있음”을 보인다.

Claim 4: “For many input-output systems, there will exist at least two reference frames such that according to the first the system is adaptive, while according to the second, the system is not.” (많은 입출력 시스템에 대해, 첫 프레임에 따르면 적응적이고 둘째 프레임에 따르면 적응적이지 않은, 적어도 두 개의 reference frame이 존재한다.)

RL·AI에서의 함의

논문은 행위주체성을 RL의 역강화학습(IRL) 문제로 자리매김한다. 어떤 목표가 “유의미한지”를 지정하지 않으면, 진짜 행위주체성과 사후 합리화(post-hoc rationalization)를 구별할 수 없다. 보상함수를 제약하려고 최대 엔트로피나 Occam의 면도날을 끌어들이는 표준 RL 접근은 사실상 프레임 선택 원리(frame-selection principle) 다. 따라서 형식적 계산 환경에서도 행위주체성 귀속은 프레임 의존적이다. 함의는 셋이다. (1) 객관적 행위주체성 지표는 없다 — AI 시스템이 행위주체성을 보이는지 검사해도 프레임 독립적 답을 얻을 수 없다. (2) 지향적 태도(intentional stance)의 형식화 — Dennett(1989)을 따라 설명력·예측 효용을 프레임 선택 원리로 삼을 수 있으나, 이는 절대적이 아니라 실용적(pragmatic) 선택이다. (3) 추상화 수준의 다층성 — Marr(2010)의 세 수준(hardware/algorithmic/computational)과 Dennett의 세 태도(physical/design/intentional)는 행위주체성이 선택된 추상화 수준에서 평가되어야 함을 시사한다.

결론과 미해결 과제

결론적으로, 행위주체성은 시스템의 내재적·측정가능한 속성이 아니다. 행위주체성의 귀속은 경계·인과·목표 의미성·행동 적응에 대한 약속들을 요구하며, 그 약속들은 집합적으로 임의적(collectively arbitrary) 이다. 이 약속들이 reference frame을 이루고 행위주체성은 네 속성 모두에 논리적으로 의존하므로, 행위주체성은 근본적으로 프레임 의존적이다. 저자들은 한계를 명시한다. (가) 형식 수학의 부재 — “우리는 reference frame의 엄밀한 수학적 정의, 그리고 행위주체성의 프레임 의존성에 대한 형식적 증명을 제시하는 데까지는 나아가지 않는다.” (나) 프레임 선택 원리의 미정 — “어떤 프레임 선택 원리가 옹호 가능한지, 그 원리들이 어떤 함의를 갖는지 불분명하다.” (다) 지능과 행위주체성의 관계 — “지능과 행위주체성의 관계는 아직 잘 이해되지 않았다.” 저자들은 엄밀한 형식적 전개를 “자연스럽고 결실 있는 향후 연구 방향”으로 남긴다.

원자적 인사이트 (Zettelkasten)

행위주체성은 속성이 아니라 측정이다. “이 시스템은 행위주체인가?”는 reference frame을 고정하기 전까지는 잘못 던져진 질문(ill-posed)이다. 온도·길이처럼 행위주체성에도 암묵적 “측정 단위(=프레임)“가 먼저 선언되어야 한다.
네 속성의 연접이 취약점을 만든다. 행위주체성 = 개체성 ∧ 행동근원 ∧ 규범성 ∧ 적응성. 네 속성 각각이 프레임 의존적이면, 연접인 행위주체성도 자동으로 프레임 의존적이다 — 하나만 무너져도 전체가 상대화된다.
역강화학습의 미결정성은 철학적 결함이 아니라 일반 법칙의 한 사례다. 0 보상함수가 모든 행동과 정합적이라는 IRL의 미결정(Russell 1998; Cao 외 2021)은, 규범성이 임의적 기준점에 의존한다는 더 큰 주장의 RL판(版) 표현이다. 최대 엔트로피·Occam 면도날은 해법이 아니라 숨은 프레임 선택 이다.
Dennett의 지향적 태도는 “객관적 행위주체성”의 대안이 아니라 하나의 프레임 선택 원리다. 설명·예측 효용을 기준으로 행위주체성을 부여하는 것은 절대적 진리 주장이 아니라 실용적 약속이며, 따라서 여전히 프레임 의존적이다.
고정 정책이 적응적이면서 비적응적일 수 있다(Abel 외 2023, Thm 3.1). 동일한 결정함수가 reference class에 따라 적응/비적응으로 갈린다는 사실은, “적응성”이 시스템 내부가 아니라 관찰자가 가져오는 변화-기준에 살고 있음을 보인다.

핵심 용어 정리

Agency (행위주체성): 시스템이 결과를 목표를 향해 조종하는 능력. 이 논문의 핵심 주장은 이것이 내재적 속성이 아니라 프레임 상대적 측정이라는 것.
Reference frame (참조 프레임): 행위주체성을 평가하기 위한 네 가지 약속(경계·인과변수·목표 의미성 원리·유의미한 행동 변화 기준)의 묶음. 측정의 “좌표계”.
Frame-dependence (프레임 의존성): 어떤 양·속성의 값이 선택된 reference frame에 따라 달라지는 성질. (반대말: frame-independent/invariant.)
Individuality (개체성): 행위주체를 환경과 가르는 경계를 두는 본질 속성. 경계 선택이 임의적임을 Bohr의 막대·신경망 사례로 보임.
Source of action / interactional asymmetry (행동의 근원 / 상호작용 비대칭): 행동이 시스템 내부에서 발원하는지를 가르는 속성. 인과변수 선택에 의존(벽 vs 철구, 새의 날갯짓).
Normativity (규범성): 유의미한 목표 추구를 인정하는 속성. IRL 미결정성과 직결.
Adaptivity (적응성): 환경 입력에 대한 유의미한 행동 변화. “무엇에 대해 적응적인가”의 reference class에 의존(Zadeh 1963; Abel 외 2023).
Inverse RL / reward under-determination (역강화학습 / 보상 미결정): 관찰된 행동만으로는 보상함수가 유일하게 결정되지 않는 현상(Ng & Russell 2000; Cao 외 2021).
Intentional stance (지향적 태도): 대상을 신념·욕구를 가진 행위주체로 다루어 행동을 예측하는 Dennett(1989)의 입장. 여기서는 프레임 선택 원리의 한 후보로 재해석.
Markov blanket / boundary (경계): 행위주체와 환경을 통계적·인과적으로 가르는 경계 개념. 어디에 두느냐가 핵심 양(최적 정책, Bellman error)을 바꿈(Jiang 2019).

BibTeX

@article{abel2025agency,
  title   = {Agency Is Frame-Dependent},
  author  = {Abel, David and Barreto, Andr\'e and Bowling, Michael and Dabney, Will and Dong, Shi and Hansen, Steven and Harutyunyan, Anna and Khetarpal, Khimya and Lyle, Clare and Pascanu, Razvan and Piliouras, Georgios and Precup, Doina and Richens, Jonathan and Rowland, Mark and Schaul, Tom and Singh, Satinder},
  journal = {arXiv preprint arXiv:2502.04403},
  year    = {2025},
  doi     = {10.48550/arXiv.2502.04403},
  url     = {https://arxiv.org/abs/2502.04403}
}

행위주체성은 프레임 의존적이다 (Agency Is Frame-Dependent)

행위주체성은 프레임 의존적이다 (Agency Is Frame-Dependent)

흐름 따라 읽기

문제 제기 — Dennett의 퍼즐과 핵심 논지

행위주체성의 네 본질 속성 (reference frame의 정의)

속성 1 — 개체성(individuality): 경계는 어디에 긋는가

속성 2 — 행동의 근원(source of action / interactional asymmetry): 인과변수를 무엇으로 잡는가

속성 3 — 규범성(normativity): 무엇을 “유의미한 목표”로 인정하는가

속성 4 — 적응성(adaptivity): 무엇을 “유의미한 변화”로 세는가

RL·AI에서의 함의

결론과 미해결 과제

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX