Agentness

35분 분량

Agentness — 지능 측정의 사전지식이자, 미래 AI agent가 지향해야 할 정체성

Chollet의 On the Measure of Intelligence (2019, arXiv:1911.01547)에는 한 번 정의되고 거의 반복되지 않는 단어가 있다. 바로 Agentness다.

이 단어는 발달심리학자 Spelke의 Core Knowledge 이론에서 온 개념이다. 하지만 Chollet은 Agentness를 단순한 심리학 용어로 쓰지 않는다. 그는 이 개념을 AI 평가에서 허용해야 할 prior이자, 미래 AI agent가 어떤 구조를 가져야 하는지 판단하는 메타-기준으로 다시 읽는다.

이 노트는 논문 곳곳에 흩어진 Agentness의 정의, AI 평가에서의 의미, AI agent 설계로 이어지는 함의를 한 자리에 정리한다.

먼저 한 문장으로

Agentness는 “어떤 존재가 의도를 가지고 목표를 향해 효율적으로 행동하며, 다른 행위자와 상호작용할 것”이라고 해석하는 기본 인지 틀이다.

중요한 점은 Agentness가 단순히 “행동하는 물체”를 뜻하지 않는다는 것이다. Agentness는 관찰자가 어떤 대상을 agent로 알아보는 방식에 더 가깝다.

1. Agentness란 무엇인가 — 정의의 네 요소

Chollet은 Agentness를 인간이 진화 과정에서 갖게 된 네 가지 Core Knowledge prior 중 하나로 소개한다. 원문 정의는 다음과 같다.

“Agentness and goal-directedness: humans assume that, while some objects in their environment are inanimate, some other objects are ‘agents’, possessing intentions of their own, acting so as to achieve goals (e.g. if we witness an object A following another moving object B, we may infer that A is pursuing B and that B is fleeing A), and showing efficiency in their goal-directed actions. We expect that these agents may act contingently and reciprocally.” — Chollet 2019, II.1.3, p.26.

Agentness와 goal-directedness: 인간은 자기 환경의 어떤 객체들은 무생물이지만, 다른 어떤 객체들은 자기 자신의 의도를 가지고 목표를 달성하기 위해 행동하는 “agent”라고 가정한다. 예를 들어 어떤 객체 A가 움직이는 다른 객체 B를 따라가는 것을 목격하면, 우리는 A가 B를 추격하고 있고 B는 A로부터 도망치고 있다고 추론할 수 있다. 또한 인간은 이러한 agent들이 목표 지향적 행동에서 효율성을 보인다고 가정한다. 우리는 이 agent들이 조건부로, 그리고 상호적으로 행동할 수 있다고 기대한다.

이 정의를 풀어 쓰면 네 가지 요소로 나눌 수 있다.

요소쉬운 설명무엇을 함의하는가
(1) Intention 보유 가정어떤 대상은 단순한 물체가 아니라, 자기 의도를 가진 존재로 해석된다.인간은 세계를 “그냥 물체”와 “마음을 가진 행위자”로 나누어 본다. 이것이 Agentness의 출발점이다.
(2) Goal-directednessagent의 행동은 어떤 목표 상태를 향해 가는 과정으로 해석된다.행동은 단순한 움직임의 나열이 아니다. 현재 행동은 미래 목표를 통해 이해된다.
(3) Efficiency 가정agent는 목표를 달성할 때 대체로 효율적인 경로를 택한다고 기대된다.인간은 비효율적 움직임보다 “왜 저 방식이 목표 달성에 합리적인가”를 먼저 추론한다.
(4) Contingency & Reciprocityagent는 다른 agent의 행동에 반응하고, 서로 영향을 주고받는다.Agentness는 단일 행위자 이해에서 끝나지 않는다. 완전한 형태는 agent-agent 상호작용이다.

같은 논문에서 Chollet은 이를 더 짧게 “goal-directedness (expectation that our environment includes agents that behave according to goals)” (p.25)라고도 표현한다. 즉, 환경 안에 목표를 따라 행동하는 존재가 있다고 기대하는 것이다.

짧은 정의 직역

Goal-directedness: 우리의 환경이 목표에 따라 행동하는 agent들을 포함한다는 기대.

용어 정리: Agentness

Agentness는 “agent임” 자체라기보다, 어떤 대상을 agent로 해석하게 만드는 인지적 사전지식이다.

예를 들어 공이 굴러가는 것은 물리적 사건으로 볼 수 있다. 하지만 어떤 물체 A가 물체 B를 계속 따라가고, B가 A를 피하는 것처럼 보인다면 우리는 A가 B를 쫓고 있다고 해석한다. 이때 작동하는 해석 틀이 Agentness다.

용어 정리: Prior

Prior는 학습이나 경험이 시작되기 전에 시스템이 이미 가지고 있는 가정, 편향, 기본 지식이다.

Chollet이 말하는 prior는 “부정적인 편향”만 뜻하지 않는다. 인간도 완전한 백지가 아니라 objectness, agentness, number, geometry 같은 기본 직관을 가지고 태어난다고 본다. AI 평가에서 중요한 것은 어떤 prior를 얼마나 가지고 시작했는지 숨기지 않는 것이다.

핵심

Agentness는 “행동하는 entity”가 아니다. 더 정확히는, 관찰자가 어떤 entity를 보고 **“이 대상은 의도를 가지고, 목표를 향해, 효율적으로 행동하며, 다른 agent에게 반응할 것이다”**라고 해석하게 만드는 prior다.

따라서 Agentness는 agent의 물리적 속성이라기보다, agency를 알아보는 사전지식에 가깝다.

2. 왜 중요한가 — 세 층위의 이유

2.1 인간 인지에서: 사회·도덕·언어의 뿌리

Chollet은 인간 인지를 완전한 백지(tabula rasa)로 보지 않는다. 그렇다고 수많은 고정 모듈의 단순한 집합으로만 보지도 않는다. 그는 인간 인지가 진화적으로 형성된 몇 가지 기본 prior 위에서 작동한다고 본다(p.24-25).

그 prior의 대표적인 네 축이 Spelke의 Core Knowledge 시스템이다(p.26).

  1. Objectness & elementary physics
  2. Agentness & goal-directedness
  3. Natural numbers & elementary arithmetic
  4. Elementary geometry & topology

Agentness는 이 네 가지 중 유일하게 사회적 prior다. Objectness, number, geometry가 주로 비인격적 세계의 규칙성을 다룬다면, Agentness는 세계 안에 나와 비슷하게 의도와 목표를 가진 다른 마음이 있다는 가정을 다룬다.

이 가정이 있어야 다음 능력들이 시작된다.

  • Theory of Mind: 다른 agent의 믿음, 욕망, 의도를 추론하는 능력이다. Agentness prior가 없으면 “저 존재에게 마음이 있다”는 출발점 자체가 없다.
  • 언어 이해: 화자가 의도를 가지고 말한다는 가정이 있어야 발화의 의미를 추론할 수 있다. Grice의 cooperative principle도 이 가정 위에 있다.
  • 도덕 판단: “고의였는가?”, “실수였는가?”, “알고도 했는가?” 같은 판단은 모두 agent의 intention을 전제한다.
  • 사회 학습과 모방: 단순히 행동을 복사하는 것이 아니라, “저 agent가 무엇을 원했고, 어떤 전략으로 목표에 도달했는가”를 추론해야 진짜 모방 학습이 된다.

따라서 Agentness는 단순히 “사람을 알아본다”는 능력이 아니다. 그것은 인간 사회 인지의 토대층이다.

용어 정리: Theory of Mind

**Theory of Mind(ToM)**는 다른 존재에게도 믿음, 욕망, 의도, 지식 상태가 있다고 가정하고 그것을 추론하는 능력이다.

Agentness가 “저 대상은 agent일 수 있다”는 기본 분류라면, ToM은 “그 agent는 무엇을 알고, 무엇을 원하고, 왜 그렇게 행동했는가”를 더 구체적으로 추론하는 단계다.

2.2 AI 평가에서: 공정한 사전지식 비교의 출발점

Chollet의 평가 철학은 다음 문장으로 요약할 수 있다.

AI의 지능을 평가하려면 priors, experience, generalization difficulty를 함께 통제해야 한다.

어떤 시스템이 특정 task에서 높은 점수를 얻었다고 하자. 그 점수는 여러 방식으로 만들어질 수 있다.

  • 처음부터 task에 유리한 prior를 많이 가지고 있었을 수 있다.
  • 엄청난 양의 훈련 경험을 받았을 수 있다.
  • 개발자가 평가셋에 맞게 모델을 반복적으로 조정했을 수 있다.
  • 정말로 제한된 정보만으로 새로운 규칙을 빠르게 일반화했을 수 있다.

겉으로는 모두 높은 점수로 보인다. 하지만 Chollet이 측정하려는 것은 마지막 경우다. 그래서 그는 인간과 AI를 비교하려면 둘이 어떤 prior를 가지고 출발하는지 명시해야 한다고 주장한다.

여기서 Core Knowledge 4축이 중요해진다. Chollet은 인간이 최소한 objectness, agentness, number, geometry 같은 prior를 가지고 태어난다고 본다. 그렇다면 인간과 AI를 공정하게 비교하려면, AI에게도 이 정도 prior를 허용하거나 적어도 어떤 prior를 사용했는지 분명히 밝혀야 한다.

이 원칙은 ARC 벤치마크에도 직접 들어간다(p.47-49). ARC의 grid puzzle은 다음을 가정한다.

  • 모든 ARC task는 Core Knowledge 4축 prior만 가정한다.
  • 언어, 문화적 상식, 학교 교육 지식 같은 acquired knowledge는 의도적으로 배제한다.
  • Agentness는 Goal-directedness prior라는 이름으로 들어간다. 예를 들어 input grid와 output grid를 어떤 목표 지향적 과정의 시작 상태와 끝 상태로 해석할 수 있다는 가정이다.

ARC 관련 원문 직역

Chollet은 ARC에서 input/output grid가 인간에 의해 의도성을 포함하는 과정의 시작 상태와 끝 상태로 효과적으로 모델링될 수 있다고 본다(p.49).

직역하면, ARC의 일부 문제는 “입력 격자와 출력 격자가 의도성을 포함하는 어떤 과정의 시작 상태와 끝 상태인 것으로 인간에게 효과적으로 모델링될 수 있다”는 prior를 사용한다.

ARC에서 Agentness가 하는 일

ARC에서 Agentness는 정답을 직접 알려주는 prior가 아니다.

대신 grid를 “랜덤한 픽셀 묶음”이 아니라 어떤 대상이 목표 상태로 이동하거나 변형되는 과정으로 읽게 해준다. 즉, Agentness는 문제를 start state -> goal state로 해석하게 만드는 메타-prior다.

2.3 AI 설계에서: agent를 무엇으로 볼 것인가의 전환

Chollet은 논문에서 AI agent를 단일한 black box로 보는 관점을 비판한다. 특히 강화학습에서 물려받은 “감각 입력을 받아 행동을 내는 하나의 policy”로 agent를 정의하는 방식이 충분하지 않다고 본다.

그가 제안하는 관점은 agent를 두 층으로 나누어 보는 것이다.

  • Intelligent System(IS): 새로운 task를 보고 그 task를 해결할 skill program을 만들어내는 시스템
  • Skill Program(SP): 특정 task에서 실제 행동을 수행하는 비교적 고정된 프로그램

즉, 중요한 것은 이미 만들어진 skill 자체가 아니라, 새로운 skill을 만들어내는 능력이다.

IS/SP 구분 원문 직역

Chollet은 우리가 “agent”를 감각 입력을 받아 행동을 산출하는 단일한 black box로 생각하기를 멈춰야 한다고 말한다(p.42). 그 관점은 강화학습에서 물려받은 것이다.

그의 형식화는 지능을 가진 부분, 즉 intelligent system을, 기술을 달성하거나 행동을 구현하는 부분, 즉 skill program과 분명히 분리한다. 여기서 skill program은 지능 과정의 비지능적 산출물이며, Chollet은 초점을 후자가 아니라 전자에 두어야 한다고 본다.

용어 정리: IS와 SP

**IS(Intelligent System)**는 새 문제를 보고 해결 절차를 만들어내는 쪽이다. Chollet의 관점에서는 여기에 지능이 있다.

**SP(Skill Program)**는 IS가 만들어낸 결과물이다. 특정 상황에서 특정 반응을 내는 실행 프로그램에 가깝다.

비유하면, SP는 이미 작성된 풀이 코드이고, IS는 새로운 문제를 보고 풀이 코드를 작성하는 능력이다.

이 관점은 Agentness 정의와 잘 맞는다. 외부 관찰자는 agent의 행동을 보고 “저 행동은 어떤 목표를 향해 효율적으로 조직되어 있다”고 해석한다. 내부 설계자의 관점에서는 그 행동이 SP이고, 그 SP를 만들어내는 더 깊은 원천이 IS다.

따라서 다음과 같이 대응시켜 볼 수 있다.

외부에서 관찰되는 agent의 행동 = skill program
그 행동을 가능하게 한 의도, 목표, 효율성의 원천 = intelligent system

이 대응은 현대 LLM agent를 평가할 때 중요하다. GPT 같은 LLM을 그대로 policy처럼 사용해 ReAct나 AutoGPT 형태로 실행한다면, 그것은 많은 경우 “진짜 agent”라기보다 하나의 강력한 skill program에 가깝다. 진정한 intelligent agent가 되려면 새 task를 만났을 때 새로운 skill program을 합성하고, 검증하고, 업데이트하는 능력까지 포함해야 한다.

3. AI와의 관계 — 어떤 점에서 무엇을 바꾸는가

3.1 RL 패러다임의 한계 진단

강화학습은 오랫동안 agent를 다음과 같이 정의해 왔다.

sensory input -> policy -> action

이 정의는 명확하고 실용적이다. 하지만 Chollet의 관점에서는 일반 지능을 설명하기에 부족하다.

첫째, 한 task에 최적화된 policy는 그 task의 skill program일 수 있다. 특정 게임에서 인간을 능가해도, 새 task를 만나면 처음부터 다시 학습해야 한다면 그것은 높은 일반 지능의 증거가 되기 어렵다.

둘째, 많은 경험으로 점수를 살 수 있다. OpenAI Five가 “30만 년 분의 게임 경험”으로 학습된 사례는 Chollet이 일반화 비판의 예시로 드는 방향과 맞닿아 있다. 이는 prior와 experience를 대량으로 투입해 skill을 만든 것이지, 적은 경험으로 새로운 skill을 얻는 지능을 보인 것은 아니다.

셋째, RL의 goal은 보통 reward function으로 외부에서 고정된다. 하지만 Agentness에서 말하는 goal-directedness는 관찰자가 행동을 보고 목표와 의도를 추론하는 구조에 가깝다. 즉, 단순 reward maximization만으로는 intention, goal, efficiency, reciprocity의 전체 구조가 설명되지 않는다.

용어 정리: Reward function과 goal

RL에서 reward function은 어떤 행동이 좋은지 나쁜지를 숫자로 주는 함수다.

하지만 Agentness에서 말하는 goal은 단순한 숫자 보상보다 넓다. 관찰자는 agent의 행동을 보고 “저 존재가 어떤 미래 상태를 원하고 있는가”를 추론한다. 그래서 goal은 행동의 의미를 설명하는 해석 구조에 더 가깝다.

3.2 Chollet이 제안하는 대안: IS + SP 이중 구조

Chollet의 형식 모형(Figure 2, p.28)에서 agent는 다음과 같은 구조로 분해된다.

[Intelligent System (IS)]
    = program-synthesis engine
    = task에 대해 skill program을 생성
    ↓ Generation
[Skill Program (SP)]
    = frozen artifact
    = situation -> response mapping
    ↓ Response
[Task]
    = (Situation, Score, Feedback)
    ↑ Score, Feedback -> IS로 피드백

이 구조를 Agentness의 네 요소와 연결하면 다음과 같다.

Agentness 요소IS/SP 모형에서의 위치
(1) IntentionIS가 skill program을 만들 때 따르는 implicit objective다. Chollet은 IS의 goal을 “highly-skilled programs를 생성하는 것”으로 본다(p.30).
(2) Goal-directednessSP는 task score를 향해 작동하고, IS는 task에 적합한 SP를 생성하는 방향으로 작동한다. 즉 목표성이 두 층에 걸쳐 있다.
(3) Efficiency같은 skill에 도달할 때 prior와 experience를 적게 쓰는 것이 중요하다. 이는 Chollet의 정의와 연결된다.
(4) Contingency / Reciprocityfeedback에 따라 IS의 상태가 바뀌고, 그 변화가 다음 SP 생성에 반영된다. 이것이 의 역할이다(p.30).

메타-인사이트

Chollet의 지능 정의는 Agentness를 형식화한 것으로 읽을 수 있다.

다시 말해 “지능을 측정한다”는 것은 단순히 현재 행동이 좋아 보이는지를 보는 일이 아니다. 그것은 진짜 IS를 가진 시스템과, 이미 만들어진 SP만 실행하는 시스템을 구별하는 일이다.

3.3 LLM 시대의 함의: 우리는 어디에 있는가

현재 LLM 기반 agent는 IS와 SP 사이 어딘가에 있다. 한쪽으로 완전히 분류하기는 어렵지만, 다음처럼 나누어 생각할 수 있다.

형태IS/SP 관점에서의 해석
단발성 prompt → completion하나의 mapping에 가깝다. SP 성격이 강하다.
Tool-use + ReAct loop상태를 갱신하며 다음 행동을 고르므로 IS의 일부 기능을 흉내낸다. 하지만 여전히 고정된 실행 루프일 수 있다.
Test-time fine-tuning / continual learning경험이 시스템 상태를 바꾸므로 IS에 가까워진다.
DreamCoder류 program synthesis + LLMtask를 보고 새 프로그램을 합성하고 검증한다는 점에서 IS 정의에 가장 가깝다.

따라서 “LLM agent가 발전했다”는 말은 두 가지로 나누어야 한다.

  • skill program으로서 LLM이 더 좋은 행동을 출력하는가?
  • intelligent system으로서 LLM이 새 task에 맞는 skill program을 더 잘 만들어내는가?

Chollet의 관점에서 더 중요한 것은 두 번째다. 후자가 늘어날 때 Agentness의 진짜 발전에 가까워진다.

4. 앞으로 이 개념이 어떻게 사용될 것인가

4.1 평가의 기준 prior로

ARC-AGI v2, ARC-AGI v3처럼 ARC 계열 평가가 확장될수록 Agentness는 계속 중요한 기준 prior로 남는다. 이유는 단순하다. 인간과 AI를 비교하려면 인간이 기본적으로 가지고 있는 prior를 명시해야 하고, Agentness는 그 prior 집합의 핵심 축이기 때문이다.

ARC 외의 후속 벤치마크에서도 마찬가지다. Animal-AI, Minecraft 기반 agent 평가, reasoning benchmark 등이 단순 점수 경쟁을 넘어 “어떤 prior를 허용했는가”를 명시하려면 Agentness는 포함되어야 할 기본 항목이 된다.

4.2 Multi-agent 시스템 설계의 메타-원칙

Agentness의 네 번째 요소인 contingency and reciprocity는 multi-agent system을 설계할 때 특히 중요하다.

좋은 multi-agent system은 단순히 여러 LLM에게 역할을 나누어 주는 시스템이 아니다. 더 강한 의미의 multi-agent system은 다음 조건을 만족해야 한다.

  • 각 agent가 다른 agent의 intention을 추론한다.
  • 자기 행동이 다른 agent의 goal에 어떤 영향을 줄지 모델링한다.
  • 최소 자원으로 자기 목표를 추구하면서도 협력의 효율을 유지한다.
  • 다른 agent의 행동에 조건부로 응답한다.

현행 multi-LLM 시스템, 예를 들어 AutoGen, CrewAI, LangGraph multi-agent 구조가 단순한 역할 분담 prompt에 머문다면, Agentness의 (1) intention 추론과 (4) reciprocity는 아직 명시적으로 설계해야 할 과제로 남는다.

용어 정리: Contingency와 Reciprocity

Contingency는 상대의 행동에 따라 내 행동이 달라지는 조건부 반응성이다.

Reciprocity는 주고받음이다. 내가 상대에게 반응하고, 상대도 다시 나에게 반응할 것이라는 상호성이다.

Multi-agent system에서 이 두 요소가 없으면 agent들이 함께 있는 것처럼 보여도 실제로는 독립적인 출력기들이 나란히 실행되는 것에 가까울 수 있다.

4.3 Alignment·Safety의 분석 도구로

Bostrom의 The Superintelligent Will - Motivation and Instrumental Rationality in Advanced Artificial Agents가 advanced agent의 동기와 도구적 합리성을 다룬다면, Chollet의 Agentness는 더 앞선 질문을 던진다.

무엇이 어떤 시스템을 agent로 보이게 하며, 또 실제로 agent처럼 작동하게 만드는가?

Alignment 관점에서는 다음 질문들이 중요해진다.

  • Intention의 투명성: AI가 intention을 가진 agent처럼 보일 때, 그 intention은 공개되고 검증 가능한가?
  • Goal-directedness의 한계: 목표 추구 효율이 너무 높아질 때 instrumental convergence가 생기지 않는가?
  • Contingency의 책임: agent가 다른 agent에게 반응하고 상호작용한다면, 그 행동의 책임은 어디에 귀속되는가?

즉 Agentness는 단순한 개념 정리가 아니라, 안전성과 책임 문제를 분석하는 틀로도 사용할 수 있다.

4.4 Embodied AI와 로보틱스

Embodied agent, 예를 들어 로봇, 자율주행차, 가정용 서비스 로봇은 Chollet이 말하는 broad generalization 영역과 연결된다(p.11). 이 영역에서 Agentness는 매우 실용적인 질문으로 바뀐다.

이 로봇은 인간, 동물, 다른 로봇의 의도와 목표를 추론할 수 있는가?

사회적 로보틱스의 핵심 과제가 바로 이것이다. 로봇이 단순히 장애물을 피하는 수준을 넘어 사람과 협력하려면, 주변 대상을 물체와 agent로 구분하고, agent에 대해서는 intention과 goal을 추론해야 한다.

5. 미래의 AI agent는 어떤 관점에서 Agentness를 지향해야 하는가

이제 위 논의를 agent 설계자의 체크리스트로 압축해 볼 수 있다. Chollet의 텍스트와 발달심리학의 결론을 결합하면 다음 여섯 가지 요구가 나온다.

5.1 구조: Monolithic policy를 벗어나 IS + SP 이중 구조로 자기를 인식하라

미래 agent는 단일한 black box policy로만 설명되면 안 된다. 적어도 다음 두 질문에 답할 수 있어야 한다.

  • 지금 실행 중인 것은 어떤 task에 대한 skill program인가?
  • 새 task가 오면 나는 새로운 skill program을 합성할 수 있는가?

첫 번째는 이미 가진 기술의 문제다. 두 번째는 새로운 기술을 얻는 지능의 문제다. Chollet의 관점에서는 이 둘을 분리해서 평가해야 한다.

5.2 인식: 다른 entity 중에서 어떤 것이 agent인가를 명시적으로 분류하라

Spelke의 Agentness prior는 “inanimate object vs agent” 구분에서 출발한다. 미래 agent도 환경 안의 대상을 모두 같은 방식으로 처리해서는 안 된다.

의도를 가질 수 없는 물체에는 물리 모델링 자원을 쓰면 된다. 반대로 의도를 가질 수 있는 대상에는 intention 추론, goal 추론, 상호작용 예측 자원을 써야 한다. 모든 것을 agent로 보는 것도 문제지만, 아무것도 agent로 보지 않는 것도 사회적 실패다.

5.3 추론: 행동을 trajectory가 아니라 goal로 향하는 과정으로 해석하라

agent의 행동을 볼 때 중요한 질문은 “어떤 움직임이 일어났는가?”에서 끝나지 않는다. 더 중요한 질문은 “무엇을 향해 가는가?”다.

Csibra와 Gergely의 teleological stance는 이 점을 잘 보여준다. 인간은 행동을 단순한 궤적이 아니라 목표를 향한 합리적 과정으로 해석한다. AI agent도 사회적 상황을 이해하려면 plan recognition, intent prediction, inverse reinforcement learning 같은 방식으로 이 구조를 구현해야 한다.

용어 정리: Teleological stance

Teleological stance는 행동을 목표 달성을 위한 합리적 수단으로 해석하는 관점이다.

예를 들어 어떤 사람이 문 쪽으로 돌아서 걸어간다면, 우리는 “무작위로 방향을 바꾸었다”고 보기보다 “나가려고 문으로 간다”고 해석한다. 행동의 의미를 목표를 통해 읽는 것이다.

5.4 자기-제약: Efficiency를 자기 행동의 제약으로 받아들여라

Agentness에서 efficiency는 외부 관찰자가 agent를 인식하는 기준이다. 하지만 미래 agent에게는 자기 행동을 제약하는 기준이기도 해야 한다.

같은 goal을 달성할 수 있다면 더 적은 자원, 더 적은 step, 더 적은 prior와 experience를 쓰는 쪽이 더 좋은 agent다. 이는 Chollet의 지능 정의, 즉 와 연결된다. 같은 generalization difficulty를 해결할 때 prior와 experience를 적게 쓰는 시스템일수록 더 지능적이라는 뜻이다.

5.5 관계: 다른 agent와 contingent · reciprocal하게 상호작용하라

Agentness는 단일 agent의 최적화에서 끝나지 않는다. 완성형은 agent-agent dynamics다.

미래 agent는 다른 agent의 행동에 조건부로 반응해야 한다. 동시에 자기 행동이 상대의 다음 반응을 바꿀 것이라고 예상해야 한다. 협력, 경쟁, 기만, 협상 같은 사회적 mode를 명시적으로 표현하고 조절할 수 있어야 한다.

5.6 메타: 자기 자신을 agent로 인식하는 reflective 능력을 가져라

이 요구는 Chollet 본문에 직접적으로 적혀 있지는 않지만, 그의 intelligent system 정의에 함축되어 있다.

진정한 agent는 자기 자신에 대해 다음과 같이 모델링할 수 있어야 한다.

나는 IS이고, 지금 만들어내는 것은 SP이며, 이 SP가 어떤 환경에서 어떤 score를 받을지 예측할 수 있다.

이는 self-model, world-model, agent-model의 세 층을 갖춘다는 뜻이다. 이 지점에서 Chollet의 논의는 A Path Towards Autonomous Machine Intelligence(LeCun 2022)의 architecture 제안과도 연결된다.

6. 종합 — 한 문장으로

Agentness는 세상을 이해하는 prior이자, AI를 평가하는 prior이자, AI agent가 자기 자신을 설계할 때 따라야 할 prior다.

Chollet은 이 세 층을 Agentness라는 한 단어에 압축해 둔다. 후속 연구자의 역할은 이 단어를 세 방향으로 펼치는 것이다.

  1. 평가 벤치마크에서 측정 가능한 prior로 만들기
  2. agent architecture의 구조적 제약으로 만들기
  3. alignment와 safety를 분석하는 진단 도구로 만들기

이 세 방향이 다시 만나는 지점이 중요하다. Core Knowledge prior 위에서, IS + SP 구조로 자기 행동을 생성하고, 다른 agent와 contingent reciprocal하게 상호작용하는 시스템이 등장한다면, 그것은 인간 중심 범위의 일반 지능에 훨씬 가까운 형태일 것이다.

참고

태그

AGI Agentness CoreKnowledge AI-Agent ProgramSynthesis TheoryOfMind Chollet2019