연구의 시작은 Chollet의 Agentness:
용어 정의부터 다시 시작하자.
Agentness : 발달심리학자 Spelke의 Core Knowledge 이론에서 온 개념이다.
하지만 Chollet은 Agentness를 단순한 심리학 용어로 쓰지 않는다. 그는 이 개념을 AI 평가에서 허용해야 할 prior이자, 미래 AI agent가 어떤 구조를 가져야 하는지 판단하는 메타-기준으로 다시 읽는다.
Chollet &
Functional Self.
William James의 ‘I, Me’ 개념을 가져와서 정의하자.
결국 보고 싶은 건, ‘AI가 스스로가 어떠한 에이전트인지 파악하고, 그걸 long-horizon task에서 일관성 있게 유지할 수 있냐.’
조금 의인화해서 말해보자면, ‘다중 인격 장애나 변덕쟁이처럼 자아에 일관성이 없는 것처럼 행동하지는 않나? 를 보고자 한다.’
이걸 이전 proposal에서 AI 에이전트에 적용하기 위해 조작적 정의로,
Functional Self = ”
= 현재 행동하는 I가, 기억 속에 저장된 Me를 다시 구성하고 행동으로 재현할 수 있는가? (William James의 I, Me 관점)
측정할 수 있는 포인트들:
-
자아의 관점에서.(Self)
-
여러 에이전트가 상호작용하는 복잡한 환경에서 Agentness가 잘 발달한다면, 각 agent의 행동 내역을 각 agent에 잘 귀속 시킬 수 있을 것이다. (Agentness)
측정하고 싶은 measure : 여러 agent가 복잡하게 상호작용하는 상황에서, 각 에이전트가 한 행동을 각 행동 주체에 깨끗하게 귀속시킬 수 있는지.
Theory of Mind나
조금 더 생각해봤어. 결국 측정하고 싶은 게 살짝식 달랐던 것 같아.
어떠한 쪽이 조금 더 흥미로운 것 같아? 그리고 만약 교수님의 지시가 ‘생존 동기가 강한 모델이 이기는 아레나 구성.’ 관심이 ‘모델이 자아를 가진다면 어떻게 될까?’ 라는 포인트였다면 어느 쪽으로 가는 게 마찰을 줄일 수 있을 것 같은지 알려줘.
각 프로젝트로 진행했을 때, 어떠한 논리로 교수님의 지시와 일치시킬 수 있는 스토리를 짤 수 있을지 알려줘. 억지스러우면 어렵다고 해줘도 돼.
RQ1. 자아의 관점에서 봤을 때, ‘Self Model을 자기가 생성할 수 있고, 일관되게 유지할 수 있을까?’
RQ2.
도로 위 정지 신호가 얼마 남지 않은 상황에서 반대편 차선에서 나를 향해 더 속도를 내고 있는 상황을 생각해보자. 이를 본 나는 나의 행동 계획을 세우는 데 앞의 운전가가 어떻게 움직일지에 대한 이해가 필요하다. ‘곧 신호가 바뀔 걸 저 사람도 알고 있지만, 급해보이니 더 과속을 할 수 있겠구나.’. 이러한 생각을 인간은 자연스럽게 할 수 있다. 인간은 ‘어떠한 객체들은 의도를 가지고 목표를 항해 행동하는 agent’라고 가정한다. 이것이 Chollet가 발달심리학자 Spelke의 Core Knowledge 이론에서 가져온 Agentness의 정의이다.
한 task 안에서 여러 에이전트가 상호작용을 하는 상황을 생각해보자. 타 에이전트가 나에게 영향을 줄 수 있다면, 타 에이전트에 대해 이해를 하고 있어야 나의 미래 행동 계획을 잘 세울 수 있을 것이다.
이 때, 누가 어떠한 일을 처리했는지 잘 파악하지 못한다면, 내가 해야 할 task를 파악하고, 계획하기 어려울 것이다.
이러한 관점에서 모델에게 필요한 능력은 1) 각 행위의 주체가 ‘의도를 가지고 일을 한다’라고 받아들일 수 있는 agentness이고, 2) 각 에이전트가 세계를 어떻게 이해하고 있는지 내가 알아야 하는 ToM(Theory of Mind)
이를 기반으로 각 행위를 그 행위를 한 객체에게 잘 귀속 시킬 수 잇는 능력이 있어야 한다. 그리고 이를 확장해서, 그 나의
그러면 결국 승필님 설계에서는 모델에게 요구되는 게 Agentness, Theory of Mind.
일단 물체를 goal-directness를 가진 agent로 인식할 수 있어야 하고, 이걸 기반으로 Theory of Mind를 할 수 있는지 보고 싶다.
- 자아에 대한 고민 -
만들고 싶은 건 llm 혹은 AI 에이전트가 도전할 아레나야. 핵심적으로 보고 싶은 건, 에이전트가 ‘자아’를 가지고 있을까? 같은 느낌으로 만들고 싶어. 조금 애매한 연결고리인데,
‘서사적 자아의 개념 같은 걸 생각해보면, 이전 행동을 주어주고, 그러한 느낌의 행동을 이어서 할 수있는지 본다면 있다고 할 수 있는건가?’
그러한 생각을 하면서 구성해보려고 해. 여러 AI 에이전트를 멀티 에이전트 게임에 넣어두고, 그들이 각각의 시점에서 상호작용을 하는 걸 memory로써 기록한 다음,
각 에이전트에게 뭐가 너 같아? 이러한 형식으로 물어보는 건 어떨까? 이걸 맞춘다고 하면 자아와 관련된 얘기를 핤 수 있는 건지,
그리고 이걸 llm한테 시킨다고 했을 떄, 무슨 말을 할 수 있을지(어떠한 함의가 있는지) 고민되네.
자아가 있는지 없는지 구분하고 싶다면, 어떻게 시키는게 나으려나?
이미테이션 게임의 논리를 빌려오자면, 사람과 뭔가 구분할 수 없는 상황을 만들자 이잖아. 그러한 포인트에서도 간이 고민해보고 제안해줘.
previlaged access.
모델 4개 정도를 묶어서 같이 게임에 참여시키자. 그다음 각 모델이 조정하고 있던 에이전트를 서로 스위칭.
측정하고 싶은 게 가장 뛰어난 agentness + ToM을 가진 모델이라면, 스위칭 이후에도 잘 살아남아야 함.
예를 들어 4개의 LLM이 동시에 게임을 하게 하고, 스위칭 되었을 때, 바뀐 자기의 모델이 무엇인지 가장 늦게 알아채는 놈은 탈락.
뛰어난 ToM이랑 Agentness를 못 가진 놈이 하나씩 탈락하게 되는 구성.
“두 수의 합과 곱을 주었을 때, 둘 다 모르겠다는 정보가 힌트가 되어 결국 둘 다 찰출할 수 있는 게임. ToM”. ← 이런 과제는 어렵긴 함.
Goal-directness 랑 persona 유지 metric
goal을 달성하는 것 자체에 대한 metirc이 있어야 하지 않느냐. 그리고 그걸
ToM이되, 동기 같은 게 좀 묻어 있는 상황을 원하는 건데,
모델한테 게임을 시켜.
모든 모뎅한테 전부. 그다음에 뭐가 너가 한 것 같아? 골라봐!
phase에서 agent를 누가봐도 알 수 잇게 만들어뒀는데, 이걸 어떻게
그러면 모델이 상황을 보고, agent 간
그러면 심리 실험과 차이점은 그 object를 agent라고 이해하는 것.
이 차이가 뭘 말할 수 있을까?
Agent 간의 관계가 있을 것이라는 추론.
이 실험의 문제는 agent라고 생각하게 한 것.
왜냐하면 이 실험에서 중요한 포인트는 그냥 아무 생각 없이 보면, 점들 간의 이동으로만 볼 수 있다.
투영을 하게 만들어야 하나.