언어 에이전트를 위한 인지 아키텍처

Digest: GPT-4·PaLM 같은 LLM(대형 언어 모델)이 도구를 쓰고 환경과 상호작용하는 언어 에이전트(language agent — LLM을 핵심 엔진으로 삼아 다단계 과제를 자율 수행하는 시스템)를 촉발했지만, 로봇공학·대화·강화학습·NLP 등 서로 다른 공동체가 같은 개념을 제각각 부르고 설계 선택을 정당화 없이 내려, 무엇이 성공을 만들고 무엇이 한계인지 비교조차 어려웠다. 저자들이 포착한 빈틈은, LLM이 사실은 확률적 생산 시스템(probabilistic production system) — 텍스트 “조건”을 받아 학습된 변환으로 텍스트 “행동”을 내놓는 시스템 — 이고, 인지과학에는 이미 생산 시스템을 메모리·행동·의사결정으로 확장해온 60여 년의 인지 아키텍처(cognitive architecture, ACT-R·Soar) 전통이 있다는 점이다. 즉 언어 에이전트는 새로 발명할 게 아니라 오래된 좌표계로 읽을 수 있다. 이 통찰에서 CoALA(Cognitive Architectures for Language Agents) 프레임워크가 자연스럽게 따라온다 — 메모리 4종(작업/일화/의미/절차), 행동 공간 4종(접지/추론/검색/학습), 그리고 계획·실행이 반복되는 의사결정 사이클의 세 축으로 모든 언어 에이전트를 기술한다. 저자들은 SayCan·ReAct·Voyager·Generative Agents·Tree of Thoughts 5개 대표 에이전트를 이 어휘로 해부해 서로 다른 도메인의 시스템이 모두 세 축으로 분류됨을 보이고, 60편 이상을 서베이해 “대부분의 에이전트가 작업 메모리 + 많아야 한 종류의 장기 메모리, 그리고 탐욕적(greedy) 의사결정에 머문다”는 공통 패턴을 가시화한다. 대조적으로 명시적 트리 탐색을 쓴 ToT는 Game of 24 성공률을 CoT 4% → 74%로 끌어올려, 빈칸으로 남은 “정교한 의사결정”의 잠재 가치를 수치로 드러낸다. CoALA는 새 에이전트를 설계하는 처방이 아니라 기술·분류용 좌표계이고 수학적 공식화도 없으며, 인지과학 차용은 유추 수준이라 LLM 고유의 임베딩·확률적 성질을 생산 시스템 틀이 완전히 담아내지는 못한다. 서로 다른 메모리 유형을 어떻게 통합하고 언제 검색 대 즉석 추론을 선택할지, 탐색을 언제 켜야 비용 대비 이득인지, 그리고 에이전트가 강력해질수록 투명성·감독·정렬(alignment)을 어떻게 보장할지가 열린 채 언어 기반 일반지능으로 가는 의제로 남는다.

먼저 이해하기

쉬운 설명

이 논문은 LLM(대형 언어 모델, 방대한 텍스트로 학습해 다음 단어를 확률적으로 예측하는 모델)을 두뇌로 삼아 도구를 쓰고 환경과 상호작용하는 언어 에이전트(language agent)들이 우후죽순 쏟아지는데, 이들을 한자리에 놓고 비교할 공통 언어가 없다는 문제에서 출발한다. 저자들은 이를 풀기 위해 인지과학의 인지 아키텍처(cognitive architecture — 인간 인지의 핵심 구조를 담으려는 ACT-R·Soar 같은 통합 계산 틀)를 빌려, CoALA라는 좌표계를 제안한다. 핵심 발상은 LLM을 확률적 생산 시스템(probabilistic production system, 입력 조건을 받아 출력 행동을 내는 규칙 시스템의 부드러운 학습판)으로 보고, 그 위에 메모리·행동·의사결정을 얹는 것이다. CoALA는 메모리를 작업 메모리(working memory, LLM의 맥락 창에 담기는 지금 다루는 정보)·일화 메모리(episodic memory, 겪은 사건의 기록)·의미 메모리(semantic memory, 일반 지식)·절차 메모리(procedural memory, 일을 수행하는 방법·기술) 네 종류로, 행동을 접지(grounding, 바깥세상과 상호작용)·추론(reasoning, 사고 사슬 같은 내부 사고)·검색(retrieval, 장기 메모리에서 읽어오기)·학습(learning, 장기 메모리에 쓰기) 네 범주로 나눈다. 의사결정은 후보를 제안·평가·선택하는 계획(planning)과 선택을 수행하는 실행(execution)이 반복되는 사이클로 본다. 이 좌표계로 SayCan·ReAct·Voyager·Generative Agents·Tree of Thoughts 다섯 에이전트를 분해하고 60편 이상을 정리해, 대부분이 빈약한 메모리와 즉시 실행해버리는 탐욕적 의사결정에 머물러 있음을 보여준다.

왜 중요한가

이 논문은 흩어져 있던 언어 에이전트 연구에 메모리 4종·행동 4종·의사결정 사이클이라는 공통 어휘를 줘서, 서로 다른 도메인의 시스템(로봇 SayCan, 웹 ReAct, 게임 Voyager 등)을 같은 표 위에서 비교할 수 있게 만든다. 그 결과 60편 이상의 서베이(Section 5)에서 “대부분 작업 메모리 + 한 종류의 장기 메모리, 탐욕적 의사결정”이라는 현황의 빈칸이 드러나, 풍부한 메모리·확장된 행동 공간·정교한 의사결정이라는 다음 연구 방향이 진단으로부터 직접 따라 나온다. 빈칸 중 하나인 명시적 탐색의 가치는 ToT가 Game of 24 성공률을 4%에서 74%로 올린 수치로 구체화되어, 어디에 투자하면 능력이 오를지 가늠하게 한다. 또한 LLM을 AI의 60여 년 인지 아키텍처 전통과 잇는 관점은, 언어 에이전트를 매번 새로 발명하는 대신 검증된 설계 축으로 분해해 사고하도록 돕는다. 다만 이 가치는 CoALA가 설계 처방이 아니라 기술·분류용 좌표계라는 원문의 범위 안에서 성립한다.

먼저 알아둘 말

용어	쉬운 설명	정확성 메모
언어 에이전트(language agent)	LLM을 머리로 삼아 도구를 쓰고 환경과 주고받으며 과제를 푸는 프로그램	단순 질의응답·텍스트 생성과 구분; 핵심은 목표 추구와 환경 상호작용
인지 아키텍처(cognitive architecture)	인간 인지의 핵심 구조를 담으려는 통합 계산 틀	대표 사례는 ACT-R(선언/절차 기억 + 중앙 생산 시스템)과 Soar(문제 공간·하위목표화); 고전 AI 전통
생산 시스템(production system)	“조건이 맞으면 이 행동” 규칙(productions)들의 집합	Newell & Simon(1972) 기원; 고전판은 결정론적 if-then, 기호 기반
확률적 생산 시스템(probabilistic production system)	위 규칙을 손코딩 대신 데이터로 학습하고 자연어로 부드럽게 굴리는 판 = LLM의 해석	기호 아닌 자연어, 암묵 학습, 모호성 처리, 새 입력 일반화가 고전판과의 차이
작업 메모리 / 맥락 창(working memory / context window)	에이전트가 “지금” 다루는 목표·관찰·중간 추론을 담는 단기 저장소	LLM에선 컨텍스트 창에 대응; 빠르지만 용량 제한
행동 공간 4종(접지·추론·검색·학습)	바깥과 상호작용(접지)·내부 사고(추론)·메모리 읽기(검색)·메모리 쓰기(학습)	접지·추론은 외부/작업메모리에 작용, 검색·학습은 작업↔장기 메모리를 매개하는 비대칭 구조
의사결정 사이클(계획·실행)	후보를 내고 평가·선택하는 계획 + 고른 행동을 수행하는 실행의 반복	핵심 설계 변수는 계획 단계에서 탐색(search)을 얼마나 쓰는가
탐욕적 의사결정(greedy decision-making)	행동 하나를 만들면 평가·비교 없이 바로 실행해버리는 방식	서베이상 다수 에이전트의 디폴트; 트리 탐색·역추적이 없는 상태
트리 탐색 / Tree of Thoughts(tree search / ToT)	가능한 다음 행동들을 가지처럼 펼쳐 평가하고 막히면 되돌아가는 탐색	ToT는 BFS/DFS로 사고 후보를 탐색; Game of 24에서 CoT 4%→74%
정렬(alignment)	에이전트의 목표·행동을 사람의 진짜 의도에 맞추는 것	§6.5 안전 의제(투명성·감독·정렬)의 한 축; 능력↑일수록 중요

흐름 따라 읽기

Abstract

이 초록은 논문 전체의 문제-제안-용도를 한 단락으로 압축하여, 독자가 CoALA를 왜 읽어야 하는지 즉각 판단할 수 있게 한다. 전체 throughline에서 “통합 이론틀 부재(문제) → CoALA 3요소 제안(해법) → 회고적 서베이 + 전망적 방향(용도)“의 첫 관문 역할이다.

최근 LLM(대형 언어 모델, large language model)을 외부 자원(인터넷 등)이나 내부 제어 흐름(프롬프트 체이닝 등)으로 확장한 언어 에이전트(language agent — LLM이 환경과 상호작용하며 다단계 과제를 수행하는 시스템)가 등장해 실증적 성과를 거두고 있다. 그러나 기존 에이전트들을 체계적으로 비교·조직할 공통 프레임워크가 부재하여, 미래 개발 방향을 계획하기 어렵다는 한계가 있다. 저자들은 인지과학(cognitive science)과 기호주의 AI(symbolic artificial intelligence)의 오랜 전통을 빌려 CoALA(Cognitive Architectures for Language Agents)를 제안한다. CoALA는 언어 에이전트를 (1) 모듈형 메모리(modular memory) 구성요소, (2) 내부 메모리·외부 환경과 상호작용하는 구조화된 행동 공간(structured action space), (3) 행동을 선택하는 일반화된 의사결정 사이클(generalized decision-making process)의 세 축으로 기술한다. 이 프레임워크는 방대한 최신 연구를 회고적으로 서베이·정리하는 데 쓰이며, 더 유능한 에이전트를 향한 실행 가능한 방향을 전망적으로 도출하는 데도 활용된다. 궁극적으로 CoALA는 오늘날의 언어 에이전트를 AI의 더 넓은 지적 역사 속에 위치시키고, 언어 기반 일반지능(language-based general intelligence)으로 가는 경로를 제시한다.

핵심 기여

인지과학·기호주의 AI의 인지 아키텍처 전통을 언어 에이전트 연구에 적용하여 CoALA 개념 프레임워크를 제안한다.
모듈형 메모리, 구조화된 행동 공간, 일반화된 의사결정 사이클의 세 축으로 언어 에이전트를 통합 기술하는 공통 어휘를 제공한다.
CoALA를 활용해 기존 대규모 언어 에이전트 연구를 회고적으로 분류·정리하고, 더 유능한 에이전트를 위한 전망적 연구 방향을 도출한다.

Introduction

이 섹션은 CoALA 프레임워크 전체 논증의 출발점으로, spine의 throughline 첫 번째 마디—“언어 에이전트는 경험적으로 성공했으나 통합 이론틀이 없다(문제)“—를 펼치고, 바로 그 빈자리를 채울 CoALA의 세 축(메모리·행동 공간·의사결정)과 네 가지 기여를 선언하는 역할을 맡는다.

GPT-4, PaLM, LLaMA 같은 대형 언어 모델(LLM, large language model)의 등장은 새로운 AI 시스템 범주인 언어 에이전트(language agent)를 촉발했다. 언어 에이전트는 단순한 질문-응답이나 텍스트 생성을 넘어 목표를 자율적으로 추구하고 도구를 사용하며 외부 환경과 상호작용한다. 실증적 성과는 인상적이지만, 로봇공학·대화 시스템·강화학습·NLP 등 서로 다른 연구 공동체가 제각각 용어와 설계 패턴을 사용하고 있어 성공 원리나 한계를 식별하기 어렵다는 문제를 저자들은 진단한다. 이에 대한 응답으로 본 논문은 인지과학과 기호주의 AI(symbolic AI, 기호와 규칙으로 지능을 모델링하는 접근법) 수십 년의 연구를 끌어와 **Cognitive Architectures for Language Agents(CoALA)**를 제안한다. CoALA는 언어 에이전트를 세 차원—①메모리(다양한 유형의 정보를 저장하는 모듈형 구성요소), ②행동 공간(action space, 메모리 및 외부 환경과 상호작용하는 행동의 구조화된 집합), ③의사결정(decision-making, 어떤 행동을 실행할지 선택하는 일반화된 과정)—으로 기술한다. 저자들은 CoALA를 회고적으로는 60편 이상의 최신 언어 에이전트 논문을 통합 분류하는 서베이에, 전망적으로는 미래 연구 방향 도출에 활용한다고 밝히며, 네 가지 핵심 기여—인지과학에 기반한 원칙적 프레임워크 제공, 기존 연구의 체계적 정리, 실행 가능한 연구 방향 제시, 오늘날 언어 에이전트의 AI 역사적 위치 맥락화—를 선언하며 이후 섹션(Background → Framework → Case Studies → Survey → Future Directions)에서 전개될 논증의 좌표를 설정한다.

Background

본 섹션은 CoALA 프레임워크의 지적 토대를 놓는다. throughline 상 “LLM은 일종의 확률적 생산 시스템이고, 인지 아키텍처가 생산 시스템을 메모리·행동·의사결정으로 확장해온 전통이 있다(통찰)“에 해당하는 구간으로, 이후 framework 섹션에서 CoALA를 정의하기 위한 역사적·개념적 정당성을 세 층위로 쌓는다.

2.1 인지과학과 기호주의 AI

생산 시스템(production system, 조건-행동 규칙의 집합)은 Newell & Simon(1972)이 지능적 행동을 “조건이 충족되면 발화하는 규칙(productions)“으로 형식화한 데서 출발한다. 이 전통은 인지 아키텍처(cognitive architecture, 인간 인지의 필수 구조를 담으려는 통합 계산 프레임워크)로 발전했다. 대표 사례는 두 가지다.

ACT-R(Anderson 1983, 2007): 사실을 저장하는 선언적 기억(declarative memory)과 기술을 저장하는 절차 기억(procedural memory)을 두고, 중앙 생산 시스템이 이를 조율한다.
Soar(Laird, Newell & Rosenbloom 1987): 문제 공간(problem space) 프레임워크와 교착 상태(impasse) 발생 시 보편적 하위목표화(universal subgoaling)로 의사결정을 처리한다.

두 아키텍처는 세 가지 공통 특징을 갖는다: (1) 특성이 서로 다른 복수의 메모리 모듈, (2) 메모리·환경과 상호작용하는 구조화된 행동 공간, (3) 행동을 선택·적용하는 사이클형 의사결정 과정. CoALA는 이 세 축을 직접 계승한다.

2.2 확률적 생산 시스템으로서의 LLM

현대 LLM(대형 언어 모델)은 확률적 생산 시스템(probabilistic production system)으로 해석할 수 있다. 고전 생산 시스템이 결정론적 if-then 규칙을 쓰는 것과 달리, LLM은 텍스트 입력(“조건”)을 받아 학습된 연관을 통해 텍스트 출력(“행동”)을 생성하는 부드럽고 학습된 변환을 수행한다. LLM이 고전 생산 시스템과 다른 점은 (a) 기호 표현이 아닌 자연어로 동작하고, (b) 규칙을 손으로 코딩하는 대신 데이터에서 암묵적으로 학습하며, (c) 자연어의 완전한 복잡성과 모호성을 다루고, (d) 새로운 입력에 유연하게 일반화한다는 것이다. 이 관점이 언어 에이전트를 인지 아키텍처 렌즈로 볼 근거를 제공한다: 인지 아키텍처가 생산 시스템을 메모리 모듈과 구조화된 의사결정으로 확장했듯, 언어 에이전트는 LLM을 유사한 구성요소로 확장한다.

2.3 새로운 패러다임으로서의 언어 에이전트

저자들은 언어 에이전트(language agent)를 “LLM을 핵심 계산 엔진으로 삼아 환경을 지각하고 행동하는 시스템”으로 정의한다. 최근 연구는 LLM에 두 종류의 증강을 더해왔다.

외부 자원: 웹 검색(WebGPT), 코드 실행기(Codex), 데이터베이스, API, 로봇 액추에이터
내부 제어 흐름: 사고 사슬(chain-of-thought) 프롬프팅, 자기 정제(self-refinement), 반성(reflection), 계획 모듈

이 증강들은 복잡한 다단계 과제를 수행하는 에이전트를 가능케 했다. 그러나 각 시스템은 어떤 메모리를 쓸지, 어떤 행동이 가능한지, 어떻게 의사결정을 내릴지에 대해 명시적 정당화 없이 제각각 설계 선택을 해왔다. CoALA는 이 선택들을 명시적이고 원칙적으로 만들기 위한 프레임워크로 이어진다.

Framework (CoALA)

이 섹션은 CoALA 프레임워크(Cognitive Architectures for Language Agents)의 본체로, 메모리(memory) 4종 + 행동 공간(action space) 4종 + 의사결정 사이클(decision-making cycle) 2단계라는 세 축을 공식 정의하여 CoALA의 공통 좌표계를 완성한다.

메모리 구성요소

CoALA는 인지과학에서 가져온 네 가지 메모리 유형을 구분한다. 작업 메모리(working memory)는 에이전트가 현재 처리 중인 목표, 관찰, 중간 추론 결과를 담는 단기·인-컨텍스트 저장소로, LLM 기반 에이전트에서는 컨텍스트 창(context window — LLM이 다음 출력을 생성할 때 참조하는 텍스트 범위)에 대응한다. 속도는 빠르지만 용량이 제한적이다. 일화 메모리(episodic memory)는 에이전트가 경험한 특정 사건·상호작용·궤적의 기록을 에피소드 간에도 지속적으로 저장하며, 임베딩 유사도로 색인된 과거 상호작용 전문(transcript)의 벡터 데이터베이스로 구현할 수 있다. 의미 메모리(semantic memory)는 특정 에피소드에 묶이지 않은 일반적 세계 지식·사실·개념·관계를 담으며, 문서 데이터베이스, 지식 그래프, 혹은 LLM 가중치에 내재된 암묵적 지식으로 구현된다. 절차 메모리(procedural memory)는 “무언가를 아는 것”이 아닌 “무언가를 수행하는 방법을 아는 것” — 기술·전략·프로그램 — 을 저장하며, Voyager 에이전트(게임 환경에서 기술을 누적하는 LLM 에이전트)의 프로그램 라이브러리처럼 구현되거나 LLM 가중치의 암묵적 절차 지식으로 존재한다. 핵심 통찰은 현대 LLM이 이미 네 가지 메모리 유형을 내재적으로 갖추고 있으나, 제한된 컨텍스트 길이·재훈련 없이 업데이트 불가·명시적 구조 부재라는 한계를 외부 메모리 시스템을 추가함으로써 극복할 수 있다는 점이다.

행동 공간 분류

CoALA는 언어 에이전트가 취할 수 있는 행동을 기능에 따라 네 범주로 정리한다. 접지 행동(grounding action)은 에이전트를 외부 세계와 연결하는 “외부적” 행동으로, 웹 브라우징·코드 실행·API 호출·로봇 액추에이터 제어·인간과의 대화 등이 해당한다. 추론 행동(reasoning action)은 LLM을 적용해 작업 메모리를 업데이트하는 “내부적” 행동으로, 사고 사슬(chain-of-thought — 중간 추론 단계를 텍스트로 명시하는 기법)·목표 분해·후보 계획 평가·가설 생성이 포함된다. 외부 환경이나 장기 메모리와 직접 상호작용하지 않고 컨텍스트 창 내에서만 새 텍스트를 생성한다. 검색 행동(retrieval action)은 장기 메모리(일화·의미·절차)에서 작업 메모리로 정보를 읽어오는 행동으로, 유사 과거 에피소드 검색·지식 베이스 조회·기술 라이브러리 로딩이 예다. 학습 행동(learning action)은 반대 방향으로, 장기 메모리에 정보를 쓰는 행동으로 새 에피소드 저장·지식 베이스 업데이트·기술 추가·LLM 파인튜닝(fine-tuning — 새 데이터로 모델을 추가 학습하는 과정)이 포함된다. 이 분류는 중요한 비대칭성을 포착한다: 접지·추론 행동은 각각 외부 세계와 작업 메모리에 영향을 주고, 검색·학습 행동은 작업 메모리와 장기 메모리 사이를 매개한다.

의사결정 사이클

CoALA의 의사결정은 계획(planning)과 실행(execution) 두 단계가 반복되는 사이클로 기술된다. 계획 단계에서 에이전트는 추론을 통해 후보 행동을 제안하고, 추론 또는 외부 피드백으로 후보를 평가하고, 평가에 따라 최선의 행동을 선택한다. 이 단계는 LLM의 단일 순방향 패스처럼 단순할 수도 있고, 다수의 후보 계획에 대한 트리 탐색(tree search — 가능한 미래 행동들을 트리 구조로 탐색하는 탐색 전략)처럼 복잡할 수도 있다. Tree of Thoughts(Yao et al., 2023b)가 명시적 트리 탐색을 계획 단계에 사용하는 대표 예다. 실행 단계에서는 선택된 행동의 유형에 따라 외부 환경이 변경되거나, 작업 메모리가 갱신되거나, 장기 메모리가 읽히거나 쓰인다. 실행 후 에이전트는 결과를 관찰하고 새 계획 단계를 시작하며, 목표 달성·자원 소진·포기 중 하나에 이를 때까지 사이클을 반복한다. 핵심 설계 선택은 계획 단계에서 탐색(search)을 얼마나 활용하는가에 있다 — 단순 에이전트는 첫 번째 합리적 행동을 즉시 실행하는 반면, 정교한 에이전트는 다수의 옵션을 명시적으로 검토하고 평가한다.

Case Studies

이 섹션은 CoALA 프레임워크를 실제 에이전트에 적용해 검증하는 역할을 한다. 즉, 3장에서 추상적으로 정의한 메모리·행동 공간·의사결정 사이클이라는 세 축이 서로 다른 도메인과 아키텍처를 가진 대표 에이전트들을 실제로 기술·분류할 수 있음을 구체 사례로 보여준다.

SayCan (Ahn et al., 2022)은 로봇 제어 에이전트로, LLM이 생성하는 행동 후보의 언어적 그럴듯함(LLM 확률)과 학습된 가치 함수(로봇의 물리적 실행 가능성)를 곱해 행동을 선택하는 접지 행동(grounding action: 환경·물리 조작) 중심 시스템이다. 작업 메모리(working memory: LLM 맥락 창에 유지되는 현재 정보)에 현재 지시와 상태만 유지하며, 일화·의미·절차 메모리가 거의 없고 학습도 없다. 핵심 한계는 고정된 행동 공간(미리 정의된 원시 스킬만 실행 가능, 새 스킬 학습 불가)이다.

ReAct (Yao et al., 2022)는 웹 검색·질의응답 환경에서 추론 행동(reasoning action: 사고 사슬 생성)과 접지 행동(웹 검색·데이터베이스 조회)을 매 스텝 교차하며 탐욕적(greedy) 의사결정을 수행한다. 장기 메모리가 없어 에피소드 간 정보 유지가 불가능한 것이 주요 한계다.

Voyager (Wang et al., 2023)는 Minecraft 오픈 월드에서 절차 메모리(procedural memory: 재사용 가능한 JavaScript 스킬 라이브러리)를 점진적으로 확장하는 체화된 에이전트(embodied agent: 가상 세계에 몸을 두고 행동하는 에이전트)다. 접지·추론·검색(retrieval: 라이브러리에서 관련 스킬 인출)·학습 행동(learning action: 새 스킬 저장) 네 가지를 모두 활용하며, 반복 정제 루프(iterative refinement loop)로 실행 피드백을 받아 프로그램을 개선한다. 스킬 라이브러리가 누적·재사용되므로 복잡한 과제도 망각 없이 해결할 수 있다.

Generative Agents (Park et al., 2023)는 사회적 샌드박스 환경에서 인간다운 행동을 모사하며, 일화 메모리(episodic memory: 중요도 점수와 함께 경험 스트림 저장)에 반성(reflection) 메커니즘을 더해 과거 경험을 고차 통찰로 합성한다는 점이 핵심 혁신이다. 최신성·중요도·관련성을 결합한 메모리 검색으로 일과 계획을 세우고 이를 구체 행동으로 분해하는 계층적 의사결정 사이클을 갖는다.

Tree of Thoughts (Yao et al., 2023b; ToT)는 명시적 트리 탐색(tree search)을 의사결정에 도입한 추론 프레임워크로, BFS(너비 우선) 또는 DFS(깊이 우선)로 복수의 사고 후보를 생성·평가·선택하고 역추적(backtrack)할 수 있다. 장기 메모리·접지·학습 없이 추론 행동만으로 구성되어 있으나, 비탐욕적(non-greedy) 탐색 덕분에 비선형 추론이 요구되는 과제에서 LLM 자체 변경 없이 성능을 대폭 높인다.

다섯 사례를 관통하는 패턴은 survey 섹션에서 더 광범위하게 확인되는데, 이 사례들 자체가 이미 “대부분 빈약한 메모리·탐욕적 의사결정”이라는 현황 진단의 전형과 예외를 동시에 보여준다.

Survey

이 섹션은 CoALA 프레임워크의 유용성을 실증하는 단계다. 60편 이상의 기존 언어 에이전트(language agent) 논문을 CoALA의 세 축(메모리·행동 공간·의사결정)으로 체계적으로 정리함으로써, 현재 연구의 공통 패턴과 공백을 가시화한다. 이 결과는 곧바로 다음 섹션(§6 Future Directions)에서 미래 방향 도출의 근거가 된다.

메모리(memory) 측면에서, 대부분의 에이전트는 작업 메모리(working memory, 즉 LLM의 맥락 창(context window))와 많아야 한 종류의 장기 메모리만 사용한다. 장기 메모리 중에서는 일화 메모리(episodic memory, 과거 상호작용의 구체적 경험을 저장하는 메모리)가 대화 및 과업 완수 에이전트에서 가장 널리 쓰인다. 절차 메모리(procedural memory, 행동 규칙·기술 코드 등을 저장하는 메모리)는 Voyager, CodeAct 같은 사례에서 점차 늘고 있으나 아직 소수다. 여러 메모리 유형을 동시에 사용하거나 명시적으로 구분하는 에이전트는 드물다.

행동 공간(action space) 측면에서, 접지 행동(grounding action, 외부 환경과 실제로 상호작용하는 행동)은 거의 모든 에이전트에서 사용되어 가장 지배적이다. 추론 행동(reasoning action)도 사고 사슬(chain-of-thought) 형태로 보편적으로 쓰인다. 검색 행동(retrieval action, 외부 지식 베이스에서 정보를 가져오는 행동)은 외부 지식 베이스를 갖춘 다수 에이전트가 채택한다. 반면 학습 행동(learning action, 파인튜닝이나 절차 메모리 갱신 등 에이전트 자체를 업데이트하는 행동)은 네 유형 중 가장 드물게 활용된다.

의사결정(decision-making) 측면에서, 대부분의 에이전트는 탐욕적 의사결정(greedy decision-making, 단일 행동을 생성하는 즉시 실행하는 방식)에 의존한다. 명시적인 계획(탐색·평가·역추적 포함)을 갖춘 에이전트는 더 높은 능력을 보이지만 계산 비용도 크다. 반복적 자기 정제(iterative self-refinement, 출력을 생성·평가·수정하는 루프)를 사용하는 에이전트는 소수에 그친다. 이 패턴들은 현재 언어 에이전트 연구가 빈약한 메모리와 탐욕적 의사결정에 집중되어 있음을 보여주며, 이 공백이 §6에서 도출되는 미래 연구 방향의 직접적 근거가 된다.

Future Directions

이 섹션은 CoALA가 앞선 서베이(§5)에서 드러낸 “현 언어 에이전트의 빈칸들” — 빈약한 메모리, 제한된 행동 공간, 탐욕적 의사결정 — 을 미래 연구 의제로 전환하는 전망 역할을 한다.

6.1 풍부한 메모리 아키텍처 (Richer Memory Architectures)

현재 대부분의 에이전트가 빈약한 메모리 시스템에 머물러 있다는 진단 아래, 세 가지 과제를 제시한다. 첫째, 일화 메모리(episodic memory: 과거 경험 기록 저장소)의 조직화·인덱싱 방식 및 적절한 검색 시점. 둘째, 절차 메모리(procedural memory: 기술·방법 저장소)에서 새 기술을 학습하는 방법과 기존 기술 재사용 대 처음부터 계획하기의 선택 기준. 셋째, 서로 다른 메모리 유형 간 통합 및 메모리 검색 대 즉석 추론 사이의 트레이드오프.

6.2 확장된 행동 공간 (Expanded Action Spaces)

세 방향을 제안한다. 더 복잡한 물리 환경과 다양한 센서 양식을 아우르는 풍부한 접지 행동(grounding action: 외부 환경과 직접 상호작용하는 행동), 더 나은 계획 알고리즘과 효과적 자기 평가를 포함하는 강력한 추론 행동(reasoning action), 그리고 경험으로부터 지식과 기술을 원칙적으로(principled) 갱신하는 체계적 학습 행동(learning action).

6.3 정교한 의사결정 (More Sophisticated Decision-Making)

현재 에이전트가 탐욕적(greedy) 의사결정에 머무는 한계를 넘기 위해 세 과제를 제시한다. 명시적 트리 탐색(tree search: 여러 행동 경로를 분기·비교하는 탐색 방식)의 활용 시점과 탐색 공간 정의, 후보 행동 평가 방법과 유효한 신호 설계, 그리고 에이전트가 자신의 추론 과정 자체를 성찰하는 메타-추론(meta-reasoning).

6.4 표준화와 모듈성 (Standardization and Modularity)

분야 전체가 공유할 수 있도록 세 가지를 촉구한다. 에이전트 구성요소에 대한 공통 어휘와 인터페이스, 메모리 시스템·행동 유형·의사결정 절차의 재사용 가능한 모듈형 구현체, 그리고 에이전트 능력의 서로 다른 측면을 측정하는 표준화된 벤치마크.

6.5 안전과 정렬 (Safety and Alignment)

에이전트 능력이 강화될수록 안전 보장이 긴요해진다는 전제 아래 세 과제를 제시한다. 에이전트의 행동과 이유를 인간이 이해할 수 있도록 하는 투명성(transparency), 에이전트 행동에 대한 적절한 인간 통제를 유지하는 감독(oversight), 그리고 에이전트가 사용자의 실제 목표를 추구하도록 보장하는 정렬(alignment: 에이전트의 목표·행동이 인간의 의도와 일치하도록 맞추는 것).

CoALA 프레임워크가 기존 서베이 및 관련 연구들과 어떻게 차별화되는지를 명시함으로써, “왜 CoALA가 필요한가”를 학술적으로 뒷받침하는 위치 정리(positioning) 섹션이다.

기존 관련 연구는 크게 세 계열로 분류된다. 첫째, LLM 역량 서베이(예: Bommasani et al., 2021)는 LLM을 정적 모델(static model)로서 평가하며, 환경과 상호작용하는 에이전트 구성요소로 다루지 않는다. 둘째, 자율 에이전트 서베이(예: Wang et al., 2023)는 에이전트 유형 분류체계(taxonomy)를 제공하지만 개별 에이전트의 내부 구조(internal structure)—메모리·행동 공간·의사결정 사이클 등의 설계 선택—에는 초점을 맞추지 않는다. 셋째, 인지 아키텍처(cognitive architecture) 서베이(예: Kotseruba & Tsotsos, 2020)는 ACT-R·Soar 같은 고전 아키텍처를 포괄하지만 현대 LLM과의 연결을 제시하지 못한다.

CoALA는 LLM을 에이전트로 다루는 연구들(예: Weng, 2023; Mialon et al., 2023)과 방향성을 공유하면서도, 인지과학 전통에 토대를 두고 메모리·행동·의사결정이라는 세 축으로 설계 선택을 체계적으로 구조화한다는 점에서 기존 연구들보다 더 원칙적이고(principled) 포괄적인 프레임워크임을 정리한다.

Conclusion

저자들은 CoALA가 언어 에이전트를 세 차원으로 기술한다고 요약한다. 첫째, 모듈형 메모리(modular memory): 작업 메모리(working memory, 현재 처리 중인 정보를 담는 맥락 창)·일화 메모리(episodic memory, 과거 경험 기록)·의미 메모리(semantic memory, 사실·지식 저장)·절차 메모리(procedural memory, 행동 방법 저장). 둘째, 구조화된 행동 공간(structured action space): 접지(grounding, 외부 환경과의 상호작용)·추론(reasoning, 내적 사고 연산)·검색(retrieval, 메모리에서 정보 인출)·학습(learning, 메모리 갱신). 셋째, 일반화된 의사결정 사이클(generalized decision-making cycle): 계획(planning)과 실행(execution) 두 단계. CoALA는 이 어휘를 통해 기존 언어 에이전트 연구를 서베이·분류하고 미래 연구 방향을 도출하는 데 쓰였다. 저자들은 또한 언어 에이전트가 인지 아키텍처(cognitive architecture)·생산 시스템(production system, 조건-행동 규칙의 집합)·기호주의 AI(symbolic AI) 수십 년 전통과 연결된다는 점을 강조하면서도, LLM이 유연한 언어 기반 추론 엔진으로서 인지 아키텍처의 핵심 역할을 담당할 수 있다는 점을 “언어 에이전트의 새로움”으로 짚는다. 이 전통을 계승함으로써 더 원칙적이고(principled), 유능하며(capable), 범용적인(general) 에이전트를 개발할 수 있다는 전망으로 글을 맺는다.

GitHub Resource

본문은 CoALA 기반 저장소(https://github.com/ysymyth/awesome-language-agents)를 제시하며, 최근 언어 에이전트(language agent — LLM이 도구·환경과 상호작용하는 시스템) 연구 100편 이상을 행동 유형별로 분류하여 관리 중임을 밝힌다. 또한 본 전문 텍스트는 arXiv 초록 페이지, ar5iv.labs.arxiv.org HTML 렌더링, awesome-language-agents GitHub 저장소 README, arXiv 메타데이터(2309.02427v3)를 포함한 복수의 검증된 출처로부터 재구성된 것임을 명시하고 있으며, 이는 TMLR 카메라 레디 v3의 실제 내용을 반영한다.

축	본 논문 — CoALA (TMLR 2024)	ReAct (ICLR 2023) [base]	Voyager (2023) [base]	Tree of Thoughts (NeurIPS 2023) [base]	Generative Agents (UIST 2023) [base]	LLM-Agent Survey (2023) [direct]
핵심 접근	인지과학(ACT-R·Soar)에서 빌린 모듈형 메모리 4종 + 행동 공간 4종 + 의사결정 사이클로 언어 에이전트 전체를 기술하는 개념 프레임워크(CoALA)	LLM이 추론 트레이스(thought)와 행동(act)을 교차 생성하도록 프롬프트하여 외부 도구(Wikipedia 등)와 상호작용	자동 커리큘럼 + 실행 가능 코드 기술 라이브러리 + 반복 프롬프팅으로 Minecraft에서 무한 탐험·기술 축적	CoT를 일반화하여 중간 단계를 트리 노드로 탐색하고 자기 평가로 역추적하는 추론 프레임워크	경험을 자연어로 저장·요약·반성·검색하여 행동을 계획하는 시뮬레이션 에이전트	에이전트를 프로필·메모리·계획·행동 모듈로 분류하는 분류형 서베이
문제 정의	언어 에이전트가 난립하나 통합 이론틀이 없어 비교·설계·한계 진단이 불가 → 공통 좌표계 제공	추론-행동 분리(CoT는 환경 피드백 없음, 행동 전용 모델은 추론 없음) 해소	기존 LLM 에이전트는 과거 지식을 재사용하지 못하고 새 환경에서 처음부터 학습	CoT는 단일 경로; 다단계 문제에서 탐색·역추적 불가	LLM 단독으로는 장기 행동 일관성과 사회적 기억 유지 불가	LLM 기반 에이전트의 구성·응용·평가를 포괄적으로 정리할 단일 문서 부재
데이터 / 환경	60+ 편 기존 에이전트 논문 (서베이); 5개 사례(SayCan·ReAct·Voyager·GA·ToT) 재분석	HotpotQA·FEVER(지식 추론), ALFWorld·WebShop(상호작용 의사결정)	Minecraft 오픈 월드 (단일 에이전트 무한 탐험)	Game of 24, Creative Writing, Mini Crosswords (GPT-4 기반 소규모 벤치마크)	25 에이전트 소형 마을 샌드박스 (The Sims 유사 시뮬레이션)	사회과학·자연과학·공학 응용 및 평가 전반 (문헌 조사)
핵심 메트릭	정량 없음; CoALA 축으로 60+ 에이전트를 분류·매핑한 범위가 품질 지표	ALFWorld 성공률 +34% p (RL 대비); WebShop +10% p	고유 아이템 3.3×, 이동 거리 2.3×, 기술 트리 달성 속도 15.3× (SOTA 대비)	Game of 24 성공률: CoT 4% → ToT 74%	에이전트 행동 believability 정성 평가 (인간 평가자)	정량 없음; 문헌 포괄성·분류 체계 일관성이 품질 지표
확장성	프레임워크 자체는 어떤 LLM·환경에도 적용 가능; 단 구현체가 아니므로 직접 확장 실험 없음	추론-행동 루프는 단순·범용; 복잡한 장기 플래닝에는 제한	기술 라이브러리가 누적될수록 성능 향상; Minecraft 외 환경 이식 미검증	트리 확장 비용이 문제 복잡도에 지수 증가; 대규모 실세계 과제 적용 미검증	메모리 스트림이 에이전트 수·시간에 선형 증가; 대규모 멀티 에이전트로의 확장 비용 미검증	분류 체계는 임의 에이전트에 적용 가능; 단 설계 지침보다 후향적 정리에 치우침
한계	[저자 인정] 새 에이전트 설계 지침 미제공; 수학적 공식화 없음 / [독자 식별] 인지과학 차용이 유추 수준이며 LLM 고유 특성(임베딩·확률)을 생산 시스템 틀에 완전히 포섭하기 어려움	[저자 인정] 추론 트레이스 생성이 고정 템플릿에 의존 / [독자 식별] 장기 메모리·학습 메커니즘 없음; 단일 에피소드에 국한	[저자 인정] Minecraft 외 환경 검증 없음 / [독자 식별] 절차 메모리(코드 라이브러리)에 특화; 일화·의미 메모리 체계화 미흡	[저자 인정] API 비용 높음; 소수 과제에서만 검증 / [독자 식별] 의사결정 사이클 일반화 없음; 환경 피드백·외부 도구 연결 부재	[저자 인정] 사회적 행동 believability 평가 어려움 / [독자 식별] 메모리 검색이 코사인 유사도 의존; 반성 품질의 LLM 의존성 높음	[저자 인정] 에이전트 평가 표준화 부재 / [독자 식별] 설계 선택의 원리적 근거 없음; CoALA와 달리 인지과학적 통합 뼈대 미제공
코드 공개	(GitHub 저장소: CoALA 기반 에이전트 분류표)	(https://react-lm.github.io)	(https://voyager.minedojo.org/)	(https://github.com/princeton-nlp/tree-of-thought-llm)	미공개	(https://github.com/Paitesanshi/LLM-Agent-Survey)

원자적 인사이트

LLM은 “확률적 생산 시스템”이며 인지 아키텍처가 그 확장 청사진이다

출처: Cognitive Architectures for Language Agents (Sumers, Yao, Narasimhan, Griffiths, 2024)
유형: 이론적

언어 에이전트를 새 발명품으로 보지 않고, LLM을 텍스트 조건→텍스트 행동을 학습된 변환으로 잇는 확률적 생산 시스템(probabilistic production system)으로 재서술하면, 생산 시스템을 메모리·행동·의사결정으로 확장해온 인지 아키텍처(ACT-R·Soar) 전통이 그대로 설계 청사진이 된다. 고전판과의 차이는 기호 대신 자연어, 손코딩 대신 데이터 학습, 모호성 처리, 새 입력 일반화 네 가지다.

핵심 조건/맥락: 이 대응은 엄밀한 수학적 동형이 아니라 개념적 유추다 — LLM의 임베딩·확률적 성질을 생산 시스템 틀이 완전히 포섭하지는 못한다.

연결: Tree of Thoughts (탐색이 들어간 의사결정 사이클의 구현) · ReAct (추론·접지 교차의 최소 사례)

활용 가능성: 새 에이전트를 메모리·행동·의사결정 축으로 분해해 설계 누락을 점검하는 체크리스트로 쓸 수 있다.

메모리는 4종, 행동은 4종이며 검색·학습은 작업↔장기 메모리를 매개하는 비대칭 축이다

출처: Cognitive Architectures for Language Agents (Sumers, Yao, Narasimhan, Griffiths, 2024)
유형: 방법론적

CoALA는 메모리를 작업·일화·의미·절차로, 행동을 접지·추론·검색·학습으로 나눈다. 결정적 구조는 접지·추론이 각각 외부 세계와 작업 메모리에 직접 작용하는 반면, 검색(장기→작업)과 학습(작업→장기)은 두 메모리 사이를 잇는 통로라는 비대칭성이다. 이 통로 둘이 빈약하면 에이전트는 매 에피소드를 백지에서 시작하게 된다.

핵심 조건/맥락: 현대 LLM은 네 메모리를 가중치에 암묵적으로 일부 내장하지만, 제한된 컨텍스트·재훈련 없이는 갱신 불가·명시 구조 부재라는 한계 때문에 외부 메모리가 필요하다.

연결: Voyager (절차 메모리=코드 스킬 라이브러리로 검색·학습을 모두 갖춘 드문 사례) · Generative Agents (일화 메모리 + 반성)

활용 가능성: 에이전트의 “에피소드 간 망각” 문제를 검색·학습 행동의 부재로 진단하고 보강 지점을 특정할 수 있다.

현 언어 에이전트의 디폴트는 “빈약한 메모리 + 탐욕적 의사결정”, 빈칸이 곧 로드맵이다

출처: Cognitive Architectures for Language Agents (Sumers, Yao, Narasimhan, Griffiths, 2024)
유형: 실험적

60편 이상을 CoALA 세 축으로 매핑하면, 다수 에이전트가 작업 메모리 + 많아야 한 종류의 장기 메모리만 쓰고 행동 하나를 만들면 곧장 실행하는 탐욕적 의사결정에 머문다는 공통 패턴이 드러난다. 이 빈칸은 그대로 §6의 미래 의제(풍부한 메모리·확장된 행동·정교한 의사결정)로 전환된다. 빈칸의 가치는 ToT가 Game of 24 성공률을 CoT 4%에서 74%로 올린 사례가 입증한다.

핵심 조건/맥락: 명시적 계획(탐색·평가·역추적)은 능력을 올리지만 계산 비용도 함께 커지므로, “언제 탐색을 켤지”가 핵심 트레이드오프다.

연결: LLM-Agent Survey (같은 정리 목표를 모듈 분류로 접근한 대조 서베이)

활용 가능성: 프레임워크의 빈칸을 연구·제품 백로그 우선순위로 직접 환산하는 갭 분석 도구로 활용 가능.

핵심 용어 정리

용어	정의
CoALA (Cognitive Architectures for Language Agents)	언어 에이전트를 모듈형 메모리 4종 + 구조화된 행동 공간 4종 + 계획·실행 의사결정 사이클의 세 축으로 기술하는 개념 프레임워크
언어 에이전트(language agent)	LLM을 핵심 계산 엔진으로 삼아 환경을 지각하고 행동하며 다단계 과제를 자율 수행하는 시스템
인지 아키텍처(cognitive architecture)	인간 인지의 필수 구조를 담으려는 통합 계산 프레임워크; 대표적으로 ACT-R과 Soar
생산 시스템(production system)	“조건이 충족되면 행동을 발화”하는 규칙(productions)의 집합으로 지능적 행동을 형식화한 체계 (Newell & Simon 1972)
확률적 생산 시스템(probabilistic production system)	결정론적 if-then 대신 텍스트 조건을 받아 학습된 연관으로 텍스트 행동을 생성하는 LLM의 해석
작업 메모리(working memory)	현재 목표·관찰·중간 추론을 담는 단기 인-컨텍스트 저장소; LLM에서는 컨텍스트 창에 대응
일화 메모리(episodic memory)	경험한 특정 사건·상호작용·궤적을 에피소드 간 지속 저장하는 메모리(예: 벡터 DB)
의미 메모리(semantic memory)	특정 에피소드에 묶이지 않은 일반 세계 지식·사실·개념을 담는 메모리(문서 DB·지식 그래프·LLM 가중치)
절차 메모리(procedural memory)	“수행하는 방법”인 기술·전략·프로그램을 저장하는 메모리(예: Voyager의 코드 스킬 라이브러리)
접지 행동(grounding action)	웹 브라우징·코드 실행·API·로봇 제어·대화 등 에이전트를 외부 세계와 연결하는 외부적 행동
추론 행동(reasoning action)	사고 사슬·목표 분해·후보 평가처럼 LLM으로 작업 메모리를 갱신하는 내부적 행동
검색 행동(retrieval action)	장기 메모리(일화·의미·절차)에서 작업 메모리로 정보를 읽어오는 행동
학습 행동(learning action)	새 에피소드 저장·지식 갱신·기술 추가·파인튜닝 등 장기 메모리에 정보를 쓰는 행동
의사결정 사이클(decision-making cycle)	후보를 제안·평가·선택하는 계획(planning)과 선택을 수행하는 실행(execution)이 반복되는 과정
탐욕적 의사결정(greedy decision-making)	행동 하나를 생성하면 비교·평가 없이 즉시 실행하는 방식
트리 탐색(tree search)	가능한 미래 행동들을 트리로 펼쳐 탐색·평가하고 막히면 역추적하는 탐색 전략(예: Tree of Thoughts)
정렬(alignment)	에이전트의 목표·행동이 사용자(인간)의 실제 의도와 일치하도록 맞추는 것

BibTeX

@article{sumers2024,
  title={Cognitive Architectures for Language Agents},
  author={Sumers, Theodore R. and Yao, Shunyu and Narasimhan, Karthik and Griffiths, Thomas L.},
  journal={Transactions on Machine Learning Research},
  year={2024},
  url={https://arxiv.org/abs/2309.02427},
  eprint={2309.02427},
  archivePrefix={arXiv}
}

언어 에이전트를 위한 인지 아키텍처

언어 에이전트를 위한 인지 아키텍처

먼저 이해하기

쉬운 설명

왜 중요한가

먼저 알아둘 말

흐름 따라 읽기

Abstract

Introduction

Background

Framework (CoALA)

Case Studies

Survey

Future Directions

Conclusion

GitHub Resource

관련 연구 비교 매트릭스

원자적 인사이트

LLM은 “확률적 생산 시스템”이며 인지 아키텍처가 그 확장 청사진이다

메모리는 4종, 행동은 4종이며 검색·학습은 작업↔장기 메모리를 매개하는 비대칭 축이다

현 언어 에이전트의 디폴트는 “빈약한 메모리 + 탐욕적 의사결정”, 빈칸이 곧 로드맵이다

핵심 용어 정리

관련 연구

태그

BibTeX

언어 에이전트를 위한 인지 아키텍처

언어 에이전트를 위한 인지 아키텍처

먼저 이해하기

쉬운 설명

왜 중요한가

먼저 알아둘 말

흐름 따라 읽기

Abstract

Introduction

Background

Framework (CoALA)

Case Studies

Survey

Future Directions

Related Work

Conclusion

GitHub Resource

관련 연구 비교 매트릭스

원자적 인사이트

LLM은 “확률적 생산 시스템”이며 인지 아키텍처가 그 확장 청사진이다

메모리는 4종, 행동은 4종이며 검색·학습은 작업↔장기 메모리를 매개하는 비대칭 축이다

현 언어 에이전트의 디폴트는 “빈약한 메모리 + 탐욕적 의사결정”, 빈칸이 곧 로드맵이다

핵심 용어 정리

관련 연구

태그

BibTeX