에이전틱 거대 언어 모델 서베이 (Agentic Large Language Models, a survey)
📌 한입 요약
Context — 거대 언어 모델(LLM)을 단순 텍스트 생성기가 아니라 스스로 추론·행동·상호작용하는 **에이전트(agent)**로 쓰려는 연구가 폭증했지만, 그 흐름이 산만하게 흩어져 있다. Insight — 저자들은 이 방대한 문헌이 사실 (1) reason(추론), (2) act(행동), (3) interact(상호작용)라는 세 범주로 깔끔히 조직된다고 본다. Solution — 각 범주를 정의하고 대표 기법으로 채운다: reason은 Chain-of-Thought·Self-Consistency·Tree of Thoughts·ReAct·Reflexion·RAG(Retrieval-Augmented Generation, 검색 증강 생성), act는 Toolformer·function calling·VLA(Vision-Language-Action) 모델·RT-2·SayCan 등 도구·로봇, interact는 CAMEL·Generative Agents·AutoGen·AgentVerse 같은 멀티 에이전트 프레임워크다. Evidence — 서베이이므로 자체 실험은 없고, 범주 간 상호 이득을 핵심 관찰로 제시한다: “retrieval enables tool use, reflection improves multi-agent collaboration, and reasoning benefits all categories.” Implication — 가장 도발적인 주장은 LLM이 학습 데이터를 소진하는 문제의 해법으로, 에이전트의 추론시간(inference-time) 행동이 새로운 학습 상태를 생성해 “ever larger datasets” 없이도 계속 학습할 수 있다는 것이다(예: VLA가 로봇 action-feedback으로 가중치 갱신). 다만 실세계에서 행동하는 LLM 비서의 safety·liability·security는 열린 문제로 남으며, 의료 진단·물류·금융시장 분석이 유망 응용으로 꼽힌다.
흐름 따라 읽기
논지 흐름(throughline): 흩어진 에이전틱 LLM 연구를 reason→act→interact 세 축으로 묶고, 세 축이 서로를 강화함을 보인 뒤, 이 에이전트들이 추론시간에 새 데이터를 만들어 LLM의 데이터 고갈 문제를 푸는 미래를 연구 어젠다로 제시한다.
Introduction — 에이전틱 LLM이란 무엇이고 왜 필요한가
전체 흐름에서 이 절은 서베이의 정의·범위·분류 틀을 깔아주는 토대 역할을 한다. 저자들은 에이전틱 LLM을 “(1) reason, (2) act, and (3) interact”하는 LLM으로 정의하고, 이 세 동사를 그대로 분류축(taxonomy)으로 삼는다(1.5 Taxonomy). 도입부는 LLM 학습 파이프라인(pretraining→finetuning→alignment, 1.3)을 짧게 복기한 뒤, 단발성 응답을 넘어 도구를 쓰고 환경과 주고받는 행위 주체가 왜 필요한지(1.4 The Need for Agentic LLMs)를 논증한다. 문헌 선정 기준(1.2)도 명시해 서베이의 재현 가능한 범위를 정한다. 핵심은 세 범주가 독립된 섬이 아니라 서로 맞물린다는 관점으로, 이후 모든 절이 이 상호 이득(mutual benefit)을 반복 확인한다.
Reasoning — 더 나은 의사결정을 위한 추론·반성·검색
이 절은 세 축 중 첫 번째이자 나머지 두 축 모두를 떠받치는 기반(“reasoning benefits all categories”)이다. 모델이 답을 곧장 뱉는 대신 중간 단계를 펼치는 Chain-of-Thought(연쇄적 사고), 여러 추론 경로를 샘플링해 다수결하는 Self-Consistency, 너비/깊이 우선 탐색으로 추론 공간을 체계적으로 뒤지는 Tree of Thoughts가 추론의 형태를 확장한다. ReAct(reasoning+acting 교차)와 Reflexion은 행위자-평가자-반성자(actor-evaluator-reflector) 루프로 언어적 강화(verbal reinforcement)를 돌려 스스로 개선하며, Self-Discover는 문제를 분석해 효과적인 프롬프트 구조를 찾아낸다. RAG(Retrieval-Augmented Generation, 검색 증강 생성)는 추론시간에 외부 지식베이스에서 시의성 있는 정보를 끌어와 환각을 줄이고 결정의 질을 높인다. 저자들은 이 검색 능력이 다음 절의 도구 사용을 가능케 한다(“retrieval enables tool use”)고 연결한다.
Acting — 도구·로봇으로 행동하는 유용한 비서
전체 흐름에서 이 절은 추론을 실세계 효과로 전환해, LLM을 답변기에서 비서(assistant)로 바꾸는 다리다. 도구 통합에서는 API 호출을 학습하는 Toolformer, 16,464개 API를 담은 ToolBench, 계산기·검색엔진을 부르는 function calling이 다뤄진다. 체화(embodied) 영역에서는 세계 모델(world model)과 VLA(Vision-Language-Action) 모델이 물리적 조작·내비게이션을 수행하며, RT-2·π₀·SayCan·Inner Monologue가 대표 사례로 등장한다. 응용 비서로는 의료, 금융 트레이딩, 과학 연구, 쇼핑·예약 같은 대화형 작업이 제시된다. 이 절은 다음 핵심 논지의 씨앗을 심는데, VLA가 “robotic action-feedback sequences”로 가중치를 갱신한다는 사실이 곧 추론시간 데이터 생성의 구체적 사례가 된다.
Interacting — 멀티 에이전트의 협업과 창발적 사회 행동
이 절은 단일 에이전트를 넘어 여러 에이전트의 집단 역학으로 시야를 넓히며, 반성이 협업을 개선한다(“reflection improves multi-agent collaboration”)는 상호 이득으로 앞 절들과 엮인다. 먼저 대화·전략적 행동·마음 이론(theory of mind) 같은 사회적 능력을 짚는다. 멀티 에이전트 프레임워크로 역할극 기반 CAMEL, 기억·계획·반성을 갖춘 Generative Agents, 에이전트-에이전트 대화 인프라 AutoGen, 집단 역학을 다루는 AgentVerse가 소개된다. 나아가 창발적 사회 규범·관습이 떠오르는 열린 사회(open-ended societies)와 시뮬라크라(simulacra) 실험을 다루며, 상호작용을 시뮬레이션해 창발적 사회 행동을 연구하는 방향을 제시한다. 멀티 에이전트 토론(debate)은 협업적 과제 해결뿐 아니라 과학 연구 과정 자체를 증강하는 도구로 언급된다.
General Discussion and Research Agenda — 응용·열린 문제·미래 연구
이 마지막 절은 세 축을 종합해 응용·위험·연구 어젠다로 수렴시키는 결론부다. 저자들은 다섯 우선 과제를 든다: (1) Training Data — 에이전트 상호작용에서 합성 데이터를 만들어 데이터 고갈에 대응, (2) Hallucination & Stable Behavior — 신뢰할 만한 일관된 행동 확보, (3) Agent Behavior at Scale — 대규모 멀티 에이전트의 창발 현상 이해, (4) Self Reflection — 파라미터 갱신 없는 반복 개선 메커니즘 고도화, (5) Safety — 실세계 비서의 책임(liability)·보안·윤리. 가장 두드러진 주장은 데이터 병목의 해법으로, “inference-time behavior generates new training states”—즉 세계와 상호작용하며 생성한 새 경험 데이터를 추가 학습(pretraining/finetuning)이나 추론시간 성능 향상에 쓸 수 있어 점점 더 큰 데이터셋 없이도 학습이 지속된다는 것이다. 응용으로 의료 진단, 물류, 금융시장 분석을 꼽고, 자기반성적 에이전트들이 역할을 맡아 상호작용하면 과학 연구 자체를 증강한다고 본다. 동시에 인과·반사실 추론의 한계, 맥락 길이 제약, 적대적 강건성, 실세계 그라운딩·검증 같은 열린 문제도 함께 정리한다.
원자적 인사이트 (Zettelkasten)
💡 에이전틱 LLM은 reason·act·interact 세 동사로 분해된다
출처: 본 논문 (Plaat et al., 2025) · 유형: 개념적
산만해 보이는 에이전트 연구는 세 가지 동사로 깔끔히 조직된다. reason(추론)은 더 나은 의사결정(CoT·ToT·Reflexion·RAG), act(행동)는 유용한 비서로서의 행위(도구·로봇·VLA), interact(상호작용)는 협업과 창발적 사회 행동(멀티 에이전트)이다. 이 3분류는 단순 정리 틀을 넘어, 한 능력이 다른 능력의 전제가 되는 의존 구조를 드러낸다.
연결: ReAct · Multi-Agent Systems
💡 세 범주는 독립이 아니라 서로를 강화한다
출처: 본 논문 · 유형: 개념적
저자들의 핵심 관찰은 “retrieval enables tool use, reflection improves multi-agent collaboration, and reasoning benefits all categories”다. 검색(reason)이 도구 사용(act)을 가능케 하고, 반성(reason)이 멀티 에이전트 협업(interact)을 개선하며, 추론은 모든 범주에 기여한다. 따라서 에이전트 성능 향상은 한 범주만 키워서가 아니라 범주 간 결합에서 나온다.
연결: Retrieval-Augmented Generation · Reflexion
💡 추론시간 행동이 새 학습 데이터를 만들어 데이터 고갈을 푼다
출처: 본 논문 · 유형: 이론적
LLM이 인터넷 텍스트를 소진하는 데이터 병목의 해법으로, 에이전트가 세계와 상호작용하며 생성한 새 경험(“inference-time behavior generates new training states”)을 추가 학습이나 추론시간 향상에 재투입할 수 있다는 주장이다. VLA가 로봇의 action-feedback으로 가중치를 갱신하는 것이 구체 사례다. 즉 데이터가 외부에서 주어지는 자원이 아니라 에이전트의 행동에서 내생적으로 생성되는 자원이 된다.
연결: Vision-Language-Action Model · Self-Improvement
핵심 용어 정리
| 용어 | 정의 |
|---|---|
| 에이전틱 LLM (Agentic LLM) | 단순 텍스트 생성을 넘어 (1) reason(추론), (2) act(행동), (3) interact(상호작용)하는 LLM. 본 서베이의 분류 기준. |
| Chain-of-Thought (CoT) | 답을 곧장 내지 않고 중간 추론 단계를 단계별로 펼쳐 생성하는 프롬프트 기법. |
| Tree of Thoughts (ToT) | 추론 경로를 트리로 두고 너비/깊이 우선 탐색으로 체계적으로 탐색하는 외부 탐색 알고리즘. |
| ReAct / Reflexion | 추론과 행동을 교차(ReAct)하거나 행위자-평가자-반성자 루프로 언어적 강화를 돌려(Reflexion) 스스로 개선하는 기법. |
| RAG (Retrieval-Augmented Generation) | 추론시간에 외부 지식베이스에서 정보를 검색해 입력에 결합하는 검색 증강 생성. 환각 완화·시의성 확보. |
| Toolformer / function calling | LLM이 외부 API(계산기·검색엔진 등)를 호출하도록 학습·구조화하는 도구 사용 기법. |
| VLA (Vision-Language-Action) 모델 | 시각·언어·행동을 통합해 물리적 조작·내비게이션을 수행하는 체화 에이전트 모델(예: RT-2). |
| 멀티 에이전트 프레임워크 | 여러 LLM 에이전트가 상호작용하는 인프라. CAMEL(역할극), Generative Agents(기억·계획·반성), AutoGen(대화 인프라), AgentVerse(집단 역학). |
| 추론시간 데이터 생성 (inference-time data generation) | 에이전트가 세계와 상호작용하며 만든 새 경험을 추가 학습/추론에 재투입해 데이터 고갈을 우회하는 메커니즘. |
관련 연구
- ReAct — 추론과 행동을 교차시키는 대표 기법으로, reason과 act를 잇는 본 서베이의 연결 사례
- Reflexion — 언어적 강화로 자기개선하는 반성 루프, reason→interact 상호 이득의 근거
- Retrieval-Augmented Generation — 검색 증강 생성, 도구 사용을 가능케 하는 reason 범주의 핵심
- Generative Agents — 기억·계획·반성을 가진 에이전트로 창발적 사회 행동 연구의 기반
- Toolformer — API 호출을 학습하는 도구 사용의 대표 사례 (act 범주)
- Vision-Language-Action Model — 추론시간 데이터 생성 주장을 뒷받침하는 체화 에이전트
태그
paper #2025 agentic-llm llm-agents multi-agent-systems survey tool-use reasoning
BibTeX
@article{plaat2025agentic,
title={Agentic Large Language Models, a survey},
author={Plaat, Aske and van Duijn, Max and van Stein, Niki and Preuss, Mike and van der Putten, Peter and Batenburg, Kees Joost},
journal={Journal of Artificial Intelligence Research},
volume={84},
year={2025},
doi={10.1613/jair.1.18675},
url={https://arxiv.org/abs/2503.23037},
eprint={2503.23037},
archivePrefix={arXiv},
primaryClass={cs.AI}
}