Multi2: 상호작용 환경에서 LLM 기반 에이전트를 활용한 계층적 다중 에이전트 의사결정
Digest: 동적 환경과 지속적으로 상호작용하며 긴 시간 지평(long-horizon, 여러 단계에 걸친 장기 과업)의 의사결정을 신뢰성 있게 수행하는 것은 여전히 어려운 문제다. 저자들은 그 근본 원인을 objective drift(목표 표류, 상호작용이 길어질수록 목표·계획이 원래 의도에서 벗어나는 현상)로 규정한다. Multi2는 이를 계층 분해로 해결한다 — 상위 에이전트(System 1)는 SFT(supervised fine-tuning, 지도 미세조정)로 맥락에 맞는 sub-goal(하위 목표)을 생성하고, 하위 에이전트(System 2)는 offline-to-online RL(오프라인에서 온라인으로 이어지는 강화학습)로 원자적 행동(atomic action)을 실행한다. ScienceWorld·ALFWorld·TextCraft 세 텍스트 환경에서 Glider·ReAct 등 베이스라인을 일관되게 능가했고(예: ScienceWorld Mistral ID 69.97 vs Glider 58.33), 계층 분리 덕에 긴 지평에서도 성능이 덜 무너지며 토큰 효율도 개선됐다. 세 개의 계층형 벤치마크 데이터셋도 공개한다. 남은 질문: 텍스트 환경 3종·8B급 모델까지만 검증됐고, 계층형 데이터셋 구축에 수작업이 필요하다는 점이다.
먼저 이해하기
LLM 에이전트에게 “실험실에서 물질의 상태 변화를 관찰하라”거나 “부엌에서 사과를 찾아 냉장고에 넣어라” 같은 과업을 시키면, 한 번에 끝나지 않고 여러 번 관찰→행동→관찰을 반복해야 한다. 이렇게 여러 턴에 걸쳐 환경과 주고받는 것을 closed-loop interaction(닫힌 순환 상호작용)이라 한다. 문제는 이 과정이 “brittle(부서지기 쉽다)“는 것이다. 작은 실행 오류가 쌓이면서 에이전트가 원래 목표에서 조금씩 벗어나고, 결국 엉뚱한 행동을 반복하거나 불가능한 목표에 매달린다. 저자들은 이 누적 이탈을 objective drift(목표 표류)라고 부른다.
Multi2의 핵심 아이디어는 한 모델에게 “계획도 세우고 실행도 하라”고 시키지 않고, 역할을 둘로 나누는 것이다. System 1(플래너)은 “지금 상황에서 다음에 이룰 작은 목표는 무엇인가”만 정하고, System 2(실행기)는 “그 작은 목표를 이루려면 지금 어떤 구체적 행동을 해야 하는가”만 정한다. 이렇게 나누면 맥락이 길어져도 각자의 역할이 흐려지지 않고, 실행기는 오류를 스스로 교정하도록 강화학습으로 따로 훈련할 수 있다.
왜 중요한가 — 기존 계층적 계획(hierarchical planning)은 계획 실패는 줄여도 실행 단계의 붕괴는 막지 못했고, 프롬프트로만 역할을 나누면 맥락이 쌓이며 역할 구분이 흐려졌다. Multi2는 역할을 훈련 수준에서(별도 LoRA 어댑터로) 분리하고 실행기를 명시적으로 오류 교정하도록 학습시켜 이 두 공백을 동시에 메운다.
| 용어 | 뜻 |
|---|---|
| objective drift(목표 표류) | 상호작용이 길어질수록 목표·계획이 원래 의도에서 이탈하는 근본적 한계 |
| System 1 / System 2 | 상위 sub-goal 플래너 / 하위 atomic action 실행기의 역할 분담 |
| sub-goal(하위 목표) | 최종 과업을 이루기 위한 맥락 인식형 중간 목표 |
| offline-to-online RL | 데이터로 먼저 학습(offline) 후 실제 상호작용으로 다듬는(online) 강화학습 |
| LoRA 어댑터 | 대형 모델을 소량 파라미터로 미세조정하는 저비용 방식; 역할별로 따로 둠 |
섹션별 요약
초록 (Abstract)
핵심 도전은 동적 환경과의 지속적 상호작용을 통한 신뢰성 있는 long-horizon 의사결정이며, 그 근본 한계로 objective drift를 지목한다. Multi2는 계층 분해 프레임워크로, 상위 에이전트(System 1)는 SFT로 맥락 인식 sub-goal을 생성하고 하위 에이전트(System 2)는 offline-to-online RL로 원자적 행동을 실행한다. 이 구조는 long-horizon 제어를 안정화하고 objective drift를 완화하며 효율적 적응을 가능케 한다. ScienceWorld·ALFWorld·TextCraft에서 일관된 견고성·협응 향상을 보였고, 세 개의 계층형 벤치마크 데이터셋을 공개한다.
저자 contribution
- 역할 특화 계층 프레임워크 Multi2를 제안해 sub-goal 계획과 action 실행을 분리했다.
- 정책 앵커링(policy-anchored) 오프라인 목적함수와 KL 정규화(KL-regularized) 온라인 정련을 결합한 offline-to-online RL 목적함수를 설계했다.
- 세 개의 계층형 데이터셋을 공개하고, 성능·토큰 효율·long-horizon 견고성에서 실증적 이득을 보였다.
왜 이 연구를 하는가?
동기는 closed-loop 상호작용이 다중 턴 long-horizon 의사결정을 요구하지만 현재 에이전트의 상호작용이 “brittle”하다는 점이다. 저자들이 짚는 기존 한계는 넷이다 — (1) long-horizon brittleness: 계층적 계획은 계획 실패는 줄이지만 실행 붕괴는 막지 못한다; (2) prompt-based role separation: 프롬프트로만 역할을 나누면 맥락 누적에 따라 역할 구분이 흐려진다; (3) execution robustness gap: 실행기가 누적 오류를 교정하도록 명시적으로 훈련되지 않았다; (4) token inefficiency: 계속 늘어나는 히스토리가 비효율을 낳는다. 핵심 RQ는 “어떻게 하면 신뢰성 있고 효율적으로 long-horizon 과업을 푸는 상호작용형 LLM 에이전트를 만들 수 있는가”이다.
방법 (Methods)
System 1 (플래너): 입력은 과업 K_n과 관측 o_t, 출력은 sub-goal g_h를 정책 π_φ로 생성한다. SFT/behavior cloning(행동 복제)으로 학습하며 목적함수는 L_φ = -E[log π_φ(g_h|o_t;K_n)]이다.
System 2 (실행기): 입력은 관측 o_t와 sub-goal g_h, 출력은 원자적 행동 a_t를 정책 π_θ로 낸다. 오프라인 RL 구성요소는 Q-함수(TD 학습), Value 함수(expectile regression, L^τ(u)=|τ-1{u<0}|u²), 그리고 policy-anchored advantage 항을 가진 Policy이다. 이 앵커링 항은 actor를 critic이 선호하는 행동 쪽으로 정규화해 over-imitation(과도한 모방)을 완화한다.
온라인 정련: L_θ^online은 advantage 가중(w_t = exp(A/α)) 방식이며, 오프라인 정책과의 KL 정규화 D_KL(π_on||π_off)를 계수 η로 더한다. η는 개선과 안정성 사이를 조율하고 mode collapse(모드 붕괴)를 방지한다.
선행 연구 대비 차별점: (a) 별도 LoRA 어댑터로 명시적 역할 분리(Glider는 공유 어댑터+프롬프트 역할), (b) policy-anchored 오프라인 목적함수, (c) KL 정규화 온라인 정련.
결과 (Results)
백본은 Qwen-2.5 3B / Mistral 7B v0.3 / Llama-3.1 8B이며 ID(in-distribution)/OOD(out-of-distribution)로 평가한다. ScienceWorld에서 Multi2는 Mistral 기준 ID 69.97 / OOD 31.32로 다음으로 좋은 Glider(58.33 / 28.22)를 앞선다. ReAct·Reflexion·ADaPT·GRPO는 ID가 약 8~26 수준으로 훨씬 낮다. ALFWorld·TextCraft에서도 Multi2가 일관되게 최고다. 호라이즌 견고성(Fig1)에서 Multi2는 지평이 길어져도 성능을 더 잘 유지하며 토큰 효율은 정규화 1.0이다. 난이도별 objective drift(Fig5)는 어려운 과업에서 격차가 가장 크다.
발견
- 계층 분리 + 실행기 RL 학습이 objective drift를 완화하며, 어려운(hard) 과업일수록 이득이 크다.
- 온라인 RL의 이득은 특히 OOD에서 두드러지고, 스케일(Qwen 1.5/3/7B) 증가에 따라 OOD 성능이 단조 증가한다.
- Ablation에서 제안 구성(System 1 SFT + System 2 RL)이 최고 중앙값과 가장 좁은 분포를 보였고, 계층 > 단일 평면, 역할별 어댑터 > 공유 어댑터, policy-anchored > Vanilla-IQL, KL 정규화 온라인 > Vanilla-AWAC였다.
논의 (Discussion)
한계(암묵적)는 (1) 텍스트 기반 환경 3종에만 검증됐고, (2) 계층형 데이터셋 구축에 수작업이 필요하며, (3) 모델이 Llama-3.1 8B까지로 제한된다는 점이다. 의의는 계획과 실행을 역할 특화 학습으로 분리하는 것이 objective drift를 완화한다는 것을 실증한 데 있다.
Discussion Points
- 논쟁점: 별도 LoRA 어댑터의 명시적 분리가 정말 프롬프트 기반 분리보다 본질적으로 우월한가, 아니면 데이터·학습량 차이의 산물인가.
- 검증할 가정: objective drift가 정말 “실행 오류 누적”에서 오는가 — 정성 사례(Fig3)를 넘어선 정량적 인과 분해가 필요.
- 후속 연구: 멀티모달·실세계 환경, 더 큰 모델, 계층형 데이터셋 자동 구축.
실험 결과 상세
Table 1 재구성 — 값은 원문 표기(ID / OOD, TextCraft은 overall SR). 백본은 Qwen-2.5 3B / Mistral 7B v0.3 / Llama-3.1 8B.
ScienceWorld (ID / OOD)
| Method | Qwen-2.5 3B | Mistral 7B | Llama-3.1 8B |
|---|---|---|---|
| Multi2 | 60.68 / 29.04 | 69.97 / 31.32 | 67.61 / 30.68 |
| Glider (차선) | 54.69 / 17.75 | 58.33 / 28.22 | 60.48 / 34.36 |
| ReAct/Reflexion/ADaPT/GRPO | 약 8–26 (ID) 대 수준 | 약 8–26 (ID) 대 수준 | 약 8–26 (ID) 대 수준 |
주: Llama OOD에서는 Glider 34.36이 Multi2 30.68보다 높다(원문 수치 그대로). 그 외 지표에서는 Multi2 우위.
ALFWorld (ID / OOD)
| Method | Qwen-2.5 3B | Mistral 7B | Llama-3.1 8B |
|---|---|---|---|
| Multi2 | 61.43 / 49.29 | 56.43 / 50.71 | 57.86 / 56.43 |
| Glider | 52.86 / 41.43 | 45.00 / 45.71 | 43.57 / 37.86 |
TextCraft (overall Success Rate)
| Method | Qwen-2.5 3B | Mistral 7B | Llama-3.1 8B |
|---|---|---|---|
| Multi2 | 28.50 | 44.50 | 35.60 |
| ADaPT | 21.00 | 30.20 | 5.00 |
| Glider | 18.50 | 28.50 | 9.50 |
그 외 정량 관찰
| 항목 | 관찰 |
|---|---|
| Horizon robustness (Fig1) | Multi2는 지평이 길어져도 성능을 더 높게 유지; 토큰 효율 정규화 1.0 |
| Objective drift by difficulty (Fig5) | hard 과업에서 베이스라인 대비 격차가 최대 |
| Scale (Qwen 1.5/3/7B) | 스케일 증가에 따라 OOD 성능 단조 증가 |
| Online RL | OOD 조건에서 이득이 특히 큼 |
| Qualitative (Fig3) | 프롬프트 기반 에이전트는 무효 행동 반복; 미세조정 베이스라인은 불가능한 목표에 고착; Multi2는 목표 일관 실행 |
프레임워크 다이어그램
flowchart TD K["과업 K_n + 관측 o_t"] --> S1["System 1 플래너 pi_phi (SFT / behavior cloning)"] S1 --> G["sub-goal g_h"] G --> S2["System 2 실행기 pi_theta (offline-to-online RL)"] O["관측 o_t"] --> S2 S2 --> A["atomic action a_t"] A --> ENV["상호작용 환경 (ScienceWorld / ALFWorld / TextCraft)"] ENV -->|"새 관측 o_t+1"| S1 subgraph OFF["오프라인 RL"] Q["Q-함수 (TD)"] V["Value (expectile regression)"] P["Policy (policy-anchored advantage)"] end subgraph ON["온라인 정련"] AW["advantage 가중 w = exp(A/alpha)"] KL["KL 정규화 D_KL(pi_on || pi_off), 계수 eta"] end OFF --> S2 ON --> S2
재현성 및 신뢰도 평가
- 코드 공개: 프로젝트 페이지 https://park-sangeun.github.io/Multi-Square/ — “release the datasets and code” 명시. 구체적 GitHub 링크는 발췌문에 없음.
- 재현성 종합등급: B — 세 개 공개 벤치마크(ScienceWorld·ALFWorld·TextCraft), 세 백본(Qwen/Mistral/Llama), ID/OOD 분리, 다수 ablation으로 프로토콜은 견고. 다만 코드·데이터 공개가 발췌 시점에 “예정”이며 계층형 데이터셋 구축에 수작업이 필요해 완전 재현에는 노력이 든다.
- 주장별 신뢰도:
- “Multi2가 베이스라인을 일관 능가” — 높음. Table 1 다수 셀에서 최고(단 Llama OOD ScienceWorld는 Glider가 높음, 예외 존재).
- “계층 분리가 objective drift를 완화” — 중간. Fig5·Fig3의 난이도별·정성 근거는 있으나 인과 분해는 제한적.
- “온라인 RL 이득이 OOD에서 큼” / “스케일에 따라 OOD 단조 증가” — 중간~높음. Ablation·스케일 실험으로 뒷받침되나 8B 이하로 범위 제한.
관련 연구 비교 매트릭스
| 논문 | 문제 | 접근 | 차별점 |
|---|---|---|---|
| Multi2 (본 논문) | long-horizon objective drift | System 1 SFT 플래너 + System 2 offline-to-online RL, 별도 LoRA | 훈련 수준 역할 분리 + policy-anchored offline + KL 정규화 online |
| Glider | 상호작용형 에이전트 계획·실행 | 공유 어댑터 + 프롬프트 역할 분리 | 역할 분리가 프롬프트 수준에 머묾 |
| ReAct / Reflexion | 추론+행동 결합, 반성 기반 개선 | 프롬프트/문맥 기반, 학습 미세조정 없음 | 실행기 RL 교정 부재, long-horizon에서 취약 |
| ADaPT | 과업 분해 기반 계획 | 재귀적 하위 과업 분해 | 실행 견고성·오류 교정 학습 부재 |
원자적 인사이트 (Zettelkasten)
- objective drift는 “계획 실패”가 아니라 “실행 오류의 누적 이탈”에서 오므로, 계획기만 강화해서는 해결되지 않고 실행기를 명시적으로 교정하도록 훈련해야 한다.
- 역할 분리는 프롬프트가 아니라 파라미터(별도 LoRA 어댑터) 수준에서 이뤄질 때 맥락 누적에도 흐려지지 않는다.
- policy-anchored 오프라인 목적함수는 actor를 critic 선호 행동으로 당겨 over-imitation을 줄이고, 온라인 단계의 KL 정규화는 개선과 안정성(모드 붕괴 방지)을 맞바꾼다.
- 계층 분리의 이득은 hard·OOD 조건에서 가장 크게 나타나 — 쉬운 과업에서는 단일 평면 정책과 격차가 작다.
핵심 용어 정리
- objective drift(목표 표류): 상호작용이 길어질수록 목표·계획이 원 의도에서 벗어나는 근본 한계.
- offline-to-online RL: 수집 데이터로 먼저 학습(offline)한 뒤 실제 상호작용으로 정련(online)하는 강화학습.
- policy-anchored advantage: actor를 critic이 선호하는 행동으로 정규화해 과도한 모방을 막는 오프라인 항.
- expectile regression: 분위(quantile)의 제곱손실 변형(L^τ(u)=|τ-1{u<0}|u²)으로 Value를 추정하는 방식(IQL 계열).
- KL 정규화(KL-regularized online): 온라인 정책이 오프라인 정책에서 과도히 이탈하지 않게 D_KL을 계수 η로 제약.
- ID / OOD: 학습 분포 내(in-distribution) / 분포 밖(out-of-distribution) 일반화 평가 구분.
관련 연구
- Harnessing Uncertainty - Entropy-Modulated Policy Gradients for Long-Horizon LLM Agents — 장기 지평(long-horizon) LLM 에이전트의 크레딧 할당·안정화라는 공통 문제를 다루되, 본 논문은 계층 분리로, 저 논문은 엔트로피 변조로 접근한다.
- Closing the Expression Gap in LLM Instructions via Socratic Questioning — 상호작용 환경에서의 에이전트 의사결정이라는 공통 무대를 공유한다.
태그
논문 LLM에이전트 강화학습 계층적의사결정 objective_drift offline_to_online_RL
BibTeX
@article{park2026multi2,
title={Multi2: Hierarchical Multi-Agent Decision-Making with LLM-Based Agents in Interactive Environments},
author={Park, Sangeun and Kwon, Minhae},
journal={arXiv preprint arXiv:2606.03698},
year={2026}
}