PARTNR: 체화된 멀티에이전트 과제의 계획과 추론 벤치마크
Digest: 가정에서 사람과 로봇이 “거실 치우고 식탁 차려줘” 같은 모호한 자연어 지시를 함께 처리하려면, 누가·언제·무엇을·어떤 순서로 맡을지 스스로 조율해야 한다(Context). PARTNR는 이 가정 내 인간-로봇 협업을 역대 최대 규모(100,000 과제·60 가옥(HSSD)·5,819 객체(OVMM))로 다룬 자연어 멀티에이전트 벤치마크로, LLM이 free-form으로 과제 초안을 만들고 Habitat 3.0 시뮬레이터가 실행 가능성을 검증하는 simulation-in-the-loop(시뮬레이터를 생성 고리 안에 넣어 비현실적 과제를 걸러내는 반자동 파이프라인)로 구축됐다(Innovation). 과제는 constraint-free·spatial·temporal·heterogeneous 4유형, 과제당 평균 4.7개 proposition(달성해야 할 목표 상태를 나타내는 논리 술어)으로 채점되며, 채점용 평가함수마저 LLM이 생성(RAG 적용 시 정확도 92%, 결합 시스템 83%)해 1,000개 인간검증 시드를 10만 과제로 확장했다는 점이 So-what이다 — 덕분에 중앙/분산·완전/부분관측·oracle/learned skill·특권/비특권 지각의 4개 통제축으로 SoTA LLM의 협업 병목을 분해 측정할 수 있다. 핵심 증거는 같은 비특권 조건에서 인간이 성공률 0.93인데 SoTA LLM은 0.30에 그쳐 63%p 격차가 벌어진다는 것이며(Evidence), ConceptGraphs(RGB-D 관측으로 장면을 직접 인식하는 비특권 지각 모듈) 기반 지각이 성공률을 0.57→0.30(절대 약 27%p·상대 약 47% 하락, 단일 통제축 중 최대)으로 떨어뜨려 지각이 협업의 최대 병목임을 보인다. 더 나아가 에이전트마다 독립 LLM을 둔 decentralized 구성이 단일 LLM보다 스텝이 늘어(분산 3,295 > 단일 2,519 > 중앙 2,298 steps, extraneous effort +300%) “두 LLM이 한 LLM보다 못한” 협응 역설을 드러냈다. 반면 LoRA(저랭크 어댑터만 학습하는 경량 핀튜닝)로 70B planner 궤적을 증류한 Llama3.1-8B 핀튜닝 모델은 성공률 0.70으로 9배 큰 모델급 성능을 8.6배 빠르게 내, 경량 협업 에이전트의 실용 경로를 제시한다. 다만 모든 결과가 Habitat 시뮬레이션과 정확도 83%의 LLM 평가함수 안에서 성립하고, 현재 LLM 로봇은 사람과 짝지어도 작업의 16~26%만 분담(offload 0.16 ReAct·0.26 핀튜닝)해 협업 가속이 인간-인간(약 1.5배)에 못 미치는 약 1.1배에 머문다는 한계가 있다(Limitation). 그렇다면 과제추적 붕괴·협응 부담·실패복구 불능의 세 실패모드를 어떻게 동시에 풀고, 이 시뮬레이션 성과를 실제 가정으로 옮길 수 있는가?(Question)
먼저 이해하기
이 논문은 사람과 로봇이 한 집에서 자연어로 집안일을 나눠 하는 능력을 측정하는 벤치마크 PARTNR를 제안한다. 규모는 100,000개 과제, 60개 가옥(HSSD 데이터셋), 5,819개 객체(OVMM 데이터셋)인데, 사람이 일일이 쓴 게 아니라 LLM(대형 언어모델)이 초안을 만들고 Habitat 3.0 시뮬레이터가 “이 과제가 실제로 실행 가능한가”를 검사하는 simulation-in-the-loop(시뮬레이터를 생성 고리 안에 넣어 비현실적 지시를 걸러내는 반자동 방식)로 만들어졌다. 각 과제는 평균 4.7개의 proposition(예: “컵을 식탁에 놓아라”처럼 달성해야 할 목표 상태를 나타내는 논리 술어)으로 채점되며, 채점 함수마저 LLM이 생성한다. 에이전트는 계층적 LLM planner가 큰 계획을 세우고 navigate/pick/place/open/close 같은 skill이 실제 동작을 수행하는 구조이며, 관측은 ReAct(생각과 행동을 번갈아 내놓는 추론 방식)로 처리한다. 연구진은 중앙/분산 제어, 완전/부분 관측, oracle/learned skill, 특권/비특권 지각(ConceptGraphs로 장면을 직접 인식)이라는 4개 통제축으로 성능을 분해했다. 그 결과 같은 비특권 조건에서 사람은 성공률 0.93인데 SoTA LLM은 0.30에 그쳤고(63%p 격차), 마치 매뉴얼 없이 처음 만난 두 사람이 손발을 못 맞추듯 LLM들은 협응·과제추적·실패복구·지각에서 무너졌다.
왜 중요한가
PARTNR는 가정 협업이라는 과제를 10만 규모로 표준화해, 그동안 소규모·수작업이던 인간-로봇 협업 평가를 SoTA LLM이 실제로 어디서 막히는지 통제축별로 분해할 수 있게 만들었다. 측정 결과 SoTA LLM의 비특권 성공률 0.30은 인간 0.93과 63%p 벌어져, 현재 LLM이 협응·과제추적·실패복구·지각에서 모두 부족함을 정량적으로 드러낸다. 특히 분산 다중 LLM이 단일 LLM보다 스텝이 늘고(extraneous effort +300%) 사람과 짝지어도 작업의 16~26%만 분담한다는 점은, “에이전트를 더 붙이면 협업이 나아진다”는 직관이 현재 모델에서는 성립하지 않음을 보여준다. 동시에 LoRA로 70B 궤적을 증류한 Llama3.1-8B가 성공률 0.70을 8.6배 빠르게 낸 결과는, 거대 모델 없이도 경량·저지연 협업 planner가 가능하다는 실용 경로를 제시한다. 다만 이 모든 결론은 Habitat 시뮬레이션과 정확도 83%의 LLM 평가함수라는 조건 안에서 성립한다.
먼저 알아둘 말
| 용어 | 쉬운 설명 | 정확성 메모 |
|---|---|---|
| embodied AI | 가상·물리 환경에서 몸(로봇)을 갖고 이동·조작하며 과제를 푸는 AI | PARTNR 결과는 Habitat 3.0 시뮬레이션 한정이며 실제 로봇 측정값이 아니다 |
| simulation-in-the-loop | 시뮬레이터를 과제 생성 고리 안에 넣어 실행 불가능한 과제를 자동으로 걸러내는 반자동 파이프라인 | LLM free-form 과제의 ~90%가 편집 필요, in-context 확장 단계에선 ~10%로 감소 |
| proposition | 과제가 달성해야 할 목표 상태를 나타내는 논리 술어(예: 컵이 식탁 위에 있음) | 과제당 평균 4.7개; LLM 생성 평가함수가 이 술어 충족 여부로 채점(정확도 83%) |
| ReAct | LLM이 reasoning(생각)과 action(행동)을 번갈아 생성하며 과제를 푸는 프롬프트 기법 | PARTNR에선 한 번에 8개 행동을 묶어 호출 |
| centralized / decentralized | 한 LLM이 모든 에이전트를 지휘(중앙) vs 에이전트마다 별도 LLM이 독립 결정(분산) | 분산이 단일보다 스텝↑(3,295 vs 2,519), 성공률은 비슷(~0.73) |
| oracle / learned skill | 동작을 무오류로 실행해주는 이상화 skill(oracle) vs 학습된 실제 skill(learned) | learned로 바꾸면 성공률 0.73→0.57(약 16%p↓) |
| privileged / non-privileged perception | 시뮬레이터 정답 상태를 직접 받는 특권 지각 vs 직접 인식하는 비특권 지각 | 비특권 전환 시 0.57→0.30(약 27%p↓)로 단일 통제축 중 최대 하락 |
| ConceptGraphs | RGB-D 관측에서 3D 장면 그래프(객체·관계)를 구성하는 비특권 지각 모듈 | 지각 오류가 협업 성공의 핵심 병목 |
| LoRA | 큰 모델의 일부 저랭크 행렬만 학습해 적은 비용으로 핀튜닝하는 기법 | 70B 궤적으로 Llama3.1-8B 핀튜닝→성공률 0.70, 추론 8.6배 빠름 |
섹션별 요약
Abstract
가정 내 일상 활동에서 인간-로봇 협업을 연구하기 위한 자연어 멀티에이전트 벤치마크가 부재한 상황에서, 저자들은 PARTNR(Planning And Reasoning Tasks in humaN-Robot collaboration — 가정 활동 내 로봇 계획·추론 평가 벤치마크)을 제안한다. PARTNR은 공간적·시간적·이질적 에이전트 능력 제약 등 일상 과제의 특성을 반영하며, LLM(Large Language Models)과 시뮬레이션 인더루프(simulation in the loop — 시뮬레이터를 생성 과정에 직접 연동해 검증)를 결합한 반자동 파이프라인으로 60개 가옥·5,819개 고유 객체에 걸친 100,000개의 자연어 과제를 생성하여 역대 최대 규모의 동종 벤치마크를 구성한다. SoTA(State-of-the-Art) LLM을 계획·지각·스킬 실행 축으로 분석한 결과, 협응 실패·과제 추적 오류·오류 복구 어려움 등 심각한 한계가 드러났으며, 비특권(non-privileged — 시뮬레이터 정보를 직접 제공받지 않는) 조건에서 성공률은 30%에 그친 반면 인간은 93%를 달성하였다. LLM을 실제 인간과 결합하면 두 인간 협업 대비 1.5배, 단독 인간 대비 1.1배 더 많은 스텝이 필요해 개선 여지가 큰 것으로 나타났으며, 핀튜닝된 Llama3.1-8B는 9배 큰 모델과 동등한 성능을 8.6배 빠른 추론 속도로 달성하였다. PARTNR은 협업 구현 에이전트(collaborative embodied agents — 물리적 환경에서 실제로 행동하며 협력하는 AI 에이전트)가 직면한 근본적 과제를 부각하며 이 방향의 연구를 촉진하고자 한다.
저자 contribution
- 100,000개 자연어 과제·60개 가옥·5,819개 고유 객체를 아우르는 역대 최대 규모의 가정 내 인간-로봇 멀티에이전트 벤치마크 PARTNR을 구축한다.
- LLM과 시뮬레이션 인더루프를 결합한 반자동 과제 생성·검증 파이프라인을 제안하여 1,000개 인간 검증 시드로부터 100,000개 과제를 자동 확장 생성한다.
- SoTA LLM의 협응·과제 추적·지각 한계를 다축 분석으로 진단하고, Llama3.1-8B 핀튜닝으로 9배 큰 모델 수준 성능을 8.6배 빠른 속도로 달성할 수 있음을 시연한다.
왜 이 연구를 하는가?
핵심 질문: 자연어 지시를 공유하며 장기(long-horizon) 가정 협업 과제를 수행할 수 있는 멀티에이전트 벤치마크가 부재한 상황에서, LLM(대형 언어 모델) 기반 에이전트는 실제로 인간-로봇 협업을 얼마나 효과적으로 수행할 수 있는가?
기존 접근법의 한계
| 한계 | 설명 |
|---|---|
| Instruction-following 벤치마크(ALFRED, BEHAVIOR-1K)의 다양성 부족 | 자연어 지시를 포함하지만 단일 에이전트 중심이며 과제 다양성이 제한적이다. 가정 내 멀티에이전트 장기 협업 시나리오를 평가하지 않는다. |
| LLM 기반 과제 생성(RoboGen, GenSim)의 단기·단독 편향 | LLM으로 과제를 대규모 생성하지만, 단일 에이전트·단기 지평(short-horizon)에 국한되어 에이전트 간 조율 역량을 측정하지 못한다. |
| 2D 멀티에이전트 벤치마크의 환경 단순화 | 다수의 구현된 멀티에이전트 벤치마크는 단순화된 2D 그리드 환경에 의존해 현실적 물리 가정 공간에서의 협업을 반영하지 못한다. |
| 현실적 3D 벤치마크(RoboRearrange, BEHAVIOR)의 자연어 부재 | 실제에 가까운 3D 환경을 사용하지만 자연어 지시 없이 사전 정의된 과제만을 다루며, constraint 유형(spatial/temporal/heterogeneous)을 구분하지 않는다. |
| CoELA 등 LLM 멀티에이전트 연구의 규모 한계 | LLM을 멀티에이전트 협업에 활용한 주목할 만한 예외이나, 과제 수·환경 다양성·측정 축이 종합 벤치마크 수준에 미치지 못한다. |
핵심 통찰
- 규모(10만 과제)와 다양성(4대 범주)을 동시에 갖춘 자연어 멀티에이전트 벤치마크 구축에는 LLM 기반 생성과 시뮬레이션-인-더-루프(simulation-in-the-loop) 검증의 결합이 필수적이다.
- 현실적인 가정 환경의 멀티에이전트 협업은 단순한 개별 능력의 합이 아니며, 과제 추적(task tracking)·오류 복구(error recovery)·에이전트 간 조율이라는 독립적인 도전을 제기한다.
- PARTNR는 Puig et al. (2021)의 Watch-And-Help를 LLM 시대로 직접 계승하는 후속 벤치마크로, 공저자 Xavier Puig가 두 연구를 잇는 연결고리를 이룬다.
Introduction
현실 세계의 인간-로봇 협력을 위해서는 복수의 에이전트가 자연어 지시를 공유하며 복잡한 가정 활동을 장기간 수행할 수 있어야 한다. 그러나 기존 구현된 AI 벤치마크(embodied AI benchmark)는 단일 로봇 중심 운영에 집중하거나 자연어 명세가 없는 과제만을 다루며, 멀티에이전트 장기 협업을 동시에 지원하는 사례는 드물다. 대표적인 instruction-following(지시 수행) 벤치마크인 ALFRED와 BEHAVIOR-1K는 자연어 지시를 포함하지만 과제 다양성이 제한적이고, RoboGen·GenSim은 LLM으로 과제를 확장 생성하지만 단일 에이전트·단기 지평(short-horizon)에 머문다. 멀티에이전트 환경 측에서는 다수 벤치마크가 단순화된 2D 환경에 의존하고, 3D 현실 환경을 사용하는 RoboRearrange·BEHAVIOR조차 자연어 지시 없이 사전 정의 과제만 다룬다. CoELA는 LLM을 멀티에이전트 협업에 적용한 주목할 만한 예외이나, 종합 대규모 벤치마크로서의 역할은 제한적이다.
PARTNR(Planning And Reasoning Tasks in humaN-Robot collaboration)은 이 공백을 메우기 위해 제안된다. 해법으로서 LLM 기반 반자동 생성 파이프라인(semi-automated generation pipeline)과 시뮬레이션-인-더-루프(simulation-in-the-loop) 검증을 결합해, 1,000개 인간 검수 시드 지시로부터 10만 개의 자연어 과제를 생성한다. 과제는 constraint-free(제약 없음)·spatial(공간 배치 조건)·temporal(실행 순서 조건)·heterogeneous(에이전트별 고유 능력 조건)의 4대 범주로 구성되어 협업의 다양한 측면을 포착한다. 60개 가정 환경과 5,819개 고유 객체 위에서 로봇-인간 협업을 평가하며, Puig et al. (2021)의 Watch-And-Help를 LLM 시대로 확장한 후속작으로 공저자 Xavier Puig가 두 연구를 연결한다.
Methods
PARTNR는 LLM 기반 반자동 과제 생성 파이프라인, LLM 생성 Python 평가 함수, Habitat 3.0 시뮬레이션 환경, 계층적 LLM 계획자(고수준 계획) + 스킬 실행기(저수준 행동)의 네 축으로 구성된 멀티에이전트 협업 벤치마크 시스템이다.
[1] 과제 생성 파이프라인 — 3단계
- 1단계 — 초기 생성 및 필터링: LLM이 시뮬레이션 집안 설명을 프롬프트로 받아 자유 형식의 과제 지시문과 초기 장면 상태를 생성한다. 생성된 과제는 Habitat 3.0에 즉시 인스턴스화하여 실현 가능성을 검증하고, 존재하지 않는 방·지원되지 않는 행동 등의 환각(hallucination)을 제거한다. 자유 형식 지침의 약 90%가 필터링 또는 편집이 필요했다.
- 2단계 — 어노테이션 및 다양성 확장: 인간 어노테이터가 1,000개 후보 과제를 검토하여 과제 유형(constraint-free, spatial, temporal, heterogeneous)과 객체 사용의 다양성을 확보한다. 이 큐레이션된 시드 세트를 in-context 프롬프팅(의미적으로 유사한 예시를 검색하여 LLM에 제공)으로 새로운 집 구성에 적응시켜 총 100,000개 과제로 확장한다. 확장 단계에서는 약 10%의 지침만 개입이 필요했다.
- 3단계 — 최종 인간 검증: 참여자가 인터랙티브 도구를 이용해 단일 사용자 3회, 멀티 사용자 3회(총 6회 시도)에서 완료하지 못한 과제는 실현 불가로 판정하고 제거한다.
[2] 데이터셋 특성
- 총 100,000개 과제: 학습 37개 장면(100,000 에피소드), 검증 13개 장면(1,000 에피소드), 테스트 10개 장면(1,000 에피소드).
- HSSD(Habitat Synthetic Scenes Dataset) 기반 60개 고유 집, OVMM(Open Vocabulary Mobile Manipulation) 객체 세트의 5,819개 고유 객체, 155개 객체 유형, 20개 가구 클래스, 13개 방 유형.
- 과제 유형: constraint-free(순서·위치 제약 없음), spatial(객체 배치 요건), temporal(순서 요건), heterogeneous(특정 에이전트 전용 행동 포함).
- 과제당 평균 4.7개의 proposition(충족해야 할 개체 관계 조건)이 포함되며, 의존적 재배치(dependent rearrangement) 과제 7%, 동일 객체 다단계 재배치 과제 6%.
[3] 평가 함수 생성
LLM이 Python 기반 평가 코드를 자동 생성한다. 세 가지 API 구성요소를 사용한다.
- propositions: 충족해야 할 개체 관계(예: “컵이 식탁 위에 있어야 함”).
- dependencies: 어느 시점에 proposition을 조회할지 결정하는 조건.
- constraints: proposition이 어떤 방식으로 충족되어야 하는지 규정.
세 가지 평가 지표:
- PC(Percent Complete, ∈ [0,1]): 충족된 proposition 비율.
- S(Success, ∈ {True, False}): PC = 1일 때 성공.
- FE(Failure Explanation): 과제 실패 원인을 기술하는 자연어 설명.
초기 생성 정확도는 50%였으나, RAG(Retrieval-Augmented Generation, 유사 과제의 어노테이션된 평가 함수를 검색하여 활용)를 적용한 결과 92%로 향상되었다. 과제 지시문 생성 정확도(90%)와 결합 시 전체 파이프라인 정확도는 83%에 달한다.
[4] 시뮬레이션 환경 — Habitat 3.0
Habitat 3.0 시뮬레이터와 Spot 로봇 플랫폼을 사용한다. HSSD 데이터셋을 확장하여 관절형 가구(서랍, 캐비넷, 가전제품 등을 rigid HSSD 자산에서 변환)를 추가했으며, 장면에는 receptacles(객체 배치 가능 표면), key point 마커(수도꼭지·손잡이), region 볼륨(주방·거실 등 공간 구분), 의미론적 객체 클래스가 어노테이션되어 있다.
[5] 에이전트 계층구조 및 평가 프레임워크
고수준 LLM 계획자가 사전 정의된 스킬 라이브러리(navigate, pick, place, open, close)에서 행동을 선택하고, 저수준 신경망 또는 oracle 스킬 실행기가 실제 물리 동작을 수행하는 계층적 제어(hierarchical control) 구조다. 지각 모듈은 방(room) → 가구(furniture) → 이동 가능 객체(movable object)의 3계층 텍스트 세계 그래프(world graph)를 유지하며, 각 노드는 의미론적 범주, 3D 위치/바운딩박스, 객체 상태(clean 여부, 전원 on 여부)를 저장한다.
계획자 변형(planning variants):
- Heuristic Expert: 과제·환경·평가 정보에 대한 특권적 접근이 허용된 수작업 휴리스틱.
- ReAct(Zero-shot): ReAct(Reasoning + Acting) 프레임워크를 사용하며, ExploreRoom, Navigate, OpenFurniture, CloseFurniture, PickObject, PlaceObject, Wait, Done의 8가지 행동 유형을 API로 호출.
- ReAct-RAG: 학습 데이터의 성공적 계획 추적(trace)을 RAG로 활용하는 ReAct 변형.
- Finetuned Llama3.1-8B: Llama3.1-70B의 성공 ReAct 추적 데이터에 LoRA(Low-Rank Adaptation, 저차원 근사로 파라미터 효율적 파인튜닝) 적용.
통제축(controllability dimensions): 중앙/분산 제어(centralized: 단일 LLM이 두 에이전트 제어 vs decentralized: 별도 LLM이 협응 추론), 완전/부분 관측(full/partial observability), oracle/학습 스킬, 특권/비특권 지각(privileged ground-truth vs ConceptGraphs RGBD 기반). 평가 지표는 시뮬레이션 스텝 수(효율), 성공률, percent complete, planning cycle(LLM 호출, 최대 50회). 인간-루프 실험에는 비전문가 129명이 단일/2인/인간+로봇 조건으로 참여했다.
발견 (Findings)
- 인간 93% vs. SoTA LLM 30% 격차: 인간 참가자는 단독·2인 모두 성공률 0.93을 달성한 반면(Table 3), 비특권 지각 조건의 SoTA LLM은 0.30 ± 0.01에 그쳐 63 퍼센트포인트 차이가 발생한다(Table 2). 비특권 조건을 제외해도 최고 LLM 성공률은 0.74로 인간과 19 퍼센트포인트 격차를 유지한다.
- 분산(3295 스텝) > 단일(2519 스텝) > 중앙집중(2298 스텝) 효율 역설: 부분 관측 조건에서 에이전트를 분산 방식으로 늘릴수록 소요 스텝이 증가한다(Table 2). 분산 세팅은 불필요한 중복 행동이 단일 에이전트 대비 약 300% 증가하며, 두 LLM이 시너지가 아닌 상호 간섭을 일으킨다. 중앙집중은 에이전트 추가로 효율을 개선(2298 스텝)하지만 분산은 오히려 악화(3295 스텝)된다.
- 비특권 지각 0.57 → 0.30 / 학습 스킬 0.73 → 0.57: ConceptGraphs 도입 시 성공률이 0.57에서 0.30으로 붕괴(절대 약 27%p·상대 약 47% 하락)하고 소요 스텝은 12,491로 급증한다(Table 2). 학습 기반 스킬 전환은 16 퍼센트포인트 추가 감소를 유발하며, LLM이 지각 오류·스킬 실패로부터 회복하지 못하는 취약성을 보인다.
- 핀튜닝 8B ≈ 70B 성능, 8.6배 빠른 추론: LoRA 핀튜닝된 Llama3.1-8B(0.70 ± 0.01)는 미조정 Llama3.1-70B(0.73 ± 0.01)와 근접한 성공률을 달성하면서 추론 속도는 8.6배 빠르다(Table 2). 모델 크기 9배 차이에도 성능 격차는 0.03에 불과하다.
- 인간-AI 협업 효율 저하: 인간 + LLM 로봇 조합은 두 인간 협업(2370 스텝) 대비 약 1.5배, 단독 인간(3047 스텝) 대비 약 1.1배 많은 스텝을 필요로 한다(Table 3). 과제 위임률은 ReAct 로봇 0.16, 핀튜닝 로봇 0.26으로 LLM이 과제를 분담하지만 효율 향상으로 이어지지 않는다.
Results
오라클(oracle, 시뮬레이터 특권 정보 접근) 상한은 Heuristic Expert(전체 관측)가 성공률 0.84 ± 0.01, 1261 스텝이다(Table 2). 비교 기준선인 ReAct 단일 에이전트(부분 관측)는 0.73 ± 0.01, 2519 스텝을 기록한다. 다중 에이전트 세팅에서 중앙집중(Centralized) ReAct는 부분 관측 기준 0.74 ± 0.01, 2298 스텝으로 단일 에이전트보다 효율적이다. 반면 분산(Decentralized) ReAct는 동일 조건에서 0.73 ± 0.01이지만 3295 스텝으로, 단일 에이전트(2519 스텝)와 중앙집중(2298 스텝) 모두보다 느리다. 분산 세팅에서 불필요한 중복 행동(extraneous effort)은 단일 에이전트 대비 약 300% 증가한다.
지각 조건을 특권 부분-세계-그래프에서 ConceptGraphs(RGBD 관측에서 실시간 구축하는 비특권 환경 인식)로 전환하면 성공률이 0.57 → 0.30 ± 0.01로 하락하고 소요 스텝도 12,491까지 급증한다(Table 2). 신경망 기반 학습 스킬을 사용할 경우 성공률은 0.73 → 0.57 ± 0.02로 감소한다.
인간 베이스라인은 단독 0.93/3047 스텝, 2인 협업 0.93/2370 스텝이다(Table 3). 인간 + ReAct 로봇 조합은 0.91/4268 스텝, 과제 위임률 0.16이며, 인간 + 핀튜닝 로봇 조합은 0.92/3443 스텝, 위임률 0.26이다. 핀튜닝 Llama3.1-8B는 0.70 ± 0.01/3229 스텝으로 미조정 70B(0.73)에 근접하며 추론은 8.6배 빠르다.
Discussion
PARTNR의 분석은 현재 LLM 기반 협동 체화 에이전트(embodied collaborative agents)가 세 가지 근본적 구조적 취약점을 공유함을 보여준다. 첫째, **과제 추적 붕괴(task tracking failures)**는 에이전트가 다단계 장기 계획을 작업 기억에 일관되게 유지·갱신하지 못함을 의미한다 — 이미 완료된 하위 과제를 반복하거나 부분 수행된 작업을 방치하는 행동이 증거다. 둘째, **협응 부담(coordination burden)**은 LLM 에이전트 두 개가 협동해도 단일 에이전트보다 느린 결과로 드러나며, 분산 협응 비용이 협동의 시너지를 상쇄함을 뜻한다. 셋째, **실패 복구 불능(failure recovery)**은 저수준 스킬 오류 이후 LLM 플래너가 대안 전략을 생성하지 못하는 문제다. 지각 파이프라인의 취약성(ConceptGraphs 전환 시 0.57→0.30)은 LLM 플래너가 지각 오분류·공간 배정 오류를 재계획으로 보상하는 능력이 사실상 없음을 의미한다. 선행작 Watch-And-Help(Puig et al., 2021)가 휴리스틱 플래너 기반 인간 에이전트와 협동하는 시나리오였다면, PARTNR는 LLM 에이전트 간·LLM-인간 간 협동을 자연어 명세·대규모 과제 다양성 아래 평가하는 방향으로 계보를 확장하며, 인간-AI 협동 시 LLM 파트너가 인간 단독 대비 효율을 저하시킨다는 발견으로 그 한계를 선명하게 노출한다.
저자가 인정한 한계
- 모든 평가가 Habitat 3.0 시뮬레이션에서만 수행되어, 물리 로봇의 센서 노이즈·기계적 오차·실세계 복잡성은 반영되지 않는다.
- 벤치마크는 고수준 추론·계획에 초점을 두면서도 저수준 스킬은 사전학습된 것에 의존하기 때문에, 스킬 학습 자체의 어려움이 독립적으로 측정되지 않는다.
- 비특권 지각 실험에 ConceptGraphs 단일 접근법만 사용하여 다른 지각 모듈 대비 일반화 가능성이 불분명하다.
- 인간-AI 협동 연구에 129명의 비전문가 참가자와 제한된 과제 샘플이 사용되어 더 넓은 사용자 집단으로의 일반화가 제한된다.
향후 방향
- 학습 단계에서 저수준 스킬을 통합하여 에이전트가 스킬 실패로부터 회복하는 전략을 학습하도록 훈련(실패 복구 불능 문제와 직결).
- 텍스트 기반 LLM 대신 멀티모달 VLM(Vision-Language Model)이 ConceptGraphs보다 지각 오류에 강인한지 비교 탐색(ConceptGraphs 단일 지각 한계와 직결).
이론적 의의
- WAH→PARTNR 계보: LLM 시대 협동 체화 AI 벤치마크의 확장: Watch-And-Help(Puig et al., 2021)는 사람 에이전트 간 협동을 휴리스틱 플래너로 다루는 선구적 연구였으나, 자연어 명세·대규모 과제 다양성·LLM 에이전트로의 전환은 이루어지지 않았다. PARTNR는 100,000개 자연어 과제와 LLM 에이전트 평가 프레임워크를 결합함으로써 협동 체화 AI 벤치마크를 LLM 시대로 끌어올리는 계보적 전진을 이룬다.
- 대규모 반자동 과제 생성과 평가 코드 자동화의 방법론적 기여: simulation-in-the-loop 검증으로 환각을 제거하고, RAG 기반 평가 함수 생성으로 정확도를 50%→92%로 끌어올린 파이프라인은 대규모 체화 AI 벤치마크 구축의 새로운 방법론적 표준을 제시한다.
- 협동 체화 AI의 실질적 병목 정량화: 인간-AI 협동에서 LLM 파트너가 인간 단독 효율을 저하시킨다는 발견은 성능 수치가 아닌 실용성(utility) 관점에서 연구 방향을 설정하며, 지각 취약성(0.57→0.30)과 협응 비용(분산 역시너지)을 분리 측정해 어느 병목을 먼저 풀어야 하는지 실증적 우선순위를 제공한다.
Discussion Points
- 논쟁점: 분산 LLM 에이전트 쌍이 단일 에이전트보다 느리다는 결과가 LLM의 협동 능력 자체 한계인지, 아니면 ReAct 프레임워크·현재 프롬프트 설계의 구조적 문제인지 불분명하다. 다른 프레임워크(공유 메모리, 역할 분담 명시 프롬프트)나 협동 특화 파인튜닝에서도 동일한 역시너지(negative synergy)가 나타나는지 논쟁이 예상된다.
- 검증 필요 가정: VLM이 텍스트 기반 LLM보다 지각 오류에 강인해 ConceptGraphs 취약성을 극복할 수 있다는 가정은 본 논문에서 실험적으로 검증되지 않았으며, 멀티모달 입력이 오히려 새로운 오류 유형을 도입할 가능성도 배제할 수 없다.
- 후속 연구: 저수준 스킬을 고수준 LLM 플래너 학습에 end-to-end로 통합하는 방식이 실패 복구 능력을 실질적으로 향상시키는지를 PARTNR 벤치마크에서 직접 검증하는 실험이 자연스러운 다음 단계다.
실험 결과 상세
Table 2: LLM 에이전트 성능 (성공률 / 시뮬레이션 스텝) — 기준: Heuristic Expert(Full Obs) 0.84 / 1261 steps
| Model/Method | Metric | Score | vs. Baseline |
|---|---|---|---|
| Heuristic Expert (Full Obs, Privileged) | Success / Steps | 0.84 ± 0.01 / 1261 | — (reference) |
| ReAct Centralized (Full Obs, Oracle) | Success / Steps | 0.74 ± 0.01 / 1347 | -0.10 / +86 |
| ReAct Centralized (Partial Obs, Oracle) | Success / Steps | 0.74 ± 0.01 / 2298 | -0.10 / +1037 |
| ReAct Single-Agent (Partial Obs, Oracle) | Success / Steps | 0.73 ± 0.01 / 2519 | -0.11 / +1258 |
| ReAct Decentralized (Partial Obs, Oracle) | Success / Steps | 0.73 ± 0.01 / 3295 | -0.11 / +2034 |
| Finetuned Llama3.1-8B (LoRA, Partial Obs) | Success / Steps | 0.70 ± 0.01 / 3229 | -0.14 / +1968 |
| ReAct with Learned Skills (Partial Obs) | Success / Steps | 0.57 ± 0.02 / 6495 | -0.27 / +5234 |
| ReAct with ConceptGraphs (Non-privileged 지각) | Success / Steps | 0.30 ± 0.01 / 12491 | -0.54 / +11230 |
Table 3: Human-in-the-loop 결과 — 기준: Two Humans 2370 steps
| Method | Steps / Success / Offloading | vs. Baseline |
|---|---|---|
| Two Humans Collaborating | 2370 / 0.93 / — | — (reference) |
| Single Human | 3047 / 0.93 / — | +677 / same |
| Human + Finetuned Robot (Llama3.1-8B) | 3443 / 0.92 / 0.26 | +1073 / -0.01 |
| Human + ReAct Robot (LLM partner) | 4268 / 0.91 / 0.16 | +1898 / -0.02 |
Ablation 요약: 인식·스킬 저하 및 생성 정확도
| 조건 | 성공률 / 정확도 | 변화 |
|---|---|---|
| Privileged Perception (oracle world graph) | 0.57 success | — (기준) |
| ConceptGraphs Non-privileged Perception | 0.30 success | 절대 약 -27%p (상대 약 -47%) |
| Oracle Skills | 0.73 success | — (기준) |
| Learned Skills (neural net) | 0.57 success | -16%p |
| Evaluation Code Generation (initial) | 50% accuracy | — (기준) |
| Evaluation Code Generation (RAG) | 92% accuracy | +42%p |
| Combined Pipeline Accuracy (gen + eval) | 83% (≈ 90% × 92%) | 복합 추정 |
주: 일부 수치는 arXiv HTML 섹션단위 추출에서 확보되어 원본 PDF와 ±1~2 단위 오차 가능. 원본 검증 시 arXiv:2411.00081 PDF 직접 확인 권장.
프레임워크 다이어그램
graph TB A["LLM Free-form Task Generation"] --> B["Sim-in-loop Filtering via Habitat 3.0"] B --> C["Human Annotation of 1000 Seed Tasks"] C --> D["In-context Scaling to 100k Tasks"] D --> E["Human Verification"] E --> F["PARTNR Dataset: 100k Tasks and 60 Houses"] F --> G["LLM Planner Hierarchy"] G --> H["Skill Library: nav, pick, place, open, close"] G --> I["World Graph Perception"] I --> G H --> J["Habitat 3.0 Simulation Execution"] J --> K["Eval Metrics: PC, S, FE"]
재현성 및 신뢰도 평가
- 코드/데이터 공개: yes — Meta FAIR, aihabitat.org/partnr (Habitat 3.0 위에 구축). 100,000 과제 전량 + splits 명시(37/13/10 scenes, 100k/1k/1k episodes).
- 종합 재현성 등급: B — 코드·데이터 공개와 주요 성공률 신뢰구간(± 0.01~0.02) 제공으로 재현 토대가 탄탄하나, GPU 환경·LoRA 세부 하이퍼파라미터(rank/lr) 미명시, 시뮬레이션 전용(실제 로봇 미검증), 일부 표값이 HTML 추출 수준이라 A에는 미달.
- 주장별 신뢰도:
- “비특권 조건 인간 0.93 vs SoTA LLM 0.30(63%p 격차)” — 강함: Table 2(0.30 ± 0.01)·Table 3(0.93, 단일·2인 교차확인) + 신뢰구간 제공.
- “분산 LLM(3295 steps) > 단일(2519 steps)으로 멀티에이전트가 비효율” — 강함: Table 2 직접 비교 가능. 단 extraneous effort +300%는 별도 분석 수치.
- “핀튜닝 8B ≈ 70B, 8.6배 빠름” — 중간: 0.70 vs 0.73 근접하나 완전 동등은 아니며, 8.6x 속도의 측정 근거가 본문에 명시되지 않아 출처 불투명.
- “결합 생성 정확도 83% (90% × 92%)” — 중간: RAG 후 92%는 명시되나 90% instruction 정확도는 “~90% 편집 필요” 역산 추정값일 수 있음.
관련 연구 비교 매트릭스
| 논문 | 환경 | 과제유형 | 핵심기여 | 평가지표 | 코드공개 | 본 논문과의 관계 |
|---|---|---|---|---|---|---|
| PARTNR (Chang et al., 2024, ICLR 2025) | Habitat 3.0 / 60가옥 / 5,819 오브젝트 (HSSD) | 가정 내 인간-로봇 협동 4종 (constraint-free / spatial / temporal / heterogeneous) | 100k NL 멀티에이전트 과제 벤치마크; LLM+시뮬레이션 반자동 생성 파이프라인; 129명 인간-AI 공동 실험; Llama3.1-8B LoRA 핀튜닝(70B 대비 8.6x 속도) | Success Rate, Percent Complete, Simulation Steps | ✅ (aihabitat.org/partnr) | 본 논문 |
| Watch-And-Help (Puig et al., 2021) | VirtualHome-Social | 단일 데모 관찰 후 목표 추론 → 미관측 환경에서 협동 보조 | 사람-에이전트 가정 내 협동 프레임워크 최초 제안; 목표 추론 + planner 기반 보조 에이전트 | Success Rate, Speedup, 인간 평가 | ✅ | 직접 선행 — PARTNR은 WAH의 협동 보조 구조를 NL 명세·LLM 에이전트·100k 규모로 확장; 공저자 Xavier Puig 공유. WAH의 LLM-이전 시대 계승작 |
| Habitat 3.0 (Puig et al., 2023) | Habitat (휴머노이드 + Spot 로봇 동시 지원) | 인간-로봇 공존 시뮬레이션 | 동일 씬에 휴머노이드·로봇 동시 구동; 관절 가구·물리 기반 상태 변화 | 시뮬레이터 FPS, rearrangement success | ✅ | 기반 시뮬레이터 — PARTNR의 실행 환경 전체를 제공 |
| CoELA (Zhang et al., 2024) | ThreeDWorld (TDW) + VirtualHome | LLM 에이전트 간 통신 기반 멀티에이전트 협동 | LLM 간 자연어 메시지 프로토콜로 분산 계획·정보 공유 | Success Rate, Steps(효율) | ✅ | 대안 패러다임 — PARTNR이 “LLM 멀티에이전트 협동에 집중한 드문 예외”로 명시 인용 |
| ALFRED (Shridhar et al., 2020) | AI2-THOR (단일 에이전트) | 자연어 지시 기반 단일 에이전트 가정 작업 | 시각-언어 접지 NL 지시 따르기 벤치 표준 확립 | Task Success Rate, Goal Condition Success | ✅ | 기반 벤치마크 — 단일 에이전트 NL 가정 작업 기준선; PARTNR은 멀티에이전트·100x 규모로 확장 |
| BEHAVIOR-1K (Li et al., 2023) | OmniGibson (단일 에이전트) | 1,000종 일상 활동 predefined goal | 최대 규모 가정 활동 목록; 물리 기반 상태 변화 | Success Rate (predefined goal) | ✅ | 대안 (대조) — NL 자유 명세·멀티에이전트·LLM 평가 미지원; PARTNR이 채우는 공백 부각 |
원자적 인사이트 (Zettelkasten)
- 협응을 위해 LLM 에이전트를 늘리면 효율이 거꾸로 떨어진다 — 에이전트마다 독립 LLM을 두는 decentralized 구성은 단일/centralized보다 과제당 스텝이 늘었다(분산 3,295 > 단일 2,519 > 중앙 2,298 steps, extraneous effort +300%). 성공률은 셋 다 약 0.73으로 비슷해, 협응용 추가 LLM이 성능은 못 올리고 불필요한 행동만 늘리는 “두 LLM이 한 LLM보다 못한” 협응 역설이 나타났다. → Watch-And-Help - A Challenge for Social Perception and Human-AI Collaboration (저수준 충돌로 협력이 역행한 선행 사례)
- 협업의 최대 병목은 추론이 아니라 지각이다 — 특권 지각을 ConceptGraphs 비특권 지각으로 바꾸자 성공률이 0.57→0.30으로 떨어졌다(절대 약 27%p·상대 약 47% 하락) — 통제한 4개 축 중 단일 최대 하락폭. 같은 비특권 조건에서 인간은 0.93이므로 인간-LLM 63%p 격차의 상당 부분이 추론보다 환경 인식 실패에서 온다.
- 70B 궤적으로 증류한 8B 모델이 9배 큰 모델급 협업 성능을 8.6배 빠르게 낸다 — 70B planner의 성공 궤적을 LoRA로 Llama3.1-8B에 핀튜닝하자 성공률 0.70을 얻어 70B ReAct(0.73~0.74)에 근접하면서 추론은 8.6배 빨랐다. 거대 모델을 직접 띄우지 않고도 가정 협업 planner를 경량화할 수 있음을 보인다.
- LLM이 만든 과제와 채점 함수를 시뮬레이터로 검증하면 10만 규모 벤치마크를 반자동 생성할 수 있다 — LLM free-form 생성물은 그대로는 ~90%가 실행 불가·수정 필요였지만, Habitat 3.0 simulation-in-the-loop 필터와 1,000개 인간검증 시드의 in-context 확장으로 100,000 과제로 늘렸다. 채점용 평가함수도 LLM이 생성했고 정확도는 초기 50%→RAG 92%→결합 83%로 올랐다.
핵심 용어 정리
- PARTNR: 가정 내 인간-로봇 협업을 다루는 자연어 멀티에이전트 벤치마크(100,000 과제·60 가옥·5,819 객체). Planning And Reasoning Tasks in humaN-Robot collaboration.
- proposition: 과제가 달성해야 할 목표 상태를 표현하는 논리 술어. 과제당 평균 4.7개이며 평가함수가 충족 여부로 채점한다.
- simulation-in-the-loop: LLM이 생성한 과제를 Habitat 3.0 시뮬레이터로 실행 검증해 비현실적 과제를 걸러내는 반자동 생성 방식.
- ReAct: LLM이 reasoning(생각)과 action(행동)을 번갈아 생성하며 과제를 수행하는 추론·행동 프롬프트 기법(여기선 8개 행동 묶음 호출).
- oracle / learned skill: 동작을 무오류로 실행하는 이상화 skill(oracle)과 실제 학습된 skill(learned). learned 전환 시 성공률 0.73→0.57.
- privileged / non-privileged perception: 시뮬레이터 정답 상태를 직접 받는 특권 지각과, ConceptGraphs로 환경을 직접 인식하는 비특권 지각. 비특권 전환 시 0.57→0.30.
- LoRA: 저랭크 어댑터만 학습해 적은 비용으로 대형 모델을 핀튜닝하는 기법. 여기선 70B 궤적으로 Llama3.1-8B를 핀튜닝.
- offload(과제 위임률): 인간-AI 팀에서 로봇이 분담한 작업 비율. ReAct 로봇 0.16, 핀튜닝 8B 로봇 0.26.
관련 연구
- Watch-And-Help - A Challenge for Social Perception and Human-AI Collaboration — 직접 선행작. 공저자 Xavier Puig를 공유하며, planner 기반 가상 인간(Alice)을 두던 WAH의 사회지능 협업 챌린지를 LLM 에이전트·10만 과제·60가옥 규모로 확장한 후속작이다.
- Toward a Metrology for Artificial Intelligence - Hidden-Rule Environments and Reinforcement Learning — 같은 Benchmark/Evaluation 계열. 통제된 축으로 에이전트 능력을 표준화·정량 측정하려는 “AI metrology” 문제의식을 PARTNR의 4개 통제축 평가와 공유한다.
태그
benchmark embodied-ai multi-agent llm-agent human-ai-collaboration habitat
BibTeX
@article{chang2024partnr,
title={PARTNR: A Benchmark for Planning and Reasoning in Embodied Multi-agent Tasks},
author={Chang, Matthew and Chhablani, Gunjan and Clegg, Alexander and Cote, Mikael Dallaire and Desai, Ruta and Hlavac, Michal and Karashchuk, Vladimir and Krantz, Jacob and Mottaghi, Roozbeh and Parashar, Priyam and Patki, Siddharth and Prasad, Ishita and Puig, Xavier and Rai, Akshara and Ramrakhya, Ram and Tran, Daniel and Truong, Joanne and Turner, John M. and Undersander, Eric and Yang, Tsung-Yen},
journal={arXiv preprint arXiv:2411.00081},
year={2024},
url={https://arxiv.org/abs/2411.00081},
eprint={2411.00081},
archivePrefix={arXiv}
}