LLM-BabyBench - LLM의 grounded 계획·추론 능력 이해와 평가
Digest: 텍스트엔 강한 LLM이 상호작용·grounded 환경(내부표현·출력을 세계의 동역학·제약·affordance에 정렬하는 것)에선 약하다는 문제의식에서, 이 논문은 절차생성 BabyAI 그리드월드를 텍스트로 적응시켜 LLM-BabyBench를 만든다(Context). 혁신은 단일 환경 위에 Predict(행동열의 상태 결과 예측)·Plan(목표 달성 저수준 행동열 생성)·Decompose(고수준 지시를 서브골 시퀀스로 분해)의 3과제를, 모든 레벨을 100% 푸는 전문가 BabyAI OmniBot에서 구조적 정보를 추출해 데이터셋·실행검증 하니스와 함께 공개한 점이다(Innovation). 그 결과 포화된 기존 벤치와 달리 모델 간 명확한 격차가 드러나, 예컨대 Predict 성공률(Easy/Moderate/Hard/Very Hard)에서 Claude-3.7-Sonnet은 97.5/94.29/86.67/82.5인 반면 Llama 3.1 8B는 12.89/4.47/2.08/2.78로 무너진다(So-what·Evidence). 다만 전지적(omniscient) 관점 가정과 모델 망라·파인튜닝 미탐구라는 한계가 있어(Limitation), 부분관찰 임베디드 조건에서도 같은 격차가 유지되는지는 후속 질문으로 남는다(Question).
먼저 이해하기
이 논문은 LLM이 글로 된 추론은 잘 해도, 실제 “세계 안에서 움직이며 계획하고 그 결과를 예측하는” 능력은 따로 검증해야 한다는 생각에서 출발한다. 이를 위해 BabyAI(언어로 지시받아 격자 세계에서 과제를 수행하도록 만든 강화학습용 그리드월드 플랫폼)를 텍스트로 바꿔, LLM이 글만 읽고 같은 과제를 풀게 만든다. 환경은 MiniGrid 기반의 부분관찰 2D 격자로, 색상 객체(문/열쇠/공/박스)와 벽이 있고 6개 행동(forward, right, left, pick-up, drop, open)으로 상호작용한다. 여기에 세 가지 시험을 얹는다: 행동을 했을 때 결과 상태를 맞히는 Predict, 목표까지의 행동 순서를 짜는 Plan, 큰 지시를 작은 서브골들로 쪼개는 Decompose다.
왜 중요한가: 저자에 따르면 기존 벤치마크는 grounding이 없는 추상 추론이거나, 반대로 시각적으로 너무 복잡한 임베디드 과제라는 양극단에 몰려 있었다. LLM-BabyBench는 완전 통제된 기호 세계, 난이도를 세밀히 조절할 수 있는 확장형 과제 생성기, 행동-상태 전이와 서브골 분해로 해석 가능한 추론 trace를 동시에 제공해 그 사이 공백을 메운다. 또한 데이터·하니스·지표를 모두 공개해 재현과 확장을 쉽게 한다.
먼저 알아둘 말:
| 용어 | 뜻 |
|---|---|
| Grounding | 모델의 내부표현·출력을 세계의 동역학·제약·affordance(행동 가능성)에 정렬하는 것 |
| BabyAI | 언어 지시 기반 grounded 학습의 표본효율을 연구하려 만든 격자 세계 플랫폼 |
| Omniscient Perspective | 부분관찰을 무시하고 전체 환경정보를 LLM에 제공하는 평가 관점 |
| OmniBot | 전체 격자 가시성을 활용해 모든 레벨을 100% 푸는 전문가 에이전트(상한 성능) |
| 서브골(Subgoal) | GoNextTo/Open/Drop/Pickup처럼 미션을 구성하는 작은 단위 목표 |
섹션별 요약
Abstract
LLM-BabyBench는 LLM의 grounded 계획·추론 능력을 평가하는 벤치마크로, 절차생성 BabyAI 그리드월드의 텍스트 적응판 위에 구축된다. 세 과제로 구성된다: (1) Predict — 행동 시퀀스가 환경 상태에 미칠 결과 예측, (2) Plan — 목표 달성을 위한 저수준 행동 시퀀스 생성, (3) Decompose — 고수준 지시를 일관된 서브골 시퀀스로 분해. 텍스트 환경 내 전문가 에이전트로부터 구조적 정보를 추출해 3개 데이터셋을 생성하고, 생성된 계획의 실행검증을 포함한 표준 평가 하니스·지표를 제공한다. 데이터·코드·하니스는 모두 공개된다.
저자 contribution
- BabyAI에 텍스트 인터페이스를 부여해, 단일 통제 환경 위에서 Predict·Plan·Decompose 3과제로 LLM의 grounded 추론을 분리 평가하는 벤치마크를 제안한다.
- 모든 레벨을 100% 푸는 전문가 BabyAI OmniBot에서 구조적 정보를 추출해 3개 데이터셋과, 생성 계획을 실제 실행으로 검증하는 평가 하니스·지표를 구축·공개한다.
왜 이 연구를 하는가?
LLM은 텍스트엔 강하지만 상호작용·grounded 환경에서의 능력엔 grounding이 필요하다. 기존 한계는 두 가지다. 첫째, 다수 벤치는 추상 추론에 치우쳐 grounding이 결여되어 있다. 둘째, 반대편의 벤치는 시각적으로 복잡한 임베디드 과제여서 추론 능력을 격리해 측정하기 어렵다. 이에 저자는 BabyAI에 텍스트 인터페이스를 제공해 (1) 풍부한 조합 구조를 가진 완전 통제 기호 세계, (2) 세밀한 난이도 통제가 가능한 확장형 과제 생성기, (3) 행동-상태 전이·서브골 분해로 얻는 해석 가능한 추론 trace를 동시에 확보하려 한다.
Introduction
도입부는 LLM의 강점(텍스트)과 약점(상호작용·grounded 환경)의 간극을 grounding 개념으로 정리하고, 기존 벤치가 추상 추론과 시각 복잡 임베디드의 양극단에 몰려 있음을 지적한다. LLM-BabyBench는 그 중간 지대를 노려, 통제된 기호 세계에서 난이도를 조절하며 해석 가능한 추론 흔적을 남기는 평가를 지향한다.
Methods
환경은 BabyAI(MiniGrid 기반)로, 부분관찰 2D 그리드월드에서 제한 시야와 색상 객체(문/열쇠/공/박스)·벽, 그리고 6개 행동(forward, right, left, pick-up, drop, open)으로 상호작용한다. BabyAI의 19레벨 중 전지적(omniscient) 관찰에서 풀 수 있는 16레벨을 선택한다(GoToObj, GoToRedBallGrey, GoToRedBall, GoToLocal, PutNextLocal, PickupLoc, GoToObjMaze, GoTo, Pickup, UnblockPickup, Open, Synth, SynthLoc, GoToSeq, SynthSeq, BossLevel). 텍스트 포맷은 Narrative/Structured/JSON 3종 중 Structured가 우수해 채택되며, 관점은 전체 환경정보를 제공하고 부분관찰을 무시하는 Omniscient Perspective를 쓴다. 데이터 생성의 핵심은 BabyAI OmniBot으로, 전체 격자 가시성을 활용한 전문가라 탐색이 불필요하고 최적 경로를 일관되게 선택하며 잠긴 문을 soft 장애물(열쇠로 회수 가능)로 분류해 모든 레벨을 100% solve한다(상한 성능 기준).
세 과제의 입출력·차별점은 다음과 같다. Predict는 초기상태+행동열을 받아 최종상태를 출력하는 공간추론 과제다. Plan은 GoNextToSubgoal 인자를 받아 행동열을 생성하고 실제 실행으로 검증하며 짧은 계획을 선호한다. Decompose는 미션을 서브골 시퀀스({GoNextToSubgoal, OpenSubgoal, DropSubgoal, PickupSubgoal})로 분해하고 실행으로 검증한다.
지표는 과제별로 다르다. Predict는 Success Rate와 Manhattan Distance(맨해튼 거리, 격자 좌표 차이의 합)를 쓴다. Plan은 Success Rate와 Efficiency Ratio(= OmniBot 최적 길이 / LLM 길이)를 쓴다. Decompose는 Comprehension Rate(추가 서브골 허용 시 실행 성공률), Precision Rate(추가 없이 실행 성공률), ACI(허용 추가 서브골 수 대비 성공률 곡선 아래 면적)를 쓴다.
발견 (Findings)
Predict에서 Claude-3.7-Sonnet은 Easy/Moderate/Hard/Very Hard 97.5/94.29/86.67/82.5로 최난도에서도 위치+방향을 80% 정확히 맞힌다. 반면 추론특화 DeepSeek-R1-Distill(70B)은 97.5/68.61/50.79/37.24로 난이도가 오를수록 급락하고, Llama 3.1 8B는 12.89/4.47/2.08/2.78로 거의 무너진다(역량별 Sequences of Commands에서 Claude 80 vs Llama-8B 0). Plan에서는 추론모델(Qwen3, DeepSeek-R1-Distill)이 small(8×8)에서 약 80%지만 medium/large에서 50% 미만이고, ultra(32×32)에서 >0인 것은 추론모델뿐이며 Claude는 최대 약 20%다. Decompose에서는 추가 서브골 수(SA)가 늘수록, 특히 Precision Rate가 급락하며 10+ SA에서는 전 모델 PR=0으로 “장기 미션 분해 불가”가 드러난다.
Results
모델은 Claude 3.7 Sonnet, Llama 3.1(8B/70B/405B), DeepSeek-R1-Distill(70B), Qwen3 32B, GPT-4o이고, 프롬프트 설정은 zero-shot, few-shot(3예), CoT, ToT 중 ToT가 우수해 채택된다. Predict 성공률은 위 Findings의 수치대로 Claude가 전 난이도 선두이며(예: GPT-4o 97.5/84.68/76.8/61.19, Llama-405B 85/53.26/62.19/41.25, Llama-70B 63.82/39.36/32.54/33.95, Qwen3-32B 95/65.48/61.93/48.82), Table 4 역량별 분석에서는 미로 내비게이션과 Sequences of Commands에서 Claude를 제외하면 전반적으로 급락한다. Plan에서 GPT-4o와 Llama(distill 제외)는 small에서도 30% 미만이며, ultra 격자(≤180 장애물)에서는 추론모델만 0을 넘는다. Decompose에서 7–9 SA 구간은 Qwen·Claude만 PR>0을 유지하고 10+ SA에서는 모든 모델이 PR=0이다.
Discussion
한계는 두 가지 이상이다. 첫째, 전지적 관점을 가정하므로 실제 임베디드 에이전트가 겪는 부분관찰 상황과는 차이가 있다. 둘째, 전 모델을 망라하지 않았고 파인튜닝 효과도 탐구하지 않았다. 향후 방향으로는, 새 BabyAI 레벨을 추가하는 방식으로 벤치마크를 손쉽게 확장할 수 있다는 점을 든다. 결론적으로, 포화된 기존 벤치와 달리 모델 간 명확한 차이와 실패 모드를 드러내는 것이 이 벤치의 핵심 가치다.
이론적 의의
이 연구는 grounded 추론을 Predict(상태 예측)·Plan(저수준 행동 생성)·Decompose(서브골 분해)라는 분리 가능한 능력으로 조작화하고, 전문가 에이전트(OmniBot)를 기준선·데이터 원천으로 삼아 LLM의 실패 지점을 능력별·난이도별로 국소화한다. 이는 단일 종합점수로 가려지던 “장기 계획·분해의 붕괴” 같은 실패 모드를 명시적으로 드러낸다.
Discussion Points
- 논쟁점: 전지적 관점에서 측정한 grounded 추론 격차가 부분관찰 임베디드 조건에서도 동일하게 유지되는가.
- 검증할 가정: OmniBot의 최적 경로를 기준으로 한 Efficiency Ratio·실행검증이 LLM 계획 품질의 충분한 척도인가.
- 후속 연구: 파인튜닝이나 새 레벨 추가가 Plan·Decompose의 난이도 붕괴를 완화하는지의 검증.
실험 결과 상세
Predict Success Rate (난이도 Easy / Moderate / Hard / Very Hard, ToT 설정):
| Model | Easy | Moderate | Hard | Very Hard |
|---|---|---|---|---|
| Claude-3.7-Sonnet | 97.5 | 94.29 | 86.67 | 82.5 |
| GPT-4o | 97.5 | 84.68 | 76.8 | 61.19 |
| Qwen3-32B | 95 | 65.48 | 61.93 | 48.82 |
| DeepSeek-R1-Distill-70B | 97.5 | 68.61 | 50.79 | 37.24 |
| Llama 3.1-405B | 85 | 53.26 | 62.19 | 41.25 |
| Llama 3.1-70B | 63.82 | 39.36 | 32.54 | 33.95 |
| Llama 3.1-8B | 12.89 | 4.47 | 2.08 | 2.78 |
Predict 역량별(Table 4 발췌) — Sequences of Commands: Claude 80, GPT-4o 53.52, Llama-8B 0. 미로 내비게이션·Sequences of Commands에서 Claude를 제외하면 전반 급락(그 외 세부 수치는 데이터 불충분).
Plan (격자 규모별, 정성 요약 — 표 형태 정량치는 추출 전문에 불충분):
| 격자 | 크기/장애물 | 관찰 |
|---|---|---|
| small | 8×8, ≤7 장애 | 추론모델(Qwen3, DeepSeek-R1-Distill) 약 80%; GPT-4o·Llama(distill 제외)는 30% 미만 |
| medium | 16×16, ≤60 장애 | 추론모델도 50% 미만 |
| large | 24×24, ≤120 장애 | 추론모델도 50% 미만 |
| ultra | 32×32, ≤180 장애 | 추론모델만 >0, Claude 최대 약 20% |
Decompose (정성): 추가 서브골 수(SA) 증가 시 급락, 특히 Precision Rate(PR). 7–9 SA에서 Qwen·Claude만 PR>0, 10+ SA는 전 모델 PR=0(“장기 미션 분해 불가”). 세부 수치는 데이터 불충분.
프레임워크 다이어그램
flowchart TD A["BabyAI / MiniGrid 그리드월드 (16 레벨)"] --> B["텍스트 인터페이스 (Structured 포맷, Omniscient 관점)"] B --> C["BabyAI OmniBot 전문가 (모든 레벨 100% solve)"] C --> D["구조적 정보 추출 → 3개 데이터셋"] D --> E["Predict: 행동열 → 최종상태"] D --> F["Plan: 목표 → 저수준 행동열"] D --> G["Decompose: 미션 → 서브골 시퀀스"] E --> H["평가 하니스 / 지표 + 실행검증"] F --> H G --> H H --> I["LLM 비교: Claude 3.7 / GPT-4o / Llama 3.1 / DeepSeek-R1-Distill / Qwen3"]
재현성 및 신뢰도 평가
- 코드 공개: yes — GitHub(https://github.com/choukrani/llm-babybench), 데이터셋 HuggingFace(salem-mbzuai/LLM-BabyBench).
- 종합 재현성 등급: A — 데이터셋·평가 하니스·지표·코드가 모두 공개되고, 생성 계획을 실제 실행으로 검증하는 절차가 명시되어 절차생성 환경을 그대로 재현·확장할 수 있다.
- 주장별 신뢰도:
- “Claude-3.7-Sonnet이 Predict 최난도에서도 위치+방향 80% 정확” — 강함. Easy~Very Hard 정량 성공률(82.5 at Very Hard)이 제시됨.
- “장기 미션 분해 불가(10+ SA에서 전 모델 PR=0)” — 중간. 정성·경향 서술로 제시되며 본 추출 전문에는 SA별 상세 수치표가 불충분.
관련 연구 비교 매트릭스
| 논문 | 환경 | 과제유형 | 핵심기여 | 평가지표 | 코드공개 | 본 논문과의 관계 |
|---|---|---|---|---|---|---|
| LLM-BabyBench (본 논문, 2025) | 텍스트화 BabyAI 그리드월드(전지적 관점) | Predict·Plan·Decompose | 단일 통제 환경 위 3과제로 grounded 추론 분리 평가 + 실행검증 하니스 | SR, Manhattan Dist., Efficiency Ratio, Comprehension/Precision Rate, ACI | yes | — |
| BabyAI (Chevalier-Boisvert et al., 2019, arXiv:1810.08272) | 격자 세계(언어 지시) | grounded 언어학습 표본효율(RL) | 본 벤치의 기반 환경·레벨 제공 | 표본효율, 성공률 | yes | base (기반 환경) |
| SmartPlay (Wu et al., 2023, arXiv:2310.01557) | 다중 게임 | LLM 에이전트 게임 능력 벤치 | LLM 에이전트 역량 다면 측정 | 게임별 성능 점수 | — | alternative |
| ALFWorld (Shridhar et al., 2021) | 텍스트+3D 정렬 임베디드 | 임베디드 지시수행 | 텍스트와 3D 환경 정렬 과제 | 과제 성공률 | — | alternative |
| ScienceWorld (Wang et al., 2022) | 텍스트 기반 과학 환경 | 과학 추론·상호작용 | 텍스트 과학 추론 환경 제공 | 과제 성공률 | — | alternative |
원자적 인사이트 (Zettelkasten)
- 절차생성 그리드월드를 텍스트로 적응시키면, 시각 복잡성 없이도 grounded 추론을 난이도별로 통제해 측정할 수 있다.
- grounded 추론은 “상태 예측(Predict)·행동 생성(Plan)·서브골 분해(Decompose)“라는 분리 가능한 능력들로 조작화될 수 있다.
- 모든 레벨을 100% 푸는 전문가(OmniBot)를 데이터 원천이자 상한 기준선으로 쓰면, LLM의 실패를 능력·난이도 축에서 국소화할 수 있다.
- 추가 서브골 수가 늘수록 Precision Rate가 무너져(10+ SA에서 전 모델 0) LLM의 장기 분해 능력 한계가 단일 점수로 가려지지 않고 노출된다.
핵심 용어 정리
- Grounding: 모델의 내부표현·출력을 세계의 동역학·제약·affordance에 정렬하는 것.
- Omniscient Perspective: 부분관찰을 무시하고 전체 환경정보를 LLM에 제공하는 평가 관점.
- OmniBot: 전체 격자 가시성으로 최적 경로를 일관 선택해 모든 레벨을 100% 푸는 전문가 에이전트.
- Efficiency Ratio: Plan 지표로, OmniBot 최적 길이를 LLM 계획 길이로 나눈 효율 비율.
- ACI: Decompose 지표로, 허용 추가 서브골 수 대비 성공률 곡선 아래 면적.
- Precision Rate: 추가 서브골 없이 분해를 실행했을 때의 성공률.
- ToT (Tree-of-Thought): 분기 탐색형 프롬프트 전략으로, 본 실험에서 가장 우수해 채택됨.
관련 연구
- BabyAI - A Platform to Study the Sample Efficiency of Grounded Language Learning — base (본 벤치가 텍스트화·확장한 기반 그리드월드 환경)
태그
benchmark llm-agents grounded-reasoning planning babyai subgoal-decomposition evaluation
BibTeX
@article{choukrani2025llmbabybench,
title={LLM-BabyBench: Understanding and Evaluating Grounded Planning and Reasoning in LLMs},
author={Choukrani, Omar and Malek, Idriss and Orel, Daniil and Xie, Zhuohan and Iklassov, Zangir and Tak{\'a}{\v{c}}, Martin and Lahlou, Salem},
journal={arXiv preprint arXiv:2505.12135},
year={2025}
}