Orak: 다양한 비디오 게임에서 LLM 에이전트를 훈련·평가하는 기초 벤치마크

Digest: Context — LLM(거대 언어 모델) 에이전트를 게임으로 평가하려는 시도는 많았지만, 기존 벤치마크는 텍스트나 2D 격자 위주이고 게임 장르가 좁으며, 무엇보다 reflection·planning 같은 agentic 모듈(에이전트가 스스로 되돌아보고 계획을 세우는 추론 구성요소)을 따로 평가하거나 모델을 파인튜닝할 데이터가 없었다. Insight — Orak이 포착한 빈틈은, 게임이 어렵다는 사실 자체보다 “에이전트 인프라가 파편화되어 있어 공정한 비교와 학습이 불가능하다”는 점이다. 그래서 게임 환경과 추론 모듈을 모두 MCP(Model Context Protocol, LLM이 외부 도구를 표준 방식으로 호출하게 해주는 인터페이스) 위에 callable 도구로 올려, eval.py에서 llm.py·agent.py만 바꿔 끼우면 어떤 모델·전략 조합이든 plug-and-play로 돌릴 수 있게 만들었다.

Solution — 6개 장르 12개 비디오게임(Street Fighter III, Minecraft, StarCraft II, Pokémon Red, Baba Is You 등)을 단일 인터페이스로 통합하고, GPT-4o·o3-mini의 전문가 궤적을 reflection-planning-action 형태로 모은 ~11k 규모 SFT(지도 파인튜닝) 데이터셋(게임당 ~300샘플, paraphrase로 10배 증강)을 함께 제공한다.

Evidence — 다섯 발견:
(1) 상용 모델이 오픈소스를 크게 앞서고(Gemini-2.5-pro 평균 rank 3.5로 12게임 중 5게임 1위, GPT-5/4o rank 3.6), 8B 미만 오픈소스는 복잡 게임에서 거의 0점;
(2) 실시간 대전(Battle Arena)에선 격차가 줄거나 역전되어 작은 Minitron-8B가 SF3 Arena Elo 1680.1로 1위;
(3) agentic 모듈은 GPT-4o엔 일관되게 도움(reflection-planning rank 2.2 vs zero-shot 3.4)이나 Llama-3.2-3B엔 오히려 악화(rank 6.1);
(4) 이미지 입력만 주면 전 모델 급락, 텍스트+이미지 혼합은 게임마다 갈림(SF3에서 Claude +16.6, Ace Attorney에서 GPT-4o −31.8); (5) 게임 궤적으로 파인튜닝한 작은 모델(Llama-3.2-1B/3B)이 처음 보는 게임(OOD: Super Mario·2048)과 비게임 과제(WebShop 0%→8.4/12.6%)로도 일반화되며 데이터는 양보다 질이 중요했다.

Implication — 게임에서 배운 절차적 추론이 비게임 능력으로 전이되고, 복잡한 agentic 전략이 항상 더 낫지 않고 모델 능력과 비단조적으로 상호작용함을 실증한다. (출처: https://arxiv.org/abs/2506.03610, ICLR 2026, KRAFTON·SNU·NVIDIA)

섹션별 요약

Abstract

LLM(Large Language Model) 에이전트는 게임 산업에서 더 지능적이고 인간 친화적인 캐릭터를 가능케 하고 있으나, 기존 벤치마크는 텍스트 전용 또는 2D-grid 시뮬레이터에 의존하고, 복잡한 게임플레이에 필수적인 에이전틱 모듈(self-reflection, memory, tool use) 평가가 부재하며, 사전학습 LLM을 게임 에이전트로 전환할 파인튜닝 데이터셋도 결여되어 있다. 이 세 가지 공백을 해소하기 위해 저자들은 모든 주요 장르를 아우르는 12개 인기 비디오게임에서 LLM 에이전트를 훈련·평가하는 벤치마크 Orak을 제시한다. Orak은 Model Context Protocol(MCP) 기반 plug-and-play 인터페이스를 통해 다양한 게임 시나리오에서 에이전틱 모듈의 체계적·재현 가능한 연구를 지원하며, 다중 장르를 포괄하는 전문가 LLM 게임플레이 궤적 파인튜닝 데이터셋을 함께 공개한다. 평가 프레임워크는 리더보드, LLM 배틀 아레나, 입력 모달리티·에이전틱 전략·파인튜닝 효과에 대한 절제 연구(ablation study)를 포함하며, 다용도 게임 에이전트 개발의 기반을 마련한다.

저자 contribution

모든 주요 비디오게임 장르에 걸쳐 12개 게임을 MCP plug-and-play 인터페이스로 통합한 통합 벤치마크 Orak을 구축하여 에이전틱 모듈의 체계적·재현 가능한 연구 환경을 제공한다.
다중 장르를 포괄하는 전문가 LLM 게임플레이 궤적 파인튜닝 데이터셋을 공개하여 일반 LLM을 효과적인 게임 에이전트로 전환하는 SFT(Supervised Fine-Tuning) 기반을 마련한다.
리더보드, LLM 배틀 아레나, 입력 모달리티·에이전틱 전략·파인튜닝 효과 절제 연구를 포함하는 통합 평가 프레임워크를 제시하여 다차원적 LLM 에이전트 역량 측정을 가능케 한다.

왜 이 연구를 하는가?

핵심 질문: 기존 게임 벤치마크가 텍스트/2D-grid 위주의 단순 환경에 머물고 agentic 모듈 평가와 파인튜닝 데이터셋을 제공하지 못하는 상황에서, LLM 에이전트를 복잡한 실제 비디오게임에서 훈련·평가할 수 있는 통합 기반이 존재하는가?

기존 접근의 한계	설명
① text-only / 2D-grid 환경에 국한	GAMA-bench·GameBench·GameArena·SmartPlay는 텍스트 게임에, BALROG·LVLM-Playground는 2D-grid 게임(TicTacToe·Chess 등)에 의존해 복잡한 실제 비디오게임의 역동적·부분 관측 환경을 다루지 않는다.
② agentic 모듈 평가 부재	기존 벤치마크 모두 self-reflection·memory·tool use 등 복잡한 게임플레이에 필수적인 agentic 모듈에 대한 체계적 ablation을 제공하지 않는다.
③ 파인튜닝 데이터셋 미제공	사전학습 LLM을 게임 에이전트로 전환할 fine-tuning 데이터셋이 어떤 기존 벤치마크에도 없어, 게임 에이전트의 실용적 채택을 저해한다.

핵심 통찰

게임은 단순 능력 평가 도구를 넘어, NPC 지능 향상을 위한 실용 응용처이자 동적·불확실한 실세계 시나리오에서 LLM의 system-2 reasoning(고수준 의사결정)을 측정하는 테스트베드다.
게임 에이전트 연구의 진전을 위해서는 다장르·비디오 환경, 재현 가능한 agentic 모듈 연구 인터페이스, 메타 지식 전이를 가능케 하는 파인튜닝 데이터셋이 하나의 벤치마크에 통합되어야 한다.

Introduction

LLM 에이전트는 Coding·Web Search·Scientific Research 등 다양한 산업을 혁신하고 있으며, 게임 산업에서도 더 지능적인 NPC·몬스터·동반자를 구현하는 데 활용된다. 또한 게임은 동적·불확실한 실세계 시나리오를 시뮬레이션하는 환경으로서 LLM의 고수준 의사결정 능력인 system-2 reasoning(Li et al., 2025)을 평가하는 효과적 테스트베드다. 이러한 필요로 게임 기반 LLM 평가 벤치마크가 다수 제안되었으나 세 가지 핵심 한계를 공유한다 — (1) text-only/2D-grid 의존, (2) agentic 모듈의 체계적 평가 부재, (3) fine-tuning 데이터셋 부재.

이 공백을 메우기 위해 저자들은 전 세계 수백만~수십억 명이 플레이하는 12개 인기 비디오게임(Street Fighter III, Super Mario, Ace Attorney, Her Story, Pokémon Red, Darkest Dungeon, Minecraft, Stardew Valley, StarCraft II, Slay the Spire, Baba Is You, 2048)을 포함하는 Orak을 제안한다. 이들은 액션·어드벤처·롤플레잉·시뮬레이션·전략·퍼즐 6대 장르를 망라한다. Table 1 비교에서 Orak은 Full Genre(6장르)·12게임·Video·LLM/VLM·Agent Ablation·Fine-tuning Set 항목을 유일하게 모두 충족한다. MCP(Hou et al., 2025) 기반 plug-and-play 인터페이스를 통해 각 게임 환경과 agentic 모듈이 독립 MCP 서버로 운용되어 체계적·재현 가능한 연구를 지원하며, GPT-4o로 전 게임에서 핵심 agentic 전략을 적용한 전문가 궤적 fine-tuning 데이터셋을 공개해 사전학습 LLM을 게임 에이전트로 전환하는 메타 지식 전이를 가능케 한다.

Methods

Orak은 eval.py 기반 평가 파이프라인, MCP(Model Context Protocol) 인터페이스, 12개 게임 환경, ~11k 전문가 궤적 SFT 데이터셋의 네 구성요소로 이루어진 plug-and-play 비디오게임 벤치마크다.

eval.py 평가 파이프라인: Evaluator(cfg)가 게임 환경(cfg.game)·LLM 백본(cfg.llm_name)·agentic 전략을 조립한 뒤, 매 스텝마다 obs2text → agentic strategy → text2act → step(act) → evaluate 루프를 돌리고, 종료 시 게임 점수를 기록한다.
MCP 인터페이스: env.py(게임 환경), agent.py(Memory·Knowledge DB·Skill Manager·Planning·Self-reflection 모듈), llm.py(GPTBase/ClaudeBase/LocalBase)를 각각 독립 MCP 서버로 분리해 callable 도구로 노출한다. llm.py 교체로 새 백본을, agent.py 교체로 새 전략을 제출하는 완전한 plug-and-play가 가능하다.
12개 게임 환경(6장르): Action — SF3(15-20 discrete actions)·Super Mario(jump level 0-6); Adventure — Ace Attorney·Her Story; RPG — Pokémon Red·Darkest Dungeon; Simulation — Minecraft(Mineflayer JavaScript 실행)·Stardew Valley; Strategy — StarCraft II(72 discrete actions)·Slay the Spire; Puzzle — Baba Is You·2048. 각 게임은 (1) Game state, (2) Action space, (3) Evaluation task·metric으로 정의된다.
8개 요구 능력 지표(Fig. 3): Rule Following(RF)·Logical Reasoning(LR)·Spatial Reasoning(SR)·Long-text Understanding(LTU)·Long-term Planning(LP)·Error Handling(EH)·Odds Handling(OH) — 인간 평가자 8명이 1-3 척도로 측정, 중앙값 보고.
SFT 데이터셋(Sec 4): GPT-4o·o3-mini가 12게임을 플레이한 전문가 궤적에서 수집. 각 궤적 τ = {(X^a_i, S, Y^a_i)}(a∈{reflection, planning, action}, S=game state, Y^a=LLM 응답). 게임 점수 기준 상위 궤적을 게임당 τ>300까지 채택(Data Selection)하고, GPT-4o로 프롬프트를 paraphrase해 샘플당 10개 증강(Data Augmentation)하여 총 ~11k 샘플 구성. SFT 방식이며 RL 파인튜닝은 future work.

입력→출력 흐름: env.py가 게임 화면/상태를 텍스트 observation으로 변환(obs2text) → eval.py가 agent.py의 reflection→planning→action 전략에 전달 → agent.py가 MCP로 llm.py를 호출 → LLM 텍스트 액션을 text2act로 변환 → env.py step(act) 적용 → 종료 시 evaluate가 게임별 메트릭(스테이지 수·거리·수익·승률 등)으로 점수 산출.

차별점: Table 1 기준 Orak은 기존 벤치마크 중 유일하게 6장르 전체 커버·LLM/VLM 동시 지원·agentic 모듈 ablation·fine-tuning 세트를 모두 갖춘다. 기존 벤치마크가 단일 모달·제한 장르에 머물며 agentic 전략을 게임별로 수동 커스터마이징해야 했던 것과 달리, MCP로 환경·에이전트·LLM 세 축을 독립 서버로 분리해 단일 eval.py 호출만으로 어떤 조합도 평가한다.

발견 (Findings)

발견 1 — Proprietary LLM 전반적 우위: Gemini-2.5-pro가 12게임 중 5게임 1위, 평균 rank 3.5로 전체 1위(Table 3). GPT-5/GPT-4o rank 3.6으로 차순위. 8B 미만 소형 open-source는 Pokémon Red·Minecraft·Stardew Valley·StarCraft II·Slay the Spire에서 거의 0점.
발견 2 — Arena에서 격차 축소·역전: SF3 Arena에서 Minitron-8B가 Elo 1680.1로 전체 1위(Fig. 4a), StarCraft II Arena에서 Claude-3.7-sonnet이 Elo 1561.4로 1위(Fig. 4b). 적대적 멀티에이전트 환경에선 단일 플레이 순위가 뒤집힐 수 있다.
발견 3 — Agentic 모듈 효과의 모델 의존성: GPT-4o는 reflection-planning이 rank 2.2로 best이고 zero-shot(3.4) 대비 모든 전략이 개선(Table 4). 반면 Llama-3.2-3B는 reflection이 rank 5.6으로 best지만 reflection-planning은 6.1로 오히려 악화 — 소형 모델엔 프롬프트 복잡도 증가가 역효과.
발견 4 — 시각 입력의 혼재 효과: Image-only는 전 모델 성능 급락(Table 5–6). Both(text+image)는 SF3에서 Claude-3.7 +16.6 상승했으나, Ace Attorney에선 GPT-4o −31.8 하락하고 Group 2 평균 rank가 2.9→5.0으로 악화.
발견 5 — 파인튜닝의 도메인 초월 일반화: Orak 궤적으로 파인튜닝한 Llama-3.2-1B/3B가 intra-game 5게임 중 3게임에서 사전학습 모델 능가, OOD 게임(Super Mario·2048)에서도 향상, 비게임 WebShop-E/H에서 Llama-3.2-3B가 0.0%→8.4%/12.6%(Table 7). 고품질 데이터가 2배 용량 혼합 데이터보다 우수.

Results

5.2 게임플레이 성능 (Table 3) — proprietary LLM이 대부분 게임에서 open-source를 압도. Gemini-2.5-pro 평균 rank 3.5(12게임 중 5게임 1위), GPT-5·GPT-4o 공동 rank 3.6. 중형 open-source Llama3.3-70B(rank 7.3)·Qwen2.5-72B(rank 8.8)는 Stardew Valley 등 일부 개선이나 proprietary에 크게 못 미침. 소형 모델(Llama-3.2-1B rank 13.5, Llama-3.2-3B rank 11.4, Minitron-4B rank 11.6)은 복잡 게임에서 0.0점. Human Novice 기준은 Baba Is You 100.0·Minecraft 70.8·2048 22.7 등 게임별 난이도 분포를 보인다.

5.3 LLM Arena (Fig. 4) — SF3 Arena에서 8개 LLM 3라운드 다수결 배틀 결과 Minitron-8B가 Elo 1680.1로 1위(Gemini-2.5-pro·Claude-3.7 등 상회). StarCraft II Arena에선 7개 LLM 단일 라운드에서 Claude-3.7-sonnet Elo 1561.4로 1위, GPT-4o·Minitron-8B가 2~3위 그룹.

5.4 Agentic 모듈 ablation (Table 4) — GPT-4o: reflection-planning 2.2 > reflection 3.1 > planning 3.3 > zero-shot 3.4(단조 개선). Llama-3.2-3B: reflection 5.6(best) / reflection-planning 6.1 / zero-shot·planning 더 낮음 — 일관 개선 패턴 없음. 모델 역량이 부족하면 프롬프트 복잡도 증가가 의사결정 정확도를 저해.

5.5 시각 입력 (Table 5–6) — Image-only는 두 그룹 모두 전 모델 급락. Both는 Group 1(SF3)에서 Claude-3.7 +16.6 향상이나 Group 2(Ace Attorney)에서 GPT-4o −31.8·평균 rank 2.9→5.0 악화. 모달리티 결합 효과는 게임의 시각 의존도에 따라 상반.

5.6 파인튜닝 일반화 (Table 7) — Intra-game: Llama-3.2-3B가 SF3 12.0→40.0, Darkest Dungeon 87.2→92.0, Slay the Spire 0.0→10.7 등 5게임 중 3게임 개선(단 StarCraft II 0.0→0.0, Baba Is You 20.0→20.0은 정체). OOD-game: Super Mario(3B) 31.8→34.4, 2048(3B) 0.1→3.1. Non-game: Llama-3.2-3B가 WebShop-E 0.0%→8.4%, WebShop-H 0.0%→12.6%, Math500 29.6→36.1. 1B는 비게임 전이가 거의 없어(WebShop-H 1.9→0.0) 일반화가 모델 용량에 의존함을 시사.

5.7 실시간 지연 (Table 8b) — SF3·Super Mario·StarCraft II는 타이밍 민감. hard 설정 실시간 모드에선 전 모델 0점이나, easy로 낮추면 GPT-4o만 실시간에서도 만점 유지. 스텝당 평균 지연은 GPT-4o-mini 19.6s, GPT-4o 27.2s, Gemini-2.5-pro 99.2s로, GPT-4o가 지연-성능 trade-off 최적.

Discussion

Orak은 MCP plug-and-play로 12개 다장르 게임을 아우르는 LLM 에이전트 평가·훈련 인프라를 제시한다. 실험은 상용 LLM 우위, 최적 agentic 전략의 모델 의존성, 고품질 데이터의 중요성, 게임 SFT의 비게임 전이를 보였다.

저자가 인정한 한계

게임 state 전처리로 인한 정보 은닉: 게임플레이에 불필요한 정보를 숨긴 구조화 텍스트로 state를 제공 — 자원효율 LLM에 유리하나 실제 full in-game state와 다르며 일반화 가능성을 제한할 수 있다.
비용·라이선스 제약: 평가 비용과 게임 라이선스 제약이 존재(Appendix U).

독자 식별 추가 한계

8B 미만 소형 모델이 복잡 게임에서 near-zero라 소형 모델 간 변별력이 약함.
LLM Arena가 SF3·StarCraft II 두 게임에만 국한돼 경쟁적 상호작용 일반화가 제한됨.

향후 방향

raw uncurated full in-game state(텍스트+이미지) 직접 제공 — VLM 통합 및 실제 게임 근접성 제고.
모델 능력에 적응하는 agentic 전략 자동 선택 메커니즘.

이론적 의의

MCP 기반 게임 에이전트 인프라 표준화: 신규 게임·LLM 교체를 최소 코드 변경으로 가능케 해, 벤치마크의 특정 API 종속 문제를 해결하고 커뮤니티 기여형 확장 평가 생태계의 기반을 제공한다.
게임 궤적 SFT의 범용 능력 전이: 게임 trajectory 파인튜닝이 Math500·WebShop 등 비게임에서도 성능을 높여, 게임이 long-horizon 의사결정·반성·계획을 학습하는 범용 에이전트 훈련 도구임을 뒷받침한다.
에이전트 전략×모델 능력의 비단조 상호작용: reflection-planning이 대형 모델엔 최고이나 소형 모델엔 악화 — “복잡한 구조가 항상 낫다”는 통념에 반하며 모델-전략 공동 최적화 필요성을 제기한다.

Discussion Points

논쟁점: 게임 state를 구조화 텍스트로 전처리하는 설계가 실제 에이전트 능력 vs 텍스트 이해 능력 중 무엇을 측정하는지, 그리고 raw pixel/UI를 다루는 실세계 배포와의 괴리가 논쟁거리다. Arena에서 Minitron-8B가 SF3 1위로 GPT-4o를 능가한 결과도 경쟁 성능과 일반 성능의 관계에 대한 논의를 부른다.
검증 필요 가정: 게임 파인튜닝의 비게임 전이가 Llama-3.2 두 모델에 근거하므로 다른 모델 패밀리·proprietary로의 일반화 검증이 필요하다. “품질>양” 결론도 Darkest Dungeon의 low-score 데이터 악화 관찰에 근거하나, 최적 품질 임계값·장르별 민감도는 불명확하다.
후속 연구: raw 게임 state를 직접 처리하는 VLM 에이전트 실험이 가장 직접적 후속 방향. 초장기 플레이(수백 스텝+) 확장, cooperative multi-agent 설정 평가도 자연스럽다.

실험 결과 상세

Table 3 — 게임플레이 리더보드(정규화 점수, 평균 rank)

모델	평균 Rank	비고
Gemini-2.5-pro	3.5	12게임 중 5게임 1위, 전체 1위
GPT-4o / GPT-5	3.6	공동 2위권
o3-mini	4.0
Claude-3.7 / DeepSeek-R1	5.1
Llama3.3-70B	7.3	최상위 open-source
Qwen2.5-72B	8.8
GPT-4o-mini	9.2
Minitron-8B	10.1
Qwen2.5-7B	10.5
Llama-3.2-3B	11.4	복잡 게임 0.0점 다수
Minitron-4B	11.6
Qwen2.5-3B	12.1
Llama-3.2-1B	13.5	최하위

Human Novice(참고): Baba Is You 100.0 / Minecraft 70.8 / Ace Attorney 87.8 / 2048 22.7 등(게임별 정규화 점수).

Table 4 — agentic 모듈 ablation(평균 rank)

전략	GPT-4o	Llama-3.2-3B
Zero-shot	3.4	6.4
Reflection	3.1	5.6 (best)
Planning	3.3	6.2
Reflection-Planning	2.2 (best)	6.1

Table 5–6 — 시각 입력 효과(대표값)

조건	모델·게임	결과
Image-only	전 모델	Text-only 대비 일관 급락
Both(text+image)	Claude-3.7 · SF3 (Group 1)	16.7 → 33.3 (+16.6)
Both(text+image)	GPT-4o · Ace Attorney (Group 2)	−31.8, 평균 rank 2.9→5.0 악화

Table 7 — 파인튜닝 일반화(사전학습 → 파인튜닝, 정규화 점수)

구분	게임/과제	Llama-3.2-1B	Llama-3.2-3B
Intra	SF3	0.0 → 42.0	12.0 → 40.0
Intra	Darkest Dungeon	0.0 → 93.4	87.2 → 92.0
Intra	Slay the Spire	0.0 → 8.0	0.0 → 10.7
OOD	Super Mario	18.7 → 26.7	31.8 → 34.4
OOD	2048	0.1 → 2.8	0.1 → 3.1
Non-game	Math500	24.1 → 25.6	29.6 → 36.1
Non-game	WebShop-E	2.7 → 0.5	0.0 → 8.4
Non-game	WebShop-H	1.9 → 0.0	0.0 → 12.6

(StarCraft II·Baba Is You는 두 모델 모두 0.0→0.0, 20.0→20.0으로 정체 — 공간추론·복잡 전략은 소형 모델 파인튜닝만으로 획득되지 않음.)

프레임워크 다이어그램

graph TB
    A["eval.py (Evaluator)"] --> B["MCP 인터페이스<br/>(MCP_GameEnv / MCP_Agent)"]
    B --> C["env.py (게임 환경)"]
    B --> D["agent.py (에이전트 모듈)"]
    D --> D1["Reflection (자기반성)"]
    D --> D2["Planning (서브태스크 계획)"]
    D --> D3["Skill Manager (지식 검색)"]
    D1 --> E["llm.py (LLM 백본)"]
    D2 --> E
    D3 --> E
    E --> F["액션 생성 (text2act)"]
    F --> C
    C --> G["관측값 반환 (obs2text)"]
    G --> A
    A --> H["점수 기록 (evaluate)"]

재현성 및 신뢰도 평가

종합 등급: B — 코드(github.com/krafton-ai/Orak)·데이터셋(huggingface.co/datasets/KRAFTON/Orak, 11k) 공개로 구조적 재현성은 우수하나, 15개 상용 LLM API 의존·게임 라이선스 제약·핵심 하이퍼파라미터의 부록 집중으로 완전 재현엔 장벽이 있다. 게임당 320회 시행 평균을 보고하나 유의성 검정은 없다.

주장	근거	신뢰도
Gemini-2.5-pro 전체 1위, 상용≫오픈소스	Table 3 리더보드 전체 수치	🟢
GPT-4o reflection-planning 3.4→2.2 개선, Llama-3.2-3B는 악화	Table 4 4전략×2모델 교차	🟢
게임 SFT가 비게임(WebShop) 0%→8.4/12.6% 전이	Table 7 (단 1B는 전이 미미 — 모델 용량 의존)	🟡
Image-only 열위, Both는 게임별 혼재	Table 5–6 (방향 상충으로 일반화 한계)	🟡
소형 오픈소스 복잡 게임 near-zero	Table 3 다수 0.0 (단 SF3·Super Mario는 점수 존재)	🟢

축	Orak (본 논문)	BALROG (Paglieri 2024) [sota]	SmartPlay (Wu 2023) [base]	LMGame-Bench (Hu 2025) [alt]	Cradle (Tan 2024) [alt]	GAMA-Bench (Huang 2024) [base]
게임 도메인	Video(실제 비디오게임)	text/2D-grid	text/2D-grid	video(퍼즐 위주)	상용 PC 비디오게임	text(게임이론)
게임 / Full Genre	12 / 6장르 전체	6 / ✗	6 / ✗	6 / ✗	4 / ✗	8 / ✗
Model Type	LLM/VLM	LLM/VLM	LLM	LLM/VLM	VLM	LLM
Agent-module Ablation	✅	✗	✗	✗	✗	✗
Fine-tuning Set	✅ (~11k SFT)	✗	✗	✗	✗	✗
평가 축	leaderboard + Elo arena + 4종 ablation	성공률	6능력 점수	성공률	완료율	전략 정확도
코드 공개	✅	✅	✅	✅(일부)	✅	✅

원자적 인사이트 (Zettelkasten)

💡 MCP를 평가 백본으로 쓰면 모델·전략·환경이 직교 축이 된다

게임 환경과 agentic 모듈을 모두 MCP callable 도구로 추상화하면 평가 코드는 llm.py(어떤 모델)·agent.py(어떤 전략)만 교체하는 plug-and-play가 된다. “모델 능력 × 추론 전략 × 게임 환경”이 독립 스위프 가능한 축이 되어 변인 통제 ablation이 인프라 수준에서 보장된다. (조건: 12게임을 단일 인터페이스로 통합, 게임 state를 구조화 텍스트로 변환하는 어댑터 전제.)

💡 게임 궤적 SFT는 비게임 능력(웹 상호작용)으로 전이되며, 양보다 질이다

reflection-planning-action 형태 전문가 궤적(~11k)으로 파인튜닝한 Llama-3.2-1B/3B가 OOD 게임과 WebShop(0%→8.4/12.6%)으로 일반화됐다. 게임에서 학습되는 것은 특정 게임 지식이 아니라 “관찰→반성→계획→행동”의 이식 가능한 절차적 추론 골격이다. (단 전이 폭은 모델 용량에 의존 — 1B는 비게임 전이 미미.)

💡 agentic 모듈의 효용은 모델 능력과 비단조적이다 — 약한 모델엔 독이 된다

reflection-planning이 GPT-4o엔 rank 3.4→2.2 도움이나 Llama-3.2-3B엔 zero-shot보다 악화(6.1). 복잡한 추론 스캐폴딩이 항상 낫다는 직관은 틀렸고, 능력 임계선 아래 모델은 늘어난 자유도에 압도된다.

💡 실시간 대전(Battle Arena)은 상용-오픈소스 순위표를 뒤집는다

정적 점수에선 상용 모델이 압도(Gemini-2.5-pro rank 3.5)하나 SF3·StarCraft II head-to-head Elo에선 작은 Minitron-8B가 SF3 Arena 1위(Elo 1680.1). 절대 점수와 상대 대전은 다른 능력 차원을 측정하므로 단일 리더보드 줄세우기는 오도된다.

핵심 용어 정리

용어	정의
MCP (Model Context Protocol)	LLM이 외부 환경·도구를 표준 방식으로 호출하게 하는 인터페이스 규약. Orak은 게임 환경·추론 모듈을 MCP 도구로 노출해 plug-and-play 평가를 구현한다.
Agentic module	행동만 출력하는 대신 스스로 반성(reflection)·계획(planning)·기술 관리(skill-management)하는 추가 추론 구성요소.
Reflection / Planning agent	직전 행동·결과를 평가해 다음 판단을 보정(reflection), 목표까지 단계 시퀀스를 미리 수립(planning). 결합한 reflection-planning이 강한 모델에 특히 효과적.
Zero-shot action inference	스캐폴딩 없이 관찰을 보고 곧바로 행동을 출력하는 가장 단순한 설정. agentic 모듈 효용의 baseline.
SFT (Supervised Fine-Tuning)	전문가의 (입력→정답 행동) 쌍으로 모델을 추가 학습하는 지도 파인튜닝. Orak은 GPT-4o·o3-mini 궤적 ~11k로 Llama를 SFT했다.
Trajectory (궤적)	한 에피소드의 (관찰·반성·계획·행동) 연쇄 기록. SFT 데이터 기본 단위.
OOD generalization	학습 시 보지 못한 분포(미학습 게임·비게임 과제)로의 전이 능력.
Elo rating	상대 대전 승패로 산출하는 상대적 실력 점수. Battle Arena 평가에 사용.
Normalization score	게임별 최대 점수로 나눠 게임 간 비교를 가능케 한 정규화 지표.
System-2 reasoning	빠른 직관(system-1)과 대비되는 느리고 신중한 다단계 추론.

BibTeX

@inproceedings{park2025orak,
  title={Orak: A Foundational Benchmark for Training and Evaluating LLM Agents on Diverse Video Games},
  author={Park, Dongmin and Kim, Minkyu and Choi, Beongjun and Kim, Junhyuck and Lee, Keon and Lee, Jonghyun and Park, Inkyu and Lee, Byeong-Uk and Hwang, Jaeyoung and Ahn, Jaewoo and Mahabaleshwarkar, Ameya S. and Kartal, Bilal and Biswas, Pritam and Suhara, Yoshi and Lee, Kangwook and Cho, Jaewoong},
  booktitle={Proceedings of the International Conference on Learning Representations (ICLR)},
  year={2026},
  url={https://arxiv.org/abs/2506.03610}
}

Orak: 다양한 비디오 게임에서 LLM 에이전트를 훈련·평가하는 기초 벤치마크

Orak: 다양한 비디오 게임에서 LLM 에이전트를 훈련·평가하는 기초 벤치마크

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

💡 MCP를 평가 백본으로 쓰면 모델·전략·환경이 직교 축이 된다

💡 게임 궤적 SFT는 비게임 능력(웹 상호작용)으로 전이되며, 양보다 질이다

💡 agentic 모듈의 효용은 모델 능력과 비단조적이다 — 약한 모델엔 독이 된다

💡 실시간 대전(Battle Arena)은 상용-오픈소스 순위표를 뒤집는다

핵심 용어 정리

관련 연구

태그

BibTeX