44분 분량

NitroGen: 범용 게이밍 에이전트를 위한 오픈 소스 기반 모델

NitroGen - An Open Foundation Model for Generalist Gaming Agents

저자
Loïc Magne et al.
출처
arXiv preprint, 2026
분류
Architecture
읽은 깊이
Summary, 완료
리뷰
2026-06-23
generalist gaming agentbehavior cloningvision-action foundation modelinternet-scale datadiffusion transformer

게임패드 오버레이 영상에서 행동을 자동추출해 40,000시간·1,000+게임 데이터셋을 만들고, SigLIP2+DiT behavior cloning으로 미학습 게임 전이 시 from-scratch 대비 최대 52% 향상한 범용 게이밍 기반 모델

NitroGen: 범용 게이밍 에이전트를 위한 오픈 소스 기반 모델

Digest:
Context: 마인크래프트 같은 단일 게임이 아니라 수많은 상용 게임을 두루 다루는 범용 게이밍 에이전트를 학습하려면 막대한 양의 “관측-행동” 쌍이 필요한데, 기존 방식은 사람이 직접 라벨을 달거나 게임마다 전용 시뮬레이터를 만들어야 해서 스케일이 막혔다.

Insight: 저자들은 이미 인터넷에 널려 있는 공개 게임플레이 영상 중 상당수가 화면에 게임패드 입력 오버레이(눌린 버튼·스틱이 화면에 그려지는 표시)를 띄운다는 점에 주목해, 영상의 픽셀에서 플레이어의 실제 행동을 자동으로 역추출할 수 있음을 발견했다.

Solution: 이 통찰을 Template Matching(SIFT/XFeat로 컨트롤러 오버레이 위치 탐지) → SegFormer(8M개 합성 프레임으로 학습, 11×11 조이스틱 격자와 이진 버튼을 읽는 분할 모델) → Quality Filter(움직임 비율 non-zero≥50%) 3단계 추출 파이프라인으로 구현해, 71k 영상을 40,000시간·1,000+게임·38,739영상·818크리에이터 규모의 행동 라벨 데이터셋으로 정제했다. 이 데이터로 NitroGen(500M 파라미터, SigLIP2 ViT로 화면을 인코딩하고 Diffusion Transformer(DiT)가 conditional flow-matching으로 16-액션 청크를 한 번에 생성, Euler k=16으로 추론하는 behavior cloning 정책)을 학습했다.

Evidence: 추출 자체가 조이스틱 R²=0.84, 버튼 0.96으로 신뢰할 만하고, 새로 만든 Universal Simulator(상용 게임을 코드 수정 없이 Gymnasium 인터페이스로 감싸 16 이진+4 연속 액션·256×256 RGB로 제어, 10게임 30태스크 인간평가)에서 NitroGen은 제로샷으로 여러 게임에서 비자명한 성공률을 보였고(Fig6), leave-one-game-out 전이에서 isometric roguelike +10%, 3D action-RPG +25% 평균 상대향상을 냈으며, 3D action-RPG를 30시간 더 학습하면 전투 +52%·내비게이션 +25%인 반면 게임 고유 동작은 +5%에 그쳤다(Fig7).

Limitations: NitroGen은 화면을 보고 즉각 반응하는 system-1형 정책이라 장기 계획이나 언어 지시를 따를 수 없고, 학습 데이터가 액션 게임과 게임패드 조작에 편향돼 있다.

Open Questions: 인터넷-스케일 behavior cloning에 어떻게 계획·기억·언어 조건화(system-2)를 결합할지, 마우스·키보드 기반 게임이나 전략·퍼즐 장르로 어떻게 확장할지, 게임 고유 스킬의 전이가 왜 낮은지가 남는다.

먼저 이해하기

쉬운 설명

이 논문은 사람이 게임하는 모습을 녹화한 유튜브식 영상에서, 그 사람이 컨트롤러로 무슨 버튼을 누르고 스틱을 어디로 밀었는지를 자동으로 알아내는 방법을 만든다. 핵심은 많은 게임 영상이 화면 한쪽에 “지금 어떤 입력이 들어가는지”를 그림으로 보여주는 게임패드 입력 오버레이(눌린 버튼과 스틱 방향을 화면에 표시하는 위젯)를 띄운다는 점이다. 연구진은 먼저 Template Matching(SIFT/XFeat라는 이미지 특징점 매칭 기법으로 그 위젯이 화면 어디 있는지 찾는 단계)으로 위젯을 찾고, SegFormer(이미지를 영역별로 분류하는 분할 신경망)로 스틱을 11×11 격자 위치로, 버튼을 켜짐/꺼짐으로 읽어낸 뒤, 거의 가만히 있는 지루한 구간은 Quality Filter로 걸러 1,000개 이상 게임·40,000시간 분량의 “화면-행동” 데이터를 모았다. 이 데이터로 NitroGen(500M 파라미터 모델로, SigLIP2 ViT가 화면을 숫자로 바꾸고 Diffusion Transformer가 다음 16개 행동을 한꺼번에 그려내는 behavior cloning 정책)을 학습한다. 학습한 에이전트가 실제로 게임을 하도록, 연구진은 상용 게임을 코드 수정 없이 표준 강화학습 인터페이스(Gymnasium)로 감싸는 Universal Simulator도 함께 만들었다. 다만 이 에이전트는 화면을 보고 즉각 반응하는 수준이라, “성으로 가라” 같은 말로 된 지시를 따르거나 긴 계획을 세우지는 못한다.

왜 중요한가

게임 에이전트 연구는 보통 게임 하나(예: 마인크래프트)에 맞춘 전용 데이터·시뮬레이터에 갇혀 있었는데, 이 논문은 이미 인터넷에 존재하는 영상만으로 1,000개 넘는 게임을 아우르는 행동 데이터를 수작업 없이 만들 수 있음을 보였다(40,000시간, 818크리에이터). 추출 정확도가 조이스틱 R²=0.84, 버튼 0.96으로 충분히 높아, “오버레이가 있는 영상=공짜 행동 라벨”이라는 발상이 실제로 작동함을 뒷받침한다. 특히 leave-one-game-out 전이에서 본 적 없는 게임에 제로샷으로 비자명한 성공률을 내고, 30시간 추가 학습만으로 전투 +52%·내비게이션 +25%처럼 게임 사이에 공유되는 일반 스킬이 빠르게 오른다는 점은, 단일 게임이 아니라 여러 게임에 걸친 일반화 가능한 행동 표현이 학습되고 있음을 시사한다. 코드·데이터·가중치가 모두 공개되어 후속 연구가 같은 인터넷-스케일 파이프라인 위에서 확장하기 쉽다. 다만 이 결과는 액션 게임·게임패드·즉각 반응(system-1) 설정 안에서의 이야기이며, 장기 계획·언어 지시·마우스 기반 게임으로의 확장은 아직 입증되지 않았다.

먼저 알아둘 말

용어쉬운 설명정확성 메모
behavior cloning사람이 한 행동을 그대로 따라 하도록 모델을 학습시키는 모방학습보상 신호 없이 (관측, 행동) 쌍의 지도학습. 강화학습과 달리 환경 상호작용 불필요
게임패드 입력 오버레이영상 화면에 어떤 버튼·스틱이 눌렸는지 그려 보여주는 위젯라벨의 출처. 게임·툴마다 모양이 달라 Template Matching이 필요
SigLIP2 ViT이미지를 의미 있는 숫자 벡터로 바꾸는 비전 트랜스포머 인코더NitroGen의 관측 인코더. 256×256 RGB → 256 토큰
Diffusion Transformer (DiT)노이즈에서 시작해 점차 다듬어 출력을 생성하는 트랜스포머행동 생성기. conditional flow-matching 학습, Euler k=16 추론
flow-matching노이즈→목표 분포로 가는 연속 변환을 학습하는 생성 기법확산모델 계열 학습법. 화면 조건부로 16-액션 청크 생성
액션 청크한 번에 여러 스텝의 행동을 묶어 예측하는 단위16스텝을 한꺼번에 출력해 시간적 일관성·추론 효율 확보
SegFormer이미지를 픽셀 영역별로 분류하는 분할 신경망11×11 조이스틱 위치와 이진 버튼을 읽음. 8M 합성 프레임 학습
Universal Simulator상용 게임을 코드 수정 없이 표준 RL 인터페이스로 감싸는 평가 환경Gymnasium 래퍼. 16 이진+4 연속 액션, 10게임 30태스크 인간평가
leave-one-game-out한 게임을 빼고 학습 후 그 게임으로 옮겨 일반화를 보는 전이 평가Fig7의 +10%(roguelike)/+25%(action-RPG)가 이 설정
system-1 / system-2즉각 반응(1)과 숙고·계획(2)을 나누는 비유NitroGen은 system-1형. 장기 계획·언어 지시(system-2)는 불가

섹션별 요약

Abstract

게임 플레이어는 수십만 시간 분량의 게임플레이 영상을 인터넷에 공개해 왔으나, 이를 에이전트 학습에 활용하려면 행동 레이블이 없어 자동 데이터 수집이 불가능하다는 근본적 한계가 있었다. 본 연구는 게임패드 입력 오버레이(gamepad input overlay)가 표시된 공개 게임플레이 영상에서 플레이어 행동을 자동으로 추출해, 1,000개 이상의 게임에 걸쳐 40,000시간 분량의 vision-action(시각-행동 쌍) 데이터셋을 구축했다. 이를 기반으로 대규모 behavior cloning(행동 모방 학습)을 수행해 500M 파라미터 규모의 비전-액션 기반 모델 NitroGen을 학습했으며, 다양한 게임 도메인에 걸친 범용 역량을 측정하기 위한 멀티게임 벤치마크를 함께 제안한다. NitroGen은 학습에 포함되지 않은 미학습 게임으로 전이(transfer)할 때 처음부터 학습한(from-scratch) 모델 대비 최대 52%의 상대적 과제 성공률 향상을 달성했으며, 데이터셋·평가 스위트·모델 가중치를 모두 공개한다.

저자 contribution

  • 게임패드 입력 오버레이가 포함된 공개 게임플레이 영상에서 플레이어 행동을 자동 추출하는 파이프라인을 구축하고, 1,000개 이상의 게임·40,000시간 규모의 vision-action 데이터셋을 제공한다.
  • 크로스게임 일반화(cross-game generalization)를 측정하는 멀티게임 벤치마크 평가 스위트를 설계하고 공개한다.
  • 대규모 behavior cloning으로 500M 파라미터 비전-액션 기반 모델 NitroGen을 학습하며, 미학습 게임 전이 시 from-scratch 모델 대비 최대 52% 상대적 성공률 향상을 달성한다.

왜 이 연구를 하는가?

핵심 질문: 인터넷에 이미 존재하는 수만 시간의 게임플레이 영상으로부터, 사람의 수작업 라벨링 없이 범용 게임 에이전트를 학습시킬 수 있는가?

기존 접근법의 한계

한계설명
수작업 행동 라벨링 비용체화 AI(embodied AI — 로봇·게임 에이전트처럼 환경과 직접 상호작용하는 AI)는 행동 데이터를 얻으려면 사람이 직접 조작하고 각 행동에 레이블을 붙여야 한다. 규모가 커질수록 비용·시간이 선형 이상으로 늘어 인터넷 스케일 데이터셋 구축이 사실상 불가능하다.
전용 시뮬레이터 종속기존 강화학습 기반 게임 에이전트는 도메인별 전용 시뮬레이터를 별도 구축해야 하므로, 학습된 에이전트는 해당 환경 밖으로 일반화되지 못하고 단일 도메인 특화 모델에 머문다.

핵심 통찰

  • 언어 모델이 인터넷 규모 텍스트를 학습해 광범위한 언어 과제에 일반화했듯, 게임 에이전트도 인터넷에 이미 존재하는 수만 시간 분량의 게임플레이 영상을 활용하면 수작업 없이 범용 일반화가 가능하다.
  • 게임패드 오버레이가 포함된 영상에서 행동 레이블을 자동 추출하면 라벨링 비용 문제를 우회할 수 있다.

Introduction

체화 AI 분야에서 범용 에이전트 개발의 핵심 병목은 행동 데이터 수집 비용이다. 로봇이나 게임 에이전트가 필요로 하는 행동 시퀀스 데이터를 얻으려면, 기존에는 (i) 사람이 직접 조작하고 각 행동을 수작업으로 라벨링하거나 (ii) 특정 게임·환경에 맞는 전용 시뮬레이터를 별도로 구축해야 했다. 두 방법 모두 도메인 하나에 한정된 대규모 투자를 요구하며, 그 결과물인 에이전트는 해당 도메인 밖으로 일반화되지 못한다. 이 연구는 언어 모델이 인터넷 스케일 텍스트 데이터로 다양한 언어 과제에 걸쳐 일반화한 성공 사례에서 영감을 얻는다. 동일한 원리를 게임 에이전트에 적용할 수 있다면, 인터넷에 이미 대량으로 존재하는 게임플레이 영상을 활용해 수작업 비용 없이 인터넷 규모의 행동 데이터셋을 구성할 수 있다. 이를 실현하기 위해 본 논문은 NitroGen을 제시한다. NitroGen은 1,000개 이상의 게임에 걸친 40,000시간 분량의 게임플레이 영상으로 학습된 파운데이션 모델(foundation model — 대규모 데이터로 사전학습된 후 다양한 하위 과제에 전이 가능한 범용 기반 모델)이다. 게임패드 오버레이 영상에서 행동을 자동 추출함으로써 라벨링 비용 문제를 우회하고 인터넷 스케일 데이터 수집을 실현한다. 미학습 게임으로의 전이 시 from-scratch 학습 대비 52% relative improvement를 달성함으로써 인터넷 영상 기반의 범용 게임 에이전트 학습 가능성을 실증한다.

Methods

프레임워크 개요 — 방법론은 세 단계로 구성된다: (1) 게임패드 오버레이 영상에서 행동을 자동 추출하는 데이터 파이프라인, (2) 코드 수정 없이 상용 게임을 제어하는 범용 시뮬레이터 기반 벤치마크, (3) SigLIP 2 비전 인코더와 Diffusion Transformer를 결합해 16-액션 청크를 flow-matching으로 학습하는 500M 파라미터 모델.

2.1 데이터 파이프라인 (자동 행동 추출)

  • Template Matching: 약 300종의 컨트롤러 템플릿에 대해 SIFT + XFeat 특징 매칭을 수행하며, ≥20 inliers(내점)인 경우에만 오버레이로 인정한다.
  • Gamepad Action Parsing: SegFormer 모델이 연속 프레임 쌍을 입력받아 11×11 그리드 기반 조이스틱 위치(연속값)와 이진 버튼 상태를 예측한다. 8M 합성 라벨 프레임으로 학습되어 수작업 라벨링을 완전 대체한다. 추출 정확도: 조이스틱 R²=0.84, 버튼 프레임 정확도 0.96.
  • Quality Filtering: non-zero action이 청크의 50% 이상인 구간만 유지하여 null-action 편향을 방지한다. 필터 후 전체의 55%가 잔존하며, 71,000h raw에서 40,000h 유효 데이터를 확보한다. 최종 규모: 1,000+ 게임, 38,739 영상, 818 크리에이터.

2.2 평가 — Universal Simulator

  • Gymnasium API 래퍼: 시스템 클럭을 가로채 프레임 단위로 게임을 제어하는 래퍼로, 상용 게임 소스코드 수정 없이 표준 RL API와 호환된다.
  • 벤치마크 구성: 10개 게임(2D 5 + 3D 5), 30개 태스크(전투 11 / 내비게이션 10 / 게임 특화 9). 게임 유형: 사이드스크롤러 3, 탑다운 로그라이크(절차생성) 2, 오픈월드 2, action-RPG 2, 스포츠 1. 성공 기준은 인간 평가자 판정.
  • 통합 액션 공간: 16차원 이진 벡터(버튼) + 4차원 연속값(조이스틱) + 단일 RGB 256×256 관측 이미지.

2.3 모델 — SigLIP 2 + Diffusion Transformer

  • SigLIP 2 ViT (비전 인코더): 256×256 RGB 단일 프레임을 256개 이미지 토큰으로 변환. 다중 프레임 입력에서 추가 이득이 없어 단일 컨텍스트 프레임 채택.
  • Diffusion Transformer (DiT): self-attention과 cross-attention을 교대 적용. forward pass당 16-액션 청크를 생성하고 MLP로 시간축 디코딩. 총 500M 파라미터.
  • 학습 설정: conditional flow-matching loss를 16-액션 청크 단위로 최적화. AdamW(wd=0.001), LR=0.0001(warmup-stable-decay), EMA decay=0.9999. Augmentation: 밝기/대비/채도/색조, 회전 ±5°, 랜덤 크롭.
  • 추론: Euler sampler, k=16 denoising step; 16스텝 초과 시 추가 이득 없음.

기존 방법과의 차별점 — 수작업 라벨링 없이 오버레이 영상에서 행동을 자동 추출해 확장성을 크게 높이고, Universal Simulator는 코드 수정 없이 상용 타이틀로 평가 범위를 확장하며, flow-matching DiT는 이진·연속 혼합 액션 공간을 단일 생성 모델로 처리한다.

발견 (Findings)

  • 발견 1 — 제로샷 범게임 적응성: NitroGen 500M이 미세조정 없이 3D, 2D 탑다운, 2D 사이드스크롤 등 다양한 시각 표현과 장르(platformer, action-RPG, roguelike)에서 노이즈 인터넷 데이터만으로도 비자명한(non-trivial, 무작위 추측 이상의) 성공률을 달성함 (Fig. 6).
  • 발견 2 — 전이학습의 게임유형별 효과: leave-one-game-out 설정에서 from-scratch 대비 isometric roguelike +10%, 3D action-RPG +25% 평균 상대 향상 (Fig. 7). 3D action-RPG 향상폭이 더 큰 이유는 사전학습 데이터에 해당 장르가 더 잘 대표되었기 때문으로 저자는 해석함.
  • 발견 3 — 태스크 범주별 전이 격차 (3D action-RPG, 30h): combat +52%로 최대, navigation +25%, game-specific +5% 순으로 감소. game-specific의 미미한 효과는 해당 태스크가 사전학습 데이터에 충분히 표현되지 않았을 가능성을 시사함.

Results

3.1 사전학습 — 제로샷 평가 (Fig. 6):

NitroGen(500M)을 미세조정 없이 평가한 결과, 3D·2D 탑다운·2D 사이드스크롤 및 platformer/action-RPG/roguelike 다종 장르에서 비자명한 성공률이 관측되었다. 노이즈 인터넷 데이터만으로 단일 모델이 다종 게임 환경에 범용 적용 가능함을 보여준다.

3.2 전이학습 — Leave-One-Game-Out (Fig. 7):

한 게임을 제외한 전체로 사전학습 후 제한 데이터로 미세조정 vs 동일 아키텍처 from-scratch 학습 비교. 게임유형별 평균 상대 향상 — Isometric roguelike +10%, 3D action-RPG +25%. 태스크 범주별(3D action-RPG, 30h) — Combat +52%(최대), Navigation +25%, Game-specific +5%(최소). 저자는 3D action-RPG의 큰 향상폭을 사전학습 데이터 내 해당 장르 대표성으로 설명한다.

Ablation / 제한된 케이스: game-specific 태스크의 +5% 정체와 isometric roguelike의 +10%(3D action-RPG 대비 절반 이하)는 모두 전이 효과가 사전학습 데이터 분포 대표성에 크게 의존함을 시사하는 부정적 신호다.

Discussion

NitroGen은 인터넷 규모의 게임플레이 데이터로 사전학습한 behavior cloning 모델이 수백 개 게임에 걸친 범용 정책(general-purpose policy)을 형성할 수 있음을 보였다. 이는 기존 RL 기반 접근법(DQN, AlphaStar, OpenAI Five)이 단일 게임·고비용 환경 설계에 의존하던 패러다임과 대비된다. VPT(70,000시간, Minecraft 한정), Game-TARS(20,000시간, 컨트랙터 데이터) 등이 특정 환경이나 값비싼 수집을 전제했던 것과 달리, NitroGen은 인터넷에서 무비용에 가깝게 확보한 데이터를 수백 게임으로 확장한다는 점에서 스케일 효율성을 확인시켜 준다. LLM 기반 에이전트(Voyager, Cradle)가 고수준 언어 계획에 집중하는 것과 달리 NitroGen은 픽셀 수준 즉각 반응을 담당하는 system-1 지각 모델로 포지셔닝되며, 두 계층이 상호보완적 분업을 형성할 가능성을 시사한다. 저자들은 NitroGen이 범용 체화 에이전트를 위한 기반 자원이며, 인터넷 사전학습이 새 환경 학습 진입 장벽을 낮춘다고 주장한다.

저자가 인정한 한계

  • System-1 반응 모델로의 국한: 장기 호라이즌 계획·언어 지시 추종·짧은 컨텍스트 범위 초과 처리가 불가능하다. 즉각적 픽셀 반응 특화 설계가 동시에 고수준 인지 기능 부재를 낳는다.
  • 데이터 편향: 액션 게임·게임패드 조작 게임 위주라 키보드 전용·복잡 입력 게임이 과소대표되고, 전략/시뮬레이션 장르 일반화가 제한된다.

독자 식별 추가 한계

  • 인터넷 원본 영상의 플레이어 숙련도 분포 불균형과 저품질 플레이가 정책에 미치는 영향이 정량 보고되지 않았다.
  • 동시기 Game-TARS와의 직접 대조 실험이 부재해 인터넷 스케일 vs 컨트랙터 수집의 우열을 독립 검증하기 어렵다.

향후 방향

  • System-2 계획 모듈(LLM 계획 레이어)과의 계층적 결합으로 언어 지시·장기 계획 한계 해소.
  • 전략·시뮬레이션·키보드 전용 게임 데이터 증강 + 플레이어 숙련도 필터링으로 장르 일반화 확장.
  • Open X-Embodiment 등 로봇 데이터와 비교·결합해 게임 외 체화 환경 전이 검증.

이론적 의의

  • 인터넷 규모 behavior cloning의 확장 가능성 실증: 전문 컨트랙터·시뮬레이터 없이 인터넷 영상만으로 수백 게임 범용 정책 학습이 가능함을 보여, 체화 AI 사전학습의 데이터 전략(고품질 레이블·단일 환경 최적화 가정)을 재검토하게 한다.
  • System-1/System-2 분업 프레임워크 구체화: NitroGen을 픽셀 반응형 system-1로 명시적으로 포지셔닝해, 고수준 언어 계획(system-2)과의 계층적 결합을 구체적 연구 프로그램으로 설정한다.
  • 범용 체화 에이전트를 위한 기반 자원 개념 도입: 게임 플레이를 언어모델 텍스트 사전학습에 대응하는 행동 사전학습으로 재정의하고, 새 환경 적응 비용을 낮추는 기반 자원으로서 게임플레이 데이터의 위상을 정립한다.

Discussion Points

  • 논쟁점: 인터넷 영상의 숙련도 불균형·저품질 데이터 혼입이 범용 정책의 상한을 실질적으로 제약하는지 미검증. behavior cloning만으로 RL 파인튜닝 없이 경쟁력 있는 플레이에 도달 가능한지 논쟁 여지.
  • 검증 필요 가정: “인터넷 사전학습이 새 환경 학습 장벽을 낮춘다”는 주장이 계획 능력이 요구되는 전략/시뮬레이션 장르에서도 성립하는지 직접 실험 부재. Game-TARS 대비 정책 품질 우열 대조 필요.
  • 후속 연구: (1) system-1 NitroGen + LLM 계획 모듈 하이브리드 에이전트 구현·평가. (2) 게임플레이 행동 사전학습의 로보틱스·비게임 체화 환경 전이 범위·조건 탐색.

실험 결과 상세

Model/MethodDatasetMetricScorevs. Baseline
NitroGen (사전학습, 제로샷)10게임 벤치마크 (2D 5 / 3D 5)다게임 비자명 성공률Fig6 보고 (절댓값 미공개)기준선 (from-scratch)
NitroGen → isometric roguelike (전이)leave-one-game-out평균 rel. 향상률+10% avg rel.vs. from-scratch
NitroGen → 3D action-RPG (전이, 30h)leave-one-game-out평균 rel. 향상률+25% avg rel.vs. from-scratch
NitroGen → 3D action-RPG / combatleave-one-game-out전투 태스크 rel. 향상률+52% rel.vs. from-scratch (최대치)
NitroGen → 3D action-RPG / navigationleave-one-game-out내비 태스크 rel. 향상률+25% rel.vs. from-scratch
NitroGen → 3D action-RPG / game-specificleave-one-game-out게임특화 태스크 rel. 향상률+5% rel.vs. from-scratch
SegFormer 행동 추출 — 조이스틱합성 프레임 8MR²0.84추출기 자체 정확도
SegFormer 행동 추출 — 이진 버튼합성 프레임 8M정확도0.96추출기 자체 정확도
NitroGen 데이터셋유튜브 원시 수집영상 수 (필터 후)38,739 영상71k raw → 55% 잔존
NitroGen 데이터셋유튜브 원시 수집플레이 시간40,000 h1,000+ 게임 / 818 크리에이터

프레임워크 다이어그램

graph TB
    A["게임플레이 영상 수집\n40,000h / 71k raw"]
    B["Template Matching\n~300 템플릿\nSIFT+XFeat ≥20 inliers"]
    C["SegFormer 행동 추출\n11×11 조이스틱 그리드\n+ 이진 버튼\n8M 합성 프레임"]
    D["Quality Filter\nnon-zero ≥ 50%\n→ 55% 잔존"]
    E["NitroGen 데이터셋\n38,739 영상 / 1,000+ 게임\n818 크리에이터"]
    F["SigLIP 2 ViT\n256×256 → 256 토큰"]
    G["Diffusion Transformer\nDiT self/cross-attn 교대\n16-액션 청크\nconditional flow-matching"]
    H["사전학습 에이전트\n500M params / EMA 0.9999"]
    I["Universal Simulator 평가\n10게임 / 30태스크\n인간 평가 기준"]
    J["전이학습\nleave-one-game-out\n최대 +52% rel. 향상"]

    A --> B --> C --> D --> E --> F --> G --> H
    H --> I
    H --> J

재현성 및 신뢰도 평가

항목등급비고
코드 공개✅nitrogen.minedojo.org — 학습 코드 공개 명시
데이터 공개✅데이터셋 공개 명시; 38,739 영상 / 40,000h
하이퍼파라미터✅AdamW wd=0.001, LR=0.0001, EMA=0.9999, Euler k=16, 16-액션 청크 등 명시
실험 환경⚠️GPU 종류·수·학습 시간 미명시; 시뮬레이터 버전 불명확
통계적 신뢰도⚠️relative improvement 제공되나 표준편차·신뢰구간 미보고; 인간평가 rater 수·합의율 미공개
종합 등급B코드·데이터·핵심 하이퍼파라미터는 충분히 공개; 환경 세부·통계 불확실성 부재가 감점

주장별 신뢰도

  • 🟡 사전학습 전이 시 최대 52% relative improvement (Fig7) — 태스크별 분산·신뢰구간 미보고, 단일 게임 조건 일반화 불명확.
  • 🟡 SegFormer 행동 추출 정확도(조이스틱 R²=0.84, 버튼 0.96) — 합성→실제 도메인 갭 검증 부재, 테스트셋 규모·구성 미공개.
  • 🟢 동기식 추론 타당성(부록B) — pause-resume 유무 인간 리플레이가 ~1분(연속)/~3분(이산) 후 동일 발산, 통제된 물리 실험으로 직접 검증.
  • 🟢 1,000+ 게임 대규모 멀티게임 코퍼스 — 수집·필터링 파이프라인이 정량 기술, 데이터 공개로 독립 검증 가능.
  • 🟡 game-specific 태스크 전이 이득 미미(+5%) — 샘플 수·반복 실험 여부 미명시.

관련 연구 비교 매트릭스

선정 근거: 5편 모두 “인터넷/시연 비디오 → 게임 에이전트 사전학습” 공통 축. VPT·MineRL은 직접 방법론 전신(base), SIMA·GATO는 대안 패러다임(alternative), Game-TARS는 동시기 SOTA(concurrent).

축NitroGen (2026)VPT (2022, base)MineRL (2019, base)SIMA (2024, alt)Game-TARS (2026, concurrent)GATO (2022, alt)
핵심 접근게임패드 오버레이를 SigLIP2/SegFormer로 자동 파싱 → DiT behavior cloning소량 컨트랙터 라벨로 IDM 학습 → 비라벨 영상 행동 역추론 후 BC+RL사람 시연 수동 수집·라벨링 → 대회용 데이터셋컨트랙터가 언어지시 수행 시연 직접 수집 → BC컨트랙터 데이터 기반 멀티모달 추론 통합 BC전문가 시연 혼합 → 단일 generalist 트랜스포머
데이터 규모·출처40,000h / 1,000+게임, 인터넷 공개 영상(자동)70,000h Minecraft + 소량 컨트랙터수백~수천 h Minecraft 수동미공개, 컨트랙터 직접(다수 3D 게임)20,000h 컨트랙터 직접미공개, 도메인별 전문가 혼합
도메인 범위1,000+ 게임(장르 무관)Minecraft 단일Minecraft 단일수십 개 3D 게임멀티게임(수 미공개)수십 게임 + 로보틱스 + 비전
행동공간·라벨링오버레이 자동 파싱 → 컨트랙터 비용 0IDM 추론 → 소량 라벨러 필요수동 라벨링 → 고비용컨트랙터 녹화 → 고비용, 언어지시 병기컨트랙터 → 고비용, 방식 미공개전문가 시연 → 통일 토큰화
일반화 방식제로샷 멀티게임 + few-shot 전이(500M)Minecraft 내 전이(RL), 타도메인 미검증벤치마크 내 평가언어조건부 제로샷(훈련게임 내)멀티게임 멀티모달(미공개)프롬프트 조건부 태스크 전환
코드·데이터 공개✅ 코드+데이터+가중치 전체✅ 코드+모델(데이터 일부)✅ 데이터셋+코드❌ 비공개부분❌ 비공개
핵심 한계게임패드 미지원(키보드 전용) 제외, 오버레이 없는 영상 처리 불가Minecraft 단일도메인, IDM 라벨 노이즈소규모·단일게임데이터·모델 비공개, 컨트랙터 확장 한계컨트랙터 의존 확장성, 재현성비공개, 행동공간 이질성 처리 미흡

원자적 인사이트 (Zettelkasten)

💡 화면 위 입력 오버레이는 공짜 행동 라벨의 광맥이다

유형: 방법론적 — 게임 행동 데이터를 사람이 일일이 라벨링하거나 전용 시뮬레이터로 수집하는 대신, 이미 공개된 게임플레이 영상 중 게임패드 입력 오버레이를 띄운 것들을 골라 픽셀에서 행동을 역추출하면 라벨 비용 없이 인터넷-스케일로 데이터를 모을 수 있다. NitroGen은 이렇게 1,000+게임·40,000시간·818크리에이터를 모았다. 핵심은 “라벨이 이미 화면에 그려져 있다”는 재발견으로, 데이터 병목을 수집 문제에서 추출·필터링 문제로 옮긴다.

  • 조건/맥락: 오버레이를 띄운 영상이 충분한 장르(액션·게임패드)에서 성립. 추출 정확도 조이스틱 R²=0.84, 버튼 0.96.
  • 연결: VPT(전문가 영상으로 행동 라벨러 학습 후 미라벨 영상 라벨링), behavior cloning.
  • 활용: 로보틱스·UI 자동화 등 “조작 흔적이 화면/로그에 남는” 도메인에서 미라벨 데모를 라벨 데이터로 재활용.

💡 게임 간 공유 스킬은 빠르게 전이되지만, 게임 고유 스킬은 그렇지 않다

유형: 실험적 — leave-one-game-out 전이에서 본 적 없는 3D action-RPG에 30시간만 추가 학습했을 때, 게임 간 공통 스킬인 전투(+52%)·내비게이션(+25%)은 크게 오른 반면 게임 고유 동작은 +5%에 그쳤다. 인터넷-스케일 모방학습이 게임 사이에 전이되는 일반화 가능한 행동 표현(이동·조준·교전)을 우선 획득하며, 각 게임만의 규칙·메커니즘은 별도 학습이 필요함을 보여준다.

  • 조건/맥락: Universal Simulator 30태스크 인간평가, system-1 반응형 정책. 게임 고유 스킬 전이가 낮은 이유는 미해명.
  • 연결: foundation model(공통 표현 사전학습 후 소량 적응), SIMA.
  • 활용: “공통 스킬 사전학습 + 게임별 소량 파인튜닝” 식 적응 비용 설계 지침.

💡 상용 게임을 코드 수정 없이 표준 RL 환경으로 감싸면 평가가 데이터와 같은 스케일을 가진다

유형: 방법론적 — 데이터는 1,000+게임으로 넓은데 평가가 소수 게임에 갇히면 일반화를 제대로 잴 수 없다. Universal Simulator는 상용 게임을 코드 수정 없이 Gymnasium 인터페이스(16 이진+4 연속 액션, 256×256 RGB)로 감싸 10게임 30태스크를 인간평가로 측정함으로써, 넓은 학습 분포에 맞는 넓은 평가 분포를 확보한다. 평가 인프라 자체가 범용 에이전트 연구의 병목이 될 수 있음을 드러낸다.

핵심 용어 정리

용어정의
NitroGen이 논문이 제안한 500M 파라미터 범용 게이밍 에이전트. SigLIP2 ViT로 화면을 인코딩하고 DiT가 conditional flow-matching으로 16-액션 청크를 생성하는 behavior cloning 정책
behavior cloning(행동 복제)전문가의 (관측, 행동) 쌍을 지도학습으로 모방하는 학습 방식. 보상 없이 시연만으로 정책을 얻는다
게임패드 입력 오버레이게임플레이 영상 화면에 눌린 버튼·스틱 방향을 그림으로 표시하는 위젯. 행동 라벨의 출처
Template MatchingSIFT/XFeat 특징점 매칭으로 화면에서 입력 오버레이 위치를 찾는 추출 1단계
SegFormer이미지를 픽셀 영역별로 분류하는 분할 신경망. 오버레이를 11×11 조이스틱 격자와 이진 버튼으로 읽음(8M 합성 프레임 학습)
Quality Filter움직임 거의 없는 무의미 구간을 거르는 추출 3단계. non-zero ≥50% 기준, 약 55% 잔존
conditional flow-matching노이즈→목표 분포 연속 변환을 조건부로 학습하는 확산모델 계열 생성 기법. NitroGen 행동 생성 학습법
Diffusion Transformer(DiT)노이즈를 점진적으로 다듬어 출력을 생성하는 트랜스포머. 16-액션 청크를 Euler k=16 스텝 추론
액션 청크(action chunk)한 번에 여러 스텝(16)의 행동을 묶어 예측하는 단위. 시간적 일관성·추론 효율 향상
Universal Simulator상용 게임을 코드 수정 없이 Gymnasium 인터페이스로 감싸 평가하는 환경. 10게임 30태스크 인간평가
leave-one-game-out한 게임을 학습에서 빼고 그 게임으로 옮겨 제로샷 일반화를 측정하는 전이 평가 프로토콜
system-1 / system-2즉각 반응형 처리(1)와 숙고·계획형 처리(2) 구분. NitroGen은 system-1형이라 장기 계획·언어 지시 불가

관련 연구

태그

paper embodied-agents behavior-cloning gaming-agent generalist-agent internet-scale-data diffusion-transformer

BibTeX

@article{magne2026nitrogen,
  title={{NitroGen}: An Open Foundation Model for Generalist Gaming Agents},
  author={Magne, Lo{\"i}c and Awadalla, Anas and Wang, Guanzhi and Xu, Yinzhen and Belofsky, Joshua and Hu, Fengyuan and Kim, Joohwan and Schmidt, Ludwig and Gkioxari, Georgia and Kautz, Jan and Yue, Yisong and Choi, Yejin and Zhu, Yuke and Fan, Linxi},
  journal={arXiv preprint arXiv:2601.02427},
  year={2026},
  url={https://arxiv.org/abs/2601.02427},
  eprint={2601.02427},
  archivePrefix={arXiv}
}