AI와 함께 놀기: 최신 LLM은 1977년 텍스트 어드벤처 게임 Zork에서 어떻게 수행하는가?

Digest: Context — 텍스트 어드벤처 게임은 시각 정보 없이 자연어 명령만으로 세계를 탐험·조작하는 장르(interactive fiction)인데, 1977년작 Zork I은 일관된 공간 모델 유지·다단계 계획·시행착오 학습을 요구해 LLM의 추론을 시험하는 까다로운 무대가 된다. Insight — 저자는 “더 큰 모델이 더 잘하겠지”라는 통념을 의심하고, 문제의 본질이 양적 능력 부족이 아니라 메타인지(metacognition, 자신의 사고·행동을 점검·교정하는 능력) 의 질적 결핍일 수 있다고 본다 — 언어 유창성이 곧 인과적 이해는 아니라는 ‘패턴매칭 vs 진정한 이해’ 구별 가능성이다. Solution — 그래서 최신 LLM 6종(Claude Opus 4.5·Sonnet 4.5·Opus 4.5 w/thinking, ChatGPT 5.2 standard·extended, Gemini 3)을 해법 미제공(zero-shot) 상태로 Zork I에 투입하고, 각 모델을 basic(최소 지침)·advanced(매뉴얼 기반 상세 지침) 두 프롬프트로 5회씩(6×2×5=40 runs, 최대 500 moves) 돌려 정량(점수·이동수)과 정성(행동 로그)을 함께 분석한다. Evidence — 모든 모델이 350점 만점 중 약 75점 미만(최대 ~20% 진척, 평균 완료율 10% 미만)에 그쳤고(Fig 1), 상세 지침이나 확장 사고(extended thinking)를 줘도 점수는 거의 오르지 않았다 — 특히 이미 비운 우편함을 반복해 열고 닫거나(메타인지 실패), 잠긴 trap door를 잊고 GO DOWN을 재입력해 Cellar에 갇히는(Example 3) 등 자기 행동 추적 실패가 반복됐다. Implication — 이는 Mitchell의 ‘첫걸음 오류(first-step fallacy, 쉬운 첫 진전을 전체 능력으로 착각)‘를 재확인하며, Rota의 ‘의미의 장벽’·Bender&Koller의 grounding 비판과 맞닿는 메타인지 한계를 실증한다. 다만 5회 반복(통계력 부족)·인간 베이스라인 부재·단일 게임·코드 미공개(Reproducibility D) 등 한계가 있어 단정이 아닌 문제 제기형(positioning paper)으로 읽어야 한다. (출처: https://arxiv.org/abs/2602.15867, Berry Gerrits, Univ. of Twente, 2026)

섹션별 요약

Abstract

LLM의 문제 해결 및 추론 역량을 평가하기 위해, 본 positioning paper는 1977년 출시된 텍스트 어드벤처 게임 Zork를 통제된 벤치마크 환경으로 활용한다. 저자는 ChatGPT·Claude·Gemini 계열의 대표적 독점 모델들을 최소 지침과 상세 지침 양쪽에서 테스트하고, 게임 내 획득 점수를 주요 지표로 삼았다. 실험 결과 모든 모델이 평균 완료율 10% 미만을 기록했으며, 최고 성능 모델 Claude Opus 4.5조차 350점 만점에 약 75점에 그쳤다. 특히 상세 게임 지침과 “extended thinking” 활성화 모두 성능 향상에 기여하지 못했고, 추론 과정 정성 분석에서 자기 사고 반성 불능·전략의 비일관적 지속·이전 시도로부터의 학습 실패라는 근본적 메타인지 한계가 드러났다. 이는 현 LLM의 메타인지·적응적 문제 해결 능력에 심각한 한계가 있음을 시사하며, 추론 능력의 본질과 범위에 관한 근본적 질문을 제기한다.

저자 contribution

1977년 텍스트 어드벤처 게임 Zork로 최신 LLM 6종의 문제 해결·추론 능력을 체계적으로 실증하고, 모든 모델이 10% 미만 완료율(최고 Claude Opus 4.5 기준 75/350점)에 그침을 정량 보고한다.
상세 지침 제공 및 extended thinking 활성화가 성능 개선에 무효함을 확인하고, 반복 실패·전략 비일관성·학습 부재로 나타나는 메타인지 결함을 정성적으로 식별한다.
현 LLM의 추론이 진정한 이해가 아닌 패턴 매칭에 머무를 수 있다는 문제를 제기하고, 후속 연구를 위한 질문 의제를 설정한다.

왜 이 연구를 하는가?

핵심 질문: 현재 최신 LLM들은 Zork가 요구하는 유연하고 목표 지향적인 문제 해결 능력을 보여줄 수 있는가, 아니면 그 성능이 진정한 이해 없이 단순 패턴을 학습한 시스템의 한계를 드러내는가?

기존 접근의 한계	설명
실행 가능한 계획 수립·자기비판 불가	Kambhampati et al.[15]는 CoT 프롬프팅을 써도 LLM이 실행 가능한 계획을 생성하지 못하고 자기비판을 보이지 않는다고 주장한다.
메타인지 능력의 부재	Mitchell[23,24]은 현 AI가 “막혀 있음”을 인식하고 전략을 바꾸는 자기모니터링이 결여돼 있다고 지적하며, 이는 Zork 같은 개방형 문제 해결에서 두드러진다.
언어 패턴만으로 의미(grounding) 획득 불가	Bender & Koller[3]는 실세계 grounding 없이 언어 패턴만으로는 진정한 의미를 습득할 수 없다고 보며, Marcus & Davis[20]도 딥러닝이 견고·조합적 이해를 결여한다고 본다.
텍스트 게임의 장기 계획·공간 추론 한계	최신 LLM이 일부 텍스트 게임은 잘해도 장기 계획·공간 추론이 필요한 게임엔 약하다는 선행 결과[35]가 Zork의 요구 역량과 정확히 일치한다.

핵심 통찰

AGI를 향한 듯 보이는 진보는 Dreyfus의 “first-step fallacy”를 반영할 수 있다 — 체스·수학 같은 협소한 성과가 범용 지능으로의 연속 진보를 뜻하지 않는다.
NTP(Next Token Prediction)로 구동되는 LLM은 통계 패턴으로 유창한 텍스트를 생성하나 Rota의 “의미의 장벽”을 넘지 못한다. Zork는 이 간극을 탐침하는 통제 환경이다.
인간은 수백만 에피소드 없이 새 게임을 집어 든다. RL과 달리 zero-shot으로 LLM을 평가함으로써 진정한 이해와 단순 패턴 매칭을 구별한다.

Introduction

최근 LLM은 코드·아이디어 생성, 공학 문제 지원 등에서 인상적 성능을 보이며 AGI 임박을 낙관하는 예측이 재부상했다[5]. 그러나 Mitchell[24]이 관찰하듯 AI 분야는 “AI 봄”과 “AI 겨울” 사이를 반복 순환했고 Simon·Minsky 등의 예측도 실현되지 않았다. 저자는 이 순환의 핵심 원인으로 메타인지(metacognition) 의 부재를 지목한다 — 인간은 비효과적 전략을 인식하면 행동을 바꾸지만 현 AI는 이 능력이 결여돼 있다. 이는 Rota[33]의 AI “의미의 장벽”과 연결되며, NTP 기반 학습은 통계 패턴에 의존해 개념의 진정한 이해를 담보하지 못한다[3].

이를 탐침하기 위해 저자는 Zork(1977 MIT 개발, 1980 Infocom 상용화[13])를 테스트베드로 택한다. Zork는 자연어 설명만으로 공간 환경의 정신적 모형을 구성·갱신하고, 희소한 텍스트 피드백으로 학습하며, 아이템 상호작용의 인과를 추론하고, 장기에 걸쳐 일관 전략을 유지해야 한다(Montfort[25]). RL 에이전트를 수백만 에피소드로 훈련시키는 기존 접근(TextWorld[7])과 달리 본 연구는 LLM을 zero-shot 으로 평가해 인간이 사전 훈련 없이 새 게임을 시작하는 방식을 반영한다. 핵심 질문: 현 LLM은 Zork가 요구하는 유연·목표 지향적 문제 해결을 보이는가, 아니면 “shortcuts rather than true conceptual understanding”을 학습한 시스템의 한계를 드러내는가?

Methods

본 연구는 Zork I: The Great Underground Empire(1977 개발, 1980 Infocom 출시)를 플랫폼으로 6개 최신 LLM 챗봇을 zero-shot 평가하는 실험 파이프라인이다.

게임 환경(Zork I): 브라우저 기반 구현[14] 사용. 후속작 Zork II·III보다 난이도가 낮아 출발점으로 적합.
LLM-게임 연결 스크립트(커스텀 Python): 매 이동 후 게임 텍스트 출력을 포착해 LLM에 전달하고, LLM이 반환한 명령어를 게임에 입력하는 루프. LLM은 현재 run의 전체 대화 이력에 접근.
6개 LLM 챗봇(3 provider): Anthropic — Claude Opus 4.5, Claude Sonnet 4.5, Claude Opus 4.5 w/ extended thinking; OpenAI — ChatGPT 5.2(standard thinking), ChatGPT 5.2(extended thinking); Google — Gemini 3 w/ thinking.
프롬프트 2종: basic(최소 지침 — Zork 플레이 중임과 유효 명령어만 응답 지시, 메커니즘·목표·전략 미제공); advanced(원본 Zork I 매뉴얼 기반 상세 지침 — 이동·전투·NPC 소통 문법, 목표=Great Underground Empire 탐험·보물 수집·trophy case 보관). 두 프롬프트 모두 restart 금지, 막힌 상황 시 “I give up” 옵션 명시.

입력→출력 흐름: 게임 텍스트 출력 → Python 스크립트 포착·전달 → LLM이 유효 명령어 반환 → 스크립트가 게임에 입력하는 루프 반복. 종료 조건 3가지: “give up” 발행 / 플레이어 사망 / 최대 500 moves 도달.

차별점: 특정 게임에서 수백만 에피소드로 훈련하는 RL과 달리, Zork 별도 fine-tuning 없이 범용 LLM을 zero-shot 평가한다. 인간이 사전 훈련 없이 새 게임을 처음 접하는 방식을 모방하며, walkthrough도 프롬프트에 제공하지 않아 기억이 아닌 실제 문제 해결을 측정한다.

주요 설정: 최대 500 moves/run, 각 모델×프롬프트 5회(총 40 runs), run 간 정보 공유 없음(순차 실행·새 컨텍스트), 수집 지표 = number of moves · score(max 350, 후퇴 시 감점) · conversation log.

발견 (Findings)

전체 성능 상한: 모든 LLM이 350점 중 ~75점을 넘지 못함(Fig. 1) — 최대 ~20% 진척, 평균 ~10% 완료.
모델 서열: Claude Opus 4.5 > Gemini 3 ≈ ChatGPT 5.2. Claude 내에서 Opus 4.5 ≳ Sonnet 4.5(차이 미미).
basic vs advanced 무효과: 게임 역학·전략·목표를 상세히 준 advanced가 minimal한 basic 대비 점수를 높이지 못함 — 인간 플레이어에겐 매뉴얼이 유의미하다는 점과 대조.
thinking/extended thinking 무효과: 세 공급사 모두 thinking 활성화가 점수를 유의미하게 높이지 못함 — 현 thinking 메커니즘이 인간의 적응적·메타인지 과정을 포착하지 못할 가능성.
ChatGPT의 메타인지 부재: 점수 최저인데도 ‘I give up’을 거의 안 해 평균 이동 최다 — 진척 없이 동일 명령 장기 반복(이미 연 빈 mailbox 반복 개폐가 대표 사례). Claude만 탈출 불가 상황을 인식하고 ‘I give up’ 발령.
맥락 망각·lost-in-the-middle: 모든 LLM이 이전 실행 실패 전략을 반복 — 긴 대화 중간 정보를 못 쓰는 알려진 한계(Liu et al.[19])와 일치.
표면적 합리성과 실제 실패의 괴리: Claude는 미로 표시용으로 아이템을 drop했다가 후에 어둠에서 버린 lantern을 못 쓰고(Example 1), trap door가 닫히면 잠긴다는 경험에도 GO DOWN을 재실행해 Cellar에 갇힘(Example 3). 합리적으로 보이는 추론이 실제로는 “bag of tricks”(Rota의 “barrier of meaning”[33])일 가능성.

Results

Fig. 1은 8개 모델-프롬프트 조합(총 40 runs, 설정당 5회)의 평균 최종 점수(좌)와 평균 이동 횟수(우)를 표준 오차와 함께 제시한다.

점수 전반: 전 LLM ~75/350점 미만(최대 ~20% 진척, 평균 ~10% 완료).
모델 비교: Claude Opus 4.5가 Gemini 3·ChatGPT 5.2 상회. Opus 4.5 ≳ Sonnet 4.5(미미).
프롬프트 비교: advanced(상세)와 basic(최소)의 유의미한 점수 차 없음.
thinking 비교: Claude·Gemini·ChatGPT 모두 thinking/extended thinking이 평균 점수를 높이지 못함.
이동 횟수: ChatGPT 5.2가 점수 최저이면서 이동 최다 — 사망·give up 없이 진척 없는 동일 명령 장기 반복. Claude만 vicious circle 인식 후 give up.

정성적 메타인지 실패:

반복 행동 — ChatGPT가 이미 비운 mailbox를 여러 차례 재개폐(직전 결과 상태 추적 실패).
맥락 망각(“lost in the middle”) — 이전/동일 실행 초반 실패 전략을 반복(Liu et al.[19]).
전략 일관성 실패(Example 1, p.9) — 미로 표시용 drop 전략 후 어둠에서 버린 lantern을 사용 불가.
표면적 추론 한계(Example 2, p.9) — “load too heavy”에 leaflet drop(합리적이나 bag of tricks 의심).
게임 상태 기억 실패(Example 3, p.11) — trap door 잠김을 잊고 GO DOWN 재실행→Cellar 갇힘, 보물 없이 굴뚝 오름.

Discussion

정량적으로 모든 모델은 평균 ~10% 완료(Opus 4.5 ~20%)에 그쳤고, 세 공급사 모두 “thinking” 활성화가 진행률을 높이지 못했다 — 현 시스템이 “thinking”이라 부르는 과정이 인간 문제해결의 인지 과정을 충분히 포착하지 못함을 시사한다. 정성 분석에서 모든 모델이 제한된 메타인지를 드러냈다(실패 전략 반복, 세션 내·간 학습 부재, 표면적으로 합리적이나 실제와 모순되는 설명). 저자는 이를 “패턴 매칭 vs 진정한 이해의 근본적 구별”로 해석하고 Mitchell의 “first-step fallacy” 재확인 사례로 제시한다. 이 한계가 더 큰 모델·더 많은 데이터로 해소될 양적 문제가 아니라 정보 처리 방식의 질적 차이 일 가능성을 제기하되, 인간형 이해가 AGI의 필요조건인지·“alien intelligence”가 대안인지는 열린 질문으로 남긴다.

저자가 인정한 한계

설정당 5회 실행으로 통계적 검정력 부족 — 설정 간 차이 부재를 단정 불가.
인간 플레이어 베이스라인 부재 — ~10% 완료가 실패인지 합리적 난이도인지 맥락화 불가.
정성 분석이 예시 중심 — 전체 로그의 체계적 전수 분석 아님.
훈련 데이터 오염 완전 배제 불가(단 성능상 가능성 낮음).
성능 향상 가능한 대안 프롬프트 미탐색.

독자 식별 추가 한계: 단일 게임(Zork) 한정으로 일반화 불분명; 실행 간 분산 보고 제한으로 신뢰구간 산정 곤란.

🔍 비판적 검토: ‘메타인지 결핍’인가 ‘메모리 부재’인가?

리뷰어 쟁점(독자 제기): 논문은 “어떤 챗봇도 chat·conversation history에 접근할 수 있음에도 이전 run에서 학습하지 못한다”는 관찰을 메타인지(자기 사고 점검·교정)의 부재로 해석한다. 그러나 이는 메타인지의 문제가 아니라 잘 작동하는 메모리 메커니즘이 없어서일 수 있다. history가 컨텍스트에 존재하는 것과 그것을 효과적으로 인출·통합하는 것은 별개이며, 후자가 빠졌다면 이는 인지 아키텍처(메모리 모듈)의 공백이지 메타인지 능력 자체의 결핍이라 단정하기 어렵다. 외부 메모리(스크래치패드·RAG·요약 버퍼)를 붙이면 사라질 실패를, 모델의 본질적 추론 한계로 과대 귀인했을 위험이 있다.

논문 측 방어(본문 근거로 재구성) — 저자의 메타인지 해석을 옹호할 논거는 본문에 세 갈래로 존재한다:

런 내(within-run) 즉시-맥락 반복: ChatGPT가 방금 연 빈 mailbox를 같은 대화 안에서 반복 개폐하는 실패(§Findings)는 관련 정보가 최근 컨텍스트에 바로 있는 상황이다. 순수한 장기-맥락 인출 실패(lost-in-the-middle)만으로는 이 근접-맥락 반복을 설명하기 어렵다 — 즉 메모리 한계만으로 환원되지 않는다.
설명-행동 모순: Claude는 “보물을 회수해야 한다”, trap door 상황 인식 등 올바른 판단을 자기 추론 텍스트에 명시적으로 생성해 놓고도 그에 맞게 행동하지 않는다(Example 3). 필요한 정보가 모델이 방금 출력한 내용에 있으므로, 이는 인출 문제가 아니라 자기 행동을 모니터링·정렬하지 못하는 메타인지 격차에 가깝다.
확장 사고(extended thinking) 무효: 한계가 단지 메모리/인출이라면 가용 맥락을 더 오래 숙고하는 모드가 도움이 되어야 하나, 세 공급사 모두에서 개선이 없었다.

남는 긴장(honest caveat): 다만 논문 스스로 cross-run 학습 실패에 대해서는 Liu et al.의 lost-in-the-middle을 “가능한 메커니즘”으로 인용해(→ 핵심 용어 정리 glossary) 메모리와 메타인지의 경계를 완전히 가르지 못한다. 게다가 메타인지는 “무엇을 시도했는지 추적·점검하는” 기능을 포함하므로 메모리와 부분적으로 얽혀 있다 — 두 가설은 깔끔히 배타적이지 않다. 결정적 분리 실험: 외부 메모리/명시적 행동-로그 스크래치패드를 부여했을 때 (a) within-run 반복과 (b) cross-run 학습 실패가 각각 사라지는지를 측정하면 된다. within-run 반복이 메모리 보강으로도 남는다면 메타인지 결핍, 사라진다면 메모리 부재 쪽으로 무게가 실린다. 본 논문은 이 통제 실험을 수행하지 않았으므로, “메타인지 결핍” 진단은 강한 시사이되 메모리 가설을 배제한 확증은 아니다.

향후 방향

다양한 숙련도의 인간 베이스라인 도입 → 과제 난이도와 모델 특유 실패 구분.
전체 로그 대상 오류 유형 체계적 정량화(반복 빈도·세션 내/간 학습·논리 실패 분류) → 예시 중심 한계 보완.
Zork와 유사 메타인지 요구 벤치마크·기타 추론 벤치마크에서 동일 모델 비교 → 실패가 텍스트 게임 특수적인지 범용 한계인지 규명.

이론적 의의

메타인지 결핍의 실증: 모든 모델이 실패 전략을 반복하고 세션 간 학습에 실패 — LLM의 자기 모니터링(실패 인식·전략 수정)이 언어 생성 역량과 근본적으로 분리돼 있음을 Zork 통제 환경에서 직접 관찰.
first-step fallacy 재확인: 언어·코드 생성의 인상적 성취가 공간 추론·계획·적응 학습을 동시 요구하는 과제의 일반 지능으로 자동 확장되지 않음. “thinking” 활성화의 무효과가 이를 강화.
패턴 매칭 vs 진정한 이해의 구별 가능성: 표면적으로 일관된 설명과 실제 모순 행동의 괴리는 언어 유창성이 인과적·절차적 이해를 수반하지 않을 수 있음을 시사. AGI 평가 기준 설계에 직접적 함의.

Discussion Points

논쟁점: Zork 실패가 양적 한계(스케일링으로 극복)인지 질적 차이(정보 처리 방식의 구조적 상이)인지는 본 연구 단독으로 결론 불가 — 저자도 질적 차이를 ‘추론’으로 제기. 인간형 이해가 AGI 필요조건인지, “alien intelligence”가 가능한지도 미해결.
검증 필요 가정: “thinking이 인간 인지를 포착 못 함”은 설정 간 무차이 관찰에 근거하나 5회 표본으론 유의미 차이 검출 곤란. “오염 가능성 낮음”도 직접 검증 없이 성능으로만 추론 — 보완 필요.
후속 연구: 인간(초보-전문가)과 LLM을 같은 지표로 비교하는 연구가 가장 직접적. 반복 행동·세션 간 학습 실패·논리 오류를 자동 코딩으로 전수 정량화하면 예시 중심 공백을 메움. 동일 모델군을 구조적으로 유사한 다른 추론 벤치마크에 적용하면 실패의 범용성 규명.

실험 결과 상세

⚠️ 데이터 표 불충분: 논문은 per-model 평균 점수를 수치 표가 아닌 막대그래프(Fig. 1)로만 제시한다. 아래는 본문에 직접 명시된 정량 사실과 모델 서열이다.

항목	값
전 모델 점수 상한	~75 / 350점 (최대 완료율 ~20%, 평균 <10%)
모델 서열(본문 명시)	Claude Opus 4.5 > Claude Sonnet 4.5 > Gemini 3 ≈ ChatGPT 5.2
basic vs advanced 프롬프트	점수 차 미미(통계적 유의 없음)
thinking/extended thinking	3개 공급사 모두 성능 향상 없음
이동(moves)	ChatGPT 최다(반복 행동으로 500 한계 경향), Claude만 ‘I give up’ 발령
총 실험	40 runs (6 모델 × 2 프롬프트 × 5회)

프레임워크 다이어그램

flowchart TB
    A["게임 텍스트 출력<br/>(Zork I 브라우저 구현)"] --> B["Python 스크립트<br/>(게임-LLM 중개)"]
    B --> C["LLM 6종<br/>(Claude Opus 4.5 / Sonnet 4.5 / Opus 4.5+Thinking,<br/>ChatGPT 5.2 / ChatGPT 5.2+Thinking, Gemini 3+Thinking)"]
    C --> D["명령어 생성 (텍스트 커맨드)"]
    D --> E["게임에 명령어 적용"]
    E --> F["Score / Moves 기록"]
    F --> G{"종료 조건 확인"}
    G -- "350점 달성" --> H["게임 완료"]
    G -- "플레이어 사망" --> I["종료"]
    G -- "I give up (주로 Claude)" --> I
    G -- "500 moves 도달" --> I
    G -- "계속" --> A
    F -.-> J["대화 로그 저장 (전체 transcript)"]

재현성 및 신뢰도 평가

종합 등급: D — 중개 Python 스크립트 미공개, proprietary 모델 의존(API 버전·날짜 미기재), run당 5회 소표본(저자 스스로 통계력 부족 인정), 인간 베이스라인 부재가 복합되어 완전 재현은 사실상 불가능하다. 단 모델 버전과 브라우저 Zork I 구현, 프롬프트 전문(Appendix A)은 명시돼 정성적 재현은 가능하다.

주장	근거	신뢰도
전 LLM 평균 완료율 ~10%, 최고(Opus 4.5) ~20%	본문 Sec 4·7 직접 명시, Fig 1과 일치, 40 runs 전체 관측	🟢
“thinking” 활성화 성능 무효	3개 공급사 동일 패턴이나 n=5 소표본·신뢰구간 중첩·유의 검정 없음	🟡
basic vs advanced 무차이	Fig 1에서 (I)/(II) 대부분 중첩, 동일 소표본 한계	🟡
ChatGPT 최다 moves·반복 행동(빈 mailbox 재개방)	정성 분석(Sec 5)·Fig 1 우측, 단 반복 빈도 체계 정량화 없음	🟡

읽기 난이도: ⭐ (수식 없음, 게임 일화 중심 서술형 — AI 비전공자도 읽힘).

축	본 논문(Gerrits 2026)	TextWorld(Côté 2018)[base]	Jericho(Hausknecht 2020)[base]	BALROG(Paglieri 2024)[sota]	SmartPlay(Wu 2023)[alt]	Ammanabrolu&Riedl 2019[base]
게임/도메인	Zork I 단일 IF	절차생성 텍스트게임	22개 상용 IF(Zork 포함)	NetHack·Zork·BabyAI 등	text/2D-grid 6종	Zork 등 IF
평가 설정	Zero-shot, 게임별 학습 없음	RL/fine-tuning	RL 학습 후 평가	Zero-shot + 에이전트 래퍼	Zero-shot + 프레임워크	RL + commonsense KG
모델 유형	상용 SOTA LLM 6종	커스텀 RL	RL(LSTM+KG)	LLM/VLM + 에이전트 루프	LLM + 프레임워크	RL + 외부 KG
메타인지·이해 초점	핵심 RQ(thinking 비교)	없음	없음	부분적	없음	없음
정량 지표	완료율 <10%, thinking 무이득	보상·완료율	정규화 점수	정규화 점수·완료율	성공률·점수	점수·완료율(KG ablation)
인간 베이스라인	❌(최대 350점만 언급)	❌	❌	❌	❌	❌
코드 공개	❌	✅	✅	✅	✅	❌

원자적 인사이트 (Zettelkasten)

💡 언어 유창성은 인과적 이해를 보장하지 않는다 — Zork가 드러낸 메타인지 공백

최신 LLM 6종은 유창한 자연어로 Zork I을 플레이하면서도 350점 중 ~75점 미만(평균 <10% 완료)에 머물렀고, 이미 비운 우편함을 반복 개폐하거나 잠긴 trap door를 잊고 재진입해 갇혔다. 텍스트 생성 능력과 세계 상태의 인과적 이해가 분리될 수 있음을, 즉 ‘패턴매칭’이 ‘진정한 이해’를 대체하지 못함을 시사한다. (조건: zero-shot·일관된 공간 모델·다단계 계획·시행착오가 동시 요구되는 환경에서만 격차가 선명. 단발 QA에선 안 드러남.)

💡 상세 지침도 확장 사고도 무효 — 양적 보강으로 메워지지 않는 질적 결핍

매뉴얼 기반 상세 지침(advanced)과 확장 사고(extended thinking)를 줘도 basic 대비 점수가 거의 안 올랐다. 더 많은 컨텍스트·더 긴 추론 시간이라는 양적 자원이 메타인지·적응적 문제해결의 부재를 보완하지 못한다는 신호 — Mitchell의 ‘first-step fallacy’와 일치. (ChatGPT는 give up 없이 최다 시도를 했지만 점수로 이어지지 않아 ‘더 많이 시도’≠‘더 잘 함’.)

💡 고전 게임은 저비용·고변별 LLM 추론 진단 도구가 될 수 있다

1977년 Zork I 하나로 최신 모델 간 능력 격차(Opus 4.5 > Sonnet 4.5 > Gemini 3 ≈ ChatGPT 5.2)와 공통 실패 패턴을 동시에 드러냈다. 정량(점수·이동)과 정성(행동 로그) 병행은 단일 숫자로 환원 안 되는 메타인지 실패를 일화(Example 1~3)로 가시화한다. (단 5회 반복·인간 베이스라인 부재로 진단엔 강하나 순위 확정엔 약함.)

핵심 용어 정리

용어	정의
metacognition (메타인지)	자신의 사고·지식·행동을 점검·교정하는 능력. 논문은 LLM이 “내가 이미 했던가?”를 추적 못 하는 것을 결핍의 핵심 증거로 본다.
barrier of meaning (의미의 장벽)	Rota의 개념. 기호를 능숙히 다루는 것과 그 의미를 실제 이해하는 것 사이의 간극. 유창성≠이해 주장의 근거.
Next Token Prediction (NTP)	LLM의 기본 작동 원리 — 맥락에서 가장 그럴듯한 다음 토큰을 확률적으로 선택. 세계의 인과 모델을 보장하지 않는다는 비판의 근거.
Moravec’s paradox (모라벡의 역설)	사람에게 어려운 추상 추론은 기계가 쉽게, 사람에게 쉬운 지각·적응은 기계가 어려워한다는 관찰. Zork의 일상적 공간 추론에서 LLM이 헤매는 현상과 호응.
first-step fallacy (첫걸음 오류)	Mitchell이 지적한 오류 — 초기의 쉬운 진전을 보고 전체를 곧 풀리라 착각. 모델이 초반만 진행하고 정체되는 결과로 재확인.
lost-in-the-middle	Liu et al.이 보고 — 긴 컨텍스트 중간 정보를 잘 활용하지 못하는 경향. 이전 실행 학습 실패와 연결.
extended thinking (확장 사고)	답 전 내부적으로 더 길게 추론하는 모드(Claude w/thinking, ChatGPT extended). 본 실험에선 점수 향상에 거의 무기여.
interactive fiction (텍스트 어드벤처)	그래픽 없이 자연어 입출력만으로 진행하는 게임 장르. Zork I이 대표작.
zero-shot	해법·예시를 미리 주지 않고 과제를 바로 수행하게 하는 평가 방식.
positioning paper	확정 결론보다 문제를 제기하고 향후 논의의 좌표를 잡는 성격의 논문. 한계 많은 이 연구를 단정이 아닌 질문 제기로 읽어야 하는 이유.
grounding	기호·언어를 실제 세계 경험·지각·인과와 연결하는 것. Bender&Koller는 grounding 없는 형태 학습으로는 의미를 얻을 수 없다고 비판.

BibTeX

@article{gerrits2026zork,
  title={Playing With AI: How Do State-Of-The-Art Large Language Models Perform in the 1977 Text-Based Adventure Game Zork?},
  author={Gerrits, Berry},
  journal={arXiv preprint arXiv:2602.15867},
  year={2026},
  eprint={2602.15867},
  archivePrefix={arXiv},
  url={https://arxiv.org/abs/2602.15867}
}

AI와 함께 놀기: 최신 LLM은 1977년 텍스트 어드벤처 게임 Zork에서 어떻게 수행하는가?

AI와 함께 놀기: 최신 LLM은 1977년 텍스트 어드벤처 게임 Zork에서 어떻게 수행하는가?

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

🔍 비판적 검토: ‘메타인지 결핍’인가 ‘메모리 부재’인가?

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

💡 언어 유창성은 인과적 이해를 보장하지 않는다 — Zork가 드러낸 메타인지 공백

💡 상세 지침도 확장 사고도 무효 — 양적 보강으로 메워지지 않는 질적 결핍

💡 고전 게임은 저비용·고변별 LLM 추론 진단 도구가 될 수 있다

핵심 용어 정리

관련 연구

태그

BibTeX