왜 LLM은 전략적 플레이에서 고전하는가? 관찰·믿음·행동 사이의 끊어진 연결고리

Digest: LLM이 협상·정책결정 같은 불완전 정보(상대의 패나 의도를 다 알 수 없는 상황) 전략 과제에 점점 쓰이지만 이해하기 어려운 방식으로 실패한다. 기존 연구는 최종 출력이라는 외부 행동만 봤을 뿐 내부 의사결정 메커니즘을 열지 않았다는 것이 쟁점이다. 저자들은 open-weight 모델(Llama 3.1 70B, Qwen3 32B, gpt-oss 20B)의 hidden state를 선형 probe(내부 표상에서 정답 잠재변수를 읽어내는 탐침)로 읽고 activation steering(활성값을 인위로 밀어 인과성을 검증)으로 개입해 두 가지 근본 괴리를 드러낸다. 첫째 observation-belief gap: 내부 믿음은 자기 언어 보고보다 훨씬 정확하지만(내부 probe가 5개 중 4개 과제에서 baseline 상회) multi-hop 추론에서 급격히 무너지고(1-hop >0.75 → 3-hop 거의 무작위), primacy/recency 편향과 Bayes 일관성 이탈(BCC가 round 10에 초기의 0.5배 미만)을 보인다. 둘째 belief-action gap: 내부 믿음이 행동으로 전환되는 인과 영향이 약하고(steering 성공 50~70%), 내부·외부 믿음 조건화 어느 쪽도 payoff를 일관되게 올리지 못한다(implicit vs explicit TV distance 자주 >0.3, 첫 행동 편향 확률 0.9+). 배운 점은 stated probability에 기대는 평가가 과대/과소평가로 오도될 수 있다는 것. 남은 질문은 이 괴리를 CoT·구조화 중간 믿음·순서 편향 debiasing으로 얼마나 줄일 수 있는가다.

먼저 이해하기

사람이 카드 게임이나 협상을 할 때는 보통 “상대가 지금 뭘 들고 있을까”를 머릿속으로 추정(믿음)하고, 그 추정을 바탕으로 행동을 고른다. 이 논문은 LLM도 겉으로 드러나는 말과 행동 이면에 이런 “내부 믿음”을 실제로 갖고 있는지, 그리고 그 믿음이 행동으로 제대로 이어지는지를 뇌를 열어보듯 파헤친다.

핵심은 두 개의 “끊어진 고리”다. 첫 번째는 관찰-믿음 괴리(observation-belief gap): 모델의 hidden state(내부 활성값)를 probe(탐침)로 읽으면 게임의 숨은 상태를 꽤 정확히 맞히는데, 정작 모델에게 말로 물어보면 훨씬 부정확하게 답한다. 즉 알고는 있는데 말로 잘 못 꺼낸다. 두 번째는 믿음-행동 괴리(belief-action gap): 내부에 정확한 믿음이 있어도 그것이 실제 수(action) 선택으로 이어지는 힘이 약하다.

왜 중요한가. LLM이 협상·정책·다자 상호작용 같은 전략 영역에 실전 배치되고 있는데, 겉으로 “확률이 얼마”라고 말한 값(stated probability)에만 의존해 평가하면 실제 내부 상태를 오해할 수 있다. 저자들은 이 취약성 때문에 견고한 가드레일(guardrail) 없이 전략 도메인에 배치하는 것을 경계하라고 말한다.

용어	뜻
불완전 정보 게임	상대의 패·유형 등 일부 상태를 관측할 수 없는 게임(협상, 포커 등)
internal probe	hidden state에서 정답 잠재변수를 예측하도록 학습한 선형 분류/회귀 탐침
verbal probe	모델에게 자연어로 물어 얻은 믿음(언어 보고)
activation steering	probe 가중치를 steering vector로 써서 활성값을 밀어 인과성을 검증하는 개입
BCC	Bayesian Coherence Coefficient. 관측된 믿음 갱신과 최적 Bayes 갱신의 Pearson 상관
multi-hop	여러 단계 추론을 거쳐야 답이 나오는 정도(hop 수)

섹션별 요약

초록 (Abstract)

LLM은 불완전 정보 하 전략적 의사결정(협상, 정책결정)에 점점 쓰이지만 잘 이해되지 않는 방식으로 실패한다. 저자들은 open-weight 모델(Llama 3.1, Qwen3, gpt-oss)의 내부 메커니즘에서 두 근본 괴리를 밝힌다. 첫째 observation-belief gap: LLM은 숨은 게임 상태에 대한 내부 믿음을 자기 언어 보고보다 훨씬 정확하게 인코딩하지만, 그 믿음은 취약하다 — multi-hop 추론에서 정확도가 떨어지고, primacy/recency 편향을 보이며, 긴 상호작용에서 Bayes 일관성으로부터 이탈한다. 둘째 belief-action gap: 내부 믿음이 행동으로 암묵적으로 전환되는 힘은 외현화된(prompt) 믿음보다 약하지만, 어느 쪽 조건화도 일관되게 더 높은 payoff를 내지 못한다. 내부 과정 분석은 체계적 취약성을 드러내므로 견고한 가드레일 없는 배치에 주의가 필요하다.

저자 contribution

observation-belief gap을 식별: 내부 믿음이 언어 보고보다 정확하나 multi-hop·서열위치·Bayes 이탈로 취약.
belief-action gap을 식별: 내부 믿음의 행동 인과 영향이 약하고, 암묵/외현 조건화 어느 쪽도 payoff를 못 올림.
first-item positional bias를 실증하고, Llama 3.1 70B·Qwen3 32B·gpt-oss 20B와 세 게임 클래스에서 검증.

왜 이 연구를 하는가?

동기는 LLM 능력은 향상됐지만 전략적 의사결정 과정에 대한 이해가 뒤처져 신뢰성·안전성을 예측·디버깅·개선하기 어렵다는 점이다. 기존 한계로 (1) 기존 연구는 최종 출력이라는 외부 행동만 분석해 의사결정 메커니즘은 미탐구 상태였고, (2) 언어로 진술된 믿음이 내부 상태를 대변하는지 검증되지 않았다. 핵심 통찰/RQ는 “LLM 내부에 게임 잠재상태에 대한 믿음이 존재하는가, 존재한다면 얼마나 정확·일관적이며 행동으로 인과적으로 이어지는가”이다.

방법 (Methods)

세 게임 클래스: (1) 반복 2×2 normal-form 게임(8~15 라운드; 상대 혼합전략/유형 추론), (2) generalized Kuhn Poker(N=3 플레이어, D=20 카드, R=3 라운드; 상대 비공개 카드 추론), (3) The Chameleon(숨은 정체 사회적 추론; 비밀 단어와 chameleon 추론).

Probing: hidden state에서 정답 잠재변수를 예측하는 internal probe(로지스틱/선형회귀)와 자연어 질문 기반 verbal probe를 비교. train/val/test 분리.
Steering: probe 가중치를 steering vector로 삼아 추론된 layer에서 activation steering을 수행하고 counterfactual과 비교.
믿음 갱신 지표: Bayesian Coherence Coefficient(BCC) = 관측된 믿음 갱신과 최적 Bayes 갱신의 Pearson 상관.
차별점: LLM 전략 의사결정을 내부 probe로 분석한 최초의 기계적 해석 연구; BCC를 출력 확률에서 내부·언어 믿음으로 확장; activation steering으로 인과 개입.

결과 (Results)

믿음 형성(Fig4): internal probe가 5개 중 4개 과제(상대 전략, Nash 균형, Kuhn 카드, chameleon 정체)에서 baseline을 크게 상회. verbal probe는 뚜렷이 열등해 majority baseline에 근접(Chameleon 비밀 단어는 probe 구성상 예외).

multi-hop(Fig5, 800 게임): 1-hop 정확도 >0.75, 2-hop <0.65, 3-hop은 거의 무작위. hop 수에 따라 단조 감소.

과거 행동에 대한 attention(Fig6, 1,000 게임, Llama 3.1 70B): round-1 행동 변이가 round 15에서도 고분산 PC와 정렬. primacy/recency(Fig7, round 15): 첫·마지막 라운드는 ~20 epoch에 probe 정확도 80% 도달, 중간 라운드는 U자형(가장 해독 어려움) — serial position effect.

Bayes 일관성(Fig8): 내부 BCC 초기 ~~0.7~~0.8 → normal-form에서 round 10에 초기의 0.5배 미만으로 하락, Kuhn·Chameleon은 turn 3부터 하락. 믿음 갱신 크기(Fig9): 초기 기울기 ≈1.0(Bayes 최적), 후기 기울기 <<1.0(under-updating). 언어 믿음은 덜 심하게 감쇠.

steering(Fig10): Llama 3.1 normal-form은 ~70%가 counterfactual 방향으로 조향, gpt-oss 20B Kuhn은 ~50%(우연 수준), Qwen3는 일관되나 제한적. 내부 믿음의 인과 영향은 약함.

암묵 vs 외현 조건화(Fig11, 2,000 게임): 큰 불일치(TV distance 자주 >0.3), 어느 쪽도 payoff를 못 올림(0 근처 산포). first-item bias(Fig12, 1,000 게임): best-response가 첫 행동이면 확률 ≈0.9+, 두 번째 행동이면 내부 믿음이 있어도 훨씬 낮음. 언어화는 부분 완화하나 게임 성적은 개선 못 함.

발견

모델은 언어 보고보다 정확한 내부 믿음을 갖지만 이를 말로 꺼내지 못한다.
내부 믿음은 multi-hop·서열위치·장기 상호작용에서 체계적으로 무너진다.
정확한 믿음이 있어도 행동으로의 인과 전이(50~70%)와 payoff 개선은 보장되지 않는다.

논의 (Discussion)

취약성: 정확한 내부 믿음이 언어화되지 않음, multi-hop 저하, 믿음 일관성 악화, U자형 기억(첫/끝)의 악용 가능성, 약한 인과 belief→action(50~70%), 첫 행동 위치 편향이 best response를 방해. 실무적으로 stated probability에 기대는 평가는 오도될 수 있고, primacy/recency 앵커링·과소반응·궤적 중반 취약성을 예상해야 하며, 믿음을 명시·일관화(맥락에 내부 믿음 추가, 추론 단계 강제, 일관성 검사)해야 한다.

향후: observation-belief gap 축소(구조화 중간 믿음, CoT, multi-hop 훈련)와 belief-action gap 축소(행동 대 믿음-함축 best response 보정, 위치/순서 편향 debias), 가드레일·인간 감독이 필수.

한계: open-weight 세 계열만(폐쇄 API 미포함), 단순화된 게임, 선형 probe, steering multiplier {1,5,10,15,20}는 하이퍼파라미터 의존적.

Discussion Points

논쟁점: internal probe가 잰 “믿음”이 진짜 인과적 표상인가, 아니면 상관적 해독 가능성인가(steering 50~70%가 이를 부분적으로만 지지).
검증할 가정: BCC 하락이 능력 부족인가 아니면 프롬프트/맥락 길이의 부작용인가.
후속 연구: 순서 편향 debiasing과 구조화 중간 믿음이 실제 payoff를 올리는가.

실험 결과 상세

축(현상)	지표	핵심 수치	근거(Fig)
믿음 형성	internal vs verbal probe	internal이 5개 중 4개 과제 baseline 상회; verbal은 majority baseline 근접	Fig4
multi-hop 저하	probe 정확도	1-hop >0.75 → 2-hop <0.65 → 3-hop 거의 무작위(단조 감소)	Fig5 (800 게임)
서열위치 효과	80% 도달 epoch	첫·마지막 라운드 ~20 epoch, 중간 라운드 U자형(최난해)	Fig7 (round 15)
Bayes 일관성	BCC(내부)	초기 ~~0.7~~0.8 → round 10에 초기의 0.5배 미만; Kuhn·Chameleon은 turn 3부터 하락	Fig8
믿음 갱신 크기	slope	초기 ≈1.0(Bayes 최적) → 후기 <<1.0(under-updating)	Fig9
인과 개입	steering 성공률	Llama 3.1 normal-form ~70%, gpt-oss 20B Kuhn ~50%(우연), Qwen3 제한적	Fig10
암묵 vs 외현	TV distance / payoff	불일치 자주 >0.3; 어느 조건화도 payoff 개선 못 함(0 근처)	Fig11 (2,000 게임)
첫 행동 편향	best-response 확률	첫 행동일 때 ≈0.9+, 두 번째 행동일 때 훨씬 낮음(내부 믿음 있어도)	Fig12 (1,000 게임)

모델: Llama 3.1 70B, Qwen3 32B, gpt-oss 20B. 게임: 반복 2×2 normal-form(8~15 라운드), generalized Kuhn Poker(N=3, D=20, R=3), The Chameleon.

프레임워크 다이어그램

flowchart TD
    OBS["관찰 (game observations)"] --> HS["hidden states"]
    HS --> IB["internal belief (probe로 해독)"]
    HS --> VB["verbal belief (언어 보고)"]
    IB --> ACT["action (수 선택)"]
    VB --> ACT
    ACT --> PAY["payoff"]
    GAP1["observation-belief gap: 내부 믿음 정확하나 취약 (multi-hop 저하, primacy recency, BCC 이탈)"]
    GAP2["belief-action gap: 믿음의 인과 영향 약함 (steering 50-70%, first-item bias 0.9+, TV distance 0.3 초과)"]
    HS -.-> GAP1
    IB -.-> GAP1
    IB -.-> GAP2
    ACT -.-> GAP2
    STEER["activation steering (인과 개입)"] -.-> HS

재현성 및 신뢰도 평가

코드 공개: 원문에 명시되지 않음(“Not explicitly provided”). 자금: ARO W911NF-23-1-0317, ONR N00014-24-1-2432.
재현성 종합등급: B — 세 open-weight 모델·세 게임 클래스·수백~수천 게임(800/1,000/2,000) 규모로 실험이 폭넓고, probe/steering/BCC 방법이 명시적. 다만 코드 미공개, 선형 probe와 steering multiplier {1,5,10,15,20}의 하이퍼파라미터 의존성이 정밀 재현을 제약.
주장별 신뢰도:
- “internal이 verbal보다 정확” — 높음: 5개 중 4개 과제에서 일관, baseline 대비 큰 격차(Fig4).
- “multi-hop에서 무너짐” — 높음: 800 게임에서 단조 감소, 3-hop 거의 무작위(Fig5).
- “믿음→행동 인과 약함” — 중간: steering 성공률이 모델·게임별로 50~70%로 편차가 커 해석 여지(Fig10).
- “조건화가 payoff 개선 못 함” — 중간~높음: payoff가 0 근처 산포이나 게임 단순화 한계 존재(Fig11).

논문	문제	접근	차별점
본 논문	LLM 전략 의사결정의 내부 메커니즘	internal/verbal probe + activation steering + BCC	관찰-믿음-행동 파이프라인의 두 괴리를 기계적 해석으로 규명
Are Your Agents Upward Deceivers	내부 상태와 외부 보고의 괴리(기만)	행동/보고 대조	전략 게임의 잠재상태 믿음이 아닌 상하 보고 기만에 초점
Understanding Catastrophic Forgetting via Implicit Inference	내부 task inference vs 외현 행동 분리	암묵 추론의 기계적 해석	전략 게임이 아닌 학습·망각 맥락의 내부/외현 분리

원자적 인사이트 (Zettelkasten)

LLM은 숨은 게임 상태에 대한 믿음을 내부적으로 언어 보고보다 정확히 인코딩하지만 그것을 말로 외현화하는 데 실패한다(observation-belief gap).
정확한 내부 믿음의 존재가 그 믿음의 행동 전이를 보장하지 않는다: steering 성공률 50~70%, best-response가 두 번째 행동일 때 확률이 급락(belief-action gap).
내부 믿음의 취약성은 세 축에서 체계적이다 — hop 수(1-hop >0.75 → 3-hop 무작위), 서열 위치(첫/끝만 잘 해독되는 U자형), 시간(BCC가 round 10에 절반 이하).
stated probability에만 기댄 LLM 평가는 내부 상태를 오해해 과대·과소평가로 오도될 수 있다.

핵심 용어 정리

observation-belief gap: 내부 믿음은 정확하나 언어 보고가 이를 못 따라가고, 그 믿음 자체도 multi-hop·서열·시간에 취약한 괴리.
belief-action gap: 정확한 내부 믿음이 행동으로 전환되는 인과 영향이 약해 payoff 개선으로 이어지지 않는 괴리.
BCC (Bayesian Coherence Coefficient): 관측된 믿음 갱신과 최적 Bayes 갱신의 Pearson 상관으로 일관성을 측정.
activation steering: probe 가중치를 steering vector로 활성값을 인위로 밀어 믿음이 행동에 미치는 인과를 검증하는 개입.
first-item positional bias: best-response가 선택지 목록의 첫 항목일 때 채택 확률이 ≈0.9+로 치우치는 순서 편향.
serial position effect: 첫·마지막 라운드 정보가 중간보다 잘 해독되는 U자형 기억 편향(primacy/recency).

BibTeX

@article{sobotka2026strategic,
  title={Why Do LLMs Struggle in Strategic Play? Broken Links Between Observations, Beliefs, and Actions},
  author={Sobotka, Jan and Karabag, Mustafa O. and Topcu, Ufuk},
  journal={arXiv preprint arXiv:2605.00226},
  year={2026}
}

왜 LLM은 전략적 플레이에서 고전하는가? 관찰·믿음·행동 사이의 끊어진 연결고리

왜 LLM은 전략적 플레이에서 고전하는가? 관찰·믿음·행동 사이의 끊어진 연결고리

먼저 이해하기

섹션별 요약

초록 (Abstract)

왜 이 연구를 하는가?

방법 (Methods)

결과 (Results)

논의 (Discussion)

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX