이해 없는 에스컬레이션: 달러 경매에서 LLM 에이전트의 행동 패턴

Digest: LLM이 조달·광고 입찰·다회차 협상처럼 손실이 누적되는 경제 환경에 배치되기 시작했지만, 기존 LLM 경매·게임 연구는 대부분 일회성 입찰이거나 고정 예산을 전제해 에스컬레이션을 위험하게 만드는 두 요소(dynamic loss exposure, sunk-cost pressure)를 빼놓고 있었다는 것이 이 논문의 문제의식이다. 핵심 통찰은 LLM이 사람과 비슷하게 과열되긴 하는데 그 과열의 “형태”가 개입 축마다 완전히 다르며, 특히 겉보기 절제가 이해에서 나오지 않는 경우가 있다는 점이다. 방법은 $100 아이템 \cdot 8 에이전트 \cdot 최대 20 라운드의동기식다중에이전트달러경매를구현하고, Dee pS ee k - V 3 (20 조건 \cdot 2, 000 세션) 와 M i M o - V 2309 B (13 조건 \cdot 1, 300 세션) 위에서 s am pl in g t e m p er a t u re \cdot a d v i sory b u d g e t \cdot p a y m e n t r u l e \cdot p er - bi df ee \cdot s p ec ia l - a g e n t co m p os i t i o n \cdot C o T 여섯요인을 OF A T 로쓸어총 33 조건 3, 300 세션을돌리는것이다 . 핵심수치로 Dee pS ee k - V 3 경매의 62$ 100을 초과했고(§4.1, Figure 1), 초과입찰률은 T=0.3의 0%에서 T=1.4의 92%까지 단조 증가하지만 T=0.3/0.5 경매는 오히려 평균 18.3/18.0라운드로 T=1.4의 11.8라운드보다 길게 지속되며 $1-$ 2 증분만 반복했다(§4.2, Table 2). 한 줄 zero-shot CoT는 loser-pays 초과입찰률을 92%→0%, all-pay에서 97%→7%로 무너뜨렸고(p<10⁻⁴², d>1.1), 반대로 loser-pays→all-pay 전환은 초과입찰률을 92%→97%로 거의 그대로 두면서 총 입찰자 손실만 $245 \to$ 1,211(약 4.9배)로 부풀렸다(§4.3–§4.4, Table 2). 함의는 생성 수준 요인이 “덫에 들어갈지”를, 구조 수준 요인이 “덫이 얼마나 비쌀지”를 각각 지배하므로 디코딩 온도 인하보다 deliberative prompting과 payoff 설계가 더 나은 안전장치라는 것이다. 한계는 백본이 API 접근 2종뿐이고, OFAT라 상호작용을 추정하지 못하며, budget이 강제 상한이 아닌 권고값이라는 점이다.

먼저 이해하기

이 논문은 “LLM 에이전트도 인간처럼 본전 생각에 끌려 손해나는 경매에 계속 돈을 붓는가, 그리고 무엇이 그 행동을 바꾸는가”를 3,300번의 모의 경매로 측정한 연구다. 벤치마크 점수표를 만드는 연구가 아니라, 통제된 경제 메커니즘 하나를 실험대로 삼아 LLM의 행동 규칙성을 해부하는 행동실험형 연구다.

dollar auction(달러 경매): $100짜리 아이템을 경매에 부치되, 1등뿐 아니라 2등도 자기 최종 입찰액을 그대로 지불하는 게임. 2등은 무조건 손해이므로 “지금 멈추면 확정 손실, 한 번 더 올리면 만회 가능”이라는 압력이 계속 생긴다.
escalation(에스컬레이션): 그 압력에 밀려 아이템 가치($100)를 넘겨 입찰이 치솟는 현상. 사람에게서는 sunk cost fallacy, escalating commitment, competitive arousal로 설명돼 왔다.
overbidding rate(초과입찰률): 최종 낙찰가가 $100을 넘긴 경매의 비율. 이 논문의 1번 지표다.
aggregate bidder loss(총 입찰자 손실): 경매가 아이템 가치를 넘겨 뽑아간 금액 총액. L_agg = max(0, Σp_i − 100).
pseudo-rational restraint(유사 합리적 자제): 이 논문이 명명한 현상. 겉보기 결과는 얌전한데, 그 얌전함이 전략적 판단이 아니라 디코딩 습관(최소 증분 반복)에서 나오는 상태.

설정은 이렇다. 한 세션에 LLM 에이전트 8명이 $100 아이템을두고최대 20 라운드경쟁한다 . 매라운드모든자격있는에이전트가공개상태 (현재최고가등) 를보고 * * 동시에 * * 입찰하며, 최소증분은$ 1이고 0을 내면 그 라운드는 기권이지만 퇴장은 아니다. 직전 라운드 최고가 입찰자만 다음 라운드에 입찰이 금지되는데(winner-blocking rule), 이 규칙이 없으면 직전 승자가 자기 자신의 가격을 44.4%의 기회에서 다시 올려 자가 에스컬레이션이 경쟁 에스컬레이션으로 오인된다(§3.2, Appendix C). 각 에이전트에게는 confidence·risk preference·loss aversion·willingness to pay 네 축을 5단계로 조합한 성격 프로필이 주어지는데, 5⁴=625 조합 중 무작위 추출한 100개 프로필을 모든 조건에 고정 재사용해 조건 간 차이가 프로필 샘플링 잡음이 아니게 만들었다.

지불 규칙은 loser-pays(LP)(최종 1·2등만 지불)와 all-pay(AP)(양의 입찰을 한 모든 에이전트가 자기 최고 입찰액 지불) 두 가지다. 여기에 입찰 1회당 고정 수수료( $0/$ 1/ $5/$ 10), 권고 예산( $150/$ 300/$500, 강제되지 않음), 특수 에이전트 주입, CoT on/off를 얹어 여섯 요인을 baseline에서 한 번에 하나씩만 바꾸는 OFAT 설계로 33조건을 만든다.

왜 중요한가: 결과가 “LLM은 안전하다/위험하다”의 단순 이분법을 깨기 때문이다. DeepSeek-V3 2,000세션의 62%가 $100 을넘겼고 2$ 500조차 넘겼다(Figure 1). 그런데 T=0.3의 초과입찰률 0%라는 “안전한” 숫자는 전략적 자제의 결과가 아니다 — 그 조건의 경매는 평균 18.3라운드로 baseline(11.8라운드)보다 오래 끌었고, 가격이 $100 에근접한 15-18 라운드에서도여전히$ 1–$2 증분을 내고 있었다. 반대로 한 줄짜리 “Think step by step”은 세 구조 전부에서 초과입찰률을 90–97%에서 0–7%로 붕괴시켰다. 디코딩 하이퍼파라미터와 프롬프트 개입은 같은 값이 아니다.

먼저 알아둘 용어 표

원 용어	쉬운 설명
dollar auction	1등과 2등이 모두 자기 입찰액을 내고 1등만 물건을 받는 경매 — 에스컬레이션 연구의 표준 실험대
loser-pays (LP)	최종 1·2등만 지불하는 기본 규칙
all-pay (AP)	양의 입찰을 한 모든 에이전트가 자기 최고 입찰액을 지불하는 규칙
overbidding rate `R_overbid`	최종가가 $100을 넘긴 경매의 비율
aggregate bidder loss `L_agg`	`max(0, Σp_i − 100)`, 아이템 가치를 넘겨 뽑힌 총액
first-round bidding rate `R_1st`	1라운드에 실제로 입찰한 자격 에이전트 비율 — “덫 진입” 지표
pseudo-rational restraint	최소 증분 반복 때문에 결과만 보수적으로 보이는, 전략이 아닌 디코딩 산물
winner-blocking rule	직전 라운드 최고가 입찰자의 다음 라운드 입찰 금지 — 자가 경쟁 아티팩트 제거용
special agent	성격 프로필 대신 목적함수 자체를 갈아끼운 에이전트(benevolent = 피해 최소화, malicious = 타인 손실 극대화)
OFAT	one-factor-at-a-time, baseline에서 한 요인만 바꾸는 설계 — 주효과 식별 우선, 상호작용 미추정

섹션별 요약

Abstract

LLM 에이전트는 달러 경매에서 일관되게 에스컬레이션하지만, 관측된 패턴은 인간 에스컬레이션의 표준 설명과 다르다. DeepSeek-V3와 MiMo-V2 309B 위에서 3,300회 달러 경매를 돌려 여섯 요인(sampling temperature, advisory budget, payment rule, per-bid fee, special-agent composition, CoT)을 변화시켰다. DeepSeek-V3 경매의 62%에서 최종가가 $100 아이템 가치를 초과했다. 낮은 온도는 초과입찰을 억제하지만 라운드 수준 증거는 에이전트가 책임이 쌓이는 와중에도 최소 증분 입찰을 계속 제출함을 보여주며, 이 디코딩 주도 패턴을 pseudo-rational restraint라 부른다. 반면 zero-shot CoT는 loser-pays에서 초과입찰을 거의 0%로 줄여, 명시적 추론 프롬프트가 온도 인하보다 효과적임을 보인다. 적대적·협조적 특수 에이전트는 서로 다른 측면에 작용하고, LP→AP 전환은 에스컬레이션 확률은 거의 그대로 두면서 총 입찰자 손실만 백본에 따라 대략 2–5배로 부풀린다.

왜 이 연구를 하는가?

LLM이 협상·트레이딩·다중 에이전트 조율 같은 경제 맥락에서 자율 에이전트로 배치되는데, 기존 LLM 게임이론/경매 연구는 대부분 일회성 입찰이거나 고정 예산을 전제한다. 그래서 에스컬레이션을 위험하게 만드는 두 요소인 dynamic loss exposure와 sunk-cost pressure가 사실상 빠져 있다. 달러 경매는 이 두 요소를 가장 단순한 형태로 고립시키는데, 선행 LLM 경매 연구는 이를 중심 프로브로 쓴 적이 없고, 기존 달러 경매 결과(특히 Waniek et al.의 spiteful-agent 증폭)는 인간 참가자나 규칙 기반 에이전트를 대상으로 한 것이다.

Introduction

저자들이 밝힌 기여는 셋이다. (1) dynamic loss exposure 하 LLM 에스컬레이션을 33조건·2 백본으로 연구하는 다중 에이전트 달러 경매 프레임워크 구축. (2) 저온에서 책임이 쌓이는데도 최소 증분 입찰을 계속하는 행동 체제 pseudo-rational restraint 식별 — 낮은 초과입찰률이 전략적 숙고가 아니라 디코딩 행동의 산물임을 밝힘. (3) 프롬프트 수준 개입과 구조 수준 개입이 에스컬레이션의 서로 다른 측면에 작용함을 실증 — 적대적 특수 에이전트는 진입 여부를 안 바꾸고 손실만 깊게 하고, 협조적 특수 에이전트는 진입 확률만 낮추며 손실 깊이는 안 바꾸고, LP→AP는 확률은 그대로 두고 손실만 2–5배로 키운다. 설계는 mechanism-oriented다: 여섯 요인이 입찰이 어떻게 생성되는지를 지배하는 생성 수준 축(temperature, CoT)과 손실이 어떻게 분배되는지를 지배하는 구조 축(budget, fee, payment rule)을 분리하도록 골라졌다.

Methods

합리적 벤치마크: 완전 합리적 2인 기준으로 승자 효용 u_w = 100 − b_w, 패자 효용 u_l = −b_l. 동기식 다중 에이전트 환경의 완전 균형은 유도하지 않고, 대신 zero overbidding과 non-negative aggregate payoff를 규범적 행동 기준으로 삼는다.
환경: n=8 에이전트, 최대 20라운드, 동기식·병렬 의사결정(같은 라운드 타 에이전트 결정은 미관측). 입찰은 자유 형식 응답에서 regex로 파싱하며 파싱 실패율은 전 조건 1% 미만.
성격 프로필: confidence·risk preference·loss aversion·WTP 4축 × 5수준 = 625 조합에서 비복원 무작위 100개 추출, 전 조건 고정 재사용. 저자들은 이를 “실제 심리 특성 모형이 아니라 입찰 성향에 구조적 변이를 주는 프롬프트 수준 서술자”로 명시한다.
요인 6종: T ∈ {0.3, 0.5, 0.7, 1.0, 1.4, 1.7}, B ∈ {150, 300, 500}, rule ∈ {LP, AP}, F ∈ {0, 1, 5, 10}, special ∈ {none, +benevolent, +malicious, +mixed}, CoT ∈ {On, Off}. baseline = DeepSeek-V3, T=1.4, B=300, LP, F=0, normal agents, CoT off. budget은 권고값일 뿐 초과 입찰도 그대로 수용되는데, 구조적 상한이 에스컬레이션을 기계적으로 잘라내면 행동적 자제와 구조적 제약이 뒤섞이기 때문이다.
CoT 개입: “Think step by step: analyze the current situation, consider your personality traits, evaluate the risks and potential returns, and then make your decision.” 한 줄을 user prompt에 추가하는 것이 전부. system prompt는 baseline과 동일.
측정: R_overbid(식 2), L_agg = max(0, Σp_i − 100)(식 3), R_1st(식 4), 평균 라운드 수 T̄, 라운드별 증분 Δ_t를 small(≤ $5) / m o d er a t e ($ 5<Δ≤ $20) / l a r g e (>$ 20)로 분류.
이상치 절단: 진행 최대 입찰이 $5,000을 넘긴 경매는 요약통계에서 제외(3,300건 중 94건, 2.8% — 대부분 고온 샘플링의 환각 입찰).
모델: DeepSeek-V3(주 모델, 20조건 2,000세션), MiMo-V2 309B(강건성 확인, 13조건 1,300세션). 둘 다 공식 API 사용, temperature 외 생성 파라미터는 API 기본값.

발견 (Findings)

DeepSeek-V3 전체 2,000세션 초과입찰률 62%, 2%는 $500 초과(Figure 1).
초과입찰률은 T에 대해 단조 증가(0% → 92%)하지만, 저온의 “안전함”은 더 긴 노출과 최소 증분 반복을 동반한다 = pseudo-rational restraint.
한 줄 CoT는 세 구조(LP/AP/Fee=$10) 전부에서 초과입찰을 붕괴시키며, 효과 경로는 1라운드 참여 억제 + 라운드가 갈수록 벌어지는 가격 궤적 격차다.
Fee와 CoT는 가산적이 아니라 상보적이다. Fee 단독은 1라운드 입찰률 91%·평균 12.5라운드, CoT 단독은 평균 11.4라운드로 baseline과 비슷한데, 둘을 합치면 1라운드 입찰률 47%·평균 5.3라운드로 급락한다.
특수 에이전트 효과는 비대칭이다. malicious는 손실 심도만, benevolent는 진입 확률만 움직인다.
구조 요인(AP)은 초과입찰 확률을 거의 안 바꾸면서 손실 규모만 키운다.

Results

온도(§4.2, Table 2): T=1.7의 $524±904는 표준편차가 baseline의 약 8배로, 이 구간의 에스컬레이션은 환각·비정상 입찰이 끌고 가며 일관된 경쟁 동학이 거의 없다(그래서 T=1.4를 운영 baseline으로 택함). T=0.7→1.0, T=1.0→1.4 전이는 Mann–Whitney U / Fisher exact에서 p<10⁻¹⁴, d>0.9.
저온 자제의 정체(§4.2, Figure 3): 저온이 안정적 전략 자제라면 조기 퇴장이나 참여 급감이 있어야 하는데 둘 다 없었다. 오히려 후반 라운드에도 3–4명이 유효 입찰을 계속했고(T=1.4에서는 약 2명), 증분 구성은 T=0.3/0.5/0.7에서 small이 100%/97%/89%로 몰린 채 경매 내내 변하지 않았다(Figure 3c). T=1.4에서는 moderate+large가 유효 입찰의 약 70%다.
CoT(§4.3): 비-CoT baseline 세 구조가 90–97% 초과입찰인데 CoT를 켜면 0–7%로 붕괴. 가격 p<10⁻⁴², d>1.1이고 LP 초과입찰률은 p<10⁻⁶⁹. 다만 AP+CoT에는 잔여 손실이 남아 L_agg가 $213 (L P + C o T 는$ 20)인데, CoT는 각 에이전트의 결정을 바꿀 수 있어도 “참여한 에이전트는 자기 최고 입찰액에 책임진다”는 규칙은 못 바꾸기 때문이다(decision-level vs mechanism-level 구분).
특수 에이전트(§4.4): malicious 1명 주입 → 평균가 $190 \to$ 270(p<10⁻⁴, d=0.37), 총손실 약 +60%(p<10⁻³), 그러나 초과입찰률은 통계적으로 불변(Fisher p=0.21). benevolent 1명 → 평균가는 baseline과 구분 불가(p=0.65)인데 초과입찰률은 92%→81%(p=0.037). 행동 수준 설명: malicious는 자격 라운드의 58%에서 입찰하는 반면 benevolent는 15–17%뿐이고, +Mixed에서도 55.9% 대 14.9%로 같은 비율이 유지된다. 구조적 이유는 “malicious는 모두가 보는 가격을 조작하고 benevolent는 자기 행동만 조작한다”는 것 — 각자의 payoff가 자기 최종 위치에만 의존하므로 일방적 자제는 타인 인센티브로 되먹임되지 않는다. 그래서 +Mixed는 malicious-only 조건에 가깝고 총손실은 오히려 약간 더 높다( $396 v s$ 389).
CoT 추론 내용 검증(Appendix D, Table 6): 18,501개 agent-round 추론 텍스트에 결정론적 regex 매처를 돌려 sunk-cost/trap 개념이 70.8–80.6%에서 등장함을 보였고, 이로써 CoT의 억제 효과가 정체불명의 디코딩 변화가 아니라 추론 내용에 매개된다고 주장한다.
MiMo-V2 재현(Appendix B, Table 4): 절대 수준은 훨씬 높지만 모든 요인 효과의 방향이 동일하다. LP/B=300에서 평균가 $480 (Dee pS ee k - V 3 는$ 190), 초과입찰률 100%(92%). CoT는 100%→5%로 재현되고, 특수 에이전트 비대칭도 $480 \to$ 694(malicious) vs $490 (b e n e v o l e n t), + M i x e d$ 848로 재현된다.

Discussion

이론적 의의

가장 이론적으로 값진 분리는 decision-level vs mechanism-level이다. 추론(CoT)은 개별 에이전트가 “이건 escalation trap이다”라고 인식하고 진입을 줄이게 만들지만, all-pay 규칙이 부과하는 비용 바닥은 어떤 추론으로도 환불되지 않는다. 실제로 AP+CoT는 sunk-cost 인식률이 80.5%로 가장 높은데도 초과입찰률 7%와 $213 의잔여손실을남긴다 . 두번째의의는 * * 낮은지표값이곧이해가아니라는반례 * * 다 . T = 0.3 의 0$ 1씩 올리는 상태다. 세 번째로, 자연어 프롬프트로 유도된 disposition만으로도 규칙 기반 spiteful agent 연구에서 보고된 적대적 증폭 비대칭이 그대로 재현된다는 점은, 규칙 하드코딩 없이 성향 언어만으로 집단 동학이 뒤틀릴 수 있음을 뜻한다.

Discussion Points

생성 수준 요인이 “덫 진입 여부”, 구조 수준 요인이 “덫의 비용”을 지배한다는 분업은 안전 개입의 설계 지침이 된다 — 온도 인하는 진입을 못 막고, payoff 재설계는 인식을 못 만든다.
협조적 disposition은 적대적 disposition을 상쇄하지 못한다(+Mixed 총손실 $396 \geq + M a l i c i o u s$ 389). “선한 에이전트 한 명 넣기”식 완화책의 구조적 한계.
Fee×CoT 상보성(1라운드 91%/76% → 47%)은 비용 신호와 추론 유도가 서로 다른 지점(진입 억제 vs 지속 성향 약화)에 작용함을 시사하며, 온도를 하이퍼파라미터가 아니라 실험 요인으로 승격시킨 선택이 pseudo-rational restraint 발견의 전제였다.
저자들이 명시한 한계: 백본 2종뿐, OFAT라 CoT×special-agent·temperature×special-agent 상호작용 미추정, budget이 hard cap이 아님.

실험 결과 상세

DeepSeek-V3 온도 스윕과 CoT — 초과입찰률은 오르는데 라운드 수는 줄어든다 (Table 2)

조건	최종가 (mean ± sd)	초과입찰률	총손실 L_agg	1라운드 입찰률	평균 라운드
T=0.3	$18 ± 5	0%	0	100%	18.3
T=0.5	$20 ± 10	1%	<1	100%	18.0
T=0.7	$37 ± 33	14%	7	100%	15.3
T=1.0	$94 ± 53	53%	74	98%	12.4
T=1.4 (baseline)	$190 ± 118	92%	245	95%	11.8
T=1.7	$524 ± 904	95%	424	92%	10.2
T=1.4 + CoT	$54 ± 26	0%	20	76%	11.4

구조 요인 — 초과입찰 확률은 제자리, 손실만 폭증 (Table 2)

조건	최종가	초과입찰률	총손실 L_agg	1라운드 입찰률	평균 라운드
LP, B=150	$130 ± 34	92%	152	96%	11.5
LP, B=300 (baseline)	$190 ± 118	92%	245	95%	11.8
LP, B=500	$212 ± 181	81%	274	96%	10.3
AP, B=150	$132 ± 29	95%	747	97%	13.0
AP, B=300	$211 ± 196	97%	1211	98%	14.9
AP, B=500	$236 ± 253	94%	1202	98%	14.3
AP, B=300 + CoT	$71 ± 24	7%	213	79%	9.3
Fee=$1	$149 ± 64	88%	213	94%	10.8
Fee=$5	$174 ± 109	88%	397	95%	12.0
Fee=$10	$177 ± 60	90%	598	91%	12.5
Fee=$10 + CoT	$42 ± 22	0%	75	47%	5.3

특수 에이전트 비대칭 — 두 백본에서 같은 방향 (Table 2 / Table 4)

조건	DeepSeek-V3 최종가	DS 초과입찰	DS 총손실	MiMo-V2 최종가	MiMo 초과입찰	MiMo 총손실
baseline (LP, B=300)	$190 ± 118	92%	245	$480 ± 355	100%	761
+Benevolent	$209 ± 231	81%	258	$490 ± 338	100%	801
+Malicious	$270 ± 280	97%	389	$694 ± 598	100%	1173
+Mixed	$262 ± 258	90%	396	$848 ± 750	100%	1384

CoT 추론 텍스트의 인지 패턴 빈도 (Table 6, 18,501 agent-round 엔트리, regex 하한)

패턴	LP CoT (n=8,088)	AP CoT (n=6,626)	Fee$10+CoT (n=3,787)
Explicit refusal to bid	8.9%	9.4%	12.4%
Sunk-cost / trap awareness	70.8%	80.5%	80.6%
Wait-and-observe strategy	60.5%	53.8%	66.9%
Value awareness	54.7%	61.1%	54.6%
Loss exposure	28.0%	23.3%	18.2%

강건성 검사 두 종 (Table 3 / Table 5)

검사	핵심 수치
절단 임계 민감도 (3,300세션 통합)	≤ $2, 000 : m e d ian$ 200 / 76.5%, ≤ $5, 000 :$ 200 / 76.7%, ≤ $10, 000 :$ 200 / 76.9%, 무절단: $201 / 77.4% — median·초과입찰률은 0.5%p 이내로 안정, 평균만 94건 환각 입찰에 반응
winner-blocking 제거 ablation (DeepSeek-V3 baseline 100세션)	인접 라운드 자격 쌍 1,138건 중 자가 재입찰 505건(44.4%), 그중 재승리 193건(38.2%), 전체 인접 쌍의 17.0%, 연승 발생 경매 80/100, 최장 연승 4라운드, 평균 자가 증분 $34.10 (최소증분$ 1 대비)

프레임워크 다이어그램

flowchart TD
    A["달러 경매 환경<br/>아이템 가치 100달러<br/>에이전트 8명, 최대 20라운드"] --> B["에이전트 프롬프트<br/>system: 규칙 + 성격 프로필<br/>user: 매 라운드 공개 상태"]
    B --> C["성격 프로필 풀<br/>confidence/risk/loss-aversion/WTP<br/>5의 4승 = 625 중 고정 100개"]
    C --> D["동기식 라운드 진행<br/>병렬 입찰, 최소 증분 1달러<br/>winner-blocking rule 적용"]
    D --> E{"모두 무입찰<br/>또는 20라운드?"}
    E -->|"아니오"| D
    E -->|"예"| F["세션 종료 및 지불 정산"]
    G["생성 수준 요인<br/>temperature, CoT"] --> D
    H["구조 수준 요인<br/>payment rule, per-bid fee, budget"] --> D
    I["구성 요인<br/>benevolent / malicious / mixed"] --> D
    F --> J["지표 산출<br/>overbidding rate, aggregate loss<br/>first-round rate, 평균 라운드, 증분 분포"]
    J --> K["이상치 절단 5000달러<br/>3300건 중 94건 제외"]
    K --> L["OFAT 33조건 비교<br/>DeepSeek-V3 20조건 2000세션<br/>MiMo-V2 309B 13조건 1300세션"]
    L --> M["결론 분업<br/>생성 요인은 덫 진입 여부<br/>구조 요인은 덫의 비용"]

재현성 및 신뢰도 평가

종합등급: Evidence A / Reproducibility B

근거(Evidence A): 33조건 × 100세션 = 3,300세션의 넓은 매트릭스, 모든 셀에 평균과 표준편차 동시 보고, 명시적 규범 벤치마크(zero overbidding, non-negative aggregate payoff)와 baseline 조건, Mann–Whitney U·Fisher exact에 효과크기(d)까지 붙인 유의성 검정, 두 개의 독립 ablation(winner-blocking 제거, 절단 임계 민감도), 그리고 두 번째 백본(MiMo-V2 309B)에서의 방향 재현이 모두 갖춰졌다. 특히 “CoT가 추론 내용을 통해 작동한다”는 해석적 주장을 18,501개 엔트리의 결정론적 regex 카운트로 반증 가능하게 만든 점이 근거 수준을 끌어올린다. 다만 백본이 2종뿐이고 OFAT라 상호작용을 추정하지 않는 점은 일반화 범위를 제약한다.
근거(Reproducibility B): Algorithm 1의 의사코드와 Appendix E의 프롬프트 전문·변형 diff·특수 에이전트 프롬프트가 축자 공개되어 프로토콜 재구현은 가능하다. 하지만 시뮬레이터·로그·분석 스크립트가 “will be released upon acceptance” 상태이고, 두 백본 모두 공식 API 접근이며 temperature 외 생성 파라미터가 “각 API 기본값”으로만 기술돼 스냅샷 버전이 고정되지 않는다. 100개 프로필의 추출 시드도 명시되지 않는다.

주장별 신뢰도

“DeepSeek-V3 경매의 62%가 $100 을초과한다 "— 신뢰도높음 (2, 000 세션집계, F i gu re 1; 단$ 5,000 절단 후 값이며 Table 3의 통합 76.7%와는 모집단이 달라 직접 비교 불가하다는 점을 저자도 명시).
“저온의 낮은 초과입찰률은 전략적 자제가 아니라 pseudo-rational restraint다” — 신뢰도 중간~높음. 라운드 지속(18.3 vs 11.8), 후반 활성 입찰자 수(3–4 vs 약 2), 증분 분포(small 100%/97%/89%)라는 세 독립 지표가 수렴한다. 다만 “이해 없음”은 직접 측정이 아니라 행동 프록시로부터의 추론이며, 저온 조건에는 CoT가 없어 추론 텍스트로 교차 검증할 수 없다.
“한 줄 CoT가 세 구조 전부에서 에스컬레이션을 억제한다” — 신뢰도 높음(LP·AP·Fee=$10 세 조건 모두 90–97%→0–7%, p<10⁻⁴², d>1.1, MiMo-V2에서 100%→5%로 재현).
“malicious는 손실 심도만, benevolent는 진입 확률만 바꾼다” — 신뢰도 중간. DeepSeek-V3에서 방향과 유의성은 명확하나(p=0.21 vs p=0.037), benevolent의 초과입찰 감소는 p=0.037로 경계선이고 MiMo-V2에서는 두 조건 모두 초과입찰률이 100%로 포화돼 이 비대칭을 확인할 수 없다.
“LP→AP는 확률을 안 바꾸고 손실만 2–5배로 키운다” — 신뢰도 높음(DeepSeek-V3 $245 \to$ 1,211 ≈ 4.9배, MiMo-V2 $761 \to$ 1,486 ≈ 2.0배; 초과입찰률은 92%→97%, 100%→100%). 단 MiMo-V2는 초과입찰률이 이미 100%로 천장에 닿아 “불변”의 정보량이 낮다.

노트	실험대	손실 노출 구조	개입 축	핵심 발견의 결
본 논문	8-에이전트 달러 경매, 3,300세션	동적·누적(2등도 지불)	temperature, CoT, payment rule, fee, budget, disposition	생성 요인은 진입, 구조 요인은 비용 — 겉보기 자제가 이해가 아닐 수 있음
Can Large Language Models Develop Gambling Addiction	슬롯머신형 반복 베팅	동적·누적(손실 추격)	자율성 수준, SAE feature 개입	자율성이 커질수록 인간형 중독 패턴, 내부 feature로 양방향 제어 가능
Do Persona-Infused LLMs Affect Performance in a Strategic Reasoning Game	PERIL 전략 게임 토너먼트	정적(라운드별 승패)	persona 프롬프팅, PID-5 성격검사 매개	persona 단독 효과는 미미, 측정된 특성이 매개해야 성능과 상관
LLMs Position Themselves as More Rational Than Humans - Emergence of AI Self-Awareness Measured Through Game Theory	게임이론 시나리오 28모델	정적	자기/타자 프레이밍	자신을 인간보다 합리적이라 위치시킴 — 자기 보고와 행동의 괴리
Generative Agents - Interactive Simulacra of Human Behavior	샌드박스 사회 시뮬레이션	없음	메모리·반성·계획 아키텍처	자연어 에이전트가 그럴듯한 사회 동학을 산출 — 본 논문 프레임워크의 계보

원자적 인사이트 (Zettelkasten)

낮은 지표값이 곧 이해를 뜻하지 않는다 — 결과 수준 안전성과 과정 수준 안전성은 다른 것이다. T=0.3에서 초과입찰률 0%라는 숫자는 인간 실험이라면 합리성의 증거로 읽혔겠지만, 라운드 수준으로 내려가면 그 에이전트들은 baseline보다 6.5라운드 더 오래 덫 안에 머물며 $1-$ 2씩 기계적으로 올리고 있었다. 안전 평가는 최종 결과 분포만이 아니라 궤적의 미시 구조를 봐야 한다.
개입은 “덫에 들어갈지”와 “덫이 얼마나 비쌀지”라는 서로 다른 레버를 건드린다. 생성 수준 요인(temperature, CoT)은 진입 확률을 움직이고 구조 수준 요인(payment rule, fee)은 진입 후 비용을 움직이는데, all-pay는 초과입찰률을 92%→97%로 거의 그대로 두면서 총손실만 $245 \to$ 1,211로 키운다. 한 축만 손보는 안전장치는 다른 축을 방치한다.
추론은 결정을 바꿀 수 있어도 메커니즘을 환불하지 못한다. AP+CoT는 sunk-cost 인식률이 80.5%로 가장 높은데도 $213의 잔여 손실을 남긴다 — 규칙이 참여 자체에 비용을 부과하는 한, 아무리 좋은 추론도 이미 발생한 책임을 되돌리지 못한다. prompt-level 완화의 상한선을 규정하는 경계 조건이다.
자연어로 유도된 적대적 성향은 협조적 성향으로 상쇄되지 않는다. malicious는 모두가 관측하는 가격을 조작하고 benevolent는 자기 행동만 조작하기 때문에, 둘을 함께 넣은 +Mixed의 총손실( $396) 이 ma l i c i o u s 단독 ($ 389)보다 오히려 약간 높다. 각자의 payoff가 자기 최종 위치에만 의존하는 메커니즘에서는 일방적 자제가 타인 인센티브로 되먹임되지 않는다.
동기식 다중 에이전트 경매에서는 “자기 자신과의 경쟁”이 측정 아티팩트를 만든다. winner-blocking을 끄면 직전 승자가 자격 있는 인접 쌍의 44.4%에서 자기 가격을 평균 $34.10씩 다시 올려, 전체 인접 입찰의 17.0%가 에이전트 간 동학이 아닌 자가 에스컬레이션이 된다.

핵심 용어 정리

용어	정의
dollar auction	최고가 입찰자가 아이템을 받고 1·2등이 모두 자기 최종 입찰액을 지불하는 경매 — dynamic loss exposure와 sunk-cost pressure를 최소 형태로 고립시키는 실험대
pseudo-rational restraint	저온 디코딩에서 최소 증분 입찰이 반복돼 결과 지표만 보수적으로 보이는 상태, 전략적 숙고의 산물이 아님
dynamic loss exposure	라운드가 진행될수록 확정 손실이 누적되어 다음 결정을 왜곡하는 구조
loser-pays (LP) / all-pay (AP)	최종 1·2등만 지불 / 양의 입찰을 한 모든 에이전트가 자기 최고 입찰액 지불
aggregate bidder loss	`max(0, Σp_i − 100)` — 경매가 아이템 가치를 초과해 뽑아간 총액
winner-blocking rule	직전 최고가 입찰자의 다음 라운드 입찰 금지, 자가 경쟁 아티팩트 제거용
special agent (benevolent / malicious)	성격 프로필 대신 목적함수를 통째로 교체한 에이전트 — 각각 피해 최소화 / 타인 손실 극대화
OFAT design	baseline에서 한 번에 한 요인만 변경하는 설계, 주효과 식별에 강하고 상호작용 추정은 불가
decision-level vs mechanism-level	판단이 바꿀 수 있는 부분과, 규칙이 강제해 어떤 판단으로도 못 바꾸는 비용 바닥의 구분

BibTeX

@inproceedings{chen2026escalation,
  title     = {Escalation without Understanding: Behavioral Patterns of {LLM} Agents in Dollar Auctions},
  author    = {Chen, Honggu and Huang, Suyuan and Zhu, Daohan and Ge, Sitong and Hou, Yubo and Wang, Ruofei and Wan, Tao and Qin, Zengchang},
  booktitle = {KDD 2026 Workshop on SciSoc Agents and LLMs},
  year      = {2026},
  note      = {Oral presentation. 저자명은 OpenReview 공개 포럼 기준이며, 리뷰용 제출 PDF는 double-blind로 익명 처리되어 있다.},
  url       = {https://openreview.net/forum?id=vZyaniYuuw}
}

이해 없는 에스컬레이션: 달러 경매에서 LLM 에이전트의 행동 패턴

이해 없는 에스컬레이션: 달러 경매에서 LLM 에이전트의 행동 패턴

먼저 이해하기

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX