모델은 자신이 위반하는 것을 기억한다 - 멀티턴 LLM 아이디에이션에서의 제약 준수
Digest: Context: 사용자가 LLM과 여러 차례 주고받으며 아이디어를 다듬을 때(multi-turn ideation), “예산 5천만 원 이하” 같은 제약을 끝까지 지키는지 평가하는 방법이 부족했다. Insight: 저자는 모델이 제약을 잊어서 어기는 게 아니라, 선언적 회상(declarative recall, 제약을 말로 정확히 복창하는 능력)과 행동적 준수(behavioral adherence, 그 제약을 실제 산출물에 반영하는 것)가 분리(dissociation)된다는 점에 주목한다. Solution: 이를 측정하려 DriftBench를 만들어 7개 모델/5개 제공사를 단발(SS)·중립 멀티턴(MT-N)·압박 멀티턴(MT-P)·체크포인트(CK-P) 4조건, 38개 브리프/24개 과학 도메인, 2,146회 채점 실행으로 비교하고, 매 턴 끝에 제약을 다시 말하게 하는
restatement probe(복창 검사)로 회상 여부를 분리 측정했다. Evidence:KBV(knows-but-violates, 제약을 정확히 복창하고도 준수 점수가 4점 미만인 실행의 비율)가 8%(GPT-5.4)에서 99%(Sonnet 4.6)에 달하고 7개 중 4개 모델이 50%를 넘으며, 6/7 모델이 마지막 턴에서 제약을 100% 회상(전체 97.3%)해 위반이 망각 아닌 회상 보존 상태에서 일어남을 보였다; 압박 시 전 모델에서 **complexity inflation(복잡도 팽창, 제약 무시한 채 방법론 요소가 부풀어 오름; MT-P 1.89±.05 vs SS 0.40±.03, 방법론 요소 +50%, p<0.001)**이 나타났고,surface fidelity gap(표면 충실도 격차)이 큰 Llama-3.3-70B는 가장 짧은 445토큰 응답에서도 93% KBV를 기록했다. Limitations: 체크포인팅은 KBV를 부분적으로만 낮추고(Qwen 55%→36%, Sonnet 99%→87%, Llama 93%→92%) 자동 모니터링도 실패(Sonnet 97%, Llama 89%)하며, 인간 검증 결과 LLM 심사자는 특이도 97%·민감도 15%(인간 34건 적발 vs 심사자 7건)로 보고된 준수 점수가 보수적이고, “Continue.” 중립 턴이 진짜 중립이 아닐 수 있는 명령 중재 교란·단일 도메인·Anthropic 프런티어(Opus 4.6) 미포함이 남는다. Open Questions: 회상-행동 분리를 닫으려면 어떤 개입이 필요한지, 이 현상이 연구 아이디에이션 밖 도메인과 프런티어 모델에서도 동일한지는 미해결이다. 📎 https://arxiv.org/abs/2604.28031
먼저 이해하기
쉬운 설명
이 논문은 사람이 LLM과 여러 번 대화하며 아이디어를 발전시킬 때, 처음에 정한 제약(예: “비용 한도”, “특정 기법 금지”)을 모델이 끝까지 지키는지 측정한 벤치마크 DriftBench(제약 표류를 재는 시험대)를 만든다. 놀라운 발견은, 모델에게 마지막 턴에서 “지금 지켜야 할 제약이 뭐였지?”라고 물으면 6/7 모델이 100% 정확히 복창(restatement probe, 제약 복창 검사)하면서도 정작 그 제약을 어긴다는 점이다. 즉 제약을 잊어서가 아니라, 말로 아는 것(declarative recall, 선언적 회상)과 실제 결과물에 반영하는 것(behavioral adherence, 행동적 준수)이 따로 논다(dissociation, 분리). 이 “알면서 어기는” 비율인 KBV(knows-but-violates rate)는 모델에 따라 8%(GPT-5.4)에서 99%(Sonnet 4.6)까지 벌어진다. 비유하자면 시험 직전 “휴대폰 금지”라고 또박또박 외운 학생이 시험 중 휴대폰을 켜는 것과 같은데, 압박을 받을수록 답안에 불필요한 방법론을 잔뜩 덧붙이는 complexity inflation(복잡도 팽창)까지 겹친다(MT-P 1.89 vs SS 0.40). 다만 이 결과는 7개 모델·24개 과학 도메인·연구 아이디에이션 과제라는 조건에서 나온 것이고, 체크포인팅으로 일부만 줄었을 뿐 분리는 닫히지 않았다(예: Sonnet 99%→87%).
왜 중요한가
멀티턴 LLM 사용에서 “모델이 제약을 어기는 건 컨텍스트 길이 한계로 잊어버려서”라는 통념을, 회상은 보존된 채(전체 97.3%) 위반이 일어난다는 직접 증거로 반박한다. 이는 단순히 컨텍스트를 늘리거나 제약을 다시 주입하는 방식의 해결책이 충분치 않을 수 있음을 시사한다 — 실제로 체크포인팅(Qwen 55%→36%)과 자동 모니터링(Sonnet 97% 실패)이 분리를 닫지 못했다. 또한 LLM 심사자가 민감도 15%로 위반을 놓쳐(인간 34건 vs 심사자 7건) 보고된 준수 점수가 오히려 보수적이라는 점은, LLM-as-judge 기반 평가가 준수 실패를 과소평가할 위험을 드러낸다. 다만 저자는 이를 단일 저자 프리프린트의 기술적 관찰로 제시하며, 단일 도메인·Opus 4.6 미포함 등 한계 안에서 해석해야 한다.
먼저 알아둘 말
| 용어 | 쉬운 설명 | 정확성 메모 |
|---|---|---|
| KBV (knows-but-violates rate) | 제약을 정확히 복창하고도 정작 안 지킨 실행의 비율 | 복창 정확 + 준수 점수 <4인 run 비율. 8%(GPT-5.4)~99%(Sonnet 4.6), 7개 중 4개가 50% 초과 |
| restatement probe (제약 복창 검사) | 매 턴 끝에 “지켜야 할 제약이 뭐였지?”라고 물어 회상 여부를 따로 재는 절차 | 6/7 모델 마지막 턴 100% 회상, 전체 97.3% → 위반이 망각 때문이 아님을 입증. forked conversation(is_probe 플래그)으로 본 대화에 미노출 |
| constraint adherence / drift (제약 준수/표류) | 처음 정한 제약을 결과물이 끝까지 지키는 정도, 점점 어긋나면 표류 | 0~4 척도, 준수 <4를 위반으로 간주. 단발 SS→압박 MT-P로 갈수록 악화 |
| declarative recall vs behavioral adherence | 제약을 “말로 아는 것”(선언적 회상)과 “행동으로 지키는 것”(행동적 준수)의 구분 | 둘의 분리(dissociation)가 이 논문의 핵심 발견 |
| complexity inflation (복잡도 팽창) | 압박받을수록 답에 방법론 요소를 불필요하게 덧붙이는 현상 | 구조적이지 표현상만이 아님. MT-P 1.89±.05 vs SS 0.40±.03; 방법론 요소 14.6 vs 9.7개(+50%, p<0.001) |
| surface fidelity gap, SFG (표면 충실도 격차) | 과제를 잘 수행하는 것처럼 들리지만 실제론 실패하는 정도 | Llama-70B +0.80(말만 그럴듯), Sonnet 4.6 +0.18, Flash/Qwen은 0 근처/음수 |
| checkpointing (CK-P, 체크포인트 조건) | 중간중간 제약을 다시 확인·주입해 표류를 막으려는 개입 | KBV를 부분만 감소: Qwen 55%→36%, Sonnet 99%→87%, Llama 93%→92%. 분리 미해결, 복잡도 잔존 |
| LLM-as-judge specificity / sensitivity | LLM이 채점할 때, 정상을 정상으로 보는 정도(특이도) vs 위반을 잡아내는 정도(민감도) | 특이도 97%·민감도 15%. 인간 34건 적발 vs 심사자 7건 → 보고 점수는 보수적(위반 과소 적발) |
| DriftBench (4 조건) | 단발(SS)·중립 멀티턴(MT-N)·압박 멀티턴(MT-P)·체크포인트(CK-P)로 나눈 평가 설계 | 2,146 scored runs, 7 모델/5 제공사(open-weight 2), 38 briefs/24 과학 도메인. CC-BY-4.0 공개 |
섹션별 요약
Abstract
반복적 아이디에이션(iterative ideation, 아이디어를 여러 번 개선하는 과정)에서 대형 언어 모델(LLM)이 원래 목표에 충실한지 체계적으로 평가한 연구다. 저자들은 DRIFTBENCH(다중턴 LLM 보조 과학적 아이디에이션에서 제약 준수를 측정하는 벤치마크)를 제안하며, 5개 제공사 7개 모델·4가지 상호작용 조건·24개 과학 도메인의 38개 research brief(연구 개요서)에 걸쳐 총 2,146회 채점 실험을 수행했다. 반복적 압박(iterative pressure)은 구조적 복잡도를 일관되게 높이고 원래 제약 준수를 빈번하게 저해한다는 사실이 확인되었다. 복창 probe(restatement probe, 모델에게 제약을 다시 말하게 하는 검사)는 선언적 회상(declarative recall)과 행동적 준수(behavioral adherence) 사이의 해리(dissociation)를 드러냈는데, 모델은 위반하고 있는 제약을 동시에 정확히 복창할 수 있었으며, KBV(knows-but-violates, 회상은 유지되었으나 위반이 발생하는 비율)는 모델에 따라 8%~99%에 달한다. 구조적 체크포인팅(structured checkpointing)은 KBV를 부분적으로 낮추지만 해리를 닫지 못하며, blind rater(맹검 평가자) 대조 검증은 LLM judge(LLM 자동 판정기)가 제약 위반을 과소 탐지함을 보여 보고된 제약 준수 점수가 보수적으로 추정됨을 확인했다.
저자 contribution
- 24개 과학 도메인 38개 research brief로 구성된 DRIFTBENCH를 구축하여, hard constraint(엄격한 제약)와 banned move(금지 행동) 기반의 도메인 전문가 없는 자동 drift 채점 체계를 제공한다.
- 복창 probe를 통해 knows-but-violates(KBV) 현상을 발견함으로써, 선언적 회상이 보존된 상태에서 행동적 위반이 발생하는 회상-준수 해리를 실증한다.
- 7개 전 모델에서 complexity inflation(복잡도 팽창)이 출현함을 보이고, blind judge·structured judge·cross-model calibration(교차 모델 보정)으로 구성된 측정 검증 프레임워크를 통해 결과의 강건성을 확인한다.
왜 이 연구를 하는가?
핵심 질문: 다중 턴(multi-turn) 상호작용에서 LLM이 제약 조건을 정확히 복창할 수 있음에도 실제 출력에서는 그 제약을 반복적으로 위반하는 현상, 즉 회상과 준수의 괴리(recall-adherence dissociation)는 왜 발생하며, 이를 기존의 망각(forgetting) 혹은 문맥 손실 이론으로 설명할 수 있는가?
기존 접근법의 한계
| 한계 | 설명 |
|---|---|
| 다중 턴 벤치마크의 측정 범위 한계 | MT-Bench [Zheng et al. 2023], MT-Bench-101 [Bai 2024], MT-Eval, MultiChallenge [Deshpande 2025] 등 기존 다중 턴 평가 프레임워크는 턴별 출력 품질이나 최종 과제 성공률을 측정하며, 반복적 압박(iterative pressure) 하에서 하드 제약(hard constraint)이 유지되는지는 측정하지 않는다. |
| 맥락 드리프트(context drift) 이론의 설명력 부재 | Wu et al. [2024], Liu et al. [2024a], Dongre et al. [2025] 등이 제안한 장기 기억 한계·장문 맥락 활용 한계·KL 발산 기반 드리프트 모델은 정보 손실이 위반의 원인이라고 암묵적으로 가정하나, 본 연구에서는 모델이 제약을 완벽히 회상하면서도 위반하는 사례가 관찰되어 이 가정이 반증된다. |
| 에이전트·궤적 평가 프레임워크의 결과 중심 편향 | AgentBench, MINT, TRACE [Chen 2026] 등 에이전트 평가 연구들은 최종 결과(outcome)나 궤적 인식(trajectory-aware) 지표를 제안하지만, 제약 회상과 제약 준수 간의 해리(dissociation)를 직접 측정하는 프레임워크는 존재하지 않는다. |
| 과학적 아이디에이션(scientific ideation) 평가의 정적(static) 한계 | IdeaBench, HypoBench, Ruan 2026, CoQuest, PersonaFlow, DiscoveryWorld는 생성된 아이디어 출력물을 정적으로 평가하며, 다중 턴 궤적에 걸친 제약 준수 또는 회상-준수 해리를 조작화(operationalize)하지 않는다. |
핵심 통찰
- KBV(Knows-But-Violates) 현상 — 모델이 위반하는 제약을 8~99%의 정확도로 복창할 수 있다는 사실 — 은 다중 턴 저하(multi-turn degradation)가 단순 망각이 아닌 선언적 지식(declarative knowledge)과 행동적 준수(behavioral adherence) 간의 구조적 괴리임을 시사한다.
- 이 괴리는 체크포인팅(checkpointing)과 모니터링(monitoring) 같은 통상적 완화 전략으로도 닫히지 않으며, 단순한 공학적 조치(engineering fix)의 한계를 노출한다.
Introduction
다중 턴 상호작용(multi-turn interaction)은 현재 LLM 사용의 지배적 형태다. 연구자들은 지속적 대화를 통해 가설을 정제하고 실험 설계를 강화하며 제안서를 반복적으로 다듬는다. 그러나 기존 다중 턴 벤치마크 — MT-Bench [Zheng et al. 2023], MT-Bench-101 [Bai 2024], MT-Eval [Kwan 2024], MultiChallenge [Deshpande 2025] — 는 턴별 출력 또는 집계 과제 성공률을 평가할 뿐, 반복적 압박 하에서 하드 제약이 유지되는지를 측정하지 않는다. 회상(recall)과 준수(adherence) 간의 해리를 탐지하는 기존 벤치마크 또한 존재하지 않는다.
본 논문은 이 가정을 정면으로 반박하는 발견을 보고한다. 연구 제안서(research proposal)를 개선하라는 반복적 압박 하에서, 복수의 모델이 원래 제약을 재진술하라는 요청에 거의 완벽한 정확도로 응답하면서도 실제 제안서에서는 그 제약을 위반한다. KBV(Knows-But-Violates, 알지만 위반하는 비율) 비율은 GPT-5.4의 8%부터 Sonnet 4.6의 99%까지 폭넓게 분포하며, 7개 모델 중 4개가 50%를 초과한다. 이 선언적 회상(declarative recall)과 행동적 준수(behavioral adherence) 간의 해리가 본 논문의 핵심 실증적 발견이다.
관련 연구는 여러 설명 후보를 제시한다. Wu et al. [2024]은 장기 기억 한계를, Liu et al. [2024a]는 장문 맥락 활용 한계를, Zhuo et al. [2024]는 프롬프트 민감도(prompt sensitivity)를 지적한다. Dongre et al. [2025]는 맥락 드리프트(context drift)를 턴 단위 KL 발산(KL divergence)이 유계 평형(bounded equilibrium)에 도달하는 현상으로 형식화한다. Laban et al. [2025]는 LLM이 잘못된 턴에서 회복하지 못해 평균 39% 성능 하락이 발생함을 보인다. 그러나 이 설명들은 모두 정보 손실(information loss)을 전제하며, 드리프트가 회상 실패와 상관관계를 가질 것으로 예측한다. 본 연구의 벤치마크에서 그 상관관계는 성립하지 않는다.
에이전트 평가 관련 연구들 — AgentBench, MINT, ToolSandbox, TurnBench-MS, AgentBoard — 은 궤적이 아닌 최종 결과를 평가하며, TRACE [Chen 2026]는 최종 성과 지표가 “high-score illusion”을 유발한다고 주장하며 궤적 인식 평가를 제안한다. 과학적 아이디에이션 평가 — IdeaBench, HypoBench, Ruan 2026, CoQuest, PersonaFlow, DiscoveryWorld — 는 생성 출력물을 정적으로 평가하며, 다중 턴 궤적에 걸친 제약 준수나 회상-준수 해리를 조작화하지 않는다. 선행 연구 중 선언적 제약 지식을 완전히 보유한 모델이 그 제약을 체계적으로 위반할 수 있는지를 직접 검증한 연구는 없다. 본 논문은 의도적으로 기술적(descriptive)이며 기계론적 인과 주장(mechanistic claim)을 하지 않는다.
Methods
프레임워크 개요 — DriftBench는 다중턴 LLM 상호작용에서 **제약 조건 준수(constraint adherence)**와 회상(recall) 사이의 해리(dissociation)를 객관적으로 측정하기 위해 설계된 벤치마크로, 세 가지 현상(constraint drift, complexity inflation, lock-in)을 정량화하는 구조화된 실험 파이프라인이다.
핵심 구성요소
- 문제 정의 (§3.1): 세 가지 측정 대상을 형식적으로 정의한다. Constraint drift(제약 표류 — 0–4 루브릭에서 준수 점수 4 미만이거나 하드 제약이 위반되는 상태), KBV(knows-but-violates — 회상≥80%이면서 표류가 발생하는 비율; 논문의 1차 지표), complexity inflation(복잡도 팽창 — 원문 길이를 통제한 후 방법론 구성요소·단계·의존성·자원 요건의 구조적 증가), lock-in(표류 고착 — 교정 개입 후에도 표류가 지속되는 현상). 독립 감사자(independent auditor)의 전반적 표류 분류는 KBV와 80% 일치(Spearman ρ=0.60).
- 연구 착안 태스크 (§3.2): 입력 단위는 structured research brief(구조화된 연구 기획서)로, 목표, 바이너리 확인 가능한 하드 제약 5–8개, 금지 행동(banned move) 3–5개, 성공 기준, 타당한 방향을 포함한다. 24개 과학 도메인에서 38개 기획서를 구성하고 JSON Schema로 검증하며, LLM 시뮬레이션 도메인 전문가와 인간 검토자 모두를 통해 타당성을 확인했다.
- 상호작용 조건 (§3.3, Table 1): 네 가지 조건이 같은 시스템 프롬프트를 공유한다. Single-shot SS(단일 턴, 표류 기회 없는 베이스라인), Multi-turn Neutral MT-N(6턴, “Continue.”만 요청; 턴 수를 통제), Multi-turn Pressure MT-P(6턴, “더 참신하게”, “설계를 강화하라”, “구성요소를 추가하라” 등 점진적 압박), Checkpoint CK-P(6+2턴, 동일 압박 + 2·4턴 후 구조화된 자기반성). 동일 프롬프트에서도 모델 간 KBV 범위가 8–99%에 달해 프롬프트가 표류를 결정하지 않음을 확인한다.
- 모델 구성 (§3.4): 5개 제공사의 7개 모델 — 프론티어 상업 모델 GPT-5.4, Gemini 3.1 Pro; 중간급 상업 모델 GPT-5.4-mini, Claude Sonnet 4.6, Gemini 3.1 Flash-Lite; 중간급 오픈웨이트(공개 가중치) 모델 Qwen3-235B, Llama-3.3-70B-Instruct. 온도(temperature)는 Gemini 제외 전 모델 0.7(Gemini는 제공사 권고에 따라 1.0). 크로스-패밀리 판정(cross-family judging — 모델이 자신의 출력을 판정하지 않음): Claude Opus 4.6이 비(非)Anthropic 출력 판정, GPT-5.4가 Anthropic 출력 판정. 별도 GPT-5.4 감사자가 독립 평가.
- 채점 루브릭 (§3.5): 0–4 척도 4개 핵심 지표: objective fidelity(목표 충실도), constraint adherence(제약 준수), alternative coverage(대안 포괄성), complexity inflation. 파생 지표로 surface fidelity gap(표면 충실도 격차 — 충실도에서 제약·대안 평균을 뺀 값; 양수면 태스크 수행처럼 들리지만 기획서를 좁히는 패턴)과 KBV rate를 산출한다.
- 회상 탐침 (§3.6): 다중턴 조건의 매 턴마다 별도 API 호출로 모델이 원래 목표·하드 제약·금지 행동을 그대로 재현하도록 요청한다. 이 호출은 분기된 대화(forked conversation)로 실행되며(
is_probe플래그), 이후 턴에 노출되지 않고 전사(transcript)에 저장된다. 회상은 할 수 있지만 준수는 하지 않는 해리 현상을 직접 측정하는 핵심 장치다.
입력 → 출력 흐름 — structured research brief(5–8개 하드 제약, 3–5개 금지 행동 포함)가 실험 입력으로 주어진다. 네 가지 상호작용 조건(SS / MT-N / MT-P / CK-P)에서 각 턴마다 모델이 연구 제안(proposal)을 생성하는 동시에, 별도 분기 API 호출로 회상 탐침이 실행된다. 탐침 결과와 제안 모두 전사에 저장된 후, 크로스-패밀리 판정 모델이 0–4 루브릭으로 4개 지표를 채점하고 KBV rate와 surface fidelity gap을 산출한다. 최종적으로 독립 감사자의 전반적 분류가 검증 레이어로 추가된다.
기존 방법과의 차별점 — 기존 LLM 벤치마크가 단일 턴 응답의 정확도·안전성을 측정하는 것과 달리, DriftBench는 다중턴 압박 하에서 회상과 준수를 의도적으로 분리하여 측정한다. 회상 탐침을 분기 대화로 격리해 모델이 탐침 결과를 이후 대화에 활용하지 못하게 함으로써, 회상 능력이 아닌 압박에 의한 행동 변화를 순수하게 포착한다. 또한 자가 판정 편향을 방지하는 크로스-패밀리 판정 구조와, config.yaml 설정 파일 하나로 재채점이 가능한 모듈형 파이프라인(Jinja2 프롬프트 템플릿)을 통해 측정 신뢰성과 확장성을 동시에 확보한다.
측정 검증 (§3.8) — blind judge(대화 transcript 없이 brief와 최종 제안만 채점하는 변형)는 transcript-aware judge와 kappa=0.74–0.89로 일치(n=2,122)하며, 토큰-점수 상관이 동일(부트스트랩 95% CI에 0 포함)해 상관이 transcript 편향이 아닌 실제 구조적 복잡도를 반영함을 확인했다. 복잡도≠장황함: 출력 길이만으로 복잡도 분산의 37%(R²=0.366) 설명, 조건 추가 시 +27pp(R²=0.636), 모델 정체성 추가 시 +21pp(R²=0.842) [OLS n=2,127, brief 단위 cluster-robust SE, 순서형 회귀 p<0.001]. 구조 추출 결과 압박 제안은 평균 14.6개 방법론 단계/구성요소/의존성 vs 단발 9.7개로 +50%(p<0.001).
발견 (Findings)
- 복잡도 인플레이션의 보편성: 압박 조건에서 7개 모델 전체가 Complexity 점수를 상승시켰으며, MT-P 조건의 평균 Complexity는 1.89±0.05로 Single-shot 베이스라인 0.40±0.03 대비 약 4.7배 높았다(Table 2). 비준수율 또한 Neutral 31% 대비 Pressure 54%로 23pp 증가하였다(Fig. 1).
- 회상-준수 해리의 비환원성: 7개 모델 중 6개가 최종 턴에서 100% 제약 회상 정확도를 보였으나, Sonnet 4.6 99%, Llama-3.3-70B 93%의 KBV를 기록했다. 이는 제약 망각이 아닌 생성 과정에서의 능동적 가중 실패임을 직접 입증하며, 해당 해리가 4개 제공사에 걸친 복수 모델에서 관찰되어 특정 아키텍처 한계가 아닌 범용적 현상임을 나타낸다.
- 개입의 한계 — 해리 미해소: Checkpoint 및 2-모델 자동 모니터링 두 개입 모두 KBV를 부분적으로 낮추는 데 그쳤고(Qwen 최대 -19pp), Sonnet 4.6과 Llama-3.3-70B에서 KBV는 87-99% 구간에 잔존했다. Complexity 인플레이션은 양쪽 개입 후에도 지속되었으며, Sonnet 4.6의 SFG는 checkpoint 후 오히려 +0.18에서 +0.51로 확대되었다.
- 모델 간 극단적 분산: KBV는 GPT-5.4(OpenAI) 8%에서 Sonnet 4.6(Anthropic) 99%까지 91pp 범위에 걸쳐 분포하며(Table 3), 이 분산이 동일 프롬프트 환경에서 발생한다는 점에서 드리프트는 단순한 instruction-following 문제가 아닌 모델-내적 우선순위 충돌(instruction arbitration)의 문제임을 시사한다.
- 장황함(verbosity)으로의 환원 불가: Llama-3.3-70B는 pressure 조건에서 평균 445 tokens로 7개 모델 중 가장 짧은 응답을 생성했음에도 KBV 93%를 기록했다. Fidelity 회귀 분석에서 length는 상업 모델 내 독립 효과가 없었다(p=0.31). 드리프트는 응답 길이 증가의 부산물이 아니다.
Results
4.1 모든 모델에서 복잡도 인플레이션(complexity inflation) 확인 — 압박(pressure) 조건 하에서 7개 모델 전체가 complexity 점수를 높이는 방향으로 반응했다(Table 2). 비준수율(adherence < 4 기준)은 조건별로 Single-shot 35%, Neutral 31%, Pressure 54%, Checkpointed 47%로 나타났다(Fig. 1). MT-P 조건의 Complexity 평균은 1.89±0.05로 Single-shot 0.40±0.03 및 MT-Neutral 0.67±0.05 대비 현저히 높았고, Fidelity는 MT-P에서 3.62±0.02, Constraints는 3.31±0.03으로 하락하였다. Checkpointed 조건(CK-P)은 MT-P보다 완만한 저하를 보였으나 Complexity 1.64±0.05로 여전히 베이스라인 대비 크게 높았다.
4.2 모델 간 드리프트 편차 — KBV 패턴 — SS→MT-P 전환 기준, KBV는 모델 간 8%~99%의 광범위한 분포를 보였다(Table 3). Sonnet 4.6(Anthropic)이 KBV 99%, Llama-3.3-70B(Meta)가 93%로 가장 높았고, GPT-5.4(OpenAI)는 8%로 최저였다. 7개 모델 중 4개가 pressure 조건에서 KBV 50% 초과였으며, 4개 제공사에 걸쳐 분포했다. 자동 감사자(auditor)의 분류는 KBV와 80% 일치(Spearman rho=0.60). Complexity와 Fidelity 간에는 OLS beta=-0.25 (p<0.001)의 부적 관계가 확인되었다. Fidelity 회귀에서 complexity·length 통제 후 응답 길이는 상업 모델에서 독립 효과 없음(p=0.31)이나 오픈웨이트 모델에서는 유의(p<0.001)했다. 표면 충실도 격차(SFG)는 Llama-70B에서 +0.80으로 가장 컸고(외견상 on-task이나 제약 위반), Sonnet 4.6은 +0.18, Gemini Flash·Qwen3-235B는 0에 가깝거나 음수였다. Fig. 2에서 GPT-5.4는 SS 3.93/N 3.96/P 3.92/CK 3.96으로 거의 완벽한 반면, Sonnet 4.6은 SS 3.05/N 2.86/P 2.45/CK 2.87로 가장 낮은 유지력을 보였다.
4.3 회상–준수 해리(recall-adherence dissociation) — 핵심 발견 — 최종 턴 재진술 프로브 결과 7개 모델 중 6개가 100% 회상 정확도, Gemini Pro 81%, 전체 평균 97.3%였다. 그러나 모델들은 제약을 기억하면서도 이를 위반하였다(Sonnet 4.6 99%, Llama 93%, Gemini Flash 76%, Qwen3-235B 55%). 드리프트 사례의 74%에서 첫 위반이 2턴 이내에 발생하여 개입 가능 구간이 협소했다. 이 결과는 제약 지식이 직접 유도 시 활용 가능(available)하지만 생성 중 능동적 가중(active weighting)에는 반영되지 않음을 시사한다. 메커니즘(instruction arbitration, sycophancy 등)은 미확정이며, GPT-5.4가 동일 프롬프트에서 KBV 4%에 그친다는 점에서 단순 instruction-following 문제로 환원되지 않는다.
4.4 체크포인트(checkpoint) 개입 효과 — 부분 감소, 해리 미해소 — Qwen3-235B는 KBV 55%→36%(-19pp), Sonnet 4.6은 99%→87%(-12pp), Llama-3.3-70B는 93%→92%(-1pp)로 효과가 상이했다(Fig. 3). Complexity 인플레이션은 지속되었고, SFG는 Sonnet 4.6에서 +0.18→+0.51로 확대, Llama-70B는 약 +0.80 수준을 유지했다. 두 OpenAI 모델(GPT-5.4 8%→4%, GPT-5.4-mini 16%→8%)은 추가 감소를 보였으나 원래부터 낮은 기저선이었다.
4.5 자동화된 제약 모니터링 — 해리 미해소 — 경량 GPT-5.4-mini가 매 턴 각 제약을 점검하고 위반 시 경고를 삽입하는 2-모델 아키텍처(38개 brief, 4개 고-드리프트 모델, 151회 실행)에서, KBV는 Sonnet 4.6 97%, Llama-3.3-70B 89%로 높은 수준을 유지했다. Adherence는 미미하게 개선되었으나(Sonnet 2.89 vs checkpoint 2.87, Llama 2.95 vs checkpoint 2.86), Complexity 인플레이션은 지속(Sonnet 3.84). 두 개입 모두 회상-준수 해리를 종식시키지 못했다.
4.6 민감도 분석 — 온도: Gemini Flash를 온도 0.7로 재실행 시 KBV 76%(온도 1.0)→83%로 오히려 높아져 temperature가 비준수의 원인이 아님을 시사했다(각 조건 n=76). 압박 유형: “rigor pressure” 변형을 38개 brief, 3개 모델에 적용한 결과 Sonnet 4.6 95%(novelty 99%), Gemini Flash 50%(76%), GPT-5.4 18%(8%)로, 특정 프롬프트를 넘어 일반화됨이 확인되었다.
Discussion
DriftBench가 드러낸 핵심 의미는 단순한 성능 격차가 아니라 표면 정렬(surface alignment)과 실질 준수(constraint adherence) 사이의 구조적 괴리다. 모델들은 제약을 정확히 복창하면서도 동시에 그것을 위반했으며, KBV 비율은 모델 간 8%에서 99%까지 분포했다. 이 격차는 “망각”이나 “무작위 노이즈”로 설명되지 않는다. 97%의 프로브 정확도(probe accuracy)는 모델이 제약을 기억하고 있음을 보이고, 위반 방향이 일관되게 복잡도 증가 쪽으로 쏠린다는 사실은 확률적 잡음 가설을 기각한다.
§5에서 검토한 대안 설명들 중 ‘지시 중재(instruction arbitration)’ 가설은 부분적으로 타당하다. 압박 프롬프트(pressure prompt)는 원래 brief와 최신 사용자 요청 사이의 긴장을 만들고, 모델이 최신 턴을 더 높이 가중하는 것이 합리적 선택일 수 있다. 그러나 만약 지시 중재가 주된 원인이라면 동일 프롬프트에서 모든 모델이 유사한 KBV를 보여야 하는데, 실제로는 8%에서 99%의 거대한 분산이 관찰된다. 이 교차-모델 변동성 자체가 핵심 벤치마크 결과이며, 제약 보존 능력이 모델마다 크게 다름을 시사한다. Dongre et al. (2025)의 균형 가설(equilibrium hypothesis)은 복잡도 증가와 관련해서는 부분적으로 지지되지만, 제약 정렬 유지와 관련해서는 지지되지 않는다.
실용적 함의로는, 체크포인팅과 자동 모니터링이 잠금 효과(lock-in)를 완화하지만 준수를 회복하거나 복잡도 팽창을 제거하지는 못한다. 소리상 정렬된 것처럼 들리는 모델이 여전히 제약을 폐기하고 있을 수 있다. 따라서 복창 확인(restatement check)만으로는 실제 준수를 검증할 수 없으며, 제안 확인(proposal checking)을 병행하는 것이 실용적 보호 장치다. 평가 체계 측면에서, 현행 다중 턴 벤치마크는 최종 턴 품질만 측정하는 경향이 있어, 향후 벤치마크는 객관적 위반 감지가 가능한 제약 기반 brief(constraint-based brief)를 포함해야 한다.
이론적 의의
- 표면 정렬과 실질 준수의 해리(dissociation): 모델이 제약을 정확히 복창하면서 동시에 위반할 수 있다는 발견은, 언어적 수행(verbal performance)이 행동적 준수(behavioral compliance)와 독립적으로 존재할 수 있음을 보인다. 이는 “모델이 규칙을 말할 수 있으면 따를 수 있다”는 암묵적 가정을 경험적으로 반박하며, 정렬 연구(alignment research)에서 평가 지표 재설계를 요청한다.
- 제약 준수 가능성(trainability)의 모델 간 이질성: 동일한 압박 프롬프트 아래에서 KBV가 8%에서 99%까지 분포한다는 사실은, 제약 보존이 원칙적으로 훈련 가능한 속성임을 시사한다. 이는 드리프트를 언어 모델의 불가피한 부산물이 아니라 훈련 선택과 설계의 함수로 볼 이론적 근거를 제공한다.
- 다중 턴 평가의 방법론적 공백: 단일 턴 또는 최종 턴 품질 중심의 벤치마크가 표면 충실도 갭을 감지하지 못함을 실증함으로써, 다중 턴 제약 지속성(multi-turn constraint persistence)을 독립적 평가 차원으로 정립할 필요성을 이론적으로 정당화한다.
Discussion Points
(a) 한계
- 지시 중재 혼입: 압박 프롬프트는 원래 brief와 최신 사용자 턴 사이의 정당한 긴장을 유발하며, 관찰된 드리프트 일부는 지시 적응(instruction adaptation)을 반영할 수 있다. 교차-모델 변동성이 이것이 유일한 원인이 아님을 시사하지만, 두 효과를 깔끔하게 분리하는 설계는 미완성이다.
- 중립 조건의 내재적 비중립성: “Continue.”는 화용론적으로 정교화를 허용하는 약한 압박으로 기능할 수 있어, “아무 압박도 없는” 조건을 구현했다는 주장을 약화시킨다. 완전히 불활성인 다중 턴 프롬프트 설계는 미해결 과제로 남는다.
- 단일 도메인 한정: 연구 아이디어 도출은 장기·개방형·고복잡도 태스크다. 더 짧거나 구조화된 도메인에서 KBV 패턴이 재현되는지는 검증되지 않았다.
- 프론티어 모델 부재: 비용 제약으로 Opus 4.6이 subject 모델에서 제외되어 결과의 일반화 범위에 공백이 존재한다. 전체 벤치마크는 API 호출 기준 약 $450, 단일 노트북(GPU 없음)에서 약 12시간 소요되었다.
(b) 향후 방향
- 제약 기반 다중 턴 벤치마크 개발: 객관적 위반 감지가 가능한 brief를 포함한 벤치마크를 설계하여, 현행 최종 턴 품질 중심 평가의 표면 충실도 갭 문제를 해소한다.
- 저-드리프트/고-드리프트 모델 간 훈련 요인 분석: KBV 분산(8–99%)의 원인이 되는 훈련 선택(instruction-following 심도, 제약 우선순위화 학습 여부 등)을 체계적으로 분석하여 제약 준수의 훈련 가능성을 검증한다.
- 도메인 범위 확장: 더 짧고 구조화된 태스크(예: 코드 생성, 요약)에 DriftBench를 적용하여 드리프트 패턴의 도메인 의존성과 일반화 가능성을 파악한다.
(c) 논쟁점 / 검증할 가정 / 후속 연구
- 논쟁점: 압박 하의 복잡도 팽창이 “합리적 지시 중재”인지 “정렬 실패”인지의 경계는 어디인가? 교차-모델 변동성이 중재 효과가 아님을 시사하지만, 이를 실험적으로 확인하려면 단계적 압박 격리 설계가 필요하다.
- 검증할 가정: KBV가 높은 모델과 낮은 모델이 실제로 다른 훈련 체계를 가진다는 가정이 인과적으로 성립하는가? 현 연구는 상관 관찰이며, 훈련 요인의 인과적 역할은 별도 ablation 연구로 검증되어야 한다.
- 후속 연구: 자동 모니터링과 체크포인팅이 준수를 회복하지 못한다면, 어떤 개입(fine-tuning 시점 조정, 제약 명시적 강화 훈련 등)이 KBV를 유의미하게 낮추는가?
실험 결과 상세
| Model/Method | Dataset/Condition | Metric | Score (mean±SE) | vs. Baseline (SS) |
|---|---|---|---|---|
| Aggregate — SS | DriftBench (n=542) | Fidelity (0-4) | 3.97 ± 0.01 | — |
| Aggregate — SS | DriftBench (n=542) | Constraints (0-4) | 3.63 ± 0.02 | — |
| Aggregate — SS | DriftBench (n=542) | Alternatives (0-4) | 3.71 ± 0.02 | — |
| Aggregate — SS | DriftBench (n=542) | Complexity (0-4, lower=better) | 0.40 ± 0.03 | — |
| Aggregate — MT-N | DriftBench (n=531) | Fidelity | 3.96 ± 0.01 | -0.01 |
| Aggregate — MT-N | DriftBench (n=531) | Constraints | 3.66 ± 0.02 | +0.03 |
| Aggregate — MT-N | DriftBench (n=531) | Alternatives | 3.72 ± 0.03 | +0.01 |
| Aggregate — MT-N | DriftBench (n=531) | Complexity | 0.67 ± 0.05 | +0.27 |
| Aggregate — MT-P | DriftBench (n=545) | Fidelity | 3.62 ± 0.02 | -0.35 |
| Aggregate — MT-P | DriftBench (n=545) | Constraints | 3.31 ± 0.03 | -0.32 |
| Aggregate — MT-P | DriftBench (n=545) | Alternatives | 3.62 ± 0.02 | -0.09 |
| Aggregate — MT-P | DriftBench (n=545) | Complexity | 1.89 ± 0.05 | +1.49 |
| Aggregate — CK-P | DriftBench (n=528) | Fidelity | 3.79 ± 0.02 | -0.18 |
| Aggregate — CK-P | DriftBench (n=528) | Constraints | 3.46 ± 0.03 | -0.17 |
| Aggregate — CK-P | DriftBench (n=528) | Alternatives | 3.79 ± 0.02 | +0.08 |
| Aggregate — CK-P | DriftBench (n=528) | Complexity | 1.64 ± 0.05 | +1.24 |
| GPT-5.4 (OpenAI) | SS→MT-P | Compl.Δ / Constr.Δ / Fid.Δ | +0.97 / -0.01 / +0.00 | — |
| GPT-5.4 (OpenAI) | SS→MT-P | KBV / Auditor [95% CI] / SFG | 8% / 4% [0, 9] / +0.04 | — |
| GPT-5.4-mini (OpenAI) | SS→MT-P | Compl.Δ / Constr.Δ / Fid.Δ | +0.97 / -0.05 / -0.04 | — |
| GPT-5.4-mini (OpenAI) | SS→MT-P | KBV / Auditor [95% CI] / SFG | 16% / 1% [0, 4] / +0.05 | — |
| Gemini Pro (Google) | SS→MT-P | Compl.Δ / Constr.Δ / Fid.Δ | +1.17 / -0.17 / -0.08 | — |
| Gemini Pro (Google) | SS→MT-P | KBV / Auditor [95% CI] / SFG | 18% / 50% [38, 62] / +0.05 | — |
| Qwen3-235B (Alibaba)† | SS→MT-P | Compl.Δ / Constr.Δ / Fid.Δ | +1.61 / -0.30 / -0.30 | — |
| Qwen3-235B (Alibaba)† | SS→MT-P | KBV / Auditor [95% CI] / SFG | 55% / 89% [81, 96] / -0.03 | — |
| Gemini Flash (Google) | SS→MT-P | Compl.Δ / Constr.Δ / Fid.Δ | +1.82 / -0.37 / -0.68 | — |
| Gemini Flash (Google) | SS→MT-P | KBV / Auditor [95% CI] / SFG | 76% / 89% [83, 96] / -0.03 | — |
| Llama-70B (Meta)† | SS→MT-P | Compl.Δ / Constr.Δ / Fid.Δ | +1.92 / -0.70 / -0.59 | — |
| Llama-70B (Meta)† | SS→MT-P | KBV / Auditor [95% CI] / SFG | 93% / 84% [75, 92] / +0.80 | — |
| Sonnet 4.6 (Anthropic) | SS→MT-P | Compl.Δ / Constr.Δ / Fid.Δ | +1.92 / -0.60 / -0.70 | — |
| Sonnet 4.6 (Anthropic) | SS→MT-P | KBV / Auditor [95% CI] / SFG | 99% / 98% [95, 100] / +0.18 | — |
| GPT-5.4 | KBV: Pressure→Checkpoint | KBV Rate | 8% → 4% | -4 pp |
| GPT-5.4-mini | KBV: Pressure→Checkpoint | KBV Rate | 16% → 8% | -8 pp |
| Gemini Pro | KBV: Pressure→Checkpoint | KBV Rate | 25% → 23% | -2 pp |
| Qwen3-235B† | KBV: Pressure→Checkpoint | KBV Rate | 55% → 36% | -19 pp |
| Gemini Flash | KBV: Pressure→Checkpoint | KBV Rate | 76% → 72% | -4 pp |
| Llama-70B† | KBV: Pressure→Checkpoint | KBV Rate | 93% → 92% | -1 pp |
| Sonnet 4.6 | KBV: Pressure→Checkpoint | KBV Rate | 99% → 87% | -12 pp |
| Constraint non-compliance (adherence<4) | SS | Violation Rate | 35% | — |
| Constraint non-compliance | MT-N (Neutral) | Violation Rate | 31% | -4 pp |
| Constraint non-compliance | MT-P (Pressure) | Violation Rate | 54% | +19 pp |
| Constraint non-compliance | CK-P (Checkpoint) | Violation Rate | 47% | +12 pp |
| Human validation | 110 runs, 3 raters | Judge Specificity / Sensitivity | 97% / 15% | — |
| Human validation | Blind judge kappa | Inter-rater agreement | 0.74 – 0.89 | — |
| Human-scored adherence | SS vs. Pressure | Adherence (0-4) | 3.70 → 2.59 (Δ-1.12) | vs. judge Δ -0.40 |
| Complexity (R² decomp.) | Length only | Variance explained | R² = 0.366 | — |
| Complexity (R² decomp.) | + Condition | Variance explained | R² = 0.636 | — |
| Complexity (R² decomp.) | + Model | Variance explained | R² = 0.842 | — |
| Methodological elements | Pressure vs. SS | Count | 14.6 vs. 9.7 (+50%, p<0.001) | +4.9 elements |
† = 오픈웨이트 모델. KBV = knows-but-violates rate(제약을 정확히 복창하고도 준수 점수 <4인 실행 비율). SFG = Surface Fidelity Gap. Auditor = GPT-5.4 감사자 holistic drift 분류율.
프레임워크 다이어그램
graph TB A["연구 brief<br/>(목표 / hard constraints / banned moves)"] B["SS<br/>(단일턴)"] C["MT-N<br/>(다중턴 - 중립)"] D["MT-P<br/>(다중턴 - 압박)"] E["CK-P<br/>(체크포인트 - 압박)"] F["피험 모델<br/>제안 생성 (턴별)"] G["restatement probe<br/>(forked, is_probe)"] H["cross-family LLM judge<br/>Opus 4.6 / GPT-5.4"] I["GPT-5.4<br/>Auditor"] J["blind judge<br/>+ 인간 평가자(3인)"] K["4개 평가 지표<br/>fidelity / constraint adherence /<br/>alternatives / complexity"] L["파생 지표<br/>KBV rate / SFG"] A --> B A --> C A --> D A --> E B --> F C --> F D --> F E --> F F --> G F --> H G --> H H --> I H --> J H --> K I --> L K --> L
재현성 및 신뢰도 평가
| 항목 | 등급 | 비고 |
|---|---|---|
| 코드 공개 | ✅ | CC-BY-4.0 완전 공개. GitHub(github.com/kruthof/driftbench): Jinja2 프롬프트 템플릿, JSON Schema + 검증 스크립트, config.yaml 기반 재실행 구조, 채점 루브릭 + 보정 예시 전부 포함. |
| 데이터 공개 | ✅ | HuggingFace(anonymous-driftbench/DriftBench): 38개 YAML brief, 2,100+ 대화 transcript, ~4,300개 채점 파일 공개. 피험 모델별 exact API 식별자 명시. |
| 하이퍼파라미터 | ✅ | 온도 명시(0.7 기본, Gemini 계열 1.0). 민감도 분석(temp 1.0 vs 0.7, rigor 압박 변형)도 보고. 단, 모델별 API 기본값 의존 항목은 완전 통제 불가. |
| 실험 환경 | ✅ | GPU 불필요(hosted-API 전용), 단일 노트북, 약 $450 API 비용, 약 12시간 wall-clock 명시. 재현 비용이 현실적이고 환경 의존성 낮음. |
| 통계적 신뢰도 | ⚠️ | 피험 모델은 셀당 단일 실행(multi-seed 없음) — 랜덤 변동 미포착. 단, cluster-robust SE, 순서형 회귀, 감사자 부트스트랩 CI, 인간 검증 3인 kappa(0.38–0.87 쌍별, 중위 투표) 적용. LLM-as-judge 민감도 15%(과소 탐지)로 보수적 추정 편향 존재. |
| 종합 등급 | B | 코드·데이터·환경 3항목 완전 공개로 A에 근접하나, 피험 모델 단일 시드 실행과 judge 저민감도가 통계적 신뢰도를 ⚠️로 낮춤. |
주장별 신뢰도
| # | 주장 | 근거 | 신뢰도 |
|---|---|---|---|
| 1 | 압박 조건(MT-P)은 모델 전반에 걸쳐 복잡도를 대폭 증가시킨다 | 집계 표 mean±SE(+1.49), 7개 모델 Table 3 모두 양수, R² 분해(0.842), 방법론 요소 +50% p<0.001 | 🟢 강함 |
| 2 | 압박 하 복잡도 증폭은 순수 언어적 팽창이 아닌 구조적 방법론 추가 | 길이만 R²=0.366, 조건 추가 0.636; 요소 수 14.6 vs 9.7 | 🟢 강함 |
| 3 | 공식 제약 준수 하락은 LLM judge가 과소 보고한다(보수적) | 인간 검증 110건: 민감도 15%, 인간 34건 vs judge 7건; 인간 Δ-1.12 vs judge Δ-0.40 | 🟢 강함 |
| 4 | 체크포인트(CK-P)는 KBV를 완화하나 압박 효과를 완전히 역전하지 못함 | CK-P KBV 감소 2–19pp(모델 의존), CK-P Constraints 3.46 vs SS 3.63 여전히 열세 | 🟡 보통 |
| 5 | 회상-준수 해리는 단일 모델 특이가 아니라 4개 제공사에 걸친 현상 | Sonnet 99%/Llama 93%/Flash 76%/Qwen 55% KBV, probe 회상 97.3% | 🟢 강함 |
| 6 | 드리프트는 verbosity로 환원되지 않음 | Llama 최단 445 tokens에 KBV 93%, 상업 모델 length 효과 없음(p=0.31) | 🟢 강함 |
읽기 난이도: ⭐⭐
LLM 평가, 다중턴 대화 설계, 인과 추론(실험 조건 vs 관측 혼재) 등 NLP·LLM 연구 기본 개념을 요구한다. 통계 방법(cluster-robust SE, 순서형 회귀, 부트스트랩 CI)에 친숙한 대학원생 수준이면 충분히 독해 가능하다. 수학 밀도는 낮고 예시가 풍부하나, KBV/SFG 등 논문 고유 개념어와 7개 모델 교차 비교의 층위를 따라가려면 집중적인 읽기가 필요하다.
관련 연구 비교 매트릭스
선정 근거: pre-fetch된 4편은 각각 다중 턴 성능 저하(직접), 다중 턴 instruction-following 벤치마크(기반/SOTA), 드리프트의 통계적 모델링(대안 패러다임), 궤적 기반 연구 에이전트 평가(직접)로서 DriftBench와 비교 가능한 공통 차원(다중 턴 LLM 행동, 제약 준수, 평가 설계)을 공유하며 대상 논문이 이를 어떻게 세분화·확장하는지를 드러내기에 적합하다.
| 축 | DriftBench (본 논문, Kruthof 2026) | Laban et al. 2025 (direct) | Deshpande et al. 2025 — MultiChallenge (base/sota) | Dongre et al. 2025 (alternative) | Chen et al. 2026 — TRACE (direct) |
|---|---|---|---|---|---|
| 핵심 접근 / 측정 대상 | 구조화된 brief 내 hard constraint의 다중 턴 준수율을 0-4 루브릭 + restatement probe(KBV)로 분리 측정. 과학적 아이디에이션 특화. | 다중 턴 대화 전반의 집계 태스크 성공률 저하 측정. 잘못된 방향 전환의 미회복에 초점. 회상-준수 분리는 측정 안 함. | 다중 턴 현실 대화 내 instruction-following/일관성을 최종 턴 정확도로 평가. 도메인·과제 폭 넓음. 재진술 vs 준수 구분 없음. | 맥락 드리프트를 목표-일관 참조와의 턴별 KL 발산으로 모델링. 유계 균형 수렴을 이론·실험으로 제시. | 연구 에이전트의 궤적 전체(근거 탐색·효율)를 평가해 “고득점 환상”을 교정. hard constraint 준수는 직접 다루지 않음. |
| 문제 정의 (drift를 무엇으로) | 모델이 제약을 재진술할 수 있음에도 위반하는 recall-adherence 해리. 망각이 원인이 아님을 실험적으로 주장. | 턴 진행에 따라 집계 성능 평균 39% 하락. 비회복이 핵심 원인. 해리 구조 비분리. | 다중 턴에서 frontier 모델조차 최종 턴 정확도 50% 미만. 현실 대화 복잡도가 요인. | 토큰 분포가 목표 참조에서 벗어나는 KL 발산 증가. 유계 수렴으로 “무한 드리프트” 모델 반론. | 최종 산출물엔 안 보이는 궤적 내 오류 누적(암묵적). 개별 제약 추적보다 전 과정 품질 저하 초점. |
| 데이터 · 규모 | 2,146 runs; 38 briefs / 24 도메인; 7 모델 / 5 공급자(open-weight 2); 4 조건. CC-BY-4.0 공개. | 공개 샤딩 다중 턴 시뮬레이션. 규모·도메인 미상세. 과학 아이디에이션 brief 없음. | 다중 턴 현실 대화 벤치마크. 도메인 폭 넓으나 hard-constraint brief 없음. | 이론 모델 + 합성 실험 주체. 실제 과학 brief 미포함. | 연구 에이전트 궤적 데이터셋. 제약 지정 brief 규격 없음. |
| 핵심 메트릭 | KBV 8-99%(모델별 편차 큼); 0-4 hard constraint 준수; LLM judge vs 인간 보수성 비교. | 집계 태스크 성공률(평균 39% 하락). 제약별 세분 없음. | 최종 턴 정확도(frontier < 50%). 재진술-준수 분리 없음. | KL 발산(턴별 참조 대비), 수렴 경계값. 제약 준수 루브릭 없음. | 궤적 품질 점수(근거·효율·정확도 통합), 최종 결과 vs 궤적 괴리율. |
| 망각 vs 비-망각 (recall-adherence 분리) | 핵심 기여: restatement probe + CK-P로 회상 보존 하 위반을 분리 실증. KBV가 이를 정량화. | 분리 없음. recall을 독립 변수로 통제 안 함. | 분리 없음. 알면서 vs 모르고 위반 구분 안 함. | 간접적. 유계 수렴은 해리를 측정·반증하지 않음. | 분리 없음. 회상 여부 독립 측정 설계 없음. |
| 한계 | 과학 아이디에이션 단일 도메인; 루브릭 주관성; 단일 저자·셀당 1회 실행; Opus 4.6 미포함; 대안 개입 미제시. | 도메인 편향 가능; 제약 세분 불가; 회상 통제 없어 원인 해석 한계. | 최종 턴만 측정해 중간 전략 변화 미포착; 해리 분석 없음. | 합성 실험 의존; 하드 제약 위반 시 수렴 성립 미검증. | 연구 에이전트 특화로 일반 대화 적용 제한; 구조화 제약 brief 없어 직접 수치 비교 불가. |
| 코드 공개 | ✅ github.com/kruthof/driftbench, CC-BY-4.0 | ✅ 샤딩 다중 턴 시뮬레이션 공개 | ✅ 데이터/코드 공개 | ⚠️ 부분(전체 재현 패키지 미확인) | ⚠️ 공개 가능성 높음(저장소 미확인) |
원자적 인사이트 (Zettelkasten)
💡 멀티턴 제약 위반은 “망각”이 아니라 회상-행동의 분리다
출처: Models Recall What They Violate - Constraint Adherence in Multi-Turn LLM Ideation (Garvin Kruthof, 2026)
유형: 실험적
멀티턴 대화에서 LLM이 초기 제약을 어기는 원인을 흔히 컨텍스트 망실로 본다. DriftBench는 매 턴 끝에 제약을 복창시키는 restatement probe로 이를 검증했고, 6/7 모델이 마지막 턴에서 제약을 100% 회상(전체 97.3%)하면서도 위반함을 보였다. 즉 선언적 회상(말로 아는 것)은 보존된 채 행동적 준수(결과에 반영)만 무너지는 분리가 일어난다.
핵심 조건/맥락: 7개 모델, 38개 brief/24개 과학 도메인의 연구 아이디에이션 과제, 준수 점수 <4를 위반으로 간주. 단일 저자 프리프린트(셀당 1회 실행).
연결: LLMs get lost in multi-turn conversation, MultiChallenge - A realistic multi-turn conversation evaluation benchmark
활용 가능성: 멀티턴 에이전트의 신뢰성 평가 시, “회상 확인”만으로 준수를 보장할 수 없으므로 회상과 행동을 분리 측정하는 프로브를 평가 파이프라인에 포함.
💡 KBV(knows-but-violates): 회상-행동 괴리를 단일 지표로 계량
출처: Models Recall What They Violate - Constraint Adherence in Multi-Turn LLM Ideation (Garvin Kruthof, 2026)
유형: 방법론적
KBV는 “모델이 제약을 정확히 복창했으면서도 준수 점수가 4점 미만인 실행의 비율”로, 회상과 행동의 괴리를 하나의 수치로 만든다. DriftBench에서 KBV는 8%(GPT-5.4)부터 99%(Sonnet 4.6)까지 모델별 편차가 크고 7개 중 4개가 50%를 넘는다. 이 지표는 응답 길이와 무관해서, 가장 짧은 445토큰 응답을 내는 Llama-3.3-70B도 93% KBV를 보였다.
핵심 조건/맥락: 복창 정확성 판정 + 준수 점수 임계(<4)에 의존하므로, 채점 척도와 심사자 민감도가 KBV 절댓값에 영향. 특이도 97%·민감도 15%의 LLM 심사자 사용.
연결: A Survey on LLM-as-a-Judge, A Unified Framework for the Evaluation of LLM Agentic Capabilities
활용 가능성: 다른 멀티턴/에이전트 벤치마크에서도 “안다 vs 행한다” 괴리를 모델 간 비교 가능한 단일 지표로 차용.
💡 압박은 준수를 떨어뜨리고 동시에 복잡도를 부풀린다
출처: Models Recall What They Violate - Constraint Adherence in Multi-Turn LLM Ideation (Garvin Kruthof, 2026)
유형: 실험적
반복 압박(MT-P) 조건에서 7개 모델 전부가 complexity inflation을 보였다: 복잡도가 단발(SS) 0.40±.03에서 1.89±.05로 오르고, 이는 표현이 아니라 구조적 변화로 방법론 요소가 9.7개에서 14.6개로 +50%(p<0.001) 증가한다. 즉 모델은 제약을 지키는 대신 더 복잡하고 그럴듯한 산출물을 만드는 방향으로 반응한다.
핵심 조건/맥락: 연구 아이디에이션 과제, rigor·novelty 등 압박 유형과 temperature(Gemini Flash KBV 76%@1.0→83%@0.7)에 걸쳐 강건성 확인. 인간 채점 시 준수 3.70(SS)→2.59(압박)로 -1.12 하락(심사자 -0.40보다 큼).
연결: τ-bench - A Benchmark for Tool-Agent-User Interaction in Real-World Domains
활용 가능성: 사용자 압박이 잦은 실사용(브레인스토밍·기획) 환경에서 “더 정교해 보이는 출력”을 품질 향상으로 오인하지 않도록, 복잡도와 준수를 분리해 모니터링.
💡 표면 충실도 격차(SFG): “그럴듯함”과 “실제 준수”는 모델마다 다르게 벌어진다
출처: Models Recall What They Violate - Constraint Adherence in Multi-Turn LLM Ideation (Garvin Kruthof, 2026)
유형: 실패-한계
surface fidelity gap은 산출물이 과제에 충실한 것처럼 들리는 정도와 실제 준수 사이의 격차다. Llama-3.3-70B는 SFG +0.80으로 “말은 그럴듯하나 실패”가 두드러진 반면 Sonnet 4.6은 +0.18, Gemini Flash·Qwen은 0 근처이거나 음수였다. 따라서 출력의 표면적 설득력만으로 준수 여부를 가늠하면 모델에 따라 체계적으로 속을 수 있다.
핵심 조건/맥락: 연구 아이디에이션 도메인 기준의 모델별 상대 비교 값. LLM 심사자 민감도가 낮아(15%) 위반이 과소 적발되는 점과 함께 해석해야 함.
연결: A Survey on LLM-as-a-Judge, MultiChallenge - A realistic multi-turn conversation evaluation benchmark
활용 가능성: 모델 선택·배포 시 벤치마크 점수뿐 아니라 SFG를 함께 보고, 표면 설득력이 높은 모델일수록 자동 평가의 거짓 신뢰를 경계.
핵심 용어 정리
| 용어 | 정의 |
|---|---|
| DriftBench | 멀티턴 LLM 아이디에이션에서 제약 준수의 표류를 측정하는 오픈 벤치마크. 2,146 scored runs, 7개 모델/5개 제공사(open-weight 2), 4조건(SS/MT-N/MT-P/CK-P), 38개 brief/24개 과학 도메인, CC-BY-4.0 공개 |
| multi-turn ideation (멀티턴 아이디에이션) | 사용자가 모델과 여러 차례 대화를 주고받으며 아이디어를 점진적으로 발전시키는 과정 |
| constraint adherence (제약 준수) | 과제 초기에 명시된 제약 조건을 산출물이 실제로 충족하는 정도. 준수 점수 <4를 위반으로 간주 |
| KBV (knows-but-violates rate) | 모델이 제약을 정확히 복창했음에도 준수 점수가 4점 미만인 실행의 비율. 회상-행동 괴리의 단일 지표 |
| restatement probe (제약 복창 검사) | 매 턴 끝에 모델에게 지켜야 할 제약을 다시 말하게 해 회상(declarative recall)을 행동과 분리 측정하는 절차(forked conversation, is_probe 플래그) |
| declarative recall vs behavioral adherence | 제약을 “말로 정확히 아는 것”(선언적 회상)과 “결과물에 실제 반영하는 것”(행동적 준수)의 구분. 둘의 분리(dissociation)가 핵심 발견 |
| complexity inflation (복잡도 팽창) | 압박 조건에서 제약 준수 대신 산출물의 방법론 요소가 구조적으로 부풀어 오르는 현상 (MT-P 1.89 vs SS 0.40, 요소 +50% p<0.001) |
| surface fidelity gap, SFG (표면 충실도 격차) | 산출물이 과제에 충실해 보이는 정도와 실제 준수 사이의 격차. Llama-70B +0.80, Sonnet 4.6 +0.18 |
| checkpointing (CK-P, 체크포인트 조건) | 대화 중간(턴 2·4 후)에 구조화된 반성으로 표류를 줄이려는 개입. KBV를 부분만 감소시키고 분리는 닫지 못함 |
| LLM-as-judge specificity / sensitivity | LLM 자동 채점기의 특이도(정상을 정상으로 판정)와 민감도(위반을 잡아냄). 본 연구에서 특이도 97%·민감도 15% |
| cross-family judging | 모델이 자신의 출력을 판정하지 않도록 제공사별 교차 배정(Opus 4.6 ↔ GPT-5.4)하는 채점 구조 |
관련 연구
- LLMs get lost in multi-turn conversation — 멀티턴에서 성능이 무너지는 현상을 다루지만, 본 논문은 그 원인을 “망각”이 아닌 회상-행동 분리로 재규정해 대조됨
- MultiChallenge - A realistic multi-turn conversation evaluation benchmark — 현실적 멀티턴 평가라는 같은 문제 공간; DriftBench는 제약 준수·복창 분리라는 특정 축을 정량화
- A Survey on LLM-as-a-Judge — 본 논문이 LLM 심사자의 낮은 민감도(15%)와 보수적 점수 문제를 실증, 자동 평가 신뢰성 논의에 직접 연결
- τ-bench - A Benchmark for Tool-Agent-User Interaction in Real-World Domains — 다중 상호작용 에이전트의 규칙·제약 준수 평가라는 점에서 인접; 도메인은 도구-에이전트 vs 연구 아이디에이션으로 상이
- A Unified Framework for the Evaluation of LLM Agentic Capabilities — 에이전트 역량 평가 프레임워크 관점에서 KBV·SFG를 준수 차원의 새 지표로 편입 가능
태그
paper #2026 benchmark multi-turn constraint-adherence LLM-evaluation LLM-as-judge instruction-following
BibTeX
@article{kruthof2026driftbench,
title={Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation},
author={Kruthof, Garvin},
journal={arXiv preprint arXiv:2604.28031},
year={2026},
url={https://arxiv.org/abs/2604.28031},
eprint={2604.28031},
archivePrefix={arXiv}
}