SysBench: 대규모 언어 모델은 시스템 메시지를 따를 수 있는가?

Digest:

Context: 챗봇 서비스는 system message(시스템 메시지 — 개발자가 모델 동작을 미리 규정하는 최상위 지침)로 모델의 역할·말투·형식을 고정하지만, 사용자가 그(system prompt)와 충돌하는 요청을 보내면 모델이 어느 쪽을 따라야 하는지 불안정하다. 기존 벤치마크(IFEval, FollowBench 등)는 단일 턴의 일반 instruction-following만 측정해, “system message를 다중 턴에 걸쳐 안정적으로 따르는가”를 직접 잰 적이 없었다.

Insight: 저자들은 따르기 실패의 핵심이 (1) user query가 system message와 misaligned(상충)할 때, 그리고 (2) 멀티턴이 누적될 때 드러난다고 보고, 모델이 추론 시점에 system/user 토큰을 사실상 구분하지 못한다는 점을 attention 분석으로 짚는다 — system/user marker token을 swap해도 attention 변화가 +0.53~1.01%에 그쳐, 따르기 능력은 아키텍처가 아니라 훈련 데이터 구성에 좌우됨을 시사한다.

Solution: 통찰을 측정 가능하게 만들기 위해 SysBench를 구축한다 — 500개 system message × 5턴 = 2500턴, 6개 constraint type(action/content/background/role/format/style), aligned/misaligned 및 parallel/dependent 멀티턴 설계, GPT-4o verifier, 그리고 제약 단위 CSR → 지시 단위 ISR → 세션 단위 SSR로 이어지는 3단계 지표.

Evidence: 최고 모델 GPT-4o조차 SSR 54.4%(Table 2)에 그쳐 절반 가까운 세션에서 일관성이 무너지며, GPT-4-Turbo(53.2%)·Claude-3-Opus(51.8%)도 비슷하다; misaligned에서 대부분 모델이 하락(GLM-4-9B는 aligned 48.3% → misaligned 28.4%, Table 3)하지만 GPT-3.5는 오히려 misaligned가 더 높고(47.7% vs aligned 41.9%), GPT-4-Turbo는 격차가 0.1%p로 가장 견고하다(Table 3); constraint type별로는 Role이 일관되게 최고(~81-94%), Style이 최저 경향(Table 6)이다. verifier-human 일치도는 94% 이상(21명 훈련 annotator)으로 측정 신뢰도를 뒷받침한다.

Implication: SSR이 세션 차원을 드러내면서, system-message 추종은 단발 정확도가 아니라 “멀티턴 안정성”으로 재정의되어야 하며, 개선 레버는 정렬·프롬프팅보다 훈련 데이터 설계 쪽에 있을 가능성이 크다 — 다만 verifier가 GPT-4o이고 데이터가 합성·번역 기반이라는 점은 결과 해석의 전제 조건이다. 📎 https://arxiv.org/abs/2408.10943

먼저 이해하기

쉬운 설명

챗봇을 만들 때 개발자는 보통 맨 앞에 system message(시스템 메시지 — “너는 친절한 의사야, 항상 존댓말로 답해” 같은 모델의 기본 규칙)를 적어 둔다. 이 논문은 “사용자가 그 규칙과 어긋나는 요청을 하거나 대화가 여러 턴 이어질 때도 모델이 처음 규칙을 끝까지 지키는가”를 묻고, 이를 재기 위한 첫 종합 시험지인 SysBench를 만들었다. 시험은 500개의 시스템 메시지 각각에 대해 5턴짜리 대화 2500턴을 두고, 지시를 action/content/background/role/format/style의 6가지 constraint type(제약 유형)으로 나눠 채점하며, 채점 단위를 제약 하나(CSR), 지시 하나 전체(ISR), 대화 한 세션 전체(SSR)로 점점 넓혀 본다. 결과는 의외로 박해서, 가장 잘하는 GPT-4o조차 한 세션을 끝까지 지키는 비율(SSR)이 54.4%에 그쳐 마치 규칙을 적어 줘도 대화가 길어지면 절반쯤은 도중에 흐트러지는 셈이다. 특히 사용자 요청이 규칙과 충돌(misaligned)하면 대부분 모델이 더 나빠지는데, 신기하게도 GPT-3.5는 오히려 충돌 상황에서 점수가 더 높았다. 저자들이 모델 내부의 attention(주의 — 모델이 어떤 단어에 얼마나 집중하는지)을 들여다보니, ⭐ 시스템 메시지와 사용자 메시지를 구분하는 표시(marker token)를 바꿔치기해도 집중도가 거의 안 변해서(+0.53~1.01%), 모델은 둘을 본질적으로 구분하지 못하며 따르기 능력은 결국 어떤 데이터로 훈련했느냐에 달려 있다고 본다. ⭐

왜 중요한가

실제 서비스에서 system message는 안전·페르소나·출력 형식을 강제하는 마지막 방어선인데, 이 논문은 그 방어선이 멀티턴에서 생각보다 쉽게 무너진다는 것을 정량적으로 보여 준다(GPT-4o SSR 54.4%, Table 2). 기존 평가가 단일 턴 정확도에 머물렀던 것과 달리, SysBench는 CSR→ISR→SSR의 3단계로 “한 번 맞히기”와 “끝까지 일관되기”를 분리해, 멀티턴 안정성이라는 별도의 평가 축을 제공한다. user query와의 충돌(misaligned) 시 성능 하락이 대부분 모델에서 관찰된다는 점은, 충돌 상황을 따로 시험하지 않으면 모델의 취약점을 놓칠 수 있음을 의미한다. attention 분석이 보여 준 “system/user 토큰 미구분”은, 추종 능력 향상의 지렛대가 프롬프트 트릭이 아니라 훈련 데이터 구성에 있을 수 있다는 방향을 제시한다(다만 이는 분석된 모델 범위 안에서의 관찰이다). 단, 이 모든 결론은 GPT-4o verifier 채점(human 일치 94% 이상)과 SysBench의 데이터 구성을 전제로 하므로, 다른 도메인·언어로 일반화할 때는 검증이 필요하다.

먼저 알아둘 말

용어	쉬운 설명	정확성 메모
system message	대화 맨 앞에 놓이는 모델의 기본 규칙·역할 지침	user message보다 우선해야 하는 최상위 지시. 본 논문의 평가 대상
instruction following	주어진 지시를 모델이 실제로 지키는 능력	SysBench는 그중 특히 “system message” 추종에 초점
aligned / misaligned	사용자 요청이 시스템 규칙과 맞는(aligned) / 충돌하는(misaligned) 상황	misaligned는 충돌 시 어느 쪽을 따르는지를 시험하는 별도 조건
constraint type	지시를 6종으로 분류: action/content/background/role/format/style	유형별 난이도가 다름. Role 최고(~81-94%), Style 최저 경향(Table 6)
CSR / ISR / SSR	제약 단위 / 지시 단위(모든 제약 충족 시만) / 세션 단위(멀티턴 안정성) 만족률	점점 엄격해지는 3단계 지표. SSR이 가장 낮게 나옴
multi-turn (parallel/dependent)	여러 턴 대화. 턴이 서로 독립(parallel)이거나 앞 턴에 의존(dependent)	5턴 설계. 누적 시 안정성 저하를 포착하는 장치
verifier (GPT-4o)	모델 답이 제약을 지켰는지 자동 채점하는 심판 모델	human과 일치도 94% 이상, 21명 훈련 annotator로 검증
attention	모델이 입력의 어떤 토큰에 얼마나 집중하는지를 나타내는 내부 값	marker token swap에도 변화 +0.53~1.01%로 미미 → system/user 미구분 근거

섹션별 요약

Abstract

LLM(Large Language Model, 대규모 언어 모델)이 다양한 응용 분야에서 핵심 도구로 자리잡으면서, system message(모델 행동을 안내하는 사전 지시문)를 통한 시나리오별 커스터마이제이션이 점점 더 중요해지고 있으나, 이를 체계적으로 평가하는 종합 벤치마크는 존재하지 않았다. 이에 본 연구는 기존 LLM의 세 가지 한계 — constraint violation(제약 위반), instruction misjudgement(지시 우선순위 오판), multi-turn instability(다중 턴 불안정성) — 를 기준으로 system message 이행 능력을 분석하는 SysBench를 제안한다. SysBench는 6가지 prevalent constraint type(빈번한 제약 유형)을 기반으로 전문가가 수작업으로 설계한 500개의 system message와 다양한 interaction relationship(사용자-모델 상호작용 관계)을 포괄하는 5턴 user conversation 데이터셋, 그리고 3단계 세분화 평가 프로토콜로 구성된다. 16개의 주요 LLM을 대상으로 평가한 결과, 각 모델의 강점과 약점이 확인되었으며, 향후 연구 방향에 대한 시사점을 제공한다. 데이터셋과 코드는 https://github.com/PKU-Baichuan-MLSystemLab/SysBench 에서 오픈소스로 공개된다.

저자 contribution

새로운 벤치마크 제안: LLM의 system message 이행 능력을 최초로 체계적으로 조사하고, 세 가지 한계 차원을 기반으로 한 종합 벤치마크 SysBench를 구축한다.
고품질 평가 데이터셋 구축: 6가지 제약 유형을 포괄하는 500개의 system message와 5턴 user conversation을 전문가 수작업으로 설계하여 다양한 응용 시나리오를 반영한 접근 가능한 데이터셋을 공개한다.
3단계 세분화 평가 프레임워크 개발: 16개 주요 LLM에 대해 constraint 이행 능력을 다층적으로 측정하는 포괄적 평가 프로토콜을 적용하고, 모델별 강점·약점 및 향후 연구 방향에 대한 핵심 인사이트를 도출한다.

왜 이 연구를 하는가?

핵심 질문: 최신 LLM(대규모 언어 모델)이 system message(시스템 메시지 — 모델에게 역할·규칙·출력 형식 등을 사전 지정하는 지시문)를 얼마나 정확히 따를 수 있는지를 체계적으로 평가할 수 있는가, 특히 user query(사용자 질의)가 system message와 충돌하는 상황에서?

기존 접근법의 한계

한계	설명
소규모·단순화된 데이터셋 사용	기존 연구(Mu 2023, Li 2024b, Wang 2024, Zou 2024, Li 2024a)는 소규모·단순화된 데이터셋이나 특정 모델에 한정되어 실세계 시나리오에서의 system message 준수 능력을 충분히 평가하지 못함
단일 턴(single-turn) 중심 벤치마크	기존 instruction following 벤치마크(Zhou 2023, Xia 2024, Zheng 2023, Jiang 2023, Wen 2024, He 2024)는 단일 턴 user conversation만을 대상으로 하여, system message와 user query 간의 상호작용·충돌·다중 턴(multi-turn) 일관성 평가에 부적합함
부정확한 평가 프로토콜	system message는 복잡하고 주관적인 제약을 다수 포함하는데, 기존 벤치마크(Zhou 2023, Zheng 2023, Wen 2024)의 programmatic(규칙 기반 자동) 또는 model-based(모델 자동 판정) 평가 방식은 대화 맥락 및 다중 턴 특성과 연동된 준수 여부 판정에 한계가 있음
세 가지 실용적 실패 유형 미포괄	(1) 복잡한 제약 위반(constraint violation), (2) user query와 system message 충돌 시 instruction priority(지시 우선순위) 오판, (3) 대화가 길어질수록 제약에서 이탈하는 multi-turn 불안정성 — 이 세 문제를 동시에 측정하는 종합 평가 체계가 존재하지 않음

핵심 통찰

system message 준수 평가는 단순한 instruction following 평가와 구별되어야 한다: user query와의 충돌 관계, 제약의 주관성, 다중 턴 일관성이라는 세 축이 모두 필요하다.
고품질 평가 데이터 구축을 위해서는 전문가 지식과 인간 주석자(annotator)의 참여가 필수적이며, 평가 정확도를 위해 수동 주석 체크리스트로 검증된 LLM 검증기(verifier)가 필요하다.

Introduction

System message(시스템 메시지 — 모델에게 역할·맥락 정보·가이드라인·출력 형식을 사전 지정하는 지시문)는 ChatGPT(OpenAI 2022)가 도입한 이래 Llama(Touvron 2023), Claude3(Anthropic 2024), Qwen(Yang 2024) 등 주요 LLM(대규모 언어 모델)에 폭넓게 채택되어, 역할극에서의 페르소나 유지(Ma 2024, Salewski 2023), 보안 강건성(Wallace 2024, Lu 2024), 사용자 인터랙션 선호 커스터마이징(Lee 2024, Mukherjee 2023) 등 다양한 목적에 활용된다(Ramlochan 2024, Lee 2024, Wallace 2024). 그러나 system message를 정확히 따르는 것은 근본적으로 어렵다 — 모델은 응답 생성 시 사전 설정된 모든 제약을 동시에 충족해야 한다. 실제 운용 환경에서는 세 가지 실용적 문제가 반복적으로 나타난다: (1) system message 내 복잡한 제약을 이해하고 상호작용 중 규칙을 정확히 적용하는 것이 어려워 constraint violation(제약 위반)이 빈번하게 발생하고(Mu 2023, Li 2024b, Wang 2024), (2) user query가 system message와 충돌할 때 instruction priority(지시 우선순위)를 오판함으로써 보안 공격의 취약점이 생기며(Zou 2024, Wallace 2024), (3) 대화 이력이 길어질수록 system message 제약에서 이탈하는 multi-turn(다중 턴) 불안정성이 실증적으로 확인된다(Li 2024a). 이 세 문제는 사용자 경험 저하와 보안 위협으로 이어지지만, 기존 LLM의 system message 준수 능력을 종합적으로 평가하는 체계가 부재하여 문제의 이해와 후속 연구가 가로막혀 있다.

기존 연구는 두 가지 핵심 도전에서 한계를 드러낸다. 첫째, 평가 데이터 측면에서 기존 instruction following 벤치마크(Zhou 2023, Xia 2024, Zheng 2023, Jiang 2023, Wen 2024, He 2024)는 단일 턴 user conversation만을 대상으로 하여, system message와 user query 간 상호작용·충돌 구조를 포착하지 못한다. 둘째, 평가 프로토콜 측면에서 system message가 포함하는 복잡한 주관적 제약은 programmatic(규칙 기반 자동) 또는 model-based(모델 자동 판정) 방식(Zhou 2023, Zheng 2023, Wen 2024)으로 정확히 검증하기 어려우며, 다중 턴 특성을 반영하는 새로운 지표가 필요하다.

이에 본 논문은 SysBench를 제안한다. SysBench는 전문가 주석(expert-annotated) 고품질 데이터와 정밀 평가 프로토콜로 구성된 최초의 종합적 system message 준수 벤치마크다. 데이터는 실제 시나리오에서 수집되어 전문가 가이드라인에 따라 훈련된 주석자가 재작성한 500개의 system message(다양한 도메인, 각 5라운드 user conversation, 복수의 제약 유형 및 instruction alignment relationship 포함)로 구성된다. 평가의 정확도를 위해 수동 주석 체크리스트로 검증된 GPT-4o verifier를 사용하며, 이 verifier는 인간 평가와 >94% 일치도를 달성한다. 16개 주요 LLM을 평가한 결과, system message 준수가 여전히 어려운 과제임을 확인하였으며 — 특히 user instruction이 system message와 충돌하는 상황에서 두드러졌다. 또한 모델이 system message에 할당하는 attention score(어텐션 점수 — 모델 내부에서 각 토큰에 부여하는 가중치)와 준수 능력 사이에 양의 상관관계가 존재함을 발견하였다.

Methods

프레임워크 개요

SysBench는 system message(시스템 메시지, LLM에 역할·제약을 부여하는 최상위 지시문) 추종 능력을 6가지 제약 유형, aligned/misaligned(정렬/비정렬) 관계, parallel/dependent(독립형/의존형) 멀티턴이라는 세 축에서 동시에 측정하는 종합 벤치마크로, 500개 system message × 5턴 = 2,500턴 규모의 전문가 주석 데이터셋과 GPT-4o verifier(자동 검증기), 그리고 CSR·ISR·SSR 3단계 세분화 지표로 구성된다.

핵심 구성요소

Six System Constraint Categories(6가지 시스템 제약 범주): 모델이 따라야 하는 규칙을 Action(특정 행동 수행·거부, 예: 답에 1 더하기), Content(포함할 내용, 예: 이모지로 시작), Background(배경 가정, 예: 미래 사회 설정·허용 도구), Role(페르소나, 예: 스파이 Alex), Format(Markdown 형식·문장당 ≤20 단어), Style(어조, 예: 정중한 또는 학술 문체) 6범주로 세분화한다. 각 제약은 원자적(atomic, 더 쪼갤 수 없는 단위) 검증 가능 규칙으로 정의되며, 사용자 쿼리별로 수동 주석된 evaluation checklist(평가 체크리스트)와 대응된다.
Aligned / Misaligned User Instructions(정렬/비정렬 사용자 지시문): 입력은 system message + user message 쌍으로 구성된다. Aligned instruction(정렬 지시문)은 system message 목표와 양립 가능하여 두 지시를 동시에 만족할 수 있으며, instruction = system + user의 연결로 표현된다. Misaligned instruction(비정렬 지시문)은 system message와 충돌하며, 모델은 보안 공격 방어를 위해 이를 거부·무시해야 한다(system > user 우선순위).
Multi-turn Conversation Types(멀티턴 대화 유형): system message는 세션 시작 시 context window(문맥 창) 앞에 고정되며 5턴 동안 유지된다. Parallel(병렬형) 멀티턴에서는 각 사용자 지시가 독립적이므로 모델이 이전 대화에 영향받지 않고 현재 지시만을 system message 맥락에서 처리해야 한다. Dependent(의존형) 멀티턴에서는 이전 대화 내용이 현재 턴과 연관되어 모델이 대화 이력을 통합해야 한다.
Dataset Construction Pipeline(데이터셋 구축 파이프라인): 온라인 실사용 로그에서 수천 개의 system message를 수집한 뒤, heuristic rule(발견적 규칙)과 clustering(군집화)으로 중복·노이즈를 제거한다. 21명의 훈련된 주석자가 500개 system message를 선정·수동 정제하여 명시적 과제 기술과 다양한 제약을 확보한다. 각 system message당 실사용자 대화 수집 + GPT-4o 보조 생성으로 5라운드 대화를 구성하고, 주석자가 전문가 가이드라인에 따라 수동 재작성한 뒤 복수 전문가가 다중 라운드 독립 검수를 수행한다. 결과는 Table 1 기준 500 system messages × 5 turns = 2,500 turns이며, 지시당 평균 제약 수는 Parallel 2.52, Dependent 2.33, 전체 2.38개다.
GPT-4o Verifier(자동 검증기): GPT-4o를 평가자로 사용하며, 평가 프롬프트에 system message·대화 이력·현재 사용자 지시·constraint checklist를 모두 포함해 각 제약 항목별 이진(binary) 만족 여부를 판정한다. 사람 평가 대비 >94% 일치율을 달성한다.
Three-Level Metrics(3단계 세분화 지표): m 세션·n턴·i번째 세션 j번째 지시의 c_ij개 제약에 대해 s_ijk ∈ {0,1}을 만족 여부 이진값으로 정의한다. **CSR(Constraint Satisfaction Rate, 제약 만족률)**은 가장 세밀한 단위로, 모든 제약에 걸쳐 평균 정확도를 계산한다: CSR = (1/mn) Σ_i Σ_j (1/c_ij) Σ_k s_ijk. **ISR(Instruction Satisfaction Rate, 지시 만족률)**은 지시 단위 측정으로, 한 지시의 모든 제약이 충족된 경우에만 해당 지시를 만족으로 집계한다: ISR = (1/mn) Σ_i Σ_j (AND_k s_ijk). **SSR(Session Stability Rate, 세션 안정률)**은 최상위 레벨로 멀티턴 안정성을 측정하며, 세션 첫 번째 턴부터 연속으로 모든 제약을 만족한 턴 수의 평균값을 기반으로 한다(α번째 라운드까지 전 응답이 모든 제약을 만족하면 이진값 1).

입력 → 출력 흐름

데이터셋 구축 단계에서 입력은 온라인 system message 로그이며, heuristic filtering + clustering → 주석자 정제 → GPT-4o 보조 대화 생성 → 수동 재작성 → checklist 주석 과정을 거쳐 출력으로 500 system messages, 2,500 annotated turns, 각 turn별 constraint checklist가 생성된다. 평가 단계에서 입력은 (system message, 대화 이력, 현재 user instruction, constraint checklist) 튜플이며, GPT-4o verifier가 각 제약 s_ijk의 이진 판정을 내린다. 이 이진값들이 집계되어 출력으로 세 단계 지표 CSR(제약 단위) → ISR(지시 단위) → SSR(세션 단위)가 산출된다.

기존 방법과의 차별점

선행 평가 벤치마크인 IFEval(Zhou 2023), FOFO(Xia 2024), MT-Bench(Zheng 2023), InfoBench(Qin 2024), FollowBench(Jiang 2023)는 모두 단일 유형 제약, 단일턴, 또는 system message와 user instruction 간 우선순위 구분이 없는 설정에 국한된다. SysBench는 이 세 가지 공백을 동시에 해소한다: (1) 6가지 제약 유형을 포괄하는 세밀한 분류 체계, (2) aligned/misaligned 관계를 통한 우선순위 준수 측정, (3) parallel과 dependent를 구분하는 멀티턴 안정성 평가. 또한 실사용 로그 기반 데이터 수집과 복수 전문가 다중 라운드 검수를 결합하여 실세계 대표성과 주석 신뢰도를 동시에 확보한다.

주요 하이퍼파라미터 / 설정

System messages: 500개 (21명 전문가 주석자 선정·정제)
Turns per session: 5 (총 2,500 turns)
Aligned instructions: 1,951 (Parallel 552, Dependent 1,399)
Misaligned instructions: 549 (Parallel 168, Dependent 381)
Parallel sessions: 144 / Dependent sessions: 356
평균 제약 수: 전체 2.38개/지시 (Parallel 2.52, Dependent 2.33) — Table 1
Constraint 분포: Content 28%, Action 24%, Style 21%, Format 16%, Role 9%, Background 2%
도메인: 자동차, 정부, 부동산, 법률, 종교, 채용, 스포츠, 여행, 기술, 금융, 의료, 인터넷, 게임, 심리, 업무, 교육, 생활, 문화, NLP 등 약 20개 분야
GPT-4o verifier 사람 평가 일치율: >94%

발견 (Findings)

최고 성능 모델도 SSR(Session Stability Rate, 다중 턴 세션 안정률) 54.4%에 불과: GPT-4o가 모든 모델 중 최고 SSR 54.4%를 기록했으나 (Table 2), 이는 5턴 세션에서 GPT-4o의 Dependent(의존형) R5(5회차 누적 성공률)가 33.7%, Parallel(병렬형) R5가 26.4%까지 하락하는 데서 비롯된다 (Table 4). 즉 현재 최고 수준 모델조차 다중 턴 제약 준수에서 절반 이상의 세션이 실패한다.
Misaligned(system-user 제약이 충돌하는) 조건에서 대부분 모델의 ISR(Instruction Satisfaction Rate, 지시 만족률)이 하락: GLM-4-9B는 Aligned(일치형) 48.3% 대비 Misaligned(불일치형) 28.4%로 -19.9%p 하락하며 (Table 3), 이는 system message 우선순위 인식 부족에서 기인한다. 반면 GPT-3.5-Turbo는 Misaligned ISR 47.7%가 Aligned 41.9%보다 높아, 우선순위 인식의 개별 모델 간 비일관성을 보여 준다 (Table 3).
추론 시 system/user 토큰은 엄밀히 구분되지 않으며, 따르기 능력은 훈련 데이터 구성 전략에 좌우됨: system message 텍스트를 user message로 전환해도 attention(어텐션, 모델이 특정 토큰에 집중하는 정도) 점수 변화는 평균 +0.53%/+1.01%/+0.96%에 불과하고 (Fig 6b), 대신 system message 토큰에 할당된 attention 비율과 following(따르기) 능력 간 강한 상관이 확인되며 (Fig 6a/6c), 올바른 대화 이력 제공 시 ISR이 향상된다 (Fig 5).

Results

전체 CSR/ISR/SSR 비교 (Table 2)

16개 LLM(대규모 언어 모델)을 영어 중심 모델과 중국어 중심 모델로 구분하여 CSR(Constraint Satisfaction Rate, 개별 제약 만족률), ISR(Instruction Satisfaction Rate, 지시 단위 만족률), SSR(Session Stability Rate, 세션 안정률) 세 지표로 평가했다. 영어 중심 모델 최상위는 GPT-4o (CSR 87.1% / ISR 76.4% / SSR 54.4%)이며, GPT-4-Turbo-20240409 (86.5/76.6/53.2%), Claude-3-Opus (85.0/74.1/51.8%)가 근소한 차이로 뒤따른다 (Table 2). 중국어 중심 모델 최상위는 Qwen2.5-72B (80.4/66.2/42.8%)이며, GLM-4-0520 (78.9/65.5/41.6%)과 Qwen2-72B (79.0/64.1/41.6%)가 유사한 수준을 보인다 (Table 2). 하위권에서는 ERNIE-4-8K (50.7/33.8/20.0%)와 Qwen2-7B (47.0/26.9/15.0%)가 가장 낮은 SSR을 기록했다 (Table 2). 전체적으로 SSR이 CSR·ISR보다 현저히 낮아, 개별 제약을 지키더라도 세션 전체를 일관되게 준수하기 어려움을 나타낸다.

제약 카테고리별 CSR (Fig 4 / Table 6)

6개 제약 카테고리 전 영역에서 GPT-4o가 최상위이며 Claude-3-Opus가 근접하고, Qwen2-72B와 GLM-4도 경쟁력 있는 성능을 보인다 (Fig 4). Role(역할 부여) 카테고리 CSR이 80.4–94.0%로 일관되게 가장 높고, Style(출력 형식)·Action(행동 지시)·Content(내용 제한)이 낮은 경향을 보인다 (Table 6). 성능이 높은 모델일수록 6개 카테고리에 걸쳐 CSR 분산이 작은 정육각형(positive hexagon) 형태를 보이는 반면, 성능이 낮은 모델은 카테고리 간 편차가 크다 (Fig 4). 주목할 예외로 Qwen2-7B는 Role CSR 81.0%이나 Style CSR 43.3%로 -37.7%p 격차를 나타내며, GPT-3.5-Turbo와 ERNIE-4-8K에서도 유사한 카테고리 불균형이 관찰된다 (Fig 4). ERNIE-4-8K는 기존 IF(Instruction Following, 지시 따르기) 벤치마크(Zhang 2024)에서 강세를 보이지만 system message 조건에서는 Qwen2-7B와 유사한 수준으로 약세를 보인다 (Fig 4).

지시 정렬(Aligned) vs. 불일치(Misaligned) ISR (Table 3)

GPT-4-Turbo가 전체 ISR 76.6%로 1위를 기록했다 (Table 3). 대부분의 모델에서 Aligned ISR이 Misaligned ISR보다 높으며, 격차가 가장 큰 경우는 GLM-4-9B-Chat (Aligned 48.3% vs. Misaligned 28.4%, -19.9%p)이다 (Table 3). 이 격차는 system message 우선순위에 대한 인식 부족을 나타낸다. 예외적으로 GPT-3.5-Turbo-20231106은 Misaligned ISR 47.7%가 Aligned ISR 41.9%보다 높아 (Table 3), 오히려 우선순위를 과잉 인식하는 역전 현상을 보였다.

다중 턴 안정성 SSR 및 감쇠율 k (Table 4)

R_n(n번째 턴까지 모든 제약을 만족한 세션 비율)은 턴이 증가할수록 단조 감소하며, SSR은 R_1부터 R_N까지의 평균으로 정의된다. 선형 회귀 기울기 k는 감쇠 속도를 나타낸다 (Table 4). GPT-4o (SSR 54.4%)와 GPT-4-Turbo (SSR 53.2%)가 최고 SSR을 기록했으며 Claude-3-Opus가 근접한다 (Table 4). Dependent(의존형, 이전 응답을 참조하는 방식) R_n은 Parallel(병렬형, 독립 지시) R_n보다 빠르게 감쇠하며 (Shi 2023 — 관련 없는 맥락에 의한 주의 분산 현상 참조), GPT-4-Turbo는 두 방식 간 감쇠 차이가 작다 (Table 4). 반면 ERNIE-4-8K와 Claude-3-Opus는 R1은 높으나 감쇠가 빨라 최종 SSR이 낮아지는 패턴을 보인다 (Table 4). 구체적 예로 GPT-4o Dependent의 경우 R1 84.8%에서 R5 33.7%로 하락하며 k=0.128, SSR 56.7%이고, Parallel의 경우 R1 77.8%에서 R5 26.4%로 하락하며 k=0.130, SSR 54.4%다 (Table 4).

조사 실험 (Investigative Experiments)

대화 이력(history) 효과 실험에서 모델 생성 응답 대신 정답(ground-truth) 응답으로 이력을 교체하면 턴별 ISR이 향상됨이 확인되었다 (Fig 5). 개선 폭은 Dependent 조건에서 Parallel보다 크고, Parallel에서의 개선 폭은 첫 턴 무작위 변동(|ΔT1| “Uncertainty” 기준선)과 유사한 크기다 (Fig 5). ERNIE-4-8K는 이력 감쇠가 가장 가파르나, 올바른 이력 제공 시 개선 폭도 가장 뚜렷하여 과거 오류에 주의를 집중하는 경향을 보인다 (Fig 5).

Attention(어텐션) 비율과 following 능력 간의 상관 실험에서, GLM-4-9B-Chat, Llama3.1-8B, Qwen2-72B 세 오픈 모델을 분석한 결과 system message 토큰에 대한 attention 비율과 따르기 능력 사이에 강한 상관이 관찰되었다 (Fig 6a/6c). Llama3.1-8B는 초반 3턴에서 GLM-4-9B보다 낮은 attention 비율을 보이다가 이후 역전되며, 이는 상대적 R_n 순위와 일치한다 (Fig 6a). 토큰 수준 분석에서는 각 턴 시작 부분에 attention 피크가 집중되어, 모델이 system message와 incoming user token(입력 사용자 토큰) 간의 관계를 감지함을 시사한다 (Fig 6c).

System/user 메시지 구분 실험에서, system message 텍스트를 user message로 전환했을 때 attention 점수 변화가 평균 +0.53%, +1.01%, +0.96%로 매우 미미하여 (Fig 6b), 추론 시 system 토큰과 user 토큰이 엄밀히 구분되지 않음이 드러났다. 이 결과는 following 능력이 마커 토큰( $< sys t e m >, < u ser >$ ) 자체보다 훈련 데이터 구성 전략에 더 크게 좌우됨을 시사한다 (Fig 6b).

Ablation / 부정 결과 / 제한된 케이스

최고 모델인 GPT-4o의 SSR조차 54.4%에 불과하며, 5턴 시점의 R5는 Parallel 기준 26.4%로 세션의 약 3/4가 실패한다 (Table 4).
Misaligned 조건에서 거의 모든 모델의 ISR이 저하되며, 특히 하위 모델(GLM-4-9B -19.9%p, ERNIE-4 -16.7%p, Qwen2-7B -10.7%p)에서 낙폭이 크다 (Table 3).
System message와 user message를 교체해도 attention 변화가 무시할 수준(최대 +1.01%)이어서, 추론 레벨에서의 롤 구분은 실질적으로 약하다 (Fig 6b).
Parallel 조건에서 올바른 이력 교체 효과가 첫 턴 무작위 변동 범위와 겹쳐, Parallel 다중 턴 개선의 해석에 불확실성이 존재한다 (Fig 5).

Discussion

SysBench(시스템 메시지 추종 능력을 측정하는 최초의 종합 벤치마크)의 실험 결과는 현재 LLM(대형 언어 모델)이 시스템 메시지를 안정적으로 따르는 능력에서 근본적인 취약점을 갖고 있음을 보여준다. 최고 성능 모델조차 SSR(Session Stability Rate, 세션 전체에서 모든 제약을 유지하는 비율)이 54.4%에 그친다는 사실은, 기존 instruction-following(지시 이행) 벤치마크에서 우수한 점수를 보인 모델들도 실제 시스템 메시지 추종에서는 절반 이상의 세션을 실패한다는 것을 의미한다. ERNIE-4가 기존 IF 벤치마크에서 강세를 보임에도 SysBench에서 저조한 성능을 기록한 것은, 시스템 메시지 추종 능력이 일반 지시 이행 능력과 본질적으로 구별되는 별개의 역량임을 시사한다.

Misaligned instruction(상충하는 지시: 시스템 메시지와 사용자 지시가 서로 충돌하는 상황) 조건에서 대부분의 모델이 성능이 저하되는 양상은 모델들이 시스템 메시지의 우선순위를 충분히 인식하지 못하고 있음을 나타낸다. GPT-3.5가 misaligned 조건에서 오히려 높은 성능을 보인 예외적 패턴은 추가적인 해석을 요구하며, 훈련 데이터 구성 전략의 차이에서 비롯된 것으로 추정된다. Multi-turn(다중 턴) 환경에서는 R_n(턴별 성공률)이 감소하는 경향이 관찰되며, dependency(의존적) 구조를 가진 대화가 parallel(독립적) 구조보다 더 빠르게 성능이 저하된다. 이전 턴의 응답 정확성이 이후 성능에 긍정적 영향을 미친다는 조사 결과는 개발자들이 multi-round(다중 라운드) 대화에서 발생하는 오류를 특별히 관리해야 함을 시사한다.

Attention(어텐션: 모델이 입력 토큰 각각에 얼마나 집중하는지를 나타내는 가중치) 분석 결과는 시스템 메시지 추종 능력이 시스템 메시지 토큰에 부여되는 어텐션 비율과 상관관계가 있음을 보여준다. 더불어 추론(inference) 시 system token과 user token이 엄격히 구별되지 않는다는 발견 — marker token 교환 시 어텐션 변화가 극히 미미하다는 점 — 은 모델이 역할 구분을 학습 데이터에서 암묵적으로 습득하고 있음을 시사하며, 훈련 데이터 구성 전략과 시스템 메시지 메커니즘 개선이 핵심 향상 경로임을 가리킨다.

저자가 인정한 한계

다양한 LLM 실험을 통해 점수 차별화의 효과성을 확인하였으나, 어텐션 분석은 3개의 오픈소스 모델에 한정되어 폐쇄형 모델로의 일반화 가능성이 불명확하다.
SysBench의 constraint(제약) 유형은 저자가 정의한 6개 카테고리에 기반하며, 실제 배포 환경에서 나타날 수 있는 모든 시스템 메시지 유형을 포괄한다고 보장할 수 없다.

독자 식별 가능한 추가 한계

GPT-4o가 평가 대상 모델인 동시에 verifier(검증자: LLM이 다른 LLM의 출력을 채점하는 방식)로 사용되어 self-preference bias(자기 선호 편향)의 가능성이 존재한다. 저자들은 인간 일관성 94% 이상을 보고하나, 이는 편향 자체를 제거하지는 않는다.
데이터셋이 부분적으로 중국어 기반 또는 이중 언어(bilingual) 환경에서 구성된 점은 영어 단일 언어 모델에 대한 적용 시 해석에 주의를 요한다.
multi-seed 또는 통계적 분산(statistical variance)이 보고되지 않아 결과의 재현 안정성을 확인하기 어렵다.

향후 방향

어텐션 분석 대상을 폐쇄형(closed-source) 모델로 확장하여 시스템 메시지 토큰 어텐션 비율과 추종 성능 간 상관관계의 일반성을 검증할 필요가 있다 — 오픈소스 3개 모델 한정 분석이라는 한계에 대응.
훈련 데이터 구성 전략(training-data construction strategy)과 시스템 메시지 메커니즘을 체계적으로 변형하여 SSR 향상에 기여하는 인자를 식별하는 후속 실험이 요구된다 — marker-token 교환 실험에서 식별된 시스템/사용자 토큰 미구분 문제에 대응.
Multi-turn 오류 누적이 성능 저하에 미치는 인과적 메커니즘을 규명하고, 이전 오류를 감지·교정하는 모델 훈련 기법을 개발하는 방향이 자연스러운 다음 단계이다 — R_n 감소 및 dependent 구조 취약성에 대응.

이론적 의의

시스템 메시지 추종 능력의 독립적 역량화: SysBench는 시스템 메시지 추종이 일반 instruction-following과 구별되는 독립적 역량임을 실증적으로 확인하였다. ERNIE-4의 사례가 보여주듯, 기존 벤치마크 점수가 높은 모델이 시스템 메시지 맥락에서는 저성능을 보일 수 있으며, 이는 LLM 평가 방법론에서 시스템 메시지 시나리오를 별도로 측정해야 한다는 근거를 제공한다.
Attention 분포와 추종 능력 간 인과적 연결고리 제안: 시스템 메시지 토큰에 대한 어텐션 비율이 추종 성능과 상관된다는 발견은, 모델의 내적 표현 방식(어텐션 패턴)과 행동적 출력(지시 준수) 사이의 연결 메커니즘을 탐구하는 이론적 출발점을 제공한다. System token과 user token이 추론 시 엄격히 구별되지 않는다는 발견은 역할 인식(role recognition)이 명시적 구조보다 훈련 데이터에서 암묵적으로 형성됨을 시사한다.
Multi-turn 의존성 구조와 성능 붕괴 모델링: 의존적(dependent) 다중 턴 대화가 독립적(parallel) 구조보다 성능이 빠르게 감소한다는 발견, 그리고 이전 응답의 정확성이 이후 성능에 영향을 준다는 결과는, 대화형 AI 시스템 설계에서 오류 전파(error propagation) 억제가 핵심 과제임을 이론적으로 정립하는 데 기여한다.

Discussion Points

논쟁점: GPT-4o를 평가 대상 모델이자 LLM-as-judge verifier로 동시에 사용하는 설계는 self-preference bias 가능성을 내포한다. 저자들이 인간 평가자와의 일관성 94% 이상을 보고하나, 이것이 편향의 부재를 증명하는가, 아니면 인간과 GPT-4o가 동일한 방향으로 편향되어 있을 가능성을 배제하는가에 대한 커뮤니티 논쟁이 예상된다. 또한 GPT-3.5가 misaligned 조건에서 오히려 성능이 향상되는 이례적 결과의 원인 해석 — 훈련 데이터 효과인지, 평가 방식의 아티팩트인지 — 도 논쟁 가능한 지점이다.
검증 필요 가정: (1) 시스템 메시지 토큰의 어텐션 비율이 추종 성능의 원인(cause)이라는 가정은 현재 상관관계(correlation)에 기반하며, 인과성은 어텐션 조작 실험이나 훈련 개입 없이는 확인되지 않는다. (2) 저자 정의 6개 제약 카테고리가 실제 배포 환경의 시스템 메시지 공간을 대표한다는 가정은 독립적인 taxonomy(분류 체계) 연구 또는 실제 프로덕션 데이터와의 비교를 통해 검증되어야 한다. (3) 이전 응답 정확성이 이후 성능에 인과적으로 영향을 미친다는 주장은 다중 턴 개입 실험(예: 오류를 인위적으로 삽입하거나 수정하는 조건) 없이는 선택 편향(selection bias)으로도 설명될 수 있다.
후속 연구: (1) 훈련 데이터에서 system/user 역할 구분 신호를 체계적으로 변형한 controlled training 실험을 통해 SSR 향상의 핵심 인자를 식별하는 연구. (2) SysBench 프레임워크를 영어·한국어·일본어 등 다언어 환경으로 확장하여 언어·문화 맥락이 시스템 메시지 추종 능력에 미치는 영향을 분리하는 연구. (3) Dependent multi-turn 구조에서의 오류 전파를 억제하는 훈련 기법(예: error-aware RLHF, 오류 인식 강화 학습) 또는 추론 시 개입 방법을 탐색하는 연구.

실험 결과 상세

Table 2 — Overall Performance (%, 16 models)

모델 계열별 정렬. CSR(Constraint Satisfaction Rate) > ISR(Instruction Satisfaction Rate) > SSR(Session Stability Rate) 순으로 값이 감소하는 구조.

Model/Method	CSR (%)	ISR (%)	SSR (%)	vs. Best (GPT-4o) CSR	vs. Best (GPT-4o) ISR
GPT-4o	87.1	76.4	54.4	—	—
GPT-4-Turbo-20240409	86.5	76.6	53.2	-0.6	+0.2
Claude-3-Opus	85.0	74.1	51.8	-2.1	-2.3
Qwen2.5-72B-Instruct	80.4	66.2	42.8	-6.7	-10.2
Qwen2-72B-Instruct	79.0	64.1	41.6	-8.1	-12.3
GLM-4-0520	78.9	65.5	41.6	-8.2	-10.9
Llama3.1-70B-Instruct	76.6	60.3	36.6	-10.5	-16.1
DeepSeek-V2-0628	76.1	61.7	39.6	-11.0	-14.7
Moonshot-V1-8K	70.3	52.3	30.0	-16.8	-24.1
Llama3.1-8B-Instruct	66.5	46.9	24.9	-20.6	-29.5
GLM-4-9B-Chat	64.2	44.0	25.9	-22.9	-32.4
Mixtral-8x22B-Instruct	63.6	44.4	22.8	-23.5	-32.0
GPT-3.5-Turbo-20231106	61.6	43.2	20.8	-25.5	-33.2
Mixtral-8x7B-Instruct	56.5	37.6	19.1	-30.6	-38.8
ERNIE-4-8K-0613	50.7	33.8	20.0	-36.4	-42.6
Qwen2-7B-Instruct	47.0	26.9	15.0	-40.1	-49.5

비고: Top-3(GPT-4o, GPT-4-Turbo, Claude-3-Opus) CSR은 85-87% 대역에 밀집. 4위(Qwen2.5-72B, 80.4%)부터 급락. SSR은 CSR 대비 약 30-40%p 낮아, 멀티턴 세션 전체 유지 난이도가 매우 높음을 보여줌.

Table 3 — ISR: Alignment 조건별 분해 (%)

“Aligned”는 시스템 메시지와 사용자 지시가 일치하는 경우, “Misaligned”는 충돌하는 경우.

Model	ISR Aligned (%)	ISR Misaligned (%)	ISR Total (%)	Aligned vs. Misaligned gap
GPT-4-Turbo-20240409	76.6	76.5	76.6	+0.1 (거의 무차별)
GPT-4o	77.8	71.4	76.4	+6.4
Claude-3-Opus	75.8	68.3	74.1	+7.5
Qwen2.5-72B-Instruct	68.9	56.5	66.2	+12.4
GLM-4-0520	67.5	58.5	65.5	+9.0
Qwen2-72B-Instruct	67.4	52.6	64.1	+14.8
DeepSeek-V2-0628	65.1	49.5	61.7	+15.6
Llama3.1-70B-Instruct	60.7	59.0	60.3	+1.7
Moonshot-V1-8K	54.7	43.7	52.3	+11.0
Llama3.1-8B-Instruct	48.2	42.3	46.9	+5.9
Mixtral-8x22B-Instruct	46.0	38.8	44.4	+7.2
GLM-4-9B-Chat	48.3	28.4	44.0	+19.9 (최대 격차)
GPT-3.5-Turbo	41.9	47.7	43.2	-5.8 (역전: misaligned 우세)
Mixtral-8x7B-Instruct	39.5	31.0	37.6	+8.5
ERNIE-4-8K-0613	37.5	20.8	33.8	+16.7
Qwen2-7B-Instruct	29.3	18.6	26.9	+10.7

비고: GPT-4-Turbo가 aligned/misaligned 간 격차 0.1%p로 가장 강건. GPT-3.5-Turbo는 misaligned 조건에서 aligned보다 오히려 높은 유일한 역전 사례(시스템 메시지 우선순위 과잉 인식). GLM-4-9B는 19.9%p 격차로 misaligned 조건에 가장 취약.

Table 6 — Per-Category CSR (%, 6개 카테고리)

카테고리: Action / Content / Background / Role / Format / Style

Model	Action	Content	Background	Role	Format	Style	Total
GPT-4o	86.8	86.9	87.2	93.5	87.4	86.5	87.1
GPT-4-Turbo	88.9	85.4	84.6	87.5	87.4	85.9	86.5
Claude-3-Opus	83.4	85.6	91.0	93.5	83.2	85.0	85.0
Qwen2.5-72B	78.4	80.5	83.3	92.9	83.1	78.1	80.4
Qwen2-72B	73.5	80.0	89.7	91.1	79.8	79.8	79.0
GLM-4-0520	77.8	78.6	83.3	85.1	78.9	79.7	78.9
Llama3.1-70B	77.6	75.4	78.2	94.0	80.8	71.3	76.6
DeepSeek-V2	72.7	76.1	83.3	92.9	81.6	72.3	76.1
Moonshot-V1-8K	67.7	69.9	79.5	86.3	73.8	68.2	70.3
Llama3.1-8B	68.8	64.7	88.5	89.9	64.9	63.9	66.5
GLM-4-9B	58.2	65.5	70.5	83.3	66.8	62.6	64.2
Mixtral-8x22B	61.5	64.6	79.5	91.1	65.1	55.2	63.6
GPT-3.5-Turbo	70.7	57.6	64.1	80.4	59.0	59.7	61.6
Mixtral-8x7B	55.3	57.6	70.5	88.7	53.7	49.8	56.5
ERNIE-4-8K	51.9	47.9	62.8	86.3	52.0	48.2	50.7
Qwen2-7B	46.7	43.5	64.1	81.0	55.0	43.3	47.0

비고:

Role 카테고리는 거의 모든 모델에서 최고 CSR (81-94%). 역할 지시는 비교적 준수하기 쉬운 제약임.
Style 카테고리는 대부분 최저 또는 하위권. 스타일 지시는 가장 어려운 제약.
Background 카테고리에서 Llama3.1-8B(88.5%)가 Llama3.1-70B(78.2%)보다 높음 — 소형 모델의 이례적 역전.
Format 카테고리에서 GPT-4o와 GPT-4-Turbo가 동일 87.4%.

프레임워크 다이어그램

graph TB
    subgraph INF["1 - Inference Stage"]
        A1["System Message (500 messages, 6 categories)"] --> A2["Multi-turn User Instructions (5 turns per session)"]
        A2 --> A3["LLM Response Generation (16 models, default inference settings)"]
    end

    subgraph VER["2 - Verification Stage"]
        B1["GPT-4o Verifier (temperature 0, deterministic)"] --> B2["Per-instruction Checklist (expert-annotated, human-verified)"]
        B2 --> B3["Binary Pass or Fail per Constraint"]
    end

    subgraph EVA["3 - Evaluation Stage"]
        C1["CSR - Constraint Satisfaction Rate (constraint-level)"]
        C2["ISR - Instruction Satisfaction Rate (instruction-level)"]
        C3["SSR - Session Stability Rate (session-level, multi-turn)"]
    end

    A3 --> B1
    B3 --> C1
    B3 --> C2
    B3 --> C3

재현성 및 신뢰도 평가

항목	등급	비고
코드 공개	✅	GitHub 전체 공개: https://github.com/PKU-Baichuan-MLSystemLab/SysBench. 벤치마크 라이브러리 완전 릴리즈.
데이터 공개	✅	500 system messages x 5 turns = 2,500 turns 전체 릴리즈. 실제 온라인 로그 수집 후 21명 전문 어노테이터 정제, GPT-4o 보조 대화 생성, 수동 재작성, 멀티라운드 전문가 검증. 품질 프로세스가 상세히 기술됨.
하이퍼파라미터	⚠️	Verifier(GPT-4o): temperature=0으로 결정론적. 그러나 16개 평가 대상 모델의 생성 파라미터는 “default settings”로만 기술 — 구체적 temperature/top-p/max-token 미공개. GPU spec, random seed 미보고.
실험 환경	⚠️	대부분 모델이 API 호출 방식으로 평가 (공개 API 엔드포인트). GPU 환경 미명시. API 버전 일부만 명시(예: GPT-4-Turbo-20240409, GPT-3.5-Turbo-20231106). 시간 경과에 따른 API 버전 변화로 재현 불확실성 존재.
통계적 신뢰도	⚠️	단일 실행(verifier temperature=0으로 분산 최소화). 표준편차/신뢰구간/유의성 검정 없음. Verifier-human consistency >94%로 메트릭 신뢰성 근거 제시. 단, GPT-4o가 verifier이면서 동시에 피평가 모델(자기평가 편향 우려).
종합 등급	B	코드·데이터 완전 공개 + 결정론적 검증으로 기본 재현성 양호. 생성 하이퍼파라미터 불투명 + API 버전 종속성 + 자기평가 편향이 A 등급을 제한함.

주장별 신뢰도

#	주장	근거	신뢰도
1	GPT-4o가 CSR 87.1%로 전체 1위이며, 최하위 Qwen2-7B(47.0%) 대비 40.1%p 우위를 보인다	Table 2 직접 수치. Verifier-human 일치도 >94% 보고. 결정론적 verifier(temperature=0). 단, verifier가 GPT-4o 자신이므로 자기평가 편향 배제 불가	🟡
2	GPT-4-Turbo는 aligned/misaligned 조건 간 격차 0.1%p로 시스템 메시지 충돌에 가장 강건하다	Table 3 직접 수치. 다른 모델들은 대부분 5-20%p 격차. 재현 가능한 벤치마크 데이터 기반.	🟢
3	Role 카테고리가 모든 모델에서 가장 높은 CSR을 기록하며, Style이 가장 낮다	Table 6 전체 16개 모델 패턴 일관성 확인. Llama3.1-70B Role=94.0% vs. Style=71.3%(22.7%p 격차) 등 구조적 패턴이 모델 무관하게 반복됨.	🟢
4	SSR은 CSR 대비 약 30-40%p 낮아, 멀티턴 세션 전체 유지가 single-constraint 준수보다 훨씬 어렵다	Table 2: GPT-4o CSR 87.1% vs. SSR 54.4%(32.7%p 차). 16개 모델 전체에서 동일 방향. SSR 정의(모든 턴 모든 제약 통과 필요)가 수학적으로 낮은 값을 구조적으로 유도함 — 주장이 valid하나 이는 지표 설계의 결과이기도 함.	🟢
5	Llama3.1-8B의 Background CSR(88.5%)이 Llama3.1-70B(78.2%)보다 높아 소형 모델이 특정 카테고리에서 역전한다	Table 6 직접 수치. 단, 단일 카테고리 단일 비교이며 표준오차 미보고. 통계적 유의성 불명.	🟡

읽기 난이도: ⭐⭐

판단 근거: 벤치마크 논문으로서 실험 설계와 메트릭 정의가 명확히 기술됨. CSR/ISR/SSR의 계층 구조는 직관적이나, 멀티턴 세션 안정성 수식(R_n 감쇠, 기울기 k) 이해에는 통계적 사고가 필요. LLM-as-judge 방법론의 타당성 판단에는 NLP 평가 분야 배경지식이 요구됨.

축	SysBench (본 논문, direct)	IFEval (Zhou et al., 2023, base)	FollowBench (Jiang et al., 2023, direct)	CFBench (Zhang et al., 2024, direct)	Li et al. 2024a (alternative)
핵심 접근	System message 준수 특화 벤치마크; 500 system messages × 5-turn multi-turn(2500 turns); aligned/misaligned 우선순위 쌍 구성	단일 턴 instruction following; ~25가지 프로그래매틱 검증 가능 instruction type; rule-based 자동 평가	단일 턴; 제약을 점진적으로 추가하는 multi-level mechanism으로 난이도 gradient 생성	단일 턴; 10 범주·25 하위범주의 포괄적 제약 분류체계; 1000개 실세계 샘플	Dialog 내 system-prompt 준수 decay 측정 + attention 메커니즘 분석; 제어 방법 제안
평가 대상 (system message vs instruction)	System message (대화 전체 맥락 제약); instruction과 system message의 aligned vs misaligned 충돌 쌍 포함	User instruction (prompt 내 명시적 지시); system message 없음	User instruction; system message 없음	User instruction; system message 없음	System prompt 준수 안정성; 단, full benchmark 미구성 — 분석·동기 연구
멀티턴 여부	멀티턴 ✅ (parallel / dependent 두 유형; 5-turn)	단일 턴 ❌	단일 턴 ❌	단일 턴 ❌	멀티턴 ✅ (dialog 전반의 decay 추적)
제약 유형·정렬	6 constraint types (Action / Content / Background / Role / Format / Style); aligned(양립) vs misaligned(충돌) 우선순위 조건 명시	~25가지 verifiable types (word count, keyword, format 등); 유형 간 우선순위 개념 없음	5 types (Content / Situation / Style / Format / Example); 객관적+주관적 혼합; 우선순위 미정의	10 범주·25 하위범주; 실세계 제약 포괄; 우선순위 충돌 시나리오 미포함	System-prompt vs user-instruction 충돌 시 decay 관찰; 제약 유형 분류 미구성
평가 방식 (programmatic vs LLM-judge)	GPT-4o LLM-as-judge + manual checklist 혼합; 3단계 메트릭(CSR/ISR/SSR)	Programmatic/rule-based 완전 자동; 인간·LLM 개입 없음	GPT-4 LLM-as-judge (주관적 제약) + rule-based(객관적 제약) 혼합	GPT-4 LLM-as-judge; 대규모 샘플 커버리지 강조	GPT 계열 LLM 활용 자기 대화(self-chat) 실험 + attention weight 분석
핵심 메트릭	CSR(제약 단위) / ISR(지시 단위, 모든 제약 충족 시만) / SSR(세션 단위, 멀티턴 안정성); 3계층	prompt-level accuracy, instruction-level accuracy (이진 pass/fail); 단일 집계	Multi-level constraint following rate (레벨별 누적 성공률)	Overall constraint following score; 범주별 breakdown	System-prompt adherence decay rate; turn 수에 따른 준수율 감소 곡선
코드 공개	✅ (github.com/PKU-Baichuan-MLSystemLab/SysBench)	✅ (Google Research)	✅	✅	❌ (공개 코드베이스 미확인)

원자적 인사이트 (Zettelkasten)

💡 system-message 추종은 단일 턴 정확도가 아니라 “세션 안정성”으로 측정해야 한다

출처: SysBench - Can Large Language Models Follow System Messages (Qin et al., 2024)
유형: 방법론적

SysBench는 채점 단위를 제약(CSR) → 지시(ISR) → 세션(SSR)으로 단계적으로 넓혀, “한 제약을 맞히는 것”과 “한 세션 5턴을 끝까지 일관되게 지키는 것”을 분리한다. 이 분리 덕분에 단일 턴 정확도로는 보이지 않던 누적 붕괴가 드러나, 최고 모델 GPT-4o조차 SSR 54.4%에 그친다(Table 2). 즉 멀티턴 안정성은 일반 instruction-following 점수와 독립적인 평가 축이다.

핵심 조건/맥락: 500 system messages × 5턴, parallel/dependent 멀티턴 설계, GPT-4o verifier 채점(human 일치 94%+). SSR은 5턴 모두 통과해야 카운트되므로 가장 엄격한 지표.
연결: Instruction (In)stability (Li 2024a), FollowBench (Jiang 2023)
활용 가능성: 챗봇 회귀 테스트를 단일 턴 정확도가 아닌 세션 통과율로 설계하면, 긴 대화에서의 페르소나·형식 이탈을 조기에 잡을 수 있다.

💡 LLM은 추론 시 system/user 토큰을 사실상 구분하지 않으며, 추종 능력은 훈련 데이터에 좌우된다

출처: SysBench - Can Large Language Models Follow System Messages (Qin et al., 2024)
유형: 이론적

system과 user를 가르는 marker token을 swap해도 두 구간의 attention 비율 변화가 +0.53~1.01%에 불과해, 모델이 두 역할을 아키텍처 수준에서 엄밀히 분리하지 않음을 시사한다. 그럼에도 system-message 토큰에 배분되는 attention 비율과 따르기 능력 사이에 양의 상관이 관찰된다. 이는 추종 능력이 입력 형식이 아니라 무엇을 학습했는지(훈련 데이터 구성)에서 비롯됨을 가리킨다.

핵심 조건/맥락: 분석은 검토된 3개 오픈 모델(GLM-4-9B, Llama3.1-8B, Qwen2-72B) 범위 내 attention 패턴 관찰에 기반하며, 인과가 아닌 상관. marker swap 실험은 형식적 구분의 부재를 보이는 증거.
연결: Instruction Hierarchy (Wallace 2024)
활용 가능성: 정렬·프롬프트 엔지니어링보다 system-message 추종을 강조한 훈련 데이터 큐레이션이 더 직접적인 개선 레버일 수 있다.

💡 user 요청과의 충돌(misaligned)은 모델별로 갈리며, 강함의 척도가 된다

출처: SysBench - Can Large Language Models Follow System Messages (Qin et al., 2024)
유형: 실험적

misaligned 조건에서 대부분 모델이 성능 하락을 보이지만(GLM-4-9B aligned 48.3% → misaligned 28.4%, Table 3) GPT-3.5는 오히려 상승(47.7% vs 41.9%)하고 GPT-4-Turbo는 격차가 0.1%p로 거의 없다(Table 3). 즉 충돌 상황 견고성은 모델마다 크게 다르며, aligned 점수만으로는 추종 안정성을 판별할 수 없다.

핵심 조건/맥락: aligned/misaligned는 SysBench가 의도적으로 분리한 조건. 수치는 ISR 기준(Table 3), GPT-4o verifier 채점.
연결: InfoBench (Qin 2024), CFBench (Zhang 2024)
활용 가능성: 모델 선택·레드팀 시 aligned 정확도와 별개로 misaligned 격차를 핵심 지표로 추적해야 한다.

핵심 용어 정리

용어	정의
system message	대화 맨 앞에 놓여 모델의 역할·말투·형식·제약을 규정하는 최상위 지침. user message보다 우선해야 한다.
CSR (Constraint Satisfaction Rate)	개별 제약(constraint) 단위 만족률. 가장 세분화된 지표.
ISR (Instruction Satisfaction Rate)	지시 단위 만족률. 한 지시에 속한 모든 제약을 충족해야만 카운트한다.
SSR (Session Stability Rate)	세션(멀티턴 대화) 단위 만족률. 5턴 전체에서 일관되게 따라야 카운트하는 가장 엄격한 지표.
constraint type	지시 제약을 분류한 6종: action / content / background / role / format / style.
aligned / misaligned	user query가 system message와 일치(aligned)하거나 충돌(misaligned)하는 평가 조건.
multi-turn (parallel / dependent)	여러 턴으로 이어지는 대화. 턴이 서로 독립적이면 parallel, 앞 턴 결과에 의존하면 dependent.
verifier	모델 응답이 각 제약을 충족했는지 자동 채점하는 평가 모델. SysBench는 GPT-4o를 사용(human 일치 94%+).
attention	모델이 입력 토큰들에 분배하는 가중치. 어떤 토큰에 얼마나 집중하는지를 나타낸다.
marker token	system/user 등 메시지 역할 경계를 표시하는 특수 토큰. swap 실험의 대상.

BibTeX

@misc{qin2024sysbench,
  title={SysBench: Can Large Language Models Follow System Messages?},
  author={Qin, Yanzhao and Zhang, Tao and Shen, Yanjun and Luo, Wenjing and Sun, Haoze and Zhang, Yan and Qiao, Yujing and Chen, Weipeng and Zhou, Zenan and Zhang, Wentao and Cui, Bin},
  journal={arXiv preprint arXiv:2408.10943},
  year={2024},
  url={https://arxiv.org/abs/2408.10943},
  eprint={2408.10943},
  archivePrefix={arXiv},
  primaryClass={cs.CL}
}

SysBench: 대규모 언어 모델은 시스템 메시지를 따를 수 있는가?

SysBench: 대규모 언어 모델은 시스템 메시지를 따를 수 있는가?

먼저 이해하기

쉬운 설명

왜 중요한가

먼저 알아둘 말

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

프레임워크 개요

핵심 구성요소

입력 → 출력 흐름

기존 방법과의 차별점

주요 하이퍼파라미터 / 설정

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

Table 2 — Overall Performance (%, 16 models)

Table 3 — ISR: Alignment 조건별 분해 (%)

Table 6 — Per-Category CSR (%, 6개 카테고리)

프레임워크 다이어그램

재현성 및 신뢰도 평가

주장별 신뢰도

읽기 난이도: ⭐⭐

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

💡 system-message 추종은 단일 턴 정확도가 아니라 “세션 안정성”으로 측정해야 한다

💡 LLM은 추론 시 system/user 토큰을 사실상 구분하지 않으며, 추종 능력은 훈련 데이터에 좌우된다

💡 user 요청과의 충돌(misaligned)은 모델별로 갈리며, 강함의 척도가 된다

핵심 용어 정리

관련 연구

태그

BibTeX