희생 없는 조향을 향하여: 프롬프트 전용 개입을 위한 Steering Vector의 원리적 학습

Digest: LLM의 특정 행동(예: 특정 개념 표현)을 유도하는 Steering Vector(SV, 은닉 상태에 더해 넣는 방향 벡터)는 두 가지 실무적 걸림돌이 있다. 첫째, 조향 세기 α(steering factor)를 학습이 아닌 추론 시점의 하이퍼파라미터로 사후 탐색해야 하고, 둘째, 전체 시퀀스의 모든 토큰에 개입(FSSV, Full-Sequence SV)하면 비용이 크고 모델 본래 능력을 훼손한다. 이 논문은 (1) SV를 z = αv로 분해한 뒤 무한 폭(infinite-width) scaling 이론으로 factor α와 direction v를 함께 학습하는 원리적 초기화·학습률(η_v = Θ(n^{-1/2}), η_α = Θ(n^{1/2}), 곱이 Θ(1))을 유도하고, (2) 프롬프트의 접두·접미 토큰에만 개입하는 PrOSV(Prompt-Only Steering Vector)를 제안한다. AxBench 벤치마크에서 PrOSV+SimPO는 Gemma2-2B(L10) 0.803 vs FSSV 0.756, Gemma2-9B(L20) 0.905 vs 0.892, Qwen2.5-32B(L32) 1.102 vs 0.947로 우수했고(출처: Results 표), 4개 토큰(pp2+ss2) 개입만으로 FSSV 대비 37배 적은 연산으로 tinyMMLU/tinyGSM8K 능력 저하를 크게 줄였다(FSSV 산술 정확도 6890% 하락 vs PrOSV 1829% 하락). 한계는 fine-tuned SV에 국한되고, 개입 능력과 적대적 강건성 사이의 근본적 상충을 완전히 해소하지 못한다는 점이다.

---

먼저 이해하기

LLM은 문장을 처리할 때 각 층(layer)에서 은닉 상태(hidden state, 단어의 의미를 담은 숫자 벡터)를 만든다. Steering Vector(조향 벡터)는 이 은닉 상태에 특정 방향 벡터(direction, v)를 세기(factor, α)만큼 더해서 모델이 특정 개념(예: “친절함”, “특정 주제”)을 더 강하게 드러내도록 밀어주는 기법이다. 수식으로는 Φ^Add(h; α, v) = h + αv — 은닉 상태 h에 α배 크기의 v를 더하는 가장 단순한 덧셈 개입(addition intervention)이다.

여기엔 두 가지 실무 문제가 있다.

첫째, α(세기)를 얼마로 줄지가 애매하다. 기존 방식은 방향 v만 학습하고 세기 α는 추론할 때마다 사후 탐색(post-hoc selection, 여러 값 넣어보고 고르기)했다. 이 논문은 α와 v를 처음부터 함께 학습하되, 어떻게 초기화하고 어떤 학습률을 줘야 둘 다 제대로 학습되는지를 무한 폭 scaling 이론(모델 폭 n이 무한대로 갈 때의 학습 안정성 분석, muP 계열)으로 원리적으로 유도한다.

둘째, 기존 FSSV(Full-Sequence SV, 전 토큰 개입)는 생성되는 모든 토큰마다 개입하니 (a) 연산이 비싸고 (b) 모델 본래 실력(수학·상식 문제 풀이)을 크게 망가뜨린다. 이 논문의 PrOSV(Prompt-Only SV, 프롬프트 전용)는 입력 프롬프트의 앞뒤 소수 토큰(4개면 충분)에만 개입해서, KV 캐시(과거 토큰 계산 결과 저장소)를 암묵적으로 편집하는 방식으로 저렴하고 부작용이 적게 개념을 주입한다.

왜 중요한가: 원문에 따르면 하이퍼파라미터 튜닝이 “학습 전 한 번(one-off)“으로 끝나 개별 SV마다 세기를 다시 고를 필요가 없어지고(원문 근거), 4개 토큰 개입으로 FSSV 대비 37배 연산 절감과 함께 능력 저하도 크게 줄인다. 즉 “조향의 대가로 모델 능력을 희생”하던 관행을 완화한다.

먼저 알아둘 용어 표

용어	쉬운 설명
Steering Vector (SV)	은닉 상태에 더해 넣어 특정 개념·행동을 유도하는 방향 벡터
factor (α) / direction (v)	조향의 세기(스칼라) / 조향의 방향(벡터), SV는 z = αv로 분해
FSSV	Full-Sequence SV, 생성되는 모든 토큰에 개입하는 기존 방식
PrOSV	Prompt-Only SV, 프롬프트 접두·접미 소수 토큰에만 개입
infinite-width scaling	모델 폭 n→∞ 극한에서 학습 안정·효율 조건을 유도하는 이론
AxBench	개념 조향 성능을 재는 벤치마크 (Concept500 등)
SimPO	Simple Preference Optimization, 대조적 선호 학습 목적함수

---

섹션별 요약

Abstract

Steering Vector의 두 실무 문제(세기 α의 사후 선택, 전 토큰 개입의 비용·유틸리티 손상)를 지적하고, (1) factor와 direction을 함께 학습하는 원리적 하이퍼파라미터 유도와 (2) 프롬프트 전용 개입 PrOSV를 제안한다. AxBench에서 조향 성능을 높이면서 tinyMMLU/tinyGSM8K 능력 보존과 37배 연산 절감을 동시에 달성한다.

왜 이 연구를 하는가?

기존 SV 연구는 방향 v만 학습하고 세기 α는 추론 시 하이퍼파라미터로 취급해 반복 탐색이 필요했다. 또한 전 토큰 개입(FSSV)은 비싸고 모델 능력을 훼손한다. “조향을 하면 실력을 희생한다”는 상충을 원리적 학습과 개입 위치 축소로 완화하는 것이 목표다.

Introduction

SV를 z = αv로 분해(factorized parameterization)하면 α, v 각각에 대한 원리적 초기화·학습률을 논할 수 있다. 반대로 z를 직접 최적화하면 scaling 제약이 정보 없는 Θ(1)로 붕괴해 지침을 못 준다. 개입 위치도 전 시퀀스가 아니라 프롬프트 접두·접미로 제한하면 KV 캐시 편집처럼 작동해 저렴하고 부작용이 적다는 통찰을 제시한다.

Methods

분해와 scaling 이론: 조향 특징 z_t = α_t v_t 가 폭 n→∞에서 안정하려면 안정성 조건 γ[z_t] = γ[α_t] + γ[v_t] = 0, 효율성 조건: 세 갱신 성분 δ¹_t, δ²_t, δ³_t 모두 Θ(1)(factor와 direction이 한쪽만 지배하지 않고 함께 학습). 이로부터 상호 역수 학습률 η_v = Θ(n^{-1/2}), η_α = Θ(n^{1/2}) (곱 η_v·η_α = Θ(1)), factor 초기화 α₀ = β·n^{1/2} (β는 grid search), direction은 Kaiming 초기화(분산 λ·n^{-1})를 얻는다. 실무 규칙: β > 1 이고 η_α > η_v 일 때 최적.

개입 연산자: 가장 단순한 덧셈 개입 Φ^Add(h; α, v) = h + αv에 집중.

PrOSV 설계: 개입을 프롬프트 접두·접미 토큰으로 제한. 표기 pXq+sYr = 접두 q개·접미 r개, 예 pp2+ss2 = 총 4토큰. FSSV를 단순 변환해 PrOSV로 못 쓰고(최적 방향이 크게 다름, ablation N.2에서 확인), joint training이 필요. ReFT처럼 암묵적 KV 캐시 편집으로 작동해 attention 패턴 교란을 최소화.

학습 목적함수: (a) Lang.(response-only language modeling, 조향된 응답으로 학습), (b) SimPO(개념-중립 vs 개념-조향 쌍의 대조 학습; gpt-4o-mini로 baseline 응답을 생성해 (x_i, y_i, y_i^c) triple 데이터 증강). SimPO가 대체로 조향 성능은 좋지만 FSSV에서는 벤치마크 정확도 저하가 더 크다.

발견 (Findings)

• factor·direction 공동 학습에는 “적당히 큰 초기화와 학습률”이 필요하며 β > 1, η_α > η_v 조건이 최적.
• 프롬프트 접두+접미 개입이 접두-only 또는 접미-only보다 우수.
• 4토큰(pp2+ss2) 개입이 여러 모델 계열에서 개념 주입과 생성 품질의 균형점.

Results

AxBench(Concept500 등) overall score(concept/instruct/fluency의 조화평균)에서 PrOSV(joint+SimPO)가 FSSV를 앞선다: Gemma2-2B(L10) 0.803 vs 0.756, Gemma2-9B(L20) 0.905 vs 0.892, Qwen2.5-32B(L32) 1.102 vs 0.947. 유틸리티(tinyMMLU/tinyGSM8K): FSSV는 산술에서 6890% 정확도 하락, PrOSV는 1829% 하락에 그쳐 강건성·일반능력 사이 더 나은 Pareto frontier 형성. 연산: 상수 개수 토큰만 개입해 FSSV 대비 37배 오버헤드 절감.

Discussion

공동 학습은 특정 층에 대해 튜닝 비용을 이후 모든 SV에 amortize(분할 상환)해, SV마다 세기를 다시 고르는 방식보다 효율적. 적대적 개념 억제(concept-suppression) 공격 하에서도 PrOSV가 더 나은 Pareto frontier를 보임.

이론적 의의

SV를 factor×direction으로 분해하고 무한 폭 scaling(muP 계열) 분석을 적용하면, 조향 파라미터의 초기화·학습률을 시행착오가 아닌 원리로 결정할 수 있음을 보인다. “조향의 위치”라는 축(전 시퀀스 vs 프롬프트)이 유틸리티 보존의 핵심 설계 변수임을 드러낸다.

Discussion Points

• Qwen2.5-32B의 1.102라는 overall score가 1.0을 넘는 것은 개별 하위 점수 정의(0~2 concept 등) 때문으로 보이며 절대 스케일 해석에 주의 필요.
• SimPO의 조향 이득이 FSSV에서는 유틸리티 손상으로 상쇄되는데, PrOSV에서는 왜 덜한지의 인과(개입 토큰 수 축소 vs 목적함수)는 추가 분리 실험이 필요.
• 37배 절감은 “상수 개수 토큰 개입” 가정에 기반하므로 매우 긴 생성에서 특히 유리.

---

실험 결과 상세

표 1. AxBench overall score (PrOSV joint+SimPO vs FSSV) — 출처: Results 추출

Model (Layer)	PrOSV	FSSV
Gemma2-2B (L10)	0.803	0.756
Gemma2-9B (L20)	0.905	0.892
Qwen2.5-32B (L32)	1.102	0.947

표 2. 유틸리티 보존 (tinyMMLU/tinyGSM8K, 산술 정확도 하락폭) — 출처: Results 추출

방법	정확도 하락폭
FSSV	68~90%
PrOSV	18~29%

표 3. 핵심 설정값 — 출처: Methods/Setup 추출

항목	값
개입 예산	pp2+ss2 = 4 토큰
연산 절감	FSSV 대비 37×
factor 학습률	η_α = Θ(n^{1/2})
direction 학습률	η_v = Θ(n^{-1/2})
factor 초기화	α₀ = β·n^{1/2} (β>1)
direction 초기화	Kaiming, 분산 λ·n^{-1}
데이터셋	Concept10/Concept500(AxBench), Qwen은 100 concepts
증강 모델	gpt-4o-mini (triple 생성)

프레임워크 다이어그램

flowchart TD
    A["입력 프롬프트"] --> B["프롬프트 접두/접미 토큰 선택<br/>pp2+ss2 = 4토큰"]
    B --> C["층 L의 은닉 상태 h"]
    C --> D["덧셈 개입<br/>Phi_Add = h + alpha * v"]
    D --> E["PrOSV: 프롬프트 토큰만 개입<br/>KV 캐시 암묵 편집"]
    subgraph TRAIN["공동 학습 (scaling 이론)"]
        F["factor alpha0 = beta * n^(1/2)"] --> H["eta_alpha = Theta(n^(1/2))"]
        G["direction v: Kaiming, var = lambda * n^(-1)"] --> I["eta_v = Theta(n^(-1/2))"]
        H --> J["안정성: gamma[alpha]+gamma[v]=0<br/>효율성: 갱신 성분 모두 Theta(1)"]
        I --> J
    end
    J --> D
    E --> K["목적함수: Lang. 또는 SimPO"]
    K --> L["평가: AxBench overall + tinyMMLU/tinyGSM8K"]
    L --> M["조향 성능↑ & 유틸리티 보존 & 37x 절감"]

재현성 및 신뢰도 평가

종합 등급: Evidence B / Reproducibility C

• Evidence B 근거: Gemma2-2B/9B, Qwen2.5-32B 3개 모델과 AxBench·tinyMMLU·tinyGSM8K 다중 벤치마크에서 FSSV 대비 일관된 우위, 개입 위치·목적함수·토큰 예산 ablation 존재. 다만 절대 점수 스케일(1.102 등) 해석과 표본(Qwen 100 concepts로 축소)에 제약.
• Reproducibility C 근거: 이론적 초기화·학습률 규칙과 하이퍼파라미터가 명시되고 gpt-4o-mini 증강 절차가 기술되나, 공개 코드·정확한 seed·전체 하이퍼파라미터 표의 접근성은 본문 추출 범위에서 확인 불가.

주장별 신뢰도

1. “PrOSV가 FSSV보다 유틸리티를 잘 보존한다”(정확도 하락 1829% vs 6890%): 신뢰도 상 — 여러 모델·산술/상식 벤치마크에서 방향 일관.
2. “37배 연산 절감”: 신뢰도 중 — “상수 개수 토큰 개입” 가정에 의존, 실측 wall-clock 조건이 본문 추출에서 제한적.
3. “scaling 이론 유도 η_α>η_v, β>1 최적”: 신뢰도 중상 — 이론 유도 + 경험적 확인이 있으나 무한 폭 근사의 유한 폭 적용 여지 존재.

---

원자적 인사이트 (Zettelkasten)

• Steering Vector를 z = αv로 분해하면 factor(세기)와 direction(방향)에 각각 독립적인 scaling 규칙을 부여할 수 있다. z를 통째로 최적화하면 무한 폭 제약이 정보 없는 Θ(1)로 붕괴해 원리적 지침을 잃는다 — “분해가 곧 제어 가능성”이다.
• 조향 파라미터의 안정·효율은 “안정성 γ[α]+γ[v]=0”과 “효율성 세 갱신 성분 모두 Θ(1)“으로 요약되며, 이는 factor와 direction 중 한쪽이 학습을 독점하지 못하게 하는 균형 조건이다. 결과적으로 η_α·η_v = Θ(1)의 상호 역수 학습률이 나온다.
• 개입의 “양”이 아니라 “위치”가 유틸리티 손상의 핵심 변수다: 전 토큰(FSSV) 대신 프롬프트 접두·접미 4토큰(PrOSV)만 건드리면 KV 캐시를 암묵 편집하듯 작동해 37배 저렴하고 능력 저하를 크게 줄인다.
• FSSV를 그대로 잘라 PrOSV로 쓸 수 없다 — 최적 방향 자체가 다르기 때문에 프롬프트 전용 개입은 처음부터 joint training으로 학습해야 한다(개입 위치가 목적 지형을 바꾼다).

핵심 용어 정리

용어	정의
Steering Vector (SV)	은닉 상태 h에 αv를 더해 특정 개념·행동을 유도하는 개입 벡터 (z = αv)
factor (α) / direction (v)	조향 세기(스칼라)와 방향(벡터); 분해 파라미터화의 두 축
FSSV / PrOSV	전 시퀀스 개입 방식 / 프롬프트 접두·접미 토큰만 개입하는 방식
infinite-width scaling (muP류)	폭 n→∞ 극한에서 안정·효율 학습을 보장하는 초기화·학습률 이론
안정성/효율성 조건	γ[α]+γ[v]=0 (특징 폭발 방지) / 갱신 성분 모두 Θ(1) (양쪽 학습 보장)
AxBench / Concept500	개념 조향 성능 평가 벤치마크와 개념 집합
SimPO	개념-중립 vs 개념-조향 쌍을 대조 학습하는 선호 최적화 목적함수
pXq+sYr / pp2+ss2	접두 q개·접미 r개 개입 표기 / 총 4토큰 개입 구성

관련 연구

• Exploring the Personality Traits of LLMs through Latent Features Steering
• Persona Vectors in Games - Measuring and Steering Strategies via Activation Vectors
• Representation-Learning.base

태그

steering-vectors activation-steering LLM-control representation-learning scaling-laws interpretability

---

BibTeX

@inproceedings{bao2026steering,
  title     = {Towards Steering without Sacrifice: Principled Training of Steering Vectors for Prompt-only Interventions},
  author    = {Bao, Yuntai and Li, Qinfeng and Yu, Xinyan and Su, Ge and Zhang, Wenqi and Yan, Liu and Weng, Haiqin and Yin, Jianwei and Zhang, Xuhong},
  booktitle = {Proceedings of the International Conference on Machine Learning (ICML)},
  year      = {2026},
  note      = {arXiv:2605.05983},
  url       = {https://arxiv.org/abs/2605.05983}
}