42분 분량

잠재 특징 조종으로 본 대규모 언어 모델의 성격 특성

Exploring the Personality Traits of LLMs through Latent Features Steering

저자
Shu Yang et al.
출처
arXiv preprint, 2024
분류
Application
읽은 깊이
Abstract, 읽는 중
리뷰
2026-06-30
LLM PersonalitySparse AutoencoderLatent Feature SteeringRepresentation EngineeringAI Safety

재학습 없이 SAE·표현기반 잠재특징 steering으로 LLM 성격(Big Five·Dark Triad)과 안전성을 조종하고, 모델이 클수록 성격이 안정적임을 보인 연구.

잠재 특징 조종으로 본 대규모 언어 모델의 성격 특성

Digest:
대규모 언어 모델(LLM)은 비서·에이전트로 쓰이며 일관된 ‘성격’을 드러내지만, 그 성격이 어디서 오고 얼마나 안정적인지는 불분명했다(Context).

이 논문은 인간 성격이 사회·환경 배경으로 빚어진다는 발상을 모델에 옮겨, 문화규범·환경요인이 LLM 내부에 ‘잠재특징(latent feature, 신경망 표현 공간의 한 방향)‘으로 인코딩되어 있다는 사회적 결정론(social determinism) 관점을 제시한다(Insight).

핵심은 이 잠재특징을 재학습 없이(training-free) 직접 찾아 밀어줄 수 있다는 것으로, 장기 배경요인 8종은 **SAE(Sparse Autoencoder, 내부 활성을 희소한 단의미 특징으로 분해하는 보조 신경망)**로, 단기 압력 7종은 PCA(주성분분석)로 추출한 뒤 잔차 스트림(residual stream)에 계수를 곱한 특징 벡터를 더해(R^l + c·f) 성격을 조종한다(Solution).

그 결과 모델이 클수록 성격이 안정적이어서, 장기 배경요인으로 인한 성격 점수 변동이 Gemma-2-9B는 0–7.1점인 반면 2B는 0–52.5점에 달했고 단기압력에서도 9B 0.1–27.7점 대 2B 0.4–53.5점이었으며(TRAIT), 동시에 같은 조종이 9B의 안전 점수를 최대 6.8점까지 떨어뜨려(특히 OFF(공격성) 범주, Poor SES·Liberalism·Volatile EI 배경; SafetyBench) 성격과 안전이 같은 잠재 공간에서 얽혀 있음을 보였다(Evidence).

다만 검증은 Gemma-2 두 모델·TRAIT/SafetyBench에 한정되고, 음수 계수 조종은 작동하지 않아 반대 특징을 따로 써야 했으며 SAE 폭(RES-131k가 16k보다 우수, 일부 층은 Superposed 실패)에 결과가 좌우된다(Limitations). 이 잠재특징이 진짜 인과적 원인인지, 다른 모델 계열·다국어에서도 같은 사회적 결정론이 성립하는지, 이 조종을 탈옥 방어로 역이용할 수 있는지는 열려 있다(Open Questions). 📎 https://arxiv.org/abs/2410.10863

먼저 이해하기

쉬운 설명

이 연구는 LLM(대규모 언어 모델)의 ‘성격’을 모델 내부의 잠재특징(latent feature, 신경망이 정보를 담는 표현 공간 속 한 방향)을 건드려 바꿀 수 있는지 본다. 사람의 성격이 자란 환경에 영향받듯, 모델 안에도 ‘가난한 사회경제적 배경(Poor SES)‘이나 ‘정치 성향(Liberalism)’ 같은 장기 배경요인과 일시적 압박 같은 단기 요인이 특징으로 들어 있다고 가정한다(사회적 결정론, social determinism). 연구진은 이런 특징을 SAE(Sparse Autoencoder, 내부 신호를 뜻이 한 가지로 또렷한 조각들로 쪼개는 보조 신경망)와 PCA(주성분분석)로 찾아낸 뒤, 모델을 다시 학습시키지 않고(training-free) 잔차 스트림(residual stream, 층마다 정보가 흘러가는 통로)에 그 특징을 더해 성격을 밀어준다. 성격은 TRAIT(8000문항, Big Five와 Short Dark Triad)로, 안전성은 SafetyBench(7개 범주) 점수로 측정한다. 결과적으로 큰 모델(Gemma-2-9B)은 같은 자극에도 점수 변동이 0–7.1점으로 작아 성격이 안정적이지만, 작은 모델(2B)은 0–52.5점까지 출렁였다. 또 배경요인을 강하게 밀면 9B의 안전 점수가 최대 6.8점 내려가, 특히 공격성(OFF) 범주가 약해졌다.

왜 중요한가

이 결과는 LLM 성격이 고정된 성질이 아니라, 내부 잠재특징을 통해 재학습 없이(training-free) 체계적으로 바꿀 수 있는 대상임을 구체적 수치로 보여준다. 특히 성격을 조종하면 9B의 안전 점수가 최대 6.8점까지 함께 흔들려(SafetyBench), 성격과 안전이 같은 표현 공간에서 얽혀 있음을 드러낸다 — 페르소나 설정이 안전성에 부작용을 줄 수 있다는 경고다. 또 모델이 클수록(9B vs 2B) 변동이 작아, 성격 안정성이 모델 규모와 연관된다는 점을 같은 벤치마크 위에서 비교한다. 다만 이 관찰은 Gemma-2 두 모델과 TRAIT·SafetyBench 설정에 한정되며, 다른 모델 계열로의 일반화는 원문에서 검증되지 않았다.

먼저 알아둘 말

용어쉬운 설명정확성 메모
잠재특징 (latent feature)신경망 내부 표현 공간에서 특정 개념을 가리키는 한 방향장기배경 특징 f_b^m은 SAE 디코더 가중치 열 W_dec[i]를 사용
SAE (Sparse Autoencoder)모델 내부 활성을 ‘뜻이 하나로 또렷한’ 희소 특징들로 분해하는 보조 신경망GemmaScope SAE 사용; 넓은 RES-131k가 RES-16k보다 단의미 분리 우수, layer 9·20은 Superposed 실패
잔차 스트림 (residual stream)트랜스포머 각 층 사이로 정보가 흘러가는 통로(벡터 합)조종은 R^l + c·f로 특정 층 l 잔차에 계수 c를 곱한 특징을 더함
조종 계수 (steering coefficient c)특징을 얼마나 세게 밀지 정하는 배수~250에서 안정; 음수 계수는 효과 없어 반대 특징을 따로 추출해 사용
monosemantic / superposed한 특징이 한 뜻만 가지면 monosemantic, 여러 뜻이 겹치면 superposed단의미 특징은 9B Layer 31, 2B Layer 12에서 최대
Big Five / Short Dark Triad성격심리학 5대 특성 / 어둠의 3특성(마키아벨리즘·자기애·사이코패시)TRAIT 벤치마크(8000문항)로 측정
social determinism (사회적 결정론)성격이 사회·환경 배경요인으로 결정된다는 관점논문이 LLM 내부 특징 해석에 차용한 가설적 프레임

섹션별 요약

Abstract

LLM에 인코딩된 문화규범과 환경요인이 모델의 성격 특성을 어떻게 형성하는지 “사회적 결정론(social determinism, 사회·문화적 맥락이 개인 특성을 결정한다는 관점)” 프레임워크로 분석한다. 재학습 없이 SAE(Sparse Autoencoder, 희소 자동인코더)와 표현 기반(representation-based) 방법으로 잠재특징(latent feature)을 추출하고 조종(steering)하는 훈련 불필요(training-free) 접근법을 제안하며, Gemma-2-2B-Instruct·Gemma-2-9B-Instruct를 대상으로 장기 배경요인과 단기 압력이 Big Five(빅 파이브, 외향성·성실성·개방성·친화성·신경증 5요인 성격 모델)·Short Dark Triad(나르시시즘·마키아벨리즘·사이코패시 3요인) 특성과 안전성에 미치는 영향을 TRAIT 벤치마크(8,000문항)와 SafetyBench(7개 카테고리)로 정량화한다. 모델 규모가 클수록 성격 표현이 더 안정적이며, 일부 요인은 SafetyBench 공격성(offensiveness) 안전 점수를 최대 6.8점 낮춘다. 이 결과는 문화·환경적 잠재특징이 LLM의 성격과 안전성을 체계적으로 변화시킬 수 있음을 실증하며, 재학습 없는 성격 조종의 실현 가능성과 그에 따른 안전 위험을 동시에 확인한다.

저자 contribution

  • 재학습 없이 SAE와 표현 기반 방법으로 LLM 성격 잠재특징을 추출·조종하는 훈련 불필요 프레임워크를 제안한다.
  • 장기 배경요인과 단기 압력이 Big Five·Short Dark Triad 성격 특성에 미치는 영향을 TRAIT 벤치마크(8,000문항)로 정량화하고, 모델 규모가 클수록 성격 표현이 안정적임을 입증한다.
  • 성격 조종이 SafetyBench 공격성 안전 점수를 최대 6.8점 감소시킬 수 있음을 밝혀 LLM 안전성의 새로운 잠재 위험 경로를 규명한다.

왜 이 연구를 하는가?

핵심 질문: LLM의 ‘성격(personality)‘을 형성하는 내부 잠재특징(latent feature)은 무엇이며, 재학습(retraining) 없이 그 특징만을 인과적으로 조종해 성격과 안전성 행동을 변화시킬 수 있는가?

기존 접근법의 한계

한계설명
행동 측정 중심의 성격 연구기존 연구는 주로 프롬프트 입력에 대한 출력 행동을 측정하는 방식에 집중하여, 성격이 모델 내부에서 어떻게 인코딩되는지에 대한 기계론적 설명을 제공하지 못한다.
내부 잠재특징 수준의 인과적 조종 부재모델 표현 공간(representation space) 내부에서 성격 관련 특징을 직접 식별·개입하는 연구가 부족하여, 성격 변화가 jailbreak 취약성 등 안전성에 미치는 영향이 불투명하다.

핵심 통찰

  • LLM의 성격 형성을 social determinism 관점으로 프레이밍하면, 문화·환경 요인이 잠재특징으로 인코딩된다는 인과적 설명이 가능해진다.
  • 재학습 없이 잠재특징만을 조종할 수 있다는 사실은 성격·안전성 통제와 오남용 양면에서 실질적 함의를 가진다.

Introduction

대규모 언어 모델(LLM, Large Language Model)이 페르소나(persona)나 에이전트(agent)로 배포되는 사례가 급격히 증가함에 따라, 모델이 어떤 ‘성격(personality)‘을 나타내는지, 그리고 그 성격이 무엇에 의해 결정되는지가 신뢰 가능한 배포의 핵심 문제로 부상하고 있다. 그러나 모델 성격의 형성 메커니즘은 여전히 불투명하며, 성격 변화가 jailbreak 취약성과 같은 안전성(safety) 속성에 어떤 영향을 미치는지도 충분히 규명되지 않았다. 기존의 성격 연구는 대부분 프롬프트 기반의 행동 측정에 집중하여, 모델 내부 잠재특징 수준에서 성격을 인과적으로 조종하는 연구는 상대적으로 부족하다. 이에 본 연구는 성격 형성을 social determinism(사회적 결정론) — 문화·환경 요인이 내부 잠재특징으로 인코딩된다는 프레임 — 으로 재해석하고, 재학습 없이 잠재특징만 조종함으로써 성격과 안전성 행동을 변경할 수 있는지 검증한다. 재학습 없이 내부 특징만을 조종할 수 있다는 가능성은 LLM 성격 통제와 잠재적 오남용 양면에서 중요한 함의를 갖는다.

주: 제공된 추출본에는 독립 Introduction 헤딩 없이 동기가 abstract에 압축되어 있었다. 위 요약은 제공 텍스트·spine 범위 내에서만 기술했다.

Methods

프레임워크 개요: 본 프레임워크는 두 갈래 특징 추출 파이프라인 — SAE(Sparse Autoencoder, 희소 자동 인코더) 기반 장기 배경(Background) 추출과 표현(representation) 기반 단기 압력(Pressure) 추출 — 을 통해 조종 벡터를 도출한 뒤, 추가 학습 없이 추론 시 LLM의 residual stream(잔여 스트림)에 직접 더하는 training-free steering으로 모델의 성격·안전 행동을 조종한다.

핵심 구성요소

  • SAE (Sparse Autoencoder): 모델 내부 표현 z ∈ ℝ^d를 희소 코드로 분해·재구성하는 모듈. 구조는 SAE(z) = ReLU((z − b_dec)W_enc + b_enc)W_dec + b_dec 이며, W_enc ∈ ℝ^(d×m), W_dec ∈ ℝ^(m×d). 재구성 손실과 L1 희소 정규화를 합친 L(z) = ||z − SAE(z)||²₂ + α||ReLU(zW_enc + b_enc)||₁ 로 훈련된다. 본 연구에서는 GemmaScope 사전 훈련 SAE를 그대로 사용하며 재훈련하지 않는다.
  • 장기 배경 특징 추출 (Background, SAE 기반): 사회인구학적 요인(Gender, Age 등 8종)별로 GPT-4o가 긍/부정 서술을 다수 생성한다(예: 부유 → “Wealthy lineage”/“Affluent upbringing”, 빈곤 → “Struggling financially”). 이 서술을 SAE에 통과시켜 monosemanticity(단의성) 검사로, 해당 속성에는 강하게 활성화되고 반대 속성에는 비활성화되는 feature를 선별한다. 선별된 feature의 디코더 i행 f_b^m = W_dec[i]가 조종 벡터가 된다.
  • 단기 압력 특징 추출 (Pressure, 표현 기반): 성격 압력 요인(Assertiveness 등 7종)별로 긍/부정 지시 프롬프트쌍을 구성한다(예: Assertiveness 부정 → “struggles to assert yourself”, 긍정 → “communicates confidently”). “{negative:{neg}+{question}; positive:{pos}+{question}}” 형식의 TRAIT 질문을 모델에 입력한 뒤, 최종 토큰의 평균 레이어 활성 h_l을 추출하고 긍/부정 간 정규화 차이에 PCA(주성분 분석)를 적용해 단위벡터 방향 f_p^n을 도출한다.
  • Residual Stream Steering (잔여 스트림 조종): 추론 시 배경 조종은 마지막 토큰 위치를 제외한 전체 위치에 조종 벡터를 더한다 — R^l_{:,:t−1,:} ← R^l_{:,:t−1,:} + c · f_b^m. 압력 조종은 마지막 토큰 직전 위치에 적용 — h_l(t−1) + c · f_p^n. c는 조종 강도를 결정하는 조종 계수다.

입력 → 출력 흐름: 먼저 오프라인에서 두 갈래 조종 벡터를 준비한다. 장기 배경 경로에서는 GPT-4o 서술 → SAE 통과 → monosemanticity 선별 → 디코더 행 f_b^m 추출 순서로, 단기 압력 경로에서는 프롬프트쌍 → 포워드 패스로 h_l 추출 → 긍부정 차이 정규화 → PCA → 방향 벡터 f_p^n 순서로 진행된다. 추론 시에는 사용자 질문이 들어오면 l번째 레이어 residual stream에 위 조종 벡터를 계수 c만큼 더한 채 나머지 레이어가 진행되어 조종된 출력이 생성된다. 배경 조종과 압력 조종은 독립적으로 혹은 병합하여 적용할 수 있다.

기존 방법과의 차별점: 기존 성격 조종이 파인튜닝(finetuning)이나 프롬프트 엔지니어링에 의존하는 것과 달리, 본 방법은 추가 학습 없이 모델 가중치를 고정한 채 residual stream만 수정한다. 또한 조종 벡터의 출처를 사회인구학적 배경(SAE 잠재 feature)과 성격 압력(활성 차이 기반 표현)으로 이원화함으로써, 각 요인의 의미적 독립성을 유지하면서 세밀한 조종이 가능하다.

주요 설정

  • 모델: Gemma-2-2B-Instruct, Gemma-2-9B-Instruct / SAE: GemmaScope (재훈련 없음)
  • 장기 배경 요인 8종: Gender, Age, Emotional Intelligence, Education Level, Socioeconomic Status, Social Ideology(6값), Professional Commitment, Family Relations, AI Familiarity
  • 단기 압력 요인 7종: Achievement Striving, Activity, Assertiveness, Competence, Deliberation, Gregariousness, Trust
  • 평가 벤치마크: TRAIT(8,000 Q, Big Five + Short Dark Triad), SafetyBench(7범주: EM/IA/MH/OFF/PH/PP/UB)

발견 (Findings)

  • 모델 규모와 성격 안정성: 장기 배경 조종 조건에서 Gemma-2-9B의 성격 특성 변동 폭은 0–7.1점에 그쳤으나 Gemma-2-2B는 0–52.5점까지 변동. 단기 압력 조종에서도 9B 0.1–27.7점 대 2B 0.4–53.5점으로, 모델 규모가 클수록 성격 안정성이 현저히 높다.
  • 안전성 저하와 취약 특성: Gemma-2-9B에서 배경 특성 feature를 강화하면 보안 점수가 최대 6.8점 하락하며, Offensiveness(OFF)가 가장 취약하다. Poor Socioeconomic Status, Liberalism, Volatile Emotional Intelligence 세 특성이 각각 OFF 보안을 최대 6.8점 하락시켰다.
  • Steering coefficient 안정화 임계값: logit difference는 steering coefficient 약 250 수준에서 양수로 수렴·안정화. 음수 계수를 통한 반대 속성 유도는 Gemma-2-9B에서 비효과적이며, 반대 속성 강화에는 계수 부호 조정 대신 별도의 반대 방향 feature 사용이 필요하다.
  • SAE 규모 및 레이어 선택: Gemma-2-9B는 layer 31, Gemma-2-2B는 layer 12에서 단의미(monosemantic) feature가 최대화. 대형 SAE(RES-131k)가 소형(RES-16k) 대비 분리 성능 우수, RES-16k는 layer 9·20에서 “Superposed” 실패.
  • Trait-level 교차 활성화: Gemma-2-9B에서 “Achievement Striving” 활성화 시 의도한 Conscientiousness↑ 외 Neuroticism↑도 동시 발생(완벽주의). Gemma-2-2B에서 “Competence” 활성화 시 Agreeableness·Openness↓ 동반(인지 경직). 단일 feature 개입이 인접 trait까지 영향.

Results

RQ1. SAE 기반 steering은 성격 특성을 얼마나 변화시키는가?

장기 배경 조종 조건에서 Gemma-2-9B는 성격 특성 변동 폭이 0–7.1점, Gemma-2-2B는 0–52.5점으로 두 모델 간 최대 약 7.4배 차이가 나타났다. 단기 압력 조종 조건에서는 Gemma-2-9B 0.1–27.7점, Gemma-2-2B 0.4–53.5점이었다. 두 조종 방식 모두에서 큰 모델(9B)이 작은 모델(2B) 대비 일관되게 낮은 변동 폭을 보여, “큰 모델일수록 안정적”이라는 핵심 주장을 직접 뒷받침한다.

RQ2. Steering이 모델 안전성에 미치는 영향은?

Gemma-2-9B에서 배경 특성 feature를 강화하는 방향으로 steering을 적용했을 때, 보안 점수가 0–6.8점 하락했다. 안전 차원 중 Offensiveness(OFF)가 가장 취약하였으며, Poor Socioeconomic Status, Liberalism, Volatile Emotional Intelligence 특성이 OFF 보안을 각각 최대 6.8점 하락시켰다. Bias steering 실험에서는 Social Ideology(liberalism vs communism) feature가 Gemma-2-2B에서 steering 후 logit difference 증가 폭이 가장 크게 나타났다.

RQ3. 최적 layer, SAE 규모, steering coefficient 조건은?

Layer 선택 결과 Gemma-2-9B는 layer 31, Gemma-2-2B는 layer 12가 단의미 feature를 최대화하는 최적 레이어로 확인됐다. SAE 규모 비교에서 RES-131k(대형)가 RES-16k(소형) 대비 단의미 feature 분리 성능이 우수했다. Steering coefficient는 약 250 수준에서 logit difference가 양수로 수렴·안정화됐다.

Ablation / 부정 결과

  • 음수 계수의 비효과성: 음수 steering coefficient를 이용한 반대 속성 유도는 Gemma-2-9B에서 효과가 없어, 저자들은 부호 조정 대신 반대 방향 별도 feature 사용으로 전환했다.
  • RES-16k Superposition 실패: 소형 SAE RES-16k는 layer 9·20에서 “Superposed” 상태(단일 feature에 복수 개념 혼합)로 단의미 분리에 실패. 충분히 큰 SAE가 feature 해석 가능성 확보에 필수임을 시사.
  • Trait 간 의도치 않은 교차 활성화: 단일 feature 개입이 인접 trait에 의도하지 않은 효과(9B: Achievement Striving→Neuroticism↑; 2B: Competence→Agreeableness·Openness↓)를 유발할 수 있어 steering의 선택적 통제 한계를 나타낸다.

Discussion

본 연구의 핵심 발견은 재학습(fine-tuning) 없이 SAE 잠재특징(latent feature)만을 조작하는 것으로 LLM의 성격과 안전성이 동시에 제어 가능하다는 것이다. 이는 모델의 내부 표현이 성격 차원과 안전 행동을 구조적으로 결합하고 있음을 시사하며, 기존 행동 제어 연구가 주로 fine-tuning이나 프롬프트 엔지니어링에 의존해 온 것과 대조된다. 특히 steering이 jailbreak(탈옥, 안전 필터 우회) 취약성을 변화시킨다는 관찰은, 안전성과 성격이 잠재특징 수준에서 기능적으로 연결되어 있음을 보여준다.

이러한 결과는 정렬(alignment) 연구와 오남용(misuse) 양 측면에서 이중적 함의를 갖는다. 긍정적으로는 연산 부담이 큰 재학습 없이 모델 행동을 세밀하게 조정할 가능성을 열지만, 부정적으로는 동일한 메커니즘이 안전장치를 우회하는 데 활용될 수 있다. 2B 규모 소형 모델이 특히 취약하여 성격 조종 시 최대 52.5/53.5점의 대규모 변동이 관찰됐으며, Poor SES, Liberalism, Volatile EI 등 특정 배경 조건에서 OFF 안전성이 최대 6.8점까지 저하되는 등 조건 의존성이 두드러진다.

저자가 인정한 한계

  • SAE 학습에 상당한 연산비용(computational cost)이 요구되어 실험 범위가 제한되었다.
  • 실험 전체가 GemmaScope 오픈소스 SAE에 한정되며, 커스텀 SAE 학습을 수행하지 않아 대형 모델 및 타 아키텍처로의 일반화에 제약이 있다.

향후 방향

  • GemmaScope 이외의 SAE(Llama·Mistral 계열 등)로 실험을 확장해 아키텍처 간 일반화를 검증.
  • pre-trained SAE 재활용 또는 경량화로 연산비용 한계 완화.
  • 성격·안전 결합의 인과 구조를 해석하는 mechanistic interpretability 후속 연구.

이론적 의의

  • Safety-Personality Entanglement (안전성-성격 결합): 안전성과 성격 특질이 잠재특징 수준에서 구조적으로 결합되어 있다는 증거를 제시. 안전 정렬을 단독으로 다루는 기존 접근이 성격 차원의 부수 효과를 간과할 수 있음을 시사하며, LLM 내부 표현의 모듈성 가정에 도전한다.
  • Training-Free Behavioral Steering의 이중성: 재학습 없이 내부특징 조작만으로 행동을 제어할 수 있다는 발견은, 정렬 유지 비용을 낮출 잠재력과 동시에 동일 메커니즘의 무기화 가능성이라는 이중적 지평을 연다.
  • Social Determinism과 AI 행동: Poor SES, Liberalism, Volatile EI 등 사회적 배경 조건이 안전성 저하와 상관될 수 있다는 관찰은, LLM 내부 표현이 사회적 맥락을 어떻게 인코딩하는지에 대한 social determinism 관점 탐구를 정당화하며, 편향 연구를 잠재특징 수준으로 확장하는 기반을 제공한다.

Discussion Points

  • 논쟁점: 잠재특징 steering의 성격 조종이 실제 배포 환경에서 jailbreak 위험을 유의미하게 증가시키는지, 또는 관찰된 안전 점수 변동이 벤치마크 아티팩트인지 검증이 필요하다. 6.8점 저하가 실제 유해 출력 증가와 어떻게 연결되는지는 독립 실험으로 재현되어야 한다.
  • 검증 필요 가정: GemmaScope SAE에서 관찰된 성격-안전 결합이 다른 아키텍처·다른 방식으로 학습된 SAE에서도 재현된다는 전제가 미검증. BFI 점수 변화가 실제 대화 행동 변화를 대리 측정하는 데 충분한지도 확인 필요.
  • 후속 연구: 성격 특질별 안전성 결합 강도 차이를 설명하는 mechanistic 분석, 그리고 OFF 안전성을 저하시키는 특정 잠재특징을 “취약 결절점(vulnerable node)“으로 명시 관리하는 방어 전략 연구.

실험 결과 상세

Model/MethodDatasetMetricScorevs. Baseline
Gemma-2-9B + SAE 장기배경 조종 (제안)TRAIT (8000Q)Big Five 변동폭0–7.1점+0~+7.1점 (무조종 대비)
Gemma-2-2B + SAE 장기배경 조종TRAIT (8000Q)Big Five 변동폭0–52.5점2B가 9B 대비 최대 +45.4점
Gemma-2-9B + 표현기반 단기압력 조종 (제안)TRAIT (8000Q)Big Five 변동폭0.1–27.7점+0.1~+27.7점 (무조종 대비)
Gemma-2-2B + 표현기반 단기압력 조종TRAIT (8000Q)Big Five 변동폭0.4–53.5점2B가 9B 대비 최대 +25.8점
Gemma-2-9B + 배경강화 페르소나SafetyBench (7범주)안전점수 변화0–6.8점 감소-0~-6.8점
Gemma-2-9B + OFF 페르소나 (Poor SES·Liberalism·Volatile EI)SafetyBench (OFF)안전점수 최대 감소최대 6.8점 감소-6.8점
GemmaScope RES-131k Layer 31 (9B)TRAITMonosemantic 최대 레이어Layer 31 최적RES-131k > RES-16k
GemmaScope RES-16k (Layer 9·20)TRAITSAE 특성 품질Superposed(중첩) 실패RES-131k 대비 열위

프레임워크 다이어그램

graph TB
    A1["장기배경 8종 (SAE 특성 추출)"] --> C["Latent Feature 선택"]
    A2["단기압력 7종 (표현기반 PCA)"] --> C
    C --> D["Residual Stream Steering (계수 ~250)"]
    D --> E1["Gemma-2-2B-Instruct"]
    D --> E2["Gemma-2-9B-Instruct"]
    E1 --> F1["TRAIT 벤치마크 (성격, 8000Q)"]
    E1 --> F2["SafetyBench (안전, 7범주)"]
    E2 --> F1
    E2 --> F2
    F1 --> G["규모별 안정성·안전 분석"]
    F2 --> G

재현성 및 신뢰도 평가

항목등급비고
코드 공개✅GitHub: github.com/kaustpradalab/LLM-Persona-Steering 공개
데이터 공개⚠️TRAIT·SafetyBench는 공개 벤치마크이나, 본 논문 구성 성격 자극 프롬프트 세트 공개 여부 불분명
하이퍼파라미터⚠️Steering coefficient ~250, 최적 레이어(9B 31/2B 12) 명시. 탐색 범위·선택 기준·PCA 차원 등 미제공
실험 환경⚠️모델·SAE 식별자 명시. GPU 사양·배치 크기·추론 설정 부재
통계적 신뢰도❌표준편차·신뢰구간·유의성 검정 미언급. 범위(0–X) 값만 제시
종합 등급B코드 공개와 주요 하이퍼파라미터 명시로 부분 재현 가능하나, 통계 검정 부재·환경 정보 미흡

주장별 신뢰도

#주장근거신뢰도
1SAE 기반 장기배경 조종이 Big Five 성격을 변화시킨다두 모델 모두 구체적 변동폭, TRAIT 8000Q 기반🟢
2소형 모델(2B)이 대형(9B)보다 성격 조종에 더 취약장기·단기 양쪽에서 2B가 일관되게 큰 변동(최대 52.5 vs 7.1점)🟢
3특정 페르소나 조종이 안전성을 최대 6.8점 저하SafetyBench OFF 수치 명시🟡 (안전점수 절대 스케일·기저선 불명확)
4Layer 31(9B)/12(2B)가 Monosemantic 최대 최적 레이어GemmaScope SAE 분석, RES-131k vs 16k 비교🟡 (단일 SAE 아키텍처 한정)
5Steering coefficient ~250이 안정화 최적점경험적 관찰, 탐색 범위·기준 미제공🔴

관련 연구 비교 매트릭스

선정 근거: CAA·Cunningham et al.은 본 논문 steering·SAE 추출의 직접적 방법론 기반이며, PersonaLLM은 동일 Big Five를 프롬프트 수준에서 접근하는 대안 패러다임, Wang et al.은 같은 내부표현 분석 계열에서 안전성 연관 행동(아첨)을 다뤄 직접 비교가 가능하다.

축본 논문 [Yang et al. 2024]CAA [Rimsky 2023, base]SAE 해석 [Cunningham 2023, base]PersonaLLM [Jiang 2023, alternative]아첨 기원 [Wang 2025, alternative·같은 lab]
핵심 접근GemmaScope SAE로 성격 latent feature 추출 후 residual stream 덧셈 (training-free)대조 프롬프트 평균 활성차 벡터 덧셈 (training-free)L1 희소 SAE로 단의미 feature 발견·해석시스템 프롬프트로 Big Five 지정 후 BFI 평가 (내부 접근 無)logit-lens + activation patching으로 아첨 레이어 인과 진단
문제 정의Big Five+SD3 성격·안전을 내부 feature로 조종 가능한지일반 행동 성향 steering 가능성내부 표현 superposition 분해·monosemantic 규명프롬프트만으로 성격 유도·평가 가능한지아첨이 내부 어디서 기원하는지 인과 규명
데이터/모델Gemma-2-2B/9B + GemmaScope SAELlama-2-7B/13B/70BGPT-2 계열 소형 모델GPT-3.5/4/Llama + BFI 설문7개 이종 LLM + MMLU
핵심 메트릭BFI/SD3 점수 변화, SafetyBench 거부율sycophancy 비율, TruthfulQAautomated interpretability, reconstruction lossBFI 일관성, 사람 판별 정확도activation patching 인과효과, 아첨률 감소
확장성GemmaScope 의존(Gemma-2 한정), SAE 학습비용 없음대조 데이터만 있으면 모델 무관SAE 학습 GPU 비용 大API만으로 임의 모델 적용(가장 범용)아첨 진단 특화, 모델별 재분석 필요
한계Gemma-2 특정 SAE 의존, 설문 자기보고 편향단일 선형벡터 한계, 레이어 민감feature→행동 인과 검증 미흡표면 모사, 프롬프트 민감단일 행동 집중, 교정법 미제안
코드 공개✅ (kaustpradalab/LLM-Persona-Steering)✅✅❓✅ (kaustpradalab/LLM-sycophancy)

원자적 인사이트 (Zettelkasten)

💡 모델이 클수록 성격 표현이 안정적이다

출처: Exploring the Personality Traits of LLMs through Latent Features Steering (PRADA Lab, 2024) · 유형: 실험적

동일한 잠재특징 조종을 가해도 큰 모델의 성격 점수는 덜 흔들린다. Gemma-2-9B는 장기배경 조종 시 변동이 0–7.1점에 그쳤지만 2B는 0–52.5점까지 출렁였고, 단기압력에서도 9B 0.1–27.7점 대 2B 0.4–53.5점으로 차이가 컸다(TRAIT). 모델 규모가 성격의 견고함과 연관된다.

핵심 조건/맥락: Gemma-2-Instruct 2B·9B, TRAIT(8000문항). 다른 계열 미검증.
연결: Is Self-knowledge and Action Consistent or Not - Investigating Large Language Model’s Personality, PERSONA VECTORS - MONITORING AND CONTROLLING CHARACTER TRAITS IN LANGUAGE MODELS

💡 잔차 스트림에 특징을 더해 재학습 없이 성격을 조종하되, 음수 계수는 통하지 않는다

출처: Exploring the Personality Traits of LLMs through Latent Features Steering (PRADA Lab, 2024) · 유형: 방법론적

SAE 디코더 가중치(W_dec[i])로 뽑은 장기배경 특징과 PCA로 뽑은 단기압력 특징을, 특정 층 잔차 스트림에 계수를 곱해 더하는 것(R^l + c·f)만으로 성격을 바꿀 수 있다. 계수는 ~250 부근에서 안정적이며, 단의미 특징은 9B Layer 31, 2B Layer 12에서 최대다. 특징을 ‘빼려고’ 음수 계수를 쓰면 효과가 없어, 반대 성격 특징을 따로 추출해 더해야 한다.

핵심 조건/맥락: GemmaScope SAE, RES-131k > RES-16k(layer 9·20 Superposed 실패). training-free.
연결: Improving Reasoning Performance in Large Language Models via Representation Engineering, Persona Vectors in Games - Measuring and Steering Strategies via Activation Vectors

💡 성격 조종은 안전성을 함께 흔든다 — 같은 잠재 공간의 얽힘

출처: Exploring the Personality Traits of LLMs through Latent Features Steering (PRADA Lab, 2024) · 유형: 실패-한계

배경요인 특징을 강화하면 9B의 안전 점수가 최대 6.8점 떨어졌고, 특히 OFF(공격성)가 가장 취약했으며 Poor SES·Liberalism·Volatile EI 배경에서 하락이 컸다(SafetyBench). 또 한 특징이 한 trait만 바꾸지 않고 번져, 9B에서 Achievement Striving은 Conscientiousness와 Neuroticism을 함께 올렸고 2B에서 Competence는 Agreeableness·Openness를 내렸다. 성격과 안전이 같은 표현 공간에서 얽혀 있음을 시사한다.

핵심 조건/맥락: Gemma-2-9B/2B, SafetyBench 7범주·TRAIT. 인과가 아닌 조종 상관 관찰.
연결: Moral Susceptibility and Robustness under Persona Role-Play in Large Language Models, When Truth Is Overridden - Uncovering the Internal Origins of Sycophancy in Large Language Models

핵심 용어 정리

용어정의
Latent Feature Steering모델 내부 잠재특징을 찾아 잔차 스트림에 더하거나 빼서 출력 성향을 바꾸는, 재학습 없는 제어 기법.
SAE (Sparse Autoencoder)트랜스포머 내부 활성을 희소하고 단의미적인 특징들로 분해하도록 훈련된 보조 신경망. 디코더 가중치 열이 개별 특징 방향.
Residual Stream (잔차 스트림)트랜스포머에서 각 층 출력이 누적되어 흐르는 핵심 정보 통로. 여기에 특징 벡터를 더해 조종.
Monosemantic / Superposed Feature하나의 뜻만 담은 특징이 monosemantic, 여러 뜻이 한 방향에 겹쳐(superposition) 섞인 것이 superposed.
Big Five성격심리학 5요인(개방성·성실성·외향성·우호성·신경증). 본 논문의 성격 측정 축.
Short Dark Triad (SD-3)어둠의 3요소(마키아벨리즘·자기애·사이코패시) 축약 측정판. TRAIT에 포함.
TRAIT8000문항으로 LLM의 Big Five와 Short Dark Triad를 평가하는 성격 벤치마크.
SafetyBenchLLM 안전성을 7개 범주(EM/IA/MH/OFF/PH/PP/UB)로 평가하는 벤치마크.
Social Determinism (사회적 결정론)성격이 사회·환경 배경요인으로 형성된다는 관점. 논문이 LLM 내부 특징 해석에 차용한 프레임.
Steering Coefficient (c)특징을 얼마나 강하게 더할지 정하는 계수. 이 논문에서는 약 250에서 안정.

관련 연구

태그

paper #2024 interpretability LLM-personality activation-steering SAE AI-safety

BibTeX

@article{yang2024personality,
  title={Exploring the Personality Traits of {LLMs} through Latent Features Steering},
  author={Yang, Shu and Zhu, Shenzhe and Liang, Liu and Li, Mengdi and Hu, Lijie and Wang, Di},
  journal={arXiv preprint arXiv:2410.10863},
  year={2024},
  url={https://arxiv.org/abs/2410.10863},
  eprint={2410.10863},
  archivePrefix={arXiv}
}