From Noise to Diversity: Random Embedding Injection in LLM Reasoning

읽기 판단

읽기 · confidence: high

학습된 콘텐츠 없이 순수 랜덤 임베딩만으로 최적화된 soft prompt와 비슷한 성능을 낸다는 반직관적 결과를, 이론(Theorem 1, Proposition 1)과 다각도 실험(엔트로피 / 궤적 다양성 / Pass@N / DAPO 확장)으로 뒷받침한다. Mechanistic interpretability나 soft-prompt·추론 다양성에 관심 있는 독자에게 특히 유용하다.

1분 요약

문제: soft prompt로 reasoning이 개선될 때, 그 이득이 학습된 벡터 내용에서 오는지 아니면 “주입” 행위 자체에서 오는지가 분리되지 않았다.

핵심 아이디어: 학습 없이 매 rollout마다 새로 뽑는 등방 가우시안 랜덤 벡터(RSP)를 입력에 붙여 주입 효과 자체만 분리한다.

새로움: 학습된 콘텐츠가 전혀 없는데도 여러 세팅에서 최적화된 soft prompt와 비슷한 정확도에 도달하고, DAPO 학습에도 확장된다.

가장 강한 근거: Table 1(정확도 비교), Table 3–4(첫 토큰 분포·궤적 의미 다양성), Table 5(DAPO+RSP 평균 +1.16pp)와 Theorem 1(KV cache 성장에 따른 attention 감쇠)이 결합된 이론-실험 정합.

가장 큰 주의점: Qwen2.5-Math-7B/AIME24에서는 TTSV(23.30%)가 RSP(16.67%)보다 우수하며, RoPE 기반 decoder·수학 추론 밖으로의 일반화는 저자도 미검증으로 남겨둔다.

핵심 아이디어

기존 soft prompt 연구는 학습된 연속 벡터를 입력에 주입해 reasoning을 개선했지만, 성능 향상이 “학습된 내용” 때문인지 “주입이라는 구조적 행위” 자체 때문인지가 뒤섞여 있었다. 저자들은 이 둘을 분리하기 위해 학습을 아예 제거한 극단 형태, Random Soft Prompts(RSP)를 제안한다. RSP는 사전학습 임베딩 테이블의 entrywise 평균·표준편차로 맞춘 등방 가우시안에서 매 rollout마다 새로 뽑은 벡터 시퀀스이며, 학습된 정보는 전혀 담지 않는다.

메커니즘은 두 단계로 설명된다. (1) Exploration: attention이 한 번도 본 적 없는 랜덤 위치를 흡수해야 하므로 초반 생성 토큰의 분포가 평탄해지고 reasoning 궤적이 갈라진다. (2) Annealing: 생성이 진행되며 KV cache에 실제 토큰이 쌓일수록 RSP에 쏠린 attention이 자연히 희석되어(Theorem 1) 결국 하나의 완성된 답으로 수렴한다. Proposition 1은 등방 가우시안이 고정된 trace 하에서 worst-case 방향 분산을 최대화하는 유일한 분포임을 보여, “왜 등방 노이즈인가”에 대한 근거를 제공한다.

무엇을 했나

모델: LLaMA-3.1-8B-Instruct, Qwen2.5-Math-7B/1.5B-Instruct, Qwen2.5-Math base(ChatML 적용·미적용 변형 포함)
벤치마크: MATH-500, GSM8K, AIME24
베이스라인: 학습된 soft prompt 3종(TTSV, SoftCoT, LTPO) 대비 RSP 비교
메트릭: 정확도(%), 토큰 단위 엔트로피 / top-1 확률 / varentropy, 궤적 간 의미 다양성(pairwise cosine distance, inter/intra-cluster distance), Pass@N, attention-mass heatmap
설정: RSP 길이 L ∈ {10, 15, 20}을 model-benchmark 쌍별로 선택, suffix 주입 기본(prefix도 실험), Table 1–2는 greedy decoding, 다양성 분석은 temperature sampling
추가로 DAPO(RL 학습)에 RSP를 독립 재샘플링 방식으로 결합해 학습 단계까지 효과를 확장

핵심 근거

주장	근거 위치	관찰/수치	조건·주의	claim_origin
RSP는 여러 model-benchmark 조합에서 baseline 및 학습된 soft prompt와 비슷하거나 나은 정확도	Table 1	Qwen2.5-Math-7B/MATH-500: baseline 83.20 → RSP 84.20; 1.5B/AIME24: baseline 10.00 → RSP 20.00	Qwen2.5-Math-7B/AIME24는 TTSV(23.30)가 RSP(16.67)보다 우수	author-stated
포맷 불일치(base 모델 + ChatML) 조건에서 RSP가 특히 큰 개선을 냄	Table 2	Qwen2.5-Math-1.5B base+ChatML: MATH-500 34.40 → 63.40(+29.0pp), GSM8K 37.45 → 67.02(+29.6pp)	prefix 주입 조건, 단일 모델·소수 벤치마크 결과	author-stated
RSP는 temperature와 달리 첫 토큰 분포를 재정렬하면서도 정확도를 유지	Table 3	Spearman ρ: RSP 0.709 vs τ=2.0/3.0의 1.000; 정확도 RSP 73.30%, τ=3.0은 1.42%	고온 temperature는 정확도를 파괴하는데 RSP는 유지된다는 대조	author-stated
RSP가 궤적 간 의미 다양성을 확대(특히 inter-cluster)	Table 4	inter-cluster distance 0.0183 → 0.0982(~5.4x), intra-cluster는 0.0526 → 0.0528로 거의 불변	intra-cluster 불변은 “같은 답 내부 다양성은 유지”라는 해석의 근거	author-stated
DAPO 학습에 RSP를 결합하면 평균 정확도가 소폭 상승	Table 5 (Qwen2.5-Math-7B)	DAPO Avg 53.20 → DAPO+RSP 54.36 (+1.16pp), AIME24 22.6 → 23.6	단일 모델·단일 학습 실행 결과, 반복 실행 검증 미보고	author-stated

어디까지 믿을까

저자 명시 한계 (author-stated): 메커니즘이 “RoPE 기반 decoder와 수학 추론” 밖으로 일반화될지 미검증; L이 discrete하여 temperature 같은 연속 조절 다이얼이 없음(model-benchmark 쌍별 수동 선택); 코드 생성처럼 정답이 여럿인 과제는 미실험; Theorem 1 범위 밖의 “layer-axis decay”는 이론적 설명이 없음; multi-seed 평가와 held-out validation 미실시.
분석자 판단 (analyst-inference): Table 1에서 AIME24/7B 조합은 TTSV가 RSP를 앞서, “학습 콘텐츠 없이도 최적화 soft prompt와 동등”이라는 abstract 주장이 모든 세팅에 균일하게 적용되지는 않는다. L 선택이 model-benchmark 쌍별 수동 튜닝이라는 점은 재현 시 하이퍼파라미터 탐색 비용을 시사한다.
미확인 범위 (unknown): 확보한 범위에서는 통계적 유의성 검정(Table 3의 ± 외) 여부, 시드 수, 코드·데이터 공개 여부가 확인되지 않는다.

원문 읽기 지도

읽는 목적	먼저 볼 곳	확인할 질문
메커니즘 이론 근거 확인	Sec. 3.2–3.3, Theorem 1 / Proposition 1	attention-mass 감쇠식과 등방 가우시안의 optimality 증명이 실제로 무엇을 가정하는가
RSP가 실패하는 조건 파악	Table 1, AIME24 / Qwen2.5-Math-7B 행	왜 이 조합에서만 TTSV가 RSP를 앞서는지 논의가 있는가
다양성-정확도 트레이드오프 검증	Sec. 4.3–4.4, Table 3–4	temperature와 RSP의 분포 재정렬 메커니즘 차이가 Pass@N 향상으로 어떻게 연결되는가
학습 확장의 실전 가치 판단	Sec. 4.5, Table 5	DAPO+RSP의 +1.16pp가 단일 실행 결과인지, 재현성 확인 절차가 있는지

읽기 전 용어

RSP (Random Soft Prompts): 학습 없이 매 rollout마다 새로 샘플링되는, 사전학습 임베딩 통계에 맞춘 등방 가우시안 랜덤 벡터 시퀀스
DAPO: rollout 다양성을 활용하는 RL 기반 LLM 학습 알고리즘. 본 논문에서 RSP를 결합해 학습 단계로 확장
Pass@N: N번 시도 중 적어도 한 번 정답일 확률

Wiki 연결

The Power of Scale for Parameter-Efficient Prompt Tuning — RSP가 “학습 제거” 대조군으로 겨냥하는 학습형 soft prompt 계열의 출발점
Group Relative Policy Optimization(GRPO) — Sec. 4.5에서 확장 대상으로 삼은 DAPO의 모태가 되는 rollout 기반 RL 알고리즘
Beyond Pass@1 - Self-Play with Variational Problem Synthesis — rollout 다양성으로 Pass@N을 넓히려는 같은 문제의식의 다른 접근

BibTeX

@inproceedings{kim2026noise,
  title     = {{From Noise to Diversity: Random Embedding Injection in LLM Reasoning}},
  author    = {Kim, Heejun and Lee, Seungpil and Yeom, Jewon and Sok, Jaewon and Park, Seonghyeon and Park, Jeongjae and Kim, Taesup and Kim, Sundong},
  booktitle = {ICML 2026 Workshop on Mechanistic Interpretability},
  year      = {2026},
  note      = {Spotlight. arXiv:2605.11936},
  eprint    = {2605.11936},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CL}
}