신경 덤불(Neural Thickets): 다양한 태스크 전문가는 사전학습 가중치 주변에 빽빽하게 존재한다

Digest: 사후학습(post-training, 사전학습된 모델을 특정 태스크에 맞게 추가 조정하는 단계)은 보통 PPO/GRPO 같은 경사 기반(gradient-based) 최적화로 이뤄지지만, 이 논문은 그럴 필요가 없을 수도 있다는 통찰을 던진다. 저자들은 사전학습 가중치 θ 주변에 가우시안 무작위 섭동(random perturbation)을 뿌렸을 때 성능을 개선하는 해의 비율(solution density)이 모델 크기에 따라 단조 증가함을 보인다 — 0.5B에서 +5% 개선 밀도가 약 2%에 불과하던 것이, 32B에서는 60% 이상으로 폭증한다(Figure 3). 즉 작은 모델은 좋은 해가 드문 “건초더미 속 바늘” 지형에, 큰 모델은 전문가가 빽빽한 “덤불(thicket)” 지형에 놓여 있다. 이 성질을 이용해 저자들은 N개의 무작위 섭동을 뿌리고 상위 K개를 골라 다수결(majority vote)로 앙상블하는 RandOpt 알고리즘을 제안한다. Qwen2.5-3B에서 GSM8K 정확도가 RandOpt ~87%로 GRPO ~84%, ES ~82%를 상회했고(Table 4), 학습 스텝은 O(1)에 그친다. 함의는 사전학습 품질이 다운스트림 적응 효율을 좌우하는 지배적 요인일 수 있다는 것. 한계로 <0.5B 모델이나 밑바닥부터 학습한 모델에는 통하지 않고, 추론 시 K=50번의 forward pass 비용이 든다(증류로 완화).

먼저 이해하기

무엇을 발견했나. 사전학습된 언어모델의 가중치(weight, 신경망이 학습으로 얻은 수많은 숫자 파라미터)를 가만히 두고, 그 주변에 무작위 잡음(random noise)을 살짝 더해 여러 변형 모델을 만들어 본다. 놀랍게도 큰 모델일수록 이렇게 “아무렇게나 흔들어 만든” 변형 중 상당수가 특정 태스크에서 원본보다 더 잘한다. 저자들은 이 현상을 사전학습 가중치를 둘러싼 “덤불(thicket, 전문가 해가 빽빽하게 자란 영역)“이라 부른다.

왜 중요한가. 지금까지 모델을 특정 태스크에 맞추는 사후학습(post-training)은 PPO·GRPO 같은 경사 기반(gradient-based, 손실을 미분해 가중치를 조금씩 갱신하는) 방법이 필수라고 여겨졌다. 이 논문은 큰 모델에서는 경사 없이 무작위 탐색만으로도 그에 필적하는 성능이 나온다는 증거를 제시한다. 이는 “왜 사후학습이 이렇게 잘 되는가”의 근본을 사전학습(pretraining) 품질로 돌려놓는다. 원문 근거로, GPT-2 0.1B에는 전혀 안 통하지만(near-zero gain) Qwen 1.5B 이상에서 성능이 급격히 나타난다(sharp emergence).

왜 이게 그냥 앙상블 이득이 아닌가. 저자들은 무작위 섭동들이 “만능 일꾼(generalist)“이 아니라 서로 다른 태스크를 잘하는 “전문가(specialist)“임을 spectral discordance(태스크별 순위가 서로 얼마나 어긋나는지) 지표로 보인다. 이 값이 0.5B의 ~0.15에서 32B의 ~0.35–0.45로 커지는데, 값이 1에 가까울수록 태스크별 순위가 직교(orthogonal)한다는 뜻이라 다양한 전문가가 공존함을 확인한다.

먼저 알아둘 용어 표

원 용어	쉬운 설명
solution density δ(m)	가우시안 섭동 하나가 성능을 마진 m 이상 올릴 확률 = 주변 공간 중 개선을 주는 해의 비율
spectral discordance D	N개 시드 × M개 태스크에서 순위 상관을 측정해, 섭동들이 서로 다른 태스크의 전문가인지 재는 지표(1에 가까울수록 전문화)
RandOpt	N개 무작위 섭동 샘플 → 상위 K개 선택 → 다수결 앙상블하는 비경사 사후학습 알고리즘
σ (sigma)	섭동 크기(스케일). 지형 분석엔 σ=0.005 사용
덤불 체제(thicket regime)	큰 모델에서 개선 해가 이웃에 빽빽한 상태 (반대: 건초더미 속 바늘 needle-in-haystack)

섹션별 요약

Abstract

사전학습 대형 모델의 가중치 주변에는 다양한 “태스크 개선 전문가”가 이웃의 상당 부분을 채우는 “신경 덤불(neural thicket)“이 존재한다. 개선 해의 밀도(solution density)는 모델 크기(0.5B–32B)에 따라 단조 증가하고, 섭동들은 generalist가 아니라 specialist로 행동한다(spectral discordance). 이를 이용한 RandOpt는 수학추론(GSM8K, Countdown, OlympiadBench), 코드(MBPP), 비전 태스크에서 PPO/GRPO/ES에 필적한다.

왜 이 연구를 하는가?

경사 기반 사후학습이 왜 그토록 효과적인지의 근원을 묻는다. 저자들의 답은 손실 지형(loss landscape)의 기하 구조가 스케일에 따라 재편된다는 것 — 작은 모델은 최적해가 드문 지형, 큰 모델은 개선 해가 밀집한 지형에 놓인다.

Introduction

두 체제를 대비한다. (1) 작은 모델 = “건초더미 속 바늘”: 좋은 해가 드물어 구조화된 최적화가 필요. (2) 대형 사전학습 모델 = “덤불 체제”: 다양한 태스크 개선 전문가가 이웃의 상당 부분을 차지. 기여는 세 가지 — 밀도·다양성의 스케일 법칙 규명, RandOpt 알고리즘 제안, Qwen·Llama·OLMo3(0.5B–8B) 계열에서 동일 FLOP 예산 하 경사 기반 기법에 필적/상회함을 실증.

Methods

RandOpt는 학습(무작위 추측)과 추론(앙상블) 두 단계다. 섭동은 θ’ = θ + σ·ε(s) 형태로, θ는 기본 파라미터, σ는 섭동 크기, ε(s)는 시드 s로 생성된 가우시안 잡음이다. 스케일 집합 Σ = {σ₁,…,σₘ}으로 여러 배율의 이웃을 탐색한다. 밀도 측정(Section 2)엔 σ=0.005. 상위 K 선택은 ℐ_top = arg topK(v_i), 추론은 이산 출력의 mode(다수결)로 집계한다. 핵심 하이퍼파라미터: 모집단 N은 LLM 실험에서 통상 5,000, 앙상블 K는 통상 50, 평가용 학습 셋 200 샘플.

정의

Solution density: δ(m) = P_{ε~N(0,σ²I)}[s(θ+ε) ≥ s(θ)+m]
Spectral discordance: D = 1 − [1/(M(M−1))] Σ_{j≠k} C_{jk} (C는 태스크 j,k 간 순위 상관)

발견 (Findings)

밀도 δ(m)이 모델 크기에 단조 증가: 0.5B에서 +5% 밀도 ~2%, 3B ~25%, 32B 60%+ (Figure 3).
discordance가 스케일에 따라 증가(0.15→0.35–0.45): 큰 모델일수록 태스크 전문가가 다양.
개선의 출처 분해(Figure 9, GSM8K, Qwen2.5-3B, K=50): 유지된 정답 67.0%, 추론 덤불(새로 맞춘 문제) 12.3%, 형식 덤불(포맷 교정) 19.0%, 퇴행 0.7% — 이득의 약 60%가 진짜 추론 개선, 약 40%는 포맷 등 표면 요인.

Results

아래 “실험 결과 상세” 표 참고. 요약하면 RandOpt(K=50)가 0.5B–8B 범위에서 PPO/GRPO/ES를 대체로 매칭/상회하고, 동일 FLOP·O(1) 스텝으로 달성.

Discussion

계산 병렬성(batch 확대)만으로는 RandOpt를 못 따라온다(Figure 13): PPO(batch 2048) 77.5%, GRPO(group 8192) 80.1% vs RandOpt(N=3000, K=50) 87.1%. RandOpt의 우위는 배치 스케일이 아니라 가중치 공간 다양성 탐색에서 온다.

이론적 의의

사전학습 가중치 이웃의 기하 구조가 스케일에 따라 근본적으로 재편된다. 작은 모델의 희소 최적해 → 큰 모델의 밀집 해 공간 전이가 비경사 방법을 SOTA 사후학습과 경쟁 가능하게 만든다. 함의: 사전학습 품질이 다운스트림 적응 효율의 지배적 결정 요인일 수 있다.

Discussion Points

이득의 약 40%가 포맷 등 표면 요인이라면, “진짜 추론 향상”의 순수 기여는 얼마인가?
덤불 체제는 유한(bounded)해서 큰 스케일·큰 N에서 성능이 포화(saturation)한다 — 상한의 원인은?
다수결은 이산 출력에만 적용된다 — 연속 생성/이미지로의 확장 경로는?

실험 결과 상세

LLM 사후학습 성능 (Table 4 / Figure 6, K=50)

Model	Dataset	Metric	Base	RandOpt	경사 기반 baseline
Qwen2.5-3B-Instruct	GSM8K	acc	79.8%	~87% (증류 87.1%)	GRPO ~84%, ES ~82%
Qwen2.5-3B-Instruct	Countdown	acc	—	~79–82%	GRPO ~78%, PPO ~76%
Qwen2.5-1.5B-Instruct	GSM8K	acc	58.8%	76.4% (+17.6pp)	GRPO ~74%, PPO ~72%
Qwen2.5-VL-3B	GQA	acc	56.6%	69.0% (+12.4pp)	—

증류(Distillation) 결과 (Table 2, K=50 앙상블 → 단일 모델 SFT, 학습 FLOP의 ~2%)

Model	Dataset	Base	Distilled	Ensemble
Qwen2.5-1.5B-Instruct	GSM8K	58.8%	74.9%	76.4%
Qwen2.5-3B-Instruct	GSM8K	79.8%	84.3%	87.1%

밀도 스케일링 (Figure 3)

Model Size	+5% 개선 밀도	+10% 개선 밀도
0.5B	~2%	~0.5%
3B	~25%	~8%
32B	~60%+	~30%+

병렬성만으로는 부족 (Figure 13, GSM8K): PPO(batch 2048) 77.5%, GRPO(group 8192) 80.1%, RandOpt(N=3000, K=50) 87.1%.

앙상블 이득 (Figure 1c/11, Countdown): RandOpt K=1 ~~70–75% → K=50 ~~82%. 동일 50-pass 다수결(TT-MV)을 baseline에 적용해도 ES 72%→~~79%, GRPO 76%→~~80%로 상승.

스케일 의존 (Figure 7–8): GPT-2 0.1B 무효, Qwen 0.5B 소폭(~2–3pp), 1.5B+ 급격 발현, 7B+ 포화. N을 두 배로 늘리면 로그-선형 이득(Countdown, 3B: N=1000→5000에서 ~5–8pp↑). 최적 선택비 K/N ≈ 1%(N=5000, K=50).

효율: RandOpt는 O(1) 학습 스텝, Olmo-3-7B가 200 GH200 GPU에서 3.2분. baseline은 O(T)(통상 500–1000 업데이트). 추론은 K forward pass(증류로 완화). 비교는 FLOP를 실험적으로 매칭.

프레임워크 다이어그램

flowchart TD
    A["사전학습 가중치 θ<br/>(Qwen / Llama / OLMo3)"] --> B["N개 가우시안 섭동 샘플<br/>θ' = θ + σ·ε(s), N≈5000"]
    B --> C["각 섭동을 학습셋 200샘플로 평가<br/>점수 v_i"]
    C --> D["상위 K 선택<br/>ℐ_top = arg topK(v_i), K≈50"]
    D --> E["추론: 다수결 앙상블<br/>mode(예측)"]
    E --> F["정확도: PPO/GRPO/ES 필적·상회"]
    D -.->|"학습 FLOP ~2%"| G["증류: 단일 모델 SFT<br/>추론 비용 완화"]
    subgraph 진단["지형 진단 지표"]
      H["solution density δ(m)<br/>스케일에 단조 증가"]
      I["spectral discordance D<br/>전문가 다양성 확인"]
    end
    A -.-> 진단

재현성 및 신뢰도 평가

종합 등급: B (Evidence B / Reproducibility B)

근거: Qwen·Llama·OLMo3 세 계열, 0.5B–32B의 넓은 스케일, 수학·코드·비전 다중 도메인에서 일관된 경향을 보여 증거 폭이 넓다. 다만 arXiv 프리프린트(피어리뷰 전)이고, 코드 공개 여부가 본문 추출에서 확인되지 않았으며, 다수 수치가 Figure에서 읽은 근사값(~기호)이라 정확한 표 값 재현엔 원문 대조가 필요해 A까지는 아니다.

주장별 신뢰도

“밀도가 스케일에 단조 증가” — 높음. Figure 3의 0.5B→32B 단조 증가가 명확하고 여러 모델에서 반복.
“RandOpt가 GRPO/PPO/ES에 필적” — 중간. GSM8K 등에서 우위를 보이나 다수 값이 근사이고 태스크·모델별 편차가 있으며 FLOP 매칭 세부가 결과 해석을 좌우.
“이득의 ~~40%가 표면(포맷) 요인” — 중간~~높음. Figure 9 분해가 명시적이나 단일 태스크/모델(GSM8K, 3B) 기준이라 일반화엔 유보.

원자적 인사이트 (Zettelkasten)

모델 크기는 손실 지형의 밀도를 바꾼다. 같은 무작위 섭동이라도 0.5B에선 개선 확률 ~2%, 32B에선 60%+ — “좋은 해가 얼마나 흔한가”는 아키텍처가 아니라 스케일이 좌우하는 지형 성질이다.
큰 모델 이웃의 섭동은 만능이 아니라 전문가다. discordance가 스케일에 따라 커진다는 것은, 무작위 섭동 각각이 특정 태스크만 잘하고 다른 태스크는 망친다는 뜻 — 그래서 앙상블(다수결)이 이득을 낳는다.
경사는 사후학습의 필요조건이 아닐 수 있다. 충분히 사전학습된 모델에선 무작위 탐색 + 상위 선택 + 앙상블만으로 PPO/GRPO급 성능이 나온다 — 최적화 알고리즘의 정교함보다 사전학습 품질이 지배적일 수 있다.
병렬 계산량 ≠ 가중치 공간 다양성. 배치를 2048/8192로 키운 1-스텝 PPO/GRPO(77.5/80.1%)도 RandOpt(87.1%)를 못 따라온다 — 이득의 원천은 계산량이 아니라 서로 다른 방향의 해를 모으는 다양성이다.

핵심 용어 정리

Neural thicket(신경 덤불): 대형 사전학습 가중치 주변에 태스크 개선 전문가 해가 빽빽하게 밀집한 영역. 반대 개념은 needle-in-haystack(건초더미 속 바늘) 체제.
Solution density δ(m): 가우시안 섭동 하나가 성능을 마진 m 이상 개선할 확률. δ(m) = P_{ε~N(0,σ²I)}[s(θ+ε) ≥ s(θ)+m].
Spectral discordance D: 태스크 간 순위 상관을 1에서 뺀 값. 1에 가까울수록 섭동들이 서로 다른 태스크의 전문가임(직교 순위).
RandOpt: N개 무작위 섭동 → 상위 K 선택 → 다수결 앙상블의 비경사 사후학습. N≈5000, K≈50, O(1) 학습 스텝.
Majority vote(다수결) / TT-MV: K개 선택 모델의 이산 출력에 mode를 취하는 테스트타임 앙상블. baseline에 얹어도 성능 상승.
Sigma(σ): 섭동 크기(스케일). 지형 밀도 분석엔 σ=0.005 사용.

BibTeX

@article{gan2026neuralthickets,
  title   = {Neural Thickets: Diverse Task Experts Are Dense Around Pretrained Weights},
  author  = {Gan, Yulu and Isola, Phillip},
  journal = {arXiv preprint arXiv:2603.12228},
  year    = {2026},
  url     = {https://arxiv.org/abs/2603.12228}
}

신경 덤불(Neural Thickets): 다양한 태스크 전문가는 사전학습 가중치 주변에 빽빽하게 존재한다

신경 덤불(Neural Thickets): 다양한 태스크 전문가는 사전학습 가중치 주변에 빽빽하게 존재한다

먼저 이해하기

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

원자적 인사이트 (Zettelkasten)

핵심 용어 정리

관련 연구

태그

BibTeX