불확실성 활용하기: 장기 지평 LLM 에이전트를 위한 엔트로피 변조 정책 그래디언트
Digest: 장기 지평(long-horizon, 여러 단계를 거쳐야 하는) LLM 에이전트는 결과 하나로만 보상을 받는 희소 보상(sparse reward) 때문에 어느 스텝이 잘했는지 배정하는 신용 할당(credit assignment)이 어렵다. 이 논문은 그 근본 원인을 새로 짚는다 — 정책 그래디언트(policy gradient)의 크기가 정책 엔트로피(entropy, 불확실성)와 본질적으로 결합되어 있어, 확신에 찬 올바른 행동은 작게 갱신되고(느린 학습) 불확실한 행동은 크게 갱신된다(불안정). 해결책은 EMPG(Entropy-Modulated Policy Gradients)로, 스텝별 불확실성과 최종 결과에 따라 어드밴티지(advantage)를 재보정하는 g(H) 스케일링과 미래를 예측 가능하게 만드는 f(H) 미래 명료성 보너스(future clarity bonus)를 더한다. 평가에서 ALFWorld·WebShop·Deep Search 전반에서 GRPO·DAPO 대비 개선(예: Deep Search 32B 전체 62.0→65.3, OOD +3.9)을 보였다(Table 1·2). 배운 점은 정책 자신의 불확실성을 적응적 스텝 수준 기준선(baseline)으로 쓸 수 있다는 것이고, 남은 질문은 엔트로피가 불확실성의 좋은 대리(proxy)인지와 초대형 모델로의 확장성이다.
먼저 이해하기
LLM 에이전트가 웹쇼핑이나 문서 검색처럼 여러 스텝을 거쳐야 하는 과제를 풀 때, 보통 “성공/실패”라는 최종 결과 하나만 보상으로 받는다. 그러면 중간의 어떤 행동이 좋았고 나빴는지 알기 어렵다. 이것을 신용 할당(credit assignment, 성과의 공을 각 단계에 나눠 배정하기) 문제라고 한다.
기존 연구는 촘촘한 보상(dense reward)을 인위적으로 만들어(역강화학습이나 과정 보상 모델 PRM 등) 이 문제를 풀려 했다. 이 논문은 다른 곳을 본다. 정책 그래디언트(policy gradient, 모델을 갱신하는 학습 신호)의 크기가 그 스텝에서 모델이 얼마나 확신하는지(엔트로피)와 자동으로 묶여 있다는 점이다. 확신이 높은(엔트로피 낮은) 스텝은 그래디언트가 작아 잘한 행동인데도 학습이 느리고, 확신이 낮은(엔트로피 높은) 스텝은 그래디언트가 커서 학습이 흔들린다. 즉 학습 신호가 “성과의 옳고 그름”이 아니라 “불확실성”에 좌우되는 셈이다.
EMPG는 이 결합을 끊어 재보정한다. 확신에 찬 올바른 행동은 신호를 키우고(amplify), 확신에 찬 오류는 벌하고(penalize), 불확실한 스텝은 신호를 줄인다(attenuate). 여기에 다음 상태를 더 예측 가능하게(엔트로피 낮게) 만드는 경로를 선호하도록 미래 명료성 보너스를 더한다.
왜 중요한가: 촘촘한 보상을 사람이 설계하거나 별도 주석을 달지 않고도, 정책이 스스로 뿜어내는 불확실성만으로 스텝 수준의 적응적 기준선을 만들어 분산을 줄이고 신용 할당을 개선한다. 원문은 이를 “범용 분산 감소·신용 할당” 기법으로 규정한다.
| 용어 | 뜻 |
|---|---|
| 장기 지평(long-horizon) | 여러 스텝을 거쳐야 결과가 나오는 과제 |
| 희소 보상(sparse reward) | 중간 없이 최종 결과에만 보상이 주어지는 상황 |
| 신용 할당(credit assignment) | 최종 성과를 각 스텝의 기여로 나눠 배정하는 일 |
| 정책 그래디언트(policy gradient) | 정책(모델)을 갱신하는 학습 신호의 방향·크기 |
| 스텝 엔트로피(step entropy) | 한 스텝에서 모델 출력 분포의 불확실성 |
| 어드밴티지(advantage) | 어떤 행동이 평균보다 얼마나 좋은지의 값 |
섹션별 요약
초록 (Abstract)
장기 지평 LLM 에이전트는 희소한 결과 기반 보상 때문에 신용 할당이 어렵다. 기존 방법은 역강화학습이나 과정 보상 모델(PRM)로 촘촘한 보상을 만든다. 이 논문은 근본 문제를 짚는다 — 정책 그래디언트의 크기가 엔트로피와 본질적으로 결합되어, 확신에 찬 올바른 행동은 비효율적으로 작게 갱신되고 불확실한 행동은 불안정하게 크게 갱신된다. 해결책 EMPG는 학습 신호를 스텝별 불확실성과 최종 결과로 재보정하며, 예측 가능한 해법 경로를 장려하는 미래 명료성 보너스를 더한다. WebShop·ALFWorld·Deep Search에서 강력한 PG 베이스라인을 크게 앞선다.
저자 contribution
- 엔트로피-그래디언트 결합을 정식화한다(Proposition 1).
- EMPG를 제안한다: 자기 보정 그래디언트 스케일링(Self-Calibrating Gradient Scaling)과 미래 명료성 보너스(Future Clarity Bonus)의 결합.
- WebShop·ALFWorld·Deep Search에서 GRPO·DAPO를 능가함을 실험으로 보인다.
왜 이 연구를 하는가?
동기는 장기 지평 에이전트의 희소 보상·어려운 신용 할당이다. 기존 한계로 (1) 암묵적 보상 유도(보상 성형, 내재 동기, 역강화학습)는 확장이 어렵고 사람의 사전지식에 의존하며, (2) 명시적 스텝 감독(PRM)은 주석이 필요하고 합성 데이터에서 노이즈가 많으며 OOD(분포 밖) 성능이 나쁘다. (3) 기존 엔트로피 접근은 직접 엔트로피 최소화가 “환각적 확신(hallucinated confidence)“을 낳고, Seed-GRPO나 Cheng et al.은 단일 턴 추론·토큰/응답 수준에 한정된다.
핵심 통찰(Proposition 1): 소프트맥스 정책에서 스코어 함수의 기대 노름이 정책 엔트로피에 대해 단조 증가한다. 따라서 확신-정답 스텝은 그래디언트가 작아 느리게 학습되고, 불확실한 스텝은 그래디언트가 커서 불안정해진다.
방법 (Methods)
핵심 구성요소는 세 가지다.
- 스텝 엔트로피(Eq7):
Ht = -(1/m) ∑_j ∑_v p(v|w_j) log p(v|w_j)— 한 스텝을 이루는 토큰들의 분포 불확실성을 스텝 단위로 집계한다. - 자기 보정 그래디언트 스케일링 g(H)(Eq10):
g(H) = exp(-k·H_norm,t) / (배치 평균). 미니배치 평균이 1이 되도록 제약(Eq9)한다. 엔트로피가 낮으면 g>1로 증폭, 높으면 g<1로 감쇠. 배치 정규화(Eq12)와 최종 어드밴티지 제로-평균화(Eq13)를 적용한다. - 미래 명료성 보너스 f(H)(Eq11):
f(H) = exp(-k'·H_norm,t+1)— 다음 상태가 더 낮은 엔트로피(더 예측 가능)가 되도록 유도하는 내재 동기이며 가중치 ζ>0로 더한다.
변조된 어드밴티지(Eq8): A_mod(i,t) = A^(i)·g(Ht^(i)) + ζ·f(H_{t+1}^(i)).
이론적 근거(Eq5): E[||∇z log π(a|s)||²] = 1 - exp(-H2(π)) (Rényi-2 엔트로피).
차별점: 토큰/궤적 수준이 아닌 스텝 수준 엔트로피를 장기 지평 신용 할당에 사용하고, 배치 제약이 붙은 자기 보정 스케일링과 미래 명료성 보너스를 결합한다. 단일 턴 수학에 한정된 EDGE-GRPO와 다르다.
결과 (Results)
WebShop·ALFWorld(Table 1)에서 EMPG를 GRPO·DAPO에 얹으면 일관되게 개선된다. Qwen2.5-1.5B 기준 ALFWorld는 GRPO+EMPG 73.7%(+8.1), DAPO+EMPG 88.1%(+7.3), WebShop은 DAPO+EMPG 60.8%(+2.6). Qwen2.5-7B 기준 ALFWorld는 GRPO+EMPG 78.5%(+3.7), DAPO+EMPG 91.6%(+1.6), WebShop은 DAPO+EMPG 82.7%(+3.1).
Deep Search(Table 2, Qwen2.5-32B)에서 In-Domain 평균은 DAPO 63.5→66.6(+3.1), OOD 평균은 59.8→63.7(+3.9), 전체는 62.0→65.3(+3.3)로 오른다.
발견
- 그래디언트 크기가 엔트로피와 결합되어 있고, 스텝 수준 재보정으로 이를 분리하면 학습이 개선된다.
- 미래 명료성 보너스는 활용(exploitation)에 기여해 In-Domain을 올리고, 그래디언트 스케일링은 정규화(regularization)로 작용해 OOD를 올린다(어블레이션).
- 학습 안정성(Fig2): DAPO는 약 240스텝 후 KL 급등을 보이나 EMPG는 안정적이며 정책 붕괴(policy collapse)를 막는다.
- 스텝 vs 토큰 엔트로피(Fig3, ALFWorld 9,000+ 스텝): 저엔트로피(15–20 백분위) 스텝조차 실질적 엔트로피 변화를 겪는다.
논의 (Discussion)
한계
- 엔트로피를 불확실성의 대리로 쓰는데, 이는 근사이며 향후 MC 드롭아웃·앙상블 분산 등 대안 추정기가 필요하다.
- 가치 함수 없는(value-free) 어드밴티지 추정이라 초대형 모델로의 확장성이 불확실하다.
- Deep Search 데이터는 17k 인스턴스에서 필터링되어 데이터 선택 편향 가능성이 있다.
향후 방향: 체화 AI(embodied AI), 다중 에이전트 협업, 대안 불확실성 추정기.
이론적 의의: 정책 자신의 불확실성을 적응적 스텝 수준 기준선으로 사용하는 범용 분산 감소·신용 할당 기법.
Discussion Points
- 엔트로피가 정말 인식적 불확실성(epistemic uncertainty)을 대표하는가, 아니면 단순 출력 다양성에 불과한가 — 검증 필요.
- 미래 명료성 보너스가 예측 가능성을 지나치게 선호해 탐험을 억제할 위험은 없는가.
- 코드 비공개·독점 프레임워크(Deep Search) 때문에 외부 재현이 제약된다.
실험 결과 상세
Table 1 — ALFWorld / WebShop (성공률 %, +EMPG 이득)
| Model | Task | Baseline | +EMPG | 이득 |
|---|---|---|---|---|
| Qwen2.5-1.5B | ALFWorld (GRPO) | 65.6 | 73.7 | +8.1 |
| Qwen2.5-1.5B | ALFWorld (DAPO) | 80.8 | 88.1 | +7.3 |
| Qwen2.5-1.5B | WebShop (DAPO) | 58.2 | 60.8 | +2.6 |
| Qwen2.5-7B | ALFWorld (GRPO) | 74.8 | 78.5 | +3.7 |
| Qwen2.5-7B | ALFWorld (DAPO) | 90.0 | 91.6 | +1.6 |
| Qwen2.5-7B | WebShop (DAPO) | 79.6 | 82.7 | +3.1 |
주: Baseline 절대값은 이득(원문 명시)으로부터 역산한 값이며, 원문이 직접 준 값은 +EMPG 성공률과 괄호 이득이다.
Table 2 — Deep Search, Qwen2.5-32B (DAPO → +EMPG)
| 구분 | Dataset | DAPO | +EMPG | 이득 |
|---|---|---|---|---|
| In-Domain | WebWalker | 55.1 | 57.5 | +2.4 |
| In-Domain | HotpotQA | 66.4 | 71.2 | +4.8 |
| In-Domain | 2WikiMultiHopQA | 68.9 | 71.0 | +2.1 |
| In-Domain | 평균 | 63.5 | 66.6 | +3.1 |
| OOD | Musique | 38.8 | 41.8 | +3.0 |
| OOD | Bamboogle | 80.8 | 84.8 | +4.0 |
| OOD | 평균 | 59.8 | 63.7 | +3.9 |
| 전체 | Overall | 62.0 | 65.3 | +3.3 |
어블레이션 (Deep Search)
| 구성 | In-Domain | OOD | 해석 |
|---|---|---|---|
| +Gradient Scaling only | 63.7 | 63.7 | 정규화 → OOD 향상 |
| +Future Bonus only | 66.1 | 61.4 | 활용 → In-Domain 향상 |
| +EMPG (both) | 66.6 | 63.7 | 두 효과 결합 |
미래 보너스는 활용(exploitation)으로 In-Domain을 끌어올리고, 그래디언트 스케일링은 정규화(regularization)로 OOD를 끌어올린다. 두 요소가 상호 보완적이다.
프레임워크 다이어그램
flowchart TD A["에이전트 스텝 t 출력 분포"] --> B["스텝 엔트로피 Ht (Eq7)"] B --> C["배치 min-max 정규화 (Eq12)"] C --> D["g(H) 자기보정 스케일링 (Eq10)<br/>낮은 H: 증폭, 높은 H: 감쇠"] C --> E["f(H) 미래 명료성 보너스 (Eq11)<br/>다음 상태 예측성 유도"] F["최종 결과 어드밴티지 A"] --> G["변조된 어드밴티지 A_mod (Eq8)"] D --> G E -->|"가중치 zeta"| G G --> H["제로-평균화 (Eq13)"] H --> I["정책 그래디언트 갱신"]
재현성 및 신뢰도 평가
- 코드 공개: 프로젝트 페이지만 존재(https://empgseed-seed.github.io/); 코드 명시적 오픈소스 아님. WebShop·ALFWorld는 Verl-Agent 사용, Deep Search는 ByteDance 독점 프레임워크.
- 재현성 종합등급: B — 하이퍼파라미터(lr 1e-6, KL 0.01/0.001, ζ 0.05/0.1, k=k’=1.0), 하드웨어(4/8/32×A100), 3 시드가 명시되어 실험 조건은 상세하나, 코드 미공개와 Deep Search 독점 프레임워크·데이터 필터링(17k에서 선별)이 완전 재현을 제약.
- 주장별 신뢰도:
- “EMPG가 GRPO·DAPO를 능가”: 강함 — 두 벤치마크군·세 모델 크기·3 시드에서 일관된 이득(Table 1·2).
- “그래디언트-엔트로피 결합(Proposition 1)”: 중간~강함 — 소프트맥스·Rényi-2 엔트로피 기반 이론 유도가 있으나 본 요약 텍스트에는 증명 전개가 축약됨.
- “안정성 향상·정책 붕괴 방지”: 중간 — Fig2 정성 곡선(약 240스텝 KL 급등 대비) 근거, 정량 지표는 제한적.
- “엔트로피=불확실성 대리”: 약함 — 저자 스스로 근사임을 인정하고 대안 추정기를 향후 과제로 남김.
관련 연구 비교 매트릭스
| 논문/방법 | 문제 | 접근 | 차별점 |
|---|---|---|---|
| EMPG (본 논문) | 장기 지평 희소 보상 신용 할당 | 스텝 엔트로피로 어드밴티지 재보정 + 미래 명료성 보너스 | 스텝 수준·자기보정·배치 제약, value-free |
| GRPO (베이스라인) | 그룹 상대 정책 최적화 | 그룹 기준선으로 어드밴티지 산출 | 엔트로피 기반 스텝 변조 없음 |
| DAPO (베이스라인) | 안정적 정책 최적화 | 클리핑·동역학 개선 | 약 240스텝 후 KL 급등 관찰 |
| PRM (과정 보상 모델) | 스텝 감독 | 스텝별 보상 주석·학습 | 주석 필요·합성 노이즈·OOD 취약 |
| Seed-GRPO / Cheng et al. | 단일 턴 추론 엔트로피 활용 | 토큰/응답 수준 엔트로피 | 다단계 에이전트에 부적합 |
원자적 인사이트 (Zettelkasten)
- 정책 그래디언트의 크기는 성과의 옳고 그름이 아니라 정책 엔트로피에 결합되어 있다 — 확신-정답은 과소 갱신, 불확실은 과대 갱신된다(Proposition 1).
- 정책 자신의 불확실성은 별도 주석이나 가치 함수 없이도 스텝 수준의 적응적 기준선으로 재활용될 수 있다.
- 미래 상태의 엔트로피를 낮추도록 유도하면(f(H)) 예측 가능한 해법 경로가 선호되어 활용이 강해진다 — In-Domain 이득.
- 배치 평균을 1로 고정하는 자기 보정 스케일링은 전체 갱신 크기를 보존하면서 스텝 간 상대 배분만 바꾸는 정규화로 작동한다 — OOD 이득.
핵심 용어 정리
- EMPG(Entropy-Modulated Policy Gradients): 스텝 엔트로피와 최종 결과로 정책 그래디언트를 재보정하는 방법.
- 스텝 엔트로피(step entropy): 한 에이전트 스텝의 토큰 분포 불확실성을 스텝 단위로 집계한 값(Eq7).
- 자기 보정 그래디언트 스케일링(Self-Calibrating Gradient Scaling): g(H)로 저엔트로피는 증폭·고엔트로피는 감쇠하되 배치 평균을 1로 제약하는 재가중.
- 미래 명료성 보너스(Future Clarity Bonus): f(H)로 다음 상태를 더 예측 가능하게 만드는 내재 동기(가중치 ζ).
- 신용 할당(credit assignment): 최종 성과를 각 스텝의 기여로 배정하는 문제.
- 정책 붕괴(policy collapse): 학습 중 정책이 무너져 성능이 급락하는 불안정 현상.
- OOD(Out-Of-Distribution): 학습 분포 밖 데이터에 대한 일반화 상황.
관련 연구
- Multi2 - Hierarchical Multi-Agent Decision-Making with LLM-Based Agents in Interactive Environments — 장기 지평 에이전트 학습의 안정화라는 공통 과제.
- Exploration Hacking - Can LLMs Learn to Resist RL Training — RL 학습 동역학(엔트로피/탐험)이라는 공통 렌즈(탐험 활용 vs 탐험 저항).
태그
논문 강화학습 정책그래디언트 LLM에이전트 엔트로피 신용할당 장기지평
BibTeX
@article{wang2025empg,
title={Harnessing Uncertainty: Entropy-Modulated Policy Gradients for Long-Horizon LLM Agents},
author={Wang, Jiawei and Liu, Jiacai and Fu, Yuqian and Li, Yingru and Wang, Xintao and Lin, Yuan and Yue, Yu and Zhang, Lin and Wang, Yang and Wang, Ke},
journal={arXiv preprint arXiv:2509.09265},
year={2025}
}