Proximal Policy Optimization Algorithms

Paper Digest (CISELQ)

• Context: Policy gradient 계열 알고리즘은 샘플 효율성과 구현 단순성 사이에서 트레이드오프가 존재한다. TRPO는 trust region을 이용해 안정성을 확보하지만 Fisher-vector product 기반 conjugate gradient 방식의 이차 최적화가 필요하여 구현이 복잡하고 parameter sharing(정책-가치 공유 네트워크, dropout 등)과 호환이 어렵다.
• Issue: Vanilla policy gradient는 큰 step size에서 파국적 붕괴(catastrophic collapse)를 일으키고, TRPO는 복잡하며 Natural Gradient 계산 비용이 크다. 단순하면서도 trust region의 이점을 누릴 수 있는 first-order 방법이 필요하다.
• Solution: 확률비(probability ratio) $r_t(\theta )={\pi }_{\theta }(a_t|s_t)/{\pi }_{{\theta }_{old}}(a_t|s_t)$를 $[1-ϵ,1+ϵ]$ 범위로 clipping한 surrogate objective를 제안하여, 정책이 과도하게 변하는 방향으로는 gradient가 0이 되도록 만든다. 동일 데이터로 여러 epoch의 minibatch SGD가 가능하다.
• Evidence: MuJoCo 로봇 연속제어 7개 태스크에서 TRPO, A2C, CEM, ACER 대비 sample efficiency와 최종 성능 모두 우위. Atari 49개 게임에서 A2C 대비 학습 속도·최종 점수 모두 향상, ACER 대비 훨씬 단순함에도 경쟁력 있는 성능.
• Limitations: Hyperparameter(clip ratio $ϵ=0.2$, GAE $\lambda$, epoch 수) 튜닝에 민감하다. On-policy 알고리즘이므로 off-policy 대비 sample efficiency 한계가 있다. 이론적 monotonic improvement 보장은 TRPO보다 약하다.
• Questions: Clipping은 trust region의 heuristic 근사인데 왜 이토록 잘 작동하는가? Adaptive KL penalty 방식과 clipping 방식 중 근본적 차이는 무엇이며, 다른 도메인(LLM RLHF 등)에서는 어떤 변형이 필요한가?

섹션별 요약

Introduction

정책 경사 방법은 Deep RL의 주력 접근이지만, Q-learning은 함수근사에서 불안정, vanilla policy gradient는 데이터 효율이 낮으며, TRPO는 구현이 복잡하고 noise/parameter sharing과 호환이 까다롭다. 본 논문은 TRPO의 데이터 효율성과 신뢰도를 유지하면서 first-order 최적화만 사용하는 알고리즘 PPO를 제안한다.

Methods

두 가지 변형을 제시한다: (1) Clipped Surrogate Objective $L^{CLIP}(\theta )={\hat{\mathbb{E}}}_t[\min (r_t(\theta ){\hat{A}}_t,\text{clip}(r_t(\theta ),1-ϵ,1+ϵ){\hat{A}}_t)]$, (2) Adaptive KL Penalty — KL divergence 목표치에 따라 penalty 계수 $\beta$를 동적 조정. 공통적으로 GAE(Generalized Advantage Estimation)로 ${\hat{A}}_t$를 계산하고, actor-critic 구조에서 policy loss + value loss + entropy bonus를 합친 목적함수를 minibatch SGD로 여러 epoch 최적화한다.

Results + Table

Domain	Baselines 대비 결과
MuJoCo (7 continuous control)	TRPO/A2C/CEM 대비 PPO-Clip이 평균 점수·수렴 속도 모두 우위
Atari (49 games)	A2C 대비 학습 속도·최종 점수 우위, ACER와 동급이나 구현은 훨씬 단순
Humanoid 3D locomotion	PPO가 복잡한 running/getup 행동을 성공적으로 학습

Clipping($L^{CLIP}$, $ϵ=0.2$)이 KL penalty 변형이나 no-clip baseline보다 전반적으로 안정적·우수함을 ablation으로 보인다.

Discussion

PPO는 TRPO의 monotonic improvement 이론을 “heuristic first-order approximation”으로 단순화했음에도 실질적 성능이 동등하거나 더 낫다. 구현 단순성, CPU 병렬화 용이성, hyperparameter robust성 덕분에 산업·연구 양쪽에서 de facto standard로 자리잡았다.

Insights

(1) Trust region을 명시적 constraint 대신 objective 내 clipping으로 구현할 수 있다. (2) 같은 rollout 데이터를 multi-epoch로 재사용하면서도 policy가 너무 멀어지지 않도록 하는 것이 핵심. (3) Adaptive KL보다 clipping이 경험적으로 더 안정적.

Discussion Points

• Clipping은 gradient를 0으로 만들 뿐 step을 원천봉쇄하지 않는다 — 최적화기의 momentum 때문에 drift가 가능한데 왜 잘 동작하는가?
• RLHF에서 PPO가 사용될 때 reference model KL penalty를 clipping과 함께 쓰는 것은 이중 안전장치인가, 중복인가?
• On-policy 제약을 완화한 off-policy variant(IMPALA, V-trace)와의 통합 가능성.

메타데이터

항목	내용
저자	John Schulman, Filip Wolski, Prafulla Dhariwal, Alec Radford, Oleg Klimov (OpenAI)
발표	arXiv 2017.07
코드	OpenAI Baselines, Stable-Baselines3
데이터/환경	MuJoCo, Atari ALE, Roboschool Humanoid
핵심 기여	Clipped Surrogate Objective, 다중 epoch minibatch 최적화

왜 이 연구를 하는가?

TRPO는 안정적 policy improvement를 이론적으로 보장하지만, 제약조건 하 이차 최적화(Natural Gradient + Line Search)로 인해 (a) 구현이 복잡하고, (b) RNN·dropout·parameter sharing 같은 architecture와 호환이 어려우며, (c) 대규모 분산 환경에서 비효율적이다. 반면 vanilla policy gradient는 step size 선택에 극도로 민감하다. 산업 수준에서 reproducible, scalable, simple하면서도 TRPO 수준의 성능을 내는 알고리즘이 필요했다. PPO는 이 공백을 정확히 메운다.

방법 (Method)

flowchart TD
    A[Old Policy] --> B[Rollout 수집 N actors x T steps]
    B --> C[Advantage 계산 GAE lambda]
    C --> D[Probability Ratio r_t]
    D --> E{Clipping}
    E -->|A_t 양수| F[min r_t A_t, 1+eps A_t]
    E -->|A_t 음수| G[min r_t A_t, 1-eps A_t]
    F --> H[L CLIP 목적함수]
    G --> H
    H --> I[+ Value Loss + Entropy Bonus]
    I --> J[K epoch Minibatch SGD Adam]
    J --> K[새 정책]
    K -->|복사| A

핵심은 $r_t(\theta )$가 $[1-ϵ,1+ϵ]$ 범위를 벗어나면서 advantage 부호와 같은 방향으로 갈 때 gradient를 0으로 만든다는 점이다. 이로써 “너무 좋은 방향이어도 한 번에 크게 움직이지 않는다”.

발견

발견	설명
Clip > KL penalty	Adaptive KL 변형보다 clipping이 전반적으로 더 안정·고성능
Multi-epoch 가능	동일 rollout을 3~10 epoch 재사용해도 붕괴 없이 학습 가능
TRPO 대비 단순	이차 최적화 제거, 기존 Adam SGD 파이프라인 그대로 사용
Parameter sharing 호환	Policy-Value head 공유 네트워크에서도 잘 동작
분산 RL 친화	A3C/A2C 구조와 자연스럽게 결합 (multiple actors)

이론적 의의

PPO는 TRPO의 “surrogate objective + trust region” 프레임워크를 이론 정합성(monotonic improvement guarantee)을 일부 희생하면서도 실용적 first-order 최적화로 재해석한다. 이는 constrained optimization을 unconstrained + penalty/clipping으로 변환하는 일반적 기법의 강력한 성공 사례이다. 또한 같은 데이터를 다중 epoch 사용하는 것이 on-policy이면서도 sample efficiency를 크게 개선함을 실증했다. 이후 RLHF, AlphaStar, OpenAI Five, ChatGPT의 정렬 단계까지 광범위하게 채택되었다.

재현성 및 신뢰도 평가

기준	등급	근거
Code	A	OpenAI Baselines, SB3 등 다수 구현체 공개
Hyperparameter 명세	A	Appendix에 MuJoCo/Atari 설정 상세 기술
실험 재현	A	수천 건의 후속 연구에서 재현 성공
환경 표준성	A	MuJoCo, Atari ALE 표준 벤치마크 사용
이론 엄밀성	B	Monotonic improvement는 heuristic 근사
종합 Evidence	A	de facto standard로 광범위 검증

관련 연구

• TRPO (Schulman et al., 2015): PPO의 직접적 전신, trust region constraint를 이차 최적화로 풀이.
• A3C/A2C (Mnih et al., 2016): 분산 actor-critic의 기반, PPO와 결합됨.
• GAE (Schulman et al., 2016): Advantage estimation의 bias-variance 조절.
• ACER (Wang et al., 2017): Off-policy actor-critic, PPO의 주요 비교 대상.
• SAC (Haarnoja et al., 2018): 후속 off-policy 대안.
• RLHF (Christiano et al., 2017; Ouyang et al., 2022): PPO를 LLM 정렬에 적용한 대표 응용.

원자적 인사이트

1. Clipping은 한 방향 trust region이다: advantage가 양수인데 ratio가 $1+ϵ$을 넘으면 gradient가 사라져 업데이트를 멈추지만, 반대 방향(정책이 나빠지는 방향)으로는 clipping이 작동하지 않아 자유롭게 복구 가능하다. 이 비대칭성이 안정성의 핵심이다.
2. 같은 데이터 multi-epoch 재사용이 PPO의 데이터 효율을 결정한다: vanilla PG는 1 epoch만 안전하지만, clipping 덕분에 3~10 epoch까지 재사용 가능해 실질적으로 TRPO 수준의 sample efficiency를 first-order 비용으로 달성한다.
3. 구현 단순성 자체가 알고리즘의 기능이다: TRPO 대비 수백 줄이 줄어들며 parameter sharing/RNN/large-batch distributed training과 자연스럽게 결합되어, RLHF·게임 AI·로보틱스 전반에서 채택될 수 있었다.

핵심 용어 정리

• Surrogate Objective: 새 정책의 기대 이득을 이전 정책의 샘플로 근사한 목적함수. Importance sampling ratio $r_t(\theta )$를 통해 계산.
• Probability Ratio $r_t(\theta )$: ${\pi }_{\theta }(a_t|s_t)/{\pi }_{{\theta }_{old}}(a_t|s_t)$. 1에 가까울수록 정책이 거의 변하지 않음을 의미.
• Clipping $ϵ$: 일반적으로 0.2. 확률비를 $[0.8,1.2]$로 제한하여 급격한 정책 변화를 차단.
• GAE(Generalized Advantage Estimation): $\lambda$-return 기반 advantage 추정. Bias와 variance 균형 조절.
• Trust Region: 이전 정책으로부터 KL 거리 제약 내에서만 업데이트하는 기법. TRPO의 핵심 개념.
• Actor-Critic: 정책(actor)과 가치함수(critic)를 동시 학습하는 구조. PPO는 공유 네트워크로도, 분리 네트워크로도 구현 가능.
• On-policy: 현재 정책으로 수집한 데이터로만 학습하는 방식. PPO는 on-policy이나 multi-epoch로 데이터 효율을 보완.

태그

RL PolicyGradient PPO ActorCritic TRPO OpenAI Training RLHF