10분 분량

Causal-Paced Deep Reinforcement Learning (CP-DRL)

Causal-Paced Deep Reinforcement Learning

저자
Geonwoo Cho et al.
출처
RLC 2025 Workshop on Causal Reinforcement Learning
분류
Training
읽은 깊이
시작 전
리뷰
2026-08-18
curriculum reinforcement learningstructural causal modelensemble disagreementoptimal transportCURROTtask sequencing

curriculum RL에서 태스크 간 SCM 차이를 비교하려면 ground-truth causal structure가 필요하다는 제약을, 이전 태스크 궤적으로 학습한 6개 ensemble 모델(state/action VAE, transition, reward)의 예측 disagreement로 근사해 우회한다. 이를 causal misalignment score로 집계하고 episodic reward와 더해 CURROT의 cost에 넣는다. Point Mass에서 return 6.17±0.08 대 CURROT 5.6±0.34로 약 +10.2%, BipedalWalker-Infeasible에서 최고 평균을 얻지만, 구조적 차이가 작은 Sparse Goal Reaching(Appendix F)에서는 CURROT보다 저조하고 reward-CM 결합 가중치가 본문에 명시되지 않는다.

Causal-Paced Deep Reinforcement Learning (CP-DRL)

읽기 판단

훑기 · confidence: medium

curriculum RL에서 SCM ground-truth 없이 causal 차이를 근사한다는 아이디어는 causal RL·curriculum RL 연구자에게 유용하다. 다만 벤치마크가 Point Mass / BipedalWalker 소수 변형에 한정되고, reward항과 CM항의 결합 가중치가 본문에 명시되지 않아 방법의 강건성을 판단하려면 Appendix D(Algorithm 1)와 Appendix F를 직접 확인해야 한다. 워크숍 논문 분량이므로 Sec. 3과 Figure 4·6·7만 봐도 핵심은 잡힌다.

1분 요약

  • 문제: curriculum RL에서 태스크를 SCM 기반으로 비교하려면 ground-truth causal structure가 필요한데, 대부분의 RL 환경에서 비현실적이다 (Sec. 1).
  • 핵심 아이디어: 이전 태스크의 상호작용 데이터로 학습한 ensemble 모델들의 예측 disagreement로 SCM 차이를 근사하고, 이를 causal misalignment score(CM)로 집계해 reward gain과 결합, CURROT의 cost에 반영한다 (Sec. 3.1).
  • 새로움: ground-truth causal graph 없이 interaction data만으로 causal-aware curriculum 신호를 구성한다.
  • 가장 강한 근거: Point Mass에서 CURROT 대비 return 개선(Figure 6a), CausalWorld toy example로 disagreement가 causal difference와 단조 대응함을 확인(Figure 4).
  • 가장 큰 주의점: reward항과 CM항 결합에 명시적 가중치가 본문에 없고, 구조적 차이가 작은 환경(Sparse Goal Reaching, Appendix F)에서는 CURROT보다 저조하다.

핵심 아이디어

기존 curriculum RL(CURROT 등)은 optimal transport로 태스크 분포를 점진적으로 이동시킨다. 그런데 태스크 간 구조적(인과적) 차이를 명시적으로 반영하려는 최근 접근은 SCM ground truth를 요구해 대부분의 RL 환경에 그대로 쓸 수 없다.

저자들의 통찰은 이렇다. 태스크 간 SCM 차이를 직접 알 수 없어도, 서로 다른 태스크에서 수집한 상호작용 데이터로 학습한 ensemble 모델들의 예측 불일치(disagreement)가 그 차이의 proxy가 된다.

작동 원리는 다음과 같다. state encoder/decoder(VAE), action encoder/decoder(VAE), transition predictor, reward predictor 총 6개 네트워크를 이전에 경험한 태스크의 궤적으로 학습시킨다. 그리고 K개 ensemble member 예측의 표준편차 std({ŷᵢ⁽ᵏ⁾(·)}ₖ₌₁ᴷ)를 state/action/transition/reward 네 성분별로 계산해 가중합으로 causal misalignment score를 만든다.

CM(c) = Σᵢ wᵢ · Disagreementᵢ,   i ∈ {state, action, transition, reward}   (Eq. 5)

이 CM을 episodic return Rⱼ = Σₜ r_{cⱼ}(sₜ, aₜ)와 더해(Algorithm 1 line 15: “Update context distribution using CURROT with cost Rⱼ + CM(cⱼ)”) CURROT의 cost 함수에 넣고 다음 훈련 태스크 분포를 고른다. 즉 “탐험을 촉진하는 구조적 novelty”와 “학습 가능성(reward gain)“을 하나의 curriculum 신호로 합친 것이 핵심이다.

무엇을 했나

  • 환경: Point Mass(2D narrow-gate navigation), BipedalWalker Trivial / Infeasible 변형(stumpy terrain) — Sec. 4.
  • 학습 알고리즘: Point Mass는 PPO(4,096 rollouts/epoch, 200 epochs), BipedalWalker는 SAC(5×10⁴ steps/epoch, 40 epochs).
  • Baseline 7종: CURROT, SPRL, GoalGAN, ALPGMM, ACL, PLR, VDS.
  • Seed 수: Point Mass 10, BW-Trivial 5, BW-Infeasible 3, Sparse Goal Reaching(Appendix F) 10.
  • CM 설정: ensemble size K=10, 성분별 가중치 wᵢ는 환경마다 다름(Table 1), Adam lr 3e-4(PM) / 1e-3(BW).
  • 방법 검증: CausalWorld toy 환경(Sec. 3.2)에서 disagreement가 실제 causal difference와 단조 대응하는지 별도 확인(Figure 4).
  • 구현 공개: https://github.com/Cho-Geonwoo/CP-DRL

핵심 근거

주장근거 위치관찰/수치조건·주의claim_origin
Point Mass에서 CP-DRL이 CURROT보다 빠르게 수렴하고 return이 높다Figure 6aCP-DRL 6.17±0.08 (epoch 195) vs CURROT 5.6±0.34, 약 +10.2%단일 벤치마크, seed 10author-stated
BW-Trivial에서 최종 성능은 비슷하고 분산이 줄었다Figure 7aCP-DRL 93.82±8.12 @ 20k stepsCURROT의 대응 수치는 확보한 추출본에 없고 “comparable”이라는 서술만 확인됨author-stated
BW-Infeasible에서 CP-DRL이 가장 높은 평균 성능Figure 7bCP-DRL peak 130.61±9.32 @ 30k steps vs CURROT final 123.58±5.72peak 대 final 비교라 직접 대조에 유의, seed 3author-stated
Ensemble disagreement가 causal 차이의 유효한 proxyFigure 4 (CausalWorld toy, Sec. 3.2)T1→T4로 갈수록 transition/state/action disagreement가 단조 증가실제 벤치마크가 아닌 toy 검증author-stated
구조적 차이가 작을 때는 CP-DRL이 CURROT보다 저조Figure 12 (Appendix F, Sparse Goal Reaching)underperform 서술만 확인, 구체 수치 미확보Appendix 원문 직접 열람 안 함author-stated

어디까지 믿을까

  • 저자가 인정한 한계 (author-stated): SCM 근사 품질이 model architecture 선택에 좌우된다. 평가가 소규모 benchmark set(PM, BW)에 한정되어 sparse reward·confounder 상황은 미탐구다. 다른 curriculum paradigm으로의 적용 가능성도 불명확하다. CM-reward 결합이 heuristic rule이며 weighting 메커니즘의 meta-learning이 필요하다고 스스로 적는다 (Sec. 5).
  • 분석자의 해석 (analyst-inference): reward항과 CM항 결합에 명시적 가중치(λ/α)가 본문에서 확인되지 않아 두 신호의 상대적 중요도를 통제하기 어렵다. 이는 Sparse Goal Reaching처럼 구조적 차이가 작을 때 성능이 떨어지는 현상과 연결될 수 있으나, 논문이 이 인과를 직접 주장하지는 않는다. 또한 BW-Infeasible의 seed 3개는 130.61±9.32와 123.58±5.72의 간극을 판정하기에 얇다.
  • 읽지 못한 범위 (unknown): Algorithm 1(Appendix D) 전체 절차, Appendix F Sparse Goal Reaching의 구체 수치, Table 1의 wᵢ 실제 값은 확보한 추출본에 없어 확인하지 못했다.

원문 읽기 지도

읽는 목적먼저 볼 곳확인할 질문
방법의 핵심을 이해하려면Sec. 3.1 Eq. 5 + Algorithm 1 (Appendix D)reward항과 CM항이 실제로 어떻게 결합되며 가중치가 존재하는가?
재현하려면Table 1 (hyperparameters)ensemble size·wᵢ·learning rate가 환경별로 얼마나 다르게 튜닝되었는가?
실패 조건을 알려면Figure 12 / Appendix F (Sparse Goal Reaching)구조적 차이가 작을 때 CM 신호가 왜 해가 되는가?
적용 범위를 판단하려면Sec. 3.2 (CausalWorld) + Sec. 5toy 검증이 실제 벤치마크 신뢰도를 얼마나 보증하는가?

읽기 전 용어

  • Structural Causal Model (SCM): 변수 간 인과관계를 함수와 그래프로 나타낸 모델. 여기서는 태스크(MDP)의 state/action/transition/reward 구조를 표현하는 데 쓰인다.
  • Disagreement (ensemble): K개 ensemble 예측값의 표준편차. 모델이 확신하지 못하는 정도를 causal 차이의 proxy로 사용한다.
  • CURROT: constrained optimal transport 기반 curriculum RL 프레임워크. performance constraint 아래에서 Wasserstein distance를 최소화하며 태스크 분포를 이동시킨다. 본 논문의 최강 baseline이자 CP-DRL이 얹히는 토대다.

Wiki 연결

BibTeX

@inproceedings{cho2025causalpaced,
  title     = {Causal-Paced Deep Reinforcement Learning},
  author    = {Cho, Geonwoo and Im, Jaegyun and Kim, Doyoon and Kim, Sundong},
  booktitle = {Workshop on Causal Reinforcement Learning, Reinforcement Learning Conference (RLC)},
  year      = {2025},
  eprint    = {2507.02910},
  archivePrefix = {arXiv},
  primaryClass  = {cs.LG},
  url       = {https://arxiv.org/abs/2507.02910}
}