On the Role of Proposal Support in Diffusion-Based Offline RL for Sequential Decision-Making

읽기 판단

훑기 · confidence: medium

diffusion 기반 offline RL의 proposal–selection 구조에서 실패 원인을 coverage와 selection accuracy로 명확히 분리한 진단(Table 5)은 인용 가치가 있지만, 단일 알고리즘(LDCQ)·단일 도메인(ARC-AGI / ARCLE)·5~10개 task에 국한된 workshop 논문이라 일반화 범위는 제한적이다. diffusion-based offline RL의 실패 원인 진단에 관심 있는 연구자에게 유용하다.

1분 요약

문제: proposal–selection 기반 offline RL(예: LDCQ)에서 성능 저하가 후보 생성(proposal)과 가치 기반 선택(selection) 중 어디서 비롯되는지 불분명하다.

핵심 아이디어: ARC-AGI를 궤적 기반 MDP로 변환한 SOLAR 데이터셋을 만들고, 정답 latent를 후보군에 인위적으로 주입하는 oracle proposal 진단으로 coverage와 conditional selection accuracy를 분리 측정한다.

새로움: 새 알고리즘이 아니라 진단용 데이터셋(SOLAR)과 oracle proposal 진단 기법 자체가 기여다.

가장 강한 근거: Table 5 — mixed-quality 데이터에서 coverage는 91.0% → 62.2%로 급락하지만 conditional selection accuracy는 95.6% → 88.4%로 상대적으로 유지된다.

가장 큰 주의점: LDCQ 단일 방법, ARC-AGI 단일 도메인, task 5~10개, 주요 표(Table 1, 2, 5, 6, 7)에 seed 수 미기재.

핵심 아이디어

proposal–selection 프레임워크(diffusion으로 후보 생성 + Q-value로 선택)는 오프라인 데이터 품질이 나빠지면 성능이 떨어진다는 것이 알려져 있었지만, 이 저하가 생성기가 좋은 후보를 못 만들기 때문인지 선택기가 나쁜 후보를 잘못 고르기 때문인지는 구분되지 않았다. 두 구성요소가 추론 시점에 강하게 결합되어 있어 분리 진단이 어렵기 때문이다.

저자들의 통찰은, ARCLE 기반 ARC-AGI를 상태–행동 궤적 MDP로 명시적으로 변환하면(SOLAR) 각 test 인스턴스에 대해 ground-truth 정답 궤적을 갖게 되므로, 이 정답의 latent를 인위적으로 후보 집합에 주입하는 “oracle proposal” 실험이 가능해진다는 것이다.

작동 원리는 500개 test state에서 diffusion prior로 100개 후보를 뽑고, 그중 oracle latent가 포함되는 비율(coverage)과 포함되었을 때 Q-network가 실제로 그것을 고르는 비율(conditional selection accuracy)을 각각 측정하는 것이다. expert-only에서 mixed-quality로 데이터 품질이 나빠지면 coverage는 크게 떨어지지만 selection accuracy는 상대적으로 견고하다는 결과가, 실패의 주된 원인이 생성(proposal) 단계에 있음을 보여준다.

무엇을 했나

SOLAR-Generator로 ARCLE 기반 5~10개 ARC-AGI task에 대해 task당 5,000개 학습 / 100개 테스트 궤적(expert + suboptimal 변형)을 합성하고, D(α) = α·D_exp + (1−α)·D_sub (Eq. 2)로 α=1(expert-only), α=1/2(mixed-quality) 두 데이터 조성을 비교
LDCQ(β-VAE 잠재 인코딩 + conditional diffusion proposal + Q-value selection)를 BC, CQL, IQL과 multi-task 설정에서 비교(Table 3)
단일 task(a65b410d)에서 VAE Prior / Diffusion Prior / LDCQ(w/ Q)의 정확도와 평균 step 수를 비교해 selection의 효율성 효과를 확인(Table 2)
Task A / B를 개별 학습한 뒤 순차 합성 task로 평가하는 compositional generalization 실험 수행(Table 4, 중간 state 공유 여부로 case 구분)
oracle proposal 진단: test 궤적의 정답 latent를 후보에 주입해 500 state × 100 후보로 coverage와 conditional selection accuracy 측정(Table 5), oracle 후보 개수 분포(Table 6)와 proposal 개수 스윕(1~1000, Table 7) 분석
Metric은 task success rate(정답 제출로 종료된 episode 비율)

핵심 근거

주장	근거 위치	관찰/수치	조건·주의	claim_origin
실패의 주 원인은 selection이 아니라 proposal coverage 부족	Sec. 5.2, Table 5	coverage 91.0% → 62.2%, conditional selection accuracy 95.6% → 88.4% (expert-only → mixed-quality)	oracle latent 주입 진단, 500 test state × 100 후보	author-stated
mixed-quality에서 LDCQ의 낙폭이 다른 baseline보다 큼	Sec. 4.4, Table 3	LDCQ 66.9% → 23.7%, CQL 61.9% → 37.5%, IQL 58.3% → 32.4%, BC 38.8% → 9.67%	Table 3만 ±std 명시, seed 수는 원문에 없음	author-stated
mixed-quality에서 정답 후보가 아예 없는 state가 급증	Sec. 5.3, Table 6	oracle proposal 0개인 state 비율 9.0% → 37.8%	동일 500 state 표본	author-stated
proposal 개수를 늘려도 성능은 일정 지점 이후 저하	Sec. 5.3, Table 7 (α=1/2)	정확도 1개 5.6% → 50개 26.2%(peak) → 1000개 19.8%	OOD latent에 대한 Q-network calibration 저하로 해석	author-stated
shared state 없는 compositional task는 완전 실패	Sec. 4.5, Table 4	Composition(without shared states) 0% vs Composition(with shared states) 100%	Task A / B를 개별 학습한 뒤 합성 평가	author-stated

어디까지 믿을까

저자 명시 한계 (author-stated): Sec. 6에서 세 가지 실패 모드(불충분한 coverage, OOD 후보에서의 selection 저하, compositional generalization 실패)를 논의하며, offline-to-online 확장은 “제안된 방향”일 뿐 실제 온라인 상호작용 실험은 수행하지 않았다고 명시한다.
분석자 판단 (analyst-inference): LDCQ 단일 방법·ARC-AGI 단일 도메인(5~10 task)에 국한되어, 이 coverage-bottleneck 결론이 D4RL류 연속제어나 다른 diffusion 기반 방법(Diffuser, Decision Diffuser 등)에도 일반화되는지는 이 논문만으로 판단하기 어렵다.
미확인 범위 (unknown): Table 1, 2, 5, 6, 7에 seed / run 수가 명시되지 않아(Table 3만 ±std, seed 수 불명) 통계적 신뢰구간을 판단할 수 없고, 코드·데이터셋(SOLAR, SOLAR-Generator) 공개 여부도 원문에 명시되어 있지 않다.

원문 읽기 지도

읽는 목적	먼저 볼 곳	확인할 질문
oracle proposal 진단 방법론 확인	Sec. 5.2 (Table 5, 6)	oracle latent 주입 절차와 500 state / 100 후보 표본 설계가 결론을 뒷받침하기에 충분히 견고한가
SOLAR 데이터셋 구축 방식 확인	Sec. 3 + Appendix B	expert / suboptimal 궤적을 어떤 perturbation으로 생성했으며, task 커버리지가 몇 개(5~10 vs ~20 variant)인가
LDCQ가 mixed-quality에 더 취약한 이유 확인	Sec. 4.4, Table 3	latent 기반 proposal이 CQL / IQL의 action-level 제약과 구조적으로 왜 다른지
proposal 개수–성능의 비단조 관계 원인 확인	Sec. 5.3 Table 7 + Sec. 6	OOD latent에 대한 Q-network calibration 문제를 어떻게 설명하는지

읽기 전 용어

Proposal–selection framework: 후보 행동(latent)을 diffusion으로 생성(proposal)한 뒤 Q-value로 최선의 후보를 고르는(selection) 2단계 의사결정 구조
Oracle proposal: 정답 궤적의 latent를 인위적으로 후보 집합에 주입해 coverage와 conditional selection accuracy를 분리 측정하는 진단 기법
SOLAR: ARC-AGI task를 ARCLE 환경에서 검증된 step-by-step 상태–행동 궤적으로 변환한 분석용 offline RL 데이터셋

Wiki 연결

DIAR - Diffusion-model-guided Implicit Q-learning with Adaptive Revaluation — 같은 LDCQ 계열 latent diffusion offline RL을 다룬 동일 연구실 논문으로, 이 논문이 진단한 proposal 병목의 대안적 접근
ARC-AGI - Abstraction and Reasoning Corpus ⭐ — SOLAR가 궤적 MDP로 변환하는 대상 벤치마크
O2ARC 3.0 - A Platform for Solving and Creating ARC Tasks — SOLAR의 suboptimal 궤적 설계 근거가 된 인간 ARC 풀이 궤적(ARCTraj)을 수집한 플랫폼

BibTeX

@inproceedings{kim2026proposal,
  title     = {{On the Role of Proposal Support in Diffusion-Based Offline RL for Sequential Decision-Making}},
  author    = {Kim, Yunho and Park, Jaehyun and Kim, Heejun and Kim, Sejin and Lee, Byung-Jun and Kim, Sundong},
  booktitle = {ICML Workshop on Decision-Making from Offline Datasets to Online Adaptation: Black-Box Optimization to Reinforcement Learning},
  year      = {2026},
  note      = {OpenReview: roLdW7qeCO},
  url       = {https://openreview.net/forum?id=roLdW7qeCO}
}