Sparse Reward

Summary

Sparse reward는 agent가 많은 action을 해도 대부분의 step에서는 reward가 거의 주어지지 않고, 목표를 달성한 순간에만 reward가 주어지는 보상 구조.

즉, feedback이 “드문드문” 오는 Reward다.

Intuition

미로에서 출구를 찾는 agent를 생각해보자.

Sparse reward: 출구에 도착하면 +1, 그 전까지는 계속 0

Dense reward: 출구에 가까워질수록 +0.1, 벽에 부딪히면 -0.1, 출구 도착 시 +1

Sparse reward에서는 agent가 한참 돌아다녀도 대부분 0만 받는다. 그래서 어떤 행동이 좋은 행동이었는지 알기 어렵다.

Important

Sparse reward가 어려운 이유는 “정답 보상이 늦게 오기 때문”이다.

강화학습은 long-term Return을 키우는 방향으로 학습하지만, reward가 거의 없으면 어떤 action이 미래의 성공에 기여했는지 credit assignment가 어려워진다.

왜 문제가 되는가?

탐색이 어려움: 우연히 목표에 도달하기 전까지 positive feedback을 거의 못 받는다.
학습 신호가 약함: 대부분의 transition이 reward 0이라, Value나 policy를 업데이트할 근거가 부족하다.
긴 horizon에서 더 심해짐: 성공까지 필요한 step이 길수록, 어떤 초반 action이 최종 reward에 기여했는지 추적하기 어렵다.

쉽게 말하면

Sparse reward 환경은 선생님이 숙제 풀이 과정은 전혀 봐주지 않고, 마지막 정답만 맞았는지 알려주는 상황과 비슷하다.

정답을 맞히면 보상은 명확하지만, 틀렸을 때는 “어디서부터 잘못됐는지” 알기 어렵다.

해결 아이디어

Reward shaping: 중간 과정에도 작은 보상을 추가해서 dense reward처럼 만든다.
Curriculum learning: 쉬운 task부터 시작해 점점 어려운 task로 확장한다.
Exploration 강화: random exploration, intrinsic motivation 등을 사용해 목표 상태를 더 자주 발견하게 한다.
Model-based planning: Model-based RL처럼 환경 모델을 이용해 미래를 시뮬레이션하면 희귀한 reward를 더 효율적으로 찾을 수 있다.

핵심 정리

Sparse reward는 reward가 “작다”는 뜻이 아니라, 의미 있는 reward가 자주 관측되지 않는다는 뜻이다.

따라서 문제의 핵심은 reward magnitude가 아니라, agent가 학습에 필요한 feedback을 충분히 자주 받지 못한다는 점이다.