Gradient Clipping

Steep Cliff: how?

---

• 이러한 경우처럼, loss curvature 혹은 landscape이 steep 하면, GD는 튕겨버릴(catapult) 수 있는데,
• 이럴 때 Gradient clipping을 사용한다. (a common heuristics)

Gradient Clipping

easy하다. 그냥 일정 threshold 잡고 max 사용하면 된다.
Gradient exploding을 막아주는 역할.
$\text{gradient}=\text{max}(\theta ,\nabla \mathcal{L}(\mathrm{w}))$