Regularization

Regularization

Let $f(x,W)=Wx$
$L=\frac{1}{N}{\sum }_{i=1}^N{\sum }_{i\ne j}\text{max}(0,f(x_i;W)-f(x_i;W)+1)$
만일 우리가 $L=0$를 만족하는 파라미터 $W$를 찾았다고 한다면, 그게 unique할까?
→ Nope. $2W$도 동일하게 $L=0$
Regularization: prevent the model from doing too well on training data. overfitting을 피하려는 전략 중 하나. 수식으로 보자면,
$L(W)=\frac{1}{N}{\sum }_{i=1}^N{L}_i(f(x_i,W),y_i)+\lambda R(W)$
앞의 term이 Data Loss, 뒤의 term 이 penalty, regularization term.
model complexity가 커지면, generalization 관점에서 모델이 너무 train set에만 익숙해져 이를 피하려고 regularization을 사용.

Occam's Razor

“Simple is the best.”
Among the multiple competing hypotheses, the simplest is the best.

Examples

---

L2-Regularization

$R(W)={\sum }_k{\sum }_l{W}_{k,l}^2$

L1-Regularization

$R(W)={\sum }_k{\sum }_l|W_{k,l}|$

Elastic-Net(L1 + L2)

$R(W)={\sum }_k{\sum }_l\beta W_{k,l}^2+|W_{k,l}|$

Why Regularization?

• Express preferences over weights
• Make the model simple so it works on test data
• Improve optimization by adding curvatures

Regularization - parameter preference

위 상황에서 $L2$는 uniform한 $w_2$, $L1$은 sparse한 $w_1$을 더 선호한다.