RR06. Loss functions -2

Loss Function

Loss(Cost)

Learning 이라는 것은 “Loss”를 “Optimization” 하는 것.
model의 output이랑 target(label)이 최대한 비슷할 때 이 값이 작아지는 방향으로 보통 define함.
확률 분포 간 차이로 볼 수도 있다.

• classification task에서는 마지막 layer가 분류할 target class 개수랑 dim이 같은데, 이를 softmax하면 확률 분포가 model의 최종 output이라고 볼 수 잇다.
• 따라서 learning은 output probability distribution과 target probability distribution을 최대한 비슷하게 해주는 방향으로 진행되어야 한다.
• 확률 분포 차이를 나타내는 지표로 KL-divergence라는 지표를 쓸 수 있고, metric 조건을 정확히 만족하진 못하지만, 대략 distance 개념 정도로 이해할 수 있다.
  • d > 0, d(x, x)=0 → x=0, triangular-ineq

How to design a good loss function?

---

Abstract

• A loss function can be any differentiable function that we wish to optimize
• Deriving the cost function from the Maximum Likelihood Estimation (MLE) principle removes the burden of manually designing the cost function for each model.
• Consider the output of the neural network as parameters of a distribution over $y_i$

${\hat{\mathrm{w}}}_{ML}=\underset{\mathrm{w}}{\mathrm{argmax}}{p}_{model}(\mathrm{y}|\mathrm{X},\mathrm{w})$
$\stackrel{i.i.d}{=}\underset{\mathrm{w}}{\mathrm{argmax}}\prod p_{model}(y_i|X_i,\mathrm{w})$
$=\underset{\mathrm{w}}{\mathrm{argmax}}\sum \text{log}{p}_{model}(y_i|X_i,\mathrm{w})$ (: log-likelihoood 로 변환)

Regression Loss

---

Regression - estimation target

regression이란, 결국
$f_{\mathrm{w}}:{\mathbb{R}}^N\to \mathbb{R}$
즉, output은 real-value 한 개.

• regression을 수행하는 모델이 예측하는 에러 Gaussian distribution으로 보자!
  • target 값은 gaussian의 mean value.

• Mean Square Error(MSE)
• Mean Absolute Error(MAE)
• 여러 분포가 섞인?

Classification Loss

---

Classification - estimation target

classification이란, 결국
$f_{\mathrm{w}}:{\mathbb{R}}^N\to {\mathbb{R}}^N$
즉, output은 real-value vector.

• classification을 수행하는 모델이 예측하는 것은
  • 2 classes: regression with sigmoid로 확률을 바로 뽑던지, 아니면 softmax를 사용.
    • BCE(Binary Cross-Entropy) Loss
  • more than 2: 일반적으로 softmax
    • CE(Cross-Entropy) Loss

• Multiclass SVM Loss
• Binary Cross Entropy
• Cross Entropy

Softmax - Logistic regression

---

Logistic regression

Logistic regression

logistic regression의 경우, linear regression의 output을 확률값 범위로 고정해주는 activation function(tanh)을 적용한 걸로 볼 수도 있는데, classification task에 수행할 수 있다는 점을 잘 기억하자!
→ ouput 값이 확률 값의 범위에 무조건 떨어지니까.
수식으로는 아래와 같이 model 을 define하고,
$h(\mathrm{x})=\sigma ({\mathrm{w}}^{\top }\mathrm{x}+b)$
model의 output을 posterior 해석.

h(\mathrm{x}) & \text{if}\; y = 1 \\ 1 - h(\mathrm{x}) & \text{if}\; y = 0 \end{cases}$$ 이걸 좀 compact 하게 한 줄로 써보면, $$P(y|\mathrm{x}) = a^y(1-a)^{(1-y)}$$

원본 링크

Expand to BCE

위의 식에서 여러 개의 데이터가 i.i.d. 가정을 통해 뽑혔다고 한다면,
$P(y^{[1]},\cdots ,y^{[n]}|{\mathrm{x}}^{[1]},\cdots ,{\mathrm{x}}^{[n]})=\prod P(y^{[i]}|{\mathrm{x}}^{[i]})$
여기서, MLE
$L(\mathrm{w})=P(\mathrm{y}|\mathrm{x};\mathrm{w})$
$=\prod P(y^{[i]}|x^{[i]};\mathrm{w})$
$\prod (\sigma (z^{[i]}){)}^{y^{[i]}}(1-\sigma (z^{[i]}){)}^{(1-y^{[i]})}$
where $z^{[i]}={\mathrm{w}}^{\top }\mathrm{x}+b$
실제 compute 할 때에는 log 씌우는 게 값이 stable하여 log를 씌운 이후 계산한다고 하는데 정확히 어떠한 말일까..?

$l(\mathrm{w})=\text{log}L(\mathrm{w})$
$=\sum [y^{[i]}\text{log}(\sigma (z^{[i]}))+(1-y^{[i]})\text{log}(1-\sigma (z^{[i]}))]$
또한, 값을 maximizing 하는 것 보다는 minimizing 하는게 편하기 때문에(??) negative log-likelihood를 minimizing 한다.
$L(\mathrm{w})=-l(\mathrm{w})$
$=-\sum [y^{[i]}\text{log}(\sigma (z^{[i]}))+(1-y^{[i]})\text{log}(1-\sigma (z^{[i]}))]$

Expand to Multiple Classes

Categorical distribution을 다음과 같이 정의
$p(y=c)={\mu }_c$
따라서 probability distribution은
$p(\mathrm{y})=\prod {\mu }_c^{y_c}$
로 표현될 수 있고,
$\mathrm{y}$: One-hot vector로 $y_c\in \{0,1\}$

CE(Cross-Entropy) Loss?

Let $P_{model}(\mathrm{y}|\mathrm{x},\mathrm{w})=\prod f_{\mathrm{w}}^{(c)}(\mathrm{x}{)}^{y_c}$
then we obtain,
${\hat{\mathrm{w}}}_{ML}=\underset{\mathrm{w}}{\mathrm{argmax}}\sum \text{log}{p}_{model}(y_i|x_i,\mathrm{w})$

$=\underset{\mathrm{w}}{\mathrm{argmax}}\sum \text{log}\prod f_{\mathrm{w}}^{(c)}(\mathrm{x}{)}^{y_c}$

$=\underset{\mathrm{w}}{\mathrm{argmin}}{\sum }_{i=1}^N{\sum }_{c=1}^C-y_{i,c}\text{log}{f}_{\mathrm{w}}^{(c)}({\mathrm{x}}_i)$

In other words, we minimize the cross-entropy loss(CE loss).
The target $\mathrm{y}=(0,0,\cdots ,0,\cdots ,0{)}^{\top }$ is a One-hot vector with $y_c$ its c’th element.

CE-Loss

원본 링크

One-hot vector

one-hot vector : one-hot encoding

one-hot vector: true class만 1, 나머지 category에 대해서는 0

원본 링크

Regularization

Regularization

Let $f(x,W)=Wx$
$L=\frac{1}{N}{\sum }_{i=1}^N{\sum }_{i\ne j}\text{max}(0,f(x_i;W)-f(x_i;W)+1)$
만일 우리가 $L=0$를 만족하는 파라미터 $W$를 찾았다고 한다면, 그게 unique할까?
→ Nope. $2W$도 동일하게 $L=0$
Regularization: prevent the model from doing too well on training data. overfitting을 피하려는 전략 중 하나. 수식으로 보자면,
$L(W)=\frac{1}{N}{\sum }_{i=1}^N{L}_i(f(x_i,W),y_i)+\lambda R(W)$
앞의 term이 Data Loss, 뒤의 term 이 penalty, regularization term.
model complexity가 커지면, generalization 관점에서 모델이 너무 train set에만 익숙해져 이를 피하려고 regularization을 사용.

Occam's Razor

“Simple is the best.”
Among the multiple competing hypotheses, the simplest is the best.

Examples

---

L2-Regularization

$R(W)={\sum }_k{\sum }_l{W}_{k,l}^2$

L1-Regularization

$R(W)={\sum }_k{\sum }_l|W_{k,l}|$

Elastic-Net(L1 + L2)

$R(W)={\sum }_k{\sum }_l\beta W_{k,l}^2+|W_{k,l}|$

Why Regularization?

• Express preferences over weights
• Make the model simple so it works on test data
• Improve optimization by adding curvatures

Regularization - parameter preference

위 상황에서 $L2$는 uniform한 $w_2$, $L1$은 sparse한 $w_1$을 더 선호한다.

원본 링크