Loss Function

Loss(Cost)

Learning 이라는 것은 “Loss”를 “Optimization” 하는 것.
model의 output이랑 target(label)이 최대한 비슷할 때 이 값이 작아지는 방향으로 보통 define함.
확률 분포 간 차이로 볼 수도 있다.

• classification task에서는 마지막 layer가 분류할 target class 개수랑 dim이 같은데, 이를 softmax하면 확률 분포가 model의 최종 output이라고 볼 수 잇다.
• 따라서 learning은 output probability distribution과 target probability distribution을 최대한 비슷하게 해주는 방향으로 진행되어야 한다.
• 확률 분포 차이를 나타내는 지표로 KL-divergence라는 지표를 쓸 수 있고, metric 조건을 정확히 만족하진 못하지만, 대략 distance 개념 정도로 이해할 수 있다.
  • d > 0, d(x, x)=0 → x=0, triangular-ineq

How to design a good loss function?

---

Abstract

• A loss function can be any differentiable function that we wish to optimize
• Deriving the cost function from the Maximum Likelihood Estimation (MLE) principle removes the burden of manually designing the cost function for each model.
• Consider the output of the neural network as parameters of a distribution over $y_i$

${\hat{\mathrm{w}}}_{ML}=\underset{\mathrm{w}}{\mathrm{argmax}}{p}_{model}(\mathrm{y}|\mathrm{X},\mathrm{w})$
$\stackrel{i.i.d}{=}\underset{\mathrm{w}}{\mathrm{argmax}}\prod p_{model}(y_i|X_i,\mathrm{w})$
$=\underset{\mathrm{w}}{\mathrm{argmax}}\sum \text{log}{p}_{model}(y_i|X_i,\mathrm{w})$ (: log-likelihoood 로 변환)

Regression Loss

---

Regression - estimation target

regression이란, 결국
$f_{\mathrm{w}}:{\mathbb{R}}^N\to \mathbb{R}$
즉, output은 real-value 한 개.

• regression을 수행하는 모델이 예측하는 에러 Gaussian distribution으로 보자!
  • target 값은 gaussian의 mean value.

• Mean Square Error(MSE)
• Mean Absolute Error(MAE)
• 여러 분포가 섞인?

Classification Loss

---

Classification - estimation target

classification이란, 결국
$f_{\mathrm{w}}:{\mathbb{R}}^N\to {\mathbb{R}}^N$
즉, output은 real-value vector.

• classification을 수행하는 모델이 예측하는 것은
  • 2 classes: regression with sigmoid로 확률을 바로 뽑던지, 아니면 softmax를 사용.
    • BCE(Binary Cross-Entropy) Loss
  • more than 2: 일반적으로 softmax
    • CE(Cross-Entropy) Loss

• Multiclass SVM Loss
• Binary Cross Entropy
• Cross Entropy

Softmax - Logistic regression

---

Logistic regression

Logistic regression

logistic regression의 경우, linear regression의 output을 확률값 범위로 고정해주는 activation function(tanh)을 적용한 걸로 볼 수도 있는데, classification task에 수행할 수 있다는 점을 잘 기억하자!
→ ouput 값이 확률 값의 범위에 무조건 떨어지니까.
수식으로는 아래와 같이 model 을 define하고,
$h(\mathrm{x})=\sigma ({\mathrm{w}}^{\top }\mathrm{x}+b)$
model의 output을 posterior 해석.

h(\mathrm{x}) & \text{if}\; y = 1 \\ 1 - h(\mathrm{x}) & \text{if}\; y = 0 \end{cases}$$ 이걸 좀 compact 하게 한 줄로 써보면, $$P(y|\mathrm{x}) = a^y(1-a)^{(1-y)}$$

원본 링크

Expand to BCE

위의 식에서 여러 개의 데이터가 i.i.d. 가정을 통해 뽑혔다고 한다면,
$P(y^{[1]},\cdots ,y^{[n]}|{\mathrm{x}}^{[1]},\cdots ,{\mathrm{x}}^{[n]})=\prod P(y^{[i]}|{\mathrm{x}}^{[i]})$
여기서, MLE
$L(\mathrm{w})=P(\mathrm{y}|\mathrm{x};\mathrm{w})$
$=\prod P(y^{[i]}|x^{[i]};\mathrm{w})$
$\prod (\sigma (z^{[i]}){)}^{y^{[i]}}(1-\sigma (z^{[i]}){)}^{(1-y^{[i]})}$
where $z^{[i]}={\mathrm{w}}^{\top }\mathrm{x}+b$
실제 compute 할 때에는 log 씌우는 게 값이 stable하여 log를 씌운 이후 계산한다고 하는데 정확히 어떠한 말일까..?

$l(\mathrm{w})=\text{log}L(\mathrm{w})$
$=\sum [y^{[i]}\text{log}(\sigma (z^{[i]}))+(1-y^{[i]})\text{log}(1-\sigma (z^{[i]}))]$
또한, 값을 maximizing 하는 것 보다는 minimizing 하는게 편하기 때문에(??) negative log-likelihood를 minimizing 한다.
$L(\mathrm{w})=-l(\mathrm{w})$
$=-\sum [y^{[i]}\text{log}(\sigma (z^{[i]}))+(1-y^{[i]})\text{log}(1-\sigma (z^{[i]}))]$

Expand to Multiple Classes

Categorical distribution을 다음과 같이 정의
$p(y=c)={\mu }_c$
따라서 probability distribution은
$p(\mathrm{y})=\prod {\mu }_c^{y_c}$
로 표현될 수 있고,
$\mathrm{y}$: One-hot vector로 $y_c\in \{0,1\}$

CE(Cross-Entropy) Loss?

Let $P_{model}(\mathrm{y}|\mathrm{x},\mathrm{w})=\prod f_{\mathrm{w}}^{(c)}(\mathrm{x}{)}^{y_c}$
then we obtain,
${\hat{\mathrm{w}}}_{ML}=\underset{\mathrm{w}}{\mathrm{argmax}}\sum \text{log}{p}_{model}(y_i|x_i,\mathrm{w})$

$=\underset{\mathrm{w}}{\mathrm{argmax}}\sum \text{log}\prod f_{\mathrm{w}}^{(c)}(\mathrm{x}{)}^{y_c}$

$=\underset{\mathrm{w}}{\mathrm{argmin}}{\sum }_{i=1}^N{\sum }_{c=1}^C-y_{i,c}\text{log}{f}_{\mathrm{w}}^{(c)}({\mathrm{x}}_i)$

In other words, we minimize the cross-entropy loss(CE loss).
The target $\mathrm{y}=(0,0,\cdots ,0,\cdots ,0{)}^{\top }$ is a One-hot vector with $y_c$ its c’th element.

CE-Loss