Mean Square Error(MSE)

Summary

$L2$ metric 으로, 제곱 항으로 구성되어 있다. 분포의 분산을 구하는 것과 비슷한 모양.

Important

$L2$ loss로 사용될 수도 있고, regression에서는 metric으로도 사용될 수 있다.

MSE as a $L2$ loss function

---

NOTE

우리가 하려는 목표는 MLE를 사용해서, 모델의 파라미터를 optimization 하는 것.
그렇다면 MSE loss의 경우에는 어떻게 MLE로부터 유도될까?
→ 데이터가 Gaussian distribution을 따른다고 가정!

Important

데이터는 일반적으로 noise를 담고 있다 따라서 우리는 모형을 다음과 같이 define 한다.
$y=f(x)+ϵ$
where $y$: ground truth, $x$: input, $f(x)$ : output of models and the $ϵ$ : error

여기서 $ϵ\sim (0,{\sigma }^2)$ 는 $y\sim (f(x),{\sigma }^2)$ 랑 동치.
즉, 데이터가 가우시안을 따른다고 가정하는 것과 error term이 평균이 0인 가우시안을 따른다고 하는 것은 동치.
이제 이를 probability distribution 관점에서 다시 보면,
$p_{model}(y|\mathrm{x},\mathrm{w})=\frac{1}{\sqrt{2\pi {\sigma }^2}}\text{exp}(-\frac{(y-f_{\mathrm{w}}(x){)}^2}{2{\sigma }^2})$

Loss?

Let $p_{model}(y|\mathrm{x},\mathrm{w})=\frac{1}{\sqrt{2\pi {\sigma }^2}}\text{exp}(-\frac{(y-f_{\mathrm{w}}(x){)}^2}{2{\sigma }^2})$
then we obtain,
${\hat{\mathrm{w}}}_{ML}=\underset{\mathrm{w}}{\mathrm{argmax}}\sum \text{log}{p}_{model}(y_i|X_i,\mathrm{w})$
$=\underset{\mathrm{w}}{\mathrm{argmax}}\sum \frac{1}{2}\text{log}(2\pi {\sigma }^2)-\sum \frac{1}{2{\sigma }^2}(f_{\mathrm{w}}(\mathrm{x})-y{)}^2$
$=\underset{\mathrm{w}}{\mathrm{argmax}}-\sum (f_{\mathrm{w}}(\mathrm{x})-y{)}^2$
$=\underset{\mathrm{w}}{\mathrm{argmin}}\sum (f_{\mathrm{w}}(\mathrm{x})-y{)}^2$
In other words, we minimize the squared loss($L_2$ loss)

• 에러를 Gaussian distribution으로 가정.
  

  Gaussian distribution

  Gaussian distribution

  • 좌우 대칭의 분포로 mean value 근처에 값들이 모여 있음.
  • bell-shape
  • 2개의 파라미터, $\sigma ,\mu$로 분포가 결정됨.
    • $\mu$ : mean
    • $\sigma$ : standard deviation
  • thin tail → strong penalize outlier
    함수식은 다음과 같다.
    $p(y)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\text{exp}(-\frac{(x-\mu {)}^2}{2{\sigma }^2})$

  ---
  title: Normal distribution
  xLabel: X
  yLabel: Y
  bounds: [-3,3,-0.2,0.5]
  disableZoom: false
  grid: true
  ---
  (y) = 1/(sqrt(2* PI * 1)) E^(-(x)^2/(2))

  원본 링크