Mean Absolute Error(MAE)

Summary

$L1$ metric 으로, absolute value term으로 구성되어 있다. 분포의 편차를 구하는 것과 비슷한 모양.

Important

MSE와 마찬가지로, $L1$ loss로 사용될 수도 있고, regression에서는 metric으로도 사용될 수 있다.

MAE as a $L1$ loss function

---

NOTE

우리가 하려는 목표는 MLE를 사용해서, 모델의 파라미터를 optimization 하는 것.
그렇다면 MSE loss의 경우에는 어떻게 MLE로부터 유도될까?
→ 데이터가 Laplace distribution을 따른다고 가정!

Loss?

Let $p_{model}(y|\mathrm{x},\mathrm{w})=\frac{1}{2b}\text{exp}(-\frac{|y-f_{\mathrm{w}}(x)|}{b})$
then we obtain,
${\hat{\mathrm{w}}}_{ML}=\underset{\mathrm{w}}{\mathrm{argmax}}\sum \text{log}{p}_{model}(y_i|X_i,\mathrm{w})$
$=\underset{\mathrm{w}}{\mathrm{argmax}}\sum -\text{log}(2b)-\sum \frac{1}{b}|f_{\mathrm{w}}(\mathrm{x})-y|$
$=\underset{\mathrm{w}}{\mathrm{argmax}}-\sum |f_{\mathrm{w}}(\mathrm{x})-y|$
$=\underset{\mathrm{w}}{\mathrm{argmin}}\sum |f_{\mathrm{w}}(\mathrm{x})-y|$
In other words, we minimize the absolute loss($L_1$ loss) which is more robust than $L_2$
→ 어떠한 의미에서 robust? : outlier에 대해