When to stop "learning?"
loss 값 자체를 사용하는 건 별로, intuitive하지 않다.
- 작은 loss는 generalization 성능을 말해주는 게 아닌, 단순 train-set에 대한 explainability를 말해주니,
- 모델 구조, 데이터 셋, optimization method 등에 따라 값 자체가 너무 달라지니, 일관성있는 비교가 힘듦.
아래는 대표적인 evaluation metric이다.
For Regression
Important
Regression task에서, ground true(label)는 floating point value 즉, prediction value는 저 값 자체에 가까워지는 것이 목표이므로, loss 자체가 evaluation metric으로써의 기능도 할 수 있다. 따라서 아래에 있는
Mean Square Error(MSE), Mean Absolute Error(MAE) 같은 경우는 loss 임과 동시에 evaluation metric의 기능도 할 수 있다.
- 다만, 꼭 같은 값을 evaluation metric으로 사용할 필요는 없으나, 학습하는 과정에서 사용한 loss와 metric이 일치할 경우에는 loss 가 줄어드는 정보만으로 evaluation value도 감소할 것이라 추정할 수는 있겠지.
- Mean Square Error(MSE)
- Root Mean Square Error(RMSE)
- Mean Absolute Error(MAE)
- Mean Absolute Percentage Error(MAPE)