Multiclass SVM Loss

• Hinge-Loss
  • max 로 적힌 식을 생각해보면, ReLU 좌우 반전. 즉, hinge
• 위와 같이, 정의할 수 있는데,

Think!

1. What happens to loss if car scores decrease by 0.5 for this scenario?

• car에 대한 $L_i$가 바뀌지 않아, 전체 Loss는 유지.

2. What is the min/max possible SVM Loss $L_i$?

• (0, inf), max 의 sum이라, lower bound 는 0이고, upper는 bound 되지 않음.

3. At initialization W is small so all s ~ 0. What is the loss $L_i$, assuming N examples and C classes?

• $N\times (C-1)$ 위의 개별 값들이 다 0 근처이니, 실제 target 값과 각 셀들 간의 차이는 1보다 크지 않을 거고, 그러면 otherwise case가 적용될 것. 그렇다면, $s_j$, $s_{y_i}$ 값이 비슷할테니 각 클래스 별, (C-1)이 N 개에 대해 쌓일테니,,

4. What is the sum was over all classes?

• 위의 경우에서 개별 클래스 당 1씩 추가.

5. What is we used mean instead of sum?

• 그냥 단순 scaling.

6. What if we used new $L_i$ definition, square of itself?

• Squared Hinge Loss
• convex 하겠네,,