Linear Classifiers

Linear classifier

선형 분류기. linearly-separable 한 데이터를 분리할 수 있고, Neural Net은 이 linear-classifier 가 non-linear activation function이랑 묶인 걸로 이해하면 됨.

Parametric Approach : Learning Perceptron(linear classifier)

---

• parameter를 manual하게 researcher가 지정해주는 것이 아닌 흐름.
• Learning은 적절한 parameter를 찾아가는 과정.

• 위의 경우는 CIFAR10을 예시로 사용.
• $x[i]$는 이미지 하나이니, $32\times 32\times 3=3072$ → $\text{x shape:}(3072,1)$
• 분류 타겟 클래스는 총 10개 → $f(x,W)\text{의 shape : }(10,1)$
• → $\text{W의 shape : }(10,3072)$
• if, bias term을 추가한다고 하면, $b\text{의 shape: }(10,1)$

Interpretation

---

• 학습된 weight를 보면, template를 식별한다는 것을 확인할 수 있다.

• geometry 관점에서 보면, 그림과 같이 decision boundary를 기준으로 class 분류를 한다고 해석할 수 있다.
• nn.Linear의 경우, 저걸 column vector로 보면, 출력 dimension 과 같은 개수의 linear classifier로 볼 수 있음.

Limitation

---

• Belows are the challenging scenario that the linear classifiers are hard to classify the data.
  

What(How) to do for finding a good W?

---

• define a objective(Loss Function)
  • how good current classifier
• minimize the loss(Optimization)