036 - The Main Ideas of Fitting a Line to Data (The Main Ideas of Least Squares and Linear Regression.)
이렇게 데이터가 퍼져있을 때, 우리는 선을 fitting하여 전체 데이터의 트렌드를 확인할 수 있다.
근데 그릴 수 있는 선은 무수히 많다. 그러면 어떠한 기준으로 선들이 잘 fitting되었는지, 데이터의 분포를 잘 반영하고 있는지 표현할 지표가 필요.
가장 간단한 상수함수 케이스, 전체 데이터의 평균값을 가지는 상수함수를 기준으로 잡아보자. (TSS)
Transclude of Least_Squares_Linear_Regression_Notes_Screenshot_(1.png)
아래의 경우에서 알 수 있듯, 단순 빼기 경우에서는 각각의 데이터 포인트별 fitting 함수와의 차이를 다른 부분에서 보상할 수 있어, 이 지표는 좋지 않음을 알 수 있다.
그래서 첫 시도로는 절댓값을 사용하여 차를 단순 합했다.
근데 절댓값은 수학적 연산을 하기에 복잡하다. 추가적인 연산에서 귀찮은 경우 중 하나이다.
왜냐하면, 무조건 분기해야 하는 경우이니.
그래서 제곱을 사용함. → 전부 다 양수항이므로,
Transclude of Least_Squares_Linear_Regression_Notes_Screenshot_(2.png)
→ RSS(Residual Sum of Squares)
이제 이 지표로 비교해보자.
비교할 수 있듯이, 오른쪽이 더 잘 fitting 되었다.
지금 사용한 선형 모델은 다음과 같은 일반식을 가진다.
그럼 이제 우리가 할 일은 optimal한 slope, intercept를 찾는 것.
RSS 식을 이용해 이가 최소가 되도록 하는 a,b를 찾는 것이 목표이고 이걸 Least Squares라고 한다.
Transclude of Least_Squares_Linear_Regression_Notes_Screenshot_(3.png)
최적의 값들을 찾기 위한 조건
→ RSS가 최소가 되게 하는 slope, interccept
→ derivatives
Transclude of Least_Squares_Linear_Regression_Notes_Screenshot_(4.png)
여기서는 slope만 변수 취급하여 LS를 한 거고, intercept도 추가해서 고려해보면,
그러면 이런 식으로 포물면.? 어쨋든 surface가 생기겠지.
Transclude of Least_Squares_Linear_Regression_Notes_Screenshot_(5.png)
거기서 최소점을 찾으면 ok!