Summary

**직교(orthogonal)**는 두 벡터가 서로 수직이라 내적이 0인 상태이고, **정사영(projection)**은 한 벡터를 어떤 공간에 내린 “가장 가까운 그림자”입니다. 연립방정식 $Ax=b$가 풀리지 않을 때, 오차를 가장 작게 만드는 답을 찾는 것이 **최소제곱(least squares)**이고, 그 답은 $b$를 열공간에 정사영해서 얻습니다.

용어 설명

• orthogonal (직교): 두 벡터가 수직. 내적이 0.
• dot/inner product (내적): 두 벡터를 곱해 하나의 숫자로 만드는 연산. $u\cdot v=u^{T}v$.
• orthonormal (정규직교): 직교 + 길이가 1인 단위벡터.
• projection (정사영): 벡터를 어떤 공간에 수직으로 내린 그림자.
• column space (열공간): 행렬 $A$의 열들로 만들 수 있는 모든 벡터의 공간 ($Ax$ 형태로 나오는 모든 점).
• least squares (최소제곱): 오차 제곱합을 최소로 하는 근사해.
• normal equations (정규방정식): 최소제곱해를 주는 식 $A^{T}A\hat{x}=A^{T}b$.
• residual (잔차): 실제값과 예측값의 차이 $b-A\hat{x}$.

Orthogonality, Projection, and Least Squares

1. 직관 (가장 가까운 그림자 = 정사영; 풀리지 않는 식의 최선의 근사)

햇빛이 머리 위에서 비추면 막대기의 그림자가 바닥에 생깁니다. 이 그림자가 바로 **정사영(projection)**입니다. 막대기(벡터 $b$)를 바닥(어떤 공간)에 “수직으로 눌러 내린” 것이죠. 신기한 점은, 이 그림자가 바닥 위의 점들 중에서 원래 막대기 끝과 가장 가까운 점이라는 것입니다.

이게 왜 중요할까요? 현실의 연립방정식 $Ax=b$는 보통 풀리지 않습니다. 예를 들어 점 100개를 직선 하나로 정확히 지나가게 할 수는 없죠 (식은 100개인데 미지수는 2개뿐 = 과결정 overdetermined). 이때 “정확한 답”은 없지만, **“가장 덜 틀린 답”**은 있습니다.

핵심 한 줄

풀 수 없는 $Ax=b$에서, $b$를 손이 닿는 공간(열공간)에 정사영한 점이 바로 우리가 만들 수 있는 가장 가까운 $b$이고, 그걸 만드는 $x$가 최소제곱해입니다.

2. 직교성·정사영 정의 ($LaTeX$)

직교(orthogonal): 두 벡터 $u,v$의 내적이 0일 때 서로 직교(수직)라고 합니다.

$u\cdot v=u^{T}v=0$

정규직교(orthonormal): 직교이면서 각각 길이가 1일 때. $u^{T}u=1$, $u^{T}v=0$.

한 벡터 $a$ 위로의 정사영: 벡터 $b$를 직선(벡터 $a$ 방향)에 내린 그림자 $p$는

$p=\frac{a^{T}b}{a^{T}a}a$

여기서 $\frac{a^{T}b}{a^{T}a}$는 “$a$를 몇 배 늘려야 그림자가 되는가”라는 스칼라입니다.

부분공간(열공간) 위로의 정사영: 행렬 $A$의 열공간으로 $b$를 정사영할 때, **사영행렬(projection matrix)**은

$P=A(A^{T}A{)}^{-1}{A}^T,p=Pb$

정사영의 결정적 성질

그림자 $p$를 뺀 나머지, 즉 잔차 $b-p$는 항상 그 공간에 **수직(직교)**입니다. “가장 가까운 점”이라는 말과 “수직으로 떨어진다”는 말은 같은 뜻입니다.

3. 최소제곱 ($Ax=b$가 안 풀릴 때 정규방정식 $A^{T}A\hat{x}=A^{T}b$)

$Ax=b$에 해가 없다는 것은 $b$가 $A$의 열공간 밖에 있다는 뜻입니다 (그림자 밖으로 막대기가 삐져나옴). 그래서 우리는 오차의 크기

$\Vert Ax-b\Vert$

를 최소로 만드는 $\hat{x}$를 찾습니다. 이게 최소제곱입니다 (“제곱”인 이유는 거리 계산에 제곱이 들어가서).

기하학적으로, 오차가 가장 작아지는 순간은 $A\hat{x}$가 바로 $b$의 정사영일 때입니다. 그때 잔차 $b-A\hat{x}$가 열공간에 수직이고, 열공간은 $A$의 열들로 만들어지므로 모든 열과 수직, 즉 $A^T(b-A\hat{x})=0$. 정리하면 정규방정식(normal equations):

$A^{T}A\hat{x}=A^{T}b$

$A^{T}A$가 가역(invertible)이면

$\hat{x}=(A^{T}A{)}^{-1}{A}^{T}b$

4. 예시 (직선 피팅)

점 3개 $(1,1)$, $(2,2)$, $(3,2)$를 직선 $y=cx+d$로 피팅한다고 합시다. 한 직선이 세 점을 모두 지날 수는 없습니다 (안 풀림). 식으로 쓰면:

$\underset{A}{\underbrace{\left[\begin{array}{cc}1& 1\\ 2& 1\\ 3& 1\end{array}\right]}}\left[\begin{array}{c}c\\ d\end{array}\right]=\underset{b}{\underbrace{\left[\begin{array}{c}1\\ 2\\ 2\end{array}\right]}}$

정규방정식 $A^{T}A\hat{x}=A^{T}b$를 세우면:

$A^{T}A=\left[\begin{array}{cc}14& 6\\ 6& 3\end{array}\right],A^{T}b=\left[\begin{array}{c}11\\ 5\end{array}\right]$

이를 풀면 $\hat{c}=\frac{1}{2}$, $\hat{d}=\frac{2}{3}$. 즉 최선의 직선은 $y=\frac{1}{2}x+\frac{2}{3}$입니다. 이게 바로 우리가 흔히 쓰는 **추세선(선형회귀)**의 정체입니다.

5. 어디에 쓰나 / 흔한 함정

쓰임:

• **선형회귀(linear regression)**의 핵심 엔진. 엑셀 추세선, 머신러닝의 가장 기초 모델이 모두 최소제곱.
• 곡선 적합(curve fitting), 신호처리, 데이터 잡음 제거 등.

함정 모음

• $A^{T}A$가 가역이려면 **$A$의 열들이 일차독립(linearly independent)**이어야 합니다. 열이 겹치면(공선성, collinearity) 역행렬이 없어 답이 흔들립니다.
• 컴퓨터로 직접 $(A^{T}A{)}^{-1}$를 계산하면 수치적으로 불안정합니다. 실제로는 QR 분해나 SVD를 써서 푸는 것이 표준입니다.
• “최소제곱”의 제곱 때문에 큰 오차(이상치, outlier)에 민감합니다.

교과서: Strang, Introduction to Linear Algebra, Ch 4.

6. 30초 요약 (bullets)

• 직교: $u^{T}v=0$ (수직). 정규직교 = 직교 + 길이 1.
• 정사영: $b$를 공간에 내린 가장 가까운 그림자. 한 벡터엔 $p=\frac{a^{T}b}{a^{T}a}a$, 열공간엔 $P=A(A^{T}A{)}^{-1}{A}^T$.
• 잔차 $b-p$는 항상 그 공간에 수직 — 이게 “가장 가깝다”의 진짜 의미.
• 최소제곱: $Ax=b$가 안 풀릴 때 $\Vert Ax-b\Vert$ 최소화. 답은 정규방정식 $A^{T}A\hat{x}=A^{T}b$.
• 기하적으로 $A\hat{x}$ = $b$의 열공간 정사영.
• 실전: 선형회귀의 본체. 단, 열은 일차독립이어야 하고 수치 계산은 QR/SVD가 안정적.

관련 노트

• Linear Algebra Concepts (index)
• Transpose and Special Matrices
• Singular Value Decomposition (SVD)