KL Divergence (Information Theory)

Summary

KL divergence는 진짜 분포 $P$를 다른 분포 $Q$로 착각했을 때 생기는 평균 정보 손실이다.

핵심 insight

KL divergence는 두 분포의 “거리”처럼 쓰이지만 진짜 거리는 아니다. 방향이 중요하다.

$$D_{KL}(P\Vert Q)\ne D_{KL}(Q\Vert P)$$

즉, “P를 Q로 착각하는 것”과 “Q를 P로 착각하는 것”은 다르다.

정의

$$D_{KL}(P\Vert Q)=\sum _{x}P(x){\log }_2\frac{P(x)}{Q(x)}$$

연속형에서는 합 대신 적분을 쓴다.

예시

진짜 동전은 앞면이 0.8로 나오는 동전인데, 내가 공정한 동전이라고 착각한다고 하자.

• 진짜 분포 $P$: 앞 0.8, 뒤 0.2
• 착각한 분포 $Q$: 앞 0.5, 뒤 0.5

KL divergence는 이 착각 때문에 평균적으로 얼마나 비효율적인 코드를 쓰게 되는지 알려준다.

Jensen Inequality와 연결

KL divergence는 항상 0 이상이다.

$$D_{KL}(P\Vert Q)\ge 0$$

이 성질은 Jensen Inequality에서 나온다. 그래서 Jensen inequality는 정보이론과 VAE의 ELBO를 이해할 때 자주 등장한다.

AI에서의 역할

• Auto-Encoding Variational Bayes에서 posterior $q_{\varphi }(z\mid x)$가 prior $p(z)$에서 너무 멀어지지 않게 하는 항으로 쓰인다.
• classification에서는 cross entropy가 entropy + KL divergence로 나뉜다.
• Mutual Information은 joint distribution과 독립 분포 사이의 KL divergence다.

관련 노트

• Jensen Inequality
• Mutual Information
• Bayes Rule
• Auto-Encoding Variational Bayes
• KL divergence