Mutual Information

Summary

Mutual Information은 두 변수가 서로에 대해 알려주는 정보량이다.

핵심 insight

Mutual information은 “하나를 알면 다른 하나에 대한 불확실성이 얼마나 줄어드는가?”다. 완전히 상관없으면 0이고, 하나가 다른 하나를 거의 결정하면 크다.

정의

$$I(X;Y)=H(X)-H(X\mid Y)$$

같은 뜻으로:

$$I(X;Y)=H(Y)-H(Y\mid X)$$

또는 KL divergence로:

$$I(X;Y)=D_{KL}(p(x,y)\Vert p(x)p(y))$$

즉, joint distribution이 독립 분포 $p(x)p(y)$에서 얼마나 벗어나는지다.

예시

시험 점수 $X$와 공부 시간 $Y$를 생각하자.

• 공부 시간이 길수록 점수가 높아지는 경향이 강하면 mutual information이 크다.
• 공부 시간과 점수가 완전히 무관하면 mutual information은 0에 가깝다.

왜 중요한가

• Channel Capacity는 입력과 출력 사이 mutual information을 최대로 만든 값이다.
• representation learning에서는 좋은 표현이 label이나 중요한 요인과 높은 mutual information을 갖길 원한다.
• Sufficient Statistic은 파라미터에 대한 정보를 잃지 않는 요약값으로 볼 수 있다.

관련 노트

• Entropy
• Conditional Entropy
• KL Divergence (Information Theory)
• Channel Capacity