Entropy

Summary

Entropy는 결과를 보기 전 내가 얼마나 모르는지를 재는 값이다.
결과가 뻔하면 entropy가 낮고, 무엇이 나올지 모르겠으면 entropy가 높다.

핵심 insight

Entropy는 “정보의 양”이라기보다 평균 놀라움이다. 드문 일이 일어나면 많이 놀라고, 뻔한 일이 일어나면 조금만 놀란다.

정의

이산 확률변수 $X$의 entropy는:

$$H(X)=-\sum _{x}p(x){\log }_{2}p(x)$$

각 결과의 정보량은:

$$I(x)=-{\log }_{2}p(x)$$

• 확률이 작을수록 $-\log p(x)$가 커진다.
• 그래서 드문 사건은 정보량이 크다.

예시

공정한 동전은 앞/뒤가 각각 0.5다.

$$H(X)=-0.5{\log }_{2}0.5-0.5{\log }_{2}0.5=1$$

즉, 공정한 동전 던지기 한 번은 평균적으로 1 bit의 정보를 준다.

반대로 항상 앞면만 나오는 동전은:

$$H(X)=-1{\log }_{2}1=0$$

결과가 이미 뻔하니 새 정보가 없다.

왜 중요한가

• Source Coding Theorem에서 entropy는 압축의 이론적 한계다.
• Mutual Information은 entropy가 얼마나 줄어드는지로 정의된다.
• Cross Entropy와 KL Divergence (Information Theory)는 machine learning loss와 연결된다.

관련 노트

• Conditional Entropy
• Mutual Information
• Shannon Code
• Source Coding Theorem