Conditional Entropy

Summary

Conditional Entropy는 어떤 정보를 알고 난 뒤에도 아직 남아 있는 불확실성이다.

핵심 insight

무언가를 알면 보통 덜 헷갈린다. Conditional entropy는 “힌트를 들은 뒤에도 얼마나 모르겠는가?”를 재는 값이다.

정의

$$H(X\mid Y)=-\sum _{y}p(y)\sum _{x}p(x\mid y){\log }_{2}p(x\mid y)$$

더 짧게는:

$$H(X\mid Y)=H(X,Y)-H(Y)$$

뜻은 간단하다.

• $H(X)$: 아무것도 모를 때 $X$의 불확실성
• $H(X\mid Y)$: $Y$를 알고 난 뒤 $X$의 불확실성

예시

날씨 $X$가 비/맑음이고, 하늘 색 $Y$를 본다고 하자.

• 하늘이 아주 어두우면 비일 가능성이 커진다.
• 하늘이 아주 맑으면 맑음일 가능성이 커진다.

즉, $Y$를 알면 $X$에 대한 불확실성이 줄어든다.

만약 하늘 색이 날씨와 아무 상관 없다면:

$$H(X\mid Y)=H(X)$$

힌트를 들어도 모르는 정도가 그대로다.

Mutual Information과 연결

Mutual Information은 $Y$를 알고 나서 $X$의 entropy가 얼마나 줄었는지다.

$$I(X;Y)=H(X)-H(X\mid Y)$$

관련 노트

• Entropy
• Mutual Information
• Channel Capacity