Information Theory

정보이론은 불확실성, 정보량, 압축, 통신 한계를 다루는 분야다. 쉽게 말하면 “메시지에 얼마나 많은 놀라움이 들어 있는가?”, “얼마나 짧게 줄일 수 있는가?”, “시끄러운 통로로 얼마나 정확히 보낼 수 있는가?”를 수학으로 정리한다.

먼저 보는 지도

• Entropy — 불확실성의 양. 놀라운 일이 많을수록 entropy가 크다.
• Conditional Entropy — 어떤 정보를 알고 난 뒤에도 남는 불확실성.
• Mutual Information — 두 변수가 서로에 대해 알려주는 정보량.
• KL Divergence (Information Theory) — 한 분포를 다른 분포로 착각할 때 생기는 정보 손실.
• Jensen Inequality — entropy, KL, ELBO를 이해하는 데 필요한 볼록/오목 함수의 핵심 부등식.

압축

• Shannon Code — 자주 나오는 메시지에는 짧은 코드, 드문 메시지에는 긴 코드를 붙이는 압축 아이디어.
• Source Coding Theorem — 평균적으로 entropy보다 더 짧게는 안정적으로 압축할 수 없다는 한계.
• Sufficient Statistic — 데이터 전체 대신, 파라미터 추론에 필요한 정보만 남긴 요약값.

통신과 오류정정

• Gaussian Channel — 신호에 Gaussian noise가 섞이는 가장 기본적인 통신 채널.
• Channel Capacity — 시끄러운 채널에서 오류를 작게 유지하며 보낼 수 있는 최대 정보량.
• Hamming Code — 몇 비트가 잘못됐는지 찾아 고치는 오류정정 코드.

AI와 연결

• Bayes Rule — 관측을 보고 belief를 업데이트한다.
• Likelihood — 데이터가 어떤 가설 아래에서 얼마나 그럴듯한지 본다.
• Auto-Encoding Variational Bayes — VAE의 ELBO는 likelihood, KL divergence, Jensen inequality와 직접 연결된다.
• Partially Observable Markov Decision Process(POMDP) — 관측이 불완전할 때 belief state를 업데이트한다.

한 줄 요약

정보이론은 불확실성을 숫자로 재고, 그 숫자가 압축과 통신의 한계를 정한다는 관점이다.