Channel Capacity
Summary
Channel Capacity는 오류를 아주 작게 유지하면서 채널로 보낼 수 있는 최대 정보량이다.
핵심 insight
시끄러운 통로라도 너무 빨리 보내지 않으면 거의 정확히 보낼 수 있다. 하지만 capacity보다 빠르게 보내면 아무리 똑똑한 코드를 써도 오류를 피하기 어렵다.
정의
채널 입력을 , 출력을 라고 할 때:
즉, 입력 분포를 잘 골라서 입력과 출력 사이 Mutual Information을 최대화한 값이다.
예시
무전기로 말한다고 하자.
- 천천히 또박또박 말하면 잡음이 있어도 알아듣기 쉽다.
- 너무 빠르게 말하면 잡음 때문에 놓치는 말이 많아진다.
Capacity는 “이 무전기로 안정적으로 말할 수 있는 최대 속도”다.
Gaussian Channel capacity
Gaussian Channel에서 평균 power 제한이 있을 때:
SNR이 높을수록 capacity가 커진다.