Sufficient Statistic

Summary

Sufficient statistic은 파라미터를 추론하는 데 필요한 정보를 잃지 않는 요약값이다.

핵심 insight

데이터 전체를 들고 있지 않아도 될 때가 있다. 어떤 요약값이 파라미터에 대해 필요한 정보를 전부 담고 있다면, 그 요약값은 충분하다.

정의

통계량 $T(X)$가 파라미터 $\theta$에 대해 sufficient statistic이라는 말은:

$T(X)$를 알고 나면, 원본 데이터 $X$가 $\theta$에 대해 추가로 알려주는 것이 없다.

수식으로는 $X$의 조건부분포가 $\theta$에 의존하지 않는다는 뜻이다.

$$P(X\mid T(X),\theta )=P(X\mid T(X))$$

예시

동전을 $n$번 던져 앞면이 몇 번 나왔는지로 동전의 앞면 확률 $\theta$를 추정한다고 하자.

데이터가:

$$H,T,H,H,T$$

이면 앞면 횟수는 3번이다.

Bernoulli 모델에서는 순서보다 앞면이 총 몇 번 나왔는지가 $\theta$ 추정에 중요하다. 그래서 앞면 개수:

$$T(X)=\sum _i{x}_i$$

는 $\theta$에 대한 sufficient statistic이다.

정보이론적 해석

Sufficient statistic은 필요한 정보만 남긴 압축이다.

• 원본 데이터는 크다.
• 요약값은 작다.
• 그런데 파라미터에 대한 정보는 잃지 않는다.

그래서 sufficient statistic은 “lossless compression for inference”처럼 이해할 수 있다.

Factorization theorem

실제로는 다음 형태로 likelihood가 분해되면 $T(X)$가 sufficient statistic이다.

$$p(X\mid \theta )=g(T(X),\theta )h(X)$$

• $g(T(X),\theta )$: 파라미터와 관련 있는 부분
• $h(X)$: 파라미터와 상관없는 부분

관련 노트

• Likelihood
• Bayes Rule
• Entropy
• Mutual Information