Jensen Inequality

Summary

Jensen Inequality는 평균을 먼저 넣는 것과 함수에 넣고 나중에 평균내는 것의 크기 관계를 알려주는 부등식이다.

핵심 insight

볼록한 함수는 그릇처럼 아래로 휘어 있다. 그래서 여러 점의 평균을 함수에 넣은 값은, 각 점을 함수에 넣고 평균낸 값보다 작거나 같다.

정의

$f$가 convex function이면:

$$f(\mathbb{E}[X])\le \mathbb{E}[f(X)]$$

$f$가 concave function이면 부등호가 반대다.

$$f(\mathbb{E}[X])\ge \mathbb{E}[f(X)]$$

대표적으로 $\log x$는 concave function이다.

예시

$f(x)=x^2$는 convex function이다. $X$가 0 또는 2를 각각 0.5 확률로 가진다고 하자.

$$\mathbb{E}[X]=1$$ $$f(\mathbb{E}[X])=1^2=1$$

하지만:

$$\mathbb{E}[f(X)]=0.5\cdot 0^2+0.5\cdot 2^2=2$$

그래서:

$$f(\mathbb{E}[X])\le \mathbb{E}[f(X)]$$

정보이론에서 왜 중요한가

Jensen inequality는 다음 결과들의 바탕이 된다.

• KL Divergence (Information Theory)는 항상 0 이상이다.
• Entropy 관련 부등식을 증명할 때 쓰인다.
• Auto-Encoding Variational Bayes의 ELBO는 log와 expectation의 순서를 바꾸면서 lower bound로 나온다.

관련 노트

• KL Divergence (Information Theory)
• Entropy
• Auto-Encoding Variational Bayes