KL divergence

KL(Kullback - Leibler) divergence

두 확률 분포 간, 차이 를 나타내는 지표.
이 비교 시 사용되는 지표가 entrop여서 다른 말로 , “relative entropy”라고도 한다.
$D_{KL}(P\parallel Q)={\sum }_{x\in X}P(X)log(\frac{P(x)}{Q(x)})$

cross-entropy

• cross entropy랑 관련이 있다니 같이 정리할 것.