Energy-Based Model(EBM)

related: Maximum Likelihood Estimation, Gradient, Loss Function, KL divergence, Flow Matching

Summary

Energy-Based Model(EBM)은 입력 $x$에 대해 “얼마나 그럴듯한가”를 probability로 직접 출력하지 않고, energy score $E_{\theta }(x)$로 표현하는 모델.

낮은 energy는 그럴듯한 데이터, 높은 energy는 그럴듯하지 않은 데이터를 의미한다.

핵심 직관

EBM은 데이터를 산이나 골짜기가 있는 지형으로 본다.

• 실제 데이터가 많이 있는 영역: 낮은 energy valley
• 이상하거나 드문 데이터 영역: 높은 energy hill

모델의 목표는 real data를 낮은 energy에 두고, fake/noise data를 높은 energy로 밀어 올리는 것이다.

Intuition

얼굴 이미지 EBM을 생각해보자.

• 자연스러운 얼굴 이미지: low energy
• 눈, 코, 입 위치가 이상한 이미지: high energy

EBM은 “이 이미지는 얼굴이다/아니다”를 바로 분류하기보다, 이미지가 얼굴 데이터 분포 안에 얼마나 잘 들어맞는지를 energy landscape로 표현한다.

확률 모델로 보면

EBM은 다음처럼 unnormalized probability를 정의한다.

$$p_{\theta }(x)=\frac{\exp (-E_{\theta }(x))}{Z_{\theta }}$$

여기서 $Z_{\theta }$는 partition function이다.

$$Z_{\theta }=\int \exp (-E_{\theta }(x))dx$$

energy가 낮을수록 $\exp (-E_{\theta }(x))$가 커지므로 probability가 커진다.

가장 큰 문제: Partition Function

EBM의 핵심 난점은 $Z_{\theta }$를 계산하기 어렵다는 점이다.

고차원 이미지, 텍스트, 단백질 구조 같은 데이터에서는 가능한 $x$가 너무 많아서 전체 공간에 대해 적분하거나 합산할 수 없다.

이 때문에 EBM은 probability를 예쁘게 정의할 수는 있지만, 실제 학습과 sampling이 어렵다.

Important

EBM의 어려움은 모델 구조 자체보다 정규화 상수 $Z_{\theta }$를 모른다는 점에서 나온다.

이 문제 때문에 MLE를 직접 적용하기 어렵고, negative sample을 어떻게 뽑을지가 중요해진다.

어떻게 학습하는가?

직관적으로는 다음 두 힘을 동시에 건다.

• real data의 energy를 낮춘다.
• model이 만든 negative sample의 energy를 높인다.

그래서 EBM 학습은 보통 “좋은 샘플과 나쁜 샘플을 energy 차이로 구분하게 만들기”에 가깝다.

대표적인 접근:

• Contrastive Divergence: real data 근처에서 MCMC로 negative sample을 만들고 energy 차이를 학습한다.
• Score Matching: partition function을 직접 계산하지 않고, data density의 gradient를 맞춘다.
• Noise Contrastive Estimation: real data와 noise data를 구분하는 문제로 바꾼다.
• Langevin Dynamics: energy landscape의 gradient를 따라 sampling한다.

Sampling

EBM에서 새로운 샘플을 만들려면 높은 energy에서 낮은 energy 쪽으로 이동시킨다.

$$x_{k+1}=x_k-\eta {\nabla }_x{E}_{\theta }(x_k)+\text{noise}$$

즉, energy가 낮아지는 방향으로 조금씩 내려가되 noise를 섞어서 다양한 샘플을 탐색한다.

다른 생성 모델과의 차이

구분	VAE	GAN	EBM
핵심 아이디어	latent variable로 data 생성	generator와 discriminator 경쟁	data의 energy landscape 학습
확률 정규화	ELBO로 우회	명시적 likelihood 없음	partition function이 어려움
생성 방식	decoder sampling	generator forward pass	energy gradient 기반 sampling
장점	안정적 학습	빠른 sampling	유연한 분포 표현
단점	blurry sample 가능	mode collapse 가능	sampling/training이 느리고 어려움

왜 중요한가?

• probability를 직접 normalize하지 않아도 복잡한 분포를 표현할 수 있다.
• “좋은 상태는 낮은 에너지”라는 관점이 직관적이라 물리학, 구조 예측, representation learning과 잘 연결된다.
• Flow Matching이나 diffusion처럼 gradient/field를 따라 샘플을 이동시키는 생성 관점과도 연결된다.

핵심 정리

Energy-Based Model은 데이터를 직접 생성하는 함수라기보다, 데이터 공간 위에 그럴듯함의 지형을 만드는 모델이다.

낮은 energy 영역이 data distribution이고, sampling은 그 낮은 골짜기를 찾아 내려가는 과정이다. 강력하고 일반적인 관점이지만, partition function과 negative sampling 때문에 학습이 까다롭다.