Flow Matching

related: Denoising Diffusion Probabilistic Models, Generative Modeling via Drifting, Variational AutoEncoder(VAE)

Summary

Flow Matching은 noise distribution에서 data distribution으로 샘플을 이동시키는 velocity field를 직접 학습하는 생성 모델 학습 방법.

쉽게 말하면, “무작위 노이즈 점들을 실제 데이터처럼 보이는 위치로 어떻게 움직여야 하는가?”를 벡터장으로 배우는 방식이다.

핵심 직관

생성 모델은 보통 쉬운 분포에서 시작한다.

• 시작점: Gaussian noise
• 도착점: real data distribution

Flow Matching은 이 둘 사이에 시간축 $t\in [0,1]$을 놓고, 각 시점의 샘플 $x_t$가 어느 방향으로 움직여야 하는지 학습한다.

$$\frac{d{x}_t}{dt}=v_{\theta }(x_t,t)$$

여기서 $v_{\theta }(x_t,t)$는 neural network가 예측하는 velocity field다.

Intuition

종이 위에 무작위로 흩어진 점들이 있다고 하자.

Flow Matching은 각 점마다 “지금 어느 방향으로 얼마나 이동해야 최종적으로 고양이 이미지, 얼굴 이미지, 단백질 구조 같은 데이터 모양이 되는가?”를 배우는 것이다.

어떻게 학습하는가?

가장 단순한 형태에서는 noise sample $x_0$와 data sample $x_1$을 하나씩 잡고, 둘 사이를 직선으로 연결한다.

$$x_t=(1-t)x_0+t{x}_1$$

그러면 이 직선 경로의 정답 속도는 단순히 다음과 같다.

$$u_t=x_1-x_0$$

모델은 임의의 $t$에서 $x_t$를 보고 이 정답 velocity $u_t$를 맞히도록 학습한다.

$$\mathcal{L}={\mathbb{E}}_{t,x_0,x_1}\left[\Vert v_{\theta }(x_t,t)-u_t{\Vert }^2\right]$$

즉, diffusion처럼 매 step에서 noise를 제거하는 법을 배우는 대신, 분포를 움직이는 방향 자체를 supervised regression처럼 학습한다.

Sampling

학습이 끝나면 noise $x_0$에서 시작해 ODE를 적분한다.

1. Gaussian noise를 뽑는다.
2. $t=0$에서 $t=1$까지 $v_{\theta }(x_t,t)$를 따라 이동한다.
3. 마지막 $x_1$을 생성 샘플로 사용한다.

Diffusion model과의 차이

구분	Diffusion	Flow Matching
핵심 학습 대상	noise/score/denoising direction	velocity field
생성 과정	noise를 점진적으로 제거	noise를 data 쪽으로 흐르게 함
수학적 관점	stochastic process 또는 score-based generation	ODE 기반 transport
직관	흐린 이미지를 점점 선명하게 복원	점들을 데이터 분포로 이동

두 방법 모두 noise에서 data를 만든다는 점에서는 비슷하다. 차이는 diffusion이 “노이즈를 제거하는 역과정”을 강조하는 반면, Flow Matching은 “분포를 이동시키는 흐름”을 직접 학습한다는 점이다.

왜 중요한가?

• 학습 목표가 단순함: velocity regression 형태라 직관적이고 안정적이다.
• 생성 모델과 ODE를 연결: continuous normalizing flow, diffusion, rectified flow 계열을 하나의 transport 관점에서 이해할 수 있다.
• 빠른 sampling 연구와 연결: 더 곧은 경로를 배우면 적은 step으로도 생성할 수 있다.
• 최근 생성 모델의 핵심 배경: diffusion 이후의 one-step/few-step generation 연구에서 자주 등장한다.

주의할 점

Flow Matching이 항상 one-step generation을 보장하는 것은 아니다.

학습한 velocity field를 따라가려면 보통 ODE solver가 필요하고, solver step 수가 많으면 diffusion처럼 추론 비용이 생긴다. 따라서 실제 속도는 경로 설계, 모델 품질, solver step 수에 따라 달라진다.

핵심 정리

Flow Matching은 생성 과정을 “노이즈 제거”가 아니라 분포 이동으로 바라본다.

Noise sample이 data sample이 되도록 만드는 velocity field를 배우고, 생성 시에는 그 field를 따라 noise를 data로 흘려보낸다.