드리프팅을 통한 생성 모델링

Digest: Context — 확산 모델(diffusion)과 플로우 매칭(flow matching)은 노이즈에서 데이터로의 분포 변환을 추론(생성) 시점에 여러 번 반복해서 풀어내기 때문에, 한 장을 만드는 데 수십~수백 번의 신경망 호출(NFE, Number of Function Evaluations)이 필요하고 그만큼 느리다. Insight — 이 논문의 핵심 통찰은 “분포가 데이터를 닮아가는 진화 과정을 추론이 아니라 학습 단계로 옮겨버리면, 생성기는 진화의 결과만 한 번에 내놓으면 된다”는 발상의 전환이다. 즉 비용을 추론에서 학습으로 이전한다. Solution — 이를 위해 저자들은 생성기가 만든 분포 q와 데이터 분포 p가 일치할 때 정확히 0이 되는 반대칭 드리프팅 필드(antisymmetric drifting field) V (V_{p,q}=-V_{q,p}, q=p이면 V=0)를 정의하고, 손실을 L=||f-stopgrad(f+V)||²로 둔다. 이는 곧 ||V||²를 최소화하는 것과 같아, 데이터 표본은 끌어당기고(인력) 생성 표본은 밀어내는(척력) 커널 힘으로 분포를 데이터 쪽으로 “드리프트”시킨다. 단, 이 과정은 픽셀 공간에서 직접 하면 실패하고 사전학습된 자기지도(SSL) 특징 공간(latent-MAE) 위에서만 작동하며, CFG(Classifier-Free Guidance, 조건 충실도를 높이는 기법)가 학습에 내장된다. Evidence — 결과는 단일 스텝(NFE=1) 생성으로 ImageNet 256×256에서 잠재 공간 FID 1.54(IS 258.9), 픽셀 공간 FID 1.61(IS 307.5)을 기록해, 같은 1-step 경쟁자인 iMeanFlow(1.72)·AdvFlow(2.38)·MeanFlow(3.43)는 물론 다단계 GAN인 StyleGAN-XL(2.30)까지 능가한다(FID는 낮을수록 좋음). 반대칭 구조를 깨면 FID가 8.46→177.14로 파국을 맞고, 인코더가 강할수록 11.05→3.36으로 개선되어 두 설계 선택의 인과적 중요성이 직접 확인된다. Implication — 따라서 교사 모델 증류(distillation)나 적대적 학습(adversarial training) 없이도 고품질 1-step 생성이 가능함을 보였고, 로보틱스로 옮긴 DriftingPolicy(1-NFE)가 DiffusionPolicy(100-NFE)와 대등하거나 능가해 실시간 정책 추론으로의 확장 가능성을 시사한다. Limitations & Open Questions — 다만 V=0이라는 평형 조건이 “분포가 정확히 일치한다”의 역방향을 수학적으로 보장하지는 않으며(V=0이어도 p≠q일 여지), 성능이 강한 특징 인코더에 크게 의존하고 현재 필드·커널 설계가 최적이라는 보장도 없다. 코드 미공개로 재현성은 종합 C 등급이다. 픽셀 공간에서 직접 동작시킬 길이 있는지, V=0의 충분성을 이론적으로 메울 수 있는지가 열린 질문으로 남는다.

섹션별 요약

Abstract

생성 모델링은 뉴럴 네트워크의 pushforward 분포를 데이터 분포에 맞추는 매핑 f를 학습하는 문제로 정식화될 수 있으며, 확산(diffusion) 및 플로우 기반(flow-based) 모델들은 이 pushforward 동작을 추론(inference) 시점에 반복적으로 수행해왔다. 본 논문은 Drifting Models라는 새로운 패러다임을 제안하며, 이는 pushforward 분포를 추론이 아닌 **학습 중(during training)**에 진화시켜 단일 스텝(one-step, 1-NFE) 추론을 자연스럽게 가능하게 한다. 생성 분포 q와 데이터 분포 p가 일치할 때 0이 되는 **드리프팅 필드(drifting field)**가 샘플의 이동을 제어하며, 이 균형 조건(equilibrium)이 뉴럴 네트워크 옵티마이저가 분포를 진화시키는 학습 목표로 이어진다. 실험 결과, 제안된 one-step 생성기는 ImageNet 256×256 해상도에서 잠재 공간(latent space) FID 1.54, 픽셀 공간(pixel space) FID 1.61을 달성하며 SOTA(state-of-the-art) 수준을 기록했다.

저자 contribution

드리프팅 모델(Drifting Models) 패러다임을 제안한다 — pushforward 분포를 추론이 아닌 학습 단계에서 진화시켜 단일 스텝(1-NFE) 생성을 가능하게 하는 프레임워크.
드리프팅 필드(drifting field)를 도입한다 — 생성 분포 q가 데이터 분포 p와 일치할 때 0이 되는 반대칭 필드로 샘플 이동을 제어하며, 이를 학습 목표로 직접 연결한다.
ImageNet 256×256에서 SOTA급 1-NFE 생성 성능을 달성한다 — 잠재 공간 FID 1.54, 픽셀 공간 FID 1.61로 단일 스텝 생성기의 새로운 기준을 제시한다.

왜 이 연구를 하는가?

핵심 질문: 확산/플로우 모델의 고품질 생성 능력을 유지하면서, 추론 시 반복적인 다단계 샘플링(many NFE)을 제거하고 단 1회의 패스(1-NFE)로 데이터 분포를 복원할 수 있는가?

기존 접근법의 한계

한계	설명
다단계 추론의 계산 비용	확산 모델(DDPM)·플로우 매칭(Flow Matching)·스코어 기반 모델(Score-based)은 추론 시 pushforward를 반복 이동으로 수행한다. 수십~수백 NFE가 필요하므로 속도가 느리고 배포 비용이 크다.
증류·적대 학습 의존성	Consistency Model, Progressive Distillation, Shortcut, Mean Flows 등 기존 1-step 접근은 사전 학습된 교사 모델 증류(distillation)나 적대적 최적화(GAN)에 의존하므로 학습 파이프라인이 복잡하고 불안정하다.
분포 진화의 시점 문제	기존 패러다임 모두 “pushforward 분포를 데이터 분포로 이동시키는 작업”을 추론 시점에 수행한다. 이 구조적 결합이 다단계 반복을 필연적으로 만든다.

핵심 통찰

pushforward 분포를 추론 시점이 아니라 학습 시점에 진화시키면, 추론은 단일 패스(1-NFE)로 완결된다.
생성된 분포 q가 데이터 분포 p에 수렴하면 드리프트가 자연히 소멸(zero drift = equilibrium)하므로, 별도의 수렴 판별 기준이 필요 없다.
GAN처럼 단일 패스 생성기를 쓰되 적대적 최적화를 배제함으로써 안정적 학습이 가능하다.

Introduction

생성 모델링의 핵심 목표는 학습 가능한 매핑 f의 pushforward 분포가 데이터 분포와 일치하도록 하는 것이다. 확산 모델(DDPM, Ho et al. 2020), 플로우 매칭(Flow Matching, Lipman et al. 2022), 스코어 기반 모델(Song et al. 2020)은 이 pushforward 이동을 추론 시점의 반복 연산으로 수행하며, 고품질 샘플을 얻기 위해 수십~수백 번의 NFE(Number of Function Evaluations)가 요구된다. 이는 배포 비용과 지연 시간 측면에서 근본적인 병목이다.

이를 우회하기 위한 기존 1-step 접근들 — Consistency Model(Song et al. 2023), Progressive Distillation(Salimans & Ho 2022), Shortcut(Frans et al. 2024), Mean Flows·iMeanFlow(Geng et al. 2025) — 은 사전 학습된 교사 모델에서의 증류(distillation)에 의존하거나, GAN(Goodfellow et al. 2014) 계열의 적대적 최적화를 도입한다. 증류는 교사 모델 학습이라는 2단계 파이프라인을 전제하고, 적대 학습은 학습 불안정성을 수반한다. MMD/Moment Matching(Dziugaite 2015; Li 2015) 계열은 커널 기반 분포 정합 관점에서 유사성이 있으나, 역시 추론 시 샘플 이동을 직접 제어하지 않는다.

본 논문은 Drifting Models라는 새로운 패러다임을 제안한다. 핵심 전환은 pushforward 분포의 진화 시점을 추론에서 학습으로 이전하는 것이다. 드리프팅 필드(drifting field)가 학습 중 샘플 이동을 지배하며, 생성 분포 q가 데이터 분포 p에 수렴할수록 드리프트가 자연히 소멸(zero drift)하여 평형 상태에 도달한다. 이 구조 덕분에 추론은 단 1회의 패스(1-NFE)로 완결되고, 교사 모델 증류나 적대적 최적화 없이 학습된다.

Methods

본 방법은 **드리프팅 필드(drifting field) V_{p,q}**의 반대칭 성질을 이용해, 생성 분포 q가 데이터 분포 p에 수렴할 때 자동으로 소멸하는 장(field)을 신경망으로 학습하는 1-NFE(1 Neural Function Evaluation) 생성 프레임워크다.

핵심 구성요소

반대칭 드리프팅 필드 (Anti-symmetric Drifting Field): V_{p,q}(x) = -V_{q,p}(x) for all x 라는 반대칭 조건을 만족하도록 설계된다. 이 성질에 의해 q=p인 평형 상태에서 V_{p,q}(x) = 0이 보장된다. 즉, 분포가 일치하면 필드가 사라지므로 별도의 수렴 판정 기준이 불필요하다.
훈련 목적 함수 (Training Objective): 샘플은 x_{i+1} = x_i + V_{p,q_i}(x_i) 규칙으로 진화한다. 손실은 L = E[|| f_theta(eps) - stopgrad(f_theta(eps) + V(f_theta(eps))) ||²]로, ||V||² 최소화에 해당한다. Neural optimizer(생성 모델 자체)가 생성 분포를 데이터 분포 방향으로 반복 진화시킨다. 반대칭성 → 평형 조건 → ||V||² 최소화라는 논리 사슬이 손실 설계의 핵심이다.
커널 기반 필드 (Kernel-based Field): V_{p,q}(x) = (1/(Z_p Z_q)) E_{p,q}[ k(x, y⁺) k(x, y⁻) (y⁺ - y⁻) ] 형태로 구현된다. k(x, y) = exp(-||x-y||/τ)는 온도 파라미터 τ를 갖는 커널이다. y⁺ (데이터 p의 양성 샘플)은 인력(attraction), y⁻ (생성 분포 q의 음성 샘플)은 척력(repulsion) 역할을 하며, 이 상호작용이 드리프팅 방향을 결정한다.
사전학습 특징 공간 (Pretrained Feature Space): 픽셀 공간에 직접 적용 시 실패하므로, MoCo / SimCLR / MAE / latent-MAE 등 SSL(Self-Supervised Learning) 사전학습 인코더가 필수다. 피처 피라미드(feature pyramid) 위에서 다중 스케일 손실을 적용한다.
학습 내장 CFG (Training-integrated Classifier-Free Guidance): 혼합 분포 q̃(·|c) = (1-γ) q_θ(·|c) + γ p_data(·|∅)를 훈련 중 통합하여, 추론 시 재학습 없이 guidance scale α를 자유롭게 지정할 수 있다.
DiT류 아키텍처 (Architecture): DiT(Diffusion Transformer) 스타일의 트랜스포머를 사용하며, 잠재(latent) 모드에서 패치 크기 2, 픽셀 모드에서 패치 크기 16을 적용한다. adaLN-zero 컨디셔닝, ResNet 스타일 다중 스케일 특징 추출기, SD-VAE 토크나이저(32×32×4 잠재)를 포함한다.

입력 → 출력 흐름

입력: 가우시안 노이즈 ε를 생성기 f_θ에 통과시켜 초기 샘플 f_θ(ε)을 얻는다.
특징 추출: SSL 인코더 φ를 통해 생성 샘플과 실제 데이터를 피처 피라미드 공간으로 사상한다.
필드 계산: 커널 k로 y⁺ (실제 샘플, 인력)와 y⁻ (생성 샘플, 척력)의 가중 차이를 집계해 드리프팅 필드 V를 산출한다.
분포 진화: x_{i+1} = x_i + V 갱신을 반복하며 생성 분포가 데이터 분포 방향으로 이동한다.
출력: 수렴 시(q ≈ p) V → 0이 되어 안정적인 1-NFE 생성 샘플이 출력된다.

기존 방법과의 차별점: 기존 확산(diffusion) 및 flow matching 계열 모델이 다단계 역방향 샘플링을 필요로 하는 것과 달리, 본 방법은 반대칭 드리프팅 필드의 평형 조건(V=0 at q=p)을 활용해 **단일 함수 평가(1-NFE)**만으로 생성을 완료한다. 또한 CFG를 별도 추론 단계가 아닌 훈련 목적 함수 내에 통합함으로써 inference-time 재학습 없이 guidance를 제어할 수 있다.

발견 (Findings)

발견 1 — 반대칭 제약의 절대적 필요성: 반대칭 구성(V⁺ − V⁻) FID 8.46 (Table 1) 대비, attraction 비대칭 1.5× 시 41.05, 2.0× 시 86.16, attraction-only 시 177.14 (Table 1)로 상승 — 균형이 무너지면 생성 품질이 파국적으로 붕괴함.
발견 2 — 표본 수와 인코더 강도가 FID를 결정: 양성 배치를 Npos=1→64로 늘릴수록 FID 20.43→8.46 (Table 2); 특징인코더를 SimCLR→latent-MAE w640 SSL1280→cls 파인튜닝으로 강화할수록 11.05→4.28→3.36 (Table 3) — 고정 compute 내에서 표본·인코더 품질이 성능의 핵심 레버.
발견 3 — 1-NFE 단일 스텝으로 다단계 경쟁·상회: 잠재 공간에서 Drifting L/2 FID 1.54 IS 258.9 (NFE 1, Table 5); 픽셀 공간에서 Drifting L/16 FID 1.61 IS 307.5 (NFE 1, Table 6) — 단일 스텝 최강 베이스라인 iMeanFlow 1.72, AdvFlow 2.38 (Table 5), 다단계 JiT-G/16 1.82 (Table 6)를 단 1회 함수 평가로 능가.

Results

토이 2D 검증: Drifting 모델은 bimodal 타깃 분포에서 3가지 초기화 조건 모두에 걸쳐 안정적으로 수렴하며, 인력·척력 상호작용 덕분에 모드 붕괴에 강건함이 확인되었다. 학습 손실 ||V||²은 단조 감소하여 이론적 안정성을 시각적으로 뒷받침한다.

반대칭 ablation (Table 1): 반대칭 구성(V⁺ − V⁻)의 FID는 8.46이며, attraction 가중치를 1.5×·2.0×로 키우면 각각 41.05, 86.16으로 급등한다. repulsion만 불균형하게 높여도 46.28, 112.84에 달하며, attraction-only 설정에서는 177.14를 기록한다. 반대칭 균형이 무너지면 파국적 실패가 발생함을 보여 준다.

양/음성 표본 배분 ablation (Table 2): 배치 크기 B=4096, 100 epoch 조건에서 양성 샘플 수 Npos=1→64로 늘릴수록 FID 20.43→10.39→8.97→8.46으로 개선된다. 음성 샘플도 Nneg=8→64 방향으로 늘릴수록 11.82→10.16→9.32→8.46이 된다. 고정된 compute 예산 내에서 표본 수가 많을수록 품질이 향상됨을 보인다.

특징인코더 ablation (Table 3): 인코더를 SimCLR(FID 11.05) → MoCo-v2(8.41) → latent-MAE w256(8.46) → w512(6.49) → w640(6.30) → w640 SSL1280(4.28) → +cls finetune(3.36) 순으로 강화할수록 FID가 대폭 개선된다. 강한 self-supervised 인코더가 성능의 결정적 요인임을 확인한다.

학습 스케일 진행 (Table 4): 잠재 공간 B/2 모델 기준, 100 epoch 3.36 → 320 epoch 2.51 → 1280 epoch + 파인튜닝 1.75 → L/2 1280 epoch 1.54로 학습량·모델 크기에 따라 FID가 지속 개선된다.

잠재 공간 시스템 비교 (Table 5): 1-NFE 조건에서 Drifting B/2 (133M+49M) FID 1.75 / IS 263.2, Drifting L/2 (463M+49M) FID 1.54 / IS 258.9를 달성한다. 동일 1-NFE 베이스라인인 iCT(34.24), Shortcut(10.60), MeanFlow(3.43), AdvFlow(2.38), iMeanFlow(1.72)를 모두 능가한다. 다단계 모델 DiT-XL/2 2.27(250-step×2), SiT+REPA 1.42, RAE+DiT-DH 1.13(50-step×2)과 비교할 때, Drifting L/2는 단일 함수 평가 1회로 다단계 경쟁 모델들에 근접하거나 일부를 능가한다.

픽셀 공간 시스템 비교 (Table 6): 픽셀 공간에서 Drifting B/16 (134M, NFE 1) FID 1.76 / IS 299.7, Drifting L/16 (464M, NFE 1) FID 1.61 / IS 307.5를 기록한다. 단일 스텝 GAN 계열인 StyleGAN-XL(2.30), GigaGAN(3.45), BigGAN(6.95), EPG-L/16(8.82)을 모두 상회한다. 다단계 비교에서는 PixelDiT/16 1.61(200-step×2)과 동률, JiT-G/16 1.82를 능가한다.

로보틱 제어 전이 (Table 7): DiffusionPolicy(NFE 100) 대비 DriftingPolicy(NFE 1)는 6개 조작 태스크에서 대등하거나 능가한다. Can State 0.96→0.98, BlockPush P1 0.36→0.56, ToolHang State 0.30→0.38 등 주요 태스크에서 향상이 관찰된다.

Ablation / 부정 결과: PushT 및 Kitchen 일부 태스크에서 DriftingPolicy가 DiffusionPolicy 대비 소폭 하락한다 (Table 7) — 1-NFE 단순화의 trade-off. 또한 다단계 최고 성능 모델 SiT+REPA(1.42)·RAE+DiT-DH(1.13)는 여전히 잠재 단일 스텝 Drifting L/2(1.54)보다 낮은 FID로, 단일 스텝 대 다단계 품질 격차가 완전히 소멸되지는 않았다 (Table 5).

Discussion

본 연구는 학습 과정에서 데이터 분포의 드리프트를 직접 최소화함으로써, 추론 시 단 한 번의 네트워크 평가(1-NFE)만으로 고품질 샘플을 생성하는 새로운 패러다임을 제시한다. 이는 확산 모델이나 플로우 매칭 방식이 추론 단계에서 반복적인 계산을 요구하는 것과 대비되며, 계산 비용을 추론에서 학습으로 전환한다는 점에서 구조적으로 차별화된다. MMD와의 비교에서는 커널 함수와 양음성 표본 공유라는 공통점이 있으나, 본 방법은 학습 시 드리프트를 명시적으로 모델링한다는 점에서 구별된다. GAN과는 단일 패스(single-pass) 생성 방식을 공유하지만, 적대적 학습(adversarial training)에 의존하지 않아 훈련 안정성 측면에서 우위를 가진다. 나아가 이미지 생성에 국한되지 않고 로보틱스 도메인의 Drifting Policy로 적용 가능성을 실증함으로써, 방법론의 범용성을 보여준다.

저자가 인정한 한계

드리프트 소멸과 분포 일치 사이의 이론적 간극: “Although q=p ⟹ V=0, the converse does not generally hold.” — V=0이 관측되어도 생성 분포 q가 실데이터 분포 p와 일치함을 수학적으로 보장하지 않는다. 역방향 함의가 성립하지 않으므로, 수렴 기준으로서 드리프트 최소화의 이론적 완전성에 한계가 있다.
강한 특징 인코더 의존: 특징 공간(feature space) 없이 ImageNet 스케일의 픽셀 공간에서 직접 구현을 시도한 실험은 실패하였다. 방법론이 암묵적으로 강력한 사전학습 인코더를 전제하며, 이는 인코더 품질에 대한 성능 의존성을 낳는다.
설계 결정의 비최적 가능성: “Many design decisions may remain sub-optimal.” — 손실 함수 구성, 드리프트 측정 방식, 네트워크 아키텍처 등 다수의 설계 선택들이 충분히 탐색되지 않았을 수 있다.

향후 방향

인코더 비의존적 구현 탐색 (한계2 대응): 픽셀 공간 직접 적용을 가능하게 하는 경량/자기지도 특징 표현 탐색.
이론적 수렴 보장 강화 (한계1 대응): V=0과 분포 일치 간 등가 조건 확립 또는 충분조건이 되도록 추가 제약 도입.
설계 공간 체계적 탐색 (한계3 대응): 하이퍼파라미터·손실 가중치·드리프트 추정 방식의 ablation 기반 최적화.

이론적 의의

추론 복잡도의 학습 시점 이전: 기존 확산·플로우는 샘플 품질과 추론 속도의 트레이드오프를 추론 반복 횟수로 조절한다. 본 연구는 분포 드리프트 최소화를 학습 목표로 설정해 이 트레이드오프를 학습 시점으로 이전, 1-NFE 추론을 이론적으로 정당화한다.
드리프트 기반 분포 매칭의 새로운 정식화: MMD·GAN과 달리 학습 중 생성 분포의 시간적 진화 궤적을 명시적 감독 신호로 활용한다. 드리프트를 1차 분포 불일치 지표로 사용하는 새로운 귀납적 바이어스를 도입한다.
도메인 초월 적용 가능성의 실증: Drifting Policy로 로보틱스 정책 학습에 동일 원리가 적용됨을 보여, 드리프트 최소화가 순차 의사결정·연속 제어로 확장 가능한 일반 원리임을 제안한다.

Discussion Points

논쟁점: V=0이 분포 일치를 보장하지 않는다는 이론적 간극이 방법론의 근본 가정을 약화시키는가, 아니면 V≈0의 경험적 유효성이 이를 상쇄하는가. 적대적 학습 없이 GAN과 동등한 품질을 달성한다는 주장이 더 넓은 벤치마크에서 유지되는지 검증 필요.
검증 필요 가정: 강한 특징 인코더 필수 결론이 인코더 종류·크기·학습 방식이 달라져도 동일한 실패 패턴으로 재현되는지, Drifting Policy 성능이 이미지 생성과 동일 원리로 설명 가능한지 추가 분리 실험 필요.
후속 연구: V=0 역방향 비보장을 해소할 수렴 등가 조건의 이론적 규명; 사전학습 인코더 없이 픽셀 공간 드리프트 최소화를 수행하는 경량화 방법론; 비디오 생성·물리 시뮬레이션 등 순차 의사결정 과제로의 확장.

실험 결과 상세

Model/Method	Dataset	Metric	Score	vs. Baseline
Drifting B/2 (133M+49M, 1-NFE)	ImageNet 256x256 (Latent)	FID	1.75	-0.63 vs iMeanFlow-XL/2 (1.72, 유사 규모)
Drifting L/2 (463M+49M, 1-NFE)	ImageNet 256x256 (Latent)	FID	1.54	-0.18 vs iMeanFlow-XL/2 (1.72)
Drifting L/2 (463M+49M, 1-NFE)	ImageNet 256x256 (Latent)	IS	258.9	-23.1 vs AdvFlow-XL/2 IS(284.2)
Drifting B/2 (133M+49M, 1-NFE)	ImageNet 256x256 (Latent)	IS	263.2	-
iCT-XL/2 (1-NFE, baseline)	ImageNet 256x256 (Latent)	FID	34.24	ref
Shortcut-XL/2 (1-NFE, baseline)	ImageNet 256x256 (Latent)	FID	10.60	+8.85 vs Drifting B/2
MeanFlow-XL/2 (1-NFE, baseline)	ImageNet 256x256 (Latent)	FID	3.43	+1.68 vs Drifting B/2
AdvFlow-XL/2 (1-NFE, baseline)	ImageNet 256x256 (Latent)	FID	2.38	+0.63 vs Drifting B/2
iMeanFlow-XL/2 (1-NFE, baseline)	ImageNet 256x256 (Latent)	FID	1.72	+0.18 vs Drifting L/2
DiT-XL/2 (250-NFE, multi-step)	ImageNet 256x256 (Latent)	FID	2.27	+0.52 vs Drifting B/2
SiT-XL/2 (multi-step)	ImageNet 256x256 (Latent)	FID	2.06	+0.31 vs Drifting B/2
SiT+REPA (multi-step)	ImageNet 256x256 (Latent)	FID	1.42	-0.33 vs Drifting B/2
LightningDiT (multi-step)	ImageNet 256x256 (Latent)	FID	1.35	-0.40 vs Drifting B/2
RAE+DiT-DH (50-NFE, multi-step)	ImageNet 256x256 (Latent)	FID	1.13	-0.62 vs Drifting B/2
Drifting B/16 (134M, 1-NFE)	ImageNet 256x256 (Pixel)	FID	1.76	-0.54 vs StyleGAN-XL (2.30)
Drifting L/16 (464M, 1-NFE)	ImageNet 256x256 (Pixel)	FID	1.61	-0.69 vs StyleGAN-XL (2.30)
Drifting L/16 (464M, 1-NFE)	ImageNet 256x256 (Pixel)	IS	307.5	-
Drifting B/16 (134M, 1-NFE)	ImageNet 256x256 (Pixel)	IS	299.7	-
StyleGAN-XL (1-NFE GAN)	ImageNet 256x256 (Pixel)	FID	2.30	+0.54 vs Drifting B/16
GigaGAN (1-NFE GAN)	ImageNet 256x256 (Pixel)	FID	3.45	+1.69 vs Drifting B/16
BigGAN (1-NFE GAN)	ImageNet 256x256 (Pixel)	FID	6.95	+5.19 vs Drifting B/16
EPG-L/16 (diffusion, 1-NFE)	ImageNet 256x256 (Pixel)	FID	8.82	+7.06 vs Drifting B/16
PixelDiT/16 (200-NFE, multi-step)	ImageNet 256x256 (Pixel)	FID	1.61	-0.15 vs Drifting B/16
JiT-G/16 (100-NFE, multi-step)	ImageNet 256x256 (Pixel)	FID	1.82	+0.06 vs Drifting B/16
ADM-G (250-NFE, multi-step)	ImageNet 256x256 (Pixel)	FID	4.59	+2.83 vs Drifting B/16
Ablation: 반대칭(V⁺−V⁻)	ImageNet (Latent, ablation)	FID	8.46	ref (최종 설계)
Ablation: 1.5x 인력/척력	ImageNet (Latent, ablation)	FID	41.05/46.28	+32.59/+37.82 vs 반대칭
Ablation: 인력만 (척력 제거)	ImageNet (Latent, ablation)	FID	177.14	+168.68 vs 반대칭
Ablation: 인코더 SimCLR	ImageNet (Latent, ablation)	FID	11.05	+2.59 vs 반대칭
Ablation: latent-MAE w640	ImageNet (Latent, ablation)	FID	6.30	-2.16 vs w256(8.46)
Ablation: SSL1280	ImageNet (Latent, ablation)	FID	4.28	-4.18 vs w256
Ablation: SSL1280+cls ft	ImageNet (Latent, ablation)	FID	3.36	-5.10 vs w256
DiffusionPolicy (100-NFE, baseline)	Robotics 6-task	성공률	(6-task)	Drifting(1-NFE) 대등/능가
DriftingPolicy (1-NFE, 제안)	Robotics 6-task	성공률	(6-task)	+대등~능가 vs DiffusionPolicy

프레임워크 다이어그램

graph TB
    subgraph INPUT["입력"]
        EPS["노이즈 eps"]
    end

    subgraph FEATURE["특징 공간 (SSL 인코더)"]
        PHI["phi: latent-MAE<br/>(SimCLR / MoCo-v2 / MAE)"]
        YPOS["양성 샘플 y+<br/>(데이터 분포 p)"]
        YNEG["음성 샘플 y-<br/>(생성 분포 q)"]
    end

    subgraph DRIFT["드리프팅 필드 V"]
        ATTR["인력 커널<br/>K(phi(x), phi(y+))"]
        REPUL["척력 커널<br/>-K(phi(x), phi(y-))"]
        ANTISYM["반대칭 조건<br/>V_pq = -V_qp"]
        VEQ["V = 인력 - 척력<br/>(multi-scale)"]
    end

    subgraph TRAIN["학습 목적함수"]
        LOSS["손실: ||f - stopgrad(f+V)||^2"]
        CFG["내장 CFG (학습 중 통합)"]
    end

    subgraph GEN["생성기 (DiT)"]
        FTHETA["f_theta<br/>(B/2: 133M+49M<br/>L/2: 463M+49M)"]
    end

    subgraph OUTPUT["출력 (1-NFE)"]
        SAMPLE["생성 샘플<br/>(ImageNet 256x256)"]
        VAE["SD-VAE 디코더<br/>(잠재 -> 픽셀)"]
    end

    EPS --> FTHETA
    YPOS --> PHI
    YNEG --> PHI
    PHI --> ATTR
    PHI --> REPUL
    ATTR --> VEQ
    REPUL --> VEQ
    VEQ --> ANTISYM
    ANTISYM --> LOSS
    CFG --> LOSS
    LOSS --> FTHETA
    FTHETA --> SAMPLE
    SAMPLE --> VAE

재현성 및 신뢰도 평가

항목	등급	비고
코드 공개	❌	공식 GitHub 미공개. project page(lambertae.github.io)만 존재. 학습/추론 코드 없음.
데이터 공개	⚠️	ImageNet 사용(공개 데이터셋이나 별도 라이선스 필요). 전처리 세부 절차 미명시.
하이퍼파라미터	⚠️	모델 크기·NFE·FID는 보고됨. 커널 함수 구체 형태, 학습률, 배치 크기, 학습 스텝 수 등 핵심 하이퍼파라미터 상세 불충분.
실험 환경	❌	GPU 종류, 학습 시간, 프레임워크 버전 미명시. 재현 비용 추정 불가.
통계적 신뢰도	❌	단일 시드 결과 추정(표준편차/오차 범위 미보고).
종합 등급	C	코드 미공개·환경 미명시·통계 불충분. 수치는 풍부하나 독립 재현 사실상 불가.

주장별 신뢰도

#	주장	근거	신뢰도
1	Drifting(1-NFE)이 동일 1-NFE 중 SOTA FID (latent 1.54, pixel 1.61)	Table 5/6 직접 비교(iMeanFlow 1.72, AdvFlow 2.38, MeanFlow 3.43). 코드 미공개·단일 시드 한계.	🟡
2	1-NFE임에도 다수 multi-step(DiT 2.27, SiT 2.06)보다 우수	Table 5/6 대조. 단 RAE+DiT-DH(1.13)·SiT+REPA(1.42)·LightningDiT(1.35)에는 미달.	🟡
3	반대칭 필드가 핵심 — 제거 시 FID 177.14로 붕괴	Table 1 ablation(인력만 177.14 vs 반대칭 8.46). 단일 실험 조건.	🟢
4	강한 SSL 인코더일수록 FID 단조 개선	Table 3 일관된 경향(w256 8.46→w640 6.30→SSL1280 4.28→+cls ft 3.36).	🟢
5	DriftingPolicy(1-NFE)가 로보틱스 6-task에서 DiffusionPolicy(100-NFE) 대등/능가	Table 7 정성 비교. 구체 성공률 일부만 제시.	🔴
6	V=0이 분포 일치를 보장하지 않음 (이론적 한계)	Discussion에서 저자 직접 인정.	🟡

읽기 난이도: ⭐⭐⭐ — 필요 배경: 확산/흐름 기반 생성 모델, 커널 방법, 대조 학습(SSL: SimCLR/MoCo/MAE), DiT 아키텍처, FID/IS 평가 지표.

축	Drifting (Deng et al. 2026)	iMeanFlow (Geng 2025b) [sota]	MeanFlow (Geng 2025a) [base]	iCT (Song 2023) [base]	Shortcut (Frans 2024) [alt]	StyleGAN-XL [alt]	DiT-XL/2 (Peebles 2023) [base]
접근 패러다임	학습 중 pushforward 분포를 드리프팅; 반대칭 필드로 분포 진화	Mean-flow 개선; 평균 속도장 반복 정제	평균 속도장으로 1-step 매핑 근사	일관성 함수 직접 학습; PF-ODE 자기-일관성	임의 스텝 크기 입력 shortcut 함수	적대적 GAN; 판별자 손실	Diffusion Transformer; 반복 역확산
문제 정의	비적대·비증류 1-NFE 고품질 생성	1-NFE; mean-flow 수렴 안정화	1-NFE; ODE 평균 속도 근사	distillation 없는 1-step	단일 net 임의 NFE	단일 forward 고해상도 합성	다단계 역방향 복원
데이터/셋업	ImageNet256 잠재(SD-VAE)+픽셀	ImageNet256 잠재(SD-VAE)	ImageNet256 잠재(SD-VAE)	ImageNet256 픽셀	ImageNet256 픽셀	ImageNet256 픽셀	ImageNet256 잠재(VAE)
핵심 메트릭(FID)	잠재 1.54 / 픽셀 1.61 (1-NFE)	잠재 1.72 (1-NFE)	잠재 3.43 (1-NFE)	픽셀 34.24 (1-NFE)	픽셀 10.60 (1-NFE)	픽셀 2.30 (1-NFE)	잠재 2.27 (250×2 NFE)
확장성	DiT 백본; 잠재+픽셀 모두 지원	DiT; SD-VAE; 반복 정제	DiT; SD-VAE; 단일 패스	UNet; 픽셀 고해상도 시 비용↑	DiT; 임의 스텝 지원	다중 스케일 GAN; 판별자 메모리↑	Transformer 풀 확장; 스텝 트레이드오프
한계	픽셀<잠재 성능차; V=0 역방향 비보장; 인코더 의존	반복 정제 오버헤드	1-step 근사 오차로 FID 열세	1-step FID 크게 열세	1-NFE 품질 열세·안정화 난이	학습 불안정·재현성 낮음	추론 느림(250+ 스텝)
코드 공개	❌ (arXiv 단계)	불명	❌	✅	✅	✅	✅

원자적 인사이트 (Zettelkasten)

💡 비용을 추론에서 학습으로 이전하면 1-step 생성이 가능하다

출처: Generative Modeling via Drifting (Deng, Li, Li, Du, He, 2026) · 유형: 이론적

확산·플로우 계열이 느린 근본 원인은 “분포를 데이터로 변환하는 과정”을 추론 시점에 반복적으로 적분(다단계 NFE)하기 때문이다. 드리프팅 모델은 이 진화 과정 자체를 학습 루프 안으로 흡수해, 생성기가 진화의 최종 결과를 단 한 번의 호출(NFE=1)로 내놓도록 만든다. 비용의 위치를 바꾸는 것만으로 추론 비용과 품질의 트레이드오프 구조가 재편된다.

조건/맥락: 학습 시간/메모리 비용은 오히려 증가하며, 사전학습 SSL 특징 공간 위에서만 안정적으로 성립.
연결: Consistency Models — 다단계를 1-step으로 압축하나 증류 경로에 의존하는 점이 대조됨.
활용: 추론 지연이 치명적인 실시간·온디바이스·로보틱스 생성 과제의 설계 원칙으로 일반화 가능.

💡 반대칭 필드는 분포 정렬을 위한 손실의 부호를 자동으로 맞춘다

출처: Generative Modeling via Drifting (Deng, Li, Li, Du, He, 2026) · 유형: 방법론적

V_{p,q}=-V_{q,p}, 그리고 q=p일 때 V=0이라는 반대칭·평형 조건은, 데이터 표본에는 인력을 생성 표본에는 척력을 부여하는 부호 구조를 별도 적대자(discriminator) 없이 손실 ||V||² 안에 내장한다. 이 구조를 깨뜨리면 FID가 8.46에서 177.14로 붕괴해, 반대칭성이 학습 안정성의 인과적 전제임이 절제 실험(ablation)으로 드러난다.

조건/맥락: stop-gradient로 타깃 f+V를 고정해 자기참조 발산을 막는 설계가 동반되어야 함. V=0이 분포 일치의 충분조건은 아님.
연결: GAN — 인력/척력 동역학은 유사하나, 판별자를 학습하지 않아 적대적 불안정성을 회피.
활용: “평형에서 0이 되는 반대칭 신호”를 손실로 쓰는 패턴은 정책 모방 등 분포 매칭 문제로 이식 가능.

💡 픽셀 직접 학습 실패 — 강한 특징 공간이 드리프팅의 전제 조건

출처: Generative Modeling via Drifting (Deng, Li, Li, Du, He, 2026) · 유형: 실패-한계

저자들은 드리프팅을 픽셀 공간에서 직접 구현했을 때 실패했고, latent-MAE 같은 사전학습 SSL 특징 공간 위에서만 작동시켰다. 인코더가 강할수록 FID가 11.05에서 3.36으로 단조 개선되어, 커널 기반 인력/척력이 의미 있게 작동하려면 거리 구조가 잘 정의된 표현 공간이 필수임을 보여준다.

조건/맥락: 이 의존성은 외부 사전학습 인코더에 대한 성능 종속을 의미하며, 인코더 품질이 상한을 결정.
연결: Flow Matching — 다수 후속 연구가 latent 공간으로 이동한 흐름과 동일한 동기를 공유.
활용: 커널/거리 기반 생성 기법 설계 시 “표현 공간 선택”을 알고리즘만큼 중요한 하이퍼파라미터로 다뤄야 한다.

핵심 용어 정리

용어	정의
드리프팅 모델(Drifting Model)	생성기가 만든 분포가 데이터 분포 쪽으로 “흘러가도록(drift)” 학습 중에 진화시키는 생성 패러다임. 분포 진화를 추론이 아닌 학습으로 옮겨 단일 스텝 생성을 가능케 함.
pushforward 분포	노이즈 같은 단순 분포를 생성기 함수로 통과시켜 얻는, 생성기가 표현하는 출력 분포. 확산·플로우는 이를 추론 시 반복 변환하지만 드리프팅은 학습으로 진화시킴.
NFE (Number of Function Evaluations)	한 샘플을 생성하는 데 드는 신경망 순전파 호출 횟수. 확산은 수십~수백, 드리프팅은 1(1-NFE). 추론 속도의 직접 지표.
반대칭 드리프팅 필드(Antisymmetric Drifting Field)	V_{p,q}=-V_{q,p}를 만족하고 두 분포가 같을 때(q=p) 0이 되는 벡터장. 데이터엔 인력·생성엔 척력의 부호 구조를 손실에 내장.
stop-gradient (stopgrad)	손실 L=‖f-stopgrad(f+V)‖²에서 타깃 f+V를 상수로 고정해 역전파를 차단하는 기법. 자기참조로 인한 학습 발산을 막음.
latent-MAE / SSL 특징 공간	자기지도학습(Self-Supervised Learning)으로 사전학습된 인코더가 만든 표현 공간. 드리프팅의 커널 인력/척력이 작동하려면 필수이며, 픽셀 직접 학습은 실패.
FID (Fréchet Inception Distance)	생성 이미지와 실제 이미지의 특징 분포 거리. 낮을수록 품질이 좋음. ImageNet256에서 잠재 1.54/픽셀 1.61 기록.
CFG (Classifier-Free Guidance)	조건(클래스 라벨 등)에 대한 충실도를 높이는 가이던스 기법. 별도 후처리가 아니라 드리프팅 학습 과정에 내장됨.
DiT (Diffusion Transformer)	확산 모델의 백본을 트랜스포머로 구성한 구조. 본 연구의 생성기도 DiT 계열을 사용.

BibTeX

@article{deng2026,
  title={Generative Modeling via Drifting},
  author={Deng, Mingyang and Li, He and Li, Tianhong and Du, Yilun and He, Kaiming},
  journal={arXiv preprint arXiv:2602.04770},
  year={2026},
  eprint={2602.04770},
  archivePrefix={arXiv},
  url={https://arxiv.org/abs/2602.04770v2}
}

드리프팅을 통한 생성 모델링

드리프팅을 통한 생성 모델링

섹션별 요약

Abstract

왜 이 연구를 하는가?

Introduction

Methods

발견 (Findings)

Results

Discussion

이론적 의의

실험 결과 상세

프레임워크 다이어그램

재현성 및 신뢰도 평가

관련 연구 비교 매트릭스

원자적 인사이트 (Zettelkasten)

💡 비용을 추론에서 학습으로 이전하면 1-step 생성이 가능하다

💡 반대칭 필드는 분포 정렬을 위한 손실의 부호를 자동으로 맞춘다

💡 픽셀 직접 학습 실패 — 강한 특징 공간이 드리프팅의 전제 조건

핵심 용어 정리

관련 연구

태그

BibTeX