[3D Diffusion / GenAI] Variational Preserving and Exploding

Variance Preserving (VP)

   - 분산이 보존되는 형태의 SDE (DDPM Forward는 원래의 데이터들을 discrete 하게 하는 과정을 의미함.)

Variance Exploding (VE)

   - 분산이 폭발되는 형태의 SDE

* 둘다 Forward Process에서 Noisy Gaussian으로 가는 과정이라고 볼 수 있는데, 이를 해석하는 방법이 서로 다름

즉, Diffusion 모델을 일반화를 한다면, 다음과 같이 Variational Diffusion Model을 정의할 수 있다.

Score Matching with Langevin Dynamics (SMLD) 와 Denoising Diffusion Probabilistic Model (DDPM)

  - 각각 변환이 서로, 가능하고, SMLD 는 주로 VE 기반, DDPM 은 VP 기반을 따릅니다.

 

* 이외에도 다양한 표현 방법들이 존재합니다