[3D Diffusion / GenAI] Score-based Generative Model

Diffusion 

   - Forward Process: 데이터 분포에 노이즈를 점진적으로 씌워 복잡한 데이터 분포를 단순한 데이터 분포로 표현하는 것

                                        --> 이렇게 하면, Gaussians으로부터 이미지라는 경로를 학습할 수 있음

                                        --> 만약 한번에 Input으로 노이즈를 씌우게 된다면, 노이즈를 제거하는데 어려움
   - Reverse Process: 모델이 노이즈를 예측해서, 제거하는 과정, Denoising 과정 (샘플을 복원하는 과정)

Score-based GenAI

   - 위의 식이 미분방정식의 형태를 띄고, 변화가 있는 가우시안의 형태를 포함하고 있어
      Stochastic Differential Equation (SDE) <-- Browian Motion 문제를 풀기위해 만들어진 수식 (분자의 운동 해결 )

 

   - 위의 식이 미분방정식의 형태를 띄고, 변화가 있는 가우시안의 형태를 포함하고 있어
      Stochastic Differential Equation (SDE) <-- Browian Motion 문제를 풀기위해 만들어진 수식 (분자의 운동 해결 )

   - 그러한 미분 방정식을 해결하기 위해, Reverse Process를 정의하였는데, 거기에서 Score를 정의해야 해서

      Score를 계산 혹은 찾는 과정이 노이즈를 예측하는 과정이였던 거임. 

      그리고 이러한 Score를 discrete하게 파악하는 것이 아닌, Continuous 하게 파악하고자 ODE 방식을 활용하기도 함.

 

정리하자면..

1. 기존 DIffusion 식을 풀어 쓰면 미분 방정식으로 쓸 수 있고,

2. 그러한 미분 방정식을 풀기 위해, Score function이 필요하게 된거고,

3. Score Function을 직접 Modeling을 하여 예측하다 보니, 노이즈를 찾는 과정과 동일한 것 즉, DDPM = SDE.

4. 즉, SDE가 Diffusion과 Score-based를 포함하고 있음. (같다고 볼 수 있지만, 표현 방식이 단순히 다른 것 )