KalelPark's LAB

Score Distillation SamplingScore Distillation Sampling(SDS)은 사전 학습된 diffusion 모델을 학습 대상이 아닌 고정된 target(teacher) 으로 두고, 이 모델이 제공하는 score(이미지가 텍스트 조건에 맞는 방향 정보) 만을 활용해 새로운 모델을 학습하는 방법이다. SDS에서는 정답 이미지나 실제 데이터셋, 혹은 GAN에서 사용하는 판별기와 같은 명시적인 감독 신호가 전혀 필요하지 않으며, 오직 현재 모델이 생성한 결과가 diffusion 모델이 학습한 데이터 분포와 텍스트 조건에 얼마나 부합하는지를 나타내는 gradient 방향만을 사용한다. 구체적으로는, 학습 중인 모델이 생성한 이미지에 noise를 추가한 뒤 이를 target diff..

SoftMax Attnetion - 보통 Attention이라 부름. ( 둘이 헷갈리면 안됨 ) - 시퀀스 길이 N에 대해서, 과거 정보를 압축하지 않고 전부 저장 - Query마다 선택적으로 접근하여 해결Linear Attnetion - Attention을 선형 시간으로 근사/변형한 것 - 빠르나, Long Sequence에 약함코드는 다음과 같다import torchimport torch.nn.functional as Fdef softmax_attention(Q, K, V): """ Q: (B, N, D) K: (B, N, D) V: (B, N, Dv) """ D = Q.shape[-1] scores = torch.matmul(..

Multi Head Attention (MHA) - KV cache을 없다면, - MHA 방법은, 주어진 token을 모두 넣어, KVQ 모두를 구합니다. 그러한 경우, Query 하고 KEY를 내적하는 과정에서, Query의 길이와 Key 전체 길이 (Query Key 동일한 길이를 쓰므로) 그리고 D 의 차원이므로 O(L^2D)라는 시간복잡도가 된다. - Deconder Only 방식은, 이러한 과정을 계속해서 계산을 수행함.KV-Cache - Cache 계산 - 먼저 Input Sequence 에 대해서, QKV를 계산한 이후, KV를 저장해둡니다. 이후, 다음 토큰을 계산합니다. - 중복 계산을 피함 ..

Absolute Trajectory Error (ATE) - 추정된 카메라 경로와 실제 카메라 경로간의 절대적인 차이를 나타내는 지표Relative Pose Error [Translation](RPE - Trans) - 연속된 두 프레임 사이의 카메라 이동 추정 오차를 의미함Relative Pose Error [Rotation](RPE - Rot) - 연속된 두 프레임 사이의 카메라 회전 추정 오차를 의미함Absolute Relative Error (Abs Rel) + Delta (픽셀 비율) - 예측된 깊이와 실제 깊이 사이의 절대 상대 오차 Accuracy (Acc) - Reconstruction Point Cloud가 GT 표면 ..

Flow Matching- 기존 Source 분포로부터 Target 분포로 데이터 분포를 학습하는 과정인 모델을 따르는 CNF (Continous Normalizing Flow) 모델을 개선한 것 Flow Model - Source 분포를 Target 분포로 변환을 해줄 수 있는 모델을 의미함. ( diffeomorphism, 미분 가능, 역함수 존재 ) - 하지만, Continous time 상황에서는 flow를 직접적으로 학습하기 어려움. - 이러한 문제를 해결하기 위해, velocity field 를 정의함. ( t에 따른 변화 ) 그러므로, velocity field를 정의하고, ODE를 통하여 Flow model을 ..

Reverse Process for DDIM and SDE* DDIM과 SDE의 Reverse Process는 다음과 같이 정의 가능하다. 기존 Diffusion의 문제는 Sampling이 오래 걸림, 그러한 이유는 - 매 Step 마다 Noise Sampling을 해야 하기 때문임. - Trajectory경로가 매우 달라져, 변환이 종종 일어나고, 랜덤성이 큼* 이러한 문제를 해결하고자, ODE 를 활용하고자 함. - Stochastic한 문제가 아닌 deterministic 하게 해결을 하고자 함

Variance Preserving (VP) - 분산이 보존되는 형태의 SDE (DDPM Forward는 원래의 데이터들을 discrete 하게 하는 과정을 의미함.)Variance Exploding (VE) - 분산이 폭발되는 형태의 SDE* 둘다 Forward Process에서 Noisy Gaussian으로 가는 과정이라고 볼 수 있는데, 이를 해석하는 방법이 서로 다름즉, Diffusion 모델을 일반화를 한다면, 다음과 같이 Variational Diffusion Model을 정의할 수 있다.Score Matching with Langevin Dynamics (SMLD) 와 Denoising Diffusion Probabilistic Model (DDPM) - 각각 변환이 서로, 가능하고..

ODE (Ordinary Differential Equation) - 시간에 따른 변화나 어떤 양의 변화를 수학적으로 나타내는 방정식을 의미함SDE (Stochastic Differential Equation) - 시간에 따른 변화의 대한 것에 무작위성을 추가한것FPE (Fokker-Planch Equation) - 이러한, SDE 의 형태가 여러개가 연속적으로 움직이는 것Langevin Dynamics Equations - 입자가 어떻게 변하는지 SDE를 물리적 관점에서 입자의 변화를 살펴 본 것Fowrad 와 Reverse 관계 표현 Anderson에 의해서, 그렇게 되면 score function만 잘 구하면, Reverse 해결!