[ 논문 리뷰 ] Wasserstein Auto-Encoders

Abstract

Wasserstein Auto-Encoder (WAE)는 model distribution과 target distribution 사이의 거리를 Wasserstein form으로 최소화하여, penalized합니다. Encoding된 training distribution과 이전와 잘 match되도록 regularization합니다. 기존의 다른 방법론보다, FID가 상당히 높음을 설명합니다.

우선 FID(Frechet Inception Distance)란?

   실제 이미지와 생성된 이미지에 대해 통계 측면에서 두 그룹이 얼마나 유사한지, 벡터 사이의 거리를 계산하는 메트릭이다.

 

본 논문에서는, Optimal transport(OT) 관점에서, generative model을 분석하여, Wassertein AutoEncoder (WAE)를 제안합니다.

 

저자의 주된 기여로는,

   1. VAE와 유사하게 WAE는 2가지로 구성되어 있습니다.                (creconstructure cost, distance regularizer)

   2. MNIST와 CelebA에 대해서 실험을 진행하였을 때, empirical evaluation을 가지고 있음을 보여줍니다.

   3. 첫번째는 GAN기반, 두 번째는 maxmimum mean discrepancy (MMD) 기반의 regularizer이다.

   4. WAE는 probabilistic encoder의 최적화 문제와 동일하다는 것을 증명합니다.

Method

Encoder는 2가지 목표를 달성하고자 하는데,
    1. 이전의 probability distribution과 training examples간의 관계를 최소화하고자 한다.
    2. Training example로, 복원할 수 있을 정도로 충분한 informative한 latent code Z를 학습힙니다.

 VAE는 P로부터 얻은 모든 샘플 x에 대해서 P로 변환한다. 즉, 각각의 삼각형으로부터 생성된 붉은 원이 개별적으로 P_z의 하얀 원을 갖도록 합니다. 이후, 전체의 확률이 증가하게 되고, 이로 인해, 다시 생성하는 경우, 잘못된 reconstructure이 발생될 우려가 있음을 언급합니다. 하지만, WAE는 개별이 아닌 Qz가 Pz와 매칭하도록 하여, latent code는 reconstructure도 떨어뜨려 놓습니다.

Conclusion

본 논문에서는, optimal transposrt cost를 활용하는, Wasserstein auto encoders를 소개합니다.
다른 확률 모델링 방법과 비교하여, 논의를 시작합니다.
기존 VAE와 비교하였을 때, 의미있는 loss metric을 보였으며, 최적화 프로세스의 향상된 안정성을 보여줍니다.

  Reference

Wasserstein Auto-Encoders

 

[논문 정리] Wasserstein Auto-Encoders

 

Mathematics | Wasserstein GAN and Kantorovich-Rubinstein Theorem 우리말 설명

 

 

Wasserstein GAN 수학 이해하기 I