[ 논문 리뷰 ] A Simple Framework for Contrastive Learning of Visual Representations

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다.
(+ Star 및 Follow는 사랑입니다..!)

https://github.com/kalelpark/Awesome-ComputerVision

GitHub - kalelpark/Awesome-ComputerVision: Awesome-ComputerVision

Abstract

     본 논문은, Visual representation을 위한 Contrastive learning을 위한, Simple Framework이다.

     Contrastive Self-Supervised Learning Algorithm은 특정한 Architecture 또는 Memory bank가 필요하지 않습니다.

 

     본 연구에서는 3가지를 설명합니다.

         1. 영향력있는 예측을 위해서, data augmentation이 상당한 역할을 합니다.

 

         2. representation사이에서 비선형적 transformation을 학습하는 것이 가능합니다.
             그리고, contrastive loss는 Representation을 학습하는데, 상당한 개선을 보여줍니다.

 

         3. Contrastive Learning은 Large BatchSize와 상당한 training step에서 이득이 됩니다.

Introduction

    본 논문에서는 SimCLR이라고 불리는 simple framework for cotrastive learning of visual representation을 설명합니다.
    SimCLR은 특정한 Architecture가 필요하지 않을 뿐만 아니라, 따로 Memory를 저장할 공간 또한 필요 없습니다.

    연구 내용

        - 다양한 Data Augmentation을 적용하는 것은 상당히 중요합니다.

           또한, Unsupervised Contrastive Learning은 Supervised Learning보다, Data Augmentation으로부터,
           상당한 혜택을 봅니다.

 

        - Contrastive loss와 representation 사이에서, nonlinear transformation을 도입하는 것은 
           learned representation의 Quality를 개선할 수 있습니다.

 

        - Contrastive cross entropy loss로부터 Represnetation을 학습하는 것은 normalize embeeding에 도움이 됩니다.
           이러한 접근법은 temperature parameter를 조정하는 것이 가능합니다.

 

        - Contrastive learning은 larger batch size와 longer training으로부터, 많은 도움이 됩니다.

Method

        - SimCLR은 latent space 내에서 contrastive loss를 통하여, 같은 데이터에 다른 augmentation을 적용함으로써,
           representation을 최대로 끌어올릴 수 있습니다.

 

        - Training동안에, 모든 device내에서 BN mean과 variance를 aggregation함으로써, 문제를 해결합니다.

Data Augmentation for Contrastive Representation Learning

        - Model을 학습 시, 활용한 Data Augmentation이다. Train, test 각각 다르다.

Loss

cos_sim = F.cosine_similarity(feats[:,None,:], feats[None,:,:], dim=-1)
cos_sim = cos_sim / self.hparams.temperature

nll = -cos_sim[pos_mask] + torch.logsumexp(cos_sim, dim=-1)
nll = nll.mean()

return nll

Experiments

Conclusion

        - 본 연구에서, 우리는 Contrastive Visual Representation Learning을 위한, Simple Framework를 제안합니다.

           본 연구를 다른 연구에 덧 붙임으로써, self-supervised, semi-supervised, transfer learning보다,
           상당한 성능을 개선하였습니다.

 

참고 논문

https://arxiv.org/abs/2002.05709

A Simple Framework for Contrastive Learning of Visual Representations