[ 논문 리뷰 ] Revisiting Self-Supervised Visual Representation Learning

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다.
(+ Star 및 Follow는 사랑입니다..!)

https://github.com/kalelpark/Awesome-ComputerVision

GitHub - kalelpark/Awesome-ComputerVision: Awesome-ComputerVision

Abstract

        Self Supervised Learning에서, 수 많은 측면에서, 연구를 진행하였지만, (CNN)과 같은 다른 중요한 측면에서,
        관심을 받지 못하였다. 그러므로, 우리는 이전에 제시된 Self-supervised model을 재검토하였습니다.

 

        우리는 Self-Supervised visual representation의 일반적인 것들에 대해서 도전하고,
        CNN의 일반적인 형태가 항상 Self-Supervised Learning으로 변환되지 않는다는 것을 관찰하였습니다.

 

        본 연구를 통하여, 이전에 제안된 기술의 성능을 크게 향상시키고, 이전에 발표된 최첨단 결과를 큰 차이를 능가하였다.

Introduction

        이전의 연구에서는 ImageNet1K에 맞도록, System이 구축되었지만, 지금의 연구에서는 결과적으로 대규모 연구 노력은 
        많은 시간이 소모되지 않고, 활용이 가능한 새로운 System을 발견하는데, 초점을 두고 있습니다.

        

        본 논문에서는, Unsupervised Learning에서의 유망한 Self-Supervised Visual Representation에 초점을 둡니다.
        Self-Supervised Learning 기술은 일반적인 ComputerVision에서
        Unsupervised representation에서 SOTA를 달성하였습니다.

 

        Self-Supervised Learning은 high-level image understanding을 통하여, 문제를 유용하게 해결합니다.
        본 논문에서는 이전의 제안된 중요한 부분들을 다시 파악합니다. 그리고, 기본모델로써, 다양한 모델을 사용함으로써,
        대규모 연구를 진행합니다.

Summarized

        - 표준 아키첵쳐에 설계 방안은 fully-supervised에서 self-supervised로 필수적으로 전환하지 않습니다.
           완전히 Labeling된 설정에서, 무시할 정도로 영향을 미치는 Architecture의 선택은 
           Self-SupervisedLearning에서 상당한 영향을 미칩니다.

 

        - 표준 아키첵쳐에 설계 방안은 fully-supervised에서 self-supervised로 필수적으로 전환하지 않습니다.
           완전히 Labeling된 설정에서, 무시할 정도로 영향을 미치는 Architecture의 선택은 
           Self-SupervisedLearning에서 상당한 영향을 미칩니다.

        

        - 이전의 연구와 비교하였을 때, Skip Connection은 Model의 성능을 저하시키지 않습니다.

        - CNN Model내 filter의 개수가 증가함으로써, 결국 representation의 양은 증가합니다. 그리고,
           visual representation에서 상당하게 유용한 부분을 일관되게 학습합니다.

 

        - Self-Supervised Learning은 Learning_rate에 상당히 민감합니다. 뿐만 아니라, 
           그러므로, learning rate을 줄임으로써, 값이 수렴하는데 상당히 오래걸립니다.

Related Work

        - 본 논문에서는, Image database로부터, Self Supervised techniques를 학습하느데 초점을 둡니다.
           Self-Supervised Learning기법은 high-level image를 학습하는데, 상당한 영향을 받습니다.

Experiments

    - 본 논문에서는 여러가지 양상들을 비교하는데, Rotation, Exempler, Patch등을 비교시,
       Augmentation이 상당한 영향을 끼친다는 것을 알 수 있습니다.

    - Rotation 기법이 상당한 성능 향상을 미친다는 것을 알 수 있습니다.

Conclusion

        - 본 연구에서는 이전에 파악하지 않는 방법으로, Self-Supervised Visual Representation을 연구하였습니다.

           우리는 중요한 통찰력을 발견하였습니다.

           

           본 연구에서 발견한 것

              - Fully supervised setting으로부터 Architecture design을 학습하는 것은
                 Self-Supervised Learning으로 변환되는 것이 아님을 발견합니다.

 

              - 최종적인 예측을 하는 과정에서 상당한 이점이 된다는 것을 발견하였습니다.

                CNN의 확장은 Self-Supervised Learning에 상당한 이점에 되는 것을 발견하였습니다.

                SGD로 학습시키는 것은 상당한 오랜시간이 걸리는 것을 발견하였습니다.