[Self Supervised Learning] Contrastive Learning이란?

Contrastive Learning이란?

        Contrastive Learning이란? 입력 샘플 간의 비교를 통하여, 학습을 하는 것으로 볼 수 있다.

        Contrastive Representation Learning이라고도 부르며,

        Self Supervised learning에 사용되는 접근법 중 하나라고 볼 수 있습니다.

        

        그러므로, 데이터 구축 비용이 들지 않음과 동시에, 학습 과정에 있어서 용이하다는 이점이 존재합니다. 이러한 데이터 구축 비용 이외          에도 label이 없기 때문에, 보다 일반적인 feature representation 과 새로운 class가 들어와도 대응이 가능하다는 장점이
        있습니다.

Representation Learning

        Representation Learning에는 2가지 측면에서 장점 및 단점이 존재합니다.

        생성모델로 데이터의 표현을 학습하는 경우, 비지도 학습이기 때문에 데이터 구축 비용이 낮다는 장점이 있습니다.

        저차원 표현을 학습하는데에 있어 Objective function이 보다 일반적이라는 장점이 있습니다.

 

        판별모델의 경우, 게산 비용이 적고, 비교적 학습이 용이하다는 장점이 있습니다. 대부분 라벨링된 데이터에 의존하기 때문에 데이터 구

        축 비용이 크다는 장점이 있습니다.

        비용이라 함은 단순히 금전적 비용을 떠나 시간적 비용 민감적 정보 유출,

        데이터 라벨링 작업자의 편견 개입 등 보다 포괄적인 의미이다.

 

        Contrastive Learning은 Input Sample간의 비교를 통해 표현을 학습하게 됩니다. 그러므로 목적은 매우 단순합니다.

        학습된 표현 공간 상에서 비슷한 데이터는 가깝게, 다른 데이터는 멀게 존재하도록 표현 공간을 학습하는 것이다.

        유사도를 라벨로 판별 모델이 학습합니다. 유사성의 여부는 데이터 자체로부터 정의될 수 있습니다.

        Contrastive Learning의 경우, 다른 task로부터 fine-tuning을 수행할 때에 모델 구조 수정 없이 이루어질 수 있다는 점에서

        훨씬 간편합니다. Contrastive Learning은 Representaion을 학습에 있어서 간단, 명료합니다.