[ Computer Vision ] Collapse란?

 

Collapse란?

"Collapse"는 모델의 학습 과정에서 출력 값이 제한된 범위로 수렴하거나, 제한된 값만을 출력하는 현상을 의미합니다. 예를 들어, 모델이 다양한 입력에 대해 동일한 출력 값을 예측하거나, 출력 값이 특정 값으로 수렴하는 경우 "collapse"가 발생합니다.

 

2가지 예시가 존재합니다.

GAN)

Generator 와 Discirminator를 균형있게 학습시켜야 하는데, Discriminator가 학습속도가 너무 빨라지는 경우가 있다.

이 경우, GAN은 "진짜" 같은 이미지를 생성하는 목적은 잃어 버리고, discriminator가 헷갈릴만한 그림만 만드는 과정을 의미한다.

이를 Mode Collapse라고 한다.

 

Representation Learning)

Contrastive Learning에서 주로 나타나는데, 같은 이미지(Positive pair)끼리는 embedding vector를 가깝게 만들고, 다른 이미지(negative sample)끼리는 멀어지도록 metric learning을 하는 것을 의미합니다. 여기서 negative pair를 사용하는 이유는, positive pair만을 사용하는 경우, Collapsing이 발생하기 때문이다.