[ Computer Vision ] Drop과 관련된 여러 기법들

Overfitting & Generalization

 

       딥러닝 모델은 데이터가 많을수록 높은 성능을 나타냅니다. 그러나, 데이터가 많다고 해서 "Overfitting"으로 인하여
       모델 성능이 항상 좋은 것은 아닙니다.

             - 모델의 복잡도(power)가 높으면 학습에서 데이터의 경향성을 따라가는 경향이 있습니다.

             - "Overfitting"

Dropout

         -  대표적인 generalization 기법입니다.    (https://jmlr.org/papers/v15/srivastava14a.html) 

         -  학습 과정에서 특정 node들을 p의 확률로 사용하겠다는 의미이다.

         - Dropout을 적용하면, 적용하지 않은 것과 비교하여 각 node들의 output이 증가함

Dropconnect

         - Dropout의 조금 일반화된 version입니다 (http://proceedings.mlr.press/v28/wan13.pdf)

         - Dropout의 일반화된 version (Node가 아닌 Weight을 제거하는 방법)

Droppath

         - FractalNet에서 제안 (https://arxiv.org/pdf/1605.07648.pdf)

         - FractalNet의 한 path 내의 weight을 모두 제거하는 방식입니다.

DropBlock

         - 랜덤하게 몇개의 activation을 선택해서 지우는 방법 (https://arxiv.org/abs/1810.12890)