[ Computer Vision ] Batchsize에 따른 loss의 변화율

BatchSize에 따른 loss의 변화율

         - batch size의 크기에 따라 학습되는 과정은 달라질 수 있습니다.

            batch size가 작으면, 순간 loss가 커져서 convex hole에 위치한 곳에서 급격하게 자리를 변경할 우려가 있습니다.

 

         - batchsize가 크면, 여러 데이터를 평균으로 loss가 구해지기 때문에 훨씬 robustness 해집니다.

            SSL 시, Batchsize가 커야하는 이유가 아래와 동일합니다. 여러 데이터를 평균으로

            backpropagation을 해야 성능이 올라갑니다.

또한 우측의 표를 보면, LR에 작으면 Batchsize가 작을수록 높은 성능이 나오지만, LR이 큰 경우, Batchsize가 클수록 성능이 높이 나오는 것을 알 수 있습니다.

 

하지만, Batchsize가 적다면, 학습하는데 상당히 오래걸린다는 우려가 있습니다.

 

 

 

 

 

 

 

 

 

 

 

 

Medical 관련 논문이지만,  Batchsize에 따른 성능이 어떻게 변하는지 참고할만합니다.

https://www.sciencedirect.com/science/article/pii/S2405959519303455#fig2

The effect of batch size on the generalizability of the convolutional neural networks on a histopathology dataset