[논문 리뷰] Mixture Granularity Specific Expert [2019]

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다.
(+ Star 및 Follow는 사랑입니다..!)

https://github.com/kalelpark/Mixture-of-Granularity-Specific-Experts-for-Fine-Grained-Categorization

GitHub - kalelpark/Mixture-of-Granularity-Specific-Experts-for-Fine-Grained-Categorization: Learning a Mixture of Granularity-Sp

 

Abstract

fine-grained recognition에서는 제한된 데이터로 인하여, 데이터를 활용하여, 다양한 학습전략을 활용하는 것이 힘듭니다.

이러한 문제를 다루기 위해, 점진적인 강화학습 방식과 제한된 Kullback Leibler를 결합하여 활용합니다.

 

이러한 전략은 이전 전문가들의 사전 지식으로 새로운 dataset을 생성하여, 새로운 전문가를 학습하는 방식으로 진행됩니다. 이러한 제약은 다양한 예측 분포를 생성하는 것이 가능합니다.

Introduction

연구에서는 fine-grained problem을 subspace problem으로 나누는 경향이 있습니다.

이러한 모델을 Mixture of Neural Network experts(ME)라고 부릅니다.

이전의 연구에서는 Unique Subset을 찾아, 다양한 전문가가 학습을 진행해왔다. 하지만, 이러한 방식은 fine-grained는 데이터가 부족하기 때문에, task에 적합하지 않다.

 

이러한 문제를 해결하기 위해, Experts사이에 다양성을 encourage하기 위해서, Kullback-Leibler(KL) divergence constraint를 함께 사용함으로써, 점진적인 Expert들이 학습하는 전략을 활용합니다.

ConvNet 모델로부터, attention Map을 선택하여, 어떻게 Image의 특정한 지역과 target task사이에서 관계가 있는지 설명합니다.

 

Attention Map은 Semantice cues가 될 수 있으며, Visual interpretation, weakly supervised Object Detection으로도 활용됩니다.

또한, 최대치를 제외한 예측 분포에 유사성에 불이익을 주는 벌칙 용어를 활용하기도 합니다. 

KL-분산을 최대화하는 두 분포는 2개의 모델이 같은 데이터의 표현을 다르게 이해한다고 볼 수 있습니다.

 

점진적인 강화된 학습 전략과 패널티를 활용함으로써, 우리의 제안된 방법은 제한된 데이터로부터, 다양한 전문가를 형성하는 것이 가능합니다.

이러한 방식은 fine-grained classification tasks에서 좋은 성능을 산출합니다.

Contributes

• Experts사이에 다양성을 encourage하기 위해서, Kullback-Leibler(KL) divergence constraint를 함께 사용함으로써, 점진적인 Expert들이 학습하는 전략을 활용
• 모델의 다양성을 촉진하는데 효율적인 제약 방법을 활용합니다.
• 이러한 모델을 Mixture of Granularity-Convolutional Neural Net(MGE-CNN) 이라고 합니다.

 

Approach

본 연구에서의 접근법은 several Experts와 Network를 모으는 것으로 구성되어 있다.

 

이러한 Expert는 gradually-enhanced learning 전략과 penalizing term에 기반한 KL-divergence를 결합함으로써,

여러 Experts는 다양하게 학습하는 것이 가능합니다.

Design our experts following two principles

1. 좋은 성능을 내기 위하여, large-part feature와 small-part feature를 동시에 추출합니다. 그리고, 각각의 experts는 이러한 features들을 결합하여, 결정을 내립니다.
2. One Expert는 이전의 다른 expert에 의하여, 생성된 지식을 가지고, 생성됩니다.

Progressive enhanced way으로 Expert들은 학습을 진행하고, 그리고, 이전의 expert로부터 발생한 지식을 포함한 데이터를 이후의 Expert가 활용하여, 학습을 진행합니다

GAP(Global Average Pooling) 와 GMP(Global Max Pooling)을 활용함으로써, 같은 이미지로부터, 다른 feature를 학습하는 것이 가능합니다.
two normalized feature를 concatentating함으로써, 통합된 feature를 얻는 것이 가능합니다.

 

large region 과 small region과 concatentate 된 feature로부터, CrossEntropy를 적용하여, Loss를 얻습니다.

Latter Experts는 이전의 Expert로부터 얻은 지식으로부터, 학습을 진행합니다. 

이전의 Knowledge는 Gradient Based Attention을 통하여, 후자의 Expert로 전해집니다.

 

Specific attention Map을 얻기 위해서, class c를 위한 gradient를 계산합니다. 

이후 gradient는 neuron importance를 얻기 위해, global average-pooled에 다시 전달됩니다.

 

제한된 Data로 인하여, 각각의 Expert는 one-hot에 가까운 벡터를 생성하는 매우 자신 있는 예측을 생성하는 경향이 있습니다.

 

하지만, 이러한 결과는 데이터의 고유 구조에 대한 모형의 설명을 반영하지 않습니다. 그러므로, Maximum value를 제거하고, normalize를 적용하여,
새로운 분포를 얻었습니다. 이러한 분포는 데이터에 대한 Model의 설명을 더 잘 반영합니다.

Experiments

본 논문에서는 Input Size를 448 * 448을 활용합니다.
Category Labels을 제외하고, bounding Box 혹은 part annotations를 사용하지 않습니다. 512512로 이미지를 resize 한후,
448*448로 crop 및 horizontal flip을 활용합니다. 
Attention Map을 활용한 후, UpSampling을 통하여, 448 * 448 이미지를 생성합니다. 

Experiments Details

Conclusion

본 연구에서는 전문가의 혼합을 기반으로, 이전 전문가의 사전 정보를 나중에 전문가가 이전의 정보를 세부적으로 분할하면서 학습을 진행합니다. 
Mixture Granularity-Specific Expert(MGE-CNN)는 large and small part feature를 통합하여, 학습하는 방식을 활용합니다.
이러한 방법은 bounding box 및 annotation이 필요하지 않습니다.

 

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다.
(+ Star 및 Follow는 사랑입니다..!)

https://github.com/kalelpark/AI_PAPER

GitHub - kalelpark/AI_PAPER: Machine Learning & Deep Learning AI PAPER