[ 논문 리뷰 ] Prototypical Networks for Few-shot Learning

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다.
(+ Star 및 Follow는 사랑입니다..!)

https://github.com/kalelpark/Awesome-ComputerVision

GitHub - kalelpark/Awesome-ComputerVision: Awesome-ComputerVision

Abstract

본 논문에서는 Prototypical Network를 제안합니다.

Prototypical Network는 각각의 class의 prototype representations을 위한 거리를 계산함으로써, classification을 수행할 수 있는 metric space를 학습합니다.

 

제한된 데이터에서, 유익한 성능을 나타내기 위해 simpler inductive bias를 도입합니다.
본 논문에서는 분석을 보여준다. 몇몇 단순한 design decision이 meta-learning 및 관련된 복잡한 Architecture에 비해 상당한 개선을 가져옴을 보여줍니다.

Introduction

본 논문에서는 과적합의 핵심 문제를 다룸으로써, few-shot Learning의 문제를 해결합니다. 몇몇 데이터가 제한되기 때문에,
우리는 Classifier는 Simple Inductive Bias를 가져아한다는 것을 추정합니다.

 

Prototype Networks는 각각의 class에 대한 single prototype representation 주위로 Clustering되는 Embedding이 존재한다는 Idea에서 착안합니다. Neural Network를 사용하여, Embedding space내에 Input의 non-linear mapping을 학습하고
class의 prototype을 embedding space내에 support set의 평균으로 사용합니다.

 

가장 가까운 클래스의 prototype을 단순히 찾기만 한다면, Embeeding Query 내에 Point를 지정하는 분류가 잘 수행됩니다.
그러므로, 우리는 각 class의 prototype을 위해, 메타데이터를 공유 공간에 내장하는 것을 학습합니다.

 

본 논문에서는 few-shot과 zero-shot과 같은 동일한 prototypical Network를 제안합니다.
우리는 one-shot setting내에 network를 Matching하기 위해 Connections을 그립니다. 그리고 model내에서 사용되는 거리를 비교하는 방식을 분석합니다.

또한, 경험적으로 거리 선택이 매우 중요하다는 것을 발견하였다. Euclidean distance는 일반적으로 사용되는 Cosien Similarity를 크게 능가합니다.

Prototypical Networks

Models

ProtoNet은 M-Dimension Representation과 prototype을 계산하고, 각각의 class는 Embedding function을 거칩니다.
또한, 각각의 Prototype은 각 class에 속한 Mean Vector of the Embedded supports Point이다.

Distance를 고려하여, Prototypical Network는 Embedding Space내 Prototypes의 거리에 대한 소프트맥스를 기반으로 하는 Query Point x에 대해 class의 분포를 생성한다.

Prototypical Networks as Mixture Density Estimation

Bregman Divergences로 알려져 있는 distance function에 대해서, protonet algorithm은 Support set에 대해 Performing Mixture Density Estimation을 적용합니다.
그리고, ProtoNet은 거리를 계산하기 하기 위해 Squared Euclidean Distance를 적용합니다.

Experiments

Conclusion

본 논문에서는 Neural Network에 의해 학습된 representation space안에 예시들의 각각의 class를 평균화하는 idea를 기반으로하는
Prototypical Network 방법을 제시합니다.

Episodic Training을 함으로써, few-shot setting에서 상당한 성능을 보여줍니다.

 

본 논문에서는 distance metric을 주의있게 선택함으로써 성능을 향상시킬 수 있을 뿐만 아니라, episodic learning procedure를 착안하는 방식을 활용합니다. 

추후, 연구에서는 Square Euclidean distance를 넘어, Bregman divergences를 사용하는 것이다.