[논문 리뷰] Look into Object [2020]

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다.
(+ Star 및 Follow는 사랑입니다..!)

https://github.com/kalelpark/AI_PAPER

GitHub - kalelpark/AI_PAPER: Machine Learning & Deep Learning AI PAPER

Abstract

본 논문에서는, traditional framework 내에서, self-supervisions을 통합하는 방식을 통하여, “look into Object” 방식을 제안합니다.

recognition backbone은 robust representation learning을 위한 enhanced 방식을 활용합니다.

 

같은 Category 내에서, visual pattern을 공유한다는 것을 활용하여, localizing object를 위한 Object-extent learning module을 제안합니다.

이후, 범위 내에서, 상대적인 위치를 예측하여, object의 내부 구조를 Modeling 하기 위한, Spatial context learning module을 설계합니다.

training과 inference 동안, backbone network에 쉽게 Module을 연결할 수 있습니다.

Introduction

ResNet과 Look-into-Object의 차이입니다. 본 논문에서는, 차별적인 영역을 정확하게 식별하는 것이, Object의 전체적인 구조에 달려있다고 말합니다.

 

영역 내에서, context information을 automatically modeling 함으로써, 이미지의 전체적인 구조를 이해하는 방식인 look-into-object 방법을 제안합니다.

 

Object을 인식하는 것은 two stages로 이루어져 있습니다.

1. Image내부에서, Object를 먼저 인식합니다.
2. Object내의 parts들을 분석합니다.

위의 이미지와 같이 2가지 Module을 활용합니다.

1. Object Extent Learning Module (OEL)
2. Spatial Context Learning Module (SCL)

OEL Module은 pseudo mask를 활용하여. 객체의 범위를 backbone이 학습하도록 합니다. 먼저, target Image와 같은 카테고리 내 다른 Image 사이에서, region-level correlation을 측정하는 것이 가능합니다.

 

동일한 category 내에서, 공통점이 있기에, main object는 매우 높은 상관관계를 나타냅니다. SCL Module self-supervised 방식으로, regions 사이에서, Spatial relationships를 예측합니다.

이러한 방식으로, 분석된 구조에서, 차별적인 영역을 부분화 하는 것은, 일반적인 Image에서, Feature Map을 추출하는 것보다 훨씬 쉽습니다.

Contributes

1. LIO paradigm은 2가지 Module을 가지고 있습니다.

• Object-extent learning (OEL)
• Spatial-Context Learning (SCL)

2.  Fine-grained recognition Object Detection, semantic Segmentation에서 효율성을 증명하였습니다.

Approach

• Classification Module (CM) : Classification Netowrk는 Image의 representation을 추출합니다. 그리고, final object category를 생성합니다.
• Object-Extent Learning Module (OEL) :
• Image를 고려하여, main object를 localizing합니다.
• Spatial Context Learning Module (SCL) : CM의 feature간 상호작용을 통하여, 영역간 연결을 강화하는 self-supervised module이다.

Object Extent Learning (OEL)

Image에서의 개체의 범위를 현지화하는 것은 object structure를 이해하기 위한 조건이다. foreground 와 background를 backbone network가 구별하는 것을 돕기 위해, Object Extent Learning이라고 불리는 module을 제안합니다.

이러한, 방식을 통하여, object localization을 Pseudo lablel을 묘사하는 것이 가능합니다.

Object Extent Learning (OEL)의 방식을 활용하는데, 이떄, Loss함수를 MSE를 활용합니다. OEL 모듈은 main object 범위를 backbone network가 탐지기능이 향상됩니다.

 

Spatial Context Learning (SCL)

본 논문에서는, 객체 내에서 Spatial Context informtation을 학습하는 backbone에 대한 구조적 강점으로 적용되는 Spatial Context Learning Module을 제안합니다.

Joint Structure Learning

Object extent learning 과 Spatial Context Learning은 end-to-end 방식으로 학습합니다. 이러한 Network는 Object localization과 Object structural information을 enhanced합니다.

inference를 진행할 때, SCL과 OEL은 제거되고, Classification Module만들 사용하는 것이 가능합니다.

Experiments

Conclusion

본 논문에서는, traditional framework 내에서, self-supervisions을 통합하는 방식을 통하여, “look into Object” 방식을 제안합니다. 이후, 범위 내에서, 상대적인 위치를 예측하여, object의 내부 구조를 Modeling 하기 위한, Spatial context learning module을 설계합니다.

 

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다.
(+ Star 및 Follow는 사랑입니다..!)

https://github.com/kalelpark/AI_PAPER

GitHub - kalelpark/AI_PAPER: Machine Learning & Deep Learning AI PAPER