목록self-supervised learning (1)

KalelPark's LAB

[ Computer Vision ] Integrally Pre-Trained Transformer Pyramid Networks

Abstract ITPN의 경우, MIM과 downstream recognition tasks 간의 관계의 격차를 최소화하도록, backbone과 neck을 동시에 pre-training을 진행합니다. 본 논문에서의 주된 기여는 2가지 입니다. 1) pretraining stage 내, feature pyramid를 투입합으로써, recognition task 와 reconstructure task를 통합합니다. 2) Multi-stage supervision을 feature pyramid로 제공하는 Masked feature Modeling (MFM)를 활용하여, Masked Image Modeling (MIM)을 보완합니다. ITPN의 경우, upstream pre-training 과 downstre..
Data Science/Self Supervised Learning 2023. 5. 9. 20:15
이전 Prev 1 Next 다음