목록Mae (2)

KalelPark's LAB

[ 논문 리뷰 ] Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture

Abstract 본 논문에서는 data-augmentaion에 없이, highly semantic image repreentations learning에 대한 접근법을 제시합니다. Image로부터, self-supervised learning에 대한 non-generative approach인 Joint-Embedding Predictive Architecture(I-JEPA)를 설명합니다. 아이디어의 핵심은, Single Context Block으로부터, 같은 이미지 내 다양한 target block의 representation을 예측합니다. 우선, sufficiently large scale 과 함께 target block을 sampling합니다. 그리고, sufficiently informative..
Data Science/Self Supervised Learning 2023. 5. 11. 10:37
[논문 리뷰] Masked Autoencoders Are Scalable Vision Learners

Abstract 본 논문에서는 Self-supervised Learning으로 확장가능한 masked autoencoder를 소개합니다. input 이미지를 무작위로 patch로 분할 한 후, 몇 개는 정보를 잃게 한후, 다시 생성하도록 학습하는 방식입니다. 주된 기여로는 2가지가 존재합니다. 1. Using the Encoder Decoder structure, and reconsturcture msising patches in decoder. (Encode, Decoder 구조를 사용합니다.) 2. we mask high propotion for self-supervised learning task. (상당히 많은 부분 75%를 missing patches로 활용합니다.) Introduction GP..
Data Science/Self Supervised Learning 2023. 3. 14. 21:08
이전 Prev 1 Next 다음