목록Data Science/Self Supervised Learning (26)

KalelPark's LAB

[논문 리뷰] A critical analysis of self-supervision, or what we can learn from a single image

Abstract 본 논문은 label 없이, model을 학습하는 Self-Supervised Learning을 분석합니다. 본 논문은 3가지 method를 비교합니다. (BiGAN, RotNet, DeepCluster). 데이터가 상당히 많더라도, Supervision과 같이 학습하는 것은 불가능합니다. 1) 본 논문은 초기 layer에서는 natural images의 통계에 대한 정보를 갖는 것이 힘들다는 것을 설명하고, 2) self-supervision에서는 그러한 표현력을 Self-supervision을 통해서, 학습될 수 있다고 설명합니다. 그리고, 대규모 데이터셋을 사용하는 것 대신 합성 변환을 활용하여, low-level statistics를 포착할 수 있습니다. Introduction 본..
Data Science/Self Supervised Learning 2023. 3. 30. 09:00
[ 논문 리뷰 ] MAGE: MAsked Generative Encoder to UnifyRepresentation Learning and Image Synthesis

Abstract 본 논문은 Generative, Representation을 동시에 활용하는 MAsked Generative Encoder(MAGE)를 소개합니다. 본 아이디어의 핵심은 마스크된 이미지를 활용하여, 이미지를 Generative 하는 방법과 Representation 2가지 모두 학습할 수 있습니다. MAGE는 입력 및 출력에서 GAN에 의한 토큰을 사용하여, Masking과 결합합니다. Contrastive loss를 Encoder에 추가함으로써, 표현력을 극대화합니다. Introduction Generative 와 recognition task는 visual과 data 내 semantic 정보를 학습해야 합니다. Generation은 high-level semantics과 low-lev..
Data Science/Self Supervised Learning 2023. 3. 28. 17:36
[ 논문 리뷰 ] Self-Supervised Learning of Pretext-Invariant Representations

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다. (+ Star 및 Follow는 사랑입니다..!) https://github.com/kalelpark/Awesome-ComputerVision GitHub - kalelpark/Awesome-ComputerVision: Awesome-ComputerVision Awesome-ComputerVision. Contribute to kalelpark/Awesome-ComputerVision development by creating an account on GitHub. github.com Abstract 이미지로부터의 Self Supervised Learning의 목표는 대규모 데이터에 대한 annotat..
Data Science/Self Supervised Learning 2023. 3. 15. 21:01
[논문 리뷰] Masked Autoencoders Are Scalable Vision Learners

Abstract 본 논문에서는 Self-supervised Learning으로 확장가능한 masked autoencoder를 소개합니다. input 이미지를 무작위로 patch로 분할 한 후, 몇 개는 정보를 잃게 한후, 다시 생성하도록 학습하는 방식입니다. 주된 기여로는 2가지가 존재합니다. 1. Using the Encoder Decoder structure, and reconsturcture msising patches in decoder. (Encode, Decoder 구조를 사용합니다.) 2. we mask high propotion for self-supervised learning task. (상당히 많은 부분 75%를 missing patches로 활용합니다.) Introduction GP..
Data Science/Self Supervised Learning 2023. 3. 14. 21:08
[논문 리뷰] VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다. (+ Star 및 Follow는 사랑입니다..!) https://github.com/kalelpark/Awesome-ComputerVision GitHub - kalelpark/Awesome-ComputerVision: Awesome-ComputerVision Awesome-ComputerVision. Contribute to kalelpark/Awesome-ComputerVision development by creating an account on GitHub. github.com Abstract 최근의 방법론은, 2개의 이미지로부터 얻은 embedding된 vector간의 관계를 구하고자 하였다...
Data Science/Self Supervised Learning 2023. 3. 12. 14:00
[논문 리뷰] Representation Learning with Contrastive Predictive Coding

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다. (+ Star 및 Follow는 사랑입니다..!) https://github.com/kalelpark/Awesome-ComputerVision GitHub - kalelpark/Awesome-ComputerVision: Awesome-ComputerVision Awesome-ComputerVision. Contribute to kalelpark/Awesome-ComputerVision development by creating an account on GitHub. github.com Abstract 본 논문은 high-dimensional data를 추출하기 위한 Contrastive Predicti..
Data Science/Self Supervised Learning 2023. 3. 12. 10:43
[ 논문 리뷰 ] Improving Unsupervised Image Clustering With Robust Learning

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다. (+ Star 및 Follow는 사랑입니다..!) https://github.com/kalelpark/Awesome-ComputerVision GitHub - kalelpark/Awesome-ComputerVision: Awesome-ComputerVision Awesome-ComputerVision. Contribute to kalelpark/Awesome-ComputerVision development by creating an account on GitHub. github.com Abstract Unsupervised Clustering 방법론은 기존의 학습방법을 대체하기 위해 도입되지만, 잘못된..
Data Science/Self Supervised Learning 2023. 2. 9. 21:55
[ 논문 리뷰 ] Deep Clustering for Unsupervised Learning of Visual Features

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다. (+ Star 및 Follow는 사랑입니다..!) https://github.com/kalelpark/Awesome-ComputerVision GitHub - kalelpark/Awesome-ComputerVision: Awesome-ComputerVision Awesome-ComputerVision. Contribute to kalelpark/Awesome-ComputerVision development by creating an account on GitHub. github.com Abstract ComputerVision에서는 Clustering이 계속되어 연구되고 있다. 본 논문에서는 Neura..
Data Science/Self Supervised Learning 2023. 2. 8. 16:52
이전 Prev 1 2 3 4 Next 다음