목록Data Science/Classification (7)

KalelPark's LAB

[ 논문 리뷰 ] An Attention Free Transformer

Abstract 본 논문에서는 dot product self attention을 사용하지 않는 Attention Free Trnasformer (AFT)을 제시합니다. AFT layer는 key와 value를 position biases와 함께 결합됩니다. 이후, query와 함께 element-wise 형태로 계산됩니다. 이러한 작업은 context size와 dimension of features에서 선형복잡성을 가지고, large input과 model size에서도, 모두 호환하게 합니다. 또한 global connectivity를 유지하면서, locality와 spatial weight를 공유하는 장점을 가지는 2가지 모델의 변형은 AFT-local과 AFT-conv를 소개합니다. Introd..
Data Science/Classification 2023. 5. 19. 09:42
[ 논문 리뷰 ] VOLO: Vision Outlooker for Visual Recognition

Abstract 본 논문에서는, attention-based model이 CNN을 능가할 수 있음을 보여주고, 성능간의 격차를 줄이려고 노력했음을 보여줍니다. 또한, Image Classification에서의 ViT가 성능적으로 제한되는 요소가 fine-level feature에서 token representation으로 encoding하는데 low efficacy라는 것을 발견하였습니다. 이러한 문제를 해결하기 위해, 우리는 새로운 기법인 outlook attention을 보여주고, 단순한 알고리즘인 VOLO를 제시합니다. 기존 coarse level 내 global dependency modeling 인 Attention과 다르게, Outlook attention은 context token내에서, f..
Data Science/Classification 2023. 5. 10. 09:27
[ 논문 리뷰 ] MobileViT : Light-Weight, General-purpose, and Mobile-Friendly Vision Transformer

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다. (+ Star 및 Follow는 사랑입니다..!) https://github.com/kalelpark/Awesome-ComputerVision GitHub - kalelpark/Awesome-ComputerVision: Awesome-ComputerVision Awesome-ComputerVision. Contribute to kalelpark/Awesome-ComputerVision development by creating an account on GitHub. github.com Abstract Light weight convolutional Neural Net은 Mobile Vision Task..
Data Science/Classification 2023. 1. 18. 18:48
[논문 리뷰] Training data-efficient image transformers& distillation through attention

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다. (+ Star 및 Follow는 사랑입니다..!) https://github.com/kalelpark/Awesome-ComputerVision GitHub - kalelpark/Awesome-ComputerVision: Awesome-ComputerVision Awesome-ComputerVision. Contribute to kalelpark/Awesome-ComputerVision development by creating an account on GitHub. github.com Abstract 본 논문에서는 ImageNet1K로만, 단지 학습하여, 경쟁력있는 Convolution-free tra..
Data Science/Classification 2023. 1. 15. 20:37
[논문 리뷰] An Image is Worth 16x16 words: Transformers for Image Recognition at Scale

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다. (+ Star 및 Follow는 사랑입니다..!) https://github.com/kalelpark/AI_PAPER GitHub - kalelpark/Awesome-ComputerVision: Awesome-ComputerVision Awesome-ComputerVision. Contribute to kalelpark/Awesome-ComputerVision development by creating an account on GitHub. github.com Abstract 최근, NLP에서는 Transformer구조가 일반적인 활용으로써, 자리 매김해왔지만, Vision 분야에서는 잘 응용되지 않았..
Data Science/Classification 2023. 1. 15. 13:48
[논문 리뷰] EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks [ 2019 ]

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다. (+ Star 및 Follow는 사랑입니다..!) https://github.com/kalelpark/AI_PAPER GitHub - kalelpark/AI_PAPER: Machine Learning & Deep Learning AI PAPER Machine Learning & Deep Learning AI PAPER. Contribute to kalelpark/AI_PAPER development by creating an account on GitHub. github.com Introduction ✨ 해당 논문은 연구에 따른 new scaling method을 적용한 EfficientNet을 소개합..
Data Science/Classification 2022. 12. 6. 23:45
[논문 리뷰] LeNet [1998]

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다. (+ Star 및 Follow는 사랑입니다..!) https://github.com/kalelpark/AI_PAPER GitHub - kalelpark/AI_PAPER: Machine Learning & Deep Learning AI PAPER Machine Learning & Deep Learning AI PAPER. Contribute to kalelpark/AI_PAPER development by creating an account on GitHub. github.com Introduction 본 논문의 주된 내용은, hand-designed hueristics에 의존하기보다는, automati..
Data Science/Classification 2022. 12. 1. 00:22
이전 Prev 1 Next 다음