| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
- REACT
- SSL
- 자료구조
- cs
- ML
- Meta Learning
- 머신러닝
- 알고리즘
- PRML
- clean code
- algorithm
- nlp
- 3d
- dl
- web
- math
- 딥러닝
- Depth estimation
- Python
- computervision
- Front
- Torch
- FineGrained
- CV
- FGVC
- GAN
- nerf
- Vision
- pytorch
- classification
- Today
- Total
목록Transformer (3)
KalelPark's LAB
[논문 리뷰] An Image is Worth 16x16 words: Transformers for Image Recognition at Scale
GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다. (+ Star 및 Follow는 사랑입니다..!) https://github.com/kalelpark/AI_PAPER GitHub - kalelpark/Awesome-ComputerVision: Awesome-ComputerVision Awesome-ComputerVision. Contribute to kalelpark/Awesome-ComputerVision development by creating an account on GitHub. github.com Abstract 최근, NLP에서는 Transformer구조가 일반적인 활용으로써, 자리 매김해왔지만, Vision 분야에서는 잘 응용되지 않았..
[ Computer Vision ] Attention, Transformer 이해하기
Attention 이란? - Attention의 사전적 의미는 "집중"이다. 이러한 의미는 Decoder에서 출력을 하고자 할때, 어떤 Encoder 정보에 집중해야 하는지 알 수 있도록 하여 출력하는데, 도움을 주겠다는 의미이다. Attention 용어 - Query : 찾고자 하는 대상 - Key : 저장된 데이터를 찾고자 할 때 참조하는 값 - Value : 저장되는 데이터 - Dictionary : Key-Value 쌍으로 이루어진 집합 - Attention에서는 Query에 대해서 어떤 Key와 유사한지 비교를 하고, 유사도를 반영하여, Key에 대응하는 Value를 합성하는 것이 Attention Value가 된다. 즉, Query는 하나이고, Query에 해당하는 Dictionary : Ke..
[논문 리뷰] TransFG [2021]
GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다. (+ Star 및 Follow는 사랑입니다..!) https://github.com/kalelpark/AI_PAPER GitHub - kalelpark/AI_PAPER: Machine Learning & Deep Learning AI PAPER Machine Learning & Deep Learning AI PAPER. Contribute to kalelpark/AI_PAPER development by creating an account on GitHub. github.com Abstract 최근 Vision Transformer가 강세를 보이고 있습니다. Transformer의 self attent..