목록딥러닝 (17)

KalelPark's LAB

[ Meta Learning ] Meta-Learning based on Metric

Metric Learning이란? 학습하고자 하는 학습 방법은 다양한 태스크에서 사용할 수 있는 좋은 특징 공간(feature Space)이다. 즉, 새로운 태스크를 잘 활용할 수 있는 유용한 Manifold interpolation을 학습하는 것을 목표로 한다. 즉, 메트릭 기반 방법은 같은 라벨을 갖는 Support Set과 Query Set의 데이터 쌍이 비슷한 매니폴드 공간에 임베딩 되는메타러닝을 수행하며, 새로운 태스크가 들어왔을 때도 학습과정에서 이를 발견하지 못하였더라도, 같은 라벨의 데이터 쌍은 비슷한 공간에 임베딩 되도록 합니다. 메타러닝을 진행한 이후, few-shot learning을 진행하는 경우 추가적인 파라미터 변경없이 임베딩만 수행하며 바로 Query Set의 데이터와 Supp..
Data Science/Meta Learning 2023. 1. 15. 11:25
[ 논문 리뷰 ] Revisiting Self-Supervised Visual Representation Learning

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다. (+ Star 및 Follow는 사랑입니다..!) https://github.com/kalelpark/Awesome-ComputerVision GitHub - kalelpark/Awesome-ComputerVision: Awesome-ComputerVision Awesome-ComputerVision. Contribute to kalelpark/Awesome-ComputerVision development by creating an account on GitHub. github.com Abstract Self Supervised Learning에서, 수 많은 측면에서, 연구를 진행하였지만, (CNN)과..
Data Science/Self Supervised Learning 2023. 1. 6. 13:34
[ Pytorch ] Logsumexp 활용하기

Logsumexp - 지정된 차원 dim으로부터, 입력 텐서의 각 행에 대한 합계 지수 로그를 반환합니다. 이후, 계산은 수치적으로 안정화 됩니다. 사용하는 이유? - 매우 작은 양수나 매우 큰수를 나타내는 한 가지 방법으로는 Log를 활용하는 것이다. 하지만, 덧셈은 약간의 trick이 필요하다. (LogSumExp Trick이 필요합니다.) 두 큰 수 Exp(800) 와 Exp(900)을 더하고자 한다. 문제는, Log에서 덧셈은 곱셈처럼 간단하지 않습니다. (컴퓨터에서 정확하게 나타내는 것이 불가능합니다.) 그리하여, 각각의 큰 2개의 수를 2개의 수 중 최소 값으로 각각의 수를 나누고, 다시 2개의 수를 더한 후 log를 취한 다음, 이전에 나눈 최소 값을 더해주면 된다. - 이러한 방식을 활용하..
Python/Pytorch 2023. 1. 5. 14:17
[ 논문 리뷰 ] A Simple Framework for Contrastive Learning of Visual Representations

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다. (+ Star 및 Follow는 사랑입니다..!) https://github.com/kalelpark/Awesome-ComputerVision GitHub - kalelpark/Awesome-ComputerVision: Awesome-ComputerVision Awesome-ComputerVision. Contribute to kalelpark/Awesome-ComputerVision development by creating an account on GitHub. github.com Abstract 본 논문은, Visual representation을 위한 Contrastive learning을 위한..
Data Science/Self Supervised Learning 2023. 1. 5. 13:08
[ Self Supervised Learning ] Jigsaw Permutations table 생성하기

* 본 논문에서, 활용되는 내용입니다. (참고하시기 바랍니다.) https://kalelpark.tistory.com/45 [ 논문 리뷰 ] Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다. (+ Star 및 Follow는 사랑입니다..!) https://github.com/kalelpark/Awesome-ComputerVision GitHub - kalelpark/Awesome-ComputerVis kalelpark.tistory.com Jigsaw Permutations Table - Self Supervised Le..
Data Science/Self Supervised Learning 2023. 1. 4. 17:29
[ 논문 리뷰 ] Unsupervised Learning of Visual Representations by Solving Jigsaw Puzzles

GitHub를 참고하시면, CODE 및 다양한 논문 리뷰가 있습니다! 하단 링크를 참고하시기 바랍니다. (+ Star 및 Follow는 사랑입니다..!) https://github.com/kalelpark/Awesome-ComputerVision GitHub - kalelpark/Awesome-ComputerVision: Awesome-ComputerVision Awesome-ComputerVision. Contribute to kalelpark/Awesome-ComputerVision development by creating an account on GitHub. github.com Abstract Self Supervision 원칙을 따름으로써, 우리는 pretext task를 따름으로써, jigs..
Data Science/Self Supervised Learning 2023. 1. 3. 20:27
[ Pytorch ] Chunk 활용하기

Chunk - Tensor를 지정된 Chunk의 개수로 분할하려고 합니다. 각 Chunk는 입력 텐서의 View이다. - torch.tensor_split()은 항상 명확하게, Chunk하지만, torch.Chunk는 작거나, 같게 합니다. (유연성) import torch chunk_example = torch.arange(12) print(chunk_example) -> tensor([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11]) print(chunk_example.size()) -> torch.Size([12]) print(chunk_example.chunk(6, dim = -1)) -> (tensor([0, 1]), tensor([2, 3]), tensor([4, 5]),..
Python/Pytorch 2023. 1. 3. 16:13
[ Computer Vision ] All about Classification Metrics

All about Classification Metrics - Medical 및 Classification에는 여러가지 Metrics들이 존재합니다. * 이진 분류를 예시로 설명을 진행하도록 하겠습니다. * 반드시 알고 가셔야 합니다...! Accuracy - 가장 대표적으로 사용되는 지표로 전체 데이터 중, 제대로 분류된 데이터의 비율을 의미합니다. - 수식으로는, accuracy = (TP + TN) / Total Sensitivity (Recall or True Positive Rate) - 민감도라고 하는데, Sensitive 또는 Recall이라고도 합니다. - 예를 들면, 암 환자 100명중에서 90명을 예측해서 맞췄을 경우, Sensitivity = 0.9가 됩니다. - 수식으로는, Sens..
Data Science/Common 2022. 12. 30. 12:15
이전 Prev 1 2 3 Next 다음