KalelPark's LAB

Gaussian Distribution ~ Normal Distribution 연속 확률 분포 중 가장 널리 알려진 분포이다. 아래의 수식은, 단일 변수 x에 대해 가우시안 분포를 기술한 것이다. 만약, D차원의 벡터인 경우, 분산 대신 공분산 D가 입력으로 사용되게 된다. (아래의 수식 참고) 중심 극한 정리(Central Limit Theorem) 각각의 데이터 집단에서의 평균이 u이고, 분산이 시그마의 제곱인 모집단에서 추출한 확률 표본이라고 하자. 이 때, X를 n개의 표본에서 얻은 표본평균이라고 할 때, n이 커질수록 표준 정규분포에 수렴한다는 것입니다. 즉, 모집단에 대한 특정 분포에 상관 없이, 샘플 사이즈가 크다면, 표본 평균의 분포는 정규분포에 근사하게 된다는 것입니다. 대한민국 전체 남..

Abstract 본 논문에서는 data-augmentaion에 없이, highly semantic image repreentations learning에 대한 접근법을 제시합니다. Image로부터, self-supervised learning에 대한 non-generative approach인 Joint-Embedding Predictive Architecture(I-JEPA)를 설명합니다. 아이디어의 핵심은, Single Context Block으로부터, 같은 이미지 내 다양한 target block의 representation을 예측합니다. 우선, sufficiently large scale 과 함께 target block을 sampling합니다. 그리고, sufficiently informative..

Pytorch unfold란? Batched tensor에 대하여, 마치 Convolution처럼, Slidingg하면서, locl block을 구하는 것이다. 예를들면, 해당 MNIST의 경우 1, 1, 28, 28 사이즈의 경우 -> 1, 49, 16 으로 변환한 것이다. EX) import torch.nn as nn from matplotlib import pyplot as plt from torchvision import datasets, transforms if __name__ == '__main__': train_data = datasets.MNIST(root='./data/', train=True, download=True, transform=transforms.ToTensor()) test..

Abstract 본 논문에서는, attention-based model이 CNN을 능가할 수 있음을 보여주고, 성능간의 격차를 줄이려고 노력했음을 보여줍니다. 또한, Image Classification에서의 ViT가 성능적으로 제한되는 요소가 fine-level feature에서 token representation으로 encoding하는데 low efficacy라는 것을 발견하였습니다. 이러한 문제를 해결하기 위해, 우리는 새로운 기법인 outlook attention을 보여주고, 단순한 알고리즘인 VOLO를 제시합니다. 기존 coarse level 내 global dependency modeling 인 Attention과 다르게, Outlook attention은 context token내에서, f..

Abstract ITPN의 경우, MIM과 downstream recognition tasks 간의 관계의 격차를 최소화하도록, backbone과 neck을 동시에 pre-training을 진행합니다. 본 논문에서의 주된 기여는 2가지 입니다. 1) pretraining stage 내, feature pyramid를 투입합으로써, recognition task 와 reconstructure task를 통합합니다. 2) Multi-stage supervision을 feature pyramid로 제공하는 Masked feature Modeling (MFM)를 활용하여, Masked Image Modeling (MIM)을 보완합니다. ITPN의 경우, upstream pre-training 과 downstre..

Mutlinomial distribution 베르누이 확률변수(Bernoulli distribution)의 데이터가 복수이면, 이 데이터의 합이 이항 분포를 이루는 것처럼 카테고리 확률변수의 데이터가 여러 개 있으면 데이터의 합은 다항분포(Mutlinomial distribution)가 된다. 여러 번의 독립시행에서 각각의 값이 특정 횟수가 나타날 확률을 의미하기도 합니다. 간단한 예시로는, 동전을 던졌을 때, 앞면이 나올 횟수에 관환 분포는 이항분포라고 하고, 동전을 던졌을 때, 각 면이 나올 횟수에 대한 분포는 다항분포라고 합니다. Dirichlet Distribution k 차원의 실수 벡터 중 벡터의 요소가 양수이며, 모든 요소를 더한 값이 1인 경우에 확률 값이 정의되는 연속확률분포입니다. 즉,..

Depth Estimations Metrics Depth estimation에서 주로 사용하는 지표로는 5가지가 존재합니다. 1. Absolute Relative Error 2. Sqaure Relative Error 3. Root mean Sqaure Error 4. Log scale RMSE 5. Accuracy under a threshold 일반적으로, Absolute Relative Error, Sqaure Relative Error, Root mean Sqaure Error, Log scale RMSE 은 전통적으로 Regression 모델의 성능을 측정하기 위해 사용된 Metric이며, Accuracy under threshold는 Depth estimation 모델의 Accuracy를 측정..

감마 분포(Gamma distribution) 우선, 감마 분포(Gamma distribution)에 대해서 살펴보도록 하겠습니다. 감마 함수는 Factorial을 자연수에만 한정해서 사용하지 않고, 더 큰 수 체계에서도 적용할 수 있는 방법을 고민하다가 나온 함수라고 합니다. 즉 복소수 범위까지 일반화된 Factorial을 의미합니다. 지수 분포를 한 번의 사건이 아닌 여러 개의 사건으로 확장한 것이라고 할 수 있습니다. 감마 분포(Gamma distribution)는 통상적으로 포아송 분포의 모수의 역수를 사용합니다. 즉, 모수가 β인 지수분포에서 β는 사건 사이 평균 소요시간을 의미합니다. 아래의 그래프의 경우 각 α,β 모수에 따른 Gamma Distribution입니다. α 가 증가할수록 평균과..