KalelPark's LAB

Abstract ITPN의 경우, MIM과 downstream recognition tasks 간의 관계의 격차를 최소화하도록, backbone과 neck을 동시에 pre-training을 진행합니다. 본 논문에서의 주된 기여는 2가지 입니다. 1) pretraining stage 내, feature pyramid를 투입합으로써, recognition task 와 reconstructure task를 통합합니다. 2) Multi-stage supervision을 feature pyramid로 제공하는 Masked feature Modeling (MFM)를 활용하여, Masked Image Modeling (MIM)을 보완합니다. ITPN의 경우, upstream pre-training 과 downstre..

What's Neural Radiance Fields? NeRF는 2D 이미지를 3D로 변환해주는 모델입니다. 쉽게 말하자면, 여러 장의 이미지를 입력 받아, 새로운 시점에서의 물체 이미지를 만들어내는 View Synthesis 모델입니다. N개 시점에서 불연속적인 2D 이미지를 입력 받아, 이미지가 연속적으로 구성될 수 있도록 임의의 시점에서 새로운 이미지를 만들어냅니다. NeRF의와 기존 기술과의 차별점 2D 이미지에서 3D 모델을 추출해내는 기술 자체는 이미 기존에도 존재했던 기술입니다. Photogrammetry 기법 혹은 3D scanning을 이용한 3D 모델 생성 등은 여러 산업 현장에서 쓰이는 기술이지만, NeRF는 이들과 몇가지 근본적인 차별점이 존재합니다. NerF는 훌륭한 빛 반사가 ..

Abstract 본 논문에서는 monocular video에 의하여, 제공되는 supervision에서 robot ego-motion과 scene depth를 unsupervised learning으로 다루기 위한 방법을 제시합니다. 높은 퀼리티의 결과를 생성하기 위한 새로운 접근법을 제공하고, 움직이는 객체를 모델링이 가능하다는 것을 보여줍니다. 주된 아이디어는 학습 프로세스에서 장면과 객체들간의 기하학적 구조를 도입하는 것이 가능합니다. 학습과정에서는 ego-motion과 object-mothin을 monocular video에 input으로 활용합니다. Introduction 실내, 실외 동일한 환경에서, robot navigation으로부터 장면을 depth하는 것은 중요합니다. 최근 방법론들은 ..

The Decision Theory 추론의 문제, 즉 p(x, t)를 결정하는 문제는 불확실성에 대한 상황을 확률적 표현법으로 기술하는 과정을 포함 이러한 확률의 정보를 바탕으로 최적의 결정을 만들어 내는 것이 바로 결정 이론(decision Theory)이다. * 목적은 잘못된 선택을 하게될 가능성을 줄이는 것이라고 볼 수 있다. 추론과 판별 (inference and decision) 추론(inference) : 학습 데이터를 이용하여, P(C|x)에 대한 모델을 학습 판별(decision) : 추론한 사후 확률 분포를 이용하여 실제 입력된 데이터의 클래스를 결정 * 클래스 판별 문제는 크게 3가지로 나눌 수 있습니다. - Generative Models 1. 클래스-조건부 밀도(class-condi..

Abstract 다양한 scale로부터, depth에 대한 ground-truth를 얻는 것은 어렵습니다. 이러한 문제를 극복하기 위해, Self-Supervised Learning이 대안으로 떠오르고 있습니다. 본 논문에서는, 기존의 SSL 방법론에서 quantitatively와 qaulity를 개선한 방법을 제안합니다. 본 논문에서는, 단순한 Architecture를 보여줍니다. 주된 기여는. 1) robustly handle occulsions을 위한 mimum reprojection loss 2) visual artifact를 감소시키기 위한, full-resolution multi-scale sampling 방법 3) camera motion을 violate한 pixel을 무시하는 auto ma..

우선 판별 분석을 먼저 살펴보도록 하겠습니다. 판별 분석이란? - 집단을 구분할 수 있는 설명변수를 통하여, 집단 구분 함수식을 도출하고, 집단을 예측하는 것 분류와의 차이점으로는, 존재하는 그룹의 수를 알고, 새로운 대상이 어느 그룹에 속하는 결정할 때 사용합니다. (KNN) 일반적으로, 가장 손쉬운 방식은 전체 입력 범위를 작은 단위의 셀(cell)로 나누어, x가 속한 셀 내에서 가장 많은 클래스를 확인한 뒤 해당 클래스로 분류하는 것을 의미합니다. 하지만, 이러한 방식은 입력 데이터의 차원이 증가하게 되면 적용하기 상당히 힘들어집니다. 차원의 저주(the Curse of Dimensionality) - 저차원 공간에서 얻은 직관이 고차원 공간에서도 통용될 것이라는 것을 믿으면 안됩니다. 위의 그림..

PRML Probability Theory - Pattern Recognition 분야에서 중요한 개념 중 하나. - Uncertainty가 발생하는 이유 - 충분하지 못한 데이터 - 관찰된 데이터에 포함된 노이즈 문제 Probability Theory - 불확실성을 정확하고 정량적으로 표현할 수 있는 수학적 프레임워크 제공 Decision Theory - 불완전하고 모호한 정보로부터 최적의 예측안 마련 가능 Likelihood에서 Frequentist 와 Bayesian과의 차이 Frequentist - Maximum Likelihood가 대표적인 추정자(estimator)로 보통 p(D | W)를 최대로 만드는 W를 찾는 것이다. (여기서 w는 알려지지 않은 고정된 파라미터 값이고, 이를 추정합니다...

Segmentation 및 Estimation 논문을 읽다보니, 자주나오는 용어이다. Unary potential은 이미지, 텍스트 등의 입력 데이터에서 각각의 특성이 얼마나, 특정 클래스에 속하는지를 측정하는데 사용하는 함수이다. Vision에서는 Pixel에 해당하는 클래스에 속할 확률을 계산합니다. 일반적으로, 확률 분포를 모델링하는데 사용되는 함수로, 다양한 형태로 나타내는 것이 가능합니다. Unary Potential은 학습 중에 가중치를 조정함으로써, 입력 특성을 올바르게 분류하도록 돕습니다. 학습을 진행하면서, 데이터의 손실 함수를 최소화 하도록 가중치를 조정하면서, 모델이 올바르게 예측하는 것을 최대화하려고 합니다. 예를 들어, 이미지 분할에서 unary potential은 차량의 특징인 ..