KalelPark's LAB

Information Theory - 어떤 이산 랜덤 변수 x가 있다고 하자. - 우리가 x의 구체적인 값을 관찰하는 경우 얼마만큼의 정보(information)을 얻는지를 정량화하는 것이 가능합니다. * 정보(Information)은 "학습에 있어 필요한 놀람의 정도(degree of surprise)"로 해석하면 된다. * 정보의 양을 h(x)라고 정의한다면, 정의는 결국 확률 함수의 조합으로 표현이 되게 될 것이다. 위의 내용을 정리하자면, 이산확률변수에서는 Non-uniform 분포에서는, Uniform 분포보다 엔트로피가 낮다고 설명하는 것이 가능합니다. 반면에, 연속확률변수에서는 정규분포가 엔트로피를 최대로 만들어냅니다. Relative Entropy and Mutual Information ..

Abstract 본 논문에서는 monocular video에 의하여, 제공되는 supervision에서 robot ego-motion과 scene depth를 unsupervised learning으로 다루기 위한 방법을 제시합니다. 높은 퀼리티의 결과를 생성하기 위한 새로운 접근법을 제공하고, 움직이는 객체를 모델링이 가능하다는 것을 보여줍니다. 주된 아이디어는 학습 프로세스에서 장면과 객체들간의 기하학적 구조를 도입하는 것이 가능합니다. 학습과정에서는 ego-motion과 object-mothin을 monocular video에 input으로 활용합니다. Introduction 실내, 실외 동일한 환경에서, robot navigation으로부터 장면을 depth하는 것은 중요합니다. 최근 방법론들은 ..

The Decision Theory 추론의 문제, 즉 p(x, t)를 결정하는 문제는 불확실성에 대한 상황을 확률적 표현법으로 기술하는 과정을 포함 이러한 확률의 정보를 바탕으로 최적의 결정을 만들어 내는 것이 바로 결정 이론(decision Theory)이다. * 목적은 잘못된 선택을 하게될 가능성을 줄이는 것이라고 볼 수 있다. 추론과 판별 (inference and decision) 추론(inference) : 학습 데이터를 이용하여, P(C|x)에 대한 모델을 학습 판별(decision) : 추론한 사후 확률 분포를 이용하여 실제 입력된 데이터의 클래스를 결정 * 클래스 판별 문제는 크게 3가지로 나눌 수 있습니다. - Generative Models 1. 클래스-조건부 밀도(class-condi..

Abstract 다양한 scale로부터, depth에 대한 ground-truth를 얻는 것은 어렵습니다. 이러한 문제를 극복하기 위해, Self-Supervised Learning이 대안으로 떠오르고 있습니다. 본 논문에서는, 기존의 SSL 방법론에서 quantitatively와 qaulity를 개선한 방법을 제안합니다. 본 논문에서는, 단순한 Architecture를 보여줍니다. 주된 기여는. 1) robustly handle occulsions을 위한 mimum reprojection loss 2) visual artifact를 감소시키기 위한, full-resolution multi-scale sampling 방법 3) camera motion을 violate한 pixel을 무시하는 auto ma..

우선 판별 분석을 먼저 살펴보도록 하겠습니다. 판별 분석이란? - 집단을 구분할 수 있는 설명변수를 통하여, 집단 구분 함수식을 도출하고, 집단을 예측하는 것 분류와의 차이점으로는, 존재하는 그룹의 수를 알고, 새로운 대상이 어느 그룹에 속하는 결정할 때 사용합니다. (KNN) 일반적으로, 가장 손쉬운 방식은 전체 입력 범위를 작은 단위의 셀(cell)로 나누어, x가 속한 셀 내에서 가장 많은 클래스를 확인한 뒤 해당 클래스로 분류하는 것을 의미합니다. 하지만, 이러한 방식은 입력 데이터의 차원이 증가하게 되면 적용하기 상당히 힘들어집니다. 차원의 저주(the Curse of Dimensionality) - 저차원 공간에서 얻은 직관이 고차원 공간에서도 통용될 것이라는 것을 믿으면 안됩니다. 위의 그림..

PRML Probability Theory - Pattern Recognition 분야에서 중요한 개념 중 하나. - Uncertainty가 발생하는 이유 - 충분하지 못한 데이터 - 관찰된 데이터에 포함된 노이즈 문제 Probability Theory - 불확실성을 정확하고 정량적으로 표현할 수 있는 수학적 프레임워크 제공 Decision Theory - 불완전하고 모호한 정보로부터 최적의 예측안 마련 가능 Likelihood에서 Frequentist 와 Bayesian과의 차이 Frequentist - Maximum Likelihood가 대표적인 추정자(estimator)로 보통 p(D | W)를 최대로 만드는 W를 찾는 것이다. (여기서 w는 알려지지 않은 고정된 파라미터 값이고, 이를 추정합니다...

Segmentation 및 Estimation 논문을 읽다보니, 자주나오는 용어이다. Unary potential은 이미지, 텍스트 등의 입력 데이터에서 각각의 특성이 얼마나, 특정 클래스에 속하는지를 측정하는데 사용하는 함수이다. Vision에서는 Pixel에 해당하는 클래스에 속할 확률을 계산합니다. 일반적으로, 확률 분포를 모델링하는데 사용되는 함수로, 다양한 형태로 나타내는 것이 가능합니다. Unary Potential은 학습 중에 가중치를 조정함으로써, 입력 특성을 올바르게 분류하도록 돕습니다. 학습을 진행하면서, 데이터의 손실 함수를 최소화 하도록 가중치를 조정하면서, 모델이 올바르게 예측하는 것을 최대화하려고 합니다. 예를 들어, 이미지 분할에서 unary potential은 차량의 특징인 ..

Abstract 본 논문에서는, monocular depth estimation과 관련한 새로운 접근법을 제시합니다. 이전의 방법과 유사하게, 우리의 방법론은 다른 CNN layer로부터, 파생된 multi scale information을 합치기 위해, continuous CRF를 사용합니다. 논문에서 제시하는 방법은, 기존의 방법과 다르게 다양한 feature들 사이의 저보들의 양을 자동으로 조절하는 structured attention model로부터, 많은 이득을 얻습니다. 본 논문에서 제시하는 방법은, CRF과 통합된 형태를 보이고, end-to-end로 학습하는 것이 가능합니다. Introduction 최근 CNN이 제안됨에 따라, 어떻게 estimate depth 와 semantic labe..