KalelPark's LAB

Stereo Vision이란? 사람의 시각 시스템을 모방한 기술이며, 자율 주행 자동차등의 관심이 높아짐에 따라, 라이더 및 레이더 센서 기술을 대체할 수 있는 기술로 관심을 받고 있습니다. 사람은 두 눈으로부터 좌/우 차이가 존재하는 2차원의 영상을 입력받고, 입력 받은 영상을 인간의 뇌로 부터 융합되는 과정을 통해3차원의 거리 감을 인지합니다. 이와 마찬가지로, Stereo Vision은 카메라를 통해, 입력되는 2차원의 좌/우 영상을 계산하면서 3차원 거리 정보를 획득하는 것이 가능합니다. * 거리 계산 방법 - 3차원 거리 정보는 시차(Parllax, disparity), 초점 거리(focal length), 베이스라인(baseline) 3가지 요소를 고려하여, 획득합니다. - 시차(Dispari..

Abstract 최근 거대한 데이터셋으로의 NLP의 성공이 Computer Vision에도 유사한 방식으로 혁신을 보여주고 있습니다. 이러한 방법은, 선별된 데이터셋에서만 사용이 가능합니다. 우리는 기존 방식을 재검토하고, 다양한 기술을 결합하여 데이터 및 모델의 크기 측면을 확장합니다. 대부분 기술적 기여는 학습의 규모를 안정화하거나 가속화를 진행합니다. Introduction task에 구애받지 않은 표현력 학습을 하는 것은 NLP에서는 기본이 되어왔습니다. NLP에서의 영향을 받아, Vision에도 상당한 영향을 미치고 있습니다. 대부분 유망한 노력은 text-guided pretraining에 초점이 되어왔으며, feature를 학습하는데 상당한 기여를 해왔습니다. Caption은 이미지의 풍부한..

Collapse란? "Collapse"는 모델의 학습 과정에서 출력 값이 제한된 범위로 수렴하거나, 제한된 값만을 출력하는 현상을 의미합니다. 예를 들어, 모델이 다양한 입력에 대해 동일한 출력 값을 예측하거나, 출력 값이 특정 값으로 수렴하는 경우 "collapse"가 발생합니다. 2가지 예시가 존재합니다. GAN) Generator 와 Discirminator를 균형있게 학습시켜야 하는데, Discriminator가 학습속도가 너무 빨라지는 경우가 있다. 이 경우, GAN은 "진짜" 같은 이미지를 생성하는 목적은 잃어 버리고, discriminator가 헷갈릴만한 그림만 만드는 과정을 의미한다. 이를 Mode Collapse라고 한다. Representation Learning) Contrastive..

MRF Factorization Ambiguities - Markov Random Fields와 관련해서, 상세한 설명을 진행함. Factor Graphs

Markov Random Field, MRF 확률 그래프 모델로써 Maximum click에 대해서, Joint Probability로 표현한 것이다. 즉, 한 부분의 데이터를 알기 위해 전체의 데이터를 보고 판단하는 것이 아니라, 이웃하고 있는 데이터들과의 관계를 통해서 판단합니다. [활용 분야] - Imge Restoration (이미지 복원) - texture analysis (텍스쳐 분석) - Image segmentation (이미지 분할) - Imge Labeling (이미지 레이블 정의) - Edge detection (모서리 검출) - object recognition (물체 인식) MRF를 알기 전에 2가지 그래프에 대해서 알고 넘어갈 필요가 있다. Directed Graph vs Un..

Structured Prediction Spatial Regularization - 어떻게 depth maps의 분포를 지식으로 활용할 수 있는지? - Graphical model내에서 각 node는 one pixel에 대응되고, 인접한 Pixel들과 상호작용합니다. Probabilistic Graphical Models - 확률적 관점을 선택하고, 구조적으로 의존하는 계층을 나타냅니다. - random variables 사이에서 local constraints기반의 structured prediction을 진행합니다. - 확률기반 Graphic 모델의 특징에 대해서 언급을 하고 있음. Supervised Learning & Classification / Regression

Spatial Regularization Local Matching 대해서 설명합니다. 유사한 이미지라도, 카메라의 위치에 따라, 각기 다르게 정보가 읽힐 수 있습니다. 현실 세계에서는 물체의 불연속성을 제외하고는, 깊이는 천천히 변합니다. Stereo MRF(Markov Random Field) Bayseian Modeling을 통해서, 이미지를 분석하는데 사용되는 방법이다. 한 부분의 데이터를 알기 위해 전체의 데이터를 보고 판단하는 것이 아니라, 이웃하고 있는 데이터들과의 관계를 통해서 판단합니다. 한 상태에서 다른 상태로 변할 확률이 현재의 상태에만 의존하는 모델을 의미함 Markov Random Fields (MRF) 모델을 바탕으로 한 영상 해석은 모델의 영상의 기본구조들로 구성된 그래프 위에..

Bundle Adjustment 카메라의 이미지 data들로부터 3차원 공간으로 이미지에 나타난 정보들을 모델링을 진행할 때, 카메라의 pose와 3차원 공간의 points들의 위치를 추정할 때 필요한 최적화 기법 중 하나이다. 3D Reconstruction을 진행할 때, Lidar나 Depth Camera같은 거리 값을 이용하는 것이 아니라 2D image들의 묶음으로만 3D 복원을 진행합니다. 보통 SIFT와 같은 특징점을 찾는 알고리즘을 이미지에서 수행하고, Triangulation과 같은 과정을 거쳐, Point들이 어디에 위치하고 있는지 추정을 합니다. Bundle Adjustment는 Bundle Block Adjustment라고도 불리는데, 이러한 이유는 Block 단위로 수행하여, 많은 ..