[Math] chapter 3.1 [Structure-from-Motion: Preliminaries]

Camera Calibration

카메라의 외부/내부 파라미터를 찾는 과정을 의미합니다.

즉, 카메라 캘리브레이션(Camera Calibration)은 위와 같은 3D 공간 좌표와 2D영상 좌표 사이의 변환관계 또는 변환관계를 설명하는 파라미터를 찾는 과정
무엇보다도, calibration target이 사용됩니다. 카메라 Calibration은 다른 pose를 추출하기 위해서 사용됩니다.

카메라에서, 초점거리를 물리단위가 아닌 픽셀단위로 표현하는 이유는 영상에서의 기하학적 해석을 용이하게 하기 위함입니다.

마지막으로, Camera의 intrinsics 혹은 extrinsics 파라미터를 최적화합니다.

  - closed-form solution으로 모든 파라미터를 왜곡된 부분을 제외하고 초기화합니다.

  - 모든 파라미터를 비선형 최적화를 통하여, 추정합니다. 이러한 과정 속에서 추정된 파라미터를 사용하여 새로운 이미지를 생성하고,
     생성된 이미지와 실제 이미지 간의 재투영 오차(reprojection error)를 최소화하도록 파라미터를 조정합니다.

Feature Detection and Description & Point Features

- Point features는 이미지의 local과 salient regions을 파악하는 것이 목표입니다.
   이러한 방법을 사용해, 다른 viewpoint에서 찍힌 이미지를 매칭하는 것이 가능합니다.

 

- Point features는 다른 viewpoints에서 찍힌 이미지를 파악하는 것이 가능합니다.

   Point features는 원근법이나 조명등에 불변적(invariant)가 있어야 합니다.

 

- Point Features는 illumination 과 사영 효과를 위해서, 불변해야 합니다.

   pose/viewpoint와 독릭적으로 similar vector point를 가지고 있어야 합니다.

Scale Invariant Feature Transform (SIFT)

불변하는 Feature(Scale Invariance)를 추출하기 위한 알고리즘입니다.

 

[순서]

1. Scale-space extrema detection

2. Keypoint localization

3. Orientation Assignment

4. Keypoint descriptor

 

    - SIFT는 Gaussian을 활용하여, 이미지를 반복적으로 filter를 거치게 하여, scale space를 거치도록 합니다.

    - 인접한 scale들은 subtracted하며, Different of Gaussian (DoG) images 합니다.

    - Scale space를 통하여, extrema로써 Interest point를 탐지합니다.

Scale Invariant Feature Transform (SIFT)

Keypoint 주변에서 gradient 방향과 크기를 활용하여, keypoint를 feature로 변환 후, 각 서브 영역으로 나눠 gradient 방향 히스토그램을 계산합니다. 이때, 서브영역은 16개의 cell로 나눠지고, 각 cell은 8개의 bin으로 구성됩니다. 한 서브영역에서는 128 차원 히스토그램이 생성됩니다.

 

각 bin은 0 ~ 360도 사이의 방향을 나타내며, gradient 방향 정보는 bin의 중심 방향에 따라 가중치가 부여됩니다. 그러므로, 한 서브영역에서는 128차원의 gradient 방향 히스토그램이 생성됩니다. 이후 각 서브영역에서 생성된 히스토그램을 모두 이어붙여 512차원의 description을 생성

Reference

https://i-am-eden.tistory.com/58

[Tübingen ML] Computer Vision - Lecture 3.1 (Structure-from-Motion: Preliminaries)

https://darkpgmr.tistory.com/32

카메라 캘리브레이션 (Camera Calibration)