[Math] chapter 4.1 [Stereo Reconstruction] - supplementary

ColMap이란?

Structure-from-Motion과 Multi-View Stero와 같은 3D reconstructure Pipeline을 생성하는 것입니다.

즉, 2D Image를 3D로 복원해주는 tool입니다. (Struction from Motion(SFM)이라고도 합니다.)

Focal Length : 렌즈 중심과 이미지 센서 사이의 거리를 의미합니다. (단위는 Pixel)
예를들어, f_x 와 f_y가 존재하는 이유는 이미지 센서의 셀의 거리 세로/가로 길이가 다르기 때문입니다.
즉, f_x는 렌즈 중심으로부터 이미지 센서까지의 초점거리가 셀의 가로 길이가 몇배인지 나타냅니다.

Feature Detection & Description

SIFT란?

이미지의 크기와 회전에 불변하는 특징점을 찾는 기법입니다.

먼저 이미지를 2배 키워준 후 순차적으로 Blur 처리 합니다. 이후, 이미지 사이즈를 줄여나가며 총 2

0개의 이미지를 생성합니다.

그다음 인접한 이미지들끼리 빼줍니다. 자세히 보면 얼룩말의 모습이 살짝 보입니다.

정규화해서 더욱 선명하게 만드는 것이 가능합니다.

이러한 과정을 거치면서, Scale invariance를 만족시킵니다. 이후, Rotation Invariance를 만족 시킵니다.

다음, Key point에 대해서 가중치를 부여합니다.

Keypoint는 주변에 대한 정보를 만들고, 이를 지문(finger print)라고 부릅니다. 해당 지문의 각도에서 keypoint의 각도를 빼고, 밝기 의존성을 위해 정규화만을 하면 끝이 납니다. 크기, 각도, 밝기에 따라, Invariant하므로, 어떠한 상황이든 특징점을 찾는 것이 가능합니다.

 

이후, Epipolar Geometry를 활용하여, 서로 다른 특징점들을 연결하는 것이 가능합니다.

하지만, 높이 정보가 없기 때문에, 정확한 값을 찾는 것을 얻는 것이 불가능합니다. 그러므로, 오차를 줄이기 위해서 Triangulation을 활용하여, 3D 좌표를 예상하고, 다른 카메로 투영 시 오차를 계속해서 줄입니다. 그리하여, R과 T를 구하는 것이 가능합니다.

자세한 설명은 해당 링크로..!
https://bskyvision.com/entry/SIFT-Scale-Invariant-Feature-Transform%EC%9D%98-%EC%9B%90%EB%A6%AC

Reference

https://www.youtube.com/@EnsignerTV/playlists