[Math] chapter 4.1 [Stereo Reconstruction]

 

Stereo Reconstruction

어떻게 이미지로부터, dense한 3D를 생성할 수 있는가?

Binocular Stereopsis

이미지로부터, 객체의 깊이를 추정하는 것을 설명합니다. Stereoscopic rangefinder는 관찰자로부터 대상까지의 거리를 측정하는 최적의 장치라고 볼 수 있습니다. 프리즘은 Mark에 객체가 기기기의 combined view에 중첩될 때까지 회전됩니다.범위는 회전된 만큼 입니다.

Two-View Stereo Matching

1. Calibration Camera : 카메라의 내부 파라미터 및 외부 파라미터를 구합니다.

2. Recitfy images : Calibration Camera를 고려하여, 이미지를 수정합니다.

3. Compute disparity map : 이미지로부터, diparity map을 계산합니다.

4. Remove Outliers : Consistency / Occlusion test를 거쳐서 잘못된 부분을 제거합니다.

5. Obtain depth : Camera Calibration으로부터 disparity를 통해 Depth를 얻습니다.

6. Construct 3D Model : fusing 과 meshing을 활용하여, volumetric한 3D model을 생성합니다.

3D Reconstrcution Pipeline

얼른 만들어보고 싶어요..

Epipolar Geometry

3장에서 했던 내용이다. 3장 참고 바람

Epipolar Line에 따라 Pixel을 찾습니다.

Image Rectification

이미지 수정은 카마레가 객체에 대해서 동일한 방향을 Capture할 때, 진행됩니다. 즉, 이미지가 동일한 3d plane에 놓여 있을 때를 의미합니다. Epipolar line은 inifinity하게 되고, line들은 평행하게 되므로, 이후의 점들을 해당 line에 모두 대응시키면 됩니다.
(2개의 이미지일 때 활용 가능합니다.)

만약 Image가 Setup이 안된다면?

- 이미지를 회전함으로써, 두 이미지 평면을 기준선과 평행한 공통 평면에 Maaping합니다. 이러한 과정을 Rectiification이라고 합니다.
   (즉, 수정되지 않은 부분을 수정하는 것이 가능합니다.)

- 카메라 중심을 중심으로 회전하는 것에 대해서 알 필요가 없습니다.

어떻게 Epipolar line을 수평으로 만들 것인가? (아직 정확히 이해를 하지 못했음..)

카메라 좌표계를 변환하여, 수평으로 해야하는 것이 목적.! (추후 다시 업데이트 예정)

disparity

Disparity to Depth

- Left ray와 Right ray는 epipolar plane에 교차해야 합니다.