[ Computer Vision ] Mono Depth Estimation이란?

우선, Depth Estimation이란 말 그대로 영상에서 깊이를 그대로 추정하는 것을 의미합니다. 컴퓨터는 사진만 보고, 사진 내 존재하는 객체를 추정하기 어려워 합니다. 따라서 깊이를 추정하기 위해 train하는 것을 말합니다. 하단의 그림을 보다시피, 가까운 부분은 밝은색, 어두운 부분은 보라색임을 알 수 있습니다.

Depth Estimation이란, Stereo와 Mono가 존재합니다. Mono Depth Estimation은 말 그대로 하나의 image만을 가지고, Depth를 추정하는 방식입니다. Depth를 추정할 때는, Stereo Camera로 찍은 left image와 right image가 필요합니다. left image와 right image로부터 차이가 얼마나는지 파악함으로써, Disparity를 파악할 수 있습니다.

그리하여, Stereo Depth Estimation은 Left Image와 Right Image의 disparity를 구해서, 그 값을 이용하여, Depth를 추정한다고 볼 수 있습니다. 

 

그렇다면, Mono Depth Estimation의 경우에는 어떻게 Depth를 추정하는지?

논문 리뷰에서는 Godard의 Left-right consistency에는 설명되어 있지만, Mono Depth를 추정하기 위해서는 네트워크에서 하나의 Image, 즉 Left Image만을 넣습니다. 이후, Left image를 통하여, 2개의 Disparity를 얻습니다.

이후, Loss에 Reconstructure Loss를 사용함으로써, 현재 추정한 left disparity와 rigt image를 활용하여, left image와 비교합니다.

비교시, disparity가 큰 경우 Loss를 활용하여, 크게 regularization을 진행합니다.