[Math] chapter 4.2 [Stereo Reconstruction: Block Matching]

Block Matching

Template Matching이라고도 불립니다. 입력 영상에서 작은 크기의 부분 영상 위치를 찾아내고 싶은 경우 사용합니다.

Template이란? -> 찾고자 하는 대상이 되는 작은 크기의 영상을 의미합니다.

                               입력 영상 전체 영역에 대해 slide를 하면서, 찾고자하는 위치와 가장 비슷한 위치를 numerical하게 찾습니다.

                               (유사도가 높거나 or 비유사도가 낮거나)

Motion Estimation

- 현재 영상과 참조 영상 사이의 motion vector를 추정하는 것을 의미합니다. 즉, 두 영상 사이의 움직임 벡터를 알아내는 것을 의미함.

   Motion Vector를 사용하면, 영상을 압축하여 전송하는 것이 가능합니다.

 

아래의 그림의 K * K를 이미지 블록이라고 합니다. 

영역 기반, 정합 방법을 설명합니다. 주로, SAD(Sum of Absolute Diffierence)와 SSD(Sum of Squared Difference)를 사용합니다.
그 중에서도, SAD는 매우 널리 알려진 알고리즘입니다.

 

SAD(Sum of Absolute Difference)?

    - 좌/우 윈도우 내 픽셀값들의 차이에 절댓값을 취한 후, 합산하는 방법이다.

SSD(Sum of Squared Difference)?

    - 좌/우 윈도우 내 존재하는 픽셀들의 값의 차이를 제곱한 후, 합산하여 정합 비용을 계산합니다.

Similarity Metrics

BMA (Block Matching Algorithm)

- 주어진 이미지 블록에

서 motion vector를 찾는 것을 의미함. (지정한 범위에서만 찾습니다. (search range))

Motion Compensation

- 이전 영상과 모션 벡터를 활용하여, 전송할 영상을 압축하여 전송합니다.

   1. 이전 영상 fx와 다음 영상 ft라고 가정합니다.

   2. fx와 ft를 이용하여, 모션 벡터 (MV)를 구합니다.

   3. fx + MV를 이용하여, 예측 영상을 생성합니다. 

   4. ft - ft_2와 MV 벡터를 전송하면, 수신기에서는 이전에 받은 fx 영상과 받은 MV 벡터를 이용해서,
       ft2를 만들고, 받은 ft - ft2에 만든 ft2를 더해주면, ft 다음 영상을 만드는 것이 가능합니다.

 

여기서, fx 와 ft를 이용하여, motion vector를 구하는 것을 Motion Estimation (ME) fx라고 하고, 모션 벡터를 활용하여, 예측 영상 ft2를 구하는 것이 Motion Compensation (MC)라고 합니다. 

Block Matching : Half Occlusion

두 카메라로부터, Callibration 시, 한 방향에서만 보이는 경우가 있음.