Stereo Matching

Ⅰ.Stereo matching(스테레오 정합)

- 기본적으로 stereo matching 알고리즘은 아래와 같이 동작

    + 2장의 좌/우 영상이 있는 상태에서, 오른쪽 이미지에서 상응하는 epipolar line을 찾아야함

    + Epipolar line에서의 모든 pixel을 확인하여, 가장 matching 되는 point를 선택

    + 가장 matching 되는 point와의 x축 위치 차이, 즉 disparity정보를 얻음

- 이떄 가장 simple하게 만들수 있는 case가 parallel 하게 image가 배치된 case임

    + 각 카메라들의 image plane은 서로 평행하고 초점(focal length)도 같고, 카메라 중심 높이도 동일

    ※ 두개의 카메라 사이에 "R"(Rotation)이 없다면, Epipolar line이 동일 (→ 즉, y축이 일치 한다!)

parallel case

- 실제로는 위와 같이 parallel case를 현실에서 만들기란 불가능 하다.

- 그래서 retification 이라는 과정을 통해서 parallel 형태로 만든다.

    + 아래 그림에서 image plane이 다르지만, Rotation을 통해서 parallel 형태로 만드는 것을 보여준다.

Stereo rectifiation

    + 중요한 것은 retification 과정을 통해서 원래 mathing 되어야 하는 point가 짤릴 수도 있다는 것이다.

        > 짤리는 부분은 큰 scale을 가지는 영상을 통해서 처리가 가능하겠지만, 일반적으로 그러한 처리를 하지 않습니다.

retifiation에서 알아야하는 case