Stereo vision

Ⅰ. Stereo vision

- 사람의 각 눈은 각자의 시점(view)을 캡쳐하고, 서로 다른 영상들을 처리하기 위해 뇌로 전송

- 이미지들 사이에서 차이들을 맞추기 위해, 뇌는 두개의 이미지를 결합

- 즉, 뇌는 물체에 깊이(depth)를 인지함

- 정리하면,   Stereo vision은 두개의 영상(=이미지)에서 2D Point로부터 3D point의 depth를 얻기 위한 방법

stereo vision

 

Ⅱ. Epipolar geometry

- 하나의 3D Point M은 나란히 놓여있는 2대의 카메라의 image plane에 맺힐 수 있음

- 3D Point M에서부터 두 대의 카메라 center를 point로 삼각형을 그리면, 하나의 plane이 생길 수 있는데, 이를 "Epipolar plane"이라 함

- 또한, Epipolar plane과 두 대의 카메라 image plane과 만나게 되면 직선이 생길 수 있는데, 이를 "Epipolar line"이라고 함

- 아래 그림을 보고 알수 있는 것은, 3D Point M이 투영되는 x와 x' 은 같은 평면(=epipolar plane)에 존재한다는 것임

- 이때 3D point M은 각 image plane에 있는 epipolar line 위에 맺혀야하는 것이 stereo constraint 임

epipolar geometry

- 위에 constraint를 더 쉽게 이해하기 위해 다시 그려보면, 아래와 같이 그릴 수 있음

    + 3D Point X, X1, X2,는 왼쪽 카메라의 image plane X에 동일하게 맺히게 됨

    + 오른쪽 카메라의 Image plane에서는 정확한 위치는 모르겠지만, epipolar line 위에 점이 맺힌다는 것을 알 수 있음

- 참고로, baseline은 2대의 카메라 간의 사이 거리임

- 착각하지 말아야 하는 것이, 두 대의 카메라의 image plane의 y축은 같을수도 있지만, 다를수도 있다는 것이다.

- 그러면 카메라의 높이를 동일하게 하고 평행하게 배치한다고 하면 어떻게 되겠는가

→ 같은 y축을 가지게 되며, 똑같은 높이의 epipolar line을 가지게 됨

→ 같은 y축을 가질수 있도록 pre-processing 하는 과정이 "rectification"임