반응형 영상처리/Computer vision13 Stereo matching - Global matching 본 장에서 Global matching의 한 종류인 dynamic programming 에 대해서 설정하겠습니다. 우선 알고리즘 설명 전에 기본적인 내용에 대해서 먼저 설명을 하고 넘어가겠습니다. 지역 정합 방법은 local 특성을 반영하지만 전체적인 특성 반영은 할 수 없습니다. 그럼 전체적인 특성이 무엇이 있는지 부터 알아봐야 겠지요? Ⅰ. Uniqueness - 정의하면, 반드시 1:1 매칭이 되어야 한다는 것입니다. + 서로 다른 물체의 점이 하나의 point에 매칭이 될 수 없다는 것을 의미합니다 - 아래의 그림은 uniquness가 위반되는 case를 그린 것입니다. + 좌측 카메라에서의 한점이 우측 카메라서 2point에 매칭점이 생겨서 위반되었다고 하는 것입니다. Ⅱ. Ordering - .. 2022. 10. 3. Stereo matching - local matching(2) Ⅰ. 영역 기반 정합 방법 - 윈도우 간의 상관도(= 정합 비용, 비유사도)를 기반으로 계산하여 시차를 계산하는 방법이며, 다양한 알고리즘이 존재하지만, 그 중에서도 Census transform은 잡음에 강하다는 특징이 있어서 많이 사용되는 알고리즘이다. 그래서 본 쳅터에서는 Census transform을 설명하며, 이와 유사한 Rank transform을 설명하겠습니다. Ⅱ. Census transform - 각각 개별적으로 기준영상의 윈도우(=Census window)와 목표 영상의 윈도우들 내에 존재하는 중심 픽셀과 주변 픽셀의 값의 비교를 통해 '1' 혹은 '0'의 패턴을 생성하고, 개별적으로 생성된 패턴은 1열의 벡터로 표현한다. 생성된 벡터들은 정합비용을 계산하는데 사용 - 기준 영상의 벡.. 2022. 10. 3. Stereo matching - local matching Ⅰ. 영역 기반 정합 방법 - 윈도우 간의 상관도(= 정합 비용, 비유사도)를 기반으로 계산하여 시차를 계산하는 방법이며, 다양한 알고리즘이 존재한다. 그 중에서도 SAD(Sum of Absolute difference)는 매우 널리 알려진 알고리즘이다. 그래서 본 장에서는 SAD를 설명하며, 이와 거의 유사한 SSD(Sum of squared difference)도 같이 짧게나마 설명하겠습니다. Ⅱ. SAD(Sum of Absolute Difference) - 좌/우 윈도우 내 존재하는 픽셀들의 값의 차이에 절대값을 취한 후, 합산하여 정합 비용을 계산합니다. - 아래의 그림을 보면 쉽게 이해 가능합니다. + 기준 영상(좌측 영상)의 한 점과 목표 영상(우측 영상)의 시차 탐색 범위(disparity .. 2022. 10. 3. Stereo matching(추가) Ⅰ. 스테레오 정합 - 스테레오 정합은 기준 영상(reference image)에서의 한 점에 대한 동일한 점(= 똑같은 점)을 목표 영상(target image)에서 찾는 과정이라고 말할 수 있습니다. + 쉽게 풀어쓴다면, 최종 목표는 앞서서 스테레오 비전을 설명할 때 나온 '시차(disparity)'를 계산하는 과정이라고 이해하면 됩니다. + '기준 영상은 뭐고? 목표 영상은 뭐냐?' 기준 영상은 좌측 영상이 될 수도 있고, 우측 영상이 될 수도 있습니다. > 목표 영상은 기준 영상의 반대 영상입니다. 아래 그림을 통해 기준 영상을 이해하시면 됩니다. + 먼저 좌측 영상을 기준 영상으로, 좌/우 영상에서 동일하게 나타나는 한 점을 생각해본다면, 아래 그림처럼 좌측 영상에서의 한 점을 기준으로 우측 영.. 2022. 10. 3. Stereo Matching Ⅰ.Stereo matching(스테레오 정합) - 기본적으로 stereo matching 알고리즘은 아래와 같이 동작 + 2장의 좌/우 영상이 있는 상태에서, 오른쪽 이미지에서 상응하는 epipolar line을 찾아야함 + Epipolar line에서의 모든 pixel을 확인하여, 가장 matching 되는 point를 선택 + 가장 matching 되는 point와의 x축 위치 차이, 즉 disparity정보를 얻음 - 이떄 가장 simple하게 만들수 있는 case가 parallel 하게 image가 배치된 case임 + 각 카메라들의 image plane은 서로 평행하고 초점(focal length)도 같고, 카메라 중심 높이도 동일 ※ 두개의 카메라 사이에 "R"(Rotation)이 없다면, .. 2022. 10. 3. Depth & Disparity Ⅰ. Disparity & Depth - disparity(시차) : 좌/우 영상에서 동일하게 나타나는 물체에 대한 x축 위치 차이를 의미 + 수식으로 정의하면 아래와 같음 - Depth란 정의는 깊이 이며, 말 그대로 영상에서의 깊이를 의미한다. 그래서 Disparity 값으로 채워진 영상을 보통 depth image 라고 부른다. - Dispariy 를 계산하는 방법은 아래와 같다. + 3차원의 (x,y,z) 점은 좌/우 카메라의 렌즈의 중심을 거쳐 이미지 평면에 상이 맺히게 됨 (이때, y축은 좌/우 카메라가 동일함을 가정) + 이때, 빨간색 파선과 파란색 파선 각각에 대해 거리에 대한 비례식을 세울 수 있음(색깔로 매칭해서 수식 구분하세요) + 'z'는 실제 3차원의 거리를 의미하며, 이때 사용되.. 2022. 10. 3. Essential matrix & Fundamental matrix Ⅰ. Epipolar line - 뒤에 이어서 Essential matrix 와 Fundamenal matrix을 설명하기에 앞서 해당 내용을 추가합니다. - Epopolar line은 아래와 같은 수식으로 나타낼수 있습니다. - 또, 다르게는 아래와 같이 풀어 쓸 수 있습니다. - 이를 종합하여, 다시 식을 써내려가면, - 위와 같이 수식은 정의될 수 있다. - 이어서 이전 과정에서 배웠던 수식을 가져와보면, 아래와 같이 된다. - 정리하면, k(intrinsic parameter)와 Fundamental matrix를 안다면, pixel 좌표를 이용 - 만약 모른다면, Essential matrix와 camera 좌표계를 이용하면 됨 - 위의 내용을 잘 이해 못해도, 아래의 내용을 계속 보면 이해가 .. 2022. 10. 2. Stereo vision Ⅰ. Stereo vision - 사람의 각 눈은 각자의 시점(view)을 캡쳐하고, 서로 다른 영상들을 처리하기 위해 뇌로 전송 - 이미지들 사이에서 차이들을 맞추기 위해, 뇌는 두개의 이미지를 결합 - 즉, 뇌는 물체에 깊이(depth)를 인지함 - 정리하면, Stereo vision은 두개의 영상(=이미지)에서 2D Point로부터 3D point의 depth를 얻기 위한 방법 Ⅱ. Epipolar geometry - 하나의 3D Point M은 나란히 놓여있는 2대의 카메라의 image plane에 맺힐 수 있음 - 3D Point M에서부터 두 대의 카메라 center를 point로 삼각형을 그리면, 하나의 plane이 생길 수 있는데, 이를 "Epipolar plane"이라 함 - 또한, Ep.. 2022. 10. 1. 이전 1 2 다음 반응형
