KR20130120730A - 변이 공간 영상의 처리 방법 - Google Patents

Abstract

본 발명은 적어도 두 장의 스테레오 영상을 이용하여 생성되는 변이 공간 영상에 포함된 내재적인 기하학적 정보 즉, 응집성과 대칭성을 이용하여 진짜 대칭점에서의 유사도를 강조하는 처리를 통해 원본 변이 공간 영상에 포함된 변이 곡면 주변의 정보를 강조하도록 하는 처리 방법에 관한 것이다. 변이 공간 영상의 처리 방법은 시차를 가진 적어도 두 대의 카메라를 이용하여 에피폴라 기하 조건을 만족하는 스테레오 영상을 촬영하는 영상 촬영 단계, 촬영된 영상을 토대로 3차원 변이 공간 영상의 화소를 생성하는 변이 공간 영상 생성 단계, 변이 공간 영상에 포함된 정보는 보존하는 수준에서 변이 공간 영상의 밝기 분포의 분산을 줄이도록 하는 응집성 강조 처리 단계, 변이 공간 영상에서 변이가 변하는 방향에 대해 반사 대칭의 위치에 있는 화소들의 유사도를 강조하는 처리를 수행하여 대칭성을 강조한 변이 공간 영상을 생성하는 대칭성 강조 처리 단계 및 대칭성을 강조한 변이 공간 영상 내 적어도 세 개의 대응점을 연결하여 변이 곡면을 추출하는 곡면 추출 단계를 포함한다.

Description

변이 공간 영상의 처리 방법{METHOD FOR PROCESSING DISPARITY SPACE IMAGE}

본 발명은 변이 공간 영상의 처리 방법에 관한 것이다. 보다 상세하게는 적어도 두 장의 스테레오 영상을 이용하여 변이 공간을 구성하는 단계를 제공하고, 변이 공간이 포함하는 기하학적 정보 즉, 응집성과 대칭성을 이용하여 진짜 대칭점에서의 유사도가 높아지도록 하는 처리 방법에 관한 것이다.

스테레오 정합은 오른쪽과 왼쪽에 위치한 두 대의 카메라를 이용하여 대상 물체를 촬영하고, 촬영 결과를 토대로 두 장의 스테레오 영상이 제작되었을 경우, 이와 같은 제작 과정의 역순으로서 두 장의 스테레오 영상을 이용하여 대상 물체의 깊이 정보(depth information)를 복원하는 일련의 처리 과정이다. 여기서 대상 물체의 깊이 정보는 두 대의 카메라에 의한 관측에서 시차(parallax)로 나타나게 되며, 이러한 시차는 스테레오 영상을 만드는 과정에서 화소의 위치 변화를 나타내는 변이 정보(disparity information)로 기록된다. 즉, 스테레오 정합은 두 장의 스테레오 영상이 포함하고 있는 변이 정보를 계산하는 과정을 통해 물체의 3차원 정보를 복원한다. 여기서, 두 장의 스테레오 영상이 에피폴라 기하(epipolar geometry) 조건을 만족하도록 배열된 경우, 변이 정보는 두 장의 스테레오 영상의 동일한 스캔라인(scan line)에서 왼쪽과 오른쪽의 위치 변화에 대응한다. 에피폴라 기하 조건을 만족하는 두 장의 스테레오 영상에서 변이 공간은 각 스캔라인에 대하여 왼쪽과 오른쪽 영상의 모든 화소를 토대로 구성된다. 이와 같은 두 장의 스테레오 영상으로부터 만들어지는 3차원 변이 공간 구성의 기하학적인 형태는 고전적 방식(R.D. Henkel, 1997, "Fast stereovision by coherence detection", Computer Analysis of Images and Patterns, LNCS Vol.1296), 대각선 방식(D. Marr, T. Poggio, 1976, "Cooperative computation of stereo disparity", Science, Vol.194, No.4262) 및 비스듬한 방식(A.F. Bobick and S.S. Intille, 1999, "Large occlusion stereo," International Journal of Computer Vision, Vol.33)과 같이 세 가지 종류로 구분될 수 있다. 3차원 변이 공간 구성의 기하학적인 형태는 각각 다르지만 3차원 변이 공간의 각 화소에 포함된 정보와 동일하다. 그 이유는 대각선 방식의 변이 공간을 45도 회전하면 고전적 방식의 변이 공간이 만들어지고, 대각선 방식의 변이 공간의 한 축을 45도 기울이면 비스듬한 방식의 변이 공간이 만들어지기 때문이다. 다만, 고전적 방식의 변이 공간을 구성하는 경우에는 누락된 화소(omission pixel)에 대해 보간(interpolation) 과정이 필요하다. 세 개 이상의 복수 카메라로부터 얻어지는 영상을 이용하는 경우에는 일반화된 변이 공간(R.S. Szeliski and P. Golland, 1997, "Method for performing stereo matching to recover depths, colors and opacities of surface elements", PCT Application Number US98-07297 (WO98/047097, Filled Apr 10, 1998), US Patent Number 5917937, Filled Apr 15, 1997, Issued Jun 29, 1999.의 변이 공간 구성이 이에 해당됨)을 구성할 수 있다. 일반화된 변이 공간에서도 에피폴라 기하 조건을 만족하는 세 장 이상의 스테레오 영상에 포함된 각 화소를 토대로 일반화된 변이 공간의 한 화소가 구성된다.

변이 공간 또는 일반화된 변이 공간을 구성하는 화소는 적어도 두 장의 스테레오 영상에 포함된 화소의 밝기 정보 또는 특징 정보를 이용하여 구성한다. 적어도 두 장의 스테레오 영상을 이용하여 변이공간을 구성할 때, 각 스테레오 영상에 포함된 하나의 화소의 위치는 변이 공간 또는 일반화된 변이 공간에서 하나의 화소의 위치에 대응된다. 즉, 변이 공간 또는 일반화된 변이 공간의 하나의 화소에는 이에 대응되는 스테레오 영상에 있는 적어도 한 개의 화소가 대응된다.

여기서, 변이 공간에 있는 하나의 화소의 값은 이에 대응되는 스테레오 영상에 있는 적어도 두 개의 화소의 값을 이용하여 구성할 수 있다. 변이 공간에서 하나의 화소의 값은 이에 대응되는 스테레오 영상에 있는 화소의 절대 값의 차이(absolute difference) 또는 값의 차이의 제곱(squared difference), 복수 화소에 의한 평균 값에 대한 절대값의 차이(absolute difference to the mean value) 등에 의해 만들어질 수 있다. 또한, 상기 변이 공간에서 하나의 화소의 값은 이에 대응되는 스테레오 영상에 있는 화소의 주변 화소를 함께 이용하여 절대 값의 차이의 합(sum of absolute difference), 값의 차이의 제곱의 합(sum of squared difference), 교차 상관(cross correlation), 복수 화소에 의한 평균 값에 대한 절대값의 차이의 합(sum of absolute difference to the mean value) 등에 의해 만들어 질 수 있다. 또한, 적응적인 국부 가중치(adaptive support weight)를 적용하여 구한 유사도 계산 방법(K.J. Yoon, I.S. Kweon, 2006, "Adaptive Support-Weight Approach for Correspondence Search", IEEE Trans. Pattern Analysis and Machine Intelligence, Vol.28, No.4)에 의해 만들어 질 수 있다. 또한, 특정 화소와 그 주변의 밝기 정보의 통계적 특성만을 사용하는 방법인 히스토그램을 이용한 유사도 계산 방법(V.V. Strelkov, 2008, "A new similarity measure for histogram comparison and its application in time series analysis", Pattern Recognition Letter, Vol.29)에 의해 만들어 질 수 있다.

상기 변이 공간의 화소 값은 이에 대응되는 스테레오 영상에 있는 화소의 원래 값이 아니라 에지(edge) 또는 경사(gradient)와 같은 특징 정보를 이용하여 구성할 수도 있다. 또한, 특징 정보의 통계적 특성만을 사용하는 특징의 히스토그램(feature histogram)을 이용한 이용한 유사도 계산 방법을 이용하여 구성할 수도 있다.

상기 변이 공간의 화소의 값을 구하는 방법은 일반화된 변이 공간에 대해서도 적용되므로, 일반화된 변이 공간에서 하나의 화소의 값은 이에 대응되는 세 장 이상의 영상에 있는 화소의 값을 이용하여 계산할 수 있다.

변이 공간에서 이에 대응되는 스테레오 영상에 의한 유사도가 가장 높은 점들을 찾아 연결하는 경우에 2.5 차원 곡면이 생성된다. 여기서, 2.5 차원 곡면은 변이 곡면(disparity surface) 또는 변이 지도(disparity map)라고도 하며, 스테레오 정합을 통해 구하고자 하는 물체의 변이 정보에 해당한다. 또한, 변이 정보에 카메라 모델(camera model)을 적용하면 물체의 깊이 정보를 구할 수 있다. 상기 깊이 정보 추출 방법 또는 단계는 일반화된 변이 공간에 대해서도 동일하게 적용이 된다. (이하에서 특별한 지시가 없는 한, 변이 공간이 구성된 이후의 처리 단계에 대한 설명에서 사용하는 "변이 공간"은 "일반화된 변이 공간"을 포함하는 의미로 사용한다)

변이 공간에서 전역적인 유사도가 가장 높은 곡면에 해당하는 변이 곡면은 전역적인 비용 함수(global cost function)가 최소화되는 유일한 곡면 또는 이와 동등한 의미를 갖는 곡면인 전역적인 유사도 측정 함수(global similarity measurement function)가 최대화되는 유일한 곡면과 동일하며, 그래프 컷(graph-cut)과 같은 전역적인 최적화(global optimization) 또는 승자 독식(winner takes all)과 같은 국부적인 최적화(local optimization) 방법을 이용하여 구할 수 있다.

변이 공간에서 이에 대응되는 스테레오 영상에 의한 진짜 대응점(true matching point 또는 true target)의 유사도가 가짜 대응점(false matching point 또는 false target)의 유사도보다 항상 높도록 설정할 수 있다면, 스테레오 정합의 전역적인 최적해(globally optimized solution)에 해당되는 진짜 변이 곡면(true disparity surface)을 구하는 문제인 스테레오 정합 문제(stereo matching problem)를 쉽게 해결할 수 있는 기초를 마련하게 된다.

이와 같이, 변이 공간에서 국부적인 최적해 또는 전역적인 최적 해를 구하기 위한 다양한 알고리즘이 제안되어 왔다. 그러나, 거의 대부분 문헌에서 단순히 정보를 저장하는 데이터 공간으로서 변이 공간을 사용하였을 뿐이며, 변이 공간의 기하학적 특성을 이용한 전처리 과정을 통해 진짜 대응점의 유사도를 상대적으로 높이기 위한 전처리는 제대로 이루어지지 못한 문제점이 있다.

본 발명의 목적은, 적어도 두 장의 스테레오 영상을 이용하여 변이 공간을 구성하는 단계를 제공하고, 변이 공간이 포함하는 기하학적 정보 즉, 응집성과 대칭성을 이용하여 진짜 대칭점에서의 유사도가 높아지도록 하는 변이 공간 영상의 처리 방법을 제공하는 것이다.

상기 과제를 해결하기 위한 본 발명의 실시예에 따른, 변이 공간 영상의 처리 방법은

적어도 두 대의 카메라를 이용하여 스테레오 영상을 촬영하는 단계; 상기 스테레오 영상을 토대로 변이 공간 영상의 화소를 생성하는 단계; 상기 변이 공간 영상에 대하여 대칭성 강조 처리를 수행하여 대칭성을 강조한 변이 공간 영상을 생성하는 단계; 및 상기 대칭성을 강조한 변이 공간 영상 내 적어도 세 개의 대응점을 연결하여 변이 곡면을 추출하는 단계를 포함한다.

상기 대칭성을 강조한 변이 공간 영상을 생성하는 단계 이전에 상기 변이 공간 영상에 대한 응집성 강조 처리를 수행하는 단계를 더 포함한다.

상기 응집성 강조 처리를 수행하는 단계는 변이 공간 영상의 한 중심 화소에 대하여 이전에 정한 하나의 유클리드 거리 안에 포함되는 주변 화소들의 가중 평균값과 다른 하나의 유클리드 거리 안에 포함되는 주변 화소들의 가중 평균값을 계산한 후, 이 두 가중 평균값의 차이를 계산하는 하는 함수를 적용하는 것을 특징으로 한다.

상기 두 가중 평균값의 차이를 계산하는 함수는

상기 변이 공간 영상에

수학식 1:

을 적용하는 것을 특징으로 한다.

상기 대칭성을 강조한 변이 공간 영상을 생성하는 단계는 상기 원본 변이 공간 영상에서 한 중심 화소에 대해 w축의 상하 방향으로 반사 대칭의 위치에 있는 변이 공간 영상 화소들의 유사도를 계산하는 함수를 적용하는 것을 특징으로 한다.

상기 변이 공간 영상 화소들의 유사도를 계산하는 함수는 상기 원본 변이 공간 영상에

수학식 3:

을 적용하여 변이 공간 영상의 각 화소에 해당되는 위치에서 계산을 수행하는 것을 특징으로 한다.

상기 대칭성을 강조한 변이 공간 영상을 생성하는 단계는 상기 응집성 강조 처리를 수행한 응집성 강조 변이 공간 영상에서 한 중심 화소에 대해 w축의 상하 방향으로 반사 대칭의 위치에 있는 응집성 강조 변이 공간 영상 화소들의 유사도를 계산하는 함수를 적용하는 것을 특징으로 한다.

상기 응집성 강조 변이 공간 영상 화소들의 유사도를 계산하는 함수는 상기 응집성 강조 처리를 수행한 응집성 강조 변이 공간 영상에

수학식 4:

를 적용하여 변이 공간 영상의 각 화소에 해당되는 위치에서 계산을 수행하는 것을 특징으로 한다.

본 발명의 실시예에 따르면, 변이 공간 영상의 처리 방법은 변이 공간 영상에 응집성 강조 처리 단계 및 대칭성 강조 처리 단계를 적용함으로써, 스테레오 정합을 위해 구성되는 변이 공간에 포함된 변이 정보의 신뢰도가 낮아 스테레오 정합의 정밀도 향상에 어려움을 겪는 문제를 해결하고, 진짜 대응점 주변의 정보를 강화할 수 있다.

본 발명의 실시예에 따르면, 응집성 강조 처리 단계는 변이 공간 영상에 포함된 영상의 밝기 분포의 분산을 줄여줌으로써, 다음 단계 즉, 대칭성 강조 처리 단계의 효율성을 높일 수 있다. 또한, 본 발명의 실시예에 따르면, 대칭성 강조 처리 단계는 변이 공간의 내재적인 특성을 이용한 일종의 영상 정합 강조 처리를 통해 진짜 대응점 주변에서의 영상의 대비를 강화하여, 다음 단계에서 이루어지는 곡면 추출 단계의 효율성을 높일 수 있다.

도 1은 본 발명의 실시예에 따른 변이 공간 영상의 처리 방법을 나타내는 흐름도이다.
도 2는 본 발명의 실시예에 따른 변이 공간을 나타내는 도면이다.
도 3은 본 발명의 실시예에 따른 고전적 방식의 변이 공간의 u-w 평면을 나타내는 도면이다.
도 4는 본 발명의 실시예에 따른 대각선 방식의 변이 공간의 u-w 평면을 나타내는 도면이다.
도 5는 본 발명의 실시예에 따른 비스듬한 방식의 변이 공간의 u-w 평면을 나타내는 도면이다.
도 6은 본 발명의 실시예에 따른 변이 공간 영상의 u-w 평면의 사례 나타내는 도면이다.
도 7은 본 발명의 실시예에 따른 고전적 방식의 변이 공간 영상에서 u축에 직각인 방향으로 절개를 해서 나타나는 v-w 평면의 한 사례를 나타내는 도면이다.
도 8은 본 발명의 본 발명의 실시예에 따른 고전적 방식의 변이 공간 영상에서 v축에 직각인 방향으로 절개를 해서 나타나는 u-w 평면의 한 사례를 나타내는 도면이다.
도 9 및 도 10은 도 7 및 도 8에 응집성 강조 처리 단계를 수행한 결과에 해당한다.
도 11은 본 발명의 실시예에 따른 대칭성 강조 처리 단계를 나타내는 도면이다.
도 12 및 도 13은 도 9 및 도 10에 대칭성 강조 처리 단계를 수행한 결과에 해당한다.
도 14는 본 발명의 실시예에 따른 대칭성 강조 처리 단계가 수행되는 공간 범위를 나타내는 도면이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하에서는, 본 발명의 실시예에 따른 변이 공간 영상의 처리 방법 및 그 장치에 대하여 첨부한 도면을 참고로 하여 상세히 설명한다.

도 1는 본 발명의 실시예에 따른 변이 공간 영상의 처리 방법을 나타내는 흐름도이다.

도 1을 참고하면, 변이 공간 영상을 처리하는 장치(이하 "변이 공간 영상의 처리 장치"라고도 함)는 적어도 두 대의 카메라를 이용하여 시차가 포함된 영상을 촬영하고, 그 결과를 적어도 두 장의 스테레오 영상으로 출력한다(S100).

변이 공간 영상의 처리 장치는 출력된 스테레오 영상을 토대로 3차원의 원본 변이 공간 영상(disparity space image)의 화소를 생성한다(S200).

변이 공간 영상의 처리 장치는 원본 변이 공간 영상에 대하여 국부적으로 응집성을 강조하는 함수를 적용하여 원본 변이 공간 영상의 응집성을 강조한 응집성 강조 변이 공간 영상의 화소를 생성한다(S300).

변이 공간 영상의 처리 장치는 응집성 강조 변이 공간 영상에 대하여 국부적으로 대칭성을 강조하는 함수를 적용하여 응집성 강조 변이 공간 영상의 대칭성을 강조한 대칭성 강조 변이 공간 영상을 생성한다(S400).

변이 공간 영상의 처리 장치는 대칭성 강조 변이 공간 영상 내 적어도 세 개의 대응점을 추출하고, 추출한 대응점들을 연결하여 변이 곡면을 추출한다(S500).

본 발명의 실시예에 따른, 변이 공간 영상의 처리 장치는 원본 변이 공간 영상의 응집성을 강조하여 응집성 강조 변이 공간 영상의 화소를 생성하는 과정을 포함하고 있으나, 이에 한정되지 않는다. 즉, 응집성 강조 처리 단계(S300)없이, 원본 변이 공간 영상에 국부적으로 대칭성을 강조하는 함수를 적용하여 원본 변이 공간 영상의 대칭성을 강조한 대칭성 강조 변이 공간 영상을 얻고, 이 대칭성 강조 변이 공간 영상 내에서 추출한 적어도 세 개의 대응점을 연결하여 변이 곡면을 추출할 수 있다.

이와 같은, 변이 공간 영상의 처리 방법으로 변이 공간 영상을 처리하는 단계를 도 2 내지 도 13을 참조하여 상세하게 설명한다.

도 2는 본 발명의 실시예에 따른 변이 공간을 나타내는 도면이다.

먼저, 도 1에서 촬영한 결과로서 제공되는 스테레오 영상은 에피폴라 기하(epipolar geometry) 조건을 만족한다.

두 장의 스테레오 영상을 이용하여 변이 공간 영상을 구성하는 변이 공간 영상 생성 단계(S200)에서, 왼쪽 스테레오 영상의 한 화소의 좌표는 (x_L, y)이고, 오른쪽 스테레오 영상의 한 화소의 좌표는 (x_R, y)라고 정의하는 경우, 변이 공간의 한 화소의 좌표는 D(u, v, w)이다.

도 2을 참고하면, 변이 공간은 세 축(u축, v축 및 w축)에 의해 위치가 정의되는 공간이다.

v축은 스캔라인(u축)의 변화 방향이며, w축은 변이의 값이 변화하는 방향이다.

에피폴라 기하 조건을 만족하는 경우에 스캔라인(u축)은 왼쪽 스테레오 영상(이하 "왼쪽 영상"라고도 함)과 오른쪽 스테레오 영상(이하 "오른쪽 영상"이라고도 함)에서 동일한 위치에 있는 라인이다. 이와 같은, 에피폴라 기하를 만족하는 스캔 라인은 변이 공간에서도 같은 위치로 이동하므로, 스테레오 영상의 y축의 좌표는 변이 공간의 v축의 좌표와 동일하게 된다. 스테레오 영상에서 다른 두 좌표에 해당하는 u 및 w는 각각 x_L 및 x_R의 관계식으로서 표현이 된다. 따라서, u 및 w는 하나의 2차원 평면(이하 "u-w 평면"라고도 함)을 형성한다. 일반화된 변이 공간도 상기 변이 공간처럼 세 축(u축, v축 및 w축)에 의해 위치가 정의된다. 일반화된 변이 공간에서도 에피폴라 기하를 만족하는 조건에서 u-w 평면을 형성한다.

u-w 평면의 구성은 이하 도 3 내지 도 5에서 설명하는 세가지 종류의 변이 공간 구성 방식에 대응한다. 여기서, 세가지 종류는 고전적 방식, 대각선 방식 및 비스듬한 방식을 포함한다.

도 3은 본 발명의 실시예에 따른 고전적 방식의 변이 공간의 u-w 평면을 나타내는 도면이다.

스테레오 영상의 동일한 스캔라인에 위치하는 왼쪽 영상의 화소와 오른쪽 영상의 화소를 각각 대각선 방향으로 위치시킨 상태에서, 변이 공간의 한 화소의 값은 그 화소에 기하학적으로 대응하는 스테레오 영상의 화소쌍(pixel pair)을 이용하여 구성한다. 이러한, 변이 공간 영상 생성 단계(S200)는 반드시 왼쪽 영상과 오른쪽 영상의 단일 화소쌍에 의한 값의 차이만을 이용하여 계산해야 하는 것은 아니다. 변이 공간의 화소는 왼쪽 영상과 오른쪽 영상에서 일정한 주변 영역의 화소쌍들을 대상으로, 두 영상 화소쌍들의 절대 값 차이의 합, 두 영상 화소쌍들의 차이의 제곱의 합, 두 영상 화소쌍들 사이의 교차 상관, 두 영상 화소쌍들 사이의 해밍 거리의 합(sum of Hamming distance), 화소쌍들에 의한 적응적인 국부 가중치, 화소쌍 집합의 히스토그램, 주변 영역의 특징, 특징의 히스토그램 등 스테레오 정합에서 사용하는 통상적인 유사도 계산 수단(similarity measure function 또는 cost function)를 이용하여 계산할 수 있다. 또한, 왼쪽 영상과 오른쪽 영상은 반드시 촬영된 그대로의 상태일 필요는 없다. 촬영 영상은 에지를 강조한 영상, 특징을 추출한 영상, 센서스 변환(census transform)을 수행한 영상, 국부적인 통계 처리를 수행한 영상 등 원래 영상에서 변형된 영상일 수도 있으며, 이에 한정되지 않는다. 일반화된 변이 공간의 화소의 값을 계산하는 변이 공간 영상 생성 단계(S200)에서도 상기 통상적인 유사도 계산 수단 및 상기 촬영된 그대로의 영상 또는 변형된 영상을 적용한다.

왼쪽 영상과 오른쪽 영상의 좌표가 대각선 방향으로 위치하고 있으므로, 고전적 방식의 변이 공간에서는 화소의 값이 계산되지 못하는 위치가 존재하게 된다. 이와 같이 누락된 화소에 대해서는 보간 작업을 별도로 수행할 수 있다.

스테레오 영상은 정수(integer)의 값을 갖는 양자화된 화소 좌표(quantized pixel coordinate)에 의해 표현되는 2차원 평면이고, 변이 공간은 양자화된 화소 좌표에 의해 표현되는 3차원 공간이다. 일반화된 변이 공간을 구성하는 변이 공간 영상 생성 단계(S200)에서, 변이 공간으로 투사된 스테레오 영상의 화소 좌표가 모두 다 정수의 값을 가지고 변이 공간의 화소 위치에 정확하게 대응하는 것은 아니므로, 화소의 값이 계산되지 못하는 위치가 존재하게 된다. 이와 같은 경우 일반화된 변이 공간의 화소의 값은 보간 작업을 통해 생성된다.

도 3을 참고하면, Df는 변이의 값이 높은 방향, Dn은 변이의 값이 낮은 방향에 해당한다. 변이는 u축의 한 화소에 대하여 양방향 화살표의 방향을 따라 어느 한 위치에 존재하게 된다.

수평 방향의 실선은 변이가 동일한 값을 갖는 선 또는 면을 나타내는 것이며, 대각선 방향의 점선은 엄폐(occlusion)가 존재하는 방향을 나타낸다.

고전적 방식의 변이 공간의 u-w 평면은 하나의 스캔라인에 의해 형성되는 평면이다. 즉, 도 2와 같은 변이 공간은 입력되는 스테레오 영상의 전체 스캔라인을 이용하여 구성할 수 있다.

도 4는 본 발명의 실시예에 따른 대각선 방식의 변이 공간의 u-w 평면을 나타내는 도면이다.

스테레오 영상의 동일한 스캔라인에 위치하는 왼쪽 영상의 화소와 오른쪽 영상의 화소를 각각 u축과 w축 방향으로 위치시킨 상태에서, 두 영상의 화소의 위치는 변이 공간 영상(Disparity Space Image)의 위치에 해당하는 화소에 대응한다.

도 4의 u-w 평면은 기하학적으로 도 3의 u-w 평면을 45도 회전한 것과 동일하다. 즉, 도 4의 u-w 평면은 도 3의 u-w 평면으로부터 유추할 수 있다. 따라서, 도 3의 u-w 평면과 도 4의 u-w 평면은 동일한 정보를 포함한다.

도 5는 본 발명의 실시예에 따른 비스듬한 방식의 변이 공간의 u-w 평면을 나타내는 도면이다.

도 5의 u-w 평면은 도 4의 u-w 평면으로부터 유추할 수 있다. 따라서, 도 4의 u-w 평면과 도 5의 u-w 평면은 동일한 정보를 포함한다.

다음, 도 3 내지 도 5에서 설명하는 세가지 종류의 변이 공간 구성 방식으로 구성된 변이 공간 영상의 u-w 평면의 사례를 도 6을 참조하여 상세하게 설명한다.

도 6은 본 발명의 실시예에 따른 변이 공간 영상의 u-w 평면의 사례 나타내는 도면이다.

도 6을 참고하면, 굵게 나타나는 선은 변이 정보 예를 들어, 변이 곡선(disparity curve)에 대한 정보에 해당한다.

도 6은 변이 정보의 이상적인 사례에 해당하는 것이다. 다만, 대부분 경우에서는 도 6과 다르게 변이 정보가 명료하게 나타나지 않는다. 그 이유는 변이 공간에 해당하는 스테레오 영상의 밝기 분포에서 나타나는 국부적인 변동이 변이 공간을 생성하는 변이 공간 영상 생성 단계(S200)에 그대로 반영되기 때문이다. 즉, 스테레오 영상의 한 화소와 그 주변 화소의 밝기 분포의 분산이 변이 공간 영상에도 그대로 반영되기 때문이다.

도 7은 본 발명의 실시예에 따른 고전적 방식의 변이 공간 영상에서 u축에 직각인 방향으로 절개를 해서 나타나는 v-w 평면의 한 사례를 나타내는 도면이다. 또한, 도 8은 본 발명의 본 발명의 실시예에 따른 고전적 방식의 변이 공간 영상에서 v축에 직각인 방향으로 절개를 해서 나타나는 u-w 평면의 한 사례를 나타내는 도면이다.

도 7 및 도 8은은 전체 변이 공간 영상 중에서 이전에 설정한 변이 한계(disparity limit) 안에 포함되는 부분에 해당한다.

도 7 및 도 8에서는 수평 방향을 따라 어렴풋이 존재하는 검은 선을 볼 수 있다. 변이 공간에서 이와 같은 선을 모두 연결하면, 2차원 곡면 즉, 변이 곡면(disparity surface)을 획득할 수 있다.

그래프 컷(graph cut)을 비롯한 전역 최적화(global optimization) 스테레오 정합 방법에서는 도 7 및 도 8에 포함된 영상 정보를 그대로 이용하여 전역 최적화의 해를 구하게 된다. 그러나, 원본이 되는 변이 공간 영상에 포함된 변이 정보가 미약한 경우 신뢰도가 낮은 결과가 도출되기도 한다.

본 발명의 실시예에 따른, 변이 공간 영상의 처리 방법 및 그 장치는 변이 공간 영상에서 상기한 것처럼 변이 정보가 명료하지 나타나지 않아서 변이 곡면을 구성하기 어려운 점을 개선하기 위해, 변이 공간에 대한 응집성 강조 처리 단계(S300)와 대칭성 강조 처리 단계(S400)를 수행한다.

응집성 강조 처리 단계(S300)는 원본 변이 공간 영상에 포함된 영상의 밝기 분포의 분산을 줄이기 위한 목적으로 수행되는 단계다. 이 처리 단계에서는 원본 변이 공간 영상에 포함된 변이 정보에는 보존하는 수준에서 변이 공간 영상의 밝기 분포의 분산을 줄이도록 하는 원칙을 적용한다.

도 9 및 도 10은 도 7 및 도 8에 응집성 강조 처리 단계를 수행한 결과에 해당한다.

이와 같은 결과를 도출하기 위한 응집성 강조 처리 단계(S300)는 수학식 1과 같이 나타낸다.

[수학식 1]

수학식 1은 변이 공간 영상의 한 중심 화소에 대하여 이전에 정한 하나의 유클리드 거리인 r_o 안에 포함되는 주변 화소들의 가중 평균값(weighted mean value)과 다른 하나의 유클리드 거리인 βr_o 안에 포함되는 주변 화소들의 가중 평균값을 계산한 후, 이 두 가중 평균값의 차이를 계산하는 하는 함수를 적용한다는 것을 의미한다.

수학식 1에서, C(u₁, v₁, w₁)은 응집성 강조 처리 단계(S300)에 의해 출력되는 응집성 강조 변이 영상 즉, 중심 화소(u₁, v₁, w₁)에 대한 새로운 값이 된다. N₁과 N₂는 각각 수학식 1의 오른쪽 첫 번째 항과 두 번째 항의 값을 획득하는 과정에 대응하는 화소의 개수를 의미한다. D(r)은 현재 계산하고 있는 화소의 값을 의미한다. α, β, n, m, r₀은 각각 이전에 설정한 상수이다. α는 0.0보다 큰 범위의 값이고, β는 1.0보다 작지 않은 범위의 값이고, n은 0.0보다 큰 범위의 값이고, m은 0.0보다 큰 범위의 값이다. n 또는 m이 1인 경우 통상적인 유클리드 거리에 해당되지만, n 또는 m의 값은 1로 한정하지 않는다. n과 m의 값이 동일해도 되지만, 반드시 동일하도록 한정하지는 않는다.

r은 중심 화소로부터 현재 계산하고 있는 화소까지의 유클리드 거리에 해당하는 것으로, 수학식 2와 같이 나타낸다. 수학식 2에서 r의 값을 결정하는 u, v, w는 각각 0보다 작지 않은 정수이다. r의 최대 범위는 r₀이 되며, r₀은 1.0보다 작지 않은 범위의 값이다.

[수학식 2]

수학식 1의 첫 번째 항은 변이 공간 영상에서 중심 화소(u₁, v₁, w₁)로부터의 거리 r에 따라 반비례하여 감소하도록 설정한 가중치를 계산 대상 화소의 값인 D(r)에 곱한 다음, 그 결과를 전체 계산 범위에 대해서 더한다는 것을 의미한다. 이때, 적분 기호는 중심 화소를 기준으로 유클리드 거리 r₀ 안에 포함되어 있는 원본 변이 공간 영상의 모든 화소에 대하여

의 값을 계산하여 더한다는 것을 의미한다. 두 번째 항은 동일한 중심 화소(u₁, v₁, w₁)로부터의 거리 r에 따라 지수적으로 감소하도록 설정한 가중치를 계산 대상 화소의 값인 D(r)에 곱한 다음, 그 결과를 전체 계산 범위에 대해서 더한다는 것을 의미한다. 이때, 적분 기호는 중심 화소를 기준으로 유클리드 거리 r₀ 안에 포함되어 있는 원본 변이 공간 영상의 모든 화소에 대하여

의 값을 계산하여 더한다는 것을 의미한다.

수학식 1은 상기 첫 번째 항과 두 번째 항에 의한 계산 결과의 차이가 응집성 강조 변이 공간 영상의 중심 화소의 값인 C(u₁, v₁, w₁)로 출력된다는 것을 의미한다. 중심 화소(u₁, v₁, w₁)는 도 2에 의한 변이 공간에 포함되는 모든 화소가 될 수 있지만, 반드시 모든 화소에 대해 계산이 수행되어야 하는 것은 아니다. 중심 화소의 공간적 범위는 예측되는 변이 한계(disparity limit) 또는 대칭성 강조 처리를 위한 계산 범위를 고려한 최소 범위로 한정할 수 있다.

수학식 1을 계산하는 과정에서 첫 번째 항과 두 번째 항에서 사용하는 적분 기호의 적용 범위는 현실적으로 존재하는 화소의 범위로 한정한다. 즉, 중심 화소의 좌표가 (0, 0, 0)이고 계산 대상 화소의 좌표가 (-1, 0, 0)일 때, 계산 대상 화소까지의 거리가 r₀의 범위 안에 포함되더라도 현실적으로 존재할 수 없는 화소인 (-1, 0, 0)에 대해서는 계산을 수행하지 않는다.

수학식 1의 첫 번째 항과 두 번째 항에 의한 계산 결과는 각각 잡화소(noise pixel) 감소 효과와 더불어 영상의 밝기 분포의 급격한 편차를 줄이는 효과를 가져온다. 그러나 거리에 따른 가중치가 동일하지 않기 때문에 상기 효과는 두 항에서 다르게 나타난다. 수학식 1에 의한 전체 효과는 α 및 β 값을 이용하여 조절이 가능하며, α 및 β 값은 응집성 강조 변이 영상 전체의 밝기 값의 분산이 감소되도록 하는 효과를 달성하도록 설정하는 것이 바람직하다. 즉, 수학식 1의 바람직한 설정에서 α는 응집성 강조 처리 단계(S300)에 의한 응집성 강조 변이 공간 영상의 모든 화소의 밝기를 합산하였을 때, 그 결과가 "0"에 근접하도록 하는 상수(zeroing factor)로서 해석할 수 있고, β는 최종적으로 생성되는 응집성 강조 변이 공간 영상을 얼마나 흐릿하게 만들지 결정하는 상수(blurring factor)로서 해석할 수 있다. α과 β를 적절하게 선택하는 경우에는 도 9와 같이 변이 공간에 포함된 영상의 밝기 분포의 분산이 줄어들면서 변이 곡면의 위치를 나타내는 정보가 유지될 수 있다.

다음, 본 발명은 원본 변이 공간 영상 또는 응집성 강조 처리 단계(S300)가 완료된 응집성 강조 변이 공간 영상에 대해서 대칭성 강조 처리 단계(S400)를 수행한다.

대칭성 강조 처리 단계(S400)는 변이 공간 영상의 내재적인 특성을 이용한 일종의 유사도 강조 처리를 통해 진짜 대응점 주변의 정보를 강화하기 위한 목적으로 수행되는 단계다.

이와 같은, 대칭성 강조 처리 단계(S400)를 도 11을 참조하여 상세하게 설명한다.

도 11은 본 발명의 한 실시예에 따른 대칭성 강조 처리 단계(S400)를 나타내는 도면이다.

먼저, 대칭성 강조 처리 단계(S400)는 도 11과 같은 "u-w 평면"을 토대로 설명할 수 있다.

도 11을 참고하면, u-w 평면의 화소의 값은 도 3의 변이 공간에 관한 기재와 같이, 왼쪽 영상과 오른쪽 영상의 특정 스캔라인에 포함된 화소의 유사도 계산을 이용하여 결정한다. 일반화된 변이 공간에서는 왼쪽 영상과 오른쪽 영상의 특정 스캔라인에 포함된 화소가 변이 공간의 화소 위치에 정확하게 대응하지 않기 때문에 보간을 통해 일반화된 변이 공간의 화소 위치에 해당되는 유사도를 계산한다.

도 11에서, 특정 스캔라인에서 I(L₁), I(L₂), I(L₃)이 각각 왼쪽 영상의 화소의 밝기 값이고, I(R₁), I(R₂), I(R₃)가 각각 오른쪽 영상의 화소의 밝기 값인 경우, L₁와 R₃의 선이 만나는 위치에 있는 화소 D₁의 값인 I(D₁)은 I(L₁)과 I(R₃)의 유사도를 이용하여 계산한다. 또한, L₃와 R₁의 선이 만나는 위치에 있는 화소 D₂의 값인 I(D₂)은 I(L₃)과 I(R₁)의 유사도를 이용하여 계산한다. 유사도 계산을 위해 두 화소의 차이의 제곱을 이용하는 경우, "I(D₁) = (I(L₁) - I(R₃))²" 및 "I(D₂) = (I(L₃) - I(R₁))²"이 된다. 원본 변이 공간 영상의 화소의 값을 결정하기 위한 유사도 계산 과정에서 스테레오 영상의 두 화소 값의 차이의 제곱만을 이용해야 하는 것은 아니다. 원본 변이 공간 영상의 화소의 값을 구하기 위한 유사도 계산 수단은 스테레오 정합에서 통상적으로 사용되는 유사도 계산 함수(similarity computation function) 또는 비용 함수(cost function)로 대체할 수 있다.

대칭성 강조 처리 단계(S400)는 변이 공간 영상의 반사 대칭성(reflective symmetry)에 대한 가정을 기반으로 한다. 상기 가정은 2차원 스테레오 영상에서 한 쌍의 화소가 진짜 대응 화소(true matching pixels)라면 이 화소쌍에 대응하는 3차원 변이 공간 영상의 한 화소를 중심으로 w축에 대한 반사 대칭의 위치에 있는 주변 화소들의 밝기 값이 유사한 분포를 나타내게 된다는 가정이다. 즉, 도 11에서 L₂와 R₂가 진짜 대응점의 화소쌍이라면, D₁과 D₂는 유사한 밝기 값을 가지게 되고, D₁의 왼쪽에 있는 화소는 D₂의 왼쪽에 있는 화소와 유사한 밝기 값을 가지게 되고, D₁의 위쪽에 있는 화소는 D₂의 아래쪽에 있는 화소와 유사한 밝기 값을 가지게 된다는 것이 변이 공간 영상의 반사 대칭성에 대한 가정이다. 이러한 가정은 L₂와 그 주변 화소의 밝기 분포 특성이 R₂와 그 주변 화소의 밝기 분포 특성과 유사하다고 보는 것이며, 이는 스테레오 정합에서 통상적으로 사용하는 매끄러움 제한 조건(smoothness constraint)과 광학적 제한 조건(photometric constraint)에 기반을 두고 있다. 그러므로, 변이 공간 영상의 반사 대칭성에 대한 가정은 영상 정합에서 통상적으로 사용하는 제한 조건에 근거를 두고 있는 합리적이며 정당한 가정이 된다.

변이 공간 영상의 반사 대칭성에 대한 가정에 에 기반을 두어, 본 발명의 실시예에 따른 u-w 평면에 상하 방향으로 대칭적 위치에 있는 D₁ 및 D₂의 유사도를 높이도록 하는 대칭성 강조 처리 단계(S400)를 적용할 수 있다. 일반화된 변이 공간의 진짜 대응점의 주변 화소에 대해서도 스테레오 정합에서 통상적으로 사용하는 매끄러움 제한 조건(smoothness constraint)과 광학적 제한 조건(photometric constraint)에 의해 변이 공간 영상의 반사 대칭성에 대한 가정이 성립되므로 상기와 동일한 대칭성 강조 처리 단계(S400)를 적용할 수 있다.

도 12 및 도 13은 도 9 및 도 10에 대칭성 강조 처리 단계(S400)를 수행한 결과에 해당한다.

도 7과 도 12를 비교하면, 도 7에서 수평 방향을 따라 어렴풋이 존재하는 검은 선 즉, 진짜 대응점의 후보에 해당하는 화소들이 도 12에서는 상대적으로 뚜렷하게 나타나고 있다. 이와 같은 차이는 도 8과 도 13의 비교를 통해서도 볼 수 있다.

도 7에서의 영상 밝기 값의 분산은 응집성 강조 처리 단계(S300)를 수행한 결과 즉, 도 9에서 상당히 감소되었다. 또한, 도 9에 대칭성 강조 처리 단계(S400)를 수행한 결과 즉, 도 12에서는 영상 밝기 값의 분산이 낮게 유지되면서 진짜 대응점의 후보에 해당되는 화소들과 주변 화소들과 대비도가 향상되어 나타남을 볼 수 있다. 이와 같은 대비도의 향상은 도 7과 도 11의 비교에서도 나타난다.

이와 같은 결과를 도출하기 위한 대칭성 강조 처리 단계(S400)에 대한 하나의 실시예는 수학식 3 또는 수학식 4와 같이 나타낸다. 여기서, 수학식 5는 원본 변이 공간 영상에서 반사 대칭성을 강조하기 위한 하나의 실시예로서 w축에 대해 반사 대칭의 위치에 있는 화소들의 값의 차이의 제곱의 합을 이용하여 대칭성 강조 처리 단계(S400)를 수행하는 것에 대응하고, 수학식 4는 응집성 강조 처리 단계(S300)가 완료된 응집성 강조 변이 공간 영상에서 반사 대칭성을 강조하기 위한 하나의 실시예로서 w축에 대해 반사 대칭의 위치에 있는 화소들의 값의 차이의 제곱의 합을 이용하여 대칭성 강조 처리 단계(S400)를 수행하는 것에 대응한다.

[수학식 3]

[수학식 4]

수학식 3을 참고하면, S_D(u₁, v₁, w₁)는 원본 변이 공간 영상의 한 중심 화소(u₁, v₁, w₁)를 기준으로 w축에 대한 대칭성을 이용하여 주변 화소의 유사도를 계산하는 대칭성 강조 처리를 수행하여 획득한 값을 의미한다. D_u(u, v, -w)은 원본 변이 공간 영상의 한 중심 화소(u₁, v₁, w₁)를 기준으로 상대적인 위치가 (u, v, -w)인 원본 변이 공간 영상의 화소 값을 의미하고, D_d(u, v, w)은 상대적인 위치가 (u, v, w)인 원본 변이 공간 영상의 화소 값을 의미한다. 즉, D_u와 D_d는 중심 화소를 기준으로 w축에 대해 각각 위쪽과 아래쪽에서 반사 대칭의 위치에 있는 화소쌍의 값을 의미한다. (u₀, v₀, w₀)는 (u, v, w)의 최대 범위를 의미한다.

수학식 3은 중심 화소(u₁, v₁, w₁)를 기준으로 w축에 대해 반사 대칭의 위치에 있는 화소의 값의 차이의 제곱을 계산하고, 그 결과를 전체 계산 범위에 대해서 더한다는 것을 의미한다. 이때, 적분 기호는 중심 화소를 기준으로 (u₀, v₀, w₀) 안에 포함되어 있는 원본 변이 공간 영상의 모든 화소에 대하여

의 값을 계산하여 더한다는 것을 의미한다.

수학식 4를 참고하면, S_c(u₁, v₁, w₁)는 응집성 강조 변이 공간 영상의 한 중심 화소(u₁, v₁, w₁)를 기준으로 w축에 대한 대칭성을 이용하여 주변 화소의 유사도를 계산하는 대칭성 강조 처리를 수행하여 획득한 값을 의미한다. C_u 및 C_d는 응집성 강조 처리 단계(S300)가 완료된 응집성 강조 변이 공간 영상에서 중심 화소를 기준으로 w축에 대해 각각 위쪽과 아래쪽에서 반사 대칭의 위치에 있는 화소쌍의 값을 의미한다. (u₀, v₀, w₀)는 (u, v, w)의 최대 범위를 의미한다.

수학식 4에서 적분 기호는 중심 화소(u₁, v₁, w₁)를 기준으로 (u₀, v₀, w₀) 안에 포함되어 있는 응집성 강조 변이 공간 영상의 모든 화소에 대하여

의 값을 계산하여 더한다는 것을 의미한다.

수학식 3 및 수학식 4는 중심 화소(u₁, v₁, w₁)를 기준으로 w축의 상하 방향으로 반사 대칭의 위치에 있는 화소들에 대한 차이 값의 제곱의 합을 이용하여 유사도를 계산하는 처리 과정이다. 이와 같이, 본 발명의 실시예에 따른, 대칭성 강조 처리 단계(S400)에서는 차이 값의 제곱의 합을 이용하여 유사도를 계산하는 것으로 기재하고 있으나, 이에 한정되지 않는다.

변이 공간 영상의 반사 대칭성에 대한 가정에 따르면 w축을 따라 한 중심 화소에 대해 위쪽과 아래 쪽의 대칭적인 위치에 있는 화소들은 유사한 밝기 분포 특성을 가지게 된다. 그러므로 대칭성 강조 처리 단계(S400)에서는 상기 차이 값의 제곱의 합을 대신하여 스테레오 정합의 통상적인 유사도 계산 함수를 이용할 수 있다. 이러한 통상적인 유사도 계산 함수로는 절대값 차이의 합(sum of absolute difference) 계산 함수, 교차 상관(cross correlation) 계산 함수, 복수 화소에 의한 평균 값에 대한 절대값의 차이의 합(sum of absolute difference to the mean value) 계산 함수, 적응적인 국부 가중치(adaptive support weight) 계산 함수, 히스토그램을 이용한 유사도 계산 함수 등 다양한 함수가 해당된다.

수학식 3 및 수학식 4에서는 대칭성 강조 처리 단계(S400)가 수행되는 공간 범위를 (u₀, v₀, w₀)으로 정의한다. 이와 같은 공간 범위는 도 14를 참조하여 상세하게 설명한다.

도 14는 본 발명의 실시예에 따른 대칭성 강조 처리 단계(S400)가 수행되는 공간 범위를 나타내는 도면이다.

도 14를 참고하면, 대칭성 강조 처리 단계(S400)가 수행되는 공간 범위는 w축에 대해서 대칭을 가지는 3차원 공간 영역에 의해 정의된다. 여기서, 3차원 공간 영역은 수학식 5와 같이, 타원포물체뿐만 아니라, 타원체, 타원뿔체, 육면체, 구체 등 한정된 부피를 가지면서, w축에 대해서 대칭을 가지는 함수로 정의되는 3차원 영역으로 정의될 수 있다.

[수학식 5]

u-w 평면에서 대칭성 강조 처리 단계(S400)에 대응하는 계산 범위는 u축과 v축 각각에 대해서 대칭의 형태를 가질 필요는 없다. 도 14에서 (u, v)의 좌표 값이 양수(positive number)인 한 사분면(quadrant)에 대해서만 계산 영역을 정의할 수 있다. 이와 같이, 각 사분면에 대해서 별도로 대칭성 강조 처리 단계(S400)를 적용한 결과를 비교하면, 엄폐(occlusion)에 의한 영향을 줄일 수 있게 된다.

이상, 본 발명의 실시예에 따른 응집성 강조 처리 단계(S300) 및 대칭성 강조 처리 단계(S400)에서 적용하고 있는 수학식 또는 도면은 고전적 방식의 3차원 변이 공간을 기준으로 설명한 것이다.

세가지 종류의 변이 공간 구성 방식에 대응하는 변이 공간에 포함된 데이터의 특성은 동일하고 상호 간에 변환이 가능하다. 따라서, 고전적 방식의 3차원 변이 공간을 기준으로 이루어진 본 방명의 구성에 대한 설명은 대각선 방식과 비스듬한 방식에도 적용이 가능하며, 일반화된 변이 공간(generalized disparity space)에 대해서도 적용 가능하다.

고전적 방식의 변이 공간에서 v축을 기준으로 u-w 평면을 45도 회전하면, 고전적 방식의 변이 공간에 대해 설명된 함수의 수학식과 계산 과정을 대각선 방식의 변이 공간에 적용할 수 있다. 또한, 대각선 방식의 변이 공간의 u-w 평면과 비스듬한 방식의 변이 공간의 u-w 평면 사이의 변환에는 비스듬한 좌표계(slanted coordinate)를 도입할 수 있다. 고전적 방식의 3차원 변이 공간에 카메라 모델에 의한 좌표 변환식을 적용하면 일반화된 변이 공간으로 전환이 가능하기 때문에, 고전적 방식의 3차원 변이 공간에 대해 설명된 함수의 수학식과 계산 과정은 일반화된 변이 공간으로 전환하여 적용이 가능하다.

따라서, 본 발명에 의한 함수의 수학식과 계산 과정은 고전적 방식의 변이 공간뿐만 아니라 동일한 정보를 포함하고 있는 다른 변이 공간이나 일반화된 변이 공간, 또는 유사한 방식의 변환이 가능한 또 다른 변이 공간으로 변환하여 적용이 가능하다.

고전적 방식의 3차원 변이 공간을 기준으로 설명을 한 함수의 수학식과 계산 과정은 2차원 평면에 대해서 적용 가능하다. 즉, v축의 한 화소에 해당되는 개별 u-w 평면 또는 u축의 한 화소에 해당되는 개별 u-w 평면에 대하여 각각 적용 가능하다. 또한, 고전적 방식의 변이 공간의 변환을 통해 생성되는 다른 변이 공간의 평면에 대해서도 적용이 가능하다.

다음, 본 발명의 실시예에 따른 대칭성을 강조한 변이 공간 영상 내에서 대응점 즉, 진짜 대응점의 후보를 추출하고, 추출결과를 토대로 u-w 평면에서 국부적인 최적해(locally optimized solution) 또는 전역적인 최적해(globally optimized solution)를 연결하여 변이 곡면을 추출할 수 있다. 여기서, 국부적인 최적해 및 전역적인 최적해를 구하는 방법은 일반적으로 최적해를 구하는 방법을 기반으로 한다.

본 발명에 따른 변이 공간 영상의 처리 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태의 기록매체(램, 롬, 씨디롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 또한 카메라에 내장된 전자 회로 또는 내장 프로그램으로 구현되거나 카메라에 연결할 수 있는 외장 제어기에 내장된 전자 회로 또는 내장 프로그램으로서 구현할 수 있다.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

S100; 영상 촬영 단계 S200; 변이 공간 영상 생성 단계
S300; 응집성 강조 처리 단계 S400; 대칭성 강조 처리 단계
S500; 곡면 추출 단계

Claims (8)

1. 적어도 두 대의 카메라를 이용하여 시차가 포함된 스테레오 영상을 촬영하는 단계;
   상기 스테레오 영상을 토대로 원본 변이 공간 영상의 화소를 생성하는 단계;
   상기 원본 변이 공간 영상에 대하여 대칭성 강조 처리를 수행하여 대칭성을 강조한 변이 공간 영상을 생성하는 단계; 및
   상기 대칭성을 강조한 변이 공간 영상 내 적어도 세 개의 대응점을 연결하여 변이 곡면을 추출하는 단계
   를 포함하는 변이 공간 영상의 처리 방법.
2. 청구항 1에 있어서,
   상기 대칭성을 강조한 변이 공간 영상을 생성하는 단계 이전에 상기 변이 공간 영상에 대한 응집성 강조 처리를 수행하는 단계
   를 더 포함하는 변이 공간 영상의 처리 방법.
3. 청구항 2에 있어서,
   상기 응집성 강조 처리를 수행하는 단계는
   원본 변이 공간 영상의 한 중심 화소에 대하여 이전에 정한 하나의 유클리드 거리 안에 포함되는 주변 화소들의 가중 평균값과 다른 하나의 유클리드 거리 안에 포함되는 주변 화소들의 가중 평균값을 계산한 후, 이 두 가중 평균값의 차이를 계산하는 함수를 적용하는 것을 특징으로 하는 변이 공간 영상의 처리 방법.
4. 청구항 3에 있어서,
   상기 두 가중 평균값의 차이를 계산하는 함수는
   상기 변이 공간 영상에
   수학식 1:

   

   을 적용하는 것을 특징으로 하는 변이 공간 영상의 처리 방법.
   (C(u₁, v₁, w₁)은 상기 주변 화소들의 평균값의 차이를 계산하는 함수에 의한 결과 즉, 중심 화소(u₁, v₁, w₁)에 대한 새로운 값,
   α는 이전에 설정한 상수로, 0.0보다 큰 범위의 값,
   β는 이전에 설정한 상수로, 1.0보다 큰 범위의 값,
   n은 이전에 설정한 상수로, 0.0보다 큰 범위의 값,
   m은 이전에 설정한 상수로, 0.0보다 큰 범위의 값,
   r은 중심 화소로부터 현재 계산하고 있는 화소까지의 유클리드 거리,
   r₀은 r의 최대 범위,
   D(r)은 중심 화소로부터 유클리드 거리 r의 위치에 있는 화소의 값.)
   N₁과 N₂는 오른쪽 첫 번째 항과 두 번째 항을 계산하는 과정에 대응하는 화소의 개수.)
5. 청구항 1에 있어서,
   상기 대칭성을 강조한 변이 공간 영상을 생성하는 단계는
   상기 원본 변이 공간 영상에서 한 중심 화소에 대해 w축의 상하 방향으로 반사 대칭의 위치에 있는 변이 공간 영상 화소들의 유사도를 계산하는 함수를 적용하는 것을 특징으로 하는 변이 공간 영상의 처리 방법.
6. 청구항 5에 있어서,
   상기 변이 공간 영상 화소들의 유사도를 계산하는 함수는
   상기 원본 변이 공간 영상에
   수학식 3:
   

   

   
   을 적용하여 변이 공간 영상의 각 화소에 해당되는 위치에서 계산을 수행하는 것을 특징으로 하는 변이 공간 영상의 처리 방법.
   (S_D(u₁, v₁, w₁)는 상기 변이 공간 영상 화소들의 유사도를 계산하는 함수에 의한 결과 즉, 중심 화소(u₁, v₁, w₁)에 대한 새로운 값,
   D_u(u, v, -w)는 중심 화소를 기준으로 보았을 때 화소 좌표 (u, v, -w)의 위치에 있는 원본 변이 공간 영상의 화소 값,
   D_d(u, v, w)는 중심 화소를 기준으로 보았을 때 화소 좌표 (u, v, w)의 위치에 있는 원본 변이 공간 영상의 화소 값,
   (u₀, v₀, w₀)는 (u, v, w)의 최대 범위.)
7. 청구항 2에 있어서,
   상기 대칭성을 강조한 변이 공간 영상을 생성하는 단계는
   상기 응집성 강조 처리를 수행한 응집성 강조 변이 공간 영상에서 한 중심 화소에 대해 w축의 상하 방향으로 반사 대칭의 위치에 있는 응집성 강조 변이 공간 영상 화소들의 유사도를 계산하는 함수를 적용하는 것을 특징으로 하는 변이 공간 영상의 처리 방법
8. 청구항 7에 있어서,
   상기 응집성 강조 변이 공간 영상 화소들의 유사도를 계산하는 함수는
   상기 응집성 강조 처리를 수행한 응집성 강조 변이 공간 영상에
   수학식 4:
   

   

   
   를 적용하여 변이 공간 영상의 각 화소에 해당되는 위치에서 계산을 수행하는 것을 특징으로 하는 변이 공간 영상의 처리 방법.
   (S_C(u₁, v₁, w₁)는 상기 응집성 강조 변이 공간 영상 화소들의 유사도를 계산하는 함수에 의한 결과 즉, 중심 화소(u₁, v₁, w₁)에 대한 새로운 값,
   C_u(u, v, -w)는 중심 화소를 기준으로 보았을 때 (u, v, -w)의 위치에 있는 응집성 강조 변이 공간 영상의 화소 값,
   C_d(u, v, w)는 중심 화소를 기준으로 보았을 때 (u, v, w)의 위치에 있는 응집성 강조 변이 공간 영상의 화소 값,
   (u₀, v₀, w₀)는 (u, v, w)의 최대 범위.)
   

Images