KR20160132209A

KR20160132209A - 다중 컬러 센서를 기반하여, 고속 컨벌루션을 이용한 영상의 깊이 정보 추출 방법 및 장치

Info

Publication number: KR20160132209A
Application number: KR1020150063692A
Authority: KR
Inventors: 최종호; 김호배; 조효원
Original assignee: (주)이더블유비엠
Priority date: 2015-05-07
Filing date: 2015-05-07
Publication date: 2016-11-17
Anticipated expiration: 2035-05-07
Also published as: KR101681197B1

Abstract

고속의 컨벌루션을 이용한 영상의 깊이 정보에 대한 추출 방법에 있어서, 다중 컬러 센서로부터의 컬러 영상과 적외선 영상을 베이어 패턴(Bayer Pattern) 형태로 입력받는 영상 입력 단계와, 컬러 영상 내 윤곽선을 검지하기 위한 과정으로, 잡음 제거(Noise Reduction) 및 경계선 강조(Boundary Enhancement)을 위한 미디언 필터( Median Filter ) 처리 단계와, 필터링된 영상 내에서 윤곽선을 검출하기 위한 윤곽선 검출 단계와, 다중 컬러 센서로부터 입력받은 적외선 영상을 기반하여 적분 영상을 생성하는 적분 영상 생성 단계와, 생성된 적분영상 내 최소 4+α개(α는 0부터 가능)의 포인트를 접근하여 영상을 컨벌루션시키고 이를 이용하여 다수의 블러링(Blurring)된 영상을 생성하는 고속 컨벌루션 단계와, 싱글의 컬러(RGB) 영상과 다수의 블러링(Blurring)된 영상간의 최대 유사도를 측정하여 깊이맵(Depth-Map)을 생성하는 깊이 영상 생성 단계를 포함함을 특징으로 한다.

Description

다중 컬러 센서를 기반하여, 고속 컨벌루션을 이용한 영상의 깊이 정보 추출 방법 및 장치 {Method and apparatus for extraction of depth information of image using fast convolution based on multi-color sensor}

본 발명은, 다중 컬러 센서를 기반하여 고속 컨벌루션을 이용한 영상의 깊이 정보(Depth)를 추출하는 방법 및 장치에 관한 것으로서, 보다 상세하게는, 블러링(Blurring)을 통한 컨벌루션된 다수의 적외선(IR) 영상을 생성하는 과정에서, 컨벌루션을 하기 위한 다수의 PSF 모델을 기반하여 마스크(Mask) 내에 모든 화소에 접근하는 방식이 아니고, PSF 모델 없이 영상 내에 최소 4+N개(N은 0부터 가능)의 적분값만을 이용하도록 함으로써, 컨벌루션된 다수의 적외선 영상을 생성하는 데에 소요시간을 단축시키고 메모리 사용량을 줄이는 영상처리 방법 및 장치, 그리고 이를 이용한 영상의 깊이 정보 추출 방법 및 장치에 관한 것이다.

영상처리기술의 급격한 발전으로, 컬러영상과 깊이영상을 포함하는 3차원 카메라 기술이 이슈화되고 있다.

3차원 카메라 기술로는,

(1) 스테레오 카메라(Bumblebee2)

(2) IR Pattern(Randomized dots) 기반 카메라(Kinect, Xtion)

(3) Time of Flight(TOF) 카메라 (Kinect2)

등이 있다.

이는, 깊이영상을 이용한 3D 재구조화(Reconstruction), XYZ 3차원 공간상의 표현(Description) 확대 등을 통한 다양한 응용분야에 적용 가능하다.

예컨대 다음의 응용분야를 들 수 있다.

(1) 스테레오 3D 영상 생성 - 3D 디스플레이

(2) 디지털 카메라의 De-Focusing or Auto-Focusing

(3) 3D Printing의 3D Reconstruction

(4) 3D 동작인식(Gesture Recognition)

그리고 이 분야의 종래 기술로는

(1) 이중 조리개(Duar Aperture) 기반한 다중 컬러 센서를 이용한 컬러 영상 및 깊이 정보 추출 기술

(2) 커널(Kernel) 기반 영상 회선(Convolution) 기술

등을 들 수 있다.

미국특허공개 US2013/0033579 공보

이중 조리개(Dual-Aperture)를 기반한 단일의 다중 컬러 센서를 이용하여 컬러 영상과 깊이 정보를 추출할 수 있지만, 깊이 정보를 추출하는 연산량이 매우 높고, 메모리 사용량이 광대하여, 영상을 처리하는 데 어려움이 따른다. 따라서 연산량 및 메모리 사용량을 줄일 필요가 있다.

종래에는 깊이 정보를 추출하는 과정 내에, 다수의 PSF(Point Spread Function) 모델을 이용하여 블러링된 다수의 적외선 영상을 생성하는 과정을 수행하였다. 여기서 영상의 컨벌루션을 위하여 다수의 PSF 모델에 대한 메모리를 이용하고, 커널 기반의 마스크(MASK) 내 모든 화소의 접근 방식을 수행하였다.

그런데, 종래기술에 의하면, (1) 연산량이 많아서 처리속도가 느리고, (2) 메모리 사용량이 광대하다는 문제점이 있었다.

본 발명은, PSF 모델 없이 영상 내에 최소 4+N개(N은 0부터 가능)의 적분값만을 이용하여 컨벌루션된 다수의 적외선 영상을 생성하는 데에 소요시간을 단축시키고, 메모리 사용량을 줄이는 영상처리 기술을 개발을 행하였다.

즉, 다중 컬러 센서 기반한 고속의 컨벌루션을 수행하여, 연산량을 줄이고 소요시간을 단축시키며, 메모리 사용량을 줄이고자 한다. 이때, 종래의 방식과의 처리속도 및 메모리 사용량을 상대적으로 비교하고 분석한다.

상기 과제를 달성하기 위한 본 발명은, 고속의 컨벌루션을 이용한 영상의 깊이 정보에 대한 추출 방법에 있어서, 다중 컬러 센서로부터의 컬러 영상과 적외선 영상을 베이어 패턴(Bayer Pattern) 형태로 입력받는 영상 입력 단계와, 컬러 영상 내 윤곽선을 검지하기 위한 과정으로, 잡음 제거(Noise Reduction) 및 경계선 강조(Boundary Enhancement)을 위한 미디언 필터( Median Filter ) 처리 단계와, 필터링된 영상 내에서 윤곽선을 검출하기 위한 윤곽선 검출 단계와, 다중 컬러 센서로부터 입력받은 적외선 영상을 기반하여 적분 영상을 생성하는 적분 영상 생성 단계와, 생성된 적분영상 내 최소 4+α개(α는 0부터 가능)의 포인트를 접근하여 영상을 컨벌루션시키고 이를 이용하여 다수의 블러링(Blurring)된 영상을 생성하는 고속 컨벌루션 단계와, 싱글의 컬러(RGB) 영상과 다수의 블러링(Blurring)된 영상간의 최대 유사도를 측정하여 깊이맵(Depth-Map)을 생성하는 깊이 영상 생성 단계를 포함함을 특징으로 한다.

이때, 상기 4+α개의 포인트는, 처리의 대상이 되는 픽셀을 중심으로 하여 서로 대칭임이 바람직하다.

또한, 상기 과제를 달성하기 위한 본 발명은, 고속의 컨벌루션을 이용한 영상의 깊이 정보에 대한 추출 장치에 있어서, 다중 컬러 센서로부터의 컬러 영상과 적외선 영상을 베이어 패턴(Bayer Pattern) 형태로 입력받는 영상 입력부와, 컬러 영상 내 윤곽선을 검지하기 위한 과정으로, 잡음 제거(Noise Reduction) 및 경계선 강조(Boundary Enhancement)을 위한 미디언 필터( Median Filter ) 처리부와, 필터링된 영상 내에서 윤곽선을 검출하기 위한 윤곽선 검출부와, 다중 컬러 센서로부터 입력받은 적외선 영상을 기반하여 적분 영상을 생성하는 적분 영상 생성부와, 생성된 적분영상 내 최소 4+α개(α는 0부터 가능)의 포인트를 접근하여 영상을 컨벌루션시키고 이를 이용하여 다수의 블러링(Blurring)된 영상을 생성하는 고속 컨벌루션부와, 싱글의 컬러(RGB) 영상과 다수의 블러링(Blurring)된 영상간의 최대 유사도를 측정하여 깊이맵(Depth-Map)을 생성하는 깊이 영상 생성부를 포함함을 특징으로 한다.

본 발명에 의하면, 컨벌루션된 다수의 적외선 영상을 생성하는 데에 소요시간을 단축 시키고 메모리 사용량을 줄이는 영상처리 방법 및 장치, 그리고 이를 이용한 영상의 깊이 정보 추출이 가능하게 된다.

[도 1]은, 다중 컬러 센서를 기반하여 고속의 컨벌루션을 이용한 영상의 깊이 정보 추출하는 장치의 개념도를 나타낸다.
[도 2]는, 미디언 필터(Median Filter)의 처리과정을 보여준다.
[도 3]은, 다중 컬러 센서를 통해 입력받은 RGB영상과 IR영상을 의미한다.
[도 4]는, 미디언 필터를 거쳐 변환된 영상과 이를 이용한 윤곽선 검출 결과를 보여준다. 마스크 크기는 3 x 3 부터 13 x 13 까지를 나타낸다.
[도 5]는, 적분 영상을 생성하는 방법을 나타낸다.
[도 6]은, 적분 영상 내에 원하는 영역에 대한 컨벌루션 값을 추출하는 방법을 나타낸다.
[도 7]은, 적분 영상을 생성하는 처리과정을 보여준다.
[도 8]은, 다중 컬러 센서로부터 입력 받은 입력 영상과 그에 대한 적분 영상 결과를 보여준다.
[도 9]는, 적분 영상 내 보간법이 적용된 컨벌루션 처리과정을 나타낸다.
[도 10]는, 보간법이 포함된 적분영상을 기반한 고속의 컨벌루션 결과를 나타낸다. 0번째부터 80번째까지 컨벌루션된 결과를 보여준다.
[도 11]은, 33 x 33 x 16banks x 32bits의 다수의 PSF 모델을 이용한 기존의 컨벌루션과 적분 영상 기반한 고속의 컨벌루션의 비교하고 분석한 자료를 나타낸다.
[도 12]는, 영상의 깊이 정보의 결과를 보여준다. 최소 Bank 부터 최대 Bank 까지 값을 빨간색에서 파란으로 맵핑(Mapping)된 영상을 나타낸다.

이하, 첨부도면을 참조하면서 본 발명에 대하여 상세히 설명한다. 다만, 동일구성에 의하여 동일기능을 하는 부분에 대해서는, 도면이 달라지더라도 동일부호를 유지함으로써 그 상세한 설명을 생략하는 경우가 있다.

본 발명에 있어서의 다중 컬러 센서를 기반하여 고속의 컨벌루션을 이용한 영상의 깊이 정보를 추출하는 장치의 개념도는 도 1에 나타낸다.

본 발명은, 고속의 컨벌루션을 이용한 영상의 깊이 정보에 대한 추출 방법에 있어서, 다중 컬러 센서로부터의 컬러 영상과 적외선 영상을 베이어 패턴(Bayer Pattern) 형태로 입력받는 영상 입력 단계(1)와, 컬러 영상 내 윤곽선을 검지하기 위한 과정으로, 잡음 제거(Noise Reduction) 및 경계선 강조(Boundary Enhancement)을 위한 미디언 필터( Median Filter ) 처리 단계(2)와, 필터링된 영상 내에서 윤곽선을 검출하기 위한 윤곽선 검출 단계(3)와, 다중 컬러 센서로부터 입력받은 적외선 영상을 기반하여 적분 영상을 생성하는 적분 영상 생성 단계(5)와, 생성된 적분영상 내 최소 4+α개(α는 0부터 가능)의 포인트를 접근하여 영상을 컨벌루션시키고 이를 이용하여 다수의 블러링(Blurring)된 영상을 생성하는 고속 컨 벌루션 단계(6)와, 싱글의 컬러(RGB) 영상과 다수의 블러링(Blurring)된 영상간의 최대 유사도를 측정하여 깊이맵(Depth-Map)을 생성하는 깊이 영상 생성 단계(4)를 포함함을 특징으로 한다. 다만 상기 방법의 처리과정은, 롬이나 램, 플래시램 등의 반도체 저장장치를 통해 저장되는 소프트웨어로 구현될 수 있고, 이러한 소프트웨어가 각 기능별, 모듈별로 분산되어 블럭화되어 장치로서 구성될 수도 있다.

상기 영상 입력 단계(1)는, 듀얼 어퍼처(Dual Aperture)를 이용하여 RGB 영상과 IR 영상을 분류하여 입력받을 수 있고, 입력 형태는 베이어 패턴(Bayer Pattern)으로 정의한다. 도 3은 다중 컬러 센서로부터 입력 받은 RGB영상과 IR영상을 나타내다.

상기 미디언 필터 처리 단계(2)는 도 2에서 처리과정을 나타낸다. 한 화소를 기준으로 이웃하는 화소를 수집하여 오름차순 정렬을 수행하고 정렬된 값 중에서 중간값을 기준이 되는 한 화소 값에 맵핑한다. 여기서, 잡음을 제거하고 경계선을 강조하여 신뢰도가 높은 윤곽선이 검출되도록 필터링이 이루어짐이 바람직하다.

보다 상세히 설명하면, 입력영상 내 (u,v)의 한 점의 화소를 기준으로, 마스크 크기를 설정하여 이웃 화소점들을 수집할 수 있다. 도 2에서와 같이 (u,v)의 픽셀 위치를 기준으로, 3x3 마스크 크기로 설정하고 이웃 화소를 수집하면 I(u, v)는 {3, 7, 2, 1, 0, 0, 9, 5, 8}으로 생성된다. 이를 오름차순 또는 내림차순으로 정렬한 후, (u, v)의 화소를 중간 값인((마스크 크기 * 마스크 크기) / 2 + 1) 번째 값으로 치환한다. 도 2 내에서는 오름차순 정렬을 수행하여 {0, 0, 1, 2, 3, 5, 7, 8, 9}으로 나열하고 이 중에 중간값인 (5번째값) 3을 (u,v)화소 값으로 적용한다.

그리고, 도 4는 미디언 필터를 거쳐 변환된 영상과 필터링된 영상을 이용한 윤곽선 검출 결과를 나타낸다.

미디언 필터 내 마스크의 크기가 증가하면 잡음 현상이 줄어들고 경계면이 강조된다. 도 4는 동일한 입력 영상을 기준으로, 마스크 크기를 3x3부터 13x13까지 각각의 단계별로 미디언 필터링을 수행하여 마스크 크기에 따라 잡음 현상의 차이와 경계면의 강조 효과를 나타내고 각각의 필터링된 영상을 이용하여 동일한 윤곽선 검출 단계를 거쳐 도출된 윤곽선 영상을 보여준다. 각각의 마스크의 크기별에 따라 잡음의 윤곽선이 줄어드는 효과와 경계면의 윤곽선이 강조된다.

상기 윤곽선 검출 단계(3)는 한 화소를 기준으로 이웃하는 화소 간의 관계를 상관관계(correlation)로 추출한 후, 이에 대한 차이 값을 추출하고 추출된 값이 해당 임계치 값보다 클 경우에만 윤곽선으로 정의한다. 나머지는 검은 색인 배경으로 정의한다.

상기 적분 영상 생성 단계(5)는, 한 픽셀 간격으로 데이터를 메모리에 누적시키고, 누적된 값으로 영상을 생성한다. 도 5는 적분 영상의 생성 방법을 정의하고, 도 6은 적분 영상 내에 원하는 영역에 대한 컨벌루션 값을 추출하는 방법을 나타내고, 도 7은 적분 영상을 생성하는 과정을 나타내다. 도 8은 입력된 영상을 기준으로 생성된 적분 영상의 결과를 보여준다.

상세히 설명하면, 도 5는 적분 영상을 생성하는 과정을 나타낸다. d(i,j)는 (i,j)의 적분 영상의 적분 값이고, A(y,x)는 입력 영상의 i,j번째 화소를 의미한다. (i,j) 번째의 적분 영상의 적분 값은 3 포인트의 누적된 적분값과 1 포인트의 입력 영상의 화소가 필요하며, 4포인트의 접근으로 연산이 가능하다. 자세하게는 (i-1,j)의 적분값과 (I,j-1)의 적분값을 합하고 중복되는 (i-1,j-1)의 적분값을 빼준 후, (i,j)의 입력 영상의 화소를 합하면 d(i,j)의 적분값이 생성된다.

도 6은 해당 영역에 한하여, 생성한 적분 영상 내 4포인트의 적분값만을 이용하여 컨벌루션하는 과정을 나타낸다. b(i,j)의 컨벌루션된 값은 i,j 주소를 기준으로, (w,h)의 크기에 해당 영역에 대한 컨벌루션된 값을 나타낸다. B(i,j)의 컨벌루션된 값은 적분 영상 내 최소 4 포인트+α의 적분값이 필요하며, d(i,j)의 적분값에 d(i,j-w)의 적분값과 d(i-h,j)의 적분값을 빼주고 중복된 영역인 d(i-h,j-w)의 적분값을 빼준 후, 컨벌루션 영역의 크기로 평균화 처리하여 컨벌루션 영역을 도출한다.

도 7은 적분 영상의 생성과 적분 영상 내 4 포인트의 접근으로, 해당 영역의 픽셀의 합을 구하는 과정을 나타낸다.

입력 영상 내 한 포인트는 화소값(Pixel)으로 정의하고, 적분 영상 내 한 포인트는 적분값(Integral Valus)으로 정의한다.

적분 영상은 입력 영상을 기준으로, 값을 순차적으로 누적하여 생성한다. 예를 들면, 입력 영상이 {1, 2, 2, 4, 1}이라고 가정하고, 적분 영상은 순차적으로 누적된 값인 {1, 1+2, 1+2+2, 1+2+2+4, 1+2+2+4+1}={1, 3, 5, 9, 10}으로 생성한다.

적분 영상 내 컨벌루션 처리할 영역을 4포인트 접근만으로 도출하는 과정을 보여준다. 46의 적분값에 22의 적분값과 20의 적분값을 빼주고 중복되는 10을 더해주면 46-22-20+10=14이며, 입력 영상 내 해당 영역의 픽셀 값을 모두 합친 값(3+2+5+4=14)과 동일하다. 마지막으로 컨벌루션할 영역의 크기로 평균화 처리한다.

상기 고속 컨벌루션 단계(6)는 적분 영상 내에 최소 4*α개(α는 0부터 가능)의 포인트 기준으로 추출된 값과 크기를 적용하여 평균화 처리하여 컨벌루션을 수행한다. 마스크의 크기에 따른 보간법(Interpolation)이 적용됨이 바람직하다.

도 9는 마스크의 크기를 고려한 보간법이 적용되는 방법을 나타낸다.

마스크의 크기는 중심의 포인트를 기준으로, 대칭적인 관계를 고려하여 홀수 과정으로 1, 3, 5, 7, 9, 11 등으로 진행된다. 그리하여 짝수 과정인 2, 4, 6, 8, 10 등의 컨벌루션된 값을 포함하여 세밀하게는 1.1, 1.2, 1.3, 1.4, 1.5 등의 컨벌루션된 값을 도출하기 위해서는 4포인트를 추가적으로 더 접근하여 보간을 수행한다.

3x3의 마스크와 5x5의 마스크를 예를 들어 4x4에 해당하는 컨벌루션을 도출한다. 각각의 마스크의 모서리에 해당하는 4포인트씩을 추출하고 3x3의 마스크에 해당하는 값에 0.5의 가중치(Weight)를 곱하고 5x5의 마스크에 해당하는 값에 0.5의 가중치를 곱하여 도출한다. 3x3 마스크 내 {1,5,6,21}값과 5x5 마스크 내 {0,0,0,46}을 예로 들면, 4x4 마스크의 4포인트 값은 {0*0.5+1*0.5, 0*0.5+5*0.5, 0*0.5+6*0.5, 46*0.5+21*0.5} = {0.5. 2.5. 3.0. 33.5}으로 도출하여 컨벌루션한다.

도 10은 0단계 부터 80단계까지 내 블러링(Blurring)된 결과 영상을 보여준다. 이는 기존의 33 x 33 크기인 16 Banks로 된 PSF를 기반한 컨벌루션 같은 경우는 우선 33 x 33 x 16banks x 32bits = 544.4Byte의 PSF 모델 메모리를 사용하고 512 x 384 크기의 영상을 기준하여 512 x 384 x 33 x 33 x 16banks = 3,425,697,792 Clock수가 필요하다. 본 발명의 고속 컨벌루션 같은 경우는 PSF 메모리를 사용하지 않고 512 x 384 크기의 영상을 기준하여 512 x 384 x 8(보간법을 포함하여 8point) x 16banks = 25,165,824 Clock수가 필요하며, 기존 구조와 비교하여 136.125 배만큼을 단축시킨다. 도 11은 기존 PSF을 기반한 컨벌루션과 최소 4*α개(α는 0부터 가능)의포인트 접근 방식의 고속 컨벌루션를 비교 분석한 자료를 보여준다.

상기 깊이 영상 생성 단계(4)는 다중 컬러 센서로부터 입력 받은 RGB 영상과 고속 컨벌루션을 거쳐 블러링(Blurring)된 다수의 변환 영상들을 이용하여 최대 유사도를 측정하여 깊이맵(Depth-Map)을 생성하다.

도 12는, 영상의 깊이 정보의 결과를 보여준다. 최소 Bank 부터 최대 Bank 까지 값을 빨간색에서 파란으로 맵핑(Mapping)된 영상을 나타낸다.

이상 바람직한 실시예에 근거하여 본 발명을 설명하였으나, 본 발명은 이에 한하는 것이 아니고, 청구범위에 기재된 범위 내에서 이루어진 당업자의 변경, 개량, 변형은 모두 본 발명의 범위에 속하는 것으로 해석되어야 한다.

본 발명은, 다중 컬러 센서를 기반하여 고속 컨벌루션을 이용한 영상의 깊이 정보 추출 방법 및 장치에 이용될 수 있다.

1: 영상 입력부
2: 미디언 필터(Median Filter) 처리부
3: 윤곽선 검출부
4: 깊이 영상 생성부
5: 적분 영상 생성부
6: 고속 컨벌루션부
7: 출력부

Claims

고속의 컨벌루션을 이용한 영상의 깊이 정보에 대한 추출 방법에 있어서,
다중 컬러 센서로부터의 컬러 영상과 적외선 영상을 베이어 패턴(Bayer Pattern) 형태로 입력받는 영상 입력 단계와,
컬러 영상 내 윤곽선을 검지하기 위한 과정으로, 잡음 제거(Noise Reduction) 및 경계선 강조(Boundary Enhancement)을 위한 미디언 필터( Median Filter) 처리 단계와,
필터링된 영상 내에서 윤곽선을 검출하기 위한 윤곽선 검출 단계와,
다중 컬러 센서로부터 입력받은 적외선 영상을 기반하여 적분 영상을 생성하는 적분 영상 생성 단계와,
생성된 적분영상 내 최소 4+α개(α는 0부터 가능)의 포인트를 접근하여 영상을 컨벌루션시키고 이를 이용하여 다수의 블러링(Blurring)된 영상을 생성하는 고속 컨벌루션 단계와,
싱글의 컬러(RGB) 영상과 다수의 블러링(Blurring)된 영상간의 최대 유사도를 측정하여 깊이맵(Depth-Map)을 생성하는 깊이 영상 생성 단계
를 포함함을 특징으로 하는 고속의 컨벌루션을 이용한 영상의 깊이 정보에 대한 추출 방법.
청구항 1에 있어서,
상기 4+α개의 포인트는, 처리의 대상이 되는 픽셀을 중심으로 하여 서로 대칭임
을 특징으로 하는 고속의 컨벌루션을 이용한 영상의 깊이 정보에 대한 추출 방법.
고속의 컨벌루션을 이용한 영상의 깊이 정보에 대한 추출 장치에 있어서,
다중 컬러 센서로부터의 컬러 영상과 적외선 영상을 베이어 패턴(Bayer Pattern) 형태로 입력받는 영상 입력부와,
컬러 영상 내 윤곽선을 검지하기 위한 과정으로, 잡음 제거(Noise Reduction) 및 경계선 강조(Boundary Enhancement)을 위한 미디언 필터( Median Filter) 처리부와,
필터링된 영상 내에서 윤곽선을 검출하기 위한 윤곽선 검출부와,
다중 컬러 센서로부터 입력받은 적외선 영상을 기반하여 적분 영상을 생성하는 적분 영상 생성부와,
생성된 적분영상 내 최소 4+α개(α는 0부터 가능)의 포인트를 접근하여 영상을 컨벌루션시키고 이를 이용하여 다수의 블러링(Blurring)된 영상을 생성하는 고속 컨벌루션부와,
싱글의 컬러(RGB) 영상과 다수의 블러링(Blurring)된 영상간의 최대 유사도를 측정하여 깊이맵(Depth-Map)을 생성하는 깊이 영상 생성부
를 포함함을 특징으로 하는 고속의 컨벌루션을 이용한 영상의 깊이 정보에 대한 추출 장치.
청구항 3에 있어서,
상기 4+α개의 포인트는, 처리의 대상이 되는 픽셀을 중심으로 하여 서로 대칭임
을 특징으로 하는 고속의 컨벌루션을 이용한 영상의 깊이 정보에 대한 추출 장치.