KR20120049997A

KR20120049997A - 영상 변환 장치 및 이를 이용하는 디스플레이 장치와 그 방법들

Info

Publication number: KR20120049997A
Application number: KR1020100111278A
Authority: KR
Inventors: 장주용; 이진성; 민종술; 김성진
Original assignee: 삼성전자주식회사
Priority date: 2010-11-10
Filing date: 2010-11-10
Publication date: 2012-05-18
Also published as: JP2014504462A; CN103202026B; JP5977752B2; WO2012064010A1; EP2638699A1; WO2012064010A4; US20120113219A1; CN103202026A; EP2638699A4; BR112013008803A2; MX2013005340A

Abstract

영상 변환 장치의 영상 변환 방법이 개시된다. 본 방법은, 스테레오 영상을 수신하는 단계, 스테레오 영상을 다운 스케일링하는 단계, 다운 스케일링된 스테레오 영상들에 대해서 적응적 가중치를 적용하여 스테레오 매칭을 수행하는 단계, 스테레오 매칭 결과에 따라 깊이 지도를 생성하는 단계, 원 해상도 상태의 입력 영상을 참조하여, 깊이지도를 업스케일링하는 단계, 업스케일링된 깊이 지도와 원 해상도 상태의 입력 영상에 대하여 깊이-영상 기반 랜더링을 수행하여, 복수 개의 다 시점 영상을 생성하는 단계를 포함한다. 이에 따라, 복수 개의 다시점 영상을 용이하게 확보할 수 있다.

Description

영상 변환 장치 및 이를 이용하는 디스플레이 장치와 그 방법들{IMAGE PROCESS DEVICE, DISPLAY APPARATUS AND METHODS THEREOF}

본 발명은 영상 변환 장치 및 이를 이용하는 디스플레이 장치와 그 방법들에 대한 것으로, 보다 상세하게는, 스테레오 영상을 다시점 영상으로 변환하는 영상 변환 장치 및 이를 이용하는 디스플레이 장치와 그 방법들에 대한 것이다.

전자 기술의 발달에 힘입어, 다양한 종류 및 기능의 가전 제품들이 출시되고 있다. 대표적인 가전 제품으로는 TV와 같은 디스플레이 장치가 사용되고 있다. 사용자는 환경, 용도 등에 적절하게 다양한 종류의 디스플레이 장치를 사용할 수 있다.

한편, 최근에는 3D 영상 화면을 시청할 수 있는 3D 디스플레이 장치도 보급되고 있다. 3D 디스플레이 장치는 3D 영상 시청 용 안경의 사용 여부에 따라서 안경식 또는 무 안경식 시스템으로 나뉘어질 수 있다.

안경식 시스템의 일 예로는, 디스플레이 장치에서는 스테레오 영상을 교번적으로 출력하면서, 이와 연동하여 안경의 좌우 셔터 글래스를 교번적으로 개폐시켜 사용자가 입체감을 느낄 수 있도록 하는 셔터 글래스 방식이 있다. 이러한 셔터 글래스 방식의 3D 디스플레이 장치에서는 2D 영상 신호가 입력될 경우에는 입력 신호를 좌안 영상 및 우안 영상으로 변환하여 교번적으로 출력한다. 반면, 좌안 및 우안 영상 신호를 포함하는 스테레오 영상 신호가 입력될 경우에는 입력 신호를 교번적으로 출력하여 3D 화면을 구성하게 된다.

무 안경식 시스템은 다시점 영상을 공간적으로 쉬프트시켜 디스플레이하여 안경을 끼지 않은 사용자도 입체감을 느낄 수 있도록 하고 있다. 이와 같이, 무 안경식 시스템의 경우, 안경을 사용하지 않고도 3D 영상 시청이 가능하다는 장점이 있으나, 이를 구현하기 위해서는 다시점 영상을 마련하여야 한다는 어려움이 있었다.

즉, 다시점 영상은 하나의 피사체에 대하여 복수 개의 다른 시점에서 바라본 영상을 의미한다. 기본적으로 이러한 다시점 영상을 생성하기 위해서는 복수 개의 카메라를 이용하여 복수 개의 영상 신호를 생성해야 한다. 따라서, 방송 제작 자체가 어렵고 비용 부담이 크며, 컨텐츠 전송 시에도 많은 대역폭을 사용하기 때문에, 현실적으로 어려움이 있었다. 이러한 점을 고려하여 현재까지는 안경식 시스템에 대한 개발 노력이 좀 더 주도적으로 이루어지고 있었으며, 이에 따라 컨텐츠 자체도 2D 또는 스테레오 영상 컨텐츠가 주류를 이루고 있었다.

하지만, 안경을 갖추지 않고 3D 영상을 시청할 수 있는 무안경식 시스템에 대한 요구가 끊이지 않고, 안경식 시스템에서도 다시점 영상이 사용될 수 있는 여지가 있었기 때문에, 기존의 스테레오 영상을 이용하여 다시점 영상을 마련할 수 있는 기술에 대한 필요성이 대두되었다.

본 발명은 상술한 필요성에 따른 것으로, 본 발명의 목적은, 스테레오 영상을 이용하여 다시점 영상을 생성할 수 있는 영상 변환 장치 및 이를 이용하는 디스플레이 장치와 그 방법들을 제공함에 있다.

본 발명의 일 실시 예에 따르면, 영상 변환 장치의 영상 변환 방법은, 스테레오 영상을 수신하는 단계, 상기 스테레오 영상을 다운 스케일링하는 단계, 상기 다운 스케일링된 스테레오 영상들에 대해서 적응적 가중치를 적용하여 스테레오 매칭을 수행하는 단계, 상기 스테레오 매칭 결과에 따라 깊이 지도를 생성하는 단계, 원 해상도 상태의 입력 영상을 참조하여, 상기 깊이지도를 업스케일링하는 단계, 상기 업스케일링된 깊이 지도와 상기 원 해상도 상태의 입력 영상에 대하여 깊이-영상 기반 랜더링을 수행하여, 복수 개의 다 시점 영상을 생성하는 단계를 포함한다.

여기서, 상기 스테레오 매칭을 수행하는 단계는, 상기 스테레오 영상 중 하나인 제1 입력 영상 및 제2 입력 영상 각각에 대해서 기 설정된 크기의 윈도우를 순차적으로 적용하는 단계, 상기 윈도우 내의 중심 픽셀 및 주변 픽셀 간의 유사성을 계산하는 단계, 상기 유사성에 따라 상이한 가중치를 적용하여, 상기 제1 입력 영상 및 상기 제2 입력 영상 간의 매칭되는 포인트를 탐색하는 단계를 포함한다.

여기서, 상기 깊이 지도는, 상기 매칭되는 포인트 간의 거리 차에 따라 상이한 그레이 레벨을 가지는 이미지가 될 수 있다.

한편, 상기 가중치는, 상기 중심 픽셀과의 유사도에 비례하는 크기로 설정되고, 상기 그레이 레벨은 상기 매칭되는 포인트 간의 거리 차에 반비례하는 값으로 설정될 수 있다.

또한, 상기 깊이지도를 업스케일링하는 단계는, 상기 깊이 지도와 상기 원해상도 상태의 입력 영상 간의 유사점을 탐색하는 단계, 상기 탐색된 유사점에 대하여 가중치를 적용하여 업 스케일링을 수행하는 단계를 포함할 수 있다.

그리고, 본 영상 변환 방법은, 상기 복수 개의 다 시점 영상은 무안경 3D 디스플레이 시스템에서 출력되어, 3D 화면을 구성하는 단계를 더 포함할 수도 있다.

한편, 본 발명의 일 실시 예에 따르면, 영상 변환 장치는, 스테레오 영상을 수신하는 수신부, 상기 스테레오 영상을 다운 스케일링하는 다운 스케일러부, 상기 다운 스케일링된 스테레오 영상들에 대해서 적응적 가중치를 적용하여 스테레오 매칭을 수행하고, 상기 스테레오 매칭 결과에 따라 깊이 지도를 생성하는 스테레오 매칭부, 원 해상도 상태의 입력 영상을 참조하여, 상기 깊이지도를 업스케일링하는 업 스케일러부, 상기 업스케일링된 깊이 지도와 상기 원 해상도 상태의 입력 영상에 대하여 깊이-영상 기반 랜더링을 수행하여, 복수 개의 다 시점 영상을 생성하는 랜더링부를 포함한다.

여기서, 상기 스테레오 매칭부는, 상기 스테레오 영상 중 하나인 제1 입력 영상 및 제2 입력 영상 각각에 대해서 기 설정된 크기의 윈도우를 순차적으로 적용하는 윈도우 생성부, 상기 윈도우 내의 중심 픽셀 및 주변 픽셀 간의 유사성을 계산하는 유사성 계산부, 상기 유사성에 따라 상이한 가중치를 적용하여, 상기 제1 입력 영상 및 상기 제2 입력 영상 간의 매칭되는 포인트를 탐색하는 탐색부를 포함할 수 있다.

그리고, 상기 깊이 지도는, 상기 매칭되는 포인트 간의 거리 차에 따라 상이한 그레이 레벨을 가지는 이미지가 될 수 있다.

또한, 상기 가중치는, 상기 중심 픽셀과의 유사도에 비례하는 크기로 설정되고, 상기 그레이 레벨은 상기 매칭되는 포인트 간의 거리 차에 반비례하는 값으로 설정될 수 있다.

그리고, 상기 업 스케일러부는, 상기 깊이 지도와 상기 원해상도 상태의 입력 영상 간의 유사점을 탐색하고, 상기 탐색된 유사점에 대하여 가중치를 적용하여 업 스케일링을 수행할 수 있다.

또한, 본 영상 변환 장치는, 상기 복수 개의 다 시점 영상을 무안경 3D 디스플레이 시스템으로 제공하는 인터페이스부를 더 포함할 수도 있다.

한편, 본 발명의 일 실시 예에 따르면, 디스플레이 장치는, 스테레오 영상을 수신하는 수신부, 상기 스테레오 영상을 다운 스케일링한 후 적응적 가중치를 적용하여 깊이 지도를 산출하고, 산출된 깊이 지도 및 원 해상도 영상을 이용하여 업 스케일링을 하여 다 시점 영상을 생성하는 영상 변환 처리부 및 상기 영상 변환 처리부에서 생성된 다 시점 영상을 출력하는 디스플레이부를 포함한다.

여기서, 상기 영상 변환 처리부는, 상기 스테레오 영상을 다운 스케일링하는 다운 스케일러부, 상기 다운 스케일링된 스테레오 영상들에 대해서 적응적 가중치를 적용하여 스테레오 매칭을 수행하고, 상기 스테레오 매칭 결과에 따라 깊이 지도를 생성하는 스테레오 매칭부, 원 해상도 상태의 입력 영상을 참조하여, 상기 깊이지도를 업스케일링하는 업 스케일러부, 상기 업스케일링된 깊이 지도와 상기 원 해상도 상태의 입력 영상에 대하여 깊이-영상 기반 랜더링을 수행하여, 복수 개의 다 시점 영상을 생성하는 랜더링부를 포함할 수 있다.

이상과 같이 본 발명의 다양한 실시 예에 따르면, 스테레오 영상으로부터 다시점 영상을 용이하게 생성하여 활용할 수 있게 된다.

도 1은 본 발명의 일 실시 예에 따른 영상 변환 장치의 구성을 나타내는 블럭도,
도 2는 스테레오 매칭부 구성의 일 예를 나타내는 블럭도,
도 3은 본 발명의 다른 실시 예에 따른 영상 변환 장치의 구성을 나타내는 블럭도,
도 4는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도,
도 5 내지 9는 본 발명의 일 실시 예에 따른 영상 변환 과정을 설명하기 위한 도면,
도 10 및 도 11은 본 발명의 일 실시 예에 따른 영상 변환 장치가 적용된 무 안경식 3D 디스플레이 시스템의 구성 및 그 디스플레이 방법을 나타내는 도면,
도 12는 본 발명의 일 실시 예에 따른 영상 변환 방법을 설명하기 위한 흐름도, 그리고,
도 13은 스테레오 매칭 과정의 일 예를 설명하기 위한 흐름도이다.

이하에서, 첨부된 도면을 이용하여 본 발명에 대하여 구체적으로 설명한다.

도 1은 본 발명의 일 실시 예에 따른 영상 변환 장치의 구성을 나타내는 블럭도이다. 도 1에 따르면, 영상 변환 장치는, 수신부(110), 다운 스케일러부(120), 스테레오 매칭부(130), 업스케일러부(140), 랜더링부(150)를 포함한다.

수신부(110)는 스테레오 영상을 수신한다. 스테레오 영상이란 두 개 이상의 영상을 의미한다. 일 예로, 하나의 피사체를 다른 각도에서 촬영한 두 개의 영상, 즉, 제1 입력 영상 및 제2 입력 영상이 스테레오 영상일 수 있다. 편의상 본 명세서에서는 제1 입력 영상을 좌안 영상(또는 좌측 영상), 제2 입력 영상을 우안 영상(또는 우측 영상)이라고 명명하여, 설명하도록 한다.

이러한 스테레오 영상은 다양한 소스로부터 제공될 수 있다. 일 예로, 수신부(110)는 방송국 채널과 같은 소스로부터 스테레오 영상을 유선 또는 무선으로 전송받을 수 있다. 이 경우, 수신부(110)는 튜너부, 복조부, 등화부 등과 같은 다양한 구성요소들을 구비할 수 있다.

또는, 수신부(110)는 DVD, 블루레이 디스크, 메모리 카드 등과 같은 각종 기록 매체를 재생할 수 있는 기록 매체 재생 유닛(미도시)으로부터 재생된 스테레오 영상을 입력받을 수도 있고, 또는 카메라로부터 촬영된 스테레오 영상을 직접 수신할 수도 있다. 이 경우, 수신부(110)는 USB 인터페이스와 같은 각종 인터페이스를 구비하는 형태로 구현될 수 있다.

다운 스케일러부(120)는 수신부(110)를 통해 수신된 스테레오 영상을 다운 스케일링한다. 즉, 스테레오 영상을 다시점 영상으로 변환하기 위해서는, 연산 부담을 줄이는 것이 바람직하다. 이를 위해, 다운 스케일러부(120)는 입력된 스테레오 영상을 다운 스케일링하여 데이터 사이즈를 줄여서, 연산 부담을 경감시킬 수 있다.

구체적으로는, 다운 스케일러부(120)는 스테레오 영상에 포함된 좌안 영상 및 우안 영상에 대해서, 각각 사전에 정의된 상수(n)배 만큼 해상도를 낮추어 준다. 일 예로, 기 정의된 주기마다 픽셀을 제거하거나, 소정 크기의 픽셀 블럭에 대해서는 픽셀들의 평균값 또는 대표값으로 표현하는 방식으로 다운 스케일링을 수행할 수 있다. 이에 따라, 다운 스케일러부(120)는 저해상도의 좌안 영상 데이터 및 저해상도의 우안 영상 데이터를 출력할 수 있다.

스테레오 매칭부(130)는 다운 스케일링된 좌안 영상 및 우안 영상에서 서로 대응되는 포인트를 찾는 스테레오 매칭 작업을 수행한다. 이 경우, 스테레오 매칭부(130)는 적응적 가중치를 이용하여 스테레오 매칭을 수행할 수 있다.

즉, 좌안 영상과 우안 영상은 하나의 피사체를 서로 다른 시점에서 촬영한 영상이므로, 시각의 차이로 인한 영상 차이가 생길 수 있다. 예를 들어, 좌안 영상에서는 피사체의 에지 부분과 배경이 겹치게 나오고, 우안 영상에서는 약간 떨어진 경우 등이 있을 수 있다. 따라서, 피사체를 기준으로 일정 범위 내의 픽셀 값을 가지는 픽셀들에 대해서는 가중치를 높이고, 범위를 벗어난 픽셀 값을 가지는 픽셀에 대해서는 가중치를 낮추어 준 적응적 가중치를 적용할 수 있다. 이에 따라, 스테레오 매칭부(130)는 좌안 영상 및 우안 영상 각각에 대하여 적응적 가중치를 적용한 후에, 그 결과를 비교하여 매칭 여부를 결정할 수 있다. 이와 같이, 적응적 가중치를 이용하게 되면, 올바른 대응점임에도 불구하고 낮은 상관 관계를 가지는 것으로 판정나는 것을 방지할 수 있게 되므로, 매칭의 정확도가 향상될 수 있다.

스테레오 매칭부(130)는 매칭 결과에 따라서 깊이 지도(depth map)를 생성할 수 있다.

도 2는 본 발명의 일 실시 예에 따른 스테레오 매칭부(130)의 구성의 일 예를 나타내는 블럭도이다. 도 2에 따르면, 스테레오 매칭부(130)는 윈도우 생성부(131), 유사성 계산부(132), 탐색부(133) 및 깊이 지도 생성부(134)를 포함한다.

윈도우 생성부(131)는 소정 크기(n*m)의 윈도우를 생성하여 다운 스케일링된 좌안 영상 및 우안 영상 각각에 대해 적용한다.

유사성 계산부(132)는 윈도우 내의 중심 픽셀 및 주변 픽셀 간의 유사성을 계산한다. 예를 들어, 좌안 영상의 제1 픽셀에 대하여, 그 제1 픽셀을 중심 픽셀로 하는 윈도우가 적용된 경우라면, 유사성 계산부(132)는 윈도우 내에서 중심 픽셀을 제외한 나머지 픽셀, 즉, 주변 픽셀들의 픽셀 값을 확인한다. 그리고 나서, 중심 픽셀의 픽셀값을 기준으로 기 설정된 범위 이내의 픽셀 값을 가지는 주변 픽셀을 유사 픽셀로 판단하고, 범위를 초과하는 픽셀 값을 가지는 주변 픽셀은 비유사 픽셀로 판단한다.

탐색부(133)는 유사성 계산부(132)에 의해 계산된 유사성에 따라 상이한 가중치를 적용하여, 좌안 영상 및 우안 영상 간의 매칭되는 포인트를 탐색한다.

가중치는 유사성에 비례하여 커질 수 있다. 예를 들어, 0, 1과 같이 두 개의 가중치가 사용되는 경우, 중심 픽셀과 유사한 주변 픽셀에 대해서는 가중치 1이 부여되고, 비유사한 주변 픽셀에 대해서는 가중치 0이 부여된다. 또 다른 예를 들어, 0, 0.3, 0.6, 1과 같이 4개의 가중치가 사용되는 경우, 중심 픽셀 값과의 차이의 크기를 범위에 따라 4개의 그룹으로 구분하고, 가장 차이가 큰 주변 픽셀에 대해서는 가중치 0, 그 다음으로 큰 주변 픽셀은 0.3, 그 다음으로 큰 주변 픽셀은 0.6, 차이가 가장 적거나 픽셀 값이 동일한 그룹에 해당하는 주변 픽셀은 가중치 1을 부여하여, 가중치 맵을 구성할 수 있다.

탐색부(133)는 아래 수식을 이용하여 매칭도를 산출할 수 있다.

수학식 1에서 SUM()은 윈도우 내의 각 픽셀에 대한 계산 결과의 합산을 의미하는 함수이고, L_image 및 R_image는 각각 좌안 영상의 픽셀 값 및 우안 영상의 픽셀 값을 의미하고, W1 및 W2는 각각 해당 픽셀에 대해 결정된 가중치를 의미한다. 탐색부(133)는 수학식 1과 같은 방식으로 좌안 영상의 각 윈도우에 대해서 우안 영상의 전체 윈도우를 비교하여, 좌안 영상과 우안 영상 사이에서 서로 매칭되는 윈도우를 탐색할 수 있다.

깊이 지도 생성부(134)는 탐색부(133)에서 탐색된 매칭 포인트 간의 이동 거리에 기초하여, 깊이 지도를 생성한다. 즉, 좌안 영상 내에서 피사체를 구성하는 a픽셀의 위치와, 우안 영상 내에서 a 픽셀의 위치를 비교하여 그 차이를 산출한다. 이에 따라, 산출된 차이에 대응하는 그레이 레벨을 가지는 이미지, 즉, 깊이 지도를 생성한다.

깊이란, 피사체와 카메라 간의 거리, 피사체와 피사체의 영상이 맺히는 기록매체(예를 들어, 필름)간의 거리, 입체감의 정도 등으로 정의될 수 있다. 따라서, 좌안 영상과 우안 영상 간의 포인트 간의 거리 차가 크면 그만큼 더 입체감이 증대함을 알 수 있다. 깊이 지도란, 이러한 깊이의 변화 상태를 하나의 영상으로 구성한 것을 의미한다. 구체적으로, 깊이 지도는 좌안 영상 및 우안 영상에서 서로 매칭되는 포인트 간의 거리의 크기에 따라 상이해지는 그레이 레벨로 표시될 수 있다. 즉, 깊이 지도 생성부(134)는 거리 차가 큰 포인트는 밝게 표시되고, 작은 포인트는 어둡게 표시되는 깊이 지도를 생성할 수 있다.

다시 도 1에 대한 설명으로 돌아가서, 스테레오 매칭부(130)에 의해 깊이 지도가 생성되면, 업 스케일러부(140)는 깊이 지도를 업스케일링한다. 여기서, 업 스케일러부(140)는 원 해상도 상태의 입력 영상(즉, 좌안 영상 또는 우안 영상)을 참조하여 깊이 지도를 업스케일링할 수 있다. 즉, 업스케일러부(140)는 입력 영상의 밝기 정보 또는 컬러 값들의 구조를 고려하여, 저해상도 상태의 깊이 지도의 각 포인트에 대하여 상이한 가중치를 적용하면서, 업스케일링을 수행할 수 있다.

일 예로, 업 스케일러부(140)는 원 해상도 상태의 입력 영상을 블럭으로 구분한 후, 블럭 내의 픽셀 값들을 비교하여 유사성을 검토할 수 있다. 검토 결과에 따라 유사한 부분에 대해서는 높은 가중치를 부여하여 가중치 윈도우를 생성할 수 있다. 이 후에, 생성된 가중치 윈도우를 깊이 지도에 적용하여 업스케일링을 하게 되면, 깊이 지도 내에서 주요 부분들에 대해서는 높은 가중치로 업스케일링이 이루어질 수 있다. 이와 같이, 원 해상도의 입력 영상을 고려하여 적응적인 업스케일링을 수행할 수 있다.

랜더링부(150)는 업스케일링된 깊이 지도와 원 해상도 상태의 입력 영상에 대하여 깊이-영상 기반 랜더링을 수행하여, 복수 개의 다 시점 영상을 생성한다. 이 경우, 랜더링부(150)는 하나의 시점에서 바라본 영상을 생성한 후, 그 영상과 깊이 지도를 이용하여 다른 시점에서 바라본 영상을 추정하여 생성할 수 있다. 즉, 랜더링부(150)는 하나의 영상이 생성되면, 그 생성된 영상을 기준 영상으로 두고 초점 거리, 피사체의 깊이 등을 이용하여, 시점 변화 시에 기록 매체(즉, 필름) 상에서의 이동 거리를 추정한다. 랜더링부(150)는 추정된 이동 거리 및 방향에 따라, 기준 영상의 각 픽셀의 위치를 이동시켜 새로운 영상을 생성한다. 생성된 영상은 기준 영상과는 소정 각도만큼 이격된 상태에서 피사체를 바라본 영상이 될 수 있다. 랜더링부(150)는 이러한 방식으로 복수의 다시점 영상을 생성할 수 있다.

한편, 도 1의 영상 변환 장치는 하나의 모듈 또는 칩으로 구현되어, 디스플레이 장치에 탑재될 수 있다.

또는, 디스플레이 장치와 별개로 마련된 독립적인 장치로 구현될 수도 있다. 예를 들어, 셋탑 박스, PC, 이미지 프로세서 장치 등과 같은 장치로 구현될 수 있다. 이 경우, 생성된 다시점 영상을 디스플레이 장치로 제공하여 줄 수 있는 구성이 추가적으로 더 필요할 수 있다.

도 3은 본 영상 변환 장치가 디스플레이 장치와 별개로 마련되는 경우를 설명하기 위한 블럭도이다. 도 3에 따르면, 영상 변환 장치는 수신부(110), 다운 스케일러부(120), 스테레오 매칭부(130), 업스케일러부(140), 랜더링부(150) 이외에 인터페이스부(160)를 더 포함할 수 있다.

인터페이스부(160)는 랜더링부(150)에서 생성된 복수 개의 다 시점 영상을 외부의 디스플레이 장치로 전송하기 위한 구성이다. 일 예로, 인터페이스부(160)는 USB 인터페이스부나 무선 통신 프로토콜을 이용하는 무선 통신 인터페이스부 등으로 구현될 수 있다. 또한, 상술한 디스플레이 장치는 무안경 3D 디스플레이 시스템일 수도 있다.

인터페이스부(160)를 제외한 나머지 구성요소는 도 1에서 설명한 것과 동일하므로, 중복 설명은 생략한다.

도 4는 본 발명의 일 실시 예에 따른 디스플레이 장치의 구성을 나타내는 블럭도이다. 도 4의 디스플레이 장치는 3D 디스플레이가 가능한 장치일 수 있다. 구체적으로는, 도 4의 디스플레이 장치는 TV, PC 모니터, 전자 액자, PDP, 휴대폰과 같은 다양한 유형의 장치가 될 수 있다.

도 4에 따르면, 디스플레이 장치는 수신부(210), 영상 변환 처리부(220), 디스플레이부(230)를 포함한다.

수신부(210)는 외부 소스로부터 스테레오 영상을 수신한다.

영상 변환 처리부(220)는 수신된 스테레오 영상을 다운 스케일링 한 후, 적응적 가중치를 적용하여 깊이 지도를 산출한다. 그리고 나서, 산출된 깊이 지도 및 원 해상도 영상을 이용하여 업 스케일링을 하여 다시점 영상을 생성한다.

디스플레이부(230)는 영상 변환 처리부(220)에서 생성된 다 시점 영상을 출력하여, 3D 화면을 구성할 수 있다. 일 예로, 디스플레이부(230)는 다시점 영상을 공간적으로 구분하여 출력하여 안경을 쓰지 않고서도 피사체와의 거리감을 느끼어, 3D 영상으로 인식하도록 할 수 있다. 이 경우, 디스플레이부(230)는 패러랙스 배리어(Parallax Barrier) 기술 또는 렌티큘러(Lenticular) 기술에 따른 디스플레이 패널로 구현될 수 있다.

또는, 디스플레이부(230)는 다시점 영상을 시간적으로 교번하여 출력하여 입체감을 느끼도록 구현할 수도 있다. 즉, 본 디스플레이 장치는 무안경 시스템 및 안경 시스템 중 어느 쪽의 시스템으로도 구현될 수 있다.

한편, 영상 변환 처리부(220)는 도 1 내지 도 3에 개시된 구성으로 구현될 수 있다. 즉, 영상 변환 처리부(220)는, 스테레오 영상을 다운 스케일링하는 다운 스케일러부, 다운 스케일링된 스테레오 영상들에 대해서 적응적 가중치를 적용하여 스테레오 매칭을 수행하고, 스테레오 매칭 결과에 따라 깊이 지도를 생성하는 스테레오 매칭부, 원 해상도 상태의 입력 영상을 참조하여, 상기 깊이지도를 업스케일링하는 업 스케일러부, 상기 업스케일링된 깊이 지도와 상기 원 해상도 상태의 입력 영상에 대하여 깊이-영상 기반 랜더링을 수행하여, 복수 개의 다 시점 영상을 생성하는 랜더링부 등을 포함할 수 있다. 영상 변환 처리부(220)의 세부 구성 및 동작에 대해서는 도 1 내지 도 3에 설명된 내용과 동일하므로, 중복 설명은 생략한다.

도 5 내지 도 9는 본 발명의 일 실시 예에 따른 영상 변환 방법을 설명하기 위한 도면이다.

먼저, 도 5에 따르면, 원 해상도 크기의 좌안 영상(500), 우안 영상(600)이 수신부(110)에 의해 수신되면, 다운 스케일러부(120)가 다운스케일링을 수행하여, 저해상도의 좌안 영상(510) 및 우안 영상(610)을 출력한다.

저해상도의 좌안 영상(510) 및 우안 영상(610)에 대해서는 스테레오 매칭 절차가 진행되어, 비용 볼륨(cost volume)(520)이 계산될 수 있다. 이에 따라, 각 픽셀 마다 가장 낮은 비용을 가지는 깊이(depth)가 선택되어 깊이 지도(530)가 생성된다.

스테레오 매칭 절차는 높은 계산량을 요구하기 때문에, 상술한 바와 같이 다운 스케일링을 선행하여 저해상도의 영상으로 만든 후에 스테레오 매칭을 진행함으로써, 알고리즘의 복잡도를 낮추어 주어 연산 부담을 줄일 수 있다. 다만, 단순한 방식으로 스테레오 매칭을 하게 되면, 합성된 영상의 화질 저하가 발생할 우려가 있다. 이에 따라, 본 실시 예에서는 적응적 가중치 윈도우(adaptive weighted window) 기반의 스테레오 매칭 알고리즘(stereo matching algorithm)을 사용한다. 이에 대해서는 후술하는 부분에서 구체적으로 설명한다.

한편, 깊이 지도(530)가 생성되면, 깊이 지도(530)와 원 해상도의 입력 영상 중 하나(도 5의 경우, 좌안 영상(500))를 이용하여 업스케일링을 수행한다. 즉, 저해상도의 깊이 지도(530)를 단순 업스케일링하게 되면, 화질 저하가 발생할 수 있다. 이에 따라, 원 해상도 상태의 좌안 영상(500)을 기초로 하여, 가중치 윈도우를 생성하고, 그 가중치 윈도우를 깊이 지도(530)에 적용하여 특정 부분에 대해서는 업스케일링이 보다 큰 값으로 이루어지고, 배경과 같은 부분에서는 상대적으로 작은 값으로 이루어지도록 할 수 있다. 구체적으로는, 원 해상도 상태의 좌안 영상(500)을 블럭으로 구분한 후, 블럭 내의 픽셀 값들을 비교하여 유사성을 검토할 수 있다. 검토 결과에 따라 유사한 부분에 대해서는 높은 가중치를 부여하여 가중치 윈도우를 생성할 수 있다. 이 후에, 생성된 가중치 윈도우를 저해상도의 깊이 지도(530) 상에서 동일한 부분에 적용하여 업스케일링을 수행한다. 이에 따라, 배경 등을 제외한 객체 부분, 특히, 에지 부분 등에서 높은 가중치로 업스케일링이 이루어질 수 있게 되어, 화질 저하를 방지할 수 있다.

이와 같이, 업 스케일링이 이루어져 고해상도의 깊이 지도(540)가 마련되면, 다시 원 해상도의 입력 영상(500)을 참조하여, 다시점 영상(700-1 ~ 700-n)을 생성한다. 다시점 영상의 개수는 실시 예에 따라 상이해질 수 있으나, 일 예로는 9개의 다시점 영상이 이용될 수 있다.

도 5에서는 좌안 영상에 대한 깊이 지도와, 원 해상도의 좌안 영상(500)을 이용하여 업스케일링을 수행하는 것을 도시하였으나, 반드시 이에 한정되는 것은 아니다.

도 6은 저해상도의 좌안 영상 및 우안 영상 각각에 대하여 윈도우를 적용하는 과정을 설명하기 위한 도면이다. 도 6에 따르면, 좌안 영상(510) 및 우안 영상(610) 상에서 각 픽셀을 중심 픽셀(C)로 하는 윈도우를 각각 순차적으로 생성한다. 이 때, 도 6에서와 같이 배경의 경계와 등장인물의 경계가 비슷해지는 부분이 있을 수 있다. 이 경우, 좌안 영상과 우안 영상의 시각이 서로 다르므로, 배경과 등장인물 사이의 위치 관계에 따라 배경 및 등장인물이 약간 떨어지게 보일 수도 있고, 겹치도록 보일 수도 있다.

즉, 도 6에서와 같이 배경(20)이 등장인물(10)의 좌측에 있다면, 좌안 영상(510)의 일 픽셀(C1)을 중심 픽셀로 하는 윈도우(a)에서는 배경 부분(20)이 등장 인물(10)과 약간 떨어진 것처럼 보이지만, 우측의 우안 영상(610)의 일 픽셀(C2)을 중심 픽셀로 하는 윈도우(b)에서는 배경(20)과 등장 인물(10)이 겹치게 된다.

도 7은 좌안 영상에 대해 적용된 윈도우(a)와 우안 영상에 대해 적용된 윈도우(b)를 그대로 이용하여 매칭도를 산출하는 과정을 나타낸다. 도 7에 도시된 바와 같이, 좌안 영상 윈도우(a)의 각 픽셀 값에 대하여 우안 영상 윈도우(b)의 각 픽셀 값을 직접 차감한 후, 제곱을 수행하여, 매칭 여부를 판단한다. 이 경우, 도 6의 예에서와 같이 배경과 등장인물 간의 경계 지점에서는, 좌안 영상 및 우안 영상의 윈도우들(a, b)의 픽셀이 상당히 다르게 나타날 수 있어서, 매칭도가 매우 낮게 나타난다.

도 8은 본 발명의 일 실시 예에 따라 가중치 윈도우를 이용하여 매칭도를 산출하는 과정을 나타낸다. 도 8에 따르면, 좌안 영상 윈도우(a)에 대한 제1 가중치 윈도우(w1)와, 우안 영상 윈도우(b)에 대한 제2 가중치 윈도우(w2)가 이용된다.

제1 가중치 윈도우(w1) 및 제2 가중치 윈도우(w2)는 각각 좌안 영상 및 우안 영상에 기초하여 얻어질 수 있다. 즉, 제1 가중치 윈도우(w1)를 예를 들면, 좌안 영상 윈도우(a) 내에서 중심 픽셀(c1)의 픽셀 값과 주변 픽셀들의 픽셀 값들을 비교한다. 이에 따라, 중심 픽셀(c1)과 동일하거나 소정의 오차 범위 내에 속하는 유사한 픽셀 값을 가지는 주변 픽셀에 대해서는 높은 가중치를 부여한다. 즉, 윈도우(a)에서는 중심 픽셀(c1)이 등장인물을 이루는 픽셀이므로, 등장인물을 이루는 다른 주변 픽셀들에 대해서 높은 가중치가 부여된다. 반면, 등장인물을 제외한 나머지 픽셀들에 대해서는 상대적으로 낮은 가중치가 부여된다. 가중치 예를 0 또는 1로 둔다면, 등장인물에 해당하는 픽셀들은 가중치 1이 부여되고, 나머지 픽셀들은 가중치 0이 부여될 수 있다. 이러한 방식으로 제1 가중치 윈도우(w1)이 생성될 수 있다. 제2 가중치 윈도우(w2)는 우안 영상 윈도우(b)에 기초하여 동일한 방식으로 생성될 수 있다.

이러한 상태에서 제1 및 제2 가중치 윈도우(w1, w2)가 생성되면, 도 8에서와 같이 좌안 영상 윈도우(a) 및 우안 영상 윈도우(b)에 대하여 각각 승산한다. 그리고 나서, 승산한 값들을 감산한 후 제곱하여, 그 결과값을 기초로 매칭 여부를 판단한다. 이와 같이 가중치 윈도우를 각 윈도우(a, b)에 승산하기 때문에, 배경 요소의 영향을 최소화하면서 주요부인 등장 인물을 기초로 하여 매칭 여부가 판단될 수 있다. 따라서, 도 6과 같이 배경과 등장인물의 경계 부분에 대한 윈도우가 배경의 영향때문에 매칭되지 않는 포인트라고 판단되는 것을 방지할 수 있게 된다.

도 8에 도시된 바와 같은 방식으로 저해상도의 좌안 영상 및 우안 영상(510, 610) 각각에 대하여 매칭되는 포인트들을 탐색하게 되면, 그 매칭 포인트들 간의 거리를 산출하여, 비용 볼륨(520)을 마련한다. 이에 따라, 그 산출된 거리에 대응하는 그레이 레벨을 가지는 깊이 지도를 생성하게 된다.

그리고 나서, 생성된 깊이 지도와 원 해상도의 입력 영상을 이용하여 업스케일링을 수행한다.

도 9는 본 발명의 일 실시 예에 따른 업스케일링 과정을 설명하기 위한 도면이다. 도 9에 따르면, 원해상도의 좌안영상(500)을 참고하지 않는 경우(a) 및 참고하는 경우(b)에서, 저해상도 상태의 좌안 영상의 깊이 지도(530)를 업스케일링하였을 때의 화질 상태를 나타내고 있다.

먼저, 도 9의 (a)에서는 원 해상도의 좌안 영상(500)을 참고하지 않고, 저해상도의 깊이 지도(530-1)를 바로 업스케일링한 경우를 나타낸다. 이는 통상의 업스케일링 방식에 따라서, 소정 주기 또는 패턴으로 픽셀을 보간하여 해상도를 단순 증대시키는 방식이 사용될 수 있다. 이 경우, 에지 부분에 대한 처리가 정상적으로 이루어지지 않아, 업스케일링된 깊이 지도(530-2)에서 에지가 매끄럽지 않고 단층 상태로 표현되는 것을 볼 수 있다. 이에 따라 전체 깊이 지도(540')의 화질은 열화된 상태임을 알 수 있다.

반면, 도 9의 (b)에서는 원 해상도의 좌안 영상(500)을 참고하여, 저해상도의 깊이 지도(530)를 업스케일링하는 과정을 나타낸다. 먼저, 저해상도의 깊이 지도(530)의 각 픽셀에 대해서 윈도우(530-1)를 적용한다. 그리고 나서, 원 해상도의 좌안 영상(500)내의 윈도우 중에서, 깊이 지도 윈도우(530-1)에 매칭되는 윈도우(500-1)를 탐색한다. 이후에, 탐색된 윈도우(500-1)에 대한 가중치 윈도우(w3)를 생성한다. 본 가중치 윈도우(w3)는 윈도우(500-1) 내의 중심 픽셀과 그 주변 픽셀들 간의 유사도를 이용하여 윈도우 내의 각 픽셀에 대해 가중치를 부여한 윈도우를 의미한다. 이에 따라, 생성된 가중치 윈도우(w3)를 깊이 지도 윈도우(530-1)에 적용하여 업스케일링을 수행한다. 이에 따라, 업스케일링된 깊이 지도 윈도우(540-1)는 도 9의 (a)의 깊이 지도 윈도우(530-2)와 달리 에지 부분이 매끄럽게 처리되었음을 알 수 있다. 결과적으로, 전체 깊이 지도 윈도우(540-1)들이 모이게 되면, 고해상도의 깊이 지도(540)가 생성된다. 도 9의 (a)와 같이 원 해상도의 입력 영상을 참고하지 않고 업스케일링된 깊이 지도(540')와 비교하면, 도 9의 (b)와 같이 원 해상도의 입력 영상을 참고하여 업스케일링된 깊이 지도(540)의 화질이 훨씬 더 개선된 상태임을 알 수 있다.

도 10는 업스케일링된 깊이 지도(540) 및 원 해상도의 입력 영상을 이용하여 생성된 다시점 영상을 이용하여 3D 디스플레이를 구현하는 과정을 설명하기 위한 도면이다.

도 10에 따르면, 스테레오 입력, 즉, 좌안 영상(L) 및 우안 영상(R)이 영상 변환 장치(100)로 입력된다. 영상 변환 장치(100)는 상술한 방식으로 좌안 영상 및 우안 영상을 처리하여, 다시점 영상을 생성한다. 그리고 나서, 디스플레이부(230)를 통해서 다시점 영상을 공간 분할 방식으로 디스플레이한다. 이에 따라, 디스플레이부(230)를 바라보는 시청자(USER)는 그 위치에 따라서 양안에서 서로 다른 시점 영상(view)을 각각 보게 되어, 안경 없이도 입체감을 느낄 수 있게 된다.

도 11은 다시점 영상의 출력 방식의 일 예를 나타내는 도면이다. 도 11에 따르면, 디스플레이부(230)에서는 총 9개의 다시점 영상(V1 내지 V9)를 공간적으로 분할된 방향으로 출력하게 된다. 도 11과 같이 좌측에서부터 마지막 9번째의 영상 출력이 끝나는 부분에서는 다시 첫번째 영상부터 출력하게 된다. 이에 따라, 디스플레이부(230) 정면을 바라보는 사용자가 아니라 측면 방향에 위치한 사용자라 할지라도 입체감을 느낄 수 있게 된다. 한편, 다시점 영상의 개수는 반드시 9개로 한정되는 것은 아니며, 그 개수에 따라 디스플레이 방향의 수도 달라질 수 있다.

이와 같이, 본 발명의 다양한 실시 예에 따르면, 스테레오 영상을 효과적으로 다시점 영상으로 변환할 수 있게 되어, 무안경 3D 디스플레이 시스템 및 기타 디스플레이 시스템에 적용할 수 있게 된다.

도 12는 본 발명의 일 실시 예에 따른 영상 변환 방법을 설명하기 위한 흐름도이다.

도 12에 따르면, 스테레오 영상이 수신되면(S1210), 각각의 영상에 대해서 다운 스케일링이 이루어진다(S1220). 여기서, 스테레오 영상이란 서로 다른 시점에서 촬영된 복수의 영상을 의미한다. 일 예로, 사람의 양안 시차 정도만큼 이격된 상태로 촬영된 좌측 및 우측 영상, 즉, 좌안 및 우안 영상이 될 수 있다.

그리고 나서, 다운 스케일링 각 영상들에 대해서 윈도우를 적용하여 매칭되는 포인트를 탐색한다. 즉, 스테레오 매칭을 수행한다(S1230). 이 경우, 윈도우 내의 각 픽셀들간의 유사도를 고려하여 가중치를 부여하는 가중치 윈도우를 이용할 수 있다.

이에 따라, 매칭되는 포인트가 탐색되면, 해당 포인트들 간의 거리 차이를 이용하여 깊이 지도를 생성한다(S1240). 그리고 나서, 생성된 깊이 지도를 업스케일링한다(S1250). 이 경우, 원 해상도의 입력 영상을 참고하여, 일정 부분에 가중치를 부여하면서 업스케일링을 수행할 수 있다. 이에 따라, 에지 부분 등과 같이 주요 부분에서는 업스케일링이 보다 집중적으로 수행되어, 화질 저하를 방지할 수 있다.

이와 같이 업스케일링이 수행되면, 업스케일링된 깊이 지도 및 원 해상도의 입력 영상을 이용하여 다시점 영상을 생성한다(S1260). 구체적으로는, 하나의 다시점 영상을 먼저 생성한 후, 그 다시점 영상을 기초로 나머지 다시점 영상들을 생성한다. 본 방법이 디스플레이 장치와 별개로 마련된 영상 변환 장치에서 수행되는 경우라면, 생성된 다시점 영상은 디스플레이 장치, 특히, 무안경 3D 디스플레이 시스템으로 전송되는 단계가 더 포함될 수도 있다. 이에 따라, 3D 화면으로 출력될 수 있다. 또는, 본 방법이 디스플레이 장치 자체에서 수행되는 경우라면, 생성된 다시점 영상을 3D 화면으로 출력하는 단계가 더 포함될 수도 있다.

도 13은 가중치 윈도우를 이용한 스테레오 매칭 과정의 일 예를 설명하기 위한 흐름도이다. 도 13에 따르면, 제1 입력 영상 및 제2 입력 영상 각각에 대해 윈도우를 적용한다(S1310).

그리고 나서, 윈도우 내의 각 픽셀 값들을 확인하여, 픽셀 간 유사성을 계산한다(S1320).

이에 따라, 유사성에 따라 상이한 가중치를 적용하여, 제1 입력 영상 윈도우 및 제2 입력 영상 윈도우 각각에 대한 가중치 윈도우들을 생성한다. 그리고 나서, 생성된 가중치 윈도우들을 제1 입력 영상 윈도우 및 제2 입력 영상 윈도우에 각각 적용하여, 서로 매칭되는지 여부를 비교한다. 이에 따라, 매칭 포인트를 탐색한다(S1330).

한편, 매칭 포인트의 비교는, 제1 입력 영상의 일 픽셀에 대해 하나의 윈도우가 적용된 상태에서, 제2 입력 영상의 전체 픽셀에 대해 윈도우를 이동시키면서 모두 비교하여 볼 수 있다. 그리고 나서, 제1 입력 영상의 다음 픽셀에 대해서도 다시 윈도우를 적용하고, 새로운 윈도우와 제2 입력 영상의 전체 윈도우들을 다시 비교하여 볼 수 있다. 이러한 방식으로 제1 입력 영상의 전체 윈도우와 제2 입력 영상의 전체 윈도우들을 비교하여, 매칭 포인트를 탐색할 수 있다.

이상과 같이, 본 발명의 다양한 실시 예에 따르면, 스테레오 영상 신호를 적절하게 변환하여 복수 개의 다시점 영상을 생성할 수 있게 된다. 이에 따라, 기존의 스테레오 영상으로 제작된 컨텐츠를 그대로 다시점 영상 컨텐츠로 활용할 수 있게 된다.

또한, 상술한 본 발명의 다양한 실시 예들에 따른 영상 변환 방법은, 다양한 유형의 기록 매체에 저장되어, CPU에 의해 실행될 수 있는 프로그램 코드으로 구현될 수도 있다.

구체적으로는, 상술한 영상 변환 방법을 수행하기 위한 프로그램은, RAM(Random Access Memory), 플레시메모리, ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electronically Erasable and Programmable ROM), 레지스터, 하드디스크, 리무버블 디스크, 메모리 카드, USB 메모리, CD-ROM 등과 같이, 단말기에서 판독 가능한 다양한 유형의 기록 매체에 저장되어 있을 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

110 : 수신부 120 : 다운 스케일러부
130 : 스테레오 매칭부 140 : 업 스케일러부
150 : 랜더링부 160 : 인터페이스부
210 : 수신부 220 : 영상 변환 처리부
230 : 디스플레이부

Claims

영상 변환 장치의 영상 변환 방법에 있어서,
스테레오 영상을 수신하는 단계;
상기 스테레오 영상을 다운 스케일링하는 단계;
상기 다운 스케일링된 스테레오 영상들에 대해서 적응적 가중치를 적용하여 스테레오 매칭을 수행하는 단계;
상기 스테레오 매칭 결과에 따라 깊이 지도를 생성하는 단계;
원 해상도 상태의 입력 영상을 참조하여, 상기 깊이지도를 업스케일링하는 단계;
상기 업스케일링된 깊이 지도와 상기 원 해상도 상태의 입력 영상에 대하여 깊이-영상 기반 랜더링을 수행하여, 복수 개의 다 시점 영상을 생성하는 단계;를 포함하는 영상 변환 방법.
제1항에 있어서,
상기 스테레오 매칭을 수행하는 단계는,
상기 스테레오 영상 중 하나인 제1 입력 영상 및 제2 입력 영상 각각에 대해서 기 설정된 크기의 윈도우를 순차적으로 적용하는 단계;
상기 윈도우 내의 중심 픽셀 및 주변 픽셀 간의 유사성을 계산하는 단계;
상기 유사성에 따라 상이한 가중치를 적용하여, 상기 제1 입력 영상 및 상기 제2 입력 영상 간의 매칭되는 포인트를 탐색하는 단계;를 포함하는 것을 특징으로 하는 영상 변환 방법.
제2항에 있어서,
상기 깊이 지도는,
상기 매칭되는 포인트 간의 거리 차에 따라 상이한 그레이 레벨을 가지는 이미지인 것을 특징으로 하는 영상 변환 방법.
제3항에 있어서,
상기 가중치는, 상기 중심 픽셀과의 유사도에 비례하는 크기로 설정되고,
상기 그레이 레벨은 상기 매칭되는 포인트 간의 거리 차에 반비례하는 값으로 설정되는 것을 특징으로 하는 영상 변환 방법.
제2항에 있어서,
상기 깊이지도를 업스케일링하는 단계는,
상기 깊이 지도와 상기 원해상도 상태의 입력 영상 간의 유사점을 탐색하는 단계;
상기 탐색된 유사점에 대하여 가중치를 적용하여 업 스케일링을 수행하는 단계;를 포함하는 것을 특징으로 하는 영상 변환 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 복수 개의 다 시점 영상은 무안경 3D 디스플레이 시스템에서 출력되어, 3D 화면을 구성하는 단계;를 더 포함하는 것을 특징으로 하는 영상 변환 방법.
영상 변환 장치에 있어서,
스테레오 영상을 수신하는 수신부;
상기 스테레오 영상을 다운 스케일링하는 다운 스케일러부;
상기 다운 스케일링된 스테레오 영상들에 대해서 적응적 가중치를 적용하여 스테레오 매칭을 수행하고, 상기 스테레오 매칭 결과에 따라 깊이 지도를 생성하는 스테레오 매칭부;
원 해상도 상태의 입력 영상을 참조하여, 상기 깊이지도를 업스케일링하는 업 스케일러부;
상기 업스케일링된 깊이 지도와 상기 원 해상도 상태의 입력 영상에 대하여 깊이-영상 기반 랜더링을 수행하여, 복수 개의 다 시점 영상을 생성하는 랜더링부;를 포함하는 영상 변환 장치.
제7항에 있어서,
상기 스테레오 매칭부는,
상기 스테레오 영상 중 하나인 제1 입력 영상 및 제2 입력 영상 각각에 대해서 기 설정된 크기의 윈도우를 순차적으로 적용하는 윈도우 생성부;
상기 윈도우 내의 중심 픽셀 및 주변 픽셀 간의 유사성을 계산하는 유사성 계산부;
상기 유사성에 따라 상이한 가중치를 적용하여, 상기 제1 입력 영상 및 상기 제2 입력 영상 간의 매칭되는 포인트를 탐색하는 탐색부; 및,
상기 탐색된 포인트 간의 이동 거리를 이용하여 깊이 지도를 생성하는 깊이 지도 생성부;를 포함하는 것을 특징으로 하는 영상 변환 장치.
제8항에 있어서,
상기 깊이 지도는,
상기 매칭되는 포인트 간의 거리 차에 따라 상이한 그레이 레벨을 가지는 이미지인 것을 특징으로 하는 영상 변환 장치.
제9항에 있어서,
상기 가중치는, 상기 중심 픽셀과의 유사도에 비례하는 크기로 설정되고,
상기 그레이 레벨은 상기 매칭되는 포인트 간의 거리 차에 반비례하는 값으로 설정되는 것을 특징으로 하는 영상 변환 장치.
제8항에 있어서,
상기 업 스케일러부는,
상기 깊이 지도와 상기 원해상도 상태의 입력 영상 간의 유사점을 탐색하고, 상기 탐색된 유사점에 대하여 가중치를 적용하여 업 스케일링을 수행하는 것을 특징으로 하는 영상 변환 장치.
제7항 내지 제11항 중 어느 한 항에 있어서,
상기 복수 개의 다 시점 영상을 무안경 3D 디스플레이 시스템으로 제공하는 인터페이스부;를 더 포함하는 영상 변환 장치.
디스플레이 장치에 있어서,
스테레오 영상을 수신하는 수신부;
상기 스테레오 영상을 다운 스케일링한 후 적응적 가중치를 적용하여 깊이 지도를 산출하고, 산출된 깊이 지도 및 원 해상도 영상을 이용하여 업 스케일링을 하여 다 시점 영상을 생성하는 영상 변환 처리부; 및,
상기 영상 변환 처리부에서 생성된 다 시점 영상을 출력하는 디스플레이부;를 포함하는 디스플레이 장치.
제13항에 있어서,
상기 영상 변환 처리부는,
상기 스테레오 영상을 다운 스케일링하는 다운 스케일러부;
상기 다운 스케일링된 스테레오 영상들에 대해서 적응적 가중치를 적용하여 스테레오 매칭을 수행하고, 상기 스테레오 매칭 결과에 따라 깊이 지도를 생성하는 스테레오 매칭부;
원 해상도 상태의 입력 영상을 참조하여, 상기 깊이지도를 업스케일링하는 업 스케일러부;
상기 업스케일링된 깊이 지도와 상기 원 해상도 상태의 입력 영상에 대하여 깊이-영상 기반 랜더링을 수행하여, 복수 개의 다 시점 영상을 생성하는 랜더링부;를 포함하는 것을 특징으로 하는 디스플레이 장치.