KR20140077398A

KR20140077398A - 입체영상 디스플레이에서의 계층적 다중화를 위한 장치 및 방법

Info

Publication number: KR20140077398A
Application number: KR1020120146161A
Authority: KR
Inventors: 신홍창; 엄기문; 김찬; 정원식; 허남호; 이현
Original assignee: 한국전자통신연구원
Priority date: 2012-12-14
Filing date: 2012-12-14
Publication date: 2014-06-24
Anticipated expiration: 2032-12-14
Also published as: KR101992767B1

Abstract

입체영상 디스플레이에서의 계층적 다중화를 위한 장치 및 방법을 제공한다. 입체영상 디스플레이에서의 계층적 다중화를 위해 입체영상 디스플레이에 표시하려는 원본영상을 이용하여 가상시점 영상을 생성한 후 크기를 조절하고, 원본영상에서 계층적 다중화 하려는 관심영역 또는 관심객체를 검출하여 크기 및 깊이를 조절한다. 그리고, 크기가 조절된 가상시점 영상에 크기 및 깊이가 조절된 관심영역 또는 관심객체를 재배치하여 계층적 다중화를 수행한다.

Description

입체영상 디스플레이에서의 계층적 다중화를 위한 장치 및 방법{Method and apparatus for scalable multiplexing in three-dimension display}

본 발명은 입체영상 디스플레이에서의 계층적 다중화를 위한 장치 및 방법에 관한 것으로, 더욱 상세하게는 입체영상 디스플레이에서 관심영역(Region of Interest, ROI) 또는 관심객체(Object of Interest, OOI)의 크기 및 깊이를 조절하는 입체영상 디스플레이에서의 계층적 다중화를 위한 장치 및 방법에 관한 것이다.

현재 입체영상 디스플레이(이하, "3차원 디스플레이"와 혼용하여 사용함)는 공간적으로 분할된 디스플레이 패널에 두 시점 이상의 영상을 표시하고 개별 시점을 동시에 재생한다. 동시에 재생되고 있는 영상들은 편광 필름, 렌티큘러 시트, 패럴랙스 배리어 등의 구동방식에 의해 시점이 분리되어 사람의 두 눈에 서로 다른 시점의 영상이 각각 제시됨에 따라 3차원으로 느낄 수 있게 된다.

입체영상을 표시하기 위한 다시점 디스플레이에는 여러 시점이 동시에 재생이 되어야 한다. CG(computer graphics)가 아닌 실사 다시점 영상을 획득하기 위해서는 카메라 배치, 획득 방법, 데이터 저장, 데이터 전송 등과 같이 현실적으로 어려운 문제가 많다. 따라서, 재생 시점 수보다 적은 수의 참조 시점 영상을 이용하여 가상 시점 영상을 생성하는 영상합성(view synthesis) 기법을 이용하여 다시점 영상을 제공하는 방식이 널리 쓰이고 있다.

또한, 3차원 디스플레이는 기본적으로 여러 시점 영상을 동시에 재생해야 하므로 재생공간과 시점 당 해상도 사이에 상충관계(trade-off)가 있다. 즉, 좌/우 영상이 HD(High Definition) 영상으로 입력이 되어 영상합성의 중간 과정을 통해 같은 해상도의 가상시점이 생성이 되지만, 결국 다시점 디스플레이에 제시되는 영상의 시점 당 해상도는 줄어들게 되는 문제점이 있다.

한국 공개 특허 제 10-2012-0063984 호("다시점 영상 생성 방법 및 장치", 한국전자통신 연구원, 2012.06.18 공개)

전술한 문제점을 해결하기 위한 본 발명의 목적은 입체영상 디스플레이에서 관심영역(ROI) 또는 관심객체(OOI)의 크기 및 깊이를 계층적 다중화를 통해 보다 자연스럽게 조절할 수 있는 입체영상 디스플레이에서의 계층적 다중화를 위한 장치 및 방법을 제공하는 것이다.

발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

전술한 본 발명의 목적을 달성하기 위한 본 발명의 실시예에 따른 입체영상 디스플레이에서의 계층적 다중화 방법에 있어서, 상기 입체영상 디스플레이에 표시하려는 원본영상을 이용하여 가상시점 영상을 생성한 후 크기를 조절하는 단계, 상기 원본영상에서 계층적 다중화 하려는 관심영역 또는 관심객체를 검출하여 크기 및 깊이를 조절하는 단계 및 상기 크기가 조절된 가상시점의 영상들에 상기 크기 및 깊이가 조절된 관심영역 또는 관심객체를 재배치하는 단계를 포함하는 것을 특징으로 한다.

상술한 입체영상 디스플레이에서의 계층적 다중화를 위한 장치 및 방법에 따르면, 계층적 다중화 하려는 관심영역 또는 관심객체를 검출하여 크기 및 깊이를 조절한 후 가상시점 영상들에 재배치하는 계층적 다중화를 통해 보다 자연스러운 깊이 조절 효과를 제공할 수 있으며, 그에 따라 입체영상 디스플레이에서 표시되는 영상의 시점 당 해상도를 향상시킬 수 있다.

도 1은 일반적인 3차원 다시점 디스플레이의 원리를 나타내는 개념도이다.
도 2는 일반적인 스테레오스코픽 기반 다시점 영상 생성 개념도이다.
도 3은 본 발명의 실시예에 따른 3차원 디스플레이에서의 변이 조절 방법을 개략적으로 나타내는 개념도이다.
도 4는 본 발명의 실시예에 따른 3차원 디스플레이에서의 깊이 조절 방법을 개략적으로 나타내는 개념도이다.
도 5는 본 발명의 실시예에 따른 계층적 다중화를 설명하기 위한 개념도이다.
도 6은 본 발명의 실시예에 따른 다층적 다중화 장치를 개략적으로 나타내는 도면이다.
도 7은 도 6에 도시한 다중화부를 개략적으로 나타내는 도면이다.
도 8은 본 발명의 실시예에 따른 계층적 다중화 순서를 개략적으로 나타내는 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 1은 일반적인 3차원 다시점 디스플레이의 원리를 나타내는 개념도이다. 도 2는 일반적인 스테레오스코픽 기반 다시점 영상 생성 개념도이다.

도 1에 도시한 바와 같이, 3차원 다시점 디스플레이는 공간적으로 분할된 디스플레이 패널(10)에 두 시점 이상의 영상(11)을 표시하고 개별 시점을 동시에 재생한다. 이처럼 디스플레이 패널(10)에 동시에 재생되고 있는 영상들은 편광 필름, 렌티큘러 시트, 패럴랙스 배리어 등의 구동방식에 의해 시점이 분리 된다. 그러면, 시청자의 두 눈에는 서로 다른 시점의 영상이 각각 제시되어 입체감을 느낄 수 있는 다시점 영상(20)으로 표시된다.

이러한 원리에 의해, 다시점 영상(20)은 도 2에 도시한 바와 같이 좌영상(30)과 우영상(40)을 입력받고 좌/우 영상(30, 40)에서 3차원 영상 정보를 추출하여 가상 시점 영상(50)을 N개를 생성하고, 생성된 가상 시점 영상(50)이 디스플레이 패널에 표시된다. 이때, 3차원 영상 정보는 좌/우 두 영상의 변이맵이나 움직임보상 정보, 객체분할 정보 등 여러 정보가 추출되어 활용될 수 있다.

이처럼 3차원 다시점 디스플레이는 기본적으로 여러 시점 영상을 동시에 재생을 해야 하므로 재생공간과 시점 당 해상도 사이에 상충관계(trade-off)가 발생한다. 따라서, 도 2에서와 같이 좌/우 영상이 HD 영상으로 입력이 되어 영상 합성의 중간 과정을 통해 같은 해상도의 가상 시점이 생성이 되지만, 다시점 디스플레이에 제시되는 영상의 시점 당 해상도가 줄어들게 되는 문제점이 있다.

이하 이러한 문제점을 해소하기 위해 도 3 내지 도 8을 참고하여 본 발명의 실시예에 따른 입체영상 디스플레이에서의 계층적 다중화를 위한 장치 및 방법을 구체적으로 설명한다.

도 3은 본 발명의 실시예에 따른 3차원 디스플레이에서의 변이 조절 방법을 개략적으로 나타내는 개념도이다.

도 3에 도시한 바와 같이, 3차원 디스플레이에서는 좌영상(60a)과 우영상(60b)사이에 시차(disparity)가 존재하기 때문에 깊이감을 느끼게 된다. 만일, 좌영상(60a)과 우영상(60b)에서 표시되는 영상 속 객체의 시차가 더 커지게 된다면 깊이감이 더욱 커지게 되어 시청자는 객체가 더 가까워지게 지는 것처럼 느끼게 된다. 따라서, 3차원 다시점 디스플레이로 표시되는 영상 속 관심영역(Region of Interest, ROI) 또는 관심객체(Object of Interest, OOI)의 변이를 조절하면 깊이감이 조절된다.

만일, 영상 속 관심객체(OOI), 즉 차량(C11)의 깊이감을 조절하여 더 가까워 지게 하고 싶다면, 좌/우 영상(60a, 60b)에서 차량(C11)의 위치를 조절하여 변이가 더 크게 되도록 설정한다. 그러면, 시청자는 위치 조절에 의해 디스플레이되는 영상의 차량(C12)이 더 가까워지게 되는 것처럼 느끼게 된다.

하지만, 실세계에서는 객체가 사람에게 가까워지면 그만큼 크기도 커지는게 당연한데 위치만을 조절하여 깊이감을 조절하게 되면 기하학적으로 부자연스러운 깊이 조절이 된다.

따라서, 3차원 디스플레이의 본래의 목적이 2차원 디스플레이보다 장면의 입체감과 실재감이 더해져야 하므로, 보다 자연스러운 깊이감 조절을 하기 위해서는 단순히 관심영역(ROI) 또는 관심객체(OOI)를 앞이나 뒤로 위치만을 조절하여 해결하는 것이 아니라 실제 그 크기까지도 함께 조절해야 한다.

아래에서는 보다 자연스러운 깊이감을 조절하기 위한 방법을 보다 구체적으로 설명한다.

도 4는 본 발명의 실시예에 따른 3차원 디스플레이에서의 깊이 조절 방법을 개략적으로 나타내는 개념도이다.

도 4를 참고하면, 전술한 도 3에서와 같이 영상(IM1) 속 관심객체(OOI)인 차량(C21)의 변이를 조절하면 관심객체의 깊이가 조절되어 차량(C21)이 더 가까워지게 되는 것처럼 느끼게 된다. 하지만, 차량(C21)이 거리(d)만큼 변이가 조절되면, 처음 차량(C21)이 가렸던 영역에 대한 정보(배경)가 존재하지 않기 때문에 가려짐 영역(R1)이 발생된다. 본 발명의 실시예에서의 가려짐 영역(occlusion region)(이하, "차폐 영역"과 혼용하여 사용함)은 관심객체의 위치 변위됨에 따라 정보가 없었던 영역이 새로 나타나면서 생기는 영역이다.

이러한 가려짐 영역(R1)을 보간하기 위해, 관심영역 또는 관심객체를 그 차폐 영역을 모두 가릴 수 있을 크기만큼 또는 그 이상으로 확대한다. 즉, 관심객체에 변이를 주기 위해 위치를 이동함으로써 생기는 차폐 영역을 관심객체를 확대하여 가리게 되면 후처리로 보간을 할 필요가 없게 된다. 또한, 관심객체의 깊이를 조절함과 동시에 크기 변화까지 줄 수 있으므로 깊이 조절이 보다 자연스러워진다.

다시 말해, 차폐 영역을 보간하기 위해 영상(IM2)의 깊이 조절을 하기 이전 원래 크기의 차량(C31)을 차량(C32)과 같이 확대하면, 차폐 영역이 생기지 않도록 좌우 또는 상하 방향으로 객체에 변이를 줄 수 있는 여유 공간(SR)이 형성된다. 이처럼 형성된 여유 공간(SR)의 한도 내에서 변이를 준다면 차폐 영역을 보간하지 않으면서도 관심객체 또는 관심영역의 변이를 조절할 수 있다. 하지만, 관심영역 또는 관심객체를 확대하여 보다 자연스럽게 깊이감이 조절되었으나, 확대로 인해 생기는 해상도 저하 문제가 발생할 수 있다.

이러한 관심영역 또는 관심객체를 확대로 인해 발생할 수 있는 해성도 저하 문제는 3차원 디스플레이에서의 다시점 다중화를 할 때 계층적 다중화에 의해 해소될 수 있다.

전술한 도 2에서도 설명한 바와 같이, 3차원 다시점 디스플레이는 출력 시점 영상이 입력 원본영상보다 작아진다. 작아지는 이유는 여러 시점의 영상을 제한된 해상도의 디스플레이에 동시에 재생하기 때문에 시점 당 해상도가 줄어들면서 재배치가 되기 때문이며, 이를 다중화(multiplexing)라 한다. 다중화가 될 때는 모든 가상시점의 영상이 같은 비율로 크기가 줄어들면서 다중화가 된다.

예를 들어, 입력되는 참조영상이 HD(2K) 크기이고, 이를 출력하는 디스플레이가 초고화질(Ultra High Definition, UHD)(4K)이고, 9개의 시점을 동시에 재생한다고 가정하면, 영상합성(view synthesis)을 통해 9개의 가상시점 영상들이 생성된다. 이를 초고화질의 다시점 디스플레이에서 재생할 때 각 가상시점 영상의 해상도는 대략 "HD * (4/9)" 크기로 작아지게 된다. 보다 구체적인 내용은 도 5에서 후술한다.

따라서, 관심영역 또는 관심객체를 확대할 때 크기가 작아진 가상시점의 영상을 이용하지 않고 원본영상에서 관심영역 또는 관심객체를 검출하여 다중화하게 되면 비검출 영역과 다른 비율로 다중화가 되어 해상도 저하 없이 관심영역 또는 관심객체를 확대할 수 있다. 즉, 관심영역 또는 관심객체를 제외한 비검출 영역과 관심영역 또는 관심객체에 해당하는 검출 영역의 다중화를 다른 비율로 하는 계층적 다중화(scalable multiplexing)를 통해 해상도의 저하 없이 해당 관심영역 또는 관심객체를 확대할 수 있다.

이하, 본 발명의 실시예에 따른 계층적 다중화의 과정을 보다 구체적으로 설명한다.

도 5는 본 발명의 실시예에 따른 계층적 다중화를 설명하기 위한 개념도이다.

도 5에서는 본 발명의 실시예에 따른 계층적 다중화를 설명하기 위해 HD크기의 좌영상(INIM1)과 우영상(INIM2)이 입력영상으로 "4K"의 다시점 디스플레이에 9개의 가상시점의 영상(VIM1-VIM9)을 동시에 재생하고, 관심객체인 차량(C41)의 크기를 1.2배 정도 크게 할 경우로 가정한다.

먼저, 입력영상(INIM1,INIM2)을 수신하면 영상합성을 통해 9개의 가상시점의 영상(VIM1-VIM9)이 생성되며, 다중화를 위해 최종 디스플레이의 해상도에 맞게 크기가 조절되어 다중화가 된다. 이때, 깊이감을 조절하려는 관심객체인 차량(C41)은 입력영상(INIM1,INIM2)으로부터 검출한다. 그리고, 확대가 가능한 유효 확대범위 안에서 차량(C41)의 크기를 조절함과 동시에 유효 깊이범위 내에서 깊이 변이를 조절한다. 각각의 가상시점의 영상(VIM1-VIM9)에 크기와 변이를 조절한 차량(C41)이 재배치되면 재배치 영상(RIM1-RIM9)이 생성된다. 본 발명의 실시예에 따른 유효 확대범위는 해상도의 저하 없이 확대할 수 있는 비율(scaling factor)을 말하며, 유효 확대범위는 수학식 1과 같다.

[ 수학식 1]

_,

여기서, S는 관심영역의 확대율이고, Ⅰ는 원본 입력영상의 해상도이며, Ｏ는 다중화되어 출력되는 한 시점영상의 해상도이다.

유효 깊이범위는 관심영역 또는 관심객체의 확대로 인해 변이를 줄 수 있는 여유 영역을 계산하여 차폐영역이 발생되지 않도록 하는 범위 내에서 변이를 조절하여 깊이를 조절할 수 있는 범위이다. 또한, 최대유효 깊이범위는 사용자의 눈에 제시되는 시점 영상 간의 크로스토크(crosstalk)에 의해 발생되는 시각 피로가 유발되지 않는 한도 내의 범위로 한정될 수 있다. 이는 디스플레이의 크기, 디스플레이와 사용자 간의 거리, 초점 거리 등의 여러 복합적인 요인에 의해 결정이 될 수 있으며, 직접 사용자가 시각 피로를 느끼지 않는 한도 내에서 직접 사용자 입력을 통해 유효범위가 한정될 수 있다.

도 6은 본 발명의 실시예에 따른 다층적 다중화 장치를 개략적으로 나타내는 도면이다. 도 7은 도 6에 도시한 다중화부를 개략적으로 나타내는 도면이다.

도 6에 도시한 바와 같이, 본 발명의 실시예에 따른 계층적 다중화 장치(100)는 영상 수신부(110), 가상 시점 생성부(120) 및 다중화부(130)를 포함한다.

영상 수신부(110)는 3차원 디스플레이에서 표시하려는 영상의 원본(이하, "원본영상"이라고 함)을 입력받는다. 그리고, 영상 수신부(110)는 3차원 디스플레이를 위해 입력된 원본영상을 가상 시점 생성부(120)로 전달한다. 또한, 영상 수신부(110)는 원본영상을 다중화부(130)로 전달하여 계층적 다중화를 위한 관심영역 또는 관심객체가 검출되도록 한다.

가상 시점 생성부(120)는 원본영상을 영상 수신부(110)로부터 전달받는다. 그리고, 가상 시점 생성부(120)는 영상합성(view synthesis)을 통해 원본영상으로 N개의 가상시점 영상들을 생성한다. 가상 시점 생성부(120)는 생성된 가상시점 영상들을 다중화하기 위해 다중화부(130)로 전달한다.

다중화부(130)는 가상 시점 생성부(120)로부터 가상시점 영상들을 전달받는다. 그리고, 다중화부(130)는 가상시점 영상들의 크기를 조절한다. 한편, 다중화부(130)는 영상 수신부(110)로부터 원본영상을 전달받는다. 그리고, 다중화부(130)는 원본영상으로부터 계층적 다중화하려는 관심영역 또는 관심객체의 크기 및 깊이를 조절한 후 크기가 조절된 가상시점 영상들에 재배치하여 재배치 영상을 생성하여 계층적 다중화한다.

보다 구체적으로, 다중화부(130)는 도 7에 도시한 바와 같이 가상시점 크기 조절부(131), 깊이 조절부(132) 및 영상 재배치부(133)를 포함한다.

가상시점 크기 조절부(131)는 가상 시점 생성부(120)로부터 전달된 가상시점 영상들의 크기를 조절한다.

깊이 조절부(132)는 영상 수신부(110)로부터 원본영상을 전달받는다. 그리고, 깊이 조절부(132)는 깊이를 조절하려는 관심영역 또는 관심객체를 결정하고, 원본영상에서 해당 관심영역 또는 관심객체를 검출한다. 깊이 조절부(132)는 깊이를 조절하려는 관심영역 또는 관심객체의 유효확대 범위를 계산한 후 확대 비율에 따라 크기를 조절한다. 이때, 확대 비율은 사용자에 의해 숫자로 입력되거나 미리 지정된 숫자로 단계적으로 확대될 수도 있다. 깊이 조절부(132)는 해당 관심영역 또는 관심객체의 확대에 따른 유효 깊이조절 범위를 계산하고, 범위 내에서 해당 관심영역 또는 관심객체의 깊이를 조절한다.

영상 재배치부(133)는 가상시점 크기 조절부(131)로부터 크기가 조절된 가상시점 영상들을 전달받는다. 그리고, 영상 재배치부(133)는 깊이 조절부(132)로부터 크기와 깊이가 조절된 관심영역 또는 관심객체에 대한 정보를 전달받는다. 영상 재배치부(133)는 크기가 조절된 가상시점 영상들에 크기와 깊이가 조절된 관심영역 또는 관심객체에 대한 영상을 재배치한다.

도 8은 본 발명의 실시예에 따른 계층적 다중화 순서를 개략적으로 나타내는 도면이다.

도 8에 도시한 바와 같이, 본 발명의 실시예에 따른 계층적 다중화 장치(100)의 영상 수신부(110)는 3차원 디스플레이에서 표시하려는 원본영상을 전달받는다(S100). 영상 수신부(110)는 3차원 디스플레이를 위해 입력된 영상을 가상 시점 생성부(120)로 전달하며, 계층적 다중화하려는 관심영역 또는 관심객체가 입력된 원본영상에서 검출될 수 있도록 원본영상을 다중화부(130)로 전달한다.

가상 시점 생성부(120)는 영상합성(view synthesis)을 통해 원본영상으로 N개의 가상시점 영상들을 생성한다(S110). 그리고, 가상 시점 생성부(120)는 다중화를 위해 생성된 가상시점 영상들을 다중화부(130)로 전달한다.

다중화부(130)는 가상 시점 생성부(120)로부터 전달된 가상시점 영상들의 크기를 조절한다(S120). 그리고, 다중화부(130)는 영상 수신부(110)로부터 전달된 원본영상에서 계층적 다중화하려는 관심영역 또는 관심객체의 크기 및 깊이를 조절(S130)한 후 크기가 조절된 가상시점 영상들에 재배치하여 재배치 영상을 생성한다(S140).

이상, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명하였으나 이는 본 발명의 권리 범위를 한정하는 것으로 해석될 수 없으며, 이하에서 기술되는 특허 청구 범위에 의해 판단되는 본 발명의 사상 및 범위를 벗어나지 않는 한도 내에서 해당 기술 분야에서 통상의 지식을 가진 자에 의해 다양하게 변형되어 실시될 수 있을 것이다.

100 : 계층적 다중화 장치 110 : 영상 수신부
120 : 가상 시점 생성부 130 : 다중화부
131 : 가상시점 크기 조절부 132 : 깊이 조절부
133 : 영상 재배치부

Claims

입체영상 디스플레이에서의 계층적 다중화 방법에 있어서,
상기 입체영상 디스플레이에 표시하려는 원본영상을 이용하여 가상시점 영상을 생성한 후 크기를 조절하는 단계;
상기 원본영상에서 계층적 다중화 하려는 관심영역 또는 관심객체를 검출하여 크기 및 깊이를 조절하는 단계; 및
상기 크기가 조절된 가상시점의 영상에 상기 크기 및 깊이가 조절된 관심영역 또는 관심객체를 재배치하는 단계
를 포함하는 것을 특징으로 하는 입체영상 디스플레이에서의 계층적 다중화를 위한 방법.