KR20170023096A - 3차원 이미지를 생성하기 위한 방법 및 장치 - Google Patents

Abstract

무안경 입체영상 3D 디스플레이는 중간 3D 이미지를 생성하기 위한 제 1 유닛(503)을 포함한다. 상기 중간 3D 이미지는 복수의 영역들을 포함하며 상기 제 1 유닛(503)은 영역들에 대한 상이한 뷰 방향들에 대응하는 픽셀 값들의 제 1 수의 이미지 블록들을 생성하도록 배열된다. 다수의 이미지 블록들은 복수의 영역들 중 몇몇 영역들에 대해 상이하다. 제 2 유닛(505)은 중간 3D 이미지로부터 다수의 뷰 이미지들을 포함한 출력 3D 이미지를 생성하며, 여기에서 뷰 이미지들의 각각은 뷰 방향에 대응한다. 상기 디스플레이는 디스플레이 장치(301) 및 출력 3D 이미지를 디스플레이도록 디스플레이 장치(301)를 구동하기 위한 구동기(507)를 추가로 포함한다. 적응기(509)는 중간 3D 이미지의 속성 또는 제 1 이미지 생성 유닛(503)이 중간 이미지를 생성하도록 배열되는 3차원 장면의 표현에 응답하여 제 1 영역에 대한 다수의 이미지 블록들을 적응시키도록 배열된다.

Description

3차원 이미지를 생성하기 위한 방법 및 장치{METHOD AND APPARATUS FOR GENERATING A THREE DIMENSIONAL IMAGE}

본 발명은 3차원 이미지의 프로세싱에 관한 것이며, 특히 전적으로는 아니지만, 무안경 입체영상 디스플레이상에서의 프리젠테이션을 위한 3차원 이미지의 생성에 관한 것이다.

3차원(3D) 디스플레이들은 증가하는 관심을 받고 있으며, 뷰어에 3차원 인식을 제공하는 방법에서의 중요한 연구가 착수되고 있다. 3D 디스플레이들은 보고 있는 장면의 상이한 뷰들을 뷰어의 두 개의 눈들에 제공함으로써 뷰잉 경험에 3차원을 부가한다. 이것은 디스플레이되는 두 개의 뷰들을 분리하기 위해 사용자가 안경을 착용하게 함으로써 달성될 수 있다. 그러나, 이것이 사용자에게 비교적 불편하기 때문에, 많은 시나리오들에서 상이한 뷰들을 직접 생성하며 사용자의 눈에 그것들을 투사하는 무안경 입체영상 디스플레이들을 사용하는 것이 바람직하다. 실제로, 얼마 동안, 다양한 회사들이 3차원 영상을 렌더링하기에 적합한 무안경 입체영상 디스플레이들을 활발히 개발하여 왔다. 무안경 입체영상 디바이스들은 특수한 헤드기어 및/또는 안경에 대한 요구 없이 3D 인상을 뷰어들에게 제공할 수 있다.

무안경 입체영상 디스플레이들은 일반적으로 상이한 뷰잉 각들을 위한 상이한 뷰들을 제공한다. 이러한 방식으로, 제 1 이미지는 뷰어의 좌측 눈에 대해 제 2 이미지는 우측 눈에 대해 생성될 수 있다. 즉, 각각 좌측 및 우측 눈의 시점으로부터 적절한, 적절한 이미지들을 디스플레이함으로써, 뷰어에게 3D 인상을 전달하는 것이 가능하다.

무안경 입체영상 디스플레이들은 렌티큘러 렌즈들 또는 시차 배리어들/배리어 마스크들과 같은, 수단을 사용하고, 뷰들을 분리하며, 그것들이 개별적으로 사용자의 눈에 도달하도록 상이한 방향들로 그것들을 전송하려는 경향이 있다. 입체(stereo) 디스플레이들에 대해, 두 개의 뷰들이 요구되지만 대부분의 무안경 입체영상 디스플레이는 통상적으로 보다 많은 뷰들(예로서, 9개의 뷰들)을 이용한다.

3D 이미지 효과들에 대한 바람을 충족하기 위해, 콘텐트는 캡처된 장면의 3D 양상들을 설명하는 데이터를 포함하기 위해 생성된다. 예를 들면, 컴퓨터 생성된 그래픽들에 대해, 3차원 모델이 개발되며 주어진 뷰잉 위치로부터 이미지를 산출하기 위해 사용될 수 있다. 이러한 접근법은 예를 들면 3D 효과를 제공하는 컴퓨터 게임들을 위해 빈번하게 사용된다.

또 다른 예로서, 영화들 또는 텔레비전 프로그램들과 같은, 비디오 콘텐트는 점점 더 몇몇 3D 정보를 포함하도록 생성된다. 이러한 정보는 약간 오프셋된 카메라 위치들로부터 2개의 동시 이미지들을 캡처하며 그에 의해 입체 이미지들을 직접 생성하는 전용 3D 카메라들을 사용하여 캡처될 수 있거나, 또는 예로서, 또한 깊이를 캡처할 수 있는 카메라들에 의해 캡처될 수 있다.

통상적으로, 무안경 입체영상 디스플레이들은 뷰들의 "원뿔들"을 생성하고, 각각의 원뿔은 장면의 상이한 뷰잉 각들에 대응하는 다수의 뷰들을 포함한다. 인접한(또는 몇몇 경우들에서 추가로 변위된) 뷰들 사이에서의 뷰잉 각 차이는 사용자의 우측 및 좌측 눈 사이에서의 뷰잉 각 차이에 대응하도록 생성된다. 따라서, 좌측 및 우측 눈이 두 개의 적절한 뷰들을 보는 뷰어는 3D 효과를 지각할 것이다. 9개의 상이한 뷰들이 뷰잉 원뿔에 생성되는 이러한 시스템의 예가 도 1에 예시된다.

많은 무안경 입체영상 디스플레이들은 다수의 뷰들을 생성하는 것이 가능하다. 예를 들면, 9개의 뷰들을 생성하는 무안경 입체영상 디스플레이들은 드문 것이 아니다. 이러한 디스플레이들은, 예로서 여러 뷰어들이 동시에 디스플레이를 보며 모두 3D 효과를 경험할 수 있는 다중-뷰어 시나리오들에 적합하다. 예를 들면, 예로서 28개의 상이한 뷰들을 제공할 수 있는 디스플레이들을 포함하여, 훨씬 더 많은 수의 뷰들을 가진 디스플레이들이 또한 개발되어 왔다. 이러한 디스플레이들은 종종 비교적 좁은 뷰 원뿔들을 사용하여 뷰어의 눈들이 복수의 뷰들로부터의 광을 동시에 수용하는 것을 야기할 수 있다. 또한, 좌측 및 우측 눈들은 통상적으로 인접하지 않은 뷰들에 배치될 것이다(도 1의 예에서처럼).

도 2는 다수의 서브-픽셀들로부터의 3D 픽셀(3개의 컬러 채널들을 갖는)의 형성의 예를 예시한다. 예에서, w는 수평 서브-픽셀 피치이고, h는 수직 서브-픽셀 피치이고, N은 단일-컬러링된 패치당 서브-픽셀들의 평균 수이다. 렌티큘러 렌즈는 s=tanθ만큼 기울어지며, 수평 방향으로 측정된 피치는 서브-픽셀 피치의 단위들에서의 p이다. 3D 픽셀 내에서, 두꺼운 라인들은 상이한 컬러들의 패치들 사이에서의 간격을 나타내며 얇은 라인들은 서브-픽셀들 사이에서의 간격을 나타낸다. 또 다른 유용한 양은 서브-픽셀 종횡비: a = w/h이다. 그 후 N = a/s. RGB-스트라이핑 패턴 상에서의 공통 기울기 1/6 렌즈에 대해, a = 1/3 및 s = 1/6, 따라서 N=2.

종래의 2D 디스플레이들에 대해, 이미지 품질은 대부분의 응용들에서 3D 디스플레이에 대해 최고로 중요하며, 특히 예로서 3D 텔레비전들 또는 모니터들에 대해서와 같은, 소비자 시장에 대해 매우 중요하다. 그러나, 상이한 뷰들의 표현은 부가적인 복잡성들 및 잠재적인 이미지 저하들을 제공한다.

구체적으로, 분배하며 프로세싱하기 위한 데이터의 양을 관리 가능한 양으로 유지하기 위해, 3D 콘텐트는 통상적으로 매우 적은 수의 2D 이미지들에 기초한 포맷으로 제공된다. 예를 들면, 3D 이미지 데이터는 각각의 픽셀에 대한 깊이를 나타내는 깊이 맵에 의해 지원된 하나의 뷰잉 각에 대응하는 단일 2D 이미지에 의해 제공될 수 있다. 또 다른 공통적인 표현은 두 개의 2D 이미지들을 제공하며, 하나는 뷰어의 좌측 눈에 대해 및 다른 하나는 뷰어의 우측 눈에 대해 의도된다.

따라서, 3차원 이미지 정보는 통상적으로 압축 포맷으로 제공되며, 통상적으로 비교적 낮은 수의 상이한 뷰 포인트 이미지들에 의해 표현된다. 무안경 입체영상 디스플레이의 각각의 개개의 뷰 방향에 대한 뷰 이미지들을 제공하기 위해, 그에 따라 수신된 데이터에 실질적인 프로세싱을 적용하는 것이 필요하다. 구체적으로, 무안경 입체영상 디스플레이에 대한 뷰 이미지들을 생성하기 위해, 통상적으로 렌더링 및 또한 (3D) 이미지 프로세싱을 수행하는 것이 필요하다. 예를 들면, 깊이 정보에 기초한 뷰 포인트 시프팅은 종종 부가적인 뷰들을 생성하기 위해 필요하다.

또 다른 예로서, 몇몇 애플리케이션들에서, 3D 이미지 데이터는 예를 들면, 3D 모델에 기초하여 이미지 데이터를 생성함으로써와 같은, 3D 모델을 평가함으로써 직접 생성된다. 모델은 예를 들면, OpenGL 그래픽스 표준에 따를 수 있으며 텍스처들과 조합하여 삼각형들 및/또는 메시들을 포함할 수 있다. 따라서, 몇몇 애플리케이션들에서, 특정 뷰잉 각에 대한 이미지는 3-차원 장면의 3D 그래픽 모델을 평가함으로써 생성될 수 있다.

3D 프리젠테이션을 위해 무안경 입체영상 디스플레이를 사용할 때, 통상적으로 9, 15 또는 29개 뷰들과 같은, 상이한 뷰잉 각들에 대응하는 비교적 큰 수의 개개의 뷰들이 투사된다. 따라서, 상이한 뷰잉 각들에 대응하는 다수의 이미지들이 생성되어야 한다. 이것은 각각의 뷰에 대한 입력 3D 이미지 데이터의 3D 프로세싱을 수행함으로써 달성될 수 있다. 예로서, 각각의 뷰에 대해, 디폴트 뷰잉 각에 대응하는 입력 이미지는 원하는 뷰잉 각에 대한 대응 뷰를 생성하도록 프로세싱된다. 이러한 3D 프로세싱은 특히 비-폐색 영역들 등을 채운, 그것들의 깊이에 의존하여 픽셀들의 디스패리티 시프팅을 포함한다.

유사하게, 3D 모델을 평가하는 것에 기초한 몇몇 시스템에서, 모델은 상기 뷰잉 각에 대응하는 이미지를 생성하기 위해 각각의 뷰에 대해 평가될 수 있다.

따라서, 몇몇 시스템들에서, 3D 프로세싱은 무안경 입체영상 디스플레이의 각각의 뷰에 대한 이미지를 생성하기 위해 수행된다. 그러나, 이러한 접근법의 단점은 매우 계산적으로 부담이 크며 높은 계산 리소스를 요구한다는 것이다. 이것은 예로서 실시간 프로세싱을 요구하는 비디오 시퀀스 또는 게임의 부분인 3D 이미지들에 대해 특히 중대할 수 있다.

계산 복잡도를 감소시키기 위해, 단지 무안경 입체영상 디스플레이를 위해 요구되는 이미지들의 서브세트만을 렌더링하는 것이 제안되어 왔다. 예를 들면, 3D 프로세싱은 15개 뷰 이미지에 대해 단지 8개의 이미지들만을 생성할 수 있다. 이러한 시스템들에서, 각각의 뷰에 대한 이미지는 뷰의 것에 가장 가까운 뷰잉 각에 대응하는 생성된 이미지를 선택함으로써 생성될 수 있다. 몇몇 시스템들에서, 주어진 뷰 이미지는 예로서 현재 뷰 이미지(즉, 각각의 방향에서 가장 가까운 뷰잉 각을 가진 이미지들에 대응하는)를 둘러싸는 두 개의 렌더링된 이미지들 사이에서 간단한 선형 보간법에 의해 생성될 수 있다.

실제로, 현재, 콘텐트가 무안경 입체영상 3D 디스플레이에 대해 렌더링될 때, 통상적인 접근법은 고정된 뷰잉 각들에 대응하는 고정된 수의 이미지들을 렌더링하는 것이다. 그 다음에, 무안경 입체영상 디스플레이의 각각의 픽셀에 대해, 요구된 출력 뷰잉 각이 결정되며, 픽셀은 그 후 가장 가까운 뷰잉 각에 대한 렌더링된 이미지에서 대응하는 픽셀을 선택함으로써, 또는 가장 가까운 뷰잉 각들을 가진 이미지들의 픽셀들의 가중 합산에 의해 생성된다.

그러나, 이러한 접근법은 전체 계산 리소스 사용을 감소시킬 수 있지만, 그것은 또한 다수의 단점들을 도입하려는 경향이 있다. 특히, 접근법은 지각된 이미지 품질을 감소시키며 다수의 아티팩트들을 도입하려는 경향이 있다.

예를 들면, 비교적 낮은 수의 이미지들이 3D 프로세싱에 의해 렌더링된다면, 지각된 3D 이미지에서의 에지들은 고스팅 효과(예로서, 오브젝트의 에지의 다수의 약간 변위된 복사물들이 종종 경험될 것이다)를 보이려는 경향이 있을 것이다. 또한, 사용자가 뷰어의 눈들이 뷰 원뿔의 다수의 뷰들을 통해 이동하도록 디스플레이에 대해 이동한다면, 이미지 오브젝트들이 뷰어의 눈들이 뷰들 사이에서 이동함에 따라 위치에서 점프하거나 또는 조금씩 움직이는 것으로 나타날 수 있는 비교적 균일하지 않은 경험이 발생할 것이다.

그러므로, 높은 이미지 품질을 생성하기 위해, 다수의 이미지들이 렌더링되는 것이 바람직하다. 그러나, 이것은 복잡도 및 리소스 사용을 증가시키며, 따라서 종래 기술의 시스템들에서 차선인 경향이 있는 품질 및 복잡도 사이에서의 내재된 트레이드-오프가 있다.

그러므로, 뷰 이미지들을 생성하기 위한 개선된 접근법이 유리할 것이며, 특히 증가된 유연성, 개선된 이미지 품질, 감소된 복잡도, 감소된 리소스 수요, 복잡도 및 지각된 이미지 품질 사이에서의 개선된 트레이드-오프, 및/또는 개선된 성능을 허용한 접근법이 유리할 것이다.

따라서, 본 발명은 바람직하게는 개별적으로 또는 임의의 조합으로 상기 언급된 단점들 중 하나 이상을 완화시키고, 경감하거나 또는 제거하고자 한다.

본 발명의 양상에 따르면, 출력 3차원 이미지를 생성하기 위한 장치가 제공되고 있으며, 상기 장치는: 중간 3차원 이미지를 생성하기 위한 제 1 이미지 생성 유닛으로서, 상기 중간 3차원 이미지는 상기 중간 3차원 이미지의 공간 세분들인 복수의 영역들을 포함하며 상기 제 1 이미지 생성 유닛은 상기 복수의 영역들에 대한 픽셀 값들의 다수의 이미지 블록들을 생성하도록 배열되고, 상기 다수의 이미지 블록들은 상기 복수의 영역들 중 적어도 두 개의 영역들에 대해 상이하며 각각의 이미지 블록은 뷰 방향에 대응하는 픽셀들의 그룹에 대한 픽셀 값들을 포함하는, 상기 제 1 이미지 생성 유닛; 상기 중간 3차원 이미지로부터 다수의 뷰 이미지들을 포함한 출력 3차원 이미지를 생성하기 위한 제 2 이미지 생성 유닛으로서, 상기 다수의 뷰 이미지들의 각각은 뷰 방향에 대응하는, 상기 제 2 이미지 생성 유닛; 상기 중간 3차원 이미지 및 상기 제 1 이미지 생성 유닛이 상기 중간 3차원 이미지를 생성하도록 배열되는 3차원 장면의 표현 중 적어도 하나의 속성에 응답하여 상기 복수의 영역들 중 적어도 제 1 영역에 대해 상이한 뷰잉 방향들을 가진 다수의 이미지 블록들을 적응시키기 위한 적응기를 포함한다.

본 발명은 많은 실시예들에서, 무안경 입체영상 디스플레이와 같은, 3차원 디스플레이상에 디스플레이될 때, 개선된 지각된 이미지 품질을 제공할 수 있는 개선된 3차원 이미지를 제공할 수 있다. 많은 실시예들에서, 접근법은 예로서, 제 2, 3차원 이미지가 무안경 입체영상 디스플레이상에 제공될 때, 예로서 지각된 감소된 크로스-토크 효과들을 야기할 수 있다. 접근법은 많은 실시예들에서, 이미지 저하들 및 아티팩트들의 지각적 영향이 감소되는 3차원 이미지를 생성할 수 있다. 디스플레이될 때, 뷰어는 보다 자연스럽게 보이는 3차원 장면을 지각할 수 있다. 접근법은 특히 많은 실시예들에서 사용자가 무안경 입체영상 디스플레이의 뷰 원뿔들을 통해 이동할 때 보다 매끄러운 경험을 제공할 수 있다.

본 발명은 많은 실시예들에서 복잡도를 감소시킬 수 있다. 접근법은 많은 시나리오들에서 이미지 데이터의 3차원 프로세싱의 요구된 양을 상당히 감소시킬 수 있다. 접근법은 많은 실시예들에서 이용 가능한 계산 리소스의 보다 효율적인 사용을 제공할 수 있거나, 또는 예로서 요구된 계산 리소스를 감소시킬 수 있다. 감소된 복잡도 프로세싱은 출력 3차원 이미지의 큰 면적들을 위해 달성될 수 있다. 계산 리소스 사용은 상당히 감소될 수 있다. 접근법은 예를 들면 비교적 낮은 계산 능력을 가진 디바이스들에서도 비교적 높은 수의 뷰 이미지들의 생성을 가능하게 할 수 있다.

본 발명은 많은 실시예들 및 시나리오들에서 개선된 계산 리소스 대 이미지 품질 트레이드-오프를 제공할 수 있다. 특히, 접근법은 이용 가능한 계산 리소스가 3차원 이미지의 가장 중대한 부분들에서 타겟팅되도록 허용할 수 있다. 따라서, 3차원 이미지의 속성에 기초하여 제 1 이미지 생성 유닛에 의해 생성된 이미지 블록들에 의해 표현된 다수의 뷰들의 적응화는 사용자에 의해 뚜렷할 가능성이 가장 높은 이미지 품질을 개선하기 위해 이용 가능한 프로세싱 능력을 적응시킬 수 있다. 구체적으로, 그것은 아티팩트 감소 및 완화가 이러한 아티팩트들이 발생하거나 또는 가장 뚜렷할 가능성이 가장 높은 면적들에 집중되도록 허용할 수 있다.

특히, 적응기는 제 1 이미지 생성 유닛에 의해 렌더링된 다수의 뷰들의 국소적 적응화를 수행할 수 있으며, 이러한 적응화는 국소적 이미지 특성들에 기초할 수 있다. 따라서, 시스템에서, 중간 이미지의 상이한 영역들은 상이한 수의 이미지 블록들에 의해 표현될 수 있으며, 각각의 이미지 블록은 상이한 뷰잉 각에 대응한다. 각각의 영역에서 이미지 블록들/뷰잉 각들의 수는 따라서 국소적 이미지의 속성에 의존한다.

3차원 이미지는 3차원 장면의 임의의 표현일 수 있으며 구체적으로 시각적 정보 및 (연관된) 깊이 정보를 제공하는 임의의 데이터일 수 있다. 3차원 이미지는, 예를 들면, 장면의 상이한 시점들에 대응하는 둘 이상의 (잠재적으로 부분) 이미지들일 수 있다. 3차원 이미지는 예를 들면 좌측 눈 뷰 및 우측 눈 뷰에 대응하는 두 개의 2D 이미지들일 수 있다. 몇몇 시나리오들에서, 3차원 이미지는 예로서, 무안경 입체영상 디스플레이의 9 또는 28개 뷰들에 대한 2D 이미지들에 의해서와 같은, 둘 이상의 뷰들에 의해 표현될 수 있다. 몇몇 시나리오들에서, 깊이 정보(예로서, 디스패리티 또는 변위 데이터로서 제공된)는 3차원 이미지의 부분으로서 제공될 수 있다. 몇몇 실시예들에서, 3차원 이미지는 예를 들면 연관된 깊이 정보와 함께 단일 이미지로서 제공될 수 있다. 몇몇 시나리오들에서, 3차원 이미지는 폐색 데이터 및 깊이 데이터와 함께 주어진 뷰 방향으로부터 2D 이미지로서 제공될 수 있다. 예를 들면, 3차원 이미지는 Z-스택 표현 및 가능하게는 연관된 깊이 맵으로서 제공될 수 있다. 예를 들면, Z-스택은 주어진 뷰 포인트에 대한 전체 이미지에 대응하는 최상부 층을 포함할 수 있다. 따라서, 2차원 디스플레이는 이러한 이미지를 직접 렌더링할 수 있다. 이미지가 상이한 깊이들에서의 픽셀들을 포함하므로(예로서, 몇몇은 배경 픽셀들이며 다른 픽셀들은 상이한 깊이들에서 상이한 전경 오브젝트들에 대응한다), 최상부 층 이미지는 연관된 깊이 맵을 가질 수 있다. Z-스택의 제 2 층은 그 후 최상부 층에 대한 폐색 정보를 포함할 수 있다. 구체적으로, 최상부 층의 각각의 픽셀에 대해, 제 2 층은 최상부 층에서 대응하는 픽셀에 의해 표현된 이미지 오브젝트가 존재하지 않는다면 보여질 것을 표현한 픽셀을 포함할 수 있다. 대응하는 픽셀이 이미 배경 픽셀인(및 따라서 어떤 폐색도 없다) 경우에, 제 2 층은 이 픽셀에 대한 임의의 픽셀 값을 포함하지 않을 수 있다. 접근법은 Z-스택의 임의의 부가적인 층들에 대해 반복될 수 있다. 몇몇 실시예들에서, 깊이 맵은 Z-스택의 각각의 층을 위해 제공될 수 있다.

제 1 이미지 생성 유닛은 몇몇 실시예들에서 입력 3차원 이미지를 프로세싱함으로써 중간 3차원 이미지를 생성할 수 있다. 이러한 실시예들에서, 제 1 이미지 생성 유닛은 적어도 몇몇 영역들에 대한 입력 이미지보다 많은 뷰들에 대한 이미지 데이터를 포함하기 위해 중간 3차원 이미지를 생성할 수 있다. 몇몇 실시예들에서, 제 1 이미지 생성 유닛은 특정한 뷰잉 방향에 대한 장면의 3차원 그래픽 모델을 평가함으로써 중간 3차원 이미지에 대한 이미지 데이터를 생성할 수 있다.

상기 제 1 이미지 생성 유닛은 몇몇 실시예들에서 3차원 모델을 평가함으로써 중간 3차원 이미지를 생성할 수 있다.

제 1 이미지 생성 유닛은 3차원 이미지 프로세싱을 사용하여 중간 3차원 이미지를 생성하도록 배열될 수 있으며, 상기 3차원 이미지 프로세싱은 프로세싱되는 적어도 하나의 이미지 픽셀의 깊이에 의존한다. 제 1 이미지 생성 유닛은 프로세스 깊이 기반/의존적 이미지 프로세싱을 사용하여 중간 3차원 이미지를 생성하도록 배열될 수 있다. 제 2 이미지 생성 유닛은 프로세싱되는 임의의 이미지 픽셀의 깊이에 의존하지 않는 프로세스를 사용하여 출력 3차원 이미지를 생성하도록 배열될 수 있다. 상기 제 2 이미지 생성 유닛은 비-깊이 기반/의존적 이미지 프로세싱을 사용하여 중간 3차원 이미지로부터 출력 3차원 이미지를 생성하도록 배열될 수 있다. 따라서, 제 1 이미지 생성 유닛은 중간 3차원 이미지를 생성할 때 깊이/디스패리티 정보를 고려할 수 있는 반면 제 2 이미지 생성 유닛은 출력 3차원 이미지를 생성할 때 깊이/디스패리티 정보를 고려하지 않는다.

구체적으로, 제 2 이미지 생성 유닛은 중간 3차원 이미지의 이미지 블록들의 가중 선형 조합들에 응답하여 출력 3차원 이미지를 생성하도록 배열될 수 있다. 예를 들면, 출력 3차원 이미지의 각각의 뷰 이미지의 각각의 픽셀에 대해, 픽셀 값(들)은 중간 3차원 이미지의 이미지 블록들에서 대응하는 픽셀의 가중 선형 조합으로서 결정될 수 있으며, 가중들은 이미지 블록들의 뷰잉 각들에 대한 뷰의 뷰잉 각에 의존적이다.

제 1 이미지 생성 유닛은 입력 3차원 이미지의 깊이 기반 프로세싱에 의해 중간 3차원 이미지를 생성할 수 있다. 이러한 프로세싱은 적어도 몇몇 영역들에 대해, 어떤 이미지 데이터도 입력 3차원 이미지에서 제공되지 않는 뷰잉 각들에 대응하는 이미지 블록들을 생성하는 것을 포함할 수 있다. 입력 3차원 이미지의 프로세싱은 따라서 이미지 뷰잉 각 시프팅을 포함할 수 있다. 이것은 비-폐색 면적들 등을 채우는, 픽셀 변위를 포함할 수 있다.

영역은 중간 3차원 이미지의 임의의 공간 세분에 대응할 수 있다.

중간 3차원 이미지는 하나 이상의 이미지 블록들을 포함한 이미지 블록들의 각각의 세트를 가진 중간 3차원 이미지의 각각의 영역에 대한 이미지 블록들의 세트에 의해 형성될 수 있으며, 이미지 블록들의 일 세트의 각각의 이미지 블록은 상이한 뷰잉 각에 대응한다. 많은 실시예들에서, 이미지 블록들의 각각의 세트는 상이한 뷰잉 각들에 대해 예로서, 2, 3 또는 5개 이미지 블록들의 최소치를 포함한다. 많은 실시예들에서, 하나 이상의 뷰잉 방향들에 대한 이미지 블록들은 이미지 블록들의 모든 세트들에 포함된다. 따라서, 중간 3차원 이미지는 다수의 완전한 이미지들(각각은 뷰잉 각과 연관된다)을 포함할 수 있다. 예를 들면, 중간 3차원 이미지는 각각이 상이한 뷰잉 각에 대응하는, N개의 완전한 뷰 이미지들에 의해 표현될 수 있으며, 또한 이미지 블록들의 세트들의 서브세트는 부가적인 뷰잉 각들에 대한 하나 이상의 이미지 블록들을 포함할 수 있다. 주어진 세트/영역에 대한 부가적인 이미지 블록들/부가적인 뷰 각도들의 수는 세트의 영역의 주변에서의 이미지 속성에 기초하여 적응기에 의해 결정된다. 부가적인 이미지 블록들/부가적인 뷰 각도들의 수는 상이한 영역들 사이에서 달라질 수 있다.

출력 3차원 이미지는 미리 결정된 수의 뷰 이미지들을 포함할 수 있다. 각각의 뷰 이미지는 완전한 이미지일 수 있으며, 따라서 이미지의 모든 영역들에 대한 이미지 데이터를 포함할 수 있다. 출력 3차원 이미지는 M개의 이미지들의 세트로서 생성될 수 있으며 여기에서 M개의 이미지들의 각각은 무안경 입체영상 디스플레이의 하나의 뷰에 대한 이미지로서 직접 생성된다. 출력 3차원 이미지는 단지 M개의 뷰 이미지들에 의해서만 표현될 수 있으며, 예를 들면 임의의 깊이 또는 디스패리티 맵들을 포함하지 않을 수 있다. 출력 3차원 이미지는 별개의 뷰 이미지들의 세트로서 표현될 수 있거나, 또는 인터리빙된 뷰 이미지들을 포함한 직조 이미지에 의해 표현될 수 있다. 몇몇 실시예들 또는 시나리오들에서, 뷰 이미지들 중 하나 이상은 부분 이미지일 수 있다.

이미지 블록은 시각적 픽셀 값들이 제공되는 픽셀들의 그룹 또는 이미지 영역에 대응할 수 있다. 따라서, 이미지 블록은 픽셀들의 그룹에 대한 픽셀 값들에 의해 형성될 수 있다. 픽셀 값들은 예로서, 휘도, 채도, 및/또는 색차 값들과 같은, 시각적 픽셀 값들일 수 있다. 제 1 이미지 생성 유닛은 픽셀들의 그룹에 대한 픽셀 값들을 생성함으로써 이미지 블록을 생성할 수 있다. 주어진 뷰잉 방향에 대해, 중간 3차원 이미지는 어떤 픽셀 값들도 결정되지 않은 영역들(이미지에서의 빈 영역들 또는 홀들) 및 픽셀 값들이 제 1 이미지 생성 유닛에 의해 생성된 이미지 블록들을 포함할 수 있다. 이미지 블록은 픽셀들의 그룹에 대한 픽셀 값들의 세트일 수 있다.

뷰 이미지는 주어진 뷰잉 방향에 대한 이미지일 수 있다. 그것은 어떤 빈 면적들도 없는 완전한 이미지일 수 있다.

속성은 제 1 영역에 대한/그 주변에서의 이미지 속성일 수 있다. 상기 주변은 중간 3차원 이미지에서 또는 입력 3차원 이미지에서의 주변일 수 있다.

몇몇 실시예들에서, 복수의 영역들의 제 1 영역에 대한 다수의 이미지 블록들은 예를 들면, 중간 3차원 이미지에서의 제 1 영역에 대한 깊이 및/또는 콘트라스트와 같은, 중간 3차원 이미지의 속성에 응답하여 적응될 수 있다.

몇몇 실시예들에서, 중간 3차원 신호는 3차원 장면의 표현으로부터 발생된다.

3차원 장면은 예를 들면 몇몇 실시예들에서 입력 3차원 이미지에 의해 표현될 수 있으며 중간 3차원 이미지는 상기 입력 3차원 이미지로부터 생성될 수 있다. 몇몇 실시예들에서, 복수의 영역들의 제 1 영역에 대한 다수의 이미지 블록들은 예를 들면 입력 3차원 이미지에서의 제 1 영역에 대한 깊이 및/또는 콘트라스트와 같은, 입력 3차원 이미지의 속성에 응답하여 적응될 수 있다.

3차원 장면은 예를 들면 몇몇 실시예들에서 3차원 모델(예로서, 텍스처들 및 광원들의 모델링을 포함한)에 의해 표현될 수 있다. 중간 3차원 이미지는 이러한 실시예들에서 상기 3차원 모델로부터 생성될 수 있다. 몇몇 실시예들에서, 복수의 영역들의 제 1 영역에 대한 다수의 이미지 블록들은 예를 들면, 입력/중간 3차원 이미지에서의 제 1 영역에 대응하는 모델 오브젝트들에 대한 깊이 및/또는 콘트라스트 측정치와 같은, 3차원 모델의 속성에 응답하여 적응될 수 있다.

따라서, 많은 실시예들에서, 적응기는, 중간 3차원 이미지, 입력 3차원 이미지 속성으로서, 그것에 응답하여 제 1 이미지 생성 유닛이 상기 중간 이미지를 생성하도록 배열되는 입력 3차원 이미지의 속성, 및 3차원 모델로서 그것에 응답하여 상기 제 1 이미지 생성 유닛이 중간 이미지를 생성하도록 배열되는 3차원 모델 중 적어도 하나의 속성에 응답하여 복수의 영역들 중 적어도 제 1 영역에 대한 상이한 뷰잉 방향들을 가진 다수의 이미지 블록들을 적응시키도록 배열된다.

본 발명의 선택적 특징에 따르면, 상기 속성은 깊이 측정치이다.

상기 속성은 구체적으로 주변 깊이 측정치일 수 있다. 상기 적응기는 제 1 영역의 주변에 대한 깊이 측정에 응답하여 제 1 영역에 대한 다수의 이미지 블록들을 결정하도록 배열될 수 있다. 주변은 제 1 영역에 속하는 적어도 하나의 픽셀을 포함한 영역일 수 있다. 상기 적응기는 제 1 영역의 적어도 하나의 픽셀을 포함한 영역에 대한 깊이 측정치에 응답하여 제 1 영역에 대한 다수의 이미지 블록들을 결정하도록 배열될 수 있다.

상기 적응기는 복수의 영역들의 모든 영역들에 대한 이러한 동작을 수행하도록 배열될 수 있다. 상기 다수의 이미지 블록들의 결정은 각각의 영역에 대해 독립적으로 수행될 수 있다.

접근법은 많은 실시예들 및 시나리오들에서 개선된 이미지 품질 대 계산 리소스 사용을 제공할 수 있다. 이미지 생성 장치의 계산 리소스는 구체적으로 깊이 측정치에 의존하여 이미지에 걸쳐 불균일하게 분포될 수 있으며, 구체적으로 렌더링 리소스는 기준 평면으로부터 실질적인 깊이 편차들을 가진 영역들에 집중될 수 있다.

깊이 측정치는 예로서, 영역의 주변에서의 픽셀들에 대한 깊이 값들을 반영한 평균 또는 가중 깊이 값과 같은, 깊이 레벨을 나타낼 수 있다. 몇몇 실시예들에서, 깊이 측정치는, 구체적으로 스크린 레벨 깊이(상이한 뷰들의 이미지들 사이에서의 제로 디스패리티에 대응하는)일 수 있는, 기준 깊이로부터의 영역에서 깊이의 편차를 나타낼 수 있다.

본 발명의 선택적 특징에 따르면, 이미지 속성은 주변 콘트라스트 측정치이다.

상기 속성은 구체적으로 주변 콘트라스트 측정치일 수 있다. 상기 적응기는 제 1 영역의 주변에 대한 콘트라스트 측정치에 응답하여 제 1 영역에 대한 다수의 이미지 블록들을 결정하도록 배열될 수 있다. 주변은 제 1 영역에 속하는 적어도 하나의 픽셀을 포함한 영역일 수 있다. 상기 적응기는 제 1 영역의 적어도 하나의 픽셀을 포함한 영역에 대한 콘트라스트 측정치에 응답하여 제 1 영역에 대한 다수의 이미지 블록들을 결정하도록 배열될 수 있다.

상기 적응기는 복수의 영역들의 모든 영역들에 대해 이러한 동작을 수행하도록 배열될 수 있다. 다수의 이미지 블록들의 결정은 각각의 영역에 대해 독립적으로 수행될 수 있다.

접근법은 많은 실시예들 및 시나리오들에서 개선된 이미지 품질 대 계산 리소스를 제공할 수 있다. 이미지 생성 장치의 계산 리소스는 구체적으로 콘트라스트 측정치에 의존하여 이미지에 걸쳐 불균일하게 분포될 수 있으며, 구체적으로 렌더링 리소스는 상당한 국소적 콘트라스트를 보이는 영역들에 집중될 수 있다.

상기 콘트라스트 측정치는 상기 영역의 주변에서 콘트라스트의 정도를 나타낼 수 있으며, 예로서 주변에서 휘도/밝기/강도 변화의 정도를 나타낼 수 있다. 몇몇 실시예들에서, 콘트라스트 측정치는 주변에서 이미지 오브젝트 에지 전이들을 나타낼 수 있다.

몇몇 실시예들에서, 콘트라스트 측정치는 수평 콘트라스트 측정치이다.

많은 실시예들에서, 이미지 속성은 (주변) 깊이 측정치 및 (주변) 콘트라스트 측정치 중 적어도 하나이다. 적응기는 제 1 영역의 주변에 대한 콘트라스트 측정치 및 깊이 측정치 중 적어도 하나에 응답하여 제 1 영역에 대한 다수의 이미지 블록들을 결정하도록 배열될 수 있다. 적응기는 복수의 영역들의 모든 영역들에 대해 이러한 동작을 수행하도록 배열될 수 있다. 다수의 이미지 블록들의 결정은 각각의 영역에 대해 독립적으로 수행될 수 있다.

본 발명의 선택적 특징에 따르면, 적응기는 또한 제 1 이미지 생성 유닛에 대한 계산 리소스 가용성에 응답하여 제 1 영역에 대한 다수의 이미지 블록들을 결정하도록 배열된다.

본 발명은 예로서, 이용 가능한 계산 리소스에 대한 이미지 품질의 개선된 적응화 및 종종 최적화를 제공할 수 있다. 구체적으로, 접근법은 제한된 이용 가능한 리소스가 예로서 결과적인 이미지 품질에 대한 영향이 최적화되는 영역들로 향해질 수 있도록 이미지 렌더링의 적응화를 허용할 수 있다.

본 발명의 선택적 특징에 따르면, 복수의 영역들은 적어도 하나의 픽셀 로우에 의해 형성된 영역들을 포함한다.

이것은 리소스에서 매우 유연한 타겟팅을 여전히 허용하면서 많은 실시예들에서 감소된 복잡도 및 간소화된 동작을 제공할 수 있다. 더욱이, 접근법은 많은 시나리오들에서 이미지를 영역들로 분할하기 위한 계산 리소스를 감소시킬 수 있는데, 이것은 각각의 영역을 프로세싱하기 위해 요구된 프로세싱 및/또는 이미지 저하에서의 수용 가능하지 않은 증가를 야기하지 않는다.

많은 시나리오들에서, 복수의 영역들의 모든 영역들은 하나 이상의 픽셀 로우들에 의해 형성된다.

본 발명의 선택적 특징에 따르면, 복수의 영역들의 적어도 하나의 영역은 단지 픽셀 로우의 픽셀들의 서브세트만을 포함한다.

이것은 많은 실시예들에서 리소스의 개선된 타겟팅을 제공하며, 특히 제 1 이미지 생성 유닛의 계산 리소스의 보다 정확한 할당을 제공할 수 있다.

본 발명의 선택적 특징에 따르면, 제 1 이미지 생성 유닛은 제 1 수의 뷰잉 방향들에 대해 복수의 영역들의 모든 영역들에 대한 이미지 블록들을 생성하도록 배열되며, 적응기는 그 다음에 상기 제 1 수의 뷰잉 각들에 대한 각각의 영역의 이미지 블록들 사이에서의 디스패리티들에 응답하여 적어도 하나의 부가적인 뷰 방향에 대한 이미지 블록들을 생성하기 위한 복수의 영역들의 영역들의 서브세트를 선택하도록 배열된다.

본 발명은 많은 실시예들 및 시나리오들에서 개선된 계산 리소스 대 이미지 품질 트레이드 오프를 제공할 수 있다. 접근법은 낮은 복잡도 및 낮은 리소스 요구 제어 및 할당 접근법이 사용되도록 허용하면서 리소스의 정확한 할당을 허용하는 효율적인 동작을 제공할 수 있다. 접근법은 용이해진 및/또는 감소된 구현 및/또는 동작을 제공할 수 있다.

본 발명의 선택적 특징에 따르면, 적응기는 임계치를 초과하는 디스패리티 측정치에 응답하여 적어도 하나의 뷰잉 각에 대한 이미지 블록을 생성하기 위한 영역을 선택하도록 배열되며, 상기 디스패리티 측정치는 부가적인 뷰잉 각에 인접한 두 개의 뷰잉 각들에 대해 두 개의 이미지 블록들에 대한 디스패리티의 측정치이다.

본 발명은 많은 실시예들 및 시나리오들에서 개선된 계산 리소스 대 이미지 품질 트레이드-오프를 제공할 수 있다. 접근법은 낮은 복잡도 및 낮은 리소스 요구 제어 및 할당 접근법이 사용되도록 허용하면서 리소스의 정확한 할당을 허용하는 효율적인 동작을 제공할 수 있다. 접근법은 용이해진 및/또는 감소된 구현 및/또는 동작을 제공할 수 있다.

본 발명의 선택적 특징에 따르면, 적응기는 깊이 측정치가 임계치 미만인 영역들의 서브세트를 결정하도록, 및 서브세트의 각각의 영역에서 다수의 이미지 블록들을 1로 설정하도록 배열된다.

영역들의 서브세트에서 각각의 영역에 대해, 제 1 이미지 생성 유닛은 단지 2D 이미지 정보만을 생성할 수 있다.

이것은 영역들의 서브세트에 대한 계산 리소스를 감소시키며 그에 의해 다른 영역들에 대한 리소스 할당을 풀어줄 수 있다. 몇몇 실시예들에서, 그것은 개선된 이미지 품질을 야기할 수 있다.

몇몇 실시예들에서, 제 1 이미지 생성 유닛은 입력 3차원 이미지로부터 중간 3차원 이미지를 생성하도록 배열되며, 상기 입력 3차원 이미지는 상이한 뷰잉 각들에 대응하는 복수의 2차원 이미지들의 세트 중 적어도 하나, 및 연관된 깊이 맵을 가진 2차원 이미지에 의해 표현된다.

몇몇 실시예들에서, 제 1 이미지 생성 유닛은 그래픽 3차원 모델을 평가함으로써 중간 3차원 이미지를 생성하도록 배열된다.

몇몇 실시예들에서, 속성은 비-공간 속성일 수 있으며, 구체적으로 비-깊이 속성일 수 있다.

본 발명의 선택적 특징에 따르면, 속성은 시각적 속성이다.

이것은 많은 실시예들에서 개선된 성능을 제공할 수 있다. 상기 속성은 구체적으로 제 1 영역의 적어도 하나의 픽셀의 주변에 대한 시각적 속성일 수 있다. 적응기는 제 1 영역의 주변에 대한 시각적 속성에 응답하여 제 1 영역에 대한 다수의 이미지 블록들을 결정하도록 배열될 수 있다. 주변(제 1 영역의)은 제 1 영역에 속하는 적어도 하나의 픽셀을 포함한 면적일 수 있다. 적응기는 제 1 영역의 적어도 하나의 픽셀을 포함한 면적에 대한 시각적 속성에 응답하여 제 1 영역에 대한 다수의 이미지 블록들을 결정하도록 배열될 수 있다.

상기 적응기는 복수의 영역들의 모든 영역들에 대해 이러한 동작을 수행하도록 배열될 수 있다. 상기 다수의 이미지 블록들의 결정은 각각의 영역에 대해 독립적으로 수행될 수 있다.

시각적 속성은 영역의 주변에서 시각적 속성을 나타낼 수 있으며, 예로서 주변에서 휘도/밝기/강도 변화의 정도를 나타낼 수 있다.

본 발명의 선택적 특징에 따르면, 상기 속성은 밝기 속성 및 컬러 속성 중 적어도 하나를 나타낸다.

이것은 많은 실시예들에서 개선된 성능을 제공할 수 있다. 상기 속성은 구체적으로 제 1 영역의 적어도 하나의 픽셀의 주변에 대한 밝기 속성 및 컬러 속성 중 적어도 하나를 나타낼 수 있다. 상기 적응기는 상기 제 1 영역의 주변의 밝기 속성 및 컬러 속성 중 적어도 하나에 응답하여 상기 제 1 영역에 대한 다수의 이미지 블록들을 결정하도록 배열될 수 있다. 주변(제 1 영역의)은 제 1 영역에 속하는 적어도 하나의 픽셀을 포함한 면적일 수 있다. 상기 적응기는 상기 제 1 영역의 적어도 하나의 픽셀을 포함한 면적에 대한 시각적 속성에 응답하여 상기 제 1 영역에 대한 다수의 이미지 블록들을 결정하도록 배열될 수 있다.

상기 적응기는 복수의 영역들의 모든 영역들에 대해 이러한 동작을 수행하도록 배열될 수 있다. 상기 다수의 이미지 블록들의 결정은 각각의 영역에 대해 독립적으로 수행될 수 있다.

상기 속성은 예를 들면 밝기 및/또는 컬러 변화들에 의존하는 것을 포함하여, 밝기 값 및 컬러 값 중 적어도 하나에 의존하거나 또는 적어도 부분적으로 그로부터 도출 가능한 값을 가짐으로써 밝기 속성 및 컬러 속성 중 적어도 하나를 나타낼 수 있다.

본 발명의 선택적 특징에 따르면, 제 1 이미지 생성 유닛은 3차원 장면의 3차원 모델에 기초하여 중간 3차원 이미지를 생성하도록 배열되며, 상기 적응기는 상기 3차원 모델의 속성에 응답하여 다수의 이미지 블록들을 적응시키도록 배열된다.

본 발명의 양상에 따르면, 무안경 입체영상 3차원 디스플레이가 제공되고 있으며, 상기 무안경 입체영상 3차원 디스플레이는: 중간 3차원 이미지를 생성하기 위한 제 1 이미지 생성 유닛으로서, 상기 중간 3차원 이미지는 복수의 영역들을 포함하며 상기 제 1 이미지 생성 유닛은 상기 복수의 영역들에 대한 뷰 방향들에 대응하는 픽셀 값들의 다수의 이미지 블록들을 생성하도록 배열되고, 상기 다수의 이미지 블록들은 상기 복수의 영역들의 적어도 두 개의 영역들에 대해 상이한, 상기 제 1 이미지 생성 유닛; 상기 중간 3차원 이미지로부터 제 2 수의 뷰 이미지들을 포함한 출력 3차원 이미지를 생성하기 위한 제 2 이미지 생성 유닛으로서, 상기 다수의 뷰 이미지들의 각각은 뷰 방향에 대응하는, 상기 제 2 이미지 생성 유닛; 3차원 이미지들을 디스플레이하기 위한 디스플레이 장치; 상기 출력 3차원 이미지를 디스플레이하도록 상기 디스플레이 장치를 구동하기 위한 디스플레이 구동기; 및 상기 중간 3차원 이미지 및 상기 제 1 이미지 생성 유닛에 대한 3차원 입력 이미지 중 적어도 하나의 속성에 응답하여 상기 복수의 영역들 중 적어도 제 1 영역에 대한 상이한 뷰잉 방향들을 가진 다수의 이미지 블록들을 적응시키기 위한 적응기를 포함한다.

본 발명의 양상에 따르면, 출력 3차원 이미지를 생성하는 방법이 제공되고 있으며, 상기 방법은: 복수의 영역들에 대한 뷰 방향들에 대응하는 픽셀 값들의 다수의 이미지 블록들을 생성함으로써 상기 복수의 영역들을 포함한 중간 3차원 이미지를 생성하는 단계로서, 상기 다수의 이미지 블록들은 상기 복수의 영역들의 적어도 두 개의 영역들에 대해 상이한, 상기 중간 3차원 이미지 생성 단계; 상기 중간 3차원 이미지로부터 제 2 수의 뷰 이미지들을 포함한 상기 출력 3차원 이미지를 생성하는 단계로서, 상기 다수의 뷰 이미지들의 각각은 뷰 방향에 대응하는, 상기 출력 3차원 이미지 생성 단계; 상기 중간 3차원 이미지 및 상기 중간 3차원 이미지를 생성하기 위해 사용된 3차원 입력 이미지 중 적어도 하나의 속성에 응답하여 상기 복수의 영역들 중 적어도 제 1 영역에 대한 상이한 뷰잉 방향들을 가진 다수의 이미지 블록들을 적응시키는 단계를 포함한다.

본 발명의 이들 및 다른 양상들, 특징들 및 이점들은 이후 설명된 실시예(들)로부터 분명하며 그것을 참조하여 밝혀질 것이다.

본 발명은 개선된 이미지 품질 대 계산 리소스를 제공할 수 있다. 본 발명은 예로서, 이용 가능한 계산 리소스에 대한 이미지 품질의 개선된 적응화 및 종종 최적화를 제공할 수 있다. 구체적으로, 접근법은 제한된 이용 가능한 리소스가 예로서 결과적인 이미지 품질에 대한 영향이 최적화되는 영역들로 향해질 수 있도록 이미지 렌더링의 적응화를 허용할 수 있다.

본 발명의 실시예들은, 단지 예로서, 도면들을 참조하여 설명될 것이다.
도 1은 무안경 입체영상 디스플레이로부터 생성된 뷰들의 예를 예시한다;
도 2는 무안경 입체영상 디스플레이의 디스플레이 패널 위에 놓인 렌티큘러 스크린의 예를 예시한다;
도 3은 무안경 입체영상 디스플레이 디바이스의 요소들의 개략적인 투시도를 예시한다;
도 4는 무안경 입체영상 디스플레이 디바이스의 요소들의 단면도를 예시한다;
도 5는 본 발명의 몇몇 실시예들에 따른 디스플레이 시스템의 예를 예시한다;
도 6은 무안경 입체영상 디스플레이로부터의 투사된 뷰 이미지의 예를 예시한다;
도 7은 두 개의 오브젝트들을 가진 3차원 장면의 예를 예시한다;
도 8은 본 발명의 몇몇 실시예들에 따른 출력 3차원 이미지를 생성하기 위한 대표적인 접근법의 양상들을 예시한다;
도 9는 두 개의 오브젝트들을 가진 3차원 장면의 예를 예시한다;
도 10은 본 발명의 몇몇 실시예들에 따른 출력 3차원 이미지를 생성하기 위한 대표적인 접근법의 양상들을 예시한다; 및
도 11은 본 발명의 몇몇 실시예들에 따른 출력 3차원 이미지를 생성하기 위한 대표적인 접근법의 양상들을 예시한다.

다음의 설명은 3차원 이미지들을 디스플레이하기 위해 사용된 무안경 입체영상 디스플레이에 적용 가능한 본 발명의 실시예들에 초점을 맞추고 있다. 그러나, 본 발명은 이러한 애플리케이션에 제한되지 않으며, 예를 들면, 안경을 분리한 뷰에 기초한 입체 디스플레이들을 포함하여, 많은 다른 애플리케이션들에 적용될 수 있다는 것이 이해될 것이다.

무안경 입체영상 디스플레이 장치(301)는 디스플레이 패널(303)을 포함한다. 디스플레이 장치(301)는 예로서, 디스플레이가 LCD 형 디스플레이일 때, 광원(307)을 포함할 수 있지만, 이것은 예로서 OLED 형 디스플레이들에 대해서, 필요하지 않다.

디스플레이 장치(301)는 또한 뷰 형성 기능을 수행하는, 디스플레이 패널(303)의 디스플레이 측 위에 배열된, 렌티큘러 시트의 형태로 뷰 형성 광학 요소(309)를 포함한다. 상기 뷰 형성 광학 요소(309)는 서로에 평행하여 연장된 렌티큘러 렌즈들(311)의 로우를 포함하며, 그것 중 단지 하나만이 명료성을 위해 과장된 치수들을 갖고 도시된다. 렌티큘러 렌즈들(311)은 뷰 형성 기능을 수행하기 위해 뷰 형성 요소들로서 동작한다. 도 3의 렌티큘러 렌즈들은 디스플레이 패널로부터 떨어져 면하는 볼록부를 가진다. 디스플레이 패널로 향하는 그것들의 볼록 측을 가진 렌티큘러 렌즈들을 형성하는 것이 또한 가능하다.

상기 렌티큘러 렌즈들(311)은 볼록 원통형 요소들의 형태에 있을 수 있으며, 그것들은 디스플레이 패널(303)에서 디스플레이 장치(301)의 앞에 위치된 사용자의 눈들로, 상이한 이미지들, 또는 뷰들을 제공하기 위해 광 출력 지향 수단으로서 동작한다.

도 3에 도시된 무안경 입체영상 디스플레이 장치(301)는 상이한 방향들에서 여러 개의 상이한 투시도들을 제공할 수 있다. 특히, 각각의 렌티큘러 렌즈(311)는 각각의 로우에서 디스플레이 서브-픽셀들(305)의 작은 그룹 위에 놓인다. 렌티큘러 요소(311)는 여러 개의 상이한 뷰들을 형성하기 위해, 상이한 방향으로 그룹의 각각의 디스플레이 서브-픽셀(305)을 투사한다. 사용자의 머리가 좌측에서 우측으로 이동함에 따라, 그/그녀의 눈은 여러 개의 뷰들의 상이한 것들을 차례대로 수용할 것이다.

도 5는 본 발명의 몇몇 실시예들에 따른 무안경 입체영상 디스플레이를 예시한다. 무안경 입체영상 디스플레이는 도 3 및 도 4를 참조하여 설명된 것과 같은 무안경 입체영상 디스플레이 장치(301)를 포함한다. 또한, 무안경 입체영상 디스플레이는 이것인 3차원 이미지들을 보여주도록 무안경 입체영상 디스플레이 장치(301)를 구동하기 위한 구동 신호를 발생시키도록 배열되는 디스플레이 구동기(501)를 포함한다.

3차원 이미지는 통상적으로 3차원 이미지에 의해 표현된 장면에 대한 (동시) 시각 및 깊이 정보를 제공하는 임의의 데이터일 수 있다. 통상적으로, 3차원 이미지의 적어도 몇몇 픽셀들은 깊이 표시 및 광 출력 표시 양쪽 모두에 의해 표현될 것이다. 상기 깊이 표시는 예를 들면 바로 깊이 값 또는 디스패리티 값일 수 있다. 상기 광 출력 표시는 통상적으로 적어도 하나의 휘도 및/또는 채도 값을 포함한 값들의 세트일 수 있다.

3차원 이미지는 예를 들면 상이한 뷰들/뷰잉 각들에 대응하는 N개의 이미지들의 세트일 수 있다. 그러나, 또 다른 예로서, 3차원 이미지는 우측 눈에 대해 하나의 2차원 이미지 및 좌측 눈에 대해 하나의 2차원 이미지를 가진 입체 이미지일 수 있다. 또 다른 예로서, 3차원 이미지는 연관된 깊이 맵(예로서, 단일 이미지의 각각의 픽셀에 대해 디스패리티 또는 깊이 값을 제공하는)을 가진 단일의 2차원 이미지일 수 있다. 또 다른 예로서, 3차원 이미지는 연관된 깊이 맵을 가진 Z-스택일 수 있다. 3차원 이미지의 하나 이상의(가능하게는 모두) 2차원 이미지들은 부분 이미지들일 수 있다. 따라서, 3차원 이미지의 상이한 2차원 이미지들은 상이한 영역들/면적들에 대한 이미지 데이터를 포함할 수 있다.

디스플레이 구동기(501)는 중간 3차원 이미지를 생성하도록 배열되는 제 1 이미지 생성 유닛(503)을 포함한다. 상기 제 1 이미지 생성 유닛(503)은 제 1 이미지 생성 유닛(503)으로부터 수신된 3차원 이미지 데이터 세트로부터 출력 3차원 이미지를 생성하도록 배열되는 제 2 이미지 생성 유닛(505)에 결합된다.

제 2 이미지 생성 유닛(505)은 무안경 입체영상 디스플레이 장치(301)를 위한 적절한 구동 신호를 발생시키도록 배열되는 구동기(507)에 결합된다. 구체적으로, 구동기(507)는 제 2 이미지 생성 유닛(505)으로부터 출력 3차원 이미지를 수신하며 출력 3차원 이미지로 하여금 구동 신호가 무안경 입체영상 디스플레이 장치(301)에 공급될 때 렌더링되게 하는 구동 신호를 발생시키도록 진행한다.

출력 3차원 이미지는 각각의 뷰 이미지가 (상이한) 뷰 방향에 대응하는 다수의 뷰 이미지들을 포함한다. 각각의 뷰 이미지는 주어진 뷰 방향으로부터 장면의 완전한 이미지를 제공할 수 있다. 구체적으로, 출력 3차원 이미지는 상이한 뷰잉 방향들로부터, 및 구체적으로 상이한 뷰잉 각들로부터 장면의 복수의 이미지들을 포함할 수 있다. 많은 실시예들에서, 출력 3차원 이미지는 무안경 입체영상 디스플레이의 각각의 뷰에 대한 하나의 뷰 이미지를 포함할 수 있다. 예를 들면, 무안경 입체영상 디스플레이는 9-뷰 디스플레이일 수 있으며, 제 2 이미지 생성 유닛(505)은 9개의 이미지들로서 출력 3차원 이미지를 생성할 수 있고, 각각의 이미지는 무안경 입체영상 디스플레이의 뷰들 중 하나에 대한 뷰잉 각에 대응한다.

제 1 이미지 생성 유닛(503)은 각각의 이미지 블록이 주어진 뷰 방향에 대해 생성되는 복수의 2차원 이미지 블록들을 포함하도록 중간 3차원 이미지를 생성할 수 있다. 이미지 블록은 부분 이미지일 수 있으며, 즉 각각의 이미지 블록은 이미지 부분/단편일 수 있다. 이미지 블록은 시각적 값들이 제공되는 픽셀들의 그룹, 및 구체적으로 채도 및/또는 휘도 값들과 같은, 광 출력 표시들이 제공되는 픽셀들의 그룹일 수 있다. 이미지 데이터는 구체적으로 픽셀 값들일 수 있다.

각각의 이미지 블록은 뷰잉 각에 대응할 수 있으며 상기 뷰잉 각에 대응하는 완전한 2차원 이미지의 부분을 표현할 수 있다. 중간 3차원 이미지는 주어진 뷰잉 방향에 대한 복수의 이미지 블록들을 포함할 수 있다. 몇몇 뷰잉 각들에 대해, 이미지 블록들은 완전한 이미지를 형성하기에 충분할 수 있다. 따라서, 중간 3차원 이미지는 각각의 이미지가 주어진 뷰잉 방향에 대응하며 각각의 이미지가 잠재적으로 부분 이미지인 복수의 2차원 이미지들을 포함하도록 생성될 수 있다. 많은 실시예들에서, 2차원 이미지들의 서브세트는 전체 이미지들인 반면 다른 것은 단지 부분 이미지들이다(제공된 이미지 데이터의 양은 통상적으로 상이하다).

통상적으로, 2차원 이미지는 예로서 1920×1080 픽셀들과 같은, 주어진 픽셀 면적/해상도에 대응한다. 3차원 이미지에 대해, 주어진 뷰 방향에 대응하는 각각의 2차원 이미지는 주어진 픽셀 면적/해상도에 의해 표현되며, 통상적으로 이것은 3차원 이미지에서의 모든 이미지들에 대해 동일하다. 도 5의 예에서, 제 1 이미지 생성 유닛(503)은 복수의 뷰잉 각들에 대한 이미지 데이터를 포함하도록 중간 3차원 이미지를 생성할 수 있다. 각각의 뷰잉 각에 대해, 동일한 픽셀 면적/해당소가 할당된다. 그러나, 제 1 이미지 생성 유닛(503)은 완전한 이미지들이도록 이미지들의 모두를 생성하지 않을 수 있으며, 즉 이미지 데이터는 단지 이미지의 부분을 위해 제공될 수 있다. 따라서, 주어진 뷰잉 방향에 대해, 중간 3차원 이미지는 이미지 정보를 포함한 하나 이상의 이미지 블록들을 포함할 수 있으며 또한 어떤 이미지 정보도 제공되지 않은 빈 면적들을 포함할 수 있다. 각각의 이미지 블록은 따라서 뷰 이미지의 부분일 수 있다. 예를 들면, 픽셀 면적은 복수의 영역들로 분할될 수 있지만 이미지 데이터는 단지 이들 영역들의 서브세트를 위해 제공될 수 있다.

많은 실시예들에서, 제 1 이미지 생성 유닛(503)은 하나 이상의 뷰잉 각들에 대한 이미지 블록들의 완전한 세트를 포함하도록 중간 3차원 이미지를 생성할 수 있다. 따라서, 완전한 뷰 이미지는 이들 뷰잉 각들을 위해 제공된다. 그러나, 다른 뷰잉 각들에 대해, 이미지 데이터는 단지 영역들의 서브세트에 대해 생성될 수 있다.

다수의 이미지 블록들, 위치, 정도, 형태, 크기 등은 상이한 뷰잉 각들에 대해 상이할 수 있다. 따라서, 이미지 데이터가 중간 3차원 이미지에서 제공되는 뷰잉 각들은 이미지의 상이한 영역들/면적들에 대해 상이할 수 있다.

실제로, 제 1 이미지 생성 유닛(503)은 주어진 크기(무안경 입체영상 디스플레이의 각각의 뷰 이미지에 대한 이미지 해상도에 대응하는)의 이미지 캔버스에 기초하여 중간 3차원 이미지를 생성할 수 있다. 주어진 영역(영역은, 예로서 단일 픽셀 또는 픽셀들의 그룹일 수 있다)에 대해, 중간 3차원 이미지는 다수의 상이한 뷰잉 각들에 대한 이미지 데이터를 포함할 수 있다. 이러한 이미지 데이터는 이미지 블록들에서 제공된다. 이미지 데이터가 제공되고 있는, 즉 이미지 블록이 생성되는 뷰잉 각들의 수는 상이한 영역들에 대해(예로서, 상이한 픽셀들 또는 픽셀 그룹들에 대해) 상이할 수 있다.

동등하게, 중간 3차원 이미지는 각각의 뷰잉 방향 이미지가 뷰잉 방향에 대응하는 다수의 2차원 뷰잉 방향 이미지들에 의해 형성되는 것으로 고려될 수 있다. 2차원 뷰잉 방향 이미지들은 부분적일 수 있다. 따라서, 이미지 데이터는 이미지의 부분을 형성하는 이미지 블록들에서 제공될 수 있다. 2차원 뷰잉 방향 이미지의 다른 부분들은 비어 있을 수 있다. 이미지 블록들의 속성들은 상이한 뷰잉 방향 이미지들에 대해 상이할 수 있으며, 구체적으로 주어진 뷰잉 방향 이미지에 포함된 이미지 블록들의 크기 및/또는 위치는 뷰잉 방향 이미지들 사이에서 상이할 수 있다. 예를 들면, 몇몇 뷰잉 방향 이미지들에 대해, 포함된 이미지 블록은 완전한 이미지를 제공할 수 있으며, 즉 몇몇 뷰잉 방향들에 대해 어떤 홀들/빈 면적들도 없을 수 있다. 다른 뷰잉 방향들에 대해, 뷰잉 방향 이미지들은 단지 하나 또는 작은 수의 작은 이미지 블록들만을 포함할 수 있다. 따라서, 몇몇 뷰잉 방향 이미지들은 거의 완전히 비어 있을 수 있다.

많은 실시예들 및 시나리오들에서, 적어도 몇몇 이미지 블록들은 10, 100, 1000 또는 1000개 픽셀들을 초과하는 크기를 가질 수 있으며, 즉 몇몇 이미지 블록들은 적어도 10, 100, 1000 또는 1000 픽셀들의 그룹에 의해 형성될 수 있다.

제 2 이미지 생성 유닛(505)은 출력 3차원 이미지를 생성하기 위해 중간 3차원 이미지를 프로세싱하도록 배열된다. 이러한 프로세싱은 통상적으로 하나의 전체/완전한 뷰 이미지가 무안경 입체영상 디스플레이 장치(301)의 뷰들의 각각을 위해 제공되도록 뷰 이미지들의 완전한 세트를 생성하는 것을 포함한다.

제 1 이미지 생성 유닛(503)은 3차원 프로세싱에 기초하여 중간 3차원 이미지를 생성하도록 배열된다. 제 1 이미지 생성 유닛(503)은 알고리즘이 장면/이미지에서 상이한 오브젝트들의 깊이의 고려사항을 포함하는 주어진 뷰잉 방향에 대한 이미지 블록들을 생성하기 위한 알고리즘을 적용한다. 구체적으로, 제 1 이미지 생성 유닛(503)은 오브젝트의 깊이에 의존하여 상이한 오브젝트들을 표현한 픽셀들의 위치를 생성하도록 배열된다.

몇몇 실시예들에서, 제 1 이미지 생성 유닛(503)은 입력 3차원 이미지로부터 중간 3차원 이미지를 생성하도록 배열될 수 있다. 입력 3차원 이미지는 예를 들면, 예로서 좌측 눈 뷰 및 우측 눈 뷰에 대응하는 두 개의 3차원 이미지들에 대응할 수 있는 바와 같은 비교적 낮은 데이터 레이트 표현; 또는 예로서 단일 이미지 또는 연관된 깊이 맵을 가진 z-스택일 수 있다.

입력 3차원 이미지는 로컬 메모리로부터, 저장 미디어로부터, 원격 네트워크 서버로부터, 라디오 방송 등으로부터와 같은, 임의의 적절한 내부 또는 외부 소스로부터 수신될 수 있다. 몇몇 실시예들에서, 입력 3차원 이미지(실제로 중간 3차원 이미지 및 출력 3차원 이미지로서)는 단일 정지 이미지일 수 있다. 다른 실시예들에서, 입력 3차원 이미지(실제로 중간 3차원 이미지 및 출력 3차원 이미지로서)는 3차원 비디오 시퀀스의 단일 이미지(단일 프레임)일 수 있다.

이러한 실시예들에서, 제 1 이미지 생성 유닛(503)은 숙련자에게 알려질 바와 같이, 뷰 시프팅, 비-폐색, 픽셀 시프팅 등을 포함한 3차원 프로세스들을 수행함으로써 입력 3차원 이미지로부터 이미지 블록들을 생성하도록 배열될 수 있다.

예를 들면, 단일 2차원 이미지 및 깊이 맵에 의해 형성된 입력 3차원 이미지에 기초하여 주어진 뷰잉 각에 대한 이미지 블록을 생성하기 위해, 제 1 이미지 생성 유닛(503)은 특정 영역에 대응하는 2차원 이미지의 픽셀들을 선택할 수 있다. 수평 픽셀 시프트는 그 후 깊이 맵에서 표시된 바와 같이 픽셀들의 깊이 및 뷰잉 각으로부터 각각의 픽셀에 대해 산출된다. 픽셀들을 그 후 산출된 양만큼 시프트되며 시프트에 의해 야기된 임의의 홀들은 적절한 비-폐색 접근법(보간 및 보외 기술들과 같은)을 사용하여 채워진다. 결과적인 결정된 픽셀 값들은 그 후 뷰잉 각에 대한 이미지 블록에 대응한다.

몇몇 실시예들에서, 중간 3차원 이미지는 장면 및 연관된 텍스처들 및 광원들 등의 3차원 모델(기하학적 구조)을 평가하는 제 1 이미지 생성 유닛(503)에 의해 생성될 수 있다. 예를 들면, 게임 애플리케이션에 대해, 제 1 이미지 생성 유닛(503)은 3차원 요소를 평가하며 상이한 뷰잉 각들에 대한 이미지 데이터를 산출할 수 있다. 이러한 예들에서, 중간 3차원 이미지는 그에 따라 제 1 이미지 생성 유닛(503)에 의해 합성될 수 있으며 입력 이미지에 기초하지 않는다.

이미지 블록이 특정 영역에 대해 생성되는 뷰잉 각들의 양은 상이한 영역들에 대해 상이할 수 있다. 예를 들면, 무안경 입체영상 디스플레이 장치(301)의 뷰들에 대한 뷰잉 각들의 서브세트에 대해, 완전한 이미지가 적절한 깊이 기반 기술들을 사용하여 입력 이미지로부터 산출될 수 있다. 예를 들면, 9-뷰 무안경 입체영상 디스플레이에 대해, 제 1 이미지 생성 유닛(503)은 말하자면, 뷰잉 각들 중 5개에 대한 완전한 이미지들에 대응하는 이미지 블록들을 생성할 수 있다.

깊이 기반 프로세싱은 통상적으로 계산적으로 매우 집중적이며 상당한 계산 전력을 요구한다. 따라서, 단지 요구된 뷰 이미지들의 서브세트만을 산출하는 것이 유리하다.

전체 이미지들 외에, 제 1 이미지 생성 유닛(503)은 몇몇 부가적인 뷰잉 각들에 대한 이미지 블록들을 추가로 산출할 수 있으며, 구체적으로 무안경 입체영상 디스플레이의 다른 4개의 뷰들에 대응하는 뷰잉 각들에 대한 하나 이상의 이미지 블록들을 산출할 수 있다. 이들 이미지 블록들은 따라서 부가적인 뷰 이미지들 중 하나 이상에 대한 부분 이미지를 제공할 수 있다.

제 2 이미지 생성 유닛(505)은 뷰 이미지들을 포함한 출력 3차원 이미지를 생성하도록 배열되며, 구체적으로 무안경 입체영상 디스플레이의 뷰 이미지들 모두를 생성할 수 있다. 특정 예에서, 제 2 이미지 생성 유닛(505)은 중간 3차원 이미지에 기초하여 9개의 뷰 이미지들 모두를 생성하도록 진행할 수 있다.

도 5의 제 2 이미지 생성 유닛(505)의 프로세싱은 중간 3차원 이미지에 대한 임의의 깊이 정보를 고려하지 않는다. 오히려, 그것은 중간 3차원 이미지에서 임의의 오브젝트 또는 픽셀의 깊이에 의존하지 않는 출력 3차원 이미지를 생성하기 위해 프로세싱을 수행할 수 있다. 프로세싱은 낮은 복잡도를 야기하는 이미지들의 2-차원 프로세싱일 수 있다.

구체적으로, 제 2 이미지 생성 유닛(505)은 상이한 뷰잉 각들에 대한 중간 3차원 이미지의 이미지 블록들의 조합에 응답하여 출력 3차원 이미지의 적어도 일부를 생성할 수 있다. 상기 조합은 구체적으로 영역에 대한 이미지 블록들의 이미지 데이터 사이에서의 보간일 수 있다. 보간은 통상적으로 데이터가 산출되는 뷰 방향 주위에서의 두 개의 가장 가까운 뷰 방향들에 대응하는 2개의 이미지 블록들 사이에 있을 수 있다. 보간은 선형 보간일 수 있으며 조합은 따라서 직접 선형 가중 합산일 수 있다.

특정 예로서, 제 1 이미지 생성 유닛(503)은 말하자면 뷰들(-3, 0 및 3)의 이미지 방향에 대응하는 전체 이미지를 생성할 수 있다(도 1을 참조하여). 제 2 이미지 생성 유닛(505)은 이제 뷰(2)에 대한 이미지 데이터를 생성하도록 진행할 수 있다. 주어진 영역에 대해 제공된 어떤 다른 이미지 블록들도 없다면, 상기 영역에 대한 이미지 데이터는 뷰들(0 및 3)에 대한 뷰 이미지들의 이미지 데이터 사이에서의 보간에 의해 생성될 수 있다. 그러나, 또 다른 영역에 대해, 중간 3차원 이미지는 또한 뷰(1)에 대한 이미지 블록을 포함할 수 있다. 상기 경우에, 제 1 이미지 생성 유닛(503)은 뷰들(1 및 3) 사이에서의 보간에 의해 뷰(2)에 대한 이미지 데이터를 생성하도록 진행할 수 있다.

제 2 이미지 생성 유닛(505)은 따라서 비교적 낮은 복잡도 및 낮은 계산적으로 요구가 많은 프로세스를 사용할 수 있다. 특히, 계산 요구는 통상적으로 제 1 이미지 생성 유닛(503)의 것보다 상당히 더 낮다. 그러나, 비-깊이 기반 프로세싱으로 인해, 프로세스는 통상적으로 단지 뷰에 대한 정확한 이미지에 대한 근사만을 제공할 것이며, 구체적으로 깊이 고려사항의 부족으로 인해 3차원 아티팩트들을 도입하려는 경향이 있을 것이다.

따라서, 그것은 제 1 이미지 생성 유닛(503)의 깊이 기반 프로세싱을 사용하여 이미지 데이터를 생성하기 위해 바람직한 이미지 품질 시점에서 오지만 제 2 이미지 생성 유닛(505)의 비-깊이 프로세싱을 사용하여 이미지 데이터를 생성하기 위해 바람직한 계산적 리소스 시점에서 온다.

도 5의 무안경 입체영상 디스플레이는 제 1 이미지 생성 유닛(503)이 중간 이미지를 생성하도록 배열되는 3차원 장면의 표현 및 중간 3차원 이미지 중 적어도 하나의 속성에 응답하여 제 1 영역에서 제 1 이미지 생성 유닛(503)에 의해 생성된 다수의 이미지 블록들을 적응시키도록 배열되는 적응기(509)를 추가로 포함한다. 상기 표현은 구체적으로 중간 3차원 이미지가 생성되는 입력 이미지 또는 3차원 모델일 수 있다. 몇몇 실시예들에서, 적응기(509)는 제 1 이미지 생성 유닛에 대한, 및 구체적으로 제 1 영역의 주변에 대한 이미지 속성에 입력 이미지에 응답하여 다수의 이미지 블록들을 적응시키도록 배열될 수 있다.

다음의 설명은 먼저 다수의 이미지 블록들이 중간 3차원 이미지 또는 입력 3차원 이미지 중 적어도 하나에서의 속성에(및 구체적으로 콘트라스트 또는 깊이와 같은 이미지 속성에) 응답하여 적응되는 실시예들에 초점을 맞출 것이다.

제 1 영역은 예로서, 중간 3차원 이미지의 2차원 (기준) 이미지에서의 공간 영역으로서, 또는 동등하게 중간 3차원 이미지의 2차원 (기준) 이미지에서의 픽셀들(또는 서브-픽셀들)의 그룹으로서 정의된, 공간 영역일 수 있다.

제 1 이미지 영역은 기준 이미지의 부분일 수 있으며, 통상적으로 총 이미지 면적의 예로서 50%, 25% 또는 10% 미만일 수 있다. 제 1 이미지 영역은 기준 이미지의 부분일 수 있으며, 통상적으로 총 이미지 면적의 예로서 0.1%, 0.5%, 1%, 5% 또는 10% 이상일 수 있다. 많은 실시예들에서, 이미지(들)는 복수의 이미지 영역들(종종 적어도 5 또는 10개 이미지 영역들 및/또는 종종 단지 50, 100 또는 500개 영역들)로 분할될 수 있다.

많은 실시예들에서, 제 1 영역은 기준 이미지의 10, 100, 1000 또는 심지어 1000개 픽셀들을 초과하는 크기를 가질 수 있다.

명료함 및 간결성을 위해, 다음의 설명은 적응화가 복수의 영역들에 대해 수행되는 접근법에 초점을 맞출 것이다. 제 1 영역은 이들 영역들 중 임의의 것일 수 있다는 것이 이해될 것이다.

따라서, 도 5의 시스템에서, 중간 3차원 이미지에서 표현된 뷰잉 각들의 수는 동적으로 및 국소적으로 적응될 수 있다. 그것은 상이한 영역들에 대해 상이할 수 있다. 구체적으로, 주어진 영역에 대해, 중간 3차원 이미지는 상이한 뷰잉 방향들/각도들에 대응하는 다수의 이미지 블록들을 포함할 수 있다. 주어진 영역에 대한 다수의 이미지 블록들은 이미지 속성에 기초하여, 및 구체적으로 상기 영역의 주변에 대한 이미지 속성에 기초하여 적응기(509)에 의해 적응될 수 있다. 따라서, 이미지 정보가 제 1 이미지 생성 유닛(503)에 의해 생성되는 뷰잉 각들의 수는 국소적 이미지 속성들에 기초하여 적응된다.

국소적 이미지 속성들에 기초하여 제 1 이미지 생성 유닛(503)에 의해 생성된 다수의 이미지 블록들을 적응시키는 것은 적응기(509)가 통상적으로 계산 리소스 사용 및 이미지 품질 사이에서의 트레이드 오프의 동적 및 국소화된 적응화를 수행하도록 허용한다. 제 1 이미지 생성 유닛(503)에 의해 렌더링되는 이미지 블록들이 많을수록, 전체 깊이 기반 산출에 기초한 보다 많은 이미지 정보가 이용 가능하므로 제 2 이미지 생성 유닛(505)에 의해 생성된 결과적인 뷰 이미지들의 품질은 더 높다. 그러나, 영역에 대해 렌더링된 이미지 블록들이 적을수록, 손실된 정보를 생성하기 위해 제 2 이미지 생성 유닛(505)에 의한 프로세싱은 통상적으로 전체 깊이 기반 프로세싱을 위해서보다 훨씬 더 낮은 계산 리소스를 요구하므로 계산 리소스는 더 낮다. 다음으로, 제 1 이미지 생성 유닛(503)에 의한 깊이 기반 렌더링은 또한 렌더링으로서 불리울 것이다.

따라서, 적응기(509)는 제 1 이미지 생성 유닛(503)의 깊이 기반 렌더링 및 제 2 이미지 생성 유닛(505)의 비-깊이 기반 프로세싱에 기초하여 주어진 뷰 이미지에 대한 이미지 데이터를 산출하는 것 사이에서의 트레이드-오프의 국소화된 적응화를 수행할 수 있다.

예를 들면, 영역들의 수는 중간 3차원 이미지에 대해, 및 동등하게 입력 3차원 이미지에 대해 결정될 수 있다.

적응기(509)는 예를 들면, 중간 3차원 이미지를 다수의 영역들로 분할할 수 있으며 각각의 영역에 대해 영역의 주변에서 중간 3차원 이미지에 대한 국소적 이미지 속성을 결정할 수 있다. 영역들의 크기 및/또는 형태는 상이한 실시예들에서 상이할 수 있으며, 예로서 이미지 특성들에 응답하여, 예로서 동적으로 변할 수 있다.

예를 들면, 몇몇 실시예들에서 적응기(509)는 중간 3차원 이미지를 다양한 이미지 세그먼트들로 분할할 수 있다(예로서, 숙련자에게 알려질 바와 같이 컬러 및/또는 휘도에 기초하여). 분할화는 다양한 이미지 오브젝트들의 식별을 직접 제공할 수 있거나, 또는 몇몇 실시예들에서 결정된 세그먼트들은 예로서 이미지 오브젝트들로 조합될 수 있다.

또 다른 예로서, 제 1 3차원 이미지는 미리 결정된 크기 및 위치의 영역들로 분할될 수 있다. 예로서, 이미지는 미리 결정된 크기의 직사각형 이미지 영역들의 그리드로 분할될 수 있다. 실제로, 많은 실시예들에서, 각각의 영역은 단일 픽셀에 대응할 수 있다.

영역은 예를 들면, 중간 3차원 이미지의 하나의 2차원 이미지에 대하여 정의될 수 있다. 예를 들면, 영역은 중간 3차원 이미지에 대한 중심 뷰 이미지에 대하여 정의될 수 있다. 이러한 이미지(또는 이미지 캔버스)에서, 영역들은 픽셀들의 그룹들로서 정의될 수 있다. 실제로, 각각의 픽셀은 영역인 것으로 고려될 수 있다. 몇몇 실시예들에서, 이러한 기준 이미지는 예로서, 직사각형 픽셀 그룹들의 그리드로의 미리 결정된 고정 분할에 의해, 픽셀 영역들로 분할될 수 있다.

적응기는 그 후 이미지 속성이 영역의 주변에서 결정되는 각각의 영역에 대한 적절한 이미지 속성을 결정하도록 진행할 수 있다. 이미지 속성은 기준 이미지를 분석함으로써 결정될 수 있거나, 또는 예로서, 중간 3차원 이미지의 다른 이미지들의 대응하는 부분들을 분석함으로써 생성될 수 있다.

예를 들면, 몇몇 실시예들에서, 적응기(509)는 중간 3차원 이미지의 기준 이미지를 직사각형 픽셀 그룹들의 그리드로 분할할 수 있다. 예를 들면, 1920×1080 픽셀은 각각이 240×135 픽셀들에 의해 형성되는 64개의 영역들로 분할될 수 있다. 이들 영역들의 각각에 대해, 적응기(509)는 영역의 주변에서 픽셀들에 대한 우세한 컬러 범위를 결정할 수 있다. 주변은 구체적으로 영역에 직접 대응할 수 있으며, 따라서 각각의 영역에 대해 결정된 이미지 속성은 예로서, 영역에서 기준 이미지의 픽셀들의 중앙 또는 평균 채도 값(예로서, YUV 컬러 표현의 평균 UV 값들)일 수 있다. 몇몇 시나리오들에서, 채도 변화가 또한 결정될 수 있다.

이러한 평균 채도(및 선택적으로 변화)에 기초하여, 적응기(509)는 영역에 대한 다수의 이미지 블록들, 즉 이미지 데이터가 제 1 이미지 생성 유닛(503)에 의해 영역에 대해 생성되는 상이한 뷰 각도들의 수를 결정할 수 있다. 예를 들면, 적응기(509)는 평균 채도가 인간 피부 톤들에 대응하기 위해 고려된 범위 내에 있는지를 평가할 수 있다. 그렇다면, 및 예로서 채도 변화가 충분히 낮다면, 적응기(509)는 잠재적인 인간 피부 영역으로서 영역을 지정한다.

적응기(509)는 그 후 이것이 잠재적인 인간 피부 영역으로서 지정되는지 여부에 의존하여 영역에 대해 생성하기 위한 다수의 이미지 블록들을 선택할 수 있다. 예를 들면, 잠재적인 인간 피부 영역에 대해, 이미지 블록들은 무안경 입체영상 디스플레이 장치(301)의 모든 뷰잉 각들에 대해 생성될 수 있다. 그러나, 모든 다른 영역들에 대해, 이미지 블록들은 단지 뷰잉 각들의 서브세트에 대해서만 생성된다. 예를 들면, 9 뷰 무안경 입체영상 디스플레이의 각각의 뷰잉 각에 대응하는 9개의 이미지 블록들은 잠재적인 인간 피부 영역들에 대해 생성될 수 있는 반면 예로서, 뷰들에 대응하는 단지 3개의 이미지 블록들, 예로서 -3, 0 및 +3만이 다른 영역들에 대해 생성된다.

이러한 방식으로, 계산 리소스의 비용으로 개선된 품질은 인간 피부에 대응할 가능성이 있는 면적들에 대해 달성된다. 이것은 예를 들면, 전체 계산 리소스 사용을 여전히 낮게 유지하면서 예로서, 인간 얼굴들의 3차원 지각 및 이미지 품질을 개선할 수 있다.

이미지 속성이 결정되는 주변의 크기 및/또는 형태가 상이한 실시예들 및 시나리오들에서 상이할 수 있으며 개개의 실시예의 특정 요건들 및 선호들에 의존할 것임이 이해될 것이다.

예를 들면, 이미지 속성은 종종 영역보다 큰, 및 가능하게는 상당히 더 큰 주변에서 예로서 콘트라스트 측정치 또는 깊이 측정치인 것으로 결정될 수 있다. 예를 들면, 각각의 픽셀이 영역에 대응하면, 콘트라스트 측정치는 픽셀 주위에서의 면적에서 픽셀들을 고려함으로써 결정될 수 있다. 면적은 예로서, 부드러운 전이를 야기하는 가중 공간 필터에 의해 결정될 수 있다.

많은 실시예들에서, 영역에 대한 주변은 단지 예로서 50, 100, 250, 또는 500개 픽셀들의 영역의 픽셀에 대한 거리를 갖는 픽셀들의 그룹일 수 있다. 많은 실시예들에서, 영역에 대한 주변은 중간 3차원 이미지의 수직 치수의 단지 5%, 10% 또는 예로서 20%의 영역의 픽셀에 대한 수직 거리를 가지며 중간 3차원 이미지의 수평 치수의 단지 5%, 10% 또는 예로서 20%의 영역의 픽셀에 대한 수평 거리를 가진 픽셀들의 그룹일 수 있다. 수직 및 수평 치수들은 예로서 수직 또는 수평 픽셀 분해능으로서, 즉 이미지에 대한 픽셀 로우들 또는 컬럼들의 총 수로서 측정될 수 있다.

제 1 영역의 주변은 제 1 픽셀에 속하는 적어도 하나의 픽셀을 포함한 면적일 수 있다.

이미지 속성의 결정은 중간 3차원 이미지에 기초할 수 있으며 이미지 속성은 그 후 어떤 이미지 블록들이 중간 3차원 이미지에 대해 생성되는지를 적응시키기 위해 사용될 수 있다는 것이 이해될 것이다. 따라서, 반복적인 접근법이 사용될 수 있으며, 여기에서 예로서 중간 3차원 이미지의 부분이 먼저 생성된다(중심 이미지 또는 또 다른 기준 이미지와 같은). 이러한 이미지에 기초하여, 이미지 속성들은 하나 이상의 영역들에 대해 생성될 수 있다. 결과적인 이미지 속성에 기초하여, 적응기(509)는 그 후 어떤 부가적인 이미지 블록들을 생성할지를 결정할 수 있다.

상기 설명에서, 이미지 속성은 중간 3차원 이미지에 기초하여 결정된다. 그러나, 영역에 대한 이미지 속성은 중간 3차원 이미지를 평가하거나 또는 분석함으로써 직접 결정될 필요가 없으며 예로서 중간 3차원 이미지에 대한 이미지 속성의 표시를 제공할 수 있는 속성을 분석함으로써 결정될 수 있다는 것이 이해될 것이다.

구체적으로, 중간 3차원 이미지가 입력 3차원 이미지로부터 생성되는 예에서, 입력 3차원 이미지 및 중간 3차원 이미지 사이에 밀접한 연관성이 있을 것이다. 실제로, 많은 실시예들에서, 이미지 속성은 입력 3차원 이미지를 분석함으로써 생성될 수 있다.

실제로, 중간 3차원 이미지에서 및 입력 3차원 이미지에서의 영역들 사이에 관련성이 있다는 것이 이해될 것이다. 예를 들면, 중간 3차원 이미지의 중심 뷰 이미지에 관하여 정의된 영역에 대해, 대응하는 영역은 입력 3차원 이미지의 이미지(들)에 존재하는 것을 고려될 수 있다. 예를 들면, 이미지가 연관된 깊이 맵을 갖고 단일 중심 2차원 이미지로서 주어진다면, 입력 3차원 이미지의 중심 이미지에서의 픽셀들의 그룹은 입력 3차원 이미지의 2차원 이미지에서 픽셀들의 동일한 그룹에 직접 대응할 수 있다.

그에 관하여 영역들이 정의되는 기준 이미지, 및 그것에 기초하여 이미지 속성이 결정되는 입력 3차원 이미지 또는 중간 3차원 이미지의 이미지 사이에서의 각도 차이가 있는 시나리오들에서, 대응하는 디스패리티가 고려될 수 있다. 예를 들면, 중간 3차원 이미지의 중심 이미지의 영역에 대한 이미지 속성은 이미지들 사이에서의 뷰잉 각에서의 차이를 반영하기 위해 시프트되는 영역에서 또 다른 이미지의 이미지 특성들을 평가함으로써 결정될 수 있다. 몇몇 시나리오들에서, 그러나, 이러한 시프트는 보상되지 않을 수 있으며 동일한 면적들이 간단히 고려된다(예로서, 시프트가 이미지 속성이 결정되는 주변에 비교하여 충분히 작은 것으로 고려된다면, 또는 섹션이 완전한 픽셀 로우들을 포함한다면).

예로서 하나의 뷰잉 방향에 관하여 정의된 이미지(예로서, 중심 또는 기준 이미지)의 영역에 대한 이미지 속성의 표시는 다른 뷰잉 방향들에 대한 데이터를 고려함으로써 결정될 수 있다는 것이 또한 이해될 것이다. 예를 들면, 중심 이미지에서 픽셀에 대한 깊이 표시는 기준 중심 이미지의 것의 각각의 측 상에 뷰잉 각들에 대한 두 개의 이미지들의 픽셀들 사이에서의 디스패리티를 측정함으로써 결정될 수 있다(및 실제로 이들 두 개의 이미지들은 중간 3차원 이미지의 또는 입력 3차원 이미지의 2차원 이미지들일 수 있으며, 예로서 그것들은 입력 좌측 눈 및 우측 눈 이미지일 수 있다).

몇몇 실시예들에서, 이미지 속성은 구체적으로 주변 깊이 측정치일 수 있다. 적응기(509)는 제 1 영역의 주변에 대한 깊이 측정치에 응답하여 제 1 영역에 대한 다수의 이미지 블록들을 결정하도록 배열될 수 있다. 영역에 대한 깊이 측정치는 영역의 주변에서의 깊이 특성을 나타낸다.

몇몇 실시예들에서, 이미지 속성은 구체적으로 주변 콘트라스트 측정치일 수 있다. 적응기(509)는 제 1 영역의 주변에 대한 콘트라스트 측정치에 응답하여 제 1 영역에 대한 다수의 이미지 블록들을 결정하도록 배열될 수 있다. 영역에 대한 깊이 측정치는 영역의 주변에서의 콘트라스트 특성을 나타낸다.

많은 실시예들에서, 적응기(509)는 유리하게는 제 1 영역의 주변에 대한 콘트라스트 측정치 및 깊이 측정치 양쪽 모두에 응답하여 제 1 영역에 대한 다수의 이미지 블록들을 결정하도록 배열될 수 있다.

측정치가 결정되는 주변의 크기는 영역의 크기와 동일할 필요는 없으며 이것보다 크고 보다 작을 수 있다는 것이 이해될 것이다. 깊이 측정치 및 콘트라스트 측정치를 결정하기 위해 사용된 주변은 동일할 수 있거나 또는 상이할 수 있다.

예를 들면, 콘트라스트 측정치는 종종 영역보다 크며, 가능하게는 상당히 더 큰 주변에서 휘도 또는 컬러 채널 강도 값 변화들을 반영하기 위해 결정될 수 있다. 예를 들면, 각각의 픽셀이 영역에 대응하면, 콘트라스트 측정치는 픽셀 주위에서의 면적에서의 픽셀들을 고려함으로써 결정될 수 있다. 면적은 예로서 부드러운 전이를 야기하는 가중 공간 필터에 의해 결정될 수 있다.

또 다른 예로서, 깊이 측정치는 많은 실시예들에서, 예로서 영역의 주변에서 픽셀들에 대한 평균 또는 가중된 깊이 값으로서 결정될 수 있다. 예로서, 하나의 픽셀에 대응하는 영역에 대해, 깊이 측정치는 픽셀 주위에서의 영역에 대한 평균 깊이 값일 수 있다. 통상적으로, 깊이 측정치는 몇몇 공간 필터링 또는 평균화를 포함하도록 산출된다. 예를 들면, 영역이 이미지 세그먼트 또는 오브젝트에 대응한다면, 깊이 측정치는 영역 내에서의 모든 깊이 레벨들의 평균, 최소값, 최대값 또는 중앙 값으로서 산출될 수 있다. 몇몇 실시예들에서, 주변은 영역보다 작다. 예를 들면, 큰 이미지 세그먼트가 식별된다면, 깊이 측정치는 이미지 세그먼트의 중심 주위에서의 픽셀들에 대한 평균 깊이 레벨로서 생성될 수 있다.

깊이는 종종 디스패리티 값들에 의해 표현될 수 있으며, 이와 같이, 값들은 기준 스크린 레벨 평면에 대한 거리를 반영할 수 있다. 이것은 비-깊이 기반 프로세싱을 사용함으로써 지각 가능한 아티팩트들의 양 및 저하의 양이 통상적으로 연속 z-값 깊이들에보다 디스패리티 값들에 더 양호하게 관련되므로 많은 시나리오들에서 매력적일 수 있다. 예를 들면, 무한한 깊이는 말하자면, 65mm의 픽셀 디스패리티에 대응할 수 있다. 이러한 깊이에 대해 야기된 아티팩트/블러링의 양은 [0;∞]의보다는 [0;65mm]의 깊이 스케일에 의해 더 양호하게 표현되는 경향이 있다. 가능한 깊이 측정치들의 예들은 예로서, 디스패리티 값들의 평균, 중앙값, 최대값, 또는 평균 제곱근(RMS)을 포함한다.

깊이 측정치는 단일 깊이 값으로서 결정되거나 또는 산출될 필요가 없다는 것이 이해될 것이다. 예를 들면, 영역들 사이에서의 디스패리티는 영역의 깊이에 직접 의존하며, 디스패리티가 대응하는 이미지 면적들이 얼마나 유사한지(아닌지)에 의해 반영될 수 있으므로, 이것은 적절한 깊이 표시/측정치를 제공할 수 있다. 따라서, 개개의 깊이 값들의 명시적 산출/추정은 필요하지 않다. 오히려, 대신에, 시스템은 명시적 깊이 값들보다는 다수의 뷰들을 포함한 3차원 이미지를 수신할 수 있다(예로서, 어떤 깊이 값도 수신될 수 없다). 이러한 경우에, 뷰들 사이에서의 차이는 깊이를 나타내며 사용될 수 있다. 예를 들면, 시스템은 수신된 뷰들을 평가하도록 및 이러한 뷰의 이미지 콘텐트(영역의 주변에서의) 및 (통상적으로) 주변 뷰의 대응하는 이미지 콘텐트 사이에서의 차이에 기초하여 다수의 이미지 블록들을 적응시키도록 배열될 수 있다.

몇몇 실시예들에서, 깊이 값들은 예를 들면, 깊이 또는 디스패리티 맵을 가진 이미지로서 제공되는 제 1 3차원 이미지에 의해, 적응기(509)에 직접 이용 가능할 수 있다. 입력 3차원 이미지가 상이한 뷰잉 각들에 대응하는 다수의 이미지들에 의해 형성될 때와 같은, 다른 실시예들에서, 깊이 값들은 먼저 수신된 이미지들로부터 산출될 수 있다. 예를 들면, 디스패리티 맵은 두 개의 이미지들의 비교로부터 생성될 수 있다. 국소적 깊이 측정치는 그 후 예로서, 평균 효과를 제공하는 공간 필터링을 적용함으로써, 생성된 디스패리티 맵으로부터 산출될 수 있다.

많은 실시예들에서, 깊이 측정치는 디스플레이 스크린 레벨에 대응하는, 즉 상이한 뷰들에 대해 투사된 이미지에서 어떤 패리티도 없는 깊이에 대응하는 기준 깊이로부터의 깊이 편차를 나타낼 수 있다. 따라서, 깊이 측정치는 기준 스크린 레벨 깊이로부터 영역의 주변에서의 깊이의 편차에 대한 표시일 수 있다. 몇몇 실시예들에서, 깊이는 디스패리티 값들에 의해 직접 표현될 수 있으며, 따라서 깊이는 제로 디스패리티에 대응하는 깊이에 대해 직접 제공된다.

적응기(509)는 예로서, 국소적 콘트라스트 측정치가 픽셀의 주변에서의 밝기/강도 변화(예로서, 단일 컬러 채널 내에서의 강도 또는 픽셀들에 대한 휘도 변화)를 나타내는 영역에 대한 국소적 콘트라스트 측정치를 생성할 수 있다.

따라서, 콘트라스트 측정치는 예로서, 픽셀/세그먼트 주위에서의 주변에 대해 생성될 수 있다. 주변은 예로서, 각각의 픽셀 주위에서의 미리 결정된 면적인 것으로 고려될 수 있거나, 또는 예로서 동적으로 결정될 수 있다. 예를 들면, 주변의 크기는 예로서 픽셀의 깊이 값, 평균 밝기 레벨 등에 기초하여 동적으로 변경될 수 있다. 주변은 날카로운 경계선들을 가질 수 있거나 또는 점진적인 전이를 가질 수 있다는 것이 이해될 것이다. 적응기(509)는 영역을 명시적으로 결정할 필요는 없으며 이것은 통상적으로 콘트라스트 측정치를 결정하기 위해 사용된 알고리즘에서 내재할 수 있다는 것이 또한 이해될 것이다.

적응기(509)는 콘트라스트 측정치를 결정하기 위한 임의의 적절한 알고리즘을 사용할 수 있다. 예를 들면, 몇몇 실시예들에서, 공간 고역 통과 필터링이, 국소적 휘도 변화의 표시를 생성하기 위해 공간 평균화에 앞서, 수행될 수 있다. 또 다른 예로서, 이미지 전이들(휘도 및/또는 채도)이 식별될 수 있으며 콘트라스트 측정치는 전이의 경사도로서 결정될 수 있다. 국소적 콘트라스트의 측정치는 몇몇 실시예들에서 현재 픽셀 및 픽셀들의 주변 사이에서의 (예로서, 지각적으로 가중된) 밝기 차만큼 간단할 수 있다.

또 다른 예로서, 콘트라스트 측정치는 예로서 주변 뷰들 사이에서의 휘도 및/또는 컬러 거리 측정치에 기초하여 콘트라스트 추정치로서 생성될 수 있다. 적절한 컬러 거리 측정치들은 절대 차들의 합(SAD), 차 제곱의 합(SSD), 및 바람직하게는 대역-필터링된 신호의 L*a*b*△E와 같은 지각 거리의 근사들(S-CIELAB)을 포함한다.

많은 실시예들에서, 적응기(509)는 수평 콘트라스트 측정치로서 콘트라스트 측정치를 생성하도록 배열될 수 있다. 따라서, 수평 방향에서 휘도 또는 강도의 변화들이 고려될 수 있는 반면 수직 방향에서 휘도 또는 강도 변화들은 실질적으로 무시될 수 있다.

이것은 많은 실시예들에서 개선된 성능을 제공할 수 있으며 특히 이미지 블록 적응화가 지각된 대로 이미지에 보다 가깝게 적응되도록 허용할 수 있다. 특히, 수직이 아닌 수평의 변위 및 디스패리티를 도입한 3차원 효과로 인해, 고 콘트라스트 면적들의 영향은 전이들이 수직 방향에서 발행하는 것이 아닌 그것이 수평 방향에서 발생하였다면 상당한 시각적 아티팩트들을 도입할 수 있다. 본 발명자들은 구체적으로 수평 콘트라스트를 고려함으로써, 깊이 및/또는 톤 매핑을 국소적으로 적응시키는 것에 의해 가능한 품질 개선이 상당히 증가될 수 있다는 것을 인식하였다.

이미지 변환기(505)는 그에 따라 이미지 데이터가 국소적 콘트라스트 및/또는 깊이 측정치에 응답하여 제 1 이미지 생성 유닛(503)에 의한 전체 깊이 기반 프로세싱에 의해 생성되는 뷰잉 각들의 수를 국소적으로 적응시키도록 배열된다. 구체적으로, 적응기(509)는 증가하는 콘트라스트 측정치 및/또는 깊이 측정치에 대한(즉, 증가하는 콘트라스트 또는 깊이를 표시한 측정치들에 대한) 상이한 뷰잉 방향들에 대응하는 다수의 이미지 블록들을 증가시키도록 배열될 수 있다. 다수의 이미지 블록들은 콘트라스트 측정치의 단조롭게 증가하는 함수 및/또는 깊이 측정치의 단조롭게 증가하는 함수일 수 있다.

도 5의 시스템은 이미지 품질(개선된 3차원 경험 및 지각을 포함한) 및 계산 리소스 사용 사이에서 개선된 트레이드-오프를 제공할 수 있다. 구체적으로, 많은 시나리오들에서, 개선된 이미지 품질은 주어진 계산 리소스 사용에 대해 달성되며 및/또는 감소된 계산 리소스 사용은 주어진 이미지 품질에 대해 달성된다. 이것은 구체적으로 특정 이미지 데이터가 국소적 콘트라스트 및/또는 깊이에 의존하여 깊이 기반 프로세싱에 의해 생성되는 뷰잉 각들의 양을 국소적으로 적응시킴으로써 달성될 수 있다.

특히, 본 발명자들은 주어진 영역에 대한 다수의 이미지 블록들을 동적으로 적응시키면, 단순한 보간 또는 유사한 비-깊이 기반 접근법들로부터의 상이한 뷰들에 대한 이미지 데이터를 결정함으로써 도입된 저하의 영향은 최소화될 수 있다는 것을 인식하여 왔다. 국소적 깊이 및/또는 콘트라스트에 대한 적응화에 기초하는 것은 특히 계산 리소스가 간소화된 프로세싱에 민감할 가능성이 가장 높은 구역들에 집중되도록 허용한다.

이것은 도 6의 예시적인 이미지를 고려함으로써 예시될 수 있다. 예는 이미지에 대해, 크로스-토크 아티팩트들, 및 구체적으로 고스팅을 예시한다. 이미지에서, 콘트라스트 및 깊이 편차가 매우 높은 제 1 영역(601)이 보여질 수 있다. 영역에서, 지각된 이미지 품질을 상당히 감소시키는 높은 정도의 고스팅이 보여질 수 있다. 콘트라스트에서, 또 다른 이미지 면적(603)은 실질적으로 기준 깊이 레벨에 있으며, 즉 실질적으로 어떤 깊이 편차도 없다. 이 면적에서, 비교적 높은 정도의 콘트라스트에도 불구하고 사실상 고스팅이 없으며, 따라서 사실상 크로스-토크 아티팩트들이 없다. 또 다른 이미지 면적(605)에서, 깊이 편차는 매우 높지만 콘트라스트 레벨은 매우 낮다. 이 구역에서, 고스팅 효과는 존재할 수 있지만 매우 가시적인 아티팩트들을 생성하지 않는다. 따라서, 보여질 수 있는 바와 같이, 높은 저하가 깊이 편차 및 콘트라스트가 높을 때 발생하는 반면 낮은 저하는 깊이 편차 및 콘트라스트가 낮을 때 발생한다.

본 발명자들은 간소화된 프로세싱에 의해 야기된 저하들의 존재 및 지각적 중요성이 국소적 콘트라스트 및 깊이 측정치들에 기초하여 복잡한 깊이 기반 프로세싱 및 간소화된 비-깊이 기반 프로세싱 사이에서의 균형을 국소적으로 적응시킴으로써 제어될 수 있다는 것을 인식하여 왔다. 실제로, 이러한 접근법은 특히 지각적으로 민감한 섹션들이 이용 가능한 계산 전력이 그것 상에 집중될 수 있도록 식별되는 것을 허용할 수 있다.

깊이가 상이한 뷰들의 이미지들 사이에서 얼마나 많은 디스패리티 및 오프셋이 있는지를 표시한다는 것이 고려될 수 있으며, 즉 그것은 상이한 뷰들의 이미지들이 얼마나 유사한지 또는 상이한지에 대한 표시인 것으로 고려될 수 있다. 이와 같이, 깊이는 전체 깊이 기반 프로세싱의 지각적 중요성에 대한 표시로서 지각될 수 있다.

유사하게, 국소적 콘트라스트는 이미지들이 시각적(휘도/채도) 도메인에서 얼마나 상이한지에 대한 표시로서 보여질 수 있으며, 따라서 예로서, 간단한 보간에 의해 얼마나 큰 에러들이 도입될 수 있는지에 대한 표시로서 보여질 수 있다.

따라서, 국소적 깊이 및 콘트라스트를 공동으로 고려함으로써, 저하가 특정 영역에서 얼마나 중요한지에 대한 특히 양호한 표시가 획득될 수 있다. 두 개의 측정치들은 따라서 지각적 영향에 대한 양호한 표시를 상승 효과적으로 제공하며, 단지 하나의 파라미터만을 고려할 때보다 지각적 영향을 보다 정확하게 표현하는 정보를 제공할 수 있다. 구체적으로, 그것은 임계 면적들이 보다 정확하게 식별되도록 허용한다.

따라서, 몇몇 실시예들에서, 적응기(509)는 국소적 깊이 및 콘트라스트에 의존하여 이미지 블록들을 생성하기 위해 제 1 이미지 생성 유닛(503)에 의해 사용된 렌더링 파이프들의 수를 국소적으로 조정하도록 배열된다. 디스플레이 기준 평면(뷰들 사이에 어떤 디스패리티도 없음에 대응하는)으로부터의 깊이 편차가 증가할 때(스크린 뒤에서 또는 앞에서), 주변 뷰들은 점점 더 분리되며, 즉 픽셀 디스패리티들이 증가한다. 디스패리티들을 증가시키기 위해 보다 많은 이미지 블록들을 생성함으로써, 그것든 두 개의 인접한 이미지들 사이에서의 디스패리티가 낮게 유지되는 것이 달성될 수 있으며 그에 의해 제 2 이미지 생성 유닛(505)에 의한 개선된 보간을 허용한다. 설명된 접근법에서, 인접한 뷰들 사이에서의 픽셀의 시프트는 예로서, 영역에 대한 현재 이미지 블록들 사이에서의 디스패리티가 너무 높다면 부가적인 이미지 블록들을 생성함으로써 주어진 임계치보다 낮게 유지될 수 있다. 전체 이미지/시퀀스에 대한 렌더링된 뷰들의 수를 증가시키는 대신에, 접근법은 큰 깊이를 가진 구역들에서만 그것들을 증가시킬 수 있으며 그에 의해 계산 리소스 사용을 감소시킨다.

인접한 뷰들 사이에서의 이러한 시프트는 낮은 콘트라스트를 가진 면적들에서보다 높은 콘트라스트를 가진 면적들에서 보다 가시적이다. 실제로, 콘트라스트가 낮다면, 결과적인 보간 값은 전체 3차원 프로세싱에 의해 생성된 것으로부터 대차가 있지 않을 가능성이 있다. 따라서, 디스패리티가 비교적 높은 경우일지라도 추가 이미지 블록들을 생성하는 것이 필요하지 않을 수 있다.

몇몇 실시예들에서, 적응기(509)는 제 1 이미지 생성 장치에 대한 계산 리소스 가용성에 응답하여 복수의 영역들 중 적어도 하나의 영역에 대해 제 1 이미지 생성 유닛(503)에 의해 생성된 다수의 이미지 블록들을 결정하도록 배열될 수 있다.

실제로, 많은 시나리오들에서, 적응기(509)는 총 계산 리소스 요구 접근법이 주어진 계산 리소스 가용성에 도달하지만 초과하지는 않도록 중간 3차원 이미지에 대한 다수의 이미지 블록들을 선택할 수 있다.

예로서, 디스플레이 구동기(501)는 비디오 시퀀스의 부분인 입력 3차원 이미지들을 실시간으로 프로세싱할 수 있다. 따라서, 각각의 프레임에 대해, 입력 3차원 이미지가 수신되며 출력 3차원 이미지가 생성된다. 제 1 이미지 생성 유닛(503)은 미리 결정된 수의 N개의 뷰 이미지들을 생성하도록 배열될 수 있으며 여기에서 각각의 뷰 이미지는 무안경 입체영상 디스플레이 장치(301)의 뷰잉 각에 대해 생성되며, 여기에서 N은 무안경 입체영상 디스플레이 장치(301)의 총 수 M의 뷰들보다 작다.

예를 들면, M=15 뷰 무안경 입체영상 디스플레이 장치(301)에 대해, 제 1 이미지 생성 유닛(503)은 프레임의 입력 3차원 이미지로부터 말하자면 N=3 전체 뷰 이미지들을 항상 생성하도록 배열될 수 있다(예로서, 2차원 이미지로서 연관된 깊이 맵을 제공받을 수 있는).

이러한 프로세싱을 위해 요구된 계산 리소스는 비교적 정확하게 추정될 수 있다(또는 적어도 최대 계산 리소스가 추정될 수 있다). 또한, 제 1 이미지 생성 유닛(503)은 부가적인 여분의 이용 가능한 리소스를 가질 수 있으며 여분의 리소스의 양은 적응기(509)에 의해 알려져 있고, 추정되거나 또는 가정될 수 있다. 예를 들면, 제 1 이미지 생성 유닛(503)의 프로세싱은 여분의 리소스가 각각의 프레임에 대한 말하자면 K=100 추가 이미지 블록들을 생성하기에 충분하다고 가정할 수 있다. (K는 적응기(509)에 의해 동적으로 적응될 수 있다).

적응기(509)는 따라서 각각의 영역에 대해 깊이 및 콘트라스트 측정치를 결정할 수 있으며 상기 영역에 대한 조합된 중요도 측정치를 생성할 수 있고, 여기에서 중요도 측정치는 국소적 콘트라스트 및 깊이 양쪽 모두를 반영한다. 적응기(509)는 그 후 영역들을 우선순위화하도록 진행하며 영역에 대한 중요도 측정치에 기초하여 각각의 영역에 대해 생성될 다수의 이미지 블록들을 결정할 수 있다. 예를 들면, 중요도 측정치가 상당히 높다면, 제 1 이미지 생성 유닛(503)이 무안경 입체영상 디스플레이 장치(301)의 각각의 뷰잉 각에 대한 이미지 블록을 생성해야 한다고 결정될 수 있다. 중요도 측정치의 보다 낮은 값들에 대해, 예로서, 이미지 블록은 모든 다른 뷰 방향에 대해 생성된다고 결정될 수 있어서, 5개의 추가 이미지 블록들이 이 영역에 대해 생성되는 것을 야기한다.

적응기(509)는 이러한 방식으로 리소스 풀이 사용되었을 때까지, 즉 특정 예에서, 100개의 이미지 블록들이 할당될 때까지 영역들에 이미지 블록들을 할당하도록 진행할 수 있다. 이러한 방식으로, 적응기(509)는 깊이 기반 프로세싱이 가장 중요한 효과를 갖는 이미지의 특정 부분들에 이용 가능한 리소스를 집중시킬 수 있다.

따라서, 몇몇 실시예들에서, 적응기(509)는 국소적 깊이 및 콘트라스트 측정치들에 의존하는 K개의 이미지 블록들에 대한 리소스를 할당하는 우선순위화 메커니즘을 구현할 수 있으며, 여기에서 K는 이용 가능한 하드웨어 리소스들에 의해 계산 가능한 것으로 알려지거나 또는 예상되는 다수의 이미지 블록들이다. 수 K는 고정되거나 또는 예로서 정기 피드백 루프에서 런-타임 시 추정될 수 있다. 몇몇 실시예들에서, 임계치(λ)는 약(또는 최대) K개의 중요도(또는 깊이 또는 콘트라스트) 측정치들이 λ보다 크도록 추정될 수 있다. 제 1 이미지 생성 유닛(503)은 그 후 입력 3차원 이미지를 프로세싱하고 중요도(또는 깊이 또는 콘트라스트) 측정치들이 임계치(λ)를 초과하는 이들 영역들에 대한 부가적인 이미지 블록들을 생성할 수 있다.

많은 실시예들에서, 영역들 중 적어도 하나, 및 통상적으로 모두는 하나 이상의 픽셀 로우들에 의해 형성될 수 있다. 따라서, 이러한 실시예에서, 영역은 픽셀 로우의 부분만을 포함하지 않으며, 오히려 전체 픽셀 로우가 포함되거나 또는 픽셀 로우로부터의 어떤 픽셀들도 포함되지 않을 것이다. 특정 예로서, 영역들은 중간 3차원 이미지의 중심 2차원 이미지를 픽셀 로우들로 분할함으로써 생성될 수 있으며, 즉 픽셀들의 각각의 로우는 하나의 영역을 형성할 수 있으며 동등하게 각각의 영역은 하나의 픽셀 로우에 의해 형성된다. 다른 실시예들에서, 보다 낮은 수의 영역들은 복수의 인접한 픽셀 로우들을 포함한 영역들 중 하나 이상을 갖고 생성될 수 있다.

다른 실시예들에서, 영역들은 전체 픽셀 로우들에 의해 형성될 필요가 없을 수 있으며 실제로 픽셀 로우의 픽셀들의 서브세트만이 포함되는 하나 이상의 영역들을 포함할 수 있다는 것이 이해될 것이다. 이것은 부가적인 유연성을 제공하며 부가적인 이미지 블록들을 생성할 영역들의 선택 시 보다 미세한 입도를 허용한다. 이것은 몇몇 실시예들에서 계산 리소스를 감소시킬 수 있다.

그러나, 전체 픽셀 로우들에 기초한 영역들의 사용은 많은 실시예들에서 특히 유리할 수 있다. 구체적으로, 뷰 시프팅, 비-폐색 등과 같은, 3차원 프로세싱은 수평 디스패리티들에, 및 그에 따라 픽셀 로우 기반 프로세싱에 기초한다. 많은 실시예들에서, 전체 픽셀 로우를 프로세싱하는 것 및 단지 픽셀 로우의 부분만을 프로세싱하는 것 사이에서의 계산 리소스 사용에서의 차이는 매우 작을 수 있다. 실제로, 많은 시나리오들에서, 픽셀 로우들을 보다 작은 섹션들로 분할하고, 각각의 섹션에 대한 측정치들을 결정하고, 각각의 섹션을 평가하는 등을 하기 위해 요구된 부가적인 리소스는 전체 픽셀 로우를 프로세싱하기 위해 요구된 추가 리소스보다 상당히 더 높을 수 있다. 따라서, 전체 픽셀 로우들 상에서의 영역들에 기초하는 것은 종종 복잡도를 감소시킬 수 있을 뿐만 아니라 또한 전체 리소스 사용을 감소시킬 수 있다.

더욱이, 깊이 기반 프로세싱은 통상적으로 그에 의해 복잡도 및 리소스 사용을 감소시키는 로우-와이즈 동작일 뿐만 아니라, 접근법은 또한 통상적으로 개선된 이미지 품질을 야기할 수 있다. 예를 들면, 에지-형 아티팩트들은 픽셀 로우의 몇몇 픽셀들이 주변 픽셀들이 아닌 동안 시프트된 디스패리티일 때 생성될 수 있다.

이전에 언급된 바와 같이, 반복적 접근법이 몇몇 실시예들에서 사용될 수 있다.

예로서, 제 1 이미지 생성 유닛(503)은 먼저 제 1 수의 뷰 방향들에 대한 모든 영역들에 대해 이미지 블록들을 생성하도록 진행할 수 있다. 하나의 뷰 방향에 대한 모든 영역들에 대해 이미지 블록들을 생성함으로써, 뷰 방향에 대한 완전한 이미지가 생성된다. 제 1 이미지 생성 유닛(503)은 처음에 다수의 이러한 완전한 뷰 이미지들을 생성하도록 진행할 수 있다. 예를 들면, 이전에 언급된 예에서, 제 1 이미지 생성 유닛(503)은 M=15 뷰 무안경 입체영상 디스플레이 장치(301)에 대해 N=3 완전한 뷰 이미지들을 생성할 수 있다.

그 다음에, 무안경 입체영상 디스플레이 장치(301)는 예로서, 각각의 픽셀 로우에 대한과 같은, 영역들의 각각에 대한 깊이 측정치를 생성하도록 진행할 수 있다. 깊이 측정치는 이미 생성된 뷰 이미지들에 기초하여 생성될 수 있다. 구체적으로, 개개의 영역들에 대해 생성된 뷰 이미지들 사이에서의 디스패리티가 결정될 수 있다. 예로서, 로우 기반 접근법에 대해, 최대 또는 평균(또는 예로서, RMS) 디스패리티는 이미 생성된 이미지 블록들에 기초하여, 즉 생성된 뷰 이미지들의 픽셀 로우들에 기초하여 각각의 로우에 대해 결정될 수 있다.

적응기(509)는 그 후 새로운 뷰들에 대응하는 추가 이미지 블록들이 이들 디스패리티들에 기초하여 생성되어야 하는 영역들을 선택하도록 진행할 수 있다. 예를 들면, 제 1 이미지 생성 유닛(503)은 각각의 뷰 이미지가, 말하자면 1080개의 픽셀 로우들의 수직 분해능을 갖는 중간 3차원 이미지에 대한 부가적인 200개의 픽셀 로우들을 프로세싱하기 위해 여분의 용량을 가질 수 있다. 그것은 그 후 최고 디스패리티 측정치를 가진 200개의 픽셀 로우들을 선택하도록 진행할 수 있다. 이들 픽셀 로우들에 대해, 무안경 입체영상 디스플레이 장치(301)의 남아있는 뷰 방향들에 대응하는 부가적인 이미지 블록들이 생성될 수 있다.

적응기(509)는 선택된 영역의 모든 뷰들에 대해 이미지 블록들을 생성하지 않을 수 있다는 것이 이해될 것이다. 예를 들면, 몇몇 실시예들에서, 적응기(509)는 이미지 블록들이 깊이 측정치 또는 콘트라스트 측정치가 제 1 임계치 이상인 영역들에 대한 무안경 입체영상 디스플레이 장치(301)의 모든 뷰들에 대해, 깊이 측정치 또는 콘트라스트 측정치가 제 1 임계치 미만이지만 제 2 임계치 이상인 영역들에 대한 모든 다른 뷰에 대해, 깊이 측정치 또는 콘트라스트 측정치가 제 2 임계치 미만이지만 제 3 임계치 이상인 영역들에 대한 모든 제 3 뷰에 대해 생성되도록 배열할 수 있다.

몇몇 실시예들에서, 적응기(509)는 임계치를 초과하는 상기 영역에 대한 디스패리티 측정치에 응답하여 부가적인 뷰잉 각에 대한 이미지 블록을 생성할 영역을 선택하도록 배열될 수 있다. 상기 디스패리티 측정치는 두 개의 인접한 뷰잉 각들에 대해 이미 생성된 두 개의 이미지 블록들에 대한 디스패리티의 측정치일 수 있다. 디스패리티 측정치가 임계치를 초과한다면, 적응기(509)는 측정치가 생성되는 두 개의 인접한 뷰 방향들 사이에서의 뷰 방향에 대해 추가 이미지 블록을 생성하도록 제 1 이미지 생성 유닛(503)을 제어하기 위해 진행한다. 통상적으로, 중간 뷰잉 각에 대한 이미지 블록이 생성될 수 있다.

예를 들면, 주어진 픽셀 로우에 대해, 적응기(509)는 이미 생성된 이미지 블록들의 모든 쌍들을 분석할 수 있다. 임의의 이러한 쌍이 주어진 임계치를 초과하는 디스패리티 값(예로서, 평균, 최대값 또는 RMS 디스패리티)을 야기한다면, 적응기(509)는 이미지 블록들의 쌍에 대한 뷰 각도 사이에서 중간에 있는 뷰 각도에 대한 픽셀 로우에 대해 이미지 데이터를 생성하도록 제 1 이미지 생성 유닛(503)을 제어할 수 있다. 이러한 방식으로, 새로운 픽셀 로우 이미지 블록이 두 개의 인접한 이미지 블록들 사이에서의 디스패리티가 너무 높을 때마다 생성된다. 프로세스는 예를 들면, 인접한 이미지 블록들 사이에서의 모든 디스패리티들이 임계치 미만일 때까지 각각의 픽셀 로우에 대해 반복될 수 있다. 접근법은 모든 픽셀 로우들에 대해 추가로 수행될 수 있으며 그에 의해 제 1 이미지 생성 유닛(503)의 깊이 기반 프로세싱이, 최대 디스패리티가 임계치 미만인 이미지 데이터를 제공한다는 것을 보장한다.

따라서, 영역에 대해 생성된 다수의 이미지 블록들은 생성되는 이러한 다수의 이미지 블록들에 앞서 적응기(509)에 의해 명시적으로 결정될 필요가 없으며, 예를 들면, 예로서, 기존의 이미지 블록들의 디스패리티 차이에 의존하는 부가적인 이미지 블록들을 연속하여 생성하는 반복적 프로세스가 국소적 이미지 속성의 함수로서 영역에 대해 생성되는 이미지 블록들의 상이한 수를 야기할 것임이 이해될 것이다.

또 다른 예로서, 적응기(509)는 먼저 인접한/주변 뷰잉 각들/방향들을 가진 이미지 블록들의 각각의 쌍의 각각의 픽셀 로우에 대한 디스패리티 측정치를 결정할 수 있다. 그것은 디스패리티 측정치의 크기의 함수로서 순서화된 테이블에 생성된 디스패리티 측정치들 모두를 저장할 수 있다. 그것은 그 후 두 개의 이미지 블록들의 뷰잉 각들 사이에서의 뷰잉 각에 대한 부가적인 이미지 블록을 생성하도록 제 1 이미지 생성 유닛(503)을 제어하기 위해 진행할 수 있다. 최대 디스패리티 측정치는 그 후 삭제될 수 있으며, 대신에 디스패리티 측정치는 두 개의 새로운 인접한 이미지 블록 쌍들의 각각에 대해 산출될 수 있다. 이들 두 개의 새로운 디스패리티 측정치들은 디스패리티 측정치들의 테이블에 부가될 수 있다. 적응기(509)는 그 후 최대 디스패리티 측정치를 가진 이미지 블록들의 쌍을 선택하고, 이러한 쌍 사이에서 새로운 이미지 블록을 생성하고, 이전 디스패리티 측정치를 삭제하며 두 개의 새로운 것들을 부가하는 프로세스를 반복할 수 있다. 이러한 프로세스는 더 이상의 프로세싱 시간이 이용 가능하지 않을 때까지 반복될 수 있다. 따라서, 이러한 접근법에서, 적응기(509)는 디스패리티가 가장 높은 특정 면적에 리소스를 항상 할당하도록 진행할 수 있다. 그 결과, 계산 리소스는 가장 중대할 가능성이 있는 섹션에 집중된다.

몇몇 실시예들에서, 적응기(509)는 깊이 측정치가 임계치 미만인 영역들의 서브세트를 결정하도록 배열될 수 있다. 예를 들면, 단일 2차원 이미지 및 연관된 깊이 맵을 포함한 입력 이미지에 대해, 적응기(509)는 깊이 맵을 스캔함으로써 각각의 픽셀 로우에 대한 최대 깊이를 결정할 수 있다. 최대 깊이는 임계치에 비교될 수 있으며, 최대 깊이가 임계치 미만인 픽셀 로우들 모두가 식별될 수 있다.

적응기(509)는 그 후 식별된 영역들에 대한 단지 하나의 이미지 블록만을 생성하도록 제 1 이미지 생성 유닛(503)을 제어하기 위해 진행할 수 있다. 따라서, 식별된 픽셀 로우들에 대해, 중간 3차원 이미지는 단지 하나의 이미지 오브젝트를 포함하기 위해 생성되며, 즉 픽셀 값들은 단지 하나의 뷰 방향을 위해 제공된다. 뷰 방향은 구체적으로 무안경 입체영상 디스플레이 장치(301)의 중심 뷰에 대응할 수 있으며, 예로서 간단히 입력 3차원 이미지의 2차원 이미지의 대응하는 로우로부터 대응하는 픽셀 값을 복사함으로써 생성될 수 있다.

따라서, 이러한 접근법에서, 깊이가 충분히 낮은 영역들의 수가 식별되며, 이들 영역들에 대해, 단지 2차원 출력만이 중간 3차원 이미지에 대해 생성된다. 따라서, 이들 영역들에 대해, 제 2 이미지 생성 유닛(505)은 무안경 입체영상 디스플레이 장치(301)의 모든 뷰들에 대해 동일한 이미지 데이터를 생성하도록 진행할 것이며, 구체적으로 그것은 중간 3차원 이미지로부터 이미지 데이터를 간단히 복사할 수 있다. 따라서, 예에서, 매우 낮은 깊이가 있는 픽셀 로우들은 무안경 입체영상 디스플레이 장치(301)에 의해 편평한 2차원 영역들로서 제공된다.

이러한 접근법은 계산 리소스 사용을 상당히 감소시킬 뿐만 아니라 예로서, 크로스 토크가 감소될 수 있으므로 많은 시나리오들에서 개선된 이미지 품질을 또한 제공할 수 있다. 이러한 개선은 감소된 3차원 효과 때문에 달성될 수 있지만, 그것이 구체적으로 충분히 편평한 것으로 고려되는 이미지 영역들에 대해 수행되므로, 이것은 많은 실시예들 및 애플리케이션들에서 수용 가능하며 실제로 선호될 수 있다.

이전 설명은 중간 3차원 이미지가 입력 3차원 이미지로부터 생성되는 실시예들에 초점을 맞췄다. 그러나, 언급된 바와 같이, 몇몇 실시예들에서, 제 1 이미지 생성 유닛(503)은 대신에(또는 가능하게는 부가적으로) 그래픽 3차원 모델을 평가함으로써 중간 3차원 이미지를 생성하도록 배열될 수 있다. 따라서, 몇몇 실시예들에서, 제 1 이미지 생성 유닛(503)은 3차원 장면의 3차원 모델에 기초하여 중간 3차원 이미지를 생성하도록 배열될 수 있다.

예를 들면, 그래픽 3차원 모델은 통상적으로 예로서, 게이밍 애플리케이션을 위해 사용될 수 있으며 실제로 많은 게임들은 현재 3차원 장면 기하학적 구조, 텍스처들 및 광원들의 사용에 기초한다. 이러한 시나리오들에서, 가상 투시 카메라는 게임 동안 사용자의 입력에 의존하여 장면의 뷰를 합성하기 위해 3차원 모델과 함께 사용된다.

다음으로, 구체적으로 3차원 그래픽들에 대한 OpenGL 표준의 사용에 관련되는(이에 제한되지 않지만) 몇몇 실시예들이 설명될 것이다. 구체적으로, 그래픽 카드는 OpenGL 애플리케이션 인터페이스를 통해 제어될 수 있다. OpenGL 셰이딩 언어는 OpenGL을 통해 렌더링을 위한 그래픽 카드를 사용할 때 유연성을 부가한다. 다음으로, 접근법은 단지 장면의 부분만을 메모리 버퍼로 선택적으로 인출하며, 그에 의해 계산들을 절약할 수 있는, 기존의 OpenGL 메커니즘들을 사용할 수 있는 접근법이 설명된다. 구체적으로, OpenGL 메커니즘들은 상이한 영역들에 대한 상이한 이미지 블록들을 가진 중간 3차원 이미지를 생성하기 위해 사용되며, 후속 출력 3차원 이미지가 그 후 중간 이미지로부터 생성된다.

다음의 예들에서, 중간 3차원 이미지에 대한 뷰잉 각들 및 출력 3차원 이미지에 대한 뷰잉 각들은 동일하며, 구체적으로 뷰잉 각들은 무안경 입체영상 디스플레이 장치(301)에 대한 뷰잉 각들에 대응한다. 따라서, 중간 3차원 이미지의 이미지 블록들은 무안경 입체영상 디스플레이 장치(301)의 뷰잉 각들에 대해 생성된다. 그러나, 예에서, 출력 3차원 이미지는 무안경 입체영상 디스플레이 장치(301)의 각각의 뷰잉 각에 대한(즉, 각각의 뷰에 대한) 전체 2차원 이미지를 포함하도록 생성되는 반면 중간 3차원 이미지는 뷰잉 각들 중 적어도 일부에 대한 부분 이미지들만을 포함하도록 생성된다. 다시 말해서, 중간 3차원 이미지에 대한 이미지 블록들은 단지 제 1 이미지 생성 유닛(503)에 의해 몇몇 영역들에서 몇몇 뷰잉 각들에 대해서만 생성될 수 있다.

예에서, 제 1 이미지 생성 유닛(503) 및 제 2 이미지 생성 유닛(505)은 동일한 이미지 버퍼들을 사용한다. 구체적으로, 장치는 무안경 입체영상 디스플레이 장치(301)의 각각의 뷰잉 각에 대한 이미지 버퍼를 포함할 수 있다. 제 1 이미지 생성 유닛(503)은 먼저 이미지 블록들을 생성하며 이것들을 적절한 버퍼들에 저장할 수 있다. 주어진 영역에 대해, 이미지 블록들은 그에 따라 무안경 입체영상 디스플레이 장치(301)의 하나 이상의 뷰잉 각들에 대해 생성될 수 있으며 대응하는 버퍼(들)에 저장될 수 있다. 뷰잉 각들 및 그에 따라 제 1 이미지 생성 유닛(503)이 이미지 블록들을 생성하기 위한 버퍼들의 수는 상이한 영역들에 대해 상이할 것이다(예로서, 통상적으로 상기 영역에서 깊이 및/또는 콘트라스트에 의존하여).

도 7은 두 개의 오브젝트들을 가진 3차원 장면의 예를 예시한다.

제 1 오브젝트(701)의 기하학적 구조는 기준 경로에, 즉 디스플레이 깊이에 가까우며, 그러므로 단지 작은 시차/디스패리티를 가진다. 이러한 기하학적 구조에 대해, 제 1 이미지 생성 유닛(503)은 통상적으로 단지 중심 뷰에 대응하는 단일 뷰잉 각에 대한 이미지 블록들만을 생성하며, 그 후 출력 3차원 이미지의 모든 뷰들을 위해 이것을 사용할 수 있다. 실제로, 디스패리티가 매우 낮으므로, 모든 뷰들에 대한 동일한 관점을 사용하는 것이 수용 가능하며, 그에 의해 (무안경 입체영상)-입체 디스플레이 상에 보여질 때 평면에 대한 오브젝트 기하학적 구조를 효과적으로 감소시킨다.

제 1 이미지 생성 유닛(503)은 다음의 동작을 수행할 수 있다:

1. 단지 제 1 오브젝트(701)만을 포함하도록 근접 및 원거리 클리핑 평면을 설정한다;

2. 중심 뷰 숫자에 대응하도록 OpenGL에서 뷰포트를 설정한다;

3. 장면을 렌더링한다.

4. 제 1 오브젝트에 대한 결과적인 데이터를 중심 뷰 이미지 버퍼에 저장한다.

이러한 방식으로, 제 1 이미지 생성 유닛(503)은 그에 따라 제 1 오브젝트(701)가 있는 영역들에 대해 단일 이미지 블록을 생성한다.

제 2 이미지 생성 유닛(505)은 그 후 중심 뷰 이미지 버퍼로부터의 이미지 데이터를 모든 다른 뷰들로부터의 이미지 뷰 버퍼들로 간단히 복사함으로써 출력 3차원 이미지의 대응하는 픽셀들을 생성할 수 있다.

그러나, 장면은 또한 기준 평면으로부터 멀며, 그에 따라 높은 정도의 시차/디스패리티를 갖는 제 2 오브젝트(703)를 포함할 수 있다. 이러한 오브젝트에 대해, 상이한 접근법이 사용된다. 구체적으로, 제 1 이미지 생성 유닛(503)은 다음의 단계들을 수행할 수 있다:

1. 단지 제 2 오브젝트(703)만을 포함하도록 근접 및 원거리 클리핑 평면들을 설정한다;

2. 무안경 입체영상 디스플레이 장치(301)의 모든 뷰들에 걸쳐 루핑하며, 각각의 루프에 대해:

a. 현재 뷰에 대응하도록 OpenGL에서의 뷰포트를 설정한다;

b. 정확한 관점을 사용하여 이러한 뷰에 대한 장면을 렌더링한다;

c. 제 2 오브젝트(703)에 대한 결과적인 이미지 데이터를 현재 뷰에 대한 이미지 버퍼에 저장한다.

이러한 방식으로, 제 1 이미지 생성 유닛(503)은 가능한 뷰잉 각들 모두에 대한 이미지 블록들을 생성할 수 있다. 따라서, 이들 이미지 블록들에 대해, 제 2 이미지 생성 유닛(505)은 제 1 이미지 생성 유닛(503)에 의해 이미 생성되고 정확한 버퍼들에 저장된 이미지 블록들을 직접 사용함으로써 출력 3차원 이미지를 생성할 수 있다.

도 8은 상이한 대표적인 접근법들을 예시한다.

몇몇 실시예들에서, 제 2 이미지 생성 유닛(505)은 제 1 예(제 1 오브젝트(701)에 대한)에서 중심 뷰로부터의 이미지 블록들을 다른 뷰들로 복사할 때 고정된 시차를 부가하도록 배열될 수 있다. 이것은 제 2 이미지 생성 유닛(505)이 예를 들면 스크린 깊이 대신에 스크린 뒤에서의 평면상에 제 1 오브젝트(701)를 위치시키도록 허용할 수 있다. 상황은 도 9에 예시된다. 이러한 시차 및 깊이 시프트를 도입하기 위해, 제 2 이미지 생성 유닛(505)에 의해 수행된 복사 동작은 제 1 오브젝트(701)에 대한 의도된 깊이에 의존하여 주어진 만큼 수평 시프트를 도입할 수 있다.

예에서, 제 1 오브젝트(701)는 단지 중심 뷰에 대한 이미지 블록(들)에 의해서만 표현되었다. 다른 예들에서, 제 1 오브젝트(701)는 예로서, 모든 다른 뷰잉 각들에 대해서와 같은, 무안경 입체영상 디스플레이 장치(301)의 복수의 뷰잉 각들에 대한 이미지 블록들에 의해 표현될 수 있다. 이러한 예는 도 10에 예시된다. 이 예에서, 제 2 이미지 생성 유닛(505)은 보간에 의해 남아있는 뷰잉 각들에 대한 이미지 데이터를 생성할 수 있다.

렌더링된 장면의 최상부 상에 디스플레이되는 텍스트 또는 그래픽스 오버레이들은 종종 스크린 외 블러로 인해 아티팩트들을 야기하려는 경향이 있다. 상기 설명된 접근법과 유사하게, 텍스트 또는 그래픽스 오버레이 오브젝트는 동일한 정보를, 또는 예로서 인접한 뷰들 사이에서의 고정된 시차/디스패리티를 갖고, 무안경 입체영상 디스플레이 장치(301)의 모든 뷰들에 복사함으로써 효율적으로 렌더링될 수 있다.

이것은 예를 들면 오버레이 오브젝트를 생성하며 그것을 중심 뷰 버퍼에 저장하는 제 1 이미지 생성 유닛(503)에 의해 행해질 수 있다. 제 2 이미지 생성 유닛(505)은 그 후 이것을 다른 모든 뷰들에 복사할 수 있다. 도 11은 이러한 접근법을 예시한다.

몇몇 실시예들에서, 적응기(509)는 그에 따라 3차원 모델의 속성에 응답하여 다수의 이미지 블록들을 적응시키도록 배열될 수 있다. 속성은 예를 들면 모델 또는 모델의 프로세싱에서 사용된 파라미터의 속성을 평가함으로써 결정된 속성일 수 있다. 예를 들면, 속성은 예로서, 근접 및 원거리 클리핑 평면들(통상적으로 모델 기하학적 구조에 기초하여 생성되는)에 의해 표현된 바와 같은, 이미지 오브젝트들이 생성되는 오브젝트들에 대한 깊이일 수 있다. 또 다른 예로서, 다수의 이미지 블록들은 예를 들면, 오브젝트에 대한 텍스처의 속성과 같은, 3차원 모델의 오브젝트의 속성에 기초하여 적응될 수 있다. 텍스처가 고 콘트라스트 텍스처이면, 텍스처가 저 콘트라스트 텍스처인 경우보다 많은 이미지 블록들이 생성될 수 있다.

데이터를 다른 이미지 버퍼들로 복사하는 예는 단지 예이며 많은 다른 접근법들이 가능하다는 것이 이해될 것이다. 예를 들면, 모든 뷰 버퍼들로의 데이터의 명시적인 복사 대신에, 제 2 이미지 생성 유닛(505)은 직조 이미지를 생성할 수 있으며, 이러한 프로세스의 부분으로서 예로서 이미지 데이터가 특정 위치에 대해 저장되는 가장 가까운 뷰 버퍼로부터 데이터를 직접 획득할 수 있다. 유사하게, 설명된 복사 또는 보간은 잠재적으로 선택 마스크로서 깊이 버퍼를 사용하여, 다수의 상이하게 렌더링된 부분들로부터 직접 직조하는 것 또는 이러한 버퍼들에 대한 색인을 갖는 것과 같은 다른 함수들에 의해 교체되거나 또는 강화될 수 있다.

이전 설명은 상이한 공간 영역들(공간 세분들)이 픽셀 값들(각각의 블록은 뷰 방향에 대응한다)의 블록들에 의해 표현된 상이한 수의 뷰 방향들을 갖는 중간 이미지로부터 다수의 뷰 이미지들을 가진 출력 이미지를 생성하는 접근법을 예시하는 예들을 설명하여 왔다. 따라서, 프로세스는 출력 이미지의 2 스테이지 생성을 갖고 설명되었다. 첫 번째로, 상이한 뷰 방향들에 대응하는 픽셀 값들의 블록들을 포함하는 중간 이미지가 생성된다. 뿐만 아니라, 블록들의 수는 적어도 몇몇 영역들에서 상이하며, 즉 블록들의 수/표현된 뷰 방향들은 상이한 공간 세분들 사이에서 상이하다. 두 번째로, 출력 이미지는 그 후 중간 이미지의 픽셀 값 블록들(이미지 블록들)로부터 생성된다.

설명된 예들에서, 상이한 뷰 방향에 대응하는 블록들의 수는 정적이고/고정되고/미리 결정되지 않는다. 오히려, 적응기는 밑에 있는 장면의 표현 또는 중간 이미지의 속성에 기초하여 상이한 뷰 방향들의 수를 적응시킨다. 따라서, 예들은 이미지의 속성에 기초하여 개개의 영역에 대해 제공된 뷰 방향들의 수를 적응시키는 접근법을 설명한다.

추가 특정 예로서, 푸른 하늘 앞에 인간 얼굴 및 적색 공을 포함하는 이미지가 이미징될 수 있다. 이러한 이미지에 대해, 시스템은 하나는 얼굴에 대응하고 하나는 적색 볼에 대응하는, 두 개의 영역들을 정의할 수 있다. 적응기는 그 후 예로서, 영역들에서의 컬러들을 평가하며 상기 얼굴에 대응하는 영역이 대개 피부 컬러링될 수 있는 반면 적색 볼에 대응하는 영역은 근본적으로 적색임을 결정하기 위해 진행할 수 있다. 적응기는 그 후 얼굴 영역에 대해, 이미지 블록이 적절한 범위 내에서 매 5도들에 대해 생성된다(즉, 그것은 대개 피부 컬러링되는 영역들에 대해 5도 차이를 요구하는 알고리즘을 구현할 수 있다). 그러나, 볼 영역에 대해, 적응기는 단지 매 20도에 대해 생성될 이미지 블록을 선택할 수 있다(즉, 그것은 대개 적색(또는 아마도 일반적으로, 원색) 컬러링되는 영역들에 대해 5도 차이를 요구하는 알고리즘을 구현할 수 있다).

따라서, 말하자면 -20°내지 +20°의 범위가 커버될 것이라고 가정하면, 중간 이미지는 -20°, -15°, -10°, -5°, 0°, 5°, 10°, 15°, 및 20°의 얼굴 영역에 대한 및 -20°, 0°, 및 20°의 볼 영역에 대한 픽셀 값 블록들을 갖기 위해 생성될 수 있다. 따라서, 이미지의 특정 속성으로 인해, 하나의 영역은 가까운 뷰포인트 각도들을 가진 9개의 이미지 블록들에 의해 표현되는 반면 또 다른 영역은 큰 뷰잉 각 차이들을 가진 단지 3개의 이미지 블록들에 의해 표현된다.

시스템은 그 후 이러한 중간 이미지로부터 출력 이미지를 생성하도록 진행할 수 있다. 그러나, 프로세싱은 상이한 영역들에서 상이한 수의 블록들에 기초한다. 예를 들면, 시스템은 -10°의 뷰 방향에 대한 출력 뷰 이미지를 생성할 수 있다. 이 이미지에서, 제 2 이미지 생성 유닛은 얼굴 영역의 -10°블록들의 픽셀 값들을 선택함으로써 직접 얼굴에 대응하는 영역을 생성할 수 있다. 그러나, 볼 영역에 대해, 제 2 이미지 생성 유닛은 다른 뷰 방향들에 대응하는 블록들로부터의 픽셀 값들을 생성해야 한다. 예를 들면, 그것은 -20°및 0°에 대응하는 블록들 사이에서 보간할 수 있다.

매우 단순화한 예지만, 이것은 설명된 원리들이 어떻게 시스템으로 하여금 제 1 및 제 2 스테이지 프로세스들의 특정 특성들 사이에서의 트레이드-오프 및 (국소적) 이미지 속성 기반 적응화를 수행하도록 허용할 수 있는지를 보여준다.

이전에 설명된 접근법들의 원리들은 중간 이미지를 생성하거나 또는 중간 이미지로부터 출력 이미지를 생성하는 임의의 특정 방식에 의존하거나 또는 제한되지 않는다는 것이 이해될 것이다.

예를 들면, 이전에 설명된 바와 같이, 하나의 옵션은 입력 3차원 이미지에 기초하여 뷰 시프팅을 수행함으로써 중간 이미지를 생성하는 것이다. 실제로, 설명된 바와 같이, 시스템은 뷰 시프팅, 비-폐색, 픽셀 시프팅 등을 수행할 수 있다. 그러나, 이것은 단지 몇몇 실시예들의 예이며 접근법은 결코 이러한 특정 프로세스에 제한되거나 또는 의존적이지 않다. 실제로, 또 다른 예는 예로서, 텍스처 및 광원 정보를 포함한, 장면의 3차원 모델로부터 생성되는 중간 이미지이다.

이전 예들은 보간을 사용하며 가중 합산을 사용하여 특정적인 출력 이미지의 생성에 초점을 맞췄다. 보다 일반적으로, 제 2 이미지 생성기는, 예로서 이미지 블록들의 조합에 의해 출력 이미지를 생성할 수 있다. 그러나, 많은 다른 가능한 조합들이 가능하며 실제로 조합들을 수행하는 것은 필요하지 않다. 예를 들면, 제 2 이미지 생성기는 간단히 각각의 픽셀에 대해 가장 가까운 뷰 방향에 대해 생성되는 이미지 블록에서의 상기 위치에서의 픽셀의 픽셀 값을 선택함으로써 주어진 뷰 방향에 대한 이미지를 생성할 수 있다. 예를 들면, 상기 예에서, 얼굴 영역에 대한 픽셀들은 -10°의 각도에 대해 이미지 블록들에 대한 픽셀 값들로서 선택될 수 있으며 볼 영역에 대한 픽셀들은 -20°(또는 0°)의 각도에 대해 이미지 블록들에 대한 픽셀 값들로서 선택될 수 있다.

또한, 이전 예들과 일치하여, 제 1 이미지 생성 유닛에 의한 중간 이미지의 생성은 실제로 깊이 정보에 기초할 수 있다. 그러나, 다른 실시예들에서, 제 1 이미지 생성 유닛에 의한 중간 이미지의 생성은 깊이 정보에 기초하지 않을 수 있다. 예를 들면, 보외 및 보간 기반 렌더링의 사용은 중간 이미지의 이미지 블록들을 생성하기 위한 가능한 접근법들이다.

이전 예들은 깊이 기반 렌더링/알고리즘을 이용한 제 1 이미지 생성 유닛에 초점을 맞춘 반면 제 2 이미지 생성 유닛은 비-깊이 기반 렌더링을 이용한다. 이것은 많은 시나리오들에서 특히 유리한 접근법을 제공한다. 구체적으로, 많은 애플리케이션들에서, 제 1 이미지 생성 유닛은 비교적 높은 품질을 가진 이미지 블록들을 생성하기 위해 비교적 복잡하며 리소스 요구적 깊이 기반 알고리즘을 이용할 수 있는 반면 제 2 이미지 생성 유닛은 이미지 블록들로부터 뷰 이미지들을 생성하기 위해 비교적 낮은 복잡도 및 낮은 리소스 요구적이지만, 덜 정확한, 비-깊이 기반 알고리즘을 이용할 수 있다. 예로서, 제 1 이미지 생성 유닛은 중간 이미지의 이미지 블록들을 생성하기 위해 깊이 기반 뷰 합성 알고리즘을 사용할 수 있으며 제 2 이미지 생성 유닛은 간단히 보간할 수 있다(또는 심지어 단지 이것들로부터 선택할 수 있다). 이러한 경우들에서, 접근법은 제 1 스테이지 및 제 2 스테이지 사이에서의 트레이드-오프 및 공간적으로 다양한 적응화를 허용할 수 있다.

그러나, 다른 실시예들에서, 제 1 이미지 생성 유닛은 비-깊이 기반 알고리즘을 사용하여 고 품질 이미지 블록들을 생성하도록 배열될 수 있다. 예를 들면, 제 1 이미지 생성 유닛은 상이한 뷰 방향들에 대응하는 다수의 고 품질 캡처된 이미지들의 형태로 입력을 수신하도록 배열될 수 있다. 그것은 복잡한 공간 필터들을 이용하는 것에 기초하여 및 수신된 이미지들 중 여러 개에 기초하여 복잡한 보간을 이용함으로써 영역에 대한 요구된 이미지 블록들을 생성하도록 진행할 수 있다. 제 2 이미지 생성 유닛은 그 후 예로서, 간단한 보간에 의해 또는 가장 가까운 뷰 방향을 가진 이미지 블록들을 선택함으로써, 출력 이미지를 생성할 수 있다. 이러한 실시예에서, 적응기는 여전히, 상이한 영역들에서 표현된 이미지 뷰포인트들의 수를 적응시킴으로써, 상이한 스테이지들의 특성들 사이에서 트레이드-오프를 제공할 수 있다. 예를 들면, 그것은 보다 많은 리소스가 보다 중요하다고 고려되는 영역들에 할당되는 적응화를 허용할 수 있다(예로서, 적색 볼 영역에 대해서보다 얼굴 영역에 대해 더 많은 이미지 블록들을 생성하는 보다 많은 리소스가 사용될 것이다).

제 2 이미지 생성 유닛이 깊이 기반 프로세싱을 사용하는 것이 또한 실현 가능하다는 것이 또한 주의된다. 예를 들면, 상기 예에서, 중간 이미지는 높은 이미지 품질(예로서, 높은 분해능, 높은 컬러 깊이, 높은 동적 범위)을 갖고 생성될 수 있다. 제 2 이미지 생성 유닛은, 뷰 이미지들을 생성할 때, 깊이 정보를 고려할 수 있다. 예를 들면, 그것은 가장 가까운 뷰 방향을 가진 대응 이미지 블록으로부터 뷰 시프팅에 의해 뷰 이미지에 대한 픽셀을 생성할 수 있다. 이러한 뷰 시프팅은 예로서 입력 이미지를 제공받지만 제 1 이미지 생성 유닛에 의해 고려되지 않은 저 분해능 깊이 맵에 기초할 수 있다. 따라서, 이러한 실시예에서, 중간 이미지의 생성은 비-깊이 기반일 수 있는 반면 중간 이미지로부터의 출력 이미지의 생성은 깊이 기반일 수 있다. 이러한 접근법은 예를 들면 또한 증가된 리소스가 적절한 영역들(예로서, 얼굴 영역)에서 소비되도록 적응화를 허용할 수 있다.

제 1 이미지 생성 유닛에 의해 사용된 알고리즘은 제 2 이미지 생성 유닛에 의해 사용된 알고리즘보다 더 복잡하고, 품질이 더 높거나 또는 더 리소스 요구적이라는 것이 필요하지 않다는 것이 또한 주의된다. 이러한 실시예들이 많은 시나리오들에서 특히 유리한 구현을 제공할 수 있지만, 접근법은 또한 이것이 그 경우가 아닌 실시예들에서 적용될 수 있다. 예로서, 접근법은 전체 지각된 이미지 품질이 특히 중요하다고 고려된 구역들에 리소스를 집중시킴으로써 개선되는 적응화를 여전히 허용할 수 있다.

명료함을 위한 상기 설명은 상이한 기능 회로들, 유닛들 및 프로세서들을 참조하여 본 발명의 실시예들을 설명하였다는 것이 이해될 것이다. 그러나, 상이한 기능 회로들, 유닛들 또는 프로세서들 사이에서의 기능의 임의의 적절한 분포는 본 발명으로부터 벗어나지 않고 사용될 수 있다는 것이 명백할 것이다. 예를 들면, 별개의 프로세서들 또는 제어기들에 의해 수행되는 것으로 예시된 기능은 동일한 프로세서 또는 제어기들에 의해 수행될 수 있다. 그러므로, 특정 기능 유닛들 또는 회로들에 대한 참조들은 단지 엄격한 논리적 또는 물리적 구조 또는 조직을 표시하기보다는 설명된 기능을 제공하기 위한 적절한 수단에 대한 참조들로서 보여질 것이다.

본 발명은 하드웨어, 소프트웨어, 펌웨어 또는 이것들의 임의의 조합을 포함한 임의의 적절한 형태로 구현될 수 있다. 본 발명은 선택적으로 하나 이상의 데이터 프로세서들 및/또는 디지털 신호 프로세서들 상에서 실행하는 컴퓨터 소프트웨어로서 적어도 부분적으로 구현될 수 있다. 본 발명의 실시예의 요소들 및 구성요소들은 임의의 적절한 방식으로 물리적으로, 기능적으로 및 논리적으로 구현될 수 있다. 실제로, 기능은 단일 유닛에, 복수의 유닛들에 또는 다른 기능 유닛들의 부분으로서 구현될 수 있다. 이와 같이, 본 발명은 단일 유닛에 구현될 수 있거나 또는 상이한 유닛들, 회로들 및 프로세서들 사이에서 물리적으로 및 기능적으로 분포될 수 있다.

본 발명은 몇몇 실시예들과 관련하여 설명되었지만, 그것은 여기에 제시된 특정 형태에 제한되도록 의도되지 않는다. 오히려, 본 발명의 범위는 단지 첨부된 청구항들에 의해서만 제한된다. 부가적으로, 특징이 특정한 실시예들과 관련되어 설명되는 것처럼 나타날 수 있지만, 이 기술분야의 숙련자는 설명된 실시예들의 다양한 특징들이 본 발명에 따라 조합될 수 있다는 것을 인식할 것이다. 청구항들에서, 용어(포함하는)는 다른 요소들 또는 단계들의 존재를 배제하지 않는다.

더욱이, 개별적으로 열거되었지만, 복수의 수단들, 요소들, 회로들 또는 방법 단계들이 예로서, 단일 회로, 유닛 또는 프로세서에 의해 구현될 수 있다. 부가적으로, 개개의 특징들이 상이한 청구항들에 포함될 수 있지만, 이것들은 가능하게는 유리하게 조합될 수 있으며, 상이한 청구항들에서의 포함은 특징들의 조합이 실현 가능하고 및/또는 유리하지 않다는 것을 내포하지 않는다. 또한 청구항들의 일 카테고리에서의 특징의 포함은 이러한 카테고리의 제한을 내포하지 않으며 오히려 특징이 적절하다면 다른 청구항 카테고리들에 동일하게 적용 가능하다는 것을 나타낸다. 더욱이, 청구항들에서 특징들의 순서는 특징들이 작용되어야 하는 임의의 특정 순서를 내포하지 않으며 특히 방법 청구항에서 개개의 단계들의 순서는 단계들이 이러한 순서로 수행되어야 함을 내포하지 않는다. 오히려, 단계들은 임의의 적절한 순서로 수행될 수 있다. 또한, 단수형 참조들은 복수를 배제하지 않는다. 따라서, "a", "an", "제 1", "제 2" 등에 대한 참조들은 복수를 배제하지 않는다. 청구항들에서의 참조 부호들은 단지 명확한 예가 임의의 방식으로 청구항들의 범위를 제한하는 것으로서 해석되지 않아야 하기 때문에 제공된다.

301: 무안경 입체영상 디스플레이 장치 303: 디스플레이 패널
305: 디스플레이 서브-픽셀 307: 광원
309: 뷰 형성 광학 요소 311: 렌티큘러 렌즈
501: 디스플레이 구동기 503: 제 1 이미지 생성 유닛
505: 제 2 이미지 생성 유닛 507: 구동기
509: 적응기 701: 제 1 오브젝트
703: 제 2 오브젝트

Claims (15)

1. 출력 3차원 이미지를 생성하기 위한 장치에 있어서,
   중간 3차원 이미지를 생성하기 위한 제 1 이미지 생성 유닛(503)으로서, 상기 중간 3차원 이미지(503)는 상기 중간 3차원 이미지(503)의 공간 세분들인 복수의 영역들을 포함하며 상기 제 1 이미지 생성 유닛(503)은 상기 복수의 영역들에 대한 픽셀 값들의 다수의 이미지 블록들을 생성하도록 배열되고, 상기 다수의 이미지 블록들은 상기 복수의 영역들 중 적어도 두 개의 영역들에 대해 상이하며 각각의 이미지 블록은 뷰 방향에 대응하는 픽셀들의 그룹에 대한 픽셀 값들을 포함하는, 상기 제 1 이미지 생성 유닛(503);
   상기 중간 3차원 이미지로부터 다수의 뷰 이미지들을 포함한 상기 출력 3차원 이미지를 생성하기 위한 제 2 이미지 생성 유닛(505)으로서, 상기 다수의 뷰 이미지들의 각각은 뷰 방향에 대응하는, 상기 제 2 이미지 생성 유닛(505);
   상기 중간 3차원 이미지 및 상기 제 1 이미지 생성 유닛(503)이 상기 중간 3차원 이미지를 생성하도록 배열되는 3차원 장면의 표현 중 적어도 하나의 속성에 응답하여 상기 복수의 영역들 중 적어도 제 1 영역에 대한 상이한 뷰잉 방향들을 가진 다수의 이미지 블록들을 적응시키기 위한 적응기(509)를 포함하는, 출력 3차원 이미지를 생성하기 위한 장치.
2. 제 1 항에 있어서,
   상기 속성은 콘트라스트 측정치인, 출력 3차원 이미지를 생성하기 위한 장치.
3. 제 1 항에 있어서,
   상기 속성은 콘트라스트 측정치인, 출력 3차원 이미지를 생성하기 위한 장치.
4. 제 1 항에 있어서,
   상기 적응기(509)는 또한 상기 제 1 이미지 생성 유닛(501)에 대한 계산 리소스 가용성에 응답하여 상기 제 1 영역에 대한 상기 다수의 이미지 블록들을 결정하도록 배열되는, 출력 3차원 이미지를 생성하기 위한 장치.
5. 제 1 항에 있어서,
   상기 복수의 영역들은 적어도 하나의 픽셀 로우에 의해 형성된 영역들을 포함하는, 출력 3차원 이미지를 생성하기 위한 장치.
6. 제 1 항에 있어서,
   상기 복수의 영역들 중 적어도 하나의 영역은 단지 픽셀 로우의 픽셀들의 서브세트만을 포함하는, 출력 3차원 이미지를 생성하기 위한 장치.
7. 제 1 항에 있어서,
   상기 제 1 이미지 생성 유닛(503)은 제 1 수의 뷰잉 방향들에 대해 상기 복수의 영역들의 모든 영역들에 대한 이미지 블록들을 생성하도록 배열되며, 상기 적응기(509)는 그 다음에 상기 제 1 수의 뷰잉 각들에 대한 각각의 영역의 상기 이미지 블록들 사이에서의 디스패리티들에 응답하여 적어도 하나의 부가적인 뷰 방향에 대한 이미지 블록들을 생성하기 위한 상기 복수의 영역들의 영역들의 서브세트를 선택하도록 배열되는, 출력 3차원 이미지를 생성하기 위한 장치.
8. 제 1 항에 있어서,
   상기 적응기(509)는 임계치를 초과하는 디스패리티 측정치에 응답하여 적어도 하나의 부가적인 뷰잉 각에 대한 이미지 블록을 생성하기 위한 영역을 선택하도록 배열되며, 상기 디스패리티 측정치는 상기 부가적인 뷰잉 각에 인접한 두 개의 뷰잉 각들에 대해 두 개의 이미지 블록들에 대한 디스패리티의 측정치인, 출력 3차원 이미지를 생성하기 위한 장치.
9. 제 1 항에 있어서,
   상기 적응기(509)는 깊이 측정치가 임계치 미만인 영역들의 서브세트를 결정하도록, 및 상기 서브세트의 각각의 영역에서의 상기 다수의 이미지 블록들을 1로 설정하도록 배열되는, 출력 3차원 이미지를 생성하기 위한 장치.
10. 제 1 항에 있어서,
    상기 속성은 시각적 속성인, 출력 3차원 이미지를 생성하기 위한 장치.
11. 제 1 항에 있어서,
    상기 속성은 밝기 속성 및 컬러 속성 중 적어도 하나를 나타내는, 출력 3차원 이미지를 생성하기 위한 장치.
12. 제 1 항에 있어서,
    상기 제 1 이미지 생성 유닛(503)은 3차원 장면의 3차원 모델에 기초하여 상기 중간 3차원 이미지를 생성하도록 배열되며;
    상기 적응기(509)는 상기 3차원 모델의 속성에 응답하여 상기 다수의 이미지 블록들을 적응시키도록 배열되는, 출력 3차원 이미지를 생성하기 위한 장치.
13. 무안경 입체영상 3차원 디스플레이에 있어서,
    중간 3차원 이미지를 생성하기 위한 제 1 이미지 생성 유닛(503)으로서, 상기 중간 3차원 이미지(503)는 상기 중간 3차원 이미지(503)의 공간 세분들인 복수의 영역들을 포함하며 상기 제 1 이미지 생성 유닛(503)은 상기 복수의 영역들에 대한 픽셀 값들의 다수의 이미지 블록들을 생성하도록 배열되고, 상기 다수의 이미지 블록들은 상기 복수의 영역들 중 적어도 두 개의 영역들에 대해 상이하며 각각의 이미지 블록은 뷰 방향에 대응하는 픽셀들의 그룹에 대한 픽셀 값들을 포함하는, 상기 제 1 이미지 생성 유닛(503);
    상기 중간 3차원 이미지로부터 다수의 뷰 이미지들을 포함한 상기 출력 3차원 이미지를 생성하기 위한 제 2 이미지 생성 유닛(505)으로서, 상기 다수의 뷰 이미지들의 각각은 뷰 방향에 대응하는, 상기 제 2 이미지 생성 유닛(505);
    3차원 이미지들을 디스플레이하기 위한 디스플레이 장치(301);
    상기 출력 3차원 이미지들 디스플레이하도록 상기 디스플레이 장치(301)를 구동하기 위한 디스플레이 구동기(507); 및
    상기 중간 3차원 이미지 및 상기 제 1 이미지 생성 유닛(503)에 대한 3차원 입력 이미지 중 적어도 하나의 속성에 응답하여 상기 복수의 영역들 중 적어도 제 1 영역에 대한 상이한 뷰잉 방향들을 가진 다수의 이미지 블록들을 적응시키기 위한 적응기(509)를 포함하는, 무안경 입체영상 3차원 디스플레이.
14. 출력 3차원 이미지를 생성하는 방법에 있어서,
    복수의 영역들에 대한 픽셀 값들의 다수의 이미지 블록들을 생성함으로써 중간 3차원 이미지(503)의 공간 세분들인 상기 복수의 영역들을 포함한 상기 중간 3차원 이미지를 생성하는 단계로서, 상기 다수의 이미지 블록들은 상기 복수의 영역들 중 적어도 두 개의 영역들에 대해 상이하며 각각의 이미지 블록은 뷰 방향에 대응하는 픽셀들의 그룹에 대한 픽셀 값들을 포함하는, 상기 중간 3차원 이미지 생성 단계;
    상기 중간 3차원 이미지로부터의 다수의 뷰 이미지들을 포함한 상기 출력 3차원 이미지를 생성하는 단계로서, 상기 다수의 뷰 이미지들의 각각은 뷰 방향에 대응하는, 상기 출력 3차원 이미지 생성 단계;
    상기 중간 3차원 이미지 및 상기 중간 3차원 이미지를 생성하기 위해 사용된 3차원 입력 이미지 중 적어도 하나의 속성에 응답하여 상기 복수의 영역들 중 적어도 제 1 영역에 대한 상이한 뷰잉 방향들을 가진 다수의 이미지 블록들을 적응시키는 단계를 포함하는, 출력 3차원 이미지를 생성하는 방법.
15. 컴퓨터 프로그램 제품에 있어서,
    상기 프로그램이 컴퓨터상에서 구동될 때 제 14 항의 단계들 모두를 수행하도록 적응된 컴퓨터 프로그램 코드 수단을 포함하는, 컴퓨터 프로그램 제품.

Images