KR20120004586A - 디지털 방송 수신기 및 디지털 방송 수신기에서 3ｄ 효과 제공 방법 - Google Patents

디지털 방송 수신기 및 디지털 방송 수신기에서 3ｄ 효과 제공 방법 Download PDF

Info

Publication number
KR20120004586A
KR20120004586A KR1020100065149A KR20100065149A KR20120004586A KR 20120004586 A KR20120004586 A KR 20120004586A KR 1020100065149 A KR1020100065149 A KR 1020100065149A KR 20100065149 A KR20100065149 A KR 20100065149A KR 20120004586 A KR20120004586 A KR 20120004586A
Authority
KR
South Korea
Prior art keywords
configuration information
image
application
image data
digital broadcast
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020100065149A
Other languages
English (en)
Other versions
KR101742993B1 (ko
Inventor
은진화
박석원
신병선
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020100065149A priority Critical patent/KR101742993B1/ko
Publication of KR20120004586A publication Critical patent/KR20120004586A/ko
Application granted granted Critical
Publication of KR101742993B1 publication Critical patent/KR101742993B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from three-dimensional [3D] object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from three-dimensional [3D] object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N2013/40—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene
    • H04N2013/405—Privacy aspects, i.e. devices showing different images to different viewers, the images not being viewpoints of the same scene the images being stereoscopic or three dimensional

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 디지털 방송 수신기 및 디지털 방송 수신기에서 3D 효과 제공 방법에 관한 것으로, 본 발명에 따라 디지털 방송 수신기에서 3D 오브젝트(3-Dimensional Object)가 포함된 애플리케이션(application)에 3D 효과를 제공하는 방법의 일 예는, 상기 애플리케이션으로부터 하나 또는 그 이상의 3D 오브젝트와 상기 3D 오브젝트에 대한 구성정보(제1 구성정보)를 추출하는 단계; 사용자로부터 상기 추출된 3D 오브젝트에 대한 구성정보(제2 구성정보)를 입력받는 단계; 상기 제1 구성정보에 기초하여 상기 제2 구성정보에 따라 카메라 앵글(camera angle)과 적어도 둘 이상의 뷰 포트(view port)를 설정하는 단계; 상기 각 뷰 포트를 통해 설정된 카메라 앵글로 3D 오브젝트에 대한 이미지를 생성하는 단계; 및 생성된 각 이미지들을 3D 포맷으로 렌더링(rendering)하는 단계;를 포함한다. 이때, 상기 제2 구성정보는, 상기 3D 오브젝트의 촬영을 위한 카메라의 앵글 제어 정보를 포함할 수 있다. 그리고 상기 제2 구성정보는, 상기 카메라와 3D 오브젝트 사이의 거리 제어 정보, 상기 3D 오브젝트에 대한 크기 제어 정보와, 상기 3D 오브젝트의 해상도 제어 정보 중 적어도 하나 이상을 더 포함할 수 있다.

Description

디지털 방송 수신기 및 디지털 방송 수신기에서 3Ｄ 효과 제공 방법{A DIGITAL BROADCAST RECEIVER AND A METHOD FOR PROCESSING A 3-DIMENSIONAL EFFECT IN THE DIGITAL BROADCAST RECEIVER}
본 발명은 디지털 방송 수신기 및 디지털 방송 수신기에서 3D 효과 제공 방법에 관한 것으로, 더욱 상세하게는 일반 3D(dimensional) 컨텐츠를 별도의 장치 없이 영상 처리 장치의 플랫폼 내에서 3D 효과가 제공되도록 포맷으로 처리하는 방법 및 장치에 관한 것이다.
아날로그 TV에서 디지털 TV로의 전환이라는 큰 변혁이 이루어지고 있는 상황에서 최근에는 새롭게 3DTV가 대두되고 있다.
일반적으로 방송 컨텐츠는 평면적인 2D(dimensional) 컨텐츠가 주류를 이루고 있었다. 다만, 최근 헐리우드의 3D 영화가 전세계적으로 큰 반향을 일으키면서 종래 2D 컨테츠에 비해 보다 실재감있고 입체감을 주는 3D 컨텐츠에 대한 관심이 증폭되고 있다.
다만, 최근 3DTV의 출시가 이루어지고는 있으나, 3D 방송에 대한 표준화 작업이 이루어지지 않았고, 현실적으로 2D 컨텐츠에 비해 3D 컨텐츠의 경우 비용의 측면이나 시간의 측면에서 애로사항이 있어, 3D 컨텐츠가 절대적으로 부족한 것이 현실이다.
본 발명에서는 상술한 환경에서 일반 3D 컨텐츠에 대한 3D 효과를 극대화할 수 있는 방법 및 장치를 제공하는 데 있다.
본 발명은 디지털 방송 수신기 및 디지털 방송 수신기에서 3D 효과 제공 방법에 관한 것으로, 본 발명에 따라 디지털 방송 수신기에서 3D 오브젝트(3-Dimensional Object)가 포함된 애플리케이션(application)에 3D 효과를 제공하는 방법의 일 예는, 상기 애플리케이션으로부터 하나 또는 그 이상의 3D 오브젝트와 상기 3D 오브젝트에 대한 구성정보(제1 구성정보)를 추출하는 단계; 사용자로부터 상기 추출된 3D 오브젝트에 대한 구성정보(제2 구성정보)를 입력받는 단계; 상기 제1 구성정보에 기초하여 상기 제2 구성정보에 따라 카메라 앵글(camera angle)과 적어도 둘 이상의 뷰 포트(view port)를 설정하는 단계; 상기 각 뷰 포트를 통해 설정된 카메라 앵글로 3D 오브젝트에 대한 이미지를 생성하는 단계; 및 생성된 각 이미지들을 3D 포맷으로 렌더링(rendering)하는 단계;를 포함한다.
이때, 상기 제2 구성정보는, 상기 3D 오브젝트의 촬영을 위한 카메라의 앵글 제어 정보를 포함할 수 있다.
그리고 상기 제2 구성정보는, 상기 카메라와 3D 오브젝트 사이의 거리 제어 정보, 상기 3D 오브젝트에 대한 크기 제어 정보와, 상기 3D 오브젝트의 해상도 제어 정보 중 적어도 하나 이상을 더 포함할 수 있다.
또한, 상기 3D 모드에는, 스테레오스코픽(stereoscopic) 모드와 다시점 영상(multi-view image) 모드 중 적어도 하나일 수 있다.
그리고 렌더링 된 각 이미지로부터 3D 포맷의 프레임(frame)을 생성하는 단계;와 생성된 프레임을 믹싱(mixing)하는 단계;와 믹싱된 각 프레임을 디스플레이 주파수(display frequency)에 따라 출력하는 단계;를 더 포함할 수 있다.
본 발명에 따라 디지털 방송 수신기에서 3D 오브젝트가 포함된 애플리케이션에 3D 효과를 제공하는 방법의 다른 예는, 애플리케이션으로부터 하나 또는 그 이상의 3D 오브젝트와 상기 3D 오브젝트에 대한 구성정보(제1 구성정보)를 추출하는 단계; 사용자로부터 상기 추출된 3D 오브젝트에 대한 구성정보(제2 구성정보)를 입력받는 단계; 상기 제1 구성정보에 기초하여 상기 제2 구성정보에 따라 카메라 앵글과 좌안 뷰 포트(left view port)와 우안 뷰 포트(right view port)를 설정하는 단계; 상기 각 뷰 포트를 통해 설정된 카메라 앵글로 3D 오브젝트에 대한 좌영상 데이터(left image data)와 우영상 데이터(right image data)를 생성하는 단계; 및 생성된 좌영상 데이터와 우영상 데이터를 렌더링하는 단계;를 포함한다.
본 발명에 따른 3D 오브젝트가 포함된 애플리케이션에 3D 효과를 제공하는 디지털 방송 수신기의 일 예는, 상기 애플리케이션을 수신하는 기본 처리부; 상기 애플리케이션을 호출하고, 호출된 애플리케이션으로부터 하나 또는 그 이상의 3D 오브젝트와 상기 3D 오브젝트에 대한 구성정보(제1 구성정보)를 추출하고, 추출된 제1 구성정보에 기초하여 사용자로부터 입력된 상기 3D 오브젝트에 대한 구성정보(제2 구성정보)에 따라 상기 3D 오브젝트에 대한 카메라 앵글과 적어도 둘 이상 뷰 포트를 설정하고, 상기 각 뷰 포트를 통해 설정된 카메라 앵글로 3D 오브젝트에 대한 이미지를 생성하고 렌더링하는 제어부; 렌더링 된 3D 오브젝트에 대한 이미지를 디스플레이 주파수에 따라 3D 포맷으로 재구성하는 출력 포맷터; 및 재구성된 3D 오브젝트의 이미지를 포함한 애플리케이션을 출력하는 디스플레이 모듈;을 포함한다.
이때, 상기 디지털 방송 수신기는, 사용자로부터 상기 제2 구성정보를 입력받기 위한 UI를 출력하도록 제어하는 UI 제어부;와 상기 UI를 통해 사용자의 설정을 입력받는 외부 입력 수신부;를 더 포함할 수 있다.
그리고 상기 제2 구성정보는, 상기 3D 오브젝트의 촬영을 위한 카메라의 앵글 제어 정보를 포함할 수 있다.
또한, 상기 제2 구성정보는, 상기 카메라와 3D 오브젝트 사이의 거리 제어 정보, 상기 3D 오브젝트에 대한 크기 제어 정보와, 상기 3D 오브젝트의 해상도 제어 정보 중 적어도 하나 이상을 더 포함할 수 있다.
그리고 상기 제어부는, 상기 선택된 모드에 따라 기설정된 카메라 앵글과 적어도 둘 이상의 뷰 포트를 상기 구성 정보에 따라 설정할 수 있다.
또한, 상기 3D 포맷에는, 스테레오스코픽과 다시점 영상 포맷 중 적어도 하나가 포함될 수 있다.
그리고 상기 디지털 방송 수신기는, 렌더링 된 각 이미지로부터 3D 포맷의 프레임을 생성하고, 생성된 각 프레임을 믹싱하는 믹싱부;를 더 포함할 수 있다.
본 발명에 따른 3D 오브젝트가 포함된 애플리케이션에 3D 효과를 제공하는 디지털 방송 수신기의 다른 예는, 상기 애플리케이션을 수신하는 기본 처리부; 상기 애플리케이션을 호출하고, 호출된 애플리케이션으로부터 하나 또는 그 이상의 3D 오브젝트와 상기 3D 오브젝트에 대한 구성정보(제1 구성정보)를 추출하고, 추출된 제1 구성정보에 기초하여 사용자로부터 입력된 상기 3D 오브젝트에 대한 구성정보(제2 구성정보)에 따라 상기 3D 오브젝트에 대한 카메라 앵글과 좌안 뷰 포트와 우안 뷰 포트를 설정하고, 상기 각 뷰 포트를 통해 설정된 카메라 앵글로 3D 오브젝트에 대한 좌영상 데이터와 우영상 데이터를 생성하고 렌더링하는 제어부; 렌더링된 좌영상 데이터와 우영상 데이터를 디스플레이 주파수에 따라 3D 포맷으로 재구성하는 출력 포맷터; 및 재구성된 좌영상 데이터와 우영상 데이터를 포함한 애플리케이션을 출력하는 디스플레이 모듈;을 포함한다.
본 발명에 따르면,
첫째, 일반 3D 컨텐츠에 대한 3D 효과를 극대화할 수 있는 효과가 있다.
둘째, 사용자별로 일반 3D 컨텐츠에 대한 3D 효과의 정도를 제어할 수 있도록 하여 사용자의 요구를 만족시키고 사용자의 편의성을 극대화할 수 있는 효과가 있다.
셋째, 일반 3D 컨텐츠에 대한 3D 효과 부과를 위해 별도의 장비를 구비하지 않고도 TV 플랫폼 내에서 간단하게 처리할 수 있는 효과가 있다.
도 1은 3D 원리와 관련하여, 좌영상 데이터와 우영상 데이터의 시차에 따라 사용자의 입체감을 느낄 수 있는 원근감을 설명하기 위해 도시한 것,
도 2는 싱글 비디오 스트림 포맷의 스테레오스코픽 이미지 멀티플렉싱 포맷을 도시한 도면,
도 3은 멀티 비디오 스트림 포맷의 스테레오스코픽 이미지 멀티플렉싱 포맷을 도시한 도면,
도 4는 본 발명에 따른 영상 처리 장치를 설명하기 위한 구성 블록도의 일 예,
도 5는 본 발명에 따라 모노 아이(Mono Eye)와 스테레오 뷰 포트(Stereo View Port)가 어떻게 나뉘는지 설명하기 위한 개념도,
도 6은 본 발명에 따라 3D 오브젝트를 포함한 애플리케이션이 호출된 경우에 3D 플랫폼의 동작 플로우를 설명하기 위해 도시한 순서도,
도 7과 8은 본 발명의 사용 시나리오의 일 예를 도시한 것,
도 9는 본 발명에 따라 사용자 구성 정보를 입력하기 위한 UI의 일 예를 도시한 것, 그리고
도 10은 본 발명에 따라 3D 출력 포맷을 선택받기 위한 UI의 일 예를 도시한 것이다.
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시 예들의 상세한 설명을 통해 설명되지만, 본 발명의 권리범위는 후술하는 실시예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
이하, 상기 목적이 구체적으로 실현될 수 있는 본 발명의 바람직한 실시 예가 첨부된 도면을 참조하여 설명된다.
이하 본 명세서에서 “애플리케이션”은, 적어도 하나 이상의 3D 오브젝트(object)를 포함한 데이터의 일 예로, 콘솔(console)이나 PC 등에서 처리되는 애플리케이션과 구분하여 영상 신호 처리 장치의 플랫폼(platform) 내에서 처리되는 애플리케이션을 의미한다. 이러한 애플리케이션에는 3D 컨텐츠와 함께 제공되는 3D 오브젝트가 포함된 UI(User Interface)도 포함된다.
본 발명은 디지털 방송 수신기 및 디지털 방송 수신기에서 3D 효과 제공 방법에 관한 것으로, 이하 본 명세서에서는 3D 오브젝트가 포함된 데이터를 TV 플래폼 내에서 3D 오브젝트에 대한 제어만으로 3D 컨텐츠 출력시와 동일 또는 유사한 효과를 제공하는 입체 영상 처리 방법 및 장치에 대해 설명하고자 한다. 이하 본 발명의 이해를 돕고 출원인의 설명의 편의를 위해 상기 3D 오브젝트가 포함된 데이터를 3D 오브젝트가 포함된 애플리케이션 또는 애플리케이션으로 지칭하여 설명한다.
3D 개념 및 포맷
우선 3D의 기본 원리 및 그 포맷에 대해 간략하게 설명하면, 다음과 같다.
일반적으로 3D 영상(또는 입체 영상)은, 인간의 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안이 각각 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.
일반적으로 3D 영상(또는 입체 영상)은, 인간의 두 눈의 스테레오(stereo) 시각 원리를 이용하여 입체감을 제공한다. 인간은 두 눈의 시차, 다시 말해 약 65mm 정도 떨어진 두 눈 사이의 간격에 의한 양안 시차(binocular parallax)를 통해 원근감을 느끼므로, 3D 영상은 좌안과 우안이 각각 연관된 평면 영상을 보도록 영상을 제공하여 입체감과 원근감을 제공할 수 있다.
도 1은 3D 원리와 관련하여, 좌영상 데이터와 우영상 데이터의 시차에 따라 사용자의 입체감을 느낄 수 있는 원근감을 설명하기 위해 도시한 것이다.
도 1(a)는 우영상 데이터(101)와 좌영상 데이터(102)의 시차가 좁은 경우에 상기 양 데이터의 결합에 의해 맺히는 상의 위치(103)를 설명한다. 이에 반해, 도 1(b)는 우영상 데이터(111)와 좌영상 데이터(112)의 시차가 상대적으로 도 1(a)에 비해 넓은 경우에 상기 양 데이터의 결합에 의해 맺히는 상의 위치(113)를 설명한다. 도 1(a) 내지 1(b)를 참조하면, 좌/우 영상 데이터의 시차에 따라 좌안 및 우안으로부터 서로 다른 위치(또는 거리)에서 상이 맺히고, 이러한 상의 위치에 따라 사람의 눈은 원근감의 정도를 느낄 수가 있다.
도 1(a)에서, 상(103)은 우안으로 우영상 데이터(101)의 일측과 다른 측을 바라보는 연장선(R1,R2)을 그리고, 좌안으로 좌영상 데이터(102)에 대해 동일한 방식으로 연장선(L1,L2)을 그릴 때, 상기 우영상 데이터에 대한 연장선(R1)과 좌영상 데이터에 대한 연장선(L1)이 우안 및 좌안으로부터 일정 거리(d1)에서 교차되는 지점에 맺힌다. 도 1(b)에서, 상(113)은 도 1(a)를 참조하면, 우영상 데이터에 대한 연장선(R3)과 좌영상 데이터에 대한 연장선(L3)이 우안 및 좌안으로부터 일정 거리(d2)에서 교차되는 지점에서 맺힌다. 여기서, 양안으로부터 상이 맺힌 위치(103,113)까지의 거리를 나타내는 d1(도 1(a))과 d2(도 1(b))를 비교하면, 상기 d1이 d2보다 양안으로부터의 거리가 더 멀다. 즉, 도 1(a)에서의 상이 도 1(b)에서의 상보다 양안으로부터 더 먼 거리에서 맺힌다.
이는 좌/우영상 데이터의 간격(도면을 기준으로 횡 방향)에서 기인한다. 예를 들면, 도 1(a)에서의 우/좌영상 데이터(101/102)의 간격은, 도 1(b)에서의 우/좌영상 데이터(103/104)의 간격에 비하여 상대적으로 좁다. 그러므로, 도 1(a) 및 1(b)를 참조하면, 각 영상 데이터의 간격이 좁을수록 좌/우영상 데이터의 결합에 의해 맺히는 상은, 상대적으로 사람의 눈으로부터 먼 거리에서 형성되어 멀게 느껴진다.
본 발명과 관련하여, 3D 영상 표현 방법은, 2 개의 시점을 고려하는 스테레오스코픽 영상 방식과 3 개 이상의 시점을 고려하는 다시점 영상(multiple view image) 방식이 있다. 이에 비해 종래의 싱글 뷰 이미지(single view image) 방식은 모노스코픽 영상 방식이라 지칭된다.
스테레오스코픽 영상 방식은, 일정한 거리로 이격되어 있는 좌측 카메라와 우측 카메라로 동일한 피사체를 촬영하여 획득한 좌우 한 쌍의 영상을 사용한다. 다시점 영상은 일정한 거리나 각도를 갖는 3 개 이상의 카메라에서 촬영하여 획득한 3 개 이상의 영상을 사용한다.
스테레오스코픽 영상 또는 다시점 영상은 MPEG(Moving Picture Experts Group)을 포함하여 여러 가지 방법으로 압축 부호화되어 전송될 수 있다. 예를 들어, 스테레오 영상 또는 다시점 영상은 H.264/AVC(Advanced Video Coding) 방식으로 압축 부호화되어 전송될 수 있다. 이때, 디지털 방송 수신기는, H.264/AVC 코딩 방식의 역으로 수신되는 영상을 복호하여 3D 영상을 얻을 수 있다. 또한, 스테레오스코픽 영상의 좌영상 데이터와 우영상 데이터 중 하나 또는 다시점 영상 중 하나의 영상을 기본 계층(base layer) 영상으로, 나머지 영상은 확장 계층(extended layer or enhanced layer) 영상으로 할당하고, 기본 계층의 영상은 모노스코픽(mono-scopic) 영상과 동일한 방식으로 부호화하고, 확장 계층의 영상은 기본 계층과 확장 계층의 영상간의 관계 정보에 대해서만 부호화하여 전송할 수 있다. 여기서, 기본 계층 영상에 대한 압축 부호화 방식의 예로 JPEG(Joint Photographic Experts Group), MPEG-2, MPEG-4, H.264/AVC 방식 등이 사용될 수 있다. 또한, 상위 계층의 영상에 대한 압축 부호화 방식은 H.264/MVC(Multi-view Video Coding) 방식이 사용될 수 있다. 본 명세서에서 상술한 압축 부호화 방식은 일 예로 든 것으로, 그 밖에 다른 압축 부호화 방식이 이용될 수 있음은 자명하다.
또한, 스테레오스코픽 영상의 전송 포맷에는, 싱글 비디오 스트림 포맷(single video stream format)과 멀티 비디오 스트림 포맷(multi video stream format)이 있다. 상기 싱글 비디오 스트림 포맷은 2 시점의 비디오 데이터를 하나의 비디오 스트림에 멀티플렉싱(multiplexing)하여 전송하는 방식으로, 하나의 비디오 스트림에 비디오 데이터를 전송하므로 3D 방송 서비스를 제공함에 있어서 추가로 요구되는 대역폭(bandwidth)이 크지 않은 이점 이 있다. 상기 멀티 비디오 스트림 포맷은 복수의 비디오 데이터를 복수의 비디오 스트림으로 전송하는 방식으로, 대역폭은 증가하나 고용량의 데이터 전송이 가능하여 고화질의 비디오 데이터를 디스플레이할 수 있는 이점이 있다.
도 2는 싱글 비디오 스트림 포맷의 스테레오스코픽 이미지 멀티플렉싱 포맷을 도시한 도면이다.
싱글 비디오 스트림 포맷에는, (a)의 사이드바이사이드(side-by-side), (b)의 탑/바텀(top/bottom), (c)의 인터레이스드(interlaced), (d)의 프레임 시퀀셜(frame sequential), (e)의 체커 보드(checker board), (f)의 애너글리프(anaglyph) 등이 있다.
(a)의 사이드바이사이드 포맷은, 좌영상과 우영상을 각각 수평방향으로 1/2 다운샘플링(down-sampling)하고, 샘플링된 하나의 영상을 좌측에, 샘플링된 나머지 하나의 영상을 우측에 위치시켜 하나의 스테레오스코픽 영상을 구성한다. (b)의 탑/바텀 포맷은, 좌영상과 우영상을 각각 수직방향으로 1/2 다운샘플링하고, 샘플링된 하나의 영상을 상부에, 샘플링된 나머지 하나의 영상을 하부에 위치시켜 하나의 스테레오스코픽 영상을 구성한다. (c)의 인터레이스드 포맷은, 좌영상과 우영상을 각각 수평방향으로 라인마다 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성하거나, 좌영상과 우영상을 각각 수직방향으로 라인마다 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성한다. (d)의 프레임 시퀀셜 포맷은, 하나의 비디오 스트림에 좌영상과 우영상을 시간적으로 교차하여 구성한다. (e)의 체커보드 포맷은, 좌영상과 우영상을 각각 수직 및 수평방향으로 교차하도록 1/2 다운샘플링하여 두 영상을 하나의 영상으로 구성한다. (f)의 애너글리프 포맷은, 보색 대비를 이용하여 입체 효과를 내도록 영상을 구성한다.
도 3은 멀티 비디오 스트림 포맷의 스테레오스코픽 이미지 멀티플렉싱 포맷을 도시한 도면이다.
(a)의 풀 좌/우(Full left/right) 포맷은 좌 영상과 우 영상을 순차적으로 각각 전송하는 경우이고, (b)의 풀 좌/하프 우(Full left/half right) 포맷은 좌영상은 그대로, 우영상은 수직 또는 수평 방향으로 1/2 서브-샘플링(sub-sampling)하여 전송하는 경우이다. (c)의 2D 비디오/깊이(2D video/depth) 포맷은 좌영상과 우영상 중 하나의 영상과 다른 하나의 영상을 만들어 내기 위한 깊이 정보를 함께 전송하는 경우이다.
수신 시스템에서 이러한 다양한 방식으로 전송된 비디오 데이터를 효율적으로 디멀티플렉싱(demultiplexing)하여 비디오 데이터를 처리하려면 상술한 멀티플렉싱 포맷에 대한 정보를 전송해 줄 필요가 있다.
이상 본 발명과 관련하여, 3D 개념 및 포맷에 관해 간략하게 살펴보았다. 이하 본 명세서에서는 본 발명의 이해를 돕고 설명의 편의를 위해, 일반 3D 컨텐츠에 포함된 3D 오브젝트를 TV 플랫폼 내에 특정 API(Application Programming Interface)를 이용하여 뷰 포트(View Port)를 레프트 아이 뷰(left eye view)와 라이트 아이 뷰(right eye view)로 서로 다르게 설정하고, 이를 레프트 씬(left scene)과 라이트 씬(right scene)으로 나누어 렌더링(rendering)하여 3D 효과가 극대화되도록 지원하고자 한다. 이하에서는 스테레오스코픽을 일 예로 하여 설명하나, 본 발명이 이에 한정되는 것은 아니며 다시점 영상 등에도 적용 가능함은 자명하다할 것이다.
입체 영상 처리 장치
이하 하나 또는 그 이상의 3D 오브젝트가 포함된 애플리케이션을 처리하는 입체 영상 처리 장치에 대해 상세하게 설명한다. 여기서, 상기 3D 오브젝트가 포함된 애플리케이션은 다양한 방식으로 입체 영상 처리 장치에 수신될 수 있다. 상기 다양한 방식이라 함은 예를 들어, 애플리케이션이 데이터 방송 채널을 통해 데이터 방송 신호에 포함되어 전송되는 방식, USB(Universal Serial Bus)나 외장 하드(External HDD)와 같은 외부 저장 장치로부터 전송되는 방식 및 네트워크(network)를 통해 연결된 각종 서버(server)를 통해 전송되는 방식 등이 있을 수 있다.
이에 따라 본 명세서에서는 설명의 편의상, 3D 오브젝트가 처리되는 부분인 제어부(402), 3D 컨텐츠와 동일 또는 유사한 효과를 나타내기 위해 3D 영상 출력 방법에 따른 영상을 디스플레이 모듈(404)의 출력 주파수에 따라 재구성하는 출력 포맷터부(403), 디스플레이 모듈(404)을 제외한 나머지 부분은 공통된 기능을 수행하나 각 방식에 따라 그 구성이 상이할 수 있어 기본 처리부(401)로 지칭하여 묶어서 설명하고자 한다.
도 4는 본 발명에 따른 디지털 방송 수신기를 설명하기 위한 구성 블록도의 일 예이다.
디지털 방송 수신기는, 기본 처리부(401), 제어부(402), 출력 포맷터부(403) 및 디스플레이 모듈(404)을 포함하여 구성된다.
제어부(402)는 내부에 미들웨어(M/W: MiddleWare) 계층을 포함하며, 상기 미들웨어 계층 상에 3D 오브젝트가 포함된 애플리케이션이 자리한다. 이하에서 상기 제어부(402)는 미들웨어(M/W)와 혼용되어 사용되는 경우도 있다.
상술한 3D 오브젝트를 포함한 애플리케이션이 어떤 경로나 방식으로 전송되느냐에 따라 기본 처리부의 구성은 그에 따라 적절한 구성을 가질 수 있다.
예를 들어, 3D 오브젝트가 포함된 애플리케이션이 데이터 방송 신호의 형태로 전송된 경우에는, 기본 처리부(401)는 예를 들어, 튜너부, 복조부, 역다중화부, 시그널링 정보 처리부, 애플리케이션 제어부, 제어부, UI 제어부, 저장부 및 믹서부 중 적어도 하나 이상의 구성 블록을 포함하여 구성될 수 있다. 여기서, 튜너부는 특정 채널을 튜닝하여 3D 오브젝트가 포함된 애플리케이션을 전송하는 데이터 방송 신호를 수신한다. 복조부는 수신된 데이터 방송 신호의 변조 방식에 대응되는 복조 방식으로 복조를 수행한다. 역다중화부는 복조된 데이터 방송 신호로부터 3D 오브젝트가 포함된 애플리케이션과 그 밖에 정보로 역다중화한다. 시그널링 정보는 SI(System Information) 정보를 수신하여 처리한다. 애플리케이션 제어부는 SI 정보에 근거하여 채널 맵을 생성하도록 제어하는 채널 매니저와 채널 맵을 포함한다. 제어부는 시스템 전반의 모든 동작을 제어한다. UI 제어부는 3D 오브젝트가 포함된 애플리케이션의 실행과 함께 제공될 UI의 처리에 대한 동작들을 제어한다. 저장부는 입력되는 다양한 정보들을 저장한다. 믹서부는 필요에 따라 입력되는 신호 내지 데이터들을 적절하게 믹싱되도록 처리한다.
또한, 인터넷 프로토콜을 통해 네트워크를 통해 3D 오브젝트를 포함한 애플리케이션을 수신하는 경우에는 상술한 구성에서 IP 패킷의 수신 및 처리를 위한 구성(예를 들어, IP 피지컬 인터페이스)들이 상술한 구성에서 더 추가되거나 일부 구성을 대체할 수 있다.
그 밖에 외부 저장 장치 등을 통해 수신되는 경우에는 상술한 구성에서 외부 입력 수신부 등이 더 포함될 수 있다.
디지털 방송 수신기는 예를 들어, 디지털 텔레비전 수신기(digital television receiver)일 수 있다. 따라서, 디지털 방송 수신기는, 필요한 경우 도시된 구성 중 일부 구성이 제외되거나 반대로 도시된 구성 이외에 일부 구성이 더 추가될 수 있다. 또한, 상기 각 구성은 필요한 경우에 병합되어 하나의 구성으로 기능할 수도 있다. 그 밖에 상기 애플리케이션 제어부(405)는 채널 관련 채널 매니저(406)와 채널 맵(407)을 포함하고, 오디오/비디오 디코더(411/412), 스케일러(413) 및 비디오 프로세서(414)가 더 포함될 수 있다. 또한, 디지털 방송 수신기는, 본 발명에 따라 3D 오브젝트를 포함한 애플리케이션에 대한 3D 효과를 제어하기 위해 필요한 API들을 포함한다.
도 4의 디지털 방송 수신기는 그 밖에 2D 컨텐츠와 전형적인 3D 컨텐츠도 처리할 수 있다. 예를 들어, 2D 컨텐츠가 입력되는 경우, 3D 컨텐츠 처리에 특화된 일부 구성 예를 들어, 출력 포맷터부(419)를 바이패스(by-pass)되도록 제어함으로써 무리없이 처리할 수 있다.
이하에서는 본 발명과 관련하여, 제어부(402)의 역할 및 기능에 대해 보다 상세하게 설명하면, 다음과 같다.
기본 처리부(401)에서 입력되는 3D 오브젝트를 포함한 애플리케이션이 수신되는 경우 이에 대한 1차 처리를 하고, 제어부(402)로 후속 처리를 요청한다.
제어부는(402)는 상기 요청에 따라 특정 API를 이용하여 상위 애플리케이션을 호출한다.
여기서, 제어부(402) 즉, 미들웨어(M/W)는 내부에 포함된 자바 버추얼 머신(JVM: Java Virtual Machine)(411)을 통해 호출된 애플리케이션을 분석한다.
제어부(402)는 상기 분석 결과에 따라 해당 애플리케이션에 포함된 3D 오브젝트들에 대하여 특정 API를 이용하여 기본 설정을 하고 렌더링한다. 여기서, 상기 기본 설정 및 렌더링을 위해 이용되는 API는 예를 들어, M3G(Mobile 3D Graphics) Camera API가 이용될 수 있다.
즉, 제어부(402)는 애플리케이션 분석 결과에 따라 각 3D 오브젝트에 대한 뷰 포트(View Port)를 설정하여 3D 효과를 가지도록 렌더링한다. 본 발명에서는 설명의 편의를 위해 스테레오스코픽을 예시하나 이에 한정되는 것은 아니며, 상술한 도 1 내지 3에 예시된 다른 3D 디스플레이 방법에도 적용 가능함은 자명하다.
본 발명에 따른 디지털 방송 수신기의 3D 플랫폼은 모노(Mono)와 스테레오스코픽 모드를 모두 지원할 수 있다. 따라서, 제어부(402)는 분석 결과에 기초하여 사용자 등이 선택하는 경우에는 런타임(Runtime)에 분석 결과에 기초하여 사용자의 구성 정보에 기초하여 카메라의 앵글(angle), 디스턴스(distance) 등을 조정하여 소프트웨어적으로 좌영상과 우영상을 생성하고 렌더링할 수 있다.
또한, 본 발명에 따른 디지털 방송 수신기의 3D 플랫폼은 컨텐츠의 원본 크기와 해상도를 고려하여 분석 결과에 기초하여 사용자가 원하는 해상도와 입체감을 선택할 수 있도록 윈도우 사이즈(window size), 카메라 앵글, 디스턴스 등을 런타임에 수정할 수 있는 구성 정보(configuration)를 제공할 수도 있다.
그 밖에 본 발명에 따른 디지털 방송 수신기의 3D 플랫폼은 3D 이미지를 디스플레이하기 위한 패시브(passive) 방식과 액티브(active) 방식을 모두 지원할 수 있다. 다만, 본 명세서에서는 설명의 편의상 주로 패시브 방식을 예로 하여 설명하나 이에 한정되는 것은 아니다. 패시브 방식으로는 일반적인 3D TV에서 제공하는 사이드바이사이드(Side-by-Side), 탑/바텀(Top/Bottom), 인터레이서드(interlaced), 프레임 시퀀셜 등 싱글 비디오 스트림 포맷과 듀얼 비디오 스트림 포맷 등이 모두 적용될 수 있으며, 상기 영상 신호 처리 장치의 해상도 등을 고려하여 적절한 방식을 선택함으로써 3D 효과를 더욱 높일 수도 있다.
제어부(402)는 3D 효과를 부여하기 위해 애플리케이션을 분석하여 3D 오브젝트들을 추출한다. 제어부(402)는 이렇게 추출된 3D 오브젝트들에 대해 사용자의 구성 정보 등에 기초하여 씬 그래프(Scene Graph)를 생성한다. 여기서, 상기 씬 그래프는 예를 들어, 사용자가 선택하는 입력에 따라 모델링 된 오브젝트의 뷰 포트, 라이트(light), 메쉬(mesh), 텍스쳐(texture) 등을 관리 및 제어한다.
제어부(402)는 생성된 씬 그래프를 이용하여 설정된 뷰 포트를 읽어 들이고 렌더링 관련 하이 레벨 API를 이용하여 사용자가 선택한 모드에 따라 렌더링을 수행한다. 상기 모드에는 전술한 바와 같이, 모노 모드와 3D 모드가 포함될 수 있다. 상기 3D 모드의 경우에는 다양한 3D 포맷에 따라 보다 상세하게 정의될 수 있으나, 전술한 바와 같이 여기서는 설명의 편의를 위해 모노 모드와 구분하여 스테레오 모드를 예로 하여 이하에서 설명한다.
도 5는 본 발명에 따라 모노 아이(Mono Eye)와 스테레오 뷰 포트(Stereo View Port)가 어떻게 나뉘는지 설명하기 위한 개념도이다.
예를 들어, 사용자가 모노를 선택하는 경우, 제어부(402)는 도 5에서 뷰 포트는 모노 아이로 설정한다. 이 경우 제어부(402)는 기존 컨텐츠가 가지는 뷰 앵글(view angle)에서만 뷰 포트를 잡아 하나의 화면에 렌더링을 함으로써, 상기 선택된 모노 모드에 동작을 마무리한다.
이와 달리, 사용자가 스테레오 모드를 선택하는 경우, 제어부(402)는 도 5에서 좌안과 우안 각각에 뷰 포트를 설정 즉, 2개의 뷰 포트를 설정하여 각 뷰 포트를 통한 이미지를 각각 좌안용 버퍼(left buffer)와 우안용 버퍼(righti buffer)에 렌더링한다. 즉, 스테레오 모드의 경우, 제어부(402)는 좌안용 뷰 포트를 통해 하나의 이미지를 생성하여 이를 좌영상 데이터와 같이 취급하고, 우안용 뷰 포트를 통해 하나의 이미지를 생성하여 이를 우영상 데이터와 같이 취급한다.
도 6은 본 발명에 따라 3D 오브젝트를 포함한 애플리케이션이 호출된 경우에 3D 플랫폼의 동작 플로우를 설명하기 위해 도시한 순서도이다.
3D 플랫폼 내 미들웨어(M/W)에서는 기본 처리부(401)로부터 3D 오브젝트를 포함한 애플리케이션에 대한 제어 요청이 수신되면, 해당 애플리케이션을 특정 API를 이용하여 호출한다. 상기 호출에 따라 해당 애플리케이션은 실행된다(S601).
이렇게 호출된 애플리케이션이 실행되면, 미들웨어(M/W)는 자바 버추얼 머신(JVM)을 통해 해당 애플리케이션을 분석한다. 상기 분석이라 함은, 본 발명과 관련하여, 상기 애플리케이션에 포함된 하나 또는 그 이상의 3D 오브젝트들을 제어하기 위한 일련의 데이터를 추출하거나 정보를 수집하는 것을 의미한다.
미들웨어(M/W)는 분석 결과에 기초하여 애플리케이션으로부터 3D 오브젝트를 추출하여 초기화한다(S602).
미들웨어(M/W)는 분석 결과에 기초하여 추출된 3D 오브젝트(들)에 대해 초기 뷰 포트와 카메라 앵글 등을 설정한다(S603).
상기 S603 단계에서 뷰 포트와 카메라가 설정이 되면, 미들웨어(M/W)는 본 발명에 따른 3D 효과를 부가하기 위해 렌더링을 위한 하이 레벨 API를 호출하여 씬을 렌더링한다(S604).
미들웨어(M/W)는 호출된 하이 레벨 API를 통해 추출된 3D 오브젝트에 대한 제어를 위해 모드를 식별한다(S605). 상기 모드에는 전술한 바와 같이, 모노 모드와 3D 모드가 있고, 3D 모드에는 스테레오스코픽 모드와 다시점 모드 등이 있을 수 있다. 다만, 편의상 3D 모드로 스테레오스코픽 모드를 예로 하여 설명한다.
미들웨어(M/W)에서 식별된 모드가 모노 모드이면, 상기 S603 단계에서 설정된 뷰 포트를 이용하여 바로 렌더링한다. 이와 달리 식별된 모드가 스테레오스코픽 모드이면, 사용자의 구성 정보를 참조하여 상기 설정된 뷰 포트를 기준으로 레프트 뷰 포트와 라이트 뷰 포트를 각각 설정하고, 설정된 각 뷰 포트를 이용하여 총 2번 렌더링을 한다.
상술한 과정을 보다 상세하게 구분하면, 자바 버추얼 머신(JVM)은 렌더링을 위한 하이 레벨 API를 호출하여 사용자가 선택한 모드를 식별한다(S605).
상기 S605 단계에서 식별된 모드가 모노 모드라면, 상기 S603 단계에서 설정된 뷰 포트와 카메라를 기준으로 모노 아이 뷰 포트와 카메라 앵글(angle)을 각각 설정하고(S610), 추출된 3D 오브젝트에 대해 씬 그래프를 생성한다(S611).
이에 반해 상기 S605 단계에서 식별된 모드가 스테레오스코픽 모드라면, 사용자의 구성 정보를 기초로 카메라 앵글을 설정하고 좌안 뷰 포트를 설정하고(S606), 설정된 카메라 앵글에 따라 좌안 뷰 포트를 통해 생성되는 좌영상 데이터에 대해 씬 그래프(scene graph)를 생성한다(S607).
동일한 방식으로 사용자 구성 정보에 기초하여 카메라 앵글을 설정하고 우안 뷰 포트를 설정하고(S608), 설정된 카메라 앵글에 따라 우안 뷰 포트를 통해 생성되는 우영상 데이터에 대해 씬 그래프를 생성한다(S609).
상기에서, 씬 그래프는 사용자가 선택하는 입력에 따라 3D 효과를 최대화하기 위해 3D 오브젝트를 모델링하고, 모델링된 3D 오브젝트의 뷰 포트, 라이트(light), 메쉬(Mesh), 텍스쳐(texture) 등이 관리된다.
이렇게 생성된 각 씬 그래프는 최종적으로 해당 모드에 따라 적절하게 2D 또는 3D 효과를 가지도록 렌더링(rendering)한다(S612).
상기 렌더링 후 해당 애플리케이션에 대한 제어가 종료하면(S613). 해당 애플리케이션의 실행을 종료시킨다(S614).
도 7과 8은 본 발명의 사용 시나리오의 일 예를 도시한 것이다.
도 7(a)는 3D 오브젝트가 포함된 하나의 이미지이고, 도 7(b)는 상기 3D 오브젝트를 좌안 뷰 포트와 우안 뷰 포트를 이용하여 각각 생성한 이미지이고, 도 7(c)는 도 7(b)에서 생성한 각 뷰 포트 이미지를 3D 영상 디스플레이 포맷의 일 예로 렌더링한 이미지이다.
도 8(a)는 도 7(c)에서 렌더링된 이미지들을 믹싱한 이미지이고, 도 8(b)는 믹싱된 이미지들을 최종적인 3D 영상 디스플레이 포맷에 따라 구성한 이미지이다.
도 7(a)에서 도 8(b)는 본 발명에 따른 디지털 방송 수신기에서 순차적으로 수행되어 최종적으로 디스플레이 모듈(404)을 통해 출력되는 것으로, 편의상 구분한 것이다.
이하 이를 순차적으로 설명하면, 다음과 같다.
도 7(a)를 참조하면, 하나의 3D 오브젝트가 영상에 포함되어 있다. 이 경우 제어부(402)는 자바 버추얼 머신(JVM)을 통해 분석하고, 분석 결과에 근거하여 해당 3D 오브젝트를 초기화한다.
도 7(b)를 참조하면, 제어부(402)는 사용자가 스테레오스코픽 모드를 선택하면, 3D 오브젝트를 추출하고, 추출된 3D 오브젝트를 기준으로 카메라와 좌안 뷰 포트 및 우안 뷰 포트를 설정한다.
제어부(402)는 3D 오브젝트에 대한 카메라와 좌안 뷰 포트 및 우안 뷰 포트가 설정되면, 상기 설정된 카메라를 통해 각 뷰 포트를 통해 3D 오브젝트에 대한 좌영상 데이터와 우영상 데이터를 생성하도록 제어한다. 여기서, 제어부(402)는 3D 오브젝트에 대하여 분석 결과에 기초하여 그대로 카메라 및 좌우안 뷰 포트를 통해 좌/우 영상 데이터를 생성할 수도 있고, 사용자가 구성 정보를 설정하는 경우에는 해당 구성 정보를 참조하여 좌/우 영상 데이터를 생성할 수 있다.
이때, 상기에서 구성 정보 내지 분석 데이터에는 예를 들어, 3D 오브젝트에 대한 카메라 앵글 정보, 카메라와 피사체 사이의 거리(distance) 정보, 피사체 또는 3D 오브젝트에 대한 크기 정보, 해상도 정보 중 적어도 하나 이상이 포함될 수 있다.
따라서, 제어부(402)는 상기에서 좌영상 데이터와 우영상 데이터를 생성함에 있어서, 상기 카메라와 좌안 뷰 포트 및 우안 뷰 포트를 설정함에 있어서, 상기 카메라 앵글 정보, 거리 정보, 크기 정보 및 해상도 정보들을 참조한다.
도 7(b)에서는 구성 정보에 기초하여 카메라와 각 뷰 포트를 통해 생성한 좌영상 데이터와 우영상 데이터가 도시되었다.
도 7(c)를 참조하면, 하나의 3D 오브젝트에 대해 생성된 좌영상 데이터와 우영상 데이터를 3D 효과를 주기 위한 포맷으로 렌더링한다.
도 7(c)에서는 3D 효과를 주기 위한 포맷으로 탑/바텀 포맷이 이용되었으나, 이에 한정되는 것은 아니다. 즉, 도 7(c)에서는 도 7(b)에서 생성된 각 뷰 포트 이미지를 묶어 전형적인 3D 포맷에서의 하나의 프레임과 같이 생성한다.
도 8(a)에서는 도 7(c)에서 생성된 프레임을 3D 포맷에 맞게 믹싱한다.
도 8(b)에서는 상기 믹싱된 이미지들이 예를 들어, 디스플레이 모듈의 주파수에 맞게 포맷팅된 후에 셔터 안경과 같은 장치를 이용하여 보는 경우 좌안을 위한 이미지와 우안을 위한 이미지가 해당 동기에 어떻게 출력되는지를 보여준다.
UI 제공 방법
도 9는 본 발명에 따라 디지털 방송 수신기에서 사용자 구성 정보를 입력하기 위한 UI의 일 예를 도시한 것이고, 도 10은 본 발명에 따라 디지털 방송 수신기에서 3D 출력 포맷을 선택받기 위한 UI의 일 예를 도시한 것이다.
도 9(a)는 본 발명에 따라 3D 효과를 부여하기 위한 사용자의 설정을 입력받기 위한 UI이고, 도 9(b)는 상기 도 9(a)에서 수동을 선택한 경우 즉, 사용자가 직접 원하는 정보를 입력할 수 있도록 하기 위해 3D 오브젝트에 대한 뷰 포트의 각도 조정을 위한 카메라 앵글, 카메라로부터 피사체까지의 거리, 3D 오브젝트의 크기 및 3D 오브젝트의 해상도를 조절할 수 있도록 하기 위한 것이다.
도 9(c)의 경우에는 도 9(b)에서 특정 항목이 선택된 경우에 구체적이 설정 값을 입력받기 위한 UI가 연동되어 제공된다. 도 9(c)에서는 사용자가 카메라 앵글을 조정하고 싶은 경우에 앵글 각도를 직접 입력받을 수 있도록 구성한 것이다. 상기에서 사용자가 특정 값을 입력하는 것이 아니라, 일정 각도를 제시하고 이를 선택하도록 UI를 구성할 수도 있다.
또한, 본 발명에서는 사용자가 이러한 구성 정보를 미리 설정하는 것이 아니라, 3D 오브젝트에 대한 제어를 하는 동시에 이러한 정보에 대한 입력을 받도록 하여 영상 처리 장치에서 사용자의 입력에 따라 변화되는 이미지를 직접 보고 그 값을 결정할 수 있도록 제공될 수도 있다.
도 10에서는 3D 효과를 표현하는 방법은 매우 다양한바, 사용자에게 원하는 3D 출력 포맷을 선택하도록 하는 것으로 예를 들어, 도 10(a)에서는 3가지 포맷을 제공하고 있다. 첫번째는 자동이고, 두 번째는 스테레오 스코픽 그리고 마지막은 다시점 영상이나 본 발명이 이에 한정되는 것은 아니다. 상기에서 예를 들어, 자동을 선택한 경우에는 영상 처리 장치에 미리 설정된 포맷 예를 들어, 스테레오스코픽 방식에서도 사이드바이사이드 포맷으로 바로 전환한다.
이와 달리, 만약 사용자가 도 10(a)에서 스테레오스코픽이나 다시점 영상 포맷을 선택한 경우에는 선택된 포맷에 상세 포맷에 대한 정보가 도 10(b)와 같이 제공될 수 있다. 도 10(b)에서는 특히 스테레오스코픽 포맷 중에서 특정 상세 포맷을 선택할 수 있도록 제공되는 UI의 일 예를 도시한 것이다.
상술한 바와 같이, 본 발명에 따르면, 3D 오브젝트가 포함된 컨텐츠나 애플리케이션에 대해 종래 콘솔이나 PC와 같은 별도의 장비를 구비하지 않고도 간단하게 소프트웨어적으로 처리할 수 있을 뿐만 아니라, 종래에는 주로 송신 측에서 미리 설정된 포맷이나 값에 의해서 수동적으로 3D 영상을 시청하였다면, 본 발명에 따르면, 능동적으로 사용자의 취향 등에 따라 3D 효과를 적절하게 조절할 수도 있는 장점이 있다. 이러한 내용은 영상 처리 장치에 대한 사용자의 이용 편의를 제공하고 종래 영상 처리 장치와의 호환성에도 아무런 문제가 없다.
이상 본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있음은 당업자에게 자명하다.
따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다.
본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.
401: 기본 처리부 402: 제어부
403: 출력 포맷터부 404: 디스플레이 모듈

Claims (14)

  1. 디지털 방송 수신기에서 3D 오브젝트(3Dimensional Object)가 포함된 애플리케이션(application)에 3D 효과를 제공하는 방법에 있어서,
    상기 애플리케이션으로부터 하나 또는 그 이상의 3D 오브젝트와 상기 3D 오브젝트에 대한 구성정보(제1 구성정보)를 추출하는 단계;
    사용자로부터 상기 추출된 3D 오브젝트에 대한 구성정보(제2 구성정보)를 입력받는 단계;
    상기 제1 구성정보에 기초하여 상기 제2 구성정보에 따라 카메라 앵글(camera angle)과 적어도 둘 이상의 뷰 포트(view port)를 설정하는 단계;
    상기 각 뷰 포트를 통해 설정된 카메라 앵글로 3D 오브젝트에 대한 이미지를 생성하는 단계; 및
    생성된 각 이미지들을 3D 포맷으로 렌더링(rendering)하는 단계;
    를 포함하는 3D 효과 제공 방법.
  2. 제1항에 있어서,
    상기 제2 구성정보는,
    상기 3D 오브젝트의 촬영을 위한 카메라의 앵글 제어 정보를 포함하는 3D 효과 제공 방법.
  3. 제2항에 있어서,
    상기 제2 구성정보는,
    상기 카메라와 3D 오브젝트 사이의 거리 제어 정보, 상기 3D 오브젝트에 대한 크기 제어 정보와, 상기 3D 오브젝트의 해상도 제어 정보 중 적어도 하나 이상을 더 포함하는 3D 효과 제공 방법.
  4. 제1항에 있어서,
    상기 3D 모드에는,
    스테레오스코픽(stereoscopic) 모드와 다시점 영상(multi-view image) 모드 중 적어도 하나인 3D 효과 제공 방법.
  5. 제1항에 있어서,
    렌더링 된 각 이미지로부터 3D 포맷의 프레임(frame)을 생성하는 단계;와
    생성된 프레임을 믹싱(mixing)하는 단계;와
    믹싱된 각 프레임을 디스플레이 주파수(display frequency)에 따라 출력하는 단계;
    를 더 포함하는 3D 효과 제공 방법.
  6. 디지털 방송 수신기에서 3D 오브젝트가 포함된 애플리케이션에 3D 효과를 제공하는 방법에 있어서,
    애플리케이션으로부터 하나 또는 그 이상의 3D 오브젝트와 상기 3D 오브젝트에 대한 구성정보(제1 구성정보)를 추출하는 단계;
    사용자로부터 상기 추출된 3D 오브젝트에 대한 구성정보(제2 구성정보)를 입력받는 단계;
    상기 제1 구성정보에 기초하여 상기 제2 구성정보에 따라 카메라 앵글과 좌안 뷰 포트(left view port)와 우안 뷰 포트(right view port)를 설정하는 단계;
    상기 각 뷰 포트를 통해 설정된 카메라 앵글로 3D 오브젝트에 대한 좌영상 데이터(left image data)와 우영상 데이터(right image data)를 생성하는 단계; 및
    생성된 좌영상 데이터와 우영상 데이터를 렌더링하는 단계;
    를 포함하는 3D 효과 제공 방법.
  7. 3D 오브젝트가 포함된 애플리케이션에 3D 효과를 제공하는 디지털 방송 수신기에 있어서,
    상기 애플리케이션을 수신하는 기본 처리부;
    상기 애플리케이션을 호출하고, 호출된 애플리케이션으로부터 하나 또는 그 이상의 3D 오브젝트와 상기 3D 오브젝트에 대한 구성정보(제1 구성정보)를 추출하고, 추출된 제1 구성정보에 기초하여 사용자로부터 입력된 상기 3D 오브젝트에 대한 구성정보(제2 구성정보)에 따라 상기 3D 오브젝트에 대한 카메라 앵글과 적어도 둘 이상 뷰 포트를 설정하고, 상기 각 뷰 포트를 통해 설정된 카메라 앵글로 3D 오브젝트에 대한 이미지를 생성하고 렌더링하는 제어부;
    렌더링 된 3D 오브젝트에 대한 이미지를 디스플레이 주파수에 따라 3D 포맷으로 재구성하는 출력 포맷터; 및
    재구성된 3D 오브젝트의 이미지를 포함한 애플리케이션을 출력하는 디스플레이 모듈;
    을 포함하는 디지털 방송 수신기.
  8. 제7항에 있어서,
    사용자로부터 상기 제2 구성정보를 입력받기 위한 UI를 출력하도록 제어하는 UI 제어부;와
    상기 UI를 통해 사용자의 설정을 입력받는 외부 입력 수신부;를 더 포함하는 디지털 방송 수신기.
  9. 제8항에 있어서,
    상기 제2 구성정보는,
    상기 3D 오브젝트의 촬영을 위한 카메라의 앵글 제어 정보를 포함하는 디지털 방송 수신기.
  10. 제8항에 있어서,
    상기 제2 구성정보는,
    상기 카메라와 3D 오브젝트 사이의 거리 제어 정보, 상기 3D 오브젝트에 대한 크기 제어 정보와, 상기 3D 오브젝트의 해상도 제어 정보 중 적어도 하나 이상을 더 포함하는 디지털 방송 수신기.
  11. 제7항에 있어서,
    상기 제어부는,
    상기 선택된 모드에 따라 기설정된 카메라 앵글과 적어도 둘 이상의 뷰 포트를 상기 구성 정보에 따라 설정하는 디지털 방송 수신기.
  12. 제9항에 있어서,
    상기 3D 포맷에는,
    스테레오스코픽과 다시점 영상 포맷 중 적어도 하나가 포함되는 디지털 방송 수신기.
  13. 제7항에 있어서,
    렌더링 된 각 이미지로부터 3D 포맷의 프레임을 생성하고, 생성된 각 프레임을 믹싱하는 믹싱부;를 더 포함하는 디지털 방송 수신기.
  14. 3D 오브젝트가 포함된 애플리케이션에 3D 효과를 제공하는 디지털 방송 수신기에 있어서,
    상기 애플리케이션을 수신하는 기본 처리부;
    상기 애플리케이션을 호출하고, 호출된 애플리케이션으로부터 하나 또는 그 이상의 3D 오브젝트와 상기 3D 오브젝트에 대한 구성정보(제1 구성정보)를 추출하고, 추출된 제1 구성정보에 기초하여 사용자로부터 입력된 상기 3D 오브젝트에 대한 구성정보(제2 구성정보)에 따라 상기 3D 오브젝트에 대한 카메라 앵글과 좌안 뷰 포트와 우안 뷰 포트를 설정하고, 상기 각 뷰 포트를 통해 설정된 카메라 앵글로 3D 오브젝트에 대한 좌영상 데이터와 우영상 데이터를 생성하고 렌더링하는 제어부;
    렌더링된 좌영상 데이터와 우영상 데이터를 디스플레이 주파수에 따라 3D 포맷으로 재구성하는 출력 포맷터; 및
    재구성된 좌영상 데이터와 우영상 데이터를 포함한 애플리케이션을 출력하는 디스플레이 모듈;
    을 포함하는 디지털 방송 수신기.
KR1020100065149A 2010-07-07 2010-07-07 디지털 방송 수신기 및 디지털 방송 수신기에서 3ｄ 효과 제공 방법 Expired - Fee Related KR101742993B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100065149A KR101742993B1 (ko) 2010-07-07 2010-07-07 디지털 방송 수신기 및 디지털 방송 수신기에서 3ｄ 효과 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100065149A KR101742993B1 (ko) 2010-07-07 2010-07-07 디지털 방송 수신기 및 디지털 방송 수신기에서 3ｄ 효과 제공 방법

Publications (2)

Publication Number Publication Date
KR20120004586A true KR20120004586A (ko) 2012-01-13
KR101742993B1 KR101742993B1 (ko) 2017-06-02

Family

ID=45611023

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100065149A Expired - Fee Related KR101742993B1 (ko) 2010-07-07 2010-07-07 디지털 방송 수신기 및 디지털 방송 수신기에서 3ｄ 효과 제공 방법

Country Status (1)

Country Link
KR (1) KR101742993B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101348929B1 (ko) * 2012-08-20 2014-01-09 광운대학교 산학협력단 깊이 조절을 이용한 레이어 합성 기반 다시점 영상 생성 방법
KR101408719B1 (ko) * 2012-09-11 2014-06-18 (주)리얼디스퀘어 3차원 영상의 스케일 변환 장치 및 그 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003209858A (ja) 2002-01-17 2003-07-25 Canon Inc 立体画像生成方法及び記録媒体
JP4400143B2 (ja) 2003-08-20 2010-01-20 パナソニック株式会社 表示装置および表示方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101348929B1 (ko) * 2012-08-20 2014-01-09 광운대학교 산학협력단 깊이 조절을 이용한 레이어 합성 기반 다시점 영상 생성 방법
KR101408719B1 (ko) * 2012-09-11 2014-06-18 (주)리얼디스퀘어 3차원 영상의 스케일 변환 장치 및 그 방법

Also Published As

Publication number Publication date
KR101742993B1 (ko) 2017-06-02

Similar Documents

Publication Publication Date Title
Smolic et al. An overview of available and emerging 3D video formats and depth enhanced stereo as efficient generic solution
EP2332340B1 (en) A method of processing parallax information comprised in a signal
EP2537347B1 (en) Apparatus and method for processing video content
Smolic et al. Development of a new MPEG standard for advanced 3D video applications
US9578305B2 (en) Digital receiver and method for processing caption data in the digital receiver
CN102918847B (zh) 显示图像的方法和设备
EP2334092A1 (en) Methods and apparatuses for encoding, decoding, and displaying a stereoscopic 3D image
US20140085435A1 (en) Automatic conversion of a stereoscopic image in order to allow a simultaneous stereoscopic and monoscopic display of said image
CN102396236A (zh) 广播接收机及其视频数据处理方法
WO2010092823A1 (ja) 表示制御装置
CN103039082A (zh) 图像处理方法和根据该方法的图像显示装置
TW201415864A (zh) 用於產生、傳送及接收立體影像之方法，以及其相關裝置
Gotchev Computer technologies for 3d video delivery for home entertainment
EP2676446B1 (en) Apparatus and method for generating a disparity map in a receiving device
TW201138425A (en) Method and system for rendering 3D graphics based on 3D display capabilities
KR20100112940A (ko) 데이터 처리방법 및 수신 시스템
KR101742993B1 (ko) 디지털 방송 수신기 및 디지털 방송 수신기에서 3ｄ 효과 제공 방법
Ruijters et al. IGLANCE: transmission to medical high definition autostereoscopic displays
CN104769940B (zh) 深度信令数据
KR101733488B1 (ko) 3차원 영상 표시 방법 및 그에 따른 3차원 영상 표시 장치
EP2547109A1 (en) Automatic conversion in a 2D/3D compatible mode
KR101433082B1 (ko) 2차원 영상과 3차원 영상의 중간 정도 느낌을 주는 영상 변환 및 재생 방법

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20200414

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

FPAY Annual fee payment

Payment date: 20210414

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20220408

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20250530

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

H13 Ip right lapsed

Free format text: ST27 STATUS EVENT CODE: N-4-6-H10-H13-OTH-PC1903 (AS PROVIDED BY THE NATIONAL OFFICE); TERMINATION CATEGORY : DEFAULT_OF_REGISTRATION_FEE

Effective date: 20250530

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20250530