KR102143473B1 - 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법 - Google Patents

다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법 Download PDF

Info

Publication number
KR102143473B1
KR102143473B1 KR1020130137522A KR20130137522A KR102143473B1 KR 102143473 B1 KR102143473 B1 KR 102143473B1 KR 1020130137522 A KR1020130137522 A KR 1020130137522A KR 20130137522 A KR20130137522 A KR 20130137522A KR 102143473 B1 KR102143473 B1 KR 102143473B1
Authority
KR
South Korea
Prior art keywords
depth
preset
depth value
image
view image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020130137522A
Other languages
English (en)
Other versions
KR20150055322A (ko
Inventor
한승룡
이호영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130137522A priority Critical patent/KR102143473B1/ko
Priority to US14/255,633 priority patent/US9035943B1/en
Priority to CN201410641396.8A priority patent/CN104639930B/zh
Publication of KR20150055322A publication Critical patent/KR20150055322A/ko
Application granted granted Critical
Publication of KR102143473B1 publication Critical patent/KR102143473B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/20—Editing of three-dimensional [3D] images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H04N13/351—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking for displaying simultaneously

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Architecture (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

다시점 영상 디스플레이 장치가 개시된다. 다시점 영상 디스플레이 장치는, 입력된 영상의 뎁스를 조정하는 뎁스 조정부, 뎁스가 조정된 영상에 기초하여 다시점 영상을 렌더링하는 렌더링부, 다시점 영상을 기설정된 배치 패턴으로 배치하여 디스플레이하는 디스플레이부 및, 입력된 영상에 포함된 적어도 하나의 오브젝트에 대한 뎁스 정보에 기초하여 기설정된 기준을 만족하는 오브젝트가 기설정된 뎁스 값을 가지도록 입력된 영상의 뎁스를 시프트하도록 뎁스 조정부를 제어하는 제어부를 포함한다.

Description

다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법 { MULTI VIEW IMAGE DISPLAY APPARATUS AND MULTI VIEW IMAGE DISPLAY METHOD THEREOF}
본 발명은 다시점 영상 디스플레이 장치 및 제어 방법에 관한 것으로, 더욱 상세하게는 무안경식 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 전자기기가 개발 및 보급되고 있다. 특히, 일반 가정에서 가장 많이 사용되고 있는 가전 제품 중 하나인 TV와 같은 디스플레이 장치는 최근 수년 간 급속도로 발전하고 있다.
디스플레이 장치의 성능이 고급화되면서, 디스플레이 장치에서 디스플레이하는 컨텐츠의 종류도 다양하게 증대되었다. 특히, 최근에는 3D 컨텐츠까지 시청할 수 있는 입체 디스플레이 시스템이 개발되어 보급되고 있다.
한편, 입체 디스플레이 시스템은 3D 영상 시청 용 안경의 사용 여부에 따라서 안경식 또는 무 안경식 시스템으로 나뉘어질 수 있다.
안경식 시스템의 일 예로는, 셔터 글래스 방식의 디스플레이 장치가 있다. 셔터 글래스 방식이란, 좌안 이미지 및 우안 이미지를 교번적으로 출력하면서, 이와 연동하여 사용자가 착용한 3D 안경의 좌우 셔터 글래스를 교번적으로 개폐시켜 사용자가 입체감을 느낄 수 있도록 하는 방식이다.
무 안경식 시스템은 오토스테레오스코피(autostereoscopy)시스템이라고도 한다. 무 안경 방식의 3D 디스플레이 장치는, 광학적으로 분리된 다시점 영상을 디스플레이하면서 패러랙스 배리어(Parallax Barrier) 기술 또는 렌티큘러(Lenticular) 렌즈를 이용하여 시청자의 좌안 및 우안에 다른 시점의 영상에 해당하는 광이 투사되도록 하여, 사용자가 입체감을 느낄 수 있도록 한다.
한편, 무 안경식 시스템이 N개의 광학 뷰를 가질 경우, 입력된 영상에 대한 렌더링을 통해 N개의 다시점 영상을 생성하여 영상을 제공할 있다. 생성된 N개의 다시점 영상은 View Mapping 기술을 통해 디스플레이를 위한 다시점 영상을 컨버전되는데 View Mapping에 따라 Linear Mapping 방식 및 Cyclic Mapping 방식이 존재한다.
도 1a 및 도 1b는 Linear Mapping 방식에 따른 다시점 영상의 디스플레이 동작을 설명하는 도면이다.
Linear Mapping 방식은 도 1a 및 도 1b에 도시된 바와 같이 1 시점부터 7 시점까지의 다시점 영상을 1, 2, 3, 4, 5, 6, 7, 1, 2, 3... 시점 순으로 광학 뷰에 매칭하는 방식으로 시청위치에 따른 Dead Zone이 발생할 수 있다는 문제점이 있다. 여기서, Dead Zone이란, 시청자의 시청위치가 7시점에서 1시점으로 전환되는 위치를 의미하며, 이 위치에서는 디스패리티의 급격한 변화(Jumping 현상)로 인해 심각한 Crosstalk가 발생하여 3D 영상을 시청할 수 없고 사용자에게 시각적 피로감을 주게 된다. 즉, 도 1a 및 도 1b에서 도시한 바와 같이 7시점 영상과 1시점 영상을 동시에 시청하게 되는 위치가 Dead Zone에 해당한다.
Cyclic Mapping 방식은 1, 2, 3, 4, 3, 2, 1 시점 순으로 뷰를 배치하는 방식으로, Linear Mapping 방식에서 발생하는 디스패리티의 급격한 변화를 완화시키는 효과를 낼 수 있다는 장점이 있다. 하지만, 시점이 역순으로 배치되는 역시(Pseudo Stereo) 구간에서 사람의 양 눈에 들어오는 영상이 좌우가 바뀌어 들어옴으로써 시청시 피로감 특히, 울렁임 현상을 유발하게 된다는 문제점이 있었다.
본 발명은 상술한 필요성에 따라 안출된 것으로, 본 발명은 화면 내 울렁임 현상을 저감시킬 수 있는 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법을 제공하는 것을 목적으로 한다.
본 발명의 상술한 목적을 달성하기 위한 일 실시 예에 따르면 다시점 영상 디스플레이 장치는 입력된 영상의 뎁스를 조정하는 뎁스 조정부, 상기 뎁스가 조정된 영상에 기초하여 다시점 영상을 렌더링하는 렌더링부, 상기 다시점 영상을 기설정된 배치 패턴으로 배치하여 디스플레이하는 디스플레이부 및 상기 입력된 영상에 포함된 적어도 하나의 오브젝트에 대한 뎁스 정보에 기초하여 기설정된 기준을 만족하는 오브젝트가 기설정된 뎁스 값을 가지도록 상기 입력된 영상의 뎁스를 시프트하도록 상기 뎁스 조정부를 제어하는 제어부를 포함한다.
여기서, 상기 기설정된 뎁스 값은, 뎁스 맵(depth map)에서 포컬 플레인(focal plane)에 대응되는 뎁스 값이 될 수 있다.
또한, 상기 제어부는, 상기 입력된 영상에 포함된 적어도 하나의 오브젝트의 뎁스 값 및 상기 오브젝트가 차지하는 픽셀 영역의 크기에 기초하여 상기 기설정된 기준을 만족하는 오브젝트를 결정할 수 있다.
또한, 상기 제어부는, 상기 적어도 하나의 오브젝트 중 상기 기설정된 뎁스 값보다 작은 뎁스 값을 갖는 후경 오브젝트의 픽셀 면적 및 상기 기설정된 뎁스 값보다 큰 뎁스 값을 갖는 전경 오브젝트의 픽셀 면적을 비교하여, 더 큰 픽셀 면적을 갖는 오브젝트가 상기 포컬 플레인 상에 배치되도록 상기 입력된 영상의 뎁스를 시프트할 수 있다.
또한, 상기 제어부는, 상기 적어도 하나의 오브젝트 중 상기 기설정된 뎁스 값보다 작은 뎁스 값을 갖는 후경 오브젝트의 픽셀 면적 및 상기 기설정된 뎁스 값보다 큰 뎁스 값을 갖는 전경 오브젝트의 픽셀 면적이 동일한 경우, 상기 후경 오브젝트가 포컬 플레인 상에 배치되도록 상기 입력된 영상의 뎁스를 시프트할 수 있다.
또한, 상기 제어부는, 특정 오브젝트를 기설정된 뎁스 값을 가지도록 상기 입력된 영상의 뎁스를 시프트하는 경우, 상기 기설정된 배치 패턴에서 다시점 영상이 역순으로 배치되어 역시(Pseudo Stereo)가 발생하는 구간에서 울럼임 현상이 최소화되는 오브젝트를 상기 기설정된 기준을 만족하는 오브젝트로 결정할 수 있다.
여기서, 상기 다시점 영상이 총 N 시점인 경우, 상기 기설정된 배치 패턴은,제1 시점부터 제N/2 시점까지는 순차적으로 배열하고, 그 후 제N/2-1 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴이거나, 제1 시점부터 제N 시점까지의 홀수 및 짝수 시점 중 하나의 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 홀수 및 짝수 시점 중 나머지 하나의 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이 될 수 있다.
또한, 시청자에게 동일한 입체감을 제공하는 각 뎁스 구간에 대한 정보를 저장하는 저장부를 더 포함하며, 상기 제어부는, 상기 저장된 정보에 기초하여, 상기 입력된 영상에 포함된 적어도 하나의 오브젝트의 뎁스를 상기 적어도 하나의 오브젝트와 동일한 입체감을 제공하는 뎁스 구간에서 상기 포컬 플레인에 가까운 뎁스 값으로 조정할 수 있다.
한편, 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 방법은, 입력된 영상에 포함된 적어도 하나의 오브젝트에 대한 뎁스 정보에 기초하여 기설정된 기준을 만족하는 오브젝트가 기설정된 뎁스 값을 가지도록 상기 입력된 영상의 뎁스를 시프트하여 뎁스를 조정하는 단계, 상기 뎁스가 조정된 영상에 기초하여 다시점 영상을 렌더링하는 단계 및, 상기 다시점 영상을 기설정된 배치 패턴으로 배치하여 디스플레이하는 단계를 포함한다.
여기서, 상기 기설정된 뎁스 값은, 뎁스 맵(depth map)에서 포컬 플레인(focal plane)에 대응되는 뎁스 값이 될 수 있다.
또한, 상기 뎁스를 조정하는 단계는, 상기 입력된 영상에 포함된 적어도 하나의 오브젝트의 뎁스 값 및 상기 오브젝트가 차지하는 픽셀 영역의 크기에 기초하여 상기 기설정된 기준을 만족하는 오브젝트를 결정할 수 있다.
또한, 상기 뎁스를 조정하는 단계는, 상기 적어도 하나의 오브젝트 중 상기 기설정된 뎁스 값보다 작은 뎁스 값을 갖는 후경 오브젝트의 픽셀 면적 및 상기 기설정된 뎁스 값보다 큰 뎁스 값을 갖는 전경 오브젝트의 픽셀 면적을 비교하여, 더 큰 픽셀 면적을 갖는 오브젝트가 상기 포컬 플레인 상에 배치되도록 상기 입력된 영상의 뎁스를 시프트할 수 있다.
또한, 상기 뎁스를 조정하는 단계는, 상기 적어도 하나의 오브젝트 중 상기 기설정된 뎁스 값보다 작은 뎁스 값을 갖는 후경 오브젝트의 픽셀 면적 및 상기 기설정된 뎁스 값보다 큰 뎁스 값을 갖는 전경 오브젝트의 픽셀 면적이 동일한 경우, 상기 후경 오브젝트가 포컬 플레인 상에 배치되도록 상기 입력된 영상의 뎁스를 시프트할 수 있다.
또한, 뎁스를 조정하는 단계는, 특정 오브젝트를 기설정된 뎁스 값을 가지도록 상기 입력된 영상의 뎁스를 시프트하는 경우, 상기 기설정된 배치 패턴에서 다시점 영상이 역순으로 배치되어 역시(Pseudo Stereo)가 발생하는 구간에서 울럼임 현상이 최소화되는 오브젝트를 상기 기설정된 기준을 만족하는 오브젝트로 결정할 수 있다.
또한, 상기 다시점 영상이 총 N 시점인 경우, 상기 기설정된 배치 패턴은, 제1 시점부터 제N/2 시점까지는 순차적으로 배열하고, 그 후 제N/2-1 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴이거나, 제1 시점부터 제N 시점까지의 홀수 및 짝수 시점 중 하나의 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 홀수 및 짝수 시점 중 나머지 하나의 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이 될 수 있다.
또한, 시청자에게 동일한 입체감을 제공하는 각 뎁스 구간에 대한 정보를 저장하는 단계를 더 포함하며, 상기 뎁스를 조정하는 단계는, 상기 저장된 정보에 기초하여, 상기 입력된 영상에 포함된 적어도 하나의 오브젝트의 뎁스를 상기 적어도 하나의 오브젝트와 동일한 입체감을 제공하는 뎁스 구간에서 상기 포컬 플레인에 가까운 뎁스 값으로 조정할 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 무안경식 디스플레이 시스템에서 다시점 영상의 배치 패턴에 따라 발생하는 울렁임 현상을 감소시킬 수 있게 된다.
도 1a 및 도 1b는 종래 기술을 설명하기 위한 도면이다.
도 2a 내지 도 2c는 본 발명의 이해를 돕기 위한 무안경 3D 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 3a 및 도 3b는 본 발명의 다양한 실시 예에 따른 다시점 영상 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 4는 본 발명의 일 실시 예에 따른 역시 구간의 울렁임 현상을 설명하기 위한 도면이다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 도면이다.
도 6a 및 도 6b는 본 발명의 다른 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 도면이다.
도 7a 및 도 7b는 본 발명의 또 다른 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 도면이다.
도 8a 내지 도 8c는 본 발명의 일 실시 예에 따른 뎁스 조정 방법을 예를 들어 설명하기 위한 도면들이다.
도 9는 본 발명의 또 다른 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 도면이다.
도 10은 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 방법을 설명하기 위한 흐름도이다.
이하 본 발명의 다양한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다.
도 2a 내지 도 2c는 본 발명의 이해를 돕기 위한 무안경 3D 디스플레이 장치의 동작을 설명하기 위한 도면이다.
도 2a는 본 발명의 일 실시 예에 따라 다시점 영상을 디스플레이하여 무안경 방식으로 입체 영상을 제공하는 장치의 동작 방식을 나타낸다. 여기에서, 다시점 영상은 동일한 오브젝트를 서로 다른 각도에서 촬영한 복수의 영상을 포함한다. 즉, 서로 다른 시점에서 촬영한 복수의 영상을 서로 다른 각도로 굴절시키고, 소위 시청 거리라 하는 일정한 거리만큼 떨어진 위치(가령, 약 3m)에 포커스된 영상을 제공한다. 이러한 영상이 형성되는 위치를 시청 영역이라 한다. 이에 따라, 사용자의 한 쪽 눈이 하나의 제1 시청 영역에 위치하고, 다른 쪽 눈이 제2 시청 영역에 위치하면 입체감을 느낄 수 있게 된다.
일 예로, 도 2a는 총 7 시점의 다시점 영상의 디스플레이 동작을 설명하는 도면이다. 도 2a에 따르면, 무안경 3D 디스플레이 장치는 좌안에는 7 시점 중 1 시점 영상에 해당하는 광이, 우안에는 2 시점 영상에 해당하는 광이 투사되도록 할 수 있다. 이에 따라, 사용자는 좌안 및 우안에서 서로 다른 시점의 영상을 시청하게 되어 입체감을 느낄 수 있게 된다.
도 2b 및 도 2c는 본 발명의 일 실시 예에 따라 다시점 영상을 배치하는 패턴을 설명하기 위한 도면이다.
본 발명에 따르면, 도 1a 및 도 1b에서 설명한 Linear Mapping 방식에 따른 문제점을 해소하기 위하여 Cyclic Mapping 방식에 따라 다시점 영상을 배치할 수 있다.
구체적으로, 다시점 영상이 총 N 시점인 경우, 제1 시점부터 제N/2 시점까지는 순차적으로 배열하고, 그 후 제N/2-1 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴으로 다시점 영상을 배치할 수 있다. 이 경우, N 이 홀수인 경우에는 N/2 보다 큰 정수(또는 N/2 보다 작은 정수)에 대응되는 시점이 정순과 역순이 배치되는 기준이 전환 시점이 될 수 있다. 일 예로, 도 2b에 도시된 바와 같이 다시점 영상이 총 7 시점인 경우, 7/2 보다 큰 정수인 4에 대응되는 제4 시점이 전환 시점이 되고, 이에 따라 제1 시점부터 제4 시점까지는 순차적으로 배열하고, 그 후 제3 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴으로 다시점 영상을 배치할 수 있다.
다만, 이에 한정되는 것은 아니며, 제1 시점부터 제N 시점까지의 홀수 및 짝수 시점 중 하나의 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 홀수 및 짝수 시점 중 나머지 하나의 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴으로 다시점 영상을 배치할 수도 있다. 일 예로, 다시점 영상이 총 7 시점인 경우, 1,3,5,7,6,4,2 시점 영상이 반복되는 배치 패턴으로 다시점 영상을 배치할 수 있다.
한편, 도 2b에 도시된 바와 같은 Cyclic Mapping 방식에 따라 다시점 영상을 배치하는 경우, 시점이 역순으로 배치되는 역시(Pseudo Stereo) 구간이 발생하게 된다. 예를 들어, 도 2c에서 다시점 영상 1 내지 4가 정순으로 배치되는 광학 시점 1 내지 4 구간은 정시에 해당하고, 다시점 영상 1 내지 4가 역순으로 배치되는 광학 시점 4 내지 7 구간은 역시 구간에 해당한다. 이러한 역시 구간에서는 울렁임 현상이 발생하는 문제점이 있지만, 본 발명에서는 다시점 영상의 뎁스를 조정하여 역시 구간에서 발생하는 울렁임 현상을 감소시키도록 한다.
이하에서는, 역시 구간에서 발생하는 울렁임 현상을 최소화하기 위한 본 발명의 구성에 대해 자세히 설명하도록 한다.
도 3a 및 도 3b는 본 발명의 다양한 실시 예에 따른 다시점 영상 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 3a는 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 3a에 따르면, 다시점 영상 디스플레이 장치(100)는 뎁스 조정부(110), 렌더링부(120), 디스플레이부(130) 및 제어부(140)를 포함한다.
다시점 영상 디스플레이 장치(100)는 TV, 모니터, PC, 키오스크, 태블릿 PC, 전자 액자, 키오스크, 휴대폰 등과 같은 다양한 유형의 디스플레이 장치로 구현될 수 있다.
영상 입력부(미도시)는 영상 및 뎁스 정보를 입력받는다. 구체적으로, 영상 입력부(미도시)는 외부의 저장 매체, 방송국, 웹 서버 등과 같은 각종 외부 장치로부터 영상과 영상의 깊이 정보를 수신받을 수 있다. 여기서, 입력되는 영상은 단일 시점 영상, 스테레오(Stero) 영상, 다시점 영상 중 어느 하나의 영상이다. 단일 시점 영상은 일반적인 촬영 장치에 의해 촬영된 영상이며, 스테레오 영상(Stereoscopic image)은 좌안 영상과 우안 영상만으로 표현된 3차원 비디오 영상으로, 스테레오 촬영 장치에 의해 촬영된 입체 영상이다. 일반적으로 스테레오 촬영 장치는 2개의 렌즈를 구비한 촬영 장치로 입체 영상을 촬영하는데 사용된다. 그리고, 다시점 영상(Multiview image)은 한대 이상의 촬영 장치를 통해 촬영된 영상들을 기하학적으로 교정하고 공간적인 합성등을 통하여 여러 방향의 다양한 시점을 사용자에게 제공하는 3차원 비디오 영상을 의미한다.
또한, 영상 입력부(미도시)는 영상의 뎁스 정보를 수신할 수 있다. 일반적으로 영상의 뎁스(Depth)는 영상의 각각 픽셀별로 부여된 깊이 값으로, 일 예로, 8bit의 뎁스는 0~255까지의 그레이 스케일(grayscale) 값을 가질 수 있다. 예를 들어, 흑/백을 기준으로 나타낼 때, 검은색(낮은 값)이 시청자로부터 먼 곳을 나타내며, 흰색(높은 값)이 시청자로부터 가까운 곳을 나타낼 수 있다.
뎁스(depth) 정보란 3D 영상의 뎁스를 나타내는 정보로, 3D 영상을 구성하는 좌안 영상과 우안 영상 사이의 양안 시차 정도에 대응되는 정보이다. 뎁스 정보에 따라 사람이 느끼는 입체감의 정도가 달라진다. 즉, 뎁스가 큰 경우 좌우 양안 시차가 크게 되므로 입체감이 상대적으로 크게 느껴지고, 뎁스가 작은 경우 좌우 양안 시차가 작게 되므로 입체감이 상대적으로 작게 느껴지게 된다. 뎁스 정보는 일반적으로, 스테레오 정합(Stereo matching) 등과 같이 영상의 2차원적 특성만을 가지고 얻는 수동적인 방법과 깊이 카메라(Depth camera)와 같은 장비를 이용하는 능동적 방법을 통하여 획득될 수 있다. 한편, 뎁스 정보는 뎁스 맵 형태가 될 수 있다.
뎁스 맵(Depth map)이란 영상의 각 영역 별 뎁스 정보를 포함하고 있는 테이블을 의미한다. 영역은 픽셀 단위로 구분될 수도 있고, 픽셀 단위보다 큰 기설정된 영역으로 정의될 수도 있다. 일 예에 따라 뎁스 맵은 0~255까지의 그레이 스케일(grayscale) 값 중 127 또는 128을 기준 값 즉, 0(또는 포컬 플레인)으로 하여 127 또는 128 보다 작은 값을 - 값으로 나타내고, 큰 값을 + 값으로 나타내는 형태가 될 수 있다. 포컬 플레인의 기준값은 0~255사이에서 임의로 선택할 수 있다. 값은 침강을 의미하며, +값은 돌출을 의미한다.
뎁스 조정부(110)는 뎁스 정보에 기초하여 입력된 영상의 뎁스를 조정한다. 구체적으로, 뎁스 조정부(110)는 상술한 Cyclic Mapping 방식에 따른 역시 구간에서 발생 가능한 울렁임 현상이 최소가 되도록 입력된 영상의 뎁스를 조정할 수 있는데 이에 대해서는 후술하는 제어부(140)에 대한 설명에서 자세히 설명하도록 한다.
렌더링부(120)는 뎁스 조정부(110)에서 뎁스가 조정된 영상을 이용하여 다시점 영상을 렌더링할 수 있다.
구체적으로, 렌더링부(120)는 2D 영상의 경우, 2D/3D 변환에 추출된 뎁스 정보를 기초로 다시점 영상을 렌더링할 수 있다. 또는 렌더링부(120)는 멀티 뷰 즉, N 개의 뷰 및 대응되는 N개의 뎁스 정보가 입력되는 경우 입력된 N개의 뷰 및 뎁스 정보 중 적어도 하나의 뷰 및 뎁스 정보에 기초하여 다시점 영상을 렌더링할 수 있다. 또는 렌더링부(120)는 N 개의 뷰 만 입력되는 경우, N 개의 뷰 로부터 뎁스 정보 추출 후, 추출된 뎁스 정보에 기초하여 다시점 영상을 렌더링할 수 있다.
일 예로, 렌더링부(120)는 2D 영상의 경우, 2D/3D 변환에 추출된 뎁스 정보를 기초로 다시점 영상을 렌더링할 수 있다. 또는 렌더링부(120)는 멀티 뷰 즉, N 개의 뷰 및 대응되는 N개의 뎁스 정보가 입력되는 경우 입력된 N개의 뷰 및 뎁스 정보 중 적어도 하나의 뷰 및 뎁스 정보에 기초하여 다시점 영상을 렌더링할 수 있다. 또는 렌더링부(120)는 N 개의 뷰 만 입력되는 경우, N 개의 뷰 로부터 뎁스 정보 추출 후, 추출된 뎁스 정보에 기초하여 다시점 영상을 렌더링할 수 있다.
일 예로, 렌더링부(120)는 3D 영상, 즉 좌안 영상 및 우안 영상 중 하나를 기준 뷰(또는 센터 뷰)로 선택하여 다시점 영상의 기초가 되는 최좌측 뷰 및 최우측 뷰를 생성할 수 있다. 이 경우, 렌더링부(130)는 기준 뷰로 선택된 좌안 영상 및 우안 영상 중 하나에 대응되는 보정된 뎁스 정보를 기초로 최좌측 뷰 및 최우측 뷰를 생성할 수 있다.
렌더링부(120)는 최좌측 뷰 및 최우측 뷰가 생성되면, 센터 뷰와 최좌측 뷰 사이에서 복수개의 보간 뷰를 생성하고, 센터 뷰와 최우측 뷰 사이에서 복수 개의 보간 뷰를 생성함으로써 다시점 영상을 렌더링할 수 있다. 다만, 이에 한정되는 것은 아니며, 보외 기법에 의해 생성되는 보외 뷰(Extrapolation View)를 생성하는 것도 가능하다. 한편, 2D 영상 및 뎁스 정보를 기초로 다시점 영상을 렌더링하는 경우 2D 영상을 센터 뷰로 선택할 수 있음을 물론이다.
한편, 렌더링부(120)는 다시점 영상을 렌더링하기 전에 최좌측 뷰 및 최우측 뷰들에 존재하는 홀 필링 작업을 수행하여 최좌측 뷰 및 최우측 뷰를 보상할 수 있다.
또한, 렌더링부(120)는 센터 뷰, 최좌측 뷰 및 최우측 뷰를 기초로 생성된 다시점 영상 각각에 대한 홀 영역에 대해서는 최좌측 뷰 및 최우측 뷰 중 하나에 대응되는 픽셀 영역의 값을 카피하여 홀 영역을 인페인팅(inpainting)할 수 있다. 이 경우 배경에서 가까운 부분부터 홀 필링을 수행할 수 있다. 예를 들어, 총 35 개의 다시점 영상을 렌더링하는 경우 17번째에 위치하는 센터뷰 및 최우측 뷰인 35 번째 뷰 사이에 존재하는 18 내지 34 번째 뷰에 대해서는 최우측 뷰인 35 번째 뷰에 대응되는 픽셀 영역의 값을 홀 영역을 필링할 수 있다.
다만 경우에 따라서는 입력 영상을 기초로 각 다시점 영상 각각에 대한 홀 필링을 수행하는 것도 가능하다.
다만, 상술한 렌더링부(120)의 상세 동작은 일 예를 든 것이며, 렌더링부(120)는 상술한 동작 외에 다양한 방법에 의해 다시점 영상을 렌더링할 수 있음은 물론이다.
디스플레이부(130)는, 멀티 뷰(또는 멀티 광학 뷰)를 제공하는 기능을 한다. 이를 위해, 디스플레이부(130)는 멀티 뷰 제공을 위한 디스플레이 패널(131) 및 시역 분리부(132)를 포함한다.
디스플레이 패널(131)은 복수의 서브 픽셀로 구성된 복수의 픽셀을 포함한다. 여기에서, 서브 픽셀은 R(Red), G(Green), B(Blue)로 구성될 수 있다. 즉, R, G, B의 서브 픽셀로 구성된 픽셀이 복수의 행 및 열 방향으로 배열되어 디스플레이 패널(141)을 구성할 수 있다. 이 경우, 디스플레이 패널(141)는 액정 디스플레이 패널(Liquid Crystal Display Panel: LCD Panel), 플라즈마 디스플레이 패널(Plasma Display Panel: PDP), 유기발광 소자(Organic Light Emitting Diode, OLED), VFD(Vacuum Fluorescent Display), FED(Field Emission Display), ELD(Electro Luminescence Display) 등과 같은 다양한 디스플레이 유닛으로 구현될 수 있다.
디스플레이 패널(131)은 영상 프레임을 디스플레이한다. 구체적으로, 디스플레이 패널(131)은 서로 다른 시점의 복수의 이미지가 순차적으로 반복 배치된 영상 프레임을 디스플레이할 수 있다.
한편, 도 3a에 도시하지 않았지만, 디스플레이 패널(131)이 LCD 패널로 구현되는 경우, 디스플레이 장치(200)는 디스플레이 패널(131)에 백라이트를 공급하는 백라이트부(미도시) 및 영상 프레임을 구성하는 각 픽셀들의 픽셀 값에 따라 디스플레이 패널(131)의 픽셀들을 구동하는 패널 구동부(미도시)를 더 구비할 수 있다.
시역 분리부(132)는 디스플레이 패널(131)의 전면에 배치되어 시청 영역 별로 상이한 시점 즉, 멀티 뷰를 제공할 수 있다. 이 경우, 시역 분리부(132)는 렌티큘러 렌즈(Lenticular lens) 또는, 패러랙스 배리어(Parallax Barrier)로 구현될 수 있다.
예를 들어, 시역 분리부(132)는 복수의 렌즈 영역을 포함하는 렌티큘러 렌즈로 구현될 수 있다. 이에 따라, 렌티큘러 렌즈는 복수의 렌즈 영역을 통해 디스플레이 패널(131)에서 디스플레이되는 영상을 굴절시킬 수 있다. 각 렌즈 영역은 적어도 하나의 픽셀에 대응되는 크기로 형성되어, 각 픽셀을 투과하는 광을 시청 영역별로 상이하게 분산시킬 수 있다.
다른 예로, 시역 분리부(132)는 패러랙스 배리어로 구현될 수 있다. 패러랙스 배리어는 복수의 배리어 영역을 포함하는 투명 슬릿 어레이로 구현된다. 이에 따라, 배리어 영역 간의 슬릿(slit)을 통해 광을 차단하여 시청 영역별로 상이한 시점의 영상이 출사되도록 할 수 있다.
한편, 시역 분리부(132)는 화질 개선을 위하여 일정한 각도로 기울어져서 동작할 수 있다. 제어부(140)는 다시점 영상 각각을 시역 분리부(132)가 기울어진 각도에 기초하여 분할하고, 이들을 조합하여 영상 프레임을 생성할 수 있다. 이에 따라, 사용자는 디스플레이 패널(131)의 서브 픽셀에 수직 방향 또는 수평 방향으로 디스플레이된 영상을 시청하는 것이 아니라, 서브 픽셀에 일정한 기울기를 갖도록 디스플레이된 영상을 시청하게 된다.
제어부(140)는 입력된 영상에 포함된 적어도 하나의 오브젝트에 대한 뎁스 정보에 기초하여 기설정된 기준을 만족하는 오브젝트가 기설정된 뎁스 값을 가지도록 입력된 영상의 뎁스를 시프트하도록 뎁스 조정부(110)를 제어할 수 있다.
여기서, 기설정된 뎁스 값은 뎁스 맵(depth map)에서 포컬 플레인(focal plane)에 대응되는 뎁스 값이 될 수 있다.
이 경우, 제어부(140)는 특정 오브젝트가 기설정된 뎁스 값을 가지도록 입력된 영상의 뎁스를 시프트하는 경우, 기설정된 배치 패턴에서 다시점 영상이 역순으로 배치되어 역시(Pseudo Stereo)가 발생하는 구간(도 2b 및 도 2c 참고)에서 울럼임 현상이 최소화되는 오브젝트를 기설정된 기준을 만족하는 오브젝트로 결정할 수 있다.
또한, 제어부(140)는 입력된 영상에 포함된 적어도 하나의 오브젝트의 뎁스 값 및 오브젝트가 차지하는 픽셀 영역의 크기에 기초하여 기설정된 기준을 만족하는 오브젝트를 결정할 수 있다.
이 경우 제어부(140)는 적어도 하나의 오브젝트 중 기설정된 뎁스 값보다 작은 뎁스 값을 갖는 후경 오브젝트의 픽셀 면적 및 기설정된 뎁스 값보다 큰 뎁스 값을 갖는 전경 오브젝트의 픽셀 면적을 비교하여, 더 큰 픽셀 면적을 갖는 오브젝트가 포컬 플레인 상에 배치되도록 입력된 영상의 뎁스를 시프트할 수 있다.
구체적으로, 제어부(140)는 입력된 영상에 포함된 오브젝트 중 기설정된 뎁스 값보다 큰 뎁스 값을 갖는 전경 오브젝트의 픽셀 면적의 합 및 기설정된 뎁스 값보다 작은 뎁스 값을 갖는 후경 오브젝트의 픽셀 면적의 합을 비교하고, 픽셀 면적의 합이 더 큰 오브젝트 중 하나가 포컬 플레인 상에 배치되도록 입력된 영상의 뎁스를 시프트할 수 있다.
예를 들어, 제어부(140)는 전경 오브젝트의 픽셀 면적이 합이 후경 오브젝트의 픽셀 면적의 합보다 큰 경우, 전경 오브젝트 중 하나가 포컬 플레인 상에 배치되도록 입력된 영상의 뎁스를 시프트하고, 전경 오브젝트의 픽셀 면적이 합이 후경 오브젝트의 픽셀 면적의 합보다 작은 경우, 후경 오브젝트 중 하나가 포컬 플레인 상에 배치되도록 입력된 영상의 뎁스를 시프트할 수 있다.
또한, 제어부(140)는 적어도 하나의 오브젝트 중 기설정된 뎁스 값보다 작은 뎁스 값을 갖는 후경 오브젝트의 픽셀 면적의 합 및 기설정된 뎁스 값보다 큰 뎁스 값을 갖는 전경 오브젝트의 픽셀 면적의 합이 동일한 경우, 후경 오브젝트 중 하나가 포컬 플레인 상에 배치되도록 입력된 영상의 뎁스 즉 입력된 영상에 포함된 각 오브젝트의 뎁스를 시프트할 수 있다.
상술한 입력 영상의 뎁스를 조정하는 구체적은 방법에 대해서는 도면을 참조하여 후술하도록 한다.
도 3b는 본 발명의 다른 실시 예에 따른 다시점 영상 디스플레이 장치의 구성을 나타내는 블럭도이다.
도 3b에 따르면 다시점 영상 디스플레이 장치(200)는 뎁스 조정부(110), 렌더링부(120), 디스플레이부(130), 제어부(140) 및 저장부(150)를 포함한다. 도 2b에 도시된 구성 중 뎁스 조정부(110), 렌더링부(120), 디스플레이부(130)의 구성은 도 2a에 도시된 구성과 동일하므로 자세한 설명은 생략하도록 한다.
저장부(150)는 시청자에게 동일한 입체감을 제공하는 각 뎁스 구간에 대한 정보(JNDD:Just Noticeable Difference in Depth)를 저장한다. 예를 들어, 8 bit의 뎁스는 0~255까지의 그레이 스케일(grayscale) 값을 갖는 경우, 0~255 값 각각이 시청자에게 다른 입체감으로 인식되는 것이 아니라, 일정 범위 내의 값은 동일한 뎁스로 인식될 수 있다. 예를 들어, 0~4 구간 사이의 뎁스 값은 시청자에게 동일한 입체감을 제공하고, 5~8 구간 사이의 뎁스 값은 시청자에게 동일한 입체감을 제공할 수 있다. 여기서, 시청자에게 동일한 입체감을 제공하는 각 뎁스 구간에 대한 정보를 실험을 통해 획득될 수 있다.
제어부(140)는 저장부(150)에 저장된 정보에 기초하여, 입력된 영상에 포함된 적어도 하나의 오브젝트의 뎁스를 적어도 하나의 오브젝트와 동일한 입체감을 제공하는 뎁스 구간에서 포컬 플레인에 가까운 뎁스 값으로 조정할 수 있다. 예를 들어, 127 값이 포컬 플레인으로 설정되고 127 내지 131 구간, 132 내지 136 구간의 값이 시청자에게 동일한 입체감을 주는 경우 130의 뎁스 값을 갖는 오브젝트의 뎁스는 127로 조정하고, 135 뎁스 값을 갖는 오브젝트의 뎁스는 132로 조정할 수 있다. 이에 따라 시청자에게 동일한 입체감을 제공하면서 울렁임 현상을 감소시킬 수 있게 된다.
도 4는 본 발명의 일 실시 예에 따른 역시 구간의 울렁임 현상을 설명하기 위한 도면이다.
상술한 Cyclic Mapping 방식에 따른 역시 구간의 울렁임 현상은 오브젝트의 깊이 차에 의해 발생한다.
도 4에 도시된 바와 같이 각 오브젝트에 대한 울렁임 발생 정도는 포컬 플레인 즉, 스크린 면에서 멀어질수록 증가한다.
도시된 예에서, 오브젝트 3의 경우가 울렁임 현상이 가장 작고, 오브젝트 1이 울렁임 현상이 가장 크게 된다. 즉, 울렁임 강도는 오브젝트 1, 오브젝트 2, 오브젝트 3 순으로 작아진다.
도 5a 및 도 5b는 본 발명의 일 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 도면이다.
도 5a에 도시된 바와 같이 입력 영상에 포함된 세 개의 오브젝트(510, 520, 530)의 뎁스가 각각 돌출 강도 1, 돌출 강도 3, 침강 강도 4인 경우를 가정하도록 한다.
돌출 강도를 갖는 오브젝트들 즉, 전경 오브젝트들(510, 520)의 픽셀 면적 합이 침강 강도를 갖는 오브젝트 즉, 후경 오브젝트(530)의 픽셀 면적보다 더 큰 경우, 더 큰 픽셀 면적을 갖는 전경 오브젝트(510, 520) 중 하나가 포컬 플레인 상에 배치되도록 오브젝트들(510, 520, 530)의 뎁스를 시프트시킬 수 있다. 예를 들어, 돌출 강도 1을 갖는 전경 오브젝트(510)가 포컬 플레인 상에 배치되도록 오브젝트들(510, 520, 530) 뎁스를 시프트시킬 수 있다. 즉, 오브젝트들(510, 520, 530)을 침강 강도 1 만큼 시프트시킬 수 있다. 이에 따라 화면에서의 울렁임 정도가 감소하게 된다.
상술한 실시 예에서 각 오브젝트들(510, 520, 530)의 픽셀 면적이 동일하므로, 설명의 편의를 위하여 울렁임 정도를 뎁스의 합으로 계산하면 도 5a에 도시된 배치의 경우 전체 울렁임 정도는 1+3+4=8이 된다. 하지만, 도 5b에 도시된 바와 같이 각 오브젝트의 뎁스를 침강 강도 1만큼 시프트하게 되는 경우 전체 울렁임 정도는 0+2+5=7이 되므로 울러임 정도가 감소하게 된다.
도 6a 및 도 6b는 본 발명의 다른 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 도면이다.
도 6a에 도시된 바와 같이 입력 영상에 포함된 세 개의 오브젝트(610, 620, 630)의 뎁스가 각각 돌출 강도 1, 돌출 강도 3, 침강 강도 4인 경우를 가정하도록 한다.
돌출 강도를 갖는 오브젝트들 즉, 전경 오브젝트들(610, 620)의 픽셀 면적 합이 침강 강도를 갖는 오브젝트 즉, 후경 오브젝트(630)의 픽셀 면적보다 더 작은 경우, 더 큰 픽셀 면적을 갖는 후경 오브젝트(630)가 포컬 플레인 상에 배치되도록 오브젝트들(610, 620, 630)의 뎁스를 시프트시킬 수 있다. 예를 들어, 침강 강도 4을 갖는 후경 오브젝트(630)가 포컬 플레인 상에 배치되도록 오브젝트들(610, 620, 630) 뎁스를 시프트시킬 수 있다. 즉, 오브젝트들(610, 620, 630)을 돌출 강도 4 만큼 시프트시킬 수 있다. 이에 따라 화면에서의 울렁임 정도가 감소하게 된다.
즉, 큰 면적을 차지하는 후경 오브젝트(630)에서 발생하는 울렁임 정도가 감소하였으므로 작은 면적을 차지하는 전경 오브젝트들(610, 620)들에서 발생하는 울렁임 정도가 다소 증가하더라도 전체적인 울렁임 정도는 감소하게 된다.
도 7a 및 도 7b는 본 발명의 또 다른 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 도면이다.
도 7a에 도시된 바와 같이 입력 영상에 포함된 두 개의 오브젝트(710, 720)의 뎁스가 각각 돌출 강도 2, 침강 강도 2인 경우를 가정하도록 한다.
돌출 강도를 갖는 오브젝트 즉, 전경 오브젝트(710)의 픽셀 면적이 침강 강도를 갖는 오브젝트 즉, 후경 오브젝트(720)의 픽셀 면적과 동일한 경우, 도 7b에 도시된 바와 같이 후경 오브젝트가 포컬 플레인 상에 배치되도록 오브젝트들(710, 720)의 뎁스를 시프트시킬 수 있다.
즉, 3D인지 관점에서 후경 오브젝트에 의한 울렁임 정도가 사용자에게 더 크게 인식되므로 전경 오브젝트와 후경 오브젝트의 픽셀 면적이 동일한 경우에는 후경 오브젝트가 포컬 플레인 상에 배치되도록 뎁스를 시프트시켜 전체적인 울렁임 정도가 감소되도록 할 수 있다.
도 8a 내지 도 8c는 본 발명의 일 실시 예에 따른 뎁스 조정 방법을 예를 들어 설명하기 위한 도면들이다.
도 8a에 도시된 바와 같이 전경 오브젝트(810) 및 후경 오브젝트(820)를 갖는 입력 영상의 뎁스 조정 방법을 살펴보도록 한다.
도 8b에 도시된 바와 같이 후경 오브젝트(820)의 픽셀 면적이 전경 오브젝트(810)의 픽셀 면적보다 더 큰 경우, 후경 오브젝트(820)가 포컬 플레인 상에 배치되도록 오브젝트들의 뎁스를 시프트시킬 수 있다. 즉 도시된 바와 같이 침강 강도 4를 갖는 후경 오브젝트(820)가 포컬 플레인 상에 배치되도록 오브젝트들(810, 820)을 돌출 강도 4만큼 시프트시킬 수 있다.
이 경우, 도 8c에 도시된 바와 같이 뎁스 맵의 뎁스가 조정되게 된다. 즉, 도 8c에 도시된 바와 같이 전경 오브젝트(810)에 해당하는 픽셀의 뎁스 값은 1에서 5로 조정되고, 후경 오브젝트(820)에 해당하는 픽셀의 뎁스 값은 -4에서 0으로 조정될 수 있다.
도 9는 본 발명의 또 다른 실시 예에 따른 뎁스 조정 방법을 설명하기 위한 도면이다.
도 9에 도시된 바와 같이 시청자에게 동일한 입체감을 제공하는 각 뎁스 구간에 대한 정보에 기초하여 입력된 영상에 포함된 오브젝트에 대한 뎁스를 조정할 수 있다.
일 예로, 도 9에 도시된 바와 같이 0 내지 4 구간 사이의 뎁스 값이 시청자에게 동일한 입체감을 제공하고, 4 내지 8 구간 사이의 뎁스 값이 시청자에게 동일한 입체감을 제공하며, 8 내지 12 구간 사이의 뎁스 값이 시청자에게 동일한 입체감을 제공한다고 가정하도록 한다.
이 경우, 침강 뎁스 값 6을 갖는 오브젝트(910)는 동일한 입체감을 제공하는 뎁스 구간에서 포컬 플레인에 가까운 값 즉, 침강 뎁스값 4로 조정하고, 돌출 뎁스 값 2을 갖는 오브젝트(920)는 동일한 입체감을 제공하는 뎁스 구간에서 포컬 플레인에 가까운 값 즉, 뎁스값 0으로 조정할 수 있다. 이에 따라 동일한 입체감을 제공하면서 울렁임 현상을 감소시킬 수 있게 된다.
다만 상술한 수치는 설명의 편의를 위하여 예를 든 것이며, 동일한 입체감을 제공하는 뎁스 구간에 대한 정보는 실험을 통하여 획득될 수 있다.
도 10은 본 발명의 일 실시 예에 따른 다시점 영상 디스플레이 방법을 설명하기 위한 흐름도이다.
도 10에 도시된 다시점 영상 디스플레이 방법에 따르면, 입력된 영상에 포함된 적어도 하나의 오브젝트에 대한 뎁스 정보에 기초하여 기설정된 기준을 만족하는 오브젝트가 기설정된 뎁스 값을 가지도록 입력된 영상의 뎁스를 시프트하여 뎁스를 조정한다(S1010). 여기서, 기설정된 뎁스 값은, 뎁스 맵(depth map)에서 포컬 플레인(focal plane)에 대응되는 뎁스 값이 될 수 있다.
이어서, 뎁스가 조정된 영상에 기초하여 다시점 영상을 렌더링한다(S1020).
이 후, 다시점 영상을 기설정된 배치 패턴으로 배치하여 디스플레이한다(S1030).
또한, 뎁스를 조정하는 S1010 단계는, 입력된 영상에 포함된 적어도 하나의 오브젝트의 뎁스 값 및 오브젝트가 차지하는 픽셀 영역의 크기에 기초하여 기설정된 기준을 만족하는 오브젝트를 결정할 수 있다.
구체적으로, 뎁스를 조정하는 S1010 단계는, 특정 오브젝트를 기설정된 뎁스 값을 가지도록 입력된 영상의 뎁스를 시프트하는 경우, 기설정된 배치 패턴에서 다시점 영상이 역순으로 배치되어 역시(Pseudo Stereo)가 발생하는 구간에서 울럼임 현상이 최소화되는 오브젝트를 기설정된 기준을 만족하는 오브젝트로 결정할 수 있다.
또한, 뎁스를 조정하는 S1010 단계는, 적어도 하나의 오브젝트 중 기설정된 뎁스 값보다 작은 뎁스 값을 갖는 후경 오브젝트의 픽셀 면적 및 기설정된 뎁스 값보다 큰 뎁스 값을 갖는 전경 오브젝트의 픽셀 면적을 비교하여, 더 큰 픽셀 면적을 갖는 오브젝트가 포컬 플레인 상에 배치되도록 입력된 영상의 뎁스를 시프트할 수 있다.
또한, 뎁스를 조정하는 S1010 단계는, 적어도 하나의 오브젝트 중 기설정된 뎁스 값보다 작은 뎁스 값을 갖는 후경 오브젝트의 픽셀 면적 및 기설정된 뎁스 값보다 큰 뎁스 값을 갖는 전경 오브젝트의 픽셀 면적이 동일한 경우, 후경 오브젝트가 포컬 플레인 상에 배치되도록 입력된 영상의 뎁스를 시프트할 수 있다.
여기서, 기설정된 배치 패턴은,다시점 영상이 총 N 시점인 경우, 제1 시점부터 제N/2 시점까지는 순차적으로 배열하고, 그 후 제N/2-1 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴이거나, 제1 시점부터 제N 시점까지의 홀수 및 짝수 시점 중 하나의 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 홀수 및 짝수 시점 중 나머지 하나의 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴이 될 수 있다.
또한, 시청자에게 동일한 입체감을 제공하는 각 뎁스 구간에 대한 정보를 저장하는 단계를 더 포함하며, 뎁스를 조정하는 S1010 단계는, 저장된 정보에 기초하여, 입력된 영상에 포함된 적어도 하나의 오브젝트의 뎁스를 적어도 하나의 오브젝트와 동일한 입체감을 제공하는 뎁스 구간에서 포컬 플레인에 가까운 뎁스 값으로 조정할 수 있다.
이상과 같이 본 발명의 다양한 실시 예에 따르면, 무안경식 디스플레이 시스템에서 다시점 영상의 배치 패턴에 따라 발생하는 울렁임 현상을 감소시킬 수 있게 된다.
상술한 다양한 실시 예에 따른 다시점 영상 디스플레이 방법은 프로그램으로 구현되어 디스플레이 장치에 제공될 수 있다.
일 예로, 입력된 영상에 포함된 적어도 하나의 오브젝트에 대한 뎁스 정보에 기초하여 기설정된 기준을 만족하는 오브젝트가 기설정된 뎁스 값을 가지도록 입력된 영상의 뎁스를 시프트하여 뎁스를 조정하는 단계, 뎁스가 조정된 영상에 기초하여 다시점 영상을 렌더링하는 단계 및, 다시점 영상을 기설정된 배치 패턴으로 배치하여 디스플레이하는 단계를 수행하는 프로그램이 저장된 비일시적 판독 가능 매체(non-transitory computer readable medium)가 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
100 : 다시점 영상 디스플레이 장치
110 : 뎁스 조정부 120 : 렌더링부
130 : 디스플레이부 140 : 제어부
150 : 저장부

Claims (16)

  1. 다시점 영상 디스플레이 장치에 있어서,
    입력된 영상의 뎁스를 조정하는 뎁스 조정부;
    상기 뎁스가 조정된 영상에 기초하여 다시점 영상을 렌더링하는 렌더링부;
    상기 다시점 영상을 기설정된 배치 패턴으로 배치하여 디스플레이하는 디스플레이부; 및
    상기 입력된 영상에 포함된 적어도 하나의 오브젝트에 대한 뎁스 정보에 기초하여 기설정된 기준을 만족하는 오브젝트가 기설정된 뎁스 값을 가지도록 상기 입력된 영상의 뎁스를 시프트하도록 상기 뎁스 조정부를 제어하는 제어부;를 포함하며,
    상기 제어부는,
    시청자에게 동일한 입체감을 제공하는 각 뎁스 구간에 대한 정보(JNDD:Just Noticeable Difference in Depth)에 기초하여 상기 적어도 하나의 오브젝트의 뎁스 값을 동일한 입체감을 제공하는 특정 뎁스 구간에서 포컬 플레인(focal plane)에 가까운 뎁스 값으로 조정하는 다시점 영상 디스플레이 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 제어부는,
    상기 입력된 영상에 포함된 적어도 하나의 오브젝트의 뎁스 값 및 상기 오브젝트가 차지하는 픽셀 영역의 크기에 기초하여 상기 기설정된 기준을 만족하는 오브젝트를 결정하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 적어도 하나의 오브젝트 중 상기 기설정된 뎁스 값보다 작은 뎁스 값을 갖는 후경 오브젝트의 픽셀 면적 및 상기 기설정된 뎁스 값보다 큰 뎁스 값을 갖는 전경 오브젝트의 픽셀 면적을 비교하여, 더 큰 픽셀 면적을 갖는 오브젝트가 상기 포컬 플레인 상에 배치되도록 상기 입력된 영상의 뎁스를 시프트하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
  5. 제3항에 있어서,
    상기 제어부는,
    상기 적어도 하나의 오브젝트 중 상기 기설정된 뎁스 값보다 작은 뎁스 값을 갖는 후경 오브젝트의 픽셀 면적 및 상기 기설정된 뎁스 값보다 큰 뎁스 값을 갖는 전경 오브젝트의 픽셀 면적이 동일한 경우, 상기 후경 오브젝트가 포컬 플레인 상에 배치되도록 상기 입력된 영상의 뎁스를 시프트하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    특정 오브젝트를 기설정된 뎁스 값을 가지도록 상기 입력된 영상의 뎁스를 시프트하는 경우, 상기 기설정된 배치 패턴에서 다시점 영상이 역순으로 배치되어 역시(Pseudo Stereo)가 발생하는 구간에서 울렁임 현상이 최소화되는 오브젝트를 상기 기설정된 기준을 만족하는 오브젝트로 결정하는 것을 특징으로 하는 다시점 영상 디스플레이 장치.
  7. 제6항에 있어서,
    상기 다시점 영상이 총 N 시점인 경우,
    상기 기설정된 배치 패턴은,
    제1 시점부터 제N/2 시점까지는 순차적으로 배열하고, 그 후 제N/2-1 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴이거나,
    제1 시점부터 제N 시점까지의 홀수 및 짝수 시점 중 하나의 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 홀수 및 짝수 시점 중 나머지 하나의 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴인 것을 특징으로 하는 다시점 영상 디스플레이 장치.
  8. 삭제
  9. 다시점 영상 디스플레이 방법에 있어서,
    입력된 영상에 포함된 적어도 하나의 오브젝트에 대한 뎁스 정보에 기초하여 기설정된 기준을 만족하는 오브젝트가 기설정된 뎁스 값을 가지도록 상기 입력된 영상의 뎁스를 시프트하여 뎁스를 조정하는 단계;
    상기 뎁스가 조정된 영상에 기초하여 다시점 영상을 렌더링하는 단계; 및
    상기 다시점 영상을 기설정된 배치 패턴으로 배치하여 디스플레이하는 단계;를 포함하며,
    상기 뎁스를 조정하는 단계는,
    시청자에게 동일한 입체감을 제공하는 각 뎁스 구간에 대한 정보(JNDD:Just Noticeable Difference in Depth)에 기초하여 상기 적어도 하나의 오브젝트의 뎁스 값을 동일한 입체감을 제공하는 특정 뎁스 구간에서 포컬 플레인(focal plane)에 가까운 뎁스 값으로 조정하는 다시점 영상 디스플레이 방법.
  10. 삭제
  11. 제9항에 있어서,
    상기 뎁스를 조정하는 단계는,
    상기 입력된 영상에 포함된 적어도 하나의 오브젝트의 뎁스 값 및 상기 오브젝트가 차지하는 픽셀 영역의 크기에 기초하여 상기 기설정된 기준을 만족하는 오브젝트를 결정하는 것을 특징으로 하는 다시점 영상 디스플레이 방법.
  12. 제11항에 있어서,
    상기 뎁스를 조정하는 단계는,
    상기 적어도 하나의 오브젝트 중 상기 기설정된 뎁스 값보다 작은 뎁스 값을 갖는 후경 오브젝트의 픽셀 면적 및 상기 기설정된 뎁스 값보다 큰 뎁스 값을 갖는 전경 오브젝트의 픽셀 면적을 비교하여, 더 큰 픽셀 면적을 갖는 오브젝트가 상기 포컬 플레인 상에 배치되도록 상기 입력된 영상의 뎁스를 시프트하는 것을 특징으로 하는 다시점 영상 디스플레이 방법.
  13. 제11항에 있어서,
    상기 뎁스를 조정하는 단계는,
    상기 적어도 하나의 오브젝트 중 상기 기설정된 뎁스 값보다 작은 뎁스 값을 갖는 후경 오브젝트의 픽셀 면적 및 상기 기설정된 뎁스 값보다 큰 뎁스 값을 갖는 전경 오브젝트의 픽셀 면적이 동일한 경우, 상기 후경 오브젝트가 포컬 플레인 상에 배치되도록 상기 입력된 영상의 뎁스를 시프트하는 것을 특징으로 하는 다시점 영상 디스플레이 방법.
  14. 제9항에 있어서,
    상기 뎁스를 조정하는 단계는,
    특정 오브젝트를 기설정된 뎁스 값을 가지도록 상기 입력된 영상의 뎁스를 시프트하는 경우, 상기 기설정된 배치 패턴에서 다시점 영상이 역순으로 배치되어 역시(Pseudo Stereo)가 발생하는 구간에서 울렁임 현상이 최소화되는 오브젝트를 상기 기설정된 기준을 만족하는 오브젝트로 결정하는 것을 특징으로 하는 다시점 영상 디스플레이 방법.
  15. 제14항에 있어서,
    상기 다시점 영상이 총 N 시점인 경우,
    상기 기설정된 배치 패턴은,
    제1 시점부터 제N/2 시점까지는 순차적으로 배열하고, 그 후 제N/2-1 시점부터 제1 시점까지 역순으로 배열하는 패턴이 반복되는 배치 패턴이거나,
    제1 시점부터 제N 시점까지의 홀수 및 짝수 시점 중 하나의 시점을 순차적으로 배열하고, 그 후 제N 시점부터 제1 시점까지의 홀수 및 짝수 시점 중 나머지 하나의 시점을 역순으로 배열하는 패턴이 반복되는 배치 패턴인 것을 특징으로 하는 다시점 영상 디스플레이 방법.
  16. 삭제
KR1020130137522A 2013-11-13 2013-11-13 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법 Expired - Fee Related KR102143473B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130137522A KR102143473B1 (ko) 2013-11-13 2013-11-13 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법
US14/255,633 US9035943B1 (en) 2013-11-13 2014-04-17 Multi-view image display apparatus and multi-view image display method thereof
CN201410641396.8A CN104639930B (zh) 2013-11-13 2014-11-13 多视点图像显示设备及其多视点图像显示方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130137522A KR102143473B1 (ko) 2013-11-13 2013-11-13 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법

Publications (2)

Publication Number Publication Date
KR20150055322A KR20150055322A (ko) 2015-05-21
KR102143473B1 true KR102143473B1 (ko) 2020-08-12

Family

ID=53043416

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130137522A Expired - Fee Related KR102143473B1 (ko) 2013-11-13 2013-11-13 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법

Country Status (3)

Country Link
US (1) US9035943B1 (ko)
KR (1) KR102143473B1 (ko)
CN (1) CN104639930B (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9589388B1 (en) * 2013-07-10 2017-03-07 Thinci, Inc. Mechanism for minimal computation and power consumption for rendering synthetic 3D images, containing pixel overdraw and dynamically generated intermediate images
EP3043316A1 (en) * 2015-01-08 2016-07-13 Thomson Licensing Method and apparatus for generating superpixels for multi-view images
KR102143463B1 (ko) * 2015-09-24 2020-08-12 삼성전자주식회사 다시점 영상 디스플레이 장치 및 그 제어 방법
KR102121389B1 (ko) * 2015-10-16 2020-06-10 삼성전자주식회사 무안경 3d 디스플레이 장치 및 그 제어 방법
CN106056616B (zh) * 2016-06-07 2019-02-26 十二维度（北京）科技有限公司 深度学习2d转3d单元像素块深度图修改方法及装置
US10511831B2 (en) * 2017-01-04 2019-12-17 Innolux Corporation Display device and method for displaying
CN115052139B (zh) * 2018-01-19 2023-09-08 交互数字Vc控股公司 一种用于显示视频的方法和显示设备
MX2020009791A (es) 2018-03-23 2020-11-11 Pcms Holdings Inc Método basado en planos multifocales para producir puntos de vista estereoscópicos en un sistema de renderizado de imágenes basado en profundidad (mfp-dibr).
CN118158376A (zh) 2018-07-05 2024-06-07 Pcms控股公司 用于近眼焦平面覆盖层的方法和系统
KR102892290B1 (ko) * 2020-12-28 2025-11-27 삼성전자주식회사 전자 장치 및 전자 장치의 제어 방법
CA3213167A1 (en) 2021-04-04 2022-10-13 Leia Inc. Multiview image creation system and method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120038641A1 (en) * 2010-08-10 2012-02-16 Monotype Imaging Inc. Displaying Graphics in Multi-View Scenes
JP2013214975A (ja) * 2012-04-03 2013-10-17 Samsung Electronics Co Ltd ３ｄディスプレイ装置およびその映像処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7277121B2 (en) * 2001-08-29 2007-10-02 Sanyo Electric Co., Ltd. Stereoscopic image processing and display system
KR100728110B1 (ko) * 2004-01-29 2007-06-13 삼성에스디아이 주식회사 입체감을 조절할 수 있는 입체영상 표시장치 및 그 방법
CN101546042B (zh) * 2008-03-26 2011-06-08 陈意辉 平面立体混合兼容型视差挡板平板与背投自由立体视频显示器
KR101699920B1 (ko) * 2009-10-07 2017-01-25 삼성전자주식회사 깊이 조절 방법 및 장치
US20120188226A1 (en) * 2011-01-21 2012-07-26 Bu Lin-Kai Method and system for displaying stereoscopic images
TWI504232B (zh) * 2011-06-22 2015-10-11 Realtek Semiconductor Corp 3d影像處理裝置
JP2013038602A (ja) * 2011-08-08 2013-02-21 Sony Corp 画像処理装置、および画像処理方法、並びにプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120038641A1 (en) * 2010-08-10 2012-02-16 Monotype Imaging Inc. Displaying Graphics in Multi-View Scenes
JP2013214975A (ja) * 2012-04-03 2013-10-17 Samsung Electronics Co Ltd ３ｄディスプレイ装置およびその映像処理方法

Also Published As

Publication number Publication date
KR20150055322A (ko) 2015-05-21
US9035943B1 (en) 2015-05-19
CN104639930B (zh) 2018-03-09
US20150130793A1 (en) 2015-05-14
CN104639930A (zh) 2015-05-20

Similar Documents

Publication Publication Date Title
KR102143473B1 (ko) 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법
KR102185130B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
KR102030830B1 (ko) 곡면형 다시점 영상 디스플레이 장치 및 그 제어 방법
KR102121389B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
KR102140080B1 (ko) 다시점 영상 디스플레이 장치 및 제어 방법
KR102130123B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
KR101966152B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
KR102174258B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
KR102076598B1 (ko) 디스플레이 장치 및 그의 다시점 영상 디스플레이 방법
KR102143472B1 (ko) 다시점 영상 처리 장치 및 그 영상 처리 방법
KR101975246B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
KR20170029210A (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
KR101957243B1 (ko) 다시점 영상 디스플레이 장치 및 그 다시점 영상 디스플레이 방법
US20120154381A1 (en) Method and apparatus for providing 3-dimensional image
KR102143463B1 (ko) 다시점 영상 디스플레이 장치 및 그 제어 방법
KR101980275B1 (ko) 다시점 영상 디스플레이 장치 및 디스플레이 방법
KR101785915B1 (ko) 무안경 멀티뷰 또는 수퍼멀티뷰 영상 구현 시스템
KR101086305B1 (ko) 3차원 영상 디스플레이 장치 및 방법
KR102232462B1 (ko) 무안경 입체영상표시장치
KR20130112679A (ko) 3d 디스플레이 장치 및 그 영상 처리 방법
KR101954256B1 (ko) 디스플레이 장치 및 그 제어 방법
KR20130123693A (ko) 무안경 입체영상 처리 장치

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20230806

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20230806