KR20140079059A - 이용자의 시선 방향 또는 중력 방향 중 적어도 하나를 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치 - Google Patents

이용자의 시선 방향 또는 중력 방향 중 적어도 하나를 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치 Download PDF

Info

Publication number
KR20140079059A
KR20140079059A KR1020120148615A KR20120148615A KR20140079059A KR 20140079059 A KR20140079059 A KR 20140079059A KR 1020120148615 A KR1020120148615 A KR 1020120148615A KR 20120148615 A KR20120148615 A KR 20120148615A KR 20140079059 A KR20140079059 A KR 20140079059A
Authority
KR
South Korea
Prior art keywords
dimensional
unit
image
user
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020120148615A
Other languages
English (en)
Other versions
KR101916663B1 (ko
Inventor
한재준
최창규
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120148615A priority Critical patent/KR101916663B1/ko
Priority to US14/027,525 priority patent/US9769467B2/en
Priority to EP13198140.9A priority patent/EP2747430B1/en
Priority to EP20190265.7A priority patent/EP3771208B1/en
Publication of KR20140079059A publication Critical patent/KR20140079059A/ko
Application granted granted Critical
Publication of KR101916663B1 publication Critical patent/KR101916663B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Position Input By Displaying (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

이용자의 시선 방향 또는 중력 방향 중 적어도 하나를 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치가 개시된다. 일 실시예는 시선 방향을 측정하는 시선 방향 측정부, 3차원 입체 영상을 위한 3차원 입체 영상 데이터를 획득하는 데이터 획득부, 3차원 입체 영상의 시점과 관련된 정보를 획득하는 시점 정보 획득부, 시선 방향 및 시점과 관련된 정보에 기초하여 3차원 입체 영상 데이터를 변형하는 데이터 변형부 및 변형된 3차원 입체 영상 데이터에 기초하여 3차원 입체 영상을 표시하는 표시부를 포함한다.

Description

이용자의 시선 방향 또는 중력 방향 중 적어도 하나를 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치{DEVICE OF DISPLAYING 3D IMAGE USING AT LEAST ONE OF GAZE DIRECTION OF USER OR GRAVITY DIRECTION}
아래 실시예들은 이용자의 시선 방향 또는 중력 방향 중 적어도 하나를 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치에 관한 것이다.
최근 3차원 입체 영상을 디스플레이 하는 3차원 디스플레이 장치가 상용화되고 있다. 또한, 3차원 디스플레이 장치는 가정, 회사, 상업 분야에서뿐만 아니라, 의료기관이나 군사용 등 여러 분야로 그 사용 범위가 확대되고 있다.
3차원 디스플레이 장치는 볼륨(volume)으로 렌더링(rendering) 된 객체를 3차원 공간에 표시할 수 있다. 이 경우, 3차원 디스플레이 장치는 기기의 로컬 레퍼런스 프레임(local reference frame)에 기초하여 3차원 영상을 표시한다.
일 측에 따른 이용자의 시선 방향을 이용하여 3차원 입체 영상을 표시하는 3차원 디스플레이 장치는 상기 시선 방향을 측정하는 시선 방향 측정부; 상기 3차원 입체 영상을 위한 3차원 입체 영상 데이터를 획득하는 데이터 획득부; 상기 3차원 입체 영상의 시점과 관련된 정보를 획득하는 시점 정보 획득부; 상기 시선 방향 및 상기 시점과 관련된 정보에 기초하여 상기 3차원 입체 영상 데이터를 변형하는 데이터 변형부; 및 상기 변형된 3차원 입체 영상 데이터에 기초하여 상기 3차원 입체 영상을 표시하는 표시부를 포함한다.
이 때, 상기 시점과 관련된 정보는 상기 3차원 입체 영상이 상기 이용자에게 보여지도록 설정된 시점 방향을 포함하고, 상기 데이터 변형부는 상기 시선 방향과 상기 시점 방향이 일치되도록 상기 3차원 입체 영상 데이터를 변형할 수 있다.
다른 일 측에 따른 이용자의 시선 방향을 이용하여 3차원 평면 영상을 표시하는 3차원 디스플레이 장치는 상기 시선 방향을 측정하는 시선 방향 측정부; 중력 방향을 측정하는 중력 방향 측정부; 상기 3차원 평면 영상을 위한 2차원 영상 데이터를 획득하는 데이터 획득부; 상기 시선 방향 및 상기 중력 방향에 기초하여 상기 3차원 평면 영상을 표시하기 위한 3차원 평면의 좌표축 방향을 계산하는 좌표축 방향 계산부; 상기 2차원 영상 데이터, 상기 좌표축 방향에 기초하여 3차원 평면 영상 데이터를 생성하는 데이터 생성부; 및 상기 3차원 평면 영상 데이터에 기초하여 상기 3차원 평면 영상을 표시하는 표시부를 포함한다.
또 다른 일 측에 따른 이용자의 시선 방향을 이용하여 새로운 알림 정보를 포함하는 3차원 영상을 표시하는 3차원 디스플레이 장치는 상기 새로운 알림 정보를 수신하는 알림 정보 수신부; 상기 새로운 알림 정보에 대응되는 3차원 영상 데이터를 획득하는 데이터 획득부; 상기 시선 방향을 측정하는 시선 방향 측정부; 상기 시선 방향에 기초하여 상기 3차원 영상 데이터를 변형하는 데이터 변형부; 상기 변형된 3차원 영상 데이터에 기초하여 상기 3차원 영상을 표시하는 표시부; 상기 새로운 알림 정보와 관련된 상기 이용자의 입력을 감지하는 입력 감지부; 및 상기 입력 감지부에 의해 상기 이용자의 입력이 감지되는 경우 상기 알림 정보를 표시하는 알림 정보 표시부를 포함한다.
또 다른 일 측에 따른 중력 방향을 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치는 상기 중력 방향을 측정하는 중력 방향 측정부; 상기 3차원 영상을 위한 영상 데이터를 획득하는 데이터 획득부; 상기 3차원 영상의 좌표축 중 미리 정해진 한 축의 방향이 상기 중력 방향과 일치되도록 상기 영상 데이터를 변형하는 데이터 변형부; 및 상기 변형된 영상 데이터에 기초하여 상기 3차원 영상을 표시하는 표시부를 포함한다.
이 때, 상기 3차원 디스플레이 장치는 상기 3차원 디스플레이 장치의 3차원 좌표축에 포함되고, 미리 정해진 제1 축 방향을 측정하는 제1 축 방향 측정부를 더 포함하고, 상기 데이터 변형부는 상기 3차원 영상의 좌표축 중 미리 정해진 두 축들의 방향들이 각각 상기 중력 방향과 상기 제1 축 방향과 일치되도록 상기 영상 데이터를 변형할 수 있다.
또한, 상기 3차원 디스플레이 장치는 이용자의 시선 방향을 측정하는 시선 방향 측정부; 2차원 영상을 표시하는 2차원 영상 표시부; 상기 2차원 영상 표시부의 법선 방향을 측정하는 법선 방향 측정부; 및 상기 시선 방향과 상기 법선 방향에 기초하여 상기 2차원 영상을 표시하도록 상기 2차원 영상 표시부를 제어하는 제어부를 더 포함할 수 있다.
또 다른 일 측에 따른 이용자의 시선 방향을 이용하여 3차원 입체 영상을 표시하는 3차원 디스플레이 장치는 상기 시선 방향을 측정하는 시선 방향 측정부; 중력 방향을 측정하는 중력 방향 측정부; 및 상기 시선 방향 및 상기 중력 방향에 기초하여 상기 3차원 입체 영상을 표시하기 위한 3차원 좌표축 방향을 계산하는 좌표축 방향 계산부를 포함한다.
도 1은 일 실시예에 따른 이용자의 시선 방향을 이용하여 3차원 입체 영상을 표시하는 3차원 디스플레이 장치를 나타낸 블록도.
도 2a 내지 도 2b는 일 실시예에 따른 이용자의 시선 방향을 이용하여 3차원 입체 영상을 표시하는 3차원 디스플레이 장치의 동작을 설명하는 도면.
도 3은 일 실시예에 따른 이용자의 시선 방향을 이용하여 3차원 평면 영상을 표시하는 3차원 디스플레이 장치를 나타낸 블록도.
도 4a 내지 도 4b는 일 실시예에 따른 이용자의 시선 방향을 이용하여 3차원 평면 영상을 표시하는 3차원 디스플레이 장치의 동작을 설명하는 도면.
도 5는 일 실시예에 따른 중력 방향을 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치를 나타낸 블록도.
도 6a 내지 도 6d는 일 실시예에 따른 중력 방향을 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치의 동작을 설명하는 도면.
도 7은 일 실시예에 따른 이용자의 시선 방향을 이용하여 새로운 알림 정보를 포함하는 3차원 영상을 표시하는 3차원 디스플레이 장치를 나타낸 블록도.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 일 실시예에 따른 이용자의 시선 방향을 이용하여 3차원 입체 영상을 표시하는 3차원 디스플레이 장치를 나타낸 블록도이다.
도 1을 참조하면, 일 실시예에 따른 3차원 디스플레이 장치(100)는 시선 방향 측정부(110), 데이터 획득부(120), 시점 정보 획득부(130), 데이터 변형부(140), 및 표시부(150)를 포함한다. 여기서, 3차원 디스플레이 장치(100)는 이용자에게 3차원 입체 영상을 표시하는 장치로, 고정형 디바이스 또는 휴대형 디바이스 등 다양한 형태로 구현될 수 있다.
시선 방향 측정부(110)는 이용자의 시선 방향을 측정할 수 있다. 여기서, 시선 방향은 이용자가 3차원 디스플레이 장치(100)에 의해 표시되는 3차원 영상을 바라보는 방향으로, 시선 방향 측정부(110)는 이용자의 시선 방향을 측정하기 위하여 다양한 방식을 이용할 수 있다. 예를 들어, 시선 방향 측정부(110)는 이용자와 관련된 이미지 또는 이용자와 관련된 오디오에 기초하여 이용자의 시선 방향을 측정할 수 있다.
데이터 획득부(120)는 3차원 입체 영상을 위한 3차원 입체 영상 데이터를 획득할 수 있다. 여기서, 3차원 입체 영상은 3차원 디스플레이 장치(100)에 의하여 3차원 공간 상에 표시되는 영상으로, 3차원 홀로 그래픽 등을 포함할 수 있다. 3차원 입체 영상 데이터는 3차원 입체 영상과 관련된 정보를 포함하는 데이터로, 특정 그래픽 프로세싱 유닛(GPU)에 의하여 처리될 수 있는 미리 정해진 포맷의 데이터 등을 포함할 수 있다.
시점 정보 획득부(130)는 이용자가 3차원 입체 영상의 시점과 관련된 정보를 획득할 수 있다. 여기서, 3차원 입체 영상은 3차원 공간에 표시되므로 이용자는 실질적으로 무수한 위치들에서 3차원 입체 영상을 바라볼 수 있다. 이 때, 이용자가 3차원 입체 영상을 바라보는 복수의 위치들 각각은 복수의 시점들로 매칭(matching)될 수 있다.
일 실시예에 따른 3차원 입체 영상 데이터의 시점은 전술한 복수의 시점들 중 어느 하나일 수 있고, 시점 정보 획득부(130)는 이러한 시점과 관련된 정보를 획득할 수 있다.
예를 들어, 3차원 입체 영상의 시점과 관련된 정보는 시점의 방향은 3차원 입체 영상이 이용자에게 보여지도록 설정된 시점 방향을 포함할 수 있다. 이 때, 시점 방향은 3차원 입체 영상이 이용자에게 표시되기 가장 적합한 방향으로 미리 정해질 수 있다. 나아가, 시점 방향은 이용자의 입력, 시간의 흐름 등 다양한 알고리즘에 따라 변경될 수 있다.
데이터 변형부(140)는 시선 방향 측정부(110)에 의해 측정된 시선 방향과 시점 정보 획득부(130)에 의해 획득된 시점과 관련된 정보에 기초하여 데이터 획득부(120)에 의해 획득된 3차원 입체 영상 데이터를 변형할 수 있다.
예를 들어, 데이터 변형부(140)는 시선 방향과 시점 방향이 일치되도록 3차원 입체 영상 데이터를 변형할 수 있다.
표시부(150)는 데이터 변형부(140)에 의해 변형된 3차원 입체 영상 데이터에 기초하여 3차원 입체 영상을 표시할 수 있다. 여기서, 표시부(150)는 미리 정해진 3차원 입체 영상 표시 공간에 3차원 입체 영상을 표시할 수 있다.
따라서, 일 실시예에 따른 3차원 디스플레이 장치(100)는 자기 자신의 오리엔테이션(orientation)과 상관없이 이용자의 시선 방향을 중심으로 하는 3차원 입체 영상을 생성할 수 있다.
이로 인하여, 일 실시예에 따른 3차원 디스플레이 장치(100)는 움직이는 버스 안이나 걸어갈 때 등 화면이 흔들려 보일 수 있는 각종 환경 하에서도 이용자의 시선을 기준으로 흔들리지 않는 일정한 3차원 입체 영상을 제공하는 기술을 제공할 수 있다.
다른 실시예에 따른 3차원 디스플레이 장치(100)는 이용자와 관련된 이미지를 획득하는 이미지 획득부를 더 포함할 수 있다. 이 경우, 시선 방향 측정부(110)는 이미지 획득부에 의해 획득된 이용자와 관련된 이미지로부터 이용자의 눈의 위치를 추정함으로써, 이용자의 시선 방향을 측정할 수 있다.
또 다른 실시예에 따른 3차원 디스플레이 장치(100)는 이용자와 관련된 오디오를 획득하는 오디오 획득부를 더 포함할 수 있다. 이 경우, 시선 방향 측정부(110)는 시선 방향을 측정하기 위하여 오디오 획득부에 의해 획득된 오디오로부터 이용자의 방향 또는 위치 중 적어도 하나를 추정할 수 있다.
보다 구체적으로, 오디오 획득부는 적어도 두 개의 마이크들을 포함할 수 있다. 시선 방향 측정부(110)는 두 개의 마이크들로부터 획득된 각각의 오디오에 기초하여 이용자의 방향을 추정하거나, 세 개의 마이크들로부터 획득된 각각의 오디오에 기초하여 이용자의 위치를 추정할 수 있다. 여기서, 이용자의 방향 및 이용자의 위치는 3차원 디스플레이 장치(100)를 기준으로 하는 상대 방향 또는 상대 위치를 포함할 수 있다.
또 다른 실시예에 따른 3차원 디스플레이 장치(100)는 좌표축 변환 기법을 이용하여 데이터 변형부(140)를 구현할 수 있다.
예를 들어, 수학식 1을 참조하면, 데이터 변형부(140)는 3차원 디스플레이 장치(100)의 좌표축을 아핀 변환(affine transformation) 시킴으로써, 3차원 영상을 표시하기 위한 새로운 좌표축을 계산할 수 있다.
Figure pat00001
여기서, (X, Y, Z)는 3차원 디스플레이 장치(100)의 좌표축이고, (X', Y', Z')은 변환된 좌표축이다. 또한, (a, b, c)는 X'축을 X축, Y축, Z축으로 표현한 값이고, (d, e, f)는 Y'축을 X축, Y축, Z축으로 표현한 값이며, (g, h, i)는 Z'축을 X축, Y축, Z축으로 표현한 값이다. (x, y, z)는 원점에 해당하는 3차원 좌표를 기준으로 이동(translation)된 값이다.
도 2a 내지 도 2b는 일 실시예에 따른 이용자의 시선 방향을 이용하여 3차원 입체 영상을 표시하는 3차원 디스플레이 장치의 동작을 설명하는 도면이다.
도 2a를 참조하면, 일 실시예에 따른 3차원 디스플레이 장치(210)는 이용자의 시선 방향(220)을 측정할 수 있다. 3차원 디스플레이 장치(210)는 3차원 입체 영상(230)이 이용자에게 보여지도록 설정된 시점 방향과 이용자의 시선 방향(220)이 일치되도록 3차원 입체 영상(230)을 표시할 수 있다.
도 2b를 참조하면, 일 실시예에 따른 3차원 디스플레이 장치(240)의 오리엔테이션이 변경될 수 있다. 예를 들어, 이용자는 3차원 디스플레이 장치(240)를 탑재한 스마트 폰을 손에 들고 걸어가면서 3차원 입체 영상을 바라볼 수 있다. 이 경우, 이용자가 걸으면서 발생되는 움직임 또는 충격 등에 의하여 3차원 디스플레이 장치(240)의 오리엔테이션이 변경될 수 있다.
이 때, 3차원 디스플레이 장치(240)는 지속적으로 이용자의 시선 방향(250)을 추적할 수 있다. 나아가, 3차원 디스플레이 장치(240)는 3차원 입체 영상(230)이 이용자에게 보여지도록 설정된 시점 방향과 이용자의 시선 방향(220)이 일치되도록 3차원 입체 영상 데이터를 지속적으로 변경할 수 있다.
이로 인하여, 이용자는 3차원 디스플레이 장치(240)가 흔들리는 상황에서도 이용자의 시선을 기준으로 흔들리지 않는 일정한 3차원 입체 영상을 제공할 수 있다.
도 3은 일 실시예에 따른 이용자의 시선 방향을 이용하여 3차원 평면 영상을 표시하는 3차원 디스플레이 장치를 나타낸 블록도이다. 여기서, 3차원 평면 영상은 3차원 공간 상에 평면의 형태로 표시되는 영상으로, 일 실시예에 따른 3차원 디스플레이 장치는 이용자의 시선 방향을 이용하여 3차원 평면 영상을 제어할 수 있다.
도 3을 참조하면, 일 실시예에 따른 3차원 디스플레이 장치(300)는 시선 방향 측정부(310), 중력 방향 측정부(320), 좌표축 방향 계산부(330), 데이터 획득부(340), 데이터 생성부(350), 및 표시부(360)를 포함한다.
시선 방향 측정부(310)는 이용자의 시선 방향을 측정할 수 있다. 시선 방향 측정부(310)에는 도 1 내지 도 2를 통하여 기술된 사항들이 그대로 적용될 수 있으므로, 보다 상세한 설명은 생략한다.
중력 방향 측정부(320)는 중력 방향을 측정할 수 있고, 좌표축 방향 계산부(330)는 시선 방향 측정부(310)에 의해 측정된 시선 방향과 중력 방향 측정부(320)에 의해 측정된 중력 방향에 기초하여 3차원 평면 영상을 표시하기 위한 3차원 평면의 좌표축 방향을 계산할 수 있다.
예를 들어, 좌표축 방향 계산부(330)는 시선 방향에 직교하는 3차원 평면을 생성할 수 있다. 보다 구체적으로, 수학식 2를 참조하면, 좌표축 방향 계산부(330)는 중력 방향의 벡터와 시선 방향의 벡터를 외적 함으로써 3차원 평면의 x축 방향을 계산할 수 있다. 나아가, 좌표축 방향 계산부(330)는 계산된 x축 방향의 벡터와 시선 방향의 벡터를 외적 함으로써 3차원 평면의 y축 방향을 계산할 수 있다.
Figure pat00002
여기서,
Figure pat00003
,
Figure pat00004
,
Figure pat00005
,
Figure pat00006
는 각각 x축 방향 벡터, y축 방향 벡터, 중력 방향 벡터, 시선 방향 벡터이고,
Figure pat00007
는 벡터의 외적 연산을 나타낼 수 있다.
다른 실시예에 따른 좌표축 방향 계산부(330)는 3차원 평면의 y축 방향을 중력 방향으로 설정할 수 있다. 이 경우, 좌표축 방향 계산부(330)는 중력 방향의 벡터와 시선 방향의 벡터를 외적 함으로써 3차원 평면의 x축 방향을 계산할 수 있다.
데이터 획득부(340)는 3차원 평면 영상을 위한 2차원 영상 데이터를 획득할 수 있다. 여기서, 2차원 영상 데이터는 3차원 평면 영상과 관련된 정보를 포함하는 데이터로, 특정 그래픽 프로세싱 유닛에 의하여 처리될 수 있는 미리 정해진 포맷의 데이터 등을 포함할 수 있다.
데이터 생성부(350)는 좌표축 방향 계산부(330)에 의해 계산된 3차원 평면의 좌표축 방향과 데이터 획득부(340)에 의해 획득된 2차원 영상 데이터에 기초하여 3차원 평면 영상 데이터를 생성할 수 있다. 여기서, 3차원 평면 영상 데이터는 2차원 영상 데이터를 3차원 평면 상에 표시하는 영상 데이터를 포함할 수 있다.
표시부(360)는 데이터 생성부(350)에 의해 생성된 3차원 평면 영상 데이터에 기초하여 3차원 평면 영상을 표시할 수 있다.
이로 인하여, 일 실시예에 따른 3차원 디스플레이 장치(300)는 이용자가 2차원 영상을 항상 정면에서 볼 수 있도록 하는 기술을 제공할 수 있다. 나아가, 3차원 디스플레이 장치(300)는 3차원 디스플레이 장치(300)의 오리엔테이션이나 이용자의 시선 방향이 변경되는 상황에서도 이용자의 시선을 기준으로 흔들리지 않는 일정한 3차원 평면 영상을 제공할 수 있다.
도면에 표시하지는 않았으나, 다른 실시예에 따른 3차원 디스플레이 장치는 시선 방향과 중력 방향에 기초하여 3차원 입체 영상을 표시하기 위한 3차원 좌표축 방향을 계산할 수 있다.
예를 들어, 3차원 디스플레이 장치는 중력 방향의 벡터와 시선 방향의 벡터를 외적 함으로써 3차원 좌표축의 x축 방향을 계산할 수 있다. 나아가, 3차원 디스플레이 장치는 계산된 x축 방향의 벡터와 시선 방향의 벡터를 외적 함으로써 3차원 좌표축의 y축 방향을 계산할 수 있다. 또는, 3차원 디스플레이 장치는 3차원 좌표축의 y축 방향을 중력 방향으로 설정할 수 있다. 이 때, 3차원 디스플레이 장치는 3차원 좌표축의 z축 방향을 시선 방향으로 설정할 수 있다.
여기서, 3차원 디스플레이 장치는 3차원 입체 영상 데이터를 획득한 뒤, 3차원 좌표축 방향에 기초하여 획득된 3차원 입체 영상 데이터를 변형할 수 있다.
도 4a 내지 도 4b는 일 실시예에 따른 이용자의 시선 방향을 이용하여 3차원 평면 영상을 표시하는 3차원 디스플레이 장치의 동작을 설명하는 도면이다.
도 4a를 참조하면, 일 실시예에 따른 3차원 디스플레이 장치(410)는 이용자의 시선 방향(420)을 측정할 수 있다. 3차원 디스플레이 장치(410)는 측정된 시선 방향(420)과 직교하는 평면(430)을 생성할 수 있다. 이 때, 3차원 디스플레이 장치(410)는 평면(430)의 x축 방향(431)과 y축 방향(432)을 각각 3차원 벡터의 형태로 계산할 수 있다.
예를 들어, 3차원 디스플레이 장치(410)는 중력 방향(440)을 더 측정할 수 있다. 3차원 디스플레이 장치(410)는 중력 방향(440)과 시선 방향(420)에 각각 직교하는 x축 방향(431)을 계산하고, x축 방향(431)과 시선 방향(420)에 각각 직교하는 y축 방향(432)을 계산할 수 있다.
3차원 디스플레이 장치(410)는 이용자의 시선 방향(420)과 직교하는 평면(430)에 2차원 영상을 표시함으로써, 이용자가 2차원 영상을 항시 정면에서 볼 수 있도록 하는 기술을 제공할 수 있다.
도 4b를 참조하면, 3차원 디스플레이 장치(410)는 평면(430)의 y축 방향을 중력 방향으로 설정할 수 있다. 이 경우, 3차원 디스플레이 장치(410)는 이용자의 시선 방향(420) 및 y축 방향 각각과 직교하도록 평면(430)의 x축 방향을 설정할 수 있다.
다른 실시예에 따른 3차원 디스플레이 장치는 평면(430)의 x축 방향과 y축 방향을 이용하여 3차원 입체 영상을 표시하기 위한 3차원 좌표축을 계산할 수 있다. 예를 들어, 3차원 디스플레이 장치는 3차원 좌표축의 x축 방향과 y축 방향을 각각 평면(430)의 x축 방향과 y축 방향으로 설정하고, 3차원 좌표축의 z축 방향을 이용자의 시선 방향(420)으로 설정할 수 있다.
도 5는 일 실시예에 따른 중력 방향을 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치를 나타낸 블록도이다.
도 5를 참조하면, 일 실시예에 따른 3차원 디스플레이 장치(500)는 중력 방향 측정부(510), 데이터 획득부(520), 데이터 변형부(530), 및 표시부(540)를 포함한다.
여기서, 중력 방향 측정부(510)는 중력 방향을 측정할 수 있고, 데이터 획득부(520)는 3차원 영상을 위한 영상 데이터를 획득할 수 있다.
이 때, 데이터 변형부(530)는 3차원 영상의 좌표축 중 미리 정해진 한 축의 방향이 중력 방향과 일치되도록 영상 데이터를 변형할 수 있다. 예를 들어, 데이터 변형부(530)는 3차원 영상의 좌표축 중 z축 방향이 중력 방향 측정부(510)에 의해 측정된 중력 방향과 일치되도록 영상 데이터를 변형할 수 있다.
표시부(540)는 데이터 변형부(530)에 의해 변형된 영상 데이터에 기초하여 3차원 영상을 표시할 수 있다.
예를 들어, 도 6a를 참조하면, 일 실시예에 따른 3차원 디스플레이 장치(610)는 3차원 영상(615)의 z축을 중력 방향(620)과 일치되도록 영상 데이터를 변형할 수 있다.
이 경우, 3차원 디스플레이 장치(610)는 오리엔테이션이 변경되더라도 3차원 영상(616)의 z축이 중력 방향(620)과 일치되도록 영상 데이터를 지속적으로 변형할 수 있다.
도면에 표시하지 않았으나, 다른 실시예에 따른 3차원 디스플레이 장치(500)는 제1 축 방향 측정부를 더 포함할 수 있다.
여기서, 제1 축 방향 측정부는 3차원 디스플레이 장치(500)의 제1 축 방향(예를 들어, x축 방향)을 측정할 수 있다. 이 경우, 데이터 변형부(530)는 3차원 영상의 좌표축 중 두 축의 방향이 각각 중력 방향 및 제1 축 방향과 일치되도록 영상 데이터를 변형할 수 있다.
예를 들어, 도 6b를 참조하면, 다른 실시예에 따른 3차원 디스플레이 장치(630)는 제1 축 방향(631)과 중력 방향(640)에 기초하여 3차원 영상(635)을 표시하기 위한 두 축들의 방향들을 획득할 수 있다. 보다 구체적으로, 3차원 디스플레이 장치(630)는 3차원 영상(635)의 x축 방향을 디스플레이 장치(630)의 x축 방향과 일치시키고, 3차원 영상(635)의 z축 방향을 중력 방향과 일치시킬 수 있다.
이 경우, 3차원 디스플레이 장치(630)는 오리엔테이션이 변경되더라도 3차원 영상(636)의 z축 방향이 중력 방향(640)과 일치되고, 3차원 영상(636)의 x축 방향이 제1 축 방향(631)과 일치되도록 영상 데이터를 지속적으로 변형할 수 있다.
따라서, 일 실시예에 따른 3차원 디스플레이 장치(630)는 중력에 영향을 받는 실 세계 객체와 동일한 축을 이용하여 3차원 영상을 표시하는 기술을 제공할 수 있다. 이로 인하여, 3차원 디스플레이 장치(630)는 아바타 등 3차원 볼륨(volume) 객체가 현실 세계에 존재하는 것처럼 보이게 할 수 있다.
도면에 표시하지 않았으나, 또 다른 실시예에 따른 3차원 디스플레이 장치(500)는 시선 방향 측정부, 2차원 영상 표시부, 법선 방향 측정부 및 제어부를 더 포함할 수 있다.
여기서, 시선 방향 측정부는 이용자의 시선을 측정하고, 2차원 영상 표시부는 2차원 영상을 표시하며, 법선 방향 측정부는 2차원 영상 표시부의 법선 방향을 측정할 수 있다. 법선 방향 측정부는 3차원 디스플레이 장치(500)의 오리엔테이션을 측정하고, 측정된 오리엔테이션에 기초하여 2차원 영상 표시부의 법선 방향을 측정할 수 있다.
이 때, 제어부는 시선 방향과 법선 방향에 기초하여 2차원 영상을 표시하도록 2차원 영상 표시부를 제어할 수 있다. 예를 들어, 제어부는 시선 방향과 법선 방향 사이의 평행한 정도가 미리 정해진 문턱 값 이하인 경우 2차원 영상을 표시하도록 2차원 영상 표시부를 제어할 수 있다.
도 6c를 참조하면, 또 다른 실시예에 따른 3차원 디스플레이 장치(640)는 3차원 영상(645)의 z축을 중력 방향(650)과 일치되도록 영상 데이터를 변형할 수 있다. 3차원 디스플레이 장치(640)는 변형된 영상 데이터에 기초하여 3차원 영상(645)을 미리 정해진 3차원 입체 공간에 표시할 수 있다. 여기서, 3차원 영상(645)은 새로운 알림(예를 들어, 새로운 메일이 수신되었음을 알림 등)을 포함할 수 있다.
3차원 디스플레이 장치(640)는 2차원 영상 표시부(641)의 법선 방향과 이용자의 시선 방향이 평행한지 여부를 판단하고, 판단 결과에 따라 2차원 영상 표시부(641)에 2차원 영상을 표시할 수 있다. 여기서, 2차원 영상은 3차원 영상(645)에 포함된 새로운 알림과 관련된 구체적인 정보(예를 들어, 수신된 새로운 메일의 내용 등)를 포함할 수 있다.
이 경우, 3차원 디스플레이 장치(640)는 2차원 영상 표시부(641)를 이용하여 2차원 영상을 표시할 때, 3차원 영상을 표시하지 않도록 표시부(540)를 제어할 수 있다.
또 다른 실시예에 따른 3차원 디스플레이 장치(640)는 이용자에 의해 3차원 디스플레이 장치(640)가 파지되었는지 여부를 감지할 수 있다. 이 경우, 3차원 디스플레이 장치(640)는 이용자에 의하여 파지되었다고 감지한 경우에 한하여 시선 방향과 법산 방향 사이의 평행한 정도가 미리 정해진 문턱 값 이하인지 여부를 판단할 수 있다.
도면에 표시하지 않았으나, 또 다른 실시예에 따른 3차원 디스플레이 장치(500)는 시선 방향 측정부, 입력 감지부, 및 좌표축 방향 계산부를 더 포함할 수 있다.
여기서, 시선 방향 측정부는 이용자의 시선 방향을 측정하고, 입력 감지부는 3차원 영상과 관련된 이용자의 입력을 감지할 수 있다. 예를 들어, 3차원 영상과 관련된 이용자의 입력은 3차원 디스플레이 장치를 손으로 잡는 입력이나 이용자가 3차원 디스플레이 장치를 두 번 흔드는 입력 등 다양한 형태로 미리 설정될 수 있다.
이 때, 좌표축 방향 계산부는 입력 감지부에 의해 이용자의 입력이 감지되는 경우 시선 방향과 중력 방향에 기초하여 3차원 평면의 좌표축 방향을 계산할 수 있다. 좌표축 방향 계산부에는 도 3을 통하여 기술된 사항들이 그대로 적용될 수 있다.
이 경우, 데이터 획득부(520)는 이용자의 입력에 대응되는 2차원 영상 데이터를 획득하고, 데이터 변형부(530)는 좌표축 방향 계산부의 계산 결과에 기초하여 2차원 영상이 3차원 평면 위에 표시되도록 2차원 영상 데이터를 변형할 수 있다.
예를 들어, 도 6d를 참조하면, 또 다른 실시예에 따른 3차원 디스플레이 장치(660)는 이용자의 입력을 감지함에 반응하여 해당 입력에 대응되는 2차원 영상을 이용자의 시선 방향(670)과 직교하는 3차원 평면(665) 위에 표시할 수 있다.
도 7은 일 실시예에 따른 이용자의 시선 방향을 이용하여 새로운 알림 정보를 포함하는 3차원 영상을 표시하는 3차원 디스플레이 장치를 나타낸 블록도이다.
도 7을 참조하면, 일 실시예에 따른 3차원 디스플레이 장치(700)는 알림 정보 수신부(710), 데이터 획득부(720), 시선 방향 측정부(730), 데이터 변형부(740), 표시부(750), 입력 감지부(760), 및 알림 정보 표시부(770)를 포함한다.
알림 정보 수신부(710)는 새로운 알림 정보를 수신하고, 데이터 획득부(720)는 수신된 새로운 알림 정보에 대응되는 3차원 영상 데이터를 획득할 수 있다. 시선 방향 측정부(730)는 이용자의 시선 방향을 측정하고, 데이터 변형부(740)는 시선 방향에 기초하여 3차원 영상 데이터를 변형할 수 있다. 표시부(750)는 변형된 3차원 영상 데이터에 기초하여 3차원 영상을 표시할 수 있다.
예를 들어, 3차원 디스플레이 장치(700)는 새로운 메일의 수신을 알리는 알림 정보를 수신하고, 새로운 메일의 수신에 대응되는 3차원 영상을 이용자에게 잘 보이도록 표시할 수 있다.
도면에 표시하지는 않았으나, 다른 실시예에 따른 3차원 디스플레이 장치(700)는 중력 방향 측정부 및 판단부를 더 포함할 수 있다.
여기서, 중력 방향 측정부는 중력 방향을 측정하고, 판단부는 시선 방향 측정부(730)에 의해 이용자의 시선 방향이 측정되는지 여부를 판단할 수 있다. 데이터 변형부(740)는 판단부에 의해 이용자의 시선 방향이 측정되는 않는다고 판단되는 경우 중력 방향에 기초하여 3차원 영상 데이터를 변형할 수 있다.
예를 들어, 3차원 디스플레이 장치(700)는 새로운 메일의 수신을 알리는 알림 정보를 수신하였으나 이용자의 시선 방향이 측정되지 않는 경우, 새로운 메일의 수신에 대응되는 3차원 영상을 중력 방향을 기준으로 표시할 수 있다.
뿐만 아니라, 3차원 디스플레이 장치(700)는 이용자의 시선 방향이 측정되지 않는다고 판단되면, 3차원 영상을 중력 방향을 축으로 회전하도록 지속적으로 3차원 영상 데이터를 변형할 수 있다.
또한, 입력 감지부(760)는 새로운 알림 정보와 관련된 이용자의 입력을 감지하고, 알림 정보 표시부(770)는 입력 감지부(760)의 감지 결과에 따라 알림 정보를 표시할 수 있다.
여기서, 새로운 알림 정보와 관련된 이용자의 입력은 다양한 형태로 미리 정해질 수 있다. 예를 들어, 이용자의 입력은 이용자가 3차원 디스플레이 장치를 손으로 잡는 입력, 이용자가 3차원 디스플레이 장치를 두 번 흔드는 입력, 알림 정보 표시부(770)가 2차원 디스플레이인 경우 이용자가 2차원 디스플레이의 법선 방향과 평행하도록 시선 방향을 위치시키는 입력 등 다양하게 설정될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (21)

  1. 이용자의 시선 방향을 이용하여 3차원 입체 영상을 표시하는 3차원 디스플레이 장치에 있어서,
    상기 시선 방향을 측정하는 시선 방향 측정부;
    상기 3차원 입체 영상을 위한 3차원 입체 영상 데이터를 획득하는 데이터 획득부;
    상기 3차원 입체 영상의 시점과 관련된 정보를 획득하는 시점 정보 획득부;
    상기 시선 방향 및 상기 시점과 관련된 정보에 기초하여 상기 3차원 입체 영상 데이터를 변형하는 데이터 변형부; 및
    상기 변형된 3차원 입체 영상 데이터에 기초하여 상기 3차원 입체 영상을 표시하는 표시부
    를 포함하는 3차원 디스플레이 장치.
  2. 제1항에 있어서,
    상기 시점과 관련된 정보는 상기 3차원 입체 영상이 상기 이용자에게 보여지도록 설정된 시점 방향을 포함하고,
    상기 데이터 변형부는 상기 시선 방향과 상기 시점 방향이 일치되도록 상기 3차원 입체 영상 데이터를 변형하는 3차원 디스플레이 장치.
  3. 이용자의 시선 방향을 이용하여 3차원 평면 영상을 표시하는 3차원 디스플레이 장치에 있어서,
    상기 시선 방향을 측정하는 시선 방향 측정부;
    중력 방향을 측정하는 중력 방향 측정부;
    상기 3차원 평면 영상을 위한 2차원 영상 데이터를 획득하는 데이터 획득부;
    상기 시선 방향 및 상기 중력 방향에 기초하여 상기 3차원 평면 영상을 표시하기 위한 3차원 평면의 좌표축 방향을 계산하는 좌표축 방향 계산부;
    상기 2차원 영상 데이터, 상기 좌표축 방향에 기초하여 3차원 평면 영상 데이터를 생성하는 데이터 생성부; 및
    상기 3차원 평면 영상 데이터에 기초하여 상기 3차원 평면 영상을 표시하는 표시부
    를 포함하는 3차원 디스플레이 장치.
  4. 제3항에 있어서,
    상기 좌표축 방향 계산부는
    상기 중력 방향의 벡터와 상기 시선 방향의 벡터를 외적 함으로써 상기 좌표축 방향에 포함된 제1 축 방향을 계산하는 제1 축 방향 계산부; 및
    상기 제1 축 방향의 벡터와 상기 시선 방향의 벡터를 외적 함으로써 상기 좌표축 방향에 포함된 제2 축 방향을 계산하는 제2 축 방향 계산부
    를 포함하는 3차원 디스플레이 장치.
  5. 제3항에 있어서,
    상기 좌표축 방향 계산부는 상기 좌표축 방향에 포함된 제1 축 방향을 상기 중력 방향으로 설정하는 3차원 디스플레이 장치.
  6. 이용자의 시선 방향을 이용하여 새로운 알림 정보를 포함하는 3차원 영상을 표시하는 3차원 디스플레이 장치에 있어서,
    상기 새로운 알림 정보를 수신하는 알림 정보 수신부;
    상기 새로운 알림 정보에 대응되는 3차원 영상 데이터를 획득하는 데이터 획득부;
    상기 시선 방향을 측정하는 시선 방향 측정부;
    상기 시선 방향에 기초하여 상기 3차원 영상 데이터를 변형하는 데이터 변형부;
    상기 변형된 3차원 영상 데이터에 기초하여 상기 3차원 영상을 표시하는 표시부;
    상기 새로운 알림 정보와 관련된 상기 이용자의 입력을 감지하는 입력 감지부; 및
    상기 입력 감지부에 의해 상기 이용자의 입력이 감지되는 경우 상기 알림 정보를 표시하는 알림 정보 표시부
    를 포함하는 3차원 디스플레이 장치.
  7. 제6항에 있어서,
    중력 방향을 측정하는 중력 방향 측정부; 및
    상기 시선 방향 측정부에 의해 상기 시선 방향이 측정되는지 여부를 판단하는 판단부
    를 더 포함하고,
    상기 데이터 변형부는 상기 판단부에 의해 상기 시선 방향이 측정되지 않는다고 판단되는 경우 상기 중력 방향에 기초하여 상기 3차원 영상 데이터를 변형하는 3차원 디스플레이 장치.
  8. 제7항에 있어서,
    상기 데이터 변형부는 상기 3차원 영상이 상기 중력 방향을 축으로 회전하도록 상기 3차원 영상 데이터를 변형하는 3차원 디스플레이 장치.
  9. 중력 방향을 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치에 있어서,
    상기 중력 방향을 측정하는 중력 방향 측정부;
    상기 3차원 영상을 위한 영상 데이터를 획득하는 데이터 획득부;
    상기 3차원 영상의 좌표축 중 미리 정해진 한 축의 방향이 상기 중력 방향과 일치되도록 상기 영상 데이터를 변형하는 데이터 변형부; 및
    상기 변형된 영상 데이터에 기초하여 상기 3차원 영상을 표시하는 표시부
    를 포함하는 3차원 디스플레이 장치.
  10. 제9항에 있어서,
    상기 3차원 디스플레이 장치의 3차원 좌표축에 포함되고, 미리 정해진 제1 축 방향을 측정하는 제1 축 방향 측정부
    를 더 포함하고,
    상기 데이터 변형부는 상기 3차원 영상의 좌표축 중 미리 정해진 두 축들의 방향들이 각각 상기 중력 방향과 상기 제1 축 방향과 일치되도록 상기 영상 데이터를 변형하는 3차원 디스플레이 장치.
  11. 제9항에 있어서,
    이용자의 시선 방향을 측정하는 시선 방향 측정부;
    2차원 영상을 표시하는 2차원 영상 표시부;
    상기 2차원 영상 표시부의 법선 방향을 측정하는 법선 방향 측정부; 및
    상기 시선 방향과 상기 법선 방향에 기초하여 상기 2차원 영상을 표시하도록 상기 2차원 영상 표시부를 제어하는 제어부
    를 더 포함하는 3차원 디스플레이 장치.
  12. 제11항에 있어서,
    상기 법선 방향 측정부는 상기 3차원 디스플레이 장치의 오리엔테이션을 측정하고, 상기 오리엔테이션에 기초하여 상기 법선 방향을 측정하는 3차원 디스플레이 장치.
  13. 제11항에 있어서,
    상기 제어부는 상기 시선 방향과 상기 법선 방향 사이의 평행한 정도가 미리 정해진 문턱 값 이하인 경우 상기 2차원 영상을 표시하도록 상기 2차원 영상 표시부를 제어하는 3차원 디스플레이 장치.
  14. 제11항에 있어서,
    상기 제어부는 상기 3차원 영상을 표시하지 않도록 상기 표시부를 제어하는 3차원 디스플레이 장치.
  15. 제9항에 있어서,
    이용자의 시선 방향을 측정하는 시선 방향 측정부;
    상기 3차원 영상과 관련된 이용자의 입력을 감지하는 입력 감지부; 및
    상기 입력 감지부에 의해 상기 이용자의 입력이 감지되는 경우 상기 시선 방향과 상기 중력 방향에 기초하여 3차원 평면의 좌표축 방향을 계산하는 좌표축 방향 계산부
    를 더 포함하고,
    상기 데이터 획득부는 상기 입력에 대응되는 2차원 영상 데이터를 획득하며, 상기 데이터 변형부는 상기 좌표축 방향에 기초하여 2차원 영상이 상기 3차원 평면 위에 표시되도록 상기 2차원 영상 데이터를 변형하는 3차원 디스플레이 장치.
  16. 제1항, 제3항, 제6항, 제11항 및 제15항 중 어느 한 항에 있어서,
    상기 이용자와 관련된 이미지를 획득하는 이미지 획득부
    를 더 포함하고,
    상기 시선 방향 측정부는 상기 시선 방향을 측정하기 위하여 상기 이미지로부터 상기 이용자의 눈의 위치를 추정하는 3차원 디스플레이 장치.
  17. 제1항, 제3항, 제6항, 제11항 및 제15항 중 어느 한 항에 있어서,
    상기 이용자와 관련된 오디오를 획득하는 오디오 획득부
    를 더 포함하고,
    상기 시선 방향 측정부는 상기 시선 방향을 측정하기 위하여 상기 오디오로부터 상기 이용자의 방향 또는 위치 중 적어도 하나를 추정하는 3차원 디스플레이 장치.
  18. 이용자의 시선 방향을 이용하여 3차원 입체 영상을 표시하는 3차원 디스플레이 장치에 있어서,
    상기 시선 방향을 측정하는 시선 방향 측정부;
    중력 방향을 측정하는 중력 방향 측정부; 및
    상기 시선 방향 및 상기 중력 방향에 기초하여 상기 3차원 입체 영상을 표시하기 위한 3차원 좌표축 방향을 계산하는 좌표축 방향 계산부
    를 포함하는 3차원 디스플레이 장치.
  19. 제18항에 있어서,
    상기 좌표축 방향 계산부는
    상기 중력 방향의 벡터와 상기 시선 방향의 벡터를 외적 함으로써 상기 3차원 좌표축 방향에 포함된 제1 축 방향을 계산하는 제1 축 방향 계산부;
    상기 제1 축 방향의 벡터와 상기 시선 방향의 벡터를 외적 함으로써 상기 3차원 좌표축 방향에 포함된 제2 축 방향을 계산하는 제2 축 방향 계산부; 및
    상기 3차원 좌표축 방향에 포함된 제3 축 방향을 상기 시선 방향으로 설정하는 제3 축 방향 설정부
    를 포함하는 3차원 디스플레이 장치.
  20. 제18항에 있어서,
    상기 좌표축 방향 계산부는 상기 좌표축 방향에 포함된 제1 축 방향을 상기 중력 방향으로 설정하는 3차원 디스플레이 장치.
  21. 제18항에 있어서,
    3차원 입체 영상 데이터를 획득하는 데이터 획득부; 및
    상기 3차원 좌표축 방향에 기초하여 상기 3차원 입체 영상 데이터를 변형하는 데이터 변형부
    를 더 포함하는 3차원 디스플레이 장치.
KR1020120148615A 2012-12-18 2012-12-18 이용자의 시선 방향 또는 중력 방향 중 적어도 하나를 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치 Active KR101916663B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120148615A KR101916663B1 (ko) 2012-12-18 2012-12-18 이용자의 시선 방향 또는 중력 방향 중 적어도 하나를 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치
US14/027,525 US9769467B2 (en) 2012-12-18 2013-09-16 3D display device for displaying 3D image using at least one of gaze direction of user or gravity direction
EP13198140.9A EP2747430B1 (en) 2012-12-18 2013-12-18 3D display device for displaying 3D image using at least one of gaze direction of user or gravity direction
EP20190265.7A EP3771208B1 (en) 2012-12-18 2013-12-18 3d display device for displaying 3d image using at least one of gaze direction of user or gravity direction

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120148615A KR101916663B1 (ko) 2012-12-18 2012-12-18 이용자의 시선 방향 또는 중력 방향 중 적어도 하나를 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020180096202A Division KR101956087B1 (ko) 2018-08-17 2018-08-17 이용자의 시선 방향 또는 중력 방향 중 적어도 하나를 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치

Publications (2)

Publication Number Publication Date
KR20140079059A true KR20140079059A (ko) 2014-06-26
KR101916663B1 KR101916663B1 (ko) 2018-11-08

Family

ID=49882842

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120148615A Active KR101916663B1 (ko) 2012-12-18 2012-12-18 이용자의 시선 방향 또는 중력 방향 중 적어도 하나를 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치

Country Status (3)

Country Link
US (1) US9769467B2 (ko)
EP (2) EP3771208B1 (ko)
KR (1) KR101916663B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2026054494A1 (ko) * 2024-09-09 2026-03-12 삼성전자 주식회사 3차원 객체의 움직임을 제어하는 전자 장치 및 그 제어 방법

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101970197B1 (ko) * 2012-10-29 2019-04-18 에스케이 텔레콤주식회사 복수의 카메라 제어 방법과 그를 위한 카메라 제어 장치
US20160070356A1 (en) * 2014-09-07 2016-03-10 Microsoft Corporation Physically interactive manifestation of a volumetric space
US20180033198A1 (en) * 2016-07-29 2018-02-01 Microsoft Technology Licensing, Llc Forward direction determination for augmented reality and virtual reality
CN108476316B (zh) 2016-09-30 2020-10-09 华为技术有限公司 一种3d显示方法及用户终端
JP6791991B2 (ja) * 2017-01-19 2020-11-25 株式会社ソニー・インタラクティブエンタテインメント 画像配信装置
CN109271042B (zh) * 2018-08-06 2021-09-07 百度在线网络技术（北京）有限公司 数据展示方法、装置、电子设备及存储介质
CN109144393B (zh) * 2018-08-28 2020-08-07 维沃移动通信有限公司 一种图像显示方法及移动终端
SE543121C2 (en) 2019-02-04 2020-10-13 Tobii Ab Method and system for determining a current gaze direction

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19641480A1 (de) 1996-10-09 1998-04-30 Tan Helmut Verfahren zur stereoskopischen Projektion von 3D-Bilddarstellungen auf einer Bildanzeigeeinrichtung
KR20070052260A (ko) 2004-06-01 2007-05-21 마이클 에이 베슬리 수평 원근법 디스플레이
US9030532B2 (en) 2004-08-19 2015-05-12 Microsoft Technology Licensing, Llc Stereoscopic image display
WO2007013833A1 (fr) 2005-09-15 2007-02-01 Oleg Stanilasvovich Rurin Procede et systeme pour visualiser des objets virtuels tridimensionnels
KR100746008B1 (ko) 2005-10-31 2007-08-06 삼성전자주식회사 3차원 모션 그래픽 유저 인터페이스, 이를 제공하는 장치및 방법
KR101309176B1 (ko) 2006-01-18 2013-09-23 삼성전자주식회사 증강 현실 장치 및 방법
EP2259163A3 (en) 2006-08-02 2011-03-16 Research In Motion Limited System and method for adjusting presentation of moving images on an electronic device according to an orientation of the device
JP5183277B2 (ja) 2008-04-03 2013-04-17 三菱電機株式会社 立体画像表示装置
KR20100048747A (ko) 2008-10-31 2010-05-11 한국과학기술원 안면 추적을 이용한 모바일 유저 인터페이스 장치
JP5330946B2 (ja) 2009-09-25 2013-10-30 株式会社ユビキタスエンターテインメント 三次元画像表示プログラム、三次元画像表示機能を備えた携帯電話機等の携帯デバイス、及び三次元画像の表示方法
KR101313797B1 (ko) 2009-12-18 2013-10-01 한국전자통신연구원 머리 위치 추적을 이용한 입체 영상 표시 장치 및 이의 동작 방법
US8922480B1 (en) * 2010-03-05 2014-12-30 Amazon Technologies, Inc. Viewer-based device control
KR101340797B1 (ko) 2010-09-01 2013-12-11 주식회사 팬택 3ｄ 객체 표시가 가능한 휴대용 장치 및 그 방법
KR101729023B1 (ko) * 2010-10-05 2017-04-21 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
EP2447915A1 (en) 2010-10-27 2012-05-02 Sony Ericsson Mobile Communications AB Real time three-dimensional menu/icon shading
KR20120091585A (ko) * 2011-02-09 2012-08-20 삼성전기주식회사 디스플레이 장치 및 삼차원 영상 제공방법
JP5665121B2 (ja) * 2011-02-21 2015-02-04 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 携帯端末装置及びプログラム
EP2497543A3 (en) * 2011-03-08 2012-10-03 Nintendo Co., Ltd. Information processing program, information processing system, and information processing method
WO2012137113A1 (en) * 2011-04-08 2012-10-11 Koninklijke Philips Electronics N.V. Image processing system and method.
US20120300046A1 (en) 2011-05-24 2012-11-29 Ilya Blayvas Method and System for Directed Light Stereo Display
US9041734B2 (en) * 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2026054494A1 (ko) * 2024-09-09 2026-03-12 삼성전자 주식회사 3차원 객체의 움직임을 제어하는 전자 장치 및 그 제어 방법

Also Published As

Publication number Publication date
US9769467B2 (en) 2017-09-19
EP3771208A1 (en) 2021-01-27
EP2747430A3 (en) 2014-11-19
KR101916663B1 (ko) 2018-11-08
EP2747430A2 (en) 2014-06-25
US20140168389A1 (en) 2014-06-19
EP3771208B1 (en) 2025-11-19
EP2747430B1 (en) 2020-10-21

Similar Documents

Publication Publication Date Title
KR101916663B1 (ko) 이용자의 시선 방향 또는 중력 방향 중 적어도 하나를 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치
US9607439B2 (en) Information processing apparatus and information processing method
US9684169B2 (en) Image processing apparatus and image processing method for viewpoint determination
CN104662587B (zh) 三维用户界面装置以及三维操作方法
JP6290754B2 (ja) 仮想空間表示装置、仮想空間表示方法及びプログラム
EP3629302B1 (en) Information processing apparatus, information processing method, and storage medium
US20130218461A1 (en) Reduced Drift Dead Reckoning System
US10861223B2 (en) Passthrough visualization
EP2477160A1 (en) Apparatus and method for providing augmented reality perceived through a window
US20170249822A1 (en) Apparatus configured to issue warning to wearer of display, and method therefor
US11212501B2 (en) Portable device and operation method for tracking user's viewpoint and adjusting viewport
CN113228117B (zh) 创作装置、创作方法和记录有创作程序的记录介质
US11302023B2 (en) Planar surface detection
KR101956087B1 (ko) 이용자의 시선 방향 또는 중력 방향 중 적어도 하나를 이용하여 3차원 영상을 표시하는 3차원 디스플레이 장치
JP6405539B2 (ja) 多視点画像に対するラベル情報の処理装置及びそのラベル情報の処理方法
JP6581348B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US20140104386A1 (en) Observation support device, observation support method and computer program product
US10798360B2 (en) Information processing system, method for controlling same, and program
JP4689344B2 (ja) 情報処理方法、情報処理装置
KR101807512B1 (ko) 맵핑형 3차원 상호작용 장치 및 방법
WO2013132885A1 (ja) 情報処理装置、情報処理方法及びプログラム
JP6948363B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP6613099B2 (ja) 仮想現実空間を立体的に表示するためのプログラム、コンピュータ及びヘッドマウントディスプレイシステム
JP2016058043A (ja) 情報処理装置、情報処理方法、プログラム

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

A107 Divisional application of patent
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0107 Divisional application

St.27 status event code: A-0-1-A10-A18-div-PA0107

St.27 status event code: A-0-1-A10-A16-div-PA0107

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20211021

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20221020

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 8