KR20200029631A - 머리-장착형 디스플레이에서의 메뉴 내비게이션 - Google Patents

머리-장착형 디스플레이에서의 메뉴 내비게이션 Download PDF

Info

Publication number
KR20200029631A
KR20200029631A KR1020207007152A KR20207007152A KR20200029631A KR 20200029631 A KR20200029631 A KR 20200029631A KR 1020207007152 A KR1020207007152 A KR 1020207007152A KR 20207007152 A KR20207007152 A KR 20207007152A KR 20200029631 A KR20200029631 A KR 20200029631A
Authority
KR
South Korea
Prior art keywords
head
mounted display
focus
visual element
focal point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020207007152A
Other languages
English (en)
Other versions
KR102235410B1 (ko
Inventor
저스틴 모라베츠
Original Assignee
소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 filed Critical 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨
Priority to KR1020217009255A priority Critical patent/KR102390549B1/ko
Publication of KR20200029631A publication Critical patent/KR20200029631A/ko
Application granted granted Critical
Publication of KR102235410B1 publication Critical patent/KR102235410B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a three-dimensional [3D] space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G02B27/022—Viewing apparatus
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Abstract

착용형 컴퓨팅 디바이스는 가상 현실 환경을 발생시키는 머리-장착형 디스플레이(HMD)를 포함한다. 위치 데이터의 발생 및 추적을 통해, 초점은 하나 또는 메뉴 내비게이션 요소에 대해 추적될 수 있다. 미리 결정된 시간량 동안 메뉴 내비게이션 요소 위에 초점의 고정된 위치결정에 뒤이어, 메뉴 내비게이션 요소에 대응하는 프로세스가 실행된다.

Description

머리-장착형 디스플레이에서의 메뉴 내비게이션{MENU NAVIGATION IN A HEAD-MOUNTED DISPLAY}
본 발명은 일반적으로는 머리-장착형 디스플레이(head-mounted display: HMD)를 갖는 착용형 가상 현실(virtual reality: VR) 컴퓨팅 디바이스에 관한 것이다. 더 구체적으로, 본 발명은 메뉴 제어 기능성을 구현하기 위해 HMD에서의 시야를 이용하는 것에 관한 것이다.
착용형 VR 시스템은 입력 디바이스, 센서, 검출기, 이미지 디스플레이, 및 무선 통신 컴포넌트뿐만 아니라 또한 이미지 및 오디오 프로세서와 같은 다양한 요소를 통합하고 있다. 이미지 디스플레이 요소를 착용자의 눈에 가까이 배치함으로써, 인조 이미지는 현실 세계의 뷰에 오버레이하거나 또는 모두 그 자신의 독립적 현실을 생성하게 될 수 있다. 그러한 이미지 디스플레이 요소는 머리-장착형 디스플레이(HMD)라고도 지칭되는 시스템에 편입되어 있다. 디스플레이 요소의 사이즈 및 착용자의 눈까지의 거리에 종속하여, 디스플레이 상에 제공된 인조 이미지는 착용자의 시야를 채우거나 거의 채울 수 있다.
HMD를 편입하고 있는 VR 시스템은 가상 환경과의 통신 및 상호작용이 가능하면서 가동성이고 경량이다. 그렇지만, 그러한 시스템은 일반적으로는 그것들이 가상 환경의 내비게이션을 위한 독립적 컨트롤러의 사용을 아직 필요로 한다는 점에서 부족하다. 이러한 의미에서, 대부분의 HMD는 VR 환경으로의 입장이 가능한 고글에 지나지 않는다. 독립적 컨트롤러 디바이스를 도입함이 없이 VR 환경의 내비게이션 및 제어에 대한 필요성이 당업계에 있다.
본 발명의 실시형태는 머리-장착형 디스플레이에서의 메뉴 내비게이션을 위한 시스템 및 방법을 포함한다. 머리-장착형 디스플레이와 관련된 위치 데이터가 발생될 수 있다. 초점의 위치는 추적될 수 있다. 초점은 메뉴 내비게이션 요소의 동작 범위 내에 있다고 결정될 수 있다. 내비게이션 요소에 대응하는 고정 타이머는 초점이 메뉴 내비게이션 요소의 동작 범위 내에 있다고 결정될 때 미리 결정된 시간 기간을 카운트다운하도록 실행될 수 있다. 미리 결정된 시간 기간의 만료시, 내비게이션 요소에 대응하는 기능이 구현될 수 있다.
머리-장착형 디스플레이에서의 메뉴 내비게이션을 위한 방법이 제공될 수 있다. 그러한 방법은 센서를 통하여 머리-장착형 디스플레이의 위치 데이터를 발생시키는 단계, 메뉴 내비게이션 요소를 포함하는 가상 환경 내에서 머리-장착형 디스플레이의 초점의 위치를 추적하는 단계, 초점이 메뉴 내비게이션 요소의 동작 범위 내에 있다는 것을 결정하는 단계, 초점이 메뉴 내비게이션 요소의 동작 범위 내에 있을 때 미리 결정된 시간량을 카운트다운하는 내비게이션 요소에 대응하는 고정 타이머를 실행하는 단계, 및 미리 결정된 시간량이 만료하였을 때 내비게이션 요소의 대응하는 기능을 실행하는 단계를 포함할 수 있다.
머리-장착형 디스플레이에서의 메뉴 내비게이션을 위한 시스템은 위치 데이터를 발생시키는 자이로스코프, 자력계 및 가속도계 중 적어도 하나, 메뉴 내비게이션 요소를 포함하는 가상 환경에서 초점을 디스플레이하기 위한 적어도 하나의 렌즈를 포함하는 머리-장착형 디스플레이, 및 가상 환경 내에서의 초점의 위치를 추적하도록 위치 데이터를 프로세싱하고, 초점이 메뉴 내비게이션 요소의 동작 범위 내에 있다는 것을 결정하고, 초점이 메뉴 내비게이션 요소의 동작 범위 내에 있을 때 미리 결정된 시간량을 카운트다운하는 내비게이션 요소에 대응하는 고정 타이머를 실행하고, 그리고 고정 타이머에 의해 표시된 바와 같은 미리 결정된 시간량의 만료 시 메뉴 내비게이션 요소와 연관된 기능성을 실행하도록 메모리에 저장된 명령어를 실행하는 프로세서를 포함할 수 있다.
본 발명의 부가적 실시형태는 프로그램을 구현해 놓은 비-일시적 컴퓨터-판독가능한 저장 매체를 제공한다. 프로그램은 머리-장착형 디스플레이에서의 메뉴 내비게이션을 위한 방법을 수행하도록 프로세서에 의해 실행가능하다. 방법은 위치 데이터를 발생시키는 단계, 초점의 위치를 추적하는 단계 및 초점이 메뉴 내비게이션 요소의 동작 범위 내에 있다는 것을 결정하는 단계를 포함한다. 내비게이션 요소에 대응하는 고정 타이머가 실행된다. 고정 타이머가 만료할 때 내비게이션 요소의 대응하는 기능이 구현된다.
도 1은 일례의 착용형 컴퓨팅 디바이스의 블록 선도의 예시도,
도 2a는 가상 현실 환경에서의 착용자를 완전히 몰입시키는 HMD의 예시도,
도 2b는 현실 세계의 지각을 유지하면서 VR 정보의 발생이 가능한 HMD의 예시도,
도 3은 HMD의 렌즈 디스플레이 상에 디스플레이된 일례의 내비게이션 메뉴의 예시도,
도 4a는 내비게이션 메뉴에서의 시각적 요소를 발효시키기 위한 초점의 사용의 예시도로서, 가상 버튼의 대응하는 동작이 활성화되지 않은 예시도,
도 4b는 내비게이션 메뉴에서의 시각적 요소를 발효시키기 위한 초점의 사용의 예시도로서, 가상 버튼 및 초점과 연관된 구역이 대응하는 기능을 활성화하고 있는 예시도,
도 4c는 내비게이션 메뉴에서의 시각적 요소를 발효시키기 위한 초점의 사용의 예시도로서, 초점이 가상 버튼의 대응하는 기능을 직접 활성화하고 있는 예시도, 및
도 5는 VR 환경에서의 메뉴 선택을 위한 일례의 방법의 예시도.
본 발명의 실시형태는 머리-장착형 디스플레이에서의 메뉴 내비게이션을 위한 시스템 및 방법을 포함한다. 머리-장착형 디스플레이와 관련된 위치 데이터가 발생될 수 있다. 초점의 위치는 추적될 수 있다. 초점은 메뉴 내비게이션 요소의 동작 범위 내에 있다고 결정될 수 있다. 내비게이션 요소에 대응하는 고정 타이머는 초점이 메뉴 내비게이션 요소의 동작 범위 내에 있다고 결정될 때 미리 결정된 시간 기간을 카운트다운하도록 실행될 수 있다. 미리 결정된 시간 기간의 만료시, 내비게이션 요소에 대응하는 기능이 구현될 수 있다.
도 1은 일례의 착용형 가상 현실 시스템(100)의 블록 선도를 예시하고 있다. 착용형 가상 현실 시스템(100)은 USB 인터페이스(120), 무선 통신 인터페이스(130), 자이로스코프(140), 가속도계(150), 자력계(160), 데이터 저장장치(170), 프로세서(180), 및 머리-장착형 디스플레이(HMD)(200)를 포함할 수 있으며, 외부 컴퓨팅 디바이스(110)와 통신하고 있다.
머리-장착형 디스플레이(HMD)(200)는 그 착용자가 현실-세계 환경, 디스플레이된 컴퓨터 발생된 이미지, 또는 그 2개의 조합을 관찰할 수 있게 한다. HMD(200)는 일부 실시형태에서는 시-스루 디스플레이를 포함할 수 있다. 착용형 가상 현실 시스템(100)의 착용자는 착용형 가상 현실 시스템(100)의 존재에도 불구하고 그러한 일 실시형태에서는 HMD(200)를 통해 보고 현실-세계 환경의 일부를 관찰할 수 있을 수 있다. HMD(200)는 추가적 일 실시형태에서는 "증강된 현실" 체험을 제공하기 위해 시야 상에 겹쳐 놓이는 이미지를 디스플레이하도록 동작가능할 수 있다. HMD(200)에 의해 디스플레이되는 이미지의 일부는 시야에서의 특정 물체와 관련하여 나타나거나 겹쳐 놓일 수 있다. 더 추가적인 일 실시형태에 있어서, HMD(200)는 완전히 가상 환경일 수 있으며 그에 의하면 착용형 가상 현실 시스템(100)의 착용자는 현실 세계와의 어느 시각적 접촉으로부터라도 격리된다.
디스플레이되는 이미지는 그래픽, 문자 및/또는 비디오를 포함할 수 있고; 오디오는 대응하는 오디오 디바이스를 통해 제공될 수 있다. HMD에 의해 디스플레이되는 이미지는 대화형 사용자 인터페이스의 일부분이고 메뉴, 선택 박스, 내비게이션 아이콘, 또는 착용자가 착용형 컴퓨팅 디바이스의 기능을 인보크 가능하게 하거나 아니면 착용형 컴퓨팅 디바이스와 대화 가능하게 하는 다른 사용자 인터페이스 특징을 포함할 수 있다. HMD(200)의 폼 팩터(form factor)는 안경, 고글, 헬멧, 모자, 바이저, 헤드밴드의 그것이거나, 또는 착용자의 머리 상에 또는 그로부터 지지될 수 있는 어떤 다른 형태일 수 있다.
가상 이미지를 착용자에게 디스플레이하기 위해, HMD는 디스플레이 패널을 조명하는 발광 다이오드(LED)와 같은 광원을 갖는 광학 시스템을 포함할 수 있다. 디스플레이 패널은 액정 디스플레이 패널(LCD)을 망라할 수 있다. 디스플레이 패널은 광원으로부터의 광을 공간적으로 변조시킴으로써 광 패턴을 발생시킬 수 있고, 이미지 형성기는 광 패턴으로부터 가상 이미지를 형성한다. 대안으로, 패널은 실리콘 액정(LCOS)일 수 있고 그에 의하면 액정층은 실리콘 백플레인의 상부 상에 놓여 있을 수 있다.
HMD는 일례의 실시형태에서는 비-중첩 스테레오스코픽 3D 이미지를 갖는 7인치 스크린을 포함하며 그에 의하면 왼쪽 눈은 왼쪽에 가외의 구역을 보고 오른쪽 눈은 오른쪽에 가외의 구역을 본다. HMD는 정상적인 인간의 시각을 모방하려고 시도하는데, 100% 중첩하고 있지는 않다. 시야는 일례의 실시형태에서는 90도 수평선(110도 대각선) 이상이고 그로써 강한 몰입감을 생성하기 위해 현실 세계가 완전히 차단되어 버릴 수 있도록 대략 뷰의 시야 전체를 채운다.
일 실시형태는 1280x800(16:10 종횡비)를 이용할 수 있고 그로써 눈당 640x800, 4:5 종횡비의 실효치가 가능하다. 눈들 간 완전 중첩이 가능하지 않은 일 실시형태에 있어서, 조합된 수평 해상도는 실효적으로 640보다 더 크다. 각각의 눈에 대해 디스플레이되는 이미지는 핀쿠셔닝되고 그로써 각각의 눈에 대해 구면-매핑된 이미지를 발생시킨다.
HMD(200)는 외부 컴퓨팅 디바이스(들)(110)와 통신할 수 있다. 외부 컴퓨팅 디바이스(들)(110)는 애플리케이션 서버, 데이터베이스, 그리고 네트워크 및 미디어 인터페이스, 비-일시적 컴퓨터-판독가능한 저장장치(메모리), 및 메모리에 저장될 수 있는 정보에 액세스하거나 명령어를 실행하기 위한 프로세서와 같은 표준 하드웨어 컴퓨팅 컴포넌트를 포함하는, 당업계에 알려져 있는 다른 외부 컴퓨팅 컴포넌트를 포함한다.
착용형 가상 현실 시스템(100)은 일부 경우에서는 외부 컴퓨팅 디바이스(들)(110)에 물리적으로 접속될 수 있다. 그러한 접속은, USB-준수 케이블링으로 외부 컴퓨팅 디바이스(110)에 데이터를 발신하고 그로부터 데이터를 수신하도록 사용될 수 있는, USB 인터페이스(120)로 구현될 수 있다. USB 인터페이스(120)는 또한 착용형 가상 현실 시스템(100)에 전력을 공급하도록 사용될 수 있고 그로써 외부 전원 및 그것과 연관된 어느 전력 케이블링에 대한 필요성도 잠재적으로 부정한다. 일부 경우에서는, USB 인터페이스(120)로 전력을 구현하는데 추가적 전원 어댑터(도시되지 않음)가 필요할 수 있다. 국한되는 것은 아니지만 파이어와이어, 라이트닝은 물론 HDMI 및 DVI와 같은 다른 케이블링된 접속 표준도 포함하는 다른 유형의 인터페이스가 사용될 수 있으므로 USB에 대한 언급은 예시라고 이해되어야 한다.
도 1의 착용형 가상 현실 시스템(100)은 무선 통신 인터페이스(130)를 포함한다. 무선 통신 인터페이스(130)는 외부 컴퓨팅 디바이스(들)(110)와 무선 통신하도록 사용될 수 있다. 무선 통신 인터페이스(130)는 또한 다른 착용형 컴퓨팅 디바이스(100)와 통신하도록 사용될 수 있다. 무선 통신 인터페이스(130)는 인터넷과 같은 패킷-기반 네트워크를 통하여 양방향 데이터 교환을 지원하는 어느 수의 무선 통신 표준이라도 이용할 수 있다. 예시적 통신 표준은 CDMA, GSM/GPRS, 4G 셀룰러, WiMAX, LTE, 및 802.11(WiFi)을 포함한다.
착용형 가상 현실 시스템(100)은 3-차원 축 자이로스코프(140), 가속도계(150) 및 자력계(160) 중 하나 이상을 포함할 수 있다. 자이로스코프(140)는 각운동량의 원리에 기반하여 정향을 측정하도록 이용될 수 있다. 가속도계(150)는 벡터량으로서 가속도의 크기 및 방향을 검출하도록 사용될 수 있다. 이러한 결과는 무게의 방향이 변하기 때문에 정향, 중력 또는 중력에서의 변화에 상관된 좌표 가속도, 진동, 쇼크, 및 고유 가속도에서의 변화로 저항 매질에서의 낙하를 감지하도록 사용될 수 있다. 자력계(160)는 착용형 가상 현실 시스템(100)에 대해 자계에서의 교란을 식별하도록 사용될 수 있다. 자력계(160)는 GPS 및 나침반 애플리케이션에 대해 진북의 식별에 도움을 주는 것은 물론 또한 터치리스 또는 카메라리스 제스처 입력을 도울 수 있다. 전술한 것으로부터 발생된 데이터를 이용함으로써, 지구에 상대적인 드리프트 없이 절대 머리 정향 추적이 계산될 수 있다. 레이턴시 추적은 응답 시간을 감소시키고 지각된 리얼리즘을 증가시키도록 대략 1000Hz에서 동작할 수 있다. 착용형 가상 현실 시스템(100)의 디스플레이는 개개의 디스플레이가 착용자의 눈에 더 가깝게 또는 더 멀리 이동될 수 있게 하도록 조절될 수 있다.
착용형 가상 현실 시스템(100)은 데이터 저장장치(170)에 저장된 비-일시적 컴퓨터 판독가능한 명령어의 실행으로 동작할 수 있으며, 여기서 실행은 프로세서(180)의 연산을 통해 일어난다. 도 1은 데이터 저장장치(170) 및 프로세서(180)가 착용형 가상 현실 시스템(100)에 존재하고 있는 것으로 예시하고 있기는 하지만, 그러한 요소는 외부 컴퓨팅 디바이스(들)(110)에 위치하고 있거나 또는 일부 경우에서는 실행가능한 연산들이 2개 간 분산될 수 있다. 프로세서(180) 및 데이터 저장장치(170)에서의 실행가능한 명령어는 또한 USB 인터페이스(120), 무선 인터페이스(130), 자이로스코프(140), 가속도계(150) 및 자력계(160)의 다양한 태양을 제어할 수 있다.
도 2a는 가상 현실 환경에서의 착용자를 완전히 몰입시키는 HMD(200)를 예시하고 있다. 도 2a가 몰입형 고글로서 예시되기는 하지만, 다른 폼 팩터가 가능하고 구상된다. 도 2a에서의 요소의 동작은 도 2b의 맥락에서 논의되는 것과 동일하다. 도 2a는 (HMD(200)를 포함하는) 착용형 가상 현실 시스템(100)이 착용자의 머리 상에 위치결정될 수 있게 하는 머리-장착형 지지대(210)를 포함한다. HMD(200)는 위에서 설명된 바와 같은 LCD 또는 LCOS 구성일 수 있는 렌즈 디스플레이(220A, 220B)를 더 포함한다. 렌즈 디스플레이(220A, 220B)는 착용형 가상 현실 시스템(100)의 통합된 부분일 수 있다.
착용형 가상 현실 시스템(100)의 제작은 도 1에 예시된 것과 같은 컴포넌트와 다양한 컴포넌트 상호접속의 통합이 내부적으로 통합될 수 있게 할 수 있다. 외부 컴퓨팅 디바이스(들)(110)로의 더 쉬운 액세스 또는 물리적 접속이 가능하도록 다른 컴포넌트가 착용형 가상 현실 시스템(100)의 외장 상에 놓여 있을 수 있다. 착용형 가상 현실 시스템(100)의 일 실시형태는 착용형 가상 현실 시스템(100)을 이용하는 다른 개개인과의 음성 통신이 가능하도록 또는 시스템(100)의 소정 핸즈프리 제어가 가능하도록 마이크로폰을 포함할 수 있다.
도 2b는 현실 세계의 지각을 유지하면서 가상 현실 정보의 발생이 가능한 HMD(200)를 예시하고 있다. 그러한 이중 지각은 가상 환경의 테두리 내에 착용자를 완전히 몰입시키지 않음으로써 제공된다(즉, 현실 세계가 여전히 보이고 지각될 수 있다). 도 2b의 HMD(200)는 단순 밴드로서 예시되기는 하지만, 다른 폼 팩터가 가능하고 구상된다. 도 2b 상의 요소의 동작은 도 2a의 맥락에서 논의된 것과 동일하다.
도 3은 HMD(200)의 렌즈 디스플레이(200) 상에 디스플레이된 일례의 내비게이션 메뉴(300)를 예시하고 있다. 내비게이션 메뉴(300)는 사용자로부터의 입력을 수신하기 위한 가상 버튼(310), 스크롤바(320), 키(330) 또는 어느 다른 기지의 요소라도 포함하는 어느 다양한 시각적 요소라도 포함할 수 있다. 내비게이션 메뉴(300)는 가상 착용형 시스템(100) 상에서 실행하는 소프트웨어 애플리케이션을 제어하기 위한 하나 이상의 제어 명령어의 관점에서 정의될 수 있다. 가상 버튼(310)과 같은, 내비게이션 메뉴(300)의 특정 시각적 요소는 특정 제어 명령어와 연관될 수 있어서, 가상 버튼의 작동은 그 연관된 제어 명령어가 발효되는 결과를 초래할 수 있다.
위에서 언급된 바와 같이, 착용형 가상 현실 시스템(100)은 축 자이로스코프(140), 가속도계(150) 및 자력계(160) 중 하나 이상을 포함한다. 전술한 컴포넌트 중 하나 이상에 의해 발생된 데이터는 내비게이션 메뉴(300)로부터의 하나 이상의 시각적 요소의 선택 또는 조작으로 번역되고 HMD(200)에 의해 디스플레이될 수 있다. 예를 들어, 사용자가 착용형 가상 현실 시스템(100)을 착용하고 있으면서 그들의 머리를 이동시키는 것에 의해, 데스크톱 컴퓨터의 컨텍스트에서 발생될 수 있는 2-차원 공간에서의 마우스 포인터와 유사한 방식으로 3-차원 공간에서 초점(340)을 생성하기 위해 자이로스코프(140), 가속도계(150) 및 자력계(160)를 사용하여 공간에서의 지점이 식별될 수 있다. 초점 또는 포인터(340)는, 반드시는 아니지만, HMD(200)의 렌즈(220)에 대해 사용자의 눈으로부터의 시선(350)에 대응할 수 있다(도 3의 삽도 참조).
내비게이션 메뉴(300)의 다양한 시각적 요소 위에 초점(340)을 정렬시키고 특정 시간 기간 동안 특정 시각적 요소(예를 들어, 가상 버튼(310)) 위에 초점/포인터(340)의 위치결정을 유지하고 있음으로써, 집속된 요소의 기능성이 발효될 수 있다. 초점(340)이 단지 가상 버튼(310) 위에 있음을 추적하는 것으로는 충분하지 않고, 그보다는 미리 정의된 시간 기간(예를 들어, 3초) 동안 가상 버튼(310) 또는 가상 버튼(310)과 연관된 구역 위에 여전히 고정되어 있을 수 있다. 미리 정의된 시간 기간은 시스템(100)의 사용자에 의해 애플리케이션 소프트웨어 또는 착용형 가상 현실 시스템(100)에서 변경될 수 있는 사용자 선호도 옵션을 통해 제어되거나 또는 소프트웨어 애플리케이션의 개발자에 의해 설정될 수 있다.
도 4a 내지 도 4c는 내비게이션 메뉴에서의 시각적 요소를 발효시키기 위한 초점의 사용을 예시하고 있다. 구체적으로, 도 4a는 내비게이션 메뉴에서의 요소(310) 상에 아직 고정되지 않은 초점(340)을 예시하고 있다. 그와 같이, 가상 버튼의 대응하는 동작은 아직 활성화되지 않았다. 도 4a에 도시된 바와 같이, 초점(340)은 특정 지점 또는 상기 지점과 연관된 구역 위에 초점(340)을 유지하고 있는 효과를 확장시키는 연관된 구역(420)을 포함한다. 도 4a에서는 원으로서 예시되기는 하지만, 연관된 구역(420)은 또한 정사각형, 직사각형, 또는 초점(340)의 동작 범위를 확장시키는 임의의 다른 형상 또는 구성이 될 수 있다. 초점(340)의 연관된 구역(420)은 사용자에게 가시적일 수도 있고, 반투명일 수도 있고, 비가시적일 수도 있다. 연관된 구역(420)은 가시적 또는 반투명인 경우에는 사용자가 초점(340) 및 연관된 구역(420)의 범위의 명확한 이해를 갖게 되도록 렌즈(220) 상에 디스플레이되는 가상 환경의 배경으로부터 구역을 구별 설정하는 색상일 수 있다.
가상 버튼(310)은 또한 초점(340)의 그것처럼 연관된 구역(410)을 가질 수 있다. 초점(340) 및 그 연관된 구역(420)처럼, 그 구역은 HMD(200)의 렌즈(220) 상에 디스플레이되는 바와 같은 가상 환경 또는 가상 버튼(310)의 다른 형상, 사이즈, 색상, 또는 가시성, 또는 반투명성일 수 있다. 가상 버튼(310)의 연관된 구역(410) 및 초점(340)의 연관된 구역(420)은 사용자 설정 메뉴(도시되지 않음)를 통해 변경될 수 있는 사용자 설정, 디폴트, 또는 개발자에 의해 각각 개별적으로 제어될 수 있다. 제어가능한 기능은 형상, 사이즈, 가시성, 반투명성은 물론, 가상 메뉴(300)의 기능을 활성화하는데 필요한 전술한 고정 시간 기간도 포함한다.
도 4b는, 내비게이션 메뉴(300)에서의 시각적 요소를 발효시키고 가상 버튼(310)의 대응하는 기능을 활성화하는, 가상 버튼(310)과 중첩하는 초점(340)과 연관된 구역(420)을 예시하고 있다. 도 4a에 비해, 도 4b는 가상 버튼(310) 및 초점(340)의 연관된 구역이 이제 하이라이트 구역(430)에서 보이는 바와 같이 중첩하는 것을 예시하고 있다. 도 4b에서는 하이라이트 구역이 그래픽 예시되어 있기는 하지만, 이것은 예시의 용이함을 위한 것이다. 하이라이트 구역(430)이 렌즈(220) 상에 나타날 필요는 없고 이것은 애플리케이션 개발자 및/또는 사용자에 의한 구성에 이용가능한 설정일 수 있다. 초점(340) 및 가상 버튼(310)의 연관된 구역은 중첩하고 있기 때문에, 가상 버튼(310)의 연관 기능은 미리 정의된 고정 시간의 만료 시 발효될 것인데, 그 종울림은 메뉴(300)의 제어를 책임지고 있는 그리고 데이터 저장장치(170)에 유지되어 있는 소프트웨어의 프로세서-기반 실행을 통해 구현된 내부 클록킹 기능에 의해 제어될 수 있다. 그러한 내부 클록킹 기능은 미리 정의된 시간 기간으로부터 카운트다운하거나 미리 정의된 시간 기간으로까지 카운트업하도록 활성화될 수 있다. 그러한 카운팅은 초점(340)과 메뉴 내비게이션 요소(310)(또는 그 연관된 구역(410, 420)) 간 중첩이 있는 동안에만 일어나도록 설정될 수 있다. 그와 같이, 미리 정의된 시간 기간이 만료하기 전에 초점(340)이 떨어져 이동하게 되면, 기능은 활성화되지 않을 수 있다.
도 4c는 내비게이션 메뉴에서의 시각적 요소를 발효시키기 위한 초점의 사용을 예시하고 있으며 그에 의하면 초점은 가상 버튼의 대응하는 기능을 직접 활성화하고 있다. 도 4b와는 달리, 가상 버튼(310) 및 초점(340)의 연관된 구역(410, 420)은 이용되고 있지 않다. 도 4c에서, 초점(340)은 가상 버튼(310) 위에 직접 고정된다. 필요한 고정 시간 기간의 만료시, 버튼의 연관된 기능이 구현될 것이다.
도 5는, 프로세서(180)에 의해 메모리(170)에 저장된 명령어의 실행에 의해 발효될 수 있는, VR 환경에서의 메뉴 선택을 위한 일례의 방법(500)을 예시하고 있다. 도 5의 방법(500)은 국한되는 것은 아니지만 하드 드라이브와 같은 비휘발성 메모리, DVD, 또는 CD를 포함하는 비-일시적 컴퓨터 판독가능한 저장 매체에서의 실행가능한 명령어로서 구현될 수 있다. 저장 매체의 명령어는 저장 매체를 호스팅 아니면 액세스하는 컴퓨팅 디바이스의 다양한 하드웨어 컴포넌트가 방법을 발효시키게 야기하도록 프로세서(또는 프로세서들)에 의해 실행될 수 있다. 도 5에서 식별된 단계(및 그 순서)는 예시이고 그리고 국한되는 것은 아니지만 그 실행의 순서를 포함하는 다양한 그 대안물, 균등물, 또는 파생물을 포함한다.
단계(510)에서, 위치 데이터는 착용형 VR 시스템(100)의 착용자의 머리의 이동에 기반하여 발생될 수 있다. 위치 데이터는 축 자이로스코프(140), 가속도계(150) 및 자력계(160) 중 하나 이상에 의해 발생될 수 있다.
전술한 컴포넌트 중 하나 이상에 의해 발생된 데이터는 단계(520)에서 초점 또는 포인터(340)의 위치 데이터로 번역될 수 있다. 초점 또는 포인터(340)의 그 위치는 내비게이션 메뉴(300)로부터의 하나 이상의 시각적 요소의 컨텍스트에서 디스플레이되고 HMD(200)에 의해 디스플레이될 수 있다.
단계(530)에서는 초점 또는 포인터(340)가 내비게이션 메뉴(300)로부터의 버튼 또는 다른 요소 위에 현재 위치하고 있는지에 관한 결정이 이루어진다. 그것이 내비게이션 메뉴(300)로부터의 어느 요소 위에 위치하고 있지 않다는 결정이 초점 또는 포인터(340)의 위치의 분석으로부터 이루어졌으면, 단계(540)에서는 초점 또는 포인터와 연관된 구역이 내비게이션 메뉴(300)로부터의 어느 요소 위에 위치하고 있는지에 관한 추가적 결정이 이루어진다. 초점 또는 포인터의 연관된 구역이 내비게이션 메뉴로부터의 어느 요소 위에 위치하고 있지 않다는 결정이 단계(540)에서 이루어지면, 단계(550)에서는 초점의 연관된 구역이 요소의 연관된 구역과 중첩하는지에 관한 더 추가적인 결정이 이루어진다. 단계(550)에서 - 도 4a에 예시된 바와 같이 - 결정이 여전히 아니오면, 그때는 위치 데이터의 발생 및 초점의 위치 추적이, 각각, 단계(510) 및 단계(520)에서 계속된다.
(도 4c에 대응하는 바와 같이) 단계(530)에서의 또는 (도 4b에 대응하는 바와 같이) 단계(540)에서의 결정이 예이면, 그때는 그 버튼 또는 다른 요소와 연관된 어느 기능성이라도 인보크하기 위해 초점 또는 그 연관된 구역이 미리 결정된 시간 기간 동안 내비게이션 메뉴 요소 위에 여전히 있는지 결정하도록 단계(560)에서 고정 타이머가 실행되기 시작한다. 타이머가 미리 결정된 고정 시간까지 카운트다운(또는 카운트업)함에 따라, 단계(570)에서는 내비게이션 메뉴에 대해 초점 또는 그 연관된 구역의 이동이 있었는지에 관한 병행 결정이 계속적으로 이루어진다. 단계(530, 540 또는 550)의 결정이 이제 "아니오"로 등록(즉, 이동이 '예'로서 등록)되도록 초점 또는 연관된 구역이 변화되었으면, 그때는 타이머가 정지하고 위치 데이터의 발생 및 초점의 추적이, 각각, 단계(510) 및 단계(520)에서 계속된다. 필요한 고정 시간의 만료 이전에 위치에서의 변화는 어느 대응하는 메뉴 기능성도 인보크하지 않으려는 시스템(100)의 사용자 또는 착용자의 의도와 상관된다.
그렇지만, 단계(570)에서 초점의 이동에 관한 결정이 "아니오"면, 그때 단계(580)에서는 단계(580)에서의 미리 결정된 시간 기간의 만료에 대한 더 추가적인 결정이 이루어진다. 미리 결정된 기간이 아직 카운트업 또는 카운트다운되지 않았으면, 그때는 메뉴의 대응하는 기능성이 단계(590)에서 실행되어 방법(500)이 종료되는 시점인 고정 기간의 만료가 달성될 때가지 단계(560, 570, 580)로 이루어진 루프가 계속된다.
본 발명은 다양한 디바이스를 사용하여 동작가능할 수 있는 애플리케이션에서 구현될 수 있다. 비-일시적 컴퓨터-판독가능한 저장 매체는 실행을 위해 중앙 처리 장치(CPU)에 명령어를 제공하는데 참가하는 어느 매체 또는 매체들이라도 지칭한다. 그러한 매체는, 국한되는 것은 아니지만, 각각, 광학 또는 자기 디스크 및 동적 메모리와 같은 비휘발성 및 휘발성 매체를 포함하는 여러 형태를 취할 수 있다. 비-일시적 컴퓨터-판독가능한 매체의 흔한 형태는, 예를 들어, 플로피 디스크, 플렉시블 디스크, 하드 디스크, 자기 테이프, 어느 다른 자기 매체, CD-ROM 디스크, 디지털 비디오 디스크(DVD), 어느 다른 광학 매체, RAM, PROM, EPROM, 플래시EPROM, 및 어느 다른 메모리 칩 또는 카트리지라도 포함한다.
다양한 형태의 전송 매체가 실행을 위해 CPU에 하나 이상의 명령어의 하나 이상의 시퀀스를 반송하는데 관여될 수 있다. 버스는 데이터를 시스템 RAM에 반송하고, 그로부터 CPU는 명령어를 검색 및 실행한다. 시스템 RAM에 의해 수신된 명령어는 옵션으로서는 CPU에 의한 실행 전에든 후에든 고정형 디스크 상에 저장될 수 있다. 다양한 형태의 저장장치와 더불어 그것을 구현하는데 필요한 네트워크 인터페이스 및 네트워크 토폴로지도 마찬가지로 구현될 수 있다.
다양한 실시형태가 위에서 설명되었지만, 그것들은 예로서 제시되었을 뿐이고 제한이 아님을 이해해야 한다. 설명은 여기에서 제시된 특정 형태로 본 발명의 범위를 한정하려는 의도는 아니다. 그리하여, 바람직한 실시형태의 범위 및 폭은 위에서 설명된 예시적 실시형태 중 어느 것에 의해서도 한정되어서는 안 된다. 위의 설명은 예시이고 제한이 아님을 이해해야 한다. 반대로, 본 설명은 첨부 청구범위에 의해 정의되고 그렇지 않으면 당업자에 의해 인식되는 본 발명의 취지 및 범위 내에 포함될 수 있는 바와 같은 그러한 대안물, 수정물 및 균등물을 망라하려는 의도이다. 그래서, 본 발명의 범위는 위 설명을 참조하여 결정되어야 하는 것이 아니라, 그보다는 첨부 청구범위를 그들 균등물의 전 범위와 함께 참조하여 결정되어야 하는 것이다.

Claims (20)

  1. 머리-장착형 디스플레이(head-mounted display)에서의 메뉴 내비게이션을 위한 방법으로서, 상기 방법은,
    머리-장착형 디스플레이에 디스플레이하기 위한 대화형 사용자 인터페이스를 생성하는 단계;
    상기 머리-장착형 디스플레이의 이동을 추적하는 단계;
    상기 머리-장착형 디스플레이가 이동함에 따라 상기 머리-장착형 디스플레이의 초점의 위치를 식별하는 단계;
    사용자 선호도에 기초하여 상기 초점의 위치 주위로 확장되는 연관된 구역을 정의하는 단계;
    미리 정의된 시간 기간 동안, 상기 초점 주위로 확장되는 상기 구역이 적어도 하나의 시각적 요소와 중첩되는 것을 검출하는 단계; 및
    상기 미리 정의된 시간 기간 동안, 상기 초점 주위로 확장되는 상기 구역이 상기 적어도 하나의 시각적 요소를 둘러싸는 연관된 구역에 걸쳐 중첩되는 것으로 검출되는 경우, 상기 적어도 하나의 시각적 요소에 대응하는 기능을 실행하는 단계
    를 포함하고,
    상기 생성된 대화형 사용자 인터페이스는 현실-세계 환경에 대응하는 시야에 중첩되며, 상기 생성된 대화형 사용자 인터페이스는 하나 이상의 시각적 요소를 포함하고,
    상기 머리-장착형 디스플레이의 이동을 추적하는 단계는 하나 이상의 이동-기반 센서를 통하여 위치 데이터를 생성하는 단계를 포함하며,
    상기 초점의 위치는 상기 위치 데이터에 기초하여 식별되는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,상기 하나 이상의 시각적 요소는 그래픽, 문자, 또는 비디오를 포함하는 것을 특징으로 하는 방법.
  3. 제1항에 있어서, 상기 적어도 하나의 시각적 요소는 상기 적어도 하나의 시각적 요소의 상기 디스플레이를 둘러싸는 구역과 연관되며, 상기 연관된 구역은 상기 적어도 하나의 시각적 요소의 상기 디스플레이를 넘어서 상기 적어도 하나의 시각적 요소의 동작 범위를 확장하는 것을 특징으로 하는 방법.
  4. 제3항에 있어서, 상기 연관된 구역의 형상, 사이즈, 가시성, 및 반투명성, 및 상기 미리 정의된 시간 기간 중 적어도 하나는 사용자 정의될 수 있는 것을 특징으로 하는 방법.
  5. 제3항에 있어서, 상기 초점 주위로 확장되는 상기 구역이 상기 적어도 하나의 시각적 요소와 중첩되는 것을 검출하는 단계는 상기 초점 주위로 확장되는 상기 구역이 상기 연관된 구역과 중첩되는 시점을 검출하는 단계를 포함하는 것을 특징으로 하는 방법.
  6. 제1항에 있어서, 상기 초점의 상기 식별된 위치에 포인터의 디스플레이를 제공하고, 상기 시야의 현재 배경에서 상기 초점 주위로 확장되는 상기 구역을 설정하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  7. 제6항에 있어서, 상기 연관된 구역의 형상, 사이즈, 가시성, 및 반투명성은 상기 초점에 대해 사용자 정의될 수 있는 것을 특징으로 하는 방법.
  8. 제1항에 있어서, 상기 초점의 상기 식별된 위치가 상기 미리 결정된 시간 기간 동안 상기 적어도 하나의 시각 요소와 중첩되는 것을 검출하는 단계는 상기 머리-장착형 디스플레이와 관련된 내부 시계를 사용하여 상기 미리 결정된 시간 기간을 추적하는 단계를 포함하는 것을 특징으로 하는 방법.
  9. 제1항에 있어서, 상기 하나 이상의 시각적 요소는 메뉴, 선택 박스, 또는 내비게이션 아이콘 중 적어도 하나를 포함하는 것을 특징으로 하는 방법.
  10. 제1항에 있어서, 상기 초점의 상기 위치는 사용자의 눈으로부터의 시선에 대응하고, 상기 시선은 상기 머리-장착형 디스플레이와 연관된 렌즈를 통해 캡처되는 것을 특징으로 하는 방법.
  11. 머리-장착형 디스플레이 내에서 메뉴 내비게이션을 위한 방법을 수행하기 위한 프로세서에 의해 실행가능한 프로그램을 구현해 놓은 비-일시적 컴퓨터 판독 가능한 저장 매체로서, 상기 방법은:
    머리-장착형 디스플레이에 디스플레이하기 위한 대화형 사용자 인터페이스를 생성하는 단계;
    상기 머리-장착형 디스플레이의 이동을 추적하는 단계;
    상기 머리-장착형 디스플레이가 이동함에 따라 상기 머리-장착형 디스플레이의 초점의 위치를 식별하는 단계;
    사용자 선호도에 기초하여 상기 초점의 위치 주위로 확장되는 연관된 구역을 정의하는 단계;
    미리 정의된 시간 기간 동안, 상기 초점 주위로 확장되는 상기 구역이 적어도 하나의 시각 요소와 중첩되는 것을 검출하는 단계; 및
    상기 미리 정의된 시간 기간 동안, 상기 초점 주위로 확장되는 상기 구역이 상기 적어도 하나의 시각 요소를 둘러싸는 연관된 구역에 걸쳐 중첩되는 것으로 검출되는 경우, 상기 적어도 하나의 시각적 요소에 대응하는 기능을 실행하는 단계를 포함하고,
    상기 생성된 대화형 사용자 인터페이스는 현실-세계 환경에 대응하는 시야에 중첩되며, 상기 생성된 대화형 사용자 인터페이스는 하나 이상의 시각적 요소를 포함하며,
    상기 머리-장착형 디스플레이의 이동을 추적하는 단계는 하나 이상의 이동-기반 센서를 통하여 위치 데이터를 생성하는 단계를 포함하고,
    상기 초점의 위치는 상기 위치 데이터에 기초하여 식별되는 것을 특징으로 하는 비-일시적 컴퓨터 판독 가능한 저장 매체.
  12. 제1항에 있어서, 상기 시각적 요소 중 또다른 하나는 상기 적어도 하나의 시각적 요소와 다른 기능에 대응하는 것을 특징으로 하는 방법.
  13. 제1항에 있어서, 상기 기능을 실행하는 단계는 특히 상기 기능에 대한 제어 명령을 기초로 하는 것을 특징으로 하는 방법.
  14. 제3항에 있어서, 사용자 선호도에 기초하여 상기 적어도 하나의 시각적 요소의 상기 디스플레이를 둘러싸는 상기 구역을 정의하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  15. 제1항에 있어서, 상기 초점의 상기 위치를 식별하는 단계는 상기 이동-기반 센서에 의해 생성된 상기 위치 데이터를 상기 초점의 위치 데이터로 변환하는 것을 특징으로 하는 방법.
  16. 제1항에 있어서, 상기 기능을 활성화하는 것은 제스처 입력에 더 기초하는 것을 특징으로 하는 방법.
  17. 제1항에 있어서, 사용자 선호도에 기초하여 상기 미리 정의된 시간 기간을 변경하는 단계를 더 포함하는 것을 특징으로 하는 방법.
  18. 제1항에 있어서, 상기 기능을 실행하는 단계는 상기 적어도 하나의 시각적 요소를 조작하는 단계를 포함하는 것을 특징으로 하는 방법.
  19. 제1항에 있어서, 상기 적어도 하나의 시각적 요소에 대응하는 상기 기능은 소프트웨어 애플리케이션에 특정되는 것을 특징으로 하는 방법.
  20. 제1항에 있어서, 상기 미리 정의된 시간 기간은 소프트웨어 애플리케이션에 특정되는 것을 특징으로 하는 방법.
KR1020207007152A 2014-01-25 2015-01-12 머리-장착형 디스플레이에서의 메뉴 내비게이션 Active KR102235410B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020217009255A KR102390549B1 (ko) 2014-01-25 2015-01-12 머리-장착형 디스플레이에서의 메뉴 내비게이션

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201461931582P 2014-01-25 2014-01-25
US61/931,582 2014-01-25
US14/283,032 2014-05-20
US14/283,032 US9588343B2 (en) 2014-01-25 2014-05-20 Menu navigation in a head-mounted display
PCT/US2015/010990 WO2015112359A1 (en) 2014-01-25 2015-01-12 Menu navigation in a head-mounted display

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020167020346A Division KR102090075B1 (ko) 2014-01-25 2015-01-12 머리-장착형 디스플레이에서의 메뉴 내비게이션

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217009255A Division KR102390549B1 (ko) 2014-01-25 2015-01-12 머리-장착형 디스플레이에서의 메뉴 내비게이션

Publications (2)

Publication Number Publication Date
KR20200029631A true KR20200029631A (ko) 2020-03-18
KR102235410B1 KR102235410B1 (ko) 2021-04-02

Family

ID=53678875

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020217009255A Active KR102390549B1 (ko) 2014-01-25 2015-01-12 머리-장착형 디스플레이에서의 메뉴 내비게이션
KR1020207007152A Active KR102235410B1 (ko) 2014-01-25 2015-01-12 머리-장착형 디스플레이에서의 메뉴 내비게이션
KR1020167020346A Active KR102090075B1 (ko) 2014-01-25 2015-01-12 머리-장착형 디스플레이에서의 메뉴 내비게이션

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217009255A Active KR102390549B1 (ko) 2014-01-25 2015-01-12 머리-장착형 디스플레이에서의 메뉴 내비게이션

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020167020346A Active KR102090075B1 (ko) 2014-01-25 2015-01-12 머리-장착형 디스플레이에서의 메뉴 내비게이션

Country Status (10)

Country Link
US (4) US9588343B2 (ko)
EP (1) EP3097449A4 (ko)
JP (3) JP2017510877A (ko)
KR (3) KR102390549B1 (ko)
CN (1) CN106471420B (ko)
BR (1) BR112016017179A2 (ko)
CA (1) CA2937880C (ko)
MX (1) MX359046B (ko)
RU (1) RU2642545C1 (ko)
WO (1) WO2015112359A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11036292B2 (en) 2014-01-25 2021-06-15 Sony Interactive Entertainment LLC Menu navigation in a head-mounted display
US11272039B2 (en) 2013-03-15 2022-03-08 Sony Interactive Entertainment LLC Real time unified communications interaction of a predefined location in a virtual reality location
US11809679B2 (en) 2013-03-15 2023-11-07 Sony Interactive Entertainment LLC Personal digital assistance and virtual reality

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140280505A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality interaction with 3d printing
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US9437159B2 (en) 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US10585485B1 (en) 2014-11-10 2020-03-10 Amazon Technologies, Inc. Controlling content zoom level based on user head movement
KR102450416B1 (ko) 2015-11-04 2022-10-05 삼성전자주식회사 전자 장치, 웨어러블 장치 및 전자 장치에서 디스플레이되는 객체를 제어하는 방법
KR102532071B1 (ko) * 2015-12-30 2023-05-15 삼성전자주식회사 디스플레이장치, 사용자단말기, 그 제어방법, 기록매체 및 시스템
US10586391B2 (en) 2016-05-31 2020-03-10 Accenture Global Solutions Limited Interactive virtual reality platforms
KR102632795B1 (ko) 2016-09-21 2024-02-02 삼성전자주식회사 컨텐츠와 연관된 네비게이터 표시 방법 및 이를 구현한 전자 장치
US10602133B2 (en) 2016-10-04 2020-03-24 Facebook, Inc. Controls and interfaces for user interactions in virtual spaces
US20180095635A1 (en) * 2016-10-04 2018-04-05 Facebook, Inc. Controls and Interfaces for User Interactions in Virtual Spaces
CN106951153B (zh) * 2017-02-21 2020-11-20 联想(北京)有限公司 一种显示方法及电子设备
CN106924970B (zh) * 2017-03-08 2020-07-07 网易（杭州）网络有限公司 虚拟现实系统、基于虚拟现实的信息显示方法及装置
EP3616110A1 (en) * 2017-04-24 2020-03-04 Siemens Aktiengesellschaft Unlocking passwords in augmented reality based on look
CN107368184B (zh) 2017-05-12 2020-04-14 阿里巴巴集团控股有限公司 一种虚拟现实场景中的密码输入方法和装置
US10747386B2 (en) * 2017-06-01 2020-08-18 Samsung Electronics Co., Ltd. Systems and methods for window control in virtual reality environment
JP6312184B2 (ja) * 2017-10-25 2018-04-18 株式会社コナミデジタルエンタテインメント 端末装置、及びプログラム
CN108010394B (zh) * 2017-12-20 2020-11-03 杭州埃欧哲建设工程咨询有限公司 一种基于vr的虚拟教学方法、控制终端、虚拟教学系统
WO2019135634A1 (en) 2018-01-05 2019-07-11 Samsung Electronics Co., Ltd. Method and apparatus to navigate a virtual content displayed by a virtual reality (vr) device
US11567627B2 (en) 2018-01-30 2023-01-31 Magic Leap, Inc. Eclipse cursor for virtual content in mixed reality displays
US10540941B2 (en) 2018-01-30 2020-01-21 Magic Leap, Inc. Eclipse cursor for mixed reality displays
US11157159B2 (en) 2018-06-07 2021-10-26 Magic Leap, Inc. Augmented reality scrollbar
WO2020084625A1 (en) 2018-10-25 2020-04-30 Beyeonics Surgical Ltd. Ui for head mounted display system
CN114003123B (zh) * 2020-07-28 2025-05-06 华为技术有限公司 控件移动方法和电子设备
US11351457B2 (en) * 2020-09-11 2022-06-07 Riot Games, Inc. Selecting an anchored offset targeting position
RU2747861C1 (ru) * 2020-09-17 2021-05-17 Общество с ограниченной ответственностью "МедВиар" Способ и система для ведения диалогов с виртуальными персонажами в виртуальной среде
US11183049B1 (en) * 2021-01-22 2021-11-23 International Business Machines Corporation Monitoring and instigating shifts in visual focus
US11720380B1 (en) 2022-05-18 2023-08-08 Bank Of America Corporation System and method for updating augmented reality navigation instructions based on a detected error
US11586286B1 (en) 2022-05-18 2023-02-21 Bank Of America Corporation System and method for navigating on an augmented reality display
KR102592197B1 (ko) 2023-05-18 2023-10-20 주식회사 미주산업 비전인식기반 조선기자재 철의장품 형상조립 및 용접 자동화 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222287A (ja) * 1997-02-10 1998-08-21 Sony Corp 情報入力装置
JP2002351592A (ja) * 2001-05-15 2002-12-06 Internatl Business Mach Corp <Ibm> 選択ポインタの近接度に基づいてグラフィカル・ユーザ・インターフェース（ｇｕｉ）ウィジェットを拡大／縮小するための方法及びシステム

Family Cites Families (155)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3883237A (en) * 1972-08-03 1975-05-13 Gates Rubber Co Panoramic image reproducing apparatus
US5258785A (en) * 1991-06-25 1993-11-02 Dawkins Jr Douglas R Close-view data display implant for sporting eyewear
US5757358A (en) * 1992-03-31 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for enhancing computer-user selection of computer-displayed objects through dynamic selection area and constant visual feedback
US5585871A (en) * 1995-05-26 1996-12-17 Linden; Harry Multi-function display apparatus
US8330812B2 (en) * 1995-05-30 2012-12-11 Simulated Percepts, Llc Method and apparatus for producing and storing, on a resultant non-transitory storage medium, computer generated (CG) video in correspondence with images acquired by an image acquisition device tracked in motion with respect to a 3D reference frame
US6282362B1 (en) 1995-11-07 2001-08-28 Trimble Navigation Limited Geographical position/image digital recording and display system
JPH09167253A (ja) * 1995-12-14 1997-06-24 Olympus Optical Co Ltd 映像表示装置
US6084979A (en) 1996-06-20 2000-07-04 Carnegie Mellon University Method for creating virtual reality
GB2314664A (en) * 1996-06-27 1998-01-07 Sharp Kk Address generator,display and spatial light modulator
JPH1195971A (ja) * 1997-09-24 1999-04-09 Sharp Corp ユーザインタフェースシステム
US5982555A (en) 1998-01-20 1999-11-09 University Of Washington Virtual retinal display with eye tracking
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6415316B1 (en) 1998-09-01 2002-07-02 Aidministrator Nederland B.V. Method and apparatus for implementing a web page diary
JP2002525769A (ja) * 1998-09-22 2002-08-13 ヴェガ ヴィスタ インコーポレイテッド 携帯型データディスプレイの直接的コントロール方法
US6345129B1 (en) * 1999-02-03 2002-02-05 Oren Aharon Wide-field scanning tv
US6315273B1 (en) * 1999-05-27 2001-11-13 Lionel Davies Gas and liquid contact apparatus: illuminated
US20020038456A1 (en) 2000-09-22 2002-03-28 Hansen Michael W. Method and system for the automatic production and distribution of media content using the internet
US20020083134A1 (en) 2000-12-22 2002-06-27 Bauer Kirk Wayne Method and system of collaborative browsing
US7100190B2 (en) 2001-06-05 2006-08-29 Honda Giken Kogyo Kabushiki Kaisha Automobile web cam and communications system incorporating a network of automobile web cams
US7970240B1 (en) 2001-12-17 2011-06-28 Google Inc. Method and apparatus for archiving and visualizing digital images
JP2003280805A (ja) * 2002-03-26 2003-10-02 Gen Tec:Kk データ入力装置
US7921357B2 (en) * 2002-05-23 2011-04-05 Lebow David G Highlighting comparison method
US8120624B2 (en) * 2002-07-16 2012-02-21 Noregin Assets N.V. L.L.C. Detail-in-context lenses for digital image cropping, measurement and online maps
CA2406131A1 (en) * 2002-09-30 2004-03-30 Idelix Software Inc. A graphical user interface using detail-in-context folding
US8458028B2 (en) 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
JP2004233867A (ja) * 2003-01-31 2004-08-19 Nikon Corp 画像表示装置
US9607092B2 (en) 2003-05-20 2017-03-28 Excalibur Ip, Llc Mapping method and system
US7467356B2 (en) 2003-07-25 2008-12-16 Three-B International Limited Graphical user interface for 3d virtual display browser using virtual display windows
US7646394B1 (en) 2004-03-05 2010-01-12 Hrl Laboratories, Llc System and method for operating in a virtual environment
ATE552478T1 (de) * 2004-06-03 2012-04-15 Making Virtual Solid L L C Navigationsanzeigeverfahren und vorrichtung für unterwegs unter verwendung eines head-up-displays
SE0401582L (sv) * 2004-06-18 2005-05-10 Totalfoersvarets Forskningsins Interaktivt förfarande för att presentera information i en bild
EP1782228A1 (en) 2004-08-03 2007-05-09 Silverbrook Research Pty. Ltd Walk-up printing
US7949642B2 (en) 2004-10-12 2011-05-24 Wendy W Yang System and method for managing and presenting entity information
JP2006320706A (ja) * 2004-12-03 2006-11-30 Shinsedai Kk ボクシングゲーム方法、表示制御方法、位置決定方法、カーソル制御方法、消費エネルギー算出方法及びエクササイズ・システム
US7298378B1 (en) 2004-12-13 2007-11-20 Hagenbuch Andrew M Virtual reality universe realized as a distributed location network
EP1679577A1 (en) * 2005-01-10 2006-07-12 Tobii Technology AB Adaptive display of eye controllable objects
WO2006087709A1 (en) * 2005-02-17 2006-08-24 Lumus Ltd. Personal navigation system
US10198521B2 (en) 2005-06-27 2019-02-05 Google Llc Processing ambiguous search requests in a geographic information system
US8818076B2 (en) 2005-09-01 2014-08-26 Victor Shenkar System and method for cost-effective, high-fidelity 3D-modeling of large-scale urban environments
US7529772B2 (en) 2005-09-27 2009-05-05 Scenera Technologies, Llc Method and system for associating user comments to a scene captured by a digital imaging device
US7836437B2 (en) 2006-02-10 2010-11-16 Microsoft Corporation Semantic annotations for virtual objects
US8725729B2 (en) * 2006-04-03 2014-05-13 Steven G. Lisa System, methods and applications for embedded internet searching and result display
US7928926B2 (en) 2006-06-27 2011-04-19 Panasonic Corporation Display apparatus and method for hands free operation that selects a function when window is within field of view
EP2078229A2 (en) * 2006-11-02 2009-07-15 Sensics, Inc. Systems and methods for a head-mounted display
US9555334B2 (en) 2006-12-13 2017-01-31 Qualcomm Incorporated System and method for managing virtual worlds mapped to real locations in a mobile-enabled massively multiplayer online role playing game (MMORPG)
US20080155019A1 (en) 2006-12-20 2008-06-26 Andrew Wallace System, apparatus and method to facilitate interactions between real world and proprietary environments
US8239487B1 (en) 2007-05-30 2012-08-07 Rocketon, Inc. Method and apparatus for promoting desired on-line activities using on-line games
US8583915B1 (en) 2007-05-31 2013-11-12 Bby Solutions, Inc. Security and authentication systems and methods for personalized portable devices and associated systems
US8600808B2 (en) 2007-06-07 2013-12-03 Qurio Holdings, Inc. Methods and systems of presenting advertisements in consumer-defined environments
US20090113349A1 (en) 2007-09-24 2009-04-30 Mark Zohar Facilitating electronic commerce via a 3d virtual environment
US20090106672A1 (en) 2007-10-18 2009-04-23 Sony Ericsson Mobile Communications Ab Virtual world avatar activity governed by person's real life activity
US20100259471A1 (en) 2007-11-16 2010-10-14 Nikon Corporation Control device, head-mount display device, program, and control method
US20090263777A1 (en) * 2007-11-19 2009-10-22 Kohn Arthur J Immersive interactive environment for asynchronous learning and entertainment
US20090271436A1 (en) 2008-04-23 2009-10-29 Josef Reisinger Techniques for Providing a Virtual-World Object Based on a Real-World Object Description
KR20100009947A (ko) * 2008-07-21 2010-01-29 삼성전자주식회사 가상 현실 서비스 간의 상호 연동을 위한 장치 및 방법
US9318026B2 (en) 2008-08-21 2016-04-19 Lincoln Global, Inc. Systems and methods providing an enhanced user experience in a real-time simulated virtual reality welding environment
US8108778B2 (en) 2008-09-30 2012-01-31 Yahoo! Inc. System and method for context enhanced mapping within a user interface
CA2674663A1 (en) * 2008-10-08 2010-04-08 Research In Motion Limited A method and handheld electronic device having dual mode touchscreen-based navigation
US20100102476A1 (en) 2008-10-29 2010-04-29 Higgins Michael H Method for manufacturing raised relief maps
US20100110069A1 (en) * 2008-10-31 2010-05-06 Sharp Laboratories Of America, Inc. System for rendering virtual see-through scenes
US9472014B2 (en) 2008-12-19 2016-10-18 International Business Machines Corporation Alternative representations of virtual content in a virtual universe
FR2942091A1 (fr) 2009-02-10 2010-08-13 Alcatel Lucent Communication multimedia dans un environnement virtuel
US20100208029A1 (en) * 2009-02-13 2010-08-19 Samsung Electronics Co., Ltd Mobile immersive display system
US20100238161A1 (en) * 2009-03-19 2010-09-23 Kenneth Varga Computer-aided system for 360º heads up display of safety/mission critical data
KR20100113704A (ko) * 2009-04-14 2010-10-22 삼성전자주식회사 아이템 선택 방법 및 장치
JP2011039438A (ja) 2009-08-18 2011-02-24 Fujitsu Ltd 電子機器および表示制御方法
US8392839B2 (en) 2009-08-27 2013-03-05 International Business Machines Corporation System and method for using partial teleportation or relocation in virtual worlds
US20110153435A1 (en) * 2009-09-17 2011-06-23 Lexos Media Inc. System and method of cursor-based content delivery
US9254438B2 (en) 2009-09-29 2016-02-09 International Business Machines Corporation Apparatus and method to transition between a media presentation and a virtual environment
US9256347B2 (en) 2009-09-29 2016-02-09 International Business Machines Corporation Routing a teleportation request based on compatibility with user contexts
US8175734B2 (en) 2009-10-08 2012-05-08 3D M. T. P. Ltd. Methods and system for enabling printing three-dimensional object models
WO2011097762A1 (en) 2010-02-12 2011-08-18 Thomson Licensing Method for synchronized content playback
KR20110094693A (ko) * 2010-02-17 2011-08-24 삼성전자주식회사 사용자 인터페이스 제공 장치 및 방법
US20110214071A1 (en) 2010-02-26 2011-09-01 University Of Southern California Information channels in mmogs
US20120194418A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with user action control and event input based control of eyepiece application
US20140063055A1 (en) 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type
US20120194552A1 (en) * 2010-02-28 2012-08-02 Osterhout Group, Inc. Ar glasses with predictive control of external device based on event input
US20140063054A1 (en) 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific control interface based on a connected external device type
JP5223062B2 (ja) 2010-03-11 2013-06-26 株式会社ジオ技術研究所 ３次元地図描画システム
JP5143856B2 (ja) 2010-04-16 2013-02-13 株式会社ソニー・コンピュータエンタテインメント ３次元画像表示装置、および３次元画像表示方法
US8797380B2 (en) 2010-04-30 2014-08-05 Microsoft Corporation Accelerated instant replay for co-present and distributed meetings
US20110279445A1 (en) 2010-05-16 2011-11-17 Nokia Corporation Method and apparatus for presenting location-based content
US8694553B2 (en) 2010-06-07 2014-04-08 Gary Stephen Shuster Creation and use of virtual places
US20110313779A1 (en) 2010-06-17 2011-12-22 Microsoft Corporation Augmentation and correction of location based data through user feedback
US8521526B1 (en) 2010-07-28 2013-08-27 Google Inc. Disambiguation of a spoken query term
US9378296B2 (en) 2010-08-24 2016-06-28 International Business Machines Corporation Virtual world construction
US9316827B2 (en) * 2010-09-20 2016-04-19 Kopin Corporation LifeBoard—series of home pages for head mounted displays (HMD) that respond to head tracking
US9317133B2 (en) 2010-10-08 2016-04-19 Nokia Technologies Oy Method and apparatus for generating augmented reality content
US9632315B2 (en) * 2010-10-21 2017-04-25 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
KR20120046973A (ko) * 2010-11-03 2012-05-11 삼성전자주식회사 움직임 정보 생성 방법 및 장치
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US9304319B2 (en) * 2010-11-18 2016-04-05 Microsoft Technology Licensing, Llc Automatic focus improvement for augmented reality displays
KR20130135282A (ko) 2010-12-10 2013-12-10 요타 디바이시스 아이피알 리미티드 이용자 인터페이스를 갖는 모바일 디바이스
US9213405B2 (en) * 2010-12-16 2015-12-15 Microsoft Technology Licensing, Llc Comprehension and intent-based content for augmented reality displays
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US8803912B1 (en) 2011-01-18 2014-08-12 Kenneth Peyton Fouts Systems and methods related to an interactive representative reality
US20120188148A1 (en) 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
RU111703U1 (ru) 2011-02-08 2011-12-20 Федеральное агенство воздушного транспорта Федеральное государственное образовательное учреждение высшего профессионального образования "Московский государственный технический университет гражданской авиации" (МГТУГА) Тренажерный комплекс для обучения авиадиспетчеров диспетчерских пунктов руления, старта и посадки на реальном летном поле
EP3527121B1 (en) * 2011-02-09 2023-08-23 Apple Inc. Gesture detection in a 3d mapping environment
US9142062B2 (en) 2011-03-29 2015-09-22 Qualcomm Incorporated Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking
US20120249480A1 (en) * 2011-03-31 2012-10-04 Smart Technologies Ulc Interactive input system incorporating multi-angle reflecting structure
US9154826B2 (en) 2011-04-06 2015-10-06 Headwater Partners Ii Llc Distributing content and service launch objects to mobile devices
US9043325B1 (en) 2011-06-24 2015-05-26 Google Inc. Collecting useful user feedback about geographical entities
US9727132B2 (en) 2011-07-01 2017-08-08 Microsoft Technology Licensing, Llc Multi-visor: managing applications in augmented reality environments
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US8223024B1 (en) 2011-09-21 2012-07-17 Google Inc. Locking mechanism based on unnatural movement of head-mounted display
US8847988B2 (en) 2011-09-30 2014-09-30 Microsoft Corporation Exercising applications for personal audio/visual system
US9128520B2 (en) 2011-09-30 2015-09-08 Microsoft Technology Licensing, Llc Service provision using personal audio/visual system
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US8970452B2 (en) * 2011-11-02 2015-03-03 Google Inc. Imaging method
US20130117707A1 (en) * 2011-11-08 2013-05-09 Google Inc. Velocity-Based Triggering
US9311883B2 (en) 2011-11-11 2016-04-12 Microsoft Technology Licensing, Llc Recalibration of a flexible mixed reality device
US20130125066A1 (en) * 2011-11-14 2013-05-16 Microsoft Corporation Adaptive Area Cursor
US8866852B2 (en) * 2011-11-28 2014-10-21 Google Inc. Method and system for input detection
US9213185B1 (en) * 2012-01-06 2015-12-15 Google Inc. Display scaling based on movement of a head-mounted display
US8908914B2 (en) 2012-01-17 2014-12-09 Maxlinear, Inc. Method and system for map generation for location and navigation with user sharing/social networking
US20130191178A1 (en) 2012-01-25 2013-07-25 Predictive Edge Technologies, Llc System and method for secure registration, authentication, valuation and exchange of virtual goods and objects
US20130194389A1 (en) * 2012-01-31 2013-08-01 Ben Vaught Head-mounted display device to measure attentiveness
JP5880115B2 (ja) 2012-02-17 2016-03-08 ソニー株式会社 ヘッドマウントディスプレイ、ヘッドマウントディスプレイ制御プログラム及びヘッドマウントディスプレイの制御方法
US20130227017A1 (en) 2012-02-24 2013-08-29 Steven Antony Gahlings Location associated virtual interaction, virtual networking and virtual data management
US8737767B2 (en) 2012-02-28 2014-05-27 Disney Enterprises, Inc. Perceptually guided capture and stylization of 3D human figures
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US9096920B1 (en) * 2012-03-22 2015-08-04 Google Inc. User interface method
US20130263016A1 (en) 2012-03-27 2013-10-03 Nokia Corporation Method and apparatus for location tagged user interface for media sharing
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays
JP2013258614A (ja) 2012-06-13 2013-12-26 Sony Computer Entertainment Inc 画像生成装置および画像生成方法
US9389420B2 (en) * 2012-06-14 2016-07-12 Qualcomm Incorporated User interface interaction for transparent head-mounted displays
TW201351963A (zh) 2012-06-15 2013-12-16 Hon Hai Prec Ind Co Ltd 虛擬環境中的影像播放方法及系統
US9219901B2 (en) 2012-06-19 2015-12-22 Qualcomm Incorporated Reactive user interface for head-mounted display
US9669296B1 (en) 2012-07-31 2017-06-06 Niantic, Inc. Linking real world activities with a parallel reality game
US20140101608A1 (en) * 2012-10-05 2014-04-10 Google Inc. User Interfaces for Head-Mountable Devices
US9007301B1 (en) * 2012-10-11 2015-04-14 Google Inc. User interface
US20150062114A1 (en) 2012-10-23 2015-03-05 Andrew Ofstad Displaying textual information related to geolocated images
US9710873B1 (en) 2012-10-26 2017-07-18 Amazon Technologies, Inc. Point of interest mapping
US20140164921A1 (en) 2012-12-07 2014-06-12 Robert Salinas Methods and Systems of Augmented Reality on Mobile Devices
US9607011B2 (en) 2012-12-19 2017-03-28 Intel Corporation Time-shifting image service
US9285951B2 (en) 2013-02-14 2016-03-15 Disney Enterprises, Inc. Avatar personalization in a virtual environment
US20140280502A1 (en) 2013-03-15 2014-09-18 John Cronin Crowd and cloud enabled virtual reality distributed location network
US20140280505A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality interaction with 3d printing
US20140280503A1 (en) 2013-03-15 2014-09-18 John Cronin System and methods for effective virtual reality visitor interface
US20140267581A1 (en) 2013-03-15 2014-09-18 John Cronin Real time virtual reality leveraging web cams and ip cams and web cam and ip cam networks
US9838506B1 (en) 2013-03-15 2017-12-05 Sony Interactive Entertainment America Llc Virtual reality universe representation changes viewing based upon client side parameters
US20140280504A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality universe representation changes viewing based upon client side parameters
US20140280506A1 (en) 2013-03-15 2014-09-18 John Cronin Virtual reality enhanced through browser connections
US20140280644A1 (en) 2013-03-15 2014-09-18 John Cronin Real time unified communications interaction of a predefined location in a virtual reality location
US9261959B1 (en) * 2013-03-28 2016-02-16 Google Inc. Input detection
US9874749B2 (en) * 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
US9329682B2 (en) * 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US9563331B2 (en) * 2013-06-28 2017-02-07 Microsoft Technology Licensing, Llc Web-like hierarchical menu display configuration for a near-eye display
JP5825328B2 (ja) * 2013-11-07 2015-12-02 コニカミノルタ株式会社 透過型ｈｍｄを有する情報表示システム及び表示制御プログラム
US9437159B2 (en) 2014-01-25 2016-09-06 Sony Interactive Entertainment America Llc Environmental interrupt in a head-mounted display and utilization of non field of view real estate
US9588343B2 (en) 2014-01-25 2017-03-07 Sony Interactive Entertainment America Llc Menu navigation in a head-mounted display
US9898078B2 (en) * 2015-01-12 2018-02-20 Dell Products, L.P. Immersive environment correction display and method
US20170090460A1 (en) 2015-09-25 2017-03-30 Microsoft Technology Licensing, Llc 3D Model Generation From Map Data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222287A (ja) * 1997-02-10 1998-08-21 Sony Corp 情報入力装置
JP2002351592A (ja) * 2001-05-15 2002-12-06 Internatl Business Mach Corp <Ibm> 選択ポインタの近接度に基づいてグラフィカル・ユーザ・インターフェース（ｇｕｉ）ウィジェットを拡大／縮小するための方法及びシステム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11272039B2 (en) 2013-03-15 2022-03-08 Sony Interactive Entertainment LLC Real time unified communications interaction of a predefined location in a virtual reality location
US11809679B2 (en) 2013-03-15 2023-11-07 Sony Interactive Entertainment LLC Personal digital assistance and virtual reality
US11036292B2 (en) 2014-01-25 2021-06-15 Sony Interactive Entertainment LLC Menu navigation in a head-mounted display
US11693476B2 (en) 2014-01-25 2023-07-04 Sony Interactive Entertainment LLC Menu navigation in a head-mounted display

Also Published As

Publication number Publication date
JP2018190429A (ja) 2018-11-29
JP2020115352A (ja) 2020-07-30
JP2017510877A (ja) 2017-04-13
WO2015112359A9 (en) 2016-11-10
US20210357028A1 (en) 2021-11-18
US9588343B2 (en) 2017-03-07
US10809798B2 (en) 2020-10-20
JP6674703B2 (ja) 2020-04-01
KR102090075B1 (ko) 2020-03-17
CA2937880A1 (en) 2015-07-30
US20200379556A1 (en) 2020-12-03
US11693476B2 (en) 2023-07-04
WO2015112359A1 (en) 2015-07-30
BR112016017179A2 (pt) 2017-12-26
US20150212322A1 (en) 2015-07-30
RU2642545C1 (ru) 2018-01-25
MX359046B (es) 2018-09-13
EP3097449A4 (en) 2017-08-09
MX2016009682A (es) 2017-07-05
KR102390549B1 (ko) 2022-04-26
CA2937880C (en) 2018-01-23
EP3097449A1 (en) 2016-11-30
JP7021274B2 (ja) 2022-02-16
US11036292B2 (en) 2021-06-15
CN106471420B (zh) 2019-04-23
KR20160113614A (ko) 2016-09-30
KR102235410B1 (ko) 2021-04-02
CN106471420A (zh) 2017-03-01
US20170242479A1 (en) 2017-08-24
KR20210037746A (ko) 2021-04-06

Similar Documents

Publication Publication Date Title
KR102090075B1 (ko) 머리-장착형 디스플레이에서의 메뉴 내비게이션
US10096167B2 (en) Method for executing functions in a VR environment
KR20240091221A (ko) 미디어를 캡처 및 디스플레이하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
US20250199623A1 (en) Devices, methods, and graphical user interfaces for using a cursor to interact with three-dimensional environments
CN119126982A (zh) 用于使用手部手势与虚拟对象进行交互的设备、方法和图形用户界面

Legal Events

Date Code Title Description
A107 Divisional application of patent
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20200311

Application number text: 1020167020346

Filing date: 20160725

PA0201 Request for examination
PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200608

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20201229

A107 Divisional application of patent
GRNT Written decision to grant
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20210329

Application number text: 1020167020346

Filing date: 20160725

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20210329

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20210330

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20240312

Start annual number: 4

End annual number: 4