KR20140091710A - 다수의 장치에 걸친 증강 현실 표현 - Google Patents

다수의 장치에 걸친 증강 현실 표현 Download PDF

Info

Publication number
KR20140091710A
KR20140091710A KR1020147013502A KR20147013502A KR20140091710A KR 20140091710 A KR20140091710 A KR 20140091710A KR 1020147013502 A KR1020147013502 A KR 1020147013502A KR 20147013502 A KR20147013502 A KR 20147013502A KR 20140091710 A KR20140091710 A KR 20140091710A
Authority
KR
South Korea
Prior art keywords
display
virtual object
presenting
real space
interaction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020147013502A
Other languages
English (en)
Other versions
KR101574099B1 (ko
Inventor
글렌 제이 앤더슨
웬디 에이 마치
Original Assignee
인텔 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인텔 코포레이션 filed Critical 인텔 코포레이션
Publication of KR20140091710A publication Critical patent/KR20140091710A/ko
Application granted granted Critical
Publication of KR101574099B1 publication Critical patent/KR101574099B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—Three-dimensional [3D] image rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

다수의 장치에 걸쳐 증강된 현실 표현을 생산하는 방법 및 장치가 기술된다. 일례에서, 동작은 가상 오브젝트를 생성하는 동작과, 제 1 디스플레이를 포함하는 현실 공간을 생성하는 동작과, 제 2 디스플레이 상에 제 1 디스플레이를 포함하는 현실 공간의 가상 오브젝트를 제시하는 동작을 포함한다. 또한 동작은 가상 오브젝트가 현실 공간을 통해 이동하면, 현실 공간에서 가상 오브젝트의 위치를 추적하는 동작과, 추적된 위치를 이용하여 제 2 디스플레이 상에 가상 오브젝트의 제시를 업데이트하는 동작과, 가상 오브젝트의 추적된 위치가 현실 공간의 제 1 디스플레이의 위치와 일치하는 경우, 제 1 디스플레이에 가상 오브젝트를 제시하는 동작을 포함한다.

Description

다수의 장치에 걸친 증강 현실 표현{AUGMENTED REALITY REPRESENTATIONS ACROSS MULTIPLE DEVICES}
본 발명은 다수의 장치에 걸친 증강 현실 표현에 관한 것이다.
증강 현실(Augmented Reality, AR)은 실제 장소의 이미지 위에 중첩된 가상 오브젝트를 보여주는 기술을 포함한다. 간단한 예에서, 이미지는 식당을 포함하는 거리의 전경이고, 이 현실은 식당의 이미지 위에 중첩된 식당의 이름을 부가하여 증강된다. 이것은 메뉴, 리뷰, 내부의 친구들 및 다른 정보를 포함하여 확장되었다. 이미지는 이미지의 비디오 시퀀스일 수 있다. 사용자가 한 위치에서 카메라 폰을 가리켜 스마트폰 디스플레이 상의 위치를 볼 수 있게 하는 스마트폰 애플리케이션이 제안 또는 개발되었다. 그러면 애플리케이션은 식당 이름 등의 위치에 대한 데이터를 취득하고, 그 후 이름, 메뉴, 리뷰 등과 함께 스마트폰 디스플레이에 보여진 현실성을 증가시킨다.
AR 기술은 또한 현실 세계의 비디오를 3차원 그래픽과 혼합하는 데 사용되었다. 일례에서 AR은 실제 장면의 비디오 공급 위에 가상의 사람 또는 동물을 중첩하는 데 사용된다. 일부 경우, 실제 장면은 카메라에 의해 관찰되고, 그 장면에서 서있는 사람은 카메라에 의해 관찰되고, 그 후 실제 사람과 가상의 사람 또는 동물 사이의 상호작용을 제공하기 위해 사용되는 제스쳐를 할 수 있다. 실제 사람과 가상의 사람 사이의 상호작용은 실제 사람이 직접 볼 수는 없지만, 증강 현실 뷰를 보여주는 디스플레이를 통해서는 볼 수 있다. 이 뷰는 실제 장면, 실제 사람 및 가상의 사람을 포함한다.
또한 AR 개발은 향상된 또는 다른 가상 오브젝트 또는 사람들과 상호작용하는 가상의 오브젝트로 변환되는 장면의 실제 오브젝트를 갖는다. 그래서, 예컨대, 실제의 사탕은 가상 폭발물로 바뀔 수 있고, 텔레비전의 실제 사진은 가상으로 텔레비전 채널을 표시할 수 있다. 이들 타입의 AR 기술은 오락 및 혁신을 제공한다. 개선에 의해, AR 기술은 게임 재생, 훈련 및 교습에 사용될 수 있다.
유사한 참조부호가 유사한 구성요소를 가리키는 첨부도면에서 본 발명의 실시예는 예로서 도시되고 제한하려는 것이 아니다.
도 1은 본 발명의 일 실시예에 따른 AR 표현에 적합한 다수의 디스플레이에 의한 실제 장면의 도면이다.
도 2는 본 발명의 일 실시예에 따라 디스플레이로부터 나타나는 AR 캐릭터 도롱뇽을 도시하는 다수의 디스플레이와 함께 도 1의 실제 장면을 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따라 실제 장면을 이동하는 AR 캐릭터 도롱뇽을 도시하는 다수의 디스플레이와 함께 도 1의 실제 장면을 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따라 디스플레이로 들어가는 AR 캐릭터 도롱뇽을 도시하는 다수의 디스플레이와 함께 도 1의 실제 장면을 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따라 다수의 디스플레이가 있는 실제 장면 및 그 장면에 대해 움직이는 다수의 AR 캐릭터의 도면이다.
도 6은 본 발명의 일 실시예에 따라 다수의 디스플레이에 걸쳐 AR 캐릭터를 나타내는 프로세스 흐름도이다.
도 7은 본 발명의 다른 실시예에 따라 다수의 디스플레이를 포함하는 현실 공간에 AR 캐릭터를 나타내는 프로세스 흐름도이다.
도 8은 본 발명의 일 실시예에 따라 본 개시물의 프로세스를 구현하기에 적합한 컴퓨터 시스템의 블럭도이다.
도 9는 본 발명의 일 실시예에 따라 본 개시물의 프로세스를 구현하기에 적합한 도 8의 컴퓨터 시스템의 다른 뷰의 블럭도이다.
본 발명의 실시예에 따르면, AR 캐릭터는 비-AR 뷰에서 동일한 캐릭터를 도시하는 스크린으로부터 나타날 수 있다. 즉, AR 스크린에서, 캐릭터는 제 2 스크린으로부터 나타나 도시된다. 동시에 제 2 스크린은 또한 캐릭터의 일부가 그 스크린에 남아 있는 동안 그 스크린으로부터 빠져나오는 캐릭터를 보여준다. 그 후 캐릭터는 실제 공간을 건너 이동한다. 이 움직임은 제 2 스크린에서 보일 수 없고 AR 스크린에서만 보일 수 있다. 캐릭터는 또한 AR 및 비 AR 디스플레이의 혼합에 의해 보여짐에 따라 다른 제 3 스크린과 상호작용할 수 있다. 캐릭터가 스크린으로부터 스크린으로 이동하면, 캐릭터의 속성을 포함하지만 이에 한정되지 않는 데이터는 또한 스크린으로부터 스크린으로 또는 하나의 스크린을 지원하는 장치로부터 다른 스크린을 지원하는 장치로 이동할 수 있다.
도 1은 AR(augmented reality) 기술을 이용하여 다수의 스크린 사이에서 증강되는 상호작용의 일례를 도시한다. 도롱뇽(10)은 제 1 스크린(14)에서 이끼 낀 바위(12)에 서있는 것으로 표현된다. 제 1 스크린은 책상(16) 위에 있는 태블릿 컴퓨터의 디스플레이다. 도롱뇽은 디스플레이 내에 완전히 포함되어 있기 때문에 AR은 불필요하다. 도롱뇽은 종래의 그래픽 렌더링 기술을 이용하여 가상 환경의 가상 오브젝트로서 생성될 수 있다. 도롱뇽은 2차원 또는 3차원 기술을 이용하여 생성될 수 있다. 스크린은 2차원 또는 3차원 제시가 가능할 수 있다.
도 1의 실제 장면은 또한, 데스크탑 컴퓨터 스크린 또는 텔레비전 등의 임의의 다른 타입의 디스플레이 장치가 사용될 수 있지만, 이 경우에 휴대용 노트북 컴퓨터인 제 2 장치의 제 2 스크린(18)을 포함한다. 2개의 디스플레이는 책상(16)과 2개의 스크린 사이에 놓인 펜과 함께 펼쳐진 책(20)에 걸쳐 서로 멀리 떨어져 있다. 또한 2개의 스크린 사이에 버튼 캔디(22)의 열(trail)이 있다.
도 2에서, 도롱뇽은 제 3 스크린(24)에 의해 제시된 뷰에 도시된다. 제 3 스크린은 다른 태블릿 컴퓨터, 셀룰러폰 또는 휴대용 매체 또는 게임 플레이어 등의 제 3 장치의 일부이다. 제 3 장치는 도 1에서 도시된 것과 동일한 책상 및 슬레이트 컴퓨터를 도시한다. 이 뷰는 제 3 장치의 이면의 카메라를 이용하여 제공될 수 있고, 또는 이것은 다른 장치로부터 생성되어 제 3 장치로 송신될 수 있다. 뷰는 주변 환경과 함께 책상(16) 및 2개의 스크린(14, 18)을 포함한다.
도롱뇽이 디스플레이에 남아 있는 한, 제 2 장치는 제 3 스크린(24)의 위치에 있는 사람이 볼 것을 정확하게 보여줄 수 있다. 이 뷰는 그 자신의 카메라를 통해 그 장치에 의해 직접 생성될 수 있고, 또는 이것은 특정 실시예에 따라 소프트웨어에 의해 렌더링될 수 있다. 일례에서, 그 장치의 이면의 카메라는 스크린 및 책상의 위치를 판정하고, 그 후 그래픽 렌더링 시스템은 AR 기술을 이용하여 제 3 디스플레이 상의 표시를 위해 증강 스크린 디스플레이를 포함하는 제 1 및 제 2 스크린의 증강 버전을 생성한다.
도 2에 도시되는 바와 같이, 도롱뇽(10)은, 전화기(24)를 통해 AR로 나타내는 바와 같이, 태블릿 스크린(14)으로부터 책상(16) 위로 빠져나오고 있다. 도롱뇽은 제 3 스크린의 AR 캐릭터로서 렌더링된다. 제 3 스크린에서 도롱뇽은 책상 및 버튼 캔디 등의 실제 물체의 컨텍스트에 표시되는 가상 오브젝트로 되었다.
도 3에서, 도롱뇽은 이제 책상 위를 걸어다니고, 전화기 디스플레이를 통해 AR 캐릭터로서 보인다. 이것은 버튼 캔디의 열을 따라가고 가상으로 그것을 먹는다. 도면의 왼쪽에서, 도롱뇽은 도 1에서와 같이 정확히 이끼 낀 바위에 그대로 있다. 이것은 제 3 디스플레이 내의 AR 렌더링이 제 1 디스플레이(14)에 실제로 묘사된 장면에 영향을 주지 않음을 보여준다.
도 4에서, 도롱뇽(10)은 이제 노트북 컴퓨터 디스플레이(18)의 가장자리를 갉아먹고 있다. 스크린 표면의 워터 시뮬레이션은 AR을 통해 보는 것에 의해 또는 보는 것에 의하지 않고 잔물결을 보여준다. 즉, 도롱뇽은 제 2 스크린과 상호작용하고, 제 2 스크린 상의 이 상호작용의 결과가 제 3 AR 스크린 상에서 보인다. 제 2 및 제 3 장치 사이의 통신 링크를 통해, 도롱뇽의 상호작용은 제 3 디스플레이에 대한 링크를 통해 송신될 수 있다. 그 후 제 2 디스플레이는 도 4에 도시된 바와 같은 물의 잔물결을 생성하게 야기될 수 있다. 그러면 AR 스크린은, 제 3 장치의 카메라가 제 2 스크린에서 보는 것을 정확하게 보여줄 수 있고, 또는 이것은 그들이 제 2 스크린에 있는 것처럼 AR 디스플레이에 나타내기 위해 AR 기술을 이용하여 잔물결을 생성할 수 있다. 그 결과, 도롱뇽은 전화기를 통해서만 볼 수 있지만, 노트북에서의 워터 시뮬레이션의 물결은 AR 없이 볼 수 있다.
도 4는 또한 도면의 왼쪽에서 보이는 실제 장면의 버튼 캔디가 그들이 원래 배치되었던 책상에 남아 있는 것을 도시한다. 그러나 AR 스크린에서는, 캔디는 취식되어 더이상 보이지 않는다. 부가하여, 도롱뇽은 제 3 AR 스크린에 묘사된 AR 장면에서 제 2 스크린으로 이동했지만, 실제 장면에서는 여전히 제 1 스크린(14)에 있다. 제 1 스크린에 대한 통신 링크를 제공함으로써, 제 1 스크린은 AR 뷰와 일치하는 식으로 도롱뇽을 제시하도록 이루어질 수 있다. 이 경우에, 도롱뇽은 AR 캐릭터로서 제시되고 제 1 스크린을 떠났기 때문에, 제 1 스크린은 도롱뇽(10)이 없는 이끼 낀 바위(12)를 제시할 것이다.
AR 캐릭터로서 도롱뇽은 캔디뿐만 아니라 책, 노트북 컴퓨터 그리고 노트북 컴퓨터에 표시된 물과도 상호작용한 것을 유의한다. 부가하여, 도 1 내지 도 4를 비교하면, 제 3 디스플레이에 제시된 특정 아이템은 제 3 디스플레이의 위치에 따라 상이하다. 도 3에서, 노트북 컴퓨터의 전부 및 버튼 캔디의 전부는 AR 디스플레이에만 도시된다. 도 4에서, 디스플레이이다.
AR 캐릭터의 간단한 상호작용은 여러가지 상이한 방식으로 향상될 수 있다. AR 캐릭터로서 렌더링된 가상 오브젝트로서, AR 캐릭터의 동작, 외모 및 성격은 임의의 특정 애플리케이션에 적합하도록 수정될 수 있다. 도롱뇽이 도시되는 동안, 임의의 사람, 동물 또는 오브젝트가 제시될 수 있다. AR 캐릭터는 또한 실제 또는 다른 가상 오브젝트와의 상호작용에 의해 변경할 수 있다. 예컨대, 생성물이 캔디를 마주치거나 캔디를 먹을 때마다, 그것은 더 높은 삶의 형태로 진화할 것이다. 게임 컨텍스트에서, 게임 캐릭터가 캔디를 흡수할 때마다, 그것은 더 많은 생명, 무기 또는 키를 얻을 것이다.
도 5는 현실 공간 및 제 1 디스플레이에 제시된 공간의 조합으로 제시된 AR 오브젝트의 다른 예를 도시한다. 이 예에서, 더 큰 컴퓨터 데스크탑 디스플레이 또는 텔레비전의 형태의 3차원 디스플레이(28)는 그 방 안 도처에 나는 다수의 비행선을 포함하는 장면을 제시한다. 일부의 배, 예컨대, 텔레비전 스크린(28)의 프레임 내에 있는 제 1 배(30)는 텔레비전의 디스플레이에 제시될 수 있다. 텔레비전의 3차원 제시 능력에 따라, 그것은 또한 관찰자 또는 사용자(32)의 관점에서 스크린의 평면 밖이지만 여전히 스크린 가까이에 다른 배(36)를 제시할 수 있다.
도시되는 바와 같이, 사용자가 방 안을 날아다니도록 보이는 추가의 비행선(36, 38, 40)을 볼 수 있는 테이블 또는 슬레이트 컴퓨터 등의 제 2 디스플레이(34)를 갖는다. 사용자가 제 2 AR 디스플레이를 움직이면 다른 비행선은, 반드시 모두 동시적이지는 않지만, 사용자가 모든 비행선을 보게 하도록 시야 내에 들어온다. 도롱뇽의 예에서와 같이, 제 1 비행선(30)은 스크린으로부터 빠져나온다. 이 예에서, 오브젝트는 3D 텔레비전 디스플레이 상에 나타내고, 그 후 스크린을 떠나 방을 날아다님에 따라 태블릿에 AR 방식으로 보여질 수 있다. 오브젝트는 텔레비전 스크린에 나타날 수 있고 2개의 장치가 제 1 비행선으로 표현된 가상 오브젝트에 대해 서로 통신하게 함으로써 나타나도록 도시될 수 있다.
도롱뇽과 같이, 비행선은 단지 예로서 제공된다. 원리는 비행기, 새, 물고기, 잠수함 또는 임의의 다른 종류의 적의 전투기 등의 유사한 타입의 오브젝트에 쉽게 적용될 수 있다. 훈련을 위해, 동일한 원리가 비행, 운전, 운항 및 다른 타입의 훈련에 적용될 수 있다. 동일한 원리는 또한 의학 진단 정보에 또는 교육 또는 학습 목적으로 수학 및 과학적 개념을 보여주기 위해 적용될 수 있다. 다른 구현예에서, 상점 및 친구를 보여주는 실제 거리 장면 및 많은 다른 타입의 정보가 제공될 수 있다.
상기 2가지 예는 AR 캐릭터에 더 많은 특징을 부가함으로써 개선될 수 있다. 이들 특징은 또한 이하에 더 상세히 설명되는 게임 소프트웨어 타입 요소에 의해 생성될 수 있다. 가시적 효과에 부가하여, AR 캐릭터는 발, 엔진의 소리 또는 음성 등의 소음을 만들어내도록 구성될 수 있다. 이들 소음은, 디스플레이에 의해 제공된 공간적 위치에 부가된 캐릭터의 청각적 위치를 제시하기 위해, 3차원 처리 효과에 의해 향상될 수 있다. 다수의 스피커에 의해, 입체적인 주변 음향 효과가 그것이 특수 위치에 있고 또 움직이는 것처럼 캐릭터 음향을 만들어내는데 사용될 수 있다.
다른 실제 및 가상 오브젝트와의 캐릭터 상호작용은 또한 이런 식으로 제시될 수 있다. 그래서, 예컨대, 도롱뇽이 실제 버튼 캔디를 가상으로 먹으면, 씹고 삼키는 소리가 그것이 도롱뇽의 입의 공간적 위치로부터 들어가는 것처럼 만들어질 수 있다. 마찬가지로, 도롱뇽이 노트북 디스플레이 상의 물을 만져서 잔물결을 일으키면, 파문이 일어난 물의 소리가 노트북 컴퓨터로부터 오는 것처럼 만들어질 수 있다. 이것은 그 자신의 스피커로부터 동일한 소리를 생산하기 위해 노트북 컴퓨터에 명령 및 데이터를 송신함으로써 증강될 수 있다. 비행선의 예에서, 그러한 배가 생산할 수 있는 소리를 제안하도록 생성된 많은 다양한 독립적이고 상호작용적인 소리가 있다.
AR 캐릭터는 또한 그것이 하나의 스크린으로부터 다른 것으로 구성요소를 운반하도록 구현될 수 있다. 도롱뇽은 이끼낀 바위에서 무언가를 옮기고 그 후 그것을 물에 내려놓을 수 있다. 가상의 사람 또는 차량은 하나의 스크린으로부터 다른 스크린으로 광범위한 다른 항목을 운반할 수 있다. 이것은 게임 재생에서 또는 2개의 머신 사이에서의 데이터 송신의 재미있는 애니메이션으로서 사용될 수 있다. 게임 재생 개요에서, 하나의 사용자는 그러한 애니메이션을 이용하여 포인트, 수명, 무기 또는 토큰을 수신할 수 있다.
상기에 제시된 2개의 예는 추가적인 사용자 상호작용에 의해 더 향상될 수 있다. 게임의 일부로서, 플레이어는 서로 상대의 장치로 AR 캐릭터를 송신할 수 있다. 이것은 가상의 사회적 상호작용, 대결, 건축의 형태일 수 있고 또는 임의의 다른 목적을 위한 것일 수 있다. 그러한 예에서, 플레이어는 사람, 동물, 차량 또는 다른 오브젝트의 어느 것이든 AR 캐릭터를 선택하고, 그 후 그것이 다른 플레이어의 디스플레이를 향해 가도록 지시할 수 있다. 오브젝트는 어떤 것을 다른 플레이어에게 가져오거나 도중에 다른 오브젝트와 상호작용할 수 있다.
또 다른 예에서, 사용자는 터치스크린, 제어기를 세게 치거나 가볍게 두드리는 제스처를 사용하거나, 그 사용자의 장치로부터 특정 목표로 또는 더 일반적인 방향으로 AR 캐릭터를 보내기 위한 에어 제스쳐(air gesture)를 사용할 수 있다. 상술한 상호작용의 및 통신 가능한 다수의 스크린 AR을 이용하여, 원래의 사용자는 그 자신의 장치에서 AR 캐릭터를 볼 수 있을 것이고, 다른 사용자 또는 플레이어는 또한 그들 자신의 장치에서 AR 캐릭터를 볼 수 있다. 이들 방식은 다수의 플레이어가 동일한 AR 캐릭터와 동시에 관여하게 하는 데 사용될 수 있다. 예컨대, 여러 플레이어는, 비행선이 주된 텔레비전 디스플레이 스크린을 떠난 후, 가상으로 동일한 비행선을 쏠 수 있다.
도 6 및 도 7은 도 1 내지 도 5의 예에서 도시된 바와 같은 다수의 디스플레이에 의해 AR 캐릭터를 생성 및 사용하는 예시적 프로세스 흐름도이다. 도 6의 블럭 602에서 사용자는 다수의 디스플레이를 갖는 시스템의 디스플레이로부터 AR 오브젝트의 개시를 트리거링한다. 각 디스플레이는 그 자신의 프로세싱 리소스에 연결될 수 있고 또는 다른 디스플레이의 리소스와 리소스를 공유할 수 있다. 시스템은 단일 프로세싱 시스템에 의해 중앙 구동될 수 있고, 또는 임무가 여러 개의 상이한 프로세싱 시스템 사이에서 공유될 수 있다.
AR 오브젝트는 상술한 바와 같은 AR 캐릭터 또는 AR 캐릭터로서 사용될 수 있는 임의의 가상 오브젝트일 수 있다. 캐릭터는 임의의 여러가지 상이한 커맨드 입력 시스템을 이용하여, 제어기로부터 터치 스크린 또는 표면으로, 음성 또는 제스쳐 입력 시스템으로 개시될 수 있다. 비행선의 예에서, 게임 제어기가 사용될 수 있고 또는 스크린의 조합이 슬레이트 컴퓨터의 이동과 함께 나타난다.
AR 캐릭터가 개시된 후, 604에서, 시스템 프로세싱 리소스는 AR 캐릭터의 가상 위치를 판정하고, 시스템의 다른 디스플레이에 대해 이 위치를 추적한다. 606에서, 가상 위치 정보는 다른 디스플레이로 송신될 수 있다. 이 정보는 그림자를 보여주고, 주요 효과음, 발성 또는 반향 등의 청각 큐(aural cue)를 생산하고, 사용자의 AR 경험을 향상시키는 다른 결과를 제공하기 위해 다른 디스플레이에 의해 이용될 수 있다.
608에서, 시스템은 604에서의 위치를 추적하는 것을 통해, AR 오브젝트가 디스플레이를 가상으로 터치했는지 판정한다. 이것은 표시된 바와 같은 디스플레이(2)이거나 시스템의 임의의 다른 디스플레이일 수 있다. 시스템은 디스플레이를 포함하는 3차원 공간을 생성하고 그 후 실제 공간 내에서 AR 캐릭터의 가상 동작을 추적함으로써 이것을 할 수 있다. 610에서, 시스템은 영향받은 디스플레이에 AR 오브젝트 결과의 실제 표시를 개시한다. 상기의 도롱뇽의 예에서, 도롱뇽이 디스플레이를 떠나고 제 2 디스플레이에 잔물결을 일으키면 제 1 디스플레이에 도시될 수 있다. 이들 상호작용은 각각의 디스플레이 상에 제시될 수 있고 마찬가지로 걸음 또는 물결 소리 등의 상호작용의 청각적 표현과 동반될 수 있다. 디스플레이의 프로세싱 리소스는 특정 효과를 판정하는 데 사용될 수 있고, 또는 판정은 또 다른 컴퓨팅 리소스에 의해 이루어질 수 있다.
도 7은 다수의 디스플레이를 사용하여 AR 캐릭터 또는 다른 가상 오브젝트를 제시하는 대안적인 프로세스를 도시한다. 702에서, 시스템은 도롱뇽 또는 비행선 또는 적당한 AR 캐릭터 또는 상호작용하는 AR 장치로서 기능할 수 있는 임의의 다른 가상 오브젝트 등의 가상 오브젝트를 생성한다. 704에서, 시스템은 적어도 하나의 실제 디스플레이를 포함하는 현실 공간을 생성한다. 이 현실 공간은 매우 간단할 수 있고 또는 다수의 실제 오브젝트를 가질 수 있다. 현실 공간은 또한 사운드 소스를 포함할 수 있다.
706에서, 생성된 가상 오브젝트는 제 2 디스플레이 상에서 현실 공간에 제시된다. 상기의 예에서, 이 제 2 디스플레이는 실제 공간이 보여질 수 있는 이동 가능한 휴대용 디스플레이지만, 이와 달리 그것은 고정된 디스플레이일 수 있다. 가상 오브젝트는 실제 공간 내에 임의의 바람직한 위치에 제시될 수 있다. 상기에 기술된 바와 같이, 사용자는 현실 공간으로 가상 오브젝트를 개시하거나 또는 던질 수 있고, 또는 가상 오브젝트는 제 1 디스플레이 또는 다른 디스플레이로부터 나타날 수 있다. 이와 달리, 가상 오브젝트는 구현예에 따라 실제 공간의 일부로부터 나타날 수 있다.
708에서, 시스템은 가상 오브젝트의 위치를 추적한다. 또한 크기, 외형, 이동 및 소리의 관점에서 가상 오브젝트의 동작이 추적될 수 있다. 이것은 가상 오브젝트의 움직임을 생성하는 시스템 내에서 또는 개별 트랙킹 모듈에서 수행될 수 있다. 710에서, 제 2 디스플레이 상의 가상 오브젝트의 제시는 가상 오브젝트가 현실 공간에서 이동 및 동작함에 따라 업데이트된다.
712에서, 가상 오브젝트의 위치는 제 1 디스플레이 등의 다른 실제 오브젝트의 위치와 비교된다. 여러가지 상이한 상호작용은 가상 오브젝트의 동작 및 실제 오브젝트의 성질에 따라 제 2 디스플레이에 제시될 수 있다. 디스플레이에 의해, 제 1 디스플레이의 경우, 가상 오브젝트의 위치가 제 1 디스플레이의 위치와 적어도 부분적으로 일치하면, 가상 오브젝트의 적어도 일부가 그들 상대적 위치에 기초하여 제 1 디스플레이에 제시될 수 있다.
이들 동작은, 예컨대, 상기의 잔물결의 예에서와 같이, 가상 오브젝트와 제 1 디스플레이 상에 표시된 항목 사이의 상호작용을 제시함으로써 향상될 수 있다. 상호작용의 결과는 제 1 스크린과 제 2 스크린에 모두 표시될 수 있다. 제 2 스크린의 표시된 오브젝트는 또한 가상 오브젝트로 변환될 수 있고, 제 1 디스플레이의 실제 공간을 능가할 수 있다. 예로서, 잔물결은 제 2 디스플레이에 도시된 AR 파(wave)와 같이 책상 위의 디스플레이를 넘어 물결(water wave)을 보낼 수 있다.
추가 디스플레이는 다른 실제 디스플레이에 대한 가상 오브젝트의 위치가 추적되도록 사용될 수 있다. 가상 오브젝트위 위치가 임의의 디스플레이와 일치하면, 그 디스플레이와의 상호작용이 제시될 수 있다. 제시는 AR 디스플레이에서뿐만 아니라 실제 공간의 디스플레이에서도 제공될 수 있다. 이것은 AR 캐릭터 상호작용의 현실성을 향상시킬 수 있다.
도롱뇽의 예에서 버튼 캔디, 책 및 디스플레이 베젤 등의, 디스플레이가 아닌 다른 실제 오브젝트도 있을 수 있다. 상호작용이 다른 디스플레이에도 충분히 큰 영향을 미치지 않는 한, 이들 실제 오브젝트와의 상호작용은 AR 디스플레이에 제한되지 않을 수 있다. 예컨대, 도롱뇽이 제 3 디스플레이 상의 물로 버튼 캔디를 던지거나 차고 있었으면, 실제 오브젝트는 그것이 던져질 때의 다른 가상 오브젝트로 변환될 수 있다. 그것이 물이 있는 디스플레이에 도달하면, 가상 오브젝트는 표시된 오브젝트로 되고, 그 궤적 및 물 속으로 튀는 것은 AR 디스플레이와 마찬가지로 실제 공간에서 제 3 디스플레이에 제시될 수 있다.
같은 방식으로 추가의 가상 오브젝트가 장면에 추가될 수 있다. 비행선의 예에서, 여러 개의 비행선이 있다. 마찬가지로, 다른 도롱뇽, 음식, 먹이 또는 포식자 등과 상호작용하는 다수의 도롱뇽 또는 도롱뇽에 대한 다른 가상 오브젝트가 있을 수 있다. 이들 모든 오브젝트의 위치는 AR 디스플레이와 실제 공간의 디스플레이 상의 상호작용을 입증하기 위해 동시에 추적될 수 있다.
여러가지 상이한 사용자 입력 및 상호작용은 상기 설명된 동작에 부가될 수 있다. 이들 입력은 하나 이상의 가상 오브젝트와의 상호작용을 표현하는 데 사용될 수 있고, 가상 오브젝트와 사용자 입력 사이의 대응하는 상호작용은 실제 공간의 디스플레이와 마찬가지로 AR 디스플레이에 제시될 수 있다. 상호작용을 제시하기 위한 실제 공간의 특정 디스플레이는 상호작용과 비교한 실제 공간의 디스플레이의 위치에 따라 달라질 것이다. 디스플레이가 멀리 떨어져 있는 경우에도 상호작용의 결과는 실제 공간의 디스플레이의 위치와 일치할 수 있다. 예컨대, 도롱뇽이 어떤 것을 던지거나 차고 있었으면 가상 오브젝트는 먼 거리를 이동할 수 있다. 마찬가지로 폭발하는 비행선은 큰 영역에 걸쳐 불꽃 또는 파편을 분산할 수 있다. 특정 사용자 입력은 특정 구현예에 기초하여 선택될 수 있다. 그것들은 특히 가상 오브젝트에서의 에어 제스쳐(air gesture), 가상 오브젝트에서의 터치스크린 제스쳐 및 음성 명령을 포함할 수 있다.
프로세스는 새로운 또는 상이한 AR 캐릭터의 새로운 개시에 대해 또는 현실 공간에서의 새로운 가상 오브젝트를 생성하기 위해 복귀한다. 도 6 및 도 7의 동작은 다른 프로세스와 결합될 수 있고, 그러한 동작의 다른 경우가 계속되는 동안 반복될 수 있다. 동작은 다수의 프로세싱 시스템에 의해 또는 다수의 디스플레이를 갖는 단일 시스템에 의해 수행될 수 있다.
도 8은 상술한 동작을 지원할 수 있는 컴퓨팅 환경의 블럭도이다. 모듈 및 시스템은 도 9에 도시된 것을 포함하는 여러가지 상이한 하드웨어 구조 및 폼 팩터(form factor)로 구현될 수 있다.
커맨드 실행 모듈(801)은 명령을 저장하고 실행하기 위해, 그리고 통신 인터페이스를 통한 원격 시스템뿐 아니라 도시된 다른 모듈 및 시스템 사이에 임무를 분산하기 위해 중앙 처리 장치를 포함한다. 그것은 명령 스택, 중간 및 최종 결과를 저장하는 캐쉬 메모리 및 애플리케이션과 운영 시스템을 저장하는 대용량 메모리를 포함한다. 커맨드 실행 모듈은 또한 시스템에 대한 중앙 조정 및 임무 할당 유닛으로 기능할 수 있다.
스크린 렌더링 모듈(821)은 사용자가 보게 하기 위한 AR 디스플레이를 포함하는 하나 이상의 다수의 스크린에 오브젝트를 그린다. 그것은 이하에 기술되는 바와 같이, 가상 오브젝트 동작 모듈(804)로부터 데이터를 수신하고, 적절한 스크린(들) 상에 가상 오브젝트, 실제 오브젝트, 표시된 오브젝트 및 임의의 다른 오브젝트와 힘을 렌더링하도록 구성될 수 있다. 따라서, 가상 오브젝트 동작 모듈로부터의 데이터는, 예컨대, 가상 오브젝트의 위치 및 역학 관계, 연관 움직임, 동작 및 소리를 결정할 것이고, 따라서, 스크린 렌더링 모듈은 스크린에 가상 오브젝트, 연관 오브젝트 및 환경을 묘사할 것이다.
스크린 렌더링 모듈은 이하에 기술되는 바와 같이, 가상 오브젝트와 다른 스크린 사이에서의 오버랩을 묘사하기 위해 인접 스크린 전망 모듈(807)로부터 데이터를 수신하도록 더 구성될 수 있다. 따라서, 예컨대, 가상 오브젝트가 제 1 스크린으로부터 제 2 스크린으로 이동하면, 인접 스크린 전망 모듈(807)은, 예컨대, 제 2 스크린에 가상 오브젝트를 어떻게 렌더링할지를 제안하기 위해 스크린 렌더링 모듈에 데이터를 송신할 수 있다.
오브젝트 및 제스쳐 인식 시스템(822)은 사용자의 손 및 팔의 제스쳐를 인식 및 추적하도록 구성될 수 있다. 그러한 모듈은 디스플레이에 대한 손, 손가락, 손가락 제스쳐, 손의 움직임 및 손의 위치를 인식하는 데 사용될 수 있다. 예컨대, 오브젝트 및 제스쳐 인식 모듈은, 예컨대, 사용자가 가상 오브젝트를 다수의 스크린 중 하나 또는 다른 것으로 떨어뜨리거나 던지기 위해 몸의 일부의 제스쳐를 한 것 또는 사용자가 가상 오브젝트를 한 위치 또는 다른 곳에서 이동하기 위해 가상 오브젝트를 이동하는 몸의 일부의 제스쳐를 한 것을 판정한다. 오브젝트 및 제스쳐 인식 시스템은 사용자로부터의 제스쳐 및 커맨드를 검지하기 위해, 카메라 또는 카메라 어레이, 마이크 또는 마이크 어레이, 터치스크린 또는 터치 표면 또는 포인팅 장치 또는 이들 항목의 일부 조합에 연결될 수 있다.
오브젝트 및 제스쳐 인식 시스템의 터치스크린 또는 터치 표면은 터치스크린 센서를 포함할 수 있다. 센서로부터의 데이터는 스크린 또는 표면 상의 사용자의 손의 터치 제스쳐를 대응하는 가상 오브젝트의 동적 동작에 맵핑하기 위해 하드웨어, 소프트웨어, 펌웨어 또는 이들 조합에 공급될 수 있다. 센서 데이터는 스크린에 대한 사용자 손가락의 두드림 속도 등의 사용자의 손으로부터의 입력에 기초하여 가상 오브젝트에 대한 다양한 운동량 동작을 가능하게 하기 위해 운동량 및 관성 요인을 판정하는 데 사용될 수 있다. 비슷한 커맨드가 터치 표면의 이득 없이 하나 이상의 카메라를 이용하여 오브젝트 및 제스쳐 인식 시스템에 의해 생성될 수 있다.
데이터 전송 및 조정 모듈(823)은 이들이 다른 디스플레이에 제시될 수 있도록 가상 오브젝트 및 효과에 관한 정보를 다른 장치로 송신하기 위해 시스템의 여러가지 컴퓨팅 및 디스플레이 리소스와 함께 동작한다. 이 모듈은 또한 청각 효과가 스피커에 제시될 수 있도록 오디오 정보를 송신할 수 있다. 데이터 전송 및 조정 모듈은 디스플레이 판정에 이용하기 위해 다른 장치에 대한 파라미터를 송신할 수 있고, 또는 그것은 컴퓨팅 임무가 어떻게 분산되는지에 따라 표시를 위해 준비된 완전히 렌더링된 그래픽 효과 또는 일부 다른 형태의 데이터를 송신할 수 있다.
데이터 통신 모듈(825)은 시스템의 모든 장치가 통신하게 하는 유선 또는 무선 데이터 인터페이스를 포함한다. 각각의 장치에 다수의 인터페이스가 있을 수 있다. 일례에서, AR 디스플레이는 AR 캐릭터에 관한 상세한 파라미터를 송신하기 위해 WiFi를 통해 통신한다. 그것은 또한 사용자 커맨드를 송신하고 AR 디스플레이 장치를 통해 재생할 오디오를 수신하기 위해 블루투스를 통해 통신한다. 임의의 적합한 유선 또는 무선 장치 통신 프로토콜이 사용될 수 있다.
가상 오브젝트 동작 모듈(804)은 오브젝트 속도 및 방향 모듈(803)로부터의 입력을 수신하고, 임의의 하나 이상의 디스플레이에 도시된 가상 오브젝트에 그러한 입력을 인가하도록 구성된다. 따라서, 예컨대, 오브젝트 및 제스쳐 인식 시스템은 사용자 손의 캡쳐된 움직임을 인식된 움직임에 맵핑함으로써 사용자 제스쳐를 해석할 수 있고, 가상 오브젝트 추적기 모듈은 가상 오브젝트의 위치와 움직임을 오브젝트 및 제스쳐 인식 시스템에 의해 인식된 움직임과 연관시킬 수 있고, 오브젝트 및 속도 및 방향 모듈은 가상 오브젝트의 움직임의 역학관계를 포착할 수 있고, 가상 오브젝트 동작 모듈은 오브젝트 및 속도 및 방향 모듈로부터의 입력에 대응하여 가상 오브젝트의 움직임을 지시할 수 있는 데이터를 생성하기 위해 오브젝트 및 속도 및 방향 모듈로부터 입력을 수신할 수 있다.
한편 가상 오브젝트 추적기 모듈(806)은 가상 오브젝트가 디스플레이의 근방에서 3차원 공간에 위치해야 하는 경우 추적하도록 구성될 수 있다. 가상 오브젝트 추적기 모듈(806)은 예컨대, 가상 오브젝트가 스크린에 걸쳐 그리고 스크린 사이에서 이동하면 그것을 추적할 수 있고, 임의의 실제 오브젝트 또는 가상 오브젝트 근방에 있는 추가의 가상 오브젝트의 위치를 추적할 수 있다. 이것은 가상 오브젝트의 위치가 하나 이상의 스크린과 일치하는지 여부에 대해 궁극적인 인식을 제공하는 데 사용될 수 있다.
AR 및 다른 오브젝트 추적기 모듈(808)은 여러가지 스크린에 또는 스크린 사이에 있을 때의 캐릭터 동작을 조정한다. 예컨대, AR 캐릭터가 한 스크린을 떠났을 때, 그 스크린은 그 세션의 끝까지 또는 그 가상 위치가 그 스크린으로 복귀할 때까지 그 캐릭터를 더이상 보여주지 않을 수 있다. 이것을 달성하기 위해, AR 캐릭터가 가상 오브젝트 동작 모듈(804)에 의해 생성되는 경우, 생성하는 장치는 다른 스크린에 대하여 가시적인 필드에서 그 캐릭터의 위치를 이해하기 위해 가상 오브젝트 추적기 모듈로부터의 데이터를 이용한다. 이를 위해, 이미지 데이터가 장치 사이의 거리를 추정하기 위해 인접 스크린 전망 모듈에 의해 분석될 수 있다. 그들 위치를 중심으로 AR 캐릭터의 크기는 AR 캐릭터가 가상으로 스크린을 터치하는지를 추정하기 위해 사용될 수 있다. 이와 달리, 가상 오브젝트 추적기 모듈로부터의 데이터는 AR 캐릭터의 특정 위치를 판정하기 위해 인접 스크린 전망 모듈에 의해 사용될 수 있다.
장치 인접성 검출 모듈(825)을 포함하거나 그에 연결될 수 있는 인접 스크린 전망 모듈(807)은 다른 디스플레이에 대해 하나의 디스플레이의 각도 및 위치를 판정하도록 구성될 수 있다. 이것은 서로에 대해 다른 디스플레이의 위치를 관찰할 뿐만 아니라 그 카메라 또는 다른 센서를 이용하여 AR 디스플레이의 위치 및 움직임을 판정하는 데 사용될 수 있다. 가속도계, 자기계(magnetometer), 나침반 또는 카메라는, 적외선 방출기 및 카메라가 스크린 장치의 방향이 인접 장치의 센서와 관련되어 판정되도록 하는 동안, 장치가 유지되는 각도를 판정하는 데 사용될 수 있다. 인접 스크린 전망 모듈(807)은, 이런 식으로, 그 자신의 스크린 좌표와 관련하여 인접 스크린의 좌표를 판정할 수 있다. 따라서, 인접 스크린 전망 모듈은 장치가 서로 인접해 있는지, 또한 스크린에 걸쳐 그리고 스크린 사이에 이동하는 하나 이상의 가상 오브젝트에 대한 다른 잠재적 타겟을 판정할 수 있다. 인접 스크린 전망 모듈은 또한 스크린의 위치가 기존의 오브젝트 및 가상 오브젝트 모두를 나타내는 3차원 공간의 모델에 상관되게 할 수 있다.
오브젝트 및 속도 및 방향 모듈(803)은 가상 오브젝트 추적기 모듈(806)로부터의 입력을 수신함으로써, 그 궤적, 속도(선형이든지 각이 지든지), 운동량(선형이든지 각이 지든지) 등의, 움직이는 가상 오브젝트의 역학관계를 추정하도록 구성될 수 있다. 오브젝트 및 속도 및 방향 모듈은, 예컨대, 가상 결합의 가속, 변형, 스트레칭의 정도를 추정하는 것 등에 의해 임의의 물리적인 힘의 역학관계, 및 그것이 다른 오브젝트와 상호작용할 때의 가상 오브젝트의 동적인 동작을 추정하도록 더 구성될 수 있다. 오브젝트 및 속도 및 방향 모듈은 또한, 가상 오브젝트의 속도를 추정하기 위해 이미지 움직임, 크기 및 각도 변화를 이용할 수 있다.
운동량 및 관성 모듈(802)은 공간 또는 디스플레이에서의 오브젝트의 속도 및 방향을 추정하기 위해 이미지 평면 또는 3차원 공간에서 오브젝트의 이미지 움직임, 이미지 크기 및 각도 변화를 이용할 수 있다.
3D 이미지 상호작용 및 결과 모듈(805)은 가상 및 실제 오브젝트를 포함하는 3차원 공간을 생성하고, 가상 오브젝트의 표시된 이미지와의 상호작용을 추적한다. 그 후, 그것은 3차원의 실제 공간에서의 오브젝트가 하나 이상의 스크린의 위치에 맵핑되게 한다. (스크린의 평면을 향하거나 그로부터 멀어지는) z 축에서 오브젝트의 영향은 서로 이들 오브젝트의 상대적 영향과 함께 계산될 수 있다. 예컨대, 사용자 제스쳐에 의해 던져진 오브젝트는 가상 오브젝트가 스크린의 평면에 도달하기 전에 전경에 있는 3D 오브젝트에 의해 영향받을 수 있다. 이들 오브젝트는 그 발사체의 방향 또는 속도를 변경하거나 그것을 완전히 파괴할 수 있다. 오브젝트는 하나 이상의 디스플레이에서 전경의 3D 이미지 상호작용 및 결과 모듈에 의해 렌더링될 수 있다.
도 9는 퍼스널 컴퓨터, 태블릿 또는 슬레이트 컴퓨터, 게임 콘솔, 스마트폰 또는 휴대용 게임 장치 등의 컴퓨팅 시스템의 블럭도이다. 컴퓨터 시스템(900)은 정보를 통신하는 버스 또는 다른 통신 수단(901) 및 정보 처리를 위해 버스(901)와 연결된 마이크로프로세서 등의 처리 수단(902)을 포함한다. 컴퓨터 시스템은 특히 병렬 파이프라인을 통한 그래픽의 렌더링을 위한 그래픽 프로세서(903) 및 상술한 바와 같은 물리적 상호작용을 계산하는 물리적 프로세서(905)에 의해 증강될 수 있다. 이들 프로세서는 중앙 프로세서(902)로 통합될 수 있고 또는 하나 이상의 개별 프로세서로서 제공될 수 있다.
컴퓨터 시스템(900)은 프로세서(902)에 의해 실행되어야 할 정보 및 명령을 저장하기 위해 버스(901)에 연결된, 랜덤 액세스 메모리(RAM) 또는 다른 동적 데이터 스토리지 장치 등의 메인 메모리(904)를 더 포함한다. 메인 메모리는 또한 프로세서에 의한 명령의 실행중에 임시 변수 또는 다른 중간 정보를 저장하기 위해 사용될 수 있다. 컴퓨터 시스템은 또한 프로세서에 대한 정적인 정보 및 명령을 저장하기 위해 버스에 연결된 판독전용 메모리(ROM) 또는 다른 정적 데이터 스토리지 장치 등의 비휘발성 메모리(906)를 포함할 수 있다.
자기 디스크, 광 디스크 또는 고체상태 어레이 등의 대용량 메모리(907) 및 그 대응하는 드라이브는 또한 정보 및 명령을 저장하기 위해 컴퓨터 시스템의 버스에 연결될 수 있다. 컴퓨터 시스템은 또한 사용자에게 정보를 표시하기 위해, 버스를 통해 액정 디스플레이(LCD) 또는 유기 발광 다이오드(OLED) 어레이 등의 디스플레이 장치 또는 모니터(921)에 연결될 수 있다. 예컨대, 상기에 논의된 여러가지 뷰 및 사용자 상호작용에 부가하여, 설치 상태의 그래픽 및 텍스트 표시, 동작 상태 및 다른 정보는 디스플레이 장치 상에서 사용자에게 제시될 수 있다.
일반적으로, 영숫자, 기능 및 다른 키를 갖는 키보드 등의 사용자 입력 장치는 프로세서에 정보 및 커맨드 선택을 통신하기 위해 버스에 연결될 수 있다. 부가적인 사용자 입력 장치는 마우스, 트랙볼, 트랙패드 등의 커서 제어 입력 장치를 포함할 수 있고, 또는 커서 방향 키는 프로세서에 방향 정보 및 커맨드 선택을 통신하고, 디스플레이(921) 상에서 커서 움직임을 제어하기 위해 버스에 연결될 수 있다.
카메라 및 마이크 어레이(923)는 제스쳐를 관찰하고, 오디오 및 비디오를 기록하기 위해, 그리고 상기한 바와 같은 시각적, 청각적 커맨드를 수신하기 위해 버스에 연결된다.
통신 인터페이스(925)는 또한 버스(901)에 연결된다. 통신 인터페이스는, 예컨대, 국소적 또는 광대역 네트워크를 지원하기 위해 이더넷, 토큰 링, 또는 통신 링크를 제공하는 목적의 다른 타입의 물리적 유선 또는 무선 부착에 대한 연결에 사용되는 것 등의, 모뎀, 네트워크 인터페이스 카드 또는 다른 공지된 인터페이스 장치를 포함할 수 있다. 이런 식으로, 컴퓨터 시스템은 또한, 예컨대, 인트라넷 또는 인터넷을 포함하여 종래의 네트워크 인프라구조를 통해 다수의 주변 장치, 다른 클라이언트 또는 제어 면 또는 콘솔 또는 서버에 연결될 수 있다.
상기에 설명된 예보다 더 적거나 더 많은 장비의 시스템이 특정 구현예에 대해 더 바람직할 수 있다. 따라서, 예시적 시스템(800, 900)의 구성은 가격 제한, 성능 요건, 기술적 향상 또는 다른 환경 등의 다수의 요인에 따라 구현시 변동될 것이다.
실시예는 하나 이상의 마이크로칩, 또는 페어런트보드, 고정배선 로직을 이용하여 상호접속된 집적 회로, 메모리 장치에 의해 저장되고 마이크로프로세서에 의해 실행된 소프트웨어, 펌웨어, 주문형반도체(ASIC) 및/또는 필드 프로그래머블 게이트 어레이(FPGA) 중의 임의의 것 또는 그 조합으로서 구현될 수 있다. 용어 "로직"은, 예로서, 소프트웨어 또는 하드웨어 및/또는 소프트웨어와 하드웨어의 조합을 포함할 수 있다.
실시예는, 예컨대, 컴퓨터, 컴퓨터의 네트워크 또는 다른 전자 장치 등의 하나 이상의 머신에 의해 실행될 때, 본 발명의 실시예에 따라 하나 이상의 머신에서 동작을 실행하게 할 수 있는, 머신에 의해 실행 가능한 명령을 저장한 하나 이상의 머신에 의해 판독 가능한 매체를 포함할 수 있는 컴퓨터 프로그램 제품으로 제공될 수 있다. 머신에 의해 판독 가능한 매체는 플로피 디스켓, 광 디스크, CD-ROM(Compact Disc-Read Only Memories), 자기-광 디스크, ROM(Read Only Memories), RAM(Random Access Memories), EPROM(Erasable Programmable Read Only Memories), EEPROM(Electrically Erasable Programmable Read Only Memories), 자기 또는 광 카드, 플래쉬 메모리, 또는 머신에 의해 실행 가능한 명령을 저장하기에 적합한 다른 타입의 매체/머신에 의해 판독 가능한 매체를 포함할 수 있지만 이에 한정되는 것은 아니다.
더욱이, 실시예는 컴퓨터 프로그램 제품으로서 다운로드될 수 있고, 프로그램은 통신 링크(예컨대, 모뎀 및/또는 네트워크 접속)를 통해 반송파 또는 다른 전파 매체에 내장된 및/또는 그에 의해 변조된 하나 이상의 데이터 신호로서 원격 컴퓨터(예컨대, 서버)로부터 요청하는 컴퓨터(예컨대, 클라이언트)로 전송될 수 있다. 따라서, 여기서 사용된 바와 같이, 머신에 의해 판독 가능한 매체는 그러한 반송파를 포함할 수 있지만 필요하지 않을 수 있다.
"하나의 실시예", "일 실시예", "예시적 실시예", "여러가지 실시예" 등에 대한 언급은 그와 같이 기술된 본 발명의 실시예가 특정 특징, 구조 또는 특성을 포함할 수 있지만, 모든 실시예가 반드시 그 특정 특징, 구조 또는 특성을 포함하는 것은 아님을 나타낸다. 또한, 일부 실시예는 다른 실시예에 대해 기술된 특징의 일부 또는 전부를 가질 수 있고 또는 전혀 갖지 않을 수 있다.
다음의 설명 및 청구범위에서, 그 파생어와 함께 용어 "연결된"이 사용될 수 있다. "연결된"은 2 이상의 구성요소가 서로 협조 또는 상호작용하는 것을 나타내는 데 사용되지만, 그들은 그들 사이에 개입된 물리적 또는 전기적 구성요소를 가질 수도 또는 갖지 않을 수도 있다.
청구범위에서 사용된 바와 같이, 특정되지 않는 한, 공통 구성요소를 기술하는 서수 형용사 "제 1", "제 2", "제 3" 등의 사용은 단지 유사한 구성요소의 다른 경우가 언급되는 것을 나타낼 뿐이며 그렇게 기술된 구성요소가 시간적, 공간적, 순위적 또는 임의의 다른 방식으로 주어진 순서로 되어야 한다고 나타내는 것을 의도하지 않는다.
도면 및 상기 설명은 실시예의 예를 제공한다. 당업자는 기술된 요소 중 하나 이상은 단일의 기능적 요소로 결합될 수 있음을 이해할 것이다. 이와 달리, 임의의 구성요소가 다수의 기능적 요소로 분할될 수 있다. 하나의 실시예로부터의 구성요소가 다른 실시예에 부가될 수 있다. 예컨대, 여기에 기술된 프로세스의 순서는 변경될 수 있고 여기에 기술된 방식에 한정되지 않는다. 더욱이, 임의의 흐름도의 동작은 도시된 순서로 구현될 필요는 없고, 모든 동작이 반드시 수행되어야 하는 것도 아니다. 또한, 다른 동작에 종속적이지 않은 이들 동작은 다른 동작과 병렬로 수행될 수 있다. 실시예의 범위는 결코 이들 특정 예에 의해 한정되지 않는다. 명세서에서 명시적으로 제시되어 있든 아니든, 구조, 크기의 차이, 재료의 이용 등의 다수의 변형이 가능하다. 실시예의 범위는 적어도 다음 청구범위에 의해 주어진 것과 같이 넓다.

Claims (20)

  1. 가상 오브젝트를 생성하는 단계와,
    제 1 디스플레이를 포함하는 현실 공간을 생성하는 단계와,
    상기 제 1 디스플레이를 포함하는 상기 현실 공간의 상기 가상 오브젝트를 제 2 디스플레이 상에 제시하는 단계와,
    상기 가상 오브젝트가 상기 현실 공간을 통해 이동하면, 상기 현실 공간에서 상기 가상 오브젝트의 위치를 추적하는 단계와,
    상기 추적된 위치를 이용하여 상기 제 2 디스플레이 상에 상기 가상 오브젝트의 제시를 업데이트하는 단계와,
    상기 가상 오브젝트의 상기 추적된 위치가 상기 현실 공간의 상기 제 1 디스플레이의 위치와 일치하는 경우, 상기 제 1 디스플레이에 상기 가상 오브젝트를 제시하는 단계를 포함하는
    방법.
  2. 제 1 항에 있어서,
    상기 제 1 디스플레이에 표시된 오브젝트를 제시하는 단계와,
    상기 추적된 위치가 상기 제 1 디스플레이에 근접한 경우, 상기 표시된 오브젝트와 상기 가상 오브젝트 사이의 상호작용을 상기 제 2 디스플레이 상에 제시하는 단계와,
    상기 제 1 디스플레이 상에 상기 표시된 오브젝트에 대한 상기 상호작용의 결과를 제시하는 단계를 더 포함하는
    방법.
  3. 제 2 항에 있어서,
    상기 표시된 오브젝트를 또 다른 가상 오브젝트로 변환하는 단계와,
    상기 또 다른 가상 오브젝트를 상기 제 2 디스플레이에 제시하고 상기 제 1 디스플레이에는 제시하지 않는 단계를 더 포함하는
    방법.
  4. 제 1 항에 있어서,
    상기 현실 공간에 또 다른 가상 오브젝트를 생성하는 단계와,
    상기 추적된 위치가 상기 또 다른 가상 오브젝트에 근접한 경우, 상기 가상 오브젝트와 상기 또 다른 가상 오브젝트 사이의 상호작용을 상기 제 2 디스플레이 상에 제시하는 단계를 더 포함하는
    방법.
  5. 제 1 항에 있어서,
    상기 상호작용은 상기 가상 오브젝트에 대한 결과와 또 다른 가상 오브젝트에 대한 결과를 포함하는
    방법.
  6. 제 1 항에 있어서,
    상기 현실 공간은 실제 오브젝트를 포함하고,
    상기 방법은, 상기 추적된 위치가 상기 현실 공간의 상기 실제 오브젝트와 근접하는 경우, 상기 가상 오브젝트와 상기 실제 오브젝트 사이의 상호작용을 상기 제 2 디스플레이에 제시하는 단계를 더 포함하는
    방법.
  7. 제 1 항에 있어서,
    상기 가상 오브젝트를 상기 제 2 디스플레이 상에 제시하는 단계는, 상기 가상 오브젝트와 관련된 데이터를 상기 제 2 디스플레이에 전송하는 단계와, 상기 가상 오브젝트와 관련된 데이터를 상기 현실 공간과 관련된 포착 데이터와 결합하는 단계를 포함하는
    방법.
  8. 제 1 항에 있어서,
    상기 현실 공간의 상기 가상 오브젝트를 상기 제 2 디스플레이 상에 제시하는 단계는, 상기 추적된 위치가 상기 제 1 디스플레이의 위치와 일치하는 경우, 상기 제 1 디스플레이에 상기 가상 오브젝트를 제시하는 단계를 포함하는
    방법.
  9. 제 1 항에 있어서,
    상기 현실 공간에서 상기 가상 오브젝트의 음성 표현을 제시하는 단계와,
    상기 추적된 위치를 이용하여 상기 음성 표현을 수정하는 단계를 더 포함하는
    방법.
  10. 제 1 항에 있어서,
    상기 가상 오브젝트와의 상호작용을 표현하는 사용자 입력을 수신하는 단계와,
    상기 가상 오브젝트와 상기 사용자 입력 사이의 상호작용을 상기 제 2 디스플레이에 제시하는 단계를 더 포함하는
    방법.
  11. 제 10 항에 있어서,
    상기 사용자 입력을 수신하는 단계는, 상기 가상 오브젝트에서의 에어 제스쳐(air gesture), 상기 가상 오브젝트에서의 터치 스크린 제스쳐 및 음성 커맨드 중 적어도 하나를 수신하는 단계를 포함하는
    방법.
  12. 제 1 항에 있어서,
    상기 현실 공간은 3차원 공간이고,
    상기 제 1 디스플레이는 3차원 디스플레이이고,
    상기 제 1 디스플레이에 상기 가상 오브젝트를 제시하는 단계는 상기 가상 오브젝트를 3차원 표현으로 제시하는 단계를 포함하는
    방법.
  13. 가상 오브젝트 및 제 1 디스플레이를 갖는 3차원 현실 공간을 생성하는 오브젝트 속도 및 방향 모듈과,
    상기 가상 오브젝트 및 제 1 디스플레이를 포함하는 표시 영역을 제 2 디스플레이에 제시하는 스크린 렌더링 모듈과,
    상기 가상 오브젝트가 상기 현실 공간을 통해 이동할 때 상기 현실 공간에서 상기 가상 오브젝트의 위치를 추적하고, 상기 추적된 위치를 이용하여 상기 제 2 디스플레이에 상기 가상 오브젝트의 제시를 업데이트하는 가상 오브젝트 추적기 모듈과,
    상기 가상 오브젝트의 상기 추적된 위치가 상기 현실 공간의 상기 제 1 디스플레이의 위치와 일치하는 경우, 상기 제 1 디스플레이에 상기 가상 오브젝트를 제시하는 데이터 전송 조정 모듈을 포함하는
    장치.
  14. 제 13 항에 있어서,
    상기 오브젝트 속도 및 방향 모듈은 상기 제 1 디스플레이에 대해 표시된 오브젝트를 생성하고, 상기 데이터 전송 조정 모듈은 상기 제 1 디스플레이에 상기 표시된 오브젝트를 표현하며,
    상기 장치는, 상기 가상 오브젝트의 상기 추적된 위치가 상기 제 1 디스플레이에 근접하는 경우, 상기 표시된 오브젝트와 상기 가상 오브젝트 사이의 상호작용을 판정하는 이미지 상호작용 및 결과 모듈을 더 포함하고,
    상기 스크린 렌더링 모듈은 상기 제 2 디스플레이에서 상기 판정된 상호작용을 제시하는
    장치.
  15. 제 13 항에 있어서,
    상기 오브젝트 속도 및 방향 모듈은 상기 현실 공간에서 또 다른 가상 오브젝트를 생성하고,
    상기 추적된 위치가 상기 또 다른 가상 오브젝트에 근접한 경우, 상기 이미지 상호작용 및 결과 모듈은 상기 가상 오브젝트와 상기 또 다른 가상 오브젝트 사이의 가상 오브젝트 상호작용을 판정하고,
    상기 스크린 렌더링 모듈은 상기 제 2 디스플레이에 상기 판정된 가상 오브젝트 상호작용을 제시하는
    장치.
  16. 제 13 항에 있어서,
    상기 현실 공간은 실제 오브젝트를 포함하고,
    상기 장치는 상기 추적된 위치가 상기 현실 공간의 상기 실제 오브젝트에 근접하는 경우 상기 가상 오브젝트와 상기 실제 오브젝트 사이의 실제 오브젝트 상호작용을 판정하는, AR(Augmented Reality) 및 다른 오브젝트 추적 모듈을 더 포함하고,
    상기 스크린 렌더링 모듈은 상기 판정된 실제 오브젝트 상호작용을 상기 제 2 디스플레이에 제시하는
    장치.
  17. 제 13 항에 있어서,
    상기 제 2 디스플레이에 대한 상기 제 1 디스플레이의 각도 및 위치를 판정하고, 상기 제 1 디스플레이 및 상기 제 2 디스플레이 상에서의 제시를 정정하도록 상기 판정된 각도 및 위치를 상기 스크린 렌더링 모듈에 제공하기 위해, 상기 스크린 렌더링 모듈에 연결된 인접 스크린 전망 모듈을 더 포함하는
    장치.
  18. 머신에 의해 판독될 때, 상기 머신으로 하여금,
    가상 오브젝트를 생성하는 것과,
    제 1 디스플레이를 포함하는 현실 공간을 생성하는 것과,
    상기 제 1 디스플레이를 포함하는 상기 현실 공간의 상기 가상 오브젝트를 제 2 디스플레이 상에 제시하는 것과,
    상기 가상 오브젝트가 상기 현실 공간을 통해 이동하면, 상기 현실 공간에서 상기 가상 오브젝트의 위치를 추적하는 것과,
    상기 추적된 위치를 이용하여 상기 제 2 디스플레이 상에 상기 가상 오브젝트의 제시를 업데이트하는 것과,
    상기 가상 오브젝트의 상기 추적된 위치가 상기 현실 공간의 상기 제 1 디스플레이의 위치와 일치하는 경우, 상기 제 1 디스플레이에 상기 가상 오브젝트를 제시하는 것을 포함하는 동작을 수행하게 하는 명령어를 갖는
    머신에 의해 판독 가능한 비 일시적 매체.
  19. 제 18 항에 있어서,
    상기 동작은,
    상기 제 1 디스플레이에 표시된 오브젝트를 제시하는 것과,
    상기 추적된 위치가 상기 제 1 디스플레이에 근접한 경우, 상기 표시된 오브젝트와 상기 가상 오브젝트 사이의 상호작용을 상기 제 2 디스플레이 상에 제시하는 것과,
    상기 제 1 디스플레이 상에 상기 표시된 오브젝트에서의 상기 상호작용의 결과를 제시하는 것을 더 포함하는
    머신에 의해 판독 가능한 비 일시적 매체.
  20. 제 18 항에 있어서,
    상기 현실 공간은 제 3 디스플레이를 포함하고,
    상기 동작은,
    상기 제 3 디스플레이에 대해 상기 가상 오브젝트의 상기 위치를 추적하는 것과,
    상기 가상 오브젝트의 상기 추적된 위치가 상기 현실 공간의 상기 제 3 디스플레이의 위치와 일치하는 경우, 상기 가상 오브젝트 상기 제 3 디스플레이 상에 제시하는 것을 더 포함하는
    머신에 의해 판독 가능한 비 일시적 매체.
KR1020147013502A 2011-12-20 2011-12-20 다수의 장치에 걸친 증강 현실 표현 Expired - Fee Related KR101574099B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2011/066218 WO2013095393A1 (en) 2011-12-20 2011-12-20 Augmented reality representations across multiple devices

Publications (2)

Publication Number Publication Date
KR20140091710A true KR20140091710A (ko) 2014-07-22
KR101574099B1 KR101574099B1 (ko) 2015-12-03

Family

ID=48669052

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147013502A Expired - Fee Related KR101574099B1 (ko) 2011-12-20 2011-12-20 다수의 장치에 걸친 증강 현실 표현

Country Status (6)

Country Link
US (1) US9952820B2 (ko)
EP (1) EP2795893A4 (ko)
JP (1) JP5832666B2 (ko)
KR (1) KR101574099B1 (ko)
CN (1) CN103959344B (ko)
WO (1) WO2013095393A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200061196A (ko) * 2018-11-23 2020-06-02 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
WO2023136379A1 (ko) * 2022-01-17 2023-07-20 고태규 오브젝트를 활용하여 메타버스를 구현하는 시스템 및 시스템의 동작 방법
WO2023136380A1 (ko) * 2022-01-17 2023-07-20 고태규 오브젝트를 활용하여 메타버스를 구현하는 시스템 및 시스템의 동작 방법
WO2024101950A1 (ko) * 2022-11-11 2024-05-16 삼성전자 주식회사 가상 오브젝트를 표시하는 전자 장치 및 이의 제어 방법

Families Citing this family (90)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2596360B2 (ja) 1993-11-29 1997-04-02 日本電気株式会社 ソーナー装置
JP6121647B2 (ja) 2011-11-11 2017-04-26 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US8982133B2 (en) * 2012-01-31 2015-03-17 Disney Enterprises, Inc. Portable virtual characters
WO2013119221A1 (en) * 2012-02-08 2013-08-15 Intel Corporation Augmented reality creation using a real scene
WO2013168686A1 (en) 2012-05-11 2013-11-14 Semiconductor Energy Laboratory Co., Ltd. Electronic device, storage medium, program, and displaying method
US9767720B2 (en) * 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
US9292085B2 (en) * 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
US9514570B2 (en) * 2012-07-26 2016-12-06 Qualcomm Incorporated Augmentation of tangible objects as user interface controller
US8736773B1 (en) 2012-08-13 2014-05-27 Nongqiang Fan Interacting with television screen with remote control having viewing screen
US9729695B2 (en) 2012-11-20 2017-08-08 Dropbox Inc. Messaging client application interface
US9935907B2 (en) 2012-11-20 2018-04-03 Dropbox, Inc. System and method for serving a message client
US9755995B2 (en) 2012-11-20 2017-09-05 Dropbox, Inc. System and method for applying gesture input to digital content
US10275825B2 (en) * 2012-12-04 2019-04-30 Paypal, Inc. Augmented reality in-store product detection system
JP6102944B2 (ja) 2012-12-10 2017-03-29 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
CN104007889B (zh) * 2013-02-27 2018-03-27 联想(北京)有限公司 一种反馈方法和电子设备
US10319145B2 (en) 2013-03-14 2019-06-11 Intel Corporation Asynchronous representation of alternate reality characters
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
KR20160014601A (ko) * 2013-05-24 2016-02-11 톰슨 라이센싱 다수의 3d 디스플레이들에 대해 오브젝트를 렌더링하기 위한 방법 및 장치
JP6610258B2 (ja) 2013-11-05 2019-11-27 ソニー株式会社 情報処理装置、情報処理方法、及び、プログラム
US9011246B1 (en) 2013-11-18 2015-04-21 Scott Kier Systems and methods for immersive backgrounds
US9747307B2 (en) 2013-11-18 2017-08-29 Scott Kier Systems and methods for immersive backgrounds
US9613448B1 (en) 2014-03-14 2017-04-04 Google Inc. Augmented display of information in a device view of a display screen
US10373259B1 (en) 2014-05-20 2019-08-06 State Farm Mutual Automobile Insurance Company Fully autonomous vehicle insurance pricing
US11669090B2 (en) 2014-05-20 2023-06-06 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US10599155B1 (en) 2014-05-20 2020-03-24 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation feature monitoring and evaluation of effectiveness
US9972054B1 (en) 2014-05-20 2018-05-15 State Farm Mutual Automobile Insurance Company Accident fault determination for autonomous vehicles
US10354330B1 (en) 2014-05-20 2019-07-16 State Farm Mutual Automobile Insurance Company Autonomous feature use monitoring and insurance pricing
WO2015183232A1 (en) * 2014-05-26 2015-12-03 Nongqiang Fan Method and apparatus for interacting with display screen
CN104168315B (zh) * 2014-08-08 2018-07-06 三星电子（中国）研发中心 一种全视角平滑的沉浸式显示方法和系统
CN105426376B (zh) * 2014-09-22 2019-04-23 联想(北京)有限公司 一种信息处理方法和电子设备
US20160163063A1 (en) * 2014-12-04 2016-06-09 Matthew Ashman Mixed-reality visualization and method
US9696549B2 (en) 2014-12-22 2017-07-04 International Business Machines Corporation Selectively pairing an application presented in virtual space with a physical display
US9836895B1 (en) * 2015-06-19 2017-12-05 Waymo Llc Simulating virtual objects
US10025447B1 (en) * 2015-06-19 2018-07-17 Amazon Technologies, Inc. Multi-device user interface
US10388277B1 (en) 2015-06-25 2019-08-20 Amazon Technologies, Inc. Allocation of local and remote resources for speech processing
US10799792B2 (en) * 2015-07-23 2020-10-13 At&T Intellectual Property I, L.P. Coordinating multiple virtual environments
WO2017034886A1 (en) * 2015-08-24 2017-03-02 Pcms Holdings, Inc. Systems and methods for enhancing augmented reality experience with dynamic output mapping
US11107365B1 (en) 2015-08-28 2021-08-31 State Farm Mutual Automobile Insurance Company Vehicular driver evaluation
US20170228929A1 (en) * 2015-09-01 2017-08-10 Patrick Dengler System and Method by which combining computer hardware device sensor readings and a camera, provides the best, unencumbered Augmented Reality experience that enables real world objects to be transferred into any digital space, with context, and with contextual relationships.
KR102551239B1 (ko) 2015-09-02 2023-07-05 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 확장된 장면에서의 내비게이션을 용이하게 하기 위한 방법, 장치 및 시스템
CN113190111B (zh) 2015-10-08 2024-12-20 交互数字Vc控股公司 一种方法和设备
JP6679966B2 (ja) * 2016-02-05 2020-04-15 凸版印刷株式会社 三次元仮想空間提示システム、三次元仮想空間提示方法及びプログラム
US10168768B1 (en) 2016-03-02 2019-01-01 Meta Company Systems and methods to facilitate interactions in an interactive space
GB2551473A (en) * 2016-04-29 2017-12-27 String Labs Ltd Augmented media
WO2017192467A1 (en) * 2016-05-02 2017-11-09 Warner Bros. Entertainment Inc. Geometry matching in virtual reality and augmented reality
US10186088B2 (en) * 2016-05-13 2019-01-22 Meta Company System and method for managing interactive virtual frames for virtual objects in a virtual environment
US9990779B2 (en) 2016-05-13 2018-06-05 Meta Company System and method for modifying virtual objects in a virtual environment in response to user interactions
US10482662B2 (en) 2016-06-30 2019-11-19 Intel Corporation Systems and methods for mixed reality transitions
CN106200944A (zh) * 2016-06-30 2016-12-07 联想(北京)有限公司 一种对象的控制方法、控制装置和控制系统
US10002454B2 (en) 2016-09-16 2018-06-19 International Business Machines Corporation Reactive overlays of multiple representations using augmented reality
US10297085B2 (en) 2016-09-28 2019-05-21 Intel Corporation Augmented reality creations with interactive behavior and modality assignments
US10751605B2 (en) 2016-09-29 2020-08-25 Intel Corporation Toys that respond to projections
JP6598753B2 (ja) * 2016-10-07 2019-10-30 任天堂株式会社 ゲームシステム
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
US11861136B1 (en) * 2017-09-29 2024-01-02 Apple Inc. Systems, methods, and graphical user interfaces for interacting with virtual reality environments
CN107728984A (zh) * 2017-10-25 2018-02-23 上海皮格猫信息科技有限公司 一种虚拟现实画面显示控制系统
WO2019089704A1 (en) 2017-10-31 2019-05-09 Outward, Inc. Blended physical and virtual realities
US10937240B2 (en) * 2018-01-04 2021-03-02 Intel Corporation Augmented reality bindings of physical objects and virtual objects
WO2019141879A1 (en) * 2018-01-22 2019-07-25 The Goosebumps Factory Bvba Calibration to be used in an augmented reality method and system
US11014242B2 (en) 2018-01-26 2021-05-25 Microsoft Technology Licensing, Llc Puppeteering in augmented reality
US10825223B2 (en) * 2018-05-31 2020-11-03 Microsoft Technology Licensing, Llc Mixed reality animation
US10832481B2 (en) * 2018-08-21 2020-11-10 Disney Enterprises, Inc. Multi-screen interactions in virtual and augmented reality
US10785413B2 (en) * 2018-09-29 2020-09-22 Apple Inc. Devices, methods, and graphical user interfaces for depth-based annotation
US10699489B2 (en) 2018-10-02 2020-06-30 International Business Machines Corporation Method and system for displaying a virtual item in an augmented reality environment
WO2020139588A1 (en) 2018-12-24 2020-07-02 Dts, Inc. Room acoustics simulation using deep learning image analysis
US11010974B2 (en) * 2019-01-04 2021-05-18 Vungle, Inc. Augmented reality in-application advertisements
US11182953B2 (en) * 2019-01-08 2021-11-23 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Mobile device integration with a virtual reality environment
US10909751B2 (en) 2019-01-31 2021-02-02 Intel Corporation Methods and apparatus to transition between 2D and 3D renderings of augmented reality content
US10984575B2 (en) 2019-02-06 2021-04-20 Snap Inc. Body pose estimation
US11055918B2 (en) * 2019-03-15 2021-07-06 Sony Interactive Entertainment Inc. Virtual character inter-reality crossover
US11468611B1 (en) 2019-05-16 2022-10-11 Apple Inc. Method and device for supplementing a virtual environment
CN115509363A (zh) * 2019-11-05 2022-12-23 Oppo广东移动通信有限公司 多增强现实设备的协作方法及装置、电子设备、存储介质
JP7038153B2 (ja) 2020-02-13 2022-03-17 任天堂株式会社 情報処理システム、情報処理装置、情報処理プログラム、および情報処理方法
US11557182B2 (en) * 2020-10-13 2023-01-17 Trax Technology Solutions Pte Ltd. Regaining frictionless status of shoppers
US11615592B2 (en) 2020-10-27 2023-03-28 Snap Inc. Side-by-side character animation from realtime 3D body motion capture
US11734894B2 (en) 2020-11-18 2023-08-22 Snap Inc. Real-time motion transfer for prosthetic limbs
US11748931B2 (en) 2020-11-18 2023-09-05 Snap Inc. Body animation sharing and remixing
US11450051B2 (en) 2020-11-18 2022-09-20 Snap Inc. Personalized avatar real-time motion capture
WO2022153568A1 (ja) * 2021-01-12 2022-07-21 ソニーグループ株式会社 サーバ装置、および、ネットワーク制御方法
US11574423B2 (en) * 2021-01-29 2023-02-07 Boomanity Corp. A Delaware Corporation Augmented reality (AR) object communication and interaction system and method
EP4063222A1 (en) * 2021-03-24 2022-09-28 Zenseact AB Precautionary vehicle path planning
US11361519B1 (en) * 2021-03-29 2022-06-14 Niantic, Inc. Interactable augmented and virtual reality experience
DE102021206565A1 (de) * 2021-06-24 2022-12-29 Siemens Healthcare Gmbh Darstellungsvorrichtung zur Anzeige einer graphischen Darstellung einer erweiterten Realität
US11943227B2 (en) 2021-09-17 2024-03-26 Bank Of America Corporation Data access control for augmented reality devices
US12198398B2 (en) 2021-12-21 2025-01-14 Snap Inc. Real-time motion and appearance transfer
US11880947B2 (en) 2021-12-21 2024-01-23 Snap Inc. Real-time upper-body garment exchange
US12223672B2 (en) 2021-12-21 2025-02-11 Snap Inc. Real-time garment exchange
CN116934842A (zh) * 2022-03-29 2023-10-24 北京字跳网络技术有限公司 屏幕显示方法、装置、设备及介质
GB2620175B (en) 2022-06-30 2025-01-01 Sony Interactive Entertainment Europe Ltd Representing virtual objects outside of a display screen
US11822941B2 (en) * 2023-08-28 2023-11-21 International Business Machines Corporation Mobile computing device projected visualization interaction

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6057856A (en) * 1996-09-30 2000-05-02 Sony Corporation 3D virtual reality multi-user interaction with superimposed positional information display for each user
JPH11161590A (ja) * 1997-11-27 1999-06-18 Hitachi Ltd 情報視聴装置
JP3413129B2 (ja) * 1999-06-11 2003-06-03 キヤノン株式会社 画像処理方法及び画像処理装置
JP2001136504A (ja) 1999-11-08 2001-05-18 Sony Corp 情報入出力システム及び情報入出力方法
US7084869B2 (en) * 2000-03-31 2006-08-01 Massachusetts Institute Of Technology Methods and apparatus for detecting and correcting penetration between objects
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
JP3398796B2 (ja) 2001-01-31 2003-04-21 飛島建設株式会社 複合現実感を利用した３次元測量支援用画像システム
WO2002073955A1 (en) * 2001-03-13 2002-09-19 Canon Kabushiki Kaisha Image processing apparatus, image processing method, studio apparatus, storage medium, and program
US8745541B2 (en) * 2003-03-25 2014-06-03 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP2004310470A (ja) * 2003-04-07 2004-11-04 Advanced Telecommunication Research Institute International 視線位置を判定し組合わせるためのシステム及びコンピュータで実行可能なプログラム
JP2004348647A (ja) * 2003-05-26 2004-12-09 Hitachi Ltd ヒューマン・コミュニケーション・システム
US7991220B2 (en) * 2004-09-01 2011-08-02 Sony Computer Entertainment Inc. Augmented reality game system using identification information to display a virtual object in association with a position of a real object
PT103264B (pt) * 2005-04-22 2007-02-28 Ydreams Informatica Sa Miradouro virtual: sistema de visualização de informação sobreposta a imagem real
US8730156B2 (en) * 2010-03-05 2014-05-20 Sony Computer Entertainment America Llc Maintaining multiple views on a shared stable virtual space
JP4883774B2 (ja) * 2006-08-07 2012-02-22 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
JP4926916B2 (ja) * 2007-11-07 2012-05-09 キヤノン株式会社 情報処理装置、情報処理方法、およびコンピュータプログラム
JP2009281830A (ja) * 2008-05-21 2009-12-03 Panasonic Corp 複数ディスプレイ設置設定装置、方法、プログラム、及びシステム
US8203561B2 (en) * 2008-09-10 2012-06-19 International Business Machines Corporation Determining valued excursion corridors in virtual worlds
JP5158006B2 (ja) * 2009-04-23 2013-03-06 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
JP4938819B2 (ja) * 2009-05-18 2012-05-23 株式会社スクウェア・エニックス ゲーム装置，ゲーム用プログラム及び情報記録媒体
US9129644B2 (en) * 2009-06-23 2015-09-08 Disney Enterprises, Inc. System and method for rendering in accordance with location of virtual objects in real-time
JP5263049B2 (ja) * 2009-07-21 2013-08-14 ソニー株式会社 情報処理装置、および情報処理方法、並びにプログラム
US20110084983A1 (en) 2009-09-29 2011-04-14 Wavelength & Resonance LLC Systems and Methods for Interaction With a Virtual Environment
US8284157B2 (en) * 2010-01-15 2012-10-09 Microsoft Corporation Directed performance in motion capture system
US9901828B2 (en) * 2010-03-30 2018-02-27 Sony Interactive Entertainment America Llc Method for an augmented reality character to maintain and exhibit awareness of an observer
US8405680B1 (en) * 2010-04-19 2013-03-26 YDreams S.A., A Public Limited Liability Company Various methods and apparatuses for achieving augmented reality
US8923686B2 (en) * 2011-05-20 2014-12-30 Echostar Technologies L.L.C. Dynamically configurable 3D display
US9323325B2 (en) * 2011-08-30 2016-04-26 Microsoft Technology Licensing, Llc Enhancing an object of interest in a see-through, mixed reality display device
US20130063560A1 (en) * 2011-09-12 2013-03-14 Palo Alto Research Center Incorporated Combined stereo camera and stereo display interaction
US8990682B1 (en) * 2011-10-05 2015-03-24 Google Inc. Methods and devices for rendering interactions between virtual and physical objects on a substantially transparent display
US9081177B2 (en) * 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
WO2013119221A1 (en) 2012-02-08 2013-08-15 Intel Corporation Augmented reality creation using a real scene
US9041622B2 (en) * 2012-06-12 2015-05-26 Microsoft Technology Licensing, Llc Controlling a virtual object with a real controller device
US9767720B2 (en) 2012-06-25 2017-09-19 Microsoft Technology Licensing, Llc Object-centric mixed reality space
US9292085B2 (en) 2012-06-29 2016-03-22 Microsoft Technology Licensing, Llc Configuring an interaction zone within an augmented reality environment
US8736773B1 (en) 2012-08-13 2014-05-27 Nongqiang Fan Interacting with television screen with remote control having viewing screen
US9011246B1 (en) 2013-11-18 2015-04-21 Scott Kier Systems and methods for immersive backgrounds

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200061196A (ko) * 2018-11-23 2020-06-02 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
WO2023136379A1 (ko) * 2022-01-17 2023-07-20 고태규 오브젝트를 활용하여 메타버스를 구현하는 시스템 및 시스템의 동작 방법
WO2023136380A1 (ko) * 2022-01-17 2023-07-20 고태규 오브젝트를 활용하여 메타버스를 구현하는 시스템 및 시스템의 동작 방법
WO2024101950A1 (ko) * 2022-11-11 2024-05-16 삼성전자 주식회사 가상 오브젝트를 표시하는 전자 장치 및 이의 제어 방법

Also Published As

Publication number Publication date
EP2795893A1 (en) 2014-10-29
EP2795893A4 (en) 2015-08-19
JP5832666B2 (ja) 2015-12-16
CN103959344A (zh) 2014-07-30
US9952820B2 (en) 2018-04-24
KR101574099B1 (ko) 2015-12-03
JP2015506032A (ja) 2015-02-26
WO2013095393A1 (en) 2013-06-27
US20130290876A1 (en) 2013-10-31
CN103959344B (zh) 2017-03-01

Similar Documents

Publication Publication Date Title
KR101574099B1 (ko) 다수의 장치에 걸친 증강 현실 표현
US11023035B1 (en) Virtual pinboard interaction using a peripheral device in artificial reality environments
US9330478B2 (en) Augmented reality creation using a real scene
US10976804B1 (en) Pointer-based interaction with a virtual surface using a peripheral device in artificial reality environments
US10748342B2 (en) Interaction system for augmented reality objects
JP7008730B2 (ja) 画像に挿入される画像コンテンツについての影生成
JP6611733B2 (ja) 表示装置の閲覧者の注視誘引
US20170287215A1 (en) Pass-through camera user interface elements for virtual reality
US11308698B2 (en) Using deep learning to determine gaze
US10297085B2 (en) Augmented reality creations with interactive behavior and modality assignments
US20160375354A1 (en) Facilitating dynamic game surface adjustment
US11023036B1 (en) Virtual drawing surface interaction using a peripheral device in artificial reality environments
US11816757B1 (en) Device-side capture of data representative of an artificial reality environment
US20240185546A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth
TW202121155A (zh) 互動對象的驅動方法、裝置、設備以及電腦可讀儲存介質
CN117590935A (zh) 二维界面与人工现实界面之间的人工现实环境中视角共享
CN120500672A (zh) 用于虚拟现实体验的人工现实入口空间
US20170043256A1 (en) An augmented gaming platform
Billinghurst Foundations and TrendsR• in Human-Computer Interaction Vol. 8, No. 2-3 (2014) 73–272 c• 2015 M. Billinghurst, A. Clark, and G. Lee
US20230334792A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
US20230334790A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2024039887A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
WO2023215637A1 (en) Interactive reality computing experience using optical lenticular multi-perspective simulation
Sodhi Ubiquitous interactive displays: Magical experiences beyond the screen
WO2023205145A1 (en) Interactive reality computing experience using multi-layer projections to create an illusion of depth

Legal Events

Date Code Title Description
A201 Request for examination
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20181128

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20181128