KR20200094775A - 하나의 가상 콘텐츠의 콘텐츠 포즈 결정 방법 - Google Patents

하나의 가상 콘텐츠의 콘텐츠 포즈 결정 방법 Download PDF

Info

Publication number
KR20200094775A
KR20200094775A KR1020207019045A KR20207019045A KR20200094775A KR 20200094775 A KR20200094775 A KR 20200094775A KR 1020207019045 A KR1020207019045 A KR 1020207019045A KR 20207019045 A KR20207019045 A KR 20207019045A KR 20200094775 A KR20200094775 A KR 20200094775A
Authority
KR
South Korea
Prior art keywords
pose
content
anchor
determining
determiner
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020207019045A
Other languages
English (en)
Other versions
KR102475188B1 (ko
Inventor
호세 아라우조
제이드 알-후세이니
헤란즈 아이토르 에르난데스
라르스 앤더슨
Original Assignee
텔레폰악티에볼라겟엘엠에릭슨(펍)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텔레폰악티에볼라겟엘엠에릭슨(펍) filed Critical 텔레폰악티에볼라겟엘엠에릭슨(펍)
Publication of KR20200094775A publication Critical patent/KR20200094775A/ko
Application granted granted Critical
Publication of KR102475188B1 publication Critical patent/KR102475188B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating three-dimensional [3D] models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

하나의 가상 콘텐츠의 콘텐츠 포즈를 결정하는 방법이 제공된다. 상기 방법은 포즈 결정기(1)에서 수행되며, 또한 앵커링 장치의 제1 앵커 포즈를 획득하는 단계; 상기 제1 앵커 포즈와 관련하여, 하나의 가상 콘텐츠의 포즈인 제1 콘텐츠 포즈를 결정하는 단계; 상기 제1 앵커 포즈와 관련하여 상기 제1 콘텐츠 포즈를 저장하는 단계; 하나의 가상 콘텐츠의 콘텐츠 포즈를 사용자 장치가 결정할 필요가 있다고 결정하는 단계; 상기 앵커링 장치의 제2 앵커 포즈를 획득하는 단계; 상기 저장된 제1 콘텐츠 포즈를 검색하는 단계; 상기 제1 콘텐츠 포즈 및 상기 제2 앵커 포즈에 기초하여 하나의 가상 콘텐츠의 제2 콘텐츠 포즈를 결정하는 단계; 및 디스플레이를 포함하는 사용자 장치에 상기 제2 콘텐츠 포즈에서의 하나의 가상 콘텐츠를 렌더링하는 단계;를 포함한다.

Description

하나의 가상 콘텐츠의 콘텐츠 포즈 결정 방법
본 발명은 하나의 가상 콘텐츠(a piece of virtual content)의 콘텐츠 포즈(content pose)를 결정하기 위한 방법, 포즈 결정기(pose determiners), 컴퓨터 프로그램 및 컴퓨터 프로그램 제품에 관한 것이다.
혼합 현실(MR: Mixed Reality)은 네트워크 사회에서 필수적인 기술이 되어, 소비자 전자제품 시장을 강력하게 교란시킬 것으로 예상된다. 혼합 현실은 증강 현실(AR: Augmented Reality)과 증강 가상(AV: Augmented Virtuality)을 포함한다.
여기서 AR은 실제 객체(real-world objects)와 컴퓨터 렌더링 콘텐츠(computer-rendered content)의 조합을 사용자에게 제공하는 개념을 나타내는 데 사용된다. 구체적으로, 하나의 AR 구현은 투시형(see-through) HMD(Head Mounted Display)를 통해 사용자 관점의 세상에 대해, 현실 앞에 하나 이상의 가상 객체들을 계층화(layering)하는 것을 의미한다. AR의 한 가지 애플리케이션은, 각 참가자가 동일한 물리적 공간을 공유하는 것처럼, 사용자가 3D(three dimensions)에서 원격으로 볼 수 있고 상호 작용할 수 있도록 하는 것이다. 따라서 원격 통신 및 상호 작용은 대면 통신(face-to-face communication)만큼 자연스럽게 될 수 있다. AV에서는 사용자가 HMD 카메라로 캡처한 실제 객체를 보고, 이어서 컴퓨터 렌더링 콘텐츠와 함께 디스플레이에 표시된다. 따라서 AV에서는 디스플레이는 투시형(see-through)이 아니다.
2016년에, Microsoft사는 모바일 AR HMD인 Hololens를 출시했다. AR 기술을 더 향상시키기 위해 Meta와 Magic Leap사를 포함한 다른 회사에서 몇몇 다른 HMD들이 출시되고 있다.
가상 현실(VR)에서 사용자는 모든 콘텐츠가 가상인 가상 환경에 몰입된다. 일부의 VR 애플리케이션은 특히 게임, 콘서트나 스포츠 등의 360도 라이브 비디오 소비, 교육 및 훈련이 목적이다. VR 콘텐츠는 Oculus Rift, HTC Vive, Google Daydream 또는 Samsung GearVR과 같은 비-투시형 HMD를 통해 디스플레이 된다.
MR 또는 VR에 대한 하나의 가상 콘텐츠가 사용자의 관점에 위치될 때, 이 가상 콘텐츠는 콘텐츠 포즈(content pose)에 위치한다. 포즈는 위치(3 차원)와 방향(3 차원)을 모두 정의한다.
종래 기술에서, Microsoft HoloLens 또는 Google Tango와 같은 장치에서, 가상 콘텐츠는 장치의 카메라를 사용하여 장치가 검출할 수 있는 특정 시각적 특징(공간 앵커(spatial anchors))에 저장되고 부착된다. 사용자가 동일한 위치로 돌아오면, 장치의 카메라에서 관찰된 현재의 시각적 특징들과 이전에 저장된 시각적 특징들을 연결하기 위해 시각적 탐색 및 매칭이 수행된다. 이러한 방법의 문제점은 장치가(Hollenens의 경우와 같이 여러 대의 카메라를 사용하여) 환경을 검사해야 하고, 특정한 시각적 특징들을 추론하기 위해 세부적인 이미지 분석을 수행해야 하고, 이전에 방문한 모든 위치의 콘텐츠를 포함하는 매칭을 수행해야 하므로, 매우 계산 집약적(computationally intensive)이라는 것이다. 이것은 상당한 양의 처리 능력을 필요로 하므로 배터리 소모가 발생한다.
가상 콘텐츠의 포즈를 결정하는 보다 효율적인 방법을 제공하는 것이 목적이다.
제1 양태에 따르면, 하나의 가상 콘텐츠(a piece of virtual content)의 콘텐츠 포즈(content pose)를 결정하는 방법이 제공된다. 상기 방법은, 포즈 결정기(pose determiner)에서 수행되고, 또한 앵커링 장치(anchoring device)의 제1 앵커 포즈(anchor pose)를 획득하는 단계; 상기 제1 앵커 포즈와 관련하여, 하나의 가상 콘텐츠의 포즈인 제1 콘텐츠 포즈를 결정하는 단계; 상기 제1 앵커 포즈와 관련하여 상기 제1 콘텐츠 포즈를 저장하는 단계; 하나의 가상 콘텐츠의 콘텐츠 포즈를 사용자 장치가 결정할 필요가 있다고 결정하는 단계; 상기 앵커링 장치의 제2 앵커 포즈를 획득하는 단계; 상기 저장된 제1 콘텐츠 포즈를 검색(retrieve)하는 단계; 상기 제1 콘텐츠 포즈 및 상기 제2 앵커 포즈에 기초하여 하나의 가상 콘텐츠의 제2 콘텐츠 포즈를 결정하는 단계; 및 디스플레이(display)를 포함하는 사용자 장치에 상기 제2 콘텐츠 포즈에서의 하나의 가상 콘텐츠를 렌더링(rendering)하는 단계;를 포함한다.
상기 방법은, 상기 앵커링 장치의 포즈의 불확실성(uncertainty)의 정도를 표시하는 포즈 불확실성 표시자(indicator)를 획득하는 단계; 및 사용자 장치의 카메라에 의해 캡처(capture)되고 대응하는 저장된 특징 포즈들과 매칭(matching)되는 시각적 특징들(visural features)에 기초하여, 제2 콘텐츠 포즈를 결정하는 단계;를 더 포함한다. 이러한 경우에, 상기 제1 콘텐츠 포즈에 기초하여 제2 콘텐츠 포즈를 결정하는 단계는, 상기 불확실성 표시자가 임계값(threshold)보다 작은 경우에 수행되고; 및 상기 시각적 특징들에 기초하여 제2 콘텐츠 포즈를 결정하는 단계는, 상기 불확실성 표시자가 상기 임계값보다 클 경우에 수행된다.
상기 임계값은 하나의 가상 콘텐츠에 의존할 수 있다.
상기 방법은, 하나의 가상 콘텐츠의 식별된 재배치(identified repositioning)에 기초하여 상기 임계값을 조정하는 단계를 더 포함할 수 있다.
상기 방법은, 상기 제1 앵커 포즈의 캡처 이후 상기 앵커링 장치가 움직였음을 표시하는 움직임 플래그(movement flag)를 획득하는 단계를 더 포함할 수 있다. 이러한 경우에, 상기 제1 콘텐츠 포즈에 기초하여 제2 콘텐츠를 결정하는 단계를 수행할 것인지 또는 시각적 특징들에 기초하여 제2 콘텐츠를 결정하는 단계를 수행할 것인지에 대한 결정은, 상기 움직임 플래그에 기초한다.
상기 방법은, 상기 제1 앵커 포즈의 캡처 이후 상기 앵커링 장치가 움직였음을 표시하는 움직임 플래그를 획득하는 단계; 및 사용자 장치의 카메라에 의해 캡처되고 대응하는 저장된 특징 포즈들과 매칭되는 시각적 특징들에 기초하여, 제2 콘텐츠 포즈를 결정하는 단계;를 더 포함할 수 있다. 이러한 경우에, 상기 제1 콘텐츠 포즈에 기초하여 제2 콘텐츠 포즈를 결정하는 단계는 상기 움직임 플래그가 움직임이 없음을 표시하는 경우에 수행되고; 및 상기 시각적 특징들에 기초하여 제2 콘텐츠 포즈를 결정하는 단계는 상기 움직임 플래그가 움직임이 있음을 표시하는 경우에 수행된다.
상기 제1 앵커 포즈를 획득하는 단계는, 앵커링 장치의 좌표 시스템에서 상기 제1 앵커 포즈를 수신하고, 사용자 장치의 좌표 시스템에서 상기 제1 앵커 포즈를 결정하는 것을 포함할 수 있고; 상기 제1 콘텐츠 포즈를 저장하는 단계는, 저장 전에 상기 앵커링 장치의 좌표 시스템에서 상기 제1 콘텐츠 포즈를 결정하는 것을 포함할 수 있고; 상기 제2 앵커 포즈를 획득하는 단계는, 상기 앵커링 장치의 좌표 시스템에서 상기 제2 앵커 포즈를 수신하는 것을 포함할 수 있고; 상기 제2 콘텐츠 포즈를 결정하는 단계는, 상기 사용자 장치의 좌표 시스템에서 상기 앵커링 장치의 포즈를 결정하는 것을 포함할 수 있다.
제2 양태에 따르면, 하나의 가상 콘텐츠의 콘텐츠 포즈를 결정하기 위한 포즈 결정기가 제공된다. 상기 포즈 결정기는, 프로세서 및 명령들을 저장하는 메모리를 포함하고, 상기 명령들은, 상기 프로세서에 의해 실행될 때, 상기 포즈 결정기가, 앵커링 장치의 제1 앵커 포즈를 획득하게 하고; 상기 제1 앵커 포즈와 관련하여, 하나의 가상 콘텐츠의 포즈인 제1 콘텐츠 포즈를 결정하게 하고; 상기 제1 앵커 포즈와 관련하여 상기 제1 콘텐츠 포즈를 저장하게 하고; 하나의 가상 콘텐츠의 콘텐츠 포즈를 사용자 장치가 결정할 필요가 있다고 결정하게 하고; 상기 앵커링 장치의 제2 앵커 포즈를 획득하게 하고; 상기 저장된 제1 콘텐츠 포즈를 검색하게 하고; 상기 제1 콘텐츠 포즈 및 상기 제2 앵커 포즈에 기초하여 하나의 가상 콘텐츠의 제2 콘텐츠 포즈를 결정하게 하고; 및 디스플레이를 포함하는 사용자 장치에 상기 제2 콘텐츠 포즈에서의 하나의 가상 콘텐츠를 렌더링하게 한다.
상기 포즈 결정기는, 상기 프로세서에 의해 실행될 때, 상기 포즈 결정기가, 상기 앵커링 장치의 포즈의 불확실성의 정도를 표시하는 포즈 불확실성 표시자를 획득하게 하고; 및 사용자 장치의 카메라에 의해 캡처되고 대응하는 저장된 특징 포즈들과 매칭되는 시각적 특징들에 기초하여, 제2 콘텐츠 포즈를 결정하게 하는, 명령들을 더 포함한다. 이러한 경우에, 상기 제1 콘텐츠 포즈에 기초하여 제2 콘텐츠 포즈를 결정하는 명령들은, 상기 불확실성 표시자가 임계값보다 작은 경우에 실행되고; 및 시각적 특징들에 기초하여 제2 콘텐츠 포즈를 결정하는 명령들은, 상기 불확실성 표시자가 상기 임계값보다 클 경우에 실행된다.
상기 임계값은 하나의 가상 콘텐츠에 의존할 수 있다.
상기 포즈 결정기는, 상기 프로세서에 의해 실행될 때, 상기 포즈 결정기가 하나의 가상 콘텐츠의 식별된 재배치에 기초하여 상기 임계값을 조정하게 하는 명령들을 더 포함할 수 있다.
상기 포즈 결정기는, 상기 프로세서에 의해 실행될 때, 상기 포즈 결정기가, 상기 제1 앵커 포즈의 캡처 이후 상기 앵커링 장치가 움직였음을 표시하는 움직임 플래그를 획득하게 하는 명령들을 더 포함할 수 있다. 이러한 경우에, 상기 제1 콘텐츠 포즈에 기초하여 제2 콘텐츠를 결정하는 명령들을 실행할 것인지 또는 시각적 특징들에 기초하여 제2 콘텐츠를 결정하는 명령들을 실행할 것인지에 대한 결정은, 상기 움직임 플래그에도 기초한다.
상기 포즈 결정기는, 상기 프로세서에 의해 실행될 때, 상기 포즈 결정기가, 상기 제1 앵커 포즈의 캡처 이후 상기 앵커링 장치가 움직였음을 표시하는 움직임 플래그를 획득하게 하고; 및 사용자 장치의 카메라에 의해 캡처되고 대응하는 저장된 특징 포즈들과 매칭되는 시각적 특징들에 기초하여, 제2 콘텐츠 포즈를 결정하게 하는 명령들을 더 포함할 수 있다. 이러한 경우에, 상기 제1 콘텐츠 포즈에 기초하여 제2 콘텐츠 포즈를 결정하는 명령들은, 상기 움직임 플래그가 움직임이 없음을 표시하는 경우에 실행되고; 및 시각적 특징들에 기초하여 제2 콘텐츠 포즈를 결정하는 명령들은, 상기 움직임 플래그가 움직임이 있음을 표시하는 경우에 실행된다.
상기 제1 앵커 포즈를 획득하는 명령들은, 상기 프로세서에 의해 실행될 때, 상기 포즈 결정기가, 앵커링 장치의 좌표 시스템에서 상기 제1 앵커 포즈를 수신하게 하고, 사용자 장치의 좌표 시스템에서 상기 제1 앵커 포즈를 결정하게 하는 명령들을 포함할 수 있고; 상기 제1 콘텐츠 포즈를 저장하는 명령들은, 상기 프로세서에 의해 실행될 때, 상기 포즈 결정기가, 저장 전에 상기 앵커링 장치의 좌표 시스템에서 상기 제1 콘텐츠 포즈를 결정하는 명령들을 포함할 수 있고; 상기 제2 앵커 포즈를 획득하는 명령들은, 상기 프로세서에 의해 실행될 때, 상기 포즈 결정기가, 상기 앵커링 장치의 좌표 시스템에서 상기 제2 앵커 포즈를 수신하게 하는 명령들을 포함할 수 있고; 상기 제2 콘텐츠 포즈를 결정하는 명령들은, 상기 프로세서에 의해 실행될 때, 상기 포즈 결정기가, 상기 사용자 장치의 좌표 시스템에서 상기 앵커링 장치의 포즈를 결정하게 하는 명령들을 포함할 수 있다.
제3 양태에 따르면, 포즈 결정기는, 앵커링 장치의 제1 앵커 포즈를 획득하는 수단; 상기 제1 앵커 포즈와 관련하여, 하나의 가상 콘텐츠의 포즈인 제1 콘텐츠 포즈를 결정하는 수단; 상기 제1 앵커 포즈와 관련하여 상기 제1 콘텐츠 포즈를 저장하는 수단; 하나의 가상 콘텐츠의 콘텐츠 포즈를 사용자 장치가 결정할 필요가 있다고 결정하는 수단; 상기 앵커링 장치의 제2 앵커 포즈를 획득하는 수단; 상기 저장된 제1 콘텐츠 포즈를 검색하는 수단; 상기 제1 콘텐츠 포즈 및 상기 제2 앵커 포즈에 기초하여 하나의 가상 콘텐츠의 제2 콘텐츠 포즈를 결정하는 수단; 및 디스플레이를 포함하는 사용자 장치에 상기 제2 콘텐츠 포즈에서의 하나의 가상 콘텐츠를 렌더링하는 수단;을 포함하도록 제공된다.
제4 양태에 따르면, 하나의 가상 콘텐츠의 콘텐츠 포즈를 결정하는 컴퓨터 프로그램이 제공된다. 상기 컴퓨터 프로그램은, 포즈 결정기에서 실행될 때, 상기 포즈 결정기가, 앵커링 장치의 제1 앵커 포즈를 획득하게 하고; 상기 제1 앵커 포즈와 관련하여, 하나의 가상 콘텐츠의 포즈인 제1 콘텐츠 포즈를 결정하게 하고; 상기 제1 앵커 포즈와 관련하여 상기 제1 콘텐츠 포즈를 저장하게 하고; 하나의 가상 콘텐츠의 콘텐츠 포즈를 사용자 장치가 결정할 필요가 있다고 결정하게 하고; 상기 앵커링 장치의 제2 앵커 포즈를 획득하게 하고; 상기 저장된 제1 콘텐츠 포즈를 검색하게 하고; 상기 제1 콘텐츠 포즈 및 상기 제2 앵커 포즈에 기초하여 하나의 가상 콘텐츠의 제2 콘텐츠 포즈를 결정하게 하고; 및 디스플레이를 포함하는 사용자 장치에 상기 제2 콘텐츠 포즈에서의 하나의 가상 콘텐츠를 렌더링하게 하는, 컴퓨터 프로그램 코드를 포함한다.
제5 양태에 따르면, 제4 양태에 따른 컴퓨터 프로그램 및 상기 컴퓨터 프로그램이 저장되는 컴퓨터 판독 가능 수단을 포함하는 컴퓨터 프로그램 제품이 제공된다.
일반적으로, 청구범위에서 사용된 모든 용어는 여기서 달리 명시적으로 정의하지 않는 한, 본 기술 분야에서의 일반적인 의미에 따라 해석되어야 한다. "하나의 요소(a/an/the element), 장치(apparatus), 구성요소(component), 수단(means), 단계(step) 등“에 대한 모든 언급은, 달리 명시적으로 언급되지 않는 한, 요소, 장치, 구성요소, 수단, 단계 등의 적어도 하나의 예를 언급하는 것으로서 개방적으로 해석되어야 한다. 여기에 개시된 임의의 방법의 단계들은 명시적으로 언급되지 않는 한, 개시된 정확한 순서대로 수행될 필요는 없다.
본 발명은 첨부 도면을 참조하여 일례로서 설명된다.
도 1은 본 명세서에서 제시된 실시예가 적용될 수 있는 환경을 나타내는 개략도이다.
도 2A 및 2B는 포즈 결정기가 구현될 수 있는 실시예를 나타내는 개략도이다.
도 3A 및 3B는 하나의 가상 콘텐츠의 콘텐츠 포즈를 결정하는 방법들의 실시예들을 나타내는 흐름도이다.
도 4는 일 실시예에 따른 도 2A 및 2B의 포즈 결정기(1)의 기능 모듈들을 나타내는 개략도이다.
도 5는 도 2A 및 2B의 포즈 결정기(1)의 구성요소들을 나타내는 개략도이다.
도 6은 컴퓨터 판독가능 수단을 포함하는 컴퓨터 프로그램 제품의 일례를 나타낸다.
이하에서, 본 발명의 특정 실시예를 나타낸 첨부 도면을 참조하여 본 발명을 보다 상세히 설명할 것이다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기서 설명하는 실시예들에 한정되지 않는다. 오히려, 이들 실시예들은 예시로서 제공되어 본 개시는 철저하고 완전할 것이며, 당업자에게 본 발명의 범위를 완전하게 전달할 것이다. 명세서 전체에 걸쳐 동일한 참조 부호는 동일한 구성 요소를 지칭한다.
여기에 제시된 실시예들은 하나의 가상 콘텐츠에 대한 콘텐츠 포즈를 결정하기 위한 포즈 데이터를 갖는, 앵커링 장치를 의미하는 외부 장치를 이용하는 것을 기초로 한다. 보다 구체적으로, 하나의 가상 콘텐츠의 콘텐츠 포즈는 앵커링 장치와 관련하여(즉, 그 위치가 앵커링 장치와 관련하여 결정됨), 방(room) 또는 다른 잘 정의된 물리적 공간에서 첫 번째로 고정되고, 저장된다. 이어서, 공간이 재진입(re-enter)될 때, 앵커링 장치의 현재 위치를 획득함으로써, 현재의 콘텐츠 포즈가 상기 저장된 콘텐츠 포즈 및 앵커링 장치의 현재 위치에 기초하여 결정될 수 있다. 이러한 방식으로 콘텐츠 포즈가 결정되면, 자원(resource) 집약적인 시각적 특징 매칭(visual feature matching)이 필요하지 않으므로, 콘텐츠 포즈를 결정하는데 필요한 자원 사용 및 시간이 감소된다.
도 1은 여기에서 제시된 실시예가 적용될 수 있는 환경을 나타내는 개략도이다. 도 1에 나타낸 환경은 MR 또는 VR에 사용되며, 여기서 사용자(5)는 헤드 마운트 디스플레이(HMD)와 같은 사용자 장치(2)를 착용한다. MR에 사용될 때, 사용자 장치(2)는 사용자(5)가 실제 객체(11-15) 및 가상 객체(l0a-10b) 모두를 볼 수 있게 한다. 제1 가상 객체(10a)는 가상 크리스마스 트리(Christmas tree)이다. 제2 가상 객체(10b)는 예를 들어 사진, 비디오 스트림 또는 게임 플레이를 나타내는 가상 스크린이다.
VR에 사용될 때, 사용자 장치(2)는 사용자(5)가 가상 객체(10a-10b)만을 볼 수 있게 한다. 사용자 장치(2)는 예를 들어 관성 측정 유닛(IMU: Inertia Measurement Unit)의 일부로서 센서(예를 들어, 가속도계, 자이로 등)를 포함한다. 이것은 3차원 공간에서 사용자 장치(2)의 위치 및 방향을 결정하기 위해 사용자 장치에 의해 사용된다. 위치와 방향을 총칭하여 포즈라고 한다. 포즈는 여기에서 P(i, j)라고 하며, i는 요소(element)의 레이블(label)이고 j는 좌표계의 레이블이다. 포즈는 3D 위치(x, y, z)와 방향(롤(roll), 피치(pitch), 요(yaw))을 포함하는 6-요소 벡터이다.
사용자 장치(2)는 사용자(5) 주위의 환경의 이미지를 캡처하기 위한 하나 이상의 카메라(20)를 포함한다. 각각의 카메라(20)는 가시광(visible light) 범위(RGB, 적색 녹색 청색으로도 알려짐) 및/또는 적외선 범위에 있을 수 있으며, 열상 카메라(thermal cameras)일 수도 있다.
사용자 장치(2)는 네트워크(9)에 연결된다. 네트워크(9)는 예를 들어 근거리 통신망(LAN) 및/또는 인터넷과 같은 광역 통신망(WAN)일 수 있다. 사용자 장치(2)와 네트워크(9) 사이의 연결은 WiFi(IEEE 802.11x 표준 중 임의의 것), 블루투스(Bluetooth) 등과 같은 무선 기술에 기초할 수 있다. 대안적으로 또는 추가적으로, 사용자 장치(2)와 네트워크 사이의 연결은, 예를 들어 5G NR(New Radio), LTE(Long Term Evolution), LTE-Advanced, W-CDMA(Wideband Code Division Multiplex), EDGE(Enhanced Data Rates for GSM(Global System for Mobile communication) Evolution), GPRS(General Packet Radio Service), CDMA2000(Code Division Multiple Access 2000) 또는 기타 현재 또는 미래의 무선 네트워크 중 하나 또는 조합에 따른, 셀룰러 네트워크 연결에 기초한다. 또한, 서버(3)도 네트워크(9)에 연결되어 있다.
사용자 근처에는 앵커링 장치(4)가 있다. 앵커링 장치(4)는 포즈를 결정할 수 있고(예를 들어, IMU의 도움으로), 다른 장치에 그 포즈를 통신할 수 있는 전자 장치이다. 앵커링 장치(4)는 앵커링 장치로서 작용하는 것 이외의 다른 주요 목적을 가질 수 있다. 예를 들어, 앵커링 장치(4)는 스마트 스피커, 컴퓨터, 스마트 램프, 스마트 냉장고, 스마트 세탁기, 스마트 커피 머신 등으로 구현될 수 있다. 하나 이상의 앵커링 장치(4)가 있을 수 있다. 각각의 앵커링 장치(4)는 스마트 냉장고 또는 스마트 세탁기와 같은 본질적으로 정적 장치(static device)일 수 있거나, 개인용 디지털 어시스턴트(personal digital assistant) 또는 스마트 스피커와 같은 더 움직일 수 있는 장치일 수 있다. 이러한 상황에서, 정적 장치가 바람직할 수 있다.
사용자 주위에는 도어(11) 및 도어 프레임(12)과 같은 여러 시각적 요소들이 있다. 또한, 바닥 라인(13), 벽들 사이의 코너(14) 및 천장 라인(15)과 같은 추가적인 시각적 요소들이 있다.
앵커링 장치(4)를 이용하는 포즈 결정을 보완하는, 시각적 특징들이 포즈 결정을 위해 사용될 때, 환경 데이터(2차원 또는 3차원)가 사용자 장치(2) 및/또는 서버(3)의 저장 장치(storage)로부터 획득된다. 환경 데이터와 캡처되고 비교된 이미지에서 핵심 요소(key elements)가 식별되어, 사용자 장치(2)가 환경 내에 위치하게 하고, 선택적으로 IMU로부터의 데이터도 사용된다. 핵심 요소는 시각적 요소(11-15)의 임의의 서브세트(또는 전부)일 수 있다. 시각적 요소는 사용자(5)의 위치에 따라 변한다. 매핑이 동시에 발생할 수도 있고, 이에 따라 환경 데이터가 갱신된다. 영역 내에서 사용자의 현재 위치 및 방향을 추적하면서 영역을 학습하는 프로세스를 SLAM(Simultaneous Localization and Mapping)이라고 한다.
사용자 장치(2)는 예를 들어 Microsoft사의 HoloLens 또는 ODG R7/R8/R9 같은 HMD를 사용하여 구현할 수 있다. HMD는 VR 애플리케이션을 위한 Oculus Rift 또는 HTC Vive일 수도 있다. 사용자 장치(2)는, 선택적으로 예를 들어 Google cardboard, Mira Prism과 같은 광학 강화기(optical enhancement)를 갖는, 다른 유형의 웨어러블 장치, 스마트폰 및/또는 태블릿 컴퓨터를 사용하여 구현하는 것이 가능할 수 있다. 사용자 장치(2)는 ARKit(Apple) 또는 ARCore(Google)를 갖는 Google Tango 폰(Lenovo 및 Asus) 또는 아이폰(iPhone) 또는 안드로이드폰(Android phone)과 같은 스마트폰일 수 있다. 여기서 사용된 '컴퓨터'라는 용어는 크기에 관계없이 디지털 처리 기능을 갖춘 전자 장치로 해석되어야 한다. 따라서, 컴퓨터라는 용어는 서버, 데스크톱 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트폰, 모바일폰, 스마트 시계, 마이크로컨트롤러 등과 같은 장치들을 포함한다.
도 1의 환경은 여기에 제시된 실시예들이 적용될 수 있는 하나의 예일 뿐이다. 여기에 제시된 실시예들은 자가 운전 차량, 산업 애플리케이션, 실내 로봇공학 등과 같은 다른 환경들에서도 동일하게 적용될 수 있다.
도 2A 및 2B는 포즈 결정기(1)가 구현될 수 있는 실시예들을 나타내는 개략도이다. 포즈 결정기(1)는 가상 콘텐츠에 대한 콘텐츠 포즈를 결정하는 장치이다. 포즈 결정기(1)는 독립형 장치로서 구현될 수 있고 또는 도 2A 및 2B에 나타낸 바와 같이 호스트 장치의 일부로 형성될 수 있다.
도 2A에서, 포즈 결정기는 사용자 장치(2)에서 구현된다. 따라서 사용자 장치(2)는 포즈 결정기(1)를 위한 호스트 장치이다. 이러한 실시예에서, 포즈 결정기는 하나 이상의 앵커링 장치로부터 포즈들을 제공받고, 사용자 장치 내에서 관련 포즈들을 검색(retrieve)한다.
도 2B에서, 포즈 결정기는 서버(3)에서 구현된다. 따라서 서버(3)는 포즈 결정기(1)를 위한 호스트 장치이다. 이러한 실시예에서, 포즈 결정기는 하나 이상의 앵커링 장치뿐만 아니라 사용자 장치로부터 포즈들을 제공받는다.
도 3A 및 3B는 하나의 가상 콘텐츠의 콘텐츠 포즈를 결정하는 방법들의 실시예들을 나타내는 흐름도이다. 상기 방법들은 포즈 결정기에서 수행된다.
상기 방법은 하나의 가상 콘텐츠를 앵커링해야 할 필요성이 감지되면 시작된다. 이하의 단계들은 하나의 특별한 가상 콘텐츠를 지칭하고 있지만, 가상 콘텐츠를 참조하는 모든 단계들이 다수의 가상 콘텐츠에 적용되도록 확장될 수 있음에 유의해야 한다.
제1 앵커 포즈 획득(acquire first anchor pose) 단계(40)에서, 포즈 결정기는 앵커링 장치의 제1 앵커 포즈를 획득하는데, 예를 들어 무선 통신 채널을 통해 앵커링 장치로부터 수신된 신호의 일부를 형성한다. 이는 앵커링 장치의 좌표 시스템에서 제1 앵커 포즈를 수신하고, 사용자 장치의 좌표 시스템에서 제1 앵커 포즈를 결정함으로써 달성될 수 있다.
다시 말해, 앵커링 장치는 제1 앵커 포즈를 포즈 결정기로 전송하는데, 제1 앵커 포즈는 앵커링 장치 좌표계에 있다. 이 포즈를 P(a, a)로 표시한다.
포즈 결정기는 사용자 장치 좌표 시스템에서 앵커링 장치의 포즈를 결정할 수 있으며, 이를 P(a, u)로 표시한다. 이러한 결정은 시각 수단(예를 들어, 수동 또는 능동 마커-기반(marker-based) 또는 비-마커-기반(non-marker based) 방법), 라디오-기반 수단(예를 들어, WiFi, 초광대역(Ultra Wide Band), GPS(Global Positioning System) 등), 오디오 수단, 전자기 수단 등을 통해, 그 기술 자체에서 제안된 다양한 위치결정(positioning) 기술 및 방법들을 사용하여 수행될 수 있다.
P(a, a) 및 P(a, u)를 알고 있다는 것에 기초하여, 변환 행렬(transform matrix) Tua(사용자 장치에서 앵커링 장치로의 좌표 시스템 변환)이 계산될 수 있으며, 이것은 두 포즈, 즉 P(a, a) = Tua*P(a, u)에 관한 것이다. Tua의 견실한 값(robust value)을 결정하기 위해, 다양한 포즈 P(a, u)가 결정될 수 있으며, 예를 들어, 다양한 P(a, u) 값을 고려한 Tua의 최소 제곱 추정(least squares estimate)이 수행될 수 있다.
제1 콘텐츠 포즈 결정(determine first content pose) 단계(42)에서, 포즈 결정기는 제1 콘텐츠 포즈를 결정한다. 제1 콘텐츠 포즈는 제1 앵커 포즈와 관련한 가상 콘텐츠의 포즈이다. 이것은 저장 전에 앵커링 장치의 좌표 시스템에서 제1 콘텐츠 포즈를 결정함으로써 달성될 수 있다.
이것은 다음에 따라 계산할 수 있다. 변환 매트릭스 Tua가 알려져 있기 때문에, 하나의 가상 콘텐츠의 제1 콘텐츠 포즈는 다음 계산을 수행함으로써 사용자 장치 좌표 시스템이 앵커링 장치좌표 시스템으로 변환될 수 있다: P(v, a) = Tua*P(v, u).
이제 P(v, a)의 값은 앵커링 장치에 대한 하나의 가상 콘텐츠의 앵커로 사용될 수 있다.
환경에서 발견되는 P(vf, a)와 같은 시각적 특징들에 대해 동일한 동작들이 수행될 수 있으며, 여기서 vf는 "시각적 특징들(visual features)"을 표시한다.
제1 콘텐츠 포즈 저장(store first content pose) 단계(44)에서, 포즈 결정기는 제1 앵커 포즈와 관련한 제1 콘텐츠 포즈를, 예를 들어 앵커링 장치의 좌표 시스템에 저장한다.
콘텐츠 포즈 결정에 대한 필요성 결정(determine need to determine content pose) 단계(45)에서, 포즈 결정기는 사용자 장치가 하나의 가상 콘텐츠의 콘텐츠 포즈를 결정해야 할 필요가 있다고 결정한다. 콘텐츠 포즈를 결정할 필요성은 사용자 장치의 활성화(enablement), 예를 들어 장치가 켜지거나, 사용자가 현재 위치로부터의 가상 콘텐츠가 로딩(loading)되도록 요청하거나, 또는 사용자가 여기에 서술된 바와 같이 앵커링이 이미 실행되었던 물리적 공간으로 재진입(re-entering)함으로써, 트리거(trigger)될 수 있다.
제2 앵커 포즈 수신(receive second anchor pose) 단계(46)에서, 포즈 결정기는 앵커링 장치의 제2 앵커 포즈를 획득한다. 제2 앵커 포즈는 앵커링 장치의 좌표 시스템에서 수신될 수 있다. 제2 앵커 포즈는 P'(a, a)로 표시된다. 앵커링이 스마트 냉장고와 같이 본질적으로 정적 장치인 경우, 제2 앵커 포즈는 제1 앵커링 포즈와 동일할 가능성이 높겠지만, 스마트 램프와 같이 앵커링 장치가 더 움직일 수 있다면 앵커링 장치가 움직였을 가능성이 더 높고, 이것은 제2 앵커 포즈가 제1 앵커 포즈와 다르다는 것을 의미한다.
저장된 콘텐츠 포즈 검색(retrieve stored content pose) 단계(48)에서, 포즈 결정기는 저장된 제1 콘텐츠 포즈, 즉 P(v, a)를 검색한다.
제1 콘텐츠 포즈에 기초한 제2 콘텐츠 포즈 결정(determine second content pose based on first content pose) 단계(50)에서, 포즈 결정기는 제1 콘텐츠 포즈 및 제2 앵커 포즈에 기초하여 하나의 가상 콘텐츠의 제2 콘텐츠 포즈를 결정한다. 이것은 사용자 장치의 좌표 시스템에서 앵커링 장치의 포즈를 결정함으로써 달성될 수 있다.
포즈 결정기는 당업계에 공지된 기술 및 방법들을 사용하여 사용자 장치 좌표 시스템에 대해 사용자 장치 좌표 시스템에서의 앵커링 장치의 포즈 P'(a, u)를 먼저 결정한다.
두 좌표 시스템 사이에서의 새로운 변환 Tua'는 위에서 수행한 것처럼, 즉 P'(a, a) = Tua'*P'(a, u)로 계산할 수 있다. 참고로, 앵커링 장치와 사용자 장치의 좌표계가 동일하게 유지되면 상기 변환도 여전히 동일할 것이며, 이 경우 Tua'는 Tua와 동일할 것이다.
사용자 장치 좌표 시스템에 대한 하나의 가상 콘텐츠의 포즈는 P'(v, u) = Tua-1*P(v, a)로 결정될 수 있으며, 여기서 P(v, a)는 저장 장치에서 검색되었다.
렌더링(render) 단계(52)에서, 포즈 결정기는 디스플레이를 포함하는 사용자 장치에 대해 제2 콘텐츠 포즈에서의 하나의 가상 콘텐츠를 렌더링 한다. 이것은 예를 들어 포즈 결정기가 서버에서 구현되고 렌더링이 사용자 장치를 사용하여 수행될 때, 별도의 장치에서 발생하도록 실제 렌더링을 트리거링 하는 것을 포함할 수 있다.
따라서 사용자 장치는 포즈 P'(v, u)를 사용하여 하나의 가상 콘텐츠를 디스플레이 한다. 디스플레이는 종래 기술에서와 같이 시각적 매칭(visual matching)에 의지하지 않고 달성된다.
이제 도 3B를 참조하여, 도 3A의 단계들과 비교하여 새로운 또는 수정된 단계들만 설명할 것이다.
선택적인 포즈 불확실성 표시자 획득(acquire pose uncertainty indicator) 단계(47)에서, 포즈 결정기는 포즈 불확실성 표시자를 획득한다. 포즈 불확실성 표시자는 앵커링 장치의 포즈의 불확실성을 표시한다. 아래에서 더 상세히 설명하는 바와 같이, 상술한 콘텐츠 포즈의 결정이 사용될 것인지 또는 종래의 방법(시각적 특징에 기초함)이 대신 사용될 것인지를 결정하기 위해 불확실성 표시자가 사용될 수 있다.
불확실성 표시자는 사용된 위치결정 기술(positioning technology)에 따른 다양한 방법들에 의해 계산될 수 있다. 예를 들어, 앵커링 장치가 포즈를 계산하기 위해 IMU를 소유하는 경우, IMU는 가속(acceleration)의 제곱 속도(squared rate) 및 지속 시간(duration)에 비례하는 위치 드리프트(position drift)를 유발할 수 있는 노이즈(noise)에 영향을 받는다. 따라서 앵커링 장치가 움직일 때마다 포즈의 불확실성이 커진다.
불확실성 표시자는 위치(x, y, z) 및 방향(롤, 피치, 요)에 대해 개별적으로 제공될 수 있다. 이것은 상이한 추정 품질(estimation quality)을 갖는 상이한 센서들이 위치 및 방향을 계산하는 데 사용될 수 있기 때문이고, 앵커링 장치는 방향이 아닌 그 위치를 변경하거나 그 반대로 할 수 있다.
선택적인 움직임 플래그 획득(acquire movement flag) 단계(49)에서, 포즈 결정기는 제1 앵커 포즈의 캡처 이후 앵커링 장치가 움직였음을 표시하는 움직임 플래그를 획득한다. 움직임 플래그는, 예를 들어 IMU보다 도킹 스테이션(docking station)에서의 접촉 센서(contact sensor)와 같은, 다른 간단한 센서들을 사용하여 결정될 수 있다. 물론, 움직임 플래그는 IMU를 사용하여 결정될 수도 있다. 도킹 스테이션에서의 접촉 센서의 사용은 감지된 움직임을 재설정하도록 이용될 수 있다. 예를 들어, IMU를 포함하는 랩톱 컴퓨터가 앵커링 장치로서 작용하면, 도킹 해제되었을 때 그 움직임은 IMU를 사용하여 검출될 수 있다. 랩톱 컴퓨터가 다시 도킹되면, IMU 측정으로 유발되는 누적 가능한 부정확성과 불확실성에 관계없이, 모든 움직임이 재설정되고 움직임 플래그가 '움직이지 않음(no movement)'으로 설정될 수 있다.
단계 47은 단계 49를 수행하지 않고 수행될 수 있으며, 그 역도 마찬가지이며, 또는 두 단계 모두가 수행될 수도 있음에 유의해야 한다.
선택적이고 조건부인, 저장된 콘텐츠 포즈 사용(use stored content pose) 단계(55)에서, 포즈 결정기는 저장된 콘텐츠 포즈를 사용할지 여부를 결정한다. 이것은 불확실성 표시자에 근거하여, 불확실성 표시자가 임계값보다 작을 때(즉, 특정 임계값보다 덜 불확실한 경우), 저장된 콘텐츠의 사용을 결정할 수 있다. 일 실시예에서 다수의 앵커링 장치가 이용 가능할 때, 가장 낮은 불확실성을 갖는 앵커링 장치(들)가 이러한 단계 및 후속하는 방법에서의 결정을 위해 사용된다.
임계값은 하나의 가상 콘텐츠, 예를 들어 하나의 가상 콘텐츠의 유형 및 특성들에 의존할 수 있다. 예를 들어, 하나의 가상 콘텐츠가 사용자가 거실에서 플레이한 동적 게임의 아이템(item)과 관련되고, 물리적 공간에 재진입(re-entering)할 때 게임의 아이템이 다시 디스플레이 되어야 하는 경우, 게임 객체(object)는 원래 위치에서 최대 50cm 떨어져 있도록 허용될 수 있다. 더욱이, 그러한 객체는 객체의 방향이 중요하지 않기 때문에 최대 허용 방향 에러(maximum allowed orientation)가 없을 수 있다. 반면, 테이블 위에 있는 가상 플랜트(virtual plant)는 10cm보다 큰 에러가 허용되지 않을 수 있으며 방향 오류가 작을 수 있어서 가상 플랜트의 꽃이 올바른 방향을 가리키는 것을 보장할 수 있다. 다시 말해서, 동적 콘텐츠는 정적 콘텐츠보다 더 큰 불확실성을 허용하도록 구성될 수 있다. 또한, 임계값은 위치 및 방향에 대해 독립적으로 고려되는 혼합값(composite value)일 수 있다.
대안적으로 또는 부가적으로, 저장된 콘텐츠 포즈를 사용할지에 대한 결정은 움직임 플래그에 더 기초하고 있는데, 예를 들어 앵커링 장치의 움직임이 발생하지 않았을 때, 상기 저장된 콘텐츠 포즈를 사용하기로 결정된다. 다수의 앵커링 장치가 있는 경우, 움직이지 않은 앵커링 장치(들)을 우선순위화(prioritize) 할 수 있다(예를 들어, 다른 앵커링 장치(들)를 무시함).
불확실성 표시자는 앵커 포즈가 포즈 결정기에 보고될 때마다 재설정될 수 있는데(단계 40 및 단계 46), 그러한 순간에 상기 장치가 포즈를 재설정할 수 있고 따라서 그 불확실성을 재설정할 수 있기 때문이다.
상기 저장된 콘텐츠 포즈를 사용하기로 결정되면, 상기 방법은 제1 콘텐츠 포즈에 기초한 제2 콘텐츠 포즈 결정(determine second content pose based on first content pose) 단계(50)로 진행한다. 그렇지 않으면, 상기 방법은 선택적인 시각적 특징들에 기초한 제2 콘텐츠 포즈 결정(determine second content pose based on visual features) 단계(51)로 진행한다.
상기 선택적인 시각적 특징들에 기초한 제2 콘텐츠 포즈 결정 단계(51)에서, 포즈 결정기는 시각적 특징들에 기초하여 제2 콘텐츠 포즈를 결정한다. 시각적 특징들은 사용자 장치의 카메라에 의해 캡처(capture)된다. 시각적 특징들은 대응하는 저장된 특징 포즈들과 매칭되어 하나의 가상 콘텐츠의 제2 포즈를 결정한다.
이 단계는 앵커링 장치에 의해 획득 가능한 제2 콘텐츠 포즈가 충분하지 않은 경우에 수행될 필요가 있을 수 있다.
사용자 장치 좌표계에 관한 시각적 특징들의 포즈는 P'(vf, u) = Tua-1*P(vf, a)로 결정될 수 있다.
그러나, 불확실한 경우에도, 시각적 특징들의 포즈에 대한 지식은 탐색할 시각적 특징들 및 그들의 예상 위치 모두에 대한 탐색 공간(search space)을 포즈 결정기가 상당히 좁게 할 수 있도록 하여, 단계 51의 시각적 매칭을 훨씬 더 빠르고 더 효율적으로 계산할 수 있게 하고, 따라서 종래 기술보다 더 에너지 효율적으로 만든다.
선택적인 임계값 조정(adjust threshold) 단계(54)에서, 포즈 결정기는 하나의 가상 콘텐츠의 식별된 재배치(repositioning)에 기초하여 임계값을 조정한다. 예를 들어, 임계값은 인식된 사용자 상호 작용에 따라 동적으로 조정될 수 있다. 예를 들어, 사용자가 하나의 가상 콘텐츠를 디스플레이한 후에 재배치하는 경우, 사용자 조정에 따라 임계값이 감소된다. 이러한 임계값 감소는 사용자 조정에 완전히 대응할 필요는 없지만, 시간에 따른 사용자 조정을 할 수 있다. 예를 들어, 사용자가 하나의 가상 콘텐츠의 포즈를 X, 즉 X=|Padjusted(v, u) - Poriginal(v, u)|로 조정하면, 임계값은 threshold=threshold - (X/N)으로 조정되며, 여기서 N>1이다. 이러한 방식으로, 임계값은 점점 더 엄격하도록 조정된다. N은 구성 가능하며 임계값 조정의 적극성(aggressiveness)을 제어하기 위해 임의의 값으로 설정될 수 있다. N이 낮을수록 더 적극적인 임계값 조정임을 나타낸다.
선택적으로, 사용자가 조정하는 데 걸리는 시간이 임계값을 조정할 때 고려된다. 예를 들어, 빠른 조정은 조정이 사용자에게 의미 있고 중요하다는 것을 나타내며, 이 경우 임계값은 더 적극적으로 조정된다. 반면에, 사용자 조정에 시간이 오래 걸리면 조정이 덜 중요하다는 것을 나타내며, 이 경우 임계값은 덜 적극적으로 조정되거나 전혀 조정되지 않는다.
사용자가 하나의 가상 콘텐츠를 얼마나 많이 조정했는지를 무시하는 다른 유사한 옵션은 threshold = threshold/N이다. 여기서 N>1이다. 임계값은 자동 조정, 즉 사용자가 조종하지 않는 자동 조정을 기초로 조정될 수도 있다. 예를 들어, 카메라 이미지를 사용하여 매칭하는 시각적 특징은, 산발적으로 또는 주기적으로(SLAM에 사용될 수 있기 때문) 트리거 되어 가상 콘텐츠가 실제 세계에 대해 정확한 포즈를 가지고 있는지 확인할 수 있다. 이는 가상 콘텐츠의 포즈를 저장된 시각적 특징들과 비교하여 확인할 수 있다. 가상 콘텐츠 및/또는 애플리케이션 유형에 대해 불일치가 너무 큰 경우 임계값이 조정된다.
도 4는 일 실시예에 따른 도 2A 및 2B의 포즈 결정기(1)의 기능적 모듈들을 나타내는 개략도이다. 상기 모듈들은 포즈 결정기(1)에서 실행되는 컴퓨터 프로그램과 같은 소프트웨어 명령들을 사용하여 구현된다. 대안적으로 또는 추가적으로, 상기 모듈들은 하나 이상의 ASIC(Application Specific Integrated Circuit), FPGA(Field Programmable Gate Array) 또는 이산 논리 회로(discrete logical circuits)와 같은 하드웨어를 사용하여 구현된다. 상기 모듈들은 도 3A 및 3B에 나타낸 방법들의 단계들에 대응한다.
제1 앵커 포즈 수신기(70)는 단계 40에 대응한다. 제1 콘텐츠 포즈 결정기(72)는 단계 42에 대응한다. 제1 콘텐츠 포즈 저장기(74)는 단계 44에 대응한다. 콘텐츠 포즈 필요성 평가기(75)는 단계 45에 대응한다. 제2 앵커 포즈 수신기(76)는 단계 46에 대응한다. 불확실성 표시자 수신기(77)는 단계 47에 대응한다. 저장된 제1 콘텐츠 포즈 검색기(78)는 단계 48에 대응한다. 움직임 플래그 획득기(79)는 단계 49에 대응한다. 제2 콘텐츠 포즈 결정기(80)는 단계 50 및 단계 51에 대응한다. 렌더러(renderer)(82)는 단계 52에 해당한다. 임계값 조정기(84)는 단계 54에 대응한다.
도 5는 도 2A 및 2B의 포즈 결정기(1)의 구성요소들을 나타낸 개략도이다. 언급된 구성요소들 중 하나 이상은 적용 가능한 경우 사용자 장치 또는 서버와 같은 호스트 장치와 공유될 수 있음에 유의해야 한다. 프로세서(60)는 메모리에 저장된 소프트웨어 명령들(67)을 실행할 수 있는, 적절한 중앙 처리 장치(CPU), 멀티프로세서, 마이크로컨트롤러, DSP(digital signal processor), ASIC 등에서 하나 이상의 조합을 사용하여 제공되며, 따라서 컴퓨터 프로그램 제품일 수 있다. 프로세서(60)는 상기 도 3A 및 3B를 참조하여 설명된 방법을 실행하도록 구성될 수 있다.
메모리(64)는 랜덤 액세스 메모리(RAM) 및 판독 전용 메모리(ROM)의 임의의 조합일 수 있다. 또한, 메모리(64)는 영구 저장 장치를 포함하는데, 예를 들어, 자기 메모리, 광학 메모리, 고상(solid-state) 메모리 또는 심지어 원격 장착 메모리 중 임의의 하나 또는 조합일 수 있다.
또한, 프로세서(60)에서 소프트웨어 명령들의 실행 중에 데이터를 판독 및/또는 저장하기 위한 데이터 메모리(66)도 제공된다. 데이터 메모리(66)는 랜덤 액세스 메모리(RAM) 및 판독 전용 메모리(ROM)의 임의의 조합일 수 있다.
포즈 결정기(1)는 다른 외부 엔티티와 통신하는 I/O 인터페이스(62)를 더 포함한다. 선택적으로, I/O 인터페이스(62)는 사용자 인터페이스도 포함한다.
포즈 결정기(1)의 다른 구성요소들은 여기에 제시된 개념을 모호하게 하지 않기 위해 생략된다.
도 6은 컴퓨터 판독 가능 수단을 포함하는 컴퓨터 프로그램 제품(90)의 일례를 나타낸다. 이러한 컴퓨터 판독 가능 수단에, 컴퓨터 프로그램(91)이 저장될 수 있으며, 컴퓨터 프로그램은 여기에 설명된 실시예들에 따른 방법을 프로세서가 실행하게 할 수 있다. 상기한 예에서, 컴퓨터 프로그램 제품은 CD(compact disc) 또는 DVD(digital versatile disc) 또는 블루-레이(Blu-Ray) 디스크와 같은 광 디스크이다. 또한, 상술한 바와 같이, 컴퓨터 프로그램 제품은 도 5의 컴퓨터 프로그램 제품(64)과 같은 장치의 메모리에 구현될 수도 있다. 여기서 컴퓨터 프로그램(91)은 도시된 광 디스크 상의 트랙(track)으로서 개략적으로 나타나 있지만, 착탈식 고상 메모리, 예를 들어 USB 드라이브(Universal Serial Bus drive)와 같은 컴퓨터 프로그램 제품에 적합한 임의의 방식으로 컴퓨터 프로그램이 저장될 수 있다.
본 발명은 주로 몇몇 실시예들을 참조하여 설명되었다. 그러나 당업자가 쉽게 이해할 수 있는 바와 같이, 상기 개시된 것들 이외의 다른 실시예들이, 첨부된 특허 청구범위에 의해 정의된 바와 같이, 본 발명의 범위 내에서 동등하게 가능하다.

Claims (17)

  1. 하나의 가상 콘텐츠(10a, 10b)의 콘텐츠 포즈를 결정하는 방법으로서,
    상기 방법은 포즈 결정기(1)에서 수행되고, 또한
    앵커링 장치(4)의 제1 앵커 포즈를 획득하는 단계(40);
    상기 제1 앵커 포즈와 관련하여, 하나의 가상 콘텐츠의 포즈(10a, 10b)인 제1 콘텐츠 포즈를 결정하는 단계(42);
    상기 제1 앵커 포즈와 관련하여 상기 제1 콘텐츠 포즈를 저장하는 단계(44);
    하나의 가상 콘텐츠(10a, 10b)의 콘텐츠 포즈를 사용자 장치(2)가 결정할 필요가 있다고 결정하는 단계(45);
    상기 앵커링 장치(4)의 제2 앵커 포즈를 획득하는 단계(46);
    상기 저장된 제1 콘텐츠 포즈를 검색하는 단계(48);
    상기 제1 콘텐츠 포즈 및 상기 제2 앵커 포즈에 기초하여 하나의 가상 콘텐츠의 제2 콘텐츠 포즈를 결정하는 단계(50); 및
    디스플레이(20)를 포함하는 사용자 장치(2)에 상기 제2 콘텐츠 포즈에서의 하나의 가상 콘텐츠를 렌더링하는 단계(52);를
    포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 앵커링 장치(4)의 포즈의 불확실성의 정도를 표시하는 포즈 불확실성 표시자를 획득하는 단계(47); 및
    사용자 장치의 카메라에 의해 캡처되고 대응하는 저장된 특징 포즈들과 매칭되는 시각적 특징들에 기초하여, 제2 콘텐츠 포즈를 결정하는 단계(51);를
    더 포함하고,
    상기 제1 콘텐츠 포즈에 기초하여 제2 콘텐츠 포즈를 결정하는 단계(50)는, 상기 불확실성 표시자가 임계값보다 작은 경우에 수행되고; 및
    상기 시각적 특징들에 기초하여 제2 콘텐츠 포즈를 결정하는 단계(51)는, 상기 불확실성 표시자가 상기 임계값보다 클 경우에 수행되는 것을,
    특징으로 하는 방법.
  3. 제2항에 있어서,
    상기 임계값은 하나의 가상 콘텐츠(10a, 10b)에 의존하는 것을 특징으로 하는 방법.
  4. 제2항 또는 제3항에 있어서,
    하나의 가상 콘텐츠(10a, 10b)의 식별된 재배치에 기초하여 상기 임계값을 조정하는 단계(54)를 더 포함하는 것을 특징으로 하는 방법.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 제1 앵커 포즈의 캡처 이후 상기 앵커링 장치가 움직였음을 표시하는 움직임 플래그를 획득하는 단계(49)를 더 포함하고,
    상기 제1 콘텐츠 포즈에 기초하여 제2 콘텐츠를 결정하는 단계(50)를 수행할 것인지 또는 시각적 특징들에 기초하여 제2 콘텐츠를 결정하는 단계(50)를 수행할 것인지에 대한 결정은, 상기 움직임 플래그에 기초하는 것을
    특징으로 하는 방법.
  6. 제1항에 있어서,
    상기 제1 앵커 포즈의 캡처 이후 상기 앵커링 장치가 움직였음을 표시하는 움직임 플래그를 획득하는 단계(49); 및
    사용자 장치의 카메라에 의해 캡처되고 대응하는 저장된 특징 포즈들과 매칭되는 시각적 특징들에 기초하여, 제2 콘텐츠 포즈를 결정하는 단계(51);를
    더 포함하고,
    상기 제1 콘텐츠 포즈에 기초하여 제2 콘텐츠 포즈를 결정하는 단계(50)는, 상기 움직임 플래그가 움직임이 없음을 표시하는 경우에 수행되고; 및
    상기 시각적 특징들에 기초하여 제2 콘텐츠 포즈를 결정하는 단계(51)는, 상기 움직임 플래그가 움직임이 있음을 표시하는 경우에 수행되는 것을,
    특징으로 하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 제1 앵커 포즈를 획득하는 단계(40)는, 앵커링 장치(4)의 좌표 시스템에서 상기 제1 앵커 포즈를 수신하고, 사용자 장치(2)의 좌표 시스템에서 상기 제1 앵커 포즈를 결정하는 것을 포함하고;
    상기 제1 콘텐츠 포즈를 저장하는 단계(44)는, 저장 전에 상기 앵커링 장치(4)의 좌표 시스템에서 상기 제1 콘텐츠 포즈를 결정하는 것을 포함하고;
    상기 제2 앵커 포즈를 획득하는 단계(46)는, 상기 앵커링 장치(4)의 좌표 시스템에서 상기 제2 앵커 포즈를 수신하는 것을 포함하고;
    상기 제2 콘텐츠 포즈를 결정하는 단계(50)는, 상기 사용자 장치(2)의 좌표 시스템에서 상기 앵커링 장치(4)의 포즈를 결정하는 것을 포함하는 것을,
    특징으로 하는 방법.
  8. 하나의 가상 콘텐츠(10a, 10b)의 콘텐츠 포즈를 결정하기 위한 포즈 결정기(1)에 있어서,
    상기 포즈 결정기(1)는
    프로세서(60); 및
    명령들(67)을 저장하는 메모리(64)를 포함하고,
    상기 명령들(67)은, 상기 프로세서에 의해 실행될 때, 상기 포즈 결정기(1)가
    앵커링 장치(4)의 제1 앵커 포즈를 획득하게 하고;
    상기 제1 앵커 포즈와 관련하여, 하나의 가상 콘텐츠의 포즈(10a, 10b)인 제1 콘텐츠 포즈를 결정하게 하고;
    상기 제1 앵커 포즈와 관련하여 상기 제1 콘텐츠 포즈를 저장하게 하고;
    하나의 가상 콘텐츠(10a, 10b)의 콘텐츠 포즈를 사용자 장치(2)가 결정할 필요가 있다고 결정하게 하고;
    상기 앵커링 장치(4)의 제2 앵커 포즈를 획득하게 하고;
    상기 저장된 제1 콘텐츠 포즈를 검색하게 하고;
    상기 제1 콘텐츠 포즈 및 상기 제2 앵커 포즈에 기초하여 하나의 가상 콘텐츠의 제2 콘텐츠 포즈를 결정하게 하고; 및
    디스플레이(20)를 포함하는 사용자 장치(2)에 상기 제2 콘텐츠 포즈에서의 하나의 가상 콘텐츠를 렌더링하게 하는;
    것을 특징으로 하는 포즈 결정기(1).
  9. 제8항에 있어서,
    상기 프로세서에 의해 실행될 때, 상기 포즈 결정기(1)가
    상기 앵커링 장치(4)의 포즈의 불확실성의 정도를 표시하는 포즈 불확실성 표시자를 획득하게 하고; 및
    사용자 장치의 카메라에 의해 캡처되고 대응하는 저장된 특징 포즈들과 매칭되는 시각적 특징들에 기초하여, 제2 콘텐츠 포즈를 결정하게 하는;
    명령들(67)을 더 포함하고,
    상기 제1 콘텐츠 포즈에 기초하여 제2 콘텐츠 포즈를 결정하는 명령들은, 상기 불확실성 표시자가 임계값보다 작은 경우에 실행되고; 및
    시각적 특징들에 기초하여 제2 콘텐츠 포즈를 결정하는 명령들은, 상기 불확실성 표시자가 상기 임계값보다 클 경우에 실행되는 것을
    특징으로 하는 포즈 결정기(1).
  10. 제9항에 있어서,
    상기 임계값은 하나의 가상 콘텐츠(10a, 10b)에 의존하는 것을 특징으로 하는 포즈 결정기(l).
  11. 제9항 또는 제10항에 있어서,
    상기 프로세서에 의해 실행될 때, 상기 포즈 결정기(1)가
    하나의 가상 콘텐츠(10a, 10b)의 식별된 재배치에 기초하여 상기 임계값을 조정하게 하는, 명령들(67)을 더 포함하는 것을
    특징으로 하는 포즈 결정기(1).
  12. 제9항 내지 제11항 중 어느 한 항에 있어서,
    상기 프로세서에 의해 실행될 때, 상기 포즈 결정기(1)가
    상기 제1 앵커 포즈의 캡처 이후 상기 앵커링 장치가 움직였음을 표시하는 움직임 플래그를 획득하게 하는, 명령들(67)을 더 포함하고,
    상기 제1 콘텐츠 포즈에 기초하여 제2 콘텐츠를 결정하는 명령들을 실행할 것인지 또는 시각적 특징들에 기초하여 제2 콘텐츠를 결정하는 명령들을 실행할 것인지에 대한 결정은, 상기 움직임 플래그에 기초하는 것을
    특징으로 하는 포즈 결정기(1).
  13. 제8항에 있어서,
    상기 프로세서에 의해 실행될 때, 상기 포즈 결정기(1)가
    상기 제1 앵커 포즈의 캡처 이후 상기 앵커링 장치가 움직였음을 표시하는 움직임 플래그를 획득하게 하고; 및
    사용자 장치의 카메라에 의해 캡처되고 대응하는 저장된 특징 포즈들과 매칭되는 시각적 특징들에 기초하여, 제2 콘텐츠 포즈를 결정하게 하는;
    명령들(67)을 더 포함하고,
    상기 제1 콘텐츠 포즈에 기초하여 제2 콘텐츠 포즈를 결정하는 명령들은, 상기 움직임 플래그가 움직임이 없음을 표시하는 경우에 실행되고; 및
    시각적 특징들에 기초하여 제2 콘텐츠 포즈를 결정하는 명령들은, 상기 움직임 플래그가 움직임이 있음을 표시하는 경우에 실행되는 것을,
    특징으로 하는 포즈 결정기(1).
  14. 제8항 내지 제13항 중 어느 한 항에 있어서,
    상기 제1 앵커 포즈를 획득하는 명령들은, 상기 프로세서에 의해 실행될 때, 상기 포즈 결정기(1)가, 앵커링 장치(4)의 좌표 시스템에서 상기 제1 앵커 포즈를 수신하게 하고, 사용자 장치(2)의 좌표 시스템에서 상기 제1 앵커 포즈를 결정하게 하는 명령들(67)을 포함하고;
    상기 제1 콘텐츠 포즈를 저장하는 명령들은, 상기 프로세서에 의해 실행될 때, 상기 포즈 결정기(1)가, 저장 전에 상기 앵커링 장치(4)의 좌표 시스템에서 상기 제1 콘텐츠 포즈를 결정하게 하는 명령들(67)을 포함하고;
    상기 제2 앵커 포즈를 획득하는 명령들은, 상기 프로세서에 의해 실행될 때, 상기 포즈 결정기(1)가, 상기 앵커링 장치(4)의 좌표 시스템에서 상기 제2 앵커 포즈를 수신하게 하는 명령들(67)을 포함하고; 및
    상기 제2 콘텐츠 포즈를 결정하는 명령들은, 상기 프로세서에 의해 실행될 때, 상기 포즈 결정기(1)가, 상기 사용자 장치(2)의 좌표 시스템에서 상기 앵커링 장치(4)의 포즈를 결정하게 하는 명령들(67)을 포함하는 것을,
    특징으로 하는 포즈 결정기(1).
  15. 포즈 결정기(1)로서,
    앵커링 장치(4)의 제1 앵커 포즈를 획득하는 수단;
    상기 제1 앵커 포즈와 관련하여, 하나의 가상 콘텐츠의 포즈(10a, 10b)인 제1 콘텐츠 포즈를 결정하는 수단;
    상기 제1 앵커 포즈와 관련하여 상기 제1 콘텐츠 포즈를 저장하는 수단;
    하나의 가상 콘텐츠(10a, 10b)의 콘텐츠 포즈를 사용자 장치(2)가 결정할 필요가 있다고 결정하는 수단;
    상기 앵커링 장치(4)의 제2 앵커 포즈를 획득하는 수단;
    상기 저장된 제1 콘텐츠 포즈를 검색하는 수단;
    상기 제1 콘텐츠 포즈 및 상기 제2 앵커 포즈에 기초하여 하나의 가상 콘텐츠의 제2 콘텐츠 포즈를 결정하는 수단; 및
    디스플레이(20)를 포함하는 사용자 장치(2)에 상기 제2 콘텐츠 포즈에서의 하나의 가상 콘텐츠를 렌더링하는 수단;을
    포함하는 것을 특징으로 하는 포즈 결정기(1).
  16. 하나의 가상 콘텐츠(10a, 10b)의 콘텐츠 포즈를 결정하는 컴퓨터 프로그램(67, 91)으로서,
    상기 컴퓨터 프로그램은, 포즈 결정기(1)에서 실행될 때, 상기 포즈 결정기(1)가
    앵커링 장치(4)의 제1 앵커 포즈를 획득하게 하고;
    상기 제1 앵커 포즈와 관련하여, 하나의 가상 콘텐츠의 포즈(10a, 10b)인 제1 콘텐츠 포즈를 결정하게 하고;
    상기 제1 앵커 포즈와 관련하여 상기 제1 콘텐츠 포즈를 저장하게 하고;
    하나의 가상 콘텐츠(10a, 10b)의 콘텐츠 포즈를 사용자 장치(2)가 결정할 필요가 있다고 결정하게 하고;
    상기 앵커링 장치(4)의 제2 앵커 포즈를 획득하게 하고;
    상기 저장된 제1 콘텐츠 포즈를 검색하게 하고;
    상기 제1 콘텐츠 포즈 및 상기 제2 앵커 포즈에 기초하여 하나의 가상 콘텐츠의 제2 콘텐츠 포즈를 결정하게 하고; 및
    디스플레이(20)를 포함하는 사용자 장치(2)에 상기 제2 콘텐츠 포즈에서의 하나의 가상 콘텐츠를 렌더링하게 하는;
    컴퓨터 프로그램 코드를 포함하는 것을 특징으로 하는 컴퓨터 프로그램(67, 91).
  17. 제16항에 따른 컴퓨터 프로그램 및 상기 컴퓨터 프로그램이 저장되는 컴퓨터 판독 가능 수단을 포함하는 컴퓨터 프로그램 제품(64, 90).
KR1020207019045A 2017-12-15 2017-12-15 하나의 가상 콘텐츠의 콘텐츠 포즈 결정 방법 Active KR102475188B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2017/083074 WO2019114986A1 (en) 2017-12-15 2017-12-15 Determining a content pose of a piece of virtual content

Publications (2)

Publication Number Publication Date
KR20200094775A true KR20200094775A (ko) 2020-08-07
KR102475188B1 KR102475188B1 (ko) 2022-12-06

Family

ID=60788603

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207019045A Active KR102475188B1 (ko) 2017-12-15 2017-12-15 하나의 가상 콘텐츠의 콘텐츠 포즈 결정 방법

Country Status (6)

Country Link
US (2) US11244514B2 (ko)
EP (1) EP3724745B1 (ko)
KR (1) KR102475188B1 (ko)
CN (1) CN111712777B (ko)
ES (1) ES2962152T3 (ko)
WO (1) WO2019114986A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019114986A1 (en) * 2017-12-15 2019-06-20 Telefonaktiebolaget Lm Ericsson (Publ) Determining a content pose of a piece of virtual content
EP4047558A1 (en) * 2021-02-17 2022-08-24 Miehee Ju Kim System for generating 3d mobile augmented reality
US20240070931A1 (en) * 2021-03-11 2024-02-29 Dathomir Laboratories Llc Distributed Content Rendering
US11682180B1 (en) * 2021-12-09 2023-06-20 Qualcomm Incorporated Anchoring virtual content to physical surfaces

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150048881A (ko) * 2012-09-04 2015-05-07 퀄컴 인코포레이티드 증강 현실 표면 디스플레잉

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AUPM701394A0 (en) * 1994-07-22 1994-08-18 Monash University A graphical display system
US20120306850A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
US9430038B2 (en) 2014-05-01 2016-08-30 Microsoft Technology Licensing, Llc World-locked display quality feedback
US10198865B2 (en) * 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
WO2018053430A1 (en) * 2016-09-16 2018-03-22 Carbon Robotics, Inc. System and calibration, registration, and training methods
US10499997B2 (en) * 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
WO2019114986A1 (en) * 2017-12-15 2019-06-20 Telefonaktiebolaget Lm Ericsson (Publ) Determining a content pose of a piece of virtual content

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150048881A (ko) * 2012-09-04 2015-05-07 퀄컴 인코포레이티드 증강 현실 표면 디스플레잉

Also Published As

Publication number Publication date
EP3724745B1 (en) 2023-09-13
CN111712777A (zh) 2020-09-25
ES2962152T3 (es) 2024-03-15
US20210183149A1 (en) 2021-06-17
WO2019114986A1 (en) 2019-06-20
US20220180613A1 (en) 2022-06-09
CN111712777B (zh) 2023-11-07
EP3724745A1 (en) 2020-10-21
US11244514B2 (en) 2022-02-08
KR102475188B1 (ko) 2022-12-06
US11657581B2 (en) 2023-05-23

Similar Documents

Publication Publication Date Title
US11657581B2 (en) Determining a content pose of a piece of virtual content
CN108141543B (zh) 用于跟踪实体的系统、方法和介质
US9953243B2 (en) Electronic device localization based on imagery
JP6258953B2 (ja) 単眼視覚ｓｌａｍのための高速初期化
US9819855B2 (en) Balancing exposure and gain at an electronic device based on device motion and scene distance
KR102262812B1 (ko) 증강 현실 소프트웨어 애플리케이션을 지원
US10262464B2 (en) Dynamic, local augmented reality landmarks
JP6609640B2 (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
US11270443B2 (en) Resilient dynamic projection mapping system and methods
CN103116451A (zh) 一种智能终端的虚拟角色交互方法、装置和系统
EP3058716A1 (en) Refocusable images
IL275047B2 (en) Head-Mounted Display Device and Method Thereof
US20210132378A1 (en) Head mounted display and information processing method
CN112288877B (zh) 视频播放方法、装置、电子设备及存储介质
KR102223313B1 (ko) 전자장치 및 전자장치를 동작하는 방법
KR102402046B1 (ko) 콘텐츠를 제공하기 위한 방법 및 이를 위한 장치
Ahmad et al. Comparison of Frameworks for Occlusion Handling in Handheld Augmented Reality
HK40006853A (en) Supporting an augmented-reality software application

Legal Events

Date Code Title Description
A201 Request for examination
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R15-X000 Change to inventor requested

St.27 status event code: A-3-3-R10-R15-oth-X000

R16-X000 Change to inventor recorded

St.27 status event code: A-3-3-R10-R16-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 4