KR20170126295A - 헤드 마운티드 디스플레이 장치 및 그것의 제어방법 - Google Patents

헤드 마운티드 디스플레이 장치 및 그것의 제어방법 Download PDF

Info

Publication number
KR20170126295A
KR20170126295A KR1020160056539A KR20160056539A KR20170126295A KR 20170126295 A KR20170126295 A KR 20170126295A KR 1020160056539 A KR1020160056539 A KR 1020160056539A KR 20160056539 A KR20160056539 A KR 20160056539A KR 20170126295 A KR20170126295 A KR 20170126295A
Authority
KR
South Korea
Prior art keywords
area
touch
displayed
image object
mobile terminal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020160056539A
Other languages
English (en)
Inventor
홍지희
권윤미
정헌재
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020160056539A priority Critical patent/KR20170126295A/ko
Priority to EP17150506.8A priority patent/EP3244295B1/en
Priority to US15/456,445 priority patent/US10540003B2/en
Publication of KR20170126295A publication Critical patent/KR20170126295A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485—Scrolling or panning
    • G06F3/04855—Interaction with scrollbars
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

HMD 장치 및 그것의 제어방법이 개시된다. 본 발명에 따른 HMD 장치는, 이동 단말기와 통신을 수행하는 통신부와, 이동 단말기로부터 수신된 가상 공간 컨텐츠의 제1영역이 디스플레이되는 디스플레이부와, 제1영역에 명령입력영역이 나타나면, 명령입력영역에 대한 명령을 생성하기 위한 이미지객체를 제1영역에 표시하고, 이미지객체가 사용자의 헤드 제스처를 따라 움직이도록 제어하는 제어부를 포함한다. 또한, 제어부는, 디스플레이부에서 명령입력영역이 사라지면, 가상 공간 컨텐츠의 제1영역이 사용자의 헤드 제스처에 대응되는 제2영역으로 전환되는 동안 이미지객체를 제1영역에 고정시키고, 제2영역이 디스플레이된 상태에서 기설정된 조건을 만족하면, 이미지객체가 고정된 제1영역에 대한 제어명령을 생성한다.

Description

헤드 마운티드 디스플레이 장치 및 그것의 제어방법{HEAD MOUNTED DISPLAY DEVICE AND METHOD FOR CONTROLLING THE SAME}
본 발명은 이동 단말기와 통신이 가능한 헤드 마운티드 디스플레이(Head Mounted Display, 이하 'HMD'라 함) 및 그 제어방법에 관한 것이다.
헤드 마운티드 디스플레이(HMD)란, 사용자의 두부에 착용되며, 사용자의 눈 앞에 직접 영상을 제시할 수 있는 디스플레이 장치를 말하는 것으로, TV나 또는 화면보다 더 거대한 영상으로 사용자가 영상 컨텐츠를 즐길 수 있도록 하거나. 또는 가상 공간 화면을 표시하여 사용자가 가상 공간 체험을 즐길 수 있도록 할 수도 있다.
한편, 이동 단말기(mobile/portable terminal)는 이동이 가능한 단말기로, 이동 단말기의 기능은 매우 다양화 되고 있다. 예를 들면, 데이터와 음성통신, 카메라를 통한 사진촬영 및 비디오 촬영, 음성녹음, 스피커 시스템을 통한 음악파일 재생 그리고 디스플레이부에 이미지나 비디오를 출력하는 기능이 있다. 일부 단말기는 전자게임 플레이 기능이 추가되거나, 멀티미디어 플레이어 기능을 수행한다. 특히 최근의 이동 단말기는 방송과 비디오나 텔레비전 프로그램과 같은 시각적 컨텐츠를 제공하는 멀티캐스트 신호를 수신할 수 있다.
이와 같은 단말기(terminal)는 기능이 다양화됨에 따라 예를 들어, 사진이나 동영상의 촬영, 음악이나 동영상 파일의 재생, 게임, 방송의 수신 등의 복합적인 기능들을 갖춘 멀티미디어 기기(Multimedia player) 형태로 구현되고 있다.
요즘에는 이러한 이동 단말기의 기능이 더욱 더 다양화 되고 있으며, 그에 따라 이러한 이런 이동 단말기의 다양한 기능을 HMD와 연동시켜서 사용하는 방안이 활발하게 연구되고 있다.
이와 같이 HMD는 이동 단말기와 연동되어 사용되어, HMD의 착용자의 헤드 움직임에 따라 360도의 뷰를 제공할 수 있다. 이러한 경우 사용자가 바라보는 프런트 뷰(Front Of View)로 제공되는 시야 각이 예를 들어 100도이면, 사용자가 360도 전체 뷰를 감상하기 위해 적어도 3회 이상 헤드를 움직이거나 연속하여 일 방향으로 헤드를 계속 움직여서 한다.
또한, 사용자가 360도 뷰에서 프런트 뷰를 벗어난 영역을 일시적으로 확인하거나 프런트 뷰를 벗어난 영역을 제어한 후 다시 이전 프런트 뷰로 돌아오는 경우에도, 여러 번 헤드를 움직여야 하는 불편이 있었다.
이에, 본 발명의 일 목적은, HMD에 현재 디스플레이된 시야각 영역에서 헤드를 움직이지 않고 다른 시야각 영역을 제어하는 것이 가능한 HMD장치 및 그것의 제어방법을 제공하는데 있다.
또한, 본 발명의 또 다른 목적은 HMD에 디스플레이된 시야각 영역에서 헤드를 움직이지 않고 특정 시야각 영역으로 빠르게 이동하는 것이 가능한 HMD 장치 및 그것의 제어방법을 제공하는데 있다.
본 발명의 일 실시 예에 따른 HMD(Head Mounted Display) 장치는, 이동 단말기와 통신을 수행하는 통신부와; 상기 이동 단말기로부터 수신된 가상 공간 컨텐츠의 제1영역이 디스플레이되는 디스플레이부와; 상기 제1영역에 명령입력영역이 디스플레이되면, 상기 명령입력영역에 대한 명령을 생성하기 위한 이미지객체를 상기 제1영역에 표시하고 상기 이미지객체가 사용자의 헤드 제스처를 따라 움직이도록 제어하는 제어부를 포함한다. 또한, 상기 제어부는, 상기 명령입력영역이 사라지면, 상기 가상 공간 컨텐츠의 제1영역이 사용자의 헤드 제스처에 대응되는 제2영역으로 전환되는 동안 상기 이미지객체를 상기 제1영역에 고정시키고, 상기 제2영역이 디스플레이된 상태에서 기설정된 조건을 만족하면, 상기 이미지객체가 고정된 제1영역에 대한 제어명령을 생성할 수 있다.
일 실시 예에서, 상기 제어부는, 상기 제2영역에 명령입력영역이 나타나면, 상기 이미지객체를 상기 제2영역의 명령입력영역에 디스플레이하고, 상기 이미지객체를 이용하여 상기 제2영역의 명령입력영역에 대한 제어명령을 생성할 수 있다.
일 실시 예에서, 상기 제어부는, 상기 제2영역의 명령입력영역에 상기 이미지객체가 디스플레이된 상태에서 상기 이동 단말기의 터치 스크린에 가해진 제1터치입력에 대응되는 제1신호가 수신되면, 상기 이미지객체를 다음 명령입력영역으로 이동시키고, 여기서, 상기 다음 명령입력영역은 상기 제2영역 또는 상기 가상 공간 컨텐츠의 다른 영역 중 어느 하나에 포함된 것일 수 있다.
일 실시 예에서, 상기 제어부는, 상기 이미지객체가 특정 명령입력영역에 디스플레이된 상태에서, 상기 이동 단말기의 터치 스크린에 가해지는 기준압력을 초과하는 드래그 터치입력에 응답하여, 상기 드래그 터치입력의 이동 경로를 따라 상기 이미지객체를 상기 특정 명령입력영역 내에서 이동시킬 수 있다.
일 실시 예에서, 상기 제어부는, 상기 이미지객체가 다음 명령입력영역으로 이동된 것에 응답하여, 상기 제2영역이 상기 이미지객체가 가리키는 다음 명령입력영역을 포함하는 화면영역으로 전환될 수 있다.
일 실시 예에서, 상기 제어부는, 상기 제2영역이 디스플레이된 상태에서 상기 이동 단말기의 터치 스크린에 가해진 기설정된 터치 제스처에 대응되는 제2신호가 수신된 것에 응답하여, 상기 제1영역에 고정된 이미지객체를 상기 제2영역의 정해진 영역에 디스플레이할 수 있다.
일 실시 예에서, 상기 제어부는, 상기 이미지객체가 상기 제1영역이 고정되고 상기 디스플레이부에 상기 제2영역이 디스플레이되면, 상기 이미지객체의 상대 위치를 알려주는 알림 정보를 상기 제2영역의 일 영역에 표시할 수 있다.
일 실시 예에서, 사용자의 헤드 제스처를 따라 상기 제2영역이 가상 공간 컨텐츠의 제3영역으로 전환되면, 상기 이미지객체의 변경된 상대 위치가 상기 알림 정보에 표시될 수 있다.
일 실시 예에서, 상기 제어부는, 상기 제2영역이 디스플레이된 상태에서, 기설정된 입력에 근거하여 상기 이미지객체가 고정된 제1영역에서 전공간 모드를 실행하고, 상기 전공간 모드에서 상기 이동 단말기의 터치스크린에 가해진 터치입력이 응답하여, 상기 디스플레이된 제2영역을 상기 터치입력의 터치지점에 대응되는 상기 가상 공간 컨텐츠의 일 영역으로 전환할 수 있다.
일 실시 예에서, 상기 제어부는, 상기 제2영역이 디스플레이된 상태에서 상기 이동 단말기의 터치 스크린에 가해진 제3드래그 터치입력에 대응되는 제3신호가 수신되면, 상기 이미지객체가 고정된 제1영역의 일부를 상기 제2영역에 디스플레이하는 제어명령을 생성할 수 있다.
일 실시 예에서, 상기 이미지객체가 고정된 제1영역의 일부는 상기 제2영역의 정해진 영역에 PIP 형태로 나타날 수 있다.
일 실시 예에서, 상기 제어부는, 상기 제3드래그 터치입력이 해제되어 상기 제3신호가 더 이상 수신되지 않으면, PIP 형태로 나타난 상기 제1영역의 일부가 사라지도록 제어할 수 있다.
일 실시 예에서, 상기 제어부는, 상기 제1영역의 일부가 PIP 형태로 나타난 상태에서 화면전환 신호가 수신되면, 상기 제2영역을 PIP 형태로 디스플레이하고 상기 이미지객체와 상기 이미지객체가 고정된 제1영역이 상기 디스플레이부의 전면에 나타나도록 제어할 수 있다.
일 실시 예에서, 상기 제어부는, 상기 이미지객체가 고정된 제1영역에서 이벤트가 발생하면, 상기 제2영역의 디스플레이 상태를 유지하면서 상기 이동 단말기의 터치스크린에 가해지는 터치 제스처에 근거하여 상기 이벤트를 처리하는 제어명령을 생성할 수 있다.
일 실시 예에서, 상기 제어부는, 상기 제1영역에서 이벤트가 발생된 것에 응답하여, 상기 제2영역의 가장자리영역에 상기 이벤트의 발생을 알려주는 제1알림 아이콘의 일부를 표시할 수 있다.
일 실시 예에서, 상기 제어부는, 상기 터치 제스처에 근거하여 상기 이벤트가 처리되면, 상기 제2영역의 일 영역에 이벤트의 처리를 알려주는 제2알림 아이콘이 나타나도록 제어할 수 있다.
일 실시 예에서, 상기 제어부는, 상기 제2영역이 디스플레이된 상태에서, 상기 이동 단말기의 터치 스크린에 가해지는 터치입력에 근거하여, 상기 이미지객체가 고정된 제1영역을 상기 제2영역의 화면설정을 변경하기 위한 제어영역으로 변경할 수 있다.
일 실시 예에서, 상기 제어부는, 상기 제어영역이 상기 제2영역에 디스플레이되는 것을 제한하고, 상기 제어영역에서 입력된 제어명령의 실행결과만 상기 제2영역에 나타나도록 제어할 수 있다.
일 실시 예에서, 상기 제어영역은 화면의 밝기를 조절하기 위한 스크롤 바를 포함하고, 상기 제어부는, 상기 터치입력이 드래그된 방향 및 드래그된 정도에 근거하여 상기 이미지객체가 상기 스크롤 바의 스크롤 정도를 조절하도록 제어하고, 상기 스크롤 바의 스크롤 정도에 대응되게 상기 제2영역의 화면 밝기를 조절하여 디스플레이할 수 있다.
일 실시 예에서, 상기 제어영역은 화면의 재생을 조절하기 위한 재생 바를 포함하고, 상기 제어부는, 상기 터치입력의 드래그된 방향 및 드래그된 정도에 근거하여 상기 이미지객체가 상기 재생 바의 스크롤 정도를 조절하도록 제어하고, 상기 재생 바의 스크롤 정도에 대응되게 상기 제2영역의 재생 시점을 변경하여 디스플레이할 수 있다.
본 발명에 따른 HMD 장치 및 그것의 동작 방법에 따르면, HMD를 통해 현재 디스플레이된 시야각 영역을 유지하면서 헤드를 움직이지 않고 특정 영역을 확인하거나 특정 영역에 대한 제어명령을 생성할 수 있다. 또한, 현재 디스플레이된 시야각 영역에서 헤드 제스처 없이 포인터가 고정된 시야각 영역으로 빠르게 이동할 수 있다.
도 1은 본 발명과 관련된 HMD와 이동 단말기가 무선 통신하는 모습을 보여주는 도면이다.
도 2는 본 발명과 관련된 HMD와 이동 단말기가 유선 통신을 수행하도록 연결된 실시 예를 나타낸 개념도이다.
도 3a 및 도 3b는 본 발명과 관련된 HMD를 설명하기 위한 개념도이다.
도 4a는 본 발명과 관련된 이동 단말기를 설명하기 위한 블록도이다.
도 4b 및 4c는 본 발명과 관련된 이동 단말기의 일 예를 서로 다른 방향에서 바라본 개념도이다.
도 5a 및 도 5b는 본 발명과 관련된 HMD에 디스플레이되는 가상 공간을 설명하기 위한 개념도이다.
도 6은 본 발명과 관련된 HMD의 동작방법의 대표적인 실시 예를 보여주는 개념도들이다.
도 7은 본 발명과 관련된 HMD의 동작방법을 설명하기 위한 대표 흐름도이다.
도 8은 본 발명과 관련된 HMD에서 포인터가 나타나는 조건을 설명하기 위한 개념도이다.
도 9a, 도 9b, 도 9c, 도 10은 본 발명과 관련된 HMD에서, 이동 단말기의 터치 스크린을 이용하여 포인터 및 포인터가 고정된 영역을 제어하는 예시들을 설명하기 위한 개념도들이다.
도 11a 및 도 11b는 본 발명과 관련된 HMD에서, 포인터의 현재 위치를 제공하는 방법을 설명하기 위한 예시 개념도들이다.
도 12a, 도 12b는 본 발명과 관련된 HMD에서, 포인터가 고정된 영역을 현재 화면영역에 디스플레이하는 방법을 도시한 개념도들이다.
도 13a, 도 13b, 도 14a, 도 14b, 도 15, 도 16a, 도 16b는 본 발명과 관련된 HMD에서, 이동 단말기의 터치 스크린을 이용하여 포인터가 고정된 영역의 제어 결과를 현재 화면영역에 적용하는 다양한 예시들을 설명하기 위한 개념도들이다.
이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소에는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 출원에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
본 명세서에서 설명되는 이동 단말기에는 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)) 등이 포함될 수 있다.
그러나, 본 명세서에 기재된 실시 예에 따른 구성은 이동 단말기에만 적용 가능한 경우를 제외하면, 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등과 같은 고정 단말기에도 적용될 수도 있음을 본 기술분야의 당업자라면 쉽게 알 수 있을 것이다.
도 1은 본 발명과 관련된 HMD와 이동 단말기가 무선 통신하는 모습이고, 도 2는 본 발명과 관련된 HMD와 이동 단말기가 유선 통신을 수행하도록 연결된 것을 보여주고 있다.
먼저, 도 1을 참조하면, 도 1은 예를 들어 테더링 형 HMD(200)가, 이동 단말기(100)와 무선 통신으로 연결된 예를 도시한 것이다.
도 1에 도시된 바와 같이, HMD(200)는 이동 단말기(100)와 무선으로 연결될 수 있다. HMD(200)는 이동 단말기(100)를 통해 입력되는 정보 또는 감지되는 신호를 수신하거나, 상기 이동 단말기(100)에 저장된 다양한 정보 및 데이터 등을 공유할 수 있다.
한편, HMD(200)의 디스플레이에 표시되는 가상 공간 영상은 HMD(200) 자체에 저장된 것이거나 HMD(200)와 무선 통신하는 이동 단말기(100)에 저장된 것일 수 있다. 예를 들어, HMD(200)에 저장된 가상 공간 영상인 경우, 상기 HMD(200)는 상기 가상 공간의 영상을 처리하기 위한 이미지 프로세싱 및 렌더링 처리를 수행하고, 상기 이미지 프로세싱 및 렌더링 처리 결과 생성된 화상 정보를 디스플레이를 통해 출력할 수 있다. 반면 상기 이동 단말기(100)에 저장된 가상 공간 영상인 경우, 상기 이동 단말기(100)가 이미지 프로세싱 및 렌더링 처리를 수행하고, 그 결과 생성된 화상 정보를 HMD(200)에 전송해줄 수 있다. 그러면 상기 HMD(200)는 상기 이동 단말기(100)로부터 수신된 화상 정보를 출력할 수 있다.
도 2를 참조하면, 본 발명과 관련된 HMD(200)는, 인터페이스부(260)를 구비할 수 있다. 상기 인터페이스부(260)는, 일 예로, HMD 본체(200)의 제1 프레임(201)에 구비될 수 있다. 도 2에서는 HMD(200)가 인터페이스부(260)를 통해서 이동 단말기(100)와 유선으로 연결되었다.
HMD(200)의 인터페이스부(260)는, HMD(200)에 연결되는 모든 외부 기기(예를 들어, 이동 단말기(100))와의 통로 역할을 한다. 인터페이스부(260)는 외부 기기로부터 데이터를 전송받거나, 전원을 공급받아 HMD(200) 내부의 각 구성요소에 전달하거나, HMD(200) 내부의 데이터가 외부 기기(이동 단말기(100))로 전송되도록 한다. 예를 들어, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트(port), 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 등이 인터페이스부(260)에 포함될 수 있다.
도 2에 도시된 것과 같이, HMD(200)의 인터페이스부(260)와 이동 단말기(100)의 인터페이스부(260)는 유선 케이블을 통해 상호 통신이 가능하도록 연결될 수 있다. 일 예로, 상기 HMD의 인터페이스부(260)와 이동 단말기의 인터페이스부(260)는 유선 데이터 포트(port)일 수 있다. 각 인터페이스부(160, 260)의 포트의 종류는, 서로 동일할 수도 있고 다를 수도 있다.
이동 단말기(100)와 유선 연결된 HMD(200)는 이동 단말기(100)의 제어부(180)에 의해 제어될 수 있다. 또한, 연결된 HMD(200)의 제어부는, 유선 케이블을 통해 이동 단말기(100)로부터 수신되는 데이터(예를 들어, 제어명령)에 근거하여, HMD(200)를 제어할 수도 있다.
본 명세서에서는, 설명의 편의를 위해 HMD(200)가 유선 연결된 이동 단말기(100)의 제어부(180)에 의해 제어되는 것을 예로 설명하였으나, 이에 한정되지 않으면, HMD(200)의 제어부에 의해 수행될 수 있음은 물론이다.
HMD(200)와 데이터 송수신이 가능하도록 유/무선 연결된 이동 단말기(100)는, 상기 HMD(200)를 제어하는 컨트롤러(또는, 제어장치, 제어수단)의 역할을 수행할 수 있다.
다음으로, 도 3a 및 도 3b는 본 발명과 관련된 HMD를 설명하기 위한 개념도이다.
본 발명과 관련된 HMD(200)는, 이하 도 4a를 참조하여 설명될 구성요소들 중 적어도 하나를 포함하도록 구성될 수 있다.
예를 들어, HMD(200)는, 무선 통신부, 입력부(예를 들어, 사용자 입력부(223), 마이크로폰 등), 센싱부(240), 출력부(예를 들어, 디스플레이부(251), 음향 출력부(252)), 인터페이스부(260), 메모리, 제어부 및 전원공급부 중 적어도 하나를 포함할 수 있다. 상기 도 3a에 도시된 구성요소들은 HMD를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 HMD(200)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
도 3a를 참조하면, 본 발명과 관련된 HMD(200)는 사용자(인체)의 두부(또는, 머리, 얼굴, 헤드(head))에 착용 가능하도록 형성되며, 이를 위한 프레임부(케이스, 하우징, 커버 등)를 포함할 수 있다. 프레임부는 착용이 용이하도록 플렉서블(flexible) 재질로 형성될 수 있다. 본 도면에서는 프레임부가 서로 다른 재질의 제1 프레임(201)과 제2 프레임(202)을 포함하는 것을 예시하고 있다.
일 예로, 상기 제1 프레임(201)은 이하, 도 4a를 참조하여 설명할 구성요소들 중 적어도 하나가 배치될 수 있는 공간을 제공하는 역할을 하고, 상기 제2 프레임(102)은 상기 제1 프레임(101)이 사용자(인체)의 두부에 장착 가능하도록 하는 지지(또는 고정)하는 역할을 할 수 있다.
상기 프레임부는 본체(또는, HMD 본체) 또는 바디(또는, HMD 바디)로 명명될 수 있다. 여기에서, HMD 본체(또는 HMD 바디)는 HMD(200)를 적어도 하나의 집합체로 보아 이를 지칭하는 개념으로 이해될 수도 있다. 이하에서는, HMD 본체에 대하여 동일한 도면부호인 200을 사용하기로 한다.
제1 프레임(201)과 제2 프레임(202)을 포함하는 프레임부를 하나의 HMD 본체로 본다면, 본 발명과 관련된 HMD의 본체는 다양한 형태로 형성될 수 있다. 구체적으로, 상기 본체는 기 설정된 각을 이루는 복수의 면을 포함할 수 있다. 상기 복수의 면은 HMD(200) 본체의 바깥쪽에 위치한 면들을 의미한다. 이러한 관점에서 볼 때, 상기 복수의 면은 HMD(200)의 표면(외부면, 바깥면 등)을 의미할 수 있다. 상기 복수의 면 각각은 평평하거나 구부러진 형태일 수 있다.
본체(프레임부)는 두부에 지지되며, 각종 부품들이 장착되는 공간을 마련한다. 도시된 바와 같이, 제1 프레임(201)에는 카메라(221), 디스플레이부(251), 사용자 입력부(223), 제어부(280), 센싱부(240), 인터페이스부(260) 등과 같은 전자부품이 장착될 수 있다.
제2 프레임(202)에는 음향 출력부(252) 등과 같은 전자부품이 장착될 수 있다. 다만 이에 한정되지 않고, 상기 제1 프레임(201) 및 제2 프레임(202)에는 이하 도 4a에서 설명할 구성요소 및 HMD에 필요한 구성요소들이 사용자의 선택에 의해 다양하게 배치될 수 있다. 즉, 본 명세서 상에서 설명되는 HMD(200)는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
HMD의 제어부는 HMD(200)에 구비되는 각종 전자부품을 제어하도록 이루어진다. 상기 제어부는 이하 도 4a에서 설명될 제어부(180)에 대응되는 구성으로 이해될 수 있다.
계속해서 도 3a에 도시된 것과 같이, 카메라(221)는 본체(200)에 구비될 수 있다. 예를 들어, 카메라(221)는, HMD 본체(200)의 일면(예를 들어, 전면)에 배치될 수 있다. 카메라(221)는 좌안 및 우안 중 적어도 하나에 인접하게 배치되어, 전방의 영상을 촬영(수신, 입력)하도록 형성된다. 카메라(221)가 눈에 인접하여 전방을 향하도록 배치되므로, 카메라(221)는 사용자가 바라보는 장면을 영상으로 획득할 수 있다.
본 도면에서는, 카메라(221)가 하나 구비된 것을 예시하고 있으나, 반드시 이에 한정되는 것은 아니다. 카메라(221)는 복수 개로 구비되어 입체 영상을 획득하도록 이루어질 수도 있다.
HMD(200)는, 센싱부(240)를 구비할 수 있다. 상기 센싱부(240)는, 근접센서, 조도 센서, 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(221 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 등을 포함할 수 있다.
일 예로, 제어부(280)는 센싱부(240)에 포함된 자이로스코프 센서, 중력 센서, 모션 센서 등을 이용하여 HMD의 움직임을 감지할 수 있다. 다른 예로, 제어부(280)는 센싱부(240)에 포함된 근접센서, 조도센서, 자기센서, 적외선 센서, 초음파 센서, 광 센서 등을 이용하여 HMD 본체 주변으로 다가오는 대상체를 감지할 수도 있다.
HMD(200)는 제어명령을 입력 받기 위하여 조작되는 사용자 입력부(223)를 구비할 수 있다. 사용자 입력부(223)는 터치, 푸시 등 사용자가 촉각적인 느낌을 가면서 조작하게 되는 방식(tactile manner)이라면 어떤 방식이든 채용될 수 있다. 본 도면에서는, 프레임부에 푸시 및 터치 입력 방식의 사용자 입력부(223)가 구비된 것을 예시하고 있다.
또한, HMD(200)에는 사운드를 입력 받아 전기적인 음성 데이터로 처리하는 마이크로폰(미도시) 및 음향을 출력하는 음향 출력부(252)가 구비될 수 있다. 음향 출력부(252)는 일반적인 음향 출력 방식 또는 골전도 방식으로 음향을 전달하도록 이루어질 수 있다. 음향 출력부(252)가 골전도 방식으로 구현되는 경우, 사용자가 HMD(100)를 착용시, 음향 출력부(252)은 두부에 밀착되며, 두개골을 진동시켜 음향을 전달하게 된다.
또한 도 3b에 도시된 것과 같이, 디스플레이부(251)는 프레임부에 장착되어, 사용자의 눈 앞에서 화면정보(예를 들어, 영상, 이미지, 동영상 등)을 출력하는 역할을 한다. 사용자가 HMD(200)를 착용하였을 때, 사용자의 눈 앞에 화면정보가 표시될 수 있도록, 디스플레이부(251)는 좌안 및 우안 중 적어도 하나에 대응되게 배치될 수 있다. 즉, 디스플레이부(251)는 사용자의 좌안 및 우안 중 적어도 하나를 덮도록 (또는, 사용자의 좌안 및 우안 중 적어도 하나를 마주보도록) 형성될 수 있다.
일 예로, 본 발명과 관련된 HMD의 디스플레이부(251)는 HMD 본체의 내부에 위치할 수 있다. 구체적으로, 상기 디스플레이부(251)는 HMD의 내부에 배치되며, 사용자가 HMD를 사용자의 두부에 착용하였을 때, 사용자의 눈에 마주보는 위치에 배치될 수 있다.
또한, HMD(200)는 HMD 본체의 내부에 형성된 디스플레이부에서 출력되는 화면정보를 사용자가 모두 볼 수 있도록, 렌즈부(203)를 포함할 수 있다. 즉, 본 발명과 관련된 HMD(200)는, 렌즈부(203)를 통해, 디스플레이부(251)에서 출력되는 화면정보(또는 빛)이 모두 사용자의 안구(또는, 시야)로 투과될 수 있도록 형성될 수 있다.
일 예로, 상기 렌즈부(203)는, 사용자의 양 안(즉, 좌안 및 우안) 중 적어도 하나에 대응되게 배치될 수 있다. 또한, 렌즈부(203)는, 사용자가 HMD를 두부에 착용하였을 때, 사용자의 안구와 디스플레이부(251)의 사이에 놓이도록 배치될 수 있다.
상기 렌즈부(203)는, 사용자의 안구와 디스플레이부 사이의 거리에 따라 시야각이 달라질 수 있으므로, 사용자 제어에 의해 위치가 가변되도록 형성될 수 있다. 또한, 상기 렌즈부(203)는, 오목렌즈 또는 볼록렌즈, 또는 이들의 조합을 통해 형성될 수 있다.
또한, 디스플레이부(251)는 프리즘을 이용하여 사용자의 눈으로 이미지를 투사할 수 있다. 또한, 사용자가 투사된 이미지와 전방의 일반 시야(사용자가 눈을 통하여 바라보는 범위)를 함께 볼 수 있도록, 프리즘은 투광성으로 형성될 수 있다.
이처럼, 디스플레이부(251)를 통하여 출력되는 영상은, 일반 시야와 오버랩(overlap)되어 보여질 수 있다. HMD(200)는 이러한 디스플레이의 특성을 이용하여 현실의 이미지나 배경에 가상 이미지를 겹쳐서 하나의 영상으로 보여주는 증강현실(Augmented Reality, AR)을 제공할 수 있다.
즉, 상기 디스플레이부(251)는, 가상현실(Virtual Reality: VR)이 구현되도록 외부의 빛이 통과되지 못하게 형성되거나, 증강현실(Augmented Reality: AR)이 구현되도록 외부의 빛이 통과되게 형성될 수 있다.
또한, 도시되진 않았지만, 프레임부에는 좌안 및 우안 중 적어도 하나를 덮는 디스플레이부(151)가 착탈 가능하게 장착될 수 있다.
또한, 상기 디스플레이부(251)는 외부 이동 단말기의 디스플레이부일 수 있다. HMD 본체(200)(프레임부)는 외부 이동 단말기가 착탈 가능하도록 형성될 수 있으며, 상기 외부 이동 단말기와 전기적으로 연결될 수 있다. 외부 이동 단말기(200)와 전기적으로 연결되는 경우, HMD의 제어부는 외부 이동 단말기를 제어할 수 있다.
만약, 외부 이동 단말기가 HMD 본체(200)에 장착되는 경우, 위에서 설명한 HMD(200)의 카메라(221), 센싱부(240), 디스플레이부(251), 제어부등의 구성은, 외부 이동 단말기에 구비된 카메라, 센싱부, 디스플레이부, 제어부의 구성으로 대체될 수 있다.
다만, 본 발명에서는 무게의 경량화를 위해, 외부 이동 단말기가 HMD 본체(200)에 장착되는 경우가 아닌, HMD(200) 자체적으로 디스플레이부(251)를 구비한 것을 예로 설명하기로 한다.
이하에서는, HMD의 본체에 구비되는 구성요소들에 대하여 보다 구체적으로 살펴보기로 한다.
위에서 살펴본 구성요소들 중 무선 통신부는, HMD(200)와 무선 통신 시스템 사이, HMD(200)와 다른 HMD(200) 사이, HMD(200)와 이동 단말기(또는 고정 단말기) 사이, HMD(200)와 제어장치 사이, HMD(200)와 외부에 설치되어 무선통신이 가능한 카메라 사이 또는 HMD(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다.
또한, 상기 무선 통신부는, HMD(200)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한 무선 통신부는, 방송 수신 모듈, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다. 이러한 모듈들은, 다음의 도 4a에서 설명할 무선 통신부의 내용으로부터 동일/유사하게 유추적용될 수 있다.
다만, 이에 한정되지 않고, 본 발명과 관련된 이동 단말기(100) 및 HMD(200)는, 전술한 바와 같이 이동 단말기(100)의 인터페이스부(160) 및 HMD(200)의 인터페이스부(260)를 통해 유선 통신 방식으로 데이터를 상호 송수신할 수 있다.
다음으로, 도 4a는 본 발명과 관련된 HMD(200)와 연결되는 이동 단말기(100)를 설명하기 위한 블록도이다. 그리고, 도 4b 및 4c는 본 발명과 관련된 이동 단말기(100)의 일 예를 서로 다른 방향에서 바라본 개념도이다.
상기 이동 단말기(100)는 무선 통신부(110), 입력부(120), 감지부(140), 출력부(150), 인터페이스부(160), 메모리(170), 제어부(180) 및 전원 공급부(190) 등을 포함할 수 있다. 도 4a에 도시된 구성요소들은 이동 단말기를 구현하는데 있어서 필수적인 것은 아니어서, 본 명세서 상에서 설명되는 이동 단말기는 위에서 열거된 구성요소들 보다 많거나, 또는 적은 구성요소들을 가질 수 있다.
보다 구체적으로, 상기 구성요소들 중 무선 통신부(110)는, 이동 단말기(100)와 무선 통신 시스템 사이, 이동 단말기(100)와 다른 이동 단말기(100) 사이, 또는 이동 단말기(100)와 외부서버 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 또한, 상기 무선 통신부(110)는, 이동 단말기(100)를 하나 이상의 네트워크에 연결하는 하나 이상의 모듈을 포함할 수 있다.
이러한 무선 통신부(110)는, 방송 수신 모듈(111), 이동통신 모듈(112), 무선 인터넷 모듈(113), 근거리 통신 모듈(114), 위치정보 모듈(115) 중 적어도 하나를 포함할 수 있다.
입력부(120)는, 영상 신호 입력을 위한 카메라(121) 또는 영상 입력부, 오디오 신호 입력을 위한 마이크로폰(microphone, 122), 또는 오디오 입력부, 사용자로부터 정보를 입력받기 위한 사용자 입력부(123, 예를 들어, 터치키(touch key), 푸시키(mechanical key) 등)를 포함할 수 있다. 입력부(120)에서 수집한 음성 데이터나 이미지 데이터는 분석되어 사용자의 제어명령으로 처리될 수 있다.
센싱부(140)는 이동 단말기 내 정보, 이동 단말기를 둘러싼 주변 환경 정보 및 사용자 정보 중 적어도 하나를 센싱하기 위한 하나 이상의 센서를 포함할 수 있다. 예를 들어, 센싱부(140)는 근접센서(141, proximity sensor), 조도 센서(142, illumination sensor), 터치 센서(touch sensor), 가속도 센서(acceleration sensor), 자기 센서(magnetic sensor), 중력 센서(G-sensor), 자이로스코프 센서(gyroscope sensor), 모션 센서(motion sensor), RGB 센서, 적외선 센서(IR 센서: infrared sensor), 지문인식 센서(finger scan sensor), 초음파 센서(ultrasonic sensor), 광 센서(optical sensor, 예를 들어, 카메라(121 참조)), 마이크로폰(microphone, 122 참조), 배터리 게이지(battery gauge), 환경 센서(예를 들어, 기압계, 습도계, 온도계, 방사능 감지 센서, 열 감지 센서, 가스 감지 센서 등), 화학 센서(예를 들어, 전자 코, 헬스케어 센서, 생체 인식 센서 등) 중 적어도 하나를 포함할 수 있다. 한편, 본 명세서에 개시된 이동 단말기는, 이러한 센서들 중 적어도 둘 이상의 센서에서 센싱되는 정보들을 조합하여 활용할 수 있다.
출력부(150)는 시각, 청각 또는 촉각 등과 관련된 출력을 발생시키기 위한 것으로, 디스플레이부(151), 음향 출력부(152), 햅팁 모듈(153), 광 출력부(154) 중 적어도 하나를 포함할 수 있다. 디스플레이부(151)는 터치 센서와 상호 레이어 구조를 이루거나 일체형으로 형성됨으로써, 터치 스크린을 구현할 수 있다. 이러한 터치 스크린은, 이동 단말기(100)와 사용자 사이의 입력 인터페이스를 제공하는 사용자 입력부(123)로써 기능함과 동시에, 이동 단말기(100)와 사용자 사이의 출력 인터페이스를 제공할 수 있다.
인터페이스부(160)는 이동 단말기(100)에 연결되는 다양한 종류의 외부 기기와의 통로 역할을 수행한다. 이러한 인터페이스부(160)는, 유/무선 헤드셋 포트(port), 외부 충전기 포트(port), 유/무선 데이터 포트(port), 메모리 카드(memory card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트(port), 오디오 I/O(Input/Output) 포트(port), 비디오 I/O(Input/Output) 포트(port), 이어폰 포트(port) 중 적어도 하나를 포함할 수 있다. 이동 단말기(100)에서는, 상기 인터페이스부(160)에 외부 기기가 연결되는 것에 대응하여, 연결된 외부 기기와 관련된 적절할 제어를 수행할 수 있다.
또한, 메모리(170)는 이동 단말기(100)의 다양한 기능을 지원하는 데이터를 저장한다. 메모리(170)는 이동 단말기(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 이동 단말기(100)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는, 이동 단말기(100)의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 이동 단말기(100)상에 존재할 수 있다. 한편, 응용 프로그램은, 메모리(170)에 저장되고, 이동 단말기(100) 상에 설치되어, 제어부(180)에 의하여 상기 이동 단말기의 동작(또는 기능)을 수행하도록 구동될 수 있다.
제어부(180)는 상기 응용 프로그램과 관련된 동작 외에도, 통상적으로 이동 단말기(100)의 전반적인 동작을 제어한다. 제어부(180)는 위에서 살펴본 구성요소들을 통해 입력 또는 출력되는 신호, 데이터, 정보 등을 처리하거나 메모리(170)에 저장된 응용 프로그램을 구동함으로써, 사용자에게 적절한 정보 또는 기능을 제공 또는 처리할 수 있다.
또한, 제어부(180)는 메모리(170)에 저장된 응용 프로그램을 구동하기 위하여, 도 1a와 함께 살펴본 구성요소들 중 적어도 일부를 제어할 수 있다. 나아가, 제어부(180)는 상기 응용 프로그램의 구동을 위하여, 이동 단말기(100)에 포함된 구성요소들 중 적어도 둘 이상을 서로 조합하여 동작시킬 수 있다.
전원공급부(190)는 제어부(180)의 제어 하에서, 외부의 전원, 내부의 전원을 인가 받아 이동 단말기(100)에 포함된 각 구성요소들에 전원을 공급한다. 이러한 전원공급부(190)는 배터리를 포함하며, 상기 배터리는 내장형 배터리 또는 교체가능한 형태의 배터리가 될 수 있다.
또한, 상기 디스플레이부(151)가 터치 스크린으로 구현된 경우, 상기 디스플레이부(151)와 상호 레이어 구조를 이루거나 일체형으로 형성되는 터치 센서를 구비할 수 있다.
상기 터치 센서는 저항막 방식, 정전용량 방식, 적외선 방식, 초음파 방식, 자기장 방식 등 여러 가지 터치방식 중 적어도 하나를 이용하여 터치 스크린(또는 디스플레이부(151))에 가해지는 터치(또는 터치입력)을 감지한다.
일 예로서, 터치 센서는, 터치 스크린의 특정 부위에 가해진 압력 또는 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 센서는, 터치 스크린 상에 터치를 가하는 터치 대상체가 터치 센서 상에 터치 되는 위치, 면적, 터치 시의 압력, 터치 시의 정전 용량 등을 검출할 수 있도록 구성될 수 있다. 여기에서, 터치 대상체는 상기 터치 센서에 터치를 인가하는 물체로서, 예를 들어, 손가락, 터치펜 또는 스타일러스 펜(Stylus pen), 포인터 등이 될 수 있다.
이와 같이, 터치 센서에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기로 보내진다. 터치 제어기는 그 신호(들)를 처리한 다음 대응하는 데이터를 제어부(180)로 전송한다. 이로써, 제어부(180)는 디스플레이부(151)의 어느 영역이 터치 되었는지 여부 등을 알 수 있게 된다. 여기에서, 터치 제어기는, 제어부(180)와 별도의 구성요소일 수 있고, 제어부(180) 자체일 수 있다.
한편, 제어부(180)는, 터치 스크린(또는 터치 스크린 이외에 구비된 터치키)을 터치하는, 터치 대상체의 종류에 따라 서로 다른 제어를 수행하거나, 동일한 제어를 수행할 수 있다. 터치 대상체의 종류에 따라 서로 다른 제어를 수행할지 또는 동일한 제어를 수행할 지는, 현재 이동 단말기(100)의 동작상태 또는 실행 중인 응용 프로그램에 따라 결정될 수 있다.
한편, 터치센서는 상기 디스플레이부(151)의 활성화 및 비활성화된 상태에서 서로 다른 방식을 이용하여 터치입력을 감지하도록 형성될 수 있다. 이때, 상기 서로 다른 방식은 터치센서의 활성화 주기와 관련될 수 있다. 보다 구체적으로, 상기 터치센서는, 디스플레이부(151)의 활성화 여부에 따라 서로 다른 주기로 활성화될 수 있다. 즉, 터치센서는, 디스플레이부(151)의 활성화 여부에 따라, 서로 다른 활성화 주기를 가지면서, 터치센서에 가해지는 터치입력을 감지할 수 있다.
예를 들어, 디스플레이부(151)가 비활성화된 상태에서는, 터치센서가 기 설정된 특정 주기로 활성화될 수 있다. 이 경우, 상기 특정 주기는, 0보다 큰 시간(time)에 대응되는 주기일 수 있다. 그리고, 디스플레이부(151)가 활성화된 상태에서는, 터치센서가 항상 활성화 상태로 동작될 수 있다. 즉, 이 경우, 터치센서의 활성화 주기는 0 또는, 0에 매우 가까운 정도의 시간을 갖는 주기일 수 있다.
터치센서의 활성화 여부는, 터치센서의 전력 소모량을 이용하여 구분할 수 있다. 예를 들어, 터치센서의 전력 소모량이 0을 기준으로 기 설정된 기준 값 이하이면, 상기 터치센서는 비활성화된 상태에 해당하고, 상기 터치센서의 전력 소모량이 0을 기준으로 상기 기 설정된 기준 값 초과이면, 활성화된 상태라고 말할 수 있다.
디스플레이부(151)가 활성화 상태인 경우(active mode, 이하 '액티브 모드'로 호칭), 상기 터치센서는 계속하여 활성화 상태를 유지하고, 디스플레이부(151)에 대한 터치입력의 인가를 대기할 수 있다. 이와 달리, 디스플레이부(151)가 비활성화 상태인 경우(dose mode, 이하 '도즈 모드'로 호칭), 터치센서는 기 설정된 특정 주기마다 활성화될 수 있다.
한편, 터치센서가 활성화되는 특정 주기가 짧을수록, 디스플레이부(151)를 두드리는 터치입력을 감지하는 속도가 빨라지지만, 그에 따라 터치센서에 의해 소모되는 전력이 커질 수 있다. 이와 달리, 터치센서가 활성화되는 주기가 길수록, 터치센서에 의해 소모되는 전력은 작아지지만, 디스플레이부(151)를 두드리는 터치입력을 감지하는 속도는 느려질 수 있다.
따라서, 특정 주기는 디스플레이부(151)를 두드리는 터치입력을 감지함에 있어 감지 속도가 사용자에게 인식되지 않을 정도로 빠르면서도, 전력 소모의 효율이 증대되도록 설정될 수 있다. 예를 들어, 특정 주기는 터치센서가 비활성화되어 있다가 1초에 20번(1Hz) 정도 활성화되도록 설정될 수 있다.
한편, 디스플레이부(151)가 활성화된 상태 동안에는, 터치센서도 함께 활성화될 수 있으며, 활성화된 상태에서 터치센서의 활성화 주기(T)는 0이거나, 0에 매우 가까울 수 있다. 또는, 상기 터치센서가 활성화된 상태에서, 상기 터치센서의 주기는, 상기 디스플레이부(151)가 비활성화된 상태에서 터치센서가 활성화되도록 설정된 특정 주기보다 몇 배로 짧을 수 있다. 즉, 터치센서는 디스플레이부(151)의 활성화 여부에 따라 서로 다른 주기로 활성화될 수 있다.
한편, 디스플레이부(151)가 비활성화되어 있고, 터치센서가 주기적으로 활성화되는 도즈 모드(doze mode)에서, 터치센서에 의하여 기 설정된 터치입력(예를 들어, 소정의 영역을 기준시간 이내에 연속적으로 두드리는 제1 및 제2 터치입력)이 감지되면, 제어부(180)는 상기 도즈 모드(doze mode)를, 디스플레이부 및 터치센서가 활성화되는 액티브 모드(active mode)로 전환할 수 있다.
뿐만 아니라, 터치센서는 디스플레이부(151)의 상태에 근거하여 서로 다른 주기로 구동될 수 있다. 예를 들어, 디스플레이부(151)가 닫힌 상태에 있는 경우, 도즈 모드를 실행하고, 닫힌 상태에서 열린 상태로 전환되는 경우, 액티브 모드를 실행할 수 있다.
한편, 터치 센서 및 근접 센서는 독립적으로 또는 조합되어, 터치 스크린에 대한 숏(또는 탭) 터치(short touch), 롱 터치(long touch), 멀티 터치(multi touch), 드래그 터치(drag touch), 플리크 터치(flick touch), 핀치-인 터치(pinch-in touch), 핀치-아웃 터치(pinch-out 터치), 스와이프(swype) 터치, 호버링(hovering) 터치 등과 같은, 다양한 방식의 터치를 센싱할 수 있다.
상기 각 구성요소들 중 적어도 일부는, 이하에서 설명되는 다양한 실시 예들에 따른 이동 단말기의 동작, 제어, 또는 제어방법을 구현하기 위하여 서로 협력하여 동작할 수 있다. 또한, 상기 이동 단말기의 동작, 제어, 또는 제어방법은 상기 메모리(170)에 저장된 적어도 하나의 응용 프로그램의 구동에 의하여 이동 단말기 상에서 구현될 수 있다.
다음으로, 도 5a 및 도 5b는 본 발명과 관련된 가상 공간을 설명하기 위한 개념도이다.
본 발명과 관련된 가상 공간(500)(또는, 가상 공간 이미지)은, 전술한 바와 같이 HMD(200)를 착용한 사용자를 기준으로 전방위(예를 들어, 360도)로 형성된 3D 영상을 의미할 수 있다. 또한, 상기 가상 공간(500)은, HMD(200)를 착용한 사용자가 특정 공간(또는, 가상 공간)에 존재한다고 인식할 수 있도록 랜더링된 입체 공간 이미지(또는, 입체 영상, 3D 영상)을 의미할 수 있다. 또한, 가상 공간 컨텐츠는 이러한 3D 영상 또는 입체 공간 이미지로 형성되는 컨텐츠로, 예를 들어 웹 브라우저, 동영상 재생, 일정 관리, 콜(call), 게임, 음악, 문서작업, 메시지, 금융, 전자책(e-book), 교통정보, 애플리케이션의 업데이트의 기능을 수행하는 프로그램 등이 3D 영상 또는 입체 공간 이미지로 형성되는 것을 의미할 수 있다.
이동 단말기(100)로부터 가상 공간 컨텐츠가 수신되면, 도 5a와 같이 HMD(200)의 디스플레이부(251)에 가상 공간 컨텐츠(500)의 일 영역(예를 들어, 제1 영역(A))이 출력될 수 있다. 이를 위해, HMD(200)의 제어부(280)는 가상 공간 컨텐츠의 전송 요청을 이동 단말기(100)로 전송할 수 있다.
여기서, 제1 영역은, 가상 공간 컨텐츠가 HMD(200)의 디스플레이부(251)에 출력되는 경우, 디폴트(default)로 출력되는 디폴트 영역이거나, 상기 가상 공간에 포함된 객체들 중 특정 객체를 포함하는 영역 또는 사용자에 의해 설정된 특정 영역일 수 있다. 또한, 상기 특정 객체는, 가상 공간에 포함된 적어도 하나의 그래픽 객체들 중 사용자에 의해 설정된(또는 디폴트로 설정된) 객체일 수 있다. 또한, 가상 공간 컨텐츠가 HMD(200)에서 이전에 출력되었다가 다시 HMD(200)의 디스플레이부(251)에 출력되는 경우에는, 상기 제1 영역은, HMD(200)에서 이전에 출력되었던 가상 공간의 종료 시점에 디스플레이된 일 영역일 수도 있다.
한편, HMD(200)의 디스플레이부(251)에 출력된 가상 공간 컨텐츠의 일 영역(A)은, HMD(200)를 착용한 사용자의 움직임 또는 그에 따른 HMD(200)의 움직임에 근거하여 변경될 수 있다. 이를 위해, HMD(200)의 센싱부(240)는, HMD(200)를 착용한 사용자의 헤드 제스처가 있으면, 그러한 움직임(움직임 정도 및 방향을 포함함)을 감지할 수 있다. 또한, 상기 움직임은, HMD(200)의 디스플레이부(251)에 가상 공간 컨텐츠의 일 영역(A)이 출력된 상태에서 수행될 수 있다. 또한, 여기서 상기 움직임은, HMD(200)를 착용한 사용자의 헤드의 이동, 회전 또는 이들의 조합이나 그에 따른 HMD(200)의 이동, 회전 또는 이들의 조합을 모두 포함하는 개념으로 이해되어야 한다.
이후, 상기 센싱부(240)(또는, HMD의 제어부(280))는, 상기 움직임과 관련된 정보를 HMD(200)의 제어부(280)(또는, 이동 단말기(100)의 제어부(180))로 전달한다. 그러면, 제어부(280)(또는, 제어부(180))는 전달받은 움직임과 관련된 정보에 근거하여, 상기 디스플레이된 일 영역(A)과 다른 영역(B)이 출력되도록 HMD(200)의 디스플레이부(251)를 제어할 수 있다.
예를 들어, 도 5b에 도시된 것과 같이, 가상 공간(A)의 일 영역(A)이 디스플레이부(251)에 출력중인 상태에서, 사용자의 헤드 제스처에 따라 HMD 본체(200)가 움직여지면(또는, 회전하면), 이동 단말기(100)의 제어부(180)는, 도 5b에 도시된 것과 같이, 상기 움직임에 근거하여, 상기 가상 공간(500) 중 상기 일 영역(A)과 다른 영역(B)을 상기 HMD의 디스플레이부(251)에 디스플레이할 수 있다.
이러한 구성을 통해, 본 발명에서는 HMD(200)를 사용하는 이용자가 가상 공간에서 실제로 움직이는 듯한 느낌을 받도록 하는 사용자 인터페이스를 제공할 수 있다.
또한, 이상에서 살펴본 구성 요소 중 적어도 하나 이상을 포함하여 이루어지는 HMD(200)는 연결된 이동 단말기(100) 유선/무선 통신을 수행하기 위한 통신부(인터페이스부(260) 또는 무선 통신부)를 포함하며, 통신부(210)를 통해 이동 단말기(100)로부터 수신된 가상 공간 컨텐츠의 제1영역을 디스플레이부(251)에 디스플레이할 수 있다.
이때, 디스플레이된 제1영역에 명령 입력영역이 표시되면, HMD(200)의 제어부(280)는 명령입력영역에 대한 명령을 생성하기 위한 이미지객체를 제1영역에 표시하고, 이미지객체가 사용자의 헤드 제스처를 따라 움직이도록 제어할 수 있다.
여기서, 상기 명령입력영역은 하나 이상의 입력 요소(input component) 포함하고, 하나 이상의 입력 요소를 통해 제어명령이나 문자의 입력 또는 기능의 선택이 가능한 영역을 의미한다. 예를 들어, 명령입력영역으로, 소프트 키, 메뉴 키, 키패드, 터치 키보드, 선택창, 제어메뉴를 포함하는 작업 창 등이 포함될 수 있다.
또한, 여기서 이미지객체는 HMD(200)의 센싱부(240)를 통해 감지되는 사용자의 헤드 제스처 또는 그에 따른 HMD(200) 본체의 움직임 방향 및 움직임 정도에 대응되게 움직이는 점, 커서, 화살표, 프롬프트, 기타 기설정된 형상의 이미지를 의미할 수 있다. 이를 위해, 제어부(280)(또는 이동 단말기(100)의 제어부(180))는 센싱부(240)를 통해 감지된 움직임 방향 및 움직임 정도를 실시간으로 이미지객체에 적용하여 표시할 수 있다. 또한, 일 예에서는, 카메라(221)를 통해 추적되는 사용자 시선의 방향 및 이동 정도를 실시간으로 이미지객체에 적용하여 표시할 수도 있다.
이와 같이, 상기 이미지객체는 사용자의 헤드 제스처나 그에 따른 본체의 움직임 또는 사용자의 시선의 변화에 대응되는 신호를 따라 표시되므로, 이하에서는 이러한 이미지객체를 통칭하여 '포인터'로 명명하겠다.
한편, 디스플레이부(251)에서 명령입력영역이 사라지면, 제어부(280)는 가상 공간 컨텐츠의 제1영역은 사용자의 헤드 제스처에 대응되는 제2영역으로 전환하면서 이미지객체(또는 포인터)는 제1영역에 고정시킬 수 있다.
여기서, 이미지객체가 제1영역에 고정된다는 것은, 사용자의 헤드 제스처나 그에 따른 본체의 움직임 또는 사용자의 시선의 변화에 감지되더라도 이미지객체가 움직임 없이 특정 위치에 표시되는 것을 의미할 수 있다.
또는, 이미지객체가 제1영역에 고정된다는 것은, 이미지객체가 사용자의 헤드 제스처나 그에 따른 본체의 움직임 또는 사용자의 시선의 변화를 따라 움직이지 않고 사라지는 것을 의미할 수도 있다. 또는, 이미지객체가 제1영역에 고정된다는 것은, 이미지객체가 다시 디스플레이될 때, 사라지기 전에 표시되었던 위치에 다시 나타나는 것을 의미할 수도 있다.
또한, 이미지객체가 제1영역에 고정된다는 것은, 제1영역이 제2영역으로 전환됨에 따라 디스플레이부(251)에 더 이상 제1영역이 디스플레이되지 않더라도, 제어부(280)가 이미지객체가 고정된 제1영역의 위치와 제1영역에서 이미지객체의 위치를 기억할 수 있음을 의미한다.
이와 같이, 디스플레이부(251)에 제2영역이 디스플레이된 상태에서 기설정된 조건을 만족하면, 예를 들어 정해진 입력이 수신되거나 디스플레이부(251)에 하나 이상의 입력 요소가 나타나게 되면, 상기 제어부(280)는 이미지객체가 고정된 제1영역에 대한 제어명령을 생성할 수 있다. 즉, 사용자가 현재 디스플레이부(251)에 디스플레이되는 화면영역을 계속 보면서 그리고 헤드를 움직이지 않고서, 보이지 않은 특정 영역에 대한 제어가 가능해진다.
이하, 도 6은 본 발명과 관련된 HMD의 동작방법의 대표적인 실시 예를 보여주는 개념도들이다.
먼저, HMD(200)의 디스플레이부(251)에 이동 단말기(100)로부터 수신된 가상 공간 컨텐츠의 프론트 뷰(Front Of View, FOV)로, 제1영역(A)이 디스플레이될 수 있다. 이때, 제1영역(A)에 적어도 하나의 입력 요소(input component)를 제어하기 위해, 사용자의 헤드 움직임이나 그에 따른 HMD(200) 본체의 움직임 또는 사용자의 시선 움직임에 따라 움직이는 이미지객체, 즉 포인터(601")가 표시될 수 있다.
이러한 상태에서, 사용자의 헤드 제스처를 따라 가상 공간 컨텐츠의 다른 영역, 예를 들어 제2영역(B)이 나타남에 따라, 디스플레이부(251)에서 입력 요소가 사라지면, 포인터(601")는 제1영역(A)에 계속 고정된다. 보다 구체적으로는, 상기 포인터(601")는 제1영역(A)의 입력 요소의 일 지점에 고정될 수 있다. 그에 따라, 도 6과 같이, 디스플레이부(251)에 디스플레이된 제2영역(B)에는 포인터가 표시되지 않을 수 있다. 그리고, 계속해서 사용자의 헤드 움직임의 방향을 좇아 가상 공간 컨텐츠의 제3영역(C)이 디스플레이될 수 있다.
이러한 상태에서, 기설정된 조건을 만족하는 입력신호로, 예를 들어 HMD(200)와 연결된 이동 단말기(100)의 터치 스크린(151)에 가해진 기설정된 터치 제스처에 대응하는 무선신호가 수신되면, 포인터가 고정된 제1영역(A)의 일부분이 디스플레이부(251)에 나타날 수 있다. 여기서, 기설정된 터치 제스처는 예를 들어 터치 스크린(251)의 가장자리에 가해진 터치입력이 가장자리의 안쪽으로 드래그되는 터치 제스처일 수 있다.
그에 따라, 도 6과 같이, 제3영역(C)의 디스플레이 상태를 유지하면서 포인터가 고정된 제1영역(A)의 적어도 일부분이 제3영역(C)에 PIP 형태로 디스플레이될 수 있다(620). 이때, 비록 도시되지는 않았지만, PIP 형태로 디스플레이된 제1영역(A)의 일부분(620)에는 포인터 또는 변형된 포인터 이미지가 함께 표시될 수 있다. 그에 따라, 해당 영역(620)내에서의 화면 제어가 이루어질 수 있도록 구현 가능하다.
이에 의하면, 사용자가 헤드를 움직일 필요 없이, 가상 현실 컨텐츠의 다른 영역, 구체적으로는 포인터가 가리키고 있던 이전 영역을 현재 화면에서 바로 확인할 수 있다. 즉, 사용자가 보이지 않는 영역을 현재 위치에서 제어할 수 있는 편의를 제공한다
다음, 도 7은 본 발명과 관련된 HMD의 동작방법을 설명하기 위한 대표 흐름도이다.
먼저, HMD(200)의 디스플레이부(251)에 가상 공간 컨텐츠의 제1영역이 디스플레이되는 단계가 개시된다(S10). 여기서, 가상 공간 컨텐츠의 종류에는 아무런 제한이 없으며, 예를 들어 홈 스크린(home screen), 웹 브라우저, 동영상 재생, 일정 관리, 콜(call), 게임, 음악, 문서작업, 메시지, 금융, 전자책(e-book), 교통정보, 애플리케이션의 업데이트의 기능을 수행하는 프로그램 등과 관련된 프로그램 등이 3D 공간 또는 입체 공간 이미지로 이루어진 컨텐츠가 모두 포함될 수 있다.
또한, 가상 공간 컨텐츠의 컨텐츠는 이동 단말기(100)로부터 수신된 것이거나 HMD(200)에 저장된 것이거나, 또는 HMD(200)와 접속한 외부 서버(미도시)로부터 수신된 것일 수 있다.
디스플레이된 제1영역에 명령입력영역이 표시되면, 명령입력영역에 대한 명령을 생성하기 위한 이미지객체, 즉 포인터를 제1영역에 표시하고 포인터가 사용자의 헤드 제스처(또는 HMD(200)본체의 움직임이나 사용자의 시선)를 따라 움직이도록 제어한다(S20). 여기서, 명령입력영역은 전술한 바와 같이 하나 이상의 입력 요소(input component) 포함하며, 입력 요소를 통해 제어명령이나 문자의 입력 또는 기능의 선택이 가능한 영역을 의미한다. 예를 들어, 명령입력영역으로, 소프트 키, 메뉴 키, 키패드, 터치 키보드, 선택창, 제어메뉴를 포함하는 작업 창 등이 포함될 수 있다. 이러한 경우, 포인터를 이용하여 입력 요소가 포인팅되면, 해당 입력 요소에 대응되는 제어명령이 생성된다.
이후, 상기 명령입력영역이 사라지면, HMD(200)의 제어부(280)는 상기 가상 공간 컨텐츠의 제1영역이 사용자의 헤드 제스처에 대응되는 제2영역으로 전환되는 동안 상기 이미지객체는 제1영역에 고정되도록 제어한다(S30).
여기서, 제2영역은 사용자의 헤드 제스처에 대응되는 움직임 정보를 기초로 결정된, 가상 공간 컨텐츠의 다른 영역을 의미한다. 또한, 움직임 정보는 헤드 제스처가 움직임 방향, 움직임 정도, 및 이동 속도를 포함할 수 있다. 이러한 움직임은 센싱부(240)(또는 이동 단말기(100)의 센싱부(140))를 통해 감지될 수 있다. 또한, 상기 움직임은, HMD(200)의 디스플레이부(251)에 제2영역을 디스플레이하는 기능과 연관된 움직임으로, 다양한 방식의 움직임을 포함할 수 있다. 예를 들어, 상기 다양한 방식의 움직임은, 단말기 본체가 일정 거리만큼 움직여졌다가 되돌아오는 움직임, 기 설정된 횟수만큼 흔들리는 움직임, 단말기의 본체가 특정 각도만큼 회전하는 움직임(예를 들어, 뒤집는 움직임), 단말기 본체가 일정 각도만큼 회전했다가 되돌아오는 움직임, 특정 방향으로 이동하는 움직임 등을 모두 포함할 수 있다. 또한, 다른 실시 예에서는 사용자의 헤드 움직임 또는 HMD(200) 본체의 움직임 대신에 카메라(221)를 통해 사용자의 시선에 대응하는 움직임을 사용할 수 있다. 이러한 경우, 전술한 포인터가 사용자의 시선을 따라 움직이도록 제어할 수 있다.
다음, 제어부(280)는 디스플레이부(251)에 제2영역이 디스플레이된 상태에서 기설정된 조건이 만족되는지를 판단하고(S40), 판단 결과에 따라 이미지객체가 고정된 제1영역, 즉 보이지 않는 영역에 대한 제어명령을 생성할 수 있다(S50).
여기서, 보이지 않는 영역에 대한 제어명령은 기설정된 조건에 따라 다양하게 이루어질 수 있다. 예를 들어, 상기 제어명령은 포인터가 고정된 영역을 현재 화면에 디스플레이하는 제어명령이거나, 포인터만 현재 화면에 가져오는 제어명령이거나, 현재 화면과 관련된 제어명령이거나, 또는 포인터가 고정된 영역에서 특정 작업을 실행, 처리, 종료하는 제어명령 중 어느 하나일 수 있다. 이와 같은 제어명령의 생성 및 실행 결과에 관한 구체적인 실시 예는, 도면들을 참조하여 이하에서 보다 구체적으로 설명하기로 한다.
도 8은, 도 7의 단계 S20과 관련하여, 보이지 않는 영역에 고정된 포인터가 현재 디스플레이된 화면에 다시 표시되는 예시 조건을 보여주고 있다.
HMD(200)의 디스플레이부(251)에 디스플레이된 가상 공간 컨텐츠의 제1영역(A)이 사용자의 헤드 제스처에 따라 제2영역(B)으로 전환되고, 제2영역(B)에 명령입력영역이 존재하지 않으면, 포인터(801)가 사용자의 헤드 제스처를 따라오지 않고 제1영역(A)의 명령입력영역(821)에 고정된다. 그에 따라, 사용자는 포인터 움직임에 따른 방해 없이 제2영역(B)에 대응하는 컨텐츠를 감상할 수 있다.
계속해서, 사용자의 헤드 제스처에 따라 가상 공간 컨텐츠의 제2영역(B)이 또 다른 명령입력영역을 포함하는 제3영역(C)으로 전환된 경우, 1영역(A)의 명령입력영역(821)에 고정되었던 포인터(801)가 분리되어 제2영역(B)에 포함된 명령입력영역(822)에 표시될 수 있다.
즉, 사용자의 헤드 제스처에 따라 나타난 가상 공간의 다른 영역에 입력 컴포넌트(input component)가 나타나면, 이전 영역에 두고 온 포인터가 현재 디스플레이된 영역으로 이동되어 표시된다. 이에 의하면, 포인터를 사용하여 현재 화면영역에 나타난 입력 컴포넌트를 바로 포인팅 및 제어할 수 있는 장점이 있다.
다음, 도 9a에 도시된 바와 같이, 디스플레이부(251)에 디스플레이된 제2영역(901)의 명령입력영역(911)에 포인터(900)가 디스플레이된 상태에서, 연결된 이동 단말기(100)의 터치 스크린(151)에 가해진 제1터치입력에 대응되는 제1신호가 수신되면, 제어부(280)(또는 제어부(180))는 명령입력영역(911)에 표시된 포인터를 바로 다음 명령입력영역으로 이동시킬 수 있다. 여기서, 상기 제1터치입력은 예를 들어, 이동 단말기(100)의 터치 스크린(151)의 일 지점에 가해진 복수의 탭(taps) 일 수 있다.
그 결과, 제2영역(901)내의 다음 명령입력영역(912)의 일 지점, 예를 들어 다음 명령입력영역(912)의 중앙에 상기 포인터(900)가 디스플레이된다.
여기서, 다음 명령입력영역은 도 9a와 같이 상기 제2영역내에 위치한 또 다른 입력 컴포넌트를 의미할 수도 있고, 또는 도시되지는 않았지만 가상 공간 컨텐츠의 다른 영역에 위치한 입력 컴포넌트일 수도 있다.
후자의 경우에는, 디스플레이부(250)에 디스플레이된 제2영역(901)이 다른 영역으로 전환될 수 있다.
구체적으로, 제어부(280)(또는, 제어부(180))는 전술한 터치 스크린(151)에 복수의 탭이 가해짐에 따라 포인터(또는 변형된 포인터)가 다음 명령입력영역으로 이동된 것에 응답하여, 디스플레이부(251)에 디스플레이된 제2영역이 포인터 가리키는 다음 명령입력영역을 포함하는 다른 영역으로 전환시킬 수 있다.
예를 들어, 도 9c에서, 다음 명령입력영역이 이전에 디스플레이되었던 제1영역(A)에 존재하는 경우, 디스플레이부(251)에 디스플레이된 현재 화면 영역(C)이, 사용자의 헤드 움직임 없이 이전에 디스플레이되었던 제1영역(A)으로 전환된다. 즉, 포인터를 이용하여 보이지 않는 영역의 표시가 제어될 수 있다. 일 예로, 제1영역(A)에 팝업된 음원 재생 작업 창('a')에 포인터가 고정된 상태에서, 사용자가 헤드를 움직여서 다른 영역(C)에 팝업된 작업 창('b')을 제어하다가, 이동 단말기(100)의 터치 스크린(151)에 탭(taps)이 가해지면, 현재 화면영역(C)이 음원 재생 작업 창('a')이 표시된 제1영역(A)으로 바로 전환될 수 있다. 이와 같이 화면 영역이 전환되면, 작업 창('b')에 표시되었던 포인터는 음원 재생 작업 창('a')의 일 지점에 나타난다.
또한, 비록 도시되지는 않았지만, 터치 스크린(151)에 탭(taps)이 가해짐에 따라 현재 화면영역이 다음 명령입력영역을 포함하는 화면영역으로 전환될 때, 화면영역들이 'C', 'D', 'A' 또는 'C', 'B', 'A' 순서대로 나타날 수 있다. 이는, 마치 사용자가 헤드를 움직인 것과 같은 효과를 제공한다.
또한, 비록 도시되지는 않았지만 이와 같이 포인터가 명령입력영역 단위(또는 동일 명령입력영역내의 입력 컴포넌트 단위)로 점프하는 경우, 포인터의 형상이 변형될 수 있다. 예를 들어, 다음 명령입력영역(912)에 포커싱 효과 등의 선택 표시로 변형될 수 있다.
한편, 이와 같이 원하는 명령입력영역 또는 명령입력영역내의 특정 입력 컴포넌트에 실제 입력을 수행하기 위해서, 해당 영역에서 포인터의 위치를 보다 세부적으로 제어할 수 있어야 한다.
예를 들어, 도 9b와 같이 포인터를 이용하여 명령을 입력하려는 명령입력영역(912)이 선택된 상태에서, 이동 단말기(100)의 터치 스크린(151)에 가해지는 기준압력을 초과하는 드래그 터치입력에 대응되는 신호가 수신되면, 제어부(280)는 그러한 드래그 터치입력의 이동 경로를 따라 선택된 명령입력영역내에서 포인터를 이동시킬 수 있다. 예를 들어, 도 9b와 같이 이동 단말기(100)의 터치 스크린(151)에서의 드래그된 경로를 따라 포인터가 움직이면서 특정 위치로 이동할 수 있다. 이후, 터치 스크린(151)에 가해진 드래그 터치입력의 터치 정도를 가변하여 특정 입력 컴포넌트를 선택 및 제어할 수 있다. 예를 들어, 명령입력영역(912)에서 특정 기능을 실행하거나 프로그래스 바 등을 조절할 수 있다.
이상의 실시 예에 의하면, 가상 공간 컨텐츠의 명령입력영역 단위로 포인터가 이동하도록 제어함으로써, 사용자가 헤드를 움직이지 않고도 가상 공간 컨텐츠의 특정 영역에 빠르게 접근할 수 있다.
한편, 이와 같이 포인터가 현재 화면영역을 벗어나서 가상 공간의 보이지 않는 다른 영역에 고정된 경우, 포인터만 분리하여서 호출할 수 있다. 그러한 예가 도 10에 도시되었다.
도 10에서, 포인터(1000)가 가상 공간 컨텐츠의 제1영역(1001)에 고정되고 사용자는 가상 공간 컨텐츠의 제2영역(1002)을 바라보는 경우, 연결된 이동 단말기(100)의 터치 스크린(151)에 가해지는 기설정된 터치 제스처, 예를 들어 터치 스크린(151)의 임의의 두 지점에 가해지는 복수의 탭들에 대응되는 무선신호가 통신부를 통해 수신되면, 제어부(280)는 보이지 않는 영역에 표시되었던 포인터를 현재 화면 영역(1002)의 일 지점에 표시해줄 수 있다. 이때, 상기 일 지점은 예를 들어 현재 화면 영역(1002)의 중앙 또는 특정 객체가 위치한 지점일 수 있다. 이에 의하면, 사용자의 시야 밖에 위치한 포인터를 시야 내로 빠르게 가져와서 현재 화면을 제어할 수 있다.
한편, 비록 도시되지는 않았지만, 포인터가 현재 화면 영역(1002)에 표시된 상태에서, 다시 이동 단말기(100)의 터치 스크린(151)의 임의의 두 지점에 가해지는 복수의 탭들에 대응되는 무선신호가 통신부를 통해 수신되면, 포인터가 시야 밖에 위치한 이전 영역(1001)으로 다시 돌아간다. 이를 위해, 제어부(280)(또는, 제어부(180))는 시야 밖에 위치한 포인터를 현재 화면 영역으로 호출할 때, 이전 위치에 대한 좌표를 임시 저장해둘 수 있다.
이하, 도 11a 및 도 11b는, 포인터가 고정된 시야 밖의 영역을 제어하기 위해, 포인터가 고정된 위치를 현재 화면에 표시해주는 방법의 예시들을 보여주고 있다.
도 11a는 현재 화면 영역의 일 지점에 포인터의 위치 정보를 현재 화면 영역의 위치와 관련시켜서 표시한 예시이다.
구체적으로, 포인터가 가상 공간 컨텐츠의 제1영역에 고정되고 디스플레이부(251)에는 가상 공간 컨텐츠의 제2영역이 디스플레이되어 포인터가 시야를 벗어난 경우, 상기 제어부(280)는 포인터의 상대 위치를 알려주는 알림 정보를 디스플레이된 제2영역에 표시해줄 수 있다. 도 11a에서는 그러한 알림 정보의 예로, 360도 가상 공간을 4분할하여 나타낸 특정 이미지(1120)에서, 현재 화면 영역(A)(1001)의 위치(1021)와 이를 기준으로 포인터가 고정된 영역의 상대 위치(1022)가 서로 다른 그래픽 객체로 표시된 것을 확인할 수 있다. 이에 의하면, 포인터가 고정된 영역의 위치(1022)가 현재 화면 영역으로부터 우측 90도 방향에 위치하고 있음을 알 수 있다. 한편, 도시된 특정 이미지(1120) 대신 포인터가 고정된 영역의 상대 위치를 알려주는 다른 이미지, 예를 들어 화살표 이미지 등으로 표현될 수도 있다.
이러한 상태에서, 사용자의 헤드 제스처를 따라 현재 화면 영역(A)이 가상 공간 컨텐츠의 또 다른 영역으로 전환되면, 포인터의 변경된 상대 위치가 알림 정보에 반영된다. 예를 들어, 도 11a에서 사용자가 좌측 90도 방향으로 헤드를 움직인 경우, 포인터가 고정된 영역의 상대 위치(1022)가 아래 칸으로 이동되어 표시된다. 이에 의하면, 현재 디스플레이된 화면영역에서 포인터가 고정된 위치를 시각적으로 직관할 수 있어서, 보이지 않는 영역 중에서 어떤 영역이 제어될지를 인지할 수 있다.
또한, 비록 도시되지는 않았지만, 포인터가 고정된 영역에서 특정 이벤트가 발생한 경우, 사용자의 확인을 유도하기 위해 도 11a에서 특정 이미지(1120)에서 포인터가 고정된 영역의 상대 위치(1022)에 기설정된 효과, 예를 들어 깜빡임 효과 또는 하이라이팅 효과를 제공할 수 있다.
또한, 일 실시 예에서는, 상기 제어부(280)는 화면 가림을 최소화하도록, 기설정된 트리거 신호가 수신된 경우에 한하여, 포인터의 현재 위치를 알려주는 알림 정보가 표시되도록 제어할 수 있다.
또 다른 예로, 도 11b는 포인터의 현재 위치를 제공하지 않고, 이동 단말기(100)의 터치 스크린(151)을 이용하여, 현재 화면 영역의 특정 위치에 포인터를 표시해주는 예시이다.
이를 위해, 여기서는 디스플레이부(251)에 디스플레이된 화면 영역(A)의 좌표들과 이동 단말기(100)의 터치 스크린(151)의 좌표들이 대응되게 매칭된 것으로 전제한다. 이때, HMD(100)를 착용한 사용자가 터치 스크린(151)의 어느 지점을 터치하였는지 알기 어려우므로, 제어부(251)는 터치 스크린(151)에 가해진 처음의 터치에 대한 제어명령의 생성을 생성하지 않고, 처음의 터치에 매칭되는 디스플레이된 화면 영역(A)의 위치만을 변형된 포인터(1130)로 표시해줄 수 있다. 그러한 예로, 도 11b와 같이, 디스플레이된 화면 영역(A)에서 터치 스크린(151)에 가해진 처음의 터치지점에 매칭되는 지점 또는 영역에 변형된 포인터의 예로 블러 효과(blur)가 나타날 수 있다. 이후, 연속하는 터치입력이 터치 스크린(151)에 가해지면, 상기 제어부(280)는 디스플레이된 화면 영역(A)에서 매칭되는 지점에 대한 제어명령을 생성할 수 있다.
또한, 변형된 포인터(1130)는 터치 스크린(151)에 가해진 터치입력이 드래그된 경로를 따라 이동될 수 있고, 터치 스크린(151)에 가해진 터치입력이 해제되면, 디스플레이된 화면 영역(A)에서 사라질 수 있다.
한편, 이하의 도 12a, 도 12b, 도 13a, 도 13b, 도 14a, 도 14b에서는 전술한 도 7의 단계 S40 및 S50과 관련하여, 현재 화면영역의 디스플레이 상태를 유지하면서, 디스플레이부(251)에는 보이지 않는 포인터가 고정된 영역에 대한 제어명령을 생성하는 다양한 실시 예들을 구체적으로 설명하겠다.
먼저, 도 12a, 도 12b는 사용자가 시야 밖의 영역을 제어하기 위해, 현재 화면영역에 포인터가 고정된 영역의 일부분을 디스플레이하는 방법의 예시를 보여주고 있다.
구체적으로, 가상 공간 컨텐츠의 제1영역에 포인터가 고정되고, 사용자의 헤드 제스처를 따라 제1영역이 제2영역으로 전환된 상태에서, 이동 단말기(100)의 터치 스크린(151)에 가해진 기설정된 드래그 터치입력에 대응되는 무선신호가 수신되면, HMD(200)의 제어부(280)는 포인터가 고정된 제1영역의 일부분을 현재 디스플레이된 제2영역에 표시해줄 수 있다.
여기서, 상기 기설정된 드래그 터치입력은 예를 들어, 터치 스크린(151)의 가장자리에서 시작된 터치지점의 터치입력이 터치 스크린(151)의 중앙쪽으로 드래그되는 입력일 수 있다. 또한, 제1영역의 일부분은 제1영역에서 포인터가 고정된 위치의 주변영역일 수 있다.
또한, 제어부(280)는 터치 스크린(151)에 가해진 드래그 터치입력의 유지되는 것을 조건으로 제1영역의 일부가 나타나도록 제한할 수 있다. 이러한 경우, 터치 스크린(151)에 가해진 드래그 터치입력이 해제되면, 제2영역의 일 지점에 나타난 제1영역의 일부분이 소정 시간이 지남에 따라 크기가 점진적으로 감소되거나 투명해지면서 제2영역에서 사라질 수 있다.
또한, 포인터가 고정된 제1영역의 일부분은 도 12a에 도시된 바와 같이, 상기 디스플레이된 화면 영역의 정해진 영역, 예를 들어 우측 상단에 PIP 이미지(1221a, 1221b)로 나타날 수 있다. 이러한 PIP 이미지(1221a, 1221b)는 소정 시간 내에 입력이 없으면, 디스플레이부(251)에서 사라진다.
또한, PIP이미지는 터치 스크린(151)에 가해진 드래그 터치입력의 터치 정도가 가변됨에 따라 크기가 가변될 수 있다. 예를 들어, 터치 스크린(151)에 가해진 드래그 터치입력의 터치 정도가 증가함에 따라, 도 12b에 도시된 같이 PIP이미지의 크기가 증가할 수 있다(1221c). 반면, 터치 스크린(151)에 가해진 드래그 터치입력의 터치 정도가 감소되면, PIP 이미지의 크기고 감소된다.
이후, 소정 시간 내에 기준압력을 초과하는 드래그 터치입력이 터치 스크린(151)이 연속하여 가해지면, 도 12b와 같이, 드래그 터치입력이 드래그된 경로를 따라 움직이는 포인터(1200)가 PIP 이미지내에 표시될 수 있다. 그에 따라, 사용자는 시야 밖에 위치한 영역을 현재 화면내에서 확인하면서 세밀한 제어을 수행할 수 있다.
또한, 제어부(251)는, 현재 디스플레이된 화면 영역내에, 제1영역의 일부가 PIP 이미지로 나타난 상태에서 화면전환 신호, 예를 들어 특정 키에 대한 입력신호가 수신된 것에 응답하여, 디스플레이된 제2영역을 PIP 형태로 디스플레이하고, 포인터와 포인터가 고정된 제1영역 전체가 디스플레이부(251)의 전면에 나타나도록 제어할 수 있다. 즉, 도 12a와 같이, 현재 디스플레이된 영역(A)(1211a)이 PIP 이미지로 전환되고(1221b), PIP 이미지로 표시되었던 이전 영역(B)(1221a)이 디스플레이부(251)의 전면에 디스플레이된다. 이때, PIP 이미지내에 표시되었던 포인터(1200)도 디스플레이부(251)의 전면으로 이동된다(1200"). 이와 같이, 보이지 않는 영역(B)에 대한 세밀한 제어를 위해 PIP 이미지와 현재 디스플레이된 화면영역이 전환되는 경우, 기설정된 피드백 신호로 진동, 소림음 등이 출력될 수 있다.
한편, 보이지 않는 영역(B)에 대한 제어가 종료되면, 디스플레이부(251)의 전면에는 다시 이전에 디스플레이되었던 화면 영역(A)만 남겨질 수 있다.
이상에서 살펴본 바와 같이, 본 발명에서는 사용자가 가상 공간 컨텐츠의 일 영역을 계속 보면서 포인터가 고정된 시야 밖의 영역을 제어할 수 있도록, 시야 밖의 이미지가 PIP 이미지로 일시적으로 표시될 수 있다. 이에, 사용자는 시야 밖의 영역을 제어하기 위해 헤드를 움직일 필요가 없고, 현재 화면 영역을 계속 보면서 시야 밖에 있는 다른 영역을 포인터로 제어할 수 있다.
다음으로, 도 13a 및 도 13b는 이동 단말기(100)의 터치 스크린(151)에 대한 터치입력을 이용하여 포인터가 고정된 영역에 대한 제어명령이 생성되는 예시이다. 구체적으로, 도 13a는 터치 스크린(151)에 대한 터치입력을 기초로 포인터가 고정된 영역을 가상 공간 컨텐츠의 전공간 모드로 사용한 예시이고, 도 13b는 터치 스크린(151)에 대한 터치입력을 기초로, 포인터가 고정된 영역을 재설정하는 방법의 예시를 보여주고 있다. .
먼저, 도 13a에서, HMD(200)의 디스플레이부(251)에 가상 공간 컨텐츠의 제2영역(B)이 디스플레이되고 포인터가 시야 밖의 제1영역(A)에 고정된 상태에서, 기설정된 입력(예, 특정 키에 대한 입력, 기설정된 음성명령이나 제스처 입력)이 가해지면, 제2영역(B)의 디스플레이를 유지하면서 포인터가 고정된 제1영역(A)에서 전공간 모드가 실행될 수 있다. 이와 같이 전공간 모드가 실행되면, 예를 들어, 도 13a와 같이 포인터가 고정된 영역(A)(1301)에는 가상 공간 컨텐츠의 복수의 시야각들에 대응되는 복수의 구획된 영역들(1311, 1312, 1313, 1314)이 나타난다. 그리고, 복수의 구획된 영역들(1311, 1312, 1313, 1314) 각각은 터치 스크린(151)의 복수의 가상 영역들에 매칭된다.
한편, 이러한 전공간 모드의 실행화면은, 디스플레이부(251)의 현재 화면 영역(B)에는 표시되지 않고, 사용자가 포인터가 고정된 영역을 향해 헤드를 움직인 경우에 한하여 나타난다. 다음, 제어부(280)는 터치 스크린(151)에 가해진 터치입력의 터치지점에 대응하는 터치영역을 복수의 구획된 영역들(1311, 1312, 1313, 1314) 중 어느 하나와 매칭시켜서, 현재 디스플레이된 화면 영역을 매칭되는 터치 영역에 대응되는 화면영역('D')으로 전환한다. 즉, 전공간 모드의 실행화면의 출력은 제한되지만, 이후에 수신되는 입력이 전공간 모드의 실행화면에 대한 제어명령의 입력으로 처리된다. 그에 따라, 도 13a와 같이 사용자가 헤드를 전혀 움직이지 않고도, 포인터가 고정된 시야 밖의 영역을 이용하여 가상 컨텐츠의 다른 영역으로 빠르게 이동할 수 있다.
또한, 제어부(280)는 가상 공간 컨텐츠에서 현재 디스플레이부(251)에 디스플레이된 화면영역('D')의 위치를 알려주는 정보를 현재 화면영역('D')의 일 지점에 표시해줄 수 있다.
다른 실시 예로, 터치 스크린(151)에 가해진 드래그 터치입력의 방향에 대응되게 포인터가 고정된 영역을 재설정할 수 있다. 예를 들어, 도 13b에서, 현재 시야각에 대응되는 화면 영역(B)(1332)의 우측 90도 방향에 포인터가 고정된 경우('C')(1333), 터치 스크린(151)의 일 지점에서 시작된 터치입력이 왼쪽방향으로 드래그되면, 포인터가 고정된 영역(1333)이 드래그된 방향에 대응되는 다음 영역('D') (1334)으로 이동될 수 있다.
이때, 도 13b와 같이, 포인터가 고정된 영역이 이동됨에 따라 디스플레이부(151)에 디스플레이된 화면영역도 함께 회전할 수 있다. 다만, 포인터는 현재 화면영역이 아닌 이동된 화면영역('D')(1334)에 고정된다.
이와 유사하게 화면 영역(C)(1333)이 디스플레이된 상태에서, 터치 스크린(151)의 일 지점에서 시작된 터치입력이 오른쪽방향으로 드래그되면, 포인터가 고정된 영역(1334)이 드래그된 방향에 대응되는 이전 영역('C') (1333)으로 다시 변경되고, 디스플레이부(151)에 디스플레이된 화면영역도 함께 변경될 수 있다(1332). 즉, 실제는 포인터가 고정된 영역을 이동시키기 위한 제어명령이지만, HMD(200)를 착용한 사용자에게는 시야각이 변경되는 시각적인 효과가 제공된다.
한편, 다른 실시 예에서는 현재 화면영역의 디스플레이를 유지하면서, 포인터가 고정된 영역만 재설정되고, 포인터가 고정된 영역이 재설정되었음을 알려주는 표시가 현재 화면 영역에 표시될 수도 있다. 이러한 경우, 예를 들어 포인터를 홈 화면이나 특정 애플리케이션의 화면영역에 고정시키고, 해당 영역에서 발생하는 다양한 이벤트를 현재 화면에서 확인할 수도 있다. 이벤트와 관련된 실시 예는 이하에서 보다 구체적으로 설명하기로 한다.
이상에서는 하나의 포인터가 고정된 상태를 전제로 보이지 않는 영역을 제어하는 예시들을 설명하였다. 이러한 경우, 보이지 않는 또 다른 영역을 제어하기 위해서는 고정된 포인터를 또 다른 영역으로 이동시키거나 현재 보여지는 화면영역을 원하는 시야각 영역으로 변경해야하는 제한이 있다.
이에, 이하에서는 포인터의 개념을 확장해서, 사용자가 헤드를 움직이지 않고도 보이지 않는 복수의 영역들에 대한 제어를 빠르게 실행하는 방법을 구체적으로 살펴보겠다.
먼저 도 14a는, 제1시야각 영역이 디스플레이된 상태에서, 보이지 않는 다른 시야각 영역들 중 복수 개를 미리 선택하여 시야각 영역을 변경하는 예시이다. 이를 위해, 현재 디스플레이된 화면 영역(1401)의 일 영역에는 복수의 시야각 영역들과 매칭되는 복수의 구획된 영역들을 포함하는 사각 형상의 썸네일 이미지(1410)가 표시될 수 있다. 이때, 상기 썸네일 이미지(1410)은 이동 단말기(100)의 터치 스크린(151)의 형상에 대응될 수 있다. 또, 상기 썸네일 이미지(1410)내의 복수의 구획된 영역들의 위치는, 터치 스크린(151)내의 복수의 가상의 터치영역들의 위치와 매칭될 수 있다.
또한, 일 실시 예에서, 상기 썸네일 이미지(1410)는 기설정된 신호가 입력된 경우에 디스플레이될 수 있다. 즉, 현재 디스플레이된 시야각 영역을 변경하기 위한 입력신호가 수신된 경우, 제어부(280)는 디스플레이부(251)의 일 영역에 썸네일 이미지(1410)를 디스플레이하고, 이후 터치 스크린(151)에 가해지는 터치입력에 대응하는 신호에 따라, 다음 시야각 영역의 선택으로 인식할 수 있다.
이와 같이 썸네일 이미지(1410)가 표시되면, 사용자는 터치 스크린(151)에서 썸네일 이미지(1410)내의 영역들만 매칭되는 터치영역에 터치를 가하여 서로 다른 시야각 영역들을 선택할 수 있다. 그에 따라, 터치 스크린(151)에 가해지는 복수의 터치영역들에 매칭되는 제1시야각 영역(1411), 제2시야각 영역(1412), 제3시야각 영역(1413)이 선택될 수 있고, 선택된 영역의 표시가 썸네일 이미지(1410)에 시각적으로 나타날 수 있다.
이와 같이 복수의 시야각 영역들이 선택되면, 선택된 복수의 시야각 영역들이 소정 시간 간격으로 디스플레이부(251)에 디스플레이된다. 즉, 사용자가 헤드를 움직이지 않고도 소정 시간마다 변경된 시야각 이미지로 컨텐츠를 시청할 수 있다. 예를 들어 도 14a와 같이, 터치 스크린(151)에 터치입력이 가해진 순서대로, 제1시야각 영역(1402a), 제2시야각 영역(1402b), 제3시야각 영역(1402c)이 수초 간격으로 디스플레이부(251)에 디스플레이된다. 이때, 현재 디스플레이되는 시야각 영역과 매칭되는 썸네일 이미지(1410)내의 영역에는 소정의 이미지(예, 다른 컬러, 하이라이팅 효과 등)가 나타날 수 있다.
한편, 기설정된 신호가 다시 입력되면 썸네일 이미지(1410)가 사라지면서, 해당 시점에 디스플레이되었던 시야각 영역의 디스플레이 상태가 유지될 수 있다.
다음, 도 14b는 사용자가 원하는 시야각 영역을 미리 선택하지 않고, 터치 스크린(151)에 가해지는 터치입력의 터치영역에 기초하여 시야각 영역을 즉시 변경하는 예시이다.
이를 위해, 현재 디스플레이된 화면 영역(1401)의 일 영역에는 도 14b와 유사하게, 복수의 시야각 영역들과 매칭되는 복수의 구획된 영역들을 포함하는 사각 형상의 또 다른 썸네일 이미지(1420)가 표시될 수 있다. 다만, 여기서의 썸네일 이미지(1420)는 터치 스크린(151)에 가해지는 터치입력의 터치영역의 위치를 나타내는 것으로, 표시가 생략되거나 터치 스크린(151)에 터치입력이 가해질 경우에만 소정 시간 표시되었다가 사라질 수 있다.
도 14b에서 사용자가 터치 스크린(1432)의 구획된 복수의 가상 영역들 중 일 터치영역(1432)에 터치입력을 가하면, 해당 터치영역(1432)에 매칭되는 시야각 영역(1404a)이 HMD(200)의 디스플레이부(251)에 디스플레이된다. 이러한 상태에서, 터치 스크린(1432)에서 해당 터치입력이 해제되더라도 디스플레이부(251)에 디스플레이된 시야각 영역이 계속 유지된다(1404b). 이후, 터치 스크린(151)의 다른 터치영역(1431)에 터치입력이 가해지게 되면, 현재 시야각 영역(1404b)이 해당 터치영역(1431)에 매칭되는 시야각 영역(1403c)으로 전환된다. 즉, HMD(200)의 디스플레이부(251)에 디스플레이된 시야각 화면이 터치 스크린(151)을 통해 선택된 다른 시야각 화면으로 한번에 이동될 수 있다.
다음, 15는 포인터가 고정된 시야 밖의 영역에서 이벤트가 발생한 경우, 현재 시야각 영역을 유지하면서 이벤트를 처리하는 예를 보여주고 있다.
여기서, 이벤트는 발생된 이벤트 종류에 따라 설정형 이벤트 및 실행형 이벤트로 구분될 수 있다.
예를 들어, 설정형 이벤트는, 이동 단말기(100)나 HMD(200)의 설정을 변경하는 경우 발생하는 이벤트로서, 상기 설정형 이벤트는, Wi-Fi(on 설정, off 설정 또는 특정 AP와의 접속 설정 등), Bluetooth(on 설정, off 설정 또는 특정기기와의 연결 등), 데이터 네트워크(on 설정 또는 off 설정), 사운드(사운드 on 설정, off 설정, 진동, 무음 등), 배경이미지(또는 월페이퍼(wallpaper)), 볼륨 조절, GPS(on 설정, off 설정), 핫스팟(Hotspot), 애플리케이션 잠금설정, 락 스크린, 전화 수신 여부, 폰트크기 등과 같은, 설정이 변경되는 경우 발생할 수 있다. 또한, 위에서 열거된 예들 외에도, 이동 단말기(100)나 HMD(200)의 다른 설정을 변경하는 경우에도, 제어부(180) 또는 제어부(280)는 이벤트가 발생했다고 판단할 수 있다.
다른 예로서, 실행형 이벤트는, 이동 단말기(100)나 HMD(200)에서 특정 액션(action)이 실행될 때 발생하는 이벤트로서, 상기 실행형 이벤트는 메시지가 전송되거나, 애플리케이션(application), 뮤직 플레이, 동영상 플레이, 웹 브라우저 등이 실행된 경우 발생할 수 있다. 또한, 위에서 열거된 예들 외에도, 이동 단말기(100)나 HMD(200)에서 다른 액션(action)이 발생하는 경우에도, 제어부(180) 또는 제어부(280)는 이벤트가 발생했다고 판단할 수 있다.
한편, 본 발명과 같이 HMD(200)의 디스플레이부(251)에 가상 공간 컨텐츠의 일 영역이 디스플레이되는 경우, 시청 몰입감을 위해 현재 디스플레이된 일 영역과 관련된 이벤트에 대해서만 알림이 출력되도록 제한될 수 있다. 다만, 시야 밖의 영역에서 이벤트가 발생한 경우라도, 포인터가 고정된 영역에서 발생한 이벤트의 경우 다른 영역들과 다르게 처리될 수 있다.
구체적으로, 시야 밖의 영역에서 발생한 이벤트라도 콜, 메시지 등은 현재 화면 영역에 표시될 수 있으나, 특정 영역에 한정되어 발생한 이벤트나 중요하지 않은 이벤트는 포인터가 고정된 영역에서 발생한 이벤트로 한정하여 이벤트의 발생을 알려줄 수 있다. 그러한 경우, 현재 디스플레이된 일 영역을 유지하면서 시야 밖의 포인터가 고정된 영역에서 발생한 이벤트를 처리할 수 있다.
구체적으로, 제어부(280)는 포인터가 고정된 제1영역에서 이벤트가 발생하면, 디스플레이부(251)에 디스플레이된 제2영역의 디스플레이 상태를 유지하면서 이동 단말기(100)의 터치스크린(151)에 가해지는 터치 제스처에 근거하여 상기 이벤트를 처리하는 제어명령을 생성할 수 있다.
예를 들어, 도 15에서, HMD(200)의 디스플레이부(251)에 제2영역(1502)이 디스플레이되고 포인터(1500)가 제2영역을 벗어난 제1영역(1503)에 고정된 상태에서, 제1영역(1503)에서 이벤트가 발생한 경우, 이벤트의 발생을 알려주는 알림 아이콘(1510)의 일부분(1510P)이 디스플레이된 제2영역(1502)의 정해진 영역, 예를 들어 측면 가장자리 영역에 나타날 수 있다.
이때, 비록 도 15에서는 제1영역(1503)이 디스플레이된 제2영역(1502)에 인접한 시야각 영역으로 도시되었으나, 이에 한정되지 않으며, 예를 들어 제1영역(1503)과 제2영역(1502) 사이에 또 다른 영역이 존재하거나 제2영역이 제1영역(1503)의 좌측에 인접한 영역(1501)인 경우, 알림 아이콘(1510)의 일부분(1510P)과 나머지 부분이 서로 연결되지 않고 이격될 수 있다.
다른 예에서, 알림 아이콘의 일부분(1510P)이 나타나는 위치는 현재 화면 영역을 기준으로 한 제1영역(1503)의 위치에 대응될 수 있다. 이러한 경우 도 15에서 제3영역(1501)에 포인터가 고정된 상태에서 이벤트가 발생한 경우, 디스플레이된 제2영역(1502)의 좌측 가장자리 영역에 알림 아이콘의 일부분(1510P)이 나타날 수 있다.
그리고, 이와 같이 알림 아이콘의 일부분(1510P)이 나타나면, 제어부(280)는 이동 단말기(100)의 터치 스크린(151)에 가해진 터치 제스처에 대응되는 신호를 포인터가 고정된 영역에서 발생한 이벤트에 대한 입력신호로 처리한다.
그 예로, 도 15에서 알림 아이콘의 일부분(1510P)이 표시되고 터치 스크린(151)에 포물선 형상으로 드래그되는 터치 제스처가 가해진 것에 응답하여, 발생한 이벤트를 확인한 것으로 처리할 수 있다. 이때, 제1영역(1503)에 고정된 포인터(1500)는, 이벤트가 발생함에 따라 이벤트의 발생을 알려주는 알림 아이콘(1510)의 일 지점에 위치하였다가 터치 제스처의 이동 경로를 따라 움직일 수 있다(1500"). 다만, 이러한 포인터의 움직임은 디스플레이된 현재 화면 영역에는 나타나지 않는다.
또한, 이러한 터치입력에 근거하여 이벤트가 처리되면, 제어부(280)는 디스플레이된 제2영역(1502)의 일 영역, 예를 들어 화면 상단에 이벤트의 처리를 알려주는 제2알림 아이콘(1520)을 표시해줄 수 있다. 여기서, 제2알림 아이콘(1520)에는 이벤트와 관련된 정보, 예를 들어 이벤트에 대응하는 애플리케이션, 이벤트가 발생한 개수, 이벤트의 실행 상태 등과 이벤트가 발생한 영역의 위치에 대한 정보가 표시될 있다.
이러한 상태에서, 사용자가 제2알림 아이콘(1520)에 시선을 고정하면, 제2알림 아이콘(1520)에 대응하는 이벤트 정보가 현재 화면 영역, 즉 제2영역(1502)에 포인터와 함께 나타날 수 있다. 또는, 다른 예에서는 사용자가 제2알림 아이콘(1520)에 시선을 고정하게 되면, 제2영역(1502)이 이벤트가 발생한 제1영역(1503)으로 화면 전환될 수 있다.
또한, 본 발명에 따른 HMD(200)의 제어부(280)는 포인터가 고정되지 않은 시야 밖의 영역에서 발생한 중요 이벤트 알림과 포인터가 고정된 시야 밖 영역에서 발생한 이벤트 알림의 이미지를 다르게 표시할 수 있다. 예를 들어, 포인터가 고정된 영역에서 발생한 이벤트 알림은, 고정된 포인터를 이용하여 현재 화면 영역을 유지하면서 즉시 처리가 가능함을 시각적으로 직관할 수 있도록 표시될 수 있다.
이상에서 살펴본 실시 예에 따르면, 포인터가 고정된 시야 밖 영역에서 발생한 이벤트의 경우, 시야 밖의 다른 영역에서 발생한 이벤트와 구별되게 표시할 수 있고, 보이지 않는 영역에서 발생한 이벤트에 대한 즉시 처리가 가능한 편의를 제공한다.
다음으로, 도 16a 및 도 16b는 포인터가 고정된 영역을 이용하여, 현재 화면 영역에 대한 설정을 변경하는 제어명령을 생성하는 실시 예들을 보여주고 있다.
이를 위해, HMD(200)의 제어부(280)는 디스플레이부(251)에 제2영역이 디스플레이되고 포인터가 디스플레이부(251)를 벗어난 제1영역에 고정된 상태에서, 이동 단말기의 터치 스크린(151)에 가해지는 기설정된 터치입력을 기초로, 포인터가 고정된 제1영역을 현재 디스플레이된 제2영역의 화면설정을 변경하기 위한 제어영역으로 변경할 수 있다. 여기서, 상기 제어영역의 종류는 현재 디스플레이된 제2영역의 컨텐츠 종류와 제2영역에 포함된 명령입력영역의 타입에 따라 다르게 결정될 수 있다. 예를 들어, 디스플레이된 제2영역의 컨텐츠가 방송 프로그램과 관련된 것이면, 상기 제어영역은 채널, 볼륨 등을 변경하거나 조절하기 위한 영역일 수 있다.
또한, 상기 제어부(280)는 터치 스크린(151)에 가해진 처음 터치입력에 대응되는 입력신호가 수신되면, 처음 터치입력의 터치지점과 제1영역에 고정된 포인터의 위치를 매칭한다. 즉, 터치 스크린(151)에 가해진 처음 터치입력은 제1영역의 포인터에 가해진 터치입력으로 인식할 수 있다.
이후, 터치 스크린(151)에 연속하여 가해지는 터치입력에 따라 포인터를 이용한 다양한 제어명령이 생성될 수 있다. 그러한 예로, 연속하는 터치입력을 기초로 포인터가 이동하거나, 특정 객체를 포인팅하거나, 정해진 제어명령의 입력을 생성할 수 있다.
여기서, 상기 제어명령은 디스플레이부(251)에 디스플레이된 화면 영역의 설정과 연관된 것으로 제한될 수 있다. 또한, 상기 제어명령은 터치 스크린(151)에 연속하여 가해지는 터치입력의 종류, 터치 정도, 터치 유지 시간 등에 따라 다르게 결정될 수 있다. 또한, 상기 제어부(280)는 현재 화면 영역에 관한 설정값을 호출 또는 검색하여 포인터의 현재 위치와 대응시킬 수 있고, 터치 스크린(151)에 가해진 터치입력에 대응되는 포인터의 이동 경로에 따라 설정값의 변경 정도를 조절할 수 있다.
또한, 상기 제어부(280)는 상기 제어영역이 현재 디스플레이된 제2영역에 표시되는 것을 제한하고, 제어영역을 통해 입력된 제어명령의 실행결과만 현재 디스플레이된 제2영역에 나타나도록 제어할 수 있다. 다만, 도 16a 및 도 16b에서 사용자가 헤드를 움직임에 따라, 현재 디스플레이된 화면 영역(1602)이 포인터가 고정된 제1영역(1601)으로 전환되면, 그제서야 제1영역(1601)에 대응되는 제어영역이 디스플레이된다.
도 16a는 포인터가 고정된 영역이 현재 화면 영역의 화면 밝기를 조절하기 위한 제어영역으로 사용된 예시이다.
이를 위해, 포인터가 고정된 영역에는 화면의 밝기를 조절하기 위한 스크롤 바를 포함될 수 있다. 이러한 스크롤 바는, 사용자가 헤드를 움직여서 포인터가 고정된 영역이 디스플레이되는 시점에 디스플레이부(251)에 표시될 수 있다.
다음, 상기 제어부(280)는, 터치입력이 드래그된 방향 및 드래그된 정도에 근거하여 포인터 또는 변형된 포인터가 상기 스크롤 바의 스크롤 정도를 조절하도록 제어하고, 상기 스크롤 바의 스크롤 정도에 대응되도록, 현재 디스플레이된 제2영역의 화면 밝기를 즉시 제어할 수 있다. 예를 들어, 도 16a에서 터치 스크린(151)에서 아래로 드래그되는 터치 제스처가 가해짐에 따라, 시야 밖의 포인터가 고정된 제1영역(1610)에서 포인터에 의해 제어되는 스크롤 바가 팝업될 수 있고, 이와 함께 디스플레이부(251)에 디스플레이된 제2영역(1602")의 화면 밝기가 점진적으로 어두워질 수 있다.
이때, 비록 도시되지는 않았지만, 터치 스크린(151)에 가해진 터치 제스처를 해제 하지 않고 위로 드래그하면 디스플레이된 제2영역의 화면 밝기가 점진적으로 밝아질 수 있다. 이때, 제2영역의 일 영역에 변경된 화면 밝기를 알려주는 정보가 표시되었다가 사라질 수 있다.
다른 실시 예에서는, 터치 스크린(151)에 처음 터치입력이 가해지면, 제1영역(1601)에 고정된 포인터의 위치와 매칭시킨 다음, 터치입력이 상하로 드래그되는 터치 제스처가 연속하여 가해진 경우에 스크롤 바 및 스크롤 바의 스크롤 정도를 조절하는 제어명령이 생성되도록 구현 가능하다. 이러한 경우, 터치입력이 상하로 드래그되는 터치 제스처가 가해진 시점에 화면 밝기의 설정값을 변경하는 제어명령이 생성된다.
또 다른 예로, 도 16b는 포인터가 고정된 영역이 현재 화면 영역의 재생 시점을 조절하기 위한 제어영역으로 사용된 예시이다.
이를 위해, 포인터가 고정된 영역에는 현재 화면의 재생을 조절하기 위한 재생 바(1620)가 포함될 수 있다. 이러한 재생 바(1620)는, 사용자가 헤드를 움직여서 포인터가 고정된 영역이 디스플레이되는 시점에 디스플레이부(251)에 표시될 수 있다.
다음, 상기 제어부(280)는, 터치 스크린(151)에 가해진 터치입력이 드래그된 방향 및 드래그된 정도에 근거하여, 포인터 또는 변형된 포인터가 상 재생 바의 스크롤 정도를 조절하도록 제어하고, 상기 재생 바의 스크롤 정도에 대응되게 현재 디스플레이된 제2영역의 재생 시점을 변경할 수 있다.
이때, 비록 도시되지는 않았지만, 터치 스크린(151)에 가해진 터치 입력이 드래그되는 동안 또는 유지되는 동안 변경될 재생 시점을 알려주는 썸네일 이미지가 제2영역의 일 영역에 팝업될 수 있다. 이때, 팝업되는 썸네일 이미지의 위치는 재생 시점에 대응될 수 있다. 이에 의하면, 포인터를 디스플레이부(251)에 표시하여 다음 재생 바의 현재 재생 위치로 가져간 다음 재생 시점을 조절해야하는 불편이 해소된다.
이상에서 살펴본 실시 예에 의하면, 포인터가 고정된 영역을 현재 화면의 설정과 관련된 제어영역으로 사용하고, 포인터의 위치를 터치 스크린(151)의 처음 터치입력의 위치에 매칭시킴으로써, 포인터 개념을 적용하면서 현재 화면 영역의 특정 설정을 변경할 수 있다.
또한, 비록 도시되지는 않았지만, 제1영역에 포인터가 고정되고 제2영역이 디스플레이된 상태에서, 제1영역에 포함된 명령입력영역에서 실행된 기능이 제2영역에서도 유지되는 경우, 터치 스크린(151)에 터치입력이 가해진 것에 응답하여, 포인터가 고정된 제1영역에 포함된 명령입력영역의 실행 중인 기능을 제어할 수도 있다.
예를 들어, 포인터가 제1영역에 음원 플레이 창이 포함되고, 제2영역으로 전환된 후에도 상기 음원 플레이 창의 재생 음원이 배경 음원으로 재생되는 경우, 터치 스크린(151)에 가해진 터치입력의 드래그 정도 및 드래그 방향을 기초로 제2영역의 배경 음원의 볼륨을 조절하거나 또는 예를 들어 터치 스크린(151)에 가해진 탭을 기초로 재생 중인 음원이 다른 것으로 변경될 수 있다.
또한, 본 발명에서는 포인터가 고정된 영역에 대한 제어명령의 생성 및 현재 화면의 제어가 HMD(200)의 제어부(280)에 의해 제어되는 것으로 설명하였으나, 연결된 이동 단말기(100)의 제어부(180)를 통해서 동작이 수행되는 것도 가능하다.
이상에서 살펴본 바와 같이, 본 발명에 따른 HMD 장치 및 그것의 동작 방법에 따르면, HMD를 통해 현재 디스플레이된 시야각 영역을 유지하면서 헤드를 움직이지 않고 특정 영역을 확인하거나 특정 영역에 대한 제어명령을 생성할 수 있다. 또한, 현재 디스플레이된 시야각 영역에서 헤드 제스처 없이 포인터가 고정된 시야각 영역으로 빠르게 이동할 수 있다.
전술한 본 발명은, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있으며, 또한 캐리어 웨이브(예를 들어, 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 상기 컴퓨터는 단말기의 제어부(180)를 포함할 수도 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

Claims (20)

  1. 이동 단말기와 통신을 수행하는 통신부;
    상기 이동 단말기로부터 수신된 가상 공간 컨텐츠의 제1영역이 디스플레이되는 디스플레이부; 및
    상기 제1영역에 명령입력영역이 디스플레이되면, 상기 명령입력영역에 대한 명령을 생성하기 위한 이미지객체를 상기 제1영역에 표시하고 상기 이미지객체가 사용자의 헤드 제스처를 따라 움직이도록 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 명령입력영역이 사라지면, 상기 가상 공간 컨텐츠의 제1영역이 사용자의 헤드 제스처에 대응되는 제2영역으로 전환되는 동안 상기 이미지객체를 상기 제1영역에 고정시키고,
    상기 제2영역이 디스플레이된 상태에서 기설정된 조건을 만족하면, 상기 이미지객체가 고정된 제1영역에 대한 제어명령을 생성하는 특징으로 하는 HMD 장치.
  2. 제1항에 있어서,
    상기 제어부는,
    상기 제2영역에 명령입력영역이 나타나면, 상기 이미지객체를 상기 제2영역의 명령입력영역에 디스플레이하고,
    상기 이미지객체를 이용하여 상기 제2영역의 명령입력영역에 대한 제어명령을 생성하는 것을 특징으로 하는 HMD 장치.
  3. 제2항에 있어서,
    상기 제2영역의 명령입력영역에 상기 이미지객체가 디스플레이된 상태에서 상기 이동 단말기의 터치 스크린에 가해진 제1터치입력에 대응되는 제1신호가 수신되면, 상기 이미지객체를 다음 명령입력영역으로 이동시키고,
    여기서, 상기 다음 명령입력영역은 상기 제2영역 또는 상기 가상 공간 컨텐츠의 다른 영역 중 어느 하나에 포함되는 것을 특징으로 하는 HMD 장치.
  4. 제3항에 있어서,
    상기 제어부는,
    상기 이미지객체가 특정 명령입력영역에 디스플레이된 상태에서, 상기 이동 단말기의 터치 스크린에 가해지는 기준압력을 초과하는 드래그 터치입력에 응답하여,
    상기 드래그 터치입력의 이동 경로를 따라 상기 특정 명령입력영역 내에서 상기 이미지객체를 이동시키는 것을 특징으로 하는 HMD 장치.
  5. 제3항에 있어서,
    상기 제어부는,
    상기 이미지객체가 다음 명령입력영역으로 이동된 것에 응답하여, 상기 제2영역이 상기 이미지객체가 가리키는 다음 명령입력영역을 포함하는 화면영역으로 전환하는 것을 특징으로 하는 HMD 장치.
  6. 제1항에 있어서,
    상기 제어부는,
    상기 제2영역이 디스플레이된 상태에서 상기 이동 단말기의 터치 스크린에 가해진 기설정된 터치 제스처에 대응되는 제2신호가 수신된 것에 응답하여,
    상기 제1영역에 고정된 이미지객체를 상기 제2영역의 정해진 영역에 디스플레이하는 것을 특징으로 하는 HMD 장치.
  7. 제1항에 있어서,
    상기 제어부는,
    상기 이미지객체가 상기 제1영역이 고정되고 상기 디스플레이부에 상기 제2영역이 디스플레이되면,
    상기 이미지객체의 상대 위치를 알려주는 알림 정보를 상기 제2영역의 일 영역에 표시하는 것을 특징으로 하는 HMD 장치.
  8. 제7항에 있어서,
    사용자의 헤드 제스처를 따라 상기 제2영역이 가상 공간 컨텐츠의 제3영역으로 전환되면, 상기 이미지객체의 변경된 상대 위치가 상기 알림 정보에 표시되는 것을 특징으로 하는 HMD 장치.
  9. 제1항에 있어서,
    상기 제어부는,
    상기 제2영역이 디스플레이된 상태에서, 기설정된 입력에 근거하여 상기 이미지객체가 고정된 제1영역에서 전공간 모드를 실행하고,
    상기 전공간 모드에서 상기 이동 단말기의 터치스크린에 가해진 터치입력이 응답하여, 상기 디스플레이된 제2영역을 상기 터치입력의 터치지점에 대응되는 상기 가상 공간 컨텐츠의 일 영역으로 전환하는 것을 특징으로 하는 HMD 장치.
  10. 제1항에 있어서,
    상기 제어부는,
    상기 제2영역이 디스플레이된 상태에서 상기 이동 단말기의 터치 스크린에 가해진 제2드래그 터치입력에 대응되는 제3신호가 수신되면,
    상기 이미지객체가 고정된 제1영역의 일부를 상기 제2영역에 디스플레이하는 제어명령을 생성하는 것을 특징으로 하는 HMD 장치.
  11. 제10항에 있어서,
    상기 이미지객체가 고정된 제1영역의 일부는 상기 제2영역의 정해진 영역에 PIP 형태로 나타나는 것을 특징으로 하는 HMD 장치.
  12. 제11항에 있어서,
    상기 제어부는,
    상기 제3드래그 터치입력이 해제되어 상기 제3신호가 더 이상 수신되지 않으면, 상기 PIP 형태로 나타난 상기 제1영역의 일부가 사라지도록 제어하는 것을 특징으로 하는 HMD 장치.
  13. 제11항에 있어서,
    상기 제어부는,
    상기 제1영역의 일부가 PIP 형태로 나타난 상태에서 화면전환 신호가 수신되면, 상기 제2영역을 PIP 형태로 디스플레이하고 상기 이미지객체와 상기 이미지객체가 고정된 제1영역이 상기 디스플레이부의 전면에 나타나도록 제어하는 것을 특징으로 하는 HMD 장치.
  14. 제1항에 있어서,
    상기 제어부는,
    상기 이미지객체가 고정된 제1영역에서 이벤트가 발생하면,
    상기 제2영역의 디스플레이 상태를 유지하면서 상기 이동 단말기의 터치스크린에 가해지는 터치 제스처에 근거하여 상기 이벤트를 처리하는 제어명령을 생성하는 것을 특징으로 하는 HMD 장치..
  15. 제14항에 있어서,
    상기 제어부는,
    상기 제1영역에서 이벤트가 발생된 것에 응답하여, 상기 제2영역의 가장자리영역에 상기 이벤트의 발생을 알려주는 제1알림 아이콘의 일부를 표시하는 것을 특징으로 하는 HMD 장치.
  16. 제15항에 있어서,
    상기 터치 제스처에 근거하여 상기 이벤트가 처리되면, 상기 제2영역의 일 영역에 이벤트의 처리를 알려주는 제2알림 아이콘이 나타나도록 제어하는 것을 특징으로 하는 HMD 장치.
  17. 제1항에 있어서,
    상기 제어부는,
    상기 제2영역이 디스플레이된 상태에서, 상기 이동 단말기의 터치 스크린에 가해지는 터치입력에 근거하여,
    상기 이미지객체가 고정된 제1영역을 상기 제2영역의 화면설정을 변경하기 위한 제어영역으로 변경하는 것을 특징으로 하는 HMD 장치.
  18. 제17항에 있어서,
    상기 제어부는,
    상기 제어영역이 상기 제2영역에 디스플레이되는 것을 제한하고, 상기 제어영역에서 입력된 제어명령의 실행결과만 상기 제2영역에 나타나도록 제어하는 것을 특징으로 하는 HMD 장치.
  19. 제17항에 있어서,
    상기 제어영역은 화면의 밝기를 조절하기 위한 스크롤 바를 포함하고,
    상기 제어부는,
    상기 터치입력이 드래그된 방향 및 드래그된 정도에 근거하여 상기 이미지객체가 상기 스크롤 바의 스크롤 정도를 조절하도록 제어하고, 상기 스크롤 바의 스크롤 정도에 대응되게 상기 제2영역의 화면 밝기를 조절하여 디스플레이하는 것을 특징으로 하는 HMD 장치.
  20. 제17항에 있어서,
    상기 제어영역은 화면의 재생을 조절하기 위한 재생 바를 포함하고,
    상기 제어부는,
    상기 터치입력의 드래그된 방향 및 드래그된 정도에 근거하여 상기 이미지객체가 상기 재생 바의 스크롤 정도를 조절하도록 제어하고, 상기 재생 바의 스크롤 정도에 대응되게 상기 제2영역의 재생 시점을 변경하여 디스플레이하는 것을 특징으로 하는 HMD 장치.
KR1020160056539A 2016-05-09 2016-05-09 헤드 마운티드 디스플레이 장치 및 그것의 제어방법 Withdrawn KR20170126295A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020160056539A KR20170126295A (ko) 2016-05-09 2016-05-09 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
EP17150506.8A EP3244295B1 (en) 2016-05-09 2017-01-06 Head mounted display device and method for controlling the same
US15/456,445 US10540003B2 (en) 2016-05-09 2017-03-10 Head mounted display device and method for controlling the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160056539A KR20170126295A (ko) 2016-05-09 2016-05-09 헤드 마운티드 디스플레이 장치 및 그것의 제어방법

Publications (1)

Publication Number Publication Date
KR20170126295A true KR20170126295A (ko) 2017-11-17

Family

ID=57758501

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160056539A Withdrawn KR20170126295A (ko) 2016-05-09 2016-05-09 헤드 마운티드 디스플레이 장치 및 그것의 제어방법

Country Status (3)

Country Link
US (1) US10540003B2 (ko)
EP (1) EP3244295B1 (ko)
KR (1) KR20170126295A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022005075A1 (ko) * 2020-07-01 2022-01-06 삼성전자 주식회사 증강 현실을 제공하는 전자 장치 및 그 방법
US11442274B2 (en) 2018-05-29 2022-09-13 Samsung Electronics Co., Ltd. Electronic device and method for displaying object associated with external electronic device on basis of position and movement of external electronic device

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2998849A4 (en) * 2013-05-15 2017-01-25 Sony Corporation Display control device, display control method, and recording medium
KR102551239B1 (ko) 2015-09-02 2023-07-05 인터디지털 씨이 페이튼트 홀딩스, 에스에이에스 확장된 장면에서의 내비게이션을 용이하게 하기 위한 방법, 장치 및 시스템
WO2017200279A1 (en) * 2016-05-17 2017-11-23 Samsung Electronics Co., Ltd. Method and apparatus for facilitating interaction with virtual reality equipment
US10431007B2 (en) * 2016-05-31 2019-10-01 Augumenta Ltd. Method and system for user interaction
KR20180012064A (ko) * 2016-07-26 2018-02-05 엘지전자 주식회사 디스플레이 장치
US10514769B2 (en) * 2016-10-16 2019-12-24 Dell Products, L.P. Volumetric tracking for orthogonal displays in an electronic collaboration setting
US20180121000A1 (en) * 2016-10-27 2018-05-03 Microsoft Technology Licensing, Llc Using pressure to direct user input
JP2018124721A (ja) * 2017-01-31 2018-08-09 セイコーエプソン株式会社 頭部装着型表示装置、及び頭部装着型表示装置の制御方法
KR20180099182A (ko) * 2017-02-28 2018-09-05 엘지전자 주식회사 헤드 마운티드 디스플레이를 포함하는 시스템 및 그 제어 방법
KR102432283B1 (ko) 2017-05-01 2022-08-11 매직 립, 인코포레이티드 콘텐츠를 공간 3d 환경에 매칭
WO2018227504A1 (en) * 2017-06-15 2018-12-20 Tencent Technology (Shenzhen) Company Limited System and method of customizing a user interface panel based on user's physical sizes
US11303814B2 (en) * 2017-11-09 2022-04-12 Qualcomm Incorporated Systems and methods for controlling a field of view
KR102836545B1 (ko) 2018-02-22 2025-07-18 매직 립, 인코포레이티드 물리적 조작을 사용한 오브젝트 생성
WO2019165055A1 (en) * 2018-02-22 2019-08-29 Magic Leap, Inc. Browser for mixed reality systems
JP7235041B2 (ja) * 2018-03-26 2023-03-08 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN119556794A (zh) 2018-06-21 2025-03-04 奇跃公司 用于为头戴式图像显示设备提供输入的方法和装置
US20210357017A1 (en) * 2018-07-10 2021-11-18 Hewlett-Packard Development Company, L.P. Motion matching in virtual environments
US11055923B2 (en) 2018-12-19 2021-07-06 Samsung Electronics Co., Ltd. System and method for head mounted device input
US10937217B2 (en) * 2018-12-28 2021-03-02 Canon Kabushiki Kaisha Electronic device and control method thereof for generating edited VR content
WO2020206313A1 (en) 2019-04-03 2020-10-08 Magic Leap, Inc. Managing and displaying webpages in a virtual three-dimensional space with a mixed reality system
EP3734416A1 (en) * 2019-04-30 2020-11-04 XRSpace CO., LTD. Head mounted display system capable of indicating a tracking unit to track a hand gesture or a hand movement of a user or not, related method and related non-transitory computer readable storage medium
US11733789B1 (en) * 2019-09-30 2023-08-22 Snap Inc. Selectively activating a handheld device to control a user interface displayed by a wearable device
JP2021105783A (ja) * 2019-12-26 2021-07-26 セイコーエプソン株式会社 表示システム、表示方法、及び、プログラム
KR20210135099A (ko) * 2020-05-04 2021-11-12 삼성전자주식회사 저전력 무선 통신을 이용하는 전자 장치 및 그 방법
KR102717796B1 (ko) 2020-05-08 2024-10-16 삼성전자 주식회사 증강 현실 서비스를 제공하기 위한 전자 장치 및 그의 동작 방법
JP6957695B1 (ja) * 2020-07-30 2021-11-02 株式会社ジンズホールディングス プログラム、情報処理方法、及び情報処理装置
US12086373B2 (en) * 2020-10-22 2024-09-10 Samsung Electronics Co., Ltd Electronic device and method for controlling display of a plurality of objects on wearable display device
US11448884B2 (en) * 2020-11-25 2022-09-20 Sony Interactive Entertainment Inc. Image based finger tracking plus controller tracking
EP4295314A4 (en) 2021-02-08 2025-04-16 Sightful Computers Ltd EXTENDED REALITY CONTENT SHARING
JP7665161B2 (ja) 2021-02-08 2025-04-21 サイトフル コンピューターズ リミテッド エクステンデッドリアリティにおけるユーザ相互作用
EP4288856A4 (en) 2021-02-08 2025-02-12 Sightful Computers Ltd Extended reality for productivity
US20230260240A1 (en) * 2021-03-11 2023-08-17 Quintar, Inc. Alignment of 3d graphics extending beyond frame in augmented reality system with remote presentation
US12028507B2 (en) * 2021-03-11 2024-07-02 Quintar, Inc. Augmented reality system with remote presentation including 3D graphics extending beyond frame
WO2023009580A2 (en) 2021-07-28 2023-02-02 Multinarity Ltd Using an extended reality appliance for productivity
US11948263B1 (en) 2023-03-14 2024-04-02 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US12175614B2 (en) 2022-01-25 2024-12-24 Sightful Computers Ltd Recording the complete physical and extended reality environments of a user
US12380238B2 (en) 2022-01-25 2025-08-05 Sightful Computers Ltd Dual mode presentation of user interface elements
JP2023174066A (ja) * 2022-05-27 2023-12-07 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP2023177422A (ja) * 2022-06-02 2023-12-14 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
EP4595015A1 (en) 2022-09-30 2025-08-06 Sightful Computers Ltd Adaptive extended reality content presentation in multiple physical environments
CN118244934A (zh) * 2022-12-23 2024-06-25 北京小米移动软件有限公司 信息交互方法及装置、电子设备、存储介质

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11203044A (ja) * 1998-01-16 1999-07-30 Sony Corp 情報処理システム
AU2001233019A1 (en) * 2000-01-28 2001-08-07 Intersense, Inc. Self-referenced tracking
US6765557B1 (en) * 2000-04-10 2004-07-20 Interlink Electronics, Inc. Remote control having touch pad to screen mapping
US8819569B2 (en) * 2005-02-18 2014-08-26 Zumobi, Inc Single-handed approach for navigation of application tiles using panning and zooming
US8418076B2 (en) * 2008-05-15 2013-04-09 Microsoft Corporation Managing inputs from a plurality of user input device actuators
US8957835B2 (en) * 2008-09-30 2015-02-17 Apple Inc. Head-mounted display apparatus for retaining a portable electronic device with display
US8964298B2 (en) * 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20120188148A1 (en) * 2011-01-24 2012-07-26 Microvision, Inc. Head Mounted Meta-Display System
US9142062B2 (en) * 2011-03-29 2015-09-22 Qualcomm Incorporated Selective hand occlusion over virtual projections onto physical surfaces using skeletal tracking
US8912979B1 (en) * 2011-07-14 2014-12-16 Google Inc. Virtual window in head-mounted display
US20130139082A1 (en) * 2011-11-30 2013-05-30 Google Inc. Graphical Interface Having Adjustable Borders
US8643951B1 (en) * 2012-03-15 2014-02-04 Google Inc. Graphical menu and interaction therewith through a viewing window
US20130246967A1 (en) * 2012-03-15 2013-09-19 Google Inc. Head-Tracked User Interaction with Graphical Interface
US8799810B1 (en) * 2012-03-16 2014-08-05 Google Inc. Stability region for a user interface
CN102905183A (zh) * 2012-10-11 2013-01-30 中兴通讯股份有限公司 一种实现电视分屏观看的方法、机顶盒及电视系统
US20140164963A1 (en) * 2012-12-11 2014-06-12 Sap Ag User configurable subdivision of user interface elements and full-screen access to subdivided elements
US8769431B1 (en) * 2013-02-28 2014-07-01 Roy Varada Prasad Method of single-handed software operation of large form factor mobile electronic devices
US20150277699A1 (en) * 2013-04-02 2015-10-01 Cherif Atia Algreatly Interaction method for optical head-mounted display
CN105229720B (zh) * 2013-05-21 2018-05-15 索尼公司 显示控制装置、显示控制方法以及记录介质
US10175483B2 (en) * 2013-06-18 2019-01-08 Microsoft Technology Licensing, Llc Hybrid world/body locked HUD on an HMD
US9129430B2 (en) * 2013-06-25 2015-09-08 Microsoft Technology Licensing, Llc Indicating out-of-view augmented reality images
US20160182930A1 (en) * 2013-09-13 2016-06-23 Isabella V. Ortiz Systems and methods for enabling simultaneous second screen data access during ongoing primary screen programming
WO2015116972A1 (en) * 2014-01-31 2015-08-06 Kopin Corporation Head-tracking based technique for moving on-screen objects on head mounted displays (hmd)
KR20150101612A (ko) * 2014-02-27 2015-09-04 엘지전자 주식회사 폐쇄형 시야(Closed-view)를 제공하는 헤드 마운티드 디스플레이 및 그 제어 방법
US20160027214A1 (en) * 2014-07-25 2016-01-28 Robert Memmott Mouse sharing between a desktop and a virtual world
KR102265086B1 (ko) * 2014-11-07 2021-06-15 삼성전자 주식회사 정보를 공유하기 위한 가상 환경
US9652047B2 (en) * 2015-02-25 2017-05-16 Daqri, Llc Visual gestures for a head mounted device
EP3098690B1 (en) * 2015-05-28 2020-01-08 Nokia Technologies Oy Rendering of a notification on a head mounted display
US10126937B2 (en) * 2016-01-26 2018-11-13 Adobe Systems Incorporated Input techniques for virtual reality headset devices with front touch screens
US20170293351A1 (en) * 2016-04-07 2017-10-12 Ariadne's Thread (Usa), Inc. (Dba Immerex) Head mounted display linked to a touch sensitive input device

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11442274B2 (en) 2018-05-29 2022-09-13 Samsung Electronics Co., Ltd. Electronic device and method for displaying object associated with external electronic device on basis of position and movement of external electronic device
WO2022005075A1 (ko) * 2020-07-01 2022-01-06 삼성전자 주식회사 증강 현실을 제공하는 전자 장치 및 그 방법
US12602881B2 (en) 2020-07-01 2026-04-14 Samsung Electronics Co., Ltd. Electronic device and method for providing augmented reality

Also Published As

Publication number Publication date
US10540003B2 (en) 2020-01-21
US20170322622A1 (en) 2017-11-09
EP3244295A1 (en) 2017-11-15
EP3244295B1 (en) 2020-07-29

Similar Documents

Publication Publication Date Title
KR20170126295A (ko) 헤드 마운티드 디스플레이 장치 및 그것의 제어방법
EP3246788B1 (en) Head mounted display device and method for controlling the same
EP3163426B1 (en) System and method of controlling the same
CN103827788B (zh) 对用户接口的有效输入区的动态控制
US10571695B2 (en) Glass type terminal and control method therefor
US10642348B2 (en) Display device and image display method
JP7005161B2 (ja) 電子機器及びその制御方法
KR20170037466A (ko) 이동 단말기 및 이의 제어방법
US11029778B2 (en) Device and method for processing user input
KR20170140702A (ko) 이동 단말기
KR20180103866A (ko) 이동 단말기 및 그 제어 방법
KR20170058758A (ko) Hmd 및 그 hmd의 제어 방법
WO2016149873A1 (zh) 智能交互方法、设备及系统
KR20160134334A (ko) 이동 단말기 및 이의 제어방법
KR101695695B1 (ko) 이동단말기 및 그 제어방법
JP7005160B2 (ja) 電子機器及びその制御方法
WO2013164351A1 (en) Device and method for processing user input
EP2660695B1 (en) Device and method for processing user input
US12158988B2 (en) Mapping a computer-generated trackpad to a content manipulation region
US20230297168A1 (en) Changing a Dimensional Representation of a Content Item
US12412353B1 (en) Anchoring to multiple positions of an auxiliary device
KR20160031299A (ko) 이동 단말기 및 그것의 제어방법
CN116888562A (zh) 将计算机生成的触控板映射到内容操纵区域
KR20200091550A (ko) 이동 단말 및 그 제어 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160509

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210302

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160509

Comment text: Patent Application

PC1202 Submission of document of withdrawal before decision of registration

Comment text: [Withdrawal of Procedure relating to Patent, etc.] Withdrawal (Abandonment)

Patent event code: PC12021R01D

Patent event date: 20210616

WITB Written withdrawal of application