KR20140052294A - 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 헤드-마운티드 디스플레이 장치 - Google Patents

헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 헤드-마운티드 디스플레이 장치 Download PDF

Info

Publication number
KR20140052294A
KR20140052294A KR1020120118251A KR20120118251A KR20140052294A KR 20140052294 A KR20140052294 A KR 20140052294A KR 1020120118251 A KR1020120118251 A KR 1020120118251A KR 20120118251 A KR20120118251 A KR 20120118251A KR 20140052294 A KR20140052294 A KR 20140052294A
Authority
KR
South Korea
Prior art keywords
window
user
transmittance
light
virtual image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020120118251A
Other languages
English (en)
Inventor
김상태
한순섭
이두웅
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120118251A priority Critical patent/KR20140052294A/ko
Priority to US14/062,397 priority patent/US10001647B2/en
Publication of KR20140052294A publication Critical patent/KR20140052294A/ko
Priority to US16/006,447 priority patent/US10775623B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명의 일 측면에 따른 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법은, 주변 조도를 검출하는 단계와; 상기 주변 조도에 대응하는 상기 헤드-마운티드 디스플레이 장치에 구비된 윈도우의 목표 투과율을 산출하는 단계와; 상기 목표 투과율에 따라 상기 윈도우의 투과율을 조절하는 단계와; 프로젝터를 이용하여 상기 윈도우에 광을 투사함으로써, 상기 윈도우에 의해 반사된 광에 의해 형성된 가상 이미지를 상기 사용자에게 제공하는 단계를 포함한다.

Description

헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 헤드-마운티드 디스플레이 장치{METHOD FOR PROVIDING USER WITH VIRTUAL IMAGE IN HEAD-MOUNTED DISPLAY DEVICE, MACHINE-READABLE STORAGE MEDIUM AND HEAD-MOUNTED DISPLAY DEVICE}
본 발명은 착용식 디스플레이(wearable display) 장치에 관한 것으로서, 특히 헤드-마운티드 디스플레이(Head Mounted Display: HMD) 장치에 관한 것이다.
종래의 HMD 장치로서, 비디오 시스루(see-through) HMD 장치는 실제 주변 환경에 대한 이미지를 획득하기 위하여 1~2대의 카메라를 구비한다. 비디오 시스루 HMD 장치는, 비디오 합성기를 이용하여 카메라로부터 입력되는 실제 이미지와 컴퓨터에서 생성한 가상 이미지를 합성하고, 합성된 이미지를 HMD 장치에 부착된 LCD와 같은 디스플레이 장치를 통해 사용자에게 보여 준다.
비디오 시스루 HMD 장치는 컴퓨터 비전 기술을 이용하여 가상 객체를 원하는 위치에 정확히 표시할 수 있다는 이점이 있다. 그러나, 디스플레이 장치의 작은 화면으로 인하여, 실제 환경과 가상 환경의 해상도가 모두 제한적이다.
본 발명의 특정 실시 예들의 목적은 종래기술과 관련된 문제점들 및/또는 단점들 중의 적어도 하나를 적어도 부분적으로 해결, 경감 또는 제거하는 것이다.
본 발명은 가상의 이미지와 실제 이미지를 동시에 제공하고, HMD 장치의 무게와 크기를 소형화할 수 있으며. 가상 이미지의 야외 시인성을 개선하고, 저전력, 저발열인 HMD 장치를 제공함을 일 목적으로 한다.
본 발명의 일 측면에 따른 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법은, 주변 조도를 검출하는 단계와; 상기 주변 조도에 대응하는 상기 헤드-마운티드 디스플레이 장치에 구비된 윈도우의 목표 투과율을 산출하는 단계와; 상기 목표 투과율에 따라 상기 윈도우의 투과율을 조절하는 단계와; 프로젝터를 이용하여 상기 윈도우에 광을 투사함으로써, 상기 윈도우에 의해 반사된 광에 의해 형성된 가상 이미지를 상기 사용자에게 제공하는 단계를 포함한다.
본 발명의 다른 측면에 따라, 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장 매체 및 이러한 저장 매체를 구비한 헤드-마운티드 디스플레이 장치가 제공된다.
본 발명의 또 다른 측면에 따른 사용자에게 가상 이미지를 제공하는 헤드-마운티드 디스플레이 장치는, 주변 조도를 검출하는 센서부와; 광을 투사하는 프로젝터와; 상기 프로젝터에 의해 투사된 광을 집속 및 반사함으로써, 상기 반사된 광에 의해 형성된 가상 이미지를 상기 사용자에게 제공하는 윈도우와; 상기 주변 조도에 대응하는 상기 윈도우의 목표 투과율을 산출하고, 상기 목표 투과율에 따라 상기 윈도우의 투과율을 조절하는 제어부를 포함한다.
본 발명은 HOE 기반의 결합기인 윈도우를 사용하여 가상의 이미지와 실제 이미지를 동시에 제공할 수 있으며, 글래스 및 홀로그래픽 광소자를 일체형으로 형성함으로써, HMD 장치의 무게와 크기를 소형화할 수 있다. 또한, 본 발명은 광의 투과율을 전기적 신호에 의해 조절할 수 있도록 윈도우를 구현함으로써, 가상 이미지의 야외 시인성을 개선하고, 저전력으로 윈도우를 구동할 수 있으므로, 발열을 감소시키고 배터리 사용 시간을 증가시킬 수 있다. 또한, 본 발명의 윈도우는 넓은 화각(Field of View: FoV) 및 양호한 화질을 제공할 수 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 헤드-마운티드 디스플레이 장치를 외측에서 본 사시도,
도 2는 HMD 장치를 내측에서 본 사시도,
도 3은 HMD 회로의 구성을 나타내는 도면,
도 4는 제1 프로젝터의 개략적인 구성을 나타내는 도면,
도 5는 제1 윈도우의 구성 및 기능을 설명하기 위한 도면,
도 6은 제1 글래스의 구성을 나타내는 도면,
도 7은 제1 홀로그래픽 광소자의 홀로그래픽 패턴을 나타내는 도면,
도 8 및 도 9는 HMD 장치의 투과율 제어를 설명하기 위한 도면들,
도 10은 본 발명의 바람직한 실시 예에 따른 가상 이미지 제공 방법을 나타내는 흐름도,
도 11 내지 도 13은 가상 이미지 제공 방법의 제1 예를 설명하기 위한 도면들,
도 14는 가상 이미지 제공 방법의 제2 예를 설명하기 위한 도면,
도 15는 가상 이미지 제공 방법의 제3 예를 설명하기 위한 도면,
도 16은 가상 이미지 제공 방법의 제4 예를 설명하기 위한 도면,
도 17은 가상 이미지 제공 방법의 제5 예를 설명하기 위한 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하여 상세하게 설명한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 바람직한 실시 예에 따른 헤드-마운티드 디스플레이(Head Mounted Display: HMD) 장치를 외측에서 본 사시도이고, 도 2는 HMD 장치를 내측에서 본 사시도이다.
HMD 장치(100)는 전체적으로 안경의 외관을 가지며, 휴대 가능한 단말(또는 휴대 통신 단말)이며, HMD 하우징(110)과, HMD 하우징(110) 내에 실장된 HMD 회로(101)를 포함한다.
HMD 하우징(110)은 좌측 눈 및 우측 눈에 각각 대응되는 제1 및 제2 윈도우(280, 285)가 고정되는 프론트 프레임(115)과, 제1 및 제2 힌지(122, 123)에 의해 내측으로 접거나 외측으로 펼칠 수 있는 제1 및 제2 템플 프레임(120, 121)을 포함한다. 이하, 좌측 눈 및 우측 눈은 제1 눈 및 제2 눈으로 칭할 수도 있다. 본 발명에서, 제1 및 제2 윈도우(280, 285)는 제1 및 제2 윈도우 패널이라고 칭할 수도 있다.
프론트 프레임(115)의 외측면에는 카메라(260)가 배치되어 있고, 카메라(260)는 제1 및 제2 윈도우(280, 285) 사이의 프론트 프레임(115)의 부분(즉, 통상의 안경에서 브릿지에 해당)에 배치된다.
또한, 프론트 프레임(115)의 외측면에는 마이크(212)가 배치되어 있고, 또한 프론트 프레임(115)의 외측면에 터치 센서(250)가 배치되어 있다.
프론트 프레임(115)의 내측면에는 프론트 프레임(115) 내에 배치된 제1 프로젝터(270)로부터 출력되는 제1 투사 광(310)이 프론트 프레임(115)의 외부로 출력되는 통로가 되는 제1 개구(111)가 배치되어 있다. 또한, 프론트 프레임(115)의 내측면에는 프론트 프레임(115) 내에 배치된 제2 프로젝터(275)로부터 출력되는 제2 투사 광(320)이 프론트 프레임(115)의 외부로 출력되는 통로가 되는 제2 개구(112)가 배치되어 있다. 이때, 각 개구(111, 112)에는 외부로부터의 먼지가 프론트 프레임(115)의 내부로 유입되는 것을 차단하기 위한 투명한 보호 유리가 설치될 수 있다.
제1 템플 프레임(120)의 외측면에는 적어도 하나의 버튼(213)이 배치된다.
제1 및 제2 템플 프레임(120, 121)의 내측면에는 적어도 하나의 스피커(211)가 배치된다.
제1 프로젝터(270)는 제1 가상 이미지를 형성하기 위한 제1 투사 광(310)을 출력하고, 제1 프로젝터(270)로부터 출력되는 제1 투사 광(310)은 제1 윈도우(280)에 의해 집속 및 반사되고, 집속 및 반사된 제1 투사 광(312)은 사용자의 좌측 눈(330)의 망막에 제1 가상 이미지를 형성한다. 이때, 집속은 광을 모으는 것을 말하고, 광을 한 점에 모으는 수렴이나, 광의 빔 스팟을 감소시키는 것 등을 포함하는 의미이다. 바람직하게는, 반사된 제1 투사 광(312)은 좌측 눈(330)의 수정체 또는 동공에 수렴한다.
제2 프로젝터(275)는 제2 가상 이미지를 형성하기 위한 제2 투사 광(320)을 출력하고, 제2 프로젝터(275)로부터 출력되는 제2 투사 광(320)은 제2 윈도우(285)에 의해 집속 및 반사되고, 집속 및 반사된 제2 투사 광(322)은 사용자의 우측 눈(335)의 망막에 제2 가상 이미지를 형성한다. 바람직하게는, 집속 및 반사된 제2 투사 광(322)은 우측 눈(335)의 수정체 또는 동공에 수렴한다. 본 예에서, 2개의 프로젝터를 사용하는 것을 예시하고 있으나, 하나의 프로젝터만을 사용할 수도 있다.
이하의 설명에서, 제1 가상 이미지와 제2 가상 이미지는 좌측 눈 및 우측 눈에 각각 표시된다는 점을 제외하고는 서로 동일하나, 본 발명은 이에 한정되지 않고, 제1 가상 이미지와 제2 가상 이미지 중의 하나만을 표시할 수도 있다.
도 3은 HMD 회로의 구성을 나타내는 도면이다.
HMD 회로(101)는 입/출력 모듈(210)과, 메모리(220)와, 센서부(225)와, 배터리(230)와, 전력 관리부(235)와, 통신부(240)와, 터치 센서(250)와, 카메라(260)와, 제1 및 제2 프로젝터(270, 275)와, 제1 및 제2 윈도우(280, 285)와, 제어부(290)를 포함한다.
입/출력 모듈(210)은 사용자 입력을 수신하거나, 사용자에게 정보를 알리거나, 외부로부터 데이터를 수신하거나, 외부로 데이터를 출력하기 위한 수단으로서, 적어도 하나의 스피커(211), 적어도 하나의 마이크(212), 적어도 하나의 버튼(213), 커넥터, 키패드 또는 이들의 조합을 포함할 수 있다.
스피커(211)는 제어부(290)의 제어에 따라 다양한 데이터(예, 무선 데이터, 방송 데이터, 디지털 오디오 파일, 디지털 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 HMD 장치(100)의 외부로 출력할 수 있다. 스피커(211)는 HMD 장치(100)가 수행하는 기능에 대응되는 사운드를 출력할 수 있다. 스피커(211)는 HMD 하우징(110)의 적절한 위치 또는 위치들에 하나 또는 복수로 배치될 수 있다. 본 예에서는, 2개의 스피커(211)가 제1 및 제2 템플 프레임(120, 121)의 단부들에 각각 하나씩 배치된 것을 예시하고 있다.
마이크(212)는 HMD 장치(100)의 외부로부터 음성(voice) 또는 사운드(sound)를 수신하여 전기적인 신호를 생성하고, 생성된 전기 신호를 제어부(290)로 출력한다. 마이크(212)는 HMD 하우징(110)의 적절한 위치 또는 위치들에 하나 또는 복수로 배치될 수 있다. 본 예에서는, 하나의 마이크(212)가 프론트 프레임(115)의 외측면에 배치된 것을 예시하고 있다. 본 명세서에서, 신호는 데이터로 대체 표기될 수 있으며, 또한 데이터는 데이터 신호로도 표기할 수 있다.
버튼(213)은 사용자 입력을 수신하기 위해 제공되며, HMD 회로(101)의 온/오프, 메뉴 항목 또는 아이템의 선택 및/또는 검색 등을 위해 사용된다. 버튼(213)은 전원 버튼, 볼륨 버튼, 메뉴 버튼, 홈 버튼, 돌아가기 버튼(back button), 검색 버튼(좌측 이동 버튼, 우측 이동 버튼, 상측 이동 버튼, 하측 이동 버튼 등), 또는 이들의 조합을 포함할 수 있다. 버튼(213)은 HMD 하우징(110)의 적절한 위치 또는 위치들에 하나 또는 복수로 배치될 수 있다. 본 예에서는, 버튼(213)이 제1 템플 프레임(120)의 외측면에 배치된 것을 예시하고 있다.
커넥터는 HMD 장치(100)와 외부의 전자 장치 또는 전원 소스를 연결하기 위한 인터페이스로 이용될 수 있다. 커넥터는 전자 장치의 커넥터와 직접 또는 유선 케이블을 이용하여 연결될 수 있으며, 이러한 커넥터 연결을 통해, 제어부(290)는 메모리(220)에 저장된 데이터를 전자 장치로 전송하거나 또는 전자 장치로부터 데이터를 수신할 수 있다. 또한, HMD 장치(100)는 커넥터에 연결된 유선 케이블을 통해 전원 소스로부터 전력을 수신하여 배터리(230)를 충전할 수 있다.
키패드는 HMD 장치(100)의 제어를 위한 사용자로부터의 키 입력을 수신할 수 있다. 키패드는 HMD 장치(100)에 배치되는 물리적인 키패드, 제1 및/또는 제2 프로젝터(270, 275)에 의해 표시되는 가상의 키패드, 또는 이들의 조합을 포함한다.
센서부(225)는 HMD 장치(100)의 상태 또는 주변 환경 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서부(225)는 사용자의 HMD 장치(100)에 대한 접근 여부를 검출하는 근접 센서, 또는 HMD 장치(100)의 동작(예를 들어, HMD 장치(100)의 회전, 가속, 감속, 진동 등)을 검출하는 모션/방위 센서, 주변 조도를 검출하는 조도 센서, 또는 이들의 조합을 포함할 수 있다. 또한, 모션/방위 센서는 가속도 센서, 중력센서, 지자기 센서, 자이로(gyro) 센서, 충격센서, GPS, 나침반 센서(compass sensor) 및 가속도 센서 중의 적어도 하나를 포함할 수 있다. 센서부(225)는 HMD 장치(100)의 상태를 검출하고, HMD 장치(100)의 상태를 나타내는 신호를 제어부(290)로 전송할 수 있다. 예를 들어, GPS 모듈은 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 전파를 수신하고, GPS위성(도시되지 아니함)에서부터 HMD 장치(100)까지 전파도달시간(Time of Arrival)을 이용하여 HMD 장치(100)의 위치를 산출할 수 있다. 나침반 센서는 HMD 장치(100)의 자세 또는 방위를 산출한다.
전력 관리부(235)는 제어부(290)의 제어에 따라 HMD 장치(100)에 전력을 공급할 수 있다. 전력 관리부(235)는 하나 또는 복수의 배터리(230)와 연결될 수 있다. 또한, 전력 관리부(235)는 커넥터와 연결된 유선 케이블을 통해 외부의 전원 소스(도시되지 아니함)로부터 입력되는 전원을 HMD 장치(100)로 공급할 수 있다.
통신부(240)는 유선, 무선 또는 유/무선 통신부일 수 있으며, 제어부(290)로부터의 데이터를 유선 또는 무선으로 외부 통신망 또는 대기를 통해 전자 장치로 전송하거나, 외부 통신망 또는 대기를 통해 전자 장치로부터 데이터를 유선 또는 무선으로 수신하여 제어부(290)로 전달한다.
통신부(240)는 성능에 따라 이동 통신 모듈, 무선 랜 모듈 및 근거리 통신 모듈 중 적어도 하나를 포함할 수 있다.
이동 통신 모듈은 제어부(290)의 제어에 따라 적어도 하나의 안테나(도시되지 아니함)를 이용하여 이동 통신망을 통해 HMD 장치(100)가 전자 장치와 통신하도록 한다. 이동 통신 모듈은 IP 등의 네트워크 주소 또는 전화번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿 PC 또는 다른 통신 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS) 또는 멀티미디어 메시지(MMS)를 위한 무선 신호를 송신 또는 수신한다.
무선 랜 모듈은 제어부(290)의 제어에 따라 무선 AP(access point)(도시되지 아니함)가 설치된 장소에서 인터넷에 연결될 수 있다. 무선 랜 모듈은 미국전기전자학회(IEEE)의 무선 랜 규격(IEEE802.11x)을 지원한다.
근거리 통신 모듈은 제어부(290)의 제어에 따라 외부의 근거리 통신 장치와 무선으로 근거리 통신을 할 수 있다. 근거리 통신 방식은 블루투스(bluetooth), 적외선 통신(IrDA, infrared data association), 와이파이 다이렉트(WiFi-Direct) 통신, NFC(Near Field Communication), 또는 이들의 조합이 될 수 있다.
터치 센서(250)는 적어도 하나의 터치 입력에 대응되는 신호를 제어부(290)로 전송할 수 있다. 사용자는 신체의 일부(예를 들어, 손가락) 또는 다른 터치 입력 수단을 통해 터치 센서(250)를 터치할 수 있고, 터치 센서(250)는 이러한 사용자의 터치 입력을 수신할 수 있다. 또한, 터치 센서(250)는 터치의 연속적인 움직임에 따른 입력(즉, 드래그 입력)을 수신할 수 있다. 터치 입력 정보는 터치 좌표 및/또는 터치 상태를 포함할 수 있다. 터치 상태는 터치 센서(250)를 누르는 마우스 다운 상태, 터치 센서(250)로부터 손가락을 떼는 마우스 업 상태, 터치 센서(250)를 누르는 상태로 슬라이딩하는 드래그 상태 등일 수 있다. 제어부(290)는 이러한 터치 입력 정보로부터 메뉴 항목 또는 아이템의 선택 또는 이동이나, 필기 입력 등의 사용자 입력 정보를 파악하고, 이러한 사용자 입력 정보에 대응하는 기능(전화 연결, 카메라 촬영, 메시지 작성/보기, 데이터 전송 등)을 수행한다.
본 발명에서 터치는 터치 센서(250)와 터치 입력 수단의 접촉에 한정되지 않고, 비접촉(예를 들어, 터치 센서(250)와 터치 입력 수단이 서로 이격된 경우)을 포함할 수 있다. 이러한 비접촉 터치 입력은 호버링 입력이라고 칭할 수도 있다. 터치 센서(250)는 저항막(resistive) 방식, 정전용량(capacitive) 방식, 적외선(infrared) 방식, 초음파(acoustic wave) 방식, 전자기 공진(Electromagnetic resonance: EMR) 방식 또는 이들의 조합 등으로 구현될 수도 있다.
카메라(260)는 렌즈계 및 이미지 센서를 포함하고, 플래쉬 등을 더 포함할 수 있다. 카메라(260)는 렌즈계를 통해 입력되는(또는 촬영되는) 광을 전기적인 이미지 신호로 변환하여 제어부(290)로 출력하고, 사용자는 이러한 카메라(260)를 통해 동영상 또는 정지 이미지를 촬영할 수 있다. 또한, 카메라(260)는 사용자의 모션 또는 제스쳐에 의한 사용자 입력을 수신하기 위해 제공될 수도 있다.
렌즈계는 외부로부터 입력된 광을 수렴시킴으로써 피사체의 이미지를 형성한다. 렌즈계는 적어도 하나의 렌즈를 포함하며, 각 렌즈는 볼록 렌즈, 비구면 렌즈 등일 수 있다. 렌즈계는 그 중심을 지나는 광축(optical axis)에 대해 대칭성을 가지며, 광축은 이러한 중심 축으로 정의된다, 이미지 센서는 렌즈계를 통해 입력된 외부 광에 의해 형성된 광학적 이미지를 전기적 이미지 신호로 검출한다. 이미지 센서는 M×N 행렬(matrix) 구조로 배치된 복수의 화소(pixel) 유닛을 구비하며, 화소 유닛은 포토다이오드 및 복수의 트랜지스터들을 포함할 수 있다. 화소 유닛은 입력된 광에 의해 생성된 전하를 축적하고, 축적된 전하에 의한 전압은 입력된 광의 조도를 나타낸다. 정지 이미지 또는 동영상을 구성하는 한 이미지를 처리하는 경우에 있어서, 이미지 센서로부터 출력되는 이미지 신호는 화소 유닛들로부터 출력되는 전압들(즉, 화소 값들)의 집합으로 구성되고, 이미지 신호는 하나의 프레임(즉, 정지 이미지)을 나타낸다. 또한, 프레임은 M×N 화소로 구성된다. 이미지 센서로는 CCD(charge-coupled device) 이미지 센서, CMOS(complementary metal-oxide semiconductor) 이미지 센서 등을 사용할 수 있다.
이미지 센서는 제어부(290)로부터 수신한 제어 신호에 따라 이미지 센서의 전체 화소들 또는 전체 화소 중에서 관심 영역의 화소들만을 작동할 수 있고, 화소들로부터 출력되는 이미지 데이터는 제어부(200)로 출력된다.
제어부(290)는 카메라(260)로부터 입력되는 이미지, 메모리(220)에 저장된 이미지, 또는 메모리(220)에 저장된 데이터를 이용하여 제어부(290)에 의해 구성된 그래픽 사용자 인터페이스(GUI)를 프레임(frame) 단위로 처리하며, 제1 및/또는 제2 프로젝터(270, 275)의 화면 출력 특성(크기, 화질, 해상도 등)에 맞도록 변환된 이미지 프레임을 제1 및/또는 제2 프로젝터(275)를 통해 외부로 출력하거나 메모리(220)에 저장할 수 있다. 이하, 본 발명에서 제1 및/또는 제2 프로젝터(270, 275)에 의해 형성된 가상 이미지의 한 예로서 그래픽 사용자 인터페이스(GUI)를 특정하고 있으나, GUI 대신에 가상 이미지라는 표현을 사용할 수도 있고, 가상 이미지는 GUI 또는 정지 이미지 등의 컨텐츠 등과 같이 실물이 아닌 가상 객체를 포함하는 의미로 사용된다.
제어부(290)는 제1 및/또는 제2 프로젝터(270, 275)를 통해 사용자에게 다양한 서비스(예, 통화, 데이터 전송, 방송, 사진촬영 등)에 대응되는 GUI를 제공할 수 있다. 또한, 제어부(290)는 이러한 GUI를 통해 정지 이미지 또는 동영상을 사용자에게 제공할 수 있다. 즉, 본 발명에서 GUI는 정지 이미지 또는 동영상으로 표현되는 화면을 나타낼 수 있다.
제1 및 제2 프로젝터(270, 275)는 서로 동일한 구성을 가지며, 각 프로젝터(270, 275)는 제어부(290)에 의해 제공된 가상 이미지를 형성하는 광을 해당 윈도우(280, 285)를 통해 사용자의 눈에 투사한다. 이하 제1 프로젝터(270)의 구성을 대표적으로 기술하자면 아래와 같다.
도 4는 제1 프로젝터의 개략적인 구성을 나타내는 도면이다.
상기 제1 프로젝터(270)는 광을 출력하는 광원(410)과, 상기 광원(410)으로부터 출력된 광으로 표시 소자(440)를 조명하는 조명 광학계(420)와, 조명 광학계(420)를 투과한 광을 반사하는 미러(430)와, 미러(430)에 의해 반사된 광을 다시 픽셀 단위로 반사하여 가상 이미지를 형성하는 표시 소자(440)와, 표시 소자(440)로부터 반사된 광을 외부로 투사하는 투사 광학계(450)를 포함한다.
조명 광학계(420)는 X축과 평행한 제1 광축(271)을 갖고, 적어도 하나의 시준화 렌즈, 적어도 하나의 필터, 적어도 하나의 등화 렌즈, 집광 렌즈, 또는 이들의 조합을 포함할 수 있다.
상기 조명 광학계(420)의 광학 소자들(렌즈, 프리즘, 필터 등)은 제1 광축(271)에 정렬된다. 통상적으로 광축은 이를 중심으로 해당 광학계를 회전시켜도 광학적으로 변동이 없는 축을 말한다. 광축에 정렬된다는 것은 해당 광학계를 구성하는 광학 소자의 곡률 중심이 광축에 위치하거나, 광학 소자의 대칭점(즉, 대칭 중심) 또는 중심점이 광축에 위치하는 것을 의미한다.
광원(410)은 제1 광축(271)을 따라 진행하는 광을 출력한다. 예를 들어, 광원(410)으로는 백색광, 원색광(예를 들어, 청색광, 녹색광 등), 또는 원색광들의 조합을 출력하는 적어도 하나의 LED를 사용할 수 있다.
조명 광학계(420)는 광원(410)으로부터 입력된 광을 시준화, 필터링 및/또는 집속 처리하고, 처리된 광을 미러(430)로 출력한다.
미러(430)는 조명 광학계(420)를 투과하여 입력된 광을 표시 소자(440) 측으로 반사한다. 미러(430)는 기판 상에 반사도가 높은 유전체 층 또는 금속 층을 증착한 구조를 가질 수 있다.
표시 소자(440)는 제어부(290)로부터 입력된 데이터에 따라 픽셀 단위로 이미지를 표시하며, 표시 소자(440)는 기설정된 해상도에 대응하는 픽셀 소자들을 구비하고, 픽셀 소자들의 온/오프 구동을 통해 이미지를 표시한다. 예를 들어, 표시 소자(440)로서 MxN(예를 들어, 1280x720, 854x480 등) 행렬 구조로 배열된 마이크로 미러들을 포함하는 DMD(Digital Micro-Mirror Device)를 사용할 수 있다. 각 마이크로 미러는 구동 신호에 따라 온 상태에 대응하는 위치와 오프 상태에 대응하는 위치로 회전하며, 온 상태일 때 외부에 표시될 수 있는 각도로 입사한 광을 반사하고, 오프 상태일 때 외부에 표시되지 않는 각도로 입사한 광을 반사한다.
투사 광학계(450)는 Z축과 평행한 제2 광축(272)을 갖고, 릴레이 렌즈(relay lens, 460)와, 투사 렌즈(projection lens, 470)를 포함한다. 릴레이 렌즈(460) 및 투사 렌즈(470)는 제2 광축(272)에 정렬된다.
릴레이 렌즈(relay lens, 460)는 오버필(overfill)을 감안하여 미러(430)로부터 반사된 광이 표시 소자(440)로 정합되도록 한다. 즉, 릴레이 렌즈(460)는 상기 표시 소자(440)의 픽셀 소자들이 차지하는 면적보다 큰 면적에 미러(430)로부터 반사된 광이 입사되도록 한다.
또한, 릴레이 렌즈(460)는 표시 소자(440)로부터 반사된 광을 수신하고, 상기 광의 빔 면적을 감소시켜서 출력한다. 표시 소자(440)로부터 반사된 광은 그 빔 면적(beam spot size)이 크기 때문에, 상기 투사 렌즈(470)로 전달되지 못하는 광으로 인한 광손실이 클 수 있다. 상기 릴레이 렌즈(460)는 표시 소자(440)로부터 반사된 광을 집광하여 그 빔 면적을 줄임으로써, 투사 렌즈(470)에 최대한 많은 양의 광이 전달되도록 한다.
상기 투사 렌즈(470)는 릴레이 렌즈(460)로부터 빔 면적이 조절된 광을 수신하고, 상기 수신된 광을 시준화 또는 집속하여 외부로 투사한다.
다시 도 3을 참조하면, 제1 및 제2 윈도우(280, 285)는 서로 동일한 구성을 가지며, 각 윈도우(280, 285)는 제어부(290)의 제어에 따라 그 투과율이 변화하며, 오목 거울로서 기능하는 홀로그램 패턴을 구비한다. 이하 제1 윈도우(280)의 구성을 대표적으로 기술하자면 아래와 같다.
도 5는 제1 윈도우의 구성 및 기능을 설명하기 위한 도면이다.
제1 윈도우(280)는 투과율 제어가 가능한, 즉 인가 신호에 따라 투과율이 변화하는 제1 글래스(281) 및 오목 거울로서 기능하는 제1 홀로그래픽 광소자(holographic optical element: HOE, 282)를 포함한다. 이와 마찬가지로, 제2 윈도우(285)는 투과율 제어가 가능한 제2 글래스 및 오목 거울로서 기능하는 제2 홀로그래픽 광소자를 포함한다.
제1 윈도우(280)는 외부로부터 입력된 주변 광(511)을 투과시키고, 제1 프로젝터(270)로부터 입력된 제1 투사 광(521)을 반사 및 집속한다.
투과된 주변 광(512) 및 제1 윈도우(280)에 의해 반사된 제1 투사 광(522)은 좌측 눈(330)에 입력되고, 좌측 눈(330)의 망막(333)에는 주변 광(512)에 의한 주변 풍경 이미지(510)와 반사광에 의한 GUI(520)가 중첩되어 형성된다. 즉, 사용자는 주변 풍경 이미지(510)와 GUI(520)가 중첩된 이미지를 보게 되며, 사용자에게 이러한 GUI(520)는 주변 풍경 위에 투명한 층(즉, GUI)이 겹쳐진 것처럼 보여질 수 있다. GUI(520)는 전화, 연락처, 메시지, 메인 메뉴 등과 같은 메뉴 항목들(또는 아이콘들)을 포함한다. 도 5에서는, GUI(520)가 불투명하게 표시되어 있으나, GUI(520)는 그 밑에 위치하는 주변 이미지(510)가 비치도록 일부 또는 전체 투명하게 표시될 수 있다.
제1 프로젝터(270)로부터 출력된 제1 투사 광(521)은 특정 파장(λ)을 갖는 평행광(즉, 시준화된 광)일 수 있고, 제1 투사 광(521)은 제1 홀로그래픽 광소자(282)의 법선과 특정 각도(θ)를 이루면서 제1 홀로그래픽 광소자(282)에 입사될 수 있다. 제1 홀로그래픽 광소자(282)는 파장 선택성을 갖는 소자로서, 특정 파장(λ)의 광(즉, 본 예에서 제1 투사 광(521))은 반사 및 집속하며, 특정 파장(λ)과 다른 파장의 광(즉, 본 예에서 주변 광(511))은 수렴시키지 않고 그대로 투과시킨다.
제1 홀로그래픽 광소자(282)는 입력된 제1 투사 광(521)을 반사 및 집속하며, 제1 홀로그래픽 광소자(282)로부터 반사된 제1 투사 광(522)은 제1 홀로그래픽 광소자(282)로부터 특정 거리, 즉 아이 릴리프(eye relief) 만큼 떨어져 위치한 좌측 눈(330) 위치, 바람직하게는 좌측 눈(330)의 동공(331) 또는 수정체(332) 위치에 수렴될 수 있다. 이때, 수렴되는 제1 투사 광(522)은 특정 수렴각 또는 시야각(φ)을 가질 수 있다. 수정체(332)는 눈에 입사하는 광의 초점을 조절하는 기능을 하며, 투과된 주변 광(512)은 이러한 수정체(332)에 의해 안구(334) 내에서 수렴됨으로써 망막(333)에 주변 풍경 이미지(510)를 형성한다. 반면에, 반사된 제1 투사 광(522)은 동공(331) 또는 수정체(332) 위치에 수렴하므로, 수정체(332)에 의해 수렴되지 않고 망막(333)에 투사되어 GUI(520)를 형성한다.
바람직하게는, 제1 홀로그래픽 광소자(282)에 입사하는 제1 투사 광(521)이 평행 광인 것으로 예시하고 있으나, 본 발명은 이에 한정되지 않고, 제1 홀로그래픽 광소자(282)에 의해 반사된 제1 투사 광(522)이 동공(331) 또는 수정체(332) 위치에 수렴하는 조건에서 제1 투사 광(521)은 평행 광이 아닌 발산 광 또는 수렴 광일 수 있다.
통상의 HMD 장치를 착용한 사용자가 주변 풍경의 실제 물체를 보기 위하여 눈의 초점을 맞추는 경우, 통상의 HMD 장치에 의해 투사되는 GUI와 같은 가상 이미지의 가상 물체(또는 객체)는 사용자의 망막에 선명하게 맺히지 못하는 문제가 발생할 수 있다. 이러한 상황에서 사용자는 실제 물체와 가상 물체를 동시에 선명하게 보지 못하여, 의도한 증강 현실을 인지하지 못하게 된다. 실제 물체와 가상 물체 사이의 초점 불일치 문제는 양안의 시선 수렴과 단안의 초점 조절 사이의 불일치에서 기인하여 관찰자인 사용자의 피로감을 증가시키는 문제가 발생한다.
본 발명의 HMD 장치(100)는 가상 이미지를 형성하는 투사 광을 동공 또는 수정체 위치에 수렴시킴으로써 이러한 종래의 문제점을 해결한다. 즉, 본 발명은 투사 광이 수정체 위치 또는 그 근접 위치에 수렴하도록 함으로써, 수정체에 의한 투사 광의 초점 변화량을 최소화한다.
이렇게 투사 광이 동공 또는 수정체의 위치에 수렴하게 되는 경우에, 투사 광은 눈의 수정체의 작용에 상관없이 망막에 직접 투사된다. 망막에 투사된 가상 이미지는 수정체의 초점 조절과 수정체 등에 의한 수차에 상관없이 선명한 이미지로 사용자에 의해 인지된다.
제1 홀로그래픽 광소자(282)는 동공(331) 또는 수정체(332)와 제1 홀로그래픽 광소자(282) 사이의 거리에 해당하는 초점거리를 가질 수 있으며, 이러한 경우에 눈의 초점 조절과는 무관하게 가상 이미지가 눈의 망막에 선명하게 맺히게 된다.
도 6은 제1 글래스의 구성을 나타내는 도면이다. 제1 글래스(281)는 제어부(290)에 의해 인가되는 신호 또는 전압에 의해 그 투과율이 변화하는 특성을 갖는다.
상기 제1 글래스(281)로는 전기 변색(Electrochromic) 글래스, SPD(Suspended Particle Device), LC(Liquid Crystal) 등을 사용할 수 있다. 또는, 경우에 따라서, 상기 제1 글래스(281)로서, 신호 인가에 의한 능동 제어가 불가능하고, 특정 파장의 빛이나 온도 변화에 반응하여 투과율이 변화하는 광호변성(Photochromic) 글래스, 감열 변색(Thermochromic) 글래스 등을 사용할 수도 있다.
상기 제1 글래스(281)는, 유리에 투과율 조절이 가능한 물질을 도포하거나, 투과율 조절이 가능한 얇은 막(Thin film)을 유리에 부착하는 방법 등 다양한 방법으로 제작할 수 있다.
본 예에서는, 상기 제1 글래스(281)로서 전기 변색 글래스를 사용하는 것을 예시한다.
제1 글래스(281)는 절연성의 제1 및 제2 기판(610, 615)과, 제1 기판(610)의 상면에 적층된 도전성의 제1 전극(620)과, 제2 기판(615)의 하면에 적층된 도전성의 제2 전극(625)과, 제1 및 제2 기판(610, 615)을 이격시키고 그 사이의 공간을 밀봉하는 절연성의 스페이서(630)와, 제1 및 제2 기판(610, 615) 사이의 공간에 충진된 전기 변색 층(640) 및 전해질(650)을 포함한다.
각 기판(610, 615)은 투명 유리 또는 플라스틱으로 만들어질 수 있으며, 플라스틱은 예를 들어 폴리아크릴레이트, 폴리에틸렌에테르프탈레이트, 폴리에틸렌나프탈레이트, 폴리카보네이트, 폴리아릴레이트, 폴리에테르이미드, 폴리에테르술폰 및 폴리이미드 중의 하나일 수 있다.
제1 전극(620)은 투명 도전체로 만들어질 수 있으며, 예를 들어 인듐 틴 옥사이드(indium tin oxidem ITO), 불소 함유 틴 옥사이드(fluorine tin oxide, FTO) 또는 안티몬 함유 틴 옥사이드(antimony doped tin oxide, ATO)와 같은 무기 도전성 물질이나 폴리아세틸렌 또는 폴리티오펜과 같은 유기 도전성 물질을 포함할 수 있다.
제2 전극(625)은 투명 또는 불투명의 도전성 물질로 만들어질 수 있으며, 예를 들어 인듐 틴 옥사이드(ITO), 불소 함유 틴 옥사이드(FTO), Al과 같은 금속, 안티몬 함유 틴 옥사이드(antimony doped tin oxide, ATO), 또는 이들의 조합을 포함할 수 있다.
제1 전극(620) 위에는 전기 변색 물질을 포함한 전기 변색 층(640)이 배치되어 있다. 전기 변색 층(640)은 제1 전극(620) 위에 필름(film) 형태로 배치될 수 있다.
제1 기판(610)과 제2 기판(615)은 스페이서(630)에 의해 고정되어 있으며, 제1 기판(610)과 제2 기판(615) 사이에는 전해질(650)이 채워져 있다. 전해질(650)은 전기 변색 물질과 반응하는 산화/환원 물질을 공급하며, 액체 전해질 또는 고체 고분자 전해질일 수 있다. 액체 전해질로는 예컨대 LiOH 또는 LiClO4과 같은 리튬 염, KOH과 같은 포타슘 염 및 NaOH와 같은 소듐 염 등이 용매에 용해되어 있는 용액을 사용할 수 있으나, 이에 한정되는 것은 아니다. 고체 전해질로는 예컨대 폴리(2-아크릴아미노-2-메틸프로판 술폰산)(poly(2-acrylamino-2-methylpropane sulfonic acid), 폴리에틸렌옥사이드(poly(ethylene oxide)) 등을 사용할 수 있으나, 이에 한정되는 것은 아니다.
전기 변색 층(640)을 이루는 물질, 즉 전기 변색 물질은 금속과, 상기 금속과 배위를 형성할 수 있는 작용기를 가지는 유기 화합물이 결합되어 있는 금속-유기 복합재를 포함할 수 있다. 상기 금속은 경금속, 전이 금속, 란타나이드 금속, 알칼리 금속 또는 이들의 조합을 포함할 수 있으며, 상기 금속은 베릴륨(Be), 바륨(Ba), 구리(Cu), 아연(Zn), 세륨(Ce), 마그네슘(Mg), 알루미늄(Al), 티타늄(Ti) 또는 이들의 조합을 포함할 수 있다. 상기 작용기는 카르복실기(carboxyl group), 피리딘기(pyridine group), 이미다졸기(imidazole group) 또는 이들의 조합을 포함할 수 있다. 상기 유기 화합물은 비올로겐(viologen) 유도체, 안트라퀴논(anthraquinone) 유도체 또는 이들의 조합을 포함할 수 있다.
도 7은 제1 홀로그래픽 광소자의 홀로그래픽 패턴을 나타내는 도면이다.
제1 홀로그래픽 광소자(282, 282a)는 다수의 동심원들로 이루어진 홀로그래픽 패턴(710, 710a)을 포함한다. 예를 들어, 제1 홀로그래픽 광소자(282, 282a)는 투명 기판과, 상기 투명 기판에 적층된 홀로그래픽 패턴 층을 포함할 수 있다.
도 7의 (a)는 동심원들의 중심부가 홀로그래픽 패턴(710)의 중심에 위치하는 제1 홀로그래픽 광소자(282)의 예를 나타내고, 도 7의 (b)는 동심원들의 중심부가 홀로그래픽 패턴(710a)의 가장자리에 위치하는 제1 홀로그래픽 광소자(282a)의 예를 나타낸다.
다시 도 3을 참조하면, 제어부(290)는 HMD 장치(100)의 전반적인 동작을 제어하며, HMD 장치(100) 내 다른 구성 소자들을 제어하여 가상 이미지 제공 방법을 수행한다. 제어부(290)는 싱글 코어, 듀얼 코어, 트리플 코어, 또는 쿼드 코어 프로세서를 포함할 수 있다. 제어부(290)는 통신부(240)를 통해 방송국에서부터 송출되는 방송 신호(예, TV방송 신호, 라디오방송 신호 또는 데이터방송 신호)와 방송 부가 정보(예, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 또는, 제어부(290)는 메모리(220)에 저장되어 있거나 통신부(240)를 통해 수신되는 디지털 오디오 파일(예, 파일 확장자가 mp3, wma, ogg 또는 wav인 파일)을 스피커(211)를 통해 재생할 수 있다. 또는, 제어부(290)는 메모리(220)에 저장되어 있거나 통신부(240)를 통해 수신되는 디지털 동영상 파일(예, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 제1 및/또는 제2 프로젝터(270, 275)를 통해 재생할 수 있다. 상기 제어부(290)는 센서부(225), 입/출력 모듈(210), 카메라(260) 또는 터치 센서(250)를 통해 입력되는 사용자 명령, 메뉴 항목 또는 아이콘 선택, 또는 이벤트 정보에 따라 메모리(220)에 저장되어 있거나, 통신부(240)를 통해 수신되거나, 메모리(220)에 저장된 데이터를 이용하여 제어부(290)에 의해 구성된 이미지 데이터(구체적인 예로서, GUI)를 제1 및/또는 제2 프로젝터(270, 275)를 통해 사용자에게 표시할 수 있다. 이때, 상기 이미지는 정지 이미지 또는 동영상일 수 있다.
메모리(220)는 제어부(290)의 제어에 따라 신호 또는 데이터를 저장할 수 있다. 메모리(220)는 HMD 장치(100) 또는 제어부(290)를 위한 제어 프로그램 및 애플리케이션들을 저장할 수 있다.
메모리라는 용어는 제어부(290) 내 롬, 램 또는 HMD 장치(100)에 장착되는 메모리 카드(도시되지 아니함)(예, SD 카드, 메모리 스틱), 비휘발성 메모리, 휘발성 메모리, 솔리드 스테이트 드라이브(SSD) 등을 포함할 수 있다.
도 8 및 도 9는 HMD 장치의 투과율 제어를 설명하기 위한 도면들이다. 제1 및 제2 윈도우(280, 285)는 각각 제어부(290)의 제어에 따라 투과율을 조절함으로써, GUI와 같은 가상 이미지의 시인성을 높일 수 있다.
제1 및 제2 윈도우(280, 285)는 각각 인가 전압의 변화에 따라 광 투과율을 조절할 수 있기 때문에, 가상 이미지를 형성하기 위한 제1 및/또는 제2 프로젝터(270, 275)의 출력을 감소시킬 수 있고, 이로 인해 제1 및/또는 제2 프로젝터(270, 275)의 전체 소모 전력과 발열을 감소시킬 수 있으며, 또한 HMD 장치(100)의 배터리(230) 사용 시간을 증가시킬 수 있다.
도 8은 사용자가 실내에서 TV를 시청하는 경우를 나타낸다.
도 8의 (a)를 참고하면, 사용자는 실내에서 HMD 장치(100)를 착용한 상태로 TV(810)를 시청한다. 주변 조도가 낮은 실내에서는 제1 및 제2 프로젝터(270, 275)에 의해 형성된 제1 및 제2 GUI(820, 825)의 시인성이 높기 때문에, 제1 및 제2 윈도우(280, 285)의 투과율을 상대적으로 높게 설정한다. 예를 들어, 제어부(290)는 제1 및 제2 윈도우(280, 285)의 투과율을 최대로 설정하거나 30% 이상으로 설정할 수 있다. 이때, 제1 및 제2 GUI(820, 825)는 그 표시 위치만 상이할 뿐 서로 동일하다.
도 9는 사용자가 야외에서 주변 풍경을 보는 경우를 나타낸다.
도 9의 (a)를 참고하면, 사용자는 야외에서 HMD 장치(100)를 착용한 상태로 주변 풍경(910)을 본다. 주변 조도가 높은 야외에서는 제1 및 제2 프로젝터(270, 275)에 의해 형성된 제1 및 제2 GUI(920, 925)의 시인성이 낮기 때문에, 제1 및 제2 윈도우(280, 285)의 투과율을 상대적으로 낮게 설정한다. 예를 들어, 제어부(290)는 제1 및 제2 윈도우(280, 285)의 투과율을 최소로 설정하거나 10% 이하로 설정할 수 있다.
도 8 및 도 9에서 제1 GUI(820, 920) 및 제2 GUI(825, 925)는 제1 및 제2 윈도우(280, 285) 상에 형성되는 것이 아니라 사용자에 의해 보여지는 이미지들을 나타낸다. 도 8 및 도 9에서는, 각 GUI가 불투명하게 표시되어 있으나, GUI는 그 밑에 위치하는 주변 풍경이 비치도록 일부 또는 전체 투명하게 표시될 수 있다.
제어부(290)는 센서부(225)를 통해 주변 조도를 측정하고, 주변 조도가 기설정된 기준 조도 또는 기준 조도 범위보다 낮은 경우에 제1 및 제2 윈도우(280, 285)의 투과율을 증가시키고(즉, 투과율이 상대적으로 높음), 주변 조도가 기설정된 기준 조도보다 높은 경우에 제1 및 제2 윈도우(280, 285)의 투과율을 감소시킨다(즉, 투과율이 상대적으로 낮음). 이러한 기준 조도는 현재 설정되어 있는 주변 조도일 수 있으며, 제어부(290)는 주변 조도의 변화가 없는 경우에 제1 및 제2 윈도우(280, 285)의 투과율을 그대로 유지할 수 있다. 제어부(290)는 현재 설정되어 있는 주변 조도 및/또는 투과율을 메모리(220)에 저장할 수 있다.
메모리(220)는 서로 대응하는 주변 조도 값들과 투과율들(및/또는 각 윈도우(280, 285)의 인가 전압 값)을 나타내는 데이터 테이블을 저장할 수 있으며, 상기 제어부(290)는 상기 데이터 테이블에 근거하여 맵핑, 보간 또는 수식 계산 등을 통해 주변 조도 값에 대응하는 목표 투과율(및/또는 각 윈도우(280, 285)의 인가 전압 값)을 산출한다. 제어부(290)는 산출된 투과율에 대응하는 전압을 각 윈도우(280, 285), 더 구체적으로는 각 글래스에 인가함으로써, 각 윈도우(280, 285)의 투과율을 산출된 목표 투과율로 조절한다.
도 10은 본 발명의 바람직한 실시 예에 따른 가상 이미지 제공 방법을 나타내는 흐름도이다.
가상 이미지 제공 방법은, S1010 단계 내지 S1060 단계를 포함하고, 본 예에서는 GUI를 가상 이미지로서 예시하고 있다.
S1010 단계는 주변 조도 측정 단계로서, 제어부(290)는 센서부(225) 또는 카메라(260)를 이용하여 주변 조도를 측정한다. 센서부(225)는 조도 센서를 포함할 수 있고, 센서부(225)에 의해 측정된 주변 조도 값은 센서부(225)로부터 제어부(290)로 출력된다. 카메라(260)는 렌즈계를 통해 입력되는(또는 촬영되는) 주변 풍경을 형성하는 광을 전기적인 이미지 신호로 변환하여 제어부(290)로 출력하는 소자이기 때문에, 제어부(290)는 광의 밝기 값을 이용하여 주변 조도를 측정할 수도 있다.
S1020 단계는 투과율 산출 단계로서, 제어부(290)는 메모리(220)에 저장된 서로 대응하는 주변 조도 값들과 투과율들(및/또는 각 윈도우(280, 285)의 인가 전압 값)을 나타내는 데이터 테이블을 이용하여, 주변 조도 값에 대응하는 목표 투과율(및/또는 각 윈도우(280, 285)의 인가 전압 값)을 산출한다.
S1030 단계는 투과율 제어 단계로서, 제어부(290)는 산출된 목표 투과율에 대응하는 전압을 각 윈도우(280, 285)의 글래스에 인가함으로써, 각 윈도우(280, 285)의 투과율을 산출된 목표 투과율로 조절한다. 즉, 제어부(290)는 각 윈도우(280, 285)의 투과율이 산출된 목표 투과율과 일치하도록 각 윈도우(280, 285)를 제어한다.
S1040 단계는 제1 GUI 제공 단계로서, 제어부(290)는 메모리(220)에 저장된 데이터를 이용하여 제1 GUI를 구성하고, 구성된 제1 GUI를 제1 및/또는 제2 프로젝터(270, 275)를 통해 사용자에게 표시한다. 이러한 제1 GUI는 HMD 장치(100)를 파워 온 또는 시작한 경우에 사용자에게 처음으로 표시되는 기본 GUI일 수 있으며, 예를 들어, 도 5에 도시된 바와 같은 GUI(520)가 사용자에게 표시될 수 있다.
S1050 단계는 사용자 입력 수신 단계로서, 제어부(290)는 입/출력 모듈(210), 터치 센서(250), 카메라(260) 또는 통신부(240)를 통해 사용자 입력을 수신한다. 사용자는 입/출력 모듈(210) 또는 터치 센서(250)를 통해 버튼(213), 아이콘 또는 메뉴 항목을 선택하거나, 마이크(212)를 통해 음성 명령을 입력하거나, 카메라(260)를 통해 제스쳐 또는 모션 입력을 수행하거나, 통신부(240)를 통해 무선으로 특정 명령을 입력할 수 있다. 이러한 명령은 애플리케이션 실행 명령일 수 있으며, 이러한 애플리케이션은 임의의 애플리케이션일 수 있으며, 예를 들어, 음성 인식 애플리케이션, 스케줄 관리 애플리케이션, 문서 작성 애플리케이션, 뮤직 애플리케이션, 인터넷 애플리케이션, 지도 애플리케이션, 카메라 애플리케이션, 이메일 애플리케이션, 이미지 편집 애플리케이션, 검색 애플리케이션, 파일 탐색 애플리케이션, 비디오 애플리케이션, 게임 애플리케이션, SNS 애플리케이션, 전화 애플리케이션, 메시지 애플리케이션 등일 수 있다. 제스쳐 또는 모션 입력은, 예를 들어, 사용자가 손 또는 손가락으로 카메라(260)를 향해 원형, 삼각형, 사각형 등의 미리 설정된 패턴의 궤적을 그리는 경우를 말한다. 본 예에서는, 사용자 입력에 따라 애플리케이션을 실행하는 것으로 예시하고 있으나, 이러한 애플리케이션은 메시지 수신, 콜 수신, 알람 이벤트 발생 등과 같은 이벤트의 발생에 따라 자동으로 실행될 수도 있다.
S1060 단계는 제2 GUI 제공 단계로서, 제어부(290)는 사용자 입력에 따라 메모리(220)에 저장된 데이터를 이용하여 제2 GUI를 구성하고, 구성된 제2 GUI를 제1 및/또는 제2 프로젝터(270, 275)를 통해 사용자에게 표시한다. 이러한 제2 GUI는 애플리케이션 창일 수 있다. 이러한 제1 GUI를 제2 GUI로 변경하는 것은 사용자 입력에 따라 GUI를 업데이트하는 것으로 설명될 수도 있다.
이하 기술되는 가상 이미지 제공 방법의 예들에 대한 설명에서, 제1 프로젝터(270) 및 제1 윈도우(280)에 의해 표시되는 GUI만을 예시하고 있으나, 이러한 설명은 제2 프로젝터(275) 및 제2 윈도우(285)에 의해 표시되는 제2의 GUI에도 동일하게 적용될 수 있다.
도 11 내지 도 13은 가상 이미지 제공 방법의 제1 예를 설명하기 위한 도면들이다.
먼저, 사용자는 터치 센서(250), 입/출력 모듈(210) 또는 카메라(260)를 통하여 버튼(213), 아이콘 또는 메뉴 항목의 선택, 음성 명령, 제스쳐 또는 모션 입력, 터치 패턴의 입력 등을 수행하고, 제어부(290)는 이러한 사용자 입력에 대응하여 음성 인식 애플리케이션을 실행한다. 제어부(290)는 메모리(220)에 저장된 데이터를 이용하여 애플리케이션 창(1110a)을 구성하고, 구성된 애플리케이션 창(1110a)을 제1 프로젝터(270) 및 제1 윈도우(280)를 통해 사용자에게 표시한다.
도 11 내지 도 13을 포함한 이하의 예들에서 음성 인식 애플리케이션 창(1110a)은 실제 제1 윈도우(280) 상에 표시되는 것이 아니라 사용자의 눈에 보이는 것을 나타낸 것이다.
이하, 음성 인식 애플리케이션 및 다른 애플리케이션이 프로그램 동작의 주체로 예시되기도 하나, 프로그램 동작은 제어부(290)가 수행하는 것으로 기술될 수 있다.
도 11은 음성 인식 애플리케이션의 초기 화면을 나타내는 도면이다.
음성 인식 애플리케이션은 초기 구동되면, “어떤 작업을 실행할까요?”, 또는 “What would you like to do?”라는 사용 안내 문구(1130)를 애플리케이션 창(1110a)에 표시한다.
음성 인식 애플리케이션 창(1110a)의 하부에는, 음성 인식 모드를 실행하는 음성 인식 버튼(1120)과, 선택적으로, 선택한 경우에 사용 방법을 음성으로 안내하는 음성 안내 버튼이 음성 인식 버튼(1120)의 일측에 배치되고, 선택적으로, 사용 방법의 예들을 표시하는 도움말 버튼이 음성 인식 버튼(1120)의 타측에 배치된다.
도 12를 참조하면, 사용자는 마이크(212)를 통해 원하는 명령, 본 예에서는 “서울 날씨”라는 내용의 명령을 음성으로 입력한다.
음성 인식 애플리케이션은 사용자가 입력한 음성 명령을 인식하고, 상기 음성 명령을 텍스트 데이터로 변환한다.
음성 인식 애플리케이션은 애플리케이션 창(1110b)에 변환된 텍스트 데이터(1140)를 표시한다.
도 13을 참조하면, 음성 인식 애플리케이션은 상기 변환된 텍스트 데이터(1140)를 검색어로 하여 서울 날씨를 검색하고, 검색 결과(1150, 1160), 즉 안내 문구(1150) 및 날씨 정보(1160)를 애플리케이션 창(1110c)에 표시한다. 이 때, 음성 인식 애플리케이션은 변환된 텍스트 데이터(1140)와 HMD 장치(100)의 현재 위치(예를 들어, 서교동)를 검색어로 하여 서울 날씨를 검색할 수도 있다.
음성 인식 애플리케이션은 상기 변환된 텍스트 데이터(1140)를 다시 음성 데이터로 변환하고, 상기 변환된 음성 데이터를 음성 인식 서버로 전송하고, 음성 인식 서버로부터 수신한 응답 결과를 사용자에게 제공할 수도 있다. 또는, 음성 인식 애플리케이션은 변환된 텍스트 데이터(1140)를 음성 인식 서버로 전송하고, 음성 인식 서버로부터 수신한 응답 결과를 사용자에게 제공할 수도 있다.
도 14는 가상 이미지 제공 방법의 제2 예를 설명하기 위한 도면이다.
먼저, 사용자는 터치 센서(250), 입/출력 모듈(210) 또는 카메라 (260)를 통하여 버튼(213), 아이콘 또는 메뉴 항목의 선택, 음성 명령, 제스쳐 또는 모션 입력, 터치 패턴의 입력 등을 수행하고, 제어부(290)는 이러한 사용자 입력에 대응하여 뮤직 애플리케이션을 실행한다. 제어부(290)는 메모리(220)에 저장된 데이터를 이용하여 뮤직 애플리케이션 창(1410)을 구성하고, 구성된 뮤직 애플리케이션 창(1410)을 제1 프로젝터(270) 및 제1 윈도우(280)를 통해 사용자에게 표시한다.
뮤직 애플리케이션은 사용자의 선택에 따르거나 디폴트로 설정된 음악을 재생하며, 재생 중인 음악의 곡명, 재생 시간 등을 애플리케이션 창(1410)에 표시한다. 뮤직 애플리케이션 창(1410)의 하부에는, 일시 중지, 빨리 감기, 되감기 등의 메뉴 항목(1420)과, 선택 가능한 음악 목록을 표시하기 위한 Lists 버튼 등이 제공될 수 있다.
도 15는 가상 이미지 제공 방법의 제3 예를 설명하기 위한 도면이다.
먼저, 사용자는 터치 센서(250), 입/출력 모듈(210) 또는 카메라 (260)를 통하여 버튼(213), 아이콘 또는 메뉴 항목의 선택, 음성 명령, 제스쳐 또는 모션 입력, 터치 패턴의 입력 등을 수행하고, 제어부(290)는 이러한 사용자 입력에 대응하여 통화 애플리케이션을 실행한다. 제어부(290)는 메모리(220)에 저장된 데이터를 이용하여 통화 애플리케이션 창(1510)을 구성하고, 구성된 통화 애플리케이션 창(1510)을 제1 프로젝터(270) 및 제1 윈도우(280)를 통해 사용자에게 표시한다.
통화 애플리케이션은 전화 번호 입력을 위한 키패드(1520)와, 키패드 변환, 최근 기록, 연락처, 즐겨찾기 등의 메뉴 항목들(1530)을 통화 애플리케이션 창(1510)에 표시한다.
도 16은 가상 이미지 제공 방법의 제4 예를 설명하기 위한 도면이다.
먼저, 사용자는 터치 센서(250), 입/출력 모듈(210) 또는 카메라 (260)를 통하여 버튼(213), 아이콘 또는 메뉴 항목의 선택, 음성 명령, 제스쳐 또는 모션 입력, 터치 패턴의 입력 등을 수행하고, 제어부(290)는 이러한 사용자 입력에 대응하여 카메라 애플리케이션을 실행한다. 제어부(290)는 메모리(220)에 저장된 데이터를 이용하여 카메라 애플리케이션 창(1610)을 구성하고, 구성된 카메라 애플리케이션 창(1610)을 제1 프로젝터(270) 및 제1 윈도우(280)를 통해 사용자에게 표시한다.
카메라 애플리케이션은 사진 촬영을 위한 촬영 버튼(1620)과, 촬영 위치 또는 포커스 위치 표시자(1630)와, 환경 설정, 플래시 등의 메뉴 항목들(1640)을 카메라 애플리케이션 창(1610)에 표시한다.
도 17은 가상 이미지 제공 방법의 제5 예를 설명하기 위한 도면이다.
먼저, 사용자는 터치 센서(250), 입/출력 모듈(210) 또는 카메라 (260)을 통하여 버튼(213), 아이콘 또는 메뉴 항목의 선택, 음성 명령, 제스쳐 또는 모션 입력, 터치 패턴의 입력 등을 수행하고, 제어부(290)는 이러한 사용자 입력에 대응하여 메시지 애플리케이션을 실행한다. 제어부(290)는 메모리(220)에 저장된 데이터를 이용하여 메시지 애플리케이션 창(1710)을 구성하고, 구성된 메시지 애플리케이션 창(1710)을 제1 프로젝터(270) 및 제1 윈도우(280)를 통해 사용자에게 표시한다.
메시지 애플리케이션은 텍스트 입력을 위한 키패드(1720)와, 메시지 전송, 파일 첨부 등의 메뉴 항목들(1730)을 메시지 애플리케이션 창(1710)에 표시한다.
본 발명의 실시 예들은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합의 형태로 실현 가능하다는 것을 알 수 있을 것이다. 이러한 임의의 소프트웨어는 예를 들어, 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. HMD 장치 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 따라서, 본 발명은 본 명세서의 임의의 청구항에 기재된 장치 또는 방법을 구현하기 위한 코드를 포함하는 프로그램 및 이러한 프로그램을 저장하는 기계로 읽을 수 있는 저장 매체를 포함한다. 또한, 이러한 프로그램은 유선 또는 무선 연결을 통해 전달되는 통신 신호와 같은 임의의 매체를 통해 전자적으로 이송될 수 있고, 본 발명은 이와 균등한 것을 적절하게 포함한다.
또한, 상기 HMD 장치는 유선 또는 무선으로 연결되는 프로그램 제공 장치로부터 상기 프로그램을 수신하여 저장할 수 있다. 상기 프로그램 제공 장치는 상기 HMD 장치가 기설정된 가상 이미지를 사용자에게 제공하는 방법을 수행하도록 하는 지시들을 포함하는 프로그램, 가상 이미지를 사용자에게 제공하는 방법에 필요한 정보 등을 저장하기 위한 메모리와, 상기 HMD 장치와의 유선 또는 무선 통신을 수행하기 위한 통신부와, 상기 HMD 장치의 요청 또는 자동으로 해당 프로그램을 상기 HMD 장치로 전송하는 제어부를 포함할 수 있다.
210: 입/출력 모듈, 220: 메모리, 225: 센서부, 230: 배터리, 235: 전력 관리부, 240: 통신부, 250: 터치 센서, 260: 카메라, 270: 제1 프로젝터, 275: 제2 프로젝터, 280: 제1 윈도우, 285: 제2 윈도우, 290: 제어부

Claims (15)

  1. 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법에 있어서,
    주변 조도를 검출하는 단계와;
    상기 주변 조도에 대응하는 상기 헤드-마운티드 디스플레이 장치에 구비된 윈도우의 목표 투과율을 산출하는 단계와;
    상기 목표 투과율에 따라 상기 윈도우의 투과율을 조절하는 단계와;
    프로젝터를 이용하여 상기 윈도우에 광을 투사함으로써, 상기 윈도우에 의해 반사된 광에 의해 형성된 가상 이미지를 상기 사용자에게 제공하는 단계를 포함함을 특징으로 하는 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법.
  2. 제1항에 있어서,
    상기 윈도우에 의해 반사된 광은 상기 사용자의 눈의 동공 또는 수정체의 위치에 수렴함을 특징으로 하는 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법.
  3. 제1항에 있어서,
    서로 대응하는 주변 조도 값들과 상기 윈도우의 투과율들을 나타내는 데이터 테이블을 이용하여, 상기 검출된 주변 조도에 대응하는 상기 윈도우의 투과율을 산출함을 특징으로 하는 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법.
  4. 제1항에 있어서,
    상기 검출된 주변 조도가 현재 설정되어 있는 주변 조도보다 높은 경우에 상기 윈도우의 투과율을 감소시키고, 상기 검출된 주변 조도가 현재 설정되어 있는 주변 조도보다 낮은 경우에 상기 윈도우의 투과율을 증가시키는 것을 특징으로 하는 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법.
  5. 제1항에 있어서,
    상기 사용자의 입력을 수신하는 단계와;
    상기 사용자의 입력에 따라 상기 가상 이미지를 업데이트하여 표시하는 단계를 더 포함함을 특징으로 하는 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법.
  6. 제1항에 있어서,
    상기 가상 이미지는 사용자 입력 또는 이벤트 발생에 따른 사용자 그래픽 인터페이스임을 특징으로 하는 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 따른 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법을 실행하기 위한 프로그램을 기록한 기계로 읽을 수 있는 저장 매체.
  8. 제7항의 기계로 읽을 수 있는 저장 매체를 포함하는 헤드-마운티드 디스플레이 장치.
  9. 사용자에게 가상 이미지를 제공하는 헤드-마운티드 디스플레이 장치에 있어서,
    주변 조도를 검출하는 센서부와;
    광을 투사하는 프로젝터와;
    상기 프로젝터에 의해 투사된 광을 집속 및 반사함으로써, 상기 반사된 광에 의해 형성된 가상 이미지를 상기 사용자에게 제공하는 윈도우와;
    상기 주변 조도에 대응하는 상기 윈도우의 목표 투과율을 산출하고, 상기 목표 투과율에 따라 상기 윈도우의 투과율을 조절하는 제어부를 포함함을 특징으로 하는 헤드-마운티드 디스플레이 장치.
  10. 제9항에 있어서,
    상기 윈도우는 상기 헤드-마운티드 디스플레이 장치의 외부로부터 입력된 주변 광을 투과시키고, 상기 프로젝터로부터 입력된 광을 반사 및 집속함을 특징으로 하는 헤드-마운티드 디스플레이 장치.
  11. 제9항에 있어서,
    상기 윈도우에 의해 반사된 광은 상기 사용자의 눈의 동공 또는 수정체의 위치에 수렴함을 특징으로 하는 헤드-마운티드 디스플레이 장치.
  12. 제9항에 있어서, 상기 윈도우는,
    상기 제어부로부터 인가된 신호에 따라 투과율이 변화하는 글래스와;
    상기 프로젝터로부터 입력된 광을 반사 및 집속하는 홀로그래픽 패턴을 갖는 홀로그래픽 광소자를 포함함을 특징으로 하는 헤드-마운티드 디스플레이 장치.
  13. 제9항에 있어서,
    서로 대응하는 주변 조도 값들과 상기 윈도우의 투과율들을 나타내는 데이터 테이블을 저장한 메모리를 더 포함하고,
    상기 제어부는 상기 데이터 테이블을 이용하여 상기 검출된 주변 조도에 대응하는 상기 윈도우의 투과율을 산출함을 특징으로 하는 헤드-마운티드 디스플레이 장치.
  14. 제9항에 있어서,
    상기 제어부는 상기 목표 투과율에 대응하는 전압을 상기 윈도우에 인가함으로써, 상기 윈도우의 투과율을 조절함을 특징으로 하는 헤드-마운티드 디스플레이 장치.
  15. 제9항에 있어서,
    상기 제어부는 상기 검출된 주변 조도가 현재 설정되어 있는 주변 조도보다 높은 경우에 상기 윈도우의 투과율을 감소시키고, 상기 제어부는 상기 검출된 주변 조도가 현재 설정되어 있는 주변 조도보다 낮은 경우에 상기 윈도우의 투과율을 증가시키는 것을 특징으로 하는 헤드-마운티드 디스플레이 장치.
KR1020120118251A 2012-10-24 2012-10-24 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 헤드-마운티드 디스플레이 장치 Ceased KR20140052294A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020120118251A KR20140052294A (ko) 2012-10-24 2012-10-24 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 헤드-마운티드 디스플레이 장치
US14/062,397 US10001647B2 (en) 2012-10-24 2013-10-24 Method for providing virtual image to user in head-mounted display device, machine-readable storage medium, and head-mounted display device
US16/006,447 US10775623B2 (en) 2012-10-24 2018-06-12 Method for providing virtual image to user in head-mounted display device, machine-readable storage medium, and head-mounted display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120118251A KR20140052294A (ko) 2012-10-24 2012-10-24 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 헤드-마운티드 디스플레이 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020190067342A Division KR20190070899A (ko) 2019-06-07 2019-06-07 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 헤드-마운티드 디스플레이 장치

Publications (1)

Publication Number Publication Date
KR20140052294A true KR20140052294A (ko) 2014-05-07

Family

ID=50485088

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120118251A Ceased KR20140052294A (ko) 2012-10-24 2012-10-24 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 헤드-마운티드 디스플레이 장치

Country Status (2)

Country Link
US (2) US10001647B2 (ko)
KR (1) KR20140052294A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160079444A (ko) * 2014-12-26 2016-07-06 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
KR20170044706A (ko) * 2014-08-21 2017-04-25 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 증강 현실 및 가상 현실 지각용 전기변색 디밍 모듈을 구비한 헤드 마운트 디스플레이
KR20220020308A (ko) * 2014-10-15 2022-02-18 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치

Families Citing this family (57)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US20150205111A1 (en) * 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9366867B2 (en) 2014-07-08 2016-06-14 Osterhout Group, Inc. Optical systems for see-through displays
CN103970258B (zh) * 2013-01-28 2018-08-07 联想(北京)有限公司 穿戴式电子设备以及显示方法
US10262462B2 (en) 2014-04-18 2019-04-16 Magic Leap, Inc. Systems and methods for augmented and virtual reality
KR20150041453A (ko) * 2013-10-08 2015-04-16 엘지전자 주식회사 안경형 영상표시장치 및 그것의 제어방법
US9367035B2 (en) 2014-01-13 2016-06-14 Raytheon Company Digital infrared holograms
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9366868B2 (en) 2014-09-26 2016-06-14 Osterhout Group, Inc. See-through computer display systems
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US20150206173A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US12105281B2 (en) 2014-01-21 2024-10-01 Mentor Acquisition One, Llc See-through computer display systems
US12093453B2 (en) 2014-01-21 2024-09-17 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20160187651A1 (en) * 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
TWI519817B (zh) * 2014-05-06 2016-02-01 中強光電股份有限公司 智慧型安全帽
US20160062118A1 (en) * 2014-07-22 2016-03-03 Osterhout Group, Inc. External user interface for head worn computing
US8886622B1 (en) * 2014-06-03 2014-11-11 Conduce Inc. Interactive visualization of multiple data sources across multiple computers
US9746739B2 (en) 2014-06-05 2017-08-29 Microsoft Technology Licensing, Llc See-through dimming panel
KR20160005899A (ko) * 2014-07-08 2016-01-18 엘지전자 주식회사 디지털 이미지 처리 장치, 시스템 및 제어 방법
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
US11003246B2 (en) 2015-07-22 2021-05-11 Mentor Acquisition One, Llc External user interface for head worn computing
US10139966B2 (en) 2015-07-22 2018-11-27 Osterhout Group, Inc. External user interface for head worn computing
US10437071B2 (en) * 2015-10-12 2019-10-08 North Inc. Adjustable pupil distance wearable display
US10409076B2 (en) * 2015-10-12 2019-09-10 North Inc. Adjustable pupil distance wearable display
JP2019506776A (ja) * 2015-12-30 2019-03-07 シェンジェン ロイオル テクノロジーズ カンパニー リミテッドＳｈｅｎｚｈｅｎ Ｒｏｙｏｌｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．， Ｌｔｄ． ヘッドマウントディスプレイデバイス及びその制御方法
US10466491B2 (en) 2016-06-01 2019-11-05 Mentor Acquisition One, Llc Modular systems for head-worn computers
US10824253B2 (en) 2016-05-09 2020-11-03 Mentor Acquisition One, Llc User interface systems for head-worn computers
US10684478B2 (en) 2016-05-09 2020-06-16 Mentor Acquisition One, Llc User interface systems for head-worn computers
US9910284B1 (en) 2016-09-08 2018-03-06 Osterhout Group, Inc. Optical systems for head-worn computers
US10044925B2 (en) * 2016-08-18 2018-08-07 Microsoft Technology Licensing, Llc Techniques for setting focus in mixed reality applications
US11507216B2 (en) * 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
US9983687B1 (en) * 2017-01-06 2018-05-29 Adtile Technologies Inc. Gesture-controlled augmented reality experience using a mobile communications device
US10422995B2 (en) 2017-07-24 2019-09-24 Mentor Acquisition One, Llc See-through computer display systems with stray light management
US11409105B2 (en) 2017-07-24 2022-08-09 Mentor Acquisition One, Llc See-through computer display systems
US10578869B2 (en) 2017-07-24 2020-03-03 Mentor Acquisition One, Llc See-through computer display systems with adjustable zoom cameras
US10969584B2 (en) 2017-08-04 2021-04-06 Mentor Acquisition One, Llc Image expansion optic for head-worn computer
US10152141B1 (en) 2017-08-18 2018-12-11 Osterhout Group, Inc. Controller movement tracking with light emitters
US11157081B1 (en) * 2020-07-28 2021-10-26 Shenzhen Yunyinggu Technology Co., Ltd. Apparatus and method for user interfacing in display glasses
CN114579034A (zh) * 2022-03-02 2022-06-03 北京字节跳动网络技术有限公司 一种信息交互方法、装置、显示设备及存储介质

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH086708A (ja) 1994-04-22 1996-01-12 Canon Inc 表示装置
JP3632392B2 (ja) 1997-08-14 2005-03-23 富士ゼロックス株式会社 網膜ディスプレイ装置
US20040108971A1 (en) * 1998-04-09 2004-06-10 Digilens, Inc. Method of and apparatus for viewing an image
US7928955B1 (en) * 2000-03-13 2011-04-19 Intel Corporation Automatic brightness control for displays
JP4411547B2 (ja) 2006-03-20 2010-02-10 ソニー株式会社 画像表示装置
KR101367958B1 (ko) 2007-12-18 2014-02-26 삼성전자주식회사 광 셔터를 구비한 두부 탑재형 표시 단말기
DE102008049407A1 (de) * 2008-09-29 2010-04-01 Carl Zeiss Ag Anzeigevorrichtung und Anzeigeverfahren
WO2011106797A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9122321B2 (en) * 2012-05-04 2015-09-01 Microsoft Technology Licensing, Llc Collaboration environment using see through displays

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170044706A (ko) * 2014-08-21 2017-04-25 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 증강 현실 및 가상 현실 지각용 전기변색 디밍 모듈을 구비한 헤드 마운트 디스플레이
KR20220020308A (ko) * 2014-10-15 2022-02-18 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
US11353707B2 (en) 2014-10-15 2022-06-07 Samsung Electronics Co., Ltd. Method and apparatus for processing screen using device
US11914153B2 (en) 2014-10-15 2024-02-27 Samsung Electronics Co., Ltd. Method and apparatus for processing screen using device
US12007570B2 (en) 2014-10-15 2024-06-11 Samsung Electronics Co., Ltd. Method and apparatus for processing screen using device
KR20160079444A (ko) * 2014-12-26 2016-07-06 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
US10775623B2 (en) 2020-09-15
US10001647B2 (en) 2018-06-19
US20140111838A1 (en) 2014-04-24
US20180292649A1 (en) 2018-10-11

Similar Documents

Publication Publication Date Title
US10775623B2 (en) Method for providing virtual image to user in head-mounted display device, machine-readable storage medium, and head-mounted display device
US11333891B2 (en) Wearable display apparatus having a light guide element that guides light from a display element and light from an outside
US10338389B2 (en) Head mounted display device for displaying image and method thereof
KR102321362B1 (ko) 헤드 마운트 디스플레이 디바이스가 영상을 디스플레이하는 방법 및 그 헤드 마운트 디스플레이 디바이스
US9618747B2 (en) Head mounted display for viewing and creating a media file including omnidirectional image data and corresponding audio data
JP6573593B2 (ja) 入出力構造を有する着用可能な装置
KR102328689B1 (ko) 착용식 디스플레이 장치
CN118215931A (zh) 用于在电子装置和可穿戴电子装置之间提供与增强现实服务相关的内容的方法和装置
US8854452B1 (en) Functionality of a multi-state button of a computing device
US12450837B2 (en) Contextual visual and voice search from electronic eyewear device
US9958681B2 (en) Electronic device and control method thereof
KR20190070899A (ko) 헤드-마운티드 디스플레이 장치에서 가상 이미지를 사용자에게 제공하는 방법, 기계로 읽을 수 있는 저장 매체 및 헤드-마운티드 디스플레이 장치
EP3767359A1 (en) Liquid iris, optical device comprising same, and mobile terminal
US20250111852A1 (en) Voice-controlled settings and navigation
CN204390168U (zh) 头戴式智能设备
CN119790373A (zh) 将移动应用程序的用户界面扩展到ar眼镜
CN111953814B (zh) 一种镜头模组及终端设备
KR20260011062A (ko) 전자 장치 및 이의 xr 서비스 제공 방법

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20121024

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20171023

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20121024

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180914

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20190302

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20180914

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20190302

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20181113

Comment text: Amendment to Specification, etc.

PX0601 Decision of rejection after re-examination

Comment text: Decision to Refuse Application

Patent event code: PX06014S01D

Patent event date: 20190503

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20190403

Comment text: Decision to Refuse Application

Patent event code: PX06011S01I

Patent event date: 20190302

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20181113

Comment text: Notification of reason for refusal

Patent event code: PX06013S01I

Patent event date: 20180914

X601 Decision of rejection after re-examination
A107 Divisional application of patent
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20190607

Patent event code: PA01071R01D