KR20200097408A - 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법 - Google Patents

2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법 Download PDF

Info

Publication number
KR20200097408A
KR20200097408A KR1020190014724A KR20190014724A KR20200097408A KR 20200097408 A KR20200097408 A KR 20200097408A KR 1020190014724 A KR1020190014724 A KR 1020190014724A KR 20190014724 A KR20190014724 A KR 20190014724A KR 20200097408 A KR20200097408 A KR 20200097408A
Authority
KR
South Korea
Prior art keywords
illuminance
image
head
display device
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020190014724A
Other languages
English (en)
Other versions
KR102235903B1 (ko
Inventor
김영빈
최치원
Original Assignee
주식회사 피앤씨솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 피앤씨솔루션 filed Critical 주식회사 피앤씨솔루션
Priority to KR1020190014724A priority Critical patent/KR102235903B1/ko
Publication of KR20200097408A publication Critical patent/KR20200097408A/ko
Application granted granted Critical
Publication of KR102235903B1 publication Critical patent/KR102235903B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0118—Head-up displays characterised by optical features comprising devices for improving the contrast of the display / brillance control visibility
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법에 관한 것으로서, 보다 구체적으로는 실제 세계와 함께 증강현실의 영상 정보를 사용자에게 제공하는 머리 착용형 디스플레이 장치의 영상 최적화 방법으로서, (1) 상기 머리 착용형 디스플레이 장치의 외부의 조도를 감지하는 제1 조도 센서로부터 제1 조도를 검출하는 단계; (2) 상기 머리 착용형 디스플레이 장치를 착용한 사용자의 양안의 전방에서 상기 머리 착용형 디스플레이 장치의 내부의 조도를 감지하는 제2 조도 센서로부터 제2 조도를 검출하는 단계; (3) 상기 검출된 제1 조도 및 제2 조도를 이용하여 영상의 밝기 및 콘트라스트(contrast) 중 적어도 하나를 포함하는 보정값을 결정하는 단계; 및 (4) 상기 결정된 영상의 보정값으로 상기 머리 착용형 디스플레이 장치의 디스플레이에서 출력되는 증강현실의 영상을 조절하는 단계를 포함하여, 상기 제1 조도 및 제2 조도에 기초하여 상기 디스플레이를 통해 출력되는 증강현실의 영상 정보가 사용자에게 선명하게 제공될 수 있도록 제어하는 것을 그 구성상의 특징으로 한다.
본 발명에서 제안하고 있는 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법에 따르면, 머리 착용형 디스플레이 장치의 외부의 조도와 내부의 조도를 검출하여 영상의 밝기 및 콘트라스트 등의 보정값을 결정하여 증강현실의 영상을 조절함으로써, 주변 환경의 변화와 관계없이 시인성이 향상된 증강현실의 영상 정보를 사용자에게 제공할 수 있고, 주변 환경뿐 아니라 사용자가 직접 시각적으로 체감하는 장치 내부의 조도까지 반영하여 정밀한 영상의 보정을 할 수 있어서, 최적화된 증강현실 영상 정보를 제공할 수 있다.
또한, 본 발명에서 제안하고 있는 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법에 따르면, 2개의 조도 센서에서 검출된 조도에 기초하여 디스플레이를 통해 출력되는 증강현실의 보정값을 자동으로 결정하고 제어함으로써, 별도의 사용자 조작 없이도 증강현실의 영상 정보가 사용자에게 최적화되어 선명하게 제공될 수 있으며, 사용자 편의성이 향상되고 눈의 피로도를 줄일 수 있다.

Description

2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법{IMAGE OPTIMIZATION METHOD OF HEAD MOUNTED DISPLAY APPARATUS USING TWO ILLUMINANCE SENSORS}
본 발명은 머리 착용형 디스플레이 장치의 영상 최적화 방법에 관한 것으로서, 보다 구체적으로는 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법에 관한 것이다.
디지털 디바이스의 경량화 및 소형화 추세에 따라 다양한 웨어러블 디바이스(wearable device)들이 개발되고 있다. 이러한 웨어러블 디바이스의 일종인 헤드 마운티드 디스플레이(Head Mounted Display)는 사용자가 머리에 착용하여 멀티미디어 컨텐츠 등을 제공받을 수 있는 각종 디바이스를 의미한다. 여기서, 헤드 마운티드 디스플레이(HMD)는 사용자의 신체에 착용되어 사용자가 이동함에 따라서 다양한 환경에서 사용자에게 영상을 제공하게 된다. 이러한 헤드 마운티드 디스플레이(HMD)는 투과(see-through)형과 밀폐(see-closed)형으로 구분되고 있으며, 투과형은 주로 증강현실(Augmented Reality, AR)용으로 사용되고, 밀폐형은 주로 가상현실(Virtual Reality, VR)용으로 사용되고 있다.
도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이고, 도 2는 일반적인 밴드형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면이다. 도 1 및 도 2에 각각 도시된 바와 같이, 일반적인 안경 형태 또는 밴드 형태의 헤드 마운티드 디스플레이는 사용자의 안면 또는 두부에 착용되어 투과되는 렌즈를 통해 실제 세계에 증강현실(AR)의 영상 정보를 투영하여 사용자에게 제공하게 된다.
이러한 헤드 마운티드 디스플레이는, 실제 세계와 함께 영상 정보를 결합하여 증강된 영상을 제공하기 때문에, 주변 환경의 밝기에 따라 영상 정보의 선명도가 변화하며, 특히 자외선의 세기가 강한 실외의 환경 등 밝은 곳에서는 증강현실의 영상 정보가 선명하게 제공되기 어려운 문제가 있었다. 즉, 종래의 헤드 마운티드 디스플레이는 햇빛이 강한 밝은 실외 또는 햇빛이 약한 실내에 따라 사용자에게 증강현실의 영상 정보가 선명하게 제공되지 못하고, 그에 따른 사용의 불편함이 발생되는 문제가 있었다.
한편, 본 발명과 관련된 선행기술로서, 공개특허 제10-2018-0049739호(발명의 명칭: HMD 이동 단말기 및 그의 동작 방법, 공개일자: 2018년 05월 11일) 등이 개시된 바 있다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 머리 착용형 디스플레이 장치의 외부의 조도와 내부의 조도를 검출하여 영상의 밝기 및 콘트라스트 등의 보정값을 결정하여 증강현실의 영상을 조절함으로써, 주변 환경의 변화와 관계없이 시인성이 향상된 증강현실의 영상 정보를 사용자에게 제공할 수 있고, 주변 환경뿐 아니라 사용자가 직접 시각적으로 체감하는 장치 내부의 조도까지 반영하여 정밀한 영상의 보정을 할 수 있어서, 최적화된 증강현실 영상 정보를 제공할 수 있는, 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법을 제공하는 것을 그 목적으로 한다.
또한, 본 발명은, 2개의 조도 센서에서 검출된 조도에 기초하여 디스플레이를 통해 출력되는 증강현실의 보정값을 자동으로 결정하고 제어함으로써, 별도의 사용자 조작 없이도 증강현실의 영상 정보가 사용자에게 최적화되어 선명하게 제공될 수 있으며, 사용자 편의성이 향상되고 눈의 피로도를 줄일 수 있는, 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법은,
실제 세계와 함께 증강현실의 영상 정보를 사용자에게 제공하는 머리 착용형 디스플레이 장치의 영상 최적화 방법으로서,
(1) 상기 머리 착용형 디스플레이 장치의 외부의 조도를 감지하는 제1 조도 센서로부터 제1 조도를 검출하는 단계;
(2) 상기 머리 착용형 디스플레이 장치를 착용한 사용자의 양안의 전방에서 상기 머리 착용형 디스플레이 장치의 내부의 조도를 감지하는 제2 조도 센서로부터 제2 조도를 검출하는 단계;
(3) 상기 검출된 제1 조도 및 제2 조도를 이용하여 영상의 밝기 및 콘트라스트(contrast) 중 적어도 하나를 포함하는 보정값을 결정하는 단계; 및
(4) 상기 결정된 영상의 보정값으로 상기 머리 착용형 디스플레이 장치의 디스플레이에서 출력되는 증강현실의 영상을 조절하는 단계를 포함하여,
상기 제1 조도 및 제2 조도에 기초하여 상기 디스플레이를 통해 출력되는 증강현실의 영상 정보가 사용자에게 선명하게 제공될 수 있도록 제어하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 보정값은,
영상의 명암, 채도 및 색감을 포함하는 군에서 선택된 적어도 하나 이상을 더 포함할 수 있다.
바람직하게는, 상기 단계 (3)에서는,
상기 머리 착용형 디스플레이 장치의 디스플레이에서 출력되는 증강현실의 영상 정보를 더 이용하여, 상기 영상의 보정값을 결정할 수 있다.
바람직하게는, 상기 단계 (3)에서는,
상기 제1 조도, 제2 조도 및 제1 조도와 제2 조도의 차이를 이용하여, 상기 보정값을 결정할 수 있다.
바람직하게는,
상기 단계 (3)에서는, 상기 머리 착용형 디스플레이 장치의 디스플레이에서 출력되는 실제 세계와 증강현실의 영상 정보의 밝기 및 콘트라스트 중 적어도 하나를 각각 결정하며,
상기 단계 (4)에서는, 상기 결정된 밝기 및 콘트라스트 중 적어도 하나로 상기 실제 세계 및 증강현실의 영상 정보를 각각 조절할 수 있다.
바람직하게는, 상기 단계 (4)에서는,
상기 결정된 영상의 보정값으로 상기 디스플레이에서 출력되는 증강현실의 영상을 단계적으로 조절할 수 있다.
바람직하게는, 상기 머리 착용형 디스플레이 장치는,
사용자가 머리에 착용할 수 있는 HMD 프레임;
상기 HMD 프레임의 전방에 설치되며, 외부의 조도를 감지하기 위한 제1 조도 센서; 및
상기 HMD 프레임의 후방에 설치되며, 상기 HMD 프레임 내부의 조도를 감지하기 위한 제2 조도 센서를 포함할 수 있다.
더욱 바람직하게는, 상기 머리 착용형 디스플레이 장치는,
실제 세계와 함께 증강현실의 영상 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력하는 디스플레이; 및
상기 디스플레이에서 출력되는 증강현실의 영상 신호를 생성하여 상기 디스플레이로 전송하되, 상기 제1 조도 센서 및 제2 조도 센서에 의해 감지되는 제1 조도 및 제2 조도에 따라 결정된 영상의 밝기 및 콘트라스트(contrast) 중 적어도 하나를 포함하는 보정값으로 상기 디스플레이에서 출력되는 증강현실의 영상을 조절하는 제어부를 포함할 수 있다.
본 발명에서 제안하고 있는 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법에 따르면, 머리 착용형 디스플레이 장치의 외부의 조도와 내부의 조도를 검출하여 영상의 밝기 및 콘트라스트 등의 보정값을 결정하여 증강현실의 영상을 조절함으로써, 주변 환경의 변화와 관계없이 시인성이 향상된 증강현실의 영상 정보를 사용자에게 제공할 수 있고, 주변 환경뿐 아니라 사용자가 직접 시각적으로 체감하는 장치 내부의 조도까지 반영하여 정밀한 영상의 보정을 할 수 있어서, 최적화된 증강현실 영상 정보를 제공할 수 있다.
또한, 본 발명에서 제안하고 있는 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법에 따르면, 2개의 조도 센서에서 검출된 조도에 기초하여 디스플레이를 통해 출력되는 증강현실의 보정값을 자동으로 결정하고 제어함으로써, 별도의 사용자 조작 없이도 증강현실의 영상 정보가 사용자에게 최적화되어 선명하게 제공될 수 있으며, 사용자 편의성이 향상되고 눈의 피로도를 줄일 수 있다.
도 1은 일반적인 안경 형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 2는 일반적인 밴드형태의 헤드 마운티드 디스플레이(HMD)의 개략적인 구성을 도시한 도면.
도 3은 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법의 구현을 위한 머리 착용형 디스플레이 장치의 구성을 도시한 도면.
도 4는 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법의 구현을 위한 머리 착용형 디스플레이 장치에서, AR 이벤트 처리부의 세부적인 구성을 도시한 도면.
도 5는 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법의 흐름을 도시한 도면.
도 6은 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법에 의해 최적화되어 제공되는 증강현실 화면을 예를 들어 도시한 도면.
이하, 첨부된 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 바람직한 실시예를 상세히 설명한다. 다만, 본 발명의 바람직한 실시예를 상세하게 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 또한, 유사한 기능 및 작용을 하는 부분에 대해서는 도면 전체에 걸쳐 동일한 부호를 사용한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 ‘연결’ 되어 있다고 할 때, 이는 ‘직접적으로 연결’ 되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 ‘간접적으로 연결’ 되어 있는 경우도 포함한다. 또한, 어떤 구성요소를 ‘포함’ 한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.
도 3은 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법의 구현을 위한 머리 착용형 디스플레이 장치(100)의 구성을 도시한 도면이고, 도 4는 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법의 구현을 위한 머리 착용형 디스플레이 장치(100)에서, AR 이벤트 처리부(180)의 세부적인 구성을 도시한 도면이다. 도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법은, HMD 프레임(110), 제1 조도 센서(120), 제2 조도 센서(130), 디스플레이(140) 및 제어부(150)를 포함하여 구성될 수 있으며, 전원 공급부(160), 스위치부(170), AR 이벤트 처리부(180) 및 통신부(190)를 더 포함하여 구성될 수 있는 머리 착용형 디스플레이 장치(100)에서 구현될 수 있다.
HMD 프레임(110)은, 사용자가 머리에 착용할 수 있는 머리 착용형 디스플레이 장치(100)의 프레임 구성이다. 이러한 HMD 프레임(110)은 사용자가 머리에 착용한 상태에서 빛이 들어올 수 있는 프레임 구조를 갖는 헬멧(helmet) 형태 또는 고글(goggles) 형태로 구성될 수 있다. 여기서, HMD 프레임(110)이 헬멧 형태로 이루어지는 경우, 사용자의 머리에 착용되는 헬멧(미도시)과 헬멧의 전방에 배치되는 디스플레이(140) 프레임(미도시) 구조로 구성될 수 있다. 또한, HMD 프레임(110)이 고글 형태로 구성되는 경우, 사용자의 머리에 착용될 수 있는 밴드 프레임(미도시)과, 밴드 프레임에 체결 고정되는 고글 프레임(미도시) 구조로 구성될 수 있다.
제1 조도 센서(120)는, HMD 프레임(110)의 전방에 설치되며, 외부의 조도를 감지할 수 있다. 즉, 제1 조도 센서(120)는, 머리 착용형 디스플레이 장치(100) 외부에서 주변 환경의 조도인 제1 조도를 감지함으로써, 추후 상세히 설명할 제어부(150)가 주변 환경 변화에 따라 증강현실의 영상을 능동적으로 조절하도록 할 수 있다.
제2 조도 센서(130)는, HMD 프레임(110)의 후방에 설치되며, HMD 프레임(110) 내부의 조도를 감지할 수 있다. 즉, 제2 조도 센서(130)는, 머리 착용형 디스플레이 장치(100)의 내부에서 사용자의 눈과 디스플레이(140) 사이의 조도인 제2 조도를 감지함으로써, 추후 상세히 설명할 제어부(150)가 더욱 정밀하게 증강현실의 영상을 능동적으로 조절하도록 할 수 있다.
디스플레이(140)는, 실제 세계와 함께 증강현실의 영상 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력할 수 있다. 디스플레이(140)는 시스루(See-Through) 타입일 수 있으며, 제1 조도 센서(120) 및 제2 조도 센서(130)에 의해 검출된 조도에 따라 출력되는 영상 광이 제어될 수 있다.
제어부(150)는, 디스플레이(140)에서 출력되는 증강현실의 영상 신호를 생성하여 디스플레이(140)로 전송하되, 제1 조도 센서(120) 및 제2 조도 센서(130)에 의해 감지되는 제1 조도 및 제2 조도에 따라 결정된 영상의 밝기 및 콘트라스트(contrast) 중 적어도 하나를 포함하는 보정값으로 디스플레이(140)에서 출력되는 증강현실의 영상을 조절할 수 있다. 즉, 제어부(150)는, 제1 조도 센서(120) 및 제2 조도 센서(130)에서 감지된 제1 조도 및 제2 조도에 기초하여 디스플레이(140)를 통해 출력되는 증강현실의 영상 정보를 사용자에게 선명하게 제공할 수 있다.
또한, 제어부(150)는 머리 착용형 디스플레이 장치(100)의 증강현실 구동 시에 사용자가 증강현실(AR) 이벤트 요청에 대응한 증강현실의 영상 정보를 외부의 증강현실 데이터 서버로 요청하여 제공받아 내부 메모리에 저장하고, 디스플레이(140)를 통해 해당 증강현실의 영상 정보를 제공하는 역할을 하며, 증강현실 어플리케이션을 탑재하여 실행할 수 있다.
한편, 머리 착용형 디스플레이 장치(100)는 머리 착용형 디스플레이 장치(100)의 증강현실 구동을 위한 전원을 공급하기 위한 전원 공급부(160)와, 전원 공급부(160)의 온/오프를 위한 스위치부(170)와, 증강현실의 정보를 요청하기 위한 지리 위치 정보와 이미지 정보를 제공하기 위한 GPS 모듈(181) 및 카메라(182)를 구비하는 AR 이벤트 처리부(180)와, AR 이벤트 처리부(180)의 증강현실 정보 이벤트를 제어부(150)의 제어 하에 외부의 증강현실 데이터 서버로 전송하여 해당하는 증강현실 정보를 제공받기 위해 데이터 통신을 수행하는 통신부(190)를 더 포함하여 구성할 수 있다.
또한, 스위치부(170)는 전원 공급부(160)의 온/오프를 위한 스위치를 HMD 프레임(110)의 일 측에 설치하거나, 또는 HMD 프레임(110)과 유선으로 연결되는 별도의 디바이스에 형성될 수 있다.
AR 이벤트 처리부(180)는 증강현실 구동 시 사용자가 바라보는 시선에서 카메라(182)로 촬영되는 영상과 GPS 모듈(181)의 지리 위치 정보로 AR 이벤트 처리를 요청할 수 있다. 또한, 통신부(190)는 외부 증강현실 데이터 서버(미도시)와 인터넷 연결 접속을 통해 AR 이벤트 요청 및 그에 해당하는 AR 정보를 제공받을 수 있는 데이터 통신을 수행할 수 있다. 여기서, 통신부(190)는 인터넷 접속이 가능한 3G/4G 및 LTE를 포함하는 다양한 통신 방식이 적용되는 것으로 이해될 수 있다.
또한, 머리 착용형 디스플레이 장치(100)는 디스플레이(140)를 통해 제공되는 증강현실의 영상 정보에 대응하는 음성신호 입출력 모듈을 더 포함할 수 있으며, 음성신호 입출력 모듈은 HMD 프레임(110)에 배치되는 마이크, 스피커 등으로 구성될 수 있다.
도 5는 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법의 흐름을 도시한 도면이다. 도 5에 도시된 바와 같이, 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법은, 머리 착용형 디스플레이 장치(100)의 외부의 조도를 감지하는 제1 조도 센서(120)로부터 제1 조도를 검출하는 단계(S100), 머리 착용형 디스플레이 장치(100)의 내부의 조도를 감지하는 제2 조도 센서(130)로부터 제2 조도를 검출하는 단계(S200), 검출된 제1 조도 및 제2 조도를 이용하여 영상의 밝기 및 콘트라스트 중 적어도 하나를 포함하는 보정값을 결정하는 단계(S300) 및 결정된 보정값으로 머리 착용형 디스플레이 장치(100)의 디스플레이(140)에서 출력되는 증강현실의 영상을 조절하는 단계(S400)를 포함하여 구현될 수 있다. 이를 통해, 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법은, 제1 조도 및 제2 조도에 기초하여 디스플레이(140)를 통해 출력되는 증강현실의 영상 정보가 사용자에게 선명하게 제공될 수 있도록 제어할 수 있다.
단계 S100에서는, 머리 착용형 디스플레이 장치(100)의 외부의 조도를 감지하는 제1 조도 센서(120)로부터 제1 조도를 검출할 수 있다. 즉, 제어부(150)는 제1 조도 센서(120)에서 수신된 조도(illuminance) 신호로부터 제1 조도를 검출하며, 제1 조도는 머리 착용형 디스플레이 장치(100)의 외부 환경의 조도일 수 있다. 산출되는 제1 조도는 0 내지 130,000 lux일 수 있다.
단계 S200에서는, 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 양안의 전방에서 머리 착용형 디스플레이 장치(100)의 내부의 조도를 감지하는 제2 조도 센서(130)로부터 제2 조도를 검출할 수 있다. 즉, 제어부(150)는 제2 조도 센서(130)에서 수신된 조도 신호로부터 제2 조도를 검출하며, 제2 조도는 머리 착용형 디스플레이 장치(100)에서 사용자의 얼굴과 디스플레이(140) 사이의 장치 내부의 조도일 수 있다. 단계 S200에서 검출된 제2 조도는 머리 착용형 디스플레이 장치(100)의 형태, 주변 환경의 조도, 디스플레이(140)에서 출력되는 영상 등에 따라 차이가 있을 수 있으므로, 제2 조도를 이용해 실제 사용자가 느끼는 시각적 감각에 영상을 최적화할 수 있다.
단계 S300에서는, 검출된 제1 조도 및 제2 조도를 이용하여 영상의 밝기 및 콘트라스트(contrast) 중 적어도 하나를 포함하는 보정값을 결정할 수 있다. 즉, 제어부(150)는 검출한 제1 조도와 제2 조도를 이용해 보정값을 설정함으로써, 디스플레이(140)로 출력되는 영상의 밝기를 콘트라스트(contrast)와 밝기(brightness)를 이용해 조절할 수 있다. 예를 들어, 제1 조도 및 제2 조도가 기준 밝기보다 밝으면 영상의 밝기가 기준값보다 크도록 보정값을 결정하여 시인성을 향상시킬 수 있다. 또는, 제1 조도 및 제2 조도가 기준 밝기보다 어두우면 영상의 밝기가 기준값보다 작도록 보정값을 결정하여 선명하게 보이면서도 사용자의 눈에 자극이 적도록 할 수 있다. 실시예에 따라서는, 제1 조도는 기준 밝기보다 밝으나 제2 조도는 기준 밝기보다 어두우면, 영상의 시인성은 확보된다고 볼 수 있으므로, 영상의 밝기를 기준값으로 유지하여 전력 소모를 줄일 수 있다.
또한, 단계 S300에서는, 제1 조도, 제2 조도 및 제1 조도와 제2 조도의 차이를 이용하여, 보정값을 결정할 수 있다. 예를 들어, 제1 조도가 기준 밝기보다 밝고 제1 조도와 제2 조도의 차이가 미리 정해진 값 이하여서, 머리 착용형 디스플레이 장치(100)의 외부와 내부의 조도 차이가 거의 없는 경우에는, 콘트라스트를 기준값보다 크도록 보정값을 결정하여, 증강현실의 제공 시에 실제 세계에 합성되는 증강현실의 영상 정보가 더욱 뚜렷하게 제공되도록 할 수 있다.
한편, 단계 S300에서는, 머리 착용형 디스플레이 장치(100)의 디스플레이(140)에서 출력되는 증강현실의 영상 정보를 더 이용하여, 영상의 보정값을 결정할 수 있다. 본 발명에서는, 머리 착용형 디스플레이 장치(100)의 내부 조도인 단계 S200에서 검출된 제2 조도를 이용하여 보정값을 결정하기 때문에, 머리 착용형 디스플레이 장치(100)의 디스플레이(140)에서 출력되는 영상에 의한 조도가 보정값에 어느 정도 반영될 수 있으나, 단계 S300에서 영상 정보를 더 이용하여 보정값을 결정함으로써, 영상 정보의 특성을 반영하여 더욱 최적화된 영상을 제공할 수 있다. 즉, 실제 세계와 합성되는 증강현실의 영상 정보의 종류(텍스트, 이미지, 동영상 등)와 내용(콘텐츠 정보, 주변 환경 정보 등)에 따라 보정값을 상이하게 할 수 있다. 예를 들어, 영화와 같은 동영상의 경우에는 보정값 설정 시 다른 영상에 비해 밝기를 어둡게 설정하고, 텍스트로 된 콘텐츠 정보는 이미지나 동영상에 비해 콘트라스트를 크게 설정하여 뚜렷하게 텍스트 내용이 전달되도록 할 수 있다.
실시예에 따라서는, 단계 S300에서 결정되는 보정값은, 영상의 명암, 채도 및 색감을 포함하는 군에서 선택된 적어도 하나 이상을 더 포함할 수 있다. 즉, 본 발명의 단계 S300에서는, 영상의 밝기와 콘트라스트 이외에도, 명암, 채도, 색감 등 다양한 값을 보정함으로써, 증강현실의 영상이 사용자에게 선명하게 제공되도록 할 수 있다.
단계 S400에서는, 결정된 영상의 보정값으로 머리 착용형 디스플레이 장치(100)의 디스플레이(140)에서 출력되는 증강현실의 영상을 조절할 수 있다. 즉, 제어부(150)는 단계 S300에서 결정된 보정값으로 증강현실의 영상을 조절함으로써, 제1 조도 및 제2 조도에 기초하여 디스플레이(140)를 통해 출력되는 증강현실의 영상 정보가 사용자에게 선명하게 제공될 수 있도록 제어할 수 있다.
도 6은 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법에 의해 최적화되어 제공되는 증강현실 화면을 예를 들어 도시한 도면이다. 도 6에 도시된 바와 같이, 본 발명의 일실시예에 따른 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법에서는, 카페 및 나무를 포함하는 실제 세계와 시간 정보, 미세먼지 정보 및 카페 정보를 포함하는 증강현실의 영상 정보를 제공하면서, 머리 착용형 디스플레이 장치(100)의 내외부 밝기에 의해 도 6의 상단과 같이 시인성이 저하되는 영상을 보정값으로 보정하여 도 6의 하단과 같이 선명하게 제공할 수 있다.
이때, 단계 S400에서는, 결정된 영상의 보정값으로 디스플레이(140)에서 출력되는 증강현실의 영상을 단계적으로 조절할 수 있다. 따라서 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 눈에 가해지는 피로감을 최소화하면서 영상 정보의 시인성을 향상시킬 수 있다.
한편, 단계 S300에서는, 머리 착용형 디스플레이 장치(100)의 디스플레이(140)에서 출력되는 실제 세계와 증강현실의 영상 정보의 밝기 및 콘트라스트 중 적어도 하나를 각각 결정하며, 단계 S400에서는, 결정된 밝기 및 콘트라스트 중 적어도 하나로 실제 세계 및 증강현실의 영상 정보를 각각 조절할 수 있다. 증강현실은 실제 세계와 증강현실의 영상 정보의 합성에 의해 제공되는데, 증강현실의 영상 정보만을 보정하는 경우 디스플레이(140)를 통해 보이는 실제 세계는 보정되지 않아, 사용자의 눈의 피로도가 증가하고 전체 영상의 시인성이 저하될 수 있다. 또는, 실제 세계와 증강현실의 영상 정보가 함께 제공되는 증강현실의 영상을 하나의 보정값으로 전체적으로 조절하는 경우, 그 특성과 정보 내용이 균일하지 않아 전체적인 증강현실의 영상을 최적화하지 못할 수 있다. 본 발명에서는, 시스루 타입의 디스플레이(140)를 통해 보이는 실제 세계에 디스플레이(140)에 출력되는 증강현실의 영상 정보를 제공함에 있어서, 실제 세계가 투과하여 보이는 디스플레이(140) 부분과 증강현실의 영상 정보의 보정값을 상이하게 설정하고 이에 따라 각각 보정값으로 조절하여 보정을 처리함으로써, 실제 세계와 증강현실의 영상 정보가 모두 선명하게 보이도록 영상을 최적화할 수 있다.
본 발명에서 제안하고 있는 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법에 따르면, 머리 착용형 디스플레이 장치(100)의 외부의 조도와 내부의 조도를 검출하여 영상의 밝기 및 콘트라스트 등의 보정값을 결정하여 증강현실의 영상을 조절함으로써, 주변 환경의 변화와 관계없이 시인성이 향상된 증강현실의 영상 정보를 사용자에게 제공할 수 있고, 주변 환경뿐 아니라 사용자가 직접 시각적으로 체감하는 장치 내부의 조도까지 반영하여 정밀한 영상의 보정을 할 수 있어서, 최적화된 증강현실 영상 정보를 제공할 수 있다. 또한, 본 발명에 따르면, 2개의 조도 센서에서 검출된 조도에 기초하여 디스플레이(140)를 통해 출력되는 증강현실의 보정값을 자동으로 결정하고 제어함으로써, 별도의 사용자 조작 없이도 증강현실의 영상 정보가 사용자에게 최적화되어 선명하게 제공될 수 있으며, 사용자 편의성이 향상되고 눈의 피로도를 줄일 수 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 머리 착용형 디스플레이 장치
110: HMD 프레임
120: 제1 조도 센서
130: 제2 조도 센서
140: 디스플레이
150: 제어부
160: 전원 공급부
170: 스위치부
180: AR 이벤트 처리부
181: GPS 모듈
182: 카메라
190: 통신부
S100: 머리 착용형 디스플레이 장치의 외부의 조도를 감지하는 제1 조도 센서로부터 제1 조도를 검출하는 단계
S200: 머리 착용형 디스플레이 장치의 내부의 조도를 감지하는 제2 조도 센서로부터 제2 조도를 검출하는 단계
S300: 검출된 제1 조도 및 제2 조도를 이용하여 영상의 밝기 및 콘트라스트 중 적어도 하나를 포함하는 보정값을 결정하는 단계
S400: 결정된 보정값으로 머리 착용형 디스플레이 장치의 디스플레이에서 출력되는 증강현실의 영상을 조절하는 단계

Claims (8)

  1. 실제 세계와 함께 증강현실의 영상 정보를 사용자에게 제공하는 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법으로서,
    (1) 상기 머리 착용형 디스플레이 장치(100)의 외부의 조도를 감지하는 제1 조도 센서(120)로부터 제1 조도를 검출하는 단계;
    (2) 상기 머리 착용형 디스플레이 장치(100)를 착용한 사용자의 양안의 전방에서 상기 머리 착용형 디스플레이 장치(100)의 내부의 조도를 감지하는 제2 조도 센서(130)로부터 제2 조도를 검출하는 단계;
    (3) 상기 검출된 제1 조도 및 제2 조도를 이용하여 영상의 밝기 및 콘트라스트(contrast) 중 적어도 하나를 포함하는 보정값을 결정하는 단계; 및
    (4) 상기 결정된 영상의 보정값으로 상기 머리 착용형 디스플레이 장치(100)의 디스플레이(140)에서 출력되는 증강현실의 영상을 조절하는 단계를 포함하여,
    상기 제1 조도 및 제2 조도에 기초하여 상기 디스플레이(140)를 통해 출력되는 증강현실의 영상 정보가 사용자에게 선명하게 제공될 수 있도록 제어하는 것을 특징으로 하는, 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법.
  2. 제1항에 있어서, 상기 보정값은,
    영상의 명암, 채도 및 색감을 포함하는 군에서 선택된 적어도 하나 이상을 더 포함하는 것을 특징으로 하는, 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법.
  3. 제1항에 있어서, 상기 단계 (3)에서는,
    상기 머리 착용형 디스플레이 장치(100)의 디스플레이(140)에서 출력되는 증강현실의 영상 정보를 더 이용하여, 상기 영상의 보정값을 결정하는 것을 특징으로 하는, 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법.
  4. 제1항에 있어서, 상기 단계 (3)에서는,
    상기 제1 조도, 제2 조도 및 제1 조도와 제2 조도의 차이를 이용하여, 상기 보정값을 결정하는 것을 특징으로 하는, 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법.
  5. 제1항에 있어서,
    상기 단계 (3)에서는, 상기 머리 착용형 디스플레이 장치(100)의 디스플레이(140)에서 출력되는 실제 세계와 증강현실의 영상 정보의 밝기 및 콘트라스트 중 적어도 하나를 각각 결정하며,
    상기 단계 (4)에서는, 상기 결정된 밝기 및 콘트라스트 중 적어도 하나로 상기 실제 세계 및 증강현실의 영상 정보를 각각 조절하는 것을 특징으로 하는, 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법.
  6. 제1항에 있어서, 상기 단계 (4)에서는,
    상기 결정된 영상의 보정값으로 상기 디스플레이(140)에서 출력되는 증강현실의 영상을 단계적으로 조절하는 것을 특징으로 하는, 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법.
  7. 제1항에 있어서, 상기 머리 착용형 디스플레이 장치(100)는,
    사용자가 머리에 착용할 수 있는 HMD 프레임(110);
    상기 HMD 프레임(110)의 전방에 설치되며, 외부의 조도를 감지하기 위한 제1 조도 센서(120); 및
    상기 HMD 프레임(110)의 후방에 설치되며, 상기 HMD 프레임(110) 내부의 조도를 감지하기 위한 제2 조도 센서(130)를 포함하는 것을 특징으로 하는, 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법.
  8. 제7항에 있어서, 상기 머리 착용형 디스플레이 장치(100)는,
    실제 세계와 함께 증강현실의 영상 정보가 사용자에게 최적화된 화면으로 제공될 수 있도록 영상 광을 출력하는 디스플레이(140); 및
    상기 디스플레이(140)에서 출력되는 증강현실의 영상 신호를 생성하여 상기 디스플레이(140)로 전송하되, 상기 제1 조도 센서(120) 및 제2 조도 센서(130)에 의해 감지되는 제1 조도 및 제2 조도에 따라 결정된 영상의 밝기 및 콘트라스트(contrast) 중 적어도 하나를 포함하는 보정값으로 상기 디스플레이(140)에서 출력되는 증강현실의 영상을 조절하는 제어부(150)를 포함하는 것을 특징으로 하는, 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치(100)의 영상 최적화 방법.
KR1020190014724A 2019-02-08 2019-02-08 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법 Active KR102235903B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190014724A KR102235903B1 (ko) 2019-02-08 2019-02-08 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190014724A KR102235903B1 (ko) 2019-02-08 2019-02-08 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법

Publications (2)

Publication Number Publication Date
KR20200097408A true KR20200097408A (ko) 2020-08-19
KR102235903B1 KR102235903B1 (ko) 2021-04-05

Family

ID=72265553

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190014724A Active KR102235903B1 (ko) 2019-02-08 2019-02-08 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법

Country Status (1)

Country Link
KR (1) KR102235903B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085569A1 (ko) * 2021-11-12 2023-05-19 삼성전자주식회사 Ar 이미지의 휘도를 제어하는 방법 및 장치
KR20230079846A (ko) * 2021-11-29 2023-06-07 엑스퍼트아이엔씨 주식회사 Ar 스마트 글래스 및 스마트 글래스의 출력 제어 방법
US12170043B2 (en) 2021-11-12 2024-12-17 Samsung Electronics Co., Ltd. Method and device for controlling luminance of augmented reality (AR) image

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023017993A1 (ko) 2021-08-10 2023-02-16 삼성전자 주식회사 조도 센서를 이용하여 디스플레이의 밝기를 설정하는 전자 장치

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000298246A (ja) * 1999-02-12 2000-10-24 Canon Inc 表示装置、表示方法および記憶媒体
JP2011048375A (ja) * 2010-08-30 2011-03-10 Semiconductor Energy Lab Co Ltd ヘッドマウントディスプレイ
JP2015072482A (ja) * 2014-10-29 2015-04-16 ソニー株式会社 頭部装着型ディスプレイにおける画像表示方法
JP2017003856A (ja) * 2015-06-12 2017-01-05 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
KR20170005756A (ko) * 2015-07-06 2017-01-16 삼성전자주식회사 전자 장치 및 전자 장치에서의 디스플레이 제어 방법
WO2017013971A1 (ja) * 2015-07-22 2017-01-26 ソニー株式会社 光学装置、画像表示装置及び表示装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000298246A (ja) * 1999-02-12 2000-10-24 Canon Inc 表示装置、表示方法および記憶媒体
JP2011048375A (ja) * 2010-08-30 2011-03-10 Semiconductor Energy Lab Co Ltd ヘッドマウントディスプレイ
JP2015072482A (ja) * 2014-10-29 2015-04-16 ソニー株式会社 頭部装着型ディスプレイにおける画像表示方法
JP2017003856A (ja) * 2015-06-12 2017-01-05 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
KR20170005756A (ko) * 2015-07-06 2017-01-16 삼성전자주식회사 전자 장치 및 전자 장치에서의 디스플레이 제어 방법
WO2017013971A1 (ja) * 2015-07-22 2017-01-26 ソニー株式会社 光学装置、画像表示装置及び表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023085569A1 (ko) * 2021-11-12 2023-05-19 삼성전자주식회사 Ar 이미지의 휘도를 제어하는 방법 및 장치
US12170043B2 (en) 2021-11-12 2024-12-17 Samsung Electronics Co., Ltd. Method and device for controlling luminance of augmented reality (AR) image
KR20230079846A (ko) * 2021-11-29 2023-06-07 엑스퍼트아이엔씨 주식회사 Ar 스마트 글래스 및 스마트 글래스의 출력 제어 방법

Also Published As

Publication number Publication date
KR102235903B1 (ko) 2021-04-05

Similar Documents

Publication Publication Date Title
US8670000B2 (en) Optical display system and method with virtual image contrast control
JP6160020B2 (ja) 透過型表示装置、表示方法および表示プログラム
JP6107276B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6364715B2 (ja) 透過型表示装置および透過型表示装置の制御方法
EP2768218B1 (en) Head-mounted display and display control method
US10101586B2 (en) Display device and control method for display device
JP6089705B2 (ja) 表示装置、および、表示装置の制御方法
KR102235903B1 (ko) 2개의 조도센서를 이용한 머리 착용형 디스플레이 장치의 영상 최적화 방법
JP5682417B2 (ja) ヘッドマウントディスプレイ，及びその輝度調整方法
KR20200095985A (ko) 변색렌즈 및 조도센서를 이용한 머리 착용형 디스플레이 장치
JP2013257457A (ja) 表示装置、および表示制御方法、並びにプログラム
TW201725422A (zh) 具有可變驅動電壓之液晶顯示器
JP7625647B2 (ja) アーチファクト軽減を組み込む接眼レンズアーキテクチャ
JP6464729B2 (ja) 表示装置、及び、表示装置の制御方法
US11500210B2 (en) Method and system for adjusting luminance profiles in head-mounted displays
JP6561606B2 (ja) 表示装置、及び、表示装置の制御方法
JP6609920B2 (ja) 表示装置、及び、表示装置の制御方法
KR102260393B1 (ko) 사용자에 따라 화면 조도가 자동으로 조절되는 머리 착용형 디스플레이 장치
US9928770B2 (en) Method for adjusting display effect and electronic apparatus
KR102410872B1 (ko) 프로젝터 모드를 포함하는 머리 착용형 디스플레이 장치
JP6369583B2 (ja) 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP6540004B2 (ja) 表示装置、及び、表示装置の制御方法
KR20200096000A (ko) 변색렌즈를 이용한 머리 착용형 디스플레이 장치
CN121254509B (zh) 基于hk效应的显示优化方法、控制单元及头戴显示设备
CN121127782A (zh) 具有自适应曝光的中央凹图像

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 5