KR20200075249A - 증강 현실 기기 및 증강 현실 시스템 - Google Patents

증강 현실 기기 및 증강 현실 시스템 Download PDF

Info

Publication number
KR20200075249A
KR20200075249A KR1020180163721A KR20180163721A KR20200075249A KR 20200075249 A KR20200075249 A KR 20200075249A KR 1020180163721 A KR1020180163721 A KR 1020180163721A KR 20180163721 A KR20180163721 A KR 20180163721A KR 20200075249 A KR20200075249 A KR 20200075249A
Authority
KR
South Korea
Prior art keywords
image
augmented reality
display unit
frame
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020180163721A
Other languages
English (en)
Inventor
김성진
김민철
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020180163721A priority Critical patent/KR20200075249A/ko
Publication of KR20200075249A publication Critical patent/KR20200075249A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

본 발명은 외부 디스플레이의 출력 영상과 증강 현실 디스플레이의 출력 영상을 증강 현실 디스플레이 영역을 통해 합성하여 보여줄 수 있는 증강 현실 기기 및 증강 현실 시스템을 제공한다.
일 실시예에 따른 증강 현실 기기는 사용자의 착용 상태에서 외부 전자 장치의 제1 디스플레이부를 시청할 수 있고, 사용자의 시청 위치에서 제1 디스플레이부를 촬영하여 촬영 영상을 제공하는 카메라; 카메라의 촬영 영상으로부터 제1 디스플레이부의 화면 프레임을 모델링한 윤곽 프레임을 검출하고, 검출한 윤곽 프레임의 크기 및 형태를 반영하여 입력 영상을 보정하고 보정된 영상을 제2 디스플레이부로 출력하는 제어부; 및 제어부로부터의 출력 영상을 증강 현실 디스플레이 영역으로 출력하는 제2 디스플레이부를 포함한다.

Description

증강 현실 기기 및 증강 현실 시스템{AUGMENTED REALITY DEVICE AND AUGMENTED REALITY SYSTEM}
본 발명은 외부 디스플레이의 출력 영상과 증강 현실 디스플레이의 출력 영상을 증강 현실 디스플레이 영역을 통해 합성하여 보여줄 수 있는 증강 현실 기기 및 증강 현실 시스템에 관한 것이다.
최근 전자 기술의 발전에 따라 사용자에게 몰입감 있게 시각 정보를 제공하는 증강 현실(Augmented Reality; AR) 기기나 가상 현실(Virtual Reality; VR) 기기가 주목받고 있다. AR/VR 기기는 사용자의 몰입감 향상을 위하여 머리 장착형 디스플레이(Head Mounted Display; HMD), 안경형 디스플레이(Eye Glasses-type Display; EGD) 등의 형태로 개발되고 있다.
증강 현실 기기는 사용자의 눈에 보이는 외부 공간의 현실 영상에 디스플레이부에서 출력되는 가상 영상을 중첩시켜 보여줌으로써 증강된 현실 영상을 제공할 수 있다.
증강 현실 기기는 몰입감 향상을 위하여 디스플레이 영역에서 현실 영상에 가상 영상이 공간적으로 정확하게 중첩할 수 있도록 현실 영상에 맞추어 가상 영상의 출력 위치를 조절하는 기술이 필요하다.
한편, 최근 디스플레이 장치로 많이 사용되고 있는 유기 발광 다이오드(Organic Light Emitting Diode; 이하 OLED) 디스플레이 장치는 장시간 구동시 전류 스트레스 증가에 의해 OLED 소자가 열화되어 고정 패턴이나 자막 등이 장시간 표시되는 부분에서 잔상이 발생하는 문제점이 있으므로 잔상을 감소시킬 수 있는 방안이 요구된다.
본 발명은 외부 디스플레이의 출력 영상과 증강 현실 디스플레이의 출력 영상을 증강 현실 디스플레이 영역을 통해 합성하여 보여줄 수 있는 증강 현실 기기 및 증강 현실 시스템을 제공한다.
일 실시예에 따른 증강 현실 기기는 사용자의 착용 상태에서 외부 전자 장치의 제1 디스플레이부를 시청할 수 있고, 사용자의 시청 위치에서 제1 디스플레이부를 촬영하여 촬영 영상을 제공하는 카메라; 카메라의 촬영 영상으로부터 제1 디스플레이부의 화면 프레임을 모델링한 윤곽 프레임을 검출하고, 검출한 윤곽 프레임의 크기 및 형태를 반영하여 입력 영상을 보정하고 보정된 영상을 제2 디스플레이부로 출력하는 제어부; 및 제어부로부터의 출력 영상을 증강 현실 디스플레이 영역으로 출력하는 제2 디스플레이부를 포함한다. 입력 영상은 통신부를 통해 외부 전자 장치로부터 수신된 영상이다.
일 실시예에 따른 증강 현실 시스템은 제1 디스플레이부를 포함하는 외부 전자 장치; 및 제2 디스플레이부를 포함하고, 상기 외부 전자 장치와 연동하는 증강 현실 기기를 포함한다. 증강 현실 기기를 착용한 사용자가 제1 디스플레이부를 시청하는 페어링 모드일 때, 외부 전자 장치는 제1 디스플레이부를 통해 제1 출력 영상을 출력한다. 증강 현실 기기는 외부 전자 장치로부터 부가 영상을 공급받아 그 부가 영상을 포함하는 제2 영상을 생성하고, 제2 디스플레이부를 통해 제1 출력 영상의 출력과 동기하는 제2 출력 영상을 출력하여, 증강 현실 디스플레이 영역을 통해 제1 및 제2 출력 영상이 합성되어 사용자에게 제공된다.
페어링 모드일 때, 증강 현실 기기에서 카메라는 사용자의 시청 위치에서 제1 디스플레이부를 촬영하여 촬영 영상을 제공하고, 제어부는 카메라의 촬영 영상으로부터 제1 디스플레이부의 화면 프레임을 모델링한 윤곽 프레임을 검출하고, 검출한 윤곽 프레임의 크기 및 형태를 반영하여 제2 영상을 보정하고 보정된 제2 영상을 제2 디스플레이부를 통해 제2 출력 영상으로 출력한다.
윤곽 프레임의 크기 및 형태는 사용자와 제1 디스플레이부 사이의 시청 거리와, 사용자의 시야각에 따라 변화한다.
제어부는 윤곽 프레임과 제2 디스플레이부의 화면 프레임을 매칭하고, 매칭된 윤곽 프레임에 제2 입력 영상을 워핑하여 보정된 제2 영상을 생성할 수 있다. 이때, 제어부는 제2 입력 영상 및 윤곽 프레임 각각을 동일 개수의 분할 영역으로 분할하고, 각 분할 영역별로 제2 입력 영상의 각 분할 영역을 윤곽 프레임의 해당 분할 영역에 워핑할 수 있다.
일 실시예에 따른 증강 현실 기기는 회전 방향 및 회전 각도를 센싱하는 센서부를 더 포함한다. 제어부는 윤곽 프레임을 검출하기 이전에, 센서부의 회전 정보를 이용하여 카메라의 촬영 영상에 포함된 제1 디스플레이부의 화면 프레임의 기울기를 보상할 수 있다.
제1 디스플레이부는 유기 발광 다이오드 디스플레이를 이용하고, 제2 디스플레이부에서 출력하는 부가 영상은 로고나 자막 콘텐츠를 포함할 수 있다.
일 실시예에 따른 증강 현실 기기 및 증강 현실 시스템은 외부 디스플레이의 출력 영상과 증강 현실 디스플레이의 출력 영상을 증강 현실 디스플레이 영역을 통해 합성하여 사용자에게 제공함으로써 화면 몰입감을 향상시킬 수 있다.
일 실시예에 따른 증강 현실 시스템은 잔상 취약 패턴을 증강 현실 디스플레이부에서 출력하고, OLED 디스플레이를 이용하는 외부 디스플레이부는 잔상 취약 패턴을 제외한 콘텐츠를 출력함으로써 OLED 디스플레이의 잔상을 저감할 수 있다.
일 실시예에 따른 증강 현실 기기는 사용자의 시청 위치에서 촬영된 외부 디스플레이부의 촬영 영상으로부터 외부 디스플레이부의 화면 프레임을 모델링한 윤곽 프레임을 이용하여 AR 영상을 보정함으로써 사용자의 시청 거리 및 시야각을 반영하여 AR 영상을 출력할 수 있다.
일 실시예에 따른 증강 현실 기기는 센서부를 통해 획득한 회전 정보에 기초하여 외부 디스플레이부의 화면 프레임에 대한 윤곽 프레임의 기울기를 보상하여 이용함으로써 AR 영상의 기울임 왜곡을 방지할 수 있다.
일 실시예에 따른 증강 현실 기기는 검출한 윤곽 프레임에 입력 영상을 워핑(warping)하는 기술을 이용하여 출력 영상을 생성함으로써 사용자의 시청 위치와 상관없이 외부 디스플레이부의 출력 영상에 증강 현실 디스플레이부의 출력 영상을 왜곡없이 합성할 수 있다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 시스템의 동작 방법을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 이용되는 증강 현실 기기의 외형을 예시한 도면들이다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 시스템을 개략적으로 나타낸 블록도이다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 시스템의 구동 방법을 나타낸 순서도이다.
도 5는 본 발명의 일 실시예에 따른 증강 현실 기기의 구동 단계들을 예시한 도면들이다.
도 6은 본 발명의 일 실시예에 따른 증강 현실 기기의 구동 단계들을 예시한 도면들이다.
도 7은 본 발명의 일 실시예에 따른 각 시청 위치에서 사용자가 인식하는 제1 디스플레이부 화면 프레임의 변화 형태를 예시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 윤곽 프레임 상에 제2 영상 프레임을 워핑하는 방법을 개략적으로 나타낸 도면이다.
도 9는 본 발명의 일 실시예에 따른 증강 현실 기기의 회전에 따른 카메라 취득 영상의 보정 방법을 나타낸 도면들이다.
도 10 내지 도 12는 본 발명의 일 실시예에 따른 증강 현실 시스템의 영상 합성 결과를 예시한 도면들이다.
이하, 본 발명의 바람직한 실시예들을 도면을 참조하여 설명한다.
도 1은 본 발명의 일 실시예에 따른 증강 현실 시스템의 동작 방법을 개략적으로 나타낸 도면이고, 도 2는 일 실시예에 이용되는 증강 현실 기기의 외관을 개략적으로 예시한 도면들이다.
도 1을 참조하면, 일 실시예에 따른 증강 현실 시스템은 외부 디스플레이부(이하, 제1 디스플레이부)(110)를 포함하는 외부 전자 장치(100)와, 증강 현실 디스플레이부(이하, 제2 디스플레이부)(210)를 포함하며 사용자가 착용 가능한 증강 현실 기기(200)를 포함한다.
외부 전자 장치(100)와 증강 현실 기기(200)는 통신부를 통해 페어링(Pairing) 모드로 연동하여 영상 정보를 송수신할 수 있고 제1 디스플레이부(110)의 출력 및 제2 디스플레이부(210)의 출력을 동기시킬 수 있다.
사용자는 머리 부분에 증강 현실 기기(200)를 착용하고, 증강 현실 기기(200)의 AR 디스플레이 영역(300)을 통해 외부 전자 장치(100)의 제1 디스플레이부(110)를 볼 수 있다. 증강 현실 시스템은 연동하는 제1 및 제2 디스플레이부(110, 210)를 통해 복수의 영상(112, 212)을 분리 출력하고, 분리 출력된 영상(112, 212)을 AR 디스플레이 영역(300)을 통해 하나의 영상(312)으로 합성하여 사용자에게 제공할 수 있다. AR 디스플레이 영역(300)은 제2 디스플레이부(210)의 화면 프레임과 대응할 수 있다.
예를 들면, 외부 전자 장치(100)는 비디오 콘텐츠(제1 영상)(112)와 자막 콘텐츠(제2 영상)(212) 중 자막 콘텐츠(212)를 증강 현실 기기(200)로 전송할 수 있다. 외부 전자 장치(100)는 제1 디스플레이부(110)를 통해 비디오 콘텐츠(112)를 출력하고, 증강 현실 기기(200)는 제2 디스플레이(210)를 통해 자막 콘텐츠(212)를 출력할 수 있다. 이에 따라, 사용자는 증강 현실 기기(200)의 AR 디스플레이 영역(300)을 통해, 비디오 콘텐츠(112)에 자막 콘텐츠(212)가 오버랩하여 합성된 하나의 영상(312)을 볼 수 있으므로 몰입감있게 영상(312)을 감상할 수 있다.
일 실시예에 따른 제1 디스플레이부(110)가 OLED 디스플레이를 이용할 때, 잔상에 취약한 패턴에 속하는 자막 콘텐츠(212)를 제2 디스플레이부(210)에서 출력하고, OLED 디스플레이(110)는 자막 콘텐츠(212)를 제외한 비디오 콘텐츠(112)를 출력함으로써 OLED 디스플레이(110)의 잔상을 저감할 수 있다.
다시 말하여, 외부 전자 장치(100)는 로고(Logo)나 자막 등과 같이 높은 화이트 휘도를 갖고 위치가 고정되어 OLED 소자의 열화가 빠른 잔상 취약 패턴을 증강 현실 기기(200)로 전송하여 제2 디스플레이부(210)를 통해 출력되게 하고, OLED 디스플레이(110)에는 잔상 취약 패턴을 제외한 영상을 출력함으로써 OLED 디스플레이(110)의 잔상을 저감할 수 있다. 외부 전자 장치(100)는 로고와 같은 패턴을 위치 정보와 함께 소스 영상으로부터 검출하여 증강 현실 기기(200)로 전송할 수 있고, 비디오 콘텐츠와 별개 파일로 공급받은 자막 콘텐츠를 증강 현실 기기(200)로 전송할 수 있다.
도 2(a)를 참조하면, 일 실시예에 따른 증강 현실 기기(200)는 사용자 머리 부분에 착용 가능한 착용부(230)와, 착용부(230)에 장착된 렌즈부(240), 제2 디스플레이부(210), 카메라(220), 구동 모듈(250)을 포함할 수 있고, 이외에도 다른 구성들이 더 추가될 수 있다.
증강 현실 기기(200)는 도 2와 같이 안경 형태를 가질 수 있으나, 이외에도 헤드셋, 고글형, 헬멧형 등과 같이 사용자의 머리에 착용 가능한 다양한 형태가 적용될 수 있다.
사용자는 렌즈부(240)를 통해 외부 환경을 현실 영상으로 볼 수 있고, 그 현실 영상은 제1 영상을 표시하는 제1 디스플레이부(110; 도 1)를 포함할 수 있다. 제2 디스플레이부(210)는 마이크로 디스플레이 및 특수 광학계를 포함하여 사용자의 시야에 대응하는 AR 디스플레이 영역(300; 도 1)으로 제2 영상(AR 영상)을 출력할 수 있다. 제2 디스플레이부(210)는 렌즈부(240)의 외측 또는 내측에 위치하거나 렌즈부(240)의 일측부에 위치하여 렌즈부(240)에 제2 영상을 투사할 수 있고, 이외에도 다양한 형태로 증강 현실 기기(200)에 장착될 수 있다.
카메라(220)는 사용자의 눈과 유사한 위치에 장착되어 사용자가 인식하는 전방 영상을 촬영할 수 있다. 즉, 카메라(220)는 외부 전자 장치(100)의 제1 디스플레이부(110)가 사용자의 시야에 위치할 때, 사용자의 눈 위치에서 보이는 제1 디스플레이부(110)를 촬영할 수 있다. 구동 모듈(250)은 제어부, 통신부, 각종 센서부, 음향부 등을 포함할 수 있다.
한편, 도 2(b)에 도시된 바와 같이, 증강 현실 기기(200A)의 렌즈부(240A)가 투명 디스플레이부를 포함할 수 있고, 렌즈부(240A)의 양측에 한 쌍의 카메라(220A, 220B)가 장착될 수 있다.
도 3은 본 발명의 일 실시예에 따른 증강 현실 시스템을 개략적으로 나타낸 블록도이다.
도 3을 참조하면, 일 실시예에 따른 증강 현실 시스템은 제1 디스플레이부(110)를 포함하는 외부 전자 장치(100)와, 제2 디스플레이부(210)를 포함하는 증강 현실 기기(200)를 포함한다. 외부 전자 장치(100)는 제어부(120), 통신부(130) 등을 더 포함할 수 있다. 증강 현실 기기(200)는 카메라(220), 제어부(260), 통신부(270), 센서부(280) 등을 더 포함할 수 있다. 외부 전자 장치(100) 및 증강 현실 기기(200)는 다른 구성들을 더 포함할 수 있으므로 도 3의 구성으로 한정되지 않는다.
외부 전자 장치(100)의 제어부(120)와 증강 현실 기기(200)의 제어부(260)는 통신부(130, 270)를 통해 페어링 모드로 연동할 수 있고, 페어링 모드를 오프할 수 있다. 페어링 모드는 사용자의 입력 신호에 의해 온 또는 오프될 수 있다. 페어링 모드일 때, 외부 전자 장치(100)의 제어부(120)와 증강 현실 기기(200)의 제어부(260)는 연동하여 영상 정보를 송수신할 수 있고 제1 디스플레이부(110)의 출력 및 제2 디스플레이부(210)의 출력을 동기시킬 수 있다. 이에 따라, 증강 현실 시스템은 제1 디스플레이부(110) 및 제2 디스플레이부(210)를 듀얼(dual) 디스플레이로 이용할 수 있다.
외부 전자 장치(100)로는 디지털 TV, 모니터, 데스크탑 컴퓨터, 노트북 컴퓨터, 태블릿 PC, 게임기 등이 이용될 수 있다.
외부 전자 장치(100)의 제어부(120)는 제1 디스플레이부(110) 및 통신부(130)를 포함하는 외부 전자 장치(100)의 각 구성을 제어할 수 있다. 제어부(120)는 통신부(130) 또는 저장부(미도시)를 통해 복수의 영상 정보를 공급받을 수 있다. 제어부(120)는 공급받은 복수의 영상 정보를 분리하여 중 제1 영상 콘텐츠는 제1 디스플레이부(110)에 출력하여 표시할 수 있고, 제2 영상 콘텐츠를 통신부(130)를 통해 증강 현실 기기(200)에 제공할 수 있다. 예를 들면, 제2 영상 콘텐츠는 자막 정보나 로고 등과 같은 잔상 취약 패턴을 포함하거나, URL, 메세지창, 광고 컨텐츠, 게임의 부가 정보 등의 부가 윈도우 화면을 포함할 수 있다.
증강 현실 기기(200)의 카메라(220)는 사용자의 시청 위치에서 전방 영상을 촬영할 수 있다. 카메라(220)는 사용자의 시청 위치에서 외부 전자 장치(100)의 제1 디스플레이부(110)가 위치하는 사용자의 시야 영역을 촬영하고 촬영 영상 정보를 제어부(260)에 제공할 수 있다.
센서부(280)는 자이로 센서 등을 포함하여, 사용자의 움직임에 따른 증강 현실 기기(200)의 회전 방향, 회전각, 기울기 등을 센싱하여 제어부(260)에 센싱된 회전 방향, 회전각, 기울기 등을 포함하는 회전 정보를 제공할 수 있다.
제어부(260)는 증강 현실 기기(200)의 각 구성을 제어할 수 있다. 제어부(260)는 외부 전자 장치(100)로부터 통신부(270)를 통해 제2 영상 정보를 공급받아, 제1 디스플레이부(110)에 대한 사용자의 시인 형태를 기초하여 제2 영상 정보를 보정 처리하고, 보정된 제2 영상을 제2 디스플레이부(210)를 통해 출력할 수 있다.
제어부(260)는 카메라(220)의 촬영 영상으로부터 사용자의 시청 위치에서 보이는 제1 디스플레이부(110)의 화면을 그대로 모델링한 윤곽선 프레임을 검출할 수 있다. 제1 디스플레이부(110)의 화면에 대한 윤곽선 프레임은 사용자와 제1 디스플레이부(110) 간의 시청 거리 및 사용자의 시야각 정보가 모두 반영된 크기 및 형태를 갖는다.
제어부(260)는 검출한 윤곽선 프레임과 제2 디스플레이부(210)의 화면 위치를 매칭하고, 공급받은 제2 영상을 윤곽선 프레임에 맞추어 제2 디스플레이부(210)의 화면 위치에 워핑함으로써 보정된 제2 영상을 생성하고 제2 디스플레이부(210)를 통해 출력할 수 있다.
제1 디스플레이부(110) 및 제2 디스플레이부(210)가 동기하여 제1 및 제2 영상을 출력함으로써 AR 디스플레이 영역(300)을 통해 제1 및 제2 영상이 합성되어 사용자에게 제공될 수 있다.
도 4는 본 발명의 일 실시예에 따른 증강 현실 기기의 구동 방법을 나타낸 순서도이고, 도 5 및 도 6은 본 발명의 일 실시예에 따른 증강 현실 기기의 구동 단계들을 예시한 도면들이며, 도 7은 본 발명의 일 실시예에 따른 시청자의 시야각에 따른 윤곽 프레임의 변화 형태를 예시한 도면들이고, 도 8은 본 발명의 일 실시예에 따른 도 9는 본 발명의 일 실시예에 따른 윤곽 프레임 상에 제2 영상 프레임을 워핑하는 방법을 개략적으로 나타낸 도면이다.
도 3에 도시된 외부 전자 장치(100) 및 증강 현실 기기(100)가 페어링 모드로 연동되면, 사용자가 착용한 증강 현실 기기(100)는 도 4 내지 도 6에 도시된 구동 동작을 수행한다. 사용자는 증강 현실 기기(100)의 AR 디스플레이 영역(300; 도 1)을 통해 제1 디스플레이부(110) 전체를 볼 수 있는 시청 거리에 위치한다. 도 5 및 도 6은 사용자의 시야각에 따라 다른 차이를 더 포함하고 있다.
사용자의 시청 위치에서 카메라(220)의 촬영 프레임(222) 내에 제1 디스플레이부(110)의 화면 프레임(114)이 모두 포함되도록 카메라(220)가 얼라인되고, 촬영 프레임(222)은 제2 디스플레이부(210)의 화면 프레임(214)과 동일 위치로 얼라인된 다음, 카메라(220)는 촬영 프레임(222)의 크기로 제1 디스플레이부(110)를 촬영한다(S404).
제어부(260)는 카메라(220)의 촬영 영상으로부터 제1 디스플레이부(110)의 화면 프레임(114)에 대응하는 윤곽 프레임(400)을 검출한다(S404). 제어부(260)는 촬영 영상으로부터 공지된 모서리 검출 방법을 이용하여 제1 디스플레이부(110)의 화면 프레임(114)에 대응하는 4개 모서리(P1~P4)를 검출하고 4개 모서리(P1~P4)를 연결함으로써 윤곽 프레임(400)을 검출할 수 있다.
도 7을 참조하면, 사용자가 증강 현실 기기(200)를 통해 제1 디스플레이부(110)의 화면 프레임(114)을 바라볼 때, 사용자의 시청 거리 및 시야각에 따라 사용자에게 보이는 화면 프레임(114A, 114B, 114C)의 크기 및 모양이 변화함을 알 수 있다. 윤곽 프레임(400: 400A, 400B, 400C)은 사용자의 시청 거리 및 시야각이 반영된 시청자의 시청 위치에서 촬영한 제1 디스플레이부(110)의 화면 프레임(114A, 114B, 114C)의 크기 및 형태를 그대로 모델링한 것이므로, 윤곽 프레임(400: 400A, 400B, 400C)은 사용자의 시청 거리 및 시야각이 모두 반영된 크기와 형태를 갖는다. 따라서, 별도로 시청 거리 및 시야각을 검출 및 계산하는 과정이 요구되지 않는다.
예를 들면, 도 7에 도시된 바와 같이, 사용자가 제1 디스플레이부(110)의 화면 프레임(112)을 정면에서 바라볼 때, 사용자에게 보이는 화면 프레임(112A)과 그에 대응하는 윤곽 프레임(400A)은 사용자의 시청 거리에 따른 크기 변화만 있을 뿐 동일한 모양을 갖는다. 반면, 사용자가 좌측 측면 또는 우측 측면에서1 디스플레이부(110)의 화면 프레임(112)을 정면에서 바라볼 때, 사용자에게 보이는 화면 프레임(112B, 112C)과 그에 대응하는 윤곽 프레임(400B, 400C)은 사용자의 시청 거리에 따른 크기 변화가 있을 뿐만 아니라 모양, 즉 장변이 기울어진 형태를 갖음을 알 수 있다.
한편, 제어부(260)는 촬영 영상으로부터 윤곽 프레임(400)을 검출하기 이전에 증강 현실 기기(200)의 센서부(280)를 통해 얻은 회전 정보에 따라 촬영 영상의 기울기를 보상할 수 있으며, 이에 대한 설명은 후술하기로 한다.
제어부(260)는 윤곽 프레임(400)을 제2 디스플레이부(210)의 화면 프레임(214)과 매칭한다(S406). 제2 디스플레이부(210)의 화면 프레임(214)은 촬영 프레임(222)과 동일한 위치로 얼라인된 것이므로, 촬영 프레임(222) 내의 제1 디스플레이부(110)의 화면 프레임(114)과 동일한 위치에 위치하도록 윤곽 프레임(400)을 제2 디스플레이부(210)의 화면 프레임(214)과 매칭할 수 있다.
제어부(260)는 외부 전자 장치(100)로부터 공급받은 제2 영상 프레임을 매칭된 윤곽 프레임(400)의 크기 및 형태에 맞추어 워핑(warping)함으로써 윤곽 프레임(400)의 크기 및 형태에 따라 위치가 보정된 제2 영상 프레임(212)을 생성한다(S408).
도 8을 참조하면, 제어부(260)는 제2 영상 프레임(214)을 복수개의 분할 영역(D1~Dn)으로 분할하고, 윤곽 프레임(400)도 동일한 복수개의 분할 영역(DD1~DDn)을 분할한다. 제어부(260)는 제2 영상 프레임(214)의 모서리(C1~C4)와, 윤곽 프레임(400)의 모서리(P1~P4)를 각각 매칭시키고, 제2 영상 프레임(214)의 분할 영역(D1~Dn) 각각을 윤곽 프레임(400)의 분할 영역(DD1~DDn) 각각에 분할 영역별로 워핑함으로써 보정된 제2 영상 프레임(221A)을 생성할 수 있다. 예를 들면, 제어부(260)는 제2 영상 프레임(212)의 제k 분할 영역(Dk)을 윤곽 프레임(400)의 제k 분할 영역(DDk)에 워핑한다.
따라서, 도 5 및 도 6에 도시된 바와 같이 시청자의 시청거리 및 시야각이 반영된 윤곽 프레임(400)의 형태, 즉 윤곽 프레임(400)의 장변 기울기에 따라 서로 다르게 보정된 제2 영상 프레임(212)이 생성한다. 예를 들면, 도 5에 도시된 정면 시야각 대비 도 6에 도시된 측면 시야각일 때 자막 위치 및 형태가 윤곽 프레임(400)의 장변 기울기 형태를 따르도록 보정되었음을 알 수 있다.
제어부(260)는 보정된 제2 영상(214)을 제2 디스플레이부(120)를 통해 출력한다. 제2 디스플레이부(120)는 제어부(260)의 제어에 의해, 제1 디스플레이부(110)의 제1 영상의 출력과 동기하여 제2 영상을 출력한다(S410). 이에 따라, 사용자는 증강 현실 기기(100)의 AR 디스플레이 영역(300; 도 1)을 통해 제1 영상(112) 및 제2 영상(212)이 오버랩되어 합성된 합성 영상(312)을 시청할 수 있다.
도 10은 본 발명의 일 실시예에 따른 증강 현실 기기의 회전에 따른 카메라 취득 영상의 보정 방법을 나타낸 도면들이다.
사용자가 증강 현실 기기(200)를 착용한 상태에서 좌우로 기울임 동작을 하는 경우 증강 현실 기기(200)에 장착된 카메라(200)의 프레임(222)도 기울어짐에 따라, 도 10에 도시된 바와 같이 카메라(220)에 의해 촬영된 영상(224)에서 제1 디스플레이(110)의 화면 프레임(114)이 기울어진 상태로 왜곡될 수 있다. 제어부(260)는 자이로 센서를 포함하는 센서부(280)로부터 증강 현실 기기(200)의 좌우 회전 방향 및 회전 각도(θ)를 포함하는 회전 정보를 공급받는다. 자이로 센서는 전방위(x, y, z)로 증강 현실 기기(200)의 회전 방향 및 회전 각도를 감지할 수 있다. 제어부(260)는 촬영 영상(224)에서 제1 디스플레이(110)의 화면 프레임(114) 및 화면 프레임(114)의 모서리(P1~P4)를 검출하고, 검출한 모서리(P1~P4)를 회전 정보의 반대 회전 각도(-θ)로 보상함으로써 화면 프레임(114)의 기울기를 보상할 수 있다. 이에 따라, 제어부(260)는 보정된 모서리(P1'~P1') 및 그를 포함하는 제1 디스플레이(110)의 화면 프레임(114A)을 얻을 수 있다. 따라서, 제어부(260)는 기울기가 보상된 제1 디스플레이(110)의 화면 프레임(114A)으로부터 기울기가 보상된 윤곽 프레임(400)을 검출하여 이용함으로써 이후 제2 영상 생성시 기울임 왜곡을 방지할 수 있다.
도 10 내지 도 12는 본 발명의 일 실시예에 따른 증강 현실 시스템의 다른 영상 합성 결과를 예시한 도면들이다.
도 10 내지 도 12는 도 3에 도시된 증강 현실 시스템에서 외부 전자 장치(100)의 제1 디스플레이부(110)와, 증강 현실 기기(200)의 제2 디스플레이부(210)를 페어링 모드로 연동하여 듀얼 디스플레이와 같이 이용하는 경우를 예시한 것이다.
도 10을 참조하면, 외부 전자 장치의 제1 디스플레이부(110)는 게임 영상인 제1 영상(510)을 출력한다. 증강 현실 기기는 게임 영상(510)에 관한 부가 정보를 포함하는 보조 영상(522, 524)을 외부 전자 장치로부터 공급받아 그 보조 영상(522, 524)을 포함하는 제2 영상(520)을 생성하고, 제2 디스플레이부(210)를 통해 제2 영상(520)을 출력한다. 제1 및 제2 영상(510, 520)은 동기하여 출력된다. 이에 따라, AR 디스플레이 영역(300)을 통해 사용자는 제1 및 제2 영상(510, 520)이 중첩된 합성 영상(530)을 몰입감 있게 볼 수 있다. 제2 영상(520)의 보조 영상들(522, 524)은 제1 영상(510)과 중첩하도록 배치될 수 있다.
도 11을 참조하면, 외부 전자 장치의 제1 디스플레이부(110)는 제1 영상(510)을 출력한다. 증강 현실 기기는 제1 디스플레이부(100)를 모델링한 윤곽 프레임(400)의 주변부에 보조 영상들(522, 524, 526)을 배치한 제2 영상(520A)을 생성하고 제2 디스플레이부(210)를 통해 제2 영상(520A)을 출력한다. 이에 따라, 사용자는 AR 디스플레이 영역(300)을 통해 제1 영상(510)과, 제1 영상(510)의 주변부에 제2 영상(520A)의 보조 영상들(522, 524, 526)이 배치된 합성 영상(530A)을 볼 수 있다.
도 12를 참조하면, 외부 전자 장치의 제1 디스플레이부(110)가 제1 영상(510)을 출력한다. 증강 현실 기기는 제1 디스플레이부(100)를 모델링한 윤곽 프레임(400)의 주변부에, 외부 전자 장치로부터 공급받은 게임 보조 영상들(522, 524, 526) 이외에 메시지 화면이나 다른 프로그램 화면의 보조 영상(523, 525)을 더 배치한 제2 영상(520B)을 생성하고 제2 디스플레이부(210)를 통해 제2 영상(520B)을 출력할 수 있다. 이에 따라, 사용자는 AR 디스플레이 영역(300)을 통해 제1 영상(510)과, 제1 영상(510)의 주변부에 제2 영상(520B)의 보조 영상들(522, 524, 526, 523, 525)이 배치된 합성 영상(530B)을 볼 수 있다.
일 실시예에 따른 증강 현실 기기 및 증강 현실 시스템은 외부 디스플레이의 출력 영상과 증강 현실 디스플레이의 출력 영상을 증강 현실 디스플레이 영역을 통해 합성하여 사용자에게 제공함으로써 화면 몰입감을 향상시킬 수 있다.
일 실시예에 따른 증강 현실 시스템은 잔상 취약 패턴을 증강 현실 디스플레이부에서 출력하고, OLED 디스플레이를 이용하는 외부 디스플레이부는 잔상 취약 패턴을 제외한 콘텐츠를 출력함으로써 OLED 디스플레이의 잔상을 저감할 수 있다.
일 실시예에 따른 증강 현실 기기는 사용자의 시청 위치에서 촬영된 외부 디스플레이부의 촬영 영상으로부터 외부 디스플레이부의 화면 프레임을 모델링한 윤곽 프레임을 이용하여 AR 영상을 보정함으로써 사용자의 시청 거리 및 시야각을 반영하여 AR 영상을 출력할 수 있다.
일 실시예에 따른 증강 현실 기기는 센서부를 통해 획득한 회전 정보에 기초하여 외부 디스플레이부의 화면 프레임에 대한 윤곽 프레임의 기울기를 보상하여 이용함으로써 AR 영상의 기울임 왜곡을 방지할 수 있다.
일 실시예에 따른 증강 현실 기기는 검출한 윤곽 프레임에 입력 영상을 워핑(warping)하는 기술을 이용하여 출력 영상을 생성함으로써 사용자의 시청 위치와 상관없이 외부 디스플레이부의 출력 영상에 증강 현실 디스플레이부의 출력 영상을 왜곡없이 합성할 수 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구 범위에 의해 정하여져야만 할 것이다.
100: 외부 전자 장치 110: 제1 디스플레이부
112, 510: 제1 영상 200, 200A: 증강 현실 기기
210: 제2 디스플레이부 212, 520, 520A, 520B: 제2 영상
300: AR 디스플레이 영역 312, 530, 530A, 530B: 합성 영상
230: 착용부 240, 240A: 렌즈부
220, 220A: 카메라 120, 260: 제어부
130, 270: 통신부 280: 센서부
222: 카메라 프레임 214: 제1 디스플레이의 화면 프레임
400: 윤곽 프레임 212: 제2 디스플레이의 화면 프레임
224: 촬영 영상 522, 524, 526, 523, 525: 보조 영상

Claims (13)

  1. 사용자의 착용 상태에서 외부 전자 장치의 제1 디스플레이부를 시청하는 증강 현실 기기에 있어서,
    상기 사용자의 시청 위치에서 상기 제1 디스플레이부를 촬영하여 촬영 영상을 제공하는 카메라;
    상기 카메라의 촬영 영상으로부터 상기 제1 디스플레이부의 화면 프레임을 모델링한 윤곽 프레임을 검출하고, 검출한 윤곽 프레임의 크기 및 형태를 반영하여 입력 영상을 보정하고 보정된 영상을 상기 제2 디스플레이부로 출력하는 제어부; 및
    상기 제어부로부터의 출력 영상을 증강 현실 디스플레이 영역으로 출력하는 제2 디스플레이부를 포함하는 증강 현실 기기.
  2. 청구항 1에 있어서,
    상기 입력 영상은 통신부를 통해 상기 외부 전자 장치로부터 수신된 영상인 증강 현실 기기.
  3. 청구항 1에 있어서,
    상기 윤곽 프레임의 크기 및 형태는 상기 사용자와 상기 제1 디스플레이부 사이의 시청 거리와, 상기 사용자의 시야각에 따라 변화하는 증강 현실 기기.
  4. 청구항 3에 있어서,
    상기 제어부는
    상기 윤곽 프레임과 상기 제2 디스플레이부의 화면 프레임을 매칭하고,
    상기 입력 영상 및 상기 윤곽 프레임 각각을 동일 개수의 분할 영역으로 분할하고, 각 분할 영역별로 상기 입력 영상의 각 분할 영역을 상기 윤곽 프레임의 해당 분할 영역에 워핑하여 상기 보정된 영상을 생성하는 증강 현실 기기.
  5. 청구항 1에 있어서,
    상기 증강 현실 기기는 회전 방향 및 회전 각도를 센싱하는 센서부를 더 포함하고,
    상기 제어부는 상기 윤곽 프레임을 검출하기 이전에, 상기 센서부의 회전 정보를 이용하여 상기 카메라의 촬영 영상에 포함된 상기 제1 디스플레이부의 화면 프레임의 기울기를 보상하는 증강 현실 기기.
  6. 제1 디스플레이부를 포함하는 외부 전자 장치; 및
    제2 디스플레이부를 포함하고, 상기 외부 전자 장치와 연동하는 증강 현실 기기를 포함하고;
    상기 증강 현실 기기를 착용한 사용자가 상기 제1 디스플레이부를 시청하는 페어링 모드일 때, 상기 외부 전자 장치는 상기 제1 디스플레이부를 통해 제1 출력 영상을 출력하고, 상기 증강 현실 기기는 상기 외부 전자 장치로부터 부가 영상을 공급받아 그 부가 영상을 포함하는 제2 영상을 생성하고, 상기 제2 디스플레이부를 통해 상기 제1 출력 영상의 출력과 동기하는 상기 제2 출력 영상을 출력하여, 증강 현실 디스플레이 영역을 통해 상기 제1 및 제2 출력 영상이 합성되어 상기 사용자에게 제공되는 증강 현실 시스템.
  7. 청구항 6에 있어서,
    상기 증강 현실 기기는 카메라, 제어부를 더 포함하고, 상기 페어링 모드일 때,
    상기 카메라는 상기 사용자의 시청 위치에서 상기 제1 디스플레이부를 촬영하여 촬영 영상을 제공하고,
    상기 제어부는 상기 카메라의 촬영 영상으로부터 상기 제1 디스플레이부의 화면 프레임을 모델링한 윤곽 프레임을 검출하고, 검출한 윤곽 프레임의 크기 및 형태를 반영하여 상기 제2 영상을 보정하고 보정된 제2 영상을 상기 제2 디스플레이부를 통해 상기 제2 출력 영상으로 출력하는 증강 현실 시스템.
  8. 청구항 7에 있어서,
    상기 윤곽 프레임의 크기 및 형태는 상기 사용자와 상기 제1 디스플레이부 사이의 시청 거리와, 상기 사용자의 시야각에 따라 변화하는 증강 현실 시스템.
  9. 청구항 8에 있어서,
    상기 제어부는
    상기 윤곽 프레임과 상기 제2 디스플레이부의 화면 프레임을 매칭하고, 매칭된 윤곽 프레임에 상기 제2 입력 영상을 워핑하여 상기 보정된 제2 영상을 생성하는 증강 현실 시스템.
  10. 청구항 9에 있어서,
    상기 제어부는
    상기 제2 입력 영상 및 상기 윤곽 프레임 각각을 동일 개수의 분할 영역으로 분할하고, 각 분할 영역별로 상기 제2 입력 영상의 각 분할 영역을 상기 윤곽 프레임의 해당 분할 영역에 워핑하는 증강 현실 시스템.
  11. 청구항 6에 있어서,
    상기 증강 현실 기기는 회전 방향 및 회전 각도를 센싱하는 센서부를 더 포함하고,
    상기 제어부는 상기 윤곽 프레임을 검출하기 이전에, 상기 센서부의 회전 정보를 이용하여 상기 카메라의 촬영 영상에 포함된 상기 제1 디스플레이부의 화면 프레임의 기울기를 보상하는 증강 현실 시스템.
  12. 청구항 6에 있어서,
    상기 증강 현실 디스플레이 영역에서 상기 부가 영상은 상기 제1 영상과 중첩하거나, 상기 제1 영상의 주변부에 배치되는 증강 현실 시스템.
  13. 청구항 6에 있어서,
    상기 제1 디스플레이부는 유기 발광 다이오드 디스플레이를 이용하고, 상기 제2 디스플레이부에서 출력하는 상기 부가 영상은 로고나 자막 콘텐츠를 포함하는 증강 현실 시스템.
KR1020180163721A 2018-12-18 2018-12-18 증강 현실 기기 및 증강 현실 시스템 Ceased KR20200075249A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180163721A KR20200075249A (ko) 2018-12-18 2018-12-18 증강 현실 기기 및 증강 현실 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180163721A KR20200075249A (ko) 2018-12-18 2018-12-18 증강 현실 기기 및 증강 현실 시스템

Publications (1)

Publication Number Publication Date
KR20200075249A true KR20200075249A (ko) 2020-06-26

Family

ID=71136590

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180163721A Ceased KR20200075249A (ko) 2018-12-18 2018-12-18 증강 현실 기기 및 증강 현실 시스템

Country Status (1)

Country Link
KR (1) KR20200075249A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220055579A (ko) 2020-10-27 2022-05-04 광운대학교 산학협력단 증강현실기기의 시각적 복잡도 완화방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체
KR20230023770A (ko) * 2021-05-07 2023-02-17 레몬 인크. 환경에서 콘텐츠를 프로젝션하기 위한 시스템 및 방법
US12166807B2 (en) 2022-01-12 2024-12-10 Samsung Electronics Co., Ltd. Server for rendering a virtual world image and control method thereof
US12548108B2 (en) * 2021-12-28 2026-02-10 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium that generate a perspective projection image from a wide-angle image

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220055579A (ko) 2020-10-27 2022-05-04 광운대학교 산학협력단 증강현실기기의 시각적 복잡도 완화방법, 및 동 방법을 컴퓨터에서 실행하기 위한 컴퓨터 프로그램이 기록된, 컴퓨터 판독 가능한 기록 매체
KR20230023770A (ko) * 2021-05-07 2023-02-17 레몬 인크. 환경에서 콘텐츠를 프로젝션하기 위한 시스템 및 방법
CN115769272A (zh) * 2021-05-07 2023-03-07 脸萌有限公司 用于在环境中投影内容的系统和方法
US12548108B2 (en) * 2021-12-28 2026-02-10 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium that generate a perspective projection image from a wide-angle image
US12166807B2 (en) 2022-01-12 2024-12-10 Samsung Electronics Co., Ltd. Server for rendering a virtual world image and control method thereof

Similar Documents

Publication Publication Date Title
US9720231B2 (en) Display, imaging system and controller for eyewear display device
CN106464854B (zh) 图像编码和显示
JP5849811B2 (ja) 裸眼立体視用映像データ生成方法
US8587639B2 (en) Method of improved three dimensional display technique
US20110234475A1 (en) Head-mounted display device
JP2019500633A (ja) 複数のセグメントディスプレイおよび光学素子を備えたヘッドマウントディスプレイ装置
US20100208121A1 (en) Camera and wearable image display apparatus
US11720996B2 (en) Camera-based transparent display
JP5834177B2 (ja) 立体画像表示システム及び立体視メガネ
KR20180066211A (ko) 디스플레이에 있어서 그리고 디스플레이에 관한 개선
GB2512404A (en) Display
JP7435596B2 (ja) ヘッドマウントディスプレイシステム、ステレオ画像を撮像するように動作可能であるステレオ深度カメラ、および、ステレオ画像を撮像するように動作可能であるステレオ深度カメラを提供する方法
JP2011035712A (ja) 画像処理装置、画像処理方法及び立体画像表示装置
JP5905585B2 (ja) ステレオ映像に基づく映像処理システム
JP6631014B2 (ja) 表示システム、及び表示制御方法
CN120883115A (zh) 用于头戴式显示器的折叠光学器件
JP4652947B2 (ja) 画像表示プログラム、画像表示装置および画像表示方法
EP4207067A1 (en) Apparatus and method for virtual reality
JP2004289548A (ja) 画像調整装置及び頭部装着型表示装置
JP4353001B2 (ja) ３次元画像撮像アダプター
JP2006267767A (ja) 画像表示装置
US20260038398A1 (en) Stereoscopic image display device and method of driving the same, and electronic device including the stereoscopic image display device
JP5332127B2 (ja) 頭部装着型表示装置
JP7528951B2 (ja) 表示端末装置
JP2018107499A (ja) 画像表示装置

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181218

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20211112

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20181218

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20231013

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20240321

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20231013

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

X091 Application refused [patent]
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20240321

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20231116

Comment text: Amendment to Specification, etc.

PX0601 Decision of rejection after re-examination

Comment text: Decision to Refuse Application

Patent event code: PX06014S01D

Patent event date: 20240701

Comment text: Decision to Refuse Application

Patent event code: PX06011S01I

Patent event date: 20240701