KR102872425B1 - Xr 디바이스 및 그 제어 방법 - Google Patents

Abstract

본 발명은 XR 디바이스 및 그 제어 방법에 관한 것으로서, 보다 구체적으로는 5G 통신 기술 분야, 로봇 기술 분야, 자율 주행 기술 분야 및 AI (Artificial Intelligence) 기술 분야에도 모두 적용 가능하다.

Description

XR 디바이스 및 그 제어 방법{EXTENDED REALITY DEVICE AND METHOD FOR CONTROLLING THE SAME}

본 발명은 XR 디바이스 및 그 제어 방법에 관한 것으로서, 보다 구체적으로는 5G 통신 기술 분야, 로봇 기술 분야, 자율 주행 기술 분야 및 AI (Artificial Intelligence) 기술 분야에도 모두 적용 가능하다.

VR (Virtual Reality) 기술은 현실 세계의 객체나 배경 등을 CG (Computer Graphic) 영상으로만 제공하고, AR (Augmented Reality) 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR (Mixed) 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다. 전술한 VR, AR, MR 등을 모두 간단히 XR (extended reality) 기술로 지칭하기도 한다.

특히, 최근에는 XR 기술을 이용하여 사용자에게 가상의 서비스를 적용하고 있다. 예를 들어, 매장이나 집에 설치된 XR 디바이스는 스크린을 통해 가상 피팅 서비스(virtual fitting service)를 제공한다.

따라서, 유저는 가상 피팅 서비스가 제공되는 동안, 자신이 원하는 의상을 빨리 선택하고자 한다.

그러나, 종래 기술에 따라 제공되는 XR 디바이스는 키보드 등이 별도로 제공되지 않아서, 사용자가 자신이 원하는 의상을 신속하게 선택하는 것이 사실상 불가능한 문제점이 있었다.

KR10-2017-0133455호(2017.12.05 공개)

본 발명의 일실시예는, XR 디바이스가 가상 피팅 서비스를 제공하는 경우, 사용자가 원하는 의상을 보다 빠르게 선택하기 위한 솔루션을 제공하고자 한다.

본 발명의 다른 일실시예는, 가상 피팅 서비스에서 제1 인터페이스를 통해서는 메인 그룹의 옷을 필터링 하고, 제2 인터페이스를 통해서는 서브 그룹의 특정 옷을 정확하게 선택하기 위한 기술을 제공하고자 한다.

그리고, 본 발명의 또 다른 일실시예는 XR 디바이스에서 중요한 전력 절감 문제를 해결하고자 한다.

다만, 전술한 목적만으로 제한되는 것은 아니며, 본 명세서 전체 내용에 기초하여 당업자가 유추할 수 있는 다른 목적으로 본 발명의 권리범위가 확장될 수 있다.

전술한 목적 등을 달성하기 위한 본 발명의 일실시예에 의한 가상 피팅 서비스를 제공하는 XR 디바이스의 제어 방법은, 적어도 하나의 가상 옷의 정보를 메모리에 저장하는 단계와, 상기 XR 디바이스 주변의 사용자로부터 적어도 하나의 음성 명령을 수신하는 단계와, 상기 수신된 적어도 하나의 음성 명령에 기초하여, 상기 메모리에 저장된 적어도 하나의 가상 옷의 정보 중에서 특정 메인 그룹에 속하는 옷들의 정보를 추출하는 단계와, 상기 사용자의 제스쳐를 인식하는 단계와 그리고 상기 인식된 제스쳐에 기초하여, 상기 특정 메인 그룹에 속하는 옷들 중에서 서브 그룹에 속하는 옷들의 정보를 추출하는 단계를 포함한다.

그리고, 본 발명의 다른 일실시예에 의한 가상 피팅 서비스를 제공하는 XR 디바이스는, 적어도 하나의 가상 옷의 정보를 저장하는 메모리와, 상기 XR 디바이스 주변의 사용자로부터 적어도 하나의 음성 명령을 수신하는 마이크와, 상기 수신된 적어도 하나의 음성 명령에 기초하여, 상기 메모리에 저장된 적어도 하나의 가상 옷의 정보 중에서 특정 메인 그룹에 속하는 옷들의 정보를 추출하는 컨트롤러와, 그리고 상기 사용자의 제스쳐를 인식하는 카메라를 포함한다.

상기 컨트롤러는, 예를 들어 상기 인식된 제스쳐에 기초하여, 상기 특정 메인 그룹에 속하는 옷들 중에서 서브 그룹에 속하는 옷들의 정보를 추출하도록 설계한다.

본 발명의 다양한 실시예들 중 일실시예에 따르면, XR 디바이스가 가상 피팅 서비스를 제공하는 경우, 사용자가 원하는 의상을 보다 빠르게 선택하기 위한 솔루션을 제공한다.

본 발명의 다른 일실시예에 의하면, 가상 피팅 서비스에서 제1 인터페이스를 통해서는 메인 그룹의 옷을 필터링 하고, 제2 인터페이스를 통해서는 서브 그룹의 특정 옷을 정확하게 선택하기 위한 기술을 제공한다.

그리고, 본 발명의 또 다른 일실시예는 XR 디바이스에서 중요한 전력 절감 문제를 해결한다

다만, 전술한 기술적 효과만으로 제한되는 것은 아니며, 본 명세서 전체 내용에 기초하여 당업자가 유추할 수 있는 다른 기술적 효과로 본 발명의 권리범위가 확장될 수 있다.

도 1은 본 발명의 일실시예에 의한 XR 디바이스를 HMD 타입으로 구현한 경우를 도시하고 있다.
도 2는 본 발명의 일실시예에 의한 XR 디바이스를 AR 글래스 타입으로 구현한 경우를 도시하고 있다.
도 3은 본 발명의 일실시예를 의류 관련 기기에 적용한 경우를 도시하고 있다.
도 4는 본 발명의 일실시예에 의한 XR 디바이스가 가상 피팅 서비스를 제공하는 프로세스를 도시하고 있다.
도 5는 도 4에 도시된 플로우 차트가 적용된 XR 디바이스의 구성 요소들을 도시하고 있다.
도 6 및 도 7은 종래 기술에 의한 가상 피팅 서비스의 문제점들을 도시하고 있다.
도 8은 본 발명의 일실시예에 의한 XR 디바이스가 2개의 서로 다른 인터페이스를 이용하여 특정 옷을 신속하게 디텍트 하는 과정을 도시하고 있다.
도 9 내지 도 11은 본 발명의 일실시예에 의한 XR 디바이스가 음성 인식에 기반하여 1차적으로 가상의 옷을 필터링 하는 프로세스(process)를 도시하고 있다.
도 12 내지 도 14는 본 발명의 일실시예에 의한 XR 디바이스가 제스쳐 인식에 기반하여 2차적으로 가상의 옷을 필터링 하는 프로세스(process)를 도시하고 있다.
도 15 내지 도 17은 본 발명의 일실시예에 의한 XR 디바이스가 음성 인식 및 제스쳐 인식이라는 2가지 이종의 인터페이스를 이용하여 특정 가상의 옷을 신속하게 디텍트 하는 프로세스를 도시하고 있다.
도 18은 본 발명의 일실시예에 의한 XR 디바이스가 정의하는 스크린내 비활성 영역 및 활성 영역 등을 도시하고 있다.
그리고, 도 19 내지 도 21은 도 18에서 정의한 영역 정보에 기초하여, 복수의 가상의 옷을 배열하는 프로세스를 도시하고 있다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명의 하기의 실시예들은 본 발명을 구체화하기 위한 것일 뿐 본 발명의 권리 범위를 제한하거나 한정하는 것이 아님은 물론이다. 본 발명의 상세한 설명 및 실시예들로부터 본 발명이 속하는 기술 분야의 전문가가 용이하게 유추할 수 있는 것은 본 발명의 권리 범위에 속하는 것으로 해석된다.

상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 안되며, 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다.

당해 명세서에서 설명하는 확장 현실은 가상 현실(VR: Virtual Reality), 증강 현실(AR: Augmented Reality), 혼합 현실(MR: Mixed Reality)을 총칭한다. VR 기술은 현실 세계의 객체나 배경 등을 CG 영상으로만 제공하고, AR 기술은 실제 사물 영상 위에 가상으로 만들어진 CG 영상을 함께 제공하며, MR 기술은 현실 세계에 가상 객체들을 섞고 결합시켜서 제공하는 컴퓨터 그래픽 기술이다.

MR 기술은 현실 객체와 가상 객체를 함께 보여준다는 점에서 AR 기술과 유사하다. 그러나, AR 기술에서는 가상 객체가 현실 객체를 보완하는 형태로 사용되는 반면, MR 기술에서는 가상 객체와 현실 객체가 동등한 성격으로 사용된다는 점에서 차이점이 있다.

XR 기술은 HMD(Head-Mount Display), HUD(Head-Up Display), 휴대폰, 태블릿 PC, 랩탑, 데스크탑, TV, 디지털 사이니지 등에 적용될 수 있고, XR 기술이 적용된 장치를 XR 장치(XR Device)라 칭할 수 있다.

다만, 최근에는 VR, AR, MR 기술을 명확히 구별하기 보다는 XR (extended Reality) 기술로 부르기도 한다. 따라서, 본 발명의 실시예들은 VR, AR, MR, XR 기술 모두에 적용 가능하다.

한편, VR, AR, MR, XR 기술에 적용되는 하드웨어(HW) 관련 요소 기술로서, 예를 들어 유/무선 통신 기술, 입력 인터페이스 기술, 출력 인터페이스 기술 및 컴퓨팅 장치 기술 등이 존재한다. 또한, 소프트웨어(SW) 관련 요소 기술로서, 예를 들어 추적 및 정합 기술, 음성 인식 기술, 상호 작용 및 사용자 인터페이스 기술, 위치기반 서비스 기술, 검색 기술, AI (Artificial Intelligence) 기술 등이 존재한다.

특히, 본 발명의 실시예들은, 전술한 HW/SW 관련 요소 기술 등을 이용하여, 다른 디바이스와의 통신 문제, 효율적인 메모리 사용 문제, 불편한 UX/UI로 인한 데이터 처리 속도가 낮아지는 문제, 영상 문제, 음향 문제, 멀미 현상 또는 기타 문제 중 적어도 하나를 해결하고자 한다.

도 1은 본 발명의 일실시예에 의한 XR 디바이스를 HMD 타입으로 구현한 경우를 도시하고 있다. 후술할 다양한 실시예들은 도 1에 도시된 HMD 타입으로 구현할 수도 있다.

도 1에 도시된 HMD 타입의 XR 디바이스(100a)는, 커뮤니케이션 유닛(110), 컨트롤 유닛(120), 메모리 유닛(130), I/O 유닛(140a), 센서 유닛(140b), 그리고 파워 공급 유닛(140c) 등을 포함한다. 특히, XR 디바이스(10a)내 커뮤니케이션 유닛(110)은 모바일 터미날(100b)과 유무선 통신이 이루어 진다.

그리고, 도 2는 본 발명의 일실시예에 의한 XR 디바이스를 AR 글래스 타입으로 구현한 경우를 도시하고 있다. 후술할 다양한 실시예들은 도 2에 도시된 AR 글래스 타입으로 구현할 수도 있다.

도 2에 도시된 바와 같이, AR 글래스는 프레임, 제어부(200) 및 광학 디스플레이부(300)를 포함할 수 있다.

프레임은 도 2에 도시된 바와 같이, 사용자(10)의 신체 중 안면에 착용되는 안경 형태를 가질 수 있으나, 이에 반드시 한정되는 것은 아니고, 사용자(10)의 안면에 밀착되어 착용되는 고글 등의 형태를 가질 수도 있다.

이와 같은 프레임은 전면 프레임(110)과 제1, 2 측면 프레임을 포함할 수 있다.

전면 프레임(110)은 적어도 하나의 개구부를 구비하고, 제1 수평 방향(x)으로 연장될 수 있으며, 제1, 2 측면 프레임은 전면 프레임(110)과 교차하는 제2 수평 방향(y)으로 연장되어 서로 나란하게 연장될 수 있다.

제어부(200)는 사용자(10)에게 보여질 이미지 또는 이미지가 연속되는 영상을 생성할 수 있다. 이와 같은 제어부(200)에는 이미지를 발생시키는 이미지 소스와 이미지 소스에서 발생된 빛을 확산 및 수렴하는 복수의 렌즈 등을 포함할 수 있다. 이와 같이 제어부(200)에서 생성되는 이미지는 제어부(200)와 광학 디스플레이부(300) 사이에 위치하는 가이드 렌즈(P200)을 통해 광학 디스플레이부(300)로 출사될 수 있다.

이와 같은 제어부(200)는 제1, 2 측면 프레임 중 어느 하나의 측면 프레임에 고정될 수 있다. 일례로, 제어부(200)는 어느 하나의 측면 프레임 내측 또는 외측에 고정되거나, 어느 하나의 측면 프레임의 내부에 내장되어 일체로 형성될 수 있다.

광학 디스플레이부(300)는 제어부(200)에서 생성된 이미지가 사용자(10)에게 보여지도록 하는 역할을 수행할 수 있으며, 이미지가 사용자(10)에게 보여지도록 하면서, 개구부를 통하여 외부 환경을 볼 수 있도록 하기 위하여, 반투명 재질로 형성될 수 있다.

이와 같은 광학 디스플레이부(300)는 전면 프레임(110)에 포함된 개구부에 삽입되어 고정되거나, 개부구의 배면[즉 개구부와 사용자(10) 사이]에 위치하여, 전면 프레임(110)에 고정되어 구비될 수 있다. 본 발명에서는 일례로, 광학 디스플레이부(300)가 개구부의 배면에 위치하여, 전면 프레임(110)에 고정된 경우를 일예로 도시하였다.

이와 같은 XR 디바이스는 도 2에 도시된 바와 같이, 제어부(200)에서 이미지에 대한 이미지를 광학 디스플레이부(300)의 입사 영역(S1)으로 입사시키면, 이미지광이 광학 디스플레이부(300)를 통하여, 광학 디스플레이부(300)의 출사 영역(S2)으로 출사되어, 제어부(200)에서 생성된 이미지를 사용자(10)에게 보여지도록 할 수 있다.

이에 따라, 사용자(10)는 프레임(100)의 개구부를 통하여 외부 환경을 보면서 동시에 제어부(200)에서 생성된 이미지를 함께 볼 수 있다.

도 3은 본 발명의 일실시예를 의류 관련 기기에 적용한 경우를 도시하고 있다.

당해 명세서의 실시예들은 XR 디바이스 뿐만 아니라 다양한 의류 관련 기기들에도 적용할 수가 있다.

본 발명의 일실시예와 관련하여 추가 설명 하면, 도 3에 도시된 바와 같이, 사용자(100)가 의류 관련 기기(ex: 스타일러, 에어 드레서 등)에 접근하면, 의류 관련 기기에 설치된 카메라 또는 센서를 통해 사용자의 접근을 인식한다.

그리고, 의류 관련 기기의 전면에 설치된 디스플레이(200)는 인식된 사용자 관련 아바타를 표시하고, 사용자(100)가 원하는 의상, 모자등을 가상으로 입어본 형태의 그래픽이 추가적으로 표시된다. 도 3에 도시된 바와 같이, 실제 사용자(100)는 모자를 쓰지 않았으나, 디스플레이(200)에 표시된 아바타는 가상의 모자를 쓰고 있음을 확인할 수 있다. 나아가, 상기 디스플레이(200)는 사용자 인식이 안된 경우에는 거울로서 동작하는 것도 가능하다.

마지막으로, 도 3에서는 디스플레이(200)가 의류 관련 기기의 전면에 노출되어 있는 것으로 가정하였으나, 사용자가(100)가 의류 관련 기기의 문을 열었을 때 내부에 디스플레이가 위치하도록 설계하는 것도 본 발명의 권리범위에 속한다.

한편, 당해 명세서는 XR 디바이스 및 다양한 멀티미디어 디바이스를 예로 설명하고 있지만, 본 발명은 디스플레이 기능이 있는 디바이스면 충분하다.

도 4는 본 발명의 일실시예에 의한 XR 디바이스가 가상 피팅 서비스를 제공하는 프로세스를 도시하고 있다.

도 4에 도시된 바와 같이, 본 발명의 일실시예에 의한 XR 디바이스는 가상 피팅 서비스를 제공하며, 특히 대략적인 검색(Coarse search)은 음성 인식 기술을 이용하는 반면, 상세한 검색(Fine search)은 제스쳐 인식 기술을 이용한다는 점에서 전술한 종래 기술의 문제점을 해결할 수가 있다.

우선, XR 디바이스는, 적어도 하나의 가상 옷의 정보를 메모리에 저장한다(S410). 물론, 내부 메모리가 아닌 외부 서버로부터 수신하는 것도 본 발명의 권리범위에 속한다.

XR 디바이스는, 상기 XR 디바이스 주변의 사용자로부터 적어도 하나의 음성 명령을 수신한다(S420).

XR 디바이스는, 상기 수신된 적어도 하나의 음성 명령에 기초하여, 상기 메모리에 저장된 적어도 하나의 가상 옷의 정보 중에서 특정 메인 그룹에 속하는 옷들의 정보를 추출한다(S430).

XR 디바이스는, 상기 사용자의 제스쳐를 인식하고(S440), 그리고 상기 인식된 제스쳐에 기초하여, 상기 특정 메인 그룹에 속하는 옷들 중에서 서브 그룹에 속하는 옷들의 정보를 추출한다(S450).

S430 단계에서 메인 그룹에 속하는 옷들의 정보를 우선 추출한 이후, S450 단계에서 서브 그룹에 속하는 옷들의 정보를 추출하는 구체적인 솔루션은 이하 도 8에서 상세히 후술하겠다.

그리고, 도 4에 도시하지 않았으나, 상기 적어도 하나의 음성 명령은 예를 들어, 제1 음성 명령 또는 제2 음성 명령을 포함한다.

전술한 바와 같이, 본 발명이 일실시예의 특징은 음성 인식 기술 및 제스쳐 인식 기술을 최적화함으로써 사용자가 원하는 옷을 신속하게 디텍트 하는 것이다(키보드 등이 없어도). 다만, XR 디바이스가 어떠한 트리거 조건도 없이 항상 음성 인식을 계속 수행하면, 불필요한 전력 소모가 발생하는 문제점이 있다. 따라서, 상기 제1 음성 명령 또는 상기 제2 음성 명령이 수신된 경우, XR 디바이스는 상기 메모리에 저장된 음성 인식 엔진이 동작을 디스인에이블(disenable) 상태로 변경한다.

나아가, 제스쳐 인식도 필요한 범위 내에서만 이루어 지도록 설계하면, 추가적으로 XR 디바이스의 전력 낭비 문제를 해결할 수가 있다.

예를 들어, XR 디바이스가 상기 제1 음성 명령(예를 들어, “레터링 추가” 등)을 수신한 경우, XR 디바이스가 상기 사용자의 2개의 손을 모두 인식하도록 설계한다. 나아가, XR 디바이스는 제1 손 및 제2 손에 의해 구성되는 영역내 임의의 글자를 포함하는 옷들을 검색하고, 그리고 상기 임의의 글자를 포함하는 옷들 중 적어도 하나를 디스플레이 한다. 이와 관련하여, 이하 도 15를 참조하여 보다 상세히 후술하겠다.

반면, XR 디바이스가 상기 제2 음성 명령(예를 들어, “색상 세부 조정” 등)을 수신한 경우, XR 디바이스는 옷의 칼라를 상세히 조정하기 위한 옵션을 디스플레이 한다. 나아가, XR 디바이스가, 상기 디스플레이된 옵션의 위치로부터 일정 거리 이내에 있는 상기 사용자의 1개의 손만 인식하도록 설계한다. 그리고, XR 디바이스는, 상기 인식된 1개의 손의 모션에 기초하여, 특정 칼라의 옷들을 제한적으로 검색한다. 이와 관련하여, 이하 도 17을 참조하여 보다 상세히 후술하겠다. 즉, 도 15 및 도 17을 참조하면, 음성 인식으로 인식된 키워드에 따라, 제스쳐 인식 대상이 되는 손의 개수가 미리 결정되므로 불필요한 모션 트래킹을 최소화 하는 기술적 효과가 있다.

나아가, 본 발명의 일실시예에 의한 XR 디바이스는, 상기 다양한 인터페이스(예를 들어, 음성 인식/제스쳐 인식)를 통해 추출된 옷들의 정보에 기초하여, 상기 XR 디바이스의 스크린을 활성 영역 및 비활성 영역으로 분류한다.

특히, XR 디바이스는, 상기 스크린내 활성 영역의 가상의 옷만, 상기 사용자의 제스쳐에 반응하여 변경되고, 상기 스크린내 비활성 영역의 가상의 옷은, 상기 사용자의 제스쳐에 반응하여 변경되지 않도록 추가 설계된다. 따라서, 사용자가 원하는 가상의 옷을 보다 신속하게 선택할 수 있는 옵션을 제공하는 기술적 효과가 기대된다. 이와 관련해서는 도 18 내지 도 21을 참조하여 후술하도록 하겠다.

한편, 도 4에서는 방법 발명을 위주로 설명하였으나, XR 디바이스 장치에서 이를 구현할 수도 있다. 이와 관련하여 이하 도 5를 참조하여 후술하겠다.

도 5는 도 4에 도시된 플로우 차트가 적용된 XR 디바이스의 구성 요소들을 도시하고 있다. 물론, 당업자는 도 5에 도시된 XR 디바이스를, 이전 도 1 내지 도 3의 다른 디바이스에서 구현할 수도 있고, 이 또한 본 발명의 권리범위에 속한다.

본 발명의 일실시예에 따른 가상 피팅 서비스를 제공하는 XR 디바이스는, 도 5에 도시된 바와 같이 메모리(510), 마이크(520), 카메라(530), 스크린(540), 음성 인식 엔진(550) 및 컨트롤러(500)를 포함한다. 특히, 상기 컨트롤러(500)는 XR 디바이스의 전반적인 기능 및 각 구성모듈들의 동작을 제어한다. 다만, 도 5에 도시된 구성모듈들은 일예에 불과하며, 본 발명의 기술적 사상을 구현하기 위해 일부 모듈을 삭제, 추가, 변경하는 것도 본 발명의 권리범위에 속한다.

메모리(510)는, 적어도 하나의 가상 옷의 정보를 저장하고, 마이크(520)는 상기 XR 디바이스 주변의 사용자로부터 적어도 하나의 음성 명령을 수신하도록 설계한다.

컨트롤러(500)는, 상기 수신된 적어도 하나의 음성 명령에 기초하여, 상기 메모리(510)에 저장된 적어도 하나의 가상 옷의 정보 중에서 특정 메인 그룹에 속하는 옷들의 정보를 추출한다.

카메라(530)는, 상기 사용자의 제스쳐를 인식한다. 나아가, 상기 컨트롤러(500)는 상기 인식된 제스쳐에 기초하여, 상기 특정 메인 그룹에 속하는 옷들 중에서 서브 그룹에 속하는 옷들의 정보를 추출한다. 즉, 전술한 바와 같이, 1차 필터링은 음성 인식 기술에 기반하여 이루어 지도록 설계하고, 2차 필터링은 제스쳐 인식 기술에 기반하여 이루어 지도록 함으로써, 키보드의 도움 없이 사용자가 원하는 옷을 신속하게 선택할 수 있는 장점이 있다.

도 6 및 도 7은 종래 기술에 의한 가상 피팅 서비스의 문제점들을 도시하고 있다.

도 6의 (a)에 도시된 바와 같이, 종래 기술에 의한 사이니지(611)를 통해서도 가상 피팅 서비스를 제공될 수는 있다.

예를 들어, 사용자(610)에 대응하는 가상 아바타가 표시되고, 원하는 상의(예를 들어 셔츠)(612)를 확인할 수가 있다. 그러나, 종래 기술에 의하면, 사용자(610)가 상의(612)를 선택하였을 때는 하의 부분(613)에 어떤 옷을 입었는지 표시되지 않는다는 문제점도 있다. 본 발명의 일실시예는 이와 같은 문제점도 해결하고자 한다.

나아가, 사용자가 상의(612)가 맘에 들지 않아 다른 가상 옷을 선택하기 위해서는, 도 6의 (b)에 도시된 바와 같이 복잡한 화면(620)에서 원하는 의상을 찾기 위하여 일일이 스크롤(621) 해야 하는 문제가 있다. 특히, 가상 아바타에 입혀 볼 수 있는 의상이 매우 많은 경우, 이를 사용자가 수동으로만 스크롤 하는 것은 너무 많은 시간이 소요된다.

또한, 도 6에 도시된 사이지니는 통상적으로 공공의 장소에 설치되어 있으므로 별도의 키보드를 이용하는 것이 사실상 불가능하다. 본 발명의 일실시예는 이와 같은 문제점들을 모두 해결하고자 한다.

한편, 전술한 종래 기술 문제점 해결 위해, 도 7에 도시된 바와 같이 옷의 상의(710)와 하의(720)가 모두 함께 표시되도록 설계한다. 따라서, 사용자는 미리 전체적인 의상들의 느낌을 확인할 수가 있다.

즉, 사용자가 상의 또는 하의 중 하나를 선택하는 단계에서도, 나머지 부분(하의 또는 상의)이 디폴트로 정해진 옷을 입은 상태로 표시한다. 또는, 선택되지 않은 부분에, XR 디바이스가 추천하는 의상을 표시할 수도 있으며, 이는 특정 사용자의 이전 히스토리를 참조하여 결정된다.

도 8은 본 발명의 일실시예에 의한 XR 디바이스가 2개의 서로 다른 인터페이스를 이용하여 특정 옷을 신속하게 디텍트 하는 프로세스를 도시하고 있다.

본 발명의 일실시예에 의하면, 도 8에 도시된 바와 같이 음성 인식과 제스쳐 인식의 2가지 서로 다른 타입의 인터페이스들을 이용하여, 사용자가 원하는 옷을 빠르게 확인할 수가 있다.

예를 들어, 음성인식을 통해 다양한 표현 (ex. 청바지, 치마, 모자 등)을 할 수 있고, 음성인식으로는 표현하기 힘든 애매한 치수 및 위치 표현을 제스쳐 인식을 통해 명확히 할 수 있다는 장점이 있다.

도 8에 도시된 바와 같이, 1단계에서는 음성 인식 기술에 기반하여 코스 필터(Coarse Filter)가 사용된다. 즉, 메모리 및 서버에 저장된 수많은 옷들 중에서 메인 그룹에 속하는 옷들을 추출한다. 예를 들어, 사용자가 하얀색 정장용 셔츠라고 음성 명령을 내린 것으로 가정한다. 그러나, 이 때 구체적인 사이즈를 사용자는 조절하고자 할 가능성이 있는데, 음성 인식만으로는 이를 빠르게 반영할 수 없다.

따라서, 도 8에 도시된 바와 같이, 2 단계에서는 제스쳐 인식 기술에 기반하여, 파인 필터(Fine Filter)가 사용된다. 즉, 메인 그룹에 속한 옷들 중에서 서브 그룹의 옷들을 다시 추출한다. 예를 들어, 사용자가 셔츠의 특정 부위의 사이즈를 조정하는 제스쳐로, 사용자에게 최적화된 특정 옷을 XR 디바이스가 최종 추천하는 것이 가능하다.

도 9 내지 도 11은 본 발명의 일실시예에 의한 XR 디바이스가 음성 인식에 기반하여 1차적으로 가상의 옷을 필터링 하는 프로세스(process)를 도시하고 있다. 도 9 내지 도 11은 도 8에 도시된 코스 필터(Coarse Filter)에 의해 메인 그룹의 옷들을 추출하는 실시예들과 관련되어 있다.

도 9의 (a)에 도시된 바와 같이, XR 디바이스 주변의 사용자가 “청바지에 흰티” (910)라고 말하면, XR 디바이스는 이를 인식한다. 이 때, 전술한 마이크 및 음성 인식 엔진이 동작한다. 그리고, XR 디바이스는 스크린에 임의의 청바지와 흰티를 입은 가상 아바타(911)를 디스플레이 한다. 따라서, 사용자가 원하는 상의와 하의를 가상 아바타에 입혀서 동시에 확인할 수 있는 장점이 있다.

나아가, 도 9의 (b)에 도시된 바와 같이, XR 디바이스 주변의 사용자가 “야구 점퍼 추가” (920) 라고 말하면, XR 디바이스는 이를 인식한다. 그리고, XR 디바이스는 스크린에 기존 의상에 임의의 야구 점퍼를 입은 가상 아바타(921)를 디스플레이 한다.

다만, 도 9의 (b)에 도시된 스크린을 확인한 유저는, 청바지, 흰티 및 야구 점퍼의 조합이 마음에 들지 않을 가능성 있다. 이 때, 도 9의 (c)에 도시된 바와 같이, XR 디바이스 주변의 사용자가 “점퍼 빼고” (930) 라고 말하면, 가상 아바타에서 “야구 점퍼”를 삭제한다(931). 사용자가 야구 점퍼 라고 말하지 않고, 점퍼라고 말해도, XR 디바이스는 기존 히스토리를 참조해 사용자의 의도를 인식할 수 있는 장점이 있다.

또한, 도 9에서 도시된 실시예들에서는 우선 음성 인식을 통한 베이스 검색(Coarse Search)가 가능하다는 점에서, 룩앤필(look and feel)을 사용자가 신속하게 확인할 수 있는 장점이 있다.

한편, 도 10의 (a)에 도시된 바와 같이, XR 디바이스는 흰티를 입은 가상 아바타(1011)를 디스플레이 하고 있는 것으로 가정한다.

이 때, XR 디바이스 주변의 사용자가 “아니다. 셔츠로 바꿔줘” (1010)라고 말하면, 도 10의 (b)에 도시된 바와 같이, XR 디바이스는 셔츠를 입은 가상 아바타(1012)를 디스플레이 한다. 전술한 도 9의 실시예들과 달리, 색깔 지정이 없었으므로 이전 상의였던 티(1011)의 색깔과 동일한 칼라를 유지하도록 설계한다. 따라서, 사용자가 색깔에 대한 부분을 언급할 필요가 없어서, 데이터 처리 속도를 개선한다.

나아가, 도 10의 (c)에 도시된 바와 같이, XR 디바이스 주변의 사용자가 “어울리는 넥타이” 또는 “어울리는 넥타이 추천” (1020) 이라고 말하면, XR 디바이스는 이를 인식한다. 그리고, XR 디바이스는 스크린에 기존 의상에 적절한 넥타이를 맨 가상 아바타(1021)를 디스플레이 한다. 이 때, 추천 넥타이는 인식된 사용자의 구매 히스토리만 참고할 수도 있고 또는, 같은 상황에서 많이 판매된 넥타이가 자동 추천될 수도 있으며 모두 본 발명의 권리범위에 속한다.

그리고, 이전에 설명한 도 9 및 도 10의 실시예들에서는 사용자가 상의 및 하의의 타입을 모두 지정한 것으로 가정하였다.

반면, 도 11에 도시된 바와 같이, XR 디바이스 주변의 사용자는 상의를 지정하지 않고 하의에 해당하는 “청바지” (1100)만 지정하는 것도 가능하다. 그러나, 본 발명의 일실시예는 사용자가 상의 또는 하의 중 하나만 말하여도, 말하지 않은 다른 쪽 의상은 자동으로 추천되도록 설계한다.

즉, 도 11에 도시된 바와 같이, XR 디바이스는 사용자가 말한 청바지에 대응하는 가상 옷(1101)을 가상 아바타와 함께 표시할 뿐만 아니라, 사용자의 지정이 없는 상의에 대해서도 추천 의상(1102)을 표시하도록 설계한다. 특정 기간내 청바지와 함께 판매된 상의가 자동으로 추천된다. 특히, XR 디바이스의 위치 정보(EX: GPS 정보 등)를 이용하여 상기 XR 디바이스가 위치한 지점으로부터 특정 거리내 또는 같은 행정 구역내 판매 수량만 제한적으로 필터링 하는 것도 본 발명의 권리범위에 속한다.

한편, 전술한 도 9 내지 도 11은 음성 인식을 통한 베이스 검색(Coarse search)에 기반하고 있는데, 음성 명령은 디테일한 지정에 에러 가능성이 많다는 문제점이 있다. 예를 들어, “소매가 좀 더 (또는 3cm) 길었으면 좋겠는데?”, “V넥이 좀 더 (또는 2CM) 깊게 파였으면 좋겠는데?”, “체크 패턴이 좀 더 굵었으면 좋겠는데?”, “왼쪽 가슴 약간 아래에 스트라이프 패턴이 있었으면 좋겠는데?” 등의 음성만으로는 임의의 옷에 대한 사용자의 실제 의도를 정확하게 파악할 수 없다. 이는 음성 엔진이 해당 언어를 인식하는 것만으로도 부족하다. 이를 해결하기 위하여 본 발명의 일실시예는 구체적인 필터링에 대해서는 제스쳐 인식으로 전환된다.

이와 관련하여, 이하 도면들에서 후술하겠다.

도 12 내지 도 14는 본 발명의 일실시예에 의한 XR 디바이스가 제스쳐 인식에 기반하여 2차적으로 가상의 옷을 필터링 하는 프로세스(process)를 도시하고 있다.

즉, 음성 인식으로 베이스 검색이 완료된 후, 제스쳐 인식을 통해 세부 조건 검색(Fine search)이 가능하도록 설계한다. 특히, 특정 키워드들에 대한 음성 인식이 이루어진 경우에는, 즉 제스쳐 인식 모드로 진입하는 트리거 조건의 키워드가 음성 인식되면, 본 발명의 일실시예에 의한 XR 디바이스는 더 이상 음성 인식을 위한 마이크 및 음성 인식 엔진을 disenable 상태로 변경하여 불필요한 전력 소모를 최소화 하는 기술적 효과가 있다.

나아가, 제스쳐 인식을 통한 세부 조건 검색(fine search) 프로세스 중에도, 특정 상황에 따라 한 개의 손만 인식할지 또는 두 개의 손을 인식할지 구별하여 정의함으로써, 불필요한 전력 소모를 더 줄일 수 있는 기술적 효과가 기대된다.

우선, 사용자가 “흰 티에 대한 세부 조정” 이라고 말하면, 이를 인식한 XR 디바이스는 도 12의 (a)에 도시된 바와 같이, 가상 아바타에 입혀진 흰 티의 외곽선을 따라 움직이는 가상의 선(1201)을 표시한다.

사용자가 손을 오른쪽 방향으로 이동시키는 제스쳐를 인식한 XR 디바이스는, 도 12의 (b)에 도시된 바와 같이 목 주변으로 이동된 가상의 선(1202)을 표시한다.

나아가, 사용자가 손을 오른쪽 방향으로 다시 이동시키는 제스쳐를 인식한 XR 디바이스는, 도 12의 (c)에 도시된 바와 같이 흰 티의 오른쪽 어깨 주변으로 이동된 가상의 선(1203)을 표시한다.

마지막으로, 사용자가 손을 오른쪽 방향으로 다시 이동시키는 제스쳐를 인식한 XR 디바이스는, 도 12의 (d)에 도시된 바와 같이 흰 티의 오른쪽 옆구리 주변으로 이동된 가상의 선(1204)을 표시한다.

전술한 바와 같이, 사용자가 특정 옷의 특정 부위를 선택하는 과정에서는 하나의 손 제스쳐 인식만으로 충분하다. 보다 구체적으로, 선택된 특정 부위의 사이즈를 조정하는 과정에서는 2개의 손이 사용될 수 있다.

우선, 도 12의 (d) 에 도시된 바와 같이, 티셔츠의 옆구리 부분에 가상의 선이 디스플레이 된 상태임을 가정한다.

이 때, 도 13의 (a)에 도시된 바와 같이, 사용자(1310)가 2개의 손(1320)을 자신의 옆구리 부분에서 좌우로 움직여서 가상의 옷의 사이즈를 조정하는 것이 가능하다.

도 13의 (a)에 도시된 사용자 제스쳐에 따라, XR 디바이스는 도 13의 (b)에 도시된 바와 같이, 가상의 옷의 특정 부분을 늘리거나 줄이는 피드백 그래픽 이미지(1330)를 표시한다. 그리고, XR 디바이스가 확정된 옷의 사이즈에 대응하는 실제 존재하는 옷을 찾도록 설계한다. 따라서, 유사한 옷들 중에서도, 특정 부위가 넉넉하거나 타이트한 특정 옷을 신속하게 서치하는 것이 가능한 본 발명 일실시예의 특유의 효과가 있다.

이전 설명한 도 13에 도시된 실시예를, 이하 도 14를 참조하여 보다 상세히 설명하면 다음과 같다.

도 14의 (a)에 도시된 가상의 티셔츠(1410)는 음성 인식으로 선택되고 XR 디바이스의 스크린에 표시된 것으로 가정한다. 이 때, XR 디바이스의 제1제스쳐(1420)에 반응하여, 도 14의 (b)에 도시된 바와 같이 티셔츠 옆구리 사이즈가 변경된 가상의 옷(1430)을 디스플레이 한다.

그리고, XR 디바이스의 제2제스쳐(1440)에 반응하여, 도 14의 (c)에 도시된 바와 같이 티셔츠 옆구리 사이즈가 다시 변경된 가상의 옷(1450)을 디스플레이 한다.

다만, 사용자 제스쳐에 대응하는 옆구리 사이즈의 티셔츠가 존재하지 않을 수 있다. 이와 같은 문제점 해결을 위하여, 전술한 제2제스쳐(1440)에 대응하는 옆구리 사이즈의 티셔츠가 존재하지 않으면, 도 14의 (c)가 아닌 도 14의 (b)의 이전 가상 옷(1430)을 표시한다. 따라서, 사용자는 해당 옆구리 사이즈의 티셔츠가 존재하지 않다는 피드백을 받을 수 있는 장점이 있다.

도 15 내지 도 17은 본 발명의 일실시예에 의한 XR 디바이스가 음성 인식 및 제스쳐 인식이라는 2가지 이종의 인터페이스를 이용하여 특정 가상의 옷을 신속하게 디텍트 하는 프로세스를 도시하고 있다.

도 15의 (a)에 도시된 바와 같이 사용자가 특정 키워드인 “레터링 추가” 라고 말하면 XR 디바이스는 Coarse search 로서 레터링(문자나 숫자 등)을 포함하는 복수의 티셔츠들을 메인 그룹으로 우선 필터링 한다.

그리고, 상기 특정 키워드인 “레터링 추가”에 반응하여 XR 디바이스는 더 이상 음성 인식을 위한 마이크 및 음성 인식 엔진을 실행하지 않고 모션(제스쳐) 인식 모드로 전환된다.

예를 들어, 도 15의 (b)에 도시된 바와 같이 사용자가 영역을 지정하기 위한 2개의 손들(1520, 1530)을 모두 디텍트 하고, 2개의 손들(1520, 1530)로 구성된 영역에 레터링이 포함된 서브그룹의 옷들만 다시 상세 검색(fine search)을 한다. 특히, 특정 키워드에 대하여 음성 인식 모드에서 제스쳐 인식 모드로 변환됨에 본 발명 일실시예의 특징이 있을 뿐만 아니라, 제스쳐 인식 모드 중에서도 하나의 손만 인식할지 또는 2개의 손을 모두 인식할지 여부를 특정 키워드에 따라 결정하는 것도 본 발명의 권리범위에 속한다.

또는, 1개의 손(1540)이 가리키는 위치 주변에 레터링이 포함된 서브그룹의 옷들만 상세 검색이 이루어 지도록 할 수도 있다.

한편, 도 15에 도시된 실시예들에 따라 레터링이 추가된 옷을 확인한 사용자는 레터링이 제거된 옷을 다시 검색하고자 할 수 있다.

이와 같은 니즈를 고려하여, 도 16의 (a)에 도시된 바와 같이 사용자가 “필터 제거” (1610)라고 말하면, 도 16의 (b)에 도시된 바와 같이, 가상의 옷에 표시된 2개의 레터링들(1620, 1630) 중에서 하나(1630)를 선택하고 가상의 옷에서 없애는 제스쳐(1640)를 취할 수 있다.

이를 인식한 XR 디바이스는, 레터링 하나(1621)만 포함하고 있는 가상의 옷들을 다시 검색하여 스크린에 디스플레이 한다.

그리고, 가상 옷의 칼라를 세부적으로 표시하는 실시예에 대해서는 이하 도 17을 참조하여 설명하겠다.

도 17의 (a)에 도시된 바와 같이 사용자가 특정 옷에 대하여 “빨간 색으로 변경” (1710)이라고 말하거나 또는 도 17의 (b)에 도시된 바와 같이 사용자가 “좀 더 밝은 색상으로” (1720)라고 말하면, XR 디바이스는 사용자의 의도를 정확히 인지하는 것이 사실상 불가능하다. 그 이유는, 빨간색도 다양한 빨간색이 존재하기 때문이다.

이와 같은 문제점을 해결하기 위하여, 도 17의 (c)에 도시된 바와 같이 사용자가 “색상 세부 조정” (1730) 이라고 말하고 XR 디바이스가 이를 인식하면, 음성 인식 모드는 중단하고 제스쳐 인식 모드로 자동 스윗칭 된다.

다만, 이전 실시예들과 달리, 음성 인식 모드에서 제스쳐 인식 모드로 스윗칭 되는 중간 단계로서, 칼라를 디테일 하게 조정할 수 있는 옵션(1740)이 디스플레이 된다.

그리고, 상기 디스플레이된 옵션(1740) 주변에서 하나의 손(1741)만 트래킹 및 인식하도록 설계함으로써, 2개의 손을 모두 트래킹할 때 소모되는 전력 대비 장점이 있다.

한편, 이존 도면들에서는 coarse search 로 메인 그룹의 가상의 옷들을 1차적으로 소팅하고, fine search 로 서브 그룹의 가상의 옷들을 2차적으로 소팅하는 프로세스를 설명하였으나, 이러한 과정에도 불구하고 결과적으로 복수의 많은 가상의 옷들이 디텍트될 가능성이 높다. 소팅된 많은 가상의 옷들을 XR 디바이스의 스크린내에서 보다 효율적으로 정렬하는 실시예는 이하 도면들에서 설명하겠다.

도 18은 본 발명의 일실시예에 의한 XR 디바이스가 정의하는 스크린내 비활성 영역 및 활성 영역 등을 도시하고 있다.

도 18에 도시된 바와 같이, 본 발명의 일실시예에 의한 XR 디바이스는 얼굴영역, 비활성 영역 및 활성 영역을 포함하고 있다. 얼굴 영역에는 XR 디바이스 주변에 위치한 사용자의 얼굴이 반영될 수 있다. 이 때, 카메라 및 얼굴 인식 알고리즘이 사용된다.

그리고, 사용자의 제스쳐에 반응하여, XR 디바이스의 스크린내 활성 영역의 가상의 옷은 변경된다. 반면, 상기 사용자의 제스쳐에 반응해서도, XR 디바이스의 스크린내 비활성화 영역의 가상의 옷은 변경되지 않는다. 따라서, 사용자는 전체적인 모습을 보는 것을 유지하면서, 상의 또는 하의를 선택적으로 확정하는 것이 가능한 장점이 있다.

나아가, 각 영역 전체 또는 각 영역에 부분적으로 우선 순위를 두어, 가능한 많은 가상 옷을 표시하면서도 전체적으로 룩앤필을 사용자가 확인할 수 있는 실시예들은 이하 도 19 내지 도 21에서 후술한다.

그리고, 도 19 내지 도 21은 도 18에서 정의한 영역 정보에 기초하여, 복수의 가상의 옷을 배열하는 프로세스를 도시하고 있다.

도 19에 도시된 바와 같이, 사용자가 “청바지” (1910) 라고 말하고, 이를 인식한 XR 디바이스는 현재 활성화 되어 있는 영역을 침범하지 않으면서 필터링된 가상의 청바지들을 모두 표시한다. 다만, 이와 같이 설계할 경우, 상의(예를 들어, 티셔츠)를 함꼐 입은 전체적인 느낌을 확인할 수 없는 문제점이 있다.

이를 해결하기 위하여, 도 20의 왼쪽 도면 및 가운데 도면에 도시된 바와 같이, 비활성화 영역(가상 티셔츠 상의)과 활성 영역(청바지 하의)를 모두 표시하면서, 다양한 가상의 청바지들을 표시한다. 따라서, 사용자는 상의와 하의를 모두 입은 전체적인 모습을 확인할 수 있는 장점이 있다.

다만, 검색된 가상의 청바지들의 개수가 스레스홀드값(XR 디바이스의 스크린 사이즈, 가상의 옷 이미지 개수 및 사이즈에 따라 변경됨)을 초과하는 경우, 도 20의 오른쪽 도면에 도시된 바와 같이 비활성화 영역부터 모두 가상의 청바지로 채운다. 즉, 비활성화 영역 보다 활성화 영역에 우선 순위를 두는 것도 본 발명 일실시예의 특징이다.

한편, XR 디바이스의 스크린 사이즈가 큰 경우, 표시된 가상의 옷들 중에서 사용자가 원하는 특정 가상의 옷을 선택하는데도 많은 시간이 소요될 것이다.

이를 해결하기 위하여, 도 21에 도시된 바와 같이 사용자가 선택할 가능성이 가장 높은 가상의 청바지를 XR 스크린의 중앙점으로부터 a 반지름(2114)에 위치시킨다. 그리고, 나머지 가상 청바지들은 XR 스크린의 중앙점으로부터 다른 반지름들(2113, 2112, 2111)에 위치시킨다. 참고로, 사용자가 선택할 가능성이 가장 높은 가상 청바지들을 XR 스크린의 중앙점에 가장 가깝도록 설계한다.

그리고, 사용자 선택 가능성을 판단하는 방법으로서, 사용자 얼굴 인식을 통하여 이전 구매 히스토리를 참고하여 가장 많이 구매한 적이 있는 브랜드의 청바지들을 a 반지름(2114)에 위치시킨다.

110: Communication unit
120: Control unit
130: Memory unit
140a: I/O unit
140b: Sensor unit
140c: Power supply unit

Claims (15)

1. 가상 피팅 서비스를 제공하는 XR 디바이스의 제어 방법에 있어서,
   적어도 하나의 가상 옷의 정보를 메모리에 저장하는 단계;
   상기 XR 디바이스 주변의 사용자로부터 적어도 하나의 음성 명령을 수신하는 단계;
   상기 수신된 적어도 하나의 음성 명령에 기초하여, 상기 메모리에 저장된 적어도 하나의 가상 옷의 정보 중에서 특정 메인 그룹에 속하는 옷들의 정보를 추출하는 단계;
   상기 사용자의 제스쳐를 인식하는 단계;
   상기 인식된 제스쳐에 기초하여, 상기 특정 메인 그룹에 속하는 옷들 중에서 서브 그룹에 속하는 옷들의 정보를 추출하는 단계; 및
   상기 추출된 옷들의 정보에 기초하여, 상기 XR 디바이스의 스크린을 활성 영역 및 비활성 영역으로 분류하는 단계를 포함하고,
   상기 추출된 옷들의 정보에 기초하여, 상기 XR 디바이스의 스크린을 활성 영역 및 비활성 영역으로 분류하는 단계는,
   상기 사용자의 옷 선택 가능성을 판단하여, 상기 사용자가 선택할 가능성이 높은 옷을 상기 비활성 영역 중 상기 스크린의 중앙에 가장 가깝게 배치하는 XR 디바이스의 제어 방법.
2. 제1항에 있어서,
   상기 적어도 하나의 음성 명령은 제1 음성 명령 또는 제2 음성 명령을 포함하는 것을 특징으로 하는 XR 디바이스의 제어 방법.
3. 제2항에 있어서,
   상기 제1 음성 명령 또는 상기 제2 음성 명령이 수신된 경우, 상기 메모리에 저장된 음성 인식 엔진이 동작을 디스인에이블(disenable) 상태로 변경하는 단계
   를 더 포함하는 것을 특징으로 하는 XR 디바이스의 제어 방법.
4. 제3항에 있어서,
   상기 제1 음성 명령이 수신된 경우, 상기 사용자의 2개의 손을 모두 인식하는 단계;
   제1 손 및 제2 손에 의해 구성되는 영역내 임의의 글자를 포함하는 옷들을 검색하는 단계; 그리고
   상기 임의의 글자를 포함하는 옷들 중 적어도 하나를 디스플레이 하는 단계
   를 더 포함하는 것을 특징으로 하는 XR 디바이스의 제어 방법.
5. 제4항에 있어서,
   상기 제2 음성 명령이 수신된 경우, 옷의 칼라를 상세히 조정하기 위한 옵션을 디스플레이 하는 단계;
   상기 디스플레이된 옵션의 위치로부터 일정 거리 이내에 있는 상기 사용자의 1개의 손만 인식하는 단계;
   상기 인식된 1개의 손의 모션에 기초하여, 특정 칼라의 옷들을 검색하는 단계; 그리고
   상기 특정 칼라의 옷들 중 적어도 하나를 디스플레이 하는 단계
   를 더 포함하는 것을 특징으로 하는 XR 디바이스의 제어 방법.
6. 삭제
7. 제1항에 있어서,
   상기 스크린내 활성 영역의 가상의 옷만, 상기 사용자의 제스쳐에 반응하여 변경되고,
   상기 스크린내 비활성 영역의 가상의 옷은, 상기 사용자의 제스쳐에 반응하여 변경되지 않는 것을 특징으로 하는 XR 디바이스의 제어 방법.
8. 가상 피팅 서비스를 제공하는 XR 디바이스에 있어서,
   적어도 하나의 가상 옷의 정보를 저장하는 메모리;
   상기 XR 디바이스 주변의 사용자로부터 적어도 하나의 음성 명령을 수신하는 마이크;
   상기 수신된 적어도 하나의 음성 명령에 기초하여, 상기 메모리에 저장된 적어도 하나의 가상 옷의 정보 중에서 특정 메인 그룹에 속하는 옷들의 정보를 추출하는 컨트롤러; 및
   상기 사용자의 제스쳐를 인식하는 카메라를 포함하되,
   상기 컨트롤러는,
   상기 인식된 제스쳐에 기초하여, 상기 특정 메인 그룹에 속하는 옷들 중에서 서브 그룹에 속하는 옷들의 정보를 추출하고, 상기 추출된 옷들의 정보에 기초하여, 상기 XR 디바이스의 스크린을 활성 영역 및 비활성 영역으로 분류하며,
   상기 사용자의 옷 선택 가능성을 판단하여, 상기 사용자가 선택할 가능성이 높은 옷을 상기 비활성 영역 중 상기 스크린의 중앙에 가장 가깝게 배치하는 XR 디바이스.
9. 제8항에 있어서,
   상기 적어도 하나의 음성 명령은 제1 음성 명령 또는 제2 음성 명령을 포함하는 것을 특징으로 하는 XR 디바이스.
10. 제9항에 있어서,
    상기 컨트롤러는,
    상기 제1 음성 명령 또는 상기 제2 음성 명령이 수신된 경우, 상기 메모리에 저장된 음성 인식 엔진이 동작을 디스인에이블(disenable) 상태로 변경하는 것을 특징으로 하는 XR 디바이스.
11. 제10항에 있어서,
    상기 컨트롤러는,
    상기 제1 음성 명령이 수신된 경우, 상기 사용자의 2개의 손을 모두 인식하고,
    제1 손 및 제2 손에 의해 구성되는 영역내 임의의 글자를 포함하는 옷들을 검색하고, 그리고
    상기 임의의 글자를 포함하는 옷들 중 적어도 하나를 디스플레이 하도록 제어하는 것을 특징으로 하는 XR 디바이스.
12. 제11항에 있어서,
    상기 컨트롤러는,
    상기 제2 음성 명령이 수신된 경우, 옷의 칼라를 상세히 조정하기 위한 옵션을 디스플레이 하고,
    상기 디스플레이된 옵션의 위치로부터 일정 거리 이내에 있는 상기 사용자의 1개의 손만 인식하고,
    상기 인식된 1개의 손의 모션에 기초하여, 특정 칼라의 옷들을 검색하고, 그리고
    상기 특정 칼라의 옷들 중 적어도 하나를 디스플레이 하도록 제어하는 것을 특징으로 하는 XR 디바이스.
13. 삭제
14. 제8항에 있어서,
    상기 스크린내 활성 영역의 가상의 옷만, 상기 사용자의 제스쳐에 반응하여 변경되고,
    상기 스크린내 비활성 영역의 가상의 옷은, 상기 사용자의 제스쳐에 반응하여 변경되지 않는 것을 특징으로 하는 XR 디바이스.
15. 제8항에 있어서,
    상기 XR 디바이스는,
    스타일러 제품, 사이니지, 모바일 디바이스 또는 TV에 해당하는 것을 특징으로 하는 XR 디바이스.