KR101751237B1 - 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치 및 그 방법 - Google Patents

회전식 다이얼을 이용한 사용자 인터페이스 제공 장치 및 그 방법 Download PDF

Info

Publication number
KR101751237B1
KR101751237B1 KR1020160005909A KR20160005909A KR101751237B1 KR 101751237 B1 KR101751237 B1 KR 101751237B1 KR 1020160005909 A KR1020160005909 A KR 1020160005909A KR 20160005909 A KR20160005909 A KR 20160005909A KR 101751237 B1 KR101751237 B1 KR 101751237B1
Authority
KR
South Korea
Prior art keywords
hand
virtual
virtual dial
dial
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020160005909A
Other languages
English (en)
Inventor
유승헌
손민지
남성현
김예빈
임화섭
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020160005909A priority Critical patent/KR101751237B1/ko
Application granted granted Critical
Publication of KR101751237B1 publication Critical patent/KR101751237B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06K9/00355—

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

실시예들은 카메라를 통해 획득한 깊이 영상으로부터 손 동작을 인식하는 손 동작 인식부, 및 인식된 손 동작에 기반하여, 가상 객체의 일 구성요소에 관련된 값을 변화시키기 위한 가상 다이얼을 제어하는 가상 다이얼 제어부를 포함하는 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치 및 이를 이용한 인터페이스 제공 방법에 관련된다.

Description

회전식 다이얼을 이용한 사용자 인터페이스 제공 장치 및 그 방법{DEVICE FOR PROVIDING USER INTERFACE USING ROTARY DIAL AND METHOD THEREOF}
본 발명은 손 인식을 통한 사용자 인터페이스 제공 장치 및 그 방법에 관련된 것이다. 더욱 구체적으로 본 발명은 손 인식 및 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치 및 그 방법에 관련된다.
종래 사용자는 특정 값을 컴퓨팅 장치에 입력하기 위해서는 키보드를 이용하거나 표시된 소정의 값들 중에서 특정 값을 선택해야 했다. 그러나 이와 같은 방식을 3차원 손 인식을 이용한 인터페이스에 적용하는 경우 특정 값을 선택하는 것이 매우 불편하다. 왜냐하면 키보드 입력을 위해 가상 키보드를 생성하고 여기에 3차원 손 인식을 통해 타이핑을 하는 것은 시간이 오래 걸리고, 표시된 소정의 값들 중에서 특정 값을 선택하는 것은 표시된 값들로 인해 화면이 가득 차게 되거나 정확한 값을 선택하기 어려운 문제가 있기 때문이다.
대한민국 등록특허 제10-0617976호 미국 특허출원공개 US2012/0268369 A1
위 언급한 문제들을 해결하기 위해서, 회전식 다이얼을 통해 여러 값들을 편리하게 네비게이팅하고 선택할 수 있는 사용자 인터페이스 제공 장치 및 방법이 요구된다.
본 발명의 기술적 과제는 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치는 카메라를 통해 획득한 깊이 영상으로부터 손 동작을 인식하는 손 동작 인식부, 및 인식된 손 동작에 기반하여, 가상 객체의 일 구성요소에 관련된 값을 변화시키기 위한 가상 다이얼을 제어하는 가상 다이얼 제어부를 포함한다.
일 실시예에 있어서, 상기 가상 다이얼 제어부는, 손을 돌리는 동작에 기반하여, 상기 가상 다이얼을 회전시킬 수 있다.
일 실시예에 있어서, 상기 가상 다이얼의 회전 각도에 따라서, 상기 가상 객체의 일 구성요소에 관련된 값을 조절하는 수치 조절부를 더 포함할 수 있다.
일 실시예에 있어서, 상기 가상 객체의 일 구성요소는, 크기, 형태, 각도, 색, 명암 중 적어도 하나를 포함할 수 있다.
일 실시예에 있어서, 상기 가상 다이얼 제어부는, 손 동작에 기반하여 회전된 가상 다이얼의 회전된 위치에 해당되는 값을 표시할 수 있다.
일 실시예에 있어서, 상기 손 동작 인식부는, 사용자의 손이 물리공간 상의 소정 범위 내에 위치한 경우, 상기 가상 다이얼을 제어하기 위한 손 동작으로 인식할 수 있다.
본 발명의 일 실시예에 따른 회전식 다이얼을 이용한 인터페이스 제공 방법 은 카메라를 통해 획득한 깊이 영상으로부터 손 동작을 인식하는 단계 및 인식된 손 동작에 기반하여, 가상 객체의 일 구성요소에 관련된 값을 변화시키기 위한 가상 다이얼을 제어하는 단계를 포함한다.
일 실시예에 있어서, 상기 가상 다이얼을 제어하는 단계는, 손을 돌리는 동작에 기반하여, 상기 가상 다이얼을 회전시키는 단계를 포함할 수 있다.
일 실시예에 있어서, 상기 가상 다이얼의 회전 각도에 따라서, 상기 가상 객체의 일 구성요소에 관련된 값을 조절하는 단계를 더 포함할 수 있다.
일 실시예에 있어서, 상기 가상 객체의 일 구성요소는, 크기, 형태, 각도, 색, 명암 중 적어도 하나를 포함할 수 있다.
일 실시예에 있어서, 상기 가상 다이얼을 제어하는 단계는, 손 동작에 기반하여 회전된 가상 다이얼의 회전된 위치에 해당되는 값을 표시할 수 있다.
일 실시예에 있어서, 상기 손 동작을 인식하는 단계는, 사용자의 손이 물리공간 상의 소정 범위 내에 위치한 경우, 상기 가상 다이얼을 제어하기 위한 손 동작으로 인식하는 단계를 포함할 수 있다.
본 발명의 일 실시예에 따른 컴퓨터로 판독 가능한 기록매체는, 상술한 사용자 인터페이스 제공 방법을 실행하기 위한 명령을 저장할 수 있다.
본 발명의 일 실시예들에 따르면, 회전식 다이얼을 통해 여러 값들을 편리하게 네비게이팅하고, 선택할 수 있기 때문에 사용자는 추가적인 입력장치의 이용 없이 미세한 값들의 조정을 손을 통해서 해결할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치(1000)의 블록도이다.
도 2는 일 실시예에 따른 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치(1000)의 예시적인 사용 상태를 나타낸다.
도 3은 일 실시예에 따른 데이터베이스(400) 내 데이터의 구조를 나타낸다.
도 4는 본 발명의 일실시예에 있어서 가상객체의 일 구성요소들에 대한 예시들을 나타낸다.
도 5는 본 발명의 일 실시예에 따른 가상 다이얼의 사용 상태를 나타내는 도이다.
도 6은 본 발명의 일 실시예에 따른 회전식 다이얼을 이용한 인터페이스 제공 방법의 순서도이다.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시 된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다. 다만, 실시형태를 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다. 또한, 도면에서의 각 구성요소들의 크기는 설명을 위하여 과장될 수 있으며, 실제로 적용되는 크기를 의미하는 것은 아니다.
본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다.
실시예들이 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다. 나아가, 본 발명의 일 실시예에 따른 방법은 일련의 과정들을 수행하기 위한 컴퓨터 프로그램의 형태로 구현될 수도 있으며, 상기 컴퓨터 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수도 있다.
이하, 본 발명의 구성 및 특성을 실시예를 이용하여 설명하나, 이들 실시예는 본 발명을 예시하는 것일 뿐 한정하는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치(1000)의 블록도이다. 도 1을 참조하면 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치(1000)는 손 동작 인식부(100), 가상 다이얼 제어부(200)를 포함한다. 또한 다른 일 실시예에서, 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치(1000)는 수치 조절부(300) 또는 데이터베이스(400)를 더 포함할 수도 있다.
도 2는 일 실시예에 따른 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치(1000)의 예시적인 사용 상태를 나타낸다. 도 2를 참조하면 손 동작 인식을 이용한 3차원 가상 컨트롤러 인터페이스 제공 장치(1000)는 손 동작 인식부(100)를 통해 사용자의 손 부분에 대한 깊이 영상을 촬영하고, 깊이 영상으로부터 깊이 정보를 획득할 수 있다. 그리고 나서, 손 동작 인식부(100)는 획득한 깊이 영상으로부터 손 동작을 인식할 수 있다.
손 동작 인식부(100)는 깊이 카메라를 포함할 수 있다. 깊이 카메라는 적외선 센서를 통해 카메라로부터 피사체까지의 거리 정보를 각 픽셀별로 획득하여 깊이 영상을 생성할 수 있다. 본 명세서에서 각각의 거리 정보를 가진 픽셀들은 깊이 영상에서 깊이 포인트로 언급될 수 있다.
손 동작 인식부(100)는 기계 학습법을 이용하여 깊이 영상 중 손 영역의 깊이 포인트들을 해당하는 손 부위에 따라 분류할 수 있다. 그리고 손 동작 인식부(100) 는, 상기 손 영역의 깊이 포인트들을 손바닥(또는 손등), 엄지, 검지, 중지, 약지, 또는 소지 중 어느 하나의 손 부위로 분류하고, 상기 분류에 따라 각 깊이 포인트들을 라벨링할 수 있다.
이와 같이 각 깊이 포인트를 어느 하나의 손 부위로 분류하기 위해서 손 동작 인식부(100)는 기계 학습법을 이용할 수 있다. 기계 학습법을 이용하기 위해, 데이터 베이스(400)는 다양한 손 자세 각각에 대한 손 부위별 깊이 데이터를 포함하고 있을 수 있다. 예컨대 무언가를 움켜쥐고 돌리는 자세, 손을 펴고 있는 자세 또는 주먹을 쥐고 있는 자세에서 손바닥, 엄지, 검지, 중지. 약지, 소지 각각의 깊이 데이터가 데이터베이스(400)에 포함될 수 있다.
또한 데이터베이스(400)는 손 가락 부위뿐만 아니라 손 전체에 대한 손 모양 깊이 데이터를 포함할 수도 있다. 이 경우 데이터베이스(400)는 정규화된 손 모양 깊이 영상을 저장할 수 있다.
도 3은 일 실시예에 따른 데이터베이스(400) 내 데이터의 구조를 나타낸다. 예컨대 데이터베이스(400)는 손 모양 깊이 영상들을 깊이값에 따라 분류하여 저장할 수 있다. 도 3을 참조하면, 깊이값에 따라 분류되어 저장된 손 모양 깊이 영상들을 갖는 데이터베이스(400)의 구조도가 도시되어 있다. 손 모양이 서로 유사하거나 동일할 경우, 손 모양 깊이 영상의 깊이 값 역시 유사하거나 동일하게 된다. 따라서, 깊이 값을 기준으로 손 모양 깊이 영상을 분류할 경우, 유사하거나 동일한 손 모양이 하나의 그룹에 수집되도록 분류된다. 예를 들어, 데이터베이스(400)가 제 1 그룹(410), 제2 그룹(420), 제 3 그룹(430), 제 4 그룹(440)으로 분류된다고 가정할 경우, 각 그룹은 서로 다른 손 모양으로 정의되며, 제 1 그룹 내의 손 모양 깊이 영상은 서로 유사하거나 동일한 복수개의 깊이 영상(411 ~ 413)이 저장된다.
또한, 데이터베이스(400)는 각 손 모양 깊이 영상마다 대응하는 손 관절 각도의 정보를 저장할 수 있다. 손 관절 각도에 대한 정보는 손 모양 깊이 영상과 함께 쌍으로 데이터베이스(400)에 저장될 수 있다.
'손 부위'는 손가락 및 손바닥이거나 손가락 마디 및 손바닥일 수 있다. 여기서 손바닥은 복수의 구역으로 구분될 수도 있다. 그러나 바람직한 실시예에서 데이터 베이스(400)에 저장된 손 부위별 깊이 데이터는 손가락 및 손바닥에 관한 것일 수 있다. 예컨대 다섯 개의 손가락 및 손바닥에 대한 깊이 데이터가 데이터베이스(400)에 포함될 수 있다. 손가락 마디 별로 손 자세에 따른 깊이 데이터를 저장하고 이용하는 경우 데이터 처리의 시간이 더 오래 걸리므로 깊이 영상 내 깊이 포인트 들은 손가락 및 손바닥으로 분류하는 것이 바람직할 수 있다.
손 동작 인식부(100)가 이용하는 기계 학습법은 서포트벡터머신 또는 랜덤포레스트일 수 있으나 이에 본 발명이 제한되는 것은 아니다.
위와 같은 매커니즘을 통해 손 동작 인식부(100)가 사용자의 손 동작을 인식하면 가상 다이얼 제어부(200)는 인식된 손 동작에 기반하여, 가상 객체의 일 구성요소에 관련된 값을 변화시키기 위한 가상 다이얼을 제어할 수 있다.
여기서 가상 객체는 가상 공간상에 적용되거나 표현될 수 있는 임의의 객체이다. 도 2를 참조하면 가상 객체는 대상 객체(30) 또는 도구목록(40) 및 그 하위 개념들을 포함할 수 있다. 예컨대 도구 목록의 하위 개념으로 각 도구들이 포함될 수 있다.
또한 가상 다이얼(20)은 가상 공간을 제공하는 컴퓨팅 장치에 입력할 수 있는 값들을 사용자가 네비게이팅하고 결정할 수 있는 수단이다.
도 2를 다시 참조하면, 사용자의 손(10) 동작에 따라서 가상 다이얼(20)이 제어된다. 가상 다이얼(20)은 회전 가능하며, 가상 다이얼(20)에 포함된 포인터(21)의 위치에 따라서 서로 다른 값을 나타낼 수 있다. 일 예에서 가상 다이얼의 포인터가 가리키는 값은 가상 객체의 일 구성요소에 관련된 값일 수 있다.
가상 객체는 가상 공간상에 존재할 수 있는 임의의 객체이다. 아래에서는 설명의 편의를 위해서 3차원 가상 공간상에 존재하는 가상 객체를 제작 및 수정하기 위한 공작툴을 대상으로 가상 다이얼의 이용에 대하여 설명한다.
도 2를 참조하면, 가상공간(v)상에 대상 객체(30)가 존재한다. 대상 객체(30)를 제작 및 수정하기 위한 도구목록(40)이 함께 나타난다. 다양한 도구목록(40) 중에서 사용자가 브러쉬(41)를 선택한 경우, 브러쉬를 적용하기 위한 브러쉬 적용 포인터(50)가 나타난다. 브러쉬 적용 포인터(50)의 크기를 변경하기 위해 사용자는 가상 다이얼(20)을 이용할 수 있다. 예컨대 사용자는 손 동작을 통해 가상 다이얼(20)을 회전시켜 가상 다이얼의 포인터(20)의 위치를 변경할 수 있다.
가상 다이얼의 포인터(20)의 위치 결정은 소정의 손 동작 또는 소정의 공간에 손이 위치함으로써 결정될 수 있다. 예컨대 사용자가 다이얼을 움켜쥔 채로 다이얼을 돌리는 동작을 취하고 나서, 원하는 위치에 다이얼의 포인터(20)가 위치하면, 주먹을 쥐는 동작을 통해 해당 포인터의 위치가 결정 될 수 있다. 위와 같은 동작은 가상 다이얼 제어부(200)가 수행할 수 있다.
포인터의 위치가 도면부호(21)로 이동한 경우, 브러쉬적용포인터(50)의 크기는 도면부호(51)로 확장될 수 있다. 더 나아가, 포인터의 위치가 도면부호(22)로 이동한 경우, 브러쉬 적용 포인터(50)의 크기는 도면부호(52)로 더 확장될 수도 있다. 종래 방식에 따르면 특정한 값(위 예시에서는 브러쉬 적용 포인터의 크기)을 조절하기 위해 바의 특정 부분을 터치하거나, 숫자를 입력해야 했다. 그러나 본 발명에서와 같이 가상 다이얼을 회전시킴으로써 특정한 값을 조절하면, 미세한 범위의 값 조절이 가능하며, 값 조절이 더욱 편리해진다.
또한 일 실시예에서 손 동작 인식부(100)는, 사용자의 손이 물리공간 상의 소정 영역 내에 위치되면, 손 동작을 인식할 수 있다. 도 2를 참조하면 사용자의 손(10)이 물리공간 상의 소정 영역(111)에 위치된 경우에, 손 동작 인식부(100)는 손의 동작을 인식하고, 위 영역(111)을 벗어나면 손 동작 인식을 수행하지 않을 수 있다.
또한 가상 다이얼 제어부(300)는 사용자의 손(10)이 물리공간 상의 소정 영역(111) 내에 위치되면, 상기 가상 다이얼(20)을 디스플레이에 표시하고, 사용자의 손(10)이 상기 소정 영역(111)을 이탈하면, 상기 가상 다이얼(20)를 표시하지 않을 수 있다.
이에 따라서, 소정 영역(111)에서만 손 동작에의 한 제어가 가능하도록 하여 의도하지 않은 가상 다이얼의 제어를 방지할 수 있다.
다른 일 실시예에서 가상 다이얼 제어부(200)는, 인식된 손 동작이 기 설정된 손 동작인 경우, 가상 다이얼에 대한 입력 모드를 시작하거나 종료할 수 있다. 예컨대 사용자의 손이 소정의 영역(111)에 존재하여 손 동작이 인식되고 있는 경우라도, 사용자의 손 동작이 특정한 손 동작은 가상 다이얼(20)에 대한 명령을 수행하지 않을 수 있다. 구체적으로 사용자의 손이 특정한 손 동작을 취하는 경우 디스플레이에 표시되고 있지 않던 가상 다이얼(20)이 새로 생성되어 가상 다이얼을 이용한 입력모드가 실행될 수 있다. 이와 반대로 사용자의 손이 특정한 다른 손 동작을 취하는 경우 디스플레이에 표시되고 있던 가상 다이얼(20)이 사라지면서 입력모드가 종료될 수 있다.
가상 다이얼 제어부(200)는 손을 돌리는 동작에 기반하여, 상기 가상 다이얼을 회전시킬 수 있다. 사용자는 가상 다이얼의 회전을 시각적으로 확인함으로써, 회전 각도 및 방향을 인지할 수 있다.
또한 수치 조절부(300)는 가상 다이얼의 회전 각도에 따라서, 가상 객체의 일 구성요소에 관련된 값을 조절할 수 있다. 가상 객체의 일 구성요소는 크기, 형태, 각도, 색, 명암 중 적어도 하나를 포함할 수 있으나 이에 제한되는 것은 아니다. 상술한 일 구성요소는 동일한 카테고리에 병렬적으로 존재하는 임의의 대상을 모두 포함할 수 있다. 또한 일 예에서는 화면의 표시 배율(줌인아웃)을 조절하는 바(bar)에서 포인터의 이동을 가상 다이얼을 통해 수행될 수도 있다.
도 4는 본 발명의 일실시예에 있어서 가상객체의 일 구성요소들에 대한 예시들을 나타낸다. 도 4의 (a)는 숫자를 나타낸다. 예컨대 가상객체의 특정 부분에 숫자로 대표되는 값을 적용해야 하는 경우, 사용자는 가상 다이얼(20)을 회전시켜 필요한 값으로 설정할 수 있다. 도 4의 (b)는 다양한 기호들을 나타내고, 도 4의 (c)는 색을 나타낸다. 도 4의 (b)에서 사용자는 필요한 기호를 찾기 위해 가상 다이얼을 회전 시킬 수 있다. 또는 도 4의 (c)에서 사용자는 필요한 색을 결정하기 위해 가상 다이얼을 회전 시킬 수 있다.
도 4에서는 가상 객체에 관련된 일 구성요소들의 값의 배열에 대하여 직선으로 표시하였으나 이는 예시에 불과하고, 곡면 또는 원형일 수 있다.
도 5는 본 발명의 일 실시예에 따른 가상 다이얼의 사용 상태를 나타내는 도이다. 도 5를 참조하면 가상 다이얼 제어부(200)는 손 동작에 기반하여 회전된 가상 다이얼의 회전된 위치에 해당되는 값을 표시할 수 있다. 가상 다이얼이 110을 가리키고 있는 상태에서, 사용자가 가상 다이얼을 시계방향으로 회전시켜 가상 다이얼이 120을 가리키고 있는 경우, 가상 다이얼 제어부(200)는 가상 다이얼이 가리키는 값을 가상 다이얼과 함께 표시할 수 있다. 이에 따라서, 사용자는 현재 적용되는 값이 무엇인지 명확하게 인식할 수 있다.
도 6은 본 발명의 일 실시예에 따른 회전식 다이얼을 이용한 인터페이스 제공 방법의 순서도이다. 도 6을 참조하면 회전식 다이얼을 이용한 인터페이스 제공 방법은 카메라를 통해 획득한 깊이 영상으로부터 손 동작을 인식하는 단계(S100) 및 인식된 손 동작에 기반하여, 가상 객체의 일 구성요소에 관련된 값을 변화시키기 위한 가상 다이얼을 제어하는 단계(S200)를 포함할 수 있다. 회전식 다이얼을 이용한 인터페이스 제공 방법은 상술한 회전식 다이얼을 이용한 인터페이스 제공 장치의 구성요소들에 의해 구현될 수 있다.
손 동작을 인식하는 단계(S100)는 사용자의 손이 물리공간 상의 소정 범위 내에 위치한 경우, 상기 가상 다이얼을 제어하기 위한 손 동작으로 인식하는 단계를 포함할 수 있다. 또한 가상 다이얼을 제어하는 단계(S200)는 손을 돌리는 동작에 기반하여, 상기 가상 다이얼을 회전시키는 단계를 포함할 수 있다. 또한 가상 다이얼을 제어하는 단계(S200)는, 손 동작에 기반하여 회전된 가상 다이얼의 회전된 위치에 해당되는 값을 표시하는 단계를 포함할 수 있다.
일 실시예에 따른 회전식 다이얼을 이용한 인터페이스 제공 방법은 가상 다이얼의 회전 각도에 따라서, 상기 가상 객체의 일 구성요소에 관련된 값을 조절하는 단계를 더 포함할 수도 있다.
여기서 가상 객체의 일 구성요소는, 크기, 형태, 각도, 색, 명암 중 적어도 하나를 포함할 수 있으나 이에 제한되는 것은 아니다.
본 발명의 일 실시예에 따른 컴퓨터로 판독 가능한 기록매체는, 상술한 회전식 다이얼을 이용한 인터페이스 제공 방법을 실행하기 위한 명령을 포함할 수 있다. 또한 본 발명의 다른 일 실시예에 따른 프로그램은 상술한 회전식 다이얼을 이용한 인터페이스 제공 방법을 실행하기 위한 명령을 포함하며, 컴퓨터로 판독 가능한 기록매체에 저장될 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.
10 : 손
20 : 가상 다이얼
30 : 대상 객체
100 : 손 동작 인식부
200 : 가상 다이얼 제어부
300 : 수치 조절부
400 : 데이터베이스
1000 : 회전식 다이얼을 이용한 인터페이스 제공 장치

Claims (13)

  1. 카메라를 통해 획득한 깊이 영상으로부터 손 동작을 인식하는 손 동작 인식부;
    인식된 손 동작에 기반하여, 가상 객체의 일 구성요소에 관련된 값을 변화시키기 위한 가상 다이얼을 제어하는 가상 다이얼 제어부를 포함하되,
    상기 가상 다이얼 제어부는, 사용자의 손 동작의 형태에 따라서 디스플레이에 상에 가상 다이얼을 생성하거나 사라지게하는 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치.
  2. 제1항에 있어서,
    상기 가상 다이얼 제어부는,
    손을 돌리는 동작에 기반하여, 상기 가상 다이얼을 회전시키는 것을 특징으로 하는 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 가상 다이얼의 회전 각도에 따라서, 상기 가상 객체의 일 구성요소에 관련된 값을 조절하는 수치 조절부를 더 포함하는 것을 특징으로 하는 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치.
  4. 제1항에 있어서,
    상기 가상 객체의 일 구성요소는,
    크기, 형태, 각도, 색, 명암 중 적어도 하나를 포함하는 것을 특징으로 하는 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치.
  5. 제2항에 있어서,
    상기 가상 다이얼 제어부는,
    손 동작에 기반하여 회전된 가상 다이얼의 회전된 위치에 해당되는 값을 표시하는 것을 특징으로 하는 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치.
  6. 제1항에 있어서,
    상기 손 동작 인식부는,
    사용자의 손이 물리공간 상의 소정 범위 내에 위치한 경우, 상기 가상 다이얼을 제어하기 위한 손 동작으로 인식하는 것을 특징으로 하는 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치.
  7. 카메라를 통해 획득한 깊이 영상으로부터 손 동작을 인식하는 단계; 및
    인식된 손 동작에 기반하여, 가상 객체의 일 구성요소에 관련된 값을 변화시키기 위한 가상 다이얼을 제어하는 단계를 포함하되,
    상기 가상 다이얼을 제어하는 단계는, 사용자의 손 동작의 형태에 따라서 디스플레이에 상에 가상 다이얼을 생성하거나 사라지게 하는 회전식 다이얼을 이용한 인터페이스 제공 방법.
  8. 제7항에 있어서,
    상기 가상 다이얼을 제어하는 단계는,
    손을 돌리는 동작에 기반하여, 상기 가상 다이얼을 회전시키는 것을 특징으로 하는 회전식 다이얼을 이용한 인터페이스 제공 방법.
  9. 제7항 또는 제8항에 있어서,
    상기 가상 다이얼의 회전 각도에 따라서, 상기 가상 객체의 일 구성요소에 관련된 값을 조절하는 단계를 더 포함하는 것을 특징으로 하는 회전식 다이얼을 이용한 인터페이스 제공 방법.
  10. 제7항에 있어서,
    상기 가상 객체의 일 구성요소는,
    크기, 형태, 각도, 색, 명암 중 적어도 하나를 포함하는 것을 특징으로 하는 회전식 다이얼을 이용한 인터페이스 제공 방법.

  11. 제8항에 있어서,
    상기 가상 다이얼을 제어하는 단계는,
    손 동작에 기반하여 회전된 가상 다이얼의 회전된 위치에 해당되는 값을 표시하는 것을 특징으로 하는 회전식 다이얼을 이용한 인터페이스 제공 방법.
  12. 제7항에 있어서,
    상기 손 동작을 인식하는 단계는,
    사용자의 손이 물리공간 상의 소정 범위 내에 위치한 경우, 상기 가상 다이얼을 제어하기 위한 손 동작으로 인식하는 것을 특징으로 하는 회전식 다이얼을 이용한 인터페이스 제공 방법.
  13. 제7항 내지 제8항 중 어느 한 항에 따른 방법을 실행하기 위한 명령을 저장하는, 컴퓨터로 판독 가능한 기록매체.
KR1020160005909A 2016-01-18 2016-01-18 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치 및 그 방법 Expired - Fee Related KR101751237B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160005909A KR101751237B1 (ko) 2016-01-18 2016-01-18 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160005909A KR101751237B1 (ko) 2016-01-18 2016-01-18 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101751237B1 true KR101751237B1 (ko) 2017-06-28

Family

ID=59280990

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160005909A Expired - Fee Related KR101751237B1 (ko) 2016-01-18 2016-01-18 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR101751237B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220082632A (ko) * 2020-12-10 2022-06-17 최윤우 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템 및 이를 이용한 제스처 기반의 비접촉 멀티미디어 장치 제어 방법
KR20230018965A (ko) * 2021-07-30 2023-02-07 마케톤 주식회사 스크린리스 엘리베이터 작동 제어 장치 및 방법
US12056294B2 (en) 2022-06-17 2024-08-06 Lenovo (Singapore) Pte. Ltd. Information processing system, information processing apparatus, and control method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010184600A (ja) * 2009-02-12 2010-08-26 Autonetworks Technologies Ltd 車載用ジェスチャースイッチ装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010184600A (ja) * 2009-02-12 2010-08-26 Autonetworks Technologies Ltd 車載用ジェスチャースイッチ装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220082632A (ko) * 2020-12-10 2022-06-17 최윤우 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템 및 이를 이용한 제스처 기반의 비접촉 멀티미디어 장치 제어 방법
KR102438736B1 (ko) 2020-12-10 2022-08-30 최윤우 제스처 기반의 비접촉 멀티미디어 장치 제어 시스템 및 이를 이용한 제스처 기반의 비접촉 멀티미디어 장치 제어 방법
KR20230018965A (ko) * 2021-07-30 2023-02-07 마케톤 주식회사 스크린리스 엘리베이터 작동 제어 장치 및 방법
WO2023033549A1 (ko) * 2021-07-30 2023-03-09 마케톤 주식회사 스크린리스 엘리베이터 작동 제어 장치 및 방법
KR102636329B1 (ko) * 2021-07-30 2024-02-15 마케톤 주식회사 스크린리스 엘리베이터 작동 제어 장치 및 방법
US12056294B2 (en) 2022-06-17 2024-08-06 Lenovo (Singapore) Pte. Ltd. Information processing system, information processing apparatus, and control method

Similar Documents

Publication Publication Date Title
US10275145B2 (en) Drawing support tool
US8866781B2 (en) Contactless gesture-based control method and apparatus
US8622742B2 (en) Teaching gestures with offset contact silhouettes
Song et al. GaFinC: Gaze and Finger Control interface for 3D model manipulation in CAD application
KR101318244B1 (ko) 3차원 사용자 인터페이스 구현 시스템 및 구현 방법
US20170228138A1 (en) System and method for spatial interaction for viewing and manipulating off-screen content
US20130082922A1 (en) Tactile glove for human-computer interaction
US8743064B2 (en) Gesture orbit design
CN104137031A (zh) 屏上对象的手动操纵
KR20160080109A (ko) 사용자 인터페이스 제어를 위한 시스템 및 기법
CN112527112B (zh) 一种多通道沉浸式流场可视化人机交互方法
Matulic et al. Empirical evaluation of uni-and bimodal pen and touch interaction properties on digital tabletops
KR101751237B1 (ko) 회전식 다이얼을 이용한 사용자 인터페이스 제공 장치 및 그 방법
KR102359598B1 (ko) 3차원 스케칭 방법 및 장치
JP2012022458A (ja) 情報処理装置およびその制御方法
US20150241968A1 (en) Method for Processing Information and Electronic Device
JP2015176277A (ja) キー入力装置
TW201617793A (zh) 穿戴式裝置及其操作方法
JP5768787B2 (ja) グラフ表示制御装置及びグラフ表示制御プログラム
CN109901778A (zh) 一种页面对象旋转缩放方法、存储器及智能设备
KR101731935B1 (ko) 손 동작 인식을 이용한 3차원 가상 컨트롤러 인터페이스 제공 장치 및 방법
JP2017211739A (ja) ユーザインターフェース装置およびユーザインターフェースプログラム
US10809794B2 (en) 3D navigation mode
Wu et al. Classic3d and single3d: Two unimanual techniques for constrained 3d manipulations on tablet pcs
KR20170092946A (ko) 한 손 제스쳐 입력방법 및 장치

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20250622

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

H13 Ip right lapsed

Free format text: ST27 STATUS EVENT CODE: N-4-6-H10-H13-OTH-PC1903 (AS PROVIDED BY THE NATIONAL OFFICE); TERMINATION CATEGORY : DEFAULT_OF_REGISTRATION_FEE

Effective date: 20250622

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20250622