KR100723402B1 - 제스처 인식장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체 - Google Patents

제스처 인식장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체 Download PDF

Info

Publication number
KR100723402B1
KR100723402B1 KR1020050012426A KR20050012426A KR100723402B1 KR 100723402 B1 KR100723402 B1 KR 100723402B1 KR 1020050012426 A KR1020050012426 A KR 1020050012426A KR 20050012426 A KR20050012426 A KR 20050012426A KR 100723402 B1 KR100723402 B1 KR 100723402B1
Authority
KR
South Korea
Prior art keywords
unit
function
trajectory
light
sensing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020050012426A
Other languages
English (en)
Other versions
KR20060091512A (ko
Inventor
양경혜
정지혜
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050012426A priority Critical patent/KR100723402B1/ko
Priority to US11/294,556 priority patent/US20060192078A1/en
Publication of KR20060091512A publication Critical patent/KR20060091512A/ko
Application granted granted Critical
Publication of KR100723402B1 publication Critical patent/KR100723402B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

제스처 인식장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체가 개시된다. 그 장치는, 광을 소정 시간동안 센싱하여 상기 광이 발광된 위치를 감지하는 센싱부; 및 상기 광을 발광하고 상기 감지된 위치의 시간상의 궤적을 산정하고, 상기 산정된 시간상의 궤적에 상응하는 기능을 수행하는 정보 처리부를 포함함을 특징으로 한다. 그러므로, 본 발명은 사용자의 제스처를 정확히 인식하며, 사용자가 행동에 큰 제약을 받지 않고 취한 제스처를 인식하고, 소정의 장치가 자신의 수행가능한 기능 중 그 인식된 제스처에 대응지정된 기능을 자동수행하도록 하는 효과를 갖는다.

Description

제스처 인식장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체 {Apparatus and method for recognizing gesture, and computer readable media for storing computer program}
도 1은 본 발명에 의한 제스처 인식장치가 적용된 일 례를 설명하기 위한 블록도이다.
도 2 내지 도 4는 본 발명에 의한 제스처 인식의 원리를 설명하기 위한 참고도들이다.
도 5는 본 발명에 의한 제스처 인식방법이 적용된 일 례를 설명하기 위한 플로우챠트이다.
< 도면의 주요 부분에 대한 부호의 설명 >
108 : 정보 처리부 112 : 센싱부
110 : 발광부 113: 궤적 산정부
114 : 제스처 인식부 118 : 기능 매핑부
본 발명은 제스처 인식에 관한 것으로, 보다 상세하게는, 소정 광을 센싱하여 그 광이 발광된 위치를 감지하고, 그 위치의 시간상의 궤적을 산정하며 그 산정된 시간상의 궤적에 상응하는 기능을 자동수행하는 제스처 인식장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
퍼스널 컴퓨터(PC)의 사용자는 키보드, 마우스 등의 장치를 조작해야만 그 퍼스널 컴퓨터를 동작시킬 수 있다. 이와 비슷하게, 휴대폰 사용자는 휴대폰의 키패드(keypad)를 조작해야만 전화통화를 할지 여부, 문자메시지를 전송할지 여부, 게임을 할지 여부 또는 음악을 들을지 여부 등을 그 휴대폰에 인식시킬 수 있다.
즉, 퍼스널 컴퓨터나 휴대폰에 어떤 데이터를 입력하기 위해서는 사용자가 키보드, 마우스 또는 키패드 등 별도의 장치를 조작해야만 한다. 결국, 사용자는 키보드 또는 키패드와 같은 별도의 장치를 조작해서만 퍼스널 컴퓨터 또는 휴대폰과 같은 장치를 이용할 수 있다는 불편함이 존재한다.
본 발명이 이루고자 하는 기술적 과제는, 소정 광을 센싱하여 그 광이 발광된 위치를 감지하고, 그 위치의 시간상의 궤적을 산정하며 그 산정된 시간상의 궤적에 상응하는 기능을 자동수행하는 제스처 인식장치를 제공하는 것이다.
본 발명이 이루고자 하는 다른 기술적 과제는, 소정 광을 센싱하여 그 광이 발광된 위치를 감지하고, 그 위치의 시간상의 궤적을 산정하며 그 산정된 시간상의 궤적에 상응하는 기능을 자동수행하는 제스처 인식방법을 제공하는 것이다.
본 발명이 이루고자 하는 또 다른 기술적 과제는, 소정 광을 센싱하여 그 광이 발광된 위치를 감지하고, 그 위치의 시간상의 궤적을 산정하며 그 산정된 시간상의 궤적에 상응하는 기능을 자동수행하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체를 제공하는 것이다.
상기 과제를 이루기 위해, 본 발명에 의한 제스처 인식장치는, 광을 소정 시간동안 센싱하여 상기 광이 발광된 위치를 감지하는 센싱부; 및 상기 광을 발광하고 상기 감지된 위치의 시간상의 궤적을 산정하고, 상기 산정된 시간상의 궤적에 상응하는 기능을 수행하는 정보 처리부를 포함함을 특징으로 한다.
본 발명의 상기 정보 처리부는, 상기 광을 발광하는 발광부; 상기 감지된 위 치의 시간상의 궤적을 산정하는 궤적 산정부; 및 상기 산정된 시간상의 궤적에 상응하는 기능을 수행하는 기능 수행부를 포함함이 바람직하다.
본 발명의 상기 정보 처리부는, 소정의 시간상의 궤적을 어드레스로 하여 소정의 기능 정보를 저장하는 기능 저장부; 및 상기 산정된 시간상의 궤적을 어드레스로 갖는 상기 저장된 기능 정보를 독출하는 기능 매핑부를 더 포함하며, 상기 기능 수행부는 상기 독출된 기능 정보에 나타난 기능을 수행하는 것이 바람직하다.
본 발명의 상기 산정된 시간상의 궤적은 제스처(gesture)인 것이 바람직하다. 본 발명의 상기 센싱부는 자신과 상기 발광부간의 상대적인 위치를 감지함이 바람직하다. 본 발명의 상기 센싱부는 상기 위치를 감지하는 복수의 센싱소자로 이루어지며, 상기 센싱소자는 서로 이격된 것이 바람직하다.
본 발명의 상기 센싱부는 상기 감지된 위치에 관한 정보를 상기 궤적 산정부에 전달하며 상기 궤적 산정부의 동작을 지시하는 것이 바람직하다.
본 발명의 상기 발광부와 상기 기능 수행부는 일체화되는 것이 바람직하다. 본 발명의 상기 발광부와 상기 기능 수행부는 네트워크로 연결되어 있는 것이 바람직하다.
본 발명의 상기 센싱부, 상기 발광부, 상기 궤적 산정부 및 상기 기능 수행부 중 적어도 하나는 신체에 부착되며, 상기 신체의 움직임에 의해 위치가 가변되는 것이 바람직하다.
본 발명의 상기 센싱부는 상기 신체내에서 상대적인 움직임이 적은 부위에 부착되는 것이 바람직하다. 본 발명의 상기 센싱부는 상기 신체에 착용된 헤드폰, 이어폰, 목걸이 또는 귀걸이에 부착됨이 바람직하다.
본 발명의 상기 발광부, 상기 궤적 산정부 및 상기 기능 수행부 중 적어도 하나는 상기 신체내에서 상대적인 움직임이 큰 부위에 부착됨이 바람직하다.
본 발명의 상기 기능 수행부는 영상 재생기능 및 음성 재생기능 중 적어도 하나를 포함함이 바람직하다. 본 발명의 상기 센싱부는 상기 위치를 연속적으로 감지하는 것이 바람직하다. 본 발명의 상기 광은 적외선 또는 초음파인 것이 바람직하다.
상기 다른 과제를 이루기 위해, 본 발명에 의한 제스처 인식방법은, 광을 소정 시간동안 센싱하여 상기 광이 발광된 위치를 감지하는 단계; 및 상기 광을 발광하고 상기 감지된 위치의 시간상의 궤적을 산정하고, 상기 산정된 시간상의 궤적에 상응하는 기능을 수행하는 단계를 포함함을 특징으로 한다.
본 발명의 상기 기능을 수행하는 단계는, 상기 광을 발광하는 단계; 상기 감지된 위치의 시간상의 궤적을 산정하는 단계; 및 상기 산정된 시간상의 궤적에 상응하는 기능을 수행하는 단계를 포함함이 바람직하다.
본 발명의 상기 기능을 수행하는 단계는, 상기 광을 발광하는 단계; 상기 감지된 위치의 시간상의 궤적을 산정하는 단계; 소정의 시간상의 궤적을 어드레스로 하여 사전에 저장된 기능 정보 중 상기 산정된 시간상의 궤적을 어드레스로 갖는 상기 저장된 기능 정보를 독출하는 단계; 및 상기 독출된 기능 정보에 나타난 기능을 수행하는 단계를 포함함이 바람직하다.
상기 또 다른 과제를 이루기 위해, 본 발명에 의한 컴퓨터 프로그램을 저장 하는 컴퓨터로 읽을 수 있는 기록매체는, 광을 소정 시간동안 센싱하여 상기 광이 발광된 위치를 감지하는 단계; 및 상기 광을 발광하고 상기 감지된 위치의 시간상의 궤적을 산정하고, 상기 산정된 시간상의 궤적에 상응하는 기능을 수행하는 단계를 포함함을 특징으로 한다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 제스처 인식장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체의 일 실시예에 대해 상세히 설명한다. 다만, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 당해 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명에 의한 제스처 인식장치(이하 "본 장치")가 적용된 일 례를 설명하기 위한 블록도로서, 정보 처리부(108) 및 센싱부(112)를 포함한다. 이 때, 정보 처리부(108)는 발광부(110), 궤적 산정부(113), 제스처 인식부(114), 제스처 저장부(116), 기능 매핑부(118), 기능 저장부(120) 및 기능 수행부(122)를 포함한다. 한편, 도 2 내지 도 4는 본 발명에 의한 제스처 인식의 원리를 설명하기 위한 참고도들이다.
센싱부(112)는 광을 소정 시간동안 센싱하여 그 광이 발광된 위치를 감지하고, 정보 처리부(108)는 그 광을 발광하고 센싱부(112)에서 감지한 위치의 시간상의 궤적을 산정하고 그 산정된 궤적에 상응하는 기능을 수행한다. 여기서, 위치란 3차원상의 위치를 의미함이 바람직하다.
발광부(110)는 소정의 광을 발광한다. 이 광은 사전에 설정된 주파수를 갖는 광을 말함이 바람직하다. 이 광의 종류는 제한되지 않으나, 적외선 또는 초음파임이 바람직하다. 특히, 적외선의 경우 대역폭이 넓고 전송속도가 빠르며 주파수를 사용하기 위해 누군가의 허락을 받을 필요가 없으므로 이 광은 적외선임이 보다 바람직하다.
센싱부(112)는 그 소정의 광을 센싱한다. 이를 위해, 센싱부(112)는 수광부(미도시)를 포함함이 바람직하다. 센싱부(112)에 입사되는 광은 여러 가지가 있을 수 있으나, 센싱부(112)가 감지하는 광은 그 소정의 광임이 바람직하다.
결국, 발광부(110)는 광을 발광하며, 센싱부(112)는 그 발광된 광을 소정 시간동안 센싱하여 발광부(110)의 위치를 감지함이 바람직하다. 이 때, 센싱부(112)는 발광부(110)로부터 발광되어 주어진 광을 "소정 시간"동안 센싱하므로, 소정 시간동안의 발광부(110)의 위치를 감지하게 된다. 센싱부(112)는 감지한 위치에 관한 정보를 궤적 산정부(113)에 전달하고, 궤적 산정부(113)의 동작을 지시한다.
센싱부(112)는 광을 센싱함으로써, 발광부(110)가 센싱부(112)로부터 어느 정도나 떨어져 있는지를 감지할 수 있다. 즉, 센싱부(112)는 센싱된 광의 광 세기(power)와 발광부(110)가 광을 발광하는 세기를 비교함으로써, 자신으로부터 발광부(110)가 "얼마나 떨어져 있는가"를 센싱할 수 있다. 이 때, 센싱부(112)는 "발광부(110)에서 광을 얼마의 세기(power)로 발광하는지에 대한 정보"를 사전에 인식하고 있음이 바람직하다.
이로써, 센싱부(112)는 "발광부(110)로부터 발광된 광의 발광 직후의 광 세기"에 대한 "센싱된 광의 상대적인 광 세기"를 감지할 수 있다. 다만, 만일 발광부 (110)가 항상 일정한 광 세기의 광을 발광한다면, 센싱부(112)는 발광부(110)가 발광한 광을 센싱함과 동시에 그 상대적인 광 세기를 감지할 수 있다. 센싱부(112)는 발광부(110)에 발광을 지시하고 그 발광된 광을 감지할 수도 있으나, 발광부(110)의 위치에 대한 사전 인식없이 그 발광된 광을 감지함으로써 발광부(110)의 위치를 감지함이 바람직하다. 이를 위해, 전술한 바와 같이 발광부(110)가 발광하는 광의 주파수와 센싱부(112)가 감지하는 광의 주파수는 서로 일치하며 사전에 설정됨이 바람직하다.
도 2는 이격거리에 대한 센싱광 세기를 나타내는 그래프이다. 여기서, 이격거리란 발광부(110)와 센싱부(112)사이의 거리를 의미하며, 직선거리임이 바람직하다. 또한, 센싱광 세기란 센싱부(112)가 센싱한 광의 광 세기를 의미하며, 보다 구체적으로, 전술한 "상대적인 광 세기"를 의미함이 바람직하다.
도시된 바에 따르면, 이격거리가 늘어날수록 센싱광 세기는 줄어든다. 이로써, 센싱부(112)는 자신이 센싱한 센싱광 세기를 이용하여 발광부(110)가 자신과 얼마나 떨어져 있는지를 감지할 수 있다. 즉, 센싱부(112)는 발광부(110)로부터 주어진 광을 센싱함으로써, 이격거리를 센싱할 수 있다. 센싱광 세기와 이격거리는 다음과 같은 수학식으로 표현될 수도 있다.
D = K + 1/P
여기서, D는 이격거리를 의미하고, P는 센싱광 세기를 의미하며, K는 일정 상수를 의미한다.
이와 같은 거리인식(distance recognition)방법은 2001년 11월에 'Khoo, SOO H.; Zhang, Wenwei; Faulkner, Grahame E.; O'Brien, Dominic C and Edwards, David J.'에 의해 "Receiver angle diversity design for high-speed diffuse indoor wireless communications"라는 제목으로 출간된 Optical Wireless Communications Ⅳ라는 저널에 발표된 SPIE(The International Society for Optical Engineering) 논문의 Vol.4530의 페이지 116쪽부터 124쪽에 개시되어 있다.
한편, 센싱부(112)는 광을 센싱함으로써, 발광부(110)가 센싱부(112)로부터 "어느 방향에 위치하는지"를 감지할 수 있다. 이를 위해, 센싱부(112)는 발광부(110)로부터 발광된 광을 소정 시간동안 센싱하여 발광부(110)의 위치를 감지하는 단 하나의 센싱소자(미도시)로 이루어질 수도 있고, 복수의 센싱소자(미도시)로 이루어질 수도 있다. 특히, 센싱부(112)는 이격되어 위치하는 복수의 센싱소자(미도시)로 이루어짐이 보다 바람직하다. 이로써, 센싱부(112)는 "발광부(110)가 센싱부(112)의 수광부(미도시)를 기준으로 어느 방향에 위치하는지"를 정확하게 센싱할 수 있다.
전술한 바와 같이, 센싱부(112)가 복수의 센싱소자(미도시)로 이루어지는 경우, 각각의 센싱소자(미도시)는 서로 이격됨이 바람직하다. 도 3은 센싱부(112)가 센싱가능한 광의 분포가능 영역의 일 례를 설명하기 위한 도면이다. 도시된 바에 따르면, 센싱부(112)는 두 개의 센싱소자(미도시)로 이루어진다.
참조번호 300은 사람의 머리의 천장부분을 의미하고, 참조번호 302는 사람이 착용한 헤드폰을 의미한다. 다만, 이는 설명의 편의를 위한 것으로, 이에 제한되지 않는다.
즉, 참조번호 300은 신체내에서 상대적인 움직임이 적은 신체부위를 의미한다. 이처럼, 신체부위 중 일반적으로 움직이는 정도가 상대적으로 적은 신체부위로는 사람의 머리, 목 등이 있다.
또한, 참조번호 302는 센싱부(112)를 가지며 그 신체부위(300)에 부착되는 물체(이하 "고정부착 물체"라 함)를 말한다. 예컨대, 헤드폰, 이어폰, 귀걸이, 목걸이 등이 참조번호 302에 해당할 수 있다.
결국, 센싱부(112)는 신체에 부착되며 그 위치가 신체의 움직임에 의해 가변됨이 바람직하다. 보다 구체적으로, 센싱부(112)는 신체내에서 움직임이 상대적으로 적은 부위에 부착됨이 바람직하다.
발광부(110)도 신체에 부착되어 그 위치가 신체의 움직임에 의해 가변됨이 바람직하다. 보다 구체적으로, 발광부(110)는 신체내에서 움직임이 상대적으로 큰 부위에 부착됨이 바람직하다. 그러한 신체 부위로는 손, 발 등이 가능하다.
이러한 발광부(110)는 소정의 물체(이하 "이동부착 물체"라 함)에 포함됨이 바람직하며, 이동부착 물체는 휴대용 물체임이 바람직하다. 예컨대, 발광부(110)는 손에 쥐어져 이동가능한 물체에 포함되는 것이 바람직하며, 그러한 물체로는 휴대폰, MP3 플레이어, CD 플레이어, PMP(Portable Multimedia Player) 등이 가능하다.
도시된 바에 따르면, 헤드폰(302)은 양쪽 귀를 덮는 덮개부(310 및 312)를 가지며, 왼쪽 귀를 덮는 좌측 덮개부(310)와 오른쪽 귀를 덮는 우측 덮개부(312) 각각은 센싱소자(미도시)를 포함한다. 여기서, 발광부(110)는 손에 쥔 휴대폰(미도시)에 포함되며, 센싱부(112)는 헤드폰(302)에 포함된다.
참조번호 370은 센싱부(112)가 센싱할 수 없는 광의 분포가능 영역(이하 "인식불가 영역"이라 함)을 의미하고, 참조번호 380은 센싱부(112)가 센싱가능한 광의 분포가능 영역(이하 "인식가능 영역"이라 함)을 의미한다. 참조번호 380은 또 다시, 5개의 영역(320, 330, 340, 350 및 360)으로 구획될 수 있다. 여기서, 5개는 설명의 편의상 제시된 것이며, 이에 제한되지 않는다.
인식불가 영역(370)은 그 손에 쥔 휴대폰(미도시)이 위치할 수 없는 영역에 해당한다. 참조번호 320은 얼굴 정면에 상응하는 영역으로, 기준선(390)으로부터 좌우 10도 정도에 해당하는 영역이다. 반면, 참조번호 330은 얼굴 정좌측면에 상응하는 영역으로, 기준선(390)으로부터 좌측으로 10도내지 45도에 해당하는 영역이다.
이와 비슷하게, 참조번호 340은 얼굴 정우측면에 상응하는 영역으로, 기준선(390)으로부터 우측으로 10도내지 45도에 해당하는 영역이다. 또한, 참조번호 350은 얼굴 좌측면에 상응하는 영역으로, 기준선(390)으로부터 좌측으로 45도내지 60도에 해당하는 영역이며, 참조번호 360은 얼굴 우측면에 상응하는 영역으로, 기준선(390)으로부터 우측으로 45도내지 60도에 해당하는 영역이다.
이 때, 발광부(110)가 참조번호 361이나 363의 위치에 존재한다면, 좌측 덮개부(310)가 갖는 센싱소자(미도시)는 발광부(110)로부터 발광된 광을 감지할 수 없다. 즉,
P(Ri) = 0
이다. 여기서, Ri는 좌측 덮개부(310)에 위치한 센싱소자(미도시)에서 센싱되는 센싱광 세기를 의미한다.
이와 마찬가지로, 발광부(110)가 참조번호 351이나 353의 위치에 존재한다면, 우측 덮개부(312)가 갖는 센싱소자(미도시)는 센싱부(112)로부터 발광된 광을 감지할 수 없다. 즉,
P(Rr) = 0
이다. 여기서, Rr은 우측 덮개부(312)에 위치한 센싱소자(미도시)에서 센싱되는 센싱광 세기를 의미한다.
반면, 발광부(110)가 참조번호 321이나 323의 위치에 존재한다면, P(Ri) 값과 P(Rr) 값이 일치하게 된다.
결국, 발광부(110)가 센싱부(112)로부터 어느 방향에 위치하였는지는 다음과 같은 수학식에 의해 표현될 수도 있다.
O = f ( P(Rr)/P(Ri) )
여기서, O는 방향(Orientation)을 의미하고 f는 함수(function)을 의미한다. 결국, 센싱부(112)를 기준으로 발광부(110)가 위치한 방향은 P(Rr)과 P(Ri)의 비율에 따라 결정됨이 바람직하다. 따라서, O는 다음과 같은 수학식에 의해 표현될 수 도 있다.
O = f ( P(Ri)/P(Rr) )
결국, 센싱부(112)는 발광부(110)가 자신의 위치를 기준으로 어느 위치에 존재하는지를 감지한다. 즉, 센싱부(112)는 "발광부(110)가 센싱부(112)로부터 얼마나 떨어져 있는지" 및 "발광부(110)가 센싱부(112)로부터 어느 방향에 위치하는지"를 감지한다.
궤적 산정부(113)는 센싱부(112)로부터 전달받은 위치에 관한 정보에 나타난 위치의 시간상의 궤적(trajectory)을 산정한다. 여기서, "시간상의 궤적"이란 결국, "발광부(110)의 수광부(미도시)에 대한 위치의 시간에 따른 변화 추이"를 의미한다.
한편, 센싱부(112)가 발광부(110)의 위치를 소정 시간동안 연속적으로 감지한다면, 산정된 시간상의 궤적은 연속적인 궤적이 된다. 이와 비슷하게, 센싱부(112)가 발광부(110)의 위치를 소정 시간동안 불연속적으로 감지한다면, 산정된 시간상의 궤적은 불연속적인 궤적이 된다. 여기서, "소정 시간"은 사전에 설정되며 가변가능함이 바람직하다.
궤적 산정부(113)가 산정한 궤적에 관한 정보는 후술할 제스처 인식부(114)에 전달될 수도 있고, 기능 매핑부(114)에 전달될 수도 있다.
제스처 인식부(114)는 산정된 궤적에 관한 정보를 궤적 산정부(113)로부터 전달받고, 그 산정된 궤적이 의미하는 제스처(gesture)를 인식한다. 이를 위해, 제 스처 인식부(114)는 산정한 궤적을 어드레스(address)로 갖는 제스처 정보를 제스처 저장부(116)로부터 독출함이 바람직하다. 이로써, 제스처 인식부(114)는 감지된 위치의 시간상 궤적이 어떠한 제스처를 그리고 있는지를 알 수 있다.
제스처 저장부(116)는 소정의 산정된 궤적을 어드레스로 하여 소정의 제스처 정보를 저장한다. 제스처 정보란 사전에 유형화되어 설정된 제스처에 관한 정보를 말한다.
즉, 제스처 인식부(114)는 그 산정된 시간상 궤적이 인사하는 제스처를 나타내는지, 무엇을 그리는듯한 제스처를 나타내는지 등을 인식한다. 다만, 제스처는 결국, 그 "산정된 시간상 궤적"의 다른 이름에 해당하므로, 본 장치에서 제스처 인식부(114)와 제스처 저장부(116)는 마련되지 않을 수도 있다.
제스처를 인식한 제스처 인식부(114)는 인식한 제스처 정보를 기능 매핑부(118)에 전달하며, 기능 매핑부(118)의 동작을 지시한다. 다만, 본 장치에서 제스처 인식부(114) 및 제스처 저장부(116)가 마련되지 않는 경우, 기능 매핑부(118)는 궤적 산정부(113)로부터 동작 지시를 받는다. 이 때, 궤적 산정부(113)는 산정한 궤적에 관한 정보를 기능 매핑부(118)에 전달한다.
기능 매핑부(118)가 제스처 인식부(114)로부터 동작 지시를 받는다면, 기능 매핑부(118)는 전달받은 제스처 정보에 상응하는 기능을 기능 저장부(120)로부터 독출한다. 이 경우, 기능 저장부(120)는 소정의 제스처 정보를 어드레스로 하여 소정의 기능을 저장한다.
반면, 기능 매핑부(118)가 궤적 산정부(113)로부터 동작 지시를 받는다면, 기능 매핑부(118)는 전달받은 궤적에 상응하는 기능을 기능 저장부(120)로부터 독출한다. 이 경우, 기능 저장부(120)는 소정의 궤적을 어드레스로 하여 소정의 기능을 저장한다.
결국, 기능 저장부(120)는 소정의 감지된 궤적을 어드레스로 하여 소정의 기능 정보를 저장할 수도 있고, 소정의 제스처 정보를 어드레스로 하여 소정의 기능 정보를 저장할 수도 있다. 여기서, 기능이란 후술할 기능 수행부(122)가 수행가능한 기능을 말한다.
기능 수행부(122)는 기능 매핑부(118)가 독출한 기능을 수행한다. 결국, 기능 수행부(122)는 궤적 산정부(113)가 산정한 시간상의 궤적에 상응하는 기능을 수행한다. OUT 는 기능 수행부(122)가 수행하는 기능을 의미한다. 기능 수행부(122)는 영상 재생기능 및 음성 재생기능 중 적어도 하나를 포함함이 바람직하다.
전술한 바와 같이, 정보 처리부(108)는 이동부착 물체에 포함되며, 센싱부(112)는 고정부착 물체에 포함됨이 바람직하다. 고정부착 물체는 신체내에서 상대적으로 움직임이 적은 신체부위에 부착되며 이동부착 물체는 신체내에서 상대적으로 움직임이 큰 신체부위에 부착됨이 바람직하다. 고정부착 물체의 예로는 헤드폰, 이어폰, 귀걸이, 목걸이 등이 있고, 이동부착 물체로는 PDP, 휴대폰, MP3 플레이어 등이 있다. 고정부착 물체의 종류는 제한되지 않으므로, 센싱부(112)가 고정부착 물체에 포함된다는 것이 본 발명의 실생활 적용에 제약 사항이 되지도 않는다.
만약, 이동부착 물체가 휴대폰이라면, 기능 수행부(122)가 수행가능한 기능은 전화연결 기능, 문자메시지 작성 기능, MP3 듣기 기능, 게임 기능 등 다양할 수 있다.
발광부(110)와 기능 수행부(122)는 일체화되는 것이 바람직하다. 즉, 이동부착 물체가 휴대폰인 경우, 발광부(110) 역시 그 휴대폰에 포함됨이 바람직하다. 다만, 이에 제한되지는 않으며, 발광부(110)와 기능 수행부(122)가 네트워크로 연결될 수도 있다.
예컨대, 발광부(110)만 손에 부착되고, 센싱부(112)가 감지한 손의 움직임에 따라 산정된 "시간상의 궤적"에 상응하는 기능을 수행하는 기능 수행부(122)는 신체와 이격된 장소에 존재할 수도 있다. 이 때, 기능 수행부(122)와 발광부(110)는 네트워크로 연결되어 있으며, 서로 통신함이 바람직하다.
한편, 궤적 산정부(113), 제스처 인식부(114), 제스처 저장부(116), 기능 매핑부(118) 및 기능 저장부(120)는 기능 수행부(122)와 일체화되는 것이 바람직하나, 이에 제한되지는 않는다.
도 4는 다양한 제스처의 일 례들을 나타낸 도면들이다. 발광부(110) 및 기능 수행부(122)는 손에 쥔 핸드폰(420)에 구비되며, 센싱부(112)는 귀걸이(410)에 구비되었다고 가정한다. 도 4(a)에 도시된 바와 같은 제스처가 기능 저장부(120)에서 "휴대폰(420)에 저장된 전화번호 목록 중 5번째 저장된 목록의 전화번호에 자동연결하는 기능"과 매칭되어 있다면, 휴대폰(420)은 사용자(400)의 키패드 조작과 관계없이 5번째 저장된 전화번호에 자동 전화연결한다.
이와 비슷하게, 도 4(b)에 도시된 바와 같은 제스처가 기능 저장부(120)에서 휴대폰(420)의 문자메시지 작성기능에 매칭되어 있다면, 휴대폰(420)은 사용자 (400)의 키패드 조작과 관계없이 자신의 문자메시지 작성기능을 자동 수행한다.
또한, 도 4(c)에 도시된 바와 같은 제스처가 기능 저장부(120)에서 휴대폰(420)의 MP3 듣기 기능에 매칭되어 있다면, 휴대폰(420)은 사용자(400)의 키패드 조작과 관계없이 MP3 재생 기능을 자동 수행한다.
마찬가지로, 도 4(d)에 도시된 바와 같은 제스처가 기능 저장부(120)에서 휴대폰(420)의 게임 기능에 매칭되어 있다면, 휴대폰(420)은 사용자(400)의 키패드 조작과 관계없이 게임 기능을 자동 수행한다.
도 4의 경우 4가지 예가 도시되어 있으나, 이는 설명의 편의를 위한 것으로 이에 제한되지는 않는다.
도 5는 본 발명에 의한 제스처 인식방법이 적용된 일 례를 설명하기 위한 플로우챠트로서, 위치를 감지하고 궤적을 산정하는 단계(제510 ~ 520 단계들), 기능 정보를 독출하는 단계(제530 단계) 및 기능 수행단계(제540 단계)로 이루어진다.
센싱부(112)는 광을 소정 시간동안 센싱하여 그 광이 발광된 위치를 감지한다(제510 단계). 즉, 센싱부(112)는 발광부(110)의 위치를 감지한다.
궤적 산정부(113)는 그 감지된 위치의 시간상 궤적을 산정한다(제520 단계). 제520 단계 후에, 기능 매핑부(118)는 그 산정된 궤적에 상응하는 기능을 기능 저장부(120)에서 독출한다(제530 단계).
제530 단계 후에, 기능 수행부(122)는 그 독출된 기능 정보에 나타난 기능을 자동 수행한다(제540 단계).
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이상에서 설명한 것은 본 발명에 따른 제스처 인식장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체를 실시하기 위한 하나의 실시예에 불과한 것으로서, 본 발명은 상기한 실시예에 한정되지 않고 이하의 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변경 실시가 가능할 것이다.
이상에서 설명한 바와 같이, 본 발명에 의한 제스처 인식장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체는, 사용자의 제스처를 정확히 인식하는 효과를 갖는다.
또한, 본 발명에 의한 제스처 인식장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체에 의하면, 인식가능한 제스처의 종류가 다양하 다.
더불어, 본 발명에 의한 제스처 인식장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체는, 사용자가 행동에 큰 제약을 받지 않고 취한 제스처를 인식하고, 소정의 장치가 자신의 수행가능한 기능 중 그 인식된 제스처에 대응지정된 기능을 자동수행하도록 하는 효과를 갖는다.

Claims (20)

  1. 광을 소정 시간동안 센싱하여 상기 광이 발광된 위치를 감지하는 센싱부; 및
    상기 광을 발광하고 상기 감지된 위치의 시간상의 궤적을 산정하고, 상기 산정된 시간상의 궤적에 상응하는 기능을 수행하는 정보 처리부를 포함함을 특징으로 하는 제스처 처리장치.
  2. 제1 항에 있어서, 상기 정보 처리부는,
    상기 광을 발광하는 발광부;
    상기 감지된 위치의 시간상의 궤적을 산정하는 궤적 산정부; 및
    상기 산정된 시간상의 궤적에 상응하는 기능을 수행하는 기능 수행부를 포함함을 특징으로 하는 제스처 처리장치.
  3. 제2 항에 있어서, 상기 정보 처리부는,
    소정의 시간상의 궤적을 어드레스로 하여 소정의 기능 정보를 저장하는 기능 저장부; 및
    상기 산정된 시간상의 궤적을 어드레스로 갖는 상기 저장된 기능 정보를 독출하는 기능 매핑부를 더 포함하며,
    상기 기능 수행부는 상기 독출된 기능 정보에 나타난 기능을 수행하는 것을 특징으로 하는 제스처 처리장치.
  4. 제1 항에 있어서, 상기 산정된 시간상의 궤적은 제스처(gesture)인 것을 특징으로 하는 제스처 처리장치.
  5. 제2 항에 있어서, 상기 센싱부는 자신과 상기 발광부간의 상대적인 위치를 감지하는 것을 특징으로 하는 제스처 처리장치.
  6. 제1 항에 있어서, 상기 센싱부는 상기 위치를 감지하는 복수의 센싱소자로 이루어지며, 상기 센싱소자는 서로 이격된 것을 특징으로 하는 제스처 처리장치.
  7. 제2 항에 있어서, 상기 센싱부는 상기 감지된 위치에 관한 정보를 상기 궤적 산정부에 전달하며 상기 궤적 산정부의 동작을 지시하는 것을 특징으로 하는 제스처 인식장치.
  8. 제2 항에 있어서, 상기 발광부와 상기 기능 수행부는 일체화되는 것을 특징 으로 하는 제스처 인식장치.
  9. 제2 항에 있어서, 상기 발광부와 상기 기능 수행부는 네트워크로 연결되어 있는 것을 특징으로 하는 제스처 인식장치.
  10. 제2 항에 있어서, 상기 센싱부, 상기 발광부, 상기 궤적 산정부 및 상기 기능 수행부 중 적어도 하나는 신체에 부착되며, 상기 신체의 움직임에 의해 위치가 가변되는 것을 특징으로 하는 제스처 인식장치.
  11. 제10 항에 있어서, 상기 센싱부는 상기 신체내에서 상대적인 움직임이 적은 부위에 부착되는 것을 특징으로 하는 제스처 인식장치.
  12. 제11 항에 있어서, 상기 센싱부는 상기 신체에 착용된 헤드폰, 이어폰, 목걸이 또는 귀걸이에 부착됨을 특징으로 하는 제스처 인식장치.
  13. 제10 항에 있어서, 상기 발광부, 상기 궤적 산정부 및 상기 기능 수행부 중 적어도 하나는 상기 신체내에서 상대적인 움직임이 큰 부위에 부착되는 것을 특징으로 하는 제스처 인식장치.
  14. 제2 항에 있어서, 상기 기능 수행부는 영상 재생기능 및 음성 재생기능 중 적어도 하나를 포함함을 특징으로 하는 제스처 인식장치.
  15. 제1 항에 있어서, 상기 센싱부는 상기 위치를 연속적으로 감지하는 것을 특징으로 하는 제스처 인식장치.
  16. 제1 항에 있어서, 상기 광은 적외선 또는 초음파인 것을 특징으로 하는 제스처 인식장치.
  17. 광을 소정 시간동안 센싱하여 상기 광이 발광된 위치를 감지하는 단계; 및
    상기 광을 발광하고 상기 감지된 위치의 시간상의 궤적을 산정하고, 상기 산정된 시간상의 궤적에 상응하는 기능을 수행하는 단계를 포함함을 특징으로 하는 제스처 처리방법.
  18. 제17 항에 있어서, 상기 기능을 수행하는 단계는,
    상기 광을 발광하는 단계;
    상기 감지된 위치의 시간상의 궤적을 산정하는 단계; 및
    상기 산정된 시간상의 궤적에 상응하는 기능을 수행하는 단계를 포함함을 특징으로 하는 제스처 처리방법.
  19. 제17 항에 있어서, 상기 기능을 수행하는 단계는,
    상기 광을 발광하는 단계;
    상기 감지된 위치의 시간상의 궤적을 산정하는 단계;
    소정의 시간상의 궤적을 어드레스로 하여 사전에 저장된 기능 정보 중 상기 산정된 시간상의 궤적을 어드레스로 갖는 상기 저장된 기능 정보를 독출하는 단계; 및
    상기 독출된 기능 정보에 나타난 기능을 수행하는 단계를 포함함을 특징으로 하는 제스처 인식방법.
  20. 광을 소정 시간동안 센싱하여 상기 광이 발광된 위치를 감지하는 단계; 및
    상기 광을 발광하고 상기 감지된 위치의 시간상의 궤적을 산정하고, 상기 산정된 시간상의 궤적에 상응하는 기능을 수행하는 단계를 포함함을 특징으로 하는 제스처 처리방법을 수행하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체.
KR1020050012426A 2005-02-15 2005-02-15 제스처 인식장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체 Expired - Fee Related KR100723402B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050012426A KR100723402B1 (ko) 2005-02-15 2005-02-15 제스처 인식장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체
US11/294,556 US20060192078A1 (en) 2005-02-15 2005-12-06 Apparatus and method for recognizing gestures and computer readable recording medium having embodied thereon computer program for executing the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050012426A KR100723402B1 (ko) 2005-02-15 2005-02-15 제스처 인식장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체

Publications (2)

Publication Number Publication Date
KR20060091512A KR20060091512A (ko) 2006-08-21
KR100723402B1 true KR100723402B1 (ko) 2007-05-30

Family

ID=36931206

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050012426A Expired - Fee Related KR100723402B1 (ko) 2005-02-15 2005-02-15 제스처 인식장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체

Country Status (2)

Country Link
US (1) US20060192078A1 (ko)
KR (1) KR100723402B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8302033B2 (en) * 2007-06-22 2012-10-30 Apple Inc. Touch screen device, method, and graphical user interface for providing maps, directions, and location-based information
US8327272B2 (en) 2008-01-06 2012-12-04 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
US8862576B2 (en) 2010-01-06 2014-10-14 Apple Inc. Device, method, and graphical user interface for mapping directions between search results
WO2012123033A1 (de) * 2011-03-17 2012-09-20 Ssi Schaefer Noell Gmbh Lager Und Systemtechnik Steuerung und überwachung einer lager- und kommissionieranlage durch bewegung und sprache
WO2013147501A1 (ko) * 2012-03-26 2013-10-03 실리콤텍(주) 모션 제스처 센싱 모듈 및 모션 제스처 센싱 방법
US9405366B2 (en) * 2013-10-02 2016-08-02 David Lee SEGAL Systems and methods for using imagined directions to define an action, function or execution for non-tactile devices
EP4154096A1 (en) 2020-05-18 2023-03-29 Apple Inc. User interfaces for viewing and refining the current location of an electronic device
US12261649B1 (en) * 2020-09-25 2025-03-25 Apple Inc. Localization for rendering digital content
US12320896B1 (en) 2020-09-25 2025-06-03 Apple Inc. Transmitter and receiver localization

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100269680B1 (ko) * 1995-08-31 2000-10-16 미다라이 후지오 좌표 입력 장치 및 방법
KR20010009588A (ko) * 1999-07-12 2001-02-05 정선종 수화 인식에서의 스테레오 정합기법을 적용한 초기 손영역 설정방법 및 장치
KR20010062767A (ko) * 1999-12-28 2001-07-07 이데이 노부유끼 정보 처리 장치, 정보 처리 방법 및 저장 매체
KR20010093094A (ko) * 1998-11-20 2001-10-27 제임스 에이. 아만 다중 물체 추적 시스템
KR20030009577A (ko) * 2001-06-27 2003-02-05 (주)이에스비컨 자이로스코프를 이용한 3차원 공간상의 입력 장치
KR20030037692A (ko) * 2001-11-05 2003-05-16 한국과학기술원 손 지시 인식을 이용한 원격제어 시스템 및 방법
KR20030082168A (ko) * 2002-04-17 2003-10-22 신동률 무선통신에 의한 자동용접캐리지
KR20040027561A (ko) * 2004-02-12 2004-04-01 학교법인 한국정보통신학원 카메라 기반의 지시 장치를 갖는 텔레비전 시스템, 및 그동작 방법
KR20040032159A (ko) * 2002-10-01 2004-04-17 조창호 광전기적 방법에 의한 골프공의 속도벡터 측정과 골프시뮬레이터 변수 결정
KR20040083659A (ko) * 2003-03-24 2004-10-06 삼성전자주식회사 휴대용 단말기의 벨소리 제어 장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6184863B1 (en) * 1998-10-13 2001-02-06 The George Washington University Direct pointing apparatus and method therefor
US6738044B2 (en) * 2000-08-07 2004-05-18 The Regents Of The University Of California Wireless, relative-motion computer input device
US6540607B2 (en) * 2001-04-26 2003-04-01 Midway Games West Video game position and orientation detection system
JP4028708B2 (ja) * 2001-10-19 2007-12-26 株式会社コナミデジタルエンタテインメント ゲーム装置及びゲームシステム
US7394346B2 (en) * 2002-01-15 2008-07-01 International Business Machines Corporation Free-space gesture recognition for transaction security and command processing
JP4119187B2 (ja) * 2002-07-17 2008-07-16 国立大学法人金沢大学 入力装置

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100269680B1 (ko) * 1995-08-31 2000-10-16 미다라이 후지오 좌표 입력 장치 및 방법
KR20010093094A (ko) * 1998-11-20 2001-10-27 제임스 에이. 아만 다중 물체 추적 시스템
KR20010009588A (ko) * 1999-07-12 2001-02-05 정선종 수화 인식에서의 스테레오 정합기법을 적용한 초기 손영역 설정방법 및 장치
KR20010062767A (ko) * 1999-12-28 2001-07-07 이데이 노부유끼 정보 처리 장치, 정보 처리 방법 및 저장 매체
KR20030009577A (ko) * 2001-06-27 2003-02-05 (주)이에스비컨 자이로스코프를 이용한 3차원 공간상의 입력 장치
KR20030037692A (ko) * 2001-11-05 2003-05-16 한국과학기술원 손 지시 인식을 이용한 원격제어 시스템 및 방법
KR20030082168A (ko) * 2002-04-17 2003-10-22 신동률 무선통신에 의한 자동용접캐리지
KR20040032159A (ko) * 2002-10-01 2004-04-17 조창호 광전기적 방법에 의한 골프공의 속도벡터 측정과 골프시뮬레이터 변수 결정
KR20040083659A (ko) * 2003-03-24 2004-10-06 삼성전자주식회사 휴대용 단말기의 벨소리 제어 장치 및 방법
KR20040027561A (ko) * 2004-02-12 2004-04-01 학교법인 한국정보통신학원 카메라 기반의 지시 장치를 갖는 텔레비전 시스템, 및 그동작 방법

Also Published As

Publication number Publication date
KR20060091512A (ko) 2006-08-21
US20060192078A1 (en) 2006-08-31

Similar Documents

Publication Publication Date Title
US11782515B2 (en) Wearable device enabling multi-finger gestures
CN107003750B (zh) 多表面控制器
KR101204535B1 (ko) 장치들 및 주변장치들에 감지 정보를 제공하기 위한 방법들 및 시스템들
CN105373222B (zh) 电子设备及其控制方法
US11375058B2 (en) Methods and systems for providing status indicators with an electronic device
CN101668056A (zh) 移动终端
KR20150059517A (ko) 이동 단말기 및 그것의 제어방법
KR20120031806A (ko) 휴대 단말기 및 그 동작 방법
KR102384284B1 (ko) 터치스크린을 이용한 볼륨 제어 방법 및 장치
KR100723402B1 (ko) 제스처 인식장치와 방법 및 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 기록매체
CN108227726A (zh) 无人机飞行控制方法、装置、终端及存储介质
KR20170126294A (ko) 이동 단말기 및 그 제어방법
US20250068297A1 (en) Gesture-Engaged Virtual Menu for Controlling Actions on an Artificial Reality Device
US20180322335A1 (en) Methods and Apparatus for Sharing of Music or Other Information
US20180220220A1 (en) Earset and control method therefor
JP7243639B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20260111094A1 (en) Displaying an environment from a selected point-of-view
CN104090743B (zh) 用于移动终端的音乐定位方法、装置及移动终端
CN117111727A (zh) 手方向的检测方法、电子设备及可读介质
EP3561642A1 (en) Information processing device and method for control thereof
KR102045076B1 (ko) 반지형 무선 컨트롤 장치 및 이를 이용한 무선 컨트롤 방법
Pederson et al. A situative space model for mobile mixed-reality computing
CN111491212A (zh) 视频处理方法及电子设备
US20140018127A1 (en) Method and appendage for retrofitting a mobile phone to use same for navigating a computer environment
CN113050812B (zh) 一种控制方法、电子笔及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

G170 Re-publication after modification of scope of protection [patent]
PG1701 Publication of correction

St.27 status event code: A-5-5-P10-P19-oth-PG1701

Patent document republication publication date: 20080424

Republication note text: Request for Correction Notice (Document Request)

Gazette number: 1007234020000

Gazette reference publication date: 20070530

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20100524

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20100524

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000