TW201324258A - 輸入體之動作檢測方法及使用其之輸入裝置 - Google Patents

輸入體之動作檢測方法及使用其之輸入裝置 Download PDF

Info

Publication number
TW201324258A
TW201324258A TW101130801A TW101130801A TW201324258A TW 201324258 A TW201324258 A TW 201324258A TW 101130801 A TW101130801 A TW 101130801A TW 101130801 A TW101130801 A TW 101130801A TW 201324258 A TW201324258 A TW 201324258A
Authority
TW
Taiwan
Prior art keywords
hand
end portion
coordinate
coordinates
fingertip
Prior art date
Application number
TW101130801A
Other languages
English (en)
Inventor
Noriyuki Juni
Original Assignee
Nitto Denko Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nitto Denko Corp filed Critical Nitto Denko Corp
Publication of TW201324258A publication Critical patent/TW201324258A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)

Abstract

本發明的輸入裝置具有：光源；光學攝影機構(攝影機)，係相對於手前端部配置於與光源同側者；控制機構；形狀辨識機構，係自上述攝影機得到之二維圖像算出拳的形狀的分布重心座標與手指尖端的座標者；以及動作判定機構，係比較上述拳的重心座標與指尖座標之間的距離者，其中，當上述拳的重心座標與指尖座標之間的距離在量測前後縮小或擴大時，將當時的手前端部的動作判斷為手指對上述攝影機之虛擬攝影平面的上下動作(Z方向的動作)。藉此，本發明提供一種輸入體之動作檢測方法與一種使用該動作檢測方法之輸入裝置，該動作檢測方法可以自使用一台光學攝影機構之圖像解析來檢測人的手前端部的三維動作。

Description

輸入體之動作檢測方法及使用其之輸入裝置 發明領域
本發明係關於一種用於在輸入裝置中輸入座標的手前端部之動作檢測方法及使用其之輸入裝置。
發明背景
目前已有開發出一種將人的手前端部或手指等當作操作用的輸入體來使用的輸入裝置，作為可與所顯示之二維映像或三維映像互動之裝置的使用者介面。該輸入裝置包含有一種具有複數台攝影機等光學攝影機構的三維位置量測系統，根據既定攝影位置或攝影角度之各攝影機所得之圖像(二維圖像)，藉由運算求出當作對象之物體(輸入體)的三維位置或三軸(XYZ軸)座標等，並將該座標值輸出於顯示裝置等的控制機構(電腦等)(例如，參考專利文獻1、2)。
例如圖8所示之可檢測相互垂直之三軸(XYZ軸)方向的輸入體(手前端部H)的座標的輸入裝置，其具有作為攝影輸入體之光學攝影機構之兩攝影機C1、C2，該攝影機C1自下方(Z軸方向)攝影上述輸入體，該攝影機C2自與該攝影機C1的攝影方向垂直之方向(圖中的左方：X軸方向)攝影該輸入體。接著，取得光源(省略圖示)所投射之光於輸入體(手前端部H)之反射光(像)，作為對應上述下方的攝影機C1的二維圖像(虛擬攝影平面P1、XY方向)、及對應上述左方 的攝影機C2的二維圖像(虛擬攝影平面P2、YZ方向)，藉由使用電腦等運算而根據所取得之各圖像來辨識擷取手前端部H的指尖等的形狀，然後使用各圖像共通的參數(在本例為Y軸方向的座標值)來合成資料，藉此便可檢測、輸出上述手前端部H的三軸(XYZ軸)方向的座標。又，藉由重複上述圖像取得-形狀辨識-座標合成的各步驟，便可檢測、輸出上述手前端部H的三維動作(座標以及軌跡)。
先行技術文獻 專利文獻
專利文獻1：日本專利特開平9-53914號公報
專利文獻2：日本專利特開平11-23262號公報
發明概要
但是，如上述之習知輸入裝置所使用之三維位置測量系統必須要有複數台攝影機，設備龐大且昂貴之情形很多。而且，根據周圍的環境或裝置的結構，各攝影機不一定都可配置於最適合攝影之位置，也會有配置於操作者感覺不便之位置的情形。再加上，當該攝影機進入操作者可辨識之視野內時，恐有造成不熟習操作之人的手的動作不自然或不流暢之虞。
本發明係有鑑於上述事情而作成者，其目的在於提供一種可自使用1台光學攝影機構之圖像解析來檢測人的手前端部的三維動作的輸入體之動作檢測方法、及使用該動作檢測方法的指示操作用輸入裝置。
爲達成上述目的，本發明係以一種輸入體之動作檢測方法作為第1要旨，該方法係藉由一台光學攝影機構來檢測用於在輸入裝置中輸入座標的手前端部的三維動作之方法，包含以下步驟：從配置於包含拳之手前端部的上方或下方之光源，向該手前端部投射光；將光學攝影機構相對於上述手前端部配置於與光源同側，取得該手前端部對上述光的反射作為虛擬攝影平面上的二維圖像；對上述二維圖像分配相互垂直之二軸坐標，從該圖像之中辨識並擷取拳的形狀與自該拳突出之手指的尖端位置之後，藉由運算來算出拳的面積的分布重心座標與指尖的座標；以及重複上述投射光之步驟與取得二維圖像之步驟以及算出拳的重心座標與指尖座標之步驟，比較該重複前後當中的上述拳的重心座標與指尖座標之間的距離，當上述重複前後當中的上述拳的重心座標與指尖座標之間的距離未變化時，判定包含上述拳之手前端部於上述虛擬攝影平面方向平滑移動，當上述重複前後當中的上述拳的重心座標與指尖座標之間的距離有變化時，判定該指尖以上述手前端部的手腕或手肘為支點於上下方向旋動。
又，為達成相同目的，本發明係以一種輸入裝置作為第2要旨，其具有：光源，係配置於作為裝置的輸入體使用的包含拳之手前端部的上方或下方者；光學攝影機構，係相對於上述手前端部配置於與上述光源同側者；控制機構，係控制該等光源與光學攝影機構者；形狀辨識機構， 係取得自上述光源向手前端部所投射之光的反射作為二維圖像，而自該二維圖像算出相當於拳的形狀的分布重心之座標與相當於自該拳突出之手指的尖端位置之座標者；以及動作判定機構，係在預定的時間間隔前後，比較上述拳的重心座標與上述指尖座標之間的距離，當該距離在上述時間間隔的前後縮小或擴大時，將當時的手前端部的動作判斷為手指對上述光學攝影機構之虛擬攝影平面的上下動作者。
也就是說，本發明人為解決前述課題而鑽研，且詳細驗證了以一台攝影機攝影時的手前端部動作(圖像)。接著，也發現了手前端部之中，指尖部分的動作與拳(掌)部分的動作有所不同，並著眼於此做進一步的研究。結果發現，以即使傾斜手前端部時相對移動較少之拳的重心座標(是圖像上的圓點分布的重心點，且是接近手腕的旋動支點之約略固定點)為基準，追蹤在傾斜手前端部時大幅移動之指尖的座標的動作，便可檢測相對於上述攝影機的攝影面含有垂直方向成分之指尖的動作(也就是「上下動作」)，進而達成本發明。
本發明係根據以上實際觀察所得到之知識而完成者，本發明的輸入體之動作檢測方法具有下列步驟：向包含拳之手前端部投射光；以一台光學攝影機構取得該手前端部對上述光的反射作為二維圖像；從該圖像之中辨識拳的面積的分布重心座標與指尖的座標；以及重複上述各 步驟，比較該重複前後當中的上述拳的重心座標與指尖座標之間的距離，並從該比較結果判定上述指尖以及拳的動作。藉此，本發明的輸入體之動作檢測方法，在上述重複前後上述拳的重心座標與指尖座標之間的距離不變時，判定包含上述拳之手前端部全體於上述光學攝影機構的攝影平面(虛擬平面)方向平滑移動，當上述拳的重心座標與指尖座標之間的距離有變化時，判定該指尖以上述手前端部的手腕或手肘為支點，對上述攝影平面於上下方向旋動。因此，本發明的輸入體之動作檢測方法僅使用一台的光學攝影機構便可自其圖像解析來檢測人的手前端部的三維動作。
又，本發明的輸入裝置具有：光源；光學攝影機構，係配置於與上述光源同側者；控制機構；形狀辨識機構，係從上述光學攝影機構所取得之二維圖像來算出拳的形狀的分布重心之座標與手指的尖端之座標者；以及動作判定機構，係在預定的時間間隔前後，比較上述拳的重心座標與上述指尖座標之間的距離者。因此，當上述拳的重心座標與上述指尖座標之間的距離在上述時間間隔的前後縮小或擴大時，可將當時的手前端部的動作判斷為手指對上述光學攝影機構之虛擬攝影平面的上下動作(相對於光學的攝影機構之垂直方向動作)。藉此，本發明的輸入裝置，僅裝備使用一台光學攝影機構，便可自其圖像解析來檢測人的手前端部的三維動作。
又，本發明的輸入裝置，係如上述，因為僅一台 光學攝影機構即可，因此可以用簡單的設備且較低的成本來構成檢測三維動作之輸入裝置。而且，因為上述光學攝影機構(攝影機等)的配置的自由度有所提升，該攝影機等可配設(隱藏)在操作者不會意識到其存在的位置。因此，本發明的輸入裝置可作成一種即使是操作初學者也可憑直覺輕易輸入，對使用者友善的裝置。
圖式簡單說明
圖1(a)~(c)係說明本發明的實施形態的輸入裝置中的手前端部的座標的檢測方法的圖。
圖2係顯示本發明的輸入裝置中的手前端部動作的第一模式的圖。
圖3(a)、(b)係說明本發明的實施形態的輸入裝置中的手前端部的動作(XY方向)的檢測方法的圖。
圖4係顯示本發明的輸入裝置中的手前端部動作的第二模式的圖。
圖5(a)、(b)係說明本發明的實施形態的輸入裝置中的手前端部的動作(Z方向)的檢測方法的另一圖。
圖6係顯示本發明輸入裝置中的攝影機單元的另一配置例的圖。
圖7係顯示本發明輸入裝置中的攝影機單元的又一配置例的圖。
圖8係說明習知輸入裝置中的三維位置量測系統的圖。
用以實施發明之形態
以下根據圖式詳細說明本發明的實施形態，但本發明並不限定於該實施形態。
圖1(a)係說明本發明的實施形態的輸入裝置中的手前端部H的座標的檢測方法的圖，圖1(b)係以上述輸入裝置的光學攝影機構(攝影機C)攝影之二維(虛擬攝影平面P)的圖像H’的示意圖，圖1(c)係將上述手前端部H的二維圖像H’二元化後的圖像H”的示意圖。此外，包含圖1，在下述各圖中，省略電腦的圖示，該電腦具有控制攝影機C與光源L之控制機構或形狀辨識機構、動作判定機構等的功能，且與上述攝影機C連接。
在本實施形態中之輸入裝置，係用一台光學攝影機構(攝影機C)來檢測作為裝置的輸入體使用之包含拳之手前端部H的三維動作，且如圖1(a)所示，於上述手前端部H的下方(約呈鉛直下方)配置有由攝影機C與複數的光源L所構成之攝影機單元，該攝影機C具有圖像感應器，該等光源L配置於該攝影機C的周圍。
接著，該輸入裝置如圖1(b)所示，藉由形狀辨識機構(省略圖示)取得自上述各光源L向手前端部H所投射之光的反射(像)作為具有XY方向的座標軸之虛擬攝影平面P上的二維圖像H’後，如圖1(c)所示，在將該取得之二維圖像H’根據閾值進行二元化的情況下，從其二元化圖像H”之中辨識上述手前端部H的拳的形狀(圖中的實線斜線部分)，計算並特定出相當於該拳的面積分布的重心之座標(重心 座標G)之同時，也從上述二元化圖像H”之中辨識從拳突出之手指(圖中的虛線斜線部分)，計算並特定出相當於其尖端位置之座標(指尖座標T)。
而且，上述輸入裝置在重複進行自上述光源L投射光、藉由攝影機C取得二維圖像H’、根據該二維圖像算出拳的重心座標G以及指尖座標T等步驟的同時，還會藉由動作判定機構(省略圖示)，當拳的重心座標G與指尖座標T之間的距離在上述重複前後有變化時(參照圖4以及圖5(a))，將當時的手前端部H的動作判斷為手指對上述攝影機C的虛擬攝影平面P的上下動作(Z方向的動作)。以上為本發明的輸入裝置的特徵。
若要更詳盡地說明上述輸入裝置以及其輸入體(手前端部H)的動作檢測所使用之檢測方法，配置於上述手前端部H的下方之攝影機單元，如圖1(a)所示，係由攝影機C與配置於該攝影機C周圍之複數光源L(在本例為3個)所構成。可使用CMOS或CCD等的圖像感應器作為上述攝影機C。此外，作為在本發明的輸入裝置使用之光學攝影機構，除了使用上述CMOS圖像感應器或CCD圖像感應器之攝影機C之外，也可以為使用光二極體(photodiode)、光電晶體(phototransistor)、光積體電路(photo IC)、光反射體(photoreflector)等的光電轉換元件之各種光學感應器，具體而言，可使用一維或二維PSD(Position Sensitive Detector)或焦電型紅外線感應器或硫化鎘(化學式：CdS)感應器等。
又，例如紅外線LED等的發光體或燈具等可作為 上述光源L使用。此外，為不妨害進行輸入之操作者的視野，最好使用發出可見光以外的領域的光之發光體作為上述光源L。而且，上述攝影機單元可配置於輸入體(手前端部H)的下方且對於手前端部H傾斜(參照圖6)，復可配置於上述手前端部H的上方(參照圖7)。
進入上述輸入裝置的檢測領域內之手前端部H的動作檢測方法，將順其過程(步驟)依序說明。
檢測上述手前端部H的動作之際，首先，如圖1(a)所示，自配置於包含拳之手前端部H的下方(或上方)之各光源L，向該手前端部H投射光。此外，該光投射也可為斷續發光[投光步驟]。接著，在已投射光之狀態下，藉由相對於上述手前端部H配設於與光源L同側(在本例為下方)之攝影機C攝影該手前端部H，取得其手前端部H所造成之上述光的反射(反射光或反射像)，如圖1(b)所示，作為具有相互垂直之XY方向的座標軸之二維圖像H’(對應虛擬攝影平面之圖像)[攝影步驟]。
接著，將所得到之上述二維圖像H’根據閾值進行二元化之後，如圖1(c)所示，從該二元化圖像H”之中，辨識上述手前端部H的拳的形狀(圖中的實線斜線部分)，藉由演算算出相當於該拳的面積的分布重心之座標(重心座標G)。同樣地，從上述二元化圖像H”之中，辨識自拳突出之手指(圖中的虛線斜線部分)，藉由演算算出相當於該尖端位置之座標(指尖座標T)。接著，將該等拳的重心座標G以及指尖座標T記憶於控制機構(電腦)等的記憶機構[座標特定 步驟]。
然後，依據已決定之時間間隔，將上述投射光之步驟[投光步驟]與取得二維圖像之步驟[攝影步驟]與算出拳的重心座標G以及指尖座標T之步驟[座標特定步驟]重複操作，在該重複操作後重新測量拳的重心座標G以及指尖座標T[測量步驟]。
接著，使用上述重複操作前後的拳的重心座標G(Xm,Yn)與指尖座標T(Xp,Yq)的值，算出上述拳的重心座標G與指尖座標T之間的距離變化，並根據其結果，判定上述手前端部H的動作是否為下述兩種模式，亦即，手前端部H往水平滑動之第1模式(參照圖2)或是手前端部H上下振動之第2模式(參照圖4)，然後將上述指尖座標T的移動方向(XYZ方向)與其移動量，經由控制機構等輸出至顯示裝置等的外部[判定步驟]。
作為判定上述手前端部H的動作之第1模式，首先說明如圖2所示之手前端部(輸入體)往水平方向平滑移動(H0→H1)的情形。如上述之手前端部H0滑動至H1的情形，先前所述之拳的重心座標G與指尖座標T，係如圖3(a)的二元化圖像般地移動。亦即，拳的重心座標G自圖中點虛線所示之移動前的最初位置(座標G0)移動至實線所示之移動後的位置(座標G1)，上述指尖座標T與上述拳的重心座標G平行，從移動前的最初的位置(座標T0)移動至實線所示之移動後的位置(座標T1)。此時，藉由重複上述[測量步驟]，算出移動前的手前端部H0的拳的重心座標G0與指尖座標T0之間 的距離d0，與移動後的手前端部H1的拳的重心座標G1與指尖座標T1之間的距離d1。接著，藉由上述[判定步驟]，比較上述移動前的座標G0-座標T0間的距離d0與移動後的座標G1-座標T1間的距離d1，若該兩距離間無差異(無變化)，則該輸入裝置的動作判定機構判定手前端部H如圖2所示於水平方向移動，並將移動後的指尖座標T1的XY座標值或指尖座標T的移動方向與距離(座標T0-座標T1之間)作為輸入體的資料輸出至外部。
此外，於判定上述手前端部H的動作之際，如圖3(b)所示，也可以在具有XY方向的座標軸之虛擬攝影平面P上預先設定一辨識領域，該辨識領域係將上述指尖座標T的動作(T0→T1)朝每區域之4個方向[X(+)、X(-)、Y(+)、Y(-)]分配。如此構成的話，在上述[判定步驟]之手前端部H的動作判定的同時，可以使上述輸入裝置如電腦等中的滑鼠裝置或按鍵裝置等，發揮出作為指向裝置，即，對應上述手前端部H的動作，藉由該指尖座標T的移動來簡單輸出4方向(XY各自的+-方向)訊號的裝置之功能。此外，上述辨識領域中的區域的設定角度α或形狀、配置等，可因應輸出上述訊號之機器或應用程式等來設定。
接著，在上述[判定步驟]中作為判定手前端部H的動作之第2模式，如圖4所示，手前端部(輸入體)上下動作(H0→H2)的情形，上述拳的重心座標G與指尖座標T係如圖5(a)的二元化圖像般地移動。亦即，如上述之情形，上述手前端部H的動作係以手腕或肘等為支點之旋動運動，因此拳 的重心座標G幾乎沒有從圖中點虛線所示之移動前的最初位置(座標G0)移動，而留在附近實線所示之位置(座標G2)。另一方面，即使係如上述之以手腕或肘等為支點之旋動運動，指尖座標T仍會從移動前的最初位置(座標T0)移動至較為遠離的實線所示之移動後的位置(座標T2)，以接近拳的重心座標G位置之方式移動。此時，與先前所述之平滑移動之模式相同，藉由重複上述[測量步驟]，算出移動前手前端部H0的拳的重心座標G0與指尖座標T0之間的距離d0，與移動後手前端部H2的拳的重心座標G2與指尖座標T2之間的距離d2，藉由上述[判定步驟]試比較上述移動前的距離d0與移動後的距離d2後，可得知移動後的距離d2變短了(d2<d0)。藉此，上述輸入裝置以及其動作判定機構會判斷上述手前端部H如圖4所示地於上下方向(Z方向)搖動，並將其訊號作為輸入體的資料輸出至外部。
若要更詳細說明上述手前端部H向Z軸方向的上下動作，亦即，二元化圖像中上述指尖座標T向重心座標G接近之動作檢測方法(圖像處理流程)，首先，如先前所述，自配置於包含拳之手前端部H的下方之各光源L(紅外線LED)投射紅外線，以同樣配置於手前端部H的下方之攝影機C攝影手前端部H的反射(二維圖像)，對該二維圖像分配XY方向之座標軸。接著，藉由形狀辨識機構(程式)，設定用來二元化的亮度(輝度)的最適閾值，對上述二維圖像實施二元化處理，並藉由細線化處理，如圖5(a)所示般地將手前端部H的外形形狀鮮明化。
接著，使用上述鮮明化之二元化圖像，藉由形狀辨識機構(程式)辨識手指的部位，算出相當於其尖端部分之座標[指尖座標T(Xp,Yq)]。接著，藉由同樣的程式，辨識上述手前端部H的拳的形狀(參照圖1(c)的實線斜線部分)，算出相當於該拳的面積分布的重心之座標[重心座標G(Xm,Yn)]。
在該算出之際，運算重心座標G的X軸方向的座標時，使用下式(1)。
重心座標G的Xm=存在於拳的形狀內之畫素的X座標值的總值/存在於拳的形狀內之畫素數………(1)
又，運算重心座標G的Y軸方向的座標時，使用下式(2)。
重心座標G的Yn=存在於拳的形狀內之畫素的Y座標值的總值/存在於拳的形狀內之畫素數………(2)
接著，在已特定出指尖座標T(Xp,Yq)以及拳的重心座標G(Xm,Yn)的情況下，如先前所述，將上述投射光之步驟[投光步驟]、二維圖像取得步驟[攝影步驟]、算出拳的重心座標G以及指尖座標T之步驟[座標特定步驟]重複操作，如圖5(a)所示，比較移動前的手前端部H0的拳的重心座標G0與指尖座標T0之間的距離d0、與移動後的手前端部H2的拳的重心座標G2與指尖座標T2之間的距離d2。
再詳細說明關於該等拳的重心座標G與指尖座標T之間的距離d的比較方法。圖5(b)係原理性說明上述拳的重心座標G與指尖座標T之間的距離d的比較方法之圖。
比較上述拳的重心座標G與指尖座標T之間的距離d，且判斷手前端部H上下動作時，在本例，除了對該距離d的差設置閾值(下限)以外，又加設了一個條件。該條件如圖5(b)所示，係指移動前手前端部H0的拳的重心座標G0與指尖座標T0連結成的線段A、與移動後手前端部H2的拳的重心座標G2與指尖座標T2連結成的線段B之間的角度θ(在圖式上表示成基準線與線段A所成角度θ 1和同基準線與線段B所成之角度θ 2之間的差(θ 1-θ 2)的絕對值)在預設的閾值以下之意。該條件係設來使得手指的彎曲等的動作不至於誤判定為上述手前端部H的上下動作，如此，藉由對上述動作判定機構或動作判定程式設定判斷基準，即，上述「距離d的差」在設定值以上且「角度θ 1與角度θ 2的差」在設定值以上，便可防止上述手前端部H的上下動作的誤判定。此外，當手前端部H的動作未同時滿足上述兩個條件時，其手前端部的動作會被判斷為如先前所述之手前端部H的平滑移動(前述第1模式)。
如上述，本發明的輸入體之動作檢測方法，在上述拳的重心座標G與上述指尖座標T之間的距離於量測前後縮小或擴大時，可將當時的手前端部H的動作判斷為手指對上述光學攝影機構(攝影機C)的虛擬攝影平面P的上下動作。
又，使用上述輸入體之動作檢測方法之本發明的輸入裝置，係僅使用1台配置於上述手前端部H之下方或上方之攝影機C，而可從其圖像解析來檢測出人的手前端部H 向Z軸方向的動作也就是三維動作。
而且，上述輸入裝置，因為可檢測向Z軸方向的動作，故可將例如向手前端部H的水平方向(XY方向)的動作分配成顯示裝置等的游標移動操作，且將向上述Z軸方向的動作分配成決定(按鍵)操作。
又，作為其他操作方法，可將X軸(左右)方向以及Z軸(上下)方向的手前端部H的動作分配成顯示裝置上的對象物的移動操作，將Y軸(前後)方向的動作分配成上述對象物的擴大、縮小操作。如此，本發明的輸入裝置，即使對於三維(3D)映像等，也可進行與本來的三維(XYZ的三軸)資訊相應的操作。又，逼近與現實的三維空間相同的操作環境，也有可以較直觀地操作的優點。
此外，如先前所述，本發明的輸入體的動作檢測方法，不管是將上述攝影攝影機單元傾斜配置於輸入體(手前端部H)的下方(圖6)，或配置於上述手前端部H的上方(圖7)，都同樣可以檢測人的手前端部H的三維動作。亦即，如圖6所示，傾斜配置於手前端部H的下方時，該光學攝影機構(攝影機C)與配置於上述手前端部H的正下方時同樣地可以辨識、判定手前端部H對虛擬攝影平面P’的上下動作(Z方向的動作)。
又，如圖7所示，即使配置於手前端部H的上方時，光學攝影機構(攝影機C)同樣可辨識、判定手前端部H對虛擬攝影平面P”的上下動作(Z方向的動作)。因此，只要上述攝影機單元位於手前端部H不會被手腕或其他攝影障 礙物遮擋的位置，就能以任何方式配設。但是，本發明的光學攝影機構係用來攝影、辨識上述手前端部H的反射光者，因此構成攝影機單元之攝影機C與光源L係相對於輸入體(手前端部H)配置於上方或下方的同側。
雖然在上述實施例中，已揭示本發明之具體形態，但上述實施例只不過是單純的例示，並非用於限定之解釋。對所屬技術領域中具有通常知識者而言很明顯之種種變形，亦為本發明之範圍內。
產業上的利用可能性
本發明的輸入體之動作檢測方法及使用其之輸入裝置，並非使用複數台攝影機，僅使用1台攝影機便可檢測人的手前端部的三維動作。藉此，即使對於三維(3D)映像等，亦可與現實的三維空間同樣地進行較為直觀的操作。
H‧‧‧手前端部
H’‧‧‧手前端部二維圖像
H”‧‧‧手前端部二元化圖像
H0‧‧‧手前端部座標
H0”‧‧‧手前端部座標
H1‧‧‧手前端部座標
H1”‧‧‧手前端部座標
H2‧‧‧手前端部座標
H2”‧‧‧手前端部座標
C‧‧‧攝影機
L‧‧‧光源
P‧‧‧虛擬攝影平面
G‧‧‧拳的重心座標
G0‧‧‧拳的重心座標
G1‧‧‧拳的重心座標
G2‧‧‧拳的重心座標
T‧‧‧指尖座標
T0‧‧‧指尖座標
T1‧‧‧指尖座標
T2‧‧‧指尖座標
d0‧‧‧T0與G0之間的距離
d1‧‧‧T1與G1之間的距離
d2‧‧‧T2與G2之間的距離
X(+)‧‧‧辨識領域
X(-)‧‧‧辨識領域
Y(+)‧‧‧辨識領域
Y(-)‧‧‧辨識領域
P’‧‧‧虛擬攝影平面
P”‧‧‧虛擬攝影平面
C1‧‧‧攝影機
C2‧‧‧攝影機
P1‧‧‧虛擬攝影平面
P2‧‧‧虛擬攝影平面
θ 1‧‧‧角度
θ 2‧‧‧角度
A‧‧‧線段
B‧‧‧線段
圖1(a)~(c)係說明本發明的實施形態的輸入裝置中的手前端部的座標的檢測方法的圖。
圖2係顯示本發明的輸入裝置中的手前端部動作的第一模式的圖。
圖3(a)、(b)係說明本發明的實施形態的輸入裝置中的手前端部的動作(XY方向)的檢測方法的圖。
圖4係顯示本發明的輸入裝置中的手前端部動作的第二模式的圖。
圖5(a)、(b)係說明本發明的實施形態的輸入裝置中的 手前端部的動作(Z方向)的檢測方法的另一圖。
圖6係顯示本發明輸入裝置中的攝影機單元的另一配置例的圖。
圖7係顯示本發明輸入裝置中的攝影機單元的又一配置例的圖。
圖8係說明習知輸入裝置中的三維位置量測系統的圖。
H‧‧‧手前端部
C‧‧‧攝影機
L‧‧‧光源
P‧‧‧虛擬攝影平面

Claims (2)

  1. 一種輸入體之動作檢測方法，係藉由一台光學攝影機構來檢測用於在輸入裝置中輸入座標的手前端部的三維動作之方法，其特徵在於包含以下步驟：從配置於包含拳之手前端部的上方或下方之光源，向該手前端部投射光；將光學攝影機構相對於上述手前端部配置於與光源同側，取得該手前端部對上述光的反射作為虛擬攝影平面上的二維圖像；對上述二維圖像分配相互垂直之二軸坐標，從該圖像之中辨識並擷取拳的形狀與自該拳突出之手指的尖端位置之後，藉由運算來算出拳的面積的分布重心座標與指尖的座標；以及重複上述投射光之步驟與取得二維圖像之步驟以及算出拳的重心座標與指尖座標之步驟，比較該重複前後當中的上述拳的重心座標與指尖座標之間的距離，當上述重複前後當中的上述拳的重心座標與指尖座標之間的距離未變化時，判定包含上述拳之手前端部於上述虛擬攝影平面方向平滑移動，當上述重複前後當中的上述拳的重心座標與指尖座標之間的距離有變化時，判定該指尖以上述手前端部的手腕或手肘為支點於上下方向旋動。
  2. 一種輸入裝置，其特徵在於具有：光源，係配置於作為裝置的輸入體使用的包含拳之手前端部的上方或下方者； 光學攝影機構，係相對於上述手前端部配置於與上述光源同側者；控制機構，係控制該等光源與光學攝影機構者；形狀辨識機構，係取得自上述光源向手前端部所投射之光的反射作為二維圖像，而自該二維圖像算出相當於拳的形狀的分布重心之座標與相當於自該拳突出之手指的尖端位置之座標者；以及動作判定機構，係在預定的時間間隔前後，比較上述拳的重心座標與上述指尖座標之間的距離，當該距離在上述時間間隔的前後縮小或擴大時，將當時的手前端部的動作判斷為手指對上述光學攝影機構之虛擬攝影平面的上下動作者。
TW101130801A 2011-09-07 2012-08-24 輸入體之動作檢測方法及使用其之輸入裝置 TW201324258A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011194938 2011-09-07

Publications (1)

Publication Number Publication Date
TW201324258A true TW201324258A (zh) 2013-06-16

Family

ID=47832004

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101130801A TW201324258A (zh) 2011-09-07 2012-08-24 輸入體之動作檢測方法及使用其之輸入裝置

Country Status (7)

Country Link
US (1) US20140225826A1 (zh)
EP (1) EP2755115A4 (zh)
JP (1) JP2013069273A (zh)
KR (1) KR20140060297A (zh)
CN (1) CN103797446A (zh)
TW (1) TW201324258A (zh)
WO (1) WO2013035554A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI507919B (zh) * 2013-08-23 2015-11-11 Univ Kun Shan 追蹤與記錄指尖軌跡的影像處理方法

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12260023B2 (en) 2012-01-17 2025-03-25 Ultrahaptics IP Two Limited Systems and methods for machine control
US11493998B2 (en) 2012-01-17 2022-11-08 Ultrahaptics IP Two Limited Systems and methods for machine control
US8638989B2 (en) 2012-01-17 2014-01-28 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US10691219B2 (en) 2012-01-17 2020-06-23 Ultrahaptics IP Two Limited Systems and methods for machine control
US9501152B2 (en) 2013-01-15 2016-11-22 Leap Motion, Inc. Free-space user interface and control using virtual constructs
US8693731B2 (en) 2012-01-17 2014-04-08 Leap Motion, Inc. Enhanced contrast for object detection and characterization by optical imaging
US9070019B2 (en) 2012-01-17 2015-06-30 Leap Motion, Inc. Systems and methods for capturing motion in three-dimensional space
US20150253428A1 (en) 2013-03-15 2015-09-10 Leap Motion, Inc. Determining positional information for an object in space
US9679215B2 (en) 2012-01-17 2017-06-13 Leap Motion, Inc. Systems and methods for machine control
TWI488092B (zh) 2012-12-07 2015-06-11 Pixart Imaging Inc 光學式觸控裝置及其操作方法
US9459697B2 (en) 2013-01-15 2016-10-04 Leap Motion, Inc. Dynamic, free-space user interactions for machine control
US9916009B2 (en) 2013-04-26 2018-03-13 Leap Motion, Inc. Non-tactile interface systems and methods
NL2011182C2 (en) * 2013-07-17 2015-01-21 Aesthetic Interactions B V Luminaire system.
US10281987B1 (en) 2013-08-09 2019-05-07 Leap Motion, Inc. Systems and methods of free-space gestural interaction
US10846942B1 (en) 2013-08-29 2020-11-24 Ultrahaptics IP Two Limited Predictive information for free space gesture control and communication
US9632572B2 (en) 2013-10-03 2017-04-25 Leap Motion, Inc. Enhanced field of view to augment three-dimensional (3D) sensory space for free-space gesture interpretation
TWI499966B (zh) * 2013-10-08 2015-09-11 Univ Nat Taiwan Science Tech 互動式操作方法
US9412012B2 (en) 2013-10-16 2016-08-09 Qualcomm Incorporated Z-axis determination in a 2D gesture system
US9304597B2 (en) 2013-10-29 2016-04-05 Intel Corporation Gesture based human computer interaction
US9996638B1 (en) 2013-10-31 2018-06-12 Leap Motion, Inc. Predictive information for free space gesture control and communication
US9679197B1 (en) 2014-03-13 2017-06-13 Leap Motion, Inc. Biometric aware object detection and tracking
US9785247B1 (en) 2014-05-14 2017-10-10 Leap Motion, Inc. Systems and methods of tracking moving hands and recognizing gestural interactions
US9741169B1 (en) 2014-05-20 2017-08-22 Leap Motion, Inc. Wearable augmented reality devices with object detection and tracking
JP2016038889A (ja) 2014-08-08 2016-03-22 リープ モーション, インコーポレーテッドLeap Motion, Inc. モーション感知を伴う拡張現実
US10310675B2 (en) * 2014-08-25 2019-06-04 Canon Kabushiki Kaisha User interface apparatus and control method
CN105843456B (zh) * 2015-01-16 2018-10-12 致伸科技股份有限公司 触控装置
US10656720B1 (en) 2015-01-16 2020-05-19 Ultrahaptics IP Two Limited Mode switching for integrated gestural interaction and multi-user collaboration in immersive virtual reality environments
CN106201116B (zh) * 2015-05-05 2021-10-22 联想(北京)有限公司 信息处理方法及电子设备
US10222869B2 (en) * 2015-08-03 2019-03-05 Intel Corporation State machine based tracking system for screen pointing control
JP6579866B2 (ja) * 2015-08-31 2019-09-25 キヤノン株式会社 情報処理装置とその制御方法、プログラム、記憶媒体
CN105832343B (zh) * 2016-05-22 2020-04-03 上海大学 多维视觉手功能康复定量评估系统和评估方法
JP7017675B2 (ja) * 2018-02-15 2022-02-09 有限会社ワタナベエレクトロニクス 非接触入力システム、方法およびプログラム
US11698457B2 (en) * 2019-09-04 2023-07-11 Pixart Imaging Inc. Object detecting system and object detecting method
CN111124116A (zh) * 2019-12-18 2020-05-08 佛山科学技术学院 一种虚拟现实中与远距离物体交互方法及系统
JP7052128B1 (ja) 2021-07-20 2022-04-11 株式会社あかつき 情報処理システム、プログラム及び情報処理方法
JP7286857B2 (ja) * 2021-07-20 2023-06-05 株式会社あかつき 情報処理システム、プログラム及び情報処理方法
JP7163526B1 (ja) 2021-07-20 2022-10-31 株式会社あかつき 情報処理システム、プログラム及び情報処理方法
JP7286856B2 (ja) * 2022-03-30 2023-06-05 株式会社あかつき 情報処理システム、プログラム及び情報処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3458543B2 (ja) * 1995-07-25 2003-10-20 株式会社日立製作所 手形状認識機能付き情報処理装置
JP2970835B2 (ja) 1995-08-14 1999-11-02 日本電気株式会社 三次元座標計測装置
JP2868449B2 (ja) * 1995-12-22 1999-03-10 株式会社エイ・ティ・アール通信システム研究所 手振り認識装置
US6144366A (en) * 1996-10-18 2000-11-07 Kabushiki Kaisha Toshiba Method and apparatus for generating information input using reflected light image of target object
JPH1123262A (ja) 1997-07-09 1999-01-29 Nekusuta:Kk 三次元位置計測システム
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
JP2004171476A (ja) * 2002-11-22 2004-06-17 Keio Gijuku ハンドパターンスイッチ装置
JP3752246B2 (ja) * 2003-08-11 2006-03-08 学校法人慶應義塾 ハンドパターンスイッチ装置
JP4692159B2 (ja) * 2004-08-31 2011-06-01 パナソニック電工株式会社 ジェスチャースイッチ
JP4991458B2 (ja) * 2007-09-04 2012-08-01 キヤノン株式会社 画像表示装置及びその制御方法
JP5228439B2 (ja) * 2007-10-22 2013-07-03 三菱電機株式会社 操作入力装置
JP5267827B2 (ja) * 2008-07-17 2013-08-21 日本電気株式会社 情報処理装置、プログラムを記録した記憶媒体及びオブジェクト移動方法
WO2012024022A2 (en) * 2010-08-20 2012-02-23 University Of Massachusetts Hand and finger registration for control applications

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI507919B (zh) * 2013-08-23 2015-11-11 Univ Kun Shan 追蹤與記錄指尖軌跡的影像處理方法

Also Published As

Publication number Publication date
EP2755115A1 (en) 2014-07-16
EP2755115A4 (en) 2015-05-06
US20140225826A1 (en) 2014-08-14
CN103797446A (zh) 2014-05-14
KR20140060297A (ko) 2014-05-19
WO2013035554A1 (ja) 2013-03-14
JP2013069273A (ja) 2013-04-18

Similar Documents

Publication Publication Date Title
TW201324258A (zh) 輸入體之動作檢測方法及使用其之輸入裝置
US8971565B2 (en) Human interface electronic device
US8929608B2 (en) Device and method for recognizing three-dimensional position and orientation of article
US9778748B2 (en) Position-of-interest detection device, position-of-interest detection method, and position-of-interest detection program
TWI540461B (zh) 手勢輸入的方法及系統
US11029766B2 (en) Information processing apparatus, control method, and storage medium
JP2004157850A (ja) 運動検出装置
WO2012124730A1 (ja) 検出装置、入力装置、プロジェクタ、及び電子機器
CN105593786A (zh) 对象位置确定
JP2004094653A (ja) 情報入力システム
JP4608326B2 (ja) 指示動作認識装置及び指示動作認識プログラム
JPWO2018150569A1 (ja) ジェスチャー認識装置、ジェスチャー認識方法、ジェスチャー認識装置を備えたプロジェクタおよび映像信号供給装置
JP6528964B2 (ja) 入力操作検出装置、画像表示装置、プロジェクタ装置、プロジェクタシステム、及び入力操作検出方法
JP2017219942A (ja) 接触検出装置、プロジェクタ装置、電子黒板装置、デジタルサイネージ装置、プロジェクタシステム、接触検出方法、プログラム及び記憶媒体。
CN111565898A (zh) 操作引导系统
KR101695728B1 (ko) 스테레오 카메라를 포함하는 디스플레이 시스템 및 이를 이용한 위치검출 방법
JP2011198270A (ja) 対象認識装置及びそれを用いた制御装置、並びに対象認識方法
KR102300290B1 (ko) 카메라를 이용한 손가락 움직임 연동형 스마트 마우스 및 이를 이용한 마우스 커서의 제어방법
JP6632298B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP6618301B2 (ja) 情報処理装置、その制御方法、プログラム、及び記憶媒体
TWI471757B (zh) 懸浮及點擊手勢偵測裝置
JP6068741B2 (ja) 表示システム
JP2014182662A (ja) 操作装置及び操作方法
KR101695727B1 (ko) 스테레오 비전을 이용한 위치검출 시스템 및 위치검출 방법
Haubner et al. Recognition of dynamic hand gestures with time-of-flight cameras