JPH08320920A - 手動作認識装置および方法 - Google Patents

Abstract

(57)【要約】 【目的】 手動作の認識を行なう際に、１台のみカメラ
で撮影した画像から認識を行なうことを可能にするこ
と。 【構成】 １台の撮影手段と、撮影手段からの画像を入
力する画像入力手段と、入力した画像から、肩、手、肘
の画像面上での位置を検出する身体部位抽出手段と、
肩、手、肘の位置から特徴量を計算する特徴抽出手段
と、解析を行なうための知識を記憶しておく知識記憶手
段と、計算された特徴量を元に手動作を解析する手動作
解析手段と、解析結果を出力信号に変換する翻訳手段か
らなる手動作解析装置であり、画像面上の肩、手、肘の
位置から特徴量を計算し、計算した特徴量と、知識記憶
部に記憶したモデルとを比較することで、手動作の認識
を行なう。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、手動作認識装置に関
し、特に、センサーを用いることなく、１台のみのカメ
ラを用いて人間の身振りや手振りの認識を行なう手動作
認識装置とその認識方法に関する。

【０００２】

【従来の技術】人間の身振りや手振りの認識を行なう方
法として、センサ等を体につけて、体の各部位の動きを
捉えて行なう方法と、カメラを用いて行なう方法とがあ
る。

【０００３】また、カメラを用いて行なう方法では、複
数台のカメラを用いて人間の奥行きを含めた動きを捉え
て行なう方法などがある。

【０００４】

【発明が解決しようとする課題】カメラを使って人間の
身振りや手振りの認識を行なう場合、複数台のカメラを
用いる方法があるが、複数枚の画像を処理しなければな
らないため、処理に時間がかかり、また、装置全体が大
規模なものとなっていた。

【０００５】また、手動作モデルを用いて認識を行なう
場合、認識を行なう手動作の数だけモデルが必要とな
り、モデル数が膨大になっていた。

【０００６】また、１台のカメラで奥行きを含む動作を
認識することは、困難であった。上記問題点に鑑み、本
発明では、１台の撮影装置のみによって、手動作認識を
可能にすることを目的とする。

【０００７】また、手動作モデルを手動作を構成する単
一方向動作毎にモデルを持たせ、認識を行なう動作の種
類が増えても、手動作モデルの数を増やさずに、認識を
行なうことを目的としている。

【０００８】また、本発明は、１台の撮影装置のみで、
手動作の奥行き情報を容易に認識することを目的とす
る。

【０００９】

【課題を解決するための手段】上記目的を達成するため
に、人物の手動作を撮影する１台の撮影装置と撮影手段
で撮影した画像を入力する画像入力手段と、画像入力手
段で入力された画像から、手の位置、肘の位置、肩の位
置を抽出する身体部位抽出手段と、身体部位抽出手段で
得られた手の位置、肘の位置、肩の位置から、特徴量を
算出する特徴量抽出手段と、特徴量抽出手段で算出され
た特徴量から、動作を解析し、解析した手動作を出力手
段に合わせた出力信号に変換する手動作解析手段と、手
動作を解析するための知識を記憶するための知識記憶手
段と、出力信号を出力する出力手段を備えた手動作認識
装置である。

【００１０】また、上記手動作認識装置を用い、知識記
憶部に全ての手動作のモデルから計算された特徴量のモ
デルである手動作モデルを記憶しておき、画像面上にお
ける手の位置と、肘の位置と、肩の位置から特徴量を計
算し、それと手動作のモデルを比較することにより、手
動作の認識を行なう手動作認識方法である。

【００１１】また、上記手動作認識装置の構成に加え、
変化検出手段を備えた手動作認識装置である。

【００１２】また、画像中の方向を一定角度で分割した
グループ毎に２次元コードを与え、認識を行なう３次元
単一方向動作に対して、３次元単一方向動作モデルから
計算される特徴量モデルを、３次元単一方向動作を２次
元の画像面に投影した軌跡から決定した２次元コードで
あるモデル手方向で分割して用意し、画像面上の手の軌
跡から、画像面上の手の移動方向から２次元コードで表
される手方向を算出し、手動作の画像面上の手の位置、
肘の位置、肩の位置から特徴量を計算し、手方向とモデ
ル手方向が一致する３次元単一方向動作モデルの特徴量
データと、計算した特徴量を比較することにより、３次
元運動方向の解析を行なう手動作解析方法である。

【００１３】

【作用】本発明の手動作認識装置及び方法によれば、１
台のカメラで対象を撮影し、撮影した画像から、肩と手
と肘の位置を求め、手動作の特徴量を計算することによ
り、手動作を認識することができる。

【００１４】また、変化検出手段によって、手の画像面
上での軌跡の方向の変化点を検出し、検出される変化点
の間の手動作の特徴量を単一方向手動作のモデル動作と
比較して３次元運動方向を解析することによって、手動
作の種類が増えても、手動作モデルの数を増やさずに、
３次元運動方向の組合せから手動作を認識することが可
能となる。

【００１５】また、画像面上での軌跡の方向によって与
えられる２次元コードを用いて、手動作モデルを選択す
ることで、マッチングを行なうモデルの数を少なくする
ことが可能になる。

【００１６】

【実施例】

（実施例１）本発明の手動作認識装置の第１の実施例に
ついて記述する。図１は、本発明の第１の手動作認識装
置の構成図を示す。１は本発明の第１の手動作認識装置
である。２は、撮影装置である。３は画像入力部であ
る。４は画像記憶部である。５は身体部位抽出部であ
る。６は部位データ記憶部である。７は特徴量抽出部で
ある。８は特徴量記憶部である。９は手動作解析部であ
る。１０は、知識記憶部である。１１は出力部である。
身体部位抽出部５、特徴量抽出部７、手動作解析部９
は、１台のコンピュータで実現可能である。画像記憶部
４、部位データ記憶部６、特徴量記憶部８、知識記憶部
１０は、コンピュータに接続された大容量磁気記憶装置
もしくは光ディスク装置、もしくは、コンピュータ内部
のメモリによって実現される。出力部１１は、コンピュ
ータに接続されたディスプレイや、スピーカ等によって
実現される。画像入力部３は、コンピュータに接続され
る既存の画像処理ボード等によって実現される。撮影装
置２は、ビデオカメラ、ＣＣＤカメラ等で実現され、画
像入力部３にビデオケーブル等で接続される。画像入力
部３は、撮影装置２からの動画像をフレーム毎に取り込
む。画像入力部３は、取り込んだ動画像の各フレームの
画像を画像記憶部４に記憶する。身体部位抽出部５は、
画像記憶部４に記憶された画像から肘、手、肩の位置を
抽出し、部位データ記憶部６に蓄積する。特徴量抽出部
７は、部位データ記憶部６に蓄積された部位データを元
に手動作を解析するのに必要な特徴量を計算し、特徴量
記憶部８へ送る。手動作解析部９では、知識記憶部１０
に記憶している知識を元に、特徴量記憶部８に蓄積され
た特徴量から、手動作の解析を行ない、認識された手動
作を出力信号に変換して、出力部１１に出力する。

【００１７】次に本実施例の手動作認識装置の具体的な
動作について、図１と、図３、図４、図５に示す流れ図
を用いて説明する。

【００１８】手動作認識装置の動作は、画像取り込み過
程、身体部位抽出過程、特徴量抽出過程、手動作解析出
力過程の４つの過程から構成される。画像入力部３で画
像取り込み過程、身体部位抽出部５で身体部位抽出過
程、特徴量抽出部７で特徴量抽出過程、手動作解析部９
で手動作解析出力過程を、それぞれ独立してして行な
う。各々の過程の処理について以下順番に記述してい
く。

【００１９】画像取り込み過程について記述する。撮影
装置２によって、手動作を行なう人物を上半身が写るよ
うに撮影し、画像入力部３によって取り込む。画像入力
部３は、標準でＮＴＳＣ規格の１／３０秒のサンプリン
グ間隔でフレーム毎に取り込む。画像入力部３のパラメ
ータを変更することで、例えば、１／５秒のサンプリン
グ間隔で取り込むことが可能である。画像入力部３は、
取り込んだ画像を画像記憶部４の一番最後に記憶する。
画像記憶部４に記憶されている画像を、ＩＭＧ＿１、Ｉ
ＭＧ＿２、．．．、ＩＭＧ＿Ｎとすると、取り込んだ画
像をＩＭＧ＿Ｎ＋１として、ＩＭＧ＿Ｎの後ろに記録す
る。

【００２０】身体部位抽出過程の処理を図３の流れ図に
沿って記述する。身体部位抽出部５は、画像記憶部４の
画像をチェックする。画像が記憶されていない場合、画
像記憶部４に画像が記憶されるまで待機する。画像記憶
部４に画像が記憶されていた場合、ステップ１０２に進
む（ステップ１０１）。

【００２１】身体部位抽出部５は、画像記憶部４の１番
先頭の画像ＩＭＧ＿１を読み込む（ステップ１０２）。

【００２２】身体部位抽出部５は、ＩＭＧ＿１から顔領
域ＦＲ、左手領域ＬＨＲ、右手領域ＲＨＲを抽出する。
まず、ＩＭＧ＿１から肌色領域を抽出する。肌色領域の
抽出方法は、例えば、ＩＭＧ＿１の各画素のＲＧＢ成分
（ｒｆ，ｇｆ，ｂｆ）と、肌色のＲＧＢ成分（ｒｓ，ｇ
ｓ，ｂｓ）の差分をとることによって抽出する。肌色領
域の抽出方法は、肌色領域を抽出可能であれば、他の方
法でもかまわない。図１３に抽出された肌色領域の例を
示す。抽出された肌色領域を、Ｒ１、Ｒ２、Ｒ３とす
る。抽出された領域の大きさ、位置から、ＦＲ、ＬＨ
Ｒ、ＲＨＲを決定する。決定した領域の重心を求め、Ｆ
Ｒの重心を顔ｆｃ＝（Ｘｆｃ，Ｙｆｃ）とする。ＬＨＲ
が検出された場合は、ＬＨＲの重心を左手ｌｈ＝（Ｘｌ
ｈ，Ｙｌｈ）とすし、左手検出フラグｌｈ＿ｆｌｇに１
をセットする。ＬＨＲが検出されなかった場合、ｌｈ＿
ｆｌｇに０をセットする。ＲＨＲが検出された場合、Ｒ
ＨＲの重心を右手ｒｈ＝（Ｘｒｈ，Ｙｒｈ）とし、右手
検出フラグｒｈ＿ｆｌｇに１をセットする。ＲＨＲが検
出されなかった場合、ｒｈ＿ｆｌｇに０をセットする
（ステップ１０３）。

【００２３】ｌｈ＿ｆｌｇとｒｈ＿ｆｌｇをチェックす
る。ｌｈ＿ｆｌｇ＝０、ｒｈ＿ｆｌｇ＝０の場合、ステ
ップ１０８に進む。ｌｈ＿ｆｌｇ＝１、もしくはｒｈ＿
ｆｌｇ＝１の場合、ステップ１０５に進む（ステップ１
０４）。

【００２４】身体部位抽出部５は、次に、画像ＩＭＧ＿
１から人物の輪郭を抽出し、左肩ｌｓ＝（Ｘｒｓ，Ｙｒ
ｓ）、右肩ｒｓ＝（Ｘｌｓ，Ｙｌｓ）の座標を算出す
る。人物の輪郭の抽出方法としては、エッジ検出を行な
うことにより人物の輪郭を抽出する。また、人物の写っ
ていない背景画像ＩＭＧ＿ＢＡＣＫを撮影しておいて記
憶しておき、ＩＭＧ＿１とＩＭＧ＿ＢＡＣＫとの差分か
ら人物の領域を抽出し、抽出した領域のエッジを検出す
ることにより、輪郭を抽出することも可能である。抽出
した人物の輪郭の例を図１４に示す。人物輪郭画像ＩＭ
Ｇ＿Ｅｄｇｅからｒｓ、及びｌｓを算出する。ｒｓ、ｌ
ｓの算出方法は、例えば、ステップ１０３で求めたｆｃ
からＸ負方向に水平線を引くと、人物輪郭線ｂｄ＿ｅｄ
ｇｅとの交点である、顔右交点ｆｒｐが得られる。ｆｒ
ｐから垂線を下ろすと、ｂｄ＿ｅｄｇｅとの交点であ
る、胴体右交点ｂｒｐが得られる。ｂｒｐからＸ負方向
にｂｄ＿ｅｄｇｅとの接線である右肩接線ｒｓ＿ｌｉｎ
ｅを引き、ｒｓ＿ｌｉｎｅとｂｄ＿ｅｄｇｅが肩検出閾
値ＳＬＤ＿ＴＨ以上離れる１つ手前の点を右肩ｒｓとす
る。ＳＬＤ＿ＴＨは、肩の位置を決定するための閾値で
あり、例えば、１０という値を設定する。なお、ＳＬＤ
＿ＴＨは、肩が正確に決定できるように決定した値であ
り、肩を正確に決定できる値であれば良い。同様に、ｆ
ｃからＸ正方向に水平線を引き、ｂｄ＿ｅｄｇｅとの交
点である、顔左交点ｆｌｐを求める。ｆｌｐから垂線を
下ろし、ｂｄ＿ｅｄｇｅとの交点である胴体左交点ｂｌ
ｐを求め、ｂｌｐからＸ正方向にｂｄ＿ｅｄｇｅとの接
線である左肩接線ｌｓ＿ｅｄｇｅを引き、ｌｓ＿ｅｄｇ
ｅとｂｄ＿ｅｄｇｅがＳＬＤ＿ＴＨ以上離れる寸前の点
を左肩ｌｓとする（ステップ１０５）。

【００２５】次に、身体部位抽出部５は、ｌｈ＿ｆｌｇ
が１にセットされている場合、左肘ｌｅ＝（Ｘｌｅ，Ｙ
ｌｅ）を算出する。ｒｈ＿ｆｌｇが１にセットされてい
る場合、右肘ｒｅ＝（Ｘｒｅ，Ｙｒｅ）を算出する。算
出方法は、例えば、肘を抽出するために、色のついた左
肘指標物ＬＥ＿Ｍと、右肘指標物ＲＥ＿Ｍをつけてお
く。左右の区別を付け易くするために、ＬＥ＿Ｍと、Ｒ
Ｅ＿Ｍを別々の色ににしておいてもよい。例えば、ＬＥ
＿Ｍを青、ＲＥ＿Ｍを赤としておく。画像ＩＭＧ＿１か
ら、まず青色の領域を抽出する。例えば、２箇所の領域
Ｓ１，Ｓ２が抽出されたとする。抽出された領域の大き
さが領域最小サイズ閾値ＭＩＮ＿ＴＨより小さい領域を
削除する。ＭＩＮ＿ＴＨは、例えば１００を設定してお
く。ＭＩＮ＿ＴＨは、指標物の大きさに合わせて設定さ
れる。図１５に、抽出された領域の一例を示す。ＭＩＮ
＿ＴＨより小さいＳ２は削除され、Ｓ１を左肘領域ＬＥ
Ｒとする。ＬＥＲの重心を左肘ｌｅと決定する。次に、
赤色領域を抽出し、左肘と同様にして、右肘領域ＲＥＲ
を抽出し、ＲＥＲの重心を右肘ｒｅとする。ＬＥ＿Ｍと
ＲＥ＿Ｍに同じ色を用いた場合は、抽出された領域と、
ｌｈと、ｒｈとの関係から、ＬＥＲ、ＲＥＲを決定し、
ｌｅ、ｒｅを決定する。

【００２６】肘に指標物をつけずにｌｅ、ｒｅを決定す
る方法としては、例えば、動きの大きな領域を検出し、
検出した領域から腕領域を検出することによって、ｌ
ｅ、ｒｅを決定することも可能である。肘の位置の算出
方法は、ｌｅ及び、ｒｅの位置を一意に定めることがで
きれば構わない（ステップ１０６）。

【００２７】部位データ記憶部６のデータ記憶形式の一
例を図１６に示す。最初に、記憶している部位データ数
ＢＣＮＴを記録する。ＢＣＮＴの後に、部位データがＢ
ＣＮＴ組記録されている。各々の部位データは、最初
に、ｌｓの座標Ｘｌｓ、Ｙｌｓを記録する。その次に、
ｒｓの座標Ｘｒｓ、Ｙｒｓを記録する。ｌｓ、ｒｓの座
標データを記録すると、続いてｌｈ＿ｆｌｇを記録す
る。ｌｈ＿ｆｌｇが１にセットされている場合、続い
て、ｌｈの座標Ｘｌｈ、Ｙｌｈ、ｌｅの座標Ｘｌｅ、Ｙ
ｌｅをセットする。ｌｈ＿ｆｌｇが０にセットされてい
た場合、ｌｈ、ｌｅの座標データはセットしない。続い
て、ｒｈ＿ｆｌｇを記録する。ｒｈ＿ｆｌｇが１にセッ
トされている場合、続いて、ｒｈの座標Ｘｒｈ、Ｙｒ
ｈ、ｒｅの座標Ｘｒｅ、Ｙｒｅを記録する。ｒｈ＿ｆｌ
ｇが０にセットされていた場合、ｒｈ、ｒｅの座標デー
タは記録しない。部位データ記憶部６の記憶形式に従っ
て、抽出したｌｓ、ｒｓ、ｌｈ、ｌｅ、ｒｈ、ｒｅを、
部位データ記憶部６の最後に記憶されている部位データ
の後に記憶する。部位データ記憶部６に記憶されている
部位データをＢＤａｔ＿１，．．．，ＢＤａｔ＿ＢＣＮ
Ｔとすると、ステップ１０６までに計算した部位データ
をＢＤａｔ＿ＢＣＮＴ＋１として、部位データ記憶部６
に記憶し、部位データ記憶部６のＢＣＮＴに１を加え、
ステップ１０８に進む（ステップ１０７）。

【００２８】画像ＩＭＧ＿１を画像記憶部４から消去す
る（ステップ１０８）。部位データ抽出部は、ステップ
１０１から１０８を繰り返す。

【００２９】次に、特徴量算出過程について記述する。
特徴量算出過程の処理を図１と図４の流れ図を使って説
明する。

【００３０】特徴量抽出部７は、部位データ記憶部６の
ＢＣＮＴをチェックする。ＢＣＮＴが０の場合、ＢＣＮ
Ｔが１以上になるまで待機する。ＢＣＮＴが１以上の場
合、ステップ２０２に進む（ステップ２０１）。

【００３１】部位データ記憶部６から、最初に記憶され
た部位データＢＤａｔ＿１を読み込む。最初に、ｌｓ、
ｒｓの座標データＸｌｓ、Ｙｌｓ、Ｘｒｓ、Ｙｒｓを読
み込む。続いてｌｈ＿ｆｌｇを読み込む。ｌｈ＿ｆｌｇ
が１にセットされている場合は、ｌｈ、ｌｅの座標デー
タＸｌｈ、Ｙｌｈ、Ｘｌｅ、Ｙｌｅを読み込む。次に、
ｒｈ＿ｆｌｇを読み込む。ｒｈ＿ｆｌｇが１にセットさ
れていた場合、ｒｈ、ｒｅの座標データＸｒｈ、Ｙｒ
ｈ、Ｘｒｅ、Ｙｒｅを読み込む（ステップ２０２）。

【００３２】手動作解析に必要な特徴量を計算する。本
実施例では、特徴量として、ｌｓとｌｈの距離である左
肘手長ｌｅｈｌ、ｒｅとｒｈの距離である右肘手長ｒｅ
ｈｌ、ＸｌｅとＸｌｈの差分である左肘手Ｘ差分ｌｅｈ
ｘｄ、ＸｒｅとＸｒｈの差分である右肘手Ｘ差分ｒｈｅ
ｘｄ、ＹｌｅとＹｌｈの差分である左肘手Ｙ差分ｌｅｈ
ｙｄ、ＹｒｅとＹｒｈの差分である右肘手Ｙ差分ｒｅｈ
ｙｄ、ｌｓとｌｈの中点である左肩手中点ｌｍ＝（Ｘｌ
ｍ，Ｙｌｍ）とｌｅの距離である左肘距離ｌｅｍｄ、ｒ
ｓｌｓの中点である右肩手中点ｒｍ＝（Ｘｒｍ，Ｙｒ
ｍ）とｒｅの距離である右肘距離ｒｅｍｄを使用する。
図１７に、本実施例で使用する特徴量を示す。ここで、
ｌｍ、ｒｍの座標は数１のように表される。

【００３３】

【数１】

【００３４】各特徴量は、ｌｓ、ｒｓ、ｌｈ、ｒｈ、ｌ
ｅ、ｒｅ、ｌｍ、ｒｍから、数２で計算される。

【００３５】

【数２】

【００３６】ｌｈ＿ｆｌｇが１にセットされている場合
は、数１、数２を用いて、左手に関する特徴量Ｌ＿Ｄａ
ｔａ＝を算出する。ｒｈ＿ｆｌｇが１にセットされてい
る場合は、右手に関する特徴量Ｒ＿Ｄａｔａ＝を算出す
る（ステップ２０３）。

【００３７】算出した特徴量は、ｌｈ、ｌｅ、ｒｈ、ｒ
ｅと共に、特徴量記憶部８に記憶する。特徴量記憶部８
の記憶形式の一例を図１８に示す。最初に特徴量データ
数ＰＣＮＴを記録する。ＰＣＮＴの後に、記憶された順
番に特徴量データＰＤａｔ＿１〜ＰＤａｔ＿ＰＣＮＴが
記憶される。ＰＤａｔ＿１〜ＰＤａｔ＿ＰＣＮＴは、ま
ず、ｌｈ＿ｆｌｇを記録する。ｌｈ＿ｆｌｇが１にセッ
トされている場合、左手のパラメータデータｌｈ，ｌ
ｅ，Ｌ＿Ｄａｔａを記録する。各パラメータデータのデ
ータ形式の一例を図１９に示す。パラメータデータは、
パラメータ識別子ＰＩＤ、パラメータのＰＤ、データ値
Ｄ＿１，．．．，Ｄ＿ＰＤで構成される。各パラメータ
に対するＰＩＤの一例を図２０に示す。例えば、ｌｈの
データは、ＰＩＤに０ｘ０１をセットして記録する。次
に、ＰＤ２をセットして記録する。続いて、Ｘｌｈ、Ｙ
ｌｈの順に記録する。同様にして、ｌｅ、Ｌ＿Ｄａｔａ
を記録する。ｌｈ、ｌｅ、Ｌ＿Ｄａｔａを全て記録した
後に、パラメータ終了フラグＰＥＮＤ＿ＦＬＧを記録す
る。ＰＥＮＤ＿ＦＬＧは、例えば、１バイトで、０ｘｆ
ｆという値をセットする。ＰＥＮＤ＿ＦＬＧの値は、パ
ラメータの終了を検出できる値であれば良い。また、Ｐ
ＥＮＤ＿ＦＬＧを付けずに、パラメータデータの前にパ
ラメータの数をセットしても同様の効果が得られる。次
に、ｒｈ＿ｆｌｇを記録する。ｒｈ＿ｆｌｇが１にセッ
トされていた場合は、左手のパラメータデータｌｈ，ｌ
ｅ，Ｌ＿Ｄａｔａと同様にして、右手のパラメータデー
タｒｈ，ｒｅ，Ｒ＿Ｄａｔａを記録する。右手のパラメ
ータデータｒｈ，ｒｅ，Ｒ＿Ｄａｔａの後にＰＥＮＤ＿
ＦＬＧを記録する。特徴量記憶部８に記憶されている特
徴量データをＰＤａｔ＿１，．．．，ＰＤＡＴ＿ＰＣＮ
Ｔとすると、ステップ２０３で算出したＬ＿Ｄａｔａ、
Ｒ＿Ｄａｔａと、ｌｈ、ｌｅ、ｒｈ、ｒｅを、上記の形
式で特徴量記憶部８のＰＣＮＴ番目の特徴量データＰＤ
ａｔ＿ＰＣＮＴの後にＰＤａｔ＿ＰＣＮＴ＋１として記
録し、ＰＣＮＴに１を加える。特徴量を記録し終えた部
位データＢＤａｔ＿１を部位データ記憶部６から消去
し、ＢＣＮＴから１を引く（ステップ２０４）。

【００３８】特徴量抽出部７は、ステップ２０１からス
テップ２０４を繰り返す。次に、手動作認識出力過程に
ついて説明する。図５の流れ図と図１を使って説明す
る。

【００３９】手動作区間データ数ｎに０をセットする
（ステップ３０１）。最初に、手動作開始点ＳＴ＿ＰＮ
Ｔを検出する。ＳＴ＿ＰＮＴは、例えば、動作を一定時
間ＳＴ＿ＩＮＴの静止から開始すると規定しておく。Ｓ
Ｔ＿ＩＮＴの値は、システム軌道時に設定した値とし、
例えば５と設定する。静止時間Ｓｔ＿Ｔｉｍｅに何もセ
ットされていなければ、Ｓｔ＿Ｔｉｍｅに０をセットす
る。特徴量記憶部８のＰＣＮＴが２以上でなければ、２
以上になるまで待機する。ＰＣＮＴが２以上になった場
合、特徴量記憶部８から先頭の特徴量データＰＤａｔ＿
１を読み込み、ＰＤａｔ＿１のパラメータをＰ＿Ｓｅｔ
（０）＝にセットする。ただし、Ｌ＿Ｄａｔａ（０）
＝、Ｒ＿Ｄａｔａ（０）＝である。ｎに１を加え、特徴
量記憶部８から２番目の特徴量データＰＤａｔ＿２を読
み込み、ＰＤａｔ＿１のパラメータをＰ＿Ｓｅｔ（１）
＝にセットする。ｌｈ＿ｆｌｇ（０）、ｌｈ（０）、ｌ
ｅ（０）と、ｌｈ＿ｆｌｇ（１）、ｌｈ（１）、ｌｅ
（１）から、数３により、左手変化量Ｄｅｆ＿ｌｈと左
肘変化量Ｄｅｆ＿ｌｅの和Ｄｅｆ＿ｌを計算する。

【００４０】

【数３】

【００４１】ｒｈ＿ｆｌｇ（０）、ｒｈ（０）、ｒｅ
（０）と、ｒｈ＿ｆｌｇ（１）、ｒｈ（１）、ｒｅ
（１）から、数４により、右手変化量Ｄｅｆ＿ｒｈと右
肘変化量Ｄｅｆ＿ｒｅの和Ｄｅｆ＿ｒを計算する。

【００４２】

【数４】

【００４３】手動作変化量Ｄｅｆ＿ｓｕｍを数５により
計算する。

【００４４】

【数５】

【００４５】Ｄｅｆ＿ｓｕｍが静止検出閾値Ｓｔ＿ＴＨ
より小さい区間を手動作静止区間Ｓｔ＿Ｓｅｃｔとし、
Ｓｔ＿Ｔｉｍｅに１を加え、ステップ３０２を繰り返
す。Ｓｔ＿ＴＨは、例えば、１０という値を設定してお
く。Ｄｅｆ＿ｓｕｍがＳｔ＿ＴＨより大きくなった場
合、Ｓｔ＿Ｔｉｍｅをチェックする。Ｓｔ＿Ｔｉｍｅ
が、Ｓｔ＿ＩＮＴ以上の場合、ＰＤａｔ＿１をＳＴ＿Ｐ
ＮＴとし、ｎに２を加え、特徴量記憶部８からＰＤａｔ
＿１とＰＤａｔ＿２を消去し、特徴量記憶部８のＰＣＮ
Ｔから２を引き、Ｓｔ＿Ｔｉｍｅに０をセットし、ステ
ップ３０３に進む。Ｓｔ＿ＴｉｍｅがＳｔ＿ＩＮＴ以下
の場合、Ｓｔ＿Ｔｉｍｅに０をセットし、特徴量記憶部
８からＰＤａｔ＿１を消去し、特徴量記憶部のＰＣＮＴ
から１を引き、ステップ３０２を繰り返す。ＳＴ＿ＰＮ
Ｔの決定方法は、ＳＴ＿ＰＮＴを一意に決定可能な方法
であれば、他の方法でも構わない（ステップ３０２）。

【００４６】手動作解析部９は、特徴量記憶部８のＰＣ
ＮＴをチェックする。ＰＣＮＴが１以上の場合は、ステ
ップ３０４に進む。ＰＣＮＴが０の場合は、ＰＣＮＴが
１以上になるまで待機する（ステップ３０３）。

【００４７】特徴量記憶部８の先頭の特徴量データＰＤ
ａｔ＿１を読み込み、そのパラメータセットをＰ＿Ｓｅ
ｔ（ｎ）＝にセットする（ステップ３０４）。

【００４８】読み込んだ特徴量データＰＤａｔ＿１を特
徴量記憶部８から消去し、特徴量記憶部８のＰＣＮＴか
ら１を引く。ｎに１を加える（ステップ３０５）。

【００４９】Ｐ＿Ｓｅｔ（ｎ）とＰ＿Ｓｅｔ（ｎｎ−
１）をチェックし、手動作終了点ＥＮＤ＿ＰＮＴを検出
する。ＥＮＤ＿ＰＮＴの検出方法は、ＳＴ＿ＰＮＴと同
様に、手動作をＳｔ＿ＩＮＴの静止で終了すると規定
し、Ｓｔ＿Ｓｅｃｔを検出する。開始点と同様に数３、
数４、数５を用いて、ｌｈ＿ｆｌｇ（ｎ−１）、ｌｈ
（ｎ−１）、ｌｅ（ｎ−１）と、ｌｈ＿ｆｌｇ（ｎ）、
ｌｈ（ｎ）、ｌｅ（ｎ）と、ｒｈ＿ｆｌｇ（ｎ−１）、
ｒｈ（ｎ−１）、ｒｅ（ｎ−１）と、ｒｈ＿ｆｌｇ
（ｎ）、ｒｈ（ｎ）、ｒｅ（ｎ）から、Ｄｅｆ＿Ｓｕｍ
を求める。Ｄｅｆ＿ＳｕｍがＳＴ＿ＴＨよりも小さくな
った場合、Ｓｔ＿Ｔｉｍｅに１を加える。Ｓｔ＿Ｔｉｍ
ｅがＳｔ＿ＩＮＴより小さい場合は、ｎに１を加え、ス
テップ３０２に進む。Ｓｔ＿ＴｉｍｅがＳｔ＿ＩＮＴに
なった場合、Ｓｔ＿Ｓｅｃｔの始まりの時点をＥＮＤ＿
ＰＮＴとし、ｎから、Ｓｔ＿ＩＮＴ−１を引き、ステッ
プ３０７に進む。例えば、ｔ＝８から、ｔ＝８＋Ｓｔ＿
ＩＮＴの間に静止区間が存在した場合、ｎを９にセット
する（ステップ３０６）。

【００５０】Ｐ＿Ｓｅｔ（ｔ）（ｔ＝０，．．．，ｎ−
１）から、手動作の認識を行なう。実施例２に記載する
手動作の認識方法により、ステップ４０１からステップ
４０６の手順によって行なう。Ｐ＿Ｓｅｔ（ｔ）から手
動作コードをＲｅｓｕｌｔに設定する。Ｒｅｓｕｌｔに
は、認識された手動作コード、もしくは、手動作に意味
がないことを示すコードＮＯＭＥＡＮが設定される。Ｎ
ＯＭＥＡＮは、例えば、０ｘｆｆｆｆなどを設定する。
ＮＯＭＥＡＮのコードは、他の手動作モデルに与えられ
た手動作コードと重ならなければ、どのような値でも構
わない。手動作の認識方法については、後で記述する。
手動作の認識方法は、Ｐ＿Ｓｅｔ（ｔ）（ｔ＝
０，．．．，ｎ−１）から手動作を一意に定めることが
できれば、他の方法によって認識を行なうことも可能で
ある（ステップ３０７）。

【００５１】手動作解析部９は、ＲｅｓｕｌｔにＮＯＭ
ＥＡＮがセットされていれば、ステップ３０８を終了す
る。ＲｅｓｕｌｔにＮＯＭＥＡＮ以外がセットされる
と、Ｒｅｓｕｌｔの手動作コードと出力信号Ｏｕｔｐｕ
ｔの対応テーブルを用いて、出力信号Ｏｕｔｐｕｔに変
換し、出力信号Ｏｕｔｐｕｔを出力部１１に出力する。
ＮＯＭＥＡＮがセットされていた場合、何も出力せず
に、ステップ３０７を終了する。例えば、手動作解析装
置の出力として、文字を出力する場合、図２１に示すよ
うな、出力信号変換テーブルＣＨＧＴＢＬ１を用意す
る。例えば、Ｒｅｓｕｌｔが０ｘ０１００であれば、
「時間」という文字を出力部１１に出力する。図２１の
出力信号変換テーブルＣＨＧＴＢＬ１は、一例であり、
手動作コードと文字列を一対一に対応していれば、どの
ようなものでも構わない。なお、出力信号Ｏｕｔｐｕｔ
への変換の方法は、ほんの一例であり、手動作コードを
出力信号Ｏｕｔｐｕｔに変換することが可能であれば、
どのような方法でも構わない（ステップ３０８）。

【００５２】（実施例２）次に、第２の実施例の手動作
認識方法について記述する。手動作認識方法について図
６の流れ図と図１を用いて説明する。

【００５３】知識記憶部１０のモデルの記憶形式の一例
を図２２に示す。最初に、モデルデータ数Ｍｄｌ＿ＣＮ
Ｔが記憶されている。Ｍｄｌ＿ＣＮＴに続いて、Ｍｄｌ
＿ＣＮＴの数だけ手動作モデルが記憶されている。各手
動作モデルデータのデータ形式の一例を図２３に示す。
手動作モデルデータは、各手動作に与えられた手動作コ
ードＨＭ＿Ｃｏｄｅ、モデルを構成するパラメータデー
タのデータ点数ＤＣＮＴ、ＤＣＮＴ組のパラメータデー
タで構成されている。各パラメータデータは、図１９の
パラメータデータのデータ形式と同様の形式で構成され
ている。知識記憶部１０から、Ｍｄｌ＿ＣＮＴを取り出
す。距離を計算するモデルのモデル番号Ｍｄｌ＿Ｎｕｍ
に１をセットする（ステップ４０１）。

【００５４】次に、Ｍｄｌ＿Ｎｕｍ番目のモデルデータ
を取り出す。最初にＨＭ＿Ｃｏｄｅを取り出す。次に、
ＤＣＮＴを取り出す。次に、ＤＣＮＴ組のパラメータを
とりだし、モデルパラメータデータＭＰ＿Ｓｅｔ（ｍ）
＝（ｍ＝０，．．．，ＤＣＮＴ−１）にセットする。た
だし、Ｌ＿Ｄａｔａ＿ｍ（ｍ）＝、Ｒ＿Ｄａｔａ＿ｍ
（ｍ）＝（ｍ＝０，．．．，ＤＣＮＴ−１）である。モ
デル番号に１を加える（ステップ４０２）。

【００５５】対象特徴量データＴＰ＿Ｓｅｔ（ｔ）＝
（ｔ＝０，．．．，ｎ−１）のｔｈ＿ｆｌｇ（ｔ）にｌ
ｈ＿ｆｌｇ（ｔ）を代入し、ｔｈ（ｔ）にｌｈ（ｔ）を
代入し、ｔｅ（ｔ）にｌｅ（ｔ）を代入し、Ｔ＿Ｄａｔ
ａ（ｔ）にＬ＿Ｄａｔａ（ｔ）を代入する。ただし、Ｔ
＿Ｄａｔａ（ｔ）＝である。対象モデル特徴量データＴ
ＭＰ＿Ｓｅｔ（ｍ）＝（ｍ＝０，．．．ＤＣＮＴ−１）
のｍｈ＿ｆｌｇ（ｍ）にｌｈ＿ｆｌｇ＿ｍ（ｍ）を代入
し、ｍｈ（ｍ）にｌｈ＿ｍ（ｍ）を代入し、ｍｅ（ｍ）
にｌｅ＿ｍ（ｍ）を代入し、Ｍ＿Ｄａｔａ（ｍ）にＬ＿
Ｄａｔａ＿ｍ（ｍ）を代入する。ただし、Ｍ＿Ｄａｔａ
（ｍ）＝である。ステップ５０１からステップ５１０の
手順に従ってモデル間距離ｄｉｓｔを計算し、左手モデ
ル間距離ｄｉｓｔ＿ｌにｄｉｓｔをセットする。

【００５６】ＴＰ＿Ｓｅｔ（ｔ）のｔｈ＿ｆｌｇ（ｔ）
にｒｈ＿ｆｌｇ（ｔ）を代入し、ｔｈ（ｔ）にｒｈ
（ｔ）を代入し、ｔｅ（ｔ）にｒｅ（ｔ）を代入し、Ｔ
＿Ｄａｔａ（ｔ）にＲ＿Ｄａｔａ（ｔ）を代入する。Ｔ
ＭＰ＿Ｓｅｔ（ｍ）のｍｈ＿ｆｌｇ（ｍ）にｒｈ＿ｆｌ
ｇ＿ｍ（ｍ）を代入し、ｍｈ（ｍ）にｒｈ＿ｍ（ｍ）を
代入し、ｍｅ（ｔ）にｒｅ＿ｍ（ｍ）を代入し、Ｍ＿Ｄ
ａｔａ（ｍ）にＲ＿Ｄａｔａ＿ｍ（ｍ）を代入する。ス
テップ５０１からステップ５１０の手順に従ってｄｉｓ
ｔを計算し、右手モデル間距離ｄｉｓｔ＿ｒにｄｉｓｔ
をセットする。ステップ５０１からステップ５１０のモ
デルとの距離算出手順については、後で記述する（ステ
ップ４０３）。

【００５７】ｄｉｓｔ＿ｌとｄｉｓｔ＿ｒを計算した
後、モデルデータとの距離Ｄｉｓｔ＿Ｍを、数６を用い
て計算する。

【００５８】

【数６】

【００５９】認識コードＲｅｃｇ＿ｃｏｄｅ［Ｍｄｌ＿
Ｎｕｍ］に、手動作コードＨＭ＿Ｃｏｄｅをセットし、
認識距離Ｒｅｃｇ＿ｄｉｓｔ［Ｍｄｌ＿Ｎｕｍ］にＤｉ
ｓｔ＿Ｍをセットする（ステップ４０４）。

【００６０】Ｍｄｌ＿ＮｕｍがＭｄｌ＿ＣＮＴの場合、
ステップ４０６に進む。Ｍｄｌ＿ＮｕｍがＭｄｌ＿ＣＮ
Ｔより小さい場合、Ｍｄｌ＿Ｎｕｍに１を加えて、ステ
ップ４０２に進む（ステップ４０５）。

【００６１】Ｒｅｃｇ＿ｄｉｓｔ［ｉ］（ｉ＝
１，．．．，ｍｄｌ＿ＣＮＴ）が最小となる、ｉの値を
Ｉとする。Ｒｅｃｇ＿ｄｉｓｔ［Ｉ］が距離閾値Ｒｅｃ
ｇ＿ＴＨよりも小さければ、Ｒｃｏｇ＿ｃｏｄｅ［ｉ］
を手動作認識結果Ｒｅｓｕｌｔとする。Ｒｅｃｇ＿ＴＨ
は、Ｒｅｓｕｌｔを決定するための定数であり、例え
ば、１００という値をとる。なお、Ｒｅｃｇ＿ＴＨは、
モデルに存在しない手動作を排除するための閾値であ
り、モデルに存在しない手動作を排除できれば、値は１
００でなくても良い。Ｒｅｃｇ＿ｄｉｓｔ［Ｉ］がＲｅ
ｃｇ＿ＴＨよりも大きい場合は、意味のない手動作とみ
なし、Ｒｅｓｕｌｔに、ＮＯＭＥＡＮをセットする。図
２４に得られたＲｅｃｇ＿ｃｏｄｅ［ｉ］とＲｅｃｇ＿
ｄｉｓｔ［ｉ］の例を示す。ｉ＝２５の時、Ｒｅｃｇ＿
ｄｉｓｔ［２５］が５０で最小の値となる。Ｒｅｃｇ＿
ｄｉｓｔ［２５］の値がＲｅｃｇ＿ＴＨの値よりも小さ
いため、Ｒｅｃｇ＿ｃｏｄｅ［２５］の０ｘ０１ａ４を
Ｒｅｓｕｌｔに決定する。この時、ｉ＝２５の時のＲｅ
ｃｇ＿ｄｉｓｔ［２５］の値が、Ｒｅｃｇ＿ＴＨよりも
大きな値、例えば１８０のような値となった場合は、意
味のない手動作とみなし、ＲｅｓｕｌｔにＮＯＭＥＡＮ
（０ｘｆｆｆｆ）をセットする（ステップ４０６）。

【００６２】図７にモデルとの距離算出手順の流れ図を
示す。モデルとの距離は、手が存在する区間毎に距離を
算出し、その和をモデルとの距離とする。図２５に距離
を算出する区間の一例を示す。図２５の例の場合、ＴＰ
＿Ｓｅｔ（２）〜ＴＰ＿Ｓｅｔ（ａ）とＭＴＰ＿Ｓｅｔ
（１）〜ＭＴＰ＿Ｓｅｔ（ａ）の距離と、ＴＰ＿Ｓｅｔ
（ｂ）〜ＴＰ＿Ｓｅｔ（ｄ）とＭＴＰ＿Ｓｅｔ（ｃ）〜
ＭＴＰ＿Ｓｓｅｔ（ｅ）の距離の和をモデルとの距離と
する。

【００６３】ＴＰ＿Ｓｅｔ（ｔ）中の手出現点ｓｔ＿ｐ
ｎｔ、ＭＰ＿Ｓｅｔ（ｔ）中の手出現点ｓｔ＿ｐｎｔ＿
ｍ、手存在区間番号ｋに０をセットする（ステップ５０
１）。

【００６４】ｓｔ＿ｐｎｔがｎより大きい場合、ステッ
プ５１０に進む（ステップ５０２）。

【００６５】ＴＰ＿Ｓｅｔ（ｓｔ＿ｐｎｔ）のｔｈ＿ｆ
ｌｇ（ｓｔ＿ｐｎｔ）をチェックし、０であれば、ｓｔ
＿ｐｎｔに１を加えステップ５０２に進む。１であれ
ば、ＴＰ＿Ｓｅｔ（ｔ）の手消失点ｅｎｄ＿ｐｎｔにｓ
ｔ＿ｐｎｔ＋１をセットし、ステップ５０４に進む（ス
テップ５０３）。

【００６６】ｅｎｄ＿ｐｎｔがｎより大きい場合、ｅｎ
ｄ＿ｐｎｔにｎをセットし、ステップ５０５に進む。Ｔ
Ｐ＿Ｓｅｔ（ｅｎｄ＿ｐｎｔ）のｔｈ＿ｆｌｇ（ｅｎｄ
＿ｐｎｔ）をチェックし、１であれば、ｅｎｄ＿ｐｎｔ
に１を加えステップ５０４を繰り返す。０であれば、ｅ
ｎｄ＿ｐｎｔから１を引き、ステップ５０５に進む（ス
テップ５０４）。

【００６７】ｓｔ＿ｐｎｔ＿ｍがＤＣＮＴ以上の場合、
ステップ５１０に進む（ステップ５０５）。

【００６８】ＴＭＰ＿Ｓｅｔ（ｓｔ＿ｐｎｔ＿ｍ）のｍ
ｈ＿ｆｌｇ（ｓｔ＿ｐｎｔ＿ｍ）をチェックし、０であ
れば、ｓｔ＿ｐｎｔ＿ｍに１を加えステップ５０５に進
む。１であれば、ＴＭＰ＿Ｓｅｔ（ｔ）の手消失点ｅｎ
ｄ＿ｐｎｔ＿ｍにｓｔ＿ｐｎｔ＿ｍ＋１をセットし、ス
テップ５０７に進む（ステップ５０６）。

【００６９】ｅｎｄ＿ｐｎｔ＿ｍがＤＣＮＴ以上の場
合、ｅｎｄ＿ｐｎｔ＿ｍにＤＣＮＴ−１をセットし、ス
テップ５１０に進む。ＴＭＰ＿Ｓｅｔ（ｅｎｄ＿ｐｎｔ
＿ｍ）のｍｈ＿ｆｌｇ（ｅｎｄ＿ｐｎｔ＿ｍ）をチェッ
クし、１であれば、ｅｎｄ＿ｐｎｔ＿ｍに１を加えステ
ップ５０７を繰り返す。０であれば、ｅｎｄ＿ｐｎｔ＿
ｍから１を引き、ステップ５０８に進む（ステップ５０
７）。

【００７０】ＴＰ＿Ｓｅｔ（ｉ）（ｉ＝ｓｔ＿ｐｎ
ｔ，．．．，ｅｎｄ＿ｐｎｔ）のパラメータＰ（ｉ）
と、ＴＭＰ＿Ｓｅｔ（ｊ）（ｊ＝ｓｔ＿ｐｎｔ＿
ｍ，．．．，ｅｎｄ＿ｐｎｔ＿ｍ）のモデルパラメータ
Ｍ（ｊ）との距離Ｄ（Ｐ）［ｋ］を数７を用いて計算す
る。

【００７１】

【数７】

【００７２】例えば、左手ｌｈ（ｉ）とモデルの左手ｌ
ｈ＿ｍ（ｊ）の距離Ｄ（ｌｈ）［ｋ］は、数４のＸｐｉ
に左手のＸ座標Ｘｌｈ（ｉ）、Ｙｐｉに左手のＹ座標Ｙ
ｌｈ（ｉ）、Ｘｍｊにモデル特徴量データの左手のＸ座
標Ｘｌｈ＿ｍ（ｊ）、Ｙｍｊにモデル特徴量データの左
手のＹ座標Ｙｌｈ＿ｍ（ｊ）を代入し、次元ｄに２を代
入して計算する（ステップ５０８）。

【００７３】ＴＰ＿Ｓｅｔ（ｉ）（ｉ＝ｓｔ＿ｐｎ
ｔ，．．．，ｅｎｄ＿ｐｎｔ）の各パラメータＰ（ｉ）
と、ＴＭＰ＿Ｓｅｔ（ｊ）（ｊ＝ｓｔ＿ｐｎｔ＿
ｍ，．．．，ｅｎｄ＿ｐｎｔ＿ｍ）の各モデルパラメー
タＭ（ｊ）との距離Ｄ（Ｐ）［ｋ］の和Ｓｕｍ＿Ｄ
［ｋ］を数８を用いて計算する。

【００７４】

【数８】

【００７５】ｓｔ＿ｐｎｔにｅｎｄ＿ｐｎｔ＋１をセッ
トし、ｓｔ＿ｐｎｔ＿ｍにｅｎｄ＿ｐｎｔ＿ｍ＋１をセ
ットする。ｋに１を加え、ステップ５０２に進む（ステ
ップ５０９）。

【００７６】モデル間距離ｄｉｓｔを数９を用いて計算
する（ステップ５１０）。

【００７７】

【数９】

【００７８】上述の手動作認識方法において、モデルと
の距離を算出する場合に用いる手動作のモデルの数を減
らすために、手動作のモデルをグループに分割しても良
い。手動作を、両手を使用するグループｇ１、右手のみ
を使用するグループｇ２、左手のみを使用するグループ
ｇ３、左手を部分的に使用し右手を常に使用するグルー
プｇ４、右手を部分的に使用し左手を常に使用するグル
ープｇ５、左手と右手が共に部分的に使用されるグルー
プｇ６に分類する。手動作を知識記憶部１０に図２６に
示す記憶形式で記憶する。知識記憶部１０の先頭番地
（０ｘ００００）から、順番に、グループｇ１の先頭番
地Ａｄｒ＿ｇ１、グループｇ２の先頭番地Ａｄｒ＿ｇ
２、グループｇ３の先頭番地Ａｄｒ＿ｇ３、グループｇ
４の先頭番地Ａｄｒ＿ｇ４、グループｇ５の先頭番地Ａ
ｄｒ＿ｇ５、グループｇ６の先頭番地Ａｄｒ＿ｇ６が記
録されている。各グループの手動作モデルの先頭番地の
番地には、各グループの手動作モデルの数が記録され、
続いて、手動作モデルが記録される。例えば、グループ
ｇ１のデータは、知識記憶部１０のＡｄｒ＿ｇ１番地に
グループｇ１に含まれるモデルデータ数ＣＮＴ＿ｇ１が
記録され、ＣＮＴ＿ｇ１に続いて、グループｇ１に含ま
れる手動作モデルが記録されている。各手動作モデル
は、手動作コードの小さい順に各グループに含まれるモ
デルデータ数だけ記憶されている。各手動作モデルは、
図２３に示す手動作モデル形式で記憶される。特徴量記
憶部８から得られるＰ＿Ｓｅｔ（ｔ）から、手動作グル
ープｍｖ＿ｇｌｐと、ｍｖ＿ｇｌｐのモデル数Ｍｄｌ＿
ＣＮＴを決定し、ｍｖ＿ｇｌｐのモデルを用いて、ステ
ップ４０２から４０６の手順を行なうことによって、手
動作の認識を行なう。

【００７９】手動作モデルグループを決定し、モデルデ
ータの数Ｍｄｌ＿ＣＮＴを決定するまでの手順を図７の
流れ図に沿って説明する。

【００８０】Ｐ＿Ｓｅｔ（ｔ）のｌｈ＿ｆｌｇ（ｔ）
と、ｒｈ＿ｆｌｇ（ｔ）をチェックし、Ｐ＿Ｓｅｔ
（ｔ）の手動作グループｍｖ＿ｇｌｐを決定する。例え
ば、ｌｈ＿ｆｌｇ（ｔ）、ｒｈ＿ｆｌｇ（ｔ）がｔ＝
０，．．．，ｎ−１で全て１の場合、ｍｖ＿ｇｌｐをｇ
１にセットする。ｌｈ＿ｆｌｇ（ｔ）が全て０で、ｒｈ
＿ｆｌｇ（ｔ）が全て１の場合、ｍｖ＿ｇｌｐをｇ２に
セットする。ｌｈ＿ｆｌｇ（ｔ）が全て１で、ｒｈ＿ｆ
ｌｇ（ｔ）が全て０の場合、ｍｖ＿ｇｌｐをｇ３にセッ
トする。ｌｈ＿ｆｌｇ（ｔ）が部分的に１で、ｒｈ＿ｆ
ｌｇ（ｔ）が全て１の場合、ｍｖ＿ｇｌｐをｇ４にセッ
トする。ｌｈ＿ｆｌｇ（ｔ）が全て１で、ｒｈ＿ｆｌｇ
（ｔ）が部分的に１の場合、ｍｖ＿ｇｌｐをｇ５にセッ
トする。ｌｈ＿ｆｌｇ（ｔ）が部分的に１で、ｒｈ＿ｆ
ｌｇ（ｔ）が部分的に１の場合、ｍｖ＿ｇｌｐをｇ６に
セットする（ステップ６０１）。

【００８１】知識記憶部１０から、ｍｖ＿ｇｌｐの先頭
番地ｍｖ＿Ａｄｒを取り出す。例えば、手動作グループ
ｍｖ＿ｇｌｐがｇ１であった場合、ｇ１の先頭番地Ａｄ
ｒ＿ｇ１を取り出し、ｍｖ＿Ａｄｒにセットする（ステ
ップ６０２）。

【００８２】ｍｖ＿Ａｄｒ番地からｇ１のモデルデータ
数ＣＮＴ＿ｇ１を取りだし、モデル数Ｍｄｌ＿ＣＮＴに
セットする。モデル番号Ｍｄｌ＿Ｎｕｍを１にセットす
る（ステップ６０３）。

【００８３】（実施例３）次に第３の実施例の手動作認
識装置について記述する。本実施例の手動作認識装置の
ブロック図を図２に示す。２１は手動作認識装置であ
る。２２は撮影装置である。２３は画像入力部である。
２４は画像記憶部である。２５は身体部位抽出部であ
る。２６は部位データ記憶部である。２７は特徴量抽出
部である。２８は特徴量記憶部である。２９は変化検出
部である。３０は手動作解析部である。３１は知識記憶
部である。３２は出力部である。撮影装置２２、画像入
力部２３、画像記憶部２４、身体部位抽出部２５、部位
データ記憶部２６、特徴量抽出部２７、特徴量記憶部２
８、手動作解析部３０、出力部３２は、実施例１記載の
手動作認識装置と同様にして実現できる。変化検出部２
９は、手動作解析部３０と同一のコンピュータで実現可
能である。変化検出部２９は、特徴量記憶部２８の特徴
量データを元に、手の画像上での移動方向が変化した場
合に、手動作解析部３０に変化検出信号ｃｈｇ＿ｓｉｇ
ｎａｌを送る。手動作解析部３０は、ｃｈｇ＿ｓｉｇｎ
ａｌを受けると、それまでに特徴量記憶部２８に記憶さ
れた特徴量データと、モデル記憶部３１のモデルデータ
を比較して手動作を解析し、認識された手動作を出力信
号Ｏｕｔｐｕｔに変換し、出力部３２に出力する。

【００８４】次に、本実施例の手動作認識装置の動作に
ついて説明する。本実施例の手動作認識装置の動作は、
画像取り込み過程、身体部位抽出過程、特徴量抽出過
程、変化検出過程、手動作認識出力過程の５つの過程か
らなり、画像入力部２３で画像取り込み過程、身体部位
抽出部５で身体部位抽出過程、特徴量抽出部２７で特徴
量抽出過程、変化検出部２９で変化検出過程、手動作解
析部３０で手動作認識出力過程を各々独立して動作して
いる。画像取り込み過程、身体部位抽出過程、及び特徴
量抽出過程は、実施例１記載の方法で実現できる。

【００８５】変化検出過程について記述する。変化検出
過程の流れ図を図９に示す。ｔが設定されていない場合
は、ｔに２をセットする。特徴量記憶部２８のＰＣＮＴ
をチェックし、ＰＣＮＴがｔ−１以下の場合、ＰＣＮＴ
がｔ以上になるまで待機する。ＰＣＮＴがｔ以上の場
合、ステップ７０２に進む（ステップ７０１）。

【００８６】特徴量記憶部２８から、先頭からｔ−１番
目の特徴量データＰ＿Ｄａｔ＿ｔ−１と、ｔ番めの特徴
量データＰＤａｔ＿ｔを読み込み、各々のパラメータセ
ットをＰ＿Ｓｅｔ（ｔ−１）、Ｐ＿Ｓｅｔ（ｔ）とする
（ステップ７０２）。

【００８７】左手方向ＬＨ＿Ｄｉｒが設定されている場
合、ＰＨ＿ＤｉｒにＬＨ＿Ｄｉｒを設定する。ＬＨ＿Ｄ
ｉｒが設定されていない場合、ＰＨ＿Ｄｉｒに手が画像
中に存在しないことを意味する２次元コードＮＯ＿ＨＡ
ＮＤを設定する。ＮＯ＿ＨＡＮＤの値は、例えば、０と
する。検出対象フラグｔｈ＿ｆｌｇ（ｔ−１）に、ｌｈ
＿ｆｌｇ（ｔ−１）をセットし、検出対象フラグｔ＿ｆ
ｌｇ（ｔ）にｌｈ＿ｆｌｇ（ｔ）をセットする。検出対
象手座標ｔｈ（ｔ−１）＝（Ｘｔｈ（ｔ−１），Ｙｔｈ
（ｔ−１））に、ｌｈ（ｔ−１）をセットし、検出対象
手座標ｔｈ（ｔ）＝（Ｘｔｈ（ｔ），Ｙｔｈ（ｔ））
に、ｌｈ（ｔ）をセットし、ステップ８０１からステッ
プ８０７の手順に従って、手方向Ｈ＿Ｄｉｒ、変化フラ
グｃｈｇ＿ｆｌｇを求める。Ｈ＿ＤｉｒをＬＨ＿Ｄｉｒ
に設定し、ｃｈｇ＿ｆｌｇを左手変化フラグｌｈ＿ｃｈ
ｇに設定する。ステップ８０１からステップ８０７の変
化フラグ設定手順については、後述する（ステップ７０
３）。

【００８８】右手方向ＲＨ＿Ｄｉｒが設定されている場
合、ＰＨ＿ＤｉｒにＲＨ＿Ｄｉｒを設定する。ｔｈ＿ｆ
ｌｇ（ｔ−１）に、ｒｈ＿ｆｌｇ（ｔ−１）をセット
し、ｔｈ＿ｆｌｇ（ｔ）にｒｈ＿ｆｌｇ（ｔ）をセット
する。ｔｈ（ｔ−１）に、ｒｈ（ｔ−１）をセットし、
ｔｈ（ｔ）に、ｒｈ（ｔ）をセットし、ステップ８０１
からステップ８０８の手順に従って、Ｈ＿Ｄｉｒ、ｃｈ
ｇ＿ｆｌｇを求める。Ｈ＿ＤｉｒをＲＨ＿Ｄｉｒに設定
し、ｃｈｇ＿ｆｌｇを右手変化フラグｒｈ＿ｃｈｇに設
定する（ステップ７０４）。

【００８９】ｌｈ＿ｃｌｇとｒｈ＿ｆｌｇをチェックす
る。ｌｈ＿ｃｈｇ＝０、ｒｈ＿ｃｈｇ＝０の場合、ステ
ップ７０１に進む。ｌｈ＿ｆｌｇ＝１もしくは、ｒｈ＿
ｆｌｇ＝１の場合は、ステップ７０６に進む（ステップ
７０５）。

【００９０】ｃｈｇ＿ｓｉｇｎａｌを手動作解析部３０
に送信する。図２７にｃｈｇ＿ｓｉｇｎａｌの一例を示
す。最初に信号開始フラグＳＴ＿ＦＬＧがセットされ
る。例えば、２バイトで０ｘｆｆｆｆという値をセット
する。続いて、同方向データ数ＳＤ＿ＣＮＴにｔ−１を
セットする。ＳＤ＿ＣＮＴに続いて左手変化フラグＬ＿
ＦＬＧにｌｈ＿ｃｈｇをセットされる。Ｌ＿ＦＬＧに続
いて、右手変化フラグＲ＿ＦＬＧにｒｈ＿ｃｈｇをセッ
トする。最後に信号終了フラグＥＮＤ＿ＦＬＧがセット
される。例えば、２バイトで０ｘ０ｆ０ｆという値がセ
ットされる。セットしたｃｈｇ＿ｓｉｇｎａｌを手動作
解析部３０に送信する（ステップ７０６）。

【００９１】手動作解析部３０から読込終了信号ｒｅａ
ｄ＿ｓｉｇｎａｌを受けるまで待機する。ｒｅａｄ＿ｓ
ｉｇｎａｌを受信すると、ステップ７０８に進む。ｒｅ
ａｄ＿ｓｉｇｎａｌは、例えば、０ｘｆｆｆｆという値
がセットされた信号である。信号の形式は、どのような
ものでも構わない（ステップ７０７）。

【００９２】特徴量記憶部２８に記憶している特徴量デ
ータのうち、最初からｔ−１番目までのデータＰＤａｔ
＿１〜ＰＤａｔ＿ｔ−１を消去した後、ｔを１にセット
する（ステップ７０８）。

【００９３】変化フラグ設定処理の処理手順について図
１０の流れ図に従って説明する。ｔｈ＿ｆｌｇ（ｔ−
１）をチェックする。ｔｈ＿ｆｌｇ（ｔ−１）＝０の場
合ステップ８０２に進む。ｔｈ＿ｆｌｇ（ｔ−１）＝１
の場合、ステップ８０３に進む（ステップ８０１）。

【００９４】ｔｈ＿ｆｌｇ（１）＝０の場合、ｃｈｇ＿
ｆｌｇに０を設定する。ｔｈ＿ｆｌｇ（１）＝１の場
合、ｃｈｇ＿ｆｌｇに１を設定する。変化フラグ設定処
理を終了する（ステップ８０２）。

【００９５】ｔｈ＿ｆｌｇ（ｔ）の値をチェックする。
ｔｈ＿ｆｌｇ（ｔ）＝０の場合、ステップ８０４に進
む。ｔｈ＿ｆｌｇ（ｔ）＝１の場合、ステップ８０５に
進む（ステップ８０３）。

【００９６】ｃｈｇ＿ｆｌｇに１を設定し、変化フラグ
設定処理を終了する（ステップ８０４）。

【００９７】数１０を用いて、移動ベクトルＶを計算す
る（ステップ８０５）。

【００９８】

【数１０】

【００９９】Ｘｖ＝０、Ｙｖ＝０の場合、手方向Ｈ＿Ｄ
ｉｒに、９を設定し、ステップ８０７に進む。Ｘｖもし
くは、Ｙｖが０でない場合、計算された左手移動ベクト
ルＶから、数１１を用いて、左手方位角θを求める。

【０１００】

【数１１】

【０１０１】図２８に、画像面中の手の移動方向と、２
次元コードの関係の一例を示す。θの値から、数１２を
用いて決定される２次元コードＣｏｄｅ＿２Ｄを手方向
Ｈ＿Ｄｉｒを求める。

【０１０２】

【数１２】

【０１０３】ＴＨは閾値であり、例えば、π／８という
値になる。例えば、θがπ／９であったとすると、Ｈ＿
Ｄｉｒには１がセットされる。Ｈ＿Ｄｉｒをセットする
とステップ８０７に進む（ステップ８０６）。

【０１０４】ＰＨ＿ｄｉｒに値が設定されていなけれ
ば、ｃｈｇ＿ｆｌｇに０を設定し、変化フラグ設定手順
を終了する。ＰＨ＿Ｄｉｒが設定されている場合、ＰＨ
＿ＤｉｒとＨ＿Ｄｉｒの値をチェックする。ＰＨ＿Ｄｉ
ｒとＨ＿Ｄｉｒの値が一致した場合、ｃｈｇ＿ｆｌｇに
０を設定する。ＰＨ＿ＤｉｒとＨ＿Ｄｉｒが異なる値の
場合、ｃｈｇ＿ｆｌｇに１を設定する。ｃｈｇ＿ｆｌｇ
を設定すると、変化フラグ設定手順を終了する（ステッ
プ８０７）。

【０１０５】次に、手動作方向解析過程について記述す
る。図１１の流れ図と図２を用いて順に記述する。

【０１０６】変化検出部２９からｃｈｇ＿ｓｉｇｎａｌ
を受けとるまで待機する。ｃｈｇ＿ｓｉｇｎａｌを受け
とると、ｃｈｇ＿ｓｉｇｎａｌから、ＳＤ＿ＣＮＴ、Ｌ
＿ＦＬＧ、Ｒ＿ＦＬＧを読み込み、ステップ９０２に進
む（ステップ９０１）。

【０１０７】特徴量記憶部２８から、最初からＳＤ＿Ｃ
ＮＴ番目までの特徴量データＰＤａｔ＿１〜ＰＤａｔ＿
ＳＤ＿ＣＮＴを読み込み、各々のパラメータデータをＰ
＿Ｓｅｔ（ｔ）（ｔ＝０，．．．，ＳＤ＿ＣＮＴ）とす
る。ＬＣＮＴに何もセットされていなければ０をセット
する。左手特徴量データＬＰ＿Ｓｅｔ（ｌｎ）＝のｌｎ
＝ＬＣＮＴ番目以降に、Ｐ＿Ｓｅｔ（ｔ）のｌｈ
（ｔ）、ｌｅ（ｔ）、Ｌ＿Ｄａｔａ（ｔ）をセットす
る。セットした後、ＬＣＮＴにＳＤ＿ＣＮＴを加える。
ＲＣＮＴに何もセットされていなければ０をセットす
る。右手特徴量データＲＰ＿Ｓｅｔ（ｒｎ）＝のｒｎ＝
ＲＣＮＴ番目以降に、Ｐ＿Ｓｅｔ（ｔ）のｒｈ（ｔ）、
ｒｅ（ｔ）、Ｒ＿Ｄａｔａ（ｔ）をセットする。セット
した後、ＲＣＮＴにＳＤ＿ＣＮＴを加える（ステップ９
０２）。

【０１０８】ｒｅａｄ＿ｓｉｇｎａｌを変化検出部２９
に送信する。ｒｅａｄ＿ｓｉｇｎａｌを送信すると、ス
テップ９０４に進む（ステップ９０３）。

【０１０９】Ｌ＿ＦＬＧをチェックする。Ｌ＿ＦＬＧ＝
０の場合、ステップ９０６に進む。Ｌ＿ＦＬＧ＝１の場
合、ステップ９０５に進む（ステップ９０４）。

【０１１０】左手特徴量データＬＰ＿Ｓｅｔ（ｌｎ）か
ら左手の動作方向を解析すし、左手動作コードＬＭＣを
設定する。ＬＭＣに設定されるコードの一例を図２９に
示す。図２９は本の一例であり、設定する値は、各々の
動作に別の値を設定されていれば構わない。動作方向の
解析は、例えば、実施例５で記述する手動作方向解析方
法によって解析する。動作方向を解析できれば、他の方
法でも構わない（ステップ９０５）。

【０１１１】Ｒ＿ＦＬＧをチェックする。Ｒ＿ＦＬＧ＝
０の場合、ステップ９０８に進む。Ｒ＿ＦＬＧ＝１の場
合、ステップ９０７に進む（ステップ９０６）。

【０１１２】右手特徴量データＲＰ＿Ｓｅｔ（ｒｎ）か
ら右手の動作方向を、左手の動作方向と同様の手順で解
析し、右手動作コードＲＭＣを設定する。ＲＭＣの値も
ＬＭＣと同様図２９に示す値を設定する（ステップ９０
７）。

【０１１３】開始点ＳＴ＿ＰＮＴが検出されたかどうか
を示すフラグＳＴ＿ＣＨＫ＿ＦＬＧに１がセットされて
いる場合、ステップ９１０に進む。ＳＴ＿ＣＨＫ＿ＦＬ
Ｇに０がセットされている場合と、ＳＴ＿ＣＨＫ＿ＦＬ
Ｇに値がセットされていない場合、ステップ９０９に進
む（ステップ９０８）。

【０１１４】ＬＭＣと、ＲＭＣをチェックし、ＳＴ＿Ｐ
ＮＴかどうか判定する。ＬＭＣとＲＭＣの組合せが動作
の開始点を示す組合せの場合、ＳＴ＿ＣＨＫ＿ＦＬＧに
１をセットし、左手の動作区間データ数ＬＣ、右手の動
作区間データ数ＲＣに０をセットする。ＬＭＣとＲＭＣ
の組合せが動作の開始点を組合せを示す組合せでない場
合、ＳＴ＿ＣＨＫ＿ＦＬＧに０をセットする。図３０に
ＳＴ＿ＰＮＴを示す組合せの例を示す。ＬＭＣが０ｘ０
０の場合、ｒｈ＿ｆｌｇをチェックする。ｒｈ＿ｆｌｇ
＝０の場合、ＳＴ＿ＰＮＴと判定し、ＳＴ＿ＣＨＫ＿Ｆ
ＬＧに１をセットする。ｒｈ＿ｆｌｇ＝１、Ｒ＿ＦＬＧ
＝１の場合、ＲＭＣをチェックし、ＲＭＣが停止のコー
ド０ｘ００の場合、ＳＴ＿ＰＮＴと判定し、ＳＴ＿ＣＨ
Ｋ＿ＦＬＧに１をセットする。ＲＭＣが０ｘ００以外の
場合、ＳＴ＿ＰＮＴでないと判定し、ＳＴ＿ＣＨＫ＿Ｆ
ＬＧに０をセットする。ｒｈ＿ｆｌｇ＝１、Ｒ＿ＦＬＧ
＝０の場合、ＲＰ＿Ｓｅｔ（０）〜ＲＰ＿Ｓｅｔ（ＬＣ
ＮＴ）をチェックし、右手動作が停止かどうかチェック
する。停止であった場合、ＳＴ＿ＰＮＴと判定し、ＳＴ
＿ＣＨＫ＿ＦＬＧに１をセットする。停止でなかった場
合、ＳＴ＿ＰＮＴでないと判定し、ＳＴ＿ＣＨＫ＿ＦＬ
Ｇに０をセットする。例えば、ＬＭＣが０ｘ００で、ｒ
ｈ＿ｆｌｇが０の場合、開始点を示す組合せとなり、Ｓ
Ｔ＿ＣＨＫ＿ＦＬＧに１をセットする。なお、図３０
は、ほんの一例であり、組合せはこの通りでなくても、
開始点を決定できるように決定した組合せであればかま
わない。ＳＴ＿ＣＨＫ＿ＦＬＧをセットすると、ステッ
プ９０１に進む（ステップ９０９）。

【０１１５】ＬＭＣと、ＲＭＣをチェックし、終了点Ｅ
ＮＤ＿ＰＮＴかどうか判定する。ＬＭＣとＲＭＣの組合
せが動作の終了点を示す組合せかどうかチェックする。
動作の終了点を示す組合せは開始点を示す組合せと同一
の組合せとする。なお、終了点を示す組合せは、この通
りでなくてもよく、終了点を決定できるように決定した
組合せであればかまわない。ＬＭＣとＲＭＣが動作の終
了点を示す組合せの場合、ＥＮＤ＿ＰＮＴと決定し、ス
テップ９１２に進む。ＬＭＣとＲＭＣが動作の終了点を
示す組合せでない場合、ステップ９１１に進む（ステッ
プ９１０）。

【０１１６】Ｌ＿ＦＬＧ＝１の場合、ＬＭＣを左手動作
コード列ＬＭＣＤ（ＬＣ）にセットし、ＬＣに１を加え
る。Ｒ＿ＦＬＧ＝１の場合、ＲＭＣを右手動作コード列
ＲＭＣＤ（ＲＣ）にセットし、ＲＣに１を加える。ステ
ップ９０１に進む（ステップ９１１）。

【０１１７】ＬＭＣＤ（０）〜ＬＭＣＤ（ＬＣ−１）
と、ＲＭＣＤ（０）〜ＲＭＣＤ（ＲＣ−１）を出力信号
変換テーブルＣＨＧＴＢＬ２を用いて出力信号に変換す
る。出力信号変換テーブルＣＨＧＴＢＬ２の一例を図３
１に示す。例えば、ＬＣが２の場合、ＬＭＣＤ（０）と
ＬＭＣＤ（１）をｃｈｇ＿ｓｉｇｎａｌから取り出す。
ＬＭＣＤ（０）が０ｘ０１、ＬＭＣＤ（１）が０ｘ０３
であったとする。次に、ＲＣを取り出す。ＲＣが０であ
ったとする。ＲＣが０である場合、ＲＭＣＤ（ｒｎ）は
何もとりささず、ＣＨＧＴＢＬから、ＬＭＣＤ（０）と
ＬＭＮＣＤ（１）を検索し、ＬＭＣＤ（０）が１で、Ｌ
ＭＣＤ（１）が３で、ＲＣが０である出力コード０ｘ１
２３４を取り出す。手動作解析部３０は、出力部３２に
取り出した０ｘ１２３４を出力する。例えば、文字列と
して出力する場合は、出力コードには、文字コード列が
セットされ、出力部３２は、例えば、出力コードの文字
列を表示する（ステップ９１３）。

【０１１８】（実施例５）次に、第５の実施例の手動作
方向解析方法について記述する。手動作方向の解析手順
を、図１２の流れ図と図２を用いて説明する。。左手の
手動作解析の場合を例として説明する。右手の場合も同
様の手順で解析できる。

【０１１９】手方向を算出する。ｌｈ（０）＝（Ｘｌｈ
（０），Ｙｌｈ（０））とｌｈ（ＬＣＮＴ）＝（Ｘｌｈ
（ＬＣＮＴ），Ｙｌｈ（ＬＣＮＴ））から、ステップ８
０５、ステップ８０６と同様の手順でＨ＿Ｄｉｒを求め
る（ステップ１００１）。

【０１２０】Ｈ＿ＤｉｒがＳＴＯＰ＿ＨＡＮＤである場
合、ステップ１００３に進む。Ｈ＿ＤｉｒがＳＴＯＰ＿
ＨＡＮＤ以外の場合、ステップ１００４に進む。（ステ
ップ１００２）ｌｅｈｌ（０）＝（Ｘｌｅ（０），Ｙｌ
ｅ（０））とｌｅｈｌ（ＬＣＮＴ）＝（Ｘｌｅ（ＬＣＮ
Ｔ），Ｙｌｅ（ＬＣＮＴ））から、数１３を用いて、Ｌ
ＭＣをセットする。ＬＭＣをセットすると、手動作方向
解析手順を終了する（ステップ１００３）。

【０１２１】

【数１３】

【０１２２】水平方向動作（Ｈ＿Ｄｉｒ＝１、もしくは
Ｈ＿Ｄｉｒ＝２）の場合、数１４を用いて、手動作の平
均の高さＶｌｈを求める。

【０１２３】

【数１４】

【０１２４】垂直方向動作（Ｈ＿Ｄｉｒ＝３、Ｈ＿Ｄｉ
ｒ＝４）の場合、数１５を用いて、手動作の平均の位置
Ｈｌｈを求める。

【０１２５】

【数１５】

【０１２６】数１６、数１７を用いて手動作モデル位置
Ｍｄｌ＿Ｐを求める。

【０１２７】

【数１６】

【０１２８】

【数１７】

【０１２９】ただし、数１６のＹＳｉｚｅは画像面の高
さである。ただし、数１７のＸｓｉｚｅは画像面の幅、
αは閾値で、例えば、（Ｘｌｓ−Ｘｒｓ）／４という値
をとる。Ｈ＿Ｄｉｒが水平方向、垂直方向以外の場合、
Ｍｄｌ＿Ｐに１をセットする（ステップ１００４）。

【０１３０】３次元手運動方向と、２次元移動方向の関
係を図３２に示す。図３２の３次元運動方向の括弧内の
値は、手動作コードであり、２次元移動方向の括弧内の
値は、２次元コードである。図３２に示す通り、２次元
移動方向が同一の手動作は、３つとなり、２次元コード
によって、手動作モデルを分割しておき、ＬＨ＿Ｄｉ
ｒ、ＲＨ＿Ｄｉｒを用いて選択した手動作モデルと、特
徴量を用いてマッチングを行なうことにより、認識が可
能となる。

【０１３１】知識記憶部３１から、マッチングを行なう
ためのモデルデータＭ＿Ｓｅｔ（ｓ）＝を取り出す。モ
デルデータの記憶形式の一例を図３３に示す。最初に左
手のモデルの先頭番地ＬＨ＿ａｄｒが記憶されている。
ＬＨ＿ａｄｒに続いて、右手のモデルの先頭番地ＲＨ＿
ａｄｒがセットされている。ＬＨ＿ａｄｒ番地以降に、
左手の動作のモデルデータが記憶されている。左手の動
作モデルデータは、最初に、左手方向コードＬＣ１〜Ｌ
ＣＮとＬＣ１〜ＬＣＮに対するモデルの先頭番地ＬＣ１
＿ａｄｒ〜ＬＣＮ＿ａｄｒが左手方向コードの小さい順
に記憶されている。例えば、最初に手方向コード１が記
憶され、続いて、手方向コード１のモデルの先頭番地Ｌ
Ｃ１＿ａｄｒが記憶され、以降順に手移動コードの小さ
い順に続く。各のモデルの先頭番地が指す番地以降に
は、動作位置１、動作位置２、動作位置３各々に対する
モデルの先頭番地が順に記憶されている。各動作位置に
対するモデルの先頭番地が指す番地以降には、モデルデ
ータ数ＭＣＮＴが記憶されている。モデルデータ数ＭＣ
ＮＴに続いて、ＭＣＮＴ組のモデルデータが記憶されて
いる。ＲＨ＿ａｄｒ番地以降には、右手のモデルデータ
が、左手のモデルデータと同様の形式で記憶されてい
る。

【０１３２】ＬＨ＿ａｄｒ以降に記録されている手移動
コードから、ＬＨ＿Ｄｉｒと一致するものを探す。一致
する手移動コードに続く、その手移動コードに対するモ
デルの先頭番地を取り出し、ＬＣ＿ａｄｒにセットす
る。例えば、ＬＨ＿Ｄｉｒが１であった場合、ＬＣ１〜
ＬＣＮからＬＣ１＝１を探し、モデルの先頭番地ＬＣ１
＿ａｄｒを取り出し、ＬＣ＿ａｄｒにセットする。Ｍｄ
ｌ＿Ｐの値をチェックし、ＬＣ＿ａｄｒ以降に記憶され
ている動作位置Ｍｄｌ＿Ｐのモデル先頭番地を取り出
し、ＬＭＰ＿ａｄｒにセットする。例えば、Ｍｄｌ＿Ｐ
が１である場合、動作位置１の先頭番地ＬＭＰ１＿ａｄ
ｒをＬＭＰ＿ａｄｒにセットする。次に、ＬＭＰ＿ａｄ
ｒにセットされているモデルデータ数ＭＣＮＴを取り出
す。次に、ＭＣＮＴ組の手動作モデルを取り出す。各手
動作モデルは、図３４に示す形式で記憶されている。最
初に運動方向コードＭｖ＿Ｃｏｄｅドが記憶されてい
る。続いて特徴量データ数Ｍが記憶されている。Ｍに続
いてＭ組の特徴量データが記憶されている。特徴量デー
タは、ＰＩＤ、ＰＤ、点数Ｌ及び、各パラメータ値が順
に記憶される。最初に、１組めのモデルデータのＭｖ＿
Ｃｏｄｅをｍｖ＿ｃｏｄｅ（０）にセットする。続い
て、ＰＩＤが左手（０ｘ０２）のモデル特徴量データを
取り出す。パラメータデータのＤ１（ｌ）（ｌ＝
０，．．．，Ｌ−１）をＸｌｈ（０）［ｌ］にセット
し、Ｄ２（ｌ）（ｌ＝０，．．．，Ｌ−１）をＹｌｈ
（０）［ｌ］にセットする。以降同様にして、ＰＩＤを
チェックして、Ｌ組の左肘ｌｈ（０）［ｌ］、各左手パ
ラメータＬ＿Ｄａｔａ（ｓ）［ｌ］をセットする。以降
同様にして、ＭＣＮＴのモデルデータＭＰ＿Ｓｅｔ
（ｓ）＝（ｓ＝０，．．．，ＭＣＮＴ−１：ｌ＝
０，．．．，Ｌ−１）を取り出す（ステップ１００
５）。

【０１３３】取り出した動作モデルデータＭＰ＿Ｓｅｔ
（ｓ）と左手特徴量データＬＰ＿Ｓｅｔ（ｌｎ）の各パ
ラメータＰの距離Ｄ（Ｐ）［ｓ］（ｓ＝０，．．．，Ｍ
ＣＮＴ）を数１８を用いて計算する（ステップ１００
６）。

【０１３４】

【数１８】

【０１３５】数１９を用いて、手動作コードｍｖ＿ｃｏ
ｄｅ（ｓ）の距離Ｄｉｓｔ（ｓ）を計算する（ステップ
１００７）。

【０１３６】

【数１９】

【０１３７】距離Ｄｉｓｔ（ｓ）が最小となる手動作コ
ードｍｖ＿ｃｏｄｅ（ｓ）をＬＭＣにセットし、手動作
コードを終了する（ステップ１００８）。

【０１３８】

【発明の効果】１台のカメラで撮影しても、手と肘と肩
から得られる特徴量を計算することで、手動作を認識す
ることが可能になる。

【０１３９】また、手動作の変化点を検出し、変化点で
手動作を分割することにより、認識を行なう手動作の種
類が増えても、手動作のモデルを増やさずに、手動作の
認識を行なうことが可能である。

【０１４０】また、認識対象の手動作の種類が膨大にな
っても、画像面上の手動作の軌跡によってて動作モデル
を分割することにより、手動作の認識速度が向上する。

【図面の簡単な説明】

【図１】本発明の手動作解析装置の構成図

【図２】本発明の手動作解析装置の構成図

【図３】身体部位抽出過程の流れ図

【図４】特徴量抽出過程の流れ図

【図５】手動作解析装置の手動作解析出力過程の流れ図

【図６】手動作認識方法の手動作解析手順の流れ図

【図７】モデル間距離算出処理の流れ図

【図８】グループ決定手順の流れ図

【図９】手動作認識方法の変化検出過程の流れ図

【図１０】手方向変化フラグ設定手順の流れ図

【図１１】手動作認識方法の手動作解析出力過程の流れ
図

【図１２】手動作の３次元動き方向解析手順の流れ図

【図１３】抽出された肌色領域の一例を示す図

【図１４】人物輪郭画像の一例を示す図

【図１５】抽出された赤色領域の一例を示す図

【図１６】部位データ記憶形式の一例を示す図

【図１７】本実施例で使用する特徴量データの一例を示
す図

【図１８】特徴量データ記憶形式の一例を示す図

【図１９】パラメータデータ形式の一例を示す図

【図２０】パラメータ識別子の一例を示す図

【図２１】出力信号変換テーブル１の一を示す図

【図２２】手動作モデルデータの記憶形式の一例を示す
図

【図２３】手動作モデルデータ形式の一例を示す図

【図２４】認識結果の一例を示す図

【図２５】距離計算の説明図

【図２６】手動作モデルデータのグループ別記憶形式の
一例を示す図

【図２７】変化検出信号の一例を示す図

【図２８】２次元コードの一例を示す図

【図２９】手運動方向コードの一例を示す図

【図３０】開始点の手動作コードの組合せの一例を示す
図

【図３１】出力信号変換テーブル２の一例を示す図

【図３２】２次元移動方向と３次元運動方向の関係を示
す図

【図３３】モデルデータ記憶形式の一例を示す図

【図３４】モデル動作データのデータ形式の一例を示す
図

【符号の説明】

ＩＭＧ＿１〜ＩＭＧ＿Ｎ 画像記憶部４、画像記憶部２
４に記憶されている画像 Ｒ１、Ｒ２、Ｒ３ 抽出された肌色領域 ｒｆ 画素のＲ成分 ｇｆ 画素のＧ成分 ｂｆ 画素のＢ成分 ｒｓ 肌色のＲ成分 ｇｓ 肌色のＧ成分 ｂｓ 肌色のＢ成分 ＦＲ 顔領域 ＬＨＲ 左手領域 ＲＨＲ 右手領域 ｆｃ 顔の重心 Ｘｆｃ 顔重心の画像面上でのＸ座標 Ｙｆｃ 顔重心の画像面上でのＹ座標 ｌｈ 左手の重心 Ｘｌｈ 左手重心の画像面上でのＸ座標 Ｙｌｈ 左手重心の画像面上でのＹ座標 ｒｈ 右手の重心 Ｘｒｈ 右手重心の画像面上でのＸ座標 Ｙｒｈ 右手重心の画像面上でのＹ座標 ｌｈ＿ｆｌｇ 左手が存在するかどうかを示すフラグ ｒｈ＿ｆｌｇ 右手が存在するかどうかを示すフラグ ＩＭＧ＿ＢＡＣＫ 人物が写っていない背景画像 ＩＭＧ＿Ｅｄｇｅ 人物輪郭画像 ｂｄ＿ｅｄｇｅ 人物の輪郭線 ｆｒｐ 顔の重心を通る水平線と輪郭線右側の交点であ
る顔右交点 ｂｒｐ 顔右交点から下ろした垂線と輪郭線の交点であ
る胴体右交点 ｒｓ＿ｌｉｎｅ 胴体右交点を通る輪郭線との接線であ
る右肩接線 ｆｌｐ 顔の重心を通る水平線と輪郭線左側の交点であ
る顔左交点 ｂｌｐ 顔左交点から下ろした垂線と輪郭線の交点であ
る胴体左交点 ｌｓ＿ｌｉｎｅ 胴体左交点を通る輪郭線との接線であ
る左肩接線 ｌｓ 左肩 Ｘｌｓ 左肩の画像面上でのＸ座標 Ｙｌｓ 左肩の画像面上でのＹ座標 ｒｓ 右肩 Ｘｒｓ 右肩の画像面上でのＸ座標 Ｙｒｓ 右肩の画像面上でのＹ座標 ＳＬＤ＿ＴＨ 肩を検出するための閾値 ＬＥ＿Ｍ 左肘指標物 ＲＥ＿Ｍ 右肘指標物 ＭＩＮ＿ＴＨ 肘領域の最小の大きさを規定する閾値 Ｓ１，Ｓ２ 抽出された赤色の領域 ＬＥＲ 左肘領域 ＲＥＲ 右肘領域 ｌｅ 左肘 Ｘｌｅ 左肘の画像面上でのＸ座標 Ｙｌｅ 左肘の画像面上でのＹ座標 ｒｅ 右肘 Ｘｒｅ 右肘の画像面上でのＸ座標 Ｙｒｅ 右肘の画像面上でのＹ座標 ＢＣＮＴ 部位データ記憶部６に記憶されている部位デ
ータの数 ＢＤａｔ＿１〜ＢＤａｔ＿ＢＣＮＴ 部位データ記憶部
６に記憶されている部位データ ｌｅｈｌ 左手と左肘の距離 ｒｅｈｌ 右手と右肘の距離 ｌｅｈｘｄ 左肘のＸ座標と左手のＸ座標の差分 ｒｅｈｘｄ 右肘のＸ座標と右手のＸ座標の差分 ｌｅｈｙｄ 左肘のＹ座標と左手のＹ座標の差分 ｒｅｈｙｄ 右肘のＹ座標と右手のＹ座標の差分 ｌｍ 左肩と左手の中点 Ｘｌｍ 左肩と左手の中点のＸ座標 Ｙｌｍ 左肩と左手の中点のＹ座標 ｒｍ 右肩と右手の中点 Ｘｒｍ 右肩と右手の中点のＸ座標 Ｙｒｍ 右肩と右手の中点のＹ座標 ｌｅｍｄ 左肩と左手の中点と左肘の距離 ｒｅｍｄ 右肩と右手の中点と右肘の距離 Ｌ＿Ｄａｔａ 左特徴データ（ｌｅｈｌ，ｌｅｈｘｄ，
ｌｅｈｙｄ，ｌｅｍｄ） Ｒ＿Ｄａｔａ 右特徴データ（ｒｅｈｌ，ｒｅｈｘｄ，
ｒｅｈｙｄ，ｒｅｍｄ） ＰＣＮＴ 特徴量記憶部８に記憶されている特徴量デー
タの数 ＰＥＮＤ＿ＦＬＧ パラメータ終了フラグ ＰＤａｔ＿１〜ＰＤａｔ＿ＰＣＮＴ 特徴量記憶部に記
憶されている特徴量データ ＰＩＤ パラメータ識別ＩＤ ＰＤ パラメータの次元数 Ｄ＿１〜Ｄ＿ＰＤ パラメータのデータ値 Ｓｔ＿ＰＮＴ 手動作の開始点 Ｓｔ＿ＩＮＴ 手動作の開始を規定する静止時間閾値 Ｓｔ＿Ｔｉｍｅ 静止区間の継続時間 Ｄｅｆ＿ｌｈ 左手の変化量 Ｄｅｆ＿ｌｅ 左肘の変化量 Ｄｅｆ＿ｌ 左手と左肘の変化量の和 Ｄｅｆ＿ｒｈ 右手の変化量 Ｄｅｆ＿ｒｅ 右肘の変化量 Ｄｅｆ＿ｒ 右手と右肘の変化量の和 Ｄｅｆ＿ｓｕｍ 左手、左肘、右手、右肘の変化量の和 Ｓｔ＿ＴＨ 静止を検出するための移動距離の和の閾値 Ｓｔ＿Ｓｅｃｔ 手動作静止区間 ｎ 読み込み番号、および手動作区間中のデータ数 Ｐ＿Ｓｅｔ（ｎ） ｎ番目に読み込んだパラメータの組 ｌｈ＿ｆｌｇ（ｎ） Ｐ＿Ｓｅｔ（ｎ）に含まれる左手
存在フラグ ｌｈ（ｎ） Ｐ＿Ｓｅｔ（ｎ）に含まれる左手 ｌｅ（ｎ） Ｐ＿Ｓｅｔ（ｎ）に含まれる左肘 Ｌ＿Ｄａｔａ（ｎ） Ｐ＿Ｓｅｔ（ｎ）に含まれる左特
徴データ ｌｅｈｌ（ｎ） Ｌ＿Ｄａｔａ（ｎ）に含まれる左手と
左肘の距離 ｌｅｈｘｄ（ｎ） Ｌ＿Ｄａｔａ（ｎ）に含まれる左肘
のＸ座標と左手のＸ座標の差分 ｌｅｈｙｄ（ｎ） Ｌ＿Ｄａｔａ（ｎ）に含まれる左肘
のＹ座標と左手のＹ座標の差分 ｌｅｍｄ（ｎ） Ｌ＿Ｄａｔａ（ｎ）に含まれる左肩と
左手の中点と左肘の距離 ｒｈ＿ｆｌｇ（ｎ） Ｐ＿Ｓｅｔ（ｎ）に含まれる右手
存在フラグ ｒｈ（ｎ） Ｐ＿Ｓｅｔ（ｎ）に含まれる右手 ｒｅ（ｎ） Ｐ＿Ｓｅｔ（ｎ）に含まれる右肘 Ｒ＿Ｄａｔａ（ｎ） Ｐ＿Ｓｅｔ（ｎ）に含まれる右特
徴データ ｒｅｈｌ（ｎ） Ｒ＿Ｄａｔａ（ｎ）に含まれる右手と
右肘の距離 ｒｅｈｘｄ（ｎ） Ｒ＿Ｄａｔａ（ｎ）に含まれる右肘
のＸ座標と右手のＸ座標の差分 ｒｅｈｙｄ（ｎ） Ｒ＿Ｄａｔａ（ｎ）に含まれる右肘
のＹ座標と右手のＹ座標の差分 ｒｅｍｄ（ｎ） Ｒ＿Ｄａｔａ（ｎ）に含まれる右肩と
右手の中点と右肘の距離 ＥＮＤ＿ＰＮＴ 手動作の終了点 Ｒｅｓｕｌｔ 手動作認識結果 ＮＯＭＥＡＮ 手動作に意味がないことを示すコード Ｏｕｔｐｕｔ 出力信号 Ｍｄｌ＿ＣＮＴ 手動作モデル数 Ｍｄｌ＿Ｎｕｍ 距離を計算するモデル番号 ＨＭ＿Ｃｏｄｅ 手動作コード ＤＣＮＴ 各モデルデータのデータ点数 ＭＰ＿Ｓｅｔ（ｍ） ｍ番目のモデル特徴量データ ｌｈ＿ｆｌｇ＿ｍ（ｍ） ｍ番目のモデル特徴量データ
の左手フラグ ｌｈ＿ｍ（ｍ） ｍ番目のモデル特徴量データの左手 ｌｅ＿ｍ（ｍ） ｍ番目のモデル特徴量データの左肘 Ｌ＿Ｄａｔａ＿ｍ（ｍ） ｍ番目のモデル特徴量データ
の左特徴データ ｌｅｈｌ＿ｍ（ｍ） ｍ番目のモデル特徴量データの左
特徴データの左肘と左手の長さ ｌｅｈｘｄ＿ｍ（ｍ） ｍ番目のモデル特徴量データの
左特徴データの左肘と左手のＸ差分 ｌｅｈｙｄ＿ｍ（ｍ） ｍ番目のモデル特徴量データの
左特徴データの左肘と左手のＹ差分 ｌｅｍｄ＿ｍ（ｍ） ｍ番目のモデル特徴量データの左
特徴データの左手と左肩の中点と左肘の距離 ｒｈ＿ｆｌｇ＿ｍ（ｍ） ｍ番目のモデル特徴量データ
の右手フラグ ｒｈ＿ｍ（ｍ） ｍ番目のモデル特徴量データの右手 ｒｅ＿ｍ（ｍ） ｍ番目のモデル特徴量データの右肘 Ｒ＿Ｄａｔａ＿ｍ（ｍ） ｍ番目のモデル特徴量データ
の右特徴データ ｒｅｈｌ＿ｍ（ｍ） ｍ番目のモデル特徴量データの右
特徴データの右肘と右手の長さ ｒｅｈｘｄ＿ｍ（ｍ） ｍ番目のモデル特徴量データの
右特徴データの右肘と右手のＸ差分 ｒｅｈｙｄ＿ｍ（ｍ） ｍ番目のモデル特徴量データの
右特徴データの右肘と右手のＹ差分 ｒｅｍｄ＿ｍ（ｍ） ｍ番目のモデル特徴量データの右
特徴データの右手と右肩の中点と右肘の長さ ＴＰ＿Ｓｅｔ（ｔ）処理対象のパラメータセットの組 ｔｈ＿ｆｌｇ（ｔ） Ｐ＿Ｓｅｔ（ｔ）に含まれる左手
存在フラグ ｔｈ（ｔ） ＴＰ＿Ｓｅｔ（ｔ）に含まれる左手 ｔｅ（ｔ） ＴＰ＿Ｓｅｔ（ｔ）に含まれる左肘 Ｔ＿Ｄａｔａ（ｔ） ＴＰ＿Ｓｅｔ（ｔ）に含まれる左
特徴データ ｔｅｈｌ（ｔ） Ｔ＿Ｄａｔａ（ｔ）に含まれる左手と
左肘の距離 ｔｅｈｘｄ（ｔ） Ｔ＿Ｄａｔａ（ｔ）に含まれる左肘
のＸ座標と左手のＸ座標の差分 ｔｅｈｙｄ（ｔ） Ｔ＿Ｄａｔａ（ｔ）に含まれる左肘
のＹ座標と左手のＹ座標の差分 ｔｅｍｄ（ｔ） Ｔ＿Ｄａｔａ（ｔ）に含まれる左肩と
左手の中点と左肘の距離 ＴＭＰ＿Ｓｅｔ（ｔ）処理計算対象のモデルパラメータ
セットの組 ｍｈ＿ｆｌｇ（ｍ）ＴＭＰ＿Ｓｅｔ（ｍ）に含まれる左
手存在フラグ ｍｈ（ｍ） ＴＭＰ＿Ｓｅｔ（ｍ）に含まれる左手 ｍｅ（ｍ） ＴＭＰ＿Ｓｅｔ（ｍ）に含まれる左肘 Ｍ＿Ｄａｔａ（ｍ） ＴＭＰ＿Ｓｅｔ（ｍ）に含まれる
左特徴データ ｍｅｈｌ（ｍ） Ｍ＿Ｄａｔａ（ｍ）に含まれる左手と
左肘の距離 ｍｅｈｘｄ（ｍ） Ｔ＿Ｄａｔａ（ｍ）に含まれる左肘
のＸ座標と左手のＸ座標の差分 ｍｅｈｙｄ（ｍ） Ｍ＿Ｄａｔａ（ｍ）に含まれる左肘
のＹ座標と左手のＹ座標の差分 ｍｅｍｄ（ｍ） Ｍ＿Ｄａｔａ（ｍ）に含まれる左肩と
左手の中点と左肘の距離 ｄｉｓｔ＿ｌ 左手の特徴量のモデルとの距離 ｄｉｓｔ＿ｒ 右手の特徴量のモデルとの距離 Ｄｉｓｔ＿Ｍ モデルデータとの距離 Ｒｅｃｇ＿ｃｏｄｅ［Ｍｄｌ＿Ｎｕｍ］ Ｍｄｌ＿Ｎｕ
ｍ番目のモデルの手動作コード Ｒｅｃｇ＿ｄｉｓｔ［Ｍｄｌ＿Ｎｕｍ］ Ｍｄｌ＿Ｎｕ
ｍ番目のモデルとの距離 Ｉ 距離が最小となる時のモデル番号 Ｒｅｃｇ＿ＴＨ 認識結果を決定するための閾値 ＣＨＧＴＢＬ１ 手動作解析部９で使用する出力信号変
換テーブル ｓｔ＿ｐｎｔ ＴＰ＿Ｓｅｔ（ｔ）の手の出現点 ｅｎｄ＿ｐｎｔ ＴＰ＿Ｓｅｔ（ｔ）の手の消失点 ｓｔ＿ｐｎｔ＿ｍ ＴＭＰ＿Ｓｅｔ（ｔ）の手の出現点 ｅｎｄ＿ｐｎｔ＿ｍ ＴＭＰ＿Ｓｅｔ（ｔ）の手の消失
点 ｋ 手動作存在区間番号 Ｐ（ｉ） ＴＰ＿Ｓｅｔ（ｉ）のパラメータ Ｍ（ｊ） ＴＭＰ＿Ｓｅｔ（ｊ）のパラメータ Ｄ（Ｐ）［ｋ］ パラメータＰのｋ番目に手が現れた区
間のモデルとの距離 Ｓｕｍ＿Ｄ［ｋ］ Ｋ番目に手が現れた区間のモデルと
の距離 ｄｉｓｔ ＴＰ＿Ｓｅｔ（ｔ）とＴＭＰ＿Ｓｅｔ（ｍ）
の距離 ｇ１ 両手を最後まで使用する手動作のグループ ｇ２ 左手を最後まで使用しない手動作のグループ ｇ３ 右手を最後まで使用しない手動作のグループ ｇ４ 左手を部分的に使用し、右手を最後まで使用する
手動作のグループ ｇ５ 右手を部分的に使用し、左手を最後まで使用する
手動作のグループ ｇ６ 左手を部分的に使用し、右手を部分的に使用する
手動作のグループ ｍｖ＿ｇｌｐ 認識を行なう手動作が含まれる手動作の
グループ ｍｖ＿Ａｄｒ グループｍｖ＿ｇｌｐが記録されている
先頭番地 ｍｖ＿ＣＮＴ グループｍｖ＿ｇｌｐに含まれるモデル
手動作の数 Ａｄｒ＿ｇ１〜６ グループｇ１〜６が記録されている
先頭番地 ＣＮＴ＿ｇ１〜６ グループｇ１〜６に含まれるモデル
手動作の数 ｃｈｇ＿ｓｉｇｎａｌ 変化検出信号 ＬＨ＿Ｄｉｒ 左手の画像面上の移動方向 ＲＨ＿Ｄｉｒ 右手の画像面上の移動方向 Ｈ＿Ｄｉｒ 方向検出対象の手の画像面上の移動方向 ＰＨ＿Ｄｉｒ方向検出対象の手の前回の画像面上の移動
方向 ＮＯ＿ＨＡＮＤ 手が画像中に存在しないことを意味す
るコード ｃｈｇ＿ｆｌｇ 処理対象の手の手方向変化検出フラグ ｌｈ＿ｃｈｇ 左手方向変化検出フラグ ｒｈ＿ｃｈｇ 右手方向変化検出フラグ ＳＴ＿ＦＬＧ 信号開始フラグ ＳＤ＿ＣＮＴ 手移動コードが同一の区間の特徴量デー
タの数 Ｌ＿ＦＬＧ 左手変化の検出フラグ Ｒ＿ＦＬＧ 右手変化の検出フラグ ＥＮＤ＿ＦＬＧ 信号終了フラグ ｒｅａｄ＿ｓｉｇｎａｌ 読み込み終了信号 Ｖ 手の移動ベクトル Ｘｖ 手の移動ベクトルのＸ座標 Ｙｖ 手の移動ベクトルのＹ座標 θ 手の移動ベクトルのＸ軸との角度である手方位角 ＴＨ Ｈ＿Ｄｉｒを決定するための閾値 ＬＰ＿Ｓｅｔ（ｌｎ） 同一方向に移動する区間の左手
のパラメータの組 ｌｈ＿ｆｌｇ（ｌｎ） ＬＰ＿Ｓｅｔ（ｌｎ）に含まれ
る左手存在フラグ ｌｈ（ｌｎ） ＬＰ＿Ｓｅｔ（ｌｎ）に含まれる左手 ｌｅ（ｌｎ） ＬＰ＿Ｓｅｔ（ｌｎ）に含まれる左肘 Ｌ＿Ｄａｔａ（ｌｎ） ＬＰ＿Ｓｅｔ（ｌｎ）に含まれ
る左特徴データ ｌｅｈｌ（ｌｎ） Ｌ＿Ｄａｔａ（ｌｎ）に含まれる左
手と左肘の距離 ｌｅｈｘｄ（ｌｎ） Ｌ＿Ｄａｔａ（ｌｎ）に含まれる
左肘のＸ座標と左手のＸ座標の差分 ｌｅｈｙｄ（ｌｎ） Ｌ＿Ｄａｔａ（ｌｎ）に含まれる
左肘のＹ座標と左手のＹ座標の差分 ｌｅｍｄ（ｌｎ） Ｌ＿Ｄａｔａ（ｌｎ）に含まれる左
肩と左手の中点と左肘の距離 ＲＰ＿Ｓｅｔ（ｒｎ） 同一方向に移動する区間の右手
のパラメータの組 ｒｈ＿ｆｌｇ（ｒｎ） ＲＰ＿Ｓｅｔ（ｒｎ）に含まれ
る左手存在フラグ ｒｈ（ｒｎ） ＲＰ＿Ｓｅｔ（ｒｎ）に含まれる左手 ｒｅ（ｒｎ） ＲＰ＿Ｓｅｔ（ｒｎ）に含まれる左肘 Ｒ＿Ｄａｔａ（ｒｎ） ＲＰ＿Ｓｅｔ（ｒｎ）に含まれ
る左特徴データ ｒｅｈｌ（ｒｎ） Ｒ＿Ｄａｔａ（ｒｎ）に含まれる左
手と左肘の距離 ｒｅｈｘｄ（ｒｎ） Ｒ＿Ｄａｔａ（ｒｎ）に含まれる
左肘のＸ座標と左手のＸ座標の差分 ｒｅｈｙｄ（ｒｎ） Ｒ＿Ｄａｔａ（ｒｎ）に含まれる
左肘のＹ座標と左手のＹ座標の差分 ｒｅｍｄ（ｒｎ） Ｒ＿Ｄａｔａ（ｒｎ）に含まれる左
肩と左手の中点と左肘の距離 ＬＣＮＴ 左手が同一方向に動く区間の特徴量データ数 ＲＣＮＴ 右手が同一方向に動く区間の特徴量データ数 ＬＭＣ ３次元移動方向によって決定される左手動作コ
ード ＲＭＣ ３次元移動方向によって決定される右手動作コ
ード ＳＴ＿ＣＨＫ＿ＦＬＧ 開始点検出フラグ Ｖｌｈ 水平方向動作の左手の動作の平均の高さ Ｖｒｈ 水平方向動作の右手の動作の平均の高さ Ｈｌｈ 垂直方向動作の左手の動作の平均の位置 Ｈｒｈ 垂直方向動作の右手の動作の平均の位置 Ｍｄｌ＿Ｐ モデルの動作位置に付けられた番号 ＸＳｉｚｅ 画像面の幅 ＹＳｉｚｅ 画像面の高さ α モデルの動作位置を決定するための閾値 Ｍ＿Ｓｅｔ（ｓ） ｓ番目のモデルのモデルデータ ＨＭ＿Ｃｏｄｅ（ｓ） Ｍ＿Ｓｅｔ（ｓ）の手動作コー
ド ｌｈ（ｓ）［Ｌ］ Ｍ＿Ｓｅｔ（ｓ）のＬ点の左手座標
データ列 ｌｅ（ｓ）［Ｌ］ Ｍ＿Ｓｅｔ（ｓ）のＬ点の左肘座標
データ列 Ｌ＿Ｄａｔａ（ｓ）［Ｌ］ Ｍ＿Ｓｅｔ（ｓ）のＬ点
の左手特徴データ列 ｌｅｈｌ（ｓ）［Ｌ］ Ｌ＿Ｄａｔａ（ｓ）［Ｌ］のＬ
点の左手と左肘の距離 ｌｅｈｘｄ（ｓ）［Ｌ］ Ｌ＿Ｄａｔａ（ｓ）［Ｌ］の
Ｌ点の左肘のＸ座標と左手のＸ座標の差分 ｌｅｈｙｄ（ｓ）［Ｌ］ Ｌ＿Ｄａｔａ（ｓ）［Ｌ］の
Ｌ点の左肘のＹ座標と左手のＹ座標の差分 ｌｅｍｄ（ｓ）［Ｌ］ Ｌ＿Ｄａｔａ（ｓ）［Ｌ］のＬ
点の左肩と左手の中点と左肘の距離 ＬＨ＿Ａｄｒ 左手のモデル動作データの先頭番地 ＲＨ＿Ａｄｒ 右手のモデル動作データの先頭番地 ＬＨ＿Ｄｉｒ１〜ＬＨ＿ＤｉｒＮ左手の手方向コード ＬＣ１〜Ｎ＿ａｄｒ 手移動コードＬＨ＿Ｄｉｒ１〜Ｌ
Ｈ＿ＤｉｒＮのモデルデータの先頭番地 ＬＣ＿ａｄｒＬＨ＿Ｄｉｒのコードのモデルデータの先
頭番地 ＬＭＰ１〜３＿ａｄｒ Ｍｄｌ＿Ｐ＝１〜３のモデルデ
ータの先頭番地 ＬＭＰ＿ａｄｒ Ｍｄｌ＿Ｐのモデルデータの先頭番地 ＭＣＮＴ 各手移動コードのモデルデータの数 Ｍｖ＿Ｃｏｄｅ Ｍ 各モデルデータに含まれる特徴量データの数 Ｌ 各パラメータのデータ点数 ｍｖ＿ｃｏｄｅ（ｓ） ｓ番目のモデルの手動作コード Ｄｉｓｔ（ｓ） ｓ番目のモデルとの距離 ＬＭＣＤ（ｎ） 左手動作コード列 ＲＭＣＤ（ｎ） 右手動作コード列 ＬＣ 左手動作コード列に含まれる手動作コードの数 ＲＣ 右手動作コード列に含まれる手動作コードの数 ＣＨＧＴＢＬ２ 手動作解析部３０で使用する出力信号
変換テーブル １ 手動作認識装置 ２１ 手動作認識装置 ２、２２ 撮影装置 ３、２３ 画像入力部 ４、２４ 画像記憶部 ５、２５ 身体部位抽出部 ６、２６ 部位データ記憶部 ７、２７ 特徴量抽出部 ８、２８ 特徴量記憶部 ９、３０ 手動作解析部 １０、３１ 知識記憶部 １１、３２ 翻訳部 ２９ 手方向判定部

Claims (4)

【特許請求の範囲】
1. 【請求項１】少なくとも人物の上半身を撮影する１台の
   撮影手段と、前記撮影手段で撮影した画像を入力するた
   めの画像入力手段と、前記画像入力手段から送られる画
   像を記憶するための画像記憶手段と、前記記憶手段に記
   憶された前記画像上における手の位置、肘の位置、肩の
   位置を計算するための身体部位抽出手段と、前記身体部
   位抽出手段で計算された前記手の位置、前記肘の位置、
   前記肩の位置を記憶する身体部位記憶手段と、前記身体
   部位記憶手段に記憶された前記手の位置と前記肘の位置
   と前記肩の位置から、特徴量を計算するための特徴量抽
   出手段と、前記特徴量抽出手段で計算された前記特徴量
   と、前記手の位置と、前記肘の位置を記憶する特徴量記
   憶手段と、前記特徴量記憶手段に記憶されているデータ
   から、手動作を解析し、出力信号に変換する手動作解析
   手段と、前記手動作を解析するための知識を記憶してお
   く知識記憶手段と、前記手動作解析手段で変換された前
   記出力信号を出力する出力手段を有することを特徴とす
   る手動作認識装置。
2. 【請求項２】請求項１記載の手動作認識装置において、
   認識を行なう全ての手動作のモデルを用意しておき、画
   像面中の手の位置と、肘の位置と、肩の位置から計算さ
   れる特徴量と、前記モデルから得られる特徴量からなる
   手動作モデルを比較することによって、手動作を解析す
   ることを特徴とする手動作認識方法。
3. 【請求項３】請求項１記載の手動作認識装置に、画像上
   における手の動き方向の変化を検出する変化検出手段を
   追加したことを特徴とする手動作認識装置。
4. 【請求項４】画像面中の方向を一定の角度間隔で分割し
   たグループ毎に２次元コードを与え、認識を行なう全て
   の３次元単一方向動作に対して、前記３次元単一方向動
   作モデルから計算される特徴量モデルと、前記３次元単
   一方向動作モデルを２次元平面に投影した軌跡によって
   得られる前記２次元コードで表したモデル手方向を用意
   し、認識画像面上の手の移動方向によって前記２次元コ
   ードで表した手方向を算出し、前記手方向と前記モデル
   手方向が一致する前記３次元単一方向動作モデルの中か
   ら、前記認識画像面中の前記手の位置と、前記肘の位置
   と、前記肩の位置から計算される特徴量と、前記特徴量
   モデルを比較することにより、３次元運動方向を解析す
   ることを特徴とする手動作方向解析方法。