JPH07282235A - 動作認識装置 - Google Patents

Abstract

(57)【要約】 【目的】 肌色領域の抽出を行ない、指形状のコード
化、及び左右の手の空間中での動きをコード化すること
により、手動作の認識を容易にする。 【構成】 撮影装置３で撮影した手動作の時系列画像か
ら、肌色領域の抽出、顔、右手、左手の重心の抽出を行
ない、空間位置計算装置７で左てのひらと右てのひらの
空間位置を計算する。指形状コード作成装置１１で、指
形状コード列を作成する。手の使用状態、静動、指形状
の変化により、認識対象手動作の含まれるグループを特
定する。動きコード作成装置１６で、左右の手の動きコ
ードを作成する。開始位置コード作成装置１７では、手
動作の開始位置コードを作成する。手動作単語照合装置
２２は、動きコード、開始位置コード、指形状コードを
元に、特定したグループ中の手動作単語から、撮影装置
３で撮影された手動作と対応する手動作単語を決定す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動作認識装置に関し、
特に、センサや彩色された手袋などを用いることなく人
間の身振りや手振りの認識を行ない、認識結果に基づい
て人間と機械の間のインターフェースを行ない、指示装
置や手話認識などに利用可能な動作認識装置に関する。

【０００２】

【従来の技術】人間の手振り、身振りを理解する方法と
して、身体にセンサを付けて各状態を測定する方法があ
る。

【０００３】また、カメラを使う手法では、輪郭情報を
抽出し、あらかじめ用意されているモデルとの対比で状
態を推定する方法や、彩色した手袋を使い、色情報によ
って指の動きなどをとらえる方法がある。

【０００４】

【発明が解決しようとする課題】人の手動作、身振りを
認識しようとする時、体に光ファイバを装着して指形状
の変化で光量の変化を見ようとする装置が市販されてい
る。しかし体にコードを付けるため動きが制約された
り、装着感に課題が残る。また彩色された手袋を装着し
て、色の違いによって形状の認識を行なう方法もある
が、この方法も人体に手袋を装着せねばならず、手袋が
ない時には手動作、身ぶりの認識ができない。

【０００５】また、手動作を認識する場合に、手の空間
位置を計測するためには、複数台の撮影装置を用いた大
規模な装置を必要としていた。

【０００６】また、身振りや手振り等の、体動作を使っ
ての入力部を持つ装置において、常時監視を続けている
ときに、動作認識の開始のタイミングを的確に与えるこ
とが困難であった。

【０００７】上記問題点に鑑み、本発明は、手袋を装着
することなく肌色部分を抽出して、動きをコード化する
ことにより手動作の認識を行うことを目的とする。

【０００８】また、本願発明は、１台の撮影装置のみに
よって、手動作の認識を可能にすることを目的とする。

【０００９】さらに、本願発明は、動作認識開始の的確
なタイミングを与えることを目的とする。

【００１０】

【課題を解決するための手段】上記目的を達成するため
に、本願発明は、左右のカメラで１つの対象を別の方向
から撮影する撮影手段と、撮影がおこなわれた左右のカ
メラの画像を記憶する記憶手段と、画像の中で肌色部分
を抽出する肌色抽出手段と肌色部分の面積の重心位置を
計する重心検出手段と、重心検出手段によって求められ
た重心位置座標の、左右のカメラの視差により左右のて
のひらの空間における絶対座標を求める空間位置計算手
段と、空間位置計算手段によって求められた値を記憶す
る空間位置記憶手段とを備えた動作認識装置である。

【００１１】また、上記構成に加え、使用しているての
ひらを特定する使用てのひら特定手段と、使用している
てのひらが空間中で固定されているか動いているかを判
定する手動作静動判定手段と、てのひらの形状をコード
化する指形状コード作成手段指形状の変化を判定する形
状変化手段と、手動作の動作によるグループを特定する
グループ特定手段、手動作の動きをもとに手動作のグル
ープ化を行うグループ記憶手段、動きの変化点を検出す
る変化点検出手段、それをもとに動きコードを作成する
動きコード作成手段、使用しているてのひらの開始位置
コードを作成する開始位置コード作成手段、格納されて
いる指形状と指形状コード作成手段で作成されたコード
を照合する指形状照合手段、手動作単語を照合する手動
作単語照合手段、手動作をグループ毎にコード化して登
録をおこなう手動作単語記憶手段、特定された手動作単
語を音声、文字、アニメーションで出力する手動作単語
変換手段により構成される。

【００１２】また、認識対象を撮影する１つの撮影手段
と、撮影された画面から腕の各部分の形状を抽出する抽
出する腕形状抽出手段と、腕の各部分の形状と腕の各部
分に装着した指標物の形状とから空間位置を計算する空
間位計算手段を備えた動作認識装置である。

【００１３】また、認識開始の合図となる特徴を開始コ
ードとして保持した開始コード登録手段と、記憶手段に
記憶された画像から特徴を抽出して特徴コードを作成す
る特徴コード作成手段と、開始コードと特徴コードを比
較する認識開始コード判定手段と、開始コードと特徴コ
ードが一致したときに、動作認識部に認識開始信号を出
力する認識開始通知手段とを備えた動作認識装置であ
る。

【００１４】また、認識開始の合図となる画像を開始画
像として保持した開始画像登録手段と、記憶手段に記憶
された画像に前処理をかける画像加工手段と、前処理を
かけた画像と開始画像を比較する認識開始画像判定手段
と、前処理をかけた画像と開始画像が一致したときに、
動作認識部に認識開始信号を出力する認識開始通知手段
とを備えた動作認識装置である。

【００１５】

【作用】本発明の動作認識装置によれば、左右のカメラ
で１つの対象を別の方向から撮影し、撮影した画像から
肌色部分を抽出し、左右のてのひらの空間における絶対
座標を求め、空間位置を記憶することにより、手の動作
を認識することができる。

【００１６】また、使用しているてのひらを特定し、空
間中で固定されているか動いているかを判定し、てのひ
らの形状の変化を判定することにより手動作のグループ
を特定することができ、また動きコードを作成し、開始
位置コードを作成し、指形状を特定することにより、特
定されたグループの中での手動作単語の照合をおこなう
ことにより手動作単語の認識をおこなうことができる。

【００１７】また、肌色検出手段により肌色領域を抽出
し、重心検出手段で顔と左右てのひらの重心の画像中で
の位置を算出することができ、腕形状検出手段によって
腕の形状情報を知ることができ、空間位置計算手段によ
って、左右てのひらの重心の画像中での位置と、腕の形
状情報と、腕につけた輪状の指標物によって、左右ての
ひらの重心の３次元空間中での位置を計算することが可
能となり、１台の撮影装置のみによって、手動作の認識
を行なうことができる。

【００１８】また、特徴コード作成手段により入力画像
の特徴をコード化したものと、開始コード登録手段に登
録してある開始コードとが一致するかどうかを認識開始
コード判定手段により判定する。認識開始通知手段で
は、一致したという判定結果の場合に認識開始信号を発
生し、動作認識開始の的確なタイミングを与えることが
可能になる。

【００１９】また、画像加工手段により入力画像に前処
理をかけたものと、開始画像登録手段に登録してある画
像とが一致するかどうかを認識開始画像判定手段により
判定する。認識開始通知手段では、一致したという判定
結果の場合に認識開始信号を発生し、動作認識開始の的
確なタイミングを与えることが可能となる。

【００２０】

【実施例】 （実施例１）本発明の第１の実施例の動作認識装置につ
て、以下図面を参照しながら説明する。

【００２１】図１は、本発明の第１の実施例の動作認識
装置の構成を示す図である。テレビカメラ１，２は、手
を立体的に撮影するものである。

【００２２】左右のカメラの画像を撮影する撮影装置
３、左右のカメラの画像を記憶する記憶装置４、画像の
中の肌色部分を抽出する肌色抽出装置５、肌色部分の面
積の重心位置を計する重心検出装置６、重心検出装置６
によって求められた重心位置座標の左右カメラの視差に
より、左右のてのひらの空間における絶対座標を求める
空間位置計算装置７、空間位置計算装置７によって求め
られた値を記憶する空間位置記憶装置８、手動作が左て
のひらのみを使用しているか、右てのひらのみを使用し
ているか、両手を使用しているかを特定する使用てのひ
ら特定装置９、使用しているてのひらが空間中で固定さ
れているか動いているかを、空間位置計測装置８で求め
られたてのひらの絶対座標をもとに判定する手動作静動
判定装置１０、肌色検出装置５によって求めたてのひら
の形状をコード化する指形状コード作成装置１１、指形
状コード化装置１１の時系列な画像を比較することによ
り指形状の変化を判定する形状変化判定装置１２、また
てのひら特定装置９、手動作静動判定装置１０、手形状
変化判定装置１２の３つの装置結果を基に手話単語のグ
ループを特定するグループ特定装置１３、手話単語をグ
ループ化をおこなうための要素が書かれているグループ
記憶装置１３、空間位置計算装置８の時系列画像を比較
し動きの変化点を検出する変化点検出装置１５、それを
もとに動きコードを作成する動きコード作成装置１６、
空間位置計算装置８に蓄えられている最初の画像で使用
しているてのひらの開始位置コードを作成する開始位置
コード作成装置１７、指形状記憶装置１９に格納されて
いる形状と指形状コード作成装置１１で作成されたコー
ドを照合する指形状照合装置１８、動きコード作成装置
１６、開始位置コード作成装置１７、指形状照合装置１
８を使い手話単語を照合する手動作単語照合装置２０、
手話単語をグループ毎にコード化されて登録をしている
手動作単語記憶装置２２特定された手話単語を音声、文
字、アニメーションで出力する手動作単語変換装置２１
により構成される。

【００２３】次に、本実施例の具体的な動作について、
図５（ａ）〜（ｄ）に示すフローチャートと、図１を用
いて説明する。

【００２４】図１のように、テレビカメラ１，２によっ
て上半身部分がそれぞれ違う角度で撮影装置３により撮
影され、記憶装置４に蓄えられる（ステップ１０１）。

【００２５】記憶装置４は標準ではＮＴＳＣの規格であ
る１／３０秒のサンプリング間隔で格納されるが、記憶
装置４のパラメータを変更することによりサンプリング
周期を、例えば１／１０秒もしくは１／５秒への変更す
ることも可能である。図１０に示すようにサンプリング
された枚数の画像に時系列的な番号、ＩＭＧ＿１，ＩＭ
Ｇ＿２〜ＩＭＧ＿Ｎを付加する（ステップ１０２）。

【００２６】次にＩＭＧ＿１の画像より肌色検出装置５
によって図１０に示す肌色部分Ｓ１，Ｓ２，Ｓ３，Ｓ
４，Ｓ５の検出をおこなう（ステップ１０３）。

【００２７】自然界にも肌色は存在するがＳ４，Ｓ５の
ようなある一定以上の面積のない領域は孤立点として除
去をおこなう（ステップ１０４）。

【００２８】肌色領域の中で右てのひらをＳ１、左ての
ひらをＳ２、頭をＳ３、の特定をおこなう（ステップ１
０５）。

【００２９】次に肌色部分の輪郭抽出を行い、面積部分
の重心位置を重心検出装置６によって計算する。図１０
のＰ１，Ｐ２，Ｐ３が検出された重心位置である（ステ
ップ１０６）。

【００３０】図１１では重心検出装置６によって検出さ
れた左右のカメラでとらえた右てのひらの画像面上での
位置を示す。左右それぞれの画像面の中心を画像面の原
点としＰ１＿ｌｅｆｔ，Ｐ１＿ｒｉｇｈｔが左右のカメ
ラの画像に投影された右てのひらの重心位置である。こ
の時右カメラで撮影された時の座標値がＰ１＿Ｒｉｇｈ
ｔ＝（ＸＲ，ＹＲ）、左カメラで撮影された時の座標値
がＰ１＿ｌｅｆｔ＝（ＸＬ，ＹＬ）となる。このそれぞ
れの座標値を空間位置計算装置７におくる。

【００３１】

【数１】

【００３２】（数１）により、左右の視差をもとに右て
のひらの絶対座標が計算される。本実施例では撮影をお
こなう前にキャリブレーションをおこない、図１４に示
すように撮影される人の首の位置を絶対原点とし、右手
の方向をＸ軸の正の方向、頭の方向をＹ軸の正の方向人
の前方向をＺ軸正方向と定義をおこなう。右てのひらと
同様に左てのひら、顔の重心位置の絶対座標も計算をお
こなう（ステップ１０７）。

【００３３】サンプリングされた画像枚数だけ、右ての
ひら、左てのひら、顔の絶対位置を計算し、それぞれの
絶対座標の値を空間位置記憶装置８に格納する。具体的
な値の格納された一例を図１２に示す（ステップ１０
８）。

【００３４】図１２の値を使用てのひら特定装置９に入
れる（ステップ１０９）。本実施例では右てのひら、左
てのひらともに検出がおこなわれ、絶対座標系における
位置の特定がされているため、右てのひら、左てのひら
が使用していると判断される（ステップ１１０）。

【００３５】次に図１２の値を手動作静動判定装置１０
にいれる（ステップ１１１）。図１２の値の時系列的に
隣あったＸ，Ｙ，Ｚの座標値をに代入することにより右
手は動いているが、左手は動いていないことがわかる
（ステップ１１２）。

【００３６】

【数２】

【００３７】次に肌色検出装置５で検出された右てのひ
ら、左てのひらの画像をサンプリングされた枚数分指形
状コード作成装置１１に送り指形状コードを作成する。
指形状コード作成装置１１に送られてきた右てのひらの
画像を図１３に示す。

【００３８】次に指形状のコード化のアルゴリズムを記
す。図１４に示すように空間位置計算装置７で求められ
た重心Ｐ１と一番遠い肌色部分の位置を端点ｅ１とし、
重心Ｐ１と端点ｓ１を結んだ線をてのひらの向きベクト
ルＶＥＣとする。

【００３９】次に肌色部分を全て囲むことが出来る最小
の面積を持つ正方形ＳＱを正方形ＳＱの中心線とてのひ
らの向きベクトルＶＥＣをあわせ、正方形ＳＱの一辺を
端点ｅ１に合わせて、正方形ＳＱを作成する。

【００４０】次に図１５に示すように正方形ＳＱを４等
分する。それぞれの正方形をＳＱ＿０，ＳＱ＿１，ＳＱ
＿２，ＳＱ＿３とし、それぞれの肌色の面積の割合いを
求める。肌色の面積率がそれぞれの正方形ＳＱ＿０，Ｓ
Ｑ＿１，ＳＱ＿２，ＳＱ＿３の８０％を超えるものはコ
ードを１とし、２０％に満たない時にはコードを０とす
る。面積割合いが２０％から８０％の間の時にはコード
が不定としその領域を再び４等分する。図１５ではＳＱ
＿０，ＳＱ＿１，ＳＱ＿２，ＳＱ＿３ともに肌色の面積
率が２０％から８０％の間にあるため、コードは全て不
定となる。

【００４１】次にＳＱ＿０，ＳＱ＿１，ＳＱ＿２，ＳＱ
＿３を再び４等分する。その時の状態を図１６＿ａに示
す。ここではＳＱ＿１３，ＳＱ＿１６ はコード１に、
ＳＱ＿４，ＳＱ＿６，ＳＱ＿９，ＳＱ＿１１，ＳＱ＿１
２，ＳＱ＿１４，ＳＱ＿１９はコード０になり、図１６
＿ｂに示すようにＳＱ＿５，ＳＱ＿８，ＳＱ＿７，ＳＱ
＿１０，ＳＱ＿１５，ＳＱ＿１７，ＳＱ＿１８はコード
不定となる。

【００４２】再びコード不定となった領域を４等分す
る。４分割された状態を図１７＿ａに示す。この時ＳＱ
＿２６，ＳＱ＿３０，ＳＱ＿３１，ＳＱ＿３４，ＳＱ＿
３６，ＳＱ＿４０，ＳＱ＿４１，ＳＱ＿４４，ＳＱ＿４
５，ＳＱ＿４６がコード１となり、ＳＱ＿２０，ＳＱ＿
２２，ＳＱ＿２５，ＳＱ＿２７，ＳＱ＿３３，ＳＱ＿３
５，ＳＱ＿３７，ＳＱ＿３９がコード０となる。

【００４３】図１７＿ｂに示すようにハッチングがかか
ったところがコード化された領域で白い部分がコード不
定となっている部分である。コード不定の領域は再度４
分割され同様の処理がおこなわれる。本実施例では４分
割をおこなうのはここまでとし、この４分割をおこなっ
た時面積率が２０％から８０％の間の時には５０％を境
にしてコードを１もしくは０に特定する。

【００４４】以上の処理により、右てのひらの画像が図
１８に示すように全てコード化された。なおここでは階
層を４つにしているが、より詳しいコード化を図るため
に階層を深く取り５、６にしても良い（ステップ１１
３）。

【００４５】次に形状変化判定装置１２に時系列な手形
状のコード化された値が送られる（ステップ１１４）。

【００４６】図１３に示す時系列画像を同様にコード化
すると図１９のようになる。ＩＭＧ＿１のコード化され
た画像とＩＭＧ＿２の画像を重心Ｐ１と指方向ベクトル
ＶＥＣを重ね合わせるとコードは同じ形を示している。
手の向き方向ＶＥＣは画像上で変化しているがコード化
された形状は同じ形状を示している。つまり、この実施
例では形状の変化は認められず形状変化は無しと判定さ
れる（ステップ１１５）。

【００４７】使用てのひら特定装置９、手動作静動判定
装置１０、形状変化判定装置１２の結果がグループ特定
装置１３に送られグループ記憶装置１４の値を照合する
ことによりグループの特定がおこなわれる。

【００４８】本実施例では図２０に示すように両手使用
（使用てのひら特定装置９より）、左手固定、右手移動
（手動作静動判定装置１０より）、右手形状変化無し、
左手形状変化無し（形状変化判定装置１２より）で、グ
ループｉ に特定される（ステップ１１６）。

【００４９】グループｉ が特定されるとグループ特定
装置１３は手動作単語照合装置２０へグループ番号ｉ
を送る（ステップ１１７）。

【００５０】次に空間位置記憶装置８より求めた図１３
の画像ＩＭＧ＿２からＩＭＧ＿１のＸ，Ｙ，Ｚのそれぞ
れの座標の差分を取り動きの方向を求める。以下同じよ
うにＩＭＧ＿３からＩＭＧ＿２の差分ＩＭＧ＿４からＩ
ＭＧ＿３の差分．．．ＩＭＧ＿ＮからＩＭＧ＿（Ｎ−
１）の差分を求めると図２１に示す様な動きとなる（ス
テップ１１８）。

【００５１】図２１で求めた時系列の画像を変化点検出
装置１５に送ると（ＩＭＧ＿４−ＩＭＧ＿３）のところ
で動きが前方向より下方向に変化していることがわか
る。ここを変化点ＣＨＡＮＧＥとする（ステップ１１
９）。

【００５２】図２１に示す時系列なコードを動きコード
作成装置１６に渡すと変化点ＣＨＡＮＧＥを境に動きの
変化が認められるので（前方向，下方向）とコード化さ
れる。この時時間的要素はなくなっている。図２２＿ｂ
のようなテーブルをもとに動きコードが決定され、本実
施例では動きコードは（９，４）となる。動き方向は図
２２に示すようにある点からどの方向へ移動したかを示
す相対的な値である。本実施例では図２２＿ｂに示すよ
うに２６種類の動きコードがある（ステップ１２０）。

【００５３】次に空間位置記憶装置７の最初の値、図１
３に示すＩＭＧ＿１のＸ，Ｙ，Ｚの座標が開始位置コー
ド作成装置１７にわたされる。本実施例では図２３のコ
ードをもとにつくると右てのひらの開始位置コードは
（１，−１，１）となる（ステップ１２１）。

【００５４】指形状コード作成装置１１で求めた形状と
指形状記憶装置に格納されているパターンの照合をおこ
ない、指形状記憶装置１９の指形状番号を特定する（ス
テップ１２２）。

【００５５】ステップ１２０で求められた動きコード、
ステップ１２１で求められた開始位置コード、ステップ
１２２で求められた指形状番号を手動作単語照合装置２
０に送る（ステップ１２３）。

【００５６】手動作単語照合装置２０ではステップ１１
７で求められた図２４に示されるフォーマットで手話単
語が格納されているためグループコードｉに相当する手
話単語を候補として抜き出す。ステップ１２３で送られ
てきたコード及び番号をもとに候補の中の手話単語の特
定をおこなう（ステッ１２４）。

【００５７】なお手動作単語照合装置２０で認識された
手話単語を出力装置に送り、手動作単語のコードをもと
に音声、文字、遠隔地へのコードを送出し受信先でアニ
メーション等に変換し出力をおこなうことができる。

【００５８】なお、本実施例では手話単語の認識をおこ
なったがある人が任意に定めた体動作においても上記の
アルゴリズムを使うことにより認識をおこなうことがで
きる。

【００５９】（実施例２）次に、本発明の第２の実施例
の動作認識装置について説明する。本実施例の装置は、
図１に示す第１の実施例の構成の撮影装置３、記憶装置
４、肌色検出装置５、重心検出装置６、空間位置計算装
置７を、図２に示す構成に置き換えることで実現でき
る。

【００６０】図２に、本実施例の動作認識装置の空間位
置を計測するまでの構成の一例を示す。３０は、撮影装
置である。３１は、腕形状検出装置である。３２は、空
間位置計算装置である。撮影装置３０は、カメラ１台で
構成される。

【００６１】空間位置計算装置３２までの全体の処理の
流れを説明する。撮影装置３０は、人の腰の部分よりも
上が必ず入るように設置する。

【００６２】撮影装置３０で撮影され、サンプリングさ
れた一連の時系列画像を、時系列的に番号を割り当て
て、ＩＭＧ＿１、ＩＭＧ＿２、…、ＩＭＧ＿Ｎとする。
時系列画像ＩＭＧ＿１，ＩＭＧ＿２，．．．，ＩＭＧ＿
Ｎは、記憶装置４に格納される。

【００６３】記憶装置４に格納された時系列画像ＩＭＧ
＿１，ＩＭＧ＿２，．．．，ＩＭＧ＿Ｎは、ＩＭＧ＿１
から順番に取り出され、最終画像ＩＭＧ＿Ｎまで、１フ
レームずつ、肌色検出装置５、腕形状検出装置３１、空
間位置計算装置３２に送られ、以下の手順を各々の画像
ＩＭＧ＿ｉ（ｉ＝１，．．．，Ｎ）に対して行なう。

【００６４】肌色検出装置５は、画像ＩＭＧ＿ｉから顔
肌色領域ＦＳＰ、右手肌色領域ＲＳＰ、左手肌色領域Ｌ
ＳＰを検出し、重心検出装置６に渡す。

【００６５】重心検出装置６は、画像ＩＭＧ＿ｉ上にお
ける顔重心ＦＣ、左てのひら重心ＬＣ、右てのひら重心
ＲＣを検出し、腕形状検出装置３１に渡す。

【００６６】肌色検出装置５、及び重心検出装置６にお
ける処理は、第１の実施例で記載した通りである。

【００６７】腕形状検出装置３１は、渡された顔重心Ｆ
Ｃ、左てのひら重心ＬＣ、右てのひら重心ＲＣと、画像
ＩＭＧ＿ｉを元に、右肩ＳＲ、左肩ＳＬ、右肘ＥＲ、左
肘ＥＬ、腕形状情報ＡＳＩを計算し、腕形状情報ＡＳＩ
と、左てのひら重心ＬＣ、右てのひら重心ＲＣ、右肩Ｓ
Ｒ、左肩ＳＬ、右肘ＥＲ、左肘ＥＬを空間位置計算装置
３２に渡す。空間位置計算装置３２は、３次元空間中に
おける左手重心空間座標（Ｘｗｌ，Ｙｗｌ，Ｚｗｌ）、
右手重心空間座標（Ｘｗｒ，Ｙｗｒ，Ｚｗｒ）を計算す
る。

【００６８】次に、腕形状検出装置３１における、１枚
の画像ＩＭＧ＿ｉに対する処理手順について詳しく述べ
る。

【００６９】図２５に、画像ＩＭＧ＿ｉ中の対象人物Ｈ
Ｍの輪郭像と、腕形状検出装置３１で検出する腕形状情
報ＡＳＩを示す。

【００７０】腕形状検出装置３１の説明における座標値
は、撮影装置３０の画像面ＩＭＰの中心を原点Ｏｇと
し、水平右方向にＸ軸正方向をとり、垂直上方にＹ軸正
方向をとる座標系Ｏｇ−ＸＹにおける座標値である。画
像面ＩＭＰの右上の点の座標値を（ＷＩＤＥＴＨ／２，
ＨＥＩＧＨＴ／２）、画像面ＩＭＰの左下の点の座標を
（−ＷＩＤＥＴＨ／２，−ＨＥＩＧＨＴ／２）とする。
ＷＩＤＥＴＨは画像面ＩＭＰの幅であり、ＨＥＩＧＨＴ
は画像面ＩＭＰの高さである。ＲＵｄｘは、右上腕部Ｒ
Ｕの投影像のＸ軸方向の長さである。ＲＵｄｙは、右上
腕部ＲＵの投影像のＹ軸方向の長さである。ＲＬｄｘ
は、右下腕部ＲＬの投影像のＸ軸方向の長さである。Ｒ
Ｌｄｙは、右下腕部ＲＬの投影像のＹ軸方向の長さであ
る。ＬＵｄｘは、左上腕部ＬＵの投影像のＸ軸方向の長
さである。ＬＵｄｙは、左上腕部ＬＬの投影像のＹ軸方
向の長さである。ＬＬｄｘは、左下腕部ＬＬの投影像の
Ｘ軸方向の長さである。ＬＬｄｙは、左下腕部ＬＬの投
影像のＹ軸方向の長さである。

【００７１】図６に、腕形状検出装置３１の処理手順の
流れ図を示す。以下、流れ図にそって手順を詳しく述べ
る。

【００７２】まず、対象人物ＨＭの輪郭像を検出する。
対象人物ＨＭの輪郭像を抽出する方法の一例としては、
認識を行なう前に、対象人物を含まない背景のみの背景
画像ＢＧＩＭＧを撮影しておき記憶しておく。腕形状検
出装置３１に渡された画像ＩＭＧ＿ｉと背景画像ＢＧＩ
ＭＧの差分をとり、変化が大きな部分のみを画像ＩＭＧ
＿ｉから抽出する。抽出した部分のエッジ検出を行な
い、検出されたエッジを対象人物ＨＭの輪郭像とする。
図２６に抽出した輪郭像の例を示す（ステップ２０
０）。

【００７３】次に、胴体の左右端を検出する。直線ＩＰ
Ｌ（Ｙ＝−ＨＥＩＧＨＴ／２）上を、Ｘ＝−ＷＩＤＴＨ
／２からＸ正方向に探索していき、最初に輪郭像と交わ
る点を検出し、検出された点を胴体左端ＢＬとし、その
座標値を（Ｘｂｌ，−ＨＥＩＧＨＴ／２）とする。同様
に、直線ＩＰＬ上を、Ｘ＝ＷＩＤＴＨ／２からＸ負方向
に探索し、最初に輪郭像と交わる点を検出し、検出され
た点を胴体右端ＢＲとし、その座標値を（Ｘｂｒ，−Ｈ
ＥＩＧＨＴ／２）とする（ステップ２０１）。

【００７４】次に、左右の肩を検出する。重心検出装置
６で検出された顔重心ＦＣ（Ｘｆ，Ｙｆ）、右てのひら
重心ＲＣ（Ｘｒｃ，Ｙｒｃ）、左てのひら重心ＬＣ（Ｘ
ｌｃ，Ｙｌｃ）を元に、右肩ＳＲ（Ｘｓｒ，Ｙｓｒ）、
左肩ＳＬ（Ｘｓｌ，Ｙｓｌ）を求める。肩は、顔重心Ｆ
Ｃよりも下にあるため、顔重心ＦＣよりＳＤＳＦ下の点
ＳＣ（Ｘｆ，Ｙｆ−ＳＤＦＳ）から探索する。

【００７５】ここで、ＳＤＳＦは、あらかじめ登録して
おいた人の顔重心ＦＣと肩の高さの差分である。ＳＤＳ
Ｆは、認識対象の人物のデータを登録しておくか、複数
人の人物のデータの平均値を登録しておく。点ＳＣから
Ｘ軸に平行にＸ正方向へ探索し輪郭像の端点を検出し、
その点をＴＳＲ（Ｘｔｓｒ，Ｙｔｓｒ）とする。

【００７６】Ｘｔｓｒ＜Ｘｂｒの場合は、肩は、点ＳＣ
と点ＴＳＲのラインよりも下にあるとし、Ｘｔｓｒ＝Ｘ
ｂｒとなるまで、Ｙの値をｄｙずつ下げながら輪郭の端
点の検出を繰り返す。ｄｙは、パラメータであり、例え
ば１のように小さな値とする。ｎ回目でＸｔｓｒ＝Ｘｂ
ｒとなったとすると、右肩ＳＲの座標値は以下のように
なる。

【００７７】

【数３】

【００７８】Ｘｔｓｒ＞Ｘｂｒの場合は、点ＳＣと点Ｔ
ＳＲのラインよりも上にあるとし、Ｘｔｓｒ＝Ｘｂｒと
なるまで、Ｙの値をｄｙずつあげながら輪郭の端点の検
出を繰り返す。ｎ回目でＸｔｓｒ＝Ｘｂｒとなったとす
ると、右肩点ＳＲの座標値は以下のようになる。

【００７９】

【数４】

【００８０】Ｘｔｓｒ＝Ｘｂｒの場合は、右肩点ＳＲの
座標値は以下のようになる。

【００８１】

【数５】

【００８２】図の２６（ｂ）のように、点ＴＳＲが右手
肌色領域ＲＳＰ内である場合は、その端点からＹをｄｙ
ずつ下げながら輪郭を探索していき、端点が右手肌色領
域ＲＳＰとならない点ＰＲ（Ｘｐｒ，Ｙｐｒ）を検出す
る。

【００８３】次に、ＴＳＲからＹをｄｙずつあげながら
右手肌色領域ＲＳＰの輪郭を探索し、胴体の輪郭とぶつ
かる点ＱＲ（Ｘｑｒ，Ｙｑｒ）を検出する。点ＰＲと点
ＱＲより、右肩点ＳＲの座標は、以下のようになる。

【００８４】

【数６】

【００８５】次に、左肩点ＳＬを求める。点ＳＣからＸ
軸に平行に正方向に向かって輪郭像の端点を探索する。
検出された点をＴＳＬ（Ｘｔｓｌ，Ｙｔｓｌ）とする。
Ｘｔｓｌ＞Ｘｂｌの場合は、点ＳＣと点ＴＳＬのライン
よりも下にあるとし、Ｘｔｓｌ＝Ｘｂｌとなるまで、Ｙ
の値をｄｙずつ下げながら輪郭の端点の検出を繰り返
す。ｎ回目でＸｔｓｌ＝Ｘｂｌとなったとすると、左肩
点ＳＬの座標値は以下のようになる。

【００８６】

【数７】

【００８７】Ｘｔｓｒ＜Ｘｂｒの場合は、点ＳＣと点Ｔ
ＳＬのラインよりも上にあるとし、Ｘｔｓｒ＝Ｘｂｒと
なるまで、Ｙの値をｄｙずつあげながら輪郭の端点の検
出を繰り返す。ｎ回目でＸｔｓｌ＝Ｘｂｌとなったとす
ると、左肩点ＳＬの座標値は以下のようになる。

【００８８】

【数８】

【００８９】Ｘｔｓｌ＝Ｘｂｌの場合は、左肩点ＳＬの
座標値は以下のようになる。

【００９０】

【数９】

【００９１】図２６（ｂ）の点ＴＳＲと同様、点ＴＳＬ
が左手肌色領域ＬＳＰ内である場合は、点ＳＬからＹを
ｄｙずつ下げながら輪郭を探索していき、端点が左手肌
色領域ＬＳＰとならない点ＰＬ（Ｘｐｌ，Ｙｐｌ）を検
出する。つぎに、点ＳＬから、Ｙをｄｙずつあげながら
左手肌色領域ＬＳＰの輪郭を探索し、胴体の輪郭とぶつ
かる点ＱＬ（Ｘｑｌ，Ｙｑｌ）を検出する。点ＰＬと点
ＱＬより、右肩点ＳＬの座標は以下のようになる（ステ
ップ２０２）。

【００９２】

【数１０】

【００９３】次に、右肘ＥＲ（Ｘｅｒ，Ｙｅｒ）、左肘
ＥＬ（Ｘｅｌ，Ｙｅｌ）の候補を検出する。右肩ＳＲか
ら時計回り方向に右腕領域の輪郭上を探索し、接線方向
の変化量が、閾値ＤＥよりも大きな点を右肘候補点とし
て検出する。閾値ＤＥは、パラメータであり、ノイズの
影響が少なくなるように調整する。右肘候補点がｎ点検
出されたとして、その右肘候補点をＣｒｉ（ｉ＝
１，．．．，ｎ）とする。

【００９４】次に、左肩ＳＬから反時計回り方向に左腕
輪郭上を探索し、接線方向の変化量が、閾値ＤＥよりも
大きな点を左肘候補点として検出する。ｍ点の左肘候補
点が検出されたとして、候補点をＣｌｊ（ｊ＝
１，．．．，ｍ）とする（ステップ２０３）。

【００９５】右肘候補点が存在する場合は、右肘の検出
処理は次のステップ２０５に進み、存在しなければステ
ップ２１２に進む。同様に、左肘候補点が存在する場合
は、左肘の検出処理は次のステップ２０５に進み、存在
しなければステップ２１２に進む（ステップ２０４）。

【００９６】右肩候補点、左肩候補点が存在する場合、
肩の領域が手の肌色領域内にあるか、もしくは手重心が
腕の領域内にあるかチェックする。右肩ＳＲの位置が右
手肌色領域ＲＳＰ中に存在する場合、もしくは右てのひ
ら重心ＲＣが腕領域中に存在する場合は、ステップ２０
６に進む。同様に、左肩ＳＬの位置が左手肌色領域ＬＳ
Ｐ中に存在する場合、もしくは左てのひら重心ＬＣが腕
領域中に存在する場合は、ステップ２０６に進む（ステ
ップ２０５）。

【００９７】右肘候補点Ｃｒｉの内ＳＲからもっとも遠
い点を右肘ＥＲとする。同様に、左肘候補点Ｃｌｊの内
ＳＬからもっとも遠い左肘候補点を左肘ＥＬとする（ス
テップ２０６）。

【００９８】ステップ２０５の条件を満たさない場合、
候補点の絞り込みを行なう。右肘の検出処理では、右肘
候補点Ｃｒｉの内、右手肌色領域ＲＳＰ上の点となる右
肘候補点Ｃｒａは、右肘候補点から削除する。同様に、
左肘の検出処理では、左手肌色領域ＬＳＰ上の点となる
左肘候補点Ｃｌｂは、左肘候補点から削除する（ステッ
プ２０７）。

【００９９】次に、全右肘候補点Ｃｒｉと右肩ＳＲを結
ぶ直線上を探索して、直線上の点が腕領域から外れる点
が存在する右肘候補点Ｃｒｃを右肘候補点Ｃｒｉから削
除する。同様に、全左肘候補点Ｃｌｊと左肩ＳＬを結ぶ
直線上を探索して、直線上の点が腕領域から外れる点が
存在する左肘候補点Ｃｌｄを左肘候補点Ｃｌｊから削除
する（ステップ２０８）。

【０１００】次に、全右肘候補点Ｃｒｉと右手重心ＲＣ
を結ぶ直線上を探索して、腕領域から外れる点が存在す
る右肘候補点Ｃｒｅを右肘候補点Ｃｒｉから削除する。
同様に、全左肘候補点Ｃｌｊと左手重心ＬＣを結ぶ直線
上を探索して、腕領域から外れる点が存在する左肘候補
点Ｃｌｆは、その左肘候補点Ｃｌｊから削除する（ステ
ップ２０９）。

【０１０１】ステップ２０７からステップ２０９の処理
により、左右上腕部、及び左右下腕部の途中にある候補
点、及び手領域内にある候補点が削除される。

【０１０２】再度候補点が残っているかチェックし、右
肘候補点Ｃｒｉが残って入れは、右肘の検出処理は、ス
テップ２１１へ進み、右肘候補点Ｃｒｉが残っていなけ
れば、ステップ２１２へ進む。同様に、左肘候補点Ｃｌ
ｊが残って入れは、左肘の検出処理は、ステップ２１１
へ進み、左肘候補点Ｃｌｊが残っていなければ、ステッ
プ２１２へ進む（ステップ２１０）。

【０１０３】右肩ＳＲと右てのひら重心ＲＣを結ぶ直線
と、残った右肘候補点Ｃｒｉとの距離を調べ、もっとも
距離が遠い右肘候補点Ｃｒαを右肘ＥＲとする。左肩Ｓ
Ｌと左てのひら重心ＬＣを結ぶ直線と、残った左肘候補
点Ｃｌｊとの距離を調べ、もっとも距離が遠い左肘候補
点Ｃｌβを右肘ＥＬとする（ステップ２１１）。

【０１０４】ステップ２０４及びステップ２１０で、候
補点が存在しない場合の処理を行なう。右肘候補点Ｃｒ
ｉが存在しない場合には、右肩ＳＲと右てのひら重心Ｒ
Ｃの中点を右肘ＥＲとする。同様に、左肘候補点Ｃｌｉ
が存在しない場合には、左肩ＳＬと左てのひら重心ＬＣ
の中点を左肘ＥＬとする（ステップ２１２）。

【０１０５】右肩ＳＲ、左肩ＳＬ、右肘ＥＲ、左肘ＥＬ
が求まると、腕形状情報ＡＳＩを求める。腕形状情報Ａ
ＳＩは、各々次のようになる（ステップ２１３）。

【０１０６】

【数１１】

【０１０７】次に、空間位置計算装置３２の１枚の画像
ＩＭＰ＿ｉに対する処理手順について流れ図にそって説
明する。図７に、空間位置計算装置３２の処理手順の流
れ図を示す。

【０１０８】空間位置計算装置３２には、あらかじめ、
上腕部長ＳＵＡＬ、下腕部長ＳＬＡＬが登録されている
ものとする。上腕部長ＳＵＡＬ、下腕部長ＳＬＡＬは、
認識を行なう前に、手動作を行なう人の長さを登録して
おく。複数人のデータを入力し、その平均値を上腕部長
ＳＵＡＬ、下腕部長ＳＬＡＬとして登録しても良い。

【０１０９】空間位置計測装置３６は、空間座標系Ｏｗ
−ＸＹＺをとり、空間座標系Ｏｗ−ＸＹＺでの右手重心
空間座標（Ｘｗｒ，Ｙｗｒ，Ｚｗｒ）と、左手重心空間
座標（Ｘｗｌ，Ｙｗｌ，Ｚｗｌ）を計算する。ここで、
空間座標系Ｏｗ−ＸＹＺは、画像座標系Ｏｇ−ＸＹの原
点から伸ばした垂線と対象人物の体が交差する点を原点
とし、Ｘ軸、Ｙ軸は、画像座標系のＸ軸Ｙ軸に平行にと
り、Ｚ軸は対象人物から、画像面方向を正とする。

【０１１０】右手重心空間座標のＸｗｒに腕形状検出装
置３１から渡された右てのひら重心ＲＣのＸｒｃをその
まま代入する。右手重心空間座標のＹｗｒに腕形状検出
装置３１から渡された右てのひら重心ＲＣのＹｒｃをそ
のまま代入する。同様に、左手重心空間座標のＸｗｌに
腕形状検出装置３１から渡された左てのひら重心ＬＣの
Ｘｌｃをそのまま代入する。左手重心空間座標のＹｗｌ
に腕形状検出装置３１から渡された左てのひら重心ＬＣ
のＹｌｃをそのまま代入する（ステップ２２０）。

【０１１１】記憶装置３２から送られた画像ＩＭＧ＿ｉ
から、輪状の指標物を検出する。指標物の検出方法とし
て、例えば、指標物の色を赤色にしておき、画像ＩＭＧ
＿ｉ中から、赤色の領域を抜き出す。抜き出した領域を
各々細線化し、各々一本の曲線になるように処理する。
右手重心ＲＣと右肘ＥＲを結ぶ線分と交わる領域を右下
腕指標ＭＲＬとする。右肘ＥＲと右肩ＳＲを結ぶ線分と
交わる領域を右上腕指標ＭＲＵとする。

【０１１２】同様に、左手重心ＬＣと左肘ＥＬを結ぶ線
分と交わる領域を左下腕指標ＭＬＬとする。左肘ＥＬと
左肩ＳＬを結ぶ線分と交わる領域を左上腕指標ＭＬＵと
する。図２７に、抽出された指標物の例を示す（ステッ
プ２２１）。

【０１１３】図２７に示すように、右下腕指標ＭＲＬの
両端を通る線分Ｌ１を引き、右下腕指標ＭＲＬの中点と
右手重心ＲＣとを結んだ線分とＬ１が交わるならば、右
てのひら重心ＲＣが、右肘ＥＲよりも画像面ＩＭＰに近
い位置に存在し、右下腕フラグＦＲＬを１とする。右下
腕指標ＭＲＬの中点と右手重心ＲＣとの線分がＬ１と交
わらずに、右下腕指標ＭＲＬの中点と右肘ＥＲとを結ん
だ線分とＬ１が交わるならば、右肘ＥＲが右てのひら重
心ＲＣよりも画像面ＩＭＰに近い位置に存在し、右下腕
フラグＦＲＬを−１とする（ステップ２２２）。

【０１１４】同様に、右上腕指標ＭＲＵの両端を通る線
分Ｌ２を引き、右上腕指標ＭＲＵの中点と右肘ＥＲとを
結んだ線分とＬ２が交わるならば、右肘ＥＲが右肩ＳＲ
よりも画像面ＩＭＰに近い位置に存在し、右上腕フラグ
ＦＲＵを１とする。右上腕指標ＭＲＵの中点と右肘ＥＲ
との線分がＬ２と交わらずに、右上腕指標ＭＲＵの中点
と右肩ＳＲとを結んだ線分とＬ２が交わるならば、右肩
ＳＲが右肘ＥＲよりも画像面ＩＭＰに近い位置に存在
し、右上腕フラグＦＲＵを−１とする（ステップ２２
３）。

【０１１５】同様に、左下腕指標ＭＬＬの両端を通る線
分Ｌ３を引き、左下腕指標ＭＬＬの中点と左手重心ＬＣ
とを結んだ線分とＬ１が交わるならば、左てのひら重心
ＬＣが左肘ＥＬよりも画像面ＩＭＰに近い位置に存在
し、左下腕フラグＦＬＬを１とする。左下腕指標ＭＬＬ
の中点と左手重心ＬＣとの線分がＬ３と交わらずに、左
下腕指標ＭＬＬの中点と左肘ＥＬとを結んだ線分とＬ３
が交わるならば、左肘ＥＬが左てのひら重心ＬＣよりも
画像面ＩＭＰに近い位置に存在し、左下腕フラグＦＬＬ
を−１とする（ステップ２２４）。

【０１１６】同様に、左上腕指標ＭＬＵの両端を通る線
分Ｌ４を引き、左上腕指標ＭＬＵの中点と右肘ＥＬとを
結んだ線分とＬ４が交わるならば、左肘ＥＬが左肩ＳＬ
よりも画像面に近い位置に存在し、左上腕フラグＦＬＵ
を１とする。左上腕指標ＭＬＵの中点と左肘ＥＬとの線
分がＬ４と交わらずに、左上腕指標ＭＬＵの中点と左肩
ＳＬとを結んだ線分とＬ４が交わるならば、左肩ＳＬが
左肘ＥＬよりも画像面ＩＭＰに近い位置に存在し、左上
腕フラグＦＬＵを−１とする（ステップ２２５）。

【０１１７】ステップ２２２からステップ２２５で求め
られた右下腕フラグＦＲＬ、右上腕フラグＦＲＵ、左下
腕フラグＦＬＬ、左上腕フラグＦＬＵの値と右上腕Ｒ
Ｕ、右下腕ＲＬ、左上腕ＬＵ、左下腕ＬＬの状態との関
係を図２８に示す。

【０１１８】ステップ２２２、ステップ２２３で求めた
右下腕指標ＦＲＬ、右上腕指標ＦＲＵ、腕形状検出装置
３１から渡された腕形状情報ＡＳＩと、上腕部長ＳＵＡ
Ｌ、下腕部長ＳＬＡＬから、右手重心空間座標のＺｗｒ
は、次の式で求められる。

【０１１９】

【数１２】

【０１２０】同様に、ステップ２２４、ステップ２２５
で求めた左下腕指標ＦＬＬ、左上腕指標ＦＬＵと、腕形
状検出装置３１から渡された腕形状情報ＡＳＩと、上腕
部長ＳＵＡＬ、下腕部長ＳＬＡＬから、左手重心空間座
標のＺｗｌは、次の式で求められる（ステップ２２
６）。

【０１２１】

【数１３】

【０１２２】計算された右手重心空間座標（Ｘｗｒ，Ｙ
ｗｒ，Ｚｗｒ）、左手空間座標（Ｘｗｌ，Ｙｗｌ，Ｚｗ
ｌ）を空間位置記憶装置に記録する（ステップ２２
７）。

【０１２３】（実施例３）図３を参照して、本発明の第
３の実施例の構成について説明する。

【０１２４】本実施例の動作認識装置は、体の動作を常
時撮影する撮影装置３、撮影された画像を一定の時間分
記憶する記憶装置４、認識開始の合図となる特徴を開始
コードとして登録する開始コード登録装置４４、記憶装
置４に記憶された画像中の特徴をコード化する特徴コー
ド作成装置４２、開始コードと特徴コードが一致するか
を判定する認識開始コード判定装置４３、コードが一致
したかの判定結果を受けて認識開始のタイミングを撮影
装置３に伝える認識開始通知装置４５により構成され
る。

【０１２５】次に、図８を参照して本実施例の具体的な
実施例の動作について説明する。以下、体の動きや形状
の変化のことを体動作と呼び、認識開始の合図となる体
の動きや形状の変化のことを認識開始体動作と呼ぶこと
とする。

【０１２６】まず、動作認識開始の的確なタイミングを
与えるための認識開始体動作を、１つの要素または、複
数の要素の組合せで定める。なお、要素には、空間位
置、体形状、動きなどがある。また、体動作は、手、
目、口、体全身などの体の各部位での設定が可能とす
る。

【０１２７】ここでは、口を大きく開けた状態が２秒間
（６０フレーム）以上続く動作を認識開始体動作とす
る。この時の画像認識の開始イミングは、開始体動作の
最初のフレームから４秒（１２０フレーム）後とする。

【０１２８】この認識開始体動作はコードとして、開始
コード登録装置４４に登録されている。記述は、（口、
円、６０）のようになる。「口」は、赤色成分に注目し
て他の色の成分との面積比などで判断する注目場所であ
り、「円」は、口部分の縦横比などから計算した口が開
いている時の形状であり、「６０」は最低必要な連続す
るフレームの数を表す。

【０１２９】今、撮影装置３は、無意味な画像を撮影し
続けているとする。ここで言う無意味というのは、認識
開始体動作でもなく、手話語でもなく、意味を持つ体動
作でもないことを意味する（ステップ３００）。

【０１３０】撮影した画像は、記憶装置４に一定の時間
分記録される。ここでは、６０フレーム以上は一度に記
憶可能とする（ステップ３０１）。

【０１３１】記憶装置４に入ってきた画像を体動作コー
ド作成装置４２で、要素別にコード化する。そして、注
目場所「口」の形状が「円」でそれが「６０」フレーム
以上続いたとコード化されたとする（ステップ３０
２）。

【０１３２】この結果と、開始コード登録装置４４に登
録されているコードが認識開始コード判定装置４３に入
力され、ここでそれらが同一のものであるかが判定され
る。ここでは、図２９に示したようにコード同士の照合
がとれ、認識開始体動作であると判定される（ステップ
３０３）。

【０１３３】認識開始通知装置４５では、認識開始体動
作であると判定された場合は、撮影装置３に対し、動作
認識開始の的確なタイミングを与える。ここでは、図２
９に示したように認識開始体動作の第１フレームから１
２０フレーム後である（ステップ３０４）。

【０１３４】コード同士の照合がとれず、認識開始体動
作でないという判定結果の場合、認識開始通知装置４５
は、撮影装置３に対し、認識開始体動作を検出するため
の画像を図３１に示すように、次のフレームから撮影す
るように通知する。このようにして、認識開始体動作が
検出されるまで検出操作を繰り返す（ステップ３０
５）。

【０１３５】（実施例４）図４を参照して、本発明の第
４の実施例の構成について説明する。

【０１３６】体の動作を常時撮影する撮影装置３、撮影
された画像を一定の時間分記憶する記憶装置４、認識開
始の合図となる画像を開始画像として登録する開始画像
登録装置４８、記憶装置４に記憶された画像に前処理を
かける画像加工装置４６、前処理をかけた画像と開始画
像が一致するかを判定する認識開始画像判定装置４７、
画像が一致したかの判定結果を受けて認識開始のタイミ
ングを撮影装置３に伝える認識開始通知装置４５により
構成される。

【０１３７】次に、図９を参照して、本実施例の具体的
な実施例の動作について説明する。以下、体の動きや形
状の変化のことを体動作と呼び、認識開始の合図となる
体の動きや形状の変化のことを認識開始体動作と呼ぶこ
ととする。

【０１３８】まず、動作認識開始の的確なタイミングを
与えるための認識開始体動作を、１つの要素または、複
数の要素の組合せで定める。なお、要素には、空間位
置、体形状、動きなどがある。なお、体動作は、手、
目、口、体全身などの体の各部位での設定が可能とす
る。

【０１３９】ここでは、口を大きく開けた状態が２秒間
（６０フレーム）以上続く動作を認識開始体動作とす
る。この時の動作認識の開始タイミングは、認識開始体
動作の最初のフレームから４秒（１２０フレーム）後と
する。

【０１４０】この認識開始体動作の画像は、開始画像登
録装置４８に登録されている。口を大きく開けた場合、
赤の円状の画像が含まれるはずである。そこで、赤成分
のみを取り出した画像を登録しておく。

【０１４１】今、撮影装置３は、無意味な画像を撮影し
続けているとする。ここで言う無意味というのは、認識
開始体動作でもなく、手話語でもなく、意味を持つ体動
作でもないことを意味する（ステップ３００）。

【０１４２】撮影した画像は、記憶装置４に一定の時間
分記録される。ここでは、６０フレーム以上は一度に記
憶可能とする（ステップ３０１）。

【０１４３】画像加工装置４６は、記憶装置４に入って
いる画像を登録されている画像と照合できる形になるよ
うに、入力画像から赤の成分のみを取り出す画像処理を
かける。なお、画像加工装置４６は、赤成分を取り出す
処理に限られるものではなく、各種の画像処理をかける
ことが可能である（ステップ３０６）。

【０１４４】この結果と、開始画像登録装置４８に登録
されている画像が認識開始画像判定装置４７に入力さ
れ、図３２に示すように画像同士でパターンマッチング
照合し、同一のものであるかを判定するとともに、図３
０のように、同一のものであるという判定が６０フレー
ム以上続いていれば認識開始体動作であると判定する。
なお、ニューラルネットを使ったパターンマッチングな
どでも同様の効果が得られる（ステップ３０７）。

【０１４５】認識開始通知装置４５では、入力画像が認
識開始体動作であると判定された場合は、撮影装置３に
対し、動作認識開始の的確なタイミングを与える。ここ
では、図３０に示したように、認識開始体動作の第１フ
レームから１２０フレーム後である（ステップ３０
４）。

【０１４６】画像同士の照合がとれず、認識開始体動作
でないという判定結果の場合、認識開始通知装置４５
は、撮影装置３に対し、認識開始体動作を検出するため
の画像を図３１に示すように、次のフレームから撮影す
るように通知する。このようにして、このようにして、
認識開始体動作が検出されるまで操作を繰り返す（ステ
ップ３０５）。

【０１４７】

【発明の効果】データグローブなどのセンサや彩色され
た手袋を用いずに、手振りや身振りの認識が可能であ
る。

【０１４８】また、手動作をグループ化することにより
認識速度が向上する。また、単眼で撮影しても、腕形状
を検出することにより奥行きの把握が可能となり、複眼
式と同様に、手振りや身振りの認識が可能である。

【０１４９】さらに、常時監視の中で、認識開始の合図
を検出することにより、動作認識の的確なタイミングを
与えることが可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の動作認識装置の構成図

【図２】本発明の第２の実施例の動作認識装置における
空間位置計算装置までの構成図

【図３】本発明の第３の実施例の動作認識装置の内、取
り込み開始体動作検出および通知に関する部分の構成図

【図４】本発明の第４の実施例の動作認識装置の内、取
り込み開始体動作検出および通知に関する部分の構成図

【図５】第１の実施例の動作認識装置の処理手順の流れ
図

【図６】第２の実施例における腕形状検出装置の処理手
順の流れ図

【図７】第２の実施例における空間位置計算装置の処理
手順の流れ図

【図８】第３の実施例の動作認識装置の内、取り込み開
始体動作検出および通知に関する部分の手順の流れ図

【図９】第４の実施例の動作認識装置の内、取り込み開
始体動作検出および通知に関する部分の手順の流れ図

【図１０】第１の実施例における記憶装置４に蓄えられ
ている時系列に並んだ様子を示す図

【図１１】第１の実施例における右てのひらを左右のカ
メラで撮影された時、左右の画像面上に右てのひらが投
影される様子を示す図

【図１２】第１の実施例のける空間位置記憶装置７に格
納されている顔、右てのひら、左てのひらの絶対空間に
おける位置を示す図

【図１３】第１の実施例における肌色検出装置５によっ
て抽出された右てのひらの形状を示す図

【図１４】第１の実施例における右てのひらの方向とて
のひらを囲む最小の正方形を作成した図

【図１５】第１の実施例における正方形ＳＱを４等分に
分割した図

【図１６】（ａ）は図１５の階層を１つ深くし、正方形
ＳＱを１６等分した図（ｂ）は図１７（ａ）でコード化
された領域をハッチングをかけて表した図

【図１７】（ａ）は図１６の階層を１つ深くし、正方形
ＳＱを６４等分した図（ｂ）は図１７（ａ）でコード化
された領域をハッチングをかけて表した図

【図１８】第１の実施例における右てのひらをコード化
した図

【図１９】図１３の時系列に並んだ手形状をコード化し
た図

【図２０】第１の実施例におけるグループを特定するた
めの探索木を表す図

【図２１】第１の実施例における動き方向をあらわした
図

【図２２】（ａ）は第１の実施例における相対的な動き
を表した図（ｂ）は第１の実施例における動きコードを
示した図

【図２３】第１の実施例における開始コードを示した図

【図２４】第１の実施例における動作単語記憶装置２２
に格納されているファイルのフォーマット図

【図２５】第２の実施例における腕形状検出装置で検出
される腕形状情報を説明した図

【図２６】第２の実施例における腕形状検出装置で検出
された、左右体側、左右肩、左右肘の図

【図２７】第２の実施例における空間位置計算装置で検
出された指標物の検出図

【図２８】右上腕フラグ、右下腕フラグ、左上腕フラ
グ、左下腕フラグの値と、腕の状態との関係を示した図

【図２９】第３の実施例の動作認識装置の内、取り込み
開始体動作検出および通知に関する部分の説明図

【図３０】第４の実施例の動作認識装置の内、取り込み
開始体動作検出および通知に関する部分の説明図

【図３１】第３および第４の実施例の動作認識装置の
内、取り込み開始体動作検出および通知に関する部分の
説明図

【図３２】第４の実施例の動作認識装置の内、取り込み
開始体動作検出に関する部分の説明図

【符号の説明】

Ｓ１ 右てのひらの抽出部 Ｓ２ 左てのひらの抽出部 Ｓ３ 顔領域の抽出部 Ｓ４，Ｓ５ 肌色部分の雑音領域 Ｐ１ 右てのひらの重心位置 Ｐ２ 左てのひらの重心位置 Ｐ３ 顔領域の重心位置 ＩＭＧ＿１〜ＩＭＧ＿Ｎ 記憶装置４に格納されている
画像 Ｐ１＿ｌｅｆｔ 左カメラで撮影した右てのひらの重心
の画像面上での座標 Ｐ１＿ｒｉｇｈｔ 右カメラで撮影した右てのひらの重
心の画像面上での座標 Ｌ 左カメラ位置 Ｒ 右カメラ位置 ｌ カメラ間距離 ｆ 焦点距離 ｅ１ 端点 ＶＥＣ てのひらの向きベクトル ＳＱ てのひらを覆う最小の面積の正方形 ＳＱ＿０〜ＳＱ＿４７ 正方形ＳＱを分割した領域 ａ〜ｘ 手動作のグループ ｃｈａｎｇｅ 動きの変化点 ＩＭＧ＿ｉ 時系列画像中の処理中の画像 ＦＳＰ 顔肌色領域 ＲＳＰ 右手肌色領域 ＬＳＰ 左手肌色領域 ＦＣ 顔重心で ＲＣ 右てのひら重心 ＬＣ 左てのひら重心 ＳＲ 右肩 ＳＬ 左肩 ＥＲ 右肘 ＥＬ 左肘 ＡＳＩ 腕形状情報 Ｘｗｒ 右手重心空間座標のＸ座標 Ｙｗｒ 右手重心空間座標のＹ座標 Ｚｗｒ 右手重心空間座標のＺ座標 Ｘｗｌ 左手重心空間座標のＸ座標 Ｙｗｒ 左手重心空間座標のＹ座標 Ｚｗｒ 左手重心空間座標のＺ座標 ＨＭ 手動作を行なっている対象人物 Ｏｇ−ＸＹ 画像座標系 ＩＭＰ 撮影装置３０の画像面 ＷＩＤＥＴＨ 画像面ＩＭＰの水平方向の幅 ＨＥＩＧＨＴ 画像面ＩＭＰの垂直方向の高さ ＲＵ 右上腕部の画像面ＩＭＰへの投影像 ＲＵｄｘ 右上腕部の画像面ＩＭＰへの投影像のＸ軸方
向の幅 ＲＵｄｙ 右上腕部の画像面ＩＭＰへの投影像のＹ軸方
向の高さ ＲＬ 右下腕部の画像面ＩＭＰへの投影像 ＲＬｄｘ 右下腕部の画像面ＩＭＰへの投影像のＸ軸方
向の幅 ＲＬｄｙ 右下腕部の画像面ＩＭＰへの投影像のＹ軸方
向の高さ ＬＵ 左上腕部の画像面ＩＭＰへの投影像 ＬＵｄｘ 左上腕部の画像面ＩＭＰへの投影像のＸ軸方
向の幅 ＬＵｄｙ 左上腕部の画像面ＩＭＰへの投影像のＹ軸方
向の高さ ＬＬ 左下腕部の画像面ＩＭＰへの投影像 ＬＬｄｘ 左下腕部の画像面ＩＭＰへの投影像のＸ軸方
向の幅 ＬＬｄｙ 左下腕部の画像面ＩＭＰへの投影像のＹ軸方
向の高さ ＢＧＩＭＧ 対象人物ＨＭを含まない背景画像 ＩＰＬ 画像面最下端を通るＸ軸に平行な直線 ＢＲ 胴体右端 ＢＬ 胴体左端 Ｘｂｒ 胴体右端ＢＲの画像座標系Ｏｇ−ＸＹにおける
Ｘ座標 Ｘｂｌ 胴体左端ＢＬの画像座標系Ｏｇ−ＸＹにおける
Ｘ座標 Ｘｆ 顔重心ＦＣの画像座標系Ｏｇ−ＸＹにおけるＸ座
標 Ｙｆ 顔重心ＦＣの画像座標系Ｏｇ−ＸＹにおけるＹ座
標 Ｘｒｃ 右てのひら重心ＲＣの画像座標系Ｏｇ−ＸＹに
おけるＸ座標 Ｙｒｃ 右てのひら重心ＲＣの画像座標系Ｏｇ−ＸＹに
おけるＹ座標 Ｘｌｃ 左てのひら重心ＬＣの画像座標系Ｏｇ−ＸＹに
おけるＸ座標 Ｙｌｃ 左てのひら重心ＬＣの画像座標系Ｏｇ−ＸＹに
おけるＹ座標 Ｘｓｒ 右肩ＳＲの画像座標系Ｏｇ−ＸＹにおけるＸ座
標 Ｙｓｒ 右肩ＳＲの画像座標系Ｏｇ−ＸＹにおけるＹ座
標 Ｘｓｌ 左肩ＳＬの画像座標系Ｏｇ−ＸＹにおけるＸ座
標 Ｙｓｌ 左肩ＳＬの画像座標系Ｏｇ−ＸＹにおけるＹ座
標 ＳＤＳＦ 空間位置計測装置３２に登録されている顔重
心ＦＣと肩の高さのＹ座標の差分 ＳＣ 顔重心から、距離ＳＤＳＦだけ垂直下に存在する
点 ＴＳＲ 右肩の候補点 Ｘｔｓｒ 点ＴＳＲの画像座標系Ｏｇ−ＸＹにおけるＸ
座標 Ｙｔｓｒ 点ＴＳＲの画像座標系Ｏｇ−ＸＹにおけるＹ
座標 ｄｙ 肩を探索する時のＹ方向の探索幅のパラメータ ＰＲ 右手肌色領域ＲＳＰの右端と肩のラインの交差す
る点 Ｘｐｒ 点ＰＲの画像座標系Ｏｇ−ＸＹにおけるＸ座標 Ｙｐｒ 点ＰＲの画像座標系Ｏｇ−ＸＹにおけるＹ座標 ＱＲ 右手肌色領域ＲＳＰの左端と肩のラインの交差す
る点 Ｘｑｒ 点ＱＲの画像座標系Ｏｇ−ＸＹにおけるＸ座標 Ｙｑｒ 点ＱＲの画像座標系Ｏｇ−ＸＹにおけるＹ座標 ＴＳＬ 左肩の候補点 Ｘｔｓｌ 点ＴＳＬの画像座標系Ｏｇ−ＸＹにおけるＸ
座標 Ｙｔｓｌ 点ＴＳＬの画像座標系Ｏｇ−ＸＹにおけるＹ
座標 ＰＬ 左手肌色領域ＬＳＰの左端と肩のラインの交差す
る点 Ｘｐｌ 点ＰＬの画像座標系Ｏｇ−ＸＹにおけるＸ座標 Ｙｐｌ 点ＰＬの画像座標系Ｏｇ−ＸＹにおけるＹ座標 ＱＬ 左手肌色領域ＬＳＰの右端と肩のラインの交差す
る点 Ｘｑｌ 点ＱＬの画像座標系Ｏｇ−ＸＹにおけるＸ座標 Ｙｑｌ 点ＱＬの画像座標系Ｏｇ−ＸＹにおけるＹ座標 Ｘｅｒ 右肘ＥＲの画像座標系Ｏｇ−ＸＹにおけるＸ座
標 Ｙｅｒ 右肘ＥＲの画像座標系Ｏｇ−ＸＹにおけるＹ座
標 Ｘｅｌ 左肘ＥＬの画像座標系Ｏｇ−ＸＹにおけるＸ座
標 Ｙｅｌ 左肘ＥＬの画像座標系Ｏｇ−ＸＹにおけるＹ座
標 ＤＥ 検索時の接線の変化量に対する閾値のパラメータ Ｃｒｉ 右肘候補点 Ｃｌｊ 左肘候補点 Ｃｒａ 右肘候補点Ｃｒｉの内右手肌色領域ＲＳＰ内に
ある点 Ｃｌｂ 左肘候補点Ｃｌｊの内左手肌色領域ＬＳＰ内に
ある点 Ｃｒｃ 右肘候補点Ｃｒｉの内右下腕部ＲＬの途中にあ
る点 Ｃｌｄ 左肘候補点Ｃｌｊの内左下腕部ＬＬの途中にあ
る点 Ｃｒｅ 右肘候補点Ｃｒｉの内右上腕部ＲＵの途中にあ
る点 Ｃｌｆ 左肘候補点Ｃｌｊの内左上腕部ＬＵの途中にあ
る点 Ｃｒα 右肘ＥＲの最有力候補 Ｃｌβ 左肘ＥＬの最有力候補 ＳＵＡＬ 空間位置計算装置３２にあらかじめ登録され
ている上腕部の長さ ＳＬＡＬ 空間位置計算装置３２にあらかじめ登録され
ている下腕部の長さ Ｏｗ−ＸＹＺ 空間座標系 ＭＲＬ 右下腕部に付けられた右下腕指標 ＭＲＵ 右上腕部に付けられた右上腕指標 ＭＬＬ 左下腕部に付けられた左下腕指標 ＭＬＵ 左上腕部に付けられた左上腕指標 Ｌ１ 右下腕指標ＭＲＬの両端点を結んだ線分 Ｌ２ 右上腕指標ＭＲＵの両端点を結んだ線分 Ｌ３ 左下腕指標ＭＬＬの両端点を結んだ線分 Ｌ４ 左上腕指標ＭＬＬの両端点を結んだ線分 ＦＲＬ 右下腕フラグ ＦＲＵ 右上腕フラグ ＦＬＬ 左下腕フラグ ＦＬＵ 左上腕フラグ １，２ テレビカメラ ３ 撮影装置 ４ 記憶装置 ５ 肌色検出装置 ６ 重心検出装置 ７ 空間位置計算装置 ８ 空間位置記憶装置 ９ 使用てのひら特定装置 １０ 手動作静動判定装置 １１ 指形状コード作成装置 １２ 形状変化判定装置 １３ グループ特定装置 １４ グループ記憶装置 １５ 変化点検出装置 １６ 動きコード作成装置 １７ 開始位置コード作成装置 １８ 指形状照合装置 １９ 指形状記憶装置 ２０ 手動作単語照合装置 ２２ 手動作単語記憶装置 ３０ 撮影装置 ３１ 腕形状検出装置 ３２ 空間位置計算装置 ４２ 特徴コード作成装置装置 ４３ 認識開始コード判定装置 ４４ 開始コード登録装置 ４５ 認識開始通知装置 ４６ 画像加工装置 ４７ 認識開始画像判定装置 ４８ 開始画像登録装置

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０９Ｂ 21/00 Ｅ 9061−5Ｌ Ｇ０６Ｆ 15/70 ４１０

Claims (5)

【特許請求の範囲】
1. 【請求項１】少なくとも操作者の上半身を撮影する第１
   および第２の撮影手段と、 前記各撮影手段で撮影された画像を記憶する記憶手段
   と、 前記記憶手段に記憶された画像から、右手首から先の部
   分（以下、右手のひらと称する）と、左手首から先の部
   分（以下、左手のひらと称する）の肌色の領域（以下、
   肌色領域と称する）を抽出する肌色領域抽出手段と、 前記肌色領域抽出手段で抽出された肌色領域の面積の重
   心を求める重心検出手段と、 同じ身体部分の肌色領域について、前記第１の撮影手段
   で撮影された画像から得られた重心と、前記第２の撮影
   手段で撮影された画像から得られた重心との視差に基づ
   いて、その肌色領域の空間位置を求める第１の空間位置
   計算手段と、 前記第１の空間位置計算手段で得られた空間位置を記憶
   する空間位置記憶手段と、 前記空間位置記憶手段に記憶された空間位置の時間的変
   化に基づいて、肌色領域で表される身体部分の動きを認
   識するよう構成された動作認識部とを備えた動作認識装
   置。
2. 【請求項２】少なくとも操作者の上半身を撮影する第３
   の撮影手段と、 前記第３の撮影手段で撮影された画像を記憶する記憶手
   段と、 前記記憶手段に記憶された画像から、右手のひら，左手
   のひらおよび顔の肌色領域を抽出する肌色領域抽出手段
   と、 前記肌色領域抽出手段で抽出された肌色領域の面積の重
   心を求める重心検出手段と、 前記重心検出手段で得られた、右手のひら重心，左手の
   ひら重心および顔重心の、前記画面上での位置から、右
   上腕部，右下腕部，左上腕部および左下腕部の形状情報
   を抽出する腕形状抽出手段と、 前記腕形状抽出手段で抽出された形状情報と、前記右上
   腕部，右下腕部，左上腕部および左下腕部の、それぞれ
   の所定部位に装着された輪状の指標物の前記画面上での
   形状とに基づいて、前記右手のひらと左手のひらの空間
   位置を求める第２の空間位置計算手段と、 前記第２の空間位置計算手段で得られた空間位置を記憶
   する空間位置記憶手段と、 前記空間位置記憶手段に記憶された空間位置の時間的変
   化に基づいて、肌色領域で表される身体部分の動きを認
   識するよう構成された動作認識部とを備えた動作認識装
   置。
3. 【請求項３】動作認識部が、少なくとも、使用している
   手のひら，使用している手のひらの空間中での静動，使
   用している手のひらの形状変化またはこれらの組み合せ
   で定義された複数の手動作単語を認識するものであっ
   て、 空間位置記憶手段に記憶した空間位置に基づいて、使用
   されている手のひらを判定する使用手のひら判定手段
   と、 前記使用されている手のひらについて、肌色領域抽出手
   段で抽出された肌色領域の形状を、指形状コードに変換
   する指形状コード作成手段と、 前記使用されている手のひらについて、その手のひらが
   空間中に静止しているか、移動しているかを判定する手
   動作静動判定手段と、 前記指形状コード記憶手段で作成された指形状コード
   の、時間的変化の有無を判定する形状変化判定手段と、 前記複数の手動作単語を、使用する手のひら，使用する
   手のひらの空間中での静動，使用する手のひらの形状変
   化の組み合せに基づいてグループ化するグループ化手段
   と、 前記使用されている手のひらと、前記使用されている手
   のひらの静動と、前記使用されている手のひらの形状変
   化に基づいて、入力された手動作単語が前記グループの
   何れに属するかを特定するグループ特定手段と、 前記使用されている手のひらについて、前記空間位置記
   憶手段に記憶された空間位置の時間的変化に基づいて、
   動きの変化点を検出する変化点検出手段と、前記空間位
   置記憶手段に記憶された空間位置と、前記変化点検出手
   段で検出された動きの変化点とに基づいて、前記使用さ
   れている手のひらの動きの組み合わせに対応した、動き
   コードを作成する動きコード作成手段と、 前記空間位置記憶手段に記憶された空間位置から、動作
   の開始位置に対応した開始位置コードを作成する開始位
   置コード作成手段と、 前記手動作単語を定義する手のひらの形状に対応した、
   複数の登録指形状コードが格納された指形状記憶手段
   と、 前記指形状コード作成手段で作成された指形状コード
   が、前記指形状記憶手段に格納された複数の登録指形状
   コードの何れに該当するかを特定する指形状照合手段
   と、 前記グループ化手段でグループ化されたグループ毎に、
   前記手動作単語を定義する、動作の開始位置，動きコー
   ド，形状の組み合せが記憶された手動作単語記憶手段
   と、 前記開始位置コード作成手段で作成された開始位置コー
   ドと，前記動きコード作成手段で作成された動きコード
   と，前記指形状照合手段で特定された登録指形状コード
   とに基づいて、前記グループ特定手段で求めたグループ
   に対応する前記手動作単語記憶手段に記憶された複数の
   手動作単語から、入力された手動作単語を特定する手動
   作単語照合手段とを備えた請求項１または２記載の動作
   認識装置。
4. 【請求項４】注目する体の部位の所定の特徴のうち、予
   め選択された動作認識開始の合図となる特徴を開始コー
   ドとして保持しておく開始コード登録手段と、 記憶手段に記憶された画像から、注目する体の部位の特
   徴を抽出し、前記特徴に対応した特徴コードを作成する
   特徴コード作成手段と、 前記特徴コードと前記開始コードとを比較し、両者が一
   致しているかを判定する認識開始コード判定手段と、 前記認識開始コード判定手段で、「一致している」と判
   定されたときに認識開始信号を発生する認識開始通知手
   段とを備え、 動作認識部が、前記認識開始信号を受信してから所定の
   時間経過以後の画像を用いて動作認識を行うよう構成さ
   れた請求項１〜３何れかに記載の動作認識装置。
5. 【請求項５】予め選択された、動作認識開始の合図とな
   る画像を開始画像として保持しておく開始画像登録手段
   と、 記憶手段に記憶された画像に前処理をかける画像加工手
   段と、 前記前処理をかけた画像と前記開始画像とを比較し、両
   者が一致しているかを判定する認識開始画像判定手段
   と、 前記認識開始画像判定手段で、「一致している」と判定
   されたときに認識開始信号を発生する認識開始通知手段
   とを備え、 動作認識部が、前記認識開始信号を受信してから所定の
   時間経過以後の画像を用いて動作認識を行うよう構成さ
   れた請求項１〜３何れかに記載の動作認識装置。