JP5482080B2

JP5482080B2 - 手認識装置

Info

Publication number: JP5482080B2
Application number: JP2009237316A
Authority: JP
Inventors: 明義田福; 幸三馬場
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2009-10-14
Filing date: 2009-10-14
Publication date: 2014-04-23
Anticipated expiration: 2029-10-14
Also published as: JP2011086052A

Description

本発明は、認識した顔領域の周辺に手があるか否かを判定する手認識装置に関する。

画像認識の分野において、顔の周辺に手があることを検出する技術が知られている。顔の周辺に手があることを検出することにより、車両を運転中のドライバが携帯電話を使用中であることや、ＡＴＭ（automatic teller machine）利用時に利用者が携帯電話を使用中であることや、特定のジェスチャーが行われていること等を認識することができる。

例えば、顔領域周辺の手領域を検出することにより、運転中のドライバが携帯電話を使用していることを認識する技術が知られている（例えば、特許文献１参照。）。また、対象人物の手の形状や動きを検出することにより、特定のジェスチャーが行われていることを認識する技術が知られている（例えば、特許文献２または特許文献３参照。）。

特開２００５−２０５９４３号公報特開２００９−１０４２９７号公報特開２００４−３４８３０３号公報

しかしながら、顔領域周辺の手領域を検出する場合、携帯電話を使用しているドライバの顔の周辺に手が位置している状態の画像を取得できなければ、精度よく認識処理を行えないことがある。例えば、携帯電話の持ち方の個人差、携帯電話の大きさの個体差または、ドライバ画像の撮影位置の相違等によって顔の周辺に手が位置している状態の画像を取得できない場合は、携帯電話を使用しているにもかかわらず、その状態を正しく認識することができない。

また、所定位置に手があることを検出する場合、手のみの画像を取得できなければ、精度よく認識処理を行えないことがある。例えば、対象人物の近くに存在する他の人物の手を検出した場合や、顔などの他の領域と手の領域が重なっている場合は、手の形状や動きを正しく認識することができない。

本発明は、上記のような点に鑑みてなされたものであり、その目的は、顔近傍の手の位置を精度よく認識することのできる手認識装置の提供にある。

上記の目的を達成するために、以下に開示する手認識装置は、顔画像を取得する取得部と、顔画像のうち顔領域を認識する顔認識部と、前記顔領域に基づいて、前記顔領域内の顔内解析領域を決定する顔内領域決定部と、前記顔内領域決定部で決定された前記顔内解析領域の画素値を用いて、前記顔内解析領域内に手があるか否かを判断する第１判定部とを備える。

本願明細書の開示によれば、手認識装置において、顔近傍の手の位置を精度よく認識することができる。

手認識装置１の構成例を示す機能ブロック図である。手認識装置１をコンピュータを用いて実現するためのプログラムの処理例を示すフローチャートである。第２判定処理のサブルーチンを示すフローチャートの一例である。第１判定処理のサブルーチンを示すフローチャートの一例である。取得部１１がカメラ装置２から取得する画像の一例である。図５Ａの顔領域５０のフィッティングの例を模式的に表す図である。取得部１１がカメラ装置２から取得する画像の一例である。取得部１１がカメラ装置２から取得する画像の図６Ａとは異なる一例である。図６Ａまたは図６Ｂの顔領域５０において鼻位置および眼位置を検出する例を模式的に表す図である。変形例にかかる手認識装置の構成例を示す機能ブロック図である。変形例における第１判定処理のサブルーチンを示すフローチャートの一例である。他の実施形態にかかる手認識装置の構成例を示す機能ブロック図である。

以下においては、本発明の実施形態について図面を用いて具体的に説明する。

［１．第１の実施形態］
(1)本実施形態にかかる手認識装置は、顔画像を取得する取得部と、顔画像のうち顔領域を認識する顔認識部と、前記顔領域に基づいて、前記顔領域内の顔内解析領域を決定する顔内領域決定部と、前記顔内領域決定部で決定された前記顔内解析領域の画素値を用いて、前記顔内解析領域内に手があるか否かを判断する第１判定部とを備える。

上記構成により、顔領域の内側に手があるか否かの判断を実行することができる。そのため、顔近傍の手の位置を正確に認識することができる。その結果、例えば、携帯電話で話すときの手の位置の個人差に対応して、携帯電話で話しているか否かを正確に検出することが可能になる。また、例えば、顔と手の相対位置が正確に特定されるので、ジェスチャーを細かく捉えることができる。

(2)上記手認識装置において、前記第１判定部は、前記顔領域内の頬の領域を検出し、頬の領域を前記顔内解析領域に決定してもよい。これにより、頬の領域を顔内解析領域とすることができる。そのため、手があるか否かの検出が容易になり、その結果、対象人物が携帯電話で話し中か否かの判断が正確になる。

(3)上記手認識装置において、前記第１判定部は、前記顔内解析領域をエッジ検出し、エッジ検出結果と、前記顔内解析領域の画素値とに基づいて、前記顔内解析領域内に手があるか否かを判断してもよい。これにより、手の位置を精度よく検出することができる。特に、頬の領域にはエッジ成分がほとんど検出されないため、頬の領域にエッジ成分が検出された場合には、頬の上に手が位置していることを容易に判定することができる。

(4)上記手認識装置において、前記顔領域に基づいて、前記顔領域の周辺の周辺解析領域を決定する周辺領域決定部と、前記周辺領域決定部で決定された周辺解析領域の画素値を用いて、前記周辺解析領域内に手があるか否かを判断する第２判定部と、をさらに備え、前記第１判定部は、前記第２判定部で、前記周辺解析領域に手がないと判断された場合に、前記顔内解析領域に手があるか否かを判断するしてもよい。

これにより、顔領域の周辺に手があるか否かの判断と、顔領域の内側に手があるか否かの判断の両方を実行することができる。このため、２段階の判定処理を行うことができ、顔領域の周辺に手が位置する場合には、処理を迅速に終了させることができる。

(6)上記手認識装置において、前記第１判定部および前記第２判定部の判断に基づいて、顔画像の対象人物が電話で話しているか否かを検出する、電話使用判断部をさらに備えていてもよい。これにより、例えば、運転中に携帯電話を使用しているドライバに対して、交通違反である旨等の警告を促すことができる。また、ＡＴＭ利用時に携帯電話を使用している顧客等に対して、いわゆる振込詐欺等に対する注意を喚起することができる。

［１−１．機能ブロック図］
図１は、本実施形態にかかる手認識装置の構成例を示す機能ブロック図である。手認識装置１は、例えば、ＡＴＭ等に組み込まれるかまたはこれと連動させることにより、利用者が携帯電話を使用していることを認識して、利用者や管理者等に対していわゆる振込詐欺等の注意喚起を行うことができる。

図１に示す手認識装置１は、取得部１１、顔認識部１２、周辺領域決定部１３、第２判定部１４、顔内領域決定部１５、第１判定部１６および電話使用判断部１７を備える。

取得部１１は、カメラ装置２等の撮像装置が撮像した顔画像を取得する。ここで、顔画像とは、認識対象となる人物の顔を含む画像である。

顔認識部１２は、上記取得部１１において取得された顔画像の中から顔領域を認識する。ここで、顔領域とは、認識対象となる人物の顔を示す領域である。

周辺領域決定部１３は、上記顔認識部１２において認識した顔領域に基づいて、この顔領域の周辺の周辺解析領域を決定する。ここで、周辺解析領域とは、顔近傍において手が存在する可能性の高い領域として解析対象となる領域である。

第２判定部１４は、周辺領域決定部１３で決定された周辺解析領域を示す画像の画素値を用いて、周辺解析領域内に、認識対象人物の「手」があるか否かを判断する。例えば、算出した肌色成分の割合が所定閾値以上である場合に「手」があると判定する。

顔内領域決定部１５は、上記顔認識部１２において認識した顔領域に基づいて、顔領域内の顔内解析領域を決定する。ここで、顔内解析領域とは、顔領域の内部において手が存在する可能性の高い領域として解析対象となる領域である。例えば、認識した顔領域から左右の頬位置を算出し、当該左右の頬位置に矩形形状の小領域をそれぞれ配置することにより、顔内解析領域を決定することができる。なお、頬位置は、顔領域内において「眼」の位置および「鼻」の位置を検出した後に、「眼」の位置の下方であって「鼻」の左右にある領域を頬位置とすることによって決定することができる。

第１判定部１６は、顔内領域決定部１５で決定された顔内解析領域の画素値を用いて、顔内解析領域内に認識対象人物の「手」があるか否かを判断する。例えば、頬位置を示す領域に対して、所定のフィルタ処理を施すことにより、「手」があるか否かを判定する。

電話使用判断部１７は、第２判定部１４および第１判定部１６の判断に基づいて、顔画像の対象人物が電話で話しているか否かを検出する。例えば、所定時間ごとの連続画像について、「手」があると判断された場合は、対象人物が携帯電話を使用していると判断する。

本実施形態にかかる手認識装置１は、例えば、パーソナルコンピュータやサーバマシン等の汎用コンピュータにより構成することができる。取得部１１、顔認識部１２、周辺領域決定部１３、第２判定部１４、顔内領域決定部１５、第１判定部１６および電話使用判断部１７の各機能部の機能は、コンピュータが備えるプロセッサ（例えば、ＣＰＵ等。）が所定のプログラムを実行することにより実現される。従って、コンピュータを前記各機能部として機能させるための手認識プログラムおよびそれを記録した記録媒体も本発明の実施形態に含まれる。

［１−２．フローチャート］
図２は、手認識装置１をコンピュータを用いて実現するためのプログラムの処理例を示すフローチャートである。図２に示す例では、取得部１１がカメラ装置２から送出された１つの画像フレームを取得すると、顔認識部１２は、顔位置検出を行う（Ｏｐ０１）。

ここで、顔位置検出の具体例を説明する。以下に示す例は、上述したように、ＡＴＭの利用者が携帯電話を使用していることを認識して、利用者や管理者等に対していわゆる振込詐欺等の注意喚起を行う場合の例である。

図５Ａは、取得部１１がカメラ装置２から取得する画像の一例である。この画像は、対象人物であるＡＴＭ利用者の顔をほぼ正面から撮影した画像であるので顔画像と称する。

顔認識部１２は、所得した顔画像において顔領域を認識する。顔領域の認識方法としては、例えば、顔画像内において、所定の大きさを占める連続した肌色領域を検出し、検出した肌色領域の外形が略楕円形であるか否かに基づいて行うことができる。なお、肌色領域の検出には、例えば、ＨＳＶ表色系の色空間に変換して検出を行うことができる。一例として、注目画素の色相成分Ｈが、所定の閾値Ｔｈ１およびＴｈ２の範囲にあり、かつ、注目画素の彩度成分Ｓが、所定の閾値Ｔｈ３およびＴｈ４の範囲にあれば、肌色と判断することができる。ＨＳＶ表色系を用いることにより、肌の色の変化に対して広範囲の検出が可能となり、黒人や白人等のように皮膚の色が異なる場合であっても、皮膚の色によらず精度よく肌色を認識することが可能となる。

図５Ａにおいては、肌色領域の外周に楕円をフィッティングさせることにより顔領域５０を認識する。また、図５Ｂは、図５Ａの顔領域５０のフィッティングの例を模式的に表す図である。

Ｏｐ０１において、顔位置検出を終えると、第２判定処理が実行される（Ｏｐ０２）。図３は、第２判定処理のサブルーチンを示すフローチャートの一例である。周辺領域決定部１３は、顔領域の周辺に矩形形状からなる小領域の設定を行う（図３：Ｏｐ１１）。例えば、認識した顔領域から耳位置を算出し、当該耳位置の近傍に矩形形状の小領域を複数個連続して配置することにより、複数の小領域からなる周辺解析領域を決定することができる。なお、耳位置は、例えば、顔領域の外形にフィットする楕円形状において、短軸と楕円の交点の位置に基づいて算出することができる。

なお、耳位置の算出においては、カメラ位置を考慮して微調整することが望ましい。カメラ位置の物理的制約によっては、必ずしも耳位置が短軸と楕円の交点とならないからである。

図５Ａおよび図５Ｂにおいては、認識した顔領域５０に基づいて耳位置５１をさらに認識し、耳位置５１の下方において顔領域５０に沿って、図の紙面に向かって右側に小領域５２ａ、５２ｂ、５２ｃを３個配置し、同じく左側に小領域５３ａ、５３ｂ、５３ｃを３個配置するようにしている。なお、この小領域の大きさや個数は、特に限定されるものではない。例えば、認識した顔領域の大きさに応じて矩形形状の大きさ、形または個数を変更させてもよい。なお、顔の真下には、小領域を設定しないようにしている。これは、携帯電話の使用態様から、認識対象である「手」が顔の真下に位置する可能性が低いためである。これにより、無駄な小領域に対する処理を削減し、処理の効率化が望めるというメリットがある。

図５Ａまたは図５Ｂに示すように、小領域５２ａおよび５３ａは、顔領域５０から所定距離を空けて配置するようにしている。これは、耳近傍には、耳自体の広がりや厚みがあること等から、耳自体を含む画像を小領域から除外するためである。これにより、携帯電話を保持する「手」の認識精度を向上させることができる。

第２判定部１４は、複数の小領域からなる周辺解析領域を示す画像の画素値を用いて、周辺解析領域内に、認識対象人物の「手」があるか否かを判断する（Ｏｐ１２、Ｏｐ１３）。例えば、複数個連続して配置した小領域に対して、肌色成分の割合を算出する（Ｏｐ１２）。そして、全ての小領域のうち肌色成分の割合が所定閾値以上の小領域が所定個数以上存在する場合に（Ｏｐ１３、Ｙｅｓ）、「手」があると判定する（Ｏｐ１５）。

一方、全ての小領域のうち肌色成分の割合が所定閾値以上の小領域が所定個数以上存在しない場合に（Ｏｐ１３、Ｎｏ）、「手」がないと判定する（Ｏｐ１４）。

図２のＯｐ０３に戻って、「手」があると判定された場合、電話使用判断部１７は、取得した画像フレーム毎に「手」があると判定されたか否かをカウントする。そして、所定フレーム数（例えば、Ｎフレーム）連続して「手」があると判定されている場合には、Ｏｐ１０において画像内に「手」があると設定する（Ｏｐ０９）。この場合、電話使用判断部１７は、外部装置３等にその旨を示す信号を出力する。

これを受けて、外部装置３は、携帯電話を使用している旨をＡＴＭ画面（図示しない）に文字表示するか、スピーカ（図示しない）から警告音声を出力する。また、ＡＴＭ等の管理者等に通報を行うようにしてもよい。

図２のＯｐ０３に戻って、「手」がないと判定された場合、顔内領域決定部１５は、上記顔認識部１２において認識した顔領域に基づいて、顔領域内の顔内解析領域を決定するため、対象人物の鼻位置検出を行う（Ｏｐ０４）。例えば、認識した顔領域５０の中心付近に存在する二つの輝度の低い部分を鼻の穴として鼻の位置を検出する。

ここで、図６Ａは、取得部１１がカメラ装置２から取得する画像の一例である。図６Ｂは、取得部１１がカメラ装置２から取得する画像の図６Ａとは異なる一例である。図６Ｃは、図５Ａまたは図５Ｂの顔領域５０において鼻位置および眼位置を検出する例を模式的に表す図である。図６Ａ、図６Ｂおよび図６Ｃに示すように、認識した顔領域５０に基づいて鼻位置６１をさらに認識する。なお、鼻の形状に対してフィッティングを行うことにより鼻位置を検出してもよい。また、鼻先に光りが当たっていることに基づいて輝度の高い部分を鼻先として鼻位置を検出してもよい。

続いて顔内領域決定部１５は、上記顔認識部１２において認識した顔領域に基づいて、対象人物の眼位置検出を行う（Ｏｐ０５）。例えば、認識した顔領域５０の中心付近において、黒目と白目によって生じる輝度差の大きい部分が２つ対照に存在する部分を両眼として眼の位置を検出する。この場合、例えば、図６Ａ、図６Ｂおよび図６Ｃに示すように、認識した顔領域５０に基づいて眼位置６２をさらに認識する。なお、眼の形状に対してフィッティングを行うことにより、眼位置を検出してもよい。

Ｏｐ０５において、眼位置検出を終えると、第１判定処理が実行される（Ｏｐ０６）。図４は、第１判定処理のサブルーチンを示すフローチャートの一例である。顔内領域決定部１５は、顔領域の内部に対して矩形形状からなる頬領域の設定を行う（図４：Ｏｐ２１）。例えば、認識した顔領域の鼻位置および眼位置から頬位置を算出し、当該頬位置の近傍に矩形形状の頬領域を左右対照に２個配置することにより、これらの頬領域を顔内解析領域として決定する。この場合、例えば、図６Ａ、図６Ｂおよび図６Ｃに示すように、認識した顔領域５０に基づいて、頬位置６３をさらに認識する。なお、この頬領域の大きさや個数は、特に限定されるものではない。例えば、認識した顔領域の大きさや、顔向きに応じて矩形形状の大きさ、形または個数を変更させてもよい。

第１判定部１６は、顔内領域決定部１５で決定された顔内解析領域の画素値を用いて、顔内解析領域内に認識対象人物の「手」があるか否かを判断する。例えば、「鼻」の左右の位置に設定した頬領域６３に対して、所定のフィルタ処理を施し、フィルタ値が所定閾値以上であれば、「手」がある可能性がある領域として検出する（Ｏｐ２２）。ここで、フィルタ値とは、エッジ検出処理などのフィルタ処理を頬領域に施した後に得られる画素の値である。

なお、フィルタ処理としては、垂直・水平方向のエッジ検出処理やラプラシアンフィルタ処理を行うことができる。例えば、頬領域に手がない場合には、輝度分布が平坦であるためエッジ成分がほとんど検知されない。このため、エッジ成分が検出されてフィルタ値が所定閾値以上であれば、頬領域に「手」が存在することを推定することができる。

続いて、第１判定部１６は、検出した頬領域の周辺が肌色であるか否かを判断する（Ｏｐ２４）。例えば、図６Ａ、図６Ｂおよび図６Ｃに示す頬領域６３の外周の所定画素に対して肌色検出を行う。なお、肌色検出には、上述したＨＳＶ表色系の色空間に変換して検出する方法を用いればよい。

第１判定部１６は、検出した頬領域の周辺が肌色であれば（Ｏｐ２４、Ｙｅｓ）、頬領域内に「手」があると判定する（Ｏｐ２５）。一方、第１判定部１６は、検出した頬領域の周辺が肌色でなければ（Ｏｐ２４、Ｎｏ）、頬領域内に「手」がないと判定する（Ｏｐ２６）。

図２のＯｐ０７に戻って、第１判定処理（Ｏｐ０６）において「手」があると判定された場合（Ｏｐ０７、Ｙｅｓ）、上述したように電話使用判断部１７は、取得した画像フレーム毎に「手」があると判定されたか否かをカウントし、所定フレーム数（例えば、Ｎフレーム）連続して「手」があると判定されている場合には、Ｏｐ１０において画像内に「手」があると設定する（Ｏｐ０９）。

一方、第１判定処理（Ｏｐ０６）において「手」がないと判定された場合（Ｏｐ０７、Ｎｏ）、電話使用判断部１７は、画像内に「手」がないと設定し（Ｏｐ０８）、上記Ｏｐ０１に戻って、次の画像フレームについて上記と同様の処理を継続させる。

このように、電話使用判断部１７は、第２判定処理（Ｏｐ０２）および第１判定処理（Ｏｐ０６）の判定結果に基づいて、顔画像の対象人物が電話で話しているか否かを検出する。例えば、Ｏｐ０９において、カメラ装置２から所定時間ごとに送出される各画像フレームについて、所定回数以上継続して、周辺解析領域内または顔内解析領域内に対象人物の「手」があると判断された場合は、対象人物が携帯電話を使用していると判断する。

また、電話使用判断部１７は、対象人物が携帯電話を使用していると判断した場合は、外部装置３等に所定信号を出力してもよい。例えば、外部装置３としては、ＡＴＭの利用者に警告を促す音声出力機構や文字出力機構を備えていることが望ましい。さらに、ＡＴＭ管理者等に通報を行う機構を備えていてもよい。

以上、本実施形態によれば、顔領域の周辺に手があるか否かの判断と、顔領域の内側に手があるか否かの判断の両方を実行することができ、顔近傍の手の位置を正確に認識することができる。その結果、携帯電話で話すときの手の位置の個人差に対応して、携帯電話で話しているか否かを高精度に検出することが可能になる。例えば、２種類の判定を行うため、手が顔の内外にかかる場合でも精度よく判定できる。また、小さい携帯電話を使用している場合であっても認識することができる。さらに、利用者の携帯電話の持ち方にかかわらず、精度よく「手」を認識することができる。

そして、この検出方法をＡＴＭの利用者に対して適用することにより、利用者が携帯電話を使用していると認識した場合には、利用者や管理者等に対していわゆる振込詐欺等の注意喚起を行うことができる。

［２．変形例］
(5)上記手認識装置において、前記取得部は、複数の撮像装置から同じ顔を撮影した複数の顔画像を取得し、前記第１判定部は、前記複数の顔画像に基づいて、前記顔内解析領域の被写体までの距離に関する情報を算出し、当該距離に関する情報をさらに用いて、前記周辺解析領域または前記顔内解析領域に手があるか否かを判断してもよい。これにより、顔の上の手は顔よりも手前に位置することに基づいて、手の認識処理を補完することができる。例えば、利用者の顔の表面にある傷やあざ等があることにより、フィルタリング処理においてエッジ成分が検出された場合であっても、傷やあざ等のある顔の表面の距離を考慮することにより、誤認識を防止することができる。このため、認識精度を向上させることができる。

［２−１．機能ブロック図］
図７は、本変形例にかかる手認識装置の構成例を示す機能ブロック図である。手認識装置１の取得部１１は、カメラ装置２およびカメラ装置２ａにおいて、対象人物を同時に撮影した顔画像を取得する。なお、カメラ装置２およびカメラ装置２ａは、所定間隔距離を隔てた位置に配置されている。また、その他の機能ブロック図の構成は、上記実施形態と同様である。

［２−２．フローチャート］
本変形例において、手認識装置１をコンピュータを用いて実現するためのプログラムの処理例を示すフローチャートは、図２に示したものと同様である。但し、本変形例においては、取得部１１がカメラ装置２およびカメラ装置２ａのそれぞれから送出された２つの画像フレームを取得すると、顔認識部１２は、顔位置検出を行う（Ｏｐ０１）。なお、顔位置検出（Ｏｐ０１）、第２判定処理（Ｏｐ０２）、鼻位置検出（Ｏｐ０４）、眼位置検出（Ｏｐ０４）は、カメラ装置２から取得した１つの画像フレームを用いて行うようにすればよい。

Ｏｐ０５において、眼位置検出を終えると、第１判定処理が実行される（Ｏｐ０６）。図８は、本変形例における第１判定処理のサブルーチンを示すフローチャートの一例である。顔内領域決定部１５は、顔領域の内部に対して矩形形状からなる頬領域の設定を行う（図８：Ｏｐ２１）。なお、頬領域の設定（Ｏｐ２１）は、上記と同様に、取得した１つの画像フレームを用いて行うようにすればよい。なお、図８のＯｐ２２〜Ｏｐ２４の処理は、図４について説明した処理と同様である。

第１判定部１６は、検出した頬領域の周辺が肌色であれば（Ｏｐ２４、Ｙｅｓ）、この頬領域の距離を算出する（Ｏｐ２４ａ）。例えば、この距離は、カメラ装置２ａから取得した画像フレームを用いて、頬領域をステレオ画像処理（三角測量）することにより算出可能である。また、同時に頬領域以外の顔領域についても距離を算出しておく。

第１判定部１６は、算出した頬領域までの距離が、同時に算出した頬領域以外の顔領域までの距離よりも小さければ（距離が近ければ）、頬領域が顔領域の手前に位置することから、頬領域内に「手」があると判定する（Ｏｐ２４ｂ、Ｙｅｓ）。一方、第１判定部１６は、同時に算出した頬領域以外の顔領域までの距離よりも小さくなければ（距離が同等または遠ければ）（Ｏｐ２４ｂ、Ｎｏ）、頬領域内に「手」がないと判定する（Ｏｐ２６）。

このように、本変形例によれば、距離に基づいて、頬領域に存在が推定される「手」の認識処理を補間することができる。これにより、誤認識を防止して、「手」の認識精度を向上させることができる。

［３．その他の実施形態］
［３−１．ジェスチャー検出］
(7)上記手認識装置において、前記第１判定部および前記第２判定部の判断に基づいて、顔画像の人のジェスチャーを決定する、ジェスチャー検出部をさらに備えていてもよい。これにより、例えば、特定のジェスチャーが行われていること等を認識して、このジェスチャーに対応する処理等を実行させることができる。

図９は、本変形例にかかる手認識装置の構成例を示す機能ブロック図である。図９においては、図１に示した電話使用判断部１７に代えてジェスチャー検出部１８を備える。なお、その他の機能ブロック図の構成は、上記第１の実施形態（図１）と同様である。

本実施形態において、手認識装置１をコンピュータを用いて実現するためのプログラムの処理例を示すフローチャートは、図２、図３、図４に示したものと同様である。但し、本実施形態においては、「手」を認識した位置に応じてジェスチャーを検出し、ジェスチャーを示す信号等を外部装置３等に出力する。

例えば、顔領域の上下左右いずれの位置にあるかに基づいてジェスチャーを検出する。また、認識した手の形状や動きをフィッティング等によって認識して、ジェスチャーを検出するようにしてもよい。また、上記変形例を本実施形態に適用することにより、ジェスチャーの検出精度を向上させることもできる。

以上、本実施形態によれば、顔領域の周辺に手があるか否かの判断と、顔領域の内側に手があるか否かの判断の両方を実行することができ、顔近傍の手の位置を正確に認識することができる。その結果、例えば、顔と手の相対位置が正確に特定されるので、ジェスチャーを細かく捉えることができる。

［３−２．小領域の配置］
上記実施形態においては、顔の耳近傍に小領域を設定するとともに、鼻と眼の位置関係から頬領域を設定する構成としたが、フィルタ処理の対象となる領域はこれに限られない。例えば、「手」認識を利用するアプリケーションに応じて適宜変更することが可能である。

［３−４．各機能ブロックの実現方法］
上記実施形態においては、図３に示す各機能ブロックを、ソフトウェアを実行するＣＰＵの処理によって実現している。しかし、その一部もしくは全てを、ロジック回路等のハードウェアによって実現してもよい。なお、プログラムの一部の処理をさらに、オペレーティング・システム（ＯＳ）にさせるようにしてもよい。

１１取得部
１２顔認識部
１３周辺領域決定部
１４第２判定部
１５顔内領域決定部
１６第１判定部
１７電話使用判断部
２カメラ装置
３外部装置

Claims

顔画像を取得する取得部と、
顔画像のうち顔領域を認識する顔認識部と、
前記顔領域に基づいて、前記顔領域内の顔内解析領域を決定する顔内領域決定部と、
前記顔内領域決定部で決定された前記顔内解析領域の画素値を用いて、前記顔内解析領域内に手があるか否かを判断する第１判定部と、
前記顔領域に基づいて、前記顔領域の周辺の周辺解析領域を決定する周辺領域決定部と、
前記周辺領域決定部で決定された周辺解析領域の画素値を用いて、前記周辺解析領域内に手があるか否かを判断する第２判定部とを備え、
前記第１判定部は、前記第２判定部で、前記周辺解析領域に手がないと判断された場合に、前記顔内解析領域に手があるか否かを判断する、手認識装置。
顔画像を取得する取得部と、
顔画像のうち顔領域を認識する顔認識部と、
前記顔領域に基づいて、前記顔領域内の顔内解析領域を決定する顔内領域決定部と、
前記顔内領域決定部で決定された前記顔内解析領域の画素値を用いて、前記顔内解析領域内に手があるか否かを判断する第１判定部と、
前記顔領域に基づいて、前記顔領域の周辺の周辺解析領域を決定する周辺領域決定部と、
前記周辺領域決定部で決定された周辺解析領域の画素値を用いて、前記周辺解析領域内に手があるか否かを判断する第２判定部とを備え、
前記第１判定部による判断と、前記第２判定部による判断に基づいて、顔近傍の手を認識する、手認識装置。
前記第１判定部は、前記顔領域内の頬の領域を検出し、頬の領域を前記顔内解析領域に決定する、請求項１又は２に記載の、手顔認識装置。
前記第１判定部は、前記顔内解析領域をエッジ検出し、エッジ検出結果と、前記顔内解析領域の画素値とに基づいて、前記顔内解析領域内に手があるか否かを判断する、請求項１〜３のいずれか１項に記載の手認識装置。
前記取得部は、複数の撮像装置から同じ顔を撮影した複数の顔画像を取得し、
前記第１判定部は、前記複数の顔画像に基づいて、前記顔内解析領域の被写体までの距離に関する情報を算出し、当該距離に関する情報をさらに用いて、前記周辺解析領域または前記顔内解析領域に手があるか否かを判断する、請求項１〜４のいずれか１項に記載の手認識装置。
前記第１判定部および前記第２判定部の判断に基づいて、顔画像の対象人物が電話で話しているか否かを検出する、電話使用判断部をさらに備える、請求項１〜５のいずれか１項に記載の手認識装置。
前記第１判定部および前記第２判定部の判断に基づいて、顔画像の人のジェスチャーを決定する、ジェスチャー検出部をさらに備える、請求項１〜５のいずれか１項に記載の手認識装置。
前記第２判定部は、前記周辺領域決定部で決定された周辺解析領域の画素値から算出される肌色成分を用いて、前記周辺解析領域内に手があるか否かを判断する、請求項４に記載の手認識装置。
顔画像を取得する取得処理と、
顔画像のうち顔領域を認識する顔認識処理と、
前記顔領域に基づいて、前記顔領域内の顔内解析領域を決定する顔内領域決定処理と、
前記顔内領域決定処理で決定された前記顔内解析領域の画素値を用いて、前記顔内解析領域内に手があるか否かを判断する第１判定処理と、
前記顔領域に基づいて、前記顔領域の周辺の周辺解析領域を決定する周辺領域決定処理と、
前記周辺領域決定処理で決定された周辺解析領域の画素値を用いて、前記周辺解析領域内に手があるか否かを判断する第２判定処理と、をコンピュータに実行させ、
前記第２判定処理で、前記周辺解析領域に手がないと判断された場合に、前記顔内解析領域に手があるか否かを判断する前記第１判定処理をコンピュータに実行させる、手認識プログラム。
顔画像を取得する取得工程と、
顔画像のうち顔領域を認識する顔認識工程と、
前記顔領域に基づいて、前記顔領域内の顔内解析領域を決定する顔内領域決定工程と、
前記顔内領域決定工程で決定された前記顔内解析領域の画素値を用いて、前記顔内解析領域内に手があるか否かを判断する第１判定工程と、
前記顔領域に基づいて、前記顔領域の周辺の周辺解析領域を決定する周辺領域決定工程と、
前記周辺領域決定工程で決定された周辺解析領域の画素値を用いて、前記周辺解析領域内に手があるか否かを判断する第２判定工程とを含み、
前記第２判定工程で、前記周辺解析領域に手がないと判断された場合に、前記第１判定工程において、前記顔内解析領域に手があるか否かを判断する、手認識方法。
顔画像を取得する取得処理と、
顔画像のうち顔領域を認識する顔認識処理と、
前記顔領域に基づいて、前記顔領域内の顔内解析領域を決定する顔内領域決定処理と、
前記顔内領域決定処理で決定された前記顔内解析領域の画素値を用いて、前記顔内解析領域内に手があるか否かを判断する第１判定処理と、
前記顔領域に基づいて、前記顔領域の周辺の周辺解析領域を決定する周辺領域決定処理と、
前記周辺領域決定部で決定された周辺解析領域の画素値を用いて、前記周辺解析領域内に手があるか否かを判断する第２判定処理と、
前記第１判定処理による判断と、前記第２判定処理による判断に基づいて、顔近傍の手を認識する処理と、をコンピュータに実行させる、手認識プログラム。
顔画像を取得する取得工程と、
顔画像のうち顔領域を認識する顔認識工程と、
前記顔領域に基づいて、前記顔領域内の顔内解析領域を決定する顔内領域決定工程と、
前記顔内領域決定工程で決定された前記顔内解析領域の画素値を用いて、前記顔内解析領域内に手があるか否かを判断する第１判定工程と、
前記顔領域に基づいて、前記顔領域の周辺の周辺解析領域を決定する周辺領域決定工程と、
前記周辺領域決定部で決定された周辺解析領域の画素値を用いて、前記周辺解析領域内に手があるか否かを判断する第２判定工程と、
前記第１判定工程による判断と、前記第２判定処理による判断に基づいて、顔近傍の手を認識する工程と、を含む、手認識方法。