JP2012113414A - 部位検出装置、部位検出方法、及びプログラム - Google Patents

Abstract

【課題】部位検出アルゴリズムの検出漏れを補完すること。
【解決手段】入力画像から、被写体を構成する複数の部位の位置を検出可能な部位検出部と、前記部位検出部により注目すべき部位の位置が検出されなかった場合に、前記部位検出部により検出された部位の位置及び当該検出された部位の位置を基準とする位置関係の情報に基づいて、前記注目すべき部位の位置を推定する注目部位推定部と、を備える、部位検出装置が提供される。
【選択図】図１

Description

本発明は、部位検出装置、部位検出方法、及びプログラムに関する。

近年、顔検出と呼ばれる技術が注目されている。顔検出とは、画像を解析し、画像に含まれる人物の顔を機械的に検出するというものである。より詳細には、人物の顔が持つ特徴を保持しておき、その特徴と同じ特徴を持つ領域を画像から検出する技術を言う。例えば、下記の特許文献１には、ブースティング技術を顔検出に応用する方法が記載されている。ブースティング技術とは、簡易的な特徴量検出器（弱検出器）を多数用意し、この弱検出器を集団的に利用することで、精度の高い特徴量検出器（強検出器）を実現するというものである。下記の特許文献１に記載の技術を利用することにより、高い精度で画像から人物の顔を検出することが可能になる。

特開２００９−１４０３６９号公報

しかしながら、上記の特許文献１に記載の顔検出技術を用いても、遮蔽物により顔の大部分が隠れていたり、顔が完全に真横を向いていたりする場合には顔を検出することが難しい。そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、顔検出により検出できなかった顔の位置を推定することが可能な、新規かつ改良された部位検出装置、部位検出方法、及びプログラムを提供することにある。なお、上記の特許文献１に記載の顔検出技術は、顔以外の部位を検出する部位検出技術へと拡張することができる。このような拡張をも念頭においた場合、本発明の目的とするところは、上記の部位検出技術により検出できなかった部位の位置を推定することが可能な部位検出装置、部位検出方法、及びプログラムを適用することにまで拡張される。

上記課題を解決するために、本発明のある観点によれば、入力画像から、被写体を構成する複数の部位の位置を検出可能な部位検出部と、前記部位検出部により注目すべき部位の位置が検出されなかった場合に、前記部位検出部により検出された部位の位置及び当該検出された部位の位置を基準とする位置関係の情報に基づいて、前記注目すべき部位の位置を推定する注目部位推定部と、を備える、部位検出装置が提供される。

また、上記の部位検出装置は、前記部位検出部により前記注目すべき部位の位置及び当該注目すべき部位とは異なる他の部位の位置が検出された場合に、当該注目すべき部位の位置及び当該他の部位の位置に基づいて前記位置関係の情報を更新する情報更新部をさらに備えていてもよい。

また、前記部位検出部は、第１の精度で前記複数の部位の位置を検出し、前記注目すべき部位の位置が検出されなかった場合に、前記注目部位推定部により推定された前記注目すべき部位の位置を含む所定サイズの領域について前記第１の精度よりも高い第２の精度で前記複数の部位の位置を検出する、ように構成されていてもよい。

また、上記の部位検出装置は、前記部位検出部により位置が検出された各部位に対して前記被写体毎に異なる識別情報を付与する識別情報付与部をさらに備えていてもよい。この場合、前記識別情報付与部は、前記注目部位推定部により位置が推定された前記注目すべき部位に対し、当該推定に用いられた部位に付与した識別情報と同じ識別情報を付与する。

また、前記入力画像は、動画を構成するフレームであってもよい。さらに、前記部位検出装置は、前記注目すべき部位の位置を追跡する追跡部をさらに備えていてもよい。

また、前記部位検出部により前記注目すべき部位の位置が検出されず、前記注目すべき部位とは異なる複数の部位の位置が検出された場合、前記注目部位推定部は、前記部位検出部により検出された複数の部位の位置及び当該検出された複数の部位の位置を基準とする位置関係の情報に基づいて、前記注目すべき部位の位置を推定する、ように構成されていてもよい。

また、上記の部位検出装置は、前記部位検出部により検出された所定の部位から前記被写体の属性を検出する属性検出部をさらに備えていてもよい。この場合、前記注目部位推定部は、前記属性毎に予め用意された前記位置関係の情報を参照し、前記属性検出部により検出された被写体の属性に対応する前記位置関係の情報に基づいて、前記注目すべき部位の位置を推定する。

また、上記課題を解決するために、本発明の別の観点によれば、入力画像から、被写体を構成する一又は複数の部位の位置が検出される部位検出ステップと、前記部位検出ステップで注目すべき部位の位置が検出されなかった場合に、前記部位検出ステップで検出された部位の位置及び当該検出された部位の位置を基準とする位置関係の情報に基づいて、前記注目すべき部位の位置が推定される注目部位推定ステップと、を含む、部位検出方法が提供される。

また、上記課題を解決するために、本発明の別の観点によれば、入力画像から、被写体を構成する複数の部位の位置を検出可能な部位検出機能と、前記部位検出機能により注目すべき部位の位置が検出されなかった場合に、前記部位検出機能により検出された部位の位置及び当該検出された部位の位置を基準とする位置関係の情報に基づいて、前記注目すべき部位の位置を推定する注目部位推定機能と、をコンピュータに実現させるためのプログラムが提供される。さらに、上記課題を解決するために、本発明の別の観点によれば、上記のプログラムが記録された、コンピュータにより読み取り可能な記録媒体が提供される。

以上説明したように本発明によれば、画像の特徴を解析して被写体の部位を検出する検出器により検出できなかった部位の位置を推定することが可能になる。

本発明の一実施形態に係る部位検出装置の機能構成について説明するための説明図である。 同実施形態に係る部位検出方法の一例である顔検出方法について説明するための説明図である。 同実施形態に係る部位検出方法の一例である顔検出方法について説明するための説明図である。 同実施形態に係る部位推定方法について説明するための説明図である。 同実施形態に係る部位推定方法について説明するための説明図である。 同実施形態に係る部位検出処理の流れについて説明するための説明図である。 同実施形態に係る部位検出処理の流れについて説明するための説明図である。 同実施形態に係る部位検出装置の一適用例である物体追跡装置の機能構成について説明するための説明図である。 同実施形態に係る追跡処理の流れについて説明するための説明図である。 同実施形態の一変形例に係る部位検出装置の機能構成について説明するための説明図である。 同実施形態の一変形例に係る部位検出処理の流れについて説明するための説明図である。 同実施形態の一変形例に係る部位推定方法について説明するための説明図である。 同実施形態の一変形例に係る部位推定処理の流れについて説明するための説明図である。 同実施形態の一変形例に係る部位推定処理の流れについて説明するための説明図である。 同実施形態の一変形例に係る部位推定処理の流れについて説明するための説明図である。 同実施形態に係る部位検出装置及び物体追跡装置の機能を実現することが可能な情報処理装置のハードウェア構成について説明するための説明図である。

以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［説明の流れについて］
ここで、以下に記載する本発明の実施形態に関する説明の流れについて簡単に述べる。まず、図１を参照しながら、本実施形態に係る部位検出装置１００の機能構成について説明する。この中で、図２〜図５を参照しながら、同実施形態に係る部位検出方法及び部位推定方法についても説明する。次いで、図６及び図７を参照しながら、同実施形態に係る部位検出装置１００の動作について説明する。次いで、図８を参照しながら、同実施形態に係る部位検出装置１００の適用例である物体追跡装置１０の機能構成について説明する。次いで、図９を参照しながら、同実施形態に係る顔追跡処理の流れについて説明する。

次いで、図１０を参照しながら、同実施形態の一変形例（第１変形例）に係る部位検出装置２００の機能構成について説明する。次いで、図１１を参照しながら、同変形例に係る部位検出装置２００の動作について説明する。この中で、同変形例に係る部位検出処理の流れについて詳細に説明する。次いで、図１２を参照しながら、同実施形態の一変形例（第２変形例）に係る部位推定方法について説明する。次いで、図１３〜図１５を参照しながら、同変形例に係る部位検出処理の流れについて説明する。

次いで、図１６を参照しながら、同実施形態に係る部位検出装置１００、２００及び物体追跡装置１０の機能を実現することが可能な情報処理装置のハードウェア構成について説明する。最後に、同実施形態の技術的思想について纏め、当該技術的思想から得られる作用効果について簡単に説明する。

（説明項目）
１：実施形態
１−１：部位検出装置１００の機能構成
１−２：部位検出装置１００の動作
１−３：物体追跡装置１０の構成及び動作
１−４：第１変形例（段階的な検出処理）
１−４−１：部位検出装置２００の機能構成
１−４−２：部位検出装置２００の動作
１−５：第２変形例（複数部位による部位推定）
１−５−１：推定方法の概要
１−５−２：部位推定処理の流れ
２：ハードウェア構成例
３：まとめ

＜１：実施形態＞
本発明の一実施形態について説明する。本実施形態は、画像を解析して被写体を構成する部位を検出する部位検出方法に関する。特に、本実施形態は、被写体を構成する一部の部位が何らかの理由で検出できなかった場合に、検出できた部位の位置から、検出できなかった部位の位置を推定する部位推定方法に関する。以下、本実施形態に係る部位検出方法、及び部位推定方法について詳細に説明する。

［１−１：部位検出装置１００の機能構成］
まず、図１を参照しながら、本実施形態に係る部位検出方法及び部位推定方法を実現することが可能な部位検出装置１００の機能構成について説明する。図１は、本実施形態に係る部位検出装置１００の機能構成について説明するための説明図である。

図１に示すように、部位検出装置１００は、主に、複数の部位検出部１０１と、属性検出部１０２と、位置推定部１０３と、位置関係データベース１０４と、位置関係更新部１０５と、識別情報付与部１０６とにより構成される。但し、部位検出装置１００の利用方法などに応じて、適宜、属性検出部１０２、位置関係更新部１０５、識別情報付与部１０６を省略したり、位置関係データベース１０４の構成を変更したりしてもよい。例えば、静止画像を入力とする場合には、位置関係更新部１０５や識別情報付与部１０６を省略してもよい。

（部位検出部１０１の機能）
部位検出装置１００には、互いに異なる部位を検出することが可能な複数の部位検出部１０１が設けられている。例えば、部位検出装置１００には、人物の顔を検出することが可能な部位検出部１０１、人物の上半身を検出することが可能な部位検出部１０１、人物の右足を検出することが可能な部位検出部１０１などが設けられている。その他にも、部位検出装置１００には、人物の手、自動車のタイヤやボディ、動物の尻尾などを検出可能な部位検出部１０１が設けられていてもよい。また、図１には３つの部位検出部１０１が描画されているが、部位検出部１０１の数は２つ又は４つ以上であってもよい。

ここで、図２及び図３を参照しながら、部位検出部１０１による部位検出の基本的な仕組みについて説明する。なお、ここでは説明の都合上、人物の顔を検出することが可能な部位検出部１０１による顔検出の例について説明する。

顔検出の対象とする画像が入力されると、部位検出部１０１は、図２に示すように、所定サイズの枠（以下、顔検出ウィンドウ）で画像をスキャンする。このとき、部位検出部１０１は、所定の移動量だけ顔検出ウィンドウを移動させながら、図３に示すように、顔検出ウィンドウで囲まれた領域の画像（顔検出データ）と、予め用意された参照画像（辞書画像データ）とを比較する。比較の結果、顔検出ウィンドウで囲まれた領域の画像が人物の顔であると判定された場合、部位検出部１０１は、顔検出ウィンドウの位置を顔検出の結果として出力する。

また、部位検出部１０１は、図２に示すように、画像を段階的に縮小しながら顔検出ウィンドウによる画像のスキャンを繰り返し実行する。このように、顔検出ウィンドウのサイズを変更せずに画像を縮小することにより、様々な解像度で人物の顔を検出することが可能になる。例えば、図２に示すように、顔検出ウィンドウのサイズを２０×２０ピクセルに設定し、原画像を０．７５倍（縮小画像Ａ）にすると、顔検出ウィンドウのサイズは、原画像換算で２８×２８ピクセル相当になる。なお、ここでは画像を段階的に縮小させながらスキャンする方法を紹介したが、顔検出ウィンドウのサイズを段階的に変化させながら繰り返し画像をスキャンする方法を適用してもよい。

また、顔検出ウィンドウで囲まれた領域の画像が顔であるか否かを精度良く判定する方法としては、例えば、特開２００９−１４０３６９号公報に記載の方法がある。この方法は、顔画像であるか否かが分かっている多数の画像を学習データとして用意し、用意した学習データを用いて機械学習により判定器を構築するというものである。特に、この方法は、多数の弱検出器を集団的に利用して強検出器を構築するというものである。もちろん、部位検出部１０１は、この方法以外の方法で顔画像を判定してもよいが、この方法を適用することにより、より精度良く顔画像を判定することができる。但し、この方法を用いても、遮蔽物により大部分が隠れてしまった顔や、完全に横を向いた顔などを顔として検出することは難しい。

また、顔検出の精度は、顔検出ウィンドウの移動量や画像の縮小倍率にも依存する。例えば、顔検出ウィンドウを細かく移動させながら画像をスキャンすれば検出漏れが少なくなり、顔検出の精度が向上する。また、画像の縮小倍率が１に近いほど高い解像度で検出処理ができることになり、顔検出の精度が向上する。しかし、顔検出ウィンドウの移動量を小さくすると、その分だけ顔の判定処理を行う回数が増加し、演算量が増大してしまう。同様に、画像の縮小倍率が小さいと演算量が増大してしまう。従って、顔検出ウィンドウの移動量や画像の縮小倍率は、顔検出の精度と演算量とのバランスを考慮して決められる。そのため、顔検出の精度が低く設定されていることがあり、そのような場合、精度に起因して顔が検出されるべき領域に顔が検出されないといったことが起こりうる。

以上説明したように、部位検出部１０１は、上記の仕組みを用いて、画像から部位の位置を検出することができる。部位検出部１０１により検出された部位の位置は、部位検出の結果として位置推定部１０３及び位置関係更新部１０５に入力される。また、部位検出に失敗した部位検出部１０１は、部位が検出されなかったことを示す検出結果を位置推定部１０３及び位置関係更新部１０５に入力する。さらに、所定の部位（例えば、顔など）を検出することが可能な部位検出部１０１は、所定の部位が検出された場合に、その部位の位置を部位検出の結果として属性検出部１０２に入力する。

ところで、本稿において、部位の「位置」という表現を用いることがあるが、ここで言う「位置」とは、部位として検出された画像領域の位置及び形状を含む情報を意味することがある。例えば、画像領域が矩形である場合、画像領域の頂点座標や中心座標で表現される画像中の位置、及び画像領域の幅と高さで表現される形状を含む情報が「位置」と表現されることがある。もちろん、画像領域の形状は矩形でなくてもよい。

（属性検出部１０２の機能）
上記の通り、属性検出部１０２には、所定の部位に関する部位検出の結果が部位検出部１０１から入力される。また、属性検出部１０２には、部位検出部１０１に入力されたものと同じ画像が入力される。部位検出の結果（部位の位置）及び画像が入力されると、属性検出部１０２は、入力された画像から所定の部位の画像（以下、属性検出用画像）を抽出する。そして、属性検出部１０２は、属性検出用画像を解析して、所定の部位を有する被写体の属性を検出する。なお、属性検出部１０２により検出された属性は、位置推定部１０３及び位置関係更新部１０５に入力される。

例えば、被写体が人物である場合、属性は、人種、性別、年齢、眼鏡の有無、子供／大人などとなる。また、被写体が人物である場合、属性の検出に利用される属性検出用画像としては、顔などの画像が利用される。例えば、属性検出部１０２は、属性毎に用意された顔の特徴と、属性検出用画像として与えられた顔の画像が持つ特徴とを比較し、特徴が近似する属性を抽出する。そして、属性検出部１０２は、抽出した属性を属性検出結果として出力する。なお、ここでは被写体が人物の場合について述べたが、被写体が動物の場合や自動車の場合などについても同様にして属性を検出することができる。例えば、被写体が自動車の場合、ボディの画像が持つ特徴から、乗用車、トラック、バスなどの属性を検出することが可能である。

（位置推定部１０３の機能、位置関係データベース１０４の構成）
上記の通り、位置推定部１０３には、属性検出部１０２から被写体の属性が入力される。また、位置推定部１０３には、部位検出部１０１から部位検出の結果が入力される。被写体の属性及び部位検出の結果が入力されると、位置推定部１０３は、部位検出部１０１により検出された部位（以下、検出部位）の位置に基づいて、部位検出部１０１により検出できなかった部位（以下、未検出部位）の位置を推定する。このとき、位置推定部１０３は、位置関係データベース１０４に格納されている部位間の位置関係を示す情報（以下、位置関係情報）を利用して未検出部位の位置を推定する。

ここで、図４及び図５を参照しながら、位置推定部１０３による位置推定方法について説明する。なお、ここでは一例として、検出部位を上半身とし、未検出部位を顔として、上半身の検出結果から顔の位置を推定する方法について説明する。

まず、図４を参照する。図４には、被写体である人物が描かれている。また、図４には、人物の上半身を囲む枠と、人物の顔を囲む枠とが描かれている。人物の上半身を囲む枠は、検出部位の位置を示すものである。また、人物の顔を囲む枠は、未検出部位の位置を示すものである。なお、上半身を囲む枠の幅をｓｘ、高さをｓｙとし、左上頂点の座標を（ｘ，ｙ）とする。また、顔を囲む枠の幅をｓｘ’、高さをｓｙ’とし、左上頂点の座標を（ｘ’，ｙ’）とする。つまり、部位検出部１０１により、上半身の検出結果としてｓｘ、ｓｙ、（ｘ，ｙ）が得られているものとする。

位置推定部１０３は、ｓｘ、ｓｙ、（ｘ，ｙ）から、ｓｘ’、ｓｙ’、（ｘ’，ｙ’）を推定する。このとき、位置推定部１０３は、図５に示すような位置関係データベース１０４の内容（位置関係情報）を参照する。なお、図５には、上半身の位置と顔の位置との関係を示す数式が記載されているが、実際には、この数式で表現される演算を実行するのに必要なパラメータだけを位置関係データベース１０４に格納しておけばよい。例えば、ｘ’を算出するための数式ｘ’＝ｘ−ｓｘ／２は、右辺第２項の符号「−」とｓｘの倍率「１／２」とをパラメータとして位置関係データベース１０４に格納しておけばよい。他の数式についても同様である。

位置推定部１０３は、図５に示すような線形式に上半身の検出結果ｓｘ、ｓｙ、（ｘ，ｙ）を代入し、顔の推定結果ｓｘ’、ｓｙ’、（ｘ’，ｙ’）を得る。なお、位置関係データベース１０４は、属性毎に設けられていてもよい。例えば、子供と大人とでは、上半身と顔との位置関係が明らかに異なる。そのため、検出部位の位置から未検出部位の位置を精度良く推定するためには、属性毎に異なる位置関係データベース１０４を用いることが望ましい。属性毎に位置関係データベース１０４が用意されている場合、位置推定部１０３は、属性検出部１０２から入力された属性に対応する位置関係データベース１０４を参照して未検出部位の位置を推定する。このようにして位置推定部１０３により推定された未検出部位の位置を示す位置情報、及び検出部位の位置を示す位置情報は、部位検出装置１００の外部に出力される。また、これらの位置情報は、識別情報付与部１０６に入力される。

（位置関係更新部１０５の機能）
ここで、位置関係データベース１０４の更新について説明する。これまでは位置関係データベース１０４が予め用意されているものとして説明を進めてきた。しかし、部位検出装置１００に入力される画像が動画フレームの場合、現在の動画フレームから検出された部位の位置関係を用いて位置関係データベース１０４を更新することにより、次以降の動画フレームにおける未検出部位の推定精度が向上すると期待される。

例えば、手の位置は動画フレーム毎に変化する。しかし、近い動画フレーム間では、それほど大きく手の位置が変化しない。従って、直近の動画フレームで検出された手の位置に基づく位置関係情報により位置関係データベース１０４を更新しておくと、所定の手の位置に基づく位置関係情報を利用した場合に比べ、手の位置に基づく未検出部位の推定精度を高めることができる。このような理由から、位置関係更新部１０５は、複数の検出部位が存在する場合に、これら検出部位間の位置関係に基づいて逐次的に位置関係データベース１０４を更新する。

（識別情報付与部１０６の機能）
識別情報付与部１０６は、部位検出部１０１により検出された部位の位置関係に基づいて同じ被写体の部位をグルーピングする。そして、識別情報付与部１０６は、同じグループに属する部位に対して被写体毎に異なるグループＩＤを割り当てる。さらに、識別情報付与部１０６は、位置推定部１０３により位置が推定された部位に対し、その推定に用いた部位と同じグループＩＤを割り当てる。また、識別情報付与部１０６は、部位検出部１０１により位置が検出された部位及び位置推定部１０３により位置が推定された部位に対し、部位の種類毎に異なる部位ＩＤを割り当てる。

従って、各部位には、識別情報として、グループＩＤ及び部位ＩＤが割り当てられる。このようにして識別情報付与部１０６により各部位に対して割り当てられた識別情報は、各部位の位置情報と共に部位検出装置１００の外部に出力される。なお、検出部位に対する識別情報の割り当ては、位置推定部１０３により未検出部位の推定が完了する前に行われてもよい。

以上、本実施形態に係る部位検出装置１００の機能構成について説明した。上記のように、部位検出装置１００は、検出したい部位を検出できなかった場合でも、他の検出できた部位の位置から、検出したい部位の位置を推定することができる。また、入力される画像が動画フレームである場合、部位検出装置１００は、部位の検出結果を利用して逐次的に位置関係データベース１０４を更新することにより、未検出部位の推定精度を向上させることができる。さらに、属性毎に位置関係データベース１０４が設けられているため、部位検出装置１００は、高い精度で未検出部位の位置を推定することができる。

［１−２：部位検出装置１００の動作］
次に、図６及び図７を参照しながら、本実施形態に係る部位検出装置１００の動作について説明する。図６及び図７は、本実施形態に係る部位検出装置１００による部位検出処理及び部位推定処理の流れについて説明するための説明図である。

図６に示すように、まず、部位検出装置１００に画像が入力される（Ｓ１０１）。部位検出装置１００に入力された画像は、複数の部位検出部１０１及び属性検出部１０２にそれぞれ入力される。次いで、画像が入力されると、部位検出部１０１は、入力された画像から被写体の部位を検出する（Ｓ１０２）。部位検出部１０１による検出結果は、位置推定部１０３及び位置関係更新部１０５に入力される。また、属性の検出に利用される所定の部位に関する検出結果は、属性検出部１０２に入力される。

所定の部位に関する検出結果及び画像が入力された属性検出部１０２は、入力された検出結果に基づいて画像から所定の部位の画像領域を抽出する。そして、属性検出部１０２は、抽出した画像領域から被写体の属性を検出する（Ｓ１０３）。属性検出部１０２により検出された属性は、位置推定部１０３及び位置関係更新部１０５に入力される。次いで、識別情報付与部１０６は、検出部位を被写体毎にグルーピングし、各検出部位に対して被写体毎に異なるグループＩＤを割り当てる（Ｓ１０４）。なお、各部位には、部位毎に異なる部位ＩＤが割り当てられているものとする。

次いで、部位検出装置１００は、グループＩＤ（ｎ＝１，…，Ｎ）に関するループを開始する。さらに、部位検出装置１００は、部位ＩＤ（ｉ＝１，…）に関するループを開始する。次いで、位置推定部１０３は、部位ＩＤ（ｉ）に対応する部位の位置が検出されているか否かを判定する（Ｓ１０５）。部位ＩＤ（ｉ）に対応する部位の位置が検出されている場合、部位検出装置１００は、処理をＡに進める。一方、部位ＩＤ（ｉ）に対応する部位の位置が検出されていない場合、部位検出装置１００は、処理をＢに進める。

処理をＡに進めた場合、部位検出装置１００は、部位ＩＤ（ｊ＝１，…）に関するループを開始し、処理をステップＳ１０６（図７）に進める。一方、処理をＢに進めた場合、部位検出装置１００は、部位ＩＤ（ｉ）をインクリメントし、再び処理をステップＳ１０５に戻す。処理をステップＳ１０６に進めた場合、位置推定部１０３は、部位ＩＤ（ｊ）に対応する部位の位置が検出されているか否かを判定する（Ｓ１０６）。部位ＩＤ（ｊ）に対応する部位の位置が検出されている場合、部位検出装置１００は、処理をステップＳ１０７に進める。一方、部位ＩＤ（ｊ）に対応する部位の位置が検出されていない場合、部位検出装置１００は、処理をステップＳ１０８に進める。

処理をステップＳ１０７に進めた場合、位置関係更新部１０５は、部位検出部１０１により検出された部位ＩＤ（ｉ）（ｊ）に対応する２つの部位の位置関係に基づいて位置関係データベース１０４に格納された位置関係情報を更新する（Ｓ１０７）。なお、位置関係情報は、図５に示すように、２つの部位の座標、幅、高さを線形式で表現したものである。そのため、２つの部位の座標、幅、高さが分かると、両部位の位置関係を示す線形式が求まる。位置関係更新部１０５により位置関係データベース１０４が更新されると、部位検出装置１００は、部位ＩＤ（ｊ）をインクリメントし、再び処理をステップＳ１０６に戻す。

一方、処理をステップＳ１０８に進めた場合、位置推定部１０３は、属性検出部１０２により検出された属性に対応する位置関係データベース１０４を参照し、検出部位の位置から未検出部位（部位ＩＤ（ｊ）に対応する部位）の位置を推定する（Ｓ１０８）。位置推定部１０３により未検出部位の位置が推定されると、部位検出装置１００は、部位ＩＤ（ｊ）をインクリメントし、再び処理をステップＳ１０６に戻す。

全ての部位ＩＤ（ｊ）についてステップＳ１０６、及び、Ｓ１０７又はＳ１０８の処理を実行した後、部位検出装置１００は、処理をステップＳ１０９に進める。処理をステップＳ１０９に進めた場合、位置推定部１０３は、同じ部位ＩＤに対応し、互いに異なる部位の位置から推定された複数の部位の位置を平均する（Ｓ１０９）。例えば、上半身から推定された顔の位置と、右手から推定された顔の位置とは異なる。そのため、位置推定部１０３は、これらの位置を平均して１つの推定位置を算出する。

次いで、位置推定部１０３は、推定した未検出部位の位置及び検出部位の位置を保持する（Ｓ１１０）。位置推定部１０３により各部位の位置が保持されると、部位検出装置１００は、部位ＩＤ（ｉ）をインクリメントし、再び処理をステップＳ１０５に戻す。全ての部位ＩＤ（ｉ）についてステップＳ１０５〜Ｓ１１０の処理を繰り返し実行した後、部位検出装置１００は、グループＩＤ（ｎ）をインクリメントし、再び部位ＩＤ（ｉ）に関するループ内の処理を繰り返し実行する。全てのグループＩＤ（ｎ）について部位ＩＤ（ｉ）に関するループ内の処理を繰り返し実行した後、部位検出装置１００は、各部位の位置を結果として出力し、一連の処理を終了する。なお、部位検出装置１００は、各部位に割り当てたグループＩＤ及び部位ＩＤを併せて出力してもよい。

以上、本実施形態に係る部位検出装置１００の動作について説明した。上記のように、部位検出装置１００は、検出したい部位を検出できなかった場合でも、他の検出できた部位の位置から、検出したい部位の位置を推定することができる。また、入力される画像が動画フレームである場合、部位検出装置１００は、部位の検出結果を利用して逐次的に位置関係データベース１０４を更新することにより、未検出部位の推定精度を向上させることができる。さらに、属性毎に位置関係データベース１０４が設けられているため、部位検出装置１００は、高い精度で未検出部位の位置を推定することができる。

［１−３：物体追跡装置１０の構成及び動作］
ここで、部位検出装置１００の適用例について説明する。例えば、部位検出装置１００は、撮像手段により連続して撮像された画像又は記憶手段に格納された動画フレームに現れる物体（特に、特定の部位）を追跡する物体追跡装置１０に適用することができる。なお、ここで言う「追跡」とは、連続して入力される画像に現れる同じ物体を同じ物体として認識し、その時間的な位置の変化を物体毎に識別することを意味する。

例えば、この物体追跡装置１０は、デジタルビデオカメラなどの撮像装置に搭載され、被写体の顔などの注目部位を追跡するために利用される。注目部位を追跡できると、注目部位に常にピントが合うように自動制御したり、注目部位のサイズが所定値以下にならないようにズームを自動制御したりすることができるようになる。また、この物体追跡装置１０及び撮像手段をデジタルサイネージ端末や自動販売機などの機器に搭載し、注目部位の追跡を利用して、利用者が機器の前に滞在する時間を計測したりすることもできる。こうした機能は、注目部位の追跡が途中で途切れてしまうとうまくいかない。しかし、部位検出装置１００を適用した物体追跡装置１０は、注目部位が何らかの理由で検出できなかった場合にも、注目部位の位置を推定して追跡を継続することができる。

図８に本実施形態に係る物体追跡装置１０の構成例を示す。図８に示すように、物体追跡装置１０は、例えば、画像入力部１１と、物体追跡部１２と、出力部１３と、部位検出装置１００とにより構成される。なお、物体追跡装置１０には、撮像手段又は記憶手段から動画を構成する画像（動画フレーム）が連続して入力されるものとする。

物体追跡装置１０に画像が入力されると、画像入力部１１は、入力された画像を部位検出装置１００及び出力部１３に入力する。画像が入力された部位検出装置１００は、入力された画像から被写体を構成する各部位の位置を検出又は推定し、その位置情報を出力する。また、部位検出装置１００は、各部位に付与されたグループＩＤや部位ＩＤなどの識別情報を位置情報に併せて出力する。部位検出装置１００により出力された位置情報及び識別情報は、物体追跡部１２に入力される。

位置情報及び識別情報が入力されると、物体追跡部１２は、入力された位置情報及び識別情報に基づいて被写体（物体）又は被写体を構成する特定の部位（注目部位）を追跡する。以下では、物体追跡部１２が注目部位を追跡するものとして説明を進めることにする。物体追跡部１２は、例えば、図９に示す追跡アルゴリズムに基づいて人物の顔を追跡する。図９に示すように、物体追跡部１２は、まず、新規に検出された顔に追跡用のＩＤ（以下、トラッキングＩＤ）を割り当てる（Ｓ３０１）。

次いで、物体追跡部１２は、検出された顔の領域が１フレーム前の画像で検出された顔の領域とＭ％（Ｍは所定値）以上重なっている、かつ、大きさの違いがＬ％（Ｌは所定値）以内である、という条件を満たすか否かを判定する。そして、顔の領域がこの条件を満たす場合、物体追跡部１２は、１フレーム前の画像で検出された顔に割り当てたトラッキングＩＤを現フレームの画像で検出された顔に割り当てる（Ｓ３０２）。また、１フレーム前の画像で検出された顔の領域が現フレームの画像で検出されない場合、物体追跡部１２は、１フレーム前の画像で検出された顔の領域を現フレームの画像における顔の領域に設定し、その顔の領域に同じトラッキングＩＤを割り当てる（Ｓ３０３）。さらに、同じトラッキングＩＤの顔がＮ秒間検出されない場合（Ｎは所定値）、物体追跡部１２は、そのトラッキングＩＤを削除する（Ｓ３０４）。

上記のようにしてトラッキングＩＤを管理することにより、物体追跡部１２は、連続して入力される画像に現れる顔の領域を追跡することができる。なお、ここでは説明の都合上、注目部位を人物の顔としたが、その他の部位を追跡する場合も同様である。図８に示すように、物体追跡部１２による追跡結果は、出力部１３に入力される。出力部１３は、画像と共に追跡結果を出力する。例えば、出力部１３は、画像に含まれる注目部位の領域をトラッキングＩＤ毎に異なる色彩の枠で囲んで表示したりする。なお、出力部１３による追跡結果の表示方法は、これに限定されず、トラッキングＩＤ毎に異なる表現方法で注目部位の領域を利用者に提示できればどのような方法でもよい。

以上、本実施形態に係る部位検出装置１００の適用例として、物体追跡装置１０の構成及び動作について説明した。上記の通り、部位検出装置１００は未検出部位の位置も推定できるため、部位検出装置１００を注目部位の追跡に適用すると、注目部位を安定して追跡することが可能になる。

［１−４：第１変形例（段階的な検出処理）］
ここで、本実施形態の一変形例（第１変形例）について説明する。先に説明したように、被写体の部位が検出できない理由としては、その部位が遮蔽物により隠されているなどの理由以外にも、検出精度を決めるパラメータの設定に起因するものがある。図２を参照しながら説明したように、検出精度は、顔検出ウィンドウ（顔検出の場合）のサイズや画像の縮小倍率などのパラメータに依存する。また、検出精度が高くなるようにパラメータを設定すると、部位の検出に要する演算量が増大してしまう。つまり、検出精度と演算量とはトレードオフの関係にあり、両者のバランスを考慮してパラメータが設定される。

これまでは検出精度を決めるパラメータの設定は変更せず、検出されなかった部位については、検出された部位の位置から推定するという方法について説明してきた。ここでは、未検出部位の推定結果を利用して、より高い精度で未検出部位の位置を再検出するという方法について説明する。この方法を適用すると、演算量の増大を抑えつつ、高い精度で部位の検出を実現することが可能になる。なお、本変形例を適用するにあたり、上記の部位検出装置１００の機能構成は、図１０に示す部位検出装置２００のように変形される。

（１−４−１：部位検出装置２００の機能構成）
まず、図１０を参照しながら、本変形例に係る部位検出装置２００の機能構成について説明する。図１０は、本変形例に係る部位検出装置２００の機能構成について説明するための説明図である。

図１０に示すように、部位検出装置２００は、主に、複数の部位検出部２０１と、位置推定部２０２と、位置関係データベース２０３とにより構成される。なお、部位検出装置２００は、上記の部位検出装置１００が有する属性検出部１０２、位置関係更新部１０５、及び識別情報付与部１０６に対応する構成要素を有していてもよい。また、位置関係データベース２０３の構成は、部位検出装置１００が有する位置関係データベース１０４の構成と実質的に同じである。

まず、部位検出装置２００に画像が入力される。部位検出装置２００に入力された画像は、複数の部位検出部２０１に入力される。個々の部位検出部２０１は、入力された画像から部位の位置を検出する。但し、部位検出部２０１による検出方法は、部位検出装置１００が有する部位検出部１０１による検出方法と実質的に同じである。部位検出部２０１による部位検出の結果は、位置推定部２０２に入力される。部位検出の結果が入力されると、位置推定部２０２は、位置関係データベース２０３を参照し、検出部位の位置から未検出部位の位置を推定する。そして、位置推定部２０２は、推定した未検出部位の位置を示す推定結果をその未検出部位に対応する部位検出部２０１に入力する。

推定結果が入力された部位検出部２０１は、入力された推定結果が示す未検出部位の位置を含む所定サイズの領域を対象に、より検出精度の高いパラメータを用いて部位の再検出を実行する。部位検出部２０１による再検出の結果は、位置推定部２０２に入力される。再検出の結果が入力されると、位置推定部２０２は、必要に応じて未検出部位の位置を推定し、検出部位の位置を示す位置情報及び必要に応じて推定した未検出部位の位置を示す位置情報を部位検出装置２００の外部に出力する。

以上、本変形例に係る部位検出装置２００の機能構成について説明した。上記の通り、本変形例に係る部位検出装置２００は、位置推定部２０２により推定された未検出部位の位置を含む領域を高い検出精度のパラメータで再検出する構成に特徴がある。このように、演算量の大きい再検出の処理を限られた領域内で実行することにより、演算量の増大を抑制することができる。また、未検出部位が発見される可能性の高い領域を高い検出精度のパラメータで再検出することにより、未検出部位が発見される確率が高まる。

（１−４−２：部位検出装置２００の動作）
次に、図１１を参照しながら、本変形例に係る部位検出装置２００の動作について説明する。図１１は、本変形例に係る部位検出装置２００の動作（特に、再検出処理の流れ）について説明するための説明図である。

図１１に示すように、まず、部位検出装置２００に画像が入力される（Ｓ２０１）。画像が入力されると、部位検出装置２００は、部位検出部２０１の機能により部位の位置を検出し、未検出部位については位置推定部２０２の機能により位置を推定する（Ｓ２０２）。次いで、部位検出装置２００は、位置推定部２０２の機能により推定された未検出部位の位置付近を対象に、部位検出部２０１の機能により部位の詳細な検出を実行する（Ｓ２０３）。次いで、部位検出装置２００は、検出部位の位置情報及び未検出部位の推定された位置情報を検出結果として出力し（Ｓ２０４）、一連の処理を終了する。

以上、本変形例に係る部位検出装置２００の動作について説明した。上記のように、位置推定部２０２により推定された未検出部位の位置付近を対象に、より高い検出精度のパラメータを利用して再検出を行うことにより、演算量の増大を抑えつつ、より高い精度で部位を検出することが可能になる。

［１−５：第２変形例（複数部位による部位推定）］
ここで、本実施形態の他の変形例（第２変形例）について説明する。これまで、１つの検出部位の位置から１つの未検出部位の位置を推定することを念頭において説明を進めてきた（例えば、図４及び図５を参照）。しかし、複数の検出部位が存在する場合、複数の検出部位の位置から１つの未検出部位の位置を推定することができれば、より推定精度を高めることができると期待される。そこで、第２変形例として、複数の検出部位の位置から１つの未検出部位の位置を推定する方法を紹介する。

（１−５−１：推定方法の概要）
例えば、両足の位置から上半身の位置を推定する方法について考えてみたい。図１２に示すように、右足の位置を示す座標を（ｘ_ｒ，ｙ_ｒ）、幅をｓｘ_ｒ、高さをｓｙ_ｒとし、左足の位置を示す座標を（ｘ_ｌ，ｙ_ｌ）、幅をｓｘ_ｌ、高さをｓｙ_ｌとする。また、上半身の位置を示す座標を（ｘ，ｙ）、幅をｓｘ、高さをｓｙとする。この場合、両足の位置から上半身の位置を推定するために利用される位置関係データベース１０４の内容は、例えば、下記の式（１）〜式（４）のように表現される。なお、位置関係データベース１０４には、位置関係情報をｓｘ＝ａ＊（ｓｘ_ｒ＋ｓｘ_ｌ）、ｓｙ＝ｂ＊（ｓｙ_ｒ＋ｓｙ_ｌ）、ｘ＝ｃ＊（ｘ_ｒ＋ｘ_ｌ）＋ｄ＊ｓｘ、ｙ＝ｅ＊（ｙ_ｒ＋ｙ_ｌ）＋ｅ＊ｓｙと表記した場合のａ、ｂ、ｃ、ｄ、ｅを保持しておけばよい。

ｓｘ＝（１／２）＊（ｓｘ_ｒ＋ｓｘ_ｌ） …（１）
ｓｙ＝（３／４）＊（ｓｙ_ｒ＋ｓｙ_ｌ） …（２）
ｘ＝（ｘ_ｒ＋ｘ_ｌ）／２ …（３）
ｙ＝（ｙ_ｒ＋ｙ_ｌ）／２＋ｓｙ …（４）

（１−５−２：部位推定処理の流れ）
ここで、図１３〜図１５を参照しながら、本変形例に係る部位推定処理を含む部位検出処理の流れについて説明する。図１３〜図１５は、本変形例に係る部位推定処理を含む部位検出処理の流れについて説明するための説明図である。なお、この処理は、上記の部位検出装置１００により実行されるものとする。

図１３に示すように、まず、部位検出装置１００に画像が入力される（Ｓ４０１）。部位検出装置１００に入力された画像は、複数の部位検出部１０１及び属性検出部１０２にそれぞれ入力される。次いで、画像が入力されると、部位検出部１０１は、入力された画像から被写体の部位を検出する（Ｓ４０２）。部位検出部１０１による検出結果は、位置推定部１０３及び位置関係更新部１０５に入力される。また、属性の検出に利用される所定の部位に関する検出結果は、属性検出部１０２に入力される。

所定の部位に関する検出結果及び画像が入力された属性検出部１０２は、入力された検出結果に基づいて画像から所定の部位の画像領域を抽出する。そして、属性検出部１０２は、抽出した画像領域から被写体の属性を検出する（Ｓ４０３）。属性検出部１０２により検出された属性は、位置推定部１０３及び位置関係更新部１０５に入力される。次いで、識別情報付与部１０６は、検出部位を被写体毎にグルーピングし、各検出部位に対して被写体毎に異なるグループＩＤを割り当てる（Ｓ４０４）。なお、各部位には、部位毎に異なる部位ＩＤが割り当てられているものとする。

次いで、部位検出装置１００は、グループＩＤ（ｎ＝１，…，Ｎ）に関するループを開始する。さらに、部位検出装置１００は、部位ＩＤ（ｉ＝１，…）に関するループを開始する。次いで、位置推定部１０３は、部位ＩＤ（ｉ）に対応する部位の位置が検出されているか否かを判定する（Ｓ４０５）。部位ＩＤ（ｉ）に対応する部位の位置が検出されている場合、部位検出装置１００は、処理をＡに進める。一方、部位ＩＤ（ｉ）に対応する部位の位置が検出されていない場合、部位検出装置１００は、処理をＢに進める。

処理をＡに進めた場合、部位検出装置１００は、部位ＩＤ（ｊ＝１，…）に関するループを開始し、処理をステップＳ４０６（図１４）に進める。一方、処理をＢ（図１５）に進めた場合、部位検出装置１００は、部位ＩＤ（ｉ）をインクリメントし、再び処理をステップＳ４０５に戻す。処理をステップＳ４０６に進めた場合、位置推定部１０３は、部位ＩＤ（ｊ）に対応する部位の位置が検出されているか否かを判定する（Ｓ４０６）。部位ＩＤ（ｊ）に対応する部位の位置が検出されている場合、部位検出装置１００は、部位ＩＤ（ｋ＝１，…）に関するループを開始し、処理をステップＳ４０７に進める。一方、部位ＩＤ（ｊ）に対応する部位の位置が検出されていない場合、部位検出装置１００は、処理をＣに進める。

処理をＣ（図１５）に進めた場合、部位ＩＤ（ｊ）をインクリメントし、再び処理をステップＳ４０６に戻す。一方、処理をステップＳ４０７に進めた場合、位置推定部１０３は、部位ＩＤ（ｋ）に対応する部位の位置が検出されているか否かを判定する（Ｓ４０７）。部位ＩＤ（ｋ）に対応する部位の位置が検出されている場合、部位検出装置１００は、処理をステップＳ４０８に進める。一方、部位ＩＤ（ｋ）に対応する部位の位置が検出されていない場合、部位検出装置１００は、処理をステップＳ４０９に進める。

処理をステップＳ４０８に進めた場合、位置関係更新部１０５は、部位検出部１０１により検出された部位ＩＤ（ｉ）（ｊ）（ｋ）に対応する部位の位置関係に基づいて位置関係データベース１０４に格納された位置関係情報を更新する（Ｓ４０８）。位置関係更新部１０５により位置関係データベース１０４が更新されると、部位検出装置１００は、部位ＩＤ（ｋ）をインクリメントし、再び処理をステップＳ４０７に戻す。

一方、処理をステップＳ４０９に進めた場合、位置推定部１０３は、属性検出部１０２により検出された属性に対応する位置関係データベース１０４を参照し、検出部位の位置から未検出部位（部位ＩＤ（ｋ）に対応する部位）の位置を推定する（Ｓ４０９）。位置推定部１０３により未検出部位の位置が推定されると、部位検出装置１００は、部位ＩＤ（ｋ）をインクリメントし、再び処理をステップＳ４０７に戻す。

全ての部位ＩＤ（ｋ）についてステップＳ４０７、及び、Ｓ４０８又はＳ４０９の処理を実行した後、部位検出装置１００は、処理をＤに進める。処理をＤ（図１５）に進めた場合、位置推定部１０３は、同じ部位ＩＤに対応し、異なる部位の位置の組から推定された複数の部位の位置を平均する（Ｓ４１０）。次いで、位置推定部１０３は、推定した未検出部位の位置及び検出部位の位置を保持する（Ｓ４１１）。位置推定部１０３により各部位の位置が保持されると、部位検出装置１００は、部位ＩＤ（ｉ）をインクリメントし、再び処理をステップＳ４０５に戻す。

全ての部位ＩＤ（ｉ）についてステップＳ４０５〜Ｓ４１１の処理を繰り返し実行した後、部位検出装置１００は、グループＩＤ（ｎ）をインクリメントし、再び部位ＩＤ（ｉ）に関するループ内の処理を繰り返し実行する。全てのグループＩＤ（ｎ）について部位ＩＤ（ｉ）に関するループ内の処理を繰り返し実行した後、部位検出装置１００は、各部位の位置を結果として出力し、一連の処理を終了する。なお、部位検出装置１００は、各部位に割り当てたグループＩＤ及び部位ＩＤを併せて出力してもよい。

以上、第２変形例に係る部位推定処理を含む部位検出処理の流れについて説明した。上記のように、複数の検出部位の位置から１つの未検出部位の位置を推定することにより、未検出部位の推定精度を向上させることができる。

＜２：ハードウェア構成例＞
上記の部位検出装置１００、２００及び物体追跡装置１０が有する各構成要素の機能は、例えば、図１６に示す情報処理装置のハードウェア構成を用いて実現することが可能である。つまり、当該各構成要素の機能は、コンピュータプログラムを用いて図１６に示すハードウェアを制御することにより実現される。なお、このハードウェアの形態は任意であり、例えば、パーソナルコンピュータ、携帯電話、ＰＨＳ、ＰＤＡ等の携帯情報端末、ゲーム機、又は種々の情報家電がこれに含まれる。但し、上記のＰＨＳは、Ｐｅｒｓｏｎａｌ Ｈａｎｄｙ−ｐｈｏｎｅ Ｓｙｓｔｅｍの略である。また、上記のＰＤＡは、Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔの略である。

図１６に示すように、このハードウェアは、主に、ＣＰＵ９０２と、ＲＯＭ９０４と、ＲＡＭ９０６と、ホストバス９０８と、ブリッジ９１０と、を有する。さらに、このハードウェアは、外部バス９１２と、インターフェース９１４と、入力部９１６と、出力部９１８と、記憶部９２０と、ドライブ９２２と、接続ポート９２４と、通信部９２６と、を有する。但し、上記のＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略である。また、上記のＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略である。そして、上記のＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略である。

ＣＰＵ９０２は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ９０４、ＲＡＭ９０６、記憶部９２０、又はリムーバブル記録媒体９２８に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。ＲＯＭ９０４は、ＣＰＵ９０２に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ９０６には、例えば、ＣＰＵ９０２に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。

これらの構成要素は、例えば、高速なデータ伝送が可能なホストバス９０８を介して相互に接続される。一方、ホストバス９０８は、例えば、ブリッジ９１０を介して比較的データ伝送速度が低速な外部バス９１２に接続される。また、入力部９１６としては、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部９１６としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。

出力部９１８としては、例えば、ＣＲＴ、ＬＣＤ、ＰＤＰ、又はＥＬＤ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。但し、上記のＣＲＴは、Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅの略である。また、上記のＬＣＤは、Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙの略である。そして、上記のＰＤＰは、Ｐｌａｓｍａ ＤｉｓｐｌａｙＰａｎｅｌの略である。さらに、上記のＥＬＤは、Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ Ｄｉｓｐｌａｙの略である。

記憶部９２０は、各種のデータを格納するための装置である。記憶部９２０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。但し、上記のＨＤＤは、Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅの略である。

ドライブ９２２は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９２８に記録された情報を読み出し、又はリムーバブル記録媒体９２８に情報を書き込む装置である。リムーバブル記録媒体９２８は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙメディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９２８は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。但し、上記のＩＣは、Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。

接続ポート９２４は、例えば、ＵＳＢポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９３０を接続するためのポートである。外部接続機器９３０は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。但し、上記のＵＳＢは、Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓの略である。また、上記のＳＣＳＩは、Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅの略である。

通信部９２６は、ネットワーク９３２に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ用の通信カード、光通信用のルータ、ＡＤＳＬ用のルータ、又は各種通信用のモデム等である。また、通信部９２６に接続されるネットワーク９３２は、有線又は無線により接続されたネットワークにより構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、可視光通信、放送、又は衛星通信等である。但し、上記のＬＡＮは、Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋの略である。また、上記のＷＵＳＢは、Ｗｉｒｅｌｅｓｓ ＵＳＢの略である。そして、上記のＡＤＳＬは、Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅの略である。

＜３：まとめ＞
最後に、本発明の実施形態に係る技術内容について簡単に纏める。ここで述べる技術内容は、例えば、ＰＣ、携帯電話、携帯ゲーム機、携帯情報端末、情報家電、カーナビゲーションシステム、デジタルスチルカメラ、デジタルビデオカメラ、デジタルサイネージ端末、ＡＴＭ（Ａｕｔｏｍａｔｅｄ Ｔｅｌｌｅｒ Ｍａｃｈｉｎｅ）、自動販売機等、種々の装置に対して適用することができる。

本実施形態は、入力画像から、被写体を構成する複数の部位の位置を検出可能な部位検出部を有する部位検出装置に関する。この部位検出装置は、上記の通り、様々な装置に搭載することが可能である。また、この部位検出装置は、前記部位検出部により注目すべき部位の位置が検出されなかった場合に、前記部位検出部により検出された部位の位置及び当該検出された部位の位置を基準とする位置関係の情報に基づいて、前記注目すべき部位の位置を推定する注目部位推定部をさらに有する。この注目部位推定部を有することにより、何らかの理由で部位検出部により注目部位が検出されなかったとしても、この部位検出装置は、注目部位の位置を認識することが可能になる。

例えば、一般的な顔検出技術を用いると、入力画像から顔の位置を検出することができる。但し、一般的な顔検出技術の場合、正面を向いている顔は精度良く検出できるが、横を向いてしまった顔を検出することは難しい。また、手で顔を隠していたり、眼鏡をかけていたりしていると、多くの場合に顔が検出されない。一方、上記の部位検出装置は、例えば、上半身の位置や手の位置など、顔以外の部位の位置が検出されていれば、検出された部位の位置から、注目部位である顔の位置を推定することができる。そのため、手で顔を隠していたり、眼鏡をかけていたり、横を向いていたりする顔であっても、顔の位置を認識することができる。上記の部位検出装置を用いると、例えば、動画中に現れる顔の位置を追跡する場合に、顔が手で覆い隠されたフレームが含まれていても他の部位から顔の位置が推定されているため、連続して顔を追跡することが可能になる。
なお、上記の位置推定部１０３は、注目部位推定部の一例である。上記の位置関係更新部１０５は、情報更新部の一例である。上記の物体追跡部１２は、追跡部の一例である。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明は係る例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１０ 物体追跡装置
１１ 画像入力部
１２ 物体追跡部
１３ 出力部
１００ 部位検出装置
１０１ 部位検出部
１０２ 属性検出部
１０３ 位置推定部
１０４ 位置関係データベース
１０５ 位置関係更新部
１０６ 識別情報付与部

Claims (9)

1. 入力画像から、被写体を構成する複数の部位の位置を検出可能な部位検出部と、
   前記部位検出部により注目すべき部位の位置が検出されなかった場合に、前記部位検出部により検出された部位の位置及び当該検出された部位の位置を基準とする位置関係の情報に基づいて、前記注目すべき部位の位置を推定する注目部位推定部と、
   を備える、
   部位検出装置。
2. 前記部位検出部により前記注目すべき部位の位置及び当該注目すべき部位とは異なる他の部位の位置が検出された場合に、当該注目すべき部位の位置及び当該他の部位の位置に基づいて前記位置関係の情報を更新する情報更新部をさらに備える、
   請求項１に記載の部位検出装置。
3. 前記部位検出部は、第１の精度で前記複数の部位の位置を検出し、前記注目すべき部位の位置が検出されなかった場合に、前記注目部位推定部により推定された前記注目すべき部位の位置を含む所定サイズの領域について前記第１の精度よりも高い第２の精度で前記複数の部位の位置を検出する、
   請求項２に記載の部位検出装置。
4. 前記部位検出部により位置が検出された各部位に対して前記被写体毎に異なる識別情報を付与する識別情報付与部をさらに備え、
   前記識別情報付与部は、前記注目部位推定部により位置が推定された前記注目すべき部位に対し、当該推定に用いられた部位に付与した識別情報と同じ識別情報を付与する、
   請求項３に記載の部位検出装置。
5. 前記入力画像は、動画を構成するフレームであり、
   前記部位検出装置は、前記注目すべき部位の位置を追跡する追跡部をさらに備える、
   請求項４に記載の部位検出装置。
6. 前記部位検出部により前記注目すべき部位の位置が検出されず、前記注目すべき部位とは異なる複数の部位の位置が検出された場合、前記注目部位推定部は、前記部位検出部により検出された複数の部位の位置及び当該検出された複数の部位の位置を基準とする位置関係の情報に基づいて、前記注目すべき部位の位置を推定する、
   請求項１に記載の部位検出装置。
7. 前記部位検出部により検出された所定の部位から前記被写体の属性を検出する属性検出部をさらに備え、
   前記注目部位推定部は、前記属性毎に予め用意された前記位置関係の情報を参照し、前記属性検出部により検出された被写体の属性に対応する前記位置関係の情報に基づいて、前記注目すべき部位の位置を推定する、
   請求項１に記載の部位検出装置。
8. 入力画像から、被写体を構成する一又は複数の部位の位置が検出される部位検出ステップと、
   前記部位検出ステップで注目すべき部位の位置が検出されなかった場合に、前記部位検出ステップで検出された部位の位置及び当該検出された部位の位置を基準とする位置関係の情報に基づいて、前記注目すべき部位の位置が推定される注目部位推定ステップと、
   を含む、
   部位検出方法。
9. 入力画像から、被写体を構成する複数の部位の位置を検出可能な部位検出機能と、
   前記部位検出機能により注目すべき部位の位置が検出されなかった場合に、前記部位検出機能により検出された部位の位置及び当該検出された部位の位置を基準とする位置関係の情報に基づいて、前記注目すべき部位の位置を推定する注目部位推定機能と、
   をコンピュータに実現させるためのプログラム。
   

Images