JP2012104111A - 多角度の人間顔検知方法及びシステム - Google Patents

Abstract

【課題】本発明は、多角度の人間顔検知システム及び方法を提供する。
【解決手段】多角度の人間顔検知システムは、画像データを入力する入力装置と、非人間顔の画像データを１次検知する非人間顔拒絶階級分類器と人間顔を含む画像データに角度タグを付与する複数の角度タグ分類器を有する混合分類器と、各々が各々の人間顔角度に対応し、いずれか一つが対応する角度タグ分類器から出力される角度タグ付きの画像データを受け付け、該受け付けられた角度タグ付きの画像データに人間顔が含まれているか否かをさらに検知する複数の角度多段接続分類器と、を備える。
【選択図】図４

Description

本発明は、多角度の人間顔検知方法及びシステムに関し、特に、人間顔角度の迅速に決定することにより人間顔検知を向上することが可能な多角度の人間顔検知方法及びシステムに関する。

迅速かつ正確な物体検知法は、人間顔検知や感情状態分析、テレビ会議制御や分析、通行人保護システム等の、多くの応用の基礎的な動作となっている。このため、Adaboost人間顔検知法（正面顔識別）が大きな成功を収めてから、多くの学者が、該分野の研究に加わっている。しかしながら、デジタルカメラや携帯電話の急速な発展に伴い、正面顔の識別のみでは、日常生活の需要にははるかに及ばず、多くの方法は、多角度の場合の顔検知の課題等、さらに挑戦的な課題に着目しつつある。これは、多角度の場合の迅速かつ正確な人間顔検知の課題を展開することの必要性を物語っている。

米国特許第２００７０２２３８１２Ｂ２号（特許文献１参照）には、信頼できる多角度の人間顔検知方法及び装置が提案されている。該特許においては、高性能ではあるが余分度の高い微細構成特徴により、人間顔の特性を表している。また、Adaboost演算法により、このような特徴から最も代表性のある部分特徴を選出して強分類器を構成し、複雑な背景情報から人間顔の位置を検出している。図１には該特許の略図が示されている。該特許の最大の短所としては、所定の角度すべてに対して、対応する人間顔検知器の訓練を行っており、検知工程には、各角度をすべて含むように、すべての検知器を用いる必要があるため、相当な検知時間が必要であるという短所がある。

米国特許第７３２４６７１Ｂ２号（特許文献２参照）には、多角度の人間顔検知方法及び装置が提案されている。該特許において、人間顔検知システムは、一連の複雑度の逓増する強分類器により、非人間顔データを階級分類器構成の前に位置する階級（複雑度の低い階級）でフィルタリングして除去する。その階級分類器の構成は、ピラミッド式構成であり、粗から精、簡単から複雑への策略により、比較的に簡単な特徴（階級分類器構成における前階級に用いられる特徴）を用いて大量の非人間顔データをフィルタリングして除去することができ、リアルタイムで多角度の人間顔検知システムが得られる。該方法の最大の問題としては、ピラミッド式構成により、検知工程に大量の余分な情報が含まれることになり、検知の速度と精度に影響を及ぼすという問題がある。

米国特許第７４５７４３２Ｂ２号（特許文献３参照）には、特定物体の検知方法及び装置が提案されている。該特許においては、ＨＡＡＲ特徴を弱特徴として用いている。Real-Adaboost演算法は、検知精度をさらに向上するために、階級分類器構成における各階級の強分類器に対する訓練に用いられ、ＬＵＴ（検索表）データ構成は、特徴選択速度を向上するために用いられている。ここで、「強分類器」及び「弱特徴」は、ともに当該分野において一般に熟知されている概念である。該特許の主な短所としては、該方法が特定物体の一定の角度範囲内の検知にのみ適用可能で、主に正面顔の識別にしか用いることができず、応用においてある程度の制限があるということである。

このため、従来の多角度の人間顔検知方法においては、顔検知の速度の向上のみならず、如何に顔の角度を検知し、実際の検知工程に用いられる顔検知器の数を減らすかを解決する必要がある。

本発明は、従来技術における前述の課題を解決するためになされたもので、従来の顔検知システムに混合型階級分類器を用いて、入力データに角度タグを付与するとともに、一部の非顔データの走査ウィンドウを一次フィルタすることで、検知システムの実際の操作工程に使用される顔検知器の数を低減することを目的とする。

本発明の一の態様では、画像データを入力する入力装置と、非人間顔の画像データを１次検知する非人間顔拒絶階級分類器と人間顔を含む画像データに角度タグを付与する複数の角度タグ分類器を有する混合分類器と、各々が各々の人間顔角度に対応し、いずれか一つが対応する角度タグ分類器から出力される角度タグ付きの画像データを受け付け、該角度タグ付きの画像データに人間顔が含まれているか否かをさらに検知する複数の角度多段接続分類器と、を備える多角度の人間顔検知システムを提供する。

本発明の人間顔検知システムにおいて、前記入力装置は、原画像の異なる尺度、異なる位置のサブウィンドウをデータ走査し、該サブウィンドウを走査した画像データを混合分類器に入力する画像ウィンドウ走査手段をさらに有する。

本発明の多角度の人間顔検知システムにおいて、前記非人間顔拒絶階級分類器は、各々が複数の弱分類器からなる、複数のサブ分類器を有する。

本発明の多角度の人間顔検知システムにおいて、前記複数の角度タグ分類器の各々が、画像データから抽出された弱特徴に対する応答値を算出し且つ和を求め、最大の和に対応する角度タグ分類器に対応する角度タグを入力された画像データに付与する。

本発明の多角度の人間顔検知システムにおいて、前記弱特徴は、リアルタイム性能を満足可能な各種の局部テクスチャ記述を含むようにした。

本発明の他の態様では、画像データを入力し、非人間顔の画像データを１次検知し、人間顔を含む画像データに角度タグを付与し、角度タグ付きの画像データを受け付け、該受け付けられた角度タグ付きの画像データに人間顔が含まれているか否かをさらに検知する多角度の人間顔検知方法を提供する。

本発明の多角度の人間顔検知方法において、さらに、原画像の異なる尺度、異なる位置のサブウィンドウをデータ走査する。

本発明の多角度の人間顔検知方法において、データ走査を行うとともに、検知ステップに必要な弱特徴を計算する。

本発明の多角度の人間顔検知方法において、前記弱特徴は、リアルタイム性能を満足可能な各種の局部テクスチャ記述を含む。

本発明の多角度の人間顔検知方法において、前記非人間顔の画像データに対する１次検知は、階級構造の分類器により行われる。

本発明の前述の態様により、データは、該分類器を通過する時、正確な人間顔検知が行われるように、角度タグに対応付けられた階級分類器に送り込まれている。このような方式により、人間顔の多角度の課題について、データに角度タグを割り当てることができる。検知速度の課題については、得られた角度タグに対応する人間顔検知器のみを用いることで、大量の時間を節約することができる。

以下の図面による本発明の好適な実施例への詳細な説明により、本発明の以上及びその他の目標、特徴、長所、技術及び産業上の重要性がより理解できるようになる。

従来の多角度の人間顔検知システムの略図である。 各角度分類器の詳細構成図である。 例示として人間顔の正面画像に対する５つの角度を図示する図である。 本発明の実施例に係る、多角度の人間顔検知システムを示す図である。 全体図から走査ウィンドウを抽出することを示す図である。 混合分類器の構成図である。 図６の左側部分の角度タグ分類器の詳細構成図である。 図６と図７における混合分類器４２の走査ウィンドウに対する大まかな人間顔の拒絶と、角度タグの付加工程を具体的に説明したフローチャートである。 角度分類器に用いられる弱特徴を示す図である。 角度分類器に用いられる弱分類器を示す図である。

図１は、従来の多角度の人間顔検知システムの略図である。該図において、入力装置１は、画像データの入力に用いられ、角度多段接続分類器組Ｖ１、Ｖ２、・・・Ｖｎは、それぞれ異なる検知角度に対応している。通常、角度多段接続分類器組Ｖ１は、階級分類器Ｖ１１、Ｖ１２、・・・Ｖ１ｎを多段接続してなり、角度多段接続分類器組Ｖ２は、階級分類器Ｖ２１、Ｖ２２、・・・Ｖ２ｎを多段接続してなり、角度多段接続分類器組Ｖｎは、階級分類器Ｖｎ１、Ｖｎ２、・・・Ｖｎｎを多段接続してなり、ｎは自然数である。角度分類器の参照符号の第１位の下付きの数字は、該分類器の検知角度の番号を表し、第２位の下付きの数字は、対応の多段接続分類器組における該階級分類器の位置順番を表し、換言すると、複数の多段接続分類器の左から第２位の下付きの数字が同じである分類器は、同一階級に属していると見なしてもよいし、同一組における位置の異なる分類器に用いられる特徴は異なってもよいし、異なる組における同一階級の分類器に用いられる特徴は、必ずしも同一となる必要はない。図２は、各角度分類器の詳細構成図である。図２には、各角度の多段接続分類器組にｎ個の階級分類器が設けられているが、異なる検知角度に用いられる特徴が異なる場合があるため、各多段接続分類器組における弱分類器の数は異なってもよく、換言すると、階級分類器は、必ずしも図２に示されたマトリクス配列に形成される必要はなく、或いは、階級分類器は、必ずしもこのようなマトリクスを充填する必要はないことは、当業者が理解できる。各分類器は、任意の種類の強分類器でもよく、例えば、サポートベクトルマシン（Support Vector Machine, SVM）、Adaboost等の演算法を用いる公知の分類器でよい。各強分類器については、多種の表象局部テクスチャ構造の弱特徴や、その組み合わせにより演算を行ってもよいし、前記弱特徴は、ＨＡＡＲ特徴、多尺度のＬＢＰ特徴等の当該分野で通常用いられる特徴でよい。

なお、図２には、３つの検知角度に用いられる３つの多段接続分類器組が示されているが、検知角度を増加しても減少してもよいことは当業者に自明である。例えば、２つの検知角度に用いられるように２つの多段接続分類器組を設けてもよく、４つの検知角度に用いられるように４つの多段接続分類器組を設けてもよく、５つ以上の検知角度に用いられるように５つ以上の多段接続分類器組を設けてもよく、或いは、多角度の特定物体の判断装置の１種の特殊形式として、単一角度検知に用いられるように単に１つの多段接続分類器組を設けてもよい。人間顔の分類器については、人間顔の特定角度の特性による訓練から得られ、所謂角度とは、当該分野においては、通常、物体の、人間顔の正面画像に対する回転角度をいう。

本発明の具体的な実施形態においては、例示的な形式で、人間顔の５つの角度について説明がなされているが、当業者は、実際の需要に応じて異なる数の角度を選択してもよく、その操作フローは、本発明の５つの角度に関するフローと同じである。図３は、例として人間顔の正面画像に対する５つの角度を図示する図である。図３に示されるように、５つの角度は、左から右へ、それぞれ面外回転（rotation off plane,ROP）−４５度、面内回転（rotation in
plane,RIP）−４５度、正面、面内回転+４５度、面外回転+４５度である。いわゆる人間顔の正面画像とは、当該分野の公知公認の概念であり、正面画像と微小な回転角度のある画像も、実践上では、正面画像として処理される。同様に、本願においては、人間顔回転４５度とした場合も、該角度が必ず４５度であることを示しているのではなく、４５度前後の一定範囲内の角度を表し、例えば、４０度〜５０度の範囲のいずれかの角度は、本発明ではすべて４５度と見なしている。換言すると、ここでの４５度は、単に人間顔の回転角度範囲を表現するものであり、４０度〜５０度の範囲内の角度は、すべて回転４５度と見なされる。該５つの特定角度のサンプルを用いて、角度分類器と人間顔検知器をオフラインで訓練することにより、５つの角度を含む多角度の人間顔検知システムを実現することができる。

図４は、本発明の実施例に係る、多角度の人間顔検知システムを示す図である。図４に示される多角度の人間顔検知システムにおいては、画像入力装置４１と、混合分類器４２と、角度多段接続分類器組Ｖ１、Ｖ２、・・・Ｖｎが備えられている。混合分類器４２は、画像入力装置４１からの画像を受け付け、入力された画像の各フレームに対して分類処理を行う。具体的には、多尺度のローカルバイナリパターン（ＬＢＰ）により各フレーム画像の走査を行い、各走査ウィンドウに対し、大まかな人間顔判断を行い、人間顔の角度を決定し、その後、人間顔角度タグを人間顔と判定された走査ウィンドウに付与し、該角度タグが付された人間顔走査ウィンドウを、対応する角度多段接続分類器Ｖｉ（ここで、ｉは１−ｎの正整数である）に入力する。

図５は、全体図から走査ウィンドウを抽出することを示す図であり、異なる尺度と、異なる歩幅のウィンドウにより、全画像上を遍歴し、一連のウィンドウ画像を得る。多角度の人間顔判断装置は、抽出により得られるウィンドウ画像に対しても、ウィンドウが抽出されていない全体画像に対しても、同様の方式で処理を施してもよい。

図６は、混合分類器４２の構成図である。図６において、左側は、混合分類器４２における角度タグ分類器Ｃ１である。図６においては、便宜上、角度タグ分類器Ｃ１の構成のみ示されているが、実際の混合分類器４２においては、実際の需要に応じて、複数の角度タグ分類器Ｃ１、Ｃ２、・・・Ｃｎが配置されている。本発明の具体的な実施形態においては、５つの角度タグ分類が用いられている。各角度タグ分類器は、複数の弱分類器からなる。図６に示されるように、角度タグ分類器Ｃ１は、弱分類器Ｃ１１、Ｃ１２、・・・Ｃ１ｎからなる。図７は、図６の左側部分の角度タグ分類器の詳細構成図である。説明の便宜上、図７には、５つの角度の角度タグ分類器の詳細構成のみ示されている。実験では、図３に示されるように、５つの角度に対する分類が必要となる。本発明では、該目的に応じて、５つのAdaboost角度タグ分類器が構築されている。該角度タグ分類器は、アウトライン学習工程で得られ、その訓練のポジティブサンプルは、人為的に選定した各角度に対応する人間顔画像データであり、ネガティブサンプルは、人間顔データを含まない各種画像である。各分類器は、１つの特定の角度に対応し、該角度は一定の範囲をカバーすることができる。例えば、正面顔分類器は、−５度から+５度までの角度範囲の顔データをカバーすることができる。各分類器は、５つの弱特徴から構成される。画像データが入力されると、各Adaboost分類器は、該データが該角度に属する信頼度を算出し、角度選択器がそのうちの最大値を最終の角度タグとして出力する。図６の右側部分は、混合分類器４２における、人間顔に対して大まかな判断を行う非人間顔拒絶階級分類器Ｒである。本発明の具体的な実施形態においては、該非人間顔拒絶階級分類器Ｒが、２つの人間顔拒絶サブ分類器ＲとＲ２から構成されているが、実際に、当業者は必要に応じて前記サブ分類器の数を決めることができる。各サブ分類器は、複数の弱分類器から構成される。図６に示されるように、サブ分類器Ｒ１は、２つの弱分類器Ｒ１１とＲ１２から構成され、サブ分類器Ｒ２は、３つの弱分類器Ｒ２１、Ｒ２２、Ｒ２３から構成されている。

図８は、図６と図７における混合分類器４２の走査ウィンドウに対する大まかな人間顔の拒絶と、角度タグの付加工程を具体的に説明したフローチャートである。

図８に示されるように、ステップＳ８１において、画像データを入力する。次に、ステップＳ８２において、入力された画像の各フレームに対し、多尺度のＬＢＰによるウィンドウ走査を行うことにより、多尺度の走査ウィンドウ画像が得られる。次に、ステップＳ８３において、多種boosting演算法により得られた走査ウィンドウの計算から、最も分類能力のある弱特徴を選出するとともに、これらの弱特徴を用いて各特定の角度に対して対応するAdaboost分類器を構築し、これらの弱分類器の応答値（信頼度値）を計算する。これらの弱分類器には、図６及び図７に示されるすべての弱分類器が含まれる。次に、ステップＳ８４において、サブ分類器Ｒ１における弱分類器Ｒ１１及びＲ１２のそれぞれの弱特徴に対する応答値ｒ１１及びｒ１２の和が、閾値Ｔ１を超えたか否かを判断する。Ｔ１を超えた場合、該走査ウィンドウに顔画像が含まれていると判断し、ステップＳ８５に進む。Ｔ１を超えていないと、該走査ウィンドウを廃棄し、ステップＳ８２に戻り、次のウィンドウの走査を行う。ステップＳ８５において、サブ分類器Ｒ２の弱分類器Ｒ２１、Ｒ２２、Ｒ２３のそれぞれの弱特徴への応答値ｒ２１、ｒ２２、ｒ２３の和が、閾値Ｔ２を超えたか否かを判断する。Ｔ２を超えた場合、該走査ウィンドウに顔画像が含まれていると判断し、ステップＳ８６に進む。Ｔ１を超えていないと、該走査ウィンドウを廃棄し、ステップＳ８２に戻り、次のウィンドウの走査を行う。前記選択により得られた弱特徴を用いて階級分類器を構築し、ステップＳ８４とＳ８５により、非人間顔データの走査ウィンドウに対する拒絶機能を実現することができ、該ステップにおいて、一部の非人間顔データを拒絶することで、以降の処理に必要なデータ量を低減することができ、より迅速な検知速度を得ることができる。

その後、或いはステップＳ８３後に、ステップＳ８６を同期に実行する。図７に示されるように、角度タグ分類器Ｃ１、Ｃ２、・・・Ｃｎにおいて、各々が、所属する弱分類器の弱特徴に対する応答値の和をそれぞれ計算する。具体的に、画像データ入力時には、各Adaboost角度タグ分類器が、該データの該角度に属する各弱分類器の応答値、例えば、角度タグ分類器Ｃ１の各弱分類器Ｃ１１、Ｃ１２、・・・Ｃ１ｎの応答値ｃ１１、ｃ１２、・・・ｃ１ｎを計算するとともに、該角度に対応する弱分類器の応答値の和Ｓｃ、即ち、該角度に対応する信頼度値を計算することになる。その後、ステップＳ８７において、選択器７０により、各角度タグ分類器Ｃ１、Ｃ２、・・・Ｃｎの前記箇所に対応する信頼度値から、最大値を選択するとともに、該最大値を、対応する角度タグ分類器に対応する角度タグに伴い、角度多段接続分類器組Ｖ１、Ｖ２、・・・Ｖｎにおける対応する角度多段接続分類器へ出力する。

本発明の前記実施形態によると、同一の弱特徴を用いて、大まかな人間顔の拒絶と、角度タグの付加の２つの機能を同一分類器に統合することができる。このため、本発明の実施例においては、本発明の多角度の人間顔検知システムにおける混合分類器４２により、画像データが人間顔であるか否かを一次判断し、画像データの角度分類を行うことができる。人間顔であると判断された場合は、混合分類器４２は、該角度分類結果に応じて、自動的にデータに対して角度タグ表記を行い、該角度タグが付されたデータは、該角度タグに対応付けられた角度階級分類器（人間顔検知器）に送り込まれ、正確な判断がなされる。ここで、各人間顔検知器は、例えば、正面、プラス・マイナス４５度の面内回転、プラス・マイナス４５度の面外回転のような、特定の角度を有する人間顔サンプルの訓練から生成され、図３に示されるように、これらの角度は、訓練前に人為的に定めてもよい。このため、ある入力データに対応する角度タグを得た後、該データを該角度の人間顔検知器に直接入力することができる。複数の角度の人間顔検知器を訓練することができ、これらの検知器から最終の人間顔検知結果を出力することができるため、多角度の人間顔検知の目的を実現することができる。人間顔検知器の以降の動作については、当業者が従来の技術により実施してもよい。

以下、本発明に用いられる多種boosting演算法の主なステップの例について説明する。以下のステップ１〜３が含まれる。
1. Ｃ個の分類を保存し、各分類にＮのサンプルがあり、初期化サンプルの分布Ｄ_０(x)＝１／（Ｃ＊Ｎ）とする。
2. ｔ＝１，２，……Ｔに対し、
最も有効な弱特徴を選択し、各分類の弱分類器を構築し、サンプル分布を更新する。
3. 最終の分類器

該演算法において、ステップ１で訓練データへの必要な初期化を行い、式中、Ｃは、種別の数であり、Ｎは各種サンプルの数であり、Ｄ₀(x)は、各サンプルの初期重みである。

ステップ２において、多種boosting策略により、最も有効な特徴を選出する。該工程は、Ｔ回を含み、毎回は現データ状態下の最も有効な１特徴を選出する。Ｔは選択された特徴の総数である。主な工程は、以下の通りである。

最も有効な弱特徴を検索する。

分割線形関数における各分割間隔について、重み累積和の最大の種類を見つける。該種類は、該分割間隔におけるポジティブの種類と見なされ、その重み累計和は、Ｄposとなる。また、他の種類は、すべてネガティブの種類と見なされる。

データ分布（１種類対（Ｃ−１）種類）を均衡化にするために、該分割間隔から選択されたポジティブの種類サンプルの重みを、（Ｃ−１）＊Ｄ_ｐｏｓまで増加する。

関数を最大化にする。

ここで、

D_pos,bin(x)は、該分割間隔（ヒストグラムの１区間（ｂｉｎ）に対応する）に位置するポジティブサンプルの重みであり、D_neg,bin(x)は、該分割間隔に位置するネガティブサンプルの重みである。sD_posは、該分割間隔に位置するポジティブサンプルの重み均衡化後の重みの和であり、sD_neg は、該分割間隔に位置するネガティブサンプルの重み均衡化後の重みの和である。

弱分類器を構築する。

その後、訓練サンプルの重みを更新する。

式中、ｃは、サンプルの種別であり、ｔは、多種boosting演算法の特徴選択時における回数であり、Ｄ_ｃ,ｔ（Ｘ）は、該状態下のデータの重みである。

ステップ３において、選択した弱分類器を組み合わせることにより、各種に対応する角度分類器が得られる。ここで、ｈ_c,tは、第ｃ種の第ｔ個の弱分類器を表し、Ｈ_ｃは、第ｃ種に対応する多種boosting演算法により構成される角度分類器を表す。多種boosting演算法においては、すべての分類器（ｎ個の角度に対応するｎ個の分類器）が同一の特徴を共有してもよい。例えば、１つの分類器に５つの特徴を算出することが必要となる場合は、５つの分類器も、５つの特徴のみを算出すればよい。このため、このような策略により検知の時間を大幅に低減することができる。

前述の工程においては、図９に示されるような弱特徴と、図１０に示されるような弱分類器が用いられている。図９は、角度分類器に用いられる弱特徴を示している。該弱特徴には、ＭＳＬＢＰ（多尺度のローカルバイナリパターン）のテクスチャ記述が用いられる。ＬＢＰパターン値の計算工程は、前述のステップ１〜３に示された通りである。先ず、入力された白黒階調のテクスチャに対して正規化を行い、即ち、周囲の８つの隣接領域の白黒階調値と中心の白黒階調値との比較を行う。隣接領域の白黒階調値が中心の白黒階調値よりも高いと、１に正規化され、隣接領域の白黒階調値が中心の白黒階調値よりも低いと、０に正規化される。次に、正規化後のパターン値と対応する重み付けテンプレート（予め設定される）の点乗積により、最終のＬＢＰパターン値が得られる。ＬＢＰの主なメリットは、テクスチャ中心領域とその８つの隣接領域の白黒階調との比較特性を記述することが可能で、白黒階調テクスチャの局部比較分布情報を表すことができる。図１０は、角度分類器に用いられる弱分類器を示している。該弱分類器は、分割線形関数であり、ヒストグラム形式で保存される。ヒストグラムの各区間は、ＬＢＰ特徴の各パターンに対応している。ヒストグラムの各区間の値は、該パターンが人間顔データに該当する信頼度を表している。

下記表は、本発明の多角度の人間顔検知システム及び方法の実例の実験結果である。

前記表は、異なる数の弱特徴数（１〜５）を用いて、角度分類性能に対する比較実験結果である。表には、異なる弱特徴数で検知された各角度の正確率が明記されている。角度タグ分類器は、多角度の人間顔検知システムの初期段階に位置しているため、すべての入力データが該分類器に対して計算することが必要となる。このため、リアルタイムで迅速な検知速度を実現するために、ここでは、非常に少ない数の特徴（５未満）のみで、該分類器を構築している。実験結果によると、５つの弱特徴のみで角度分類器を構築する場合、いずれかの角度においても、９２％以上の識別率が得られることが判明され、採用した特徴及び利用した多種boosting演算法による分類器の角度分類に対する有効性が証明されたことになる。

本発明は人間顔の角度について説明されたが、従来技術も本発明も、手のひら、通行人等の、他の各種物体の処理が可能である。どのような物体で、どのような特徴で、どのような角度であるかに関わらず、ジョブの処理前に予め指定し、かつサンプルで訓練を行うことができれば、対応する分類器を得ることができ、多段接続分類器組を構成し、異なる角度に対して訓練を行うと、多角度の判断や、検知処理が可能な複数の多段接続分類器組を得ることができ、これにより、本発明の前述の多角度検知方法及びシステムを実現することができる。

明細書における一連の動作は、ハードウェアや、ソフトウェアや、ハードウェアとソフトウェアの組み合わせから実行することができる。ソフトウェアにより該一連の動作を実行時には、コンピュータプログラムを専用ハードウェアが内蔵されたコンピュータのメモリにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。或いは、コンピュータプログラムを各種の処理が実行可能な汎用コンピュータにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。

例えば、コンピュータプログラムを記録媒体であるハードディスクやＲＯＭに予め保存してもよい。一時または永久的にコンピュータプログラムをフロッピや、ＣＤ−ＲＯＭ（ＣＤ読み出し専用メモリー）や、ＭＯ（光磁気ディスク）や、ＤＶＤ（デジタル多用途ディスク）や、磁気ディスクや、半導体メモリ等のような移動記録媒体に記憶（記録）し、このような移動記録媒体をパッケージとして提供してもよい。

前述の具体的な実施例を参照し、本発明を詳細に説明したが、本発明の精神を逸脱しない範囲内で、実施例に修正や代替を加えることが可能なことは言うまでもない。換言すると、本発明は説明の形式で開示されており、制限的に解釈されるものではない。本発明の要旨は、添付された請求範囲で判断されるべきである。

本発明は、多角度の人間顔検知方法及びシステムに関し、特に、人間顔角度の迅速に決定することにより人間顔検知を向上することが可能な多角度の人間顔検知方法及びシステムに関する分野に利用可能である。

米国特許第２００７０２２３８１２Ｂ２号 米国特許第７３２４６７１Ｂ２号 米国特許第７４５７４３２Ｂ２号

Claims (10)

1. 画像データを入力する入力装置と、
   非人間顔の画像データを１次検知する非人間顔拒絶階級分類器と人間顔を含む画像データに角度タグを付与する複数の角度タグ分類器を有する混合分類器と、
   各々が各々の人間顔角度に対応し、いずれか一つが対応する角度タグ分類器から出力される角度タグ付きの画像データを受け付け、該受け付けられた角度タグ付きの画像データに人間顔が含まれているか否かをさらに検知する複数の角度多段接続分類器と、を備える多角度の人間顔検知システム。
2. 前記入力装置は、原画像の異なる尺度、異なる位置のサブウィンドウをデータ走査し、該サブウィンドウを走査した画像データを混合分類器へ入力する画像ウィンドウ走査手段をさらに有する請求項１に記載の多角度の人間顔検知システム。
3. 前記非人間顔拒絶階級分類器は、各々が複数の弱分類器からなる、複数のサブ分類器を有する請求項１に記載の多角度の人間顔検知システム。
4. 前記複数の角度タグ分類器の各々が、画像データから抽出された弱特徴に対する応答値を算出し且つ和を求め、最大の和に対応する角度タグ分類器に対応する角度タグを入力された画像データに付与する請求項３に記載の多角度の人間顔検知システム。
5. 前記弱特徴は、リアルタイム性能を満足可能な各種の局部テクスチャ記述を含む請求項４に記載の多角度の人間顔検知システム。
6. 画像データを入力し、
   非人間顔の画像データを１次検知し、人間顔を含む画像データに角度タグを付与し、
   角度タグ付きの画像データを受け付け、該受け付けられた角度タグ付きの画像データに人間顔が含まれているか否かをさらに検知する多角度の人間顔検知方法。
7. 原画像の異なる尺度、異なる位置のサブウィンドウをデータ走査する請求項６に記載の多角度の人間顔検知方法。
8. データ走査を行うとともに、検知ステップに必要な弱特徴を計算する請求項７に記載の多角度の人間顔検知方法。
9. 前記弱特徴は、リアルタイム性能を満足可能な各種の局部テクスチャ記述を含む請求項７に記載の多角度の人間顔検知方法。
10. 前記非人間顔の画像データに対する１次検知は、階級構造の分類器により行われる請求項７に記載の多角度の人間顔検知方法。