JP2012123631A - 注目領域検出方法、注目領域検出装置、及びプログラム - Google Patents

Abstract

【課題】 入力画像中から人間にとって意味のあるひと固まりを注目領域として精度よく検出する。
【解決手段】 注目領域検出方法に、入力画像中の所定の領域において複数の低次特徴量を算出する第１の算出工程と、前記複数の低次特徴量のそれぞれの確率密度の関係に基づいて視覚的顕著度を算出する第２の算出工程と、前記視覚的顕著度の統計的分布に基づいて注目領域を検出する検出工程とを備える。
【選択図】 図２

Description

本発明は、画像中の注目領域検出に関し、特に注目領域検出における視覚的顕著度の記述方法ならびに当該視覚的顕著度を用いた注目領域検出に関するものである。

入力画像中から人間にとって意味のあるひと固まりの領域を検出する方法として、例えば、特許文献１では、以下のような方法が提案されている。すなわち、入力画像中から基礎特徴画像を複数種類抽出し、その多重解像度表現である多重解像度画像を抽出する。また、多重解像度画像の各種類について解像度の異なる画像の間の差分である解像度差分画像を複数抽出し、解像度差分画像の各種類について、解像度の異なる解像度差分画像を統合することにより視覚的顕著度画像を抽出する。さらに、得られた視覚的顕著度画像において顕著度がある閾値以上の領域として注目領域が検出できる。

特開２００９−３６１５号公報

Ｈｉｄｏ，Ｓ．，Ｔｓｕｂｏｉ，Ｙ．，Ｋａｓｈｉｍａ，Ｈ．，Ｓｕｇｉｙａｍａ，Ｍ．，＆Ｋａｎａｍｏｒｉ，Ｔ．Ｓｔａｔｉｓｔｉｃａｌ ｏｕｔｌｉｅｒ ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ｄｉｒｅｔ ｄｅｎｓｉｔｙ ｒａｔｉｏ ｅｓｔｉｍａｔｉｏｎ．Ｋｎｏｗｌｅｄｇｅ ａｎｄ Ｉｎｆｏｒｍａｔｉｏｎ Ｓｙｓｔｅｍｓ， ｔｏ ａｐｐｅａｒ．

しかし、このような入力画像中からの基礎特徴画像を直接用いて視覚的顕著度を算出する場合、環境的、観測的要因に依るノイズの影響を受けやすく、注目領域の検出精度が低下するという問題があった。

上記課題を解決するために、本発明に係る注目領域検出方法は、入力画像中の所定の領域において複数の低次特徴量を算出する第１の算出工程と、前記複数の低次特徴量のそれぞれの確率密度の関係に基づいて視覚的顕著度を算出する第２の算出工程と、前記視覚的顕著度の統計的分布に基づいて注目領域を検出する検出工程とを備える。

本発明によれば、注目領域の検出精度を向上させることができる。

第１実施形態に係る注目領域検出装置の機能構成図である。 検出部の機能を説明する図である。 データ抽出領域を説明する図である。 視覚的顕著度の極大値が検出された検出点を説明する図である。 局所的注目領域群を説明する図である。 設定される注目領域を説明する図である。 学習部の機能を説明する図である。 パラメータ候補を説明する図である。 係数算出部の処理を説明する図である。 パラメータの決定を説明する図である。 パラメータ候補を説明する図である。 注目領域検出装置を実現する情報処理装置のハードウェア構成を示すブロック図である。

以下、図面を参照しながら、本発明の各実施形態について説明する。

［第１の実施形態］
図１は、本発明の第１の実施形態に係る注目領域検出装置１の機能構成を示すブロック図である。本実施形態に係わる物体識別装置は、半導体集積回路（ＬＳＩ）を用いて実現されるものとする。図１に示すように注目領域検出装置１は、学習部１１、検出部１２、制御部１３を有する。これらの構成要素は注目領域検出装置１が果たす機能にそれぞれ対応している。

注目領域検出装置１が果たす機能を大別すると２つある。その１つは学習機能であり、学習部１１で実行される。もう１つは検出機能であり、検出部１２で実行される。ここで、学習部１１では、検出部１２で用いられるパラメータαを算出する。また、検出部１２は、学習部１１で算出したパラメータαを用いて入力画像内の注目領域を検出する。さらに、制御部１３は、物体識別装置１の各構成要素の制御を行っている。

一方、注目領域の検出結果は、注目領域検出装置１の上位階層の装置に伝達され、様々なアプリケーション（デジタルスチルカメラのオートフォーカス機能やセキュリティーカメラの異常検出機能など）に適用される。

図２は検出部１２の機能構成を示すブロック図である。図２に示すように検出部１２は、第１の算出部である特徴量算出部１２１、第２の算出部である視覚的顕著度算出部１２２、極大値探索部１２３、統合部１２４から構成される。

図３は、データ抽出領域を説明する図である。特徴量算出部１２１は、図３のように、注目領域検出装置１の外部から入力される入力画像中に、訓練データ抽出領域と検証データ抽出領域を設定する抽出領域設定を実行し、各々の領域から無作為に所定の個数の複数種類の低次特徴量抽出を行う。

ここで、訓練データ抽出領域と検証データ抽出領域は、大きさの異なる２つの円形領域で与えられる。このうちの半径の大きい方の円形領域を第１の抽出領域である検証データ抽出領域とし、半径の小さい方の円形領域を第２の抽出領域である訓練データ抽出領域とする。

また、訓練データ抽出領域と検証データ抽出領域の半径、抽出する低次特徴量の個数、およびその種類（輝度値、エッジ強度、テクスチャなど）は、あらかじめ学習部１１により決定され、制御部１３により伝達される。

なお、ここで得られた低次特徴量は視覚的顕著度算出部１２２に出力される。

視覚的顕著度算出部１２２は、特徴量算出部１２１で得られた低次特徴量に基づいて、入力画像内の任意の点における視覚的顕著度Ｓを算出する。具体的には、訓練データ抽出領域から得られた低次特徴量と、検証データ抽出領域から得られた低次特徴量とのそれぞれを用いて推定される確率密度の比に基づいて、視覚的顕著度Ｓを算出する。

ここで、訓練データ抽出領域における低次特徴量の確率密度ｐ_{ｔｒａｉｎ}と、検証データ抽出領域における低次特徴量の確率密度ｐ_ｔｅｓｔとの密度比（ｐ_ｔｅｓｔ／ｐ_{ｔｒａｉｎ}）は、たとえば、非特許文献１の密度比推定手法を用いて算出できる。

これから、視覚的顕著度Ｓは、特徴量算出部１２１で抽出される低次特徴量が単一種の場合（たとえば、輝度値Ｙのみの場合）は、その低次特徴量による確率密度の比の標準偏差σの逆数１／σで与えられる。

また、視覚的顕著度Ｓは、特徴量算出部１２１で抽出される低次特徴量が複数種の場合（たとえば、輝度値Ｙ、エッジ強度Ｅ、テクスチャＴの３種類の場合）は、以下のようになる。すなわち、学習部１１より入力されるパラメータα＝（α_Ｙ，α_Ｅ，α_Ｔ）と、各々の低次特徴量による確率密度の比の標準偏差（σ_Ｙ，σ_Ｅ，σ_Ｔ，）の逆数（１／σ_Ｙ，１／σ_Ｅ，１／σ_Ｔ）による線形和を用いて、式（１）のように与えられる。

さらに、視覚的顕著度Ｓは、特徴量算出部１２１で抽出される低次特徴量が複数種の場合（たとえば、Ｎ種類の場合）は、式（１）を容易に拡張でき、視覚的顕著度Ｓは式（２）のように与えられる。あるいは、より一般的に、視覚的顕著度Ｓは式（３）のようにσ_ｎ（ｎ＝０〜Ｎ）に関する非線形関数としてもよい。

なお、得られた視覚的顕著度Ｓは、極大値探索部１２３に出力される。

極大値探索部１２３は、特徴量算出部１２１と視覚的顕著度算出部１２２を用いて、入力画像内のさまざまな点（ｘ，ｙ）における視覚的顕著度Ｓ＝Ｓ（ｘ，ｙ）を算出し、視覚的顕著度Ｓの統計的分布を求めるために、極大値（または、所定閾値以上の値）を与える点を検出する。

なお、極大値（または、所定閾値以上の値）の検出された点ｐ_ｋ（ｋ＝０〜Ｋ）は、統合部１２４に出力される。ただし、Ｋは、視覚的顕著度Ｓの極大値（または、所定閾値以上の値）が検出された点（ｘ，ｙ）の個数を表す。

統合部１２４は、極大値探索部１２３で得られた、視覚的顕著度Ｓの極大値（または、所定閾値以上の値）が検出された検出点ｐ_ｋ（ｋ＝０〜Ｋ）に対応する領域を局所的注目領域として設定する局所的注目領域設定を実行する。そして、それら局所的注目領域を２つの検出点の間の距離ｄに基づいて統合する。

例えば、図４のように、入力画像内の３点（ｐ_ｉ，ｐ_ｊ，ｐ_ｋ）において視覚的顕著度Ｓの極大値（または、所定閾値以上の値）が得られたとする。図４において、ｐ_ｉ，ｐ_ｊ，ｐ_ｋは、各々の円形領域の中心であり、それぞれの半径の大きさは訓練データ抽出領域の半径の大きさに相当する。まず、点ｐ_ｉとｐ_ｊに着目し、これらの点の間の距離ｄ_ｉｊが所定閾値ｄ_ｔｈより小さい場合、この２つの点（ｐ_ｉ，ｐ_ｊ）を同一グループとして統合して局所的注目領域群を生成する。次に、点ｐ_ｊとｐ_ｋに着目し、これらの点の間の距離ｄ_ｊｋが所定閾値ｄ_ｔｈより小さい場合、この２つの点（ｐ_ｊ，ｐ_ｋ）を同一のグループとして統合する。同様に、点ｐ_ｉとｐ_ｋに着目し、これらの点の間の距離ｄ_ｉｋが所定閾値ｄ_ｔｈより小さい場合、この２つの点を同一のグループとして統合する。ただし、上記所定閾値ｄ_ｔｈは、学習部１２により決定され、制御部１３により伝達される。

これを視覚的顕著度Ｓの極大値（または、所定閾値以上の値）が検出された点ｐ_ｋ（ｋ＝０〜Ｋ）の、すべての組に対して実行する。これにより、点ｐ_ｋ（ｋ＝０〜Ｋ）に対応する局所的注目領域を複数のグループ（局所的注目領域群）ｇ_ｍ（ｍ＝０〜Ｍ）に統合する（図５）。さらに、グループｇ_ｍ（ｍ＝０〜Ｍ）毎に視覚的顕著度Ｓの合計値Ｓ_ｍ（ｍ＝０〜Ｍ）を算出し、その最大値を与えるグループｇ_ｍ’を包含する矩形領域を設定し（図６）、これを最終的な注目領域とする注目領域設定を実行する。ただし、上記Ｍは、グループ個数を表す（図５の例ではＭ＝３）。

なお、ここで得られた注目領域の入力画像上における位置とサイズは、制御部１２に出力される。

なお、上記手段が注目領域検出装置１における検出部１２の一例に相当する。

図７は学習部１１の機能構成を示すブロック図である。図７に示すように学習部１１は、画像データベース１１１、係数算出部１１２から構成される。学習部１１は、検出部１２で用いられるパラメータαを、画像データベース１１１に格納されたＧＴ（グランドトゥルース）画像に基づいて決定する。ここで、ＧＴ画像とは、入力画像内の予め意味のあるまとまった物体領域として、注目領域を図６の点線で示す矩形枠で定義し、その位置とサイズがあらかじめ設定された画像である。係数算出部１１２は、検出部１２を用いて同様の注目領域検出結果が得られるように、パラメータαを学習する。

具体的には、パラメータαの候補α_０，ｍ（ｍ＝０〜Ｍ）をＮ次元空間のランダムな点の座標で与える。ただし、Ｎは低次特徴量の種類数を表し、本実施例では、輝度値Ｙ、エッジ強度Ｅ、テクスチャＴの３種類（Ｎ＝３）を考えることにする。また、Ｍはパラメータαの候補数を表す。

すると、パラメータαの候補α_０，ｍ（ｍ＝０〜Ｍ）は、図８のように、３次元空間（α_Ｙ，α_Ｅ，α_Ｔ）における半径１の球体内のランダムな点の座標で与えられる。ここで、パラメータαの候補数Ｍは、学習時間を短縮したい場合は、比較的小さめ（例えば１０〜５０）に、注目領域の検出精度を重視したい場合は、比較的大きめ（例えば１００〜５００）に設定する。

また、係数算出部１１２は、検出部１２を用いて、パラメータαの候補α_０，ｍ（ｍ＝０〜Ｍ）の各々を用いた場合の検出精度Ｒ_０，ｍ（ｍ＝０〜Ｍ）を測定する。ここで、係数算出部１１２は、図９のように、画像データベース１１１に格納されたＧＴ画像と、検出部１２を用いて得られた注目領域検出結果を各々照らし合わせる。検出精度Ｒ_０，ｍは、それらの重複する面積ｓとＧＴ画像における注目領域の面積ｓ’との面積比（ｓ／ｓ’）の平均値で与えられる。

この結果、図１０のように、最も良好な検出精度Ｒ_ｍ’を与えるパラメータαの候補α_０，ｍ’が特定できたとする。次に、係数算出部１１２は、図１１のように、新たなパラメータαの候補α_１，ｍ（ｍ＝０〜Ｍ）を、３次元空間（α_Ｙ，α_Ｅ，α_Ｔ）における点α_０，ｍ’を中心とする、半径１＊γ（０＜γ＜１）の球体内のランダムな点の座標で与える。ここで同様に、係数算出部１１２は、検出部１２を用いて、パラメータαの候補α_１，ｍ（ｍ＝０〜Ｍ）の各々を用いた場合の検出精度Ｒ_１，ｍ（ｍ＝０〜Ｍ）を算出する。

係数算出部１１２は、以下同様に上記の操作を繰り返し、球体の半径が所定閾値γ_ｔｈより小さくなった場合、処理を打ち切り、その時点で得られたパラメータαを制御部１３に出力する。ただし、上記所定閾値γ_ｔｈは、非負の実数として、試行錯誤的に決定される。以上が注目領域検出装置１における学習部１１の一例に相当する。

このようにして得られた注目領域検出結果は、注目領域検出装置１のさらに上位階層に伝達される。例えば、注目領域検出後にロボットアームにより注目対象物体をピックアップするような状況においては、ロボットアームと注目領域検出装置１とを制御するための装置、プログラム等に伝達され、様々なアプリケーションに適用される。

以上が注目領域検出装置１の一例に相当する。

［他の実施形態］
第１の実施形態では、注目領域検出装置は学習機能および識別機能の両者を実行するものとしたが、学習機能および検出機能のいずれか一方のみを実行するようにしてもよい。

第１の実施形態では、特徴量算出部１２１において、訓練データ抽出領域および検証データ抽出領域は２つの円形領域としていたが、円形状のみならず、楕円形状、矩形形状など、その他の任意形状を用いてもよい。また、最終的な注目領域も矩形領域に限らず、他の形状でもよい。

第１の実施形態では、視覚的顕著度算出部１２２は式（２）を用いて視覚的顕著度Ｓを計算していたが、式（２）の代わりに、訓練データ抽出領域の面積ｓを用いて、式（４）を用いてもよい。また、訓練データ抽出領域の面積ｓの任意関数ｆ（ｓ）を用いて、式（５）を用いてもよい。

また、第１の実施形態では、視覚的顕著度算出部１２２は、視覚的顕著度Ｓを、訓練データ抽出領域における低次特徴量の確率密度と、検証データ抽出領域における低次特徴量の確率密度との関係として、両者の密度比に基づいて算出していた。これに限らず、それぞれの抽出領域の低次特徴量のヒストグラムを求め、それぞれのヒストグラムの対応するヒストグラムビン間の差分絶対値に基づいて、視覚的顕著度Ｓを算出するようにしてもよい。

なお、本発明は、複数の機器（例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。

また、本発明は、以下の処理を実施することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）がプログラムを読み出して実行する処理である。

図１２は、プログラムを実行することで上述した注目領域検出装置を実現する情報処理装置のハードウェア構成を示すブロック図である。

ＣＰＵ２０１は、各種プログラムを実行し、装置各部の制御を行う。ＲＯＭ２０２は、不揮発性のメモリであり、情報処理装置を初期動作させる際に必要なプログラムなどを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアを提供し、２次記憶装置２０４から読み出されたプログラムなどを一時記憶する。２次記憶装置２０４は、ＣＰＵ２０１が使用するプログラム２１０を記録し、画像データベースで利用する画像を格納する。なお、プログラム２１０は、ＯＳ２１１、アプリケーション２１２、モジュール２１３、およびデータ２１４から構成される。

各デバイス２０１〜２０４は、バス２０５を通じて情報をやり取りする。情報処理装置は、バス２０５を介して、ディスプレイ２０６、キーボード２０７、マウス２０８、Ｉ／Ｏデバイス２０９とつながっている。

ディスプレイ２０６は、ユーザに処理結果や処理の途中経過等の情報を表示するのに用いられる。キーボード２０７とマウス２０８は、ユーザからの指示を入力するのに用いられ、特にマウス２０８は表示上の位置を入力するのに用いられる。Ｉ／Ｏデバイス２０９は、処理対象の画像を取り込むために用いられる。例えば、Ｉ／Ｏデバイス２０９は、対象物体を撮影する撮影装置から入力画像を取り込む。また、Ｉ／Ｏデバイス２０９は、情報処理結果として得られた注目領域を撮影装置や画像処理装置など他の情報処理装置へ出力することもできる。

Claims (8)

1. 入力画像中の所定の領域において複数の低次特徴量を算出する第１の算出工程と、
   前記複数の低次特徴量のそれぞれの確率密度の関係に基づいて視覚的顕著度を算出する第２の算出工程と、
   前記視覚的顕著度の統計的分布に基づいて注目領域を検出する検出工程と
   を有することを特徴とする注目領域検出方法。
2. 前記第１の算出工程は、
   前記所定の領域として、前記入力画像内の所定の点に対して第１の抽出領域と、該第１の抽出領域と大きさの異なる第２の抽出領域とを設定する抽出領域設定工程と、
   前記複数の低次特徴量として、前記第１の抽出領域および前記第２の抽出領域のそれぞれから低次特徴量を抽出する低次特徴量抽出工程と
   を有することを特徴とする請求項１に記載の注目領域検出方法。
3. 前記低次特徴量抽出工程では、前記第１の抽出領域および前記第２の抽出領域のそれぞれから、複数種類の低次特徴量を抽出することを特徴とする請求項２に記載の注目領域検出方法。
4. 前記第２の算出工程では、前記視覚的顕著度を、前記第１の抽出領域の低次特徴量のヒストグラムと前記第２の抽出領域の低次特徴量に対するヒストグラムの対応するヒストグラムビン間の差分絶対値に基づいて算出することを特徴とする請求項２に記載の注目領域検出方法。
5. 前記第２の算出工程では、前記視覚的顕著度を、前記第１の抽出領域で得られた低次特徴量に対する確率密度と前記第２の抽出領域で得られた低次特徴量に対する確率密度の比に基づいて算出することを特徴とする請求項２に記載の注目領域検出方法。
6. 前記検出工程は、
   前記視覚的顕著度に基づいて複数の局所的注目領域を設定する局所的注目領域設定工程と、
   前記複数の局所的注目領域をそれらの距離の大きさに基づいて統合して局所的注目領域群を生成する統合工程と、
   前記局所的注目領域群ごとに視覚的顕著度の合計値を算出し、その最大値を与える局所的注目領域群を特定する特定工程と、
   特定された前記局所的注目領域群を包含する領域を前記注目領域として設定する注目領域設定工程と
   を有することを特徴とする請求項１乃至５のいずれか１項に記載の注目領域検出方法。
7. 入力画像中の所定の領域において複数の低次特徴量を算出する第１の算出手段と、
   前記複数の低次特徴量のそれぞれの確率密度の関係に基づいて視覚的顕著度を算出する第２の算出手段と、
   前記視覚的顕著度の統計的分布に基づいて注目領域を検出する検出手段と
   を有することを特徴とする注目領域検出装置。
8. 請求項１に記載の注目領域検出方法の各工程をコンピュータに実行させるためのプログラム。

Images