JP2014010633A - 画像認識装置、画像認識方法、及び画像認識プログラム - Google Patents

Abstract

【課題】画像認識において認識精度を向上させる。
【解決手段】特徴量算出部は、予め定めた第１の個数の画素のうち１個の基準画素の信号値と、第１の個数の画素のうちの第２の個数の画素であって、当該第２の個数の画素のうち少なくとも１個の画素が基準画素から少なくとも１画素隔てた位置にある画素である第２の個数の参照画素の信号値のそれぞれとの大小関係を、第２の個数の参照画素の全てについて示す特徴量を、処理領域内の画像に対して算出し、物体認識部は、特徴量算出部が算出した特徴量に基づいて目標物体を認識する。
【選択図】図２

Description

本発明は、画像認識装置、画像認識方法、及び画像認識プログラムに関する。

本発明は、画像認識装置、画像認識方法、およびこれに用いるコンピュータプログラムに関し、特にターゲットとする物体の認識に用いられる装置、方法、及びこれに用いるコンピュータプログラムに関する。

近年、車両の運転支援装置や予防安全装置として、車間距離制御装置（ＡＣＣ）や前方車両衝突警報装置、衝突回避・軽減装置等があり、車載カメラを備えた経済的な装置の普及が期待されている。車載カメラによる目標物体の認識には、パターン認識が用いられている。パターン認識では、認識させようとする目標物体の特徴量を予め学習し、学習によって得られた特徴量からなる辞書を生成する。生成した辞書を参照して、撮影した画像から目標物体の画像を認識する。

パターン認識の手法として、例えば、非特許文献１に示されるように輝度値に基づくＨａａｒ−ｌｉｋｅ特徴量とＡｄａＢｏｏｓｔの識別器を組み合わせて用いるアルゴリズムが提案されている。非特許文献１で提案されているアルゴリズムでは、信号値として輝度値を有する輝度画像から輝度値を空間的に積分した積分値を有する積分画像（インテグラルイメージ）を生成している。また、ＡｄａＢｏｏｓｔの識別器をカスケードに接続して演算処理の高速化が図られている。特許文献１には非特許文献１に記載のアルゴリズムを車載用カメラで撮影された画像に対する物体認識に応用した例が記載されている。
輝度値に基づく特徴量として、非特許文献２に記載のピクセル差分特徴量や非特許文献３に記載されているローカル・バイナリ・パターン（ＬＢＰ、Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）特徴量を用いることができる。ピクセル差分特徴量とは、互いに離れた任意の画素（ピクセル）間における輝度値の差分に基づく画像特徴量である。ＬＢＰ特徴量とは、注目画素と、隣接する８個の隣接画素の各々の間の輝度値の大小関係を示す画像特徴量である。

特開２００７−３１０８０５号公報

Ｐａｕｌ Ｖｉｏｌａ， Ｍｉｃｈａｅｌ Ｊｏｎｅｓ、"Ｒａｐｉｄ Ｏｂｊｅｃｔ Ｄｅｔｅｃｔｉｏｎ ｕｓｉｎｇ ａ Ｂｏｏｓｔｅｄ Ｃａｓｃａｄｅ ｏｆ Ｓｉｍｐｌｅ Ｆｅａｔｕｒｅｓ"、「Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ２００１」、ＩＥＥＥ Ｃｏｍｐｕｔｅｒ Ｓｏｃｉｅｔｙ、８−１４ Ｄｅｃｅｍｂｅｒ ２００１、（１）、５１１−５１８ 佐部浩太郎、日台健一、「ピクセル差分特徴を用いた実時間任意姿勢顔検出器の学習」、第１０回画像センシングシンポジウム（ＳＳＩＩ）発表予稿集、画像センシング技術研究会、２００４、５４７−５５２ Ｔ．Ｏｊａｌａ，Ｐｉｅｔｉｋａｉｎｅｎ，ａｎｄ Ｄ．Ｈａｒｗｏｏｄ、"Ａ Ｃｏｍｐａｒａｔｉｖｅ Ｓｔｕｄｙ ｏｆ Ｔｅｘｔｕｒｅ Ｍｅａｓｕｒｅｓ ｗｉｔｈ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ Ｂａｓｅｄ ｏｎ Ｆｅａｔｕｒｅ Ｄｉｓｔｒｉｂｕｔｉｏｎｓ"、Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ、Ｅｌｓｅｖｉｅｒ、１９９６、ｖｏｌ．２９、５１−５９

しかしながら、ピクセル差分特徴量は、２個の画素間の信号値に基づく特徴を示すのに対し、認識対象となる目標物体の画像において２個より多い複数の画素間で信号値の関連性を有することがある。ＬＢＰ特徴量は、注目画素と当該注目画素に隣接する８個の隣接画素との間における信号値に基づく特徴を示す。しかし、ＬＢＰ特徴量は、注目画素の信号値と、当該注目画素から隔てた任意の画素の信号値との関連性を示すことができない。そのため、ピクセル差分特徴量やＬＢＰ特徴量を用いても画像認識における認識精度が十分に向上することができなかった。

本発明は上記の点に鑑みてなされたものであり、画像認識において認識精度を向上させる。画像認識装置、画像認識方法、及び画像認識プログラムを提供する。

（１）本発明は上記の課題を解決するためになされたものであり、本発明の一態様は、予め定めた第１の個数の画素のうち１個の基準画素の信号値と、前記第１の個数の画素のうちの第２の個数の画素であって、当該第２の個数の画素のうち少なくとも１個の画素が前記基準画素から少なくとも１画素隔てた位置にある画素である第２の個数の参照画素の信号値のそれぞれとの大小関係を、前記第２の個数の参照画素の全てについて示す特徴量を、処理領域内の画像に対して算出する特徴量算出部と、前記特徴量算出部が算出した特徴量に基づいて目標物体を認識する物体認識部と、を備えることを特徴とする画像認識装置である。

（２）本発明のその他の態様は、予め定めた第１の個数の画素のうち１個の基準画素の信号値と、前記基準画素に隣接する全ての隣接画素のうちの一部である第２の個数の参照画素の信号値のそれぞれとの大小関係を、前記第２の個数の参照画素の全てについて示す特徴量を、処理領域内の画像に対して算出する特徴量算出部と、前記特徴量算出部が算出した特徴量に基づいて目標物体を認識する物体認識部と、を備えることを特徴とする画像認識装置である。

（３）本発明のその他の態様は、上述の画像認識装置であって、前記特徴量は、前記大小関係を示す符号を前記第２の個数の画素の全てについて配列した符号列が示す値であることを特徴とする。

（４）本発明のその他の態様は、上述の画像認識装置であって、前記特徴量に対応付けて前記目標物体の確率を含むパターン情報を記憶しているパターン記憶部を備え、前記物体認識部は、前記特徴量算出部が算出した特徴量に基づいて前記パターン記憶部から読み出したパターン情報を用いて前記目標物体の尤度を示す応答値を算出することを特徴とする。

（５）本発明のその他の態様は、上述の画像認識装置であって、前記パターン記憶部には、前記特徴量に係る前記第２の個数を示す情報、及び前記基準画素ならびに前記第２の個数の参照画素それぞれの位置を示す情報が記憶されていることを特徴とする。

（６）本発明のその他の態様は、上述の画像認識装置であって、前記パターン情報に係る処理領域の大きさと、前記画像に対する処理領域の大きさが一致するように、前記パターン情報に係る処理領域の大きさ、前記画像に対する処理領域の大きさ、又は両方の大きさを変更するリサイズ部、を備えることを特徴とする。

（７）本発明のその他の態様は、上述の画像認識装置であって、前記基準画素の座標と前記第２の個数の参照画素の位置がそれぞれ一致するように、前記パターン情報に係る処理領域の大きさ、前記画像に対する処理領域の大きさ、又は当該大きさのいずれも変更するリサイズ部、を備えることを特徴とする。

（８）本発明のその他の態様は、上述の画像認識装置であって、前記リサイズ部は、前記画像から抽出された処理領域を複数の予め定めた比率でそれぞれ縮小した縮小処理領域の画像を生成し、前記生成した縮小処理領域の画像の中でその大きさが前記パターン情報に係る処理領域の大きさに等しい又は最も近似する縮小処理領域の画像を、大きさを変更した処理領域の画像として選択することを特徴とする。

（９）本発明のその他の態様は、上述の画像認識装置であって、前記特徴量算出部は、前記画像の画素毎の信号値を空間的に積分した積分値を画素毎に有する積分画像に対して、前記パターン情報における基準画素及び前記第２の個数の参照画素のそれぞれに対応する画素を含む領域の頂点における積分値に基づいて当該領域における信号値の総和を各々算出し、各々算出した総和を前記画像に対する基準画素及び前記第２の個数の参照画素毎の信号値として前記特徴量を算出することを特徴とする。

（１０）本発明のその他の態様は、画像認識装置における画像認識方法であって、前記画像認識装置は、予め定めた第１の個数の画素のうち１個の基準画素の信号値と、前記第１の個数の画素のうちの第２の個数の画素であって、当該第２の個数の画素のうち少なくとも１個の画素が前記基準画素から少なくとも１画素隔てた位置にある画素である第２の個数の参照画素の信号値のそれぞれとの大小関係を、前記第２の個数の参照画素の全てについて示す特徴量を、処理領域内の画像に対して算出する第１の過程と、前記画像認識装置は、前記第１の過程において算出した特徴量に基づいて目標物体を認識する第２の過程と、を有することを特徴とする画像認識方法である。

（１１）本発明のその他の態様は、画像認識装置における画像認識方法であって、前記画像認識装置は、予め定めた第１の個数の画素のうち１個の基準画素の信号値と、前記基準画素に隣接する全ての隣接画素のうちの一部である第２の個数の参照画素の信号値のそれぞれとの大小関係を、前記第２の個数の参照画素の全てについて示す特徴量を、処理領域内の画像に対して算出する第１の過程と、前記画像認識装置は、前記第１の過程において算出した特徴量に基づいて目標物体を認識する第２の過程と、を有することを特徴とする画像認識方法である。

（１２）本発明のその他の態様は、画像認識装置のコンピュータに、予め定めた第１の個数の画素のうち１個の基準画素の信号値と、前記第１の個数の画素のうちの第２の個数の画素であって、当該第２の個数の画素のうち少なくとも１個の画素が前記基準画素から少なくとも１画素隔てた位置にある画素である第２の個数の参照画素の信号値のそれぞれとの大小関係を、前記第２の個数の参照画素の全てについて示す特徴量を、処理領域内の画像に対して算出する第１の手順、前記第１の手順において算出した特徴量に基づいて目標物体を認識する第２の手順、を実行させるための画像認識プログラムである。

（１３）本発明のその他の態様は、画像認識装置のコンピュータに、予め定めた第１の個数の画素のうち１個の基準画素の信号値と、前記基準画素に隣接する全ての隣接画素のうちの一部である第２の個数の参照画素の信号値のそれぞれとの大小関係を、前記第２の個数の参照画素の全てについて示す特徴量を、処理領域内の画像に対して算出する第１の手順、前記第１の手順において算出した特徴量に基づいて目標物体を認識する第２の手順、を実行させることを特徴とする画像認識プログラムである。

本発明によれば、画像認識において認識精度を向上させることができる。

本発明の実施形態に係る画像認識システムの構成を示す概略図である。 本実施形態に係る画像認識処理を示すフローチャートである。 画像ブロックの一例を示す図である。 基準画素と参照画素の信号値の一例を示す概念図である。 各参照画素の相対ビットとＣＢＰ特徴量の一例を示す概念図である。 画像ブロックの他の例を示す図である。 基準画素と参照画素の信号値の他の例を示す概念図である。 各参照画素の相対ビットとＣＢＰ特徴量の他の例を示す概念図である。 ラスタスキャンにおける入力画像の一例を示す図である。 ウィンドウ画像の一例を示す図である。 目標物体の画像の一例を示す図である。 本実施形態に係る一変形例に係る画像認識処理を示すフローチャートである。 ピラミッド画像の一例を示す概念図である。 ピラミッド画像における信号値の一例を示す概念図である。 本実施形態に係る他の変形例に係る画像認識処理を示すフローチャートである。 積分画像の一例を示す。 従来の画像認識処理の一例を示すフローチャートである。 入力画像から抽出されるセルの一例を示す図である。 セルの構成の一例を示す図である。 ＬＢＰの一例を示す図である。 ウィンドウ画像から選択される２個の画素の例を示す図である。 選択された２個の画素それぞれの信号値の一例を示す図である。 ニアレストネイバー法を説明する図である。 バイリニア法を説明する図である。

［用語の説明］
本願において、矩形とは、長方形ばかりではなく、正方形も含む。
本願において、勾配強度とは、画像における輝度の空間的な変化の度合いを示す係数である。勾配強度として、勾配強度を示す値よりも情報量が低減された勾配度数を用いてもよい。本願では、勾配強度と勾配度数を含む、広義の勾配値を勾配量と呼ぶ。
本願において、積分勾配画像は、画像の輝度について勾配方向と勾配強度（または、度数）を算出して、それぞれの勾配方向毎に勾配強度（または、度数）を積分した結果（積分勾配値）を示す画像である。この積分は、例えば、積分勾配画像を求める対象となる領域に含まれる全ての画素について行われる。
識別器として、例えば、ＡｄａＢｏｏｓｔの識別器、Ｒｅａｌ ＡｄａＢｏｏｓｔ識別器、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）の識別器等の画像のパターン認識に係る処理を行う識別器を用いてもよい。
識別器の下位概念として、アンサンブル学習を行う識別器があり、その下位概念として、Ｂｏｏｓｔｉｎｇの識別器があり、さらにＢｏｏｓｔｉｎｇの識別器の下位概念として、ＡｄａＢｏｏｓｔの識別器等がある。さらにＡｄａＢｏｏｓｔの識別器の下位概念としてＲｅａｌ ＡｄａＢｏｏｓｔの識別器等がある。
Ｂｏｏｓｔｉｎｇとは、学習サンプル毎に複数の弱識別器を用いてアンサンブル学習する統計的学習手法のことである。ＡｄａＢｏｏｓｔとは、Ｂｏｏｓｔｉｎｇにおいて、学習に用いる学習サンプルに対し、正しく識別した学習サンプルに対して重みを増加させるように適応的に更新する。ＡｄａＢｏｏｓｔの識別器は、弱識別器からの応答値を重み付き平均して最終的な応答値を得る。Ｒｅａｌ ＡｄａＢｏｏｓｔとは、ＡｄａＢｏｏｓｔにおいて、弱識別器からの応答値を学習サンプルの特徴量の分布に基づいて実数化する統計的学習手法である。Ｒｅａｌ ＡｄａＢｏｏｓｔの識別器は、識別対象データの特徴量に応じた分布値（確率密度、ヒストグラム、等）に基づいて弱識別器毎に応答値を算出する。

（本発明の実施形態）
以下、図面を参照しながら本発明の実施形態について説明する。
本実施形態では、車両に搭載される車載用の画像認識システムを例にとって説明する。
図１は、本実施形態に係る画像認識システムの構成を示す概略図である。
本画像認識システムは、カメラＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）１、警報装置２、ＡＣＣ（Ａｄａｐｔｉｖｅ Ｃｒｕｉｓｅ Ｃｏｎｔｒｏｌ、適応巡行制御、車間距離制御ともいう）−ＥＣＵ３、及び衝突回避制御−ＥＣＵ４を備える。
カメラＥＣＵ１は、画像認識装置の１つの態様である。カメラＥＣＵ１は、カメラ１１、画像取得部１２、物体認識部１３、及び制御部１４を含んで構成される。

カメラ１１は、車両に設置され、予め定めた方向、例えばその車両の前方、左側方、右側方、又は後方の画像を撮影する。カメラ１１は、撮影した画像を示す画像信号を画像取得部１２に出力する。
画像取得部１２は、カメラ１１から画像信号を取り込み、取り込んだ画像信号を物体認識部１３に出力する。

物体認識部１３は、画像取得部１２から入力された画像信号に対して物体認識のための画像処理及びパターン認識に係る処理を行い、パターン認識の結果を示す認識データを制御部１４に出力する。この画像処理は、例えば、後述するラスタスキャン、積分画像の生成である。認識データは、例えば、入力された画像信号が示す画像内の目標物体に係るデータ（目標物体それぞれの種別、位置、等）である。
物体認識部１３は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）２１の機能と、マイクロコンピュータ２２の機能を用いて構成される。物体認識部１３は、ＦＰＧＡ２１の機能の代わりに、又はＦＰＧＡ２１の機能とともにＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）の機能が用いられていてもよい。

制御部１４は、物体認識部１３から入力された認識データに基づいて予め定められた処理を行い、その処理結果を示す処理データを警報装置２、ＡＣＣ−ＥＣＵ３及び衝突回避制御−ＥＣＵ４に出力する。予め定めた処理として、目標物体との間のＴＴＣ（Ｔｉｍｅ ｔｏ Ｃｏｌｌｉｓｉｏｎ、到達時間）や距離を算出する処理、目標物体を追跡する処理がある。制御部１４は、他の装置やＥＣＵ（図１に示す例では、警報装置２、ＡＣＣ−ＥＣＵ３又は衝突回避制御−ＥＣＵ４）で実行されているアプリケーション機能との間でデータを入力又は出力する。
制御部１４は、マイクロコンピュータ２２の機能を用いて構成される。制御部１４は、マイクロコンピュータ２２の機能の代わりにＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の機能が用いられてもよい。

物体認識部１３及び制御部１４のメモリ２３及び周辺回路は、ＦＰＧＡ２１もしくはＤＳＰ、マイクロコンピュータ２２もしくはＣＰＵのうち少なくともいずれかの集積回路に格納されているものであってもよいし、それらの外部に設けられているものであってもよい。
物体認識部１３及び制御部１４において、ＦＰＧＡ２１もしくはＤＳＰ、マイクロコンピュータ２２もしくはＣＰＵといったデバイスの個数は、各々１個に限られず１個より多い任意の数でよい。また、それらのデバイスの全てが、物体認識部１３及び制御部１４として用いられていてもよいし、それらのデバイスのうち任意の個数、例えば１個又は２個が用いられていてもよい。
メモリ２３は、物体認識部１３や制御部１４が行った処理によって生成されたデータや、 目標物体のパターン認識に用いるパターン情報（例えば、辞書データ）を目標物体毎に記憶している。

警報装置２、ＡＣＣ−ＥＣＵ３及び衝突回避制御−ＥＣＵ４は、制御部１４とデータを入力又は出力して、それぞれのアプリケーション機能を実行する。
警報装置２は、制御部１４から入力されるデータに基づいて、利用者に注意を促すための情報を提示する。例えば、認識された目標物体が前方の車両である場合、その情報は前方車両衝突警報である。目標物体が歩行者である場合、その情報は歩行者衝突警報である。前方車両衝突警報とは、その前方の車両に接触又は衝突する可能性が高いことを示す情報である。また、歩行者衝突警報とは、歩行者に接触又は衝突する可能性が高いことを示す情報である。

ＡＣＣ−ＥＣＵ３は、制御部１４から入力されるデータに基づいて、例えば、目標物体が前方の車両である場合、車間距離制御を行う。車間距離制御には、例えば、その前方の車両との距離を一定に保つようにエンジンの出力を増加又は減少させる制御や、ブレーキの動作を開始又は停止する制御がある。
衝突回避制御−ＥＣＵ４は、制御部１４から入力されるデータに基づいて、例えば、目標物体に対する衝突回避制御を行う。衝突回避制御には、例えば、目標物体との距離が予め定めた距離よりも減少した場合、エンジンの出力を減少させる制御、又はその制御とともにブレーキの動作を開始させる制御がある。

（画像認識処理の基本的態様）
次に、本実施形態に係る画像認識処理の基本的な態様について説明する。
物体認識部１３は、画像探索部、リサイズ部、特徴量算出部及び画像識別部（いずれも図示せず）を含んで構成される。画像探索部が以下のステップＳ１０１、Ｓ１０５を、リサイズ部がステップＳ１０２を、特徴量算出部がステップＳ１０３を、画像識別部がＳ１０４、Ｓ１０６を実行する。

図２は、本実施形態に係る画像認識処理を示すフローチャートである。
（ステップＳ１０１）画像探索部は、画像取得部１２から入力された画像（以下、入力画像と呼ぶ）から目標物体の画像を示す領域を探索（ラスタスキャン）する。ここで、１フレームの画像が予め定めた時間（フレーム時刻）毎に入力されるが、現フレームとは現在処理対象となるフレームである。画像探索部は、探索において現フレームの画像から予め定めた大きさ（スケール）の領域の画像を抽出する。この予め定めたスケールの領域をウィンドウ（検出窓）という。ラスタスキャンの一環として、画像探索部は、ウィンドウの位置を予め定めた変位量（移動ステップ幅）だけ変位させ、変位させたウィンドウに含まれる画像を抽出する。抽出した画像をウィンドウ画像と呼ぶ。但し、処理開始時において、画像探索部は、ウィンドウの位置を予め定めた初期位置（例えば、画像フレームの左上端）に定める。その後、ステップＳ１０２に進む。

（ステップＳ１０２）リサイズ部は、画像探索部が位置を定めたウィンドウのスケールとメモリ２３に記憶されたパターン情報に係る目標物体の画像のスケールが一致するか否かを判断する。一致しないと判断された場合には、両者が一致するように、ウィンドウ画像のスケール、パターン情報に係る目標物体の画像のスケール又は、その両者のスケールを変更（リサイズ）する。リサイズに係る処理については後述する。その後、ステップＳ１０３に進む。

（ステップＳ１０３）特徴量算出部は、画像探索部が抽出したウィンドウ画像又はリサイズ部がリサイズしたウィンドウ画像に基づいて所定の特徴量を算出する。本明細書では、この特徴量をＣＢＰ（Ｃｏｎｓｔｅｌｌａｔｉｏｎ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ、コンステレイション・バイナリ・パターン、配置点二値パターン）特徴量と呼ぶ。ＣＢＰ特徴量は、予め定めた個数（画素数）の画素からなる画像ブロック毎に算出される特徴量である。１つのウィンドウには、予め定めた数（画像ブロック数）の画像ブロックが含まれる。特徴量算出部は、ブロック毎のＣＢＰ特徴量を要素値として有する特徴量ベクトル（ＣＢＰ特徴量ベクトル）を算出する。つまり、特徴量ベクトルの次元数は、１つのウィンドウに含まれる画像ブロックの数になる。ＣＢＰ特徴量については後述する。その後、ステップＳ１０４に進む。

（ステップＳ１０４）画像識別部は、特徴量算出部が算出した特徴量ベクトルに基づいてパターン認識処理を行って目標物体を識別する。パターン認識処理を行う構成として、画像識別部は、例えば、ＡｄａＢｏｏｓｔ識別器を用いる。ＡｄａＢｏｏｓｔ識別器を用いたパターン認識処理については、後述する。その後、ステップＳ１０５に進む。

（ステップＳ１０５）画像探索部は、現フレームの画像についてラスタスキャンが終了したか否かを判断する。画像探索部は、例えば、現フレームの画像において未処理の領域がある場合、つまりウィンドウが予め定めた最終位置（画像フレームの右下端）に到達していない場合、ラスタスキャンが終了していないと判断する。画像探索部は、例えば、現フレームの画像において未処理の領域がない場合、つまりウィンドウが予め定めた最終位置に到達したとき、ラスタスキャンが終了したと判断する。ラスタスキャンが終了したと判断された場合、（ステップＳ１０５ ＹＥＳ）、ステップＳ１０６に進む。ラスタスキャンが終了していないと判断された場合、（ステップＳ１０５ ＮＯ）、ステップＳ１０１に進む。

（ステップＳ１０６）画像識別部は、識別された目標物体の画像を示すウィンドウについてクラスタリングを行う。クラスタリングとは、同種の目標物体の画像を示すウィンドウのうち、例えば、予め定められた範囲の位置及びスケールをもつウィンドウのグループに分類することである。画像識別部は、１つのグループに分類されたウィンドウが複数ある場合には、そのグループに係る目標物体の画像を示す１個のウィンドウを算出する。その１個のウィンドウを算出する際、画像識別部は、例えば、そのグループに分類された複数のウィンドウそれぞれの位置の重心点及びそれぞれのスケールの平均値をとる。その後、処理を終了する。

（ＣＢＰ特徴量）
次に、本実施形態に係るＣＢＰ特徴量について説明する。
ＣＢＰ特徴量は、ａ個（第１の個数）の画素からなる画像ブロックに含まれる１個の基準画素の信号値と、そのブロックに含まれるｂ個（第２の個数）の参照画素それぞれの信号値に基づいて定められる特徴量である。ａは、２よりも大きい予め定められた第１の整数である。ｂは、ａよりも小さい整数であって、予め定められた１又は１よりも大きい第２の整数である。基準画素と参照画素を併せて配置点（コンステレーション、ｃｏｎｓｔｅｌｌａｔｉｏｎ）と総称する。
ＣＢＰ特徴量は、各参照画素の信号値と基準画素の大小関係を二値（例えば、１又は０）で示したｂ個のビット（相対ビット）の全てを一連に配列して得られる相対ビット列、又はその相対ビット列が示す数値である。

ここで、ＣＢＰ特徴量の具体例について説明する。
図３は、画像ブロックの一例（画像ブロック３１）を示す図である。
図３において、画像ブロック３１に含まれる破線の四角形ｐ０は基準画素を示し、３個の実線の四角形ｐ１〜ｐ３のそれぞれは参照画素を示す。
図４は、基準画素と参照画素の信号値の一例を示す概念図である。
図４において、破線の四角形ｐ０に囲まれる数値は、基準画素ｐ０の信号値が１８９であることを示す。実線の四角形ｐ１〜ｐ３にそれぞれ囲まれる数値は、参照画素ｐ１、ｐ２、ｐ３の信号値がそれぞれ８５、２０５、１１２であることを示す。破線の四角形ｐ０と実線の四角形ｐ１〜ｐ３のそれぞれとの間の両矢印は、基準画素ｐ０の信号値と参照画素ｐ１〜ｐ３の信号値それぞれの信号値との間で大小関係が判断されることを示す。図４が示す信号値は、画素毎の輝度値である。

図５は、各参照画素の相対ビットとＣＢＰ特徴量の一例を示す概念図である。
図５において、破線の四角形ｐ０に囲まれるｔｈは、基準画素ｐ０の信号値が基準値（閾値、ｔｈｒｅｓｈｏｌｄ）であって、この基準値と各参照画素の信号値との大小関係が判定されることを示す。実線の四角形ｐ１、ｐ２、ｐ３にそれぞれ囲まれる数値０、１、０は、それぞれ基準画素ｐ１、ｐ２、ｐ３に対応する相対ビットが０、１、０であることを示す。ここで、相対ビットが１とは、参照画素の信号値が、基準画素の信号値と等しいか、その基準画素の信号値よりも大きいことを示す。相対ビットが０とは、参照画素の信号値が、基準画素の信号値よりも小さいことを示す。図５の下段の右向きのブロック矢印は、３個の参照画素ｐ１、ｐ２、ｐ３にそれぞれ対応する相対ビット０、１、０を順に配列して、ＣＢＰ特徴量０１０を算出することを示す。

図６は、画像ブロックの他の例（画像ブロック３２）を示す図である。
図６において、画像ブロック３２に含まれる破線の四角形ｐ０は基準画素を示し、８個の実線の四角形ｐ１〜ｐ８のそれぞれは参照画素を示す。
図７は、基準画素と参照画素の信号値の他の例を示す概念図である。
図７において、破線の四角形ｐ０に囲まれる数値は、基準画素ｐ０の信号値が１８９であることを示す。実線の四角形ｐ１〜ｐ８にそれぞれ囲まれる数値は、参照画素ｐ１〜ｐ８の信号値がそれぞれ８５、２０５、１１２、１０１、２１３、７３、９９、１９１であることを示す。破線の四角形ｐ０と実線の四角形ｐ１〜ｐ８のそれぞれとの間の両矢印は、基準画素ｐ０の信号値と参照画素ｐ１〜ｐ８の信号値それぞれの信号値との間で大小関係が判断されることを示す。また、図７が示す信号値は、画素毎の輝度値である。

図８は、各参照画素の相対ビットとＣＢＰ特徴量の他の例を示す概念図である。
図８において、破線の四角形ｐ０に囲まれるｔｈは、基準画素ｐ０の信号値が基準値であって、この基準値と各参照画素の信号値との大小関係が判定されることを示す。実線の四角形ｐ１〜ｐ８にそれぞれ囲まれる数値０、１、０、０、１、０、０、１は、それぞれ参照画素ｐ１〜ｐ８に対応する相対ビットが０、１、０、０、１、０、０、１であることを示す。図８の下段の右向きのブロック矢印は、８個の参照画素ｐ１〜ｐ８にそれぞれ対応する相対ビット０、１、０、０、１、０、０、１を順に配列して、ＣＢＰ特徴量０１００１００１を算出することを示す。

ＣＢＰ特徴量は、上述のように二値化された相対ビットの配列である相対ビット列を２進数のままで表されるようにしてもよいし、その相対ビット列が示す数値、例えば８進数、１０進数、１６進数等であってもよい。例えば、図５の２進数で表されたＣＢＰ特徴量０１０を、８進数、１０進数、１６進数で、いずれも２と表してもよい。図８に示す２進数で表されたＣＢＰ特徴量０１００１００１を、８進数、１０進数、１６進数で、それぞれ１１１、７３、４９と表してもよい。
なお、特徴量算出部は、大小関係を判定する際、上述のように参照画素の信号値が基準画素の信号値と等しい場合に相対ビットを１と定めるのではなく、相対ビットを０と定めるようにしてもよい。

また、上述のように、信号値が画素毎の輝度値である場合に限らず、他の種類の信号値、例えば、カラー画像の色空間モデルにおける色及び明るさを示す成分毎の色空間値であってもよい。例えば、ＲＧＢ色空間モデルにおける、各色、つまり赤（Ｒ、Ｒｅｄ）、緑（Ｇ、Ｇｒｅｅｎ）、青（Ｂ、Ｂｌｕｅ）のそれぞれの色空間値（輝度）であってもよい。また、ＨＳＶ色空間モデルにおける、各色空間、つまり色相（Ｈ、Ｈｕｅ）、彩度（Ｓ、Ｓａｔｕｒａｔｉｏｎ Ｃｈｒｏｍａ）、明度（Ｖ、Ｂｒｉｇｈｔｎｅｓｓ Ｌｉｇｈｔｎｅｓｓ Ｖａｌｕｅ）のそれぞれの色空間値であってもよい。
その他、ＣＢＰ特徴量を算出するための信号値は、勾配方向毎の勾配強度値、等であってもよい。

ＣＢＰ特徴量には、大きく分けて次の２つの形態Ｉ、ＩＩがある。
形態Ｉは、ｂ個の参照画素のうち少なくとも１個の参照画素が基準画素とは隣接せず、基準画素から少なくとも１画素隔てた位置にある場合に算出される相対ビット列である。図５、図８に示すＣＢＰ特徴量は、いずれも形態ＩのＣＢＰ特徴量である。
形態ＩＩは、ｂ個の参照画素がいずれも基準画素に隣接する全８個の隣接画素のうちの一部の隣接画素である場合に算出される相対ビット列である。この場合、ｂは１又は１よりも大きく８よりも小さい整数である。従って、形態ＩのＣＢＰ特徴量も、形態ＩＩのＣＢＰ特徴量も、ＬＢＰ特徴量とは異なる画像特徴量である。

ＬＢＰ特徴量とは、基準画素に隣接する８個の隣接画素のそれぞれの輝度値と基準画素の輝度値との大小関係を示す計８個の相対ビットを、順に配列した相対ビット列である。この画素毎の大小関係をＬＢＰ（ローカル・バイナリ・パターン、Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）と呼ぶ。

ここで、ＬＢＰ特徴量の算出方法について説明する。
図１８は、入力画像（画像４１）から抽出されるセル４４の一例を示す図である。
図１９は、セル（セル４４）の構成の一例を示す図である。
セル４４は、その中心に基準画素を有し、基準画素に隣接する８個の隣接画素を有する。図１９において、セル４４に含まれる９個の四角形は、それぞれ基準画素又は隣接画素を示す。それぞれの四角形に囲まれる数値は、各画素の輝度値を示す。

図２０は、ＬＢＰの一例（ＬＢＰ４５）を示す図である。
ＬＢＰ４５は、図１９が示す画素毎の輝度値に基づくＬＢＰである。ＬＢＰ４５の中心に示されているｔｈは、その画素が基準画素であり、その画素の輝度値が隣接画素の輝度値との比較対象となる基準値であることを示す。図２０において、相対ビットは、左上端から破線の矢印の順に、０、０、０、０、１、１、０、０である。これらは、図１９に示される隣接画素と基準画素との大小関係を示す。

このように、ＬＢＰ特徴量は、基準画素と隣接画素との信号値の関連性を示すに過ぎないのに対し、ＣＢＰ特徴量は、多様な配置関係にある各２画素間における信号値の関連性を総括する。特に形態ＩのＣＢＰ特徴量は、空間的に離散した画素間における信号値の関連性を包括的に示す。また、形態ＩＩのＣＢＰ特徴量は、隣接する画素間における信号値の異方性を包括的に示す。信号値の異方性とは、基準画素と隣接画素との信号値の関連性が、基準画素を基準とした隣接画素の方向によって異なる性質である。例えば、基準画素がエッジの終端である場合、基準画素がエッジの頂点もしくは交点である場合に、信号値の異方性が表れる。

また、ＣＢＰ特徴量は、２個の画素それぞれの信号値についての差分値を示すピクセル差分特徴量とも異なる。ピクセル差分特徴量は、基準画素の信号値から参照画素の信号値との差分である。これに対し、ＣＢＰ特徴量は、基準画素の信号値と各参照画素の信号値との間の大小関係を示す相対ビットからなる相対ビット列である。

図２１は、画像４１の一部であるウィンドウ画像４２から選択される２個の画素４６、４７の例を示す図である。
図２２は、選択された２個の画素４６、４７それぞれの信号値の一例を示す図である。
図２２において、画素４６、４７を示す四角形に囲まれた数値２２０、６５は、それぞれの画素に係る信号値を示す。画素４６、４７がそれぞれ基準画素、参照画素である場合、ピクセル差分特徴量は、１５５（＝２２０−６５）である。
このように、ピクセル差分特徴量には、基準画素の信号値から１個の隣接画素の信号値を減算した値であるのに対し、ＣＢＰ特徴量には、基準画素とｂ個の参照画素それぞれの信号値の大小関係を包括的に表すという差異点がある。

上述したように、ＣＢＰ特徴量は、ａ個の画素からなる画像ブロックにおける１個の基準画素ならびにｂ個の参照画素それぞれの信号値に基づいて定められる。そのため、ＣＢＰ特徴量は、１個の画像ブロックにおいて（ａ−ｂ）・_ａＣ_ｂ通りの自由度を有する。この（ａ−ｂ）・_ａＣ_ｂ通りの自由度は、１個の画像ブロックにおいてａ個の画素から１個の基準画素を選択するａ通りの自由度と、残りのａ−１の画素からｂ個の基準画素を選択する_ａ−１Ｃ_ｂ通りの自由度との積である。つまり、ＣＢＰ特徴量は、画像ブロックにおける基準画素及びｂ個の参照画素の配置に依存する。但し、ｂ個の参照画素間の相対ビット列における順列は互いに区別せず、ｂ個の参照画素の各組み合わせについて１つの順序（例えば、画像ブロックにおける画素のインデックスの昇順）を予め定めておく。そこで、パターン認識において用いるパターン情報には、画像ブロック毎に基準画素の位置、参照画素の個数ｂ、及び各参照画素の位置からなるセットが対応付けられるように予め学習しておく。この基準画素の位置、参照画素の個数ｂ、及び各参照画素の位置からなるセットを配置点セットと呼ぶ。

パターン認識に係る処理において、特徴量算出部は、メモリ２３から目標物体に係るパターン情報と対応付けた配置点セットを読み出し、読み出した配置点セットに基づいてウィンドウ画像に対するＣＢＰ特徴量の組である特徴量ベクトルを算出する。
なお、パターン情報には、各画像ブロックｉｂについて各１個の配置点セットが対応付けられていてもよいし、予め定めた複数（例えば、５個）ｎ_ｉｂ個の配置点セットが対応付けられていてもよい。特徴量算出部は、それぞれの画像ブロックにおける配置点セットの組み合わせ毎（ｎ_ｉｂが１より大きい場合）に特徴量ベクトルを算出する。算出される特徴量ベクトルの数は、画像ブロック毎の配置点セット数ｎ_ｉｂの積Π_ｉｂ＝１ｎ_ｉｂとなり、算出される特徴量ベクトルの数が多くなることがある。

そこで、パターン情報として、ウィンドウ画像ｉｗ毎に、それぞれの画像ブロックにおける配置点セットの組み合わせである配置点セット構造体をｎ_ｉｗ個（ｎ_ｉｗは予め定めた数、例えば、５個）学習によって予め定めておいてもよい。その場合、特徴量算出部は、ウィンドウ画像ｉｗ毎に、配置点セット構造体のそれぞれに対応する特徴量ベクトルをｎ_ｉｗ個算出する。
なお、ウィンドウ毎に１個の画像ブロックが含まれる場合には、特徴量算出部はウィンドウ毎に１個のＣＢＰ特徴量を算出する。この場合、特徴量算出部が算出するＣＢＰ特徴量ベクトルの次元数は１である。画像識別部は算出したＣＢＰ特徴量を用いて目標物体を識別する。

（リサイズ）
次に、リサイズに係る処理の一例について説明する。
予め記憶されたパターン情報には、１種類の目標物体を示す画像のスケールが、予め定めた１通り又は限られた数（例えば、２通り）しか含まれていないことがある。これに対して、撮影される物体を示す画像の大きさは、その物体までの距離等の位置関係によって種々異なる。そのため、画像認識において、複数のスケールのウィンドウそれぞれについてラスタスキャンを行う。その場合、リサイズ部は、ウィンドウのスケールが目標物体の画像のスケールに一致するように、ウィンドウで抽出されたウィンドウ画像のスケールを変更する。

図９は、ラスタスキャンにおける入力画像の一例（画像４１）を示す図である。
画像４１の左上端の破線で示される四角形は、初期位置にあるウィンドウ４９を示す。ウィンドウ４９の中心部を起点とする右向きの矢印は、ラスタスキャンにおいてウィンドウ４９の位置を右端まで予め定めたステップ幅（水平方向）で順次移動させることを示す。右端とは、ウィンドウ４９の全領域が画像４１に含まれている範囲において、可能な限り右側に移動させることができる位置である。画像４１の中段の左側を起点とする右向きの矢印は、ウィンドウ４９の位置が右端に達し、ウィンドウ４９の位置を予め定めたステップ幅（垂直方向）だけ下方でかつ左端に移動させた後、再度右方に順次移動させることを示す。右端とは、ウィンドウ４９の右辺と画像４１の右辺が一致する位置である。この矢印の終点が、ある時点におけるウィンドウの重心点の位置を示す。その時点においてウィンドウに示されている画像が、ウィンドウ画像４２である。

図１０は、ウィンドウ画像の一例（ウィンドウ画像４２）を示す図である。
ウィンドウ画像４２は、水平（左右）方向にＸ画素、垂直（上下）方向にＸ画素の大きさを有する画像である。ここで、Ｘは、画素数、つまりスケールを示す整数である。認識対象の目標物体を表す画像の領域の大きさは、カメラ１１からの距離等によって異なるため、画像探索部は予め複数通りのスケールを設定しておく。本実施形態では、各スケールのウィンドウについて上述のステップＳ１０１〜Ｓ１０５の処理を行う。

図１１は、目標物体の画像の一例（画像４８）を示す図である。
画像４８は、水平方向３２画素、垂直方向３２画素の大きさを有する画像である。画像４８は、メモリ２３に予め記憶されたパターン情報に係る目標物体として車両を示す画像である。
リサイズ部は、ウィンドウ画像４２のスケールと画像４８のスケールが一致しているか否かを判断し、両者が一致していない場合に、ウィンドウ画像４２のスケールを画像４８のスケール（水平方向３２画素、垂直方向３２画素）に拡大又は縮小する。

ウィンドウ画像４２のスケールを変更する際、リサイズ部は既知の補間方法を用いて、リサイズ後の各画素の信号値を算出する。既知の補間方法として、例えば、ニアレストネイバー（ＮＮ、Ｎｅａｒｅｓｔ Ｎｅｉｇｈｂｏｒ、最近傍補間）法、バイリニア（ｂｉｌｉｎｅａｒ、線形補間）法、等の方法を用いることができるが、これらには限られない。
また、本実施形態において、リサイズ後のウィンドウ画像４２に含まれる全ての画素について信号値を算出する必要はなく、各画像ブロックにおける基準画素及び参照画素のそれぞれについてのみ信号値を算出してもよい。これにより、リサイズに係る処理を低減することができる。

次に、ニアレストネイバー法について説明する。
ニアレストネイバー法とは、リサイズ前の位置からリサイズによって変更された位置が、リサイズ後の各１画素に最も近接する位置にある画素の信号値を、そのリサイズ後の各１画素の信号値として採用する方法である。

図２３は、ニアレストネイバー法を説明する図である。
図２３は、互いに隣接する水平方向２画素、垂直方向２画素の領域を示す。４個の×印は、それぞれリサイズ前の各画素の中心点を示す。それぞれ×印の近傍に示されている数値１６３、１９８、１７８、２２２は、それぞれ各画素の信号値を示す。４個の×印を頂点とする四角形の内部の○印は、リサイズ後に設定される１つの画素の中心点を示す。この中心点は、リサイズ後の画素間間隔（画素ピッチ）で配置されるが、リサイズ前の対応する座標は、リサイズ前のいずれかの画素の中心点にはなるとは限らない。○印の近傍のｘは、その画素の信号値を示す。○印を起点とし左下の×印を終点とする矢印は、この中心点の信号値ｘとして、４個の画素のうち、その中心点に最も近接する左下の画素の信号値を採用することを示す。図２３に示す例では、ｘ＝１７８である。

次に、バイリニア法について説明する。
バイリニア法とは、リサイズ後の各１画素の信号値を、当該各１画素から予め定めた範囲における位置であって、リサイズ前の位置からリサイズによって変更された位置にある画素に係る信号値を線形補間して算出する方法である。予め定めた範囲とは、例えば、水平方向及び垂直方向に互いに隣接する各４画素についてリサイズ後のそれぞれの位置を頂点とする範囲であって、リサイズ後の各１画素を含む範囲である。

図２４は、バイリニア法を説明する図である。
図２４における各画素、×印、○印、の位置関係は、図２３における位置関係と同様である。水平方向に延びる２つの両矢印それぞれの近傍に示されているα、１−αは、○印の水平方向の座標値が、左側の×印、右側の×印の水平方向の座標値間をα：１−αで内分する内分点であることを示す。垂直方向に延びる２つの両矢印それぞれの近傍に示されているβ、１−βは、○印の垂直方向の座標値が、下方の×印、上方の×印の垂直方向の座標値間をβ：１−βで内分する内分点であることを示す。バイリニア法では、信号値ｘを、４個のリサイズ前の各画素の中心点の信号値を、水平方向及び垂直方向の内分比で線形補間した値である。図２４に示す例では、ｘ＝１６３・α・（１−β）＋１９８・（１−α）・（１−β）＋１７８・α・β＋２２２・（１−α）・βである。

（パターン認識処理）
次に、ＡｄａＢｏｏｓｔ識別器を用いたパターン認識処理について説明する。以下に説明する例では、画像識別部は、ＡｄａＢｏｏｓｔ識別器の一種であるＲｅａｌ ＡｄａＢｏｏｓｔの識別器を備える。
Ｒｅａｌ ＡｄａＢｏｏｓｔの識別器は、複数の強識別器をカスケード接続したカスケード型の構成をとりコンパクトな構成で多段の識別を実現する。カスケード型の構成として、例えば、非特許文献１に記載と同様な構成を用いることができる。Ｒｅａｌ ＡｄａＢｏｏｓｔの識別器では、カスケード型の構成における強識別器の段数を増加することにより識別性能を向上し、処理時間を短縮できる。強識別器は、それぞれ目標物体の画像を識別する。本実施形態では、強識別器毎に異なる目標物体の画像を識別対象としてもよいし、一部の強識別器間で共通する目標物体の画像を識別対象としてもよい。
強識別器は、複数の弱識別器を含んで構成される。本実施形態では、弱識別器毎に異なる画像ブロックにおける画像を識別対象としてもよいし、一部の弱識別器間で共通する画像ブロックにおける画像を識別対象としてもよい。一般に、各段における弱識別器の個数を多くすることで識別精度を向上することができる。

次に、Ｒｅａｌ ＡｄａＢｏｏｓｔの識別器を用いて目標物体を識別する処理について説明する。
（１）弱識別器は、それぞれメモリ２３に予め記憶させたパターン情報と対応付けられて記憶された確率密度関数（事前確率）から、対応する画像ブロックについて算出されたＣＢＰ特徴量に対応する確率密度値を読み出す。
当該確率密度関数は、目標物体に該当することを示すＰＯＳ（肯定Ｐｏｓｉｔｉｖｅ）の確率値ならびに目標物体に該当しないことを示すＮＥＧ（否定Ｎｅｇａｔｉｖｅ）の確率値とＣＢＰ特徴量とを対応付ける関数（ヒストグラム）である。

（２）弱識別器は、読み出した確率密度値としてＰＯＳの確率値とＮＥＧの確率値に基づいて画像ブロック毎のＣＢＰ特徴量に係る弱識別器の応答値ｈ’を算出する。
弱識別器は、応答値ｈ’として、例えば、読み出した確率密度値としてＰＯＳの確率値からＮＥＧの確率値を減算した値ｐｄｆ［ＰＯＳ］−ｐｄｆ［ＮＥＧ］を算出する。即ち、応答値ｈ’は、肯定応答を与える確率と否定応答を与える確率との大小関係を示す変数である。弱識別器は、算出した応答値ｈ’について画像ウィンドウに含まれる複数の画像ブロックについての総和を算出して応答値ｈを算出する。画像ウィンドウが１個の画像ブロックを有する場合には、算出した応答値ｈ’を応答値ｈと定める。
弱識別器は、応答値ｈ’を、例えば０．５×ｌｏｇ（（ｐｄｆ［ＰＯＳ］＋ε）／ｐｄｆ［ＮＥＧ］＋ε））と算出してもよい。εは、予め定めた定数である。ｐｄｆ（…）は、変数…に対する確率値（ｐｒｏｂａｂｉｌｉｔｙ ｄｅｎｓｉｔｙ ｆｕｎｃｔｉｏｎ）を示す。

（３）強識別器は、自己が備える各弱識別器が算出した応答値ｈの合計値を応答値Ｈとして算出する。画像探索部は、強識別器が算出した応答値Ｈが予め定めた閾値ＴＨよりも大きい場合、対応する目標物体が認識対象（Ｔｒｕｅ）であると判断し、それ以外の場合には非認識対象（Ｆａｌｓｅ）であると判定する。なお、強識別器は、各弱識別器が算出した応答値ｈに弱識別器毎の重み係数を乗じた値の合計値（重み付け加算）を強識別器の応答値Ｈとして算出してもよい。ここで、弱識別器毎の重み係数として、例えば、事前学習において応答値ｈが低い弱識別器ほど低くなる値を定めておいても、応答値ｈが予め定めた閾値よりも低くなる場合にゼロを定めておいてもよい。また、重み係数としてゼロを定める代わりに、当該弱識別器を重み付け加算の対象から除外してもよい。除外される弱識別器では応答値ｈ’の算出を行わなくてもよい。
これにより、強識別器は、それぞれ目標物体の特徴量ベクトルとウィンドウ画像に関する特徴量ベクトルとの相関性、つまり尤度を示す応答値Ｈを算出し、算出した応答値Ｈが予め定めた閾値ＴＨよりも大きい場合に目標物体の画像と判断する。各強識別器は、算出した応答値Ｈが予め定めた閾値ＴＨと同等か、より低い場合に目標物体の画像を識別できなかったと判断し、当該ウィンドウ画像を棄却する。

ある目標物体について画像ブロック毎の配置点セットを事前学習によって定める際には、例えば、目標物体に係るウィンドウ画像（正解画像）と、目標物体以外のウィンドウ画像（不正解画像）とを、それぞれ十分な数だけ準備し、それらを学習画像として用いる。そして、画像ブロック毎にＣＢＰ特徴量に係るＰＯＳの確率値ならびにＮＥＧの確率値を求め、これらの確率値に基づいて応答値ｈ’をＣＢＰ特徴量毎にそれぞれ算出する。ＣＢＰ特徴量に基づく応答値ｈ’は、ウィンドウ画像においてＣＢＰ特徴量が示す基準画素と各基準画素との大小関係のパターンとの相関性を示す指標値である。画像ブロック毎にｃ_ｉｂ個の配置点セットを定めるためには、算出した（ａ−ｂ）・_ａＣ_ｂ個の応答値ｈ’のうち、最大値から降順に第ｃ_ｉｂ番目に大きい応答値ｈ’を与えるＣＢＰ特徴量に係る配置点セットをそれぞれ採用する。

上述の事前学習は、基準画素の個数ｂが予め定めた整数値である場合について行ってもよいが、これには限られない。個数ｂが０より大きくａより小さい任意の整数値の範囲内で、個数ｂ毎に上述の事前学習を行って、応答値ｈ’が最大となる個数ｂを定めるようにしてもよい。
また、画像ウィンドウ毎にｎ_ｉｗ個の配置点セット構造体を定めるためには、画像ブロックそれぞれの配置点セットの組み合わせ毎に、応答値ｈ’の画像ブロック間の総和である応答値ｈを算出する。そして、算出した応答値ｈのうち、最大値から降順に第ｎ_ｉｗ番目に大きい応答値ｈを与える配置点セットの組み合わせのそれぞれを配置点セット構造体と定める。

（変形例１）
次に、本実施形態に係る一変形例（変形例１）について説明する。上述と同一の構成については同一の符号を付する。
図１２は、本変形例に係る画像認識処理を示すフローチャートである。
本変形例において、ステップＳ２０２、Ｓ２０４、Ｓ２０５、Ｓ２０６、Ｓ２０７は、特に言及しない限り、それぞれ、ステップＳ１０１、Ｓ１０３、Ｓ１０４、Ｓ１０５、Ｓ１０６と同様な処理を含む。まず、ステップＳ２０１について説明する。

（ステップＳ２０１）リサイズ部は、画像取得部１２から入力された入力画像に基づいてピラミッド画像を生成する。ピラミッド画像とは、入力画像を予め定めた複数の比率のうちの１つの比率でそれぞれ縮小して生成された縮小画像のセットである。その複数の比率は、例えば等比級数である。この縮小画像のセットは、画像ピラミッドともいう。ここで、比率とは、縮小画像のスケールを入力画像の対応するスケールで除算した値、つまり拡大率である。個々の縮小画像を階層（レイヤ）で区別し、各レイヤの次数を比率の降順に定めておく。例えば、比率１／２、１／４、…で縮小した縮小画像を順に、レイヤ１、レイヤ２、…と呼んで区別する。入力画像もレイヤ０の画像としてピラミッド画像の一部とする。ピラミッド画像の例については後述する。その後、ステップＳ２０２に進む。

（ステップＳ２０２）画像探索部は、入力画像についてステップＳ１０１と同様にウィンドウの位置を変更し、ウィンドウ画像を抽出する。画像探索部は、入力画像におけるウィンドウの位置と対応する位置において、縮小画像からウィンドウ画像をレイヤ毎に抽出する。ここで、レイヤ毎のウィンドウの大きさ、移動ステップ幅を、それぞれ対応するレイヤの比率に比例するように予め定めておいてもよい。その後、ステップＳ２０３に進む。

（ステップＳ２０３）リサイズ部は、抽出したウィンドウ画像のうち、パターン情報に係る目標物体の画像のスケールが一致又は最も近似するレイヤのウィンドウ画像を選択する。ここで、パターン情報に係る目標物体の画像のスケールと選択したウィンドウ画像のスケールが一致していない場合には、両者が一致するように選択したウィンドウ画像のスケールをリサイズしてもよい。その後、ステップＳ２０４に進む。
これにより、選択された（リサイズされた場合にはリサイズされた）ウィンドウ画像に基づいてＣＢＰ特徴量（ベクトル）が算出される。算出されたＣＢＰ特徴量（ベクトル）は、目標物体の識別のために用いられる。

（ピラミッド画像の例）
次に、本変形例に係るピラミッド画像の例について説明する。
図１３は、ピラミッド画像の例を示す概念図である。
図１３において、画像４１、４１−１、４１−２、４１−３は、それぞれ、入力画像（レイヤ０）、対応するレイヤ１の縮小画像、レイヤ２の縮小画像、レイヤ３の縮小画像を示す。ウィンドウ４９、及び２本の破線の矢印は、図９に示すものと位置関係、役割が同様である。画像４１−１、４１−２、４１−３のほぼ中央部に示されているウィンドウ画像４２−１、４２−２、４２−３は、それぞれウィンドウ画像４２に対応するウィンドウ画像である。なお、図１３に示す例では、レイヤ１、２、３に係る比率は、それぞれ１／２、１／４、１／８、…である。

ピラミッド画像では、高次のレイヤ（比率が低い）の縮小画像は、より低次のレイヤ（比率が高い）の縮小画像における画素毎の信号値が空間的に平均化（平滑化）された信号値を有する。
図１４は、ピラミッド画像における信号値の一例を示す概念図である。
図１４において、画像４１、４１−１、４１−２、ウィンドウ画像４２、４２−１、４２−２は、図１３と同様である。
図１４は、ウィンドウ画像４２（レイヤ０）の左上のセル４３、ウィンドウ画像４２−１（レイヤ１）の左上のセル４３−１、ウィンドウ画像４２−２（レイヤ２）の左上のセル４３−２を、右列にそれぞれ拡大して示す。ここで、セル４３−１、セル４３−２は、それぞれセル４３が示す領域と同一の領域を示す。
セル４３は、水平方向４画素、垂直方向４画素を含む領域である。セル４３−１は、水平方向２画素、垂直方向２画素を含む領域である、セル４３−２は、１個の画素を含む領域である。各セル内の四角形の領域に囲まれる符号ｑ０，１，１等は、各画素を識別するインデックスである。

上述のように縮小画像は、入力画像に含まれる画素毎の信号値を補間した値を画素毎に有するため、高次のレイヤにおける信号値は、低次のレイヤにおける信号値を空間的に平均した値又はその値に近似する。例えば、セル４３−１の画素ｑ１，１，１の信号値は、セル４３の画素ｑ０，１，１、ｑ０，１，２、ｑ０，２，１、ｑ０，２，２間の信号値の平均値にほぼ等しくなる。セル４３−２の画素ｑ２，１，１の信号値は、セル４３−１の画素ｑ１，１，１、ｑ１，１，２、ｑ１，２，１、ｑ１，２，２間の信号値の平均値にほぼ等しくなる。また、セル４３−２の画素ｑ２，１，１の信号値は、セル４３の画素ｑ０，１，１、ｑ０，１，２、…、ｑ０，３，４、ｑ０，４，４間の信号値の平均値にほぼ等しくなる。

（変形例２）
次に、本実施形態に係る他の変形例（変形例２）について説明する。上述と同一の構成については同一の符号を付する。
図１５は、本変形例に係る画像認識処理を示すフローチャートである。
本変形例において、ステップＳ３０２、Ｓ３０４、Ｓ３０５、Ｓ３０６は、特に言及しない限り、それぞれ、ステップＳ１０１、Ｓ１０４、Ｓ１０５、Ｓ１０６と同様な処理である。本変形例では、物体認識部１３は積分部を備える。以下、積分部が行うステップＳ３０１について説明する。

（ステップＳ３０１）積分部は、画像取得部１２から入力された入力画像に基づいて積分画像を生成する。積分画像とは、入力画像の基準点（例えば、左上端の画素）から注目する画素までの画素値の総和、つまり積分値を信号値として有する画像である。積分領域は、基準点と注目する画素との間の線分を対角線とする四角形の領域である。積分画像の例については後述する。その後、ステップＳ３０２に進む。

（ステップＳ３０３）特徴量算出部は、画像探索部が抽出した積分画像に基づいてＣＢＰ特徴量を算出する。特徴量算出部は、メモリ２３に目標物体毎及び画像ブロック毎に記憶されたパターン情報に対応付けられた配置点セットを読み出す。特徴量算出部は、読み出した配置点セットから基準画素、ｂ個の参照画素、それぞれの座標を抽出する。
特徴量算出部は、抽出した座標を含む予め定めた大きさの矩形の領域（以下、矩形領域）に係る頂点にある画素の積分値に基づいて、その矩形領域における（積分前の）信号値の総和をそれぞれ算出する。特徴量算出部は、それぞれ算出した総和に基づいてＣＢＰ特徴量を算出し、算出したＣＢＰ特徴量を画像ブロック間で統合してＣＢＰ特徴量ベクトルを算出する。その後、ステップＳ３０４に進む。

次に、本変形例に係る積分画像の例について説明する。
図１６は、積分画像の一例（画像５１）を示す。
画像５１の中央部の四角形は、ウィンドウ画像５２を示す。ウィンドウ画像５２には、３個の矩形領域５３、５４、５５を含む。矩形領域５３、５４、５５は、それぞれ基準画素ｑ_ａ、参照画素ｑ_ｂ１、参照画素ｑ_ｂ２を中心に含む矩形領域である。図１６の右側に、矩形領域５３、５４、５５の詳細を示す。図１６の例では、矩形領域５３、５４、５５は、それぞれ水平方向３画素、垂直方向３画素を含む領域である
矩形領域５３の左上端、右上端、左下端、右下端の符号ｑ_ａ１、ｑ_ａ２、ｑ_ａ３、ｑ_ａ４は、それぞれの画素のインデックスである。矩形領域５４の左上端、右上端、左下端、右下端の符号ｑ_ｂ１，１、ｑ_ｂ１，２、ｑ_ｂ１，３、ｑ_ｂ１，４は、それぞれの画素のインデックスである。矩形領域５５の左上端、右上端、左下端、右下端の符号ｑ_ｂ２，１、ｑ_ｂ２，２、ｑ_ｂ２，３、ｑ_ｂ２，４は、それぞれの画素のインデックスである。

ここで、矩形領域５３における（積分前の）信号値の総和ｓ_ａは、Ｉ（ｑ_ａ１）＋Ｉ（ｑ_ａ４）−Ｉ（ｑ_ａ２）−Ｉ（ｑ_ａ３）のように、左上端の画素における積分値と右下端の画素における積分値との和から、左下端の画素における積分値と右上端の画素における積分値を減算した値である。この総和ｓ_ａは、矩形領域５３における信号値の平均値と矩形領域５３に含まれる画素数との積である。同様に、矩形領域５４における（積分前の）信号値の総和ｓ_ｂ１は、Ｉ（ｑ_ｂ１，１）＋Ｉ（ｑ_ｂ１，４）−Ｉ（ｑ_ｂ１，２）−Ｉ（ｑ_ｂ１，３）である。矩形領域５５における（積分前の）信号値の総和ｓ_ｂ２は、Ｉ（ｑ_ｂ２，１）＋Ｉ（ｑ_ｂ２，４）−Ｉ（ｑ_ｂ２，２）−Ｉ（ｑ_ｂ２，３）である。

特徴量算出部は、基準画素ｑ_ａにおける信号値として信号値の総和ｓ_ａを、参照画素ｑ_ｂ１における信号値として信号値の総和ｓ_ｂ１を、参照画素ｑ_ｂ２における信号値として信号値の総和ｓ_ｂ２を用いてＣＢＰ特徴量を算出する。ＣＢＰ特徴量では、基準画素における信号値と参照画素における信号値との大小関係を問題にしているため、本実施形態では、信号値の総和の代わりに平均値を用いてもよい。この平均値は、信号値の総和を矩形領域５３、５４、５５に共通な画素数（図１６の例では、９個）で正規化（除算）して与えられる値である。本実施形態では、矩形領域５３、５４、５５における信号値の総和又は和とは、その信号値の平均値も含む概念である。
これにより、本変形例では、ＣＢＰ特徴量を算出する前に、ウィンドウ画像のスケールとパターン情報に係る目標物体の画像のスケールが異なっていても、ウィンドウ画像をリサイズする処理を省略することができる。そのため、処理にかかる負荷を軽減することができる。

（従来の画像認識処理）
これに対して、従来の画像認識処理において、画像特徴量としてＨＯＧ（Ｈｉｓｔｏｇｒａｍｓ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔｓ）特徴量、ＬＢＰ特徴量、ピクセル差分特徴量等を用いていた。以下では、ＨＯＧ特徴量を用いる場合を例にとって、その処理の概要を説明する。

図１７は、従来の画像認識処理の一例を示すフローチャートである。
（ステップＳ４０１）入力画像においてウィンドウを移動させる（ラスタスキャン）。その後、ステップＳ４０２に進む。
（ステップＳ４０２）入力画像から抽出したウィンドウ画像に基づいてＨＯＧ特徴量（ベクトル）の特徴量を算出する。その後、ステップＳ４０３に進む。
（ステップＳ４０３）算出した特徴量に基づいてＡｄａＢｏｏｓｔ識別器により目標物体を識別する。その後、ステップＳ４０４に進む。
（ステップＳ４０４）ラスタスキャンの終了判定を行い、終了した場合には（ステップＳ４０４ ＹＥＳ）、Ｓ４０５に進む。終了していない場合には（ステップＳ４０４ ＮＯ）、ステップＳ４０１に戻る。
（ステップＳ４０５）目標物体が識別されたウィンドウを、所定の範囲内にあるスケール、位置のウィンドウをクラスタリングする。その後、処理を終了する。

ＨＯＧ特徴量は、画素毎の輝度値の空間変化の統計的な性質を示す特徴量である。ＬＢＰ特徴量、ピクセル差分特徴量についても、上述したように、ＣＢＰ特徴量のように、互いに離れた画素間の信号値の関連性でも、隣接する画素間における信号値の異方性を抽出するものではない。

（まとめ）
従来の画像認識処理に対して、本実施形態では、予め定めた第１の個数の画素のうち１個の基準画素の信号値と、前記第１の個数の画素のうちの第２の個数の画素であって、当該第２の個数の画素のうち少なくとも１個の画素が前記基準画素から少なくとも１画素隔てた位置にある画素である第２の個数の参照画素の信号値それぞれとの大小関係を、前記第２の個数の参照画素の全てについて示す画像特徴量を、入力画像から抽出した処理領域内の画像に対して算出し算出した画像特徴量に基づいて目標物体を認識する。従って、本実施形態では、空間的に離散した画素間における信号値の関連性を包括的に抽出できるので、認識精度が向上する。

また、本実施形態では、予め定めた第１の個数の画素のうち１個の基準画素の信号値と、前記第１の個数の画素に隣接する全ての隣接画素のうちの一部である第２の個数の参照画素の信号値それぞれとの大小関係を、前記第２の個数の参照画素の全てについて示す画像特徴量を、入力画像から抽出した処理領域内の画像に対して算出し、算出した画像特徴量に基づいて目標物体を認識する。従って、本実施形態では、隣接する画素間における信号値の異方性を抽出することができるので、例えば特徴点やその付近における認識精度が向上する。

なお、上述した実施形態では、ラスタスキャンやトラッキング等におけるパターン認識において、必ずしもＡｄａＢｏｏｓｔの認識器やＲｅａｌ ＡｄａＢｏｏｓｔの認識器を用いる必要はなく、他の方法を用いてもよい。本実施形態では、例えば、サポートベクタマシン（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ、ＳＶＭ）を用いた方法、ブロックマッチングを用いた方法、等を用いてもよい。

なお、上述した実施形態におけるカメラＥＣＵ１、即ち画像認識装置の一部、例えば、物体認識部１３及び制御部１４をコンピュータで実現するようにしても良い。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とはカメラＥＣＵ１に内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
また、上述した実施形態におけるカメラＥＣＵ１の一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現しても良い。カメラＥＣＵ１の各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化しても良い。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現しても良い。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いても良い。

以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。

１…カメラＥＣＵ、
２…警報装置
３…ＡＣＣ−ＥＣＵ
４…衝突回避制御−ＥＣＵ
１１…カメラ、
１２…画像取得部、
１３…物体認識部、
１４…制御部、
２１…ＦＰＧＡ
２２…マイクロコンピュータ、
２３…メモリ

Claims (13)

1. 予め定めた第１の個数の画素のうち１個の基準画素の信号値と、前記第１の個数の画素のうちの第２の個数の画素であって、当該第２の個数の画素のうち少なくとも１個の画素が前記基準画素から少なくとも１画素隔てた位置にある画素である第２の個数の参照画素の信号値のそれぞれとの大小関係を、前記第２の個数の参照画素の全てについて示す特徴量を、処理領域内の画像に対して算出する特徴量算出部と、
   前記特徴量算出部が算出した特徴量に基づいて目標物体を認識する物体認識部と、
   を備えることを特徴とする画像認識装置。
2. 予め定めた第１の個数の画素のうち１個の基準画素の信号値と、前記基準画素に隣接する全ての隣接画素のうちの一部である第２の個数の参照画素の信号値のそれぞれとの大小関係を、前記第２の個数の参照画素の全てについて示す特徴量を、処理領域内の画像に対して算出する特徴量算出部と、
   前記特徴量算出部が算出した特徴量に基づいて目標物体を認識する物体認識部と、
   を備えることを特徴とする画像認識装置。
3. 前記特徴量は、前記大小関係を示す符号を前記第２の個数の画素の全てについて配列した符号列が示す値であることを特徴とする請求項１又は２に記載の画像認識装置。
4. 前記特徴量に対応付けて前記目標物体の確率を含むパターン情報を記憶しているパターン記憶部を備え、
   前記物体認識部は、前記特徴量算出部が算出した特徴量に基づいて前記パターン記憶部から読み出したパターン情報を用いて前記目標物体の尤度を示す応答値を算出することを特徴とする請求項３に記載の画像認識装置。
5. 前記パターン記憶部には、前記特徴量に係る前記第２の個数を示す情報、及び前記基準画素ならびに前記第２の個数の参照画素それぞれの位置を示す情報が記憶されていることを特徴とする請求項４に記載の画像認識装置。
6. 前記パターン情報に係る処理領域の大きさと、前記画像に対する処理領域の大きさが一致するように、前記パターン情報に係る処理領域の大きさ、前記画像に対する処理領域の大きさ、又は両方の大きさを変更するリサイズ部、
   を備えることを特徴とする請求項４又は５に記載の画像認識装置。
7. 前記基準画素の座標と前記第２の個数の参照画素の位置がそれぞれ一致するように、前記パターン情報に係る処理領域の大きさ、前記画像に対する処理領域の大きさ、又は当該大きさのいずれも変更するリサイズ部、
   を備えることを特徴とする請求項４又は５に記載の画像認識装置。
8. 前記リサイズ部は、前記画像から抽出された処理領域を複数の予め定めた比率でそれぞれ縮小した縮小処理領域の画像を生成し、前記生成した縮小処理領域の画像の中でその大きさが前記パターン情報に係る処理領域の大きさに等しい又は最も近似する縮小処理領域の画像を、大きさを変更した処理領域の画像として選択することを特徴とする請求項６に記載の画像認識装置。
9. 前記特徴量算出部は、前記画像の画素毎の信号値を空間的に積分した積分値を画素毎に有する積分画像に対して、前記パターン情報における基準画素及び前記第２の個数の参照画素のそれぞれに対応する画素を含む領域の頂点における積分値に基づいて当該領域における信号値の総和を各々算出し、各々算出した総和を前記画像に対する基準画素及び前記第２の個数の参照画素毎の信号値として前記特徴量を算出することを特徴とする請求項４又は５に記載の画像認識装置。
10. 画像認識装置における画像認識方法であって、
    前記画像認識装置は、予め定めた第１の個数の画素のうち１個の基準画素の信号値と、前記第１の個数の画素のうちの第２の個数の画素であって、当該第２の個数の画素のうち少なくとも１個の画素が前記基準画素から少なくとも１画素隔てた位置にある画素である第２の個数の参照画素の信号値のそれぞれとの大小関係を、前記第２の個数の参照画素の全てについて示す特徴量を、処理領域内の画像に対して算出する第１の過程と、
    前記画像認識装置は、前記第１の過程において算出した特徴量に基づいて目標物体を認識する第２の過程と
    を有することを特徴とする画像認識方法。
11. 画像認識装置における画像認識方法であって、
    前記画像認識装置は、予め定めた第１の個数の画素のうち１個の基準画素の信号値と、前記基準画素に隣接する全ての隣接画素のうちの一部である第２の個数の参照画素の信号値のそれぞれとの大小関係を、前記第２の個数の参照画素の全てについて示す特徴量を、処理領域内の画像に対して算出する第１の過程と、
    前記画像認識装置は、前記第１の過程において算出した特徴量に基づいて目標物体を認識する第２の過程と
    を有することを特徴とする画像認識方法。
12. 画像認識装置のコンピュータに、
    予め定めた第１の個数の画素のうち１個の基準画素の信号値と、前記第１の個数の画素のうちの第２の個数の画素であって、当該第２の個数の画素のうち少なくとも１個の画素が前記基準画素から少なくとも１画素隔てた位置にある画素である第２の個数の参照画素の信号値のそれぞれとの大小関係を、前記第２の個数の参照画素の全てについて示す特徴量を、処理領域内の画像に対して算出する第１の手順、
    前記第１の手順において算出した特徴量に基づいて目標物体を認識する第２の手順、
    を実行させるための画像認識プログラム。
13. 画像認識装置のコンピュータに、
    予め定めた第１の個数の画素のうち１個の基準画素の信号値と、前記基準画素に隣接する全ての隣接画素のうちの一部である第２の個数の参照画素の信号値のそれぞれとの大小関係を、前記第２の個数の参照画素の全てについて示す特徴量を、処理領域内の画像に対して算出する第１の手順、
    前記第１の手順において算出した特徴量に基づいて目標物体を認識する第２の手順
    を実行させることを特徴とする画像認識プログラム。