JPH09128542A - 画像認識検索装置 - Google Patents

Abstract

(57)【要約】 【課題】 複数の物体を含む画像中から予め登録してあ
る物体の領域を見つけだす画像検索装置であって、形状
情報を利用することなく、多少の隠れや物体の向きの変
動などに対して安定に物体を抽出する装置を提供する。 【解決手段】 登録した物体のマルチバンド空間（例え
ばＲＧＢの色空間）でのヒストグラムを予め計算する手
段と、入力画像に窓関数などの注目領域を設定し、その
注目領域の中のマルチバンド空間でのヒストグラムを計
算する手段と、そのヒストグラムと予め登録した物体の
ヒストグラムとの距離を計算する手段と、それらの処理
を注目領域の位置を変化させながら繰り返す手段と、入
力画像の大きさを変化させたり注目領域の大きさを変化
させたりしながらこの処埋を繰り返す手段と、その距離
の値によりその物体がそこに存在するかどうかを判定す
る手段を有する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像の中から予め
登録した物体を含む画像を探しだし、その画像中のどこ
にその物体があるかを検出する画像検索方式に関し、特
に自動監視装置により特定の物体の場所を検出したり、
画像データベースの中から特定の物体を含む画像を探し
出す画像認識検索装置に関する。

【０００２】

【従来の技術】従来、画像中から対象物体の領域を抽出
する装置には大きく分けて２種類の方法が提案されてい
る。第１の方法としては物体の形状情報を利用する手法
である。その１例としては、幾何学的な部分特徴、例え
ばコーナーや稜線を抽出しその位置関係から物体の位置
を抽出する方法がある。また形状情報を利用する別の手
法として、２次元のテンプレートを用意しそれと入力画
像の部分画像との相関をとりその相関値の大きい領域を
その物体の領域として検出する手法がある。

【０００３】一方、第２の方法は物体の属性を利用する
手法である。例えば赤い色を探し出すなどがこれにあた
る。その他、画像全体のカラーヒストグラムを用いてそ
の類似性から物体がその画像に入っているかどうかを調
べる手法も提案されている。

【０００４】

【発明が解決しようとする課題】しかしながら、第１の
方法では雑音の多い一般の画像中からコーナーや稜線な
どの幾何学的特徴を精度良く抽出することが困難であ
り、未だに研究段階である。

【０００５】また相関を利用する方法では、３次元の物
体は見る方向などにより、見かけの画像が大きく変化す
るため、精度が高く取れない。物体の向きや大きさの変
化に対して全ての場合をテンプレートとして記憶する手
法も提案されているが、物体の一部が他の物体に隠れる
などあらゆる場合に対処することは困難である。

【０００６】第２の方法では、赤い物体などの物体の単
一の属性を利用する方法は複数の色から構成されるよう
な物体を安定して検出することは困難である。画像全体
のカラーヒストグラムを使う手法では、物体が画像中の
どこにあるかのを特定することはできない。この手法を
改良した手法として画像を例えば８×８に分割して各領
域でカラーヒストグラムを計算する手法なども考えられ
るが、この手法では物体の大きさや位置の変化に対して
物体を安定に抽出することは困難である。

【０００７】本発明は、前記問題点を解決するためにな
されたもので、その目的は形状情報を利用することな
く、多少の隠れや物体の向きの変動などに対して安定に
物体を抽出する画像認識検索装置を提供することにあ
る。

【０００８】

【課題を解決するための手段】前記目的を達成するため
に、複数の物体を含む画像中から予め登録してある物体
の領域を見つけだす画像検索装置において、登録した物
体のマルチバンド空間（例えばＲＧＢの色空間）でのヒ
ストグラムを予め計算する手段と、入力画像に窓関数な
どの注目領域を設定し、その注目領域の中のマルチバン
ド空間でのヒストグラムを計算する手段と、そのヒスト
グラムと予め登録した物体のヒストグラムとの距離また
は類似度を計算する手段と、それらの処理を注目領域の
位置を変化させながら繰り返す手段と、入力画像の大き
さを変化させたり注目領域の大きさを変化させたりしな
がらこの処埋を繰り返す手段と、その距離または類似度
の値によりその物体がそこに存在するかどうかを判定す
る手段を有する。

【０００９】

【発明の実施の形態】前述の手段により、物体の大きさ
が変動している場合や、物体の向きが多少の変化する場
合、あるいは物体の一部が他の物体に隠されている場合
等に対して、物体を複雑な画像中から検索することが可
能となる。

【００１０】

【実施例】以下、本発明の詳細を１実施例によって説明
する。

【００１１】図１は、本発明の１実施例である画像認識
検索装置のブロック図である。装置は大きく分けて物体
学習装置１と物体検索装置２から構成される。

【００１２】物体学習装置１は、検索するべき登録物体
の２次元画像から認識に必要となる辞書データを作成す
る装置である。以下、物体学習装置１の各部を説明す
る。

【００１３】画像入力装置３は、カラーＴＶカメラとＡ
／Ｄコンバータから構成されるもので、物体の２次元画
像を学習データとして取り込みこれを物体領域抽出装置
４に送出する。

【００１４】物体領域抽出装置４は、窓関数などを用い
て画像から物体の領域を抽出する手段から構成される。
物体の窓関数としては、矩形形状でその内側を取り出す
もの、円形状で円の中心部分だけを取り出すもの、物体
の形状に合わせた形でその内側だけを取り出すものなど
の窓関数があげられる。ここでは簡単の為に矩形形状の
場合で説明する。図２に矩形形状で抽出された検索すべ
き物体の例をを示す。

【００１５】カラーヒストグラム作成装置５は、入力画
像の中から窓関数によって抽出された部分領域の画素の
カラー値を用いて、カラ−ヒストグラムを計算する。例
えばＲ（赤）、Ｇ（緑）、Ｂ（青）の３色の場合にはｈ
_r,g,b の３次元ヒストグラムが構成される。ヒストグラ
ムとは、Ｒ、Ｇ、Ｂの３次元の色空間を細かい立方体で
分割し、対象領域の各画素をその色空間に投影し、各立
方体に何個の画素が入ったかを加算した量である。登録
する物体全てに対してカラーヒストグラムを計算して学
習は終了する。認識段階ではこのカラーヒストグラムを
辞書として使用する。図３に図２に示した物体のヒスト
グラムの例を３次元グラフで示す。

【００１６】物体検索装置２は辞書データをもとに入力
画像中に含まれる物体を対象に、その物体の位置と大き
さを検出する装置である。以下物体検索装置２を具体的
に説明する。

【００１７】画像入力装置６は複数の物体を含むような
検索画像を入力する装置である。これは学習手段で使用
された画像入力装置３と同等のものである。入力画像は
入力画像サイズ変換装置７に送出される。入力画像の一
例を図４に示す。

【００１８】入力画像サイズ変換装置７により入力画像
はさまざまの倍率の大きさに変換される。例えばα
^-1倍、α^-2倍、α^-3倍などの大きさに変換する。ここで
αは例えばｌ〜２程度の数値である。ここで様々な倍率
の画像を作成する意味は、物体の大きさの大きな変化を
入力画像の拡大縮小で対処するためである。また物体の
大きさの小さな変化については、カラーヒストグラムは
緩やかに変動する特性があるために、あまり影響は与え
ない。サイズを様々に変換された画像は注目領域走査抽
出装置８に送出される。

【００１９】注目領域走査抽出装置８により特定の領域
の部分画像を抽出し、これを距離測定装置１０に送出す
る。この特定の領域の形状は、物体領域抽出装置４で使
用されたものと同じ窓関数を使用する。この注目領域の
位置は例えばラスタースキャン状に入力画像中を順次走
査し、その全てを入力カラーヒストグラム計算装置９に
送出する。

【００２０】入力カラーヒストグラム作成装置９は、入
力画像の中から窓関数によって抽出された部分領域の画
素のカラー値を用いて、カラーヒストグラムを計算す
る。注目領域をスキャンしながら、送られてくるデータ
に対して順次カラーヒストグラムを計算し、その結果を
距離計算装置に転送する。更にこの処理は入力画像の大
きさを変化させて繰り返しなされる。この結果得られる
位置ｘ、ｙで入力画像の大きさがｓのカラーヒストグラ
ムをｇ（ｘ，ｙ，ｓ）_r,g,b で表す。図５に注目領域の
１例を、図６にその領域のカラーヒストグラムを示す。

【００２１】距離測定装置１０は、入力カラーヒストグ
ラム作成装置９から送出されたカラーヒストグラムｇ
（ｘ，ｙ，ｓ）_r,g,b と、画像学習装置１で作成された
カラーヒストグラムｈ_r,b,g との距離値を計算する。距
離値としてはさまざまな定義が可能であるが、ユークリ
ッド距離

【００２２】

【数１】 シティーブロック距離

【００２３】

【数２】 重なり類似度

【００２４】

【数３】 などが用いられる。

【００２５】この距離値（例えば上記式（１）や式
（２））があるいき値以下である場合や類似度（例えば
上記式（３））があるいき値以上である場合には注目し
ている領域は学習した物体であるとしてその位置（ｘ、
ｙ）を出力する。また、その際の入力画像サイズ変換装
置から出力された入力画像の倍率の値から、その物体の
大きさを判定できるため、物体の大きさの検出結果ｓも
出力する。つまり、入力画像中から学習で用いた物体の
位置、その大きさを検出することができる。図７にある
倍率の入力図形に対する各点（ｘ、ｙ）での距離値をグ
ラフで示す。

【００２６】

【発明の効果】以上説明したように、本発明によれば、
入力画像に注目領域を設定してその領域の局所的なカラ
ーヒストグラムを利用した照合と、注目領域の位置等を
変化させながらこの処理を繰り返す処理を組み合わせる
ことにより、複数の物体を含む画像中から特定の物体の
位置等を検出することが可能となった。画像データベー
スなどに利用すれば、特定の物体を含む画像を検索する
ことも可能となる。

【図面の簡単な説明】

【図１】本発明の１実施例の機能ブロック図である。

【図２】矩形形状で抽出された検索すべき物体の例であ
り、計算機によるイメージ出力の印刷結果である。

【図３】図２に示した物体の３次元のヒストグラムの例
である。

【図４】入力画像の一例であり、計算機によるイメージ
出力の印刷結果である。

【図５】注目領域の一例である。

【図６】図５で示した領域の３次元のカラーヒストグラ
ムである。

【図７】ある倍率の入力図形に対する各点（ｘ、ｙ）で
の距離値をグラフで示したものである。

【図８】画像中の物体の検出結果であり、計算機による
イメージ出力の印刷結果である。

【符号の説明】

１ 物体学習装置 ２ 物体検索装置 ３ 画像入力装置 ４ 物体領域抽出装置 ５ カラーヒストグラム作成装置 ６ 画像入力装置 ７ 入力画像サイズ変換装置 ８ 注目領域走査抽出装置 ９ 入力カラーヒストグラム作成装置 １０ 距離測定装置

Claims (3)

【特許請求の範囲】
1. 【請求項１】 複数の物体を含む画像中から、登録して
   ある物体の領域を探し出す画像認識検索装置であって、 登録した物体のマルチバンド空間でのヒストグラムを予
   め計算する手段と、 入力画像に窓関数などの注目領域を設定し、前記注目領
   域の中のマルチバンド空間でのヒストグラムを計算する
   手段と、 前記ヒストグラムと予め登録した物体のヒストグラムと
   の距離または類似度を計算する手段と、 前記注目領域を走査しながらこれらの処理を繰り返す手
   段と、 前記繰り返しによって得られる距離または類似度の値に
   より物体が注目した領域に存在するか否かを判定する手
   段を有する画像認識検索装置。
2. 【請求項２】前記注目領域を走査しながらこれらの処理
   を繰り返す手段が、 注目領域の大きさをさまざまに変化させ、処理を繰り返
   す手段を有する請求項１に記載の画像認識検索装置。
3. 【請求項３】前記注目領域を走査しながらこれらの処理
   を繰り返す手段が、 入力画像の大きさを変化させ、処理を繰り返す手段を有
   する請求項１に記載の画像認識検索装置。