JP5018404B2 - 画像識別装置および画像識別方法、並びに、プログラム - Google Patents

Description

本発明は、画像識別装置および画像識別方法、並びに、プログラムに関し、特に、画像を識別する処理を行う場合に用いて好適な、画像識別装置および画像識別方法、並びに、プログラムに関する。

認識のためにモデル画像を予め登録し、そのモデル画像と、認識処理のために入力されたクエリ画像のそれぞれから特徴点を抽出し、その周辺の局所特徴量同士をマッチングしたのち、幾何学拘束を用いてミスマッチを除去し、認識を行うものとして、局所特徴量を用いたテクスチャベースの一般物体認識手法がある（例えば、特許文献１参照）。

この技術は、モデル画像およびクエリ画像から特徴点を抽出し、その周辺の局所特徴量を記述し、特徴量同士のマッチングを行い、ハフ変換またはRANSAC等によってアウトライヤ（ミスマッチ）除去を行った後のマッチングペア数で、クエリ画像内の物体の識別をするという手法であった。

特開２００４−３２６６９３号公報

しかしながら、モデル同士の一部のテクスチャが同じであるときなど、複数のモデル画像同士が類似している場合、上述した特許文献１などのように、マッチペア数でクエリ画像内の物体の一致不一致を判断する一般的な物体認識手法を使用すると、閾値を上回るマッチペアが複数のモデル画像で観測され、複数のモデルに対して「正解」と認識してしまうという可能性がある。

本発明はこのような状況に鑑みてなされたものであり、複数のモデル画像同士が類似している場合であっても、正しく物体を認識することができるようにするものである。

本発明の一側面の画像識別装置は、複数のモデル画像および前記モデル画像の特徴量を記憶し、認識画像の入力を受け、前記認識画像に対応する前記モデル画像を識別する画像識別装置において、前記モデル画像のうち、他の前記モデル画像のうちのいずれかと所定数以上の前記特徴量がマッチした複数の前記モデル画像である類似モデル画像において、前記類似モデル画像間で相関の少ない特徴点である識別特徴点を記憶する記憶手段と、前記認識画像を取得する認識画像取得手段と、前記認識画像取得手段により取得された前記認識画像の特徴量を抽出する認識画像特徴量抽出手段と、前記記憶手段により記憶された前記識別特徴点において、前記類似モデル画像と前記認識画像との特徴量の相関を求めることにより、前記認識画像に対応する前記類似モデル画像を識別する識別手段と、前記認識画像取得手段により取得された前記認識画像と記憶されている前記モデル画像との特徴量のマッチング処理を行い、マッチング処理結果からアウトライヤを除去するマッチング手段とを備え、前記マッチング手段によるマッチングの結果、前記認識画像と所定の閾値以上の特徴量がマッチングした前記モデル画像が所定数以上であるとき、前記識別手段は、所定数以上の前記モデル画像を前記類似モデル画像として、前記記憶手段により記憶された前記識別特徴点において、前記類似モデル画像と前記認識画像の特徴量との相関を求めることにより、前記認識画像に対応する前記類似モデル画像を識別する画像識別装置である。

前記類似モデル画像に対して、前記認識画像に合致するようにアフィン変換を施す変換手段を更に備えさせるようにすることができ、前記識別手段には、前記変換手段により変換された前記類似モデル画像を用いて、前記認識画像に対応する前記類似モデル画像を識別させるようにすることができる。

前記記憶手段により記憶された前記識別特徴点は、マッチ数が多いほど対応する類似モデル画像であると識別される第１の識別特徴点と、マッチ数が少ないほど対応する類似モデル画像であると識別される２の識別特徴点とに分類されるものとすることができる。

前記記憶手段により記憶された前記識別特徴点は、階層構造を有しているものとすることができる。

本発明の一側面の画像識別方法は、複数のモデル画像および前記モデル画像の特徴量を記憶し、認識画像の入力を受け、前記認識画像に対応する前記モデル画像を識別する画像識別方法において、記憶手段が、前記モデル画像のうち、他の前記モデル画像のうちのいずれかと所定数以上の前記特徴量がマッチした複数の前記モデル画像である類似モデル画像において、前記類似モデル画像間で相関の少ない特徴点である識別特徴点を記憶し、認識画像取得手段が、前記認識画像を取得し、認識画像特徴量抽出手段が、前記認識画像取得手段により取得された前記認識画像の特徴量を抽出し、識別手段が、前記記憶手段により記憶された前記識別特徴点において、前記類似モデル画像と前記認識画像との特徴量の相関を求めることにより、前記認識画像に対応する前記類似モデル画像を識別し、マッチング手段が、前記認識画像取得手段により取得された前記認識画像と記憶されている前記モデル画像との特徴量のマッチング処理を行い、マッチング処理結果からアウトライヤを除去するステップを含み、前記マッチングの結果、前記認識画像と所定の閾値以上の特徴量がマッチングした前記モデル画像が所定数以上であるとき、所定数以上の前記モデル画像を前記類似モデル画像として、前記記憶された前記識別特徴点において、前記類似モデル画像と前記認識画像の特徴量との相関を求めることにより、前記認識画像に対応する前記類似モデル画像が識別される画像識別方法である。

本発明の一側面のプログラムは、コンピュータを、複数のモデル画像および前記モデル画像の特徴量を記憶し、認識画像の入力を受け、前記認識画像に対応する前記モデル画像を識別する画像識別装置において、前記モデル画像のうち、他の前記モデル画像のうちのいずれかと所定数以上の前記特徴量がマッチした複数の前記モデル画像である類似モデル画像において、前記類似モデル画像間で相関の少ない特徴点である識別特徴点を記憶する記憶手段と、前記認識画像を取得する認識画像取得手段と、前記認識画像取得手段により取得された前記認識画像の特徴量を抽出する認識画像特徴量抽出手段と、前記記憶手段により記憶された前記識別特徴点において、前記類似モデル画像と前記認識画像との特徴量の相関を求めることにより、前記認識画像に対応する前記類似モデル画像を識別する識別手段と、前記認識画像取得手段により取得された前記認識画像と記憶されている前記モデル画像との特徴量のマッチング処理を行い、マッチング処理結果からアウトライヤを除去するマッチング手段とを備え、前記マッチング手段によるマッチングの結果、前記認識画像と所定の閾値以上の特徴量がマッチングした前記モデル画像が所定数以上であるとき、前記識別手段は、所定数以上の前記モデル画像を前記類似モデル画像として、前記記憶手段により記憶された前記識別特徴点において、前記類似モデル画像と前記認識画像の特徴量との相関を求めることにより、前記認識画像に対応する前記類似モデル画像を識別する画像識別装置として機能させるプログラムである。

本発明の一側面においては、前記モデル画像のうち、他の前記モデル画像のうちのいずれかと所定数以上の前記特徴量がマッチした複数の前記モデル画像である類似モデル画像において、前記類似モデル画像間で相関の少ない特徴点である識別特徴点が記憶され、前記認識画像が取得され、前記取得された前記認識画像の特徴量が抽出され、前記記憶された前記識別特徴点において、前記類似モデル画像と前記認識画像との特徴量の相関を求めることにより、前記認識画像に対応する前記類似モデル画像が識別され、前記取得された前記認識画像と記憶されている前記モデル画像との特徴量のマッチング処理を行い、マッチング処理結果からアウトライヤが除去され、前記マッチングの結果、前記認識画像と所定の閾値以上の特徴量がマッチングした前記モデル画像が所定数以上であるとき、所定数以上の前記モデル画像を前記類似モデル画像として、前記記憶された前記識別特徴点において、前記類似モデル画像と前記認識画像の特徴量との相関を求めることにより、前記認識画像に対応する前記類似モデル画像が識別される。

ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。

また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。

認識装置、識別特徴点選択部に対応する装置、または、判定処理部に対応する装置は、独立した装置であっても良いし、情報処理装置などの１ブロックであっても良い。

また本発明の一側面によれば、モデル画像のうち、他のモデル画像のうちのいずれかと所定数以上の特徴量がマッチした複数のモデル画像である類似モデル画像において、類似モデル画像間で相関の少ない特徴点である識別特徴点を用いて識別処理を行うことができるので、類似するモデル画像がある場合でも、ロバスト性を維持しながら、正しいモデル画像を識別することができる。

以下、図を参照して、本発明の実施の形態について説明する。

例えば、識別するべきモデルに対応するモデル画像が、図１に示される画像１１乃至画像１５である場合、それぞれの画像は異なるものであるが、これらの画像は、簡略画２１に示される二重丸の部分と星印の部分に記載の文字の左側約半分の領域、および、雲形で示される果物の絵の有無もしくは種類以外は、基本的に同様の形状を有している。

図１に示される画像１１乃至画像１５に対応する画像データ（以下、単に、画像１１乃至画像１５と称する）がモデル画像に対応するデータ（以下、単に、モデル画像と称する）として登録され、例えば、画像１１に対応する画像がクエリ画像に対応するデータ（以下、単に、クエリ画像と称する）として供給されたとき、識別結果として画像１１のみが抽出されるべきであるが、上述した従来のマッチングペア数でクエリ画像内の物体の識別をするような技術では、識別のためのマッチペア数にもよるが、画像１１乃至画像１５のいずれに対しても、正解であると識別をしてしまう。

特に、モデル画像が多岐にわたる場合、画像１１乃至画像１５を区別可能なほどにマッチペア数の閾値を大きくしてしまっては、識別が厳密になりすぎてしまい、実際は同一であると認識するべきところを、異なるものであると誤認識してしまう可能性が高くなる。しかしながら、一般的なマッチング処理における閾値の設定レベルでは、上述したように、画像１１乃至画像１５を正しく識別することが困難である。

そこで、モデル画像の登録時に、例えば、図１の画像１１乃至画像１５のような類似している画像が存在したとき、それらの画像の相関を求め、相似していない部分の特徴点を抽出しておくことにより、識別処理において、相似していない部分のマッチング結果を利用して、図１の画像１１乃至画像１５のような類似している画像を識別することができるようにすると好適である。

図２は、モデル画像の登録時に、類似している画像の相関を予め求めておき、識別処理において、相似していない部分のマッチング結果を利用することができる認識装置５１の構成を示すブロック図である。

認識装置５１は、識別特徴点選択部６１と判定処理部６２とで構成されている。ここでは、認識装置５１として１つの装置であるものとして説明するが、識別特徴点選択部６１および判定処理部６２が、それぞれ１つの装置として構成されていても良いことは言うまでもない。

識別特徴点選択部６１は、モデル画像取得部７１、特徴量抽出部７２、モデル画像辞書記憶部７３、マッチング処理部７４、アウトライヤ除去部７５、アフィンパラメータ取得部７６、アフィン変換処理部７７、相関画像生成部７８、および、識別特徴点抽出部７９により構成されている。

モデル画像取得部７１は、識別処理のためのモデル画像を取得し、モデル画像辞書記憶部７３および特徴量抽出部７２に供給する。供給されるモデル画像には、例えば、図１に示される画像１１乃至画像１５のように、非常に類似したモデル画像の組が含まれているものとする。

特徴量抽出部７２は、モデル画像取得部７１から供給されたそれぞれのモデル画像から特徴点を抽出し、特徴点周辺から局所特徴量を抽出して、ベクトル記述する。特徴量抽出部７２は、抽出した局所特徴量の情報を、モデル画像辞書記憶部７３、マッチング処理部７４、および、アウトライヤ除去部７５に供給する。

特徴点は、例えば、近傍画素との差の大きな画素を抽出したり、画像データにＦＦＴ（Fast Fourier transform）をかけることによって得られる高周波成分が多い画素などを抽出するものとしても良いし、その他の方法により抽出するものであっても良い。また、局所特徴量としては、例えば、ガボアジェット(Gabor Jet)や、ハーウェイブレット(Haar Wavelett)、ガウシアン導関数(Gaussian Derivatives)、ＳＩＦＴ特徴などを用いることができる。

モデル画像辞書記憶部７３は、モデル画像取得部７１から供給されたそれぞれのモデル画像と、特徴量抽出部７２から供給されたそれぞれのモデル画像に対応する局所特徴量とを記憶する。モデル画像辞書記憶部７３に記憶されたモデル画像とモデル画像に対応する局所特徴量とは、判定処理部６２のモデル画像辞書記憶部９１に供給され、クエリ画像とのマッチングに利用される。

マッチング処理部７４は、特徴量抽出部７２から供給された局所特徴量と、現在モデル画像辞書記憶部７３に記憶されているそれぞれのモデル画像の局所特徴量とを、例えば、K-NN（k-NearestNeighbor；最近傍分類法）等の手法でマッチングし、マッチペアを求める。以下、特徴量抽出部７２で最も新しく局所特徴量が抽出された、マッチング処理の基準とされるモデル画像を、注目モデル画像と称し、モデル画像辞書記憶部７３に既に記憶され、マッチング処理部７４において注目モデル画像の局所特徴量との比較に用いられている複数の他のモデル画像と区別するものとする。

そして、マッチング処理部７４は、注目モデル画像と、注目モデル画像に対して所定数以上のマッチペア数を有する類似モデル画像と、それらのマッチペアの情報とを、アウトライヤ除去部７５に供給する。例えば、図１の画像１２乃至１５が既にモデル画像辞書記憶部７３に記憶されている状態で、図１の画像１１がモデル画像として供給されたとき、注目モデル画像である画像１１に対して、図１の画像１２乃至１５が、注目モデル画像に対して所定以上のマッチペア数を有する類似モデル画像として抽出される。

また、マッチング処理部７４は、局所特徴量を用いてマッチペアを求めるので、注目モデル画像と、比較される他のモデル画像のそれぞれとが、異なる視点から撮像されたものであったり、それらの大きさが異なるものであっても、正しくマッチングを行うことができる。

アウトライヤ除去部７５は、例えば、ハフ変換、または、RANSAC(Random Sample Consensus)等を用いて、マッチング処理部７４により検出されたマッチペアから、幾何学拘束を満たさないミスマッチペアを除去する。なお、アウトライヤ除去は、上述した技術以外の、いかなる手法を用いて実行するものであってもよい。アウトライヤ除去部７５は、注目モデル画像と、注目モデル画像に対して所定以上のマッチペア数を有する類似モデル画像と、アウトライヤ除去後のマッチペアの情報とを、アフィンパラメータ取得部７６に供給する。

アフィンパラメータ取得部７６は、残ったマッチペアから、注目モデル画像とそれぞれの類似モデル画像とのアフィンパラメータを求める。アフィン変換は、平行移動および回転変換（ユークリッド変換）に拡大縮小変換を加えた相似変換に、せん断変形を許すような変換であり、元の図形で直線上に並ぶ点は変換後も直線上に並び、平行線は変換後も平行線であるなど、幾何学的性質が保たれる変換である。すなわち、アフィンパラメータ取得部７６は、注目モデル画像と、類似モデル画像のそれぞれとが、異なる視点から撮像されたものであったり、それらの大きさが異なるものであるときなどであっても、類似モデル画像のそれぞれの歪みを修正し、注目モデル画像に対応する撮像方向から同じ大きさに撮像された画像に補正するための、回転、拡大縮小、せん断変形、平行移動などのためのパラメータである、アフィンパラメータを求める。

アフィンパラメータ取得部７６は、注目モデル画像と、注目モデル画像に対して所定以上のマッチペア数を有する類似モデル画像と、アウトライヤ除去後のマッチペアの情報に加えて、算出されたアフィンパラメータとを、アフィン変換処理部７７に供給する。

アフィン変換処理部７７は、供給された類似モデル画像をアフィンパラメータで変換し、注目モデル画像に対応する撮像方向から同じ大きさに撮像された画像に補正する。アフィン変換処理部７７は、注目モデル画像と、注目モデル画像に対して所定以上のマッチペア数を有するアフィン変換後の類似モデル画像と、アウトライヤ除去後のマッチペアの情報とを、相関画像生成部７８に供給する。

相関画像生成部７８は、注目モデル画像の特徴点ごとに、その位置での、アフィン変換後の類似モデル画像との特徴量の相関値（特徴量距離）を計算し、得られた特徴点ごとの相関値を識別特徴点抽出部７９に供給する。ここで得られる相関値を画像上に対応付けると、注目モデル画像と類似モデル画像との相関を示す相関画像となる。

識別特徴点抽出部７９は、注目モデル画像のそれぞれの特徴点における類似モデル画像との相関値に基づいて、相関値がある閾値よりも低い特徴点、または、相関値が低い順から所定数の特徴点を、類似モデル画像との識別に用いて有用な特徴点である識別特徴点として抽出し、判定処理部６２の識別特徴点記憶部９２に供給する。

例えば、図１の画像１２乃至１５、または、アフィン変換を行ったときに図１の画像１２乃至１５に変換される画像が、既にモデル画像辞書記憶部７３に記憶されている状態で、モデル画像として図１の画像１１が供給されたとき、注目モデル画像である画像１１に対して、図１の画像１２乃至１５またはこれらに対応する画像が、類似モデル画像として抽出される。そして、相関画像生成部７８は、注目モデル画像である画像１１と、アフィン変換後の類似モデル画像である画像１２乃至１５のそれぞれとの、注目モデル画像の特徴点における特徴量の相関値を求める。そして、識別特徴点抽出部７９は、例えば、図３に示されるように、相関値の低い部分の特徴点を抽出する。

なお、例えば、図１を用いて説明した画像１２乃至１５のうち、画像１２が最も早くモデル画像として識別特徴点選択部６１に供給されたとき、画像１２は、画像１３乃至画像１５に対して、類似モデル画像であると登録されるが、それ自身は、類似画像を有するモデル画像として処理されないため、画像１２に対しては識別特徴点が抽出されない恐れがある。したがって、例えば、マッチング処理部７４が所定数以上のマッチペア数を有する類似モデル画像を検出するとき、類似モデル画像として検出されたモデル画像に類似モデル画像が全く対応付けられていない場合は、更に、注目モデル画像と類似モデル画像の扱いを逆にした場合の識別特徴点の検出処理を実行するものとすると好適である。

また、モデル画像が１枚入力されるのに対して、上述した処理が順次行われるのではなく、予め類似モデル画像同士の組を生成しておき、その組に含まれる画像の組み合わせのすべての相関の平均などに基いて、識別特徴点を抽出するものとしても良い。

そのような場合、例えば、図１を用いて説明した画像１１乃至画像１５において、マッチング処理部７４によりマッチング処理が実行されて、マッチペアが求められ、アウトライヤ除去部７５において、マッチペアのアウトライヤが除去された場合、類似モデル画像の組として、画像１１乃至画像１５が抽出される。

そして、アフィンパラメータ取得部７６は、全ての組み合わせのアフィンパラメータを取得する。また、アフィンパラメータ変換処理部７７は、それぞれの組み合わせのアフィン変換を行う。そして、相関画像生成部７８は、全ての組み合わせにおける相関画像を生成して、その平均値などを求める。そして、識別特徴点抽出部７９は、複数の相関画像の平均値などに基づいて、相関値がある閾値よりも低い特徴点、または、相関値が低い順から所定数の特徴点を、類似モデル画像との識別に用いて有用な特徴点である識別特徴点として抽出して、判定処理部６２の識別特徴点記憶部９２に供給することができる。

次に、図２の認識装置５１の判定処理部６２は、モデル画像辞書記憶部９１、識別特徴点記憶部９２、クエリ画像取得部９３、特徴量抽出部９４、マッチング処理部９５、アウトライヤ除去部９６、アフィンパラメータ取得部９７、アフィン変換処理部９８、識別特徴点比較部９９、識別処理部１００、および、識別結果出力部１０１を含んで構成されている。

モデル画像辞書記憶部９１は、モデル画像辞書記憶部７３からモデル画像とモデル画像に対応する局所特徴量との供給を受け、記憶する。

識別特徴点記憶部９２は、識別特徴点抽出部７９から、類似モデル画像を有する上述した注目モデル画像において、類似モデル画像との相関値が低い特徴点である識別特徴点の情報の供給を受け、記憶する。

クエリ画像取得部９３は、識別対象であるクエリ画像を取得する。

特徴量抽出部９４は、クエリ画像取得部９３から供給されたクエリ画像から、特徴点を抽出し、特徴点周辺から局所特徴量を抽出し、ベクトル記述する。特徴点および特徴量の抽出方法は、特徴量抽出部７２と同様である。特徴量抽出部９４は、抽出した局所特徴量の情報を、マッチング処理部９５、および、アウトライヤ除去部９６に供給する。

マッチング処理部９５は、特徴量抽出部９４から供給された局所特徴量と、モデル画像辞書記憶部９１に記憶されているモデル画像に対応する局所特徴量とを、例えば、K-NN等の手法でマッチングし、マッチペアを求める。そして、マッチング処理部９５は、クエリ画像と、クエリ画像に対して所定数以上のマッチペア数を有するモデル画像のデータと、それらのマッチペアの情報を、アウトライヤ除去部９６に供給する。例えば、図１の画像１１乃至画像１５がモデル画像としてモデル画像辞書記憶部９１に記憶されているとき、図４に示されるクエリ画像１１１が供給された場合、マッチング処理部９５は、画像１１乃至画像１５を、識別対象である可能性の高いモデル画像として抽出して、アウトライヤ除去部９６に供給する。

アウトライヤ除去部９６は、ハフ変換、または、RANSAC等を用いて、マッチング処理部９５により検出されたマッチペアから、幾何学拘束を満たさないミスマッチペアを除去する。そして、アウトライヤ除去部９６は、残ったマッチペア数が所定の閾値よりも多いモデル画像が全く存在しない場合、その結果を識別処理部１００に供給する。また、アウトライヤ除去部９６は、残ったマッチペア数が所定の閾値よりも多いモデル画像が予め定められた所定の数よりも少ない場合、除去されずに残ったモデル画像とそのマッチペア数を識別処理部１００に供給する。また、残ったマッチペア数が所定の閾値を超えているモデル画像が所定の数以上である場合、残ったマッチペア数が所定の閾値よりも多いモデル画像は、上述した類似モデル画像であると考えられる。アウトライヤ除去部９６は、類似モデル画像と、クエリ画像と、アウトライヤ除去後のマッチペアの情報とを、アフィンパラメータ取得部９７に供給する。

アフィンパラメータ取得部９７は、残ったマッチペアから、クエリ画像とそれぞれの類似モデル画像とのアフィンパラメータを求め、クエリ画像、アフィンパラメータ、残ったマッチペア数が所定の閾値よりも多い類似モデル画像、および、アウトライヤ除去後のマッチペアの情報を、アフィン変換処理部９８に供給する。

アフィン変換処理部９８は、供給された類似モデル画像をアフィンパラメータで変換し、クエリ画像に対応する撮像方向から同じ大きさに撮像された画像に補正する。図４に示されるように、クエリ画像１１１の類似モデル画像として画像１１乃至画像１５が抽出された場合、画像１１乃至画像１５は、アフィン変換処理部９８により、アフィン変換後の画像１１ａ乃至画像１５ａに変換される。アフィン変換処理部９８は、クエリ画像、アフィン変換後の類似モデル画像、および、アウトライヤ除去後のマッチペアの情報を、識別特徴点比較部９９に供給する。

識別特徴点比較部９９は、識別特徴点記憶部９２に記憶されているそれぞれのモデル画像の識別特徴点に基づいて、アフィン変換後の類似モデル画像における識別特徴点を求めてその特徴量を算出するとともに、求められた識別特徴点における特徴量と、クエリ画像上の識別特徴点における特徴量との相関値を算出する。すなわち、識別特徴点比較部９９は、図４のアフィン変換後の画像１１ａ乃至画像１５ａの識別特徴点における特徴量と、クエリ画像１１１の識別特徴点における特徴量との相関値を算出する。識別特徴点比較部９９は、相関値の算出結果を、識別処理部１００に供給する。

識別処理部１００は、アウトライヤ除去部９６、または、識別特徴点比較部９９から供給された情報に基づいて、識別処理を実行する。すなわち、識別処理部１００は、アウトライヤ除去部９６において、アウトライヤ除去後に残ったマッチペア数が所定の閾値よりも多い類似モデル画像が予め定められた所定の数よりも少ないと検出された場合、アウトライヤ除去部９６から供給されるマッチペア数に基づいて、クエリ画像は、最もマッチペア数の多いモデル画像、または、所定の閾値よりマッチペア数の多い１つまたは複数のモデル画像に対応するものであるとし、その識別結果を、識別結果出力部１０１に出力する。また、識別処理部１００は、アウトライヤ除去部９６から、残ったマッチペア数が所定の閾値よりも多い類似モデル画像が全く存在しないことを通知されたとき、クエリ画像はいずれのモデル画像とも一致しないと判定し、判定結果を識別結果出力部１０１に出力する。

また、識別処理部１００は、アウトライヤ除去部９６において、アウトライヤ除去後に残ったマッチペア数が所定の閾値を超えている類似モデル画像が所定の数以上であると検出された場合、識別特徴点比較部９９から、類似モデル画像とクエリ画像との識別特徴点における特徴量の相関値の供給を受ける。識別処理部１００は、供給される特徴量の相関値に基づいて、クエリ画像は、識別特徴点における相関値の平均値が最も高い類似モデル画像、または、平均値の値が所定の閾値よりも高い１つまたは複数の類似モデル画像に対応するものであるとし、その識別結果を、識別結果出力部１０１に出力する。

識別結果出力部１０１は、識別処理部１００から供給された識別結果を、例えば、表示部に表示したり、音声データとして出力したり、または、所定の伝送路を介して出力するか所定の記録媒体に記録させることなどにより、他の装置に出力する。

認識装置５１における類似した画像の識別処理は、例えば、テレビジョン放送等の同一番組のテロップのように、その形式や大きさは略同じであり、文字のみが異なるような画像の識別に適用させることができる。

例えば、図５に示される＃１モデル画像１２１および＃２モデル画像１２２と、クエリ画像１２３との比較を行う場合について説明する。

＃２モデル画像１２２とクエリ画像１２３とは、同一であると識別されるべき画像であるが、＃１モデル画像１２１は、＃２モデル画像１２２に対して、その形式や大きさは略同じであり、文字のみが異なる画像である。

したがって、＃１モデル画像１２１と＃２モデル画像１２２とがモデル画像として登録され、クエリ画像１２３が供給されたとき、識別結果として＃２モデル画像１２２のみが抽出されるべきであるが、上述した従来のマッチングペア数でクエリ画像内の物体の識別をするような技術では、図６に示されるように、＃１モデル画像１２１と＃２モデル画像１２２とのいずれに対しても、所定数以上のマッチペアが抽出されるので、正解であると識別をしてしまう。

そこで、上述した識別特徴点選択部６１により、＃１モデル画像１２１と＃２モデル画像１２２との識別特徴点を抽出するものとする。

図７の画像１３１は、＃１モデル画像１２１と＃２モデル画像１２２とのいずれか一方を注目モデル画像、他方を類似モデル画像としたときの、アフィン変換後のそれぞれの画像をオーバーレイした画像である。画像１３１から、＃１モデル画像１２１と＃２モデル画像１２２とでは、「現地サポーターも落胆」と「日本代表敗戦の原因」の文字の部分が異なっているが、それ以外は、略、一致していることが分かる。

図７の画像１３２は、＃１モデル画像１２１と＃２モデル画像１２２との相関画像であり、相関の大きな部分が白く、相関の少ない部分が黒く表示されている。

そして、図７の画像１３３は、＃１モデル画像１２１と＃２モデル画像１２２とから得られた識別特徴点を示すものである。図２の判定処理部６２は、識別特徴点記憶部９２に、画像１３３に示される識別特徴点を記憶する。

図６を用いて説明したように、上述した従来のマッチングペア数でクエリ画像内の物体の識別をするような技術では、クエリ画像１２３に対して、＃１モデル画像１２１と＃２モデル画像１２２とのいずれにおいても、所定数以上のマッチペアが抽出されてしまい、その両方が、クエリ画像１２３に対応する画像であると識別されてしまう可能性がある。これに対して、図２の判定処理部６２は、図７の画像１３３に示される識別特徴点において、＃１モデル画像１２１と＃２モデル画像１２２との相関値を求め、これに基づいて、識別処理を行うことができるので、クエリ画像１２３に対応する画像は、＃２モデル画像１２２であると正しく識別することができる。

すなわち、図２の判定処理部６２は、＃１モデル画像１２１と＃２モデル画像１２２とにおいて、「現地サポーターも落胆」と「日本代表敗戦の原因」と記載されている部分に多く含まれる識別特徴点を用いて判定を行うので、クエリ画像１２３に対応する画像は、＃２モデル画像１２２であると正しく識別することができる。

また、例えば、図１の簡略画２１において、雲形で示される部分が類似しているモデル画像がＮ個存在するが、そのＮ個は、二重丸部分でａ個とｂ個に分類可能であり、そのｂ個の類似モデル画像は、星型の部分で完全に分類可能であるなど、モデル画像間の類似の形態が階層構造で表されるとき、または、モデル画像間の類似部分が複数個所あるときなど、類似のモデル画像の判定を、識別特徴点を区別して行ったり、識別特徴点を階層化させて行うことが可能である。

例えば、図８に示されるように、クエリ画像１５１が入力された判定処理部６２のモデル画像辞書記憶部９１に、類似モデル画像として、＃１１モデル画像１６１乃至＃１４モデル画像１６４が記憶されている場合について説明する。

＃１１モデル画像１６１乃至＃１４モデル画像１６４は、それぞれ、クエリ画像１５１に対して、類似な部分を有しているので、上述した従来のマッチングペア数でクエリ画像内の物体の識別をするような技術では、＃１１モデル画像１６１乃至＃１４モデル画像１６４のいずれに対しても、クエリ画像１５１に対応するものであると識別をしてしまうおそれがある。

＃１１モデル画像１６１乃至＃１４モデル画像１６４は、それぞれ、相似な部分と相似ではない部分を有している。図９に、＃１１モデル画像１６１乃至＃１４モデル画像１６４のそれぞれの相関画像を示す。図９の相関画像においては、相関の大きな部分が白く、相関の少ない部分が黒く表示されている。

＃１１モデル画像１６１と＃１２モデル画像１６２とで異なる部分は、右上のハートマークと、右下の三日月マークの部分である。＃１１モデル画像１６１と＃１３モデル画像１６３とで異なる部分は、右上のハートマークの部分と、左下の否妻マークの部分である。＃１１モデル画像１６１と＃１４モデル画像１６４とで異なる部分は、左下の否妻マークの部分である。そして、＃１２モデル画像１６２と＃１３モデル画像１６３とで異なる部分は、右下の三日月マークの部分と、左下の否妻マークの部分である。＃１２モデル画像１６２と＃１４モデル画像１６４とで異なる部分は、右上のハートマークと、右下の三日月マークの部分と、左下の否妻マークの部分である。そして、＃１３モデル画像１６３と＃１４モデル画像１６４とで異なる部分は、右上のハートマークの部分である。

類似モデル画像である＃１１モデル画像１６１乃至＃１４モデル画像１６４において、左上のスマイルマークは、いずれにおいても同一のため、識別特徴点にはならない。これに対して、マークのない部分は、モデル画像としての特徴が少ない部分であるので、マークのない部分においては、本当に対応するクエリ画像とモデル画像とのそれぞれにおいて、特徴点が抽出されないはずである。換言すれば、マークのない部分においてクエリ画像とモデル画像との特徴量のマッチペアが存在したとき、クエリ画像とモデル画像は類似していないと推定することができる。

また、＃１１モデル画像１６１乃至＃１４モデル画像１６４において、左上のスマイルマーク以外でマークが記載されている部分は、モデル画像としての特徴が大きい部分であるので、この部分において、クエリ画像とモデル画像との特徴量のマッチペアが存在したとき、クエリ画像とモデル画像とは類似していると推定することができる。

したがって、識別特徴点選択部６１の識別特徴点抽出部７９は、図１０に示されるように、識別特徴点を、２種類に分類し、図中＋で示される部分は、モデル画像とクエリ画像の相関値が高いとき、すなわち、対応する特徴点においてマッチペアがあると、クエリ画像とモデル画像は類似していると推定するポジティブ（positive）判定を行う識別特徴点であるものとし、図中×で示される部分は、モデル画像とクエリ画像の相関値が低いとき、すなわち、対応する特徴点においてマッチペアがないと、クエリ画像とモデル画像は類似していると推定するポジティブ（positive）判定を行う識別特徴点であるものとする。

図１０において、＃１１モデル画像１６１の分類された識別特徴点は、識別特徴点１８１に示され、＃１２モデル画像１６２の分類された識別特徴点は、識別特徴点１８２に示され、＃１３モデル画像１６３の分類された識別特徴点は、識別特徴点１８３に示され、＃１４モデル画像１６４の分類された識別特徴点は、識別特徴点１８４に示される。

そして、判定処理部６２においては、このように分類された識別特徴点を用いることにより、類似モデル画像における類似部分が異なるような場合であっても、識別するために重要な部分と重要ではない部分を区別して、識別処理を行うことができる。

すなわち、図１０の識別特徴点１８１乃至１８４を利用して、識別特徴点における相関値を算出する判定処理部６２の識別特徴点比較部９９は、＃１１モデル画像１６１とクエリ画像との識別特徴点１８１における相関値は、右下の部分のみポジティブとなり、＃１２モデル画像１６２とクエリ画像との識別特徴点１８２における相関値は、右上の部分のみポジティブとなり、＃１３モデル画像１６３とクエリ画像との識別特徴点１８３における相関値は、左下、右上、右下の部分においてポジティブとなり、＃１４モデル画像１６４とクエリ画像との識別特徴点１８４における相関値は、右下の部分と左下の部分においてポジティブとなることを検出することができる。これにより、クエリ画像１５１に対応するモデル画像は、＃１３モデル画像１６３であると判定される。

次に、識別特徴点を階層的に分類することにより、類似モデル画像を判別する場合について説明する。

識別特徴点選択部６１の識別特徴点抽出部７９は、類似モデル画像を複数の類似モデルに分類し、分類を詳細にしていくことにより、最終的には、類似モデルを個々に判別することができるように、階層構造化する。ここでは、図１１に示されるように、図８の＃１１モデル画像１６１乃至＃１４モデル画像１６４を２階層で分類する。１階層目が４つの類似モデルを２つの類似モデル群に識別する類似モデル識別レイヤ１であり、２階層目が類似モデルを個々の類似モデル画像に判別する類似モデル判別レイヤ２である。なお、類似モデル数が多い場合、類似モデル識別レイヤの層の数が多くなる。

まず、識別特徴点選択部６１の識別特徴点抽出部７９は、あるモデル群同士を識別するのに適した識別特徴点群を選択し、レイヤ１モデル識別特徴点として保持する。例えば、図８の＃１１モデル画像１６１乃至＃１４モデル画像１６４を、＃１１モデル画像１６１および＃１４モデル画像１６４と、＃１２モデル画像１６２と＃１３モデル画像１６３との２つのモデル群に分ける。この２つのモデル群を識別するのに最も適しているのは、右上のハートマークの有無であるから、レイヤ１モデル識別特徴点として右上のハートマークの部分が設定される。そして、識別特徴点比較部９９においては、＃１２モデル画像１６２または＃１３モデル画像１６３とクエリ画像とにおいて、この右上の位置の相関価が高いとき、すなわち、マッチペアがあるとき、クエリ画像とモデル画像は類似していると推定するポジティブ（positive）判定が行なわれる。そして、識別特徴点比較部９９においては、＃１１モデル画像１６１または＃１４モデル画像１６４とクエリ画像とにおいて、この右上の位置の相関価が低いとき、すなわち、マッチペアがないとき、クエリ画像とモデル画像は類似していると推定するポジティブ（positive）判定が行なわれる。

そして、識別特徴点選択部６１の識別特徴点抽出部７９は、それぞれのモデル群に含まれる複数のモデル画像を、更に区別可能な識別特徴点を選択し、レイヤ２モデル識別特徴点として保持する。＃１１モデル画像１６１と＃１４モデル画像１６４とを識別し、かつ、＃１２モデル画像１６２と＃１３モデル画像１６３とを識別するのに最も適しているのは、左下の稲妻マークの有無であるので、レイヤ２モデル識別特徴点として左下の稲妻マークの部分が設定される。そして、識別特徴点比較部９９においては、＃１１モデル画像１６１または＃１２モデル画像１６２とクエリ画像とにおいて、この左下の位置の相関価が高いとき、すなわち、マッチペアがあるとき、クエリ画像とモデル画像は類似していると推定するポジティブ（positive）判定が行なわれる。そして、識別特徴点比較部９９においては、＃１３モデル画像１６３または＃１４モデル画像１６４とクエリ画像とにおいて、この左下の位置の相関価が低いとき、すなわち、マッチペアがないとき、クエリ画像とモデル画像は類似していると推定するポジティブ（positive）判定が行なわれる。

図８の＃１１モデル画像１６１乃至＃１４モデル画像１６４において、図１１に示される階層構造によるレイヤ１モデル識別特徴点とレイヤ２モデル識別特徴点とは、図１２に示されるようになる。図１２においても、図中＋で示される部分は、モデル画像とクエリ画像の相関値が高いとき、すなわち、対応する特徴点においてマッチペアがあると、クエリ画像とモデル画像は類似していると推定するポジティブ（positive）判定を行う識別特徴点であり、図中×で示される部分は、モデル画像とクエリ画像の相関値が低いとき、すなわち、対応する特徴点においてマッチペアがないと、クエリ画像とモデル画像は類似していると推定するポジティブ（positive）判定を行う識別特徴点である。

図１２のレイヤ１モデル識別特徴点とレイヤ２モデル識別特徴点を用いて識別特徴点における相関値を算出する判定処理部６２の識別特徴点比較部９９は、＃１１モデル画像１６１においては、いずれの識別特徴点においてもポジティブ判定ではなく、＃１２モデル画像１６２においては、レイヤ１モデル識別特徴点のみポジティブとなり、＃１３モデル画像１６３においては、レイヤ１モデル識別特徴点とレイヤ２モデル識別特徴点ともポジティブとなり、＃１４モデル画像１６４おいては、レイヤ２モデル識別特徴点においてポジティブとなることを算出することができる。すなわち、識別特徴点比較部９９は、レイヤ１で、＃１１モデル画像１６１と＃１４モデル画像１６４はクエリ画像に対応しないことを検出することができ、レイヤ２で、＃１２モデル画像１６２はクエリ画像に対応しないことを検出することができる。これにより、クエリ画像１５１に対応するモデル画像は、＃１３モデル画像１６３であると判定される。

このようにして、モデル画像間の類似の形態が階層構造で表されるとき、または、モデル画像間の類似部分が複数個所あるときであっても、類似のモデル画像における識別特徴点の抽出を、類似部分を区別して行ったり、階層化させることにより、確実に実行することが可能となる。

次に、図１３を参照して、認識装置５１の識別特徴点選択部６１が実行する処理の第１の例である、識別特徴点抽出処理１について説明する。

ステップＳ１１において、モデル画像取得部７１は、識別処理のためのモデル画像を取得し、モデル画像辞書記憶部７３および特徴量抽出部７２に供給する。

ステップＳ１２において、特徴量抽出部７２は、モデル画像取得部７１から供給されたそれぞれのモデル画像から、特徴点を抽出し、特徴点周辺から局所特徴量を抽出し、ベクトル記述する。特徴量抽出部７２は、抽出した局所特徴量の情報を、モデル画像辞書記憶部７３、マッチング処理部７４、および、アウトライヤ除去部７５に供給する。

ステップＳ１３において、モデル画像辞書記憶部７３は、モデル画像取得部７１から供給されたそれぞれのモデル画像と、特徴量抽出部７２から供給されたそれぞれのモデル画像に対応する局所特徴量とを記憶する。モデル画像辞書記憶部７３に記憶されたモデル画像とモデル画像に対応する局所特徴量とは、識別特徴点抽出処理１の終了後、判定処理部６２のモデル画像辞書記憶部９１に供給され、記憶される。

ステップＳ１４において、マッチング処理部７４は、特徴量抽出部７２から供給された注目モデル画像の局所特徴量と、現在モデル画像辞書記憶部７３に記憶されているそれぞれのモデル画像の局所特徴量とを、例えば、K-NN等の手法でマッチングし、マッチペアを求める。そして、マッチング処理部７４は、注目モデル画像と、注目モデル画像に対して所定数以上のマッチペア数を有する類似モデル画像と、それらのマッチペアの情報を、アウトライヤ除去部７５に供給する。

ステップＳ１５において、アウトライヤ除去部７５は、例えば、ハフ変換、または、RANSAC等を用いて、マッチング処理部７４により検出されたマッチペアから、幾何学拘束を満たさないミスマッチペアを除去する。アウトライヤ除去部７５は、注目モデル画像に対して所定以上のマッチペア数を有する類似するモデル画像の組である類似モデル画像を抽出し、注目モデル画像と、類似モデル画像と、アウトライヤ除去後のマッチペアの情報を、アフィンパラメータ取得部７６に供給する。

ステップＳ１６において、アフィンパラメータ取得部７６は、残ったマッチペアから、注目モデル画像とそれぞれの類似モデル画像とのアフィンパラメータを求め、注目モデル画像と、注目モデル画像に対して所定以上のマッチペア数を有する類似モデル画像と、アウトライヤ除去後のマッチペアの情報に加えて、算出されたアフィンパラメータを、アフィン変換処理部７７に供給する。

ステップＳ１７において、アフィン変換処理部７７は、供給された類似モデル画像をアフィンパラメータで変換し、注目モデル画像に対応する撮像方向から同じ大きさに撮像された画像に補正する。アフィン変換処理部７７は、注目モデル画像と、注目モデル画像に対して所定以上のマッチペア数を有するアフィン変換後の類似モデル画像と、アウトライヤ除去後のマッチペアの情報とを、相関画像生成部７８に供給する。

ステップＳ１８において、相関画像生成部７８は、注目モデル画像の特徴点ごとに、その位置での、アフィン変換後の類似モデル画像との特徴量の相関値（特徴量距離）を計算して、注目モデル画像と類似モデル画像との相関画像を生成し、相関画像、すなわち、得られた特徴点ごとの相関値を示す情報を、識別特徴点抽出部７９に供給する。

ステップＳ１９において、識別特徴点抽出部７９は、注目モデル画像のそれぞれの特徴点における類似モデル画像との相関値に基づいて、相関値がある閾値よりも低い特徴点、または、相関値が低い順から所定数の特徴点を、類似モデル画像とのモデル識別能力の高い識別特徴点として抽出し、判定処理部６２の識別特徴点記憶部９２に供給して登録して、処理が終了する。

このような処理により、モデル画像の特徴点における特徴量に加えて、モデル画像ごとに、類似モデル画像とのモデル識別能力の高い識別特徴点を求めることができるので、識別特徴点記憶部９２に似識別特徴点が登録された判定処理部６２は、類似するモデル画像の識別処理を実行することができる。

なお、ステップＳ１９の処理において、識別特徴点抽出部７９は、図８乃至図１２を用いて説明したようにして、類似のモデル画像におけるにおける識別特徴点の抽出を、類似部分を区別して行ったり、階層化させるようにしてもよい。

次に、図１４を参照して、認識装置５１の識別特徴点選択部６１が実行する処理の第２の例である、識別特徴点抽出処理２について説明する。

図１３を用いて説明した識別特徴点抽出処理１は、モデル画像が類似しているか否かにかかわらずモデル画像を順次入力し、モデル画像が１枚入力されるのに対して、識別特徴点抽出のための処理が順次行われるものであるが、それに対して、識別特徴点抽出処理２は、予め類似モデル画像同士の組を生成しておき、その組に含まれる画像の組み合わせのすべての相関の平均などに基いて、識別特徴点を抽出するものである。

ステップＳ２１乃至ステップＳ２５において、図１３のステップＳ１１乃至ステップＳ１５と同様の処理が実行される。すなわち、モデル画像取得部７１は、識別処理のためのモデル画像を取得し、特徴量抽出部７２は、モデル画像取得部７１から供給されたそれぞれのモデル画像から、特徴点を抽出し、特徴点周辺から局所特徴量を抽出し、ベクトル記述する。そして、モデル画像辞書記憶部７３は、モデル画像取得部７１から供給されたそれぞれのモデル画像と、特徴量抽出部７２から供給されたそれぞれのモデル画像に対応する局所特徴量とを記憶する。そして、マッチング処理部７４は、注目モデル画像の局所特徴量と、現在モデル画像辞書記憶部７３に記憶されているそれぞれのモデル画像の局所特徴量とを、例えば、K-NN等の手法でマッチングし、マッチペアを求め、アウトライヤ除去部７５は、例えば、ハフ変換、または、RANSAC等を用いて、マッチング処理部７４により検出されたマッチペアから、幾何学拘束を満たさないミスマッチペアを除去する。

ステップＳ２６において、アウトライヤ除去部７５は、識別特徴点抽出処理の対象となる全てのモデル画像のマッチングとアウトライヤの除去処理は終了したか否かを判断する。ステップＳ２６において、全てのモデル画像のマッチングとアウトライヤの除去処理は終了していないと判断された場合、処理は、ステップＳ２１に戻り、それ以降の処理が繰り返される。

ステップＳ２６において、全てのモデル画像のマッチングとアウトライヤの除去処理は終了したと判断された場合、ステップＳ２７において、アウトライヤ除去部７５は、アウトライヤ除去後の残ったマッチペアに基づいて、類似モデル画像の組を生成し、アフィンパラメータに、類似モデル画像の組の画像データと、アウトライヤ除去後のマッチペアとを、アフィンパラメータ取得部７６に供給する。

ステップＳ２８において、アフィンパラメータ取得部７６は、類似モデル画像の全ての組み合わせにおいて、アウトライヤ除去後の残ったマッチペアから、注目モデル画像とそれぞれの類似モデル画像とのアフィンパラメータを求め、注目モデル画像と、注目モデル画像に対して所定以上のマッチペア数を有する類似モデル画像と、アウトライヤ除去後のマッチペアの情報に加えて、算出されたアフィンパラメータを、アフィン変換処理部７７に供給する。

ステップＳ２９において、アフィン変換処理部７７は、類似モデル画像の全ての組み合わせにおいて、供給された類似モデル画像をアフィンパラメータで変換し、注目モデル画像に対応する撮像方向から同じ大きさに撮像された画像に補正する。アフィン変換処理部７７は、注目モデル画像と、注目モデル画像に対して所定以上のマッチペア数を有するアフィン変換後の類似モデル画像と、アウトライヤ除去後のマッチペアの情報とを、相関画像生成部７８に供給する。

ステップＳ３０において、相関画像生成部７８は、類似モデル画像の全ての組み合わせにおいて、注目モデル画像の特徴点ごとに、その位置での、アフィン変換後の類似モデル画像との特徴量の相関値（特徴量距離）を計算して、注目モデル画像と類似モデル画像との相関画像を生成し、その平均を求める。そして、相関画像生成部７８は、相関画像の平均値、すなわち、得られた特徴点ごとの相関値の平均値を示す情報を、識別特徴点抽出部７９に供給する。

ステップＳ３１において、識別特徴点抽出部７９は、注目モデル画像のそれぞれの特徴点における類似モデル画像との相関値の平均値に基づいて、相関値がある閾値よりも低い特徴点、または、相関値が低い順から所定数の特徴点を、類似モデル画像とのモデル識別能力の高い識別特徴点として抽出し、判定処理部６２の識別特徴点記憶部９２に供給して登録して、処理が終了する。

このような処理により、モデル画像の特徴点における特徴量に加えて、モデル画像ごとに、類似モデル画像とのモデル識別能力の高い識別特徴点を求めることができるので、識別特徴点記憶部９２に似識別特徴点が登録された判定処理部６２は、類似するモデル画像の識別処理を実行することができる。

なお、ステップＳ３１の処理においても、識別特徴点抽出部７９は、図８乃至図１２を用いて説明したようにして、類似のモデル画像におけるにおける識別特徴点の抽出を、類似部分を区別して行ったり、階層化させるようにしてもよい。

次に、図１５のフローチャートを参照して、認識装置５１の判定処理部６２が実行する識別判定処理について説明する。

ステップＳ４１において、クエリ画像取得部９３は、識別用のクエリ画像を取得する。

ステップＳ４２において、特徴量抽出部９４は、クエリ画像取得部９３から供給されたクエリ画像から、特徴点を抽出し、特徴点周辺から局所特徴量を抽出し、ベクトル記述する。特徴量抽出部９４は、抽出した局所特徴量の情報を、クエリ画像とともに、マッチング処理部９５、および、アウトライヤ除去部９６に供給する。

ステップＳ４３において、マッチング処理部９５は、特徴量抽出部９４から供給された局所特徴量と、モデル画像辞書記憶部９１に記憶されているモデル画像に対応する局所特徴量とを、例えば、K-NN等の手法でマッチングし、マッチペアを求める。そして、マッチング処理部９５は、クエリ画像と、クエリ画像に対して所定数以上のマッチペア数を有するモデル画像である類似モデル画像のデータと、それらのマッチペアの情報を、アウトライヤ除去部９６に供給する。

ステップＳ４４において、アウトライヤ除去部９６は、ハフ変換、または、RANSAC等を用いて、マッチング処理部９５により検出されたマッチペアから、幾何学拘束を満たさないミスマッチペアを除去する。

ステップＳ４５において、アウトライヤ除去部９６は、一致度が所定の値以上であるモデル画像が存在したか否かを判断する。ステップＳ４５において、一致度が所定の値以上であるモデル画像が存在しなかったと判断された場合、アウトライヤ除去部９６は、その判断結果を識別処理部１００に供給に供給し、処理は、後述するステップＳ５１に進む。

ステップＳ４５において、アウトライヤ除去部９６は、一致度が所定の値以上であるモデル画像が存在したと判断された場合、ステップＳ４６において、アウトライヤ除去部９６は、アウトライヤ除去の後に残ったマッチペア数が所定の閾値よりも多いモデル画像が所定数以上抽出されたか否か、換言すれば、類似モデル画像が存在したか否かを判断する。ステップＳ４６において、モデル画像が所定数以上抽出されなかったと判断された場合、アウトライヤ除去部９６は、一致度が所定の値以上であるモデル画像と、除去されずに残ったマッチペア数を識別処理部１００に供給して、処理は、後述するステップＳ５０に進む。

ステップＳ４６において、モデル画像が所定数以上抽出されたと判断された場合、ステップＳ４７において、アウトライヤ除去部９６は、残ったマッチペア数が所定の閾値よりも多い所定数以上のモデル画像、すなわち、類似モデル画像と、クエリ画像と、アウトライヤ除去後のマッチペアの情報を、アフィンパラメータ取得部９７に供給する。アフィンパラメータ取得部９７は、残ったマッチペアから、クエリ画像とそれぞれの類似モデル画像とのアフィンパラメータを取得し、クエリ画像、アフィンパラメータ、類似モデル画像、および、アウトライヤ除去後のマッチペアの情報を、アフィン変換処理部９８に供給する。

ステップＳ４８において、アフィン変換処理部９８は、供給された類似モデル画像をアフィンパラメータで変換し、クエリ画像に対応する撮像方向から同じ大きさに撮像された画像に補正する。アフィン変換処理部９８は、クエリ画像、アフィン変換後の類似モデル画像、および、アウトライヤ除去後のマッチペアの情報を、識別特徴点比較部９９に供給する。

ステップＳ４９において、識別特徴点比較部９９は、識別特徴点記憶部９２に記憶されているそれぞれのモデル画像の識別特徴点に基づいて、アフィン変換後の類似モデル画像における識別特徴点を求めてその特徴量を算出するとともに、クエリ画像上の特徴量との識別特徴点における相関値を算出する。

なお、ステップＳ１９の処理において、識別特徴点抽出部７９が、図８乃至図１２を用いて説明したようにして、類似のモデル画像におけるにおける識別特徴点の抽出を、類似部分を区別して行うか、または、階層化させていた場合、識別特徴点比較部９９は、区別された、または、階層化された、それぞれの識別特徴点にしたがって相関値を算出する。

ステップＳ４６において、マッチペア数が所定数以上抽出されなかったと判断された場合、または、ステップＳ４９の処理の終了後、ステップＳ５０において、識別処理部１００は、アウトライヤ除去部９６から供給されたモデル画像ごとのクエリ画像とのマッチペア数、または、識別特徴点比較部９９から供給された類似モデル画像ごとのクエリ画像との識別特徴点における相関値を基に、クエリ画像に対応するモデル画像を識別し、識別結果を識別結果出力部１０１に出力する。

ステップＳ４５において、一致度が所定の値以上であるモデル画像が存在しなかったと判断された場合、ステップＳ５１において、識別処理部１００は、アウトライヤ除去部９６からの通知に基づいて、クエリ画像はいずれのモデル画像とも一致しないと判定し、判定結果を識別結果出力部１０１に出力する。

ステップＳ５０またはステップＳ５１の処理の終了後、ステップＳ５２において、識別結果出力部１０１は、識別処理部１００から供給された識別結果を、例えば、表示部に表示したり、音声データとして出力したり、または、所定の伝送路を介して出力するか所定の記録媒体に記録させることなどにより、他の装置に出力して、処理が終了される。

このような処理により、例えば、図１に示す画像１１乃至画像１５がモデル画像として登録され、図４を用いて説明したクエリ画像１１１が入力された場合でも、クエリ画像にそれぞれ多くの特徴点でマッチングしている画像１１乃至画像１５のなかから、画像１２を識別することが可能となる。

以上説明した処理により、認識装置５１は、オクルージョンに強く、ロバストであるという一般物体認識器の特徴を保持したまま、類似したモデルが存在した場合でも、どの類似モデルに最も近いかということを正しく識別することが可能となる。

なお、ここでは、認識装置５１は１つの装置であるものとして説明したが、識別特徴点選択部６１と判定処理部６２とは、それぞれ、異なる１つの装置として構成されていても良い。

また、識別特徴点の抽出と、画像の識別処理は連続して行われなくても良く、識別特徴点選択部６１と判定処理部６２とが、それぞれ、異なる１つの装置として構成され、乖離して設置されていても良いことはいうまでもない。換言すれば、識別特徴点選択部６１に対応する装置により生成される識別特徴点が識別特徴点記憶部９２に記憶されている判定処理部６２に対応する装置は、識別特徴点選択部６１に対応する装置と乖離した場所に設置されても単独で画像の識別処理を行うことができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。そのソフトウェアは、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。この場合、上述した処理は、図１６に示されるようなパーソナルコンピュータ５００により実行される。

図１６において、CPU（Central Processing Unit）５０１は、ROM(Read Only Memory)５０２に記憶されているプログラム、または、記憶部５０８からRAM(Random Access Memory)５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。

CPU５０１、ROM５０２、およびRAM５０３は、内部バス５０４を介して相互に接続されている。この内部バス５０４にはまた、入出力インターフェース５０５も接続されている。

入出力インターフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT，LCDなどよりなるディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、並びに、モデム、ターミナルアダプタなどより構成される通信部５０９が接続されている。通信部５０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。

入出力インターフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア５２１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。

一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、図１６に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア５２１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や記憶部５０８が含まれるハードディスクなどで構成される。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

なお、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

類似するモデル画像について説明するための図である。 認識装置の構成を示すブロック図である。 識別特徴点について説明するための図である。 クエリ画像の識別について説明するための図である。 テロップへの応用について説明するための図である。 テロップへの応用について説明するための図である。 テロップへの応用について説明するための図である。 類似点が異なる類似モデル画像の例について説明するための図である。 類似点が異なる類似モデル画像の例について説明するための図である。 識別特徴点の分類について説明するための図である。 階層的に類似画像を判別する場合について説明するための図である。 階層的に類似画像を判別する場合について説明するための図である。 識別特徴点抽出処理１について説明するためのフローチャートである。 識別特徴点抽出処理２について説明するためのフローチャートである。 識別判定処理について説明するためのフローチャートである。 パーソナルコンピュータの構成を示すブロック図である。

符号の説明

５１ 認識装置， ６１ 識別特徴点選択部， ６２ 判定処理部， ７１ モデル画像取得部， ７２特徴量抽出部， ７３ モデル画像辞書記憶部， ７４ マッチング処理部， ７５ アウトライヤ除去部， ７６ アフィンパラメータ取得部， ７７ アフィン変換処理部， ７８ 相関画像生成部， ７９ 識別特徴点抽出部， ９１ モデル画像辞書記憶部， ９２ 識別特徴点記憶部， ９３ クエリ画像取得部， ９４ 特徴量抽出部， ９５ マッチング処理部， ９６ アウトライヤ除去部， ９７ アフィンパラメータ取得部， ９８ アフィン変換処理部， ９９ 識別特徴点比較部， １００ 識別処理部， １０１ 識別結果出力部

Claims (6)

1. 複数のモデル画像および前記モデル画像の特徴量を記憶し、認識画像の入力を受け、前記認識画像に対応する前記モデル画像を識別する画像識別装置において、
   前記モデル画像のうち、他の前記モデル画像のうちのいずれかと所定数以上の前記特徴量がマッチした複数の前記モデル画像である類似モデル画像において、前記類似モデル画像間で相関の少ない特徴点である識別特徴点を記憶する記憶手段と、
   前記認識画像を取得する認識画像取得手段と、
   前記認識画像取得手段により取得された前記認識画像の特徴量を抽出する認識画像特徴量抽出手段と、
   前記記憶手段により記憶された前記識別特徴点において、前記類似モデル画像と前記認識画像との特徴量の相関を求めることにより、前記認識画像に対応する前記類似モデル画像を識別する識別手段と、
   前記認識画像取得手段により取得された前記認識画像と記憶されている前記モデル画像との特徴量のマッチング処理を行い、マッチング処理結果からアウトライヤを除去するマッチング手段とを備え、
   前記マッチング手段によるマッチングの結果、前記認識画像と所定の閾値以上の特徴量がマッチングした前記モデル画像が所定数以上であるとき、前記識別手段は、所定数以上の前記モデル画像を前記類似モデル画像として、前記記憶手段により記憶された前記識別特徴点において、前記類似モデル画像と前記認識画像の特徴量との相関を求めることにより、前記認識画像に対応する前記類似モデル画像を識別する
   画像識別装置。
2. 前記類似モデル画像に対して、前記認識画像に合致するようにアフィン変換を施す変換手段を更に備え、
   前記識別手段は、前記変換手段により変換された前記類似モデル画像を用いて、前記認識画像に対応する前記類似モデル画像を識別する
   請求項１に記載の画像識別装置。
3. 前記記憶手段により記憶された前記識別特徴点は、マッチ数が多いほど対応する類似モデル画像であると識別される第１の識別特徴点と、マッチ数が少ないほど対応する類似モデル画像であると識別される２の識別特徴点とに分類される
   請求項１に記載の情報処理装置。
4. 前記記憶手段により記憶された前記識別特徴点は、階層構造を有している
   請求項１に記載の情報処理装置。
5. 複数のモデル画像および前記モデル画像の特徴量を記憶し、認識画像の入力を受け、前記認識画像に対応する前記モデル画像を識別する画像識別方法において、
   記憶手段が、前記モデル画像のうち、他の前記モデル画像のうちのいずれかと所定数以上の前記特徴量がマッチした複数の前記モデル画像である類似モデル画像において、前記類似モデル画像間で相関の少ない特徴点である識別特徴点を記憶し、
   認識画像取得手段が、前記認識画像を取得し、
   認識画像特徴量抽出手段が、前記認識画像取得手段により取得された前記認識画像の特徴量を抽出し、
   識別手段が、前記記憶手段により記憶された前記識別特徴点において、前記類似モデル画像と前記認識画像との特徴量の相関を求めることにより、前記認識画像に対応する前記類似モデル画像を識別し、
   マッチング手段が、前記認識画像取得手段により取得された前記認識画像と記憶されている前記モデル画像との特徴量のマッチング処理を行い、マッチング処理結果からアウトライヤを除去するステップを含み、
   前記マッチングの結果、前記認識画像と所定の閾値以上の特徴量がマッチングした前記モデル画像が所定数以上であるとき、所定数以上の前記モデル画像を前記類似モデル画像として、前記記憶された前記識別特徴点において、前記類似モデル画像と前記認識画像の特徴量との相関を求めることにより、前記認識画像に対応する前記類似モデル画像が識別される
   画像識別方法。
6. コンピュータを、
   複数のモデル画像および前記モデル画像の特徴量を記憶し、認識画像の入力を受け、前記認識画像に対応する前記モデル画像を識別する画像識別装置において、
   前記モデル画像のうち、他の前記モデル画像のうちのいずれかと所定数以上の前記特徴量がマッチした複数の前記モデル画像である類似モデル画像において、前記類似モデル画像間で相関の少ない特徴点である識別特徴点を記憶する記憶手段と、
   前記認識画像を取得する認識画像取得手段と、
   前記認識画像取得手段により取得された前記認識画像の特徴量を抽出する認識画像特徴量抽出手段と、
   前記記憶手段により記憶された前記識別特徴点において、前記類似モデル画像と前記認識画像との特徴量の相関を求めることにより、前記認識画像に対応する前記類似モデル画像を識別する識別手段と、
   前記認識画像取得手段により取得された前記認識画像と記憶されている前記モデル画像との特徴量のマッチング処理を行い、マッチング処理結果からアウトライヤを除去するマッチング手段とを備え、
   前記マッチング手段によるマッチングの結果、前記認識画像と所定の閾値以上の特徴量がマッチングした前記モデル画像が所定数以上であるとき、前記識別手段は、所定数以上の前記モデル画像を前記類似モデル画像として、前記記憶手段により記憶された前記識別特徴点において、前記類似モデル画像と前記認識画像の特徴量との相関を求めることにより、前記認識画像に対応する前記類似モデル画像を識別する画像識別装置として機能させる
   プログラム。

Images