JPH0612494A

JPH0612494A - 画像照合装置及び画像検索装置

Info

Publication number: JPH0612494A
Application number: JP4168797A
Authority: JP
Inventors: Hisayo Yamazaki; 久代山崎; Hiroshi Akahori; 裕志赤堀
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1992-06-26
Filing date: 1992-06-26
Publication date: 1994-01-21

Abstract

(57)【要約】【目的】画像の構成要素名が異なる場合でも、構成要
素の画像特徴を用いた画像間の照合が行なえる画像照合
装置と、これを用いることにより検索者の希望する画像
に類似した画像を取り出す画像検索装置を提供する。【構成】構成要素名比較部１３で構成要素名を比較
し、構成要素名が一致する要素については、対応構成要
素間一致度算出部１４において、画像特徴を用いて構成
要素の一致度を算出する。構成要素名が一致しない要素
については、類似度合抽出部１６が類似語辞書記憶部１
５に記憶されている構成要素間の類似度合を抽出し、類
似構成要素間一致度算出部１７において要素間の一致度
が算出される。それらの一致度を画像間一致度算出部１
８で結合し画像間の一致度とする。求めた画像間の一致
度をもとに画像を検索することにより、検索者の意図す
る検索結果を得ることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、作成された画像データ
ベースから、利用者の希望する画像に類似した画像を検
索する画像検索装置及びその際利用する画像照合装置に
関するものである。

【０００２】

【従来の技術】従来の画像検索手法として、例えば、
「第６回ファジィシステムシンポジウム講演論文集」p
p.341-344に示されているものがある。

【０００３】これは、画像の内容を示した言葉から、意
味ネットワークを作成し、これを画像の索引や検索キー
とする。今、図１２に示したような女性、男性、犬が存
在する画像を考え、画像の内容を言葉で表すと、「女性
がいる。女性は男性の左側にいる。女性のほぼ後ろに犬
がいる。」と表せる。これを意味ネットワークで表す
と、図１３(a) のようになる。これは、画像の構成要素
を表す節点と節点間の関係を表す矢印から構成され、こ
れを画像の索引や検索キーを表すデータとする。矢印e
のデータ構造は、矢印のラベルL(e)、始点vのラベルL
(v)、終点wのラベルL(w)、メンバーシップ値μ(e)の4つ
の組e:(μ(e),L(e),L(v),L(w))で構成される。この表現
を用いると、図１３(a)は、図１３(b)のように記述でき
る。

【０００４】画像の内容を示めすために用いられた画像
の構成要素や要素間の関係を表現する言葉が、索引と検
索キーとの間で微妙に異なる可能性がある。例えば、
「左側」を「隣」と表すことがある。これは、ファジィ
シソーラスを用いて対応する。ファジィシソーラスの例
を図１４に示す。このファジィシソーラスには索引や検
索キーを作成する時に用いられる言葉がすべて含まれて
おり、それらの言葉の間にファジィ関係が与えられてい
る。

【０００５】索引と検索キーの類似度の算出は、索引と
検索キーの画像をそれぞれ図１３(b) のように記述し、
これらのマッチングを行って求める。ここで、索引のグ
ラフの矢印の集合を（数１）、検索キーを（数２）のよ
うに定める。また、索引、検索キーそれぞれの要素を
（数３）のように定める。そして、検索用語として、登
録されている言葉のファジィシソーラスを（数４）とす
ると、索引と検索キーの間の類似度は（数５）により求
められる。

【０００６】

【数１】

【０００７】

【数２】

【０００８】

【数３】

【０００９】

【数４】

【００１０】

【数５】

【００１１】以上のようにして、検索キーと画像データ
ベース中の画像の索引との間で、画像間の類似度を算出
する。求められた類似度が最も高い画像を検索結果とし
て出力するか、あるいは、類似度が高い順に出力する。

【００１２】

【発明が解決しようとする課題】このように、上記のよ
うな従来の画像検索装置では、あらかじめ、画像データ
ベース中の画像について、画像中の構成要素とその位置
関係を意味ネットワークで表し画像の索引としておき、
検索者の想起した画像も同様に意味ネットワークで表し
検索キーとし、画像の索引と検索キーとのグラフマッチ
ングにより類似度を求めている。

【００１３】しかし、画像中の構成要素の位置関係の記
述は多数あり、同じ画像でも利用者によって、異なると
考えられる。例えば、図１２の画像は、図１３(a) の意
味ネットワークで表されたが、図１４(a)の意味ネット
ワークでも表すことができる。そのため、画像の記述は
図１５(b)のようになり、図１３(b)とは異なったものに
なってしまう。すなわち、画像の索引と検索キーの位置
関係の記述が異なると、検索者の希望する検索結果が得
られなくなってしまう。

【００１４】画像中の構成要素の位置関係の記述は、同
じ画像でも利用者によって異なると考えられるので、画
像の索引の意味ネットワークは、画像中の構成要素のす
べての位置関係を記述してある必要がある。しかし、画
像中の構成要素のすべての位置関係を意味ネットワーク
で表現するとなると、作成が困難で、また、一枚の画像
の索引を記憶するのに多くのメモリ容量を要することに
なる。そのため、実際のシステムでは、画像の索引と検
索キーの構成要素の位置関係の記述が異なると、検索者
の希望する結果が得られないといったことが起こりう
る。

【００１５】また、上記のような画像検索装置では、デ
ータベース作成者や検索者が言葉で示した画像の内容
を、意味ネットワークで表しているだけであり、実際の
画像における画像特徴量を用いていない。したがって、
構成要素の大きさや色といった画像特徴を指定した検索
は行うことができない。

【００１６】本発明はかかる点に鑑み、言語による構成
要素名が異なる場合でも、構成要素の画像特徴を用い
て、２枚の画像の照合が行なえる画像照合装置、また、
構成要素間の関係を考慮して画像間の照合が行なえる画
像照合装置、そして、画像データベースから検索者の希
望する画像に類似した画像をとり出せる画像検索装置を
提供することを目的とする。

【００１７】

【課題を解決するための手段】第１の発明は、照合する
画像を入力する照合画像入力部と、照合される画像を入
力する被照合画像入力部と、照合画像入力部で入力した
照合画像と被照合画像入力部で入力した被照合画像の構
成要素名を比較する構成要素名比較部と、構成要素名が
一致する構成要素ごとに画像特徴の一致度を算出する対
応構成要素間一致度算出部と、構成要素名間の類似度合
の知識を記憶する類似語辞書記憶部と、類似語辞書記憶
部が記憶している知識を用いて構成要素名が一致しない
構成要素間の類似度合を抽出する類似度合抽出部、類似
度合抽出部で抽出された類似度合を用いて構成要素名が
一致しない構成要素間の画像特徴の一致度を算出する類
似構成要素間一致度算出部、対応要素間一致度算出部が
算出した一致度と類似構成要素間一致度算出部が算出し
た一致度から画像間の一致度を求める画像間一致度算出
部とからなる画像特徴照合装置である。

【００１８】第２の発明は、照合する画像を入力する照
合画像入力部と、照合される画像を入力する被照合画像
入力部と、照合画像入力部で入力した照合画像と被照合
画像入力部で入力した被照合画像の構成要素名を比較す
る構成要素名比較部と、構成要素名が一致する構成要素
ごとに画像特徴の一致度を算出する対応構成要素間一致
度算出部と、要素名の階層関係を記述する木構造を記憶
する要素名木構造記憶部と、要素名木構造記憶部が記憶
している木構造を用いて構成要素名が一致しない構成要
素名間の距離を求める要素名間距離抽出部と、要素名間
距離抽出部が求めた要素名間の距離を用いて要素名間の
類似度合を算出する類似度合算出部と、類似度合算出部
が求めた類似度合を用いて類似する類似度合抽出部で抽
出された類似度合を用いて構成要素名が一致しない構成
要素間の画像特徴の一致度を算出する類似構成要素間一
致度算出部、対応要素間一致度算出部が算出した一致度
と類似構成要素間一致度算出部が算出した一致度から画
像間の一致度を求める画像間一致度算出部とからなる画
像照合装置である。

【００１９】第３の発明は、照合する画像を入力する照
合画像入力部と、照合される画像を入力する被照合画像
入力部と、照合画像入力部で入力した照合画像と被照合
画像入力部で入力した被照合画像の構成要素名が一致す
る構成要素を抽出する対応構成要素抽出部と、構成要素
の一致度を構成要素の画像特徴を用いて求める画像特徴
一致度算出部と、構成要素の一致度を他の構成要素との
位置関係を用いて求める相対関係一致度算出部と、画像
特徴一致度算出部が算出した一致度と相対関係一致度算
出部が算出した一致度から対応する構成要素間の一致度
を算出する対応構成要素間一致度算出部と、対応構成要
素間一致度算出部が算出した一致度から画像間の一致度
を求める画像間一致度算出部とからなる画像照合装置で
ある。

【００２０】第４の発明は、検索要求画像を入力する検
索要求画像入力部と、画像を記憶する画像記憶部と、検
索画像入力部に入力した画像と画像記憶部に記憶した画
像の構成要素を指定する構成要素指定部と、構成要素指
定部で指定された構成要素の画像特徴を抽出する画像特
徴抽出部と、検索要求画像入力部に入力した検索要求画
像と画像記憶部に記憶されている画像の照合を行う第
１、第２もしくは第３の発明の手段からなる画像照合装
置と、画像照合装置の照合結果から前記画像記憶部から
取り出す画像出力部とからなる画像検索装置である。

【００２１】

【作用】本発明は上記の構成により、２枚の画像の構成
要素名が一致しない場合でも、同一視できるような要素
やイメージが同じ要素どうしに対して一致度を与えるこ
とにより、画像間の一致度を求めることができる。

【００２２】また、構成要素間の位置関係を自動的に抽
出し、構成要素間の位置関係を考慮した画像間の一致度
を求めることができる。

【００２３】また、これらの画像照合装置を画像検索装
置に用いることにより、検索者の希望する画像に類似し
た画像を画像データベースから取り出すことができる。

【００２４】

【実施例】以下、本発明の実施例について図面を参照し
て説明する。

【００２５】図１は本発明の第１の実施例である画像照
合装置の構成を示すブロック図である。図１において、
１１は照合する画像のデータを入力する照合画像データ
入力部、１２は照合される画像のデータを入力する被照
合画像データ入力部、１３は構成要素名を比較する構成
要素名比較部、１４は対応する構成要素間の一致度を算
出する対応構成要素間一致度算出部、１５は要素名間の
類似度合についての知識を記憶する類似語辞書記憶部、
１６は類似語辞書記憶部１５が記憶している辞書を用い
て要素名間の類似度合を抽出する類似度合抽出部、１７
は類似する構成要素間の一致度を算出する類似構成要素
間一致度算出部、１８は画像間の一致度を算出する画像
間一致度算出部である。

【００２６】以上のように構成された第１の実施例の画
像照合装置の動作について説明する。まず、照合画像デ
ータ入力部１１に照合する画像のデータを、被照合画像
データ入力部１２には照合される画像データを入力す
る。画像のデータは、構成要素名とその構成要素の画像
特徴が与えられる。画像特徴量としては、構成要素の位
置、面積、主要色などが考えられる。ここで、図２(a)
に示すような構成要素として、月、人、家が含まれる画
像が照合画像として照合画像データ入力部１１に入力さ
れ、図２(b) に示すような画像が被照合画像として被照
合画像データ入力部１２に入力されたとする。構成要素
の特徴量を、例えば構成要素の位置と面積とすると、照
合画像データ入力部１１、被照合画像データ入力部１２
から、構成要素名として、月、人、家と、それぞれの位
置と面積情報が入力される。

【００２７】構成要素名比較部１３では、照合画像デー
タ入力部１１から入力された照合画像のデータと被照合
画像データ入力部１２から入力された被照合画像データ
の構成要素名を比較し、構成要素名が一致するものと、
一致しないものとに分ける。

【００２８】対応構成要素間一致度算出部１４では、構
成要素名比較部１３で要素名が一致するとみなされた構
成要素ごとに一致度を算出する。一致度の算出は例え
ば、以下のような方法で行なう。入力された構成要素の
画像特徴量に対し、２つの構成要素の画像特徴量の距離
に基づいて定めた一致度のメンバーシップ関数から、各
特徴量ごとの一致度を求める。一致度のメンバーシップ
関数の一例を図３に示す。図３のメンバーシップ関数か
ら求めた各特徴量の一致度を結合することにより構成要
素の一致度とする。各特徴量の一致度の結合には例え
ば、Dempster-Shafer の結合則を用いる。Dempster-Sha
fer 理論によると、ｐ₁，ｐ₂を独立な証拠に基づいて得
られた基本確率とし、Ｂ_1q，Ｂ_2r（q,r=0,1,2,…）をそ
れぞれの焦点要素としたとき、基本確率は（数６）によ
って結合することができる。

【００２９】

【数６】

【００３０】焦点要素として２個の構成要素が類似して
いることをＡ、類似していないことをＡcとし、ある構
成要素の画像特徴量ｘ_iにおいて類似している確信度を
ｐ⁽ⁱ⁾(Ａ)、類似していない確信度をｐ⁽ⁱ⁾(Ａ^C)とす
る。また、無知量をｐ⁽ⁱ⁾(Ａ,Ａ^C)とする。このとき画
像特徴量としてｘ_iが得られたときの、確信度ｐ
⁽ⁱ⁾(Ａ)，ｐ ⁽ⁱ⁾(Ａ,Ａ^C)の求め方を説明する。

【００３１】画像特徴量として構成要素の位置と面積を
考える。２つの画像間で対応する構成要素間の位置の差
をｘ₁、面積の差をｘ₂とする。ｘ₁、ｘ₂からメンバシッ
プ関数を用いて一致度ｓ₁、ｓ₂をそれぞれ求める。メン
バシップ関数から求めたｓ₁、ｓ₂に対し、これらの値を
特徴量数（この場合は２）で割り、これをｐ⁽¹⁾(Ａ)、
ｐ⁽²⁾(Ａ)とする。さらに無知量ｐ⁽¹⁾(Ａ,Ａ^C)、ｐ
⁽²⁾(Ａ,Ａ^C) を（数７）から求める。求めたｐ
⁽ⁱ⁾(Ａ)、ｐ⁽ⁱ⁾(Ａ,Ａ^C)から（数６）の結合則を用い
て、構成要素の一致度ｐ_j(Ａ)を求める。

【００３２】

【数７】

【００３３】以上のようにして対応する構成要素間一致
度を求めることができる。なお、ここでは構成要素の複
数の特徴量に対して個々の特徴量ごとに一致度を求め、
それらを結合して構成要素間一致度を求めるためにDemp
ster-Shafer の結合則を用いたが、ルールを用いた結合
などの方法や、構成要素の複数の特徴量に対して多次元
の特徴量空間上での距離を求めた後に一致度のメンバー
シップ関数で構成要素間一致度を求めても良い。

【００３４】類似語辞書記憶部１５では、構成要素名間
の類似度合を定めたファジィシソーラスを記憶してい
る。図４に例として、月、太陽、星の３個の構成要素間
の類似度合を表すファジィシソーラスを示す。図４か
ら、太陽と月は 0.8の度合、星と月は0.6の度合、太陽
と星は0.5の度合で類似する構成要素であることが分か
る。

【００３５】類似度合抽出部１６では、構成要素名比較
部１３で要素名が一致しないとみなされた構成要素につ
いて、類似語辞書記憶部１５に記憶されているファジィ
シソーラスを用いて、類似する構成要素を抽出し、類似
度合s を求める。ここで、図２(a)に示すような画像の
データが照合画像として与えられ、図２(c)に示すよう
な画像のデータが被照合画像として与えられた場合を考
える。図２(a) の画像の構成要素名は、月、人、家であ
るが、図２(c) の画像の構成要素名は、太陽、人、家で
あり、人、家は一致するが、月、太陽は一致しない。そ
こで、構成要素名が一致しないものは、類似語辞書記憶
部１５に記憶されているファジィシソーラスを用いて類
似度合を調べる。ここで、照合画像の構成要素の月は、
被照合画像の構成要素の太陽に、0.8の度合で類似して
いることがわかる。

【００３６】類似構成要素間一致度算出部１７では、類
似度合抽出部１６で抽出された類似する構成要素ごと
に、類似する度合に応じた一致度を求める。まず、対応
構成要素間一致度算出部１４と同様の方法で構成要素の
画像特徴から一致度q_k(A) を求める。次に、類似度合抽
出部１６で求めた類似度合sを用い、一致度q_k(A)と類似
度合sから、類似構成要素間一致度ｐ_sk(Ａ) を求める。
例えば、（数８）のような関数を用いて、類似構成要素
間一致度を求める。

【００３７】

【数８】

【００３８】画像間一致度算出部１８では、対応構成要
素間一致度算出部１４で求めた照合画像と被照合画像で
構成要素名が一致する構成要素間の各一致度と、類似構
成要素間一致度算出部１７で求めた構成要素名は一致し
ないが類似している構成要素間の各一致度の結合を行っ
て、照合画像と被照合画像間の一致度を算出する。一致
度の結合には、例えば、Dempster-Shafer の結合則を用
いる。以下、さらに詳細に説明する。

【００３９】いま、照合画像の構成要素がＮ個あると
し、対応構成要素間一致度算出部１４で求めたＫ個の一
致度ｐ₁(Ａ)〜ｐ_K(Ａ)から、（数９）よりｐ₁'(Ａ)〜ｐ
_K'(Ａ)を求める。また、（数１０）から無知量ｐ₁'(Ａ,
Ａ^C)〜ｐ_K'(Ａ,Ａ^C)を求める。同様に、類似構成要素間
一致度算出部１７で求めた（Ｎ−Ｋ）個の一致度ｐ_s(1+
_K)(Ａ)〜ｐ_sN(Ａ)から、（数１１）より、ｐ_s(1+K)'
(Ａ)〜ｐ_sN'(Ａ)を、（数１２）から無知量ｐ_s(1+K)'
(Ａ,Ａ^C)〜ｐ_sN'(Ａ,Ａ^C) を求める。求められたｐ_j'
(Ａ)，ｐ_j'(Ａ,Ａ^C)，ｐ_sj'(Ａ)，ｐ_sj'(Ａ,Ａ^C) を用
いて、（数６）から画像間一致度Ｍを求める。

【００４０】

【数９】

【００４１】

【数１０】

【００４２】

【数１１】

【００４３】

【数１２】

【００４４】以上のようにして画像間の一致度Ｍを求め
ることができる。図５は、照合画像として図２(a)が、
被照合画像として図２(c)が入力された場合の画像間一
致度の求め方を模式的に示したものである。５１では、
対応構成要素である「人」と「家」の一致度が、対応構
成要素間一致度算出部１４において、構成要素の画像特
徴を用いて算出される。５２では、構成要素名の一致し
ない「月」「太陽」間の一致度が、類似構成要素間一致
度算出部において求められる。これらの、「人」の一致
度、「家」の一致度、「月」−「太陽」間の一致度が、
画像間一致度算出部１８で結合され、画像間一致度が求
められる。

【００４５】以上のように本実施例では、２枚の画像間
で構成要素名が一致する構成要素ごとに構成要素の画像
特徴を用いて一致度を求める。このとき、構成要素名が
一致しない構成要素が存在しても、言葉の表現が違うだ
けのものやイメージが同じ要素に対しても、類似語辞書
を用いて、類似度合を求め、その度合に応じた一致度を
求めることができる。２枚の画像間の一致度は、これら
の構成要素間の一致度を結合することにより求められ
る。このため、言葉による構成要素名が異なる場合で
も、構成要素の画像特徴を用いて画像間の一致度を求め
ることができる。

【００４６】次に本発明の第２の実施例の画像照合装置
について説明する。図６は第２の実施例の画像照合装置
の構成を示すブロック図である。図１と同一のものにつ
いては同一番号を付け、説明は省略する。図６におい
て、６１は要素名の階層関係を記述する木構造を記憶す
る要素名木構造記憶部、６２は要素名木構造記憶部６１
が記憶している木構造を用いて要素名間の距離を求める
要素名間距離抽出部、６３は要素名間の類似度合を算出
する類似度合算出部、６４は類似する構成要素間の一致
度を算出する類似構成要素間一致度算出部である。

【００４７】以上のように構成された第２の実施例の画
像照合装置の動作について説明する。構成要素名比較部
１３において、構成要素名が一致するものと、一致しな
いものに分け、構成要素名が一致するものについては、
対応構成要素間一致度算出部１４において構成要素ごと
に一致度が算出される過程までは、本発明の第１の実施
例と同様であり、説明は省略する。

【００４８】要素名木構造記憶部６１では、構成要素名
の階層関係を記述する木構造を記憶している。図７に構
成要素名の階層関係の例を示す。図７から、三日月、半
月、満月の上位概念は、「月」であり、月の上位概念
は、「天体」であることがわかる。

【００４９】要素名間距離抽出部６２では、要素名木構
造記憶部６１が記憶している要素名の木構造を用いて、
要素名間の距離を求める。例えば、要素名間の距離は、
１個目の構成要素名から、木構造をたどって２個目の構
成要素名に到達するまでの距離であり、１回上位概念に
移ると１、同様に下位概念に移ると１と考える。したが
って、図６から、要素名「三日月」と「満月」間の距離
は、２となる。

【００５０】類似度合算出部６３では、要素名間距離抽
出部６２で求めた要素名間の距離から、要素名間の類似
度合を算出する。ここでは、あらかじめ要素間の距離か
ら類似度合を算出する関数を用意しておき、この関数に
したがって、類似度合を求める。要素間の距離が大きい
ほど要素名間の類似度合は小さいと考えられるので、類
似度合をｙ，要素間距離をｘとすると、例えば、（数１
３）のような関数を用いて類似度合を求める。要素名間
距離抽出部６２で要素名間の距離が、２と求められてい
れば、類似度合は０.５となる。

【００５１】

【数１３】

【００５２】類似構成要素間一致度算出部６４では、類
似度合算出部６３が求めた、要素名が一致しない要素名
の間の類似度合と画像特徴から求めた一致度を用いて、
第１の実施例の図１の１７と同様の方法で、類似構成要
素間の一致度を算出する。

【００５３】画像間一致度算出部１８の動作は、第１の
実施例と同様であり、照合画像と被照合画像間の一致度
を算出する。

【００５４】以上のようにして、画像間の一致度を求め
ることができる。以上のように本実施例では、２枚の画
像間で構成要素名が一致する構成要素ごとに構成要素の
画像特徴を用いて一致度を求める。このとき、構成要素
名が一致しない構成要素が存在しても、要素名の階層関
係より得られた要素名間の距離から、構成要素の類似度
合を求め、その度合に応じた一致度を求めることができ
る。このため、言葉による構成要素名が異なる場合で
も、構成要素の画像特徴を用いて画像間の一致度を求め
ることができる。

【００５５】次に本発明の第３の実施例の画像照合装置
について説明する。図８は第３の実施例の画像照合装置
の構成を示すブロック図である。図１と同一のものにつ
いては同一番号を付け、説明は省略する。図８におい
て、８１は構成要素名を比較し要素名が一致する構成要
素を抽出する対応構成要素抽出部、８２は構成要素の一
致度を画像特徴を用いて求める画像特徴一致度算出部、
８３は構成要素の一致度をその他の構成要素との相対位
置関係を用いて求める相対関係一致度算出部、８４は対
応する構成要素間の一致度を算出する対応構成要素間一
致度算出部、８５は画像間の一致度を算出する画像間一
致度算出部である。

【００５６】以上のように構成された第３の実施例の画
像照合装置の動作について説明する。照合画像データ入
力部１１に照合する画像データを、被照合画像データ入
力部１２には照合される画像データを入力する過程は、
本発明の第１の実施例と同様である。ここで、説明のた
め、図９(a)に示したような構成要素名E1,E2,E3 が含ま
れる画像が照合画像として、図９(b)に示したような構
成要素名F1,F2,F3 の要素が含まれる画像が被照合画像
として入力されたとする。

【００５７】対応構成要素抽出部８１では、照合画像デ
ータ入力部１１から入力された照合画像のデータと被照
合画像データ入力部１２から入力された被照合画像のデ
ータの構成要素名を比較し、構成要素名が一致する構成
要素を抽出する。ここでは、照合画像の構成要素名E1,E
2,E3と被照合画像の構成要素名F1,F2,F3が比較され、E1
とF1、E2とF2、E3とF3の構成要素名が一致したとする。
このような場合の画像間一致度の求め方を図１０に示
す。

【００５８】ここで、説明のためにまず対応構成要素E1
−F1間の一致度を求めることを考える。対応構成要素間
の一致度は、対応構成要素間の画像特徴から求めた一致
度と、その他の構成要素に対する相対位置関係から求め
た一致度を結合することにより算出する。

【００５９】まず、画像特徴一致度算出部８２におい
て、構成要素E1, F1の画像特徴を用いた構成要素E1−F1
間の一致度が、第１の実施例の対応構成要素間一致度算
出部１４と同様の方法で求められる。これを１０１に示
す。

【００６０】次に、相対関係一致度算出部８３におい
て、一致度を求める構成要素と、それ以外のすべての要
素との相対位置関係を用いた構成要素E1−F1間の一致度
が求められる。照合画像中の要素E1とその他の要素の組
み合わせは、９１に示した(E1,E2)、９２に示した(E1,E
3)である。被照合画像でこれに対応するのは、９３に示
した(F1,F2)、９４に示した(F1,F3)である。各組み合わ
せの相対位置関係は、一致度を求める要素からみた、他
の要素までの距離とその方向で表される。ここでは、位
置関係９１は、E1からみたE2までの距離Ｄ_Eと方向Ｒ
_Eで、また位置関係９３は、F1からみたF2までの距離Ｄ_F
と方向Ｒ_Fで表される。１０３において、位置関係９１
と位置関係９３の一致度を求める。まず、位置関係９１
と位置関係９３の距離の差（Ｄ_E−Ｄ_F）と方向の差（Ｒ
_E−Ｒ_F）に基づいて定められた図３と同様の一致度のメ
ンバーシップ関数から、距離と方向の一致度を求める。
そして、それらを第１の実施例の対応構成要素間一致度
算出部１４と同様の方法で結合すると、位置関係９１と
位置関係９３の一致度が求められる。同様にして、位置
関係９２と位置関係９４の一致度が１０４のように求め
られる。次に、１０２に示したように、１０３、１０４
で求められた相対位置関係の一致度が第１の実施例の対
応構成要素間一致度算出部１４と同様の方法で結合さ
れ、要素E1-F1間の相対関係を用いた一致度が求められ
る。

【００６１】次に対応構成要素間一致度算出部８４で、
画像特徴一致度算出部８２で求められた要素E1−F1間の
画像特徴における一致度と、相対関係一致度算出部８３
で求められた相対関係における一致度が第１の実施例の
対応構成要素間一致度算出部１４と同様の方法で結合さ
れ、対応構成要素E1−F1間の一致度が求められる。１０
５は要素E1-F1間の一致度が求められる過程が示されて
いる。

【００６２】要素E2-F2間、要素E3-F3間も同様に、画像
特徴一致度算出部８２で画像特徴の一致度を求め、相対
関係一致度算出部８３で相対関係の一致度を求める。こ
れらが対応構成要素間一致度算出部８４において結合さ
れ、要素E2-F2間、要素E3-F3間の一致度が求められる。

【００６３】画像間一致度算出部８５では、対応構成要
素間一致度算出部８４で求められた対応構成要素間の一
致度が第１の実施例の画像間一致度算出部１８と同様の
方法で結合され、画像間の一致度が求められる。図１０
に示したように、要素E1−F1間、要素E2-F2間、要素E3-
F3間の一致度が結合されて画像間一致度が求められる。

【００６４】以上のように本実施例では、ユーザが構成
要素間の関係の記述を行わなくても、自動的に構成要素
間の位置関係を抽出し、構成要素の画像特徴と共に画像
間の照合に用いるため、画像特徴と共に構成要素間の位
置関係も考慮した画像間の照合が行える。

【００６５】次に本発明の第４の実施例の画像検索装置
について説明する。図１１は第４の実施例の画像検索装
置の構成を示すブロック図である。図１１において、１
１０は画像データベースとして蓄積する画像を取り込む
画像入力部、１１１は入力された画像の構成要素を指定
する構成要素指定部、１１２は構成要素指定部１１１で
指定された構成要素の領域から画像特徴量を抽出する画
像特徴抽出部、１１３は画像特徴抽出部１１２が抽出し
た画像特徴を記憶する画像特徴記憶部、１１４は画像入
力部１１０から入力された蓄積画像を記憶する画像記憶
部、１１５はユーザが検索を要求している画像を入力す
る検索要求画像入力部、１１６は入力された検索要求画
像の構成要素を指定する構成要素指定部、１１７は構成
要素指定部１１６で指定された構成要素の領域から画像
特徴量を抽出する画像特徴抽出部、１１８は検索要求画
像入力部１１５から入力された検索要求画像の画像特徴
と画像特徴記憶部１１３が記憶している蓄積画像の画像
特徴を比較して画像の一致度を求める画像照合装置であ
り、上記第１、第２又は第３の実施例の画像照合装置を
用いる。１１９は画像照合装置１１８が求めた画像の一
致度から候補画像を求め画像記憶部１１４より取り出し
出力する画像出力部である。

【００６６】以上のように構成された第４の実施例の画
像検索装置の動作について説明する。

【００６７】画像蓄積時には、画像データベースとして
蓄積する画像を画像入力部１１０が取り込み、画像記憶
部１１４がその画像を記憶する。構成要素指定部１１１
において、データベース作成者等が入力された画像の構
成要素の領域を指定すると共に、その構成要素名を入力
する。構成要素指定部１１１で指定された構成要素の領
域から、画像特徴抽出部１１２が画像特徴を抽出し、抽
出された画像特徴は画像特徴記憶部１１３で記憶され
る。

【００６８】画像検索時は、検索要求画像入力部１１５
がユーザの示した検索を要求する画像を取り込む。検索
要求画像は、検索したい画像のイメージをユーザが手書
きで表したものや、類似した画像、もしくは構成要素の
領域を示した画像で与えられる。構成要素指定部１１６
において、ユーザ等が入力された画像の構成要素の領域
を指定すると共に、その構成要素名を入力し、画像特徴
抽出部１１７が指定された構成要素の領域から画像特徴
を抽出する。画像照合装置１１８では、第１もしくは第
２もしくは第３の実施例と同様に、画像蓄積時に抽出さ
れ画像特徴記憶部１１３に記憶されている蓄積画像の画
像特徴と検索要求画像の画像特徴の比較が行われ、画像
の一致度が求められる。そして、画像出力部１１９が求
められた一致度の中で最も一致度が高いもの、あるいは
一致度の高いものから複数個を候補画像として出力す
る。

【００６９】以上のように本実施例の指定された画像中
の構成要素の領域から画像特徴を抽出し、構成要素の画
像特徴を用いるため、画像中の構成要素の大きさや色と
いった画像特徴を指定した画像検索を行うことができ
る。また、第１の実施例、第２の実施例の画像照合装置
を用いると、構成要素名が一致しない場合でも、言葉の
表現が違うだけの要素やイメージが同じ要素について一
致度を求めるので、ユーザの検索要求に近い画像を検索
することができる。また、第３の実施例の画像照合装置
を用いると、ユーザが構成要素間の位置関係の記述を行
わなくても、検索要求画像から構成要素間の位置関係を
自動的に抽出し、画像特徴と共に検索に用いるので、ユ
ーザの検索要求画像に近い検索結果を得ることができ
る。

【００７０】

【発明の効果】以上のように本発明の画像照合装置で
は、２枚の画像間で構成要素名が一致する構成要素ごと
に構成要素の画像特徴を用いて一致度を求める際に、構
成要素名が一致しなくても、言葉の表現が違うだけの要
素やイメージが同じ要素に対して一致度を求めるため、
２枚の画像間の一致度を求めることができる。

【００７１】また、本発明の画像照合装置は、ユーザが
構成要素間の位置関係の記述を行わなくても、検索要求
画像から構成要素間の位置関係を自動的に抽出し、画像
特徴と共に画像間の照合に用いるため、構成要素の位置
関係を考慮した一致度を求めることができる。

【００７２】また、本発明の画像検索装置は、指定され
た画像中の構成要素の領域から画像特徴を抽出し、構成
要素の画像特徴を用いるため、画像中の構成要素の大き
さや色といった画像特徴を指定した画像検索が行える。
このとき、構成要素名が一致しない場合でも、言葉の表
現が違うだけの要素やイメージが同じ要素について一致
度を求めるので、ユーザの検索要求に近い画像を検索す
ることができる。また、ユーザが構成要素間の位置関係
の記述を行わなくても、検索要求画像から構成要素間の
位置関係を自動的に抽出し、画像特徴と共に検索に用い
るので、ユーザの検索要求画像に近い検索結果を得るこ
とができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の画像照合装置の構成を
示すブロック図

【図２】同実施例における入力画像の例を示す図

【図３】同実施例における一致度を示すメンバーシップ
関数の例を示す図

【図４】同実施例における構成要素間の類似度合を定め
た辞書の例を示す図

【図５】同実施例における画像照合装置の画像間の一致
度の求め方を示した図

【図６】本発明の第２の実施例の画像照合装置の構成を
示すブロック図

【図７】同実施例における構成要素名の階層関係の例を
示す図

【図８】本発明の第３の実施例の画像照合装置の構成を
示すブロック図

【図９】同実施例における入力画像の例を示した図

【図１０】同実施例における画像照合装置の画像間の一
致度の求め方を示した図

【図１１】本発明の第４の実施例の画像検索装置の構成
を示すブロック図

【図１２】従来の画像検索手法を説明するための画像を
示す図

【図１３】従来の画像検索手法で用いる画像の内容を表
現する意味ネットワークを示した図

【図１４】従来の画像検索装置で用いられるファジィシ
ソーラスの例を示す図

【図１５】従来の画像検索手法の課題を説明するための
意味ネットワークの図

【符号の説明】

１１照合画像データ入力部１２被照合画像データ入力部１３構成要素名比較部１４対応構成要素間一致度算出部１５類似語辞書記憶部１６類似度合抽出部１７類似構成要素間一致度算出部１８，８５画像間一致度算出部６１要素名木構造記憶部６２要素名間距離抽出部６３類似度合算出部６４類似構成要素間一致度算出部８１対応構成要素抽出部８２画像特徴一致度算出部８３相対関係一致度算出部８４対応構成要素間一致度算出部１１０画像入力部１１１，１１６構成要素指定部１１２，１１７画像特徴抽出部１１３画像特徴記憶部１１４画像記憶部１１８画像照合装置１１９画像出力部

Claims

【特許請求の範囲】

【請求項１】照合する画像を入力する照合画像入力部
と、照合される画像を入力する被照合画像入力部と、前
記照合画像入力部で入力した照合画像と前記被照合画像
入力部で入力した被照合画像の構成要素名を比較する構
成要素名比較部と、構成要素名が一致する構成要素ごと
に画像特徴の一致度を算出する対応構成要素間一致度算
出部と、構成要素名間の類似度合の知識を記憶する類似
語辞書記憶部と、前記類似語辞書記憶部が記憶している
知識を用いて構成要素名が一致しない構成要素間の類似
度合を抽出する類似度合抽出部、前記類似度合抽出部で
抽出された類似度合を用いて構成要素名が一致しない構
成要素間の画像特徴の一致度を算出する類似構成要素間
一致度算出部、前記対応要素間一致度算出部が算出した
一致度と前記類似構成要素間一致度算出部が算出した一
致度から画像間の一致度を求める画像間一致度算出部と
を備えたことを特徴とする画像特徴照合装置。
【請求項２】照合する画像を入力する照合画像入力部
と、照合される画像を入力する被照合画像入力部と、前
記照合画像入力部で入力した照合画像と前記被照合画像
入力部で入力した被照合画像の構成要素名を比較する構
成要素名比較部と、構成要素名が一致する構成要素ごと
に画像特徴の一致度を算出する対応構成要素間一致度算
出部と、要素名の階層関係を記述する木構造を記憶する
要素名木構造記憶部と、前記要素名木構造記憶部が記憶
している木構造を用いて構成要素名が一致しない構成要
素名間の距離を求める要素名間距離抽出部と、前記要素
名間距離抽出部が求めた要素名間の距離を用いて要素名
間の類似度合を算出する類似度合算出部と、前記類似度
合算出部が求めた類似度合を用いて類似する前記類似度
合抽出部で抽出された類似度合を用いて構成要素名が一
致しない構成要素間の画像特徴の一致度を算出する類似
構成要素間一致度算出部、前記対応要素間一致度算出部
が算出した一致度と前記類似構成要素間一致度算出部が
算出した一致度から画像間の一致度を求める画像間一致
度算出部とを備えたことを特徴とする画像照合装置。
【請求項３】照合する画像を入力する照合画像入力部
と、照合される画像を入力する被照合画像入力部と、前
記照合画像入力部で入力した照合画像と前記被照合画像
入力部で入力した被照合画像の構成要素名が一致する構
成要素を抽出する対応構成要素抽出部と、構成要素の一
致度を構成要素の画像特徴を用いて求める画像特徴一致
度算出部と、構成要素の一致度を他の構成要素との位置
関係を用いて求める相対関係一致度算出部と、前記画像
特徴一致度算出部が算出した一致度と前記相対関係一致
度算出部が算出した一致度から対応する構成要素間の一
致度を算出する対応構成要素間一致度算出部と、前記対
応構成要素間一致度算出部が算出した一致度から画像間
の一致度を求める画像間一致度算出部とを備えたことを
特徴とする画像照合装置。
【請求項４】検索要求画像を入力する検索要求画像入力
部と、画像を記憶する画像記憶部と、前記検索画像入力
部に入力した画像と前記画像記憶部に記憶した画像の構
成要素を指定する構成要素指定部と、前記構成要素指定
部で指定された構成要素の画像特徴を抽出する画像特徴
抽出部と、前記検索要求画像入力部に入力した検索要求
画像と前記画像記憶部に記憶されている画像の照合を行
う請求項１〜３のいずれかに記載の画像照合装置と、前
記画像照合装置の照合結果から前記画像記憶部から取り
出す画像出力部とを備えたことを特徴とする画像検索装
置。