JPH056437A - 画像特徴抽出装置、画像特徴照合装置および画像検索装置 - Google Patents

Abstract

(57)【要約】 【目的】画像に対して人間の感覚に合う画像特徴の抽出
・照合を行い、人間の検索要求により近い画像検索を行
う。 【構成】人間が理解しやすい対象物の特徴を求めるため
のルールを設定するルール記憶部１５と、メンバーシッ
プ関数を設定するメンバーシップ関数記憶部１６と、画
像抽出部１３によって求めておいた画像特徴から、これ
らルール及びメンバーシップ関数を用いてファジィ推論
を行い、人間が理解しやすい、対象物の特徴データを求
める対象物特徴量演算部１４とを備え、人間の感覚に合
い、理解しやすい画像特徴の抽出を得る。また、それを
用いて画像検索を行う。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像データベースから
利用者の希望を満たす画像を検索する場合等に用いられ
る画像特徴抽出装置、画像特徴照合装置及び画像検索装
置に関する。

【０００２】

【従来の技術】従来の画像検索技術としては、例えば
「電子情報通信学会誌」Vol.71,No.9,p911-914において
論じられているように、ユーザが画像の内容を想起し、
想起したユーザイメージを表現・記述したものにより検
索を行っている。従来の画像検索装置の例を示すブロッ
ク図を図９に示す。図において、９１は画像データベー
スとして蓄積する画像を取り込む画像入力部、９２は画
像特徴抽出のための前処理を行う画像前処理部、９３は
画像の特徴を抽出する画像特徴抽出部、９４は画像特徴
抽出部９３が抽出した画像特徴を記憶する画像特徴記憶
部、９５は画像入力部９１が入力した画像データを記憶
する画像データ記憶部、９６はユーザの検索要求を取り
込む検索内容入力部、９７は検索内容入力部９６が取り
込んだ検索内容と画像特徴記憶部９４が記憶している画
像特徴を比較して候補画像を求める検索処理部、９８は
検索処理部９７が求めた候補画像を画像データ記憶部９
５より取り出し出力する画像出力部である。

【０００３】以上のように構成された従来の画像検索装
置の動作を以下に説明する。

【０００４】画像を蓄積する時は、所定の画像データを
画像入力部９１から入力する。入力画像は、画像前処理
部９２に与えられ画像特徴抽出のためにノイズ除去等の
前処理が行われる。また同時に、入力画像は画像データ
記憶部９５で記憶される。前処理が行われた画像は画像
特徴抽出部９３に入力され、その画像特徴が抽出され
る。その画像特徴とは、検索のために有効であると考え
られる画像の濃度分布、周波数分布、局所相関等や、対
象物の周囲長、色等の物理的特徴である。画像ｋに対し
て、画像特徴x₁,x₂,…,x_i,…,x_nの特徴量がa_k1,a_k2,…,
a_ki,…,a_knと求められたとき、画像ｋは、（数１）で示
すベクトルg_kで表される。

【０００５】

【数１】

【０００６】これらの画像特徴量a_k1,a_k2,…,a_ki,…,a
_knは、画像特徴記憶部９４で（表１）に示すようなテー
ブルで記憶される。あるいは、（表２）に示すように、
各画像特徴ごとに類似度によりいくつかのクラスタに分
類したテーブルにより記憶する。

【０００７】

【表１】

【０００８】

【表２】

【０００９】一方、画像検索時は、ユーザは検索画像の
手がかり情報を検索内容入力部９６で入力する。検索画
像の情報は言語や画像で与えられる。検索処理部９７
で、与えられた言語や画像から検索したい画像の上述の
ような特徴が求められ、その特徴と画像特徴記憶部９４
に記憶されている特徴を比較することにより候補画像が
求められる。検索方法としては、検索したい画像の特徴
量と画像特徴記憶部９４に記憶されている各特徴量の距
離を計算し、距離の小さい画像を検索結果とするものが
ある。例えば、検索したい画像の画像特徴x₁,x₂,…,x_n
の値がq₁,q₂,…,q_nの時、検索したい画像とある画像ｋ
の特徴の距離d_kは、

【００１０】

【数２】

【００１１】で与えられる。また、画像特徴量により、
各画像をいくつかのクラスタに分類しておいた場合に
は、入力された特徴と近い特徴を持つクラスタに含まれ
る画像を検索結果とする方法がある。画像出力部９８で
は、検索処理部９７で求められた検索結果の画像を画像
データ記憶部９５より取り出し出力する。

【００１２】

【発明が解決しようとする課題】ところで、上記のよう
な画像検索装置では、画像から取得した物理的特徴を用
いて検索を行っているが、しかしながら、これらの特徴
量は人間の感覚に対応した特徴量であるとは言えない。
このため、この特徴量を用いて画像検索を行うときに、
人間の感覚にあった検索結果が得られないことがあると
いう課題がある。

【００１３】また、画像をあらかじめいくつかのクラス
タに分類しておく方法では、各画像はあるクラスタに属
する、属さないの２通りしかなく、複数個のクラスタに
少しづつ属するということはなかった。このため境界部
に存在する画像データは、必ずいづれかのクラスタにの
みに属するものとして記憶され、画像検索時に検索者の
意図する検索結果が得られないという課題があった。

【００１４】本発明は、かかる従来の画像検索装置の課
題に鑑み、人間の感覚にあう検索結果が得られるような
画像の特徴を抽出する画像特徴抽出装置及び画像の特徴
を照合する画像特徴照合装置を提供することを目的とす
る。また、この画像特徴抽出装置で得られた画像特徴を
用いて画像検索時に人間の感覚にあった画像を取り出せ
る画像検索装置を提供することを目的とする。

【００１５】

【課題を解決するための手段】第１の発明は、複数個の
ファジィルールを記憶しているルール記憶部と、ファジ
ィルールで用いるメンバーシップ関数を記憶しているメ
ンバーシップ関数記憶部と、画像を取り込む画像入力部
と、画像入力部が取り込んだ画像の前処理を行う画像前
処理部と、画像前処理部が処理した画像の特徴を抽出す
る画像特徴抽出部と、ルール記憶部が記憶しているルー
ルとメンバーシップ関数記憶部が記憶しているメンバー
シップ関数を用い画像特徴抽出部が抽出した特徴を入力
として演算を行い対象物の特徴を求める対象物特徴量演
算部とを備えた画像特徴抽出装置である。

【００１６】第２の発明は、画像を取り込む画像入力部
と、画像入力部が取り込んだ画像の前処理を行う画像前
処理部と、画像前処理部が処理した画像の特徴を抽出す
る画像特徴抽出部と、画像特徴抽出部が抽出した画像特
徴を記憶する画像特徴記憶部と、画像のクラスタリング
条件を記憶するクラスタリング条件記憶部と、画像特徴
記憶部に記憶された特徴を入力としクラスタリング条件
記憶部が記憶しているクラスタリング条件で画像に対し
て複数のクラスタに属することを許す分類を行うファジ
ィクラスタリング実行部と、ファジィクラスタリング実
行部が求めた画像分類の結果を記憶する画像分類結果記
憶部とを備えた画像特徴抽出装置である。

【００１７】第３の発明は、複数個のファジィルールを
記憶しているルール記憶部と、ファジィルールで用いる
メンバーシップ関数を記憶しているメンバーシップ関数
記憶部と、画像を取り込む画像入力部と、画像入力部が
取り込んだ画像の前処理を行う画像前処理部と、画像前
処理部が処理した画像の特徴を抽出する画像特徴抽出部
と、ルール記憶部が記憶しているルールとメンバーシッ
プ関数記憶部が記憶しているメンバーシップ関数を用い
画像特徴抽出部が抽出した特徴を入力として演算を行い
対象物の特徴を求める対象物特徴量演算部と、蓄積画像
の対象物特徴を記憶している対象物特徴量記憶部と、対
象物特徴量記憶部に記憶されている蓄積画像の特徴と対
象物特徴量演算部が抽出した入力画像の特徴の照合を行
う照合部とを備えた画像特徴照合装置である。

【００１８】第４の発明は、画像を取り込む画像入力部
と、画像入力部が取り込んだ画像の前処理を行う画像前
処理部と、画像前処理部が処理した画像の特徴を抽出す
る画像特徴抽出部と、蓄積画像のクラスタへの分類結果
を記憶する画像分類結果記憶部と、分類結果記憶部に記
憶されている分類に用いる関数により入力画像のクラス
タへの帰属度を求めるクラスタ帰属度演算部と、クラス
タ帰属度演算部が求めた入力画像のクラスタへの帰属度
と画像分類結果記憶部が記憶している蓄積画像の分類結
果の照合を行う照合部とを備えた画像特徴照合装置であ
る。

【００１９】第５の発明は、以上の手段からなる画像特
徴照合装置と、画像データを記憶する画像データ記憶部
と、それらを用いて画像を出力する画像出力部とを備え
た画像検索装置である。

【００２０】

【作用】本発明では、対象物特徴量演算部によって、ル
ール記憶部が記憶しているルールとメンバーシップ関数
記憶部が記憶しているメンバーシップ関数を用い画像特
徴抽出部が抽出した特徴を入力として演算を行い対象物
の特徴を求めるので、ファジィルールを用いて、画像か
ら取得した物理的特徴量から、人間の感覚に対応した対
象物の特徴を求めることができ、人間の感覚にあった画
像特徴量を得ることができる。

【００２１】また、本発明では、ファジィクラスタリン
グ実行部によって、画像特徴記憶部に記憶された特徴を
入力としクラスタリング条件記憶部が記憶しているクラ
スタリング条件で画像に対して複数のクラスタに属する
ことを許す分類を行うので、画像特徴を用い画像を複数
のクラスタに属することを許して分類することができ、
人間の感覚により近い画像の分類を行うことができる。

【００２２】また、本発明では、照合部によって、対象
物特徴量記憶部に記憶されている蓄積画像の特徴と対象
物特徴量演算部が抽出した入力画像の特徴の照合を行う
ので、画像の物理的特徴から求めた対象物の特徴を用い
て、入力画像と蓄積画像の照合を行うことができ、人間
の感覚により近い照合結果を得ることができる。

【００２３】また、本発明では、照合部によって、クラ
スタ帰属度演算部が求めた入力画像のクラスタへの帰属
度と画像分類結果記憶部が記憶している蓄積画像の分類
結果の照合を行うので、複数のクラスタに属することを
許して分類した蓄積画像とクラスタに対する入力画像の
帰属度を用いて、入力画像と蓄積画像の照合を行うこと
ができ、人間の感覚により近い照合結果を得ることがで
きる。

【００２４】また、本発明では、画像に対し人間の感覚
に合う画像特徴の抽出・照合を行うことにより、人間の
検索要求により近い画像検索が行える。

【００２５】

【実施例】以下、本発明の実施例について図面を参照し
て説明する。

【００２６】図１は本発明の第１の発明の一実施例であ
る画像特徴抽出装置の構成を示すブロック図である。図
１において、１１は画像データベースとして蓄積する画
像を取り込む画像入力部、１２は画像の特徴抽出のため
の前処理を行う画像前処理部、１３は画像の特徴を抽出
する画像特徴抽出部、１４はルール記憶部１５が記憶し
ているルールとメンバーシップ関数記憶部１６が記憶し
ているメンバーシップ関数を用いて画像特徴から対象物
の特徴を演算する対象物特徴量演算部、１５は複数個の
ファジィルールを記憶するルール記憶部、１６は複数個
のメンバーシップ関数を記憶するメンバーシップ関数記
憶部である。

【００２７】以上のように構成された本実施例の画像特
徴抽出装置は図２に示すフローチャートにしたがって動
作する。以下このフローチャートにしたがって、動作の
説明を行う。

【００２８】ステップ１では、画像番号を示す変数ｉに
１を設定する。

【００２９】ステップ２では、ユーザから画像データが
与えられると、画像入力部１１が画像番号ｉの画像デー
タを取り込む。

【００３０】ステップ３では、画像前処理部１２が与え
られた画像に対し特徴抽出のための前処理を行う。入力
された画像には様々な種類の雑音や歪が含まれていると
考えられる。このような雑音や歪を取り除き、画像特徴
の抽出が行えるようにするのが前処理である。必要に応
じて、コントラストの強調のための濃度変換やメディア
ンフィルタによる平滑化等が行われる。

【００３１】ステップ４では、画像特徴抽出部１３が前
処理された画像の持つ特徴を抽出する。ここで抽出する
特徴とは、例えばエッジ、領域、テクスチャ、周波数分
布や対象物の重心、面積、縦横の長さ、周囲長などの物
理的特徴x₁,x₂,…,x_i,…,x_nである。

【００３２】ステップ５では、ルール記憶部１５が記憶
しているルールとメンバーシップ関数記憶部１６が記憶
しているメンバーシップ関数を用い、画像特徴抽出部１
３が抽出した画像特徴を入力として、対象物特徴量演算
部１４が対象物の特徴を求める。すなわち、そのような
物理的特徴x₁,x₂,…,x_i,…,x_nは人間に理解しにくいの
で、理解しやすい、対象物の特徴y₁,y₂,…,y_j,…,y_mに
変換する。ここに、対象物の特徴とは、対象物の形状、
大きさ、色あい、丸みなどの人間の感覚を表したもので
ある。例えば、画像特徴x₁,x₂,x₃から、対象物の特徴y₁
を求めるとき、ルール記憶部１５には以下のようなルー
ルが記憶されている。

【００３３】 R₁: If x₁=A₁₁,x₂=A₁₂,x₃=A₁₂ then y₁=B₁ R₂: If x₁=A₂₁,x₂=A₂₂,x₃=A₂₂ then y₁=B₂ ・・・・・・・・・・・ R_n: If x₁=A_n1,x₂=A_n2,x₃=A_n2 then y₁=B_n ここで、A₁₁,A₂₁,…,A_n1,A₁₂,A₂₂,…,A_n2,A₁₃,A₂₃,…,A
_n3,B₁,B₂,…,B_nはメンバーシップ関数を表すラベルであ
る。このメンバーシップ関数は、例えば（表３）に示さ
れているような数値テーブルで、メンバーシップ関数記
憶部１６に記憶されている。

【００３４】

【表３】

【００３５】（表３）の横の項目は変数x₁の台集合の要
素を示し、縦の項目はメンバーシップ関数のラベルを示
している。表中の値はメンバーシップ関数のグレード値
で[0,1]の値をとる実数値である。同様にx₂,x₃,y₁に関
するメンバーシップ関数も記憶されている。また同様
に、画像特徴x₁,x₂,x₃,…,x_nから対象物の特徴y₂,…,
y_j,…,y_mを求めるルールがルール記憶部１５に、ルール
で用いるメンバーシップ関数がメンバーシップ関数記憶
部１６に記憶されている。これらのルールとメンバーシ
ップ関数は、専門家の持つ対象画像についての知識に基
づいて作成され、人間が理解しにくい物理的特徴量から
理解しやすい対象物の特徴量を求めるものである。この
とき、対象物特徴量演算部１４では、ルール記憶部１５
に記憶されているルールに基づいて、画像特徴抽出部１
３が抽出した画像特徴x₁,x₂,x₃,…,x_nに対する画像ｋの
特徴量a_k1,a_k2,…,a_ki,…,a_knを入力として、対象物の
特徴y₁,y₂,…,y_j,…,y_mに対応する画像ｋの対象物特徴
量b_k1,b_k2,…,b_kj,…,b_kmをファジィ推論を行うことに
より求める。ここで、画像ｋは、（数３）で示すベクト
ルg´_kで表される。

【００３６】

【数３】

【００３７】ここで、b_k1,b_k2,…,b_kj,…,b_kmは、推論
結果のメンバーシップ関数の形そのままでもよいし、メ
ンバーシップ関数の重心をとるなどした確定値でもよ
い。

【００３８】ステップ６では、ｉを１インクリメントし
て、ステップ２へもどる。

【００３９】以上のように、本実施例によれば、ルール
記憶部１５が記憶しているルールとメンバーシップ関数
記憶部１６が記憶しているメンバーシップ関数を用い
て、画像特徴から対象物の特徴を演算する対象物特徴量
演算部１４を設け、ルール記憶部１５とメンバーシップ
関数記憶部１６に人間が理解しやすい対象物の特徴を求
めるためのルールとメンバーシップ関数を設定すること
により、人間の感覚に合い、また理解しやすい画像の特
徴量を求めることができる。

【００４０】次に本発明の第２の発明の実施例について
説明する。

【００４１】図３は本発明の第２の発明の一実施例であ
る画像特徴抽出装置の構成を示すブロック図である。図
において、３１は画像データベースとして蓄積する画像
を取り込む画像入力部、３２は画像の特徴抽出のための
前処理を行う画像前処理部、３３は画像の特徴を抽出す
る画像特徴抽出部、３４は画像特徴抽出部３３が抽出し
た画像特徴を記憶する画像特徴記憶部、３５はクラスタ
リングの条件を記憶するクラスタリング条件記憶部、３
６はクラスタリング条件記憶部３５が記憶しているクラ
スタリング条件で画像特徴を用い画像に対して複数のク
ラスタに属することを許す分類を行うファジィクラスタ
リング実行部、３７はファジィクラスタリング実行部が
行った分類結果と各クラスタへの帰属度を表すメンバー
シップ関数を記憶する画像分類結果記憶部である。

【００４２】以上のように構成された本実施例の画像特
徴抽出装置は図４に示すフローチャートにしたがって動
作する。以下このフローチャートにしたがって、動作の
説明を行う。

【００４３】ステップ１では、画像番号を示す変数ｉに
１を設定する。

【００４４】ステップ２では、ユーザからデータを蓄積
しておく画像データが与えられると、画像入力部３１が
画像データを取り込む。

【００４５】ステップ３では、図２のステップ３と同様
に、画像前処理部３２が与えられた原画像の前処理を行
う。

【００４６】ステップ４では、図２のステップ４と同様
に、画像特徴抽出部３３が画像から画像特徴を抽出す
る。

【００４７】ステップ５では、画像特徴抽出部３３が画
像から抽出した画像特徴を画像特徴記憶部３４が記憶す
る。画像特徴記憶部３４では、画像番号ｉと画像特徴を
（表１）に示したようなテーブルで記憶する。

【００４８】ステップ６では、蓄積する画像データをす
べて取り込んだかどうか判定する。取り込むべき画像が
まだある場合には、ステップ７によりｉの値を１増加さ
せてステップ２に進む。

【００４９】このステップ２からステップ６までを蓄積
すべきすべての画像を取り込むまで繰り返す。すべての
画像の取り込みを終了すると、ステップ８に進む。

【００５０】ステップ８では、ファジィクラスタリング
実行部３６が画像特徴を用い、ファジィクラスタリング
手法により画像を分類する。例えばいま、ｐ個の分類対
象画像が与えられ、各画像はｎ個の特徴量x_i(i=1〜n)で
記述されているとする。また、クラスタリング条件記憶
部３５では、どの特徴量を用いて、いくつのクラスタに
分類するかというクラスタリングの条件が、（表４）に
示すようなテーブルで記憶されている。

【００５１】

【表４】

【００５２】例えば、分類１によるクラスタリングで
は、画像ｋに対する特徴x₁,x₂の特徴量をa_k1,a_k2で表す
と、画像ｋは、ベクトル

【００５３】

【数４】

【００５４】で表される。ファジィクラスタリング実行
部３６では、画像の集合

【００５５】

【数５】

【００５６】を３個のクラスタs₁₁,s₂₁,s₃₁に分類す
る。ここで、ファジィクラスタリング実行部３６は、画
像ｋがクラスタs₁₁,s₂₁,s₃₁に属するか、属さないかだ
けを認めるのではなく、いくつかのクラスタに[0,1]の
度合で帰属することを認める。集合Ｇのファジィ部分集
合s_efへの分割は、メンバーシップ関数μ_efk

【００５７】

【数６】

【００５８】により記述できる。μ_efkは閉区間[0,1]の
値をとり、画像ｋのクラスタs_efへの帰属度を表す。同
様にして、クラスタリング条件記憶部３５に記憶されて
いる画像特徴とクラスタ分割数で複数のクラスタに属す
ることを認めて画像の分類を行う。ファジィクラスタリ
ング実行部３６が行った画像分類の結果を画像分類結果
記憶部３７が記憶する。画像分類結果記憶部３７では、
（表５）に示すようなテーブルで特徴量による画像の分
類結果とメンバーシップ関数μ_efkを記憶する。

【００５９】

【表５】

【００６０】（表５）は、画像特徴(x₁,x₂)によりs₁₁,s
₂₁,s₃₁の３個のクラスタに分類を行った結果、画像１
は、クラスタs₁₁に0.6、s₂₁に0.3、s₃₁に0.1の帰属度で
属していることを表し、同様に画像特徴(x₃,x₄,x₅)によ
りs₁₂,s₂₂,s₃₂の３個のクラスタに分類を行った結果
は、クラスタs₁₂に0.3、s₂₂に0.7、s₃₂に0.0の帰属度で
属していることを表している。

【００６１】以上のように、本実施例によれば、ファジ
ィクラスタリング実行部３６を設け、クラスタリング条
件記憶部３５に設定した特徴量で複数個のクラスタに属
することを認めて、設定したクラスタ数に画像を分類す
るので、人間の感覚に合った画像の分類が行える。

【００６２】次に本発明の第３の発明の実施例について
説明する。

【００６３】図５は本発明の第３の発明の一実施例であ
る画像特徴照合装置の構成を示すブロック図である。図
５において、５１はユーザが照合を要求する画像を入力
する画像入力部、５２は画像入力部５１で入力された画
像に対し前処理を行う画像前処理部、５３は入力画像の
特徴を抽出する画像特徴抽出部、５４はルール記憶部５
５が記憶しているルールとメンバーシップ関数記憶部５
６が記憶しているメンバーシップ関数を用いて画像の特
徴から対象物特徴記憶部５８が記憶している蓄積画像の
特徴量と同様の対象物の特徴を演算する画像対象物特徴
量演算部、５５は複数個のファジィルールを記憶するル
ール記憶部、５６は複数個のメンバーシップ関数を記憶
するルール記憶部、５７は蓄積されている画像の対象物
特徴を記憶している対象物特徴量記憶部、５８は対象物
特徴量記憶部５７に記憶されている蓄積画像の対象物特
徴と画像特徴抽出部５３が求めた入力画像の対象物特徴
を比較して蓄積画像と入力画像の照合度合を求める照合
部である。

【００６４】このように構成された本実施例の画像特徴
照合装置の動作を以下に説明する。

【００６５】画像入力部５１では、ユーザは照合を要求
する画像に関する情報を入力する。画像に関する情報
は、ユーザが画像のイメージを手書き等で表した例示画
や類似した画像で与えられる。画像前処理部５２では図
１の画像前処理部１２と同様に画像の前処理が行われ
る。画像特徴抽出部５３では図１の画像特徴抽出部１３
と同様に画像の持つ特徴が抽出される。対象物特徴量抽
出部５４では、この画像特徴から、ルール記憶部５５が
記憶しているルールとメンバーシップ関数記憶部５６が
記憶しているメンバーシップ関数を用いて、対象物特徴
量記憶部５７が記憶している蓄積画像の対象物特徴と同
様の特徴が求められる。ここで、ルール記憶部５５が記
憶しているルールとメンバーシップ関数記憶部５６が記
憶しているメンバーシップ関数は、図１のルール記憶部
１５が記憶しているルールやメンバーシップ関数記憶部
１６に記憶されているメンバーシップ関数と同様に専門
家の持つ対象画像についての知識によって作成され、画
像の物理的特徴から、人間の理解しやすい対象物の特徴
量を求めるものである。

【００６６】照合部５８では、人間の感覚に合っていな
い物理的特徴量で照合を行うのではなく、人間の感覚に
合った特徴量である対象物特徴量記憶部５７に記憶され
ている蓄積画像の対象物特徴と、対象物特徴量演算部５
４で求めた入力画像の対象物特徴を比較して蓄積画像と
入力画像の照合度合を求める。ここで、対象物の特徴
x₁,x₂,…,x_i,…,x_nに対応する画像ｋの対象物特徴量がa
_k1,a_k2,…,a_ki,…,a_kn、入力画像の対象物特徴量がq₁,q
₂,…,q_nであるとき、a_k1,a_k2,…,a_ki,…,a_kn,q₁,q₂,…,
q_nが確定値で与えれている場合には、（数２）に示した
ような特徴間の距離などが比較に用いられる。対象物特
徴量がメンバーシップ関数の形で与えれている場合に
は、メンバーシップ関数どうしの演算を行う。

【００６７】対象物特徴量がメンバーシップ関数である
時の照合方法を説明する。対象物特徴x₁,x₂,…,x_i,…,x
_nに対応する画像ｋの特徴量がa_k1,a_k2,…,a_ki,…,a_kn、
入力画像の対象物特徴量がq₁,q₂,…,q_nとしたとき、例
えば、a_k1,q₁のメンバーシップ関数がそれぞれ図６の
(a)、(b)で与えられたとする。このとき、a_k1とq₁の照
合度合は、a_k1とq₁のメンバーシップ関数どうしの演算
によって求められる。演算方法としては、max-min演算
がある。これは、図６(c)に示すように、a_k1とq₁のメン
バーシップ関数を重ね合わせて、斜線部分で示されたa
_k1とq₁の積集合の最大値v₁を、a_k1とq₁の照合度合とす
るものである。また他の演算方法として、メンバーシッ
プ関数a_k1,q₁の面積をそれぞれr_a,r_qとし、図６(c)の斜
線部分の面積をr_tとしたとき、a_k1とq₁の照合度合vは
（数７）で与えられる。

【００６８】

【数７】

【００６９】以上のように、本実施例によれば、物理的
特徴量で照合を行うのではなく、人間の感覚に合った特
徴量である対象物特徴量で、入力画像と蓄積画像の比較
を行う照合部５８を設けたことにより、人間の感覚によ
り近い照合結果を得ることができる。

【００７０】次に本発明の第４の発明について説明す
る。図７は本発明の第４の発明の実施例である画像特徴
量抽出装置の構成を示すブロック図である。図におい
て、７１はユーザが照合を要求する画像を入力する画像
入力部、７２は画像入力部７１で入力された画像に対し
前処理を行う画像前処理部、７３は入力画像の特徴を抽
出する画像特徴抽出部、７４は下記画像分類結果記憶部
７５に記憶されている各クラスタへの帰属度を表すメン
バーシップ関数を用いて入力画像の各クラスタへの帰属
度を求めるクラスタ帰属度演算部、７５は蓄積画像の画
像分類結果と各クラスタへの帰属度を表すメンバーシッ
プ関数を記憶している画像分類結果記憶部、７６はクラ
スタ帰属度演算部７４が求めた入力画像の各クラスタへ
の帰属度と画像分類結果記憶部７５が記憶している蓄積
画像の分類結果を比較して蓄積画像と入力画像の照合度
合を求める照合部である。

【００７１】このように構成された本実施例の画像特徴
照合装置の動作を以下に説明する。

【００７２】画像入力部７１では、ユーザは照合を要求
する画像に関する情報を入力する。画像に関する情報
は、ユーザが画像のイメージを手書き等で表した例示画
や類似した画像で与えられる。画像前処理部７２では図
１の画像前処理部１２と同様に画像の前処理が行われ
る。画像特徴抽出部７３では図１の画像特徴抽出部１３
と同様に画像の持つ特徴が抽出される。画像分類結果記
憶部７５に記憶されている蓄積画像はいくつかのクラス
タs_efに分類されているが、画像特徴抽出部７３で求め
られた特徴量から、入力画像のクラスタs_efへの帰属度
を求める。画像分類結果記憶部７５には、クラスタs_ef
への帰属度を表すメンバーシップ関数μ_sefが記憶され
ているので、入力画像の特徴量からクラスタs_efへの帰
属度を求めることができる。例えば、画像分類結果記憶
部７５に（表５）のように分類結果が記憶されていると
する。また、特徴x₁,x₂に対応する入力画像の特徴量がq
₁,q₂と求められたとき、クラスタs₁₁への入力画像の帰
属度は、μ_s11(q₁,q₂)で求められる。同様にしてすべて
のクラスタについての帰属度を求める。照合部７６で
は、画像結果分類結果記憶部７５に記憶されている蓄積
画像ｋの各クラスタs_efへの帰属度とクラスタ帰属度演
算部７４で求められた入力画像の各クラスタs_efへの帰
属度を比較して蓄積画像と入力画像の照合度合を求め
る。照合度合は、第３の発明の実施例で特徴間の距離を
用いたと同様に、帰属度間の距離を用いる。

【００７３】以上のように、本実施例によれば、複数個
のクラスタに属することを認めて画像を分類した結果と
入力画像のクラスタへの帰属度を比較する照合部５８を
設けたことにより、人間の感覚により近い照合結果を得
ることができる。

【００７４】次に本発明の第５の発明の実施例について
説明する。図８は本発明の第５の発明の実施例である画
像検索装置の構成を示すブロック図である。図におい
て、８０１は、画像データベースとして蓄積する画像を
取り込む画像入力部、８０２は画像の特徴抽出のための
前処理を行う画像前処理部、８０３は画像の特徴を抽出
する画像特徴抽出部、８０４は下記ファジィ処理情報記
憶部８０５が記憶しているファジィ処理に関する情報を
用いて画像特徴のファジィ処理を行い照合部８１２で用
いる画像特徴量を求めるファジィ処理実行部、８０５は
ファジィ推論に用いるファジィルールとメンバーシップ
関数あるいはファジィクラスタリングに用いるクラスタ
リング条件を記憶しているファジィ処理情報記憶部、８
０６は照合部８１２が用いる画像の特徴量を記憶する画
像特徴記憶部、８０７は画像入力部８０１が入力した画
像データを記憶する画像データ記憶部、８０８はユーザ
が取り出しを要求する画像の例示画を入力する検索画像
入力部、８０９は検索画像入力部８０８が入力した画像
の前処理を行う検索画像前処理部、８１０は検索画像の
特徴を抽出する検索画像特徴抽出部、８１１はファジィ
処理情報記憶部８０５が記憶しているファジィ処理に関
する情報を用いて検索画像特徴にファジィ処理を行い下
記照合部８１２で用いる画像特徴記憶部８０６が記憶し
ている蓄積画像の特徴と同様の画像特徴量を検索画像に
対し求める検索画像ファジィ処理実行部、８１２は画像
特徴記憶部８０６に記憶されている蓄積画像の特徴と検
索画像ファジィ処理実行部８１１が求めた検索画像の特
徴を比較して蓄積画像と検索画像の照合度合を求める照
合部、８１３は照合部８１２が求めた照合度合の中で照
合度合が高い画像を画像データ記憶部８０７から取り出
し、ユーザに対し出力する画像出力部である。

【００７５】以下、第５の発明の画像検索装置の第１の
実施例の動作を説明する。

【００７６】まず、画像蓄積時には、画像データベース
として蓄積する画像を画像入力部８０１が取り込み、画
像データ記憶部８０７がその画像を記憶する。入力され
た画像に対し、画像前処理部８０２が特徴量抽出のため
の前処理を行い、画像特徴抽出部８０３が画像特徴を抽
出する。ファジィ処理情報記憶部８０５には第１の発明
のルール記憶部１５やメンバーシップ関数記憶部１６と
同様の特徴量に関するファジィルールとメンバーシップ
関数が記憶されている。このとき、ファジィ処理実行部
８０４は、第１の発明の対象物特徴量演算部１４と同様
にファジィ演算を行い、対象物の特徴量を求め、画像特
徴記憶部８０６が対象物の特徴量を記憶する。

【００７７】次に、画像検索時には、検索画像入力部８
０８がユーザの示した検索を要求する画像の例示画を取
り込む。例示画は、検索画像のイメージをユーザが手書
きで表したものや類似した画像で与えられる。取り込ま
れた画像は、検索画像前処理部８０９で画像特徴量抽出
のための前処理が行われ、検索画像特徴抽出部８１０が
画像特徴を抽出する。検索画像ファジィ処理実行部８１
１ではファジィ処理実行部と同様の処理が検索画像に対
して行われ、検索画像の対象物の特徴量が求められる。
照合部８１２では、第３の発明の実施例と同様に、画像
蓄積時に作成された画像特徴記憶部８０６に記憶されて
いる画像の対象物の特徴量と検索画像ファジィ処理実行
部８１１で求められた検索画像の対象物特徴量の比較が
行われ、蓄積画像と検索画像の照合度合が求められる。
求められた照合度合の中で最も照合度合が高い画像を画
像出力部８１３が画像データ記憶部８０７から取り出
し、目標の画像としてユーザに対して出力する。

【００７８】以上のように本実施例では、ファジィ処理
情報記憶部８０５に画像特徴量に関するルールとメンバ
ーシップ関数を専門家の知識により設定しておき、画像
入力部８０１から蓄積すべき画像を入力すると、画像特
徴がデータベース化され画像特徴記憶部８０６に記憶さ
れる。また、画像のデータベース化完了後、検索画像入
力部８０８に検索要求を入力すると、画像特徴記憶部８
０６が検索され、検索要求に合った画像が出力される。

【００７９】なお、本実施例において、画像出力部８１
３は照合部８１２が求めた照合度合の中で最も高い画像
を出力したが、照合度合がある程度以上の画像を複数出
力するようにしてもよい。

【００８０】次に、第５の発明の画像検索装置の第２の
実施例の動作を説明する。

【００８１】まず、画像蓄積時に本実施例では、ファジ
ィ処理情報記憶部８０５には、第２の発明のクラスタリ
ング条件記憶部３５と同様のクラスタリング条件が記憶
されている。このとき、ファジィ処理実行部８０４は、
第２の発明のファジィクラスタリング実行部３６と同様
の処理を行い、画像に対して複数のクラスタに属するこ
とを許す分類を行い、画像特徴記憶部８０６が分類結果
を記憶する。

【００８２】次に、画像検索時は、検索画像ファジィ処
理実行部８１１では、検索画像に対して第４の発明のク
ラスタ帰属度演算部７４と同様の処理が行われ、すべて
のクラスタに対する検索画像の帰属度が求められる。照
合部８１２では、第４の発明の照合部７６と同様の照合
処理が行われ、画像蓄積時に作成された画像特徴記憶部
８０６に記憶されている画像の分類結果と検索画像ファ
ジィ処理実行部８１１で求められたクラスタに対する検
索画像の帰属度の比較が行われ、蓄積画像と検索画像の
照合度合が求められる。求められた照合度合の中で最も
照合度合が高い画像を画像を画像出力部８１３が画像デ
ータ記憶部８０７から取り出し、ユーザに対して目標の
画像として出力する。

【００８３】以上のように本実施例では、ファジィ処理
情報記憶部８０５にクラスタリングに関する専門家の知
識を設定しておき、画像入力部８０１から蓄積すべき画
像を入力すると、画像の分類結果がデータベース化され
画像特徴記憶部８０６に記憶される。また、画像のデー
タベース化完了後、検索画像入力部８０８に検索要求を
入力すると、画像特徴記憶部８０６に記憶されている画
像の分類結果と検索画像の比較が行われ、検索要求にあ
った画像が出力される。

【００８４】なお、本実施例において、画像出力部８１
３は照合部８１２が求めた照合度合の中で最も高い画像
を出力したが、照合度合がある程度以上の画像を複数出
力するようにしてもよい。

【００８５】また、本発明の各手段は、コンピュータを
利用してソフトウェア的に実現しても、それら各手段の
各機能を実現する専用のハード回路で実現してもかまわ
ない。

【００８６】

【発明の効果】以上のように、本発明によれば、人間に
理解しやすく、人間の感覚に合う画像特徴を抽出・照合
することができる。また、この画像の特徴量を用いて画
像検索を行うことにより、検索要求により近い画像を得
ることができる。

【００８７】本発明によれば、人間の感覚により近い画
像特徴を用いた画像の分類を行うことができる。また、
この画像分類結果とクラスタに対する入力画像の帰属度
を画像検索時に用いることで人間の検索要求により近い
画像を得ることができる。

【図面の簡単な説明】

【図１】本発明の第１の発明の実施例の画像特徴抽出装
置の構成を示すブロック図である。

【図２】本発明の第１の発明の実施例の画像特徴抽出装
置の動作を示すフローチャートである。

【図３】本発明の第２の発明の実施例の画像特徴抽出装
置の構成を示すブロック図である。

【図４】本発明の第２の発明の実施例の画像特徴抽出装
置の動作を示すフローチャートである。

【図５】本発明の第３の発明の実施例の画像特徴照合装
置の構成を示すブロック図である。

【図６】本発明の第３の発明の実施例のメンバーシップ
関数の演算方法を示す図である。

【図７】本発明の第４の発明の実施例の画像特徴照合装
置の構成を示すブロック図である。

【図８】本発明の第５の発明の実施例の画像検索装置の
構成を示すブロック図である。

【図９】従来の画像検索装置の構成を示すブロック図で
ある。

【符号の説明】

１１ 画像入力部 １２ 画像特徴入力部 １３ 画像特徴抽出部 １４ 対象物特徴量抽出部 １５ ルール記憶部 １６ メンバーシップ関数記憶部 ３４ 画像特徴記憶部 ３５ クラスタリング条件記憶部 ３６ ファジィクラスタリング実行部 ３７ 画像分類結果記憶部 ５８ 照合部 ７４ クラスタ帰属度演算部

Claims (5)

【特許請求の範囲】
1. 【請求項１】複数個のファジィルールを記憶しているル
   ール記憶手段と、前記ファジィルールで用いるメンバー
   シップ関数を記憶しているメンバーシップ関数記憶手段
   と、画像を取り込む画像入力手段と、前記画像入力手段
   が取り込んだ画像の前処理を行う画像前処理手段と、前
   記画像前処理手段が処理した画像の特徴を抽出する画像
   特徴抽出手段と、前記ルール記憶手段が記憶しているル
   ールと前記メンバーシップ関数記憶手段が記憶している
   メンバーシップ関数を用い、前記画像特徴抽出手段が抽
   出した特徴から、対象物の特徴を求める対象物特徴量演
   算手段を備えたことを特徴とする画像特徴抽出装置。
2. 【請求項２】画像を取り込む画像入力手段と、前記画像
   入力手段が取り込んだ画像の前処理を行う画像前処理手
   段と、前記画像前処理手段が処理した画像の特徴を抽出
   する画像特徴抽出手段と、前記画像特徴抽出手段が抽出
   した画像特徴を記憶する画像特徴記憶手段と、画像のク
   ラスタリング条件を記憶するクラスタリング条件記憶手
   段と、前記画像特徴記憶手段に記憶された特徴を入力
   し、前記クラスタリング条件記憶手段が記憶しているク
   ラスタリング条件で画像に対して複数のクラスタに属す
   ることを許す分類を行うファジィクラスタリング実行手
   段と、前記ファジィクラスタリング実行手段が求めた画
   像分類の結果を記憶する画像分類結果記憶手段を備えた
   ことを特徴とする画像特徴抽出装置。
3. 【請求項３】複数個のファジィルールを記憶しているル
   ール記憶手段と、前記ファジィルールで用いるメンバー
   シップ関数を記憶しているメンバーシップ関数記憶手段
   と、画像を取り込む画像入力手段と、前記画像入力手段
   が取り込んだ画像の前処理を行う画像前処理手段と、前
   記画像前処理手段が処理した画像の特徴を抽出する画像
   特徴抽出手段と、前記ルール記憶手段が記憶しているル
   ールと前記メンバーシップ関数記憶手段が記憶している
   メンバーシップ関数を用い、前記画像特徴抽出手段が抽
   出した特徴から、対象物の特徴を求める対象物特徴量演
   算手段と、蓄積画像の対象物特徴を記憶している対象物
   特徴量記憶手段と、前記対象物特徴量記憶手段に記憶さ
   れている蓄積画像の特徴と前記対象物特徴量演算手段が
   抽出した入力画像の特徴の照合を行う照合手段とを備え
   たことを特徴とする画像特徴照合装置。
4. 【請求項４】画像を取り込む画像入力手段と、前記画像
   入力手段が取り込んだ画像の前処理を行う画像前処理手
   段と、前記画像前処理手段が処理した画像の特徴を抽出
   する画像特徴抽出手段と、蓄積画像のクラスタへの分類
   結果を記憶する画像分類結果記憶手段と、前記分類結果
   記憶手段に記憶されている分類に用いる関数と前記抽出
   された画像特徴を用いて、入力画像のクラスタへの帰属
   度を求めるクラスタ帰属度演算手段と、前記クラスタ帰
   属度演算手段が求めた入力画像のクラスタへの帰属度と
   前記画像分類結果記憶手段が記憶している蓄積画像の分
   類結果の照合を行う照合手段とを備えたことを特徴とす
   る画像特徴照合装置。
5. 【請求項５】請求項３もしくは請求項４に記載の画像特
   徴照合装置と、画像データを記憶する画像データ記憶手
   段と、前記画像特徴照合装置によって得られた照合結果
   に基づいて、画像を出力する画像出力手段とを備えたこ
   とを特徴とする画像検索装置。