JPH0248772A

JPH0248772A - 類似画像検索方式

Info

Publication number: JPH0248772A
Application number: JP63198834A
Authority: JP
Inventors: Katsuyoshi Tanabe; 田邊　勝義; Atsushi Otani; 淳大谷
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: NTT Inc
Priority date: 1988-08-11
Filing date: 1988-08-11
Publication date: 1990-02-19

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】（発明の属する技術分野）本発明は、端末からの要求により画像データベースから
必要な画像を検索するシステムにおいて、画像の内容を
対象にした類似画像検索方式に関するものである。

（従来の技術）従来、この種の類似画像検索システムでは検索キーは言
葉・信号等のキーワードによるもので、画像データベー
スは構築の際に決められたキーワードの分類で構成され
ていた。

ところで画像データベースの規模が大きく表現内容が複
雑になると、予め画像データベースで用意された分類で
は十分分類できず、画像内容とそぐわない位置に格納さ
れることも多いため、言葉・信号等のキーワードでは必
要とする画像を一度では検索できないことが多く、必要
とする画像が存在すると思われる言葉・信号等のキーワ
ードを再考したり、多数回検索しなければならず、検索
時間がかかり、利用者の意図に合った画像の内容に即し
た検索ができないという問題があった。

（発明の目的）本発明は」−記の点を解決することを目的としており、
端末から例示画像を入力し、検索したい画像内容を把握
し的確に絞り込むことにより、例示画像内容に類似した
画像を、画像データベースから候補順位に従い端末へ画
像提示することで、画像内容に即した人間の感覚に合う
検索を実現することにある。

（発明の構成）（発明の特徴と従来技術と差異）本発明は１画像データベース作成者が蓄積用画像を入力
することでその入力画像の特徴が抽出され、その特徴を
もとに画像データと画像特徴の両蓄積部のインデックス
を作成してインデックスファイルに格納されるとともに
上記画像データベース作成者に表示され確認を行ない画
像データベースが作成される。次に検索処理では利用者
が入力例示画像を入力することでその特徴を蓄積時と同
様に抽出し、これをもとに類似度計算を前記インデック
スファイルを参照しながら特徴蓄積部からの特徴パラメ
ータと比較処理し、この時、該当特徴パラメータを持つ
画像データのインデックスを複数検索し、前記入力例示
画像と各候補画像データとの類似状態を示す評価尺度を
計算する。そしてその入力例示画像に対する類似画像候
補順位を決定し、インデックスファイルを参照し画像デ
ータ蓄積部より候補画像を取出し、必要な画像を利用者
端末へ表示することを特徴とする。

従来技術では言葉・信号等のキーワードによる検索方式
であるので画像データベースの規模が大きく表現内容が
大きくなると十分対応できない。

本発明はこのような言葉・信号等のキーワードによるこ
となく入力例示画像によって必要とする画像を検索でき
る点が異なる。

（実施例）図は本発明方式の一実施例の構成を示すブロック図であ
る。画像データベース作成装置１の１１は蓄積用画像１
４の入力部、１２は画像データベースシステムと通信制
御を行う制御部、１３は蓄積画像を確認するための表示
部、１４は画像データベース作成者が入力部１１で入力
する蓄積用画像である。

画像データベースシステム２の２１はこのシステムの全
体動作を制御する制御部、２２は蓄積用画像１４や入力
例示画像３４を蓄積する入力データ蓄積部、２３は入力
データ蓄積部に蓄積された入力画像、入力例示画像の特
徴抽出部、２４は蓄積画像と入力例示画像の類似度計算
部、２５は類似度計算部２４が計算した結果をもとに入
力例示画像に対する類似画像候補を決定する類似度決定
部、２６はインデックス作成部、２７はインデックスフ
ァイル、２８は画像特徴蓄積部、２９は画像データ蓄積
部、２１０は候補画像を取出すための出力データ蓄積部
である。

また、端末３の３１は利用者が入力例示画像３４を入力
する入力部、３２は画像データベースシステム２との通
信制御を行う制御部、３３は候補画像を表示する表示部
、３４は利用者が入力部３１で入力する入力例示画像で
ある。

次に本実施例の動作を説明すると、本システムの動作は
大きく２つに分けることができる。１つは画像データベ
ース作成処理であり、もう１つは検索処理である。上記
２つを順に説明する。

先ず２画像データベース作成者が蓄積用画像１４を画像
データベース作成装置１の入力部１１に入力する。制御
部１２は画像データベースシステム２を呼び出し、入力
された画像を入力部１１から制御部２１を経由して入力
データ蓄積部２２に転送する。その後、制御部２１は特
徴抽出部２３を起動する。

特徴抽出部２３は制御部２１を経由して入力データ蓄積
部２２から画像の特徴（例えば、形状特徴［フーリエ記
述子、メツシュ特徴等］、テクスチャ特徴等）を表わす
要素ａ　ｉ　　（ｉ＝１．２，３．・・・；ｉは画像の
特徴の識別子を示す）を抽出する。

抽出が完了すると、そのむねを制御部２１に通知する。

制御部２１は通知を受は取るとインデックス作成部２６
を起動する。インデックス作成部２６は蓄積用画像１４
から得られた特徴を表す要素ａｉをもとに画像データ蓄
積部２９と画像時Ｗｉ蓄積部２８のインデックスを作成
し、インデックスファイル２７に格納する。

格納が完了すると、そのむねを制御部２１に通知する。

制御部２１はインデックスファイル２７の内容に従い、
該画像データとその特徴を表す要素ａｉを、それぞれ画
像データ蓄積部２９と画像特徴蓄積部２８に格納する。

それと共に制御部２１は画像データベース作成装置１を
呼び出し、制御部１２を経由して表示部１３に表示する
。画像データベース作成者が表示部１３の表示を見て、
例えば確認の指示を入力部１１に投入すると、制御部１
２は画像データベース２を呼び出し、制御部２１に通知
する。制御部２１は確認の指示を受は取ると一連の処理
を終了する。

次に検索処理では、利用者が入力例示画像３４を端末３
の入力部３１に入力する。制御部３２は画像データベー
スシステム２を呼び出し、入力された画像を入力部３１
から制御部２１を経由して入力データ蓄積部２２に転送
する。その後、制御部２１は特徴抽出２３を起動する。

特徴抽出部２３は制御部２１を経由して入力データ蓄積
部２２から画像の特徴を表わす要素ａ　ｉ　　（ｉ＝１
，２，３．・・・）を蓄積時と同様に抽出する。

抽出が完了すると、そのむねを制御部２１に通知する。

制御部２１は通知をうけとると類似度計算部２４を起動
する。類似度計算部２４は入力例示画像３４から取得し
た特徴を表す要素ａｉをもとに、制御部２１を経由して
インデックファイル２７を参照し、画像特徴蓄積部２８
から特徴パラメータを取得し、これら特徴パラメータと
前記特徴を表す要素ａｌとを比較処理する。該当特徴パ
ラメータを持つ画像データのインデックスを複数検索し
、入力例示画像３４と各候補画像データとの類似状態を
示す評価尺度（類似度）　Ｓ　Ｊ　Ｆ”ｌｙ２＋：Ｌ・
・・；ｊは候補画像の識別子）を計算する。ここで、ｓ
ｊとしては種々の形の式が考えられるが、例えば入力例
示画像３４と各候補画像に適した重みｍｊｉ（ｊ”Ｌ２
ｔ３＋・・・；ｉ＝１，２，３．・・・）を設定し、ｓ
　ｊ　＝ｍｊｌａｌ＋ｍｊ２ａ２＋・・・・・・（ｊ”
Ｌ２ｅ３＋・・・）として計算することが考えられる。

類似度ｓｊは最も似ているものから全く似ていないもの
までを数字で表現しく例えば、０から１）、類似度の順
位をつけるために用いる。

類似度の計算が終了すると制御部２１に通知する。

制御部２１は通知を受は取ると類似度決定部２５を起動
する。類似度決定部２５は類似度計算部２４が計算した
結果をもとに入力例示画像３４に対する類似画像候補順
位を決定する。

この決定に従い、制御部２１を経由してインデックスフ
ァイル２７を参照し、画像データ蓄積部２９により候補
画像を順に取り出し、出力フォーマットを整えた後、出
力データ蓄積部２１０に転送する。

転送が完了すると制御部２１は端末３からの要求（例え
ば第１位の候補のみ表示、第ｎ位（ｎ＝１．２゜３、・
・・）まで表示、すべて表示、等）に応じて出力データ
蓄積部２１０から必要な画像データを取り出し端末３の
制御部３２へ転送する。制御部３２は画像データを受は
取ると表示部３３に表示する。

以」二の処理ののち、利用者は望む画像を候補画像の中
から見いだす、また、利用者は入力例示画像３４を変え
ることで望みの画像および似た画像を取り出すことがで
きる。

なお、入力例示画像；３４には画像だけでなく言葉。

記号を含めて情報を限定してもよい。

（発明の効果）以上説明したように、本発明は端末が画像データを検索
する際に例示画像を用いることにより例示画像のあらゆ
る特徴を把握し、複数の特徴から得た評価尺度により類
似度を決定できるので、あらゆる画像を評価尺度により
定量的に分類でき。

画像の内容に即した人間の感覚に合う検索を実現できる
利点がある。

【図面の簡単な説明】

図は本発明の一実施例の構成を示すブロック図である。１　・・・画像データベース作成装置、　２・・・画像
データベースシステム、　３　・・・端末、１１・・・
入力部、１２・・・制御部、１３・・・表示部、１４・
・・蓄積用画像、２１・・・制御部、２２・・・入力デ
ータ蓄積部、２３・・・特徴抽出部、２４・・・類似度
計算部、２５・・・類似度決定部、２６・・・インデッ
クス作成部、２７　　・・インデックスファイル、２８
・・・画像特徴蓄積部、２９・・・画像データ蓄積部、
２１０・・・出力データ蓄積部、３１・・・入力部、３
２・・・制御部、３３・・・表示部、３４・・・入力例
示画像。特許出願人　日本電信電話株式会社

Claims

【特許請求の範囲】

　画像を蓄積し検索する画像検索システムにおいて、入
力画像からその画像の内容を示す特徴を抽出する第１の
手段と、この第１の手段により得られた特徴をもとにイ
ンデックスファイルを作成する第２の手段と、前記第１
の手段により得られた入力画像の特徴および蓄積用画像
を前記インデックスファイルをもとに蓄積する第３の手
段と、検索側から入力例示画像を提示し、この入力例示
画像から画像の類似度を評価するために前記第１の手段
により得られた入力画像の特徴から評価尺度を計算する
ための第４の手段と、この第４の手段により得られた評
価尺度から類似度を決定する第５の手段を備え、この第
５の手段により決定された類似度に基づき、候補順位を
付け、その類似度による分類と候補順位に従い、画像デ
ータベースから必要な画像を検索するようにしたことを
特徴とする類似画像検索方式。