JPH11219365A - 画像検索装置 - Google Patents
画像検索装置Info
- Publication number
- JPH11219365A JPH11219365A JP10020574A JP2057498A JPH11219365A JP H11219365 A JPH11219365 A JP H11219365A JP 10020574 A JP10020574 A JP 10020574A JP 2057498 A JP2057498 A JP 2057498A JP H11219365 A JPH11219365 A JP H11219365A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- clustering
- keyword
- composition information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 大量の画像データの中から目的の画像データ
を簡単に検索できる画像検索装置を得る。 【解決手段】 検索対象画像が所定のキーワードとして
入力される入力装置３と、画像データが蓄積された画像
ＤＢ６と、画像ＤＢ６の中から抽出された検出対象の画
像を読み込む画像読み込み部７と、画像から構図情報を
抽出する構図情報抽出部８と、構図情報抽出部８により
抽出された画像の構図情報を元に、ニューラルネットに
よりクラスタリングを行うクラスタリングＮＮ部９と、
画像の画像特性情報を抽出する画像特性抽出部１０と、
クラスタリングＮＮ部９および画像特性抽出部１０によ
り得られたクラスタリング及び画像特性から、画像が入
力されたキーワードのカテゴリに属する画像か否かを判
別する判別ＮＮ部１１と、画像がキーワードのカテゴリ
に属する場合に、これを表示させる画像表示部１２とで
構成する。
を簡単に検索できる画像検索装置を得る。 【解決手段】 検索対象画像が所定のキーワードとして
入力される入力装置３と、画像データが蓄積された画像
ＤＢ６と、画像ＤＢ６の中から抽出された検出対象の画
像を読み込む画像読み込み部７と、画像から構図情報を
抽出する構図情報抽出部８と、構図情報抽出部８により
抽出された画像の構図情報を元に、ニューラルネットに
よりクラスタリングを行うクラスタリングＮＮ部９と、
画像の画像特性情報を抽出する画像特性抽出部１０と、
クラスタリングＮＮ部９および画像特性抽出部１０によ
り得られたクラスタリング及び画像特性から、画像が入
力されたキーワードのカテゴリに属する画像か否かを判
別する判別ＮＮ部１１と、画像がキーワードのカテゴリ
に属する場合に、これを表示させる画像表示部１２とで
構成する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像検索装置に関
し、特に、大量の画像データから目的の画像を自動的に
検索する技術に関する。
し、特に、大量の画像データから目的の画像を自動的に
検索する技術に関する。
【０００２】
【従来の技術】近年、インターネット、デジカメの普及
などにより我々のデジタル画像に接する機会はますます
増えてきた。またストレージの低価格化、大容量化など
により、オフィスに限らず、個人でも大量な画像データ
の蓄積が可能な環境になってきた。
などにより我々のデジタル画像に接する機会はますます
増えてきた。またストレージの低価格化、大容量化など
により、オフィスに限らず、個人でも大量な画像データ
の蓄積が可能な環境になってきた。
【０００３】そこで、これらの大量の画像データに対し
て、効率的にデジタル画像を扱う環境が必要とされてお
り、ユーザの目的とする画像データを簡単に提示するこ
とのできる画像検索装置が注目されている。
て、効率的にデジタル画像を扱う環境が必要とされてお
り、ユーザの目的とする画像データを簡単に提示するこ
とのできる画像検索装置が注目されている。
【０００４】ここで、図８は従来の画像検索装置の構成
を示す説明図である。図示するように、従来の画像検索
装置は、中央処理装置２０と、モニタなどのカラー画像
を表示する表示装置２１と、キーボードやマウスなどの
入力装置２２と、処理中のプログラムやデータを一時的
に記憶する主記憶装置２３と、プログラムやデータなど
を記憶する二次記憶装置２４とから構成される。また、
二次記憶装置２４は、大量の画像データを蓄積する画像
データベース（画像ＤＢ）２５と、一枚の画像データを
読み込む画像読み込み部２６と、画像をディスプレイに
表示させる画像表示部２７と、検索の際に用いるキーワ
ードを画像に対応づけて登録するキーワード登録部２８
と、画像データに対して登録されたキーワードを対応付
けて確保するキーワードテーブル２９と、ユーザが指定
されたキーワードを検索するキーワードチェック部３０
とからなっている。
を示す説明図である。図示するように、従来の画像検索
装置は、中央処理装置２０と、モニタなどのカラー画像
を表示する表示装置２１と、キーボードやマウスなどの
入力装置２２と、処理中のプログラムやデータを一時的
に記憶する主記憶装置２３と、プログラムやデータなど
を記憶する二次記憶装置２４とから構成される。また、
二次記憶装置２４は、大量の画像データを蓄積する画像
データベース（画像ＤＢ）２５と、一枚の画像データを
読み込む画像読み込み部２６と、画像をディスプレイに
表示させる画像表示部２７と、検索の際に用いるキーワ
ードを画像に対応づけて登録するキーワード登録部２８
と、画像データに対して登録されたキーワードを対応付
けて確保するキーワードテーブル２９と、ユーザが指定
されたキーワードを検索するキーワードチェック部３０
とからなっている。
【０００５】次に、このような従来の画像検索装置にお
けるキーワードによる画像検索の処理過程を、図９およ
び図１０のフローチャートを用いて説明する。
けるキーワードによる画像検索の処理過程を、図９およ
び図１０のフローチャートを用いて説明する。
【０００６】大量の画像に対して、キーワードによる検
索を可能とするためには、画像一枚一枚に対して、画像
から連想されるキーワードを登録する必要がある。そこ
で、画像の登録過程を図９を用いて説明する。
索を可能とするためには、画像一枚一枚に対して、画像
から連想されるキーワードを登録する必要がある。そこ
で、画像の登録過程を図９を用いて説明する。
【０００７】画像の登録は、先ず、大量の画像データが
蓄積されている画像ＤＢにアクセスする（ステップＳ２
０）。そして、登録する画像を一枚メモリ内に取り込む
（ステップＳ２１）。
蓄積されている画像ＤＢにアクセスする（ステップＳ２
０）。そして、登録する画像を一枚メモリ内に取り込む
（ステップＳ２１）。
【０００８】次に、その画像から連想されるキーワード
を任意個登録する（ステップＳ２２）。
を任意個登録する（ステップＳ２２）。
【０００９】最後に、取り込んだ画像とその画像に登録
されたキーワードを対応付けて、テーブルに登録する
（ステップＳ２３）。
されたキーワードを対応付けて、テーブルに登録する
（ステップＳ２３）。
【００１０】これにより、登録が行われたキーワードテ
ーブルが存在する環境において、キーワードによる画像
検索が可能となる。
ーブルが存在する環境において、キーワードによる画像
検索が可能となる。
【００１１】次に、図１０において、登録された画像の
検索過程を説明する。まず、ユーザは所望の画像に対し
て、連想されるキーワードを入力する（ステップＳ２
４）。これにより、キーワードテーブルが読み込まれる
（ステップＳ２５）。
検索過程を説明する。まず、ユーザは所望の画像に対し
て、連想されるキーワードを入力する（ステップＳ２
４）。これにより、キーワードテーブルが読み込まれる
（ステップＳ２５）。
【００１２】次に、登録されているキーワードテーブル
において、ステップＳ２４でユーザが指定したキーワー
ドの有無がチェックされる（ステップＳ２６）。
において、ステップＳ２４でユーザが指定したキーワー
ドの有無がチェックされる（ステップＳ２６）。
【００１３】指定されたキーワードが見つかると、その
画像のインデックスを用いて画像ＤＢにアクセスする
（ステップＳ２７）。
画像のインデックスを用いて画像ＤＢにアクセスする
（ステップＳ２７）。
【００１４】最後に、検索された画像を取り込み、これ
がディスプレイ上に表示される（ステップＳ２８）。
がディスプレイ上に表示される（ステップＳ２８）。
【００１５】
【発明が解決しようとする課題】このような従来の装置
では、以下のような問題がある。
では、以下のような問題がある。
【００１６】まず、画像にキーワードを入力する作業が
煩わしいという問題である。また、どの画像にどのよう
なキーワードを付与したのかを時間が経つにつれて忘れ
てしまうために、検索する際に画像に付けられたキーワ
ードをうまく指定できないという問題である。特に、他
人が付けたキーワードを連想することは非常に困難なた
めに、適切なキーワードを見つけることが困難である。
煩わしいという問題である。また、どの画像にどのよう
なキーワードを付与したのかを時間が経つにつれて忘れ
てしまうために、検索する際に画像に付けられたキーワ
ードをうまく指定できないという問題である。特に、他
人が付けたキーワードを連想することは非常に困難なた
めに、適切なキーワードを見つけることが困難である。
【００１７】したがって、現在の画像検索の主流をなす
このキーワードベースの画像検索における検索精度は決
して満足のいくものではない。
このキーワードベースの画像検索における検索精度は決
して満足のいくものではない。
【００１８】そこで、本発明は、大量の画像データの中
から目的の画像データを簡単に検索できる画像検索装置
を提供することを目的とする。
から目的の画像データを簡単に検索できる画像検索装置
を提供することを目的とする。
【００１９】
【課題を解決するための手段】この課題を解決するため
に、本発明の画像検索装置は、検索対象画像が所定のキ
ーワードとして入力される入力装置と、画像データが蓄
積された画像データベースと、画像データベースの中か
ら抽出された検出対象の画像を読み込む画像読み込み部
と、画像から構図情報を抽出する構図情報抽出部と、構
図情報抽出部により抽出された画像の構図情報を元に、
ニューラルネットによりクラスタリングを行うクラスタ
リングニューラルネット部と、画像の画像特性情報を抽
出する画像特性抽出部と、クラスタリングニューラルネ
ット部および画像特性抽出部により得られたクラスタリ
ング及び画像特性から、画像が入力されたキーワードの
カテゴリに属する画像か否かを判別する判別ニューラル
ネット部と、画像がキーワードのカテゴリに属する場合
に、これを表示させる画像表示部とを有することを特徴
とする。
に、本発明の画像検索装置は、検索対象画像が所定のキ
ーワードとして入力される入力装置と、画像データが蓄
積された画像データベースと、画像データベースの中か
ら抽出された検出対象の画像を読み込む画像読み込み部
と、画像から構図情報を抽出する構図情報抽出部と、構
図情報抽出部により抽出された画像の構図情報を元に、
ニューラルネットによりクラスタリングを行うクラスタ
リングニューラルネット部と、画像の画像特性情報を抽
出する画像特性抽出部と、クラスタリングニューラルネ
ット部および画像特性抽出部により得られたクラスタリ
ング及び画像特性から、画像が入力されたキーワードの
カテゴリに属する画像か否かを判別する判別ニューラル
ネット部と、画像がキーワードのカテゴリに属する場合
に、これを表示させる画像表示部とを有することを特徴
とする。
【００２０】これにより、画像の構図が異なる場合にお
いても、大量の画像データの中から目的の画像データを
簡単に検索することが可能になる。
いても、大量の画像データの中から目的の画像データを
簡単に検索することが可能になる。
【００２１】
【発明の実施の形態】本発明の請求項１に記載の発明
は、検索対象画像が所定のキーワードとして入力される
入力装置と、画像データが蓄積された画像データベース
と、画像データベースの中から抽出された検出対象の画
像を読み込む画像読み込み部と、画像から構図情報を抽
出する構図情報抽出部と、構図情報抽出部により抽出さ
れた画像の構図情報を元に、ニューラルネットによりク
ラスタリングを行うクラスタリングニューラルネット部
と、画像の画像特性情報を抽出する画像特性抽出部と、
クラスタリングニューラルネット部および画像特性抽出
部により得られたクラスタリング及び画像特性から、画
像が入力されたキーワードのカテゴリに属する画像か否
かを判別する判別ニューラルネット部と、画像がキーワ
ードのカテゴリに属する場合に、これを表示させる画像
表示部とを有する画像検索装置であり、画像の構図が異
なる場合においても、大量の画像データの中から目的の
画像データを簡単に検索することが可能になるという作
用を有する。
は、検索対象画像が所定のキーワードとして入力される
入力装置と、画像データが蓄積された画像データベース
と、画像データベースの中から抽出された検出対象の画
像を読み込む画像読み込み部と、画像から構図情報を抽
出する構図情報抽出部と、構図情報抽出部により抽出さ
れた画像の構図情報を元に、ニューラルネットによりク
ラスタリングを行うクラスタリングニューラルネット部
と、画像の画像特性情報を抽出する画像特性抽出部と、
クラスタリングニューラルネット部および画像特性抽出
部により得られたクラスタリング及び画像特性から、画
像が入力されたキーワードのカテゴリに属する画像か否
かを判別する判別ニューラルネット部と、画像がキーワ
ードのカテゴリに属する場合に、これを表示させる画像
表示部とを有する画像検索装置であり、画像の構図が異
なる場合においても、大量の画像データの中から目的の
画像データを簡単に検索することが可能になるという作
用を有する。
【００２２】また、本発明の請求項２に記載の発明は、
請求項１記載の発明において、画像データベースが装置
内にある画像検索装置であり、画像の構図が異なる場合
においても、大量の画像データの中から目的の画像デー
タを簡単に検索することが可能になるという作用を有す
る。
請求項１記載の発明において、画像データベースが装置
内にある画像検索装置であり、画像の構図が異なる場合
においても、大量の画像データの中から目的の画像デー
タを簡単に検索することが可能になるという作用を有す
る。
【００２３】本発明の請求項３に記載の発明は、請求項
１記載の発明において、画像データベースはネットワー
ク上に点在する複数の画像である画像検索装置であり、
画像の構図が異なる場合においても、大量の画像データ
の中から目的の画像データを簡単に検索することが可能
になるという作用を有する。
１記載の発明において、画像データベースはネットワー
ク上に点在する複数の画像である画像検索装置であり、
画像の構図が異なる場合においても、大量の画像データ
の中から目的の画像データを簡単に検索することが可能
になるという作用を有する。
【００２４】本発明の請求項４に記載の発明は、請求項
１、２または３記載の発明において、クラスタリングニ
ューラルネット部は、ユーザにより構図パターンを学習
させてなる画像検索装置であり、ユーザそれぞれの目的
に特価した正確な画像の検索が可能になるという作用を
有する。
１、２または３記載の発明において、クラスタリングニ
ューラルネット部は、ユーザにより構図パターンを学習
させてなる画像検索装置であり、ユーザそれぞれの目的
に特価した正確な画像の検索が可能になるという作用を
有する。
【００２５】以下、本発明の実施の形態について、図１
から図７を用いて説明する。まず、本発明の実施の形態
で用いられるニューラルネット（ＮＮ）について簡単に
説明する。
から図７を用いて説明する。まず、本発明の実施の形態
で用いられるニューラルネット（ＮＮ）について簡単に
説明する。
【００２６】ＮＮは、人間の脳の神経細胞（ニューロ
ン）をモデル化したものを多数つなげてネットワークを
構成し、ニューロン間の情報の伝達によって情報系を構
築するものである。また、ある入力データに対して、教
師データを与え、バックプロパゲーション（ＢＰ法）と
よばれる学習処理を行なうことによって、ＮＮに非線形
写像を構築することが可能である。
ン）をモデル化したものを多数つなげてネットワークを
構成し、ニューロン間の情報の伝達によって情報系を構
築するものである。また、ある入力データに対して、教
師データを与え、バックプロパゲーション（ＢＰ法）と
よばれる学習処理を行なうことによって、ＮＮに非線形
写像を構築することが可能である。
【００２７】ＮＮの重要な機能の一つである階層型ＮＮ
のバックプロパゲーション法における学習機能を図１を
用いて説明する。
のバックプロパゲーション法における学習機能を図１を
用いて説明する。
【００２８】ＮＮの学習はニューロン間の重みを変化さ
せることによって行われる。そこで、学習開始時点で、
それらの重みに初期値を与える（ステップＳ１０）。
せることによって行われる。そこで、学習開始時点で、
それらの重みに初期値を与える（ステップＳ１０）。
【００２９】次に、ＮＮに任意の次元の入力データを与
える（ステップＳ１１）。これにより、ＮＮを構成する
ニューロン間に情報の伝播が行われる（ステップＳ１
２）。
える（ステップＳ１１）。これにより、ＮＮを構成する
ニューロン間に情報の伝播が行われる（ステップＳ１
２）。
【００３０】次に、目下の入力データに対する理想値を
教師データとして与える（ステップＳ１３）。すると、
ＮＮの出力データと教師データの差分を用いて、逆順に
ニューロンの情報の更新が行われる（ＢＰ法）（ステッ
プＳ１４）。
教師データとして与える（ステップＳ１３）。すると、
ＮＮの出力データと教師データの差分を用いて、逆順に
ニューロンの情報の更新が行われる（ＢＰ法）（ステッ
プＳ１４）。
【００３１】そして、ステップＳ１１からステップＳ１
４までの処理を指定回数Ｎだけ繰り返し（ステップＳ１
５）、学習回数がＮを越えた時点で学習終了となる。
４までの処理を指定回数Ｎだけ繰り返し（ステップＳ１
５）、学習回数がＮを越えた時点で学習終了となる。
【００３２】次に、図２および図３を用いて、実施の形
態に用いる画像の構図情報を元にクラスタリングを行う
クラスタリングＮＮの学習の説明を行なう。
態に用いる画像の構図情報を元にクラスタリングを行う
クラスタリングＮＮの学習の説明を行なう。
【００３３】ここで、図２は、画像の構図情報によるク
ラスタリング処理を示す説明図、図３は、クラスタリン
グＮＮの学習処理手順を示すフローチャートである。
ラスタリング処理を示す説明図、図３は、クラスタリン
グＮＮの学習処理手順を示すフローチャートである。
【００３４】クラスタリングＮＮを構築するためには、
教師データをつくる必要がある。よって、画像の構図情
報を用いたクラスタリングを行い、そのグループ名もし
くは代表値をクラスタリングＮＮを構築する際の教師デ
ータとして用いる。そこで、図２に示すように、画像Ｄ
Ｂ中のあるキーワードに属する画像に対して、画像の構
図情報をもとにクラスタリングを行う。クラスタリング
アルゴリズムは、一般に用いられる近傍法、ｋ平均法な
どを用いる。図２の例では、画像ＤＢ中に蓄積されてい
るあるキーワードのカテゴリに属する画像は、構図情報
を尺度として、グループＡ，グループＢ，グループＣ，
グループＤにクラスタリングされている。よって、クラ
スタリングＮＮの学習の際には、ある画像の構図情報に
対して、このグループ名もしくはそのグループの代表値
が教師データとして用いられる。
教師データをつくる必要がある。よって、画像の構図情
報を用いたクラスタリングを行い、そのグループ名もし
くは代表値をクラスタリングＮＮを構築する際の教師デ
ータとして用いる。そこで、図２に示すように、画像Ｄ
Ｂ中のあるキーワードに属する画像に対して、画像の構
図情報をもとにクラスタリングを行う。クラスタリング
アルゴリズムは、一般に用いられる近傍法、ｋ平均法な
どを用いる。図２の例では、画像ＤＢ中に蓄積されてい
るあるキーワードのカテゴリに属する画像は、構図情報
を尺度として、グループＡ，グループＢ，グループＣ，
グループＤにクラスタリングされている。よって、クラ
スタリングＮＮの学習の際には、ある画像の構図情報に
対して、このグループ名もしくはそのグループの代表値
が教師データとして用いられる。
【００３５】なお、画像の構図情報としては、色相、テ
クスチャ等の変化を元に行う領域分割法において領域分
割を行い、その領域の輪郭長、曲線率、隣接領域との関
係、領域の慣性モーメント、重心モーメント等の画像の
構図が表現可能な記述を用いる。
クスチャ等の変化を元に行う領域分割法において領域分
割を行い、その領域の輪郭長、曲線率、隣接領域との関
係、領域の慣性モーメント、重心モーメント等の画像の
構図が表現可能な記述を用いる。
【００３６】図３において、クラスタリングＮＮの学習
処理の説明を行う。クラスタリングＮＮの学習処理で
は、先ず、画像ＤＢより、あるキーワードのカテゴリに
含まれる画像を読み込む（ステップＳ１６）。
処理の説明を行う。クラスタリングＮＮの学習処理で
は、先ず、画像ＤＢより、あるキーワードのカテゴリに
含まれる画像を読み込む（ステップＳ１６）。
【００３７】次に、読み込んだ画像から、構図情報を抽
出する（ステップＳ１７）。そして、構図情報を入力デ
ータとしてＮＮへ与え、クラスタリング結果のグループ
名または代表値を教師データとするＮＮの学習を行う
（ステップＳ１８）。
出する（ステップＳ１７）。そして、構図情報を入力デ
ータとしてＮＮへ与え、クラスタリング結果のグループ
名または代表値を教師データとするＮＮの学習を行う
（ステップＳ１８）。
【００３８】このようにして指定回数の学習を行うと、
クラスタリングＮＮが構築される（ステップＳ１９）。
クラスタリングＮＮが構築される（ステップＳ１９）。
【００３９】このクラスタリングＮＮは、ある画像が与
えられると、その構図情報をもとにクラスタリングを行
った際のグループ名または代表値を出力する機能を有す
るものである。
えられると、その構図情報をもとにクラスタリングを行
った際のグループ名または代表値を出力する機能を有す
るものである。
【００４０】次に、図４を用いて、任意の画像に対して
その画像がある被写体を含んでいる画像か否かを判断す
る判別ＮＮの構築方法を説明する。ここで、図４は、一
例として「海」というキーワードのカテゴリに属する画
像を判別する判別ＮＮの構築手順を示す説明図である。
その画像がある被写体を含んでいる画像か否かを判断す
る判別ＮＮの構築方法を説明する。ここで、図４は、一
例として「海」というキーワードのカテゴリに属する画
像を判別する判別ＮＮの構築手順を示す説明図である。
【００４１】判別ＮＮの入力データは、「海」のキーワ
ードのカテゴリに属する画像のクラスタリングＮＮの出
力データと、色相、輝度、テクスチャ（細かい一様な模
様の分布等）等の画像特性から得られる情報の二つであ
る。そして、クラスタリングＮＮは、「海」というキー
ワードに属する画像の複数の構図パターンの中で、現在
入力されている画像が属する構図パターンを出力するも
のである。それらの入力データに対して、その画像が
「海」の画像であるか、また「海」というキーワードに
属さない画像なのかを教師データとして与える。この学
習を繰り返すことによって、複数の異なる構図の「海」
が写っている画像を判別することが可能となる。
ードのカテゴリに属する画像のクラスタリングＮＮの出
力データと、色相、輝度、テクスチャ（細かい一様な模
様の分布等）等の画像特性から得られる情報の二つであ
る。そして、クラスタリングＮＮは、「海」というキー
ワードに属する画像の複数の構図パターンの中で、現在
入力されている画像が属する構図パターンを出力するも
のである。それらの入力データに対して、その画像が
「海」の画像であるか、また「海」というキーワードに
属さない画像なのかを教師データとして与える。この学
習を繰り返すことによって、複数の異なる構図の「海」
が写っている画像を判別することが可能となる。
【００４２】以上のＮＮについての説明をもとにして、
本実施の形態について説明する。図５は本発明の一実施
の形態における画像検索装置を示すブロック図、図６は
図５の画像検索装置による画像検索手順を示すフローチ
ャート、図７は図５の画像検索装置による画像検索の具
体例を示す説明図である。
本実施の形態について説明する。図５は本発明の一実施
の形態における画像検索装置を示すブロック図、図６は
図５の画像検索装置による画像検索手順を示すフローチ
ャート、図７は図５の画像検索装置による画像検索の具
体例を示す説明図である。
【００４３】図示するように、本実施の形態における画
像検索装置は、中央処理装置１と、モニタなどのカラー
画像を表示する表示装置２と、キーボードやマウスなど
の入力装置３と、処理中のプログラムやデータを一時的
に記憶する主記憶装置４と、データやプログラム等を記
憶する二次記憶装置５とから構成される。また、二次記
憶装置５は、大量の画像データを蓄積する画像ＤＢ６、
画像を読み込む画像読み込み部７、画像から構図情報を
抽出する構図情報抽出部８、画像の構図情報を元にクラ
スタリングを行うクラスタリングＮＮ部９、画像から色
相や輝度等の画像特性情報を抽出する画像特性抽出部１
０、与えられた画像が指定されたキーワードのカテゴリ
に属する画像か否かを判別する判別ＮＮ部１１、画像を
ディスプレイ上に表示させる画像表示部１２からなって
いる。なお、画像ＤＢ６は、装置内部にメモリとして持
つこともできるが、インターネットなどのネットワーク
上に点在する複数の画像を当てることもできる。
像検索装置は、中央処理装置１と、モニタなどのカラー
画像を表示する表示装置２と、キーボードやマウスなど
の入力装置３と、処理中のプログラムやデータを一時的
に記憶する主記憶装置４と、データやプログラム等を記
憶する二次記憶装置５とから構成される。また、二次記
憶装置５は、大量の画像データを蓄積する画像ＤＢ６、
画像を読み込む画像読み込み部７、画像から構図情報を
抽出する構図情報抽出部８、画像の構図情報を元にクラ
スタリングを行うクラスタリングＮＮ部９、画像から色
相や輝度等の画像特性情報を抽出する画像特性抽出部１
０、与えられた画像が指定されたキーワードのカテゴリ
に属する画像か否かを判別する判別ＮＮ部１１、画像を
ディスプレイ上に表示させる画像表示部１２からなって
いる。なお、画像ＤＢ６は、装置内部にメモリとして持
つこともできるが、インターネットなどのネットワーク
上に点在する複数の画像を当てることもできる。
【００４４】次に、図６を用いて、このような画像検索
装置による画像検索の処理手順を詳細に説明する。
装置による画像検索の処理手順を詳細に説明する。
【００４５】ユーザが検索する画像を「キーワード」と
して入力すると（ステップＳ１）、そのキーワードのカ
テゴリに属する画像を構図情報を元にクラスタリングを
行うクラスタリングＮＮ部が読み込まれる（ステップＳ
２）。
して入力すると（ステップＳ１）、そのキーワードのカ
テゴリに属する画像を構図情報を元にクラスタリングを
行うクラスタリングＮＮ部が読み込まれる（ステップＳ
２）。
【００４６】次に、検索対象の画像がチェックされ（ス
テップＳ３）、対象画像が無ければ処理は終了する（ス
テップＳ３）。
テップＳ３）、対象画像が無ければ処理は終了する（ス
テップＳ３）。
【００４７】画像ＤＢ６に検索対象の画像データがある
場合には、一枚の当該画像が画像読み込み部７に読み込
まれる（ステップＳ４）。
場合には、一枚の当該画像が画像読み込み部７に読み込
まれる（ステップＳ４）。
【００４８】そして、読み込まれた画像から構図情報が
抽出され（ステップＳ５）、抽出され構図情報がクラス
タリングＮＮ部９へ入力される（ステップＳ６）。
抽出され（ステップＳ５）、抽出され構図情報がクラス
タリングＮＮ部９へ入力される（ステップＳ６）。
【００４９】また、これを併行して、読み込まれた画像
から画像特性が抽出される（ステップＳ７）。
から画像特性が抽出される（ステップＳ７）。
【００５０】そして、ステップＳ６のクラスタリングＮ
Ｎ部９における出力データとステップＳ７で抽出された
画像特性情報から、当該画像がこのキーワードのカテゴ
リに属する画像か否かを判別する判別ＮＮ部１１に入力
される（ステップＳ８）。
Ｎ部９における出力データとステップＳ７で抽出された
画像特性情報から、当該画像がこのキーワードのカテゴ
リに属する画像か否かを判別する判別ＮＮ部１１に入力
される（ステップＳ８）。
【００５１】判別ＮＮ部１１によって、画像が指定キー
ワードのカテゴリに属すると判断された場合には、当該
画像がディスプレイ上に表示される（ステップＳ９）。
ワードのカテゴリに属すると判断された場合には、当該
画像がディスプレイ上に表示される（ステップＳ９）。
【００５２】次に、このような画像検索の具体例を図７
を用いて説明する。ここでは、ユーザは海に着目し、キ
ーワードとして「海」を入力したものとする。
を用いて説明する。ここでは、ユーザは海に着目し、キ
ーワードとして「海」を入力したものとする。
【００５３】すると、本実施の形態の画像検索装置は、
検索対象の画像ＤＢ６に対して読み込みを行い、クラス
タリングＮＮ部９、判別ＮＮ部１１を用いて画像をチェ
ックする。その結果、読み込まれた画像が「海」のキー
ワードのカテゴリに属する画像と判断された場合には、
ディスプレイ上に表示を行う。この際に、ある一つの構
図のみではなく、構図情報を元にクラスタリングされた
構図Ａ，構図Ｂ，構図Ｃ等の複数の構図を持つ画像が表
示される。なお、キーワードによっては一つの構図のみ
となることもあり、この場合には一つの画像が表示され
る。また、このクラスタリングＮＮをユーザ独自で追加
学習を行うことによって、任意個の構図パターンに対応
した検索を行うことが可能となる。
検索対象の画像ＤＢ６に対して読み込みを行い、クラス
タリングＮＮ部９、判別ＮＮ部１１を用いて画像をチェ
ックする。その結果、読み込まれた画像が「海」のキー
ワードのカテゴリに属する画像と判断された場合には、
ディスプレイ上に表示を行う。この際に、ある一つの構
図のみではなく、構図情報を元にクラスタリングされた
構図Ａ，構図Ｂ，構図Ｃ等の複数の構図を持つ画像が表
示される。なお、キーワードによっては一つの構図のみ
となることもあり、この場合には一つの画像が表示され
る。また、このクラスタリングＮＮをユーザ独自で追加
学習を行うことによって、任意個の構図パターンに対応
した検索を行うことが可能となる。
【００５４】
【発明の効果】以上のように、本発明によれば、画像の
構図が異なる場合においても、大量の画像データの中か
ら目的の画像データを簡単に検索することが可能になる
という有効な効果が得られる。
構図が異なる場合においても、大量の画像データの中か
ら目的の画像データを簡単に検索することが可能になる
という有効な効果が得られる。
【００５５】また、クラスタリングニューラルネット部
をユーザにより構図パターンを学習させて構成すること
により、ユーザそれぞれの目的に特価した正確な画像の
検索が可能になるという有利な効果が得られる。
をユーザにより構図パターンを学習させて構成すること
により、ユーザそれぞれの目的に特価した正確な画像の
検索が可能になるという有利な効果が得られる。
【図１】階層型ニューラルネットのバックプロパゲーシ
ョン法における学習機能を示す説明図
ョン法における学習機能を示す説明図
【図２】画像の構図情報によるクラスタリング処理を示
す説明図
す説明図
【図３】クラスタリングニューラルネットの学習処理手
順を示すフローチャート
順を示すフローチャート
【図４】所定のキーワードのカテゴリに属する画像を判
別する判別ニューラルネットの構築手順を示す説明図
別する判別ニューラルネットの構築手順を示す説明図
【図５】本発明の一実施の形態における画像検索装置を
示すブロック図
示すブロック図
【図６】図５の画像検索装置による画像検索手順を示す
フローチャート
フローチャート
【図７】図５の画像検索装置による画像検索の具体例を
示す説明図
示す説明図
【図８】従来の画像検索装置の構成を示す説明図
【図９】図８の画像検索装置における画像の登録過程を
示すフローチャート
示すフローチャート
【図１０】図８の画像検索装置における登録された画像
の検索過程を示すフローチャート
の検索過程を示すフローチャート
３ 入力装置 ６ 画像データベース ７ 画像読み込み部 ８ 構図情報抽出部 ９ クラスタリングニューラルネット部 １０ 画像特性抽出部 １１ 判別ニューラルネット部 １２ 画像表示部
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 ＦＩ Ｇ０６Ｆ 15/70 ３３０Ｑ
Claims (4)
- 【請求項１】検索対象画像が所定のキーワードとして入
力される入力装置と、 画像データが蓄積された画像データベースと、 前記画像データベースの中から抽出された検出対象の画
像を読み込む画像読み込み部と、 前記画像から構図情報を抽出する構図情報抽出部と、 前記構図情報抽出部により抽出された前記画像の構図情
報を元に、ニューラルネットによりクラスタリングを行
うクラスタリングニューラルネット部と、 前記画像の画像特性情報を抽出する画像特性抽出部と、 前記クラスタリングニューラルネット部および前記画像
特性抽出部により得られたクラスタリング及び画像特性
から、前記画像が入力されたキーワードのカテゴリに属
する画像か否かを判別する判別ニューラルネット部と、 前記画像がキーワードのカテゴリに属する場合に、これ
を表示させる画像表示部とを有することを特徴とする画
像検索装置。 - 【請求項２】前記画像データベースは、装置内に有して
いることを特徴とする請求項１記載の画像検索装置。 - 【請求項３】前記画像データベースは、ネットワーク上
に点在する複数の画像であることを特徴とする請求項１
記載の画像検索装置。 - 【請求項４】前記クラスタリングニューラルネット部
は、ユーザにより構図パターンを学習させてなることを
特徴とする請求項１、２または３記載の画像検索装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10020574A JPH11219365A (ja) | 1998-02-02 | 1998-02-02 | 画像検索装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10020574A JPH11219365A (ja) | 1998-02-02 | 1998-02-02 | 画像検索装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH11219365A true JPH11219365A (ja) | 1999-08-10 |
Family
ID=12030982
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10020574A Pending JPH11219365A (ja) | 1998-02-02 | 1998-02-02 | 画像検索装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH11219365A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100343555B1 (ko) * | 1999-11-01 | 2002-07-19 | 이윤주 | 이미지에 기반한 색채 정보 제공 시스템 및 컴퓨터 시스템을 이용한 색채 정보 제공 방법 |
| JP2007193467A (ja) * | 2006-01-18 | 2007-08-02 | Dainippon Printing Co Ltd | イメージ素材検索システム |
| JP2007200249A (ja) * | 2006-01-30 | 2007-08-09 | Nippon Telegr & Teleph Corp <Ntt> | 映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
| JP2007524898A (ja) * | 2003-04-22 | 2007-08-30 | マイクロソフト コーポレーション | リレーションシップビュー |
| US9424563B2 (en) | 2005-03-11 | 2016-08-23 | Microsoft Technology Licensing, Llc | Accessing medial context information using contextual links |
| JP2018081452A (ja) * | 2016-11-15 | 2018-05-24 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
-
1998
- 1998-02-02 JP JP10020574A patent/JPH11219365A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100343555B1 (ko) * | 1999-11-01 | 2002-07-19 | 이윤주 | 이미지에 기반한 색채 정보 제공 시스템 및 컴퓨터 시스템을 이용한 색채 정보 제공 방법 |
| JP2007524898A (ja) * | 2003-04-22 | 2007-08-30 | マイクロソフト コーポレーション | リレーションシップビュー |
| US7689525B2 (en) | 2003-04-22 | 2010-03-30 | Microsoft Corporation | Relationship view |
| US9424563B2 (en) | 2005-03-11 | 2016-08-23 | Microsoft Technology Licensing, Llc | Accessing medial context information using contextual links |
| US11481086B2 (en) | 2005-03-11 | 2022-10-25 | Microsoft Technology Licensing, Llc | Accessing media context information using contextual links |
| JP2007193467A (ja) * | 2006-01-18 | 2007-08-02 | Dainippon Printing Co Ltd | イメージ素材検索システム |
| JP2007200249A (ja) * | 2006-01-30 | 2007-08-09 | Nippon Telegr & Teleph Corp <Ntt> | 映像検索方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 |
| JP2018081452A (ja) * | 2016-11-15 | 2018-05-24 | キヤノン株式会社 | 画像処理装置、画像処理方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100332940B1 (ko) | 유사 검색 장치 및 유사 검색 프로그램을 기록한 기록 매체 | |
| Ma et al. | Contrast-based image attention analysis by using fuzzy growing | |
| CN110210542B (zh) | 图片文字识别模型训练方法、装置及文字识别系统 | |
| JP2001515623A (ja) | コンピュータによるテキストサマリ自動生成方法 | |
| JP2004334594A (ja) | 画像検索装置、画像検索方法、画像検索プログラム及びそのプログラムを記録した記録媒体 | |
| CN111212303A (zh) | 视频推荐方法、服务器和计算机可读存储介质 | |
| CN109299245A (zh) | 知识点召回的方法和装置 | |
| JP3488063B2 (ja) | 情報分類方法、装置及びシステム | |
| US7373021B2 (en) | Image search program, information storage medium, image search apparatus and image search method | |
| JP4245872B2 (ja) | 類似度判定方法および装置並びにプログラム | |
| Yang et al. | A new quantitative evaluation method of urban skyline based on object-based analysis and constitution theory | |
| CN110674388A (zh) | 推送项目的配图方法、装置、存储介质和终端设备 | |
| JPH11219365A (ja) | 画像検索装置 | |
| CN115797795A (zh) | 基于强化学习的遥感影像问答式检索系统及方法 | |
| JPH0944518A (ja) | 画像データベースの構築方法と、画像データベースの検索方法及び検索装置 | |
| JP2003157439A (ja) | 画像のカテゴリー化による画像特徴量の相関抽出方法とその相関抽出装置 | |
| JP2001195579A (ja) | 画像評価装置 | |
| JP2000048041A (ja) | データ検索システム及びこれに用いる装置 | |
| JP3155033B2 (ja) | 類似尺度構成処理方法 | |
| CN110825898A (zh) | 美甲套图推荐方法、装置、电子设备、及存储介质 | |
| JP2004126848A (ja) | 類似事例検索方法 | |
| CN116246176A (zh) | 一种农作物的病害检测方法、装置、电子设备及存储介质 | |
| CN110689079B (zh) | 一种处理方法、处理装置及电子设备 | |
| CN116188027A (zh) | 商品语义向量生成方法及装置和商品召回方法及系统 | |
| JP2002207755A (ja) | イベントデータに関する情報管理装置 |