JPH09265472A - 画像データベースシステム - Google Patents

Abstract

(57)【要約】 【課題】画像に文字列キーワードが登録されていない場
合でも、文字列キーワードで画像の検索を可能にする画
像データベースシステムを提供することにある。さら
に、画像ファイルにキーワードを自動登録する画像デー
タベースシステムを提供することにある。 【解決手段】画像データベース３は検索対象となる画像
ファイルを記憶しており、キーワード用画像ファイル４
は辞書ファイルで、画像とそれに対応する文字列キーワ
ードを対に記憶している。入力手段５から文字列キーワ
ードが入力されると、キーワード画像置換部６はキーワ
ード用画像ファイル４を利用して、入力手段５から入力
された文字列キーワードに一致するキーワードとそれに
対応する画像を置換する。画像認識部７は置換された画
像と画像データベース３の画像ファイルとをマッチング
認識して、画像を検索、出力する。また、画像認識部７
は上記画像データベース３の画像ファイルに保持された
画像に一致するキーワード用画像ファイル４の画像を認
識し、一致する画像に対応する文字列キーワードを上記
画像データベース３の画像ファイルに登録する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データのデー
タベースの作成とその検索を行う画像データベースシス
テムに関する。

【０００２】

【従来の技術】従来の文字を主体としたデータベースに
対し、画像ファイルを保存、検索できる画像データベー
スシステムが増加してきた。文字主体のデータベースで
は、データベースの各ファイルに検索用のキーワードが
付加されており、検索時に探したいファイルのキーワー
ド文字列を入力し、この文字列とデータベースのキーワ
ードとのマッチングによりファイルを検索する。また、
検索用キーワードが付加されていなくとも、ファイル自
身が文字列から構成されている為、ファイル自身にある
文字列をキーワードとして検索することも可能である。
ところが、画像ファイルではデータベースのファイル自
身が画像であるため、データベースへのファイル登録時
に、画像に対応した文字列を決定し、文字列を画像ファ
イルに付加する必要があった。そして、その文字列をも
とに画像データベースのファイル検索を行っていた。特
開平６−２８２５８２号公報は、画像内に含まれる語句
を自動的に判別して抽出し、文字列として画像データと
ともにデータベースに登録する方法を開示している。上
記公報では、画像内に含まれる語句を抽出、認識し、そ
れを画像に対する登録情報として画像データに自動登録
する技術を開示している。

【０００３】

【発明が解決しようとする課題】上記従来技術において
は、文字列をキーワードとして登録しないと画像の検索
ができないという問題がある。また画像に対するキーワ
ードの登録には画像内に文字が含まれている場合は、そ
れを読み取ることにより画像データにキーワードとして
登録することができる。しかし、画像内に文字がない場
合は、キーワードとして何も登録することができないと
いう問題がある。

【０００４】本発明の目的は、画像に文字列キーワード
が登録されていない場合でも、文字列キーワードで画像
の検索を可能にする画像データベースシステムを提供す
ることにある。

【０００５】また本発明の他の目的は、画像ファイルに
キーワードを自動登録する画像データベースシステムを
提供することにある。

【０００６】

【課題を解決するための手段】上記第１の目的を達成す
るために、第１の記憶手段で検索対象となる画像を保持
する複数の画像ファイルを記憶し、第２の記憶手段で画
像とこの画像に対応する文字列キーワードとを対にして
記憶し、キーワード画像置換手段で入力手段から入力さ
れた文字列キーワードと一致する文字列キーワードを有
する画像を上記第２の記憶手段から出力し、認識手段で
キーワード画像置換手段から出力された画像と一致する
画像を保持する画像ファイルを上記第１の記憶手段から
取り出すようにしたものである。

【０００７】また上記第２の目的を達成するために、第
１の記憶手段で検索対象となる画像を保持する複数の画
像ファイルを記憶し、第２の記憶手段で画像とこの画像
に対応する文字列キーワードとを対にして記憶し、認識
手段で上記第１の記憶手段の画像ファイルに保持された
画像に一致する第２の記憶手段の画像を認識し、一致す
る画像に対応する文字列キーワードを上記第１の記憶手
段の画像ファイルに登録するようにしたものである。

【０００８】

【発明の実施の形態】以下、本発明の一実施例を図面を
参照して説明する。

【０００９】図１は、本発明の一実施例である画像検索
システムの構成を示したものである。画像検索システム
１は全体を制御する制御部２を有し、制御部２に各部が
バスを介して接続されている。画像データベース３は検
索対象となる画像を保持する複数の画像ファイルを格納
している。画像ファイルの例は図３に示し、後で説明す
る。キーワード用画像ファイル４はいわゆる辞書ファイ
ルで、画像データベース３中現れる頻度の高い部分画像
と、その部分画像に付けられた文字列キーワードを対に
して格納している。入力手段５は検索を行うための文字
列キーワードを入力するためのものである。キーワード
画像置換部６は、入力手段５から入力された文字列キー
ワードを用いてキーワード用画像ファイル４を検索し、
入力された文字列キーワードと一致するキーワードを持
つ画像を出力することにより、文字列キーワードと画像
との間での置換を行う。画像認識部７はキーワード画像
置換部６で置換された画像により、画像データベース３
を検索し、一致する画像を保持する画像ファイルを出力
手段８へ出力する。これにより、入力手段５から入力さ
れた文字列キーワードに対応する画像を保持する画像フ
ァイルを検索、出力できる。

【００１０】図２はキーワード用画像ファイル４内の各
画像の記憶状態を示したもので、文字列キーワード部４
ａとそれに対応する画像部４ｂが対になって記憶されて
いる。例えば、「△」という画像に対して「三角」とい
う文字列キーワードが対になって記憶され、山の形をし
た画像に対して「山」という文字列キーワードが対にな
って記憶されている。また画像と文字列キーワードとは
必ずしも一対一の対応ではなく、「○」という画像に対
して「円、丸」という複数の文字列キーワードとが対に
なって記憶されていることもある。キーワード画像置換
部６は文字列キーワードとそれに対応する画像の置換を
行うとき、このキーワード用画像ファイル４を参照して
置換を行う。

【００１１】図３は画像データベース３内の各画像ファ
イルを示す。各画像ファイルは画像付帯情報部３ａと画
像部３ｂとからなる。画像付帯情報部３ａには各画像フ
ァイルのファイル名、データ容量、画像のタイトル、フ
ァイルフォーマット、検索用文字列キーワードおよび登
録日付等の記録欄が設けられていて、画像部３ｂには画
像付帯情報部３ａに対応する画像が記憶されている。

【００１２】次に、図４により本発明の動作を説明す
る。図４は画像に文字列キーワードが登録されていない
場合に、文字列キーワードで画像の検索を行う処理の流
れを示したものである。画像検索の際、まず入力手段５
で検索したい画像に対応する文字列キーワードを入力す
る（２１）。次に、キーワード画像置換部６はこの入力
された文字列キーワードとキーワード用画像ファイル４
の文字列キーワード部４ａとのマッチング処理を行い、
この文字列キーワードがキーワード用画像ファイル４の
中にあるかどうかを判断する（２２）。一致する文字列
キーワードがある場合はキーワード画像置換部６は一致
した文字列キーワードに対応する画像をロードすること
により、入力された文字列キーワードをそれに対応する
画像と置換して出力する（２３）。対応する文字列キー
ワードがない場合は別の文字列キーワードを入力するか
どうかを利用者に聞き（２９）、入力する場合はステッ
プ２１に戻り、入力しない場合は処理を終了する。次に
制御部２は画像データベース３から画像ファイルをロー
ドし（２４）、画像認識部７はキーワード画像置換部６
から出力された画像とこの画像ファイルが保持している
画像とのマッチング認識を行う（２５）。この画像マッ
チング認識では、画像データベース３からロードした画
像ファイルの任意の部分画像を切り出し、キーワード画
像と同一サイズに正規化したのちキーワード画像と画素
毎に排他的論理和を取る等の画像処理を施し、共通部分
の面積を計算するなどの手法を用いる。そしてキーワー
ド画像置換部６から出力された画像が、検索対象である
画像データベース３からロードした画像ファイルに一致
する画像があるかどうかの判定を行い（２６）、見つか
った場合はその画像ファイルを検索結果として出力手段
８に出力する（２７）。この、キーワード画像置換部６
から出力されたある画像に対する一連の検索処理を、画
像データベース３内の検索範囲のすべての画像について
行う（２８）。これにより、入力手段５から入力された
文字列キーワードに対応する画像を保持する画像ファイ
ルを検索、出力できる。

【００１３】図５は、画像中の人物画像を検索、出力す
る例である。まず、入力手段５で検索したい画像に対応
する文字列キーワード「人物」を入力する（図４（２
１））と、「人物」という文字列キーワードがキーワー
ド用画像ファイル４（図２）にあるかどうかを検索し
（図４（２２））、あるときはキーワード画像置換部６
がこの「人物」という文字列キーワードに対応する人物
画像を出力する（図４（２３））。次に画像認識部７が
この人物画像４ｂと画像データベース３内のある画像フ
ァイルの画像３ｂとの画像マッチング認識を行う（図４
（２５））。画像マッチング認識の結果、画像３ｂ中の
右下に人物画像３ｃが検出されると、この画像３ｂを保
持する画像ファイルが出力手段８に出力される（図４
（２７））。

【００１４】検索処理速度の観点からは、上記の画像を
用いた検索よりも一般に用いられている文字列キーワー
ドによる検索の方が格段に処理速度が速い。そのため、
画像ファイルが保持する画像に対応した文字列キーワー
ドを容易に登録することができれば、データベースシス
テムを用いた検索処理の高速化を可能にする。

【００１５】図６は、本検索システムを用いて、画像デ
ータベース内の画像ファイルに対して、画像に対応する
文字列キーワードを登録する処理の流れを示したもので
ある。図６において、制御部２はまず画像データベース
３から画像ファイルをロードし（３１）、さらにキーワ
ード用画像ファイル４からも画像をロードする（３
２）。そして、図４のステップ２５と同様に、画像認識
部７は、（３１）で画像データベース３からロードした
画像ファイルが保持する画像に、（３２）でロードした
画像に一致する画像が含まれているか否かの画像マッチ
ング認識を行う（３３）。その認識結果を判定し（３
４）、目標の画像が（３１）で画像データベース３から
ロードした画像ファイルが保持する画像内に見つかった
場合は、キーワード画像置換部が（３２）でロードした
画像を文字列キーワードに置換する（３５）。そして、
制御部２はこの文字列キーワードを画像データベースに
送り、認識対象画像ファイルの画像付帯情報部の検索用
文字列キーワード欄に書き込み登録を行う（３６）。
（３４）で目標の画像が画像ファイルが保持する画像内
に見つからなかった場合は、キーワード用画像ファイル
４内の画像でまだマッチングを行っていない画像がある
かどうかを判断し（３７）、あるなら（３２）に戻って
別の画像をロードし、ないなら処理を終了する。

【００１６】図６に示すキーワード生成・登録処理は、
画像登録時に実施しても、またキーワード無しで画像フ
ァイルを登録し、データベースに画像ファイルが一定量
登録された時点で全ての画像ファイルに対し一括に実施
してもよい。また、画像検索がしやすいように、一つの
画像ファイルに対して複数のキーワードを登録するよう
にしてもよい。図２の例では画像に対してその形状を文
字列キーワードとしている例を示したが、これに限られ
るものではない。例えば、画像の形状ではなくて、色や
その他の特徴を文字列キーワードとして画像に対応させ
てもよい。また、キーワード用画像ファイル４に登録さ
れる画像は、画像そのものでなく、画像を認識するため
の定義を登録していてもよい。例えば、文字列キーワー
ドとして画像の形状ではなく、黒い画像を検索するた
め、「黒」といった文字列キーワードを入力してもよい
とした場合、文字列キーワードが「黒」というものに対
応する画像部に「ある領域内において黒い部分が９０％
以上あるものを黒と判断する」という定義を記憶してお
く。「黒」という文字列キーワードが入力手段５から入
力されたとき、画像認識部７はキーワード用画像ファイ
ル４に記憶された定義に従って、検索対象の画像に対し
て黒い部分の割合を調べる画像処理を行い、黒い部分が
９０％以上あるときはその画像が「黒」を含む画像と判
断し、その画像を出力する。さらに、キーワード用画像
ファイル４に登録される画像は、画像そのものでなく、
画像認識部７で実行される認識プログラムでも構わな
い。例えば、赤い色の部分を認識する、画像の輪郭をと
る等の認識プログラムである。文字列キーワード「赤」
に対応する画像部に「赤い色の部分を認識する認識プロ
グラム」が記憶されているとすると、「赤」という文字
列キーワードが入力手段５から入力されたとき、画像認
識部７は文字列キーワード「赤」に対応する画像部に記
憶されている認識プログラムに従って認識処理を実行し
て、赤い部分を含む画像ファイルを出力する。いずれの
場合でも、文字列キーワードとの対応は必要である。

【００１７】図７は、図６に示す処理を行って、画像デ
ータベース３内の画像ファイルに、その画像に対応する
文字列キーワードが登録された様子を示す。文字列キー
ワードの登録に際し、画像データベース３からある画像
ファイルをロードし、次にキーワード用画像ファイル４
からある画像をロードし、その画像と画像ファイルが保
持する画像との画像マッチング認識を行う（図６（３
３））。そして画像マッチング認識を行った結果、画像
が一致した場合は、その画像に対応するキーワードを画
像データベース３からロードした画像ファイルに登録す
る（図６（３６））。これにより、画像ファイルに自動
的に文字列キーワードを登録することができる。

【００１８】以上は、静止画の画像データベースに関し
ての実施例であるが、動画についても、動画の各フレー
ムを静止画とみなし、その各フレームを上記第１の記憶
手段に記憶しておくことにより、上記の画像検索システ
ムがそのまま動画にも利用できる。その場合、動画を各
フレームに分けるとフレームの数が多くなるので、フレ
ームの一部を記憶しておくなどの方法が考えられる。

【００１９】またキーワードの入力を行う入力手段は、
一般的にはキーボードが多いが、本画像検索システムを
ネットワーク接続に接続し、回線を介したクライアント
端末または別のネットワークシステムからの入力するよ
うにしてもよい。

【００２０】

【発明の効果】多数の画像をファイリングし検索を行え
る画像データベースシステムにおいて、利用者が画像特
徴を文字列キーワードとして入力することにより、その
特徴を持つ目的画像を検索できる。さらに、データベー
スへの画像ファイル登録において、登録者が画像ファイ
ルに適当なキーワードを考え登録する作業を行わなくて
も、画像認識部が画像特徴を認識して画像特徴を表すキ
ーワードを画像ファイルに登録するため、登録者のデー
タベース登録作業を軽減できる。

【図面の簡単な説明】

【図１】本発明の一実施例のシステム構成を示す図であ
る。

【図２】図１のキーワード用画像ファイルの具体例を示
す図である。

【図３】図１の画像データベースの具体例を示す図であ
る。

【図４】図１のシステムにおける文字列キーワードによ
る画像検索処理の流れを示す図である。

【図５】画像検索処理の具体例を説明する図である。

【図６】図１のシステムにおける文字列キーワード登録
フロー処理の流れを示す図である。

【図７】文字列キーワードの登録処理の例を示す図であ
る。

【符号の説明】

１：画像検索システム、３：画像データベース、４：キ
ーワード用画像ファイル、５：入力手段、６：キーワー
ド画像置換部、７：画像認識部、８：出力手段

Claims (2)

【特許請求の範囲】
1. 【請求項１】検索対象となる画像を保持する複数の画像
   ファイルを記憶する第１の記憶手段と、画像とこの画像
   に対応する文字列キーワードとを対にして記憶する第２
   の記憶手段と、文字列キーワードを入力する入力手段
   と、該入力手段で入力された文字列キーワードと一致す
   る文字列キーワードを有する画像を上記第２の記憶手段
   から出力するキーワード画像置換手段と、キーワード画
   像置換手段から出力された画像と一致する画像を保持す
   る画像ファイルを上記第１の記憶手段から取り出す認識
   手段とを有し、入力された文字列キーワードに対応する
   画像を持つ画像ファイルを上記第２の記憶手段から検索
   し、出力することを特徴とする画像データベースシステ
   ム。
2. 【請求項２】検索対象となる画像を保持する複数の画像
   ファイルを記憶する第１の記憶手段と、画像とこの画像
   に対応するキーワードとを対にして記憶する第２の記憶
   手段と、上記第１の記憶手段の画像ファイルに保持され
   た画像に一致する第２の記憶手段の画像を認識し、一致
   する画像に対応するキーワードを上記第１の記憶手段の
   画像ファイルに登録する認識手段とを有することを特徴
   とする画像データベースシステム。