JPH1153373A

JPH1153373A - データ検索装置およびデータ検索方法およびデータ検索プログラムを格納した記憶媒体

Info

Publication number: JPH1153373A
Application number: JP9206103A
Authority: JP
Inventors: Takayoshi Odate; 貴義大館
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1997-07-31
Filing date: 1997-07-31
Publication date: 1999-02-26

Abstract

(57)【要約】【課題】データベースに登録させたくない一時的なデ
ータを、データベースに登録させることなしに検索でき
る装置を供給すること。【解決手段】通常データベースとは別にＲＡＭ上に新
しい第２のデータベースを作成し、その一時的なデータ
ベースに一時的に検索したいデータを登録し検索処理を
行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、データ検索方法お
よび装置およびその制御プログラムが格納された記憶媒
体であり、データの検索技術に関するものである。

【０００２】

【従来の技術】従来技術のデータベース検索プログラム
における登録・検索の流れを図１を用いて説明する。デ
ータベース検索プログラムは、まずステップS101でデー
タベース検索を行うための初期設定を行う。

【０００３】ステップS102では、ユーザから入力された
指示がデータの登録なのか、データベースの検索なのか
を判断する。もし、ステップS102で登録指示だと判断す
ると、ステップS103に処理が進み、登録すべきデータを
ハードディスクやＣＤ−ＲＯＭ等の記憶手段に格納され
ているデータファイルから読み込む。

【０００４】続いてステップS104で、ステップS103で読
み込んだ登録データから属性情報の抽出・生成を行う。
簡単に説明すると、例えば、登録データ中の文書情報か
らキーワードとして単語を抽出する。この単語の抽出
は、文章中の文字を2文字づつ解析し、辞書に登録され
ているレベルの単語が存在を判断するのである。また、
文章中の単語だけでなく、ヘッダーなどについている情
報を検索することもある。他には、キーワード以外とし
て、画像特徴量を抽出する場合もある。画像特徴量と
は、画像データ特有の特徴であり、色合い、明度、コン
トラスト、またそれらの違いがでる位置などを計算し、
ある値として生成する技術がある。

【０００５】次にステップS105では、ステップS104で抽
出・生成した情報（キーワードや画像特徴量）をデータ
ファイルと関連付けて（リンク情報を持たせて）ハード
ディスクなどの記憶手段にあるデータベースに登録す
る。登録処理が終わるとステップS102に戻り、ユーザか
らの指示を待つ。

【０００６】また、ステップS102でユーザからの指示が
検索であった場合は、ステップS106に処理が進み、ステ
ップS105ですでに登録してあるデータベースから検索を
行う。例えば、ユーザから「海」というキーワードが指
定されている場合は、データベースに登録されているキ
ーワードから「海」というキーワードを探し、一致する
キーワードを持ったデータファイルをリンク情報に基づ
いて検索を行う。

【０００７】次にステップS107では、ステップS106で検
索した結果をディスプレイ等の出力装置に出力する。

【０００８】このようにして従来の検索は行われてい
る。

【０００９】

【発明が解決しようとしている課題】しかし従来の検索
では、データベースに登録したくないが、検索対象とし
て扱いたいデータが存在する場合でも、検索を行うには
必ずデータベースに登録しなければならないという問題
があった。

【００１０】また、すぐに検索をしたいが、データをデ
ータベースに登録する時間がない場合でも、データベー
スに登録する際や検索する際にデータベースのファイル
アクセスをしなければならず、データベース量も文書デ
ータのキーワードだと必要ないデータの検索も必要なの
でかなりの不必要な時間をかけてしまうという問題があ
った。

【００１１】また、一時的に検索を行った後で、検索で
使用した属性情報をデータベースに登録するか否か選択
できないという問題があった。

【００１２】また、１つの画像に対してのみしか属性情
報を持たせることができなかったので、検索処理に時間
がかかるという問題があった。

【００１３】また、キーワードや画像特徴量といった属
性情報しか有していなかったので、画像のどの部分にど
んな画像や色があるといった検索ができないという問題
があった。

【００１４】また、属性情報の検索条件は１つだったの
で、複数条件によって、絞り込んで検索を行うというこ
とができないとい問題があった。

【００１５】また、検索結果として画像全体を表示して
いたので表示処理に時間がかかるという問題があった。

【００１６】

【課題を解決するための手段】上記課題を解決するため
の手段として、登録データの属性情報を含む第１データ
ベースを格納する第１記憶手段と、前記第１記憶手段に
格納されている第１データベースとは別に、一時的な登
録データの属性情報を含む第２データベースを格納する
第２記憶手段とを有することにより、通常のデータベー
スと一時的なデータ用のデータベースを分けたので高速
なデータ検索が可能となる。

【００１７】また、上記第２データベースを上記第１デ
ータベースに登録する合成手段を更に有したことによ
り、一時的に使用したデータベースを正式なデータベー
スに登録することが可能となった。

【００１８】また、上記合成手段で上記第２データベー
スを上記第１データベースに登録するか否かを選択する
選択手段を更に有したことにより、検索で使用した属性
情報を正規のデータベースに登録するか否かをユーザの
意志で選択可能となった。

【００１９】また、上記第１または第２データベースに
登録すべきデータの属性情報を登録する登録手段を更に
有したことにより、データベースへ属性情報の登録する
ことが可能となる。

【００２０】また、上記装置において、検索すべき属性
情報を入力する入力手段と該入力手段で入力された属性
情報を検索する検索手段を更に有したことにより、高速
な検索が行えるようになった。

【００２１】また、上記説明した手段は、装置に限ら
ず、方法および情報処理装置を制御することにより実現
させることが可能なプログラムを記憶した記憶媒体であ
っても実現可能である。

【００２２】

【発明の実施の形態】

（第１実施例）以下図面を参照して本発明を詳細に説明
する。

【００２３】図２は、本発明のデータ検索装置の全体構
成の一例である。

【００２４】図２の構成において、１０１はマイクロプ
ロセッサ（ＣＰＵ）であり、画像情報検索のための演
算、論理判断等を行い、システムバス１０２を介して接
続された各構成要素を制御する。

【００２５】システムバス１０２は、詳細には、ＣＰＵ
１０１の制御の対象とする構成要素を指示するアドレス
信号を転送するアドレスバスと、ＣＰＵ１０１の制御の
対象とする各構成要素のコントロール信号を転送するコ
ントロールバスと、各構成要素（機器）相互間のデータ
転送を行うデータバスとからなる。

【００２６】１０３は入力装置であり、ポインタ等を動
かして指示を入力するマウスや電子ペンなどのポインテ
ィングデバイスや、アルファベットキー、ひらがなキ
ー、カタカナキー、句読点等の文字記号入力キー、検索
を指示する検索キーおよびカーソル移動を指示するカー
ソル移動キー等のような各種の機能キーのいくつかを備
えているキーボードなどのユーザからの入力を補助する
ものである。

【００２７】１０４はスキャナであり、スキャナ台に置
かれた紙等の記録媒体の原稿からビットイメージデータ
として入力制御を行う。

【００２８】１０５はリードオンメモリ（ＲＯＭ）であ
り、読み出し専用の固定メモリであり、システムプログ
ラムを格納している。

【００２９】１０６は１ワード１６ビットで構成される
書込む可能なランダムアクセスメモリ（ＲＡＭ）であ
り、各構成要素からの各種データの一時記憶に用いられ
る。

【００３０】図示省略したが、ＲＡＭ１０６には入力検
索語格納バッファWBUF、検索対象識別バッファFBUF、検
索結果出力バッファOBUFが一時記憶される。また、アプ
リケーションプログラムを格納するとともに、ＣＰＵ１
０１による演算処理のための作業メモリとして用いられ
る。

【００３１】１０７はハードディスク、フロッピーディ
スク等に代表される外部記憶部であり、図３において後
述する画像IDと画像ファイル格納パスを対応づけた参照
テーブル、図４において後述する画像IDとキーワード、
画像特徴量を対応づけた参照テーブル、図５において後
述する画像特徴語と画像特徴とを対応づけた参照テーブ
ル、図６において後述するフローチャートに従って実行
されるプログラム、また図示省略されているが図６の工
程において参照される単語分割、単語種別判定のための
情報を格納した単語辞書DICが格納される。また、本実
施の形態で検索が行われる画像データのデータファイル
は、外部記憶部１０７であるハードディスク、フロッピ
ーディスク及びＣＤ−ＲＯＭ等に格納されている。

【００３２】１０８は表示制御部（ＣＲＴＣ：ＣＲＴコ
ントローラ）であり、表示用ビデオメモリに蓄えられた
内容を表示器１０９に表示する役割を担う。

【００３３】１０９は表示器（ＣＲＴ）であり、表示用
ビデオメモリに蓄えられた内容を表示する。

【００３４】１１０はキャラクタジェネレータ（ＣＧ）
であり、キャラクタコードとして入力された文字コード
を、ＲＯＭもしくはＣＧ内のフォント記憶部に格納され
ているフォントを基にビットイメージデータとして展開
する。

【００３５】１１１はネットワークインタフェース（Ｎ
ｅｔ／Ｉ／Ｆ）であり、このネットワークインタフェー
スを介してネットワークと接続されている。

【００３６】上記のような各構成要素からなる本発明の
データ検索装置においては、入力装置１０３からの各種
の入力及びネットワークインタフェース１１１から供給
される各種入力に応じて作動するものであって、入力装
置からの入力及びネットワークインタフェースからから
入力が供給されると、まず、インタラプト信号がＣＰＵ
１０１に送られ、そのＣＰＵ１０１が外部記憶部１０７
内に記憶してある各種の制御信号を読み出し、それらの
制御信号に従って、各種の制御が行われる。

【００３７】かかる各構成要素からなる本発明のデータ
検索装置においては、入力装置１０３からの入力および
ネットワークインタフェース１１１からの入力が供給さ
れると、まず、インタラプト信号がマイクロプロセッサ
ＣＰＵ１０１に送られ、そのマイクロプロセッサＣＰＵ
１０１が外部記憶部１０７内に記憶してある各種の制御
信号を読み出し、それらの制御信号に従って、各種の制
御が行われる。

【００３８】図１２は図１１に示す画像を複数のタイル
に分割した例を示している。この例では対象となる画像
を縦方向４タイル、横方向５タイルの計２０タイルに分
割している。図中の数字はタイル番号を示しており、画
像の左上から０、１、２．．．のように順次番号付けさ
れている。

【００３９】次のこのように画像をタイルに分割する画
像フォーマットの例を示し説明する。

【００４０】〔FlashPixTMファイルフォーマットの説
明〕以後説明するFlashPix^TM(FlashPixは米国Eastman K
odak社の登録商標)ファイルフォーマットでは、上記画
像ヘッダ部に格納されていた画像属性情報および画像デ
ータをさらに構造化してファイル内に格納する。この構
造化した画像ファイルを図１３、図１４に示す。

【００４１】ファイル内の各プロパティやデータにはMS
-DOSのディレクトリとファイルに相当する、ストレージ
とストリームによってアクセスする。図１３、図１４に
おいて、影付き部分がストレージで影なし部分がストリ
ームである。画像データや画像属性情報はストリーム部
分に格納される。画像データは異なる解像度で階層化さ
れておりそれぞれの解像度の画像をSubimageと呼び、Re
solution 0, 1,...nで示してある。各解像度画像に対し
て、その画像を読み出すために必要な情報がSubimage h
eaderに、また画像データがSbuimage dataに格納され
る。

【００４２】プロパティセットとは属性情報をその使用
目的、内容に応じて分類して定義したもので、Summary
Info. Property Set, Image Info. Property Set, Imag
e Content Property Set、Extension list property Se
tがある。

【００４３】〔各プロパティセットの説明〕１つめのSu
mmary Info. Property SetはFlashPix特有のものではな
く、Microsoft社のストラクチャードストレージでは必
須のプロパティセットで、そのファイルのタイトル・題
名・著者・サムネール画像等を格納する。

【００４４】２つめのImage Contents Property Setは
画像データの格納方法を記述する属性である(図１５)。
この属性には画像データの階層数、最大解像度の画像の
幅、高さや、それぞれの解像度の画像についての幅、高
さ、色の構成、あるいはJPEG圧縮を用いる際の量子化テ
ーブル・ハフマンテーブルの定義を記述する。

【００４５】３つめのImage Info. Property Setは画像
を使用する際に利用できるさまざまな情報、例えば、そ
の画像がどのようにして取り込まれ、どのように利用可
能であるかの情報を格納する。例えば以下のようなもの
がある。・デジタルデータの取り込み方法／あるいは生成方法
に関する情報（ File Source）・著作権に関する情報（ Intellectual property ）・画像の内容（画像中の人物、場所など）に関する情
報（ Content description ）・撮影に使われたカメラに関する情報（Camera inform
ation）・撮影時のカメラのセッティング（露出、シャッター
スピード、焦点距離、フラッシュ使用の有無など）の情
報（ Per Picture camera settings ）・デジタルカメラ特有解像度やモザイクフィルタに関
する情報（ Digital camera characterization ）・フィルムのメーカ名、製品名、種類（ネガ／ポジ、
カラー／白黒）などの情報（ Film description ）・オリジナルが書物や印刷物である場合の種類やサイ
ズに関する情報（ Original document scan descriptio
n ）・スキャン画像の場合、使用したスキャナやソフト、
操作した人に関する情報（ Scan device ）

【００４６】４つめのExtension list property Setは
上記FlashPixの基本仕様に含まれない情報を追加する際
に使用する領域である。

【００４７】図１４のFlashPix Image View Objectは画
像を表示する際に用いるビューイングパラメータと画像
データをあわせて格納する、画像ファイルである。ビュ
ーイングパラメータとは画像の回転、拡大／縮小、移
動、色変換、フィルタリングの処理を画像表示の際に適
応するために記憶しておく処理係数のセットである。

【００４８】Source/Result FlashPix Image ObjectはF
lashPix画像データの実体であり、Source FlashPix Ima
ge Objectは必須、Result FlashPix Image Objectはオ
プションである。Source FlashPix Image Objectはオリ
ジナルの画像データを、Result FlashPix Image Object
はビューイングパラメータ使ってを画像処理した結果の
画像を格納する。

【００４９】Source/Result desc. Property setは上
記、画像データの識別のためのプロパティセットであ
り、画像ＩＤ、変更禁止のプロパティセット、最終更新
日時等を格納する。

【００５０】Transform property setは回転、拡大／縮
小、移動のためのAffine変換係数、色変換マトリクス、
コントラスト調整値、フィルタリング係数を格納してい
る。

【００５１】次に画像データの取り扱いについて説明す
る。

【００５２】タイルに分割された複数の解像度の画像を
含む画像フォーマットの説明をする。

【００５３】図に解像度の異なる複数の画像から構成さ
れる画像ファイルの例を示す。図１６で最大解像度の画
像は列×行がＸ０×Ｙ０で構成されており、その次に大
きい画像はＸ０／２×Ｙ０／２であり、それ以降順次、
列・行ともに１／２づつ縮小し、列・行ともに６４画素
以下あるいは等しくなるまで繰り返す。

【００５４】このように階層化した結果、画像の属性情
報として「１つの画像ファイル中の階層数」やそれぞれ
の階層の画像に対して、従来の画像フォーマットの項で
説明したヘッダ情報と画像データが必要となる。１つの
画像ファイル中の階層の数や最大解像度の画像の幅、高
さ、あるいはそれぞれの解像度の画像の幅、高さ、色構
成、圧縮方式等に関する情報は前記Image Contents Pro
perty Set図１５中に記述される。

【００５５】さらに各解像度のレイヤの画像は図１７に
示すように６４×６４のタイルに分割されている。画像
の左上部から順次６４×６４のタイルに分割をすると、
画像によっては右端および下端のタイルの一部に空白が
生ずる場合がある。この場合はそれぞれ最右端画像また
は最下端画像を繰り返し挿入することで、６４×６４画
素を構築する。FlashPix^TMではそれぞれのタイル中の画
像をJPEG圧縮、シングルカラー、非圧縮のいずれかの方
法で格納する。JPEG圧縮はISO/IEC JTC1/SC29により国
際標準化された画像圧縮方式であり、方式自体の説明は
ここでは割愛する。このようにタイル分割された画像デ
ータはSubimage dataストリーム中に格納され、タイル
の総数、個々のタイルのサイズ、データの開始位置、圧
縮方法はすべてSubimage header(図１８)に格納されて
いる。

【００５６】シングルカラーとは、前記１つのタイルが
すべて同じ色で構成されている場合にのみ、個々の画素
の値を記録することなく、そのタイルの色を１色で表現
する方式である。この方法は特に、コンピュータグラフ
ィックスにより生成された画像で有効である。

【００５７】このように画像を階層化した上に各画像を
タイルに分割すると、従来キーワードで記述されていた
画像中の特徴的な部分が、それぞれのタイルに分離さ
れ、それぞれのキーワードを含むタイルと含まないタイ
ルとに分けられる。

【００５８】図１１の画像はFlashPixフォーマットよう
に階層的に画像を持つと、図１９のようになる。FlashP
ixフォーマットの画像ファイルは、複数の解像度の画像
を持っている。ここで、最低解像度の画像を解像度０
（レイヤー番号０）とし、順に解像度１、２、３と割り
振る。この解像度を表す数値情報である解像度情報を画
像指定情報（レイヤー番号）と以後述べる。この画像フ
ァイルを解像度のレイヤー毎に分割し、分割された画像
データを６４×６４画素のタイルに分割し、その各々の
タイルに含まれるキーワードを記述すると図２０にな
る。すなわち、画像指定情報であるレイヤー番号３にお
いて、タイル０、１、２、５、１０には空、タイル３、
４、８、９には空と太陽、タイル６、１１には空と男
性、タイル７、１２には空と女性、タイル１３、１４に
は空とヨット、タイル１５には海、タイル１６には海と
男性、タイル１７には海と女性、タイル１８、１９には
海とヨットのキーワードが割り当てられる。同様にレイ
ヤー番号０には、タイル０に空、太陽、海、男性、女
性、ヨットのキーワードが割り当てられる。

【００５９】図８、図９、図１０も図２と同様に２０個
のタイルに分割して格納された画像の例である。

【００６０】図３は本発明における画像IDと画像ファイ
ル格納パスを対応づけたテーブルを示している。301は
画像IDを示し、１つの画像ファイルにつき一意に付与さ
れた識別番号である。302は画像IDに対応する画像ファ
イルの外部メモリＤＩＳＫ14における格納先を示すファ
イルパスであり、MS−DOSのディレクトリとファイルに
相当する。例えば、図８の画像データにおいて、画像ID
が１５６３と本発明の検索プログラムにより付与され、
ファイルパスが対応して格納される。画像IDが１５６３
の画像データ（図８）は、ドライブXのFRUITという名の
フォルダ内の080.FPXというファイルであることを示し
ている。図９、１０、１１も同様に格納される。

【００６１】図４は画像IDと領域指定情報であるタイル
番号、属性情報であるキーワードと画像特徴を対応づけ
たテーブルを示す。401は図３の301と対応する画像IDを
格納し、402は各画像IDが持つタイル番号を格納する。4
03はタイル番号402に対応するタイルに描画されている
画像特徴を言葉にしたもので、キーワードを文字コード
（例えばunicode）で格納する。キーワードは１つのタ
イル番号について複数個格納してもよい。404はタイル
番号に対応するタイルの画像特徴を格納する。画像特徴
として、本発明では特にタイルの代表色として、タイル
を構成するＲＧＢ各画素値の平均をとり、２７色に減色
した色成分を用いる。減色の方法についてはＲＧＢ各画
素値を単純に分割する方法や参照テーブルを用いる方法
など公知の手法を用いる。図において画像IDが1024であ
る画像は20個のタイルをもち、タイル番号０のタイルに
は「空」というキーワードが付与され、画像特徴として
「11」という色成分が付与されている。

【００６２】図５は画像特徴語と画像特徴を対応づけた
テーブルである。本発明では画像特徴としてタイルの代
表色を用いており、画像特徴語として色を表す言葉を用
いる。501に特徴語として色名を文字コード（例えばuni
code）で格納し、502に色名の表す画像特徴量を色成分
で格納する。図示において、例えば色成分２、３、４を
持つものの色名は「赤」である。

【００６３】本実施例では、前述したように画像特徴量
として代表色を２７分割している。これは、Ｒ（Red）
軸、Ｇ（Green）軸、Ｂ（Blue）軸をそれぞれ３等分
し、ＲＧＢ空間を２７個のセルに分割することにより、
代表色を分けている。先ほどはタイルの平均値を求めた
が他の方法も考えられる。例えば、タイルの代表色の決
定は、タイルに含まれる６４×６４画素が、２７等分さ
れたセルのどこに当てはまるかを投票していき、もっと
も投票の多かったセルが代表色となる。２７等分された
セルは、０〜２６までの番号で表される。

【００６４】図6は本発明のデータ検索装置の登録・検
索動作を説明したフローチャートであり、以下、図6を
参照して動作を説明する。

【００６５】まずステップS601においてＣＰＵ１０１
は、ＲＯＭ１０５もしくはＲＡＭ１０６から検索プログ
ラムを立ち上げ、初期設定を行う。

【００６６】続いてステップS602においてＣＰＵ１０１
は検索プログラムに従って、入力装置１０３から入力さ
れた指示が検索する旨の指示なのか、それともデータベ
ースへの登録の指示なのかを判断する。ここで、入力さ
れた指示が検索指示であると判断された場合は、ステッ
プS603に処理を進め、該登録指示が従来同様のファイル
からのキーワードや画像特徴量の登録か、それともメモ
リ上に存在する一時的な仮のデータベースからの登録か
を判断する。

【００６７】ステップS603において、ファイルからの登
録であるとＣＰＵ１０１が判断すると、ステップS604に
処理を進め、登録すべきファイルから登録データの読み
込みを行う。登録データとは、登録すべきファイルに存
在する文書もしくは画像データのことである。例えば、
図８、９、１０、１１のような画像データを読み込む。

【００６８】次にステップS605において、該ファイルか
ら属性情報の抽出・生成を行う。属性情報としては、ま
ず、前述したように画像特徴量を生成したり、文書に含
まれるキーワードを抽出したりして得る登録データの情
報である。更に、通常ファイルは、図７のように、画像
ヘッダー部と画像データ部とに別れている。画像ヘッダ
ー部には画像フォーマット識別子や画像のピクセル数、
サイズや解像度などの属性情報が入っている。また、画
像フォーマットの１つであるフラッシュピックス（Flas
hPix）フォーマットでは、非画像情報として新しい情報
を付加することが可能であるので、ユーザが非画像情報
として、キーワードを付加していることも考えられる。
よって非画像情報として付加されているキーワードを属
性情報として抽出もする。図8を例に取ると、キーワー
ドとして「りんご」「バナナ」「背景」が抽出され、画
像特徴量として「２３」が生成される。

【００６９】また、実際にユーザによりキーワードが生
成され登録することも可能である。キーワードの抽出・
作成は、例えば、文書データのテキストを解析すること
により、外部記憶部１０７に格納されている単語辞書DI
Cを参照して、該当する単語を抽出し作成する。単語辞
書DICには、一般に使われる名詞が格納されている。ま
た、画像データにおいては、キーワードの作成は、ユー
ザが指定してもよく、ある領域の画像に対し、キーワー
ドを割り付けて記憶させてもよい。例えば、画像データ
に「りんご」の画像がある場合は、「りんご」が存在す
るタイルにキーワードとして「りんご」を割り付け、デ
ータベースの対応テーブルに画像IDとタイル番号とレイ
ヤー番号とに対応する個所にキーワードとして「りん
ご」が生成される。

【００７０】このようにして、属性情報であるキーワー
ドや画像特徴量が画像データから抽出、生成される。

【００７１】ステップS606において、ステップS605で抽
出・生成した属性情報と属性情報を抽出した登録データ
を関連付けてハードディスク等の外部記憶部１０７存在
するデータベースに図３、図４、図５のように登録す
る。前述したように図３のように画像IDと画像ファイル
パスの対応テーブルを作成し、図４のように画像IDと属
性情報との対応テーブルを作成することにより属性情報
と登録データをリンクできる。

【００７２】ステップS606でデータベースに登録が終了
すると、ステップS602に処理を戻し、入力装置からの指
示待ちになる。

【００７３】ステップS602において、入力装置からの指
示が検索指示であるとＣＰＵ１０１が判断するとステッ
プS607に処理が進み、該検索指示が一時的なデータも検
索対象とする検索指示なのかを判断する。一時的なデー
タも検索対象とするかの判断は図２１のダイアログボッ
クスでユーザの指示を判断することにより可能である。
ここで一時的なデータを検索対象としない旨、つまり、
通常データベースに登録されていないデータを検索対象
としない旨の検索指示の場合は、処理がステップS608に
進み、外部記憶装置１０７もしくはＲＡＭ１０６上のデ
ータベースから検索を行う。この検索処理は後述する
が、簡単には、例えば、図３、図４のようにデータベー
スに属性情報が格納されている場合、検索するべきキー
ワードが「りんご」と指示されると、画像ID１５６３、
１５６４、１５６５が検索される。また、画像特徴が
「１５」である検索指示を受けると、１５に対応する画
像はないので、一番近い画像特徴「１６」を持っている
画像ID１０２４が選択される。このようにして検索が行
われる。

【００７４】ステップS607において、一時的なデータも
検索対象とする旨の検索指示であるとＣＰＵ１０１が判
断した場合は、ステップS609に処理を進め、新たに一時
的なデータを検索対象に追加するかを判断する。本装置
の電源後初めて一時的なデータを検索する場合は、必ず
データの追加が必要である。二回目以降であれば、すで
にＲＡＭ１０６もしくは外部記憶部１０７に一時的なデ
ータベースが作成されているので、該一時的なデータベ
ースから検索するのか、新たに一時的なデータを登録す
るのかを判断する。ここでは、ステップS602において指
示された検索指示に基づいてもよいし、また、新たに入
力装置１０３からユーザによって指示させてもよい。一
時的なデータを検索対象にするかの指示は、ユーザが図
２２のようにユーザインタフェースを用いてダイアログ
ボックスで選択させる。

【００７５】一時的なデータを新たに検索対象に追加す
ると指示された場合は、ステップS610に処理を進め、検
索対象にいれる一時的なデータを選択する。図２３のよ
うに、例えば、ＣＤ−ＲＯＭ等の外部記憶装置１０７に
存在する画像ファイルを選択する。

【００７６】ステップS611において、ステップS610で選
択された画像ファイルから画像データを読み込む。

【００７７】次にステップS612において、通常のデータ
ベースへの登録と同様の方法（S605）で、ＣＤ−ＲＯＭ
等の外部記憶装置１０７の画像ファイル内の画像データ
から属性情報である画像特徴量やキーワードを抽出・生
成する。

【００７８】続いてステップS613において、画像データ
と抽出・生成した属性情報とをステップS606と同様に関
連付けてメモリ上に登録する。ここで、データベースに
登録するのではなく、ＲＡＭ１０６上に新しく一時的な
データ用のデータベースを作成し、属性情報と関連画像
データを登録するのである。

【００７９】ステップS614では、メモリ上の一時的なデ
ータ用データベースから検索を行う。例えば、ユーザか
ら入力装置１０３により入力されたキーワード「空」を
一時的なデータ用データベースに存在するかを判断し、
存在すればリンクされている画像IDもしくは画像データ
自体をピックアップする。また、検索する画像データが
指示された場合は、該検索する画像データの画像特徴量
と同じもしくは近い画像特徴量を持った画像データを近
い順にピックアップし、検索結果とする。

【００８０】続いて、ステップS615において、今度は外
部記憶装置１０７もしくはＲＡＭ１０６上の通常のデー
タベースからステップS614と同様に後述するような検索
処理を行う。

【００８１】ステップS616では、ステップS614とステッ
プS615において検索された検索結果をまとめる。例え
ば、検索結果の近い順にまとめるか、データベースから
の検索とメモリ上の一時的なデータ用データベースから
の検索とを別々に分けてまとめる。

【００８２】ステップS617では、ステップS616でまとめ
た検索結果を表示制御部１０８で制御して表示器１０９
で表示する。表示させるとステップS602に処理を戻す。

【００８３】ステップS609において、一時的なデータを
新たに追加しないと判断された場合は、登録処理を飛ば
して、ステップS614に処理を進め、上記説明したように
処理を行う。

【００８４】ステップS603において、登録指示がメモリ
上に存在する一時的な仮のデータベースからの登録であ
るとＣＰＵ１０１が判断した場合は、ステップS618に処
理を進め、ステップS613で属性情報を登録した一時的な
データ用データベースを通常の外部記憶装置１０７もし
くはＲＡＭ１０６上のデータベースに登録する。それぞ
れのデータベースのフォーマットは同じなので、それぞ
れのデータベースを合成するだけでよい。ステップS618
でデータベースの登録（合成）処理が終了すると、ステ
ップS602に処理を戻し、指示待ち状態になる。

【００８５】図２４は本発明のデータ検索装置の具体的
な検索処理動作のフローチャートである。図２４を用い
て検索処理動作について詳細に説明する。

【００８６】まずステップS2401において、検索する対
象となる検索語を入力する。この検索語はキーワードで
も画像特徴量でもよい。例えば、キーワードとして「り
んご」と指定してもよいし、画像特徴語として「赤い」
を入力してもよい。また、「赤いりんご」という指定も
可能である。更に、画像特徴量の場合、ある画像を指定
して、その画像に近い画像を検索する場合は、該検索対
象の画像の画像特徴量を抽出することにより検索語が取
得可能である。

【００８７】次にステップS2402において、単語種別を
行う。この単語種別は、入力された検索語がどういう種
類のものかを判断するのである。外部記憶部１０７に格
納されている単語辞書DICに格納されている色を表す単
語、例えば、「赤い」もしくは「赤」などが存在すれ
ば、画像特徴量を表す画像特徴語なので、ステップS240
4に処理を進め、単語辞書DICに存在する色以外の単語と
該当した場合は、ステップS2403に処理を進める。

【００８８】ステップS2403では、キーワード検索を行
う。キーワード検索は外部記憶部１０７もしくはＲＡＭ
１０６に格納された図４データテーブルを参照して行
う。検索テーブル（データテーブル）に検索語と一致す
るキーワード1101が存在するかチェックし、存在すれば
検索結果として出力バッファOBUFに格納する。存在しな
ければ検索タイル個数０個としてステップS2405の処理
に進む。

【００８９】ステップS2404は検索語が検索対象画像特
徴語（「赤い」、「青い」、「黒」、等）であると判別
された場合の処理であり、指定された画像特徴量を取得
する。画像特徴量の取得は外部記憶部１０７に格納され
た図５のデータテーブルを参照し、画像特徴語と一致す
る色名501をチェックする。一致した場合は対応する画
像特徴量を502より取り出し、ＲＡＭ１０６に一時記憶
される検索対象画像特徴格納バッファFBUFに格納する。
一致する色名が存在しなかった場合は、検索対象画像特
徴格納バッファFBUFに無効値（例えば負数）を格納す
る。

【００９０】続いて、検索対象画像特徴語が指定する検
索対象物を再度単語種別をすることにより取得する。例
えば、「赤い」という検索対象画像特徴語が修飾してい
る単語を探して、「りんご」という検索対象物を取得す
るのである。取得した検索対象物（例えば「りんご」）
を、ステップS2403におけるステップと同様の方法で検
索対象物と一致するキーワードを検索し、出力バッファ
OBUFに検索結果として画像ID、タイル番号とを格納して
おく。キーワードが検索された場合、出力バッファOBUF
に格納されている画像IDとタイル番号を取り出し、外部
記憶部１０７に格納された図４のデータテーブルを参照
して、画像ID、タイル番号に対応する画像特徴404を取
り出す。取り出された画像特徴がセットされた検索対象
画像特徴格納バッファFBUFと一致するかどうかをチェッ
クする。つまり、「赤いりんご」を検索する場合、キー
ワード検索で「りんご」を検索し、検索された画像IDか
ら図４のデータテーブルを参照して画像特徴（０〜２
６）を取得し、検索対象画像特徴（例では「赤い」）と
一致するかをチェックするのである。

【００９１】データテーブルを参照して取得した画像特
徴が検索対象画像特徴と一致した場合は、そのまま出力
バッファOBUFをもってステップS2405へ進む。画像特徴
が指定画像特徴と一致しなかった場合（「青りんご」
等）は、出力バッファOBUFから一致しなかったタイル番
号と画像IDとレイヤー番号を削除し、キーワード個数も
減じる。

【００９２】ステップS2405は、キーワード検索結果と
画像特徴量検索結果に基づいて画像データを表示する。

【００９３】ステップS2403、S2404のいずれかの処理に
よって出力された出力バッファOBUFを参照し、一致キー
ワード個数が０個であった場合は、検索結果が存在しな
かった旨を表示器１０９に表示する。キーワード個数が
０個でない場合は、ＲＡＭ１０６に格納されている出力
バッファOBUFに格納された先頭の画像IDと対応するタイ
ル番号とレイヤー番号を表示する。画像IDとタイル番号
を指定し、タイル番号に対応する画像データを外部記憶
部１０７上の画像ファイルより送り出し、表示器１０９
に表示する。

【００９４】例えば、キーワードで「ヨット」と検索さ
れると図１２のタイル番号１３、１４、１８、１９が検
索され、その４つのタイルだけ表示器１０９に表示され
るのである。「ヨット」の画像は図１２の画像に対して
面積で5分の1であり、表示に要する時間もそれに伴って
短くなる。また、このような画像が伝送速度の遅いネッ
トワーク上にある場合、画像データの転送に要する時間
も全画像を転送する場合に比べて短縮することが可能で
ある。

【００９５】また、例えば、検索語として「赤いりん
ご」を与えると、検索対象物のキーワードが「りんご」
である結果として、画像IDが1563、タイル番号が７、１
２、画像特徴が３、画像IDが1564でタイル番号が１３、
１４、１８、１９、画像特徴が１５、画像IDが1565でタ
イル番号が６、７、１１、１２、画像特徴が１５の３つ
の画像が得られるが、画像特徴として「赤」が指定され
ているため、「赤」に対応する画像特徴３をもつ画像ID
1563の画像データのみが検索結果として得られ、図６の
画像のみが表示される。

【００９６】上記の説明では、検索で該当した画像のタ
イルだけを表示したが、もちろんこれに限るものではな
く、該当したタイルを含む画像全体を表示してもよい。

【００９７】図２５は画像中の検索対象物の位置を指定
する属性情報の１つである位置指定語とタイル番号を対
応づけたテーブルであり、2701は位置指定語を文字コー
ド（例えばunicode）で格納する。本実施例では位置指
定語として、「上」、「左上」、「右上」、「中」、
「中央」、「中央左」、「中央右」、「下」、「左
下」、「右下」の10語を用いる。2702は分割されたタイ
ルに応じた位置指定語の表すタイル番号を格納する。例
えば位置指定語として「右上」が指定された場合、３、
４、８、９のタイル番号が検索対象として特定する。こ
のように位置指定語（位置指定情報）は、タイルの画像
に対応する位置を示している。

【００９８】このように位置指定語とタイル番号とを対
応づけたので以下のような検索が可能となる。

【００９９】図２４における検索処理において、「上は
白、下は青」というような検索語について処理をする場
合について説明する。始めに、検索語の入力方法につい
て説明する。

【０１００】まず、位置指定語を入力する。例えば、
上、下、右、左、中の５つの選択肢があり、そのなかの
１つをダイアログボックス等で選択する。

【０１０１】続いて画像特徴量を入力する。例えば、位
置指定語の選択により、新しいダイアログボックスが表
示され、その中の１つの色を選択できるする。位置指定
語の入力で「上」を選択した場合に、画像特徴量として
「白」、「青」、「赤」、「緑」、…などが表示され、
再度ダイアログボックスなどでユーザに選択させる。

【０１０２】こうしてユーザにより「上」と「白」が入
力された時に、更に条件を付け加えるかの旨の判断を図
２２や図２３のようなダイアログボックスで行う。更に
条件を加える場合は、上記処理を繰り返せばよい。

【０１０３】次に検索処理の流れを説明する。

【０１０４】検索時に位置指定語である「上」に対応す
るタイル番号を図２５の対応テーブルから抽出し、抽出
されたタイル番号である「０、１、２、３、４」のタイ
ルに画像特徴語「白」に対応する画像特徴量「２６」が
存在するかを図４のデータテーブル（検索テーブル）か
ら検索する。この最初の検索語に対応する検索結果とし
て図８、図９、図１０が得られる。

【０１０５】この画像の中から続いて残りの条件の検索
が行われる。つまり、前述した処理に続いて、次の位置
指定語である「下」に対応するタイル番号「１５、１
６、１７、１８、１９」を図２５の対応テーブルから抽
出し、一時検索で検索された画像の中の該当するタイル
に青の画像特徴量である「９、１０」のいずれかがある
かを図４を用いて検索する。すると、図４より画像ID１
５６３の画像が検索結果として得られ、図８の画像が表
示器１０９に表示される。

【０１０６】検索結果として位置指定語とともに検索さ
れたときは画像全体を検索結果として表示する。

【０１０７】また、本実施例では、外部記憶部１０７に
格納されている画像に関して検索処理を行ったが、ネッ
トワークインタフェース１１１を介してネットワーク上
の画像サーバにある画像を検索し、検索結果から必要な
画像だけをダウンロードすることによっても本発明を実
現することが可能である。この場合は、検索結果をタイ
ル単位で表示させる処理ではネットワークの負荷を減ら
し高速に表示ができる点で効果的である。

【０１０８】上記説明したように、本発明のデータ検索
装置のデータ検索プログラム（図６の処理）は検索処理
を実行する。尚、本データ検索プログラムは、ＲＯＭ１
０５に格納されている。しかしこれに限るものではな
く、図示省略したフロッピーディスクやＣＤ−ＲＯＭ等
の記憶媒体もしくはネットワークインタフェース１１１
からデータ検索プログラムを入力し、ＲＡＭ１０６もし
くはハードディスク等の外部記憶装置１０７に該検索プ
ログラムを展開し格納しておき、ＣＰＵ１０１が読み取
ってデータ検索装置としてパーソナルコンピュータやワ
ードプロセッサー等の情報処理装置を実行させても実現
可能であり、本発明の請求する発明はもちろんこのよう
な記憶媒体を含むものである。

【０１０９】このように、本発明では、ＣＤ−ＲＯＭ等
の外部記憶装置に存在する画像データをデータベースに
登録すること無しに検索することが可能となり、データ
ベースに登録したくない一時的なデータの検索をスムー
ズに行えるようになった。更に、検索終了後に、一時的
に使用した仮のデータベースを通常のデータベースに登
録することが可能となったので、使い勝手が更に向上す
る。また、通常のデータベースに登録するという処理を
行わなければ、システムの終了時にメモリ上のキーワー
ド等の属性情報は破棄され、次回起動時にはこの属性情
報は残っていないので、ユーザの意志のままにデータの
処理を行うことが可能となった。

【０１１０】

【発明の効果】このように、本発明では、ＣＤ−ＲＯＭ
等の外部記憶装置に存在する画像データをデータベース
に登録すること無しに検索することが可能となり、デー
タベースに登録したくない一時的なデータの検索をスム
ーズに行えるようになった。

【０１１１】更に、検索終了後に、一時的に使用した仮
のデータベースのデータを通常のデータベースに登録す
ることが可能となったので、使い勝手が更に向上する。

【０１１２】更に、ユーザの意志により仮のデータベー
スのデータを通常のデータベースに登録させるか否かを
選択することが可能となり、通常のデータベースに登録
するという処理を行わなければ、システムの終了時にメ
モリ上のキーワード等の属性情報は破棄され、次回起動
時にはこの属性情報は残っていないので、ユーザの意志
のままにデータの処理を行うことが可能となった。

【０１１３】また、１つの画像を複数の領域に分け、そ
れぞれに属性情報を持たせることができるようになった
ので検索処理が詳細に行えるようになった。

【０１１４】また、属性情報として位置指定情報をもた
せたことにより、検索結果の対象が画像のどの部分にあ
るかとい情報が得られるようになった。

【０１１５】また、属性情報の検索条件を複数選択でき
るようになったので、絞り込んで選択することができる
ようになった。

【０１１６】また、検索結果として該当する領域の画像
のみを表示できるようにしたので表示時間が少なくて済
むという効果が得られる。

【図面の簡単な説明】

【図１】従来の検索処理の流れを説明するフローチャー
ト図。

【図２】本発明の検索装置の構成を表すブロック図。

【図３】画像IDと画像ファイルパスの対応テーブル図。

【図４】画像IDと属性情報の対応テーブル図。

【図５】色名と画像特徴との対応図。

【図６】本発明の検索プログラムの処理の流れを説明す
るフローチャート図。

【図７】画像ファイルのフォーマットを表すメモリマッ
プ。

【図８】画像データの例。

【図９】画像データの例。

【図１０】画像データの例。

【図１１】画像データの例。

【図１２】画像データをタイル分割した例。

【図１３】フラッシュピックスイメージオブジェクトの
構造。

【図１４】フラッシュピックスイメージビューオブジェ
クトの構造。

【図１５】フラッシュピックスで用いられる属性情報。

【図１６】階層的に複数解像度の画像をもった画像ファ
イルのイメージ。

【図１７】画像を複数の固定領域に分割した例。

【図１８】フラッシュピックスのサブイメージヘッダー
情報。

【図１９】階層化されタイル状に分割された画像の例。

【図２０】画像IDとタイル番号とキーワードと画像特徴
量を対応づけたテーブルの構造。

【図２１】ステップS607のユーザの指示を判断する際の
ダイアログボックス。

【図２２】ステップS609のユーザの指示を判断する際の
ダイアログボックス。

【図２３】一時的なデータを選択する際のデータ位置を
指定するユーザインタフェース図。

【図２４】本発明の検索プログラムの処理の流れを説明
するフローチャート図。

【図２５】位置指定語とタイル番号とを対応づけたテー
ブルの構造。

【符号の説明】

１０１ＣＰＵ１０２システムバス１０３入力装置１０４スキャナ１０５ＲＯＭ１０６ＲＡＭ１０７外部記憶装置（部）１０８表示制御部１０９表示器１１０キャラクタジェネレータ（ＣＧ）１１１ネットワークインタフェース（Ｎｅｔ／Ｉ／
Ｆ）

Claims

【特許請求の範囲】

【請求項１】登録データの属性情報を含む第１データ
ベースを格納する第１記憶手段と、前記第１記憶手段に
格納されている第１データベースとは別に、一時的な登
録データの属性情報を含む第２データベースを格納する
第２記憶手段と、を有することを特徴とするデータ検索
装置。
【請求項２】前記属性情報は、キーワードを含むこと
を特徴とする請求項１記載のデータ検索装置。
【請求項３】前記属性情報は、画像特徴量を含むこと
を特徴とする請求項１記載のデータ検索装置。
【請求項４】前記属性情報は、位置指定情報を含むこ
とを特徴とする請求項1記載のデータ検索装置。
【請求項５】前記第２データベースを前記第１データ
ベースに登録する合成手段を更に有することを特徴とす
る請求項１記載のデータ検索装置。
【請求項６】前記合成手段で前記第２データベースを
前記第１データベースに登録するか否かを選択する選択
手段を更に有することを特徴とする請求項５記載のデー
タ検索装置。
【請求項７】前記第１または第２データベースに登録
すべきデータの属性情報を登録する登録手段を更に有す
ることを特徴とする請求項１記載のデータ検索装置。
【請求項８】検索すべき属性情報を入力する入力手段
と、前記第１データベースまたは前記第２データベース
とから検索を行う検索手段を更に有することを特徴とす
る請求項１記載のデータ検索装置。
【請求項９】前記検索手段の検索結果を表示する表示
手段を更に有することを特徴とする請求項８記載のデー
タ検索装置。
【請求項１０】前記表示手段は、検索された領域の画
像のみを表示することを特徴とする請求項９記載のデー
タ検索装置。
【請求項１１】前記検索手段は、前記入力手段により
入力された属性情報に含まれる複数の位置指定情報と画
像特徴量に基づいて、段階的に絞り込んで検索すること
を特徴とする請求項７記載のデータ検索装置。
【請求項１２】登録データの属性情報を第１記憶手段
に格納されている第１データベースに登録する第１登録
工程と、一時的な登録データの属性情報を第２記憶手段
に格納されている第２データベースに登録する第２登録
工程と、を有することを特徴とするデータ検索方法。
【請求項１３】前記属性情報は、キーワードを含むこ
とを特徴とする請求項１２記載のデータ検索方法。
【請求項１４】前記属性情報は、画像特徴量を含むこ
とを特徴とする請求項１２記載のデータ検索方法。
【請求項１５】前記属性情報は、位置指定情報を含む
ことを特徴とする請求項1２記載のデータ検索方法。
【請求項１６】前記第２データベースを前記第１デー
タベースに登録する合成工程を更に有することを特徴と
する請求項１２記載のデータ検索方法。
【請求項１７】前記合成工程で前記第２データベース
を前記第１データベースに登録するか否かを選択する選
択工程を更に有することを特徴とする請求項１６記載の
データ検索方法。
【請求項１８】前記第１または第２データベースに登
録すべきデータの属性情報を登録する登録工程を更に有
することを特徴とする請求項１２記載のデータ検索方
法。
【請求項１９】検索すべき属性情報を入力する入力工
程と、前記第１データベースまたは前記第２データベー
スとから検索を行う検索工程を更に有することを特徴と
する請求項１２記載のデータ検索方法。
【請求項２０】前記検索工程の検索結果を表示する表
示工程を更に有することを特徴とする請求項１９記載の
データ検索工程。
【請求項２１】前記表示工程は、検索された領域の画
像のみを表示することを特徴とする請求項２０記載のデ
ータ検索方法。
【請求項２２】前記検索手段は、前記入力手段により
入力された属性情報に含まれる複数の位置指定情報と画
像特徴量に基づいて、段階的に絞り込んで検索すること
を特徴とする請求項１９記載のデータ検索装置。
【請求項２３】登録データの属性情報を第１記憶手段
に格納されている第１データベースに登録する第１登録
工程と、一時的な登録データの属性情報を第２記憶手段
に格納されている第２データベースに登録する第２登録
工程と、を含むことを特徴とするコンピュータ読み取り
可能なプログラムが記憶された記憶媒体。
【請求項２４】前記属性情報は、キーワードを含むこ
とを特徴とする請求項２３記載のコンピュータ読み取り
可能なプログラムが記憶された記憶媒体。
【請求項２５】前記属性情報は、画像特徴量を含むこ
とを特徴とする請求項２３記載のコンピュータ読み取り
可能なプログラムが記憶された記憶媒体。
【請求項２６】前記属性情報は、位置指定情報を含む
ことを特徴とする請求項２３記載のコンピュータ読み取
り可能なプログラムが記憶された記憶媒体。
【請求項２７】前記第２データベースを前記第１デー
タベースに登録する合成工程を更に有することを特徴と
する請求項２３記載のコンピュータ読み取り可能なプロ
グラムが記憶された記憶媒体。
【請求項２８】前記合成工程で前記第２データベース
を前記第１データベースに登録するか否かを選択する選
択工程を更に有することを特徴とする請求項２７記載の
コンピュータ読み取り可能なプログラムが記憶された記
憶媒体。
【請求項２９】前記第１または第２データベースに登
録すべきデータの属性情報を登録する登録工程を更に有
することを特徴とする請求項２３記載のコンピュータ読
み取り可能なプログラムが記憶された記憶媒体。
【請求項３０】検索すべき属性情報を入力する入力工
程と、前記第１データベースまたは前記第２データベー
スとから検索を行う検索工程を更に有することを特徴と
する請求項２３記載のコンピュータ読み取り可能なプロ
グラムが記憶された記憶媒体。
【請求項３１】前記検索工程の検索結果を表示する表
示工程を更に有することを特徴とする請求項３０記載の
コンピュータ読み取り可能なプログラムが記憶された記
憶媒体。
【請求項３２】前記表示工程は、検索された領域の画
像のみを表示することを特徴とする請求項３１記載のコ
ンピュータ読み取り可能なプログラムが記憶された記憶
媒体。
【請求項３３】前記検索手段は、前記入力手段により
入力された属性情報に含まれる複数の位置指定情報と画
像特徴量に基づいて、段階的に絞り込んで検索すること
を特徴とする請求項３０記載のコンピュータ読み取り可
能なプログラムが記憶された記憶媒体。