JP2004199430A - 画像情報記憶検索装置および方法および、画像情報記憶検索装置を動作させるプログラムおよび当該プログラムを記録したコンピュータ可読である記憶媒体 - Google Patents

Abstract

【課題】検索者が画像中の検索対象の位置とその位置の誤差の許容範囲、および重点的に検索するべき画像中の領域を細かく指定し、検索者がより必要で確実な画像を簡便に入手することを可能にする。逆に検索者がある画像に対して検索対象となってほしくない領域を指定することで、その領域に対して検索を行わないことを可能にする。
【解決手段】仮想ウィンドウを表示する手段と、像に対して検索情報を入力する場所を指定し該位置に検索情報入力ウィンドウを表示し入力したい情報を検索情報入力ウィンドウに入力する手段と、入力した情報の有効範囲を指定し、有効範囲を指定する際にその雛形を提示する手段と、検索結果となる画像を仮想ウィンドウ中に表示する手段とを備える。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、画像情報記憶検索装置および方法および記憶媒体に関するものである。
【０００２】
【従来の技術】
従来、画像検索装置の場合、検索者が画像中の検索対象の位置を簡便に細かく指定して検索することは難しい指定が必要であった。例えば、検索したい情報を入力する場合に「画像の上の方に存在するリンゴ」のように入力するようになり、画像中の細かな位置までは指定することが不可能であった。また「上から２０ｍｍ右から３０ｍｍに存在するミカン」のように正確な指定を必要とし、画像中の位置を簡便に指定して検索することも不可能であった。
【０００３】
例えば特開平１１−５３３７０号公報における画像処理装置においては、画像検索を行う際に入力された検索語に含まれる単語の種別を判断し、位置に関する単語が含まれと判断された場合には検索語中のキーワードと位置情報に基づいて画像情報を検索する装置が提案されている。一方特開平１１−１９０５４６における画像編集装置においては、個別的な写真画像の内容や利用者の意向に即した個別的画像編集が、自動的な編集機能にサポートされながら必要に応じて非熟練者のわずかな機器操作により実現する装置が提案されている。
【０００４】
またその位置に正確に対象が存在する画像が存在することはまれであり、検索時に範囲を指定する方法はいくつか考えられる。例えば円状の範囲や矩形を指定する、ポインティングデバイスの軌跡によって指定することが考えられるが、自由な範囲指定は不可能であった。
【０００５】
そして画像を検索する際に重点的に検索してほしい領域を指定することも不可能であった。例えば、画像自体に占める面積は小さくともインパクトの強い物体は、重点的に検索すべき対象となるべきである。逆に検索者がある画像に対して検索対象となってほしくない領域を指定することも不可能であった。例えば、画像自体に占める面積は大きくても積極的に意味が見出されない物体は、なるべく検索される対象となりにくいようにする必要がある。
【０００６】
【発明が解決しようとする課題】
本発明の目的は、上記の点に鑑み、検索者が画像中の検索対象の位置とその位置の誤差の許容範囲、および重点的に検索するべき画像中の領域を細かく指定し、検索者がより必要で確実な画像を簡便に入手することを可能にする画像情報記憶検索装置および方法および記憶媒体を提供することにある。
【０００７】
逆に検索者がある画像に対して検索対象となってほしくない領域を指定することで、その領域に対して検索を行わないことを可能にする画像情報記憶検索装置および方法および記憶媒体を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本発明の画像情報記憶検索装置は、
画像を表示する手段と、
前記手段で表示した画像に対して検索情報を入力する場所を指定する手段と、
前記手段で指定された該位置に検索情報入力ウィンドウを表示する手段と、
検索したい情報を検索情報入力ウィンドウに入力する手段と、
前記手段で入力した検索情報の有効範囲を指定する手段と、
前記手段で入力した検索情報の有効範囲はある分布関数に依って決定する手段と、
分布関数を指定する手段と、
分布関数を指定する際に分布関数の雛形を提示する手段と、
仮想ウィンドウ中に画像を表示する手段と、
前記手段で入力した分布関数を記憶する手段と、
を備えたことを特徴とする。
【０００９】
（作用）
本発明により、検索者が画像中の検索対象の位置と位置の誤差の許容範囲を、および重点的に検索するべき画像中の領域を細かく指定することで、検索者がより必要で確実な画像を入手することが可能になる。逆に検索者がある画像に対して検索対象となってほしくない領域を指定することで、その領域に対して検索を行わないことが可能になる。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の好ましい実施例を説明する。
【００１１】
（第１の実施例）
図１は本発明の一実施例における基本構成を示す。１１はキーボードなどの入力手段である。１２はマウスなどのポインティングデバイスである。１３はＣＲＴディスプレイなどの表示手段である。１４はメモリやディスクなどの記憶手段である。１５は中央処理演算部（ＣＰＵ）であり、本装置の実行を制御する。
【００１２】
なお、本発明の機能が実行されるのであれば、単体の機器であっても、複数の機器からなるシステムであっても、ＬＡＮなどのネットワークを介して処理が行われるシステムであっても本発明を適用できるのは言うまでもない。
【００１３】
図２は本発明における第１の実施例に係るフローチャートを示す。以下このフローチャートに基づいて本装置の動作を説明する。本装置を制御するプログラムを記憶手段１４から読み出され、中央処理演算部１５によって制御される。
【００１４】
ステップ２０１では本装置は表示手段１３に仮想ウィンドウが表示される。ステップ２０２では本装置は、検索者がこの仮想ウィンドウ中に表示された検索情報を入力したい場所をポインティングデバイス１２で指定したことを受信する。ステップ２０３では本装置は表示手段１３の前記ステップで指定された該位置に、図３で示した検索情報入力ウィンドウを表示する。検索者は入力したい検索情報を前記ステップで表示された検索情報入力ウィンドウに、入力手段１１やポインティングデバイス１２を用いて項目名やキーワードなどを入力する。
【００１５】
図４では検索情報入力ウィンドウを表示中の仮想ウィンドウの例を示している。右側中程に情報入力ウィンドウを表示し「りんご」「青い」「小さい」を入力して、「右側中程に青く小さなりんごがある画像」という検索情報を入力しようとしている例である。ステップ２０４では本装置は、入力の最後に検索者は検索情報入力が終了した旨を本装置に入力したことを受信する。
【００１６】
ステップ２０５では本装置は、表示手段１３の前記ステップ２０２で指定された該位置に有効範囲入力ウィンドウおよびこれまでに記憶手段１４中に保存した分布関数の雛型を表示する。検索者は有効範囲を前記ステップで表示された有効範囲入力ウィンドウに、入力手段１１やポインティングデバイス１２を用いて前記ステップで表示された分布関数の雛形を選択するか、新たに分布関数を入力する。
【００１７】
図５は有効範囲入力ウィンドウを表示中の仮想ウィンドウの例を示している。分布関数の雛型を２つと、分布関数の数式を入力する画面を表示している。ここでは分布関数は数式で入力する例を示しているが、ポインティングデバイス１２によって情報入力者が通過点を指定し、本装置が補完することで分布関数を構成することも可能であり、本発明では特に規定するものではない。ステップ２０６では本装置は、入力の最後に検索者は有効範囲の入力が終了した旨を本装置に入力したことを受信する。ステップ２０７では本装置は検索者が入力した検索したい情報を記憶手段１４に格納する。
【００１８】
図７は格納する領域の内容の例である。１つの画像に対して１つの付帯情報と１つの分布関数情報が対応し、画像情報ともしあれば付帯情報と分布関数情報とを近接して格納する。画像情報は画像そのものであり、例えばＪＰＥＧ形式などで圧縮されて格納される。付帯情報は例えば画像の内容などを表す語句など、画像に付与されたものである。分布関数情報は分布関数の雛型の種類やその分布関数が通過する点など、分布関数に関してステップ２０５で入力された情報のことである。ステップ２０７の時点では画像情報領域と付帯情報領域は空である。
【００１９】
ステップ２０８では本装置は記憶手段１４からステップ２０７で格納した分布関数を呼び出し、その絶対値が大きい点から順に検索を行い、検索結果である画像ともし存在すれば分布関数やキーワードなどその画像に付帯した付帯情報を記憶手段１４に一旦格納する。なお本装置で用いる検索手段および方法については本発明では特に規定せず、画像およびもし存在すればその画像に付帯した付帯情報が取得でき、かつある点およびその近傍における検索が実行できるのであればどのような検索手段を用いてもよい。なおその位置での分布関数の値が負または零であるものはマークしておく。
【００２０】
ステップ２０９ではステップ２０８で記憶手段１４に一旦格納した画像のうち、画像が保持している分布関数のその位置での値が大きいものから順にステップ２０８でマークされているかどうかを判定する。もしマークがなければステップ２１０に移り、その位置での画像が持つ分布関数の値が正の値であるかどうかを判定する。もしその値が正であるか、対象となっている画像が分布関数を保持していないのであればステップ２１１に移り表示手段１３に画像を表示する。
【００２１】
ステップ２１２ではステップ２０８で記憶手段に格納した画像のうちステップ２０９における判定を行っていない画像が存在するかどうかを判定し、もしそのような画像が存在すればステップ２０９に戻る。
【００２２】
（第２の実施例）
第１の実施例においては、分布関数の格納方法を表形式で格納したが、分布関数を様々な形状で示すことが可能なように、ＸＭＬ等のタグ付きデータによる形式で格納するように本発明の実施例を構成することも可能である。これにより分布関数の表現について拡張性が高まるという効果が考えられる。なお、本実施例に係る装置における基本構成は第１の実施例と同一なので省略する。
【００２３】
図８は格納する分布関数の内容の例である。１つの画像に対して１つの分布関数情報が対応し、画像情報と分布関数情報とを近接して格納する。画像情報は画像そのものであり、例えばＪＰＥＧ形式などで圧縮されて格納される。分布関数情報は分布関数の雛型の種類やその分布関数が通過する点など、分布関数に関して第１の実施例における図２の説明中のステップ２０５で入力された情報のことである。
【００２４】
図８に挙げた例では、Ａ２３．ＪＰＧというファイル名であり、分布関数として「（５，２５），（１０，２０），（１５，１５），（１０，１０）の４点が制御点であるベジェ曲線と（７，３０），（１５，３０），（１５，２５），（７，２５）の４点が頂点である多角形の閉集合」が格納されていることを示している。
【００２５】
図９は本発明における第２の実施例に係るフローチャートを示す。以下このフローチャートに基づいて本装置の動作を説明する。本装置を制御するプログラムを記憶手段１４から読み出され、中央処理演算部１５によって制御される。
【００２６】
ステップ９０１では本装置は表示手段１３に仮想ウィンドウが表示される。ステップ９０２では本装置は、検索者がこの仮想ウィンドウ中に表示された検索情報を入力したい場所をポインティングデバイス１２で指定したことを受信する。ステップ９０３では本装置は表示手段１３の前記ステップで指定された該位置に、図３で示した検索情報入力ウィンドウを表示する。検索者は入力したい検索情報を前記ステップで表示された検索情報入力ウィンドウに、入力手段１１やポインティングデバイス１２を用いて項目名やキーワードなどを入力する。
【００２７】
図１０では検索情報入力ウィンドウを表示中の仮想ウィンドウの例を示している。右側中程に情報入力ウィンドウを表示し「りんご」「青い」「小さい」を入力して、「右側中程に青く小さなりんごがある画像」という検索情報を入力しようとしている例である。ステップ２０４では本装置は、入力の最後に検索者は検索情報入力が終了した旨を本装置に入力したことを受信する。
【００２８】
ステップ９０５では本装置は、表示手段１３の前記ステップ９０２で指定された該位置に有効範囲入力ウィンドウおよび分布関数の雛型を表示する。検索者は有効範囲を前記ステップで表示された有効範囲入力ウィンドウに、入力手段１１やポインティングデバイス１２を用いて新たに分布関数の制御点を入力する。
【００２９】
図１０は有効範囲入力ウィンドウを表示中の仮想ウィンドウの例を示している。分布関数の制御点とその形状を入力する画面を表示している。ここでは分布関数はポインティングデバイス１２によって情報入力者が通過点と分布関数の種類として「多角形」または「曲線」を指定し本装置が雛形に沿って自動的に補完することで分布関数を構成する。
【００３０】
図１０の状態では情報入力者は「曲線」を選択したことを太線によって示し、分布関数が通る点を４つ指定していることを示している。これ以外にも分布関数の入力方法あるいは分布関数の種類は様々考えられるが、本発明では特に規定するものではない。ステップ９０６では本装置は、入力の最後に情報入力者は有効範囲の入力が終了した旨を本装置に入力したことを受信する。ステップ９０７では本装置は検索者が入力した検索したい情報を記憶手段１４に格納する。
【００３１】
図８は格納する領域の内容の例である。図８に挙げた例では、検索したい情報は「ａｐｐｌｅ」というキーワードであり、分布関数として「（５，２５），（１０，２０），（１５，１５），（１０，１０）の４点が制御点であるベジェ曲線と（７，３０），（１５，３０），（１５，２５），（７，２５）の４点が頂点である多角形の閉集合」が格納されていることを示している。ステップ９０７の時点では画像情報領域と付帯情報領域は空である。
【００３２】
ステップ９０８では本装置は記憶手段１４からステップ９０７で格納した分布関数を呼び出し、その絶対値が大きい点から順に検索を行い、検索結果である画像ともし存在すれば分布関数やキーワードなどその画像に付帯した付帯情報を記憶手段１４に一旦格納する。なお本装置で用いる検索手段および方法については本発明では特に規定せず、画像およびもし存在すればその画像に付帯した付帯情報が取得でき、かつある点およびその近傍における検索が実行できるのであればどのような検索手段を用いてもよい。なおその位置での分布関数の値が負または零であるものはマークしておく。
【００３３】
ステップ９０９ではステップ９０８で記憶手段１４に一旦格納した画像のうち、画像が保持している分布関数のその位置での値が大きいものから順にステップ９０８でマークされているかどうかを判定する。もしマークがなければステップ９１０に移り、その位置での画像が持つ分布関数の値が正の値であるかどうかを判定する。もしその値が正であるか、対象となっている画像が分布関数を保持していないのであればステップ９１１に移り表示手段１３に画像を表示する。
【００３４】
ステップ９１２ではステップ９０８で記憶手段に格納した画像のうちステップ９０９における判定を行っていない画像が存在するかどうかを判定し、もしそのような画像が存在すればステップ９０９に戻る。
【００３５】
（その他の実施例）
以上、実施例を詳述したが、本発明は、複数の機器から構成されるシステムに適用しても良いし、また、単体の機器から成る装置に適用しても良いしＬＡＮなどのネットワークを介して処理が行われるシステムに適用しても良い。
【００３６】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。その場合、プログラムの機能を有していれば、形態は、プログラムである必要はない。
【００３７】
従って、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００３８】
プログラムを供給するための記憶媒体としては、例えば、フロッピィディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤなどを用いることができる。
【００３９】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００４０】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは、圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバやｆｔｐサーバ等も本発明の請求項に含まれるものである。
【００４１】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００４２】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４３】
更に、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００４４】
【発明の効果】
以上説明したように、本発明によれば、情報入力者が画像中の検索対象の位置と位置の誤差の許容範囲、および重点的に検索するべき画像中の領域を細かく指定することで検索者がより必要で確実な画像を入手することが可能になる。逆に情報入力者がある画像に対して検索対象となってほしくない領域を指定することで、その領域に対して検索を行わないことが可能になる。
【図面の簡単な説明】
【図１】本発明の一実施例の基本構成を示すブロック図
【図２】本発明の一実施例におけるフローチャート図
【図３】本発明の一実施例における情報入力ウィンドウを示す図
【図４】本発明の一実施例における仮想ウィンドウ例を示す図
【図５】本発明の一実施例における分布関数入力ウィンドウを示す図
【図６】本発明の一実施例における分布関数指定を数式によって行う場合の分布関数指定ウィンドウを示す図
【図７】本発明の一実施例における画像情報や分布関数情報の格納方法を示す図
【図８】本発明の第２の実施例における画像情報や分布関数情報の格納方法を示す図
【図９】本発明の第２の実施例におけるフローチャート図
【図１０】本発明の第２の実施例における分布関数指定ウィンドウを示す図
【符号の説明】
１１：入力手段
１２：ポインティングデバイス
１３：表示手段
１４：記憶手段
１５：中央処理演算部（ＣＰＵ）

Claims (24)

1. 画像を表示する手段と、
   前記手段で表示した画像に対して検索情報を入力する場所を指定する手段と、
   前記手段で指定された該位置に検索情報入力ウィンドウを表示する手段と、
   検索したい情報を検索情報入力ウィンドウに入力する手段と、
   前記手段で入力した検索情報の有効範囲を指定する手段と、
   を備えたことを特徴とする画像情報記憶検索装置。
2. 前記手段で入力した検索情報の有効範囲はある分布関数に依って決定する、ことを特徴とする請求項１に記載の画像情報記憶検索装置。
3. 前記請求項２における分布関数は正の値や零のみならず負の値をも取りうる、ことを特徴とする請求項２に記載の画像情報記憶検索装置。
4. 前記請求項２における分布関数を指定する手段と、を備えたことを特徴とする請求項２または３に記載の画像情報記憶検索装置。
5. 前記請求項３における分布関数を決定する際に分布関数の雛形を提示する手段と、を備えたことを特徴とする請求項２、３または４に記載の画像情報記憶検索装置。
6. 前記請求項２における分布関数を記憶する手段を有する、ことを特徴とする請求項２乃至５のいずれか１項に記載の画像情報記憶検索装置。
7. 画像を表示するステップと、
   前記ステップで表示した画像に対して検索情報を入力する場所を指定するステップと、
   前記ステップで指定された該位置に検索情報入力ウィンドウを表示するステップと、
   検索したい情報を検索情報入力ウィンドウに入力するステップと、
   前記ステップで入力した検索情報の有効範囲を指定するステップと、
   を備えたことを特徴とする画像情報記憶検索方法。
8. 前記ステップで入力した検索情報の有効範囲はある分布関数に依って決定する、ことを特徴とする請求項７に記載の画像情報記憶検索方法。
9. 前記請求項８における分布関数は正の値や零のみならず負の値をも取りうる、ことを特徴とする請求項８に記載の画像情報記憶検索方法。
10. 前記請求項８における分布関数を指定するステップと、を備えたことを特徴とする請求項８または９に記載の画像情報記憶検索装置。
11. 前記請求項９における分布関数を決定する際に分布関数の雛形を提示するステップと、を備えたことを特徴とする請求項８、９または１０に記載の画像情報記憶検索方法。
12. 前記請求項８における分布関数を記憶するステップを有する、ことを特徴とする請求項８乃至１１のいずれか１項に記載の画像情報記憶検索方法
13. 画像を表示するコンピュータを、
    画像を表示する手段と、
    前記手段で表示した画像に対して検索情報を入力する場所を指定する手段と、
    前記手段で指定された該位置に検索情報入力ウィンドウを表示する手段と、
    検索したい情報を検索情報入力ウィンドウに入力する手段と、
    前記手段で入力した検索情報の有効範囲を指定する手段と、
    して機能させるためのプログラム。
14. 前記手段で入力した検索情報の有効範囲はある分布関数に依って決定する、ことを特徴とする請求項１３に記載のプログラム。
15. 前記請求項１４における分布関数は正の値や零のみならず負の値をも取りうる、ことを特徴とする請求項１４に記載のプログラム。
16. 前記請求項１４における分布関数を指定する手段と、を備えたことを特徴とする請求項１４または１５に記載のプログラム。
17. 前記請求項１５における分布関数を決定する際に分布関数の雛形を提示する手段と、を備えたことを特徴とする請求項１４、１５または１６に記載のプログラム。
18. 前記請求項１４における分布関数を記憶する手段を有する、ことを特徴とする請求項１４乃至１７のいずれか１項に記載のプログラム。
19. 画像を表示するコンピュータを、
    画像を表示する手段と、
    前記手段で表示した画像に対して検索情報を入力する場所を指定する手段と、
    前記手段で指定された該位置に検索情報入力ウィンドウを表示する手段と、
    検索したい情報を検索情報入力ウィンドウに入力する手段と、
    前記手段で入力した検索情報の有効範囲を指定する手段と、
    して機能させるためのプログラムを記録したコンピュータ可読である記憶媒体。
20. 前記手段で入力した検索情報の有効範囲はある分布関数に依って決定する、ことを特徴とする請求項１９に記載のプログラムを記録したコンピュータ可読である記憶媒体。
21. 前記請求項２０における分布関数は正の値や零のみならず負の値をも取りうる、ことを特徴とする請求項２０に記載のプログラムを記録したコンピュータ可読である記憶媒体。
22. 前記請求項２０における分布関数を指定する手段と、を備えたことを特徴とする請求項２０または２１に記載のプログラムを記録したコンピュータ可読である記憶媒体。
23. 前記請求項２１における分布関数を決定する際に分布関数の雛形を提示する手段と、を備えたことを特徴とする請求項２０、２１または２２に記載のプログラムを記録したコンピュータ可読である記憶媒体。
24. 前記請求項２０における分布関数を記憶する手段を有する、ことを特徴とする請求項２０乃至２３のいずれか１項に記載のプログラムを記録したコンピュータ可読である記憶媒体。

Images