JPH08335223A - 画像検索システム - Google Patents

Abstract

(57)【要約】 【目的】 構図を指定した構図データを検索キーとし
て、構図データを付加した画像集合から目的の構図の画
像を検索する。 【構成】 構図入力部(1901)で検索キーとなる構図デー
タを対話的に作成し、構図データ検索部(1903)にて構図
データによる検索を行なう。その結果が結果表示部(190
4)に出力され同時に検索データ保存部(1905)にて記録さ
れる。検索される画像データは、構図情報付き画像蓄積
部(1907)で構築されている画像データベースに保存され
ているが、これは画像入力部(1902)から入力された画像
に、構図情報作成部(1906)にて対話的に付加することが
できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、メモリーに蓄積されて
いる画像データを電子計算機を用いて画像検索を可能と
する方法及び装置に関する。

【０００２】

【従来の技術】一般に、画像データを検索する場合にお
いて、従来の画像検索方法には以下が挙げられる。検索
したい画像自体を検索キーとして、それが被検索画像中
に含まれているかをマッチングによって判定して検索し
画像を取りだす方法と、キーワードを検索キーとしてあ
らかじめ画像に付加されたキーワードを検索して画像を
取りだす方法である。

【０００３】前者は、検索したい画像が手元に用意され
ている場合には使用できるが、それがない場合には検索
自体が不可能になってしまう。後者は、検索したい画像
が手元になくても検索できるが、画像に付加されたキー
ワードに完全または部分的に一致しない限り検索したい
画像の候補すら得ることができない。また、もっと意味
上の上位概念を表わしたキーワードが付加されていると
画像候補が非常に多くなってしまいやはり画像検索が破
綻してしまう。

【０００４】問題を整理すると、手元に検索したい画像
がない場合においては、キーワードによって検索する手
段が有効であるが、しかし欲しい画像を指定するには画
像の自由度を適切に表わし切れないことが原因で画像検
索が破綻してしまうということである。

【０００５】

【発明が解決しようとする課題】例えば、カタログ作成
や公告イメージやＣＭ作成など画像をアレンジして新た
な画像を作りあげる分野の作業においては、作成者のイ
メージに合った画像サンプルが容易に検索できる方法が
必要不可欠となる。この場合、検索キーとなるものは本
人の画像イメージしかないため、画像のマッチングによ
る検索は使用できない。すると必然的に、キーワードな
どで検索するか、検索キーを作成してそれを使用するこ
とによって検索する方法が必要となる。

【０００６】本発明は、このような状況において、メモ
リーに蓄積されている画像データを電子計算機を用いて
画像検索を可能とする方法及び装置を提供しようとする
ものである。

【０００７】

【課題を解決するための手段】本発明では、前述したキ
ーワードに代えて、画像の構図を利用しようとするもの
である。画像にキーワードを付すことは、その時の付与
の考え方を正しく理解しないと適切なキーワードが選べ
ないが、画像の構図という概念で見ると、検索したい人
が持つ構図の概念と、画像に付加されるべき構図の概念
は、図を構成する要素と配置の組合せを意味する「構
図」という点で共通するから、被検索画像に構図データ
を付加しておけば、検索したい画像の構図を表現するデ
ータを作成し、それを検索キーとして使用することによ
って画像の検索が可能となる。

【０００８】この場合、被検索画像がどのような構図で
あると理解するか、あるいはそれを表現する表現の仕方
は人によって違ってくる可能性はあるが、画像自体をキ
ーワード出表現する場合、あるいは画像自体の意味的な
表現のようには異ならないから、だれが被検索画像に構
図データを付加したかは本質的な問題となることはな
い。

【０００９】

【作用】データベースに格納された、画像に付加された
構図データと、検索者が付与する構図を表現する検索キ
ーとのマッチングによって画像の検索が行われる。画像
に付加された構図データと検索者が付与する検索キーと
しての構図データが一致したと判定したときに求める画
像候補であるとして検索結果が出力される。検索キーに
画像を直接使用しないため、検索キーの指定が容易であ
ること、または手元に検索キーにできる画像が存在しな
い場合にも検索が可能となることが特徴である。

【００１０】

【実施例】以下に本発明の実施例を説明する。

【００１１】図１はデータベースに格納されている２次
元静止画像データの検索を行う場合の、検索キーである
構図データ入力例を説明した図である。検索者はスクリ
ーン上の画像描画領域の限界枠101内で、多角形の辺を
表わした直線102によって閉領域106を形作る。103は同
じく多角形の頂点であり、104はその閉領域に当てがう
キーワードを入力するためのフィールド、105はそのキ
ーワードである。

【００１２】この例では、キーワードとして、「山」と
いう一般名称と属性として「暗い」というその山の様子
が入力されている。この領域とキーワードのセットが、
検索者が与える構図データの一つを構成しており、これ
らの組合せを、以降、構図データセットと呼ぶ。この例
の構図データは、画像の中央部からやや左よりの領域に
かけて山が描かれており、その山は暗いイメージである
ことを意味する。データベースに格納されている２次元
静止画像データの領域とキーワードがこれと一致したと
判定されたときに、検索者が指定した構図データセット
で要求された画像が検索されたものとしてその２次元静
止画像データを出力するものとする。

【００１３】この例では、さらに「街」をキーワードと
した領域も示されているように、検索者は、複数の構図
データによる構図データセットを指定して検索すること
もできる。

【００１４】図２は、検索結果の出力の表示の様子の一
例を説明している。201は縮小した検索結果の画像であ
る。202は、その画像の名称や属性などの説明が表示さ
れるフィールドである。この例に示すように、複数個の
検索結果が得られることになり、この数は、検索の一致
の程度をどのように制御するかにより、変化するが、こ
の点は後述する。得られた縮小画像201は、この画像自
体がスクリーン上のスイッチとなっており、ポインター
にてその部分をクリックすると、その画像について、縮
小前の画像を表示することができる。こうして、検索者
は、より詳細に検索結果の画像を観ることができる。

【００１５】図３は、検索結果の詳細表示の一例を説明
している。301は検索画像が表示される表示領域の限界
枠、302は画像の名称や属性または画像が示している場
所や意味など画像に関する説明が表示されるフィールド
の枠、303は検索によって得られた画像、304は、302の
フィールド内部、305はスクリーン上の描画領域の限界
枠である。図２の縮小画像201をポインターでクリック
することによって表示される画像の様子である。検索結
果が１つだけの時は、図２の縮小画像表示は省略して、
いきなりこの図３の検索結果詳細表示を行うという設定
も可能である。

【００１６】図４は、検索のための構図データ入力の別
の実施例である。401は描画領域の限界枠、402は領域を
示す長方形、403はその長方形によって指定された閉領
域、404はその閉領域に当てがわれるキーワードの入力
フィールド、405はそのキーワードである。図１との違
いは、閉領域の指定が任意の多角形ではなくて、長方形
となっていることである。画像上の２点を指定すること
によって、それを対角の頂点とする長方形を指定でき
る。領域を記述する方法が２点の座標で済むため非常に
記憶容量が少なくて扱い易く、かつ領域の指定する手間
が楽である。ただし、閉領域の形の自由度が限られてし
まうため、検索キーとしての構図データが画一的となる
ため、検索に対する一致の許容度をゆるめることが必要
となり、結果として、選択される出力が増えることにな
り、検索結果から所望の画像を選んでいく作業の負担が
増加する可能性がある。

【００１７】図５は、被検索画像の構図データの作成方
法の一実施例を説明している。検索の対象となる画像
を、描画領域の限界枠501に表示する。この表示された
被検索画像から、構図データとして適切と思われる画像
の部分の配置を示す閉領域502を設定し、この閉領域の
データをフィールド511に保存する。また、その領域に
当てられたキーワードをフィールド512に保存する。505
は閉領域と閉領域データ保存フィールドとの対応関係を
示した線である。

【００１８】すなわち、図１との対応で説明すると、被
検索画像の領域502には暗いやまが描かれているので、
領域502の指定と、これに対するキーワード「山、暗い」
を付与するのである。これを領域503及び504に対しても
行うのである。この領域データを保存するフィールド51
1とキーワードを保存するフィールド512のデータの組合
せが、被検索画像に付された閉領域(構図の要素)の数だ
け存在しており、複数並んでテーブル化され、構図デー
タセットが構成される。

【００１９】検索の際、被検索者が付与する検索キー
は、実際の画像ではなくてこの被検索画像の構図データ
セットを走査することによって高速に検索することが可
能となる。検索のひとつの方法は、キーワードのフィー
ルド504を走査してマッチングによって一致するものを
探し、その後、キーワードの一致するものの中から領域
が一致すると判定されるかものがあるかどうかをフィー
ルド503をチェックして検出する方法である。

【００２０】図６は、検索者が与える検索キーのデータ
構造の一実施例を説明している。検索キーは、検索キー
の全体の長さ、構図データの数、構図データのミスマッ
チング数許容割合、そして１つまたは複数の構図データ
で構成されている。構図データは、キーワードと多角形
の各頂点の座標データである領域データおよび領域のマ
ッチング時における位置ずれと面積ずれの許容範囲を示
すデータで構成されている。これらのずれの許容範囲を
示すデータは、あらかじめ値を設定しておき検索時に自
動的に付与されて使用される。

【００２１】全ての構図データについてマッチングが実
行されて、実際にその許容範囲内に納まらなかったデー
タ数と構図データセットの数との割合がミスマッチング
数許容割合以下になってなっていると、構図データが一
致したと判定する。別の実施例としては、検索実行時に
あまりにもマッチングするデータが少ない場合に、動的
に許容範囲を変化させてマッチングデータを増加させる
方法がある。

【００２２】本発明による画像検索システムはキーボー
ドやマウスなどによって画像入力が出来るソフトを備え
る一般の計算機によって実現できるので、その例は後述
することとし、まず、具体的な処理フローの例を説明す
る。

【００２３】図７は、構図データ検索装置の一実施例の
フローチャートである。801はひとつの構図データの入
力を示している。構図データの入力は図１で説明したよ
うに、領域を指定し、その領域にキーワードを指定した
ものを構図データとする。これを、検索者が、検索した
い画像を特定するために必要と思うだけ入力することが
必要であり、802は全ての構図データを入力したかどう
かの問合せである。この問合せ802に代え、通常は、一
つの構図データの入力では、まだ構図データが全て入力
されていないと見なして閉領域の入力待ちになるが、キ
ーボード上の終了キーを押したり、スクリーン上の終了
アイコンをポインターでクリックしたりすることによっ
て次の画像検索へと移るように実装することもできる。
803は構図データによる画像検索とその結果表示であ
る。804にて画像検索を終了するかどうかを聞いてく
る。終了でなければ最初に戻る。

【００２４】フローチャートでは、803の画像検索及び
結果表示がサブルーチンの記号で描かれているが、ここ
でのフローチャートは実装方法までは指定しない。従っ
て、それはサブルーチンという形で実装されてもいい
し、インライン展開という形で実装されてもいい。以下
のフローチャートを説明する図においても同様である。

【００２５】図８は２次元静止画像の場合の画像検索と
結果表示の方法の一実施例を示したフローチャートであ
り、図７における処理803の一例である。901は構図デー
タによる画像マッチングのために画像を適当数用意する
処理であり、図５のテーブルに示すような、画像に付与
された構図データをデータベースから用意することであ
る。902は画像に付与された構図データと、検索キーと
しての構図データとの比較により、画像マッチングを実
行するブロックである。903は画像がマッチングしたか
否かを判定する。904はマッチングした場合に、その検
索した画像を保存しておくブロックである。905は検索
結果の表示を行うブロックである。以下、同じ構図デー
タを用いて検索を続ける限り最初から繰り返す。906に
よる検索停止の条件は、マッチングした画像が設定枚数
までたまった場合や時間制限に達した場合、または検索
者による検索の停止の指示があった場合などである。

【００２６】図９は２次元静止画像の場合の構図データ
による画像マッチングの方法の一実施例を示したフロー
チャートであり、図８における処理９０２の一例であ
る。1001は図６に示す検索キーの複数の構図データの中
からひとつの構図データを取りだす部分である。1002は
キーワードが一致する部分が存在するかどうかの判定で
ある。もし一致した部分が存在しているならその領域に
ついて1003へ進む。１００３は、検索キーの全ての閉領
域と実際の画像の大きさを一致させるものである。１０
０４は、検索キーの１つの構図データの閉領域重心と被
検索画像に付与された構図データの閉領域の重心との位
置ずれを計算していて、その位置ずれがあらかじめ設定
しておいた許容範囲内であれば位置が一致していると判
定する。1005は、同じく双方の領域の面積について大き
な面積を小さな面積で割ったその面積比が、あらかじめ
設定しておいた許容範囲内であったなら面積が一致して
いると判定する。1006は、構図データセットの一致カウ
ンターである。複数の構図データのうち、何個の構図デ
ータがマッチングしたかを計数するためのカウンターで
ある。1007は、検索キーに含まれる全ての構図データに
ついてマッチングを実行したか否かを判定する。それは
構図データの数をカウントしていくことによって実現で
きる。1008は、1006で計数したマッチングのカウンター
数を検索キー内の構図データ数で割った割合が、あらか
じめ設定しておいた許容範囲内に納まっていれば、構図
が一致したとみなして一致判定を返す。そうでなければ
不一致判定を返す。あらかじめ設定していた許容範囲と
は、例えば図６のミスマッチ数許容範囲を使用するなら
１からその値を引いたものが使用できる。

【００２７】図１０は２次元静止画像の場合の構図デー
タによる画像マッチングの方法の別の一実施例を示した
フローチャートである。1101〜1103はそれぞれ1001〜10
03と同様である。1104は、領域の面積比の離れ具合と位
置の離れ具合とのそれぞれの評価基準を求める部分であ
る。ここでは、検索キーの構図データの領域面積をS1,
被検索画面に付与された構図データの領域をS2とする
と、A=max(S1/S2,S2/S1)に選ぶことができる。また、S
1、S2の領域の重心座標を G1(G1x,G1y), G2(G2x,G2y)と
おくと、B=sqrt((G1x-G2x)**2+(G1y-G2y)**2)で定義す
ることができる。ここで、sqrt、**はそれぞれ平方根と
羃乗を表わしている。1105は、エネルギー関数Eを、予
め重みWa,Wbを与えておいて E=Wa*A + Wb*Bのように定
義しそれが予め設定しておいた値よりも小さくなった場
合に、その構図データセットが一致したと判定する。11
06〜1108については、1006〜1008とそれぞれ同様であ
る。

【００２８】図１１は、構図による画像検索システムの
一実施例の外観図の模式図である。1201は表示装置、12
02、1207は表示装置によって表示された構図入力画面、
検索結果表示画面、1203は構図データ付き画像データベ
ースの格納と、検索結果として得られた画像を保存する
のに使用される記憶装置である。これにはデータベース
を格納しているハードディスクと、検索画像を保存する
フロッピーディスクまたは光磁気ディスクなどの着脱可
能な記憶装置が付いている。1204はキーワードなどを入
力する際に使用するキーボード、1205は領域指定の際に
使用する座標入力装置のマウスである。1206は、検索画
像や検索条件などを出力するプリンターである。

【００２９】この装置により、例えば、図５で示した方
法に依り、被検索画面に画像データを付与し、これをハ
ードディスクに記憶させる。また、図１で説明した方法
に依り、検索用の画像データを作成して検索を実施す
る。

【００３０】図１２は被検索画像に構図データを付加す
る他の例を説明したものである。1301はスクリーンの描
画領域の限界枠、1302は表示領域で、被検索画像が表示
されている。1303は構図データの閉領域を指定した長方
形である。1304は画像の一部分である画像要素で「雲」
が描画されている。1303の長方形によって指定された閉
領域は、画像要素の「雲」を領域によって指定してい
る。1305はキーワードがどの領域に対応しているかを示
す矢印である。1306はキーワードを入力するフィールド
の枠、1307はそのフィールドを示している。閉領域1303
によって指定される領域が十分な広さを持っていないな
ど、フィールド1306を直に閉領域内に置くことができな
い場合には、1305の矢印によって図のように差し示すこ
ともできる。このような作業を各画像要素に対して繰り
返すことによって、被検索画像の構図データを完成す
る。

【００３１】図１３は、被検索画像の構図データの構造
の一実施例を説明している。構図データ群は、構図デー
タの全体の長さ、構図データの数、そして１つまたは複
数の構図データで構成されている。構図データは、領域
データの長さ、多角形の各頂点の座標データである領域
データ、キーワードの数と、そしてその数だけ存在して
いるキーワード列で構成されている。画像ヘッダーは、
画像がどのようなものであるかを示したものである。実
際は、ヘッダーと画像データ併せて既に存在している画
像データ形式を採用することもできる。

【００３２】ただし、その際にも画像全体に対して付け
られた画像の名称、そして場所や作者、日付などの属性
を付加しておく。ところで図１３の例では画像ヘッダー
は、その長さ、画像データの名称や属性、画像のＸ軸の
画素数、画像のＹ軸の画素数１画素当りの色データの
数、カラーマップの長さ、カラーマップ、によって構成
されている。１画素当りの色データの数とは、ビットマ
ップなら２個、フルカラー画像であるとＲＧＢの各色毎
に８ビットの輝度情報によって色が表現されているので
２４個ということになる。カラーマップとは、画像デー
タと実際のフルカラー画像などの色との対応を示した対
応表のことであり、これによって１画素当りの色データ
数が８個だとしても実際に色データ１個に割りあてられ
る色はもっと多彩なものを表現することができる。もち
ろん、同時に発色できる色の数は、その場合２５６色で
ある。画像データには、画像ヘッダーで指定された構造
を持ったデータが置かれている。

【００３３】ところで、被検索画像の構図データは必ず
しも被検索画像データと一緒にある必要はない。例え
ば、構図データの先頭に被検索画像データが納められて
いる記録装置上の階層や位置を示したポインターを持っ
ているという実装の方法でも可能である。この方法なら
画像データベースには画像データのみを入れておき、構
図データのデータベースには画像データベース上の画像
の位置を示したポインターを含む構図データだけを保存
しておけばよくなる。構図データのデータベースに画像
自身を置く必要がなくなるので、記憶容量の節約に寄与
する。

【００３４】図１４は、構図データの入力方法の他の実
施例のフローチャートである。この例では図５に示した
例に比較して領域指定が半自動化されている。1701はま
ず大まかに長方形によって領域を指定するブロック。17
02はその領域内の画像のノイズを除去する。1703は同領
域でエッヂ検出を行ない、1704はエッヂ画像の２値化と
２値化ノイズの除去を行う。1705は画像の細線化を実行
し、1706は対話的にその画像エッヂで余計なものを取り
のぞいたり必要な部分を補ったりして修正を施し、1707
エッヂを補間して閉領域を作成する。1708はその指定し
た領域を表示して、その領域で希望の画像要素を指定で
きているかを確認できるようにしている。1709は、その
結果が望み通りのものであったなら終了し、そうでなか
ったなら1706の修正のブロックまで戻る。1710は閉領域
が確定し終了したらその領域にキーワードを作成し付加
する。

【００３５】この実施例では、半自動化された複雑なア
ルゴリズムを示した。もちろん、長方形、あるいは多角
形や曲線などによって閉領域を指定して画像のエッヂな
どを用いない方法も別の実施例として挙げられる。

【００３６】図１５は、被検索画像に構図データを付加
する画像タグ作成システムの外観を説明している。ここ
で言う画像タグは、構図データを意味するが、以後適宜
画像タグあるいは画像データの用語を使用する。図１１
で説明した構図データによる画像検索システムに比し、
画像入力装置が付加され、出力装置が省略されている
が、本質的な差異は無い。1801は表示装置、1802は表示
装置によって表示された画像タグの作成画面を示してい
る。1803は画像データベースおよび、構図データ付き画
像の記録装置である。構図データ付きの画像データベー
スがここに構築されていく。1804は構図データのキーワ
ードを入力するなどために使用するキーボード、1805は
構図データの画像要素の領域を指定するために使用する
マウス、1806は画像データを入力するための一手段であ
る８mmビデオまたは８mmビデオデッキなどである。1807
はＶＨＳなどのビデオテープ再生機能を持ったビデオデ
ッキとＬＤなどの画像記録媒体の再生機能を持ったＬＤ
プレイヤー、あるいはＬＤなどへ構図データ付き画像を
記録できるＬＤ書き込み装置などが使用される。

【００３７】このシステムは図１１と同様に、構図デー
タによる画像検索システムとして使用できるが、構図デ
ータによって検索して得た画像に対して、更に構図デー
タを付加し構図データ付き画像データベースへ戻すよう
にすることが可能である。構図データを付加されて保存
された構図データ付き画像データは構図データ検索によ
って再検索が可能である。

【００３８】このように、一度データベース化したデー
タも更に情報を付加して充実させていくことができる。
この場合、データベースが個人使用ではなく、グループ
あるいは団体使用のものであったならさまざまな人が使
用する度にデータを充実させることができるという点
で、データベースの構築をより早くする効果が期待でき
る。

【００３９】図１６は３次元画像の構造検索システムの
データ入出力部分について説明した模式図である。バー
チャル・リアリティというコンピュータによって作られ
た仮想空間を利用して様々な操作を行うことを可能にす
る。2001は光ファイバーによって関節の曲がりを検出で
きるデータグローブである。このデータグローブを用い
てコンピュータが作り出す３次元映像空間に立体の領域
を指定して３次元構図入力を実現する。2002は３次元画
像を投影する表示装置である。両目それぞれに微妙に違
った映像を提示することで両目の間に視差をつくり立体
映像を知覚できるようにする装置である。2003は磁気セ
ンサーである。手や頭部の位置や向きを検出するのに使
用する。2004はフットペダルである。３次元映像中をさ
も自分がその映像の中に存在しているかのように移動す
ることができるが、その際に移動スピードや方向をフッ
トペダルで指示することができる。フットペダルは１つ
または複数用意される。２つの場合には、左右それぞれ
のペダルが左右独立に付いたタイヤの動力のコントロー
ルを受けもち、仮想的にその３次元映像空間を移動する
ことができる。もちろん、その移動にともなって３次元
映像の見え方もその場にいるかのように変化する。2005
は、音声入力のためのマイクである。声または音の入力
によって、キーワードを付加したり条件を選択したりす
ることを可能にする。また、３次元映像中に仮想的な操
縦席を投影しそれを操作することによって、映像空間の
移動や、構図入力、その他の操作を行うこともできる。
その映像空間中の操作は、データグローブや磁気センサ
ーによる入力から構築され、人の動作を検出することに
よって実現する。

【００４０】図１７は、構図画像検索ネットワークの物
理的な接続を現わした一実施例の模式図である。2101は
ネットワークの情報伝達の媒体である。例えば、同軸ケ
ーブルや光ファイバー、あるいは電波による通信などに
よって実現される。2102は他のネットワークでありその
間を画像検索ゲートウェイ2103によって接続されてい
る。2104はタグ付き画像のデータベースであり、それを
ネットワークに送信する機能をもつ。2105はタグ付き画
像の検索装置であり画像のデータベース2104に検索機能
を付加したものである。2106は画像検索端末であり、ユ
ーザーはこの端末を利用して画像の検索を行う。

【００４１】画像検索端末2106から送出された構図デー
タは、画像検索ゲートウェイ2103やタグ付き画像検索装
置2105へ届き画像の検索を行う。画像検索ゲートウェイ
2103を経由して他のネットワーク2102にも送られる。

【００４２】検索のために被検索画像データの通る一つ
の経路は、タグ付き画像送信装置2104から画像検索端末
2106へ送信され検索されるものである。

【００４３】検索のもう一つの経路は、タグ付き画像検
索装置2105によって検索されマッチングした画像が画像
検索端末2106へ送られ必要なら更に検索を受けて検索が
完了するものである。

【００４４】検索の更にもう一つの経路は、他のネット
ーワーク2102から送られてきた画像を画像検索ゲートウ
ェイ2103で検索を行ない、ネットワーク2101に転送し
て、それが画像検索端末2106へと届けられるものであ
る。

【００４５】画像検索ゲートウェイ2103は、他の物理的
に分けられたネットワークの間に接続されているとデー
タ転送のトラフィック緩和効果によって効率がよいが、
効率を考えなければ一つのネットワークから被検索画像
を入力し、同じネットワークに検索済画像を送出するこ
とも可能である。

【００４６】図１８は、構図画像検索ネットワークの情
報伝達上の形状を表した一実施例の模式図である。画像
検索端末2201を頂点とした木構造の上に情報が伝達して
いく。情報伝達上の経路2202は画像検索端末2201と次の
画像検索ゲートウェイ2203を結ぶものである。木構造の
末端には、タグ付き画像検索装置2204やタグ付き画像送
信装置など画像データベースを持った装置が接続され
る。木構造の枝わかれのそれぞれに画像検索ゲートウェ
イ2203が配置される。画像データは検索され絞り込みつ
つ情報伝達の枝を登ってゆき頂点の画像検索端末へ到達
すると検索キーに設定したデータに絞り込まれることに
なる。

【００４７】もうひとつの実施例としては、画像データ
はネットワーク上へ画像データに附属している構図デー
タのみを伝達させて検索を行ない、全ての検索条件を満
たした画像データのみをデータベースから転送するとい
う方法である。

【００４８】図１９は、画像検索ゲートウェイの一実施
例を表したブロック図である。今仮に検索キーである構
図データが、ネットワーク2304からネットワーク通信部
2301へ届いたとする。それは、構図画像検索部2302に送
られ設定される。被検索画像は、ネットワーク通信部23
03から送り込まれ、画像毎にマッチングが行なわれ検索
が実行される。検索された画像データは、ネットワーク
通信部2301を通して検索キーである構図データの送り元
へ送り返される。これらの動作は、ネットワーク通信部
2301と2303で等価であり、反対方向から検索キーが届い
ても同様に動作を行なう。また、検索キーと被検索画像
が同じネットワークから届いても同様に動作する。

【００４９】図２０は、検索依頼ユーザーによる検索画
像データへの新たな構図データの付加する仕組みの一実
施例について説明した図である。2401は検索依頼元であ
りユーザーが構図データ2403の要素である構図データセ
ットa,bを設定して画像を検索する。構図画像データベ
ース2402から構図データというタグの付加された画像デ
ータ2405が送信される。Gが画像データを表わしてい
る。タグ付き画像データ2404は、検索を経て検索依頼元
2401までたどり着きユーザーの元へ提示される。

【００５０】ここで今、ユーザーがその画像に対して更
に構図データを付加したとする。その構図データセット
2406をcとすると、それは2407のように構図データベー
スまで戻されて、元の構図データが2408のように更新さ
れる。複数のユーザーによってネットワーク上で使用さ
る場合を想定すると、多くのユーザーが検索した画像に
構図データを付加していくことによって、どんどんデー
タベースが成長していくシステムになっている。

【００５１】ただし、ユーザーによる嘘の情報の付加を
防ぐための予防処置が必要である。その一つは構図デー
タベース側での構図登録に人を介してチェックする仕組
みを入れる方法がある。別の一つは全ての構図データに
はユーザーが変更できないフィールドを設定し、構図を
付加した人のメイルアドレスや所属機関などの情報をキ
ーワードの形などで付加しておく。そして、検索するユ
ーザーがそのキーワードなどで検索範囲を指定すること
によって選択できるようにする方法である。後者の場
合、個人によって付加された情報か、公的機関や企業に
よって付加された情報かの区別ができるようにキーワー
ドを決定しておくことは、検索範囲を絞る際のひとつの
有益な分類になると思われる。

【００５２】図２１は、構図画像検索ネットワークにお
いて検索依頼元から画像検索ネットワークへ検索キーで
ある構図データを送信する仕組みの一実施例について説
明した図である。2501が検索依頼元であり構図画像検索
端末などが想定されている。ここからabcdeという５つ
の構図画像データセット2508を持った検索キーを送出す
る。するとそれが各検索ゲートウェイ2502、2503、250
4、2506を経て、構図画像データベース2505、2507など
へ伝達される。

【００５３】この説明図では、このデータベースには検
索機能があるものを考えている。検索ゲートウェイに伝
達された構図データは、その要素である構図データセッ
トの１つを採用して残りをネットワーク上の次の検索ゲ
ートウェイなどの検索手段へと転送している。ここで、
検索条件の緩いものから順に採用していくことにする
と、検索条件に合わない多くの画像データは検索条件の
厳しいものによって最初に振り分けられるためネットワ
ークを流れる画像データは少なくなる。

【００５４】画像検索ネットーワークによるこの検索方
法は、情報転送速度が非常に高速なネットワークを用い
ることを想定しており、検索する時間よりもデータ転送
にかかる時間が少ない場合に非常に有効である。そのよ
うなネットワークとして例えば、並列計算機上のそれぞ
れの演算器のネットワークがある。

【００５５】更にもうひとつの実施例としては、検索キ
ーに含まれる検索項目、ここでいうところの構図データ
の各検索手段への割り当ては固定せずに、ネットワーク
や検索手段の負荷に応じて前後の検索手段へと割り当て
検索項目を動的に割り振るものである。検索手段の負荷
が重い場合、あるいは入力側のネットワークのデータ転
送の負荷が重い場合に、その検索項目の一部を情報源側
の検索手段へと割り振る。すると、本検索条件が緩くな
るためおそらく検索手段の負荷が下り、情報源側の検索
条件は厳しくなるためネットワークで転送されるデータ
の量が減りネットワークの負荷も下がる。その両方の負
荷が軽いときには、検索項目の一部を検索依頼元側へ割
り振る。

【００５６】更にまた別の実施例としては、情報源から
の構図画像データには検索項目に対するチェック項目が
あり、検索した項目に対して印を付加しておく方法であ
る。データを受けとった検索手段は、その項目をチェッ
クしてまだ検索していない項目についてマッチングを行
ない、それをパスしたデータにその検索項目のチェック
を付加して次の検索手段へとデータを転送する。

【００５７】この検索方法に類似な公知例としては、米
国のGeneral Magic社のTelescriptと呼ばれる通信言語
を用いた情報検索法が挙げられる。これは、エージェン
トと呼ばれる仕事の単位にTelescriptによって記述され
た仕事、例えば画像検索などをまかせる。するとそれ
が、ネットワーク上にある Telescriptエンジンと呼ば
れるサーバーを移動したり分裂して増えながら検索など
を行ない、目的のものが見つかった場合にそれを依頼元
へ転送するのである。

【００５８】図２２は、被検索画像のキーワードに使用
する名称の例として、画像の対象が持つ階層構造や階層
概念を用いた例とその一実施例を説明したものである。
2601は、「犬」という動物を示す単語である。これは一
般的な名称であり犬といってもさまざまな種類が存在し
ている。2602は、「犬」を更に区別する方法として、犬
の大きさを用いたものである。「小型犬」「中型犬」
「大型犬」の３種類に分類た例である。2603は、それぞ
れの分類2602に対して更に細かく犬の種類を記述した例
である。構造の分け方にはいろいろあるが、その一例と
してこのような階層構造を持たせることができる。

【００５９】2604は、構図データとして入力されるキー
ワードの例を示している。2605は、階層構造を含んだ画
像の名称である。「犬」「小型犬」「ヨークシャテリ
ア」という名称が区切文字をはさんで結合されている。

【００６０】検索の方法は、構図検索システムの方にま
かされているが、一般的な検索方法は、この３つのどの
名称でも検索できるようにしておくことである。つまり
「犬」でも検索できるし「ヨークシャテリア」でも検索
できるようにしておくのである。すると、もし「犬」で
検索を行った場合には、「柴犬」や「コリー」も候補に
することができるが「ヨークシャテリア」で検索する
と、その名称が付加された画像のみが候補に挙がるのみ
である。ようするに、検索キーのキーワードに指定する
名称に、この階層構造のレベルのどの名称を選択するか
によって、検索の範囲を指定することができるのであ
る。2606は、その画像の属性が書かれている。その画像
は「ヨークシャテリア」という小型犬であるが、「茶
色」で「やんちゃ」な性格の犬であるという情報が付加
されている。

【００６１】検索の際に、その属性を指定することで検
索の範囲をせばめることができる。この例の場合、検索
キーとして名称「ヨークシャテリア」属性「茶色」を指
定すると、被検索画像のキーワードの名称のフィールド
のマッチングが行なわれて「ヨークシャテリア」を探
し、かつ属性フィールドがマッチングが行なわれて「茶
色」のものが検索される。2605は階層構造で上位の単語
が含まれていれば良いのであって、階層が上位のものか
ら先頭に並べる必要はない。検索の際には、どの単語も
区別なく走査される。従って、別の階層構造を持つ分類
でもそこに現れた名称すらそこに並べておくことができ
る。また、2606の属性にこの情報を書きこんだ人の情報
を入れておくこともできる。例えば、パブリックな機関
が加えた信頼できる情報と個人が加えた信頼度の低い情
報をその属性を、検索キーのキーワードに加えることに
よって区別することができる。

【００６２】図２３は、構図データを付加するタグ作成
装置のキーワード入力に関して、キーワードとして入力
する意味上の階層の構造を説明するための模式図であ
る。例えば、今Ｋという文字に対する構造が図のように
なっていたとする。ただし、このK,1,2,3などは意味を
持った文字を表わしているとする。すると、そのＫの上
位構造というのはＡの1-2-3-KとＢの4-5-6-Kが考えられ
る。このような候補を、辞書を検索することによって自
動で作成するのである。その際に使用するシソーラスと
いう意味構造を含んだ辞書の例としては、国立国語研究
所の分類語彙表(秀英出版,1964)が挙げられる。

【００６３】図２４は、構図データを付加するタグ作成
装置のキーワード入力に関して、キーワード候補が挙が
っている例を示したものである。図２３のような複数候
補がある場合には、このようにキーワードとして入力す
る候補が複数表示されてそこから選択することになる。
例えばＡを選択するとキーワードは「1:2:3:K」のよう
に上位構造を含んだものが設定される。

【００６４】図２５は、構図データを付加するタグ作成
装置のキーワード入力に関して、キーワードとして上位
構造をも持った文字を入力する手順について説明したも
のである。2901でまずキーワード入力を行う。すると29
02にその文字を含む意味の構造を辞書から検索してその
上位構造を取りだす。2903はその辞書である。国立国語
研究所の分類語彙表(秀英出版,1964)などが利用でき
る。その候補が１か否かを2904で判定し、もし複数であ
ったなら2905にて、図２８のように表示する。2906に
て、そこからひとつの構造を選択する。その構造をキー
ワードとして、2907で設定してキーワード入力が完了す
る。

【００６５】それぞれの請求項に記述されている画像と
は、特に２次元静止画像に限ることなく、動画像や３次
元画像などのデータに対する適用を妨げるものではな
い。

【００６６】

【発明の効果】本発明では、画像の領域とその領域が何
であるかという指定をすることによって構図を設定し、
その構図を検索キーとして被検索画像を検索することに
より、画像の名称による画像検索や Mosaicなどのハイ
パーカード式の画像選択に比しても画像の指定の方法に
より広い自由度を持たせることを可能にする。

【００６７】また本発明では、構図によって画像を検索
できるデータベースを構築する手段を提供する。

【図面の簡単な説明】

【図１】２次元静止画像データの場合の構図データ入力
の様子を説明した図。

【図２】検索結果の表示の様子を説明した図。

【図３】検索結果の詳細表示を説明した図。

【図４】構図データ入力の別の実施例を説明した図。

【図５】構図データの保存方法の一実施例を説明した
図。

【図６】検索キーのデータ構造の一実施例を説明した
図。

【図７】構図データ検索の一実施例のフローチャート。

【図８】２次元静止画像の場合の画像検索と結果表示の
方法の一実施例を示したフローチャート。

【図９】２次元静止画像の場合の構図データによる画像
マッチングの方法の一実施例を示したフローチャート。

【図１０】２次元静止画像の場合の構図データによる画
像マッチングの方法の別の一実施例を示したフローチャ
ート。

【図１１】構図データによる画像検索システムの一実施
例の外観図の模式図。

【図１２】２次元静止画像における画像タグ作成システ
ムの画像にタグを付加する様子を説明した図。

【図１３】構図データ付き画像データのデータ構造の一
実施例を説明した図。

【図１４】構図データの入力方法の一実施例のフローチ
ャート。

【図１５】画像に構図データを付加する画像タグ作成シ
ステムの外観を説明した図。

【図１６】３次元画像の構造検索システムのデータ入出
力部分を説明した模式図。

【図１７】構図画像検索ネットワークの物理的な接続を
表わした一実施例の模式図。

【図１８】構図画像検索ネットワークの情報伝達上の形
状を表した一実施例の模式図。

【図１９】画像検索ゲートウェイの一実施例を表したブ
ロック図。

【図２０】検索依頼ユーザーによる検索画像データへの
新たな構図データの付加する仕組みの一実施例について
説明した図。

【図２１】構図画像検索ネットワークにおいて検索依頼
元から画像検索ネットワークへ構図データを送信する仕
組みの一実施例について説明した図。

【図２２】被検索画像のキーワードに使用する名称の例
として、画像の対象が持つ階層構造や階層概念を用いた
例とその一実施例を説明した図。

【図２３】構図データを付加するタグ作成装置のキーワ
ード入力に関して、キーワードとして入力する意味上の
階層の構造を説明するための模式図。

【図２４】構図データを付加するタグ作成装置のキーワ
ード入力に関して、キーワード候補が挙がっている例を
示す図。

【図２５】構図データを付加するタグ作成装置のキーワ
ード入力に関して、キーワードとして上位構造をも持っ
た文字を入力する手順を示すフローチャート。

【符号の説明】

101：画像描画領域の限界枠、102：多角形の辺を表わし
た直線、103：多角形の頂点、104：キーワードを入力す
るためのフィールド、105：キーワード、106：閉領域、
201：縮小した検索結果の画像、202：その画像の名称や
属性などの説明が表示されるフィールド、301：表示領
域の限界枠、302：画像の名称や属性など画像に関する
説明が表示されるフィールドの枠、303：検索によって
得られた画像、304：302のフィールド内部、305：描画
領域の限界枠、401：描画領域の限界枠、402：領域を示
す長方形、403：閉領域、404：キーワードの入力フィー
ルド、405：キーワード、501：描画領域の限界枠、502,
503,504：閉領域、511：閉領域のデータを保存するフィ
ールド、512：キーワード、505：閉領域と閉領域データ
保存フィールドとの対応関係を示した曲線、1201：表示
装置、1202：構図入力画面と検索結果、1203：記憶装
置、1204：キーボード、1205：マウス、1206：プリンタ
ー、1301：描画領域の限界枠、1302：表示領域で、画像
データが表示されている図、1303：構図データの閉領域
を指定した長方形、1304：画像の一部分である画像要素
で、「雲」が描画されている、1305：キーワードがどの
領域に対応しているかを示す矢印、1306：キーワードを
入力するフィールドの枠、1307：キーワードの入力フィ
ールド、1801：表示装置、1802：画像タグの作成画面、
1803：画像データベースおよび構図データ付き画像の記
録装置、1804：キーボード、1805：マウス、1806：８mm
ビデオまたは８mmビデオデッキなど、1807：ＶＨＳなど
のビデオテープ再生機能を持ったビデオデッキと、ＬＤ
などの画像記録媒体の再生機能を持ったＬＤプレイヤ
ー、あるいはＬＤなどへ構図データ付き画像を記録でき
るＬＤ書き込み装置、2001：データグローブ、2002：３
次元画像を投影する表示装置、2003：磁気センサー、20
04：フットペダル、2005：マイク、2101：ネットワーク
の情報伝達の媒体、2102：他のネットワーク、2103：画
像検索ゲートウェイ、2104：タグ付き画像データベー
ス、2105：タグ付き画像の検索装置、2106：画像検索端
末、2201：画像検索端末、2202：情報伝達経路、2203：
画像検索ゲートウェイ、2204：タグ付き画像検索装置や
タグ付き画像送信装置など、2301：ネットワーク通信
部、2302：構図画像検索部、2303：ネットワーク通信
部、2304：ネットワーク、2401：検索依頼元、2402：構
図画像データベース、2403：構図データ、2404：送信中
のタグ付き画像データ、2405：構図画像データベース中
のタグ付き画像データ、2406：ユーザーが付加した構図
データセット、2407：構図データベースへ戻される構図
データセット、2408：更新された構図画像データ、250
1：構図画像検索端末などの検索依頼元、2502：検索ゲ
ートウェイ(検索用の構図データセットaを持つ)、250
3：検索ゲートウェイ(検索用の構図データセットbを持
つ)、2504：検索ゲートウェイ(検索用の構図データセッ
トcを持つ)、2505：検索データベース(検索用の構図デ
ータセットd,eを持つ)、2506：検索ゲートウェイ(検索
用の構図データセットbを持つ)、2507：検索データベー
ス(検索用の構図データセットc,d,eを持つ)、2508：検
索依頼元から送出された検索用の構図データ、2601：
「犬」という動物を示す単語、2602：「犬」を更に区別
する方法として、犬の大きさを用いたもの、2603：細か
く犬の種類を記述した例でもの、2604：構図データとし
て入力されるキーワードの例、2605：階層構造を含んだ
画像の名称の例、2606：画像の属性、2901：領域内の画
像に付加する文字列の入力部、2902：文字列検索部、29
03：階層構造の辞書、2904：構造の候補数の判定部、29
05：複数候補の表示部、2906：候補の選択部、2907：キ
ーワード設定部。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 竹内 勝 埼玉県比企郡鳩山町赤沼2520番地 株式会 社日立製作所基礎研究所内 (72)発明者 広池 敦 埼玉県比企郡鳩山町赤沼2520番地 株式会 社日立製作所基礎研究所内 (72)発明者 森 靖英 埼玉県比企郡鳩山町赤沼2520番地 株式会 社日立製作所基礎研究所内

Claims (9)

【特許請求の範囲】
1. 【請求項１】表示装置に表わされるべき被検索画像の任
   意の領域の画像要素を画像内における位置を意味する領
   域データと当該領域における画像要素の特徴の表現とで
   特定した画像の構図データを有するデータベースと、検
   索したい画像が持つべき画像要素の位置を示す領域デー
   タ及びその画像要素の特徴の表現とよりなる構図データ
   を入力するための表示装置と、表示装置を介して入力さ
   れた構図データとデータベースにある構図データとの一
   致を検出する処理装置及び検出結果を表示する表示装置
   とよりなることを特徴とする画像検索システム。
2. 【請求項２】表示装置に映し出された画像の一部である
   画像要素の領域を指定し、その画像要素に画像要素の特
   徴を表現する情報を付加して構図データとする機能を持
   った入力装置を有する請求項１記載の画像検索システ
   ム。
3. 【請求項３】画像要素の領域の指定を、表示装置の表示
   限界の中に閉領域を指定して設定する請求項２記載の画
   像検索システム。
4. 【請求項４】データベースにある被検索画像の構図デー
   タに含まれる閉領域と検索データの閉領域との位置ずれ
   に、所定の許容範囲を設定して一致を判定する請求項１
   記載の画像検索システム。
5. 【請求項５】データベースにある被検索画像の構図デー
   タに含まれる閉領域の面積の大きさと検索データの閉領
   域の面積の大きさとの差異に、所定の許容範囲を設定し
   て一致を判定する請求項１記載の画像検索システム。
6. 【請求項６】画像要素の特徴を表現する情報がキーワー
   ドで表現される請求項１から５のいずれかに記載の画像
   検索システム。
7. 【請求項７】検索された画像に対し、新たな画像要素の
   特徴を表す情報を付加してデータベースへ戻す機能を備
   えた請求項１から６のいずれかに記載の画像検索システ
   ム。
8. 【請求項８】表示装置に表わされるべき被検索画像の任
   意の領域の画像要素を画像内における位置を意味する領
   域データと当該領域における画像要素の特徴の表現とで
   特定した画像の構図データを有するデータベースと、検
   索したい画像が持つべき画像要素の位置を示す領域デー
   タ及びその画像要素の特徴の表現とよりなる構図データ
   を入力するための表示装置と、表示装置を介して入力さ
   れた構図データとデータベースにある構図データとの一
   致を検出する処理装置及び検出結果を表示する表示装置
   とよりなることを特徴とする画像検索システム、前記画
   像検索システム間を結ぶネットワークよりなり、それぞ
   れの画像検索システムが相互にデータベースを利用可能
   であることを特徴とする画像検索ネットワークシステ
   ム。
9. 【請求項９】検索された画像に対し、新たな画像要素の
   特徴を表す情報を付加して当初のデータベースへ戻す機
   能を備えた請求項８記載の画像検索ネットワークシステ
   ム。