JP3661287B2 - 画像登録装置および方法 - Google Patents
画像登録装置および方法 Download PDFInfo
- Publication number
- JP3661287B2 JP3661287B2 JP20436896A JP20436896A JP3661287B2 JP 3661287 B2 JP3661287 B2 JP 3661287B2 JP 20436896 A JP20436896 A JP 20436896A JP 20436896 A JP20436896 A JP 20436896A JP 3661287 B2 JP3661287 B2 JP 3661287B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- image
- extracting
- attribute
- phase relationship
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像から目的の画像を検索するために使用する検索キーを自動的に抽出して登録する画像登録装置および方法に関する。
【０００２】
【従来の技術】
画像検索に関する従来技術として、一般のデータベースにおけるキーワード付与を基本とした検索手法がある。これは、画像登録者が任意のキーワードを付与するか、もしくは、あらかじめキーワードとなる言葉を決めておき、登録時にこれらのキーワード群を参照して適切なキーワードを付与する手法である。検索の際には、検索者の意図によるキーワードもしくはキーワード群から適切な用語を選び検索を実行する、単語の一致を基本とした検索手法である。この手法は検索装置の構成が容易であり、検索者の意図するキーワードが登録してありさえすれば容易かつ高速に検索できるという利点があるが、反面、画像の登録時に登録者がキーワードを付与する必要があり、手間が掛かる。また、登録者と検索者とが異なる場合には、両者の意図の違いから異なるキーワードが付与される可能性があり、検索者が目的の画像を検索できない状況が発生する。
【０００３】
前述の問題を解決するために、特開平４−６０７７０号公報および特開平６−２４３１７８号公報に示されているようなキーワードの代わりに例示画像を検索キーとして用いる手法が提案されている。この手法は、蓄積画像から画像特有の視覚的特徴に基づく検索を実現させるための手法である。基本的には画像情報を構成物の形、大きさ、位置、さらには色、テクスチャ等を記述した概略画像を用い、蓄積画像全体に対して条件に合う画像を検索する手法である。また蓄積画像からの検索の効率化を図るため、登録画像の代表色をマッピングし、検索キーとなる画像の持つ代表色をこの色空間上にマッピングし、この近傍に存在する画像に対してのみ整合・評価を行なうことにより初期段階である程度の大分類を実施して高速化を図っている。しかし、検索の度に例示画を作成する必要があり、また、検索したい画像を例示画に描くことが困難な状況も発生する。
【０００４】
また、特開平１−１３０２７８号公報に示されているような概略画像作成段階で素材の構成情報とその属性情報を作図プロセッサなどを用いて簡易に作成／登録でき、検索も構成情報とその属性情報のテーブルを用いて実施する方法もある。ここでの構成要素とは、例えば、机、りんごであり、その属性情報は位置、大きさ、姿勢等であり、確度の高い検索が可能となる。しかしながら、あらかじめ蓄積画像に対してこれら構成情報／属性情報を付加する必要がある。
【０００５】
また、自然画像の検索を効率よく行なう手法として、例えば、特開平４−２６７４８０号公報がある。これは自然画像をコンポーネント化し、コンポーネントの形状／特徴情報を検索キーとする手法である。しかしながら、画像のコンポーネント化に際してはマウス／キーボード／デジタイザ等による人の介入を前提としている。
【０００６】
以上までに説明した従来の画像検索方法は、画像の登録時、もしくは、検索時にかなりの手間を要していた。この問題を解決するための方法として、画像から自動的、もしくは、半自動的にキーワードを抽出して、画像とともに登録する方法がある。
【０００７】
例えば、特開平１−７３４６０号公報では、画像から自動的に感覚語を抽出して画像とともに登録し、この感覚語をキーワードとする方法である。この感覚語による検索は、絵画などのある特定の画像群に対しては有効であるが、一般的な画像に対してはあまり有効ではない。これは、一般の画像から感覚語を抽出することが容易ではないことと、人により感覚が異なることが原因である。
【０００８】
また、画像から構成要素に関するキーワードを抽出する手法として、例えば、特開平２−１８７８６４号公報がある。これは画像データの領域を設定し、さらにその領域に含まれる色情報、周波数情報などの物理情報を抽出し、物理量そのものをキーワードとしたり、領域の物理情報から、例えば、空、海等の言葉に結び付けることを可能にしている。しかしながら、領域の物理情報だけから結び付けられる言葉には限りがある。
【０００９】
【発明が解決しようとする課題】
本発明は、上述した事情に鑑みてなされたもので、登録したい画像からより多くの構成要素に関するキーワードを自動的に抽出して、この抽出したキーワードを画像の検索用キーワードとして登録する画像登録技術を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、上述の目的を達成するために、画像登録装置において、入力された画像を量子化して画像データを生成する画像入力手段と、該画像入力手段により生成された前記画像データから類似する特徴を持つ画素から構成される領域を抽出する領域抽出手段と、該領域抽出手段により抽出された領域の持つ物理情報を属性として抽出する領域属性抽出手段と、前記領域抽出手段により抽出された領域間の位相関係を算出して画像を前記領域属性抽出手段により抽出された属性を持つ領域の位相関係で表現する画像構造抽出手段と、該画像構造抽出手段により算出された属性を持つ領域間の位相関係の一部またはすべてをオブジェクトで置換するオブジェクト抽出手段と、該オブジェクト抽出手段で更新された属性を持つ領域間の位相関係からオブジェクト、オブジェクトの相対位置、およびオブジェクト間の位相関係をキーワードとして抽出するキーワード抽出手段と、該キーワード抽出手段により抽出されたキーワードを前記画像入力手段により生成された画像データとともに蓄積装置に登録する画像登録手段とを有することを特徴とするものである。
【００１１】
ここでオブジェクトとは、キーワードに対応する画像の構成要素、例えば、「人の顔」や「木」などのものに固有の名称、および、「赤い円」や「白い四角」などの領域の属性による表現を指す。
【００１２】
この構成によれば、オブジェクト、オブジェクトの相対位置、およびオブジェクト間の位相関係が自動的にキーワードとして登録され、検索時にこれを入力して目的画像を取り出すことができる。
【００１３】
また、この構成において、前記領域属性抽出手段は、抽出する領域属性として領域の色、大きさ、形状、テクスチャに関する特徴量を用い、少なくとも各１つ以上の領域の色、大きさ、形状に関する特徴量を領域属性とするようにしてもよい。
【００１４】
また、前記画像構造抽出手段は、領域と領域との位相関係として、一致、重複、包含、接合もしくは排他のいずれかの関係を抽出するようにすることができる。
【００１５】
さらに、前記オブジェクト抽出手段は、オブジェクトを構成する領域の属性とオブジェクトを構成する領域間の位相関係とオブジェクトを構成する領域の属性間の相対的な関係から適合するオブジェクトを判断するようにできる。
【００１６】
また、本発明は、上述の目的を達成するために、画像登録装置において、画像データから類似する特徴を持つ画素から構成される領域を抽出する領域抽出手段と、該領域抽出手段により抽出された領域の持つ物理情報を属性として抽出する領域属性抽出手段と、前記領域抽出手段により抽出された領域間の位相関係を算出して画像を前記領域属性抽出手段により抽出された属性を持つ領域の位相関係で表現する画像構造抽出手段と、領域および領域間の位相関係と、対応するオブジェクトとの関係を記憶するオブジェクト情報記憶手段と、前記オブジェクト情報記憶手段に記憶されている関係に基づいて、前記属性を持つ領域および領域間の位相関係を対応するオブジェクトに置換するオブジェクト抽出手段と、抽出された前記オブジェクト間の位相関係を抽出するオブジェクト間位相関係抽出手段と、該オブジェクト間位相関係抽出手段により抽出されたオブジェクト間の位相関係を前記画像データを検索するためのキーワードとして登録するキーワード登録手段とを有することを特徴とする。
【００１７】
この構成によれば、少なくともオブジェクト間の位相関係が自動的にキーワードとして登録され、検索時にこれを入力して目的画像を取り出すことができる。
【００１８】
また、本発明は、上述の目的を達成するために、画像登録方法において、入力された画像を量子化して画像データを生成するステップと、生成された前記画像データから類似する特徴を持つ画素から構成される領域を抽出するステップと、抽出された領域の持つ物理情報を属性として抽出するステップと、抽出された領域間の位相関係を算出して画像を、前記領域の位相関係で表現するステップと、前記領域間の位相関係の一部またはすべてをオブジェクトで置換するステップと、前記オブジェクトで更新された領域間の位相関係から前記オブジェクト、前記オブジェクトの相対位置、および前記オブジェクト間の位相関係をキーワードとして抽出するステップと、抽出された前記キーワードを、生成された前記画像データとともにデータベースに登録するステップとを有することを特徴とする。
【００１９】
この構成においても、オブジェクト、オブジェクトの相対位置、およびオブジェクト間の位相関係が自動的にキーワードとして登録され、検索時にこれを入力して目的画像を取り出すことができる。
【００２０】
【発明の実施の形態】
以下、本発明の実施例について図面を参照して説明する。
図１は本発明の画像登録装置の実施の一形態を示すブロック図である。図中、１は画像入力部、２は領域抽出部、３は領域属性抽出部、４は画像構造抽出部、５はオブジェクト抽出部、６はキーワード抽出部、７は画像登録部である。
【００２１】
画像入力部１は、入力された画像を量子化し、画像データを生成する。領域抽出部２は画像入力部１で生成された画像データから、類似する特徴を持つ画素により構成される領域を抽出する。領域属性抽出部３は、領域抽出部２で抽出された各領域を解析し、領域の色、テクスチャ、大きさ、形状に関する特徴を属性として抽出する。画像構造抽出部４は、領域抽出部２で抽出された各領域間の位相関係を調査し、領域属性抽出部３により抽出された属性を持つ領域と各領域間の位相関係を表現したデータ構造を作成する。オブジェクト抽出部５は、属性条件および領域間の位相関係とオブジェクトとを対応づけた辞書を参照しながら画像構造抽出部４で作成されたデータ構造を走査し、前記データ構造の一部またはすべてをオブジェクトで置換する。キーワード抽出部６は、オブジェクト抽出部５で更新されたデータ構造からオブジェクトとオブジェクトの位置関係を対象画像のキーワードとして抽出する。画像登録部７は、キーワード抽出部６で抽出されたキーワードを対応する画像に関係づけて画像データベースに登録する。
【００２２】
図２は、本発明の画像登録装置の実施の一形態を実現する構成例を示すブロック図である。図中、１０１は画像入力処理部、１０２は画像データ記憶メモリ、１０３は領域抽出処理部、１０４は領域／領域属性記憶メモリ、１０５は領域属性抽出処理部、１０６は画像構造抽出処理部、１０７は画像構造記憶メモリ、１０８はオブジェクト抽出処理部、１０９はオブジェクト辞書、１１０はキーワード抽出処理部、１１１は画像登録処理部である。
【００２３】
画像入力処理部１０１では、スキャナなどを用いて入力対象の原稿を入力し、量子化して多階調のＲＧＢカラー画像データ（ＲＧＢ表色系の３要素Ｒ，Ｇ，Ｂで表される画像データ）を生成する。ここでは入力対象を原稿としたので入力手段としてスキャナを用いたが、屋外などの風景を入力対象とする場合にはビデオカメラなどにより入力してもよい。あるいは、計算機を用いて描画された画像などでもよい。入力される画像を一旦記憶装置に格納しておき、処理を行なう時に読み出すように構成することができる。この例では、ＲＧＢカラー画像データを入力画像として生成したが、本発明はこれに限定するわけではなく、グレイスケールの画像データでもよいし、また、Ｌ*ａ*ｂ*などの他の表色系を用いてもよい。
【００２４】
画像データ記憶メモリ１０２は、画像入力処理部１０１により生成された画像データを記憶する。
【００２５】
領域抽出処理部１０３では、画像データ記憶メモリ１０２に記憶されている画像データを基に類似する特徴（色や濃度、テクスチャなど）を持つ画素により構成される領域を抽出する。従来までに多くの領域を抽出する手法が提案されているが、例えば、非階層的クラスタリング、いわゆる、ｋ−平均領域分割手法を用いることができる。本実施例では、各画素の色相、彩度、明度を基に、ｋ−平均領域分割方法を用いて、画像を構成するすべての画素をクラスタリングする場合を示す。本発明における領域は画像中の構成要素、例えば、顔や目などといったオブジェクトに対応するため、極端に小さなクラスタが得られてもあまり意味がない。従って、必要に応じて、クラスタを統合する処理を最後に行なってもよい。そして、同じクラスタに属する隣接画素をラベリングにより抽出することで、類似する特徴を持つ画素から構成される領域が抽出できる。ここで、ラベリングにより抽出された領域をすべて記憶する必要はなく、領域の大きさや総数などに対して閾値を設け、記憶する領域を制限してもよい。
【００２６】
本実施例では、ｋ−平均領域分割およびラベリングにより領域抽出処理を行なったが、本発明はこれに限定するものではなく、類似する特徴を持つ画素により構成される領域を抽出できる手法であればどのような手法でも使用可能である。他の領域抽出手法としては、画像からエッジに当たる画素を抽出してこの画素によって構成される閉領域を領域として抽出する方法などがある。
【００２７】
領域／領域属性記憶メモリ１０４は、領域抽出処理部１０３により抽出された領域を領域データとして記憶する。領域データの構成も種々の方法が考えられるが、この例では、図３に示すようなラベリング画像により領域データを構成し、領域／領域属性記憶メモリ１０４に記憶する。図中、一マスが１つの画素の対応し、マスの中の数値は対応する画素の属する領域に固有の番号（以降、領域番号と称する）である。本発明における領域データの構成方法はラベリング画像に限るわけではなく、画像中の各画素にユニークな番号を与えておいて各領域をその領域に属する画素に与えられたユニークな番号の集合で表す方法や、領域の輪郭点集合で表す方法などの他の方法を用いて領域データを構成してもよい。
【００２８】
領域属性抽出処理部１０５では、領域／領域属性記憶メモリ１０４に記憶されている各々の領域に対応する属性を抽出する。抽出した属性は、対応する領域に関連づけて領域／領域属性記憶メモリ１０４に記憶する。本発明における属性とは、領域の色、大きさ、形状、テクスチャに関する性質を表すものであり、例えば、平均色相、彩度のヒストグラム、面積、絶対最大長、近似形状を表すパラメータ、丸さ（針状）の度合、平均エッジ強度、空間周波数などの特徴量を用いることができる。本発明は、抽出する属性を前述の特徴量に限定するものではなく、領域の色、大きさ、形状、テクスチャに関する性質を表す特徴量であれば何でもよい。しかし、領域の色、大きさ、形状に関する性質を表す特徴量を少なくとも各１つは用いることが好ましい。この例では、簡単にするために、テクスチャに関する特徴を除いた、領域の平均色相、平均彩度、平均明度、構成画素数、針状の度合、主軸方向を抽出する属性として用いる。これらの特徴を既知の方法により領域データから計算して、例えば、図４に示すように領域番号と組にしたテーブル（以降、属性テーブルと称する）として、領域／領域属性記憶メモリ１０４に記憶できる。
【００２９】
また、領域抽出処理部１０３で用いる領域抽出方法によっては、この領域抽出の過程において領域の属性に当たる特徴が算出できる。このような場合には、算出した時点でこの特徴を属性として対応する領域に関連づけて領域／領域属性記憶メモリ１０４に記憶することもできる。この例では、ｋ−平均領域分割の際に各領域の平均色相、平均彩度、平均明度が、ラベリングの際に各領域の構成画素数が算出できるので、領域抽出処理の中でこれらの属性を領域／領域属性記憶メモリ１０４に記憶するようにしている。また、ここで算出した属性（針状の度合、主軸方向）は、すべて領域データから算出できるが、用いる属性によっては（例えば、テクスチャに関する特徴）必要に応じて画像データ記憶メモリに記憶されている画像データを参照して属性を算出するように構成することもできる。
【００３０】
画像構造抽出処理部１０６は、領域／領域属性記憶メモリ１０４に記憶されている領域データを用いて、各領域間の位相関係を抽出する。本発明における領域間の位相関係とは、一致／包含／重複／接合／排他などといった領域と領域の関係を指し、詳細な関係として領域間の距離と方向を持つようにすることもできる。この例では、領域分割により各領域を抽出したので、任意の２つの領域が重なり合うことはない。従って、２つの領域の位相関係は、「含んでいる／含まれている（包含）」か、「隣接している（接合）」か、「離れている（排他）」のいずれかになる。この領域間の位相関係は、領域／領域属性記憶メモリ１０４に記憶されている領域データ（ラベリング画像）を水平方向と垂直方向に走査して、各領域ごとに隣接している領域番号を抽出することで算出することができる。但し、この方法を用いる場合は、図５に示すように画像の外縁部分に画像外を表す領域を作成しておく必要がある。図中の「０」の数値でラベリングされた画素が画像外を表す領域である。各領域に隣接する領域を抽出した結果は、例えば、図６の隣接領域番号リストの項に示すようになる。この結果から、隣接している領域の数が１つしかない領域番号２と３の領域はその隣接している領域番号１の領域に含まれていることが分かる。そして、領域番号１の隣接領域番号リストから領域番号２と３を取り除くことで、含んでいるのでなく接合している領域のリストを得ることができる。また、当然ながら、最終的な位相関係を示す領域のリストからは画像外を表す領域（この例では領域番号が０の領域）は除かなければならない。本発明における位相関係の抽出方法は前述の方法に限定するものではない。また、この例では隣接関係を４近傍で算出したが８近傍で算出してもよい。領域間の詳細な関係として用いる領域間の距離と方向は、領域の重心の座標を基準とした距離と方向を算出することで得ることができる。
【００３１】
画像構造記憶メモリ１０７は、画像構造抽出処理部１０６で作成した領域間の位相関係を記憶する。この例では、図７に示すような、領域番号をノードに持ち、領域間の位相関係をエッジに持つグラフ構造（以降、画像構造グラフと称する）を作成して記憶する。領域間の詳細な関係として各領域間の距離と方向を算出している場合にはこれらの値もエッジに持たせることができる。図７に示した画像構造グラフは、図８に示したラベリング画像（１つの閉領域が１つの領域を表している）から作成したもので、図７に示した１から１１までの領域番号は、順に、顔面、左目、右目、口、左まゆ、右まゆ、髪の毛、左耳、右耳、首、背景の領域を指しているものとする。この例における画像構造グラフでは、包含もしくは隣接する領域間の関係のみを記述したが、重複を許すような領域を領域抽出処理部１０３で抽出した場合には、一致や重複などといった領域間の位相関係を追加することができる。
【００３２】
オブジェクト抽出処理部１０８では、オブジェクト辞書１０９を参照しながら、画像構造記憶メモリ１０７に記憶された画像構造グラフからオブジェクトを抽出する。本発明におけるオブジェクトとは、「人の顔」や「木」などのものに固有の名称、および、「赤い円」や「白い四角」などの領域の属性による表現を指す。
【００３３】
オブジェクト辞書１０９は、オブジェクトの名称とオブジェクトを構成する領域の属性および領域間の位相関係を記述したグラフ構造（以降、オブジェクトグラフと称する）とオブジェクト条件との組（以降、オブジェクト項目と称する）を複数保持している。オブジェクト辞書１０９に記憶しているオブジェクトグラフは、画像構造グラフと同じ形式である。異なる点は、属性の代わりにオブジェクトグラフの各ノードが示す番号に対応する属性条件を持っている点である。以降、オブジェクトグラフのノードが持つ番号を属性条件番号と称する。この属性条件とは、画像構造グラフとオブジェクトグラフとの対応するノードが適合するかどうかを調べるための条件である。また、オブジェクト条件とは、オブジェクトを構成する領域の属性間の相対的な関係に関する規則であり、例えば、領域Ａのは構成画素数領域Ｂの構成画素数の２倍以上、３倍以下といった条件である。図９に、「人の顔」というオブジェクトに対応する、オブジェクト項目とこのオブジェクト項目に対応する部分の属性条件の例を示す。図中、属性条件番号３０１が顔面、３０２と３０３が目、３０４が髪の毛に相当する。
【００３４】
以下では、オブジェクト抽出方法の一例を図１０に示すフローチャートを参照しながら説明する。まず、領域／領域属性記憶メモリ１０４に記憶されている属性テーブルを構成画素数で降順にソートする（Ｓ２０１）。これは、面積の大きな領域ほど主要な構成要素である可能性が高いという経験則に基づく。以降の処理は、ソートされた属性テーブルの領域（領域番号）を順に処理対象とする（Ｓ２０２）。オブジェクト辞書１０９に登録してある属性条件を検索して、処理対象の領域の属性が条件を満たしている属性条件番号のリストを作成する（Ｓ２０３）。このリストの属性条件番号を持つオブジェクトグラフと画像構造グラフとを比較する（Ｓ２０４）。この比較は、処理対象の領域番号を持つ画像構造グラフのノードとＳ２０３で抽出された属性条件番号を持つオブジェクトグラフのノードを一致させた上で、このオブジェクトグラフの持つノードに対応するすべての属性条件とエッジに対応する位相関係が画像構造グラフの一部またはすべてに適合するかどうかを調べる。これが適合した場合には更に、この属性条件番号に対応するオブジェクト条件を適用して、最終的に適合するかしないかを求める（Ｓ２０５）。最終的に適合しないと判断された場合には、Ｓ２０８の処理を行なう。適合した場合は、画像構造グラフの適合した部分グラフを対応するオブジェクトで置換する（Ｓ２０６）。この置換はオブジェクトを一意に決定することのできる番号を持つノードによるものであり、例えば、オブジェクト辞書１０９に登録されている対応するオブジェクト項目の番号（オブジェクト番号と称する）を用いることができる。この置換に伴って、エッジの削除やエッジに対応している位相関係や領域間の距離と方向の修正も行なう。距離と方向を算出するためのオブジェクトの重心は、オブジェクトに置換された画像構造グラフの部分グラフに含まれている領域を統合した領域から算出することができる。そして、オブジェクトに置換された画像構造グラフの部分グラフに含まれている領域番号およびこれに対応する属性をＳ２０１でソートされた属性テーブルから削除する（Ｓ２０７）。Ｓ２０８ではすべての領域について処理を行なったどうかを調べて、未処理の領域が残っていればＳ２０２に戻って処理を繰り返す。
【００３５】
オブジェクト抽出処理部１０８の結果、画像構造グラフに含まれているいくつかの部分グラフがオブジェクトに置換され、画像構造グラフの各ノードにオブジェクト番号もしくは領域番号を持つようなグラフが得られる。図７に示す画像構造グラフに対してオブジェクト抽出処理を行ない、これが図９に示したオブジェクト辞書１０９に登録してあるオブジェクトグラフに適合した結果得られるグラフを図１１に示す。図７の領域番号１，２，３，７がそれぞれ図９の属性条件番号３０１，３０２，３０３，３０４に適合し、図９に示したオブジェクト条件も満たしているものとする。各ノード間のエッジ（位相関係）が適合しており、図７の領域番号１，２，３，７からなる部分グラフが「人の顔」というオブジェクトに対応するオブジェクト番号１００を持つノードに置換されている。
【００３６】
ここでは、ものの固有の名称をオブジェクトとする例を示したが、オブジェクト辞書１０９に「赤い円」や「白い四角」などといった領域の属性に関する表現をオブジェクトの名称とするようなオブジェクト項目を作成することで、「赤い円」や「白い四角」などといったオブジェクトを抽出することができる。
【００３７】
また、この例では、オブジェクトグラフと画像構造グラフの比較は各ノードやエッジが適合するかしないかでオブジェクトの抽出を行なったが、ここに適合度という概念を取り入れて、最も適合度の高い画像構造グラフの部分グラフを対応するオブジェクトで置換するようにすることもできる。例えば、オブジェクト辞書１０９に保持している属性条件を属性を与えることによりその適合度を返すような関数、例えば、ファジィ関数で構成することにより実現できる。
【００３８】
本発明におけるオブジェクト辞書１０９は予め作成しておく必要がある。この作成方法に例としては、複数の人の顔の画像に対して前述してきたような画像構造グラフを作成し、複数の画像構造グラフを得る。そして、複数の画像構造グラフで対応するノード（領域）の属性と共通するエッジの位相関係から「人の顔」というオブジェクトに対応するオブジェクトグラフを作成することができる。また、得られた複数の画像構造グラフのノードが持つ属性間の関係のうち、共通すると見なせる関係をオブジェクト条件とすることができる。
【００３９】
キーワード抽出処理部１１０は、オブジェクト抽出処理部１０８により部分グラフがオブジェクトに置換された画像構造グラフを解析してオブジェクトとオブジェクト間の関係をキーワードとして抽出する。この例では、画像構造グラフ中に存在するオブジェクト番号から定まるオブジェクト（ものに固有な名称）とオブジェクトの画像中における相対的な位置、例えば、「人の顔」というオブジェクトとこのオブジェクトのの位置として「人の顔は画像の中央」というキーワードが抽出できる。また、オブジェクト間の関係として、抽出したオブジェクトの間の相対的な位置関係、例えば、「自動車の左上に信号機」というキーワードを抽出できる。
【００４０】
画像登録処理部１１１は、キーワード抽出処理部１１０で抽出されたキーワードを入力画像に関連づけて蓄積装置（図示せず）に登録する。
【００４１】
以上、説明した画像登録装置を用いることで、画像の登録時に人手によりキーワードを付与する手間を省き、キーワードを指定することで容易かつ高速に目的の画像を検索する検索装置を構成することができる。但し、本発明による画像登録装置によって抽出され画像とともに登録されるキーワードは主としてもの固有な名称であるため、検索時に検索キーとして指定されたキーワードの類義語も検索キーに加えて検索するように画像検索装置を構成するほうが好ましい。
【００４２】
【発明の効果】
以上、説明したように、本発明によれば、登録したい画像を入力するだけで、自動的に客観性のあるキーワードを画像から抽出して、画像とともにデータベースに登録できるため、登録者が画像を登録する時にキーワードを付与する手間を省くことができる。また、検索は画像とともに登録されたキーワードを基に行なうため、検索キーの指示が容易であり、また検索装置の構成も単純にできる。
【図面の簡単な説明】
【図１】 本発明の実施例の画像登録装置を全体として示すブロック図である。
【図２】 実施例の画像登録装置の構成例を示すブロック図である。
【図３】 実施例における領域データを表現するラベリング画像の例を示す図である。
【図４】 実施例の属性テーブルの例を示す図である。
【図５】 実施例において領域間の位相関係を抽出する際に用いるラベリング画像の例を示す図である。
【図６】 実施例において領域ごとの隣接領域を抽出した例を示す図である。
【図７】 実施例の画像構造グラフの例を示す図である。
【図８】 図７の画像構造グラフに対応するラベリング画像の例を示す図である。
【図９】 実施例のオブジェクト辞書の例を示す図である。
【図１０】 実施例のオブジェクト抽出処理方法の処理フローの例を示す図である。
【図１１】 実施例のオブジェクト抽出処理後の画像構造グラフの例を示す図である。
【符号の説明】
１ 画像入力部
２ 領域抽出部
３ 領域属性抽出部
４ 画像構造抽出部
５ オブジェクト抽出部
６ キーワード抽出部
７ 画像登録部
１０１ 画像入力処理部
１０２ 画像データ記憶メモリ
１０３ 領域抽出処理部
１０４ 領域 ／ 領域属性記憶メモリ
１０５ 領域属性抽出処理部
１０６ 画像構造抽出処理部
１０７ 画像構造記憶メモリ
１０８ オブジェクト抽出処理部
１０９ オブジェクト辞書
１１０ キーワード抽出処理部
１１１ 画像登録処理部
【発明の属する技術分野】
本発明は、画像から目的の画像を検索するために使用する検索キーを自動的に抽出して登録する画像登録装置および方法に関する。
【０００２】
【従来の技術】
画像検索に関する従来技術として、一般のデータベースにおけるキーワード付与を基本とした検索手法がある。これは、画像登録者が任意のキーワードを付与するか、もしくは、あらかじめキーワードとなる言葉を決めておき、登録時にこれらのキーワード群を参照して適切なキーワードを付与する手法である。検索の際には、検索者の意図によるキーワードもしくはキーワード群から適切な用語を選び検索を実行する、単語の一致を基本とした検索手法である。この手法は検索装置の構成が容易であり、検索者の意図するキーワードが登録してありさえすれば容易かつ高速に検索できるという利点があるが、反面、画像の登録時に登録者がキーワードを付与する必要があり、手間が掛かる。また、登録者と検索者とが異なる場合には、両者の意図の違いから異なるキーワードが付与される可能性があり、検索者が目的の画像を検索できない状況が発生する。
【０００３】
前述の問題を解決するために、特開平４−６０７７０号公報および特開平６−２４３１７８号公報に示されているようなキーワードの代わりに例示画像を検索キーとして用いる手法が提案されている。この手法は、蓄積画像から画像特有の視覚的特徴に基づく検索を実現させるための手法である。基本的には画像情報を構成物の形、大きさ、位置、さらには色、テクスチャ等を記述した概略画像を用い、蓄積画像全体に対して条件に合う画像を検索する手法である。また蓄積画像からの検索の効率化を図るため、登録画像の代表色をマッピングし、検索キーとなる画像の持つ代表色をこの色空間上にマッピングし、この近傍に存在する画像に対してのみ整合・評価を行なうことにより初期段階である程度の大分類を実施して高速化を図っている。しかし、検索の度に例示画を作成する必要があり、また、検索したい画像を例示画に描くことが困難な状況も発生する。
【０００４】
また、特開平１−１３０２７８号公報に示されているような概略画像作成段階で素材の構成情報とその属性情報を作図プロセッサなどを用いて簡易に作成／登録でき、検索も構成情報とその属性情報のテーブルを用いて実施する方法もある。ここでの構成要素とは、例えば、机、りんごであり、その属性情報は位置、大きさ、姿勢等であり、確度の高い検索が可能となる。しかしながら、あらかじめ蓄積画像に対してこれら構成情報／属性情報を付加する必要がある。
【０００５】
また、自然画像の検索を効率よく行なう手法として、例えば、特開平４−２６７４８０号公報がある。これは自然画像をコンポーネント化し、コンポーネントの形状／特徴情報を検索キーとする手法である。しかしながら、画像のコンポーネント化に際してはマウス／キーボード／デジタイザ等による人の介入を前提としている。
【０００６】
以上までに説明した従来の画像検索方法は、画像の登録時、もしくは、検索時にかなりの手間を要していた。この問題を解決するための方法として、画像から自動的、もしくは、半自動的にキーワードを抽出して、画像とともに登録する方法がある。
【０００７】
例えば、特開平１−７３４６０号公報では、画像から自動的に感覚語を抽出して画像とともに登録し、この感覚語をキーワードとする方法である。この感覚語による検索は、絵画などのある特定の画像群に対しては有効であるが、一般的な画像に対してはあまり有効ではない。これは、一般の画像から感覚語を抽出することが容易ではないことと、人により感覚が異なることが原因である。
【０００８】
また、画像から構成要素に関するキーワードを抽出する手法として、例えば、特開平２−１８７８６４号公報がある。これは画像データの領域を設定し、さらにその領域に含まれる色情報、周波数情報などの物理情報を抽出し、物理量そのものをキーワードとしたり、領域の物理情報から、例えば、空、海等の言葉に結び付けることを可能にしている。しかしながら、領域の物理情報だけから結び付けられる言葉には限りがある。
【０００９】
【発明が解決しようとする課題】
本発明は、上述した事情に鑑みてなされたもので、登録したい画像からより多くの構成要素に関するキーワードを自動的に抽出して、この抽出したキーワードを画像の検索用キーワードとして登録する画像登録技術を提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、上述の目的を達成するために、画像登録装置において、入力された画像を量子化して画像データを生成する画像入力手段と、該画像入力手段により生成された前記画像データから類似する特徴を持つ画素から構成される領域を抽出する領域抽出手段と、該領域抽出手段により抽出された領域の持つ物理情報を属性として抽出する領域属性抽出手段と、前記領域抽出手段により抽出された領域間の位相関係を算出して画像を前記領域属性抽出手段により抽出された属性を持つ領域の位相関係で表現する画像構造抽出手段と、該画像構造抽出手段により算出された属性を持つ領域間の位相関係の一部またはすべてをオブジェクトで置換するオブジェクト抽出手段と、該オブジェクト抽出手段で更新された属性を持つ領域間の位相関係からオブジェクト、オブジェクトの相対位置、およびオブジェクト間の位相関係をキーワードとして抽出するキーワード抽出手段と、該キーワード抽出手段により抽出されたキーワードを前記画像入力手段により生成された画像データとともに蓄積装置に登録する画像登録手段とを有することを特徴とするものである。
【００１１】
ここでオブジェクトとは、キーワードに対応する画像の構成要素、例えば、「人の顔」や「木」などのものに固有の名称、および、「赤い円」や「白い四角」などの領域の属性による表現を指す。
【００１２】
この構成によれば、オブジェクト、オブジェクトの相対位置、およびオブジェクト間の位相関係が自動的にキーワードとして登録され、検索時にこれを入力して目的画像を取り出すことができる。
【００１３】
また、この構成において、前記領域属性抽出手段は、抽出する領域属性として領域の色、大きさ、形状、テクスチャに関する特徴量を用い、少なくとも各１つ以上の領域の色、大きさ、形状に関する特徴量を領域属性とするようにしてもよい。
【００１４】
また、前記画像構造抽出手段は、領域と領域との位相関係として、一致、重複、包含、接合もしくは排他のいずれかの関係を抽出するようにすることができる。
【００１５】
さらに、前記オブジェクト抽出手段は、オブジェクトを構成する領域の属性とオブジェクトを構成する領域間の位相関係とオブジェクトを構成する領域の属性間の相対的な関係から適合するオブジェクトを判断するようにできる。
【００１６】
また、本発明は、上述の目的を達成するために、画像登録装置において、画像データから類似する特徴を持つ画素から構成される領域を抽出する領域抽出手段と、該領域抽出手段により抽出された領域の持つ物理情報を属性として抽出する領域属性抽出手段と、前記領域抽出手段により抽出された領域間の位相関係を算出して画像を前記領域属性抽出手段により抽出された属性を持つ領域の位相関係で表現する画像構造抽出手段と、領域および領域間の位相関係と、対応するオブジェクトとの関係を記憶するオブジェクト情報記憶手段と、前記オブジェクト情報記憶手段に記憶されている関係に基づいて、前記属性を持つ領域および領域間の位相関係を対応するオブジェクトに置換するオブジェクト抽出手段と、抽出された前記オブジェクト間の位相関係を抽出するオブジェクト間位相関係抽出手段と、該オブジェクト間位相関係抽出手段により抽出されたオブジェクト間の位相関係を前記画像データを検索するためのキーワードとして登録するキーワード登録手段とを有することを特徴とする。
【００１７】
この構成によれば、少なくともオブジェクト間の位相関係が自動的にキーワードとして登録され、検索時にこれを入力して目的画像を取り出すことができる。
【００１８】
また、本発明は、上述の目的を達成するために、画像登録方法において、入力された画像を量子化して画像データを生成するステップと、生成された前記画像データから類似する特徴を持つ画素から構成される領域を抽出するステップと、抽出された領域の持つ物理情報を属性として抽出するステップと、抽出された領域間の位相関係を算出して画像を、前記領域の位相関係で表現するステップと、前記領域間の位相関係の一部またはすべてをオブジェクトで置換するステップと、前記オブジェクトで更新された領域間の位相関係から前記オブジェクト、前記オブジェクトの相対位置、および前記オブジェクト間の位相関係をキーワードとして抽出するステップと、抽出された前記キーワードを、生成された前記画像データとともにデータベースに登録するステップとを有することを特徴とする。
【００１９】
この構成においても、オブジェクト、オブジェクトの相対位置、およびオブジェクト間の位相関係が自動的にキーワードとして登録され、検索時にこれを入力して目的画像を取り出すことができる。
【００２０】
【発明の実施の形態】
以下、本発明の実施例について図面を参照して説明する。
図１は本発明の画像登録装置の実施の一形態を示すブロック図である。図中、１は画像入力部、２は領域抽出部、３は領域属性抽出部、４は画像構造抽出部、５はオブジェクト抽出部、６はキーワード抽出部、７は画像登録部である。
【００２１】
画像入力部１は、入力された画像を量子化し、画像データを生成する。領域抽出部２は画像入力部１で生成された画像データから、類似する特徴を持つ画素により構成される領域を抽出する。領域属性抽出部３は、領域抽出部２で抽出された各領域を解析し、領域の色、テクスチャ、大きさ、形状に関する特徴を属性として抽出する。画像構造抽出部４は、領域抽出部２で抽出された各領域間の位相関係を調査し、領域属性抽出部３により抽出された属性を持つ領域と各領域間の位相関係を表現したデータ構造を作成する。オブジェクト抽出部５は、属性条件および領域間の位相関係とオブジェクトとを対応づけた辞書を参照しながら画像構造抽出部４で作成されたデータ構造を走査し、前記データ構造の一部またはすべてをオブジェクトで置換する。キーワード抽出部６は、オブジェクト抽出部５で更新されたデータ構造からオブジェクトとオブジェクトの位置関係を対象画像のキーワードとして抽出する。画像登録部７は、キーワード抽出部６で抽出されたキーワードを対応する画像に関係づけて画像データベースに登録する。
【００２２】
図２は、本発明の画像登録装置の実施の一形態を実現する構成例を示すブロック図である。図中、１０１は画像入力処理部、１０２は画像データ記憶メモリ、１０３は領域抽出処理部、１０４は領域／領域属性記憶メモリ、１０５は領域属性抽出処理部、１０６は画像構造抽出処理部、１０７は画像構造記憶メモリ、１０８はオブジェクト抽出処理部、１０９はオブジェクト辞書、１１０はキーワード抽出処理部、１１１は画像登録処理部である。
【００２３】
画像入力処理部１０１では、スキャナなどを用いて入力対象の原稿を入力し、量子化して多階調のＲＧＢカラー画像データ（ＲＧＢ表色系の３要素Ｒ，Ｇ，Ｂで表される画像データ）を生成する。ここでは入力対象を原稿としたので入力手段としてスキャナを用いたが、屋外などの風景を入力対象とする場合にはビデオカメラなどにより入力してもよい。あるいは、計算機を用いて描画された画像などでもよい。入力される画像を一旦記憶装置に格納しておき、処理を行なう時に読み出すように構成することができる。この例では、ＲＧＢカラー画像データを入力画像として生成したが、本発明はこれに限定するわけではなく、グレイスケールの画像データでもよいし、また、Ｌ*ａ*ｂ*などの他の表色系を用いてもよい。
【００２４】
画像データ記憶メモリ１０２は、画像入力処理部１０１により生成された画像データを記憶する。
【００２５】
領域抽出処理部１０３では、画像データ記憶メモリ１０２に記憶されている画像データを基に類似する特徴（色や濃度、テクスチャなど）を持つ画素により構成される領域を抽出する。従来までに多くの領域を抽出する手法が提案されているが、例えば、非階層的クラスタリング、いわゆる、ｋ−平均領域分割手法を用いることができる。本実施例では、各画素の色相、彩度、明度を基に、ｋ−平均領域分割方法を用いて、画像を構成するすべての画素をクラスタリングする場合を示す。本発明における領域は画像中の構成要素、例えば、顔や目などといったオブジェクトに対応するため、極端に小さなクラスタが得られてもあまり意味がない。従って、必要に応じて、クラスタを統合する処理を最後に行なってもよい。そして、同じクラスタに属する隣接画素をラベリングにより抽出することで、類似する特徴を持つ画素から構成される領域が抽出できる。ここで、ラベリングにより抽出された領域をすべて記憶する必要はなく、領域の大きさや総数などに対して閾値を設け、記憶する領域を制限してもよい。
【００２６】
本実施例では、ｋ−平均領域分割およびラベリングにより領域抽出処理を行なったが、本発明はこれに限定するものではなく、類似する特徴を持つ画素により構成される領域を抽出できる手法であればどのような手法でも使用可能である。他の領域抽出手法としては、画像からエッジに当たる画素を抽出してこの画素によって構成される閉領域を領域として抽出する方法などがある。
【００２７】
領域／領域属性記憶メモリ１０４は、領域抽出処理部１０３により抽出された領域を領域データとして記憶する。領域データの構成も種々の方法が考えられるが、この例では、図３に示すようなラベリング画像により領域データを構成し、領域／領域属性記憶メモリ１０４に記憶する。図中、一マスが１つの画素の対応し、マスの中の数値は対応する画素の属する領域に固有の番号（以降、領域番号と称する）である。本発明における領域データの構成方法はラベリング画像に限るわけではなく、画像中の各画素にユニークな番号を与えておいて各領域をその領域に属する画素に与えられたユニークな番号の集合で表す方法や、領域の輪郭点集合で表す方法などの他の方法を用いて領域データを構成してもよい。
【００２８】
領域属性抽出処理部１０５では、領域／領域属性記憶メモリ１０４に記憶されている各々の領域に対応する属性を抽出する。抽出した属性は、対応する領域に関連づけて領域／領域属性記憶メモリ１０４に記憶する。本発明における属性とは、領域の色、大きさ、形状、テクスチャに関する性質を表すものであり、例えば、平均色相、彩度のヒストグラム、面積、絶対最大長、近似形状を表すパラメータ、丸さ（針状）の度合、平均エッジ強度、空間周波数などの特徴量を用いることができる。本発明は、抽出する属性を前述の特徴量に限定するものではなく、領域の色、大きさ、形状、テクスチャに関する性質を表す特徴量であれば何でもよい。しかし、領域の色、大きさ、形状に関する性質を表す特徴量を少なくとも各１つは用いることが好ましい。この例では、簡単にするために、テクスチャに関する特徴を除いた、領域の平均色相、平均彩度、平均明度、構成画素数、針状の度合、主軸方向を抽出する属性として用いる。これらの特徴を既知の方法により領域データから計算して、例えば、図４に示すように領域番号と組にしたテーブル（以降、属性テーブルと称する）として、領域／領域属性記憶メモリ１０４に記憶できる。
【００２９】
また、領域抽出処理部１０３で用いる領域抽出方法によっては、この領域抽出の過程において領域の属性に当たる特徴が算出できる。このような場合には、算出した時点でこの特徴を属性として対応する領域に関連づけて領域／領域属性記憶メモリ１０４に記憶することもできる。この例では、ｋ−平均領域分割の際に各領域の平均色相、平均彩度、平均明度が、ラベリングの際に各領域の構成画素数が算出できるので、領域抽出処理の中でこれらの属性を領域／領域属性記憶メモリ１０４に記憶するようにしている。また、ここで算出した属性（針状の度合、主軸方向）は、すべて領域データから算出できるが、用いる属性によっては（例えば、テクスチャに関する特徴）必要に応じて画像データ記憶メモリに記憶されている画像データを参照して属性を算出するように構成することもできる。
【００３０】
画像構造抽出処理部１０６は、領域／領域属性記憶メモリ１０４に記憶されている領域データを用いて、各領域間の位相関係を抽出する。本発明における領域間の位相関係とは、一致／包含／重複／接合／排他などといった領域と領域の関係を指し、詳細な関係として領域間の距離と方向を持つようにすることもできる。この例では、領域分割により各領域を抽出したので、任意の２つの領域が重なり合うことはない。従って、２つの領域の位相関係は、「含んでいる／含まれている（包含）」か、「隣接している（接合）」か、「離れている（排他）」のいずれかになる。この領域間の位相関係は、領域／領域属性記憶メモリ１０４に記憶されている領域データ（ラベリング画像）を水平方向と垂直方向に走査して、各領域ごとに隣接している領域番号を抽出することで算出することができる。但し、この方法を用いる場合は、図５に示すように画像の外縁部分に画像外を表す領域を作成しておく必要がある。図中の「０」の数値でラベリングされた画素が画像外を表す領域である。各領域に隣接する領域を抽出した結果は、例えば、図６の隣接領域番号リストの項に示すようになる。この結果から、隣接している領域の数が１つしかない領域番号２と３の領域はその隣接している領域番号１の領域に含まれていることが分かる。そして、領域番号１の隣接領域番号リストから領域番号２と３を取り除くことで、含んでいるのでなく接合している領域のリストを得ることができる。また、当然ながら、最終的な位相関係を示す領域のリストからは画像外を表す領域（この例では領域番号が０の領域）は除かなければならない。本発明における位相関係の抽出方法は前述の方法に限定するものではない。また、この例では隣接関係を４近傍で算出したが８近傍で算出してもよい。領域間の詳細な関係として用いる領域間の距離と方向は、領域の重心の座標を基準とした距離と方向を算出することで得ることができる。
【００３１】
画像構造記憶メモリ１０７は、画像構造抽出処理部１０６で作成した領域間の位相関係を記憶する。この例では、図７に示すような、領域番号をノードに持ち、領域間の位相関係をエッジに持つグラフ構造（以降、画像構造グラフと称する）を作成して記憶する。領域間の詳細な関係として各領域間の距離と方向を算出している場合にはこれらの値もエッジに持たせることができる。図７に示した画像構造グラフは、図８に示したラベリング画像（１つの閉領域が１つの領域を表している）から作成したもので、図７に示した１から１１までの領域番号は、順に、顔面、左目、右目、口、左まゆ、右まゆ、髪の毛、左耳、右耳、首、背景の領域を指しているものとする。この例における画像構造グラフでは、包含もしくは隣接する領域間の関係のみを記述したが、重複を許すような領域を領域抽出処理部１０３で抽出した場合には、一致や重複などといった領域間の位相関係を追加することができる。
【００３２】
オブジェクト抽出処理部１０８では、オブジェクト辞書１０９を参照しながら、画像構造記憶メモリ１０７に記憶された画像構造グラフからオブジェクトを抽出する。本発明におけるオブジェクトとは、「人の顔」や「木」などのものに固有の名称、および、「赤い円」や「白い四角」などの領域の属性による表現を指す。
【００３３】
オブジェクト辞書１０９は、オブジェクトの名称とオブジェクトを構成する領域の属性および領域間の位相関係を記述したグラフ構造（以降、オブジェクトグラフと称する）とオブジェクト条件との組（以降、オブジェクト項目と称する）を複数保持している。オブジェクト辞書１０９に記憶しているオブジェクトグラフは、画像構造グラフと同じ形式である。異なる点は、属性の代わりにオブジェクトグラフの各ノードが示す番号に対応する属性条件を持っている点である。以降、オブジェクトグラフのノードが持つ番号を属性条件番号と称する。この属性条件とは、画像構造グラフとオブジェクトグラフとの対応するノードが適合するかどうかを調べるための条件である。また、オブジェクト条件とは、オブジェクトを構成する領域の属性間の相対的な関係に関する規則であり、例えば、領域Ａのは構成画素数領域Ｂの構成画素数の２倍以上、３倍以下といった条件である。図９に、「人の顔」というオブジェクトに対応する、オブジェクト項目とこのオブジェクト項目に対応する部分の属性条件の例を示す。図中、属性条件番号３０１が顔面、３０２と３０３が目、３０４が髪の毛に相当する。
【００３４】
以下では、オブジェクト抽出方法の一例を図１０に示すフローチャートを参照しながら説明する。まず、領域／領域属性記憶メモリ１０４に記憶されている属性テーブルを構成画素数で降順にソートする（Ｓ２０１）。これは、面積の大きな領域ほど主要な構成要素である可能性が高いという経験則に基づく。以降の処理は、ソートされた属性テーブルの領域（領域番号）を順に処理対象とする（Ｓ２０２）。オブジェクト辞書１０９に登録してある属性条件を検索して、処理対象の領域の属性が条件を満たしている属性条件番号のリストを作成する（Ｓ２０３）。このリストの属性条件番号を持つオブジェクトグラフと画像構造グラフとを比較する（Ｓ２０４）。この比較は、処理対象の領域番号を持つ画像構造グラフのノードとＳ２０３で抽出された属性条件番号を持つオブジェクトグラフのノードを一致させた上で、このオブジェクトグラフの持つノードに対応するすべての属性条件とエッジに対応する位相関係が画像構造グラフの一部またはすべてに適合するかどうかを調べる。これが適合した場合には更に、この属性条件番号に対応するオブジェクト条件を適用して、最終的に適合するかしないかを求める（Ｓ２０５）。最終的に適合しないと判断された場合には、Ｓ２０８の処理を行なう。適合した場合は、画像構造グラフの適合した部分グラフを対応するオブジェクトで置換する（Ｓ２０６）。この置換はオブジェクトを一意に決定することのできる番号を持つノードによるものであり、例えば、オブジェクト辞書１０９に登録されている対応するオブジェクト項目の番号（オブジェクト番号と称する）を用いることができる。この置換に伴って、エッジの削除やエッジに対応している位相関係や領域間の距離と方向の修正も行なう。距離と方向を算出するためのオブジェクトの重心は、オブジェクトに置換された画像構造グラフの部分グラフに含まれている領域を統合した領域から算出することができる。そして、オブジェクトに置換された画像構造グラフの部分グラフに含まれている領域番号およびこれに対応する属性をＳ２０１でソートされた属性テーブルから削除する（Ｓ２０７）。Ｓ２０８ではすべての領域について処理を行なったどうかを調べて、未処理の領域が残っていればＳ２０２に戻って処理を繰り返す。
【００３５】
オブジェクト抽出処理部１０８の結果、画像構造グラフに含まれているいくつかの部分グラフがオブジェクトに置換され、画像構造グラフの各ノードにオブジェクト番号もしくは領域番号を持つようなグラフが得られる。図７に示す画像構造グラフに対してオブジェクト抽出処理を行ない、これが図９に示したオブジェクト辞書１０９に登録してあるオブジェクトグラフに適合した結果得られるグラフを図１１に示す。図７の領域番号１，２，３，７がそれぞれ図９の属性条件番号３０１，３０２，３０３，３０４に適合し、図９に示したオブジェクト条件も満たしているものとする。各ノード間のエッジ（位相関係）が適合しており、図７の領域番号１，２，３，７からなる部分グラフが「人の顔」というオブジェクトに対応するオブジェクト番号１００を持つノードに置換されている。
【００３６】
ここでは、ものの固有の名称をオブジェクトとする例を示したが、オブジェクト辞書１０９に「赤い円」や「白い四角」などといった領域の属性に関する表現をオブジェクトの名称とするようなオブジェクト項目を作成することで、「赤い円」や「白い四角」などといったオブジェクトを抽出することができる。
【００３７】
また、この例では、オブジェクトグラフと画像構造グラフの比較は各ノードやエッジが適合するかしないかでオブジェクトの抽出を行なったが、ここに適合度という概念を取り入れて、最も適合度の高い画像構造グラフの部分グラフを対応するオブジェクトで置換するようにすることもできる。例えば、オブジェクト辞書１０９に保持している属性条件を属性を与えることによりその適合度を返すような関数、例えば、ファジィ関数で構成することにより実現できる。
【００３８】
本発明におけるオブジェクト辞書１０９は予め作成しておく必要がある。この作成方法に例としては、複数の人の顔の画像に対して前述してきたような画像構造グラフを作成し、複数の画像構造グラフを得る。そして、複数の画像構造グラフで対応するノード（領域）の属性と共通するエッジの位相関係から「人の顔」というオブジェクトに対応するオブジェクトグラフを作成することができる。また、得られた複数の画像構造グラフのノードが持つ属性間の関係のうち、共通すると見なせる関係をオブジェクト条件とすることができる。
【００３９】
キーワード抽出処理部１１０は、オブジェクト抽出処理部１０８により部分グラフがオブジェクトに置換された画像構造グラフを解析してオブジェクトとオブジェクト間の関係をキーワードとして抽出する。この例では、画像構造グラフ中に存在するオブジェクト番号から定まるオブジェクト（ものに固有な名称）とオブジェクトの画像中における相対的な位置、例えば、「人の顔」というオブジェクトとこのオブジェクトのの位置として「人の顔は画像の中央」というキーワードが抽出できる。また、オブジェクト間の関係として、抽出したオブジェクトの間の相対的な位置関係、例えば、「自動車の左上に信号機」というキーワードを抽出できる。
【００４０】
画像登録処理部１１１は、キーワード抽出処理部１１０で抽出されたキーワードを入力画像に関連づけて蓄積装置（図示せず）に登録する。
【００４１】
以上、説明した画像登録装置を用いることで、画像の登録時に人手によりキーワードを付与する手間を省き、キーワードを指定することで容易かつ高速に目的の画像を検索する検索装置を構成することができる。但し、本発明による画像登録装置によって抽出され画像とともに登録されるキーワードは主としてもの固有な名称であるため、検索時に検索キーとして指定されたキーワードの類義語も検索キーに加えて検索するように画像検索装置を構成するほうが好ましい。
【００４２】
【発明の効果】
以上、説明したように、本発明によれば、登録したい画像を入力するだけで、自動的に客観性のあるキーワードを画像から抽出して、画像とともにデータベースに登録できるため、登録者が画像を登録する時にキーワードを付与する手間を省くことができる。また、検索は画像とともに登録されたキーワードを基に行なうため、検索キーの指示が容易であり、また検索装置の構成も単純にできる。
【図面の簡単な説明】
【図１】 本発明の実施例の画像登録装置を全体として示すブロック図である。
【図２】 実施例の画像登録装置の構成例を示すブロック図である。
【図３】 実施例における領域データを表現するラベリング画像の例を示す図である。
【図４】 実施例の属性テーブルの例を示す図である。
【図５】 実施例において領域間の位相関係を抽出する際に用いるラベリング画像の例を示す図である。
【図６】 実施例において領域ごとの隣接領域を抽出した例を示す図である。
【図７】 実施例の画像構造グラフの例を示す図である。
【図８】 図７の画像構造グラフに対応するラベリング画像の例を示す図である。
【図９】 実施例のオブジェクト辞書の例を示す図である。
【図１０】 実施例のオブジェクト抽出処理方法の処理フローの例を示す図である。
【図１１】 実施例のオブジェクト抽出処理後の画像構造グラフの例を示す図である。
【符号の説明】
１ 画像入力部
２ 領域抽出部
３ 領域属性抽出部
４ 画像構造抽出部
５ オブジェクト抽出部
６ キーワード抽出部
７ 画像登録部
１０１ 画像入力処理部
１０２ 画像データ記憶メモリ
１０３ 領域抽出処理部
１０４ 領域 ／ 領域属性記憶メモリ
１０５ 領域属性抽出処理部
１０６ 画像構造抽出処理部
１０７ 画像構造記憶メモリ
１０８ オブジェクト抽出処理部
１０９ オブジェクト辞書
１１０ キーワード抽出処理部
１１１ 画像登録処理部
Claims (8)
- 入力された画像を量子化して画像データを生成する画像入力手段と、
該画像入力手段により生成された前記画像データから類似する特徴を持つ画素から構成される領域を抽出する領域抽出手段と、
該領域抽出手段により抽出された領域の持つ物理情報を属性として抽出する領域属性抽出手段と、
前記領域抽出手段により抽出された領域間の位相関係を算出して画像を前記領域属性抽出手段により抽出された属性を持つ領域の位相関係で表現する画像構造抽出手段と、
領域の属性および領域間の位相関係と、対応するオブジェクトとの関係を記憶するオブジェクト情報記憶手段と、
前記画像構造抽出手段により算出された属性を持つ領域間の位相関係の一部またはすべてを、前記オブジェクト情報記憶手段に記憶されている関係に基づいて、対応するオブジェクトに置換するオブジェクト抽出手段と、
該オブジェクト抽出手段でオブジェクトに置換された属性を持つ領域間の位相関係からオブジェクト間の位相関係を求め前記画像データを検索するためのキーワードとして抽出するキーワード抽出手段と、
該キーワード抽出手段により抽出されたキーワードを前記画像入力手段により生成された画像データとともにデータベースに登録する画像登録手段とを有することを特徴とする画像登録装置。 - 前記領域抽出手段が、Ｋ−平均領域分割およびラベリングにより領域抽出処理を行なうことを特徴とする請求項１に記載の画像登録装置。
- 前記領域抽出手段が、画像からエッジに当たる画素を抽出してこの画素によって構成される閉領域を領域として抽出することを特徴とする請求項１に記載の画像登録装置。
- 前記領域属性抽出手段は、抽出する領域属性として領域の色、大きさ、形状、テクスチャに関する特徴量を用い、少なくとも各１つ以上の領域の色、大きさ、形状に関する特徴量を領域属性とすることを特徴とする請求項１に記載の画像登録装置。
- 前記画像構造抽出手段は、領域と領域との位相関係として、一致、重複、包含、接合もしくは排他のいずれかの関係を抽出することを特徴とする請求項１に記載の画像登録装置。
- 画像データから類似する特徴を持つ画素から構成される領域を抽出する領域抽出手段と、
該領域抽出手段により抽出された領域の持つ物理情報を属性として抽出する領域属性抽出手段と、
前記領域抽出手段により抽出された領域間の位相関係を算出して画像を前記領域属性抽出手段により抽出された属性を持つ領域の位相関係で表現する画像構造抽出手段と、
領域の属性および領域間の位相関係と、対応するオブジェクトとの関係を記憶するオブジェクト情報記憶手段と、
前記オブジェクト情報記憶手段に記憶されている関係に基づいて、前記属性を持つ領域および領域間の位相関係を対応するオブジェクトに置換するオブジェクト抽出手段と、
抽出された前記オブジェクト間の位相関係を抽出するオブジェクト間位相関係抽出手段と、
該オブジェクト間位相関係抽出手段により抽出されたオブジェクト間の位相関係を前記画像データを検索するためのキーワードとして登録するキーワード登録手段とを有することを特徴とする画像登録装置。 - 画像入力手段が、入力された画像を量子化して画像データを生成するステップと、
領域抽出手段が、生成された前記画像データから類似する特徴を持つ画素から構成される領域を抽出するステップと、
領域属性抽出手段が、抽出された領域の持つ物理情報を属性として抽出するステップと、
画像構造抽出手段が、抽出された領域間の位相関係を算出して画像を、前記領域の位相関係で表現するステップと、
オブジェクト抽出手段が、前記領域間の位相関係の一部またはすべてを、オブジェクト情報記憶手段に記憶されている、領域の属性および領域間の位相関係と、対応するオブジェクトとの関係に基づいて、対応するオブジェクトで置換するステップと、
キーワード抽出手段が、前記オブジェクトに置換された領域間の位相関係から前記オブジェクト間の位相関係を求め前記画像データを検索するためのキーワードとして抽出するステップと、
画像登録手段が、抽出された前記キーワードを、生成された前記画像データとともにデータベースに登録するステップとを有することを特徴とする画像登録方法。 - 領域抽出手段が、画像データから類似する特徴を持つ画素から構成される領域を抽出するステップと、
領域属性抽出手段が、該領域抽出手段により抽出された領域の持つ物理情報を属性として抽出するステップと、
画像構造抽出手段が、前記領域抽出手段により抽出された領域間の位相関係を算出して画像を前記領域属性抽出手段により抽出された属性を持つ領域の位相関係で表現するステップと、
オブジェクト記憶手段に記憶されている、領域の属性および領域間の位相関係と、対応するオブジェクトとの関係に基づいて、オブジェクト抽出手段が、前記属性を持つ領域および領域間の位相関係を対応するオブジェクトに置換するステップと、
オブジェクト間位相関係抽出手段が、抽出された前記オブジェクト間の位相関係を抽出するステップと、
キーワード登録手段が、該オブジェクト間位相関係抽出手段により抽出されたオブジェクト間の位相関係を前記画像データを検索するためのキーワードとして登録するステップとを有することを特徴とする画像登録方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20436896A JP3661287B2 (ja) | 1996-08-02 | 1996-08-02 | 画像登録装置および方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP20436896A JP3661287B2 (ja) | 1996-08-02 | 1996-08-02 | 画像登録装置および方法 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2005029962A Division JP2005141776A (ja) | 2005-02-07 | 2005-02-07 | 画像抽出装置および方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1049542A JPH1049542A (ja) | 1998-02-20 |
| JP3661287B2 true JP3661287B2 (ja) | 2005-06-15 |
Family
ID=16489365
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP20436896A Expired - Fee Related JP3661287B2 (ja) | 1996-08-02 | 1996-08-02 | 画像登録装置および方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3661287B2 (ja) |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6411724B1 (en) * | 1999-07-02 | 2002-06-25 | Koninklijke Philips Electronics N.V. | Using meta-descriptors to represent multimedia information |
| JP2002032751A (ja) | 2000-07-18 | 2002-01-31 | Olympus Optical Co Ltd | 学習型画像分類装置及び方法並びにその処理プログラムを記録した記録媒体 |
| JP2004234228A (ja) | 2003-01-29 | 2004-08-19 | Seiko Epson Corp | 画像検索装置、画像検索装置におけるキーワード付与方法、及びプログラム |
| JP4731303B2 (ja) * | 2005-12-09 | 2011-07-20 | 株式会社ソニー・コンピュータエンタテインメント | 画像表示装置、画像表示方法、プログラム及び情報記憶媒体 |
| JP4747024B2 (ja) | 2006-04-28 | 2011-08-10 | 富士フイルム株式会社 | メタ情報付加装置および画像再生装置ならびにそれらの制御方法およびそれらを制御するためのプログラム |
| JP2008165303A (ja) * | 2006-12-27 | 2008-07-17 | Fujifilm Corp | コンテンツ登録装置、及びコンテンツ登録方法、及びコンテンツ登録プログラム |
| JP2008269557A (ja) * | 2007-03-26 | 2008-11-06 | Seiko Epson Corp | 画像検索装置、および画像検索方法 |
| JP5385624B2 (ja) * | 2009-01-30 | 2014-01-08 | 富士フイルム株式会社 | 画像キーワード付与装置および画像検索装置ならびにそれらの制御方法 |
| US8866845B2 (en) * | 2010-03-10 | 2014-10-21 | Empire Technology Development Llc | Robust object recognition by dynamic modeling in augmented reality |
| JP7227799B2 (ja) * | 2019-03-13 | 2023-02-22 | 株式会社日立製作所 | 画像検索装置、画像検索方法およびコンピュータプログラム |
| CN109934852B (zh) * | 2019-04-01 | 2022-07-12 | 重庆理工大学 | 一种基于对象属性关系图的视频描述方法 |
-
1996
- 1996-08-02 JP JP20436896A patent/JP3661287B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH1049542A (ja) | 1998-02-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7437004B2 (en) | Method for processing data structures with networked semantic units | |
| JP4553650B2 (ja) | 画像グループの表現方法および表現方法によって導出される記述子、探索方法、装置、コンピュータプログラム、ならびに記憶媒体 | |
| US9348877B2 (en) | Methods, systems, and data structures for performing searches on three dimensional objects | |
| Carlinet et al. | MToS: A tree of shapes for multivariate images | |
| JP4985993B2 (ja) | オブジェクト領域抽出装置 | |
| US20030101164A1 (en) | Method of indexing and comparing multimedia documents | |
| JP2004522228A (ja) | ディジタル画像を表現し比較する方法 | |
| JP3661287B2 (ja) | 画像登録装置および方法 | |
| JP2001160057A (ja) | 画像の階層的分類方法、および画像の分類・検索装置、およびこの方法を実行するプログラムを記録した記録媒体 | |
| CN1979480A (zh) | 利用形状进行目标表示与检索的方法和装置 | |
| CN102831239B (zh) | 一种构建图像数据库的方法与系统 | |
| US20090129683A1 (en) | Object Recognition Apparatus,Computer Readable Medium Storing Object Recognition Program, and Image Retrieval Service Providing Method | |
| Jenni et al. | Pre-processing image database for efficient Content Based Image Retrieval | |
| Fan et al. | Automatic model-based semantic object extraction algorithm | |
| JP2005141776A (ja) | 画像抽出装置および方法 | |
| JP2002183732A (ja) | パターン認識方法及びパターン認識を行わせるプログラムを記憶したコンピュータ読み取り可能な記憶媒体 | |
| Xu et al. | Object based image retrieval based on multi-level segmentation | |
| JP2002509632A (ja) | 文書、特に技術図面を分割し認識する方法 | |
| JP2019121184A (ja) | 照合装置、照合方法およびコンピュータプログラム | |
| Stottinger et al. | Translating journalists' requirements into features for image search | |
| MAHURKAR et al. | Novel Outline Tracing Techniques for Leaf Species Identification from Shrouded Leaves | |
| JP2006221525A (ja) | オブジェクト検索システムおよび方法 | |
| Usó | A quadtree-based unsupervised segmentation algorithm for fruit visual inspection | |
| JP2005505081A (ja) | マルチメディア文書のインデックスおよび比較方法 | |
| Kumari et al. | A Study and usage of Visual Features in Content Based Image Retrieval Systems. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 19961023 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20020415 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041207 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050131 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050301 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050314 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080401 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090401 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100401 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110401 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |