JPH11167634A

JPH11167634A - 画像の領域分割方法、画像の領域分割装置、画像の領域分割プログラムを記録した記録媒体、画像検索方法、画像検索装置および画像検索プログラムを記録した記録媒体

Info

Publication number: JPH11167634A
Application number: JP9350002A
Authority: JP
Inventors: Yoriyuki Okochi; 頼行大河内; Hideyuki Kobayashi; 秀行小林
Original assignee: Omron Corp; Omron Tateisi Electronics Co
Current assignee: Omron Corp
Priority date: 1997-12-03
Filing date: 1997-12-03
Publication date: 1999-06-22

Abstract

(57)【要約】【課題】画像に応じて、その画像の特徴をよく表して
いる領域で分割できるようにし、さらに、精度の高い画
像検索を行えるようにする。【解決手段】画像１３を、格子状に分割して複数の矩
形の小領域に分割し、各小領域の平均色や代表色などの
特徴量を抽出して共通する特徴量を有する小領域を統合
して多角形の分割領域１４〜１８を形成することによ
り、画像に応じて、その特徴を表した分割領域に分割で
きるようにし、キー画像の分割領域と画像データベース
の対象画像の分割領域との類似度を算出して最も類似し
た対象画像を目的の画像として取り出すようにしてい
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データベース
の対象画像の中から索引となるキー画像と同一もしくは
類似の目的の画像を検索する画像検索システムなどに好
適な画像の領域分割および画像検索の技術に関する。

【０００２】

【従来の技術】従来、索引となるキー画像に基づいて、
多数の対象画像が格納された画像データベースの中から
前記キー画像と同一あるいは類似した目的の画像を検索
する場合には、キー画像および画像データベースの中の
対象画像を、予め定めた複数の領域に分割し、各分割領
域毎に画像の特徴量、例えば、分割領域の平均色や分割
領域で最も多く使われている代表色などを抽出し、その
特徴量を使って得られる画像の類似度から目的の画像を
取り出すようにしており、一般には、画像の分割領域の
形状は、予め固定されていた。

【０００３】

【発明が解決しようとする課題】ところが、このような
従来例では、分割領域の形状が固定されているために、
画像の中でその画像の特徴をよく表している部分が、う
まく分割領域に入らず、複数の分割領域に亘ってしま
い、各分割領域毎の特徴量、例えば平均色を抽出した場
合に、前記特徴のある部分の色が十分に反映されない場
合があり、このように、画像の特徴のある部分の特徴量
が正確に抽出できない場合があるために、精度の高い画
像の検索ができないといった難点がある。

【０００４】本発明は、上述の点に鑑みて為されたもの
であって、画像に応じて、その画像の特徴をよく表して
いる領域で分割できるようにし、さらに、精度の高い画
像検索を行えるようにすることを目的とする。

【０００５】

【課題を解決するための手段】本発明では、上述の目的
を達成するために、次のように構成している。

【０００６】すなわち、請求項１の本発明の画像の領域
分割方法は、画像を複数の小領域に分割し、各小領域の
特徴量を抽出し、抽出した特徴量の共通性に基づいて、
前記小領域を統合して分割領域を形成するものである。

【０００７】請求項２の本発明は、請求項１の発明にお
いて、前記各小領域を、前記画像を格子状に分割した矩
形の小領域とするとともに、前記分割領域を、前記矩形
の各辺に隣接する小領域を前記特徴量の共通性に基づい
て統合してなる多角形の分割領域とするものである。

【０００８】請求項３の本発明は、請求項１または２の
発明において、前記特徴量を、平均色、代表色または濃
度とするものである。

【０００９】請求項４の本発明は、請求項１または２の
発明において、前記特徴量を、平均色または代表色と
し、前記小領域を構成する色の数および各色に対応する
画素数に基づいて、前記画像を分割する分割幅が適当で
あるか否かを判定し、適当でないと判定されたときに
は、分割幅を設定し直して再度複数の小領域へ分割する
ものである。

【００１０】請求項５の本発明の画像の領域分割装置
は、画像を複数の小領域に分割する分割手段と、各小領
域の特徴量を抽出する抽出手段と、抽出した特徴量の共
通性に基づいて、各小領域を統合して分割領域を形成す
る形成手段とを備えている。

【００１１】請求項６の本発明は、請求項５の発明にお
いて、前記分割手段は、前記画像を格子状に分割して矩
形の前記小領域とし、前記形成手段は、前記矩形の各辺
に隣接する小領域を前記特徴量の共通性に基づいて統合
して多角形の分割領域を形成するものである。

【００１２】請求項７の本発明は、請求項５または６の
発明において、前記抽出手段は、各小領域の平均色、代
表色または濃度を抽出し、前記形成手段は、抽出した小
領域の平均色、代表色または濃度の共通性に基づいて、
各小領域を統合するものである。

【００１３】請求項８の本発明は、請求項５または６の
発明において、前記小領域を構成する色の数および各色
に対応する画素数に基づいて、前記画像を分割する分割
幅が適当であるか否かを判定する判定手段を備え、前記
抽出手段は、各小領域の平均色または代表色を抽出し、
前記形成手段は、抽出した小領域の平均色または代表色
の共通性に基づいて、各小領域を統合し、前記分割手段
は、前記分割幅が適当でないと判定されたときには、分
割幅を設定し直して再度複数の小領域へ分割するもので
ある。

【００１４】請求項９の本発明の画像の領域分割プログ
ラムを記録した記録媒体は、画像を複数の小領域に分割
する分割手順と、各小領域の特徴量を抽出する抽出手順
と、抽出した特徴量の共通性に基づいて、各小領域を統
合して分割領域を形成する形成手順と、を含む画像の領
域分割プログラムを記録したものである。

【００１５】請求項１０の本発明は、請求項９の発明に
おいて、前記分割手順は、前記画像を格子状に分割して
矩形の前記小領域とし、前記形成手順は、前記矩形の各
辺に隣接する小領域を前記特徴量の共通性に基づいて統
合して多角形の分割領域を形成するものである。

【００１６】請求項１１の本発明は、請求項９または１
０の発明において、前記抽出手順は、各小領域の平均
色、代表色または濃度を抽出し、前記形成手順は、抽出
した小領域の平均色、代表色または濃度の共通性に基づ
いて、各小領域を統合するものである。

【００１７】請求項１２の本発明は、請求項９または１
０において、前記小領域それぞれを構成する色の数およ
び各色に対応する画素数に基づいて、前記画像を分割す
る分割幅が適当であるか否かを判定する判定手順が記録
され、前記抽出手順は、各小領域の平均色または代表色
を抽出し、前記形成手順は、抽出した小領域の平均色ま
たは代表色の共通性に基づいて、各小領域を統合し、前
記分割手順は、前記分割幅が適当でないと判定されたと
きには、分割幅を設定し直して再度複数の小領域へ分割
するものである。

【００１８】請求項１３の本発明の画像検索方法は、
キー画像を索引として画像データベースの対象画像から
目的の画像を検索する画像検索方法であって、前記キー
画像を、前記請求項１ないし４のいずれかに記載の画像
の領域分割方法で分割し、画像データベースの対象画像
を、前記キー画像と同一の分割領域で分割し、キー画像
の分割領域の特徴量と対象画像の対応する分割領域の特
徴量との類似度を求めて目的の画像を検索するものであ
る。

【００１９】請求項１４の本発明の画像検索方法は、キ
ー画像を索引として画像データベースの対象画像から目
的の画像を検索する画像検索方法であって、前記キー画
像を、前記請求項１ないし４のいずれかに記載の画像の
領域分割方法で分割し、画像データベースの対象画像
を、前記請求項１ないし４のいずれかに記載の画像の領
域分割方法で分割し、キー画像の分割領域の特徴量と対
象画像の対応する分割領域の特徴量との類似度を求めて
目的の画像を検索するものである。

【００２０】請求項１５の本発明の画像検索装置は、キ
ー画像を索引として画像データベースの対象画像から目
的の画像を検索する画像検索装置であって、前記請求項
５ないし８のいずれかに記載の画像の領域分割装置と、
前記画像の領域分割装置で分割された前記キー画像と同
一の分割領域で前記対象画像を分割する分割手段と、キ
ー画像の分割領域の特徴量と対象画像の対応する分割領
域の特徴量との類似度を求める類似度算出手段と、算出
された類似度に基づいて、目的の画像を検索する検索手
段とを備えている。

【００２１】請求項１６の本発明の画像検索装置は、キ
ー画像を索引として画像データベースの対象画像から目
的の画像を検索する画像検索装置であって、前記請求項
５ないし８のいずれかに記載の画像の領域分割装置と、
前記画像の領域分割装置で分割された前記キー画像の分
割領域の特徴量と前記画像の領域分割装置で分割された
前記対象画像の対応する分割領域の特徴量との類似度を
求める類似度算出手段と、算出された類似度に基づい
て、目的の画像を検索する検索手段とを備えるものであ
る。

【００２２】請求項１７の本発明の画像検索プログラム
を記録した記録媒体は、キー画像を索引として画像デー
タベースの対象画像から目的の画像を検索する画像検索
プログラムを記録した記録媒体であって、前記請求項９
ないし１２のいずれかに記載の記録媒体に記録された画
像の領域分割プログラムと、前記画像の領域分割プログ
ラムで分割された前記キー画像と同一の分割領域で前記
対象画像を分割する分割手順と、キー画像の分割領域の
特徴量と対象画像の対応する分割領域の特徴量との類似
度を求める類似度算出手順と、算出された類似度に基づ
いて、目的の画像を検索する検索手順とを含む画像検索
プログラムを記録したものである。

【００２３】請求項１８の本発明の画像検索プログラム
を記録した記録媒体は、キー画像を索引として画像デー
タベースの対象画像から目的の画像を検索する画像検索
プログラムを記録した記録媒体であって、前記請求項９
ないし１２のいずれかに記載の記録媒体に記録された画
像の領域分割プログラムと、前記画像の領域分割プログ
ラムで分割された前記キー画像の分割領域の特徴量と前
記画像の領域分割プログラムで分割された前記対象画像
の対応する分割領域の特徴量の類似度を求める類似度算
出手順と、算出された類似度に基づいて、目的の画像を
検索する検索手順とを含む画像検索プログラムを記録し
たものである。

【００２４】請求項１、５または９の本発明によれば、
画像を複数の小領域に分割し、各小領域の特徴量を抽出
し、抽出した特徴量の共通性に基づいて、前記小領域を
統合して分割領域を形成するので、画像は、特徴量が共
通する分割領域毎に分割されることになり、画像の特徴
量に応じて分割領域が動的に変更されることになる。

【００２５】請求項２、６または１０の本発明によれ
ば、前記各小領域を矩形とし、この矩形の各辺に隣接す
る小領域を特徴量の共通性に基づいて統合して多角形の
分割領域を形成するので、画像は、共通の特徴量が連続
する分割領域毎に分割されることになる。

【００２６】請求項３、７または１１の本発明によれ
ば、前記特徴量を、平均色、代表色または濃度とするの
で、カラー画像を、平均色または代表色が共通する分割
領域に分割し、あるいは、濃淡画像を、濃度が共通する
分割領域に分割することができる。

【００２７】請求項４、８または１２の本発明によれ
ば、小領域を構成する色の数および各色に対応する画素
数に基づいて、画像の分割幅が適当であるか否かを判定
し、適当でないと判定されたときには、再度複数の小領
域へ分割するので、例えば、小領域を構成する色の数が
多く、しかも、各色の画素数が略等しくて小領域に画像
の特徴がよく表れていないような場合には、画像を再分
割して画像の特徴がよく表れる小領域を形成することが
できる。

【００２８】請求項１３、１５または１７の本発明によ
れば、キー画像を、前記請求項１ないし４のいずれかに
記載の画像の領域分割方法で分割するので、キー画像の
分割領域は、そのキー画像の特徴を表した分割領域とな
っており、このキー画像の分割領域の特徴量と、同一の
分割領域で分割した対象画像の分割領域の特徴量との類
似度を求めて目的の画像を検索するので、キー画像の特
徴に最も類似した対象画像を取り出すことができる。

【００２９】請求項１４、１６または１８の本発明によ
れば、キー画像および対象画像を、前記請求項１ないし
４のいずれかに記載の画像の領域分割方法でそれぞれ分
割するので、キー画像および対象画像の分割領域は、そ
れぞれの画像の特徴を表した分割領域となっており、対
応する分割領域の特徴量の類似度を求めて目的の画像を
検索するので、キー画像の特徴に最も類似した対象画像
を取り出すことができる。

【００３０】

【発明の実施の形態】以下、図面によって、本発明の実
施の形態について、詳細に説明する。

【００３１】図１は、本発明に係る画通検索システムの
概略構成図である。

【００３２】この画像検索システム１は、キー画像に基
づいて、同一または類似の目的の画像を検索する画像検
索装置としてのコンピュータ２と、多数の対象画像が蓄
積された画像データベース３とを備えており、このよう
な画像検索システムは、例えば、インターネット上の画
像の検索、インテリアや工業デザインの支援あるいはデ
ジタルスチルカメラのアルバムシステムなどの様々な用
途に使用できるものであり、この実施の形態では、入力
されるキー画像と同一または最も類似した目的の画像
を、画像データベース３から検索するものである。

【００３３】この画像検索システムでは、画像の領域分
割プログラムを含む画像の検索プログラムを記録したＦ
Ｄ（フロッピーディスク）、ＣＤ−ＲＯＭあるいはＨＤ
（ハードディスク）などの記録媒体を、ドライブ装置に
セットしてコンピュータ２に後述する画像の領域分割お
よび検索処理を実行させるものである。

【００３４】図２は、この実施の形態の機能ブロック図
であり、この実施の形態の画像検索システムは、入力さ
れるカラーの静止画像であるキー画像４を、後述のよう
に特徴量の抽出に好適な分割領域に分割するとともに、
画像データベース３の対象画像を分割する本発明に係る
画像の領域分割装置としての領域分割手段５と、分割さ
れた分割領域毎に特徴量を抽出してキー画像４と対象画
像との分割領域の類似度を算出する類似度算出手段６
と、算出した類似度に基づいて同一もしくは最も類似し
た目的の画像７を画像データベース３から取り出す検索
手段８とを備えている。

【００３５】この実施の形態では、従来のように固定し
た形状に画像を分割するのではなく、画像の特徴をよく
表している部分に対応して分割領域を動的に変更させる
ものであり、本発明に係る領域分割手段５では、次のよ
うにして画像を分割している。すなわち、この実施の
形態の画像の領域分割方法では、キー画像４を、格子状
に分割して複数の矩形の小領域とし、各小領域の特徴
量、例えば、平均色や代表色をそれぞれ抽出し、抽出し
た特徴量の共通性に基づいて小領域を順次統合して多角
形の分割領域を形成するのである。

【００３６】今、キー画像４として、例えば、図３に示
される２００×２００画素の画像が与えられたとする
と、この画像を格子状に分割して、例えば、１０×１０
画素の複数の小領域９に分割する。

【００３７】次に、小領域９毎に特徴量を抽出するので
あるが、この実施の形態では、特徴量として平均色また
は代表色を用いている。ここで、平均色は、小領域９の
全画素についてのＲ，Ｇ，Ｂ値をそれぞれ合計し、各合
計値を小領域９の全画素数でそれぞれ割って得られる
Ｒ，Ｇ，Ｂ値で規定される色であり、代表色は、小領域
９内で最も多い色である。なお、後述の減色処理は、予
め定められている複数の色に統合して色の数を減らすも
のである。

【００３８】この実施の形態では、特徴量の抽出につい
て、次の４種類の抽出処理パターンのいずれかを採用す
るものであり、この４種類の抽出処理パターンは、減
色処理を行って平均色を抽出する、減色処理を行って
代表色を抽出する、減色処理を行うことなく平均色を
抽出する、減色処理を行うことなく代表色を抽出する
の４種類であって、このいずれかを次のようにして決定
する。

【００３９】ここで、画像全体の小領域の数をＸ、その
小領域に属する画素数をＹとして以下に説明する。

【００４０】先ず、各小領域それぞれについて、各小領
域を構成する各画素のＲＧＢ値をヒストグラム化して同
じ色の画素数を集計する。この場合、Ｒ，Ｇ，Ｂのそれ
ぞれで集計するのではなく（Ｒ，Ｇ，Ｂの３つのヒスト
グラムを作成するのではなく）、ＲＧＢの３つをセット
として、すなわち、ＲＧＢ値で規定される各色毎にヒス
トグラムを作成する。

【００４１】このようにして各小領域について、それぞ
れの小領域を構成する各色Ａ毎に、画素数Ｂを算出す
る。

【００４２】例えば、（Ｒ，Ｇ，Ｂ）が、（１０，１２
０，５）で規定される色Ａ１の画素数がＢ１、（１５
０，２００，２０）で規定される色Ａ２の画素数がＢ
２、同様に（Ｒｎ，Ｇｎ，Ｂｎ）で規定される色Ａｎの
画素数がＢｎといったように小領域を構成する各色Ａに
ついての画素数Ｂを、各小領域についてそれぞれ集計す
るのである。

【００４３】その結果、最も多い画素数となったＲＧＢ
値（色）についての画素数Ｂ_maxの割合が、ある閾値Ｌ
％以下であるときには、その小領域については、多くの
色が使われていて色の特徴がうまく抽出されていないの
で、減色処理を行うべきであると判定し、前記ある閾値
Ｌ％を越えているときには、色の特徴がうまく抽出され
ているので、減色処理を行う必要はないと判定するもの
であり、この判定は、各小領域毎に行われる。

【００４４】すなわち、Ｂ_max≦Ｙ×Ｌ／１００であるときには、減色するＢ_max＞Ｙ×Ｌ／１００であるときには、減色しないと判定するのである。

【００４５】また、特徴量として、平均色または代表色
のいずれを抽出するかは、各小領域で使用されている色
の数ｎが、ある閾値Ｍ以下であるか否かによって判定す
るものであり、使用されている色の数ｎが、ある閾値Ｍ
以下であるときには、代表色とし、ある閾値Ｍを越えて
いるときには、平均色とするものであり、この判定を、
各小領域毎に行う。

【００４６】すなわち、ｎ≦Ｍであるときには、代表色とするｎ＞Ｍであるときには、平均色とすると判定するのである。

【００４７】以上の判定処理を、各小領域毎に行うこと
で、各小領域は、上述の４種類の抽出処理パターンのい
ずれかに分類される。この時点では、あくまでも各小領
域が４種類の抽出処理パターンのいずれに分類されるか
を判定するのみで、実際の減色処理などは実行しない。

【００４８】このようにしてすべての小領域についての
分類が終了したところで、４種類の抽出処理パターンの
うちどれが最も多かったかを集計し、最も多かった抽出
処理パターンを、その画像についての抽出処理パターン
として採用し、減色処理や平均色の計算などの必要な処
理を行うものである。

【００４９】図４は、以上の処理のフローチャートであ
り、先ず、小領域内の同じＲＧＢ値、すなわち、同じ色
の画素を集計し（ステップｎ１）、最も多くの画素数と
なった色の画素数が閾値以下であるか否かを判断し（ス
テップｎ２）、閾値以下でないときには、その小領域は
減色しない候補としてステップｎ４に移り（ステップｎ
７）、閾値以下であるときには、その小領域は減色する
候補としてステップｎ４に移る（ステップｎ３）。

【００５０】ステップｎ４では、その小領域で使用され
ている色の数が、閾値以下であるか否かを判断し、閾値
以下でないときには、その小領域を平均色の候補として
ステップｎ６に移り（ステップｎ８）、閾値以下である
ときには、その小領域を代表色の候補としてステップｎ
６に移る（ステップｎ５）。

【００５１】ステップｎ６では、その小領域が、４種類
の抽出処理パターンのいずれに属するかを分類し、対象
となるすべての小領域について分類処理が終わったか否
かを判断し（ステップｎ９）、終わっていないときに
は、ステップｎ１に戻り、終わったときには、最も多く
の小領域が含まれる抽出処理パターンを、その画像につ
いての抽出処理方法として決定し（ステップｎ１０）、
減色処理や平均色計算処理などの必要な処理を行い（ス
テップｎ１１）、各小領域についての色彩の特徴量を抽
出して終了する（ステップｎ１２）。

【００５２】図３のキー画像４を、以上のようにして小
領域９に分割して各小領域９の特徴量として代表色を抽
出した画像１０を図５に示す。

【００５３】なお、画像を複数の小領域に分割する分割
幅は、予めシステム上で設定してあってもよいし、シス
テムの使用者によって入力されたものを使用してもよい
が、さらに、次のようにして分割した小領域が適当な大
きさであるか否かを判定して適当でないと判定されたと
きには、さらに、小さな小領域に再度分割するようにし
てもよい。

【００５４】すなわち、最初に分割した各小領域を上述
のように４種類の抽出処理パターンに分類した際に、減
色して平均色の抽出処理パターンに分類された小領域の
数Ｃがある閾値Ｎ％以下であるときには、再分割を行わ
ず、ある閾値Ｎ％よりも大きい場合には、多くの色が使
われていて色の特徴がうまく抽出されていない小領域が
多いということであり、この場合には、画像を分割する
分割幅を小さくしてより小さな小領域に画像を再分割し
て再度上述の処理を行うものである。また、再分割して
も小領域の数Ｃがある閾値Ｎ％以下にならない場合は、
さらに、分割幅を小さくして再分割するものである。

【００５５】すなわち、Ｃ≦Ｘ×Ｎ／１００であるときには、再分割しないＣ＞Ｘ×Ｎ／１００であるときには、再分割すると判定するものである。

【００５６】図６は、以上の再分割処理のフローチャー
トであり、この図６においては、ステップｎ９までは、
上述の図４の処理と同様である。

【００５７】ステップｎ１３において、減色して平均色
の抽出処理パターンに分類された小領域があるか否かを
判断し、ないときには、ステップｎ１５に移り、あると
きには、減色して平均色のパターンに分類された小領域
の数が閾値以下であるか否かを判断し（ステップｎ１
４）、閾値以下であるときには、ステップｎ１５に移
り、閾値以下でないときには、分割幅を小さくして画像
全体を再分割して上述の図４のステップｎ１に戻る。ま
た、ステップｎ１５では、最も多くの小領域が含まれる
パターンの抽出処理方法を、その画像についての抽出処
理方法として決定し、減色処理や平均色計算処理などの
必要な処理を行い（ステップｎ１６）、各小領域につい
ての色彩の特徴量を抽出して終了する（ステップｎ１
７）。

【００５８】しかしながら、再分割を繰り返すというの
は、それだけ処理時間が増大することになるので、小領
域を構成する画素数が、ある閾値以下になった場合に
は、再分割は行うことなく、その時点で最も小領域の数
が多かったパターンの抽出処理方法を採用するようにし
てもよい。

【００５９】図７は、その場合のフローチャートであ
り、図６に対応する部分には、同一のステップ番号を付
す。

【００６０】ステップｎ１４において、減色して平均色
の抽出処理パターンに分類された小領域の数が閾値以下
でないときには、分割幅を小さくして画像全体を再分割
し（ステップｎ１８）、再分割によって形成された小領
域を構成する画素数が、閾値以下であるか否かを判断し
（ステップｎ１９）、閾値以下であるときには、ステッ
プｎ１５に移って再分割を行う前までの処理結果に基づ
いて、画像の抽出処理方法を決定し、閾値以下でないと
きには、上述の図４のステップｎ１に戻って再分割した
小領域について、図４の処理を行うものである。

【００６１】なお、上述の各実施の形態では、画像全体
として一つの抽出処理方法を採用したけれども、本発明
の他の実施の形態として、各小領域毎に、各小領域が分
類された抽出処理方法を採用してもよい。

【００６２】図８は、この場合のフローチャートを示し
ており、先ず、小領域内の同じＲＧＢ値、すなわち、同
じ色の画素を集計し（ステップｎ１０１）、最も多くの
画素数となった色の画素数が閾値以下であるか否かを判
断し（ステップｎ１０２）、閾値以下でないときには、
その小領域は減色しない候補としてステップｎ１０４に
移り（ステップｎ１０７）、閾値以下であるときには、
その小領域は減色する候補としてステップｎ１０４に移
る（ステップｎ１０３）。

【００６３】ステップｎ１０４では、その小領域で使用
されている色の数が、閾値以下であるか否かを判断し、
閾値以下でないときには、その小領域を平均色の候補と
してステップｎ１０６に移り（ステップｎ１０８）、閾
値以下であるときには、その小領域を代表色の候補とし
てステップｎ１０６に移る（ステップｎ１０５）。

【００６４】ステップｎ１０６では、その小領域が、４
種類の抽出処理パターンのいずれに属するかを分類し、
対象となるすべての小領域について分類処理が終わった
か否かを判断し（ステップｎ１０９）、終わっていない
ときには、ステップｎ１０１に戻り、終わったときに
は、個々の小領域毎に、その小領域が分類された抽出処
理方法をその小領域についての抽出処理方法として決定
し（ステップｎ１１０）、減色処理や平均色計算処理な
どの必要な処理を行い（ステップｎ１１１）、各小領域
についての特徴量を抽出して終了する（ステップｎ１１
２）。

【００６５】また、この場合には、減色して平均色と判
定された小領域については、その小領域のみをさらに細
かく再分割してもよい。また、この場合には、小領域を
構成する画素数がある閾値以下になった時には、再分割
は行わないで、その時点でできている小領域で減色して
平均色という処理を行うものである。

【００６６】図９は、この場合の処理のフローチャート
であり、この図９においては、ステップｎ１１０まで
は、上述の図８の処理と同様である。

【００６７】ステップｎ１１０において、４種類の抽出
処理方法のいずれかが採用された各小領域の中に、減色
して平均色を抽出するという抽出処理方法が採用された
小領域があるか否かを判断し（ステップｎ１１３）、な
いときには、ステップｎ１１５に移り、あるときには、
その小領域を構成する画素数が閾値以下であるか否かを
判断し（ステップｎ１１４）、閾値以下でないときに
は、分割幅を小さくしてその小領域を再分割して上述の
図８のステップｎ１０１に戻って新たに分割形成された
小領域についてのみ図８と同様の処理を行う。また、ス
テップｎ１１５では、ステップｎ１１０で採用された抽
出処理方法に従って減色処理や平均色計算処理などの必
要な処理を行い、各小領域についての特徴量を抽出して
終了する（ステップｎ１１６）。

【００６８】次に、本発明の画像の領域分割方法では、
以上のようにして小領域に分割されて各小領域の特徴量
を抽出した後に、その特徴量の共通性に基づいて、小領
域を順次統合して多角形の分割領域を形成するものであ
り、この小領域の統合の処理について説明する。

【００６９】図１０（Ａ）に示されるように、例えば３
×３で構成される領域１１を、１小領域分ずらしなが
ら、注目しているある小領域１２の４辺１２₁〜１２₄に
接している小領域において、共通の特徴量、例えば共通
の代表色を持つ小領域１３〜１５があった場合には、そ
れら小領域１３〜１５を、同図（Ｂ）に示されるように
統合するものである。

【００７０】図１１は、この小領域の統合による分割領
域の形成処理のフローチャートであり、この例では、画
像全体について、特徴量として代表色を用いた場合につ
いて説明する。

【００７１】先ず、着目している小領域の一辺に接して
いる小領域の代表色を調べ（ステップｎ２０１）、着目
している小領域と同じ色であるか否かを判断し（ステッ
プｎ２０２）、同じ色でないときには、ステップｎ２０
４に移り、同じ色であるときには、その同じ色の小領域
を、着目している小領域に統合してステップｎ２０４に
移る（ステップｎ２０３）。

【００７２】ステップｎ２０４では、着目している小領
域の４辺について処理が終了したか否かを判断し、終了
していないときには、次の辺について処理を行うために
ステップｎ２０１に戻り（ステップｎ２０６）、終了し
たときには、すべての小領域について処理が終了したか
否かを判断し（ステップｎ２０５）、終了していないと
きには、次の小領域について同様の処理を行うためにス
テップｎ２０１に戻り（ステップｎ２０７）、終了した
ときには、統合による分割領域の形成が終了する。

【００７３】以上のようにして、本発明の画像の領域分
割方法では、キー画像を、特徴量の共通した多角形の分
割領域に分割することができる。この多角形の分割領域
が、具体的に何を示しているかということはわからなく
ても、特徴量が共通した関連のある小領域の集合体であ
ることは明らかであって、画像の特徴量を抽出する単位
として意味があるものである。

【００７４】図１２は、小領域に分割されて代表色が抽
出された図５の画像１０に対して、共通の代表色で統合
処理を行って分割領域を形成した画像１３である。な
お、この図１２では、分割領域のいくつかに参照符号１
４〜１８を付している。

【００７５】次に、以上のようにしてキー画像を、特徴
量が共通する多角形の分割領域に分割した後、画像デー
タベース３の対象画像についても、領域分割手段５でキ
ー画像の多角形の分割領域と同一の分割領域で分割す
る。すなわち、キー画像と対象画像とを重ねた状態で、
キー画像の多角形の分割領域と同一の位置にある領域を
対象画像の分割領域として分割するものである。

【００７６】そして、類似度算出手段６では、対象画像
についても各分割領域の特徴量、例えば代表色を抽出
し、キー画像の分割領域の特徴量と対象画像の対応する
分割領域の特徴量の類似度を算出し、各分割領域につい
ての類似度を合計した値を、画像全体の類似度として算
出するものである。

【００７７】具体的には、キー画像と対象画像との対応
する分割領域毎に、ＲＧＢ空間での距離を、下記の式に
より求めて各分割領域毎の類似度とし、各分割領域毎の
類似度を合計したものを画像全体の類似度として算出す
るものである。

【００７８】すなわち、キー画像ａと対象画像ｂの対応
する分割領域の特徴量、例えば代表色のＲＧＢ値を、そ
れぞれ（Ｒａ，Ｇａ，Ｂａ），（Ｒｂ，Ｇｂ，Ｂｂ）と
すると、その分割領域の類似度Ｃａｂは、Ｃａｂ＝｛（Ｒａ−Ｒｂ）²＋（Ｇａ−Ｇｂ）²＋（Ｂａ
−Ｂｂ）²｝^1/2 となる。

【００７９】検索手段８は、以上のようにして算出した
各分割領域の類似度を合計した画像全体の類似度の値が
最も小さい対象画像を、最も類似した目的の画像である
として画像データベース３から取り出すものである。

【００８０】図１３は、以上の検索処理のフローチャー
トであり、上述のようにしてキー画像が特徴量の共通す
る分割領域に分割された後の処理を示している。

【００８１】先ず、キー画像の分割領域と同一の分割領
域で対象画像を分割し（ステップｎ３０１）、対象画像
の分割領域毎の特徴量として、例えば代表色を決定し
（ステップｎ３０２）、画像データベースの対象画像の
すべてについて処理が終了したか否かを判断し（ステッ
プｎ３０３）、終了していないときには、ステップｎ３
０１に戻り、終了したときには、キー画像と対象画像と
の類似度を求め（ステップｎ３０４）、画像データベー
スのすべての対象画像について処理が終わったか否かを
判断し（ステップｎ３０５）、終わっていないときに
は、ステップｎ３０４に戻り、終わったときには、最も
類似した対象画像を、目的の画像に決定する（ステップ
ｎ３０６）。

【００８２】上述の実施の形態では、対象画像を、キー
画像と同一の分割領域に分割して類似度を求めたけれど
も、本発明の他の実施の形態として、対象画像に対して
もキー画像と同様に、小領域に分割した後に統合して分
割領域を求めるようにしてもよい。

【００８３】この場合、分割領域は、対象画像の画像内
容に依存するので、様々な領域となるが、この分割領域
の境界線は、その画像の形状的な特徴を示すものと考え
て類似度を求めてもよい。具体的には、例えば、図１４
（Ａ）に示されるキー画像４の分割領域４₁に対応する
分割領域１９₁，１９₂が、同図（Ｂ）に示されるよう
に、対象画像１９に複数ある場合には、同図（Ｃ）に示
されるように、キー画像４の分割領域４₁と重なる面積
が最も大きい領域１９₁を、対象画像１９の対応する分
割領域として類似度を求めるものである。

【００８４】図１５は、以上の処理のフローチャートで
ある。

【００８５】先ず、キー画像を領域分割して分割領域を
形成し（ステップｎ４０１）、対象画像についても、そ
の画像に応じて領域分割して分割領域を形成し（ステッ
プｎ４０２）、画像データベースのすべての対象画像に
ついて領域分割が終了したか否かを判断し（ステップｎ
４０３）、終了したときには、ある対象画像に対してキ
ー画像のある分割領域に重なっている分割領域を抽出し
（ステップｎ４０４）、重なっている分割領域が複数あ
るときには、重なっている面積の差に基づいて対応する
分割領域を決定し（ステップｎ４０５）、キー画像の全
分割領域について処理が終わったか否かを判断し（ステ
ップｎ４０７）、終わっていないときには、キー画像の
次の分割領域ついて処理するためにステップｎ４０４に
戻り（ステップｎ４０８）、終わったときには、全対象
画像について終了したか否かを判断し（ステップｎ４０
７）、終了していないときには、次の対象画像について
処理するためにステップｎ４０４に戻り（ステップｎ４
０９）、終了したときには、上述の図１３フローチャー
トと同様に、キー画像の分割領域と対象画像の対応する
分割領域との類似度を求めて目的の画像を検索するので
ある。

【００８６】また、本発明の他の実施の形態では、分割
領域の境界にある幅（例えば±１画素分）を持たせ、分
割領域を拡大した領域または縮小した領域についても類
似度を求めて検索してもよい。これによれば、キー画像
と対象画像しのズレを考慮して検索が行えることにな
る。なお、ある幅は、システム上で設定してあってもよ
いし、使用者が入力設定できるようにしてもよい。

【００８７】さらに、本発明の他の実施の形態として、
例えば、図１６に示されるように、統合されず残った孤
立した小領域２０については、検索対象からはずしても
よい。

【００８８】また、検索対象から外す領域を、使用者が
入力設定できるようにしてもよい。

【００８９】上述の各実施の形態では、カラー画像の領
域分割および画像検索に適用して説明したけれども、本
発明はカラー画像に限るものではなく、白黒の濃淡画像
に適用してもよく、この場合には、小領域の特徴量とし
ては、例えば、小領域の黒の画素数を、小領域の全画素
数で割って得られる濃度を用いてもよい。

【００９０】また、本発明においては、小領域を統合す
るに際しては、特徴量が同一の小領域で統合してもよい
し、特徴量がある範囲内に収まる小領域で統合してもよ
い。

【００９１】

【発明の効果】以上のように本発明によれば、次の効果
が奏される。

【００９２】すなわち、請求項１、５または９の本発明
によれば、画像に応じて分割領域を動的に変更し、特徴
量が共通する分割領域毎に分割できることになり、分割
領域が固定されていた従来例に比べて、画像に応じて、
その特徴をよく表した領域で分割できることになる。

【００９３】請求項２、６または１０の本発明によれ
ば、画像は、特徴量が共通する連続した分割領域毎に分
割されることなり、画像の特徴をよく表した領域で分割
できることになる。

【００９４】請求項３、７または１１の本発明によれ
ば、カラー画像を、平均色または代表色が共通する分割
領域毎に分割でき、あるいは、濃淡画像を、濃度が共通
する分割領域毎に分割することができ、カラー画像ある
いは濃淡画像を、その特徴をよく表した領域で分割でき
ることになる。

【００９５】請求項４、８または１２の本発明によれ
ば、画像の分割幅が適当でないと判定されたときには、
再度複数の小領域へ分割するので、例えば、小領域を構
成する色の数が多く、しかも、各色の画素数が略等しく
て小領域に画像の特徴がよく表れていないような場合に
は、画像を再分割して画像の特徴がよく表れる小領域を
形成し、最終的に画像の特徴がよく表れた分割領域に分
割できることになる。

【００９６】請求項１３、１５または１７の本発明によ
れば、キー画像を、その特徴をよく表した分割領域で分
割でき、この分割領域と対象画像の対応する分割領域と
の類似度を求めて目的の画像を検索するので、キー画像
を固定した分割領域で分割して検索していた従来例に比
べて、精度の高い検索が行える。

【００９７】請求項１４、１６または１８の本発明によ
れば、キー画像および対象画像を、その特徴をよく表し
た分割領域でそれぞれ分割でき、この分割領域の類似度
を求めて目的の画像を検索するので、キー画像および対
象画像を固定した分割領域で分割して検索していた従来
例に比べて、精度の高い検索が行える。

【図面の簡単な説明】

【図１】本発明に係る画像検索システムの構成図であ
る。

【図２】図１の実施の形態の機能ブロック図である。

【図３】キー画像の一例を示す図である。

【図４】特徴量抽出の動作説明に供するフローチャート
である。

【図５】小領域に分割した特徴量を抽出した画像を示す
図である。

【図６】他の実施の形態に係る特徴量抽出の動作説明に
供するフローチャートである。

【図７】他の実施の形態に係る特徴量抽出の動作説明に
供するフローチャートである。

【図８】本発明の他の実施の形態に係る図４に対応する
フローチャートである。

【図９】他の実施の形態に係る特徴量抽出の動作説明に
供するフローチャートである。

【図１０】小領域の統合を説明するための図である。

【図１１】小領域の統合の動作説明に供するフローチャ
ートである。

【図１２】小領域を統合した分割領域を形成した画像を
示す図である。

【図１３】画像検索の動作説明に供するフローチャート
である。

【図１４】分割画像の対応関係を説明するための図であ
る。

【図１５】他の実施の形態に係る画像検索の動作説明に
供するフローチャートである。

【図１６】孤立した小領域の処理を説明するための図で
ある。

【符号の説明】

３画像データベース４キー画像５領域分割手段６類似度算出手段８検索手段９小領域１４〜１８分割領域

Claims

【特許請求の範囲】

【請求項１】画像を複数の小領域に分割し、各小領域の特徴量を抽出し、抽出した特徴量の共通性に基づいて、前記小領域を統合
して分割領域を形成することを特徴とする画像の領域分
割方法。
【請求項２】前記各小領域を、前記画像を格子状に分
割した矩形の小領域とするとともに、前記分割領域を、
前記矩形の各辺に隣接する小領域を前記特徴量の共通性
に基づいて統合してなる多角形の分割領域とする請求項
１記載の画像の領域分割方法。
【請求項３】前記特徴量を、平均色、代表色または濃
度とする請求項１または２記載の画像の領域分割方法。
【請求項４】前記特徴量を、平均色または代表色と
し、前記小領域を構成する色の数および各色に対応する画素
数に基づいて、画像を分割する分割幅が適当であるか否
かを判定し、適当でないと判定されたときには、分割幅
を設定し直して再度複数の小領域へ分割する請求項１ま
たは２記載の画像の領域分割方法。
【請求項５】画像を複数の小領域に分割する分割手段
と、各小領域の特徴量を抽出する抽出手段と、抽出した特徴量の共通性に基づいて、各小領域を統合し
て分割領域を形成する形成手段と、を備えることを特徴とする画像の領域分割装置。
【請求項６】前記分割手段は、前記画像を格子状に分
割して矩形の前記小領域とし、前記形成手段は、前記矩
形の各辺に隣接する小領域を前記特徴量の共通性に基づ
いて統合して多角形の分割領域を形成する請求項５記載
の画像の領域分割装置。
【請求項７】前記抽出手段は、各小領域の平均色、代
表色または濃度を抽出し、前記形成手段は、抽出した小
領域の平均色、代表色または濃度の共通性に基づいて、
各小領域を統合する請求項５または６記載の画像の領域
分割装置。
【請求項８】前記小領域を構成する色の数および各色
に対応する画素数に基づいて、前記画像を分割する分割
幅が適当であるか否かを判定する判定手段を備え、前記抽出手段は、各小領域の平均色または代表色を抽出
し、前記形成手段は、抽出した小領域の平均色または代
表色の共通性に基づいて、各小領域を統合し、前記分割
手段は、前記分割幅が適当でないと判定されたときに
は、分割幅を設定し直して再度複数の小領域へ分割する
請求項５または６記載の画像の領域分割装置。
【請求項９】画像を複数の小領域に分割する分割手順
と、各小領域の特徴量を抽出する抽出手順と、抽出した特徴量の共通性に基づいて、各小領域を統合し
て分割領域を形成する形成手順と、を含む画像の領域分割プログラムを記録した記録媒体。
【請求項１０】前記分割手順は、前記画像を格子状に
分割して矩形の前記小領域とし、前記形成手順は、前記
矩形の各辺に隣接する小領域を前記特徴量の共通性に基
づいて統合して多角形の分割領域を形成するものである
請求項９記載の画像の領域分割プログラムを記録した記
録媒体。
【請求項１１】前記抽出手順は、各小領域の平均色、
代表色または濃度を抽出し、前記形成手順は、抽出した
小領域の平均色、代表色または濃度の共通性に基づい
て、各小領域を統合するものである請求項９または１０
記載の画像の領域分割プログラムを記録した記録媒体。
【請求項１２】前記小領域を構成する色の数および各
色に対応する画素数に基づいて、前記画像を分割する分
割幅が適当であるか否かを判定する判定手順が記録さ
れ、前記抽出手順は、各小領域の平均色または代表色を
抽出し、前記形成手順は、抽出した小領域の平均色また
は代表色の共通性に基づいて、各小領域を統合し、前記
分割手順は、前記分割幅が適当でないと判定されたとき
には、分割幅を設定し直して再度複数の小領域へ分割す
る請求項９または１０記載の画像の領域分割プログラム
を記録した記録媒体。
【請求項１３】キー画像を索引として画像データベー
スの対象画像から目的の画像を検索する画像検索方法で
あって、前記キー画像を、前記請求項１ないし４のいずれかに記
載の画像の領域分割方法で分割し、画像データベースの対象画像を、前記キー画像と同一の
分割領域で分割し、キー画像の分割領域の特徴量と対象画像の対応する分割
領域の特徴量との類似度を求めて目的の画像を検索する
ことを特徴とする画像検索方法。
【請求項１４】キー画像を索引として画像データベー
スの対象画像から目的の画像を検索する画像検索方法で
あって、前記キー画像を、前記請求項１ないし４のいずれかに記
載の画像の領域分割方法で分割し、画像データベースの対象画像を、前記請求項１ないし４
のいずれかに記載の画像の領域分割方法で分割し、キー画像の分割領域の特徴量と対象画像の対応する分割
領域の特徴量との類似度を求めて目的の画像を検索する
ことを特徴とする画像検索方法。
【請求項１５】キー画像を索引として画像データベー
スの対象画像から目的の画像を検索する画像検索装置で
あって、前記請求項５ないし８のいずれかに記載の画像の領域分
割装置と、前記画像の領域分割装置で分割された前記キー画像と同
一の分割領域で前記対象画像を分割する分割手段と、キー画像の分割領域の特徴量と対象画像の対応する分割
領域の特徴量との類似度を求める類似度算出手段と、算出された類似度に基づいて、目的の画像を検索する検
索手段と、を備えることを特徴とする画像検索装置。
【請求項１６】キー画像を索引として画像データベー
スの対象画像から目的の画像を検索する画像検索装置で
あって、前記請求項５ないし８のいずれかに記載の画像の領域分
割装置と、前記画像の領域分割装置で分割された前記キー画像の分
割領域の特徴量と前記画像の領域分割装置で分割された
前記対象画像の対応する分割領域の特徴量との類似度を
求める類似度算出手段と、算出された類似度に基づいて、目的の画像を検索する検
索手段と、を備えることを特徴とする画像検索装置。
【請求項１７】キー画像を索引として画像データベー
スの対象画像から目的の画像を検索する画像検索プログ
ラムを記録した記録媒体であって、前記請求項９ないし１２のいずれかに記載の記録媒体に
記録された画像の領域分割プログラムと、前記画像の領域分割プログラムで分割された前記キー画
像と同一の分割領域で前記対象画像を分割する分割手順
と、キー画像の分割領域の特徴量と対象画像の対応する分割
領域の特徴量との類似度を求める類似度算出手順と、算出された類似度に基づいて、目的の画像を検索する検
索手順と、を含む画像検索プログラムを記録した記録媒
体。
【請求項１８】キー画像を索引として画像データベー
スの対象画像から目的の画像を検索する画像検索プログ
ラムを記録した記録媒体であって、前記請求項９ないし１２のいずれかに記載の記録媒体に
記録された画像の領域分割プログラムと、前記画像の領域分割プログラムで分割された前記キー画
像の分割領域の特徴量と前記画像の領域分割プログラム
で分割された前記対象画像の対応する分割領域の特徴量
の類似度を求める類似度算出手順と、算出された類似度に基づいて、目的の画像を検索する検
索手順と、を含む画像検索プログラムを記録した記録媒
体。