JPH10260983A - 画像検索装置及び方法 - Google Patents
画像検索装置及び方法Info
- Publication number
- JPH10260983A JPH10260983A JP9066833A JP6683397A JPH10260983A JP H10260983 A JPH10260983 A JP H10260983A JP 9066833 A JP9066833 A JP 9066833A JP 6683397 A JP6683397 A JP 6683397A JP H10260983 A JPH10260983 A JP H10260983A
- Authority
- JP
- Japan
- Prior art keywords
- image
- label
- blocks
- label string
- string
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
(57)【要約】
【課題】画像の特徴量の配置を考慮した類似画像の検索
を行うとともに、撮影条件の変動等による違いを吸収し
た類似画像検索を可能とする。 【解決手段】画像特徴量抽出部１４は画像を複数のブロ
ックに分割して各ブロックの特徴量を算出する。特徴量
ラベル行列化部１５は各ブロックについて取得された特
徴量に応じて各ブロックにラベルを付与し、これを所定
のブロック順序で並べてラベル行列を生成する。画像管
理ＤＢ１８は画像蓄積部１７に蓄積された画像データ
と、各画像データに対応するラベル行列を対応付けて格
納する。ラベル行列インデックス１９は、ラベル行列を
キーとして画像データを登録したラベル系列インデック
スを格納する。検索においては、元画像のラベル列とラ
ベル行列インデックス１９に記憶されたラベル列との類
似度を演算し、類似度が所定値を越える画像を検索結果
として出力する。
を行うとともに、撮影条件の変動等による違いを吸収し
た類似画像検索を可能とする。 【解決手段】画像特徴量抽出部１４は画像を複数のブロ
ックに分割して各ブロックの特徴量を算出する。特徴量
ラベル行列化部１５は各ブロックについて取得された特
徴量に応じて各ブロックにラベルを付与し、これを所定
のブロック順序で並べてラベル行列を生成する。画像管
理ＤＢ１８は画像蓄積部１７に蓄積された画像データ
と、各画像データに対応するラベル行列を対応付けて格
納する。ラベル行列インデックス１９は、ラベル行列を
キーとして画像データを登録したラベル系列インデック
スを格納する。検索においては、元画像のラベル列とラ
ベル行列インデックス１９に記憶されたラベル列との類
似度を演算し、類似度が所定値を越える画像を検索結果
として出力する。
Description
【０００１】
【発明の属する技術分野】本発明は、画像を検索する画
像検索装置及び方法に関するものである。
像検索装置及び方法に関するものである。
【０００２】
【従来の技術】従来より類似画像を検索するための種々
の技術が提案されている。類似画像検索を自然画像につ
いて行うための、ある程度実用化されている技術では、
色情報を画像特徴量として用いているものが多い。そし
て、その多くが、色情報に関するヒストグラムを取るこ
とにより、ＲＧＢの割合や画像中に多く存在する色の組
み合わせを用いた検索が殆どである。
の技術が提案されている。類似画像検索を自然画像につ
いて行うための、ある程度実用化されている技術では、
色情報を画像特徴量として用いているものが多い。そし
て、その多くが、色情報に関するヒストグラムを取るこ
とにより、ＲＧＢの割合や画像中に多く存在する色の組
み合わせを用いた検索が殆どである。
【０００３】
【発明が解決しようとする課題】しかしながら、上記の
手法では、色の位置情報が失われてしまうためにその検
索精度は必ずしも高くなかった。また、例えば特開平８
−２４９３４９号には、画像を複数のブロックに分け夫
々の特徴量（代表色）を用いたパターンマッチングが開
示されている。しかしながら、この手法では、マッチン
グを行う２つの画像について各ブロック間の特徴量の距
離を計算しなければならず、膨大な計算量が必要となっ
てしまう。特に特徴量として代表色を用いると、ＲＧＢ
３個のデータを扱わなければならず、更に計算が複雑な
ものとなる。また、特徴量そのものを用いて比較を行う
ので、比較の精度が高くなる反面、画像のアングルが変
ったり、物体の位置が変ったりするだけで類似画像検索
できなくなってしまうといった問題がある。すなわち、
画像のアングルが変ったり、物体の位置が変ったり、あ
るいは撮影条件による画像特徴量のある程度の違い等を
吸収するなど、ある程度の曖昧さを有しながらも適切に
画像検索を行うという、いわゆるロバストな類似画像検
索を行うことはできなかった。
手法では、色の位置情報が失われてしまうためにその検
索精度は必ずしも高くなかった。また、例えば特開平８
−２４９３４９号には、画像を複数のブロックに分け夫
々の特徴量（代表色）を用いたパターンマッチングが開
示されている。しかしながら、この手法では、マッチン
グを行う２つの画像について各ブロック間の特徴量の距
離を計算しなければならず、膨大な計算量が必要となっ
てしまう。特に特徴量として代表色を用いると、ＲＧＢ
３個のデータを扱わなければならず、更に計算が複雑な
ものとなる。また、特徴量そのものを用いて比較を行う
ので、比較の精度が高くなる反面、画像のアングルが変
ったり、物体の位置が変ったりするだけで類似画像検索
できなくなってしまうといった問題がある。すなわち、
画像のアングルが変ったり、物体の位置が変ったり、あ
るいは撮影条件による画像特徴量のある程度の違い等を
吸収するなど、ある程度の曖昧さを有しながらも適切に
画像検索を行うという、いわゆるロバストな類似画像検
索を行うことはできなかった。
【０００４】従って、従来技術において自然画像を検索
する場合には、画像にキーワードを付与しておき、この
キーワードによって画像検索を行うことが普通であっ
た。しかし、このキーワード付け作業は人手のかかる作
業であり、更に、キーワード付けが行われていない画像
に関しては、縮小画を提示してマニュアルにて選択する
という作業が生じ、検索操作を煩雑なものとしていた。
する場合には、画像にキーワードを付与しておき、この
キーワードによって画像検索を行うことが普通であっ
た。しかし、このキーワード付け作業は人手のかかる作
業であり、更に、キーワード付けが行われていない画像
に関しては、縮小画を提示してマニュアルにて選択する
という作業が生じ、検索操作を煩雑なものとしていた。
【０００５】本発明は上記の問題点に鑑みてなされたも
のであり、画像の特徴量の配置を考慮した類似画像の検
索を可能とする画像検索装置及び方法を提供することを
目的とする。
のであり、画像の特徴量の配置を考慮した類似画像の検
索を可能とする画像検索装置及び方法を提供することを
目的とする。
【０００６】また、本発明の他の目的は、画像の特徴量
の配置を考慮した類似画像の検索を行うとともに、撮影
条件の変動等による違いを吸収した類似画像検索を可能
とする画像検索装置及び方法を提供することにある。
の配置を考慮した類似画像の検索を行うとともに、撮影
条件の変動等による違いを吸収した類似画像検索を可能
とする画像検索装置及び方法を提供することにある。
【０００７】
【課題を解決するための手段】上記の目的を達成するた
めの本発明の画像検索装置は以下の構成を備える。即
ち、画像を複数のブロックに分割し、各ブロックについ
て取得された特徴量に応じてラベルを付与する付与手段
と、前記付与手段で付与されたラベルを所定のブロック
順序に基づいて並べることによりラベル列を生成する生
成手段と、前記生成手段で生成されたラベル列を前記画
像に対応付けて記憶する記憶手段と、前記記憶手段に記
憶されたラベル列に基づいて画像検索を行う検索手段と
を備える。
めの本発明の画像検索装置は以下の構成を備える。即
ち、画像を複数のブロックに分割し、各ブロックについ
て取得された特徴量に応じてラベルを付与する付与手段
と、前記付与手段で付与されたラベルを所定のブロック
順序に基づいて並べることによりラベル列を生成する生
成手段と、前記生成手段で生成されたラベル列を前記画
像に対応付けて記憶する記憶手段と、前記記憶手段に記
憶されたラベル列に基づいて画像検索を行う検索手段と
を備える。
【０００８】また、上記の目的を達成する本発明の画像
検索方法は以下の工程を備えている。即ち、画像を複数
のブロックに分割し、各ブロックについて取得された特
徴量に応じてラベルを付与する付与工程と、前記付与工
程で付与されたラベルを所定のブロック順序に基づいて
並べることによりラベル列を生成する生成工程と、前記
生成工程で生成されたラベル列を前記画像に対応付けて
メモリに記憶する記憶工程と、前記メモリに記憶された
ラベル列に基づいて画像検索を行う検索工程とを備え
る。
検索方法は以下の工程を備えている。即ち、画像を複数
のブロックに分割し、各ブロックについて取得された特
徴量に応じてラベルを付与する付与工程と、前記付与工
程で付与されたラベルを所定のブロック順序に基づいて
並べることによりラベル列を生成する生成工程と、前記
生成工程で生成されたラベル列を前記画像に対応付けて
メモリに記憶する記憶工程と、前記メモリに記憶された
ラベル列に基づいて画像検索を行う検索工程とを備え
る。
【０００９】
【発明の実施の形態】以下、添付の図面を参照して本発
明の好適な一実施形態を説明する。
明の好適な一実施形態を説明する。
【００１０】図１は本実施形態の画像検索装置の制御構
成を示すブロック図である。同図において、１０１はＣ
ＰＵであり、本実施形態の画像検索装置における各種制
御を実行する。１０２はＲＯＭであり、本装置の立ち上
げ時に実行されるブートプログラムや各種データを格納
する。１０３はＲＡＭであり、ＣＰＵ１０１が処理する
ための制御プログラムを格納するとともに、ＣＰＵ１０
１が各種制御を実行する際の作業領域を提供する。１０
４はキーボード、１０５はマウスであり、ユーザによる
各種入力操作環境を提供する。
成を示すブロック図である。同図において、１０１はＣ
ＰＵであり、本実施形態の画像検索装置における各種制
御を実行する。１０２はＲＯＭであり、本装置の立ち上
げ時に実行されるブートプログラムや各種データを格納
する。１０３はＲＡＭであり、ＣＰＵ１０１が処理する
ための制御プログラムを格納するとともに、ＣＰＵ１０
１が各種制御を実行する際の作業領域を提供する。１０
４はキーボード、１０５はマウスであり、ユーザによる
各種入力操作環境を提供する。
【００１１】１０６は外部記憶装置であり、ハードディ
スクやフロッピーディスク、ＣＤ−ＲＯＭ等で構成され
る。１０７はネットワークインターフェースであり、ネ
ットワーク上の各機器との通信を可能とする。１０９は
インターフェース、１１０は画像読み取りのためのスキ
ャナである。また、１１１は上記の各構成を接続するバ
スである。
スクやフロッピーディスク、ＣＤ−ＲＯＭ等で構成され
る。１０７はネットワークインターフェースであり、ネ
ットワーク上の各機器との通信を可能とする。１０９は
インターフェース、１１０は画像読み取りのためのスキ
ャナである。また、１１１は上記の各構成を接続するバ
スである。
【００１２】なお、上記の構成においてスキャナ１１０
や外部記憶装置１０６はネットワーク上に配置されたも
ので代用してもよい。
や外部記憶装置１０６はネットワーク上に配置されたも
ので代用してもよい。
【００１３】図２は本実施形態の画像検索装置の機能構
成を示すブロック図である。同図において、１１はユー
ザインターフェース部であり、表示器１０７、キーボー
ド１０４及びマウス１０５を用いて、ユーザからの各種
の操作入力を検出する。１２は画像入力部であり、スキ
ャナ１１０による画像の読み取りを行う。１３は画像メ
モリであり、画像入力部１２によって得られたイメージ
データをＲＡＭ１０３の所定の領域に格納する。１４は
画像特徴量抽出部であり、画像メモリ１３に格納した画
像について、後述の手順で特徴量を抽出する。１５は特
徴量ラベル列化部であり、画像特徴量抽出部１４によっ
て得られた特徴量に基づいてラベル列を生成する。１６
はパターンマッチング部であり、指定された画像のラベ
ル列と、画像蓄積部１７に蓄積されている画像のラベル
列に基づいて、類似度を算出し、類似画像を検索する。
成を示すブロック図である。同図において、１１はユー
ザインターフェース部であり、表示器１０７、キーボー
ド１０４及びマウス１０５を用いて、ユーザからの各種
の操作入力を検出する。１２は画像入力部であり、スキ
ャナ１１０による画像の読み取りを行う。１３は画像メ
モリであり、画像入力部１２によって得られたイメージ
データをＲＡＭ１０３の所定の領域に格納する。１４は
画像特徴量抽出部であり、画像メモリ１３に格納した画
像について、後述の手順で特徴量を抽出する。１５は特
徴量ラベル列化部であり、画像特徴量抽出部１４によっ
て得られた特徴量に基づいてラベル列を生成する。１６
はパターンマッチング部であり、指定された画像のラベ
ル列と、画像蓄積部１７に蓄積されている画像のラベル
列に基づいて、類似度を算出し、類似画像を検索する。
【００１４】１７は画像蓄積部であり、画像入力部１２
等によって得られた画像データを蓄積する。図３は画像
蓄積部１７における画像データの格納状態を説明する図
である。各画像データ１１２には画像ＩＤ１１１が付与
され、画像蓄積部１７にはこれらが対になって保持され
る。１８は画像管理データベース（以下、画像管理Ｄ
Ｂ）であり、図８で示されるデータ形態で画像蓄積部１
７に格納された画像データを管理する。また、１９はラ
ベル列インデックスであり、図９で示されるラベル系列
インデックスや図９に示されるラベル成分インデックス
ファイルを格納する。
等によって得られた画像データを蓄積する。図３は画像
蓄積部１７における画像データの格納状態を説明する図
である。各画像データ１１２には画像ＩＤ１１１が付与
され、画像蓄積部１７にはこれらが対になって保持され
る。１８は画像管理データベース（以下、画像管理Ｄ
Ｂ）であり、図８で示されるデータ形態で画像蓄積部１
７に格納された画像データを管理する。また、１９はラ
ベル列インデックスであり、図９で示されるラベル系列
インデックスや図９に示されるラベル成分インデックス
ファイルを格納する。
【００１５】以上のような構成を備えた本実施形態の画
像検索装置の動作例を以下に説明する。なお、以下の例
では色に着目した画像特徴量として、赤（Ｒ）、緑
（Ｇ）、青（Ｂ）の三色を採用し、３次元の色空間での
処理を用いて説明する。
像検索装置の動作例を以下に説明する。なお、以下の例
では色に着目した画像特徴量として、赤（Ｒ）、緑
（Ｇ）、青（Ｂ）の三色を採用し、３次元の色空間での
処理を用いて説明する。
【００１６】［画像の登録処理］先ず画像登録の際に行
う処理を説明する。図４は本実施形態による画像登録処
理の手順を表すフローチャートである。まず、ステップ
Ｓ１１において、ユーザーインターフェース部１１を介
しての指示により、画像入力部１２を用いた画像を読み
込み、画像メモリ１３に保持する。次に、ステップＳ１
２において、この画像を複数のブロックに分割する。本
実施形態では、画像を縦横の複数ブロックに分割する。
図５は本実施形態による画像のブロック分割例を示す図
である。同図に示されるように、本実施形態では、３×
３の計９個に画像を分割するものとする。次にステップ
Ｓ１３において、分割された各ブロックの特徴量を算出
し、得られた特徴量を次の手順でラベル化する。
う処理を説明する。図４は本実施形態による画像登録処
理の手順を表すフローチャートである。まず、ステップ
Ｓ１１において、ユーザーインターフェース部１１を介
しての指示により、画像入力部１２を用いた画像を読み
込み、画像メモリ１３に保持する。次に、ステップＳ１
２において、この画像を複数のブロックに分割する。本
実施形態では、画像を縦横の複数ブロックに分割する。
図５は本実施形態による画像のブロック分割例を示す図
である。同図に示されるように、本実施形態では、３×
３の計９個に画像を分割するものとする。次にステップ
Ｓ１３において、分割された各ブロックの特徴量を算出
し、得られた特徴量を次の手順でラベル化する。
【００１７】図６は本実施形態による多次元特徴量空間
を説明する図である。図６に示すように、多次元特徴量
空間（ＲＧＢカラー空間）を複数のブロック（色ブロッ
ク）、即ちセル（色せる）に分割し、夫々のセル（色セ
ル）に対して通し番号でユニークなラベルを付与する。
ここで、多次元特徴用空間（ＲＧＢカラー空間）を複数
のブロックに分けたのは微妙な特徴量（色）の違いを吸
収するためである。
を説明する図である。図６に示すように、多次元特徴量
空間（ＲＧＢカラー空間）を複数のブロック（色ブロッ
ク）、即ちセル（色せる）に分割し、夫々のセル（色セ
ル）に対して通し番号でユニークなラベルを付与する。
ここで、多次元特徴用空間（ＲＧＢカラー空間）を複数
のブロックに分けたのは微妙な特徴量（色）の違いを吸
収するためである。
【００１８】なお、多次元特徴量空間に関しては、画像
特徴量をそのまま用いるものではなく各パラメータを平
均と分散を実験によって求め規格化（正規化）した後、
例えば、主成分分析等の直交変換を行い、意味のある次
元にしたものを用いることが考えられる。なお、「意味
のある次元」とは、主成分分析において、寄与率が大き
な主成分軸で構成される次元である。
特徴量をそのまま用いるものではなく各パラメータを平
均と分散を実験によって求め規格化（正規化）した後、
例えば、主成分分析等の直交変換を行い、意味のある次
元にしたものを用いることが考えられる。なお、「意味
のある次元」とは、主成分分析において、寄与率が大き
な主成分軸で構成される次元である。
【００１９】ステップＳ１３では、ステップＳ１２で得
られた各分割ブロックに対して、定められた画像特徴量
計算処理を行い、上記多次元特徴量空間上のどのセルに
属するかを求め、対応するラベルを求める。この処理を
全てのブロックに対して行う。すなわち、分割画像ブロ
ックに対して、全ての画素がどの色セルに属するかの計
算処理を行い、もっとも頻度の多い色セルのラベルをそ
の分割画像ブロックのパラメータラベル（カラーラベ
ル）として決定し、この処理を全てのブロックに対して
行う。
られた各分割ブロックに対して、定められた画像特徴量
計算処理を行い、上記多次元特徴量空間上のどのセルに
属するかを求め、対応するラベルを求める。この処理を
全てのブロックに対して行う。すなわち、分割画像ブロ
ックに対して、全ての画素がどの色セルに属するかの計
算処理を行い、もっとも頻度の多い色セルのラベルをそ
の分割画像ブロックのパラメータラベル（カラーラベ
ル）として決定し、この処理を全てのブロックに対して
行う。
【００２０】以上のようにして各ブロックに対してパラ
メータラベルが付与されると、ステップＳ１４におい
て、各ブロックに付与されたパラメータラベルを所定の
ブロック順序で並べることにより、パラメータラベル列
（以下、ラベル列とする）が生成される。図７はラベル
列を生成する際のブロック順序例を説明する図である。
同図の分割画像ブロックの升にある数字に従って上記の
パラメータラベルを並べ、ラベル列を作る。
メータラベルが付与されると、ステップＳ１４におい
て、各ブロックに付与されたパラメータラベルを所定の
ブロック順序で並べることにより、パラメータラベル列
（以下、ラベル列とする）が生成される。図７はラベル
列を生成する際のブロック順序例を説明する図である。
同図の分割画像ブロックの升にある数字に従って上記の
パラメータラベルを並べ、ラベル列を作る。
【００２１】ここで、図７の（ａ）では、分割ブロック
を右上から左下方向への斜め方向へスキャンしている。
これは、比較する画像のアングルの微妙な違い、ずれの
影響を少なくするために類似検索対象物体に沿ってなる
べく多く連続したラベル列を高い期待値で得るためであ
る。この結果、後で述べるパターンマッチング部１６の
作用とあいまって、上下左右のどちらのずれに対しても
影響の少ないラベル列同士の比較が可能となる。
を右上から左下方向への斜め方向へスキャンしている。
これは、比較する画像のアングルの微妙な違い、ずれの
影響を少なくするために類似検索対象物体に沿ってなる
べく多く連続したラベル列を高い期待値で得るためであ
る。この結果、後で述べるパターンマッチング部１６の
作用とあいまって、上下左右のどちらのずれに対しても
影響の少ないラベル列同士の比較が可能となる。
【００２２】なお、本実施形態に適用可能なスキャンの
方法としては、 ・水平方向（左から右へのスキャンを上から下へ行う、
左から右へのスキャンを下から上へ行う等、４通りのス
キャン方法が考えられる）、 ・垂直方向（上から下へのスキャンを左から右へ行う
等、４通りのスキャン方法が考えられる）、 ・斜め方向（四隅の各始点について２方向の斜めスキャ
ンがあり、図７の（ａ）〜（ｃ）を含む８通りのスキャ
ン方法がある）、 ・ジグザグスキャン（ＪＰＥＧ等において採用されてい
るスキャン方法であり、四隅の各始点について２通りの
ジグザグスキャンがあり、合計８通りのスキャンがあ
る）、等があげられる。本実施形態では以下の観点から
採用すべきスキャン方法を決定する。すなわち、 （１）本実施形態ではラベル列同士の時系列的な比較で
あり、この順序に逆転が生じることは好ましくない。よ
って、すべての画像を所定のスキャン方法でスキャンし
てラベル列化を行う必要がある。 （２）位置の近いブロックはラベル列中においても近く
に位置することが望ましい。 （３）検索したい物体に引っ掛かるブロックのラベルが
出来る限り早く現れ、且つ長く続くことがマッチングを
行いやすくする。 （４）物体が動いたり、アングルが変わったりしても、
ラベルの並びが極端に変わらないようにする。 という条件を満足するスキャン方法を採用する。特に、
着目物体の多くが画像中央であることを仮定すると、着
目物体を含むブロックが出来るだけスキャンの早いうち
に現れ、長く物体をスキャンする期待値が高い方法とし
て、本実施形態では斜め方向のスキャンを採用してい
る。なお、本実施形態では、図７の（ａ）のような右上
から左下方向への斜めスキャンを採用するが、当然、図
７の（ｂ）のような例や図７の（ｃ）の様なスキャン方
法を採用してもよい。
方法としては、 ・水平方向（左から右へのスキャンを上から下へ行う、
左から右へのスキャンを下から上へ行う等、４通りのス
キャン方法が考えられる）、 ・垂直方向（上から下へのスキャンを左から右へ行う
等、４通りのスキャン方法が考えられる）、 ・斜め方向（四隅の各始点について２方向の斜めスキャ
ンがあり、図７の（ａ）〜（ｃ）を含む８通りのスキャ
ン方法がある）、 ・ジグザグスキャン（ＪＰＥＧ等において採用されてい
るスキャン方法であり、四隅の各始点について２通りの
ジグザグスキャンがあり、合計８通りのスキャンがあ
る）、等があげられる。本実施形態では以下の観点から
採用すべきスキャン方法を決定する。すなわち、 （１）本実施形態ではラベル列同士の時系列的な比較で
あり、この順序に逆転が生じることは好ましくない。よ
って、すべての画像を所定のスキャン方法でスキャンし
てラベル列化を行う必要がある。 （２）位置の近いブロックはラベル列中においても近く
に位置することが望ましい。 （３）検索したい物体に引っ掛かるブロックのラベルが
出来る限り早く現れ、且つ長く続くことがマッチングを
行いやすくする。 （４）物体が動いたり、アングルが変わったりしても、
ラベルの並びが極端に変わらないようにする。 という条件を満足するスキャン方法を採用する。特に、
着目物体の多くが画像中央であることを仮定すると、着
目物体を含むブロックが出来るだけスキャンの早いうち
に現れ、長く物体をスキャンする期待値が高い方法とし
て、本実施形態では斜め方向のスキャンを採用してい
る。なお、本実施形態では、図７の（ａ）のような右上
から左下方向への斜めスキャンを採用するが、当然、図
７の（ｂ）のような例や図７の（ｃ）の様なスキャン方
法を採用してもよい。
【００２３】続いてステップＳ１５において、以上のよ
うにして得たラベル列や画像データを画像蓄積部１７、
画像管理ＤＢ１８、ラベル列インデックス１９に格納す
る。すなわち、ステップＳ１１で読み込んだ画像データ
に対して画像ＩＤを取得し、これらをペアにして画像蓄
積部１７に格納する。そして、当該画像ＩＤに対応付け
て図８に示す画像管理ＤＢレコードを生成し、これを画
像管理ＤＢ１８に登録する。更に、ステップＳ１６にお
いて、ラベル列を検索キーとし、画像ＩＤ群を可変長レ
コードに納めるレコード（図９のラベル系列インデック
ス）を作成し、ラベル列インデックス１９に登録する。
ここで、当該ラベル列が未登録であれば、新たなレコー
ドを生成してラベル列ＩＤを付与し、当該ラベル列及び
画像ＩＤを登録する。一方、当該ラベル列が既に登録さ
れていれば、画像ＩＤ群に当該画像ＩＤを追加登録する
ことになる。このようなラベル系列インデックスを用い
ることにより、ラベル列が与えられた場合にそれに対応
する画像ＩＤが高速に得られることになる。
うにして得たラベル列や画像データを画像蓄積部１７、
画像管理ＤＢ１８、ラベル列インデックス１９に格納す
る。すなわち、ステップＳ１１で読み込んだ画像データ
に対して画像ＩＤを取得し、これらをペアにして画像蓄
積部１７に格納する。そして、当該画像ＩＤに対応付け
て図８に示す画像管理ＤＢレコードを生成し、これを画
像管理ＤＢ１８に登録する。更に、ステップＳ１６にお
いて、ラベル列を検索キーとし、画像ＩＤ群を可変長レ
コードに納めるレコード（図９のラベル系列インデック
ス）を作成し、ラベル列インデックス１９に登録する。
ここで、当該ラベル列が未登録であれば、新たなレコー
ドを生成してラベル列ＩＤを付与し、当該ラベル列及び
画像ＩＤを登録する。一方、当該ラベル列が既に登録さ
れていれば、画像ＩＤ群に当該画像ＩＤを追加登録する
ことになる。このようなラベル系列インデックスを用い
ることにより、ラベル列が与えられた場合にそれに対応
する画像ＩＤが高速に得られることになる。
【００２４】以上が画像登録時に行われる処理である。
【００２５】［類似画像検索処理］次に図１０のフロー
チャートに従って類似画像検索の処理を説明する。図１
０は類似画像検索の処理手順を説明するフローチャート
である。なお、本実施形態では、予め初期化時におい
て、ラベル系列インデックスから、既に登録されている
画像のラベル列群を得て、各ラベル成分をキーとするラ
ベル成分インデックスファイルを生成し、ラベル列イン
デックス１９に格納しておく。なお、ここでいう初期化
時とは、システムの立ち上げ時或いはアプリケーション
の起動時のいずれでも良い。また、新規の画像登録があ
り、これを画像ＤＢに登録した場合にも、このラベル成
分インデックスの生成を行う。図１１は、ラベル成分イ
ンデックスのデータ構成例を示す図である。図１１に示
すように、ラベル成分インデックスには、各ラベル成分
毎に、そのラベルを内部に持つラベル列へのアドレス群
（列ＩＤ群）を有する。なお、このラベル成分インデッ
クスファイルは画像の登録及び削除、変更を反映する必
要が生じるまで、作成し直す必要はない。
チャートに従って類似画像検索の処理を説明する。図１
０は類似画像検索の処理手順を説明するフローチャート
である。なお、本実施形態では、予め初期化時におい
て、ラベル系列インデックスから、既に登録されている
画像のラベル列群を得て、各ラベル成分をキーとするラ
ベル成分インデックスファイルを生成し、ラベル列イン
デックス１９に格納しておく。なお、ここでいう初期化
時とは、システムの立ち上げ時或いはアプリケーション
の起動時のいずれでも良い。また、新規の画像登録があ
り、これを画像ＤＢに登録した場合にも、このラベル成
分インデックスの生成を行う。図１１は、ラベル成分イ
ンデックスのデータ構成例を示す図である。図１１に示
すように、ラベル成分インデックスには、各ラベル成分
毎に、そのラベルを内部に持つラベル列へのアドレス群
（列ＩＤ群）を有する。なお、このラベル成分インデッ
クスファイルは画像の登録及び削除、変更を反映する必
要が生じるまで、作成し直す必要はない。
【００２６】まず、ステップＳ２１において、ユーザー
インターフェース部１１から類似検索元画像が指定され
ると、ステップＳ２２において、指定された類似検索元
画像の画像ＩＤが取得され、更に画像管理ＤＢ１８から
当該元画像のラベル列（本例ではカラーラベル列）が取
得される。
インターフェース部１１から類似検索元画像が指定され
ると、ステップＳ２２において、指定された類似検索元
画像の画像ＩＤが取得され、更に画像管理ＤＢ１８から
当該元画像のラベル列（本例ではカラーラベル列）が取
得される。
【００２７】次にステップＳ２３において、ラベル成分
インデックスファイルを参照し、類似検索元画像のラベ
ル列とある程度以上同一のラベルを含むラベル列群（ラ
ベル系列インデックス中のラベル列）を取得する。これ
は登録した画像の全てのラベル列との比較を行うと処理
が遅くなるので、予め似ているもの（類似検索元画像の
ラベル列と所定数以上の同一のラベルを含むラベル列
群）に絞った後に、類似検索元画像のラベル列と一対一
で比較するようにし、処理速度を改善するためである。
もちろん、処理が遅くなっても良ければ、登録した画像
の全てのラベル列との比較を行い、精度の高い検索を行
ってもよい（この場合、ステップＳ２３は省略され
る）。
インデックスファイルを参照し、類似検索元画像のラベ
ル列とある程度以上同一のラベルを含むラベル列群（ラ
ベル系列インデックス中のラベル列）を取得する。これ
は登録した画像の全てのラベル列との比較を行うと処理
が遅くなるので、予め似ているもの（類似検索元画像の
ラベル列と所定数以上の同一のラベルを含むラベル列
群）に絞った後に、類似検索元画像のラベル列と一対一
で比較するようにし、処理速度を改善するためである。
もちろん、処理が遅くなっても良ければ、登録した画像
の全てのラベル列との比較を行い、精度の高い検索を行
ってもよい（この場合、ステップＳ２３は省略され
る）。
【００２８】次に、ステップＳ２４において、ステップ
Ｓ２３で取得した各ラベル列と類似検索元画像のラベル
列とを比較し、その類似度を算出する。そして、類似検
索元画像のラベル列に最も近いラベル列から順にその類
似度とともに検索結果として出力する。
Ｓ２３で取得した各ラベル列と類似検索元画像のラベル
列とを比較し、その類似度を算出する。そして、類似検
索元画像のラベル列に最も近いラベル列から順にその類
似度とともに検索結果として出力する。
【００２９】ここで、ラベル列同士の類似比較（類似度
の算出）を行う方法について述べる。
の算出）を行う方法について述べる。
【００３０】図１２はラベル列を比較し類似度を求める
際に用いるラベル間のペナルティマトリックスの一例を
示す図である。マトリクス中の値が小さい程類似してい
ることになる。例えば、ラベル２とラベル６のペナルテ
ィは「７」である。また、同じラベル同士のペナルティ
は当然のことながら「０」となっている。本マトリクス
の使用目的はラベルの類似に応じた距離判定を行うこと
にある。すなわち、本実施形態では、特徴量空間として
ＲＧＢカラー空間を用いているので、色の類似に応じた
距離判定が行えることになる。
際に用いるラベル間のペナルティマトリックスの一例を
示す図である。マトリクス中の値が小さい程類似してい
ることになる。例えば、ラベル２とラベル６のペナルテ
ィは「７」である。また、同じラベル同士のペナルティ
は当然のことながら「０」となっている。本マトリクス
の使用目的はラベルの類似に応じた距離判定を行うこと
にある。すなわち、本実施形態では、特徴量空間として
ＲＧＢカラー空間を用いているので、色の類似に応じた
距離判定が行えることになる。
【００３１】例えば、ラベル間のパターンマッチングの
際に隣接するセル同士ではペナルティ（距離）を小さく
し、遠いものには大きなペナルティを与えるために図１
２に示すようなラベル間でのペナルティマトリックスを
導入する。ステップＳ２４ではこのペナルティマトリッ
クスを考慮し、ラベル列同士を比較するが、その際に、
オートマトン等のラベルシーケンスを曖昧に比較できる
マッチングを行うようにしてもよい。このような曖昧化
の手法を用いることにより、余分なラベルの付加、ラベ
ルの欠落や同じラベルの繰り返しに対しては低いペナル
ティが与えられとともに、ラベル間のペナルティには図
１２のカラーラベル間のペナルティマトリックスを用い
てラベル列同士の距離計算を行うことで、曖昧なパター
ンマッチングが行えるようになる。なお、オートマトン
としては、「特開平８−２４１３３５のファジー非決定
性有限オートマトンを使用した曖昧な文字列検索方法お
よびシステム」に記載されている「ファジー非決定性有
限オートマトン」を適用することができる。このオート
マトンでは、各シンボル間の距離（ペナルティー）が多
値でして出来、なお、比較するラベル位置を前後曖昧に
移動することが出来、トータルの距離が最小（類似度が
最大）となるようなラベル列の比較を実現するための手
法として、上述のオートマトンの他に、音声認識等にお
いて用いられているＤＰマッチングがあり、この手法も
ほ実施形態に好適に適用できるものである。
際に隣接するセル同士ではペナルティ（距離）を小さく
し、遠いものには大きなペナルティを与えるために図１
２に示すようなラベル間でのペナルティマトリックスを
導入する。ステップＳ２４ではこのペナルティマトリッ
クスを考慮し、ラベル列同士を比較するが、その際に、
オートマトン等のラベルシーケンスを曖昧に比較できる
マッチングを行うようにしてもよい。このような曖昧化
の手法を用いることにより、余分なラベルの付加、ラベ
ルの欠落や同じラベルの繰り返しに対しては低いペナル
ティが与えられとともに、ラベル間のペナルティには図
１２のカラーラベル間のペナルティマトリックスを用い
てラベル列同士の距離計算を行うことで、曖昧なパター
ンマッチングが行えるようになる。なお、オートマトン
としては、「特開平８−２４１３３５のファジー非決定
性有限オートマトンを使用した曖昧な文字列検索方法お
よびシステム」に記載されている「ファジー非決定性有
限オートマトン」を適用することができる。このオート
マトンでは、各シンボル間の距離（ペナルティー）が多
値でして出来、なお、比較するラベル位置を前後曖昧に
移動することが出来、トータルの距離が最小（類似度が
最大）となるようなラベル列の比較を実現するための手
法として、上述のオートマトンの他に、音声認識等にお
いて用いられているＤＰマッチングがあり、この手法も
ほ実施形態に好適に適用できるものである。
【００３２】更に、上述の曖昧なパターンマッチングに
加えて、図７の（ａ）〜（ｃ）のブロック順序の規則を
併用することにより、比較する画像のアングルの微妙な
違いやずれの影響を少なく、上下左右のどちらのずれに
対しても影響の少ないカラーラベル列同士の比較を行う
ことが可能となる。すなわち、ＤＰマッチングやファジ
ー非決定性オートマトンは、ラベル列の前後の曖昧さを
許容するマッチングであり、画像の位置ずれの影響を吸
収する性質を有する。また、アングルの違い等により物
体の位置が変わり、ブロックによって切りとられる物体
の位置が変わることにより、ブロックの色合いも微妙に
異なることが予想されるが、この違いは上述のペナルテ
ィーマトリクスにより吸収されることになる。このよう
に、ＤＰマッチング或いはファジーオートマトンによる
曖昧さを許容するマッチングと、ペナルティーマトリク
スによる特徴量の曖昧さの許容との相乗効果によって、
上下左右のずれに対して影響の少ないマッチングを可能
としている。更に、図７（ａ）〜（ｃ）のような斜めス
キャンにより、物体の位置の変化によるラベル位置の変
化が低減されるので、より効果的にマッチング時の物体
のずれの影響を低減できる。
加えて、図７の（ａ）〜（ｃ）のブロック順序の規則を
併用することにより、比較する画像のアングルの微妙な
違いやずれの影響を少なく、上下左右のどちらのずれに
対しても影響の少ないカラーラベル列同士の比較を行う
ことが可能となる。すなわち、ＤＰマッチングやファジ
ー非決定性オートマトンは、ラベル列の前後の曖昧さを
許容するマッチングであり、画像の位置ずれの影響を吸
収する性質を有する。また、アングルの違い等により物
体の位置が変わり、ブロックによって切りとられる物体
の位置が変わることにより、ブロックの色合いも微妙に
異なることが予想されるが、この違いは上述のペナルテ
ィーマトリクスにより吸収されることになる。このよう
に、ＤＰマッチング或いはファジーオートマトンによる
曖昧さを許容するマッチングと、ペナルティーマトリク
スによる特徴量の曖昧さの許容との相乗効果によって、
上下左右のずれに対して影響の少ないマッチングを可能
としている。更に、図７（ａ）〜（ｃ）のような斜めス
キャンにより、物体の位置の変化によるラベル位置の変
化が低減されるので、より効果的にマッチング時の物体
のずれの影響を低減できる。
【００３３】次に、ステップＳ２５において、ラベル系
列インデックから類似度の高いラベル列をキーとして検
索を行い、対応する画像ＩＤを取得する。以下、類似度
の高い順に出力された各ラベル列に対してこの処理を繰
り返し、結果として類似する画像の画像ＩＤ群を得る。
そして、ステップＳ２６において、画像管理ＤＢ１８を
参照して、画像ＩＤ群の各画像ＩＤについてフルパスの
ファイル名を取得し、これをユーザに提示する。
列インデックから類似度の高いラベル列をキーとして検
索を行い、対応する画像ＩＤを取得する。以下、類似度
の高い順に出力された各ラベル列に対してこの処理を繰
り返し、結果として類似する画像の画像ＩＤ群を得る。
そして、ステップＳ２６において、画像管理ＤＢ１８を
参照して、画像ＩＤ群の各画像ＩＤについてフルパスの
ファイル名を取得し、これをユーザに提示する。
【００３４】以上のような処理により、画像のアングル
が変ったり、物体の位置が変ったり、あるいは撮影条件
が変わったりすることによって生じる、色のある程度の
違い等を吸収するなど、ロバストな類似画像検索を高速
に行うことが可能となる。
が変ったり、物体の位置が変ったり、あるいは撮影条件
が変わったりすることによって生じる、色のある程度の
違い等を吸収するなど、ロバストな類似画像検索を高速
に行うことが可能となる。
【００３５】なお、上記実施形態においては、自然画像
検索を行う例を説明したが、本発明はＣＧやＣＡＤ等の
人工的な画像の検索にも適応可能な技術であることは当
業者には明らかである。
検索を行う例を説明したが、本発明はＣＧやＣＡＤ等の
人工的な画像の検索にも適応可能な技術であることは当
業者には明らかである。
【００３６】また、上記実施形態では画像特徴量として
色情報を選んだが、本発明はこれに限られるものではな
く、その他の画像パラメータを画像分割ブロックごとに
求めることで実施することも可能である。
色情報を選んだが、本発明はこれに限られるものではな
く、その他の画像パラメータを画像分割ブロックごとに
求めることで実施することも可能である。
【００３７】また、本実施形態では１つの特徴量での認
識の例を挙げたが、その他の特徴量での検索結果との論
理演算を行うことにより、複数の特徴量からの高速な検
索を行うことも可能である。
識の例を挙げたが、その他の特徴量での検索結果との論
理演算を行うことにより、複数の特徴量からの高速な検
索を行うことも可能である。
【００３８】また、ブロック化できない１つの画像に対
して１つのパラメータを加味した類似検索の場合には、
本発明で得られる類似度（ペナルティの総和を用いて作
る）を１つの新たなる特徴量として、統計的な距離尺度
に基づく検索を行うことも可能である。また、上記実施
形態では、類似度が所定値を越える類似画像を検索結果
として得るが、類似度の高い画像から順に前もって指定
された個数の画像を検索結果として出力するようにして
もよいことはいうまでもない。
して１つのパラメータを加味した類似検索の場合には、
本発明で得られる類似度（ペナルティの総和を用いて作
る）を１つの新たなる特徴量として、統計的な距離尺度
に基づく検索を行うことも可能である。また、上記実施
形態では、類似度が所定値を越える類似画像を検索結果
として得るが、類似度の高い画像から順に前もって指定
された個数の画像を検索結果として出力するようにして
もよいことはいうまでもない。
【００３９】なお、本発明は、例えばホストコンピュー
タ，インタフェイス機器，リーダ，プリンタなどの複数
の機器から構成されるシステムに適用しても、一つの機
器からなる装置（例えば、複写機，ファクシミリ装置な
ど）に適用してもよい。
タ，インタフェイス機器，リーダ，プリンタなどの複数
の機器から構成されるシステムに適用しても、一つの機
器からなる装置（例えば、複写機，ファクシミリ装置な
ど）に適用してもよい。
【００４０】また、本発明の目的は、前述した実施形態
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
の機能を実現するソフトウェアのプログラムコードを記
録した記憶媒体を、システムあるいは装置に供給し、そ
のシステムあるいは装置のコンピュータ（またはＣＰＵ
やＭＰＵ）が記憶媒体に格納されたプログラムコードを
読出し実行することによっても、達成されることは言う
までもない。
【００４１】この場合、記憶媒体から読出されたプログ
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
ラムコード自体が前述した実施形態の機能を実現するこ
とになり、そのプログラムコードを記憶した記憶媒体は
本発明を構成することになる。
【００４２】プログラムコードを供給するための記憶媒
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。
体としては、例えば、フロッピディスク，ハードディス
ク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ
−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭな
どを用いることができる。
【００４３】また、コンピュータが読出したプログラム
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
コードを実行することにより、前述した実施形態の機能
が実現されるだけでなく、そのプログラムコードの指示
に基づき、コンピュータ上で稼働しているＯＳ（オペレ
ーティングシステム）などが実際の処理の一部または全
部を行い、その処理によって前述した実施形態の機能が
実現される場合も含まれることは言うまでもない。
【００４４】さらに、記憶媒体から読出されたプログラ
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
ムコードが、コンピュータに挿入された機能拡張ボード
やコンピュータに接続された機能拡張ユニットに備わる
メモリに書込まれた後、そのプログラムコードの指示に
基づき、その機能拡張ボードや機能拡張ユニットに備わ
るＣＰＵなどが実際の処理の一部または全部を行い、そ
の処理によって前述した実施形態の機能が実現される場
合も含まれることは言うまでもない。
【００４５】以上説明したように、本実施形態によれ
ば、特徴量群（特徴量空間を分割して得られる特徴量の
グループ）を１つのシンボルで表現し（すなわちラベル
化し）、ラベル同士の類似度に基づく距離をペナルティ
ーマトリクスによって与える。このため、２つの画像の
ブロック間の距離の計算量を大幅に減少させることがで
きるとともに、類似した特徴量が同じラベルで表される
ことになるので、類似画像の検索を良好に行うことがで
きる。
ば、特徴量群（特徴量空間を分割して得られる特徴量の
グループ）を１つのシンボルで表現し（すなわちラベル
化し）、ラベル同士の類似度に基づく距離をペナルティ
ーマトリクスによって与える。このため、２つの画像の
ブロック間の距離の計算量を大幅に減少させることがで
きるとともに、類似した特徴量が同じラベルで表される
ことになるので、類似画像の検索を良好に行うことがで
きる。
【００４６】また、（１）ペナルティマトリクスによる
ラベル同士の距離概念を導入し、（２）ＤＰマッチング
やファジー非決定性オートマトン等の、比較するラベル
位置を前後曖昧に移動させることが出来、トータルの距
離が最小（類似度が最大）となるようなラベル列の比較
を実現する手法を導入する、ことにより、画像のアング
ルが多少変わっても検索することが可能となり、雰囲気
の似ている画像を検索できるようになる。
ラベル同士の距離概念を導入し、（２）ＤＰマッチング
やファジー非決定性オートマトン等の、比較するラベル
位置を前後曖昧に移動させることが出来、トータルの距
離が最小（類似度が最大）となるようなラベル列の比較
を実現する手法を導入する、ことにより、画像のアング
ルが多少変わっても検索することが可能となり、雰囲気
の似ている画像を検索できるようになる。
【００４７】更に上記実施形態によれば、インデックス
データベース（ラベル系列インデックスやラベル成分イ
ンデックス）を用いたことにより、画像検索が更に高速
化する。
データベース（ラベル系列インデックスやラベル成分イ
ンデックス）を用いたことにより、画像検索が更に高速
化する。
【００４８】
【発明の効果】以上説明したように本発明によれば、画
像の特徴量の配置を考慮した類似画像の検索が可能とな
る。
像の特徴量の配置を考慮した類似画像の検索が可能とな
る。
【００４９】また、本発明によれば、画像の特徴量の配
置を考慮した類似画像の検索が行われるとともに、撮影
条件の変動等による違いを吸収した類似画像の検索が可
能となり、従来難しかった画像のアングルが変ったり、
物体の位置が変ったり、あるいは他の撮影条件が変動し
たりすることによる画像の特徴量のある程度の違いを吸
収するなど、ロバストな類似画像検索を行うことが可能
となる。
置を考慮した類似画像の検索が行われるとともに、撮影
条件の変動等による違いを吸収した類似画像の検索が可
能となり、従来難しかった画像のアングルが変ったり、
物体の位置が変ったり、あるいは他の撮影条件が変動し
たりすることによる画像の特徴量のある程度の違いを吸
収するなど、ロバストな類似画像検索を行うことが可能
となる。
【００５０】
【図１】本実施形態の画像検索装置の制御構成を示すブ
ロック図である。
ロック図である。
【図２】本実施形態の画像検索装置の機能構成を示すブ
ロック図である。
ロック図である。
【図３】画像蓄積部１７における画像データの格納状態
を説明する図である。
を説明する図である。
【図４】本実施形態による画像登録処理の手順を表すフ
ローチャートである。
ローチャートである。
【図５】本実施形態による画像のブロック分割例を示す
図である。
図である。
【図６】本実施形態による多次元特徴量空間を説明する
図である。
図である。
【図７】ラベル列を生成する際のブロック順序例を説明
する図である。
する図である。
【図８】画像管理ＤＢレコードのデータ構成例を示す図
である。
である。
【図９】ラベル系列インデックスのデータこう政令を示
す図である。
す図である。
【図１０】類似画像検索の処理手順を説明するフローチ
ャートである。
ャートである。
【図１１】ラベル成分インデックスのデータ構成例を示
す図である。
す図である。
【図１２】ラベル列を比較し類似度を求める際に用いる
ラベル間のペナルティマトリックスの一例を示す図であ
る。
ラベル間のペナルティマトリックスの一例を示す図であ
る。
Claims (15)
- 【請求項１】 画像を複数のブロックに分割し、各ブロ
ックについて取得された特徴量に応じてラベルを付与す
る付与手段と、 前記付与手段で付与されたラベルを所定のブロック順序
に基づいて並べることによりラベル列を生成する生成手
段と、 前記生成手段で生成されたラベル列を前記画像に対応付
けて記憶する記憶手段と、 前記記憶手段に記憶されたラベル列に基づいて画像検索
を行う検索手段とを備えることを特徴とする画像検索装
置。 - 【請求項２】 前記ラベルは、多次元特徴量空間を複数
のセルに分割し、得られたセルの夫々に与えられる固有
のラベルであり、 前記付与手段は、前記ブロックの夫々について特徴量を
算出し、算出された特徴量が属するセルに付与されてい
るラベルを当該ブロックに付与することを特徴とする請
求項１に記載の画像検索装置。 - 【請求項３】 前記複数のブロックは画像を縦横複数の
ブロックに分けて得られたものであり、前記生成手段で
用いられるブロック順序は、該複数のブロックを斜め方
向に走査する順序であることを特徴とする請求項１に記
載の画像検索装置。 - 【請求項４】 前記複数のブロックは画像を縦横複数の
ブロックに分けて得られたものであり、前記生成手段で
用いられるブロック順序は、該複数のブロックを水平も
しくは鉛直方向に走査する順序であることを特徴とする
請求項１に記載の画像検索装置。 - 【請求項５】 前記検索手段は、 元画像のラベル列と前記記憶手段に記憶されたラベル列
との類似度を演算する演算手段と、 前記演算手段による類似度が所定値を越える画像を検索
結果として出力する出力手段とを備えることを特徴とす
る請求項１に記載の画像検索装置。 - 【請求項６】 前記演算手段は、各ラベル値のペアにつ
いてセル間の距離に基づくペナルティ値を保持するテー
ブルを有し、前記元画像のラベル列と前記記憶手段に記
憶されたラベル列とから得られる各ラベル値のペアにつ
いて該テーブルを参照してペナルティ値を取得し、取得
されたペナルティ値に基づいて類似度を算出することを
特徴とする請求項５に記載の画像検索装置。 - 【請求項７】 前記演算手段は、検索元の画像のラベル
列と前記記憶手段に記憶されたラベル列との類似度を演
算するにおいて、更にラベルの過不足に対するペナルテ
ィ値を付与することを特徴とする請求項６に記載の画像
検索装置。 - 【請求項８】 前記複数のブロックは画像を縦横複数の
ブロックに分けて得られたものであり、前記生成手段で
用いられるブロック順序は、該複数のブロックを斜め方
向に走査する順序であることを特徴とする請求項７に記
載の画像検索装置。 - 【請求項９】 前記ラベルの過不足に対するペナルティ
値はオートマトンの理論に基づいて取得されることを特
徴とする請求項７または８に記載の画像検索装置。 - 【請求項１０】 前記検索手段は、 前記生成手段で生成されるラベル列をキーとして画像の
ＩＤ群を登録する第１テーブルと、 元画像のラベル列と前記記憶手段に記憶されたラベル列
との類似度を演算する演算手段と、 前記演算手段による類似度が所定値を越えるラベル列を
取得し、前記第１テーブルを参照して取得されたラベル
列に対応する画像を抽出する抽出手段とを備えることを
特徴とする請求項１に記載の画像検索装置。 - 【請求項１１】 前記演算手段において類似度算出の対
象となるラベル列は、前記第１テーブルのキーとなって
いるラベル列であることを特徴とする請求項１０に記載
の画像検索装置。 - 【請求項１２】 前記演算手段において類似度算出の対
象となるラベル列は、前記記憶手段に記憶されたラベル
列のうちの、前記元画像のラベル列に含まれるラベル成
分と同一のラベル成分を所定数以上含むラベル列である
ことを特徴とする請求項１０に記載の画像検索装置。 - 【請求項１３】 前記記憶手段に記憶されたラベル列に
ついて、各ラベル成分をキーとして、当該ラベル成分を
含むラベル列群を登録した第２テーブルを更に備え、 前記元画像に含まれるラベル成分と同一のラベル成分を
所定数以上含むラベル列を前記第２テーブル参照して取
得し、取得されたラベル列を前記演算手段における類似
度算出の対象とすることを特徴とする請求項１２に記載
の画像検索装置。 - 【請求項１４】 画像を複数のブロックに分割し、各ブ
ロックについて取得された特徴量に応じてラベルを付与
する付与工程と、 前記付与工程で付与されたラベルを所定のブロック順序
に基づいて並べることによりラベル列を生成する生成工
程と、 前記生成工程で生成されたラベル列を前記画像に対応付
けてメモリに記憶する記憶工程と、 前記メモリに記憶されたラベル列に基づいて画像検索を
行う検索工程とを備えることを特徴とする画像検索方
法。 - 【請求項１５】 画像検索のための制御プログラムを格
納する記憶媒体であって、該制御プログラムがコンピュ
ータを画像を複数のブロックに分割し、各ブロックにつ
いて取得された特徴量に応じてラベルを付与する付与手
段と、 前記付与手段で付与されたラベルを所定のブロック順序
に基づいて並べることによりラベル列を生成する生成手
段と、 前記生成手段で生成されたラベル列を前記画像に対応付
けて記憶する記憶手段と、 前記記憶手段に記憶されたラベル列に基づいて画像検索
を行う検索手段として機能させることを特徴とする記憶
媒体。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06683397A JP3754791B2 (ja) | 1997-03-19 | 1997-03-19 | 画像検索装置及び方法 |
| US09/042,692 US6400853B1 (en) | 1997-03-19 | 1998-03-17 | Image retrieval apparatus and method |
| DE69810369T DE69810369T2 (de) | 1997-03-19 | 1998-03-18 | Bildwiederauffindungsvorrichtung und -verfahren |
| EP98301954A EP0866409B1 (en) | 1997-03-19 | 1998-03-18 | Image retrieval apparatus and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP06683397A JP3754791B2 (ja) | 1997-03-19 | 1997-03-19 | 画像検索装置及び方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10260983A true JPH10260983A (ja) | 1998-09-29 |
| JP3754791B2 JP3754791B2 (ja) | 2006-03-15 |
Family
ID=13327247
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP06683397A Expired - Fee Related JP3754791B2 (ja) | 1997-03-19 | 1997-03-19 | 画像検索装置及び方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3754791B2 (ja) |
Cited By (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000299829A (ja) * | 1999-04-13 | 2000-10-24 | Canon Inc | 画像処理装置及び方法 |
| JP2002536731A (ja) * | 1999-02-01 | 2002-10-29 | エルジー エレクトロニクス インコーポレーテッド | マルチメディアデータのサーチ方法 |
| JP2002536730A (ja) * | 1999-01-29 | 2002-10-29 | エルジー エレクトロニクス インコーポレーテッド | マルチメディアデータの検索又はブラウジング方法 |
| JP2004007844A (ja) * | 2003-09-04 | 2004-01-08 | Kyocera Mita Corp | デジタル複写機 |
| JP2004508756A (ja) * | 2000-09-08 | 2004-03-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 記憶媒体上に記憶された情報信号を再生する装置 |
| US6731789B1 (en) | 1999-01-29 | 2004-05-04 | Canon Kabushiki Kaisha | Image processing apparatus and method, and storage medium |
| KR100671099B1 (ko) * | 1999-09-06 | 2007-01-17 | 주식회사 팬택앤큐리텔 | 영상의 유사도 비교방법 및 그를 이용한 영상 검색 방법 및 장치 |
| EP1760605A1 (en) * | 2005-09-01 | 2007-03-07 | Canon Kabushiki Kaisha | Method, apparatus and computer program for processing structured documents to permit output to different types of output devices |
| US7257567B2 (en) | 2003-04-30 | 2007-08-14 | Canon Kabushiki Kaisha | Document retrieving method and apparatus |
| US7610274B2 (en) | 2004-07-02 | 2009-10-27 | Canon Kabushiki Kaisha | Method, apparatus, and program for retrieving data |
| JP2009302780A (ja) * | 2008-06-11 | 2009-12-24 | Nippon Hoso Kyokai <Nhk> | 特定シーン抽出装置及び特定シーン抽出プログラム |
| US8280196B2 (en) | 2009-05-12 | 2012-10-02 | Canon Kabushiki Kaisha | Image retrieval apparatus, control method for the same, and storage medium |
| US8417038B2 (en) | 2010-05-18 | 2013-04-09 | Canon Kabushiki Kaisha | Image processing apparatus, processing method therefor, and non-transitory computer-readable storage medium |
| JP2013225180A (ja) * | 2012-04-19 | 2013-10-31 | Nippon Hoso Kyokai <Nhk> | 画像処理装置、画像検索装置及びプログラム |
| JP2018206386A (ja) * | 2017-06-02 | 2018-12-27 | 富士通株式会社 | 特徴ベクトルの生成及び暗号化 |
| JP2022176073A (ja) * | 2021-05-12 | 2022-11-25 | 楽天グループ株式会社 | 画像照合システム |
| CN115830366A (zh) * | 2022-11-16 | 2023-03-21 | 清华大学 | 一种针对十亿像素的像素块排列方法与系统 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06318256A (ja) * | 1993-05-06 | 1994-11-15 | Matsushita Electric Ind Co Ltd | 画像検索装置 |
| JPH07160725A (ja) * | 1993-12-03 | 1995-06-23 | Toshiba Corp | 画像検索装置 |
| JPH07262373A (ja) * | 1994-03-23 | 1995-10-13 | Ricoh Co Ltd | カラー画像認識方法 |
| JPH08137908A (ja) * | 1994-11-15 | 1996-05-31 | Canon Inc | 画像検索方法及び装置 |
| JPH08202733A (ja) * | 1995-01-31 | 1996-08-09 | Canon Inc | 画像検索方法及びその装置 |
| JPH08249349A (ja) * | 1995-03-14 | 1996-09-27 | Masao Sakauchi | 画像データベース装置 |
-
1997
- 1997-03-19 JP JP06683397A patent/JP3754791B2/ja not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06318256A (ja) * | 1993-05-06 | 1994-11-15 | Matsushita Electric Ind Co Ltd | 画像検索装置 |
| JPH07160725A (ja) * | 1993-12-03 | 1995-06-23 | Toshiba Corp | 画像検索装置 |
| JPH07262373A (ja) * | 1994-03-23 | 1995-10-13 | Ricoh Co Ltd | カラー画像認識方法 |
| JPH08137908A (ja) * | 1994-11-15 | 1996-05-31 | Canon Inc | 画像検索方法及び装置 |
| JPH08202733A (ja) * | 1995-01-31 | 1996-08-09 | Canon Inc | 画像検索方法及びその装置 |
| JPH08249349A (ja) * | 1995-03-14 | 1996-09-27 | Masao Sakauchi | 画像データベース装置 |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002536730A (ja) * | 1999-01-29 | 2002-10-29 | エルジー エレクトロニクス インコーポレーテッド | マルチメディアデータの検索又はブラウジング方法 |
| US6643643B1 (en) | 1999-01-29 | 2003-11-04 | Lg Electronics Inc. | Method of searching or browsing multimedia data and data structure |
| US6731789B1 (en) | 1999-01-29 | 2004-05-04 | Canon Kabushiki Kaisha | Image processing apparatus and method, and storage medium |
| JP2002536731A (ja) * | 1999-02-01 | 2002-10-29 | エルジー エレクトロニクス インコーポレーテッド | マルチメディアデータのサーチ方法 |
| JP2000299829A (ja) * | 1999-04-13 | 2000-10-24 | Canon Inc | 画像処理装置及び方法 |
| US6704029B1 (en) | 1999-04-13 | 2004-03-09 | Canon Kabushiki Kaisha | Method and apparatus for specifying scene information in a moving picture |
| KR100671099B1 (ko) * | 1999-09-06 | 2007-01-17 | 주식회사 팬택앤큐리텔 | 영상의 유사도 비교방법 및 그를 이용한 영상 검색 방법 및 장치 |
| JP2004508756A (ja) * | 2000-09-08 | 2004-03-18 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 記憶媒体上に記憶された情報信号を再生する装置 |
| US7257567B2 (en) | 2003-04-30 | 2007-08-14 | Canon Kabushiki Kaisha | Document retrieving method and apparatus |
| JP2004007844A (ja) * | 2003-09-04 | 2004-01-08 | Kyocera Mita Corp | デジタル複写機 |
| US7610274B2 (en) | 2004-07-02 | 2009-10-27 | Canon Kabushiki Kaisha | Method, apparatus, and program for retrieving data |
| EP1760605A1 (en) * | 2005-09-01 | 2007-03-07 | Canon Kabushiki Kaisha | Method, apparatus and computer program for processing structured documents to permit output to different types of output devices |
| US7933447B2 (en) | 2005-09-01 | 2011-04-26 | Canon Kabushiki Kaisha | Image processing apparatus and method thereof |
| JP2009302780A (ja) * | 2008-06-11 | 2009-12-24 | Nippon Hoso Kyokai <Nhk> | 特定シーン抽出装置及び特定シーン抽出プログラム |
| US8280196B2 (en) | 2009-05-12 | 2012-10-02 | Canon Kabushiki Kaisha | Image retrieval apparatus, control method for the same, and storage medium |
| US8417038B2 (en) | 2010-05-18 | 2013-04-09 | Canon Kabushiki Kaisha | Image processing apparatus, processing method therefor, and non-transitory computer-readable storage medium |
| JP2013225180A (ja) * | 2012-04-19 | 2013-10-31 | Nippon Hoso Kyokai <Nhk> | 画像処理装置、画像検索装置及びプログラム |
| JP2018206386A (ja) * | 2017-06-02 | 2018-12-27 | 富士通株式会社 | 特徴ベクトルの生成及び暗号化 |
| JP2022176073A (ja) * | 2021-05-12 | 2022-11-25 | 楽天グループ株式会社 | 画像照合システム |
| CN115830366A (zh) * | 2022-11-16 | 2023-03-21 | 清华大学 | 一种针对十亿像素的像素块排列方法与系统 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3754791B2 (ja) | 2006-03-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6584223B1 (en) | Image search apparatus and method | |
| US6400853B1 (en) | Image retrieval apparatus and method | |
| JPH10260983A (ja) | 画像検索装置及び方法 | |
| EP1634135B1 (en) | Systems and methods for source language word pattern matching | |
| US20040024758A1 (en) | Image classification method, image feature space displaying method, program, and recording medium | |
| JP2004522228A (ja) | ディジタル画像を表現し比較する方法 | |
| US5999653A (en) | Fast techniques for searching images using the Hausdorff distance | |
| JPH11250261A (ja) | 指紋画像特色相関器 | |
| JP3952592B2 (ja) | 画像検索装置及び方法 | |
| JPH0661107B2 (ja) | イメージ認識システムとその動作法 | |
| JP2001202523A (ja) | 画像処理方法及びその装置 | |
| KR20100035108A (ko) | 화상 처리 장치, 화상 처리 방법 및 프로그램을 기억하는 컴퓨터 판독 기억 매체 | |
| US7023446B1 (en) | Presentation of images resembling each other | |
| US7620247B2 (en) | Image processing apparatus, image processing method, program, and storage medium | |
| US7277584B2 (en) | Form recognition system, form recognition method, program and storage medium | |
| US20070065045A1 (en) | Information management apparatus, information management method, and computer program product | |
| US6731789B1 (en) | Image processing apparatus and method, and storage medium | |
| KR101118628B1 (ko) | 지능형 인식 라이브러리 및 관리 도구를 활용한 고문서 이미지 데이터 인식 및 처리 방법 | |
| JP3720573B2 (ja) | 画像検索装置及び方法 | |
| JP3720538B2 (ja) | 画像検索装置及び方法 | |
| JP2001319232A (ja) | 類似画像検索装置および類似画像検索方法 | |
| JP2007079616A (ja) | 情報検索装置、情報検索装置の制御方法、及び制御プログラム | |
| JP2001134593A (ja) | 近傍データ検索方法及び装置及び近傍データ検索プログラムを格納した記憶媒体 | |
| JP2001134594A (ja) | 類似特徴量の検索方法，その検索装置およびその検索プログラム記録媒体 | |
| JPH08167028A (ja) | 画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041022 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041221 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050307 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050502 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050715 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050829 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050907 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050912 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20051206 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20051219 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081222 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091222 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101222 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111222 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121222 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131222 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |