WO2003063082A1

WO2003063082A1 - Moving picture search apparatus

Info

Publication number: WO2003063082A1
Application number: PCT/JP2003/000709
Authority: WO
Inventors: Mei Kodama
Original assignee: Satake Engineering Co Ltd; Satake Corp
Current assignee: Satake Engineering Co Ltd; Satake Corp
Priority date: 2002-01-25
Filing date: 2003-01-27
Publication date: 2003-07-31
Anticipated expiration: 2004-07-25
Also published as: JP2003216954A; EP1477933A1; US20060001833A1

Description

技術分野

本発明は、情報の利用環境において、動画像情報の検索を効率的に行う動画像検索手法及びその明装置に関する。背景技術 ' 糸 1

従来、動画像の検索手法として、画像フレーム単位の全画素による検索手法がある。この全画素による検索手法は、動画像情報の情報量が膨大であるため計算処理量が多くなり効率的な動画像検索を行うことができない。

また、画像検索手法として、静止画による検索を行い、各フレーム毎における輝度値や分散値といった特徴量を利用することもある。これは、静止画像が対象であるため、動画像に適用した場合には、フレーム 1枚づつの比較が必要であり、また、動画像の特徴である時間方向の動的な特徴を利用することはできない。従来技術の静止画マツチングにおける画像の特徴量を動画像検索に適応し、画面全体から算出する特徴量を利用すると、動画像情報量の多さにより処理時間を要すること、及び、全体の変化が少ない動画像シーンでは検索ができない問題があった。また、この手法では動画像の特徴である時間方向の動的な特徴を捉えることができない。さらに、特徴量として各フレームの輝度値の平均値や分散値といった特徴量は入力データに依存するため、適切なマッチングを行うために、マツチングの基準となる閾値を入力データに応じて変更させる必要があり、処理が複雑であった。

このように、従来の画像のマッチングでは、画像全体の検索手法であり、計算処理量が多くなるという解決すべき課題がある。本発明では、動画像の特徴量算出により、少ない情報量で高速な処理を行う動画像検索手法を実現する。

さらに本発明では、動画像の特徴量を局所領域単位で算出する手段、動画像の局所領域特徴量のヒストグラムを算出し、フレーム前後間の相関値を算出する手段を用いることで、各フレームの輝度値の平均値や分散値と比べて入力データに依存することなく、閾値設定が容易に実現できる。発明の開示

上記問題点を解決するために、本発明は、検索用として、検索対象の動画像データを入力する検索用動画像入力部と；入力された検索対象動画像に対し、特徴量を算出するための 1以上の矩形，或いは，任意形状の局所領域を抽出する局所領域抽出部と、入力された検索対象動画像から抽出された特徴量算出領域の、輝度信号，色差信号， R G B色空間各成分， XY Z色空間各成分，均等色空間各成分，マンセル色空間各成分等画像信号成分を抽出する、或いはそれらの信号を変換抽出する信号抽出部と、入力された検索対象動画像をもとに算出された特徴量から、検索処理に用いる特徴量テーブルを作成する特徴量テーブル作成処理部と、からなる特徴量算出部と；データベース用として、データベース用の動画像データを入力するデータベース用動画像入力部と；入力されたデータベース用の動画像データを、動画像用データベースに登録する動画像用データベース登録処理部と；入力されたデータベース用の動画像データを登録する動画像用データベースと；入力されたデータベース登録用動画像に対し、特徴量を算出するための 1以上の矩形，或いは，任意形状の局所領域を抽出する局所領域抽出部と、入力されたデータベース登録用動画像から抽出された特徴量算出領域の、輝度信号，色差信号， R G B色空間各成分， X Y Z色空間各成分，均等色空間各成分，マンセル色空間各成分等を抽出する、或いはそれらの信号を変換抽出する信号抽出部と、入力されたデ一タベース登録用動画像をもとに算出された特徴量から、検索処理に用いる特徴量テ一ブルを作成する特徴量テーブル作成処理部とカゝらなる特徴量算出部と；作成されたデータベース用特徴量テーブルを、特徴量テーブル用データベースに登録するテーブル用データベース登録処理部と；作成されたデータべース用特徴量テーブルを登録するテ一ブル用データベースと；入力された検索対象動画像の特徴量算出部の処理を受け、検索処理に用いるデータベース用の特徴量テーブルの読出し処理を行うテーブル用データベース読出し処理部と、入力された検索対象動画像をもとに作成された特徴量テーブルと，特徴量テーブル用データベースに登録されている特徴量テーブルから、マツチング判定に用いる特徴量を抽出し、マッチング結果判定部に出力する、且つ、マッチング結果判定部からのマッチング結果を保存し、マッチング処理終了後に、マッチング結果を読出し処理部に出力するマッチング処理部と、マッチング処理部で抽出された、検索対象動画像の特徴量とデータベース動画像の特徴量をもとに、ある閾値によるマツチング判定を行い、マツチング結果をマッチング処理部に出力するマッチング結果判定部とからなる検索処理部と；マッチング結果判定部のマッチング結果を受け、動画像用データベースから結果に対応する検索結果用動画像の読出し処理を行う動画像用データベース読み出し処理部と；読出し処理部によって読出された検索結果用動画像を出力する検索結果出力部と、からなる動画像検索手法及びその装置とした。

これにより、動画像検索手法において、画像フレームの中から局所的な部分を抽出し、局所的な部分から算出される輝度情報のヒストグラムを算出する。そして、算出されたヒストグラムをフレーム前後間で比較し、その相関値を求める。この相関値をある閾値によってグループ化することでより高速な動画像マッチングが実現できる。

さらに、相関値は各フレームの輝度値の平均値や分散値と比べて入力データに依存することがなく、グループィヒを行う際の閾値入力に対して変動させる必要がないため、特徴量として相関値を用いることにより適切な閾値設定が可能となる。また、グループィ匕特徴量を検索パラメータとして用いることで、動画像シーンの検索に用いるパラメータ数を抑えることができるので、マツチング処理時間を短縮することができる。図面の簡単な説明

図 1は、本発明における基本的原理を示すプロック図である。

図 2は、本発明を実現するための単一の端末によるハードウエア構成の概略ブ口ック図である。

図 3は、本発明を実現するための複数の端末によるハードウエア構成の概略ブ口ック図である。図 4は、 nフレーム目の画像と n+1フレーム目の画像があった場合の局所領域を示す図である。

図 5は、動画像を局所領域単位で、 1或いは 1以上の特徴量算出を行う領域を示す例である。

図 6は、実際に局所領域を抽出する説明図である。

図 7は、色空間の信号抽出について説明する模式図である。

図 8は、信号情報から算出した相関値を時間的特徴量としてグループィヒ処理する模式図である。

図 9は、特徴量テーブルを作成処理する模式図である。

図 1 0は、本発明の検索処理を示すプロック図である。

図 1 1は、検索対象となる入力側及びマツチング処理の処理手順を示すフ口一チャートである。

図 1 2は、比較のための特徴量情報となるデータベース側の処理手順を示すフローチャートである。

図 1 3は、局所領域抽出処理及び信号抽出処理の順序を入れ替えた実施形態の検索処理を示すブロック図である。

図 1 4は、検索対象となる入力側及びマツチング処理の処理手順を示すフ口一チヤ一トである。

図 1 5は、比較のための特徴量情報となるデータベース側の処理手順を示すフローチャートである。発明を実施するための最良の形態

本発明の実施の形態を図面を参照しながら説明する。図 1は本発明の基本的原理を示すブロック図であり、これに基づいて説明する。

オペレータが入力した検索用の入力動画像 1について、この動画像情報に基づいて特徴量を算出し、入力用の特徴量テーブル 2を作成する。次に、データべ一ス用の動画像については、登録用として複数の特徴量テーブル 3を予め作成し、蓄積しておく。そして、作成した入力用の特徴量テーブル 2と蓄積された登録用の特徴量テーブル 3との照合（マッチング処理'マッチング判定）が行われ、照合の結果、特徴量テーブル 2と特徴量テーブル 3とが一致すれば、その検索結果リストが動画像用データベース 4に送られる。そして、このリストに基づいて動画像用データベース 4から動画像が出力され、所望の動画像 5が得られる。

次に、図 2を参照して本発明の単一の端末 6によるハードウエア構成について説明する。検索対象動画像において、入出力インタフェース 8を中心として、外部記録装置 1 1に記録している。動画像情報をマウス (入力装置） 7によって指定し、メモリ（内部記録装置） 1 2と中央処理装置 9とによって、本動画像情報から、特徴量を算出する。この特徴量データは入出力インタフェース 8を経て内部 1 2、或いは外部記録装置 1 1で記録する。

一方、データベース登録用画像において、入出力インタフェース 8を中心として、外部記録装置 1 1に記録している動画像情報を、メモリ（内部記録装置） 1 2 と中央処理装置 9とによって、特徴量を算出する。この特徴量データは入出力ィンタフェース 8を経て内部 1 2、或いは外部記録装置 1 1で記録する。

記録装置 1 1より、算出データをメモリ 1 2に読出し、中央処理装置 9で、検索処理を行い、その結果を内部記録装置 1 2、或いは外部記録装置 1 1へ入出力ィンタフェース 8を経て送る。

中央処理装置 9は、内部記録装置 1 2あるいは入出力インタフェース 8介して外部記録装置 1 1力ゝら、検索結果用画像リストを読出し、検索結果画像を入出力インタフェース 8介して外部記録装置 1 1より出力し、検索結果画像を入出力ィンタフェース 8介して外部記録装置 1 1に記録し、或いは表示装置 1 0に出力する。

次に、図 3を参照して本発明の複数の端末 1 5によるハードウエア構成について説明する。

検索対象動画像において、入出力インタフェース 1 ⁷を中心として、外部記録装置 2 0に記録している動画像情報を、或いは入出力インタフェース 1 7を介してネットワーク上（符号 2 1， 2 2 ) でつながっているサーバ側 1 4の外部装置 2 3に記録している動画像を、クライアント側 1 3のマウス (入力装置） 1 6によつて指定し、クライアント側 1 3のメモリ (内部記録装置） 2 4と中央処理装置 1 8とによって、本動画像情報から、特徴量を算出する。この特徴量データは、クライアント側 1 3の入出力インタフェース 1 7を経て内部 2 4、或いは外部記録装置 1 1で記録する、或いはサーバ側 1 4の入出力ィンタフェース 2 6を経て内部 2 9、或いは外部記録装置 2 3で記録する、或いは検索サーバ側 1 4に送信し、入出力インタフェース 2 6を経て内部 2 9、或いは外部記録装置 2 3で記録する。一方、データベース登録用画像において、サーバ側 1 4の入出力インタフエ一ス 2 6を中心として、外部記録装置 2 3に記録している動画像情報を、メモリ (内部記録装置） 2 9と中央処理装置 2 7とによって、特徴量を算出する。この特徴量データは入出力インタフェース 2 6を経て内部 2 9、或いは外部記録装置 2 3で記録する。

記録装置 2 3より、算出データをメモリ 2 9に読出し、中央処理装置 2 7で、検索処理を行い、その結果を内部記録装置 2 9、或いは外部記録装置 2 3へ入出カインタフェース 2 6を経て送る。

中央処理装置 2 7は、内部記録装置 2 9あるいは入出力インタフェース 2 6介して外部記録装置 2 3から、検索結果用画像リストを読出し、検索結果画像を入出カインタフェース 2 6介して外部記録装置 2 3より出力し、検索結果画像を検索サーバ側 1 4の入出力インタフェース 2 6を介して、クライアント端末側 1 3 に返信して（符号 2 2 ) 、クライアント端末側 1 3の外部記録装置 2 0に記録し、或いは表示装置 1 9に出力する。

図 4乃至図 7は本発明の要部となる特徴量の算出を示す模式図である。

まず、局所領域の抽出について説明する。動画像検索において、画像フレームの中から、局所的な部分を抽出し、局所的な部分から算出される輝度情報のヒストグラムを算出する。算出されたヒストグラムをフレーム前後間で比較し、その相関値を求める。相関値をある閾値によって、グループ化することで、より高速な動画像マッチングの実現を目的とする。相関値は、各フレームの輝度値の平均値や分散値と比べて入力に依存することがなく、グループィヒを行う際の閾値を入力に対して変動させる必要がないため、特徴量として相関値を用いることにより、より効果的に検索が行える。本発明では、動画像にはヒストグラムの変ィヒを時間方向のフレーム前後間で求めることで、現状、全画面からの特徴量では検索ができなかった微小変動シーンにおいてや、カメラバーンのシーン、ズームシーンなどに対しても、局所的なヒストグラム相関値を用いることで検索が可能となる。図 4は nフレーム目の画像と n+1フレーム目の画像があった場合を示す。例えば、画像内の局所領域 xl，x2,x³,x⁴,x5と yl，y2,y³，y⁴,y5との間で、局所領域間での輝度値ヒストグラムを算出し、それぞれで、相関値を求める。この過程を繰り返し行うことで、入力動画像情報から、相関値分布を算出する。得られた相関値分布をある閾値で 2つに分類し、時間方向の連続性を利用して、グループ化を行い、その構造数をマッチングパラメータに利用する。このマッチングパラメータを利用した動画像検索方式、および、その処理装置に処理速度、検索精度向上の点で優位性があるのである。

また、図 5は、動画像を局所領域単位で、 1或いは 1以上の特徴量算出を行う領域の例である。このように、画像フレームの縦横比に依存せずに、局所領域単位で特徴量の算出を行うことが可能である。

図 6は実際に局所領域を抽出するときの説明図である。いま、動画像の全体領域 Gから局所領域 Kを抽出する場合、例えば、 8 X 8の画素ブロックを 1つ（X 3のみ）抽出したり、 8 X 8の画素ブロックを複数、例えば、 5つ（x l〜x 5 ) の位置で抽出することもできる。この画素プロックの形状は本例では矩形状であるが、これに限定することはなく、円や多角形など任意形状でよく、全体領域から N個抽出すればよい。また、図中の局所領域の 5つの位置を動かすことも可能である。

次に、図 7により色空間の信号抽出について説明する。図 6により得られた局所領域の動画像（画素ブロック）について、色空間（XYZ、 RGB, YCbCr、 CIE L*a*b*、 CIE L*u* v *、 CIE UCSなど）を抽出する。 YZ、 RGB,

又はこれらの中の一成分を抽出するかは任意に選択できる。また、 YCbCr色空間から R G B色空間などへの変換を行なってから抽出してもよい。

図 8は入力した動画像情報から算出した、信号、或いはヒストグラム、或いは相関値、或いはそれらのグループ化処理等の特徴量から、ある閾値を用いて、グ P T/JP03/00709

8 ループに分ける処理を行い、そのグループの時間的長さ（フレーム数)、総グループ数、閾値などを特徴量テーブルとして作成したものである。

図 9は図 8を複数の閾値でグループ分けしたものである。 2つ以上の閾値（図 9の Th l, Th 2, Th 3) により 2以上のグループに分ける処理を行い、そのグループの時間的長さ（フレーム数）、総グループ数、閾値などを特徴量テーブルとして作成するものである。

検索対象となる入力動画像の特徴量情報と、該特徴量情報に対応した比較のためのデータベースから抽出した特徴量情報との照合は、例えば、式（1) 、または式（2) に示す以下の判定式によって行われる。

I入力動画像内 Hグループ長一データベース内 Hのグループ長 i≤Th"' (1)

T h (入力動画像内 Hグループ長一データベース内 Hのグループ長） ≤Th₂-- (2) この判定式によって、検索結果リストが出力され、これに基づき、所望の動画像が抽出される。

次に、本実施形態の処理手順を図 10乃至図 12を参照して説明する。図 10 は本発明の検索処理を示すプロック図であり、図 1 1は検索対象となる入力側及びマッチング処理の処理手順を示すフローチャートであり、図 12は比較のための特徴量情報となるデータベース側の処理手順を示すフローチャートである。

ステップ 101で検索用動画像情報を入力し、ステップ 102で入力した検索用動画像情報について、動画像のフレームの一部分を局所領域として抽出処理を行う力否かの判定を行う。局所領域抽出をスキップする場合（抽出しない）、ステツプ 104に至り、局所領域抽出をスキップしない場合（抽出する）、ステツプ 103に至る。

ステップ 103の局所領域抽出では、入力した検索用動画像情報に対し、特徴量を算出するため、動画像のフレームの一部分を局所領域として抽出するべく、 1以上の矩形状や、任意形状で局所領域の抽出処理を行う。ステップ 1 0 4では、ステップ 1 0 3で抽出した局所領域又は入力した検索用動画像情報の全体の輝度信号、色差信号、 R G B色空間各成分などを抽出する。ステップ 1 0 5では、入力した検索用動画像情報から抽出した信号のヒストグラムを算出するか否かの判定を行う。ヒストグラム算出をスキップする場合（算出しない）、ステップ 1 0 7に至り、ヒストグラム算出をスキップしない場合（算出する）、ステップ 1 0 6に至る。

ステップ 1 0 6では、ステップ 1 0 4で抽出した信号のヒストグラムを算出する。ステップ 1 0 7では、ステップ 1 0 4で抽出した信号又はステップ 1 0 6で算出したヒストグラムについて相関値を算出する力否かの判定を行う。相関値算出をスキップする場合（算出しない）、ステップ 1 0 9に至り、相関イ直算出をスキップしない場合（算出する）、ステップ 1 0 8に至る。この相関値は、隣り合つたフレーム間、或いは、時間方向に沿った任意のフレーム間における相関値を算出するのである。

ステップ 1 0 9では、ステップ 1 0 8の相関値又はステップ 1 0 6のヒストグラムに対してグループ化処理を行うか否かの判定を行う。グループ化処理をスキップする場合（処理しない）、ステップ 1 1 1に至り、グループ化処理をスキップしない場合（処理する）、ステップ 1 1 0に至る。

ステップ 1 1 0では、ステップ 1 0 8の相関値に対して、ある閾値による時間方向のフレーム数 1以上を単位とするグループ化処理を行い、フレーム数、グループ数等を特徴量として算出する。

ステップ 1 1 1では、入力した検索用動画像情報をもとに算出した特徴量から、検索処理に用いる特徴量テーブルを作成する。ステップ 1 1 2では、入力動画像情報の特徴量算出の処理を受け、検索処理に用いるデータベース用の特徴量テーブルの読出し処理を行う。ステップ 1 1 3では、ステップ 1 1 1で作成した検索処理に用いる特徴量テーブルを基準に、データベースに登録されている特徴量テ一ブルからマツチング判定に用レ、る特徴量を抽出する。

ステップ 1 1 4では、検索対象の動画像の特徴量とデータベースの動画像の特徴量をもとに、マッチング判定を行う。一致した場合ステップ 1 1 5の処理に至り、一致しない場合の場合ステップ 1 1 6の処理に至る。ステップ 1 1 5では、マッチング結果を保存する。ステップ 1 1 6では、マッチング処理を終了するか否かを判定する。終了する場合ステップ 1 1 7の処理に至り、終了しない場合ステツプ 1 1 3の処理に帰る。

ステップ 1 1 7では、マッチング結果を受けて、動画像用データベースから結果に対応する検索結果用動画像の読出し処理を行う。ステップ 1 1 8では、読出し処理部によって読出した検索結果用動画像を出力する。なお、図 1 1におけるステップ 1 0 2、ステップ 1 0 5、ステップ 1 0 7及ぴステップ 1 0 9の 4つのスキップ処理がすべて実行されることはない。

次に、図 1 2を参照してデータベース側の処理手順を説明する。

ステップ 2 0 1でデータベース登録用動画像情報を入力し、ステップ 2 0 2では、入力したデータベース登録用動画像情報を動画像用データベースに登録する。ステップ 2 0 3では、データベース登録用動画像情報について、動画像の'フレームの一部分を局所領域として抽出処理を行うカゝ否かの判定を行う。局所領域抽出をスキップする場合（抽出しない）、ステップ 2 0 5に至り、局所領域抽出をスキップしない場合（抽出する）、ステップ 2 0 4に至る。

ステップ 2 0 4の局所領域抽出では、データベース登録用動画像情報に対し、特徴量を算出するため、動画像のフレームの一部分を局所領域として抽出するべく、 1以上の矩形状や、任意形状で局所領域の抽出処理を行う。

ステップ 2 0 5では、ステップ 2 0 4で抽出した局所領域又はデータベース登録用動画像情報の全体の輝度信号、色差信号、 R G B色空間各成分などを抽出する。ステップ 2 0 6では、データベース登録用動画像情報から抽出した信号のヒストグラムを算出するか否かの判定を行う。ヒストグラム算出をスキップする場合（算出しない）、ステップ 2 0 8に至り、ヒストグラム算出をスキップしない場合（算出する）、ステップ 2 0 7に至る。

ステップ 2 0 7では、ステップ 2 0 5で抽出した信号のヒストグラムを算出する。ステップ 2 0 8では、ステップ 2 0 5で抽出した信号又はステップ 2 0 7で算出したヒストグラムについて相関値を算出する力、否かの判定を行う。相関値算出をスキップする場合（算出しない）、ステップ 2 1 0に至り、相関値算出をスキップしない場合（算出する）、ステップ 2 0 9に至る。この相関値は、隣り合つたフレーム間、或いは、時間方向に沿った任意のフレーム間における相関値を算出するのである。

ステップ 2 1 0では、ステップ 2 0 9の相関値又はステツプ 2 0 7のヒストグラムに対してグループィヒ処理を行う力否かの判定を行う。グループィ匕処理をスキップする場合（処理しない）、ステップ 2 1 2に至り、グループ化処理をスキップしない場合（処理する）、ステップ 2 1 1に至る。

ステップ 2 1 1では、ステップ 2 0 9の相関値に対して、ある閾値による時間方向のフレーム数 1以上を単位とするグループ化処理を行レ、、フレーム数、グループ数等を特徴量として算出する。

ステップ 2 1 2では、データベース登録用動画像情報をもとに算出した特徴量力、ら、検索処理に用いる特徴量テーブルを作成する。ステップ 2 1 3では、検索処理に用いるデータベース用の特徴量テ一プルを、特徴量テ一プル用データべ一スに登録する。なお、 '図 1 2におけるステップ 2 0 3、ステップ 2 0 6、ステツプ 2 0 8及ぴステツプ 2 1 0の 4つのスキップ処理がすべて実行されることはない。

本発明の別の実施形態として、特徴量の算出において、局所領域抽出処理及び信号抽出処理の順序を入れ替えた実施形態について図 1 3乃至図 1 5を参照して説明する。

図 1 3は局所領域抽出処理及び信号抽出処理の順序を入れ替えた実施形態の検索処理を示すブロック図であり、図 1 4は検索対象となる入力側及ぴマツチング処理の処理手順を示すフローチヤ一トであり、図 1 5は比較のための特徴量情報となるデータベース側の処理手順を示すフローチヤ一トである。図 1 4を参照して入力側の処理手順を説明すると、ステップ 3 0 1では、検索用動画像情報を入力し、ステップ 3 0 2で入力した検索用動画像情報について、入力した検索用動画像情報の輝度信号、色差信号、 R G B色空間各成分等を抽出する。ステップ 3 0 3では、入力した検索用動画像のフレームの一部分を局所領域として抽出処理を行う力否かの判定を行う。局所領域抽出をスキップする場合（抽出しない）、ステップ 3 0 5に至り、局所領域抽出をスキップしない場合（抽出する）、ステップ 3 0 4に至る。 9

12 ステップ 3 0 4の局所領域抽出では、入力した検索用動画像情報に対し、特徴量を算出するため、動画像のフレームの一部分を局所領域として抽出するべく、 1以上の矩形状や、任意形状で局所領域の抽出処理を行う。

ステップ 3 0 5では、ステップ 3 0 4で抽出した局所領域又はステップ 3 0 2 の検索用動画像情報の全体の輝度信号、色差信号、 R G B色空間各成分などについて、抽出信号のヒストグラムを算出する力否かの判定を行う。ヒストグラム算出をスキップする場合（算出しない）、ステップ 3 0 7に至り、ヒストグラム算出をスキップしない場合（算出する）、ステップ 3 0 6に至る。

ステップ 3 0 6では、ステップ 3 0 4で抽出した信号のヒストグラムを算出する。ステップ 3 0 7では、ステップ 3 0 4で抽出した信号又はステップ 3 0 6で算出したヒストグラムについて、隣り合ったフレーム間、或いは時間方向に沿つた任意のフレーム間における相関値を算出するか否かの判定を行う。相関値算出をスキップする場合（算出しない）、ステップ 3 0 9に至り、相関値算出をスキップしない場合（算出する）、ステップ 3 0 8に至る。

ステップ 3 0 9では、ステップ 3 0 8の相関値に対してグループィヒ処理を行う力否かの判定を行う。グループィヒ処理をスキップする場合（処理しない）、ステップ 3 1 1に至り、グループィ匕処理をスキップしない場合（処理する）、ステツプ 3 1 0に至る。

ステップ 3 1 0では、ステップ 3 0 8の相関値に対して、ある閾値による時間方向のフレーム数 1以上を単位とする相関値のグループィ匕処理を行い、フレーム数、グループ数等を特徴量として算出する。

ステップ 3 1 1では、入力した検索用動画像情報をもとに算出した特徴量から、検索処理に用いる特徴量テーブルを作成する。ステップ 3 1 2では、入力動画像情報の特徴量算出の処理を受け、検索処理に用いるデータベース用の特徴量テーブルの読出し処理を行う。ステップ 3 1 3では、ステップ 3 1 1で作成した検索処理に用レ、る特徴量テーブルを基準に、データベースに登録されている特徴量テ一ブルからマッチング判定に用 1/ヽる特徴量を抽出する。

ステップ 3 1 4では、検索対象の動画像の特徴量とデータベースの動画像の特徴量をもとに、マッチング判定を行う。一致した場合ステップ 3 1 5の処理に至り、一致しない場合の場合ステップ 3 1 6の処理に至る。ステップ 3 1 5では、マッチング結果を保存する。ステップ 3 1 6では、マッチング処理を終了するか否かを判定する。終了する場合ステップ 3 1 7の処理に至り、終了しない場合ステツプ 3 1 3の処理に帰る。

ステップ 3 1 7では、マッチング結果を受けて、動画像用データベースから結果に対応する検索結果用動画像の読出し処理を行う。ステップ 3 1 8では、読出し処理部によって読出した検索結果用動画像を出力する。なお、図 1 4におけるステップ 3 0 3、ステップ 3 0 5、ステップ 3 0 7及びステップ 3 0 9の 4つのスキップ処理がすべて実行されることはない。

次に、図 1 5を参照してデータベース側の処理手順を説明する。

ステップ 4 0 1でデータベース登録用動画像情報を入力し、ステップ 4 0 2では、入力したデータベース登録用動画像情報を動画像用データベースに登録する。ステップ 4 0 3では、入力したデータベース登録用動画像情報の輝度信号、色差信号、 R G B色空間各成分等を抽出する。

ステップ 4 0 4では、データベース登録用動画像情報について、動画像のフレームの一部分を局所領域として抽出処理を行うカゝ否かの判定を行う。局所領域抽出をスキップする場合（抽出しない）、ステップ 4 0 6に至り、局所領域抽出をスキップしない場合（抽出する）、ステップ 4 0 5に至る。

ステップ 4 0 5の局所領域抽出では、データベース登録用動画像情報に対し、特徴量を算出するため、動画像のフレームの一部分を局所領域として抽出するべく、 1以上の矩形状や、任意形状で局所領域の抽出処理を行う。

ステップ 4 0 6では、ステップ 4 0 5で抽出した局所領域又はステップ 4 0 3 で抽出したデータベース登録用動画像情報の全体の輝度信号、色差信号、 R G B 色空間各成分などのヒストグラムを算出する力否かの判定を行う。ヒストグラム算出をスキップする場合（算出しない）、ステップ 4 0 8に至り、ヒストグラム算出をスキップしない場合（算出する）、ステップ 4 0 7に至る。

ステップ 4 0 7では、ステップ 4 0 5で抽出した信号のヒストグラムを算出する。ステップ 4 0 8では、ステップ 4 0 5で抽出した信号又はステップ 4 0 7で算出したヒストグラムについて相関値を算出する力否かの判定を行う。相関値算出をスキップする場合（算出しない）、ステップ 4 1 0に至り、相関値算出をスキップしない場合（算出する）、ステップ 4 0 9に至る。この相関値は、隣り合つたフレーム間、或いは、時間方向に沿った任意のフレーム間における相関値を算出するのである。

ステップ 4 1 0では、ステップ 4 0 9の相関値に対してグループ化処理を行うか否かの判定を行う。グループィ匕処理をスキップする場合（処理しない）、ステップ 4 1 2に至り、グループ化処理をスキップしない場合（処理する）、ステツプ 4 1 1に至る。

ステップ 4 1 1では、ステップ 4 0 9の相関値に対して、ある閾値による時間方向のフレーム数 1以上を単位とする相関値のグループ化処理を行い、フレーム数、グループ数等を特徴量として算出する。

ステップ 4 1 2では、データベース登録用動画像情報をもとに算出した特徴量から、検索処理に用いる特徴量テーブルを作成する。ステップ 4 1 3では、検索処理に用いるデータベース用の特徴量テーブルを、特徴量テ一ブル用データべ一スに登録する。なお、図 1 5におけるステップ 4 0 4、ステップ 4 0 6、ステツプ 4 0 8及ぴステップ 4 1 0の 4つのスキップ処理がすべて実行されることはない。

以上のように本発明によれば、検索用として、検索対象の動画像データを入力する検索用動画像入力部と；入力された検索対象動画像に対し、特徴量を算出するための 1以上の矩形，或いは，任意形状の局所領域を抽出する局所領域抽出部と、入力された検索対象動画像から抽出された特徴量算出領域の、輝度信号，色差信号， R G B色空間各成分， XY Z色空間各成分，均等色空間各成分，マンセル色空間各成分等画像信号成分を抽出する、或いはそれらの信号を変換抽出する信号抽出部と、入力された検索対象動画像をもとに算出された特徴量から、検索処理に用レ、る特徴量テーブルを作成する特徴量テーブル作成処理部とからなる特徴量算出部と；データベース用として、データベース用の動画像データを入力するデータベース用動画像入力部と；入力されたデータベース用の動画像データを動画像用データベースに登録する動画像用データベース登録処理部と；入力されたデータベース用の動画像データを登録する動画像用データベースと；入力されたデータベース登録用動画像に対し、特徴量を算出するための 1以上の矩形, 或いは，任意形状の局所領域を抽出する局所領域抽出部と、入力されたデータべース登録用動画像から抽出された特徴量算出領域の、輝度信号，色差信号， R G

B色空間各成分， X Y Z色空間各成分，均等色空間各成分，マンセル色空間各成分等を抽出する、或いはそれらの信号を変換抽出する信号抽出部と、入力されたデータベース登録用動画像をもとに算出された特徴量から、検索処理に用いる特徴量テーブルを作成する特徴量テーブル作成処理部とからなる特徴量算出部と；作成されたデータベース用特徴量テーブルを、特徴量テーブル用データベースに登録するテーブル用データベース登録処理部と；作成されたデータベース用特徴量テーブルを登録するテーブル用データベースと；入力された検索対象動画像の特徴量算出部の処理を受け、検索処理に用いるデータベース用の特徴量テーブルの読出し処理を行うテーブル用データベース読出し処理部と、入力された検索対象動画像をもとに作成された特徴量テーブルと，特徴量テーブル用データベースに登録されている特徴量テーブルから，マッチング判定に用いる特徴量を抽出し、マッチング結果判定部に出力する、且つ、マッチング結果判定部からのマツチング結果を保存し、マッチング処理終了後に、マッチング結果を読出し処理部に出力するマッチング処理部と、マッチング処理部で抽出された、検索対象動画像の特徴量とデータベース動画像の特徴量をもとに、ある閾値によるマツチング判定を行レヽ、マツチング結果をマッチング処理部に出力するマツチング結果判定部とからなる検索処理部と；マッチング結果判定部のマッチング結果を受け、動画像用データベースから結果に対応する検索結果用動画像の読出し処理を行う、動画像用データベース読み出し処理部と；読出し処理部によって読出された検索結果用動画像を出力する検索結果出力部と、からなる動画像検索手法及びその装置とした。

さらに、相闋値は各フレームの輝度値の平均値や分散値と比べて入力データに依存することがなく、グループィヒを行う際の閾値入力に対して変動させる必要がないため、特徴量として相関値を用いることにより適切な閾値設定が可能となる。また、グループィ匕特徴量を検索パラメータとして用いることで、動画像シーンの検索に用いるパラメータ数を抑えることができるので、マツチング処理時間を短縮することができる。

Claims

請求の範囲

1 . 検索用として、

検索対象の動画像データを入力する、検索用動画像入力部と、

入力された検索対象動画像に対し，特徴量を算出するための 1以上の矩形，或いは，任意形状の局所領域を抽出する、局所領域抽出部と、

入力された検索対象動画像から抽出された特徴量算出領域の、輝度信号，色差信号， R G B色空間各成分， XY Z色空間各成分，均等色空間各成分, .マンセル色空間各成分等画像信号成分を抽出する、或いはそれらの信号を変換抽出する、信号抽出部と、 '

入力された検索対象動画像をもとに算出された特徴量から、検索処理に用いる特徴量テーブルを作成する、特徴量テーブル作成処理部と、

カゝらなる特徴量算出部と、

データベース用として、

データベース用の動画像データを入力する、データベース用動画像入力部と、入力されたデータベース用の動画像データを、動画像用データベースに登録する、動画像用データベース登録処理部と、

入力されたデ一タベース用の動画像データを登録する、動画像用データベースと、

入力されたデータベース登録用動画像に対し、特徴量を算出するための 1以上の矩形，或いは，任意形状の局所領域を抽出する、局所領域抽出部と、

入力されたデータベース登録用動画像から抽出された特徴量算出領域の、輝度信号，色差信号， R G B色空間各成分， XY Z色空間各成分，均等色空間各成分，マンセル色空間各成分等を抽出する、或いはそれらの信号を変換抽出する、信号抽出部と、

入力されたデータベース登録用動画像をもとに算出された特徴量から、検索処理に用レ、る特徴量テーブルを作成する、特徴量テーブル作成処理部と、カゝらなる特徴量算出部と、

作成されたデータベース用特徴量テープノレを、特徴量テーブル用データベースに登録する、テーブル用データベース登録処理部と、作成されたデータベース用特徴量テーブルを登録する、テーブル用データベースと、

入力された検索対象動画像の特徴量算出部の処理を受け、検索処理に用いるデータベース用の特徴量テ—ブルの読出し処理を行う、テーブル用データベース読出し処理部と、

入力された検索対象動画像をもとに作成された特徴量テーブルと，特徴量テ一ブル用データベースに登録されている特徴量テ一ブルから、マツチング判定に用いる特徴量を抽出し、マッチング結果判定部に出力する、且つ、マッチング結果判定部からのマツチング結果を保存し、マツチング処理終了後に、マッチング結果を読出し処理部に出力する、マッチング処理部と、

マツチング処理部で抽出された、検索対象動画像の特徴量とデータベース動画像の特徴量をもとに、ある閾値によるマッチング判定を行い、マッチング結果をマツチング処理部に出力する、マツチング結果判定部と、

からなる検索処理部と、

マッチング結果判定部のマッチング結果を受け、動画像用データベースから結果に対応する検索結果用動画像の読出し処理を行う、動画像用データベース読み出し処理部と、

読出し処理部によつて読出された検索結果用動画像を出力する、検索結果出力部と、

からなる動画像検索装置。

2 . 請求項 1に記載の動画像検索装置において、検索用として、前記特徴量算出部は更に、入力された検索対象動画像から抽出された信号のヒストグラムを算出するヒストグラム算出部を有し、データベース用として、前記特徴量算出部は更に、入力されたデータベース登録用動画像から抽出された信号のヒストグラムを算出するヒストグラム算出部を有することを特徴とする動画像検索装置。

3 . 請求項 2に記載の動画像検索装置において、検索用として、前記特徴量算出部は更に、入力された検索対象動画像から抽出された信号のヒストグラムに対して、隣り合ったフレーム間，或は，時間方向に沿った任意のフレーム間における相関値を算出する相関値算出部を有し、データベース用として、前記特徴量算出部は更に、入力されたデータベース登録用動画像から抽出された信号のヒストグラムに対して、隣り合ったフレーム間，或は，時間方向に沿った任意のフレーム間における相関値を算出する相関値算出部を有することを特徴とする動画像検

4 . 請求項 3に記載の動画像検索装置にお!/、て、検索用として、前記特徴量算出部は更に、入力された検索対象動画像をもとに算出された相関値に対して、ある閾値による時間方向のフレーム数 1以上を単位とする相関値のグループ化処理を行い、フレーム数，グループ数等を特徴量として算出するグループィ匕処理部を有し、データベース用として、前記特徴量算出部は更に、入力されたデータべ一ス登録用動画像をもとに算出された相関値に対して、ある閾値による時間方向のフレーム数 1以上を単位とする相関値のグループ化処理を行い、フレーム数，グループ数等を特徴量として算出するグループ化処理部を有することを特徴とする

5 . 請求項 2に記載の動画像検索装置において、検索用として、前記特徴量算出部は更に、入力された検索対象動画像から抽出された信号のヒストグラムに対して、ある閾値による時間方向のフレーム数 1以上を単位とするヒストグラムのグループィ匕処理を行い、フレーム数，グループ数等を特徴量として算出するダループ化処理部を有し、データベース用として、前記特徴量算出部は更に、入力されたデータベース登録用動画像から抽出された信号のヒストグラムに対して、ある閾値による時間方向のフレーム数 1以上を単位とするヒストグラムのグループ化処理を行い、フレーム数，グループ数等を特徴量として算出するグループィ匕処理部を有することを特徴とする動画像検索装置。

6 . 請求項 1に記載の動画像検索装置にぉレ、て、検索用として、前記特徴量算出部は更に、入力された検索対象動画像から抽出された信号に対して、隣り合つたフレーム間，或は，時間方向に沿った任意のフレーム間における相関値を算出する相関値算出部を有し、データベース用として、前記特徴量算出部は更に、入力されたデータベース登録用動画像から抽出された信号に対して、隣り合ったフレーム間，或は，時間方向に沿った任意のフレーム間における相関値を算出する相関ィ直算出部を有することを特徴とする動画像検索装置。

7 . 請求項 6に記載の動画像検索装置において、検索用として、前記特徴量算出部は更に、入力された検索対象動画像をもとに算出された相関値に対して、ある閾値による時間方向のフレーム数 1以上を単位とする相関値のグループ化処理を行い、フレーム数，グループ数等を特徴量として算出するグループ化処理部を有し、データベース用として、前記特徴量算出部は更に、入力されたデータべ一ス登録用動画像をもとに算出された相関値に対して、ある閾値による時間方向のフレーム数 1以上を単位とする相関値のグループィ匕処理を行い、フレーム数，グループ数等を特徴量として算出するグループ化処理部を有することを特徴とする

8 . 請求項 1に記載の動画像検索装置において、検索用として、前記特徴量算出部は更に、入力された検索対象画像から抽出された信号に対して、ある閾値による時間方向のフレーム数 1以上を単位とする信号のグループ化処理を行い、フレーム数，グループ数等を特徴量として算出するグループィ匕処理部を有し、データベース用として、前記特徴量算出部は更に、入力されたベース登録用動画像から抽出した信号に対して、ある閾値による時間方向のフレーム数 1以上を単位とする信号のグループィヒ処理を行い、フレーム数，グノレープ数等を特徴量として算出するグループ化処理部を有することを特徴とする動画像検索装置。

9 . 検索用として、

入力された検索対象動画像から抽出された特徴量算出領域の、輝度信号，色差信号， R G B色空間各成分， XY Z色空間各成分，均等色空間各成分，マンセル色空間各成分等画像信号成分を抽出する、或いはそれらの信号を変換抽出する、信号抽出部と、

入力された検索対象動画像から抽出された信号のヒストグラムを算出する、ヒストグラム算出部と、

入力された検索対象動画像をもとに算出された特徴量から，検索処理に用いる特徴量テーブルを作成する、特徴量テーブル作成処理部と、

からなる特徴量算出部と、

データベース用として、

入力されたデータベース登録用動画像から抽出された特徴量算出領域の、輝度信号，色差信号， R G B色空間各成分， X Y Z色空間各成分，均等色空間各成分，マンセル色空間各成分等を抽出する、或いはそれらの信号を変換抽出する、信号抽出部と、

入力されたデータベース登録用動画像から抽出された信号のヒストグラムを算出する、ヒストグラム算出部と、

入力されたデータベース登録用動画像をもとに算出された特徴量から、検索処理に用いる特徴量テーブルを作成する、特徴量テーブル作成処理部と、からなる特徴量算出部と、

作成されたデータベース用特徴量テ一ブルを、特徴量テ一ブル用データベースに登録する、テーブル用データベース登録処理部と、

作成されたデータベース用特徴量テーブルを登録する、テーブル用データべ一スと、

入力された検索対象動画像の特徴量算出部の処理を受け、検索処理に用いるデータベース用の特徴量テーブルの読出し処理を行う、テーブル用データベース読出し処理部と、入力された検索対象動画像をもとに作成された特徴量テーブルと，特徴量テ一プル用データベースに登録されている特徴量テーブルから、マツチング判定に用いる特徴量を抽出し、マッチング結果判定部に出力する、且つ、マッチング結果判定部からのマッチング結果を保存し、マッチング処理終了後に、マッチング結果を読出し処理部に出力する、マッチング処理部と、

マッチング処理部で抽出された、検索対象動画像の特徴量とデータベース動画像の特徴量をもとに、ある閾値によるマッチング判定を行い、マッチング結果をマツチング処理部に出力する、マツチング結果判定部と、

からなる検索処理部と、

マツチング結果判定部のマッチング結果を受け、動画像用データベースから結果に対応する検索結果用動画像の読出し処理を行う、動画像用データベース読み出し処理都と、

読出し処理部によって読出された検索結果用動画像を出力する、検索結果出力部と、

からなる動画像検索装置。

1 0 . 請求項 9に記載の動画像検索装置において、検索用として、前記特徴量算出部は更に、入力された検索対象動画像から抽出された信号のヒストグラムに対して、隣り合ったフレーム間，或は，時間方向に沿った任意のフレーム間における相関値を算出する相関値算出部を有し、データベース用として、前記特徴量算出部は更に、入力されたデータベース登録用動画像から抽出された信号のヒストグラムに対して、隣り合ったフレーム間，或は，時間方向に沿った任意のフレーム間における相関値を算出する相関値算出部を有することを特徴とする動画像

1 1 . 請求項 1 0に記載の動画像検索装置において、検索用として、前記特徴量算出部は更に、入力された検索対象画像をもとに算出された相関値に対して、ある閾値による時間方向のフレーム数 1以上を単位とする相関値のグループィ匕処理を行い、フレーム数，グループ数等を特徴量として算出するグループィヒ処理部を有し、データベース用として、前記特徴量算出部は更に、入力されたデータべース登録用動画像をもとに算出された相関値に対して、ある閾値による時間方向のフレーム数 1以上を単位とする相関値のグループ化処理を行い、フレーム数，グループ数等を特徴量として算出するグループィ匕処理部を有することを特徴とす

1 2 . 請求項 9に記載の動画像検索装置において、検索用として、前記特徴量算出部は更に、入力された検索対象用動画像から抽出された信号のヒストグラムに対して、ある閾値による時間方向のフレーム数 1以上を単位とするヒストグラムのグループ化処理を行い、フレーム数，グループ数等を特徴量として算出するグループィヒ処理部を有し、データベース用として、前記特徴量算出部は更に、入力されたデータベース登録用動画像から抽出された信号のヒストグラムに対して、ある閾値による時間方向のフレーム数 1以上を単位とするヒストグラムのグループ化処理を行い、フレーム数，グループ数等を特徴量として算出するグループィ匕処理部を有することを特徴とする動画像検索装置。

1 3 . 検索用として、

入力された検索対象動画像から抽出された信号に対して、隣り合つたフレーム間，或は，時間方向に沿った任意のフレーム間における相関値を算出する、相関値算出部と、

入力された検索対象動画像をもとに算出された特徴量から、検索処理に用レ、る特徴量テーブルを作成する、特徴量テーブル作成処理部と、

からなる特徴量算出部と、 '

データベース用として、データベース用の動画像データを入力する、データベース用動画像入力部と、入力されたデータベース用の動画像データを、動画像用データベースに登録する、動画像用データベース登録処理部と、

入力されたデータベース登録用動画像から抽出された信号に対して、隣り合つたフレーム間，或は，時間方向に沿った任意のフレーム間における相関値を算出する、相関値算出部と、

入力されたデ一タベース登録用動画像をもとに算出された特徴量から、検索処理に用いる特徴量テーブルを作成する、特徴量テーブル作成処理部と、からなる特徴量算出部と、

作成されたデータベース用特徴量テーブルを、特徴量テーブル用データベースに登録する、テーブル用データベース登録処理部と、 ·

作成されたデ一タベース用特徴量テーブルを登録する、テーブル用データベースと、

入力された検索対象動画像の特徴量算出部の処理を受け、検索処理に用いるデータベース用の特徴量テーブルの読出し処理を行う、テーブル用データベース読出し処理部と、

入力された検索対象動画像をもとに作成された特徴量テーブルと，特徴量テ一ブル用データベースに登録されている特徴量テーブルから、マツチング判定に用いる特徴量を抽出し、マッチング結果判定部に出力する、かつ、マッチング結果判定部からのマッチング結果を保存し、マッチング処理終了後に、マッチング結果を読出し処理部に出力する、マッチング処理部と、マツチング処理部で抽出された検索対象動画像の特徴量とデータベース動画像の特徴量をもとに、ある閾値によるマッチング判定を行い、マッチング結果をマツチング処理部に出力する、マツチング結果判定部と、

からなる検索処理部と、

マッチング結果判定部のマツチング結果を受け、動画像用データベースから結果に対応する検索結果用動画像の読出し処理を行う、動画像用データベース読み出し処理部と、

からなる動画像検索装置。

1 4 . 請求項 1 3に記載の動画像検索装置において、検索用として、前記特徴量算出部は更に、入力された検索対象動画像をもとに算出された相関値に対して、ある閾値による時間方向のフレーム数 1以上を単位とする相関値のグループ化処理を行い、フレーム数，グループ数等を特徴量として算出するグループィヒ処理部を有し、データベース用として、前記特 ί敷量算出部は更に、入力されたデータべース登録用動画像をもとに算出された相関値に対して、ある閾値による時間方向のフレーム数 1以上を単位とする相関値のグループ化処理を行い、フレーム数，グループ数等を特徴量として算出するグループ化処理部を有することを特徴とす

1 5 . 検索用として、

入力された検索対象動画像から抽出された特徴量算出領域の、輝度信号，色差信号， R G B色空間各成分， X Y Z色空間各成分，均等色空間各成分，マンセル色空間各成分等画像信号成分を抽出する、或レ、はそれらの信号を変換抽出する、信号抽出部と、入力された検索対象画像から抽出された信号に対して、ある閾値による時間方向のフレーム数 1以上を単位とする信号のグループ化処理を行い、フレーム数，グループ数等を特徴量として算出する、グループ化処理部と、

された検索対象動画像をもとに算出された特徴量から、検索処理に用いる特徴量テーブルを作成する、特徴量テーブル作成処理部と、

からなる特徴量算出部と、

データベース用として、

データベース用の動画像デ—タを入力する、データベース用動画像入力部と、入力されたデ一タベース用の動画像データを、動画像用データベースに登録する、動画像用データベース登録処理部と、

入力されたデータベース用の動画像データを登録する、動画像用データベースと、

入力されたデ一タベース登録用動画像から抽出された信号に対して、ある閾値による時間方向のフレーム数 1以上を単位とする信号のグループ化処理を行い、フレーム数，グループ数等を特徴量として算出する、グループ化処理部と、

作成されたデータベース用特徴量テ一ブルを、特 ί敫量テ一ブル用データベースに登録する、テーブル用データベース登録処理部と、

入力された検索対象動画像の特徴量算出部の処理を受け、検索処理に用いるデータベース用の特徴量テーブルの読出し処理を行う、テーブル用データベース読出し処理部と、入力された検索対象動画像をもとに作成された特徴量テーブルと，特徴量テ一プル用データベースに登録されている特徴量テーブルから、マツチング判定に用いる特徴量を抽出し、マッチング結果判定部に出力する、且つ、マッチング結果判定部からのマッチング結果を保存し、マッチング処理終了後に、マッチング結果を読出し処理部に出力する、マッチング処 a部と、

からなる検索処理部と、

マッチング結果判定部のマッチング結果を受け、動面像用データベースから結果に対応する検索結果用動画像の読出し処理を行う、動画像用データベース読み出し処理部と、

からなる動画像検索装置。

1 6 . 検索用として、

入力された検索対象動画像から、輝度信号，色言号， R G B色空間各成分， X Y Z色空間各成分，均等色空間各成分，マンセル色空間各成分等画像信号成分を抽出する、或いはそれらの信号を変換抽出する、信号抽出部と、

入力された検索対象動画像に対し、特徴量を算出するための 1以上の矩形，或いは，任意形状の局所領域を抽出する、局所領域抽出部と、

からなる特徴量算出部と、

データベース用として、

入力されたデータベース登録用動画像から、輝度信号，色差信号， R G B色空間各成分， XY Z色空間各成分，均等色空間各成分，マンセル色空間各成分等を抽出する、或いはそれらの信号を変換抽出する、信号抽出部と、

入力されたデータベース登録用動画像をもとに算出された特徴量から、検索処理に用いる特徴量テーブルを作成する、特徴量テーブル作成処理部と、とからなる特徴量算出部と、

作成されたデ一タベース用特徴量テ一ブルを、特徴量テ一ブル用データベースに登録する、テーブル用データベース登録処理部と、

入力された検索対象動画像をもとに作成された特徴量テーブルと、特徴量テ一ブル用データベースに登録されている特徴量テ一プルから、マッチング判定に用いる特徴量を抽出し、マッチング結果判定部に出力する、且つ、マッチング結果判定部からのマッチング結果を保存し、マッチング処理終了後に、マッチング結果を読出し処理部に出力する、マッチング処理部と、

マッチング処理部で抽出された、検索対象動画像の特徴量とデータベース動画像の特徴量をもとに、ある閾値によるマツチング判定を行い、マツチング結果をマツチング処理部に出力する、マツチング結果判定部と、

力^なる検索処理部と、マツチング結果判定部のマツチング結果を受け、動画像用データベースから結果に対応する検索結果用動画像の読出し処理を行う、動画像用データベース読み出し処理部と、

からなる動画像検索装置。

1 7 . 請求項 1 6に記載の動画像検索装置において、検索用として、前記特徴量算出部は更に、入力された検索対象動画像から抽出された信号のヒストグラムを算出するヒストグラム算出部を有し、データベース用として、前記特徴量算出部は更に、入力されたデータベース登録用動画像から抽出された信号のヒストグラムを算出するヒストグラム算出部を有することを特徴とする動画像検索装置。

1 8 . 請求項 1 7に記載の動画像検索装置において、検索用として、前記特徴量算出部は更に、入力された検索対象動画像から抽出された信号のヒストグラムに対して、隣り合ったフレーム間，或は，時間方向に沿った任意のフレーム間における相関値を算出する相関値算出部を有し、データベース用として、前記特徴量算出部は更に、入力されたデータベース登録用動画像から抽出された信号のヒストグラムに対して、隣り合ったフレーム間，或は，時間方向に沿った任意のフレーム間における相関値を算出する相関値算出部を有することを特徴とする動画

1 9 . 請求項 1 8に記載の動画像検索装置において、検索用として、前記特徴量算出部は更に、入力された検索対象動画像をもとに算出された相関値に対して、ある閾値による時間方向のフレーム数 1以上を単位とする相関値のグループ化処理を行い、フレーム数，グループ数等を特徴量として算出するグループ化処理部を有し、データベース用として、前記特徴量算出部は更に、入力されたデータべース登録用動画像をもとに算出された相関値に対して、ある閾値による時間方向のフレーム数 1以上を単位とする相関値のグループィ匕処理を行い、フレーム数，グループ数等を特徴量として算出するグループ化処理部を有することを特徴とす

2 0 . 請求項 1 7に記載の動画像検索装置において、検索用として、前記特徴量算出部は更に、入力された検索対象動画像から抽出された信号のヒストグラムに対して、ある閾値による時間方向のフレーム数 1以上を単位とするヒストグラムのグループ化処理を行い，フレーム数，グループ数等を特徴量として算出するグループィヒ処理部を有し、データベース用として、前記特徴量算出部は更に入力されたデ一タベース登録用動画像から抽出された信号のヒストグラムに対して、ある閾値による時間方向のフレーム数 1以上を単位とするヒストグラムのグループ化処理を行い、フレーム数，グループ数等を特徴量として算出するグループィ匕処理部を有することを特徴とする動画像検索装置。

2 1 . 請求項 1 6に記載の動画像検索装置において、検索用として、前記特徴量算出部は更に、入力された検索対象動画像から抽出された信号に対して、隣り合ったフレーム間，或は，時間方向に沿った任意のフレーム間における相関値を算出する相関値算出部を有し、データベース用として、前記特徴量算出部は更に、入力されたデータベース登録用動画像から抽出された信号に対して、隣り合ったフレーム間，或は，時間方向に沿った任意のフレーム間における相関値を算出する相関値算出部を有することを特徴とする動画像検索装置。

2 2 . 請求項 2 1に記載の動画像検索装置において、検索用として、前記特徴量算出部は更に、入力された検索対象動画像をもとに算出された相関値に対して、ある閾値による時間方向のフレーム数 1以上を単位とする相関値のグループィ匕処理を行い、フレーム数，グループ数等を特徴量として算出するグループィヒ処理部を有し、データベース用として、前記特徴量算出部は更に、入力されたデータべース登録用動画像をもとに算出された相関値に対して、ある閾値による時間方向のフレーム数 1以上を単位とする相関値のグループィ匕処理を行い、フレーム数，グループ数等を特徴量として算出するグループ化処理部を有することを特徴とす

2 3 . 請求項 1 6に記載の動画像検索装置において、検索用として、前記特徴量算出部は更に、入力された検索対象画像から抽出された信号に対して、ある閾値による時間方向のフレーム数 1以上を単位とする信号のグループィヒ処理を行い、フレーム数，グループ数等を特徴量として算出するグループィ匕処理部を有し、データベース用として、前記特徴量算出部は更に、入力されたデータベース登録用動画像から抽出された信号に対して、ある閾値による時間方向のフレーム数 1以上を単位とする信号のグループ化処理を行い、フレーム数，グループ数等を特徴量として算出するグループ化処理部を有することを特徴とする動画像検索装置。