JP2004234613A - 映像記述システムおよび方法、映像識別システムおよび方法 - Google Patents
映像記述システムおよび方法、映像識別システムおよび方法 Download PDFInfo
- Publication number
- JP2004234613A JP2004234613A JP2003066423A JP2003066423A JP2004234613A JP 2004234613 A JP2004234613 A JP 2004234613A JP 2003066423 A JP2003066423 A JP 2003066423A JP 2003066423 A JP2003066423 A JP 2003066423A JP 2004234613 A JP2004234613 A JP 2004234613A
- Authority
- JP
- Japan
- Prior art keywords
- representative
- video sequence
- layout
- feature amount
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
- G06T7/49—Analysis of texture based on structural texture description, e.g. using primitives or placement rules
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】識別処理を高速化できる映像識別システムを提供する。
【解決手段】映像シーケンス選定手段１０７は、代表レイアウト特徴量算出手段１０６より生成された問合せ映像シーケンスの代表レイアウト特徴量と、代表レイアウト特徴量記憶部１０３に記憶された登録映像シーケンスの代表レイアウト特徴量の類似性を評価し、問合せ映像シーケンスと同一内容である可能性があると判定された登録映像シーケンスのみを選定する。映像シーケンス識別手段１０８は、映像シーケンス選定手段１０７により選定された登録映像シーケンスについて、レイアウト特徴量算出手段１０５より生成された問合せ映像シーケンスのレイアウト特徴量群と、レイアウト特徴量群記憶部１０４に記憶された登録映像シーケンスのレイアウト特徴量群の類似性を評価し、問合せ映像シーケンスと同一内容である場合に、同一内容の登録映像シーケンスの識別子を出力する。
【選択図】 図１
【解決手段】映像シーケンス選定手段１０７は、代表レイアウト特徴量算出手段１０６より生成された問合せ映像シーケンスの代表レイアウト特徴量と、代表レイアウト特徴量記憶部１０３に記憶された登録映像シーケンスの代表レイアウト特徴量の類似性を評価し、問合せ映像シーケンスと同一内容である可能性があると判定された登録映像シーケンスのみを選定する。映像シーケンス識別手段１０８は、映像シーケンス選定手段１０７により選定された登録映像シーケンスについて、レイアウト特徴量算出手段１０５より生成された問合せ映像シーケンスのレイアウト特徴量群と、レイアウト特徴量群記憶部１０４に記憶された登録映像シーケンスのレイアウト特徴量群の類似性を評価し、問合せ映像シーケンスと同一内容である場合に、同一内容の登録映像シーケンスの識別子を出力する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、映像記述システムおよび映像識別システムに関する。
【０００２】
【従来の技術】
従来、この種の映像シーケンス記述システムは類似する映像シーケンス（映像に含まれるフレームの集合）を検索するための特徴量を記述する目的で用いられている。従来の映像シーケンス記述システムを用いた映像シーケンス検索システムの一例が、非特許文献１：Ａ． Ｍｕｆｉｔ Ｆｅｒｍａｎ ｅｔ ａｌ．， ”ＧＲＯＵＰ−ＯＦ−ＦＲＡＭＥ／ＰＩＣＴＵＲＥ ＣＯＬＯＲ ＨＩＳＴＯＧＲＡＭ ＤＥＳＣＲＩＰＴＯＲＳ ＦＯＲ ＭＵＬＴＩＭＥＤＩＡ ＡＰＰＬＩＣＡＴＩＯＮＳ”、ＩＣＩＰ２０００ に記載されている。この論文に記載された映像シーケンス検索システムを図１２に示す。
【０００３】
映像シーケンス検索システムは、ヒストグラム生成手段１１と、代表ヒストグラム生成手段１２と、記述ファイル生成手段１３と、代表ヒストグラム蓄積部１４と、ヒストグラム生成手段１５と、代表ヒストグラム生成手段１６と、類似度算出手段１７と、類似度ソート手段１８と、類似映像表示手段１９とからなる。
【０００４】
ヒストグラム生成手段１１は、データベースに登録する対象となる映像シーケンスの各フレームよりカラーヒストグラムを抽出する。代表ヒストグラム生成手段１２は、ヒストグラム生成手段１１により抽出された全てのフレームについてのカラーヒストグラム各ビンの平均値を算出する。記述ファイル生成手段１３は、算出された平均値を所定の書式に基づき記述した上で代表ヒストグラム記憶部１４に記憶する。
【０００５】
ヒストグラム生成手段１５は、問合せ映像として与えられた映像シーケンスの各フレームよりカラーヒストグラムを抽出する。代表ヒストグラム生成手段１６は、ヒストグラム生成手段１５により抽出された全てのフレームについてのカラーヒストグラム各ビンの平均値を代表ヒストグラムとして算出する。類似度算出手段１７は、代表ヒストグラム生成手段１６により生成された代表ヒストグラムと、代表ヒストグラム蓄積部１４に蓄積された各代表ヒストグラムそれぞれとの類似度を算出する。類似度ソート手段１８は、類似度の高い順番に登録されている映像を並べ替える。類似映像表示手段１９は、類似度の高い順番で映像を表示する。
【０００６】
別の代表的な映像識別システムが特許文献１：特開２０００−２５９８３２号公報に掲載されている。この公報に記載された映像シーケンス検索システムを図１３に示す。映像シーケンス識別システムは、特徴量抽出フレーム選定手段２１と、カラーレイアウト群生成手段２２と、記述ファイル生成手段２３と、カラーレイアウト群記憶部２４と、特徴量フレーム選定手段２５と、カラーレイアウト群生成手段２６と、映像識別手段２７とからなる。
【０００７】
特徴量抽出フレーム選定手段２１は、データベースに登録する対象となる映像シーケンスより特徴量を抽出する対象となるフレーム群を選定する。カラーレイアウト群生成手段２２は、選択された各フレームより画像のカラーレイアウト特徴を示す特徴量を抽出する。記述ファイル生成手段２３は、算出された特徴量群を所定の書式に基づき記述した上でカラーレイアウト群記憶部２４に記憶する。
【０００８】
特徴量抽出フレーム選定手段２５は、問合せ映像として与えられた映像シーケンスより特徴量を抽出する対象となるフレーム群を選定する。カラーレイアウト群生成手段２６は、選択された各フレームより画像のカラーレイアウト特徴を示す特徴量を抽出する。映像識別手段２７は、カラーレイアウト群生成手段２６により生成されたカラーレイアウト群と、代表カラーレイアウト群２４に蓄積されたカラーレイアウト群を各フレーム毎のカラーレイアウトを順に比較することにより、問合せ映像シーケンスがカラーレイアウト群記憶部に記憶された映像シーケンスのどれと一致しているとみなせるか、またいずれでもないかを判定し、識別結果として出力する。
【０００９】
【特許文献１】
特開２０００−２５９８３２号公報（第９頁−第１３頁）
【非特許文献１】
Ａ． Ｍｕｆｉｔ Ｆｅｒｍａｎ ｅｔ ａｌ．， ”ＧＲＯＵＰ−ＯＦ−ＦＲＡＭＥ／ＰＩＣＴＵＲＥ ＣＯＬＯＲ ＨＩＳＴＯＧＲＡＭ ＤＥＳＣＲＩＰＴＯＲＳ ＦＯＲ ＭＵＬＴＩＭＥＤＩＡ ＡＰＰＬＩＣＡＴＩＯＮＳ”、ＩＣＩＰ２０００
【００１０】
【発明が解決しようとする課題】
しかしながら、上述した従来のシステムでは、次のような問題がある。
【００１１】
上述した非特許文献１に示されたＦｅｒｍａｎらのシステムは，映像シーケンスを代表するカラーヒストグラム１つのみを比較するため、比較回数を少なく抑えることにより高速な検索処理を実現できるが，映像シーケンスを識別するのに十分な性能が得られないという問題点がある。また、カラーヒストグラムはレイアウト構造が考慮されていないため、同じ色を持つが構図の異なる映像をも誤って検索してしまうという問題点もある。
【００１２】
また、特許文献１：特開２０００−２５９８３２の手法は、フレーム単位で特徴量比較するため十分な識別性能が得られるかわりに、フレーム単位で特徴量比較するため照合回数が多く処理コストがかかるという問題点がある。
【００１３】
本発明は、上述の事情に鑑みてなされたものであり、その目的は、フレーム単位の照合が必要な映像シーケンスを選定できるように映像シーケンス記述を行うことにより、映像シーケンスの識別精度を落とすことなく識別処理の高速化を実現することになる。
【００１４】
【課題を解決するための手段】
本発明による映像記述システムは、映像シーケンスの各フレームよりレイアウト特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出されたレイアウト特徴量群より、映像シーケンスを代表するレイアウト特徴量を算出する代表特徴量算出手段と、を有することを特徴とする。
【００１５】
また、本発明による映像記述システムは、映像シーケンスの各フレームよりレイアウト特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出されたレイアウト特徴量群より、映像シーケンスを代表するレイアウト特徴量を算出する代表特徴量算出手段と、前記代表特徴量算出手段より算出された代表レイアウト特徴量を記憶する代表レイアウト特徴量記憶部と、を有することを特徴とする。
【００１６】
本発明による映像記述システムは、映像シーケンスの各フレームよりレイアウト特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出されたレイアウト特徴量群より、映像シーケンスを代表するレイアウト特徴量を算出する代表特徴量算出手段と、前記代表特徴量算出手段より算出された代表レイアウト特徴量を記憶する代表レイアウト特徴量記憶部と、前記特徴量抽出手段より算出されたレイアウト特徴量群を記憶するレイアウト特徴量群記憶部と、を有することを特徴とする。
【００１７】
前記代表特徴量算出手段は、前記特徴量抽出手段により抽出されたレイアウト特徴量の各要素の平均値を求め代表特徴量とすることを特徴とする。
【００１８】
前記代表特徴量算出手段は、前記特徴量抽出手段により抽出されたレイアウト特徴量のそれぞれの要素について昇順または降順にならべかえたうえで、メジアンを算出し代表特徴量とすることを特徴とする。
【００１９】
前記レイアウト特徴量が、カラーレイアウト情報であることを特徴とする。
【００２０】
前記レイアウト特徴量が、エッジヒストグラム情報であることを特徴とする。
【００２１】
前記代表特徴量が代表特徴量として ＣｏｌｏｒＬａｙｏｕｔ および ＥｄｇｅＨｉｓｔｏｇｒａｍ を少なくとも含む複数の特徴量より１つが選択可能であり、代表特徴量算出方法として Ａｖｅｒａｇｅ、Ｍｅｄｉａｎ、Ｉｎｅｒｓｅｃｔｉｏｎ を少なくとも含む複数の方法より１つが選択可能である記述スキームに基づき記述されることを特徴とする。
【００２２】
本発明による映像記述システムは、映像シーケンスを代表するレイアウト特徴量を代表レイアウト特徴量として記憶する代表レイアウト特徴量記憶部と、代表レイアウト特徴量記憶部に記憶された問合せ映像シーケンスの代表レイアウト特徴量と登録されている映像シーケンスの代表レイアウト特徴量とを比較することにより問合せ映像シーケンスと類似する映像シーケンスを選定する映像シーケンス選定手段と、を有することを特徴とする。
【００２３】
本発明による映像記述システムは、映像シーケンスを代表するレイアウト特徴量を代表レイアウト特徴量として記憶する代表レイアウト特徴量記憶部と、問合せ映像シーケンスの各フレームよりレイアウト特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出されたレイアウト特徴量群より、問合せ映像シーケンスを代表するレイアウト特徴量を算出する代表特徴量算出手段と、代表特徴量算出手段により算出された代表レイアウト特徴量と、代表レイアウト特徴量記憶部に記憶された代表レイアウト特徴量とを比較することにより問合せ映像シーケンスと類似するシーケンスを選定する映像シーケンス選定手段と、を有することを特徴とする。
【００２４】
本発明による映像記述システムは、映像シーケンスを代表するレイアウト特徴量を代表レイアウト特徴量として記憶する代表レイアウト特徴量記憶部と、映像シーケンスの各フレームに対応するレイアウト特徴量を記憶するレイアウト特徴量群記憶部と、問合せ映像シーケンスの各フレームよりレイアウト特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出されたレイアウト特徴量群より、問合せ映像シーケンスを代表するレイアウト特徴量を算出する代表特徴量算出手段と、代表特徴量算出手段により算出された代表レイアウト特徴量と、代表レイアウト特徴量記憶部に記憶された代表レイアウト特徴量とを比較することにより問合せ映像シーケンスと類似するシーケンスを選定する映像シーケンス選定手段と、前記映像シーケンス選定手段により選定された映像シーケンスについて、前記レイアウト特徴量抽出手段により抽出されたレイアウト特徴量群と、前記レイアウト特徴量群に記憶されたレイアウト特徴量とを照合する照合手段と、を有することを特徴とする。
【００２５】
本発明による映像記述システムは、前記代表特徴量算出手段は、前記特徴量抽出手段により抽出されたレイアウト特徴量の各要素の平均値を求め代表特徴量とすることを特徴とする。
【００２６】
本発明による映像記述システムは、前記代表特徴量算出手段は、前記特徴量抽出手段により抽出されたレイアウト特徴量のそれぞれの要素について昇順または降順にならべかえたうえで、メジアンを算出し代表特徴量とすることを特徴とする。
【００２７】
本発明による映像記述システムは、前記レイアウト特徴量が、カラーレイアウト情報であることを特徴とする。
【００２８】
本発明による映像記述システムは、前記レイアウト特徴量が、エッジヒストグラム情報であることを特徴とする。
【００２９】
本発明による映像記述システムは、前記代表特徴量が、記述スキーム代表特徴量として ＣｏｌｏｒＬａｙｏｕｔ および ＥｄｇｅＨｉｓｔｏｇｒａｍ を少なくとも含む複数の特徴量より１つが選択可能であり、代表特徴量算出方法として Ａｖｅｒａｇｅ、Ｍｅｄｉａｎ、Ｉｎｔｅｒｓｅｃｔｉｏｎ を少なくとも含む複数の方法より１つが選択可能である記述スキームに基づき記述されることを特徴とする。
【００３０】
上述したように、本発明によれば、代表レイアウト特徴量を比較した時点で同一内容である可能性のないと判定された登録映像シーケンスについて、処理コストを必要とするレイアウト特徴量群のフレーム単位の比較処理を全てスキップすることができるため、識別精度を落とすことなく照合処理コストを大幅に削減できる。
【００３１】
また、映像シーケンスの代表レイアウト特徴量を生成し記憶しておくことにより、少ないコストで同一内容の可能性のある登録映像シーケンスを選定するための情報を提供することができる。
【００３２】
さらに、共通の記述スキーマをベースに代表レイアウト特徴量を記述することで、複数のシステムで代表レイアウト特徴量を交換したり、複数の記憶装置より代表レイアウト特徴量を呼び出すことができる。
【００３３】
【発明の実施の形態】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００３４】
図１は本発明に係る映像識別システムの第１の実施の形態の構成例を示すブロック図である。
【００３５】
図１に示すように、本実施の形態に係る映像識別システムは、映像シーケンスより特徴量を抽出生成することにより映像の信号特徴を記述する記述部３１と、登録する映像の特徴量を記憶する特徴量記憶部３２と、問合せ映像シーケンスと登録映像シーケンス映像識別部３３とからなる。
【００３６】
記述部３１は、レイアウト特徴量抽出部１０１と、代表レイアウト特徴量算出手段１０２とからなる。
【００３７】
レイアウト特徴量抽出手段１０１は、登録する映像シーケンスの各フレームより、レイアウト特徴量を抽出する。
【００３８】
カラーヒストグラムでは問合せ画像と比べて色が異なるが同一内容の画像を識別することは困難である。同一内容の映像同士では，色がずれることがあっても，画像の構図が変わることはほとんどないため，ビデオを識別するためには，画像のおおまかな構図を表現するレイアウト特徴量を用いることが有効であると考えられるため、レイアウト特徴量を利用する。レイアウト特徴量としてはさまざまなものが考えられるが、国際標準規格 ＩＳＯ／ＩＥＣ １５８３８−３ ＭＰＥＧ−７ ＶＩＳＵＡＬ で定められており、色のレイアウト構造を表すＣＯＬＯＲ ＬＡＹＯＵＴ ＤＥＳＣＲＩＰＴＯＲ、またはエッジのレイアウト構造を現すＥＤＧＥＨＩＳＴＯＧＲＡＭ ＤＥＳＣＲＩＰＴＯＲを用いる。
【００３９】
代表レイアウト特徴量算出手段１０２は、レイアウト特徴量抽出手段１０１により抽出されたレイアウト特徴量群より、登録する映像シーケンスを代表する代表レイアウト特徴量を算出する。 代表レイアウト特徴量を算出する方法としてはさまざまな方法が考えられるが、レイアウト特徴量群の平均化による方法、メジアンを利用する方法を図２、図３のフローチャートを用いて示す。
【００４０】
図２は平均化による代表レイアウト特徴量の生成手順を示すフローチャートである。レイアウト特徴量として輝度６係数、色差各３係数ずつを特徴量として持つＣＯＬＯＲ ＬＡＹＯＵＴを例にして手順を示す。図４は、各フレームのＣＯＬＯＲ ＬＡＹＯＵＴの各要素の値を示したものである。ＹＤＣは輝度直流成分，ＣｂＤＣ，ＣｒＤＣは色差直流成分、ＹＡＣ［ｎ］はｎ番目の輝度交流成分、ＣｂＡＣ［ｎ］ＣｒＡＣ［ｎ］はｎ番目の色差交流成分をさす。
【００４１】
まず、レイアウト特徴量の各要素の合計値を０にリセットする（ステップＡ１）。次に、レイアウト特徴量抽出手段により抽出されたフレームのレイアウト特徴量をフレーム毎に読み込む。そして読み込まれたフレーム特徴量の各要素の持つ値を全てのフレームについて加算する（ステップＡ２〜Ａ４）。例えば、図４の表の要素ＹＤＣ（輝度直流成分）に着目すると、合計値は３１＋１１＋１５＋２１＋３２＝１１０となる。
【００４２】
全フレームのレイアウト特徴量の各要素毎の合計値をフレーム数で正規化することにより、平均値を算出する（ステップＡ５）。図４の表の要素ＹＤＣ（輝度直流成分）に着目すると、平均値は１１０÷５＝２２となる。算出された平均値の集合を代表レイアウト特徴量とする（ステップＡ６）。図４の表の例では、ＡＶＥＲＡＧＥレコードに示した値が代表レイアウト特徴量となる。
【００４３】
図３はメジアンによる代表レイアウト特徴量の生成手順を示すフローチャートである。レイアウト特徴量として輝度６係数、色差各３係数ずつを特徴量として持つＣＯＬＯＲ ＬＡＹＯＵＴを例にして手順を示す。図５は、各フレームのＣＯＬＯＲ ＬＡＹＯＵＴの各要素の値を示したものである。ＹＤＣは輝度直流成分，ＣｂＤＣ，ＣｒＤＣは色差直流成分、ＹＡＣ［ｎ］はｎ番目の輝度交流成分、ＣｂＡＣ［ｎ］ＣｒＡＣ［ｎ］はｎ番目の色差交流成分をさす。
【００４４】
まず、レイアウト特徴量の各要素の合計値を０にリセットする（ステップＢ１）。次に、レイアウト特徴量抽出手段により抽出された全フレームのレイアウト特徴
量を読み込む。そして読み込まれた全フレーム特徴量の各要素の持つ値を要素毎に昇順に並べ替える（ステップＢ２〜Ｂ３）。例えば、図５の表の要素ＹＤＣ（輝度直流成分）に着目すると、並べ替えた結果は３２、３１，２１，１５，１１となる。
【００４５】
全フレームのレイアウト特徴量の各要素毎に昇順に並べ替えた数字列より中央値を取得することにより、メジアンを求める（ステップＢ４）。図５の表の要素ＹＤＣ（輝度直流成分）に着目すると、メジアンは２１となる。算出されたメジアンの集合を代表レイアウト特徴量とする（ステップＢ５）。図５の表の例では、ＭＥＤＩＡＮレコードに示した値が代表レイアウト特徴量となる。
【００４６】
このほかにも、各要素を昇順に並べ替えたのちに、メジアンを求めるかわりに各要素の最小値のみを選択する方法も考えられる。
【００４７】
抽出された代表特徴量は、所定の記述スキームに基づいて記述する。記述スキームを定義しておき、端末間で共有することにより、記述されたデータを他端末と交換したり、複数の端末を連携して利用することが可能となる。
【００４８】
記述スキームとしては、さまざまなものを用いることができる。
【００４９】
記述スキームの一例を図６に示す。代表レイアウト特徴量としてＣｏｌｏｒＬａｙｏｕｔ， ＥｄｇｅＨｉｓｔｏｇｒａｍ のいずれか一方を選択し、代表レイアウト特徴量を生成した方法（ａｇｇｒｅｇａｔｉｏｎ）として平均化（Ａｖｅｒａｇｅ）、メジアン（Ｍｅｄｉａｎ）、最小値（Ｉｎｔｅｒｓｅｃｔｉｏｎ）のいずれか１つを選択するように定義する。
また、記述スキームをベースに記述するかわりに、バイナリ表現により特徴量記述することもできる。バイナリ表現による特徴量記述のシンタックスの一例を図１５に示す。バイナリ表現による特徴量記述にあたっては、まず代表レイアウト特徴量を生成する方法（アグリゲーション）が規定されているか否かを記述する。アグリゲーションを記述する場合には１が、そうでない場合は０が割り当てられる。次に、アグリゲーションを記述する場合、代表レイアウト特徴量の生成方法を記述する。平均（Ａｖｅｒａｇｅ）の場合は００１、メジアン（Ｍｅｄｉａｎ）の場合は０１０、最小値（Ｉｎｔｅｒｓｅｃｔｉｏｎ）の場合は０１１が割りあてられる。そして、代表レイアウト特徴量として選択された特徴量を表す識別子が割り当てられる。ＣｏｌｏｒＬａｙｏｕｔの場合には４が， ＥｄｇｅＨｉｓｔｏｇｒａｍ の場合には８が割り当てられる。さらに、選択された特徴量の中身をバイナリ表現したものが続く。バイナリ表現方法はＩＳＯ／ＩＥＣ １５９３８−３ により定義されたバイナリ表現方法を用いる。
【００５０】
図６における記述スキーム、および図１５に示すバイナリシンタックスにおけるセマンティクスは以下のとおりである。
【００５１】
・ＤｅｓｃｒｉｐｔｏｒＩＤ
このフィールドは代表特徴量の種類を特定するための識別子である。 ＣｏｌｏｒＬａｙｏｕｔ の場合は４が割り当てられ、ＥｄｇｅＨｉｓｔｏｇｒａｍの場合は８が割り当てられる。他の値は禁止されている。
【００５２】
・Ｄｅｓｃｒｉｐｔｏｒ
このフィールドは国際標準規格 ＩＳＯ／ＩＥＣ １５８３８−３ で定められている記述ツールを用いて生成された特徴量を表す。使用可能なツールは ＣｏｌｏｒＬａｙｏｕｔ および ＥｄｇｅＨｉｓｔｏｇｒａｍ である。
【００５３】
・ＡｇｇｒｅｇａｔｉｏｎＦｌａｇ
このフィールドはアグリゲーションが規定されているかを表す。”１”が割り当てられている場合、アグリゲーションの属性は以下のとおりである。
【００５４】
・ａｇｇｒｅｇａｔｉｏｎ
このオプショナルフィールドでは、フレーム／画像のグループより、代表特徴量を生成するためのアグリゲーション方法が指定される。アグリゲーションは、フレームや画像のグループに含まれる要素全体に対して行われる。以下の３種類のうちのいずれかが適用できる。
【００５５】
・Ａｖｅｒａｇｅ
平均によるアグリゲーションとは、各フレーム／画像の特徴量各要素を逐次加算していき、フレーム／画像数で正規化することにより特徴量を構成する各要素が算出されることを意味する。
【００５６】
・Ｍｅｄｉａｎ
メジアンによるアグリゲーションとは、各フレーム／画像の特徴量各要素の値を昇順に並べ替えたリストを生成し、このリストよりメジアンを取得して代表値とすることを意味する。
【００５７】
・Ｉｎｔｅｒｓｅｃｔｉｏｎ
インターセクションによるアグリゲーションとは、代表特徴量を構成する各要素が、全フレーム／画像に含まれる特徴量から各要素についての最低値を算出することにより取得されることを意味する。
【００５８】
なお、一部のアグリゲーション方法の使用は禁じられている。各特徴量について使用できるアグリゲーション方法は図１４において”Ｙ”マークにより指定されている。
【００５９】
カラーレイアウト、エッジヒストグラムの双方について アグリゲーション方法としてＡｖｅｒａｇｅ、Ｍｅｄｉａｎを適用できることを示す。
【００６０】
アグリゲーション方法（ＡｇｇｒｅｇａｔｉｏｎＴｙｐｅ）のバイナリ表現記述に際しては、図１６のテーブルが使用される。具体的には、平均（Ａｖｅｒａｇｅ）の場合は００１、メジアン（Ｍｅｄｉａｎ）の場合は０１０、最小値（Ｉｎｔｅｒｓｅｃｔｉｏｎ）の場合は０１１が割りあてられる。
【００６１】
図１７に別の記述スキーム例を示す。代表特徴量としてＣｏｌｏｒＬａｙｏｕｔ、もしくはＥｄｇｅＨｉｓｔｏｇｒａｍだけでなく、ＭＰＥＧ−７ で規定されているあらゆる画像特徴量のうち１つもしくは複数をインスタンス化することができる。なお、ＰｉｃｔｕｒｅＴｙｐｅ とは、静止画像特徴量をひとまとめにした記述スキームである。
【００６２】
また、アグリゲーション方法は必ずしも規定されたものである必要はなく、未定義（ｕｎｓｐｅｃｉｆｉｅｄ）を選択することもできる。未定義としておくことにより、システム固有のアグリゲーション方法を定めて利用することができる。
【００６３】
このように、共通の記述スキームをベースに代表レイアウト特徴量を記述することで、複数のシステムで代表レイアウト特徴量を交換したり、複数の記憶装置より代表レイアウト特徴量を呼び出すことができる。
【００６４】
また、バイナリ表現シンタックスを定め、これをベースに代表レイアウト特徴量をバイナリ記述することにより、記述スキームをベースに記述する場合に比べて特徴量を大幅に少ない情報量で記述することができる。
【００６５】
記憶部３２は、代表レイアウト特徴量記憶部１０３と、レイアウト特徴量群記憶部１０４とから構成される。
【００６６】
代表レイアウト特徴量記憶部１０３は、代表レイアウト特徴量算出手段１０２により算出された代表レイアウト特徴量を記憶する。また、レイアウト特徴量群記憶部は、レイアウト特徴量抽出手段１０１により抽出された各フレームのレイアウト特徴量を記憶する。
【００６７】
識別部３３は、レイアウト特著量抽出手段１０５と、代表レイアウト特徴量算出手段１０６と、映像シーケンス選定手段１０７と映像シーケンス識別手段１０８とからなる。
【００６８】
レイアウト特徴量抽出手段１０５は、入力された問合せ映像シーケンスの各フレームより、レイアウト特徴量を抽出する。抽出方法はレイアウト特徴量算出手段１０１と同様である。
【００６９】
代表レイアウト特徴量算出手段１０６は、レイアウト特徴量抽出手段１０５により抽出されたレイアウト特徴量群より、問合せ映像シーケンスを代表する代表レイアウト特徴量を算出する。算出方法は代表レイアウト特徴量算出手段１０２と同様である。
【００７０】
映像シーケンス選定手段１０７は、代表レイアウト特徴量算出手段１０６より生成された問合せ映像シーケンスの代表レイアウト特徴量と、代表レイアウト特徴量記憶部１０３に記憶された登録映像シーケンスの代表レイアウト特徴量を比較することにより、類似性を評価し、問合せ映像シーケンスと同一内容である可能性があると判定された登録映像シーケンスのみを選定する。
【００７１】
映像シーケンス識別手段１０８は、映像シーケンス選定手段１０７により選定された登録映像シーケンスについて、レイアウト特徴量算出手段１０５より生成された問合せ映像シーケンスのレイアウト特徴量群と、レイアウト特徴量群記憶部１０４に記憶された登録映像シーケンスのレイアウト特徴量群を比較する。比較により類似性を評価し、問合せ映像シーケンスと同一内容であるか否かを判定し、同一内容の登録映像が存在した場合に、同一内容の登録映像シーケンスの識別子を出力する。
【００７２】
図１および図７を参照しながら映像シーケンス識別手順について説明する。図７は、本実施形態における映像シーケンス識別手順を示すフローチャートである。まず、代表レイアウト特徴量記憶部１０３に、あらかじめ登録映像シーケンス全てについての代表レイアウト特徴量を映像を表す識別子とともに記憶しておく。また、レイアウト特徴量記憶部１０４に、あらかじめ登録映像シーケンス全てについてのレイアウト特徴量群を映像を表す識別子とともに記憶しておく（ステップＣ１）。
【００７３】
与えられた問合せ映像シーケンスから、レイアウト特徴量抽出手段１０５、および代表レイアウト特徴量算出手段１０６によりレイアウト特徴量および代表レイアウト特徴量を抽出する（ステップＣ２〜Ｃ３）。
【００７４】
続いて、映像シーケンス選定手段１０７は、登録映像シーケンスの代表レイアウト特徴量を１つ読み込み、読み込まれた代表レイアウト特徴量と問合せ映像シーケンスの代表レイアウト特徴量とをフレーム単位で比較する（ステップＣ４〜Ｃ５）。問合せ映像シーケンスの代表レイアウト特徴量と、読み出した登録映像シーケンスの代表レイアウト特徴量との距離を算出し、算出された距離が所定のしきい値以下であるかどうか判定する（ステップＣ６）。 算出された距離が所定のしきい値以下であった場合、問合せ映像シーケンスと登録映像シーケンスは同一内容である可能性があると判定され、該当する登録映像シーケンスの識別子を出力する（ステップＣ６のＹＥＳ）。
【００７５】
映像シーケンス識別手段１０８は、同一内容である可能性があると判定された映像シーケンスの識別子に対応するレイアウト特徴量群を読み込む（ステップＣ７）。読み込まれたレイアウト特徴量群と、問い合わせ特徴量群のレイアウト特徴量群を比較する（ステップＣ８）。レイアウト特徴量の時系列データの比較方法は、例えば特許文献１：特開２０００−２５９８３２号公報等に記載されている方法を用いることにより高速に比較することができる。比較した結果、問合せ映像シーケンスと登録映像シーケンスが同一内容であると判定された場合には、登録映像シーケンスの識別子を出力する（ステップＣ９〜Ｃ１０）。
【００７６】
上述したように、第１実施形態では、映像シーケンス選定手段１０７および映像シーケンス識別手段１０８を設けることにより、代表レイアウト特徴量を比較した時点で同一内容である可能性のないと判定された登録映像シーケンスについて、処理コストを必要とするレイアウト特徴量群のフレーム単位の比較処理を全てスキップすることができるため、識別精度を落とすことなく照合処理コストを大幅に削減できる。
【００７７】
また、代表レイアウト特徴量算出手段１０２により映像シーケンスの代表レイアウト特徴量を生成し、代表レイアウト特徴量記憶部１０４に記憶しておくことにより、少ないコストで同一内容の可能性のある登録映像シーケンスを選定することができる。
【００７８】
（第２実施形態）
本発明の第２実施形態では、図８に示すように、レイアウト特徴量抽出手段１０５および代表レイアウト特徴量算出手段１０６を設けるかわりに、あらかじめ問合せ映像シーケンスの代表レイアウト特徴量およびレイアウト特徴量群を抽出しておき、代表レイアウト特徴量記憶部１０３およびレイアウト特徴量群記憶部１０４に記憶しておく。
【００７９】
映像シーケンス選定手段１０７は、代表レイアウト特徴量記憶部１０３に記憶された問合せ映像シーケンスの代表レイアウト特徴量と登録映像シーケンスの代表レイアウト特徴量とを比較することにより、類似性を評価し、問合せ映像シーケンスと同一内容である可能性があると判定された登録映像シーケンスのみを選定する。
【００８０】
映像シーケンス識別手段１０８は、映像シーケンス選定手段１０７により選定された登録映像シーケンスについて、レイアウト特徴量群記憶部１０４に記憶された問合せ映像シーケンスのレイアウト特徴量群と登録映像シーケンスのレイアウト特徴量群を比較することにより、類似性を評価し、問合せ映像シーケンスと同一内容であるか否かを判定し、同一内容の登録映像が存在した場合に出力する。特徴量算出演算がなくなることで高速処理が可能となる。
【００８１】
第２実施形態では、映像シーケンス選定手段１０７および映像シーケンス識別手段１０８を設けることにより、代表レイアウト特徴量を比較した時点で同一内容である可能性のないと判定された登録映像シーケンスについて、処理コストを必要とするレイアウト特徴量群の比較を全てスキップすることができるため、識別精度を落とすことなく照合処理コストを大幅に削減できる。
【００８２】
（第３実施形態）
本発明の第３実施形態では、図９に示すように、本実施の形態に係る映像識別システムは、映像シーケンスより特徴量を抽出生成することにより映像の信号特徴を記述する記述部３１と、登録する映像の特徴量を記憶する記憶部３５と、問合せ映像シーケンスと選定部３６とからなる。
【００８３】
記述部３１は、第１実施形態と同様である。
【００８４】
記憶部３５は、代表レイアウト特徴量記憶部１０３からなる。代表レイアウト特徴量記憶部１０３は、記述部３１により生成された代表レイアウト特徴量を記憶する。
【００８５】
選定部３６は、レイアウト特徴量抽出手段１０５と、代表レイアウト特徴量算出手段１０６と、映像シーケンス選定手段１０７とから構成される。レイアウト特徴量抽出手段１０５と、代表レイアウト特徴量算出手段１０６と、映像シーケンス選定手段１０７の機能は、第１実施形態と同様である。
【００８６】
第３実施形態では、映像シーケンス選定手段１０７を設けることにより、同一内容である可能性のない登録映像シーケンスを選定できる。また、代表レイアウト特徴量算出手段１０２により映像シーケンスの代表レイアウト特徴量を生成し、代表レイアウト特徴量記憶部１０４に記憶しておくことにより、少ないコストで同一内容の可能性のある登録映像シーケンスを選定することができる。
【００８７】
（第４実施形態）
本発明の第４実施形態では、図１０に示すように、第３実施例に対して、レイアウト特徴量抽出手段１０５および代表レイアウト特徴量算出手段１０６を設けるかわりに、あらかじめ問合せ映像シーケンスの代表レイアウト特徴量を算出しておき、代表レイアウト特徴量記憶部１０３に記憶しておく。
【００８８】
第４実施形態では、映像シーケンス選定手段１０７を設けることにより、同一内容である可能性のない登録映像シーケンスを選定できる。また、代表レイアウト特徴量算出手段１０２により映像シーケンスの代表レイアウト特徴量を生成し、代表レイアウト特徴量記憶部１０４に記憶しておくことにより、少ないコストで同一内容の可能性のある登録映像シーケンスを選定することができる。
【００８９】
（第５実施形態）
本発明の第５実施形態では、図１１に示すように、本実施の形態に係る映像記述システムは、映像シーケンスより特徴量を抽出生成することにより映像の信号特徴を記述する記述部３１と、登録する映像の特徴量を記憶する記憶部３５とからなる。記述部３１と記憶部３５の作用は第３実施例と同様である。
【００９０】
第５実施形態では、代表レイアウト特徴量算出手段１０２により映像シーケンスの代表レイアウト特徴量を生成し、代表レイアウト特徴量記憶部１０４に記憶しておくことにより、少ないコストで同一内容の可能性のある登録映像シーケンスを選定するための情報を提供することができる。
【００９１】
（実施例）
映像としてコマーシャル（ＣＭ）を利用したコマーシャル識別システムを示す。本システムでは、受信した放送映像からカラーレイアウト記述子を生成し，データベースに登録された各ＣＭと逐一照合し，放送中のＣＭが何であるかを識別する．識別結果は放送調査レポートとしてユーザに通知される．
はじめに、１５秒のＣＭ映像を登録する。ＣＭ映像の各フレームよりカラーレイアウトを抽出し、抽出されたカラーレイアウト群より、各ＣＭ映像を代表するカラーレイアウトを算出する。算出された代表カラーレイアウトと、抽出されたカラーレイアウト群をＣＭデータベースに記憶しておく。
【００９２】
次に、放送波から取得した画像のカラーレイアウト配列と，あらかじめ登録されている各ＣＭのカラーレイアウト配列の照合が必要となる．
放送映像より１５秒の間に含まれるフレームを逐次問合せ映像シーケンスとして入力する。問合せ映像シーケンスよりカラーレイアウトを抽出し、抽出されたカラーレイアウト群より代表カラーレイアウトを生成する。
【００９３】
代表カラーレイアウトの比較により、問合せ映像シーケンスである現在放送されている映像と同一内容である可能性のあるＣＭを選定する。
【００９４】
そして、選定されたＣＭと問合せ映像シーケンス内に含まれる全フレームのカラーレイアウトを比較する。全ての選定されたＣＭとの距離計算による検索の結果、最も類似していると判定されたＣＭとの特徴量距離が予め定めた閾値以下の場合、放送中のビデオシーンをそのＣＭであると判定する。リアルタイム検知のためには、入力画像のサンプリング間隔以内に検索処理を終了することが要求される。
【００９５】
識別結果は放送調査レポートとしてユーザに通知される。
【００９６】
なお、本実施例において、代表カラーレイアウトの比較工程を含む場合、および代表カラーレイアウトの比較工程を含まず全てのＣＭについて問合せ映像シーケンス内に含まれる全フレームのカラーレイアウトを照合した場合の照合回数の比較を行ったところ、識別精度を全く落とすことなく照合回数を１０％程度に削減することができた。
【００９７】
尚、上述の実施形態は本発明の好適な実施の一例である。但し，これに限定されるものではなく，本発明の要旨を逸脱しない範囲内において種々変形実施が可能ある。
【００９８】
【発明の効果】
以上詳細に説明したように、本発明によれば、代表レイアウト特徴量を比較した時点で同一内容である可能性のないと判定された登録映像シーケンスについて、処理コストを必要とするレイアウト特徴量群のフレーム単位の比較処理を全てスキップすることができるため、識別精度を落とすことなく照合処理コストを大幅に削減できる。
【００９９】
また、映像シーケンスの代表レイアウト特徴量を生成し記憶しておくことにより、少ないコストで同一内容の可能性のある登録映像シーケンスを選定するための情報を提供することができる。
【０１００】
さらに、共通の記述スキーマをベースに代表レイアウト特徴量を記述することで、複数のシステムで代表レイアウト特徴量を交換したり、複数の記憶装置より代表レイアウト特徴量を呼び出すことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示す示すブロック図である。
【図２】第１の実施の形態における平均による代表レイアウト特徴量の生成手順を示す流れ図である。
【図３】第１の実施の形態におけるメジアン取得による代表レイアウト特徴量の生成手順を示す流れ図である。
【図４】第１の実施の形態における平均化によるカラーレイアウト値の一例を示す図である。
【図５】第１の実施の形態におけるメジアン取得によるカラーレイアウト値の一例を示す図である。
【図６】第１の実施の形態における記述スキームを示す図である。
【図７】第１の実施の形態の映像識別手順を示す流れ図である。
【図８】本発明の第２の実施の形態の構成を示す示すブロック図である。
【図９】本発明の第３の実施の形態の構成を示す示すブロック図である。
【図１０】本発明の第４の実施の形態の構成を示す示すブロック図である。
【図１１】本発明の第５の実施の形態の構成を示す示すブロック図である。
【図１２】従来のシステムを示す図である。
【図１３】従来のシステムを示す図である。
【図１４】第１の実施の形態における各特徴量について使用できるアグリゲーション方法を示す図である。
【図１５】第１の実施の形態におけるバイナリ記述シンタックスを示す図である。
【図１６】第１の実施の形態におけるアグリゲーション方法のバイナリ表現記述の一例を示す図である。
【図１７】第１の実施の形態における他の記述スキームを示す図である。
【符号の説明】
１１ ヒストグラム生成手段
１２ 代表ヒストグラム算出手段
１３ 記述ファイル生成手段
１４ 代表ヒストグラム記憶部
１５ ヒストグラム生成手段
１６ 代表ヒストグラム算出手段
１７ 類似度算出手段
１８ 類似度ソート手段
１９ 類似映像表示手段
２１ 特徴量抽出フレーム選定手段
２２ カラーレイアウト群生成手段
２３ 記述ファイル生成手段
２４ カラーレイアウト群記憶部
２５ 特徴量抽出フレーム選定手段
２６ カラーレイアウト群生成手段
２７ 映像識別部
３１ 記述部
３２ 記憶部
３３ 識別部
３４ 識別部
３５ 記憶部
３６ 選定部
３７ 選定部
１０１ レイアウト特徴量抽出手段
１０２ 代表レイアウト特徴量算出手段
１０３ 代表レイアウト特徴量記憶部
１０４ レイアウト特徴量群記憶部
１０５ レイアウト特徴量抽出手段
１０６ 代表レイアウト特徴量算出手段
１０７ 映像シーケンス選定手段
１０８ 映像シーケンス識別手段
【発明の属する技術分野】
本発明は、映像記述システムおよび映像識別システムに関する。
【０００２】
【従来の技術】
従来、この種の映像シーケンス記述システムは類似する映像シーケンス（映像に含まれるフレームの集合）を検索するための特徴量を記述する目的で用いられている。従来の映像シーケンス記述システムを用いた映像シーケンス検索システムの一例が、非特許文献１：Ａ． Ｍｕｆｉｔ Ｆｅｒｍａｎ ｅｔ ａｌ．， ”ＧＲＯＵＰ−ＯＦ−ＦＲＡＭＥ／ＰＩＣＴＵＲＥ ＣＯＬＯＲ ＨＩＳＴＯＧＲＡＭ ＤＥＳＣＲＩＰＴＯＲＳ ＦＯＲ ＭＵＬＴＩＭＥＤＩＡ ＡＰＰＬＩＣＡＴＩＯＮＳ”、ＩＣＩＰ２０００ に記載されている。この論文に記載された映像シーケンス検索システムを図１２に示す。
【０００３】
映像シーケンス検索システムは、ヒストグラム生成手段１１と、代表ヒストグラム生成手段１２と、記述ファイル生成手段１３と、代表ヒストグラム蓄積部１４と、ヒストグラム生成手段１５と、代表ヒストグラム生成手段１６と、類似度算出手段１７と、類似度ソート手段１８と、類似映像表示手段１９とからなる。
【０００４】
ヒストグラム生成手段１１は、データベースに登録する対象となる映像シーケンスの各フレームよりカラーヒストグラムを抽出する。代表ヒストグラム生成手段１２は、ヒストグラム生成手段１１により抽出された全てのフレームについてのカラーヒストグラム各ビンの平均値を算出する。記述ファイル生成手段１３は、算出された平均値を所定の書式に基づき記述した上で代表ヒストグラム記憶部１４に記憶する。
【０００５】
ヒストグラム生成手段１５は、問合せ映像として与えられた映像シーケンスの各フレームよりカラーヒストグラムを抽出する。代表ヒストグラム生成手段１６は、ヒストグラム生成手段１５により抽出された全てのフレームについてのカラーヒストグラム各ビンの平均値を代表ヒストグラムとして算出する。類似度算出手段１７は、代表ヒストグラム生成手段１６により生成された代表ヒストグラムと、代表ヒストグラム蓄積部１４に蓄積された各代表ヒストグラムそれぞれとの類似度を算出する。類似度ソート手段１８は、類似度の高い順番に登録されている映像を並べ替える。類似映像表示手段１９は、類似度の高い順番で映像を表示する。
【０００６】
別の代表的な映像識別システムが特許文献１：特開２０００−２５９８３２号公報に掲載されている。この公報に記載された映像シーケンス検索システムを図１３に示す。映像シーケンス識別システムは、特徴量抽出フレーム選定手段２１と、カラーレイアウト群生成手段２２と、記述ファイル生成手段２３と、カラーレイアウト群記憶部２４と、特徴量フレーム選定手段２５と、カラーレイアウト群生成手段２６と、映像識別手段２７とからなる。
【０００７】
特徴量抽出フレーム選定手段２１は、データベースに登録する対象となる映像シーケンスより特徴量を抽出する対象となるフレーム群を選定する。カラーレイアウト群生成手段２２は、選択された各フレームより画像のカラーレイアウト特徴を示す特徴量を抽出する。記述ファイル生成手段２３は、算出された特徴量群を所定の書式に基づき記述した上でカラーレイアウト群記憶部２４に記憶する。
【０００８】
特徴量抽出フレーム選定手段２５は、問合せ映像として与えられた映像シーケンスより特徴量を抽出する対象となるフレーム群を選定する。カラーレイアウト群生成手段２６は、選択された各フレームより画像のカラーレイアウト特徴を示す特徴量を抽出する。映像識別手段２７は、カラーレイアウト群生成手段２６により生成されたカラーレイアウト群と、代表カラーレイアウト群２４に蓄積されたカラーレイアウト群を各フレーム毎のカラーレイアウトを順に比較することにより、問合せ映像シーケンスがカラーレイアウト群記憶部に記憶された映像シーケンスのどれと一致しているとみなせるか、またいずれでもないかを判定し、識別結果として出力する。
【０００９】
【特許文献１】
特開２０００−２５９８３２号公報（第９頁−第１３頁）
【非特許文献１】
Ａ． Ｍｕｆｉｔ Ｆｅｒｍａｎ ｅｔ ａｌ．， ”ＧＲＯＵＰ−ＯＦ−ＦＲＡＭＥ／ＰＩＣＴＵＲＥ ＣＯＬＯＲ ＨＩＳＴＯＧＲＡＭ ＤＥＳＣＲＩＰＴＯＲＳ ＦＯＲ ＭＵＬＴＩＭＥＤＩＡ ＡＰＰＬＩＣＡＴＩＯＮＳ”、ＩＣＩＰ２０００
【００１０】
【発明が解決しようとする課題】
しかしながら、上述した従来のシステムでは、次のような問題がある。
【００１１】
上述した非特許文献１に示されたＦｅｒｍａｎらのシステムは，映像シーケンスを代表するカラーヒストグラム１つのみを比較するため、比較回数を少なく抑えることにより高速な検索処理を実現できるが，映像シーケンスを識別するのに十分な性能が得られないという問題点がある。また、カラーヒストグラムはレイアウト構造が考慮されていないため、同じ色を持つが構図の異なる映像をも誤って検索してしまうという問題点もある。
【００１２】
また、特許文献１：特開２０００−２５９８３２の手法は、フレーム単位で特徴量比較するため十分な識別性能が得られるかわりに、フレーム単位で特徴量比較するため照合回数が多く処理コストがかかるという問題点がある。
【００１３】
本発明は、上述の事情に鑑みてなされたものであり、その目的は、フレーム単位の照合が必要な映像シーケンスを選定できるように映像シーケンス記述を行うことにより、映像シーケンスの識別精度を落とすことなく識別処理の高速化を実現することになる。
【００１４】
【課題を解決するための手段】
本発明による映像記述システムは、映像シーケンスの各フレームよりレイアウト特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出されたレイアウト特徴量群より、映像シーケンスを代表するレイアウト特徴量を算出する代表特徴量算出手段と、を有することを特徴とする。
【００１５】
また、本発明による映像記述システムは、映像シーケンスの各フレームよりレイアウト特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出されたレイアウト特徴量群より、映像シーケンスを代表するレイアウト特徴量を算出する代表特徴量算出手段と、前記代表特徴量算出手段より算出された代表レイアウト特徴量を記憶する代表レイアウト特徴量記憶部と、を有することを特徴とする。
【００１６】
本発明による映像記述システムは、映像シーケンスの各フレームよりレイアウト特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出されたレイアウト特徴量群より、映像シーケンスを代表するレイアウト特徴量を算出する代表特徴量算出手段と、前記代表特徴量算出手段より算出された代表レイアウト特徴量を記憶する代表レイアウト特徴量記憶部と、前記特徴量抽出手段より算出されたレイアウト特徴量群を記憶するレイアウト特徴量群記憶部と、を有することを特徴とする。
【００１７】
前記代表特徴量算出手段は、前記特徴量抽出手段により抽出されたレイアウト特徴量の各要素の平均値を求め代表特徴量とすることを特徴とする。
【００１８】
前記代表特徴量算出手段は、前記特徴量抽出手段により抽出されたレイアウト特徴量のそれぞれの要素について昇順または降順にならべかえたうえで、メジアンを算出し代表特徴量とすることを特徴とする。
【００１９】
前記レイアウト特徴量が、カラーレイアウト情報であることを特徴とする。
【００２０】
前記レイアウト特徴量が、エッジヒストグラム情報であることを特徴とする。
【００２１】
前記代表特徴量が代表特徴量として ＣｏｌｏｒＬａｙｏｕｔ および ＥｄｇｅＨｉｓｔｏｇｒａｍ を少なくとも含む複数の特徴量より１つが選択可能であり、代表特徴量算出方法として Ａｖｅｒａｇｅ、Ｍｅｄｉａｎ、Ｉｎｅｒｓｅｃｔｉｏｎ を少なくとも含む複数の方法より１つが選択可能である記述スキームに基づき記述されることを特徴とする。
【００２２】
本発明による映像記述システムは、映像シーケンスを代表するレイアウト特徴量を代表レイアウト特徴量として記憶する代表レイアウト特徴量記憶部と、代表レイアウト特徴量記憶部に記憶された問合せ映像シーケンスの代表レイアウト特徴量と登録されている映像シーケンスの代表レイアウト特徴量とを比較することにより問合せ映像シーケンスと類似する映像シーケンスを選定する映像シーケンス選定手段と、を有することを特徴とする。
【００２３】
本発明による映像記述システムは、映像シーケンスを代表するレイアウト特徴量を代表レイアウト特徴量として記憶する代表レイアウト特徴量記憶部と、問合せ映像シーケンスの各フレームよりレイアウト特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出されたレイアウト特徴量群より、問合せ映像シーケンスを代表するレイアウト特徴量を算出する代表特徴量算出手段と、代表特徴量算出手段により算出された代表レイアウト特徴量と、代表レイアウト特徴量記憶部に記憶された代表レイアウト特徴量とを比較することにより問合せ映像シーケンスと類似するシーケンスを選定する映像シーケンス選定手段と、を有することを特徴とする。
【００２４】
本発明による映像記述システムは、映像シーケンスを代表するレイアウト特徴量を代表レイアウト特徴量として記憶する代表レイアウト特徴量記憶部と、映像シーケンスの各フレームに対応するレイアウト特徴量を記憶するレイアウト特徴量群記憶部と、問合せ映像シーケンスの各フレームよりレイアウト特徴量を抽出する特徴量抽出手段と、前記特徴量抽出手段により抽出されたレイアウト特徴量群より、問合せ映像シーケンスを代表するレイアウト特徴量を算出する代表特徴量算出手段と、代表特徴量算出手段により算出された代表レイアウト特徴量と、代表レイアウト特徴量記憶部に記憶された代表レイアウト特徴量とを比較することにより問合せ映像シーケンスと類似するシーケンスを選定する映像シーケンス選定手段と、前記映像シーケンス選定手段により選定された映像シーケンスについて、前記レイアウト特徴量抽出手段により抽出されたレイアウト特徴量群と、前記レイアウト特徴量群に記憶されたレイアウト特徴量とを照合する照合手段と、を有することを特徴とする。
【００２５】
本発明による映像記述システムは、前記代表特徴量算出手段は、前記特徴量抽出手段により抽出されたレイアウト特徴量の各要素の平均値を求め代表特徴量とすることを特徴とする。
【００２６】
本発明による映像記述システムは、前記代表特徴量算出手段は、前記特徴量抽出手段により抽出されたレイアウト特徴量のそれぞれの要素について昇順または降順にならべかえたうえで、メジアンを算出し代表特徴量とすることを特徴とする。
【００２７】
本発明による映像記述システムは、前記レイアウト特徴量が、カラーレイアウト情報であることを特徴とする。
【００２８】
本発明による映像記述システムは、前記レイアウト特徴量が、エッジヒストグラム情報であることを特徴とする。
【００２９】
本発明による映像記述システムは、前記代表特徴量が、記述スキーム代表特徴量として ＣｏｌｏｒＬａｙｏｕｔ および ＥｄｇｅＨｉｓｔｏｇｒａｍ を少なくとも含む複数の特徴量より１つが選択可能であり、代表特徴量算出方法として Ａｖｅｒａｇｅ、Ｍｅｄｉａｎ、Ｉｎｔｅｒｓｅｃｔｉｏｎ を少なくとも含む複数の方法より１つが選択可能である記述スキームに基づき記述されることを特徴とする。
【００３０】
上述したように、本発明によれば、代表レイアウト特徴量を比較した時点で同一内容である可能性のないと判定された登録映像シーケンスについて、処理コストを必要とするレイアウト特徴量群のフレーム単位の比較処理を全てスキップすることができるため、識別精度を落とすことなく照合処理コストを大幅に削減できる。
【００３１】
また、映像シーケンスの代表レイアウト特徴量を生成し記憶しておくことにより、少ないコストで同一内容の可能性のある登録映像シーケンスを選定するための情報を提供することができる。
【００３２】
さらに、共通の記述スキーマをベースに代表レイアウト特徴量を記述することで、複数のシステムで代表レイアウト特徴量を交換したり、複数の記憶装置より代表レイアウト特徴量を呼び出すことができる。
【００３３】
【発明の実施の形態】
次に本発明の実施の形態について図面を参照して詳細に説明する。
【００３４】
図１は本発明に係る映像識別システムの第１の実施の形態の構成例を示すブロック図である。
【００３５】
図１に示すように、本実施の形態に係る映像識別システムは、映像シーケンスより特徴量を抽出生成することにより映像の信号特徴を記述する記述部３１と、登録する映像の特徴量を記憶する特徴量記憶部３２と、問合せ映像シーケンスと登録映像シーケンス映像識別部３３とからなる。
【００３６】
記述部３１は、レイアウト特徴量抽出部１０１と、代表レイアウト特徴量算出手段１０２とからなる。
【００３７】
レイアウト特徴量抽出手段１０１は、登録する映像シーケンスの各フレームより、レイアウト特徴量を抽出する。
【００３８】
カラーヒストグラムでは問合せ画像と比べて色が異なるが同一内容の画像を識別することは困難である。同一内容の映像同士では，色がずれることがあっても，画像の構図が変わることはほとんどないため，ビデオを識別するためには，画像のおおまかな構図を表現するレイアウト特徴量を用いることが有効であると考えられるため、レイアウト特徴量を利用する。レイアウト特徴量としてはさまざまなものが考えられるが、国際標準規格 ＩＳＯ／ＩＥＣ １５８３８−３ ＭＰＥＧ−７ ＶＩＳＵＡＬ で定められており、色のレイアウト構造を表すＣＯＬＯＲ ＬＡＹＯＵＴ ＤＥＳＣＲＩＰＴＯＲ、またはエッジのレイアウト構造を現すＥＤＧＥＨＩＳＴＯＧＲＡＭ ＤＥＳＣＲＩＰＴＯＲを用いる。
【００３９】
代表レイアウト特徴量算出手段１０２は、レイアウト特徴量抽出手段１０１により抽出されたレイアウト特徴量群より、登録する映像シーケンスを代表する代表レイアウト特徴量を算出する。 代表レイアウト特徴量を算出する方法としてはさまざまな方法が考えられるが、レイアウト特徴量群の平均化による方法、メジアンを利用する方法を図２、図３のフローチャートを用いて示す。
【００４０】
図２は平均化による代表レイアウト特徴量の生成手順を示すフローチャートである。レイアウト特徴量として輝度６係数、色差各３係数ずつを特徴量として持つＣＯＬＯＲ ＬＡＹＯＵＴを例にして手順を示す。図４は、各フレームのＣＯＬＯＲ ＬＡＹＯＵＴの各要素の値を示したものである。ＹＤＣは輝度直流成分，ＣｂＤＣ，ＣｒＤＣは色差直流成分、ＹＡＣ［ｎ］はｎ番目の輝度交流成分、ＣｂＡＣ［ｎ］ＣｒＡＣ［ｎ］はｎ番目の色差交流成分をさす。
【００４１】
まず、レイアウト特徴量の各要素の合計値を０にリセットする（ステップＡ１）。次に、レイアウト特徴量抽出手段により抽出されたフレームのレイアウト特徴量をフレーム毎に読み込む。そして読み込まれたフレーム特徴量の各要素の持つ値を全てのフレームについて加算する（ステップＡ２〜Ａ４）。例えば、図４の表の要素ＹＤＣ（輝度直流成分）に着目すると、合計値は３１＋１１＋１５＋２１＋３２＝１１０となる。
【００４２】
全フレームのレイアウト特徴量の各要素毎の合計値をフレーム数で正規化することにより、平均値を算出する（ステップＡ５）。図４の表の要素ＹＤＣ（輝度直流成分）に着目すると、平均値は１１０÷５＝２２となる。算出された平均値の集合を代表レイアウト特徴量とする（ステップＡ６）。図４の表の例では、ＡＶＥＲＡＧＥレコードに示した値が代表レイアウト特徴量となる。
【００４３】
図３はメジアンによる代表レイアウト特徴量の生成手順を示すフローチャートである。レイアウト特徴量として輝度６係数、色差各３係数ずつを特徴量として持つＣＯＬＯＲ ＬＡＹＯＵＴを例にして手順を示す。図５は、各フレームのＣＯＬＯＲ ＬＡＹＯＵＴの各要素の値を示したものである。ＹＤＣは輝度直流成分，ＣｂＤＣ，ＣｒＤＣは色差直流成分、ＹＡＣ［ｎ］はｎ番目の輝度交流成分、ＣｂＡＣ［ｎ］ＣｒＡＣ［ｎ］はｎ番目の色差交流成分をさす。
【００４４】
まず、レイアウト特徴量の各要素の合計値を０にリセットする（ステップＢ１）。次に、レイアウト特徴量抽出手段により抽出された全フレームのレイアウト特徴
量を読み込む。そして読み込まれた全フレーム特徴量の各要素の持つ値を要素毎に昇順に並べ替える（ステップＢ２〜Ｂ３）。例えば、図５の表の要素ＹＤＣ（輝度直流成分）に着目すると、並べ替えた結果は３２、３１，２１，１５，１１となる。
【００４５】
全フレームのレイアウト特徴量の各要素毎に昇順に並べ替えた数字列より中央値を取得することにより、メジアンを求める（ステップＢ４）。図５の表の要素ＹＤＣ（輝度直流成分）に着目すると、メジアンは２１となる。算出されたメジアンの集合を代表レイアウト特徴量とする（ステップＢ５）。図５の表の例では、ＭＥＤＩＡＮレコードに示した値が代表レイアウト特徴量となる。
【００４６】
このほかにも、各要素を昇順に並べ替えたのちに、メジアンを求めるかわりに各要素の最小値のみを選択する方法も考えられる。
【００４７】
抽出された代表特徴量は、所定の記述スキームに基づいて記述する。記述スキームを定義しておき、端末間で共有することにより、記述されたデータを他端末と交換したり、複数の端末を連携して利用することが可能となる。
【００４８】
記述スキームとしては、さまざまなものを用いることができる。
【００４９】
記述スキームの一例を図６に示す。代表レイアウト特徴量としてＣｏｌｏｒＬａｙｏｕｔ， ＥｄｇｅＨｉｓｔｏｇｒａｍ のいずれか一方を選択し、代表レイアウト特徴量を生成した方法（ａｇｇｒｅｇａｔｉｏｎ）として平均化（Ａｖｅｒａｇｅ）、メジアン（Ｍｅｄｉａｎ）、最小値（Ｉｎｔｅｒｓｅｃｔｉｏｎ）のいずれか１つを選択するように定義する。
また、記述スキームをベースに記述するかわりに、バイナリ表現により特徴量記述することもできる。バイナリ表現による特徴量記述のシンタックスの一例を図１５に示す。バイナリ表現による特徴量記述にあたっては、まず代表レイアウト特徴量を生成する方法（アグリゲーション）が規定されているか否かを記述する。アグリゲーションを記述する場合には１が、そうでない場合は０が割り当てられる。次に、アグリゲーションを記述する場合、代表レイアウト特徴量の生成方法を記述する。平均（Ａｖｅｒａｇｅ）の場合は００１、メジアン（Ｍｅｄｉａｎ）の場合は０１０、最小値（Ｉｎｔｅｒｓｅｃｔｉｏｎ）の場合は０１１が割りあてられる。そして、代表レイアウト特徴量として選択された特徴量を表す識別子が割り当てられる。ＣｏｌｏｒＬａｙｏｕｔの場合には４が， ＥｄｇｅＨｉｓｔｏｇｒａｍ の場合には８が割り当てられる。さらに、選択された特徴量の中身をバイナリ表現したものが続く。バイナリ表現方法はＩＳＯ／ＩＥＣ １５９３８−３ により定義されたバイナリ表現方法を用いる。
【００５０】
図６における記述スキーム、および図１５に示すバイナリシンタックスにおけるセマンティクスは以下のとおりである。
【００５１】
・ＤｅｓｃｒｉｐｔｏｒＩＤ
このフィールドは代表特徴量の種類を特定するための識別子である。 ＣｏｌｏｒＬａｙｏｕｔ の場合は４が割り当てられ、ＥｄｇｅＨｉｓｔｏｇｒａｍの場合は８が割り当てられる。他の値は禁止されている。
【００５２】
・Ｄｅｓｃｒｉｐｔｏｒ
このフィールドは国際標準規格 ＩＳＯ／ＩＥＣ １５８３８−３ で定められている記述ツールを用いて生成された特徴量を表す。使用可能なツールは ＣｏｌｏｒＬａｙｏｕｔ および ＥｄｇｅＨｉｓｔｏｇｒａｍ である。
【００５３】
・ＡｇｇｒｅｇａｔｉｏｎＦｌａｇ
このフィールドはアグリゲーションが規定されているかを表す。”１”が割り当てられている場合、アグリゲーションの属性は以下のとおりである。
【００５４】
・ａｇｇｒｅｇａｔｉｏｎ
このオプショナルフィールドでは、フレーム／画像のグループより、代表特徴量を生成するためのアグリゲーション方法が指定される。アグリゲーションは、フレームや画像のグループに含まれる要素全体に対して行われる。以下の３種類のうちのいずれかが適用できる。
【００５５】
・Ａｖｅｒａｇｅ
平均によるアグリゲーションとは、各フレーム／画像の特徴量各要素を逐次加算していき、フレーム／画像数で正規化することにより特徴量を構成する各要素が算出されることを意味する。
【００５６】
・Ｍｅｄｉａｎ
メジアンによるアグリゲーションとは、各フレーム／画像の特徴量各要素の値を昇順に並べ替えたリストを生成し、このリストよりメジアンを取得して代表値とすることを意味する。
【００５７】
・Ｉｎｔｅｒｓｅｃｔｉｏｎ
インターセクションによるアグリゲーションとは、代表特徴量を構成する各要素が、全フレーム／画像に含まれる特徴量から各要素についての最低値を算出することにより取得されることを意味する。
【００５８】
なお、一部のアグリゲーション方法の使用は禁じられている。各特徴量について使用できるアグリゲーション方法は図１４において”Ｙ”マークにより指定されている。
【００５９】
カラーレイアウト、エッジヒストグラムの双方について アグリゲーション方法としてＡｖｅｒａｇｅ、Ｍｅｄｉａｎを適用できることを示す。
【００６０】
アグリゲーション方法（ＡｇｇｒｅｇａｔｉｏｎＴｙｐｅ）のバイナリ表現記述に際しては、図１６のテーブルが使用される。具体的には、平均（Ａｖｅｒａｇｅ）の場合は００１、メジアン（Ｍｅｄｉａｎ）の場合は０１０、最小値（Ｉｎｔｅｒｓｅｃｔｉｏｎ）の場合は０１１が割りあてられる。
【００６１】
図１７に別の記述スキーム例を示す。代表特徴量としてＣｏｌｏｒＬａｙｏｕｔ、もしくはＥｄｇｅＨｉｓｔｏｇｒａｍだけでなく、ＭＰＥＧ−７ で規定されているあらゆる画像特徴量のうち１つもしくは複数をインスタンス化することができる。なお、ＰｉｃｔｕｒｅＴｙｐｅ とは、静止画像特徴量をひとまとめにした記述スキームである。
【００６２】
また、アグリゲーション方法は必ずしも規定されたものである必要はなく、未定義（ｕｎｓｐｅｃｉｆｉｅｄ）を選択することもできる。未定義としておくことにより、システム固有のアグリゲーション方法を定めて利用することができる。
【００６３】
このように、共通の記述スキームをベースに代表レイアウト特徴量を記述することで、複数のシステムで代表レイアウト特徴量を交換したり、複数の記憶装置より代表レイアウト特徴量を呼び出すことができる。
【００６４】
また、バイナリ表現シンタックスを定め、これをベースに代表レイアウト特徴量をバイナリ記述することにより、記述スキームをベースに記述する場合に比べて特徴量を大幅に少ない情報量で記述することができる。
【００６５】
記憶部３２は、代表レイアウト特徴量記憶部１０３と、レイアウト特徴量群記憶部１０４とから構成される。
【００６６】
代表レイアウト特徴量記憶部１０３は、代表レイアウト特徴量算出手段１０２により算出された代表レイアウト特徴量を記憶する。また、レイアウト特徴量群記憶部は、レイアウト特徴量抽出手段１０１により抽出された各フレームのレイアウト特徴量を記憶する。
【００６７】
識別部３３は、レイアウト特著量抽出手段１０５と、代表レイアウト特徴量算出手段１０６と、映像シーケンス選定手段１０７と映像シーケンス識別手段１０８とからなる。
【００６８】
レイアウト特徴量抽出手段１０５は、入力された問合せ映像シーケンスの各フレームより、レイアウト特徴量を抽出する。抽出方法はレイアウト特徴量算出手段１０１と同様である。
【００６９】
代表レイアウト特徴量算出手段１０６は、レイアウト特徴量抽出手段１０５により抽出されたレイアウト特徴量群より、問合せ映像シーケンスを代表する代表レイアウト特徴量を算出する。算出方法は代表レイアウト特徴量算出手段１０２と同様である。
【００７０】
映像シーケンス選定手段１０７は、代表レイアウト特徴量算出手段１０６より生成された問合せ映像シーケンスの代表レイアウト特徴量と、代表レイアウト特徴量記憶部１０３に記憶された登録映像シーケンスの代表レイアウト特徴量を比較することにより、類似性を評価し、問合せ映像シーケンスと同一内容である可能性があると判定された登録映像シーケンスのみを選定する。
【００７１】
映像シーケンス識別手段１０８は、映像シーケンス選定手段１０７により選定された登録映像シーケンスについて、レイアウト特徴量算出手段１０５より生成された問合せ映像シーケンスのレイアウト特徴量群と、レイアウト特徴量群記憶部１０４に記憶された登録映像シーケンスのレイアウト特徴量群を比較する。比較により類似性を評価し、問合せ映像シーケンスと同一内容であるか否かを判定し、同一内容の登録映像が存在した場合に、同一内容の登録映像シーケンスの識別子を出力する。
【００７２】
図１および図７を参照しながら映像シーケンス識別手順について説明する。図７は、本実施形態における映像シーケンス識別手順を示すフローチャートである。まず、代表レイアウト特徴量記憶部１０３に、あらかじめ登録映像シーケンス全てについての代表レイアウト特徴量を映像を表す識別子とともに記憶しておく。また、レイアウト特徴量記憶部１０４に、あらかじめ登録映像シーケンス全てについてのレイアウト特徴量群を映像を表す識別子とともに記憶しておく（ステップＣ１）。
【００７３】
与えられた問合せ映像シーケンスから、レイアウト特徴量抽出手段１０５、および代表レイアウト特徴量算出手段１０６によりレイアウト特徴量および代表レイアウト特徴量を抽出する（ステップＣ２〜Ｃ３）。
【００７４】
続いて、映像シーケンス選定手段１０７は、登録映像シーケンスの代表レイアウト特徴量を１つ読み込み、読み込まれた代表レイアウト特徴量と問合せ映像シーケンスの代表レイアウト特徴量とをフレーム単位で比較する（ステップＣ４〜Ｃ５）。問合せ映像シーケンスの代表レイアウト特徴量と、読み出した登録映像シーケンスの代表レイアウト特徴量との距離を算出し、算出された距離が所定のしきい値以下であるかどうか判定する（ステップＣ６）。 算出された距離が所定のしきい値以下であった場合、問合せ映像シーケンスと登録映像シーケンスは同一内容である可能性があると判定され、該当する登録映像シーケンスの識別子を出力する（ステップＣ６のＹＥＳ）。
【００７５】
映像シーケンス識別手段１０８は、同一内容である可能性があると判定された映像シーケンスの識別子に対応するレイアウト特徴量群を読み込む（ステップＣ７）。読み込まれたレイアウト特徴量群と、問い合わせ特徴量群のレイアウト特徴量群を比較する（ステップＣ８）。レイアウト特徴量の時系列データの比較方法は、例えば特許文献１：特開２０００−２５９８３２号公報等に記載されている方法を用いることにより高速に比較することができる。比較した結果、問合せ映像シーケンスと登録映像シーケンスが同一内容であると判定された場合には、登録映像シーケンスの識別子を出力する（ステップＣ９〜Ｃ１０）。
【００７６】
上述したように、第１実施形態では、映像シーケンス選定手段１０７および映像シーケンス識別手段１０８を設けることにより、代表レイアウト特徴量を比較した時点で同一内容である可能性のないと判定された登録映像シーケンスについて、処理コストを必要とするレイアウト特徴量群のフレーム単位の比較処理を全てスキップすることができるため、識別精度を落とすことなく照合処理コストを大幅に削減できる。
【００７７】
また、代表レイアウト特徴量算出手段１０２により映像シーケンスの代表レイアウト特徴量を生成し、代表レイアウト特徴量記憶部１０４に記憶しておくことにより、少ないコストで同一内容の可能性のある登録映像シーケンスを選定することができる。
【００７８】
（第２実施形態）
本発明の第２実施形態では、図８に示すように、レイアウト特徴量抽出手段１０５および代表レイアウト特徴量算出手段１０６を設けるかわりに、あらかじめ問合せ映像シーケンスの代表レイアウト特徴量およびレイアウト特徴量群を抽出しておき、代表レイアウト特徴量記憶部１０３およびレイアウト特徴量群記憶部１０４に記憶しておく。
【００７９】
映像シーケンス選定手段１０７は、代表レイアウト特徴量記憶部１０３に記憶された問合せ映像シーケンスの代表レイアウト特徴量と登録映像シーケンスの代表レイアウト特徴量とを比較することにより、類似性を評価し、問合せ映像シーケンスと同一内容である可能性があると判定された登録映像シーケンスのみを選定する。
【００８０】
映像シーケンス識別手段１０８は、映像シーケンス選定手段１０７により選定された登録映像シーケンスについて、レイアウト特徴量群記憶部１０４に記憶された問合せ映像シーケンスのレイアウト特徴量群と登録映像シーケンスのレイアウト特徴量群を比較することにより、類似性を評価し、問合せ映像シーケンスと同一内容であるか否かを判定し、同一内容の登録映像が存在した場合に出力する。特徴量算出演算がなくなることで高速処理が可能となる。
【００８１】
第２実施形態では、映像シーケンス選定手段１０７および映像シーケンス識別手段１０８を設けることにより、代表レイアウト特徴量を比較した時点で同一内容である可能性のないと判定された登録映像シーケンスについて、処理コストを必要とするレイアウト特徴量群の比較を全てスキップすることができるため、識別精度を落とすことなく照合処理コストを大幅に削減できる。
【００８２】
（第３実施形態）
本発明の第３実施形態では、図９に示すように、本実施の形態に係る映像識別システムは、映像シーケンスより特徴量を抽出生成することにより映像の信号特徴を記述する記述部３１と、登録する映像の特徴量を記憶する記憶部３５と、問合せ映像シーケンスと選定部３６とからなる。
【００８３】
記述部３１は、第１実施形態と同様である。
【００８４】
記憶部３５は、代表レイアウト特徴量記憶部１０３からなる。代表レイアウト特徴量記憶部１０３は、記述部３１により生成された代表レイアウト特徴量を記憶する。
【００８５】
選定部３６は、レイアウト特徴量抽出手段１０５と、代表レイアウト特徴量算出手段１０６と、映像シーケンス選定手段１０７とから構成される。レイアウト特徴量抽出手段１０５と、代表レイアウト特徴量算出手段１０６と、映像シーケンス選定手段１０７の機能は、第１実施形態と同様である。
【００８６】
第３実施形態では、映像シーケンス選定手段１０７を設けることにより、同一内容である可能性のない登録映像シーケンスを選定できる。また、代表レイアウト特徴量算出手段１０２により映像シーケンスの代表レイアウト特徴量を生成し、代表レイアウト特徴量記憶部１０４に記憶しておくことにより、少ないコストで同一内容の可能性のある登録映像シーケンスを選定することができる。
【００８７】
（第４実施形態）
本発明の第４実施形態では、図１０に示すように、第３実施例に対して、レイアウト特徴量抽出手段１０５および代表レイアウト特徴量算出手段１０６を設けるかわりに、あらかじめ問合せ映像シーケンスの代表レイアウト特徴量を算出しておき、代表レイアウト特徴量記憶部１０３に記憶しておく。
【００８８】
第４実施形態では、映像シーケンス選定手段１０７を設けることにより、同一内容である可能性のない登録映像シーケンスを選定できる。また、代表レイアウト特徴量算出手段１０２により映像シーケンスの代表レイアウト特徴量を生成し、代表レイアウト特徴量記憶部１０４に記憶しておくことにより、少ないコストで同一内容の可能性のある登録映像シーケンスを選定することができる。
【００８９】
（第５実施形態）
本発明の第５実施形態では、図１１に示すように、本実施の形態に係る映像記述システムは、映像シーケンスより特徴量を抽出生成することにより映像の信号特徴を記述する記述部３１と、登録する映像の特徴量を記憶する記憶部３５とからなる。記述部３１と記憶部３５の作用は第３実施例と同様である。
【００９０】
第５実施形態では、代表レイアウト特徴量算出手段１０２により映像シーケンスの代表レイアウト特徴量を生成し、代表レイアウト特徴量記憶部１０４に記憶しておくことにより、少ないコストで同一内容の可能性のある登録映像シーケンスを選定するための情報を提供することができる。
【００９１】
（実施例）
映像としてコマーシャル（ＣＭ）を利用したコマーシャル識別システムを示す。本システムでは、受信した放送映像からカラーレイアウト記述子を生成し，データベースに登録された各ＣＭと逐一照合し，放送中のＣＭが何であるかを識別する．識別結果は放送調査レポートとしてユーザに通知される．
はじめに、１５秒のＣＭ映像を登録する。ＣＭ映像の各フレームよりカラーレイアウトを抽出し、抽出されたカラーレイアウト群より、各ＣＭ映像を代表するカラーレイアウトを算出する。算出された代表カラーレイアウトと、抽出されたカラーレイアウト群をＣＭデータベースに記憶しておく。
【００９２】
次に、放送波から取得した画像のカラーレイアウト配列と，あらかじめ登録されている各ＣＭのカラーレイアウト配列の照合が必要となる．
放送映像より１５秒の間に含まれるフレームを逐次問合せ映像シーケンスとして入力する。問合せ映像シーケンスよりカラーレイアウトを抽出し、抽出されたカラーレイアウト群より代表カラーレイアウトを生成する。
【００９３】
代表カラーレイアウトの比較により、問合せ映像シーケンスである現在放送されている映像と同一内容である可能性のあるＣＭを選定する。
【００９４】
そして、選定されたＣＭと問合せ映像シーケンス内に含まれる全フレームのカラーレイアウトを比較する。全ての選定されたＣＭとの距離計算による検索の結果、最も類似していると判定されたＣＭとの特徴量距離が予め定めた閾値以下の場合、放送中のビデオシーンをそのＣＭであると判定する。リアルタイム検知のためには、入力画像のサンプリング間隔以内に検索処理を終了することが要求される。
【００９５】
識別結果は放送調査レポートとしてユーザに通知される。
【００９６】
なお、本実施例において、代表カラーレイアウトの比較工程を含む場合、および代表カラーレイアウトの比較工程を含まず全てのＣＭについて問合せ映像シーケンス内に含まれる全フレームのカラーレイアウトを照合した場合の照合回数の比較を行ったところ、識別精度を全く落とすことなく照合回数を１０％程度に削減することができた。
【００９７】
尚、上述の実施形態は本発明の好適な実施の一例である。但し，これに限定されるものではなく，本発明の要旨を逸脱しない範囲内において種々変形実施が可能ある。
【００９８】
【発明の効果】
以上詳細に説明したように、本発明によれば、代表レイアウト特徴量を比較した時点で同一内容である可能性のないと判定された登録映像シーケンスについて、処理コストを必要とするレイアウト特徴量群のフレーム単位の比較処理を全てスキップすることができるため、識別精度を落とすことなく照合処理コストを大幅に削減できる。
【００９９】
また、映像シーケンスの代表レイアウト特徴量を生成し記憶しておくことにより、少ないコストで同一内容の可能性のある登録映像シーケンスを選定するための情報を提供することができる。
【０１００】
さらに、共通の記述スキーマをベースに代表レイアウト特徴量を記述することで、複数のシステムで代表レイアウト特徴量を交換したり、複数の記憶装置より代表レイアウト特徴量を呼び出すことができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の構成を示す示すブロック図である。
【図２】第１の実施の形態における平均による代表レイアウト特徴量の生成手順を示す流れ図である。
【図３】第１の実施の形態におけるメジアン取得による代表レイアウト特徴量の生成手順を示す流れ図である。
【図４】第１の実施の形態における平均化によるカラーレイアウト値の一例を示す図である。
【図５】第１の実施の形態におけるメジアン取得によるカラーレイアウト値の一例を示す図である。
【図６】第１の実施の形態における記述スキームを示す図である。
【図７】第１の実施の形態の映像識別手順を示す流れ図である。
【図８】本発明の第２の実施の形態の構成を示す示すブロック図である。
【図９】本発明の第３の実施の形態の構成を示す示すブロック図である。
【図１０】本発明の第４の実施の形態の構成を示す示すブロック図である。
【図１１】本発明の第５の実施の形態の構成を示す示すブロック図である。
【図１２】従来のシステムを示す図である。
【図１３】従来のシステムを示す図である。
【図１４】第１の実施の形態における各特徴量について使用できるアグリゲーション方法を示す図である。
【図１５】第１の実施の形態におけるバイナリ記述シンタックスを示す図である。
【図１６】第１の実施の形態におけるアグリゲーション方法のバイナリ表現記述の一例を示す図である。
【図１７】第１の実施の形態における他の記述スキームを示す図である。
【符号の説明】
１１ ヒストグラム生成手段
１２ 代表ヒストグラム算出手段
１３ 記述ファイル生成手段
１４ 代表ヒストグラム記憶部
１５ ヒストグラム生成手段
１６ 代表ヒストグラム算出手段
１７ 類似度算出手段
１８ 類似度ソート手段
１９ 類似映像表示手段
２１ 特徴量抽出フレーム選定手段
２２ カラーレイアウト群生成手段
２３ 記述ファイル生成手段
２４ カラーレイアウト群記憶部
２５ 特徴量抽出フレーム選定手段
２６ カラーレイアウト群生成手段
２７ 映像識別部
３１ 記述部
３２ 記憶部
３３ 識別部
３４ 識別部
３５ 記憶部
３６ 選定部
３７ 選定部
１０１ レイアウト特徴量抽出手段
１０２ 代表レイアウト特徴量算出手段
１０３ 代表レイアウト特徴量記憶部
１０４ レイアウト特徴量群記憶部
１０５ レイアウト特徴量抽出手段
１０６ 代表レイアウト特徴量算出手段
１０７ 映像シーケンス選定手段
１０８ 映像シーケンス識別手段
Claims (21)
- 映像シーケンスの信号特徴を記述する映像記述システムであって、
映像シーケンスの各フレームよりレイアウト特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出されたレイアウト特徴量群より、映像シーケンスを代表するレイアウト特徴量を算出する代表特徴量算出手段と、
を有することを特徴とする映像記述システム。 - 映像シーケンスの信号特徴を記述する映像記述システムであって、
映像シーケンスの各フレームよりレイアウト特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出されたレイアウト特徴量群より、映像シーケンスを代表するレイアウト特徴量を算出する代表特徴量算出手段と、
前記代表特徴量算出手段より算出された代表レイアウト特徴量を記憶する代表レイアウト特徴量記憶部と、
を有することを特徴とする映像記述システム。 - 映像シーケンスの信号特徴を記述する映像記述システムであって、
映像シーケンスの各フレームよりレイアウト特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出されたレイアウト特徴量群より、映像シーケンスを代表するレイアウト特徴量を算出する代表特徴量算出手段と、
前記代表特徴量算出手段より算出された代表レイアウト特徴量を記憶する代表レイアウト特徴量記憶部と、
前記特徴量抽出手段より算出されたレイアウト特徴量群を記憶するレイアウト特徴量群記憶部と、
を有することを特徴とする映像記述システム。 - 前記代表特徴量算出手段は、
前記特徴量抽出手段により抽出されたレイアウト特徴量の各要素の平均値を求め代表特徴量とすることを特徴とする請求項１から請求項３のいずれか１項に記載の映像記述システム。 - 前記代表特徴量算出手段は、
前記特徴量抽出手段により抽出されたレイアウト特徴量のそれぞれの要素について昇順または降順にならべかえたうえで、メジアンを算出し代表特徴量とすることを特徴とする請求項１から請求項３のいずれか１項に記載の映像記述システム。 - 前記レイアウト特徴量が、カラーレイアウト情報であることを特徴とする請求項１から請求項５のいずれか１項に記載の映像記述システム。
- 前記レイアウト特徴量が、エッジヒストグラム情報であることを特徴とする請求項１から請求項５のいずれか１項に記載の映像記述システム。
- 前記代表特徴量が、代表特徴量として ＣｏｌｏｒＬａｙｏｕｔ および ＥｄｇｅＨｉｓｔｏｇｒａｍ を少なくとも含む複数の特徴量より１つが選択可能であり、代表特徴量算出方法として Ａｖｅｒａｇｅ、Ｍｅｄｉａｎ、Ｉｎｔｅｒｓｅｃｔｉｏｎ を少なくとも含む複数の方法より１つが選択可能である記述スキームに基づき記述されることを特徴とする請求項１から請求項７のいずれか１項に記載の映像記述システム。
- 映像シーケンスの信号特徴を記述する映像記述システムを実現するプログラムであって、
コンピュータに、
映像シーケンスの各フレームよりレイアウト特徴量を抽出する特徴量抽出機能と、
前記特徴量抽出機能により抽出されたレイアウト特徴量群より、映像シーケンスを代表するレイアウト特徴量を算出する代表特徴量算出機能と、
を実現することを特徴とする映像記述プログラム。 - 映像シーケンスの信号特徴を記述する映像記述方法であって、
映像シーケンスの各フレームよりレイアウト特徴量を抽出する特徴量抽出ステップと、
前記特徴量抽出ステップにより抽出されたレイアウト特徴量群より、映像シーケンスを代表するレイアウト特徴量を算出する代表特徴量算出ステップと、
を含むことを特徴とする映像記述方法。 - 映像シーケンスを代表するレイアウト特徴量を代表レイアウト特徴量として記憶する代表レイアウト特徴量記憶部と、
代表レイアウト特徴量記憶部に記憶された問合せ映像シーケンスの代表レイアウト特徴量と登録されている映像シーケンスの代表レイアウト特徴量とを比較することにより問合せ映像シーケンスと類似する映像シーケンスを選定する映像シーケンス選定手段と、
を有することを特徴とする映像識別システム。 - 映像シーケンスを代表するレイアウト特徴量を代表レイアウト特徴量として記憶する代表レイアウト特徴量記憶部と、
問合せ映像シーケンスの各フレームよりレイアウト特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出されたレイアウト特徴量群より、問合せ映像シーケンスを代表するレイアウト特徴量を算出する代表特徴量算出手段と、
代表特徴量算出手段により算出された代表レイアウト特徴量と、代表レイアウト特徴量記憶部に記憶された代表レイアウト特徴量とを比較することにより問合せ映像シーケンスと類似するシーケンスを選定する映像シーケンス選定手段と、
を有することを特徴とする映像識別システム。 - 映像シーケンスを代表するレイアウト特徴量を代表レイアウト特徴量として記憶する代表レイアウト特徴量記憶部と、
映像シーケンスの各フレームに対応するレイアウト特徴量を記憶するレイアウト特徴量群記憶部と、
問合せ映像シーケンスの各フレームよりレイアウト特徴量を抽出する特徴量抽出手段と、
前記特徴量抽出手段により抽出されたレイアウト特徴量群より、問合せ映像シーケンスを代表するレイアウト特徴量を算出する代表特徴量算出手段と、
代表特徴量算出手段により算出された代表レイアウト特徴量と、代表レイアウト特徴量記憶部に記憶された代表レイアウト特徴量とを比較することにより問合せ映像シーケンスと類似するシーケンスを選定する映像シーケンス選定手段と、
前記映像シーケンス選定手段により選定された映像シーケンスについて、前記レイアウト特徴量抽出手段により抽出されたレイアウト特徴量群と、前記レイアウト特徴量群に記憶されたレイアウト特徴量とを照合する照合手段と、
を有することを特徴とする映像識別システム。 - 前記代表特徴量算出手段は、
前記特徴量抽出手段により抽出されたレイアウト特徴量の各要素の平均値を求め代表特徴量とすることを特徴とする請求項１２または請求項１３に記載の映像識別システム。 - 前記代表特徴量算出手段は、
前記特徴量抽出手段により抽出されたレイアウト特徴量のそれぞれの要素について昇順または降順にならべかえたうえで、メジアンを算出し代表特徴量とすることを特徴とする請求項１２または請求項１３に記載の映像識別システム。 - 前記レイアウト特徴量が、カラーレイアウト情報であることを特徴とする請求項１１から請求項１５のいずれか１項に記載の映像識別システム。
- 前記レイアウト特徴量が、エッジヒストグラム情報であることを特徴とする請求項１１から請求項１６のいずれか１項に記載の映像識別システム。
- 前記代表特徴量が、代表特徴量として ＣｏｌｏｒＬａｙｏｕｔ および ＥｄｇｅＨｉｓｔｏｇｒａｍ を少なくとも含む複数の特徴量より１つが選択可能であり、代表特徴量算出方法として Ａｖｅｒａｇｅ、Ｍｅｄｉａｎ、Ｉｎｔｅｒｓｅｃｔｉｏｎ を少なくとも含む複数の方法より１つが選択可能である記述スキームに基づき記述されることを特徴とする請求項１１から請求項１７のいずれか１項に記載の映像識別システム。
- コンピュータに、
映像シーケンスを代表するレイアウト特徴量を代表レイアウト特徴量として前記コンピュータの記憶機能に記憶させる代表レイアウト特徴量記憶機能と、
代表レイアウト特徴量記憶機能によって記憶された問合せ映像シーケンスの代表レイアウト特徴量と登録されている映像シーケンスの代表レイアウト特徴量とを比較することにより問合せ映像シーケンスと類似する映像シーケンスを選定する映像シーケンス選定機能と、
を実現することを特徴とする映像識別プログラム。 - 映像シーケンスを代表するレイアウト特徴量を代表レイアウト特徴量として記憶する代表レイアウト特徴量記憶ステップと、
代表レイアウト特徴量記憶ステップによって記憶された問合せ映像シーケンスの代表レイアウト特徴量と登録されている映像シーケンスの代表レイアウト特徴量とを比較することにより問合せ映像シーケンスと類似する映像シーケンスを選定する映像シーケンス選定ステップと、
を含むことを特徴とする映像識別方法。 - 映像シーケンスの特徴量を記述する記述スキームであって、
代表特徴量として ＣｏｌｏｒＬａｙｏｕｔ および ＥｄｇｅＨｉｓｔｏｇｒａｍ を少なくとも含む複数の特徴量より１つが選択可能であり、代表特徴量算出方法として Ａｖｅｒａｇｅ、Ｍｅｄｉａｎ、Ｉｎｔｅｒｓｅｃｔｉｏｎ を少なくとも含む複数の方法より１つが選択可能である記述スキーム。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003066423A JP2004234613A (ja) | 2002-12-02 | 2003-03-12 | 映像記述システムおよび方法、映像識別システムおよび方法 |
| CN2003801005074A CN1692373B (zh) | 2002-12-02 | 2003-12-02 | 图像识别系统图像识别方法 |
| US10/516,086 US20060104514A1 (en) | 2002-12-02 | 2003-12-02 | Image system |
| EP03776000A EP1569169A4 (en) | 2002-12-02 | 2003-12-02 | VIDEO SYSTEM |
| PCT/JP2003/015370 WO2004051574A1 (ja) | 2002-12-02 | 2003-12-02 | 映像システム |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002350021 | 2002-12-02 | ||
| JP2003066423A JP2004234613A (ja) | 2002-12-02 | 2003-03-12 | 映像記述システムおよび方法、映像識別システムおよび方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004234613A true JP2004234613A (ja) | 2004-08-19 |
Family
ID=32473672
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003066423A Pending JP2004234613A (ja) | 2002-12-02 | 2003-03-12 | 映像記述システムおよび方法、映像識別システムおよび方法 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20060104514A1 (ja) |
| EP (1) | EP1569169A4 (ja) |
| JP (1) | JP2004234613A (ja) |
| CN (1) | CN1692373B (ja) |
| WO (1) | WO2004051574A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100099491A (ko) * | 2009-03-03 | 2010-09-13 | 삼성전자주식회사 | 동기화 정보 제공 서버 및 방법과, 클라이언트 기기 및 방송 프로그램과 부가 정보의 동기화 방법 |
| US8817104B2 (en) | 2007-08-20 | 2014-08-26 | Sony Corporation | Data processing device and data processing method |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4336813B2 (ja) * | 2002-12-06 | 2009-09-30 | 日本電気株式会社 | 画像記述システムおよび方法 |
| DE102004042360B4 (de) * | 2004-09-01 | 2006-06-08 | Sonavis Gmbh | Verfahren zum Erkennen von Videosequenzen in einem aufgenommenen Videofilm |
| KR101281850B1 (ko) | 2009-01-23 | 2013-07-03 | 닛본 덴끼 가부시끼가이샤 | 영상 디스크립터 생성 장치 |
| WO2010087125A1 (ja) * | 2009-01-29 | 2010-08-05 | 日本電気株式会社 | 時間区間代表特徴ベクトル生成装置 |
| JP5510012B2 (ja) * | 2010-04-09 | 2014-06-04 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5085746A (en) * | 1990-09-10 | 1992-02-04 | North Carolina State University | Method of fabricating scanning tunneling microscope tips |
| JPH0668163A (ja) * | 1992-08-17 | 1994-03-11 | Nippon Telegr & Teleph Corp <Ntt> | 映像地図作成方法 |
| JP3340532B2 (ja) * | 1993-10-20 | 2002-11-05 | 株式会社日立製作所 | ビデオの検索方法および装置 |
| JP3780623B2 (ja) * | 1997-05-16 | 2006-05-31 | 株式会社日立製作所 | 動画像の記述方法 |
| US6052492A (en) * | 1997-12-09 | 2000-04-18 | Sun Microsystems, Inc. | System and method for automatically generating an image to represent a video sequence |
| JP3615657B2 (ja) * | 1998-05-27 | 2005-02-02 | 株式会社日立製作所 | 映像検索方法及び装置ならびに記録媒体 |
| KR100305591B1 (ko) * | 1998-07-22 | 2001-11-30 | 오길록 | 관절점기반동작정보를사용한동영상검색방법 |
| US6389181B2 (en) * | 1998-11-25 | 2002-05-14 | Eastman Kodak Company | Photocollage generation and modification using image recognition |
| US6396963B2 (en) * | 1998-12-29 | 2002-05-28 | Eastman Kodak Company | Photocollage generation and modification |
| EP1835421A3 (en) * | 1999-06-30 | 2009-04-22 | Sharp Kabushiki Kaisha | Motion picture retrieval information storage apparatus and motion picture retrieving apparatus |
| AU2000233265A1 (en) * | 2000-03-23 | 2001-10-03 | Mitsubishi Denki Kabushiki Kaisha | Image retrieval/distribution system and image retrieval/distribution method |
| JP4078085B2 (ja) * | 2001-03-26 | 2008-04-23 | キヤノン株式会社 | 変倍画像生成装置、方法、及びそのコンピュータプログラムとコンピュータ読み取り可能な記憶媒体 |
| JP4889159B2 (ja) * | 2001-05-14 | 2012-03-07 | 富士通株式会社 | データ検索システムおよびデータ検索方法 |
-
2003
- 2003-03-12 JP JP2003066423A patent/JP2004234613A/ja active Pending
- 2003-12-02 WO PCT/JP2003/015370 patent/WO2004051574A1/ja not_active Ceased
- 2003-12-02 US US10/516,086 patent/US20060104514A1/en not_active Abandoned
- 2003-12-02 CN CN2003801005074A patent/CN1692373B/zh not_active Expired - Fee Related
- 2003-12-02 EP EP03776000A patent/EP1569169A4/en not_active Withdrawn
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8817104B2 (en) | 2007-08-20 | 2014-08-26 | Sony Corporation | Data processing device and data processing method |
| KR20100099491A (ko) * | 2009-03-03 | 2010-09-13 | 삼성전자주식회사 | 동기화 정보 제공 서버 및 방법과, 클라이언트 기기 및 방송 프로그램과 부가 정보의 동기화 방법 |
| KR101599465B1 (ko) * | 2009-03-03 | 2016-03-04 | 삼성전자주식회사 | 동기화 정보 제공 서버 및 방법과, 클라이언트 기기 및 방송 프로그램과 부가 정보의 동기화 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN1692373A (zh) | 2005-11-02 |
| CN1692373B (zh) | 2010-04-28 |
| WO2004051574A1 (ja) | 2004-06-17 |
| US20060104514A1 (en) | 2006-05-18 |
| EP1569169A4 (en) | 2009-07-15 |
| EP1569169A1 (en) | 2005-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101281540B (zh) | 用于处理信息的设备、方法和计算机程序 | |
| JP3568117B2 (ja) | ビデオ画像の分割、分類、および要約のための方法およびシステム | |
| Hanjalic et al. | Automated high-level movie segmentation for advanced video-retrieval systems | |
| JP5005154B2 (ja) | 記憶媒体上に記憶された情報信号を再生する装置 | |
| EP2005364B1 (en) | Image classification based on a mixture of elliptical color models | |
| US6594386B1 (en) | Method for computerized indexing and retrieval of digital images based on spatial color distribution | |
| EP1999753B1 (en) | Video abstraction | |
| JP3948249B2 (ja) | 類似性判定装置及び類似性判定方法並びにプログラム | |
| CN106126617A (zh) | 一种视频检测方法及服务器 | |
| WO2006073299A1 (en) | Method and apparatus for clustering digital photos based on situation and system and method for albuming using the same | |
| KR101472451B1 (ko) | 디지털 콘텐츠 관리 시스템 및 방법 | |
| US9098581B2 (en) | Method for finding text reading order in a document | |
| US20100092077A1 (en) | Dominant color descriptors | |
| CN113297416B (zh) | 视频数据存储方法、装置、电子设备和可读存储介质 | |
| JP2004234613A (ja) | 映像記述システムおよび方法、映像識別システムおよび方法 | |
| US7609761B2 (en) | Apparatus and method for abstracting motion picture shape descriptor including statistical characteristic of still picture shape descriptor, and video indexing system and method using the same | |
| Ejaz et al. | Video summarization by employing visual saliency in a sufficient content change method | |
| JP7340992B2 (ja) | 画像管理装置およびプログラム | |
| Bichot et al. | Liris-imagine at imageclef 2011 photo annotation task | |
| Pimentel Filho et al. | A new approach for video indexing and retrieval based on visual features | |
| Vendrig et al. | Evaluation of logical story unit segmentation in video sequences | |
| CN118277594A (zh) | 一种多媒体编辑资源的推荐方法、装置、设备及存储介质 | |
| Wolf et al. | Image saliency mapping and ranking using an extensible visual attention model based on MPEG-7 feature descriptors | |
| Fraczek et al. | Ground-truth-less comparison of selected content-based image retrieval measures | |
| KR20130059511A (ko) | 정지영상 자동 키워드 추출 시스템 및 그 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050310 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060216 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20070115 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20080611 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090303 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20090630 |