JP2010252013A - 映像検索装置及び映像検索プログラム - Google Patents

Abstract

【課題】編集映像における所定のシーンに対応した本編映像のシーンを確実にかつ効率的に検索する。
【解決手段】本編映像前処理部２１は、試合本編映像の投球ショット及び第２ショットの画像特徴ベクトルを計算し、編集映像ベクトル計算部２２は、スポーツニュース編集映像の投球ショット及び第２〜第４ショットの画像特徴ベクトルを計算する。候補ショットセット選定部２４は、両映像における投球ショットの画像特徴ベクトルの類似度を求めて候補ショットセット（ｄ（ｎ），ｋ（ｎ））を選定する。最終特定部２５は、試合本編映像の第２ショットの画像特徴ベクトル及びスポーツニュース編集映像の第２〜第４ショットの画像特徴ベクトルの類似度を求めてショットセット（ｄ_MAX，ｋ_MAX）を特定する。これにより、ショットセット（ｄ_MAX，ｋ_MAX）の投球ショット及び打球ショットが、スポーツニュース編集映像における所定のシーンに対応することになる。
【選択図】図２

Description

本発明は、映像を検索する装置に関し、特に、スポーツニュース等の編集映像における所定のシーンに対応した本編映像のシーンを検索する技術に関する。

例えば、野球のシーンを紹介するスポーツニュースには、野球の試合を撮影した映像（試合本編映像）からその試合のキーとなる複数の「ハイライトシーン」を選定し、これらを短く編集して放映するものが多い。つまり、スポーツニュースは、試合のキーとなる「ハイライトシーン」によって構成されるのが一般的である。

このため、スポーツニュースを視聴する視聴者は、スポーツニュースのシーンのみでは満足することができず、そのシーンに対応した試合本編映像をじっくり視聴したいと要望する場合があり得る。この視聴者の要望を実現するためには、視聴者がじっくり視聴したいと望むスポーツニュースのシーンを試合本編映像の中から特定する映像検索装置が必要になる。

このような映像検索装置として、所望の映像を検索するために、映像をシーンに分割し、シーンを構成する先頭フレームの節点（基準点）の近傍領域をフレーム毎に追跡することにより、節点を分類して特徴量を生成する技術が知られている（特許文献１を参照）。この特徴量を用いて検索処理が行われる。

また、映像を構成するフレームを所定領域のブロックに分割し、ブロックの画像から代表的な画像を選択し、この代表的な画像から検索参照画像を描画する技術が知られている（特許文献２を参照）。この検索参照画像を用いて検索処理が行われる。また、分割したブロックの画像毎に色特徴及びテクスチャ特徴を抽出し、これらの特徴に重み付けをすることで映像間の類似度を計算する技術も知られている（特許文献３を参照）。

また、例えば、野球の得点シーン、イニングの変わり目等のイベントを判別する装置として、映像をシーンに分割し、シーンに含まれる複数のフレームの特徴量を計算し、この特徴量と、予め設定されたイベントの種類毎の数値データとに基づいて、シーンにおけるイベントの種類を特定する技術が知られている（特許文献４を参照）。また、投球シーンの開始点を検出するために、映像のフレームから芝及び土の領域を抽出して特徴量を計算し、この特徴量と、予め設定された投球シーンの特徴量との間の類似度を計算し、類似度に基づいて投球シーンの開始点のフレームを特定する技術が知られている（特許文献５を参照）。

特開２００４−２８０６６９号公報 特開２００２−１４０３３１号公報 特開２００３−２１６６４９号公報 特開２００５−３３２２０６号公報 特開２００９−２０６２１号公報

このような従来の映像検索装置は、スポーツニュースにおける所定のシーンから算出した特徴量と、試合本編映像における各シーンから算出した特徴量とに基づいて、スポーツニュースと試合本編映像との間でシーンの対応付けを行い、スポーツニュースのシーンに対応した試合本編映像のシーンを特定する。これにより、視聴者は、スポーツニュースの中の所望するシーンを、試合本編映像によりじっくり視聴することができる。

しかしながら、スポーツニュースの各シーンは、試合本編映像をそのまま用いて制作されているのではなく編集が施されている。このため、スポーツニュースのシーンと試合本編映像のシーンとの間で特徴量を単純に比較する映像検索装置では、スポーツニュースのシーンに対応した試合本編映像のシーンを特定することが困難である。これは、スポーツニュースは、試合本編映像から選定した連続するショットがそのまま使用されて構成される場合に加え、試合本編映像から選定した連続する２つのショットの間に１または２程度の映像カットが挿入されて構成される場合もあり、ショット間の比較に加え、挿入された映像カットに対する処理が必要になるからである。尚、スポーツニュースの構成パターンの詳細については後述する。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、編集映像における所定のシーンに対応した本編映像のシーンを、確実かつ効率的に検索することが可能な映像検索装置及び映像検索プログラムを提供することにある。

前記目的を達成するため、本発明による映像検索装置は、本編映像の特徴量、及び前記本編映像の連続したショットを含む編集映像の特徴量に基づいて、前記編集映像における所定のショットに対応した前記本編映像のショットを検索する映像検索装置において、前記本編映像におけるフレーム間の類似度に基づいてショット切替点を検出し、前記ショット切替点の直前の第１本編ショット及び直後の第２本編ショットからなるショットセットを抽出し、前記第１本編ショットの特徴量及び前記第２本編ショットの特徴量をそれぞれ計算する本編映像前処理部と、前記編集映像における所定のショットである第１編集ショットの特徴量、及び該第１編集ショットに続く連続した複数の編集ショットの特徴量をそれぞれ計算する編集映像計算部と、前記第１本編ショットの特徴量と前記第１編集ショットの特徴量とに基づいて、前記第１本編ショットと前記第１編集ショットとの間の第１の類似度を計算し、前記第２本編ショットの特徴量と前記第１編集ショットに続く連続した複数の編集ショットの特徴量とに基づいて、前記第２本編ショットと前記複数の編集ショットとの間の第２の類似度をそれぞれ計算し、前記第１の類似度及び第２の類似度に基づいて、前記編集映像における所定のショットに対応した前記本編映像のショットを特定する検索処理部と、を備えたことを特徴とする。

また、本発明による映像検索装置は、前記検索処理部が、前記第１本編ショットの特徴量と第１編集ショットの特徴量とに基づいて両ショットの類似度を計算し、前記類似度が所定の閾値よりも高い第１本編ショットを含むショットセットを、候補ショットセットとして選定する候補ショットセット選定部と、前記候補ショットセットに含まれる第２本編ショットの特徴量と、前記第１編集ショットに続く連続した複数の編集ショットの特徴量とに基づいて、前記第２本編ショットと前記複数の編集ショットとの間の類似度をそれぞれ計算し、全ての前記候補ショットセットにおける前記計算した類似度のうち、最も類似度が高い候補ショットセットを特定し、前記特定した候補ショットセットに含まれる第１本編ショットを、前記編集映像における所定のショットに対応した前記本編映像のショットとして特定する最終特定部と、を備えたことを特徴とする。

また、本発明による映像検索装置は、前記検索処理部が、フレームが分割された領域をブロックとした場合に、連続した所定数のフレームに渡る前記ブロック毎の特徴量に基づいて、前記第１の類似度及び第２の類似度を計算する、ことを特徴とする。

また、本発明による映像検索装置は、前記編集映像が、前記本編映像の連続した２つのショットに基づいて構成され、前記２つのショットに基づいて構成されたそれぞれのショットの間に、所定数の他のショットが挿入されており、前記編集映像計算部が、前記本編映像の連続した２つのショットに基づいて構成されたそれぞれのショットの特徴量、及び前記所定数の他のショットの特徴量を計算する、ことを特徴とする。

また、本発明による映像検索装置は、前記本編映像を野球の試合映像とし、前記第１本編ショット及び第１編集ショットを投球ショットとする、ことを特徴とする。

また、本発明による映像検索プログラムは、本編映像の特徴量、及び前記本編映像の連続したショットを含む編集映像の特徴量に基づいて、前記編集映像における所定のショットに対応した前記本編映像のショットを検索するプログラムであって、コンピュータに、前記本編映像におけるフレーム間の類似度に基づいてショット切替点を検出するステップと、前記ショット切替点の直前の第１本編ショット及び直後の第２本編ショットからなるショットセットを抽出するステップと、前記第１本編ショットの特徴量及び第２本編ショットの特徴量をそれぞれ計算するステップと、前記編集映像における所定のショットである第１編集ショットの特徴量、及び該第１編集ショットに続く連続した複数の編集ショットの特徴量をそれぞれ計算するステップと、前記第１本編ショットの特徴量と前記第１編集ショットの特徴量とに基づいて、前記第１本編ショットと前記第１編集ショットとの間の第１の類似度を計算するステップと、前記第２本編ショットの特徴量と前記第１編集ショットに続く連続した複数の編集ショットの特徴量とに基づいて、前記第２本編ショットと前記複数の編集ショットとの間の第２の類似度をそれぞれ計算するステップと、前記第１の類似度及び第２の類似度に基づいて、前記編集映像における所定のショットに対応した前記本編映像のショットを特定するステップと、を実行させることを特徴とする。

以上のように、本発明によれば、編集映像における所定のショットに対応した本編映像のショットを、本編映像から抽出した第１本編ショットと、第１編集ショット（所定のショット）との間の類似度、及び、本編映像から抽出した第２本編ショットと第２編集ショット等との間のそれぞれの類似度から特定するようにした。この場合、編集映像が、本編映像の連続した２つのショットに基づいて構成され、これらの２つのショットの間に挿入された所定数の他のショットを含む場合であっても、すなわち、編集映像が、本編映像の連続した２つのショットのうちの先のショット、挿入された他のショット（複数の場合もあり得る）、及び本編映像の連続した２つのショットのうちの後のショットによって構成された場合であっても（例えば、後述する図１（２）パターンＢ）、本編映像の第２本編ショットと、本編映像の連続した２つのショットのうちの後のショットに対応する編集映像の編集ショットとの間の類似度も計算される。計算された類似度が最も高い本編映像のシーンが検索対象のシーンとなる。これにより、編集映像における所定のシーンに対応した本編映像のシーンを確実にかつ効率的に検索することができる。したがって、視聴者は、編集映像の中で所望するシーンを、試合本編映像によりじっくり視聴することができる。

試合本編映像の投球ショット及び打球ショットを用いたスポーツニュース編集映像の構成パターンＡ，Ｂを説明する図である。 本発明の実施形態による映像検索装置の構成を示すブロック図である。 所定の映像区間における画像特徴ベクトルの概念図である。 スポーツニュース編集映像における投球ショット及び第２〜第４ショットの画像特徴ベクトルを説明する図である。 候補ショットセット選定部の処理を説明するフローチャートである。 試合本編映像の投球ショットとスポーツニュース編集映像の投球ショットとの間の類似度を説明する図である。 最終特定部の処理を説明するフローチャートである。 試合本編映像の第２ショットとスポーツニュース編集映像の第２〜第４ショットとの間の類似度を説明する図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。以下の実施形態では、野球の試合本編映像、及びその試合本編映像を編集したスポーツニュース編集映像を例として説明する。また、映像検索装置は、スポーツニュース中の野球映像における所定の投球ショット及び打球ショットを含むシーンについて、そのシーンに対応した野球の試合本編映像におけるシーンを検索するものとする。尚、本発明は、検索対象の映像を野球映像のみに限定するものでなく、他の映像にも適用がある。また、本発明は、検索対象のシーンを、野球映像の投球ショット及び打球ショットを含むシーンのみに限定するものではなく、例えば、投球ショット及び捕球ショットのシーン、打球ショット及び捕球ショットのシーン、得点シーン等にも適用がある。

図１は、試合本編映像の投球ショット及び打球ショットを用いたスポーツニュース編集映像の構成パターンＡ，Ｂを説明する図である。野球の試合本編映像では、ピッチャーがボールを投げてバッターがそのボールを打つというシーンに対し、ピッチャーが投球を行う一連の動作である投球ショットの映像と、ピッチャーからのボールをバッターが打つ一連の動作である打球ショットの映像との並びが使用される。このような投球ショットと打球ショットとの並び（ショットセット）が複数存在する試合本編映像を編集することにより、スポーツニュース編集映像が制作される。

図１（１）は、試合本編映像の投球ショット及び打球ショットをそのまま用いることにより、スポーツニュース編集映像が構成される例（パターンＡ）である。スポーツニュース編集映像の投球ショットは、試合本編映像における投球ショットのフレームのうち、打球ショットとの間の切れ目から遡って所定の映像区間のフレームが切り出されて構成される。スポーツニュース編集映像の打球ショットは、試合本編映像における打球ショットのフレームのうち、投球ショットとの間の切れ目から数えて所定の映像区間のフレームが切り出されて構成される。このパターンＡのスポーツニュース編集映像は、投球ショット及び打球ショットを、切れ目を挟んでそのまま連続して並べたものとなる。

図１（２）は、試合本編映像の投球ショット及び打球ショットに加えて他のショットも用いることにより、スポーツニュース編集映像が構成される例（パターンＢ）である。スポーツニュース編集映像の投球ショットは、試合本編映像における投球ショットのフレームのうちの、所定の映像区間のフレームが切り出されて構成される。スポーツニュース編集映像の打球ショットは、試合本編映像における打球ショットのフレームのうちの、所定の映像区間のフレームが切り出されて構成される。また、スポーツニュース編集映像の投球ショットと打球ショットとの間に、１または２程度のショット数の他の映像が挿入されている。このパターンＢのスポーツニュース編集映像は、投球ショット、他の映像のショット及び打球ショットを順番に並べたものとなる。

ここで、スポーツニュース編集映像における所定のシーンに対応した試合本編映像のシーンを検索する場合を想定する。スポーツニュース編集映像が図１（１）のパターンＡにより構成されている場合、スポーツニュース編集映像の投球ショット及び打球ショットの並びは、投球ショットに続く次のショットが打球ショットであるから、試合本編映像における投球ショット及び打球ショットの並びと同じである。したがって、スポーツニュース編集映像の投球ショットと試合本編映像の投球ショットとの間で映像の類似度を比較すると共に、スポーツニュース編集映像における投球ショットの次のショット（打球ショット）と、試合本編映像における投球ショットの次のショット（打球ショット）との間で映像の類似度を比較することにより、試合本編映像のシーンを特定することができる。

しかしながら、スポーツニュース編集映像が図１（２）のパターンＢにより構成されている場合、挿入されたショットの数が１のときは、投球ショットに続く次のショットが打球ショットではなく他のショットであり、その次のショットが打球ショットである。また、挿入されたショットの数が２のときは、投球ショットに続く次のショット及びその次のショットが打球ショットではなく他のショットであり、さらに次のショットが打球ショットである。このように、スポーツニュース編集映像がパターンＢにより構成されている場合、パターンＡと同様の処理では、スポーツニュース編集映像の投球ショット及び打球ショットと試合本編映像の投球ショット及び打球ショットとを対応付けることができず、試合本編映像のシーンを特定することができない。

そこで、本発明は、パターンＡだけでなくパターンＢの場合であっても、スポーツニュース編集映像における所定のシーンに対応した試合本編映像のシーンを特定するために、スポーツニュース編集映像における投球ショット（第１ショット）及び第２ショットだけでなく第３ショット及び第４ショット等も用いて、スポーツニュース編集映像のショットと試合本編映像のショットとの間で映像の類似度を比較することを特徴とする。尚、以下の実施形態では、パターンＢが２つの他のショットが挿入された構成となっており、スポーツニュース編集映像において検索対象のショット数を４としているが、本発明はこの数に限定されるものではない。スポーツニュース編集映像における検索対象のショット数は、スポーツニュース編集映像において投球ショットと打球ショットとの間に挿入される他のショットの数に応じて決定される。例えば、挿入される他のショットの数が１の場合、スポーツニュース編集映像において検索対象のショット数を３とすればよく、また、挿入される他のショットの数が３の場合、スポーツニュース編集映像において検索対象のショット数を５とすればよい。さらに、挿入される他のショットの数が０の場合、すなわちパターンＡの場合、スポーツニュース編集映像において検索対象のショット数を２とすればよい。

〔映像検索装置〕
図２は、本発明の実施形態による映像検索装置の構成を示すブロック図である。この映像検索装置１は、試合本編映像ｄが格納された記憶部１１、スポーツニュース編集映像が格納された記憶部１２、本編映像前処理部２１、編集映像ベクトル計算部２２及び検索処理部２３を備えている。検索処理部２３は、候補ショットセット選定部２４及び最終特定部２５を備えている。ここで、ｄ＝１〜Ｄであり、ｄは試合本編映像ファイルを示す番号（ＩＤ）、Ｄは蓄積された試合本編映像ファイルの数をそれぞれ示す。スポーツニュース編集映像を視聴する視聴者により、試合本編映像でじっくり視聴したいと所望する投球ショット及び打球ショットを含むシーンが指定されると、映像検索装置１は、そのシーンに対応する試合本編映像のシーンを検索する。尚、映像検索装置１は、試合本編映像ｄ及びスポーツニュース編集映像を外部から入力するようにしてもよい。

（本編映像前処理部）
まず、本編映像前処理部２１について説明する。本編映像前処理部２１は、記憶部１１から試合本編映像ｄ（ｄ＝１〜Ｄ）を読み出し、試合本編映像ｄのそれぞれの映像に対してショット切替点（ショットの切れ目）を検出し、その切替点を境にして映像をショット分割する。具体的には、本編映像前処理部２１は、試合本編映像ｄを構成するフレームを所定数のブロックに分割し、分割したブロック毎の画像特徴ベクトルを計算し、前後のフレームにおける各ブロックの画像特徴ベクトルの類似度を計算する。そして、計算した類似度が所定の閾値よりも低いフレームの境目を、映像をショット分割するための切替点として検出する。また、計算した類似度が所定の閾値以上となるフレーム群を、一つのショットとして設定する。この切替点検出手法は既知であり、詳細については、例えば、特開２００６−２７０３０１号公報を参照されたい。

そして、本編映像前処理部２１は、ショット分割した映像の切替点を跨いだ２つのショットについて、切替点の直前のショットが投球ショットであるか否かを、画像の類似性によって判定する。具体的には、本編映像前処理部２１は、予め投球ショットの映像を用いて投球ショットリファレンスを生成しておき、切替点の直前のショットの画像特徴ベクトルと、予め生成された投球ショットリファレンスの画像特徴ベクトルとを比較して類似度を計算する。そして、その類似度が所定の閾値以上の場合に、切替点を跨いだ２つのショットは、投球ショット及び第２ショットであると判定し、そのショットの組み合わせ（ショットセット）に番号ｋを付す。ここで、ｋ＝１，・・・，Ｋ^(d)であり、Ｋ^(d)は、試合本編映像ｄの中で検出した投球ショット及び第２ショットのショットセット（以下、１−２ショットセットという。）の数を示す。このように、本編映像前処理部２１は、試合本編映像ｄの中から、切替点を跨いだ投球ショット及び第２ショットの組み合わせである１−２ショットセットｋを抽出する。ここで、第２ショットは、必ずしも打球ショットであるとは限らない。

尚、本編映像前処理部２１は、切替点の直後のショットが打球ショットであるか否かについても、画像の類似性によって判定するようにしてもよい。具体的には、本編映像前処理部２１は、予め打球ショットの映像を用いて打球ショットリファレンスを生成しておき、切替点の直後のショットの画像特徴ベクトルと、予め生成された打球ショットリファレンスの画像特徴ベクトルとを比較して類似度を計算する。そして、前述した切替点の直前の投球ショットの類似度が所定の閾値以上であり、かつ、その切替点の直後の打球ショットの類似度が所定の閾値以上である場合に、切替点を跨いだ２つのショットは、投球ショット及び第２ショット（打球ショット）であると判定し、そのショットの組み合わせに番号ｋを付して、１−２ショットセットｋを抽出する。これにより、１−２ショットセットｋを絞り込むことができるから、一層効率的な検索処理を実現することができる。

本編映像前処理部２１は、試合本編映像ｄの１−２ショットセットｋについて、投球ショット及び第２ショットをフレームに分解する。このとき、投球ショットの先頭フレーム番号をｔ１₀ ^{(d, k)}、投球ショットの長さ（フレーム数）をＴ１^{(d, k)}、第２ショットの先頭フレーム番号をｔ２₀ ^{(d, k)}（＝ｔ１₀ ^{(d, k)}＋Ｔ１^{(d, k)}）、第２ショットの長さ（フレーム数）をＴ２^{(d, k)}とする。

本編映像前処理部２１は、１−２ショットセットｋにおける投球ショットの各フレームｔ（ｔ＝ｔ１₀ ^{(d, k)}，・・・，ｔ１₀ ^{(d, k)}＋Ｔ１^{(d, k)}−１）をＭ×Ｎ個にブロック分割し、各ブロック（ｉ，ｊ）の画像特徴ベクトルｖ１^(d)（ｔ，ｉ，ｊ）を計算する。ここで、ｉ＝１，・・・，Ｍ、ｊ＝１，・・・，Ｎであり、Ｍ，Ｎは予め設定された値である。すなわち、画像特徴ベクトルｖ１^(d)（ｔ，ｉ，ｊ）は、試合本編映像ｄのフレームｔにおけるブロック（ｉ，ｊ）の画像特徴を示すデータである。例えば、画像特徴ベクトルｖ１^(d)（ｔ，ｉ，ｊ）は、そのブロック（ｉ，ｊ）内におけるＲＧＢの画素値の平均値、または、そのブロック（ｉ，ｊ）内における輝度の平均値が用いられる。

本編映像前処理部２１は、１−２ショットセットｋにおける第２ショットの各フレーム画像ｔ（ｔ＝ｔ２₀ ^{(d, k)}，・・・，ｔ２₀ ^{(d, k)}＋Ｔ２^{(d, k)}−１）についてもＭ×Ｎ個にブロック分割し、各ブロック（ｉ，ｊ）の画像特徴ベクトルｖ２^(d)（ｔ，ｉ，ｊ）を計算する。

このようにして本編映像前処理部２１により計算された、１−２ショットセットｋの投球ショットにおけるブロック（ｉ，ｊ）毎の画像特徴ベクトルｖ１^(d)（ｔ，ｉ，ｊ）、及び第２ショットにおけるブロック（ｉ，ｊ）毎の画像特徴ベクトルｖ２^(d)（ｔ，ｉ，ｊ）は、検索処理部２３に出力される。

（編集映像ベクトル計算部）
次に、編集映像ベクトル計算部２２について説明する。編集映像ベクトル計算部２２は、記憶部１２からスポーツニュース編集映像を読み出し、スポーツニュース編集映像のうちの、視聴者により指定されたシーンの投球ショット及び打球ショットを含む第ｗショット（ｗ＝１は投球ショット、ｗ＝２，３，４は、それぞれ第２ショット、第３ショット及び第４ショットを示し、第４ショットは打球ショットを示す。）について、最終フレームからＴフレーム分遡ったフレームｔｗ_qを先頭フレームとし、フレームｔｗ_qから最終フレームまでのフレーム数Ｔの映像区間における画像特徴ベクトルＶ（ｔｗ_q）を計算する。尚、フレーム数Ｔの映像区間は、第ｗショットのそれぞれの区間内であればどこでもよい。

図３は、所定の映像区間における画像特徴ベクトルの概念図である。図３を参照して、編集映像ベクトル計算部２２の計算処理について具体的に説明する。編集映像ベクトル計算部２２は、スポーツニュース編集映像に対し視聴者により指定されたシーンの投球ショット及び打球ショットを含む第ｗショット（ｗ＝１〜４）の映像において、フレームｔ₀（＝ｗ_q）を先頭フレームとしてそのショットのｔ₀＋Ｔ−１（最終フレーム）までの連続したＴ枚のフレームをＭ×Ｎ個にブロック分割する。そして、編集映像ベクトル計算部２２は、Ｔ枚の各フレームｔにおける各ブロック（ｉ，ｊ）の画像特徴ベクトルｖ（ｔ，ｉ，ｊ）を計算し、各ブロック（ｉ，ｊ）において、画像特徴ベクトルｖ（ｔ，ｉ，ｊ）をＴ枚分足し合わせ、その値をＴで除算しＶ’（ｉ，ｊ）を計算する。

そして、編集映像ベクトル計算部２２は、Ｖ’（ｉ，ｊ）を全てのブロックについて並べたＶ（ｔ₀）＝（Ｖ’（１，１），Ｖ’（２，１），・・・，Ｖ’（ｉ，ｊ），・・・，Ｖ’（Ｍ，Ｎ））をこの映像区間（フレームｔ₀〜フレームｔ₀＋Ｔ−１）の画像特徴ベクトルとして計算する。すなわち、編集映像ベクトル計算部２２は、視聴者により指定されたシーンの投球ショット及び打球ショットを含む第ｗショット（ｗ＝１〜４）について、所定のフレーム数Ｔの映像区間における画像特徴ベクトルＶ（ｔｗ_q）を計算する。

図４は、スポーツニュース編集映像における投球ショット及び第２〜第４ショットの画像特徴ベクトルを説明する図である。図４に示すように、編集映像ベクトル計算部２２は、投球ショット（ｗ＝１）について、フレームｔ１_qから最終フレームまでのフレーム数Ｔの映像区間における画像特徴ベクトルＶ（ｔ１_q）を計算する。同様に、編集映像ベクトル計算部２２は、第２〜第４ショット（ｗ＝２〜４）について、フレームｔ２_q〜ｔ４_qから最終フレームまでのフレーム数Ｔの映像区間における画像特徴ベクトルＶ（ｔ２_q）〜Ｖ（ｔ４_q）をそれぞれ計算する。

このようにして編集映像ベクトル計算部２２により計算された、スポーツニュース編集映像の中から視聴者により指定されたシーンの投球ショット及び打球ショットを含む第ｗショットについての、フレームｔｗ_qから最終フレームまでのフレーム数Ｔの映像区間における画像特徴ベクトルＶ（ｔｗ_q）は、検索処理部２３に出力される。

（候補ショットセット選定部）
次に、検索処理部２３の候補ショットセット選定部２４について説明する。候補ショットセット選定部２４は、本編映像前処理部２１から、試合本編映像の１−２ショットセットにおける投球ショットの画像特徴ベクトルｖ１^(d)（ｔ，ｉ，ｊ）を入力すると共に、編集映像ベクトル計算部２２から、スポーツニュース編集映像において視聴者により指定されたシーンの投球ショット（ｗ＝１）における画像特徴ベクトルＶ（ｔ１_q）を入力する。そして、候補ショットセット選定部２４は、試合本編映像の投球ショットに対し、所定のフレーム数Ｔの映像区間における画像特徴ベクトルＶ（ｔ₀）を算出し、スポーツニュース編集映像の投球ショットにおける画像特徴ベクトルＶ（ｔ１_q）との間の類似度Ｓ１^(d)（ｔ₀）を算出し、候補ショットセット（ｄ（ｎ），ｋ（ｎ））を選定する。以下、具体的に説明する。

図５は、候補ショットセット選定部２４の処理を説明するフローチャートである。図６は、試合本編映像の投球ショットとスポーツニュース編集映像の投球ショットとの間の類似度を説明する図である。候補ショットセット選定部２４は、試合本編映像の番号ｄ＝１を設定し（ステップＳ５０１）、試合本編映像ｄにおける１−２ショットセットの番号ｋ＝１を設定し（ステップＳ５０２）、試合本編映像ｄにおける先頭フレームの番号ｔ₀＝ｔ１₀ ^{(d, k)}を設定する（ステップＳ５０３）。ここで、フレームｔ１₀ ^{(d, k)}は、試合本編映像ｄの１−２ショットセットｋにおける投球ショットの先頭フレームを示す。

候補ショットセット選定部２４は、試合本編映像ｄの投球ショットについて、フレームｔにおけるブロック（ｉ，ｊ）の画像特徴ベクトルｖ１^(d)（ｔ，ｉ，ｊ）のうち、フレームｔ₀〜ｔ₀＋Ｔの映像区間におけるブロック（ｉ，ｊ）のｖ１^(d)（ｔ，ｉ，ｊ）（ｔ＝ｔ₀，・・・，ｔ₀＋Ｔ−１）を用いて、この映像区間の画像特徴ベクトルＶ（ｔ₀）を計算する（ステップＳ５０４）。計算手法は、編集映像ベクトル計算部２２による計算と同様である。

候補ショットセット選定部２４は、図６に示すように、スポーツニュース編集映像の投球ショット（ｗ＝１）についての所定の映像区間における画像特徴ベクトルＶ（ｔ１_q）と、ステップＳ５０４にて計算した試合本編映像の投球ショットについての所定の映像区間における画像特徴ベクトルＶ（ｔ₀）との間の類似度Ｓ１^(d)（ｔ₀）を計算する（ステップＳ５０５）。

候補ショットセット選定部２４は、ステップＳ５０５にて計算した類似度Ｓ１^(d)（ｔ₀）と、予め設定された閾値Ｓ１_thとを比較する（ステップＳ５０６）。類似度Ｓ１^(d)（ｔ₀）が閾値Ｓ１_thよりも大きいと判定した場合（ステップＳ５０６：Ｙ）、現在処理中の「試合本編映像ｄの１−２ショットセットｋ」を「候補ショットセット」の集合（ｄ（ｎ），ｋ（ｎ））に追加し（ステップＳ５０７）、ステップＳ５０８へ移行する。一方、類似度Ｓ１^(d)（ｔ₀）が閾値Ｓ１_thよりも大きくないと判定した場合（ステップＳ５０６：Ｎ）、ステップＳ５０８へ移行する。これにより、スポーツニュース編集映像の投球ショットに類似する試合本編映像の投球ショットを含む１−２ショットセットの情報（試合本編映像のＩＤであるｄ及び１−２ショットセットの番号であるｋ）が、候補ショットセット（ｄ（ｎ），ｋ（ｎ））に設定される。ｎは、設定された順番を示す番号である。

候補ショットセット選定部２４は、試合本編映像ｄにおける先頭フレームの番号ｔ₀をインクリメントし（ステップＳ５０８）、その先頭フレームの番号ｔ₀とｔ１₀ ^{(d, k)}＋Ｔ１^{(d, k)}−Ｔとを比較する（ステップＳ５０９）。ｔ１₀ ^{(d, k)}は投球ショットの先頭フレームの番号を示し、Ｔ１^{(d, k)}は投球ショットの長さ（フレーム数）を示し、Ｔは処理単位のフレーム数を示す。すなわち、先頭のフレーム番号ｔ₀が、最終フレームから遡ってＴフレーム分前のフレーム番号よりも大きいか否かを判定する。言い換えると、その試合本編映像ｄの１−２ショットセットｋにおける投球ショットについて、その映像区間内におけるＴフレーム数毎のステップＳ５０４からステップＳ５０８までの処理が、その先頭フレームｔ１₀ ^{(d, k)}から最終フレームに渡って全て完了したか否かを判定する。

候補ショットセット選定部２４は、ステップＳ５０９において、先頭フレームの番号ｔ₀がｔ１₀ ^{(d, k)}＋Ｔ１^{(d, k)}−Ｔよりも大きいと判定した場合（ステップＳ５０９：Ｙ）、すなわち、投球ショットの映像区間内におけるＴフレーム毎の処理が全て完了したと判定した場合、ステップＳ５１０へ移行する。一方、先頭フレームの番号ｔ₀がｔ１₀ ^{(d, k)}＋Ｔ１^{(d, k)}−Ｔよりも大きくないと判定した場合（ステップＳ５０９：Ｎ）、すなわち、投球ショットの映像区間内におけるＴフレーム毎の処理が全て完了していないと判定した場合、ステップＳ５０８にて設定した先頭のフレーム番号ｔ₀からＴフレーム分の処理を行うため、ステップＳ５０４へ移行する。これにより、次のフレーム番号ｔ₀を先頭にした処理が行われる。

候補ショットセット選定部２４は、試合本編映像ｄにおける１−２ショットセットの番号ｋをインクリメントし（ステップＳ５１０）、その１−２ショットセットの番号ｋとＫ^(d)とを比較する（ステップＳ５１１）。Ｋ^(d)は試合本編映像ｄから抽出された１−２ショットセットの数を示す。すなわち、その試合本編映像ｄにおける全ての１−２ショットセットの投球ショットについて、ステップＳ５０３からステップＳ５１０までの処理が完了したか否かを判定する。

候補ショットセット選定部２４は、ステップＳ５１１において、１−２ショットセットの番号ｋがＫ^(d)よりも大きいと判定した場合（ステップＳ５１１：Ｙ）、すなわち、その試合本編映像ｄにおける全ての１−２ショットセットについて処理が完了したと判定した場合、ステップＳ５１２へ移行する。一方、１−２ショットセットの番号ｋがＫ^(d)よりも大きくないと判定した場合（ステップＳ５１１：Ｎ）、すなわち、その試合本編映像ｄにおける全ての１−２ショットセットについて処理が完了していないと判定した場合、ステップＳ５１０にて設定した１−２ショットセットｋの処理を行うため、ステップＳ５０３へ移行する。これにより、次の番号の１−２ショットセットｋについて処理が行われる。

候補ショットセット選定部２４は、試合本編映像のＩＤであるｄをインクリメントし（ステップＳ５１２）、その試合本編映像ｄとＤとを比較する（ステップＳ５１３）。Ｄは試合本編映像ファイルの数を示す。すなわち、全ての試合本編映像ｄについて、ステップＳ５０２からステップＳ５１２までの処理が完了したか否かを判定する。

候補ショットセット選定部２４は、ステップＳ５１３において、試合本編映像のＩＤであるｄがＤよりも大きいと判定した場合（ステップＳ５１３：Ｙ）、すなわち、全ての試合本編映像ｄについて処理が完了したと判定した場合、処理を終了する。一方、試合本編映像のＩＤであるｄがＤよりも大きくないと判定した場合（ステップＳ５１３：Ｎ）、すなわち、全ての試合本編映像ｄについて処理が完了していないと判定した場合、ステップＳ５１２にて設定した試合本編映像ｄの処理を行うため、ステップＳ５０２へ移行する。これにより、次の試合本編映像ｄについて処理が行われる。

このように、候補ショットセット選定部２４は、試合本編映像ｄ毎、試合本編映像ｄから抽出された１−２ショットセット毎、及び、投球ショットの映像区間内で先頭フレームから最終フレームまでの間で指定したＴフレーム毎に処理を行い、スポーツニュース編集映像の投球ショットと試合本編映像の投球ショットとの間で類似度を計算し、候補ショットセット（ｄ（ｎ），ｋ（ｎ））の集合｛（ｄ（１），ｋ（１）），・・・，（ｄ（Ｎ_ss），ｋ（Ｎ_ss））｝を選定し、最終特定部２５に出力する。これにより、候補ショットセット選定部２４は、試合本編映像から抽出された１−２ショットセットｋのうち、スポーツニュース編集映像の投球ショットに類似する投球ショットを含む１−２ショットセットを、候補ショットセット（ｄ（ｎ），ｋ（ｎ））として選定することができる。ここで、（ｄ（ｎ），ｋ（ｎ））は、映像ｄ（ｎ）のｋ（ｎ）番目の１−２ショットセットであり、Ｎ_ssは候補ショットセットの数である。

（最終特定部）
次に、検索処理部２３の最終特定部２５について説明する。最終特定部２５は、本編映像前処理部２１から、試合本編映像の１−２ショットセットにおける第２ショットの画像特徴ベクトルｖ２^(d)（ｔ，ｉ，ｊ）を入力すると共に、編集映像ベクトル計算部２２から、スポーツニュース編集映像において視聴者により指定されたシーンの第２〜第４ショット（ｗ＝２〜４）における画像特徴ベクトルＶ（ｔ２_q）〜Ｖ（ｔ４_q）をそれぞれ入力する。また、候補ショットセット選定部２４から、試合本編映像とスポーツニュース編集映像との間の投球ショットにおいて類似度が高いと判定された候補ショットセット（ｄ（ｎ），ｋ（ｎ））を入力する。そして、最終特定部２５は、試合本編映像の第２ショットに対し、フレーム数Ｔの映像区間における画像特徴ベクトルＶ（ｔ₀）を算出し、スポーツニュース編集映像の第２〜第４ショットにおける画像特徴ベクトルＶ（ｔ２_q）〜Ｖ（ｔ４_q）との間の類似度Ｓ２^(d)（ｔ₀）〜Ｓ４^(d)（ｔ₀）を算出し、候補ショットセット（ｄ（ｎ），ｋ（ｎ））の中から、最も類似度の高いショットセットを特定し、試合本編映像ＩＤ、映像区間の開始点（開始フレームの番号）及び終了点（終了フレームの番号）を出力する。以下、具体的に説明する。

図７は、最終特定部２５の処理を説明するフローチャートである。図８は、試合本編映像ｄ（ｎ）の第２ショットとスポーツニュース編集映像の第２〜第４ショットとの間の類似度を説明する図である。最終特定部２５は、類似度の最大値Ｓ_MAX＝０．０を設定し（ステップＳ７０１）、候補ショットセットの番号ｎ＝１を設定し（ステップＳ７０２）、候補ショットセット（ｄ（ｎ），ｋ（ｎ））の第２ショットにおける先頭フレームの番号ｔ₀＝ｔ２₀ ^{(d(n), k(n))}を設定する（ステップＳ７０３）。

最終特定部２５は、試合本編映像ｄ（ｎ）の第２ショットについて、フレームｔにおけるブロック（ｉ，ｊ）の画像特徴ベクトルｖ２^(d(n))（ｔ，ｉ，ｊ）のうち、フレームｔ₀〜ｔ₀＋Ｔの映像区間におけるブロック（ｉ，ｊ）のｖ２^(d(n))（ｔ，ｉ，ｊ）（ｔ＝ｔ₀，・・・，ｔ₀＋Ｔ−１）を用いて、この映像区間の画像特徴ベクトルＶ（ｔ₀）を計算する（ステップＳ７０４）。計算手法は、編集映像ベクトル計算部２２による計算と同様である。

最終特定部２５は、図８に示すように、スポーツニュース編集映像の第２〜第４ショット（ｗ＝２〜４）についての所定の映像区間における画像特徴ベクトルＶ（ｔ２_q）〜Ｖ（ｔ４_q）と、ステップＳ７０４にて計算した試合本編映像ｄ（ｎ）の第２ショットについての所定の映像区間における画像特徴ベクトルＶ（ｔ₀）との間の類似度Ｓ２^(d(n))（ｔ₀）〜Ｓ４^(d(n))（ｔ₀）をそれぞれ計算する（ステップＳ７０５）。

最終特定部２５は、ステップＳ７０５にて計算した類似度Ｓ２^(d(n))（ｔ₀）〜Ｓ４^(d(n))（ｔ₀）の中から最大値Ｓ^(d(n))（ｔ₀）を設定する（ステップＳ７０６）。

最終特定部２５は、類似度の最大値Ｓ_MAXとステップＳ７０６にて設定した類似度Ｓ^(d(n))（ｔ₀）とを比較する（ステップＳ７０７）。類似度の最大値Ｓ_MAXが類似度Ｓ^(d(n))（ｔ₀）よりも小さいと判定した場合（ステップＳ７０７：Ｙ）、Ｓ_MAX＝Ｓ^(d(n))（ｔ₀），ｄ_MAX＝ｄ（ｎ），ｔ_MAX＝ｔ₀を設定する。すなわち、ステップＳ７０６にて設定した類似度Ｓ^(d(n))（ｔ₀）を最大値Ｓ_MAXに、候補ショットセットｄ（ｎ）を最適ショットセットｄ_MAXに、先頭フレームｔ₀を最適先頭フレームｔ_MAXにそれぞれ設定する（ステップＳ７０８）。そして、ステップＳ７０９へ移行する。一方、類似度の最大値Ｓ_MAXが類似度Ｓ^(d(n))（ｔ₀）よりも小さくないと判定した場合（ステップＳ７０７：Ｎ）、ステップＳ７０９へ移行する。これにより、試合本編映像ｄ（ｎ）における候補ショットセット（ｄ（ｎ），ｋ（ｎ））の第２ショットと、スポーツニュース編集映像における第２〜第４ショットとの間で、最も類似度の高い試合本編映像のＩＤであるｄ_MAX及び先頭フレームの番号ｔ_MAXを設定することができる。

最終特定部２５は、試合本編映像ｄ（ｎ）における先頭フレームの番号ｔ₀をインクリメントし（ステップＳ７０９）、その先頭フレームの番号ｔ₀とｔ２₀ ^{(d(n), k(n))}＋Ｔ２^{(d(n), k(n))}−Ｔとを比較する（ステップＳ７１０）。ｔ２₀ ^{(d(n), k(n))}は第２ショットの先頭フレームの番号を示し、Ｔ２^{(d(n), k(n))}は第２ショットの長さ（フレーム数）を示し、Ｔは処理単位のフレーム数を示す。すなわち、先頭のフレーム番号ｔ₀が、最終フレームから遡ってＴフレーム分前のフレーム番号よりも大きいか否かを判定する。言い換えると、その試合本編映像ｄ（ｎ）の１−２ショットセットｋ（ｎ）における第２ショットについて、その映像区間内におけるＴフレーム数毎のステップＳ７０４からステップＳ７０９までの処理が、その先頭フレームｔ２₀ ^(d(n),k(n))から最終フレームに渡って全て完了したか否かを判定する。

最終特定部２５は、ステップＳ７１０において、先頭フレームの番号ｔ₀がｔ２₀ ^{(d(n), k(n))}＋Ｔ２^{(d(n), k(n))}−Ｔよりも大きいと判定した場合（ステップＳ７１０：Ｙ）、すなわち、第２ショットの映像区間内におけるＴフレーム毎の処理が全て完了したと判定した場合、ステップＳ７１１へ移行する。一方、先頭フレームの番号ｔ₀がｔ２₀ ^{(d(n), k(n))}＋Ｔ２^{(d(n), k(n))}−Ｔよりも大きくないと判定した場合（ステップＳ７１０：Ｎ）、すなわち、第２ショットの映像区間内におけるＴフレーム毎の処理が全て完了していないと判定した場合、ステップＳ７０９にて設定した先頭のフレーム番号ｔ₀からＴフレーム分の処理を行うため、ステップＳ７０４へ移行する。これにより、次のフレーム番号ｔ₀を先頭にした処理が行われる。

最終特定部２５は、候補ショットセットの番号ｎをインクリメントし（ステップＳ７１１）、その候補ショットセットの番号ｎとＮ_ssとを比較する（ステップＳ７１２）。Ｎ_ssは候補ショットセットの数を示す。すなわち、全ての候補ショットセット（ｄ（ｎ），ｋ（ｎ））の第２ショットについて、ステップＳ７０３からステップＳ７１１までの処理が完了したか否かを判定する。

最終特定部２５は、ステップＳ７１２において、候補ショットセットの番号ｎがＮ_ssよりも大きいと判定した場合（ステップＳ７１２：Ｙ）、すなわち、全ての候補ショットセット（ｄ（ｎ），ｋ（ｎ））について処理が完了したと判定した場合、ステップＳ７１３へ移行する。一方、候補ショットセットの番号ｎがＮ_ssよりも大きくないと判定した場合（ステップＳ７１２：Ｎ）、すなわち、全ての候補ショットセット（ｄ（ｎ），ｋ（ｎ））について処理が完了していないと判定した場合、ステップＳ７１１にて設定した候補ショットセット（ｄ（ｎ），ｋ（ｎ））の処理を行うため、ステップＳ７０３へ移行する。これにより、次の番号の候補ショットセット（ｄ（ｎ），ｋ（ｎ））について処理が行われる。

最終特定部２５は、試合本編映像ｄ_MAXの映像区間ｔ_MAX〜ｔ_MAX＋Ｔを含むショットセット（ｄ_MAX，ｋ_MAX）を特定する（ステップＳ７１３）。これにより、スポーツニュース編集映像の投球ショット、及び第２〜第４ショットのうちのいずれかのショットのショットセットと、試合本編映像の候補ショットセット（ｄ（ｎ），ｋ（ｎ））との間で、最も類似度の高いショットセット（ｄ_MAX，ｋ_MAX）が特定される。

最終特定部２５は、スポーツニュース編集映像における所定の投球ショット及び打球ショットを含むシーンに対応する試合本編映像ｄのシーンとして、試合本編映像ＩＤ＝ｄ_MAX、映像区間の開始点＝ｔ１₀ ^{(dMAX, kMAX)}（試合本編映像ｄ_MAXのショットセット（ｄ_MAX，ｋ_MAX）における投球ショットの開始フレーム番号）及び映像区間の終了点＝ｔ１₀ ^{(dMAX, kMAX+1)}−１（ショットセット（ｄ_MAX，ｋ_MAX）の次のショットセット（ｄ_MAX，ｋ_MAX＋１）における投球ショットの直前フレーム番号）を出力する（ステップＳ７１４）。

このように、最終特定部２５は、候補ショットセット毎、及びスポーツニュース編集映像における第２〜第４ショットの映像区間内で先頭フレームから最終フレームまでのＴフレーム毎に処理を行い、候補ショットセット（ｄ（ｎ），ｋ（ｎ））の集合｛（ｄ（１），ｋ（１）），・・・，（ｄ（Ｎｓｓ），ｋ（Ｎｓｓ））｝の中から、スポーツニュース編集映像における第２〜第４ショットのいずれかのショットと最も類似度の高い第２ショットを含むショットセット（ｄ_MAX，ｋ_MAX）を特定する。これにより、最終特定部２５は、スポーツニュース編集映像における所定の投球ショット及び打球ショットを含むシーンに対応する試合本編映像のシーンを特定することができる。

以上のように、本発明の実施形態による映像検索装置１によれば、本編映像前処理部２１は、試合本編映像のショット切替点を検出し、このショット切替点の直前のショットが投球ショットであるか否かを、予め設定された投球ショットリファレンスとの間で画像の類似性によって判定し、切替点を跨いだ投球ショット及び第２ショットの組み合わせである１−２ショットセットｋを抽出するようにした。これにより、投球ショットに絞り込んだ１−２ショットセットｋを対象にして検索が行われるから、全てのショット切替点の前後のショットを対象にして検索を行う場合に比べ、効率的な検索処理を実現することができる。

また、本発明の実施形態による映像検索装置１によれば、編集映像ベクトル計算部２２は、スポーツニュース編集映像のうちの、視聴者により指定されたシーンの投球ショット及び打球ショットを含む第ｗショット（ｗ＝１〜４）について、画像特徴ベクトルＶ（ｔｗ_q）を計算するようにした。つまり、スポーツニュース編集映像の第１ショット（ｗ＝１）である投球ショットに加えて、打球ショットを含む第２〜第４ショット（ｗ＝２〜４）も検索対象とした。これにより、投球ショットと打球ショットとの間に他の１〜２ショットが挿入される図１（２）に示したパターンＢの構成であっても、スポーツニュース編集映像における所定の投球ショット及び打球ショットを含むシーンに対応した試合本編映像のシーンを、確実に特定することができる。

また、本発明の実施形態による映像検索装置１によれば、候補ショットセット選定部２４は、試合本編映像の投球ショットと、スポーツニュース編集映像の投球ショットとの間の類似度Ｓ１^(d)（ｔ₀）を算出し、類似度Ｓ１^(d)（ｔ₀）の高いショットセットを、候補ショットセット（ｄ（ｎ），ｋ（ｎ））として選定するようにした。これにより、投球ショットが類似する候補ショットセット（ｄ（ｎ），ｋ（ｎ））を対象にして最終特定部２５により検索が行われるから、全てのショットセットｋを対象にして検索を行う場合に比べ、効率的な検索処理を実現することができる。

また、本発明の実施形態による映像検索装置１によれば、最終特定部２５は、候補ショットセット（ｄ（ｎ），ｋ（ｎ））における試合本編映像の第２ショットと、スポーツニュース編集映像の第２〜第４ショットとの間の類似度Ｓ２^(d)（ｔ₀）〜Ｓ４^(d)（ｔ₀）をそれぞれ算出し、類似度Ｓ２^(d)（ｔ₀）〜Ｓ４^(d)（ｔ₀）が最も高いショットセットを特定し、試合本編映像ＩＤ、映像区間の開始点（開始フレームの番号）及び終了点（終了フレームの番号）を出力するようにした。これにより、スポーツニュース編集映像における所定のシーンに対応した試合本編映像のシーンを、確実にかつ効率的に検索することができる。したがって、視聴者は、編集映像の中で所望するシーンを、試合本編映像によりじっくり視聴することができる。

尚、映像検索装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。映像検索装置１に備えた本編映像前処理部２１、編集映像ベクトル計算部２２及び検索処理部２３の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもできる。

１ 映像検索装置
１１，１２ 記憶部
２１ 本編映像前処理部
２２ 編集映像ベクトル計算部
２３ 検索処理部
２４ 候補ショットセット選定部
２５ 最終特定部

Claims (6)

1. 本編映像の特徴量、及び前記本編映像の連続したショットを含む編集映像の特徴量に基づいて、前記編集映像における所定のショットに対応した前記本編映像のショットを検索する映像検索装置において、
   前記本編映像におけるフレーム間の類似度に基づいてショット切替点を検出し、前記ショット切替点の直前の第１本編ショット及び直後の第２本編ショットからなるショットセットを抽出し、前記第１本編ショットの特徴量及び前記第２本編ショットの特徴量をそれぞれ計算する本編映像前処理部と、
   前記編集映像における所定のショットである第１編集ショットの特徴量、及び該第１編集ショットに続く連続した複数の編集ショットの特徴量をそれぞれ計算する編集映像計算部と、
   前記第１本編ショットの特徴量と前記第１編集ショットの特徴量とに基づいて、前記第１本編ショットと前記第１編集ショットとの間の第１の類似度を計算し、前記第２本編ショットの特徴量と前記第１編集ショットに続く連続した複数の編集ショットの特徴量とに基づいて、前記第２本編ショットと前記複数の編集ショットとの間の第２の類似度をそれぞれ計算し、前記第１の類似度及び第２の類似度に基づいて、前記編集映像における所定のショットに対応した前記本編映像のショットを特定する検索処理部と、を備えたことを特徴とする映像検索装置。
2. 請求項１に記載の映像検索装置において、
   前記検索処理部は、
   前記第１本編ショットの特徴量と第１編集ショットの特徴量とに基づいて両ショットの類似度を計算し、前記類似度が所定の閾値よりも高い第１本編ショットを含むショットセットを、候補ショットセットとして選定する候補ショットセット選定部と、
   前記候補ショットセットに含まれる第２本編ショットの特徴量と、前記第１編集ショットに続く連続した複数の編集ショットの特徴量とに基づいて、前記第２本編ショットと前記複数の編集ショットとの間の類似度をそれぞれ計算し、全ての前記候補ショットセットにおける前記計算した類似度のうち、最も類似度が高い候補ショットセットを特定し、前記特定した候補ショットセットに含まれる第１本編ショットを、前記編集映像における所定のショットに対応した前記本編映像のショットとして特定する最終特定部と、を備えたことを特徴とする映像検索装置。
3. 請求項１または２に記載の映像検索装置において、
   前記検索処理部は、フレームが分割された領域をブロックとした場合に、連続した所定数のフレームに渡る前記ブロック毎の特徴量に基づいて、前記第１の類似度及び第２の類似度を計算する、ことを特徴とする映像検索装置。
4. 請求項１から３までのいずれか一項に記載の映像検索装置において、
   前記編集映像は、前記本編映像の連続した２つのショットに基づいて構成され、前記２つのショットに基づいて構成されたそれぞれのショットの間に、所定数の他のショットが挿入されており、
   前記編集映像計算部は、前記本編映像の連続した２つのショットに基づいて構成されたそれぞれのショットの特徴量、及び前記所定数の他のショットの特徴量を計算する、ことを特徴とする映像検索装置。
5. 請求項１から４までのいずれか一項に記載の映像検索装置において、
   前記本編映像を野球の試合映像とし、前記第１本編ショット及び第１編集ショットを投球ショットとする、ことを特徴とする映像検索装置。
6. 本編映像の特徴量、及び前記本編映像の連続したショットを含む編集映像の特徴量に基づいて、前記編集映像における所定のショットに対応した前記本編映像のショットを検索するプログラムであって、コンピュータに、
   前記本編映像におけるフレーム間の類似度に基づいてショット切替点を検出するステップと、
   前記ショット切替点の直前の第１本編ショット及び直後の第２本編ショットからなるショットセットを抽出するステップと、
   前記第１本編ショットの特徴量及び第２本編ショットの特徴量をそれぞれ計算するステップと、
   前記編集映像における所定のショットである第１編集ショットの特徴量、及び該第１編集ショットに続く連続した複数の編集ショットの特徴量をそれぞれ計算するステップと、
   前記第１本編ショットの特徴量と前記第１編集ショットの特徴量とに基づいて、前記第１本編ショットと前記第１編集ショットとの間の第１の類似度を計算するステップと、
   前記第２本編ショットの特徴量と前記第１編集ショットに続く連続した複数の編集ショットの特徴量とに基づいて、前記第２本編ショットと前記複数の編集ショットとの間の第２の類似度をそれぞれ計算するステップと、
   前記第１の類似度及び第２の類似度に基づいて、前記編集映像における所定のショットに対応した前記本編映像のショットを特定するステップと、を実行させることを特徴とする映像検索プログラム。

Images