JP2017045111A - コンテンツ情報提供装置、コンテンツ表示装置、オブジェクトメタデータのデータ構造、イベントメタデータのデータ構造、コンテンツ情報提供方法、コンテンツ情報提供プログラムおよびコンテンツ情報提供システム - Google Patents

Abstract

【課題】所定のプログラムに関連する複数の映像の情報を提供する。【解決手段】コンテンツ情報提供装置１は、ＣＲＩＤ、映像データで検出された検出オブジェクト情報および映像データにおけるオブジェクト出現時間を対応づけた映像解析データ１１を記憶し、映像データにおけるオブジェクトの一連の出現を識別するオブジェクト出現ＩＤを採番するとともに、オブジェクト出現ＩＤに、ＣＲＩＤ、検出オブジェクト情報、およびオブジェクト出現時間を対応づけたオブジェクトメタレコードを含むオブジェクトメタデータ２１を生成するオブジェクトメタ生成手段３１を備える。【選択図】 図４

Description

本発明は、所定のプログラムに関連する複数の映像の情報を提供するコンテンツ情報提供装置、コンテンツ表示装置、コンテンツ情報提供装置が生成するオブジェクトメタデータのデータ構造およびイベントメタデータのデータ構造、このコンテンツ情報提供装置に対応するコンテンツ情報提供方法ならびにコンテンツ情報提供プログラムに関する。

放送技術の発達に伴い、スポーツイベント等の所定のプログラムを目的とした中継において、複数のカメラが設置され、各カメラから様々なアングルでプログラムが撮影される場合がある。また、このようなプログラムにおける映像の解析情報やイベントの情報も、中継と並行して公開される環境も整い、多様な映像配信が実現されている。

また、情報機器や通信技術に伴い、ユーザは、多種多様な映像を取得可能となり、ユーザが視聴する映像の選択肢は、増加の一方を辿っている。また、タブレット等によりマルチスクリーン環境が身近になり、ユーザは、一つのイベントを複数の画面で、視聴する場合もある。

このような技術進歩を背景に、従来通りの放送型の、予め編集および編成されたコンテンツではなく、多くの映像の中から、所望のイベントやオブジェクトを、ユーザ自身が選択して視聴したいという、マルチコンテンツサービスに対する要望が高まっている。

現在、このような映像配信におけるメタデータは、ＴＶＡ（ＴＶ Ａｎｙｔｉｍｅ Ｆｏｒｕｍ）、ＭＰＥＧ−７（非特許文献１参照）、ＭＰＥＧ−２１等で規格されている。これらのメタデータは、コンテンツ毎に、オブジェクトの表示位置や表示時間などのオブジェクトに関する時系列の情報を、管理する。従って、ユーザは、関連映像すべてのコンテンツに関するメタデータを取得することにより、複数の映像から所望のオブジェクトを抽出し、同時に複数の映像を使用してマルチコンテンツ視聴への対応が可能となる。

「ＩＮＴＥＲＮＡＴＩＯＮＡＬ ＳＴＡＮＤＡＲＤ Ｉｎｆｏｒｍａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ − Ｍｕｌｔｉｍｅｄｉａ Ｃｏｎｔｅｎｔ Ｄｅｓｃｒｉｐｔｉｏｎ ｉｎｔｅｒｆａｃｅ Ｐａｒｔ ３ Ｖｉｓｕａｌ」、ＩＳＯ／ＩＥＣ １５９８３−３、２００２年５月１５日

しかしながら、従来のメタデータの規格では、マルチコンテンツサービスを実現しづらい問題がある。具体的には、ユーザの興味は、複数のコンテンツに亘るため、複数のコンテンツでそれぞれ逐次更新されるオブジェクト等の情報を継続的にかつ横断的に検索する必要があり、リアルタイム性が損なわれる問題がある。また、アーカイブ型の視聴においても、複数のコンテンツに関するメタデータを全て取得した上で、必要となるコンテンツの情報を取得する必要がある。従って、コンテンツのメタデータが、オブジェクトの表示位置や表示時間などのオブジェクトに関する時系列の情報を含む場合、コンテンツメタデータの取得の差異に用いられるリソースが膨大となり、リソースを無駄に消費する問題がある。

また、イベントに関する情報は、各コンテンツのメタデータに文字として埋め込む必要があり、イベントに関する検索が難しい問題や、映像に直接かかわらないイベントの情報を保持しづらい問題がある。

従って本発明の目的は、複数の映像からユーザの所望の映像を容易に選択可能なコンテンツ情報提供装置、コンテンツ表示装置、コンテンツ情報提供装置が生成するオブジェクトメタデータのデータ構造およびイベントメタデータのデータ構造、このコンテンツ情報提供装置に対応するコンテンツ情報提供方法ならびにコンテンツ情報提供プログラムを提供することである。

上記課題を解決するために、本発明の第１の特徴は、所定のプログラムに関連する複数の映像の情報を提供するコンテンツ情報提供装置に関する。本発明の第１の特徴に係るコンテンツ情報提供装置は、映像データの識別子、映像データで検出されたオブジェクトの検出オブジェクト情報、および映像データにおけるオブジェクト出現時間を対応づけた映像解析データを、記憶する記憶装置と、映像データにおけるオブジェクトの一連の出現を識別するオブジェクト出現の識別子を採番するとともに、オブジェクト出現の識別子に、映像データの識別子、検出オブジェクト情報、およびオブジェクト出現時間を対応づけたオブジェクトメタレコードを含むオブジェクトメタデータを生成するオブジェクトメタ生成手段を備える。

本発明の第２の特徴は、所定のプログラムに関連する複数の映像の情報を提供するコンテンツ情報提供装置に関する。本発明の第２の特徴に係るコンテンツ情報提供装置は、記憶装置は、さらに、映像データの識別子、映像データの撮影時間、および撮影オブジェクト情報を対応づけたコンテンツ付随データと、プログラムで発生したイベントのイベント名、イベント発生時間、および関連オブジェクト情報を対応づけた状況情報データと、を記憶する記憶装置と、イベントの識別子を採番するとともに、コンテンツ付随データにおいて、撮影時間がイベント発生時間と重複し、撮影オブジェクト情報と関連オブジェクト情報とが対応する映像データの識別子を特定し、イベントの識別子に、状況情報データのイベント発生時間、撮影オブジェクト情報と対応する関連オブジェクト情報および特定した映像データの識別子を対応づけたイベントメタレコードを含むイベントメタデータを生成するイベントメタ生成手段を備える。

イベントメタ生成手段は、オブジェクトメタデータから、イベントメタレコードの映像データの識別子および関連オブジェクト情報と共通するオブジェクトメタレコードであって、イベントメタレコードのイベント発生時間とオブジェクト出現時間が重なるオブジェクトメタレコードを特定し、イベントメタレコードに、特定されたオブジェクトメタレコードのオブジェクト出現の識別子を対応づけても良い。

コンテンツ付随データにおいて、イベントメタレコードの映像データの識別子および関連オブジェクト情報と対応するレコードがある場合、新たなオブジェクト出現の識別子を採番するとともに、新たなオブジェクト出現の識別子に、映像データの識別子と、関連オブジェクト情報と、オブジェクト出現時間としてイベントメタレコードのイベント発生時間を対応づけた追加オブジェクトメタレコードを含む追加オブジェクトメタデータを生成する追加オブジェクトメタ生成手段
をさらに備えても良い。

記憶装置は、映像データの識別子、映像データで検出されたオブジェクトの検出オブジェクト情報、および映像データにおけるオブジェクト出現時間を対応づけた映像解析データを、記憶し、映像データにおけるオブジェクトの一連の出現を識別するオブジェクト出現の識別子を採番するとともに、オブジェクト出現の識別子に、映像データの識別子、検出オブジェクト情報、およびオブジェクト出現時間を対応づけたオブジェクトメタレコードを含むオブジェクトメタデータを生成するオブジェクトメタ生成手段と、オブジェクトメタレコードと追加オブジェクトメタレコードについて、映像データの識別子およびオブジェクト情報が共通し、オブジェクトメタレコードのオブジェクト出現時間と、追加オブジェクトメタレコードのオブジェクト出現時間とが重複する場合、追加オブジェクトメタデータから、追加オブジェクトメタレコードを削除するオブジェクトメタ統合手段をさらに備えても良い。

記憶装置は、さらに、記映像データの識別子およびオブジェクト情報に、検索キーワードを対応づけるリンクマスタデータを記憶し、イベントメタ生成手段は、イベントメタレコードに、イベントメタレコードの映像データの識別子およびオブジェクト情報に対応する検索キーワードを対応づけても良い。

本発明の第３の特徴は、本発明の第１または第２の特徴に記載のコンテンツ情報提供装置において、所定のクエリに関連するオブジェクトメタレコードまたはイベントメタレコードで特定される、映像データを表示するコンテンツ表示装置である。

本発明の第４の特徴は、映像データにおいて検出されたオブジェクトに関連するオブジェクトメタデータのデータ構造に関する。本発明の第４の特徴に係るオブジェクトメタデータのデータ構造は、映像データにおけるオブジェクトの一連の出現を識別するオブジェクト出現の識別子をキーとして、映像データの識別子と、オブジェクトの識別子と、映像データにおいて、オブジェクトが検出された時間を特定するオブジェクト出現時間とを対応づけるオブジェクトメタレコードを含む。

本発明の第５の特徴は、映像データが撮影する所定のプログラムで発生したイベントに関連するイベントメタデータのデータ構造に関する。本発明の第５の特徴に係るイベントメタデータのデータ構造は、イベントの識別子をキーとして、イベントの発生時間と、イベントのオブジェクト情報と、イベントの発生時間を撮影時間に含み、イベントのオブジェクトを撮影対象として含む映像データの識別子とを対応づけるイベントメタレコードを含む。

本発明の第６の特徴は、所定のプログラムに関連する複数の映像の情報を提供するコンテンツ情報提供方法に関する。本発明の第６の特徴に係るコンテンツ情報提供方法は、コンピュータが、映像データの識別子、映像データで検出されたオブジェクトの検出オブジェクト情報、および映像データにおけるオブジェクト出現時間を対応づけた映像解析データを、記憶するステップと、コンピュータが、映像データにおけるオブジェクトの一連の出現を識別するオブジェクト出現の識別子を採番するとともに、オブジェクト出現の識別子に、映像データの識別子、検出オブジェクト情報、およびオブジェクト出現時間を対応づけたオブジェクトメタレコードを含むオブジェクトメタデータを生成するステップを備える。

本発明の第７の特徴は、所定のプログラムに関連する複数の映像の情報を提供するコンテンツ情報提供方法に関する。本発明の第７の特徴に係るコンテンツ情報提供方法は、コンピュータが、映像データの識別子、映像データの撮影時間、および撮影オブジェクト情報を対応づけたコンテンツ付随データと、プログラムで発生したイベントのイベント名、イベント発生時間、および関連オブジェクト情報を対応づけた状況情報データと、を記憶するステップと、コンピュータが、前ベントの識別子を採番するとともに、コンテンツ付随データにおいて、撮影時間がイベント発生時間と重複し、撮影オブジェクト情報と関連オブジェクト情報とが対応する映像データの識別子を特定し、イベントの識別子に、状況情報データのイベント発生時間、撮影オブジェクト情報と対応する関連オブジェクト情報および特定した映像データの識別子を対応づけたイベントメタレコードを含むイベントメタデータを生成するステップを備える。

本発明の第８の特徴は、コンピュータを、本発明の第１または第２の特徴に記載の手段として機能させるためのコンテンツ情報提供プログラム。

本発明によれば、複数の映像からユーザの所望の映像を容易に選択可能なコンテンツ情報提供装置、コンテンツ情報提供装置が生成するオブジェクトメタデータのデータ構造およびイベントメタデータのデータ構造、このコンテンツ情報提供装置に対応するコンテンツ情報提供方法ならびにコンテンツ情報提供プログラムを提供することができる。

本発明の実施の形態に係るメタデータのデータ体系を説明する概念図である。 一般的なメタデータのデータ体系を説明する概念図である。 本発明の実施の形態に係るコンテンツ情報提供方法の処理の概要を説明するフローチャートである 本発明の実施の形態に係るコンテンツ情報提供システムのシステム構成、コンテンツ情報提供装置のハードウエア構成および機能ブロックを説明する図である。 本発明の実施の形態に係る映像解析データのデータ構造の一例を説明する図である。 本発明の実施の形態に係るコンテンツ付随データのデータ構造の一例を説明する図である。 本発明の実施の形態に係る状況情報データのデータ構造の一例を説明する図である。 本発明の実施の形態に係るリンクマスタデータのデータ構造の一例を説明する図である。 本発明の実施の形態に係るオブジェクトメタデータのデータ構造の一例を説明する図である。 本発明の実施の形態に係るイベントメタデータのデータ構造の一例を説明する図である。 本発明の実施の形態に係るオブジェクトメタ生成処理を説明するフローチャートである。 本発明の実施の形態に係るオブジェクトメタ生成処理におけるデータの一例を説明する図である。 本発明の実施の形態に係るイベントメタ生成処理を説明するフローチャートである。 本発明の実施の形態に係るイベントメタ生成処理におけるデータの一例を説明する図である。 本発明の実施の形態に係る追加オブジェクトメタ生成処理を説明するフローチャートである。 本発明の実施の形態に係る追加オブジェクトメタ生成処理におけるデータの一例を説明する図である。 本発明の実施の形態に係るオブジェクトメタ統合処理を説明するフローチャートである。 本発明の実施の形態に係るオブジェクトメタ統合処理におけるデータの一例を説明する図である。 本発明の実施の形態に係るイベントメタ補充処理を説明するフローチャートである。 本発明の実施の形態に係るイベントメタ補充処理におけるデータの一例を説明する図である。 本発明の実施の形態に係る提供処理を説明するフローチャートである。

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。

（メタデータのデータ体系）
図１を参照して、本発明の実施の形態に係るコンテンツのメタデータのデータ体系を説明する。図１に示すメタデータは、例えば、スポーツイベントの中継や、コンサートの中継など、所定のプログラムに関連する複数の映像コンテンツに対して設けられる。

メタデータは、コンテンツ毎のメタデータ、オブジェクトメタデータ２１およびイベントメタデータ２２を含む。本発明の実施の形態において、各メタデータは、ＸＭＬとして表記される場合を説明するが、これに限られない。

本発明の実施の形態において「オブジェクト」とは、大きさおよび形を有する物質であって、空間中に存在する位置を特定できる対象である。例えば野球ゲームにおける具体的な「オブジェクト」は、ピッチャー、バッターなどの野球選手や、バッターボックス、ベンチ、ブルペンなどの野球選手が赴く場所などである。また「イベント」とは、状態が変化するきっかけや事象であって、「イベント」の前後で様子や状況、状態が異なる。例えば野球ゲームにおける具体的な「イベント」は、チームで対抗し勝敗が決まる一連の試合、１回表や３回裏などの攻守が変わる状態、バッターボックスに入るバッターが変わる状態、バッターがヒットを打ったタイミングなどである。

コンテンツ毎のメタデータは、コンテンツ（映像データ）を識別するＣＲＩＤ（Ｃｏｎｔｅｎｔ Ｒｅｆｅｒｅｎｃｅ ＩＤ）と、コンテンツの概要、出演者等などの時系列に左右されないデータを対応づける。コンテンツ毎のメタデータは、後述のコンテンツ付随データ１２に基づいて生成される。オブジェクトの表示位置や表示時間、イベントに関する情報などの時系列の情報は、コンテンツ毎のメタデータに含まれず、オブジェクトメタデータ２１やイベントメタデータ２２に含まれる。

オブジェクトメタデータ２１は、映像データにおけるオブジェクトの一連の出現を識別するオブジェクト出現ＩＤをキーとして、ＣＲＩＤと、オブジェクトＩＤ（オブジェクト情報）と、映像データにおいて、オブジェクトが検出された時間を特定するオブジェクト出現時間および出現位置とを対応づけるオブジェクトメタレコードを集合するデータ構造を有する。オブジェクトメタデータ２１は、映像を技術的に解析して得られる映像解析データ１１に基づいて生成される。オブジェクト出現ＩＤは、映像データにおけるオブジェクトの一連の出現を識別する。ここでオブジェクトの一連の出現とは、シーンやカットなどの映像表現上の区切り、カメラの画角移動、オブジェクトの移動による見切れなどにより、映像においてオブジェクトが表示される一部の時間区間である。

オブジェクトメタデータ２１において、そのオブジェクトが出現した映像データのＣＲＩＤが特定されることにより、コンテンツ毎のメタデータとオブジェクトメタデータ２１とは相互に参照可能で、互いに情報を補完することが可能となる。またオブジェクトＩＤをクエリとしてオブジェクトメタデータ２１を検索するなどにより、オブジェクトメタデータ２１内において、所定のオブジェクトの出現に関する情報を補完することが可能となる。

イベントメタデータ２２は、イベントＩＤをキーとして、イベントの発生時間と、イベントのオブジェクト情報と、イベントの発生時間を撮影時間に含みイベントのオブジェクトを撮影対象として含むＣＲＩＤとを対応づけるイベントメタレコードを集合するデータ構造を有する。イベントメタデータ２２は、プログラムの提供者等から提供される状況情報データ１３に基づいて生成される。イベントＩＤは、撮影対象のプログラムにおいて発生したイベントを識別する。

イベントメタデータ２２において、そのイベントに関連する映像データのＣＲＩＤが特定されることにより、コンテンツ毎のメタデータとイベントメタデータ２２とは相互に参照可能で、互いに情報を補完することが可能となる。またイベントに関連したオブジェクトや発生時間等をクエリとしてイベントメタデータを検索するなどにより、イベントメタデータ２２内において、所定のオブジェクトや時間に関する情報を補完することが可能となる。

ここで、オブジェクトメタデータ２１は、一連のオブジェクトの出現が特定される度に新たなオブジェクトメタレコードが生成され、イベントメタデータ２２は、イベントが発生する度に、新たなイベントメタレコードが生成される。従ってユーザは、リアルタイム性を損なうことなく、所望のコンテンツを選択して視聴することが可能となる。またユーザは膨大なデータを参照することなく、所望のオブジェクトやイベントに関する映像を視聴することが可能となる。

これに対し図２に示す一般的なコンテンツのメタデータは、ＣＲＩＤをキーに、オブジェクト情報やイベント情報が対応づけられる。このメタデータは、コンテンツに関するあらゆる情報を格納する。従ってこのような一般的なコンテンツのメタデータは、情報量が膨大で、リアルタイム性を損ない、リソースを圧迫する可能性がある。

（コンテンツ情報提供方法）
図３を参照して本発明の実施の形態に係るコンテンツ情報提供方法を説明する。図３においては、図４に示すコンテンツ情報提供システム５において、コンテンツ情報提供装置１が、オブジェクトメタデータ２１およびイベントメタデータ２２を生成し、生成されたデータをコンテンツ表示装置３に提供する場合を説明する。

ステップＳ１においてコンテンツ情報提供装置１は、プログラムの進行に伴って、映像解析データ１１からオブジェクトメタレコードを生成し、オブジェクトメタデータ２１を更新する。ステップＳ１の処理は、一連のオブジェクト出現が発生する度に実行される。

ステップＳ２においてコンテンツ情報提供装置１は、プログラムの進行に伴って、状況情報データ１３からイベントメタレコードを生成し、イベントメタデータ２２を更新する。ステップＳ２の処理は、状況情報データ１３が更新される度に実行される。

ステップＳ３においてコンテンツ情報提供装置１は、イベントメタレコードのオブジェクト情報に着目して、追加オブジェクトメタレコードを生成する。

ステップＳ４においてコンテンツ情報提供装置１は、ステップＳ２で生成したイベントメタレコードに、このイベントと親子関係のイベントのイベントメタレコードの情報を補充する。

ステップＳ３で生成される追加オブジェクトメタレコードは、ステップＳ１で生成されるオブジェクトメタレコードと重複する場合がある。そこで、ステップＳ５において、必要に応じて追加オブジェクトメタレコードの情報をオブジェクトメタレコードに統合し、統合された追加オブジェクトメタレコードを削除する。

ステップＳ１ないしステップＳ５において、オブジェクトメタレコードおよびイベントメタレコードが生成されると、ステップＳ６においてコンテンツ情報提供装置１は、生成したレコードを、コンテンツ表示装置３に提供する。例えばコンテンツ表示装置３が所定のクエリを入力すると、そのクエリに関連するレコードが、コンテンツ表示装置３に提供される。

（コンテンツ情報提供システム）
図４を参照して、本発明の実施の形態に係るコンテンツ情報提供システム５を説明する。コンテンツ情報提供システム５は、コンテンツ情報提供装置１、コンテンツ配信装置２およびコンテンツ表示装置３を備える。これらの装置は、インターネット等の通信ネットワーク４を介して、相互に通信可能に接続される。

コンテンツ情報提供装置１は、所定のプログラムに関連する複数の映像の情報を提供する。コンテンツ情報提供装置１は、コンテンツに関するメタデータを生成し、コンテンツ表示装置３に提供する。

コンテンツ配信装置２は、所定のプログラムに関連する複数の映像データを提供する。コンテンツ配信装置２は、指定されたＣＲＩＤや時間等に応じて、映像データをコンテンツ表示装置３に提供する。コンテンツ配信装置２は、複数のＣＲＩＤや時間が指定された場合にも、各ＣＲＩＤおよび時間に関する映像データを提供する。

コンテンツ表示装置３は、コンテンツ情報提供装置１からオブジェクトメタデータ２１およびイベントメタデータ２２の各レコードを取得する。コンテンツ表示装置３は、ユーザから入力されたオブジェクト名やイベント名、または検索キーワードに基づいて、所望のオブジェクトやイベントを特定し、ユーザが所望するオブジェクトやイベントに基づいて、ユーザが視聴を希望するＣＲＩＤや時間を特定する。その特定した情報をコンテンツ配信装置２に入力して、コンテンツ配信装置２から所望のコンテンツを取得する。

なお、図４に示す構成は一例であって、これに限るものではない。例えば、コンテンツ情報提供装置１とコンテンツ配信装置２は、同一の装置に実装されても良い。また、コンテンツ情報提供装置１が、コンテンツ表示装置３からユーザが所望するオブジェクトやイベントの情報を取得して、ユーザが視聴を希望するＣＲＩＤや時間を特定して、コンテンツ表示装置３に提供しても良い。

（コンテンツ情報提供装置）
コンテンツ情報提供装置１は、記憶装置１０および２０、処理装置３０、通信制御装置（図示せず）等を備える一般的なコンピュータである。一般的なコンピュータが所定の機能を実現するためのコンテンツ情報提供プログラムを実行することにより、図１に示す各機能を実現する。

図４において、記憶装置１０は、コンテンツ情報提供装置１に入力されるデータを格納するデータを記憶し、記憶装置２０は、コンテンツ情報提供装置１が出力するデータを格納する場合を説明するが、このような構成に限定するものではない。

記憶装置１０は、映像解析データ１１、コンテンツ付随データ１２、状況情報データ１３およびリンクマスタデータ１４を記憶する。

映像解析データ１１は、コンテンツ配信装置２が配信するコンテンツにおいて、特定のオブジェクトが出現する時間を解析することによって得られるデータである。映像解析データ１１は、図５に示すように、ＣＲＩＤ（映像データの識別子）、映像データで検出されたオブジェクトの検出オブジェクト情報、および映像データにおけるオブジェクト出現情報を対応づける。ここで、検出オブジェクト情報は、映像データから検出されたオブジェクトの情報である。本発明の実施の形態においてオブジェクト情報は、オブジェクトの名やオブジェクトＩＤを含む情報で、オブジェクト辞書データ（図示せず）により、オブジェクトの親子関係、属性などとリンクする。また、オブジェクト出現情報は、映像解析によって、所定の映像データ内でオブジェクトが検出された時間および領域などを含む情報である。

コンテンツ付随データ１２は、映像データの属性に関するデータである。コンテンツ付随データ１２は、図６に示すように、ＣＲＩＤ（映像データの識別子）、映像データの撮影時間、および撮影オブジェクト情報を対応づける。コンテンツ付随データ１２はさらに、映像データの撮影目的やカメラ設置場所等の情報を対応づけても良い。

状況情報データ１３は、野球ゲームの興行主などの、コンテンツのプログラムを遂行する興行主等のシステムから入力されるデータであって、プログラムにおいて発生したイベントの情報である。状況情報データ１３は、図７に示すように、プログラムで発生したイベントのイベント名、イベント発生時間、および関連オブジェクト情報を対応づける。ここで関連オブジェクト情報は、イベントに関連するオブジェクトのオブジェクト名およびオブジェクトＩＤなどの情報である。状況情報データ１３はさらに、このイベントに対する親イベントＩＤを対応づけても良い。

イベントは複数同時進行しうるものであり、かつ、１イベントの時間区間のさらに一部が別のイベントとして定義される場合がある。この一部のイベントが、その時間区間を包含するイベントの構成要素であると考えられる場合には、イベントの親子関係が成立する。具体的には、野球ゲームにおける「３回表」のイベントと「３回表第一打席」のイベントは、親子関係が成立する。そこで、状況情報データ１３において、発生したイベントに対する親イベントのＩＤが設定される。

リンクマスタデータ１４は、プログラムの興行主等によって予め生成されるデータであって、ユーザの希望するオブジェクトやイベントを検索しやすいように、フィルタリングしたり、検索キーワードを付加したりする役目を担う。リンクマスタデータ１４は、図８に示すように、ＣＲＩＤ（映像データの識別子）、イベント名とこのイベント名に関する紐づけ用オブジェクト情報を対応づける。またリンクマスタデータ１４は、ＣＲＩＤおよび紐づけ用オブジェクト情報に、検索キーワードを対応づけても良い。

記憶装置２０は、オブジェクトメタデータ２１、イベントメタデータ２２および追加オブジェクトメタデータ２３を記憶する。

オブジェクトメタデータ２１は、所定の映像データにおける所定のオブジェクトの一連の出現に対して、オブジェクトメタ生成手段３１によって生成されるデータである。オブジェクトメタデータ２１は、図９に示すように、オブジェクト出現ＩＤをキーに、オブジェクト情報、ＣＲＩＤ、オブジェクト出現情報および親オブジェクトＩＤを対応づけた複数のオブジェクトメタレコードを、含むデータである。

イベントメタデータ２２は、プログラムにおいて発生したイベントに対して、イベントメタ生成手段３２によって生成されるデータである。イベントメタデータ２２は、図１０に示すように、イベントＩＤをキーに、ＣＲＩＤ、イベント発生時間、イベント名、関連オブジェクト情報、オブジェクト出現ＩＤ、親イベントＩＤおよび検索キーワードを対応づけた複数のイベントメタレコードを、含むデータである。

追加オブジェクトメタデータ２３は、オブジェクトメタデータ２１と同様のデータ構成を有するデータであって、追加オブジェクトメタ生成手段３３により生成される。

処理装置３０は、オブジェクトメタ生成手段３１、イベントメタ生成手段３２、追加オブジェクトメタ生成手段３３、オブジェクトメタ統合手段３４、イベントメタ補充手段３５および提供手段３６を備える。

（オブジェクトメタ生成手段）
オブジェクトメタ生成手段３１は、オブジェクトメタデータ２１を生成する。

オブジェクトメタ生成手段３１は、映像解析データ１１を参照して、映像データにおけるオブジェクトの一連の出現を識別するオブジェクト出現ＩＤを採番するとともに、オブジェクト出現ＩＤに、ＣＲＩＤ、オブジェクト情報、およびオブジェクト出現時間を対応づけたオブジェクトメタレコードを生成する。オブジェクトメタ生成手段３１は、生成したオブジェクトメタレコードを含むオブジェクトメタデータを生成する。ここでオブジェクトメタ生成手段３１は、オブジェクト辞書データを参照して、親オブジェクトＩＤなどのオブジェクトの関連情報を対応づけてもよい。

図１１および図１２を参照して、本発明の実施の形態に係るオブジェクトメタ生成手段３１による処理を説明する。図１２に示すように、映像解析データ１１は、ＣＲＩＤ「ＣＲＩＤ＿１」の一連の時間「ＯＡＴ＿１」において、オブジェクト「ＯＢＪＩＤ＿１」が出現していることを示す。

まずステップＳ１０１においてオブジェクトメタ生成手段３１は、映像解析データ１１を参照して、一連のオブジェクト出現について、オブジェクト出現ＩＤ「ＯＡ＿１」を採番する。ステップＳ１０２においてオブジェクトメタ生成手段３１は、ステップＳ１０１で採番したオブジェクト出現ＩＤ「ＯＡ＿１」に、映像解析データ１１のＣＲＩＤ「ＣＲＩＤ＿１」、オブジェクト情報「（ピッチャー、ＯＢＪＩＤ＿１）」およびオブジェクト出現情報「（ＯＡＴ＿１、ＯＡＲ＿１）」を対応づける。ステップＳ１０２において、オブジェクト情報から、親オブジェクトＩＤ「ＰＯＢＪＩＤ＿１」を特定し、ＣＲＩＤ「ＣＲＩＤ＿１」に対応づける。

ステップＳ１０４において、ステップＳ１０２およびステップＳ１０３でオブジェクト出現ＩＤに対応づけて生成したオブジェクトメタレコードを、オブジェクトメタデータ２１に挿入する。

（イベントメタ生成手段）
イベントメタ生成手段３２は、イベントメタデータ２２を生成する。

イベントメタ生成手段３２は、状況情報データ１３を参照して、イベントＩＤを採番するとともに、コンテンツ付随データ１２において、撮影時間がイベント発生時間を含み、撮影オブジェクト情報と関連オブジェクト情報とが対応するＣＲＩＤを特定する。イベントメタ生成手段３２は、イベントＩＤに、状況情報データ１３のイベント発生時間、撮影オブジェクト情報と対応する関連オブジェクト情報および特定したＣＲＩＤを対応づけたイベントメタレコードを生成する。

ここでイベントメタ生成手段３２は、リンクマスタデータ１４において、特定されたＣＲＩＤおよびイベント名に対応するオブジェクト情報が、撮影オブジェクト情報に対応づけられている場合、イベントメタレコードを生成しても良い。例えば、リンクマスタデータ１４に、興行主等がユーザに見せたいイベントについて、そのイベントに関連するオブジェクトの情報を設定する。これにより、状況情報データ１３において、イベントと関連の深いオブジェクトと、関連の浅いオブジェクトが設定された場合でも、リンクマスタデータによって、関連の深い関連するオブジェクトに関するイベントメタレコードを生成し、関連の浅いオブジェクトに関するイベントメタレコードを生成しないように、制御することができる。

さらにイベントメタ生成手段３２は、イベントメタレコードに、オブジェクト出現ＩＤを付与する。具体的にはイベントメタ生成手段３２は、オブジェクトメタデータ２１から、イベントメタレコードのＣＲＩＤおよび関連オブジェクト情報と共通するオブジェクトメタレコードであって、イベントメタレコードのイベント発生時間とオブジェクト出現時間が重なるオブジェクトメタレコードを特定する。イベントメタ生成手段３２は、イベントメタレコードに、特定されたオブジェクトメタレコードのオブジェクト出現ＩＤを対応づける。イベントメタ生成手段３２は、イベントが発生した際に、イベントのオブジェクトが映像データに出現していることに着目して、オブジェクト出現ＩＤと対応づける。イベントメタ生成手段３２は、オブジェクトメタデータ２１から、ＣＲＩＤ、イベントの発生時間およびオブジェクトが重複するオブジェクトメタレコードを特定し、その特定したレコードのオブジェクト出現ＩＤを、イベントメタレコードに対応づける。

さらに、イベントメタ生成手段３２は、イベントメタレコードに、検索キーワードを対応づけても良い。イベントメタ生成手段３２は、リンクマスタデータ１４を参照して、イベントメタレコードのＣＲＩＤおよびイベント名に対応するレコードを抽出し、オブジェクト情報に対応づけられた検索キーワードを、イベントメタレコードに対応づける。

イベントメタ生成手段３２は、イベントＩＤに、複数の映像データのＣＲＩＤを対応づけても良いし、映像データを束ねるプログラムの識別子を対応づけても良い。

イベントメタ生成手段３２は、このように生成したイベントメタレコード含むイベントメタデータ２２を生成する。

図１３および図１４を参照して、本発明の実施の形態に係るイベントトメタ生成手段３２による処理を説明する。図１４に示すように、状況情報データ１３において、バッターがヒットを打ったイベントに関して説明する。

まずステップＳ２０１においてイベントメタ生成手段３２は、状況情報データ１３のイベントについて、コンテンツ付随データ１２を参照して、コンテンツ付随データ１２の撮影時間が、状況情報データ１３のイベント発生時間「ＩＴ＿１」と重複する、コンテンツ付随データ１２の撮影オブジェク情報が、状況情報データ１３の関連オブジェクト情報「（ピッチャー、ＯＪＩＤ＿１）（バッター、ＯＢＪＩＤ＿２）」に対応するレコードを検索する。ここでイベントメタ生成手段３２は、コンテンツ付随データ１２から、撮影時間「ＣＴ＿１」で、撮影オブジェクト情報「（ピッチャー、ＯＪＩＤ＿１）」に対応づけられたＣＲＩＤ「ＣＲＩＤ＿１」を特定する。ここで、撮影時間「ＣＴ＿１」は、イベント発生時間「ＩＴ＿１」の少なくとも一部の時間と重複する。

ステップＳ２０２においてイベントメタ生成手段３２は、リンクマスタデータ１４から、ＣＲＩＤ「ＣＲＩＤ＿１」およびイベント名「ヒット」に対応する紐づけ用オブジェクト情報「（ピッチャー、ＯＪＩＤ＿１）（バッター、ＯＢＪＩＤ＿２）」を取得する。

ステップＳ２０３においてイベントメタ生成手段３２は、リンクマスタデータ１４の紐付用オブジェクト情報が、コンテンツ付随データ１２の撮影オブジェクト情報に対応するか否かを判定する。リンクマスタデータ１４の紐付用オブジェクト情報が、コンテンツ付随データ１２の撮影オブジェクト情報に対応しない場合、このＣＲＩＤ「ＣＲＩＤ＿１」の映像データは、ヒットイベントの発生した時間を撮影しているものの、興行主の見せたいオブジェクトを撮影していると判断され、処理を終了する。

ここで、図１４に示す例の場合、リンクマスタデータ１４の紐付用オブジェクト情報「（ピッチャー、ＯＪＩＤ＿１）（バッター、ＯＢＪＩＤ＿２）」と、コンテンツ付随データ１２の撮影オブジェクト情報「（ピッチャー、ＯＪＩＤ＿１）」とは、オブジェクト情報「（ピッチャー、ＯＪＩＤ＿１）」が重複する。従って、このＣＲＩＤ「ＣＲＩＤ＿１」の映像データは、ヒットイベントにおいて、興行主の見せたいオブジェクトを撮影していると判断される。

この場合、ステップＳ２０４において、イベントＩＤを採番し、イベントメタレコードを生成する処理を実行する。具体的には、ステップＳ２０５において、イベントＩＤに、ステップＳ２０１で特定されたＣＲＩＤ「ＣＲＩＤ＿１」、状況情報データ１３のイベント発生時間「ＩＴ＿１」、イベント名「ヒット」、関連オブジェクト情報「（ピッチャー、ＯＪＩＤ＿１）（バッター、ＯＢＪＩＤ＿２）」、および親イベントＩＤ「ＰＩＤ＿１」を対応づける。

さらにステップＳ２０６およびステップＳ２０７においてイベントメタ生成手段３２は、オブジェクト出現ＩＤを付与する。イベントメタ生成手段３２は、オブジェクトメタデータ２１からＣＲＩＤ「ＣＲＩＤ＿１」と、オブジェクト情報「（ピッチャー、ＯＪＩＤ＿１）（バッター、ＯＢＪＩＤ＿２）」のいずれかのオブジェクト情報を含み、イベント発生時間とオブジェクト出現時間が重複するレコードを特定し、そのレコードのオブジェクト出現ＩＤを取得する。ここで図１２（ｂ）に示すオブジェクトメタデータがある場合、オブジェクト出現ＩＤ「ＯＡ＿１」を、イベントＩＤに対応づける。

ステップＳ２０８において、ステップＳ２０５およびステップＳ２０７でイベントＩＤに対応づけて生成したイベントメタレコードを、イベントメタデータ２２に挿入する。

（追加オブジェクトメタ生成手段）
追加オブジェクトメタ生成手段３３は、追加オブジェクトメタデータ２３を生成する。追加オブジェクトメタデータ２３は、イベントに関する情報から、イベントに関連するオブジェクトの出現情報を特定して、追加オブジェクトメタレコードを生成する。追加オブジェクトメタレコードは、イベントに関する情報から生成されるのに対し、オブジェクトメタレコードは、映像解析データ１１から生成される点で異なる。

追加オブジェクトメタ生成手段３３は、コンテンツ付随データ１２において、イベントメタレコードのＣＲＩＤおよび関連オブジェクト情報と対応するレコードがある場合、新たなオブジェクト出現ＩＤを採番する。追加オブジェクトメタ生成手段３３は、新たなオブジェクト出現ＩＤに、ＣＲＩＤと、関連オブジェクト情報とを対応づけるとともに、オブジェクト出現時間としてイベントメタレコードのイベント発生時間を対応づけた追加オブジェクトメタレコードを生成する。追加オブジェクトメタ生成手段３３は、このように生成した追加オブジェクトメタレコード含む追加オブジェクトメタデータ２３を生成する。

図１５および図１６を参照して、本発明の実施の形態に係る追加オブジェクトメタ生成手段３３による処理を説明する。図１６に示すように、イベントメタデータ２２の、イベント名「ヒット」および関連オブジェクト「（ピッチャー、ＯＪＩＤ＿１）（バッター、ＯＢＪＩＤ＿２）」に対応するレコードから、追加オブジェクトメタレコードを生成する場合を説明する。

まずステップＳ３０１において、コンテンツ付随データ１２に、イベントメタレコードのＣＲＩＤおよび関連オブジェクト情報に対応するレコードがあるか判定する。図１６に示す例において、イベントメタデータ２２に、ＣＲＩＤ「ＣＲＩＤ＿１」および関連オブジェクト情報「（ピッチャー、ＯＪＩＤ＿１）（バッター、ＯＢＪＩＤ＿２）」のレコードがあり、コンテンツ付随データ１２に、ＣＲＩＤ「ＣＲＩＤ＿１」および撮影オブジェクト情報「（ピッチャー、ＯＪＩＤ＿１）」のレコードがあるので、両者は対応する。従って、図１６に示す例の場合、ステップＳ３０２に進む。一方、対応するレコードがない場合、そのまま処理を終了する。

ステップＳ３０２において追加オブジェクトメタ生成手段３３は、オブジェクト出現ＩＤを採番する。ステップＳ３０３において追加オブジェクトメタ生成手段３３は、オブジェクト出現ＩＤに、ＣＲＩＤ「ＣＲＩＤ＿１」、関連オブジェクト情報「ＣＲＩＤ「ＣＲＩＤ＿１」および関連オブジェクト情報「（ピッチャー、ＯＪＩＤ＿１）」を対応づけるとともに、オブジェクト出現時間としてイベント発生時間「ＩＴ＿１」を対応づける。さらにステップＳ３０４において、オブジェクト出現ＩＤに、親オブジェクトＩＤを対応づける。ステップＳ３０４の処理は、図１１のステップＳ１０３の処理と同様である。

ステップＳ３０５において、ステップＳ３０３およびステップＳ３０４でオブジェクト出現ＩＤに対応づけて生成した追加オブジェクトメタレコードを、追加オブジェクトメタデータ２３に挿入する。

ここで、イベントメタレコードに複数の関連オブジェクトが対応づけられている場合、各関連オブジェクトについて、追加オブジェクトメタレコードが生成されても良い。図１６に示す例において、関連オブジェクト情報「（バッター、ＯＢＪＩＤ＿２）」についても、オブジェクト出現ＩＤを採番して、追加オブジェクトメタデータを生成しても良い。また追加オブジェクトメタレコードの生成においても、リンクマスタデータ１４等により、主催者が期待するメタレコードが生成されるように、フィルタリングされても良い。

（オブジェクトメタ統合手段）
オブジェクトメタ統合手段３４は、オブジェクトメタデータ２１と追加オブジェクトメタデータの重複を解消する。オブジェクトメタデータ２１は、映像解析データ１１から生成され、追加オブジェクトメタデータ２３は、状況情報データ１３から生成される。従って、各レコードが重複して生成される場合があるので、オブジェクトメタ統合手段３４により、各データを統合する。

オブジェクトメタ統合手段３４は、オブジェクトメタレコードと追加オブジェクトメタレコードについて、ＣＲＩＤおよびオブジェクト情報が共通し、オブジェクトメタレコードのオブジェクト出現時間と、追加オブジェクトメタレコードのオブジェクト出現時間とが重複する場合、追加オブジェクトメタデータ２３から、追加オブジェクトメタレコードを削除する。

なお、オブジェクトメタ統合手段３４は、図３に示すように、イベントメタ補充手段３５による処理の後に、実行される。

図１７および図１８を参照して、本発明の実施の形態に係るオブジェクトメタ統合手段３４による処理を説明する。

まずステップＳ４０１においてオブジェクトメタ統合手段３４は、オブジェクトメタデータ２１と追加オブジェクトメタデータ２３を参照して、ＣＲＩＤおよびオブジェクト情報が共通し、オブジェクト出現時間が重複するレコードを特定する。図１８（ａ）および（ｂ）に示すオブジェクトメタレコードと追加オブジェクトメタレコードは、ＣＲＩＤ「ＣＲＩＤ＿１」が共通し、オブジェクト情報「（ピッチャー、ＯＪＩＤ＿１）」が共通する。また、オブジェクトメタレコードのオブジェクト出現時間「Ｔａ１−Ｔａ２」と、追加オブジェクトメタレコードのオブジェクト出現時間「Ｔｂ１−Ｔｂ２」が重複する場合、ステップＳ４０２に進む。

ステップＳ４０２において、必要に応じて、統合前のオブジェクトメタレコードのオブジェクト出現時間Ｔａ１−Ｔａ２を、統合後のオブジェクトメタレコードのオブジェクト出現時間Ｔ１−Ｔ２を変更する。例えば、オブジェクトメタレコードのオブジェクト出現時間「Ｔａ１−Ｔａ２」と、追加オブジェクトメタレコードのオブジェクト出現時間「Ｔｂ１−Ｔｂ２」のａｎｄ条件に基づいてオブジェクト出現時間を決定する場合、Ｔ１は、Ｔａ１およびＴｂ１のうちの遅い時間となり、Ｔ２は、Ｔａ２およびＴｂ２のうちの早い時間となる。一方ｏｒ条件に基づいてオブジェクト出現時間を決定する場合、Ｔ１は、Ｔａ１およびＴｂ１のうちの早い時間となり、Ｔ２は、Ｔａ２およびＴｂ２のうちの遅い時間となる。

ステップＳ４０３において、追加オブジェクトメタデータ２３から追加オブジェクトメタレコードを削除する。
これにより、オブジェクトメタレコードと追加オブジェクトメタレコードの重複が解消される。また、追加オブジェクトメタデータ２３のうち、オブジェクトメタデータ２１のレコードと重複しなかったレコードは、オブジェクトメタデータ２１に挿入されても良い。

（イベントメタ補充手段）
イベントメタ補充手段３５は、イベントの親子関係に基づいて、イベントメタレコードの情報を補充する。イベントメタ補充手段３５は、親イベントＩＤが設定された子イベントメタレコードと、親イベントＩＤに対応する親イベントメタレコードとがある場合、関連オブジェクトの情報や、発生時間帯の情報を補充する。

図１９および図２０を参照して、本発明の実施の形態に係るイベントメタ補充手段による処理を説明する。図２０に示すように、図２０（ｂ）に示すイベントメタレコードの親イベントＩＤに、図２０（ａ）に示すイベントメタレコードのイベントＩＤが設定されているので、図２０（ａ）に示すイベントメタレコードのイベントは、図２０（ｂ）に示すイベントメタレコードのイベントの親イベントである。

まずステップＳ５０１においてイベントメタ補充手段３５は、イベントメタデータ２２から、親イベントＩＤが設定されたレコードと、親イベントＩＤのレコードを抽出する。ここでは、図２０（ａ）および（ｂ）に示すイベントメタレコードが抽出される。

ステップＳ５０２において、必要に応じてオブジェクト情報が変更される。例えば図２０（ｂ）の関連オブジェクト情報はｎｕｌｌになっているので、図２０（ｃ）に示すように、新たなイベントメタレコードの関連オブジェクト情報に、図２０（ａ）に示す親のイベントメタレコードの関連オブジェクト情報が設定される。この処理は、打席イベントと、打席中のヒットイベントの関係のように、関連オブジェクトの関係が変わらない場合に好適である。

またステップＳ５０３において、必要に応じてイベントの発生時間が変更される。例えば、子のイベントメタデータのイベント発生時間が設定されていない場合、親のイベントメタデータのイベント発生時間が設定されても良い。

このようにイベントメタ補充手段３５は、イベントメタレコードの親子関係に基づいて情報を補充して、イベントメタデータ２２を更新する。

（提供手段）
提供手段３６は、オブジェクトメタレコードおよびイベントメタレコードのうちのいずれかのデータを出力する。提供手段３６は、コンテンツ表示装置３等から入力されたクエリに基づいて、オブジェクトメタデータ２１イベントメタデータ２２からクエリに適するレコードを抽出して、出力する。

コンテンツ表示装置３は、受信したオブジェクトメタレコードまたはイベントメタレコードで特定される映像データを、コンテンツ配信装置２から取得して、表示装置（図示せず）等に表示する。

図２１を参照して、提供手段３６による処理を説明する。

まずステップＳ６０１において提供手段３６は、クエリを取得し、ステップＳ６０２において、入力されたクエリに対応するオブジェクトメタレコードおよびイベントメタレコードを抽出する。ステップＳ６０３において提供手段３６は、抽出したレコードを出力する。

あるいは、提供手段３６は、オブジェクトメタデータ２１およびイベントメタデータ２２をコンテンツ表示装置３に提供しても良い。コンテンツ表示装置３は、取得したデータから所望のレコードを抽出して所望の映像データを特定し、コンテンツ配信装置２から取得して、表示装置等に表示する。

（作用効果）
このように本発明の実施の形態に係るコンテンツ情報提供装置１は、コンテンツ毎のメタデータに、時系列に左右されないデータを対応づけ、時系列に変化するデータについて、オブジェクトメタデータ２１およびイベントメタデータ２２を生成する。これにより、ユーザがオブジェクトまたはイベント単位で所望のコンテンツを、容易に検索することができる。また、オブジェクトメタデータ２１およびイベントメタデータ２２にＣＲＩＤを付加することにより、オブジェクトまたはイベントから映像データへ容易に参照できる。

アーカイブ視聴において、所望のオブジェクトやイベントを集めたプレイリストを容易に作成することができる。

プログラムの進行中（ライブ中）においても、オブジェクトメタレコードおよびイベントメタレコードが進行にあわせて逐次作成されるので、ライブの即時性を損なうことなく、ユーザは所望の映像データを閲覧することができる。またプログラムの進行中（ライブ中）において、新たな映像データが追加されても、システムの処理に大きく変更することなく、柔軟に対応することが可能である。

また、映像解析データ１１からオブジェクトメタレコードを生成するのみではなく、状況情報データ１３（イベントメタデータ２２）からも追加オブジェクトメタレコードが生成されるので、多様なオブジェクトメタレコードを生成することができる。また、オブジェクトメタ統合手段３４により、所定条件のレコードが統合されるので、オブジェクトメタレコードの情報量を大幅に増やすことなく、情報を充実させることができる。

さら、イベントメタレコードにおいて、イベント親子関係を定義することにより、親イベントで検索された際に子イベントの情報も提供したり、子イベントで検索された際に親イベントの情報も提供したりするなど、検索結果を充実させることも可能である。またイベントメタ補充手段３５によって、イベントの親子関係に基づいて、各レコードの情報を充実させることもできる。

このように本発明の実施の形態に係るコンテンツ情報提供装置１は、ライブ時においてもアーカイブ再生時においても、複数の映像からユーザの所望の映像を容易に選択し再生することを可能にする。

（その他の実施の形態）
上記のように、本発明の実施の形態によって記載したが、この開示の一部をなす論述および図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例および運用技術が明らかとなる。

例えば、本発明の実施の形態に記載したコンテンツ情報提供装置は、図１に示すように一つのハードウエア上に構成されても良いし、その機能や処理数に応じて複数のハードウエア上に構成されても良い。また、既存のコンテンツ配信システム上に実現されても良い。

また、本発明の実施の形態においてコンテンツ情報提供装置は、オブジェクトメタデータとイベントメタデータの両方を生成して出力する場合を説明したが、どちらか一方のみを生成して出力しも良い。

本発明はここでは記載していない様々な実施の形態等を含むことは勿論である。従って、本発明の技術的範囲は上記の説明から妥当な特許請求の範囲に係る発明特定事項によってのみ定められるものである。

１ コンテンツ情報提供装置
２ コンテンツ配信装置
３ コンテンツ表示装置
４ 通信ネットワーク
５ コンテンツ情報提供システム
１０ 記憶装置
１１ 映像解析データ
１２ コンテンツ付随データ
１３ 状況情報データ
１４ リンクマスタデータ
２１ オブジェクトメタデータ
２２ イベントメタデータ
２３ 追加オブジェクトメタデータ
３１ オブジェクトメタ生成手段
３２ イベントメタ生成手段
３３ 追加オブジェクトメタ生成手段
３４ オブジェクトメタ統合手段
３５ イベントメタ補充手段
３６ 提供手段

従って本発明の目的は、複数の映像からユーザの所望の映像を容易に選択可能なコンテンツ情報提供装置、コンテンツ表示装置、コンテンツ情報提供装置が生成するオブジェクトメタデータのデータ構造およびイベントメタデータのデータ構造、このコンテンツ情報提供装置に対応するコンテンツ情報提供方法、コンテンツ情報提供プログラムならびにコンテンツ情報提供システムを提供することである。

記憶装置はさらに、映像データの識別子、映像データで検出されたオブジェクトの検出オブジェクト情報、および映像データにおけるオブジェクト出現時間を対応づけた映像解析データを、記憶し、映像データにおけるオブジェクトの一連の出現を識別するオブジェクト出現の識別子を採番するとともに、オブジェクト出現の識別子に、映像データの識別子、検出オブジェクト情報、およびオブジェクト出現時間を対応づけたオブジェクトメタレコードを含むオブジェクトメタデータを生成するオブジェクトメタ生成手段をさらに備え、イベントメタ生成手段は、オブジェクトメタデータから、イベントメタレコードの映像データの識別子および関連オブジェクト情報と共通するオブジェクトメタレコードであって、イベントメタレコードのイベント発生時間とオブジェクト出現時間が重なるオブジェクトメタレコードを特定し、イベントメタレコードに、特定されたオブジェクトメタレコードのオブジェクト出現の識別子を対応づけても良い。

本発明の第３の特徴は、本発明の第１の特徴に記載のコンテンツ情報提供装置から取得したオブジェクトメタデータから、ユーザから入力されたクエリに関連するオブジェクトを特定し、特定されたオブジェクトに関連する映像データの識別子およびオブジェクト出現時間を特定し、特定された映像データの識別子およびオブジェクト出現時間に対応する映像データを取得し、または本発明の第２の特徴に記載のコンテンツ情報提供装置から取得したイベントメタデータから、ユーザから入力されたクエリに関連するイベントを特定し、特定されたイベントに関連する映像データの識別子およびイベント発生時間を特定し、特定された映像データの識別子およびイベント発生時間に対応する映像データを取得し、取得した映像データを表示するコンテンツ表示装置である。

本発明の第４の特徴は、映像データにおいて検出されたオブジェクトに関連するオブジェクトメタデータのデータ構造に関する。本発明の第４の特徴に係るオブジェクトメタデータのデータ構造は、映像データにおけるオブジェクトの一連の出現を識別するオブジェクト出現の識別子をキーとして、映像データの識別子と、オブジェクトの識別子と、映像データにおいて、オブジェクトが検出された時間を特定するオブジェクト出現時間とを対応づけるオブジェクトメタレコードを含み、ユーザから入力されたクエリに関連する映像データの識別子およびオブジェクト出現時間を特定する処理に用いられる。

本発明の第５の特徴は、映像データが撮影する所定のプログラムで発生したイベントに関連するイベントメタデータのデータ構造に関する。本発明の第５の特徴に係るイベントメタデータのデータ構造は、イベントの識別子をキーとして、イベントの発生時間と、イベントのオブジェクト情報と、イベントの発生時間を撮影時間に含み、イベントのオブジェクトを撮影対象として含む映像データの識別子とを対応づけるイベントメタレコードを含み、ユーザから入力されたクエリに関連する映像データの識別子およびイベントの発生時間を特定する処理に用いられる。

本発明の第８の特徴は、コンピュータを、本発明の第１または第２の特徴に記載のコンテンツ情報提供装置として機能させるためのコンテンツ情報提供プログラム。
本発明の第９の特徴は、所定のプログラムに関連する複数の映像の情報を提供するコンテンツ情報提供システムに関する。本発明の第９の特徴に係る情報提供システムは、映像データの識別子、映像データで検出されたオブジェクトの検出オブジェクト情報、および映像データにおけるオブジェクト出現時間を対応づけた映像解析データを、記憶する記憶装置と、映像データにおけるオブジェクトの一連の出現を識別するオブジェクト出現の識別子を採番するとともに、オブジェクト出現の識別子に、映像データの識別子、検出オブジェクト情報、およびオブジェクト出現時間を対応づけたオブジェクトメタレコードを含むオブジェクトメタデータを生成するオブジェクトメタ生成手段を備えるコンテンツ情報提供装置と、コンテンツ情報提供装置において、所定のクエリに関連するオブジェクトメタレコードで特定される、映像データを表示するコンテンツ表示装置を備える。
本発明の第１０の特徴は、所定のプログラムに関連する複数の映像の情報を提供するコンテンツ情報提供システムに関する。本発明の第９の特徴に係る情報提供システムは、映像データの識別子、映像データの撮影時間、および撮影オブジェクト情報を対応づけたコンテンツ付随データと、プログラムで発生したイベントのイベント名、イベント発生時間、および関連オブジェクト情報を対応づけた状況情報データと、を記憶する記憶装置と、イベントの識別子を採番するとともに、コンテンツ付随データにおいて、撮影時間がイベント発生時間と重複し、撮影オブジェクト情報と関連オブジェクト情報とが対応する映像データの識別子を特定し、イベントの識別子に、状況情報データのイベント発生時間、撮影オブジェクト情報と対応する関連オブジェクト情報および特定した映像データの識別子を対応づけたイベントメタレコードを含むイベントメタデータを生成するイベントメタ生成手段を備えるコンテンツ情報提供装置と、コンテンツ情報提供装置において、所定のクエリに関連するイベントメタレコードで特定される、映像データを表示するコンテンツ表示装置を備える。

本発明によれば、複数の映像からユーザの所望の映像を容易に選択可能なコンテンツ情報提供装置、コンテンツ情報提供装置が生成するオブジェクトメタデータのデータ構造およびイベントメタデータのデータ構造、このコンテンツ情報提供装置に対応するコンテンツ情報提供方法、コンテンツ情報提供プログラムならびにコンテンツ情報提供システムを提供することができる。

Claims (12)

1. 所定のプログラムに関連する複数の映像の情報を提供するコンテンツ情報提供装置であって、
   映像データの識別子、前記映像データで検出されたオブジェクトの検出オブジェクト情報、および前記映像データにおけるオブジェクト出現時間を対応づけた映像解析データを、記憶する記憶装置と、
   前記映像データにおける前記オブジェクトの一連の出現を識別するオブジェクト出現の識別子を採番するとともに、前記オブジェクト出現の識別子に、前記映像データの識別子、前記検出オブジェクト情報、および前記オブジェクト出現時間を対応づけたオブジェクトメタレコードを含むオブジェクトメタデータを生成するオブジェクトメタ生成手段
   を備えることを特徴とするコンテンツ情報提供装置。
2. 所定のプログラムに関連する複数の映像の情報を提供するコンテンツ情報提供装置であって、
   映像データの識別子、前記映像データの撮影時間、および撮影オブジェクト情報を対応づけたコンテンツ付随データと、
   前記プログラムで発生したイベントのイベント名、イベント発生時間、および関連オブジェクト情報を対応づけた状況情報データと、を記憶する記憶装置と、
   前記イベントの識別子を採番するとともに、前記コンテンツ付随データにおいて、前記撮影時間が前記イベント発生時間と重複し、前記撮影オブジェクト情報と前記関連オブジェクト情報とが対応する前記映像データの識別子を特定し、
   前記イベントの識別子に、前記状況情報データのイベント発生時間、前記撮影オブジェクト情報と対応する前記関連オブジェクト情報および前記特定した映像データの識別子を対応づけたイベントメタレコードを含むイベントメタデータを生成するイベントメタ生成手段
   を備えることを特徴とする記載のコンテンツ情報提供装置。
3. 前記イベントメタ生成手段は、前記オブジェクトメタデータから、前記イベントメタレコードの映像データの識別子および関連オブジェクト情報と共通するオブジェクトメタレコードであって、前記イベントメタレコードのイベント発生時間とオブジェクト出現時間が重なるオブジェクトメタレコードを特定し、前記イベントメタレコードに、前記特定されたオブジェクトメタレコードのオブジェクト出現の識別子を対応づける
   ことを特徴とする請求項２に記載のコンテンツ情報提供装置。
4. 前記コンテンツ付随データにおいて、前記イベントメタレコードの前記映像データの識別子および関連オブジェクト情報と対応するレコードがある場合、新たなオブジェクト出現の識別子を採番するとともに、前記新たなオブジェクト出現の識別子に、前記映像データの識別子と、前記関連オブジェクト情報と、オブジェクト出現時間として前記イベントメタレコードのイベント発生時間を対応づけた追加オブジェクトメタレコードを含む追加オブジェクトメタデータを生成する追加オブジェクトメタ生成手段
   をさらに備えることを特徴とする請求項２または３に記載のコンテンツ情報提供装置。
5. 前記記憶装置は、前記映像データの識別子、前記映像データで検出されたオブジェクトの検出オブジェクト情報、および前記映像データにおけるオブジェクト出現時間を対応づけた映像解析データを、記憶し、
   前記映像データにおける前記オブジェクトの一連の出現を識別するオブジェクト出現の識別子を採番するとともに、前記オブジェクト出現の識別子に、前記映像データの識別子、前記検出オブジェクト情報、および前記オブジェクト出現時間を対応づけたオブジェクトメタレコードを含むオブジェクトメタデータを生成するオブジェクトメタ生成手段と、
   前記オブジェクトメタレコードと前記追加オブジェクトメタレコードについて、前記映像データの識別子およびオブジェクト情報が共通し、前記オブジェクトメタレコードの前記オブジェクト出現時間と、前記追加オブジェクトメタレコードのオブジェクト出現時間とが重複する場合、前記追加オブジェクトメタデータから、前記追加オブジェクトメタレコードを削除するオブジェクトメタ統合手段
   をさらに備えることを特徴とする請求項４に記載のコンテンツ情報提供装置。
6. 前記記憶装置は、さらに、
   前記映像データの識別子およびオブジェクト情報に、検索キーワードを対応づけるリンクマスタデータを記憶し、
   前記イベントメタ生成手段は、前記イベントメタレコードに、前記イベントメタレコードの前記映像データの識別子および前記オブジェクト情報に対応する検索キーワードを対応づける
   ことを特徴とする請求項２に記載のコンテンツ情報提供装置。
7. 請求項１ないし６のいずれか１項に記載のコンテンツ情報提供装置において、所定のクエリに関連する前記オブジェクトメタレコードまたは前記イベントメタレコードで特定される、映像データを表示するコンテンツ表示装置。
8. 映像データにおいて検出されたオブジェクトに関連するオブジェクトメタデータのデータ構造であって、
   前記映像データにおける前記オブジェクトの一連の出現を識別するオブジェクト出現の識別子をキーとして、前記映像データの識別子と、前記オブジェクトの識別子と、前記映像データにおいて、前記オブジェクトが検出された時間を特定するオブジェクト出現時間とを対応づけるオブジェクトメタレコードを含むオブジェクトメタデータのデータ構造。
9. 映像データが撮影する所定のプログラムで発生したイベントに関連するイベントメタデータのデータ構造であって、
   前記イベントの識別子をキーとして、前記イベントの発生時間と、前記イベントのオブジェクト情報と、前記イベントの発生時間を撮影時間に含み、前記イベントのオブジェクトを撮影対象として含む映像データの識別子とを対応づけるイベントメタレコードを含むイベントメタデータのデータ構造。
10. 所定のプログラムに関連する複数の映像の情報を提供するコンテンツ情報提供方法であって、
    コンピュータが、映像データの識別子、前記映像データで検出されたオブジェクトの検出オブジェクト情報、および前記映像データにおけるオブジェクト出現時間を対応づけた映像解析データを、記憶するステップと、
    前記コンピュータが、前記映像データにおける前記オブジェクトの一連の出現を識別するオブジェクト出現の識別子を採番するとともに、前記オブジェクト出現の識別子に、前記映像データの識別子、前記検出オブジェクト情報、および前記オブジェクト出現時間を対応づけたオブジェクトメタレコードを含むオブジェクトメタデータを生成するステップ
    を備えることを特徴とするコンテンツ情報提供方法。
11. 所定のプログラムに関連する複数の映像の情報を提供するコンテンツ情報提供方法であって、
    コンピュータが、映像データの識別子、前記映像データの撮影時間、および撮影オブジェクト情報を対応づけたコンテンツ付随データと、
    前記プログラムで発生したイベントのイベント名、イベント発生時間、および関連オブジェクト情報を対応づけた状況情報データと、を記憶するステップと、
    前記コンピュータが、前記イベントの識別子を採番するとともに、前記コンテンツ付随データにおいて、前記撮影時間が前記イベント発生時間と重複し、前記撮影オブジェクト情報と前記関連オブジェクト情報とが対応する前記映像データの識別子を特定し、
    前記イベントの識別子に、前記状況情報データのイベント発生時間、前記撮影オブジェクト情報と対応する前記関連オブジェクト情報および前記特定した映像データの識別子を対応づけたイベントメタレコードを含むイベントメタデータを生成するステップ
    を備えることを特徴とする記載のコンテンツ情報提供方法。
12. コンピュータを、請求項１ないし請求項６のいずれか１項に記載の手段として機能させるためのコンテンツ情報提供プログラム。

Images