JP2004126811A - コンテンツ情報編集装置とその編集プログラム - Google Patents

Abstract

【課題】コンテンツ情報から注目するイベントを抽出する際に、イベントごとの重要度を考慮して最適な形態で抽出し、要約を作成できるようにする。
【解決手段】映像情報データベース１０１に格納されたコンテンツ情報に含まれる複数のイベントの各々について、映像属性データベース１０２に記憶された属性情報と、条件入力部１０４により予め入力されるか又はプロファイルデータベース１０３に既に記憶されているキーワード等の抽出条件とをもとに、重要度算出部１０５により重要度を算出する。そして、この算出された重要度が高い順に区間選択部１０６でイベントのシーンを選択し、これらのシーンを部分映像情報作成部１０７によりつなぎ合わせることで要約情報を作成する。
【選択図】　　図１

Description

【０００１】
【発明の属する技術分野】
この発明は、例えばサーバ装置からユーザの端末装置へネットワークを介してコンテンツ情報を放送又は配信するシステムにおいて、コンテンツ情報からユーザが希望する事象に係わる部分情報を抽出し、さらに要約情報に編集する機能を備えたコンテンツ情報編集装置とその編集プログラムに関する。
【０００２】
【従来の技術】
近年、放送の多チャンネル化等による情報インフラの発展に伴い、多くの映像コンテンツが流通するようになっている。また、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ　ＤｉｇｉｔａｌＳｕｂｓｃｒｉｂｅｒ　Ｌｉｎｅ）やＦＴＴＨ（Ｆｉｂｅｒ　Ｔｏ　Ｔｈｅ　Ｈｏｍｅ）等のブロードバンド・ネットワークの普及、コンピュータの処理能力の向上に伴い、ネットワークを通じて配信された映像コンテンツをパーソナル・コンピュータや携帯端末の記憶装置に録画して視聴することが一般的になっている。
【０００３】
ところが、配信される映像コンテンツの数やその情報量は日々増大しており、ユーザは配信された多くの映像コンテンツをもれなく視聴することが困難になってきている。
【０００４】
また、映像コンテンツの制作者側からの視点に立つと、ユーザの視聴環境の多様化により、同じ内容のコンテンツであってもテレビジョン放送向けやブロードバンド放送向け、携帯端末向けと、視聴環境に応じて複数のバリエーションを作成する必要が生じ、制作コストの増大を招いている。
【０００５】
そこで従来では、例えば無音部分をスキップして音声が存在する部分だけを再生する放送機器が製品化されている。しかし、この装置ではユーザが自身の興味のある部分だけを選択的に視聴することができない。例えば、スポーツの試合で自分の好きな選手の登場するシーンだけを集めて視聴することはできない。
【０００６】
また、映像コンテンツを短縮する別の装置として、入力された映像コンテンツからユーザが興味のあるイベントに係わる部分を抽出し、この抽出された部分をダイジェスト映像として編集する装置が提案されている（例えば、特許文献１参照。）。
【０００７】
【特許文献１】
特開２０００−２６１７５４
【０００８】
【発明が解決しようとする課題】
しかしながらこの従来のダイジェスト作成装置では、抽出対象のイベントごとに、当該イベントを含む範囲をインデックスをもとに判断して切り出すようにしている。例えば、野球中継における注目のバッターのホームランシーンを抽出する場合には、相手ピッチャーが投球を開始するイベントから当該バッターがホームインするイベントまでをそのインデックスをもとに抽出する。このイベントの抽出条件は、他のイベントについても同一である。
【０００９】
すなわち、抽出対象の各イベントをすべてインデックスを使用した同一の条件で切り出すようにしている。このため、仮に抽出対象の各イベントの重要度が異なる場合であっても、これらのイベントは一定の条件で画一的に切り出されることになる。したがって、このように切り出されたイベントをもとにダイジェストを編集しても、そこに得られるものは例えば複数のイベントがただ単に時系列的に配置されただけのものとなり、イベントごとの重要度がまったく反映されないものとなる。
【００１０】
この発明は上記事情に着目してなされたもので、その目的とするところは、コンテンツ情報から注目する事象を抽出する際に事象ごとの重要度を考慮して最適な形態で抽出できるようにしたコンテンツ情報編集装置とその編集プログラムを提供することにある。
【００１１】
【課題を解決するための手段】
上記目的を達成するためにこの出願の代表的な発明は、複数の事象を含みこれらの事象ごとに属性情報が付加されたコンテンツ情報を取り込むと共に、ユーザが注目する事象に関する抽出条件を設定する。そして、上記取り込まれたコンテンツ情報に含まれる事象の重要度を、当該事象の属性情報と上記設定された抽出条件とをもとに算出し、この算出された事象ごとの重要度をもとに、上記コンテンツ情報からユーザが注目する事象を含む部分情報を抽出するようにしたものである。
【００１２】
この発明はさらに、上記算出された事象ごとの重要度と、ユーザが作成を希望する要約情報の編集条件とに基づいて、上記コンテンツ情報からユーザが注目する事象を含む部分情報を抽出して、この抽出された部分情報をもとに要約情報を作成するようにしたものである。
【００１３】
したがってこの発明によれば、コンテンツ情報に含まれるイベントやオブジェクト等の事象ごとの重要度が算出され、この算出された重要度に応じて事象が抽出される。さらに、必要に応じて上記重要度と予め設定された編集条件とをもとに複数の事象が抽出されて要約情報が作成される。このため、事象の抽出及び要約情報の作成に事象の重要度を反映させることができ、これによりユーザに対し重要度の高い事象及びその要約情報を提供することが可能となる。
【００１４】
また、上記した要約情報の編集手段を備えることにより、コンテンツ制作側或いは提供側にとっては、同一のコンテンツ情報につき、ユーザの視聴環境に応じて複数のバリエーションを作成する必要がなくなり、これによりコンテンツ情報の制作或いは管理コストを圧縮することができる。
【００１５】
【発明の実施の形態】
（第１の実施形態）
この発明の第１の実施形態は、サーバ装置に対しネットワークを介して接続されるユーザの端末装置において、サーバ装置からダウンロードされたコンテンツ情報に含まれる複数のイベントの各々について、その属性情報と予め入力された抽出条件とをもとに重要度を算出し、この算出された重要度と予め入力された編集条件とをもとに、上記コンテンツ情報からユーザが注目するイベントを含むシーンを抽出して要約情報を作成するようにしたものである。
【００１６】
図１は、この発明の第１の実施形態に係わるコンテンツ情報編集機能を備えた端末装置の機能構成を示すブロック図である。
この端末装置ＴＭ１は、通信インタフェース部１００と、映像情報データベース１０１、映像属性データベース１０２及びプロファイルデータベース１０３からなるデータベース群と、条件入力部１０４及び表示部１０８からなる入出力インタフェース部と、重要度算出部１０５、区間選択部１０６及び部分映像情報作成部１０７からなる演算処理部とを備えている。
【００１７】
通信インタフェース部１００は、サーバ装置ＳＶ１との間でネットワークＮＷを介して所定のプロトコルに従い通信を行い、これによりサーバ装置ＳＶ１からコンテンツ情報をダウンロードする。コンテンツ情報は、例えば圧縮されたディジタル映像データとオーディオデータと付加データとを多重化したものから構成される。そして、このダウンロードされたコンテンツ情報を映像情報データベース１０１に格納する。なお、ネットワークＮＷは、有線公衆網、移動通信網、ＣＡＴＶ（Ｃａｂｌｅ　Ｔｅｌｅｖｉｓｉｏｎ）網、構内通信網、及びインターネット等のコンピュータネットワークのいずれか、或いはこれらを任意に組み合わせたものから構成される。
【００１８】
映像情報データベース１０１は、例えばハードディスクやＤＶＤなどのメディアを使用したものである。この映像情報データベース１０１には、上記サーバ装置ＳＶ１からダウンロードしたコンテンツ情報が格納されると共に、テレビジョン放送やユーザが撮影した映像など様々なコンテンツ情報を格納される。元の映像がアナログデータである場合には、図示しないインタフェース部によりディジタルデータに変換されたのち格納される。ディジタルデータの形式はどのような形式でもよいが、ＭＰＥＧ−１やＭＰＥＧ−２などの圧縮データ形式を用いるのが一般的である。
【００１９】
また映像情報データベース１０１には、上記格納されたコンテンツ情報のタイトルやＩＤなどの映像コンテンツを一意に特定するための情報と、再生を開始する時刻又はフレーム番号も併せて記憶される。これらの付加データにより、上記コンテンツ情報を任意の位置から再生することが可能となる。なお、映像情報データベース１０１は、専用のデータベースシステムを用いずに、オペレーティングシステムのファイルシステムを用いたのでも構わない。
【００２０】
映像属性データベース１０２は、上記映像情報データベース１０１に格納されているコンテンツ情報の属性情報を保存する。属性情報はメタデータとも呼ばれ、映像データの構造や注釈、索引などの情報からなる。この属性情報は、元の映像データをもとに自動抽出或いは手動で設定される。
【００２１】
自動的に抽出することのできる属性情報には、映像データからカット点を自動検出することで映像データをシーンごとに分割したときの始点及び終点の時刻情報、カメラの動き（パンやズームなど）の情報、音声の有無や音量などが挙げられる。
【００２２】
また手動で付与する情報としては、映像データ内に写っている物体や発生しているイベントの内容などの情報が挙げられる。例えば、サッカーの試合の番組であれば、図２に示すように、試合に出場した選手の名前のリスト、シュートやゴールなどのイベントが発生したときの時刻、選手名などを記述しておく。イベントの発生時刻の記述方法としては、シーン情報のように区間の始点及び終点を記述する形式でもよいし、イベントが発生した瞬間の時刻を記述する形式でもよい。
【００２３】
また映像属性データベース１０２は、便宜上データベースと表記しているが、ＸＭＬデータベースや関係データベースなどのデータベースシステムを必ずしも用いる必要はなく、図２に例示するようにテキストファイルに順に属性情報を記述したものを読み込んでもよい。もちろん、ＸＭＬデータベースや関係データベースなどに登録管理してもよい。
【００２４】
プロファイルデータベース１０３は、イベントのシーンを抽出する際及び要約情報を作成する際に用いる、ユーザ情報や要約アルゴリズムのパラメータを格納する。ユーザ情報とは、イベントのシーンを抽出する際及び要約を作成する際に、ユーザが毎回同じ条件を入力する手間を省くために、予め好みのキーワードなどを保持しておくための情報である。例えば、スポーツの試合であれば、好みのチームや選手などの情報がこれに該当する。要約アルゴリズムのパラメータとは、後述する要約アルゴリズムの切り替えや重要度計算に用いる係数を表す。これらのパラメータには初期値が与えられるが、その後ユーザごとに好みに合わせて調整することができる。
【００２５】
このプロファイルデータベース１０３についても、上記映像属性情報データベース１０２と同様に、ＸＭＬデータベースや関係データベースなどのデータベースシステムを用いても良いし、ファイルに記述しておいたものを読み込むだけでもよい。
【００２６】
また、編集対象のコンテンツ情報に対してどのプロファイルを用いるかは、明示的に選択してもよいし、コンテンツの内容やジャンルに応じて自動的に選択されるようにしてもよい。例えば、スポーツの種目ごとにプロファイルを用意し、サッカーの試合がコンテンツとして用いられているときは、サッカー用のプロファイルを選択する。
【００２７】
条件入力部１０４は、抽出対象のイベントの指定や要約情報を作成するための諸条件を入力するもので、例えばキーボードからなる。入力される条件は、作成する要約の時間や要約に含めたい内容に対応するキーワードなどである。例えば、サッカーの試合を自分の好みのチームや選手の活躍を中心にイベントを抽出し要約したいのであれば、チームや選手の名前を入力する。
【００２８】
重要度算出部１０５は、入力された抽出及び要約条件、属性情報、プロファイルに基づいて、コンテンツ情報の区間ごと或いは時間ごとの重要度を算出する。重要度の算出処理については後述の要約アルゴリズムの説明で詳述する。
【００２９】
区間選択部１０６は、コンテンツ情報の区間ごと或いは時間ごとに算出された重要度に応じて、要約情報に含める区間を選択する。また、上記要約条件に要約情報の時間長の下限と上限を指定する時間しきい値が含まれる場合は、作成された要約情報の時間長がこの時間しきい値で指定される時間長に収まるように区間の長さを調節する。区間選択処理については後述の要約アルゴリズムの説明で、詳述する。
【００３０】
部分映像情報作成部１０７は、上記区間選択部１０６により選択された区間情報に基づいて、映像情報データベース１０１に格納されたコンテンツ情報から該当する部分の区間の映像情報を取り出す。そして、この取り出された部分映像情報をつなぎ合わせることにより要約情報を作成する。
【００３１】
表示部１０８は例えばＣＲＴ又はＬＣＤを使用したもので、上記部分映像情報作成部１０７により作成された要約映像情報を表示する。なお、表示部１０８には、上記要約情報を作成する前の個々の部分映像情報を選択的に表示することも可能である。
【００３２】
次に、以上のように構成された装置による要約情報の編集処理動作を説明する。図３は、その作成手順と処理内容を示すフローチャートである。
【００３３】
この実施形態の要約アルゴリズムは、ユーザが注目するイベントを含むシーンをイベントごとに求めた重要度の高い順に取捨選択するものである。ただし、メタデータにより各イベントには１つ以上のキーワードが付加されているものとする。またイベントを含むシーンの始点と終点は、メタデータにイベントの始点及び終点の時刻が記述されている場合にはそれを使用し、発生時刻のみが記述されている場合には後述する自動分割処理を用いて始点及び終点を求め、この求められた始点及び終点を使用する。
【００３４】
ステップＳ１１ではイベントごとの重要度が算出される。重要度算出処理の一例としては、抽出条件のキーワードとメタデータのキーワードとを比較して、イベントの重要度を求めるものがある。例えば、イベントの重要度をｗとし、抽出条件のキーワードの総数をＮとすると、そのイベントの重要度は次式により求めることができる。
【００３５】
【数１】

【００３６】
ただし、ａｋはｋ番目のキーワードの重み係数、Ｔ（ｔ）は時間に依存する関数で、例えばＴ（ｔ）＝ｂｔとする。これらの係数の数値はプロファイルに要約アルゴリズムのパラメータとして記述しておいてもよい。例えば、サッカーの試合でゴールシーンをシュートシーンより優先する場合はゴールシーンの方が大きな重み係数ａｋを用いる。また、試合の後半のゴールシーンほど、重要なシーンとして扱う場合はｂに適当な値を設定し、重要度ｗが試合が進むにつれて大きくなるようにする。なお、時間によって重要度を変化させない場合は上記時間の重み係数ｂは省略する。
【００３７】
ステップＳ１２では、上記ステップＳ１１で算出された重要度に基づき、最も重要度の大きいイベントを含むシーンを選択してシーンリストに登録する処理が行われる。
【００３８】
ステップＳ１３では、上記ステップＳ１２により選択されシーンリストに登録されているシーンの合計時間が、要約の編集条件として入力された時間長のしきい値を上回っていないかどうかが判定される。そして、上回っている場合にはそのまま処理を終了する。これに対し上回っていない場合にはステップＳ１２に戻り、選択されていないシーンのうち最も重要度が高いイベントのシーンを選択してシーンリストに追加するという処理が、シーンの合計時間がしきい値を上回るまで繰り返し行われる。
【００３９】
以上の説明では、要約情報の時間長について上限のみを指定したが、下限も指定するようにしてもよい。このようにすると、要約情報のシーンの合計時間が上記下限と上限により指定される範囲内に収まるようにすることができる。また、要約の編集条件としては必ずしも時間を用いる必要はない。例えば、時間の代わりにシーンの総数を用いてもよいし、ＡＮＤ検索やＯＲ検索を利用してもよい。このＡＮＤ検索やＯＲ検索を利用する抽出処理では、イベントの抽出条件として与えられた全てのキーワードを含むシーンを選択する処理（ＡＮＤ検索）や、最低限１つのキーワードを含むシーンを選択する処理（ＯＲ検索）が行われる。
【００４０】
ところで、上記したようにイベントの取捨選択を用いて要約情報を作成すると、各イベントのシーンの長さによっては、要約情報の合計時間が編集条件で指定される時間範囲に収まらなくなる場合がある。このような場合には、シーンの切り詰め処理を行うことで、要約情報の合計時間を指定された時間範囲に納めることができる。
【００４１】
図４は、このシーンの切り詰め処理を説明するためのフローチャートである。同図において、先ずステップＳ２１では要約情報に含めたいイベントのシーンが選択される。このイベントシーンの選択方法には、図３の説明で述べたＡＮＤ検索やＯＲ検索など、時間を用いないイベント抽出処理を用いてもよいし、コンテンツ情報中の全イベントのシーンを選択しても構わない。
【００４２】
ステップＳ２２では、選択されたイベントシーンの合計時間が編集条件により指定される時間範囲に収まっているかが判定され、収まっている場合は処理が終了する。収まっていない場合にはステップＳ２３へ進む。ステップＳ２３ではシーンの切り詰め処理が行われる。このシーンの切り詰め処理は、ステップＳ２２で要約情報の合計時間が編集条件により指定される時間範囲に収まることが確認されるまで繰り返し行われる。
【００４３】
図５は、シーンの切り詰め処理の第１の例を説明するための図である。この切り詰め処理は各シーンの両端をそれぞれ切り詰める。切り詰める時間は、各シーンとも均等の時間となるように設定してもよいし、各シーンの長さに対して比率が一定（例えば１０％ずつ）としてもよい。また、シーンごとに自由に決めてもよい。さらに、シーンの両端を切り詰めずに始端あるいは終端のいずれか一方のみを切り詰めてもよい。また、シーンの両端に限らず、最終的にシーンの合計時間が要約条件に合致すれば中間部分などを切り詰めてもよい。
【００４４】
図６は、シーンの切り詰め処理の第２の例を説明する図である。先ずコンテンツ情報の各イベントのシーンは複数の区間に分割され、これらの区間ごとに付加的な属性情報を設定してこれをメタデータに含めておく。このときの属性情報としては、例えばキーワードや重要であることを示すフラグが用いられる。キーワードを用いる場合には、シーンごとの重要度を求めたときと同様に区間ごとに重要度を求め、この重要度により決まる選択優先順位に従い優先順位の低い区間を捨てることによって切り詰めを行う。
【００４５】
フラグを用いる場合には、図６のようにシーンの部分区間ごとに重要であるかないかのフラグを付与し、重要でない区間から選択して切り詰める。図６の例では、区間２０２の重要度が最も高く区間２０１の区間の重要度が最も低いので、区間２０１が最初に切り詰められ、次に区間２０３が切り詰められる
図７は、シーンの切り詰め処理の第３の例を説明する図である。この例ではメタデータにカメラの動きを表す情報が記述されていることが前提となる。カメラワークには撮影テクニックとしてある程度決まった動きがある。例えば、ズームやパンなどで対象物に近づき、その後カメラの動きがない状態で対象物を撮影する。
【００４６】
したがって、このようなカメラの動きに着目し、カメラの動きがなく安定して被写体が撮影されている区間を優先的に選択して、区間の切り詰めを行う。図７の場合、区間３０１で対象物が画面内に収まるようにパンし、その後区間３０２ではカメラが静止しているとすると、この静止区間３０２のシーンが切り詰められる。
【００４７】
その他、音声データの有無やその音量を示すメタデータが存在する場合には、シーンの切り詰めを行うときの分割境界を例えば図８のように音声のない部分とするとよい。このようにすると、音声を途切れさせることなくシーンを切り詰めることができる。
【００４８】
なお、図３及び図４に示したフローチャートでは、イベントの区間がイベント発生時刻の始点及び終点時刻により定義され、これがメタデータに記述されているものとして説明した。しかし、メタデータとして記述するイベントの時刻情報は、区間を表す情報である必要はなく、イベントが発生した瞬間の時刻のみを記述する場合もある。
【００４９】
例えば、コンテンツ情報がサッカーの試合の映像データである場合、そのメタデータにはシュートを打った瞬間の時刻を記述してもよい。このような場合、前述の要約アルゴリズムを用いるには、そのイベントに対応するシーンの始点及び終点の時刻を先に求める必要がある。
【００５０】
イベントの発生時刻からシーンの始点及び終点の位置を求める手法の一例としては、イベントの種類ごとに発生時刻に対する始点と終点の位置を定める手法がある。例えば、図９に示すようにイベント発生時刻として時刻ｔがメタデータに記述されている場合、ｔ−ｔＡを始点とすると共にｔ＋ｔＢを終点として区間４０１をシーンとする。ここで、ｔＡ及びｔＢはイベントの種類ごとに用意されるパラメータであり、イベントごとに違う値を用いてもよいし、共通の値を用いてもよい。また、システムが定めた値を用いてもよいし、要約の編集条件やプロファイルに記憶された要約パラメータの一部として、ユーザが任意に設定してもよい。
【００５１】
また、イベントの発生時刻からシーンを求める別の手法としてはカット検出結果やカメラワークの検出結果を用いる自動分割手法がある。カット検出手法とは、カットと呼ばれるカメラブレークや編集などによって生じる映像データの不連続な部分を検出して、映像データをシーンに分割する処理である。このカット検出処理は、要約作成時に行ってもよいが、カット検出結果がメタデータに存在する場合にはこのデータを用いた方が効率がよい。いずれの場合も、カット検出により得られたシーンとイベントとを対応付ける必要がある。例えば、イベントの発生時刻を含むシーンをイベントのシーンとして対応付ける。
【００５２】
図１０は、カメラワークの検出結果を用いて、イベントの発生したシーンを求める処理の手順と内容を示すフローチャートである。この処理では、カメラワークをもとに映像データをシーン分割してイベントと対応付ける。カメラワークのパラメータは予め得られているものとし、ここではその取得方法の詳細は述べない。
【００５３】
ステップＳ３１では、前後のカメラワークのパラメータが比較され、その類似度が求められる。パラメータとは、パンやズームの方向やその変化の大きさなどである。類似度はパンであるかズームであるか、また同じ場合にはその方向や大きさを比較することにより求められる。
【００５４】
ステップＳ３２では、上記ステップＳ３１で求められた類似度が予め定めたしきい値以下となり、かつ最も小さくなる位置が選択される。そして、この選択された位置において映像データがシーン分割される。ここでシーンとは、同じようなカメラワークが連続するフレームの集合である。例えば、サッカーの試合であれば、相手ゴールへの攻撃をカメラをパンさせながら連続的に追跡するシーンなどが挙げられる。
【００５５】
ステップＳ３３では、ステップＳ３２により分割されたシーンの中からイベントの発生時刻を含むシーンを検索し、その結果をイベントのシーンとして対応付ける処理が行われる。
【００５６】
図２１は、以上のようにして作成されたイベント要約情報を表示部１０８に表示する場合の表示画面の一例を示すものである。この表示画面は、要約映像表示部９０１と、時刻表示部９０２と、イベント情報表示部９０３とから構成される。
【００５７】
要約映像表示部９０１では、要約結果の区間情報に従い元映像の該当シーンが連続して表示される。その際、シーンを連続的に表示するだけでは、スポーツ中継などにおいては試合の流れが分かり難い。そこで、要約映像と合わせてイベントの発生時刻や内容がそれぞれイベント情報表示部９０３及び時刻表示部９０２に表示される。このようにすることにより、要約情報の流れをユーザが把握しやすくする。
【００５８】
なお、図２１では時刻表示部９０２及びイベント情報表示部９０３を要約表示部９０１とは別の領域に表示する場合を示したが、これは一例である。時刻表示部９０２及びイベント情報表示部９０３の表示領域は表示画面上のどの部分にあってもよく、例えば図２２に示すように１つの領域に時刻とイベント情報の両方を表示したり、テキストのみを要約映像にオーバーレイ表示するようにしてもよい。また、時刻情報は常に表示しておいてもよいし、イベントの発生時のみ表示するようにしてもよい。さらに、イベント情報をテキストにより表示せずに、音声合成技術を使用して音声ナレーションにより表示するようにしてもよい。
【００５９】
以上述べたように第１の実施形態では、映像情報データベース１０１に格納されたコンテンツ情報に含まれる複数のイベントの各々について、映像属性データベース１０２に記憶された属性情報と、条件入力部１０４により予め入力されるか又はプロファイルデータベース１０３に既に記憶されているキーワード等の抽出条件とをもとに、重要度算出部１０５により重要度を算出する。そして、この算出された重要度が高い順に区間選択部１０６でイベントのシーンを選択し、これらのシーンを部分映像情報作成部１０７によりつなぎ合わせることで要約情報を作成するようにしている。また、その際に要約情報の合計時間が編集条件により指定された時間範囲に収まらない場合には、シーンの切り詰め処理を行うことで要約情報の時間長を調節するようにしている。
【００６０】
したがって第１の実施形態によれば、イベントの抽出及び要約情報の作成にイベントの重要度を反映させることができ、これにより重要度の高いイベントのシーンが希望する時間長に編集された要約情報をユーザに対し提供することが可能となる。
【００６１】
また、コンテンツ制作者側或いは提供側にとっては、同一のコンテンツ情報につき、ユーザの視聴環境に応じて複数のバリエーションを作成する必要がなくなるので、コンテンツ情報の制作或いは管理コストを大幅に圧縮することが可能となる。
【００６２】
（第２の実施形態）
前記第１の実施形態で述べた要約作成アルゴリズムは、イベントごとに重要度を求めてその結果をもとにイベントのシーンを取捨選択することにより要約情報を作成するものだったのに対し、この発明の第２の実施形態は、イベントごとの重要度曲線を求めたのちこれらを合成することでコンテンツ情報全体にわたる重要度の変化特性を求める。そして、このコンテンツ情報全体にわたる重要度の変化特性をもとに、抽出すべき区間を決定して要約情報を作成するようにしたものである。
【００６３】
図１１は、この発明の第２の実施形態に係わる要約作成アルゴリズムを使用した要約編集処理の手順と内容を示すフローチャートである。
先ずこのフローチャートの概要を述べる。ステップＳ４１ではイベントの重要度を算出する。ステップＳ４２ではイベントの重要度と重要度関数からイベント重要度曲線を算出する。ステップＳ４３ではイベント重要度曲線と時間重要度曲線を加算し、コンテンツ全体の重要度曲線を算出する。ステップＳ４４では重要度曲線から、要約作成条件の時間に対応する重要度の閾値を算出する。ステップＳ４５ではしきい値に従い、要約映像に含める区間を選択する。
【００６４】
以下、各ステップでの処理を詳細に説明する。ステップＳ４１におけるイベントの重要度の算出処理は、第１の実施形態で説明した処理がそのまま使用される。すなわち、コンテンツ情報に含まれる各イベントの重要度が、その属性情報と、抽出条件として入力されたキーワードやユーザの好みとして予め登録されているプロファイル情報に基づいて算出される。例えば、重要度をｗとし、キーワードの総数をＮとすると、次式により重要度ｗが求められる。
【００６５】
【数２】

【００６６】
ただし、ａｋはｋ番目のキーワードの重み係数である。また、入力された重要度をｗｋ、プロファイルとして記憶された重要度をｗｐと区別しておく。ただし、この区別は必須ではない。
【００６７】
ステップＳ４２では、イベントの重要度と重要度関数とからイベント重要度曲線を算出する。重要度関数とは、イベント区間の時間による重要度の変化を表す関数である。関数の式はイベントごとに自由に決めることができる。
【００６８】
図１２はイベントの重要度関数を説明するための図である。重要度関数は、図１２（ａ）の５０１に示すように曲線的な関数であってもよいし、図１２（ｃ）の５０２に示すように線形な関数の組み合わせであってもよい。また、図１２（ｅ），（ｆ）に示すような階段状に変化する関数であってもよい。関数の重要度方向の高さはイベント発生時に重要度が最大となるようにしてもよいし、イベント発生時以外のタイミングで最大となるように設定してもよい。また、最大値を所定値に統一（例えば１）してもよいし、イベントごとに異ならせてもよい。要するに重要度関数は、イベントごとに予め任意に設定することができる。
【００６９】
次にステップＳ４３において、コンテンツ情報に含まれるイベントごとに、当該イベントに対応する重要度関数を上記ステップＳ４１により算出された重要度に基づいて変化させ、これによりイベント重要度曲線を求める。一例としては、イベントごとにその重要度関数にイベントの重要度を乗ずる。ｉ番目のイベントの重要度関数式をｆｉ（ｔ）とすると、イベントの重要度曲線は
Ｅｉ（ｔ）＝（ｗｉｋ＋ｗｉｐ＋ｅｉ）ｆｉ（ｔ）
と表される。
【００７０】
ただし、ｗｉｋおよびｗｉｐはそれぞれｉ番目のイベントの重要度を示す、またｅｉは補正項を示している。補正項ｅｉは、キーワードのマッチング以外の要因で重要度を変化させたいときに用いる。例えば、スポーツの試合における逆転の場面など、試合展開上で重要なイベントや連続でヒットを打つなど、活躍した選手の重要度を他のイベントより高くしたいときに用いる。
【００７１】
上記式によれば、図１２（ａ）に示したイベント重要度関数５０１は図１２（ｂ）の５０３に示すように、また図１２（ｃ）に示したイベント重要度関数５０２は図１２（ｄ）の５０５に示すように、それぞれ縦（重要度）方向に変化した曲線となる。
【００７２】
なお、この例では、イベントの重要度関数にイベントの重要度を乗算することによりイベントの重要度曲線Ｅｉ（ｔ）を求めたが、ｆｉ（ｔ）の他の係数を変化させ、裾の広がりなど、時間方向の形状を変化させてもよい。
【００７３】
次にステップＳ４３では、例えば図１３（ａ）に示す各イベントの重要度曲線６０１，６０１，…と、別途設定した時間重要度曲線６０２とが加算される。この結果、図１３（ｂ）に示すように、コンテンツ情報の全時間領域にわたる重要度の変化を表す重要度曲線６０３が算出される。
【００７４】
ここで、時間重要度曲線とは、イベントと関係なくコンテンツ全体における重要度の時間変化を示す。例えば、スポーツの試合の後半を前半よりも重要であると考え、後半の映像データをより多く要約に含める場合には、時間経過に従って重要度が増す関数を用いる。時間重要度曲線の式をＴ（ｔ）とすると、コンテンツ全体の重要度曲線ＥＲ（ｔ）は
【数３】

【００７５】
となる。すなわち、コンテンツ全体の重要度曲線ＥＲ（ｔ）は、イベントの重要度と時間による重要度との合計となる。
【００７６】
また、コンテンツ全体の重要度曲線を求める際に、各イベントの重要度曲線Ｅｉ（ｔ）を単に加算するのではなく、時間ｔにおけるＥｉ（ｔ）の最大値Ｍａｘ（Ｅｉ（ｔ））を用いて、
ＥＲ（ｔ）＝Ｍａｘ（Ｅｉ（ｔ））＋Ｔ（ｔ）
としてもよい。このようにするとコンテンツ全体の重要度曲線は、図１４（ｂ）の７０１に示すようになり、イベントが重なる部分で重要度が高くなり過ぎる現象を抑制することが可能となる。
【００７７】
続いてステップＳ４４では、ステップＳ４３により求められたコンテンツ全体の重要度曲線ＥＲ（ｔ）から、要約の編集条件として予め指定された要約情報の時間に対応する重要度のしきい値を算出する処理が行われる。なお、要約の編集条件として重要度のしきい値を直接指定する方法もある。しかしながら、一般的には編集条件として要約情報の時間を指定する方が都合がよい。このため、上記したように編集条件として指定された要約情報の時間に対応した重要度のしきい値を算出することは、非常に有効である。
【００７８】
図１５は、上記重要度のしきい値を算出するための処理を説明するための図である。先ず重要度曲線を時間軸方向に投影し、重要度のしきい値と要約時間との関係を求める。例えば、図１４（ｂ）に示したコンテンツ全体の重要度曲線７０１を投影すると、このときの重要度のしきい値と要約時間との関係は図１５に示すようになる。この分布は重要度の増加に対して単調減少となるので、容易に所望の要約時間に対応する重要度のしきい値を見つけることができる。重要度のしきい値を探索する最も簡単な方法の一つは、重要度の最大値から、序々にしきい値を下げ、所望の要約時間となるしきい値を探索する方法である。
【００７９】
最後にステップＳ４５では、ステップＳ４４で求めた重要度のしきい値を用いて、重要度曲線がしきい値を超える区間を要約に含める区間として選択する処理が行われる。図１６は、上記図１４（ｂ）に示したコンテンツ全体の重要度曲線７０１において、重要度のしきい値を変えたときに選択される区間の例を示している。
【００８０】
このとき、図１２（ａ）に示すイベント重要度関数５０１のように裾の広がりが大きな関数を用いると、選択区間が実際のイベントの発生区間を大きく越えてしまう場合がある。また、選択区間が短くなりすぎる場合も考えられる。このような場合、図１２（ｃ）に示すイベント重要度関数５０２のように、最小選択区間５０５と最大選択区間５０６を持つ関数を用いれば、要約として選択される最小区間と最大区間を制御することができる。
【００８１】
なお、以上述べた要約作成アルゴリズムは、個々のコンテンツ情報について要約情報を作成するものだったが、複数のコンテンツ情報から一つの要約情報を作成することも可能である。
【００８２】
例えば、図３あるいは図４に示すアルゴリズムを用いて要約情報を作成する場合には、各コンテンツ情報の各々についてイベントごとの重要度を算出し、各コンテンツの中で最も重要度の高いイベントのシーンから順次選択する。そして、この選択されたシーンを含む区間を、該当するコンテンツ情報から抽出して要約情報を構成する。
【００８３】
また、図１１に示したアルゴリズムにより要約情報を作成する場合には、まず各コンテンツの各々について重要度曲線を求める。そして、各コンテンツから選択される区間の合計時間が編集条件として指定された時間と合致する共通のしきい値を算出する。次に、各コンテンツにおいて、重要度曲線がしきい値を超える区間を要約情報に含める区間として選択する。
【００８４】
さらに、図１１に示したアルゴリズムにより求めたコンテンツごとの重要度曲線から各コンテンツの重要度を算出することにより、複数のコンテンツの中からユーザが最も希望するコンテンツを判定することもできる。
【００８５】
例えば、
【数４】

【００８６】
なる式を用いてコンテンツごとに重要度曲線を積分して面積を求め、この面積ＥＶをそのコンテンツ自身の重要度とする。ＥＶが大きいほど、ユーザにとってお勧めのコンテンツであると考えることができるので、コンテンツ間でＥＶの大小を比較し、ユーザの所望するコンテンツを決定する。すなわち、コンテンツごとの重要度曲線から、ユーザに対するコンテンツの推奨度を判定することが可能である。
【００８７】
（第３の実施形態）
前記第１の実施形態では、コンテンツ情報から重要度の高いイベントのシーンを抽出して要約情報を作成する場合について述べた。これに対しこの発明の第３の実施形態は、オブジェクトの時空間情報を使用することにより、コンテンツ情報から重要度の高い注目オブジェクトを抽出して要約情報を作成する。
【００８８】
オブジェクトの時空間情報とは、映像の各フレームにおけるオブジェクトの位置や形状あるいはその概形の特徴点を時間軸方向に連続的に記述した情報である。このオブジェクトの時空間情報は、必ずしもオブジェクトが存在する全フレームについて記述する必要はなく、間隔をあけて記述してその間を曲線や直線で近似するようにしてもよい。オブジェクトの時空間情報の記述には、例えば、ＭＰＥＧ−７で定義されているＳｐａｔｉｏ　Ｔｅｍｐｏｒａｌ　Ｌｏｃａｔｏｒを用いる。
【００８９】
オブジェクトを中心にした要約情報を作成するには、個々のオブジェクトが関連するイベントと対応付けられている必要がある。対応付け方法の一例としては、オブジェクトにＩＤを付与してイベントに対応するオブジェクトＩＤを記述する方法や、オブジェクトの情報に関連情報としてキーワードなどのイベント情報を合わせて記述する方法などがある。
【００９０】
図１７は、オブジェクトを取捨選択することによって要約を作成する処理の手順と内容を示すフローチャートである。この処理では、映像データ中のオブジェクトごとに重要度を求めてこの重要度をもとに優先順位を決め、優先順位の高いオブジェクトの出現シーンから順に選択する。
【００９１】
すなわち、先ずステップＳ５１ではオブジェクトごとの重要度が算出される。重要度の算出方法の一例としては、図３の説明で述べたようにイベントの重要度を求め、このイベントごとの重要度をそのまま対応するオブジェクトの重要度とする方法や、オブジェクト情報に含められたキーワードと予め抽出条件として入力されたキーワード或いはプロファイルとして記憶されたキーワードとのマッチングにより求める方法がある。
【００９２】
次にステップＳ５２では、算出された重要度をもとに重要度が最も大きいオブジェクトを要約情報に含めるべきオブジェクトとして選択し、その出現シーンをシーンリストに追加する処理が行われる。
【００９３】
続いてステップＳ５３では、上記シーンリストに登録されたオブジェクトの出現シーンの合計時間が、要約の編集条件として入力された時間しきい値を上回っていないかどうかが調べられる。そして、オブジェクトの出現シーンの合計時間が時間しきい値を上回っている場合には処理を終了する。
【００９４】
ただし、例えば図１８に示すように１画面に複数のオブジェクトが表示される場合もあり、しかもそれぞれのオブジェクトの出現から消失までの時間が異なっている場合もある。図１９は、このように出現時間の異なる複数のオブジェクトが１画面上に存在する場合の区間の合計時間の求め方を説明するための図である。同図に示すように、オブジェクトＡの出現区間８０１とオブジェクトＢの出現区間８０２の和の区間８０３が合計時間の計算に用いられる。
【００９５】
一方、オブジェクトの出現シーンの合計時間が時間しきい値を上回っていない場合には、ステップＳ５２に戻る。ステップＳ５２では、まだ選択されていないオブジェクトのうちから最も重要度が高いオブジェクトを選択して、シーンリストに追加する処理が行われる。このステップＳ５２の処理は、オブジェクトの出現シーンの合計時間が時間しきい値を上回るまで繰り返し行われる。
【００９６】
以上の説明では、要約情報の時間しきい値の上限を選択オブジェクトの出現シーンの合計時間としたが、必ずしも時間を用いる必要はない。例えば時間の代わりにシーンの総数を用いてもよいし、ＡＮＤ検索やＯＲ検索を利用してもよい。このＡＮＤ検索やＯＲ検索を利用する抽出処理では、オブジェクトの抽出条件として与えられた全てのキーワードを含むシーンを選択する処理（ＡＮＤ検索）や、最低限１つのキーワードを含むシーンを選択する処理（ＯＲ検索）が行われる。
【００９７】
ところで、上記したようにオブジェクトの取捨選択を用いて要約情報を作成すると、各オブジェクトのシーンの長さによっては、要約情報の合計時間が編集条件で指定される時間範囲に収まらなくなる場合がある。このような場合には、シーンの切り詰め処理を行うことで、要約情報の合計時間を指定された時間範囲に納めることができる。
【００９８】
図２０は、このオブジェクトが出現するシーンの切り詰め処理を説明するためのフローチャートである。同図において、先ずステップＳ６１では要約情報に含めたいオブジェクトを選択する。このオブジェクトシーンの選択方法には、先に述べたＡＮＤ検索やＯＲ検索など、時間を用いないオブジェクト抽出処理を用いてもよいし、コンテンツ情報中の全オブジェクトのシーンを選択しても構わない。
【００９９】
ステップＳ６２では、選択されたオブジェクトの出現シーンの合計時間が、要約の編集条件により指定される時間範囲内に収まっているか否かが判定され、収まっている場合には処理が終了する。なお、上記合計時間の計算も、複数のオブジェクトが１画面上に存在する場合にはその和の区間が使用される。
【０１００】
一方、オブジェクトの出現シーンの合計時間が編集条件により指定された時間範囲内に収まっていない場合には、ステップＳ６３へ進む。ステップＳ６３では、オブジェクトシーンの切り詰め処理が行われる。このシーンの切り詰め処理は、ステップＳ６２で要約情報の合計時間が編集条件により指定される時間範囲に収まることが確認されるまで繰り返し行われる。
【０１０１】
図２３は、オブジェクト情報を持ったコンテンツを要約表示する画面の一例を示すものである。元映像１００１に含まれるオブジェクトの領域１００２は、重要度に応じて切り出されて、要約映像１００３として表示される。切り出し処理は、図１に示した端末装置ＴＭ１では部分映像作成部１０７の処理の１つとして実施される。
【０１０２】
なお、オブジェクト情報を持ったコンテンツの要約を表示する際に、画面全体を表示する方法もあるが、画面サイズや通信速度に制限がある環境（携帯端末など）で視聴するときには、オブジェクト近辺のみを表示する方がよい場合がある。例えば、図２３に示す要約映像１００３のように、オブジェクトの領域のみを表示することによって、携帯端末などの小さな画面上でも注目する部分を詳細に表示することができる。また、送信された要約映像を受信して表示する際に、画面全体を送受信する場合と比較して、少ない情報量で表示を行うことができるので、通信速度が限られているときにも有利である。
【０１０３】
（その他の実施形態）
第１の実施形態では、要約編集機能を実現するための各構成要素をユーザの端末装置ＴＭ１に設けた場合を例にとって説明した。しかし、要約編集機能を実現するための各構成要素をサーバ装置に設けるようにしてもよい。
【０１０４】
図２４はその構成の一例を示すブロック図である。なお、同図において前記図１と同一機能部分については同一符号を付して詳しい説明は省略する。サーバ装置ＳＶ２には、映像情報データベース１０１、映像属性データベース１０２及びプロファイルデータベース１０３からなるデータベース群と、重要度算出部１０５、区間選択部１０６及び部分映像情報作成部１０７からなる演算処理部とが設けられている。
【０１０５】
これに対し端末装置ＴＭ２には、条件入力部１０４及び表示部１０８を有する入出力インタフェース部が設けられている。なお、同図においても図１と同様、サーバ装置ＳＶ２と端末装置ＴＭ２との間はネットワークＮＷを介して接続される。
【０１０６】
上記システムでは、イベント又はオブジェクトの抽出条件や要約の編集条件は端末装置ＴＭ２の条件入力部においてユーザにより入力される。そして、この入力された各条件はネットワークを介してサーバ装置ＳＶ２に通知される。サーバ装置ＳＶ２は、上記端末装置ＴＭ２から通知された諸条件をもとにイベント又はオブジェクトの抽出及び要約の作成処理を実行する。そして、作成された要約情報を、ネットワークを介して端末装置ＴＭ２に転送し、表示部１０８に表示させる。
【０１０７】
このように構成することで、端末装置ＴＭ２の処理負担を軽減することが可能となる。また、サーバ装置ＳＶ２から端末装置ＴＭ２に転送される映像データは、イベントのシーンやオブジェクト領域などからなる要約情報だけとなるため、転送データサイズが少なくなってその分通信費を安価にすることができる。すなわち、このシステム構成は、携帯端末などの高速な計算処理能力や大容量の記憶装置を持たない端末機器に適用した場合に特に効果がある。
【０１０８】
また、上記サーバ装置ＳＶ２に設けられたデータベース群のうち、プロファイルデータベース１０３のみは、図２５に示すように端末装置ＴＭ３に設けるようにすることもできる。このようにすることで、ユーザはプロファイルデータを随時自由に追加変更することが可能となる。
【０１０９】
一方、要約編集機能を実現するための各構成要素の主体をユーザの端末装置に設け、映像属性データベースのみをサーバ装置に設けるように構成することもできる。図２６はその構成を示すブロック図である。
【０１１０】
同図に示すように、映像情報データベース１０１及びプロファイルデータベース１０３からなるデータベース群と、条件入力部１０４及び表示部１０８からなる入出力インタフェース部と、重要度算出部１０５、区間選択部１０６及び部分映像情報作成部１０７からなる演算処理部は端末装置ＴＭ４に設けられる。これに対し、映像属性データベース１０２はサーバ装置ＳＶ４に設けられる。
【０１１１】
このようにシステム構成は、処理能力の高い端末装置ＴＭ４上で映像情報を管理し、属性情報をサーバ装置ＳＶ４からダウンロードして要約を作成する処理に適している。例えば、テレビチューナ機能を持つパーソナル・コンピュータでテレビジョン番組を録画し、イベントやオブジェクトなどの属性情報をサーバ装置ＳＶ４からダウンロードして要約情報を作成してと表示する。
【０１１２】
さらに、コンテンツ情報の構成は映像データのみやオーディオデータのみからなるものであってもよく、その他サーバ装置及び端末装置の種類や構成、要約編集アルゴリズムの処理手順や処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施できることは勿論である。
【０１１３】
【発明の効果】
以上詳述したようにこの発明によれば、コンテンツ情報に含まれるイベントやオブジェクト等の事象ごとの重要度を算出して、この算出された重要度に応じて事象を抽出すると共に、必要に応じて上記重要度と予め設定された編集条件とをもとに要約情報を作成するようにしたので、コンテンツ情報から注目する事象を抽出する際に事象ごとの重要度を考慮して最適な形態で抽出することができるコンテンツ情報編集装置とその編集プログラムを提供することができる。
【図面の簡単な説明】
【図１】この発明の第１の実施形態に係わるコンテンツ情報編集機能を備えた端末装置の機能構成を示すブロック図。
【図２】イベントに対し付加される属性情報の一例を示す図。
【図３】図１に示した端末装置による取捨選択アルゴリズムを使用した要約情報の編集処理手順とその内容を示すフローチャート。
【図４】図１に示した端末装置によるシーン切り詰めアルゴリズムを使用した要約情報の編集処理手順とその内容を示すフローチャート。
【図５】シーンの切り詰め処理の一例を説明するための図。
【図６】シーンの切り詰め処理の他の例を説明するための図。
【図７】シーンの切り詰め処理の別の例を説明するための図。
【図８】シーンの分割点を決定する処理の一例を説明するための図。
【図９】イベントに対応する区間の決定処理の一例を説明するための図。
【図１０】カメラワークの検出結果を用いて、イベントの発生したシーンを求める処理の手順と処理内容を示すフローチャート。
【図１１】この発明の第２の実施形態に係わる要約作成アルゴリズムを使用した要約編集処理の手順と内容を示すフローチャート。
【図１２】重要度関数の一例と重要度曲線の一例を説明するための図。
【図１３】コンテンツ情報の全時間領域にわたる重要度曲線を算出する処理の一例を説明するための図。
【図１４】コンテンツ情報の全時間領域にわたる重要度曲線を算出する処理の他の例を説明するための図。
【図１５】要約時間と重要度しきい値との関係を示す図。
【図１６】異なる重要度しきい値による要約情報の作成処理を説明するための図。
【図１７】オブジェクトを取捨選択することによって要約を作成する処理の手順と内容を示すフローチャート。
【図１８】１画面に複数のオブジェクトが表示された場合を示す図。
【図１９】出現時間の異なる複数のオブジェクトが１画面上に存在する場合の区間の合計時間の求め方を説明するための図。
【図２０】オブジェクトが出現するシーンの切り詰め処理を説明するためのフローチャート。
【図２１】イベント要約情報を表示部に表示する場合の表示画面の一例を示す図。
【図２２】イベント要約情報を表示部に表示する場合の表示画面の他の例を示す図。
【図２３】オブジェクト情報を持ったコンテンツを要約表示する画面の一例を示す図。
【図２４】この発明に係わるコンテンツ情報編集装置の他の実施形態を説明するためのサーバ装置と端末装置の機能構成を示すブロック図。
【図２５】この発明に係わるコンテンツ情報編集装置の別の実施形態を説明するためのサーバ装置と端末装置の機能構成を示すブロック図。
【図２６】この発明に係わるコンテンツ情報編集装置のさらに別の実施形態を説明するためのサーバ装置と端末装置の機能構成を示すブロック図。
【符号の説明】
ＳＶ１，ＳＶ２，ＳＶ３，ＳＶ４…サーバ装置
ＴＭ１，ＴＭ２，ＴＭ３，ＴＭ４…端末装置
ＮＷ…ネットワーク
１００…通信インタフェース
１０１…映像情報データベース
１０２…映像属性データベース
１０３…プロファイルデータベース
１０４…条件入力部
１０５…重要度算出部
１０６…区間選択部
１０７…部分映像情報作成部
１０８…表示部

Claims (18)

1. 複数の事象を含みこれらの事象ごとに属性情報が付加されたコンテンツ情報を取り込むコンテンツ入力手段と、
   ユーザが注目する事象に関する抽出条件を設定する条件設定手段と、
   前記コンテンツ入力手段により取り込まれたコンテンツ情報に含まれる事象の重要度を、当該事象の属性情報と前記条件設定手段により設定された抽出条件とをもとに求める演算手段と、
   前記演算手段により求められた事象ごとの重要度をもとに、前記コンテンツ情報から前記ユーザが注目する事象を含む部分情報を抽出する抽出手段とを具備したことを特徴とするコンテンツ情報編集装置。
2. 複数の事象を含みこれらの事象ごとに属性情報が付加されたコンテンツ情報を取り込むコンテンツ入力手段と、
   ユーザが注目する事象に関する抽出条件を設定する第１の条件設定手段と、
   ユーザが作成を希望する要約情報の編集条件を設定する第２の条件設定手段と、
   前記コンテンツ入力手段により取り込まれたコンテンツ情報に含まれる事象の重要度を、当該事象の属性情報と前記第１の条件設定手段により設定された抽出条件とをもとに求める演算手段と、
   前記演算手段により求められた事象ごとの重要度と、前記第２の条件設定手段により設定された編集条件とに基づいて、前記コンテンツ情報から前記ユーザが注目する事象を含む部分情報を抽出して、この抽出された部分情報をもとに要約情報を作成する要約作成手段とを具備したことを特徴とするコンテンツ情報編集装置。
3. 前記第１の条件設定手段は、ユーザが希望する抽出条件を入力するための入力手段と、この入力手段により入力された抽出条件をプロファイル情報として記憶するプロファイル記憶手段とを備え、
   前記演算手段は、前記コンテンツ入力手段により取り込まれたコンテンツ情報に含まれる事象の重要度を、当該事象の属性情報と、前記入力手段により新たに入力された抽出条件及び前記プロファイル記憶手段に記憶された過去の抽出条件の少なくとも一方とをもとに求めることを特徴とする請求項１又は２記載のコンテンツ情報編集装置。
4. 前記第２の条件設定手段は、ユーザが希望する編集条件を入力するための入力手段と、この入力手段により入力された編集条件をプロファイル情報として記憶するプロファイル記憶手段とを備え、
   前記要約作成手段は、前記演算手段により求められた事象ごとの重要度と、前記入力手段により新たに入力された編集条件及び前記プロファイル記憶手段に記憶された過去の編集条件の少なくとも一方とをもとに、前記コンテンツ情報から前記ユーザが注目する事象を含む部分情報を抽出することを特徴とする請求項２記載のコンテンツ情報編集装置。
5. 前記第１の条件設定手段は、ユーザが注目する事象に対応するキーワードと、個々のキーワードの重要度を表す第１の重み係数と、前記重要度の時間変化を表す第２の重み係数とを抽出条件として設定し、
   前記演算手段は、前記コンテンツ入力手段により取り込まれたコンテンツ情報に含まれる事象の重要度を、当該事象の属性情報と、前記キーワードと、前記第１及び第２の重み係数とをもとに求めることを特徴とする請求項１又は２記載のコンテンツ情報編集装置。
6. 前記第２の条件設定手段は、要約情報に含める事象の数又は要約情報の時間長を指定する編集しきい値を編集条件として設定し、
   前記要約作成手段は、前記演算手段により求められた事象ごとの重要度をもとに各事象に選択優先順位を設定し、この設定された選択優先順位と前記編集しきい値とに基づいて、指定された個数又は指定された時間長相当数の事象を前記選択優先順位に従い選択し、この選択された事象を含む部分情報をもとに要約情報を作成することを特徴とする請求項２記載のコンテンツ情報編集装置。
7. 前記要約作成手段は、作成された要約情報の時間長を予め指定されたしきい値と比較する比較手段と、この比較手段により、前記作成された要約情報の時間長が指定されたしきい値の範囲内に含まれないと判定された場合に、前記作成された要約情報に含まれる各事象の部分情報の長さを調節する調節手段とを、さらに備えることを特徴とする請求項２記載のコンテンツ情報編集装置。
8. 前記コンテンツ情報に含まれる事象のうち、重要度に応じて抽出する事象はイベントであることを特徴とする請求項１乃至７のいずれかに記載のコンテンツ情報編集装置。
9. 前記コンテンツ情報に含まれる事象のうち、重要度に応じて抽出する事象はオブジェクトであることを特徴とする請求項１乃至７のいずれかに記載のコンテンツ情報編集装置。
10. 複数の事象を含みこれらの事象ごとに属性情報が付加されたコンテンツ情報を取り込むコンテンツ入力手段と、
    ユーザが注目する事象に関する抽出条件を設定する条件設定手段と、
    事象を含む所定区間における重要度の時間変化を表す重要度関数を設定する重要度関数設定手段と、
    前記コンテンツ入力手段により取り込まれたコンテンツ情報に含まれる事象の重要度を、当該事象の属性情報と、前記条件設定手段により設定された抽出条件とをもとに求める第１の演算手段と、
    前記コンテンツ情報に含まれる事象ごとに、前記第１の演算手段により求められた重要度と、前記重要度関数設定手段により設定された重要度関数とをもとに、当該事象の重要度曲線を求める第２の演算手段と、
    この第２の演算手段により求められた事象ごとの重要度曲線を、前記コンテンツ情報の視聴対象領域にわたって合成する第３の演算手段と、
    前記第３の演算手段により合成された重要度曲線をもとに、前記コンテンツ情報から前記事象を含む部分情報を抽出する事象抽出手段とを具備したことを特徴とするコンテンツ情報編集装置。
11. 複数の事象を含みこれらの事象ごとに属性情報が付加されたコンテンツ情報を取り込むコンテンツ入力手段と、
    ユーザが注目する事象に関する抽出条件を設定する第１の条件設定手段と、
    ユーザが作成を希望する要約情報の編集条件を設定する第２の条件設定手段と、
    事象を含む所定区間における重要度の時間変化を表す重要度関数を設定する重要度関数設定手段と、
    前記コンテンツ入力手段により取り込まれたコンテンツ情報に含まれる事象の重要度を、当該事象の属性情報と、前記第１の条件設定手段により設定された抽出条件とをもとに求める第１の演算手段と、
    前記コンテンツ情報に含まれる事象ごとに、前記第１の演算手段により求められた重要度と、前記重要度関数設定手段により設定された重要度関数とをもとに、当該事象の重要度曲線を求める第２の演算手段と、
    この第２の演算手段により求められた事象ごとの重要度曲線を、前記コンテンツ情報の視聴対象領域にわたって合成する第３の演算手段と、
    前記第３の演算手段により合成された重要度曲線と、前記第２の条件設定手段により設定された編集条件とに基づいて、前記コンテンツ情報から前記事象を含む部分情報を抽出する事象抽出手段と、
    この事象抽出手段により抽出された部分情報を合成して要約情報を作成する要約作成手段とを具備したことを特徴とするコンテンツ情報編集装置。
12. 前記コンテンツ情報の視聴対象領域における重要度の時間変化を表す時間重要度曲線を設定する手段をさらに具備し、
    前記第３の演算手段は、前記第２の演算手段により求められた事象ごとの重要度曲線と前記設定された時間重要度曲線とを、前記コンテンツ情報の視聴対象領域にわたって合成することを特徴とする請求項１０又は１１記載のコンテンツ情報編集装置。
13. 前記第２の条件設定手段は、要約情報の時間長を指定する情報を取り込んで、この取り込まれた時間長をもとに重要度のしきい値を算出する機能を有し、
    前記事象抽出手段は、前記第３の演算手段により合成された重要度曲線を、前記第２の条件設定手段により算出された重要度のしきい値と比較することにより、前記コンテンツ情報から前記事象を含む部分情報を抽出することを特徴とする請求項１１記載のコンテンツ情報編集装置。
14. 前記第３の演算手段により合成された重要度曲線をもとに当該コンテンツ情報の推奨度を判定し、この推奨度の判定結果をユーザに報知する手段を、さらに具備することを特徴とする請求項１０又は１１記載のコンテンツ情報編集装置。
15. サーバ装置とユーザの端末装置との間がネットワークを介して接続可能な通信システムの前記端末装置に設けられるコンテンツ情報編集装置であって、
    複数の事象を含みこれらの事象ごとに属性情報が付加されたコンテンツ情報を、前記サーバ装置からネットワークを介して受信するコンテンツ受信手段と、
    ユーザが注目する事象に関する抽出条件を設定する第１の条件設定手段と、
    ユーザが作成を希望する要約情報の編集条件を設定する第２の条件設定手段と、
    前記コンテンツ入力手段により取り込まれたコンテンツ情報に含まれる事象の重要度を、当該事象の属性情報と前記第１の条件設定手段により設定された抽出条件とをもとに求める演算手段と、
    前記演算手段により求められた事象ごとの重要度と、前記第２の条件設定手段により設定された編集条件とに基づいて、前記コンテンツ情報から前記ユーザが注目する事象を含む部分情報を抽出して、この抽出された部分情報をもとに要約情報を作成する要約作成手段と、
    この要約作成手段により作成された要約情報を、前記ユーザに報知するべく出力する出力手段とを具備したことを特徴とするコンテンツ情報編集装置。
    を具備したことを特徴とするコンテンツ情報編集装置。
16. サーバ装置とユーザの端末装置との間がネットワークを介して接続可能な通信システムの前記サーバ装置に設けられるコンテンツ情報編集装置であって、
    複数の事象を含みこれらの事象ごとに属性情報が付加されたコンテンツ情報を記憶するコンテンツ記憶手段と、
    ユーザが注目する事象に関する抽出条件を、当該ユーザの端末装置から前記ネットワークを介して受信する抽出条件受信手段と、
    ユーザが作成を希望する要約情報の編集条件を、当該ユーザの端末装置から前記ネットワークを介して受信する編集条件受信手段と、
    前記コンテンツ記憶手段に記憶されたコンテンツ情報に含まれる事象の重要度を、当該事象の属性情報と前記抽出条件受信手段により受信された抽出条件とをもとに求める演算手段と、
    前記演算手段により求められた事象ごとの重要度と、前記編集条件受信手段により受信された編集条件とに基づいて、前記コンテンツ情報から前記ユーザが注目する事象を含む部分情報を抽出して、この抽出された部分情報をもとに要約情報を作成する要約作成手段と、
    この要約作成手段により作成された要約情報を、前記ネットワークを介して前記ユーザの端末装置へ送信する送信手段とを具備したことを特徴とするコンテンツ情報編集装置。
17. 複数の事象を含みこれらの事象ごとに属性情報が付加されたコンテンツ情報を記憶するメモリと、ユーザとの間で情報の入出力を行う入出力部と、これらのメモリ及び入出力部に接続されるコンピュータとを備えるコンテンツ情報編集装置で使用される編集プログラムであって、
    ユーザが注目する事象に関する抽出条件を、前記入出力部から取り込む処理と、
    前記メモリに記憶されたコンテンツ情報に含まれる事象の重要度を、当該事象の属性情報と前記入出力部から取り込んだ抽出条件とをもとに求める演算処理と、
    前記演算処理により求められた関数に基づいて、前記メモリに記憶されたコンテンツ情報から前記ユーザが注目する事象を含む部分情報を抽出する処理と、
    前記抽出された部分情報を前記ユーザに報知するべく前記入出力部から出力させる処理とを、
    前記コンピュータに実行させる編集プログラム。
18. 複数の事象を含みこれらの事象ごとに属性情報が付加されたコンテンツ情報を記憶するメモリと、ユーザとの間で情報の入出力を行う入出力部と、これらのメモリ及び入出力部に接続されるコンピュータとを備えるコンテンツ情報編集装置で使用される編集プログラムであって、
    ユーザが注目する事象に関する抽出条件を、前記入出力部から取り込む処理と、
    ユーザが作成を希望する要約情報の編集条件を、前記入出力部から取り込む処理と、
    前記メモリに記憶されたコンテンツ情報に含まれる事象の重要度を、当該事象の属性情報と前記入出力部から取り込んだ抽出条件とをもとに求める演算処理と、
    前記演算処理により求められた事象の重要度と、前記入出力部から取り込んだ編集条件とに基づいて、前記メモリに記憶されたコンテンツ情報から前記ユーザが注目する事象を含む部分情報を抽出し、この抽出された部分情報をもとに要約情報を作成する処理と、
    前記作成された要約情報を前記ユーザに報知するべく前記入出力部から出力させる処理とを、
    前記コンピュータに実行させる編集プログラム。

Images