JP2012155695A - 動画コンテンツにおける注目シーンにキーワードタグを付与するプログラム、端末、サーバ及び方法 - Google Patents

Abstract

【課題】連続的に放送される動画コンテンツの中で、ユーザ視点に基づく注目シーンに、その内容を付与することができるプログラム、端末、サーバ及び方法を提供する。
【解決手段】本発明のプログラムは、動画コンテンツに関連するキーワードを含むコメント文章を、投稿時刻と共に、コメントサーバから収集するコメント収集手段と、動画コンテンツを所定時間毎のシーンに区分し、該シーンの時間帯に投稿されたコメント文章の投稿数をカウントする投稿数カウント手段と、投稿数が所定数以上となる複数の注目シーンを抽出する注目シーン検出手段と、注目シーン毎に、複数のコメント文章に所定数以上含まれるコメントキーワードを抽出するコメントキーワード抽出手段と、注目シーン毎に、コメントキーワードをタグ付けするコメントタグ付け手段としてコンピュータを機能させる。
【選択図】図２

Description

本発明は、テレビ放送コンテンツや動画共有サイトコンテンツのような動画コンテンツの中から、ユーザ視点に基づく注目シーンを抽出する技術に関する。

近年、テレビ放送やインターネットを介して、不特定多数の第三者に対して、様々な動画コンテンツが配信されている。動画コンテンツは、例えば、テレビ放送コンテンツや動画共有サイトコンテンツのような各種メディアコンテンツである。

例えば、テレビ放送コンテンツの場合、放送番組としての映像音声情報だけでなく、その映像音声情報に同期して表示される字幕文字情報も含まれる。字幕文字情報は、通常、その放送番組の内容を要約した短い文章であって、その文章に含まれるキーワードは、その映像音声情報を適切に表す。その字幕文字情報は、コンテンツ配信事業者によって付与されたものである。

一方で、インターネットを介して、ブログ(Web log)やミニブログ(mini Web log)（例えばtwitter（登録商標））のようなサイトに対して、不特定多数の第三者からのコメント文章が、活発に発信されている。このようなコメント文章は、１つの共通の話題に対して議論されていることに特徴がある。このような共通の話題としては、前述したような不特定多数の第三者に対して配信される動画コンテンツがある。

ユーザは、例えば動画コンテンツを視聴しながら、その放送内容について不特定多数のユーザ間で、ミニブログ等を介して議論することができる。近年、例えばテレビ放送コンテンツを視聴しながら（例えばドラマを見ながら）、ミニブログを介して、それに対するコメント文章を発信するという視聴スタイルが普及しつつある。これは、１つの動画コンテンツを、多数のユーザと共有して視聴しているという感覚が得られる。

また、同一のテレビ放送コンテンツに対する多数の視聴者によって、ブログサイトに書き込まれたコメント文章から、注目されているキーワードを抽出し、コメント文章を収集することができる。そのキーワードは、例えば、twitterによればハッシュタグが対応する。

尚、従来技術として、コメント文章の投稿数（twitterの場合Tweet数）に基づいて注目シーン（ピーク）を検出し、動画コンテンツをセグメント化する技術がある（例えば非特許文献１参照）。この技術は、セグメント化された各シーンの内容を、Tweet数から推測するものである。

非特許文献１に記載された技術によれば、ディベートのような討論会のシーンを対象としている。例えば、動画コンテンツの中で、第１のリーダ意見の主張の後、第２のリーダ意見が主張されたとする。この場合、第１のリーダ意見に対する第１の視聴者意見は、第２のリーダ意見が主張されている間にも投稿される。非特許文献１は、動画コンテンツのシーンと、そのシーンに対する投稿数との時間的ずれ（時間的相違）を調整するものである。

他の視点から、視聴者によっては、例えばテレビ放送コンテンツをリアルタイムには視聴できないが、注目シーンのみを抽出して視聴したい場合も多い。動画コンテンツは、時間的に連続に視聴されるものであって、注目シーンのみを抽出した要約コンテンツは、一般的にコンテンツ配信事業者から配信されている。これに対し、画像の特徴を用いたアプローチによってハイライトを抽出する技術もある（例えば非特許文献２参照）。この技術によれば、テレビ番組の動画自体の特徴を解析することによって、ハイライトシーンを抽出することができる。

D A Shamma, L Kennedy, E F Churchill、「Tweetthe debates」、Proc WSM'09, 2009 A Hanjalic、「Adaptive Extraction of Highlights From a Sport Video Based onExcitement Modeling Multimedia」、IEEE Transactions on, 2005、[online]、［平成２３年１月２６日検索］、インターネット＜URL:http://www.cse.iitk.ac.in/users/vision/dipen/references/54_hanjalic-05_highlights-from-sport-video-based-on-excitement-modeling.pdf＞ 「Twitter API Documentation」、[online]、［平成２２年１２月２６日検索］、インターネット＜URL:http://apiwiki.twitter.com/w/page/22554679/Twitter-API-Documentation＞ 「Twitter API 仕様書」、[online]、［平成２２年１２月２６日検索］、インターネット＜URL:http://watcher.moe-nifty.com/memo/docs/twitterAPI50.txt＞

しかしながら、注目シーンは、できる限り、ユーザ視点に基づくものであることが好ましい。また、その注目シーンに対して、ユーザ視点に基づくコメントキーワードを付与することは、ユーザ視聴における理解を深める。更に、そのようなコメントキーワードを用いて、注目シーンを検索することができることによって、多面的な注目シーンをユーザに視聴させることができる。尚、非特許文献２に記載された技術によれば、画像の特徴を抽出するために、解析処理の演算量が膨大であって、その動画の内容自体の推測をすることまではできない。

そこで、本発明によれば、連続的に放送される動画コンテンツの中で、ユーザ視点に基づく注目シーンに、その内容を付与することができるプログラム、端末、サーバ及び方法を提供することを目的とする。

本発明によれば、不特定多数の第三者に公開される動画コンテンツを受信し、注目シーンを抽出するようにコンピュータを機能させるプログラムであって、
動画コンテンツに関連するキーワードを含むコメント文章を、投稿時刻と共に、コメントサーバから収集するコメント収集手段と、
動画コンテンツを所定時間毎のシーンに区分し、該シーンの時間帯に投稿されたコメント文章の投稿数をカウントする投稿数カウント手段と、
投稿数が所定数以上となる複数の注目シーンを抽出する注目シーン検出手段と、
注目シーン毎に、複数のコメント文章に所定数以上含まれるコメントキーワードを抽出するコメントキーワード抽出手段と、
注目シーン毎に、コメントキーワードをタグ付けするコメントタグ付け手段と
してコンピュータを機能させることを特徴とする。

本発明のプログラムにおける他の実施形態によれば、
コメントキーワード抽出手段は、複数のコメント文章から形態素解析によって単語を抽出すると共に、ＴＦ−ＩＤＦ（Term Frequency - Inverse Document Frequency：単語の出現頻度−逆出現頻度）によって特徴的単語を、コメントキーワードとして抽出する
ようにコンピュータを機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
コメントキーワード抽出手段は、
注目シーン毎に、形態素解析によって特徴的単語の中で品詞「人名」を抽出し、
注目シーン毎に、形態素解析によって特徴的単語の中でＴＦ−ＩＤＦ値が最も高い重要単語を抽出するものであり、
コメントタグ付け手段は、注目シーン毎に、品詞「人名」及び重要単語を、コメントキーワードとしてタグ付けする
ようにコンピュータを機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
注目シーン検出手段は、
シーン毎に、投稿数の平均値μ及び標準偏差σを算出し、
シーン毎に、投稿数が、平均値μ＋標準偏差σ以上であれば、当該シーンを注目シーンとして抽出する
ようにコンピュータを機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
複数の注目シーンを連結することによって、動画コンテンツにおける要約コンテンツを生成する要約コンテンツ生成手段として
コンピュータを更に機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
時間経過に応じた投稿数を表す投稿数グラフであって、注目シーン蓄積手段を参照し、注目時刻に当該コメントキーワードがタグ付けされた投稿数グラフを生成する投稿数グラフ生成手段と、
投稿数グラフを、端末へ送信する投稿数グラフ送信手段と
してコンピュータを更に機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
端末から要求キーワードを受信する要求キーワード受信手段としてコンピュータを更に機能させ、
投稿数グラフ生成手段は、投稿数グラフに対して、要求キーワードを含むコメントキーワードのみをタグ付けする
ようにコンピュータを機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
投稿数グラフ生成手段は、要求キーワードを含むコメント文章の投稿数のみを表す投稿数グラフを生成するようにコンピュータを更に機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
要求キーワードがタグ付けされた注目シーンのみを、端末へ送信する注目シーン送信手段としてコンピュータを更に機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
端末から受信した要求キーワードがタグ付けされた注目シーンのコメント文章を、端末へ送信するコメント文章送信手段としてコンピュータを更に機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
動画コンテンツは、テレビ放送コンテンツ又は動画共有サイトコンテンツであり、
コメントサーバは、ミニブログ(mini Web log)サーバである
ようにコンピュータを機能させることも好ましい。

本発明のプログラムにおける他の実施形態によれば、
ミニブログサーバは、twitter（登録商標）サーバであって、
コメント収集手段は、動画コンテンツに基づくハッシュタグを含むコメント文章を、twitterサーバから収集する
ようにコンピュータを機能させることも好ましい。

本発明によれば、不特定多数の第三者に公開される動画コンテンツを受信し、注目シーンを抽出するサーバであって、
動画コンテンツに関連するキーワードを含むコメント文章を、投稿時刻と共に、コメントサーバから収集するコメント収集手段と、
動画コンテンツを所定時間毎のシーンに区分し、該シーンの時間帯に投稿されたコメント文章の投稿数をカウントする投稿数カウント手段と、
投稿数が所定数以上となる複数の注目シーンを抽出する注目シーン検出手段と、
注目シーン毎に、複数のコメント文章に所定数以上含まれるコメントキーワードを抽出するコメントキーワード抽出手段と、
注目シーン毎に、コメントキーワードをタグ付けするコメントタグ付け手段と、
タグ付けされた注目シーンを、端末からの要求に応じて配信する注目シーン配信手段と
を有することを特徴とする。

本発明によれば、ネットワークに接続された端末であって、
不特定多数の第三者に公開される動画コンテンツを受信する動画コンテンツ受信手段と、
動画コンテンツに関連するキーワードを含むコメント文章を、投稿時刻と共に、コメントサーバから収集するコメント収集手段と、
動画コンテンツを所定時間毎のシーンに区分し、該シーンの時間帯に投稿されたコメント文章の投稿数をカウントする投稿数カウント手段と、
投稿数が所定数以上となる複数の注目シーンを抽出する注目シーン検出手段と、
注目シーン毎に、複数のコメント文章に所定数以上含まれるコメントキーワードを抽出するコメントキーワード抽出手段と、
注目シーン毎に、コメントキーワードをタグ付けするコメントタグ付け手段と
を有することを特徴とする。

本発明によれば、不特定多数の第三者に公開される動画コンテンツを受信する装置における注目シーン抽出方法であって、
動画コンテンツに関連するキーワードを含むコメント文章を、投稿時刻と共に、コメントサーバから収集する第１のステップと、
動画コンテンツを所定時間毎のシーンに区分し、該シーンの時間帯に投稿されたコメント文章の投稿数をカウントする第２のステップと、
投稿数が所定数以上となる複数の注目シーンを抽出する第３のステップと、
注目シーン毎に、複数のコメント文章に所定数以上含まれるコメントキーワードを抽出する第４のステップと、
注目シーン毎に、コメントキーワードをタグ付けする第５のステップと
を有することを特徴とする。

本発明のプログラム、端末、サーバ及び方法によれば、連続的に放送される動画コンテンツの中で、コメント文章（例えばtwitter）の投稿数によってユーザ視点に基づく注目シーンを抽出し、その注目シーンにそのコメントキーワードをタグ付けすることができる。ユーザは、注目シーンを、その内容を簡潔に表すキーワードタグと共に視聴することによって理解を深めることができる。また、ユーザは、キーワードタグとして付与されたコメントキーワードを用いて、注目シーンを検索することができ、多面的な注目シーンをユーザに視聴させることができる。更に、ユーザは、動画コンテンツの全体の時間経過の中で、自ら所望するキーワードにおける注目シーンのみを視聴することもできる。

本発明におけるシステム構成図である。 本発明におけるシーケンス図である。 時間経過に伴う投稿数を表すグラフである。 本発明における注目シーン抽出サーバの機能構成図である。 図４に基づく文章情報の流れを表す説明図である。 本発明の他の実施形態におけるシーケンス図である。 本発明によって生成された投稿数グラフである。 端末のディスプレイに投稿数グラフが表示された説明図である。 人物キーワードのみの表示が要求された場合の投稿数グラフの表示説明図である。 イベントキーワードのみの表示が要求された場合の投稿数グラフの表示説明図である。 特定の人物キーワードのみの表示が要求された場合の投稿数グラフの表示説明図である。 全投稿数に対する投稿ユーザ数の割合に応じてコメントキーワードの表示イメージを強調した表示説明図である。 全投稿数に対する引用投稿数の割合に応じてコメントキーワードの表示イメージを強調した表示説明図である。 ユーザによって指定された人物キーワードのみの注目シーンへジャンプする投稿数グラフの表示説明図である。 端末のディスプレイにコメント文章が表示された説明図である。 図６のシーケンスを実現する注目シーン抽出サーバの機能構成図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

図１は、本発明におけるシステム構成図である。

図１によれば、コンテンツ公開サーバ２が、エア又はインターネットを介して、不特定多数の第三者に向けて動画コンテンツを配信している。動画コンテンツは、例えばテレビ放送コンテンツ又は動画共有サイトコンテンツであってもよい。エアを介して放送されるテレビ放送コンテンツである場合、地上波デジタル放送、ワンセグ放送、ＢＳ(Broadcast Satellite)放送等によって配信される。また、インターネットを介して放送される動画共有サイトコンテンツとしては、例えばUstream（登録商標）に基づくライブビデオストリーミングによって配信される。

端末４は、コンテンツ公開サーバ２から配信される動画コンテンツを、エア又はインターネットを介して受信し、再生する。ユーザは、端末４に再生される動画コンテンツを視聴することができる。端末４は、テレビ、パーソナルコンピュータ、携帯電話機、スマートフォン等であってもよい。端末４は、動画コンテンツを、放送波を受信するセットトップボックスや、アクセスネットワークに接続されたルータを介して受信するものであってもよい。尚、以下では、端末４は、スマートフォンのような携帯端末であるとして説明する。

図１によれば、コメントサーバとしてミニブログサーバ３が、インターネットに接続されている。ミニブログサーバ３は、例えばtwitterサイトサーバである。不特定多数の第三者は、端末４を用いて動画コンテンツを視聴しながら、ミニブログサーバ３へコメント文章を投稿することができる。また、ユーザは、端末４を用いて、ミニブログサーバ３に投稿された他人のコメント文章を自由に閲覧することができる。

また、図１によれば、本発明を構成する注目シーン抽出サーバ１が、インターネットに更に接続されている。注目シーン抽出サーバ１は、コンテンツ公開サーバ２から動画コンテンツを受信すると共に、その動画コンテンツに関連するコメント文章をミニブログサーバ３から収集する。注目シーン抽出サーバ１は、動画コンテンツに対して投稿されたコメント文章から、当該動画コンテンツにおける注目シーンを抽出する。そして、その注目シーンに、コメント文章に基づくキーワードタグを付与することができる。注目シーン抽出サーバ１は、端末４からのリクエストに対して、当該動画コンテンツにおける注目シーンを配信する。

図２は、本発明におけるシーケンス図である。

コンテンツ公開サーバ２は、不特定多数の第三者へ向けて動画コンテンツを配信する。不特定多数のユーザによって所持される端末４は、エア又はネットワークを介して受信した動画コンテンツを再生表示する。

（Ｓ１１０）その動画コンテンツを視聴しているユーザは、端末４を用いて、ミニブログサーバ３へ、その動画コンテンツに関連するコメント文章を投稿することができる。ミニブログサーバ３は、受信したコメント文章を蓄積し、不特定多数の第三者へ公開する。

（Ｓ１１１）注目シーン抽出サーバ１は、ミニブログサーバ３から、その動画コンテンツに関連するコメント文章を収集する。その動画コンテンツに関連する「キーワード」を含むコメント文章を、投稿時刻と共に、コメントサーバから収集する。例えばtwitterサイトサーバよれば、指定したキーワードを含むコメント文章（tweet）を検索することができる。例えば、キーワード"tigers"が含まれるtweetを検索する場合、以下のＵＲＬ(Uniform Resource Locator)を指定する。
http://search.twitter.com/search.atom?phrase=tigers

また、twitterによれば、動画コンテンツに関するコメント文章を収集するために、当該動画コンテンツに関するハッシュタグ（#と英字列）が付加されたコメント文章のみを収集することもできる。twitterの場合、ハッシュタグを用いることで、話題を共通化することでき、同一のハッシュタグが付加されたコメント文章を、グループ化することができる。例えば、ハッシュタグ"#tigers"が付加されたtweetを検索する場合、以下のＵＲＬを指定する。
http://search.twitter.com/search.atom?q=%23tigers
また、日付を指定することによって、最大１週間分のtweetを検索することもできる。これらＡＰＩ仕様については、例えば非特許文献３及び３に記載されている。

（Ｓ１１２）次に、動画コンテンツを所定時間毎のシーンに区分し、該シーンの時間帯に投稿されたコメント文章の投稿数をカウントする。例えば２分間隔の投稿数をカウントする。

図３は、時間経過に伴う投稿数を表すグラフである。図３によれば、２分間隔毎に、投稿数が表されている。

（Ｓ１１３）次に、投稿数が所定数以上となる複数の注目シーンを抽出する。ここで、所定数に限れられず、急峻に投稿数が増加したような盛り上がりのシーンを検出することも好ましい。このような注目シーンを検出するために、例えば勾配法のようなニュートン法を用いることも好ましい。「ニュートン法(Newton-Raphson method）」とは、関数ｆ（ｘ）がｘ軸と交わる点（ｘ切片）の近似値を反復計算により得る方法をいう。

また、具体的な実施形態として、シーン（例えば２分間）毎における、投稿数の平均値μ及び標準偏差σを用いることも好ましい。平均値μは、所定時間枠（例えば１０分間）におけるシーン（例えば２分間）毎の平均である（平滑化）。標準偏差σとは、シーン毎の投稿数における分散の平方根である。分散とは、「実際の投稿数と平均投稿数との差の２乗」をいい、実際の投稿数がどの程度ばらついているのかを示す。そして、シーン毎に、「投稿数が平均値μ＋標準偏差σ以上」であれば、当該シーンを、投稿数に基づく盛り上がりの注目シーンとして抽出する。

図３によれば、「平均値μ＋標準偏差σ」が破線で表されている。その破線以上となった投稿数の部分は、△で表されており、盛り上がった注目シーンを表す。

（Ｓ１１４）次に、注目シーン毎に、複数のコメント文章に所定数以上含まれるコメントキーワードを抽出する。ここでは、複数のコメント文章から、形態素解析によって複数の単語を抽出する。「形態素解析」とは、文章を、意味のある単語に区切り、辞書を利用して品詞や内容を判別する技術をいう。「形態素」とは、文章の要素のうち、意味を持つ最小の単位を意味する。

ここで、形態素解析には、例えばオープンソースの形態素解析エンジン「ＭｅＣａｂ」を用いることができる。このエンジンによれば、階層化された品詞体系を有し、形態素の品詞も解析することができる。これは、入力文に対して可能なすべての形態素列を周辺確率付きで出力することができる「ソフトわかち書き」の機能を有する。従って、形態素毎に、「名詞」「固有名詞」「組織」「地域」「一般」・・・等の品詞を出力する。

ここで、本発明によれば、注目シーン毎に、形態素解析によって特徴的単語の中で「品詞「人名」を抽出することも好ましい。シーンの中では、「人名」は、最も特徴的単語である。

そして、ＴＦ−ＩＤＦ（Term Frequency - Inverse Document Frequency：単語の出現頻度−逆出現頻度）によって特徴的単語を、コメントキーワードとして抽出する。ＴＦ−ＩＤＦとは、各単語に重みを付けて、クエリから文書をベクトル空間で表し、文書とクエリの類似度でランク付けをする技術である。ランク付けられた値が高いほど、重要キーワードと認識される。即ち、文章情報の中に出現するキーワードの出現頻度によって、その動画コンテンツの内容が適切に表される。

注目シーン毎に、形態素解析によって特徴的単語の中でＴＦ−ＩＤＦ値が最も高い重要単語を抽出する。ここで、（１）形態素解析に基づく品詞「人名」の特徴的単語と、（２）それ以外の特徴的単語とを、少なくとも抽出することが好ましい。

（Ｓ１１５）そして、注目シーン毎に、品詞「人名」の単語と、それ以外の特徴的単語とを、コメントキーワードとしてタグ付けする。これによって、注目シーン毎に、「主要人物」と「重要単語」とのタグを付与することができ、ユーザに対する盛り上がりシーンの理解を容易にする。

（Ｓ１１６）コメントキーワードがタグ付けされた注目シーンは、注目シーン蓄積部に蓄積される。注目シーンにタグ付けされたコメントキーワードは、ユーザの理解のためだけではなく、注目シーン蓄積部における検索キーとしても用いられる。

（Ｓ１１７）オプション的に、複数の注目シーンを連結することによって、動画コンテンツにおける要約コンテンツを生成するものであってもよい。図３のグラフに基づく動画コンテンツは、２６０分間（４時間２０分）のものであるのに対し、１８個の注目シーンのみを連結することによって、３６分間の要約コンテンツが生成される。

注目シーン抽出サーバ１は、ユーザ操作に基づく端末４からの要求に応じて、特定の動画コンテンツにおける注目シーンを送信する。これによって、ユーザは、所望の注目シーンのみを端末４を用いて視聴することができる。注目シーン抽出サーバ１は、端末４から要求キーワードを受信することによって、注目シーン蓄積部を用いて検索し、該当する注目シーンを端末４へ送信する。

図４は、本発明における注目シーン抽出サーバの機能構成図である。
図５は、図４に基づく文章情報の流れを表す説明図である。

図４によれば、注目シーン抽出サーバ１は、インターネットに接続された通信インタフェース部１０と、コメント収集部１１１と、投稿数カウント部１１２と、注目シーン検出部１１３と、コメントキーワード抽出部１１４と、コメントタグ付け部１１５と、注目シーン蓄積部１１６と、要約コンテンツ生成部１１７とを有する。これら機能構成部は、サーバに搭載されたコンピュータを機能させるプログラムを実行することによって実現される。勿論、端末に搭載されたコンピュータを機能させるプログラムを実行することによって実現されるものであってもよい。

コメント収集部１１１は、動画コンテンツに関連するキーワードを含むコメント文章を、投稿時刻と共に、コメントサーバ（例えばtwitterサイトサーバ）から収集する（前述した図２のＳ１１１と同様）。図５によれば、コメント文章として例えば「中澤の立ち上がりは、調子いい・・・」「初回から三振とれば、その後は凡打・・・」「・・！ナカ！三振に・・」「・・の中澤は、初回から調子がいい・・」等が収集されている。収集されたコメント文章は、投稿数カウント部１１２へ出力される。

投稿数カウント部１１２は、動画コンテンツを所定時間毎のシーンに区分し、該シーンの時間帯に投稿されたコメント文章の投稿数をカウントする（前述した図２のＳ１１２と同様）。図３のグラフのように、例えばシーン（例えば２分間隔）毎の投稿数をカウントする。カウントされた投稿数は、シーン毎に、注目シーン検出部１１３へ出力される。

注目シーン検出部１１３は、投稿数が所定数以上となる複数の注目シーンを抽出する（前述した図２のＳ１１３と同様）。図３のグラフのように、投稿数が平均値μ＋標準偏差σ以上となるシーンを、注目シーンとして検出する。抽出された注目シーンは、コメントキーワード抽出部１１４へ出力される。

コメントキーワード抽出部１１４は、注目シーン毎に、複数のコメント文章に所定数以上含まれるコメントキーワードを抽出する（前述した図２のＳ１１４と同様）。図５によれば、１つの注目シーンについて、形態素解析に基づく単語毎のカウント数（又はＴＦ−ＩＤＦ値であってもよい）が明示されている。ここで、コメントキーワード抽出部１１４は、ＴＦ−ＩＤＦ値が最も高い、品詞「人名」の単語と、人名以外の単語とを抽出する。そして、図５によれば、品詞「人名」の単語と、人名以外の単語とが、同時に出現する回数（共起する回数）が明示されている。コメントキーワード抽出部１１４は、このように共起する回数が最も多い単語の組を、コメントタグ付け部１１５へ出力する。

コメントタグ付け部１１５は、注目シーン毎に、コメントキーワードをタグ付けする（前述した図２のＳ１１５と同様）。コメントタグ付け部１１５は、注目シーン毎に、品詞「人名」及び重要単語を、コメントキーワードとしてタグ付けする。

注目シーン蓄積部１１６は、コメントキーワードがタグ付けされた注目シーンを蓄積する。コメントキーワードは、注目シーンを検索するための検索キーとしても用いられる。

要約コンテンツ生成部１１７は、複数の注目シーンを連結することによって、動画コンテンツにおける要約コンテンツを生成する。生成された要約コンテンツは、注目シーン蓄積部１１６に蓄積される。

図６は、本発明の他の実施形態におけるシーケンス図である。

（Ｓ１２１）注目シーン抽出サーバ１は、時間経過に応じた投稿数を表す投稿数グラフを生成する。投稿数グラフは、注目シーン蓄積部１１６を参照し、注目時刻に当該コメントキーワードがタグ付けされたものである。

図７は、本発明によって生成された投稿数グラフである。

図７のグラフは、縦軸に投稿数が表され、横軸に時間経過が表されている。また、注目時点毎に、タグ付けされたコメントキーワードが表示されている。この投稿数グラフは、画像情報として表され、このままのイメージでユーザに理解できる。ユーザは、この投稿数グラフを一見するだけで、比較的長い動画コンテンツであっても、時間経過に応じた投稿数の変化が理解できる。また、注目シーンにおける主要なコメントキーワードも知ることができる。

（Ｓ１２２）注目シーン抽出サーバ１は、生成された投稿数グラフを、端末４へ送信する。端末４のディスプレイには、その投稿数グラフが表示される。

図８は、端末のディスプレイに投稿数グラフが表示された説明図である。

図８によれば、スマートフォンのディスプレイ４０に、動画表示領域４００と、投稿数グラフ表示領域４０１と、注目人物選択ボタン４０２と、注目イベント選択ボタン４０３とが表示されている。動画表示領域４００には、コンテンツ公開サーバ２から受信した動画コンテンツが再生される。投稿数グラフ表示領域４０１には、注目シーン抽出サーバ１から受信した投稿数グラフが表示される。また、注目人物選択ボタン４０２及び注目イベント選択ボタン４０３には、投稿数グラフに付加されたコメントキーワードの中で、比較的に数が多いキーワードを、ユーザが選択できるボタンとして対応付けている。ユーザは、所望のキーワードのボタンに触れることによって、そのキーワードを含む注目シーンを再生することができると共に、そのキーワードのみに基づく投稿数を閲覧することもできる。

（Ｓ１２３）ユーザは、端末４のディスプレイに表示された注目人物選択ボタン４０２及び注目イベント選択ボタン４０３のいずれかに触れたとする。端末４は、そのボタンに対応するキーワードを要求キーワードとして、注目シーン抽出サーバ１へ送信する。注目シーン抽出サーバ１は、その要求キーワードに基づく注目シーンを、注目シーン蓄積部１１６から検索する。

尚、ユーザは、端末４に表示された投稿数グラフを閲覧し、所望の注目時刻を入力するものであってもよい。これによって、端末４は、その注目時刻を、注目シーン抽出サーバ１へ送信する。注目シーン抽出サーバ１は、その注目時刻に基づく注目シーンを、注目シーン蓄積部１１６から検索する。

ここで、再度、Ｓ１２１及びＳ１２２を実行することもできる。注目シーン抽出サーバ１は、投稿数グラフに対して、要求キーワードを含むコメントキーワードのみをタグ付けすることもできる。また、注目シーン抽出サーバ１は、要求キーワードを含むコメント文章の投稿数のみを表す投稿数グラフを生成することもできる。

（Ｓ１２４）注目シーン抽出サーバ１は、要求キーワードがタグ付けされた注目シーンのみを、端末４へ送信する。

（Ｓ１２５）また、注目シーン抽出サーバ１は、端末から受信した要求キーワードがタグ付けされた注目シーンのコメント文章を、端末へ送信する。

図９は、人物キーワードのみの表示が要求された場合の投稿数グラフの表示説明図である。

図９の投稿数グラフは、ユーザが、以下のように操作した場合に、端末４のディスプレイに表示される。
「注目人物選択ボタン」 ＝「全表示」
「注目イベント選択ボタン」＝「非表示」
これによって、ユーザは、自ら注目する「人物」をキーワードに含むコメント文章が、どの注目シーンで多いかを、一見して理解することができる。
また、再生バーも表示されており、再生中の動画コンテンツの時間経過に応じて、再生バーも移動する。

図１０は、イベントキーワードのみの表示が要求された場合の投稿数グラフの表示説明図である。

図１０の投稿数グラフは、ユーザが、以下のように操作した場合に、端末４のディスプレイに表示される。
「注目人物選択ボタン」 ＝「非表示」
「注目イベント選択ボタン」＝「全表示」
これによって、ユーザは、自ら注目する「イベント」をキーワードに含むコメント文章が、どの注目シーンで多いかを、一見して理解することができる。

図１１は、特定の人物キーワードのみの表示が要求された場合の投稿数グラフの表示説明図である。

図１１の投稿数グラフは、ユーザが、以下のように操作した場合に、端末４のディスプレイに表示される。
「注目人物選択ボタン」 ＝「中澤」
「注目イベント選択ボタン」＝「全表示」
ここで、投稿数も、「中澤」をキーワードに含むコメント文章の数が、時刻毎に表示されている。
これによって、ユーザは、自ら注目する「中澤」をキーワードに含むコメント文章が、どの注目シーンで多いかを、一見して理解することができる。

図１２は、全投稿数に対する投稿ユーザ数の割合に応じてコメントキーワードの表示イメージを強調した表示説明図である。

図１２のグラフによれば、投稿数グラフの注目シーンにタグ付けされたコメントキーワードが、視覚的に強調して表示されており、コメントキーワード毎の表示の強調度が異なる。ここで、投稿数グラフにコメントキーワードがタグ付けされた注目シーンについて、当該注目シーンにおける全投稿数に対する投稿ユーザ数の割合（投稿ユーザ数／全投稿数）を算出する。そして、割合が高い注目シーンにタグ付けされたコメントキーワードほど、視覚的に強調して表示する。例えば、ラベルの色を目立たせるような表示をする。多くの人が投稿した割合が多い注目シーンのコメントキーワードほど、強調的に表示される。

例えば、第１の注目シーンに対して５０件の投稿数（TwitterのTweet数）に対して、投稿ユーザ数が５０人である場合（各投稿ユーザが、１件だけ投稿した場合）、割合は５０／５０＝１となる。また、第２の注目シーンに対して５０件の投稿数に対して、投稿ユーザ数が２０人である場合（各投稿ユーザが、平均２．５件投稿した場合）、割合は２０／５０＝０．４となる。この場合、第２の注目シーンよりも第１の注目シーンのコメントキーワードが強調して表示される。

図１３は、全投稿数に対する引用投稿数の割合に応じてコメントキーワードの表示イメージを強調した表示説明図である。

図１３のグラフによれば、投稿数グラフの注目シーンにタグ付けされたコメントキーワードが、視覚的に強調して表示されており、コメントキーワード毎の表示の強調度が異なる。ここで、投稿数グラフにコメントキーワードがタグ付けされた注目シーンについて、当該注目シーンにおける全投稿数に対する引用投稿数の割合（引用投稿数／全投稿数）を算出する。そして、割合が高い注目シーンにタグ付けされたコメントキーワードほど、視覚的に強調して表示する。例えば、ラベルの色を目立たせるような表示をする。

「引用投稿」とは、例えばtwitterにおけるReTweet（リツィート）を意味する。リツィートとは、他人の投稿文章（Tweet）を引用して、自らの投稿文章に含めることをいう。引用投稿が多い注目シーンのコメントキーワードは、強調的に表示される。

例えば、第１の注目シーンに対して５０件の投稿数（TwitterのTweet数）に対して、引用投稿数が２０件である場合、割合は２０／５０＝０．４となる。また、第２の注目シーンに対して５０件の投稿数に対して、引用投稿数が１０件である場合、割合は１０／５０＝０．２となる。この場合、第２の注目シーンよりも第１の注目シーンのコメントキーワードが強調して表示される。

図１４は、ユーザによって指定された人物キーワードのみの注目シーンへジャンプする投稿数グラフの表示説明図である。

図１４の投稿数グラフは、ユーザが、以下のように操作した場合に、端末４のディスプレイに表示される。
「注目人物選択ボタン」 ＝「全表示」
「注目イベント選択ボタン」＝「全表示」
ここで、ユーザが、表示されたキーワードの中で、いずれか１つのキーワードを指定したとする。この指定は、ポインティングデバイスによるクリック操作又は長押し操作であってもよい。これによって、そのキーワードを含む注目シーンへ、再生バーをジャンプさせることができる。
ユーザは、自ら指定したキーワードを含む注目シーンを、直ぐに視聴することができる。

図１５は、端末のディスプレイにコメント文章が表示された説明図である。

図１５によれば、端末４のディスプレイについて、図８の動画表示領域に、コメント文章が表示されている。例えばtwitterにおけるTweetが表示される。これによって、ユーザは、投稿内容を閲覧することができる。

図１６は、図６のシーケンスを実現する注目シーン抽出サーバの機能構成図である。

図１６によれば、注目シーン抽出サーバ１は、図４の機能構成に加えて、投稿数グラフ生成部１２１と、投稿数グラフ送信部１２２と、要求キーワード受信部１２３と、注目シーン送信部１２４と、コメント文章送信部１２５とを更に有する。これら機能構成部も、サーバに搭載されたコンピュータを機能させるプログラムを実行することによって実現される。

投稿数グラフ生成部１２１は、時間経過に応じた投稿数を表す投稿数グラフであって、注目シーン蓄積部１１６を参照し、注目時刻に当該コメントキーワードがタグ付けされた投稿数グラフを生成する（前述した図６のＳ１２１を参照）。ここで、投稿数グラフ生成部１２１は、投稿数グラフに対して、要求キーワードを含むコメントキーワードのみをタグ付けするものであってもよい。また、投稿数グラフ生成部１２１は、要求キーワードを含むコメント文章の投稿数のみを表す投稿数グラフを生成するものであってもよい。生成された投稿数グラフは、投稿数グラフ送信部１２２へ出力される。

投稿数グラフ送信部１２２は、投稿数グラフを、端末４へ送信する（前述した図６のＳ１２２を参照）。

要求キーワード受信部１２３は、端末４から要求キーワードを受信する（前述した図６のＳ１２３を参照）。要求キーワードは、投稿数グラフ生成部１２１及び注目シーン送信部１２４へ出力される。尚、要求キーワード受信部１２３は、端末４から注目時刻を受信するものであってもよい。これは、ユーザが、端末４に対して、再生を要求した注目シーンの時刻である。再生を要求された注目時刻は、注目シーン送信部１２４へ出力される。

注目シーン送信部１２４は、注目シーン蓄積部１１６を参照し、要求キーワードがタグ付けされた注目シーンのみを、端末へ送信する（前述した図６のＳ１２４を参照）。また、注目時刻に対応する注目シーンを、端末へ送信する。

コメント文章送信部１２５は、注目シーン蓄積部１１６を参照し、端末４から受信した要求キーワードがタグ付けされた注目シーンのコメント文章を、端末へ送信する（前述した図６のＳ１２５を参照）。

以上、詳細に説明したように、本発明のプログラム、端末、サーバ及び方法によれば、連続的に放送される動画コンテンツの中で、コメント文章（例えばtwitter）の投稿数（例えばハッシュタグ付きのtweet数）によってユーザ視点に基づく注目シーン（盛り上がりシーン）を抽出し、その注目シーンにそのコメントキーワードをタグ付けすることができる。そのコメントキーワードは、人名及び重要単語からなる。ユーザは、注目シーンを、その内容を簡潔に表すキーワードタグと共に視聴することによって理解を深めることができる。ユーザは、キーワードタグとして付与されたコメントキーワードを用いて、注目シーンを検索することができ、多面的な注目シーンを視聴することができる。

また、ユーザは、動画コンテンツの全体の時間経過の中で、投稿数グラフを閲覧することによって注目シーンの時刻を知ることができると共に、自ら所望するキーワードにおける注目シーンのみを視聴することもできる。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 注目シーン抽出サーバ
１０ 通信インタフェース部
１１１ コメント収集部
１１２ 投稿数カウント部
１１３ 注目シーン検出部
１１４ コメントキーワード抽出部
１１５ コメントタグ付け部
１１６ 注目シーン蓄積部
１１７ 要約コンテンツ生成部
１２１ 投稿数グラフ生成部
１２２ 投稿数グラフ送信部
１２３ 要求キーワード受信部
１２４ 注目シーン送信部
１２５ コメント文章送信部
２ コンテンツ公開サーバ
３ ミニブログサーバ
４ 端末

Claims (17)

1. 不特定多数の第三者に公開される動画コンテンツを受信し、注目シーンを抽出するようにコンピュータを機能させるプログラムであって、
   前記動画コンテンツに関連するキーワードを含むコメント文章を、投稿時刻と共に、コメントサーバから収集するコメント収集手段と、
   前記動画コンテンツを所定時間毎のシーンに区分し、該シーンの時間帯に投稿された前記コメント文章の投稿数をカウントする投稿数カウント手段と、
   前記投稿数が所定数以上となる複数の注目シーンを抽出する注目シーン検出手段と、
   前記注目シーン毎に、複数のコメント文章に所定数以上含まれるコメントキーワードを抽出するコメントキーワード抽出手段と、
   前記注目シーン毎に、前記コメントキーワードをタグ付けするコメントタグ付け手段と
   してコンピュータを機能させることを特徴とするプログラム。
2. 前記コメントキーワード抽出手段は、複数のコメント文章から形態素解析によって単語を抽出すると共に、ＴＦ−ＩＤＦ（Term Frequency - Inverse Document Frequency：単語の出現頻度−逆出現頻度）によって特徴的単語を、前記コメントキーワードとして抽出する
   ようにコンピュータを機能させることを特徴とする請求項１に記載のプログラム。
3. 前記コメントキーワード抽出手段は、
   前記注目シーン毎に、前記形態素解析によって前記特徴的単語の中で品詞「人名」を抽出し、
   前記注目シーン毎に、前記形態素解析によって前記特徴的単語の中でＴＦ−ＩＤＦ値が最も高い重要単語を抽出するものであり、
   前記コメントタグ付け手段は、前記注目シーン毎に、前記品詞「人名」及び前記重要単語を、前記コメントキーワードとしてタグ付けする
   ようにコンピュータを機能させることを特徴とする請求項２に記載のプログラム。
4. 前記注目シーン検出手段は、
   前記シーン毎に、前記投稿数の平均値μ及び標準偏差σを算出し、
   前記シーン毎に、前記投稿数が、平均値μ＋標準偏差σ以上であれば、当該シーンを前記注目シーンとして抽出する
   ようにコンピュータを機能させることを特徴とする請求項１から３のいずれか１項に記載のプログラム。
5. 複数の前記注目シーンを連結することによって、前記動画コンテンツにおける要約コンテンツを生成する要約コンテンツ生成手段として
   コンピュータを更に機能させることを特徴とする請求項１から４のいずれか１項に記載のプログラム。
6. 時間経過に応じた投稿数を表す投稿数グラフであって、前記注目シーン蓄積手段を参照し、注目時刻に当該コメントキーワードがタグ付けされた投稿数グラフを生成する投稿数グラフ生成手段と、
   前記投稿数グラフを、前記端末へ送信する投稿数グラフ送信手段と
   してコンピュータを更に機能させることを特徴とする請求項１から５のいずれか１項に記載のプログラム。
7. 前記端末から要求キーワードを受信する要求キーワード受信手段としてコンピュータを更に機能させ、
   前記投稿数グラフ生成手段は、前記投稿数グラフに対して、前記要求キーワードを含む前記コメントキーワードのみをタグ付けする
   ようにコンピュータを機能させることを特徴とする請求項６に記載のプログラム。
8. 前記投稿数グラフ生成手段は、前記要求キーワードを含むコメント文章の投稿数のみを表す投稿数グラフを生成する
   ようにコンピュータを更に機能させることを特徴とする請求項７に記載のプログラム。
9. 前記要求キーワードがタグ付けされた前記注目シーンのみを、前記端末へ送信する注目シーン送信手段と
   してコンピュータを更に機能させることを特徴とする請求項６から８のいずれか１項に記載のプログラム。
10. 前記端末から受信した前記要求キーワードがタグ付けされた注目シーンのコメント文章を、前記端末へ送信するコメント文章送信手段と
    してコンピュータを更に機能させることを特徴とする請求項６から９のいずれか１項に記載のプログラム。
11. 前記投稿数グラフ生成手段は、
    前記投稿数グラフにコメントキーワードがタグ付けされた注目シーンについて、当該注目シーンにおける全投稿数に対する投稿ユーザ数の割合（投稿ユーザ数／全投稿数）を算出し、
    前記割合が高い注目シーンにタグ付けされたコメントキーワードほど、視覚的に強調して表示する
    ようにコンピュータを機能させることを特徴とする請求項６から１０のいずれか１項に記載のプログラム。
12. 前記投稿数グラフ生成手段は、
    前記投稿数グラフにコメントキーワードがタグ付けされた注目シーンについて、当該注目シーンにおける全投稿数に対する引用投稿数の割合（引用投稿数／全投稿数）を算出し、
    前記割合が高い注目シーンにタグ付けされたコメントキーワードほど、視覚的に強調して表示する
    ようにコンピュータを機能させることを特徴とする請求項６から１０のいずれか１項に記載のプログラム。
13. 前記動画コンテンツは、テレビ放送コンテンツ又は動画共有サイトコンテンツであり、
    前記コメントサーバは、ミニブログ(mini Web log)サーバである
    ようにコンピュータを機能させることを特徴とする請求項１から１２のいずれか１項に記載のプログラム。
14. 前記ミニブログサーバは、twitter（登録商標）サーバであって、
    前記コメント収集手段は、前記動画コンテンツに基づくハッシュタグを含むコメント文章を、twitterサーバから収集する
    ようにコンピュータを機能させることを特徴とする請求項１３に記載のプログラム。
15. 不特定多数の第三者に公開される動画コンテンツを受信し、注目シーンを抽出するサーバであって、
    前記動画コンテンツに関連するキーワードを含むコメント文章を、投稿時刻と共に、コメントサーバから収集するコメント収集手段と、
    前記動画コンテンツを所定時間毎のシーンに区分し、該シーンの時間帯に投稿された前記コメント文章の投稿数をカウントする投稿数カウント手段と、
    前記投稿数が所定数以上となる複数の注目シーンを抽出する注目シーン検出手段と、
    前記注目シーン毎に、複数のコメント文章に所定数以上含まれるコメントキーワードを抽出するコメントキーワード抽出手段と、
    前記注目シーン毎に、前記コメントキーワードをタグ付けするコメントタグ付け手段と、
    タグ付けされた前記注目シーンを、端末からの要求に応じて配信する注目シーン配信手段と
    を有することを特徴とするサーバ。
16. ネットワークに接続された端末であって、
    不特定多数の第三者に公開される動画コンテンツを受信する動画コンテンツ受信手段と、
    前記動画コンテンツに関連するキーワードを含むコメント文章を、投稿時刻と共に、コメントサーバから収集するコメント収集手段と、
    前記動画コンテンツを所定時間毎のシーンに区分し、該シーンの時間帯に投稿された前記コメント文章の投稿数をカウントする投稿数カウント手段と、
    前記投稿数が所定数以上となる複数の注目シーンを抽出する注目シーン検出手段と、
    前記注目シーン毎に、複数のコメント文章に所定数以上含まれるコメントキーワードを抽出するコメントキーワード抽出手段と、
    前記注目シーン毎に、前記コメントキーワードをタグ付けするコメントタグ付け手段と
    を有することを特徴とする端末。
17. 不特定多数の第三者に公開される動画コンテンツを受信する装置における注目シーン抽出方法であって、
    前記動画コンテンツに関連するキーワードを含むコメント文章を、投稿時刻と共に、コメントサーバから収集する第１のステップと、
    前記動画コンテンツを所定時間毎のシーンに区分し、該シーンの時間帯に投稿された前記コメント文章の投稿数をカウントする第２のステップと、
    前記投稿数が所定数以上となる複数の注目シーンを抽出する第３のステップと、
    前記注目シーン毎に、複数のコメント文章に所定数以上含まれるコメントキーワードを抽出する第４のステップと、
    前記注目シーン毎に、前記コメントキーワードをタグ付けする第５のステップと
    を有することを特徴とする注目シーン抽出方法。

Images