JP2006155384A - 映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体 - Google Patents

Abstract

【課題】 個々人が録画・ダウンロード・制作した映像を特定し、特定され映像の時刻の同期をとってコメントを共有し、コミュニケーションを可能にする。
【解決手段】 本発明は、ユーザによって選択されたコミュニケーションを行う映像を取得し、その映像を特定するための映像識別子を算出し、映像間の時間的な同期を取る同期箇所識別子を算出し、指定された視聴・コメントする映像時間を取得し、指定された映像時間を、映像識別子、同期箇所識別子を用いて表現し、ユーザにより入力されたコメントを取得し、そのコメントと該コメントが入力された映像仮想時間を関連付けて記憶手段に蓄積し、映像仮想時間を用いて、取得した映像時間に関連するコメント情報を記憶手段から取得し、表示手段に表示する。
【選択図】 図１

Description

本発明は、映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体に係り、特に、映像を介したコミュニケーション方法において、ユーザが視聴している映像とその場所を映像に付与された識別子を用いて特定することで、個々のユーザが保有する不特定の映像間において、コミュニケーションが可能となる、映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体に関する。

近年、ネットワーク上で行われるユーザ間のコミュニケーションにおいて、映像を介したコミュニケーション方法が注目を集めている。

例えば、複数のユーザが特定のＴＶ番組（例では、サッカー番組）を同時視聴しつつ、ネットワーク上の掲示板でリアルタイムにコメントを書きあうことでコミュニケーションを図る方法がある（例えば、非特許文献１参照）。同時刻に同番組を見なければならない制約があるが、まるで家族と共にＴＶ番組を見るかのごとく、遠く離れたユーザとその時の感動を共有しながらコミュニケーションを図ることができるため、特に生放送番組において利用価値が高い。このようなコミュニケーション方法は、「ユーザのいる場所を選ばない」というネットワークの特性を活かした方法であると言える。

一方、上記のような「リアルタイムのＴＶ映像」と「ネットワーク上の掲示板」という異なるメディアを組み合わせたコミュニケーション方法から一歩踏み込んで、映像を介したコミュニケーションを、ネットワーク上で一元的に図る方法も利用されつつある。例えば、映像配信サーバから配信される映像とユーザが入力したコメントを同期して蓄積・表示するシステムである。このシステムでは、ユーザの映像視聴に合わせて、映像上の時間に関連付けられたＤＢ上のコメントを次々とユーザ側に同期表示する。また、映像視聴中に入力されたコメントを、入力された映像上の時間と関連付けてＤＢ上に蓄積し、映像の同時刻を視聴しているユーザに同期表示する。ユーザは映像を視聴しつつ、刻々と変化する映像上の時間に関連付けられた他ユーザのコメントを順次閲覧し、また、コメントを入力して他のユーザに意見を提示することで、映像を介して相互にコミュニケーションを図っていく。このシステムを用いたコミュニケーションの方法の特徴は、「ユーザの場所を選ばない」ことと共に、「ユーザがコミュニケーションする時間を選ばない」ことと言える。映像とコメントはサーバ側に蓄積されているため、ユーザはサーバに接続すれば何時でも映像とコメントを閲覧でき、コメントを入力できる。リアルタイム性を要求するコミュニケーション方法では、映像とコメントの内容が刻々と変化していくため、過去のコメントに対してコメントすることはコミュニケーションの流れを阻止するため限度がある。しかし、上記のようなシステムを用いた場合、例えば、１週間前に入力されたコメントに対してコメントができるため、ユーザは時間的な制約がより緩いコミュニケーションを図ることができる（例えば、非特許文献２参照）。
http://soccer.pos.to/ 山田一穂、宮川和、森本正志、児島治彦"映像の構造情報を活用した視聴者間コミュニケーション方法の提案"情報処理学会研究報告グループウェアとネットワークサービス、No.43-007,2001

近年、パーソナルコンピュータ（ＰＣ）の性能向上に伴い、個々人で不特定の映像をＰＣ上に蓄積し、所有するユーザが増えつつある。反面、上記のような従来の技術では、映像とコメントの同期表示を行うために、ユーザが視聴している映像とその場所を特定できるよう、一元的にそれらを管理している。そのためユーザは、配信サーバから配信される映像や公開先からダウンロード可能な映像などの特定の映像を利用しなければならず、個人的に保有する不特定な映像についてコミュニケーションを図りたいとしても、対象の映像がシステム上で一元的に管理されない限りコミュニケーションができない。

このような問題は、ユーザの映像をサーバ側に登録する方法を用いて回避できる。しかし、ほんの数人で共有したい映像などもすべて登録されるため、サーバ側には非常に大きな設備投資コストや映像配信による負荷を強いることになる。

また、上記の問題は著作権などにも絡み、個人視聴目的を逸脱するような利用は不可能なため、全ての不特定の映像についてサーバ側に登録し、公開するような方法は現実的ではない。よって、個々人が保有する映像を公開することなくその映像に対するコメント情報のみを共有する必要がある。

しかし、個々人が保有する映像は、個々人の嗜好に合わせて部分的にカットするなどの編集が行われている可能性があり、「どの映像のどの部分に対するコメントであるのか」を特定しなければ、ある映像について統一的にコミュニケーションを図ることが難しい。

本発明は、上記の点に鑑みなされたもので、映像を介したコミュニケーションを行う状況において、ユーザが視聴している映像と基準点となる場所を映像に付与された識別子を用いて特定することで、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間において従来のようなコミュニケーションが可能となる映像コメント入力・表示方法及び装置及びプログラム及びプログラムを格納した記憶媒体を提供することを目的とする。

図１は、本発明の原理構成図である。

本発明（請求項１）は、ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示装置であって、
ユーザによって選択されたコミュニケーションを行う映像を取得する映像取得手段１０３と、
取得した映像を特定するための映像識別子を算出する映像識別子算出手段１０４と、
映像間の時間的な同期を取る同期箇所識別子を算出する同期箇所識別子算出手段１０５と、
ユーザにより指定された視聴・コメントする映像上の時間（映像時間）を取得する映像時間指定手段１０７と、
指定された映像時間を、映像識別子、同期箇所識別子を用いて相対時間として表現する映像仮想時間算出手段１０８と、
ユーザにより入力されたコメントを取得するコメント情報入力手段１０９と、
コメントと映像仮想時間算出手段１０８で算出された該コメントが入力された映像仮想時間を関連付けてコメント情報・映像仮想時間データベース１１１に蓄積するコメント情報・映像仮想時間蓄積手段１１０と、
映像仮想時間を用いて、映像時間指定手順で取得した映像時間に関連するコメント情報をコメント情報・映像仮想時間データベース１１１から取得するコメント情報取得手段１１２と、
コメント情報取得手段１１２で取得されたコメント情報を表示手段に表示するコメント情報表示手段１１３と、を有する。

本発明では、これらの手段を用いることで、個々のユーザが保有する映像において、例えば、部分的な編集（カット）を行ったり、異なるエンコード方式の映像であったり、あるいは本放送と再放送を録画したりした場合でも、映像識別子を用いることで、同一の映像であることを判定でき、また、同期箇所識別子及び映像仮想時間を用いることでコメントが入力された映像時間を適切に算出できるため、上記に挙げたような映像であってもユーザ間で問題なくコミュニケーションを行うことが可能となる。

また、本発明（請求項２）は、同期箇所識別子算出手段１０５において、
同期箇所識別子を算出する際に、映像特徴量を用いて同期箇所識別子を算出する。

また、本発明（請求項３）は、映像識別子算出手段１０４において、映像識別子を算出する際に、映像特徴量を用いる。

また、本発明（請求項４）は、コメント情報取得手段１１２は、
コメント情報・映像仮想時間蓄積手段において、コメント情報・映像仮想時間データベース１１１に蓄積されたコメント情報を併用して、コメント情報を取得する。

図２は、本発明の原理を説明するための図である。

本発明（請求項５）は、ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示装置における映像コメント入力・表示方法であって、
ユーザによって選択されたコミュニケーションを行う映像を取得する映像取得手順（ステップ１）と、
取得した映像を特定するための映像識別子を算出する映像識別子算出手順（ステップ２）と、
映像間の時間的な同期を取る同期箇所識別子を算出する同期箇所識別子算出手順（ステップ３）と、
ユーザにより指定された視聴・コメントする映像上の時間（映像時間）を取得する映像時間指定手順（ステップ４）と、
指定された映像時間を、映像識別子、同期箇所識別子を用いて相対時間として表現する映像仮想時間算出手順（ステップ５）と、
ユーザにより入力されたコメントを取得するコメント情報入力手順（ステップ６）と、
コメントと映像仮想時間算出手順（ステップ５）で算出された該コメントが入力された映像仮想時間を関連付けて記憶手段に蓄積するコメント情報・映像仮想時間蓄積手順（ステップ７）と、
映像仮想時間を用いて、映像時間指定手順で取得した映像時間に関連するコメント情報を記憶手段から取得するコメント情報取得手順（ステップ８）と、
コメント情報取得手順で取得されたコメント情報を表示手段に表示するコメント情報表示手順（ステップ９）と、を行う。

これらの手順を行うことにより、まず、映像識別子を用いることでコミュニケーション対象となる映像を特定できる。映像識別子は部分的に編集された映像やＴＶ放送における本放送映像・再放送映像、異なるエンコード方式の映像などにおいて、元となる映像ソースが同一であることを判別するための識別子である。次に、同期箇所識別子、映像仮想時間を用いることで、現在視聴中の映像上の時間を特定できる。例えば、設定時間の不備により途中から録画してしまったＴＶ映像や編集などが行われた映像において、映像ファイル上に記録されている時間が異なる場合でも、同期箇所識別子、映像仮想時間を用いることで部分的な欠落などに影響されない映像上の時間が特定されると共に、映像時間と関連付けられたコメントを取得できる。そのため、編集などが行われた映像においても適切な箇所にコメントを入力でき、また、表示できる。

よって、これらの手順を踏まえてコメントを入力・表示すれば、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間で適切にコメントを共有でき、スムーズにユーザ間のコミュニケーションが図られる。

また、本発明（請求項６）は、同期箇所識別子算出手順において、
同期箇所識別子を算出する際に、映像特徴量を用いて同期箇所識別子を算出する。

当該請求項のように、同期箇所識別子を算出する際に、映像の画像特徴量から同期箇所を算出することにより、例えば、過去に蓄積・編集がなされた映像において同期箇所を巧く算出できない場合、カット点などの画像特徴量を利用することにより同期箇所を特定できるため、様々な映像において適切なコメントの表示・入力が可能となる。

また、本発明（請求項７）は、映像識別子算出手順において、映像識別子を算出する際に、映像特徴量を用いる。

当該請求項のように、映像識別子を算出する際に、映像全体から算出される映像特徴量から映像識別子を算出ことにより、例えば、複数の映像を繋ぎ合わせて編集した映像においても、それぞれの編集箇所毎に映像特徴量を算出し、映像識別子を求めることで、個々の部分映像を特定でき、複雑な編集が行われた映像を用いてのコミュニケーションが可能となる。

また、本発明（請求項８）は、コメント情報取得手順において、コメント情報・映像仮想時間蓄積手順において、記憶手段に蓄積されたコメント情報を併用して、コメント情報を取得する。

当該請求項のように、蓄積されたコメント情報を併用してコメント情報を取得することにより、映像識別子や同期箇所識別子によって特定されるコメント情報に曖昧性が存在した場合、例えば、指定された映像仮想区間に関連すると既に判定されたコメントに対する返信コメントは同様に映像仮想時間に関連するコメントであると判断できるため、より正確にコメントを取得でき、安定したコミュニケーションが可能となる。

本発明（請求項９）は、ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できるサーバ装置とクライアント装置からなる映像コメント入力・表示システムであって、
クライアント装置は、
ユーザによって選択されたコミュニケーションを行う映像を取得する映像取得手段と、
取得した映像を特定するための映像識別子を算出する映像識別子算出手段と、
映像間の時間的な同期を取る同期箇所識別子を算出する同期箇所識別子算出手段と、
ユーザにより指定された視聴・コメントする映像上の時間（映像時間）を取得する映像時間指定手段と、
指定された映像時間を、映像識別子、同期箇所識別子を用いて相対時間として表現する映像仮想時間算出手段と、
ユーザにより入力されたコメントを取得するコメント情報入力手段と、
コメントと映像仮想時間算出手順で算出された該コメントが入力された映像仮想時間を関連付けてサーバ装置に送信するコメント情報・映像仮想時間転送手段と、
サーバ装置から受信したコメント情報を表示手段に表示するコメント情報表示手段と、を有し、
サーバ装置は、
クライアント装置から受信したコメントと該コメントが入力された映像仮想時間が関連付けられた情報を蓄積するコメント情報・映像仮想時間データベースと、
映像仮想時間を用いて、映像時間指定手順で取得した映像時間に関連するコメント情報をコメント情報・映像仮想時間データベースから取得し、クライアント装置に送信するコメント情報取得手段と、を有する。

また、本発明（請求項１０）は、請求項９の映像コメント入力・表示システムのクライアント装置の同期箇所識別子算出手段において、同期箇所識別子を算出する際に、映像特徴量を用いて同期箇所識別子を算出する。

また、本発明（請求項１１）は、請求項９または１０の映像コメント入力・表示システムのクライアント装置の映像識別子算出手段において、映像識別子を算出する際に、映像特徴量を用いる。

また、本発明（請求項１２）は、請求項９の映像コメント入力・表示システムのサーバ装置のコメント情報取得手段は、コメント情報・映像仮想時間データベースに蓄積されたコメント情報を併用して、コメント情報を取得する。

本発明（請求項１３）は、ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示プログラムであって、
請求項５乃至８記載の映像コメント入力・表示方法を実現させるための処理をコンピュータに実行させるプログラムである。

本発明（請求項１４）は、ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示プログラムを格納した記憶媒体であって、
請求項５乃至８記載の映像コメント入力・表示方法を実現させるための処理をコンピュータに実行させるプログラムを格納した記憶媒体である。

上記のように、本発明によれば、ネットワーク上で映像を介したコミュニケーションを行う場合において、個々のユーザが映像を保有している場合でも、同一内容の映像を持つユーザ間でコメントのみを共有して閲覧、あるいは、書き込みを行うことができるため、従来の方法に比べて広範な映像を対象としてコミュニケーションを図ることができる。

以下、図面と共に本発明の実施の形態を説明する。

以降の本発明の実施の形態の説明中、映像（映像コンテンツ）は、映像情報と音情報を含むコンテンツに限定されることなく、少なくとも画像情報を含むあらゆるコンテンツを映像と呼ぶ。

また、コメントは、文字情報に限定されることなく、Ｗｅｂ上のコンテンツを指し示すＵＲＬや感情を表現する画像など、コミュニケーションを図る上で利用可能な情報を含むものとする。

［第１の実施の形態］
本実施の形態における映像コメント入力・表示システムは、ユーザ個々人が映像を蓄積すると共に、それらの映像について書き込んだコメントを他のユーザに見せ、映像に関するコミュニケーションを行うシステムである。

説明の簡便化のため、本実施の形態において、ユーザが蓄積する映像とは、個々人が録画するＴＶ放送映像や知人からネットワーク等を通じて配布されたホームビデオなどを対象としているが、本実施の形態では、それらに限定されるものではない。

図３は、本発明の第１の実施の形態のシステム構成図である。

同図に示す映像コメント入力・表示システムは、複数台のクライアント装置１とサーバ装置２を含む。クライアント装置１とサーバ装置２は、例えば、インターネットのようなネットワーク（図示せず）を介して接続される。クライアント装置１は複数台存在するが、説明の簡略化のため、以下では１台のクライアント装置１について説明する。

クライアント装置１は、放送映像やホームビデオなどを蓄積する映像蓄積手段１０１、映像蓄積手段１０１によって得られる映像を蓄積する映像ＤＢ１０２、映像ＤＢ１０２に蓄積された映像群から視聴したい映像を選択する映像選択手段１０３、映像選択手段１０３によって選択された映像から映像を識別するために用いる映像識別子を算出する映像識別子算出手段１０４、各ユーザが持つ同一内容の映像間で同期を取るための同期箇所識別子を算出する同期箇所識別子算出手段１０５、映像選択手段１０３により選択された映像を映像ＤＢ１０２より取り出して表示する映像再生手段１０６、映像選択手段１０３によって選択された映像内で他ユーザとのコミュニケーションを行いたい映像内時刻を指定する映像時間指定手段１０７、映像時間指定手段１０７によって指定された映像時間を映像識別子及び同期箇所識別子を用いて表現する映像仮想時間算出手段１０８、映像時間指定手段１０７によって指定された映像時間上にユーザのコメント入力を可能とするコメント情報入力手段１０９、映像仮想時間算出手段１０８によって算出された映像仮想時間とコメント情報入力手段１０９によって入力されたコメントを関連付けて、サーバ装置２が有するコメント情報・映像仮想時間ＤＢ１１１に蓄積するコメント情報・映像仮想時間蓄積手段１１０、サーバ装置２から取得したコメントを画面上に出力するコメント情報表示手段１１３から構成される。

また、サーバ装置２は、コメント情報・映像仮想時間ＤＢ１１１と、クライアント装置１の映像仮想時間算出手段１０８によって算出された映像仮想時間を元に、コメント情報・映像仮想時間ＤＢ１１１に蓄積されたコメント情報から、該映像仮想時間に関連するコメント情報を取得するコメント情報取得手段１１２から構成される。

なお、本実施の形態は、請求項１、５，９を実施した場合の具体例である。

クライアント装置１の映像蓄積手段１０１自体は、本発明を構成する要素ではないが、本実施の形態を説明する上で利用する。この手段の例としては、例えば、ＴＶチューナ内蔵型ビデオエンコーダボードを搭載したＰＣ、ＨＤＤレコーダ、家庭用ビデオカメラなどが挙げられる。これらの映像蓄積手段１０１は、録画した時刻、チャンネル、ｉＥＰＧ(Internet Electronic Program Guide)（登録商標）による番組情報など、映像に付随する情報を蓄積する場合が一般的である。また、ＴＶＣＭの自動カットや映像の必要な部分だけを抜き出す、簡易な映像編集機能が備わっている場合も多い。本実施の形態における映像蓄積手段１０１は、映像だけでなく、これらの映像情報・編集情報も蓄積するものとする。

クライアント装置１の映像ＤＢ１０２は、上記の映像蓄積手段１０１によって得られる映像を蓄積する。映像ＤＢ１０２も本発明を構成する上で必須な要素ではないが、本実施の形態を説明する上で利用する。この手段に該当するものは、例えば、ＰＣ内のＨＤＤ、ＨＤＤレコーダ内のＨＤＤ、ハンディカム（登録商標）に挿入されているビデオテープなどが挙げられる。

以下の上記のクライアント装置１とサーバ装置２の各構成要素について動作順に説明する。

（１）映像蓄積手段１０１は、上記映像蓄積手段１０１で述べたように、映像だけではなく、映像に付随する映像情報、その映像を編集した履歴である編集情報も蓄積する。

（２）クライアント装置１の映像選択手段１０３は、映像ＤＢ１０２に蓄積された映像群から視聴したい映像をユーザに選択させる。映像選択手段１０３については例示しないが、蓄積された映像のタイトルやファイル名、録画日時などを列挙して一覧したリスト内から映像を選択するなど、ファイルセレクタのような簡便なインタフェースで実装できる。ユーザは映像選択インタフェースを用いて、映像で１０２内に蓄積された映像をユーザに選択させる。これにより、映像選択手段１０３は、選択された映像を映像識別子算出手段１０４に転送する。

（３）クライアント装置１の映像識別子算出手段１０４は、映像選択手段１０３によって選択された映像から映像を識別するために用いる映像識別子を算出する。

映像識別子は、同一内容の映像であることを識別する識別子であるから、ＴＶ映像の場合の単純な例としては、「映像を録画した時刻＋チャンネル」という情報を用いればよい。
このような単純な情報においても、同チャネルの同時間帯のＴＶ番組を録画したユーザ間で映像の同一性が保たれる。また、場合によっては、映像ＩＤ発行センタなど、同一の番組であることを保証するサービスを併設して一意なＩＤを取得することもできる。

本実施の形態で用いる映像識別子は、各ユーザによって映像の録画状態が異なる場合を想定して算出する。即ち、録画する機器、映像のエンコード形式やビットレート、編集の有無や放送地域（チャンネル）、放送時間の違い、本放送・再放送などに依らず映像内容に基づいて判別できるよう、例えば、録画時に取得されるｉＥＰＧ(登録商標)情報内の番組タイトル・サブタイトルなどを利用する。また、撮影した映像を友人関係者にコピー・配布して利用する等、家庭用ホームビデオなどを想定する場合、その映像を録画した機器のシリアル番号（機器によって一意に特定されるＩＤ）や録画した時刻、場所などの情報を用いて映像を特定する。

これらの情報のいずれを用いるかについては、例えば、映像蓄積手段１０１において映像を蓄積した方法（ＴＶ放送を受信して録画した場合と、家庭用ビデオカメラで撮影した場合）によって自動選択する方法や、ユーザによって選択させる方法などがある。本実施の形態では、前者を用い、放送映像の場合は番組タイトル・サブタイトル、個人撮影映像の場合は撮影機器のシリアル番号・撮影時刻から一意の識別符号を算出して映像識別子として用いる（例えば、該情報を文字列データとして扱い、ＭＤ５などの一方向関数を用いて算出する）。

（４）クライアント装置１の動機箇所識別子算出手段１０５は、各ユーザの持つ同一内容の映像間で同期を取るための同期箇所識別子を算出する。

同期箇所識別子の単純な算出方法としては、映像の先頭時刻を同期箇所とする方法が考えられる。この方法は、同一内容の映像を保有するユーザが、映像に対してまったく編集作業を行っていないことを前提とする場合に適用できる。例えば、ＴＶ映像の場合、同チャンネルの同時間帯の番組映像を未編集で利用するユーザ間での同期が可能になる。

本実施の形態における同期箇所識別子は、上記の制限を緩和するため、映像ＤＢ１０２上に蓄積された映像情報・編集情報を用いる。本実施の形態における同期箇所識別子とその算出方法について、図４を用いて説明する。

図４は、本発明の第１の実施の形態における映像ＤＢ１０２上に蓄積された映像に係る映像情報、編集情報との関連を表す模式図である。同図の例では、何等かの理由により放送時刻から少し遅れて録画された後、ユーザによって部分的にカット編集されたＴＶ放送映像を例とする。

「映像ＤＢ１０２上に蓄積された映像Ａ」は、図４にあるように映像区間ｂ（開始時刻ｔ０）、映像区間ｄ（開始時刻ｔ１）…からなるが、録画が遅れたため本来あるべき映像と比べて欠損部分があり、また、編集による削除箇所がある。

映像情報及び編集情報を用いて映像Ａを復元したものが、「各情報を用いて再現される元映像Ａ」である。映像情報（例えばｉＥＰＧ（登録商標）による番組開始時刻）を用いて欠損部分を仮想的に補完し、また、編集情報からカットされた映像部分を再現する。

このように再現された元映像Ａから、同一の映像を録画した他のユーザと同期を取るための情報を算出する。具体的には、元映像Ａの番組開始時刻を基準として、各映像区間までの相対時間を算出する。相対時間の算出は図４から明らかなように容易である。

これらの相対時刻と映像ＤＢ１０２に蓄積された映像Ａ内の時刻を対応させることで、同期箇所識別子が図４のように算出される。これにより、映像Ａ内の時刻ｔ０は、元映像Ａにおける基準時刻からの相対時刻Ｔ０であり、同様に、時刻ｔ１は相対時刻Ｔ１、時刻ｔ２は相対時刻Ｔ２…であると判別できるため、異なる時刻から録画を始めたユーザや異なる編集を行ったユーザ間で、相対時刻Ｔｎを用いた同期が可能になる。

図４は、録画が遅れた部分が削除されたＴＶ放送映像を例としたが、録画が早まった場合や、映像の挿入などが行われた映像についても同様の仕組みを用いて容易に同期箇所識別子が算出できる。また、ホームビデオなどの映像においても、元映像の先頭時刻を基準にした相対時間を用いることで算出が可能である。これらの例については類推が容易であるため説明を省略する。

（５）クライアント装置１の映像再生手段１０６は、上記映像選択手段１０３においてユーザにより選択された映像を、映像ＤＢ１０２より取り出し表示する。映像再生手段１０６の画面表示例を図５に示す。本実施の形態の映像再生手段１０６は、映像選択手段１０３によって選択された映像を表示すると共に、再生制御ボタン中の早送り・巻き戻しボタンやスライダインタフェースなどによって、映像内の所定の時刻へ容易にアクセス可能なインタフェースも備える。

（６）クライアント装置１の映像時間指定手段１０７は、上記の映像選択手段１０３によって選択された映像内で他ユーザとのコミュニケーションを行いたい映像内時刻をユーザに指定させる。

映像内時刻を指定させる方法としては、例えば、図５に示す再生制御ボタンの早送り・巻き戻しボタンやスライダインタフェースなどを用いる直感的な方法や指摘時刻を数値入力する方法などが挙げられ、映像再生手段１０６と機能を共有できる。

また、映像再生手段１０６において、再生中に映像時刻を逐次取得する方法も挙げられる。ユーザが任意に指定するのではなく、映像再生手段１０６が自動的に映像内時刻を指定していることになるため、ユーザはより簡便に本実施の形態におけるシステムを利用できる。本実施の形態では、映像再生手段０１６が蓄積映像内時刻を取得する方法を採用するものとする。

（７）クライアント装置１の映像仮想時間算出手段１０８は、上記の映像時間指定手段１０７によって指定された映像時間を、映像識別子及び同期箇所識別子を用いて表現する。

算出される映像仮想時間は、編集などが行われた映像ファイル上の時間ではなく、映像情報や編集情報から復元される元映像上の時間のことである。映像仮想時間を用いることで、編集等の行為に関わらず、他ユーザと同期可能な時間を得ることができる。

映像仮想時間とその算出方法について、図６を用いて説明する。図６は、図４で用いた映像Ａを用いているものとする。

今、ユーザが映像時間指定手段１０７によって指定した時間をｔｍとする。同期箇所識別子算出手段１０５によって算出された同期箇所識別子（図４参照）から、ｔｍは、ｔｍより以前の同期箇所識別子中の同期時刻ｔ１より相対的にｔｄ進んだ時間であると容易に算出される。よって再現された元映像Ａ上の時間ｔｉは、同期箇所識別子中のｔ１と同欄にある相対時刻Ｔ１を用いることで、ｔｉ＝Ｔ１＋ｔｄであると直ちに算出される。

映像識別子算出手段１０４によって算出された映像Ａの映像識別子をｍＩＤ（Ａ）とすると、最終的にｔｍから算出される映像仮想時間は、映像識別子ｍＩＤ（Ａ）及び同期時間ｔｉからなるＴｉで表される。

上記の手順により、映像時間指定手段１０７によって指定された時間ｔｍは、映像仮想時間Ｔｉによって映像識別子及び該映像内の基準時刻からの相対時間として表現できるため、他ユーザと同期可能な統一的な時間として表現される。

（８）クライアント装置１のコメント情報入力手段１０９は、映像時間指定手段１０７によって指定された映像時間上にユーザのコメント入力を可能とする。コメントの入力には一般的なテキスト入力インタフェースを用いることで容易に実装できるため、ここでは例示しない。

また、本実施の形態で扱うコメント情報とは、ユーザの意見を表すコメント本文と共に、ユーザＩＤや入力時刻などの付加情報を総称してコメント情報という。

クライアント装置１のコメント情報・映像仮想時間蓄積手段１１０は、上記映像仮想時間算出手段１０８によって算出された映像仮想時間と上記コメント情報入力手段１０９によって入力されたコメントを関連付けて、サーバ装置２が有するコメント情報・映像仮想時間ＤＢ１１１に蓄積する。

コメント情報・映像仮想時間ＤＢ１１１に蓄積されたコメント情報及び映像仮想時間の例を図７に示す。本実施の形態においてコメント情報は、コメントを入力したユーザのＩＤであるｕＩＤ（ｎ）と入力されたコメント本文ｃｍｔ（ｎ）からなる。また、映像仮想時間は、映像識別子ｍＩＤ（ｎ）と同期時間ｔ（ｎ）からなる。これらは関係付けられているとしてｃｔ（ｎ）としてコメント情報・映像仮想時間ＤＢ１１１上で管理される。

（１０）サーバ装置２のコメント情報取得手段１１２は、クライアント装置１上の映像仮想時間算出手段１０８によって算出された映像仮想時間を元に、コメント情報・映像仮想時間ＤＢ１１１に蓄積されたコメント情報から、該映像仮想時間に関連するコメント情報を取得する。

コメント情報を取得する単純な方法としては、コメント情報・映像仮想時間ＤＢ１１１上のエントリ内で映像仮想時間を合致するものを検索すればよい。あるいは、映像仮想時間は映像時間上の一点を指しており、その時間に対して正確に一致するコメントを入力することは難しいため、映像仮想時間算出手段１０８によって算出された映像仮想時間に対して一定の幅を持たせ、その範囲内にあるコメントを取得してもよい。幅の持たせ方はシステムで静的に定義してもよいし、ユーザに選択させるなど動的に決定してもよい。本実施の形態では、映像仮想時間算出手段１０８によって算出された映像仮想時間から前１０秒以内に入力されたコメント情報を取得するものとする。

（１１）クライアント装置１のコメント情報表示手段１１３は、コメント情報取得手段１１２によって取得されたコメントを画面上に出力する。コメント情報表示手段１１３は、取得されたコメント情報のうち全て、あるいは、いずれかをユーザ側に提示する。また、いくつかのコメント情報から生成される新たな情報（例えば、入力したユーザの性別によって切り替え表示される画像など）を提示してもよい。

本実施の形態によって実現されるシステムの画面表示結果例を図８に示す。

映像再生手段１０６によって映像再生中に取得される映像時間が逐次映像仮想時間に変換され、コメント情報表示手段１１３によって該映像仮想時間に関連するコメント情報が画面上に表示される。映像の再生進度によって映像仮想時間も逐次更新されるため、映像の再生に合わせてコメント情報も切り替わり、映像の、まさにその時入力されたコメントを閲覧できる。また、コメント情報入力手段１０９を用いることで、該当映像仮想時間を閲覧するユーザにコメントを提示でき、相互にコミュニケーションが図られる。

以上のような手段を用いることで、本発明の第１の実施の形態によれば、映像識別子によって個々人が持つ映像の同一性を判定でき、同期箇所識別子及び映像仮想時間によって映像内で指定される時間を映像間で統一的に表現できるため、映像のある時間に対してユーザ間で共有可能なコメントの表示・入力ができる。よって、ユーザ個々人が持つ映像解像度、フォーマット、編集箇所等が異なる映像間であってもコミュニケーションが可能となる。

［第２の実施の形態］
本発明の第２の実施の形態による映像コメント入力・表示システムは、ユーザ個々人が映像を蓄積すると共に、それらの映像について書き込んだコメントをサーバ装置上で共有することで、他のユーザのコメントを見たり、あるいは書き込んだコメントを他のユーザに見せ、映像に関するコミュニケーションを行うシステムである。

本実施の形態において、ユーザ個々人が蓄積する映像は、第１の実施の形態と異なり、蓄積後に本システム以外で編集が試された映像を想定する。すなわち、第１の実施例において、同期箇所識別子を算出する際に用いた編集情報が存在しない場合である。ＰＣのビデオエンコーダボードには市販の映像編集ソフトが付属されている場合が多く、こういった状況は容易に想定される。

本発明の第２の実施の形態におけるシステム構成は、第１の実施の形態と変わらないため、図３を参照しながら説明する。また、本実施の形態は、第１の実施の形態とは同期箇所識別子算出手段１０５で算出される同期箇所識別子以外の点でなんら異ならないため、同期箇所識別子に関わる手段以外についての説明は省略する。

なお、本実施の形態は、請求項１、２，５，６，９，１０を実施した場合の具体例を示している。

クライアント装置１上の映像蓄積手段１０１、映像ＤＢ１０２、映像選択手段１０３及び映像識別子算出手段１０４については、第１の実施の形態と変わらないため説明を省略する。

以下、図３に示す各構成要素について、動作順に説明する。

（１）クライアント装置１の同期箇所識別子算出手段１０５は、各ユーザが持つ同一内容の映像間で同期をとるための同期箇所識別子を算出する。

本実施の形態で用いる同期箇所識別子は、第１の実施の形態とは異なり編集情報から算出できないため、映像から取り出される映像特徴量を用いて算出する。

映像特徴量とは、画面上の色情報や場面の切り替わり点、カメラワーク、撮影されている物体、文字、発話内容、発話者や音楽の認識結果など、映像上の物理的、あるいは意味的な特徴を示す情報であり、映像管理や映像検索などの分野で広く扱われる情報である。

映像特徴量は既知の映像解析技術を用いて取得できる。例えば、場面の切り替わり点やテロップ表示区間などに関しては、特許第２８３９１３２号広報、特開平９−２３８２９８号広報、及び、特開平１１−１７８００７号広報などに記載されており、それ以外の特徴量についても様々な研究が為されている。

本実施例における同期箇所識別子とその算出方法について、図９を用いて説明する。

１）まず、映像Ａから既存技術を用いてカット点（場面切り替わり点）を検出し、カット点によって映像を区間に分割する。この例では、ｔ０から始まる映像区間ｂ及びｔ１から始まる映像区間ｄ…となる。

２）次に各映像区間における代表画像を求める。代表画像の求め方としては、各区間の先頭フレームから数フレーム目（場面変化後に安定したと思われるフレーム）の画像を取得する。

３）次に、取り出された各代表画像から色ヒストグラムを求め、該色特徴量と映像区間の時間長を各映像区間における代表的な映像特徴量とする。

このようにして取り出された映像特徴量は各映像区間を特徴付けるものであるから、ある映像において特徴量を指定すれば、それが映像内のどの区間に該当するのか判定できる。すなわち、ユーザが視聴している映像区間とコメントを同期させるには、映像区間に関連付けられた映像特徴量を用いればよい。但し、例えば、ＴＶ放送番組内で同じＣＭが複数回放送される場合なども想定されるため、一つの特徴量から複数の区間が対応してしまう場合もあり得る。

よって、本実施の形態では、各映像区間に対して、該区間から算出される映像特徴量と、該映像内での映像特徴量の順序付きの集合、及び該集合内における該映像特徴量の位置を同期箇所識別子とする。映像特徴量の順序付きの集合とその位置も識別子とすることで、上記で懸念されるような同期箇所特定時の曖昧性を無くす。具体的な同期箇所識別子の使用方法については後述する。

なお、本実施の形態における映像特徴量ではカット点や色ヒストグラムなどを用いているが、例えば、「番組のオープニング」というような意味的な区間を用いて映像区間を特定してもよいし、各区間の特徴量として、カメラワークや区間内に映る物体の形状、認識された文字列など、より精度よく映像区間を特定できる映像特徴量を複合的に用いてもよい。

（２）クライアント装置１上の映像再生手段１０６及び映像時間指定手段１０７については、第１の実施の形態と同様であるため、説明を省略する。

（３）クライアント装置１の映像仮想時間算出手段１０８は、映像時間指定手段１０７によって指定された映像時間を、映像識別子及び同期箇所識別子を用いて表現する。

本実施の形態における映像仮想時間について、図１０を用いて説明する。

映像時間指定手段１０７によって指定された映像時間ｔｍは、同期箇所識別子算出手段１０５によって算出された同期箇所識別子によって、映像区間内における相対時刻として表現される。すなわち、ｔｍは、ｔｍを含む映像区間（図では映像区間ｄ）の同期時刻ｔ１からの相対時間をｔｄとした場合、ｔｍ＝ｔ１＋ｔｄとして表される。

ｔ１は、映像Ａ内における映像区間ｄの同期箇所識別子の先頭時刻であるから、最終的に映像仮想時間Ｔｉは、映像識別子ｍＩＤ（Ａ）、該同期箇所識別子及び相対時間ｔｄによって図のように表現される。映像を特定する映像識別子と映像特徴量によって映像区間を特定する同期箇所識別子、該映像区間の先頭からの相対時間により、映像仮想時間は、他のユーザが同期可能な時間表現となる。

（４）クライアント装置１のコメント情報入力手段１０９については、第１の実施の形態と同様であるので、説明は省略する。

（５）クライアント装置１のコメント情報・映像仮想時間蓄積手段１１０は、映像仮想時間算出手段１０８によって算出された映像仮想時間とコメント情報入力手段１０９によって入力されたコメントを関連付けて、サーバ装置２が有するコメント情報・映像仮想時間ＤＢ１１１に蓄積する。

コメント情報・映像仮想時間ＤＢ１１１に蓄積されたコメント情報及び映像仮想時間の例を図１１に示す。本実施の形態において、コメント情報は、コメントを入力したユーザのＩＤであるｕＩＤ（ｎ）と入力されたコメント本文ｃｍｔ（ｎ）からなる。また、映像仮想時間は、映像識別子ｍＩＤ（ｎ）、同期箇所識別子の構成要素である同期時刻ｔ（ｎ）、映像特徴量ｆ（ｎ）、映像特徴量の順序付き集合Ｆ（ｎ）、Ｆ（ｎ）内におけるｆ（ｎ）の位置ｐ（ｎ）、相対時間ｔｄ（ｎ）によって表され、これらは関係付けられてｃｔ（ｎ）としてコメント情報・映像仮想時間ＤＢ１１１上で管理される。

（６）サーバ装置２のコメント情報取得手段１１２は、クライアント装置１上の映像仮想時間算出手段１０８によって算出された映像仮想時間を元に、コメント情報・映像仮想時間ＤＢ１１１に蓄積されたコメント情報から、該映像仮想時間に関連するコメント情報を取得する。

本実施の形態におけるコメント情報の取得方法について図１２を用いて説明する。

まず、同一映像の同一映像区間内の特定時間に入力されたと思われるコメント情報の候補を取得する。

ステップ１１） まず、クライアント装置１の映像仮想時間算出手段１０８によって算出された映像仮想時間を定義する。すなわち、映像仮想時間ｃｔ（ｘ）は、映像識別子ｍＩＤ（ｘ）、同期時刻ｔ（ｘ）、映像特徴量ｆ（ｘ）、映像特徴量集合Ｆ（ｘ）、Ｆ（ｘ）内におけるｆ（ｘ）の位置ｐ（ｘ）、相対時間ｔｄ（ｘ）からなるとする。

ステップ１２） サーバ装置２のコメント情報・映像仮想時間ＤＢ１１１内から、映像識別子がｍＩＤ（ｘ）と一致するコメント情報・映像仮想時間の集合Ｓ（ｘ）を取得する。これにより、同一映像内のコメント情報が絞り込まれる。

ステップ１３） 上記集合Ｓ（ｘ）内から、映像特徴量がｆ（ｘ）に類似するコメント情報・映像仮想時間の部分集合Ｓ’（ｘ）を取得する。映像特徴量は、映像の解像度や映像フォーマット、映像作成時のフィルタ設定などに依存して、同一の元映像であっても映像ファイルごとに微妙に異なる値となる。そのため、本実施の形態では、映像特徴量間の類似性によって、同一の映像区間であるかを判定する。

映像特徴量の類似性判定には、例えば、画像内の色ヒストグラムを用いている場合、色ヒストグラム内の各色要素の値を持つｎ次元上の点として表現し、各点間のユークリッド距離によって判別する方法などが考えられる。すなわち、ｃｔ（ｘ）における映像特徴量ｆ（ｘ）を（ｃｘ（１），ｃｘ（２），…，ｃｎ（Ｎ））とし、Ｓ’（ｘ）内のあるコメント・映像仮想時間ｃｔ（ａ）における映像特徴量ｆ（ａ）を（ｃａ（１），…，ｃａ（ｎ））とした場合、類似度ｓｉｍ（Ｘ，Ａ）は以下の式で求められる。

映像特徴量間で類似性が高いほどｓｉｍ（Ｘ，Ａ）の値は「０」に近づくため、ある閾値以下となる映像特徴量ｆ（ａ）を持つコメント情報・映像仮想時間ｃｔ（ａ）をＳ‘’（ｘ）の要素とすればよい。

なお、本実施の形態では、説明の簡略化のために色ヒストグラムにおける簡単な類似度計算方法を説明したが、実施の形態によっては様々な特徴量における類似度計算方法が適用できる。類似度計算方法ついては様々な既存技術が存在するため説明は省略する。

ステップ１４）上記集合Ｓ’（ｘ）内から、相対時間がｔｄ（ｘ）と同一とみなされるコメント情報・映像仮想時間の部分集合Ｓ’’（ｘ）を取得する。相対時間を同一とみなすには、Ｓ’（ｘ）内のあるコメント・映像仮想時間ｃｔ（ｉ）における相対時間ｔｄ（ｉ）とｔｄ（ｘ）が正確に一致するか判定してもよいし、第１の実施の形態でも述べたように、ｔｄ（ｘ）からみて一定の範囲内にあるｔｄ（ｉ）を同一とみなしてもよい。本実施の形態では、ｔｄ（ｘ）より１０秒前からｔｄ（ｘ）までの範囲内にあるｔｄ（ｉ）を同一とみなすこととする。

上記のステップで取得されたＳ’’（ｘ）は、同一映像の同一映像区間内の特定時間に入力されたと思われるコメント情報の候補である。これらの候補は、ある映像特徴量によって映像区間が一意に決定できる場合、同一映像上の同一時間に入力されたものと判断できる。しかしＴＶ番組内のＴＶＣＭのように、同一映像内で同一内容の映像区間が複数存在している場合、意図しない映像区間（同一の映像特徴量を持つ異なる区間）に付与されたものである可能性がある。

そこで、次からのステップとして、候補内から映像仮想時間が正確に一致するコメント情報を絞り込む。

ステップ１５）まず、絞込みを行うための初期化処理を行う。具体的には、Ｓ’’（ｘ）内のコメント情報・映像仮想時間をｃｔ（ｉ）とし、Ｓ’’（ｘ）内のｃｔ（ｉ）の総数をｎとする。また、ステップ１６以降で用いるインデックスｉを「０」とする。また、最終的な結果を保持するコメント・映像仮想時間集合Ｒ（ｘ）を空集合とする。

ステップ１６） インデックスｉの判定を行う。ｉの値が総数ｎより小さい場合はステップ１７以降の処理を進める。また、ｉがｎ以上の場合は全てのｃｔ（ｉ）に対して処理を行ったことになるため、処理を終了する。

ステップ１７） ｃｔ（ｉ）の各要素を定義する。ｃｔ（ｉ）の映像識別子をｍＩＤ（ｉ）、同期時刻ｔ（ｉ）、映像特徴量ｆ（ｉ）、映像特徴量集合Ｆ（ｉ）、Ｆ（ｉ）内におけるｆ（ｉ）の位置ｐ（ｉ）、相対時間ｔｄ（ｉ）とする。

ステップ１８）ｃｔ（ｘ）とｃｔ（ｉ）が持つ映像特徴量の順序付き集合Ｆ（ｘ）及びＦ（ｉ）について、集合内の各映像特徴量の対応処理を行う。

Ｆ（ｘ）及びＦ（ｉ）は、各ユーザが保有する映像から算出されるものである。よって、ユーザ毎に映像編集作業が行われていた場合、Ｆ（ｘ）及びＦ（ｉ）は異なる要素列を持つ。本ステップでの処理は、これら異なる要素列を比較し、Ｆ（ｘ）内の要素がＦ（ｉ）内のどの要素に対応するかを判定するものである。

本実施の形態では、要素列間の対応関係を調べる方法について特に限定はしないが、一般的な方法としては、ＤＰマッチングが挙げられる。ＤＰマッチングは、ある要素列に対して挿入・削除を行いながら、他の要素列との対応関係を効率よく探索する手法である。音声認識において音素列と言語モデルとの対応を調べたり、ＤＮＡの研究において塩基配列間の類似性を調べたりなど、様々な分野で用いられるアルゴリズムであり、詳細についてはここでは述べない。

また、「特願２００２−１３０７４６」にある手法も挙げられる。当該手法は、映像特徴量の算出には誤検出があり得ること、映像の解像度やフォーマットによって特徴量に誤差あることを配慮して、映像間の特徴量列を対応させながら類似度を算出することに特徴がある。当該手法を応用することで、映像特徴量における誤検出や誤差を考慮した対応関係が求められる。

図１３は、これらの手法を用いてＦ（ｘ）及びＦ（ｉ）における要素列間の対応関係を模式的に表した図である。Ｆ（ｘ）及びＦ（ｉ）は相互に編集部分や欠損部分が存在するため、Ｆ（ｘ）における２番目の要素がＦ（ｉ）における２番目の要素に対応するとは限らないが、本ステップの処理によって、Ｆ（ｘ）における要素Ｆ（ｘ）＿ｎがＦ（ｉ）におけるどの要素に対応するか算出される。

ステップ１９）ステップ１８の対応結果とｐ（ｘ）及びｐ（ｉ）から、ｆ（ｘ）とｆ（ｉ）が対応しているかを判定し、対応している場合は最終結果の集合Ｒ（ｘ）にｃｔ（ｉ）を加える。

図１４は、ステップ１９の処理を模式的に表した図である。すでに述べたようにＦ（ｘ）及び、Ｆ（ｉ）は異なる要素列であるが、ステップ１８によって要素間が対応付けられているため、ｐ（ｘ）及びｐ（ｉ）から簡単にｆ（ｘ）とｆ（ｉ）の対応を調べられる。すなわち、映像仮想時間算出手段１０８によって算出された映像仮想時間ｃｔ（ｘ）とコメント情報・映像仮想時間ＤＢ１１１上のあるエントリｃｔ（ｉ）が同一時間であるか判定できる。

ステップ２０）インデックスｉに１を足し、ステップ１６に戻る。

上記の処理ステップによって得られたＲ（ｘ）からコメント情報を取り出すことにより、サーバ装置２のコメント情報取得手段１１２は、映像仮想時間算出手段１０８によって算出された映像仮想時間を元に、コメント情報・映像仮想時間ＤＢ１１１に蓄積されたコメント情報から該映像仮想時間に関するコメント情報を取得できる。

（７）クライアント装置１上のコメント情報表示手段１１３については、第１の実施の形態と変わらないため説明は省略する。

以上のような手段を用いることで、本発明の第２の実施の形態によれば、映像識別子によって個々人が持つ映像の同一性を判定でき、同期箇所識別子及び映像仮想時間によって映像内で指定される時間を映像間で統一的に表現できるため、映像のある時間に対してユーザ間で共有可能なコメントの表示・入力ができる。よって、ユーザ個々人が持つ映像解像度、フォーマット、編集箇所等が異なる映像間であってもコミュニケーションが可能となる。

また、請求項２、６，１０記載の同期箇所識別子算出手段（手順）を用いることで、第１の実施例とは異なる状況、すなわちシステム外部で映像編集処理が為された映像においても、映像特徴量を用いて同期箇所を算出することにより、ある映像時間に関連付けられたコメント情報を取得でき、また、入力できる。よって、第１の実施の形態と比較してより広範囲な映像間でのコミュニケーションが可能になる。

［第３の実施の形態］
本発明の第３の実施の形態による映像コメント入力・表示システムは、ユーザ個々人が映像を蓄積すると共に、それらの映像について書き込んだコメントをサーバ上で共有することで、他のユーザのコメントを見たり、あるいは書き込んだコメントを他のユーザに見せ、映像に関するコミュニケーションを行うシステムである。

本実施の形態において、ユーザ個々人が蓄積する映像は、第１、第２の実施の形態とは異なり、ｉＥＰＧ（登録商標）などから取得されるタイトル・サブタイトルなどの映像情報や編集情報などが存在しない映像を想定する。例えば、過去にビデオデッキで録画した映像を映像ファイル化して本システムに適応する場合などが考えられる。

本発明の第３の実施の形態におけるシステム構成は、第１の実施の形態と同様であるため、図３を参照しながら説明する。また、本実施の形態は、第１の実施の形態とは映像識別子算出手段１０４、同期箇所識別子算出手段１０５及びコメント情報・映像仮想時間蓄積手段１１０で算出・蓄積される、映像識別子、同期箇所識別子、コメント情報・映像仮想時間以外の点で何ら異ならないため、上記識別子及び情報に関わる手段以外についての説明は省略する。

なお、本実施の形態では、請求項１〜１２を実施した場合の具体例を示している。

クライアント装置１上の映像蓄積手段１０１、映像ＤＢ１０２、映像選択手段１０３については、第１の実施の形態と同様であるため説明を省略する。

クライアント装置１の映像識別子算出手段１０４は、映像選択手段１０３によって選択された映像から映像を識別するために用いる映像識別子を算出する。

本実施の形態における映像識別子算出手段１０４は、第１、第２の実施の形態とは異なり、映像蓄積時に映像情報が存在しない。そのため、一意に映像を特定できる別の識別子が必要となる。

本実施の形態では、これに映像特徴量を用いる。第２の実施の形態で説明したように、映像特徴量は映像上の物理的、あるいは意味的な特徴を示す情報であり、映像特徴量を用いた類似映像検索手法は様々に研究されている。

本実施例においては、第２の実施の形態で用いた映像特徴量の順序付き集合を映像識別子として用いる。すなわち、映像間の同一性を判定する場合に、映像特徴量の順序付き集合を比較してその類似性を判定する。具体的な同一性の判定方法については、コメント情報取得手段１１２において別途説明する。

本実施の形態における映像識別子の例を図１５に示す。

クライアント装置１の同期箇所識別子算出手段１０５は、各ユーザが持つ同一内容を映像間で同期を取るための同期箇所識別子を算出する。

本実施の形態における同期箇所識別子は、第２の実施の形態と同様に映像特徴量を用いて算出する。算出方法については、第２の実施の形態において説明したので、ここでは省略する。

クライアント装置１上の映像再生手段１０６及び映像時間指定手段１０７については、第１の実施の形態と同様であるので、説明は省略する。

クライアント装置１の映像仮想時間算出手段１０８は、映像時間指定手段１０７によって指定された映像時間を、映像識別子及び同期箇所識別子を用いて表現する。

本実施の形態における映像仮想時間は、第２の実施の形態と同様であり、構成要素は、図１０に示す通りであるが、映像識別子ｍＩＤ（Ａ）が映像特徴量の順序付き集合であることが第２の実施の形態と異なる。

クライアント装置１上のコメント情報入力手段１０９については、基本的に第１の実施の形態で述べた通りであるが、本実施の形態では、指定したコメントに対してレス（レスポンス、返信）を行うコメントも入力できるものとする。

掲示板などの一般的なコミュニケーション手段では、あるコメントに対してレス（レスポンス、返信）を行うコメントを入力する機能が備わっている。レスを行うことで、どのコメントがどのコメントに対して述べられたものなのか容易に理解できるため、特に議論などを行う場合に効果が高い。以下、本実施の形態において、「親コメント」とはレスが行われたコメントを指し、「子コメント」とはレスを行うコメントを指す。

クライアント装置１のコメント情報・映像仮想時間蓄積手段１１０は、上記映像仮想時間算出手段１０８によって算出された映像仮想時間と上記コメント情報入力手段１０９によって入力されたコメントを関連付けて、サーバ装置２が有するコメント情報・映像仮想時間ＤＢ１１１に蓄積する。

コメント情報・映像仮想時間ＤＢ１１１に蓄積されたコメント情報及び映像仮想時間の例を図１６に示す。

本実施の形態では、コメント情報の一つとして親コメントを示すｐＩＤ（ｉ）を持つ。ｐＩＤ（ｉ）、は、ＩＤ（ｉ）のコメントがレスを行った親コメントを指し、具体的には親コメントのＩＤであるｃｔ（ｐ）を指す。もし親コメントを持たないコメントであった場合は、ｐＩＤ（ｉ）をｎｕｌｌ等にすることで、どのコメントがどのコメントに対してレスを行ったものであるか容易に判定できるようになる。

それ以外の点については、第２の実施の形態と変わらないため説明を省略する。

サーバ装置２は、クライアント装置１上の映像仮想時間算出手段１０８によって算出された映像仮想時間を元に、コメント情報・映像仮想時間ＤＢ１１１に蓄積されたコメント情報から、該映像仮想時間に関連するコメント情報を取得する。コメント情報取得手段１１２を有する。

本実施の形態におけるコメント情報の取得方法について、図１７を用いて説明する。

ステップ１１１）まず、映像仮想時間算出手段１０８によって算出された映像仮想時間を定義する。すなわち映像仮想時間ｃｔ（ｘ）、は、映像識別子ｍＩＤ（ｘ）、同期時刻ｔ（ｘ）、映像特徴量ｆ（ｘ）、映像特徴量集合Ｆ（ｘ）、Ｆ（ｘ）内におけるｆ（ｘ）の位置ｐ（ｘ）、相対時間ｔｄ（ｘ）からなるとする。

ステップ１１２） コメント情報・映像仮想時間ＤＢ１１１に関する初期化処理を行う。具体的には、コメント情報・映像仮想時間ＤＢ１１１内のコメント情報・映像仮想時間の集合をＣＴ、その要素数ｎとし、各要素をｃｔ（ｉ）とする。また、最終的な結果を保持するコメント・映像仮想時間集合Ｒ（ｘ）を空集合とする。

ステップ１１３） 処理終了判定を行う。ＣＴ内に要素が残っている場合はステップ１１４以降の処理を進める。また、ＣＴの要素数ｎが「０」以下の場合は、全てのｃｔ（ｉ）に対して処理を行ったことになるため、処理を終了する。

ステップ１１４） ｃｔ（ｉ）の各要素を定義する。ｃｔ（ｉ）の映像識別子をｍＩＤ（ｉ）、同期時刻ｔ（ｉ）、映像特徴量ｆ（ｉ）、映像特徴量集合Ｆ（ｉ）、Ｆ（ｉ）内におけるｆ（ｉ）の位置ｐ（ｉ）、相対時間ｔｄ（ｉ）、親コメントｉＤ ｐＩＤ（ｉ）とする。

ステップ１１５） 映像識別子ｍＩＤ（ｘ）とｍＩＤ（ｉ）との類似度Ｓｉｍ（ｍＩＤ（ｘ），ｍＩＤ（ｉ））を算出する。本実施の形態において、ｍＩＤ（ｘ）とｍＩＤ（ｉ）は共に映像特徴量の順序付き集合であるから、順序を考慮しながら各要素間を比較して、類似する要素を互いに多く含む場合に類似した映像であると判定する。具体的な方法について、図１７に示す。

１）まず、第２の実施の形態で述べたように、ＤＰマッチングなどを用いて要素列間の対応付けを行う。

２）次に、対応付けられているＦ（ｘ）及びＦ（ｉ）内の要素をそれぞれｆｘ（ｉ），ｆｉ（ｊ）としてその総数をｍとし、要素間の類似度ｓｉｍ（ｆｘ（ｊ），ｆｉ（ｊ））を個別に計算してその平均値を計算し、Ｆ（ｘ）における総要素数ｎ（ｘ）に対する対応要素数ｎａ（ｘ）の逆数、及びＦ（ｉ）における総要素数ｎ（ｉ）に対する対応要素数ｎａ（ｉ）の逆数をかけた値を計算する。これをＦ（ｘ）とＦ（ｉ）の類似度ｓｉｍ（ｍＩＤ（ｘ），ｍＩＤ（ｉ））とする。具体的には以下の式になる。なお、要素間の類似度は類似性が高いほど小さな値になるものとする。

この式は、対応要素の類似度が高く、映像に対する対応要素数が多いほど小さな値となる。対応要素数ｎａ（ｘ）及びｎａ（ｉ）を考慮するのは、映像の同一性における曖昧性を考慮するためである。例えば、図１８に示すように、確かに一致する部分の類似性は高いかもしれないが、別の映像の断片である映像を同一の映像であると判定してしまう可能性がある。この曖昧性を解消するため、本計算方法では、映像全体としてどの程度要素が対応するかを類似性に含め、取得されるコメントに矛盾が生じないようにする。

ステップ１１６）ｓｉｍ（Ｆ（ｘ），Ｆ（ｉ））に対してある閾値以下のものを類似した映像とする。閾値はシステムで静的に決定したり、ＤＢに登録された映像識別子から、より効率的に同一性を判断できるように動的に決定してもよい。類似していると判定される場合には、ステップ１１７に移行し、そうでない場合は、次のｃｔ（ｉ）について処理を行うよう、ステップ１１３に戻る。

ステップ１１７）コメントが入力された区間における映像特徴量ｆ（ｘ）及びｆ（ｉ）の類似度ｓｉｍ（ｆ（ｘ），ｆ（ｉ））を求める。類似度の算出方法については、第２の実施の形態に詳細を述べたため、ここでは省略する。

ステップ１１８）同一映像区間に対してコメントされているコメント情報・映像仮想時間を選別するため、ｓｉｍ（ｆ（ｘ），ｆ（ｉ））に対してある閾値以下であるかを判定する。閾値以下である場合はステップ１１９に進み、そうでない場合はステップ１１３へ戻る。

ステップ１１９）相対時間ｔｄ（ｘ）及びｔｄ（ｉ）が同一時刻であるかを判定する。判定方法は第２の実施の形態で述べたためここでは省略する。同一時刻である場合は、ステップ１２０に進み、そうでない場合はステップ１１３に戻る。

ステップ１２０）ステップ１１９までの処理で選別されたコメント情報・映像仮想時間の中から正確に映像仮想時間の一致するコメント情報を絞り込むため、まず、映像特徴量の順序付き集合Ｆ（ｘ）及びＦ（ｉ）について、集合内の各映像特徴量の対応処理を行う。対応方法については第２の実施の形態に述べたため省略する。

ステップ１２１）コメント情報・映像仮想時間の集合ＣＴからｃｔ（ｉ）を削除して、ステップ１２０の対応結果とｐ（ｘ）及びｐ（ｉ）が対応しているかを判定する。対応している場合は最終結果の集合Ｒ（ｘ）にｃｔ（ｉ）を加える。判定方法については、第２の実施の形態に述べたためここでは省略する。

ステップ１２２） ｐＩＤ（ｉ）を再帰的に調べ、ｃｔ（ｉ）の親コメントｃｔ（ｐ）がＣＴに含まれている場合、ＣＴからｃｔ（ｐ）を削除してＲ（ｘ）に加える。

ステップ１２３）ＣＴ内に残っている各ｃｔ（ｎ）についてｃｔ（ｎ）の親コメントを示すｐＩＤ（ｎ）を再帰的に調べ、ｃｔ（ｉ）を含んでいるかを調べる。ｃｔ（ｉ）を含んでいる場合はＣＴからｃｔ（ｎ）を削除してＲ（ｘ）にｃｔ（ｎ）を加える。

ステップ１１２及びステップ１２３の処理によって、もし親コメントが指定時間と関連したコメントである場合に、その親・子コメントも取得できる。映像特徴量を用いた映像識別や同期箇所識別は、用いる特徴量やノイズによって巧く識別できない可能性がある。親コメントと子コメントが存在するようなコミュニケーションでは、あるコメントをフォローする子コメントが表示されないことで文脈が崩れ、相互にコミュニケーションを図ることが難しくなる恐れがある。ステップ１２２、及びステップ１２３はこれを防ぐ。

ステップ１２４）ＣＴ内の要素総数ｎを再計算してステップ１１３へ戻る。

以上のような処理ステップを経ることにより、コメント・映像仮想時間集合Ｒ（ｘ）には、同一と判定される映像内において同一映像区間に対して入力されたコメント情報・映像仮想時間の組が保持される。

クライアント装置１上のコメント情報表示手段１１３については、第１の実施の形態と変わらないため説明は省略する。

以上のような手段を用いることで、本発明の第３の実施の形態によれば、まず、請求項３，７，１１記載の映像識別子算出手段（手順）を用いることで、第１、第２の実施例とは異なる状況、すなわち、過去に録画・撮影された映像においても、映像特徴量を用いて映像識別子によって映像の同一性を評価できる。

また、請求項２，６，１０記載の同期箇所識別子算出手段（手順）を用いることで、第１の実施の形態とは異なる状況、すなわち、システム外部で映像編集処理が為された映像においても、映像特徴量を用いて同期箇所を算出することにより、ある映像時間に関連付けられたコメント情報を取得でき、また、入力できる。

また、請求項４，８，１２記載のコメント情報取得手段（手順）を用いることで、映像識別子、同期箇所識別子、映像仮想時間に依らず、コメント情報を元に関連性のあるコメントも取得できるため、コメント間の係り受け関係などに破綻をきたすことなく、コメントの提示が可能となる。よって、第１、第２の実施の形態と比較して、請求項１，５，９記載の映像コメント入力・表示方法において、より広範は映像を対象としたユーザ間のコミュニケーションを図ることが可能になる。

また、上記では、クライアント装置１、サーバス装置２からなるシステムに基づいて説明したが、クライアント装置、サーバ装置に依らず、１つの装置として構成してもよい。

なお、上記の第１、第２、第３の実施の形態の各構成要素の動作をプログラムとして構築し、描画装置として利用されるコンピュータにインストールして実行する、または、ネットワークを介して流通させることも可能である。

また、構築されたプログラムを描画装置として利用されるコンピュータに接続されるハードディスク装置や、フレキシブルディスク、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納することも可能である。

なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、個々人が録画・ダウンロード・制作した映像に対して、コメントを共有する技術に適用可能である。

本発明の原理構成図である。 本発明の原理説明図である。 本発明の第１の実施の形態におけるシステム構成図である。 本発明の第１の実施の形態における映像ＤＢ１０２上に蓄積された映像情報、編集情報との関連を表す模式図である。 本発明の第１の実施の形態における映像再生手段１０６の画面表示例である。 本発明の第１の実施の形態における映像仮想時間とその算出方法を示す模式図である。 本発明の第１の実施の形態におけるコメント情報・映像仮想時間ＤＢ１１１に蓄積されたコメント情報及び映像仮想時間の例である。 本発明の第１の実施の形態におけるシステムの画面表示結果例である。 本発明の第２の実施の形態における同期箇所識別子及びその算出方法を示す模式図である。 本発明の第２の実施の形態における映像仮想時間を示す模式図である。 本発明の第２の実施の形態におけるコメント情報・映像仮想時間ＤＢ１１１に蓄積されたコメント情報及び映像仮想時間の例である。 本発明の第２の実施の形態におけるコメント情報の取得方法を示す処理手順である。 本発明の第２の実施の形態における特徴量要素列間の対応関係を表す模式図である。 本発明の第２の実施の形態におけるコメント取得手段１１２内の処理ステップ１９を示す模式図である。 本発明の第３の実施の形態における映像識別子の例である。 本発明の第３の実施の形態におけるコメント情報・映像仮想時間ＤＢ１１１に蓄積されたコメント情報及び映像仮想時間の例である。 本発明の第３の実施の形態におけるコメント情報の取得方法を示す処理手順である。 本発明の第３の実施の形態における映像特徴量列の対応に曖昧性が存在する場合の例である。

符号の説明

１ クライアント装置
２ サーバ装置
１０１ 映像蓄積手段
１０２ 映像ＤＢ
１０３ 映像取得手段、映像選択手段
１０４ 映像識別子算出手段
１０５ 同期箇所識別子算出手段
１０６ 映像再生手段
１０７ 映像時間指定手段
１０８ 映像仮想時間算出手段
１０９ コメント情報入力手段
１１０ コメント情報・映像仮想時間蓄積手段
１１１ コメント情報・映像仮想時間ＤＢ
１１２ コメント情報取得手段
１１３ コメント情報表示手段

Claims (14)

1. ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示装置であって、
   ユーザによって選択されたコミュニケーションを行う映像を取得する映像取得手段と、
   取得した前記映像を特定するための映像識別子を算出する映像識別子算出手段と、
   映像間の時間的な同期を取る同期箇所識別子を算出する同期箇所識別子算出手段と、
   前記ユーザにより指定された視聴・コメントする映像上の時間（映像時間）を取得する映像時間指定手段と、
   指定された前記映像時間を、前記映像識別子、前記同期箇所識別子を用いて相対時間として表現する映像仮想時間算出手段と、
   ユーザにより入力されたコメントを取得するコメント情報入力手段と、
   前記コメントと前記映像仮想時間算出手段で算出されたコメントが入力された映像仮想時間を関連付けてコメント情報・映像仮想時間データベースに蓄積するコメント情報・映像仮想時間蓄積手段と、
   前記映像仮想時間を用いて、前記映像時間指定手順で取得した前記映像時間に関連するコメント情報を前記コメント情報・映像仮想時間データベースから取得するコメント情報取得手段と、
   前記コメント情報取得手段で取得された前記コメント情報を表示手段に表示するコメント情報表示手段と、
   を有することを特徴とする映像コメント入力・表示装置。
2. 前記同期箇所識別子算出手段は、
   前記同期箇所識別子を算出する際に、映像特徴量を用いて同期箇所識別子を算出する請求項１記載の映像コメント入力・表示装置。
3. 前記映像識別子算出手段は、
   前記映像識別子を算出する際に、映像特徴量を用いる請求項１または２記載の映像コメント・表示装置。
4. 前記コメント情報取得手段は、
   前記コメント情報・映像仮想時間蓄積手段において、前記コメント情報・映像仮想時間データベースに蓄積されたコメント情報を併用して、前記コメント情報を取得する請求項１乃至３記載の映像コメント・表示装置。
5. ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示装置における映像コメント入力・表示方法であって、
   ユーザによって選択されたコミュニケーションを行う映像を取得する映像取得手順と、
   取得した前記映像を特定するための映像識別子を算出する映像識別子算出手順と、
   映像間の時間的な同期を取る同期箇所識別子を算出する同期箇所識別子算出手順と、
   前記ユーザにより指定された視聴・コメントする映像上の時間（映像時間）を取得する映像時間指定手順と、
   指定された前記映像時間を、前記映像識別子、前記同期箇所識別子を用いて相対時間として表現する映像仮想時間算出手順と、
   ユーザにより入力されたコメントを取得するコメント情報入力手順と、
   前記コメントと前記映像仮想時間算出手順で算出された該コメントが入力された映像仮想時間を関連付けて記憶手段に蓄積するコメント情報・映像仮想時間蓄積手順と、
   前記映像仮想時間を用いて、前記映像時間指定手順で取得した前記映像時間に関連するコメント情報を前記記憶手段から取得するコメント情報取得手順と、
   前記コメント情報取得手順で取得された前記コメント情報を表示手段に表示するコメント情報表示手順と、
   を行うことを特徴とする映像コメント入力・表示方法。
6. 前記同期箇所識別子算出手順において、
   前記同期箇所識別子を算出する際に、映像特徴量を用いて同期箇所識別子を算出する請求項５記載の映像コメント入力・表示方法。
7. 前記映像識別子算出手順において、
   前記映像識別子を算出する際に、映像特徴量を用いる請求項５または６記載の映像コメント・表示方法。
8. 前記コメント情報取得手順において、
   前記コメント情報・映像仮想時間蓄積手順において、前記記憶手段に蓄積されたコメント情報を併用して、前記コメント情報を取得する請求項５乃至７記載の映像コメント・表示方法。
9. ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できるサーバ装置とクライアント装置からなる映像コメント入力・表示システムであって、
   前記クライアント装置は、
   ユーザによって選択されたコミュニケーションを行う映像を取得する映像取得手段と、
   取得した前記映像を特定するための映像識別子を算出する映像識別子算出手段と、
   映像間の時間的な同期を取る同期箇所識別子を算出する同期箇所識別子算出手段と、
   前記ユーザにより指定された視聴・コメントする映像上の時間（映像時間）を取得する映像時間指定手段と、
   指定された前記映像時間を、前記映像識別子、前記同期箇所識別子を用いて相対時間として表現する映像仮想時間算出手段と、
   ユーザにより入力されたコメントを取得するコメント情報入力手段と、
   前記コメントと前記映像仮想時間算出手段で算出された該コメントが入力された映像仮想時間を関連付けて前記サーバ装置に送信するコメント情報・映像仮想時間転送手段と、
   前記サーバ装置から受信したコメント情報を表示手段に表示するコメント情報表示手段と、を有し、
   前記サーバ装置は、
   前記クライアント装置から受信した前記コメントと該コメントが入力された映像仮想時間が関連付けられた情報を蓄積するコメント情報・映像仮想時間データベースと、
   前記映像仮想時間を用いて、前記映像時間指定手順で取得した前記映像時間に関連するコメント情報を前記コメント情報・映像仮想時間データベースから取得し、前記クライアント装置に送信するコメント情報取得手段と、を有する、
   ことを特徴とする映像コメント入力・表示システム。
10. 前記クライアント装置の前記同期箇所識別子算出手段は、
    前記同期箇所識別子を算出する際に、映像特徴量を用いて同期箇所識別子を算出する請求項９記載の映像コメント入力・表示システム。
11. 前記クライアント装置の前記映像識別子算出手段は、
    前記映像識別子を算出する際に、映像特徴量を用いる請求項９または１０記載の映像コメント・表示システム。
12. 前記サーバ装置の前記コメント情報取得手段は、
    前記コメント情報・映像仮想時間データベースに蓄積されたコメント情報を併用して、前記コメント情報を取得する請求項９記載の映像コメント・表示システム。
13. ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示プログラムであって、
    前記請求項５乃至８記載の映像コメント入力・表示方法を実現させるための処理をコンピュータに実行させることを特徴とする映像コメント入力・表示プログラム。
14. ネットワーク上での映像に関するコミュニケーションにおいて、個々のユーザが保有する不特定の映像においても、同一の映像と判定される映像間でコメントを共有できる映像コメント入力・表示プログラムを格納した記憶媒体であって、
    前記請求項５乃至８記載の映像コメント入力・表示方法を実現させるための処理をコンピュータに実行させるプログラムを格納したことを特徴とする映像コメント入力・表示プログラムを格納した記憶媒体。
    

Images