JP2009200964A - 表示処理装置及びその制御方法並びに表示処理システム - Google Patents

Abstract

【課題】各表示端末装置において、記録容量を大幅に増加することなく、過去に表示した映像を、その表示時と同様の状態で再度表示することを可能にする。
【解決手段】表示装置は、映像データを受信し、受信した映像データをリアルタイムに再生する。この映像データの再生中になされた、映像表示に関わるユーザ操作とその操作時刻を示す履歴情報が記録される。表示装置は、上記映像データを再表示するために、外部装置から該当する映像データを取得してリアルタイムに再生するとともに、履歴情報によって示されるユーザ操作を当該履歴情報によって示される操作時刻に従って実行する。
【選択図】図１

Description

本発明は、１台以上の映像配信装置及び映像記録装置と接続され、映像の表示を行う表示処理装置及びその制御方法並びに表示処理システムに関するものである。

複数のビデオカメラで撮影した映像及び関連する情報を蓄積することにより、視聴者が毎回同じ映像及びそれに同期した関連情報を見ることを可能とするコンテンツ処理システムが提案されている（特許文献１参照）。

また、映像配信装置から配信された複数の映像を、時刻情報と共に記録し、再生時に映像間の同期をとって表示する映像端末装置が提案されている（特許文献２参照）。
特開２００５−２６０５１２号公報 特開２００４−０３２３４１号公報

しかしながら上記特許文献１に係る技術では、映像及び情報の配信側での操作のみが記録されるため、視聴者側における自由度はない。例えば、複数の視聴者が各々の表示端末装置で映像に対して様々な画像処理を施して表示していた場合、後に、その表示の状態を再現することは不可能であった。

また、上記特許文献２に係る技術では、各端末装置毎に映像を記録するため端末装置側に膨大な記録容量が必要となっていた。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、各表示端末装置において、記録容量を大幅に増加することなく、過去に表示した映像を、その表示時と同様の状態で再度表示することを可能にすることある。

上記の目的を達成するための本発明の一態様による表示処理装置は、以下の構成を備える。すなわち、
映像データを受信する受信手段と、
前記受信手段で受信した前記映像データをリアルタイムに表示処理する表示処理手段と、
前記表示処理手段によって前記映像データが表示処理されているときになされた、映像表示に関わるユーザ操作とその操作時刻を示す履歴情報を記録する記録手段と、
前記映像データを再表示するために、外部装置から該当する映像データを取得して再生するように前記受信手段と前記表示処理手段を制御するとともに、前記履歴情報によって示されるユーザ操作を前記履歴情報によって示される操作時刻に従って実行する再生制御手段とを備える。

また、上記の目的を達成するための本発明の他の態様による表示処理装置の制御方法は、
映像データを受信する受信工程と、
前記受信工程で受信した前記映像データをリアルタイムに表示処理する表示処理工程と、
前記表示処理工程によって前記映像データが表示処理されているときになされた、映像表示に関わるユーザ操作とその操作時刻を示す履歴情報を記録する記録工程と、
前記映像データを再表示するために、外部装置から該当する映像データを取得して再生するように前記受信工程と前記表示処理工程を実行するとともに、前記履歴情報によって示されるユーザ操作を前記履歴情報によって示される操作時刻に従って実行する再生制御工程とを備える。

各表示端末装置において、従来とほぼ変わらない記録容量で、ユーザは、過去に表示した映像を、その表示時と同様の状態で再度表示することが可能となる。

以下、添付の図面を参照して本発明の好適な実施形態を説明する。

（第１実施形態）
図２は本実施形態における表示端末装置（表示処理装置）を含む表示処理システムの構成例を示す図である。２０１から２０４は撮像部としてのカメラＡ〜Ｄである。２０５から２０８はカメラ制御部であり、カメラＡ２０１〜カメラＤ２０４の各々を制御し、映像をネットワークに配信する。カメラＡ２０１〜カメラＤ２０４とカメラ制御部２０５〜２０８とにより映像配信装置が構成される。尚、カメラがカメラ制御部２０５〜２０８と同様のネットワーク２１３へ映像を配信する機能を有しているのであれば、そのようなカメラは映像配信装置として機能し得る。２０９は映像を記録しておく映像記録装置としてのサーバである。また、２１０から２１２は表示端末装置Ａ〜Ｃであり、２１３はネットワークである。

図１は、本実施形態の表示端末装置Ａ２１０〜表示端末装置Ｃ２１２のハードウエア構成例を示すブロック図である。

図１において、１０１は映像データを受信する映像受信部、１０２は装置全体を制御する制御部、１０３は表示を制御する表示制御部、１０４は映像の表示を行う表示部である。尚、表示部１０４は、映像データに付随する音声データの再生も実行可能としてよい。即ち、表示部１０４は、受信した映像データをユーザが視聴可能とするべく再生する再生装置として機能するものである。また、１０５は記録部であり、システム情報１０６とフレーム情報１０７を含む履歴情報１０８を記憶する。フレーム情報１０７については、図４により後述する。１０９は記録部１０５の情報に基づいて再生コマンドを生成、発行する再生コマンド発行部である。１１０は映像選択や画像処理などの操作を入力する操作部である。

図１４は、本実施形態の映像記録装置としてのサーバ２０９のハードウエア構成例を示すブロック図である。

１４０１は映像配信装置としてのカメラ制御部２０５〜２０８から映像データ及びコンテンツ情報をネットワーク２１３を介して受信する映像受信部である。また、１４０２は映像配信装置の全体を制御する制御部、１４０３は映像を表示端末装置に対して配信する映像配信部である。ここでコンテンツ情報１４０５とは、コンテンツＩＤ、コンテンツ開始時刻、終了時刻、コンテンツＩＤに属する映像データＩＤなどコンテンツ（例えば、「ビデオ会議Ａ」，「サーバ室付近の監視」など）に関する情報を指す。コンテンツに含まれる映像データの設定は、予め複数のカメラを設定しておき、それらの映像データをコンテンツとしてもよい。なお、第１の実施の形態において、各コンテンツＩＤには、複数ストリームの映像データが属するものとする。また、１４０４は受信した映像データ１４０７，コンテンツ情報１４０５，および不図示のサーバのＩＰアドレスなどのサーバ情報を記録しておく記録部である。記録部１４０４には、コンテンツ情報１４０５、カメラ情報１４０６及び映像データ１４０７が記録される。１４０８は表示端末装置Ａ２１０〜Ｃ２１２からのコマンドを受信するコマンド受信部である。カメラ情報１４０６とは、受信した映像データに対応するカメラに関する情報であり、カメラＩＤ番号、生成可能な映像のサイズ、カメラのＩＰアドレスなどを含む。

（ライブ映像の表示処理動作）
各表示端末装置の制御部１０２は、映像受信部１０１で受信した映像データをリアルタイムに再生するべく表示制御部１０３及び表示部１０４を制御する。なお、以下では映像データの再生として、映像の表示処理を示すがこれに限られるものではない。例えば、音声データが付随する映像データの場合に、画像表示とともに音声再生がなされるようにしてもよいことはいうまでもない。また、以下ではライブ映像の表示処理においては、映像配信装置から配信された映像データをストリーム再生するものとするが、サーバ２０９から配信された映像データをストリーム再生する場合に適用することも可能である。なお、本実施の形態において、ストリーム再生とは、映像データを受信しながら順次映像を再生することを指すものとする。いま、図３に示すように表示端末装置Ａ２１０〜２１２ＣがカメラＡ２０１〜Ｄ２０４の映像データを受信し、その中から選択した映像データを表示しているとする。表示端末装置Ａ２１０は、時刻ｔ０からｔ１まではカメラＡ２０１、時刻ｔ１からｔ２まではカメラＢ２０２、時刻ｔ２からｔ３まではカメラＣ２０３、時刻ｔ３からはカメラＤ２０４の映像データを選択している。表示端末装置Ｂ２１１は、時刻ｔ０からｔ４まではカメラＡ２０１、時刻ｔ４からｔ５まではカメラＤ２０４、時刻ｔ５からはカメラＢ２０２の映像データを選択している。

また、表示端末装置Ａ２１０，Ｂ２１１は単一の映像表示のみだが、表示端末装置Ｃ２１２は途中から（ｔ６以降）２画面表示を行っている。表示端末装置Ｃ２１２は、一つのウインドウに対して時刻ｔ０からカメラＡ２０１の映像データを選択し、別のウインドウに対して時刻ｔ６からｔ７までカメラＣ、時刻ｔ７からカメラＤの映像データを選択している。

映像選択は操作部１１０において行われる。このとき、表示端末装置Ａ２１０及び表示端末装置Ｃ２１２の記録部１０５に記録されるシステム情報１０６のフォーマットの例を図４に示す。尚、表示端末装置Ｂは図示しないが、Ａ及びＣと同様である。

本明細書において、システム情報１０６とは、図４に示すようにサーバ情報とカメラ情報を含む。ここで、サーバ情報とはＩＰアドレスなどのサーバ２０９に関する情報及びコンテンツＩＤ、コンテンツ開始時刻など上述のコンテンツ情報１４０５を指す。また、カメラ情報は、上述したようにカメラＩＤ番号、配信される映像のサイズ、カメラのＩＰアドレスなどを指す。また、ユーザが操作を行ったときの時刻情報、ウインドウを識別するためのウインドウＩＤ、当該映像データを生成したカメラのカメラ情報の組をフレーム情報１０７ととする。本実施の形態では、映像データの記録処理として、フレーム情報１０７を時系列に記録することになる。ここでウインドウＩＤ（ｗ１，ｗ２）は各々の表示端末装置におけるウインドウの番号を示す。例えば、表示端末装置Ａ２１０，表示端末装置Ｂ２１１に関しては単一のウインドウ表示であるのでウインドウＩＤはｗ１のみだが、表示端末装置Ｃ２１２に関してはｗ１、ｗ２が示されている。

図５は、ライブ映像の表示処理における表示端末装置Ａ２１０〜Ｃ２１２の動作を示すフローチャートである。尚、以下に説明する処理は、表示端末装置Ａ２１０〜Ｃ２１２の制御部１０２が備えるＣＰＵ（不図示）がＲＯＭ或いはＲＡＭ等のメモリ（不図示）に格納されたプログラムを実行することにより実現される。

制御部１０２は、ステップＳ５０１にて映像の表示処理開始と判断すると、ステップＳ５０２へすすみ、システム情報１０６としてサーバ情報及びカメラ情報を記録部１０５に記録する。尚、システム情報１０６であるサーバ情報やカメラ情報は、制御部１０２がネットワーク２１３を介して、サーバ２０９やカメラ制御部２０５〜２０８より予め収集したものである。次にステップＳ５０３へすすみ、制御部１０２は、表示制御部１０３を通して表示部１０４へ映像表示用のウインドウを表示する。このとき表示されるウインドウは、予め設定されているDefaultのウインドウサイズを有するDefaultウインドウである。

次に制御部１０２は、ステップＳ５０４において映像受信部１０１により映像データを受信すると、ステップＳ５０５において該映像データから表示用のデータを生成する。より具体的には圧縮符号化されパケット化されているデータを、統合及び復号処理を施すことにより、表示用のデータが生成される。ステップＳ５０６において、制御部１０２は、生成された表示用データを表示制御部１０３に渡す。表示制御部１０３は、受け取った表示用データを表示部１０４で表示されているウインドウに合わせて表示する。

ステップＳ５０７では、制御部１０２は、操作部１１０においてカメラ切替操作がなされたか否かを判定する。カメラ切替操作が成された場合は、制御部１０２は、ステップＳ５０８において、当該操作に応じて映像（カメラ）を切り替える。そしてステップＳ５０９において該操作の履歴を履歴情報１０８として図４のフォーマットに従い、記録部１０５へ記録する。こうして、ライブ映像の表示処理中になされた、映像表示に関わるユーザ操作とその操作時刻を含むフレーム情報を有する履歴情報が記録される。本実施の形態ではユーザ操作が行われるたびにフレーム情報が生成される。また、本実施形態では、ユーザ操作として、再生すべき映像（カメラ）の切替操作を含む場合が例示されている。

ステップＳ５１０において、制御部１０２は、操作部１１０において表示終了が指示されたか否かを判定し、指示されていなければ処理をステップＳ５０４へ戻し、さらに次の映像受信を待つ。終了が指示されていれば処理はステップＳ５１１へすすみ、制御部１０２はウインドウ消去などの終了処理を行い、処理を終了する。

次に映像記録装置としてのサーバ２０９における動作を図１５の動作処理フローチャートを用いて説明する。ステップＳ１５０１にて制御部１４０２は、映像配信装置としてのカメラ制御部２０５〜２０８からの映像データの受信を開始すると、処理をステップＳ１５０２へ進める。ステップＳ１５０２において、制御部１４０２は、記録部１４０４にコンテンツ情報１４０５及びカメラ情報１４０６を記録し、ステップＳ１５０３にて映像データ１４０７を順次記録していく。コンテンツ情報１４０５には、当該コンテンツの開始時刻が含まれる。ステップＳ１５０４にて、映像データの受信が終了すると、コンテンツ終了時刻の記録やファイルクローズなどの終了処理を行い、処理を終了する。サーバ２０９は、上記の動作を映像配信装置毎に同時に実行可能とする。なお、上述した履歴情報１０８に含まれるｔ０、ｔ１等の時刻とサーバ２０９が記録する映像データの時刻は同期する必要がある。これを解決するには、例えば、映像データの各フレームに含まれるフレーム番号或いは時刻を用いることが挙げられる。その場合、例えば図８のｔ１は、カメラＡのその時点の映像データのフレーム番号とカメラＢのその時点の映像データのフレーム番号を含むことになる。これにより、カメラＡとカメラＢの時刻ｔ1に対応するフレームを決定することができる。

（再表示時の動作）
図４に示した履歴情報１０８が記録部１０５に記録されている場合の再表示動作について述べる。説明は表示端末装置Ｃ２１２の例を用いて行うが、他の表示端末装置の場合でも同様である。

以下、図６及び図７に示した動作フローチャートに基づいて、表示端末装置Ａ２１０〜Ｃ２１２における、再表示時の動作について説明する。再表示時においては、制御部１０２は、以下のように再生制御を実行する。すなわち、制御部１０２は、履歴情報１０８に従って、再表示するべき映像データを外部装置（例えばサーバ２０９）から取得して、これを表示制御部１０３により表示部１０４上にストリーム再生させる。そして、制御部１０２は、この映像データの再生とともに、履歴情報１０８によって示されるユーザ操作を、履歴情報１０８によって示される操作時刻に従って再現する。以下、制御部１０２による再生制御について詳細に説明する。図６は再表示のための映像データの取得に係わる表示端末装置の動作を示すフローチャートである。また、図７は取得した映像データのリアルタイム再生（表示）に係わる表示端末装置の動作を示すフローチャートである。まず、図６に関する説明を行う。

操作者が再視聴したいコンテンツを操作部１１０より指定し再表示を指示すると、制御部１０２は、この指示を受け付け、処理をステップＳ６０１からステップＳ６０２に進める。記録部１０５に複数の履歴情報が保持されている場合は、制御部１０２は、例えばコンテンツを一覧表示し、ユーザに所望のコンテンツを選択させる。ステップＳ６０２において、制御部１０２は、指定されたコンテンツの履歴情報１０８に含まれているシステム情報１０６より、サーバ情報及びカメラ情報を読み出す。そして、ステップＳ６０３において、制御部１０２は、記録部１０５から最初のフレーム情報１０７を読み出す。

次に、ステップＳ６０４において、制御部１０２は、ステップＳ６０３で読み出したフレーム情報に記述されたカメラによって生成された映像データを取得する為のコマンドを再生コマンド発行部１０９に生成させる。そして、ステップＳ６０５にて、制御部１０２は、再生コマンド発行部１０９に該コマンドを発行させることにより、映像を取得する。ステップＳ６０６において、制御部１０２は、当該履歴情報１０８に残りのフレーム情報１０７が有るか否かを判定する。残りのフレーム情報１０７が有る場合は、処理はステップＳ６０３へ戻り、制御部１０２は、次のフレーム情報１０７に関して上述した処理を繰り返す。残りのフレーム情報が無い場合は、処理はステップＳ６０７へ進み、制御部１０２は、終了処理を行い、本処理を終了させる。また、ステップＳ６０３でのフレーム情報１０７の読み出し時においてウインドウに関する情報（以下、ウインドウ情報）は記録部１０５に別途記憶しておく。表示端末装置Ｃ２１２の例ではｗ１，ｗ２の２つのウインドウを用いているので２つのウインドウ情報が記録部１０５に記憶される。ウインドウ情報は次の映像データ表示の際に用いられる。

次に図７を参照して、取得した映像データの表示に係わる表示端末装置の動作に関する説明を行う。

使用者が再表示したいコンテンツを操作部１１０より指定して再表示を指示し、ステップＳ７０１において制御部１０２がそれら指定及び指示を受信すると、処理はステップＳ７０２に進む。ステップＳ７０２において、制御部１０２は、指定されたコンテンツの履歴情報１０８に含まれているカメラ情報から映像サイズ情報を取得する。またステップＳ７０３において、制御部１０２は、最初のフレーム情報１０７を読み出す。次にステップＳ７０４において、制御部１０２は、これらの情報に基づいて表示部１０４に対して映像表示のためのウインドウ表示を行う。

ステップＳ７０５において映像受信部１０１が映像データを受信すると、ステップＳ７０６にて、制御部１０２は、該映像データから表示用の映像データを生成する。ステップＳ７０７において、制御部１０２は、受信した映像データに関して、フレーム情報１０７に記録されている表示ウインドウＩＤを参照してどのウインドウに表示すべきか判定する。ステップＳ７０８にて、制御部１０２が新規のウインドウ表示が必要であると判断した場合は、ステップＳ７０９にて、表示制御部１０３に新規ウインドウを表示部１０４上へ追加、表示させる。従って、ステップＳ７０７からステップＳ７０９の処理では、ウインドウが一つの場合は何も処理が行われないことになる。次に、ステップＳ７１０において、制御部１０２は、映像データの表示に際してウインドウの再表示（ウインドウサイズの変更）が必要か否かを判定する。そして、必要であると判定されれば、制御部１０２は、ステップＳ７１１にて表示制御部１０３にウインドウの再表示を行わせ、処理をステップＳ７１２へ進める。ウインドウの再表示が必要でなければそのままステップＳ７１２へ進む。尚、ウインドウの再表示では、例えば映像（カメラ）の切り替えにより、ウインドウのサイズ変更が必要になった場合に、新たなサイズでウインドウが表示される。

ステップＳ７１２において、制御部１０２は、ステップＳ７０６で生成された映像表示用データを表示制御部１０３に渡し、表示部１０４に表示されているウインドウのうち適合するウインドウに映像を表示させる。

ステップＳ７１３において、制御部１０２は、全ての映像データの表示が完了したか否か（再生終了か否か）を判定する。この判定は現在表示されている映像データに対応するフレーム情報１０７の後に続くフレーム情報が存在するか否かで判定する。制御部１０２は、履歴情報１０８を参照し、後に続くフレーム情報が存在する場合、映像の再生を開始してから初めの操作時刻が経過すると、映像データの切り替えを実行することになる。なお、映像データのサイズが直前のものと異なる場合、ウインドウのサイズもさらに変更する。
例えば、図４の表示端末Ａの場合、映像データの再生時刻が操作時刻であるｔ１となると、カメラＢの映像データの表示に切り替わり、ｔ２となるとカメラＣ、ｔ３となるとカメラＤの映像データの表示に切り替わる。

全ての映像データの表示が完了していれば、ステップＳ７１４において、制御部１０２は、ウインドウ消去などの終了処理を行い、本処理を終了させる。一方、完了していなければ処理をステップＳ７０５へ戻し、次の映像データの受信を待つ。

次に映像記録装置としてのサーバ２０９における動作を図１６に示したフローチャートを用いて説明する。

サーバ２０９の制御部１４０２は、コマンド受信部１４０８が外部の表示端末装置よりコマンドを受信したか否かを判断し、受信したと判断すると、処理をステップＳ１６０１からステップＳ１６０２へ進める。ステップＳ１６０２において、制御部１４０２は、コマンド受信部１４０８が受信したコマンドを解釈する。次にステップＳ１６０３にて、制御部１４０２は、ステップＳ１４０２の解釈結果に従い、当該コマンドによって要求された映像データ及びカメラ情報を読み出す。そして、ステップＳ１６０４にて、制御部１４０２は、読み出した映像データ及びカメラ情報を映像配信部１４０３を通して配信する。

以上のように構成することで、従来とほぼ変わらない記録容量で過去に表示した映像と同じ映像を再度表示することが可能となる。すなわち、本実施形態の例では、制御部１０２は、再生制御において、履歴情報が示す映像（カメラ）の切替操作に従ったコマンドをサーバ２０９に発行することにより、映像受信部１０１が受信する映像データを切り替える。これにより、ライブ映像の表示処理と同様のユーザ操作にしたがった映像が再生されることになる。

（第２実施形態）
第１実施形態では表示端末装置側のユーザ操作として複数のカメラからの選択操作を履歴情報１０８として記録する例について記述したが、記録の対象となる操作はこれに限られるものではない。第２実施形態では、ユーザ操作が、映像のトリミングやリサイズといった、表示中の映像に対する映像処理操作を含む場合を説明する。この場合、制御部１０２による再生制御では、履歴情報１０８が示す映像処理操作に従って、映像受信部１０１で受信した映像データに映像処理が施され、処理済の映像データが表示部１０４に表示される。以下、第２実施形態では、カメラ選択操作に加えて映像のトリミング（切り出し）処理操作及びリサイズ（解像度変換）処理操作を履歴情報１０８に加えることが可能な例について説明する。

図１７は、第２実施形態における表示端末装置のハードウエア構成例を示すブロック図である。第１実施形態で示した表示端末装置の構成（図１）と比べて、映像処理部１７０１が加わっている点が異なる。映像処理部１７０１は、操作部１１０からのユーザ指示に応じて、受信した映像に対してトリミング処理やリサイズ処理を行う。尚、表示端末装置を含むシステムの構成は、第１実施形態（図２）と同様である。

（ライブ映像の表示処理の動作）
図８及び図９に第２実施形態における各表示端末装置の操作例及び表示端末装置Ａ２１０及び表示端末装置Ｃ２１２の記録部１０５に記録される履歴情報１０８のフォーマットの例を示す。

図８において、表示端末装置Ａ２１０では時刻ｔ０からｔ１まではカメラＡ２０１が選択されている。また、時刻ｔ１からｔ２まではカメラＢ２０２、時刻ｔ２からｔ３まではカメラＣ２０３、時刻ｔ３以降はカメラＤ２０４が選択されている。また、表示端末装置Ａ２１０は、時刻ｔ８からｔ３までは、カメラＣ２０３の映像データに対してトリミング処理を行った映像を表示している。

表示端末装置Ｂ２１１では、時刻ｔ０からｔ４まではカメラＡ２０１、時刻ｔ４からｔ５まではカメラＤ２０４、時刻ｔ５以降はカメラＢ２０２が選択されている。また、時刻ｔ９からｔ１０まではカメラＤ２０４の映像に対してリサイズ処理を行った映像が表示されている。

表示端末装置Ｃ２１２では、一つのウインドウにおいて時刻ｔ０以降でカメラＡ２０１の映像が選択されている。また別のウインドウにおいて時刻ｔ６からｔ７までカメラＣ２０３、時刻ｔ７以降でカメラＤ２０４が選択されている。さらに、時刻ｔ１１からｔ７まではカメラＣ２０３の映像に対してトリミング処理が行われた映像が表示される。そして、時刻ｔ１２からｔ７までは、トリミング処理に加えてリサイズ処理も行われた映像が表示されている。

図９に示した記録フォーマットは第１実施形態（図４）とほぼ同様である。但し、図９では、フレーム情報としてトリミング処理もしくはリサイズ処理が行われた映像データに関しては、当該処理の実行を示す情報が、例えばフレーム情報９０１で示されるように、追加されて記録されている。なお、トリミング処理とは、映像データの画面上からの切り出し抽出処理であり、リサイズ処理とは映像データの間引き処理である。トリミング処理を示す情報としては、トリミング処理の開始・終了時刻，映像上のトリミング位置およびサイズに関する情報が含まれる。リサイズ処理を示す情報としては、リサイズ処理の開始時刻・終了時刻、およびリサイズ後の映像データのサイズに関する情報が含まれる。

図１０は、第２実施形態における表示端末装置のライブ映像の表示処理の動作を示すフローチャートである。第１実施形態における動作フローチャートと同等の動作をするステップには同じ番号を振ってあるのでその説明を省略する。

ステップＳ５０５で表示用の映像データを作成した後、処理はステップＳ１００１へ進む。ステップＳ１００１において、表示端末装置の制御部１０２は、使用者が操作部１１０を通してトリミング後の映像サイズ及びトリミング開始座標位置を指定するトリミング操作を行ったか否かを判定する。トリミング操作が行われたと判定した場合は、ステップＳ１００２にて、制御部１０２は、該情報に基づいて、映像処理部１７０１に表示用データからトリミングデータを作成させてステップＳ１００３へ進む。トリミング操作を行っていない場合は、ステップＳ１００１からそのままステップＳ１００３へ処理が進む。

ステップＳ１００３において、制御部１０２は、使用者が操作部１１０を通してリサイズ後の映像サイズを指定するリサイズ操作を行ったか否かを判定する。リサイズ操作を行っていれば、ステップＳ１００４にて、制御部１０２は、該情報に基づいて、映像処理部１７０１に表示用データからリサイズデータを作成させ、処理をステップＳ５０６へ進める。リサイズ操作を行っていない場合は、処理はステップＳ１００３からそのままステップＳ５０６へすすむ。尚、トリミング処理及びリサイズ処理に関しては公知の技術であるのでここでは説明しない。

さらにステップＳ５０８の後、もしくはステップＳ５０７のＮＯ分岐の後、処理はステップＳ１００５に進む。ステップＳ１００５おいて、制御部１０２は、トリミング操作、リサイズ操作及びカメラ切替操作の少なくとも何れかが行なわれた場合に、行われた操作に関する履歴を図９のフォーマットに従い記録する。

（再表示処理の動作）
次に、図９に示した履歴が記録部１０５に記録されている場合の再表示処理の動作について述べる。

図１１は、第２実施形態による表示端末装置の、取得した映像データの表示に係わる動作を示すフローチャートである。再表示のための映像データ取得に係わる動作フローは第１実施形態と同等である（ステップＳ７０１〜Ｓ７０６）。

図１１において、ステップＳ７０６の後に処理はステップＳ１１０１へ進む。ステップＳ１１０１において、制御部１０２は、対応するフレーム情報の中にトリミング情報が含まれているか否かを判定する。トリミング情報が含まれていればステップＳ１１０２へ進み、制御部１０２は映像処理部１７０１に、フレーム情報から読み出したトリミング情報に基づきトリミング処理を行わせてトリミングデータを生成する。そして、処理はステップＳ１１０３へ進む。フレーム情報にトリミング情報が含まれていなければ処理はステップＳ１１０１からそのままステップＳ１１０３へすすむ。

ステップＳ１１０３において、制御部１０２は、フレーム情報の中にリサイズ情報が含まれているか否かを判定する。リサイズ情報が含まれていれば処理はステップＳ１１０４へ進む。ステップＳ１１０４において、制御部１０２は、フレーム情報から読み出したリサイズ情報に基づき映像処理部１７０１にリサイズ処理を行わせ、リサイズデータを生成する。そして、処理はステップＳ７０７へ進む。フレーム情報にリサイズ情報が含まれていなければ処理はステップＳ１１０３からそのままステップＳ７０７へすすむ。こうして、トリミング処理やリサイズ処理が施された映像はステップＳ７１２において、表示部１０４に表示されることになる。尚、トリミングやリサイズによりウインドウの再表示が必要となった場合は、ステップＳ７１１においてウインドウの再表示が行われることになる。

以上のように構成すれば表示端末装置におけるカメラ選択だけでなく取得した映像データに対するトリミング処理やリサイズ処理も再現することが可能となる。

尚、本実施形態ではカメラが４台のシステムを想定していたが、もちろんこれに限定されるものではない。特にカメラが１台のみの場合は、カメラの選択する必要性がないため、フレーム情報として、選択しているカメラに関する情報の記録は省略することも可能である。或いは、複数台のカメラであっても全てのカメラ映像を表示し、全てのカメラ映像に同じ操作を加える場合では、同様に選択しているカメラに関する情報の記録は省略することも可能である。

＜変形例＞
また、第２実施形態ではトリミング処理及びリサイズ処理を映像データ取得後に表示端末装置で行ったがこれに限られるものではない。例えば、表示端末装置は、映像データの指定とともに、トリミング処理やリサイズ処理といった映像処理の実行の命令を含んだ形式のコマンドを生成し、サーバ２０９に対して当該コマンドを発行する。サーバ２０９は、このコマンドを受信すると、命令された映像処理を指定された映像データに施し、映像処理された映像データを生成する。そして、映像処理された映像データをサーバ２０９から表示端末装置で受信することにより、上述した再表示と同様の処理を実現することができる。

尚、図１８にサーバ２０９にてトリミング処理、リサイズ処理を行う場合のサーバ２０９（映像記録装置）のハードウエア構成例を示すブロック図を示す。第１実施形態（図１４）に示した構成に、映像処理部１８０１が追加されている。制御部１４０２は、トリミング処理やリサイズ処理の映像処理の指示を含むコマンドを受信すると、映像処理部１８０１に、当該コマンドが指定する映像データを渡し、指示された映像処理（トリミング処理やリサイズ処理）を実行させる。

以上のように、第２実施形態による再生制御の変形例では、ユーザ操作が表示中の映像に対する映像処理操作を含む場合に、制御部１０２は、履歴情報１０８が示す映像処理操作に従って、当該映像処理を実行させるコマンドを発行する。コマンドの発行先は、映像受信部１０１が受信する映像データの配信元である外部装置、すなわちサーバ２０９である。上述したように、表示端末装置は、映像処理操作を実行させるコマンドに応じて外部装置にて処理済となった映像データを受信して、これを表示する。

以上のような第２実施形態の変形例によれば、ライブ映像の表示処理をより確実に再現することができる。例えば、映像処理部１７０１を有する表示端末装置でライブ映像の表示処理を行い、その後、映像処理部１７０１を持たない表示端末装置で表示された映像を再生をしようとした場合でも、ライブ映像の表示処理を再現することができる。すなわち、映像をライブで表示処理しているときと再生処理としているときで異なる表示端末を用いた場合でも、ライブ映像の表示処理の状態を再現することが可能となる。

（第３実施形態）
上記第１実施形態及び第２実施形態では、各カメラから配信される映像サイズは１種類を想定していたが、複数種類のサイズの映像が配信可能なカメラを想定することも可能である。

その場合の表示端末装置における履歴情報１０８の記録フォーマット例を図１２に示す。システム情報１０６内のカメラ情報には、カメラＩＤ番号、配信可能な複数の映像のサイズ、カメラのＩＰアドレスなどが含まれる。また、フレーム情報１０７には時刻情報、表示ウインドウＩＤと、選択しているカメラに関する情報（カメラＩＤ）、受信する映像サイズの情報が含まれる。

第３実施形態におけるライブ映像の表示処理時の動作処理フローチャートを図１３に示す。

ステップＳ５０７またはステップＳ５０８の処理の後、ステップＳ１３０１において、制御部１０２は、操作部１１０を介してユーザによる映像サイズの切り替え操作（サイズ切替操作という）がなされたか否かを判定する。切り替えがなされたと判定された場合は、処理はステップＳ１３０１へ進む。ステップＳ１３０１において、制御部１０２は、当該サイズ切替操作に応じて映像サイズを切り替える。そしてステップＳ１３０３において、制御部１０２は、カメラ切替操作及び映像サイズ切替操作の履歴を図１２のフォーマットに従い、記録部１０５へ記録する。

再表示処理の動作フローチャートは第１の実施形態と同等である。すなわち、制御部１０２は、再表示処理において、履歴情報１０８に映像サイズの切替操作情報があれば、映像受信部１０１によって受信される映像データを切り替え後の映像サイズの映像データとするべく、コマンドをサーバ２０９に対して発行する。

以上のように、第３実施形態では、ユーザ操作として表示中の映像データに関する映像サイズの切替操作を例示した。第３実施形態によれば、カメラが複数のサイズの映像を配信することが可能な場合であっても、受信した映像サイズを記録しておくことでライブ映像の表示処理と同等の映像を再現することが可能となる。

以上、説明した実施形態を複数組み合わせて実施することももちろん可能である。また、ユーザ操作としては映像の表示に関する操作（トリミングやリサイズ）を説明したが、映像データに音声情報が付属するような場合は、音量の調整等もユーザ操作として扱うことができる。

以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。

第１実施形態における表示端末装置のハードウエア構成例を示すブロック図である。 第１実施形態によるシステム構成例を示す図である。 第１実施形態における各表示端末装置のライブ映像の表示処理時の操作例を示した図である。 第１実施形態における履歴情報の記録フォーマット例を示した図である。 第１実施形態の表示端末装置におけるライブ映像の表示処理時の動作フローチャートである。 第１実施形態の表示端末装置における再表示のための映像データ取得に係わる動作フローチャートである。 第１実施形態の表示端末装置における、取得した映像データの表示に係わる動作フローチャートである。 第２実施形態における各表示端末装置の操作例を示した図である。 第２実施形態における履歴情報の記録フォーマット例を示した図である。 第２実施形態の表示端末装置におけるライブ映像の表示処理時の動作フローチャートである。 第２実施形態の表示端末装置における、取得した映像データの表示に係わる動作フローチャートである。 第３実施形態における履歴情報の記録フォーマット例を示した図である。 第３実施形態の表示端末装置におけるライブ映像の表示処理時の動作フローチャートである。 第１実施形態における映像記録装置のハードウエア構成例を示すブロック図である。 第１実施形態の映像記録装置におけるライブ映像の表示処理時の動作フローチャートである。 第１実施形態の映像記録装置における再表示時の動作フローチャートである。 第２実施形態における表示端末装置のハードウエア構成例を示すブロック図である。 第２実施形態の変形例における映像記録装置のハードウエア構成例を示すブロック図である。

Claims (9)

1. 映像データを受信する受信手段と、
   前記受信手段で受信した前記映像データをリアルタイムに表示処理する表示処理手段と、
   前記表示処理手段によって前記映像データが表示処理されているときになされた、映像表示に関わるユーザ操作とその操作時刻を示す履歴情報を記録する記録手段と、
   前記映像データを再表示するために、外部装置から該当する映像データを取得して再生するように前記受信手段と前記表示処理手段を制御するとともに、前記履歴情報によって示されるユーザ操作を前記履歴情報によって示される操作時刻に従って実行する再生制御手段とを備えることを特徴とする表示処理装置。
2. 前記ユーザ操作は、再生すべき映像の切替操作を含み、
   前記再生制御手段は、前記履歴情報が示す切替操作に従って、前記受信手段によって受信する映像データを切り替えることを特徴とする請求項１に記載の表示処理装置。
3. 前記ユーザ操作は、表示中の映像に対する映像処理操作を含み、
   前記再生制御手段は、前記履歴情報が示す映像処理操作に従って、前記受信手段で受信した映像データに映像処理を施し、処理済の映像データを前記表示処理手段に表示処理させることを特徴とする請求項１に記載の表示処理装置。
4. 前記ユーザ操作は、表示中の映像に対する映像処理操作を含み、
   前記再生制御手段は、前記履歴情報が示す映像処理操作に従って、前記受信手段で受信する映像データの配信元である外部装置に対して、前記映像処理操作を実行させるコマンドを発行し、前記配信元である外部装置より処理済の映像データを受信して、前記表示処理手段に表示処理させることを特徴とする請求項１に記載の表示処理装置。
5. 前記映像処理操作は、映像のトリミング処理の操作及び映像のリサイズ処理の操作の少なくとも何れかであることを特徴とする請求項３に記載の表示処理装置。
6. 前記ユーザ操作は、表示中の映像データに関する映像サイズの切替操作を含み、
   前記再生制御手段は、前記履歴情報が示す切替操作に従って、前記受信手段によって受信する映像データを切り替え後の映像サイズの映像データへ切り替えることを特徴とする請求項１に記載の表示処理装置。
7. 映像データを受信する受信工程と、
   前記受信工程で受信した前記映像データをリアルタイムに表示処理する表示処理工程と、
   前記表示処理工程によって前記映像データが表示処理されているときになされた、映像表示に関わるユーザ操作とその操作時刻を示す履歴情報を記録する記録工程と、
   前記映像データを再表示するために、外部装置から該当する映像データを取得して再生するように前記受信工程と前記表示処理工程を実行するとともに、前記履歴情報によって示されるユーザ操作を前記履歴情報によって示される操作時刻に従って実行する再生制御工程とを備えることを特徴とする表示処理装置の制御方法。
8. 映像データを配信する映像配信装置と、前記映像配信装置から配信された映像を記録する映像記録装置と、前記映像配信装置及び前記映像記録装置から配信された映像を表示処理する表示処理装置とを備えた表示処理システムであって、
   前記映像配信装置から配信された映像データを受信する受信手段と、
   前記受信手段で受信した前記映像データをリアルタイムに表示処理する表示処理手段と、
   前記表示処理手段による前記映像データが表示処理されているときになされた、映像表示に関わるユーザ操作とその操作時刻を示す履歴情報を記録する記録手段と、
   前記映像データを再表示するために、前記映像記録装置から該当する映像データを取得して再生するとともに、前記履歴情報によって示されるユーザ操作を前記履歴情報によって示される操作時刻に従って実行する再生制御手段とを備えることを特徴とする表示処理システム。
9. 請求項７に記載の制御方法をコンピュータに実行させるためのプログラム。

Images