JP2009200966A - 表示処理装置及びその制御方法と映像記録装置及び表示処理システム - Google Patents

Abstract

【課題】映像の再表示時には操作ミスと推定される映像操作を再現しないようにして、映像の再表示時に見やすい映像を提示可能とする。
【解決手段】 表示処理装置は、受信した映像データをリアルタイムに表示処理するとともに、映像データが表示処理されているときになされた、映像表示に関わるユーザ操作とその操作時刻を示す履歴情報を記録する。表示処理装置は、映像データを再表示するために、記録された履歴情報によって示されるユーザ操作を当該履歴情報によって示される操作時刻に従って実行することにより、外部装置から該当する映像データを取得して再生する。ここで、履歴情報によって示される操作時刻とその次の操作時刻との時間差が予め定められた時間に満たない場合には、上記再生制御における、当該操作時刻に対応するユーザ操作の実行が禁止される。
【選択図】 図１

Description

本発明は、映像の再表示をする、表示処理装置、映像記録装置及びそれらを用いた表示処理システムに関する。

複数のビデオカメラで撮影した映像及び関連する情報を蓄積することにより、視聴者が毎回同じ映像及びそれに同期した関連情報を見ることを可能とするコンテンツ処理システムが提案されている（特許文献１参照）。

また、映像配信装置から配信された複数の映像を、時刻情報と共に記録し、再生時に映像間の同期をとって表示する映像端末装置が提案されている（特許文献２参照）。
特開２００５−２６０５１２号公報 特開２００４−３２３４１号公報

しかしながら上記特許文献１に係る技術では、映像及び情報の配信側での操作のみが記録され、視聴者側の表示端末装置における操作は考慮されていない。そのため、例えば複数の視聴者が各々の表示端末装置で映像に対して様々な画像処理を施して表示していた場合、そのような画像処理が施された映像を再現することは不可能であった。

また、特許文献２に係る技術では、表示端末装置毎に映像を記録するため、各表示端末装置に膨大な記録容量が必要となっていた。また、上記特許文献１、特許文献２に係る技術では、映像記録時の操作ミスやザッピングなどのめまぐるしいアングル切替等も再現されてしまい、再度表示する時に見づらい映像となっていた。

本発明は上記の課題に鑑みてなされたものであり、再表示時には操作ミスと推定される映像操作を再現しないようにして、再表示時に見やすい映像を提示可能とすることを目的とする。

上記の目的を達成するための本発明の一態様による表示処理装置は以下の構成を備える。すなわち、
映像データを受信する受信手段と、
前記受信手段で受信した前記映像データをリアルタイムに表示処理する表示処理手段と、
前記表示処理手段によって前記映像データが表示処理されているときになされた、映像表示に関わるユーザ操作とその操作時刻を示す履歴情報を記録する記録手段と、
映像データを再表示するために、前記記録手段に記録された前記履歴情報によって示されるユーザ操作を前記履歴情報によって示される操作時刻に従って実行することにより、外部装置から該当する映像データを取得して再生する再生制御手段と、
前記履歴情報によって示される操作時刻とその次の操作時刻との時間差が予め定められた時間に満たない場合に、前記再生制御手段による、当該操作時刻に対応するユーザ操作の実行を禁止する禁止手段とを備える。

また、上記の目的を達成するための本発明の他の態様による表示処理装置の制御方法は、
映像データを受信する受信工程と、
前記受信工程で受信した前記映像データをリアルタイムに表示処理する表示処理工程と、
前記表示処理工程による前記映像データが表示処理されているときなされた、映像表示に関わるユーザ操作とその操作時刻を示す履歴情報をメモリに記録する記録工程と、
映像データを再表示するために、前記記録工程で記録された前記履歴情報によって示されるユーザ操作を前記履歴情報によって示される操作時刻に従って実行することにより、外部装置から該当する映像データを取得して再生する再生制御工程と、
前記履歴情報によって示される操作時刻とその次の操作時刻との時間差が予め定められた時間に満たない場合に、前記再生制御工程による、当該操作時刻に対応するユーザ操作の実行を禁止する禁止工程とを備える。

本発明によれば、操作ミスと推定される映像操作を再表示時に再現しないようにすることができ、再表示時に見やすい映像を提示することができる。例えば、本発明によれば、記録された映像の操作ミスやめまぐるしいアングル切替は再現されなくなり、過去に表示した映像を見やすい映像で再度表示することが可能となる。

以下、添付の図面を参照して本発明の好適な実施形態を説明する。

（第１実施形態）
図２は、第１実施形態における表示端末装置を含む表示処理システムのシステム構成例を示すブロック図である。２０１から２０４は撮像部としてのカメラＡ〜Ｄである。２０５から２０８はカメラ制御部であり、各々のカメラを制御するとともに、カメラからの映像をネットワークに配信する。カメラＡ２０１〜Ｄ２０４と対応するカメラ制御部２０５〜２０８とにより、撮影した映像を配信する映像配信装置が構成される。２０９は映像を記録しておく映像記録装置としての映像サーバである。また、２１０から２１２は表示端末装置Ａ〜Ｃ、２１３はネットワークである。

図１は、表示端末装置Ａ２１０〜Ｃ２１２のハードウエア構成例を示すブロック図である。

図１において、１０１は映像データを受信する映像受信部、１０２は装置全体を制御する制御部、１０３は表示を制御する表示制御部、１０４は表示制御部１０３の制御下で映像の表示を行う表示部である。１０５は記録部であり、システム情報１０６とフレーム情報１０７を含む操作履歴情報１０８を記録する。１０９は記録部１０５の操作履歴情報に基づいて再生コマンドを生成し、発行する再生コマンド発行部である。１１０は映像選択や画像処理などの操作を入力する操作部である。１１１は操作履歴情報１０８に記録されているカメラ選択等の操作の時間間隔が所定時間以下であるか否かを判断する履歴時間判断部である。再生コマンド発行部１０９は履歴時間判断部１１１の判断結果に応じて、コマンドの生成／発行の実行可否を決定する。

図１５は映像記録装置としての映像サーバ２０９のハードウエア構成例を示すブロック図である。

図１５において、１５０１は映像配信装置からの映像及びコンテンツ情報を受信する映像受信部、１５０２は装置全体を制御する制御部、１５０３は映像を表示端末装置に対して配信する映像配信部である。１５０４は映像配信装置から受信した映像及びコンテンツ情報などを記録しておく記録部であり、コンテンツ情報１５０５、カメラ情報１５０６及び映像データ１５０７を記録する。１５０８は表示端末装置からのコマンドを受信するコマンド受信部である。ここでコンテンツ情報１５０５は、コンテンツＩＤ、コンテンツ開始・終了時刻などコンテンツに関する情報を指す。カメラ情報１５０６は、受信した映像に対応するカメラに関する情報であり、カメラＩＤ番号、生成可能な映像のサイズ、カメラのＩＰアドレスなどを指す。映像データ１５０７は、受信した映像に対応する。

（ライブ映像表示時の動作）
いま、図３に示すように表示端末装置Ａ２１０〜Ｃ２１２がカメラＡ２０１〜Ｄ２０４の映像を選択的に受信し、表示しているとする。図３によれば、表示端末装置Ａ２１０は、時刻ｔ０からｔ１まではカメラＡ、時刻ｔ１からｔ２まではカメラＢ、時刻ｔ２からｔ３まではカメラＣ、時刻ｔ３からはカメラＤ、の映像を選択、表示している。表示端末装置Ｂは、時刻ｔ０からｔ４まではカメラＡ、時刻ｔ４からｔ５まではカメラＤ、時刻ｔ５からはカメラＢの映像を選択、表示している。

表示端末装置Ａ２１０、表示端末装置Ｂ２１１は単一の映像表示のみを行っているが、表示端末装置Ｃ２１２は途中から２画面表示を行っている。表示端末装置Ｃ２１２では、１つのウインドウで時刻ｔ０からカメラＡの映像を選択し、別のウインドウで時刻ｔ６からｔ７までカメラＣ、時刻ｔ７からカメラＤの映像を選択している。

映像選択はユーザにより操作部１１０を用いて行われる。このとき、表示端末装置Ａ２１０及び表示端末装置Ｃ２１２の記録部１０５に記録される操作履歴情報１０８のフォーマットの例を図４に示す。尚、表示端末装置Ｂ２１１の記録状態については図示を省略するが、表示端末装置Ａ２１０及びＣ２１２と同様である。

図４の（ａ）は、図３に示した表示端末装置Ａ２１０におけるユーザ操作の内容に対応した操作履歴情報を示し、（ｂ）は図３に示した表示端末装置Ｃ２１２におけるユーザ操作の内容に対応した操作履歴情報を示す。図４において、サーバ情報はＩＰアドレスなどの映像サーバ２０９に関する情報、及びコンテンツＩＤ、コンテンツ開始時刻・コンテンツ終了時刻などコンテンツに関する情報を含む。また、カメラＡ情報〜カメラＤ情報は、それぞれカメラＡ２０１〜Ｄ２０４のカメラＩＤ番号、配信される映像のサイズ、各カメラのＩＰアドレスなどを含む。システム情報１０６は、これらサーバ情報、カメラ情報を包含している。また、或る時刻における時刻情報、表示ウインドウＩＤと選択しているカメラに関する情報（例えばカメラＩＤを含む）の組をフレーム情報１０７とし、フレーム情報１０７を時系列に記録していくことで操作履歴情報１０８が記録される。ここでウインドウＩＤ（ｗ１，ｗ２）は各々の表示端末装置におけるウインドウの番号を示す。表示端末装置Ａ２１０，Ｂ２１１に関しては単一のウインドウ表示であるのでｗ１のみだが、表示端末装置Ｃに関してはｗ１、ｗ２で示される。

なお、上述した操作履歴情報１０８に含まれるｔ０、ｔ１等の時刻と映像サーバ２０９が記録する映像データ１５０７の時刻は同期する必要がある。これを解決するには、例えば、映像配信装置から配信される映像データの各フレームに含まれるフレーム番号或いは時刻を用いることが挙げられる。その場合、例えば図４の（ａ）のｔ１は、カメラＡのその時点の映像データのフレーム番号とカメラＢのその時点の映像データのフレーム番号に対応することになる。これにより、カメラＡとカメラＢの時刻ｔ1に対応するフレームを決定することができる。

次にライブ映像表示時における表示端末装置の表示処理動作を、図６に示すフローチャートを参照して説明する。尚、以下に説明する処理は、表示端末装置の制御部１０２における不図示のＣＰＵが、不図示のメモリに格納されたプログラムを実行することにより実現される。

ステップＳ６０１にて、制御部１０２は、映像表示開始と判断すると、ステップＳ６０２において、システム情報１０６としてサーバ情報及びカメラ情報を記録部１０５へ記録する。尚、映像サーバとカメラは、所定のユーザインターフェース等により予めユーザによって選択されているものとする。次にステップＳ６０３において、制御部１０２は、表示制御部１０３を通して表示部１０４へ映像表示用のウインドウを表示する。このときのウインドウサイズは予め設定されているDefaultのサイズ（Defaultウインドウ）とする。次に、ステップＳ６０４において、映像受信部１０１が映像データを受信すると、ステップＳ６０５にて、制御部１０２は、該映像データから表示用のデータを生成する。より具体的には、圧縮符号化されパケット化されたデータに、統合及び復号処理を施して表示用のデータを生成する。ステップＳ６０６において、制御部１０２は、ステップＳ６０５で生成した表示用データを、表示制御部１０３を通して表示部１０４に表示させる。このとき、表示用データは、ステップＳ６０３で表示したウインドウに合わせて表示される。こうして、表示端末装置は、映像受信部１０１で受信した映像データをリアルタイムに再生する。このようなリアルタイムな再生としては、ストリーム再生等が挙げられる。

ステップＳ６０７において、制御部１０２は、操作部１１０を介してユーザがカメラ切替操作を行ったか否かを判定する。カメラ切替操作が行われたと判定された場合、制御部１０２は、ステップＳ６０８において、当該切替操作に応じて映像（カメラ）を切替える。そしてステップＳ６０９において、制御部１０２は、当該ユーザ操作、即ち切替操作の履歴を図４のフォーマットに従い、記録部１０５へ記録する。より具体的には、映像の切替の時刻と切替後の映像（カメラ）と当該映像を表示するウインドウを示すフレーム情報１０７が記録される。こうして、制御部１０２は、受信した映像データのリアルタイムな再生中に操作部１１０を介して映像表示に関わるユーザ操作（ここでは、カメラの切替）がなされると、当該ユーザ操作を反映させる。本例の場合、カメラの映像が例えば時刻ｔ１で切り替わる。そして、制御部１０２は、映像データの再生中になされたユーザ操作（カメラの切替等）と操作時刻（ｔ１等）を示すフレーム情報を履歴情報として記録部１０５に記録していく。

ステップＳ６１０において、制御部１０２は映像表示終了か否かを判定する。終了でないと判定された場合、処理はステップＳ６０４へ戻り、制御部１０２はさらに次の映像受信を待つ。一方、映像表示終了と判定された場合は、制御部１０２は、ステップＳ６１１においてウインドウ消去などの終了処理を行い、処理を終了する。尚、映像表示終了の指示はたとえば操作部１１０を介してユーザが行う。

次に映像記録装置としての映像サーバ２０９におけるライブ映像表示時の処理を、図１６のフローチャートを用いて説明する。尚、以下に説明する処理は、映像サーバ２０９の制御部１５０２における不図示のＣＰＵが、不図示のメモリに格納されたプログラムを実行することにより実現される。

ステップＳ１６０１にて、映像受信部１５０１が映像配信装置からの映像の受信を開始すると、処理はステップＳ１６０２へ進む。制御部１５０２は、ステップＳ１６０２においてコンテンツ情報１５０５及びカメラ情報１５０６を記録部１５０４に記録し、ステップＳ１６０３において映像データ１５０７を記録部１５０４に順次記録していく。制御部１５０２は、ステップＳ１６０４にて受信が終了したと判定すると、ステップＳ１６０５においてコンテンツ終了時刻の記録やファイルクローズなどの終了処理を行い、本処理を終了する。映像サーバ２０９は、以上のステップＳ１６０１〜Ｓ１６０５の処理を映像配信装置毎に行うことで、全ての配信された映像に関する情報を記録部１５０４に記録する。

（再表示時の動作）
次に、図４に示したような操作履歴情報１０８が記録部１０５に記録されている場合の再表示動作について説明する。なお、以下の説明では、図４の（ａ）に示した表示端末装置Ａ２１０の記録フォーマット例を用いて行うが、他の表示端末装置の場合でも同様である。

以下、表示端末装置Ａ２１０〜Ｃ２１２における再表示時の動作について図７及び図８に示したフローチャートを参照して説明する。尚、図７は、表示端末装置における再表示のための映像データ取得に係わる動作を示すフローチャートであり、図８は、表示端末装置による取得した映像データの表示に係わる動作を示すフローチャートである。最初に、図７を参照して映像データの取得に関する説明を行う。

まず、表示端末装置の制御部１０２は、映像サーバ２０９から予め取得したコンテンツ情報に基づいてコンテンツ一覧を表示部１０４に表示する。操作者が操作部１１０より再表示したいコンテンツを指定し再表示を指示すると、処理はステップＳ７０１からステップＳ７０２にすすむ。ステップＳ７０２において、制御部１０２は、指定されたコンテンツの操作履歴情報１０８からシステム情報１０６を読み出し、サーバ情報及びカメラ情報を取得する。ステップＳ７０３において、制御部１０２は、指定されたコンテンツの操作履歴情報１０８に含まれているフレーム情報１０７を先頭から順に読み出す。次に、ステップＳ７０４にて、制御部１０２は、ステップＳ７０３で読み出したフレーム情報１０７を履歴時間判断部１１１に提供し、当該履歴が有効か否かを判定する履歴間隔判定処理を行わせる。尚、履歴時間判断部１１１が実行する履歴間隔判定処理については、図５のフローチャートにより後述する。

ステップＳ７０５において履歴が有効であると判定された場合には、処理はステップＳ７０６に進む。ステップＳ７０６において、制御部１０２は、システム情報１０６が含むサーバ情報によって特定される映像記録装置（ここでは映像サーバ２０９）から、フレーム情報１０７が指定するカメラ及び時刻の映像データを取得する為のコマンドを生成する。そして、ステップＳ７０７にて、制御部１０２は、再生コマンド発行部１０９に、ステップＳ７０６で生成したコマンドを映像サーバ２０９に対して発行させる。こうして、再表示の対象となる映像が表示端末装置に取得される。

ステップＳ７０５にて履歴が有効でないと判定された場合には、ステップＳ７０６，Ｓ７０７はスキップされ、コマンドを生成、発行することなく処理はステップＳ７０８へ進む。図３の例において、例えば時刻ｔ１の時点のカメラ選択履歴が有効でないと判定された場合、時刻ｔ１からｔ２のカメラＢのコマンドは生成されない。ステップＳ７０８において、制御部１０２は未処理のフレーム情報（以下、残フレーム情報）が有るか否かを判定する。残フレーム情報が有る場合は、処理はステップＳ７０３へ戻り、制御部１０２は、次のフレーム情報を読み出し、履歴間隔判定処理、コマンドを生成及び発行する処理（ステップ７０３〜Ｓ７０７）を行う。残フレーム情報が無くなった場合は、処理はステップＳ７０９へ進み、制御部１０２は終了処理を行い、本処理を終了する。

以上のように、映像データの再表示においては、制御部１０２は、記録部１０５に記録された操作履歴情報１０８のフレーム情報１０７によって示されるユーザ操作をその操作時刻に従って実行する。これにより、表示端末装置は、記録されたユーザ操作どおりに再表示に必要な映像データを外部装置（即ち、映像サーバ２０９）から取得し、これをリアルタイムに再生する。ユーザは、このような再生制御により、操作履歴を反映させた映像を再表示できる。更に、本実施形態では、このような再表示において、操作時刻とその次の操作時刻との時間差が予め定められた時間に満たない場合には、当該操作時刻に対応するユーザ操作の実行を禁止する。例えば、制御部１０２は、再生コマンド発行部１０９からのコマンドの発行を禁止する。このような禁止処理により、操作ミスやめまぐるしいアングル切替等は再表示時において再現されなくなる。

（履歴時間判断部１１１の動作）
図５は、履歴時間判断部１１１により履歴間隔判定処理（ステップＳ７０４）を示すフローチャートである。以下、表示端末装置Ａ２１０において行われた、図３に示すようなカメラ切替操作が操作履歴情報１０８として記録されていた場合を説明する。また、ここで、カメラＡ２０１を選択したｔ０〜ｔ１及びカメラＣ２０３を選択したｔ２〜ｔ３、カメラＤ２０４を選択したｔ３から終了時刻までの期間が所定時間Ｔａよりも長く、カメラＢ２０２に切替えたｔ１〜ｔ２の期間が所定時間Ｔａよりも短いとする。

ステップＳ５０１にて、履歴時間判断部１１１は、操作を有効とする基準時間Ｔａの設定を受け付け、不図示のメモリに保持する。基準時間Ｔａは操作部１１０からユーザが設定可能に構成しても良い。なお、ステップＳ５０１の処理（Ｔａの設定）は、操作部１１０から基準時間の設が指示された場合に実行されればよい。ステップＳ５０２において、履歴時間判断部１１１は、処理対象の操作履歴情報１０８に次の操作履歴（フレーム情報１０７）があるか判定する。次の操作履歴がある場合は、処理はステップＳ５０３に進む。ステップＳ５０３において、履歴時間判断部１１１は、現在の操作履歴と次の操作履歴との間隔時間Ｔｂ＝ｔn+1−ｔn、例えば時刻ｔ０ではＴｂ＝ｔ１−ｔ０を計算する。次にステップＳ５０５にすすみ、履歴時間判断部１１１は、ステップＳ５０３で計算したＴｂとステップＳ５０１で設定したＴａとを比較する。時刻ｔ０でのＴｂ＝ｔ１−ｔ０はＴａよりも大きいので、処理はステップＳ５０６へ進む。ステップＳ５０６において、履歴時間判断部１１１は、時刻ｔ１でフレーム情報１０７に記録された時刻ｔ０での操作履歴（この場合、カメラＡを選択する履歴）を有効と判定して本処理を終了する。

一方、ステップＳ５０５においてＴｂがＴａよりも小さい場合、処理はステップＳ５０７へ進む。例えば、時刻ｔ１では、ステップＳ５０３で求めるＴｂ＝ｔ２−ｔ１はＴａより小さいため、履歴時間判断部１１１は、ステップＳ５０７において、時刻ｔ１での操作履歴（この場合、カメラＢを選択する履歴）を無効と判定して本処理を終了する。

また、ステップＳ５０２で次の操作履歴が無い場合、処理はステップＳ５０２からステップＳ５０４へ進む。例えば時刻ｔ３では次の操作履歴がないので、処理はステップＳ５０４へすすむ。ステップＳ５０４において、履歴時間判断部１１１は、当該コンテンツの終了時刻を使って履歴時間間隔Ｔｂを求める。図３を用いた上記の仮定では、Ｔｂ＞Ｔａとなるので、処理はステップＳ５０５からステップＳ５０６へすすむ。ステップＳ５０６において、履歴時間判断部１１１は、時刻ｔ０の場合と同様に、フレーム情報１０７に記録された時刻ｔ３での操作履歴（カメラＤを選択する履歴）を有効と判定して本処理終了する。なお、ステップＳ５０４で得られたＴｂがＴａ以下の場合は、ステップＳ５０５からステップＳ５０７へ処理が進み、時刻ｔ３での操作履歴は無効となる。

次に図８により、表示端末装置における再表示時の表示処理について説明する。

ステップＳ８０１にて使用者が再表示したいコンテンツを操作部１１０より指定し再表示を指示すると、処理はステップＳ８０２にすすむ。ステップＳ８０２において、制御部１０２は指定されたコンテンツ（操作履歴情報１０８）のシステム情報１０６に含まれているカメラ情報から映像サイズ情報を読み出す。ステップＳ８０３において、制御部１０２は、操作履歴情報１０８から先頭のフレーム情報１０７を読み出す。次にステップＳ８０４において、制御部１０２は、ステップＳ８０３で読み出したフレーム情報１０７に基づいて表示部１０４に対して映像表示のためのウインドウ表示を行う。すなわち、フレーム情報１０７に含まれているカメラＩＤから対応する映像サイズ情報を取得することにより、この映像サイズで映像表示を行うためのウインドウが表示される。

制御部１０２は、ステップＳ８０５において映像受信部１０１が映像を受信したと判定すると、ステップＳ８０６において該受信した映像データから表示用のデータを生成する。尚、この再表示時に映像受信部１０１が受信する映像は、ステップＳ７０７で表示端末装置Ａ２１０が発行したコマンドに応じて映像サーバ２０９が配信した映像である。このときの映像サーバ２０９の動作については、図１７により後述する。

次に、ステップＳ８０７において、制御部１０２は、受信した映像に関して記録してあるウインドウに関する情報と照合しどのウインドウに表示すべきか判定する。例えば、受信した映像データがどのフレーム情報に基づくコマンドに応じて受信されたものかを特定し、特定されたフレーム情報を参照することにより、表示先のウインドウＩＤを得ることが出来る。

次に、ステップＳ８０８において、制御部１０２は、ウインドウＩＤを取得した結果、新規のウインドウが必要か否かを判定する。もし新規のウインドウ表示が必要であれば、処理はステップＳ８０８からステップＳ８０９に進み、制御部１０２は新規ウインドウを作成し、表示する。このとき、制御部１０２は、フレーム情報１０７から得られるカメラＩＤに基づいて映像サイズを取得し、新規ウインドウを表示する。以上のステップＳ８０７からステップＳ８０９の処理は、ウインドウが１つの場合は何も処理を行わないことになる。

次にステップＳ８１０にて、制御部１０２は、ステップＳ８０６で作成した表示用データの表示に際してウインドウの再表示（ウインドウサイズの変更）が必要か否かを判定する。そして、必要であれば制御部１０２はステップＳ８１１にてウインドウの再表示を行い、ステップＳ８１２へ進む。必要でなければステップＳ８１１をスキップし、そのままステップＳ８１２へ進む。

ステップＳ８１２において、制御部１０２は、生成した表示用データを表示制御部１０３を通して表示部１０４へ表示する。このとき、映像（表示用データ）は、表示されているウインドウのうち適合するウインドウ（フレーム情報に含まれるウインドウＩＤによって指定されるウインドウ）に対して表示する。

ステップＳ８１３において、制御部１０２は、全ての映像データの表示が完了したか否かを判定する。表示が完了していればステップＳ８１４へすすみウインドウ消去などの終了処理を行い、処理を終了する。一方、全ての映像データの表示が完了していなければ、処理はステップＳ８１３からステップＳ８０５へ戻り、次に受信した映像について、上記処理が繰り返される。

次に映像記録装置としての映像サーバ２０９が、表示端末装置からのコマンド（ステップＳ７０７）を受信した場合の、映像の配信動作を図１７に示したフローチャートを用いて説明する。

ステップＳ１７０１にてコマンド受信部１５０８が、表示端末装置からステップＳ７０７で発行されたコマンドを受信すると、処理はステップＳ１７０２へ進む。ステップＳ１７０２において、制御部１５０２は、受信したコマンドを解釈する。次に、ステップＳ１７０３にて、制御部１５０２は該解釈に従い、要求された映像データを読み出す。最後にステップＳ１７０４にて読み出した映像及び情報を映像配信部１５０３を通して、ネットワーク２１３上のコマンド発信元の表示端末装置へ配信する。

以上のように構成することで、短期間しか継続しなかった操作履歴を無効化するので、操作ミスやめまぐるしいアングル切替等は再表示時において再現されなくなる。このため、過去に映像表示した映像と同様の映像を、より見やすい映像で再度映像表示することが可能となる。

（第２実施形態）
第１実施形態では表示端末側の操作として複数のカメラからの選択操作を操作履歴（フレーム情報）として記録する例について記述したが、操作履歴はこれに限られるものではなく、他のユーザ操作を記録するようにしても良い。第２実施形態では、カメラ選択操作に加えて映像のトリミング（切り出し）操作及びリサイズ（解像度変換）操作等の映像処理操作を操作履歴として記録する例について説明する。即ち、第２実施形態では、リアルタイムなライブ映像表示時のユーザ操作として、カメラの切替操作のほかに、映像処理（例えば、トリミング処理、リサイズ処理）の指示を考慮する。

図１８は、第２実施形態における表示端末装置のハードウエア構成例を示すブロック図である。図１８において、１８０１は、受信した映像に対してトリミング処理やリサイズ処理を行う映像処理部である。尚、その他の構成については第１実施形態（図１）と同様である。また、第２実施形態においては、表示端末装置が映像処理部１８０１を持つため、操作履歴情報１０８に記述されたトリミング処理やリサイズ処理は表示端末装置にて処理される。映像サーバ２０９へ発行されるコマンドは、カメラ切替操作のみに関するものとなる。

（ライブ映像表示時の動作）
図９及び図１０に第２実施形態における各表示端末装置の操作例及び表示端末装置Ａ２１０及び表示端末装置Ｃ２１２の記録部１０５に記録される操作履歴情報１０８のフォーマットの例を示す。

図９において、表示端末装置Ａ２１０は、時刻ｔ０〜ｔ１ではカメラＡ２０１、時刻ｔ１〜ｔ２ではカメラＢ２０２、時刻ｔ２〜ｔ３ではカメラＣ２０３、時刻ｔ３以降ではカメラＤ２０４を選択している。また、時刻ｔ８〜ｔ３では、カメラＣ２０３の映像に対してトリミング処理が行われている。

表示端末装置Ｂ２１１は、時刻ｔ０〜ｔ４ではカメラＡ２０１、時刻ｔ４〜ｔ５ではカメラＤ２０４、時刻ｔ５以降ではカメラＢ２０２を選択している。また、時刻ｔ９〜ｔ１０ではカメラＤ２０４の映像に対してリサイズ処理を行った映像を表示している。

表示端末装置Ｃ２１２は、時刻ｔ０以降でカメラＡ２０１の映像を選択し、第１のウインドウに表示している。また、表示端末装置Ｃ２１２は、、時刻ｔ６〜ｔ７でカメラＣ２０３、時刻ｔ７以降でカメラＤ２０４を選択し、第２のウインドウに表示している。さらに、時刻ｔ１１〜ｔ７ではカメラＣ２０３の映像に対してトリミング処理が行われた映像が表示され、時刻ｔ１２〜ｔ７ではトリミング処理に加えてリサイズ処理も行われた映像が表示されている。

図１０は、第２実施形態における操作履歴情報１０８の記録フォーマットの一例を示す図である。表示端末装置Ａ２１０における履歴情報は第１実施形態と同様である。一方、表示端末装置Ｃ２１２の記録フォーマットには、トリミング処理もしくはリサイズ処理が行われた映像に関しては、フレーム情報としてそれらの操作履歴が追加されて記録されている。フレーム情報には、地理ミング処理，リサイズ処理の終了時刻に関する情報が付加されている。

図１１は、第２実施形態におけるライブ映像表示時の表示端末装置にける表示処理を示すフローチャートである。第１実施形態における動作フローと同等の動作をするステップには同じ番号を振ってある。

制御部１０２は、ステップＳ６０５で表示用データを作成した後、ステップＳ１１０１において、使用者が操作部１１０を通してトリミング操作を行ったか否かを判定する。トリミング操作では、例えば、トリミング後の映像サイズ、トリミング開始座標位置及びトリミング開始指示が操作部１１０を用いて入力され、制御部１０２は、これらの入力によりトリミング操作の有無を判断することが出来る。トリミング操作が行われたと判定された場合、ステップＳ１１０２において、制御部１０２は、トリミング後の映像サイズ及びトリミング開始座標位置の情報に基づいて表示用データからトリミングデータを作成する。トリミング操作が行われていない場合は、処理はそのままステップＳ１１０３へすすむ。

ステップＳ１１０３において、制御部１０２は、使用者が操作部１１０を通してリサイズ操作を行ったか否かを判定する。リサイズ操作では、例えば、リサイズ後の映像サイズの指定とリサイズ開始開始指示が操作部１１０を用いて入力され、制御部１０２は、これらの入力によりリサイズ操作の有無を判断することが出来る。リサイズ操作が行われていれば、ステップＳ１１０４において、制御部１０２は、表示用データからリサイズデータを作成する。リサイズ操作が行されていないと判定された場合は、処理はそのままステップＳ６０６へすすむ。尚、トリミング処理及びリサイズ処理に関しては公知の技術であるのでここでは説明しない。

さらにステップＳ６０８の後のステップＳ１１０５において、制御部１０２は、トリミング操作、リサイズ操作及びカメラ切替操作に関する履歴を図１０に示した記録フォーマットに従って記録する。

（再表示時の動作）
次に、図１０に示した操作履歴が記録部１０５に記録されている場合の、表示端末装置における再表示時の動作について述べる。図１２は、取得した映像データの表示に係わる表示端末装置の動作を示すフローチャートである。尚、再表示のための映像データ取得に係わる表示端末装置の動作は第１実施形態（図７）と同等であるため説明は省略する。即ち、操作履歴のうちカメラ切替操作に関しては、第１実施形態と同等に処理されて、映像サーバ２０９へコマンドが発行される。また、図１２において、第１実施形態（図８）と同様の処理については、同一のステップ番号を付してある。

図１２において、処理はステップＳ８０６の後にステップＳ１２０１へ進む。ステップＳ１２０１において、制御部１０２は、フレーム情報の中にトリミング情報が含まれているか否かを判定する。含まれていると判定された場合、処理はステップＳ１２０２へ進み、図５に示した上述の履歴時間判定処理が履歴時間判断部１１１により実行される。履歴時間判断部１１１は、第１実施形態で説明したように、履歴時間間隔が所定時間以上の履歴のみを有効とする。履歴時間判定処理により有効な履歴であると判定されると、処理はステップＳ１２０３からステップＳ１２０４へ進む。ステップＳ１２０４において、制御部１０２は、映像処理部１８０１に、フレーム情報から読み出したトリミング情報に基づくトリミング処理を実行させてトリミングデータを生成する。そして、ステップＳ１２０５へすすむ。一方、ステップＳ１２０１でフレーム情報の中にトリミング情報が含まれていないと判断された場合は、処理はそのままステップＳ１２０５へすすむ。また、ステップＳ１２０３で履歴が有効でないと判定された場合もそのままステップＳ１２０５へすすむ。

ステップＳ１２０５では、フレーム情報の中にリサイズ情報が含まれているか否かを判定する。含まれていると判定された場合、処理はステップＳ１２０６へ進み、図５に示した履歴時間判定処理を履歴時間判断部１１１に実行させる。履歴時間判断部１１１は、第１実施形態で説明したように、履歴時間間隔が所定時間以上の履歴のみを有効とする。履歴時間判定処理により有効な履歴であると判定されると、処理はステップＳ１２０７からステップＳ１２０８へ進む。ステップＳ１２０８において、制御部１０２は、映像処理部１８０１に、フレーム情報から読み出したリサイズ情報に基づきリサイズ処理を実行させてリサイズデータを生成する。そして、ステップＳ８０７へすすむ。一方、ステップＳ１２０５でフレーム情報の中にリサイズ情報が含まれていないと判断された場合は、処理はそのままステップＳ８０７へすすむ。また、ステップＳ１２０５で履歴が有効でないと判定された場合も、処理はそのままステップＳ８０７へすすむ。

以上のように、第２実施形態の構成によれば、表示端末装置におけるカメラ選択だけでなく取得した映像データに対するトリミング処理やリサイズ処理が施された映像についても、誤操作等が排除された見やすい映像で再表示することが可能となる。

尚、上記実施形態ではカメラが４台のシステムを想定していたが、もちろんこれに限定されるものではない。特にカメラが１台のみの場合は選択の必要性がないためフレーム情報として、選択しているカメラに関する情報の記録は省略することも可能である。或いは、複数台のカメラであっても全てのカメラ映像を表示する場合では、同様に選択しているカメラに関する情報の記録は省略することも可能である。

＜変形例＞
又、第２実施形態では、トリミング処理及びリサイズ処理は映像データ取得後表示端末装置で行ったがこれに限られるものではない。表示端末装置がトリミング処理命令やリサイズ処理命令を含んだ形式のコマンドを生成し、これを映像サーバ２０９に対して発行することで、それらの処理を映像サーバ２０９内において実行させるようにしてもよい。この場合、映像サーバ２０９は、コマンドに従ってトリミング処理やリサイズ処理を施した映像データを生成し、該映像データを表示端末装置に送信する。また、この場合の映像サーバ２０９の構成は図１９に示すようになり、トリミング処理やリサイズ処理を実行する映像処理部１９０１が加わる。制御部１５０２は、トリミング処理命令やリサイズ処理命令を含むコマンドを受信すると、映像処理部１９０１にトリミング、リサイズ処理を実行させ、処理済みの映像データを表示端末装置へ送信する。

上記の変形例に拠れば、再表示に用いられる表示端末装置がトリミングやリサイズといった映像処理機能を持っていない場合でも、それら映像処理を再現した再表示が可能となる。

（第３実施形態）
第１及び第２実施形態では、各カメラから配信される映像サイズ（解像度）は１種類を想定していたが、複数種類のサイズの映像が配信可能なカメラを想定することも可能である。第３実施形態では、ユーザ操作として、複数の解像度の映像を同時に配信可能な映像配信装置からの受信すべき映像の解像度の指定を含む場合を説明する。

その場合の表示端末装置における操作履歴情報１０８の記録フォーマット例を図１３に示す。第１実施形態と同様に、カメラ情報の中にはカメラＩＤ番号、配信可能な複数の映像のサイズ（解像度）、カメラのＩＰアドレスなどが含まれる。また、フレーム情報１０７には時刻情報、表示ウインドウＩＤと、選択しているカメラに関する情報、受信する映像サイズの情報が含まれる。

第３実施形態の表示端末装置におけるライブ表示時の表示処理動作を図１４のフローチャートに示す。第１実施形態（図６）と同様の処理を実行するステップには同一のステップ番号を付してある。

ステップＳ６０８の操作を行った後、処理はステップＳ１４０１へ進む。ステップＳ１４０１において、制御部１０２は、映像サイズ切替操作がなされたか否かを判定する。映像サイズの切替操作は、操作部１１０を介してユーザが行うことができる。映像サイズの切替操作が指示された場合は、処理はステップＳ１４０２へ進む。ステップＳ１４０２において、制御部１０２は、当該操作に応じて映像サイズを切替える。そしてステップＳ１４０３においてカメラ切替操作及び映像サイズ切替操作の履歴を図１３の記録フォーマットに従って、記録部１０５へ記録する。このように、第３実施形態では、ライブ表示時において、制御部１０２は、解像度の指定を示すユーザ操作に応じて、映像受信部１０１に指定された解像度の映像を受信させ、これをリアルタイム再生する。

尚、再映像表示時の表示端末装置の動作は、第１実施形態（図７、図８）と同等である。即ち、第３実施形態の再生制御においては、履歴情報（フレーム情報）中の解像度を指定するユーザ操作に応じて、外部装置（映像サーバ２０９）から取得する映像データの解像度を切り替える。尚、映像サーバ２０９は、映像配信装置からの複数の解像度の映像データを記録部１５０４に記録するものとする。

以上のような第３実施形態によれば、カメラが複数のサイズの映像を配信することが可能な場合であっても、受信した映像サイズを記録しておくことでライブ映像表示した映像を見やすい映像で再表示することが可能となる。

（第４実施形態）
第１〜第３実施形態では、図２に示したシステム構成図における表示端末装置Ａ２１０〜Ｃ２１２に履歴時間判断部１１１を有する実施形態について説明した。しかしながら、本発明はこのような形態に限られるものではない。第４実施形態では、映像記録装置としての映像サーバ２０９に履歴時間判断部を設けた実施形態について説明する。

図２０は、第４実施形態による映像サーバ２０９のハードウエア構成例を示すブロック図である。第１実施形態（図１５）に示した映像サーバ２０９の構成要素と同じ構成要素については同じ符号を付与して説明は省略する。

図２０において、２００１は履歴時間判断部であり、第１実施形態の履歴時間判断部１１１と同一の働きをするものであり、動作フローについても第１実施形態（図５）で説明したとおりである。

また、第４実施形態の表示端末装置Ａ２１０〜Ｃ２１２や映像サーバ２０９におけるライブ映像表示時の動作フローについても第１実施形態と同等である。ただし、表示端末装置側の履歴間隔判定にかかわる処理（図７のステップＳ７０４、Ｓ７０５）は不要となる。

第４実施形態における再表示のための映像データ配信に係る動作を図２１のフローチャートを参照して説明する。尚、第１実施形態における動作フローと同等の動作をするステップには同じ番号を振ってある。

ステップＳ１７０２にて制御部１５０２は、表示端末装置より受信したコマンドを解釈する。そして、ステップＳ２１０１にて、制御部１５０２は、履歴時間判断部２００１に、履歴時間判定処理を実行させて、当該履歴が有効か否かを判定させる。履歴時間判断部２００１の動作は、第１実施形態における履歴時間判断部１１１の動作（図５）と同様である。ただし、第１実施形態では履歴情報（フレーム情報）に含まれる時刻を用いてＴｂを算出したが、第４実施形態ではコマンドに含まれる時刻情報を参照することになる。より具体的には、同一の表示端末装置からの連続する２つのコマンドが表す処理時間の間隔が予め定められた時間より長い場合は当該履歴は有効と判断され、処理時間の間隔が予め定められた時間以下の場合は無効と判断される。履歴時間判定処理により当該履歴が有効であると判定されると、処理はステップＳ２１０２からステップＳ１７０３へ進む。ステップＳ１７０３にて、制御部１５０２は該解釈に従い、要求された映像データ及びカメラ情報を読み出す。そして、ステップＳ１７０４にて、読み出した映像及び情報を映像配信部１５０３を通して、ネットワーク２１３上のコマンド発信元の表示端末装置へ配信する。一方、履歴時間判定処理により当該履歴が有効でないと判定された場合は、ステップＳ２１０２からそのまま終了する。こうして、上記２つの連続するコマンドのうちの処理時間の早い方のコマンドによる処理は禁止されることになる。

以上のように構成することで映像記録装置に履歴時間判断部を有する場合（表示端末装置が履歴時間判断機能を持たない場合）も同様の効果を得ることが可能となる。

尚、本実施形態ではライブ映像表示時の操作履歴を表示端末装置に有し、再表示時に映像サーバにコマンドを送付する映像システムの説明をしたが、これに限られるものではない。例えば、操作履歴を記録する記録部を映像サーバ２０９に設け、ライブ映像表示時に表示端末装置で行った操作履歴を随時映像サーバに送付して記録し、再表示時に映像サーバ２０９が操作履歴に従って映像を処理、配信するようにしてもよい。

以上、説明した第１〜第４実施形態を複数組み合わせて実施することももちろん可能である。

以上、実施形態を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能である。具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。

尚、本発明は、ソフトウェアのプログラムをシステム或いは装置に直接或いは遠隔から供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによって前述した実施形態の機能が達成される場合を含む。この場合、供給されるプログラムは実施形態で図に示したフローチャートに対応したコンピュータプログラムである。

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。

コンピュータプログラムを供給するためのコンピュータ読み取り可能な記憶媒体としては以下が挙げられる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などである。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムをハードディスク等の記録媒体にダウンロードすることが挙げられる。この場合、ダウンロードされるプログラムは、圧縮され自動インストール機能を含むファイルであってもよい。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布するという形態をとることもできる。この場合、所定の条件をクリアしたユーザに、インターネットを介してホームページから暗号を解く鍵情報をダウンロードさせ、その鍵情報を使用して暗号化されたプログラムを実行し、プログラムをコンピュータにインストールさせるようにもできる。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどとの協働で実施形態の機能が実現されてもよい。この場合、ＯＳなどが、実際の処理の一部または全部を行ない、その処理によって前述した実施形態の機能が実現される。

さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれて前述の実施形態の機能の一部或いは全てが実現されてもよい。この場合、機能拡張ボードや機能拡張ユニットにプログラムが書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行なう。

第１実施形態による表示端末装置のハードウエア構成例を示すブロック図である。 第1実施形態による表示システム構成例を示す図である。 第１実施形態の各表示端末装置における操作例を示した図である。 第１実施形態の表示端末装置Ａ，Ｃにおける操作履歴情報の記録フォーマット例を示した図である。 第1実施形態による履歴時間判断部の処理を示すフローチャートである。 第１実施形態の表示端末装置におけるライブ映像表示時の処理を示すフローチャートである。 第１実施形態の表示端末装置における、再表示時の映像データ取得に係わる処理を示すフローチャートである。 第１実施形態の表示端末装置における、再表示時の取得した映像データの表示に係わる処理を示すフローチャートである。 第２実施形態の各表示端末装置における操作例を示した図である。 第２実施形態における表示端末装置Ａ，Ｃの操作履歴情報の記録フォーマット例を示した図である。 第２実施形態の表示端末装置におけるライブ映像表示時の処理を示すフローチャートである。 第２実施形態の表示端末装置における、再表示時の、取得した映像データの表示に係わる処理を示すフローチャートである。 第３実施形態における操作履歴情報の記録フォーマット例を示した図である。 第３実施形態の表示端末装置におけるライブ映像表示時の処理を示すフローチャートである。 第１実施形態の映像サーバにおけるハードウエア構成例を示すブロック図である。 第１実施形態の映像サーバにおけるライブ映像表示時の映像記録処理を示すフローチャートである。 第１実施形態の映像サーバにおける再表示時の処理を示すフローチャートである。 第２実施形態における表示端末装置のハードウエア構成例を示すブロック図である。 第２実施形態の変形例における映像サーバのハードウエア構成例を示すブロック図である。 第４実施形態における映像サーバのハードウエア構成例を示すブロック図である。 第４実施形態における映像サーバの再表示のための映像データ配信に係わる処理を示すフローチャートである。

Claims (6)

1. 映像データを受信する受信手段と、
   前記受信手段で受信した前記映像データをリアルタイムに表示処理する表示処理手段と、
   前記表示処理手段によって前記映像データが表示処理されているときになされた、映像表示に関わるユーザ操作とその操作時刻を示す履歴情報を記録する記録手段と、
   映像データを再表示するために、前記記録手段に記録された前記履歴情報によって示されるユーザ操作を前記履歴情報によって示される操作時刻に従って実行することにより、外部装置から該当する映像データを取得して再生する再生制御手段と、
   前記履歴情報によって示される操作時刻とその次の操作時刻との時間差が予め定められた時間に満たない場合に、前記再生制御手段による、当該操作時刻に対応するユーザ操作の実行を禁止する禁止手段とを備えることを特徴とする表示処理装置。
2. 映像配信装置からの映像を受信する映像受信手段と、
   前記受信手段で受信した映像を記録する記録手段と、
   映像表示装置からのコマンドを受信するコマンド受信手段と、
   前記コマンド受信手段で受信したコマンドに応じて、前記記録手段に記録されている映像を選択して、前記映像表示装置に配信する配信手段と、
   前記コマンド受信手段において、同一の映像表示装置から受信した連続する２つのコマンドが表す処理時間の間隔が予め定められた時間以下の場合には、前記２つのコマンドのうちの処理時間の早い方のコマンドによる処理を禁止する禁止手段とを備えることを特徴とする映像記録装置。
3. 撮影した映像を配信する映像配信装置と、映像配信装置から配信された映像を記録する映像記録装置と、配信された映像を再生する映像表示装置とをそなえた表示処理システムであって、
   前記映像表示装置が、
   前記映像配信装置から映像データを受信する受信手段と、
   前記受信手段で受信した前記映像データをリアルタイムに表示処理する表示処理手段と、
   前記表示処理手段による前記映像データの再生中になされた、映像表示に関わるユーザ操作とその操作時刻を示す履歴情報を記録する記録手段と、
   映像データを再表示するために、前記履歴情報によって示されるユーザ操作を前記履歴情報によって示される操作時刻に従って実行することにより、前記映像記録装置から該当する映像データを取得して再生する再生制御手段と、
   前記履歴情報によって示される操作時刻とその次の操作時刻との時間差が予め定められた時間に満たない場合に、前記再生制御手段による、当該操作時刻に対応するユーザ操作の実行を禁止する禁止手段とを備えることを特徴とする表示処理システム。
4. 映像データを受信する受信工程と、
   前記受信工程で受信した前記映像データをリアルタイムに表示処理する表示処理工程と、
   前記表示処理工程による前記映像データが表示処理されているときなされた、映像表示に関わるユーザ操作とその操作時刻を示す履歴情報をメモリに記録する記録工程と、
   映像データを再表示するために、前記記録工程で記録された前記履歴情報によって示されるユーザ操作を前記履歴情報によって示される操作時刻に従って実行することにより、外部装置から該当する映像データを取得して再生する再生制御工程と、
   前記履歴情報によって示される操作時刻とその次の操作時刻との時間差が予め定められた時間に満たない場合に、前記再生制御工程による、当該操作時刻に対応するユーザ操作の実行を禁止する禁止工程とを備えることを特徴とする表示処理装置の制御方法。
5. 請求項４に記載の表示処理装置の制御方法をコンピュータに実行させるためのプログラム。
6. 請求項４に記載の表示処理装置の制御方法をコンピュータに実行させるためのプログラムを格納したコンピュータ読み取り可能な記憶媒体。

Images