以下、1またはそれ以上の実施形態の画像送信装置、画像受信装置、遅延時間測定装置、遅延時間管理サーバ、及びタイミング調整方法について、添付図面を参照して説明する。
まず、図1を用いて、複数の画像送信装置からネットワークを介して画像受信装置へと画像データを伝送する画像伝送システムを概念的に説明する。画像データは動画像データである。なお、画像伝送システムは、画像データに加えて音声データを伝送することがあってもよい。音声データの送受信の処理については図示を省略する。
図1において、互いに異なる3か所の拠点には、画像送信装置10A~10Cが配置されている。画像送信装置10A~10Cが配置されている拠点とは異なる拠点には、画像受信装置20が配置されている。画像送信装置10A~10Cは、被写体を撮影するカメラ11と、カメラ11が被写体を撮影することによって生成した画像データを送信する送信部12を備える。
画像送信装置10A~10Cから送信された画像データは、ネットワーク30を介して
画像受信装置20へと伝送される。ネットワーク30は、典型的にはインターネットである。画像受信装置20は、画像データを受信する受信部21と、画像データに基づく動画像を表示する表示装置22を備える。表示装置22は、画像送信装置10A~10Cからの動画像を同時に表示することがあってもよいし、画像送信装置10A~10Cからの動画像を切り替えながら表示することがあってもよい。画像送信装置10A~10Cのいずれかを特定しない画像送信装置を画像送信装置10と称する。
<画像送信装置、画像受信装置、及び遅延時間測定装置の具体的な構成例>
図2は、画像送信装置10におけるカメラ11が動画像の撮影を開始する時刻から、画像受信装置20における表示装置22が動画像の表示を開始する時刻までの遅延時間を測定するように構成された画像送信装置10及び画像受信装置20の構成例を示している。図2に示す画像送信装置10及び画像受信装置20は、それらの内部処理による遅延を含む遅延時間を把握するのに好適な構成を備える。
画像受信装置20が備える遅延時間測定部28は、1またはそれ以上の実施形態の遅延時間測定装置を構成し、画像送信装置10及び画像受信装置20における内部処理による遅延を含む、より正確な遅延時間を後述のように測定する。画像送信装置10は1またはそれ以上の実施形態の画像送信装置である。画像受信装置20は1またはそれ以上の実施形態の画像受信装置である。
図2に示すように、画像送信装置10は、カメラ11の他に、GNSS衛星電波時計13、クロック生成部14、画像メモリ15、通信部16を備える。カメラ11は、制御部111、撮像素子112、画像処理回路113を有する。画像メモリ15は、書込・読出制御部150を含む。通信部16は、図1における送信部12として機能する。
画像受信装置20は、表示装置22の他に、GNSS衛星電波時計23、クロック生成部24、通信部25、画像処理回路26、画像メモリ27、遅延時間測定部28を備える。表示装置22は、制御部221、駆動回路222、液晶パネル223を有する。画像メモリ27は、書込・読出制御部270を含む。通信部25は、図1における受信部21として機能する。
GNSS衛星電波時計13は、全地球航法衛星システム(Global Navigation Satellite System:GNSS)用の衛星40からの電波を受信して、図3の(a)に示す1秒間隔のパルスである1PPS信号と、図3の(b)に示す10MHzのクロック(以下、10MHzクロック)とを出力する。GNSSは、一例としてGPS(Global Positioning System)である。
クロック生成部14は、入力された1PPS信号及び10MHzクロックに基づいて、図3の(c)に示す148.5MHzのクロック(以下、148.5MHzクロック)を生成して、カメラ11、画像メモリ15、通信部16に供給する。図示の都合上、図3の(c)に示す148.5MHzクロックは、1クロックの周期を大幅に長くした状態で示している。なお、クロック生成部14は148.5MHz以外に、297MHz、74.25MHz、27MHz等の他の映像同期用の周波数のクロックを生成してもよい。
画像送信装置10は、GNSS用の衛星40から受信した電波に基づく時刻情報を含むクロックを生成するクロック生成部を備えればよい。カメラ11、画像メモリ15、通信部16に10MHzクロックを供給して、カメラ11、画像メモリ15、通信部16を10MHzクロックで動作させるようにしてもよい。この場合、GNSS衛星電波時計13が時刻情報を含むクロックを生成するクロック生成部となる。カメラ11、画像メモリ15、通信部16に供給するクロックの周波数は限定されない。
GNSS衛星電波時計13が、図3の(a)に示す1PPS信号のパルスを時刻0:00:00で発生させ、次のパルスを時刻0:00:01で発生させたとする。クロック生成部14は、時刻0:00:00を基準としたクロック番号0~148.5×10-6-1のクロック、時刻0:00:01を基準としたクロック番号0~148.5×10-6-1のクロックのように、時刻情報を含む148.5MHzクロックを出力する。
カメラ11の制御部111は、撮像素子112における電子シャッタを制御し、撮像素子112は被写体を撮像する。制御部111は、カメラ11が備える中央処理装置であってもよい。撮像素子112が被写体を撮像することによって生成された画像データは画像処理回路113によって各種の画像処理が施されて、画像メモリ15に供給される。
画像処理回路113における画像処理とは、欠陥画素補間処理、黒レベル処理、ホワイトバランス処理、デモザイク処理、シェーディング補正処理、圧縮符号化処理のうちの1またはそれ以上である。画像処理回路113における画像処理は、少なくとも圧縮符号化処理を含む。
制御部111は、撮像素子112が所定の基準画素の電子シャッタを切って画素データを発生させた時刻t0を示す148.5MHzクロックのクロック番号を、メタデータとして画像データのブランキング期間に重畳するよう制御する。基準画素は、フレーム内の1行目、1番目の画素であるのがよい。即ち、カメラ11が出力する画像データに含まれるクロック番号は、カメラ11が各フレームの画像データの生成を開始した時刻を示す。図3の(c)に示すように、カメラ11が出力する画像データに含まれる時刻t0を示すクロック番号は、一例としてクロック番号0であるCn0であるとする。
書込・読出制御部150は、画像データを画像メモリ15に書き込む。このとき、書込・読出制御部150は、各フレームの基準画素の画素データを画像メモリ15に書き込んだ時刻t1を示す148.5MHzクロックのクロック番号を、メタデータとして画像データのブランキング期間に重畳させた状態の画像データを画像メモリ15に書き込む。図3の(c)に示すように、画像メモリ15に書き込まれた画像データに含まれる時刻t1を示すクロック番号はCn1であるとする。画像メモリ15に書き込まれた画像データには、クロック番号Cn0とクロック番号Cn1とが重畳されている。
書込・読出制御部150は、画像メモリ15に記憶された画像データを読み出して通信部16に供給する。通信部16は、画像メモリ15より読み出された画像データをパケット化して、ネットワーク30を介して画像受信装置20へと送信する。このとき、通信部16は、各フレームの基準画素の画素データを送信する時刻t2を示す148.5MHzクロックのクロック番号を、メタデータとして画像データのブランキング期間に重畳した状態で、画像データをパケット化する。図3の(c)に示すように、基準画素の画素データを送信する時刻t2を示すクロック番号はCn2であるとする。結果的に、クロック番号Cn2は基準画素の画素データを送信した時刻t2を示す。
また、通信部16は、カメラ11、画像メモリ15、通信部16が148.5MHzクロックで動作していることを画像受信装置20に伝達させるため、画像データにクロック周波数情報を加えてパケット化する。画像送信装置10よりネットワーク30を介して画像受信装置20へと送信されるパケットデータには、画像データとクロック周波数情報とが含まれ、画像データには、クロック番号Cn0、Cn1、Cn2が重畳されている。
画像受信装置20におけるGNSS衛星電波時計23も、GNSS衛星電波時計13と同様に、衛星40からの電波を受信して、図4の(a)に示す1秒間隔のパルスである1
PPS信号と、図4の(b)に示す10MHzクロックとを出力する。
図2では、GNSS衛星電波時計13とGNSS衛星電波時計23とが受信する電波を送信する衛星40を共通の1つの衛星40としている。GNSS衛星電波時計13が受信する電波を送信する衛星40と、GNSS衛星電波時計23が受信する電波を送信する衛星40とは異なっていてもよい。GNSS衛星電波時計13及び23は、1つの全地球航法衛星システムが運用している複数の衛星40のうちのいずれの衛星40からの電波を受信してもよい。
通信部25は、画像データとクロック周波数情報とを含むパケットデータを受信して、クロック周波数情報をクロック生成部24に供給し、画像データを画像処理回路26に供給する。クロック生成部24は、148.5MHzを示すクロック周波数情報が入力されているから、入力された1PPS信号及び10MHzクロックに基づいて、図4の(c)に示す148.5MHzクロックを生成する。148.5MHzクロックは、表示装置22、通信部25、画像メモリ27、遅延時間測定部28に供給される。
図4の(c)に示す148.5MHzクロックは、図3の(c)に示す148.5MHzクロックと同一(同一位相及び同一周波数)のクロックである。
クロック生成部24が表示装置22、通信部25、画像メモリ27、遅延時間測定部28に供給するクロックは、上記と同様に、時刻情報を含む148.5MHzクロックである。
通信部25は、図4の(c)に示すように、ネットワーク30より各フレームの基準画素の画素データを受信した時刻t3を示す148.5MHzクロックのクロック番号を、メタデータとして画像データのブランキング期間に重畳する。基準画素の画素データを受信した時刻t3を示すクロック番号はCn3であるとする。よって、通信部25より出力される画像データには、クロック番号Cn0、Cn1、Cn2、Cn3が重畳されている。
通信部25より出力された画像データは画像処理回路26によって各種の画像処理が施されて、画像メモリ27に供給される。画像メモリ27における画像処理とは、少なくとも圧縮復号処理である。画像処理回路26は、画像データに含まれているクロック番号Cn0、Cn1、Cn2、Cn3を遅延時間測定部28に供給する。
書込・読出制御部270は、画像メモリ27に供給された画像データを画像メモリ27に書き込み、画像メモリ27に記憶された画像データを読み出して表示装置22の駆動回路222に供給する。このとき、書込・読出制御部270は、各フレームの基準画素の画素データを読み出した時刻t4を示す148.5MHzクロックのクロック番号を遅延時間測定部28に供給する。時刻t4は、基準画素の画素データを駆動回路222に供給した時刻でもある。図4の(c)に示すように、画像メモリ27より画像データを読み出した時刻t4を示すクロック番号はCn4であるとする。
表示装置22の制御部221は、駆動回路222に供給された画像データを液晶パネル223に表示するよう駆動回路222を制御する。制御部221は、表示装置22が備える中央処理装置であってもよい。制御部221は、各フレームの基準画素の画素データを液晶パネル223に表示した時刻t5を示す148.5MHzクロックのクロック番号を遅延時間測定部28に供給する。図4の(c)に示すように、基準画素の画素データを液晶パネル223に表示した時刻t5を示すクロック番号はCn5であるとする。
なお、表示装置22は148.5MHzクロックで動作する必要はない。表示装置22に148.5MHzクロックを供給するのは、148.5MHzクロックにおける時刻t5を示すクロック番号Cn5を遅延時間測定部28に供給するためである。
表示装置22が直視型の表示装置ではなく、投射型の表示装置である場合には、液晶パネル223は、投射型の表示装置用の液晶表示素子である。表示装置22は、液晶パネル以外の表示パネル(表示素子)を備えてもよい。
遅延時間測定部28は、図5~図7のフローチャートで示す処理に従って、画像送信装置10と画像受信装置20との間の遅延時間を求めて、遅延時間による遅れを補正するための遅延時間補正値を決定する。
図5において、遅延時間測定部28は、ステップS1にて、画像送信装置10における撮影時刻を設定し、ステップS2にて、画像受信装置20における表示時刻を設定する。図6は、ステップS1の詳細な処理を示す。図6において、遅延時間測定部28は、ステップS11にて、クロック番号Cn0(即ち、時刻t0)が存在するか否かを判定する。クロック番号Cn0が存在すれば(YES)、遅延時間測定部28は、ステップS13にて、クロック番号Cn0が示す時刻t0を撮影時刻に設定する。
ステップS11にてクロック番号が存在しなければ(NO)、遅延時間測定部28は、ステップS12にて、クロック番号Cn1(即ち、時刻t1)が存在するか否かを判定する。クロック番号Cn1が存在すれば(YES)、遅延時間測定部28は、ステップS14にて、クロック番号Cn1が示す時刻t1を撮影時刻に設定する。クロック番号Cn1が存在しなければ(NO)、遅延時間測定部28は、ステップS15にて、クロック番号Cn2が示す時刻t2を撮影時刻に設定する。
図7は、ステップS2の詳細な処理を示す。図7において、遅延時間測定部28は、ステップS21にて、クロック番号Cn5(即ち、時刻t5)が存在するか否かを判定する。クロック番号Cn5が存在すれば(YES)、遅延時間測定部28は、ステップS23にて、時刻t5を表示時刻に設定する。
ステップS21にてクロック番号Cn5が存在しなければ(NO)、遅延時間測定部28は、ステップS22にて、クロック番号Cn4(即ち、時刻t4)が存在するか否かを判定する。クロック番号Cn4が存在すれば(YES)、遅延時間測定部28は、ステップS24にて、時刻t4を表示時刻に設定する。クロック番号Cn4が存在しなければ(NO)、遅延時間測定部28は、ステップS25にて、クロック番号Cn3が示す時刻t3を表示時刻に設定する。
図6において、クロック番号Cn0が存在するか否かを判定しているのは、カメラ11が各フレームの画像データの生成を開始した時刻t0を示すクロック番号Cn0を画像データに重畳するように構成されていない場合があり得るからである。また、クロック番号Cn1が存在するか否かを判定しているのは、画像メモリ15が画像データを書き込む時刻t1を示すクロック番号Cn1を画像データに重畳するように構成されていない場合があり得るからである。
図7において、クロック番号Cn5が存在するか否かを判定しているのは、表示装置22が画像データを液晶パネル223に表示した時刻t5を示すクロック番号Cn5を遅延時間測定部28に供給するように構成されていない場合があり得るからである。また、クロック番号Cn4が存在するか否かを判定しているのは、画像メモリ27が画像データを読み出した時刻t4を示すクロック番号Cn4を遅延時間測定部28に供給するように構
成されていない場合があり得るからである。
図5に戻り、遅延時間測定部28は、ステップS3にて、撮影時刻と表示時刻との差分である画像送信装置10と画像受信装置20との間の遅延時間を算出する。遅延時間測定部28は、ステップS4にて、撮影時刻が時刻t2であり、かつ、表示時刻が時刻t3であるか否かを判定する。撮影時刻が時刻t2であり、かつ、表示時刻が時刻t3である場合、時刻2から時刻t3までの時間は、画像データのネットワーク30による伝送時間そのものである。従って、画像送信装置10が画像データの生成を開始してから、画像受信装置20が画像データの表示を開始するまでの遅延時間を表さない。
そこで、ステップS4にて撮影時刻が時刻t2、かつ、表示時刻が時刻t3であれば(YES)、遅延時間測定部28は、ステップS5にて、予め測定された固定補正値が遅延時間測定部28内に設定されているか否かを判定する。固定補正値とは、時刻t0から時刻t2までの平均的な時間と、時刻t3から時刻t5までの平均的な時間とのうちの一方、またはその両方を加算した時間である。
ステップS5にて予め測定された固定補正値が設定されていれば(YES)、ステップS3にて得られた遅延時間に固定補正値を加算した時間を遅延時間補正値として決定して、処理を終了させる。
ステップS4にて撮影時刻が時刻t2、かつ、表示時刻が時刻t3でなければ(NO)、またはステップS5にて予め測定された固定補正値が設定されていなければ(NO)、遅延時間測定部28は、ステップS7にて、ステップS3にて得られた遅延時間をそのまま遅延時間補正値として決定して、処理を終了させる。
以上のように、画像送信装置10は、カメラ11、クロック生成部14、画像メモリ15、通信部16を備える。クロック生成部14は、GNSS用の衛星40から受信した電波に基づく時刻情報を含む第1のクロック(一例として148.5MHzクロック)を生成する。カメラ11は、第1のクロックによって動作し、撮像素子112が被写体を撮像することによって画像データを生成する。画像メモリ15は、第1のクロックによって動作し、書込・読出制御部150による制御に基づいて画像データを書き込んで読み出す。
通信部16は、画像メモリ15より読み出され、第1~第3のクロック番号のうちの少なくとも1つが重畳された画像データを送信する。第1~第3のクロック番号はクロック番号Cn0~Cn2である。
第1のクロック番号は、カメラ11が、撮像素子112がフレーム内の基準画素の画素データを発生させた時刻を示す。カメラ11が、第1のクロック番号を画像データに重畳させる処理を実行するように構成されていれば、第1のクロック番号を含む画像データが送信される。
第2のクロック番号は、書込・読出制御部150が基準画素の画素データを画像メモリ15に書き込んだ時刻を示す。書込・読出制御部150が第2のクロック番号を画像データに重畳させる処理を実行するように構成されていれば、第2のクロック番号を含む画像データが送信される。第3のクロック番号は、通信部16が基準画素の画素データを送信した時刻を示す。通信部16が第3のクロック番号を画像データに重畳させる処理を実行するように構成されていれば、第3のクロック番号を含む画像データが送信される。
画像受信装置20は、第1のクロック番号、第2のクロック番号、第3のクロック番号のうちの少なくとも1つが重畳された画像データを受信する通信部25を備える。通信部
25を第1の通信部とすれば、通信部16は第2の通信部である。通信部16を第1の通信部とすれば、通信部25は第2の通信部である。
第1のクロック番号は、クロック生成部14(第1のクロック生成部)が生成する第1のクロックにおけるクロック番号であり、カメラ11の撮像素子112がフレーム内の基準画素の画素データを発生させた時刻を示す。第2のクロック番号は、第1のクロックにおけるクロック番号であり、書込・読出制御部150(第1の書込・読出制御部)が、基準画素の画素データを画像メモリ15(第1の画像メモリ)に書き込んだ時刻を示す。第3のクロック番号は、第1のクロックにおけるクロック番号であり、通信部16(第2の通信部)が基準画素の画素データを送信した時刻を示す。
画像受信装置20は、クロック生成部24(第2のクロック生成部)、画像メモリ27(第2の画像メモリ)、表示装置22、遅延時間測定部28をさらに備える。クロック生成部24は、第1のクロックと同一の第2のクロックを生成する。画像メモリ27は、第2のクロックによって動作し、書込・読出制御部270(第2の書込・読出制御部)による制御に基づいて画像データを書き込んで読み出す。表示装置22は、画像メモリ27より読み出された画像データを表示する。
遅延時間測定部28は、第1~第3のクロック番号のうちのいずれかのクロック番号と、第4~第6のクロック番号とのうちのいずれかのクロック番号との差分を示す遅延時間を測定する。第4のクロック番号は、第2のクロックにおけるクロック番号であり、通信部25が基準画素の画素データを受信した時刻を示す。第5のクロック番号は、第2のクロックにおけるクロック番号であり、書込・読出制御部270が基準画素の画素データを画像メモリ27より読み出した時刻を示す。第6のクロック番号は、第2のクロックにおけるクロック番号であり、表示装置22が基準画素の画素データを表示した時刻を示す。
遅延時間測定部28は、第1のクロック番号(クロック番号Cn0)を取得した場合には第1のクロック番号を用いて遅延時間を測定するのがよい。遅延時間測定部28は、第1のクロック番号を取得できず第2のクロック番号(クロック番号Cn1)を取得した場合には第2のクロック番号を用いて遅延時間を測定するのがよい。遅延時間測定部28は、第6のクロック番号(クロック番号Cn5)を取得した場合には第6のクロック番号を用いて遅延時間を測定するのがよい。遅延時間測定部28は、第6のクロック番号を取得できず第5のクロック番号(クロック番号Cn4)を取得した場合には第5のクロック番号を用いて遅延時間を測定するのがよい。
遅延時間測定部28は1またはそれ以上の実施形態の遅延時間測定装置である。上記のように、遅延時間測定部28は、第1~第3のクロック番号のうちのいずれかのクロック番号と、第4~第6のクロック番号のうちのいずれかのクロック番号との差分を求める。これにより、遅延時間測定部28は、画像送信装置10が生成して画像受信装置20に送信した画像データを画像受信装置20が受信して表示するときの遅延時間を測定する。
1またはそれ以上の実施形態の画像送信装置、画像受信装置、及び遅延時間測定装置によれば、画像送信装置10からネットワーク30を介して画像受信装置20へと画像データを伝送するときの、より正確な遅延時間を把握することができる。
<遅延時間管理サーバ>
図8において、拠点B1~B3には、それぞれ、画像送受信装置120A~120Cが配置されている。画像送受信装置120A~120Cは、ネットワーク30を介して互いに双方向で通信する。画像送受信装置120A~120Cのいずれかを特定しない画像送受信装置を画像送受信装置120と称する。画像送受信装置120は、図2に示す画像送
信装置10と画像受信装置20との双方の構成を有する。
図8に示すように、概略的には、画像送受信装置120は、カメラ11、表示装置22、遅延時間測定部28、制御部122、送受信部121を備える。図8では図示が省略されているが、画像送受信装置120は、GNSS衛星電波時計13(または23)及びクロック生成部14(または24)を備え、カメラ11及び表示装置22には、148.5MHzクロックが供給される。送受信部121は、通信部16及び25に相当する。制御部122は、制御部111及び221に相当する。
図2に示す画像送信装置10は、図8に示す画像送受信装置120が画像送信装置として動作しているときの構成を詳細に記載したものである。図2に示す画像受信装置20は、図8に示す画像送受信装置120が画像受信装置として動作しているときの構成を詳細に記載したものである。
ネットワーク30には、遅延時間管理サーバ50が接続されている。遅延時間管理サーバ50は、画像送受信装置120A~120Cと互いに双方向で通信する。図9に示すように、遅延時間管理サーバ50は、拠点B1~B3に配置された画像送受信装置120A~120Cが送信側となって他の画像送受信装置120が受信側となっているときの遅延時間を記憶している。図9には、遅延時間に、時刻t0~t2のいずれの時刻から時刻t3~t5のいずれの時刻までの遅延時間であるかを示す情報を併記している。
遅延時間管理サーバ50は、画像送受信装置120A~120Cの遅延時間測定部28が遅延時間を測定するたびに図9に示す遅延時間を更新してもよい。遅延時間管理サーバ50は、所定の時間が経過するたびに、図9に示す遅延時間を、遅延時間測定部28が測定した最新の遅延時間に更新してもよい。画像送受信装置120は、遅延時間管理サーバ50に記憶されている遅延時間を読み出すことができる。
以上のように、1またはそれ以上の遅延時間管理サーバである遅延時間管理サーバ50は、ネットワーク30に接続されている。ネットワーク30には、少なくとも2つの画像送受信装置120である第1及び第2の画像送受信装置が双方向で互いに通信するように接続されている。画像送受信装置120A~120Cのうちの任意の2つの画像送受信装置120が第1及び第2の画像送受信装置である。
第1の画像送受信装置は、第2の画像送受信装置が生成して第1の画像送受信装置に送信する画像データを第1の画像送受信装置が受信して表示するときの第1の遅延時間を測定する第1の遅延時間測定部(遅延時間測定部28)を備える。第2の画像送受信装置は、第1の画像送受信装置が生成して第2の画像送受信装置に送信する画像データを第2の画像送受信装置が受信して表示するときの第2の遅延時間を測定する第2の遅延時間測定部(遅延時間測定部28)を備える。
遅延時間管理サーバ50は、ネットワーク30を介して第1の画像送受信装置より送信された第1の遅延時間と、ネットワーク30を介して第2の画像送受信装置より送信された第2の遅延時間を記憶する。
1またはそれ以上の実施形態の遅延時間管理サーバ50によれば、画像送信装置として動作する画像送受信装置120からネットワーク30を介して画像受信装置として動作する画像送受信装置120へと画像データを伝送するときの、より正確な遅延時間を管理することができる。
<画像データ受信時のタイミング調整方法>
一例として、図10において、拠点B1~B3それぞれで楽器を演奏し、演奏の監督者が位置している拠点B2の画像送受信装置120Bが画像送受信装置120A及び120Cから送信された画像データを受信する場合を考える。楽器の演奏は、被写体である人物が行う所定の動作の一例である。楽器を演奏する被写体は演奏者である。
画像送受信装置120Aのカメラ11は拠点B1の演奏者を撮影し、送受信部121は画像データを画像送受信装置120Bに送信する。画像送受信装置120Cのカメラ11は拠点B3の演奏者を撮影し、送受信部121は画像データを画像送受信装置120Bに送信する。画像送受信装置120Bのカメラ11は拠点B2の演奏者を撮影し、表示装置22は動画像を表示する。画像送受信装置120Bの表示装置22は、画像送受信装置120A~120Cが生成する動画像を同時に表示することがあってもよいし、画像送受信装置120A~120Cが生成する動画像を切り替えながら表示することがあってもよい。
画像送受信装置120A~120Cは、拠点B1~B3それぞれに位置している演奏者に演奏の開始を合図するためのタイミング指示部29を備える。図11に示すように、タイミング指示部29は、制御部291、時計292、操作部293、遅延時間補正値保持部294、表示部295を有する。時計292は、GNSS衛星電波時計13(または23)であってもよい。表示部295は、液晶パネルであってもよいし、LEDであってもよい。
タイミング指示部29は、操作部293によって演奏を開始する時刻を制御部291に設定すると、制御部291が、時計292が計時する時刻を監視して、演奏を開始するタイミングを知らせる合図を表示部295に表示するように構成されている。例えば13時00分00秒に拠点B1~B3それぞれで演奏を開始したとすると、拠点B1及びB3から拠点B2に画像データが送信されて表示装置22に表示されるまでに上記の遅延時間が存在するから、拠点B2で表示される拠点B1~B3全ての演奏のタイミングが一致しない。
そこで、送受信部121は、制御部122による制御に基づき、遅延時間管理サーバ50から図9に示す遅延時間を読み出し、タイミング指示部29の制御部291に供給する。制御部291は、遅延時間補正値保持部294に遅延時間に基づく遅延時間補正値を保持させる。ここでは、遅延時間をそのまま遅延時間補正値とした場合を例とする。
図10に示す例では、画像送受信装置120Aが備えるタイミング指示部29の遅延時間補正値保持部294は、拠点B1を送信側、拠点B2を受信側とする遅延時間10.3msを保持する。画像送受信装置120Cが備えるタイミング指示部29の遅延時間補正値保持部294は、拠点B3を送信側、拠点B2を受信側とする遅延時間10.2msを保持する。
画像送受信装置120Bが備えるタイミング指示部29の遅延時間補正値保持部294には、遅延時間補正値を保持させる必要はない。図10においては、送受信部121からタイミング指示部29へと遅延時間が供給されないので、送受信部121とタイミング指示部29との間を破線の矢印線にて示している。
画像送受信装置120Aが備えるタイミング指示部29の制御部291は、演奏を開始する時刻である13時00分00秒から遅延時間10.3ms前の時刻に演奏を開始するタイミングを知らせる合図を表示部295に表示する。画像送受信装置120Cが備えるタイミング指示部29の制御部291は、演奏を開始する時刻である13時00分00秒から遅延時間10.2ms前の時刻に演奏を開始するタイミングを知らせる合図を表示部
295に表示する。
画像送受信装置120Bが備えるタイミング指示部29の制御部291は、演奏を開始する時刻である13時00分00秒に演奏を開始するタイミングを知らせる合図を表示部295に表示する。
拠点B1~B3それぞれの演奏者は、拠点B1~B3それぞれのタイミング指示部29の表示部295に表示される合図に合わせて演奏を開始する。これにより、拠点B2の表示装置22に表示される画像データは、拠点B1~B3全ての演奏のタイミングが一致した状態で表示される。
図12に示すフローチャートを用いて、画像データの受信タイミングを合わせるための画像送受信装置120A~120Cが実行する処理を説明する。図12において、画像送受信装置120Bの制御部122は、ステップS31にて、画像送受信装置120Bを基準拠点に設定する。送信側拠点である画像送受信装置120A及び120Cの制御部122は、ステップS32にて、遅延時間管理サーバ50から該当する遅延時間を取得する。
画像送受信装置120A及び120Cの制御部291は、ステップS33にて、遅延時間補正値保持部294に遅延時間を遅延時間補正値として設定する。ここでは、遅延時間をそのまま遅延時間補正値とする。画像送受信装置120A~120Cの制御部291は、ステップS34にて、操作部293による操作入力に基づき演奏開始時刻を設定する。
送信側拠点である画像送受信装置120A及び120Cの制御部122は、ステップS351にて、演奏開始時刻より遅延時間補正値だけ早い時刻を演奏開始タイミングとして設定する。基準拠点である画像送受信装置120Bの制御部122は、ステップS352にて、演奏開始時刻を演奏開始タイミングとして設定する。
画像送受信装置120A及び120Cの制御部122は、ステップS361にて、現在時刻が演奏開始タイミングに到達したか否かを判定する。現在時刻が演奏開始タイミングに到達していなければ(NO)、制御部122はステップS361の処理を繰り返す。現在時刻が演奏開始タイミングに到達していれば(YES)、制御部122は処理をステップS371に移行させる。
画像送受信装置120Bの制御部122は、ステップS362にて、現在時刻が演奏開始タイミングに到達したか否かを判定する。現在時刻が演奏開始タイミングに到達していなければ(NO)、制御部122はステップS362の処理を繰り返す。現在時刻が演奏開始タイミングに到達していれば(YES)、制御部122は処理をステップS372に移行させる。
画像送受信装置120A及び120Cの制御部122は、ステップS371にて、演奏開始タイミングに演奏開始を知らせる合図を表示部295に表示するよう制御して、処理を終了させる。画像送受信装置120Bの制御部122は、ステップS372にて、演奏開始タイミングに演奏開始を知らせる合図を表示部295に表示するよう制御して、処理を終了させる。
以上のように、図10に示す画像伝送システムにおいて、送信側拠点に配置されている画像送信装置(画像送受信装置120Aまたは120C)は、カメラ11を備える。画像送信装置は、カメラ11が、所定の動作を行う被写体を撮影することによって生成した画像データを、ネットワーク30を介して基準拠点に配置されている画像受信装置(画像送受信装置120B)へと送信する。
画像伝送システムで実行されるタイミング調整方法は、画像受信装置が受信した画像データを表示装置22に表示するときの遅延時間を測定する。タイミング調整方法は、送信側拠点に配置されているタイミング指示部29に、遅延時間に基づく遅延時間補正値を設定する。タイミング調整方法は、タイミング指示部29によって、被写体が所定の動作を開始するよう指示されている時刻から遅延時間補正値が示す時間だけ前の時刻に所定の動作を開始するタイミングを被写体に知らせるよう合図する。
1またはそれ以上の実施形態のタイミング調整方法によれば、送信側拠点と基準拠点とで個別に行われる所定の動作を行う被写体を撮影した画像データを基準拠点で表示するときのタイミングを一致させるように調整することができる。
<画像データ受信時のフレームのタイミング調整方法>
図10に示す構成によって、演奏開始のタイミングを調整しても、画像送受信装置120A~120Cが生成する画像データのフレームのタイミングがずれており、画像送受信装置120A~120Cが生成する動画像を切り替えながら表示するときに画像ノイズが発生することがある。
図13は、画像データのフレームのタイミングのずれを補正するように構成された画像送受信装置120と、画像データのフレームのタイミングのずれを補正するのに好適な遅延時間管理サーバ50を示している。図13において、図10と同様に、画像送受信装置120Bは、画像送受信装置120A及び120Cから送信された画像データを受信する。
画像送受信装置120Bは垂直同期遅延回路123を有する。垂直同期遅延回路123には、送受信部121が受信した画像送受信装置120A及び120Cから送信された画像データと、カメラ11より出力される画像データとが入力される。画像送受信装置120A及び120Cから送信された画像データの垂直同期信号は、カメラ11より出力される画像データの垂直同期信号に対して遅れているとする。
垂直同期遅延回路123は、カメラ11より出力される画像データの垂直同期信号に対する、画像送受信装置120A及び120Cから送信された画像データの垂直同期信号のずれを低減させるよう、カメラ11より出力される画像データの垂直同期を遅延させる。画像送受信装置120A及び120Cから送信された画像データの垂直同期信号のずれ量が異なる場合は、垂直同期遅延回路123は、ずれ量の少ない方の画像データの垂直同期を遅延させ、ずれ量の大きい方に一致させる。垂直同期遅延回路123は、カメラ11からの画像データを、そのずれ量に合わせるように遅延させることで、3つの画像データの垂直同期を合わせる。
垂直同期遅延回路123は、カメラ11より出力される画像データの垂直同期信号に対する、画像送受信装置120Aから送信された画像データの垂直同期信号の第1の遅延時間と、画像送受信装置120Cから送信された画像データの垂直同期信号の第2の遅延時間とを送受信部121に供給する。垂直同期遅延回路123は、第1及び第2の遅延時間を測定する垂直同期ずれ量測定部として機能する。
送受信部121は、制御部122による制御に基づき、第1及び第2の遅延時間を、ネットワーク30を介して遅延時間管理サーバ50に送信する。第1の遅延時間は3.2ms、第2の遅延時間は0.3msであったとする。
図14に示すように、遅延時間管理サーバ50は、拠点B1を送信側、拠点B2を受信
側とするときの遅延時間10.3msに第1の遅延時間である3.2msを加算した遅延時間を記憶する。また、遅延時間管理サーバ50は、拠点B3を送信側、拠点B2を受信側とするときの遅延時間10.2msに第2の遅延時間である0.3msを加算した遅延時間を記憶する。
画像送受信装置120A及び120Cにおけるタイミング指示部29の遅延時間補正値保持部294は、それぞれ、遅延時間(10.3+3.2)ms及び(10.2+0.3)msを遅延時間補正値として保持する。
画像送受信装置120Aにおけるタイミング指示部29の制御部291は、演奏を開始する時刻から遅延時間補正値である(10.3+3.2)ms前の時刻に演奏を開始するタイミングを知らせる合図を表示部295に表示する。画像送受信装置120Cにおけるタイミング指示部29の制御部291は、演奏を開始する時刻から遅延時間補正値である(10.2+0.3)ms前の時刻に演奏を開始するタイミングを知らせる合図を表示部295に表示する。
これにより、拠点B2の表示装置22に表示される画像データは、拠点B1~B3全ての演奏のタイミングが一致した状態で表示されるだけでなく、画像送受信装置120A~120Cが生成する画像データのフレームのタイミングのずれも補正される。
時間の経過により、カメラ11より出力される画像データの垂直同期信号に対して、画像送受信装置120Aまたは120Cから送信された画像データの垂直同期信号がずれている場合には、垂直同期遅延回路123によって垂直同期信号のずれを低減させるよう、カメラ11より出力される画像データの垂直同期を遅延させることができる。
さらに、カメラ11より出力される画像データの垂直同期信号に対する、画像送受信装置120Aから送信された画像データの垂直同期信号の第1の遅延時間と、画像送受信装置120Cから送信された画像データの垂直同期信号の第2の遅延時間とが遅延時間管理サーバ50に送信されて、最新の第1及び第2の遅延時間に更新される。よって、画像送受信装置120A~120Cが生成する画像データのフレームのタイミングは、所定の時間ごとに常に最適な状態に補正される。
以上のように、図13に示す画像伝送システムにおいて、ネットワーク30を介して、第1のカメラ(カメラ11)を備える画像送信装置(画像送受信装置120Aまたは120C)と第2のカメラ(カメラ11)及び表示装置22を備える画像受信装置とが接続されている。画像受信装置(画像送受信装置120B)は、遅延時間測定部28と、垂直同期ずれ量測定部として機能する垂直同期遅延回路123を備える。
遅延時間測定部28は、第1のカメラが生成して画像送信装置が画像受信装置に送信する第1の画像データを画像受信装置が受信して表示装置22に表示するときの遅延時間を測定する。垂直同期遅延回路123は、第1の画像データと、第2のカメラが生成して表示装置22に表示する第2の画像データとの垂直同期がずれている時間を示す垂直同期ずれ量を測定する。遅延時間管理サーバ50は、ネットワーク30を介して画像受信装置より送信された遅延時間及び垂直同期ずれ量を記憶する。
図13に示す画像伝送システムは、送信側拠点に配置されている画像送信装置が備える第1のカメラが、所定の動作を行う第1の被写体を撮影することによって生成した第1の画像データを、ネットワーク30を介して基準拠点に配置されている画像受信装置へと送信する。画像伝送システムで実行されるタイミング調整方法は、画像受信装置が受信した第1の画像データを表示装置22に表示するときの遅延時間を測定する。
画像伝送システムで実行されるタイミング調整方法は、第1の画像データと、画像受信装置が備える第2のカメラが、所定の動作を行う第2の被写体を撮影することによって生成した第2の画像データとの垂直同期がずれている時間を示す垂直同期ずれ量を測定する。画像伝送システムで実行されるタイミング調整方法は、送信側拠点に配置されているタイミング指示部29に、遅延時間と垂直同期ずれ量とを加算した遅延時間に基づく遅延時間補正値を設定する。
画像伝送システムで実行されるタイミング調整方法は、タイミング指示部29によって、第1の被写体が所定の動作を開始するよう指示されている時刻から遅延時間補正値が示す時間だけ前の時刻に前定の動作を開始するタイミングを第1の被写体に知らせるよう合図する。
1またはそれ以上の実施形態の遅延時間管理サーバによれば、画像送信装置として動作する画像送受信装置120からネットワーク30を介して画像受信装置として動作する画像送受信装置120へと画像データを伝送するときの、より正確な遅延時間と垂直同期ずれ量とを管理することができる。1またはそれ以上の実施形態のタイミング調整方法によれば、送信側拠点と基準拠点とで個別に行われる所定の動作を行う被写体を撮影した画像データを基準拠点で表示するときの、画像データのフレームのタイミングを含むタイミングを一致させるように調整することができる。
本発明は以上説明した1またはそれ以上の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。