JP7480908B2 - 映像合成装置及び映像合成方法 - Google Patents

Description

本発明は、複数のカメラからの映像を１の画面に合成する映像合成装置及び映像合成方法に関する。

近年、多くの映像デバイスが利用されている。この映像デバイスは、規格によって、物理的な映像信号の特性や制御信号の規定に差異があるものの、１画面をそのフレームレート分の１の時間を使って伝送する。例えば、１秒間に６０フレーム（以下、６０ｆｐｓ（Ｆｒａｍｅ ｐｅｒ Ｓｅｃｏｎｄ）という。）の映像信号であれば、１／６０ｓ、すなわち約１６．８ｍｓを掛けて１画面の映像を伝送する。

１フレーム分の映像信号を図１に示す。図１において、５１は１フレーム分の映像信号、５２はブランキング、５３は走査線、５４は表示画面である。この映像信号５１では、画面を横方向に１ライン毎に走査線５３のように走査して、順次下方向へ進む。この走査には、表示画面５４の他、ブランキング５２、やオーバヘッド情報/信号を含む。ブランキング５２に、制御情報や音声情報など、映像情報以外の情報を含む場合もある（例えば、非特許文献１参照。）。

これらの映像の利用方法には、テレビ会議など、複数のカメラをカメラの数よりも少ないモニタで表示するような形態がある。例えば、図２に複数のカメラからの映像をカメラの数よりも少ないモニタで表示する形態を示す。図２において、２００は映像合成装置、２０はカメラ、２２はモニタである。４台のカメラ２０からの映像を映像合成装置２００で１の画面に合成し、モニタ２２で表示する。

通常、それぞれのカメラの撮像する映像のタイミングは同期されておらず、合成する他の映像のタイミングが異なることから、映像をメモリなどに一時的にバッファリングしてから合成する。結果として、合成映像の出力には遅延が発生する。遅延の発生を図３で説明する。図３は、４つの異なるタイミングの映像を入力とし、１画面に合成して出力する映像合成のタイミングチャートである。全ての映像を読み込んでから合成し、出力する形態の場合を考える。フレーム時間をＴｆ、合成処理時間をＴｐとすると、最初の映像入力から映像出力までの最大遅延時間は、２Ｔｆ＋Ｔｐとなる。例えば、６０ｆｐｓの映像を考えると、２フレーム時間以上、すなわち３４．５ｍｓ以上の遅延が合成後の映像に含まれる可能性がある。

このような映像合成を行うテレビ会議システムを用いて、遠隔地などでの合奏等を行うことを想定すると、この映像合成に関わる遅延は、その実現性を大きく損なうこととなる。例えば、１分間に１２０拍の曲（以下、１２０ＢＰＭ（Ｂｅａｔ Ｐｅｒ Ｍｉｎｕｔｅ））であれば、１拍の時間は、６０／１２０ｓ＝５００ｍｓである。仮にこれを、５％の精度で合わせることが必要であるとすると、カメラが撮像して表示するまでの遅延を５００ｍｓ＊０．０５=２５ｍｓ以下に抑える必要がある。

カメラが撮像して表示するまでには、実際には、合成に関わる処理以外に、カメラでの映像処理時間、モニタでの表示時間、伝送に関わる時間などの、その他の遅延も含む必要がある。結果として、従来技術では、遠隔地で相互に映像を見ながらの合奏等のタイミングが重視される用途での、協調作業は困難である。

低遅延要求に対して、複数拠点の複数のカメラからの映像を合成する際に、複数の映像の入力から、その合成映像の出力までの時間を低遅延化する技術が有効である。

映像の合成を低遅延で行う方法として、各カメラからの映像のフレームのタイミングが揃うよう、映像合成装置又は外部装置から各カメラに対して適切な撮像タイミングを指示するトリガーを与える方法がある（例えば、非特許文献２参照。）。ｇｅｎＩｃａｍ規格のｔｒｉｇｇｅｒ ｍｏｄｅを用いると、ｇｉｇＥカメラなどへ電気的なトリガーを矩形波として与えることで、所望のタイミングでカメラに映像を撮像させることができる。

非特許文献２の方法を図４に示す。図４は、複数のカメラからの映像をカメラの数よりも少ないモニタで表示する形態を説明する図である。図４において、２１０は映像合成装置、２０はカメラ、２２はモニタである。映像合成装置２１０からの撮像トリガーに合わせて、各カメラ２０が撮像する。各カメラ２０からの映像を映像合成装置２１０で１の画面に合成し、モニタ２２に出力する。映像合成のタイミングチャートを図５に示す。フレーム時間をＴｆ、処理時間をＴｐとすると、最初の映像入力から映像出力までの最大遅延時間は、Ｔｆ＋Ｔｐとなる。

ＶＥＳＡ ａｎｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄｓ ａｎｄ Ｇｕｉｄｅｌｉｎｅｓ ｆｏｒ Ｃｏｍｐｕｔｅｒ Ｄｉｓｐｌａｙ Ｍｏｎｉｔｏｒ Ｔｉｍｉｎｇ （ＤＭＴ）、Ｖｅｒｓｉｏｎ １．０、Ｒｅｖ．１３、Ｆｅｂｒｕａｒｙ ８、２０１３ ＥＭＶＡ、"ＧｅｎＩＣａｍ Ｓｔａｎｄａｒｄ Ｆｅａｔｕｒｅｓ Ｎａｍｉｎｇ Ｃｏｎｖｅｎｔｉｏｎ Ｖｅｒｓｉｏｎ ２．３、５． ２６． ２０１６、ｈｔｔｐｓ：／／ｗｗｗ．ｅｍｖａ．ｏｒｇ／ｗｐ－ｃｏｎｔｅｎｔ／ｕｐｌｏａｄｓ／ＧｅｎＩＣａｍ＿ＳＦＮＣ＿２＿３．ｐｄｆ

非特許文献２の方法を、遠隔地をつなぐテレビ会議システムに適用する形態を図６に示す。図６は、複数のカメラからの映像をカメラの数よりも少ないモニタで表示する形態を説明する図である。図６において、２１０は映像合成装置、２０はカメラ、２１は通信ネットワーク、２２はモニタである。図６に示すように、カメラ２０と映像合成装置２１０との間に、信号を伝送するための通信ネットワーク２１が介在することになる。このような通信ネットワークを介してトリガー信号を送付しようとすると、通信ネットワークの伝送遅延揺らぎに応じてトリガー信号のひずみが発生することとなる。通信ネットワークの平均的な片道伝送遅延をｔとしたとき、その揺らぎによって発生する追加遅延Δｔの影響を考えると、最大で２Δｔの追加遅延が発生する。映像合成のタイミングチャートを図７に示す。フレーム時間をＴｆ、処理時間をＴｐ、追加遅延を２Δｔとすると、最初の映像入力から映像出力までの最大遅延時間は、Ｔｆ＋Ｔｐ＋２Δｔとなる。

非特許文献２の方法であっても、通信ネットワークを介すると、複数拠点の複数の映像を合成する際に、複数の映像の入力から、その合成映像の出力までの時間に大きな遅延を避けることができない。このため、複数の映像の入力から、その合成映像の出力までの時間を低遅延化するという課題があった。

そこで、本開示の発明は、複数の映像の入力から、その合成映像の出力までの時間を低遅延化することを目的とする。

本開示の映像合成装置では、複数のカメラからの映像のタイミングが一致するように、各カメラに対して撮像するフレームレートの周波数制御を行うこととした。

具体的には、本開示の映像合成装置は、
複数のカメラからの映像を１の画面に合成する際に、それぞれの映像のフレームのタイミングと所定のタイミングとの時間ずれを検出し、
前記カメラに対して、前記時間ずれが減少するように、撮像するフレームレートを指示し、
前記複数のカメラからの映像を１の画面に合成して出力する。

具体的には、本開示の映像合成装置は、
指示するフレームレートは、映像を合成する映像合成フレームレートから一定値だけ離れた値であることを特徴とする。

具体的には、本開示の映像合成装置は、
指示するフレームレートは、映像を合成する映像合成フレームレートから前記時間ずれに応じた値だけ離れた値であることを特徴とする。

具体的には、本開示の映像合成装置は、
前記フレームレートを定期的に指示することを特徴とする。

具体的には、本開示の映像合成装置は、
前記時間ずれが一定値以下であれば、指示するフレームレートを固定することを特徴とする。

具体的には、本開示の映像合成装置は、
前記所定のタイミングは、合成処理開始タイミングであることを特徴とする。

具体的には、本開示の映像合成装置は、
前記合成処理開始タイミングは、前記複数のカメラからの映像のフレーム終了タイミングの平均値であることを特徴とする。

本開示の映像合成方法では、複数のカメラからの映像のタイミングが一致するように、各カメラに対して撮像するフレームレートの周波数制御を行うこととした。

具体的には、本開示の映像合成方法は、
複数のカメラからの映像を１の画面に合成する際に、それぞれの映像のフレームのタイミングと所定のタイミングとの時間ずれを検出し、
前記カメラに対して、前記時間ずれが減少するように、撮像するフレームレートを指示し、
前記複数のカメラからの映像を１の画面に合成して出力する。

本開示の映像合成装置又は映像合成方法によれば、複数の映像の入力から、その合成映像の出力までの時間を低遅延化することができる。

１フレーム分の映像信号を示す図である。 複数のカメラからの映像をカメラの数よりも少ないモニタで表示する形態を説明する図である。 映像合成のタイミングチャートである。 複数のカメラからの映像をカメラの数よりも少ないモニタで表示する形態を説明する図である。 映像合成のタイミングチャートである。 複数のカメラからの映像をカメラの数よりも少ないモニタで表示する形態を説明する図である。 映像合成のタイミングチャートである。 複数のカメラからの映像をカメラの数よりも少ないモニタで表示する本開示の形態を説明する図である。 映像合成のタイミングチャートである。 映像合成のタイミングチャートである。 映像合成装置の構成を説明する図である。 制御方法を説明する図である。 決定するフレームレートの制御関数の例である。 制御方法を説明する図である。 制御方法を説明する図である。

以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。

本開示の映像合成装置は、複数のカメラからの映像を１の画面に合成する際に、複数の映像のタイミングと所定のタイミングとの時間ずれが減少するように、カメラの撮像するフレームレートの周波数制御を行う。

カメラの撮像するフレームレートの周波数制御は、例えば、ｇｉｇＥｖｉｓｉｏｎやＵＳＢＶｉｓｉｏｎに対応したカメラに対して、ＧｅｎＩＣａｍのような制御インターフェースを利用して実行可能である。また、ＨＤＭＩに対応したカメラに対しても、利用可能周波数は選択的になるものの、解像度やフレームレートによっては適用可能である。

ここで、ｇｉｇＥｖｉｓｉｏｎとは、インターネット経由でカメラのコントロールや撮像した映像信号をパソコンなどに伝送するために、ＡＩＡ（Ａｕｔｏｍａｔｅｄ Ｉｍａｇｉｎｇ Ａｓｓｏｃｉａｔｉｏｎ）によって策定された規格である。
ＵＳＢＶｉｓｉｏｎとは、カメラからの映像データをユーザバッファへ転送するために、ＡＩＡによって策定された規格である。
ＧｅｎＩＣａｍとは、カメラの種類や映像伝送の形式に係らず、幅広い標準インターフェースの設定をエンドツーエンドで行うために、ＥＭＶＡ（Ｅｕｒｏｐｅａｎ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ａｓｓｏｃｉａｔｉｏｎ）によって策定されたソフトウェアインターフェース規格である。
ＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）とは、ＡＶ機器向けに、企業７社によって策定された伝送規格である。

複数のカメラからの映像をカメラの数よりも少ないモニタで表示する本開示の形態を図８に示す。図８において、１００は本開示の映像合成装置、２０はカメラ、２１は通信ネットワーク、２２はモニタである。映像合成装置１００は、通信ネットワーク２１を介して複数のカメラ２０から入力された映像を１の画面に合成し、モニタ２２に出力する。図８では、映像合成装置１００は４入力チャネルとしているが、入力数は任意の数でもよい。

本開示の映像合成装置１００が映像を合成するタイミングチャートを図９に示す。図９では、４入力チャネルを例示しているが、これらの数に限定されるものではない。図９において、「ｉ、ｋフレーム」とは、ｉ番目の入力チャネルに入力された映像のｋ番目のフレームを表す。以後も同様である。映像合成装置１００は、ｉ番目の入力チャネルに入力された映像のｋ番目のフレームのタイミングが所定のタイミング、例えば、図９では合成処理を開始したいタイミングと一致しない場合、これらのタイミングの時間ずれを検知し（図９の（１））、ｉ番目の入力チャネルにつながっているカメラ２０に対して、映像合成装置１００の出力するフレームレートとわずかに異なるフレームレートで撮像するよう指示する（図９の（２））。これにより、「ｉ、ｋ＋１フレーム」、「ｉ、ｋ＋２フレーム」と徐々に、時間ずれが減少していく。

映像合成装置１００は、標準フレームレートに準じて、映像を合成する映像合成フレームレートを持つ。例えば、標準フレームレートが公称１２０ｆｐｓのカメラ群に対して、映像合成装置１００は、映像合成フレームレートを１２０ｆｐｓと設定する。図９において、標準フレームレートが公称１２０ｆｐｓのカメラ２０の群に対して、映像合成装置１００が、カメラ２０のうちｉ番目の入力チャネルに入力された映像のｋ番目のフレームのタイミングが、合成処理を開始したいタイミングよりも遅れていることを検出すると、ｉ番目の入力チャネルにつながっているカメラ２０に対して、映像合成フレームレートから一定値だけ離れた（１２０＋Δｆ）ｆｐｓのフレームレートで撮像するよう指示する。映像合成装置１００が、ｉ番目の入力チャネルに入力された映像のｋ番目のフレームのタイミングが、合成処理を開始したいタイミングよりも進んでいることを検出すると、ｉ番目の入力チャネルにつながっているカメラ２０に対して、映像合成フレームレートから一定値だけ離れた（１２０－Δｆ）ｆｐｓのフレームレートで撮像するよう指示する。フレームのタイミングの遅れや進みの時間ずれは、フレーム長の１／２以下である。フレームの１／２以上になると、前のフレーム又は次のフレームの方が合成処理を開始したいタイミングに近くなるからである。Δｆ＝１ｆｐｓとすると、１フレーム当たりに補償できる遅延時間は、１／１２０－１／１２１＝０．７ｍｓとなり、ＧｅｎＩＣａｍの規定する制御分解能の範囲で精度よく制御することができる。

上記では、指示するフレームレートは映像合成フレームレートから一定値だけ離れた値であったが、映像合成フレームレートから可変量の値だけ離れていてもよい。例えば、ｉ番目の入力チャネルに入力された映像のｋ番目のフレームのタイミングと合成処理を開始したいタイミングとの時間ずれに応じて、映像合成フレームレートから離れた値のフレームレートを指示してもよい。あるいは、時間ずれが予め定めた値より大きければ、映像合成フレームレートからΔｆだけ離れたフレームレートを指示し、時間ずれが予め定めた値より小さければ、映像合成フレームレートから１／２Δｆだけ離れたフレームレートを指示してもよい。

本開示の映像合成装置１００が映像を合成するタイミングチャートを図１０に示す。図１０において、映像合成装置１００は、ｉ番目の入力チャネルに入力された映像のｋ番目のフレームのタイミングと所定のタイミングとの時間ずれを常時、検出してもよいし（図１０の（１）をフレームごとに常時実行）、一定周期で定期的に検出してもよい（図１０の（１）を数フレームごとに定期的に実行）。また、映像合成装置１００は、ｉ番目の入力チャネルにつながっているカメラ２０に対して、常時、フレームレートを指示してもよいし（図１０の（２）をフレームごとに常時実行）、一定周期で定期的に指示してもよい（図１０の（２）を数フレームごとに定期的に実行）。

図１０において、映像合成装置１００は、ｉ番目の入力チャネルに入力された映像のｋ番目のフレームのタイミングと所定のタイミングとの時間ずれがあれば、カメラ２０に対して、新たなフレームレートを指示してもよい（図１０の（３）上段）。また、ｉ番目の入力チャネルに入力された映像のｋ＋ｎ＋ｍ番目のフレームのタイミングと所定のタイミングとの時間ずれが一定値以下であれば、指示するフレームレートを合成フレームレートに固定するか（図１０（３）下段）、新たなフレームレートを指示しないことでもよい。

指示するフレームレートを固定するか、新たなフレームレートを指示しないことにすれば、カメラ２０の撮像するフレームレートの固定化が完了した後、関連機器の設定変更や通信ネットワークの特性が変化しない限り、追加の制御が必要なく、発生する通信量を最小限に抑えることができる。

以上説明したように、本開示の映像合成装置及び映像合成方法は、カメラの撮像するタイミングを制御することなく、フレームレートのみを制御しているため、制御信号の伝送遅延揺らぎの影響を受けにくい。カメラにフレームレートを指示するタイミングが遅れたとしても、フレームレートの固定化が完了するまでの所用時間が延びるだけである。カメラに対してフレームレートを指示して時間ずれを減少させ続けると、いずれは過度な制御となり、時間ずれの遅進が反対方向に増加することとなるが、フレームレートの指示を短い周期で行えばよい。例えば、タイミングの時間ずれが３．５ｍｓ以下を保証したい場合、合成処理フレームレート１２０ｆｐｓに対して、撮像するフレームレート１２１ｆｐｓで指示すると、１フレーム当たりに補償できる遅延時間が０．７ｍｓであることから、５フレーム分だけ、１２１ｆｐｓで撮像させ、その後、合成処理フレームレート１２０ｆｐｓを指示すればよい。フレームレートを指示する信号が、通信ネットワークによって１フレーム分（８．３ｍｓ）だけ遅延揺らぎが生じても、映像合成装置に到達する遅延は０．７ｍｓ程度である。

本開示の映像合成装置の構成を図１１に示す。図１１において、１００は映像合成装置、１０１は時間ずれ検出回路、１０２はフレームレート算出回路、１０３はクロスバスイッチ、１０４はアップダウンコンバータ、１０５はバッファ、１０６は画素合成回路、２０はカメラ、２１は通信ネットワーク、２２はモニタである。図１１では、映像合成装置１００は４入力としているが、任意の数でもよい。

時間ずれ検出回路１０１は、カメラ２０からの映像のフレームのタイミングと所定のタイミングとの時間ずれを検出する。フレームレート算出回路１０２は、時間ずれ検出回路１０１の検出した時間ずれが減少するように、カメラ２０の撮像するフレームレートを算出し、算出したフレームレートをカメラ２０に指示する。クロスバスイッチ１０３は、映像入力を任意の順番に並べ替えて出力する。並べ替えを指示する機能を時間ずれ検出回路１０１に持たせてもよい。アップダウンコンバータ１０４は、映像の画素数を任意の大きさに拡大縮小する。クロスバスイッチ１０３とアップダウンコンバータ１０４は、入力に対して図１１とは逆の順に接続されていてもよい。バッファ１０５は、入力された映像をバッファリングする。クロスバスイッチ１０３に替えて、出力する映像の順番を任意に入れ替える機能をバッファ１０５に持たせてもよい。画素合成回路１０６は、バッファ１０５からの映像を読み出し、出力する。画素合成回路１０６には、画面のブランキング部分に任意の制御信号を付加する機能を持たせてもよい。

時間ずれ検出回路１０１の検出する時間ずれの基点となる所定のタイミングとしては、映像合成装置１００の合成処理開始タイミングとしてもよい。ｉ番目のカメラが撮像した映像のｋ番目のフレームの終了タイミングが、映像合成装置１００の合成処理開始タイミングと時間ずれがある場合の制御を図１２で説明する。図１２において、時間ずれ検出回路１０１は、合成処理開始タイミングｔ１を記録する。また、ｉ番目のカメラが撮像した映像のｋ番目のフレームの終了タイミングｔ２を記録し、合成処理開始タイミングｔ１との時間ずれを検出する。

合成処理開始タイミングの例として、複数のカメラからの映像のフレーム終了タイミングの平均値としてもよい。例えば、ｇｉｇＥカメラは映像に撮像タイミングのタイムスタンプを記録しており、複数のカメラから取得した映像に記録されたタイムスタンプの時間差の揺らぎが大きい場合には、複数のカメラからの映像のフレーム終了タイミングの平均値として、次式に従って導出してもよい。
フレーム終了タイミングの平均値＝（１／Ｎ）＊Σ（ｔ２（ｋ）－ｔ１（ｋ））
但し、ｔ１（０）＝ｔ１（０）＋ｎ＊１／ｆ０
Ｎはフレーム終了タイミングの平均値を導出する映像の数
ｔ１（ｋ）はｋ番目のフレームに対する合成処理開始タイミング
ｔ１（ｋ）はｋ番目のフレームの終了タイミング
ｆ０は映像合成フレームレート

時間ずれ検出回路１０１の検出した時間ずれを基に、フレームレート算出回路１０２は、時間ずれが減少するようにフレームレートｆを算出する。算出するフレームレートの制御関数の例を図１３に示す。時間ずれが｜ｔ２－ｔ１｜＞１／（２＊ｆ０）のときは、比較するカメラからの映像のフレームを次のフレーム又は前のフレームとすれば、｜ｔ２－ｔ１｜＞１／（２＊ｆ０）の範囲の規定は不要となる。

図１３（ａ）では、｜ｔ２－ｔ１｜＜１／（２＊ｆ０）の範囲では、ｔ２－ｔ１＞０のときはフレームレートを早くするよう制御し、ｔ２－ｔ１＜０のときはフレームレートを遅くするように制御する。決定するフレームレートｆと映像合成フレームレートｆ０との差（ｆ－ｆ０）の大きさは、時間ずれの絶対値｜ｔ２－ｔ１｜に応じた値として、時間ずれの収束を早めている。この制御関数は線形でなくてもよい。例えば、階段状としてもよい。

図１３（ｂ）では、｜ｔ２－ｔ１｜＜１／（２＊ｆ０）の範囲では、ｔ２－ｔ１＞０のときはフレームレートを早くするよう制御し、ｔ２－ｔ１＜０のときはフレームレートを遅くするように制御する点では図１３（ａ）の制御と同じである。時間ずれの絶対値｜ｔ２－ｔ１｜の小さい範囲では、カメラ２０に指示するフレームレートは、映像合成フレームレートと同じとし、時間ずれの絶対値｜ｔ２－ｔ１｜の大きい範囲では、決定するフレームレートｆと映像合成フレームレートｆ０との差（ｆ－ｆ０）の大きさが一定値となる制御関数としている。

映像合成装置の持つクロックとカメラの持つクロックに誤差があっても、本開示の映像合成装置及び映像合成方法であれば、時間ずれ（ｔ２－ｔ１）を最小化することができる。この場合、上記の制御関数は、必ずしも原点０を通らなくてもよい。映像合成装置の持つクロックとカメラの持つクロックに誤差がある場合、合成処理開始タイミングとフレーム終了タイミングが完全に同期するのはｆ－ｆ０＝０のときではないからである。

図１４に示すように、時間ずれ（ｔ２－ｔ１）がまだ大きい場合は、フレームレート算出回路１０２はフレームレートｆを再計算して、決定する。図１５に示すように、時間ずれ（ｔ２－ｔ１）が減少した場合は、フレームレート算出回路１０２はフレームレートｆを固定してもよいし、再計算してもよい。

時間ずれがある場合に、指示するフレームレートｆを合成処理フレームレートｆ０から一定値｜ｆ－ｆ０｜だけ離れた値とする場合、フレームレート算出回路１０２は、決定したフレームレートｆと映像合成フレームレートｆ０との差（ｆ－ｆ０）及び時間ずれ（ｔ２－ｔ１）を用いて、時間ずれが最小となる見込み時間Ｔを算出してもよい。見込み時間Ｔは次式で計算できる。
T＝（ｔ２－ｔ１）＊（１／ｆ０）／｜１／ｆ－１／ｆ０｜
フレームレート算出回路１０２は、見込み時間Ｔが経過するまでは、一定値のフレームレートを指示し、見込み時間Ｔが経過後に、再計算してもよい。

フレームレート算出回路１０２は決定したフレームレートをそれぞれのカメラ２０に指示する。各カメラ２０は指示されたフレームレートで撮像する。

以上説明したように、本開示の映像合成装置及び映像合成方法は、複数の映像の入力から、その合成映像の出力までの時間を低遅延化することができる。また、それぞれ遠隔地にある複数のカメラからの映像のフレームのタイミングに揺らぎが生じても、複数の映像の入力から、その合成映像の出力までの時間を低遅延化することができる。さらに、映像合成装置のクロックとカメラのクロックとの間に誤差があっても、フレームレートを制御することにより、複数の映像の入力から、その合成映像の出力までの時間を低遅延化することができる。

本開示は情報通信産業に適用することができる。

１００：映像合成装置
１０１：時間ずれ検出回路
１０２：フレームレート算出回路
１０３：クロスバスイッチ
１０４：アップダウンコンバータ
１０５：バッファ
１０６：画素合成回路
２００：映像合成装置
２１０：映像合成装置
２０：カメラ
２１：通信ネットワーク
２２：モニタ
５１：１フレーム分の映像信号
５２：ブランキング
５３：走査線
５４：表示画面

Claims (9)

1. 複数のカメラからの映像を１の画面に合成する際に、それぞれの映像のフレームのタイミングと合成処理のタイミングとの時間ずれを検出し、
   前記検出の結果に応じて、前記時間ずれが減少するようなフレームレートを、映像を合成する映像合成フレームレートから該当するカメラの制御分解能に相当する一定値だけ離れた値に決定し、
   前記決定したフレームレートを、該当するカメラに指示し、
   前記複数のカメラからの映像を１の画面に合成して出力する映像合成装置。
2. 複数のカメラからの映像を１の画面に合成する際に、それぞれの映像のフレームのタイミングと合成処理のタイミングとの時間ずれを検出し、
   フレーム長よりも短いしきい値と前記時間ずれを比較する制御関数を参照することで、前記検出の結果に応じて、前記時間ずれが減少するようなフレームレートを、該当するカメラの制御分解能で定められる値に決定し、
   前記決定したフレームレートを、該当するカメラに指示し、
   前記複数のカメラからの映像を１の画面に合成して出力する映像合成装置。
3. 複数のカメラからの映像を１の画面に合成する際に、それぞれの映像のフレームのタイミングと合成処理のタイミングとの時間ずれを検出し、
   前記検出の結果に応じて、前記時間ずれが減少するようなフレームレートを、該当するカメラの制御分解能で定められる値に決定し、
   前記決定したフレームレートに応じたフレーム数を、該当するカメラに指示し、
   前記複数のカメラからの映像を１の画面に合成して出力する映像合成装置。
4. 前記該当するカメラの制御分解能で定められる値は、映像を合成する映像合成フレームレートから前記時間ずれに応じた値だけ離れた階段状の値であることを特徴とする請求項２又は３に記載の映像合成装置。
5. 前記フレームレートを定期的に指示することを特徴とする請求項１又は２に記載の映像合成装置。
6. 前記合成処理のタイミングは、合成処理開始タイミング、或いは前記複数のカメラからの映像のフレーム終了タイミングの平均値であることを特徴とする請求項１から３のいずれかに記載の映像合成装置。
7. 複数のカメラからの映像を１の画面に合成する際に、それぞれの映像のフレームのタイミングと合成処理のタイミングとの時間ずれを検出し、
   前記検出の結果に応じて、前記時間ずれが減少するようなフレームレートを、映像を合成する映像合成フレームレートから該当するカメラの制御分解能に相当する一定値だけ離れた値に決定し、
   前記決定したフレームレートを、該当するカメラに指示し、
   前記複数のカメラからの映像を１の画面に合成して出力する映像合成方法。
8. 複数のカメラからの映像を１の画面に合成する際に、それぞれの映像のフレームのタイミングと合成処理のタイミングとの時間ずれを検出し、
   フレーム長よりも短いしきい値と前記時間ずれを比較する制御関数を参照することで、前記検出の結果に応じて、前記時間ずれが減少するようなフレームレートを、該当するカメラの制御分解能で定められる値に決定し、
   前記決定したフレームレートを、該当するカメラに指示し、
   前記複数のカメラからの映像を１の画面に合成して出力する映像合成方法。
9. 複数のカメラからの映像を１の画面に合成する際に、それぞれの映像のフレームのタイミングと合成処理のタイミングとの時間ずれを検出し、
   前記検出の結果に応じて、前記時間ずれが減少するようなフレームレートを、該当するカメラの制御分解能で定められる値に決定し、
   前記決定したフレームレートに応じたフレーム数を、該当するカメラに指示し、
   前記複数のカメラからの映像を１の画面に合成して出力する映像合成方法。

Images