JP5907016B2 - 動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像通信装置 - Google Patents

Description

開示の技術は動画像符号化装置、動画像符号化方法、動画像符号化プログラム、及び動画像通信装置に関する。

高速ネットワーク網の普及や、パーソナルコンピュータ、携帯電話等に搭載されるプロセッサの処理能力の向上によって、テレビ電話やテレビ電話会議等、遠距離にいる人物と動画像通信によるコミュニケーションをとることが可能となっている。

また、動画像通信において、通信相手があたかもそばにいるようなリアリティを追求するには、通信相手との視線一致、高解像度及び実寸大の画像表示、高フレームレート及び低遅延での通信といった要素が非常に重要となる。

従来、通信相手をカメラにより撮影した撮影画像から通信相手の位置や視線を検出し、検出した通信相手の位置や視線に基づいて自分を撮影している複数のカメラの中から選択されたカメラの撮影画像を符号化して通信相手に転送する技術がある。この技術によれば、人物の移動による視線方向のずれを解消することができ、あたかも窓を介して会話をしているような臨場感が得られる。

特開２００４−１９３９６２号公報 特開２０１１−９１６１４号公報 特開２００８−２５２６５１号公報

しかしながら、上記技術は、転送データ量を削減するために動画像データを圧縮符号化して送信する際、通信相手の位置が変化してから撮影するカメラを切り替えて撮影画像の符号化を行うため、符号化に要する時間分、動画像データの通信が遅延してしまう。

また、多視点の動画像の符号化方法として、視点間の動き予測を用いた効率的な符号化を行うことによって、複数の視点の動画像を転送する方法がITU-T Rec. H.264 Annex H(Multiview video coding、以下MVC)により規格化されている。

しかしながら、符号化側、復号化側の両方でMVCの規格に対応している必要があり、動画像符号化方法として広く用いられているMPEG-2やITU-T Rec. H.264 (非MVC)等の方法を用いることができない。

開示の技術は、一つの側面として、動画像データの通信の遅延時間を削減することが目的である。

開示の技術は、符号化部は、複数の撮影カメラにより撮影対象を各々撮影した撮影画像のうち、複数の撮影カメラから選択された選択カメラにより順次撮影された選択撮影画像及び選択カメラ以外の非選択カメラにより撮影された非選択撮影画像の各々を符号化する。符号化部は、過去の選択撮影画像をフレーム間予測を用いた符号化方法により符号化したフレーム画像を共通参照画像として符号化する。切替部は、前記選択カメラが他の撮影カメラに切り替えられた場合に、前記共通参照画像を、過去の前記他の撮影カメラにより撮影された撮影画像を前記符号化方法により符号化したフレーム画像に切り替える。送信部は、前記符号化部により符号化された符号化データを通信相手側の装置に送信する。

開示の技術は、一つの側面として、動画像データの通信の遅延時間を削減することができる、という効果を有する。

動画像通信システムの構成図である。 動画像通信システムをテレビ電話に適用した場合のイメージ図である。 ステレオ法について説明するための図である。 動画像符号化装置の構成図である。 選択カメラ及び隣接カメラについて説明するための図である。 選択カメラ及び隣接カメラの撮影画像を符号化したフレーム画像の参照関係について説明するための図である。 動画像符号化装置として機能するコンピュータのブロック図である。 動画像符号化処理の流れを示すフローチャートである。 入力画像取り込み処理の流れを示すフローチャートである。 符号化処理の流れを示すフローチャートである。 ストリーム出力処理の流れを示すフローチャートである。 動画像通信システムをテレビ電話に適用した場合のイメージ図である。 各処理の処理タイミングについて説明するための図である。

以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。

図１には、本実施形態に係る動画像通信システム１０が示されている。動画像通信システム１０は、動画像通信装置１２Ａ、動画像通信装置１２Ｂがネットワーク１４を介して接続された構成である。

動画像通信装置１２Ａは、選択カメラ位置特定部１６Ａ、検出用カメラ１８Ａ１、１８Ａ２、動画像符号化装置２０Ａ、複数（本実施形態では一例として１２個）の撮影用カメラＣａｍ０Ａ〜Ｃａｍ１１Ａ、復号化装置２２Ａ、及びディスプレイ２４Ａを備えている。

動画像通信装置１２Ｂも動画像通信装置１２Ａと同様の構成であり、選択カメラ位置特定部１６Ｂ、検出用カメラ１８Ｂ１、１８Ｂ２、動画像符号化装置２０Ｂ、撮影用カメラＣａｍ０Ｂ〜Ｃａｍ１１Ｂ、復号化装置２２Ｂ、及びディスプレイ２４Ｂを備えている。

本実施形態では、動画像通信システム１０が、一例としてテレビ電話システムに適用された場合について説明する。なお、動画像通信システム１０は、テレビ電話システムに限らず、テレビ会議システム等の動画像を通信するシステムであれば適用可能である。

図２には、動画像通信システム１０をテレビ電話システムに適用した場合の一例を示した。同図の例では、部屋Ａに在室している人物２６Ａと、部屋Ｂに在室している人物２６Ｂとが、部屋Ａとの壁面に設けられたディスプレイ２４Ａ、部屋Ｂの壁面に設けられたディスプレイ２４Ｂに各々表示される相手の画像を参照しながら会話することが可能である。なお、図２では、便宜上、部屋Ａと部屋Ｂとが隣り合わせであるように記載したが、実際は離れた位置に存在する。

部屋Ａの壁面には、１２台の撮影カメラＣａｍ０Ａ〜Ｃａｍ１１Ａが格子状に取り付けられており、各撮影カメラは部屋Ａの人物２６Ａを撮影する。また、部屋Ｂの壁面にも、１２台の撮影カメラＣａｍ０Ｂ〜Ｃａｍ１１Ｂが、部屋Ａの壁面に設けられた撮影カメラＣａｍ０Ａ〜Ｃａｍ１１Ａと同じ配置で取り付けられている。撮影カメラＣａｍ０Ｂ〜Ｃａｍ１１Ｂは、部屋Ｂの人物２６Ｂを撮影する。

部屋Ａには、人物２６Ａの位置を検出するための検出カメラ１８Ａ１、１８Ａ２が設けられている。検出カメラ１８Ａ１、１８Ａ２は、異なる方向から部屋Ａの人物２６Ａを撮影する位置に設けられている。

同様に、部屋Ｂには、人物２６Ｂの位置を検出するための検出カメラ１８Ｂ１、１８Ｂ２が設けられている。検出カメラ１８Ｂ１、１８Ｂ２は、異なる方向から部屋Ｂの人物２６Ｂを撮影する位置に設けられている。

選択カメラ位置特定部１６Ａは、検出カメラ１８Ａ１、１８Ａ２により撮影された人物２６Ａの撮影画像に基づいて人物２６Ａの例えば顔の三次元位置を算出する。そして、算出した人物２６Ａの顔の位置に最も近い位置の撮影カメラに対応した部屋Ｂに設けられた撮影カメラの位置を選択カメラ位置として特定して動画像符号化装置２０Ｂに送信する。例えば、算出した人物２６Ａの顔の位置に最も近い位置の撮影カメラが撮影カメラＣａｍ５Ａの場合、撮影カメラＣａｍ５Ａと対応する位置の部屋Ｂの壁面に設けられた撮影カメラの位置を選択カメラ位置として特定して動画像通信装置１２Ｂに送信する。

具体的には、選択カメラ位置特定部１６Ａは、ステレオ法を用いて人物２６Ａの顔の三次元位置を算出する。以下、ステレオ法について簡単に説明する。

図３に示すように、カメラの視点Ａから撮影した３次元空間における撮影対象点Ｐは、視点Ａと点Ｐを結んだ直線ＬＡと撮影面ＤＡとが交わる点ｉとして観測される。同様に、カメラの視点Ｂから撮影した３次元空間における撮影対象点Ｐは、視点Ｂと点Ｐを結んだ直線ＬＢと撮影面ＤＢとが交わる点ｊとして観測される。従って、撮影対象点Ｐは二つの撮影面ＤＡ、ＤＢの中の点ｉ、ｊとして各々観測され、視点Ａと点ｉを結んだ直線ＬＡと、視点Ｂと点ｊを結んだ直線ＬＢとは点Ｐで交わる。すなわち、視点Ａ，Ｂの位置関係が既知の場合、撮影対象点Ｐに対する二つの撮影面ＤＡ，ＤＢ上の位置を特定することにより、３次元空間における撮影対象点Ｐの三次元位置は一意に定まる。

従って、まず検出カメラ１８Ａ１、１８Ａ２により撮影された撮影画像の各々から、人物２６Ａの顔の特徴点の位置を所謂SIFT(Scale Invariant Feature Transform)やSIFTを高速化したSURF(Speed Up Robust Features)等の方法を用いて各々算出する。次に、各撮影画像における人物２６Ａの顔の位置から、人物２６Ａの顔の三次元位置を算出する。そして、算出した人物２６Ａの顔の位置から最も近い撮影カメラを特定し、特定した撮影カメラに対応する部屋Ｂに設けられた撮影カメラの位置を選択カメラ位置として動画像通信装置１２Ｂに送信する。

動画像通信装置１２Ｂの選択カメラ位置特定部１６Ｂも同様に、検出カメラ１８Ｂ１、１８Ｂ２により撮影された人物２６Ｂの撮影画像に基づいて人物２６Ｂの顔の三次元位置を算出する。そして、算出した人物２６Ｂの顔の位置に最も近い位置の撮影カメラに対応した部屋Ａに設けられた撮影カメラの位置を選択カメラ位置として特定して動画像符号化装置２０Ａに送信する。従って、例えば図２に示すように、部屋Ｂの人物２６Ｂが撮影カメラＣａｍ６Ｂに最も近い場合、選択カメラ位置特定部１６Ｂは、撮影カメラＣａｍ６Ｂに対応した撮影カメラＣａｍ６Ａを選択カメラ位置として特定して動画像通信装置１２Ａに送信する。

動画像符号化装置２０Ａは、複数の撮影カメラＣａｍ０Ａ〜Ｃａｍ１１Ａのうち、部屋Ｂの人物２６Ｂの位置に基づいて選択された選択カメラにより撮影された人物２６Ａの撮影画像を、選択カメラにより撮影された過去の撮影画像を共通参照画像として符号化する。符号化方法は、例えばMPEG-2やH.264 (非MVC)等のフレーム間予測を用いて符号化する方法を用いることができ、H.264 (MVC)等の多視点の符号化方法を用いる必要はない。

また、動画像符号化装置２０Ａは、部屋Ｂの人物２６Ｂの位置に基づいて選択された選択カメラ以外の非選択カメラにより撮影された撮影画像を、選択カメラにより撮影された過去の撮影画像を共通参照画像として用いて符号化する。

また、動画像符号化装置２０Ａは、選択カメラが切り替えられた場合に、共通参照画像を、当該切り替えられた選択カメラにより撮影された撮影画像に切り替える。

図４には、動画像符号化装置２０Ａの具体的な構成を示した。動画像符号化装置２０Ａは、全体制御部３０、入力画像取り込み部３２、符号化部３４、ストリーム出力部３６、メモリコントローラ３８、及びＳＤＲＡＭ４０を備えている。

入力画像取り込み部３２は、カメラ選択部４２及び選択カメラセレクタ４４Ｘ、隣接カメラＡセレクタ４４Ａ〜隣接カメラＫセレクタ４４Ｋ、選択カメラ画像入力部４６Ｘ、及び隣接カメラＡ画像入力部４６Ａ〜隣接カメラＫ画像入力部４６Ｋを備えている。

符号化部３４は、カメラ選択部４８、選択カメラ画像符号化部５２Ｘ、及び隣接カメラＡ符号化部５２Ａ〜隣接カメラＫ符号化部５２Ｋを備えている。

ストリーム出力部３６は、カメラ選択部５４及びストリーム選択部５６を備えている。

図４に示すように、全体制御部３０は、動画像符号化装置２０Ｂから送信された選択カメラ位置をカメラ選択部４２、４８、５４に出力する。また、全体制御部３０は、ユーザーにより動画像通信の開始が指示されると、撮影画像の取り込み開始をカメラ選択部４２に指示する。

カメラ選択部４２は、全体制御部３０から入力された選択カメラ位置に対応する撮影カメラを選択カメラとして選択するように選択カメラセレクタ４４Ｘに対して指示する。選択カメラセレクタ４４Ｘには撮影カメラＣａｍ０Ａ〜Ｃａｍ１１Ａが接続されている。

選択カメラセレクタ４４Ｘは、撮影カメラＣａｍ０Ａ〜Ｃａｍ１１Ａのうちカメラ選択部４２により指示された選択カメラ位置に対応した撮影カメラを選択して、選択した撮影カメラの撮影画像を選択カメラ画像入力部４６Ｘに出力する。

また、カメラ選択部４２は、選択カメラ位置に対応した撮影カメラに隣接する撮影カメラを隣接カメラとして、各隣接カメラを選択するように隣接カメラＡセレクタ４４Ａ〜隣接カメラＫセレクタ４４Ｋに対して各々指示する。隣接カメラＡセレクタ４４Ａ〜隣接カメラＫセレクタ４４Ｋの各々には、撮影カメラＣａｍ０Ａ〜Ｃａｍ１１Ａが接続されている。

なお、例えば図２に示すように撮影カメラを格子状に設けた場合には、選択カメラの上下左右に位置する４個の撮影カメラを隣接カメラＡ〜Ｄとして設定することができる。この場合、カメラ選択部４２は、選択カメラに隣接する撮影カメラを選択するように隣接カメラＡセレクタ４４Ａ〜隣接カメラＤセレクタ４４Ｄに対して各々指示する。以下では、選択カメラの上下左右に隣接する４個の撮影カメラを隣接カメラＡ〜Ｄとして設定する場合について説明する。

隣接カメラＡセレクタ４４Ａは、撮影カメラＣａｍ０Ａ〜Ｃａｍ１１Ａのうちカメラ選択部４２により指示された隣接カメラＡに対応した撮影カメラを選択して、選択した撮影カメラの撮影画像を隣接カメラＡ画像入力部４６Ａに出力する。隣接カメラＢセレクタ４４Ｂ〜隣接カメラＤセレクタ４４Ｄについても同様である。

従って、本実施形態では、１１個の隣接カメラＡセレクタ４４Ａ〜隣接カメラＫセレクタ４４Ｋを備えた構成としているが、隣接カメラの数だけセレクタを設けても良い。隣接カメラＡ画像入力部４６Ａ〜隣接カメラＫ画像入力部４６Ｋについても同様であり、隣接カメラの数だけ画像入力部を設けても良い。さらに、後述するＳＤＲＡＭ４０の隣接カメラに関する各記憶領域についても、隣接カメラの数だけ設けても良い。

選択カメラ画像入力部４６Ｘは、入力された撮影画像に予め定めたフィルタ処理等を施して、メモリコントローラ３８に出力する。隣接カメラＡ画像入力部４６Ａ〜隣接カメラＫ画像入力部４６Ｋも同様である。

例えば撮影カメラＣａｍ６Ａが選択カメラとして選択されている場合、全体制御部３０は、撮影カメラＣａｍ６Ａを選択するように選択カメラセレクタ４４Ｘに対して指示する。これにより、選択カメラセレクタ４４Ｘは、撮影カメラＣａｍ６Ａの撮影画像を選択カメラ画像入力部４６Ｘに出力する。

また、図５に示す部屋Ｂの人物２６Ｂが移動前の状態において、撮影カメラＣａｍ６Ａが選択カメラとして選択されている場合、撮影カメラＣａｍ６Ａの左右上下に隣接する撮影カメラＣａｍ５Ａ、Ｃａｍ７Ａ、Ｃａｍ２Ａ、Ｃａｍ１０Ａを隣接カメラＡ〜Ｄとする。そして、カメラ選択部４２は、隣接カメラＡセレクタ４４Ａに対しては、撮影カメラＣａｍ５Ａを選択するように指示する。これにより、隣接カメラＡセレクタ４４Ａは、撮影カメラＣａｍ５Ａの撮影画像を隣接カメラＡ画像入力部４６Ａに出力する。

同様に、カメラ選択部４２は、隣接カメラＢセレクタ４４Ｂに対しては、撮影カメラＣａｍ７Ａを選択するように指示する。これにより、隣接カメラＡセレクタ４４Ｂは、撮影カメラＣａｍ７Ａの撮影画像を隣接カメラＢ画像入力部４６Ｂに出力する。以下、隣接カメラＣ、Ｄについても同様である。

メモリコントローラ３８は、選択カメラ画像入力部４６Ｘ、隣接カメラＡ画像入力部４６Ａ〜隣接カメラＫ画像入力部４６Ｋと接続されている。メモリコントローラ３８は、選択カメラ画像入力部４６Ｘから入力された撮影画像を選択カメラ原画像として、ＳＤＲＡＭの選択カメラ原画像記憶領域４０Ｘ１に記憶させる。また、メモリコントローラ３８は、隣接カメラＡ画像入力部４６Ａから入力された撮影画像を隣接カメラＡ原画像として、ＳＤＲＡＭの隣接カメラＡ原画像記憶領域４０Ａ１に記憶させる。隣接カメラＢ〜Ｄについても同様である。

選択カメラ画像符号化部５２Ｘは、全体制御部３０から符号化処理開始が指示されると、選択カメラ原画像記憶領域４０Ｘ１に記憶された選択カメラ原画像と選択カメラ参照画像領域４０Ｘ２に記憶された共通参照画像とに基づいて、撮影画像を符号化する。なお、共通参照画像については後述する。

符号化方法は、例えばMPEG-2やMPEG-4、H.264 (非MVC)等のフレーム間予測を用いて符号化する方法を用いる。また、本実施形態では、ＧＯＰ（Group Of Pictures）構造として、ＩＰＰＰ構造を用いる。すなわち、単独で復号可能なＩピクチャと、過去のフレーム画像を参照画像として差分を符号化したＰピクチャを用いた構造とする。このように、過去のフレーム画像だけでなく未来のフレーム画像も参照画像として用いて符号化するＢピクチャを用いないため、符号化に要する時間を短縮することができる。

また、選択カメラ画像符号化部５２Ｘは、符号化データ及び動きベクトル等を含むビットストリームデータを生成してＳＤＲＡＭ４０の選択カメラストリーム記憶領域４０Ｘ３に記憶させる。

隣接カメラＡ符号化部５２Ａ〜隣接カメラＤ符号化部５２Ｄも選択カメラ画像符号化部５２Ｘと同様に、対応する原画像領域に記憶された選択カメラ原画像と、対応する参照画像領域に記憶された共通参照画像と、に基づいて、撮影画像を符号化する。そして、ビットストリームデータを生成してＳＤＲＡＭ４０の対応するストリーム記憶領域に記憶させる。

図６には、選択カメラＸ、隣接カメラＡ〜Ｄにより撮影された画像を符号化したフレーム画像の一例を示した。同図に示すように、ピクチャ０のタイミングで符号化された選択カメラＸのフレーム画像６０Ｘ０、隣接カメラＡ〜Ｄのフレーム画像６０Ａ０〜６０Ｄ０は、Ｉピクチャである。以降、ピクチャ１〜６まで選択カメラＸ、隣接カメラＡ〜Ｄのフレーム画像は全てＰピクチャである。

ピクチャ０のタイミングでは、選択カメラＸが撮影カメラＣａｍ６Ａ、隣接カメラＡが撮影カメラＣａｍ５Ａ、隣接カメラＢが撮影カメラＣａｍ７Ａ、隣接カメラＣが撮影カメラＣａｍ２Ａ、隣接カメラＤが撮影カメラＣａｍ１０Ａである。

次のピクチャ１のタイミングでは、選択カメラＸのフレーム画像６０Ｘ１はＰピクチャであり、ピクチャ０のタイミングで符号化された選択カメラＸのフレーム画像６０Ｘ０（Ｉピクチャ）を共通参照画像として符号化する。

また、ピクチャ１のタイミングにおける隣接カメラＡ〜Ｄのフレーム画像６０Ａ１〜６０Ｄ１はＰピクチャであり、ピクチャ０のタイミングで符号化された選択カメラＸのフレーム画像６０Ｘ０を共通参照画像として符号化する。

このように、ピクチャ１のタイミングでは、選択カメラＸ、隣接カメラＡ〜Ｄで撮影された画像の全てについて、直前のピクチャ０のタイミングで符号化された選択カメラＸのフレーム画像６０Ｘ０を共通参照画像として符号化する。

同様に、ピクチャ２のタイミングでは、選択カメラＸ、隣接カメラＡ〜Ｄで撮影された画像の全てについて、直前のピクチャ１のタイミングで符号化された選択カメラＸのフレーム画像６０Ｘ１を共通参照画像として符号化する。

以降、選択カメラＸが別の撮影カメラに切り替えられるまでは、直前のタイミングで符号化された選択カメラＸのフレーム画像を共通参照画像として選択カメラＸ、隣接カメラＡ〜Ｄの撮影画像は符号化される。

図６の例では、ピクチャ３の時点で選択カメラＸが撮影カメラＣａｍ６から撮影カメラＣａｍ５に切り替えられるため、ピクチャ３までは、撮影カメラＣａｍ６の撮影画像を符号化したフレーム画像が共通参照画像となる。

そして、ピクチャ３の時点で選択カメラＸが撮影カメラＣａｍ６から撮影カメラＣａｍ５に切り替えられると、ピクチャ４以降は、選択カメラＸが撮影カメラＣａｍ５、隣接カメラＡ〜Ｄは、それぞれ撮影カメラＣａｍ４、Ｃａｍ６、Ｃａｍ１、Ｃａｍ９となる。

そして、ピクチャ４のタイミングでは、選択カメラＸが撮影カメラＣａｍ５に切り替えられているため、直前のピクチャ３のタイミングでは隣接カメラＡであった撮影カメラＣａｍ５の撮影画像を符号化したフレーム画像６０Ａ３を共通参照画像とする。

ピクチャ５以降は、選択カメラＸは撮影カメラＣａｍ５に設定されているので、直前のタイミングで選択カメラＸにより撮影された撮影画像を符号化したフレーム画像を共通参照画像とする。このように、選択カメラＸが切り替えられると、共通参照画像も切り替えられる。

図４に示すように、全体制御部３０には、直前の符号化タイミングにおける直前選択カメラ位置が直前選択カメラ位置記憶領域３０Ａに記憶され、符号化タイミングが到来する毎に更新される。

カメラ選択部４８は、入力された現在の選択カメラ位置と、直前選択カメラ位置記憶領域３０Ａに記憶された直前選択カメラ位置とを比較する。そして、入力された現在の選択カメラ位置が直前選択カメラ位置と同一の場合は、選択カメラＸの撮影画像を符号化したフレーム画像を共通参照画像に設定する。

この場合、メモリコントローラ３８は、選択カメラ画像符号化部５２Ｘにより符号化されたフレーム画像（ローカルデコード画像）を共通参照画像としてＳＤＲＡＭ４０の選択カメラ参照画像領域４０Ｘ２に記憶させる。また、メモリコントローラ３８は、選択カメラ画像符号化部５２Ｘにより符号化されたフレーム画像を共通参照画像としてＳＤＲＡＭ４０の隣接カメラＡ参照画像領域４０Ａ２〜隣接カメラＤ参照画像領域４０Ｄ２に記憶させる。

一方、入力された現在の選択カメラ位置が直前選択カメラ位置と同一でない場合、すなわち選択カメラＸが切り替えられた場合、切り替えられた撮影カメラが直前のタイミングで撮影した撮影画像を符号化したフレーム画像を共通参照画像に設定する。なお、カメラ選択部４８は、開示の技術における切替部の一例である。

この場合、メモリコントローラ３８は、隣接カメラＡ符号化部５２Ａ〜隣接カメラＤ符号化部５２Ｄのうち、切り替えられた撮影カメラに対応する符号化部により符号化されたフレーム画像を共通参照画像としてＳＤＲＡＭ４０の各参照画像領域に記憶させる。すなわち、ＳＤＲＡＭ４０の選択カメラ参照画像領域４０Ｘ２、隣接カメラＡ参照画像領域４０Ａ２〜隣接カメラＤ参照画像領域４０Ｄ２に記憶させる。

カメラ選択部５４は、入力された現在の選択カメラ位置と、直前選択カメラ位置とを比較する。そして、入力された現在の選択カメラ位置が直前選択カメラ位置と同一の場合は、選択カメラＸのビットストリームデータを選択して出力するようストリーム選択部５６に指示する。

これにより、ストリーム選択部５６は、ＳＤＲＡＭ４０の選択カメラストリーム記憶領域４０Ｘ３からビットストリームデータを読み出し、出力ストリームとして動画像通信装置１２Ｂに送信する。一方、入力された現在の選択カメラ位置が直前選択カメラ位置と同一でない、すなわち選択カメラＸが切り替えられた場合は、切り替え後の撮影カメラに対応したストリーム記憶領域からビットストリームデータを読み出す。そして、出力ストリームとして動画像通信装置１２Ｂに送信する。なお、ストリーム選択部５６は、開示の技術における符号化データ送信部の一例である。

復号化装置２２Ａは、動画像通信装置１２Ｂから送信されたビットストリームデータを復号して、ディスプレイ２４Ａに表示する。

動画像符号化装置２０Ａは、例えば図７に示すコンピュータ７０で実現することができる。コンピュータ７０はＣＰＵ７２、メモリ７４、及び不揮発性の記憶部７６を備え、これらはバス７８を介して互いに接続されている。

また、記憶部７６はＨＤＤ(Hard Disk Drive)やフラッシュメモリ等によって実現できる。記録媒体としての記憶部７６には、コンピュータ７０を動画像符号化装置２０Ａとして機能させるための動画像符号化プログラム８０が記憶されている。ＣＰＵ７２は、動画像符号化プログラム８０を記憶部７６から読み出してメモリ７４に展開し、動画像符号化プログラム８０が有するプロセスを順次実行する。

動画像符号化プログラム８０は、入力画像取り込みプロセス８２、符号化プロセス８４、及びストリーム出力プロセス８６を有する。

ＣＰＵ７２は、入力画像取り込みプロセス８２を実行することで、図４に示す入力画像取り込み部３２として動作する。また、ＣＰＵ７２は、符号化プロセス８４を実行することで、図４に示す符号化部３４として動作する。また、ＣＰＵ７２は、ストリーム出力プロセス８６を実行することで、図４に示すストリーム出力部３６として動作する。

これにより、動画像符号化プログラム８０を実行したコンピュータ７０が、動画像符号化装置２０Ａとして機能することになる。なお、動画像符号化プログラム８０は開示の技術における動画像符号化プログラムの一例である。

なお、動画像符号化装置２０Ａは、例えば半導体集積回路、より詳しくはＡＳＩＣ(Application Specific Integrated Circuit)等で実現することも可能である。

動画像通信装置１２Ｂの構成は、動画像通信装置１２Ａと同様であるので説明は省略する。

次に本実施形態の作用を説明する。本実施形態に係る動画像符号化装置２０Ａでは、ユーザーにより動画像通信を実行するように指示されると、図８に示す動画像符号化処理を実行する。なお、本実施形態では、図５に示すように、選択カメラＸの上下左右に隣接するカメラを隣接カメラＡ〜Ｄとして設定する場合について説明する。

ステップ１００では、入力画像取り込み部３２が、図９に示すような入力画像取り込み処理を実行する。

ステップ１０２では、符号化部３４が、図１０に示すような符号化処理を実行する。

ステップ１０４では、ストリーム出力部３６が、図１１に示すようなストリーム出力処理を実行する。

ステップ１０６では、全体制御部３０が、ユーザーにより動画像通信の終了が指示されたか否かを判断し、動画像通信の終了が指示された場合には本ルーチンを終了し、動画像通信の終了が指示されていない場合には、ステップ１００へ戻って上記の処理を繰り返す。

図９のステップ２００では、カメラ選択部４２が、全体制御部３０から入力された選択カメラ位置に対応する撮影カメラを選択するように選択カメラセレクタ４４Ｘに対して指示する。これにより、選択カメラセレクタ４４Ｘは、撮影カメラＣａｍ０Ａ〜Ｃａｍ１１Ａのうちカメラ選択部４２により指示された選択カメラ位置に対応した撮影カメラを選択する。

また、カメラ選択部４２は、選択カメラ位置に対応した撮影カメラに隣接する撮影カメラを隣接カメラとして、各隣接カメラを選択するように隣接カメラＡセレクタ４４Ａ〜隣接カメラＤセレクタ４４Ｄに対して各々指示する。これにより、隣接カメラＡセレクタ４４Ａ〜隣接カメラＤセレクタ４４Ｄは、カメラ選択部４２により指示された隣接カメラに対応した撮影カメラを各々選択する。

ステップ２０２では、カメラ選択部４２が、全体制御部３０から撮影画像の取り込み開始が指示されると、各セレクタに対して撮影画像の取り込み開始を指示する。これにより、選択カメラセレクタ４４Ｘは、選択した撮影カメラの撮影画像を選択カメラ画像入力部４６Ｘに出力する。選択カメラ画像入力部４６Ｘは、入力された撮影画像に予め定めたフィルタ処理等を施して、メモリコントローラ３８に出力する。メモリコントローラ３８は、入力された選択カメラＸの撮影画像をＳＤＲＡＭ４０の選択カメラ原画像記憶領域４０Ｘ１に記憶させる。

また、隣接カメラＡセレクタ４４Ａ〜隣接カメラＤセレクタ４４Ｄは、選択した撮影カメラの撮影画像を隣接カメラＡ画像入力部４６Ａ〜隣接カメラＤ画像入力部４６Ｄに各々出力する。隣接カメラＡ画像入力部４６Ａ〜隣接カメラＤ画像入力部４６Ｄは、入力された撮影画像に予め定めたフィルタ処理等を施して、メモリコントローラ３８に出力する。メモリコントローラ３８は、入力された隣接カメラＡ〜隣接カメラＤの撮影画像をＳＤＲＡＭ４０の対応する原画像領域に各々記憶させる。

ステップ２０４では、各画像入力部が、１フレーム分の撮影画像の取り込みが完了したか否かを判断し、取り込みが終了した場合には本ルーチンを終了し、取り込みが終了していない場合には、撮影画像の取り込みを継続する。

図６の例の場合、ピクチャ３のタイミングで選択カメラが切り替わる。具体的には、図１２に示すように、部屋Ｂの人物２６Ｂが移動し、選択カメラが撮影カメラＣａｍ６ＡからＣａｍ５Ａに切り替わる。この場合、図５に示すように、隣接カメラＡ〜Ｄも撮影カメラＣａｍ０４Ａ、Ｃａｍ６Ａ、Ｃａｍ１Ａ、Ｃａｍ９Ａに各々切り替わる。このため、図１３に示すように、入力画像取り込み処理では、ピクチャ０〜３までは、選択カメラＸとして撮影カメラＣａｍ６Ａの撮影画像が取り込まれる。また、隣接カメラＡとして撮影カメラＣａｍ５Ａの撮影画像が、隣接カメラＢとして撮影カメラＣａｍ７Ａの撮影画像が、隣接カメラＣとして撮影カメラＣａｍ２Ａの撮影画像が、隣接カメラＤとして撮影カメラＣａｍ１０Ａの撮影画像が取り込まれる。

そして、図１３に示すように、選択カメラが切り替えられた後のピクチャ４〜６では、選択カメラＸとして撮影カメラＣａｍ５Ａの撮影画像が取り込まれる。また、隣接カメラＡとして撮影カメラＣａｍ４Ａの撮影画像が、隣接カメラＢとして撮影カメラＣａｍ６Ａの撮影画像が、隣接カメラＣとして撮影カメラＣａｍ１Ａの撮影画像が、隣接カメラＤとして撮影カメラＣａｍ９Ａの撮影画像が取り込まれる。

図１０のステップ３００では、カメラ選択部４８が、入力された現在の選択カメラ位置と、直前選択カメラ位置とを比較する。すなわち、選択カメラが切り替えられたか否かを判断する。そして、入力された現在の選択カメラ位置が直前選択カメラ位置と同一でない場合、すなわち選択カメラが切り替えられた場合はステップ３０２へ移行する。一方、入力された現在の選択カメラ位置が直前選択カメラ位置と同一の場合、すなわち選択カメラが切り替えられていない場合はステップ３０４へ移行する。

ステップ３０２では、カメラ選択部４８が、切り替え後の選択カメラが直前のタイミングで撮影した撮影画像を符号化したフレーム画像を共通参照画像に設定する。

一方、ステップ３０４では、カメラ選択部４８が、選択カメラＸは切り替えられていないので、引き続き選択カメラＸの撮影画像を符号化したフレーム画像を共通参照画像に設定する。

ステップ３０６では、全体制御部３０が、直前選択カメラ位置を更新する。なお、選択カメラＸが切り替えられていない場合は、直前選択カメラ位置は同じ値で上書きされる。

ステップ３０８では、全体制御部３０が、符号化を開始するように各符号化部に指示する。これにより、選択カメラ画像符号化部５２Ｘは、選択カメラ原画像記憶領域４０Ｘ１に記憶された選択カメラ原画像と選択カメラ参照画像領域４０Ｘ２に記憶された共通参照画像とに基づいて、撮影画像を符号化する。

また、選択カメラ画像符号化部５２Ｘは、符号化データ及び動きベクトル等を含むビットストリームデータを生成してＳＤＲＡＭ４０の選択カメラストリーム記憶領域４０Ｘ３に記憶させる。

また、隣接カメラＡ符号化部５２Ａ〜隣接カメラＤ符号化部５２Ｄも選択カメラ画像符号化部５２Ｘと同様に、対応する原画像領域に記憶された選択カメラ原画像と、対応する参照画像領域に記憶された共通参照画像と、に基づいて、撮影画像を符号化する。そして、ビットストリームデータを生成してＳＤＲＡＭ４０の対応するストリーム記憶領域に記憶させる。

ステップ３１０では、各符号化部が、１フレーム分の撮影画像の符号化が完了したか否かを判断し、符号化が完了した場合は本ルーチンを終了し、符号化が完了していない場合は符号化処理を継続する。

これにより、図１３に示すように、符号化処理では、ピクチャ３の時点で共通参照画像が撮影カメラＣａｍ６Ａのフレーム画像から撮影カメラＣａｍ５Ａのフレーム画像に切り替わる。

図１１のステップ４００では、カメラ選択部５４が、入力された現在の選択カメラ位置と、直前選択カメラ位置とを比較する。すなわち、選択カメラが切り替えられたか否かを判断する。そして、入力された現在の選択カメラ位置が直前選択カメラ位置と同一でない場合、すなわち選択カメラが切り得られた場合はステップ４０２へ移行する。一方、入力された現在の選択カメラ位置が直前選択カメラ位置と同一の場合、すなわち選択カメラが切り得られていない場合はステップ４０４へ移行する。

ステップ４０２では、カメラ選択部５４が、切り替え後の撮影カメラのビットストリームデータを出力ストリームとして選択するようにストリーム選択部５６に指示する。

一方、ステップ４０４では、カメラ選択部５４が、引き続き選択カメラＸのビットストリームデータを出力ストリームとして選択するようにストリーム選択部５６に指示する。

ステップ４０６では、全体制御部３０が、ビットストリームデータの出力を開始するようにストリーム選択部５６に指示する。これにより、ストリーム選択部５６は、ＳＤＲＡＭ４０の選択カメラストリーム記憶領域４０Ｘ３からビットストリームデータを読み出し、出力ストリームとして動画像通信装置１２Ｂに送信する。

ステップ４０８では、ストリーム選択部５６が、１フレーム分のストリームデータの出力が完了したか否かを判断し、出力が完了した場合は本ルーチンを終了し、出力が完了していない場合は出力を継続する。

これにより、図１３に示すように、ストリーム出力処理では、ピクチャ３の時点で選択カメラＸの出力ストリームが撮影カメラＣａｍ５ＡのストリームデータからＣａｍ５Ａのストリームデータに切り替わる。

このように、本実施形態では、選択カメラにより撮影された撮影画像だけでなく、選択カメラに隣接する隣接カメラの撮影画像も符号化しておく。このため、選択カメラが切り替わった後に撮影を開始して符号する場合と比較して、動画像データの通信の遅延時間を削減することができる。また、複数の撮影カメラにより撮影された撮影画像を符号化する際の参照画像を、過去に選択カメラで撮影された撮影画像を符号化したフレーム画像に設定し、共通とするため、選択カメラが切り替わった際に違和感が発生するのを防ぐことができる。また、多視点符号化方法を用いる必要もない。

なお、本実施形態では、１２個の撮影カメラを格子状に設けた場合について説明したが、撮影カメラの数及び配置の仕方はこれに限られるものではない。

また、本実施形態では、選択カメラの上下左右の４個の撮影カメラを隣接カメラＡ〜Ｄとして設定した場合について説明したが、設定可能な隣接カメラの数及び位置はこれに限られるものではない。例えば、選択カメラの斜め方向に位置する撮影カメラも隣接カメラとして設定してもよい。

また、本実施形態では、選択カメラが相手の位置に応じて切り替えられる場合について説明したが、これに限らず、選択カメラの切り替えをユーザーが指示するようにしてもよい。

また、本実施形態では被写体が人物の場合について説明しが、これに限らず、人間以外の動物等でもよい。

また、上記では開示の技術に係る動画像符号化プログラムの一例である動画像符号化プログラム８０が記憶部７６に予め記憶（インストール）されている態様を説明したが、これに限定されるものではない。開示の技術に係る画像処理プログラムは、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等の記録媒体に記録されている形態で提供することも可能である。

本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

以上の実施形態に関し、更に以下の付記を開示する。

（付記１）
複数の撮影カメラにより撮影対象を各々撮影した撮影画像のうち、前記複数の撮影カメラの中から選択された選択カメラにより順次撮影された選択撮影画像及び前記選択カメラ以外の非選択カメラにより撮影された非選択撮影画像の各々を、過去の前記選択撮影画像をフレーム間予測を用いた符号化方法により符号化したフレーム画像を共通参照画像として前記符号化方法により符号化する符号化部と、
前記選択カメラが他の撮影カメラに切り替えられた場合に、前記共通参照画像を、過去の前記他の撮影カメラにより撮影された撮影画像を前記符号化方法により符号化したフレーム画像に切り替える切替部と、
前記符号化部により符号化された符号化データを通信相手側の装置に送信する符号化データ送信部と、
を含む動画像符号化装置。

（付記２）
前記非選択カメラは、前記複数の撮影カメラのうち、前記選択カメラに隣接する撮影カメラである
付記１記載の動画像符号化装置。

（付記３）
前記撮影対象の位置を検出するための検出用カメラと、
前記検出用カメラにより撮影された撮影画像に基づいて算出した前記撮影対象の位置に基づいて、前記通信相手側に設けられた複数の撮影カメラの中から前記通信相手側の撮影対象を撮影する撮影カメラの位置を通信相手選択カメラ位置として特定する選択カメラ位置特定部と、
前記通信相手選択カメラ位置を前記通信相手側の装置に送信する選択カメラ位置送信部と、
を備えた付記１又は付記２記載の動画像符号化装置。

（付記４）
前記通信相手側の装置は、
前記通信相手側の撮影対象の位置を検出するための通信相手側検出用カメラと、
前記通信相手側検出用カメラにより撮影された撮影画像に基づいて算出した前記通信相手側の撮影対象の位置に基づいて、前記複数の撮影カメラの中から前記撮影対象を撮影する撮影カメラの位置を選択カメラ位置として特定する通信相手側選択カメラ位置特定部と、
前記選択カメラ位置を本動画像符号化装置に送信する通信相手側選択カメラ位置送信部と、
を備え、
前記選択カメラは、前記通信相手側選択カメラ位置送信部から送信された前記選択カメラ位置に対応した撮影カメラである
付記１〜３の何れかに記載の動画像符号化装置。

（付記５）
複数の撮影カメラにより順次撮影された被写体の撮影画像のうち、前記複数の撮影カメラから選択された選択カメラにより順次撮影された選択撮影画像及び前記選択カメラ以外の非選択カメラにより撮影された非選択撮影画像の各々を、過去の前記選択撮影画像をフレーム間予測を用いた符号化方法により符号化したフレーム画像を共通参照画像として前記符号化方法により符号化し、
前記選択カメラが他の撮影カメラに切り替えられた場合に、前記共通参照画像を、過去の前記他の撮影カメラにより撮影された撮影画像を前記符号化方法により符号化したフレーム画像に切り替える
ことを含む動画像符号化方法。

（付記６）
前記非選択カメラは、前記複数の撮影カメラのうち、前記選択カメラに隣接する撮影カメラである
付記３記載の動画像符号化方法。

（付記７）
前記撮影対象の位置を検出するための検出用カメラにより撮影された撮影画像に基づいて算出した前記撮影対象の位置に基づいて、前記通信相手側に設けられた複数の撮影カメラの中から前記通信相手側の撮影対象を撮影する撮影カメラの位置を通信相手選択カメラ位置として特定し、
前記通信相手選択カメラ位置を前記通信相手側の装置に送信する
付記５又は付記６記載の動画像符号化方法。

（付記８）
前記通信相手側の装置は、
前記通信相手側の撮影対象の位置を検出するための通信相手側検出用カメラと、
前記通信相手側検出用カメラにより撮影された撮影画像に基づいて算出した前記通信相手側の撮影対象の位置に基づいて、前記複数の撮影カメラの中から前記撮影対象を撮影する撮影カメラの位置を選択カメラ位置として特定する通信相手側選択カメラ位置特定部と、
前記選択カメラ位置を本動画像符号化装置に送信する通信相手側選択カメラ位置送信部と、
を備え、
前記選択カメラは、前記通信相手側選択カメラ位置送信部から送信された前記選択カメラ位置に対応した撮影カメラである
付記５〜７の何れか１項に記載の動画像符号化方法。

（付記９）
コンピュータに、
複数の撮影カメラにより順次撮影された被写体の撮影画像のうち、前記複数の撮影カメラから選択された選択カメラにより順次撮影された選択撮影画像及び前記選択カメラ以外の非選択カメラにより撮影された非選択撮影画像の各々を、過去の前記選択撮影画像をフレーム間予測を用いた符号化方法により符号化したフレーム画像を共通参照画像として前記符号化方法により符号化し、
前記選択カメラが他の撮影カメラに切り替えられた場合に、前記共通参照画像を、過去の前記他の撮影カメラにより撮影された撮影画像を前記符号化方法により符号化したフレーム画像に切り替える
ことを含む処理を実行させるための動画像符号化プログラム。

（付記１０）
複数の撮影カメラにより撮影対象を各々撮影した撮影画像のうち、前記複数の撮影カメラの中から選択された選択カメラにより順次撮影された選択撮影画像及び前記選択カメラ以外の非選択カメラにより撮影された非選択撮影画像の各々を、過去の前記選択撮影画像をフレーム間予測を用いた符号化方法により符号化したフレーム画像を共通参照画像として前記符号化方法により符号化する符号化部と、前記選択カメラが他の撮影カメラに切り替えられた場合に、前記共通参照画像を、過去の前記他の撮影カメラにより撮影された撮影画像を前記符号化方法により符号化したフレーム画像に切り替える切替部と、前記符号化部により符号化された符号化データを通信相手側の装置に送信する符号化データ送信部と、を備えた動画像符号化装置と、
通信相手側の装置から送信された符号化データを受信して復号する復号化部と、
前記復号化部により復号化された復号化データに基づいて、動画像を表示する表示部と、
を含む動画像通信装置。

１０ 動画像通信システム
１２Ａ、１２Ｂ 動画像通信装置
１４ ネットワーク
１６Ａ、１６Ｂ 選択カメラ位置特定部
１８Ａ１、１８Ａ２、１８Ｂ１、１８Ｂ２ 検出カメラ
２０Ａ、２０Ｂ 動画像符号化装置
２２Ａ、２２Ｂ 復号化装置
２４Ａ、２４Ｂ ディスプレイ
３０ 全体制御部
３２ 入力画像取り込み部
３４ 符号化部
３６ ストリーム出力部
３８ メモリコントローラ

Claims (7)

1. 複数の撮影カメラにより撮影対象を各々撮影した撮影画像のうち、前記複数の撮影カメラの中から選択された選択カメラにより順次撮影された選択撮影画像及び前記選択カメラ以外の非選択カメラにより撮影された非選択撮影画像の各々を、過去の前記選択撮影画像をフレーム間予測を用いた符号化方法により符号化したフレーム画像を共通参照画像として前記符号化方法により符号化する符号化部と、
   前記選択カメラが他の撮影カメラに切り替えられた場合に、前記共通参照画像を、過去の前記他の撮影カメラにより撮影された撮影画像を前記符号化方法により符号化したフレーム画像に切り替える切替部と、
   前記符号化部により符号化された符号化データを通信相手側の装置に送信する符号化データ送信部と、
   を含む動画像符号化装置。
2. 前記非選択カメラは、前記複数の撮影カメラのうち、前記選択カメラに隣接する撮影カメラである
   請求項１記載の動画像符号化装置。
3. 前記撮影対象の位置を検出するための検出用カメラと、
   前記検出用カメラにより撮影された撮影画像に基づいて算出した前記撮影対象の位置に基づいて、前記通信相手側に設けられた複数の撮影カメラの中から前記通信相手側の撮影対象を撮影する撮影カメラの位置を通信相手選択カメラ位置として特定する選択カメラ位置特定部と、
   前記通信相手選択カメラ位置を前記通信相手側の装置に送信する選択カメラ位置送信部と、
   を備えた請求項１又は請求項２記載の動画像符号化装置。
4. 前記通信相手側の装置は、
   前記通信相手側の撮影対象の位置を検出するための通信相手側検出用カメラと、
   前記通信相手側検出用カメラにより撮影された撮影画像に基づいて算出した前記通信相手側の撮影対象の位置に基づいて、前記複数の撮影カメラの中から前記撮影対象を撮影する撮影カメラの位置を選択カメラ位置として特定する通信相手側選択カメラ位置特定部と、
   前記選択カメラ位置を本動画像符号化装置に送信する通信相手側選択カメラ位置送信部と、
   を備え、
   前記選択カメラは、前記通信相手側選択カメラ位置送信部から送信された前記選択カメラ位置に対応した撮影カメラである
   請求項１〜３の何れか１項に記載の動画像符号化装置。
5. 複数の撮影カメラにより撮影対象を各々撮影した撮影画像のうち、前記複数の撮影カメラの中から選択された選択カメラにより順次撮影された選択撮影画像及び前記選択カメラ以外の非選択カメラにより撮影された非選択撮影画像の各々を、過去の前記選択撮影画像をフレーム間予測を用いた符号化方法により符号化したフレーム画像を共通参照画像として前記符号化方法により符号化し、
   前記選択カメラが他の撮影カメラに切り替えられた場合に、前記共通参照画像を、過去の前記他の撮影カメラにより撮影された撮影画像を前記符号化方法により符号化したフレーム画像に切り替え、
   符号化された符号化データを通信相手側の装置に送信する
   ことを含む動画像符号化方法。
6. コンピュータに、
   複数の撮影カメラにより撮影対象を各々撮影した撮影画像のうち、前記複数の撮影カメラの中から選択された選択カメラにより順次撮影された選択撮影画像及び前記選択カメラ以外の非選択カメラにより撮影された非選択撮影画像の各々を、過去の前記選択撮影画像をフレーム間予測を用いた符号化方法により符号化したフレーム画像を共通参照画像として前記符号化方法により符号化し、
   前記選択カメラが他の撮影カメラに切り替えられた場合に、前記共通参照画像を、過去の前記他の撮影カメラにより撮影された撮影画像を前記符号化方法により符号化したフレーム画像に切り替え、
   符号化された符号化データを通信相手側の装置に送信する
   ことを含む処理を実行させるための動画像符号化プログラム。
7. 複数の撮影カメラにより撮影対象を各々撮影した撮影画像のうち、前記複数の撮影カメラの中から選択された選択カメラにより順次撮影された選択撮影画像及び前記選択カメラ以外の非選択カメラにより撮影された非選択撮影画像の各々を、過去の前記選択撮影画像をフレーム間予測を用いた符号化方法により符号化したフレーム画像を共通参照画像として前記符号化方法により符号化する符号化部と、前記選択カメラが他の撮影カメラに切り替えられた場合に、前記共通参照画像を、過去の前記他の撮影カメラにより撮影された撮影画像を前記符号化方法により符号化したフレーム画像に切り替える切替部と、前記符号化部により符号化された符号化データを通信相手側の装置に送信する符号化データ送信部と、を備えた動画像符号化装置と、
   通信相手側の装置から送信された符号化データを受信して復号する復号化部と、
   前記復号化部により復号化された復号化データに基づいて、動画像を表示する表示部と、
   を含む動画像通信装置。