JP5777033B2 - 立体画像を生成、送信、および受信する方法、並びに関連装置 - Google Patents

Description

本発明は、立体映像ストリーム、つまり、表示装置（ｖｉｓｕａｌｉｚａｔｉｏｎ ｄｅｖｉｃｅ）で適切に処理されると、観察者により３次元と認知される画像のシーケンスを生成する映像ストリームの生成、記憶、送信、受信、および再生に関する。
周知のように、一方は観察者の右目用であり、他方は観察者の左目用である２枚の画像を再生することにより、３次元の認知が得られる。
したがって、立体映像ストリームは、オブジェクトもしくは場面の右側からの視点および左側からの視点に対応する２つの画像シーケンスの情報を搬送する。
本発明は、特に、右側からの視点および左側からの視点の２枚の画像（以後、右画像および左画像と呼ぶ）を、立体映像ストリームの１フレーム（以後、コンテナフレームとも呼ぶ）を表す合成画像内に多重化する方法および装置に関する。
さらに、本発明は、合成画像を逆多重化する、つまり、合成画像から多重化装置により組み込まれた右画像および左画像を抽出する方法および装置に関する。

テレビ信号送信ネットワークおよび放送ネットワーク（地上ネットワークであるか衛星ネットワークであるかに拘らず）を過負荷から防止するべく、当該技術分野では、右画像および左画像を立体映像ストリームの単一の合成画像に多重化することが知られている。

第一の例としては、いわゆる水平多重化（ｓｉｄｅ−ｂｙ−ｓｉｄｅ ｍｕｌｔｉｐｌｅｘｉｎｇ）が挙げられ、右画像および左画像を水平にアンダーサンプリングし、立体映像ストリームの同一フレーム内に水平に配置する。
この種類の多重化には、垂直方向解像度が変更されないまま、水平方向解像度が半減するという問題点がある。

別の例としては、いわゆる垂直多重化（ｔｏｐ−ｂｏｔｔｏｍ ｍｕｌｔｉｐｌｅｘｉｎｇ）が挙げられ、右画像および左画像を垂直にアンダーサンプリングし、立体映像ストリームの同一フレーム内に上下に配置する。
この種類の多重化には、水平方向解像度が変更されないまま、垂直方向解像度が半減するという問題点がある。

その他のより洗練された方法もあり、たとえば、国際公開第０３／０８８６８２号に開示されている。当該出願は、右画像および左画像を構成する画素数を減らすべく、チェスボードサンプリング（ｃｈｅｓｓｂｏａｒｄ ｓａｍｐｌｉｎｇ）を使用することについて記載している。右画像および左画像のフレームに選択される画素は、「幾何学的」に水平フォーマット（ｓｉｄｅ−ｂｙ−ｓｉｄｅ ｆｏｒｍａｔ）に圧縮される（各画素が除去されることでカラム１に生じた空白がカラム２の画素で埋められる、等）。画像をスクリーンに表示する復号段階において、右画像および左画像のフレームは元のフォーマットに復元され、除去された画素は適切な補完技術を適用することにより復元される。この方法によって水平方向解像度と垂直方向解像度との比を一定にすることが可能になるが、対角線方向の解像度が減少し、かつ本来ならば含まれない高周波空間スペクトル成分が導入されることで画像の画素間の相関が変化する。これによって、その後の圧縮段階（たとえば、ＭＰＥＧ２、ＭＰＥＧ４、またはＨ．２６４規格に従う圧縮）の効率が低下し、圧縮された映像ストリームのビットレートが増加する。

右画像および左画像を多重化するその他の方法が国際公開第２００８／１５３８６３号から周知である。

これらの方法のうち１つでは、右画像および左画像に７０％のスケーリングを実行し、スケーリングした画像を８×８画素のブロックに分割する。

スケーリングした各画像のブロックは、合成画像の略半分に等しい領域に圧縮することができる。

この方法の問題点は、ブロックを再配置すると、高周波空間スペクトル成分が導入されることで、画像を構成するブロック間の空間相関が変化し、圧縮効率が低下することである。

さらに、各画像をスケーリング処理し、より大きい個数のブロックに分割するには、高い計算コストが掛かり、多重化装置および逆多重化装置の複雑性が増す。

これらの方法のうちの別の方法では、右画像および左画像にそれぞれ対角スケーリングを適用し、元の画像を平行四辺形に変形する。次に、２つの平行四辺形を三角形領域に分割し、２つの平行四辺形を分割することで得られた三角形領域が再編成かつ再配置された長方形の合成画像を構成する。右画像および左画像の三角形領域は、合成画像の対角線により互いから離間されるように編成する。

垂直方向（ｔｏｐ−ｂｏｔｔｏｍ）および水平方向（ｓｉｄｅ−ｂｙ−ｓｉｄｅ）の方法と同じく、この方法でも、水平方向解像度と垂直方向解像度との比（バランス）が変化する問題点がある。さらに、細分化を行って立体フレームに再配置されるより大きい個数の三角形領域に分割することで、その後の、通信チャネルを介して送信する前の圧縮段階（たとえば、ＭＰＥＧ２、ＭＰＥＧ４、またはＨ．２６４規格に従う圧縮）で、三角形領域間の境界領域にアーチファクトが生成される。このアーチファクトは、たとえば、Ｈ．２６４規格に従った圧縮処理で実行される動き推定手順で生成される。

この方法の別の問題点は、右画像および左画像のスケーリング処理、およびその後の三角形領域への分割・回転並進処理で要求される計算の複雑性に関っている。

本発明の目的は、従来技術の問題点を克服することができる、右画像および左画像を多重化および逆多重化するための多重化方法および逆多重化方法（並びに関連装置）を提供することである。

特に、本発明の目的の一つは、水平方向解像度と垂直方向解像度との間のバランスを維持することができる、右画像および左画像を多重化および逆多重化するための多重化方法および逆多重化方法（並びに関連装置）を提供することである。

本発明の別の目的は、歪みおよびアーチファクトの生成を最小限にしつつ、高い圧縮率をその後に適用することが可能な、右画像および左画像を多重化するための多重化方法（および関連装置）を提供することである。

本発明のさらなる目的は、計算コストが低下することが特徴である多重化方法および逆多重化方法（並びに関連装置）を提供することである。

本発明のこれらの目的およびその他の目的は、本明細書の一部である添付の特許請求の範囲に記載される特徴が組み込まれた、右画像および左画像を多重化および逆多重化するための多重化方法および逆多重化方法（並びに関連装置）により達成される。

本発明の根本にある一般的な考え方は、２枚の画像を、多重化されるこれら２枚の画像、つまり右画像および左画像の画素の合計数よりも画素数が大きい、または右画像および左画像の画素の合計数と画素数が等しい合成画像に組み込むことである。

第１の画像（たとえば、左画像）の画素は、変更を加えられることなく合成画像に組み込まれ、第２の画像は複数の領域に細分され、これらの領域の画素は、合成画像の空き領域に配置される。

この方法では、２枚の画像のうち一方の画像は変更されないので、復元される画像の画質がより良好になる利点がある。

第２の画像は可能な最少数の領域に分割されるので、画素間の空間相関が最大化され、圧縮段階においてアーチファクトの生成が減少することも利点である。

有利な実施形態では、第２の画像の複数の領域は、並進または回転並進処理だけによって合成画像に組み込まれるので、水平方向解像度と垂直方向解像度との比が変化しない。

別の実施形態では、第２の画像を分割して得られた複数の領域のうち少なくとも１つの領域は鏡面反転処理され、つまり１軸（特に、１辺）に関して反転され、１辺が、右および左の２枚の画像の類似した画素間、つまり、２枚の画像の同一のロウおよびカラムに配置された画素間に存在する強い相関により、接する側において、同一もしくは類似の画素を有する他方の画像の１辺に接するように、合成画像内に配置される。

この方法によって、境界領域でアーチファクトの生成が減少する利点が得られる。さらなる利点は、第２の画像を細分することにより得られる画像が長方形の形状を有することであり、境界領域が合成画像に対角線方向に交差した状態で配置される三角形領域を用いる方法に比べて、本方法では、特に正方形の画素ブロック（たとえば、Ｈ．２６４規格の１６×１６のブロック）に基づいて実施される場合には、その後に実行される圧縮により生成されるアーチファクトが減少する。

特に有利な実施形態では、合成画像に冗長部を導入することにより、つまり、数個の画素群を何回か複写することにより、アーチファクトの生成がさらに減少するか、完全になくなる。特に、合成画像に組み込まれるべき元の画像を、画素の総数が分割対象の当該画像の画素数より大きくなるような寸法を有する複数の領域に分割することにより、これは可能となる。つまり、少なくとも２つの領域が画像の一部を共有することとなる複数の領域に画像を分割する。共有される画像の一部は、分割対象の画像において、互いに隣接する領域間の境界領域である。この共有される部分の大きさは、合成画像にその後に適用される圧縮の種類によって決めることが好ましく、この部分は、分割された画像を復元するときに、部分的にもしくは完全に除去される緩衝領域として機能してよい。圧縮によってこれらの領域の境界領域にアーチファクトが生成されうるので、緩衝領域もしくは少なくともその最外部を除去することにより、アーチファクトを除去して、元の画像に忠実な画像を復元することが可能になる。

本発明のさらなる目的および利点が、非制限的な例として提示される本発明のいくつかの実施形態についての以下の記載からより明らかになるであろう。

添付の図面を参照して実施形態を記載する。
右画像および左画像を合成画像に多重化する装置のブロック図を示す。 図１の装置により実行される方法のフローチャートである。 合成画像に組み込まれる画像の分割の第１形態を示す。 本発明の一実施形態に係る、合成画像を構成する第１段階を示す。 図４の合成画像が完成した状態を示す。 合成画像に組み込まれる画像の分割の第２形態を示す。 図６の画像を含む合成画像を示す。 合成画像に組み込まれる画像の分割の第３形態を示す。 図８の画像を含む合成画像を示す。 本発明の方法にしたがって生成された合成画像を受信する装置のブロック図を示す。 図８の方法にしたがって分割され、図１０の受信装置に受信される合成画像に組み込まれた画像を復元するいくつかの段階を示す。 図９に示すタイプの合成画像に多重化された右画像および左画像を復元する方法のフローチャートである。 本発明の第４の実施形態に係る合成画像を示す。 図１３の合成画像に組み込むべく実行される複数の処理段階にある右画像および左画像を示す。

適切である場合、同様の構造、構成要素、材料、および／または要素は、同様の参照符号により示される。

図１は、立体映像ストリーム１０１を生成する装置１００のブロック図を示す。

図１において、装置１００は、それぞれ左目（Ｌ）用および右目（Ｒ）用に意図された２つのシーケンスの画像１０２および１０３、つまり、２つの映像ストリームを受信する。

装置１００は、２つのシーケンス１０２および１０３の２枚の画像を多重化する方法を実行することができる。

右画像および左画像を多重化する方法を実行するべく、装置１００は、入力画像（図１の例では、右画像）を、入力画像の１つの領域にそれぞれが対応する複数の副画像に分割するディスアセンブラモジュール（ｄｉｓａｓｓｅｍｂｌｅｒ ｍｏｄｕｌｅ）１０４と、受信した画像の画素を、自身の出力において提供する１枚の合成画像に組み込む（ｅｎｔｅｒ）ことができるアセンブラモジュール（ａｓｓｅｍｂｌｅｒ ｍｏｄｕｌｅ）１０５とを備える。
装置１００により実行される多重化方法の一例を、図２を参照して記載する。

方法は、段階２００で開始される。次に（段階２０１）、２枚の入力画像の一方（右または左）が、図３に示されるように、複数の領域に分割される。図３の例では、分割された画像は、映像ストリーム７２０ｐのフレームＲであり、つまり、解像度１２８０×７２０画素および２５／３０ｆｐｓ（１秒当たりのフレーム数）のプログレッシブ形式である。

図３のフレームＲは、右目用に意図された画像を搬送する映像ストリーム１０３から取得され、３つの領域Ｒ１、Ｒ２、およびＲ３に分割される。

フレームＲの分割は、それを同一のサイズの２つの部分に分割し、その後、これらのうち一方を同一のサイズの２つの部分に細分化することにより得られる。

領域Ｒ１は、６４０×７２０画素のサイズを有し、各ロウの先頭から数えて６４０番目までの全画素を取得することにより得られる。領域Ｒ２は、６４０×３６０画素のサイズを有し、先頭から数えて３６０本目までのロウの６４１から１２８０番目までの画素を取得することにより得られる。領域Ｒ３は、６４０×３６０画素のサイズを有し、画像Ｒの残りの画素、つまり、末尾までの３６０本のロウの６４１から１２８０番目までの画素を取得することにより得られる。

図１の例では、画像Ｒを分割する処理は、入力画像Ｒ（本例では、フレームＲ）を受信して、３つの領域Ｒ１、Ｒ２、およびＲ３に対応する３枚の副画像（つまり、３群の画素）を出力するモジュール１０４により実行される。

その後（段階２０２および２０３）、入力された右画像および左画像の両方に関する情報を含む合成画像Ｃが形成されるが、本例では、合成画像Ｃは、出力される立体映像ストリームの１フレームであり、したがってコンテナフレーム（ｃｏｎｔａｉｎｅｒ ｆｒａｍｅ）とも呼ばれる。

まず始めに（段階２０２）、装置１００により受信され、かつ装置１０５により分割されない入力画像（図１の例では、左画像Ｌ）は、入力された両方の画像の全画素を含むようサイズ決めされたコンテナフレームに、無変更のまま組み込まれる。たとえば、入力画像のサイズが１２８０×７２０画素である場合、両方を含むのに適したコンテナフレームは、１９２０×１０８０画素のフレーム、たとえば、１０８０ｐ型（１９２０×１０８０画素および１秒当たり２５／３０フレームのプログレッシブ形式）の映像ストリームのフレームである。

図４の例では、左画像Ｌは、コンテナフレームＣに組み込まれ、左上方の角に配置される。これは、コンテナフレームＣの先頭から数えて７２０番目までのロウの、先頭から数えて１２８０番目までの画素から構成される領域Ｃ１に、画像Ｌの１２８０×７２０画素を複写することにより得られる。

以下の記載において、画像をフレームに組み込むこと、または画素をあるフレームから別のフレームに転写もしくは複写することについて言及される場合、元の画像と同じ画素から構成される新しいフレームを（ハードウェアおよび／またはソフトウェア手段を使用して）生成する手順が実行されることが意味されることを理解されたい。

元の画像（もしくは、元の画像のうちの１群の画素）を対象画像に複写する（ソフトウェアおよび／またはハードウェア）技術は、本発明の目的においては重要ではないと考えられ、当業者には本来周知であるので、ここではさらなる記載はしない。

次の段階２０３では、段階２０１でモジュール１０４により分割された画像は、コンテナフレームに組み込まれる。これは、分割された画像の画素を、モジュール１０５により、コンテナフレームＣの、画像Ｌにより占有されていない領域、つまり領域Ｃ１以外の領域に複写することにより得られる。

可能な最良の圧縮を実現し、映像ストリームを解凍するときにアーチファクトの生成を減らすべく、モジュール１０４により出力される副画像の画素は、それぞれの空間関係を維持したまま複写される。つまり、領域Ｒ１、Ｒ２、およびＲ３は、フレームＣの各領域に、並進および／または回転処理だけによって、変形されることなく複写される。

モジュール１０５により出力されるコンテナフレームＣの例が図５に示されている。領域Ｒ１は、先頭から数えて７２０本目までのロウの末尾までの６４０個の画素（領域Ｃ２）に複写され、したがって、先に複写された画像Ｌに隣接する。

領域Ｒ２およびＲ３は、領域Ｃ１の下に、つまり、末尾までの３６０本のロウの先頭から数えて６４０画素までと、それに続く６４０画素とからそれぞれ構成される領域Ｃ３およびＣ４にそれぞれ複写される。

図５に示される方法の好適な代替法として、領域Ｒ２およびＲ３は、コンテナフレームＣにおいて画素群により離間された互いに関連のない（つまり、重なり合っても隣接してもいない）領域に複写して、境界領域を減少させてもよい。

画像ＬおよびＲをコンテナフレームに組み込む処理によって、水平方向および垂直方向の解像度のバランスが変化することはない。

一実施形態では、フレームＣの残りの画素には同一のＲＧＢ値が割り当てられるが、たとえば、残りの画素は全て黒でもよい。

別の実施形態では、合成画像の利用可能な残りの領域は、右画像および左画像を逆多重化装置の段階で復元するのに必要な任意の種類の信号、たとえば合成画像の形成方法を示す信号を組み込むべく使用してよい。

本実施形態では、右画像もしくは左画像またはそれらの一部によって占有されていないコンテナフレームの領域は、信号を受信するべく用いられる。この信号領域の画素には、たとえば、２色（たとえば、黒および白）を適用し、信号情報を含む任意の種類のバーコード、たとえば一次元もしくは二次元のバーコードを形成する。

両方の入力画像（および、場合によっては信号）をコンテナフレームに転写し終わったら、装置１００により実行される方法は終了し、コンテナフレームは、圧縮して、通信チャネル上で転送し、および／または適切な媒体（たとえば、ＣＤ、ＤＶＤ、ブルーレイ（登録商標）、大容量記憶装置等）に記録することができる。

上記の多重化処理によっては１つの領域もしくは画像の画素間の空間関係が変化しないので、装置１００により出力される映像ストリームは、かなりの程度の圧縮を施しても、顕著なアーチファクトが生成されることなく、送信された画像に非常に忠実な画像が再現される可能性を良好に保つことができる。

他の実施形態を記載する前に指摘しておくべきことは、フレームＲを３つの領域Ｒ１、Ｒ２、およびＲ３に分割することは、合成画像で利用可能な空間と、変更されないままコンテナフレームに組み込まれる左画像により占有される空間とを考慮に入れて、可能な最少数の領域にフレームを分割することと同じであるということである。

つまり、この最少数は、左画像により利用されず残っているコンテナフレームＣの空間を占有するのに必要な領域の最少数である。

したがって、一般的に、画像を分割するべき領域の最少数は、元の画像（右画像および左画像）のフォーマットおよび対象の合成画像（コンテナフレームＣ）の関数として定義される。

好ましくは、フレームに組み込まれる画像は、画像（たとえば、上記の例ではＲ）を最少数の長方形領域に分割する必要性を考慮に入れて分割される。

別の実施形態では、右画像Ｒは、図６に示すように分割される。

領域Ｒ１´は図３の領域Ｒ１に対応し、したがって、画像の全７２０本のロウの先頭から数えて６４０画素までを含む。

領域Ｒ２´は、領域Ｒ１´に隣接する３２０本のカラム分の画素を含み、領域Ｒ３´は、末尾までの３２０本のカラム分の画素を含む。

したがって、コンテナフレームＣは、図７に示すように構成することができ、領域Ｒ２´およびＲ３´は、９０度回転させて、画像Ｌおよび領域Ｒ１´の下の領域Ｃ３´およびＣ４´に配置する。

このように回転された領域Ｒ２´およびＲ３´は、３２０本のロウの７２０個の画素を占有し、したがって、領域Ｃ３´およびＣ４´は、画像Ｌおよび領域Ｒ１´から複写された画素を含む領域Ｃ１およびＣ２から離間されている。

好ましくは、領域Ｃ３´およびＣ４´は、その他の領域Ｃ１およびＣ２から、少なくとも１本のセーフガードライン分、離間される。特に、領域Ｒ２´およびＲ３´の画素をコンテナフレームＣの末尾部のロウに複写することは有利であり、好ましい。

本例ではコンテナフレームは１０８０本のロウから構成されているので、図７の実施形態では、回転された領域Ｒ２´およびＲ３´は、上方の画像Ｌおよび領域Ｒ１´から、４０画素分の高さのセーフガードストリップにより離間される。

図７の例では、領域Ｒ２´およびＲ３´は互いから離間され、所定の色（たとえば、白または黒）の、右画像および左画像に由来しない画素により取り囲まれる。このようにして、右画像および左画像に由来する画素を含む領域間の境界領域が減少し、かつ画像圧縮により生じるアーチファクトが減少し、圧縮率が最大化される。

領域Ｒ２´およびＲ３´を、（図７を参照して記載したように）コンテナフレームＣの末尾部のロウに配置する変わりに、好適な実施形態では、Ｒ２´およびＲ３´を、Ｌの下方縁とＲ２´およびＲ３´の上方縁との間にセーフガードストリップが３２画素ロウの高さ残るように配置する。これにより、Ｒ２´およびＲ３´の下方縁とＣの下方縁との間に、第２のセーフガードストリップが８画素ロウの高さだけ設けられる。コンテナフレームの幅をさらに活用することにより、Ｒ２´およびＲ３´を、右画像にも左画像にも由来しない画素により完全に取り囲まれるように配置することが可能になる。

本明細書では図８および図９を参照して記載される別の実施形態では、モジュール１０４は、画素の合計数が、分割される元の画像の画素数よりも多い３つの副画像Ｒ１´´、Ｒ２´´、およびＲ３´´を抽出する。

領域Ｒ１´´は、図６の領域Ｒ１´に対応するが、他方で、Ｒ２´´およびＲ３´´は、領域Ｒ２´およびＲ３´並びに追加的な領域（Ｒａ２およびＲａ３）を含み、これによって画像圧縮段階でのアーチファクトの生成が最小化される。

したがって、領域Ｒ１´´は、６４０×７２０画素のサイズを有し、分割対象のフレームＲの先頭部のカラムを占有する領域である。

領域Ｒ３´´は、分割対象のフレームＲの末尾部のカラムを占有し、中央領域Ｒ２´´に隣接する。Ｒ３´´は、左側（Ｒ２´´に隣接する側）に、領域Ｒ２´´と画素を共有するバッファストリップＲａ３を有する。つまり、Ｒ２´´の末尾部のカラムと、Ｒ３´´の先頭部のカラム（バッファストリップＲａ３を構成する）とは、一致する。

好ましくは、バッファストリップＲａ３のサイズは、その後にコンテナフレームＣおよびコンテナフレームＣを含む映像ストリーム全体に適用される圧縮の種類の関数として選択される。特に、当該ストリップは、圧縮処理で用いられる基本処理単位（ｅｌｅｍｅｎｔａｒｙ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ）のサイズの２倍である。たとえば、Ｈ．２６４規格では、それぞれが当該規格の基本処理単位を示す１６×１６画素の複数のマクロブロックへの画像の分割を規定している。この想定に基づくと、ストリップＲａ３の幅は、３２画素である。したがって、領域Ｒ３´´は、３５２（３２０＋３２）×７２０画素のサイズを有し、画像Ｒの末尾の３５２本のカラムの画素を含む。

領域Ｒ２´´は、分割対象の画像Ｒの中央部を占有し、左側に、ストリップＲａ３と同一サイズのバッファストリップＲａ２を有する。したがって、Ｈ．２６４圧縮規格を想定した例では、ストリップＲａ２の幅は３２画素であり、領域Ｒ１´´と画素を共有する。したがって、領域Ｒ２´´は、３５２×７２０画素のサイズを有し、フレームＲの６０８（Ｒ１´´の６４０から３２を引く）番目から９７８番目のカラムの画素を含む。

次に、モジュール１０４により出力される領域Ｒ１´´、Ｒ２´´、およびＲ３´´（図８に図示）に対応する３枚の副画像は、図９に示されるようにコンテナフレームＣに組み込まれる。領域Ｒ２´´およびＲ３´´は、９０度回転され、それらの画素は、画像ＬおよびＲ１´´の画素を含む領域Ｃ１およびＣ２から領域Ｃ３´´およびＣ４´´を離間させる所定数のセーフガード画素を設けて、フレームＣの末尾部のロウ（Ｃ３´´およびＣ４´´と指定される領域）に複写される。図９に示す例では、セーフガードストリップは、８画素分の幅である。

このようにして得られたフレームＣは、その後圧縮され、送信もしくは記憶媒体（たとえば、ＤＶＤ）に保存される。この目的において、画像もしくは映像信号を圧縮する圧縮手段と、圧縮された画像もしくは映像信号を記録および／または送信する手段とが提供される。

図１０は、受信したコンテナフレームを解凍し（圧縮されていた場合）、右および左の２枚の画像を復元して表示装置（たとえば、テレビ）で利用可能にし、３Ｄコンテンツを実現する受信装置１１００のブロック図を示す。受信装置１１００は、セットトップボックス、またはテレビに内蔵される受信装置であってよい。

受信装置１１００についての言及は、コンテナフレーム（圧縮されている場合がある）を読み出して処理し、読み出したコンテナフレーム（圧縮されている場合がある）に組み込まれていた右画像および左画像に対応する１対のフレームを取得する読み出し装置（たとえば、ＤＶＤリーダ）にも当てはまる。

図１０に戻ると、受信装置は、圧縮された立体映像ストリーム１１０１を（ケーブルまたはアンテナを介して）受信し、解凍モジュール１１０２により解凍し、フレームＣに対応するフレームＣ´のシーケンスを含む映像ストリームを取得する。理想的なチャネルが存在する場合、またはコンテナフレームが大容量記憶装置もしくはデータ媒体（ブルーレイ（登録商標）、ＣＤ、ＤＶＤ）から読み出されている場合、フレームＣ´は、圧縮処理によりもたらされたアーチファクトを除いて、右画像および左画像の情報を保持するコンテナフレームＣに対応する。

次に、これらのフレームＣ´は、図１１および図１２を参照して以下に記載される画像復元方法を実行する復元モジュール１１０３に供給される。

映像ストリームが圧縮されていない場合、解凍モジュール１１０２は省略し、映像信号は復元モジュール１１０３に直接的に供給されてよいことは明らかであろう。

復元処理は段階１３００で開始され、解凍されたコンテナフレームＣ´が受信される。復元モジュール１１０３は、解凍されたフレームの先頭部の７２０×１２８０画素を、コンテナフレームより小さい新たなフレーム、たとえば、７２０ｐストリームのフレームに複写することにより、左画像Ｌを抽出する（段階１３０１）。このようにして復元された画像Ｌは、受信装置１１００に出力される（段階１３０２）。

その後、方法によると、右画像ＲがコンテナフレームＣ´から抽出される。

右画像を抽出する段階は、フレームＣ´に含まれるＲ１´´の一部を複写する（段階１３０３）により開始される。より詳細には、Ｒ１´´の先頭から６２４（６４０−１６）本までのカラムの画素は、図１１に示されるように、復元された画像Ｒｏｕｔを表す新たなフレームの対応する先頭から６２４本までのカラムに複写される。実は、これにより、Ｒ１´´のうち、Ｈ．２６４圧縮規格により実行される動き推定手順の作用によって最もアーチファクトを生成しやすい１６本のカラムが復元段階から除去される。

次に、Ｒ２´´の所定部分が抽出される（段階１３０４）。解凍されたフレームＣ´（上記したように、図９のフレームＣに対応する）から、領域Ｃ３´´（元の領域Ｒ２´´に対応する）の画素が選択され、多重化装置１００で実行されたときとは逆方向に９０度回転され、元のロウ／カラム状態、つまり、図８に示す状態に戻される。この時点で、Ｒ２´´の先頭部および末尾部の１６本のカラムが除去され、残る３５２−３２＝３２０本の画素カラムが、直前にＲ１´´から複写されたカラムに隣接する空きカラムに複写される。

領域Ｒ２´´の最外部の１６本のカラムを除去することにより、アーチファクトが最も生成されやすいカラムが除去される。除去される領域の幅（この場合は、１６カラム）は、用いられた圧縮の種類によって決まる。この領域は、圧縮処理で用いられた基本処理単位に等しいことが好ましく、本明細書で記載される例においては、Ｈ．２６４規格は１６×１６画素のブロックに基づいて動作しているので、１６本のカラムが除去される。

Ｒ３´´については（段階１３０５）、領域Ｃ４´´の画素がフレームＣ´から抽出され、副画像Ｒ３´´は、元のロウ／カラムのフォーマット（図８を参照）に戻される。

その後、先頭部の１６本の画素カラム（領域Ｒａ３の半分に対応する）が除去され、残る３５２−１６＝３３６本の画素カラムが、復元フレームの左側の末尾部の空きカラムに複写される。Ｒ２´´同様、Ｒ３´´においても、除去される領域は、圧縮処理で用いられた基本処理単位に等しい。

もちろん、領域Ｒ２´´およびＲ３´´の両方について、回転処理は、仮想的な方法で実行してよく、つまり、Ｒ２´´であれば領域Ｃ３´´の、Ｒ３´´であれば領域Ｃ４´´の末尾部の、図８に示される除去すべき１６本のカラムに対応する１６本のロウを除いて、Ｒ２´´であれば領域Ｃ３´´の、Ｒ３´´であれば領域Ｃ４´´のロウの画素を、復元フレームにおいて、新たなフレームＲｏｕｔのカラムに複写することにより、対象画素の抽出という点において同一の結果を取得してよい。

この時点で、右画像Ｒは、完全に復元され、出力することが可能になっている（段階１３０６）。

したがって、コンテナフレームＣ´に含まれる右画像および左画像を復元する処理は完了する（段階１３０７）。この処理は、出力がそれぞれ右画像および左画像に対応する２本の映像ストリーム１１０４および１１０５から構成されるように、受信装置１１００によって受信される映像ストリームのフレーム毎に繰り返される。

図１０、図１１、および図１２を参照して上記した右画像および左画像の復元処理は、逆多重化装置１１００が、コンテナフレームＣの形成方法を知っており、したがって右画用および左画像を抽出することができるという想定に基づいている。

もちろん、多重化方法が規格化されていれば、これは可能である。

コンテナフレームが上記の方法のいずれによっても生成されうるという事実を考慮するべく、または、添付の特許請求の範囲の主題となっている考えを利用した方法のいずれにおいても、逆多重化装置は、合成画像の所定領域に含まれる信号伝達情報（たとえば、上記したように、バーコード）を用いて、合成画像の内容を解凍すべき方法、並びに右画像および左画像を復元する方法を知る。

信号を復号した後、逆多重化装置は、無変更の画像（たとえば、上記の例では、左画像）の位置と、他方の画像（たとえば、上記の例では、右画像）を分割して得られた領域の位置および変更（回転、並進等）とを知得する。

したがって、この情報により、逆多重化装置は、無変更の画像（たとえば、左画像）を抽出し、分割された画像（たとえば、右画像）を復元することができる。

本発明は、いくつかの好適かつ有利な実施形態を参照して例示されてきたが、本発明はこれらの実施形態に限定されず、物体または場面の２つの異なる視点（右および左）に関する２枚の画像を合成画像に組み込むことを望む当業者によって、本発明に多くの変更を加えることが可能であることは明らかである。

たとえば、上記の装置、特に、装置１００および受信装置１１００を提供する電子モジュールは、多様な方法で分割かつ分配されてよく、さらに、ハードウェアモジュールとして提供されてもよく、または、プロセッサ、特に、受信した入力フレームを一時的に記憶するための適切なメモリを備える映像プロセッサによって実行されるソフトウェアアルゴリズムとして提供されてもよい。したがって、これらのモジュールは、本発明にかかる画像多重化方法および画像逆多重化方法の映像処理段階のうち１つ以上を、並列または直列に実行してよい。

好適な実施形態は、２本の７２０ｐ映像ストリームを１本の１０８０ｐ映像ストリームに多重化する方法について言及しているが、その他のフォーマットを用いてもよい。

本発明が特定の種類の合成画像の構成に限定されないのは、合成画像を生成する別の方法には、特有の利点があるためである。

たとえば、図１から図１２を参照して上記した実施形態は、実行する処理が並進もしくは回転並進だけであるので、要求する計算能力が少ないことが利点である。

または、回転および／または並進処理に加えて、鏡面反転（ｓｐｅｃｕｌａｒ ｉｎｖｅｒｓｉｏｎ）処理を画像に施して、図１３に示されるタイプの合成画像を取得することも考えられる。

これらの追加的な処理は、類似した画素を含む領域間の境界の周囲長（ｂｏｕｎｄａｒｙ ｐｅｒｉｍｅｔｅｒｓ）を最大化し、それらの間の強い相関を利用して、後の圧縮でもたらされるアーチファクトを最小化する目的で実行される。図１３および図１４の例では、明瞭性を期すべく、右および左の２枚の画像は同一であることが想定されているが、一般的には、僅かに異なる。

この図では、左画像Ｌ（図１４ａに示される）は、コンテナフレームＣの右上方の角に配置され、先頭部の７２０本のロウの末尾部の１２８０画素を占有している。したがって、以前に記載した例でのように、画像Ｌは、変化されないままコンテナフレームＣに複写される。

かわりに、右画像Ｒを図３の例にしたがって分割するのであるが、図１４ｂは、３つの領域Ｒ１、Ｒ２、およびＲ３に分割された画像Ｒを示す。

その後、いくつかの領域（図１４の例では、領域Ｒ１およびＲ３）に鏡面反転処理を施すのであるが、垂直軸（つまり、画像のカラムに平行）または水平軸（つまり、画像のロウに平行）のいずれに関して反転させてもよい。

垂直軸に関する反転の場合、カラムＮ（Ｎは、１から１０８０までの整数であり、１０８０は、画像のカラム数である）の画素は、カラム１０８０＋１−Ｎに複写される。

水平軸に関する反転の場合、ロウＭ（Ｍは、１から７２０までの整数であり、７２０は、画像のロウ数である）の画素は、ロウ７２０＋１−Ｍに複写される。

図１４ｃおよび１４ｄは、画像Ｒから抽出された領域Ｒ１、およびそれが垂直軸に関して、特に垂直辺に関して反転（Ｒ１ｒｏｔ）された領域を示す。

反転された領域Ｒ１ｉｎｖは、先頭から数えて６４０本目までの画素ロウの、先頭から数えて６４０個までの画素に組み込まれる。

図１３の例から理解されるように、回転されたＲ１ｉｎｖがコンテナフレームＣに組み込まれると、Ｌに接するＲ１ｉｎｖの画素は、Ｒ１ｉｎｖに接するＬの画素と非常に類似している。これらの画素間の空間相関には、アーチファクトの生成を減少させる利点がある。

図１４ｅおよび１４ｆは、図１４ｂの画像Ｒから抽出された領域Ｒ３、およびそれが水平軸に関して、特に水平辺に関して反転された領域（Ｒ３ｉｎｖ）を示す。

領域Ｒ３ｉｎｖは、末尾までの３６０本のロウの末尾までの６４０個の画素に組み込まれる。これによって、Ｒ３ｉｎｖとＬとの間の境界領域の画素は、高い空間相関を有する画素となるので、アーチファクトの生成が減少する。この境界領域の画素によって、実際に、画像の類似もしくは同一の部分が再生される。

次に、領域Ｒ２を組み込むことによりコンテナフレームＣは完成される。

この例で、Ｒ２が反転および／または回転されないのは、いずれの場合においても、Ｒ２の境界領域を、Ｒの別の領域またはＬの類似した画素から構成される境界領域に合わせることが可能でないからである。

最後に、本発明は、本発明の保護範囲に含まれる上記の多重化処理のいずれか１つを逆方向に実行することにより、合成画像から右画像および左画像を抽出することができる任意の逆多重化方法に関することは明らかである。

したがって、本発明は、合成画像から開始して、１対の画像を生成する方法であって、
−合成画像のある領域から単一の連続画素群を複写することにより、右画像および左画像のうち第１の画像（たとえば、左画像）を生成する段階と、
−合成画像の複数の別の領域から複数の別の連続画素群を転写することにより第２の画像（たとえば、右画像）を生成する段階と
を備える方法にも関する。

一実施形態によると、第２の画像を生成するための情報は、合成画像のある領域から抽出される。好ましくは、この情報は、バーコードにより符号化されている。

右画像および左画像を生成する方法の一実施形態では、合成画像において分割されていた画像の生成には、複数の別の領域のうちの１つに含まれる１つの画素群を鏡面反転させる少なくとも１つの段階が含まれる。

右画像および左画像を生成する方法の一実施形態では、合成画像において分割されていた画像の生成には、復元されるべきこの画像の画素を含む合成画像の領域のうち１つの領域から画素を除去する少なくとも１つの段階が含まれる。特に、画素は、この領域の境界領域から除去される。

一実施形態では、合成画像の異なる領域に分割されていた画像は、復元されるべき画像の画素を含む画素領域に並進および／または回転処理だけを施すことにより、復元される。
［項目１］
右画像（Ｒ）および左画像（Ｌ）の情報を含む合成画像（Ｃ）を含む立体映像ストリーム（１０１）を生成する方法であって、
上記右画像（Ｒ）の画素および上記左画像（Ｌ）の画素が選択され、
選択された上記画素が、上記立体映像ストリームの合成画像（Ｃ）に組み込まれる方法において、
上記右画像（Ｒ）の全画素および上記左画像（Ｌ）の全画素は、これら２枚の画像のうち一方の画像を変化させず、他方の画像を、複数の画素を含む複数の領域（Ｒ１、Ｒ２、Ｒ３）に分割し、上記複数の領域を上記合成画像（Ｃ）に組みこむことにより、上記合成画像（Ｃ）に組み込まれることを特徴とする方法。
［項目２］
上記他方の画像は、上記合成画像（Ｃ）において利用可能な空間と、変化されない上記一方の画像（Ｌ）により占有される空間とを考慮に入れて、可能な最少数の領域に分割される項目１に記載の方法。
［項目３］
上記最少数は、変化されない上記一方の画像によって占有されずに空いている空間を占有するのに必要な最少数である項目２に記載の方法。
［項目４］
上記複数の領域は、
上記他方の画像（Ｒ）を、同一サイズの２つの部分に分割する段階と、
上記２つの部分の一方を、同一サイズの２つの部分に分割する段階と
により得られる項目１から３のいずれか１項に記載の方法。
［項目５］
上記複数の領域（Ｒ１、Ｒ２、Ｒ３）は、並進処理だけによって、上記合成画像に組み込まれる項目１から４のいずれか１項に記載の方法。
［項目６］
上記複数の領域（Ｒ１、Ｒ２、Ｒ３）は、並進処理および回転処理の少なくとも一方によって、上記合成画像（Ｃ）に組み込まれる項目１から４のいずれか１項に記載の方法。
［項目７］
上記合成画像において空いている空間の少なくとも一部は、逆多重化装置の段階で上記右画像および上記左画像を復元するのに必要とされる信号を組み込むべく使用される項目１から６のいずれか１項に記載の方法。
［項目８］
上記複数の領域のうち１つの領域を上記合成画像に組み込む前に、上記１つの領域の１辺に沿って鏡面反転（ｓｐｅｃｕｌａｒ ｉｎｖｅｒｓｉｏｎ）処理が実行される項目１から７のいずれか１項に記載の方法。
［項目９］
上記１つの領域は、同一の空間領域に関する画素が隣り合わせに配置されるように、１辺が別の画像もしくは別の領域の１辺に接した状態で上記合成画像に組み込まれる項目８に記載の方法。
［項目１０］
上記複数の領域は、長方形の形状を有する項目１から９のいずれか１項に記載の方法。
［項目１１］
上記複数の領域は、それぞれ、上記他方の画像の連続する複数のカラムの画素を含む項目１から１０のいずれか１項に記載の方法。
［項目１２］
上記複数の領域のうち少なくとも２つの領域は、少なくとも１つの画素群を共有しており、上記画素群は、上記複数の領域のうち上記少なくとも２つの領域の間の境界領域に配置されている項目１から１１のいずれか１項に記載の方法。
［項目１３］
上記複数の領域のうち上記合成画像に組み込まれる少なくとも１つの領域は、上記右画像または上記左画像から複写された画素を含む上記合成画像のその他の領域から、離間されている項目１から１２のいずれか１項に記載の方法。
［項目１４］
右画像のシーケンスおよび左画像のシーケンスが受信され、
上記右画像のシーケンスおよび上記左画像のシーケンスから開始することにより、合成画像のシーケンスが生成され、
上記合成画像のシーケンスが圧縮される
項目１から１３のいずれか１項に記載の方法。
［項目１５］
合成画像から開始することにより、１対の画像を復元する方法であって、
上記合成画像の１つの領域から単一群の連続画素を複写することにより、右画像（Ｒ）および左画像（Ｌ）のうち第１の画像を生成する段階と、
上記合成画像の複数の異なる領域（Ｒ１、Ｒ２、Ｒ３）から別の複数群の連続画素を複写することにより、右画像（Ｒ）および左画像（Ｌ）のうち第２の画像を生成する段階と
を備える方法。
［項目１６］
上記１対の画像を生成するための情報が、上記合成画像の１つの領域から抽出される項目１５に記載の方法。
［項目１７］
上記情報は、バーコードにしたがって符号化されている項目１６に記載の方法。
［項目１８］
上記第２の画像の生成は、上記複数の異なる領域のうち少なくとも１つの領域の画素群を鏡面反転させる少なくとも１つの段階を有する項目１５または１７に記載の方法。
［項目１９］
上記第２の画像の生成は、上記複数の異なる領域のうち少なくとも１つの領域から画素を除去する少なくとも１つの段階を有する項目１５から１８のいずれか１項に記載の方法。
［項目２０］
上記少なくとも１つの領域の境界領域から、画素は除去される項目１９に記載の方法。
［項目２１］
上記第２の画像は、画素領域に並進処理だけを施すことにより、生成される項目１５から２０のいずれか１項に記載の方法。
［項目２２］
上記第２の画像は、画素領域に回転処理および並進処理の少なくとも一方を施すことにより、生成される項目１５から２１のいずれか１項に記載の方法。
［項目２３］
合成画像（Ｃ）を生成する装置（１００）であって、
右画像および左画像を受信する手段（１０４）と、
上記右画像および上記左画像の情報を含む合成画像（Ｃ）を生成する手段（１０５）と
を備える装置において、
項目１から１４のいずれか１項に記載の方法を実施する手段を備えることを特徴とする装置。
［項目２４］
合成画像から開始することにより１対の画像を復元する装置（１１００）において、項目１５から２２のいずれか１項に記載の方法を実施することを特徴とする装置。
［項目２５］
項目１から１４のいずれか１項に記載の方法により生成される少なくとも１枚の合成画像（Ｃ）を含むことを特徴とする立体映像ストリーム（１１０１）。

Claims (21)

1. 右画像および左画像の情報を含む合成画像を含む立体映像ストリームを生成する方法であって、
   前記右画像の画素および前記左画像の画素が選択され、
   選択された前記画素が、前記立体映像ストリームの合成画像に組み込まれる方法において、
   前記右画像の全画素および前記左画像の全画素は、これら２枚の画像のうち一方の画像を変化させず、他方の画像を、複数の画素を含む長方形の形状を有する３つの領域に分割し、前記３つの領域を、変化されない前記一方の画像により占有されていない前記合成画像の複数の領域に組み込むことにより、前記合成画像に組み込まれ、
   前記右画像および前記左画像の水平方向の解像度と垂直方向の解像度との比は、変化されておらず、前記合成画像は、前記右画像および前記左画像の画素の合計より大きい画素数を有する前記立体映像ストリームのフレームであり、
   前記３つの領域の境界領域で、画像圧縮によるアーチファクトの発生を減少させるべく、前記３つの領域は、
   前記他方の画像を、２つの同一サイズの部分に垂直に分割する段階と、
   前記２つの同一サイズの部分の一方を、２つのさらなる同一サイズの部分に水平に分割し、前記２つの同一サイズの部分の他方は、さらに分割されない段階と
   により得られる方法。
2. さらに分割されていない前記２つの同一サイズの部分の他方は、変化されない前記一方の画像の隣に前記合成画像内に配置され、前記他方の画像の前記２つのさらなる同一サイズの部分は、変化されていない前記一方の画像の下方に前記合成画像内に隣り合って配置される、請求項１に記載の方法。
3. 前記３つの領域は、並進処理だけによって、前記合成画像に組み込まれる請求項１または請求項２に記載の方法。
4. 前記３つの領域は、並進処理および回転処理の少なくとも一方によって、前記合成画像に組み込まれる請求項１または請求項２に記載の方法。
5. 前記合成画像において空いている空間の少なくとも一部は、逆多重化装置の段階で前記右画像および前記左画像を復元するのに必要とされる信号を組み込むべく使用される請求項１から４のいずれか１項に記載の方法。
6. 前記３つの領域のうち１つの領域を前記合成画像に組み込む前に、前記１つの領域の１辺に沿って鏡面反転（ｓｐｅｃｕｌａｒ ｉｎｖｅｒｓｉｏｎ）処理が実行される請求項１から５のいずれか１項に記載の方法。
7. 前記１つの領域は、同一の空間領域に関する画素が隣り合わせに配置されるように、１辺が別の画像もしくは別の領域の１辺に接した状態で前記合成画像に組み込まれる請求項６に記載の方法。
8. 前記３つの領域は、それぞれ、前記他方の画像の連続する複数のカラムの画素を含む請求項１から７のいずれか１項に記載の方法。
9. 前記３つの領域のうち少なくとも２つの領域は、少なくとも１つの画素群を共有しており、前記画素群は、前記３つの領域のうち前記少なくとも２つの領域の間の境界領域に配置されている請求項１から８のいずれか１項に記載の方法。
10. 前記３つの領域のうち前記合成画像に組み込まれる少なくとも１つの領域は、前記右画像または前記左画像から複写された画素を含む前記合成画像のその他の領域から、離間されている請求項１から９のいずれか１項に記載の方法。
11. 右画像のシーケンスおよび左画像のシーケンスが受信され、
    前記右画像のシーケンスおよび前記左画像のシーケンスから開始することにより、合成画像のシーケンスが生成され、
    前記合成画像のシーケンスが圧縮される
    請求項１から１０のいずれか１項に記載の方法。
12. 請求項１から請求項１１のいずれか１項に記載の方法に従った合成画像から開始することにより、１対の画像を復元する方法であって、
    前記合成画像の１つの領域から単一群の連続画素を複写することにより、右画像および左画像のうち第１の画像を生成する段階と、
    前記合成画像の３つの領域から別の複数群の連続画素を複写することにより、右画像および左画像のうち第２の画像を生成する段階と
    を備え、
    前記第２の画像における、前記３つの領域のうちの１つの領域は、前記第１の画像と垂直方向のサイズが同じであり、前記３つの領域のうちの残りの２つの領域の一方は、他方の上方に、前記残りの２つの領域は、前記１つの領域の隣に配置される、方法。
13. 前記１対の画像を生成するための情報が、前記合成画像の１つの領域から抽出される請求項１２に記載の方法。
14. 前記情報は、バーコードにしたがって符号化されている請求項１３に記載の方法。
15. 前記第２の画像の生成は、前記３つ領域のうち少なくとも１つの領域の画素群を鏡面反転させる少なくとも１つの段階を有する請求項１２または１４に記載の方法。
16. 前記第２の画像の生成は、前記３つ領域のうち少なくとも１つの領域から画素を除去する少なくとも１つの段階を有する請求項１２から１５のいずれか１項に記載の方法。
17. 前記少なくとも１つの領域の境界領域から、画素は除去される請求項１６に記載の方法。
18. 前記第２の画像は、画素領域に並進処理だけを施すことにより、生成される請求項１２から１７のいずれか１項に記載の方法。
19. 前記第２の画像は、画素領域に回転処理および並進処理の少なくとも一方を施すことにより、生成される請求項１２から１８のいずれか１項に記載の方法。
20. 合成画像を生成する装置であって、
    右画像および左画像を受信する手段と、
    前記右画像および前記左画像の情報を含む合成画像を生成する手段と
    を備える装置において、
    請求項１から１１のいずれか１項に記載の方法を実施する手段を備えることを特徴とする装置。
21. 合成画像から開始することにより１対の画像を復元する装置において、請求項１２から１９のいずれか１項に記載の方法を実施することを特徴とする装置。

Images