JP2005321987A - 画像生成方法 - Google Patents

Abstract

【目的】 符号化処理（圧縮）などに適した中間画像（処理用画像）を得ることが可能である画像生成方法を提供する。
【構成】 各絵素又は画素の上段側の２つの数字列（ｍ，ｎ）において、ｍは視点番号であり、ｎは配置番号（サブ視点画像番号）である。また、下段側の２つの数字列（ｘ，ｙ）は絵素又は画素の座標である。両画像はそれぞれ市松模様状に絵素が抽出されており、両視点画像の絵素の配置は補間関係にある。右眼用画像を例にとると、太実線枠は第１サブ視点画像となり、太点線枠は第２サブ視点画像となる。左眼用画像でも同様に第１サブ視点画像と第２サブ視点画像が存在する。中間画像では、各サブ視点画像を構成する絵素を、垂直方向及び水平方向の並びの関係を維持しつつ集結させている。
【選択図】 図２

Description

この発明は、立体視用の画像に適した画像生成方法に関する。

従来より、特殊な眼鏡を必要とせずに立体映像表示を実現する方法しとて、パララックスバリア方式やレンチキュラーレンズ方式等が知られているが、これらの方式は両眼視差を有する右眼用映像と左眼用映像とを、例えば縦ストライプ状に画面に交互に表示し、この表示映像をパララックスバリアやレンチキュラーレンズ等で分離して観察者の右眼と左眼に各々導くことで立体視を行わせるものである。また、複数のピンホールを斜めに配置する斜めバリア方式として下記の特許文献１が知られている。

図２２は、右眼用（Ｒ）画像と左眼用（Ｌ）画像を用いて斜めバリア方式の合成画像（立体視用画像）を生成するときの処理内容を示している。なお、各画像においては、Ｒ（赤色）画素とＧ（緑色）画素とＢ（青色）画素とが並んでおり、例えば、座標「００」の一つのＲ画素と、座標「００」の一つのＧ画素と、座標「００」の一つのＢ画素で、座標「００」の一つの絵素（ピクセル）が構成される。この処理では、画素単位で右眼画像と左眼画像から交互に画素を取り出して並べることで合成画像を得ている。また、図２３は、合成画像から中間画像を生成する従来の処理を示している。
特許第３０９６６１３号

しかしながら、図２３に示す中間画像では、右眼画素が集結されると共に左眼画素が集結されていることから、合成画像をそのまま圧縮するのに比べれば画質の劣化は少ないものの、中間画像において隣接する絵素は、元の視点画像上では斜めに並ぶ絵素同士であるため、かかる中間画像の圧縮では画質の劣化を十分に防止することはできない。

この発明は、上記の事情に鑑み、符号化処理（圧縮）を行うのに好適な中間画像（処理用画像）を得ることが可能となる画像生成方法を提供することを目的とする。

この発明の画像生成方法は、上記の課題を解決するために、Ｎ個（Ｎは二以上の整数）の視点画像を用いて斜めバリア方式の立体視用画像を生成することに利用できる画像生成方法であって、各視点画像内で斜めにずれた形態で且つ各々の絵素が水平方向及び垂直方向に並ぶＮ個のサブ視点画像を抽出することを特徴とする。かかる構成であれば、各視点画像についてＮ個のサブ視点画像を抽出しており、これらＮ個のサブ視点画像を用いて例えば中間画像や立体視用画像を生成することができる。

また、この発明の画像生成方法は、Ｎ個（Ｎは二以上の整数）の視点画像を用い、斜めバリア方式の立体視用画像の生成に利用できる中間画像を生成する画像生成方法であって、各視点画像内で斜めにずれた形態で且つ各々の絵素が水平方向及び垂直方向に並ぶＮ個のサブ視点画像を抽出し、各サブ視点画像を構成している絵素の水平方向の並び及び垂直方向の並びを保持しつつこれら絵素を集結させた中間画像を生成することを特徴とする。各サブ視点画像内の各絵素を構成している複数の色画素の全てを用いて中間画像を生成してもよい。

これらの画像生成方法において、各視点画像をコンピュータグラフィックス技術を用いて作成すると共に、各視点画像に対し、カメラ座標系のビューポイントを中心とした回転処理、ビューボリュームの移動、ビューポート変換時の原点の移動、の少なくとも一つの処理を行うことでサブ視点画像を生成するようにしてもよい。

また、この発明の画像生成方法は、Ｎ個（Ｎは二以上の整数）の視点画像に基づいて生成された斜めバリア方式の立体視用画像から各視点画像を抽出すると共に、各視点画像内で色画素の配置が一致する絵素が水平方向及び垂直方向に並ぶサブ視点画像をＮ個抽出し、各サブ視点画像を構成している絵素の水平方向の並び及び垂直方向の並びを保持しつつこれら絵素を集結させた中間画像を生成することを特徴とする。

これら構成の構成であれば、中間画像を構成する絵素は視点画像における水平方向及び垂直方向に並ぶ絵素の当該並びの関係を保ったものとなり、絵素同士の相関性は高く、圧縮処理に適したものとなる。各サブ視点画像から得られるＮ個の中間画像を集結させた全体中間画像も圧縮処理に適す。中間画像又は全体中間画像を圧縮してもよい。

以上説明したように、この発明によれば、斜めバリア方式に利用される視点画像或いは立体視用画像について絵素が水平及び垂直方向に整列するサブ視点画像に注目することにより、符号化処理（圧縮）を行っても画質の劣化を少なくできる中間画像の生成が可能になるという効果を奏する。

以下、この発明の実施形態の画像生成方法を図１乃至図２０に基づいて説明していく。

図１（ａ）は２眼斜めバリア方式の画素配列（立体視用画像）を示している。図中の「１」は第１視点画像であり、「２」は第２視点画像である。Ｒは赤色の画素（又は赤色データ）、Ｇは緑色の画素（又は緑色データ）、Ｂは青色の画素（又は、青色データ）である。斜めバリア方式では、同一視点の画素は斜め方向に並ぶ。

図１（ｂ）は、前記立体視用画像のなかで第１視点画像のみを抽出して示している。図中の各太実線枠内及び各太点線枠内には、Ｒ，Ｇ，Ｂが存在する。一纏まりのＲ，Ｇ，Ｂを絵素という。各太実線枠（絵素）は、Ｒ，Ｇ，Ｂの並び（配置）が一致しており、且つ、垂直方向及び水平方向に並んでいる。同様に、各太点線枠（絵素）は、Ｒ，Ｇ，Ｂの並び（配置）が一致しており、且つ、垂直方向及び水平方向に並んでいる。上記立体視用画像からは、太実線枠（絵素）のグループによるサブ視点画像と、太点線枠（絵素）のグループによるサブ視点画像とを生成することができる。すなわち、視点数が２であるので、２つのサブ視点画像が生成される。

図１（ｃ）は、サブ視点画像抽出の他の例を示している。図の各太実線枠内及び各太点線枠内には、Ｒ，Ｇ，Ｂが存在する。各太実線枠（絵素）は、Ｒ，Ｇ，Ｂの並び（配置）が一致しており、且つ、垂直方向及び水平方向に並んでいる。同様に、各太点線枠（絵素）は、Ｒ，Ｇ，Ｂの並び（配置）が一致しており、且つ、垂直方向及び水平方向に並んでいる。

視点が異なる複数の視点画像は、例えば互いに眼間距離離して設けた複数のカメラにて被写体を撮像することにより得ることができる。また、コンピュータグラフィックス技術により、ポリゴン画像の３次元映像に対して複数の視線方向を設定して各々平面投影することでも視点が異なる複数の２次元映像データを得ることができる。

図２は右眼用（Ｒ）画像と左眼用（Ｌ）画像とを生成し、これら二視点画像から中間画像を生成し、この中間画像から合成画像（立体視用画像）を生成する処理を示した説明図である。図において、各絵素又は画素の上段側の２つの数字列（ｍ，ｎ）において、ｍは視点番号であり、ｎは配置番号（サブ視点画像番号）である。また、下段側の２つの数字列（ｘ，ｙ）は絵素又は画素の座標である。両画像はそれぞれ市松模様状に絵素が抽出されており、両視点画像の絵素の配置は補間関係にある。右眼用画像を例にとると、太実線枠は第１サブ視点画像となり、太点線枠は第２サブ視点画像となる。左眼用画像でも同様に第１サブ視点画像と第２サブ視点画像が存在する。

中間画像では、各サブ視点画像を構成する絵素を、垂直方向及び水平方向の並びの関係を維持しつつ集結させている。更に、これら４つの中間画像を集結させて１枚の画像（全体中間画像）を生成することとしてもよい。中間画像や全体中間画像を用いて符号化処理（圧縮）を行うのがよい。両サブ視点画像の絵素における画素は横方向にＲ，Ｂ，Ｇの順に並んでいる。

合成画像では、各サブ視点画像の絵素における画素は水平方向に１画素おきに配置され、水平方向にＲ，Ｂ，Ｇの順に並んでいる。また、合成画素では、両視点画像における第１サブ視点画像のみで水平１ラインの画像が形成され、その下の水平１ラインは両視点画像における第２サブ視点画像のみで構成される。なお、図２では、合成画像において、視点画像、サブ視点画像の全てでＲＧＢの並ぶ順番が同じになる。また、合成画像における端側の空白部分は画素抜け（データ不存在）部分である。

図３は右眼用（Ｒ）画像と左眼用（Ｌ）画像とを生成し、これら二視点画像から中間画像を生成し、この中間画像から合成画像（立体視用画像）を生成する他の処理例を示した説明図である。両画像はそれぞれ市松模様状に絵素が抽出されており、両画像の絵素の配置は同じ（非補間関係）である。右眼用画像を例にとると、実線枠は第１サブ視点画像となり、点線枠は第２サブ視点画像となる。左眼用画像でも同様に第１サブ視点画像と第２サブ視点画像が存在する。

中間画像では、各サブ視点画像を構成する絵素を、垂直方向及び水平方向の並びの関係を維持しつつ集結させている。更に、これら４つの中間画像を集結させて１枚の画像（全体中間画像）を生成することとしてもよい。中間画像や全体中間画像を用いて符号化処理（圧縮）を行うのがよい。

合成画像の右眼用画像については、そのサブ視点画像における絵素の画素は水平方向にＲ，Ｂ，Ｇの順に並んでいるが、左眼用画像については、そのサブ視点画像における絵素の画素は水平方向にＧ，Ｒ，Ｂの順に並んでいる。また、合成画像では、各サブ視点画像における絵素の画素は水平方向に１画素おきに配置され、水平方向にＲ，Ｂ，Ｇ又はＧ，Ｒ，Ｂの順に並んでいる。また、合成画像では、両視点画像における第１サブ視点画像のみで水平１ラインの画像が形成され、その下の水平１ラインは両視点画像における第２サブ視点画像のみで構成される。なお、図３では、合成画像において、視点画像のＲＧＢの並ぶ順番が同じになる。また、合成画像における端側の空白部分は画素抜け（データ不存在）部分である。

図４は右眼用（Ｒ）画像と左眼用（Ｌ）画像とを生成し、これら二視点画像から中間画像を生成し、この中間画像から合成画像（立体視用画像）を生成する他の処理例を示した説明図である。両画像はそれぞれ市松模様状に絵素が抽出されており、両画像の絵素の配置は補間関係にある。右眼用画像を例にとると、実線枠は第１サブ視点画像となり、点線枠は第２サブ視点画像となる。左眼用画像でも同様に第１サブ視点画像と第２サブ視点画像が存在する。

中間画像では、各サブ視点画像を構成する絵素を、垂直方向及び水平方向の並びの関係を維持しつつ集結させている。更に、これら４つの中間画像を集結させて１枚の画像（全体中間画像）を生成することとしてもよい。中間画像や全体中間画像を用いて符号化処理（圧縮）を行うのがよい。

合成画像では、両サブ視点画像における絵素の画素は水平方向にＲ，Ｇ，Ｂの順でＶ字状に配置される。すなわち、Ｒ，Ｇ，Ｂの画素のうちのＧ画素を１画素だけ下に移動させている。また、合成画像では、右眼用画像における第１サブ視点画像と左眼用画像における第２サブ視点画像で垂直方向絵素ラインが形成され、その横に位置する垂直方向絵素ラインは右眼用画像における第２サブ視点画像と左眼用画像における第１サブ視点画像で構成される。なお、図４では、合成画像において、視点画像、サブ視点画像の全てでＲＧＢの並ぶ順番が同じになる。また、合成画像における端側の空白部分は画素抜け（データ不存在）部分である。

図５は右眼用（Ｒ）画像と左眼用（Ｌ）画像とを生成し、これら二視点画像から中間画像を生成し、この中間画像から合成画像（立体視用画像）を生成する他の処理例を示した説明図である。両画像はそれぞれ市松模様状に絵素が抽出されており、両画像の絵素の配置は同じ（非補間関係）である。右眼用画像を例にとると、実線枠は第１サブ視点画像となり、点線枠は第２サブ視点画像となる。左眼用画像でも同様に第１サブ視点画像と第２サブ視点画像が存在する。

中間画像では、各サブ視点画像を構成する絵素を、垂直方向及び水平方向の並びの関係を維持しつつ集結させている。更に、これら４つの中間画像を集結させて１枚の画像（全体中間画像）を生成することとしてもよい。中間画像や全体中間画像を用いて符号化処理（圧縮）を行うのがよい。

合成画像では、両サブ視点画像における絵素の画素は水平方向にＲ，Ｇ，Ｂの順にＶ字状に配置される。すなわち、Ｒ，Ｇ，Ｂの画素のうちのＧ画素を１画素だけ下に移動させている。一方、左眼用画像の絵素における画素はΛ字状に配置される。すなわち、Ｒ，Ｇ，Ｂの画素のうちのＧ画素を１画素だけ上に移動させている。また、合成画像では、右眼用画像における第１サブ視点画像と左眼用画像における第１サブ視点画像で垂直方向絵素ラインが形成され、その横に位置する垂直方向絵素ラインは右眼用画像における第２サブ視点画像と左眼用画像における第２サブ視点画像で構成される。なお、図５では、合成画像において、視点画像のＲＧＢの並ぶ順番が同じになる。合成画像における端側の空白部分は画素抜け（データ不存在）部分である。

上述した処理によって生成された合成画像（立体視用画像）のファイルには、例えば、視点数情報、サブ視点画像の並びに関する情報（画素の色についての並び、絵素（画素）の座標についての並び、横方向に一つおきに画素を配置、Ｖ字状に配置、Λ字状に配置といった情報）を与えておくのがよい。或いは、単に、第１方式、第２方式といった情報を与えておき、画像処理装置（ソフトウェア）において、各方式の内容を保持しておくこととしてもよい。

図６は合成画像（立体視用画像）から中間画像を生成する処理例を示した説明図である。図６では、ＲＧＢの並ぶ順番が同じになるように各視点画像、サブ視点画像の絵素を選択する。図において、各絵素又は画素の上段側の２つの数字列（ｍ，ｎ）において、ｍは視点番号であり、ｎは配置番号（サブ画像番号）である。また、下段側の２つの数字列（ｘ，ｙ）は絵素又は画素の座標である。画像処理装置（ソフトウェア）は、合成画像（立体視用画像）のファイルに記録されている情報に基づいて、例えば、視点数情報、サブ視点画像の並びに関する情報（画素の色についての並び、絵素（画素）の座標についての並び、横方向に一つおきに画素を配置、Ｖ字状に配置、Λ字状に配置といった情報）を知得する。図６に示す処理例では、画像処理装置（ソフトウェア）は、合成画像について、奇数番目の水平ラインは右眼画像の第１サブ視点画像の画素と左眼画像の第１サブ視点画像の画素とが交互に配置されていることを知得し、右眼画像の第１サブ視点画像の絵素（同一座標を持つもの）と左眼画像の第１サブ視点画像の絵素（同一座標を持つもの）とを抽出する。同様に、合成画像について、偶数番目の水平ラインは右眼画像の第２サブ視点画像の画素と左眼画像の第２サブ視点画像の画素とが交互に配置されていることを知得し、右眼画像の第２サブ視点画像の絵素（同一座標を持つもの）と左眼画像の第２サブ視点画像の絵素（同一座標を持つもの）とを抽出する。更に、画像処理装置（ソフトウェア）は、合成画像から抽出した絵素（同一座標を持つもの）は、画素の並びがＲ，Ｂ，Ｇになっていることを知得し、中間画像の各視点画像においてＲ，Ｇ，Ｂの並びとなるように処理する。そして、各サブ視点画像の絵素群を、垂直方向及び水平方向の並びの関係を維持しつつ集結させることにより、中間画像を得る。４つのサブ視点画像から成る中間画像は結合されて一枚の画像（全体中間画像）として扱うようにしてもよい。以下の処理例においても同様である。中間画像や全体中間画像に対して符号化処理（圧縮）を行うのがよい。

図７は合成画像（立体視用画像）から中間画像を生成する他の処理例を示した説明図である。図７では、合成画像の各視点画像のＲＧＢの並びは同じである。画像処理装置（ソフトウェア）は、合成画像（立体視用画像）のファイルから各種情報を知得する。図７の処理例では、画像処理装置（ソフトウェア）は、合成画像について、奇数番目の水平ラインは右眼画像の第１サブ視点画像の画素と左眼画像の第１サブ視点画像の画素とが交互に配置されていることを知得し、右眼画像の第１サブ視点画像の絵素（同一座標を持つもの）と左眼画像の第１サブ視点画像の絵素（同一座標を持つもの）とを抽出する。同様に、合成画像について、偶数番目の水平ラインは右眼画像の第２サブ視点画像の画素と左眼画像の第２サブ視点画像の画素とが交互に配置されていることを知得し、右眼画像の第２サブ視点画像の絵素（同一座標を持つもの）と左眼画像の第２サブ視点画像の絵素（同一座標を持つもの）とを抽出する。更に、画像処理装置（ソフトウェア）は、合成画像から抽出した絵素（同一座標を持つもの）は、右眼画像については画素の並びがＲ，Ｂ，Ｇになり、左眼画像については画素の並びがＧ，Ｒ，Ｂになっていることを知得し、中間画像の各視点画像上でＲ，Ｇ，Ｂの並びとなるようにそれぞれ処理する。そして、各サブ視点画像の絵素群を、垂直方向及び水平方向の並びの関係を維持しつつ集結させることにより、中間画像を得る。

なお、図７の例では、合成画像において、左端（右端）には使用しない領域が存在するので、ダミー画素列を追加してもよい。或いは、前述の図６の例のように、サブ視点画像を大きくとってもよい。

図８は合成画像（立体視用画像）から中間画像を生成する他の処理例を示した説明図である。図８では、合成画像のサブ視点画像間でＲＧＢの並びが異なる。画像処理装置（ソフトウェア）は、合成画像（立体視用画像）のファイルから各種情報を知得する。図８の処理例においては、画像処理装置（ソフトウェア）は、合成画像について、奇数番目の水平ラインは右眼画像の第１サブ視点画像の画素と左眼画像の第１サブ視点画像の画素とが交互に配置されていることを知得し、右眼画像の第１サブ視点画像の絵素（同一座標を持つもの）と左眼画像の第１サブ視点画像の絵素（同一座標を持つもの）とを抽出する。同様に、合成画像について、偶数番目の水平ラインは右眼画像の第２サブ視点画像の画素と左眼画像の第２サブ視点画像の画素とが交互に配置されていることを知得し、右眼画像の第２サブ視点画像の絵素（同一座標を持つもの）と左眼画像の第２サブ視点画像の絵素（同一座標を持つもの）とを抽出する。更に、画像処理装置（ソフトウェア）は、合成画像から抽出した絵素（同一座標を持つもの）は、右眼画像の第１視点画像と左眼画像の第２視点画像については画素の並びがＲ，Ｂ，Ｇになり、右眼画像の第２視点画像と左眼画像の第１視点画像については画素の並びがＧ，Ｒ，Ｂになることを知得し、中間画像の各視点画像上でＲ，Ｇ，Ｂの並びとなるようにそれぞれ処理する。そして、各サブ視点画像の絵素群を、垂直方向及び水平方向の並びの関係を維持しつつ集結させることにより、中間画像を得る。

図９は合成画像（立体視用画像）から中間画像を生成する他の処理例を示した説明図である。図９では、ＲＧＢの並ぶ順番が同じになるように各視点画像、サブ視点画像の絵素を選択する。画像処理装置（ソフトウェア）は、合成画像（立体視用画像）のファイルから各種情報を知得する。図９の処理例においては、画像処理装置（ソフトウェア）は、合成画像において左眼画像及び右眼画像共に絵素（同一座標を持つもの）がＶ字状に配置されていることを知得し、Ｖ字状に画素を抽出していく。更に、画像処理装置（ソフトウェア）は、合成画像から抽出した絵素（同一座標を持つもの）を、中間画像の各視点画像上でＲ，Ｇ，Ｂの並びとなるように処理する。そして、各サブ視点画像の絵素群を、垂直方向及び水平方向の並びの関係を維持しつつ集結させることにより、中間画像を得る。

図１０は合成画像（立体視用画像）から中間画像を生成する他の処理例を示した説明図である。図１０では、合成画像の各視点画像のＲＧＢの並びは同じである。画像処理装置（ソフトウェア）は、合成画像（立体視用画像）のファイルから各種情報を知得する。図１０の処理例では、画像処理装置（ソフトウェア）は、合成画像において右眼用画像の絵素（同一座標を持つもの）がＶ字状に配置されていることを知得してＶ字状に画素を抽出し、左眼用画像の絵素（同一座標を持つもの）がΛ字状に配置されていることを知得してΛ字状に画素を抽出していく。更に、画像処理装置（ソフトウェア）は、合成画像から抽出した絵素（同一座標を持つもの）を、中間画像の各視点画像上でＲ，Ｇ，Ｂの並びとなるように処理する。そして、各サブ視点画像の絵素群を、垂直方向及び水平方向の並びの関係を維持しつつ集結させることにより、中間画像を得る。

図１１は合成画像（立体視用画像）から中間画像を生成する他の処理例を示した説明図である。図１１では、合成画像のサブ視点画像間でＲＧＢの並びが異なる。画像処理装置（ソフトウェア）は、合成画像（立体視用画像）のファイルから各種情報を知得する。図１１の処理例では、画像処理装置（ソフトウェア）は、合成画像において右眼用画像の絵素（同一座標を持つもの）がＶ字状に配置されているものとΛ状に配置されているものとがあることを知得してＶ字状又はΛ字状に画素を抽出し、左眼用画像の絵素（同一座標を持つもの）がΛ字状又はＶ字状に配置されているものとがあることを知得してΛ字状又はＶ字状に画素を抽出していく。更に、画像処理装置（ソフトウェア）は、合成画像から抽出した絵素（同一座標を持つもの）を、中間画像の各視点画像上でＲ，Ｇ，Ｂの並びとなるように処理する。そして、各サブ視点画像の絵素群を、垂直方向及び水平方向の並びの関係を維持しつつ集結させることにより、中間画像を得る。

合成画像（立体視用画像）のファイルから各種情報を知得することは必須では無い。ピクセル間引き合成（図２２，図２３参照）の画像を用いることもできる。例えば、図２３において、合成画像のなかの太実線の絵素（真ん中の画素については、隣接絵素の真ん中の画素と入れ替えて視点を一致させる）は水平方向及び垂直方向に並んでおり、この並びの関係を維持して集結させ、これを第１サブ視点画像とする。また、合成画像のなかの太点線の絵素（真ん中の画素については、隣接絵素の真ん中の画素と入れ替えて視点を一致させる）は水平方向及び垂直方向に並んでおり、この並びの関係を維持して集結させ、これを第２サブ視点画像とする。第１サブ視点画像において各絵素を集結させて中間画像とし、同様に、第２サブ視点画像において各絵素を集結させて中間画像とすればよい。

図１２（ａ）（ｂ）は各視点画像からサブ視点画像を生成する処理を示した説明図である。図１２では合成画像のなかの第１視点画像だけを抽出して示している。第１視点画像における第１サブ視点画像は奇数番目の横ラインに対してＲ，Ｂ，Ｇ（座標が一致する画素である）の並びで画素を抽出することで実現される。また、第１視点画像における第２サブ視点画像は偶数番目の横ラインに対してＲ，Ｂ，Ｇ（座標が一致する画素である）の並びで画素を抽出することで実現される。この考え方は、合成画像における各視点画像のサブ視点画像を抽出する処理及び、実写やコンピュータグラフィックスで生成した各視点画像のサブ視点画像を抽出する処理に適用できる。コンピュータグラフィックスを用いる場合の具体的処理を以下に述べる。

図１３（ａ）（ｂ）はコンピュータグラフィックスのカメラ座標系でビューポイントを回転中心として回転させることで、各視点画像からサブ視点画像を生成する処理を示した説明図である。回転量は絵素のオフセット量（図１２参照）と同じ比率で行えばよい。

図１４（ａ）（ｂ）はコンピュータグラフィックスでビューボリュームを平行移動させることで、各視点画像からサブ視点画像を生成する処理を示した説明図である。原点の平行移動は絵素のオフセット量と同じ比率で行えばよい。

図１５（ａ）（ｂ）はコンピュータグラフィックスでビューポート変換時に原点の平行移動を行うことで、合成画像を構成している各視点画像からサブ視点画像を生成する処理を示した説明図である。原点の平行移動は絵素のオフセット量と同じ比率で行えばよい。

図１６は、４視点の合成画像（立体視用映像）の画素配列を示した説明図である。図１６中の数値は視点番号を表している。この図において、斜めに並ぶ３つの画素を１絵素として扱う。この場合、各絵素の中心画素が代表点となる。この代表点と各画素との位置関係は行によって異なる。また、各絵素内の画素（Ｒ，Ｂ，Ｇ）の並びがまちまちである。図１７は４視点の合成画像のうちの第１視点画像の画素配列を示した説明図である。そして、図１８は第１視点画像のうちの第１サブ視点画像の絵素の並びを太線枠で示し、図１９は第１視点画像のうちの第２サブ視点画像の絵素の並びを太線枠で示し、図２０は第１視点画像のうちの第３サブ視点画像の絵素の並びを太線枠で示し、図２１は第１視点画像のうちの第４サブ視点画像の絵素の並びを太線枠で示している。いずれについても、サブ視点画像における絵素は、水平及び垂直方向に整列する。そして、サブ視点画像は互いにずれて存在する。なお、上記の図１８乃至図２１において、サブ視点画像の絵素数が異なるのは、ものもとサブ画像間で絵素の座標が異なるからであり、実際にはダミー絵素を作るなどして、絵素数を一致させておく方が処理しやすい。画像生成装置では、４つのサブ視点画像の抽出のために４回のレンダリングを行うことになるが、それぞれのレンダリングの画素数は少ないので、処理速度は殆ど低下しない。

この４視点の場合においても、それぞれのサブ視点画像において絵素を集結させて中間画像を生成するのがよい。また、各視点（４つ）における４つの中間画像を集結させて全体中間画像を生成してもよい。これら中間画像や全体中間画像について符号化処理（圧縮）を行うのがよい。

図１（ａ）は、２眼斜めバリア方式の画素配列（立体視用画像）を示した説明図であり、図１（ｂ）は、前記立体視用画像のなかで第１視点画像のみを抽出して示した説明図であり、図１（ｃ）は、サブ視点画像抽出の他の例を示した説明図である。 右眼用（Ｒ）画像と左眼用（Ｌ）画像とを生成し、これら二視点画像から中間画像を生成し、この中間画像から合成画像（立体視用画像）を生成する処理を示した説明図である。 右眼用（Ｒ）画像と左眼用（Ｌ）画像とを生成し、これら二視点画像から中間画像を生成し、この中間画像から合成画像（立体視用画像）を生成する処理を示した説明図である。 右眼用（Ｒ）画像と左眼用（Ｌ）画像とを生成し、これら二視点画像から中間画像を生成し、この中間画像から合成画像（立体視用画像）を生成する処理を示した説明図である。 右眼用（Ｒ）画像と左眼用（Ｌ）画像とを生成し、これら二視点画像から中間画像を生成し、この中間画像から合成画像（立体視用画像）を生成する処理を示した説明図である。 合成画像（立体視用画像）から中間画像を生成する処理例を示した説明図である。 合成画像（立体視用画像）から中間画像を生成する処理例を示した説明図である。 合成画像（立体視用画像）から中間画像を生成する処理例を示した説明図である。 合成画像（立体視用画像）から中間画像を生成する処理例を示した説明図である。 合成画像（立体視用画像）から中間画像を生成する処理例を示した説明図である。 合成画像（立体視用画像）から中間画像を生成する処理例を示した説明図である。 同図（ａ）（ｂ）は合成画像を構成している各視点画像からサブ視点画像を生成する処理を示した説明図である。 同図（ａ）（ｂ）はコンピュータグラフィックスのカメラ座標系でビューポイントを回転移動又は平行移動させることで、各視点画像からサブ視点画像を生成する処理を示した説明図である。 同図（ａ）（ｂ）はコンピュータグラフィックスでビューボリュームを平行移動させることで、各視点画像からサブ視点画像を生成する処理を示した説明図である。 同図（ａ）（ｂ）はコンピュータグラフィックスでビューポート変換時に原点の平行移動を行うことで、合成画像を構成している各視点画像からサブ視点画像を生成する処理を示した説明図である。 ４視点の合成画像（立体視用映像）の画素配列を示した説明図である。 ４視点の合成画像のうちの第１視点画像の画素配列を示した説明図である。 第１視点画像のうちの第１サブ視点画像の絵素の並びを太線枠で示した説明図である。 第１視点画像のうちの第２サブ視点画像の絵素の並びを太線枠で示した説明図である。 第１視点画像のうちの第３サブ視点画像の絵素の並びを太線枠で示した説明図である。 第１視点画像のうちの第４サブ視点画像の絵素の並びを太線枠で示した説明図である。 右眼用（Ｒ）画像と左眼用（Ｌ）画像を用いて斜めバリア方式の合成画像（立体視用画像）を生成する従来の処理内容を示した説明図である。 従来例を示す図であって、合成画像（立体視用画像）と中間画像（処理用画像）の変換の内容を示した説明図である。

符号の説明

Ｒ 右画素（右絵素）
Ｌ 左画素（左絵素）

Claims (7)

1. Ｎ個（Ｎは二以上の整数）の視点画像を用いて斜めバリア方式の立体視用画像を生成することに利用できる画像生成方法であって、各視点画像内で斜めにずれた形態で且つ各々の絵素が水平方向及び垂直方向に並ぶＮ個のサブ視点画像を抽出することを特徴とする画像生成方法。
2. Ｎ個（Ｎは二以上の整数）の視点画像を用い、斜めバリア方式の立体視用画像の生成に利用できる中間画像を生成する画像生成方法であって、各視点画像内で斜めにずれた形態で且つ各々の絵素が水平方向及び垂直方向に並ぶＮ個のサブ視点画像を抽出し、各サブ視点画像を構成している絵素の水平方向の並び及び垂直方向の並びを保持しつつこれら絵素を集結させた中間画像を生成することを特徴とする画像生成方法。
3. 請求項２に記載の画像生成方法において、各サブ視点画像内の各絵素を構成している複数の色画素の全てを用いて中間画像を生成することを特徴とする画像生成方法。
4. 請求項１乃至請求項３のいずれかに記載の画像生成方法において、各視点画像をコンピュータグラフィックス技術を用いて作成すると共に、各視点画像に対し、カメラ座標系のビューポイントを中心とした回転処理、ビューボリュームの移動、ビューポート変換時の原点の移動、の少なくとも一つの処理を行うことでサブ視点画像を生成することを特徴とする画像生成方法。
5. Ｎ個（Ｎは二以上の整数）の視点画像に基づいて生成された斜めバリア方式の立体視用画像から各視点画像を抽出すると共に、各視点画像内で色画素の配置が一致する絵素が水平方向及び垂直方向に並ぶサブ視点画像をＮ個抽出し、各サブ視点画像を構成している絵素の水平方向の並び及び垂直方向の並びを保持しつつこれら絵素を集結させた中間画像を生成することを特徴とする画像生成方法。
6. 請求項２又は請求項５に記載の画像生成方法において、各サブ視点画像から得られるＮ個の中間画像を集結させて全体中間画像を生成することを特徴とする画像生成方法。
7. 請求項２又は請求項３又請求項５又は請求項６に記載の画像生成方法において、中間画像又は全体中間画像を圧縮することを特徴とする画像生成方法。

Images