JP5945255B2 - 仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラム - Google Patents

Description

本発明は、仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラムに関する。

あるシーンを複数のカメラを用いて撮影して得られた複数の映像を含む映像群から、実際にはカメラが存在しなかった視点からの映像を生成する技術を自由視点映像生成という。図９は、自由視点映像生成の概要を示す図である。同図には、６つのカメラｃ_１〜ｃ_６が同一の被写体を撮影している例が示されている。自由視点映像生成では、６つのカメラ（実カメラ）を用いて撮影して得られた映像群から、ユーザなどから指定された視点であって実際にはカメラが存在していない視点からの映像を合成する。

自由視点映像生成の技術の中でも、Ｇｅｏｍｅｔｒｙ−ｂａｓｅｄ ａｐｐｒｏａｃｈは、シーン中の三次元形状を明示的に推定し、推定した三次元形状に対する任意の視点からの「見え」を合成するという手法である。この手法では、カメラの台数が比較的少ない（例えば数台から数十台程度）場合には有効であるとされる。なお、「見え」を合成する対象の視点を、仮想視点或いは仮想カメラという。また、映像の撮影に用いられるカメラであって実際に存在するカメラを仮想カメラと区別するために、実カメラという。

T.Matsuyama, et al., "Real-Time 3D Shape Reconstruction, Dynamic 3D Mesh Deformation, and High Fidelity Visualization for 3D Video," Computer Vision and Image Understandings, Pages 393-434, Volume 96, Issue3, December 2004

しかしながら、Ｇｅｏｍｅｔｒｙ−ｂａｓｅｄ ａｐｐｒｏａｃｈでは、３次元形状復元に処理時間（一般に数分から数十分）を要するため、撮影から自由視点映像生成までをリアルタイムに実現することは困難であるという課題がある。

上記事情に鑑み、本発明は、自由視点映像生成における処理時間を短縮することができる仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラムを提供することを目的としている。

本発明の一態様は、複数の視点で対象物を撮影した複数の映像に基づいて、前記対象物について仮想視点からの深度マップを生成する視点依存初期形状推定部と、前記深度マップに基づいて、前記仮想視点から前記対象物を撮影したときの映像を構成する画素ごとに、前記複数の視点それぞれから前記対象物を観測できるか否かを示す可視判定画像を生成する可視判定部と、前記可視判定画像に基づいて、色一致度を最大化するように前記深度マップを最適化する形状最適化部と、前記色一致度の改善幅が予め定めた閾値以下になると、最適化された深度マップと前記可視判定画像とに基づいて、前記複数の映像から仮想視点映像を生成する映像出力部とを備えることを特徴とする仮想視点映像生成装置である。

また、本発明の一態様は、上記に記載の仮想視点映像生成装置において、前記可視判定部は、前記複数の視点を符号化した符号化テクスチャを用いて前記可視判定画像を生成することを特徴とする。

また、本発明の一態様は、複数の視点で対象物を撮影した複数の映像に基づいて、前記対象物について仮想視点からの深度マップを生成する視点依存初期形状推定ステップと、前記深度マップに基づいて、前記仮想視点から前記対象物を撮影したときの映像を構成する画素ごとに、前記複数の視点それぞれから前記対象物を観測できるか否かを示す可視判定画像を生成する可視判定ステップと、前記可視判定画像に基づいて、色一致度を最大化するように前記深度マップを最適化する形状最適化ステップと、前記色一致度の改善幅が予め定めた閾値以下になると、最適化された深度マップと前記可視判定画像とに基づいて、前記複数の映像から仮想視点映像を生成する映像出力ステップとを有することを特徴とする仮想視点映像生成方法である。

また、本発明の一態様は、上記に記載の仮想視点映像生成装置としてコンピュータを機能させるための仮想視点映像生成プログラムである。

本発明によれば、仮想視点に基づいて対象物の深度マップを生成し、当該深度マップと可視判定画像とから仮想視点映像をする。ことのき、対象物の形状に関する処理を仮想視点から視線に限定して行うようにしているので、演算処理を削減して処理時間を短縮することができる。

本発明に係る実施形態における仮想視点映像生成装置１０の構成を示すブロック図である。 カメラｃの視錐体Ｖ_ｃの一例を示す図である。 映像Ｉｃからシルエット輪郭Ｌ_ｃの抽出と、その逆投影との一例を示す第１の図である。 映像Ｉｃからシルエット輪郭Ｌ_ｃの抽出と、その逆投影との一例を示す第２の図である。 深度マップＺ_ｖの一例を示す図である。 同実施形態の可視判定部１２が行う処理の概要を示す図である。 同実施形態における可視判定画像を表すデータの一例を示す図である。 同実施形態における仮想視点映像生成装置１０における仮想視点映像生成処理を示すフローチャートである。 自由視点映像生成の概要を示す図である。

以下、図面を参照して、本発明に係る一実施形態における仮想視点映像生成装置、仮想視点映像生成方法、及び仮想視点映像生成プログラムを説明する。
本実施形態における仮想視点映像生成装置には、対象物を異なる視点から撮影した複数の映像と、仮想視点を示す情報とが入力される。仮想視点映像生成装置は、入力された複数の映像に基づいて、仮想視点からの対象物についての「見え」に適した三次元形状復元を行うことにより、仮想視点から対象物を撮影した際の映像である仮想視点映像を生成して出力する。すなわち、本実施形態の仮想視点映像生成装置は、一般的なＧｅｏｍｅｔｒｙ−ｂａｓｅｄ ａｐｐｒｏａｃｈと異なり、複数の映像に基づいてすべての視点に対応できる三次元形状の復元を行わずに、仮想視点からの三次元形状復元を行う。

図１は、本発明に係る実施形態における仮想視点映像生成装置１０の構成を示すブロック図である。仮想視点映像生成装置１０は、視点依存初期形状推定部１１、可視判定部１２、形状最適化部１３、終了判定部１４、及び、映像出力部１５を備えている。

視点依存初期形状推定部１１には、複数の実カメラで撮影した複数の映像、及び仮想視点ｃ_ｖを示す仮想視点情報が入力される。仮想視点は何らかの方法で指定される。例えば、三次元マウスなどの入力デバイスをユーザが操作することによりコンピュータ画面上において仮想視点を指定するようにしてもよいし、予めファイルなどに記憶されている三次元座標を逐次読み込むようにしてもよい。

視点依存初期形状推定部１１が行う初期依存初期形状推定において必要な形状は、現在指定されている仮想視点ｃ_ｖから見える範囲での概形である。言い換えると、仮想視点ｃｖを構成する各画素について、その先に対象物が存在するか否か、存在する場合にはおおよその奥行き（仮想視点ｃｖからの距離）である。以下、視点依存初期形状推定部１１が概形を取得する際の初期依存初期形状推定について説明する。

（処理１１−１）：視点依存初期形状推定部１１は、現在の仮想視点ｃ_ｖを読み込む。
（処理１１−２）：視点依存初期形状推定部１１は、複数の画像を撮影した実カメラｃごとに以下の処理１１−３から処理１１−５を行い、各実カメラｃの視錐体Ｖ_ｃを多面体として取得する。なお、視錐体とは、例えば図２に示すように、カメラの投影中心を頂点としシルエット画像を底辺とする錐体である。図２は、カメラｃの視錐体Ｖ_ｃの一例を示す図である。

（処理１１−３）：視点依存初期形状推定部１１は、実カメラｃにより撮影される映像Ｉ_ｃから、シルエット輪郭Ｌ_ｃを抽出する。また、視点依存初期形状推定部１１は、折れ線（線分）の組み合わせでシルエット輪郭Ｌ_ｃを近似する。図３と図４とは、映像Ｉｃからシルエット輪郭Ｌ_ｃの抽出と、その逆投影との一例を示す図である。図３（ａ）は映像の撮影状況を俯瞰した図である。図３（ｂ）は実カメラｃで撮影した撮影画像Ｉ_ｃを示す図である。図４（ａ）は、撮影画像Ｉ_ｃから抽出したシルエット輪郭Ｌ_ｃを示す図である。図４（ｂ）は、シルエット輪郭Ｌ_ｃの逆投影を示す図である。なお、視点依存初期形状推定部１１は、例えばクロマキー或いは背景差分などの手法を用いることにより、シルエット輪郭Ｌ_ｃの抽出を行う（図４（ａ））。

（処理１１−４）：視点依存初期形状推定部１１は、シルエット輪郭Ｌ_ｃを構成する各点、すなわちシルエット輪郭Ｌ_ｃを近似する各線分の両端点をシーンで想定する最大の奥行き（Ｚ−ｆａｒクリップ）まで逆投影し、得られた点群をｓ_ｃ（ｉ）（ｉ＝１，２，…，Ｎ_ｃ）とする（図４（ｂ））。
（処理１１−５）：視点依存初期形状推定部１１は、実カメラｃの投影中心を頂点とし、点群ｓ_ｃ（ｉ）を底面にした錐体を視錐体Ｖ_ｃにする。

（処理１１−６）：視点依存初期形状推定部１１は、処理１１−３から処理１１−５間での処理を各実カメラｃに対して得られた視錐体Ｖ_ｃを用いて、仮想視点ｃ_ｖにおける深度マップＺ_ｖを算出する。なお、仮想視点ｃ_ｖにおける深度マップＺ_ｖの算出には、例えば非特許文献１や参考文献１に記載の技術を用いる。
［参考文献１］ Jack Goldfeather, Jeff P.M. Hultquist, Henry Fuchs, "Fast Constructive Solid Geometry Display in the Pixel-Power Graphics System," ACM SIGGRAPH'86 Proc., Computer Graphics, pp.107-116, 1986

なお、深度マップＺ_ｖの算出は、前述の技術以外を用いるようにしてもよい。図５は、深度マップＺ_ｖの一例を示す図である。同図において、黒は物体が存在しないことを示し、輝度に応じて仮想視点ｃ_ｖからの距離を示している。輝度が高くなるほど仮想視点ｃ_ｖに近い位置に物体が存在していることを表している。
以上のように、視点依存初期形状推定部１１は、複数の映像と仮想視点情報とに基づいて、仮想視点ｃ_ｖの深度マップＺ_ｖを算出する。

可視判定部１２は、視点依存初期形状推定部１１が算出した深度マップＺ_ｖに基づいて、対象物の表面形状の各点を観測可能なカメラ群Ｃを点ごとに特定する。言い換えると、可視判定部１２は、仮想視点ｃ_ｖから観察されたシーン(映像)の各ピクセル（各画素）について、当該ピクセルを観測可能なカメラ群Ｃを特定する。可視判定部１２は、例えば符号化テクスチャによる可視判定により、カメラ群Ｃを算出する。

符号化テクスチャによる可視判定は、仮想視点ｃ_ｖの「見え」を構成する各画素について、その画素の先にある三次元形状の表面を観測可能なカメラを、その画素の色情報で表現する（符号化する）手法である。具体的には、各画素の色情報がＸビットで表現されているとき、１ビット目、２ビット目、…、Ｘビット目それぞれに実カメラを一対一に割り当てる。ビットの値は、当該ビットに割り当てられた実カメラが当該画素の先にある三次元形状の表面を観測可能か否かを示す。

例えば、色情報がＲＧＢそれぞれ８ビットで表現される場合、Ｘは２４となり２４台の実カメラを処理の対象とすることができる。また、色情報がＲＧＢそれぞれ１６ビットで表現される場合、Ｘは４８となり４８台の実カメラを処理対象とすることができる。なお、本実施形態の仮想視点映像生成装置１０において扱える映像数、すなわち実カメラ数は各画素の色情報を表すビット数Ｘで制限される。

可視判定部１２は、前述のような可視判定を符号化した色情報を画素ごとに以下のアルゴリズム（処理１２−１から処理１２−３）で処理する。
（処理１２−１）：可視判定部１２は、視点依存初期形状推定部１１により算出された深度マップＺ_ｖを三次元メッシュＭ_ｖに変換する。ここで、三次元メッシュとは、三次元コンピュータグラフィクスにおいて多面体オブジェクトの形状を定義する頂点、辺、及び面の集合のことである。通常は、三角形や、四角形又は他の単純な凸型のポリゴンで構成されているが、より一般的な凹面の多角形、又は穴のあるポリゴンで構成されることがある。本実施形態では、三次元メッシュＭ_ｖを三角形の集合で表すものとする。

（処理１２−２）：可視判定部１２は、カメラｃ（ｃ＝１，２，…）ごとに、各画素の輝度値を当該カメラｃに対応するビットのみ、すなわちｃビット目のみを「１」とした画像を生成し、Ｐｒｏｊｅｃｔｉｖｅ Ｔｅｘｔｕｒｅ−ｍａｐｐｉｎｇの原理によって、三次元メッシュＭ_ｖにテクスチャを与える。具体的には、カメラｃの位置に、ｃビット目だけが「１」になっている光源を設置する。その結果、カメラｃからの光が届く物体の形状の部分については、ｃビット目だけが「１」の色が付くことになる。物体の形状は、処理１２−１で得られる三次元メッシュＭ_ｖとして与えられるので、カメラｃからの光が届く表面を算出することが可能となる。なお、可視判定部１２が生成する画像は、撮影画像と同じサイズの画像である。

（処理１２−３）：可視判定部１２は、カメラｃごとに生成した三次元メッシュＭ_ｖを混合して、仮想視点ｃ_ｖからレンダリングする。前述の通り、各カメラｃの位置に設置された光源は、どれか一つのビットだけが「１」になっているため、加算しても混ざり合うことなく、物体の表面に光が届く。すなわち、カメラｃから観測できる物体の表面には、当該カメラｃに対応するビットの値が「１」となっている。

可視判定部１２は、処理１２−１から処理１２−３間での処理を行うことにより、各画素がいずれの実カメラから観測可能か否かを示す画像（以下、可視判定画像という。）を生成する。図６は、本実施形態の可視判定部１２が行う処理の概要を示す図である。処理１２−１から処理１２−３を可視判定部１２行うことにより、図７に示す可視判定画像が得られる。図７は、本実施形態における可視判定画像を表すデータの一例を示す図である。同図に示す例では、画素（０，０）はカメラ２とカメラｃとから観測可能である。また、画素（Ｗ，Ｈ）はカメラ１とカメラＸとから観測可能である。なお、Ｘはカメラの最大数を示し、ＷとＨとはそれぞれが合成される仮想視点画像の幅と高さとを示す。

以上の処理により、可視判定部１２は、仮想視点ｃ_ｖから対象物を撮影した際の画像における対象物の領域の画素ごとに、当該画素に対応する対象物の部分が観測可能なカメラ群Ｃを特定することができる。また、画素ごとのカメラ群Ｃを示す情報は、可視判定画像として得られる。

視点依存初期形状推定部１１と可視判定部１２とにより、仮想視点ｃ_ｖでの画像を構成する各画素にはシーンの奥行きを示す深度マップＺ_ｖと、どのカメラから観測可能かを示す可視判定画像とが得られる。形状最適化部１３は、深度マップＺ_ｖと可視判定画像とに基づいて、ｐｈｏｔｏ−ｃｏｎｓｉｓｔｅｎｃｙ（色一致度）を最大化するように深度マップＺ_ｖを最適化する。

（処理１３−１）：形状最適化部１３は、仮想視点ｃ_ｖでの画像を構成する各画素ｐについて、以下の処理を行う。なお、画素の奥行きをｚ_ｐとし、観測可能なカメラ群をＶ_ｐとする。奥行きｚ_ｐを中心として、ｄ_ｐ＝±Ｄ／２の範囲で、ｐｈｏｔｏ−ｃｏｎｓｉｓｔｅｎｃｙ ρ（ｚ_ｐ＋ｄ_ｐ）を算出するとともに、その位置での画素値を記憶する。なお、Ｄは、最適化にあたって奥行きを探索する範囲を示す値であり、映像や、映像中の対象物などに応じて予め定められる値である。例えば人物の形状復元を３ｍ程度離れたＨＤカメラ群十数台で撮影した複数の映像を用いて行う場合、Ｄ＝５ｃｍ程度とする。

また、関数ρ（・）は、明度変化に頑健なＺＮＣＣ（Zero-mean Normalized Cross Correlation）の平均値とする。すなわち、三次元空間中の一点ｚを観測可能なカメラｖ∈Ｖに投影した先における画素値をベクトルＩ_ｖとしたとき、２台のカメラｖ、ｖ’に対して
と定義される。ただし、式（１）における￣Ｉ_ｖ及び￣Ｉ_ｖ’は、それぞれベクトルＩ_ｖ及びベクトルＩ_ｖ’の要素の平均値である。なお、式（１）においてＩ_ｖやＩ_ｖ’の上に￣（オーバーライン）を付したもの、明細書の文章においては「￣Ｉ_ｖ」や「￣Ｉ_ｖ’」と記載している。

また、全てのｖ、ｖ’の組み合わせに対する平均値は
とする。ただし、式（２）における｜Ｖ｜_２は集合Ｖから二つの要素を選ぶ組み合わせの数とする。

（処理１３−２）：形状最適化部１３は、仮想視点ｃ_ｖでの画像を構成する各画素ｐにおいて、その隣接する画素との連続性を考慮しつつ、最もｐｈｏｔｏ−ｃｏｎｓｉｓｔｅｎｃｙが高くなる奥行きを決定する。すなわち、
が最小化されるような奥行きの変化量ｄ_ｐを±Ｄ／２の範囲で画素ｐごとに選択する。ただし、式（３）においてＰは画素の集合を表し、Ｎは画素の隣接関係を表し、φ（ｚ_ｐ＋ｄ_ｐ，ｚ_ｑ＋ｄ_ｑ）は隣接する画素間での奥行きの連続性を評価した値である。関数φ（・）は対象物の形状に関する事前知識を表現する関数である。なお、隣接画素とは、互いに隣接する画素を指し、ある画素の上下左右のピクセルを隣接画素とする考え方を４連結、ある画素の上下左右に加えて斜めの画素も隣接画素とする考え方を8連結と呼ぶ。４連結あるいは８連結が一般的であるが、特に隣接の定義は問わず、任意に設定可能である。

関数φ（・）は形状に応じて選択されるべきであるが、一般的にはｔｒｕｎｃａｔｅｄ ｌｉｎｅａｒ関数
が用いられることが多い。

ただし、式（４）におけるαは奥行きの変化量に対するペナルティを定める係数であり、βはペナルティの最大値である。なお、ｐｈｏｔｏ−ｃｏｎｓｉｓｔｅｎｃｙを高くする最適化は、例えばＧＰＵ（Graphic Processing Unit）上でのｌｏｏｐｙ−ｂｅｌｉｅｆ−ｐｒｏｐａｇａｔｉｏｎによって近似的に行うことが可能である。

（処理１３−３）：形状最適化部１３は、処理１３−２において決定した奥行きに対応する画素値を、仮想視点ｃ_ｖでの画像を構成する各画素ｐに割り当てて、仮想視点ｃ_ｖにおけるシーンのレンダリング結果として出力する。

本実施形態における仮想視点映像生成装置１０では、可視判定部１２における処理と、形状最適化部１３における処理とを繰り返すことにより、仮想視点ｃ_ｖにおける仮想視点映像を生成する。終了判定部１４は、繰り返し終了条件を満たしているか否かを判定する。終了判定部１４は、形状最適化部１３において算出されるｐｈｏｔｏ−ｃｏｎｓｉｓｔｅｎｃｙ（式（３）におけるＥ）の改善幅（変化量）が、予め定めた閾値以下となったときに繰り返しを終了させる。なお、繰り返し終了の判定は、他の条件でもよく、例えば可視判定部１２における可視判定結果に変化がなくなったときに繰り返しを終了させるなど、様々な判定が適用できる。

映像出力部１５は、可視判定部１２において生成された可視判定画像と、形状最適化部１３において最適化された深度マップＺ_ｖと、複数の映像とに基づいて、仮想視点ｃ_ｖにおける仮想視点映像を生成する。例えば、映像出力部１５は、画素ごとに、深度マップＺ_ｖに基づいて可視判定画像が示すカメラの映像の画素を合成することにより、仮想視点映像を生成する。映像出力部１５は、生成した仮想視点映像を出力する。

図８は、本実施形態における仮想視点映像生成装置１０における仮想視点映像生成処理を示すフローチャートである。仮想視点映像生成装置１０において、仮想視点映像生成処理が開始されると、視点依存初期形状推定部１１は入力される複数の映像及び仮想視点ｃ_ｖに基づいて、深度マップＺ_ｖの概形を算出する（ステップＳ１１)。

可視判定部１２は、仮想視点ｃ_ｖからの画像のピクセルごとに、当該ピクセルを観察可能なカメラを特定し、各ピクセルについて観察可能なカメラを示す可視判定画像を生成する（ステップＳ１２）。
形状最適化部１３は、可視判定画像に基づいて、色一致度を最大化するように深度マップＺ_ｖを最適化する（ステップＳ１３）。

終了判定部１４は、ステップＳ１３における色一致度の改善幅が閾値以下になったか否かを判定し（ステップＳ１４）、改善幅が閾値より大きい場合（ステップＳ１４：ＮＯ）、処理をステップＳ１２に戻して、可視判定画像の生成と深度マップＺ_ｖの最適化とを繰り返して行う。
一方、改善幅が閾値以下の場合（ステップＳ１４：ＹＥＳ）、終了判定部１４は、最適化の終了を映像出力部１５に通知する。映像出力部１５は、終了判定部１４から最適化の終了を通知されると、最適化された深度マップＺ_ｖ及び可視判定画像に基づいて、複数の映像から仮想視点映像を合成する。映像出力部１５は、合成した仮想視点映像を出力し（ステップＳ１５）、仮想視点映像生成処理を終了させる。

以上のように、本実施形態における仮想視点映像生成装置１０では、一般的なＧｅｏｍｅｔｒｙ−ｂａｓｅｄ ａｐｐｒｏａｃｈと異なり、仮想視点ｃ_ｖの情報を三次元形状復元で利用している。つまり、一般的なＧｅｏｍｅｔｒｙ−ｂａｓｅｄ ａｐｐｒｏａｃｈでは、どの仮想視点からの映像を生成するかを考慮せずに、すべての方向からの視線に対して精度のよい形状を復元していた。これに対して、仮想視点映像生成装置１０では、仮想視点ｃ_ｖから観測可能な範囲のみを復元対象とし、この範囲で映像品質が高くなるように最適化を行っている。仮想視点ｃ_ｖから観測可能な範囲を復元対象とすることにより、復元範囲を減らすことができ、復元に要する演算処理や記憶容量などの処理コストを減らすことができる。その結果、仮想視点映像生成装置１０は、仮想視点映像の生成に要する時間を削減することができ、実時間（リアルタイム）の自由視点映像生成を可能にすることができる。

上述した実施形態における仮想視点映像生成装置１０をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、仮想視点映像生成処理を実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１０…仮想視点映像生成装置
１１…視点依存初期形状推定部
１２…可視判定部
１３…形状最適化部
１４…終了判定部
１５…映像出力部

Claims (4)

1. 複数の視点で対象物を撮影した複数の映像に基づいて、前記対象物について仮想視点からの深度マップを生成する視点依存初期形状推定部と、
   前記深度マップに基づいて、前記仮想視点から前記対象物を撮影したときの映像を構成する画素ごとに、前記複数の視点それぞれから前記対象物を観測できるか否かを示す可視判定画像を生成する可視判定部と、
   前記可視判定画像に基づいて、色一致度を最大化するように前記深度マップを最適化する形状最適化部と、
   前記色一致度の改善幅が予め定めた閾値以下になると、最適化された深度マップと前記可視判定画像とに基づいて、前記複数の映像から仮想視点映像を生成する映像出力部と
   を備えることを特徴とする仮想視点映像生成装置。
2. 請求項１に記載の仮想視点映像生成装置において、
   前記可視判定部は、
   前記複数の視点を符号化した符号化テクスチャを用いて前記可視判定画像を生成する
   ことを特徴とする仮想視点映像生成装置。
3. 複数の視点で対象物を撮影した複数の映像に基づいて、前記対象物について仮想視点からの深度マップを生成する視点依存初期形状推定ステップと、
   前記深度マップに基づいて、前記仮想視点から前記対象物を撮影したときの映像を構成する画素ごとに、前記複数の視点それぞれから前記対象物を観測できるか否かを示す可視判定画像を生成する可視判定ステップと、
   前記可視判定画像に基づいて、色一致度を最大化するように前記深度マップを最適化する形状最適化ステップと、
   前記色一致度の改善幅が予め定めた閾値以下になると、最適化された深度マップと前記可視判定画像とに基づいて、前記複数の映像から仮想視点映像を生成する映像出力ステップと
   を有することを特徴とする仮想視点映像生成方法。
4. 請求項１又は請求項２のいずれかに記載の仮想視点映像生成装置としてコンピュータを機能させるための仮想視点映像生成プログラム。