JP4925112B2 - 自由視点画像の生成方法 - Google Patents

Description

本発明は、自由視点画像の生成方法に関し、特に、被写体を取り囲むように、水平面上に複数のビデオカメラ（以下、単にカメラと呼ぶ）を配置し、該カメラにより撮影した画像を用いて自由視点画像を生成する方法に関する。

近年、画像処理技術や画像通信技術の発達に伴い、次世代の画像コンテンツとして、３次元自由視点画像が注目されている。そこで、被写体の周囲にビデオカメラを配置して撮影した多視点画像を用いて全周囲自由視点画像を生成する技術が、研究、開発されている。

この場合、任意の視点に対応するように、被写体の周りにカメラを密に配置すると、カメラの台数が多くなり、高コストとなり、現実的ではない。そこで、カメラを、被写体の周りに疎に配置することが行われるが、このようにすると、ビデオカメラ間の画像が得られなくなる。

この不具合を解決するために、従来、カメラによって撮影されない視点からの画像を、イメージ・ベースド・レンダリングを用い、画像間の画像を補間することによって生成する方法が提案されている。

多視点画像間の補間を行うイメージ・ベースド・レンダリングの代表的な方法として、「光線空間方式」があり、該光線空間方式を用いた補間画像の生成を説明する技術文献として、下記の特許文献１、２に示されているものがある。
特開２００４−２５８７７５号公報 特開平１０−１１１９５１号公報

しかしながら、被写体が実空間中に広範囲に分布していて、奥行きの違いによる視差（奥行き視差）が大きい場合には、前記従来技術によって奥行き視差を補正しようとすると、光線情報の補間処理が煩雑になり、実用的ではないという課題があった。

そこで、本発明者は、実空間を奥行き視差の無視できる小さな局所領域に分割し、それぞれの局所領域に対して個別にイメージ・ベースド・レンダリングの手法を適用して補間を行う発明をし、特許出願した（特願２００６−１８５６４８号）。この出願発明によれば、被写体が実空間中の広範囲に分布していて奥行きの違いにより視差が大きい場合であっても、局所領域内の被写体は、その局所領域の中心軸を通る平面で近似できるので光線情報の補間処理が容易になり、現実に近い実空間上の任意の視点の画像を生成することができるようになる。また、被写体と被写体との間の仮想視点からの画像を生成することができ、ウォークスルーを実現することができる。

この出願発明では、被写体以外の背景については、背景を構成するオブジェクトが全て、対象とする領域を中心として、被写体の全てを取り囲む半径が一定の円筒面上にあるとみなして、円筒面を射影変換することで近似的に表現し、多視点画像のそれぞれから抽出した背景領域を単純に合成して自由視点画像の背景領域を生成している。

例えば、図１１に示されているように、被写体の全てを取り囲む半径が一定の円筒面が円筒面１０１であり、該被写体を取り囲むように配置された複数のカメラで撮影した背景画像がｕ−ｖ座標系で表される平面１００上のオブジェクト１１０であるとすると、これをθ−ｙ座標系で表される円筒面１０１上に射影変換する。今、隣同士のカメラで撮影された背景オブジェクトに対応する射影変換画像が画像１１１，１１２であるとすると、該二つのカメラ間の仮想視点画像は該画像１１１，１１２を単純に合成し、合成画像を前記ｕ−ｖ座標系１００上に逆変換して得るようにしている。

しかしながら、実際の背景では、例えば図１２に示すように、背景を構成するオブジェクト１１０毎に奥行きが異なっていて、同一の円筒面１０１上には存在しないため、上記の自由視点画像を得る方法では、背景を構成するオブジェクト１１０が実際に見える位置と、合成された自由視点画像上のそのオブジェクトの位置との間にずれが生じ、正確な背景を有する自由視点画像が得られないという問題があった。

また、上記のずれが原因となって生じる不連続な線が現れ、違和感のない背景を有する自由視点画像が得られないという問題があった。つまり、図１３に示されているように、例えば、視点方向０°、１２°の背景画像の一部がそれぞれオブジェクト１２０、１２１であるとすると、自由視点（仮想視点）６０の背景画像はオブジェクト１２２のようになって、オブジェクト１２２に不連続な線（または、曲線）が生じるという問題があった。また、床面上に映る画像（例えば、背景のオブジェクトの影など）においても、同様の問題があった。

本発明は、前記従来技術の問題点に鑑みてなされたものであり、その目的は、背景画像や床面画像に不連続な線が現れることのない、違和感のない背景画像や床面画像、あるいは被写体画像を提供することができる自由視点画像の生成方法を提供することにある。

前記した目的を達成するために、本発明は、複数のカメラで撮影した空間の画像を用いて、該空間の任意の視点の画像を生成する自由視点画像の生成方法において、各カメラの撮影画像中のオブジェクトを切り出し、撮影画像間でのオブジェクトの対応関係を求め、それぞれのオブジェクトの撮像画像間での変位からオブジェクトの仮想的な曲面上に占める領域を求め、該領域を基に、仮想視点位置における該オブジェクトの画面内の位置を推定し、該推定された位置に基づいてオブジェクトを移動させて、任意視点からの画像の合成を行うようにした点に第１の特徴がある。

また、前記オブジェクトが、前記撮影画像から抽出された背景領域のオブジェクトである点に第２の特徴がある。また、前記オブジェクトが、前記撮影画像中から切り出された被写体である点に第３の特徴がある。

本発明によれば、背景を構成するオブジェクトを描画する曲面上の位置を視点の位置に基づいて移動させるようにしたので、ずれがない正確な背景を表示することができ、また連続した違和感のない背景を合成することができるようになる。

また、視線の方向が変わっても、視点の位置が変わらない限り、背景を１枚の曲面上のテクスチャとして表すことが可能であるので、実装に際して、計算量を減らして、処理の高速化を計れるようになる。

以下に、本発明を、図面を参照して詳細に説明する。まず、被写体とビデオカメラ（以下、単にカメラと呼ぶ）との位置関係を、図１に示す概念図で説明する。

図示されているように、撮影対象２である被写体を取り囲む実空間１の水平な外周（例えば、円周、楕円、四角形などの多角形の外周上）に、複数のカメラ３ａ、３ｂ、３ｃ、・・・、３ｎが疎の間隔で配置されている。自由視点画像は、カメラ３ａ、３ｂ、３ｃ、・・・、３ｎで撮影した画像を合成して、カメラの置かれていない仮想視点（例えば、３Ｘ）からの画像を得ようとするものである。

次に、背景の自由視点画像を生成する本発明の第１の実施形態を図２以下の図を参照して説明する。図２は、本実施形態の処理の概略を説明するフローチャートである。

まず、背景のオブジェクトを複数のカメラ３ａ、３ｂ、３ｃ、・・・で撮影した多視点映像が、図示されていない記憶手段に格納される。

次に、前処理として、該多視点映像は、被写体と背景とに分離される（ステップＳ２１）。背景は、例えば、図１の実空間１の外側の画像（または、オブジェクト）と考えることができる。具体的には、被写体の存在しない背景のみの画像と、対象とする画像との差分を求め、該差分の大きさから被写体領域を求める。そして、該対象とする画像から該被写体領域を取り除いた領域を背景とする。前記差分の大きさの評価には、例えば、Radial Reach Filterを用いることができる。なお、このような処理をするのは、対象とする画像が動画像であるからである。

次いで、背景から、背景を構成する個々のオブジェクトを抽出する（ステップＳ２２）。具体的には、背景を輝度および色合いに従って領域分割し、輝度や色合いの近い領域を１個のオブジェクトとみなす。例えば、オブジェクトの検出にはステレオマッチングを用いる。

次に、背景空間中のオブジェクトを円筒面上にあるテクスチャ（模様）とみなして、円筒面上のオブジェクトの位置を求める（ステップＳ２３）。すなわち、カメラで撮影した画像上の画素が円筒面上のどの画素と対応するかを計算する。例えば、図３において、実空間１の中心からの距離Ｄ_ｎ、方位角Θ_ｎの位置のカメラから該中心を向いて撮影した画像の画素（ｕ_ｎ，ｖ_ｎ）が、半径Dの円筒面１０１上の（高さＹ，方位角θ）の画素に対応しているとすれば、下記の(1)式が成立する。

ここで、ｆはカメラの焦点距離を画素数に換算した値である。

図４は、複数のカメラ３ａ、３ｂ、３ｃ、・・・で撮影した背景のオブジェクト１１０を被写体の全てを取り囲む半径が一定の円筒面１０１（例えば、図１の実空間１の中心からカメラ３までの距離を半径とする円筒面）上に射影した状態を示す概念図である。

次に、そのオブジェクト１１０が円筒面上に占める領域を求め、仮想視点からの画像内におけるそのオブジェクト１１０のテクスチャ（模様）の位置を推定する（ステップＳ２４）。すなわち、仮想視点位置から見た時の画像を射影変換により合成する。

例えば、図５の左縦列の図のように、方位角０°、１２°、２４°、３６°等の位置に置かれたカメラからの実写画像であるオブジェクトが円筒面１０１上を占める領域（３０，３１，３２，３３）を求める。次に、図５の右縦列の図のように、オブジェクトが円筒面１０１上を占める領域（３０，３１，３２，３３）の推移（変化）３５を求め、該推移を基に、仮想視点（例えば、６°）からの画像内におけるそのオブジェクトのテクスチャの位置を推定する。図６は、図５の右縦列の領域（３０，３１，３２，３３）の推移３５を、１つの円筒面１０１上で表した概念図である。

今、円筒面上の点に格納したデータを、中心からの距離D_ｉ、方位角Θ_ｉの位置の仮想視点から中心を向いて見た場合は、下記の(2)式に基づいて内挿補間し、オブジェクトのテクスチャの位置を推定する。図７は、この内挿補間により推定された仮想視点（例えば、６°）からの画像内におけるオブジェクト１１０のテクスチャの位置４０の概念図である。

ここで、Ｄ_０はオブジェクトの中心からの距離、Ｙ_０はオブジェクトの高さ、θ_０はオブジェクトの方位角である。

次に、算出された位置に基づいてオブジェクトのテクスチャをその円筒面上で平行移動させて、任意視点からの画像の合成を行う（ステップＳ２５）。

例えば、中心からの距離Ｄｉ、方位角Θｉの位置の仮想視点から中心を向いて見た場合は、下記の(3)式で表される円筒面上の位置に平行移動させる。

次に、円筒面上で求められた仮想視点からの画像を切り出し逆変換して、該仮想視点から見た背景画像を求める（ステップＳ２６）。この背景画像（ｕ_ｉ，ｖ_ｉ）は、下記の(4)式から求められる。図８は、この処理を示す概念図であり、円筒面上で求められた仮想視点からの画像４０を切り出し逆変換して求められた背景のオブジェクト１３０を示している。

以上の処理により、本発明によれば、図７に「本発明の手法の結果」として示されているような、不連続な線のない背景画像のオブジェクトを生成することができる。

次に、床面画像の自由視点画像を得る本発明の第２実施形態について、図９、図１０を参照して説明する。ここに、図１０は、一例としての床面に反射して映る光源１４０の像を仮想視点から見る場合の概念図である。

まず、前処理を第１実施形態と同様にして、ステップＳ３１とＳ３２で行う。最初に、被写体と床面上の画像を分離する（ステップＳ３１）。次いで、床面上の画像から、個々のオブジェクトを抽出する（ステップＳ３２）。

次に、床面の背景空間中のオブジェクトを水平面上にあるテクスチャ（模様）とみなして、水平面上のオブジェクトの位置を求める（ステップＳ３３）。すなわち、カメラで撮像した画像上の画素が水平面上のどの画素に対応するかを計算する。

例えば、中心からの距離Ｄ_ｎ、方位角Θ_ｎの位置のカメラから中心を向いて撮影した画像の画素（ｕ_ｎ，ｖ_ｎ）が、高さＨの水平面上の（半径Ｒ，方位角θ）の画素に対応しているとすれば、下記の(5)式が成立する（図１０参照）。

ここで、ｆはカメラの焦点距離を画素数に換算した値である。

次に、そのオブジェクトが水平面上に占める領域を求め、仮想視点からの画像内におけるそのオブジェクトのテクスチャ（模様）の位置を推定する（ステップＳ３４）。すなわち、仮想視点位置から見た時の画像を射影変換により合成する。例えば、水平面上の点に格納したデータを、中心からの距離Ｄｉ、方位角Θｉの位置の仮想視点から中心を向いて見た場合は、次の(6)式に基づいて内挿補間する。

ここで、Ｄ_０はオブジェクトの中心からの距離、Ｙ_０はオブジェクトの高さ、θ_０はオブジェクトの方位角である。

次に、算出された位置に基づいてオブジェクトのテクスチャ（模様）をその水平面上で回転移動させて、任意視点からの画像の合成を行う（ステップＳ３５）。例えば、中心からの距離Ｄ_ｉ、方位角Θ_ｉの位置の仮想視点から中心を向いて見た場合は、下記の(7)式で表される水平面上の位置に回転移動させる。

次に、水平面上で求められた仮想視点からの画像を切り出し逆変換して、該仮想視点から見た水平面上の背景画像を求める（ステップＳ３６）。この背景画像（ｕ_ｉ，ｖ_ｉ）は、下記の(8)式から求められる。

上記の第１、第２の実施形態は、Ｄ_０＞Ｄ、すなわち、背景（円筒面の外側）のオブジェクトに対する処理であるが、本発明はＤ_０＜Ｄ、すなわち、被写体（円筒面の内側）のオブジェクトに対しても適用することができる。

また、上記の実施形態において、円筒面と水平面を用いているのはあくまでも一例であり、本発明は、任意の曲面に対して応用することができる。

さらに、仮想視点とオブジェクトまでの距離に基づき、既に生成された自由視点画像の拡大・縮小を行うことによって、異なる仮想視点からの画像を近似的に得ることができる。例えば、中心からの距離Ｄ_ｉ、方位角Θ_ｉの位置の仮想視点から見た自由視点画像（画素（ｕ_ｉ，ｖ_ｉ）に対して、下記の(9)式に基づく拡大・縮小変換を施すことにより、中心からの距離Ｄ’_ｉ、方位角Θ’_ｉの位置の仮想視点から見た自由視点画像（画素（ｕ’_ｉ，ｖ’_ｉ）を近似的に合成できる。

ここで、Ｄ_０はオブジェクトの中心からの距離、Ｙ_０はオブジェクトの高さ、θ_０はオブジェクトの方位角である。

Ｄ_０，Ｙ_０，θ_０の算出は、例えば、下記の２通りの方法がある。

(1)撮影時に実空間中のオブジェクトの位置座標を予め直接実測して、Ｄ_０，Ｙ_０，θ_０の値を求める。

(2)曲面（上記の実施形態においては、円筒面および水平面）上のそのオブジェクトの軌跡から、最小自乗法やハフ変換を用いて、軌跡を最も精度よく近似するＤ_０，Ｙ_０，θ_０の値を求める。

カメラが疎の間隔に配置された多視点映像の撮影現場の概念図である。 本発明の第１の実施形態の処理の概略を示すフローチャートである。 本実施形態で使用する各式の変数の座標系の説明図である。 複数のカメラで撮影した背景のオブジェクトを、円筒面上に射影した場合の概念図である。 背景を構成するオブジェクトをテクスチャ（模様）とみなして、該オブジェクトの視点位置による位置の推移（変化）を説明するための概念図である。 オブジェクトの視点位置による位置の推移（変化）を、１つの円筒面上に描画した概念図である。 オブジェクトの視点位置による位置の推移から、仮想視点画像を求める処理の説明図である。 円筒面上で求められた仮想視点からの画像を切り出し逆変換して、仮想視点から見た背景画像を求める処理の説明図である。 本発明の第２の実施形態の処理の概略を示すフローチャートである。 本実施形態で使用する各式の変数の座標系の説明図である。 従来の自由視点画像の背景領域生成方法の概略の説明図である。 実際の背景では、背景を構成するオブジェクト毎に奥行きが異なっていて、同一の円筒面上には存在しないことを示す説明図である。 従来技術の課題を説明するための図である。

符号の説明

１・・・実空間（舞台）、２・・・被写体、３ａ、３ｂ、・・・、３ｎ・・・ビデオカメラ（カメラ）、３Ｘ・・・仮想視点、３０，３１，３２，３３，４０・・・領域（位置）、３５・・・推移、１０１・・・円筒面、１１０，１３０・・・背景のオブジェクト、１４０・・・光源。

Claims (10)

1. 複数のカメラで撮影した空間の画像を用いて、該空間の任意の視点の画像を生成する自由視点画像の生成方法において、
   各カメラの撮影画像中のオブジェクトを切り出し、
   撮影画像間でのオブジェクトの対応関係を求め、
   それぞれのオブジェクトの撮像画像間での変位からオブジェクトの仮想的な曲面上に占める領域を求め、
   該領域を基に、仮想視点位置における該オブジェクトの画面内の位置を推定し、
   該推定された位置に基づいてオブジェクトを移動させて、任意視点からの画像の合成を行うことを特徴とする自由視点画像の生成方法。
2. 請求項１に記載の自由視点画像の生成方法において、
   前記オブジェクトは、前記撮影画像から抽出された背景領域のオブジェクトであることを特徴とする自由視点画像の生成方法。
3. 請求項１に記載の自由視点画像の生成方法において、
   前記オブジェクトは、前記撮影画像中から切り出された被写体であることを特徴とする自由視点画像の生成方法。
4. 請求項１ないし３のいずれかに記載の自由視点画像の生成方法において、
   前記撮影画像中のオブジェクトの切り出しを、Radial Reach フィルタを用いて行うことを特徴とする自由視点画像の生成方法。
5. 請求項１ないし３のいずれかに記載の自由視点画像の生成方法において、
   前記オブジェクトの仮想的な曲面上に占める領域を、最小自乗法またはハフ変換を用いて算出することを特徴とする自由視点画像の生成方法。
6. 請求項１ないし３のいずれかに記載の自由視点画像の生成方法において、
   前記仮想視点位置におけるオブジェクトの画面内の位置を、仮想視点の位置に基づいて変位量を補間することにより推定することを特徴とする自由視点画像の生成方法。
7. 請求項１ないし３のいずれかに記載の自由視点画像の生成方法において、
   前記仮想視点位置におけるオブジェクトの画面内の位置を、実空間中のオブジェクトの座標を予め実測しておき、該実測値を用いて直接に算出することを特徴とする自由視点画像の生成方法。
8. 請求項１ないし３のいずれかに記載の自由視点画像の生成方法において、
   前記請求項５の方法を用いて算出した位置からオブジェクトの位置を推定するか、または実空間中のオブジェクトの位置を実測することにより、仮想視点とオブジェクトとの距離を求め、その距離に基づいてオブジェクトの画像を拡大または縮小することにより、大きさが正確な任意視点からの画像の合成を行うことを特徴とする自由視点画像の生成方法。
9. 請求項２に記載の自由視点画像の生成方法において、
   側面の背景空間中のオブジェクトを仮想的な円筒面上にあるテクスチャ（模様）とみなし、該オブジェクトが該円筒面上に占める領域から、仮想視点位置における該オブジェクトの画面内の位置を推定し、該推定された位置に基づいて、該オブジェクトを該円筒面上で平行移動させて任意視点からの画像の合成を行う自由視点画像の生成方法。
10. 請求項２に記載の自由視点画像の生成方法において、
    床面の背景空間中のオブジェクトを仮想的な床平面上にあるテクスチャ（模様）とみなし、該オブジェクトが該床平面上に占める領域から、仮想視点位置における該オブジェクトの画面内の位置を推定し、該推定された位置に基づいて、該オブジェクトを該水平面上で回転移動させて任意視点からの画像の合成を行う自由視点画像の生成方法。