JP2007018459A - 視差生成装置及び視差生成プログラム - Google Patents

Abstract

【課題】 ３次元形状の復元や、画像間の画素の対応付けや、膨大なメモリを必要とせずに、カメラの位置及び向きが異なる画像を生成することができる視差生成装置を提供する。
【解決手段】 視差生成装置１は、カメラに対する仮想カメラの相対位置及び相対的な向きを示す変位量ｐ、画素の座標ｈ，ｖ及び画素に対応する被写体からカメラまでの距離ｄに対応付けた、当該画素に対応する視差画像における画素の座標ｈ’，ｖ’である座標データを記憶する座標データ記憶手段１６と、外部から入力された変位量ｐと距離情報とに基づいて座標データを読み出して、補間演算によって視差画像における画素の座標ｈ’，ｖ’を算出する幾何変換手段（座標変換手段）１７と、入力された画像の画素値を、座標ｈ’，ｖ’の画素の画素値として記憶する視差画像記憶手段２４とを備えることを特徴とする。
【選択図】 図１

Description

本発明は、撮影した位置とは異なる視点からの画像を生成する技術に係り、特に、撮影された画像と、撮影したカメラから被写体までの距離を示す距離情報とに基づいて、視点の異なる画像を生成する視差生成装置及び視差生成プログラムに関する。

従来、撮影した視点とは異なる視点からの画像を生成する場合には、被写体の３次元形状を推定してから所望の画像平面に投影する方法や、複数台のカメラにより被写体を撮影し、この画像間で演算処理により視点の異なる画像を合成する方法が行われていた。

また、複数の通常のテレビカメラによって撮影された複数の画像から両目視差を生成する画像を生成する装置が開示されている（特許文献１参照）。この装置は、撮影された複数の画像を各々拡大又は縮小し、更に、両目瞳孔間隔に合わせて、画像内において水平方向にずらすことで、両目視差を生成するための画像を生成するものである。

更に、１つの視点からの画像と、この視点から被写体までの距離を示す距離画像とに基づいて、視点が水平方向あるいは垂直方向に移動した場合の画像を生成する装置が開示されている（特許文献２参照）。この装置は、視点の移動量に対応する各画素のシフト量を、所定間隔の距離データに対応させたテーブルを予め格納し、このテーブルを参照して、画素ごとのシフト量を決定するものである。
特開平８−１９００３号公報（段落番号０００７〜００３６） 特開２００１−２５６４８２号公報（段落番号００１４〜００６０）

しかしながら、被写体の３次元形状を推定する方法では、３次元形状の復元のために膨大な演算時間とメモリとを要するという問題があった。また、複数の画像間で演算処理により視点の異なる画像を合成する方法では、複数の画像間で、同一の部分が撮影されている画素同士の対応付けが必要となり、特にテクスチャの少ない被写体では視差演算の誤差が大きくなるという問題がある。

更に、特許文献１の装置では、各々の画像を拡大又は縮小して水平方向にシフトするものであるので、予め撮影した視点以外の視点からの画像を生成することはできない。また、特許文献２の装置では、水平方向あるいは垂直方向への視点の移動が前提とされているため、カメラの姿勢の変化や焦点距離の変化には適用できない。また、この装置では、視点の移動量に対応するシフト量のテーブルを予め格納することで処理を高速化するものであるが、カメラの姿勢の変化や焦点距離の変化にも対応させようとすると多次元のテーブルをメモリ上に格納する必要が生じる。そのため、膨大なメモリが必要となるという問題があった。

本発明は、前記従来技術の問題を解決するために成されたもので、３次元形状の復元や、画像間の画素の対応付けを行うことなく、かつ、被写体形状に制約を課すことなく、更に、膨大なメモリを必要とせずに、画像と距離情報とに基づいて、当該画像を撮影した条件とは視線の位置及びカメラの向きが異なる画像を生成することができる視差生成装置及び視差生成プログラムを提供することを目的とする。

前記課題を解決するため、請求項１に記載の視差生成装置は、被写体の画像である入力画像と、前記入力画像を撮影したカメラから前記入力画像の各々の画素に対応する前記被写体までの距離を示す距離情報とを入力し、任意の視点において仮想的に設置された仮想カメラからの画像である視差画像を生成する視差生成装置であって、座標データ記憶手段と、座標変換手段と、視差画像記憶手段とを備える構成とした。

かかる構成によれば、視差生成装置は、座標データ記憶手段に、カメラの位置に対する視点の相対位置、及び、カメラに対する仮想カメラの相対的な姿勢の変化量の少なくとも一方を示す変位量情報と、入力画像内における、対象となる画素の座標と、当該画素に対応する被写体からカメラまでの距離とが所定値となるときの画素に対応する視差画像における画素の座標を、入力画像における対象となる画素の座標、当該画素に対応する被写体からカメラまでの距離及び変位量情報に対応付けた座標データを記憶する。

また、視差生成装置は、座標変換手段によって、外部から入力された変位量情報と、距離情報とに基づいて、座標データ記憶手段に記憶された座標データを読み出して、補間演算によって、入力画像の各々の画素に対応する視差画像における画素の座標を算出する。ここで、読み出された座標データの変位量情報及び対象となる画素に対応する被写体からカメラまでの距離と、外部から入力された変位量情報、距離情報及び画素の座標が一致していなくても、視差画像生成装置は、補間演算によって、外部から入力された変位量情報及び距離情報に対応する、当該画素の視差画像における座標を算出することができる。更に、視差生成装置は、視差画像記憶手段に、入力画像の各々の画素の画素値を、座標変換手段によって算出された座標の画素の画素値として記憶する。

これによって、視差生成装置は、被写体の入力画像を、任意の位置及び任意の姿勢の仮想カメラからの画像である視差画像に変換して視差画像記憶手段に記憶することができる。

更に、請求項２に記載の視差生成装置は、請求項１に記載の視差生成装置において、距離データ記憶手段と、距離変換手段と、変換距離記憶手段と、比較手段とを備える構成とした。

かかる構成によれば視差生成装置は、距離データ記憶手段に、入力画像内における対象となる画素の座標、当該画素に対応する被写体からカメラまでの距離及び変位量情報が所定値となるときの当該画素に対応する被写体から視点までの距離を、座標、カメラまでの距離及び変位量情報に対応付けた距離データを記憶する。また、視差生成装置は、距離変換手段によって、外部から入力された変位量情報と、距離情報とに基づいて、距離データ記憶手段に記憶された距離データを読み出して、補間演算によって、入力画像の各々の画素に対応する被写体の視点までの距離を算出する。

そして、視差生成装置は、変換距離記憶手段に、距離変換手段によって算出された距離を、座標変換手段によって算出された座標に対応付けて記憶する。更に、視差生成装置は、比較手段によって、距離変換手段で算出された距離が、この距離に対応する画素と同一の画素に対応付けられて変換距離記憶手段に記憶された距離に比べて小さい場合に、変換距離記憶手段に対して距離変換手段で算出された距離を書き込む許可を行うとともに、視差画像記憶手段に入力画像の当該画素の画素値を書き込む許可を行う。

これによって、視差生成装置は、入力画像の複数の画素の座標が、視差画像における同一の画素の座標に変換された場合には、仮想カメラからの距離が小さい画素の画素値を視差画像記憶手段に記憶する。

また、請求項３に記載の視差生成プログラムは、被写体の画像である入力画像と、前記入力画像を撮影したカメラから前記入力画像の各々の画素に対応する前記被写体までの距離を示す距離情報とを入力し、任意の視点において仮想的に設置された仮想カメラからの画像である視差画像を生成するためにコンピュータを、座標変換手段、画素対応付け手段、として機能させることとした。

かかる構成によれば、視差生成プログラムは、座標変換手段によって、外部から入力された、カメラの位置に対する視点の相対位置、及び、カメラに対する仮想カメラの相対的な姿勢の変化量の少なくとも一方を示す変位量情報と、距離情報とに基づいて、入力画像内における、対象となる画素の座標と、当該画素に対応する被写体からカメラまでの距離と、変位量情報とが所定値となるときの画素に対応する視差画像における画素の座標を、入力画像における対象となる画素の座標、当該画素に対応する被写体からカメラまでの距離及び変位量情報に対応付けた座標データを予め記憶する座標データ記憶装置から座標データを読み出して、補間演算によって、入力画像の各々の画素に対応する視差画像における画素の座標を算出する。また、視差生成プログラムは、画素対応付け手段によって、入力画像の各々の画素の画素値を、座標変換手段によって算出された座標の画素と対応付けて視差画像記憶装置に記憶させる。

これによって、視差生成プログラムは、被写体の入力画像を、任意の位置及び任意の姿勢の仮想カメラからの画像である視差画像に変換して視差画像記憶装置に記憶することができる。

本発明に係る視差生成装置及び視差生成プログラムでは、以下のような優れた効果を奏する。請求項１又は請求項３に記載の発明によれば、３次元形状の復元や、複数の画像間の画素の対応付けを行わずに、任意の形状の被写体の入力画像と距離情報とに基づいて、任意の位置及び任意の姿勢の仮想カメラからの視差画像を生成することができる。また、座標データによって示される視差画像における画素の座標を補間して、入力画像の各々の画素の座標を算出するため、記憶された座標データ間のカメラの姿勢の変化や焦点距離の変化の間隔を大きくして、予め記憶しておく座標データの量を減らすことができる。

請求項２に記載の発明によれば、視点から見て、ある被写体がそれより手前にある他の被写体の陰に隠れてしまう場合に、手前にある被写体のみを表示した視差画像を生成することができる。

以下、本発明の実施の形態について図面を参照して説明する。
［視差生成装置の構成］
まず、図１を参照して、本発明における視差生成装置１の構成について説明する。図１は、本発明における視差生成装置の構成を示したブロック図である。

視差生成装置１は、被写体を撮影した画像（入力画像）と、この画像を撮影したカメラから画像の各画素に対応する被写体までの距離を画素ごとに示す画像である距離画像とに基づいて、任意の視点からの画像（視差画像）を生成するものである。視差生成装置１は、カウンタ１１と、アドレス演算手段１２と、カウンタ１３と、アドレス演算手段１４と、距離画像記憶手段１５と、座標データ記憶手段１６と、幾何変換手段１７と、距離データ記憶手段１８と、距離変換手段１９と、補間手段２０と、比較手段２１と、変換距離記憶手段２２と、アドレス演算手段２３と、視差画像記憶手段２４とを備える。

なお、視差生成装置１には、外部から被写体を撮影した画像と当該画像の同期信号、及び、距離画像と当該距離画像の同期信号が時系列に入力されるとともに、この画像を撮影したカメラに対する、視点の相対的な位置や、視点に仮想的に設置されるカメラの相対的な向きや焦点距離等を示す変位量（変位量情報）ｐが入力される。

ここで、画像とは、２次元状に輝度情報を配置したものとし、各輝度情報は実空間上のある点の輝度がレンズ等による幾何変換により投影されたものである。また、輝度情報とは、電磁波スペクトルを光学フィルタなどの伝達関数を通して観測した光強度に関するものであり、１次元以上のベクトルで表現されるものとする。例えば、単色（モノクローム）の画像は、輝度情報は１画素当たり１次元である。カラー画像では、例えば、赤、青、緑の３原色（あるいは、輝度１次元及び色差２次元からなる信号）からなる３次元ベクトルとすることができる。更に、例えば、多バンド画像では、２以上の波長帯域で観測した輝度値をベクトル表現したものとすることができる。

また、距離画像とは、２次元状に距離情報を配置したデータを指し、各距離情報は、前記画像の各画素に対応する実空間上の点とカメラとの間の距離を表す数値である。距離情報として、例えば、実空間上の点とカメラ上の代表的な点との間の距離を一意に決定できる数値を用いることができる。すなわち、例えば、実空間上の点とカメラのレンズの第１光学主点との距離を距離情報とすることができる。

更に、変位量ｐとは、画像を撮影したカメラ（実カメラ）に対する、視点に仮想的に設置される仮想カメラの相対位置を示す情報及び相対姿勢を示す情報、実カメラの焦点距離ｆ₀及び仮想カメラの焦点距離ｆのうちの１成分以上を含むものである。

カウンタ１１は、外部から入力された、被写体を撮影した画像の同期信号に基づいて、入力される画像の各画素の水平座標ｈ及び垂直座標ｖを出力するものである。この水平座標ｈと垂直座標ｖは、アドレス演算手段１２に出力される。

なお、例えば、入力される画像が順次走査（プログレッシブ走査）の画像の場合には、水平同期信号及び垂直同期信号に基づいて計数を行い、主走査を水平方向（又は垂直方向）、副走査を垂直方向（又は水平方向）にとり、順次画素位置を選択することができる。また、例えば、映像入力が飛び越し走査（インタレース走査）の場合のように、水平座標ｈ及び垂直座標ｖを一定の規則で定める順序で出力することとしてもよい。なお、同期信号入力として画像入力の信号を用い、当該画像の入力信号から同期信号成分を分離して、この同期信号に基づいて水平座標ｈ及び垂直座標ｖを出力することとしてもよい。

アドレス演算手段１２は、カウンタ１１から入力された水平座標ｈ及び垂直座標ｖに基づいて、後記する距離画像記憶手段１５及び視差画像記憶手段２４に対するアクセス用のアドレス（読み出しアドレス）を示す信号を生成するものである。ここで距離画像記憶手段１５には外部から距離画像が、視差画像記憶手段２４には画像が入力され、アドレス演算手段１２は、後記する視差画像記憶手段２４から視差画像を出力する際に読み出すアドレスを示す信号を生成するとともに、後記する幾何変換手段１７及び距離変換手段１９によって当該距離画像の各画素のデータを読み出すアドレスを示す信号を生成する。なお、アドレス演算手段１２は、当該信号を、距離画像記憶手段１５に対しては距離画像の解像度（水平解像度及び垂直解像度）に応じて出力し、視差画像記憶手段２４に対しては画像の解像度（水平解像度及び垂直解像度）に応じて出力する。

ここで、距離画像記憶手段１５及び視差画像記憶手段２４からの読み出しがランダムアクセスによる場合には、アドレス演算手段１２は、例えば、水平解像度がＨ画素、垂直解像度がＶ画素のときに１画素当たりＷワードを割り当てて、アドレスＡを以下の式（１）によって計算することとしてもよい。なお、ここで、Ａ₀は基底アドレスとする。
Ａ＝（ｈ＋ｖＨ）Ｗ＋Ａ₀ …（１）

また、例えば、カウンタ１１が、画面の一端を基点として走査したときの走査済みの画素数を計数した値Ｃを出力する場合には、アドレス演算手段１２は、アドレスＡを以下の式（２）によって計算することとしてもよい。
Ａ＝ＣＷ＋Ａ₀ …（２）

更に、距離画像記憶手段１５及び視差画像記憶手段２４からの読み出しがシリアルアクセスによる場合には、アドレス演算手段１２は、例えば、カウンタ１１から入力される水平座標ｈ（又は垂直座標ｖ）が変化する度に、パルスを発生することでクロック信号を生成することとしてもよい。また、必要に応じて、アドレス演算手段１２は、垂直座標ｖ（又は水平座標ｈ）が特定の値（例えば０）となる度に、パルスを発生することで、シリアルアクセス中のアドレスを原点に戻すためのリセット信号を発生することとしてもよい。

カウンタ１３は、外部から入力された、被写体からカメラまでの距離を示す距離画像の同期信号に基づいて、入力される距離画像の各画素の水平座標及び垂直座標を出力するものである。この水平座標と垂直座標は、アドレス演算手段１４に出力される。なお、このカウンタ１３は、カウンタ１１と同様の方法で水平座標及び垂直座標を特定することができる。そして、同期信号入力として距離画像入力の信号を用い、当該距離画像の入力信号から同期信号成分を分離して、この同期信号に基づいて水平座標及び垂直座標を出力することとしてもよい。

アドレス演算手段１４は、カウンタ１３から入力された水平座標及び垂直座標に基づいて、後記する距離画像記憶手段１５に対するアクセス用のアドレス（書き込みアドレス）を示す信号を生成するものである。ここで距離画像記憶手段１５には外部から距離画像が入力され、アドレス演算手段１４は、当該距離画像の各画素のデータを書き込むアドレスを示す信号を生成する。ここで生成されたアドレスを示す信号は、距離画像記憶手段１５に出力される。なお、このアドレス演算手段１４は、アドレス演算手段１２と同様の方法でアクセス用のアドレスを示す信号を生成することができる。

距離画像記憶手段１５は、外部から入力された距離画像を記憶するためのメモリであり、例えば、ＲＡＭ（ランダムアクセスメモリ）やＳＡＭ（シリアルアクセスメモリ）によって実現することができる。ここで、距離画像記憶手段１５には、アドレス演算手段１４から入力される信号によって示されるアドレスに、距離画像の各々の画素に対応する距離を示す情報（距離情報）を記憶し、アドレス演算手段１２から入力される信号によって示されるアドレスに記憶された距離情報を読み出して、幾何変換手段１７及び距離変換手段１９に出力する。

このように、距離画像記憶手段１５が距離情報を記憶し、アドレス演算手段１２から入力される信号に基づいて距離情報を読み出すことで、例えば、入力される画像と距離画像とで周波数が異なる場合にも、画像と距離画像とを同期させて出力することができる。なお、入力される画像と距離画像とが同期している場合には、視差生成装置１は、カウンタ１３、アドレス演算手段１４及び距離画像記憶手段１５を備えず、距離画像が直接、幾何変換手段１７及び距離変換手段１９に入力されることとしてもよい。

なお、距離画像記憶手段１５から距離情報が所定の順序によって読み出される際に、異なる時点（フレーム、フィールドなどを単位とする）で記憶された距離情報が読み出されることを防ぐアドレッシングを行うことが望ましい。そのために、距離画像記憶手段１５は、例えば、２画面分のメモリ領域（第１のメモリ領域及び第２のメモリ領域）を有し、ある時点では第１のメモリ領域を書き込み用、第２のメモリ領域を読み出し用とする。そして、次の時点では、第１のメモリ領域を読み出し用、第２のメモリ領域を書き込み用とし、書き込み及び読み出しのメモリ領域を交互に切り替えることを繰り返す。

この操作は、基底アドレスを２種類（第１の基底アドレス及び第２の基底アドレス）用意して、これらをフレームごとに、書き込み及び読み出しに対して交互に設定することで実現可能である。すなわち、ある時点ではアドレス演算手段１２が第１の基底アドレスを使用し、アドレス演算手段１４が第２の基底アドレスを使用する。そして、次の時点ではアドレス演算手段１２が第２の基底アドレスを使用し、アドレス演算手段１４が第１の基底アドレスを使用する。このように、アドレス演算手段１２及びアドレス演算手段１４が交互に異なる基底アドレスを使用する。

座標データ記憶手段１６は、座標データを記憶するもので、半導体メモリ、ハードディスク等の一般的な記憶手段である。この座標データは、後記する幾何変換手段１７によって読み出され、幾何変換手段１７によって、撮影された画像を異なる視点からの画像に画素ごとに変換した後の座標を算出する際に参照されて用いられる。

なお、座標データは、当該カメラの位置から見た視点の相対位置及び相対姿勢（カメラパラメータ）である変位量ｐ、及び、カメラから被写体までの距離ｄを所定の値に設定し、このカメラによって撮影された画像を当該視点からの画像に変換した際の、撮影された画像の各画素の変換後の座標を、当該変位量ｐ、及び、距離ｄに対応させたものである。座標データ記憶手段１６は、様々な変位量ｐ及び距離ｄについての複数の座標データを予め記憶している。

ここで、図２を参照して、座標データ記憶手段１６に記憶される座標データの算出方法について説明する。ここで、カメラによって撮影された画像の水平座標ｈ及び垂直座標ｖの画素を変換した後の座標を、水平座標ｈ’及び垂直座標ｖ’とする。図２は、座標データ記憶手段に記憶される座標データの算出方法を説明するための説明図である。なお、ここで、入力される画像を撮影したカメラを実カメラ、この実カメラから変位量ｐだけ移動した位置及び姿勢に仮想的に配置したカメラを仮想カメラという。ここでは、実カメラ及び仮想カメラによって撮影される画像の変換において、透視投影モデルが成り立つ場合を例に説明するが、レンズに収差がある場合、魚眼レンズを使用する場合、撮像面形状に歪みがある場合など、透視投影が成り立たないカメラを仮定してもよい。

図２に示すように、実カメラＣによって撮影された画像上における画素の座標（ｈ，ｖ）に対応する被写体上の点をＰとする。また、距離ｄは、画像の各画素に対応する実空間における被写体上の点と、カメラのレンズの第１光学主点との間の距離を示す。そして、変位量ｐは、実カメラＣの固定された座標系に対する仮想カメラＣ’の相対位置（ξ，η，ζ）及び相対姿勢（α，δ，φ）、実カメラＣの焦点距離ｆ₀及び仮想カメラＣ’の焦点距離ｆのうちの１成分以上を含むものである。ここで、変位量ｐは、以下の式（３）によって表されることとする。なお、相対姿勢は、ここでは、パン角α、チルト角δ及びロール角φによって表すが、例えば、オイラー角、回転行列、オイラーパラメータ等の任意の表現形式を用いることができる。

ここで、実カメラ座標系から見たある方向ベクトルを仮想カメラ系に変換する３行３列の回転行列をＲとし、この行列Ｒの第１行成分を取り出した行ベクトルをＲ₁、第２行成分を取り出した行ベクトルをＲ₂、第３行成分を取り出した行ベクトルをＲ₃とすると、行列Ｒは、以下の式（４）によって表される。

そして、仮想カメラ座標系における点Ｐの位置ベクトルをｖ_qとすると、ベクトルｖ_qは、以下の式（５）によって表される。

また、実カメラＣから見た点Ｐの位置ベクトルをｖ_pとすると、ベクトルｖ_pは、以下の式（６）によって表される。

よって、式（３）から式（５）より、ベクトルｖ_qについて、以下の式（７）が得られる。

一方、仮想カメラＣ’で撮影した画像内における点Ｐの座標（ｈ’，ｖ’）は、以下の式（８）によって表される。

そして、前記の式（６）と式（８）より、以下の式（９）が得られる。

なお、行列Ｒ及び行ベクトルＲ₁、Ｒ₂、Ｒ₃をパン角α、チルト角δ及びロール角φによって表現すると、以下の式（１０）のようになる。

このようにして、前記の式（９）及び式（１０）に基づいて、変位量ｐ及びカメラから被写体までの距離ｄが所定値の場合における、ある座標ｈ，ｖの画素についての座標データを算出することができる。そして、諸入力量ｈ、ｖ、ｄ、ξ、η、ζ、α、δ、φ、ｆ₀、ｆの張るベクトル空間Ｓにおける代表的な点（代表点）ｓ（ｋ）（図示せず）をＫ個配置する（Ｋは２以上の整数、ｋは１以上Ｋ以下の整数）。そして、座標データ記憶手段１６は、前記の方法によって算出されたＫ個の代表点ｓ（１）、ｓ（２）、…、ｓ（Ｋ）の変換後の座標ｈ’，ｖ’に、変換前の座標ｈ，ｖ、変位量ｐ及び距離ｄを対応させた座標データを予め記憶する。なお、座標データ記憶手段１６には、変位量ｐ及び距離ｄのサンプリングの間隔を、所定値おきに規則正しくとった座標データを記憶することとしてもよいし、ベクトル量子化のように、ランダムな複数の代表点についての座標データを記憶することとしてもよい。

幾何変換手段（座標変換手段）１７は、外部から入力された変位量ｐと、距離画像記憶手段１５から入力された距離情報と、カウンタ１１から入力された座標ｈ，ｖと、座標データ記憶手段１６に記憶された座標データとに基づいて、外部から入力された画像の各々の画素について、当該画素の水平座標ｈ及び垂直座標ｖを、視点からの画像における水平座標ｈ’及び垂直座標ｖ’に変換するものである。ここでは、幾何変換手段１７は、アドレス演算部１７ａと、座標補間部１７ｂとを備える。

アドレス演算部１７ａは、外部から入力された変位量ｐと、距離画像記憶手段１５から入力された距離情報と、カウンタ１１から入力された座標ｈ，ｖとに基づいて、後記する座標補間部１７ｂによる補間に用いられる座標データの、座標データ記憶手段１６におけるアドレスを出力するものである。このアドレスは、座標補間部１７ｂに出力される。

ここで、座標データ記憶手段１６には、様々な変位量ｐ、距離ｄ及び画素の座標ｈ，ｖに対応付けられた座標データが記憶され、アドレス演算部１７ａは、例えば、座標補間部１７ｂによってニアレストネイバー法によって補間する場合には、ベクトル空間Ｓにおいて、入力された変位量ｐ、距離情報及び画素の座標ｈ，ｖによって示される点ｓの最近傍の代表点ｓ（ｋ）の座標データを１つ選択して、このアドレスを座標補間部１７ｂに出力することとしてもよい。また、座標補間部１７ｂによって複数の座標データに基づいて補間する場合には、アドレス演算部１７ａは、複数の座標データのアドレスを出力することとしてもよい。

座標補間部１７ｂは、アドレス演算部１７ａから入力されたアドレスに基づいて座標データ記憶手段１６から座標データを読み出して、当該座標データに基づいて補間処理を行い、実カメラによる画像において水平座標ｈ及び垂直座標ｖの画素を仮想カメラからの画像に変換した際の、水平座標ｈ’及び垂直座標ｖ’を算出するものである。ここで算出された水平座標ｈ’及び垂直座標ｖ’は、補間手段２０に出力される。

ここで、例えば、座標補間部１７ｂが、ニアレストネイバー法によって補間を行う場合には、アドレス演算部１７ａから１つの座標データに対応するアドレスが入力され、座標補間部１７ｂは、このアドレスに対応する座標データを読み出す。例えば、外部から、カメラの位置に対する視点の相対位置のｘ座標として「ξ＝１１ｃｍ」が入力され、座標データ記憶手段１６に記憶されたξ＝１０ｃｍの座標データのアドレスがアドレス演算部１７ａから入力された場合には、座標補間部１７ｂは、このξ＝１０ｃｍに対応する座標データを座標データ記憶手段１６から読み出す。そして、座標補間部１７ｂは、座標データ記憶手段１６から読み出された座標データによって示される座標を、変換後の水平座標ｈ’及び垂直座標ｖ’とすることとしてもよい。

あるいは、例えば、座標補間部１７ｂが、ベクトル空間Ｓにおいて、入力された変位量ｐ、距離ｄ及び画素の座標ｈ，ｖによって示される点ｓを取り囲む代表点ｓ（ｋ）に対応する座標データを読み出して、この座標データによって示される座標と、点ｓの位置とに基づいて一次補間を施してその結果を変換後の水平座標ｈ’及び垂直座標ｖ’とすることとしてもよい。

また、例えば、座標補間部１７ｂが、テイラー展開を用いて補間することとしてもよい。このとき、座標データ記憶手段１６には、ベクトル空間Ｓにおける代表点ｓ（ｋ）の座標データとともに、前記の式（９）、（１０）に基づいて、以下の式（１１）によって算出された、この代表点ｓ（ｋ）の周りにおけるｓ＝（ｈ，ｖ，ｄ，α，δ，φ，ｆ₀，ｆ）による偏微分係数行列Ｍを予め記憶しておく。

そして、座標補間部１７ｂが、ベクトル空間Ｓにおいて、入力された値（ｈ、ｖ、ｄ、ξ、η、ζ、α、δ、φ、ｆ₀、ｆ）に最も近くに存在する代表点ｓ（ｋ）と、当該代表点における偏微分係数行列Ｍとを座標データ記憶手段１６から読み出し、下記の式（１２）によって変換後の座標ｈ’，ｖ’を算出することができる。

なお、ここでは、諸入力量ｈ、ｖ、ｄ、ξ、η、ζ、α、δ、φ、ｆ₀、ｆの張るベクトル空間Ｓの場合を説明したが、必要に応じて（ｈ、ｖ、ｄ、ξ、η、ζ、α、δ、φ、ｆ₀、ｆ）の一部分だけを取り出したベクトルの張るベクトル空間としてもよい。

距離データ記憶手段１８は、距離データを記憶するもので、半導体メモリ、ハードディスク等の一般的な記憶手段である。この距離データは、後記する距離変換手段１９によって読み出され、画素ごとに、撮影された画像を異なる視点からの画像に変換した後の画素に対応する被写体から視点までの距離ｄ’を算出する際に参照されて用いられる。

なお、距離データは、変位量ｐ、及び、カメラから被写体までの距離ｄを所定の値に設定し、このカメラによって撮影された画像を当該視点からの画像に変換した際の、撮影された画像の各画素の変換後の各画素に対応する被写体から視点までの距離ｄ’を、当該変位量ｐ、及び、距離ｄに対応させたものである。距離データ記憶手段１８は、様々な変位量ｐ及び距離ｄについての複数の距離データを予め記憶している。

ここで、図２を参照して、距離データ記憶手段１８に記憶される距離データの算出方法について説明する。図２に示すように、実カメラＣによって撮影された画像上における画素の座標（ｈ，ｖ）に対応する被写体（点Ｐ）から実カメラＣまでの距離ｄである場合に、仮想カメラＣ’から点Ｐまでの距離ｄ’は、仮想カメラ座標系における点Ｐの位置ベクトルｖ_qの絶対値であるので、距離ｄ’は、以下の式（１３）によって算出することができる。

なお、距離データ記憶手段１８には、変位量ｐ及び距離ｄのサンプリングの間隔を、所定値おきに規則正しくとった距離データを記憶することとしてもよいし、ベクトル量子化のように、ランダムな複数の代表点についての距離データを記憶することとしてもよい。

図１に戻って説明を続ける。距離変換手段（距離変換手段）１９は、外部から入力された変位量ｐと、距離画像記憶手段１５から入力された距離情報と、カウンタ１１から入力された座標ｈ，ｖと、距離データ記憶手段１８に記憶された距離データとに基づいて、外部から入力された画像の各々の画素の距離情報によって示される距離ｄを、撮影された画像を異なる視点からの画像に変換した後の画素に対応する被写体から視点までの距離ｄ’に変換するものである。ここでは、距離変換手段１９は、アドレス演算部１９ａと、距離補間部１９ｂとを備える。

アドレス演算部１９ａは、外部から入力された変位量ｐと、距離画像記憶手段１５から入力された距離情報によって示される距離ｄとに基づいて、後記する座標補間部１７ｂによる補間に用いられる距離データの、距離データ記憶手段１８におけるアドレスを出力するものである。このアドレスは、距離補間部１９ｂに出力される。

ここで、距離データ記憶手段１８には、様々な変位量ｐ及び距離ｄに対応付けられた距離データが記憶され、アドレス演算部１９ａは、例えば、ニアレストネイバー法によって、入力された変位量ｐと距離ｄとに最近傍の距離データを１つ選択してこのアドレスを距離補間部１９ｂに出力することとしてもよい。また、距離補間部１９ｂによって複数の距離データに基づいて補間を行う場合には、アドレス演算部１９ａは、複数の距離データのアドレスを出力することとしてもよい。

距離補間部１９ｂは、アドレス演算部１９ａから入力されたアドレスに基づいて距離データ記憶手段１８から距離データを読み出して、当該距離データに基づいて補間処理を行い、実カメラによる画像において水平座標ｈ及び垂直座標ｖの画素を仮想カメラからの画像に変換した際の、当該画素に対応する被写体から視点までの距離ｄ’を算出するものである。ここで算出された距離ｄ’は、補間手段２０に出力される。

補間手段２０は、幾何変換手段１７から入力された水平座標ｈ’及び垂直座標ｖ’、あるいは、距離変換手段１９から入力された距離ｄ’のそれぞれ複数のデータに対して補間処理を行うものである。ここで補間された水平座標ｈ”、垂直座標ｖ”及び距離ｄ”は、アドレス演算手段２３に出力される。

例えば、補間手段２０は、カウンタ１１から出力された水平座標ｈ及び垂直座標ｖに関する複数の組み合わせに注目し、それぞれの水平座標ｈ’、垂直座標ｖ’及び距離ｄ’に基づいて補間処理を行うことができる。ここで、図３を参照して、補間手段２０による補間処理について具体例を挙げて説明する。ここでは、補間手段２０が、３点の近接する画素の水平座標ｈ’、垂直座標ｖ’及び距離ｄ’に対して補間処理を行う場合について説明する。図３は、補間手段が、３点の近接する画素の水平座標、垂直座標及び距離に対して行う補間処理を説明するための説明図である。

図３（ａ）に示すように、外部から入力される画像内における、隣接する３つの画素によって囲まれる三角形状のメッシュを想定し、当該メッシュを構成する三角パッチのそれぞれに注目する。ここで、ある三角パッチｔの３頂点の座標を（ｈ₀，ｖ₀）、（ｈ₁，ｖ₁）、（ｈ₂，ｖ₂）とする。更に、この３頂点の座標を幾何変換手段１７によって変換した結果を（ｈ₀’，ｖ₀’）、（ｈ₁’，ｖ₁’）、（ｈ₂’，ｖ₂’）とする。そして、図３（ｂ）に示すように、補間手段２０は、この３点Ｑ₀（ｈ₀’，ｖ₀’）、Ｑ₁（ｈ₁’，ｖ₁’）、Ｑ₂（ｈ₂’，ｖ₂’）に囲まれる３角形の内部の全格子点Ｑ_i（ｈ_i’，ｖ_i’）に対して補間値（ｈ”，ｖ”）及びｄ”を算出する。ここで、補間値（ｈ”，ｖ”）及びｄ”は、下記の式（１４）によって求められる。

なお、図３（ｂ）に示すように、ａ₁、ｂ₁、ａ₂及びｂ₂は、点Ｑ₀及び点Ｑ₂を通る直線に平行で点Ｑ_iを通る直線が、点Ｑ₀及び点Ｑ₁を通る直線と交わる点Ｒ₁と、点Ｑ₀及び点Ｑ₁を通る直線に平行で点Ｑ_iを通る直線が、点Ｑ₀及び点Ｑ₂を通る直線と交わる点Ｒ₂とを用いて、以下の式（１５）により定められる。

ここで、補間手段２０に、幾何変換手段１７及び距離変換手段１９から３点分の座標ｈ’，ｖ’及び距離ｄ’が一度に入力されることとしてもよいし、補間手段２０が、図示しないメモリを備え、メモリに３点分の座標ｈ’，ｖ’及び距離ｄ’が蓄積された時点で、この３点について補間処理を行うこととしてもよい。

図１に戻って説明を続ける。比較手段２１は、補間手段２０から入力された距離ｄ”と、後記する変換距離記憶手段２２から入力された距離ｄ”とを比較し、補間手段２０から入力された距離ｄ”が変換距離記憶手段２２から入力された距離ｄ”より小さい（又は、大きくない）場合に、変換距離記憶手段２２及び視差画像記憶手段２４に対して書き込み許可を与えるものである。なお、比較手段２１は、補間手段２０によって算出された距離ｄ”の画素に対応する距離ｄ”が変換距離記憶手段２２に記憶されていない場合にも、変換距離記憶手段２２及び視差画像記憶手段２４に対して書き込み許可を与える。ここで生成された書き込み許可の指令は、変換距離記憶手段２２と視差画像記憶手段２４とに出力される。

なお、この比較手段２１によって書き込み許可を与えることで、視点から見て、補間手段２０によって算出された距離ｄ”に対応する被写体が、すでに変換距離記憶手段２２に記憶された距離ｄ”に対応する被写体の陰に隠れてしまう場合に、距離ｄ”及び画素値を、変換距離記憶手段２２及び視差画像記憶手段２４に上書きされないように制御することができる。

変換距離記憶手段２２は、補間手段２０によって算出された距離ｄ”を記憶するもので、半導体メモリ、ハードディスク等の一般的な記憶手段である。ここで、変換距離記憶手段２２は、後記するアドレス演算手段２３から入力されたアドレスに記憶された距離ｄ”を比較手段２１に出力し、比較手段２１から書き込み許可の指令が入力された場合に、補間手段２０によって算出された距離ｄ”を当該アドレスに記憶する。この距離ｄ”は、補間手段２０から入力された距離ｄ”が変換距離記憶手段２２に記憶された距離ｄ”より小さい（又は、大きくない）かを判断する際に参照されて用いられる。

アドレス演算手段（画素対応付け手段）２３は、補間手段２０から入力された、変換後の水平座標ｈ”及び垂直座標ｖ”に基づいて、距離ｄ”を変換距離記憶手段２２に書き込むとともに、距離ｄ”を変換距離記憶手段２２から読み出すためのアドレスを示す情報を生成し、更に、外部から入力される画像の画素値を後記する視差画像記憶手段２４に書き込むためのアドレスを示す情報を生成するものである。ここで生成された信号は、変換距離記憶手段２２及び視差画像記憶手段２４に出力される。なお、このアドレス演算手段２３は、アドレス演算手段１２と同様の方法でアクセス用のアドレスを示す信号を生成することができる。

視差画像記憶手段２４は、外部から入力された画像を記憶するためのメモリである。この視差画像記憶手段２４は、少なくとも書き込みに関してはランダムアクセスが可能なものでなければならない。なお、読み出しに関してはランダムアクセス及びシリアルアクセスのいずれでもよい。ここで、視差画像記憶手段２４は、比較手段２１から書き込み許可の指令が入力された場合に、アドレス演算手段２３から入力される信号によって示されるアドレスに、入力される画像の各々の画素の画素値を記憶する。これによって、視差画像記憶手段２４には、入力された画像を仮想カメラからの画像に変換した視差画像が記憶される。そして、アドレス演算手段１２から入力される信号によって示されるアドレスに記憶された画素値が、視差画像記憶手段２４から順次読み出されて外部に出力されることで、視差画像が外部に出力される。

なお、視差画像記憶手段２４から情報が所定の順序によって読み出される際に、距離画像記憶手段１５と同様に、異なる時点（フレーム、フィールドなどを単位とする）で記憶された画素値が読み出されることを防ぐアドレッシングを行うことが望ましい。そのために、視差画像記憶手段２４は、例えば、２画面分のメモリ領域を有し、書き込み用のメモリ領域と読み出し用のメモリ領域とを交互に切り替えることを繰り返すことで、外部に出力される画像の乱れを防ぐことができる。この操作は、基底アドレスを２種類用意して、フレームごとにアドレス演算手段１２及びアドレス演算手段２３が交互に異なる基底アドレスを使用することで実現できる。

以上のように視差生成装置１を構成することで、視差生成装置１は、入力された画像を任意の視点からの画像（視差画像）に変換して出力することができる。更に、視差生成装置１は、入力された画像の複数の画素の座標が、視差画像における同一の画素の座標に変換された場合には、仮想カメラからの距離ｄ”が小さい画素の画素値を視差画像記憶手段２４に記憶する。そのため、視点から見てある被写体がそれより手前にある他の被写体の陰に隠れてしまう場合に、手前にある被写体のみを表示した視差画像を生成することができる。

なお、視差生成装置１は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合して、視差画像生成プログラムとして動作させることも可能である。

［視差生成装置の動作］
次に図４を参照（適宜図１参照）して、本発明における視差生成装置１の動作について説明する。図４は、本発明における視差生成装置の動作を示したフローチャートである。なお、ここでは、視差生成装置１が視差画像を生成して視差画像記憶手段２４に記憶する動作について説明する。

まず、視差生成装置１は、図示しない入力手段によって、ある画素の画素値を入力するとともに、当該画素に対応する距離情報を入力する（ステップＳ１１）。そして、視差生成装置１は、カウンタ１１によって、外部から入力された画像の同期信号に基づいて、ステップＳ１１において入力された画素値に対応する画素の座標ｈ，ｖを算出する（ステップＳ１２）。

そして、視差生成装置１は、幾何変換手段１７によって、座標データ記憶手段１６に記憶された座標データを参照して、ステップＳ１２において算出された画素の座標ｈ，ｖを、当該画像を撮影したカメラ（実カメラ）に対して変位量ｐによって示される位置及び姿勢の仮想カメラからの画像における画素の座標ｈ’，ｖ’に変換するとともに、距離変換手段１９によって、距離データ記憶手段１８に記憶された距離データを参照して、ステップＳ１１において入力された距離情報によって示される距離ｄを、仮想カメラから当該画素に対応する被写体までの距離ｄ’に変換する（ステップＳ１３）。また、視差生成装置１は、補間手段２０によって、ステップＳ１３において変換された座標ｈ’，ｖ’及び距離ｄ’について補間処理を行う（ステップＳ１４）。

そして、視差生成装置１は、比較手段２１によって、同一の画素に対して変換距離記憶手段２２に距離ｄ”が記憶されている場合に、ステップＳ１４において補間処理によって算出された距離ｄ”が、記憶された距離ｄ”より小さい（又は、大きくない）かを判断する（ステップＳ１５）。そして、記憶された距離ｄ”より小さくない（又は、大きい）場合は（ステップＳ１５でＮｏ）には、ステップＳ１１に戻って、次の画素について画素値と距離情報を入力する動作以降の動作を行う。一方、記憶された距離ｄ”より小さい（又は、大きくない）場合は（ステップＳ１５でＹｅｓ）には、視差生成装置１は、ステップＳ１４において算出された座標ｈ”，ｖ”に基づいてアドレス演算手段２３によって算出された当該座標ｈ”，ｖ”に対応するアドレスに対して、視差画像記憶手段２４にはステップＳ１１において入力された画素値を、変換距離記憶手段２２にはステップＳ１４において算出された距離ｄ”を記憶し（ステップＳ１６）、ステップＳ１１に戻って、次の画素について画素値と距離情報を入力する動作以降の動作を行う。

以上の動作によって、視差生成装置１は、画素ごとに座標ｈ，ｖと距離ｄの変換を行い、視差画像を生成して視差画像記憶手段２４に記憶することができる。なお、視差画像記憶手段２４に記憶された視差画像は、アドレス演算手段１２によって算出されたアドレスに基づいて、例えば、視差画像記憶手段２４が、各々書き込み用及び読み出し用の１フレーム分のメモリ領域を切り替える場合には１フレーム遅れで、１フィールド分のメモリ領域を切り替える場合には１フィールド遅れで順次外部に出力される。

本発明における視差生成装置の構成を示したブロック図である。 本発明における視差生成装置の座標データ記憶手段に記憶される座標データの算出方法を説明するための説明図である。 本発明における視差生成装置の補間手段が、３点の近接する画素の水平座標、垂直座標及び距離情報に対して行う補間処理を説明するための説明図である。 本発明における視差生成装置の動作を示したフローチャートである。

符号の説明

１ 視差生成装置
１１ カウンタ
１２ アドレス演算手段
１３ カウンタ
１４ アドレス演算手段
１５ 距離画像記憶手段
１６ 座標データ記憶手段
１７ 幾何変換手段（座標変換手段）
１８ 距離データ記憶手段
１９ 距離変換手段（距離変換手段）
２０ 補間手段
２１ 比較手段
２２ 変換距離記憶手段
２３ アドレス演算手段（画素対応付け手段）
２４ 視差画像記憶手段

Claims (3)

1. 被写体の画像である入力画像と、前記入力画像を撮影したカメラから前記入力画像の各々の画素に対応する前記被写体までの距離を示す距離情報とを入力し、任意の視点において仮想的に設置された仮想カメラからの画像である視差画像を生成する視差生成装置であって、
   前記カメラの位置に対する前記視点の相対位置及び前記カメラに対する前記仮想カメラの相対的な姿勢の変化量の少なくとも一方を示す変位量情報と、前記入力画像内における、対象となる画素の座標と、当該画素に対応する被写体から前記カメラまでの距離とが所定値となるときの前記画素に対応する前記視差画像における画素の座標を、前記入力画像における前記対象となる画素の座標、前記距離及び前記変位量情報に対応付けた座標データを記憶する座標データ記憶手段と、
   外部から入力された前記変位量情報と、前記距離情報とに基づいて、前記座標データ記憶手段に記憶された座標データを読み出して、補間演算によって、前記入力画像の各々の前記画素に対応する前記視差画像における画素の座標を算出する座標変換手段と、
   前記入力画像の各々の画素の画素値を、前記座標変換手段によって算出された座標の画素の画素値として記憶する視差画像記憶手段と、
   を備えることを特徴とする視差生成装置。
2. 前記入力画像内における前記対象となる画素の座標、当該画素に対応する被写体から前記カメラまでの距離及び前記変位量情報が所定値となるときの当該画素に対応する前記被写体から前記視点までの距離を、前記座標、前記カメラまでの距離及び前記変位量情報に対応付けた距離データを記憶する距離データ記憶手段と、
   外部から入力された前記変位量情報と、前記距離情報とに基づいて、前記距離データ記憶手段に記憶された距離データを読み出して、補間演算によって、前記入力画像の各々の前記画素に対応する前記被写体の前記視点までの距離を算出する距離変換手段と、
   この距離変換手段によって算出された距離を、前記座標変換手段によって算出された座標に対応付けて記憶する変換距離記憶手段と、
   前記距離変換手段によって算出された距離が、この距離に対応する画素と同一の画素に対応付けられて前記変換距離記憶手段に記憶された距離に比べて小さい場合に、前記変換距離記憶手段に対して前記距離変換手段によって算出された距離を書き込む許可を行うとともに、前記視差画像記憶手段に前記入力画像の当該画素の画素値を書き込む許可を行う比較手段と、
   を備えることを特徴とする請求項１に記載の視差生成装置。
3. 被写体の画像である入力画像と、前記入力画像を撮影したカメラから前記入力画像の各々の画素に対応する前記被写体までの距離を示す距離情報とを入力し、任意の視点において仮想的に設置された仮想カメラからの画像である視差画像を生成するためにコンピュータを、
   外部から入力された、前記カメラの位置に対する前記視点の相対位置及び前記カメラに対する前記仮想カメラの相対的な姿勢の変化量の少なくとも一方を示す変位量情報と、前記距離情報とに基づいて、前記入力画像内における、対象となる画素の座標と、当該画素に対応する被写体から前記カメラまでの距離と、前記変位量情報とが所定値となるときの前記画素に対応する前記視差画像における画素の座標を、前記入力画像における前記対象となる画素の座標、前記距離及び前記変位量情報に対応付けた座標データを予め記憶する座標データ記憶装置から前記座標データを読み出して、補間演算によって、前記入力画像の各々の前記画素に対応する前記視差画像における画素の座標を算出する座標変換手段、
   前記入力画像の各々の画素の画素値を、前記座標変換手段によって算出された座標の画素と対応付けて視差画像記憶装置に記憶させる画素対応付け手段
   として機能させることを特徴とする視差生成プログラム。

Images