JP2019220099A - ステレオマッチング処理装置、ステレオマッチング処理方法、及びプログラム - Google Patents

Abstract

【課題】多視点の三次元復元手法において、精度よく奥行値を算出することができる画像のペアを選択することが容易となるステレオマッチング処理装置を提供する。【解決手段】対象物体が互いに異なる撮像位置から撮像された複数の画像を用いて前記対象物体の奥行値を算出するステレオマッチング処理装置であって、前記複数の画像における第１参照画像と前記第１参照画像とは異なる第１近傍画像とのステレオマッチングを行うことにより、前記第１参照画像における画素ごとの奥行値である第１奥行値を算出する第１処理部と、前記第１奥行値に基づいて、前記複数の画像における前記第１参照画像とは異なる第２近傍画像を選択する選択部と、前記第１参照画像と前記第２近傍画像とのステレオマッチングを行うことにより前記第１参照画像における画素ごとの奥行値である第２奥行値を算出する第２処理部を備える。【選択図】図１

Description

本発明は、互いに異なる視点（撮像位置）から対象物体が撮像された複数の画像を用いて三次元形状モデルを生成する三次元復元手法において、より高精度に三次元形状を生成するステレオマッチング処理装置及びステレオマッチング処理方法に関する。

従来、互いに異なる視点から撮像された複数の画像を用いて、対象物体の三次元形状モデルを生成する三次元復元手法がある。
三次元復元手法には、例えば、ステレオカメラによる手法がある。ステレオカメラおいては、一定の間隔に並べられたキャリブレーション済みの複数のカメラの各々により画像を撮像し、撮像した画像の各々を用いてステレオマッチングを行うことにより、三角測量の原理に基づいて画像における各画素の奥行値を計算する。そして、計算した奥行値に基づいて三次元の位置情報を持つ点群に変換することで、三次元形状モデルを作成する。

ところで、ステレオマッチングを行う場合、一方の画像における視点から対象物体までの距離に応じて、精度よく奥行値を計算することができる他方の画像の視点位置の条件が存在する。例えば、非特許文献１では、カメラの位置を動かさずに回転させることで撮像方向を変化させる回転運動ではなく、カメラの位置を動かすことで撮像方向を変化させる平行移動を行うことにより、互いの画像の視点位置と対象物体との間の視差角が、１５度前後となるように撮像する旨が記載されている。これは、ステレオマッチングの原理上、視差角が小さい場合には奥行値の誤差が大きくなる傾向にあるためである。反対に、視差角が大きすぎる場合には、互いの画像と対象物体とが正対しなくなり、画像処理が困難になると共に、奥行値の精度が低下する傾向にあるためである。

一方、ステレオカメラにおいては、予め複数のカメラの相対的な位置関係や角度（撮像方向）がずれないように固定されている。このため、高精度に奥行値を求めることができる視点と対象物体との距離が限定的となる。これにより、視点と対象物体との距離が限定されると、対象物体の大きさによってはステレオカメラにより撮像された画像に対象物体が入りきらなかったり、画像に対して対象物体が小さく撮像されたりすることがあり、このような場合には、奥行値の精度が低下する場合がある。

上述したように、ステレオカメラにおいては、予め複数のカメラの相対的な位置関係や角度（撮像方向）が固定されている。このため、高精度に奥行値を求めることができる視点と対象物体との距離が限定的となる。

ステレオカメラとは異なる他の三次元復元手法として、多視点の三次元復元手法がある。この手法では、互いに異なる視点から対象物体が撮像された複数の画像（以下、多視点画像という）に基づいて、三次元形状モデルを生成する方法である。この手法においては、カメラの台数に制限はなく、また、視点から対象物体までの距離が限定されることはなく、例えば、カメラ一台を移動させながら異なる視点から対象物体を撮像してもよいし、カメラ複数台で異なる視点から対象物体を撮像してもよい。このため、対象物体の大きさに依らずに、任意の視点から任意の方向で撮像された画像を用いることができ、奥行値を精度よく算出できるように対象物体が撮像された画像を選択することが可能である。

一方、ステレオカメラの場合のようにステレオマッチングに用いる画像のペアが予め決定されていないため、ステレオマッチングに用いる画像のペアを選択する必要がある。非特許文献２では、多視点の三次元復元手法について、対象物体までの距離が近い視点で撮像された画像を、ステレオマッチングに用いる画像のペアとして選択する旨が記載されている。

八木 康史他 「コンピュータビジョン最先端ガイド５（Ｐｈｏｔｏｍｅｔｒｉｃ ｓｔｅｒｅｏ， ｍｕｌｔｉ−ｖｉｅｗ ｓｔｅｒｅｏ，３Ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ｕｓｉｎｇ ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）」アドコム・メディア株式会社出版、２０１２年 Ｍ．Ｇｏｅｓｅｌｅ， Ｂ．Ｃｕｒｌｅｓｓ， Ｓ．Ｍ．Ｓｅｉｔｚ，"Ｍｕｌｔｉ−Ｖｉｅｗ Ｓｔｅｒｅｏ Ｒｅｖｉｓｉｔｅｄ"， Ｐｒｏｃ．ｏｆ ｔｈｅ ＩＥＥＥ ２００６

しかしながら、非特許文献２に記載されているように対象物体までの距離が近い視点で撮像された画像をステレオマッチングに用いる画像のペアとして選択した場合、画像間の視差角が小さくなる可能性がある。視差角が小さい場合には奥行値の誤差が大きくなってしまう。一方で、非特許文献１に記載されているように、適切な視差角の関係にある画像のペアを選択した場合、選択した画像間において撮像した対象物体までの距離が異なる可能性がある。撮像した対象物体までの距離が近い場合には画像に対して対象物体が大きく撮像され、距離が遠い場合には画像に対して対象物体が小さく撮像される。このため、撮像した対象物体までの距離が、画像間で大きく異なる場合には、画像間における対象物体の見え方が変わってしまい、ステレオマッチングに用いる画像のペアとして適さない。

本発明は、このような状況に鑑みてなされたもので、多視点の三次元復元手法において、精度よく奥行値を算出することができる画像のペアを容易に選択することができるステレオマッチング処理装置、ステレオマッチング処理方法、及びプログラムを提供する。

本発明のステレオマッチング処理装置は、対象物体が互いに異なる撮像位置から撮像された複数の画像を用いて前記対象物体の奥行値を算出するステレオマッチング処理装置である。前記ステレオマッチング処理装置は、前記複数の画像における第１参照画像と前記第１参照画像とは異なる第１近傍画像とのステレオマッチングを行うことにより、前記第１参照画像における画素ごとの奥行値である第１奥行値を算出する第１処理部と、前記第１奥行値に基づいて、前記複数の画像における前記第１参照画像とは異なる第２近傍画像を選択する選択部と、前記第１参照画像と前記第２近傍画像とのステレオマッチングを行うことにより前記第１参照画像における画素ごとの奥行値である第２奥行値を算出する第２処理部を備えることを特徴とする。

本発明のステレオマッチング処理装置では、前記第１参照画像及び前記第１近傍画像の各々のカメラパラメータにおける撮像位置及び撮像方向に基づいて、前記第１奥行値の探索を行う探索範囲を決定する探索範囲決定部を更に備え、前記第１処理部は、前記探索範囲決定部により決定された前記探索範囲の範囲で第１奥行値を算出することを特徴とする。

本発明のステレオマッチング処理装置では、前記探索範囲決定部は、前記第１参照画像の撮像領域と前記第１近傍画像の撮像領域とが共通する範囲に基づいて、前記探索範囲を決定することを特徴とする。

本発明のステレオマッチング処理装置では、前記探索範囲決定部は、前記第１参照画像の撮像位置及び前記第１参照画像における任意の画素を通る視線ベクトルが、前記第１近傍画像の撮像領域と交差する領域に基づいて、前記探索範囲を決定することを特徴とする。

本発明のステレオマッチング処理装置は、前記探索範囲決定部は、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）に、前記複数の画像を入力することにより得られる三次元点群に対応する前記第１参照画像の画素の奥行値に基づいて、前記探索範囲を決定することを特徴とする。

本発明のステレオマッチング処理装置は、前記探索範囲決定部は、前記第１参照画像の撮像領域の一部を前記探索範囲とした場合において、前記第１処理部により算出された前記第１奥行値の範囲に基づいて決定される他の探索範囲が、前記探索範囲よりも狭い範囲である場合、前記他の探索範囲を前記探索範囲として更新することを特徴とする。

本発明のステレオマッチング処理装置は、前記探索範囲決定部は、前記第１参照画像の撮像位置、及び前記第１参照画像の撮像領域において奥行値が所定の上限値となる奥行上限点を通る視線ベクトルと、前記第１近傍画像の撮像位置及び前記第１近傍画像の撮像領域において前記奥行上限点に対応する位置を通る視線ベクトルとの間の視差角が、所定の視差角閾値未満である場合、前記探索範囲を範囲なしとすることを特徴とする。

本発明のステレオマッチング処理装置は、前記選択部は、前記第１奥行値に対応する三次元点及び前記複数の画像の各々の撮像位置を通るベクトル群のうち、前記第１参照画像の撮像位置を通るベクトルとの間の角度が、所定の範囲内であるベクトルに対応する撮像位置で撮像された画像を、前記第２近傍画像として選択することを特徴とする。

本発明のステレオマッチング処理装置は、前記選択部は、前記第１奥行値に対応する三次元点から前記第１参照画像の撮像位置までの距離、及び前記三次元点から前記複数の画像の各々の撮像位置までの距離に基づいて、前記第２近傍画像を選択することを特徴とする。

本発明のステレオマッチング処理装置は、前記選択部は、第１参照画像における画素ごとに、前記第２近傍画像を選択することを特徴とする。

本発明のステレオマッチング処理装置は、前記選択部は、第１参照画像ごとに、前記第２近傍画像を選択することを特徴とする。

本発明のステレオマッチング処理装置は、前記選択部は、前記第１参照画像における所定の代表画素、及び前記第１参照画像における所定の代表奥行値に基づいて、前記第２近傍画像を選択することを特徴とする。

本発明のステレオマッチング処理装置は、前記選択部は、前記代表画素を前記第１参照画像における光学中心に対応する画素とし、前記代表奥行値を前記第１参照画像において算出された複数の前記第１奥行値の中央値として、前記第２近傍画像を選択することを特徴とする。

本発明のステレオマッチング処理装置は、前記複数の画像のうち前記第１参照画像とは異なる第２参照画像、及び前記複数の画像に含まれる前記第２参照画像とは異なる第３近傍画像を用いてステレオマッチングを行うことにより、第２参照画像における画素ごとの奥行値である第３奥行値を算出する第３処理部を更に備えることを特徴とする。

本発明のステレオマッチング処理方法は、対象物体が互いに異なる撮像位置から撮像された複数の画像を用いて前記対象物体の奥行値を算出するステレオマッチング処理方法である。前記ステレオマッチング処理方法は、第１処理部が、前記複数の画像における第１参照画像と前記第１参照画像とは異なる第１近傍画像とのステレオマッチングを行うことにより、前記第１参照画像における画素ごとの奥行値である第１奥行値を算出する第１処理工程と、選択部が、前記第１奥行値に基づいて、前記複数の画像における前記第１参照画像とは異なる第２近傍画像を選択する選択工程と、第２処理部が、前記第１参照画像と前記第２近傍画像とのステレオマッチングを行うことにより前記第１参照画像における画素ごとの奥行値である第２奥行値を算出する第２処理工程を含むことを特徴とする。

対象物体が互いに異なる撮像位置から撮像された複数の画像を用いて前記対象物体の奥行値を算出するステレオマッチング処理装置としてコンピュータを動作させるプログラムであって、前記コンピュータを、前記複数の画像における第１参照画像と前記第１参照画像とは異なる第１近傍画像とのステレオマッチングを行うことにより、前記第１参照画像における画素ごとの奥行値である第１奥行値を算出する第１処理手段と、前記第１奥行値に基づいて、前記複数の画像における前記第１参照画像とは異なる第２近傍画像を選択する選択手段と、前記第１参照画像と前記第２近傍画像とのステレオマッチングを行うことにより前記第１参照画像における画素ごとの奥行値である第２奥行値を算出する第２処理手段として動作させるためのプログラムである。

本発明によれば、多視点の三次元復元手法において、精度よく奥行値を算出することができる画像のペアを容易に選択することができる。

第１の実施形態に係るステレオマッチング処理装置１の構成例を示すブロック図である。 第１の実施形態に係る第１処理部１０３が行う処理を説明する図である。 第１の実施形態に係る選択部１０４が行う処理を説明する図である。 第１の実施形態に係る選択部１０４が行う処理を説明する図である。 第１の実施形態に係る第２処理部１０５が行う処理を説明する図である。 第１の実施形態に係るステレオマッチング処理装置１が行う動作例を示すフローチャートである。 第２の実施形態に係るステレオマッチング処理装置１Ａの構成例を示すブロック図である。 第２の実施形態に係る第３処理部１０８が行う処理を説明する図である。 第２の実施形態に係るステレオマッチング処理装置１Ａが行う動作例を示すフローチャートである。 第３の実施形態に係るステレオマッチング処理装置１Ｂの構成例を示すブロック図である。 第３の実施形態に係る探索範囲決定部１０９が行う処理を説明する図である。 第３の実施形態の変形例１に係る探索範囲決定部１０９が行う処理を説明する図である。 第３の実施形態の変形例１に係る奥行値を算出する画素の選択例を示す図である。 第３の実施形態の変形例２に係る探索範囲決定部１０９が行う処理を説明する図である。 第３の実施形態の変形例３に係る探索範囲決定部１０９が行う処理を説明する図である。 第３の実施形態の変形例４に係る探索範囲決定部１０９が行う処理を説明する図である。 第３の実施形態の変形例５に係る探索範囲決定部１０９が行う処理を説明する図である。

以下、実施形態のステレオマッチング処理装置を、図面を参照しながら説明する。

＜第１の実施形態＞
まず、第１の実施形態について説明する。
図１は、第１の実施形態に係るステレオマッチング処理装置１の構成例を示すブロック図である。ステレオマッチング処理装置１は、例えば、画像情報取得部１０１、カメラパラメータ推定部１０２、第１処理部１０３、選択部１０４、第２処理部１０５、出力部１０６及び画像情報記憶部１０７を備える。

画像情報取得部１０１は、多視点画像の画像情報を取得し、取得した画像情報を画像情報記憶部１０７に記憶させる。
カメラパラメータ推定部１０２は、多視点画像の画像情報を用いて、カメラパラメータを推定する。カメラパラメータ推定部１０２は、例えば、画像から特徴量を抽出して対応点の計算を行うＳｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ（ＳｆＭ）に、多視点画像の画像情報を入力することにより、カメラパラメータの推定値を取得する。カメラパラメータ推定部１０２は、推定したカメラパラメータを画像情報記憶部１０７に記憶させる。

なお、ＳｆＭにおいては、入力された多視点画像の各々から画像の特徴量を抽出し、抽出した特徴量について画像間におけるマッチングが行われる。そして、ＳｆＭでは、マッチングした特徴量を用いてバンドル調整による最適化を行うことによりカメラパラメータが推定される。ＳｆＭにより推定されるカメラパラメータには、内部パラメータと外部パラメータとが含まれる。ここで、内部パラメータは、カメラの焦点距離や光学中心等、カメラの内部に関する変数である。外部パラメータは、カメラの視点（撮像位置）及び撮像方向等、カメラの設置環境に関する変数である。また、ＳｆＭでは、カメラパラメータの他に、マッチングした特徴量に基づいて三次元点群の推定値が出力される。

第１処理部１０３は、カメラパラメータが特定された多視点画像を用いてステレオマッチングを行うことにより、多視点画像の各々における画素ごとの奥行値を算出する。

第１処理部１０３は、多視点画像から任意の第１参照画像を選択する。第１参照画像は、画素ごとの奥行値を算出する対象となる多視点画像である。また、第１処理部１０３は、多視点画像から第１参照画像とは異なる第１近傍画像を選択する。第１近傍画像は、第１参照画像とペアとしてステレオマッチング処理が行われる画像である。ここで第１処理部１０３は、複数の第１近傍画像を選択してもよい。第１処理部１０３は、第１参照画像及び第１近傍画像を用いてステレオマッチングを行うことにより第１参照画像における画素ごとの奥行値を算出する。なお、ステレオマッチングの手法としては、例えば、正規化相互相関法、位相限定相関法等を用いたものがあり、何れのものを用いてもよい。ここで、第１処理部１０３により算出される奥行値は、「第１奥行値」の一例である。

ここで、第１処理部１０３が行う処理について、図２を用いて説明する。
図２は、第１の実施形態に係る第１処理部１０３が行う処理を説明する図である。図２では、視点Ｃ１から撮像領域Ｅ１が撮像され、視点Ｃ２から撮像領域Ｅ２が撮像される様子を俯瞰した模式図を示している。
この例では、視点Ｃ１から撮像領域Ｅ１が撮像された画像を第１参照画像とし、視点Ｃ２から撮像領域Ｅ２が撮像された画像を第１近傍画像とする。
また、この例では、各視点において共通する座標系として、ＸＹＺ座標系を示している。このＸＹＺ座標系においては、第１参照画像の画像面上の任意の方向をＸ軸、Ｘ軸に垂直な方向をＹ軸として示し、第１参照画像の画像面に対する奥行方向をＺ軸として示している。つまり、この場合、第１処理部１０３が算出する奥行値の方向は、Ｚ軸向である。
また、この例では、第１参照画像における任意の画素ｐについて、第１処理部１０３により奥行値ｚｐが算出され、この画素ｐに対応する三次元点Ｐの位置座標が（Ｘｐ、Ｙｐ、Ｚｐ）であることを示している。また、多視点画像のうち、第１参照画像及び第１近傍画像とは異なる画像の視点Ｃ３及びＣ４を模式的に示している。

図２に示すように、第１処理部１０３は、多視点画像の中から第１参照画像と第１近傍画像とを選択する。第１処理部１０３は、多視点画像の中から任意に第１参照画像と第１近傍画像とを選択してよいが、例えば、第１参照画像の視点との距離が所定の範囲内となる領域に視点を有する画像を第１近傍画像として選択する。

また、第１処理部１０３は、例えば、画像の局所領域（パッチ）における正規化相互相関、または画像の局所領域のＳＳＤ（Ｓｕｍ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、或いは位相限定相関法を用いて、画素ｐの奥行値の候補となり得る全ての候補値におけるマッチングスコアを算出する。第１処理部１０３は、算出した奥行値の候補値のマッチングスコアに基づいて、候補値の中で最も高いスコアを示すものを奥行値ｚｐとする。

図１に戻り、選択部１０４は、第１処理部１０３により算出された奥行値に基づいて、多視点画像から第１参照画像とは異なる第２近傍画像を選択する。第２近傍画像は、第１処理部１０３により算出された奥行値に対応する画素について、その画素の奥行値を精度よく算出することが可能な撮像条件を備える画像である。ここでの撮像条件は、例えば、第１参照画像の視点の位置、及び第１処理部１０３により算出された奥行値に対応する三次元座標の位置の相対的な位置関係に応じて、所定の領域に視点を有する画像を、第２近傍画像として選択するような条件である。選択部１０４は、選択した第２近傍画像の識別情報を第２処理部１０５に出力する。

ここで、選択部１０４が行う処理について、図３及び図４を用いて説明する。図３及び図４は、第１の実施形態に係る選択部１０４が行う処理を説明する図である。
図３及び図４では、第１参照画像の視点Ｃ１（Ｘｃ１、Ｙｃ１、Ｚｃ１）、第２近傍画像の視点Ｃ７（Ｘｃ７、Ｙｃ７、Ｚｃ７）、及び多視点画像のうち、第１参照画像及び第２近傍画像とは異なる画像の視点Ｃ５及びＣ６を示している。また、第１参照画像における画素について第１処理部１０３により算出された奥行値に対応する三次元点Ｐ（Ｘｐ、Ｙｐ、Ｚｐ）を示している。

図３に示すように、選択部１０４は、三次元点Ｐの位置座標に基づいて、例えば、視差角γｎ（ｎは任意の自然数）が所定の角度範囲となる領域に視点を有する画像を、第２近傍画像として選択する。ここでの視差角γｎは、視点Ｃ１と三次元点Ｐとを通るベクトル、及び多視点画像の任意の画像における視点Ｃｎと三次元点Ｐとを通るベクトルの間の角度である。例えば、選択部１０４は、三次元点Ｐの位置座標に基づいて、視点Ｃ１から三次元点Ｐの方向を示す視線ベクトルＶ１を算出する。また、選択部１０４は、他の多視点画像の視点Ｃｎ（ｎは１以外の任意の自然数）から三次元点Ｐの方向を示す視線ベクトルＶｎを算出する。そして、選択部１０４は、視線ベクトルＶ１とＶｎとの間の視差角が所定の角度範囲である場合、視線ベクトルＶｎに対応する視点Ｃｎを有する画像を第２近傍画像とする。ここで、視線ベクトルＶｎは「ベクトル群」の一例である。

或いは、選択部１０４は、視線ベクトルＶ１との視差角が所定の角度範囲となる領域を抽出し、抽出した領域の内部に視点がある画像を第２近傍画像とするようにしてもよい。
この例で所定の角度範囲が視差角γ６とγ７とを含み、視差角γ５を含まない範囲に設定された場合、視差角γ７に対応する視点Ｃ７から撮像された画像、及び視差角γ６に対応する視点Ｃ６から撮像された画像が、第２近傍画像として選択される。このように、選択部１０４は、複数の画像を第２近傍画像として選択してよい。

また、図４に示すように、選択部１０４は、三次元点Ｐの位置座標に基づいて、距離Ｌ１に対する距離Ｌｎ（ｎは１以外の任意の自然数）との距離比が所定の距離比の範囲となる領域に視点がある画像を、第２近傍画像として選択するようにしてもよい。ここで、距離Ｌ１は視点Ｃ１から三次元点Ｐまでの距離である。また、距離Ｌｎは、多視点画像の任意の画像における視点Ｃｎから三次元点Ｐまでの距離である。例えば、選択部１０４は、三次元点Ｐの位置座標、及び視点Ｃｎの位置座標に基づいて、距離Ｌｎを算出する。そして、選択部１０４は、距離Ｌ１に対する距離Ｌｎの比が所定の距離比の範囲内である場合に、その距離Ｌｎに対応する視点Ｃｎから撮像された画像を第２近傍画像とする。この例で、距離Ｌ１、Ｌ７、Ｌ５、Ｌ６の順に、距離が大きくなるとすると、例えば、所定の距離比の範囲が距離Ｌ１に対する距離Ｌ５の比が含まれ、距離Ｌ１に対する距離Ｌ６の比は含まれない範囲に設定された場合、距離Ｌ７に対応する視点Ｃ７から撮像された画像、及び距離Ｌ５に対応する視点Ｃ５から撮像された画像が、第２近傍画像として選択される。

なお、ここでは、選択部１０４が距離Ｌ１に対する距離Ｌｎの比に基づいて第２近傍画像を選択する場合を例示して説明したが、これに限定されない。選択部１０４は、例えば、距離Ｌ１と距離Ｌｎの差分が所定の差分閾値未満である場合に、第２近傍画像を選択してもよい。

また、選択部１０４は、視差角γｎが所定の角度範囲内であり、尚且つ、距離Ｌ１に対する距離比が所定の距離比の範囲内である視点Ｃｎに対応する画像を第２近傍画像として選択してよい。これにより、選択部１０４は、視差角が所定の角度範囲内であり、尚且つ距離比が所定の距離比の範囲内である撮像条件を充足する第２近傍画像を選択でき、奥行値を精度よく算出することが可能となる。

また、選択部１０４は、第１処理部１０３により算出された奥行値ごとに、第２近傍画像を選択してもよい。この場合、選択部１０４は奥行値に対応する三次元点ごとに、その三次元点を基準とした視差角、及び距離を全ての多視点画像について算出し、その三次元点との視差角が所定の角度範囲内であり、及び／又は距離比が所定の距離比の範囲内である画像を第２近傍画像として選択する。これにより、第１参照画像における画素ごとに、精度よく奥行値を算出することができる第２近傍画像を選択できる。

或いは、選択部１０４は、奥行値を算出した第１参照画像に対して、一つの第２近傍画像を選択してもよい。この場合、選択部１０４は、第１参照画像において代表とする代表画素、及び代表奥行値を決定する。選択部１０４は、代表画素及び代表奥行値に対応する三次元点の位置座標に基づいて適切な第２近傍画像を選択し、選択した第２近傍画像を、第１参照画像の第２近傍画像とする。ここで、代表画素は、例えば、第１参照画像における光学中心に対応する画素である。また、代表奥行値は、例えば、第１参照画像において算出された全ての奥行値の中央値である。もっとも、これに限定されることはなく、代表画素は第１参照画像における任意の画素であってよいし、代表奥行値は全ての奥行値の単純加算平均値やその他の統計的な手法を用いて算出される値であってもよいし、任意の画素に対して算出された奥行値であってもよい。

図１に戻り、第２処理部１０５は、第１参照画像、及び選択部１０４により選択された第２近傍画像を用いて、ステレオマッチングを行うことにより第１参照画像における画素ごとの奥行値を算出する。第２処理部１０５は、ステレオマッチングの手法として、第１処理部１０３による手法と同じ手法によりステレオマッチングを行ってもよいし、異なる手法によりステレオマッチングを行ってもよい。第２処理部１０５は、奥行値を精度よく算出することが可能な撮像条件を充足する第２近傍画像を用いるため、精度の高い奥行値を算出することが可能である。ここで、第２処理部１０５により算出される奥行値は、「第２奥行値」の一例である。

ここで、第２処理部１０５が行う処理について、図５を用いて説明する。図５は、第１の実施形態に係る第２処理部１０５が行う処理を説明する図である。図５では、視点Ｃ１から撮像領域Ｅ１が撮像され、視点Ｃ７から撮像領域Ｅ７が撮像される様子を俯瞰した模式図を示している。また、この例では、第１参照画像における任意の画素ｐについて、第２処理部１０５により奥行値ｚｐ＃が算出され、この画素ｐに対応する三次元点Ｐの位置座標が（Ｘｐ、Ｙｐ、Ｚｐ＃）であることを示している。また、多視点画像のうち、第１参照画像及び第２近傍画像とは異なる画像の視点Ｃ５及びＣ６を模式的に示している。

図５に示すように、第２処理部１０５は、第１処理部１０３により奥行値ｚｐが算出された第１参照画像の画素ｐについて、奥行値を探索する。具体的には、第２処理部１０５は、画素ｐの奥行値の候補となり得る候補値の全てに対して、画素ｐとその近傍の画素と間における相関値を算出し、候補値の中で最も高い相関を示すものを奥行値ｚｐ＃とする。

ここで、第２処理部１０５は、奥行値を探索する範囲を、例えば、第１処理部１０３により算出された奥行値ｚｐを含む所定の範囲とする。具体的には、第２処理部１０５は、奥行値ｚｐ±所定値αに含まれる範囲を、奥行値を探索する範囲とする。この場合の所定値αは、例えば、第１処理部１０３により算出された奥行値ｚｐに含まれる誤差量に相当する値である。この場合、奥行値の探索の範囲が限定されるため、第２処理部１０５は探索する奥行の間隔を小さくして詳細に相関値を算出することができる。この場合、第２処理部１０５により算出される奥行値ｚｐ＃は、第１処理部１０３により算出された奥行値ｚｐより精度が高い値となり、画素ｐに対応する三次元点Ｐの位置のＺ座標（Ｚｐ＃）を、精度の高い値とすることが可能となる。

図１に戻り、出力部１０６は、第２処理部１０５により算出された画素ごとの奥行値の各々とカメラパラメータを用いて、多視点画像に撮像されている対象物体における三次元の位置座標を持つ三次元点群に変換して出力する。出力部１０６により変換された点群を用いることにより、対象物体における三次元形状モデルを生成することが可能である。
画像情報記憶部１０７は、多視点画像の画像情報及びそのカメラパラメータを記憶する。

ここで、第１の実施形態に係るステレオマッチング処理装置１が行う動作について図６を用いて説明する。図６は、第１の実施形態に係るステレオマッチング処理装置１が行う動作例を示すフローチャートである。

ステップＳ１：
画像情報取得部１０１は、多視点画像の画像情報を取得する。画像情報取得部１０１は、取得した画像情報を画像情報記憶部１０７に記憶させる。
ステップＳ２：
カメラパラメータ推定部１０２は、多視点画像の画像情報に基づいて、カメラパラメータを推定する。カメラパラメータ推定部１０２は、推定したカメラパラメータを、画像情報に対応付けて画像情報記憶部１０７に記憶させる。

ステップＳ３：
第１処理部１０３は、多視点画像から任意の第１参照画像を選択する。
ステップＳ４：
第１処理部１０３は、多視点画像から第１近傍画像を選択する。第１処理部１０３は、例えば、多視点画像のうち第１参照画像の視点に近い視点を有する画像を、第１近傍画像として選択する。
ステップＳ５：
第１処理部１０３は、第１参照画像及び第１近傍画像を用いてステレオマッチングを行うことにより、第１参照画像における画素ごとの奥行値を算出する。第１処理部１０３は算出した奥行値（第１奥行値）を選択部１０４に出力する。
ステップＳ６：
選択部１０４は、第１処理部１０３により算出された奥行値に対応する三次元点に基づいて、第２近傍画像を選択する。選択部１０４は、例えば、三次元点に対する視差角が所定の視差角の範囲内であり、尚且つ、視点から三次元点までの距離が、第１参照画像の視点Ｃ１から三次元点までの距離Ｌ１に対して所定の距離比の範囲内である画像を第２近傍画像として選択する。
ステップＳ７：
第２処理部１０５は、第１参照画像及び、選択部１０４により選択された第２近傍画像を用いてステレオマッチングを行うことにより、第１参照画像における画素ごとの奥行値（第２奥行値）を算出する。
ステップＳ８：
出力部１０６は、第２処理部１０５により奥行値が算出された画素を対応する三次元点の位置座標に変換する。
ステップＳ９：
ステレオマッチング処理装置１は、ステレオマッチングを終了させるか否かを判定する。ステレオマッチング処理装置１は、例えば、所定の終了条件を充足した場合、ステレオマッチングを終了させると判定する。所定の終了条件とは、例えば、全ての多視点画像において奥行値が算出された場合である。ステレオマッチング処理装置１は、ステレオマッチングを終了させないと判定した場合、ステップＳ３に示す処理に戻り、再び、多視点画像から第１参照画像を選択する処理を行う。

以上説明したように、第１の実施形態に係るステレオマッチング処理装置１は、第１処理部１０３により算出された奥行値（第１奥行値）に基づいて第２近傍画像を選択し、第２処理部１０５が第２近傍画像を用いて奥行値（第２奥行値）を算出する。これにより、第１の実施形態に係るステレオマッチング処理装置１は、第１処理部１０３により算出された奥行値に基づいて第２近傍画像を選択することができるため、精度の高い奥行値を算出することができる画像のペアを容易に選択することが可能である。

（第２の実施形態）
次に、第２の実施形態について説明する。以下の説明においては、上述した実施形態と異なる部分についてのみ説明し、同じ部分については同等の符号を付してその説明を省略する。

本実施形態においては、カメラパラメータの誤差を低減させるために、複数の画像の奥行値を合成する。図７は、第２の実施形態に係るステレオマッチング処理装置１Ａの構成例を示すブロック図である。ステレオマッチング処理装置１Ａは、例えば、第３処理部１０８を備える。

第３処理部１０８は、第２参照画像を選択する。第２参照画像は、奥行値を算出する対象とする画像であって、第１参照画像とは異なる画像である。第３処理部１０８は、例えば、第１参照画像の視点Ｃ１の近傍に視点を有する画像を、第２参照画像として選択する。或いは、第３処理部１０８は、第１処理部１０３により算出された奥行値に基づいて、第２参照画像を選択するようにしてもよい。この場合、第３処理部１０８は、第１処理部１０３により算出された奥行値に対応する三次元点の可視性の判定を行い、当該三次元点が撮像された画像を第２参照画像として選択する。

また、第３処理部１０８は、第３近傍画像を選択する。第３近傍画像は、多視点画像のうち第２参照画像とは異なる画像であって、第２参照画像と組み合わせてステレオマッチング処理が行われる画像である。第３処理部１０８は、例えば、第１処理部１０３により第１近傍画像が選択される場合と同様に、第２参照画像と視点が近い画像を第３近傍画像として選択する。或いは、第３処理部１０８は、選択部１０４により第２近傍画像が選択される場合と同様に、第２参照画像の視点の位置、及び第１処理部１０３により算出された奥行値に対応する三次元座標の位置の相対的な位置関係に応じて、視差角γ及び距離Ｌが適切となる視点を有する画像を第３近傍画像として選択するようにしてよい。

第３処理部１０８は、第２参照画像及び第３近傍画像を用いてステレオマッチングを行うことにより第２参照画像における画素ごとの奥行値を算出する。なお、ステレオマッチングの手法としては、例えば、正規化相互相関法、位相限定相関法等があり、何れのものを用いてもよい。ここで、第３処理部１０８により算出される奥行値は、「第３奥行値」の一例である。

ここで、第２処理部１０５により算出された奥行値に対応する三次元点と、第３処理部１０８により算出された奥行値に対応する三次元点とは、実際には同じ物体であっても、同一の位置座標とはならない場合がある。この一因としては、第１参照画像、第１近傍画像、第２近傍画像、第２参照画像及び第３近傍画像の各々に推定されたカメラパラメータに推定誤差が含まれると考えられるためである。

そこで、出力部１０６は、第２処理部１０５により算出された画素ごとの奥行値に対応する三次元点の位置座標と、第３処理部１０８により算出された画素ごとの奥行値に対応する三次元点の位置座標とを合成して一つの三次元点の位置座標を生成し、生成した三次元点を出力する。出力部１０６は、例えば、両方の位置座標の平均値を算出することにより、一つの三次元点の位置座標を生成する。このように、平均値を用いることで、カメラパラメータの誤差が平均化され、三次元点の位置座標が精度よく算出することが可能となる。

なお、第３処理部１０８は、複数の第３近傍画像を選択してもよいし、第１処理部１０３や第２処理部１０５により既にステレオマッチングに用いられた第１近傍画像や第２近傍画像を、第３近傍画像として選択してもよい。

ここで、第２の実施形態の出力部１０６が行う処理について、図８を用いて説明する。図８は、第２の実施形態に係る出力部１０６が行う処理を説明する図である。図８では、視点Ｃ１から撮像領域Ｅ１が撮像され、視点Ｃ７から撮像領域Ｅ７が撮像され、視点Ｃ８から撮像領域Ｅ８が撮像され、そして視点Ｃ９から撮像領域Ｅ９が撮像される様子を俯瞰した模式図を示している。
この例では、視点Ｃ１から撮像領域Ｅ１が撮像された画像を第１参照画像とし、視点Ｃ７から撮像領域Ｅ７が撮像された画像を第２近傍画像とし、視点Ｃ８から撮像領域Ｅ８が撮像された画像を第２参照画像とし、視点Ｃ９から撮像領域Ｅ９が撮像された画像を第３近傍画像とする。
また、この例では、第２処理部１０５により第１参照画像における任意の画素の奥行値に対応する三次元点Ｐ（Ｘｐ、Ｙｐ、Ｚｐ＃）を示している。また、第３処理部１０８により第２参照画像における任意の画素の奥行値に対応する三次元点Ｐ２（Ｘｐ２、Ｙｐ２、Ｚｐ２）を示している。

図８に示すように、出力部１０６は、第２処理部１０５により算出された画素ごとの奥行値に対応する三次元点Ｐと、第３処理部１０８により算出された画素ごとの奥行値に対応する三次元点Ｐ２とを合成して一つの三次元点の位置座標とする。
出力部１０６は、例えば、三次元点Ｐと三次元点Ｐ２とにおけるＸＹ平面上の距離が、所定の距離未満にある場合に、三次元点Ｐと三次元点Ｐ２とを合成する。
出力部１０６は、三次元点の各座標値について単純加算平均することにより合成して一つの三次元点を生成する。この場合、三次元点Ｐ（Ｘｐ、Ｙｐ、Ｚｐ＃）と三次元点Ｐ２（Ｘｐ２、Ｙｐ２、Ｚｐ２）とを合成した三次元点の位置座標は（（Ｘｐ＋Ｘｐ２）／２、（Ｙｐ＋Ｙｐ２）／２、（Ｚｐ＃＋Ｚｐ２）／２）となる。或いは、出力部１０６は、三次元点の各座標値について重みづけを行った上で加算平均することにより合成して一つの三次元点の位置座標を生成するようにしてもよい。

図９は、第２の実施形態に係るステレオマッチング処理装置１Ａが行う動作例を示すフローチャートである。本フローチャートにおけるステップＳ１０１〜Ｓ１０７、及びステップＳ１１２に示す処理は、図６のフローチャートにおけるステップＳ１〜Ｓ７及びステップＳ９に示す処理と同様であるため、その説明を省略する。

ステップＳ１０８：
第３処理部１０８は、第１処理部１０３により算出された奥行値（第１奥行値）に基づいて、第２参照画像を選択する。
ステップＳ１０９：
第３処理部１０８は、多視点画像から第２参照画像とは異なる第３近傍画像を選択する。第３処理部１０８は、例えば、第２参照画像の視点と近い位置に視点を有する画像を第３近傍画像として選択する。
ステップＳ１１０：
第３処理部１０８は、第２参照画像及び第３近傍画像を用いてステレオマッチングを行うことにより、第２参照画像における画素ごとの奥行値（第３奥行値）を算出する。
ステップＳ１１１：
出力部１０６は、複数の三次元点を合成する。出力部１０６は、第２処理部１０５により奥行値が算出された画素を、対応する三次元点の位置座標に変換する。出力部１０６は、第３処理部１０８により奥行値が算出された画素を、対応する三次元点の位置座標に変換する。そして、第３処理部１０８は、これらの三次元点を合成して一つの三次元点を生成する。

以上説明したように、第２の実施形態に係るステレオマッチング処理装置１Ａは、第１参照画像における画素ごとの三次元点と、第２参照画像における画素ごとの三次元点とを合成して一つの三次元点を生成する。このため、一般にカメラパラメータに推定誤差がある場合には三次元点の精度が劣化するが、第２の実施形態に係るステレオマッチング処理装置１Ａでは、複数の画像から算出した三次元点を合成することで、カメラパラメータの誤差を低減することが可能である。

（第３の実施形態）
次に、第３の実施形態について説明する。以下の説明においては、上述した実施形態と異なる部分についてのみ説明し、同じ部分については同等の符号を付してその説明を省略する。

本実施形態では、奥行値を算出することによる処理負荷を軽減させるために、第１処理部１０３が探索する奥行値の範囲（以下、探索範囲という）を限定する。図１０は、第３の実施形態に係るステレオマッチング処理装置１Ｂの構成例を示すブロック図である。ステレオマッチング処理装置１Ｂは、例えば、探索範囲決定部１０９を備える。

探索範囲決定部１０９は、ステレオマッチングを行う画像のカメラパラメータに基づいて、探索範囲を決定する。探索範囲決定部１０９は、決定した探索範囲を、第１処理部１０３に出力する。

探索範囲決定部１０９は、第１処理部１０３により選択された第１参照画像及び第１近傍画像のカメラパラメータに基づいて、奥行値の範囲（探索範囲）を決定する。探索範囲を限定することにより、奥行値の算出に伴う処理負荷を軽減させることが可能となる。

第１処理部１０３は、探索範囲決定部１０９により決定された探索範囲において奥行値を探索する。具体的には、第１処理部１０３は、第１参照画像における画素ｐの奥行値を、探索範囲の所定の候補値と仮定し、その仮定した全て候補値におけるマッチングスコアを算出し、算出した仮定した全ての候補値の中で最も高いスコアを示すものを奥行値とする。

ステレオマッチングにおいては、原理的に、奥行の探索の刻み幅（間隔）を細かく（小さく）する程、奥行値の精度を高めることが可能である。しかしながら、探索の刻み幅を無限に細かくして、尚且つ、広い探索範囲で探索を行おうとすると計算量が膨大となってしまうため現実的ではない。このため、例えば、探索範囲と探索の刻み幅とをトレードオフの関係として、計算量の上限を超えないようにすることが考えられる。この場合、探索範囲が狭い程、刻み幅を細かく計算することができることから、奥行値の精度を高めることが可能となる。本実施形態では、探索範囲決定部１０９により探索範囲を限定し、探索の刻み幅が粗くなりすぎないようにすることにより、奥行値を精度よく算出できるようにする。

ここで、探索範囲決定部１０９が行う処理について、図１１を用いて説明する。図１１は、第３の実施形態に係る探索範囲決定部１０９が行う処理を説明する図である。図１１では、視点Ｃ１から撮像領域Ｅ１が撮像され、視点Ｃ２から撮像領域Ｅ２が撮像される様子を俯瞰した模式図を示している。この例では、視点Ｃ１から撮像領域Ｅ１が撮像された画像を第１参照画像とし、視点Ｃ２から撮像領域Ｅ２が撮像された画像を第１近傍画像とする。

図１１に示すように、探索範囲決定部１０９は、例えば、撮像領域Ｅ１とＥ２とが共通する領域である撮像領域Ｅ１２に基づいて、探索範囲を決定する。具体的に、探索範囲決定部１０９は、撮像領域Ｅ１２におけるｚ軸方向（奥行方向）の最大値Ｄｍａｘ（＊、＊、ｚｍａｘ）、及び最小値Ｄｍｉｎ（＊、＊、ｚｍｉｎ）を算出する。ここで、「＊」は任意の座標値を示す。探索範囲決定部１０９は、算出した「ｚｍｉｎ」から「ｚｍａｘ」までの範囲を探索範囲として決定する。つまり、探索範囲決定部１０９は、第１参照画像と第１近傍画像との両方に撮像されている物体が取り得る奥行値の範囲に探索範囲を決定する。

以上説明したように、第３の実施形態に係るステレオマッチング処理装置１Ｂは、第１処理部１０３が探索する探索範囲を限定する探索範囲決定部１０９を備えるため、奥行値となり得る全ての候補に対して相関値を算出する必要がなくなり、奥行値の算出に伴う処理を軽減させることが可能である。

（第３の実施形態の変形例１）
次に、第３の実施形態の変形例１について説明する。本変形例では、探索範囲決定部１０９が第１参照画像の画素の探索範囲に基づいて、第１参照画像の探索範囲を限定する。
本変形例の探索範囲決定部１０９が行う処理について、図１２及び図１３を用いて説明する。図１２は、第３の実施形態の変形例１に係る探索範囲決定部１０９が行う処理を説明する図である。図１２では、視点Ｃ１から撮像領域Ｅ１が撮像され、視点Ｃ２から撮像領域Ｅ２が撮像される様子を俯瞰した模式図を示している。
この例では、視点Ｃ１から撮像領域Ｅ１が撮像された画像を第１参照画像とし、視点Ｃ２から撮像領域Ｅ２が撮像された画像を第１近傍画像とする。

図１２に示すように、探索範囲決定部１０９は、視線ベクトルＶ１が、撮像領域Ｅ２と交差する範囲（以下、交差範囲という）を探索範囲とする。ここで、視線ベクトルＶ１は、視点Ｃ１と、第１参照画像における任意の画素とを通るベクトルである。具体的に、探索範囲決定部１０９は、交差範囲におけるｚ軸方向（奥行方向）の最小値Ｄｍｉｎ（＊、＊、ｚｍｉｎ）、及び最大値Ｄｍａｘ（＊、＊、ｚｍａｘ）を算出する。探索範囲決定部１０９は、算出した最小値Ｄｍｉｎから最大値Ｄｍａｘまでの間、つまり、「ｚｍｉｎ」から「ｚｍａｘ」までの範囲を探索範囲として決定する。

或いは、探索範囲決定部１０９は、最大値Ｄｍａｘから最小値Ｄｍｉｎまでの間が広すぎて探索範囲の全てについて詳細に相関値を算出することが困難である場合には、最大値Ｄｍａｘから最小値Ｄｍｉｎまでの間の一部の範囲を探索範囲として決定してもよい。例えば、探索範囲決定部１０９は、Ｄ１（＊、＊、ｚａｖｅ−α）からＤ２（＊、＊、ｚａｖｅ＋β）の間、つまり「ｚａｖｅ−α」から「ｚａｖｅ＋β」までの範囲を探索範囲として決定する。ここで、ｚａｖｅは探索範囲の平均値、α及びβは正の実数値である。探索範囲決定部１０９は、ステレオマッチング処理装置１（１Ａ、１Ｂ）の計算処理の処理能力や、最大値Ｄｍａｘから最小値Ｄｍｉｎまでの範囲の大きさ等に応じて、α及びβを任意に決定してよい。

探索範囲決定部１０９は、第１参照画像における全ての画素について、上述した方法により最大値Ｄｍａｘ及び最小値Ｄｍｉｎを算出し、探索範囲を決定する。これにより、第１参照画像における画素それぞれに適する探索範囲を決定することができるため、全ての画素について精度よく奥行値を計算することが可能である。

上記では、探索範囲決定部１０９は、第１参照画像における全ての画素について最大値Ｄｍａｘ及び最小値Ｄｍｉｎを算出する場合を例示して説明したが、これに限定されない。例えば、探索範囲決定部１０９は、第１参照画像において選択した特定の画素について最大値Ｄｍａｘ及び最小値Ｄｍｉｎを算出するようにしてもよい。

図１３は、第３の実施形態の変形例１に係る奥行値を算出する画素の例を示す図である。図１３では、第１参照画像を模式的に示している。また、この例では、画像の位置を示す座標系として、ｕｖ座標系を示している。このｕｖ座標系においては、第１参照画像における左上の点を原点とし、画像の横方向をｕ軸、画像の縦方向をｖ軸として示している。
この場合、図１３に示すように、例えば、探索範囲決定部１０９は、第１参照画像を縦及び横に四分割する直線の交点に対応する画素ｐ１０〜ｐ１８の各々について、奥行値の最大値Ｄｍａｘや最小値Ｄｍｉｎをそれぞれ抽出する。例えば、探索範囲決定部１０９は、抽出した複数の奥行値の平均値、最大値及び最小値に基づいて、画素ごとの探索範囲を決定する。例えば、探索範囲決定部１０９は、探索範囲の上限を（（平均値）＋（最大値−最小値）×変数）とし、探索範囲の下限を（（平均値）−（最大値−最小値）×変数）とする。ここでの変数は０．５以下の任意の正の実数である。これにより、最小値から最大値までの範囲が広すぎて、全ての範囲で奥行値を算出しようとした場合に、奥行値が精度よく算出できないことがあり得る場合であっても、範囲を狭めることにより奥行値を精度よく算出することが可能となる。

そして、探索範囲決定部１０９は、画素ｐ１０〜ｐ１８の各々について算出した画素ごとの探索範囲の上限及び探索範囲の下限値のうち、最大の値を第１参照画像における探索範囲の上限、最小の値を探索範囲の下限とする。或いは、算出した値のうち最大の値及び最小の値の各々に所定のマージンを付加した値を、探索範囲の上限及び下限としてもよい。これにより、探索範囲決定部１０９は、第１参照画像における全ての画素について探索範囲を決定する場合よりも、探索範囲を算出する処理負荷を軽減させることが可能である。

なお、上記では、第１参照画像において９個の点の画素を選択する場合を例示して説明したが、これに限定されることはなく、探索範囲決定部１０９は、この例示よりも多くの画素を選択してもよいし、この例示よりも少ない個数の画素を選択してもよい。また、探索範囲決定部１０９は、第１参照画像における任意の位置にある画素を選択してよい。

以上説明したように、第３の実施形態の変形例１に係るステレオマッチング処理装置１Ｂは、第１参照画像における画素の方向を示す視線ベクトルＶ１と、第１近傍画像の撮像領域Ｅ２とに基づいて、探索範囲を決定する。これにより、第１参照画像における画素ごとに、探索範囲を決定することができ、精度よく奥行値を算出することが可能となる。また、第１参照画像において選択された画素の探索範囲に基づいて、第１参照画像の全体の探索範囲を決定することができ、処理負荷を増加させることなく、精度よく奥行値を算出することが可能となる。

（第３の実施形態の変形例２）
次に、第３の実施形態の変形例２について説明する。本変形例では、探索範囲決定部１０９が予め定められた探索範囲の上限に基づいて、探索範囲を限定する。
本変形例の探索範囲決定部１０９が行う処理について、図１４を用いて説明する。図１４は、第３の実施形態の変形例２に係る探索範囲決定部１０９が行う処理を説明する図である。図１４では、図１２同様に、視点Ｃ１から撮像領域Ｅ１が撮像され、視点Ｃ２から撮像領域Ｅ２が撮像される様子を俯瞰した模式図を示している。また、視点Ｃ１から撮像領域Ｅ１が撮像された画像を第１参照画像とし、視点Ｃ２から撮像領域Ｅ２が撮像された画像を第１近傍画像とする。

図１４に示すように、探索範囲決定部１０９は、予め定められた探索範囲の上限である上限値Ｄｍａｘｔｈ（＊、＊、ｚｍａｘｔｈ）を上限として、探索範囲を決定する。
これにより、第３の実施形態の変形例２に係るステレオマッチング処理装置１Ｂでは、第１参照画像における光学中心に対応する視線ベクトルＶ１と、第１近傍画像における光学中心に対応する視線ベクトルＶ２とがほぼ平行となる位置関係である場合、撮像領域Ｅ１とＥ２の共通領域における奥行方向の最大値が無限大となる場合であっても、上限値Ｄｍａｘｔｈを上限とすることができる。なお、ここでの上限値Ｄｍａｘｔｈは、ステレオマッチング処理装置１（１Ａ、１Ｂ）の計算処理の処理能力等に応じて、任意に決定されてよい。

（第３の実施形態の変形例３）
次に、第３の実施形態の変形例３について説明する。本変形例では、探索範囲決定部１０９が視差角に基づいて探索範囲を限定する。
本変形例の探索範囲決定部１０９が行う処理について、図１５を用いて説明する。図１５は、第３の実施形態の変形例３に係る探索範囲決定部１０９が行う処理を説明する図である。図１５では、図１４同様に、視点Ｃ１から撮像領域Ｅ１が撮像され、視点Ｃ２から撮像領域Ｅ２が撮像される様子を俯瞰した模式図を示している。また、この例では、視点Ｃ１から撮像領域Ｅ１が撮像された画像を第１参照画像とし、視点Ｃ２から撮像領域Ｅ２が撮像された画像を第１近傍画像とする。

図１５に示すように、探索範囲決定部１０９は、予め定められた視差角の閾値である視差角閾値θｔｈに基づいて、探索範囲を決定する。具体的には、探索範囲決定部１０９は、第１参照画像の光学中心に対応する視線ベクトルＶ１（光軸）と、上限値Ｄｍａｘｔｈとが交差する点ｑについて、視線ベクトルＶ１と、視点Ｃ２及び点ｑを通るベクトルＭとの間のなす角度（視差角）が視差角閾値θｔｈ未満である場合、探索範囲を「範囲なし」、つまり０（ゼロ）とする。ここで、点ｑは、「奥行上限点」の一例である。

探索範囲が０（ゼロ）である場合、第１処理部１０３は奥行値を算出しない。つまり、第１処理部１０３は奥行値を探索する処理を行わない。なお、ここでの視差角閾値θｔｈは、ステレオマッチング処理装置１（１Ａ、１Ｂ）の計算処理の処理能力等に応じて、任意に決定されてよい。

これにより、第３の実施形態の変形例３に係るステレオマッチング処理装置１Ｂでは、奥行値を精度よく算出することが困難となる所定の条件を充足する場合に、奥行値を探索しないようにすることができ、奥行値を探索する処理負荷を軽減させることが可能である。ここで所定の条件とは、予め定めた上限値Ｄｍａｘｔｈを定めた場合において、画素の奥行値が上限値Ｄｍａｘｔｈの位置にあると仮定した場合、視点Ｃ１及びＣ２に対するその画素の視差角が所定の視差角閾値θｔｈ未満である場合である。この場合、視差角が小さすぎるため、奥行値を精度よく算出することが困難である。

（第３の実施形態の変形例４）
次に、第３の実施形態の変形例４について説明する。本変形例では、探索範囲決定部１０９がＳｆＭの結果に基づいて探索範囲を限定する。

本変形例の探索範囲決定部１０９が行う処理について、図１６を用いて説明する。図１６は、第３の実施形態の変形例４に係る探索範囲決定部１０９が行う処理を説明する図である。図１６では、視点Ｃ１から撮像領域Ｅ１が撮像された画像を第１参照画像とし、第１参照画像についてＳｆＭから出力された三次元点の点群を俯瞰した模式図を示している。

図１６に示すように、探索範囲決定部１０９は、ＳｆＭから出力された三次元点の点群のうち、奥行方向（Ｚ軸方向）において最小となる最小値Ｄｍｉｎ（＊、＊、Ｚｍｉｎ）、及びＺ軸方向において最大となる最大値Ｄｍａｘ（＊、＊、Ｚｍａｘ）を算出する。探索範囲決定部１０９は、算出した最小値Ｄｍｉｎから最大値Ｄｍａｘまでの間、つまり、「ｚｍｉｎ」から「ｚｍａｘ」までの範囲、或いは「ｚｍｉｎ」から「ｚｍａｘ」までの範囲に所定のマージンを付与した範囲を探索範囲として決定する。ここでのマージンは、ステレオマッチング処理装置１（１Ａ、１Ｂ）の計算処理の処理能力や、最大値Ｄｍａｘから最小値Ｄｍｉｎまでの範囲の大きさ等に応じて決定してよい。例えば、探索範囲決定部１０９は、「ｚｍａｘ」のｓ倍から「ｚｍｉｎ」の１／ｓ倍を探索範囲とする。ここで、ｓは、１以上の任意の実数である。

以上説明したように、第３の実施形態の変形例４に係るステレオマッチング処理装置１Ｂでは、ＳｆＭの結果を用いる。これにより、第３の実施形態の変形例４に係るステレオマッチング処理装置１Ｂでは、容易に探索範囲を決定することが可能となる。

（第３の実施形態の変形例５）
次に、第３の実施形態の変形例５について説明する。本変形例では、探索範囲決定部１０９が探索範囲を更新させる。

本変形例の探索範囲決定部１０９が行う処理について、図１７を用いて説明する。図１７は、第３の実施形態の変形例５に係る探索範囲決定部１０９が行う処理を説明する図である。図１７では、視点Ｃ１から撮像された第１参照画像について、ステレオマッチングの結果出力された三次元点の点群を俯瞰した模式図を複数示している。図１７の左側には、最初の探索範囲Ｆ１でステレオマッチングが行われた結果、出力された三次元点の点群を示している。図１７の中央には、更新された探索範囲Ｆ２を示している。図１７の右側には、最初の探索範囲Ｆ１でステレオマッチングが行われた結果、及び更新された探索範囲Ｆ２でステレオマッチングが行われた結果、出力された三次元点の点群を示している。

図１７に示すように、探索範囲決定部１０９は、最初に探索範囲Ｆ１を決定する。探索範囲決定部１０９は、上述した第３の実施形態及びその変形例で説明した何れの方法を用いて最初の探索範囲Ｆ１を決定してもよい。この場合、第１処理部１０３は、探索範囲決定部１０９により決定された探索範囲Ｆ１の範囲で奥行値を算出する。

すでに述べたように、ステレオマッチング処理装置１（１Ａ、１Ｂ）は、ステレオマッチングを終了させる所定の終了条件を充足するまで、第１処理部１０３による奥行値の算出を繰り返し行う（図６のステップＳ９、及び図９のステップＳ１１２）。

２回目以降に第１処理部１０３による奥行値の算出が行われる場合、探索範囲決定部１０９は、前回以前に第１処理部１０３により算出された奥行値に対応する三次元点の点群の位置座標に基づいて、探索範囲を更新する。探索範囲決定部１０９は、例えば、三次元点の点群の位置座標の最小値から最大値までの範囲に、所定のマージンを付加させた範囲を、更新した探索範囲とする。この場合、探索範囲決定部１０９は、最初の探索範囲Ｆ１よりも、更新した探索範囲Ｆ２の方が小さい場合に、探索範囲を更新するようにしてもよい。この場合、探索範囲Ｆ２は、「他の探索範囲」の一例である。

以上説明したように、第３の実施形態の変形例５に係るステレオマッチング処理装置１Ｂでは、探索範囲を更新させる。これにより、第３の実施形態の変形例５に係るステレオマッチング処理装置１Ｂでは、探索範囲を狭めることにより、奥行値の算出に伴う処理負荷を軽減させたり、算出する奥行値の精度を高めたりすることが可能となる。

上述した実施形態におけるステレオマッチング処理装置１（１Ａ、１Ｂ）の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１、１Ａ、１Ｂ…ステレオマッチング処理装置
１０１…画像情報取得部
１０２…カメラパラメータ推定部
１０３…第１処理部
１０４…選択部
１０５…第２処理部
１０６…出力部
１０７…画像情報記憶部
１０８…第３処理部
１０９…探索範囲決定部

Claims (16)

1. 対象物体が互いに異なる撮像位置から撮像された複数の画像を用いて前記対象物体の奥行値を算出するステレオマッチング処理装置であって、
   前記複数の画像における第１参照画像と前記第１参照画像とは異なる第１近傍画像とのステレオマッチングを行うことにより、前記第１参照画像における画素ごとの奥行値である第１奥行値を算出する第１処理部と、
   前記第１奥行値に基づいて、前記複数の画像における前記第１参照画像とは異なる第２近傍画像を選択する選択部と、
   前記第１参照画像と前記第２近傍画像とのステレオマッチングを行うことにより前記第１参照画像における画素ごとの奥行値である第２奥行値を算出する第２処理部
   を備えることを特徴とするステレオマッチング処理装置。
2. 前記第１参照画像及び前記第１近傍画像の各々のカメラパラメータにおける撮像位置及び撮像方向に基づいて、前記第１奥行値の探索を行う探索範囲を決定する探索範囲決定部
   を更に備え、
   前記第１処理部は、前記探索範囲決定部により決定された前記探索範囲の範囲で第１奥行値を算出する
   ことを特徴とする請求項１に記載のステレオマッチング処理装置。
3. 前記探索範囲決定部は、前記第１参照画像の撮像領域と前記第１近傍画像の撮像領域とが共通する範囲に基づいて、前記探索範囲を決定する
   ことを特徴とする請求項２に記載のステレオマッチング処理装置。
4. 前記探索範囲決定部は、前記第１参照画像の撮像位置及び前記第１参照画像における任意の画素を通る視線ベクトルが、前記第１近傍画像の撮像領域と交差する領域に基づいて、前記探索範囲を決定する
   ことを特徴とする請求項２に記載のステレオマッチング処理装置。
5. 前記探索範囲決定部は、ＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）に、前記複数の画像を入力することにより得られる三次元点群に対応する前記第１参照画像の画素の奥行値に基づいて、前記探索範囲を決定する
   ことを特徴とする請求項２に記載のステレオマッチング処理装置。
6. 前記探索範囲決定部は、前記第１参照画像の撮像領域の一部を前記探索範囲とした場合において、前記第１処理部により算出された前記第１奥行値に基づいて決定される他の探索範囲が、前記探索範囲よりも狭い範囲である場合、前記他の探索範囲を前記探索範囲として更新する
   ことを特徴とする請求項２に記載のステレオマッチング処理装置。
7. 前記探索範囲決定部は、前記第１参照画像の撮像位置、及び前記第１参照画像の撮像領域において奥行値が所定の上限値となる奥行上限点を通る視線ベクトルと、前記第１近傍画像の撮像位置及び前記第１近傍画像の撮像領域において前記奥行上限点に対応する位置を通る視線ベクトルとの間の視差角が、所定の視差角閾値未満である場合、前記探索範囲を範囲なしとする
   ことを特徴とする請求項２に記載のステレオマッチング処理装置。
8. 前記選択部は、前記第１奥行値に対応する三次元点及び前記複数の画像の各々の撮像位置を通るベクトル群のうち、前記第１参照画像の撮像位置を通るベクトルとの間の角度が、所定の範囲内であるベクトルに対応する撮像位置で撮像された画像を、前記第２近傍画像として選択する
   請求項１から請求項７の何れか一項に記載のステレオマッチング処理装置。
9. 前記選択部は、前記第１奥行値に対応する三次元点から前記第１参照画像の撮像位置までの距離、及び前記三次元点から前記複数の画像の各々の撮像位置までの距離に基づいて、前記第２近傍画像を選択する
   請求項１から請求項８の何れか一項に記載のステレオマッチング処理装置。
10. 前記選択部は、第１参照画像における画素ごとに、前記第２近傍画像を選択する
    請求項１から請求項９の何れか一項に記載のステレオマッチング処理装置。
11. 前記選択部は、第１参照画像ごとに、前記第２近傍画像を選択する
    請求項１から請求項９の何れか一項に記載のステレオマッチング処理装置。
12. 前記選択部は、前記第１参照画像における所定の代表画素、及び所定の代表奥行値に基づいて、前記第２近傍画像を選択する
    請求項１１に記載のステレオマッチング処理装置。
13. 前記選択部は、前記代表画素を前記第１参照画像における光学中心に対応する画素とし、前記代表奥行値を前記第１参照画像において算出された複数の前記第１奥行値の中央値として、前記第２近傍画像を選択する
    請求項１２に記載のステレオマッチング処理装置。
14. 前記複数の画像のうち前記第１参照画像とは異なる第２参照画像、及び前記複数の画像に含まれる前記第２参照画像とは異なる第３近傍画像を用いてステレオマッチングを行うことにより、第２参照画像における画素ごとの奥行値である第３奥行値を算出する第３処理部
    を更に備えることを特徴とする請求項１から請求項１３の何れか一項に記載のステレオマッチング処理装置。
15. 対象物体が互いに異なる撮像位置から撮像された複数の画像を用いて前記対象物体の奥行値を算出するステレオマッチング処理方法であって、
    第１処理部が、前記複数の画像における第１参照画像と前記第１参照画像とは異なる第１近傍画像とのステレオマッチングを行うことにより、前記第１参照画像における画素ごとの奥行値である第１奥行値を算出する第１処理工程と、
    選択部が、前記第１奥行値に基づいて、前記複数の画像における前記第１参照画像とは異なる第２近傍画像を選択する選択工程と、
    第２処理部が、前記第１参照画像と前記第２近傍画像とのステレオマッチングを行うことにより前記第１参照画像における画素ごとの奥行値である第２奥行値を算出する第２処理工程
    を含むことを特徴とするステレオマッチング処理方法。
16. 対象物体が互いに異なる撮像位置から撮像された複数の画像を用いて前記対象物体の奥行値を算出するステレオマッチング処理装置としてコンピュータを動作させるプログラムであって、
    前記コンピュータを、
    前記複数の画像における第１参照画像と前記第１参照画像とは異なる第１近傍画像とのステレオマッチングを行うことにより、前記第１参照画像における画素ごとの奥行値である第１奥行値を算出する第１処理手段と、
    前記第１奥行値に基づいて、前記複数の画像における前記第１参照画像とは異なる第２近傍画像を選択する選択手段と、
    前記第１参照画像と前記第２近傍画像とのステレオマッチングを行うことにより前記第１参照画像における画素ごとの奥行値である第２奥行値を算出する第２処理手段
    として動作させるためのプログラム。

Images