JP6443502B2 - 画像処理装置、撮影装置、制御システム、移動体、及びプログラム - Google Patents

Description

本発明は、画像処理装置、撮影装置、制御システム、移動体、及びプログラムに関する。

近年、車載用の距離計測装置が実用化されている。このような距離計測装置では、自動車に搭載されたステレオカメラにより車両前方を撮影し、撮影した画像から障害物を認識し、障害物までの距離を計測する。距離計測装置を自動車などの移動体に適用した場合には、距離計測装置からの計測結果に基づいて衝突防止のために運転者に警告を行ったり、或いは車間距離制御のためにブレーキ、ステアリングなどの制御装置の操作を行うといったことが可能になる。

ここで、ステレオカメラを利用した距離計測の原理について説明する。
図１０は、ステレオカメラを利用した距離計測の原理説明図である。
ステレオカメラは、例えば２台のカメラを平行に配置して構成される。図１０には、焦点距離ｆ、光学中心Ｏ_０、撮像面Ｓ_０の第１のカメラ１００ａが紙面上方を光軸方向として配置され、かつ、同じ焦点距離ｆを持つ第２のカメラ１００ｂが、第１のカメラ１００ａの右側に距離Ｂだけ離れて平行に配置されている。
第１のカメラ１００ａの光学中心Ｏ_０から光軸方向に距離ｄだけ離れた位置にある被写体Ａの像は、直線Ａ−Ｏ_０と撮像面Ｓ_０の交点であるＰ_０に像を結ぶ。

一方、第２のカメラ１００ｂでは、同じ被写体Ａが、撮像面Ｓ_１上の位置Ｐ_１に像を結ぶ。
ここで、第２のカメラ１００ｂの光学中心Ｏ_１を通り、直線Ａ−Ｏ_０と平行な直線と、撮像面Ｓ_１との交点をＰ_０’とし、Ｐ_０’とＰ_１の距離をｐとする。Ｐ_０’は、第１のカメラ１００ａ上の像Ｐ_０と同じ位置であり、距離ｐは、同じ被写体の像の二台のカメラで撮影した画像上での位置のずれ量を表し、これを視差と呼ぶ。
三角形Ａ−Ｏ_０−Ｏ_１と、三角形Ｏ_１−Ｐ_０’−Ｐ_１は相似なので、
ｄ＝Ｂ×f／ｐ ・・・（１）
となり、基線長Ｂと焦点距離ｆが既知ならば、視差ｐから距離ｄを求めることができる。

以上が、ステレオカメラによる距離計測の原理である。
この原理が成立するためには、第１のカメラ１００ａと第２のカメラ１００ｂは図１０に示すように正確に配置されていなければならない。
しかしながら、２台のカメラを組み付ける際の公差を無くして厳密に平行配置することは非常に困難であるため、信号処理により補正する技術が各種提案されている。

例えば特許文献１には、ステレオカメラを組み立てた後、既知の位置にセットしたテストチャートを撮影することで、二台のカメラ間の相対的な配置関係を正確に計測し、その情報を利用して、撮影された画像データを変形することによって、擬似的に平行配置を実現する技術が開示されている。このとき、特許文献１では、画像データの変形として、アフィン変換を採用している。
また特許文献２には、結像レンズ系の歪曲収差など、アフィン変換だけでは対応しきれない、非線形なずれを補正するため、テーブルを利用する技術が開示されている。テーブルの内容は、既知の位置にセットしたテストチャートを撮影したデータを元に決定する。
特許文献３には、振動や温度変化などにより、実際の利用中に生じる初期状態からのずれに対応するための技術が開示されている。実際の利用中は、製造時のように既知のテストチャートを撮影することが困難なため、路面の白線の平行性だけを利用してずれ量を計測するようにしている。

ところで、上記したような距離計測装置が高い精度を維持するには、正確なキャリブレーションが必要になる。このため、従来より様々なキャリブレーション技術が提案されている。
従来のキャリブレーション技術は、キャリブレーションを実行するタイミングと、画像変形の自由度の２種類に大別することができる。
さらにキャリブレーションを実行するタイミングは、製造時と利用時に分けることができる。例えば製造時におけるキャリブレーションでは、レンズの光学的な歪みや組み立て時のずれなどをカメラ製造時に計測して補正する。一方、利用時におけるキャリブレーションでは、温度変化や振動などによる経時変化の影響によるずれを利用中に計測して補正する。
また画像変形の自由度は、アフィン変換、非線形テーブル変換、平行移動（一定のオフセット）などがある。

しかしながら、利用時に行うキャリブレーションでは、例えばテストチャートなどの既知の被写体を撮影できないため、一定のオフセット以外の画像変換を行うことができなかった。このため、横方向の画像ずれ量を正確に計測することが困難であった。
これはステレオカメラを構成する２台のカメラが例えば組み立て時の公差等が無く理想的な平行状態で設置されている場合は、一方のカメラで撮影された左画像と他方のカメラで撮影された右画像の対応点は、必ず水平方向の視差を有するため、対応点間の位置差の垂直成分が存在すれば、その対応点間の位置差から縦方向の画像ずれが生じていることを容易に推定することができる。これに対して、横方向の視差については、その真値が被写体までの距離によるため、横方向のずれ量は検知が難しく容易に推定することができなかった。

また、特許文献３には、白線の平行性や、静止被写体の多さを利用して、視差オフセット、つまり左右画像の画面全体の横方向の平行移動量を推定するようにしているが、２台のカメラが平行配置されているステレオカメラの横方向の画像ずれは、平行移動とは限らないため、横方向の画像ずれを実際の利用中に既知のテストチャートなどを用いることなく計測して補正を行うことはできなかった。

ここで、ステレオカメラにおいて発生する横ずれの種類について説明する。
ステレオカメラにおいて発生する横ずれには、例えば、縦軸まわりの回転による横ずれと、歪曲特性の変化による横ずれがある。
縦軸まわりの回転による横ずれは、カメラの視線方向を上下左右に微小に変化させると、撮影画像の反対方向（下上右左）に移動する。しかし、このときの画像の移動は厳密には平行移動ではない。例えば、図１１（ａ）に示すようにカメラ１００が左方向に傾いた場合に、カメラに正対した長方形がどのように変形するかを図１１（ｂ）に示す。
図１１（ｂ）では特に強調して示してあるが、図１１（ａ）に示すようにカメラ１００が左方向に傾いた場合はカメラ１００の撮影画像は長方形１１０から台形１２０に変形する。この場合、画面全体で画像は右方向にずれるが、画面左側は縮小され、より中央に近づくため、画面中心付近のＢ点に比べ、左端のＡ点は大きく右に動き、逆に画面右側は拡大され、より中央から離れるために、右端のＣ点もやはり大きく右に動く。その結果、画像の右方向へのずれ量は、図１２に示すように、画面全体で均一ではない。
従来は、ずれの角度が微小であれば、図１１（ｂ）に示した台形１２０は長方形１１０に非常に近いため、近似的に平行移動とみなしていたが、より正確な視差検出のためには、単純な平行移動ではなく、画素位置に応じたずれ量が存在するものとして補正しなければならない。

次に、歪曲特性の変化による横ずれについて説明する。結像レンズ系は、一般に歪曲収差特性を有している。初期状態では特許文献２のようにテーブルを利用して、非線形なひずみを補正することもできるが、経時的に歪曲特性が変化する場合もある。その場合、例えば画面中心付近は変化が少ないが、周辺では拡大または縮小が生じるなど、平行移動以外の画像ずれが生じる。また、レンズの傾きや偏心など、光軸対称ではないずれがレンズ系に発生すれば、非等方的な歪曲が生じてさらに複雑なずれとなり得る。
このように従来の距離計測装置におけるキャリブレーション技術では、距離計測装置が実際に稼働している状態において、画像ずれ量を正確に計測して補正することはできないという問題点があった。
本発明は、上記したような点を鑑みてなされたものであり、一様でない画像ずれ量を考慮して、画素位置に応じた視差補正量を算出することを目的とする。

上記目的を達成するため、請求項１記載の発明は、移動体に搭載された第１撮影手段により撮影された第１画像において複数の特徴点を抽出する抽出手段と、前記第１画像および当該第１画像と同時に当該第１画像と異なる視点から前記移動体に搭載された第２撮影手段により撮影された第２画像を用いて、抽出された前記複数の特徴点に各々対応する複数の視差データを計算する視差計算手段と、第１の時刻において撮影された第１画像および第２画像についての複数の視差データの各々と、前記第１の時刻とは異なる第２の時刻において撮影された第１画像および第２画像についての複数の視差データの各々とを対応づけて、複数の視差データ対を特定する特定手段と、前記複数の視差データ対に各々対応する前記特徴点の画像位置に応じて、画像位置に応じた視差補正量を算出する補正量算出手段と、前記画像位置に応じた視差補正量で、前記画像位置に応じて補正を行う視差補正手段と、を備えることを特徴とする。

本発明によれば、画素位置に応じた視差補正量を算出することができる。

本発明の第１実施形態に係る距離計測装置のハードウェア全体の構成を示したブロック図である。 図１に示す視差計算部２０で実行されるソフトウェアモジュール全体のブロック図である。 視差画像生成処理部の第１の処理動作を示したフローチャートである。 画面の領域分割の一例を示した図である。 第１実施形態による視差補正量の計算例を示す図である。 視差画像生成処理部の第２の処理動作を示したフローチャートである。 基準画像の変形処理の一例を示した図である。 参照画像の変形処理の一例を示した図である。 本実施形態の距離計測装置を適用可能な車両を示す模式図。 ステレオカメラによる距離計測の原理説明図である。 カメラの回転による画像の歪み例の一例を示した図である。 カメラの回転による画像の横ずれ量を示した図である。

以下、本発明の実施形態に係る距離計測装置について説明する。
＜第１実施形態＞
図１は、本発明の第１実施形態に係る距離計測装置のハードウェア全体の構成を示したブロック図である。
図１に示す本実施形態の距離計測装置１は、左カメラ１１ａと右カメラ１１ｂとを平行に配したステレオカメラ（画像撮像手段）１１と視差計算部（視差算出手段）２０とにより構成される。
左カメラ１１ａ、右カメラ１１ｂは、異なる視点からそれぞれ画像を撮影する。
視差計算部２０は、左カメラ１１ａ、右カメラ１１ｂにより撮影された画像が入力され、視差画像データを出力する。
視差計算部２０は、バス接続されたＣＰＵ（Central Processing Unit）、ＤＲＡＭ（Dynamic Random Access Memory）メモリ、不揮発性フラッシュメモリなどを備えた一般的な電子計算機により構成される。視差計算機能は、フラッシュメモリに記録され、ＣＰＵ、ＤＲＡＭなどを利用して実行されるソフトウェアプログラムの形態で実装される。
なお、本実施形態では、ステレオカメラ１１が二台のカメラ１１ａ、１１ｂを備えている場合を例に挙げて説明したが、これはあくまでも一例であり、三台以上のカメラを用いて構成しても良いことは言うまでもない。

図２は、図１に示す視差計算部２０で実行されるソフトウェアモジュール全体のブロック図である。
カメラ制御部２１は、左カメラ１１ａと右カメラ１１ｂとを制御し、画像データの入力を行う。また、２台のカメラ同期、カメラ初期化、露光制御などを実行する。ここでは説明しないが、必要に応じ、光学系による歪曲、画像回転など、一般的にステレオ距離計測に有効とされる視差オフセット以外の画像補正処理を、入力直後に施すことが望ましい。また、カメラ制御部２１は、左右２台のカメラで同時に撮影した２枚の画像を次々に出力する。
ここでは、右カメラ１１ｂで撮影した撮影画像を基準画像、左カメラ１１ａで撮影した撮影画像を参照画像と呼ぶ。
視差画像生成処理部２２は、カメラ制御部２１から入力される基準画像と参照画像の２枚の画像データから、画素ごとに視差を算出して補正前視差画像を生成する。なお、視差画像生成処理部２２の詳細については後述する。

視差補正量算出処理部（推定手段）２３は、例えば領域ごとの視差補正量を算出する領域視差補正量算出処理部２３ａとしての機能を有する。そして、カメラ制御部２１から入力される基準画像、および視差画像生成処理部２２から入力される補正前視差画像を利用して、Ｘ座標ごとの視差補正量を算出する。つまり、Ｘ座標＝ｉの視差補正量をｏｆｆ（ｉ）として、画面幅の画素数分の［ｉ，ｏｆｆ（ｉ）］のテーブル情報を生成する。算出した視差補正量は、視差補正処理部２４に送られ、視差画像補正処理に利用される。なお、領域視差補正量算出処理部２３ａの詳細については後述する。
視差補正処理部（補正手段）２４は、視差画像の各画素の視差値から、視差補正量算出処理部２３から入力した補正量のうち、画素位置に対応する補正量を減算することにより、視差画像データを補正する。つまり、入力される視差画像中の、画素位置（ｉ，ｊ）の視差値をｄ（ｉ，ｊ）、Ｘ座標＝ｉの視差補正量をｏｆｆ（ｉ）とすると、Ｏ（ｉ，ｊ）＝ｄ（ｉ，ｊ）−ｏｆｆ（ｉ）を補正視差値として出力する。

次に、図３に示すフローチャートを参照して、視差画像生成処理部２２の処理動作を説明する。
ステップＳ１では、ステレオ画像を入力する。すなわち、平行配置された２台のカメラで同時に撮影された画像を入力する。続くステップＳ２は、特徴点を抽出する。
ステップＳ３では、対応点の探索を行う。すなわち、まず基準となる右カメラ１１ｂにおいて撮影された基準画像から濃淡変化の激しい特徴点を複数抽出する。次に反対の左カメラ１１ａにおいて撮影された参照画像から、基準画像上の各特徴点近傍領域（ブロック）と同じ被写体の写った対応点の位置を探索する。対応点探索には、ＳＡＤ（Sum of Absolute Difference）やＰＯＣ（位相限定相関）など周知の技術を利用することができる。
ステップＳ４では、視差を算出する。すなわち、対応点探索処理で算出した左右画像上の対応点位置の差分を取り、視差を算出する。
ステップＳ５では、視差画像を出力する。すなわち、算出された視差量を画素値とする視差画像データ（視差情報）を出力する。
以上の処理を定期的に繰返し実行することで、常にカメラ前方の視差画像を出力し続ける。

次に、領域視差補正量算出処理部２３ａについて説明する。
領域視差補正量算出処理部２３ａは、領域ごとの視差オフセット算出処理として、２回のステレオ撮影間での同じ被写体（特徴点）の視差データ対の集合に基づき、視差オフセットを算出する。但し、１枚目の基準画像上での特徴点の位置が、図４の３つの領域（第１領域Ｅ１、第２領域Ｅ２、第３領域Ｅ３）のいずれに属するかによって、視差データ対を３つの集合に分類する。つまり、図４のように、第１領域Ｅ１と第２領域Ｅ２の境界のＸ座標値をＸ_ｔｈ１、第２領域Ｅ２、第３領域Ｅ３の境界をＸ_ｔｈ２、特徴点の座標値を（Ｘ、Ｙ）とすると、
Ｘ＜Ｘ_ｔｈ１となる特徴点は集合１に、
Ｘ＞Ｘ_ｔｈ２となる特徴点は集合３に、
それ以外は集合２と判定する。
それぞれの集合に対して独立に統計処理を実行して、領域ごとに３つの視差オフセット量を推定する。
ここで、いずれかの領域に属する特徴点数が、予め決められた閾値よりも少なければ、その領域の視差オフセット推定は行わず、前フレームまでの推定結果をそのまま採用する。

次に、Ｘ座標ごとの視差補正量算出処理について説明する。
第１領域Ｅ１、第２領域Ｅ２、第３領域Ｅ３の中心のＸ座標をそれぞれＸ_１、Ｘ_２、Ｘ_３と呼ぶ。
上記の第１領域Ｅ１〜第３領域Ｅ３ごとの視差オフセット算出ステップの結果を、Ｘ座標＝Ｘ_１、Ｘ_２、Ｘ_３の３点での補正量とみなし、これらの線形補間によって、すべてのＸ座標での補正量を算出する。つまり、Ｘ＜Ｘ_２の範囲の補正量を、Ｘ_１とＸ_２での視差オフセットの線形補間で求め、またＸ_２＜Ｘの範囲の補正量をＸ_２とＸ_３での視差オフセットの線形補間で求める。このように求めた１画素ごと画像幅分の（Ｘ座標、補正量）のテーブルを、視差補正処理部２４へ出力する。

図５は、第１実施形態による視差補正量の計算例を示す図である。
横軸がＸ座標、縦軸が視差補正量を表す。図中、白丸が３領域ごとの視差オフセット（＝視差補正量）を、実線Ａが、線形補間によって得られる全Ｘ座標での補正量を表す。
また図５では、図１２に示した理想的な補正量を破線Ｂで、従来のような一定の視差オフセットを利用する場合を一点鎖線Ｃで示してある。図５から本実施形態による補正量（実線Ａ）のほうが、従来の一定値（一点鎖線Ｃ）より理想量（破線Ｂ）に近い場合が多くなることがわかる。
第１実施形態では、領域分割として図４に示す横方向３分割を採用したが、これはあくまでも一例であり、カメラの経時変化の特性に応じて設定すればよい。例えば、分割数の増減や縦横２次元分割も可能であり、領域間に隙間やオーバーラップなどを設けることも可能ある。
また、第１実施形態では、視差補正量算出処理部２３の一例として、複数の領域ごとに視差補正量の算出を行う領域視差補正量算出処理部２３ａを例に挙げて説明したが、これはあくまでも一例であり、視差補正量算出処理部２３は他の構成でもよい。

また第１実施形態では、画素位置に応じた補正量としてＸ座標１画素ごとの補正量テーブルを採用したが、多項式や折れ線、スプラインなど、Ｘ座標−補正量空間での線を表現する他の形式のデータを利用することもできる。
また第１実施形態は、視差補正量算出処理を２フレームごとに実行するようにしているが、信頼性評価をして信頼性の低いフレームの情報を棄却したり、フレーム蓄積を行い、より精度や安定性を向上させることもできる。
このように、第１実施形態の距離計測装置１では、２台のカメラ１１ａ、１１ｂを使用して、二つの地点（時刻）から撮影した２枚の視差画像間での、同じ被写体（特徴点）に関する二つの視差データの対を多数収集する。そして、領域視差補正量算出処理部２３ａにおいて、その視差データ対の集合を統計処理することで視差オフセットを計測する。
特徴点は元々画面上の特定の位置を占めているので、第１実施形態では視差データ対を、特徴点の位置に応じて分類することにより、画像領域ごとの視差オフセットを検出するようにしている。

例えば、図４に示すように、画面全体を左から第１領域Ｅ１、第２領域Ｅ２、第３領域Ｅ３に三分割し、撮影画像上で特徴点が３つのどの領域に属していたかに応じて、視差データ対を３つの集合に分類する。それぞれの集合に対して、統計処理を施すことにより、領域視差補正量算出処理部２３ａにおいて、それぞれの画像領域での視差オフセット量を推定することができる。
正確には、この方法で推定できるのは、図１１、図１２に示したような撮影画像のずれ量そのものではなく、２枚の撮影画像間の視差の変化量である。視差は被写体距離に応じて変わるため、これは２枚の画像の同位置のずれ量の差分とも一致はしない。しかし、ずれ量の変化が図１２のように画素位置に対してゆるやかに変化し、また、対象とする視差がその変化率に対して小さい場合（例えば、画面幅の１／２０以下の視差を扱う場合）、視差オフセットは２枚の画像のずれ量の差分とみなすことができる。
さらに、微小な画像ずれは視差が小さいほど大きな影響を及ぼす。例えば、０．５画素のずれは、１００画素の視差に対しては０．５％の誤差にしかあたらないが、１画素の視差に対しては５０％の誤差となる。

そこで、第１実施形態では、この画素位置に応じた視差オフセット量を２枚の画像ずれ量の差とみなし、これを利用して補正手段である視差補正処理部２４において視差データ（視差情報）を補正するようにした。
これにより、一様でない横方向の画像ずれを、利用中に例えばテストチャートなどの既知の被写体を用いることなく補正することができるので、より正確な視差画像を生成することができる。

また第１実施形態では、視差生成処理部（対応点位置差算出手段）２２において、複数の画像間の対応点を探索し、対応点間の座標の差分である視差データを算出する。そして、視差補正処理部（視差補正手段）２４において、視差データを視差補正量算出処理部（推定手段）２３からの補正量に基づいて補正するようにしているので、単純な演算によって、画素位置に応じた画素横ずれを補正することができるという利点がある。
因みに、従来の特許文献１のような路面の白線に基づく方法では、路面の白線が写る画像領域全体での平均的な視差オフセット量しか計測しかできない。そして自動車の前方に向け設置されたカメラに路面の白線が写る位置は、いつも画面下半分あたりで変化しないため、領域ごとのオフセット計測を行うことができない。これに対して、本実施形態では、特徴点ベースの統計処理による視差オフセット計測方法を利用することで、領域ごとのオフセット計測が実現できるものである。

＜第２実施形態＞
次に本発明の第２実施形態について説明する。
第１実施形態では視差データを補正したが、第２実施形態では視差画像生成に利用する参照画像を補正する。この場合は、歪曲や組み立て誤差などを補正するための画像補正処理が存在するならば、その段階に補正処理を組み込むことにより、視差画像の補正という後処理が不要になる。
なお、第２実施形態の全体構成及びハードウェア構成は、図１に示した第１実施形態と同様であるため、説明は省略する。以下、ソフトウェア処理内容の第１実施形態との差異部分を重点的に説明する。

図６は、視差計算部２０で実行されるソフトウェアモジュール全体のブロック図である。なお、図２と同一ブロックには、同一符号を付して説明は省略する。
図６に示すカメラ制御部２１は、第１実施形態と同様に２台のカメラを制御し、基準画像、参照画像を出力する。
基準画像補正処理部３１は、カメラ製造時に計測したずれや歪曲特性に応じて画像を変形補正する。

図７は、基準画像補正処理部３１の内部ブロック構成を示した図である。
一般に画像の変形処理とは、出力画像のすべての画素位置について、対応する入力画像上の画素位置を算出する画素位置生成テーブル（座標生成処理部）４１と、算出された画素位置に対応する入力画像上の画素値を算出する画素補間部４２とから構成される。なお、画素値は必ずしも整数値とは限らない。
第２実施形態では、全画素分のＸＹ座標を予めテーブルとして記録しておき、それを参照することで入力画像上の画素位置を生成する。テーブルは、カメラ製造時に既知の位置に設置したテストチャートを撮影し、特徴点間を補間して生成し、カメラ内部に記録しておく。なお、第２実施形態ではテーブルを利用するが、多項式演算などによる座標変換など、テーブル以外の方法で画素位置を生成することもできる。
画像補正量算出処理部３２は、上記視差補正量算出処理部２３と同様であり、図４に示したように画像領域を分割して、それぞれの領域ごとに視差オフセットを求め、それらを補間して全画素分の補正量を出力する。但し、第２実施形態では画像補正量算出処理部３２が出力する補正量を画像補正に利用する。
参照画像補正処理部（画像補正手段）３３は、基準画像補正処理部３１と同様に画像を変形して補正する。但し、基準画像はカメラ製造時に計測したずれ特性に基づいて補正したが、参照画像の補正では、予め計測、記録された特性に加え、画像補正量算出処理部３２で算出された利用時に発生したずれも補正する。

図８に参照画像補正処理部３３の内部ブロック図を示す。
参照画像補正処理部３３は、画素位置生成テーブル４１、画素補間部４２、画素位置補正処理部４３とを備えている。なお、図７と同一ブロックには同一符号を付して説明は省略する。
画素位置生成テーブル４１のテーブル内容は、上記同様、カメラ製造時に計測して記録しておく。
画素位置補正処理部４３は、画像補正量算出処理部３２から入力するＸ座標ごとの画像補正量を使い、テーブルに記録された画素位置データを補正する。
具体的には、テーブルから読み出した座標（Ｘ、Ｙ）のＸ座標に対して、Ｘ座標に対応する補正量ｏｆｆ（ｉ）を加算して出力する。これにより、視差が大きすぎる場合、すなわち、基準画像と比べ右側にくる場合は、参照画像を左側に移動するよう変形されるので、後で算出される視差を小さくすることができる。なお、Ｘ座標が整数でない場合は、例えば四捨五入で整数化すれば良い。

視差画像生成処理部２２は、補正された基準画像、参照画像を入力し、第１実施形態と同様の処理により、視差画像を生成する。入力される参照画像は、すでに画像補正量算出処理によって算出された、視差オフセット分だけ横方向にずらしてあるため、視差オフセット分のノイズが低減される。
なお、第２実施形態では、参照画像の補正だけに画像補正量算出処理部３２の結果を反映したが、逆に基準画像側の補正に反映したり、補正量を基準画像と参照画像に分配することもできる。つまり、参照画像補正処理部３３だけでなく、基準画像補正処理部３１、或いは参照画像補正処理部３３と基準画像補正処理部３１の両方を画像補正手段として機能させるようにしてもよい。

このように、第２実施形態では、画素位置に応じた視差オフセット量を２枚の画像ずれ量の差とみなし、これを利用して参照画像を補正するようにしている。
これにより、一様でない横方向の画像ずれを、稼動中に例えばテストチャートなどの既知の被写体を用いることなく補正することができるようになる。
また第２実施形態では、参照画像補正処理部３３において、画像補正量算出処理部３２から補正量に基づいて参照画像を補正する。そして、視差画像生成処理部２２において補正した参照画像と基準画像間の対応点を探索し、対応点間の座標の差分である視差データを算出するようにしているので、単純な演算によって、画素位置に応じた画素横ずれを補正することができるという利点がある。

＜その他の実施形態＞
図１０は、本実施形態の距離計測装置１が適用される画像処理システムと、その画像処理システムが搭載された車両の模式図である。
図１０に示す画像処理システムは、車両前方の画像を取得するための撮像ユニット５１と、取得した画像に基づいて車両５０の前方に存在する他の車両までの距離を算出する等の処理を行う画像解析ユニット５２を有している。撮像ユニット５１は、車両５０が走行する前方の画像を撮像できるように、座席のルームミラー位置等に設置されている。撮像ユニット５１で撮像された車両前方の画像は、画像信号化されて画像解析ユニット５２に入力される。画像解析ユニット５２は、撮像ユニット５１から出力された画像信号を解析する。
撮像ユニット５１として、上記実施形態のステレオカメラ１１を適用できる。
また、画像解析ユニット５２の一部の機能として、上記実施形態の視差計算部２０を適用することが出来る。
車両走行制御ユニット５３は、画像解析ユニット５２で計算された距離に基づいてハンドルやブレーキの制御も行うことが出来る。

１１…ステレオカメラ、１１ａ…左カメラ、１１ｂ…右カメラ、２０…視差計算部、２１…カメラ制御部、２２…視差画像生成処理部、２３…視差補正量算出処理部、２４…視差補正処理部、３１…基準画像補正処理部、３２…画像補正量算出処理部、３３…参照画像補正処理部、４１…画素位置生成テーブル、４２…画素補間部、４３…画素位置補正処理部

特許第３７９２８３２号 特許第３２６１１１５号 特許第４５７３９７７号

Claims (8)

1. 移動体に搭載された第１撮影手段により撮影された第１画像において複数の特徴点を抽出する抽出手段と、
   前記第１画像および当該第１画像と同時に当該第１画像と異なる視点から前記移動体に搭載された第２撮影手段により撮影された第２画像を用いて、抽出された前記複数の特徴点に各々対応する複数の視差データを計算する視差計算手段と、
   第１の時刻において撮影された第１画像および第２画像についての複数の視差データの各々と、前記第１の時刻とは異なる第２の時刻において撮影された第１画像および第２画像についての複数の視差データの各々とを対応づけて、複数の視差データ対を特定する特定手段と、
   前記複数の視差データ対に各々対応する前記特徴点の画像位置に応じて、画像位置に応じた視差補正量を算出する補正量算出手段と、
   前記画像位置に応じた視差補正量で、前記画像位置に応じて補正を行う視差補正手段と、
   を備えることを特徴とする画像処理装置。
2. 前記補正量算出手段は、画面内に複数の領域を設定し、該複数の領域ごとに前記視差補正量を算出することを特徴とする請求項１に記載の画像処理装置。
3. 撮影された複数の画像間の対応点を探索し、対応点間の座標の差分を計算する対応点位置差算出手段を備え、
   前記視差補正手段は、前記対応点位置差算出手段により算出された対応点位置差を、前記視差補正量に基づいて補正することを特徴とする請求項１又は２に記載の画像処理装置。
4. 撮影された複数の画像の少なくとも一つを前記視差補正量に基づいて補正する画像補正手段を備えることを特徴とする請求項１又は２に記載の画像処理装置。
5. 前記第１画像を撮影する第１撮影手段と、
   前記第２画像を撮影する第２撮影手段と、
   請求項１乃至４のいずれか１項に記載の画像処理装置と、を備えることを特徴とする撮影装置。
6. 請求項５に記載の撮影装置と、
   前記画像処理装置により計算された視差データに基づいて制御を行う制御部と、を備えることを特徴とする制御システム。
7. 請求項６に記載の制御システムを備え、
   前記制御部により制御されることを特徴とする移動体。
8. コンピュータを、
   移動体に搭載された第１撮影手段により所定の時刻に撮影された第１画像において複数の特徴点を抽出する抽出手段と、
   前記第１画像および当該第１画像と同時刻において前記移動体に搭載された第２撮影手段により撮影された第２画像を用いて、抽出された前記複数の特徴点に各々対応する複数の視差データを計算する視差計算手段と、
   第１の時刻において撮影された前記第１画像および前記第２画像についての複数の視差データの各々と、前記第１の時刻とは異なる第２の時刻において撮影された前記第１画像および前記第２画像についての複数の視差データの各々とを対応づけて、複数の視差データ対を特定する特定手段と、
   前記複数の視差データ対に各々対応する前記特徴点の画像位置に応じて、画像位置に応じた視差補正量を算出する補正量算出手段と、
   前記画像位置に応じた視差補正量で、前記画像位置に応じて補正を行う視差補正手段と、
   を備える画像処理装置として機能させるプログラム。

Images