JPH11325890A - ステレオカメラの画像補正装置 - Google Patents

Abstract

(57)【要約】 【課題】 ステレオカメラの撮像画像の光学的な位置ズ
レに対し経年変化による位置ズレの補正を可能とする。 【解決手段】 ステレオカメラ１で撮像したアナログ画
像をＡ／Ｄ変換し、画像メモリ１４にストアされた画像
データに対し、マイクロコンピュータ５０で基準マーカ
によって検出した経年変化による位置ズレの座標補正デ
ータを座標補正値演算回路１９を介して水平アドレス及
び垂直アドレスに加算し、２段アクセス回路２０で垂直
方向の上下２画素のデータを２段階にアクセスして、デ
ータ補完回路２１でステレオマッチングにおける基準画
像と比較画像との互いの参照位置を補完する。これによ
り、経年変化により位置ズレの影響を除去する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ステレオカメラで
撮像した画像の光学的な位置ズレを補正するステレオカ
メラの画像補正装置に関する。

【０００２】

【従来の技術】一般に、画像による三次元計測技術とし
て、２台のカメラ（ステレオカメラ）で対象物を異なる
位置から撮像した１対の画像の相関を求め、同一物体に
対する視差からステレオカメラの取り付け位置や焦点距
離等のカメラパラメータを用いて三角測量の原理により
距離を求める、いわゆるステレオ法による画像処理が知
られている。

【０００３】このステレオ法による画像処理では、ステ
レオカメラからの２つの画像信号を順次シフトしながら
重ね合わせて２つの画像信号が一致した位置を求めるよ
うにしているため、本来、２つの画像間には、視差から
生じる対応位置のズレのみが存在することが望ましく、
他の光学的な歪み等による位置ズレが存在すると、ミス
マッチングを生じて距離情報の精度が低下する。

【０００４】このため、ステレオカメラの使用に際して
は光学位置の調整が極めて重要であり、特開平５−１５
７５５７号公報には、一対のビデオカメラを連結保持す
る保持部材に、一方のビデオカメラのイメージセンサの
画素の並びが他方のビデオカメラのイメージセンサの画
素の並びと平行になるように調整する平行調整手段、一
方のビデオカメラの光軸と他方のビデオカメラの光軸と
が平行となるように調整する光軸調整部材を設け、２台
のカメラの相関関係を機械的に調整・保持する技術が開
示されている。

【０００５】しかしながら、一旦、固定したステレオカ
メラに経年変化によるズレが生じた場合、従来では、機
械構造的に再調整しなければならず、煩雑な作業を要す
るばかりでなく、再調整のための時間も長くなり、機械
的な調整では精度確保に限界がある。

【０００６】これに対処するため、本出願人は、先に、
特願平９−１１７２６８号において、ステレオカメラの
光学的位置のズレに応じて画像をアフィン変換すること
で、機械的な調整を行うことなく電気的に調整する技術
を提案しており、ステレオカメラの光学的位置を機械的
には調整困難なレベルまで精密に調整可能とするととも
に、調整後の経年変化によるズレに対しても容易に再調
整可能としている。

【０００７】

【発明が解決しようとする課題】しかしながら、先に本
出願人が提案した画像の補正は、オフボードで行われる
ものであり、ステレオカメラの経年変化によるズレを調
整する場合には、車両をサービス工場等に持ち込んで点
検を受けなければならないという煩雑さがあった。

【０００８】本発明は上記事情に鑑みてなされたもの
で、ステレオカメラの撮像画像の光学的な位置ズレに対
し、経年変化による線形的な位置ズレをオンボードで補
正可能とし、ステレオ処理の信頼性を向上することので
きるステレオカメラの画像補正装置を提供することを目
的としている。

【０００９】

【課題を解決するための手段】請求項１記載の発明は、
２台のカメラを設定間隔を開けて配設してなるステレオ
カメラで撮像した画像の光学的な位置ズレを補正するス
テレオカメラの画像補正装置であって、上記２台のカメ
ラのそれぞれの視野内に設定した基準マーカの各撮像画
像内での初期位置を記憶し、上記基準マーカの画像内の
位置が初期位置からずれたとき、そのズレ量に応じて画
像全体の位置ズレを修正する手段とを備えたことを特徴
とする。

【００１０】すなわち、本発明では、ステレオカメラで
撮像した一対の画像に対し、経年変化による位置ズレに
対応するため、２台のカメラのそれぞれの視野内に設定
した基準マーカの各撮像画像内での初期位置を記憶し、
基準マーカの画像内の位置が初期位置からずれたとき、
そのズレ量に応じて画像全体の位置ズレを修正する。

【００１１】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１〜図９は本発明の実施の一形
態に係わり、図１はステレオ処理システムの全体構成
図、図２は垂直／水平補正の補正パターンを示す説明
図、図３は回転補正の補正パターンを示す説明図、図４
は焦点距離補正の補正パターンを示す説明図、図５はレ
ンズ歪み補正パターンを示す説明図、図６は垂直方向の
データ補完を示す説明図、図７は水平格子パターンの撮
像画像を示す説明図、図８は座標補正テーブルのデータ
分布例を模式的に示す説明図、図９は元画像を座標補正
した画像を示す説明図である。

【００１２】図１は、互いに同期が取れ、例えば電荷結
合素子（ＣＣＤ）等のイメージセンサを内蔵したシャッ
タ速度可変の２台のカメラからなるステレオカメラ１で
撮像した画像を処理するステレオ画像処理システムの構
成を示し、例えば自動車やヘリコプタ等の移動体に搭載
され、周囲環境や自己位置を認識するシステムの一部と
して使用される。

【００１３】上記ステレオカメラ１は、一方のカメラを
ステレオ処理の際の基準画像を撮像するメインカメラ、
他方のカメラをステレオ処理の際の比較画像を撮像する
サブカメラとして、図示しないカメラステイに所定の基
線長をもって配設される。両カメラ２，３で撮像した２
枚の画像は、画像入力装置である画像補正装置１０を介
してステレオ処理装置４０へ入力され、ステレオマッチ
ングにより２つの画像の一致度が評価されて遠近情報を
数値化した三次元画像情報としての距離画像が生成され
る。

【００１４】この場合、２台のカメラ２，３は、初期製
造段階で互いの光軸が平行となるように機械的に調整さ
れてカメラステイに固定されているが、両カメラ２，３
で撮像した各画像には、機械的な組立て精度の限界、レ
ンズの焦点距離のバラツキやレンズ歪みの影響、イメー
ジセンサの受光面のあおりによる撮像画像内の拡大縮小
率の相違等によって光学的に非線形の位置ズレが少なか
らず存在し、必ずしもステレオ処理に最適な画像が得ら
れるわけではない。

【００１５】このため、上記画像補正装置１０では、各
カメラ２，３の撮像画像における光学的な位置ズレを画
素毎に初期補正してステレオ処理に最適な画像データが
得られるようにしており、さらに、経時変化による両カ
メラ２，３の光学位置の狂い、すなわち、カメラステイ
の歪み、両カメラ２，３のフレームやレンズ位置の狂い
に対処するため、マイクロコンピュータ（マイコン）５
０によって初期補正を修正するようにしている。

【００１６】すなわち、画像補正装置１０では、各カメ
ラ２，３からのアナログ画像をＡ／Ｄ変換器１１，１２
でデジタル画像に変換してデータバス切り換え回路１３
を介して画像メモリ１４に格納し、この画像メモリ１４
に格納した画像データをデータ補完回路２１によって画
素毎に補正する。

【００１７】上記画像メモリ１４には、アドレス切り換
え回路１５を介して基準・比較画像書き込みアドレス生
成回路１６と基準・比較画像読み出しアドレス生成回路
１７とが接続されており、基準・比較画像読み出しアド
レス生成回路１７から画素毎の座標補正データを初期値
として記憶する基準・比較画像座標補正テーブル１８が
アクセスされる。

【００１８】上記基準・比較画像読み出しアドレス生成
回路１７から出力される水平アドレスには、マイクロコ
ンピュータ５０からの指示によって画像座標補正値を演
算する座標補正値演算回路１９からの座標補正データが
加算され、アドレス切り換え回路１５に出力される。ま
た、上記基準・比較画像読み出しアドレス生成回路１７
から出力される垂直アドレスには、上記基準・比較画像
読み出しアドレス生成回路１７からの座標補正データと
上記座標補正値演算回路１９からの座標補正データとが
加算され、データ補完回路２１に出力されるとともに２
段アクセス回路２０を介してアドレス切り換え回路１５
に出力される。

【００１９】上記データ補完回路２１の出力は、基準・
比較画像読み出しアドレス生成回路１７からアクセスさ
れるシェーディング補正テーブル２２の出力とともに輝
度補正結果テーブル２３に入力されて輝度補正され、輝
度補正された画像データが基準画像メモリ３１及び比較
画像メモリ３２に出力される。

【００２０】基準画像メモリ３１及び比較画像メモリ３
２にストアされた画像データは、絶対値演算器と加算器
とをピラミッド状に接続したパイプライン構造のシティ
ブロック距離計算回路や、シティブロック距離の最小値
及び最大値等を評価する最小値・画素ズレ検出回路等か
らなるステレオ処理装置４０に読み込まれ、互いの画像
の小領域（例えば、４×４画素の小領域）毎に一致度が
評価されて距離画像が生成される。尚、距離画像の生成
処理については、本出願人による特開平５−１１４０９
９号公報に詳述されている。

【００２１】さらに、上記ステレオ処理装置４０から出
力される距離画像データと上記画像補正装置１０から出
力される補正後の元画像データとは、マイクロコンピュ
ータ５０に読み込まれ、各種認識処理が行なわれるとと
もに、経年変化に対応して前述の基準・比較画像座標補
正テーブル１８の記憶内容を修正するデータを算出する
処理が行われる。

【００２２】以上のステレオ処理システムでは、メイン
カメラ２で撮像した基準画像とサブカメラ３で撮像した
比較画像とを画像入力装置である画像補正装置１０にお
いて時分割で処理するようにしており、基準画像メモリ
３１にステレオマッチングのための小領域の画像データ
がストアされ、比較画像メモリ３２には、一つの小領域
に対して対応位置を参照するための画像データが水平方
向に所定の画素ズレ数分（例えば、小領域を４×４画素
として１００画素ズレ分；４×１０４画素のデータ）だ
けストアされる。

【００２３】すなわち、画像補正装置１０では、両カメ
ラ２，３で撮像したアナログ画像をＡ／Ｄ変換器１１，
１２で所定の輝度階調（例えば２５６階調のグレースケ
ール）のデジタル画像に変換し、データバス切り換え回
路１３によって画像メモリ１４側にバスを切り換えてデ
ジタル画像データを基準・比較画像書き込みアドレス生
成回路１６によって指定される水平アドレス及び垂直ア
ドレスで画像メモリ１４にストアする。

【００２４】そして、画像メモリ１４に所定の画像デー
タがストアされると、基準・比較画像読み出しアドレス
生成回路１７によって画像データの読み出しが開始さ
れ、基準・比較画像座標補正テーブル１８がアクセスさ
れて座標補正データ（アドレス補正データ）が垂直アド
レスに加算されるとともに、座標補正値演算回路１９か
らの座標補正データが水平アドレス及び垂直アドレスに
加算され、アドレス切り換え回路１５を介して画像メモ
リ１４がアクセスされる。

【００２５】本形態においては、基準・比較画像座標補
正テーブル１８に記憶される座標補正データは、ステレ
オマッチングの走査方向（水平方向）に垂直な成分を補
正するためのデータであり、基準画像及び比較画像の上
下ズレ、回転ズレ、レンズ歪み、焦点距離のバラツキを
補正するための初期補正データである。この座標補正デ
ータには、例えば８ビットのデータを用い、最上位の１
ビットで補正方向を示す正負の符号、次の４ビットで整
数部分、下位３ビットで小数部分を表わし、最大座標補
正量±１６画素、最小座標補正分解能０．１２５画素
（１／８画素）の補正を行なう。

【００２６】上記基準・比較画像座標補正テーブル１８
は、予め、正方格子パターンのような特定の補正量計測
用撮像パターンを両カメラ２，３で同時に撮像し、それ
ぞれのカメラ２，３の撮像画像について画素毎の座標補
正量を計算して作成される。すなわち、撮像した画像か
ら各格子点中心の座標を１画素以下で計測し、計測用コ
ンピュータにストアされている基準正方格子パターンの
対応格子点位置と比較して格子点毎に偏差を算出し、こ
の偏差から補正方向を加味したデータ形式の変換を行っ
て格子点毎の補正量を求める。そして、それぞれの画素
のついて、その画素を囲む４つの格子点の補正量から４
点補完によって画素毎の座標補正量を算出し、テーブル
１８に記憶させる。

【００２７】また、基準・比較画像座標補正テーブル１
８には、必要に応じて垂直方向の補正データあるいは水
平方向の補正データのみを記憶するようにしても良い。
図７〜図９は、垂直方向の補正データをテーブル１８に
記憶させる例を示している。この例では、予め、補正量
計測用の水平格子パターンを両カメラ２，３で同時に撮
像する。図７はカメラ２，３の画像の一例を示す。撮像
された画像から各水平格子線の幅の中心線（重心線）を
求め、それぞれの重心線を計測用コンピュータにストア
されている基準水平格子と照らし合わせる。そして基準
格子上に位置する各画素における垂直方向の座標補正量
を求め、さらに、基準格子上にない画素の座標補正量を
線形補完で求めて図８に示すようなデータ分布の座標補
正テーブルを作成する。

【００２８】図９は、図８の座標補正テーブルを用いて
図７の水平格子パターンを撮像した画像を補正した結果
を示している。撮像画像の四隅で顕著に見られる歪が補
正され、すべての格子が水平に修正されていることがわ
かる。

【００２９】尚、水平方向の補正データをテーブル１８
に記憶させる場合には、垂直格子パターンを使用して同
様の処理を行う。また、垂直方向あるいは水平方向の補
正データをテーブル１８に記憶させる場合、他方の補正
データを後述する座標補正値演算回路１９にて演算する
ようにしても良い。

【００３０】一方、座標補正値演算回路１９からの座標
補正データは、経時変化による両カメラ２，３の上下ズ
レ、左右ズレ、回転ズレ等をマイクロコンピュータ５０
からの指示に基づいて補正するためのデータであり、マ
イクロコンピュータ５０でメインカメラ２の基準元画像
及びサブカメラ３の比較元画像を監視することによって
補正され、垂直方向は１／８画素までの補正、水平方向
は１画素単位での座標補正が行なわれる。この場合、水
平方向の座標補正量は、無限遠までの全ての対象がステ
レオマッチングの走査範囲内に入るよう、無限遠で互い
の画像の対応位置が所定画素（例えば、３画素）ずれる
ように設定する。なお、回転ズレの補正については、マ
イクロコンピュータが設定した回転ズレ補正データに応
じ、水平アドレスの増加に対して垂直補正量を増加また
は減少させることで簡易的に実現することができる。

【００３１】一般に、経時変化による位置ズレは、ステ
レオカメラ１の機械的な位置の狂いで、レンズ歪みのよ
うな非線形の補正を要する変化は生じないと考えて良
く、画像全体に対する一律の補正で対応することができ
る。従って、マイクロコンピュータ５０では、システム
の使用初期に、両カメラ２，３の視野内に経時変化によ
る位置ズレを監視するための基準マーカを設定し、マイ
クロコンピュータ５０内に基準元画像及び比較元画像内
での基準マーカの初期位置を記憶しておく。

【００３２】そして、元画像内での基準マーカの位置が
初期位置からずれたとき、垂直方向のズレ量と水平方向
のオフセットとからズレ量を算出し、このズレ量を座標
補正値演算回路１９へ出力し、座標補正値演算回路１９
で経時変化による基準マーカのズレ量から垂直方向の１
／８画素までの座標補正データを演算する。この経時変
化による座標補正データは、基準・比較画像座標補正テ
ーブル１８からの座標補正データに加算され、経年変化
が生じた場合にも画素毎の初期補正値を修正することが
できる。

【００３３】例えば、図２に示すような上下ズレや左右
ズレに対する垂直／水平方向の補正は、垂直方向が最小
１／８画素ピッチで補正され、水平方向は１画素ピッチ
で行なわれる。また、図３に示すような回転ズレに対す
る補正、図４に示すような焦点距離のバラツキに対する
補正、図５に示すようなレンズ歪みに対する補正は、垂
直成分のみで最小１／８画素ピッチで行なわれる。

【００３４】すなわち、本形態のようにステレオマッチ
ングを比較的画素数の少ない小領域で行う場合には、デ
ータ補完によって隣接する画素間の輝度差情報が多少な
りとも失われること、処理時間を要すること等から、ス
テレオマッチングの走査方向に垂直な成分のみ１画素以
下の分解能でデータ補完を行ない、水平方向は１画素単
位で読み出しアドレスをずらすようにしている。

【００３５】このため、基準・比較画像読み出しアドレ
ス生成回路１７で生成した垂直アドレスに座標補正を加
えたデータは、小数以下を表わす下位３ビットがデータ
補完回路２１に出力され、上位５ビットのデータによっ
て２段アクセス回路２０で垂直方向の上下２画素のデー
タが２段階にアクセスされる。そして、これらのデータ
からデータ補完回路２１でステレオマッチングにおける
基準画像と比較画像との互いの参照位置のデータ補完が
行なわれる。

【００３６】ところで、上記基準マーカとしては、例え
ば、車両搭載のシステムでは、各カメラ２，３の画像上
の車両ボンネット先端の特定位置を使用することができ
る。画像上の車両ボンネット先端の１箇所を基準マーカ
として設定する場合は、垂直方向の経時変化、つまり上
下ズレを補正することができる。また、画像上の車両ボ
ンネット先端の２箇所以上を基準マーカとして設定する
と、上下ズレに加えて回転ズレの補正が可能となる。さ
らに、基準マーカを画像上の車両ボンネット先端に代え
て凸状の立体物にすることによって、上下ズレ、回転ズ
レに加えて左右ズレの補正も可能となる。

【００３７】また、車両ボンネットのようにカメラに対
する絶対位置精度が確保できない基準マーカを利用する
場合には、基準画像のマーカ位置と比較画像のマーカ位
置の相対的な関係に基いて上下ズレ、左右ズレ、回転ズ
レを補正しても良い。すなわち、システム使用初期に、
基準画像と比較画像の相対的な初期位置関係を予め記憶
しておき、経時的に相対位置ズレが生じたときに初期位
置関係が維持されるように一方の画像を補正する。

【００３８】データ補完回路２１では、画像メモリ１４
の元画像において、図６に示すように、所定の画素の座
標Ａ(x,y)が本来の位置からｍ画素ずれている場合、２
段アクセス回路２０でアクセスして得られる垂直方向の
上下２画素の座標ｂ(x,y-1)，ｂ(x,y+1)から、正方向ズ
レのときには以下の(1)式で、また、負方向のズレのと
きには以下の(2)式で補完を行い、位置ズレを補正した
座標Ｂ(x,y)を求める。この処理を元画像の全ての画素
について行う。

【００３９】 Ｂ(x,y)＝ｂ(x,y)×(１−ｍ)＋ｂ(x,y-1)×ｍ …(1) Ｂ(x,y)＝ｂ(x,y)×(１−ｍ)＋ｂ(x,y+1)×ｍ …(2) この場合、垂直方向及び水平方向の補正を共に１画素以
下で行う場合には、水平アドレス及び垂直アドレスを、
それぞれ２段アクセスして参照位置周辺の座標データを
求め、これらの座標データと水平アドレスライン及び垂
直アドレスラインからの座標データによって水平方向の
補完と垂直方向の補完とを行うようにする。

【００４０】以上のデータ補完回路２１によって補正さ
れた画像データは、輝度補正結果テーブル２３におい
て、基準・比較画像読み出しアドレス生成回路１７によ
ってアクセスされるシェーディング補正テーブル２２か
らのデータによって各カメラの光学系に発生するシェー
ディング現象による輝度低下が補正され、基準画像メモ
リ３１、比較画像メモリ３２にストアされる。

【００４１】基準画像メモリ３１及び比較画像メモリ３
２にストアされた画像データは、ステレオ処理装置４０
に読み込まれ、ステレオマッチングが行なわれる。この
ステレオマッチングでは、基準画像メモリ３１の一つの
小領域に対し、比較画像メモリ３２の小領域との間のシ
ティブロック距離を計算する処理を水平方向に１画素ず
つずらしながら所定画素分ずれるまで繰り返し、シティ
ブロック距離の最小値及び最大値等を評価してシティブ
ロック距離の最小値が本当に２つの画像の小領域の一致
を示しているものかどうかをチェックする。そして、チ
ェック条件を満足する場合、シティブロック距離が最小
になる画素ズレ量を基準画像の小領域に対応する距離情
報として出力する。

【００４２】このステレオマッチングの際には、両カメ
ラ２，３の撮像画像における光学的な位置ずれに対し、
画像全体に一律に生ずる線形的な位置ズレは勿論のこ
と、局部的に補正量の異なる非線形な位置ズレの影響が
オンボードで除去されているため、対応位置のミスマッ
チングを生じることがなく、正確な距離情報を得て画像
処理における信頼性を向上することができる。

【００４３】

【発明の効果】以上説明したように本発明によれば、２
台にカメラからなるステレオカメラで撮像した一対の画
像に対し、２台のカメラのそれぞれの視野内に設定した
基準マーカの各撮像画像内での初期位置を記憶し、基準
マーカの画像内の位置が初期位置からずれたときには、
そのズレ量に応じて画像全体の位置ズレを修正するた
め、ステレオカメラの経年変化により撮像画像全体に一
律に生ずる線形的な位置ズレの影響をオンボードで除去
することができ、対応位置のミスマッチングを防止して
正確な距離情報を得ることができ、画像処理における信
頼性を向上すことができる等優れた効果が得られる。

【図面の簡単な説明】

【図１】ステレオ処理システムの全体構成図

【図２】垂直／水平補正の補正パターンを示す説明図

【図３】回転補正の補正パターンを示す説明図

【図４】焦点距離補正の補正パターンを示す説明図

【図５】レンズ歪み補正パターンを示す説明図

【図６】垂直方向のデータ補完を示す説明図

【図７】水平格子パターンの撮像画像を示す説明図

【図８】座標補正テーブルのデータ分布例を模式的に示
す説明図

【図９】元画像を座標補正した画像の例を示す説明図

【符号の説明】

１ …ステレオカメラ １０…画像補正装置 １８…基準・比較画像座標補正テーブル １９…座標補正値演算回路 ２１…データ補完回路 ４０…ステレオ処理装置 ５０…マイクロコンピュータ

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ２台のカメラを設定間隔を開けて配設し
   てなるステレオカメラで撮像した画像の光学的な位置ズ
   レを補正するステレオカメラの画像補正装置であって、 上記２台のカメラのそれぞれの視野内に設定した基準マ
   ーカの各撮像画像内での初期位置を記憶し、上記基準マ
   ーカの画像内の位置が初期位置からずれたとき、そのズ
   レ量に応じて画像全体の位置ズレを修正する手段とを備
   えたことを特徴とするステレオカメラの画像補正装置。