JP4172684B2 - 画像補正装置および画像補正方法 - Google Patents
画像補正装置および画像補正方法 Download PDFInfo
- Publication number
- JP4172684B2 JP4172684B2 JP2002110245A JP2002110245A JP4172684B2 JP 4172684 B2 JP4172684 B2 JP 4172684B2 JP 2002110245 A JP2002110245 A JP 2002110245A JP 2002110245 A JP2002110245 A JP 2002110245A JP 4172684 B2 JP4172684 B2 JP 4172684B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image
- coordinate position
- camera
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Measurement Of Optical Distance (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、俯角付ステレオカメラの画像補正装置および画像補正方法に関する。
【０００２】
【従来の技術】
近年、ステレオカメラを用いた監視システムが注目・実用化されている。この類の監視システムでは、一対の撮像画像に写し出された同一対象物に関する位置的なずれ量（すなわち視差）を、ステレオマッチングを用いて算出する。画像に写し出された対象物の実空間上の位置は、対象物に関して算出された視差と、その画像平面上の位置とに基づいて、周知の座標変換式より算出可能である。
【０００３】
一般に、所定の傾き角（水平面を基準とした上下方向の傾きの度合い）のカメラを用いて垂直な壁面（横長の矩形）を撮像した場合、この壁面は、歪んだ形状で写し出される。これは、カメラの光学的性質によるもので、同じ幅の壁面を撮影した場合であっても、カメラに近接した部位ほど大きく写るからである。そこで、このような光学的性質を解消し、自然な撮像画像を得る方法は、例えば、特開平５−９１４０９号公報などに「あおり補正」として提案されている。
【０００４】
従来の監視システムでは、ほとんど傾きのない状態（俯角＝0）でステレオカメラを使用するのが一般的であり、この場合、上述した画像の歪みはわずかである。そのため、通常は、この画像の歪みを無視、すなわち、傾き角（俯角）＝0として処理を実行している。かかる状態のステレオカメラを用いて垂直に起立した壁面を撮影した場合、壁面に関して算出される視差の値は一様になる。その結果、実空間上におけるステレオカメラから壁面までの距離も一様になる。
【０００５】
【発明が解決しようとする課題】
ところで、カメラ配置に自由度を与えるという観点からすれば、ステレオカメラの傾き角を0度に限定することは好ましくない。しかしながら、俯角付ステレオカメラで上述した壁面を撮影した場合、この壁面に関する視差は壁面部位毎に異なる。その結果、実空間上におけるステレオカメラから壁面までの距離も一様にはならない。そのため、従来の処理手法では、俯角付ステレオカメラを用いた場合、対象物の認識を正確に行うことが困難であった。
【０００６】
上述した「あおり補正」をステレオ画像処理に適用することで、傾き角にともなう欠点を解決することも考えられる。この場合、撮像素子上の画像を二次元的に補正することは可能であるが、この技術を三次元情報（すなわち、視差）を有する画像を取り扱うステレオ画像処理に適用しても、完全に画像の補正を行うことはできない。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、その目的は、ステレオ画像処理によって特定される三次元空間と、実空間との位置的なずれを補正することである。
【０００８】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、俯角付ステレオカメラの画像補正装置を提供する。ステレオカメラは、水平面に対してカメラの視軸が傾いた状態で取り付けられており、一対の画像データを出力する。ステレオ画像処理部は、一対の画像データに基づいて、ステレオマッチングにより視差を算出し、一フレーム相当の画像データに関する視差群と画像平面上の座標位置とが対応付けられた距離データを出力する。角度検出部は、水平面とカメラの視軸とがなす傾き角を検出する。視差補正部は、角度検出部によって検出された傾き角に基づいて、座標位置毎の視差変換パラメータを算出し、算出された座標位置毎の視差変換パラメータに基づいて、距離データを構成する個々の視差の値を補正する。
【０００９】
ここで、第１の発明において、角度検出部によって検出された傾き角に基づいて、座標位置毎の位置変換パラメータを算出し、算出された位置変換パラメータに基づいて、距離データの座標位置を幾何学的に補正する位置補正部をさらに設けてもよい。この場合、位置補正部による補正によって、ある座標位置において視差の欠落が生じた場合、欠落が生じた座標位置の視差を周囲の視差に基づいて補間する補間部をさらに設けることが好ましい。
【００１０】
また、第１の発明において、上記位置補正部は、位置変換パラメータに基づいて、画像データの座標位置を幾何学的に補正することが好ましい。
【００１１】
また、第１の発明において、上記角度検出部は、画像データを解析することで消失点を検出し、消失点の位置に基づいて、傾き角を検出してもよい。
【００１２】
第２の発明は、俯角付ステレオカメラの画像補正方法を提供する。かかる補正方法は、以下に示すステップを有する。第１のステップは、水平面に対してカメラの視軸が傾いた状態で取り付けられたステレオカメラで景色を撮像することにより、一対の画像データを得る。第２のステップは、一対の画像データに基づいて、ステレオマッチングにより視差を算出し、一フレーム相当の画像データより得られた視差群と画像平面上の座標位置とが対応付けられた距離データを出力する。第３のステップは、水平面とカメラの視軸とがなす傾き角を検出する。第４のステップは、検出された傾き角に基づいて、座標位置毎の視差変換パラメータを算出する。第５のステップは、算出された座標位置毎の視差変換パラメータに基づいて、距離データを構成する個々の視差の値を補正する。また、第３の発明は、水平面に対してカメラの視軸が傾いた状態で取り付けられており、一対の画像データを出力するステレオカメラと、一対の画像データに基づいて、ステレオマッチングにより視差を算出し、画像データにおける視差群と画像平面上の座標位置とが対応付けられた距離データを出力するステレオ画像処理部と、水平面とカメラの視軸とがなす傾き角を検出する角度検出部と、角度検出部によって検出された傾き角に基づいて、座標位置毎の視差変換パラメータを算出し、算出された座標位置毎の視差変換パラメータに基づいて、距離データを構成する視差の値を補正する視差補正部とを有する画像補正装置を提供する。
【００１３】
ここで、第２の発明において、検出された傾き角に基づいて、座標位置毎の位置変換パラメータを算出する第６のステップと、算出された位置変換パラメータに基づいて、距離データの座標位置を幾何学的に補正する第７のステップとをさらに設けてもよい。この場合、距離データの座標位置の補正によって、ある座標位置において視差の欠落が生じた場合、欠落が生じた座標位置の視差を周囲の視差に基づいて補間する第８のステップをさらに設けることが好ましい。
【００１４】
【発明の実施の形態】
図１は、本実施形態にかかるステレオ式監視システムのブロック図である。ステレオ式監視システム１は、車両等の移動体または静止した部材に取り付けられたステレオカメラ２を有する。このステレオカメラ２は、水平面を基準とし、この水平面に対して視軸が傾いた状態で取り付けられている俯角付のステレオカメラである。ステレオカメラ２の俯角に相当する傾き角αは、固定であってもよいし、可変であってもよい。傾き角αを可変にする場合、ステレオカメラ２は、その視軸が上下方向に変化するような回動可能なカメラ台に取り付けられる。
【００１５】
ステレオカメラ２は、所定の間隔（カメラ基線長）で配置された一対のカメラ２ａ，２ｂを有しており、それぞれのカメラ２ａ，２ｂには、ＣＣＤやＣＭＯＳセンサ等のイメージセンサが内蔵されている。メインカメラ２ａは、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ２ｂは、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２ａ，２ｂから出力された各アナログ画像は、Ａ／Ｄコンバータ３，４により、所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像に変換される。デジタル化された画像は、画像補正部５において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２ａ，２ｂの取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【００１６】
このような画像処理を経て、メインカメラ２ａより基準画像データが得られ、サブカメラ２ｂより比較画像データが得られる。これらの画像データは、個々に設定された有効画像領域内に含まれる各画素の輝度値（0〜255）の集合である。画像平面におけるｉ−ｊ座標系は、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。一画像の最小表示単位である一フレーム相当の両画像データは、後段のステレオ画像処理部６と、後段の補正処理部８（正確には位置補正部１０）とに出力される。
【００１７】
ステレオ画像処理部６は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関して、距離データを算出する。ここで、「距離データ」とは、一フレーム相当の撮像画像より算出される視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。それぞれの視差ｄは、基準画像の一部を構成する所定面積（例えば、4×4画素）の画素ブロック毎に１つ算出される。例えば、基準画像が200×512画素で構成されている場合、一フレーム相当の撮像画像から、画素ブロックＰＢijの個数相当（50×128個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢijに関する水平方向のずれ量であり、画素ブロックＰＢijに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢij内に写し出されている対象物がカメラ２ａ、２ｂに近いほど、この画素ブロックＰＢijの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは0になる）。
【００１８】
ある画素ブロックＰＢij（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢijの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２ａ，２ｂから対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰijのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部６は、相関元のｉ座標を基準に設定した所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢijの視差ｄとする。
【００１９】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ijは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ijは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ij，ｐ２ij対の差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数１】
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜
【００２０】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部６のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データ（ｉ，ｊ，ｄ）は、補正処理部８（正確には視差補正部９）に出力される。
【００２１】
角度検出部７は、取り付けられたステレオカメラ２の傾き角αを検出する。ステレオカメラ２が回動可能なカメラ台に取り付けられている場合、角度検出部７は、このカメラ台の回転角を検出する。角度検出部７としては、例えば、ロータリエンコーダに代表される回転角センサを用いることができる。ロータリエンコーダは、それがカメラ台に取り付けられた状態で自身の回転変位量を検出することにより、回転角（すなわち傾き角）を検出する。角度検出部７は、ステレオカメラ２と同期がとれている状態において（すなわち１フレームにおける画像の撮影とタイミングを同期して）、この傾き角αを検出することが好ましい。一方、ステレオカメラ２が固定的に取り付けられているのであれば、角度検出部７は、ステレオカメラ２を取り付けた際の傾き角αをデフォルトとして記憶可能な（または、その傾き角を任意に変化させたときに随時書換可能な）メモリであってもよい。
【００２２】
補正処理部８は、距離データと画像データとを補正対象として、ステレオカメラ２の傾き角αに起因するデータのずれを補正する。本実施形態において、補正処理部８は、傾き角αにより一義的に特定される変換パラメータに基づいて、距離データおよび画像データを補正し、機能的には、視差補正部９、位置補正部１０および補間部１１で構成されている。
【００２３】
視差補正部９は、角度検出部７が検出した傾き角αを取得するとともに、傾き角αによって一義的に特定される視差変換パラメータに基づいて、距離データを構成する個々の視差の値を補正する。そして、視差補正部９は、補正した距離データを位置補正部１０に出力する。位置補正部１０は、角度検出部７から傾き角αを取得するとともに、補正された距離データと、この距離データに対応する画像データとに対して、傾き角αにより特定される位置変換パラメータに基づき、座標位置の幾何学的な補正を施す。そして、位置補正部１０は、補正した距離データおよび画像データを補間部１１に出力する。補間部１１は、距離データおよび画像データに関して、位置補正部１０の変換処理によってデータの欠落が生じた場合に、欠落が生じた座標位置のデータを補間する。この補間部１１によって補間処理されたデータのうち、画像データは画像データメモリ１２に格納され、距離データは距離データメモリ１３に格納される。本実施形態の主な特徴は、このような補正処理部８の補正処理にあり、その詳細な補正手法については後述する。
【００２４】
認識部１４は、距離データメモリ１３に格納された距離データに基づいて、対象物の三次元的な位置を認識する。また、認識部１４は、対象物の認識にあたって、適宜、画像データメモリ１２に格納された画像データを用いる。認識すべき対象物は、監視装置の使用目的に応じて適宜設定されている。例えば、自車両前方の走行状況を監視する車外監視システムでは、車線や先行車等が認識すべき対象物になる。踏切監視システムでは、鉄道レール、通行車、通行人等が認識すべき対象物になる。飛行体の高度監視システムや地表の起伏状況を検出するシステムでは、地面が認識すべき対象物になる。
【００２５】
図２は、本実施形態にかかる画像の補正処理の手順を示したフローチャートである。まず、ステップ１において、視差補正部９は、角度検出部７が検出した傾き角αを取得する。画像撮影のタイミングと角度検出部７の傾き角αの検出のタイミングとを同期させることにより、ステレオカメラ２の傾き角を可変にした場合でも、角度検出部７は、撮影時におけるステレオカメラ２の傾き角を確実に特定できる。また、このとき、位置補正部１０も、視差補正部９と同様、角度検出部７から傾き角αを取得する。
【００２６】
そして、ステップ２〜１０において、視差補正部９および位置補正部１０は、距離データおよび画像データにおける高さ方向成分（ｊ座標）、幅方向成分（ｉ座標）のそれぞれについて、ステップ４〜６に示される補正処理を繰り返し行う。本実施形態では、このステップ２〜１０において、両補正部９，１０は、距離データおよび画像データにおける座標（0，0）から、ｉ座標を基準に、ｊ座標を0〜199まで一座標ずつシフトしながら補正処理を行う。そして、隣のｉ座標（ｉ＋１座標）に移り、同様に、ｊ座標を一座標ずつシフトしながら補正処理が続行される。そして、視差補正部９および位置補正部１０は、この処理を、画像データの全て（例えば、200×512）について行う。以下、本明細書は、所定のｉ軸上のｊ座標に注目し説明を展開するものとし、この画像上の位置を注目点Ｇo（ｉo，ｊo）と定義する。
【００２７】
この補正処理に関して、まず、ステップ４において、視差補正部９は、傾き角αにより特定される視差変換パラメータに基づいて、距離データにおける視差の値ｄを補正する。この視差変換パラメータは、以下に示す数式２により表され、距離データ上の注目点Ｇoにおける視差の値ｄは、この数式２によって一義的に視差ｄhに補正（変換）される。
【数２】
【００２８】
上記数式２において、ｄhは補正後の注目点Ｇoでの視差の値、ｄは補正前の注目点Ｇoでの視差の値、ＰＷＶは１画素当たりの垂直視野角である。そして、ｊo，ｊc，ｊvは、それぞれ距離データにおける、注目点、カメラ２ａ（またはカメラ２ｂ）の光学中心点、カメラ位置での水平方向におけるｊ座標値である。
【００２９】
視差変換パラメータの算出手法について説明する。図３は、傾き角αで対象物Ｏを撮像する一対のカメラの状態を示す説明図である。図４は、傾き角αで撮像される画像データおよび距離データの説明図であって、（ａ）は、傾き角αで対象物Ｏを撮影したときの画像データを示す図であり、（ｂ）は、距離データにおける注目点Ｇoを含むｉo座標上の視差を示す図である。また、図５は、視差変換パラメータの算出手法の説明図である。
【００３０】
図３において、画像平面上の注目点Ｇo（図４参照）に対応する対象物Ｏ上の点（実空間における点）が、点Ｏo（ｘo，ｙo，ｚo）で示されている。また、図５において、傾き角αで取り付けられたカメラ２ａ，２ｂの画角が、破線によって示されている。画像データと対象物Ｏとの対応付けを明確にするため、このカメラ２ａ，２ｂによって撮像される像を反映するスクリーンが、同図に示されている。なお、図中に示した実空間を表すｘｙｚ軸の座標系は、一対のカメラ２ａ，２ｂの取付位置を基準として、カメラ２ａ，２ｂの距離方向をｚ軸、地面からの高さ方向をｙ軸、ｙ軸と直交する平面内でのｚ軸との直交方向をｘ軸と定義している。
【００３１】
傾き角α（本実施形態では、水平面に関して下側にα傾く）で、垂直に起立する矩形の壁面（対象物Ｏ）を撮影した場合、対象物Ｏは、実際の形状より下側が窄んだ台形形状に写し出される（図４（ａ）参照）。画像を実空間に対応させた場合、この対象物Ｏの歪みによって、対象物Ｏのｘ方向の位置にずれが生じる。これら画像データに基づき算出される距離データに関しても同様であり、対象物Ｏに関する視差の位置もｘ方向（正確には、ｉ方向）にずれる。
【００３２】
さらに、傾き角αで対象物Ｏを撮影した場合、カメラ視線上における距離の遠近により、算出される視差の値自体にもずれが生じる（図４（ｂ）参照）。このようなずれは、距離データを実空間に対応させた場合、ｚ方向へのずれとなって現れる。よって、図４に示すような画像データおよび距離データを用いて、周知の変換式より算出される対象物Ｏの位置は、実際の対象物Ｏの実空間上の位置と完全に一致しない。
【００３３】
一般に、ステレオカメラが傾いていない状態では、注目点Ｇoにおける視差は、ステレオカメラと対象物との距離、すなわち、図５に示すように、光学中心線上での距離Ｌoに対応した値となる。しかしながら、ステレオカメラ２に傾き角αがある場合、ステレオカメラ２と対象物Ｏとの光学中心線上での距離（すなわち、視差の値に対応する距離）は、傾き角αにともないＬoよりも長いＬo＋ΔＬoとなる。したがって、傾き角αで撮影された距離データから特定される視差の値は、傾き角αと画像上の注目点Ｇoとに起因して変化するΔＬoの値を考慮する必要がある。
【００３４】
ステレオカメラ２から対象物Ｏまでの相対距離（ｚ方向距離）が同一である場合、対象物Ｏに関する全ての視差は、一様な値であることが好ましい。先に述べた光学中心線上での距離に拘わらず、カメラと対象物との相対的な距離（ｚo）によって、視差が特定されるのであれば、周知のステレオ画像処理を用いて実空間への変換処理を行うことができる。したがって、上述したＬo＋ΔＬoとｚoとを対応付けることで、距離データを構成する視差ｄから、ｚoに起因した視差ｄhを一義的に特定することができる。ここで、実空間における注目点Ｏoと光軸との間の距離をｌ、ＣＣＤの縦方向におけるピクセルサイズをｐｓｖ、焦点距離をｆとした場合、ΔＬoは、以下に示す数式３で示される。
【数３】
【００３５】
また、ｌは、以下に示す数式４で示される。
【数４】
【００３６】
数式３に数式４を代入し整理すると、数式３は、以下に示す数式５に書き換えられる。
【数５】
ΔＬo＝Ｌo・ＰＷＶ2・（ｊv−ｊc）・（ｊo−ｊc）
【００３７】
ここで、ＰＷＶは、上述したように一画素当たり垂直視野角であり、ＰＷＶ＝ｐｓｖ/ｆの関係を有する。
【００３８】
一方、数式６に示す関係式から、ｚoは、数式７で示すことができる。
【数６】
【数７】
【００３９】
そして、ｚoとｄh、および、Ｌoとｄとはそれぞれ対応する値であるので、数式７に示すｚoおよびLoを、ｄhおよびｄで適宜置き換えることにより、数式２に示す視差変換パラメータを得ることができる。
【００４０】
つぎに、ステップ５において、位置補正部１０は、画像データと補正された距離データとについて、傾き角αにより特定される位置変換パラメータに基づいて、画像上の座標位置を幾何学的に補正する。この位置変換パラメータは、以下に示す数式８により表され、画像上の（ｉo，ｊo）座標における注目点Ｇo、この数式８によって一義的に座標（ｉh，ｊo）に補正（変換）される。
【数８】
【００４１】
図６は、距離データおよび画像データの歪みを補正する変換パラメータの算出手法を示す説明図である。上述したように、画像には位置的なずれが生じており、視差を補正したとしても、この位置的なずれは、依然として存在する（実空間での、ｘ方向のずれ）。したがって、実空間でのｘ座標の値と、画像から特定されるｘ座標との位置が変わらないように、画像上のｉo座標の位置を補正する必要がある。注目点Ｇoと対応する対象物Ｏ上の点Ｏoとにより、ｘoは、以下に示す数式９の関係式を満たす。
【数９】
【００４２】
ここで、ｉcは画像データおよび距離データにおける光学中心線のｉ座標、ｐｓｈは画像の一画素当たりの横方向のピクセルサイズ（画素幅）である。
【００４３】
一方、ｉoが補正される画像上のｉ座標をｉhとすると、これに対応する実空間上のｚoとの関係より、ｘoは、数式１０の関係を更に満たす。
【数１０】
【００４４】
よって、この数式９と数式１０とでｘoが共通するｉhとｉoとの関係を導き、そして、先にもとめた数式７を代入することで、数式８を得ることができる。
【００４５】
そして、ステップ６において、位置補正部１０は、補正された視差ｄhおよび輝度値を、補正されたあらたな座標（ｉh，ｊo）に格納する。そして、ステップ７，８、および、ステップ９，１０に従い、視差補正部９および位置補正部１０は、このような補正処理を距離データおよび画像データの全てのｉ−ｊ座標について行う。ここで、図７は、本実施形態にかかる補正処理を行った画像データおよび距離データの説明図である。図７の（ａ），（ｂ）は、図３に示した（ａ），（ｂ）にそれぞれ対応する。
【００４６】
全てのｉ−ｊ座標において補正処理が行われると、ステップ１１において、補間部１１は、視差の欠落が生じた座標位置に関する視差を周囲の視差に基づいて補間する内挿処理を行う。一般的に、ステップ５，６で示した座標変換を行った場合、変換後の画素データは、メッシュ状に整列しない。すなわち、変換後の画像データおよび距離データにおける座標の一部には、データの欠落箇所が存在する場合がある。そこで、補間部１１は、画像平面において、データが欠落している座標位置を特定するとともに、特定された座標について、その周辺の座標における輝度値または視差に基づき、統計的な補間処理を行う。
【００４７】
以上のような処理によって、画像データおよび距離データの補正を行うことにより、傾き角αがある場合であっても、カメラの光学的性質にともなう画像の歪みおよび視差のずれは補正される。これにより、画像データおよび距離データから特定される三次元空間が、実際の実空間と位置的なずれを生じることがない。そして、この手法により算出された距離データおよび元画像を用いれば、各種の監視制御において、高精度な監視制御を行うことが可能となる。
【００４８】
なお、上述した実施形態では、視差補正部９および位置補正部１０は、変換パラメータ（数式２および数式８）を用いて、毎回（ｉ−ｊ成分毎に）計算処理を行うものである。しかしながら、計算処理を効率よく行うためにも、視差補正部９は、変換パラメータのうち一部を予め計算し、この計算結果を保持するテーブルを格納してもよい。換言すれば、視差補正部９は、傾き角αと、この傾き角αと（さらには、画像上の位置とに）対応する変換パラメータが定義された対応表を格納する記憶部を更に有することが好ましい。この場合、視差補正部９は、検出された傾き角αの値からこの対応表によって特定される補正係数に基づいて、距離データの視差の値ｄを視差ｄhに補正することができる。
【００４９】
図８は、対応表の一例を示す図である。このよう対応表は、傾き角α（数式２におけるｊvであ、例えば、α＝-30〜60度に対応するｊvとして、例示的に-30〜360）と、注目点ｊo（例示的に0〜199）とに対応させて予め作成することができる。この対応表によって特定される変換パラメータを、table（ｊv，ｊo）とするならば、数式２および数式８は、それぞれ、数式１１および数式１２に代替される。
【数１１】
ｄh＝table（ｊv，ｊc）×ｄ
【数１２】
ｉh＝ｉc＋table（ｊv，ｊc）×（ｉo−ｉc）
【００５０】
なお、数式１２から理解されるように、視差補正部９で使用される対応表は、位置補正部１０の補正処理においても共通して使用可能な対応表である。したがって、位置補正部１０が、同様の対応表を格納する構成であってもよいが、視差補正部９がこの補正係数を位置補正部１０に出力するような構成であってもよい。
【００５１】
また、角度検出部７は、ステレオカメラ２の傾き角αを実際に検出するものであるが、この傾き角αを画像データから検出することができる。具体的には、角度検出部７は、画像データのうち少なくとも一方の画像（例えば、基準画像データ）を解析することで消失点を検出し、消失点の位置に基づいて、傾き角αを検出する。
【００５２】
以上説明したように、本発明の画像補正装置は、ステレオ式監視システム１の一部として機能するばかりではなく、上述した画像補正を目的とした装置単体としても機能することができることはいうまでもない。
【００５３】
【発明の効果】
このように、本発明にかかる画像補正装置および方法によれば、距離データを補正することで、傾き角に伴う画像上のずれを補正することができる。これにより、かかる画像から特定される三次元空間は、実空間と距離的なずれを生じさせないので、監視システムの信頼度を向上することができる。
【図面の簡単な説明】
【図１】本実施形態にかかるステレオ式監視システムのブロック図
【図２】本実施例にかかる画像の補正処理の手順を示したフローチャート
【図３】傾き角αで対象物Ｏを撮像する一対のカメラの状態を示す説明図
【図４】傾き角αで撮像される画像データおよび距離データの説明図
【図５】視差変換パラメータの算出手法の説明図
【図６】画像の歪みを補正する変換パラメータの算出手法を示す説明図
【図７】本実施形態にかかる補正処理を行った画像データおよび距離データの説明図
【図８】対応表の一例を示す図
【符号の説明】
１ ステレオ式監視システム
２ ステレオカメラ
２ａ メインカメラ
２ｂ サブカメラ
３ Ａ／Ｄコンバータ
４ Ａ／Ｄコンバータ
５ 画像補正部
６ ステレオ画像処理部
７ 角度検出部
８ 補正処理部
９ 視差補正部
１０ 位置補正部
１１ 補間部
１２ 画像データメモリ
１３ 距離データメモリ
１４ 認識部
【発明の属する技術分野】
本発明は、俯角付ステレオカメラの画像補正装置および画像補正方法に関する。
【０００２】
【従来の技術】
近年、ステレオカメラを用いた監視システムが注目・実用化されている。この類の監視システムでは、一対の撮像画像に写し出された同一対象物に関する位置的なずれ量（すなわち視差）を、ステレオマッチングを用いて算出する。画像に写し出された対象物の実空間上の位置は、対象物に関して算出された視差と、その画像平面上の位置とに基づいて、周知の座標変換式より算出可能である。
【０００３】
一般に、所定の傾き角（水平面を基準とした上下方向の傾きの度合い）のカメラを用いて垂直な壁面（横長の矩形）を撮像した場合、この壁面は、歪んだ形状で写し出される。これは、カメラの光学的性質によるもので、同じ幅の壁面を撮影した場合であっても、カメラに近接した部位ほど大きく写るからである。そこで、このような光学的性質を解消し、自然な撮像画像を得る方法は、例えば、特開平５−９１４０９号公報などに「あおり補正」として提案されている。
【０００４】
従来の監視システムでは、ほとんど傾きのない状態（俯角＝0）でステレオカメラを使用するのが一般的であり、この場合、上述した画像の歪みはわずかである。そのため、通常は、この画像の歪みを無視、すなわち、傾き角（俯角）＝0として処理を実行している。かかる状態のステレオカメラを用いて垂直に起立した壁面を撮影した場合、壁面に関して算出される視差の値は一様になる。その結果、実空間上におけるステレオカメラから壁面までの距離も一様になる。
【０００５】
【発明が解決しようとする課題】
ところで、カメラ配置に自由度を与えるという観点からすれば、ステレオカメラの傾き角を0度に限定することは好ましくない。しかしながら、俯角付ステレオカメラで上述した壁面を撮影した場合、この壁面に関する視差は壁面部位毎に異なる。その結果、実空間上におけるステレオカメラから壁面までの距離も一様にはならない。そのため、従来の処理手法では、俯角付ステレオカメラを用いた場合、対象物の認識を正確に行うことが困難であった。
【０００６】
上述した「あおり補正」をステレオ画像処理に適用することで、傾き角にともなう欠点を解決することも考えられる。この場合、撮像素子上の画像を二次元的に補正することは可能であるが、この技術を三次元情報（すなわち、視差）を有する画像を取り扱うステレオ画像処理に適用しても、完全に画像の補正を行うことはできない。
【０００７】
本発明は、このような事情に鑑みてなされたものであり、その目的は、ステレオ画像処理によって特定される三次元空間と、実空間との位置的なずれを補正することである。
【０００８】
【課題を解決するための手段】
かかる課題を解決するために、第１の発明は、俯角付ステレオカメラの画像補正装置を提供する。ステレオカメラは、水平面に対してカメラの視軸が傾いた状態で取り付けられており、一対の画像データを出力する。ステレオ画像処理部は、一対の画像データに基づいて、ステレオマッチングにより視差を算出し、一フレーム相当の画像データに関する視差群と画像平面上の座標位置とが対応付けられた距離データを出力する。角度検出部は、水平面とカメラの視軸とがなす傾き角を検出する。視差補正部は、角度検出部によって検出された傾き角に基づいて、座標位置毎の視差変換パラメータを算出し、算出された座標位置毎の視差変換パラメータに基づいて、距離データを構成する個々の視差の値を補正する。
【０００９】
ここで、第１の発明において、角度検出部によって検出された傾き角に基づいて、座標位置毎の位置変換パラメータを算出し、算出された位置変換パラメータに基づいて、距離データの座標位置を幾何学的に補正する位置補正部をさらに設けてもよい。この場合、位置補正部による補正によって、ある座標位置において視差の欠落が生じた場合、欠落が生じた座標位置の視差を周囲の視差に基づいて補間する補間部をさらに設けることが好ましい。
【００１０】
また、第１の発明において、上記位置補正部は、位置変換パラメータに基づいて、画像データの座標位置を幾何学的に補正することが好ましい。
【００１１】
また、第１の発明において、上記角度検出部は、画像データを解析することで消失点を検出し、消失点の位置に基づいて、傾き角を検出してもよい。
【００１２】
第２の発明は、俯角付ステレオカメラの画像補正方法を提供する。かかる補正方法は、以下に示すステップを有する。第１のステップは、水平面に対してカメラの視軸が傾いた状態で取り付けられたステレオカメラで景色を撮像することにより、一対の画像データを得る。第２のステップは、一対の画像データに基づいて、ステレオマッチングにより視差を算出し、一フレーム相当の画像データより得られた視差群と画像平面上の座標位置とが対応付けられた距離データを出力する。第３のステップは、水平面とカメラの視軸とがなす傾き角を検出する。第４のステップは、検出された傾き角に基づいて、座標位置毎の視差変換パラメータを算出する。第５のステップは、算出された座標位置毎の視差変換パラメータに基づいて、距離データを構成する個々の視差の値を補正する。また、第３の発明は、水平面に対してカメラの視軸が傾いた状態で取り付けられており、一対の画像データを出力するステレオカメラと、一対の画像データに基づいて、ステレオマッチングにより視差を算出し、画像データにおける視差群と画像平面上の座標位置とが対応付けられた距離データを出力するステレオ画像処理部と、水平面とカメラの視軸とがなす傾き角を検出する角度検出部と、角度検出部によって検出された傾き角に基づいて、座標位置毎の視差変換パラメータを算出し、算出された座標位置毎の視差変換パラメータに基づいて、距離データを構成する視差の値を補正する視差補正部とを有する画像補正装置を提供する。
【００１３】
ここで、第２の発明において、検出された傾き角に基づいて、座標位置毎の位置変換パラメータを算出する第６のステップと、算出された位置変換パラメータに基づいて、距離データの座標位置を幾何学的に補正する第７のステップとをさらに設けてもよい。この場合、距離データの座標位置の補正によって、ある座標位置において視差の欠落が生じた場合、欠落が生じた座標位置の視差を周囲の視差に基づいて補間する第８のステップをさらに設けることが好ましい。
【００１４】
【発明の実施の形態】
図１は、本実施形態にかかるステレオ式監視システムのブロック図である。ステレオ式監視システム１は、車両等の移動体または静止した部材に取り付けられたステレオカメラ２を有する。このステレオカメラ２は、水平面を基準とし、この水平面に対して視軸が傾いた状態で取り付けられている俯角付のステレオカメラである。ステレオカメラ２の俯角に相当する傾き角αは、固定であってもよいし、可変であってもよい。傾き角αを可変にする場合、ステレオカメラ２は、その視軸が上下方向に変化するような回動可能なカメラ台に取り付けられる。
【００１５】
ステレオカメラ２は、所定の間隔（カメラ基線長）で配置された一対のカメラ２ａ，２ｂを有しており、それぞれのカメラ２ａ，２ｂには、ＣＣＤやＣＭＯＳセンサ等のイメージセンサが内蔵されている。メインカメラ２ａは、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、サブカメラ２ｂは、比較画像（左画像）を撮像する。互いの同期が取れている状態において、カメラ２ａ，２ｂから出力された各アナログ画像は、Ａ／Ｄコンバータ３，４により、所定の輝度階調（例えば、256階調のグレースケール）のデジタル画像に変換される。デジタル化された画像は、画像補正部５において、輝度の補正や画像の幾何学的な変換等が行われる。通常、一対のカメラ２ａ，２ｂの取付位置は、程度の差はあるものの誤差が存在するため、それに起因したずれが左右の画像に生じている。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換が行われる。
【００１６】
このような画像処理を経て、メインカメラ２ａより基準画像データが得られ、サブカメラ２ｂより比較画像データが得られる。これらの画像データは、個々に設定された有効画像領域内に含まれる各画素の輝度値（0〜255）の集合である。画像平面におけるｉ−ｊ座標系は、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とする。一画像の最小表示単位である一フレーム相当の両画像データは、後段のステレオ画像処理部６と、後段の補正処理部８（正確には位置補正部１０）とに出力される。
【００１７】
ステレオ画像処理部６は、基準画像データと比較画像データとに基づいて、一フレーム相当の撮像画像に関して、距離データを算出する。ここで、「距離データ」とは、一フレーム相当の撮像画像より算出される視差ｄの集合であり、個々の視差ｄは画像平面上の位置（ｉ，ｊ）と対応付けられている。それぞれの視差ｄは、基準画像の一部を構成する所定面積（例えば、4×4画素）の画素ブロック毎に１つ算出される。例えば、基準画像が200×512画素で構成されている場合、一フレーム相当の撮像画像から、画素ブロックＰＢijの個数相当（50×128個）の視差群が算出され得る。周知のように、視差ｄは、その算出単位である画素ブロックＰＢijに関する水平方向のずれ量であり、画素ブロックＰＢijに写し出された対象物までの距離と大きな相関がある。すなわち、画素ブロックＰＢij内に写し出されている対象物がカメラ２ａ、２ｂに近いほど、この画素ブロックＰＢijの視差ｄは大きくなり、対象物が遠いほど視差ｄは小さくなる（無限に遠い場合、視差ｄは0になる）。
【００１８】
ある画素ブロックＰＢij（相関元）に関する視差ｄを算出する場合、この画素ブロックＰＢijの輝度特性と相関を有する領域（相関先）を比較画像において特定する。上述したように、カメラ２ａ，２ｂから対象物までの距離は、基準画像と比較画像との間における水平方向のずれ量として現れる。したがって、比較画像において相関先を探索する場合、相関元となる画素ブロックＰijのｊ座標と同じ水平線（エピポーラライン）上を探索すればよい。ステレオ画像処理部６は、相関元のｉ座標を基準に設定した所定の探索範囲内において、エピポーラライン上を一画素ずつシフトしながら、相関元と相関先の候補との間の相関性を順次評価する（ステレオマッチング）。そして、原則として、最も相関が高いと判断される相関先（相関先の候補の内のいずれか）の水平方向のずれ量を、その画素ブロックＰＢijの視差ｄとする。
【００１９】
２つの画素ブロックの相関は、例えば、シティブロック距離ＣＢを算出することにより評価することができる。数式１は、シティブロック距離ＣＢの基本形を示す。同数式において、ｐ１ijは一方の画素ブロックのｉｊ番目の画素の輝度値であり、ｐ２ijは他方の画素ブロックのｉｊ番目の輝度値である。シティブロック距離ＣＢは、位置的に対応した輝度値ｐ１ij，ｐ２ij対の差（絶対値）の画素ブロック全体における総和であって、その差が小さいほど両画素ブロックの相関が大きいことを意味している。
【数１】
ＣＢ＝Σ｜ｐ１ij−ｐ２ij｜
【００２０】
基本的に、エピポーラライン上に存在する画素ブロック毎に算出されたシティブロック距離ＣＢのうち、その値が最小となる画素ブロックが相関先と判断される。このようにして特定された相関先と相関元との間のずれ量が視差ｄとなる。なお、シティブロック距離ＣＢを算出するステレオ画像処理部６のハードウェア構成については、特開平５−１１４０９９号公報に開示されているので、必要ならば参照されたい。このような処理を経て算出された距離データ（ｉ，ｊ，ｄ）は、補正処理部８（正確には視差補正部９）に出力される。
【００２１】
角度検出部７は、取り付けられたステレオカメラ２の傾き角αを検出する。ステレオカメラ２が回動可能なカメラ台に取り付けられている場合、角度検出部７は、このカメラ台の回転角を検出する。角度検出部７としては、例えば、ロータリエンコーダに代表される回転角センサを用いることができる。ロータリエンコーダは、それがカメラ台に取り付けられた状態で自身の回転変位量を検出することにより、回転角（すなわち傾き角）を検出する。角度検出部７は、ステレオカメラ２と同期がとれている状態において（すなわち１フレームにおける画像の撮影とタイミングを同期して）、この傾き角αを検出することが好ましい。一方、ステレオカメラ２が固定的に取り付けられているのであれば、角度検出部７は、ステレオカメラ２を取り付けた際の傾き角αをデフォルトとして記憶可能な（または、その傾き角を任意に変化させたときに随時書換可能な）メモリであってもよい。
【００２２】
補正処理部８は、距離データと画像データとを補正対象として、ステレオカメラ２の傾き角αに起因するデータのずれを補正する。本実施形態において、補正処理部８は、傾き角αにより一義的に特定される変換パラメータに基づいて、距離データおよび画像データを補正し、機能的には、視差補正部９、位置補正部１０および補間部１１で構成されている。
【００２３】
視差補正部９は、角度検出部７が検出した傾き角αを取得するとともに、傾き角αによって一義的に特定される視差変換パラメータに基づいて、距離データを構成する個々の視差の値を補正する。そして、視差補正部９は、補正した距離データを位置補正部１０に出力する。位置補正部１０は、角度検出部７から傾き角αを取得するとともに、補正された距離データと、この距離データに対応する画像データとに対して、傾き角αにより特定される位置変換パラメータに基づき、座標位置の幾何学的な補正を施す。そして、位置補正部１０は、補正した距離データおよび画像データを補間部１１に出力する。補間部１１は、距離データおよび画像データに関して、位置補正部１０の変換処理によってデータの欠落が生じた場合に、欠落が生じた座標位置のデータを補間する。この補間部１１によって補間処理されたデータのうち、画像データは画像データメモリ１２に格納され、距離データは距離データメモリ１３に格納される。本実施形態の主な特徴は、このような補正処理部８の補正処理にあり、その詳細な補正手法については後述する。
【００２４】
認識部１４は、距離データメモリ１３に格納された距離データに基づいて、対象物の三次元的な位置を認識する。また、認識部１４は、対象物の認識にあたって、適宜、画像データメモリ１２に格納された画像データを用いる。認識すべき対象物は、監視装置の使用目的に応じて適宜設定されている。例えば、自車両前方の走行状況を監視する車外監視システムでは、車線や先行車等が認識すべき対象物になる。踏切監視システムでは、鉄道レール、通行車、通行人等が認識すべき対象物になる。飛行体の高度監視システムや地表の起伏状況を検出するシステムでは、地面が認識すべき対象物になる。
【００２５】
図２は、本実施形態にかかる画像の補正処理の手順を示したフローチャートである。まず、ステップ１において、視差補正部９は、角度検出部７が検出した傾き角αを取得する。画像撮影のタイミングと角度検出部７の傾き角αの検出のタイミングとを同期させることにより、ステレオカメラ２の傾き角を可変にした場合でも、角度検出部７は、撮影時におけるステレオカメラ２の傾き角を確実に特定できる。また、このとき、位置補正部１０も、視差補正部９と同様、角度検出部７から傾き角αを取得する。
【００２６】
そして、ステップ２〜１０において、視差補正部９および位置補正部１０は、距離データおよび画像データにおける高さ方向成分（ｊ座標）、幅方向成分（ｉ座標）のそれぞれについて、ステップ４〜６に示される補正処理を繰り返し行う。本実施形態では、このステップ２〜１０において、両補正部９，１０は、距離データおよび画像データにおける座標（0，0）から、ｉ座標を基準に、ｊ座標を0〜199まで一座標ずつシフトしながら補正処理を行う。そして、隣のｉ座標（ｉ＋１座標）に移り、同様に、ｊ座標を一座標ずつシフトしながら補正処理が続行される。そして、視差補正部９および位置補正部１０は、この処理を、画像データの全て（例えば、200×512）について行う。以下、本明細書は、所定のｉ軸上のｊ座標に注目し説明を展開するものとし、この画像上の位置を注目点Ｇo（ｉo，ｊo）と定義する。
【００２７】
この補正処理に関して、まず、ステップ４において、視差補正部９は、傾き角αにより特定される視差変換パラメータに基づいて、距離データにおける視差の値ｄを補正する。この視差変換パラメータは、以下に示す数式２により表され、距離データ上の注目点Ｇoにおける視差の値ｄは、この数式２によって一義的に視差ｄhに補正（変換）される。
【数２】
上記数式２において、ｄhは補正後の注目点Ｇoでの視差の値、ｄは補正前の注目点Ｇoでの視差の値、ＰＷＶは１画素当たりの垂直視野角である。そして、ｊo，ｊc，ｊvは、それぞれ距離データにおける、注目点、カメラ２ａ（またはカメラ２ｂ）の光学中心点、カメラ位置での水平方向におけるｊ座標値である。
【００２９】
視差変換パラメータの算出手法について説明する。図３は、傾き角αで対象物Ｏを撮像する一対のカメラの状態を示す説明図である。図４は、傾き角αで撮像される画像データおよび距離データの説明図であって、（ａ）は、傾き角αで対象物Ｏを撮影したときの画像データを示す図であり、（ｂ）は、距離データにおける注目点Ｇoを含むｉo座標上の視差を示す図である。また、図５は、視差変換パラメータの算出手法の説明図である。
【００３０】
図３において、画像平面上の注目点Ｇo（図４参照）に対応する対象物Ｏ上の点（実空間における点）が、点Ｏo（ｘo，ｙo，ｚo）で示されている。また、図５において、傾き角αで取り付けられたカメラ２ａ，２ｂの画角が、破線によって示されている。画像データと対象物Ｏとの対応付けを明確にするため、このカメラ２ａ，２ｂによって撮像される像を反映するスクリーンが、同図に示されている。なお、図中に示した実空間を表すｘｙｚ軸の座標系は、一対のカメラ２ａ，２ｂの取付位置を基準として、カメラ２ａ，２ｂの距離方向をｚ軸、地面からの高さ方向をｙ軸、ｙ軸と直交する平面内でのｚ軸との直交方向をｘ軸と定義している。
【００３１】
傾き角α（本実施形態では、水平面に関して下側にα傾く）で、垂直に起立する矩形の壁面（対象物Ｏ）を撮影した場合、対象物Ｏは、実際の形状より下側が窄んだ台形形状に写し出される（図４（ａ）参照）。画像を実空間に対応させた場合、この対象物Ｏの歪みによって、対象物Ｏのｘ方向の位置にずれが生じる。これら画像データに基づき算出される距離データに関しても同様であり、対象物Ｏに関する視差の位置もｘ方向（正確には、ｉ方向）にずれる。
【００３２】
さらに、傾き角αで対象物Ｏを撮影した場合、カメラ視線上における距離の遠近により、算出される視差の値自体にもずれが生じる（図４（ｂ）参照）。このようなずれは、距離データを実空間に対応させた場合、ｚ方向へのずれとなって現れる。よって、図４に示すような画像データおよび距離データを用いて、周知の変換式より算出される対象物Ｏの位置は、実際の対象物Ｏの実空間上の位置と完全に一致しない。
【００３３】
一般に、ステレオカメラが傾いていない状態では、注目点Ｇoにおける視差は、ステレオカメラと対象物との距離、すなわち、図５に示すように、光学中心線上での距離Ｌoに対応した値となる。しかしながら、ステレオカメラ２に傾き角αがある場合、ステレオカメラ２と対象物Ｏとの光学中心線上での距離（すなわち、視差の値に対応する距離）は、傾き角αにともないＬoよりも長いＬo＋ΔＬoとなる。したがって、傾き角αで撮影された距離データから特定される視差の値は、傾き角αと画像上の注目点Ｇoとに起因して変化するΔＬoの値を考慮する必要がある。
【００３４】
ステレオカメラ２から対象物Ｏまでの相対距離（ｚ方向距離）が同一である場合、対象物Ｏに関する全ての視差は、一様な値であることが好ましい。先に述べた光学中心線上での距離に拘わらず、カメラと対象物との相対的な距離（ｚo）によって、視差が特定されるのであれば、周知のステレオ画像処理を用いて実空間への変換処理を行うことができる。したがって、上述したＬo＋ΔＬoとｚoとを対応付けることで、距離データを構成する視差ｄから、ｚoに起因した視差ｄhを一義的に特定することができる。ここで、実空間における注目点Ｏoと光軸との間の距離をｌ、ＣＣＤの縦方向におけるピクセルサイズをｐｓｖ、焦点距離をｆとした場合、ΔＬoは、以下に示す数式３で示される。
【数３】
また、ｌは、以下に示す数式４で示される。
【数４】
数式３に数式４を代入し整理すると、数式３は、以下に示す数式５に書き換えられる。
【数５】
ΔＬo＝Ｌo・ＰＷＶ2・（ｊv−ｊc）・（ｊo−ｊc）
【００３７】
ここで、ＰＷＶは、上述したように一画素当たり垂直視野角であり、ＰＷＶ＝ｐｓｖ/ｆの関係を有する。
【００３８】
一方、数式６に示す関係式から、ｚoは、数式７で示すことができる。
【数６】
そして、ｚoとｄh、および、Ｌoとｄとはそれぞれ対応する値であるので、数式７に示すｚoおよびLoを、ｄhおよびｄで適宜置き換えることにより、数式２に示す視差変換パラメータを得ることができる。
【００４０】
つぎに、ステップ５において、位置補正部１０は、画像データと補正された距離データとについて、傾き角αにより特定される位置変換パラメータに基づいて、画像上の座標位置を幾何学的に補正する。この位置変換パラメータは、以下に示す数式８により表され、画像上の（ｉo，ｊo）座標における注目点Ｇo、この数式８によって一義的に座標（ｉh，ｊo）に補正（変換）される。
【数８】
図６は、距離データおよび画像データの歪みを補正する変換パラメータの算出手法を示す説明図である。上述したように、画像には位置的なずれが生じており、視差を補正したとしても、この位置的なずれは、依然として存在する（実空間での、ｘ方向のずれ）。したがって、実空間でのｘ座標の値と、画像から特定されるｘ座標との位置が変わらないように、画像上のｉo座標の位置を補正する必要がある。注目点Ｇoと対応する対象物Ｏ上の点Ｏoとにより、ｘoは、以下に示す数式９の関係式を満たす。
【数９】
ここで、ｉcは画像データおよび距離データにおける光学中心線のｉ座標、ｐｓｈは画像の一画素当たりの横方向のピクセルサイズ（画素幅）である。
【００４３】
一方、ｉoが補正される画像上のｉ座標をｉhとすると、これに対応する実空間上のｚoとの関係より、ｘoは、数式１０の関係を更に満たす。
【数１０】
よって、この数式９と数式１０とでｘoが共通するｉhとｉoとの関係を導き、そして、先にもとめた数式７を代入することで、数式８を得ることができる。
【００４５】
そして、ステップ６において、位置補正部１０は、補正された視差ｄhおよび輝度値を、補正されたあらたな座標（ｉh，ｊo）に格納する。そして、ステップ７，８、および、ステップ９，１０に従い、視差補正部９および位置補正部１０は、このような補正処理を距離データおよび画像データの全てのｉ−ｊ座標について行う。ここで、図７は、本実施形態にかかる補正処理を行った画像データおよび距離データの説明図である。図７の（ａ），（ｂ）は、図３に示した（ａ），（ｂ）にそれぞれ対応する。
【００４６】
全てのｉ−ｊ座標において補正処理が行われると、ステップ１１において、補間部１１は、視差の欠落が生じた座標位置に関する視差を周囲の視差に基づいて補間する内挿処理を行う。一般的に、ステップ５，６で示した座標変換を行った場合、変換後の画素データは、メッシュ状に整列しない。すなわち、変換後の画像データおよび距離データにおける座標の一部には、データの欠落箇所が存在する場合がある。そこで、補間部１１は、画像平面において、データが欠落している座標位置を特定するとともに、特定された座標について、その周辺の座標における輝度値または視差に基づき、統計的な補間処理を行う。
【００４７】
以上のような処理によって、画像データおよび距離データの補正を行うことにより、傾き角αがある場合であっても、カメラの光学的性質にともなう画像の歪みおよび視差のずれは補正される。これにより、画像データおよび距離データから特定される三次元空間が、実際の実空間と位置的なずれを生じることがない。そして、この手法により算出された距離データおよび元画像を用いれば、各種の監視制御において、高精度な監視制御を行うことが可能となる。
【００４８】
なお、上述した実施形態では、視差補正部９および位置補正部１０は、変換パラメータ（数式２および数式８）を用いて、毎回（ｉ−ｊ成分毎に）計算処理を行うものである。しかしながら、計算処理を効率よく行うためにも、視差補正部９は、変換パラメータのうち一部を予め計算し、この計算結果を保持するテーブルを格納してもよい。換言すれば、視差補正部９は、傾き角αと、この傾き角αと（さらには、画像上の位置とに）対応する変換パラメータが定義された対応表を格納する記憶部を更に有することが好ましい。この場合、視差補正部９は、検出された傾き角αの値からこの対応表によって特定される補正係数に基づいて、距離データの視差の値ｄを視差ｄhに補正することができる。
【００４９】
図８は、対応表の一例を示す図である。このよう対応表は、傾き角α（数式２におけるｊvであ、例えば、α＝-30〜60度に対応するｊvとして、例示的に-30〜360）と、注目点ｊo（例示的に0〜199）とに対応させて予め作成することができる。この対応表によって特定される変換パラメータを、table（ｊv，ｊo）とするならば、数式２および数式８は、それぞれ、数式１１および数式１２に代替される。
【数１１】
ｄh＝table（ｊv，ｊc）×ｄ
【数１２】
ｉh＝ｉc＋table（ｊv，ｊc）×（ｉo−ｉc）
【００５０】
なお、数式１２から理解されるように、視差補正部９で使用される対応表は、位置補正部１０の補正処理においても共通して使用可能な対応表である。したがって、位置補正部１０が、同様の対応表を格納する構成であってもよいが、視差補正部９がこの補正係数を位置補正部１０に出力するような構成であってもよい。
【００５１】
また、角度検出部７は、ステレオカメラ２の傾き角αを実際に検出するものであるが、この傾き角αを画像データから検出することができる。具体的には、角度検出部７は、画像データのうち少なくとも一方の画像（例えば、基準画像データ）を解析することで消失点を検出し、消失点の位置に基づいて、傾き角αを検出する。
【００５２】
以上説明したように、本発明の画像補正装置は、ステレオ式監視システム１の一部として機能するばかりではなく、上述した画像補正を目的とした装置単体としても機能することができることはいうまでもない。
【００５３】
【発明の効果】
このように、本発明にかかる画像補正装置および方法によれば、距離データを補正することで、傾き角に伴う画像上のずれを補正することができる。これにより、かかる画像から特定される三次元空間は、実空間と距離的なずれを生じさせないので、監視システムの信頼度を向上することができる。
【図面の簡単な説明】
【図１】本実施形態にかかるステレオ式監視システムのブロック図
【図２】本実施例にかかる画像の補正処理の手順を示したフローチャート
【図３】傾き角αで対象物Ｏを撮像する一対のカメラの状態を示す説明図
【図４】傾き角αで撮像される画像データおよび距離データの説明図
【図５】視差変換パラメータの算出手法の説明図
【図６】画像の歪みを補正する変換パラメータの算出手法を示す説明図
【図７】本実施形態にかかる補正処理を行った画像データおよび距離データの説明図
【図８】対応表の一例を示す図
【符号の説明】
１ ステレオ式監視システム
２ ステレオカメラ
２ａ メインカメラ
２ｂ サブカメラ
３ Ａ／Ｄコンバータ
４ Ａ／Ｄコンバータ
５ 画像補正部
６ ステレオ画像処理部
７ 角度検出部
８ 補正処理部
９ 視差補正部
１０ 位置補正部
１１ 補間部
１２ 画像データメモリ
１３ 距離データメモリ
１４ 認識部
Claims (9)
- 画像補正装置において、
水平面に対してカメラの視軸が傾いた状態で取り付けられており、一対の画像データを出力するステレオカメラと、
前記一対の画像データに基づいて、ステレオマッチングにより視差を算出し、画像データに関する視差群と画像平面上の座標位置とが対応付けられた距離データを出力するステレオ画像処理部と、
前記水平面と前記カメラの視軸とがなす傾き角を検出する角度検出部と、
前記角度検出部によって検出された前記傾き角に基づいて、前記座標位置毎の視差変換パラメータを算出し、当該算出された座標位置毎の視差変換パラメータに基づいて、前記距離データを構成する個々の視差の値を補正する視差補正部と
を有することを特徴とする画像補正装置。 - 前記角度検出部によって検出された前記傾き角に基づいて、前記座標位置毎の位置変換パラメータを算出し、当該位置変換パラメータに基づいて、前記距離データの座標位置を幾何学的に補正する位置補正部をさらに有することを特徴とする請求項１に記載された画像補正装置。
- 前記位置補正部による補正によって、ある座標位置において視差の欠落が生じた場合、当該欠落が生じた座標位置の視差を周囲の視差に基づいて補間する補間部をさらに有することを特徴とする請求項２に記載された画像補正装置。
- 前記位置補正部は、前記位置変換パラメータに基づいて、前記画像データの座標位置を幾何学的に補正することを特徴とする請求項２または３に記載された画像補正装置。
- 前記角度検出部は、前記画像データを解析することで消失点を検出し、前記消失点の位置に基づいて、前記傾き角を検出することを特徴とする請求項１から４のいずれかに記載された画像補正装置。
- 画像補正方法において、
水平面に対してカメラの視軸が傾いた状態で取り付けられたステレオカメラで景色を撮像することにより、一対の画像データを得る第１のステップと、
前記一対の画像データに基づいて、ステレオマッチングにより視差を算出し、一フレーム相当の画像データより得られた視差群と画像平面上の座標位置とが対応付けられた距離データを出力する第２のステップと、
前記水平面と前記カメラの視軸とがなす傾き角を検出する第３のステップと、
前記検出された傾き角に基づいて、前記座標位置毎の視差変換パラメータを算出する第４のステップと、
前記算出された座標位置毎の視差変換パラメータに基づいて、前記距離データを構成する個々の視差の値を補正する第５のステップと
を有することを特徴とする画像補正方法。 - 前記検出された傾き角に基づいて、前記座標位置毎の位置変換パラメータを算出する第６のステップと、
前記算出された位置変換パラメータに基づいて、前記距離データの座標位置を幾何学的に補正する第７のステップとをさらに有することを特徴とする請求項６に記載された画像補正方法。 - 前記距離データの座標位置の補正によって、ある座標位置において視差の欠落が生じた場合、当該欠落が生じた座標位置の視差を周囲の視差に基づいて補間する第８のステップをさらに有することを特徴とする請求項７に記載された画像補正方法。
- 画像補正装置において、
水平面に対してカメラの視軸が傾いた状態で取り付けられており、一対の画像データを出力するステレオカメラと、
前記一対の画像データに基づいて、ステレオマッチングにより視差を算出し、画像データにおける視差群と画像平面上の座標位置とが対応付けられた距離データを出力するステレオ画像処理部と、
前記水平面と前記カメラの視軸とがなす傾き角を検出する角度検出部と、
前記角度検出部によって検出された前記傾き角に基づいて、前記座標位置毎の視差変換パラメータを算出し、当該算出された座標位置毎の視差変換パラメータに基づいて、前記距離データを構成する視差の値を補正する視差補正部と
を有することを特徴とする画像補正装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002110245A JP4172684B2 (ja) | 2002-04-12 | 2002-04-12 | 画像補正装置および画像補正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002110245A JP4172684B2 (ja) | 2002-04-12 | 2002-04-12 | 画像補正装置および画像補正方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003303337A JP2003303337A (ja) | 2003-10-24 |
| JP2003303337A5 JP2003303337A5 (ja) | 2005-09-22 |
| JP4172684B2 true JP4172684B2 (ja) | 2008-10-29 |
Family
ID=29393451
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002110245A Expired - Fee Related JP4172684B2 (ja) | 2002-04-12 | 2002-04-12 | 画像補正装置および画像補正方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4172684B2 (ja) |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4839827B2 (ja) * | 2005-12-26 | 2011-12-21 | コニカミノルタセンシング株式会社 | ３次元測定装置 |
| JP5481337B2 (ja) | 2010-09-24 | 2014-04-23 | 株式会社東芝 | 画像処理装置 |
| KR101317839B1 (ko) | 2011-12-19 | 2013-10-15 | 경북대학교 산학협력단 | 이미지 객체 검출 장치 및 그 방법 |
| JP6044868B2 (ja) * | 2012-06-26 | 2016-12-14 | 株式会社リコー | ステレオカメラキャリブレーション装置及び方法、並びに距離測定装置 |
| JP6202356B2 (ja) * | 2012-07-02 | 2017-09-27 | 株式会社リコー | 画像処理装置及び方法、並びに撮像装置 |
| EP2757524B1 (en) * | 2013-01-16 | 2018-12-19 | Honda Research Institute Europe GmbH | Depth sensing method and system for autonomous vehicles |
| JP5634558B2 (ja) * | 2013-04-30 | 2014-12-03 | 株式会社東芝 | 画像処理装置 |
| JP6950170B2 (ja) * | 2016-11-30 | 2021-10-13 | 株式会社リコー | 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム |
| JP6872239B2 (ja) * | 2017-07-28 | 2021-05-19 | 国立大学法人電気通信大学 | 画像処理装置、画像処理方法および画像処理プログラム |
| JP6865660B2 (ja) * | 2017-09-11 | 2021-04-28 | Ｋｙｂ株式会社 | 距離算出装置および距離算出パラメータの設定方法 |
| JP2020106275A (ja) * | 2018-12-26 | 2020-07-09 | Ｗｈｉｌｌ株式会社 | ステレオカメラおよび電動モビリティ |
| JP7739169B2 (ja) * | 2021-12-28 | 2025-09-16 | ニデック株式会社 | 判定装置、学習装置、判定方法及び判定プログラム |
-
2002
- 2002-04-12 JP JP2002110245A patent/JP4172684B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003303337A (ja) | 2003-10-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4172554B2 (ja) | ステレオカメラの調整装置 | |
| JP5792662B2 (ja) | 視差算出装置、距離算出装置及び視差算出方法 | |
| JP5362189B2 (ja) | 画像処理装置及びその処理方法 | |
| JP4488804B2 (ja) | ステレオ画像の関連付け方法及び３次元データ作成装置 | |
| JP3539788B2 (ja) | 画像間対応付け方法 | |
| JP3054681B2 (ja) | 画像処理方法 | |
| JPH1093808A (ja) | 画像合成装置および方法 | |
| JP4172684B2 (ja) | 画像補正装置および画像補正方法 | |
| JP2004354257A (ja) | キャリブレーションずれ補正装置及びこの装置を備えたステレオカメラ並びにステレオカメラシステム | |
| WO2018235163A1 (ja) | キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法 | |
| JP2007278845A (ja) | 画像処理装置及びその処理方法 | |
| JP2004132870A (ja) | ステレオカメラの調整装置およびステレオカメラの調整方法 | |
| JPH07294215A (ja) | 画像処理方法及び装置 | |
| JPH05303629A (ja) | 形状合成方法 | |
| TW201225658A (en) | Imaging device, image-processing device, image-processing method, and image-processing program | |
| JP3958638B2 (ja) | ステレオ画像処理装置およびステレオ画像処理方法 | |
| JP2004028727A (ja) | 監視システムおよび監視方法、当該監視システムにおける距離補正装置および距離補正方法 | |
| JPH10269362A (ja) | 物体認識方法およびその装置 | |
| JP2003304561A (ja) | ステレオ画像処理装置 | |
| KR100574227B1 (ko) | 카메라 움직임을 보상한 객체 움직임 추출 장치 및 그 방법 | |
| JP2004186922A (ja) | 複数台のカメラを使用した広域撮影方法 | |
| JP3008875B2 (ja) | 被写体抽出装置 | |
| JP4394487B2 (ja) | ステレオ画像処理装置 | |
| JP4209637B2 (ja) | 監視システムの距離補正装置および距離補正方法 | |
| JP4248212B2 (ja) | ステレオ画像処理装置およびステレオ画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050407 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050407 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080423 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080515 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080711 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080808 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080808 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4172684 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110822 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120822 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130822 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |