JP2000213933A

JP2000213933A - 画像処理装置

Info

Publication number: JP2000213933A
Application number: JP11017214A
Authority: JP
Inventors: Kazumi Arakage; 蔭和美荒
Original assignee: Victor Company of Japan Ltd
Current assignee: Victor Company of Japan Ltd
Priority date: 1999-01-26
Filing date: 1999-01-26
Publication date: 2000-08-04

Abstract

(57)【要約】【課題】ハードウエアの規模を拡大することなく、高
速に対応点探索を行えるようにすること。【解決手段】対応点探索手段６は、対応画素を探索す
る場合に、探索領域中の一の参照画素を中心とした参照
ブロックと、注目画素を中心とした注目ブロックを設定
し、この参照ブロックと注目ブロックとの間の相関係数
を演算する。この場合、対応点探索手段６の相関係数演
算手段１０は、演算途中の相関係数が基準相関係数より
も大きな値になった時には、直ちにその参照ブロックと
の間の相関係数のの演算を中止する。一方、演算途中の
相関係数が基準相関係数よりも小さな場合には、同一参
照ブロックとの間の相関係数の演算が続行される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、３次元座標上の異
なる位置に設置された複数台の撮像手段からの入力画像
に基づき、所謂ステレオ画像計測法によって対象物まで
の距離データを求める機能を有する画像処理装置に関す
るものである。

【０００２】

【従来の技術】図３は、従来の画像処理装置の構成を示
す平面図である。この図において、３次元座標上の任意
の位置に存在する対象物１の撮像を２台の撮像手段２L
（左側），２R （右側）が行うようになっており、これ
らの撮像手段からの入力画像に基づき、画像処理回路３
が対象物１に関する距離データｚを求めるようになって
いる。撮像手段２L ，２R は互いに距離Ｂだけ離れて設
置されており、またそれぞれの設置高さは同一となって
いる。

【０００３】図４は、図３における画像処理回路３の構
成を示すブロック図である。この図に示すように、画像
処理回路３は、２つの画像入力手段４L ，４R 、２つの
特徴量抽出手段５L ，５R 、対応点探索手段６、及び距
離データ演算手段７により構成されている。

【０００４】図５は、ステレオ画像計測法を説明するた
めの説明図であり、この図５を用いて図４の動作を説明
する。図５において、撮像手段２L の画像をＳ1 、撮像
手段２R の画像をＳ2 とした場合に、これら対象物１及
び画像Ｓ1 ，Ｓ2 を含む空間内に３次元座標が設定され
ている。なお、この座標系での座標をｘ，ｙ，ｚで表
す。また、画像Ｓ1 ，Ｓ2 上での位置を表す座標として
〔Ｘ1 ，Ｙ1 〕、〔Ｘ2，Ｙ2 〕を用いる。この例で
は、画像Ｓ1 ，Ｓ2 のうち画像Ｓ1 を基準画像としてお
り、画像Ｓ1 の光軸はｚ軸上すなわちｘ＝０の位置に位
置し、画像Ｓ2 の光軸はｘ＝Ｂの位置に位置している。
また、撮像手段２L ，２R の各光軸はｘ−ｚ平面内で互
いに平行になっている。

【０００５】画像入力手段４L ，４R は、それぞれ撮像
手段２L ，２R から画像Ｓ1 ，Ｓ2の情報を入力し、こ
れを特徴量抽出手段５L ，５R に出力する。特徴量抽出
手段５L ，５R は、入力した画像情報から対象物１の存
在を示す特徴量を抽出する。特徴量としては、通常、画
素強度（例えば、輝度や濃淡度）を用いるが、特開平７
−３３６６６９号公報に開示されているように、ソーベ
ルフィルタ（１次微分）やラプラシアンフィルタ（２次
微分）を使用してエッジ抽出処理を行った後の値を用い
ることとしてもよい。

【０００６】対応点探索手段６は、特徴量抽出手段５L
，５R が抽出したそれぞれの特徴量を入力し、画像Ｓ1
の画素に対応する画像Ｓ2 の画素を探索する（この探
索は、画像Ｓ1 の全ての画素に対して行う。）。例え
ば、対象物１のある点Ｐ〔x,y,z〕が画像Ｓ1 上の点Ｐ1
〔Ｘ1,Ｙ1 〕に投影されている場合、対応点探索手段
６は、この点Ｐ1 〔Ｘ1,Ｙ1 〕に対応する点Ｐ2 〔Ｘ2,
Ｙ2 〕を画像Ｓ2 の画素の中から探索する（なお、本明
細書中では、点Ｐ1 の画素を注目画素、点Ｐ2 の画素を
対応画素と呼ぶ。）。この場合、画像Ｓ1 において、エ
ピポーラ線は点Ｐ1〔Ｘ1,Ｙ1 〕が存在する走査線Ｓc1
に一致している。したがって、画像Ｓ2 におけるエピポ
ーラ線も、走査線Ｓc1と同一高さの走査線Ｓc2に一致し
ており、点Ｐ1 〔Ｘ1,Ｙ1 〕に対応する点Ｐ2 〔Ｘ2,Ｙ
2 〕も、この走査線Ｓc2上のいずれかの位置に存在する
はずである。対応点探索手段６が行う探索とは、このよ
うに画像Ｓ２内の走査線Ｓc２上を探索領域とし、走査
線Ｓc1上の或る点Ｐ1 〔Ｘ1,Ｙ1 〕に対応する点Ｐ2
〔Ｘ2,Ｙ2 〕を、画像Ｓ2 内の走査線Ｓc2上から求める
ことをいう。ところが、ステレオ画像計測法において上
記の対応点探索を正確に行うことは困難であり、この対
応点探索のための技術として従来から種々の手法が提案
されている。例えば、特開平９−３３２４９号公報に
は、左右両画像の画素強度を演算して両画素間の相関関
係を表す相関関数を演算し、この相関関数の値に従って
対応点探索を行う手法が開示されている。

【０００７】対応点探索手段６は、点Ｐ1 〔Ｘ1,Ｙ1 〕
に対応する点Ｐ2 〔Ｘ2,Ｙ2 〕を探索した後、さらに、
両点間の視差データを求めるようになっている。視差デ
ータとは、画像Ｓ1 及びＳ2 における両点の位置の差の
ことであり、Ｄ（Ｘ2−Ｘ1,Ｙ2−Ｙ1 ）で表される。上
記の場合、Ｙ1 ＝Ｙ2 であるから、この視差データはＤ
（Ｘ2−Ｘ1,0 ）と表されることになる。

【０００８】距離データ演算手段７は、対応点探索手段
６が求めた視差データＤを用いて対象物１との間の距離
データｚを演算する。すなわち、撮像手段２L ，２R の
焦点距離をｆとし、各光軸間の距離をＢとすると、距離
ｚは、下式（１）に示すように、このｆ、Ｂと、Ｘ方向
のみの視差データ（Ｘ2−Ｘ1 ）とにより表される。距
離データ演算手段７は、この（１）式によりｚを各画素
毎に演算する。

【０００９】ｚ＝Ｂ・ｆ／（Ｘ2−Ｘ1 ） … （１）距離データ演算手段７は、このようにして演算した距離
データｚを、図示を省略してある外部装置に対して出力
する。外部装置とは、例えば、監視カメラ装置、視覚機
能を有する産業用ロボット、あるいはＮＣマシン等であ
り、多岐の分野において使用される装置を包含してい
る。

【００１０】ところで、上述した相関係数の演算は、例
えば、次のようにして行われている。すなわち、２つの
画像のうちいずれか一の画像を基準画像とし、この基準
画像の注目画素に対応する他方の画像の対応画素を探索
する場合、他方の画像中に探索領域を設定し、この探索
領域中のいずれか一の画素を参照画素とする。

【００１１】更に、参照画素を中心としたｄＸ×ｄＹの
矩形小領域である参照ブロックと、注目画素を中心とし
たｄＸ×ｄＹの矩形小領域である注目ブロックとをそれ
ぞれ設定し、下記の式(２)又は(３)のいずれかを用いて
二つのブロック内の同位置の画素同士の特徴量の差分の
二乗、または絶対値差分のブロック内での積和演算を行
い、その結果求まる相関係数Ｅ(Ｘ，Ｙ)を注目画素と参
照画素との間の相関係数（注目ブロックと参照ブロック
との間の相関係数ともいう）とする。

【００１２】なお、式(２)及び(３)は、点Ｐ1 〔Ｘ1,Ｙ
1 〕を注目画素とし、点Ｐ2 〔Ｘ2,Ｙ2 〕を参照画素と
した場合の例であり、Ｉ1 〔ＸA,ＹB 〕及びＩ2 〔ＸC,
ＹD〕はそれぞれ点Ｐ1 〔ＸA,ＹB 〕及び点Ｐ2 〔ＸC,
ＹD 〕における各画素の特徴量である。

【００１３】

【数１】上記のように或る参照画素（この場合は点Ｐ2）と注目
画素（この場合は点Ｐ1）との間の相関係数を演算した
後、この参照画素を一つずらして新たな参照ブロックを
設定し、この新たな参照ブロックと注目ブロックとの間
で相関係数を同様にして求める。このようにして、探索
領域内において参照画素を順次移動させて、探索領域内
の全ての画素とある一つの注目画素との間の相関係数を
求め（設定される参照画素の数だけ相関係数が求められ
る）、その中から値の最も小さな相関係数を選択する。
その最小の相関係数の参照画素を点Ｐ1 〔Ｘ1,Ｙ1 〕に
対する対応画素と決定する。最小の相関係数となる参照
画素が点Ｐ2 〔Ｘ2,Ｙ2 〕であれば、点Ｐ2 〔Ｘ2,Ｙ2
〕を対応画素と決定する。

【００１４】ここで、図６を参照して、より具体的に相
関係数Ｅの求め方について説明する。図６に示すよう
に、基準画像上の注目画素をＰ、参照画像上の参照画素
をＳとし、それを中心として３×３の注目ブロックと参
照ブロックとを設定し、その中の他の画素を図６の通り
としたとき、相関係数Ｅは、下記の式(４)又は(５)のい
ずれかにより表される。なお、式(４)は式(２)に対応す
るものであり、式(５)は式(３)に対応するものである。
また、｜ｘ｜はｘの絶対値、Ｓi，Ｐiは各画素の特徴量
とする。Ｅ＝(Ｓ−Ｐ)²＋(Ｓ1−Ｐ1)²＋(Ｓ2−Ｐ2)²＋(Ｓ3−Ｐ3)²＋(Ｓ4−Ｐ4)² ＋(Ｓ5−Ｐ5)²＋(Ｓ6−Ｐ6)²＋(Ｓ7−Ｐ7)²＋(Ｓ8−Ｐ8)² … (４) Ｅ＝｜(Ｓ−Ｐ)｜＋｜(Ｓ1−Ｐ1)｜＋｜(Ｓ2−Ｐ2)｜＋｜(Ｓ3−Ｐ3)｜＋｜(Ｓ4−Ｐ4)＋｜(Ｓ5−Ｐ5)｜＋｜(Ｓ6−Ｐ6)｜＋｜(Ｓ7−Ｐ7)｜＋｜(Ｓ8−Ｐ 8)｜ … (５) 注目画素Ｐを固定して、参照画像上の探索範囲の全ての
画素についてＳの探索を行い、各参照ブロック毎の相関
係数Ｅを求め、Ｅの値が最小となる時の参照画素を注目
画素Ｐの対応画素に決定する。さらに、Ｐを基準画像上
の全ての画素について上記の演算を行い、各注目画素に
対する対応画素を決定する。

【００１５】なお、上記の式(２)又は(３)で表される相
関係数Ｅ（Ｘ，Ｙ）は、探索領域及び参照領域が共にＸ
−Ｙ平面上の２次平面領域である一般的な場合につき説
明しているが、前述した通り、図５の場合は探索領域が
走査線Ｓｃ２上に限られていることから、Ｙ方向成分は
無視し、Ｘ方向成分のみを考えればよい。

【００１６】

【発明が解決しようとする課題】しかし、上記のような
従来の対応点探索は、式(２)又は(３)の演算を探索領域
内の全ての参照画素につき行わなければならず、その演
算量が非常に大きなものとなっている。そのため、この
演算の実行に少なからず時間を要することとなり、高速
な対応点探索を行うことができなかった。

【００１７】高速な対応点探索を行う技術としては、例
えば、特開平７−１０３７３４号に開示されているよう
に、より低解像度の画像である階層画像を作成し、この
画像上で求められた視差データを参照して探索範囲を絞
り込むことにより、演算時間を短縮する技術が従来から
提示されている。この従来技術によれば、たしかに或る
程度演算時間は短縮されるものの、各階層の画像に応じ
た大容量のメモリを設けなければならないというハード
ウエア上の別の問題が生じることになる。

【００１８】本発明は上記事情に鑑みてなされたもので
あり、ハードウエアの規模を拡大することなく、高速に
対応点探索を行うことができる画像処理装置を提供する
ことを目的としている。

【００１９】

【課題を解決するための手段】上記課題を解決するため
の手段として請求項１記載の発明は、予め設定された３
次元座標上で所定の位置関係を有するように設置された
複数の撮像手段から対象物に関する画像情報を入力する
画像入力手段と、前記画像入力手段から得られる複数の
画像における各特徴量を抽出する特徴量抽出手段と、前
記複数の画像のうちのいずれか一を基準画像とし、この
基準画像の注目画素に対応する他の画像の対応画素を前
記特徴量に基づいて探索し、両画素間の視差データを求
める対応点探索手段と、前記対応点探索手段が求めた視
差データに基づいて、前記対象物に関する距離データを
演算する距離データ演算手段と、を備え、前記対応点探
索手段は、前記対応画素を探索する場合に、前記他の画
像に探索領域を設定すると共に、この探索領域中の一の
参照画素を中心とした参照ブロックと、注目画素を中心
とした注目ブロックを設定し、この２つのブロック内の
対応する位置の画素同士の特徴量の差に基づき定格値を
順次積算して前記参照ブロックと注目ブロックとの間の
相関係数を演算することに基づき、前記探索領域中での
対応画素の探索を行う、画像処理装置において、前記対
応点探索手段は、前記参照ブロックと前記注目ブロック
との間の相関係数を演算する過程において、積算途中の
相関係数逐次を予め設定してある基準相関係数と比較
し、積算途中の相関係数が基準相関係数よりも大きな値
になった時には、直ちにその参照ブロックとの間の相関
係数のの演算を中止すると共に次の参照ブロックに移行
して同様に相関係数の演算を行い、一方、積算途中の相
関係数が基準相関係数よりも小さな場合には、同一参照
ブロックとの間の相関係数の演算が続行され、さらに
は、同一参照ブロックとの間の相関係数の演算が途中で
中止されることなく最後まで行われた結果得られた相関
係数が前記基準相関係数よりも小さな場合には、その相
関係数を新たな基準相関係数として設定し、次の参照ブ
ロックに移行して新たな相関係数の演算を行う際は、積
算途中の相関係数を逐次この新たに設定した基準相関係
数と比較するようにする、ことを特徴とする。

【００２０】請求項２記載の発明は、請求項１記載の発
明において、前記対応点探索手段は、前回探索時の注目
画素に対応する対応画素の位置を今回探索時の初期探索
位置として設定するものである、ことを特徴とする。

【００２１】

【発明の実施の形態】以下、本発明の実施形態を図に基
づき説明する。但し、図４と同様の構成要素には同一の
符号を付して重複した説明を省略する。図１が図４と異
なる点は、対応点探索手段６が相関係数演算手段１０及
び対応点記憶手段１１を有している点である。

【００２２】次に、上記のように構成される本実施形態
の動作を図２のフローチャートを参照しつつ説明する。
まず、相関係数演算手段１０は、画像Ｓ１側の或る注目
画素の位置Ｐ１に対応する画像Ｓ２側の対応点Ｐ２を探
索するため、前回の探索により求めた対応点の位置Ｓ
(ｉ-1)を初期探索位置Ｓ(ｉ)として設定する(ステップ
１)。但し、ｉは、ｉ=1,2,3…等の整数である。このよ
うに、前回の探索により求めた対応点を初期探索位置と
しているのは、隣接する画素同士の視差データは、通
常、相関性が高いので、今回の探索においても前回探索
時の対応画素付近に対応画素が存在する可能性が高いと
考えられるからである。

【００２３】次いで、相関係数演算手段１０は、この初
期探索位置Ｓ(ｉ)における参照画素を中心として設定さ
れる参照ブロックと、注目画素を中心として設定される
注目ブロックとの間の相関係数を前述した式(２)又は
(３)を用いて演算し、この相関係数を基準相関係数Ｅmi
nとして設定する（ステップ２）。

【００２４】ここで、位置Ｓ(ｉ)を中心として設定され
る参照ブロックとは、位置Ｓ(ｉ)の画素の座標を〔Ｘ，
Ｙ〕と表した場合に、この〔Ｘ，Ｙ〕の画素の他に、例
えば、〔Ｘ＋１，Ｙ〕、〔Ｘ−１，Ｙ〕、〔Ｘ＋２，
Ｙ〕、〔Ｘ−２，Ｙ〕の画素により形成される領域を指
している。注目画素を中心として設定される注目ブロッ
クも同様である。そして、相関係数演算手段１０は、式
(２)又は(３)により、これら二つのブロックの同位置の
画素の特徴量の差分値の二乗、絶対値差分のブロック内
での積算を行う。

【００２５】上記のように基準相関係数Ｅminが設定さ
れた後、相関係数演算手段１０は、参照画素の更新を行
う(ステップ３)。この更新により、例えば、ステップ１
で設定された初期探索位置から走査線Ｓｃ２上で例えば
１画素分だけ右方へ移動させた位置が新たな参照ブロッ
クの中心位置とされる。そして、相関係数演算手段１０
は、この新たな参照画素において、式(２)又は(３)を用
いて相関係数Ｅの積算値の演算を行う(ステップ４)。こ
のステップ４における積算値Ｅの演算は、ステップ２に
おける初期相関係数Ｅminの演算と同様に行われる。

【００２６】相関係数演算手段１０は、画素単位の差分
値の二乗又は差分絶対値の積算を行う毎に、それまでの
積算値Ｅと基準相関係数Ｅminとの間の大小関係を比較
する(ステップ５)。図６の例では、Ｅ＝(Ｓ−Ｐ)2の段
階でＥとＥminとの最初の比較を行い、Ｅ＝(Ｓ−Ｐ)2＋
(Ｓ1−Ｐ1)2の積算段階で２回目の比較を行い、さら
に、Ｅ＝(Ｓ−Ｐ)2＋(Ｓ1−Ｐ1)2＋(Ｓ2−Ｐ2)2の積算
段階で３回目の比較を行うというように、積算途中の相
関係数Ｅを逐次基準相関係数Ｅminと比較する。

【００２７】そして、積算値Ｅが基準相関係数Ｅminよ
り小さな場合には、ブロック内での積算が終了している
か否かを判別し(ステップ６)、終了していなければ積算
を続行する(ステップ４)。また、ステップ６で、積算が
終了していると判別した場合には、この参照画素におけ
る積算値Ｅを新たな基準相関係数Ｅminとして設定する
（ステップ７）。

【００２８】次いで、相関係数演算手段１０は、探索領
域での探索が終了したか否か、すなわち走査線Ｓｃ２上
における全ての参照画素について、その積算値Ｅの演算
を行ったか否かについて判別する（ステップ８）。そし
て、未だ探索が終了していなければ、ステップ３に戻っ
て参照画素を更新する。また、ステップ５で、基準相関
係数Ｅminが積算値Ｅより大きいか又は等しいことを判
別した場合には、直ちにそのブロック内での積算値Ｅの
積算を中止してステップ８に移り、探索領域での探索が
終了したか否かについての判別を行う。これは、積算値
Ｅの値が基準相関係数Ｅmin以上となったことは、もは
やその参照画素が対応画素である可能性が無くなったこ
とを意味するため、それ以上そのブロックでの積算を続
行しても無駄なことが明らかだからである。

【００２９】相関係数演算手段１０は、ステップ８で探
索が終了したことを判別した後、それまで演算した相関
係数の値のうち最小のものを選択し、その時の点Ｐ2
〔Ｘ2,Ｙ2 〕の位置Ｓ(ｉ)を対応画素の位置Ｐ´（ｉ）
に決定する。そして、この対応画素の位置Ｐ´（ｉ）を
対応点記憶手段１１に記憶させる(ステップ９)。この記
憶された位置Ｐ´（ｉ）は、次の注目画素における初期
探索位置に設定されることになる。なお、最小の相関係
数の値は、ステップ７において基準相関係数Ｅminを下
回る積算値Ｅが算出された場合には、常にこの積算値Ｅ
が新たな基準相関係数Ｅminとして設定されていること
から、基準相関係数Ｅminとなる。

【００３０】対応点探索手段６は、このように点Ｐ1
〔Ｘ1,Ｙ1 〕に対応する点Ｐ2 〔Ｘ2,Ｙ2 〕を探索した
後、両点間の視差データＤ（Ｘ2−Ｘ1,0 ）を算出する
(ステップ１０)。対応点探索手段６は、上記のステップ
１〜ステップ１０までの処理を、画像Ｓ1の全ての画素
を注目画素として行う。

【００３１】上述したように、本実施形態の対応点探索
手段６は、或るブロック内で積算値Ｅを演算している途
中で、この積算値Ｅが基準相関係数Ｅmin以上となった
場合には直ちにその時点で参照ブロックでの演算を中止
し、次の参照画素に移行するようにしている。従来は、
積算値Ｅの値如何にかかわらず、参照ブロック内の全て
の画素について積算を行った後に、次の参照画素に移行
するようにしていたが、このように積算を行う過程にお
いて積算値Ｅと基準相関係数Ｅminとの大小関係を判別
する技術を導入することにより、無駄な演算を排除する
ことができ演算時間を短縮することができる。

【００３２】この場合、基準相関係数Ｅminとしては、
できるだけ小さな値、すなわち対応点に係る相関係数の
値であることが、それだけ排除される無駄な演算が多く
なることから好ましくなるが、本実施形態では初期探索
位置を前回探索時の対応点としているので、演算当初か
ら最も小さな値となる可能性が大きな基準相関係数Ｅmi
nを用いることができ、演算時間の短縮についてより適
切な構成となっている。また、本実施形態の構成は、大
容量のメモリ等を必要とするものではなく、ハードウエ
ア上の規模の拡大を伴うことはない。

【００３３】なお、上記実施形態では、位置Ｓ(ｉ)の及
び注目画素を中心として設定されるブロックについて、
位置Ｓ(ｉ)の画素及び注目画素の座標を〔Ｘ，Ｙ〕と表
した場合に、この〔Ｘ，Ｙ〕の画素の他に、例えば、
〔Ｘ＋１，Ｙ〕、〔Ｘ−１，Ｙ〕、〔Ｘ＋２，Ｙ〕、
〔Ｘ−２，Ｙ〕の画素により形成される領域を指してい
ると説明したが、範囲については種々の条件を加味して
自由に設定することができ、また、ブロック内で積算を
行う順番についても自由に設定することが可能である。

【００３４】

【発明の効果】以上のように、本発明によれば、参照画
素を中心とする参照ブロックと注目画素を中心とする注
目ブロックとの間の相関係数を演算する過程において、
この演算途中の相関係数を予め設定してある基準相関係
数と比較し、演算途中の相関係数が基準相関係数よりも
大きな場合には、直ちにその参照ブロックとの間の演算
を中止すると共に次の参照画素に移行して同様に相関係
数の演算を行い、一方、演算途中の相関係数が基準相関
係数よりも小さな場合には、演算を続行すると共に、そ
の参照ブロックとの間の相関係数の演算がそれ以降も途
中で中止されることなく最後まで行われ、かつ、演算の
結果得られた相関係数が基準相関係数よりも小さな場合
には、その相関係数を新たな基準相関係数として設定
し、次の参照ブロックに移行した後は、演算途中の相関
係数をこの新たに設定した基準相関係数と比較する構成
としたので、ハードウエアの規模を拡大することなく、
高速に対応点探索を行うことが可能になる。

【図面の簡単な説明】

【図１】本発明の実施形態の要部の構成を示すブロック
図。

【図２】図１の動作を説明するためのフローチャート
図。

【図３】従来の画像処理装置の構成を示す平面図。

【図４】図３における画像処理回路３の構成を示すブロ
ック図。

【図５】ステレオ画像計測法についての説明図。

【図６】相関係数の具体的な求め方についての説明図。

【符号の説明】

１対象物１２L ，２R 撮像手段３画像処理回路４L ，４R 画像入力手段５L ，５R 特徴量抽出手段６対応点探索手段７距離データ演算手段８対応関係判別手段９対応点補正手段１０相関係数演算手段１１対応点記憶手段

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 2F065 AA04 AA53 BB05 BB24 DD06 FF01 FF05 JJ03 JJ19 JJ26 QQ21 QQ24 QQ32 QQ36 QQ39 QQ41 RR09 UU05 2F112 AC03 AC06 BA05 CA08 CA12 DA02 FA03 FA21 FA36 FA39 FA41 5B057 CC03 DA07 DB03 DC34

Claims

【特許請求の範囲】

【請求項１】予め設定された３次元座標上で所定の位置
関係を有するように設置された複数の撮像手段から対象
物に関する画像情報を入力する画像入力手段と、前記画像入力手段から得られる複数の画像における各特
徴量を抽出する特徴量抽出手段と、前記複数の画像のうちのいずれか一を基準画像とし、こ
の基準画像の注目画素に対応する他の画像の対応画素を
前記特徴量に基づいて探索し、両画素間の視差データを
求める対応点探索手段と、前記対応点探索手段が求めた視差データに基づいて、前
記対象物に関する距離データを演算する距離データ演算
手段と、を備え、前記対応点探索手段は、前記対応画素を探索す
る場合に、前記他の画像に探索領域を設定すると共に、
この探索領域中の一の参照画素を中心とした参照ブロッ
クと、注目画素を中心とした注目ブロックを設定し、こ
の２つのブロック内の対応する位置の画素同士の特徴量
の差に基づき定格値を順次積算して前記参照ブロックと
注目ブロックとの間の相関係数を演算することに基づ
き、前記探索領域中での対応画素の探索を行う、画像処
理装置において、前記対応点探索手段は、前記参照ブロックと前記注目ブロックとの間の相関係数
を演算する過程において、積算途中の相関係数逐次を予
め設定してある基準相関係数と比較し、積算途中の相関
係数が基準相関係数よりも大きな値になった時には、直
ちにその参照ブロックとの間の相関係数のの演算を中止
すると共に次の参照ブロックに移行して同様に相関係数
の演算を行い、一方、積算途中の相関係数が基準相関係
数よりも小さな場合には、同一参照ブロックとの間の相
関係数の演算が続行され、さらには、同一参照ブロック
との間の相関係数の演算が途中で中止されることなく最
後まで行われた結果得られた相関係数が前記基準相関係
数よりも小さな場合には、その相関係数を新たな基準相
関係数として設定し、次の参照ブロックに移行して新た
な相関係数の演算を行う際は、積算途中の相関係数を逐
次この新たに設定した基準相関係数と比較するようにす
る、ことを特徴とする画像処理装置。
【請求項２】前記対応点探索手段は、前回探索時の注目画素に対応する対応画素の位置を今回
探索時の初期探索位置として設定するものである、ことを特徴とする請求項１記載の画像処理装置