JPH11183128A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】画像の奥行座標を高速且つ高精度で求めるこ
と。 【解決手段】カメラ１、２で２つの画像を撮像する。こ
の画像からエッジにより線分を抽出する。このとき、所
定ライン毎に１ラインを空白ラインとすることで、線分
を短く区分する。この線分を抽出して、始点、終点座標
を求める。カメラの離間方向（ｘ軸方向）に垂直な方向
（ｙ軸方向）の座標偏差が所定範囲に入っている組み合
わせを抽出する。さらに、同一線分の始点と終点とを１
組として、始点と終点とが共に、上記のｙ座標偏差が所
定範囲に入っている組を対応する線分とする。このよう
にして、複数の画面上において、各線分の各始点、各終
点との対応関係が得られる。対応関係が得られれば、そ
の対応点のｘ軸方向の偏差が演算される。この偏差を用
いて、その点の奥行座標ｚが求められる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数のカメラにより環
境を撮像して得られた画像から画像上の各点の奥行座標
（撮像位置から画像上の各点に対応する現実の位置まで
の距離）を演算する装置に関し、特に、３次元画像を得
る装置に応用することができる。

【０００２】

【従来技術】従来、撮像した画像面上の各点の奥行座標
を求める方法として、複数のカメラで物体を撮像して得
られる複数の画像を用いて奥行座標を求めるステレオ透
視法がある。この方法は、複数の画面における対応点の
決定精度と決定速度により、奥行座標の精度と決定速度
が決められる。対応点を決定する方法として、複数のグ
レー画像において、ブロック相関をとる方法や、複数の
エッジ画像において、エッジの対応点を決定する方法が
一般的に採用されている。

【０００３】

【発明の解決しようとする課題】しかし、ブロック相関
を用いる方法は、２つの画像における輝度の相違を補正
する必要があること、ブロックをある程度大きくとらな
いと、誤った対応点を抽出してしまうが、その反対にブ
ロックを大きくとり過ぎると対応点の位置精度が得られ
なくなるという問題がある。又、エッジ画像を用いる方
法は、明確なエッジが得られていないと対応点が抽出で
きず、このため、抽出できる対応点の数が少ないという
問題がある。

【０００４】本発明は、上記の課題を解決するために成
されたものであり、その目的は、エッジとして抽出され
る領域を多くして、対応点抽出数を増加させることであ
る。又、対応点抽出数を増加させて、候補数を増加させ
た上で、正確な対応点の抽出を可能とすることを目的と
する。さらに、他の目的は、対応点を正確且つ高速に抽
出することである。

【０００５】

【課題を解決するための手段】本発明は、複数のカメラ
から映像信号を入力して、それぞれのカメラの出力から
得られる各画像を対比させることで、画像上の各点の奥
行座標を演算する画像処理装置において、各カメラから
の映像信号を入力して、各画素の濃淡レベルのグラジェ
ントから決定されるエッジ強度及びエッジ角度を求め、
各画素のエッジ強度及びエッジ角度から稜線画素を決定
し、所定の複数行毎に少なくとも１行の割合で稜線画素
の表示が消去された修正稜線データを求め、その修正稜
線データに基づいて、線分毎にラベリングを行い、各線
分毎に始点座標及び終点座標を求める線分抽出装置と、
線分抽出装置により抽出された各線分の始点座標及び終
点座標を記憶する線分情報メモリと、各画像における各
線分の始点座標及び終点座標を対比させて、各画像で対
応する始点又は終点の複数のカメラの離間方向に沿った
位置偏差を演算し、この位置偏差に応じて画像上に各点
の奥行座標を演算する奥行演算装置とを備えたことを特
徴とする。

【０００６】

【発明の作用及び効果】上記の複数の画像において、抽
出された線分の始点又は終点を複数の画像間で対比させ
る１つの方法は、カメラの離間方向（カメラを水平に設
置すれば、映像の水平走査線方向（ｘ軸方向））に垂直
な方向（カメラを水平に設置すれば、垂直操作線方向
（ｙ軸方向））の座標偏差が所定範囲に入っている組み
合わせを抽出する。さらに、同一線分の始点と終点とを
１組として、始点と終点とが共に、上記のｙ座標偏差が
所定範囲に入っている組を対応する線分とする。この
時、その線分の複数画面におけるエッジ角度の偏差が所
定値に入っていることを対応条件に付加しても良い。
又、この抽出された対応点が複数存在する場合には、ｘ
座標の偏差が最も小さいものを対応点としたり、ｘ座標
偏差が、画像において、カメラからの最近接点が既知で
ある場合が多いので、この最近接距離から決定される最
大偏差より小さい偏差となる点を対応点として選択すれ
ば良い。このようにして、複数の画面上において、各線
分の各始点、各終点との対応関係が得られる。対応関係
が得られれば、その対応点のｘ軸方向の偏差が演算され
る。この偏差を用いて、その点の奥行座標ｚが求められ
る。

【０００７】このように、線分を抽出して、その始点と
終点とを対比させているため、線分の対応関係が明確に
把握でき、対応された始点と終点のｘ方向の偏差からそ
れらの点の奥行座標ｚを求めることができるので、対応
関係を得るための演算が簡単となるため高速で奥行座標
を得ることができる。又、複数の画像において、エッジ
から線分を検出し、さらに、各線分の始点、終点を検出
し、始点と終点の対応関係を検出しているので、対応点
の抽出の失敗の確率が低く、しかも、その対応点のｘ軸
方向の偏差を精度良く得ることができるので、各点の奥
行座標を精度良く求めることができる。

【０００８】尚、カメラの離間方向とは、複数のカメラ
の光軸が形成する平面上であって、光軸に垂直な方向を
言う。画像上その方向をｘ軸、ｘ軸に垂直な方向をｙ軸
とし、光軸方向、即ち、奥行をｚ軸としている。カメラ
を水平に設置して、水平面上に離間して２つのカメラを
設置した場合には、画像上の水平走査線方向がｘ軸、垂
直走査線方向がｙ軸となる。しかし、カメラを水平に設
置しない場合や、水平面上に設置しない場合も考えられ
る。それらの場合にはカメラの姿勢と配置関係により、
上述したように、画像上の所定方向にｘ軸とｙ軸が設定
される。

【０００９】又、複数の画像において、対応点を検出す
る方法は、上記の方法に加えて、線分の始点、又は、終
点を起点とするｘ軸方向の複数画素分の濃淡画像に対し
て相関を求めて、その相関値から最も一致する対応関係
を検出するようにしても良い。又、複数の画像で得られ
た対応する線分間のｘ軸方向の濃淡画像に対して相関を
求めて、その相関値から最も一致する対応関係を検出す
るようにしても良い。

【００１０】

【発明の実施の形態】本発明の実施例を図１に示す。図
１において、環境がカメラ１により撮像され、カメラ１
から出力される映像信号は線分抽出装置Ａ１に入力す
る。線分抽出装置Ａ１は、Ａ／Ｄ変換器１２、フィルタ
処理回路１３、稜線抽出回路１４、ラベリング装置１
５、ラベル画像メモリ１６、線分情報メモリ１７、デー
タ修正装置１８とで構成されている。Ａ／Ｄ変換器１２
によりデジタル画像に変換される。そのデジタル画像は
フィルタ処理（例えばソーベルフィルタ）されて、エッ
ジ角度データとエッジ強度データが演算され、このエッ
ジ角度データとエッジ強度データが稜線抽出回路１４に
入力される。稜線抽出回路１４は、各画素が稜線上の画
素か否かを決定する回路である。稜線抽出回路１４から
出力される稜線データは各画素毎に稜線であることを示
す稜線フラグとエッジ角度データとを含むデータであ
る。その稜線データは、水平同期信号と画素同期信号と
に同期して、データ修正装置１８に入力する。データ修
正装置１８では、所定の複数行毎に少なくとも１行分の
稜線データが削除された修正稜線データがラベリング装
置１５に入力する。ラベリング装置１５においては、各
画素毎にその画素が存在する線分のラベル値及び各線分
の始点画素及び終点画素の画素アドレス（水平走査線方
向をｘ軸、垂直走査線方向をｙ軸として、（ｘ座標、ｙ
座標））が決定される。その結果は、それぞれ、ラベル
画像メモリ１６と線分情報メモリ１７とに記憶される。
このような線分抽出装置Ａ２が他のカメラ２に対しても
設けられている。カメラ１とカメラ２とにより環境がス
テレオ撮影される。そして、線分抽出装置Ａ１とＡ２と
により抽出されたそれぞれの画像における線分の始点画
素及び終点画素の画素アドレスに基づいて、奥行演算装
置２０により画像上の各点における奥行座標ｚ（カメラ
の光軸方向にｚ軸をとり、カメラの位置から実像点まで
の距離）が演算される。

【００１１】図２は、稜線抽出回路１４の構成を示して
いる。稜線抽出回路１４は、エッジ角度データとエッジ
強度データを１組の入力データとしている。データを画
像の１ライン分だけ遅延させるラインディレー２１、２
２が２段直列に並べられている。そして、この構成によ
り、現ラインのデータ、１ライン前のデータと２ライン
前のデータの合わせて３ライン分のエッジ角度データと
エッジ強度データとを１度にシフトレジスタ回路２３に
出力できる。

【００１２】シフトレジスタ回路２３は、３ライン分の
入力データを順次入力して、画面上３×３のマトリック
スに対応した画素のエッジ角度データとエッジ強度デー
タとを記憶できるように３×３のマトリックスに配列さ
れた９個のレジスタＲ_1,1,Ｒ_1,2 …Ｒ_3,3 で構成されて
いる。各レジスタのビット数はエッジ角度データとエッ
ジ強度データとを記憶できるビット数である。注目画素
のデータは中央のレジスタＲ_2,2 に記憶される。

【００１３】フラグ設定回路２４は、シフトレジスタ回
路２３に設定されている３×３のマトリックスデータか
ら、稜線フラグとエッジ強度フラグとを設定する回路で
ある。注目画素とその周辺の８画素のデータから、注目
画素が稜線画素か否か、注目画素のエッジ強度がしきい
値以上か否かを判定し、それぞれ、判定結果に応じて、
稜線フラグとエッジ強度フラグをセット、又は、リセッ
トする。稜線フラグは、注目画素のエッジ角度に垂直な
方向に、その注目画素に隣接する２つの周辺画素のエッ
ジ強度よりも注目画素のエッジ強度の方が大きく、かつ
そのエッジ強度がしきい値Ｖth1 よりも大きい場合にセ
ットされる。以下、稜線フラグが設定されている画素を
稜線画素という。また、エッジ強度フラグは、注目画素
のエッジ強度があるしきい値Ｖth2 よりも大きければセ
ットされる。この時、しきい値Ｖth2 はしきい値Ｖth1
より大きな値である。

【００１４】この様にエッジ強度に２つのしきい値を持
たせた場合の効果は、稜線フラグはなるべく小さなエッ
ジ強度でも稜線画素としてひろいあげることにより、線
分をとぎれずにつながるようにできることと、一方、小
さなエッジ強度だけで線分が構成されている場合、即
ち、1 本の線分のすべての稜線画素にエッジ強度フラグ
がたっていない場合、線分としての信頼度が低いとして
後の認識処理で削除することができ、１本の線分におい
て、少なくとも１つの稜線画素にエッジ強度フラグが立
っている場合には、この線分を信頼度の高い線分とする
ことができる。

【００１５】フラグ設定回路２４は、フィルタ処理回路
１３から１画素毎のデータの入力に同期して、注目画素
に関して、稜線フラグＦ１、エッジ強度フラグＦ２、エ
ッジ角度データＧから成る稜線データをデータ修正装置
１８に出力する。

【００１６】図３は、データ修正装置１８の構成を示し
ている。カウンタ回路１８１は水平同期信号を入力する
毎に数値を更新する回路であり、カウンタ回路１８１の
記憶値により現在の行番号が分かる。その行番号は消去
行指定回路１８２に入力している。この消去行指定回路
１８２は、例えば、カウンタ回路１８１の下位４桁目の
信号の立上がりを検出する回路で構成することで、８行
毎に消去行指定信号をデータ変換回路１８３に出力する
ことができる。このデータ変換回路１８３は稜線抽出回
路１４から稜線データが入力されており、この消去行指
定信号が入力される毎に、その行の稜線データの稜線フ
ラグを０（１を稜線上の画素、０を稜線外の画素と定義
する）としてラベリング装置１５に出力する。このよう
にして、８行毎に１行分だけの稜線データを削除するこ
とができる。削除行は少なくとも１行あれば十分であ
り、複数行であっても良い。又、何行毎に削除行を設け
るかは任意である。

【００１７】図４は、ラベリング装置１５の構成を示し
ている。ラベリング装置１５は１ライン分だけデータを
遅延させるラインディレー３１と２段、５個のシフトレ
ジスタＳ_1,1,Ｓ_1,2,Ｓ_1,3,Ｓ_2,1,Ｓ_2,2 から成るシフト
レジスタ回路３２と、画面上の各画素毎にラベル値を記
憶するラベル画像メモリ３３と、周辺画素のラベル値を
参照又は記憶するシフトレジスタ回路３４とを有してい
る。

【００１８】入力データは、稜線フラグＦ１とエッジ強
度フラグＦ２とエッジ角度データＧを１組とするデータ
修正装置１８から出力された修正稜線データである。１
段目のシフトレジスタＳ_1,1,Ｓ_1,2,Ｓ_1,3 には、現在ラ
インのデータが入力され、２段目のシフトレジスタＳ
_2,1,Ｓ_2,2 には１ライン分だけ遅延したデータが入力さ
れる。このシフトレジスタ回路３２と画面上の画素との
対応関係は、図５に示すようになる。画素の走査方向は
画面上左から右、上から下である。ウインドウ領域Ｔの
各画素のデータとシフトレジスタ回路３２との対応関係
が図４に示されている。

【００１９】シフトレジスタ回路３４は現行画素に対し
てＷ_1,1 〜Ｗ_1,4 、前行画素に対してＷ_2,1 〜Ｗ_2,4 が
与えられている。シフトレジスタ回路３４はシフトレジ
スタ回路３２の各画素に対応するラベル値を保持するた
めのものであるから、原理上は前行に対しては２つ、現
行に対しては３つで良い。同数設けたのは、同列画素の
ラベル値をラベル画像メモリ３３に同時に記憶するため
のであり、余分な１個は、データの処理時間をかせぐた
めのバッファである。又、前行画素に対応するシフトレ
ジスタＷ_2,1 〜Ｗ_2,4 はラベル画像メモリ３３から読み
出された値が記憶され、又、新たなラベル値が設定され
る。現行画素に対応するシフトレジスタＷ_1,1 〜Ｗ_1,4
は新たに決定されたラベル値が設定される。これらのシ
フトレジスタ回路３４に設定された各ラベル値は、ラベ
ル画像メモリ３３に順次記憶される。上記のようにシフ
トレジスタ回路３２、３４のシフト動作、データ設定
は、制御回路３６から出力される同期信号に基づいて、
画素列に同期して実行される。

【００２０】ラベリング装置１５のラベル値付与回路３
７は、シフトレジスタ回路３２、３４の値を入力して、
決定されたラベル値をシフトレジスタ回路３４に設定す
る。図５に示すように、注目画素とその周辺画素４点の
合わせて５組のデータからラベリング処理を行う。ラベ
リング処理は注目画素とその周辺画素４点の稜線フラグ
Ｆ１とエッジ強度フラグＦ２とエッジ角度Ｇの他に、既
に付けられたラベル値が必要となるために、ラベル値を
記憶しているラベル画像メモリ３３から稜線フラグ等の
データの入力とタイミングを合わせてラベル値を読み出
し、ラベリング処理に利用する。

【００２１】ラベル値付与回路３７が実行するラベリン
グ処理の基本アルゴリズムを以下に述べる。注目画素が
稜線フラグの立っていない稜線画素ではない場合には何
もせずに次の注目画素の処理に移る。注目画素が稜線画
素である場合には、以下の場合に分けて各処理を行う。

【００２２】１）注目画素にまだラベルがついていない
場合で、且つ、４つの周辺画素が稜線フラグの立ってい
る稜線画素でない場合は注目画素は孤立点とし、ラベル
値を与えない。

【００２３】２）注目画素にまだラベルがついていない
場合で、且つ、４つの周辺画素のいずれか１つ以上が稜
線画素で、且つ、周辺の稜線画素のいずれもラベルがつ
いていない場合には、注目画素を始点とし、新しいラベ
ルを注目画素および周辺画素の稜線画素に同じラベルを
つける。この時、周辺の稜線画素を調べる際に、注目画
素のエッジ角度に対し、周辺の稜線画素のエッジ角度と
の差がある範囲内に在るかどうかを判定し、同一線分か
否かを判断する処理を付加する。この処理は特になくと
も良い。

【００２４】３）注目画素にまだラベルがついていない
場合で、且つ、４つの周辺画素のいずれか１つ以上が稜
線画素で、且つ、その稜線画素のいずれかにラベルが既
についている場合には注目画素および周辺の稜線画素で
ラベルのついていない稜線画素に既についているラベル
と同じラベル値を付ける。

【００２５】４）注目画素に既にラベルがついている場
合で、且つ、４つの周辺画素のいずれも稜線画素でない
場合には線分の終点を判定する。

【００２６】５）注目画素に既にラベルがついている場
合で、且つ、４つの周辺画素のいずれか１つ以上がラベ
ルのついていない稜線画素の場合、同じラベルを稜線画
素に付ける。

【００２７】尚、上記の２）の処理において始点と判定
された画素のアドレス、４）の処理において終点と判定
された画素のアドレスは、それぞれ、線分の始点画素ア
ドレス、終点画素アドレスとして線分情報メモリ３５に
記憶される。又、この線分情報メモリ３５には始点、終
点のエッジ角度も記憶される。又、２）の処理では、始
点の判断がされる訳で、その場合には、新たな線分の始
まりである。よって、新たな始点が検出される毎に、カ
ンウタの値を１だけ更新たな線分のラベル値を付与する
ことができる。

【００２８】以上の基本アルゴリズムをラベル値付与回
路３７のハードウェアで実現することにより、カメラか
らの映像信号入力のタイミングクロックに同期してラベ
リング処理が実施できるため、カメラからの映像信号の
入力からラベリング処理までパイプライン化が可能とな
り、入力からラベリング処理終了まで画像データ数ライ
ンの遅延で実現できる。これにより、自動車等のリアル
タイム画像処理用途に向いたラベリング処理が実現でき
る。

【００２９】上記の装置が、本方式のラベリング処理に
おいては、２ライン分の画像データを入力し、これに基
づき線分抽出をするアルゴリズムである。このため、右
下がりの線分については特に問題は発生しないが右上が
り（特に傾きの小さな右上がり）の線については同一線
分が分断されてしまう問題を有する。そこで、右上がり
の線分が分断された場合には、本来同じラベルがつかな
ければいけない線分が別のラベルがついて分断されるの
で、この２つの線分は同じ線分ということを示すため
に、後で付けられたラベルのラベル情報の中に連続ポイ
ンタとして、別のラベル値を記憶させることで擬似的に
同一ラベルとして扱うことができる。

【００３０】又、ラベル値付与回路３７は、注目画素に
エッジ強度フラグが立っている場合には、線分情報メモ
リ３５のその注目画素のラベル値に対応した領域に信頼
度フラグを立てるようにしている。１画面のラベリング
が終了した時点で、信頼度フラグが立っている線分は、
その線分上の少なくとも１つの画素はエッジ強度がしき
い値Ｖth2 以上であることを意味しており、その線分
は、十分に線分として用いることができることを意味し
ている。又、逆に、信頼度フラグが立っていない線分
は、エッジ強度が弱く、線分として採用できないことを
意味しており、後処理において、この情報を用いること
ができる。

【００３１】上記のデータ修正装置１８により８行目毎
の削除行において、稜線フラグが０とされるので、ラベ
リング装置１５による線分毎のラベリングの結果である
ラベル画像メモリ１６の記憶内容は、図６に示すように
なる。図６の数値は連続線分毎に付されたラベル番号で
ある。図６に示すように、消去行（第８行）で区画され
た各分割領域毎に線分のラベリングが行われる。よっ
て、道路白線のような場合には１対の平行稜線が検出さ
れる。この平行稜線の認識は、２つの線分のラベル番号
が近いこと、２つの線分の始点、終点が消去行の隣接行
に存在するか、その隣接行に接近して存在するか、２つ
の線分のエッジ角度が平行か否か等を総合的に考慮して
判断することができる。

【００３２】図６において、白線の一対の稜線線分は、
ラベル１とラベル２の組、ラベル５とラベル６の組であ
る。又、線分情報メモリ１７の記憶内容を表示した図７
に示すように、ラベル１、ラベル２の線分の始点座標
（ｘ_s , ｙ_s ）は、それぞれ、（５，１），（８，１）
であり、終点座標（ｘ_e , ｙ_e ）は、それぞれ、（７，
７），（１０，７）である。線分情報には始点、終点の
エッジ角度（ｆ_s , ｆ_e）も含まれるので、上記した１
対の線分が平行か否か、即ち、認識対象物の白線か否か
が判定できる。

【００３３】又、カメラ２により撮像され、線分抽出装
置Ａ２により処理されて得られた線分の始点座標
（Ｘ_s , Ｙ_s ）、終点座標（Ｘ_e , Ｙ_e ）、エッジ角度
（Ｆ_s , Ｆ_e ）は、図８に示すように得られる。座標表
示において、小文字はカメラ１によって得られた第１画
像、大文字はカメラ２によって得られた第２画像での値
を示している。図７と図８に示す２つの画像から得られ
た線分情報に基づいて、奥行演算装置２０では、次のよ
うにして奥行座標ｚ（撮像点から画面上の点に対応する
現実の位置までの距離ｚ）が演算される。図９に示すよ
うに、物体までの距離をｚとし、画面のｘ軸方向の１ラ
インの画素数をＮ、画面の１ラインに対応するカメラの
視野角を２θとする。現実の水平方向の距離２ｚtan θ
が１ラインに相当する。よって、２ｚtan θ／Ｎが１画
素当たりの水平方向の実際の距離となる。第１画像と第
２画像での対応点のＰ１とＰ２とのずれ量をΔｘ（画素
数）とする。このずれ量Δｘに対応する現実の水平方向
の長さが、カメラ１とカメラ２との現実の距離Ｌに等し
い。

【００３４】よって、

【数１】 Ｌ＝２ｚΔｘtan θ／Ｎ …（１） となる。よって、対象点の奥行座標ｚは、

【数２】 ｚ＝ＬＮ／２Δｘtan θ …（２） となる。このように、２つの画像上の対応点の画面上の
ずれ量Δｘを求めれば、その点の奥行座標ｚを求めるこ
とができる。

【００３５】ずれ量Δｘは次のように求めることができ
る。奥行演算装置２０はコンピュータシステムで構成さ
れており、図１０はＣＰＵの処理手順を示したフローチ
ャートである。先ず、ステップ１００において、第１画
像における線分のラベル番号Ａが１に初期設定される。
次に、ステップ１０２において、第１画像において、ラ
ベル番号Ａの線分情報が抽出される。その線分情報は、
始点座標（ｘ_As，ｙ_As）、終点座標（ｘ_Ae，ｙ_Ae）、始
点と終点のエッジ角度（ｆ_As，ｆ_Ae）である。

【００３６】次に、ステップ１０４において、抽出され
たラベル番号Ａの始点座標（ｘ_As，ｙ_As）と終点座標
（ｘ_Ae，ｙ_Ae）に対して、第２画像において、始点と終
点に関して共にそのｙ座標が±１以内の偏差を有してい
る線分が抽出される。図７、図８の例では、Ａ＝１の線
分の始点のｙ座標は１、終点のｙ座標は７であるので、
その条件を満たす第２画像における線分はラベル１、
２、３、４となる。

【００３７】次に、ステップ１０４で選択された第２画
像の候補線分のなかから、第１画像のラベル値Ａの線分
のエッジ角度（ｆ_As，ｆ_Ae）に対する線分のエッジ角度
（Ｆ_Ms，Ｆ_Me）の偏差が所定値（例えば、±２１度）以
下の線分を抽出する。第１が像のラベル値１の線分に対
して、第２画像では、図８からラベル値１、３の線分が
対応するものとして抽出される。

【００３８】次に、ステップ１０８において、ステップ
１０６までで絞り込まれた第２画像の候補線分の中か
ら、始点及び終点のＸ座標Ｘ_Ms，Ｘ_Meが、第１画像のラ
ベル値Ａの線分の始点及び終点のｘ座標ｘ_As，ｘ_Aeに対
して所定値以下の偏差を有するものが、さらに、候補と
して決定される。この時の所定値Δｘ_max は、（２）式
を変形した次式により決定される。

【００３９】

【数３】 Δｘ_max ＝ＬＮ／２ｚ_min tan θ …（３） ここで、カメラ１、２間の原点間距離Ｌ、画像上の１ラ
インの画素数Ｎ、カメラの視野角２θと、画像における
カメラからの最近接距離ｚ_min が既知であるとする。こ
れらの値により、画像上の全ての点の奥行座標ｚは最近
接距離ｚ_min よりも大きいので、対応点のｘ軸方向のず
れ量Δｘは、（３）式で決定されるΔｘ_max よりも大き
くはならない。カメラ２がカメラ１に対して、ｘ軸の正
の方向にＬだけ離間して設けられている場合には、第２
画像は第１画像と対比して対応点がｘ軸の負の方向に変
位している。よって、第２画像の候補線分の中から、０
≦ｘ_As−Ｘ_Ms≦Δｘ_max 且つ、０≦ｘ_Ae−Ｘ_Me≦Δｘ
_max を満たす線分が抽出される。例えば、Ｎ＝５００、
Ｌ＝０．２ｍ、θ＝１５．４°、ｚ_min ＝５ｍとすれ
ば、Δｘ_max ＝３７となる。図８では、候補線分は１、
３であるが、上記の条件を満たす線分は１となる。尚、
複数の線分が対応すれば、偏差の小さい方を最終の対応
線分として抽出する。このようにして、第１画像のラベ
ル値Ａに対応する第２画像の線分が抽出されたことにな
る。

【００４０】次に、ステップ１１０において、ラベル値
Ａが最終か否かが判定され、最終でなければ、ステップ
１１２において、ラベル値Ａが１だけ加算されて、ステ
ップ１０２に戻り、第１画像の次の線分に対応する第２
画像の線分に抽出処理が実行される。

【００４１】全ての抽出線分に対して対応関係が得られ
れば、ステップ１１４において、各対応線分の始点、終
点毎に、ｘ座標の偏差Δｘが演算される。そして、
（２）式により、その点の奥行座標ｚが演算される。こ
のようにして、第１画像において、各線分の始点、終点
の各点における奥行座標ｚを求めることができる。これ
により、この始点と、終点の（ｘ，ｙ，ｚ）の立体座標
が決定されたことになるので、そのことから、立体画像
を得ることができる。

【００４２】上記のように、本発明では、画像におい
て、線分はｙ軸方向に強制的に分断されているので、線
分がむやみに長くなることがなく、略同程度の長さの線
分となる結果、始点、終点でのｘ座標のずれ量Δｘがほ
ぼ同一となるため、対応点探索が容易となる。

【００４３】上記の実施例に加えて、線分抽出装置Ａ
１、Ａ２にＡ／Ｄ変換器１２の出力する濃淡画像を記憶
するフレームメモリ１９を設けて、１フレームのデータ
を蓄積するようにしても良い。そして、２つの画像にお
いて、対応点を検出する場合に、上記のステップ１０６
までの処理により対応線分を抽出した後、線分の始点、
又は、終点を起点とするｘ軸方向の複数画素分の濃淡画
像に対して相関を求めて、その相関値から最も一致する
対応関係を検出するようにしても良い。又、２つの画像
で得られた対応する線分間のｘ軸方向の濃淡画像に対し
て相関を求めて、その相関値から最も一致する対応関係
を検出するようにしても良い。

【図面の簡単な説明】

【図１】本発明の実施例装置の構成を示したブロック
図。

【図２】実施例装置の稜線抽出回路の構成を示したブロ
ック図。

【図３】実施例装置のデータ修正装置の構成を示したブ
ロック図。

【図４】実施例装置のラベリング装置の構成を示したブ
ロック図。

【図５】画面上の画素とラベリング処理画素との対応関
係を示した説明図。

【図６】ラベリングの結果を示した説明図。

【図７】第１画像のラベリングされた線分の線分情報を
示した説明図。

【図８】第２画像のラベリングされた線分の線分情報を
示した説明図。

【図９】２つの画像の対応点から奥行座標を演算する方
法を示した説明図。

【図１０】奥行座標演算装置の有するＣＰＵの処理手順
を示したフローチャート。

【符号の説明】

１，２…カメラ Ａ１，Ａ２…線分抽出装置 １５…ラベリング装置 １８…データ修正装置 ３１…ラインディレー ３２、３４…シフトレジスタ回路 ３３…ラベル画像メモリ ３５…線分情報メモリ ３７…ラベル値付与回路 ２０…奥行座標演算装置

Claims (1)

【特許請求の範囲】
1. 【請求項１】複数のカメラから映像信号を入力して、そ
   れぞれのカメラの出力から得られる各画像を対比させる
   ことで、画像上の各点の奥行座標を演算する画像処理装
   置において、 各カメラからの映像信号を入力して、各画素の濃淡レベ
   ルのグラジェントから決定されるエッジ強度及びエッジ
   角度を求め、各画素のエッジ強度及びエッジ角度から稜
   線画素を決定し、所定の複数行毎に少なくとも１行の割
   合で稜線画素の表示が消去された修正稜線データを求
   め、その修正稜線データに基づいて、線分毎にラベリン
   グを行い、各線分毎に始点座標及び終点座標を求める線
   分抽出装置と、 前記線分抽出装置により抽出された各線分の前記始点座
   標及び前記終点座標を記憶する線分情報メモリと、 各画像における各線分の前記始点座標及び前記終点座標
   を対比させて、各画像で対応する始点又は終点の前記複
   数のカメラの離間方向に沿った位置偏差を演算し、この
   位置偏差に応じて画像上の各点の奥行座標を演算する奥
   行演算装置とを備えたことを特徴とする画像処理装置。