JPH06335004A

JPH06335004A - 車両周辺監視装置

Info

Publication number: JPH06335004A
Application number: JP5118057A
Authority: JP
Inventors: Naoto Ishikawa; 直人石川; Kazuyuki Sasaki; 一幸佐々木
Original assignee: Yazaki Corp
Current assignee: Yazaki Corp
Priority date: 1993-05-20
Filing date: 1993-05-20
Publication date: 1994-12-02

Abstract

(57)【要約】【目的】本発明は、検査路面および物体の反射率に影
響されずに確実に障害物を検知できるように改良した車
両周辺監視装置を提供することを目的とする。【構成】パターン光投光器３が、レーザ光入射に対し
投影面に正方格子状に輝点マトリクスを投影する。撮像
機４がこの輝点マトリクスの輝点パターンを撮像する。
データ処理部１０が撮像機から得られる画像より、隣接
画素の輝度値に基づいて輝点候補を抽出し、更に水垂方
向の隣接画素の輝度値に基づいて輝点でない候補を除去
する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は自動車などの車両の周辺
を監視して車両運転におけるドライバーの安全確認を支
援するのに有効に適用される車両周辺監視装置に関する
ものである。

【０００２】

【従来の技術】従来の車両周辺監視装置としては、パタ
ーン光投光器によって格子状の輝点パターンを路面に投
影し、平坦路面に投影された輝点パターンを撮像機で撮
像して参照データを作成し、検査路面に投影された輝点
パターンと対比することによって物体や溝あるいは人等
の存在を検知するようにしていた。

【０００３】すなわち、検査路面に投影された輝点パタ
ーンを撮像した画像データより得られる輝度が或る一定
値以上であれば輝点であるとして参照データと対比する
ようにしていた。

【０００４】

【発明が解決しようとする課題】前述したように、従来
の車両周辺監視装置においては、検査路面に投影された
輝点パターンより輝点を抽出する方法は、輝点パターン
で撮像した画像データより得られる輝度が或る一定値以
上であれば輝点であるとして抽出していた。

【０００５】このため、輝点パターンが投影される検査
路面または検査路面上の物体の反射率が通常の場合は、
図２７（Ａ）に示すように、輝点の輝度は輝度しきい値
より大となって正常に輝点を抽出できる。しかし、図２
７（Ｂ）に示すように、検査路面上の物体が白い箱であ
る場合は、箱の部分も輝度しきい値を越えて輝点である
として抽出される。

【０００６】また、図２７（Ｃ）に示すように、検査路
面がぬれた路面で光の反射率が低い場合は、輝点も輝度
しきい値以下となって抽出されなくなる。本発明は検査
路面および物体の反射率に影響されずに確実に輝点を抽
出できるよう改良した車両周辺監視装置を提供すること
を目的とする。

【０００７】

【課題を解決するための手段】上記課題を解決するため
本発明により成された車両周辺監視装置は、レーザ光入
射により監視領域に輝点パターンを投影するパターン光
投光器と、該輝点パターンを撮像する撮像機と、該撮像
機から得られる画像を処理して障害物や溝あるいは人等
の存在を検知するデータ処理部とを備えることを特徴と
している。

【０００８】前記データ処理部は、平坦路面に投影され
た輝点パターンを撮像した前記撮像機からの画像信号に
よる画素データから輝点パターンを抽出して各輝点座標
を含む参照データを作成する参照データ作成手段と、検
査路面に投影された輝点パターンを撮像した前記撮像機
からの画像信号による画素データの隣接画素の輝度値に
基づいて輝点候補を抽出する輝点スポット抽出手段と、
前記輝点スポット抽出手段によって抽出された輝点候補
より輝点でない候補を除去する輝点チェック手段と、前
記輝点スポット抽出手段で抽出され前記輝点チェック手
段で除去された残りの輝点位置より障害物や溝あるいは
人等の存在を検知する検知手段とを有することを特徴と
している。

【０００９】

【作用】上記構成において、パターン光投光器は、レー
ザ光入射に対し投影面（実施例では監視領域としての地
面を示す）に正方格子状に輝点マトリクスを投影する。
参照データ作成手段は平坦路面に投影された輝点パター
ンを撮像した画像信号の画素データから輝点パターンを
抽出して各輝点座標を含む参照データを作成する。

【００１０】輝点スポット抽出手段は検査路面に投影さ
れた輝点パターンを撮像した撮像機からの画像信号によ
る画素データの隣接する輝度値の差に基づいて輝点候補
を抽出する。輝点チェック手段は前記輝点スポット抽出
手段で抽出された輝点候補より輝点でない候補を除去す
る。

【００１１】検知手段では輝点でない候補が除去され、
残った輝点位置より障害物や溝あるいは人等の存在を検
知する。

【００１２】

【実施例】以下、本発明の実施例を図面とともに説明す
る。図１は本発明による車両周辺監視装置の一実施例を
示す図であり、同図において、１はレーザ光源、２はレ
ーザ光源１を駆動するレーザ光源駆動装置、３はレーザ
光源１からレーザ光１ａを入力し、この入力したレーザ
光１ａにより監視領域に輝点マトリクスを投影するパタ
ーン光投光素子、４は輝点マトリクスを撮影する撮像機
としてのＣＣＤカメラ、５はＣＣＤカメラ４から得られ
る映像信号を一時的に蓄えるフレームメモリ、６は予め
定めたプログラムに従って動作するコンピュータによっ
て構成されるデータ処理部、７は障害物等がない平坦な
地面の場合の画像データを参照データとして予め記憶し
た参照データ記憶部、８はハンドルの操舵角度を検出す
る舵角検出器、９は警報音を発するブザー、１０はディ
スプレイ装置である。

【００１３】上記パターン光投光素子３としては、図２
（ａ）に示すようなファイバグレイティング（ＦＧ）１
３や、図２（ｂ）に示すようなマルチビームプロジェク
タ（ＭＢＰ）２３が適用される。図２（ａ）のＦＧ１３
は、直径が数十μｍ、長さ１０ｍｍの光ファイバを１０
０本程度シート状に並べそれを２枚直交して重ね合わせ
たものである。このＦＧ１３にレーザ光源１が発生する
レーザ光１ａを入射すると、レーザ光は個々の光ファイ
バの焦点で集光した後、球面波となり干渉しつつ広がっ
て行き、その結果、投影面には正方格子状に輝点マトリ
クス１４が投影される。

【００１４】図２（ｂ）のＭＢＰ２３は、薄い透明なプ
レートにマイクロレンズを多数集積したものであり、レ
ーザ光源１から入射されたレーザ光１ａはＭＢＰ２３に
より多重ビームとなり、投影面に正方格子状に輝点マト
リクス１４が投影される。以上の構成により、パターン
光投光素子３（ＦＧ１３またはＭＢＰ２３）により監視
領域に投影された輝点マトリクス１４がＣＣＤカメラ４
によって撮像され、ＣＣＤカメラ４から得られる映像信
号はフレームメモリ５に一時的に蓄えられた後、データ
処理部６に取り込まれる。データ処理部６は、フレーム
メモリ５から得られる画像データと、参照データ記憶部
７に予め記憶された参照データとを比較することによっ
て、ＣＣＤカメラ４のイメージプレーン４ｂ上での輝点
の移動量を求める。

【００１５】図３は図１について上述した実施例におけ
る光学配置を示し、ＣＣＤカメラ４のレンズ４ａを原点
にして、パターン光投光素子３をｙ軸上で距離ｄの位置
に、イメージプレーン４ｂをＺ軸上で距離Ｉの位置にそ
れぞれ配置する。この光学配置において、監視領域４ｃ
（ＣＣＤカメラの視野）が障害物等のない平坦な地面
（路面）であるとき点Ｐ_n（Ｘ_n，Ｙ_n，０）に投影さ
れる輝点は、監視領域４ｃ内に物体Ｏが存在することに
よって、物体Ｏ上の点Ｐ_B（Ｘ_B，Ｙ_B，Ｚ_B）に投影
される。これによって、この輝点を撮像するＣＣＤカメ
ラ４のイメージプレーン４ｂ上では、図中の点Ｐ_n（Ｘ
_n，Ｙ_n，０）に対応する点Ａ（ｕ，ｖ）が、点Ｐ
_B（Ｘ_B，Ｙ_B，Ｚ_B）に対応する点Ｂ（ｕ，ｖ＋δ）
に移動する。すなわち、輝点が一定の方向に移動する。

【００１６】従って、点Ａの位置と点Ｂの位置との距離
を求めることによって移動量δが検出される。データ処
理部６はまた、上記距離ｄ及びＩと、監視領域４ｃから
ｙ軸までの距離ｈと、ＣＣＤカメラ光軸と監視領域４ｃ
の法線となす角θと、上記移動量δとを用いて演算処理
することによって、輝点の三次元位置〔図３においては
点Ｐ_B（Ｘ_B，Ｙ_B，Ｚ_B）〕を検出する。そして、入
力画像における全ての輝点について三次元位置を検出
し、三次元位置の変化した輝点について演算処理を施す
ことによって、障害物や溝あるいは人等のおおよその大
きさや位置を検出し、この検出結果によってディスプレ
イ装置１０に表示を行う。

【００１７】図４は、パターン光投光素子３、レーザ光
源１及びＣＣＤカメラ４により構成したセンサ部Ｓを、
自動車の後部において地面の法線に対し角度θで固定し
た場合の設置の一例を示す。以上概略説明したデータ処
理部６における処理は、大別して、図５及び図６のフロ
ーチャートに示す基準画面データ（参照データ）の作成
処理と障害物検出処理とからなる。

【００１８】参照データ作成処理においては、図５のフ
ローチャートに示すように、ステップＳ１において、Ｃ
ＣＤカメラ４が撮像して出力する輝点マトリクス１４の
画像信号を入力し、これを例えば５１２×５１２ピクセ
ル、輝度０〜２５５階調の画素データに変換してフレー
ムメモリ５に一時的に蓄える。フレームメモリ５に一時
的に蓄えられた画素データは、ステップＳ２においてデ
ータ処理部６において先ず輝点抽出を行う。その後、ス
テップＳ３において、輝点重心の座標位置を決定する処
理が行われる。更にその後、ステップＳ４において、輝
点の明るさを決定する処理、すなわち、検査時の輝点抽
出のためのしきい値を決定する処理を行う。

【００１９】上記ステップＳ２の輝点抽出処理は、図７
に示すような監視領域内の輝点投影画像の図８に示すよ
うな一走査線上の輝度をしきい値と比較して輝点を抽出
するためのもので、この処理においては、先ずフレーム
メモリ５の各画素データについて、画素の階調値が予め
設定されたしきい値より大きければその値を残し、小さ
ければその画素の階調値を零にする。上述した処理は１
画素づつずらして全ての画素について行い、この処理に
よって、図９に示すような画素のかたまり（輝点）が抽
出される。

【００２０】なお、各輝点間の輝度の差が大きく、固定
のしきい値では輝点の抽出ができない場合には、図１０
に示すようなある画素を中心にしたｍ×ｎピクセルの窓
内の輝度平均値を求め、この平均値をしきい値としてそ
の画素を残すか否かを決定し、他の画素についても同様
の処理でしきい値を求めて、画素毎に異なるしきい値で
輝点を抽出するようにすればよい。

【００２１】次に、上記ステップＳ３の処理、すなわ
ち、輝点重心の座標位置を決定する処理について説明す
る。この決定処理においては、例えば図１１に示すよう
な輝点の重心座礁（Ｕ，Ｖ）を輝点内の各画素の輝点の
座標から輝度の重みを付けた重心位置を求める。

【００２２】上述のような処理を行うことにより、図１
２に示すように、各輝点のNo．に対する輝点重心からな
る最終基準輝点データ（参照データ）が得られ、これが
参照データ記憶部７に記憶される。上述した図５のフロ
ーチャートの実行により、データ処理部６は、平坦路面
に投影された輝点パターンを撮像した前記撮像機からの
画像信号による画素データから各輝点座標を含む参照デ
ータを作成する参照データ作成手段として働く。

【００２３】上記障害物検出処理においては、図６のフ
ローチャートに示すように、先ずステップＳ１１におい
て参照データ記憶部７から参照データを取り込む処理を
行う。そして、続くステップＳ１２においてセンサの高
さ変化に対する補正処理を行う。その後、ステップＳ１
３において画像を取り込む処理を行ってからステップＳ
１４に進み、輝点スポットの抽出処理を行う。続いてス
テップＳ１５で各スポットの三次元座標位置の計算処
理、ステップＳ１６で監視領域を二次元的に表示する処
理、ステップＳ１７で舵角値取り込み処理、ステップＳ
１８で車両進路予測処理、ステップＳ１９で障害物との
衝突予測処理、ステップＳ２０で表示処理を行ってステ
ップＳ１３に戻る。

【００２４】上記ステップＳ１２のセンサの高さ変化に
対する補正処理は次の理由で行う。すなわち、上述した
三次元位置点Ｐ_B（Ｘ_B，Ｙ_B，Ｚ_B）を計測するため
に距離ｈと共に使用するイメージプレーン４ｂ上の三次
元座標からなる参照データを取り込むが、この参照デー
タとしては、車両の高さｈの再現性などを考慮し、車両
に重量物が乗っていない場合の値を用いる。このために
平坦路面上の各輝点のイメージプレーン４ｂ上の三次元
座標からなる参照データを記憶しておき、各計測時の基
準値とする。そして、実際の走行状態における凹凸路面
の三次元計測では、重量物を一切乗せないで求めた各輝
点の基準値に対する計測時の輝点座標のずれより各輝点
の三次元座標を求めることになる。

【００２５】しかし、実走行においては車両に乗員、荷
物などが乗り、これらの総重量は数十ｋｇ／数百ｋｇと
なり、その結果車両は数ｃｍ沈み込むことになる。ま
た、車両は一様に沈み込むわけでなく重量物の配置によ
りかなり傾斜して沈み込むことになる。

【００２６】周辺監視装置は図４について上述したよう
に車両に固定されているので、荷重による車両の沈み込
みに伴って路面の監視領域４ｃに近づくことになる。こ
の場合、周辺監視装置から見れば、ＣＣＤレンズ４ａか
らｈの距離にあった領域４ｃが車両の沈み込んだ分だけ
上方にせり出した状態になるので、路面全体が数ｃｍせ
り出したと周辺監視装置は判断する。ここで、車載重量
が大きければ車両の沈み込みも大きく、その結果監視装
置は車両走行に問題ある高さの凸面があるとして誤警報
を発することになる。

【００２７】このようなことを解消するには、乗員、荷
物などが乗った状態でまず略平坦と考えられる路面で車
両沈み込みによる路面せり出し量を計測すればよい。こ
のためには、図１３に示すように、検出エリアの四隅の
輝点１，２，３及び４の移動量より四隅の輝点の路面せ
り出し量を求め、これより直線近似で各輝点のせり出し
量を算出できる。これらの検出されたせり出し量は車両
の沈み込みにより発生したものであり、実際の路面凹凸
の三次元座標を求める際の補正値となる。

【００２８】実際の計測時には、各輝点から求まる路面
の三次元座標に対して上記補正値を用いて補正（補正値
を引く）することで車両の沈み込みを補正した正確な三
次元座標が求まる。上述した例では、監視領域４ｃの四
隅の輝点１乃至４について補正値を求めたが、車両の沈
み込みに比べて車両の傾斜が小さければ、監視領域４ｃ
内の一点、例えば輝点５の路面高さを求めこの値を全て
の輝点に対して補正値として用いることができる。いず
れにしても乗員などを乗せた状態で平坦路面において数
点の輝点から求まる三次元座標を計測時の車両沈み込み
の補正値として使用すればよい。

【００２９】上記ステップＳ１２のセンサの高さ変化に
対する補正処理は、具体的には、図１４のフローチャー
トによって実行される。図１４のフローチャートにおい
て、ステップＳ１２ａ及び１２ｂにおいてドアが閉じか
つイグニッションスイッチがオンしていることが検出さ
れたとき、ステップＳ１２ｃにおいて補正データ取り込
みスイッチがオンであるか否を判定し、この判定がＮＯ
の時にはステップＳ１２ｄにおいて車速が５ｋｍ／ｈと
４０ｋｍ／ｈとの間にあることを確認する。

【００３０】この確認の結果、車速が５ｋｍ／ｈと４０
ｋｍ／ｈとの間にあるときには、ステップＳ１２ｅにお
いて数カ所の輝点移動量より監視領域が平坦であるかを
算出し、ステップＳ１２ｆで平坦であると判断すると、
ステップＳ１２ｇにおいて数カ所の輝点移動量より車両
沈み込み補正データを算出する。補正データ取り込みス
イッチがオンされ、ステップＳ１２ｃの判定がＹＥＳに
なったときにはステップＳ１２ｇに進んで数カ所の輝点
移動量より車両沈み込み補正データを算出してからその
後のステップに進む。図１４のフローチャートの実行に
より、データ処理部６は、撮像機の路面からの高さ変化
により前記参照データを補正する高さ補正手段として働
く。

【００３１】また、補正値の取り込みのタイミングとし
ては運転者が平坦路面であることを確認してスイッチ操
作などのマニアル操作で行ってもよいし、また上述のよ
うに空気抵抗などが車両に影響を与えない程度の低速
（例えば５〜４０ｋｍ／ｈ）で一定速度走行時に監視装
置で検出された路面が略平坦であると処理装置が判断で
きれば、その場合処理装置が自動で補正値を取り込んで
もよい。これ以外にも処理装置が平坦路面と判断できる
場合はその時点で補正値を取り込めばよい。

【００３２】ステップＳ１３では検査路面に投影された
画像信号の取り込みを行い、ステップＳ１４では取込ん
だ画像信号より輝点スポットの抽出を行なう。ステップ
Ｓ１４での輝点スポットの抽出の第１の実施例を図１５
および１６を参照して説明する。

【００３３】ステップＳ１４１では参照データ記録部７
に記録されている最初の輝点の座標値（Ｕ_m0，Ｖ_m0）を
読出す。ステップＳ１４２ではフレームメモリ５より走
査線Ｖ_m0の（Ｖ_m0−Ｖ_n）から（Ｖ_m0＋Ｖ_p）までの各
画素に対して、 ΔＩ_j＝｛（Ｉ_j+2＋Ｉ_j+1） −（Ｉ_j-2−Ｉ_j-1）｝／２・・・（１）ただし、Ｉ_jは（Ｖ_m0−Ｖ_n）から（Ｖ_m0＋Ｖ_p）の第
ｊ番目の画素の輝度なる演算を行って輝度差ΔＩ_jを算出する。

【００３４】例えば、検査路面が図１７（Ａ）で示され
るように、白，黒が交互にあり、更に輝点が有る場合
は、式（１）による演算処理を行なうと、図１７（Ｂ）
に示すように、輝度差が＋および−となって現われる。
なお、ステップＳ１４２では（Ｖ_m0−Ｖ_n）から（Ｖ_m0
＋Ｖ_p）の画素に対して輝度差を算出する理由は、図３
及び図４に示した幾何学的レイアウトにおいて、イメー
ジプレーン４ｂ上における各輝点座標は、平坦路面の場
合の点Ａ（ｕ，ｖ）に対し路面に凹凸があると輝点座標
Ｂ（ｕ，ｖ＋δ）は一定方向にのみ移動する。図の場
合、輝点の移動方向はｖ方向のみであり、路面が凸の場
合ｖの正の向きに、凹の場合ｖの負の方向にそれぞれ移
動する。この性質を利用して必要な範囲の画素に対して
処理を行なう。

【００３５】ステップＳ１４３では輝度差の変極点位置
を抽出する。すなわち、図１７（Ｂ）の場合は、＋の変
極点Ｍ₁〜Ｍ₃および−の変極点Ｒ₁〜Ｒ₃の位置Ｖ
（Ｍ₁）〜Ｖ（Ｍ₃）およびＶ（Ｒ₁）〜Ｖ（Ｒ₃）を
抽出する。ステップＳ１４４では、Ｐ＝Ｖ（Ｒ_n）−Ｖ（Ｍ_m）・・・（２）ただし、Ｖ（Ｒ_n）は第ｎ番目の−変極点位置Ｖ（Ｍ_m）は第ｍ番目の＋変極点位置なる演算を行なう。なお式（２）の演算は−変極点と＋
変極点の全ての組合せについて行なう。

【００３６】また、式（２）で算出したＰに対して、Ｐ_min＜Ｐ＜Ｐ_max ・・・（３）ただし、Ｐ_minおよびＰ_maxは正で、Ｐ_min＜Ｐ_maxな
る数値となる組合せを抽出する。

【００３７】なお、撮像された輝点の大きさはほぼ一定
であり、Ｐ_minは輝点の直径よりは小さく、Ｐ_maxは直
径より大なる数値が選択される。ステップＳ１４５で
は、式（３）となる組合せが存在したか否かの判定を行
ない、判定結果がＮＯの場合はステップＳ１５２に、ま
たＹＥＳの場合はステップＳ１４６に終る。

【００３８】ステップＳ１４６では、先ず＋および−変
極点の輝度差値が最も大きな組合せを読み出す。ステッ
プＳ１４７では、読出された変極点の組合せに対して、
＋変極点と−変極点間の０交叉値（Ｖ_m1，Ｖ_m2）を読出
す。

【００３９】すなわち、図１７の場合で、式（２）およ
び（３）が満足する組合せは、Ｍ₁Ｒ₂とＭ₃Ｒ₃が存
在し、まず第１の組合せＭ₁Ｒ₂に対して０交叉値Ｖ₁₁
およびＶ₁₂をステップＳ１４７で読出す。ステップＳ１
４８では、ステップＳ１４７で読出した０交叉値より輝
度であるか否かのチェックを行ない、輝点である場合
は、ステップＳ１４９に、輝点でない場合はステップＳ
１５０に移り、組合が最終の場合はステップＳ１５２
に、最終でない場合はステップＳ１５１に移って次の組
合せを読出してステップＳ１４７に移る。

【００４０】なお、ステップＳ１４８の輝点チェックに
ついては、後で詳細に説明する。ステップＳ１４９で
は、第ｍ番目の輝点の移動量Ｓ_mを算出する。すなわ
ち、Ｓ_m＝（Ｖ_m1＋Ｖ_m2）／２−Ｖ_m0 ・・・（４）なるＳ_mを算出する。

【００４１】ステップＳ１５３では、最終輝点でない場
合はステップＳ１４１に移って次の輝点に対する処理を
行ない、最終輝点の場合は処理を終了して、図６で説明
したステップＳ１５に移る。なお、第１の実施例では、
ステップＳ１４６で＋および−変極点の輝度差値が最も
大きな組合せを読出すようにしたが、求めた変極点の組
合せの中の、＋変極点と−変極点に挾まれた中央の画素
の輝度値が最も高いものの組合せを読出すようにしても
良い。

【００４２】前述したステップＳ１４８での輝点チェッ
クの第１の実施例を図１８を参照して説明する。ステッ
プＳ１４８１では、ステップＳ１４７で読出したＶ_m1お
よびＶ_m2より候補輝点の中心値Ｖ_m0′を算出する。すな
わち、Ｖ_m0′＝（Ｖ_m1＋Ｖ_m2）／２・・・（５）の算出を行なう。

【００４３】ステップＳ１４８２では、座標（Ｕ_mo，Ｖ
_mo′）を中心とし、Ｕ_0m±α間の隣接画素間の輝度差を
算出する。ステップＳ１４８３では、ステップＳ１４８
２で算出した輝度差にＵ_moを挾んで所定値を越える＋変
極点と−変極点が存在したか否かを判定し、存在した場
合は輝点と判定してステップＳ１４９に、存在しない場
合は輝点でないと判定してステップＳ１５０に移る。

【００４４】すなわち、図１７の場合、変極点Ｍ₁Ｒ₂
の組合せに対する中心値Ｗ₁に対してＵ軸方向の輝度差
を求めても変極点は現われず、変極点Ｍ₃Ｒ₃の組合せ
に対しては中心値Ｗ₂に対してはＵ軸方向の輝度差に±
の変極点が現われる。また、図１９は輝点チェックの第
２の実施例を示している。

【００４５】ステップＳ１４８１は、図１８で説明した
とおりである。ステップＳ１４８５では、座標（Ｕ_mo，
Ｖ_mo′），（Ｕ_mo＋α，Ｖ_mo′）および（Ｕ_mo−α，Ｖ
_mo′）の輝度Ｉ₀，Ｉ_aおよびＩ_bを読出す。ステップ
Ｓ１４８６では、Ｉ₀−Ｉ_a≧ＫでかつＩ₀−Ｉ_b≧Ｋ・・・（６）であるか否かの判定を行ない、判定結果がＹＥＳの場合
は輝点であると判定してステップＳ１４９に、ＮＯの場
合は輝点でないとしてステップＳ１５０に移る。

【００４６】すなわち、図１７に示すように、組合せＭ
₁Ｒ₂に対してはＩ₀，Ｉ_aおよびＩ_bは等しくなって
輝点でないと判定され、組合せＭ₃Ｒ₃に対してはＩ₀
はＩ _aおよびＩ_bより大となって輝点であると判定され
る。つぎに、図２０および２１を参照して、輝点スポッ
ト抽出の第２の実施例を説明する。

【００４７】ステップＳ１５５では、参照データより第
ｍ番目の輝点の座標（Ｕ_mo，Ｖ_mo）を読出す。ステップ
Ｓ１５６では、走査線Ｕ_moの（Ｖ_mo−Ｖ_n）から（Ｖ_mo
＋Ｖ_p）の画素に対して、隣接画素よりその平均輝度Ｉ
_mを算出する。

【００４８】すなわち、図２２（Ａ）に示すように、
（Ｖ_mo−Ｖ_n）と（Ｖ_mo＋Ｖ_p）間の各画素に対して、
着目画素を中心としたｍ×ｎ個の画素の輝度の平均Ｉ_m
を算出する。ステップＳ１５７では、着目画素の輝度を
Ｉとすると、Ｉ＞ａＩ_m ・・・（７）である場合は着目画素は輝点の候補であるとして“１”
を出力し、式（７）でない場合は候補でないとして
“０”を出力して記録する。

【００４９】すなわち、着目画素が輝点を構成している
画素であるならば、隣接する画素の輝度値の平均よりは
大なる輝度となる。そこで、ａを例えば１．１〜１．２
に選ぶことによって、着目画素が輝点候補画素として残
すか否かの判定を行なう。ステップＳ１５８では、（Ｖ
_mo−Ｖ_n）より（Ｖ_mo＋Ｖ_p）の全ての画素に対して処
理が行なわれていない場合はステップＳ１５６に移って
処理を繰返す。

【００５０】ステップＳ１５９では、輝点構成画素が存
在したか否かの判定を行ない、判定がＮＯの場合はステ
ップＳ１５２に移り、ＹＥＳの場合はステップＳ１６０
に移る。すなわち、ステップＳ１５７で、式（７）とな
る画素が存在した場合は、図２２（Ｂ）に示すように、
“１”が記録され、“１”が記録されている場合はステ
ップＳ１５９の判定はＹＥＳとなってステップＳ１６０
に移る。

【００５１】ステップＳ１６０では、まず最初の連続す
る輝点構成画素群を読出す。ステップＳ１６１では、輝
点構成画素群の両端値（Ｖ_m1，Ｖ_m2）を読出す。すなわ
ち、図２２（Ｂ）の場合は、輝点構成画素群が２個あ
り、最初に第群のＶ₁₁およびＶ₁₂が読出される。

【００５２】その後のステップＳ１４８よりＳ１５３
は、第１の実施例と同様の処理が行なわれ、図１５およ
び１６で説明したとおりである。以上のような処理が行
なわれて輝点スポットが抽出される。抽出された輝点ス
ポットより三次元座標位置の計算が行なわれる。

【００５３】図２３において、Ａ（ｕ，ｖ）は平坦路面
上のある輝点に対応する点を示す。枠Ｆは三次元座標計
測時の走査領域を示し、サブ領域＋Ｓ₁，−Ｓ₂は実走
行状態で問題となる路面凹凸の大きさより設定できる。
例えば一般乗用車の場合、平坦路面上１．５ｍ、路面下
０．５ｍなどと設定し、これに対応して＋Ｓ₁，−Ｓ ₂
をそれぞれ設定できる。なお、同図に示されている点は
全て各輝点の重心位置を表しており、ｖ方向において隣
接する輝点間の距離は、上記のような条件下で輝点が移
動しても重なり合うことがないように設定されている。
また、同図においては、スペースの有効利用のため各輝
点がｕ方向において１つおきになるように配置されたパ
ターンとなっている。

【００５４】次に計測時においては、各輝点について、
上記走査領域についてのみ輝点座標を求めればよい。輝
点座標の求め方は、例えば所定しきい値以上の画素が輝
点を構成しているとして、この輝点の重心又は幾何学的
中心などを算出すればよい。具体的には、図２４に示す
ように、参照データの輝点重心と同一ライン上におい
て、Ｖ₁，Ｖ₂を検出し、この検出したＶ₁，Ｖ₂によ
り輝点重心（Ｖ₁＋Ｖ ₂）／２を求め、重心間の距離に
よって輝点の移動量ΔＶを求める。なお、同一ライン上
に輝点が存在しなければ、上下ラインを走査する。ま
た、Ｖ₁，Ｖ₂の検出は基準輝点の輝度しきい値Ｉの大
小により検出する。走査領域の幅Ｗは一画素ライン分で
も良いし、検出精度向上を考慮し、数画素ライン、例え
ば５画素ラインとしてもよい。なお、上記例では検出速
度を速めるために重心座標を幾何学的中心座標におきか
えて求めているが、精度を上げるためには、上述の参照
データ作成時の重心座標検出方法の方がよい。

【００５５】以上説明したように、計測時、設定した走
査領域についてのみ輝度座標を求めればよいので、計測
の高速化が実現できる。また、図２５は、監視領域４ｃ
内に壁及び溝がある場合の輝点の三次元的位置検出結果
をディスプレイ装置１０に表示した例を示し、図中、Ｏ
₁は壁、Ｏ₂は溝である。

【００５６】次に、舵角検出器８を用いた場合の監視方
法について説明する。実施例においては、舵角検出器８
によって検出した舵角を用いて自動車の進路を予測する
ことによって自動車の移動軌跡を求め、その軌跡を障害
物等が示される監視領域４ｃの二次元マップに重ねるこ
とにより、車体が障害物等に接触または衝突することを
事前に検知し、発音手段としてのスピーカ９に、ブザー
音などの警告音やデータ処理部６内に構成した音声合成
手段によって形成した警告メッセージを発生させたり、
ディスプレイ装置１０に表示を行わせることによって運
転者に警告する。

【００５７】図２６は、自動車の車体Ｂｏのエッジが壁
Ｏ₁のような障害物に接触する地点及びタイヤＴが溝Ｏ
₂に落ちる地点をディスプレイ装置１０で表示した一例
を示す。図２０に示す自動車の後退では、データ処理部
６がＣＣＤカメラ４から次々に得られる画像を処理する
ことによって、監視領域４ｃ内における障害物Ｏ₁及び
溝Ｏ₂がほぼ実時間で検知され、また、舵角検出器８か
ら得られる舵角を用いた自動車の進路予測により障害物
等との接触を事前に警告することによって、ドライバー
の安全確認を効果的に支援することができる。

【００５８】なお、上述した図示実施例では、自動車の
軌跡を求めるために舵角検出器８によるハンドルの操舵
角の検出信号を用いているが、これに代えて、例えばジ
ャイロからなる回転角速度センサや方位センサなどを設
け、これらのセンサからの信号を処理して自動車の進行
方向を検出すると共に、その後の進路を予測するように
してもよい。

【００５９】また、上述した実施例では、監視領域にお
ける障害物や溝等の存在を自動車の運転者に知らせる場
合について説明したが、工場などにおける無人搬送車や
組み立て工程等における産業用ロボットなどに本発明を
応用できる。

【００６０】

【発明の効果】以上説明したように本発明によれば、次
の効果が得られる。検査路面に投影された輝点パターンを撮像した画像信
号より隣接画素の輝度値に基づいて輝点候補を抽出し、
抽出された輝点候補より輝点でない候補を除去して障害
物を検知するようにしたので、検査路面および物体の反
射率に影響されずに確実に輝点が抽出でき、障害物を検
知することができる。

【００６１】輝点候補の抽出を、隣接する水平方向の
画素の輝度差の＋変極点および−変極点に基づいて抽出
するようにしたので、容易に輝点候補を抽出することが
できる。また、輝度候補の抽出を、着目画素の輝度と着目画素
に隣接する画素の輝度の平均値と対比することによって
輝点候補画素群を抽出するようにしたので、容易に輝点
候補を抽出することができる。

【００６２】輝点候補より輝点でない候補の除去を、
候補点の垂直方向の画素の輝度差に基づいて除去するよ
うにしたので、確実に輝点でない候補を除去することが
できる。

【図面の簡単な説明】

【図１】本発明における車両周辺監視装置の一実施例を
示す図である。

【図２】パターン光投光素子としてのファイバグレイテ
ィング及びマルチビームプロジェクタを示す図である。

【図３】図１の装置の光学配置の詳細を示す図である。

【図４】図１の装置のパターン投光素子、レーザ光線、
ＣＣＤカメラにより構成されるセンサ部の設置例を示す
図である。

【図５】図１中のデータ処理部が行う一処理を示すフロ
ーチャートである。

【図６】図１中のデータ処理部が行う他の処理を示すフ
ローチャートである。

【図７】監視領域内の輝点投影画像を示す図である。

【図８】一走査線上の輝度分布を示す図である。

【図９】輝点抽出処理によって得られる輝点の画素デー
タを示す図である。

【図１０】フレームメモリ内の画素データを示す図であ
る。

【図１１】輝点重心の求め方を説明するための図であ
る。

【図１２】作成された参照データを示す図である。

【図１３】高さ補正の仕方を説明するための図である。

【図１４】高さ補正処理の具体的な処理を示すフローチ
ャートである。

【図１５】輝点スポット抽出処理を示すフローチャート
である。

【図１６】輝点スポット抽出処理を示すフローチャート
である。

【図１７】輝点スポット抽出の説明図である。

【図１８】輝点チェック処理を示すフローチャートであ
る。

【図１９】輝点チェック処理を示す他のフローチャート
である。

【図２０】輝点スポット抽出処理を示す他のフローチャ
ートである。

【図２１】輝点スポット抽出処理を示す他のフローチャ
ートである。

【図２２】輝点スポット抽出の説明図である。

【図２３】走査領域の設定の仕方を説明する図である。

【図２４】三次元座標計測時の走査領域における輝点重
心及び移動距離の求め方を説明する図である。

【図２５】輝点の三次元位置検出結果の表示例を示す図
である。

【図２６】車両の周辺監視を行った結果の表示の一例を
示す図である。

【図２７】撮像した画像データの具体例である。

【符号の説明】

１レーザ光源３パターン光投光器４撮像機５データ処理部８舵角検出器９ブザー、音声合成装置１０ディスプレイ装置

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成５年８月１０日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】請求項１

【補正方法】変更

【補正内容】

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００２３

【補正方法】変更

【補正内容】

【００２３】上記障害物検出処理においては、図６のフ
ローチャートに示すように、先ずステップＳ１１におい
て参照データ記憶部７から参照データを取り込む処理を
行う。そして、続くステップＳ１２においてセンサの高
さ変化に対する補正処理を行う。その後、ステップＳ１
３において画像を取り込む処理を行ってからステップＳ
１４に進み、輝点スポットの抽出処理を行う。続いてス
テップＳ１５で各スポットの三次元座標位置の計算処
理、ステップＳ１６で監視領域についてＳ１５で計算処
理した検出結果を表示する処理、ステップＳ１７で舵角
値取り込み処理、ステップＳ１８で車両進路予測装置、
ステップＳ１９で障害物との衝突予測処理、ステップＳ
２０で表示処理を行ってステップＳ１３に戻る。 ─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成５年８月１０日

【手続補正１】

【補正対象書類名】図面

【補正対象項目名】図６

【補正方法】変更

【補正内容】

【図６】

Claims

【特許請求の範囲】

【請求項１】レーザ光入射により監視領域に輝点パタ
ーンを投影するパターン光投光器と、該輝点パターンを撮像する撮像機と、平坦路面に投影された輝点パターンを撮像した前記撮像
機からの画像信号による画素データから輝点パターンを
抽出して各輝点座標を含む参照データを作成する参照デ
ータ作成手段と、検査路面に投影された輝点パターンを
撮像した前記撮像機からの画像信号による画素データの
隣接画素の輝度値に基づいて輝点候補を抽出する輝点ス
ポット抽出手段と、前記輝点スポット抽出手段によって
抽出された輝点候補よい輝点でない候補を除去する輝点
チェック手段と、前記輝点スポット抽出手段で抽出され
前記輝点チェック手段で除去された残りの輝点位置より
障害物や溝あるいは人等の存在を検知する検知手段とを
有するデータ処理部とを備えることを特徴とする車両周
辺監視装置。
【請求項２】前記輝点スポット抽出手段における輝点
候補の抽出を、隣接する水平方向の画素の輝度差の＋変
極点および−変極点に基づいて輝点候補を抽出するよう
にしたことを特徴とする請求項１記載の車両周辺監視装
置。
【請求項３】前記輝点スポット抽出手段における輝点
候補の抽出を、着目画素の輝度と着目画素に隣接する画
素の輝度の平均値とを対比することによって輝点候補構
成画素群を抽出して輝点候補を抽出するようにしたこと
を特徴とする請求項１記載の車両周辺監視装置。
【請求項４】前記輝点チェック手段における輝点でな
い候補の除去を、候補点の隣接する垂直方向の画素の輝
度差に＋変極点および−変極点がない場合に除去するよ
うにしたことを特徴とする請求項１，２または３記載の
車両周辺監視装置。
【請求項５】前記輝点チェック手段における輝点でな
い候補の除去を、候補点の輝度と候補点と垂直な方向の
画素の輝度値との差が或る値以下であるとき除去するよ
うにしたことを特徴とする請求項１，２または３記載の
車両周辺監視装置。