JPH0387904A - 無人自走車用制御装置 - Google Patents
無人自走車用制御装置Info
- Publication number
- JPH0387904A JPH0387904A JP1223180A JP22318089A JPH0387904A JP H0387904 A JPH0387904 A JP H0387904A JP 1223180 A JP1223180 A JP 1223180A JP 22318089 A JP22318089 A JP 22318089A JP H0387904 A JPH0387904 A JP H0387904A
- Authority
- JP
- Japan
- Prior art keywords
- steering wheel
- image
- predetermined
- pixel
- section
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔概 要〕
ガイドラインを画像入力して走行方向を制御する無人自
走車用制御装置に関し、 少ないメモリ容量で高速に処理し、的確にガイドライン
に沿った走行を行う無人自走車用制御装置を目的とし、 走行路面の画像を入力する画像入力手段と、該画像入力
手段より加わる入力画像から、所定の色を取り出すとと
もに前記入力画像を2値化した後、周辺が所定の画像分
布になっている所定の注目画素を特徴点として抽出する
実時間画像処理手段と、前記特徴点から走行路面上のガ
イドラインの直線を抽出する直線近似手段と、該直線近
似手段より得られた直線位置からハンドル量を決定する
ハンドル量決定手段と、該ハンドル量と現在のハンドル
位置からハンドルの制御を行うハンドル制御手段とより
なるように構成する。
走車用制御装置に関し、 少ないメモリ容量で高速に処理し、的確にガイドライン
に沿った走行を行う無人自走車用制御装置を目的とし、 走行路面の画像を入力する画像入力手段と、該画像入力
手段より加わる入力画像から、所定の色を取り出すとと
もに前記入力画像を2値化した後、周辺が所定の画像分
布になっている所定の注目画素を特徴点として抽出する
実時間画像処理手段と、前記特徴点から走行路面上のガ
イドラインの直線を抽出する直線近似手段と、該直線近
似手段より得られた直線位置からハンドル量を決定する
ハンドル量決定手段と、該ハンドル量と現在のハンドル
位置からハンドルの制御を行うハンドル制御手段とより
なるように構成する。
本発明は、ガイドライン上を自走する無人自走車に係り
、さらに詳しくはガイドラインを画像入力して走行方向
を制御する無人自走車用制御装置に関する。
、さらに詳しくはガイドラインを画像入力して走行方向
を制御する無人自走車用制御装置に関する。
近年、工場等における部品等の搬送に自走車が用いられ
ている。この自走車は運転が自動化されており、自走車
に備えたセンサからの情報で自動運転している。このセ
ンサとしては超音波センサが簡便であるが、−点センサ
であるため得られる情報が不十分であり、ユーザが要求
する完全な自動化の自走車となることは出来ない。
ている。この自走車は運転が自動化されており、自走車
に備えたセンサからの情報で自動運転している。このセ
ンサとしては超音波センサが簡便であるが、−点センサ
であるため得られる情報が不十分であり、ユーザが要求
する完全な自動化の自走車となることは出来ない。
現在このような問題を解決するためテレビカメラをセン
サとして用い、テレビカメラより得られる画像情報によ
ってハンドルを制御する方式が開発されている。テレビ
カメラによれば、原理的には人間の目と同じ情報が得ら
れるので、走行路面上にガイドラインを設けそのガイド
ライン上を進むことができる。
サとして用い、テレビカメラより得られる画像情報によ
ってハンドルを制御する方式が開発されている。テレビ
カメラによれば、原理的には人間の目と同じ情報が得ら
れるので、走行路面上にガイドラインを設けそのガイド
ライン上を進むことができる。
前述のガイドラインは路面上に引いた線だけでなく、自
走車が沿って走るべき線を指すものであり、作業をしつ
つ移動する自走車の場合は、作業済区域と未作業済区域
の境界線、あるいは直前の作業済領域の線がガイドライ
ンとなる0例えば無人芝刈機の場合においては、芝刈済
区域と未芝刈区域の境界線がガイドラインとなる。
走車が沿って走るべき線を指すものであり、作業をしつ
つ移動する自走車の場合は、作業済区域と未作業済区域
の境界線、あるいは直前の作業済領域の線がガイドライ
ンとなる0例えば無人芝刈機の場合においては、芝刈済
区域と未芝刈区域の境界線がガイドラインとなる。
前述したこれらの自走車にはテレビカメラから得られる
画像信号をデジタル処理する画像処理装置が設けられて
いる。この画像処理装置では走行中に得られる画像のう
ち、近傍が定められた値分布を持つ画素を特徴点とし、
その特徴点からガイドラインを求めている。すなわち得
られた画像データの1画面から特徴点を抽出しその特徴
点から特徴量を求めている。
画像信号をデジタル処理する画像処理装置が設けられて
いる。この画像処理装置では走行中に得られる画像のう
ち、近傍が定められた値分布を持つ画素を特徴点とし、
その特徴点からガイドラインを求めている。すなわち得
られた画像データの1画面から特徴点を抽出しその特徴
点から特徴量を求めている。
第7図は無人自走車用制御装置の構成図である。
テレビカメラ20より走行前方の画像を入力する。
その得られた画像は画像処理部21に加わり、画像処理
部21では特徴点を検出する。特徴点とは着目点の前後
左右4個の領域から予め設定されているパターンである
画素を指している。例えば白黒画像で入力し、ガイ1ラ
インが白、背邊が黒である場合には着目点の前後左行4
個の領域が共に白である画素を特徴点とする(画像処理
部21は特徴点と判断した画素の座標を得る。)。
部21では特徴点を検出する。特徴点とは着目点の前後
左右4個の領域から予め設定されているパターンである
画素を指している。例えば白黒画像で入力し、ガイ1ラ
インが白、背邊が黒である場合には着目点の前後左行4
個の領域が共に白である画素を特徴点とする(画像処理
部21は特徴点と判断した画素の座標を得る。)。
画像処理部21の処理によって得られた特徴点の座標は
直線近似部22に加わる。直線近似部22ではハフ変換
技術などで画像処理部21より加わる特徴点からガイド
ラインを表す直線を求めるとともにその直線を表わすパ
ラメータを求める。
直線近似部22に加わる。直線近似部22ではハフ変換
技術などで画像処理部21より加わる特徴点からガイド
ラインを表す直線を求めるとともにその直線を表わすパ
ラメータを求める。
第8図はガイドラインを表す直線のパラメータの説明図
である。進行方向をY軸、左右をX軸とし、Y軸とガイ
ドライン(直線近似部22内の処理によって特徴点の座
標より求めた直線)との角度をθ、原点からガイドライ
ンに降ろした垂線をρとし、θとρをパラメータとして
いる。
である。進行方向をY軸、左右をX軸とし、Y軸とガイ
ドライン(直線近似部22内の処理によって特徴点の座
標より求めた直線)との角度をθ、原点からガイドライ
ンに降ろした垂線をρとし、θとρをパラメータとして
いる。
ハンドル量決定部23は直線近似部22より得られた直
線のパラメータからハンドル量を求める。
線のパラメータからハンドル量を求める。
ハンドル制御部24は、ハンドル量決定部23で求めた
ハンドル量と現在のハンドル位置とからハンドルを制御
する。
ハンドル量と現在のハンドル位置とからハンドルを制御
する。
前述した無人自走車用制御装置において、画像処理部2
1はCPU等を用いて特徴点を抽出していた。第9図は
従来の画像処理部の構成国である。
1はCPU等を用いて特徴点を抽出していた。第9図は
従来の画像処理部の構成国である。
カメラから出力された画像情報は画素検出部25に加わ
る。画素検出部25は画素の座標と値を検出して入力画
像格納部26に格納する。テレビカメラから加わる画像
は複数の走査線から成る画像情報であり、この走査線上
の1点から画素検出部25はそれぞれの画素にすべき値
を求め、その点における座標に対応した位置に画像デー
タを格納する。
る。画素検出部25は画素の座標と値を検出して入力画
像格納部26に格納する。テレビカメラから加わる画像
は複数の走査線から成る画像情報であり、この走査線上
の1点から画素検出部25はそれぞれの画素にすべき値
を求め、その点における座標に対応した位置に画像デー
タを格納する。
〉大画像格納部26に1画面分のデータが格納された段
階で、特徴点判定部27が動作し、着目点の近傍の値分
布が特徴点の条件を満たしている場合にその特徴点の座
標を特徴点格納部28に格納する。
階で、特徴点判定部27が動作し、着目点の近傍の値分
布が特徴点の条件を満たしている場合にその特徴点の座
標を特徴点格納部28に格納する。
特徴点判定部27はCPU27−1、プログラムメモリ
27−2からなっており、入力画像格納部26から順次
着百点を読み出すとともに、その着目点の上下左右の画
素をも読みだし、その上下左右の画素がどのような値に
なっているかによってそれが特徴点であるか否かを判別
する。以上のような動作により、画像処理部21は特徴
点を求めその特徴点を直線近似部22に出力する。
27−2からなっており、入力画像格納部26から順次
着百点を読み出すとともに、その着目点の上下左右の画
素をも読みだし、その上下左右の画素がどのような値に
なっているかによってそれが特徴点であるか否かを判別
する。以上のような動作により、画像処理部21は特徴
点を求めその特徴点を直線近似部22に出力する。
第10図は従来のハンドル量決定部23の構成国である
。直線近似部22で求めたガイドラインのパラメータθ
、ρがファジィ推論部29に加わる。ファジィ推論部2
9はファジィルール部30に予め格納しであるファジィ
ルールを適用してハンドル量を求めてハンドル制御部2
4に出力する。
。直線近似部22で求めたガイドラインのパラメータθ
、ρがファジィ推論部29に加わる。ファジィ推論部2
9はファジィルール部30に予め格納しであるファジィ
ルールを適用してハンドル量を求めてハンドル制御部2
4に出力する。
第11図は従来のファジィルール図表である。ρが距離
無し、θがずれ無しの時(IF)にはハンドル量は無し
くT HE N)とし、ρが小さく右・θΦ無しの時に
はハンドル量は小さく右に、ρが小さく左・θがずれ無
しの時にはハンドル量は小さく左など各ρとθの状態に
よってハンドル量を決定する。さらに詳細に説明すると
、ファジィルール毎にθとρのメンバーシップ関数にθ
とρの具体値を代入し適合度を求め、ハンドル量のメン
バーシップ関数をその適合度で制限する。この制限され
たハンドル量のメンバーシップ関数を全て重ね合わせた
時の分布の重心をハンドル量として決定する。
無し、θがずれ無しの時(IF)にはハンドル量は無し
くT HE N)とし、ρが小さく右・θΦ無しの時に
はハンドル量は小さく右に、ρが小さく左・θがずれ無
しの時にはハンドル量は小さく左など各ρとθの状態に
よってハンドル量を決定する。さらに詳細に説明すると
、ファジィルール毎にθとρのメンバーシップ関数にθ
とρの具体値を代入し適合度を求め、ハンドル量のメン
バーシップ関数をその適合度で制限する。この制限され
たハンドル量のメンバーシップ関数を全て重ね合わせた
時の分布の重心をハンドル量として決定する。
前述した従来の無人自走車用制御装置においては、画像
処理部21で画像データを画像格納部26に格納した後
、特徴点判定部27で特徴点を抽出しているため、 (1)特徴点抽出の処理を開始するために入力画像格納
部26に入力画像が格納されるまで待たねばならず処理
時間が長くなる。さらに特徴点判定部27はCPUとプ
ログラムメモリからなるためソフトウェアで入力画像の
処理を行うので、さらに時間が長くなる。
処理部21で画像データを画像格納部26に格納した後
、特徴点判定部27で特徴点を抽出しているため、 (1)特徴点抽出の処理を開始するために入力画像格納
部26に入力画像が格納されるまで待たねばならず処理
時間が長くなる。さらに特徴点判定部27はCPUとプ
ログラムメモリからなるためソフトウェアで入力画像の
処理を行うので、さらに時間が長くなる。
(2)最終的に必要なデータは特徴点であるにもかかわ
らず、入力画像のデータを全て入力画像格納部26に格
納しなければならず記憶容量が大きくなる。
らず、入力画像のデータを全て入力画像格納部26に格
納しなければならず記憶容量が大きくなる。
という問題を有していた。
また、従来のハンドル量決定部23においては、ガイド
ラインのパラメータρ、θのみからハンドル量を決定し
ているので、 (1)ガイドラインが第12図に示すように車体方向と
ほぼ垂直になる場合は、ハンドルを切らなければ車体は
自然とガイドラインに近づく。しかし第13図のように
ρが大きいと第12図のファジィルールの図表から明ら
かなようにρが大きく右や左であった時にはハンドル量
はそのθに依存せずにハンドルを大きく左右に制御する
こととなり、大きいハンドル量が決定されて逆効果とな
ってしまう。
ラインのパラメータρ、θのみからハンドル量を決定し
ているので、 (1)ガイドラインが第12図に示すように車体方向と
ほぼ垂直になる場合は、ハンドルを切らなければ車体は
自然とガイドラインに近づく。しかし第13図のように
ρが大きいと第12図のファジィルールの図表から明ら
かなようにρが大きく右や左であった時にはハンドル量
はそのθに依存せずにハンドルを大きく左右に制御する
こととなり、大きいハンドル量が決定されて逆効果とな
ってしまう。
(2) ガイドラインは時間と共に変動するにもかか
わらず、現時点でのガイドラインのパラメータのみから
ハンドル量を求めるため正確なハンドル量が求まらな−
い。例えば第13図のガイドラインが大きく変動してい
る例図のように、1時点前ではガイドラインは左に大き
く離れており現時点ては左にわずか離れている場合ガイ
ドラインは左から右へ大きく変動して明らかにガイドラ
インは右へずれようとしている。実際にはハンドル量は
少し右と判定すべしであるべきであるが、従来方式にお
いては第11図からも明確なように少し左となるが、左
に切る時にはガイドラインはすでに右にあるので逆方向
へのハンドルの制御となる。
わらず、現時点でのガイドラインのパラメータのみから
ハンドル量を求めるため正確なハンドル量が求まらな−
い。例えば第13図のガイドラインが大きく変動してい
る例図のように、1時点前ではガイドラインは左に大き
く離れており現時点ては左にわずか離れている場合ガイ
ドラインは左から右へ大きく変動して明らかにガイドラ
インは右へずれようとしている。実際にはハンドル量は
少し右と判定すべしであるべきであるが、従来方式にお
いては第11図からも明確なように少し左となるが、左
に切る時にはガイドラインはすでに右にあるので逆方向
へのハンドルの制御となる。
という問題を有していた。
本発明は、少ないメモリ容量で高速に処理し、的確にガ
イドラインに沿った走行を行う無人自走車用制御装置を
目的とする。
イドラインに沿った走行を行う無人自走車用制御装置を
目的とする。
第1図は本発明の原理ブロック図である。
画像入力手段lは走行路面の画像を入力するたとえばテ
レビカメラである。
レビカメラである。
実時間画像処理手段2は画像入力手段1より加わる入力
画像から所定の色の部分を取り出すと共に入力画像を2
値化した後、周辺が所定の画像分布になっている所定の
注目画素を特徴点として抽出する。たとえばこの実時間
画像処理手段2は、カラー画像を入力し、該カラー画像
から明度の比率が所定値以上の部分の所定色の映像信号
のみを取り出す色抽出手段11と、前記映像信号から画
面中の画素座標と画素値とを検出する検出手段12と、
該検出した画素が予め格納した注目座標であるか否かを
判定する注目座標判定手段13と、前記画素値を2値デ
ータに変換する2値化処理手段14と、該2値化処理手
段14の出力タイくングに応じて前記2値データを伝播
するビデオ速度遅延記憶手段15と、該ビデオ速度遅延
記憶手段15内で伝播する前記2値データのうちの予め
定められた複数の値を入力とし、該入力が定められた組
み合わせの値であるか否かを判定する画像分布判定手段
16と、前記注目座標判定手段13で注目座標であると
判定し、前記画像分布判定手段16で定められた組み合
わせの値であると判定した時、画素の座標値を特徴点の
座標値として直線近似手段3に出力する特徴点判定手段
17とよりなる。
画像から所定の色の部分を取り出すと共に入力画像を2
値化した後、周辺が所定の画像分布になっている所定の
注目画素を特徴点として抽出する。たとえばこの実時間
画像処理手段2は、カラー画像を入力し、該カラー画像
から明度の比率が所定値以上の部分の所定色の映像信号
のみを取り出す色抽出手段11と、前記映像信号から画
面中の画素座標と画素値とを検出する検出手段12と、
該検出した画素が予め格納した注目座標であるか否かを
判定する注目座標判定手段13と、前記画素値を2値デ
ータに変換する2値化処理手段14と、該2値化処理手
段14の出力タイくングに応じて前記2値データを伝播
するビデオ速度遅延記憶手段15と、該ビデオ速度遅延
記憶手段15内で伝播する前記2値データのうちの予め
定められた複数の値を入力とし、該入力が定められた組
み合わせの値であるか否かを判定する画像分布判定手段
16と、前記注目座標判定手段13で注目座標であると
判定し、前記画像分布判定手段16で定められた組み合
わせの値であると判定した時、画素の座標値を特徴点の
座標値として直線近似手段3に出力する特徴点判定手段
17とよりなる。
直線近似手段3は特徴点から路面上のガイドラインの直
線を抽出する。
線を抽出する。
ハンドル量決定手段4は直線近似手段3から得られた直
線パラメータからハンドル量を決定する。
線パラメータからハンドル量を決定する。
たとえばこのハンドル量決定手段は画面の所定の基準点
からガイドラインに降ろした垂線のX方向の成分を含む
パラメータから決定する。あるいはそのX方向の成分の
時間変化さらには走行方向とガイドラインの直線との角
度、原点からその直線に降ろした垂線のそれぞれの時間
変化からハンドル量を決定する。
からガイドラインに降ろした垂線のX方向の成分を含む
パラメータから決定する。あるいはそのX方向の成分の
時間変化さらには走行方向とガイドラインの直線との角
度、原点からその直線に降ろした垂線のそれぞれの時間
変化からハンドル量を決定する。
ハンドル制御手段5はハンドル量決定手段4で決定した
ハンドル量と現在のハンドル位置からハンドルの制御を
行う。
ハンドル量と現在のハンドル位置からハンドルの制御を
行う。
画像入力手段1によって走行路面の画像を入力し、その
画像から実時間画像処理手段2は画像情報の2値化を求
め周辺が所定の画像分布になっている注目画素を特徴点
とする。この注目画素たとえば着目点は予め定められた
画像の位置である。
画像から実時間画像処理手段2は画像情報の2値化を求
め周辺が所定の画像分布になっている注目画素を特徴点
とする。この注目画素たとえば着目点は予め定められた
画像の位置である。
たとえばカラー画像であるならば色抽出手段11によっ
て所定色とカラ−3原色RGBの総和である明度の比率
が所定以上の部分の映像信号を取り出し、その取り出し
た映像信号から画素検出手段12によって画面中の画素
座標と画素値を検出する。そして注目座標判定手段13
によって検出した画素が予め格納した注目座標であるか
否かを判定する。
て所定色とカラ−3原色RGBの総和である明度の比率
が所定以上の部分の映像信号を取り出し、その取り出し
た映像信号から画素検出手段12によって画面中の画素
座標と画素値を検出する。そして注目座標判定手段13
によって検出した画素が予め格納した注目座標であるか
否かを判定する。
また得られた画素値を2値データに2値化処理手段14
で変換し、この変換によって得られるデータと2値化処
理手段14より出力されるタイミングに応じて2値デー
タをビデオ速度遅延記憶手段15で遅延する。またビデ
オ速度遅延記憶手段15は予め定められた複数個の画素
を入力とし、予め定められた組み合わせの値であるか否
かを画像分布判定手段16によって判定する。そして前
記注目座標判定手段13で目標座標であると判別し画像
分布判定手段16で定められた組み合わせの値であると
判定した時に画素の座標値を特徴点として出力する。
で変換し、この変換によって得られるデータと2値化処
理手段14より出力されるタイミングに応じて2値デー
タをビデオ速度遅延記憶手段15で遅延する。またビデ
オ速度遅延記憶手段15は予め定められた複数個の画素
を入力とし、予め定められた組み合わせの値であるか否
かを画像分布判定手段16によって判定する。そして前
記注目座標判定手段13で目標座標であると判別し画像
分布判定手段16で定められた組み合わせの値であると
判定した時に画素の座標値を特徴点として出力する。
この特徴点から直線近似手段3は走行路面上のガイドラ
インに対する直線を抽出し、その抽出した結果によって
ハンドル量決定手段4はハンドル量を決定する。例えば
画面の所定の基準点からガイドラインに降ろした垂線の
X方向の成分を含むパラメータやそのパラメータの時間
変位から決定する。そしてハンドル制御手段5は求めら
れたハンドル量と現在のハンドル位置からハンドル量の
制御を行う。
インに対する直線を抽出し、その抽出した結果によって
ハンドル量決定手段4はハンドル量を決定する。例えば
画面の所定の基準点からガイドラインに降ろした垂線の
X方向の成分を含むパラメータやそのパラメータの時間
変位から決定する。そしてハンドル制御手段5は求めら
れたハンドル量と現在のハンドル位置からハンドル量の
制御を行う。
全画面を記憶していないのでメモリ容量は少なくてすみ
、さらに実時間によってそれぞれの特徴点を求めている
ので高速の処理が可能となる。またハンドル量はガイド
ラインに降ろした垂線のX方向の成分を含むパラメータ
やその時間変化をも考慮して求めているので無意味なハ
ンドル制御はなく、ガイドラインに的確に沿った走行を
行わせることができる。
、さらに実時間によってそれぞれの特徴点を求めている
ので高速の処理が可能となる。またハンドル量はガイド
ラインに降ろした垂線のX方向の成分を含むパラメータ
やその時間変化をも考慮して求めているので無意味なハ
ンドル制御はなく、ガイドラインに的確に沿った走行を
行わせることができる。
以下、図面を用いて本発明の詳細な説明する。
本発明は前述した第7図の無人自走車用制御装置の画像
処理部21とハンドル量決定部23における発明である
。
処理部21とハンドル量決定部23における発明である
。
第2図は本発明の画像処理部の原理構成図、第3図は本
発明の画像処理部の実施例の詳細な構成国である。カメ
ラ20から加わった画像データは(入力)色抽出部40
に加わる。色抽出部40はカラー信号から所定色の信号
を抽出する回路であり、所定色算出部41と明度算出部
42と比較部43とからなる。所定色算出部41と明度
算出部42には、カラ−3原色の強さを表すRGB信号
が入力される。
発明の画像処理部の実施例の詳細な構成国である。カメ
ラ20から加わった画像データは(入力)色抽出部40
に加わる。色抽出部40はカラー信号から所定色の信号
を抽出する回路であり、所定色算出部41と明度算出部
42と比較部43とからなる。所定色算出部41と明度
算出部42には、カラ−3原色の強さを表すRGB信号
が入力される。
所定色算出部41はガイドラインの色や指定された色の
強度を求める。たとえば所定色は3原色のRGBの比率
で指定される。これは次式に示すごとく3つのパラメー
タkLk2、k3で指定される。
強度を求める。たとえば所定色は3原色のRGBの比率
で指定される。これは次式に示すごとく3つのパラメー
タkLk2、k3で指定される。
所定色の強度=RXkl+QXk2+13Xk3(但し
、O≦に1、k2、k3、kl+に2+に3=1)
・ ・ ・(1)たと
えば所定色が緑である場合はkl=0、k2=1.、に
3=0であり、 所定色の強度=Gとなる。
、O≦に1、k2、k3、kl+に2+に3=1)
・ ・ ・(1)たと
えば所定色が緑である場合はkl=0、k2=1.、に
3=0であり、 所定色の強度=Gとなる。
また、明度算出部42はカラ−3原色の強度RGBの和
を求める。比較部43はその所定色の強度が明度の一定
比率C以上であるか否かを判定し一定比率C以上の場合
のみ所定色の信号を出力する。すなわち単に所定色の強
度で判定するのではなく、明度における比率で判定して
いる。これはたとえば暗い場所であっても、また明るい
場所であっても的確に目標の色を抽出するためである。
を求める。比較部43はその所定色の強度が明度の一定
比率C以上であるか否かを判定し一定比率C以上の場合
のみ所定色の信号を出力する。すなわち単に所定色の強
度で判定するのではなく、明度における比率で判定して
いる。これはたとえば暗い場所であっても、また明るい
場所であっても的確に目標の色を抽出するためである。
前述した色抽出部40で得られた色信号は画素検出部5
0に加わる。画素検出部50はA/D変換部51、同期
信号分離部52、X座標生成部53、Y座標生成部54
から戒る6色信号はまずA/D変換部51に加わり、デ
ジタル信号に変換される。変換されたデジタル信号は2
値化処理部35と同期信号分離部52に加わる。同期信
号分離部52はX座標生成用同期信号をX座標生成部5
3に、Y座標生成用同期信号をY座標生成部54に入力
する。たとえばテレビカメラによる画像であるならばX
座標生成部53に加わるX座標生成用同期信号は水平同
期信号であり、Y座標生成部54に加わるY座標生成用
同期信号は垂直同期信号である。これらの同期信号によ
り現在の色信号における座標がこのX座標生成部53、
Y座標生成部54によって生成される。X座標生成部5
3で生成したX座標並びにY座標生成部54で生成した
Y座標は注目座標判定部70に入力される。
0に加わる。画素検出部50はA/D変換部51、同期
信号分離部52、X座標生成部53、Y座標生成部54
から戒る6色信号はまずA/D変換部51に加わり、デ
ジタル信号に変換される。変換されたデジタル信号は2
値化処理部35と同期信号分離部52に加わる。同期信
号分離部52はX座標生成用同期信号をX座標生成部5
3に、Y座標生成用同期信号をY座標生成部54に入力
する。たとえばテレビカメラによる画像であるならばX
座標生成部53に加わるX座標生成用同期信号は水平同
期信号であり、Y座標生成部54に加わるY座標生成用
同期信号は垂直同期信号である。これらの同期信号によ
り現在の色信号における座標がこのX座標生成部53、
Y座標生成部54によって生成される。X座標生成部5
3で生成したX座標並びにY座標生成部54で生成した
Y座標は注目座標判定部70に入力される。
また注目座標判定部70を介して特徴点判定部80内の
レジスタRG8、RG9に入力する。
レジスタRG8、RG9に入力する。
本発明の実施例においては、たとえばテレビカメラから
得られる分解能に対応して全てのドツトに対して特徴点
を抽出するのではなく、予め定められた座標に対応して
その座標が特徴点であるか否かを判別する。このため注
目座標判定部70はX座標生成部53、Y座標生成部5
4より加わるX座標並びにY座標が注目座標であるか否
かを判別する。注目座標格納部71には予め注目すべき
座標が格納されており、加わるX座標Y座標を比較し一
致した場合、一致信号を特徴点判定部80のアンドゲー
トANDに加える。
得られる分解能に対応して全てのドツトに対して特徴点
を抽出するのではなく、予め定められた座標に対応して
その座標が特徴点であるか否かを判別する。このため注
目座標判定部70はX座標生成部53、Y座標生成部5
4より加わるX座標並びにY座標が注目座標であるか否
かを判別する。注目座標格納部71には予め注目すべき
座標が格納されており、加わるX座標Y座標を比較し一
致した場合、一致信号を特徴点判定部80のアンドゲー
トANDに加える。
一方、画素検出部50のA/D変換部51でデジタルデ
ータに変換された信号は2値化処理部35に加わり予め
定められたスレッシュホールドレベル(M値)で2値化
される。すなわち0.1信号となる。この2値化された
信号はビデオ速度遅延記憶部60に加わる。ビデオ速度
遅延記憶部60はレジスタRGI〜RG7とラインバッ
ファ61.62とより戒る。2値化された信号は先ずレ
ジスタRGIに加わる。レジスタRGIの出力はレジス
タRG2とラインバッファ61に加わる。
ータに変換された信号は2値化処理部35に加わり予め
定められたスレッシュホールドレベル(M値)で2値化
される。すなわち0.1信号となる。この2値化された
信号はビデオ速度遅延記憶部60に加わる。ビデオ速度
遅延記憶部60はレジスタRGI〜RG7とラインバッ
ファ61.62とより戒る。2値化された信号は先ずレ
ジスタRGIに加わる。レジスタRGIの出力はレジス
タRG2とラインバッファ61に加わる。
ラインバッフ161の出力はレジスタRG3、RG4、
RG5の順に順次加わる。レジスタR(1,3の出力は
またラインバッフ162に加わりラインバッフプロ2の
出力はレジスタRG6、RG7に順次加わる。そしてレ
ジスタRG2、RG3、RG4、RG5、RG7の出力
はそれぞれ画像分布判定部3.6に加わる。ラインバッ
ファ61はテレビカメラの1走査線のドツトを記憶する
レジスタでありラインバッファ61はたとえばシフトレ
ジスタでる。また同様にラインバッファ62はl走査線
のドツトを記憶するレジスタである。すなわち順次加わ
るドツト信号に対応し、レジスタRG1を介してライン
バッファ61で1ライン目が遅延され、また同様に次の
1ライン(2ライン目)がまたラインバッフプロ1に加
わった時ラインバッファ62にそのlライン目が加わり
記憶される。
RG5の順に順次加わる。レジスタR(1,3の出力は
またラインバッフ162に加わりラインバッフプロ2の
出力はレジスタRG6、RG7に順次加わる。そしてレ
ジスタRG2、RG3、RG4、RG5、RG7の出力
はそれぞれ画像分布判定部3.6に加わる。ラインバッ
ファ61はテレビカメラの1走査線のドツトを記憶する
レジスタでありラインバッファ61はたとえばシフトレ
ジスタでる。また同様にラインバッファ62はl走査線
のドツトを記憶するレジスタである。すなわち順次加わ
るドツト信号に対応し、レジスタRG1を介してライン
バッファ61で1ライン目が遅延され、また同様に次の
1ライン(2ライン目)がまたラインバッフプロ1に加
わった時ラインバッファ62にそのlライン目が加わり
記憶される。
そして順次シフトすると次の3ライン目がレジスタRG
Iに、ラインバッファ61の第2ライン目のデータがR
G3に、ラインバッファ62の第1ライン目のドツトが
RG6に加わる。そして次のクロックによってレジスタ
RG2に第3ラインの1ドフト目がレジスタRG4に第
2ライン目の1ドツト目が、レジスタRG3に第2ライ
ン目の2ドツト目力(、レジスタRG7に第1ラインの
lドツト目が、レジスタRG6に第1ラインの2ドツト
目が加わる。同様に次のクロック(このクロックは2値
化処理部によって発生される。)で順次シフトする。
Iに、ラインバッファ61の第2ライン目のデータがR
G3に、ラインバッファ62の第1ライン目のドツトが
RG6に加わる。そして次のクロックによってレジスタ
RG2に第3ラインの1ドフト目がレジスタRG4に第
2ライン目の1ドツト目が、レジスタRG3に第2ライ
ン目の2ドツト目力(、レジスタRG7に第1ラインの
lドツト目が、レジスタRG6に第1ラインの2ドツト
目が加わる。同様に次のクロック(このクロックは2値
化処理部によって発生される。)で順次シフトする。
画像分布判定部36には前述したごとくレジスタRG2
、RG3、RG4、RG5、RG7 (図中二重線)の
出力が加わっている。このレジスタRG2、RG3、R
G4、RC5、RGlにはレジスタRG4を中心とした
上下左右のドツトの座標の2値化データが前述した動作
により記憶され、画像分布判定部32はレジスタRG4
の上下左右の値が予め定められたパターンであるかを求
める。
、RG3、RG4、RG5、RG7 (図中二重線)の
出力が加わっている。このレジスタRG2、RG3、R
G4、RC5、RGlにはレジスタRG4を中心とした
上下左右のドツトの座標の2値化データが前述した動作
により記憶され、画像分布判定部32はレジスタRG4
の上下左右の値が予め定められたパターンであるかを求
める。
これらのレジスタRG2、RG3、RG4、RG5、R
G7で記憶するデータは2値化画像であるので、たとえ
ばこれは全て11あるいは全て0等のものでよい。予め
定められたパターンであった場合、画像分布判定部36
は特徴点判定部80のアンドゲートANDに1を出力す
る。
G7で記憶するデータは2値化画像であるので、たとえ
ばこれは全て11あるいは全て0等のものでよい。予め
定められたパターンであった場合、画像分布判定部36
は特徴点判定部80のアンドゲートANDに1を出力す
る。
一方、前述したごとく注目座標判定部70において注目
座標を検出すると注目座標判定部70は1を出力するの
で、画像分布判定部36によって特定パターンを検出し
た場合にはアンドゲートは1をカウンタ81に加える。
座標を検出すると注目座標判定部70は1を出力するの
で、画像分布判定部36によって特定パターンを検出し
た場合にはアンドゲートは1をカウンタ81に加える。
特徴点判定部80のカウンタ81はこのアンドゲートか
ら出力されるlをカウントしカウント値を特徴点格納部
37に加える。カウンタ81の値の他にアンドゲートの
出力も図示しないが加わっており、特徴点格納部はアン
ドゲートの出力が1となった時のカウンタ81の値並び
にレジスタRG8、RG9の値を取り込む。なおこの時
特徴点格納部37はカウンタ81の値をアドレスとして
レジスタRG8、RG9の値を格納する。すなわち注目
座標格納部で注目点と判定され、さらに画像分布判定部
36で予め定められたパターンであると判定された時の
座標を順次格納する。
ら出力されるlをカウントしカウント値を特徴点格納部
37に加える。カウンタ81の値の他にアンドゲートの
出力も図示しないが加わっており、特徴点格納部はアン
ドゲートの出力が1となった時のカウンタ81の値並び
にレジスタRG8、RG9の値を取り込む。なおこの時
特徴点格納部37はカウンタ81の値をアドレスとして
レジスタRG8、RG9の値を格納する。すなわち注目
座標格納部で注目点と判定され、さらに画像分布判定部
36で予め定められたパターンであると判定された時の
座標を順次格納する。
前述した色抽出部40、画素検出部50.2値化処理部
35、ビデオ速度遅延記憶部60、注目座標判定部70
、特徴点判定部80、画像分布判定部36はそれぞれ画
像情報が加わるたびに処理を行うのでリアルタイムで特
徴点を求めている。
35、ビデオ速度遅延記憶部60、注目座標判定部70
、特徴点判定部80、画像分布判定部36はそれぞれ画
像情報が加わるたびに処理を行うのでリアルタイムで特
徴点を求めている。
またリアルタイムで処理を行え入力画像を1画像分記憶
するメモリ等を必要としない。
するメモリ等を必要としない。
一方第7図において、画像処理部で得られた特徴点を直
線近似部22は直線近似し、第8図に示すように原点か
ら直線近似した距離ρ、並びにY軸と直線との角度θを
パラメータとしハンドル量決定部23に加える。第4図
は本発明のハンドル量決定部の構成国である。直線近似
部より加わるθ、ρを入力とし、θは垂線のX成分算出
部91、時間変化算出部92、ファジー推論部93に加
わる。またρは垂線のxIfc分算出部91に加わる。
線近似部22は直線近似し、第8図に示すように原点か
ら直線近似した距離ρ、並びにY軸と直線との角度θを
パラメータとしハンドル量決定部23に加える。第4図
は本発明のハンドル量決定部の構成国である。直線近似
部より加わるθ、ρを入力とし、θは垂線のX成分算出
部91、時間変化算出部92、ファジー推論部93に加
わる。またρは垂線のxIfc分算出部91に加わる。
垂線のX成分算出部9工は原点から入力した直線へ降ろ
した垂線のX成分を求める演算部であり、得られる結果
はρcos θである。この垂線のX成分算出部91の
出力は時間変化算出部92、ファジィ推論部93に加わ
る。時間変化算出部92は特定時間単位、たとえばテレ
ビカメラが加わる1画像単位等によってθの変化並びに
ρcos θの変化(Δθ、Δρcosθ)を算出する
。そしてその出力はファジィ推論部93に加わる。ファ
ジィ推論部93はρcosθとθやΔρcosθ等によ
ってハンドル量を決定する回路である。なおこのファジ
ィ推論部93にはファジィルール部94が接続しており
、ファジィ推論部93は予めファジィルール部94に格
納されているファジィルールに則りハンドル量を決定す
る。
した垂線のX成分を求める演算部であり、得られる結果
はρcos θである。この垂線のX成分算出部91の
出力は時間変化算出部92、ファジィ推論部93に加わ
る。時間変化算出部92は特定時間単位、たとえばテレ
ビカメラが加わる1画像単位等によってθの変化並びに
ρcos θの変化(Δθ、Δρcosθ)を算出する
。そしてその出力はファジィ推論部93に加わる。ファ
ジィ推論部93はρcosθとθやΔρcosθ等によ
ってハンドル量を決定する回路である。なおこのファジ
ィ推論部93にはファジィルール部94が接続しており
、ファジィ推論部93は予めファジィルール部94に格
納されているファジィルールに則りハンドル量を決定す
る。
第5図、第6図は本発明の第1、第2のファジィルール
図表である。第5図における本発明の第1のファジィル
ールにおいては、ρCOS θとθの変化によってハン
ドル量を決定している。すなわちρcos θ、θが距
離無し、ずれ無しの時、ハンドル量は無し、小さく右で
ずれ無しの時小さく右、小さく左でずれ無しの時小さく
左、距離無しで小さく右の時小さく右、距離無しで小さ
く左の時小さく左、小さく右で小さく右の時大きく右、
小さく左で小さく左の時大きく左、大きく右でずれ無し
の時大きく右、大きく左でずれ無しの時大きく左、距離
無しで大きく右の時大きく右、距離無しで大きく左の時
大きく左、とそれぞれ制御する。
図表である。第5図における本発明の第1のファジィル
ールにおいては、ρCOS θとθの変化によってハン
ドル量を決定している。すなわちρcos θ、θが距
離無し、ずれ無しの時、ハンドル量は無し、小さく右で
ずれ無しの時小さく右、小さく左でずれ無しの時小さく
左、距離無しで小さく右の時小さく右、距離無しで小さ
く左の時小さく左、小さく右で小さく右の時大きく右、
小さく左で小さく左の時大きく左、大きく右でずれ無し
の時大きく右、大きく左でずれ無しの時大きく左、距離
無しで大きく右の時大きく右、距離無しで大きく左の時
大きく左、とそれぞれ制御する。
また第2のファジールールにおいてはρCOSθ、Δρ
cos θが距離無しでずれ真しの時ハンドル量を無し
、小さく右で小さく左の時無し、小さく左で小さく右の
とき無し、小さく右で大きく左の時小さく左、小さく左
で大きく右の時小さく右、大きく右で小さく左の時小さ
く右、大きく左で小さく右の時小さく左のように制御す
る。以上のようなファジィルールを用いることにより、
第13図に示すような、予めガイドラインが左から右に
現在のハンドル量で変化している時には、すなわち第4
図、第6図における現時点においてはρcosθは小さ
く左となりΔρcos θは大きく右となってそのハン
ドル量は小さく右となる。従来においては小さく左にハ
ンドルを切ってしまっているが本発明のハンドル量では
小さく右となり、的確にガイドラインの移動を判断して
いる。
cos θが距離無しでずれ真しの時ハンドル量を無し
、小さく右で小さく左の時無し、小さく左で小さく右の
とき無し、小さく右で大きく左の時小さく左、小さく左
で大きく右の時小さく右、大きく右で小さく左の時小さ
く右、大きく左で小さく右の時小さく左のように制御す
る。以上のようなファジィルールを用いることにより、
第13図に示すような、予めガイドラインが左から右に
現在のハンドル量で変化している時には、すなわち第4
図、第6図における現時点においてはρcosθは小さ
く左となりΔρcos θは大きく右となってそのハン
ドル量は小さく右となる。従来においては小さく左にハ
ンドルを切ってしまっているが本発明のハンドル量では
小さく右となり、的確にガイドラインの移動を判断して
いる。
第12図における効果も同様である。
以上述べたように、本発明によれば少量のメモリで実時
間で入力画像から特徴点を抽出するので安価で高速の処
理を行うことができる。また、ガイドラインが車体の進
行方向と直角に近い場合やさらにはガイドラインの時間
変動に依存せず適当なハンドル量を算出することができ
る。
間で入力画像から特徴点を抽出するので安価で高速の処
理を行うことができる。また、ガイドラインが車体の進
行方向と直角に近い場合やさらにはガイドラインの時間
変動に依存せず適当なハンドル量を算出することができ
る。
第1図は本発明の原理ブロック図、
第2図は本発明の画像処理部の原理構成図、第3図は本
発明の画像処理部の実施例の詳細な構成図、 第4図は本発明のハンドル量決定部の構成図、第5図は
本発明の第1のファジィルールの図表、第6図は本発明
の第2のファジィルールの図表、第7図は無人自走車用
制御l装置の構成図、第8図はガイドラインを表すパラ
メータの説明図、 第9図は従来の画像処理部の構成図、 第10図は従来のハンドル量決定部の構成図、第11図
は従来のファジィルールの図表、第12図は車体がガイ
ドラインに自然に近づく場合を示す図、 第13図はガイドラインが大きく変動している例を示す
図である。 1・・・画像入力手段、 2・・・実時間画像処理手段、 3・・・直線近似手段、 4・・・ハンドル量決定手段、 5・・・ハンドル制御手段、 1工・・・色抽出手段、 12・・・画素検出手段、 13・・・注目座標判定手段、 14・・・2値化処理手段、 15・・・ビデオ速度遅延記憶手段、 16・・・画像分布判定手段、 17・・・特徴点判定手段。
発明の画像処理部の実施例の詳細な構成図、 第4図は本発明のハンドル量決定部の構成図、第5図は
本発明の第1のファジィルールの図表、第6図は本発明
の第2のファジィルールの図表、第7図は無人自走車用
制御l装置の構成図、第8図はガイドラインを表すパラ
メータの説明図、 第9図は従来の画像処理部の構成図、 第10図は従来のハンドル量決定部の構成図、第11図
は従来のファジィルールの図表、第12図は車体がガイ
ドラインに自然に近づく場合を示す図、 第13図はガイドラインが大きく変動している例を示す
図である。 1・・・画像入力手段、 2・・・実時間画像処理手段、 3・・・直線近似手段、 4・・・ハンドル量決定手段、 5・・・ハンドル制御手段、 1工・・・色抽出手段、 12・・・画素検出手段、 13・・・注目座標判定手段、 14・・・2値化処理手段、 15・・・ビデオ速度遅延記憶手段、 16・・・画像分布判定手段、 17・・・特徴点判定手段。
Claims (1)
- 【特許請求の範囲】 1)走行路面の画像を入力する画像入力手段(1)と、 該画像入力手段(1)より加わる入力画像から、所定の
色を取り出すとともに前記入力画像を2値化した後、周
辺が所定の画像分布になっている所定の注目画素を特徴
点として抽出する実時間画像処理手段(2)と、 前記特徴点から走行路面上のガイドラインの直線を抽出
する直線近似手段(3)と、 該直線近似手段(3)より得られた直線位置からハンド
ル量を決定するハンドル量決定手段(4)と、 該ハンドル量と現在のハンドル位置からハンドルの制御
を行うハンドル制御手段(5)とよりなることを特徴と
する無人自走車用制御装置。 2)前記実時間画像処理手段(2)は、 カラー画像を入力し、該カラー画像から明度の比率が所
定値以上の部分の映像信号のみを取り出す色抽出手段(
11)と、 前記映像信号から画面中の画素座標と画素値とを検出す
る検出手段(12)と、 該検出した画素が予め格納した注目座標であるか否かを
判定する注目座標判定手段(13)と、前記画素値を2
値データに変換する2値化処理手段(14)と、 該2値化処理手段(14)の出力タイミングに応じて前
記2値データを伝播するビデオ速度遅延記憶手段(15
)と、 該ビテオ速度遅延記憶手段(15)内で伝播する前記2
値データのうちの予め定められた複数の画素値を入力と
し、該入力が定められた組み合わせの値であるか否かを
判定する画像分布判定手段(16)と、 前記注目座標判定手段(13)で注目座標であると判定
し、前記画像分布判定手段(16)で定められた組み合
わせの値であると判定した時、画素の座標値を特徴点の
座標値として直線近似手段(3)に出力する特徴点判定
手段(17)とよりなることを特徴とする請求項1記載
の無人自走車用制御装置。 3)前記ハンドル量決定手段(4)は画面の所定の基準
点からガイドラインに降ろした垂線のx方向の成分を含
むパラメータからハンドル量を決定することを特徴とす
る請求項1記載の無人自走車用制御装置。 4)前記ハンドル量決定手段(4)は画面の所定の基準
点からガイドラインに降ろした垂線のx方向の成分を含
むパラメータの時間変化からハンドル量を決定すること
を特徴とする請求項1記載の無人自走車用制御装置。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1223180A JP2677310B2 (ja) | 1989-08-31 | 1989-08-31 | 無人自走車用制御装置 |
| US07/554,365 US5087969A (en) | 1989-07-20 | 1990-07-19 | Unmanned vehicle control system with guide line detection |
| DE69027633T DE69027633T2 (de) | 1989-07-20 | 1990-07-20 | Automatische Fahrzeugführung entlang Führungslinien |
| EP90307947A EP0409642B1 (en) | 1989-07-20 | 1990-07-20 | Automatic guidance of vehicles along guide lines |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1223180A JP2677310B2 (ja) | 1989-08-31 | 1989-08-31 | 無人自走車用制御装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0387904A true JPH0387904A (ja) | 1991-04-12 |
| JP2677310B2 JP2677310B2 (ja) | 1997-11-17 |
Family
ID=16794060
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1223180A Expired - Fee Related JP2677310B2 (ja) | 1989-07-20 | 1989-08-31 | 無人自走車用制御装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2677310B2 (ja) |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01125004U (ja) * | 1988-02-16 | 1989-08-25 |
-
1989
- 1989-08-31 JP JP1223180A patent/JP2677310B2/ja not_active Expired - Fee Related
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH01125004U (ja) * | 1988-02-16 | 1989-08-25 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2677310B2 (ja) | 1997-11-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US5087969A (en) | Unmanned vehicle control system with guide line detection | |
| Turk et al. | Video road-following for the autonomous land vehicle | |
| US11893801B2 (en) | Flagman traffic gesture recognition | |
| Ismail et al. | Vision-based system for line following mobile robot | |
| JPH1049689A (ja) | 画像処理装置 | |
| JP4584120B2 (ja) | 道路区画線検出装置、道路区画線の検出方法、道路区画線の検出プログラム | |
| JPH05116557A (ja) | 車両の自動速度制御装置及び距離検出装置 | |
| JPS6270916A (ja) | 自動走行作業車用の境界検出方法 | |
| JP2677310B2 (ja) | 無人自走車用制御装置 | |
| JP2520104B2 (ja) | 自動走行作業車用の境界検出装置 | |
| JP3857612B2 (ja) | 車線境界検出装置 | |
| JPH0757200A (ja) | 走路認識装置および走路認識方法 | |
| JPH0396451A (ja) | 車両用障害物検出装置 | |
| JP2664182B2 (ja) | 交通流計測システム | |
| JP2829536B2 (ja) | 移動車の環境認識装置 | |
| JPH03278205A (ja) | 自動走行作業車用の境界検出装置 | |
| JPH0410200A (ja) | 車線端認織装置 | |
| JP2611325B2 (ja) | 車両用道路認識装置 | |
| JPH07179290A (ja) | クレーンの荷振れ検知装置 | |
| JPS6272010A (ja) | 自動走行作業車用の境界検出装置 | |
| JPH01265399A (ja) | 車両用道路認識装置 | |
| JP3220578B2 (ja) | 道路画像の白線認識装置 | |
| JPS6261507A (ja) | 自動走行作業車用の境界検出装置 | |
| JPS63225808A (ja) | 自動走行作業車用の境界検出方法 | |
| JP4694441B2 (ja) | 車両周辺監視システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |