JPH0575330B2 - - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、未処理作業地と処理済作業地との境
界に対応する直線を検出する撮像式の境界検出装
置に関する。

〔従来の技術〕 上記この種の撮像式の境界検出装置は、作業車
を境界に沿つて自動走行させるための制御情報を
検出するために用いられるものであり、そして、
未処理作業地と処理済作業地との明るさが異なつ
て見えることを利用して、撮像した画素情報を画
素処理することにより、明るさ変化が大きい部分
を通る直線を、未処理作業地と処理済作業地との
境界に対応した情報として検出するようにしたも
のである。

そして、従来では、作業地を二次元方向に亘つ
て撮像し、その撮像情報より、上記境界に交差す
る一つの方向での明るさの微分値を、２次元方向
に並ぶ各量子化画素について求め、その微分値に
基づいて、明るさ変化が大きい画素を２値化処理
により抽出し、そして、ハフ変換処理を利用し
て、抽出された画素の夫々に対して、その画素を
通り且つ設定角度づつ方向の異なる多数本の直線
を求め、求めた全直線のうちの最大頻度となるも
のを、境界に対応した直線を示す情報として検出
するようにしてあつた。

〔発明が解決しようとする問題点〕

上記従来構成においては、２値化された画素の
全てをハフ変換処理の対象とすること、並びに、
ハフ変換処理において、処理の対象になる画素の
夫々に対して、その画素を通る多数本直線を求め
らければならないこと、及び、求めた多大な量の
直線のうちの最大頻度となる直線を求めなければ
ならないことに起因して、画像処理における演算
処理量が非常に多くなつて、画像処理の高速化が
困難であつた。

ところで、検出された直線の情報は、作業車を
未処理作業地と処理済作業地との境界に沿つて自
動走行させるための制御情報等として利用される
ものであるため、作業車の走行速度に対応する処
理速度で画像処理する必要があり、画像処理の高
速化が望まれている。

本発明は、上記実情に鑑みてなされたものであ
つて、その目的は、演算処理量を減らすことによ
り、画像処理の高速化を図ることにある。

〔問題点を解決するための手段〕

本発明による撮像式の境界検出装置の特徴構成
は、作業地を二次元方向に亘つて撮像する撮像手
段、その撮像手段の撮像情報により、二次元方向
に並ぶ各量子化画素の直交する２方向夫々の明る
さの微分値を求める微分手段、求められた直交す
る２方向夫々の微分値より、最大明るさ変化方向
に対応する傾きを求める傾き演算手段、求められ
た前記微分値と前記傾きとに基づいて、明るさ変
化が大なるで且つ設定傾き範囲内の画素を抽出す
る画素抽出手段、その画素抽出手段にて抽出され
た各画素夫々の前記傾きと直交する直線を求める
直線演算手段、その直線演算手段によつて求めら
れた直線のうちの最大頻度となるものを抽出する
直線抽出手段の夫々を備えている点にあり、その
作用並びに効果は以下の通りである。

〔作 用〕

すなわち、二次元方向に亘つて撮像された画素
情報の各量子化画素毎に、その最大明るさ変化方
向の傾きを求めると共に、その傾きが設定範囲内
で且つ明るさ変化が大である画素のみを抽出し、
そして、抽出された各画素の夫々について、先に
求められた傾きと直交する一つの直線を求め、求
められたそれらの直線のうちの最大頻度となるも
のを、境界に対応する直線として抽出するのであ
る。

ちなみに、傾きが設定範囲の画素を、境界検出
のための対象画素として特定できるのは、本発明
の境界検出装置が作業車の操向制御に適用される
ものであるため、境界と作業車との傾きが大きく
ずれることはないからである。

〔発明の効果〕

従つて、二次元方向に亘つて撮像された画像情
報の各量子化画素毎の明るさ変化方向の傾きを、
各画素を通る直線を求める処理よりも先に求め、
そして、その傾き範囲が境界を検出する範囲内と
なり、且つ明るさ変化が大である画素のみを、直
線を検出するための画素として抽出するので、直
線を求める処理を行う際に対象とする画素数を大
幅に減らすことができる。更に、直線を求める処
理としては、先に求められた傾きと直交する一つ
の直線を求めるだけでよいものとなり、直線を求
める際の演算量を、従来のように、各画素を通る
多数本の直線を求めるものに対して大幅に削減で
きる。しかも、それに伴い、その最大頻度となる
ものを求める際の演算量も、従来に比して、大幅
に削減できる。もつて、全体として、画素処理の
高速化を図ることができるものであり、作業車の
自動走行に使用するのに極めて有用になつた。

〔実施例〕

以下、本発明の実施例を図面に基づいて説明す
る。

第７図に示すように、左右一対の前後輪１，２
が、その何れをもステアリング操作自在に設けら
れ、車体Ｖの下腹部に、芝刈り装置３が上下動自
在に懸架され、もつて、芝や雑草等の刈取作業に
用いる作業車が構成されている。

作業地を二次元方向に亘つて撮像する撮像手段
としてのイメージセンサS₁が、前記車体Ｖに対し
て前方側の作業地を撮像するように設けられてい
る。

前記イメージセンサS₁の撮像視野について説明
を加えれば、前記車体Ｖが、未処理作業地Ｂと処
理済作業地Ｃとの境界Ｌに対して適正状態に沿つ
ている状態において、前記境界Ｌが、視野の幅巾
方向中央に位置する状態となるようにしてある。

前記車体Ｖの構成について説明すれば、第６図
に示すように、前記前後輪１，２を各別に操作す
るステアリング用の油圧シリンダ４，５、及び、
それに対する制御弁６，７が設けられ、前後進切
り換え自在で且つ前後進ともに変速自在な油圧式
無段変速装置８が、エンジンＥに連動連結され、
そして、変速モータ９が、前記変速装置８の変速
アーム１０に連動連結されている。

又、前記車体Ｖの走行距離を検出するために、
単位回転数当たり設定個数のパルス信号を出力す
る回転数センサS₂が、前記変速装置８の出力にて
回転駆動されるように設けられている。

前記前後輪１，２夫々のステアリング位置を検
出するステアリング位置検出用ポテンシヨメータ
R₁，R₂と、前記変速装置８の操作状態を検出す
る変速位置検出用ポテンシヨメータR₃とが設け
られ、それらの検出情報、前記イメージセンサS₁
の撮像情報に基づいて求められる境界Ｌに対応す
る直線の情報、及び、前記回転数センサS₂の検出
情報に基づいて、前記車体Ｖが前記境界Ｌに沿つ
て自動走行するように制御するマイクロコンピユ
ータ利用の制御装置１１が設けられている。

尚、図中、Ｈは搭乗操縦用のステアリングハン
ドル、R₀はその操作位置検出用ポテンシヨメー
タ、１２は搭乗操縦用の変速ペダルである。

但し、前記イメージセンサS₁の撮像画像情報を
画像処理して、前記境界Ｌに対応した直線を検出
するための各種手段が、前記制御装置１１を利用
して構成されている。

前記車体Ｖの自動走行について説明すれば、第
８図に示すように、処理済作業地Ｃで囲まれた四
角状の未処理作業地Ｂの一辺から対辺に至る部分
を、一つの作業行程として、車体Ｖが作業行程の
長さ方向に沿う側の前記未処理作業地Ｂと処理済
作業地Ｃとの境界L₁に沿つて自動走行するよう
に、前記画像処理にて検出された情報に基づいて
操向制御されることになり、そして、一つの作業
行程の終端側の境界L₂つまり前記未処理作業地
Ｂの対辺に達するに伴つて、その作業行程に交差
する次の作業行程の始端部に向けて自動的にター
ンさせることを繰り返すことにより、いわゆる回
り刈り形式で、所定範囲の芝刈り作業を自動的に
行わせることになる。

前記制御装置１１の動作を述べながら説明を加
えると、第２図に示すように、走行が開始される
と、前記回転数センサS₂の検出情報に基づいて設
定距離走行する毎に、後述の境界検出処理が行わ
れ、その検出情報に基づいて、前記終端側の境界
L₂が検出されたか否かを判別する。

前記終端側の境界L₂が検出された場合は、そ
の画像上の位置情報に基づいて、車体Ｖの現在位
置に対する終端位置を算出して、その算出された
位置まで前記前後輪１，２をステアリングニユー
トラルの状態に維持することにより、直進させた
後、予め設定記憶されたターンパターンに基づい
て、次の作業行程に向けてターンさせることにな
る。

前記終端側の境界L₂が検出されなかつた場合
は、検出された行程側の境界L₁に沿つて自動走
行するように、その行程側の境界L₁に対するず
れを算出して、操向制御されることなる。

そして、例えば、予め設定された行程数を走行
したか否か、あるいは、設定された走行距離に達
したか否か等を判別することにより、作業終了か
否かを判断して、作業終了でない場合は、前述の
境界検出処理以降の処理を繰り返すことになり、
一方、作業終了の場合は、前記車体Ｖを停止させ
て、全処理を終了することになる。

前記行程側の境界L₁に対するずれの算出につ
いて説明を加えれば、車体横軸方向に向かう位置
のずれと、境界L₁の向きに対する傾きのずれと
があるが、それらを定量的な値として算出しても
よく、又、単にずれの方向だけを算出するように
してもよい。

又、操向制御の処理について説明を加えれば、
平行ステアリング形式にて、車体横幅方向の位置
のずれを修正し、４輪ステアリング形式にて、向
きのずれを修正することになる。但し、前記前後
輪１，２のステアリング量に差を付けて、位置と
向きのずれを同時に修正するようにしてもよい。

次に、第１図に示すフローチヤートに基づい
て、前記境界検出の処理について詳述する。

但し、以下に説明する境界検出の処理は、前記
未処理作業地Ｂが処理済作業地Ｃよりも暗く見え
る現象を利用して行われるものである。

すなわち、境界検出処理が開始されるに伴つ
て、前記イメージセンサS₁による撮像処理が行わ
れると共に、その撮像画像情報が、予め設定され
た画素密度に対応して量子化される。

次に、第３図にも示すように、処理対象となる
画素ｅの周囲に隣接する８画素ａ〜ｄ，ｆ〜ｉを
含む９画素を覆う３×３画素分のマスクを用い
て、下記(i)、(ii)式に基づいて、画像上のｘ軸方向
及びｙ軸方向夫々における明るさ変化の微分値
SX，SYを演算する処理が、二次元方向に並ぶ各
画素について行われる。

SX（ｘ，ｙ）＝（ｃ＋2f＋ｉ）−（ａ＋
2d＋ｇ）……(i) SY（ｘ，ｙ）＝（ｇ＋2h＋ｉ）−（ａ
＋2b＋ｃ）……(ii) 尚、このｘ軸方向及びｙ軸方向夫々における明
るさ変化の微分値SX，SYを演算する処理が、微
分手段１００に対応することになる。

そして、下記(iii)式に示すように、前記各微分値
SX，SYの絶対値を加算することにより、各画素
ｘ，ｙの明るさ変化の大きさを代表する微分値
JPを求める。

JP（ｘ，ｙ）＝｜SX｜＋｜SY｜ ……(iii) 更に、下記(iv)式を用いて、前記各微分値SX，
SYから、前記各画素ｘ，ｙ毎の最大明るさ変化
方向に対応する傾きBPを演算する。

BP（ｘ，ｙ）＝tan^-1（SY／SX） ……(iv) 但し、前記傾きBPは、ｘ軸を基準にして、時
計回りの方向での角度変化として定義してある。

尚、この傾きBPを求める処理が、傾き演算手
段１０１に対応することになる。

そして、前記微分値JPが予め設定された設定
閾値以上の大きさとなる画素のみを抽出するよう
に２値化することにより、明るさ変化が大なる箇
所の画素を抽出する。

次に、第４図にも示すように、前記傾きBPの
値に基づいて、前記ｘ軸に対して±30度以内の傾
きとなる画素を再抽出することにより、後述のハ
フ変換処理の対象となる画素の候補数を予め減ら
すようにする。

説明を加えれば、前述の如く、車体Ｖは未処理
作業地Ｂと処理済作業地Ｃとの境界Ｌに沿つて各
作業行程を走行するようになつていることから、
車体Ｖの向きや前記境界Ｌに対する横軸方向の位
置がずれたとしても、大幅にずれることはないも
のであり、従つて、処理対象となる画素の最大明
るさ変化方向の傾きが±30度以内となるもののみ
を処理対象としても、前記行程側の境界L₁は的
確に検出できるのである。

そして、前記角度制限を加えた各画素毎に、そ
の画素を通り、且つ、前記傾きBPと直交する直
線を、下記(v)式に示すように、ハフ変換処理を用
いて求めると共に、その頻度をヒストグラムにと
り、そして、そのヒストグラムから、最大頻度と
なる一つの直線を求めて、その直線を、前記作業
行程に沿う方向に向かう境界L₁に対応する直線
として検出する。

ρ＝ｘ・cosθ＋ｙ・sinθ ……(v) 引き続き、前記傾きBPの値に基づいて、前記
行程側の境界L₁に対して直交する方向となる270
度近傍（240度以上〜300度以内）の傾きとなる画
素を再抽出する。つまり、前記終端側の境界L₂
は、前記作業行程側の境界L₁に対して直交する
方向にあり、且つ、前述の如く、車体Ｖが前記境
界L₁に沿つて走行するように操向制御されてい
ることからも、その傾き範囲が大きく異なること
はない。従つて、前記作業行程に沿う方向の境界
L₁を検出する場合と同様に、角度制限を加えて
処理対象の画素を減らすことにより、精度を低下
させることなく、画像処理の高速化を図るように
してある。

そして、第５図にも示すように、270度近傍に
角度制限されて抽出された画素の夫々について、
前記傾きBPと直交し、且つ、その画素を通る一
つの直線を、前述のハフ変換処理にて求め、それ
ら直線から、最大頻度となる一つの直線を抽出す
ることにより、前記終端側の境界L₂に対応した
直線を検出するのである。

尚、前記行程側の境界L₁に対応した直線を求
める処理、及び、終端側の境界L₂を求める処理
の夫々において、前記微分値JPが予め設定され
た閾値以上の大きさとなる画素のみを抽出するよ
うに２値化する処理と、その２値化された画像か
ら前記傾きBPが設定範囲にあるものを抽出する
処理とによつて、画素抽出手段１０２が構成され
ていることになる。

又、ハフ変換処理を用いて画素毎の直線を求め
る処理が、直線演算手段１０３に対応し、その求
められた直線のうちの最大頻度のものを抽出する
処理が、直線抽出手段１０４に対応することにな
る。

さらに、この境界検出の処理において、説明の
ために用いた画面は仮想上のものであり、前記各
境界L₁，L₂に対応した直線が、実際に引かれる
ことはなく、最大頻度となる前記(v)式にて求めら
れた値ρと、その値となる前記BPから代入した
角度θの値とを、検出した直線に対応する情報と
して使用することになる。そして、境界に対する
ずれの算出や終端位置の算出の処理において、そ
れらの値ρ，θに基づいて、車体Ｖに対する実際
の境界L₁，L₂の位置を算出することになる。

前記終端側の境界L₂が検出されたか否かの判
別について説明すれば、前述の境界検出処理が設
定距離毎に行われることから、今回の境界検出処
理において検出された終端側の境界L₂の位置が、
前回の境界検出処理において検出された終端側の
境界L₂の位置に、車体前後方向に向けて前記設
定距離を加算した位置の近傍にあるか否かを判別
することにより、検出された直線が、終端側の境
界L₂であるか否かを判断するのである。

ところで、前記イメージセンサS₁が車体前方側
の作業地を斜め上方から撮像するように取り付け
られていることから、その撮像画像情報から得ら
れる各境界L₁，L₂の画面上の位置変化は、車体
Ｖに対する実際の境界L₁，L₂の位置までの距離
に反比例して、遠方ほど小さくなる状態となる。

従つて、前記終端側の境界L₂の判別、その終
端側の境界L₂までの距離の算出、並びに、検出
された行程側の境界L₁に対するずれの算出の
夫々において、画面上の検出位置に対応して、車
体Ｖに対する実際の位置に換算することになる。

〔別実施例〕

上記実施例では、境界検出の処理を行う毎に、
終端の検出を同時に行うようにした場合を例示し
たが、例えば、前記回転数センサS₂の検出情報を
利用して、車体Ｖが作業行程の終端近傍に近づい
た場合のみ行うようにしてもよい。

又、上記実施例では、画素抽出手段１０２を、
ｘ軸方向の微分値SXとｙ軸方向の微分値SYとを
加算した微分値JPの大きさに基づいて、２値化
するようにした場合を例示したが、例えば、行程
側の境界L₁を検出する場合は、画面上横方向に
向けて明るさの変化があることを利用して、前記
ｘ軸方向の微分値SXのみを用いてもよい。又、
終端側の境界L₂を検出する場合は、画面上、上
下方向に向けて明るさの変化があることを利用し
て、前記ｙ軸方向の微分値SYのみを用いるよう
にしてもよい。

又、上記実施例では、画素抽出手段１０２を、
全画素を先に２値化した後、設定範囲内にある画
素を抽出するようにした場合を例示したが、２値
化処理する前に、設定範囲内にある画素を抽出す
るようにしてもよい。

又、上記実施例では、抽出された各画素夫々の
前記傾きBPに対応する直線を求める直線演算手
段１０３として、ハフ変換処理を用いた場合を例
示したが、直線演算手段１０３の具体構成は各種
変更できる。

又、上記実施例では、本発明を芝刈り用の作業
車を自動走行させるための手段として用いた場合
を例示したが、本発明は、各種の作業地の境界を
検出する手段として適用できるものであつて、各
部の具体構成は、各種変更できる。

尚、特許請求の範囲の項に図面との対象を便利
にするために符号を記すが、該記入により本発明
は添付図面の構造に限定されるものではない。

【図面の簡単な説明】

図面は本発明に係る撮像式の境界検出装置の実
施例を示し、第１図は境界検出処理のフローチヤ
ート、第２図は作業車の走行制御の概略を示すフ
ローチヤート、第３図は微分処理の説明図、第４
図及び第５図は境界の説明図、第６図は制御構成
を示すブロツク図、第７図は作業車の全体側面
図、第８図は作業地の説明図である。 Ｂ……未処理作業地、Ｃ……処理済作業地、Ｌ
……境界、S₁……撮像手段、SX，SY……微分
値、BP……傾き、１００……微分手段、１０１
……傾き演算手段、１０２……画素抽出手段、１
０３……直線演算手段、１０４……直線抽出手
段。

Claims (1)

【特許請求の範囲】
1. １ 未処理作業地Ｂと処理済作業地Ｃとの境界Ｌ
   に対応する直線を検出する撮像式の境界検出装置
   であつて、作業地を二次元方向に亘つて撮像する
   撮像手段S₁、その撮像手段S₁の撮像情報より、二
   次元方向に並ぶ各量子化画素の直交する２方向
   夫々の明るさの微分値SX，SYを求める微分手段
   １００、求められた直交する２方向夫々の微分値
   SX，SYより、最大明るさ変化方向に対応する傾
   きBPを求める傾き演算手段１０１、求められた
   前記微分値SX，SYと前記傾きBPとに基づいて、
   明るさ変化が大で且つ設定傾き範囲内の画素を抽
   出する画素抽出手段１０２、その画素抽出手段１
   ０２にて抽出された各画素夫々の前記傾きBPと
   直交する直線を求める直線演算手段１０３、、そ
   の直線演算手段１０３によつて求められた直線の
   うちの最大頻度となるものを抽出する直線抽出手
   段１０４の夫々を備えている撮像式の境界検出装
   置。