JPH0575335B2 - - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、未処理作業地と処理済作業地との境
界に対応する直線を検出する撮像式の境界検出装
置に関する。

〔従来の技術〕

上記この種の撮像式の境界検出装置は、未処理
作業地と処理済作業地との明るさが異なつて見え
ることを利用して、撮像した画像情報を画像処理
することにより、明るさ変化が大きい部分を通る
直線を、未処理作業地と処理済作業地との境界に
対応した情報として検出するようにしたものであ
る。

そして、従来では、作業地を二次元方向に亘つ
て撮像し、その撮像情報より、上記境界に交差す
る方向での明るさ変化の微分値を、２次元方向に
並ぶ各量子化画素について求め、その微分値に基
づいて、明るさ変化が大きい箇所の画素を２値化
処理により抽出し、そして、ハフ変換処理を利用
して、抽出された画素の夫々に対して、その画素
を通り且つ設定角度づつ方向の異なる多数本の直
線を求め、求めた全直線のうちの最大頻度をなる
ものを、境界に対応した直線を示す情報として検
出するようにしてあつた。

〔発明が解決しようとする問題点〕

上記従来構成においては、撮像情報より、明る
さ変化が大きい部分を通る直線を境界に対応する
直線として検出するようにしているために、例え
ば、作業地近傍にある電柱や立木等の影が未処理
作業地と処理済作業地との境界と同じ方向に向い
た状態で撮像視野内に入つた場合、その影となる
部分では明るさ変化が大きいために、撮像された
影の部分を通る直線を、境界に対応する直線とし
て誤検出する虞れがある。

そこで、影を消すために、ストロボ発光装置等
を用いることが考えられるが、撮像手段が作業地
を二次元方向に亘つて撮像するものであることか
ら、大光量のものを用いたとしても、撮像距離が
遠い部分にある影を完全に消すことは困難であ
る。

本発明は、上記実情に鑑みてなされたものであ
つて、その目的は、画像情報の明暗変化が大きい
影が撮像されても、その影の影響を受けることな
く、境界に対応する直線を的確に検出できるよう
にする点にある。

〔問題点を解決するための手段〕

本発明による撮像式の境界検出装置の特徴構成
は、作業地を二次元方向に亘つて撮像する撮像手
段と、その撮像手段の撮像画像より、前記境界と
交差する方向での明るさ変化に基づいて二次元方
向に並ぶ各量子化画素の微分値を求める微分手段
と、求められた微分値が大なる画素を抽出する２
値化手段と、前記境界と交差する方向で且つ暗か
ら明の方向に向けて検索して、前記２値化手段に
て抽出された画素のうちの最初に存在する画素を
抽出する画素抽出手段と、その画素抽出手段にて
抽出された画素を通る直線を求める直線演算手段
とが設けられている点にあり、その作用並びに効
果は以下の通りである。

〔作用〕

撮像画像の明るい部分に影が写つている場合に
は、その明るい部分と影の部分との明るさ変化は
大きいものとなり、２値化手段では除去できない
が、暗い部分に写つている場合には、明るさ変化
が小さいので上記２値化手段にて自動的に除去す
ることができる。又、明暗変化の大きい部分が作
業地の境界に対応することから、２値化手段にて
抽出された画素を、暗から明の方向に向けて検索
して、最初に存在する画素を抽出すれば、その抽
出された画素は境界部分に対応する画素となり、
その最初に存在する画素以降の画素を処理対象か
ら除外すれば、明るい部分にある影は自動的に除
去できる。

つまり、二次元方向に亘つて撮像された画像情
報の各量子化画素毎に、未処理作業地と処理済作
業地との境界に交差する方向での明るさ変化に基
づいて二次元方向に並ぶ各量子化画素の微分値を
求め、その微分値が大なる画素を２値化手段にて
抽出することにより、明るさ変化が大きい部分を
抽出し、そして、未処理作業地と処理済作業地と
の境界と交差する方向で且つ暗から明の方向に向
けて検索して、前記２値化手段にて抽出された画
素のうちの最初に存在する画素を抽出し、その抽
出された画素を通る直線を求めることにより、影
の影響を受けることなく境界に対応する直線を検
出できるのである。

〔発明の効果〕

従つて、未処理作業地と処理済作業地との境界
と交差する方向で且つ暗から明の方向に向けて検
索して、２値化手段にて抽出された画素のうちの
最初に存在する画素を抽出するという簡単な処理
で、影の影響を受けることなく、境界に対応する
直線を的確に検出することができるに至つた。

〔実施例〕

以下、本発明の実施例を図面に基づいて説明す
る。

第７図に示すように、左右一対の前後輪１，２
が、その何れをもステアリング操作自在に設けら
れ、車体Ｖの下腹部に、芝刈り装置３が上下動自
在に懸架され、もつて、芝や雑草等の刈取作業に
用いる作業車が構成されている。

作業地を二次元方向に亘つて撮像する撮像手段
としてのイメージセンサS₁が、前記車体Ｖに対し
て前方側の作業地の所定範囲を撮像するように設
けられている。

前記イメージセンサS₁の撮像視野について説明
を加えれば、前記車体Ｖが、未処理作業地として
の未刈地Ｂと処理済作業地としての既刈地Ｃとの
境界Ｌに対して適正状態に沿つている状態におい
て、前記境界Ｌが、視野の横幅方向中央に位置す
る状態となるようにしてある。

前記車体Ｖの構成について説明すれば、第６図
に示すように、前記前後輪１，２を各別に操作す
るステアリング用の油圧シリンダ４，５、及び、
それに対する制御弁６，７が設けられ、前後進切
り換え自在で且つ前後進ともに変速自在な油圧式
無段変速装置８が、エンジンＥに連動連結され、
そして、変速モータ９が、前記変速装置８の変速
アーム１０に連動連結されている。

又、前記車体Ｖの走行距離を検出するために、
単位回転数当たり設定個数のパルス信号を出力す
る回転数センサS₂が、前記変速装置８の出力にて
回転駆動されるように設けられている。

前記前後輪１，２夫々のステアリング位置を検
出するステアリング位置検出用ポテンシヨメータ
R₁，R₂と、前記変速装置８の操作状態を検出す
る変速位置検出用ポテンシヨメータR₃とが設け
られ、それらの検出情報、前記イメージセンサS₁
の撮像情報に基づいて求められる境界Ｌに対応す
る直線の情報、及び、前記回転数センサS₂の検出
情報に基づいて、前記車体Ｖが未刈地Ｂと既刈地
Ｃとの境界Ｌに沿つて自動走行するように制御す
るマイクロコンピユータ利用の制御装置１１が設
けられている。

尚、図中、Ｈは搭乗操縦用のステアリングハン
ドル、R₀はその操作位置検出用ポテンシヨメー
タ、１２は搭乗操縦用の変速ペダルである。

但し、前記イメージセンサS₁の撮像画像情報を
画像処理して、前記境界Ｌに対応した直線を検出
するための各種手段が、前記制御装置１１を利用
して構成されている。

前記車体Ｖの自動走行について説明すれば、第
８図に示すように、既刈地Ｃで囲まれた四角状の
未刈地Ｂの一辺から対辺に至る部分を、一つの作
業行程として、車体Ｖが作業行程の長さ方向に沿
う側の前記未刈地Ｂと既刈地Ｃとの境界L₁に沿
つて自動走行するように、前記画像処理にて検出
されて情報に基づいて操向制御されることにな
り、そして、一つの作業行程の終端側の境界L₂
つまり前記未刈地Ｂの対辺に達すするに伴つて、
その作業行程に交差する次の作業行程の始端部に
向けて自動的にターンさせることを繰り返すこと
により、いわゆる回り刈り形式で、所定範囲の芝
刈り作業を自動的に行わせるようにしてある。

前記制御装置１１の作動を述べながら説明を加
えると、走行が開始されると、前記回転数センサ
S₂の検出情報に基づいて設定距離走行する毎に、
後述の境界検出処理が行われ、その検出情報に基
づいて、車体Ｖが前記境界L₁に沿つて自動走行
するように操向制御されることになる。

そして、前記回転数センサS₂の検出情報に基づ
いて、一つの作業行程の長さに相当する距離に対
して設定範囲内まで走行するに伴つて、その作業
行程の終端側の境界L₂を検出する処理を行い、
それの画像上の位置情報に基づいて、車体Ｖの現
在位置に対する終端位置を算出して、その算出さ
れた位まで前記前後輪１，２をステアリングニユ
ートラルの状態に維持することにより、直進させ
た後、予め設定記憶されたターンパターンに基づ
いて、次の作業行程に向けてターンさせることに
なる。

又、例えば、予め設定された行程数を走行した
か否か、あるいは、設定された走行距離に達した
か否か等を判別することにより、作業終了か否か
を判断して、作業終了でない場合は、前述の境界
検出処理以降の処理を繰り返すことになり、一
方、作業終了の場合は、前記車体Ｖを停止させ
て、全処理を終了することになる。

前記行程側の境界L₁に対するずれの算出につ
いて説明を加えれば、車体横幅方向に向かう位置
のずれと、境界L₁の向きに対する傾きのずれと
があるが、それらを定量的な値として算出しても
よく、又、単にずれの方向だけを算出するように
してもよい。

又、操向制御の処理について説明を加えれば、
平行ステアリング形式にて、車体横幅方向の位置
のずれを修正し、４輪ステアリング形式にて、向
きのずれを修正することになる。但し、前記前後
輪１，２のステアリング量に差を付けて、位置と
向きのずれを同時に修正するようにしてもよい。

次に、第１図に示すフローチヤートに基づい
て、前記境界検出の処理について詳述する。

但し、以下に説明する境界検出の処理は、前記
未刈地Ｂが既刈地Ｃよりも暗く見える現象を利用
して行われるものである。

すなわち、境界検出処理が開始されるに伴つ
て、前記イメージセンサS₁による撮像処理が行わ
れると共に、その撮像画像情報が、予め設定され
た画素密度（32×32画素に設定してある）に対応
して量子化される。

次に、処理対象となる画素ｅの周囲に隣接する
８画素（ａ〜ｄ，ｆ〜ｉ）を含む９画素を覆う３
×３画素分のマスクを用いて、下記(i)式に基づい
て、画像上のｘ軸方向における明るさ変化の微分
値SXを演算する処理が、二次元方向に並ぶ各画
素について行われる（第３図参照）。

SX（ｘ，ｙ）＝（ｃ＋2f＋ｉ）−（ａ＋2d＋ｇ）…(i
) 但し、この微分処理において、前記車体Ｖに対
して前記境界Ｌが左右何れの側に位置するかに基
づいて、前記微分値SXの符号を判別して、正負
いずれか一方の符号となる値のみを求めるように
してある。

つまり、前記式(i)において、画像上右側に位置
する画素の明るさから左側に位置する画素の明る
さを減算するようにしているので、右側のほうが
明るい場合（第４図参照）には、前記微分値SX
の正の値となり、左側のほうが明るい場合（第５
図参照）には負の値となる。

従つて、前記車体Ｖに対して境界L₁が右側に
位置する状態で走行させる場合には、前記微分値
SXが正の値となるものを抽出し、左側に位置す
る状態で走行させる場合には、前記微分値SXが
負の値となるものを抽出することになる。

尚、このｘ軸方向における明るさ変化の微分値
SXを演算する処理が、微分手段１００に対応す
ることになる。

そして、前記微分値SXの絶対値が予め設定さ
れた設定閾値以上の大きさとなる画素のみを抽出
するように２値化することにより、明るさ変化が
大なる箇所の画素を抽出する。

尚、この２値化処理が、２値化手段１０１に対
応することになる。

次に、前記２値化手段１０１にて抽出された画
素を、前記境界Ｌと交差する方向で且つ暗から明
の方向に向けて検索して、前記２値化手段１０１
にて抽出された画素のうちの最初に存在する画素
を抽出することにより、明るい部分つまり前記既
刈地Ｃ内に写つた影Ａ（第４図及び第５図参照）
を除去する影除去の処理を行う。

尚、この影を除去する処理が、画素抽出手段１
０２に対応することになる。

そして、ハフ変換処理を用いて、影を除去した
各画素毎に、その画素を通る設定角度毎に分割さ
れた多数本の直線を、下記式(ii)に基づいて極座標
系（ρ，θ）に投影し、同一座標値をとる頻度を
ヒストグラムにとり、そして、そのヒストグラム
から、最大頻度となる一つの直線を求めて、その
直線を、前記作業行程に沿う方向に向かう境界
L₁に対応する直線として検出する。

ρ＝ｘ・cosθ＋ｙ・sinθ …(ii) 尚、このハフ変換処理を用いて直線を求める処
理が、直線演算手段１０３に対応することにな
る。

但し、この境界検出の処理において、説明のた
めに用いた画面は仮想上のものであり、前記各境
界L₁，L₂に対応した直線が、実際に引かれるこ
とはなく、最大頻度となる前記(ii)式にて求められ
た値ρと、その値となる角度θの値とを、検出し
た直線に対応する情報として使用することにな
る。そして、境界に対するずれの算出や終端位置
の算出の処理において、それらの値ρ，θから、
実際の地面の座標系に写像することにより、車体
Ｖに対する実際の境界L₁，L₂の位置を算出する
ことになる。

そして、実際の地面に写像された情報に基づい
て、前述の如く操向制御することにより、前記車
体Ｖが境界L₁に沿つて自動走行し、且つ終端側
の境界L₂に達するに伴つて、次の作業行程の始
端部に向けて自動的にターンするように、誘導す
ることになる。

ところで、前記終端側の境界L₂を検出する場
合には、明るさ変化が車体Ｖに対して前後方向と
なり、且つ、画面上、上方から下方に向かつて明
から暗へ変化することになるために、前述の微分
処理において、ｙ軸方向での明るさ変化の微分値
を求めて、前記ｘ軸方向での微分値SXの代わり
に使用すれば、同一処理で終端側の境界L₂を検
出することができる。

前記終端側の境界L₂が検出されたか否かの判
別について説明すれば、前述の境界検出処理が設
定距離毎に行われることから、今回の境界検出処
理において検出された終端側の境界L₂の位置が、
前回の境界検出処理において検出された終端側の
境界L₂の位置に、車体前後方向に向けて前記設
定距離を加算した位置の近傍にあるか否かを判別
することにより、検出された直線が、終端側の境
界L₂であるか否かを判断することができる。

ところで、前記イメージセンサS₁が車体前方側
の作業地を斜め上方から撮像するように取り付け
られていることから、その撮像画像情報から得ら
れる各境界L₁，L₂の画面上の位置変化は、車体
Ｖに対する実際の境界L₁，L₂の位置までの距離
に反比例して、遠方ほど小さくなる状態となる。

従つて、前記終端側の境界L₂の判別、その終
端側の境界L₂までの距離の算出、並びに、検出
された行程側の境界L₁に対するずれの算出の
夫々において、画面上の検出位置に対応して、車
体Ｖに対する実際の位置に換算することになる。

前記影除去の処理について説明すれば、第２図
に示すように、前記行程側の境界L₁が、車体Ｖ
に対して左右何れの側にあるかに基づいて、明暗
変化の検索方向が、前記境界L₁と交差する方向
であるｘ軸方向で且つ暗から明の方向となるよう
に、画面上左右何れの方向から検索するかを判別
する（第４図及び第５図参照）。

第４図に示すように、画面上、左側部分が未刈
地Ｂで暗い場合における検索処理について説明す
れば、画面の左側から右側に向かつて検索するよ
うに、ｘ軸方向に向かう各ラインの座標値の初期
値を１としてそれが32に達するまで、暗から明の
方向つまり左側から右側へと１画素毎に走査し
て、前記２値化手段１０１にて抽出された２値化
画素の値IPが、２値化画素が存在することを示
す“１”であるか否かを判別する。

前記２値化画素の値IPが“１”となる最初に
存在する画素が抽出されるに伴つて、影Ａを除去
した画像情報として用いる２値化画素の値DPを
“１”にして、一つのラインにおけるｘ軸方向の
検索を終了する。

一つのラインにおける検索が終了すると、前記
ｙ軸方向の座標値が32に達するまで、１づつ加算
して、次のラインにおける２値化画素の値IPの
判別処理を繰り返すことになる。

一方、第５図に示すように、画面上、右側に暗
く見える未刈地Ｂがある場合には、ｘ軸方向の座
標値の初期値を最終座標値の32に設定し、そし
て、その値から１づつ減算することにより、前記
ｘ軸方向の検索が、右側から左側へと逆方向に向
けて行われるように、検索方向を左右逆転させる
ことになる。

従つて、前記２値化画素の値IPが“１”とな
る最初に存在する画素が抽出されるに伴つて、一
つのラインに対する検索処理を終えるようにして
いるために、明るい部分である前記既刈地Ｃ内に
影Ａが写つていても、その影Ａの部分となる画素
が抽出されることはなく、自動的に影Ａが除去さ
れるのである。

又、この影除去処理を行うことにより、前記２
値化画素の値IPが“１”となる最初に存在する
画素以降の画素も処理対象から除去されることに
なり、直線演算手段１０３での処理対象となる画
素数を減少させることができ、結果的に、高速処
理が可能となる。

〔別実施例〕

上記実施例では、前記回転数センサS₂の検出情
報を利用して、車体Ｖが作業行程の終端近傍に近
づいた場合に行うようにした場合を例示したが、
例えば、境界検出の処理を行う毎に、終端の検出
を交互に又は同時に行うようにしてもよい。

又、上記実施例では、２値化手段１０１を、ｘ
軸方向の微分値SXの大きさに基づいて、２値化
するようにした場合を例示したが、例えば、ｙ軸
方向の微分値をも用いて、明るさ変化の方向を考
慮するようにしてもよい。

又、上記実施例では、境界Ｌに対応する直線を
求める直線演算手段１０３として、ハフ変換処理
を用いた場合を例示したが、直線演算手段１０３
の具体構成は各種変更できる。

又、上記実施例では、本発明を芝刈り用の作業
車を自動走行させるための手段として用いた場合
を例示したが、本発明は、各種の作業地の境界を
検出する手段として適用できるものであつて、各
部の具体構成は、各種変更できる。

尚、特許請求の範囲の項に図面との対照を便利
にするために符号を記すが、該記入により本発明
は添付図面の構造に限定されるものではない。

【図面の簡単な説明】

図面は本発明に係る撮像式の境界検出装置の実
施例を示し、第１図は境界検出処理のフローチヤ
ート、第２図は影除去処理のフローチヤート、第
３図は微分処理の説明図、第４図及び第５図は撮
像画像の説明図、第６図は制御構成を示すブロツ
ク図、第７図は作業車の全体側面図、第８図は作
業地の説明図である。 Ｂ……未処理作業地、Ｃ……処理済作業地、Ｌ
……境界、S₁……撮像手段、SX……微分値、１
００……微分手段、１０１……２値化手段、１０
２……画素抽出手段、１０３……直線演算手段。

Claims (1)

【特許請求の範囲】
1. １ 未処理作業地Ｂと処理済作業地Ｃとの境界Ｌ
   に対応する直線を検出する撮像式の境界検出装置
   であつて、作業地を二次方向に亘つて撮像する撮
   像手段S₁と、その撮像手段S₁の撮像画像より、前
   記境界Ｌと交差する方向での明るさ変化に基づい
   て二次元方向に並ぶ各量子化画素の微分値SXを
   求める微分手段１００と、求められた微分値SX
   が大なる画素を抽出する２値化手段１０１と、前
   記境界Ｌと交差する方向で且つ暗から明の方向に
   向けて検索して、前記２値化手段１０１にて抽出
   された画素のうちの最初に存在する画素を抽出す
   る画素抽出手段１０２と、その画素抽出手段１０
   ２にて抽出された画素を通る直線を求める直線演
   算手段１０３とが設けられている撮像式の境界検
   出装置。