JPS63253204A - 撮像式の境界検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、未処理作業地と処理済作業地との境界に対応
する直線を検出する撮像式の境界検出装置に関する。

（従来の技術〕 上記この種の撮像式の境界検出装置は、作業車を境界に
沿って自動走行させるための制御情報を検出するために
用いられるものであり、そして、未処理作業地と処理済
作業地との明るさが異なって見えることを利用して、撮
像した画像情報を画像処理することにより、明るさ変化
が大きい部分を通る直線を、未処理作業地と処理済作業
地との境界に対応した情報として検出するようにしたも
のである。

そして、従来では、作業地を二次元方向に亘って撮像し
、その撮像情報より、上記境界に交差する一つの方向で
の明るさの微分値を、２次方向に並ぶ各量子化画素につ
いて求め、その微分値に基づいて、明るさ変化が大きい
画素を２値化処理により抽出し、そして、ハフ変換処理
を利用して、抽出された画素の夫々に対して、その画素
を通り且つ設定角度づつ方向の異なる多数本の直線を求
め、求められた全直線のうちの最大頻度となるものを、
境界に対応した直線を示す情報として検出するようにし
てあった。

〔発明が解決しようとする問題点〕

上記従来構成においては、２値化された画素の全てをハ
フ変換処理の対象とすること、並びに、ハフ変換処理に
おいて、処理の対象になる画素の夫々に対して、その画
素を通る多数本直線を求めなければならないこと、及び
、求めた多大な量の直線のうちの最大頻度となる直線を
求めなければならないことに起因して、画像処理におけ
る演算処理量が非常に多くなって、画像処理の高速化が
困難であった。

ところで、検出された直線の情報は、作業車を未処理作
業地と処理済作業地との境界に沿って自動走行させるた
めの制御情報等として利用するものであるため、作業車
の走行速度に対応する処理速度で画像処理する必要があ
り、画像処理の高速化が望まれている。

本発明は、上記実情に鑑みてなされたものであって、そ
の目的は、演算処理量を減らすことにより、画像処理の
高速化を図ることにある。

〔問題点を解決するための手段〕

本発明による撮像式の境界検出装置の特徴構成は、作業
地を二次元方向に亘って撮像する撮像手段、その撮像手
段の撮像情報より、二次元方向に並ぶ各量子化画素の直
交する２方向夫々の明るさの微分値を求める微分手段、
求められた直交する２方向夫々の微分値より、最大明る
さ変化方向に対応する傾きを求める傾き演算手段、求め
られた前記微分値と前記傾きとに基づいて、明るさ変化
が大で且つ設定傾き範囲内の画素を抽出する画素抽出手
段、その画素抽出手段にて抽出された各画素夫々の前記
傾きと直交する直線を求める直線演算手段、その直線演
算手段によって求められた直線のうちの最大頻度となる
ものを抽出する直線抽出手段の夫々を備えている点にあ
り、その作用並びに効果は以下の通りである。

〔作　用〕

すなわち、二次元方向に亘って撮像された画像情報の各
量子化画素毎に、その最大明るさ変化方向の傾きを求め
ると共に、その傾きが設定範囲内で且つ明るさ変化が大
である画素のみを抽出し、そして、抽出された各画素の
夫々について、先に求められた傾きと直交する一つの直
線を求め、求められたそれらの直線のうちの最大頻度と
なるものを、境界に対応する直線として抽出するのであ
る。

ちなみに、傾きが設定範囲の画素を、境界検出のための
対象画素として特定できるのは、本発明の境界検出装置
が作業車の操向制御に適用されるものであるため、境界
と作業車との傾きが大きくずれることはないからである
。

〔発明の効果〕

従って、二次元方向に亘って撮像された画像情報の各量
子化画素毎の明るさ変化方向の傾きを、各画素を通る直
線を求める処理よりも先に求め、そして、その傾き範囲
が境界を検出する範囲内となり、且つ明るさ変化が大で
ある画素のみを、直線を検出するための画素として抽出
するので、直線を求める処理を行う際に対象とする画素
数を大幅に減らすことができる。更に、直線を求める処
理としては、先に求められた傾きと直交する一つの直線
を求めるだけでよいものとなり、直線を求める際の演算
量を、従来のように、各画素を通る多数本の直線を求め
るものに対して大幅に削減できる。しかも、それに伴い
、その最大頻度となるものを求める際の演算量も、従来
に比して、大幅に削減できる。もって、全体として、画
像処理の高速化を図ることができるのであり、作業車の
自動走行に使用するのに極めて有用になった。

〔実施例〕

以下、本発明の実施例を図面の簡単な説明する。

第７図に示すように、左右一対の前後輪（１）。

（２）が、その何れをもステアリング操作自在に設けら
れ、車体（Ｖ）の下腹部に、芝刈り装置（３）が上下動
自在に縣架され、もって、芝や雑草等の刈取作業に用い
る作業車が構成されている。

作業地を二次元方向に亘って撮像する撮像手段としての
イメージセンサ（Ｓｌ）が、前記車体（Ｖ）に対して前
方側の作業地を撮像するように設けられている。

前記イメージセンサ（Ｓｌ）の撮像視野について説明を
加えれば、前記車体（Ｖ）が、未処理作業地（Ｂ）と処
理済作業地（Ｃ）との境界（Ｌ）に対して適正状態に沿
っている状態において、前記境界（Ｌ）が、視野の横巾
方向中央に位置する状態となるようにしである。

前記車体（Ｖ）の構成について説明すれば、第６図に示
すように、前記前後輪（１）　、　（２）を各別に操作
するステアリング用の油圧シリンダ（４）。

（５）、及び、それに対する制御弁（６）　、　（７）
が設けられ、前後進切り換え自在で且つ前後進ともに変
速自在な油圧式無段変速装置（８）が、エンジン（Ｅ）
に連動連結され、そして、変速モータ（９）が、前記変
速装置（８）の変速アーム（１０）に連動連結されてい
る。

又、前記車体（Ｖ）の走行距離を検出するために、単位
回転数当たり設定個数のパルス信号を出力する回転数セ
ンサ（Ｓ２）が、前記変速装置（８）の出力にて回転駆
動されるように設けられている。

前記前後輪（１）　、　（２）夫々のステアリング位置
を検出するステアリング位置検出用ポテンショメータ（
Ｒ１）、（Ｒｚ）と、前記変速装置（８）の操作状態を
検出する変速位置検出用ポテンショメータ（Ｒ３）とが
設けられ、それらの検出情報、前記イメージセンサ（Ｓ
、）の撮像情報に基づいて求められる境界（Ｌ）に対応
する直線の情報、及び、前記回転数センサ（Ｓ２）の検
出情報に基づいて、前記車体（Ｖ）が前記境界（Ｌ）に
沿って自動走行するように制御するマイクロコンピュー
タ利用の制御装置（１１）が設けられている。

尚、図中、（Ｈ）は搭乗操縦用のステアリングハンドル
、（Ｒｏ）はその操作位置検出用ポテンショメータ、（
１２）は搭乗操縦用の変速ペダルである。

但し、前記イメージセンサ（Ｓ、）の撮像画像情報を画
像処理して、前記境界（Ｌ）に対応した直線を検出する
ための各種手段が、前記制御装置（１１）を利用して構
成されている。

前記車体（Ｖ）の自動走行について説明すれば、第８図
に示すように、処理済作業地（Ｃ）で囲まれた四角状の
未処理作業地（Ｂ）の−辺から対辺に至る部分を、一つ
の作業行程として、車体（Ｖ）が作業行程の長さ方向に
沿う側の前記未処理作業地（Ｂ）と処理済作業地（Ｃ）
との境界（１１）に沿って自動走行するように、前記画
像処理にて検出された情報に基づいて操向制御されるこ
とになり、そして、一つの作業行程の終端側の境界（Ｌ
２）つまり前記未処理作業地（Ｂ）の対辺に達するに伴
って、その作業行程に交差する次の作業行程の始端部に
向けて自動的にターンさせることを繰り返すことにより
、いわゆる回り刈り形式で、所定範囲の芝刈り作業を自
動的に行わせることになる。

前記制御装置（１１）の動作を述べながら説明を加える
と、第２図に示すように、走行が開始されると、前記回
転数センサ（Ｓ２）の検出情報に基づいて設定距離走行
する毎に、後述の境界検出処理が行われ、その検出情報
に基づいて、前記終端側の境界（Ｌ２）が検出されたか
否かを判別する。

前記終端側の境界（Ｌ２）が検出された場合は、その画
像上の位置情報に基づいて、車体（Ｖ）の現在位置に対
する終端位置を算出して、その算出された位置まで前記
前後輪（１）　、　（２）をステアリングニュートラル
の状態に維持することにより、直進させた後、予め設定
記憶されたターンパターンに基づいて、次の作業行程に
向けてターンさせることになる。

前記終端側の境界（Ｌ２）が検出されなかった場合は、
検出された行程側の境界（Ｌｌ）に沿って自動走行する
ように、その行程側の境界（Ｌ、）に対するずれを算出
して、操向制御されることになる。

そして、例えば、予め設定された行程数を走行したか否
か、あるいは、設定された走行距離に達したか否か等を
判別することにより、作業終了か否かを判断して、作業
終了でない場合は、前述の境界検出処理以降の処理を繰
り返すことになり、一方、作業終了の場合は、前記車体
（Ｖ）を停止させて、全処理を終了することになる。

前記行程側の境界（Ｌ、）に対するずれの算出について
説明を加えれば、車体横幅方向に向かう位置のずれと、
境界（Ｌｌ）の向きに対する傾きのずれとがあるが、そ
れらを定量的な値として算出してもよく、又、単にずれ
の方向だけを算出するようにしてもよい。

又、操向制御の処理について説明を加えれば、平行ステ
アリング形式にて、車体横幅方向の位置のずれを修正し
、４輪ステアリング形式にて、向きのずれを修正するこ
とになる。但し、前記前後輪（１）　、　（２）のステ
アリング量に差を付けて、位置と向きのずれを同時に修
正するようにしてもよい。

次に、第１図に示すフローチャートに基づいて、前記境
界検出の処理について詳述する。

但し、以下に説明する境界検出の処理は、前記未処理作
業地（Ｂ）が処理済作業地（Ｃ）よりも暗く見える現象
を利用して行われるものである。

すなわち、境界検出処理が開始されるに伴って、前記イ
メージセンサ（Ｓ、）による撮像処理が行われると共に
、その撮像画像情報が、予め設定された画素密度に対応
して量子化される。

次に、第３図にも示すように、処理対象となる画素（ｅ
）の周囲に隣接する８画素（ａ＝ｄ、ｆｘｉ）を含む９
画素を覆う３Ｘ３画素分のマスクを用いて、下記（ｉ）
、（ｉｉ）式に基づいて、画像上のＸ軸方向及びｙ軸方
向夫々における明るさ変化の微分値（ＳＸ）　、　（Ｓ
Ｙ）を演算する処理が、二次元方向に並ぶ各画素につい
て行われる。

５Ｘ（ｘ、　ｙ）　＝　（ｃ＋２ｆ＋ｉ）　−（ａ＋２
６＋ｇ）　　−・・・（ｉ　）ＳＹ（ｘ、　ｙ）　＝　
（ｇ＋２ｈ＋ｉ）−（ａ＋２ｂ＋ｃ）　　−・・・（ｉ
ｉ　）尚、このＸ軸方向及びｙ軸方向夫々における明る
さ変化の微分値（ＳＸ）　、　（ＳＹ）を演算する処理
が、微分手段（１００）に対応することになる。

そして、下記（ｉｉｉ　）式に示すように、前記各微分
値（ＳＸ）　、　（ＳＹ）の絶対値を加算することによ
り、各画素（ｘ、ｙ）の明るさ変化の大きさを代表する
微分値（ＪＰ）を求める。

ＪＰ（ｘ、ｙ）　＝ＩｓＸＩ＋ｌｓｙ＋　　　　　・・
・・・・（ｉｉｉ　）更に、下記（ｉｖ　）式を用いて
、前記各微分値Ｃ３Ｘ）　、　（ＳＹ）から、前記各画
素（ｘ、ｙ）毎の最大明るさ変化方向に対応する傾き（
ＢＰ）を演算する。

０Ｐ（ｘ、ｙ）＝ｔａｎ−’（ＳＹ／ＳＸ）　　・・・
”（ｉｖ）但し、前記傾き（ＢＰ）は、Ｘ軸を基準にし
て、時計回りの方向での角度変化として定義しである。

尚、この傾き（ＢＰ）を求める処理が、傾き演算手段（
１０１）に対応することになる。

そして、前記微分値（ＪＰ）が予め設定された設定閾値
以上の大きさとなる画素のみを抽出するように２値化す
ることにより、明るさ変化が大なる箇所の画素を抽出す
る。

次に、第４図にも示すように、前記傾き（ＢＰ）の値に
基づいて、前記Ｘ軸に対して±３０度以内の傾きとなる
画素を再抽出することにより、後述のハフ変換処理の対
象となる画素の候補数を予め減らすようにする。

説明を加えれば、前述の如く、車体（Ｖ）は未処理作業
地（Ｂ）と処理済作業地（Ｃ）との境界（Ｌ）に沿って
各作業行程を走行するようになっていることから、車体
（Ｖ）の向きや前記境界（Ｌ）に対する横幅方向の位置
がずれたとしても、大幅にずれることはないものであり
、従って、処理対象となる画素の最大明るさ変化方向の
傾きが±３０度以内となるもののみを処理対象としても
、前記行程側の境界（Ｌｌ）は的確に検出できるのであ
る。

そして、前記角度制限を加えた各画素毎に、その画素を
通り、且つ、前記傾き（ＢＰ）と直交する直線を、下記
（ｖ）式に示すように、ハフ変換処理を用いて求めると
共に、その頻度をヒストグラムにとり、そして、そのヒ
ストグラムから、最大頻度となる一つの直線を求めて、
その直線を、前記作業行程に沿う方向に向かう境界（Ｌ
、）に対応する直線として検出する。

ρ＝ｘ−ｃｏｓθ＋ｙ−ｓｉｎθ　・・団・（ｖ　）引
き続き、前記傾き（ＢＰ）の値に基づいて、前記行程側
の境界（Ｌｌ）に対して直交する方向となる２７０度近
傍（２４０度以上〜３００度以内）の傾きとなる画素を
再抽出する。つまり、前記終端側の境界（ｔｚ）は、前
記作業行程側の境界（Ｌｌ）に対して直交する方向にあ
り、且つ、前述の如く、車体（Ｖ）が前記境界（Ｌ、）
に沿って走行するように操向制御されていることからも
、その傾き範囲が太き（異なることはない。従って、前
記作業行程に沿う方向の境界（Ｌｌ）を検出する場合と
同様に、角度制限を加えて処理対象の画素を減らすこと
により、精度を低下させることな（、画像処理の高速化
を図るようにしである。

そして、第５図にも示すように、２７０度近傍に角度制
限されて抽出された画素の夫々について、前記傾き（Ｂ
Ｐ）と直交し、且つ、その画素を通る一つの直線を、前
述のハフ変換処理にて求め、それら直線から、最大頻度
となる一つの直線を抽出することにより、前記終端側の
境界（Ｌ２）に対応した直線を検出するのである。

尚、前記行程側の境界（Ｌｌ）に対応した直線を求める
処理、及び、終端側の境界（Ｌ２）を求める処理の夫々
において、前記微分値（ＪＰ）が予め設定された闇値以
上の大きさとなる画素のみを抽出するように２値化する
処理と、その２値化された画像から前記傾き（ＢＰ）が
設定範囲内にあるものを抽出する処理とによって、画素
抽出手段（１０２）が構成されていることになる。

又、ハフ変換処理を用いて画素毎の直線を求める処理が
、直線演算手段（１０３）に対応し、その求められた直
線のうちの最大頻度のものを抽出する処理が、直線抽出
手段（１０４）に対応することになる。

さらに、この境界検出の処理において、説明のために用
いた画面は仮想上のものであり、前記各境界（Ｌｌ）、
　（ｔｚ）に対応した直線が、実際に引かれることはな
く、最大頻度となる前記（ｖ）式にて求められた値（ρ
）と、その値となる前記傾き（ＢＰ）から代入した角度
（θ）の値とを、検出した直線に対応する情報として使
用することになる。そして、境界に対するずれの算出や
終端位置の算出の処理において、それらの値（ρ）。

（θ）に基づいて、車体（Ｖ）に対する実際の境界（Ｌ
ｌ）、　（ｔｚ）の位置を算出することになる。

前記終端側の境界（Ｌ２）が検出されたか否かの判別に
ついて説明すれば、前述の境界検出処理が設定距離毎に
行われることから、今回の境界検出処理において検出さ
れた終端側の境界（Ｌ２）の位置が、前回の境界検出処
理において検出された終端側の境界（Ｌ２）の位置に、
車体前後方向に向けて前記設定距離を加算した位置の近
傍にあるか否かを判別することにより、検出された直線
が、終端側の境界（Ｌｘ）であるか否かを判断するので
ある。

ところで、前記イメージセンサ（Ｓｌ）が車体前方側の
作業地を斜め上方から撮像するように取り付けられてい
ることから、その撮像画像情報から得られる各境界（Ｌ
ｌ）、（Ｌｔ）の画面上の位置変化は、車体（Ｖ）に対
する実際の境界（Ｌｌ）、　（ＬＺ）の位置までの距離
に反比例して、遠方はど小さくなる状態となる。

従って、前記終端側の境界（Ｌ２）の判別、その終端側
の境界（Ｌ２）までの距離の算出、並びに、検出された
行程側の境界（Ｌ、）に対するずれの算出の夫々におい
て、画面上の検出位置に対応して、車体（Ｖ）に対する
実際の位置に換算することになる。

〔別実施例〕

上記実施例では、境界検出の処理を行う毎に、終端の検
出を同時に行うようにした場合を例示したが、例えば、
前記回転数センサ（ｓ２）の検出情報を利用して、車体
（Ｖ）が作業行程の終端近傍に近づいた場合のみ行うよ
うにしてもよい。

又、上記実施例では、画素抽出手段（１０２）を、Ｘ軸
方向の微分値（ＳＸ）とｙ軸方向の微分値（ＳＹ）とを
加算した微分値（ＪＰ）の大きさに基づいて、２値化す
るようにした場合を例示したが、例えば、行程側の境界
（Ｌ、）を検出する場合は、画面上横方向に向けて明る
さの変化があることを利用して、前記Ｘ軸方向の微分値
（ＳＸ）のみを用いてもよい。又、終端側の境界（Ｌ２
）を検出する場合は、画面上、上下方向に向けて明るさ
の変化があることを利用して、前記ｙ軸方向の微分値（
ＳＹ）のみを用いるようにしてもよい。

又、上記実施例では、画素抽出手段（１０２）を、全画
素を先に２値化した後、設定範囲内にある画素を再抽出
するようにした場合を例示したが、２値化処理する前に
、設定範囲内にある画素を抽出するようにしてもよい。

又、上記実施例では、抽出された各画素夫々の前記傾き
（ＢＰ）に対応する直線を求める直線演算手段（１０３
）として、ハフ変換処理を用いた場合を例示したが、直
線演算手段（１０３）の具体構成は各種変更できる。

又、上記実施例では、本発明を芝刈り用の作業車を自動
走行させるための手段として用いた場合を例示したが、
本発明は、各種の作業地の境界を検出する手段として適
用できるものであって、各部の具体構成は、各種変更で
きる。

尚、特許請求の範囲の項に図面との対象を便利にするた
めに符号を記すが、該記入により本発明は添付図面の構
造に限定されるものではない。

【図面の簡単な説明】

図面は本発明に係る撮像式の境界検出装置の実施例を示
し、第１図は境界検出処理のフローチャート、第２図は
作業車の走行制御の概略を示すフローチャート、第３図
は微分処理の説明図、第４図及び第５図は境界の説明図
、第６図は制御構成を示すブロック図、第７図は作業車
の全体側面図、第８図は作業地の説明図である。 ＣＢ）・・・・・・未処理作業地、（Ｃ）・・・・・・
処理済作業地、（Ｌ）・・・・・・境界、（Ｓ、）・・
・・・・撮像手段、（ＳＸ）　、　（ＳＹ）・・・・・
・微分値、（ＢＰ）・・・・・・傾き、（１００）・・
・・・・微分手段、（１０１）・・・・・・傾き演算手
段、（１０２）・・・・・・画素抽出手段、（１０３）
・・・・・・直線演算手段、（１０４）・・・・・・直
線抽出手段。

Claims (1)

【特許請求の範囲】
1. 未処理作業地（Ｂ）と処理済作業地（Ｃ）との境界（Ｌ
   ）に対応する直線を検出する撮像式の境界検出装置であ
   って、作業地を二次元方向に亘って撮像する撮像手段（
   Ｓ＿１）、その撮像手段（Ｓ＿１）の撮像情報より、二
   次元方向に並ぶ各量子化画素の直交する２方向夫々の明
   るさの微分値（ＳＸ）、（ＳＹ）を求める微分手段（１
   ００）、求められた直交する２方向夫々の微分値（ＳＸ
   ）、（ＳＹ）より、最大明るさ変化方向に対応する傾き
   （ＢＰ）を求める傾き演算手段（１０１）、求められた
   前記微分値（ＳＸ）、（ＳＹ）と前記傾き（ＢＰ）とに
   基づいて、明るさ変化が大で且つ設定傾き範囲内の画素
   を抽出する画素抽出手段（１０２）、その画素抽出手段
   （１０２）にて抽出された各画素夫々の前記傾き（ＢＰ
   ）と直交する直線を求める直線演算手段（１０３）、そ
   の直線演算手段（１０３）によって求められた直線のう
   ちの最大頻度となるものを抽出する直線抽出手段（１０
   ４）の夫々を備えている撮像式の境界検出装置。