JPS63293402A - 撮像式の境界検出装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、未処理作業地と処理済作業地との境界に対応
する直線を検出する撮像式の境界検出装置に関する。

〔従来の技術〕

上記この種の撮像式の境界検出装置は、未処理作業地と
処理済作業地との明るさが異なって見えることを利用し
て、撮像した画像情報を画像処理することにより、明る
さ変化が大きい部分を通る直線を、未処理作業地と処理
済作業地との境界に対応した情報として検出するように
したものである。

そして、従来では、作業地を二次元方向に亘って撮像し
、その撮像情報より、上記境界に交差する方向での明る
さ変化の微分値を、２次元方向に並ぶ各量子化画素につ
いて求め、その微分値に基づいて、明るさ変化が大きい
箇所の画素を２値化処理により抽出し、そして、ハフ変
換処理を利用して、抽出された画素の夫々に対して、そ
の画素を通り且つ設定角度づつ方向の異なる多数本の直
線を求め、求めた全直線のうちの最大頻度となるものを
、境界に対応した直線を示す情報として検出するように
してあった。

〔発明が解決しようとする問題点〕

上記従来構成においては、撮像情報より、明るさ変化が
大きい部分を通る直線を境界に対応する直線として検出
するようにしているために、例えば、作業地近傍にある
電柱や立木等の影が未処理作業地と処理済作業地との境
界と同じ方向に向いた状態で撮像視野内に入った場合、
その影となる部分では明るさ変化が大きいために、撮像
された影の部分を通る直線を、境界に対応する直線とし
て誤検出する虞れがある。

そこで、影を消すために、ストロボ発光装置等を用いる
ことが考えられるが、撮像手段が作業地を二次元方向に
亘って撮像するものであることから、大光量のものを用
いたとしても、撮像距離が遠い部分にある影を完全に消
すことは困難である。

本発明は、上記実情に鑑みてなされたものであって、そ
の目的は、画像情報の明暗変化が大きい影が撮像されて
も、その影の影響を受けることなく、境界に対応する直
線を的確に検出できるようにする点にある。

〔問題点を解決するための手段〕

本発明による撮像式の境界検出装置の特徴構成は、作業
地を二次元方向に亘って撮像する撮像手段と、その撮像
手段の撮像画像より、前記境界と交差する方向での明る
さ変化に基づいて二次元方向に並ぶ各量子化画素の微分
値を求める微分手段と、求められた微分値が大なる画素
を抽出する２値化手段と、前記境界と交差する方向で且
つ暗から明の方向に向けて検索して、前記２値化手段に
て抽出された画素のうちの最初に存在する画素を抽出す
る画素抽出手段と、その画素抽出手段にて抽出された画
素を通る直線を求める直線演算手段とが設けられている
点にあり、その作用並びに効果は以下の通りである。

〔作　用〕

撮像画像の明るい部分に影が写っている場合には、その
明るい部分と影の部分との明るさ変化は大きいものとな
り、２値化手段では除去できないが、暗い部分に写って
いる場合には、明るさ変化が小さいので上記２値化手段
にて自動的に除去することができる。又、明暗変化の大
きい部分が作業地の境界に対応することから、２値化手
段にて抽出された画素を、暗から明の方向に向けて検索
して、最初に存在する画素を抽出すれば、その抽出され
た画素は境界部分に対応する画素となり、その最初に存
在する画素以降の画素を処理対象から除外すれば、明る
い部分にある影は自動的に除去できる。

つまり、二次元方向に亘って撮像された画像情報の各量
子化画素毎に、未処理作業地と処理済作業地との境界に
交差する方向での明るさ変化に基づいて二次元方向に並
ぶ各量子化画素の微分値を求め、その微分値が大なる画
素を２値化手段にて抽出することにより、明るさ変化が
大きい部分を抽出し、そして、未処理作業地と処理済作
業地との境界と交差する方向で且つ暗から明の方向に向
けて検索して、前記２値化手段にて抽出された画素のう
ちの最初に存在する画素を抽出し、その抽出された画素
を通る直線を求めることにより、影の影響を受けること
なく境界に対応する直線を検出できるのである。

〔発明の効果〕

従って、未処理作業地と処理済作業地との境界と交差す
る方向で且つ暗から明の方向に向けて検索して、２値化
手段にて抽出された画素のうちの最初に存在する画素を
抽出するという簡単な処理で、影の影響を受けることな
く、境界に対応する直線を的確に検出することができる
に至った。

〔実施例〕

以下、本発明の実施例を図面に基づいて説明する。

第７図に示すように、左右一対の前後輪（１）。

（２）が、その何れをもステアリング操作自在に設けら
れ、車体（Ｖ）の下腹部に、芝刈り装置（３）が上下動
自在に縣架され、もって、芝や雑草等の刈取作業に用い
る作業車が構成されている。

作業地を二次元方向に亘って撮像する撮像手段としての
イメージセンサ（Ｓ１）が、前記車体（Ｖ）に対して前
方側の作業地の所定範囲を撮像するように設けられてい
る。

前記イメージセンサ（Ｓ１）の撮像視野について説明を
加えれば、前記車体（Ｖ）が、未処理作業地としての未
刈地（Ｂ）と処理済作業地としての既刈地（Ｃ）との境
界（Ｌ）に対して適正状態に沿っている状態において、
前記境界（Ｌ）が、視野の横幅方向中央に位置する状態
となるようにしである。

前記車体（Ｖ）の構成について説明すれば、第６図に示
すように、前記前後輪（１）　、　（２）を各別に操作
するステアリング用の油圧シリンダ（４）。

（５）、及び、それに対する制御弁（６）　、　（７）
が設けられ、前後進切り換え自在で且つ前後進ともに変
速自在な油圧式無段変速装置（８）が、エンジン（Ｅ）
に連動成語され、そして、変速モータ（９）が、前記変
速装置（８）の変速アーム（１０）に連動連結されてい
る。

又、前記車体（Ｖ）の走行距離を検出するために、単位
回転数当たり設定個数のパルス信号を出力する回転数セ
ンサ（Ｓ２）が、前記変速装置（８）の出力にて回転駆
動されるように設けられている。

前記前後輪（１）　、　（２）夫々のステアリング位置
を検出するステアリング位置検出用ポテンショメータ（
Ｒ１）　、（Ｒｚ）と、前記変速装置（８）の操作状態
を検出する変速位置検出用ポテンショメータ（Ｒ１）と
が設けられ、それらの検出情報、前記イメージセンサ（
Ｓ１）の撮像情報に基づいて求められる境界（Ｌ）に対
応する直線の情報、及び、前記回転数センサ（Ｓ２）の
検出情報に基づいて、前記車体（Ｖ）が未刈地（Ｂ）と
既刈地（Ｃ）との境界（Ｌ）に沿って自動走行するよう
に制御するマイクロコンピュータ利用の制御装置（１１
）が設けられている。

尚、図中、（Ｈ）は搭乗操縦用のステアリングハンドル
、（Ｒｏ）はその操作位置検出用ポテンショメータ、（
１２）は搭乗操縦用の変速ペダルである。

但し、前記イメージセンサ（Ｓ１）の撮像画像情報を画
像処理して、前記境界（Ｌ）に対応した直線を検出する
ための各種手段が、前記制御装置（１１）を利用して構
成されている。

前記車体（Ｖ）の自動走行について説明すれば、第８図
に示すように、既刈地（Ｃ）で囲まれた四角状の未刈地
（Ｂ）の−辺から対辺に至る部分を、一つの作業行程と
して、車体（Ｖ）が作業行程の長さ方向に沿う側の前記
未刈地（Ｂ）と既刈地（Ｃ）との境界（Ｌ、）に沿って
自動走行するように、前記画像処理にて検出された情報
に基づいて操向制御されることになり、そして、一つの
作業行程の終端側の境界（Ｌｘ）つまり前記未刈地（Ｂ
）の対辺に達するに伴って、その作業行程に交差する次
の作業行程の始端部に向けて自動的にターンさせること
を繰り返すことにより、いわゆる回り刈り形式で、所定
範囲の芝刈り作業を自動的に行わせるようにしである。

前記制御装置（１１）の作動を述べながら説明を加える
と、走行が開始されると、前記回転数センサ（Ｓ２）の
検出情報に基づいて設定距離走行する毎に、後述の境界
検出処理が行われ、その検出情報に基づいて、車体（Ｖ
）が前記境界（Ｌ１）に沿って自動走行するように操向
制御されることになる。

そして、前記回転数センサ（Ｓ２）の検出情°報に基づ
いて、一つの作業行程の長さに相当する距離に対して設
定範囲内まで走行するに伴って、その作業行程の終端側
の境界（Ｌ２）を検出する処理を行い、それの画像上の
位置情報に基づいて、車体（Ｖ）の現在位置に対する終
端位置を算出して、その算出された位置まで前記前後輪
（１）　、　（２）をステアリングニュートラルの状態
に維持することにより、直進させた後、予め設定記憶さ
れたターンパターンに基づいて、次の作業行程に向けて
ターンさせることになる。

又、例えば、予め設定された行程数を走行したか否か、
あるいは、設定された走行距離に達したか否か等を判別
することにより、作業終了か否かを判断して、作業終了
でない場合は、前述の境界検出処理以降の処理を繰り返
すことになり、一方、作業終了の場合は、前記車体（Ｖ
）を停止させて、全処理を終了することになる。

前記行程側の境界（Ｌ１）に対するずれの算出について
説明を加えれば、車体横幅方向に向かう位置のずれと、
境界（Ｌ１）の向きに対する傾きのずれとがあるが、そ
れらを定量的な値として算出してもよく、又、単にずれ
の方向だけを算出するようにしてもよい。

又、操向制御の処理について説明を加えれば、平行ステ
アリング形式にて、車体横幅方向の位置のずれを修正し
、４輪ステアリング形式にて、向きのずれを修正するこ
とになる。但し、前記前後輪（１）　、　（２）のステ
アリング量に差を付けて、位置と向きのずれを同時に修
正するようにしてもよい。

次に、第１図に示すフローチャートに基づいて、前記境
界検出の処理について詳述する。

但し、以下に説明する境界検出の処理は、前記未刈地（
Ｂ）が既刈地（Ｃ）よりも暗く見える現象を利用して行
われるものである。

すなわち、境界検出処理が開始されるに伴って、前記イ
メージセンサ（Ｓ、）による撮像処理が行われると共に
、その撮像画像情報が、予め設定された画素密度（３２
Ｘ３２画素に設定しである）に対応して量子化される。

次に、処理対象となる画素（ｅ）の周囲に隣接する８画
素（ａ−ｄ　＋　ｆ−１）を含む９画素を覆う３Ｘ３画
素分のマスクを用いて、下記（ｉ）式に基づいて、画像
上のＸ軸方向における明るさ変化の微分値（ＳＸ）を演
算する処理が、二次元方向に並ぶ各画素について行われ
る（第３図参照）。

５Ｘ（ｘ、　ｙ）　＝　（ｃ＋２ｆ＋ｉ）　−（ａ＋２
ｄ＋ｇ）　・・・”・（ｉ　）但し、この微分処理にお
いて、前記車体（Ｖ）に対して前記境界（Ｌ）が左右何
れの側に位置するかに基づいて、前記微分値（ＳＸ）の
符号を判別して、正負いずれか一方の符号となる値のみ
を求めるようにしである。

つまり、前記式（ｉ）において、画像上右側に位置する
画素の明るさから左側に位置する画素の明るさを減算す
るようにしているので、右側のほうが明るい場合（第４
図参照）には、前記微分値（ＳＸ）は正の値となり、左
側のほうが明るい場合（第５図参照）には負の値となる
。

従って、前記車体（Ｖ）に対して境界（Ｌ１）が右側に
位置する状態で走行させる場合には、前記微分値（ＳＸ
）が正の値となるものを抽出し、左側に位置する状態で
走行させる場合には、前記微分値（ＳＸ）が負の値とな
るものを抽出することになる。

尚、このＸ軸方向における明るさ変化の微分値（ＳＸ）
を演算する処理が、微分手段（１００）に対応すること
になる。

そして、前記微分値（ＳＸ）の絶対値が予め設定された
設定閾値以上の大きさとなる画素のみを抽出するように
２値化することにより、明るさ変化が大なる箇所の画素
を抽出する。

尚、この２値化処理が、２値化手段（１０１）に対応す
ることになる。

次に、前記２値化手段（１０１）にて抽出された画素を
、前記境界（Ｌ）と交差する方向で且つ暗から明の方向
に向けて検索して、前記２値化手段（１０１）にて抽出
された画素のうちの最初に存在する画素を抽出すること
により、明るい部分つまり前記既刈地（Ｃ）内に写った
影（Ａ）（第４図及び第５図参照）を除去する影除去の
処理゛を行う。

尚、この影を除去する処理が、画素抽出手段（１０２）
に対応することになる。

そして、ハフ変換処理を用いて、影を除去した各画素毎
に、その画素を通る設定角度毎に分割された多数本の直
線を、下記式（ｉｉ　）に基づいて極座標系（ρ、θ）
に投影し、同一座標値をとる頻度をヒストグラムにとり
、そして、そのヒストグラムから、最大頻度となる一つ
の直線を求めて、その直線を、前記作業行程に沿う方向
に向かう境界（Ｌ、）に対応する直線として検出する。

ρ＝×・ｃｏｓθ＋ｙ−ｓｉｎθ　・・・・・・（ｉｉ
　）尚、このハフ変換処理を用いて直線を求める処理が
、直線演算手段（１０３）に対応することになる。

但し、この境界検出の処理において、説明のために用い
た画面は仮想上のものであり、前記各境界（Ｌ１）、　
（Ｌ２）に対応した直線が、実際に引かれることはなく
、最大頻度となる前記（ｉｉ）式にて求められた値（ρ
）と、その値となる角度（θ）の値とを、検出した直線
に対応する情報として使用することになる。そして、境
界に対するずれの算出や終端位置の算出の処理において
、それらの値（ρ）、（θ）から、実際の地面の座標系
に写像することにより、車体（Ｖ）に対する実際の境界
（Ｌ１）　、　（ｔｚ）の位置を算出することになる。

そして、実際の地面に写像された情報に基づいて、前述
の如く操向制御することにより、前記車体（Ｖ）が境界
（Ｌυに沿って自動走行し、且つ終端側の境界（Ｌ１）
に達するに伴って、次の作業行程の始端部に向けて自動
的にターンするように、誘導することになる。

ところで、前記終端側の境界（Ｌ２）を検出する場合に
は、明るさ変化が車体（Ｖ）に対して前後方向となり、
且つ、画面上、上方から下方に向かって明から暗へ変化
することになるために、前述の微分処理において、ｙ軸
方向での明るさ変化の微分値を求めて、前記Ｘ軸方向で
の微分値（ＳＸ）の代わりに使用すれば、同一処理で終
端側の境界（Ｌ２）を検出することができる。

前記終端側の境界（Ｌ２）が検出されたか否かの判別に
ついて説明すれば、前述の境界検出処理が設定距離毎に
行われることから、今回の境界検出処理において検出さ
れた終端側の境界（Ｌ２）の位置が、前回の境界検出処
理において検出された終端側の境界（Ｌ２）の位置に、
車体前後方向に向けて前記設定距離を加算した位置の近
傍にあるか否かを判別することにより、検出された直線
が、終端側の境界（Ｌ２）であるか否かを判断すること
ができる。

ところで、前記イメージセンサ（Ｓ１）が車体前方側の
作業地を斜め上方から撮像するように取り付けられてい
ることから、その撮像画像情報から得られる各境界（Ｌ
１）、（Ｌｚ）の画面上の位置変化は、車体（Ｖ）に対
する実際の境界（Ｌ１）、　（ｔｚ）の位置までの距離
に反比例して、遠方はど小さくなる状態となる。

従って、前記終端側の境界（Ｌ２）の判別、その終端側
の境界（Ｌ２）までの距離の算出、並びに、検出された
行程側の境界（Ｌ１）に対するずれの算出の夫々におい
て、画面上の検出位置に対応して、車体（Ｖ）に対する
実際の位置に換算することになる。

前記影除去の処理について説明すれば、第２図に示すよ
うに、前記行程側の境界（Ｌ、）が、車体（Ｖ）に対し
て左右何れの側にあるかに基づいて、明暗変化の検索方
向が、前記境界（Ｌ１）と交差する方向であるＸ軸方向
で且つ暗から明の方向となるように、画面上左右何れの
方向から検索するかを判別する（第４図及び第５図参照
）。

第４図に示すように、画面上、左側部分が未刈地（Ｂ）
で暗い場合における検索処理について説明すれば、画面
の左側から右側に向かって検索するように、Ｘ軸方向に
向かう各ラインの座標値の初期値を１としてそれが３２
に達するまで、暗から明の方向つまり左側から右側へと
１画素毎に走査して、前記２値化手段（１０１）にて、
抽出された２値化画素の値（ＩＰ）が、２値化画素が存
在することを示す１”であるか否かを判別する。

前記２値化画素の値（ＩＰ）が１”となる最初に存在す
る画素が抽出されるに伴って、影（八）を除去した画像
情報として用いる２値化画素の値（ＤＰ）を１”にして
、一つのラインにおけるＸ軸方向の検索を終了する。

一つのラインにおける検索が終了すると、前記ｙ軸方向
の座標値が３２に達するまで、１づつ加算して、次のラ
インにおける２値化画素の値（ＩＰ）の判別処理を繰り
返すことになる。

一方、第５図に示すように、画面上、右側に暗く見える
未刈地（Ｂ）がある場合には、Ｘ軸方向の座標値の初期
値を最終座標値の３２に設定し、そして、その値から１
づつ減算することにより、前記Ｘ軸方向の検索が、右側
から左側へと逆方向に向けて行われるように、検索方向
を左右逆転させることになる。

従って、前記２値化画素の値（ＩＰ）が“１”となる最
初に存在する画素が抽出されるに伴って、一つのライン
に対する検索処理を終えるようにしているために、明る
い部分である前記既刈地（Ｃ）内に影（Ａ）が写ってい
ても、その影（Ａ）の部分となる画素が抽出されること
はなく、自動的に影（Ａ）が除去されるのである。

又、この影除去処理を行うことにより、前記２値化画素
の値（ＩＰ）が“１″となる最初に存在する画素以降の
画素も処理対象から除去されることになり、直線演算手
段（１０３）での処理対象となる画素数を減少させるこ
とができ、結果的に、高速処理が可能となる。

〔別実施例〕

上記実施例では、前記回転数センサ（Ｓ２）の検出情報
を利用して、車体（Ｖ）が作業行程の終端近傍に近づい
た場合に行うようにした場合を例示したが、例えば、境
界検出の処理を行う毎に、終端の検出を交互に又は同時
に行うようにしてもよい。

又、上記実施例では、２値化手段（１０１）を、Ｘ軸方
向の微分値（ＳＸ）の大きさに基づいて、２値化するよ
うにした場合を例示したが、例えば、ｙ軸方向の微分値
をも用いて、明るさ変化の方向を考慮するようにしても
よい。

又、上記実□施例では、境界（Ｌ）に対応する直線を求
める直線演算手段（１０３）として、ハフ変換処理を用
いた場合を例示したが、直線演算手段（１０３）の具体
構成は各種変更できる。

又、上記実施例では、本発明を芝刈り用の作業車を自動
走行させるための手段として用いた場合を例示したが、
本発明は、各種の作業地の境界を検出する手段として適
用できるものであって、各部の具体構成は、各種変更で
きる。

尚、特許請求の範囲の項に図面との対照を便利にするた
めに符号を記すが、該記入により本発明は添付図面の構
造に限定されるものではない。

【図面の簡単な説明】

図面は本発明に係る撮像式の境界検出装置の実施例を示
し、第１図は境界検出処理のフローチャート、第２図は
影除去処理のフローチャート、第３図は微分処理の説明
図、第４図及び第５図は撮像画像の説明図、第６図は制
御構成を示すブロック図、第７図は作業車の全体側面図
、第８図は作業地の説明図である。 （Ｂ）・・・・・・未処理作業地、（Ｃ）・・・・・・
処理済作業地、（Ｌ）・・・・・・境界、（Ｓ、）・・
・・・・撮像手段、（ＳＸ）・・・・・・微分値、（１
００）・・・・・・微分手段、（１０１）・・・・・・
２値化手段、（１０２）・・・・・・画素抽出手段、（
１０３）・・・・・・直線演算手段。

Claims (1)

【特許請求の範囲】
1. 未処理作業地（Ｂ）と処理済作業地（Ｃ）との境界（Ｌ
   ）に対応する直線を検出する撮像式の境界検出装置であ
   って、作業地を二次元方向に亘って撮像する撮像手段（
   Ｓ＿１）と、その撮像手段（Ｓ＿１）の撮像画像より、
   前記境界（Ｌ）と交差する方向での明るさ変化に基づい
   て二次元方向に並ぶ各量子化画素の微分値（ＳＸ）を求
   める微分手段（１００）と、求められた微分値（ＳＸ）
   が大なる画素を抽出する２値化手段（１０１）と、前記
   境界（Ｌ）と交差する方向で且つ暗から明の方向に向け
   て検索して、前記２値化手段（１０１）にて抽出された
   画素のうちの最初に存在する画素を抽出する画素抽出手
   段（１０２）と、その画素抽出手段（１０２）にて抽出
   された画素を通る直線を求める直線演算手段（１０３）
   とが設けられている撮像式の境界検出装置。