JPH0634229B2 - 撮像式の境界検出装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、車体進行方向前方側の未処理作業地と処理済
作業地との境界を二次元方向に亘って撮像する撮像手段
と、その撮像手段の撮像範囲を照光する照光手段とが、
前記境界を斜め上方から望む状態で、作業車に設けら
れ、前記撮像手段の撮像情報から二次元方向に並ぶ各画
素の明るさの検出値に基づいて各画素の微分値を求める
微分手段と、各画素における前記微分値の絶対値と設定
閾値とを比較してその設定閾値以上となる箇所の画素を
抽出する２値化手段と、前記２値化手段で抽出された画
素情報から境界に相当する直線抽出を行う直線抽出処理
手段とを備えた撮像式の境界検出装置に関する。

〔従来の技術〕

上記この種の撮像式の境界検出装置は、作業車を未処理
作業地と処理済作業地との境界に沿って自動走行させる
ための操向制御情報等として用いるために、未処理作業
地と処理済作業地とは明るさが異なって見えることか
ら、その境界部分で明るさ変化が大きくなることを利用
して、境界に対応した２値化画像情報を得るようにした
ものである。

そして、走行前方側の境界の情報を、その地点まで走行
する前に得られるようにするために、上記境界を斜め上
方から望む状態で撮像するようにしてある。

ところで、この種の撮像式の境界検出装置においては、
画像情報の明るさ変化を利用して境界に対応する２値化
画像情報を得るようにしているために、撮像条件つまり
撮像視野内の明るさが変わると、同一箇所を撮像して
も、その明るさ変化が異なる状態となり、適正な２値化
が行えなくなる虞れがあることから、撮像処理に同期し
て撮像視野内を照光するストロボ発光装置等の照光手段
が設けられている。

ちなみに、この種の撮像式の境界検出装置は、作業車が
一般に屋外で使用されることからも、天候の影響を受け
ないようにすることが望まれるものであり、従って、天
候に拘らず一定の明るさで撮像できるようにすることが
望まれている。

しかしながら、撮像視野が、斜め上方から走行前方側の
作業地を望む状態となるために、照光手段が設けられる
位置において均一な強度で照光したとしても、地面上で
は、撮像距離が遠い箇所ほど、近い箇所よりも照光量が
低下する状態となり、得られる二次元の撮像画像は、撮
像距離が遠い箇所ほど暗くなる状態となる。

上記境界として、芝地における未刈地と既刈地との境界
を検出する場合を例に説明を加えれば、未刈地よりも既
刈地が明るく見える状態となることが知られている。

そして、第２図(イ)に示すように、画面上、未刈地(B)が
左側に且つ既刈地(C)が右側に、夫々位置し、その境界
(L)が上下方向に見える状態で撮像した場合には、撮像
距離が遠い箇所つまり画面上、上方側ほど下方側よりも
暗くなり、各画素毎にその明るさの値に基づいて微分値
を求めると、微分値が上方側ほど小さい値と成って、画
面全体に対して一定の閾値で２値化すると、第２図(ロ)
に示すように、上方側つまり遠方側箇所に位置する境界
部分に対応する画素（図中、破線で示す）に対応する情
報が欠落する不利が生じる。

そこで、従来では、例えば、大光量の照光手段を設け、
その照光範囲を撮像視野よりも拡げて、撮像視野内にお
ける明るさ変化が極力小さくなるようにすることが考え
られている。

〔発明が解決しようとする問題点〕

しかしながら、大光量の照光手段を設け、その照光範囲
を撮像視野よりも拡げるようにする構成では、照光手段
が大型化するばかりか、装置が高価になる不利がある。

又、遠近に拘らず地面での照光量が一定になるように、
照光手段の照光強度を、撮像箇所の遠近に対応して、可
変するようにすることも考えられるが、照光手段の構成
が複雑になる不利がある。

本発明は、上記実情に鑑みてなされたものであって、そ
の目的は、特別な照光手段を用いることなく、境界に対
応した２値化画像情報を的確に得られるようにすること
にある。

〔問題点を解決するための手段〕

本発明による撮像式の境界検出装置の特徴構成は、前記
閾値の値が、撮像距離が遠い箇所に対応する画素の方が
近い箇所に対応する画素よりも小となるように、前記各
画素に対する２値化の閾値を設定する閾値設定手段が設
けられている点にあり、その作用並びに効果は以下の通
りである。

〔作用〕

撮像距離が遠い箇所の画素ほど照光量が低下する状態と
なって、その明るさ変化が小さくなることから、微分値
の大きさに基づいて２値化するための閾値の値を、撮像
距離が遠い箇所の画素ほど近い箇所の画素よりも小とな
るように設定すれば、撮像距離の遠近に起因する明るさ
の違いに拘らず、的確な２値化が行えるものとなる。

〔発明の効果〕

撮像距離の遠近に起因する明るさの違いに拘らず、的確
な２値化が行えるので、撮像距離が近い箇所において適
正光量となる照光手段を用いることができる。もって、
特別な照光手段を用いることなく、境界に対応する画像
情報を全撮像視野内において的確に得られるに至った。

〔実施例〕

以下、本発明の実施例を図面に基づいて説明する。

第４図に示すように、左右一対の前後輪(1),(2)が、そ
の何れをもステアリング操作自在に設けられ、車体の下
腹部に、芝刈り装置(3)が縣架され、もって、芝や雑草
等の刈取作業に用いる作業車(V)が構成されている。

そして、車体進行方向前方側の未処理作業地としての未
刈地(B)と処理済作業地としての既刈地(C)との境界(L)
を二次元方向に亘って撮像する撮像手段としてのイメー
ジセンサ(S₁)が、車体進行方向前方側の境界(L)を含む
所定範囲の作業地を斜め上方から望む状態で、車体前端
部に取り付けられている。

前記イメージセンサ(S₁)の撮像視野について説明すれ
ば、前記作業者(V)が、前記境界(L)に対して適正に沿っ
ている状態において、前記境界(L)が、視野の横幅方向
中央に位置する状態となるようにしてある。

尚、図中、(13)は、前記イメージセンサ(S₁)の撮像作動
に同期して、その撮像視野内を設定光量で照光するスト
ロボ発光装置等の照光装置である。

前記作業車(V)の構成について説明すれば、第６図に示
すように、前記前後輪(1),(2)の夫々を各別に操作する
ステアリング用の油圧シリンダ(4),(5)及び、それに対
する制御弁(6),(7)が設けられ、前後進切り換え自在で
且つ前後進ともに変速自在な油圧式無段変速装置(8)
が、エンジン(E)に連動連結され、そして、変速モータ
(9)が、前記変速装置(8)の変速アーム(10)に連動連結さ
れている。

前記変速装置(8)の出力回転数を検出する回転数センサ
(S₂)が設けられ、その検出情報に基づいて、前記作業車
(V)の走行距離を検出できるように構成されている。

又、前記前後輪(1),(2)夫々のステアリング位置を検出
するステアリング位置検出用ポテンショメータ(R₁),
(R₂)、及び、前記変速装置(8)の操作状態を検出するこ
とにより間接的に車速を検出する車速検出用ポテンショ
ーメータ(R₃)が設けられ、それらの検出情報、前記イメ
ージセンサ(S₁)による撮像情報に基づいて求められる前
記境界(L)に対応する情報、及び、前記回転数センサ
(S₂)の検出情報に基づいて、前記作業者(V)が前記未刈
地(B)と既刈地(C)との境界(L)に沿って自動走行するよ
うに制御するマイクロコンピュータ利用の制御装置(11)
が設けられている。

尚、図中、(H)は搭乗操縦用のステアリングハンドル、
(R₀)はその操作位置検出用ポテンショメータ、(12)は搭
乗操縦用の変速ペダルである。

但し、前記イメージセンサ(S₁)の撮像情報を画像処理し
て、前記境界(L)に対応した情報を検出するための各種
手段が、前記制御装置(11)を利用して構成されることに
なる。

前記作業車(V)の自動走行について説明すれば、第５図
に示すように、既刈地(C)で囲まれた四角状の未刈地(B)
の一辺から対辺に至る部分を、一つの作業行程として、
前記作業車(V)が作業行程の長さ方向に沿う側の前記未
刈地(B)と既刈地(C)との境界(L₁)に沿って自動走行する
ように、前記画像処理にて検出された情報に基づいて操
向制御されることになり、一つの作業行程の終端側の境
界(L₂)つまり前記未刈地(B)の対辺に達するに伴って、
その作業行程に交差する方向の次の作業行程の始端部に
向けて自動的にターンさせることを繰り返すことによ
り、いわゆる回り刈り形式で、所定範囲の芝刈り作業を
自動的に行わせることになる。

前記制御装置(11)の作業を述べながら説明を加えると、
前記作業行程の始端部側から走行開始するに伴って、前
記回転数センサ(S₂)の検出情報に基づいて設定距離を走
行する毎に、後述の境界検出処理が行われ、その検出情
報に基づいて、前記作業車(V)が前記境界(L₁)に沿って
自動走行するように操向制御されることになる。

そして、前記回転数センサ(S₂)の検出情報に基づいて、
一つの作業行程の長さに相当する距離に対して設定範囲
内に達したことを検出するに伴って、その作業行程の終
端側の境界(L₂)を検出する処理を行い、それの検出情報
に基づいて、前記作業車(V)の現在位置に対する終端位
置を算出して、その算出された終端位置まで走行するに
伴って、予め設定記憶されたターンパターンに基づい
て、次の作業行程に向けてターンさせることになる。

但し、前記ターンした回数等に基づいて、予め設定され
た行程数を走行したか否かを判別することにより、作業
終了か否かを判断することになる。作業終了でない場合
には、前述の境界検出処理及びその検出情報による操向
制御を繰り返すことになり、作業終了の場合には、前記
作業車(V)を停止させて、全処理を終了することにな
る。

前記作業行程の長さ方向に沿う境界(L₁)に対する車体の
ずれについて説明を加えれば、車体横幅方向に向かう位
置のずれと、前記境界(L₁)の向きに対する傾きのずれと
があるが、それらを定量的な値として算出してもよく、
又、単にずれの方向だけを算出するようにしてもよい。

前記操向制御について説明を加えれば、前記前後輪(1),
(2)を同方向に向き変更して車体を平行移動させる平行
ステアリング形式にて、車体横幅方向の位置のずれを修
正し、前記前後輪(1),(2)を逆方向に向き変更して車体
を急旋回させる４輪ステアリング形式にて、向きのずれ
を修正することになる。但し、前記前後輪(1),(2)のス
テアリング量に差を付けて、位置と向きのずれを同時に
修正するようにしてもよい。

次に、第１図に示すフローチャートに基づいて、前記境
界(L)に対応する情報を検出するための各手段について
説明する。

すなわち、境界検出処理が開始されるに伴って、前記イ
メージセンサ(S₁)による撮像処理が行われると共に、そ
の撮像画像情報が、予め設定された画素密度（32×32画
素に設定してある）に対応して量子化される。但し、こ
の撮像処理に同期して、前記照光装置(13)が作動して、
設定光量で、前記イメージセンサ(S₁)の撮像視野を照光
することになる。

次に、第３図にも示すように、処理対象となる画素(e)
の周囲に隣接する８画素(a〜d,f〜i)を含む９画素を覆
う３×３画素分のマスクを用いて、下記(i)式に基づい
て、前記境界(L₁)に交差する方向となる画像上のｘ軸方
向における明るさ変化の微分値(SX)を演算する処理が、
二次元方向に並ぶ各画素について行われる。

SX(x,y)=(c+2f+i)-(a+2d+g)……(i) 但し、この微分処理において、前記作業車(V)に対して
前記境界(L₁)が左右何れの側に位置するかに基づいて、
前記微分値(SX)の符号を判別して、正負いずれか一方の
符号となる値のみを求めることになる。

つまり、前記(i)式において、画像上右側に位置する画
素の明るさから左側に位置する画素の明るさを減算する
ようにしているので、右側のほうが明るい場合には、前
記微分値(SX)は正の値となり、左側の方が明るい場合に
は負の値となるのである。

尚、このｘ軸方向における明るさ変化の微分値(SX)を演
算する処理が、微分手段(100)に対応することになる。

そして、前記微分値(SX)の絶対値が予め設定された閾値
以上の大きさとなる画素のみを抽出することにより、明
るさ変化が大なる箇所の画素を抽出する。

但し、前述の如く、前記照光装置(13)による照光量は、
画像上、撮像距離が遠い箇所に対応する上方側ほど近い
箇所に対応する下方側よりも小さくなるために、ｙ軸方
向における明るさが、距離に応じて低下する状態で撮像
される状態となっている（第２図(イ)参照）。

従って、一定の閾値で２値化すると、第２図(ハ)にも示
すように、撮像距離が遠い箇所の境界部分に対応する画
素（図中、破線で示す）が欠落する虞れがあることか
ら、撮像距離つまり前記ｙ軸方向に座標値に応じて、前
記閾値を変更するようにしてある。

つまり、一定の光量で照光すると、その照光量は距離の
二乗に反比例することから、下記(ii)式に基づいて、各
画素のｙ軸方向における座標の値(y)に応じて、２値化
の閾値(Vth)を自動的に変更するのである。

但し、上式において、Vrefは、最も近距離となる画像
上、最下段(y=32)に位置する画素に対する適正閾値の値
である。

尚、33からｙ軸方向における座標の値(y)を減算するの
は、ｙ軸方向の座標値を、最上段を１として、下方に向
かって増加するように設定しているために、その値が１
の場合が、撮像距離が最も遠い箇所に対応することにな
るのである。

従って、ｙ軸方向における座標の値(y)に応じて、撮像
距離が遠い箇所の画素ほど閾値(Vth)が小さくなるよう
に自動設定されることになり、画面上、上下方向におけ
る各画素夫々の明るさに対応して適正に２値化が行われ
て、第２図(ロ)にも示すように、撮像距離が遠い箇所の
境界部分に対応する画像情報が欠落することはないので
ある。

もって、この２値化の処理が、２値化手段(101)に対応
することになり、前記ｙ軸方向における座標の値(y)に
基づいて、閾値(Vth)を設定変更する処理が、撮像距離
が遠い箇所に対応する画素の方が近い箇所に対応する画
素よりも小となるように、前記各画素に対する２値化の
閾値を設定する閾値設定手段(102)に対応することにな
る。

そして、第１図及び第６図に示すように、直線抽出処理
手段(103)によって、例えば、ハフ変換処理等を利用し
て、２値化された各画素を通る直線のうちで最大頻度と
なる一つの直線を抽出することにより、前記境界(L₁)に
対応した情報を求めることになる。

但し、前記作業行程の終端側の境界(L₂)を検出する場合
には、明るさ変化が、画面上、上下方向に大きくなるこ
とから、前記微分値(SX)を求める処理において、ｙ軸方
向における画素間の明るさの値を減算することになる。

そして、求められた直線の位置や傾きから、前記作業車
(V)と各境界(L₁),(L₂)の実際の位置関係を算出して、操
向制御したり、ターンさせる位置を制御することにな
る。

ところで、前記イメージセンサ(S₁)が車体前方側の作業
地を斜め上方から撮像する状態で取り付けられているこ
とから、その撮像画像情報から得られる各境界(L₁),
(L₂)の画面上の位置変化は、作業車(V)に対する実際の
境界(L₁),(L₂)の位置までの距離に反比例して、遠方ほ
ど小さくなる状態となる。

従って、前記終端側の境界(L₂)の位置算出、並びに、行
程側の境界(L₁)に対するずれの算出の夫々において、画
面上の検出位置に対応して、作業車(V)に対する実際の
位置に換算することになる。

〔別実施例〕

上記実施例では、閾値設定手段(102)を、撮像距離に対
応して、ｙ軸方向における１画素毎に閾値を設定するよ
うにした場合を例示したが、数画素毎に同じ閾値を用い
るように簡略化してもよい。又、予めｙ軸方向の座標値
に対応して閾値を算出した結果をテーブル化して記憶さ
せておき、ｙ軸方向の座標値に対応して、その値を読み
出すようにしてもよく、具体構成は、各種変更できる。

又、上記実施例では、得られた２値化画像情報から、境
界(L)に対応する直線を求めて、その直線の情報に基づ
いて芝刈り用の作業車(V)の走行を制御するようにした
場合を例示したが、得られた２値化画像情報を利用する
ための各部の具体構成は、本発明を適用する作業車の構
成に応じて各種変更できる。

尚、特許請求の範囲の項に図面との対照を便利にするた
めに符号を記すが、該記入により本発明は添付図面の構
造に限定されるものではない。

【図面の簡単な説明】

図面は本発明に係る撮像式の境界検出装置の実施例を示
し、第１図は境界検出処理のフローチャート、第２図
(イ),(ロ),(ハ)は画像の説明図、第３図は微分処理の説明
図、第４図は作業車の全体側面図、第５図は作業地の説
明図、第６図は制御構成のブロック図である。 (B)……未処理作業地、(C)……処理済作業地、(L)……
境界、(V)……作業車、(S₁)……撮像手段、(SX)……微
分値、(13)……照光手段、(100)……微分手段、(101)…
…２値化手段、(102)……閾値設定手段、(103)……直線
抽出処理手段。

Claims (1)

【特許請求の範囲】
1. 【請求項１】車体進行方向前方側の未処理作業地(B)と
   処理済作業地(C)との境界(L)を二次元方向に亘って撮像
   する撮像手段(S₁)と、その撮像手段(S₁)の撮像範囲を照
   光する照光手段(13)とが、前記境界(L)を斜め上方から
   望む状態で、作業車(V)に設けられ、前記撮像手段(S₁)
   の撮像情報から二次元方向に並ぶ各画素の明るさの検出
   値に基づいて各画素の微分値(SX)を求める微分手段(10
   0)と、各画素における前記微分値(SX)の絶対値と設定閾
   値とを比較してその設定閾値以上となる箇所の画素を抽
   出する２値化手段(101)と、前記２値化手段(101)で抽出
   された画素情報から境界に相当する直線抽出を行う直線
   抽出処理手段(103)とを備えた撮像式の境界検出装置で
   あって、前記閾値の値が、撮像距離が遠い箇所に対応す
   る画素の方が近い箇所に対応する画素よりも小となるよ
   うに、前記各画素に対する２値化の閾値を設定する閾値
   設定手段(102)が設けられている撮像式の境界検出装
   置。