JPH07222504A - 自律走行作業車の走行制御方法 - Google Patents

Abstract

(57)【要約】 【目的】 作業対象領域と非作業対象領域との境界に沿
った走行制御を行なうため撮像画像から境界を検出する
際に、的確に画像を２値化し、この２値化画像から正確
な境界近似直線を算出して制御性を向上する。 【構成】 画像を２値化するためのスライスレベルを、
画面領域内の輝度変化量の最大値付近の平均値、例えば
上位１０データの平均値の約５０％に設定し、このスラ
イスレベルを越えている画素を微分値画像から抽出して
２値化画像を生成すると、この２値化画像からハフ変換
によって作業境界を近似する直線を算出する。これによ
り、全画面の平均値に基づいてスライスレベルを算出す
る場合等のように、画面に写っている作業対象領域と非
作業対象領域との比率によってスライスレベルが変動す
ることがなく、的確に画像を２値化することができ、ま
た、最小二乗法等によって直線を算出する場合に比較
し、ノイズの影響を軽減することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車輌周辺の撮像画像を
処理して作業対象領域と非作業対象領域との境界を検出
し、検出した境界に沿って自律走行するよう操舵系を制
御する自律走行作業車の走行制御方法に関する。

【０００２】

【従来の技術】従来、無人で自律走行する自律走行車に
対しては、自律走行のための自己位置検出として、電線
を地下に埋設し、この電線が発する磁界を磁気センサで
検出する技術が提案されているが、ゴルフ場、河川敷堤
防、公園等の各種フィールドで草刈、芝刈等の作業を無
人で行なう自律走行作業車等のように、自律走行領域が
広大な場合、領域の地下全てに電線を埋設することは困
難であり、設置費用も大きなものとなる。

【０００３】このため、前記自律走行作業車では、光セ
ンサ等の無接触センサあるいは機械的な接触式センサ等
を用いてフィールド上の既処理と未処理地との境界部を
検出し、検出した境界部に沿った倣い走行を行なうもの
が多く、最近では、特開昭６１−１３９３０４号公報等
に開示されているように、カメラを搭載して作業対象を
含む周辺領域を撮像し、撮像画像における明るさの変化
量から作業対象領域と非作業対象領域との境界を検出す
る技術が提案されている。

【０００４】

【発明が解決しようとする課題】しかしながら、撮像画
像における明るさの変化量から境界を検出する技術にお
いては、画面に写る作業対象領域と非作業対象領域との
比率によって画像を２値化するためのスライスレベルが
変化して的確な２値化画像が得られない、２値化画像か
ら境界を近似する直線を算出する際にノイズの影響を受
けやすいといった問題がある。

【０００５】本発明は上記事情に鑑みてなされたもの
で、作業対象領域と非作業対象領域との境界に沿った走
行制御を行なうため撮像画像から境界を検出する際に、
的確に画像を２値化し、この２値化画像から正確な境界
近似直線を算出して制御性を向上することのできる自律
走行作業車の走行制御方法を提供することを目的として
いる。

【０００６】

【課題を解決するための手段】本発明は、車輌周辺の撮
像画像から作業対象領域と非作業対象領域との境界を検
出し、検出した境界に沿って自律走行するよう操舵系を
制御する自律走行作業車の走行制御方法において、前記
撮像画像から画面の明るさの変化量の最大値付近の平均
値に基づいてスライスレベルを算出し、明るさの変化量
がスライスレベルを越える画素を抽出して２値化画像を
生成した後、前記２値化画像からハフ変換によって前記
境界を近似する直線を算出することを特徴とする。

【０００７】

【作用】本発明では、画面の明るさの変化量の最大値付
近の平均値に基づいて画像を２値化するためのスライス
レベルを算出し、このスライスレベルによって２値化し
た画像からハフ変換によって境界を近似する直線を算出
する。

【０００８】

【実施例】以下、図面を参照して本発明の実施例を説明
する。図面は本発明の一実施例に係わり、図１は境界検
出ルーチンのフローチャート、図２は走行制御ルーチン
のフローチャート、図３は芝刈作業車の概略説明図、図
４は操舵制御系の基本構成図、図５は境界検出部の回路
ブロック図、図６は作業領域を撮像した元画像を示す説
明図、図７は平均化処理画像を示す説明図、図８は輝度
微分値画像を示す説明図、図９はスライスレベル算出用
ヒストグラムを示す説明図、図１０は２値化画像を示す
説明図、図１１はハフ変換用２次元ヒストグラムを示す
説明図、図１２はウィンドウ内での近似直線式を表わす
座標軸を示す説明図、図１３は境界近似直線の認識結果
を示す説明図、図１４は最終的に選択した境界近似直線
を示す説明図である。

【０００９】図３において、符号１は無人で自律走行が
可能な自律走行作業車を示し、本実施例においてはゴル
フ場等の草・芝刈り作業を行う芝刈作業車である。この
芝刈作業車１には、草・芝刈作業を行うためのモーア等
の刈刃機構部２を車輌本体下部に備えるとともに、作業
領域を撮像する撮像手段として例えば固体撮像素子（Ｃ
ＣＤ）を使用したＣＣＤカメラ３を備え、さらに、走行
履歴を算出するための地磁気センサ４及び車輪エンコー
ダ５からなる推測航法センサを備えている。

【００１０】前記芝刈作業車１は、エンジン駆動で走行
し、図４に示すように、前輪操舵機構９ａ、後輪操舵機
構９ｂが、それぞれ前輪用油圧シリンダ８ａ、後輪用油
圧シリンダ８ｂによって独立して駆動されるようになっ
ている。各油圧シリンダ８ａ，８ｂには、それぞれ前輪
操舵用油圧制御弁７ａ、後輪操舵用油圧制御弁７ｂを介
して、エンジン１ａによって駆動される油圧ポンプ６が
接続されており、制御装置２０により制御される。

【００１１】前記制御装置２０には、前記ＣＣＤカメラ
３が接続される境界検出部３０と、前輪操舵用油圧制御
弁７ａ及び後輪操舵用油圧制御弁７ｂが接続されるとと
もに、前輪操舵機構９ａ、後輪操舵機構９ｂにそれぞれ
取付けられた舵角センサ１０ａ，１０ｂ、前記地磁気セ
ンサ４、前記車輪エンコーダ５等からの各信号が入力さ
れる走行制御部４０とが備えられ、それぞれがマイクロ
コンピュータを中心として構成されている。

【００１２】前記境界検出部３０では、前記ＣＣＤカメ
ラ３で撮像した車輌周辺の画像から、例えば、ゴルフ場
のフェアウェイとラフとの境界や、草・芝刈り作業中の
作業済み領域と未作業領域との境界等のような作業対象
領域と非作業対象領域との境界（以下、作業境界と称す
る）を検出し、また、前記走行制御部４０では、作業に
関して予め記憶されている走行経路情報に従って、前記
境界検出部３０で検出した作業境界に沿った倣い走行を
行なうよう操舵系を制御し、地磁気センサ４及び車輪エ
ンコーダ５からの信号により車輌の走行履歴を記録す
る。

【００１３】前記境界検出部３０の具体的回路構成は図
５に示され、ＣＰＵ５０、ワークデータを保持するため
のＲＡＭ５１、制御用固定データ及び制御用プログラム
が格納されているＲＯＭ５２、入出力（Ｉ／Ｏ）インタ
ーフェース５３を備えたマイクロコンピュータのデータ
バス５４及びアドレスバス５５に、例えば５１２×５１
２画素のフレームメモリからなるビデオメモリ６５が切
換回路６４を介して接続されている。

【００１４】また、前記ビデオメモリ６５には、前記切
換回路６４を介してＡＤ変換器６０、アドレス制御回路
６１が接続されており、前記ＡＤ変換器６０に、ＣＣＤ
カメラ３からのビデオ信号を増幅するアンプ５８が接続
されるとともに、前記アドレス制御回路６１に、ＣＣＤ
カメラ３のビデオ信号から同期信号を分離してタイミン
グ信号を生成する同期回路５９が接続されている。

【００１５】ＡＤ変換器６０では、アンプ５８で増幅さ
れたビデオ信号を、例えば約８ＭＨｚのサンプル速度で
同期回路５９からのタイミング信号に同期してデジタル
データに変換し、データバス６２を介して切換回路６４
に出力する。また、アドレス制御回路６１は、同期回路
５９からのタイミング信号に同期してアドレスデータを
生成し、アドレスバス６３を介して切換回路６４に供給
する。

【００１６】前記切換回路６４は、ＣＰＵ５０側のデー
タバス５４及びアドレスバス５５と、ＡＤ変換器６０側
のデータバス６２及びアドレスバス６３とのいずれか一
方を選択的にビデオメモリ６５に接続するものであり、
アドレス制御回路６１から切換回路６４にアドレスデー
タが供給されている間はＡＤ変換器６０側のデータバス
６２をビデオメモリ６５に接続して画像データを書込
み、この間、ＣＰＵ５０によるビデオメモリ６５へのア
クセスを禁止する。

【００１７】そして、ＣＣＤカメラ３からのビデオ信号
の供給が停止し、ＣＰＵ５０のビデオメモリ６５へのア
クセスが可能になると、ＣＰＵ５０では、ビデオメモリ
６５から画像データを読出し、読出した画像データを処
理して作業境界を近似する直線の傾き、切片を求めた
後、Ｉ／Ｏインターフェース５３を介して前記走行制御
部４０に出力する。

【００１８】以下、境界検出部３０による作業境界検
出、次いで、走行制御部４０による倣い制御について説
明する。

【００１９】まず、境界検出部３０にて実行される図１
の境界検出ルーチンでは、ステップS101で、ビデオメモ
リ６５から画像データを入力すると、ステップS102で、
ノイズや特異点除去のための２次元移動平均処理を行な
った後、ステップS103で、画面上の明るさの変化点（境
界）を抽出するため、水平軸方向の輝度変化量を算出す
る。

【００２０】例えば、図６に示すような芝刈作業におけ
る既刈領域と未刈領域との境界部分を撮像した元画像に
対し、２０×２０画素の強度平均値をＸ，Ｙ方向に４画
素ずつずらした状態の画素データの平均値を求めること
により２次元移動平均処理を行ない、図７に示すような
平均化処理画像を得る。そして、この平均化処理画像に
対し、水平軸方向の輝度変化量を算出することにより、
図８に示すような輝度微分値画像を得る。

【００２１】尚、図６中のＷＤはウィンドウを示し、以
下の処理で、このウィンドウ内で作業境界を近似する直
線を求める。

【００２２】続いて、ステップS104では、画像を２値化
するためのスライスレベルを算出する。このスライスレ
ベルは、図９に示すように、輝度微分量を横軸、度数を
縦軸として作成したヒストグラム等から算出され、設定
した画面領域内の輝度変化量の最大値付近の平均値、例
えば上位１０データの平均値の約５０％に設定される。
このため、全画面の平均値に基づいてスライスレベルを
算出する場合等のように、画面に写っている作業対象領
域と非作業対象領域との比率によってスライスレベルが
変動することがなく、的確に画像を２値化することがで
きる。

【００２３】その後、ステップS105へ進み、前記ステッ
プS104で設定したスライスレベルを越えている画素を、
前記ステップS103で生成した微分値画像から抽出して図
１０に示す２値化画像を生成すると、ステップS106で、
この２値化画像から図１１に示すような２次元ヒストグ
ラムを作成し、ハフ変換によって作業境界を近似する直
線を算出し、ステップS107へ進む。

【００２４】この２次元ヒストグラムは、図１２に示す
ように、ウィンドウＷＤの中央下部を原点Ｏとし、画面
横方向をＸ軸、画面縦方向をＹ軸とするＸ−Ｙ座標系に
おいて、ウインドウＷＤ内に含まれる画素２点を結ぶ直
線をｘ＝ａｙ＋ｂで表わしたときの傾きｔａｎ^-1ａとＸ
軸切片ｂとを、画素２点の全組合わせについて求め、傾
きｔａｎ^-1ａを横軸、切片ｂを縦軸として作成したもの
であり、図１１中、Ｒhで示す梨子地部分が最も度数が
大きく、次いでＧhで示す網線部分、Ｂhで示す斜線部分
と度数が小さくなり、他は度数零である。

【００２５】そして、作成したヒストグラムからピーク
点を抽出することにより、図１３に示すように、度数
（相関の強さ）４４１の直線Ａ，Ｂ、度数４０６の直線
Ｃ、度数３９３の直線Ｄ，Ｅ、度数２８１の直線Ｆ等の
複数の直線群が得られ、最小二乗法等に比較してノイズ
の影響を軽減することができる。

【００２６】ステップS107では、複数の直線Ａ，Ｂ，
…，Ｆの中で最も度数の高い（相関が強い）直線Ａ
（Ｂ）を、図１４に示すように境界近似直線Ｌとして抽
出し、この境界近似直線Ｌの傾きと切片とを走行制御部
４０に出力してステップS101へ戻り、新たな画像を入力
して以上の処理を繰返す。

【００２７】このように、草・芝刈作業済みの領域と未
作業領域との境界等の草・芝の葉の高さの異なる作業境
界が境界検出部３０で検出されると、走行制御部４０で
は、図２の走行制御ルーチンにより、作業境界に沿った
倣い走行を制御する。

【００２８】この走行制御ルーチンは、１行程毎に往復
しながら芝刈作業を行なう形式、あるいは、輪状に芝刈
作業を行なう形式等、予め記憶されている走行経路情報
と地磁気センサ４及び車輪エンコーダ５からの信号に基
づいて算出される走行履歴にとに従って走行を行なう場
合の基本ルーチンであり、ステップS201で、境界検出部
３０で検出した画面上における境界近似直線Ｌを入力す
ると、ステップS202で、この直線Ｌと、予め設定してお
いた画面上の目標直線Ｌ0 （ｙ＝ｐｘ＋ｑ）とを比較
し、芝刈作業車１の車輌本体の目標直線Ｌ0 からの偏差
量Ｃと進行方向の目標直線Ｌ0 に対する偏差角θとを求
める。

【００２９】次に、ステップS203へ進み、前記偏差量Ｃ
及び前記偏差角θを一定にする前輪目標舵角及び後輪目
標舵角を算出し、ステップS204で、前後輪の各舵角セン
サ１０ａ，１０ｂからの各信号を入力して前輪舵角、後
輪舵角を求め、ステップS205で、前輪舵角と前輪目標舵
角とを比較する。

【００３０】前記ステップS205における比較の結果、前
輪舵角≧前輪目標舵角の場合には、ステップS206へ進
み、前輪操舵用油圧制御弁７ａをＯＦＦとし、前輪舵角
＜前輪目標舵角の場合には、ステップS207へ分岐して前
輪操舵用油圧制御弁７ａをＯＮとし、ステップS208へ進
む。

【００３１】ステップS208では、後輪舵角と後輪目標舵
角との比較が行なわれ、後輪舵角≧後輪目標舵角の場
合、ステップS209へ進んで、後輪操舵用油圧制御弁７ｂ
をＯＦＦとし、後輪舵角＜後輪目標舵角の場合には、ス
テップS210へ分岐して後輪操舵用油圧制御弁７ｂをＯＮ
とする。

【００３２】その後、ステップS211へ進み、予め設定さ
れた時間（例えば、数秒の制御インターバル）が経過し
たか否かを判定し、この制御インターバルが設定時間だ
け経過していない場合には、前述のステップS204へ戻っ
て前後輪の各舵角センサ１０ａ，１０ｂからの信号によ
り前後輪舵角を検出して同様の過程を繰返して前後輪の
舵角が目標舵角に収束するよう制御し、制御インターバ
ルが設定時間以上経過している場合には、ステップS201
へ戻って境界近似直線式を再度入力することにより前後
輪目標舵角を修正する。

【００３３】

【発明の効果】以上述べたように本発明によれば、作業
対象領域と非作業対象領域との境界に沿った走行制御を
行なうため撮像画像から境界を検出する際に、画面の明
るさの変化量の最大値付近の平均値に基づいて画像を２
値化するためのスライスレベルを算出するため、画面に
写っている作業対象領域と非作業対象領域との比率によ
ってスライスレベルが変動することがなく、的確に画像
を２値化することができる。また、２値化画像からハフ
変換によって境界を近似する直線を算出するため、最小
二乗法等によって直線を算出する場合に比較してノイズ
の影響を軽減して正確な境界近似直線を算出することが
でき、制御性を向上することができる等優れた効果が得
られる。

【図面の簡単な説明】

【図１】境界検出ルーチンのフローチャート

【図２】走行制御ルーチンのフローチャート

【図３】芝刈作業車の概略説明図

【図４】操舵制御系の基本構成図

【図５】境界検出部の回路ブロック図

【図６】作業領域を撮像した元画像を示す説明図

【図７】平均化処理画像を示す説明図

【図８】輝度微分値画像を示す説明図

【図９】スライスレベル算出用ヒストグラムを示す説明
図

【図１０】２値化画像を示す説明図

【図１１】ハフ変換用２次元ヒストグラムを示す説明図

【図１２】ウィンドウ内での近似直線式を表わす座標軸
を示す説明図

【図１３】境界近似直線の認識結果を示す説明図

【図１４】最終的に選択した境界近似直線を示す説明図

【符号の説明】

１ 芝刈作業車（自律走行作業車） ３ ＣＣＤカメラ（撮像手段）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 7/00

Claims (1)

【特許請求の範囲】
1. 【請求項１】 車輌周辺の撮像画像から作業対象領域と
   非作業対象領域との境界を検出し、検出した境界に沿っ
   て自律走行するよう操舵系を制御する自律走行作業車の
   走行制御方法において、 前記撮像画像から画面の明るさの変化量の最大値付近の
   平均値に基づいてスライスレベルを算出し、明るさの変
   化量がスライスレベルを越える画素を抽出して２値化画
   像を生成した後、 前記２値化画像からハフ変換によって前記境界を近似す
   る直線を算出することを特徴とする自律走行作業車の走
   行制御方法。