JPH07222505A - 自律走行作業車の走行制御方法 - Google Patents

Abstract

(57)【要約】 【目的】 作業対象領域と非作業対象領域との境界に沿
った走行制御を行なうため撮像画像から境界を検出する
際に、撮像画像内の非作業対象の影響を除去し、信頼性
の高い境界情報を得る。 【構成】 緑画像に対して、ノイズや特異点除去のため
の２次元移動平均処理を行なった後、水平軸方向の強度
変化量を算出して微分値画像を得るとともに、Ｒ，Ｇ，
Ｂの各画像から、予め設定した範囲以外の色強度比率、
あるいは、予め設定した範囲内の緑色強度絶対値を有す
る芝以外の物体が写った画素をマスク情報として抽出す
る。そして、このマスク情報に基づいて、芝以外の物体
が写った画素と、その周辺画素の微分値を零に書換える
ことによって緑色微分値画像から芝以外のデータを排除
して２値化画像を生成し、この２値化画像からハフ変換
により作業境界を近似する直線の傾きと切片を求める。
これにより、撮像画像内の非作業対象の影響を除去し、
信頼性の高い境界情報を得ることができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、車輌周辺の撮像画像を
処理して作業対象領域と非作業対象領域との境界を検出
し、検出した境界に沿って自律走行するよう操舵系を制
御する自律走行作業車の走行制御方法に関する。

【０００２】

【従来の技術】従来、無人で自律走行する自律走行車に
対しては、自律走行のための自己位置検出として、電線
を地下に埋設し、この電線が発する磁界を磁気センサで
検出する技術が提案されているが、ゴルフ場、河川敷堤
防、公園等の各種フィールドで草刈、芝刈等の作業を無
人で行なう自律走行作業車等のように、自律走行領域が
広大な場合、領域の地下全てに電線を埋設することは困
難であり、設置費用も大きなものとなる。

【０００３】このため、前記自律走行作業車では、光セ
ンサ等の無接触センサあるいは機械的な接触式センサ等
を用いてフィールド上の既処理と未処理地との境界部を
検出し、検出した境界部に沿った倣い走行を行なうもの
が多く、最近では、特開昭６１−１３９３０４号公報等
に開示されているように、カメラを搭載して作業対象を
含む周辺領域を撮像し、撮像画像における明るさの変化
量から作業対象領域と非作業対象領域との境界を検出す
る技術が提案されている。

【０００４】

【発明が解決しようとする課題】しかしながら、境界に
沿った倣い走行を行なう際に、撮像画像における明るさ
の変化量から作業対象領域と非作業対象領域との境界を
検出する技術では、撮像画像に写っている作業対象以外
の物体の明るさの変化量も取込んでしまい、境界の位置
を誤認識して倣い走行が困難となるおそれがある。

【０００５】本発明は上記事情に鑑みてなされたもの
で、作業対象領域と非作業対象領域との境界に沿った走
行制御を行なうため撮像画像から境界を検出する際に、
撮像画像内の非作業対象の影響を除去し、信頼性の高い
境界情報を得ることのできる自律走行作業車の走行制御
方法を提供することを目的としている。

【０００６】

【課題を解決するための手段】第１の発明は、車輌周辺
の撮像画像から作業対象領域と非作業対象領域との境界
を検出し、検出した境界に沿って自律走行するよう操舵
系を制御する自律走行作業車の走行制御方法において、
前記撮像画像から明るさの変化量を算出して２値化画像
を生成する際に、作業対象を識別するための色に係る条
件を満足しない画素及びその周辺画素の明るさの変化量
を零として２値化画像を生成し、前記２値化画像から前
記境界を近似する直線を算出することを特徴とする。

【０００７】第２の発明は、第１の発明における作業対
象を識別するための色に係る条件を、特定の操作入力に
応じて撮像した画像から設定することを特徴とする。

【０００８】

【作用】第１の発明では、車輌周辺を撮像した画像に対
し、作業対象を識別するための色に係る条件を満足しな
い画素及びその周辺画素の明るさの変化量を零として２
値化画像を生成し、生成した２値化画像から作業対象領
域と非作業対象領域との境界を近似する直線を算出す
る。

【０００９】第２の発明では、第１の発明において、作
業対象を識別するための色に係る条件を特定の操作入力
に応じて撮像した画像から設定し、この条件を満足しな
い画素及びその周辺画素の明るさの変化量を零として２
値化画像を生成する。

【００１０】

【実施例】以下、図面を参照して本発明の実施例を説明
する。図面は本発明の一実施例に係わり、図１は境界検
出ルーチンのフローチャート、図２は走行制御ルーチン
のフローチャート、図３は芝刈作業車の外観を示す概略
説明図、図４は操舵制御系の基本構成図、図５は境界検
出部の回路ブロック図、図６は作業領域を撮像した元画
像を示す説明図、図７は平均化処理画像を示す説明図、
図８は微分値画像を示す説明図、図９はマスク情報を示
す説明図、図１０はマスク後の微分値画像を示す説明
図、図１１はスライスレベル算出用ヒストグラムを示す
説明図、図１２は２値化画像を示す説明図、図１３及び
図１４はハフ変換用２次元ヒストグラムを示す説明図、
図１５は直線抽出結果を示す説明図、図１６は境界近似
直線の認識結果を示す説明図である。

【００１１】図３において、符号１は無人で自律走行が
可能な自律走行作業車を示し、本実施例においてはゴル
フ場等の草・芝刈り作業を行う芝刈作業車である。この
芝刈作業車１には、車輌本体下部に、草・芝刈作業を行
うためのモーア等の刈刃機構部２を備えるとともに、作
業領域を撮像する撮像手段として、例えば固体撮像素子
（ＣＣＤ）の撮像面にカラーモザイクフィルタを配した
カラー撮像用のＣＣＤカメラ３を車輌前方側に備え、さ
らに、走行履歴を算出するため、地磁気センサ４と車輪
エンコーダ５とからなる推測航法センサを備えている。

【００１２】前記芝刈作業車１は、エンジン駆動で走行
し、図４に示すように、前輪操舵機構９ａ、後輪操舵機
構９ｂが、それぞれ前輪用油圧シリンダ８ａ、後輪用油
圧シリンダ８ｂによって独立して駆動されるようになっ
ている。各油圧シリンダ８ａ，８ｂには、それぞれ前輪
操舵用油圧制御弁７ａ、後輪操舵用油圧制御弁７ｂを介
して、エンジン１ａによって駆動される油圧ポンプ６が
接続されており、制御装置２０により制御される。

【００１３】前記制御装置２０には、前記ＣＣＤカメラ
３及び後述する条件設定スイッチ７０が接続される境界
検出部３０と、前輪操舵用油圧制御弁７ａ及び後輪操舵
用油圧制御弁７ｂが接続されるとともに、前輪操舵機構
９ａ、後輪操舵機構９ｂにそれぞれ取付けられた舵角セ
ンサ１０ａ，１０ｂ、前記地磁気センサ４、前記車輪エ
ンコーダ５等からの各信号が入力される走行制御部４０
とが備えられ、それぞれがマイクロコンピュータを中心
として構成されている。

【００１４】すなわち、前記境界検出部３０では、車輌
周辺の撮像画像から、例えば、ゴルフ場のフェアウェイ
とラフとの境界や、草・芝刈り作業中の作業済み領域と
未作業領域との境界等のように、作業対象領域と非作業
対象領域との境界（以下、作業境界と称する）を検出す
る。また、前記走行制御部４０では、前記境界検出部３
０で検出した作業境界に沿った倣い走行を行なうよう操
舵系を制御する。

【００１５】前記境界検出部３０の具体的回路構成は図
５に示され、ＣＰＵ５０、ワークデータを保持するため
のＲＡＭ５１、制御用固定データ及び制御用プログラム
が格納されているＲＯＭ５２、後述する条件設定スイッ
チ７０が接続された入出力（Ｉ／Ｏ）インターフェース
５３を備えたマイクロコンピュータのデータバス５４及
びアドレスバス５５に、例えば１フレーム５１２×５１
２画素の、Ｒ（赤），Ｇ（緑），Ｂ（青）の光の３原色
に対応する３枚のフレームメモリからなるビデオメモリ
６７が切換回路６６を介して接続されている。

【００１６】また、前記ビデオメモリ６７には、前記切
換回路６６を介してＡＤ変換器５９，６０，６１、アド
レス制御回路６３が接続されており、各ＡＤ変換器５
９，６０，６１に、ＣＣＤカメラ３からのＲ，Ｇ，Ｂの
各信号を増幅する各アンプ５６，５７，５８がそれぞれ
接続されるとともに、前記アドレス制御回路６３に、Ｃ
ＣＤカメラ３の同期信号からタイミング信号を生成する
同期回路６２が接続されている。

【００１７】各ＡＤ変換器５９，６０，６１では、それ
ぞれアンプ５６，５７，５８で増幅された各Ｒ，Ｇ，Ｂ
信号を、例えば約８ＭＨｚのサンプル速度で同期回路６
２からのタイミング信号に同期してデジタルデータに変
換し、データバス６４を介して切換回路６６に出力す
る。また、アドレス制御回路６３は、前記同期回路６２
からのタイミング信号に同期してアドレスデータを生成
し、アドレスバス６５を介して切換回路６６に供給す
る。

【００１８】前記切換回路６６は、ＣＰＵ５０側のデー
タバス５４及びアドレスバス５５と、ＡＤ変換器５９，
６０，６１側のデータバス６４及びアドレスバス６５と
のいずれか一方を選択的にビデオメモリ６７に接続する
ものであり、アドレス制御回路６３から切換回路６６に
アドレスデータが供給されている間はＡＤ変換器５９，
６０，６１側のデータバス６４をビデオメモリ６７に接
続して画像データを書込み、この間、ＣＰＵ５０による
ビデオメモリ６７へのアクセスを禁止する。

【００１９】そして、ＣＣＤカメラ３からのＲ，Ｇ，Ｂ
信号の供給が停止し、ＣＰＵ５０のビデオメモリ６７へ
のアクセスが可能になると、ＣＰＵ５０では、ビデオメ
モリ６７から画像データを読出し、読出した画像データ
を処理して作業境界を近似する直線の傾き、切片を求め
た後、Ｉ／Ｏインターフェース５３を介して前記走行制
御部４０に出力する。

【００２０】以下、境界検出部３０による作業境界検
出、次いで、走行制御部４０による倣い制御について説
明する。

【００２１】まず、境界検出部３０にて実行される図１
の境界検出ルーチンでは、ステップS101で、ビデオメモ
リ６７から画像データを入力すると、次に、緑画像に対
する処理とＲ，Ｇ，Ｂの各色画像に対する処理とを並列
して実行する。

【００２２】すなわち、ステップS102で、ノイズや特異
点除去のための２次元移動平均処理を緑画像に対して行
なった後、ステップS103で、画面上の明るさの変化点
（境界）を抽出するため、水平軸方向の強度（明るさ）
変化量を算出する処理を行ない、これらの処理に並行し
て、ステップS102'で、Ｒ，Ｇ，Ｂの各色の強度から芝
以外の物体を除去するためのマスク情報を算出する処理
を行なう。

【００２３】前記ステップS102における２次元移動平均
処理は、例えば、フェアウェイとラフとの境界部分を撮
像した図６の元画像に対し、２０×２０画素の強度平均
値をＸ，Ｙ方向に４画素ずつずらした状態の画素データ
の平均値を求めることにより行われ、図７に示すような
緑色平均化処理画像が得られる。そして、この２次元移
動平均処理を行なった平均化処理画像に対し、前記ステ
ップS103で、水平軸方向の強度変化量を算出し、図８に
示すような微分値画像を得る。

【００２４】尚、図６中のＷＤはウィンドウを示し、以
下の処理で、このウィンドウ内で作業境界を近似する直
線を求める。

【００２５】また、前記ステップS102'におけるマスク
情報の算出は、予め設定した範囲以外の色強度比率、あ
るいは、予め設定した範囲内の緑色強度絶対値を有する
画素を抽出することにより行ない、これにより緑色画像
において芝以外の物体が写った画素を識別する。

【００２６】例えば、緑色強度、赤色強度、青色強度
を、それぞれ、Ｇi、Ｒi、Ｂiとすると、以下の(1),
(2),(3)のいずれかの条件を満たす画素、すなわち、図
９に示すように、梨子地表示の緑色強度Ｇiよりも赤色
強度Ｒiが強い条件(1)の画素、あるいは、斜線表示の緑
色強度Ｇiが青色強度Ｂiに対して設定値よりも小さい条
件(2)の画素、さらには、木立部分等における緑色強度
Ｇiの絶対値が設定範囲よりも小さい条件(3)の画素は芝
でないと判断し、抽出した画素をマスク情報として緑色
画像に適用するのである。

【００２７】 Ｇi／Ｒi ＜ １．０ … (1) Ｇi／Ｂi ＜ １．１５ … (2) Ｇi ＜ ３０％フルスケール … (3) これらの条件は、フィールドにおいて、ＣＣＤカメラ３
を作業対象の芝地に向け、外部に設けた条件設定スイッ
チ７０をＯＮにした瞬間に取込まれた画像データのＲ，
Ｇ，Ｂそれぞれの各平均値から設定することができ、例
えば、夏と冬の芝の緑色の強さの差等の実際のフィール
ドの状況に応じた条件として、確実に芝以外の物体を排
除することができる。

【００２８】尚、本実施例においては、作業対象が芝で
あることから緑画像に対して２値化を行なうが、他の画
像に対して２値化を行なっても良い。例えば、Ｒ，Ｇ，
Ｂの各信号を出力するＣＣＤカメラ３に代えて、ＮＴＳ
Ｃ方式の複合カラー映像信号を出力するカメラを撮像手
段として使用した場合には、複合カラー映像信号から得
られる色情報によってマスク情報を算出し、このマスク
情報をカラー画像に適用して２値化画像を得ても良い。
さらには、作業対象の色の特徴によっては、予めマスク
情報を得るためのカラー撮像用カメラと２値化画像を得
るための白黒撮像用カメラとを２台使用することも可能
である。

【００２９】続いて、ステップS104では、前記マスク情
報に基づいて、芝以外の物体が写った画素と、その周辺
画素の微分値を零に書換えることによって緑色微分値画
像から芝以外のデータを排除し、図１０に示すような微
分値画像を得ると、ステップS105へ進み、このマスク後
の微分値画像を２値化するためのスライスレベルを算出
する。このスライスレベルは、図１１（ａ）に示すよう
に、強度微分量を横軸、度数を縦軸として作成したヒス
トグラムから算出され、例えば、設定した画面領域内の
強度変化量の上位１０データの平均値の約５０％に設定
される。

【００３０】その後、ステップS106へ進み、前記ステッ
プS105で設定したスライスレベルを越えている画素を、
前記ステップS103で生成した微分値画像から抽出して図
１２（ａ）に示すような２値化画像を生成し、ステップ
S107へ進む。

【００３１】この場合、芝以外のデータを排除していな
い図８の微分値画像から得られる図１１（ｂ）のスライ
スレベル算出用ヒストグラムを用いて画像を２値化する
と、図１２（ｂ）に示すように、画面端に写っている作
業対象外の木立の部分や人物までが誤って２値化されて
しまう。

【００３２】これに対し、前記マスク情報に基づいて、
人物や木立の幹、葉と葉の間の芝でない部分を排除する
とともに、芝以外の画素の周辺画素として木立の葉その
ものも排除した草・芝部分のみの図１０の微分値画像か
ら図１１（ａ）のスライスレベル算出用ヒストグラムを
用いて２値化した図１２（ａ）の２値化画像では、作業
対象である草・芝地のみが適切に２値化されていること
がわかる。

【００３３】次いで、ステップS107では、前記ステップ
S106で得た２値化画像から図１３に示すような２次元ヒ
ストグラムを作成し、この２次元ヒストグラムによりハ
フ変換を行なって作業境界を近似する直線の傾きと切片
を求める。この２次元ヒストグラムは、ウィンドウＷＤ
の中央下部を原点Ｏとし、画面横方向をＸ軸、画面縦方
向をＹ軸とするＸ−Ｙ座標系において、ウインドウＷＤ
内に含まれる画素２点を結ぶ直線をｘ＝ａｙ＋ｂで表わ
したときの傾きｔａｎ^-1ａとＸ軸切片ｂとを、画素２点
の全組合わせについて求め、傾きｔａｎ^-1ａを横軸、切
片ｂを縦軸として作成したものであり、図中、Ｒhで示
す梨子地部分が最も度数が大きく、次いでＧhで示す網
線部分、Ｂhで示す斜線部分と度数が小さくなり、他は
度数零である。

【００３４】そして、作成したヒストグラムからピーク
点を抽出することにより、図１５（ａ）に示すように複
数の直線が得られ、これらの複数の直線の中で最も度数
の高い（相関が強い）ものを抽出すると、図１６に破線
で示すようなフェアウェイとラフとの境界を示す境界近
似直線Ｌが得られ、フェアウェイとラフとの境界を正確
に認識することができる。

【００３５】一方、芝以外の物体のデータを排除しない
で生成した２値化画像から得られる２次元ヒストグラム
は、図１４に示され、この２次元ヒストグラムから抽出
した直線では、図１５（ｂ）に示すように、画面端の林
の中にフェアウェイとラフとの境界が存在することにな
り、明らかに誤認識していることがわかる。

【００３６】その後、前記ステップS107で求めた直線の
傾きと切片をステップS108で走行制御部４０に出力する
と、ステップS101へ戻り、新たな画像を入力して以上の
処理を繰返す。

【００３７】このように、フェアウェイとのラフとの境
界あるいは草・芝刈作業済みの領域と未作業領域との境
界等のように、草・芝の葉の高さの異なる作業境界が境
界検出部３０で検出されると、走行制御部４０では、図
２の走行制御ルーチンにより、作業境界に沿った倣い走
行を制御する。

【００３８】この走行制御ルーチンは、１行程毎に往復
しながら芝刈作業を行なう形式、あるいは、輪状に芝刈
作業を行なう形式等、予め記憶されている走行経路情報
と地磁気センサ４及び車輪エンコーダ５からの信号に基
づいて算出される走行履歴とに従って走行を行なう場合
の基本ルーチンであり、ステップS201で、境界検出部３
０で検出した画面上における境界近似直線Ｌを入力する
と、ステップS202で、この直線Ｌと、予め設定しておい
た画面上の目標直線Ｌ0 （ｙ＝ｐｘ＋ｑ）とを比較し、
芝刈作業車１の車輌本体の目標直線Ｌ0 からの偏差量Ｃ
と進行方向の目標直線Ｌ0 に対する偏差角θとを求め
る。

【００３９】次に、ステップS203へ進み、前記偏差量Ｃ
及び前記偏差角θを一定にする前輪目標舵角及び後輪目
標舵角を算出し、ステップS204で、前後輪の各舵角セン
サ１０ａ，１０ｂからの各信号を入力して前輪舵角、後
輪舵角を求め、ステップS205で、前輪舵角と前輪目標舵
角とを比較する。

【００４０】前記ステップS205における比較の結果、前
輪舵角≧前輪目標舵角の場合には、ステップS206へ進
み、前輪操舵用油圧制御弁７ａをＯＦＦとし、前輪舵角
＜前輪目標舵角の場合には、ステップS207へ分岐して前
輪操舵用油圧制御弁７ａをＯＮとし、ステップS208へ進
む。

【００４１】ステップS208では、後輪舵角と後輪目標舵
角との比較が行なわれ、後輪舵角≧後輪目標舵角の場
合、ステップS209へ進んで、後輪操舵用油圧制御弁７ｂ
をＯＦＦとし、後輪舵角＜後輪目標舵角の場合には、ス
テップS210へ分岐して後輪操舵用油圧制御弁７ｂをＯＮ
とする。

【００４２】その後、ステップS211へ進み、予め設定さ
れた時間（例えば、数秒の制御インターバル）が経過し
たか否かを判定し、この制御インターバルが設定時間だ
け経過していない場合には、前述のステップS204へ戻っ
て前後輪の各舵角センサ１０ａ，１０ｂからの信号によ
り前後輪舵角を検出して同様の過程を繰返して前後輪の
舵角が目標舵角に収束するよう制御し、制御インターバ
ルが設定時間以上経過している場合には、ステップS201
へ戻って境界近似直線式を再度入力することにより前後
輪目標舵角を修正する。

【００４３】

【発明の効果】以上述べたように本発明によれば、車輌
周辺を撮像した画像から明るさの変化量を算出して２値
化画像を生成する際に、作業対象を識別するための色に
係る条件を満足しない画素及びその周辺画素の明るさの
変化量を零として２値化画像を生成し、この２値化画像
から作業対象領域と非作業対象領域との境界を近似する
直線を算出するため、撮像画像内の非作業対象の影響を
除去し、信頼性の高い境界情報を得ることができる。ま
た、この際、前記作業対象を識別するための色に係る条
件を特定の操作入力に応じて撮像した画像から設定する
ことにより、実際のフィールドの状況に応じた条件とす
ることができ、より確実に非作業対象の影響を除去する
ことができる等優れた効果が得られる。

【図面の簡単な説明】

【図１】境界検出ルーチンのフローチャート

【図２】走行制御ルーチンのフローチャート

【図３】芝刈作業車の外観を示す概略説明図

【図４】操舵制御系の基本構成図

【図５】境界検出部の回路ブロック図

【図６】作業領域を撮像した元画像を示す説明図

【図７】平均化処理画像を示す説明図

【図８】微分値画像を示す説明図

【図９】マスク情報を示す説明図

【図１０】マスク後の微分値画像を示す説明図

【図１１】スライスレベル算出用ヒストグラムを示す説
明図

【図１２】２値化画像を示す説明図

【図１３】ハフ変換用２次元ヒストグラムを示す説明図

【図１４】ハフ変換用２次元ヒストグラムを示す説明図

【図１５】直線抽出結果を示す説明図

【図１６】境界近似直線の認識結果を示す説明図

【符号の説明】

１ 芝刈作業車（自律走行作業車） ３ ＣＣＤカメラ（撮像手段）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 7/00

Claims (2)

【特許請求の範囲】
1. 【請求項１】 車輌周辺の撮像画像から作業対象領域と
   非作業対象領域との境界を検出し、検出した境界に沿っ
   て自律走行するよう操舵系を制御する自律走行作業車の
   走行制御方法において、 前記撮像画像から明るさの変化量を算出して２値化画像
   を生成する際に、作業対象を識別するための色に係る条
   件を満足しない画素及びその周辺画素の明るさの変化量
   を零として２値化画像を生成し、 前記２値化画像から前記境界を近似する直線を算出する
   ことを特徴とする自律走行作業車の走行制御方法。
2. 【請求項２】 前記作業対象を識別するための色に係る
   条件を、特定の操作入力に応じて撮像した画像から設定
   することを特徴とする請求項１記載の自律走行作業車の
   走行制御方法。