JPH02242405A - カラー情報による境界線の検出方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、圃場に植立された稲、麦、大豆等の当該列に
沿って走行機体を走行させて刈取り脱穀する等のいわゆ
る汎用コンバインまたは普通形コンバイン等の収穫機や
、圃場を耕作する乗用型耕耘機等の走行機体を、未作業
地と既作業地との境界線に沿って走行させるために、カ
ラー撮像して得られたカラー画像データにて前記境界線
を検出する２値化処理方法Ｑこ関するものである。

〔従来の技術〕

圃場に植立した稲刈に沿ってコンバインを前進走行させ
、当該稲刈を複数条づつ刈取るように、当該コンバイン
を自動操舵走行させるに際して、未刈取消である未作業
地と既刈取地である既作業地との境界線を検出する技術
として、特開昭６２１２２５０７号公報では、走行機体
に搭載した白黒ビデオカメラにて既刈取地と未刈取消と
の両者に跨る圃場面を撮像し、この画像データをその平
均明度差に基づき２値化処理することにより、前記境界
線を抽出することを提案している。

〔発明が解決しようとする課題〕

前記先行技術の２値化処理に際して、画像データにおけ
る明度変化の微分値が一定以−１−の値をしきい値とす
る処理を実行しているが、このようにしきい値を予め固
定的に設定すると、２値化の処理自体は簡単になるが、
画像データは白黒およびその中間階調（灰色の濃淡）で
あるため、情報量が少なく２値化処理に際して、境界線
の抽出等の特徴抽出に誤差が出るという問題があった。

つまり、撮像したときの天候、稲の品種、稲の生育状況
が種々異なること等撮像条件が変動するから、未刈取消
と既刈取消との白黒および灰色階調に差異が表れう事い
という問題があった。

そこで、情報量の多いカラー画像によるデータにて２値
化するため、本出願人は先に特願昭６３２６３７９４号
において、カラー撮像手段にて得られたカラー情報の赤
色成分、緑色成分、青色成分の３色成分のサンプルデー
タを基準とする２値化条件式から２値化処理する技術を
提案した。

本発明はこの技術を発展させ、より正確な２値化処理を
実行し、未作業地とそれ以外の地く既作業地等）との境
界線を迅速且つ正確に検出すること力くできるようにす
ることを目的とするものであ〔課題を解決するための手
段〕 そこで本発明は、カラー撮像手段にて未作業地とそれ以
外の地とその両者間の境界線を撮像して得られたカラー
画像データの３原色成分を、多階調のデジタル信号に変
換し、未作業地側のサンプリング領域における前記３原
色成分のデジタル信号からしきい値を設定して２埴化処
理し、前記境界線を検出する方法において、前記２値化
したのち境界線を求めるためのハフ変換処理にて、その
ハフ値のピークレベルが最大値または最大値の近傍とな
るよ・うに、前記しきい値を適宜変更する評価学習を実
行することを特徴とするものである。

〔発明の作用・リノ果〕

このように、本発明では、情報量の多いカラー画像デー
タから３原色成分を多階調のデジタル信号に変換し、こ
れをもとにしきい値を設定するので、白黒の画像データ
に比べて、より人間の認識に近いデータ量にて判断する
ことができる。

未作業地側のサンプリング領域におけるカラー画像デー
タを使用して、しきい値を設定するので、サンプリング
時の状況や撮像の対象が変化することでカラー画像デー
タに変動があっても、前記状況や対象に応じたしきい値
を設定でき、固定的なしきい値を設定するのに比べて状
況等の変化に即応して境界線の検出を正確に実行できる
。

また、２値化したのち境界線を求めるためのハフ変換処
理にて、そのハフ値のピークレベルが最大値または最大
値の近傍となるように、前記しきい値を適宜変更する評
価学習を実行するのであるから、−旦設定したしきい値
のうちから、サンプリングの状況や撮像対象等に応して
境界線がより−Ｉｔ５正確に計算できるような最適のし
きい値を選択し、確定できるのである。

〔実施例〕

次に本発明を汎用コンバインに適用した実施例について
説明すると、走行作業機であるコンバイン１は走行機体
２の下面に左右一対の腹帯式の走行装置３．３を備え、
走行機体２の前進方向に向かって右側前部には座席付き
の操縮部４を配設し、その後方にはエンジン（図示せず
）及び穀粒蓄積用のタンク５を備え、走行機体２の左側
には、円周外面にダブルピンチのスクリュー板と適宜個
数の抜歯とを植設した前後長手の扱胴６ａ等を内蔵した
脱穀部６と、その下方に受は網８と、シーブ等による揺
動選別装置９と、唐箕ファン１０の風による風選別装置
とを備える。

一方、走行機体２の前面には、前記脱穀部６の前部間Ｌ
１に連通ずる角筒状のフィーダハウス１１を昇降用油圧
シリンダ１２を介して走行機体に対して昇降自在に装着
してあり、該フィーダハウス１１の内部には、左右長手
の搬送板を左右一対のチェノに適宜間隔で取付けたチェ
ノコンベヤ１３を配設し、このチェノコンベヤ１３にて
後述の刈取部１５からの刈取殻稈を前記脱穀部６に搬送
するものである。

符号７ａば、二番樋（図示せず）からの穀粒を脱穀部６
に還元するように搬送する二番還元筒、符号７　ｂは前
記タンク５内の穀粒を外部に排出するための排出筒であ
る。

刈取部１５は、走行機体２の全幅にわたって左右に延び
るバケット状のプラットホーム１７と、該プラットホー
ム１７に走行機体２の全幅にわたって設けたタインバー
１８付きのり−ル１９とから成り、プラン１−ホーム１
７の下面側には同じく左右長手のバリカン状の刈刃２０
を有し、プラットホーム１７の底板上方には、矢印方向
に回転する横長の掻き込み用のオーガ２２を備えてあり
、伝動部を介して前記リール１９及びオーガ２２を回転
駆動し、月つ刈刃２０を駆動する。

なお、符号２３は刈取部１５の左右両端から前向きに突
出する分草体であり、また、前記リール１９は、殻稈の
倒伏状態等に応じて前後移動調節及び上下揺動調節自在
に構成されている。

符号２５ば、第１図等に示すように、圃場に適宜間隔に
て縦横に植立した被検出物である稲の殻稈で、この縦横
に適宜間隔で植立した殻稈２５に向かってコンバイン１
を前進させてこれらを刈取るものである。

符号２４は前記操縦部４のキャビン前部上端等に取付く
カラービデオカメラ等の撮像手段である。

また、第３図は、本発明の制御手段のブロック図を示し
、符号２７は前記撮像手段２４のアナログ入力信号をデ
シクル信号に変換するＡ／Ｄ変換器、符号２８は画像メ
モリ、符号２９ば画像処理プロセッサ、符号３０は中央
処理装置（ＣＰ　Ｕ）で、符号３１は読み出し専用メモ
リ　（ＲＯＭ）、符号３２は読み書き可能メモリ　（Ｒ
ＡＭ）３２である。

なお、中央制御装置３０の指令信号に従って駆ＦＪ＋さ
れる油圧切換弁等の電磁ソレノイドで代表される操舵ア
クチエータ３３．３４にて走行機体２を左右に操舵する
ことができる。

前記カラービデオカメラ等のカラー撮像手段２４は、レ
ンズ系を通して得られた画像（結像）を電気信号に置き
換えるＣＣＤ固体撮像素子等から成る二次元撮像デバイ
スとからなり、該カラー撮像手段２４における二次元撮
像デバイスは、例えば、１画面につき６４．　Ｘ　６　
／Ｉドソ１−（縦×構）の画素を有し、その各画素ごと
にＲＧＢ表色系〔赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）
の原色光とし、加色により白色が得られる〕の各色成分
の信号に分解することができ、このアナログの色信号を
Ａ／Ｄ変換器２７にて６４階調のデジタル信号に変換す
る。つまりこのデジタル信号は、１画素あたり各色成分
ごとに６４階調（レヘル）に量子化するものであり、こ
こでのデジタル信号への変換は、前記−回の撮像ごとに
て得られた一つの画面３５全体について実行される（第
４図参照）。

この１画面ごとのデジタル信号は画像メモリ２８に格納
された後、画像処理プロセッサ２９で所定の範囲のサン
プリング領域Ｓについてのみ、以下のしきい値の演算及
びハフ（ｈｏｕｇｈ　）変換処理を実行する。

次に第６図で示すフローチャートに従って、本発明の画
像処理方法について説明する。

まず、走行作業機１を未作業地Ｍと既作業地にと境界線
Ｋｏ近傍に配置し、スターＩ・に続くステップＳ１で、
ｉ−０等初期値設定し、ステップＳ２にてカラー撮像手
段２４で、画面３５の左右に未作業地Ｍと既作業地にと
が写りその中程部分に縦方向に前記境界線ＫＯがあるよ
うにして撮像し、ステップＳ３では、前記Ｒ，Ｇ、　　
ｒ（３色のデジタル信号を画像メモリ２８に読み込む。

ステップＳ４では、画面３５のうち未作業地Ｍの領域か
らサンプリング領域Ｓを特定する。

サンプリング領域は、撮像された画面３５のうち特定の
小さい領域箇所を予め設定するが、例えば、カラー撮像
手段２４で撮像された画面３５のうち左略半分の領域に
未刈聖地Ｍが撮像され、右半分には既刈取消にやその他
の背景が撮像されていると仮定すると、前記左半分の画
面を３×３画素ないし４×４画素の小さい領域に分割し
、そのうちの１つないし複数のサンプリング領域Ｓを特
定する（第４図参照）。

ステップＳ５にて前記サンプリング領域Ｓでの前記Ｒ，
Ｇ、８３色成分デジタル信号の平均値（算術平均値）　
Ｒａｖ、　Ｇａｖ、　Ｂａνを計算する。

前記サンプリング領域Ｓの大きさが３×３画素である場
合には、その画素の数は９つであり、そ１〇− の各画素ごとに赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の
各色信号のサンプリング出力値を求め、その平均値（Ｗ
術平均値）を各々Ｒａｖ、　Ｇａｖ、　　ｎａｖとする
。

ステップＳ６では前記各サンプリング出力値から、各々
の色成分における標準偏差σｒ、σｆζσｂを演算する
。

そして、以下のステップＳ７からステップＳ１３までの
処理実行して、画像処理における２値化処理の際の最適
なしきい値を確定するものである。

即ち、前記各色のしきい値を設定するとき、前記ザンプ
リング領域Ｓのデータはある程度のばらつきがあるので
、そのばらつきの程度は標／＄偏差を計算することによ
り得ることができる。

この場合、サンプリング数（データ）が充分大きいとき
には、一般に偶然誤差の効果として、通常の正規分布（
ガウス分布）が生じる。

今、一般に測定値の平均値Ｘａｖとすると、その平均値
の信頼区間は規定された確率Ｐで不確かである曜界（Ｘ
ａｖ−ａσ〜Ｘａｖ＋ａσ）を与える（ａは係数、σは
標準偏差）。

例えば、確率Ｐ−９５，４％のときには、前記係数ａ＝
２となり２、すべてのデータは、９５．４％の確率で、
Ｘａシー２σ〜Ｘａｖ＋２σの範囲内に入るものである
。

しかし、サンプリング数が少ないときには、データの信
頼度、ひいてばしきい値の信頼度（正確さ）を通常の正
規分布（ガウス分布）における確率から求めることがで
きない。

そこで、前記各サンプリング出力値から、各々の色成分
における標準偏差σｒ２　　σｇ、σｂを演算し、各色
のしきい値Ｒｔｈ　、Ｇｔｈ　、ｔ３ｔｈを演算するに
際して、 とし、係数ａｉを適宜間隔で変化させて、その各しきい
値を求めて実際に２値化処理を実行し、その２値ｒＯＪ
、ｒｌｌの値にて画面３５上の未作業地Ｍの領域と既作
業地にの領域とに区分し、その境界線Ｋｏに相当する画
面３５上の多数の候補点Ｓが略直線状等（ある程度のば
らつきがある）に分布しているときく第５図参照）、こ
の多数の似補点Ｓから仮想境界直線に′を求める直線当
てはめ処理を行って前記境界線を求めるハフ（ｈｏｕｇ
ｈ　）変換を実行し、そのうち最も良い結果が得られた
しきい値を採用するのである。

このときの最も良い結果であると評価するのは、前記係
数ａｉを所定の一定間隔で変化させ、各係数ａｉのとき
に取る各色のしきい値Ｒｔｈ　、Ｇｔｈ　、Ｂｔｈの組
で２値化を実行し、その時のハフ（ｈｏｕｇｈ　）変換
で得られるハフ値（ρとθが取る値のヒストグラム）の
ピーク値Ｐｋｉとすると、前記係数ａｉを適宜間隔で変
化させた場合に、そのピーク値Ｐｋｉが最大またはその
近傍となるときとするものである。

ここで、ハフ変換とは、第５図に示すようなＸｙ座標系
における任意の候補点Ｓの座標（ｘｉ、　ｙｉ）を通る
すべての直線群は極座標系でば、ρ−ｘｉｃｏｓ　θ＋
ｙｉｓｉｎ　θで表現できる（第７図〜第９図参照）。

つまり、ひとつの座標（ｘｉ、　ｙｉ）を通る直線群を
ρ−θ空間に写像すれば、ρ−θ座標系では一本の軌跡
としての曲線を描くごとになる。

従って、前記境界線ＫＯに対応して、所定のしきい値で
得られたすべての候補点Ｓ　（ｘｉ、　ｙｉ）　　（第
５図参照）に対して、第７図〜第９図に示すようにハフ
軌跡線ＨＢの曲線群が得られる。

なお、第７図〜第９図ではρの範囲を＋４４〜４４まで
、θを＋π／２〜−π／２まで取る。

そして、このハフ軌跡線ＨＧの群がρ−θ平面で最も多
く交差する箇所の座標（ρ１．θ１）を見出すと（第８
図〜第９図参照）、 ｐ　ｌ　−ｘｉｃｏｓ　θ１　　＋ｙｉｓｉｎ　θ１と
して一本のハフ軌跡線が特定され、これをｘ−ｙ座標に
逆写像すると、第５図に示すように、前記境界線ＫＯに
対応する１本の仮想境界線に′が求められる。

この場合、前記（］）式における係数ａｉの大きさによ
り、ρ−θ平面でのハフ軌跡線Ｈ００群の分布状態は各
々異なり、前記＋１）式におけるしきい値が適切でない
ときには、Ｘ−ｙ平面上での候補点Ｓがばらつくので、
第７図のように、ハフ軌跡線１−（Ｇの群がρ−θ平面
て交差する箇所があまり無く、且つ交差する箇所が集中
することもない。しきい値の適切さが中程度であるとき
には、第８図のように交差する箇所箇所がある程度集中
的となり、しきい値が最適であるときには、ｘ−ｙ平面
上での候補点Ｓが略直線状（帯状）に並ぶので、第９図
のようにハフ軌跡線ＨＧの群がρ−θ平面で最も多く交
差する箇所の座標（ρ１．θ１）が微小の範囲内におさ
まり、逆写像すれば前記境界線ＫＯに近い仮想境界線に
′としての直線を得ることができることになる。

なお、第１０図は、係数ａｉをパラメータとして、ある
係数ａｉであるときに、ハフ軌跡線ＨＧＯ群がρの値と
θの値に応じて取る分布量■（ヒストグラム）を三次元
グラフで示したものであり、第１１図は、係数ａｌを変
化させた場合に前記分布１ｖ（ヒストグラム）のうちの
最大分布ｆｆ１Ｖ　（ρ、θ）が増減変化する状態曲線
Ｐを示し、ある係数ａ１輸−１〜５）における各状態曲
線Ｐ中の頂点をピークレベルＰｋｉ（Ｐｋｌ〜Ｐｋ５）
として示す。

そしてこのピークレベルＰｋｉが最大のもの、または最
大値近傍となる前記係数ａｉを検索すれば、その係数ａ
ｉにて（１）式に従って計算されるしきい値（Ｒｔｈ　
、Ｇｔｈ　、８ｔｈ）の組を最適しきい値として確定す
るように評価学習させるのである。

なお、ステップＳ７ば前記係数ａｉを所定の間隔で変化
させるために実行するものであり、ステップＳ８は２値
化処理実行、ステップＳ９はハフ（ｈｏｕｇｈ　）変換
処理実行、ステップＳ１０はピークレベルＰｋｉの記憶
、ステップＳｌｌは前記係数ａｉを所定の間隔で変化さ
せるごとにそれに対応するピークレベルＰｋｉと前回の
係数ａｉで得られたピークレベルＰｋｉとの大小関係を
判断するピークレベルの評価を実行するものである。

このステップＳｌｌにおけるピークレベルの評価におい
て、前記係数ａｉを例えば０．２５の間隔で順次増加さ
せつつ、しきい値計算し、その結果から各々のピークレ
ベルＰｋｉを求め、すべてのピークレベルＰｋｉを一旦
記憶させた後、そのうちの最大値を検索するという手法
では、メモリ容量が増大すると共に計算時間が長引き、
結果を迅速に出すことができないので、いわゆる山登り
法を利用してピークレベルＰｋｉが最大または最大値の
近傍となるしきい値を検索する。

ここで、山登り法とは、ある係数ａｉ（ｉ＝１）を出発
点とし、その値におけるしきい値からピークレベルＰｋ
ｌを求め、次に前記係数ａｉＯ値を一つずらせ（適宜の
間隔分だけ増大させてｉ＝２とする）、そのときのしき
い値から求めたピークレベルＰｋ２と前記Ｐｋｌの大小
を比較し、Ｐｋ２＞Ｐｋｌであるときには、大きい方の
ピークレベルＰｋ２を記憶させておき、さらに係数ａｉ
（＋＝３）を一つずらせて得たピークレベルＰｋ３と前
記記憶させたピークレベルＰｋ２と大小比較を実行し、
大きい方を採用するというように、順次高い値のものを
採用することにより、ピークレベルの最大値（山の頂点
）付近を見出すものであり、今回のピークレベルが前回
のものより小さい値のときには前回の値の箇所が山の頂
点付近であった七判断するものである。この方法ではピ
ークレベルの最大値そのものを正確に出すことばできな
いが、最大値の近傍であることを迅速に検索することが
できる。

なお、前記ρ−θ平面上でのハフ軌跡線ＨＧの曲線群が
最も多く集まる箇所を検出するため、ρθ平面を縦横（
二次元）に細かく分割して検索すると、この分割数に相
当する大きな容量の二次元配列メモリが必要となるし、
ρ−θ平面全体についてピークレベルＰｋｉＯ記ｔ？さ
せると、不必要な箇所の境界線（例えば中割り作業時の
他方の境界線）も記憶させるという不都合が生じると共
に演算時間が長引くので、ρの値をｍｉｎ　ρ〜ｍａｘ
　ρの範囲内に限定するようにその最大値と最小値とを
適宜限定するのが好ましい。

ステップ３１２にて前記ステップ３１．１のピークレベ
ルの評価、つまりピークレベルが最大値又はその近傍と
なる条件が満足するか否かを判別し、条件満足しない（
ｎｏ）ときには、■でステップＳ６の後に戻して、係数
ａｉを一定間隔変化させてしきい値計算、２値化処理、
ハフ（ｈｏｕｇｈ　）変換処理、ピークレベルＰｋｉの
記憶、ピークレベルの評価を繰り返す。

前記ステップ３１．２にて条件満足する（ｙ　ｅ　ｓ）
ときには、ステップ３１．３にてしきい値を確定させる
。

その後は、走行作業機１を前進さゼつつ、撮像手段２４
で読み込んだ未作業地と既作業地との画像情報を、前記
確定したしきい値でもって２値化処理し、未作業地Ｍと
既作業地にとの境界線ＫＯを決定すれば良いのである。

なお、２値画像に含まれている雑音成分、穴、欠けを埋
める整形処理のため、注目する画素の外周に隣接する画
素の連結関係（８連結論理和）で調べ、拡散、侵食、孤
立点除去の手法で処理した。

この２値化処理は、ｘ−ｙ平面の画面４７の全画素につ
いて実行しても良いが、不必要な対象の箇所を２値化す
ることで、直線化の誤差が大きくなるから、一定のウィ
ンドウ処理（ｘ−ｙ平面である枠内の領域のみの２値化
処理）を実行しても良いのである。

このようにずれは、画面３５の画素全体にわたって２値
化する場合に要するメモリよりメモリ量を削減できるし
、境界線検出までの処理時間を大幅に短縮できるのであ
る。

なお、撮像して検出する境界線の対象は、未作業地と既
作業地との境界線ばかりでなく、未作業地と畦（コンク
リート製畦を含む）との境界線等もある。

【図面の簡単な説明】

図面ば本発明の実施例を示し、第１図はコンバインの平
面図、第２図は側面図、第３図は制御装置のブロック図
、第４図は既作業地と未作業地と境界線を撮像した両面
の説明図、第５図はｘ−ｙ平面における候補点を示した
画面の説明図、第６図はフローチャート、第７図と第８
図と第９図は各々ρ−θ平面におけるハフ軌跡線ＨＧの
説明図、第１０図はハフ値（ρとθ）に対する分布量Ｖ
（ヒス１−グラム）を示す図、第１１図は係数ａｉの変
化に対応する分布量Ｖ（ヒストグラム）のピクレベルの
関係を示す図である。 １′・・・・作業機、３．３・・・・走行装置、６・・
・・脱穀部、１５・・・・刈取部、２４・・・・撮像手
段、３０・・・・中央制御装置、２７・・・・Ａ／Ｄ変
換器、２８・・・・画像メモリ、２９・・・・画像プロ
セッサ、３５・・・・画面。 特許出願人　　　ヤンマー農機株式会社γニア７７’Ｓ 第６図

Claims (1)

【特許請求の範囲】
1. （１）、カラー撮像手段にて未作業地とそれ以外の地と
   その両者間の境界線を撮像して得られたカラー画像デー
   タの３原色成分を、多階調のデジタル信号に変換し、未
   作業地側のサンプリング領域における前記３原色成分の
   デジタル信号からしきい値を設定して２値化処理し、前
   記境界線を検出する方法において、前記２値化したのち
   境界線を求めるためのハフ変換処理にて、そのハフ値の
   ピークレベルが最大値または最大値の近傍となるように
   、前記しきい値を適宜変更する評価学習を実行すること
   を特徴とするカラー情報による境界線の検出方法。