JPS63220A - 果菜類用作業機の誘導装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、作業対象果菜類を撮像した画像情報に基づい
て、前記作業対象果菜類の色に対応した領域を抽出する
視覚装置を備え、前記視覚装置により抽出された領域の
位置情報に基づいて、作業用ハンドを前記作業対象果菜
類に向けて誘導する誘導手段を備えた果菜類用作業機の
誘導装置に関する。

〔従来の技術〕

上記この種の果菜類用作業機の誘導装置は、作業対象果
菜類を撮像した画像情報から、作業対象果菜類の色に対
応した領域を抽出することにより、作業対象果菜類と背
景となる技や葉等の他の物体とを分離した画像情報を得
ると共に、その抽出された領域の位置情報に基づいて、
作業用ハンドをＢＰ、　導するようにしたものである。

ところで、上記撮像画像情報には、複数個の作業対象果
菜類が含まれている場合があり、その場合、アプローチ
順序を決定する必要が生じるものである。

そして、従来では、認識された作業対象果菜類に対応す
ケ剥域の撮像画像の画面上の位置に基づいて、例えば、
右下に位置するものから左上に位置するものへと下方に
位置するものから順番にアプローチさせるようにしてあ
った。

〔発明が解決しようとする問題点〕

しかしながら、上記従来構成においては、以下に示すよ
うな不都合があり、改善の余地があった。

すなわち、画面上、右下に位置するものが必ずしも作業
用ハンドに対して手前側に位置するとは限らず、例えば
、複数個の果菜類が前後方向に近接して位置しているよ
うな場合に、後方側に位置する果菜類に対して、先にア
プローチすると、手前側に位置する果菜類を作業用ノ＼
ンドで傷つけたり、作業用ハンドが接触したために、手
前側の果菜類の位置が認識した位置からずれたりする虞
れがある。

本発明は、上記実情に鑑みてなされたものであって、そ
の目的は、作業用ハンドに対して手前側に位置する果菜
類から順番にアプローチできるようにすることにある。

〔問題点を解決するための手段〕

本発明による果菜頻用作業機の誘導装置の特徴構成は、
前記視覚装置を、それによって抽出された複数個の領域
毎の明るさを検出自在に構成すると共に、前記視覚装置
により抽出された複数個の領域の明るさが明るいものほ
ど暗いものより先にアプローチすべく、前記抽出された
領域の明るさに基づいて、前記作業用ハンドを誘導する
順序を決定するアプローチ順序決定手段を設けてある点
にあり、その作用並びに効果は以下の通りである。

〔作　用〕

すなわち、作業対象果菜類を撮像するに当たって、その
撮像画像の明るさに着目すると、撮像距離に比例して暗
くなるという特性があり、近距離に位置する物体はど明
るく見えるという特性がある。そこで、撮像画像情報か
ら作業対象果菜類の色に対応した領域を抽出する際に、
その領域の明るさを検出できるようにして、抽出した領
域毎の明るさを比較すれば、複数個の抽出領域の間の遠
近を判別することができる。

従って、抽出した領域の明るさに基づいて、明るく見え
る領域はど暗く見える領域よりも先にアプローチさせる
ようにアプローチ順序を決定すれば、前後方向に位置す
る果菜類に対しても、効率よくアプローチさせることが
できるのである。

〔発明の効果〕

従って、作業対象果菜類の色に対応した領域を抽出する
と共に、その領域間の明るさに基づいて、作業用ハンド
のアプローチ順序を決定するので、作業対象果菜類に対
する距離を個々に計測することなく、果菜類同士の前後
関係を判別でき、手前側に位置するものから、効率良く
アプローチさせることができるに至った。

〔実施例〕

以下、本発明の実施例を図面に基づいて説明する。

第１図は、屋外において撮像されたカラー画像情報（Ｓ
Ｏ）から、作業対象果菜類としての果実の位置情報を得
るための果実認識用の視覚装置（Ａ）の構成を示すブロ
ック図であって、特に、ミカンやリンゴ等の暖色系の果
実を認識するための装置として構成してあり、作業対象
果実（Ｆ）の色に対応する特定色の画像情報として、前
記カラー画像情報（Ｓｏ）を構成する赤色成分の色信号
（Ｒ）を分離抽出すると共に、特定色を含まない画像情
報として、緑色成分の色信号（Ｇ）を分離抽出し、そし
て、前記赤色成分の色信号（Ｒ）から緑色成分の色信号
（Ｇ）を減算して２値化することにより、作業対象果実
（Ｆ）以外の技、葉、空等の背景となる物体の色成分を
除去すると共に、明るさに対して正規化した果実（Ｆ）
の色のみに対応した領域（Ｆｎ）を抽出した２値化画像
情報（Ｓ、）を得るようにしである。そして、前記カラ
ー画像情ｆｌＪ（Ｓ、）のうちの明るさ情報のみに対応
した？層流画像情報としての輝度信号（Ｙ）を、そのグ
レイレベルを複数段階に量子化することにより得られる
濃淡画像情報（Ｓ３）を分離抽出した後、前記濃淡画像
情報（Ｓ３）を、前記２値化画像情報（Ｓ２）にてマス
クした領域内において最も明るく見えるハイライト領域
（Ｐｏ）の位置を求めることにより、重なりあって見え
る複数果実の一つ一つを分離識別可能な位置情報を得る
ように構成しである。

又、上述したハイライト領域（Ｐｏ）の位置を求める際
に、各領域（Ｆｎ）毎の明るさを比較して、明るいもの
ほど先にアプローチするように、明るさ順に、アプロー
チ順序を決定するようにしである。

すなわち、前記カラービデオカメラ（１）により撮像さ
れたカラー画像情報として出力されるＮＴＳＣ形式のカ
ラービデオ信号（ＳＯ）（第３図（イ）参照）は、ＮＴ
ＳＣデコーダ（２）により、垂直同期信号（ＶＤ）と水
平同期信号（Ｈ０）の同期信号、赤色信号（Ｒ）と緑色
信号（Ｇ）の色信号、及び、濃淡画像情報としての輝度
信号（Ｙ）の夫々に分離される。

前記分離された赤色信号（Ｒ）と緑色信号（Ｇ）は、前
記作業対象果実（Ｆ）の色に対応した特定色の範囲の画
像情報（Ｓｌ）を抽出する色分離回路（３）により減算
処理されると共に、２値化回路（４）にて設定闇値に基
づいて２値化され、作業対象果実（Ｆ）の色のみに対応
した特定色の領域（Ｆｎ）を抽出した２値化画像情報（
ＳＺ）（第３図（ｏ）参照）に変換される。

一方、前記輝度信号（Ｙ）は、Ａ／Ｄ変換器（５）にて
、その明るさつまりグレイレベルを１２８段階に量子化
され、７ビツト長のデジタル値として表現される濃淡画
像情報（Ｓｌ）（第３図（ハ）参照）に変換され、デー
タバッファ（６）にて、その量子化画素単位毎に、前記
２値化画像情報（Ｓ２）と合成されて、画像メモリ（７
）に、一画面分の画像データ（Ｓ４）として−旦記憶さ
れるようにしである。尚、本実施例では、前記輝度信号
（Ｙ）を量子化するに、−画面光たり３２　Ｘ　３２画
素のモザイク状の画像データ（Ｓ４）として記憶するよ
うにしである。

前記２値化画像情報（Ｓ２）と濃淡画性情１１ａ（Ｓ、
）とを各量子化画素毎に、一つの画像データ（Ｓ４）と
して合成する処理について説明を加えれば、−画素当た
りの画像データ（Ｓ４）を全体として８ビツト長で表現
するようにしてあり、そして、その最下位ビット位置を
、前記２値化画像情報（Ｓ２）の値として用いると共に
、それより上位の７ビツト分を、前記濃淡画像情報（Ｓ
３）の明るさを示す値として用いるようにしである。つ
まり、一つの画像データ（Ｓ４）で、２値化画像情１１
（Ｓ２）と濃淡画像情報（Ｓ３）の両方の情報を表現す
るようにしてあり、後述する画像処理において、画像デ
ータ（Ｓ４）の特定ビット位置の値を参照するだけで、
その画素が、作業対象果実（Ｆ）に対応する領域（Ｆｎ
）に含まれるか否かを直ちに判別できるようにしである
。そして、前記２値化画像情報（ＳＺ）の値が“１”の
場合が前記作業対象果実（Ｆ）の色の領域（Ｆｎ）を示
し、“０”が作業対象果実（Ｆ）以外の色の領域を示す
ようにしである。

但し、前記２値化画像情報（Ｓ２）を得る処理、前記Ｙ
ｉ度倍信号Ｙ）をＡ／Ｄ変換して量子化する処理、並び
に、前記２値化画像情報（Ｓ２）と濃淡画像情報（Ｓ３
）を合成して画像メモリ（７）に記憶させる処理は、前
記垂直同期信号（ＶＤ）及び水平同期信号（ＶＤ）に同
期して同時並列的に行われるように、タイミング回路（
８）にて、その処理動作が制御されるようにしである。

又、前記カメラ（１）による撮像動作に同期してストロ
ボ装置（９）が発光するように、前記タイミング回路（
８）からの制御信号によって起動されるストロボ制御回
路（１０）を設けてあり、撮像時の明るさが一定に保た
れるように、且つ、その発光タイミング及びその発光強
度を適正化するように構成しである。又、前記画像メモ
リ（７）に記憶された２値化画像情報（Ｓ２）及び濃淡
画像情報（Ｓ３）は、ＣＲＴコントローラ（Ｈ）及びＴ
Ｖ信号ジエネレ−タ（１２）により、コンポジットビデ
オ信号に変換されて、モニタテレビ（１３）に表示され
るようにしである。

前記画像メモリ（７）に記憶された画像データ（Ｓ４）
に基づいて、前記ハイライト領域（Ｐｏ）や重心（ｐ＋
）を求める処理について説明すれば、第２図に示すよう
に、後述する誘導手段としての誘導装置（Ｂ）からの指
令により視覚装置（Ａ）が起動されて、前記ストロボ装
置（９）を発光させて所定の明るさで、設定範囲を撮像
する撮像処理を行う（第３図（イ）参照）。次に、制御
プロセッサ（ＣＰＬＩＩ）及び数値演算プロセッサ（Ｃ
ＰＵＺ）にて、各画素毎の画像データ（Ｓ４）の基づい
て、前記２値化画像情報（Ｓ２）の値が“１”で囲まれ
た領域（Ｆｎ）ＩＩ”ｌ＋Ｌ３＋０．を抽出するラベリ
ング処理（第３図（ロ）参照）を行った後、前記濃淡画
像情報（Ｓ：ｌ）（第３図（ハ）参照）の値に基づいて
、前記領域（Ｆｎ）の最も明るい位置であるハイライト
領域（Ｐｏ）の位置座標を求めると共に、前記２値化画
像情報（Ｓ２）の値が“１”で囲まれた領域（Ｆｎ）の
重心（Ｐｌ）を求める（第３図（ニ）参照）。そして、
上述したラベリング処理にて抽出された各領域（Ｆｎ）
のハイライト領域（Ｐｏ）の明るさ同士を比較すること
により、最も明るい領域（Ｆｎ）を先頭としてアプロー
チ順序を決定する順序付けの処理を行った後、認識した
果実つまり前記領域（Ｆｎ）の個数、及び、各領域（Ｆ
ｎ）内のハイライト領域（Ｐｏ）や重心（Ｐｌ）の位置
、並びに、抽出した領域（Ｆｎ）のアプローチ順序等の
検出データを、誘導装置（Ｂ）を構成するホストコンピ
ュータ（ＣＰＵＯ）に転送して、次の起動指令が指示さ
れるまで待機状態となる。

もって、上述した、各領域（Ｆｎ）内のハイライト領域
（Ｐａ）の明るさに基づいてアプローチ順序を決定する
処理にて、アプローチ順序決定手段（１００）を構成し
である。

尚、第１図中、（１４）は、前記ホストコンピュータ（
ＣＰＵｏ）との間で検出データや動作指令等の各種デー
タを授受するためのインターフェース装置、（１５）は
、前記各プロセッサ（ＣＰＵＯ，（ＣＰｔｈ）の動作プ
ログラムや演算データを格納したり、前記インターフェ
ース装置（１４）を介して授受される各種データ等を格
納するためのメモリである。

次に、上述した構成になる視覚装置（Ａ）によって得ら
れたアプローチ順序に基づいて、果実用作業機の作業用
ハンド（Ｈ）を誘導する誘導手段（Ｂ）の構成について
説明する。

第４図に示すように、左右−対の走行車輪（１６）を前
後に備えた走行機体（Ｖ）に、昇降並びに左右揺動自在
にブーム（１７）を枢支すると共に、そのブーム（１７
）の先端部に、補助ブーム（１８）を水平方向に揺動自
在に枢支し、前記補助ブーム（１８）の先端部に、他関
節型の伸縮式マニプレータ（１９）を、上下左右方向に
揺動自在に取り付けである。

そして、前記マニプレータ（１９）の先端部に、作業用
ハンド（Ｉ（）を取り付けると共に、その視野方向が、
前記マユブレーク（１９）つまり前記作業用ハン）”（
Ｈ）の向きと一致する状態で、前記マニプレータ（１９
）の基端部の内部に、前記カメラ（１）及びストロボ装
置（９）を格納しである。

つまり、前記カメラ（１）からは、前記マニプレータ（
１９）が向いた方向にある作業対象果実（Ｆ）及びその
周囲の技や葉等の背景となる物体を含む１最像画像情報
（Ｓｏ）が得られ、その撮像画性情ＦｊＩ（Ｓｏ）に対
して上述した画像処理を行うことにより、現在のマニプ
レータ（１９）に位置に対する作業対象果実（Ｆ）の位
置に対応した位置情報が得られるのである。

そして、第５図に示すように、前記視覚装置（Ａ）にて
検出された作業対象果実（Ｆ）の位置としての抽出領域
（Ｆｎ）の位置情報であるハイライト領域（ＰＯ）や重
心（Ｐｌ）、並びに、各領域（Ｆｎ）のアプローチ順序
に基づいて、前記ブーム（１７）、補助ブーム（１８）
、マニプレータ（１９）、及び、作業用ハンド（Ｈ）の
各アクチュエータの作動を制御することにより、前記作
業用ハンド（Ｈ）を、決定されたアプローチ順序に従っ
て、各作業対象果実（Ｆ）の位置する方向に向けて誘導
することことにより、ひとかたまりの領域として認識さ
れた果実（Ｆ）の夫々に対して、手前側に位置するもの
から順番に、効率良くアプローチさせることができるの
である。

すなわち、第６図に示すように、装置が起動されるに伴
って、前記視覚装置（Ａ）に対して撮像処理を含む作業
対象果実（Ｐ）の位置情報を検出する処理を起動すべく
起動指令を転送した後、その処理が終了するまで待機す
る。そして、前記視覚装置（Ａ）から転送される情報に
基づいて、作業対象果実（Ｆ）があるか否かを判別し、
作業対象果実（Ｆ）がある場合は、前記抽出領域（Ｆｎ
）の明るさに基づいて決定されたアプローチ順序に基づ
いて、一つの領域（Ｆｎ）の重心（Ｐｌ）に向けて前記
作業用ハンド（ＩＩ）を、この作業用ハンド（Ｈ）に装
備の近接センサ（図示せず）が果実（Ｆ）を感知するま
で、前方に向かって突出させる。

その後、前記作業用ハンド（Ｈ）の向きを、前記ハイラ
イト領域（Ｐｏ）の位置する方向に向き変更しながら、
設定距離を前進させて、対象となる果実（Ｆ）に対する
作業、例えば、収穫作業等を行った後、アプローチ回数
が、認識された果実の個数に達したか否かを判別し、こ
のアプローチ回数が認識個数に達するまで、つぎのアプ
ローチ順序の領域（Ｆｎ）のハイライト領域（Ｐｏ）や
重心（Ｐｌ）の位置データを順番に読み込みながら、上
述した処理を繰り返すこととなる。

〔別実施例〕

上記実施例では、アプローチ順序を決定するに、作業対
象果実（Ｆ）の色に基づいて撮像画性情Ｉ（Ｓｏ）から
抽出した特定色の領域（Ｆｎ）内において最も明るく見
えるハイライト領域（Ｐｏ）の明るさに基づいて、明る
く見えるものほど先にアプローチするように決定した場
合を例示したが、上記領域（Ｆｎ）を構成する画素の明
るさを平均して、その平均化した明るさに基づいてアプ
ローチ順序を決定したり、求めた重心（ｐ＋）の位置に
おける明るさに基づいてアプローチ順序を決定してもよ
く、アプローチ順序を決定するための明るさ情報は、各
種変更できる。

又、上記実施例では、作業対象果実（Ｆ）の色のみに対
応した画像情報を得るに、カラー画像を構成する赤色と
緑色の各色信号をそのまま減算するようにした場合を例
示したが、作業対象果菜類の色に対応して減算する色を
設定すればよいものであって、作業対象果菜類の色に応
じて各種変更できる。又、量子化する画素数やそのグレ
イレベルの分解能は、認識するＶＩＩｌｌ　４こ必要な
分解能に応じて設定すればよく、本発明は、上記実施例
のみに限定されるものではない。

又、上記実施例では、本発明を、果実収穫用の作業機に
適用した場合を例示したが、例えば、トマト等の野菜類
に対する作業機にも適用できる。

【図面の簡単な説明】

図面は本発明に係る果菜類用作業機の誘導装置の実施例
を示し、第１図は視覚装置の構成を示すブロック図、第
２図はその動作を示すフローチャート、第３図（イ）〜
（ニ）は画像情報の説明図、第４図は果実用作業機の概
略構成を示す側面図、第５図は制御システムの構成を示
すブロック図、第６図は誘導装置の動作を示すフローチ
ャートである。 （Ｆ）・・・・・・作業対象果菜類、（Ａ）・・・・・
・視覚装置、（Ｂ）・・・・・・誘導手段、（Ｈ）・・
・・・・作業用ハンド、（Ｆｎ）・・・・・・作業対象
果菜類の色に対応する領域、（１００）・・・・・・ア
プローチ順序決定手段。

Claims (1)

【特許請求の範囲】
1. 作業対象果菜類（Ｆ）を撮像した画像情報に基づいて、
   前記作業対象果菜類（Ｆ）の色に対応した領域（Ｆｎ）
   を抽出する視覚装置（Ａ）を備え、前記視覚装置（Ａ）
   により抽出された領域（Ｆｎ）の位置情報に基づいて、
   作業用ハンド（Ｈ）を前記作業対象果菜類（Ｆ）に向け
   て誘導する誘導手段（Ｂ）を備えた果菜類用作業機の誘
   導装置であって、前記視覚装置（Ａ）を、それによって
   抽出された複数個の領域（Ｆｎ）毎の明るさを検出自在
   に構成すると共に、前記視覚装置（Ａ）により抽出され
   た複数個の領域（Ｆｎ）の明るさが明るいものほど暗い
   ものより先にアプローチすべく、前記抽出された領域（
   Ｆｎ）の明るさに基づいて、前記作業用ハンド（Ｈ）を
   誘導する順序を決定するアプローチ順序決定手段（１０
   ０）を設けてある果菜類用作業機の誘導装置。