JPS62279480A - 果実認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ３、発明の詳細な説明 〔産業上の利用分野〕 本発明は、例えば、果実用作業機に対する作業対象果実
の位置を検出して、作業用マニプレータを誘導するため
の制御情報を得るための手段等として用いるための果実
認識装置に関し、詳しくは、認識対象果実の色に対応す
る特定色範囲の画像情報と、前記特定色を含まない画像
情報とを減算することにより、前記認識対象果実の色の
みに対応した画像情報を分離抽出する色分離手段、前記
色分離手段によって得られた画像情報を設定閾値シこ基
づいて２値化する２値化手段、前記各画像情報と同一範
囲を撮像した？農淡画像情報をそのグレイレベルに基づ
いて量子化する量子化手段、及び、前記量子化された濃
淡画像情報と前記２値化手段により２値化された２値化
画像情報とを夫々の量子化画素位置を対応させた状態で
記憶する記ｔα手段を備えた果実認識装置に関する。

〔従来の技術〕

上記この種の果実認識装置は、例えば、認識対象果実を
過性したカラー画像情報を、認識対象果実の色に対応し
た特定色範囲の画像情報と認識対象果実の色を含まない
画像情報とを減算することにより明るさに対する色情報
の正規化を行った後２値化して、認識対象果実の色のみ
に対応した領域を抽出した２値化画像情報と、撮像画像
情報のグレイレベルに基づいて量子化した濃淡画像情報
との二つの画像情報を、夫々の量子化画素位置が同一位
置となるようにして、画像メモリ等の記憶手段に一旦記
憶させると共に、その記憶した画像情報に基づいて、認
識対象果実の位置に対応する情報を求めるようにしたも
のである。

そして、上記２値化画像情報と量子化した濃淡画像情報
の各画素位置を対応させて記憶させるに、従来では、記
憶された濃淡画像情報が無い部分は２値化画像情報では
ないものとして処理することにより２値化画像情報を復
元できる原理に基づいて、２値化画像情報で濃淡画像情
報をマスクすることにより、認識対象果実の色のみに対
応した領域の濃淡画像情報を記憶させるようにして装置
構成の簡素化を図るようにしてあった（例えば、本出願
人が先に提案した特願昭６０−１２８９３３号、特願昭
６０−２１１５８５号等参照）。

〔発明が解決しようとする問題点〕

しかしながら、上記従来構成においては、以下に示すよ
うな不都合があり、改善の余地があった。

認識対象果実は一般的に球形をしていることから、その
撮像画像の果実表面には強い反射のために本体の果実色
とは異なる白く光って見えるハイライト領域が生じるこ
とがある。そして、この画面土間るく見えるハイライト
領域は、その明るさが飽和した状態となっているために
、抽出すべき特定色と他の色情報とを同様なレベル含む
ものとなり、上記特定色の画像情報と、その特定色を含
まない画像情報とを減算すると、そのレベルが略同様の
レベルであるために大きく減衰してしまい、その減算結
果を２値化すると、ハイライト領域部分では、特定色情
報が欠落した状態となる。従って、特定色範囲を正確に
抽出するためには、上記２値化画像情報のうちのハイラ
イト領域部分を補完するいわゆる穴埋めの処理を行う必
要が生じる。

ところが、上記従来構成では、２値化画像情報で濃淡画
像情報をマスクする際に、２値化画像情報がハイライト
領域部分で欠落すると、それによってマスクされた濃淡
画像情報も欠落することとなる。そして、その欠落した
画像部分部分が、ハイライト領域に対応する部分か、他
の色の画像情報であるかを判別する明るさの情報が無い
ために、例えば、その欠落した部分が小さい場合にはノ
イズ領域であると判別して除去すると共に、その周囲の
画素の明るさを平均化した値を補完する領域の濃淡画像
情報とじて置き換える等の処理を行うこととなる。従っ
て、穴埋めの処理結果が不正確になる不利がある。

又、記憶された画像情報を繰り返し参照しながら穴埋め
の処理を行う必要があり、そのための処理が複雑になる
ばかりか、処理速度も遅くなる不利がある。

そこで、２値化画像情報と濃淡画像情報の両方を別々に
記憶させることも考えられるが、その場合、画像情報の
記憶容量が多くなると共に、二つの異なる画像情報を参
照しながら画像処理するために、処理が複雑になったり
、処理速度が遅くなる不利がある。

〔問題点を解決するための手段〕

本発明による果実認識装置の特徴構成は、前記２値化画
像情報と前記量子化された濃淡画ふ情報とを、量子化画
素毎の一つの画像データとして合成する画像データ合成
手段を設け、前記合成された画像データを、前記記憶手
段に記憶させるように構成してある点にあり、その作用
並びに効果は以下の通りである。

〔作　用〕

すなわち、色の情報である２値化画像情報と明るさの情
報である濃淡画像情報とを、一つの画像データにまとめ
て記憶させるように構成してあるので、例えば、上述し
た穴埋め処理等において、色情報と明るさ情報の異なる
二つの画像情報を、−回の処理で同時に読み出すことが
できるように、効率良く複数種の画像データを記憶させ
ることができる。

〔発明の効果〕

従って、特定色範囲の領域に対応した２値化画像情報と
濃淡画像情報の二つの画像情報を、一つの画像データに
合成して記憶させるので、その記憶データが欠落するこ
とがない状態で、記憶手段の記憶容量を全体として減少
できると共に４、その読み出し処理の効率化を図ること
ができるに至ったのである。

〔実施例〕

以下、本発明の実施例を図面に基づいて説明する。

第１図は、屋外において撮像されたカラー画像情報（Ｓ
ｏ）から、認識対象果実の位置情報を得るための果実認
識装置のブロック図であって、特に、ミカンやリンゴ等
の暖色系の果実を認識するための装置として構成してあ
り、認識対象果実（Ｆ）の色に対応する特定色の画性情
ｆｌａ（Ｓ１）として、前記カラー画性情ａ＜ＳＯ）を
構成する赤色成分の色信号（Ｒ）を分離抽出すると共に
、特定色を含まない画像情報（Ｓ２）として、青色成分
の色信号（Ｂ）を分離抽出し、そして、前記赤色成分の
色信号（Ｆｌ）から青色成分の色信号（Ｂ）を減算して
２値化することにより、認識対象果実以外の技、葉、空
等の背景となる物体の色成分を除去すると共に、明るさ
に対して正規化した果実の色のみに対応した領域を抽出
した２値化画像情報（Ｓ４）を得るようにしてある。そ
して、前記カラー画像情報（Ｓｏ）のうちの明るさ情報
のみに対応した濃淡画像情報としての輝度信号（Ｙ）を
、そのグレイレベルに基づいて量子化した濃淡画像情報
（Ｓ１）を分離抽出した後、前記濃淡画像情報（Ｓ１）
を、前記２値化画像情報（Ｓ４）にてマスクした領域の
重心（ｐ＋）及び明るく見えるハイライト領域（Ｐｏ）
の゛位置とを求めることにより、重なりあって見える複
数果実の一つ一つを分離識別可能な位置情報を得るよう
に構成してある。

すなわち、↑最像手段としてのカラービデオカメラ（１
）により撮像されたカラー画像情報（第３図（イ）参照
）として出力されるＮＴＳＣ形弐のカラービデオ信号（
Ｓｏ）は、ＮＴＳＣデコーダ（２）により、垂直同期信
号（ＶＤ）と水平同期信号（＋１０）の同期信号、赤色
信号（Ｒ）と青色信号（［１）の色信号、及び、濃淡画
像情報としての輝度信号（Ｙ）の夫々に分離される。

前記分離された赤色信号（Ｒ）と青色信号（Ｂ）は、前
記認識対象果実（Ｆ）に対応した特定色範囲の画性情ｆ
）３（Ｓ１）を抽出する色分離手段としての色分離回路
（３）により減算処理されると共に、２値化回路（４）
にて設定閾値に基づいて２値化され、認識対象果実（Ｆ
）の色のみに対応した特定色領域を抽出した２値化画像
情報（Ｓ４）（第３図（ｒｌ）参照）に変換される。

一方、前記輝度信号（Ｙ）は、量子化手段としてのＡ／
Ｄ変換器（５）にて、その明るさつまりグレイレベルを
１２８段階に量子化され、７ビツト長のデジタル値とし
て表現される濃淡画性情＠ｃｓｓ）に変換され、画像デ
ータ合成手段としてのデータバッファ（６）にて、量子
化画素ｉｉｉ位毎に、前記２値化画像情報（Ｓ４）と合
成されて、画像記憶手段としての画像メモリ（７）に、
一画面分の画像情報として一旦記憶されるようにしてあ
る。尚、本実施例では、前記輝度信号（’／）を量子化
するに、−画面光たり３２　Ｘ　３２画素のモザイク状
の濃淡画像情報（Ｓ５）（第３図（ハ）参１？’ｉ）と
して記憶するようにしてある。

前記２値化画像情報（Ｓ４）と濃淡画像情報（Ｓ１）と
を各量子化画素毎に、一つの画像データ（Ｓ１）として
合成する画像データの合成について説明すれば、第２図
に示すように、−画素当たりの画像データ（Ｓ６）を全
体として８ビツト長で表現するようにしてあり、そして
、その最下位ビソト位置（ビット“０”）を、前記２値
化画像情報（Ｓ４）の値として用いると共に、それより
上位の７ビソト分を、前記濃淡画像情報（Ｓ５）の明る
さを示す値として用いるようにしてある。但し、前記２
値化画像情報（Ｓ４）の値が“１”の場合が前記認識対
象果実（Ｆ）の色の領域を示し、“０”が認識対象果実
（Ｆ）以外の色の領域を示すようにしてある。

従って、前記画像メモリ（７）には、８ビツト長で示さ
れる量子化画素毎に対応した２値化した色情報と明るさ
情報とを、同一アドレス位置において一つの画像データ
（Ｓ６）として記憶することとなる。

但し、前記２値化画像情ＩＤ（ｓ４）を得る処理と、ｉ
ｉ前前記変度信号Ｙ）をＡ／Ｄ変換してデジタル化され
た濃淡画性情？Ｈ（Ｓ１）を得る処理、並びに、前記２
値化画像情報（Ｓ４）と濃淡画像情報（Ｓ１）を画素毎
に一対一に対応した画像データとして一つの画像データ
（Ｓ１）に合成して記憶させる処理は、前記垂直同期信
号（ＶＤ）及び水平同期信号（Ｉ［Ｄ）に同期して同時
並列的に行われるように、タイミング回路（８）にて、
その処理動作が制御されるようにしてある。又、前記カ
メラ（１）による撮像動作に同期してストロボ装置（９
）が発光するように、前記タイミング回路（８）からの
制御信号によって起動されるストロボ制御回路（１０）
により、発光タイミング及びその発光強度を適性化する
ように溝成してある。

又、前記画像メモリ（７）に記憶された２値化画像情報
（Ｓ１）及び濃淡画像情報（Ｓ２）は、ＣＲＴコントロ
ーラ（１１）及びＴＶ信号ジェネレータ（１２）により
、コンポジットビデオ信号に変換されて、モニタテレビ
（１３）に表示されるようにしてある。

前記２値化画像情報（Ｓ４）及び）濃淡画像情報（Ｓ１
）は、制御プロセッサ（ＣＰＵ＋）及び数値演算プロセ
ッサ（ＣＰＵｚ）にて、各画素毎の画像データ（ｓｂ）
として記憶された画像情報に基づいて、前記２値化画像
情報（Ｓ４）の値が“１”で囲まれた領域内のうちの前
述したハイライト領域（Ｐ１）に相当する欠落した部分
（第３図（ロ）参照）の穴埋めの処理をした後、その穴
埋め処理を施した２値化画像情報（５４，）（第３図（
ハ）参照）が“１”である領域内のグレイレベルに基づ
いて、明るさのピーク点であるハイライト領域（ＰＧ）
（第３図（ニ）参照）の位置を求めると共に、前記２値
化画像情報（Ｓ４）が“１”である領域つまり果実に対
応する領域の重心（ｒ’ｌ）の位置を求める処理を施さ
れる。

前記穴埋め処理について説明すれば、前記合成された画
像データ（Ｓ６）のうちの２値化画像情ｔＧ（Ｓ１）の
値に基づいてラベリング処理を行った後、例えば、面積
が小さい領域の２値化画像情！１１Ｊ（Ｓ４−）の値が
“０”の部分を“１”に置き換えることにより、その部
分の明るさ情報が欠落することなく色情報Ｑこ関する穴
埋めを行うのである。

次に、穴埋め処理を行った画像情報を再度ラベリングし
、例えば、そのラヘル毎の明るさの最大値及びその最大
値より一段階低い明るさの領域のみを残して他の領域の
画像データ（Ｓ６）を全て“０”に置き換えることによ
り、前記ハイライト領域（Ｐｏ）を抽出するのである。

そして、認識した果実の個数やその位置情ｔａつまり前
記ハイライト？ｉＪｌ域（Ｐｏ）や重心（Ｐｌ）の位置
座標の情報を、その認識結果を利用するホストコンピュ
ータ（ＣＰｔ１．）に、インターフェース装置（１４）
を介して伝達すると共に、全体の動作を制御されるので
ある。尚、第１図中、（１５）は、前記各プロセッサ（
ＣＰし）、　（ＣＰ［Ｉ２）の動作プログラムや演算用
データを格納したり、前記ホストコンピュータ（ＣＰＩ
ＩＱ）との間で授受する各種データ等を格納するための
メモリである。

次に、上述した構成になる果実認識装置によって得られ
たハイライト領域（Ｐｏ）や重心（ｐ＋）の位置情報を
用いて、果実用作業機の作業用マユブレークを誘導する
手段について説明する。

第４図に示すように、左右一対の走行車輪（１６）を前
後に備えた走行機体（Ｖ）に、昇降並びに左右揺動自在
にブーム（１７）を枢支すると共に、そのブーム（１７
）の先端部に、補助ブーム（１８）を水平方向に揺動自
在に枢支し、前記補助ブーム（１８）の先端部に、多間
接型の伸縮式マユブレーク（１９）を、上下左右方向に
揺動自在に取り付けである。

そして、前記マニプレータ（１９）の先端部に作業用ハ
ンド（１１）を取り付けると共に、その視野方向が、マ
ニプレータ（１９）つまり前記作業用ハンド（Ｈ）の向
きと一致する状態で、前記マニプレータ（１９）の基端
部の内部に、前記カノラク１）を格納してある。

従って、前記カメラ（１）からは、前記マユブレーク（
１９）が向いた方向にある作業対象果実（Ｆ）及びその
周囲の技や葉等の背景となる物体を含む撮像画像情報（
Ｓｏ）が得られ、その１雌性画像情ｆ［１ｉ（Ｓ１）に
対して上述した処理を行うことにより、現在のマニプレ
ータ（１９）の位置に対する作業対象果実（Ｆ）の位置
に対応したハイライト領域（Ｐｏ）や重心（Ｐｌ）の位
置座標の情報が得られるのである。

そして、前記重心（ｒ’＋）の位置方向に向けて前記マ
ユブレーク（１９）を突出させると共に、例えば、赤外
線反射式の近接センサ等による検出情報に基づいて、作
業対象となる果実（Ｆ）に対して設定距離内に接近する
に伴って、前記マニプレータ（１９）の向きを前記ハイ
ライト領域（ＰＧ）の方向に修正した後、果実（Ｆ）に
対してアプローチさせるようにすれば、ひとかたまりの
領域として認識された果実（Ｐ）のうちの所定の一つに
対して正確にアプローチさせることができる。

〔別実施例〕

上記実施例においては、２値化画像情＋Ｄ（Ｓ１）と濃
淡画像情報（Ｓ１）の両方を用いて、認識対象果実（Ｆ
）のハイライト領域（Ｐｏ）と重心（Ｐｌ）の夫々を各
別に求めるようにした場合を例示したが、本発明は、上
記ハイライ）　？ｉＪＴ域（Ｐａ）又は重心（Ｐｌ）の
一方のみを求める場合にも適用できるのは勿論であり、
又、その記憶した画像情報の処理は、適用する装置の目
的に応じて各種変更できる。

又、上記実施例では、認識対象果実（Ｆ）の色のみに対
応した画像情報を得るに、カラー画像を構成する赤色と
青色の各色信号をそのまま減算するようにした場合を例
示したが、認識対象果実の色に対応して減算する色の画
像情報を設定すればよく、認識対象果実の色に応じて各
種変更できる。又、量子化する画素数も、認識する情報
に必要な分解能に応じて設定すればよく、本発明は、上
記実施例のみに限定されるものではない。

【図面の簡単な説明】

図面は本発明に係る果実認識装置の実施例を示し、第１
図は果実認識装置の構成を示すブロック図、第２図は、
記憶画像データの構成を示す説明図、第３図は画像情報
の説明図、第４図は果実用作業機の概略構成を示す側面
図である。 （Ｆ）・・・・・・認識対象果実、（Ｓｌ）・・・・・
・特定色範囲の画像情報、（Ｓ２）・・・・・・特定色
を含まない画像情報、（ＳＪ）・・・・・・認識対象果
実の色のみに対応した画像情報、（Ｓ４）・・・・・・
２値化画像情報、（Ｙ）・・・・・・濃淡画像情報、（
Ｓ１）・・・・・・量子化された濃淡画像情報、（Ｓ６
）・・・・・・画像データ、（３）・・・・・・色分離
手段、（４）・・・・・・２値化手段、（５）・・・・
・・量子化手段、（６）・・・・・・画像データ合成手
段、（７）・・・・・・記憶手段。

Claims (1)

【特許請求の範囲】
1. 認識対象果実（Ｆ）の色に対応する特定色範囲の画像情
   報（Ｓ＿１）と、前記特定色を含まない画像情報（Ｓ＿
   ２）とを減算することにより、前記認識対象果実（Ｆ）
   の色のみに対応した画像情報（Ｓ＿３）を分離抽出する
   色分離手段（３）、前記色分離手段（３）によって得ら
   れた画像情報（Ｓ＿３）を設定閾値に基づいて２値化す
   る２値化手段（４）、前記各画像情報（Ｓ＿１）〜（Ｓ
   ＿３）と同一範囲を撮像した濃淡画像情報（Ｙ）をその
   グレイレベルに基づいて量子化する量子化手段（５）、
   及び、前記量子化された濃淡画像情報（Ｓ＿５）と前記
   ２値化手段（４）により２値化された２値化画像情報（
   Ｓ＿４）とを夫々の量子化画素位置を対応させた状態で
   記憶する記憶手段（７）を備えた果実認識装置であって
   、前記２値化画像情報（Ｓ＿４）と前記量子化された濃
   淡画像情報（Ｓ＿５）とを、量子化画素毎の一つの画像
   データ（Ｓ＿６）として合成する画像データ合成手段（
   ６）を設け、前記合成された画像データ（Ｓ＿６）を、
   前記記憶手段（７）に記憶させるように構成してある果
   実認識装置。