JPS629210A - 果実認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、例えば、果実用作業機に対する作業対象果実
の位置関係を検出して、作業用マニプレータを誘導する
ための制御情報を得るための手段等として用いられる果
実認識装置、詳しくは、撮像手段による撮像画像情報の
うちの色画像情報より認識対象果実色に対応した領域の
２値化色画像情報を分離抽出する色２値化手段、前記撮
像画像情報のうちの濃淡画像情報よりその明度変化が大
きい部分に対応する２値化エツジ画像情報を分離抽出す
るエツジ画像検出手段、および、前記２値化色画像情報
から前記２値化エツジ画像情報を減算する減算手段を備
えさせて、前記撮像画像情報より認識対象果実に対応す
る領域を分離抽出した２値化画像情報を得る果実認識装
置に関する。

〔従来の技術〕

上記この種の果実認識装置は、複数の果実が密集してい
たり、重なり合っていることにより、複数の果実が一つ
の塊として見えるような場合においても、一つ一つの果
実に分離された状態の２値化画像情報を得られるように
したものである。

ところで、エツジ画像検出手段にて２値化エツジ画像情
報を得るに、撮像画像情報のうちの濃淡画像情報を、そ
のままエツジ画像検出手段に入力させることが考えられ
る。

〔発明が解決しようとする問題点〕

しかしながら、撮像画像情報のうちの濃淡画像情報をそ
のまま利用して、２値化エツジ画像情報を得るようにす
ると、そのための処理に手間が掛かり、高速で果実認識
を行い難いものとなる不利がある。

つまり、エツジ画像検出手段は、例えば、撮像画像情報
のうちの濃淡画像情報を微分処理して、その明度変化の
値やその方向を求め、その求めた情報より孤立したエツ
ジ点等のノイズ情報を除去した後、明度変化の大きい部
分を境界として連続した線（ただし、ある程度の幅を有
することもある）として認識できる２値化画像情報を得
るものであり、その処理は二次元情報を演算処理するた
めに、処理情報量が多くなると指数的に処理時間が長く
なる不利がある。

ちなみに、果実認識に要する処理時間が長くなると、例
えば、果実用作業機の制御に利用する場合において、果
実収穫等の果実に対する作業を能率良く行い難いものと
なる、等の不利を招くものとなるのであり、果実認識を
極力高速に行えるようにすることが望まれている。

本発明は、上記実情に鑑みてなされたものであって、そ
の目的は、密集したり重なりあっている複数の果実を一
つ一つに分離した状態の領域を分離抽出した２値化画像
情報を得るに、その処理を、簡素な構成で高速に行うこ
とができるようにする点にある。

〔問題点を解決するための手段〕

本発明による果実認識装置の特徴は、前記２値化色画像
情報を開閉制御信号として開閉制御することによって、
前記濃淡画像情報を果実色でマスクして、前記濃淡画像
情報のうちの前記果実色に対応する領域の濃淡画像情報
を抽出するゲート手段を設け、このゲート手段にて抽出
させた濃淡画像情報を前記エツジ画像検出手段に入力さ
せるように構成してある点にあり、その作用ならびに効
果は以下の通りである。

〔作　用〕

すなわちＪ対象果実のみに対応した特定色に基づいて２
硫化した２値化色画像情報で撮像画像情報のうちの濃淡
画像情報をマスクすることにより、上記２値化色画像情
報と同一領域内にある濃淡画像情報を抽出し、対象果実
色原外の領域の濃淡画像情報を予め除去した濃淡画像情
報をエツジ画像検出手段に入力させるのである。

〔発明の効果〕

従って、２値化色画像情報でマスクした濃淡画像情報は
、認識対象果実以外の不要な情報を含まないものとなり
、エツジ画像検出手段の処理情報量を大幅に少なくでき
る。つまり、処理情報量が少ないために嵩速処理できる
のである。

又、果実以外の画像情報を、画像処理の前段階で予め除
去してあるので、濃淡画像情報の２値化処理において、
不要なノイズ成分は非常に少ないものとなり、２値化画
像情報の分離抽出結果の信顛性も大幅に良くなったので
ある。

さらに、撮像画像情報のうちの濃淡画像情報を２値化色
画像情報でマスクした濃淡画像情報と２値化色画像情報
とを実時間処理で得られるので、このマスク処理に要す
る時間は、果実認識に要する処理時間に影響することは
ない。

〔実施例〕

以下、本発明の実施例を図面に基づいて説明する。

第１図は、屋外において撮像された画像情報から、対象
果実一つ一つを分離した状態の２値化画像情報を得る果
実認識装置のブロック図であって、特に、ミカンやリン
ゴ等の暖色系の果実を認識するための装置として構成し
てあり、カラー画像を構成する赤色成分の色信号（Ｒ）
より青色成分の色信号（Ｂ）を減算することにより、果
実色以外の枝、葉、空等の背景となる物体に対応した色
成分を除去して得た果実の色（Ｃ）のみに対応した２値
化画像情報（Ｆ１）と、この果実の色（Ｃ）のみに対応
した範囲の濃淡画像情報（Ｓ１）を２値化したエツジ画
像情報（Ｆ２）とから、重なりあってみえる複数果実の
一つ一つが分離された状態の２値化画像情報（Ｆ３）を
得るように構成してある。

すなわち、撮像手段としてのカラービデオカメラ（１）
により撮像された画像情報（第８図（イ）参照）として
出力されるＮＴＳＣ形弐のカラービデオ信号（ＳＯ）は
、ＮＴＳＣデコーダ（２）により、垂直同期信号（ＶＤ
）、水平同期信号（ＨＤ）の各同期信号、赤色信号（Ｒ
）、青色信号（Ｂ）の各色信号、および、濃淡画像情報
としての輝度信号（Ｙ）に分離され、色２値化手段とし
ての色分離回路（３）により、前記赤色信号（Ｒ）と青
色信号（Ｂ）の差（Ｒ−Ｂ）を演算して、設定闇値（Ｃ
ｒｅｆ）と比較されて、対象果実の色（Ｃ）のみに対応
した色の２値化画像情報である２値化色画像情報（Ｆ３
）（第８図（ｎ）参照）に変換される。

前記輝度信号（Ｙ）は、第５図に示すように、前記２値
化色画像情報（Ｆ１）をコントロール信号として、この
２値化色画像情報（Ｆ３）が”Ｈ”レベルである間すな
わち果実色（Ｃ）に対応する区間のみ開くゲート回路（
４）を通過させることにより、２値化色画像情報（Ｆ３
）をマスクとして、前記対象果実の色（Ｃ）のみに対応
した濃淡画像情報（Ｓ１）として抽出され、Ａ／Ｄ変換
器（５）により８ビツト／１画素の分解能で１２８　Ｘ
　１２８画素／１画面で構成されるデジタル濃淡画像情
報（Ｓ２）（第８図（ハ）参照）に変換され、データバ
ッファ（６）を介して第一画像メモリ（７）に一旦記憶
される。

前記２値化色画像情報（Ｆ１）を得る処理と、濃淡画像
情報（Ｓ１）をＡＩＤ変換して、前記第一画像メモリ（
７）に１画面分のデジタル濃淡画像情報（Ｓりとして記
憶させる処理は、垂直同期信号（ＶＤ）および水平同期
信号（ＨＤ）の各変化タイミングに同期して、同時並列
的に行われるように、タイミング回路（８）によりその
処理動作が制御されるようにしてある。又、前記カメラ
（１）による撮像動作に同期して照光手段としてのスト
ロボ装置（１０）が発光するように、前記タイミング回
路（８）からの制御信号によって起動されるストロボ制
御回路（９）により、発光タイミングおよびその発光強
度を制御するように構成してある。

又、前記第一画像メモリ（７）に記憶されたデジタル濃
淡画像情報（Ｓ２）は、ＣＲＴコントローラ（１１）お
よび、ＴＶ信号ジェネレータ（１２）により、コンポジ
ットビデオ信号に変換され、モニタテレビ（１３）によ
り表示されるようにしてある。

そして、前記デジタル濃淡画像情報（Ｓ２）は、制御プ
ロセッサ（ＣＰＵ　、　）および数値演算用プロセッサ
（ＣＰＵ２）により、ノイズ除去や輪郭抽出等の演算処
理をされて２値化され、エツジ画像情報としての２値化
エツジ画像情報（ｈ）（第８図（＝）参照）に変換され
て、第二画像メモリ（１４）に一旦記憶される。

次に、前記第一画像メモリ（７）に記憶された果実の色
（Ｃ）に対応する範囲内の濃淡画像情報（Ｓ２）の濃淡
値に基づいて、その値が正であるものを前記２値化色画
像情報（Ｆ３）として復元し、その２値化色画像情報（
Ｆ３）より前記第二画像メモリ（１４）に記憶されてい
る２値化エツジ画像情報（Ｆ２）を減算して、一つ一つ
の果実が分離された状態の２値化画像情報（Ｆ３）　（
第８図（ネ）参照）を演算し、前記第二画像メモリ（１
４）に記憶させる。従って、２値化色画像情報（Ｆ３）
でマスクした濃淡画像情報（Ｓ２）は、それ自体で明度
情報が零でない部分が２値化色画像情報（Ｆ１）と同一
の画像情報を有するものとなるので、２値化色画像情報
（Ｆ１）を別途記憶しなくとも、上記マスク処理した濃
淡画像情報（Ｓ２）から２４Ｍ化色画像情報（Ｆ１）を
簡単に復元できるので、２値化色画像情報（Ｆ１）自体
を記憶するための画像メモリを設ける必要が無いのであ
る。

そして、前記一つ一つの果実が分離された状態の２値化
画像情＠　（Ｒ３）に基づいて、認識した果実の個数や
その座標位置等を演算し、インターフェース装置（１５
）を介して、ホストコンピュータ（ＣＰＵ０）にその認
識結果を伝達するとともに、全体の動作を制御されるの
である。尚、第１図中、（１６）は前記各プｏセフす（
ＣＰＵＯ，（ＣＰｔＪｚ）の動作プログラムや演算用デ
ータを一時格納したり、ホストコンピュータ（ＣＰＵ３
）との間で授受する各種データ等を格納するためのメモ
リである。

以下、各部の構成について詳述する。

前記色分離回路（３）は、第４図に示すように、前記水
平同期信号（ＨＤ）および垂直同期信号（ＶＤ）に同期
して動作するように、その動作をタイミングコントロー
ラ（３０）により制御されるように構成してある。そし
て、前記デコーダ（２）より出力される赤色成分の色信
号（Ｒ）と青色成分の色信号（Ｂ）との差（Ｒ−Ｂ）を
差動増幅器（３１）により演算し、その出力信号を、ゲ
イン設定抵抗（ＲＩ）により増幅度を設定されたビデオ
増幅器（３２）により所定レベルに増幅し、コンパレー
タ（３３）により抵抗（Ｒ２）により設定された設定闇
値（Ｃｒｅｆ）と比較されてＴＴＬレベルの２値化色画
像情報（Ｆ１）に変換されるのである。ところで、前記
闇値（Ｃｒｅｆ）は、認識対象果実の色（Ｃ）や撮像状
態の明るさ等に基づいて予め設定することとなる。

前記ストロボ制御回路（９）は、第６図に示すように、
前記垂直同期信号（ＶＤ）のブランキング期間の開始位
置に対応するトリガ信号（ＶＲＥＱ）により起動される
二つのワンショットマルチバイブレーク（９０）　、　
（９１）により構成してある。

そして、第７図に示すように、最初のマルチバイブレー
タ（９０）により遅延される所定時間（ｔ３）経過後に
、次のマルチバイブレーク（９１）を起動し、その出力
時間（ｔ２）が発光強度に対応して前記ストロボ装置（
１０）が発光されるように、ストロボ装置（１０）へ発
光信号を伝達するフォトカプラ（９２）をＯＮさせるよ
うに構成してある。

つまり、前記ストロボ装置（１０）は、カメラ（１）に
よる１百面分の撮像に同期して、かつ、垂直同期信号（
ＶＤ）の帰線期間中に所定の照度で毎回自動的に発光さ
れるのである。

以下、第３図に示すフローチャートに基づいて全体的な
動作を説明する。

すなわち、電源投入とともに、前記制御プロセッサ（Ｃ
ＰＵＩ）は、各メモリ（７）　、　（１４）　、　（１
６）の内容や演算デー名等を初期化して、ホストコンピ
ュータ（ＣＰＵ（１）からの起動信号の受信待ち状態で
自己ホールドする。ホストコンピュータ（ＣＰＵＯ）は
、前記制御プロセッサ（ＣＰＵ　、　）が自己ホールド
していることを確認して、画像処理のスタートフラグを
セットして、制御プロセッサ（ＣＰＵＩ）に処理開始を
通知し、制御プロセッサ（ＣＰＵ３）の処理終了待ち状
態となる。

前記制御プロセッサ（ＣＰＵ　、　”）は前記スタート
フラグがセットされると、前記カメラ（１）にょる撮像
処理を開始し、１フイ一ルド分の画像情報（Ｓ０）を取
り込んで、前記色差信号（Ｒ−８）の２値化色画像情報
（Ｆ１）でマスクした濃淡画像情報（Ｓ２）を読み込ん
で２値化するためのラベリング処理および認識対象の重
心位置演算等の処理を行って待機状態となる。

一方、ホストコンピュータ（ＣＰＵＯ）は、制御プロセ
ッサ（ＣＰＵＯの待機状態となっていることを確認して
、前記演算結果を読みだして、前記スタートフラグを再
セットして、制御プロセッサ（ＣＰＵＩ）を再起動する
。そして、以上の動作を必要回数繰り返して行うのであ
る。

次に、第２図に示すフローチャートに基づいて、前記デ
ジタル濃淡画像情報（ｓ２）を２値化して、複数果実の
一つ一つを分離した状態の果実のみに対応した２値化画
像情報（Ｆ３）を得るための動作について説明する。

すなわち、前記スタートフラグがセットされると、前記
色分離回路（３）より出力される２値化色信号（ｐ１）
により開閉されるゲート回路（４）およびＡ／Ｄ変換器
（５）を介して１フイ一ルド分の輝度信号（Ｙ）が、果
実の対応する色（Ｃ）でマスクされたデジタル濃淡画像
情報（Ｓ２）として第一画像メモリ（７）に入力される
。

そして、第９図（イ’）　、　（［ｊ）に示すマスクを
用いて、上下左右３画素に対する中央の画素Ｕ、ｉ）の
明度変化をｒｓｏｂｅｌ　０ｐｅｒｅｔｏｒＪの手法に
基づいて一次微分して２値化する。その後面積の小さい
領域を消去（値を“Ｏ”にする）して、残った“１”の
領域を細線化し、濃淡画像のエツジ画像情報（Ｆり涜抽
出して、前記第二画像メモリ（１６）に記憶する。

前記エツジ画像情報（Ｆ２）は、細線化処理を行うこと
により、連続した線で連結されたエツジ画像情報に変換
される。尚、この細線化処理としては、例えば、第１０
図（イ）に示すように、前記微分処理の場合と同様に、
注目画素（図中○で示す）と、上下左右の隣接した画素
（図中＊で示す）との関係を演算することにより行われ
るものである。つまり、第１０図（０）に示すように、
その値が“１′である注目画素（Ｘ０）における連結数
（Ｎｃ）は、隣接した８つの画素（Ｌ−Ｘｓ）の値（ｒ
　（ｘ　＋　）〜ｆ　（Ｘ８）　）を用いて、下記式で
表される。

ただし、 ｊ　＝　（１，３，５，７）　、　Ｘ９＝ＸＩとする。

従って、ＮＣ（Ｘ６）はＯ〜４の値をとるが、１の時に
Ｘｏが消去可能となる。（消去しても連結性は保持され
る） ただし、第１０図（ハ）、（ニ）、（ネ）、（へ）で示
すような細線（′ａ幅１の線）の終端部を表すような場
合は、消去しないようにする。そして、各画素について
消去可能なものを順次消去してゆくことにより細線化で
きるのである。

そして、この細線化処理されたエツジ画像情報（Ｆ２）
を、前記２値化色画像情報（Ｆ１）より減算することに
より、塊となった複数果実の一つ一つを分離した分離２
値化画像情報（Ｆ３）に変換する。

次に、第９図（八）に示すマスクを用いて、前記分離２
値化画像情報（Ｆ３）に対して、中央の注目画素（ｊ、
ｉ）を、上下左右隣接した各画素の状態に基づいて画像
の収縮処理を行い、複数果実が完全に分離された状態の
２値化画像情報に変換する。つまり、前記注目画素（ｊ
＋　ｉ）に対して上下左右隣接した各画素の何れかが“
０”である場合には、注目画素（ｊ　、　ｉ）をＯ″と
して消去し、上下左右３画素の全てが“１”である場合
には、注目画素（ｊ、ｉ）を“１”にするというように
して、処理するのである。

その後、前記２値化画像情報（Ｆ３）をいわゆるラベリ
ング処理を行うことによって、認識果実の個数およびそ
の大きさ等を演算して、各認識果実の重心位置を演算し
て、その結果を前記ホストコンピュータ（ＣＰＵ０）に
伝達するのである。

〔別実施例〕

上記、実施例では、２値化色画像情報（Ｆ３）自体は記
憶せずに、この２値化色画像情報（Ｆ３）でマスクした
濃淡画像情報（Ｓ２）から必要に応じて復元するように
構成したが、２値化色画像情報（Ｆ３）を、別途記憶す
る画像メモリを設けてもよい。そして、この場合、前記
濃淡画像情報（Ｓ２）を記憶する第一画像メモリ（７）
の記憶画像情報を順次演算処理して、分離２値化画像情
報（Ｆ３）に変換するようにしてもよい。尚、何れの場
合も必要な画像メモリは、演算用画像メモリ以外に、２
値化色画像情報（Ｆ３）と濃淡画像情報（Ｓ２）の両方
を記憶する場合よりも少なくなる。

【図面の簡単な説明】

図面は本発明に係る果実認識装置の実施例を示し、第１
図は果実認識装置の全体構成を示すブロック図、第２図
は果実認識装置の動作を示すフローチャート、第３図は
果実認識装置の制御プロセッサとホストコンピュータと
の関係を示すフローチャート、第４図は色分離回路の構
成を示すブロック図、第５図はゲート回路の動作を示す
タイムチャート、第６図はストロボ制御回路の構成を示
す回路図、第７図はその動作を示すタイムチャート、第
８図（イ）〜（ニ）は画像情報の説明図、第９図（イ）
　、　（ａ）　、　（／１）は画像処理用マスクの説明
図である。第１０図（イ）〜（へ）は細線化処理の説明
図である。 （１）・・・・・・撮像手段、（３）・・・用色２値化
手段、（４）・・・・・・ゲート手段、（Ｃ）・・・・
・・果実色、（ｓ０）・・・・・・撮像画像情報、（Ｙ
）・・・・・・撮像画像の濃淡画像情報、（Ｓ１）・・
・・・・果実色範囲の濃淡画像情報、（ＰＩ）・・・・
・・果実色の２値化画像情報、（Ｆ２）・旧・・濃淡画
像のエツジ画像情報、（Ｆ３）・・・・・・分離２値化
画像情報。

Claims (1)

【特許請求の範囲】
1. 撮像手段（１）による撮像画像情報（Ｓ＿０）のうちの
   色画像情報より認識対象果実色（Ｃ）に対応した領域の
   ２値化色画像情報（Ｆ＿１）を分離抽出する色２値化手
   段（３）、前記撮像画像情報（Ｓ＿０）のうちの濃淡画
   像情報（Ｙ）よりその明度変化が大きい部分に対応する
   ２値化エッジ画像情報（Ｆ＿２）を分離抽出するエッジ
   画像検出手段、および、前記２値化色画像情報（Ｆ＿１
   ）から前記２値化エッジ画像情報（Ｆ＿２）を減算する
   減算手段を備えさせて、前記撮像画像情報（Ｓ＿０）よ
   り認識対象果実に対応する領域を分離抽出した２値化画
   像情報（Ｆ＿３）を得る果実認識装置であって、前記２
   値化色画像情報（Ｆ＿１）を開閉制御信号として開閉制
   御することによって、前記濃淡画像情報（Ｙ）を果実色
   （Ｃ）でマスクして、前記濃淡画像情報（Ｙ）のうちの
   前記果実色（Ｃ）に対応する領域の濃淡画像情報（Ｓ＿
   １）を抽出するゲート手段（４）を設け、このゲート手
   段（４）にて抽出させた濃淡画像情報（Ｓ＿１）を前記
   エッジ画像検出手段に入力させるように構成してある果
   実認識装置。