JPH0414725B2 - - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、例えば、果実用作業機に対する作業
対象果実の位置関係を検出して、作業用マニプレ
ータを誘導するための制御情報を得るための手段
等として用いられる果実認識装置、詳しくは、撮
像手段による撮像画像情報のうち色画像情報より
設定された認識対象果実色に対応する領域を判断
して、それを２値化色画像情報をとして抽出する
色２値化手段、前記撮像画像情報のうちの濃淡画
像情報よりその明度変化が大きい部分を判断し
て、それを２値化エツジ画像情報として抽出する
エツジ画像検出手段、および、前記２値化色画像
情報から前記２値化エツジ画像情報を減算する減
算手段を備えさせて、前記撮像画像情報より認識
対象果実に対応する領域を分離抽出した２値化画
像情報を得る果実認識装置に関する。

〔従来の技術〕

上記この種の果実認識装置は、複数の果実が密
集していたり、重なり合つていることにより、複
数の果実が一つの塊として見えるような場合にお
いても、一つ一つの果実に分離された状態の２値
化画像情報を得られるようにしたものである。

ところで、エツジ画像検出手段にて２値化エツ
ジ画像情報を得るに、撮像画像情報のうちの濃淡
画像情報を、そのままエツジ画像検出手段に入力
させることが考えられる。

〔発明が解決しようとする問題点〕

しかしながら、撮像画像情報のうちの濃淡画像
情報をそのまま利用して、２値化エツジ画像情報
を得るようにすると、そのための処理に手間が掛
かり、高速で果実認識を行い難いものとなる不利
がある。

つまり、エツジ画像検出手段は、例えば、撮像
画像情報のうちの濃淡画像情報を微分処理して、
その明度変化の値やその方向を求め、その求めた
情報より孤立したエツジ点等のノイズ情報を除去
した後、明度変化の大きい部分を境界として連続
した線（ただし、ある程度の幅を有することもあ
る）として認識できる２値化画像情報を得るもの
であり、その処理は二次元情報を演算処理するた
めに、処理情報量が多くなると指数的に処理時間
が長くなる不利がある。

ちなみに、果実認識に要する処理時間が長くな
ると、例えば、果実用作業機の制御に利用する場
合において、果実収穫等の果実に対する作業を能
率良く行い難いものとなる、等の不利を招くもの
となるのであり、果実認識を極力高速に行えるよ
うにすることが望まれている。

本発明は、上記実情に鑑みてなされたものであ
つて、その目的は、密集したり重なりあつている
複数の果実を一つ一つに分離した状態の領域とし
て抽出した２値化画像情報を得るに、その処理
を、簡素な構成で高速に行うことができるように
する点にある。

〔問題点を解決するための手段〕

本発明による果実認識装置の特徴は、前記２値
化色画像情報を開閉制御信号として開閉制御する
ことによつて、前記濃淡画像情報を認識対象果実
色でマスクして、前記濃淡画像情報のうちの前記
果実色に対応する領域を判断してその領域の濃淡
画像情報を抽出するゲート手段を設け、このゲー
ト手段にて抽出させた濃淡画像情報を前記エツジ
画像検出手段に入力させるように構成してある点
にあり、その作用ならびに効果は以下の通りであ
る。

〔作用〕

すなわち、撮像画像情報のうちの色画像情報よ
り設定された認識対象果実色に対応する領域を判
断して抽出し２値化した２値化色画像情報で撮像
画像情報のうちの濃淡画像情報をマスクすること
により、上記２値化色画像情報と同一領域内にあ
る濃淡画像情報を抽出し、認識対象果実色以外の
領域の濃淡画像情報を予め除去した濃淡画像情報
をエツジ画像検出手段に入力させるのである。

〔発明の効果〕

従つて、２値化色画像情報でマスクした濃淡画
像情報は、認識対象果実以外の不要な情報を含ま
ないものとなり、エツジ画像検出手段の処理情報
量を大幅に少なくできる。つまり、処理情報量が
少ないために高速処理できるのである。

又、認識対象果実以外の画像情報を、画像処理
の前段階で予め除去してあるので、濃淡画像情報
の２値化処理において、不要なノイズ成分は非常
に少ないものとなり、２値化画像情報の分離抽出
結果の信頼性も大幅に良くなつたのである。

さらに、撮像画像情報のうちの濃淡画像情報を
２値化色画像情報でマスクした濃淡画像情報と２
値化色画像情報とを実時間処理で得られるので、
このマスク処理に要する時間は、果実認識に要す
る処理時間に影響することはない。

〔実施例〕

以下、本発明の実施例を図面に基づいて説明す
る。

第１図は、屋外において撮像された画像情報か
ら、認識対象果実一つ一つを分離した状態の２値
化画像情報を得る果実認識装置のブロツク図であ
つて、特に、ミカンやリンゴ等の暖色系の果実を
認識するための装置として構成してあり、カラー
画像を構成する赤色成分の色信号Ｒより青色成分
の色信号Ｂを減算することにより、果実色以外の
枝、葉、空等の背景となる物体に対応した色成分
を除去し、さらに、設定された認識対象果実色Ｃ
のみに対応する領域を判断して抽出される２値化
色画像情報Ｆ１と、この２値化色画像情報Ｆ１で
マスクすることにより、認識対象果実色Ｃのみに
対応する領域を判断して得られた濃淡画像情報S₁
を２値化した２値化エツジ画像情報F₂とから、
重なりあつてみえる複数果実の一つ一つが分離さ
れた状態の２値化画像情報F₃を得るように構成
してある。

すなわち、撮像手段としてのカラービデオカメ
ラ１により撮像された画像情報（第８図イ参照）
として出力されるNTSC形式のカラービデオ信号
S₀は、NTSCデコーダ２により、垂直同期信号
VD、水平同期信号HDの各同期信号、赤色信号
Ｒ、青色信号Ｂの各色信号、および、濃淡画像情
報としての輝度信号Ｙに分離され、色２値化手段
としての色分離回路３により、前記赤色信号Ｒと
青色信号Ｂの差（Ｒ−Ｂ）を演算して、設定され
た認識対象果実色Ｃや撮像状態の明るさ等に基づ
いて予め設定される設定閾値Crefと比較されて、
認識対象果実色Ｃのみに対応した色の２値化画像
情報である２値化色画像情報F₁（第８図ロ参照）
に変換される。

前記輝度信号Ｙは、第５図に示すように、前記
２値化色画像情報F₁をコントロール信号として、
この２値化色画像情報F₁が“Ｈ”レベルである
間すなわち果実色Ｃに対応する区間のみ開くゲー
ト回路４を通過させることにより、２値化色画像
情報F₁をマスクとして、前記認識対象果実色Ｃ
のみに対応した濃淡画像情報S₁として抽出され、
Ａ／Ｄ変換器５により８ビツト／１画素の分解能
で128×128画素／１画素で構成されるデジタル濃
淡画像情報S₂（第８図ハ参照）に変換され、デー
タバツフア６を介して第一画像メモリ７に一旦記
憶される。

前記２値化色画像情報F₁を得る処理と、濃淡
画像情報S₁をＡ／Ｄ変換して、前記第一画像メモ
リ７に１画面分のデジタル濃淡画像情報S₂として
記憶させる処理は、垂直同期信号VDおよび水平
同期信号HDの各変化タイミングに同期して、同
時並列的に行われるように、タイミング回路８に
よりその処理動作が制御されるようにしてある。
又、前記カメラ１による撮像動作に同期して照光
手段としてのストロボ装置１０が発光するよう
に、前記タイミング回路８からの制御信号によつ
て起動されるストロボ制御回路９により、発光タ
イミングおよびその発光強度を制御するように構
成してある。

又、前記第一画像メモリ７に記憶されたデジタ
ル濃淡画像情報S₂は、CRTコントローラ１１お
よび、TV信号ジエネレータ１２により、コンポ
ジツトビデオ信号に変換され、モニタテレビ１３
により表示されるようにしてある。

そして、前記デジタル濃淡画像情報S₂は、制御
プロセツサCPU₁および数値演算用プロセツサ
CPU₂により、ノイズ除去や輪郭抽出等の演算処
理をされて２値化され、エツジ画像情報としての
２値化エツジ画像情報F₂（第８図ニ参照）に変換
されて、第二画像メモリ１４に一旦記憶される。

次に、前記第一画像メモリ７に記憶された認識
対象果実色Ｃに対応する範囲内の濃淡画像情報S₂
の濃淡値に基づいて、その値が正であるものを前
記２値化色画像情報F₁として復元し、その２値
化色画像情報F₁より前記第二画像メモリ１４に
記憶されている２値化エツジ画像情報F₂を減算
して、一つ一つの果実が分離された状態の２値化
画像情報F₃（第８図ホ参照）を演算し、前記第二
画像メモリ１４に記憶させる。従つて、２値化色
画像情報F₁でマスクした濃淡画像情報S₂は、そ
れ自体で明度情報が零でない部分が２値化色画像
情報F₁と同一の画像情報を有するものとなるの
で、２値化色画像情報F₁を別途記憶しなくとも、
上記マスク処理した濃淡画像情報S₂から２値化色
画像情報F₁を簡単に復元できるので、２値化色
画像情報F₁自体を記憶するための画像メモリを
設ける必要が無いのである。

そして、前記一つ一つの果実が分離された状態
の２値化画像情報F₃に基づいて、認識した果実
の個数やその座標位置等を演算し、インターフエ
ース装置１５を介して、ホストコンピユータ
CPU₀にその認識結果を伝達するとともに、全体
の動作を制御されるのである。尚、第１図中、１
６は前記各プロセツサCPU₁，CPU₂の動作プロ
グラムや演算用データを一時格納したり、ホスト
コンピユータCPU₀との間で授受する各種データ
等を格納するためのメモリである。

以下、各部の構成について詳述する。

前記色分離回路３は、第４図に示すように、前
記水平同期信号HDおよび垂直同期信号VDに同
期して動作するように、その動作をタイミングコ
ントローラ３０により制御されるように構成して
ある。そして、前記デコーダ２より出力される赤
色成分の色信号Ｒと青色成分の色信号Ｂとの差Ｒ
−Ｂを差動増幅器３１により演算し、その出力信
号を、ゲイン設定抵抗R₁により増幅度を設定さ
れたビデオ増幅器３２により所定レベルに増幅
し、コンパレータ３３により抵抗R₂により設定
された前記設定閾値Crefと比較されてTTLレベ
ルの２値化画像情報F₁に変換されるのである。
ところで、前記閾値Crefは、設定された認識対象
果実色Ｃや撮像状態の明るさ等に基づいて予め設
定されている。

前記ストロボ制御回路９は、第６図に示すよう
に、前記垂直同期信号VDのブランキング期間の
開始位置に対応するトリガ信号VREQにより起
動される二つのワンシヨツトマルチバイブレータ
９０，９１により構成してある。

そして、第７図に示すように、最初のマルチバ
イブレータ９０により遅延される所定時間t₁経過
後に、次のマルチバイブレータ９１を起動し、そ
の出力時間t₂が発光強度に対応して前記ストロボ
装置１０が発光されるように、ストロボ装置１０
へ発光信号を伝達するフオトカプラ９２をONさ
せるように構成してある。つまり、前記ストロボ
装置１０は、カメラ１による１画面分の撮像に同
期して、かつ、垂直同期信号VDの帰線期間中に
所定の照度で毎回自動的に発光されるのである。

以下、第３図に示すフローチヤートに基づいて
全体的な動作を説明する。

すなわち、電源投入とともに、前記制御プロセ
ツサCPU₁は、各メモリ７，１４，１６の内容や
演算データ等を初期化して、ホストコンピユータ
CPU₀からの起動信号の受信待ち状態で自己ホー
ルドする。ホストコンピユータCPU₀は、前記制
御プロセツサCPU₁が自己ホールドしていること
を確認して、画像処理のスタートフラグをセツト
して、制御プロセツサCPU₁に処理開始を通知し
て、制御プロセツサCPU₁の処理終了待ち状態と
なる。

前記制御プロセツサCPU₁は前記スタートフラ
グがセツトされると、前記カメラ１による撮像処
理を開始し、１フイールド分の画像情報S₀を取り
込んで、前記色差信号Ｒ−Ｂの２値化色画像情報
F₁でマスクした濃淡画像情報S₂を読み込んで２
値化するためのラベリング処理および認識対象の
重心位置演算等の処理を行つて待機状態となる。

一方、ホストコンピユータCPU₀は、制御プロ
セツサCPU₁の待機状態となつていることを確認
して、前記演算結果を読みだして、前記スタート
フラグを再セツトして、制御プロセツサCPU₁を
再起動する。そして、以上の動作を必要回数繰り
返し行うのである。

次に、第２図に示すフローチヤートに基づい
て、前記デジタル濃淡画像情報S₂を２値化して、
複数果実の一つ一つを分離した状態の認識対象果
実色Ｃのみに対応した２値化画像情報F₃を得る
ための動作について説明する。

すなわち、前記スタートフラグがセツトされる
と、前記色分離回路３より出力される２値化信号
F₁により開閉されるゲート回路４およびＡ／Ｄ
変換器５を介して１フイールド分の輝度信号Ｙ
が、認識対象果実色Ｃでマスクされたデジタル濃
淡画像情報S₂として第一画像メモリ７に入力され
る。

そして、第９図イ、ロに示すマスクを用いて、
上下左右３画素に対する中央の画素ｊ，ｉの明度
変化を「Sobel Operetor」の手法に基づいて一
次微分して２値化しり。その後面積の小さい領域
を消去（値を“０”にする）して、残つた“１”
の領域を細線化し、濃淡画像の２値化エツジ画像
情報F₂を抽出して、前記第二画像メモリ１４に
記憶する。

前記２値化エツジ画像情報F₂は、細線化処理
を行うことにより、連続した線で連結された２値
化エツジ画像情報に変換される。尚、この細線化
処理としては、例えば、第１０図イに示すよう
に、前記微分処理の場合と同様に、注目画素（図
中○で示す）と、上下左右の隣接した画素（図中
＊で示す）との関係を演算することにより行われ
るものである。つまり、第１０図ロに示すよう
に、その値が“１”である注目画素X₀における
連結数Ncは、隣接した８つの画素X₂〜X₈の値ｆ
（X₁）〜ｆ（X₈）を用いて、下記式で表される。

Nc（X₀）＝ 〓^k=j （ｆ（Xk）−ｆ（Xk） ・ｆ（Xk_-1）・ｆ（Xk₊₂）） ただし、 ｊ＝｛１，３，５，７，｝，X₉＝X₁ とする。

従つて、Nc（X₀）は０〜４の値をとるが、１
の時にX₀が消去可能となる。（消去しても連結性
は保持される） ただし、第１０図ハ、ニ、ホ、ヘで示すような
細線（線幅１の線）の終端部を表すような場合
は、消去しないようにする。そして、各画素につ
いて消去可能なものを順次消去してゆくことによ
り細線化できるのである。

そして、この細線化処理された２値化エツジ画
像情報F₂を、前記２値化色画像情報F₁より減算
することにより、塊となつた複数果実の一つ一つ
を分離した分離２値化画像情報F₃に変換する。

次に、第９図ハに示すマスクを用いて、前記分
離２値化画像情報F₃に対して、中央の注目画素
ｊ，ｉを、上下左右隣接した各画素の状態に基づ
いて画像の収縮処理を行い、複数果実が完全に分
離された状態の２値化画像情報に変換する。つま
り、前記注目画素ｊ，ｉに対して上下左右隣接し
た各画素の何れかが“０”である場合には、注目
画素ｊ，ｉを“０”として消去し、上下左右３画
素の全てが“１”である場合には、注目画素ｊ，
ｉを“１”にするというようにして、処理するの
である。

その後、前記２値化画像情報F₃をいわゆるラ
ベリング処理を行うことによつて、認識果実の個
数およびその大きさを演算して、各認識果実の重
心位置を演算して、その結果を前記ホストコンピ
ユータCPU₀に伝達するのである。

〔別実施例〕

上記、実施例では、２値化色画像情報F₁自体
は記憶せずに、この２値化色画像情報F₁でマス
クした濃淡画像情報S₂から必要に応じて復元する
ように構成したが、２値化色画像情報F₁を、別
途記憶する画像メモリを設けてもよい。そして、
この場合、前記濃淡画像情報S₂を記憶する第一画
像メモリ７の記憶画像情報を順次演算処理して、
分離２値化画像情報F₃に変換するようにしても
よい。尚、何れの場合も必要な画像メモリは、演
算用画像メモリ以外に、２値化色画像情報F₁と
濃淡画像情報S₂の両方を記憶する場合よりも少な
くなる。

【図面の簡単な説明】

図面は本発明に係る果実認識装置の実施例を示
し、第１図は果実認識装置の全体構成を示すブロ
ツク図、第２図は果実認識装置の動作を示すフロ
ーチヤート、第３図は果実認識装置の制御プロセ
ツサとホストコンピユータとの関係を示すフロー
チヤート、第４図は色分離回路の構成を示すブロ
ツク図、第５図はゲート回路の動作を示すタイム
チヤート、第６図はストロボ制御回路の構成を示
す回路図、第７図はその動作を示すタイムチヤー
ト、第８図イ〜ホは画像情報の説明図、第９図
イ、ロ、ハは画像処理用マスクの説明図である。
第１０図イ〜ヘは細線化処理の説明図である。 １……撮像手段、２……色２値化手段、４……
ゲート手段、Ｃ……認識対象果実色、S₀……撮像
画像情報、Ｙ……撮像画像の濃淡情報、S₁……認
識対象果実色範囲の濃淡画像情報、F₁……認識
対象果実色の２値化画像情報、F₂……濃淡画像
の２値化エツジ画像情報、F₃……分離２値化画
像情報。

Claims (1)

【特許請求の範囲】
1. １ 撮像手段１による撮像画像情報Ｓ０のうち色
   画像情報より設定された認識対象果実色Ｃに対応
   する領域を判断して、それを２値化色画像情報Ｆ
   １として抽出する色２値化手段３、前記撮像画像
   情報Ｓ０のうちの濃淡画像情報Ｙよりその明度変
   化が大きい部分を判断して、それを２値化エツジ
   画像情報Ｆ２として抽出するエツジ画像検出手
   段、および、前記２値化色画像情報Ｆ１から前記
   ２値化エツジ画像情報Ｆ２を減算する減算手段を
   備えさせて、前記撮像画像情報Ｓ０より認識対象
   果実に対応する領域を分離抽出した２値化画像情
   報Ｆ３を得る果実認識装置であつて、前記２値化
   色画像情報Ｆ１を開閉制御信号として開閉制御す
   ることによつて、前記濃淡画像情報Ｙを果実色Ｃ
   でマスクして、前記濃淡画像情報Ｙのうちの前記
   果実色Ｃに対応する領域の濃淡画像情報Ｓ１を抽
   出するゲート手段４を設け、このゲート手段４に
   て抽出させた濃淡画像情報Ｓ１を前記エツジ画像
   検出手段により入力させるように構成してある果
   実認識装置。