JPS61286986A - 作物認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、例えば、果実用作業機に対する作業対象果実
の位置関係を検出して、作業用マニプレータを誘導する
ための制御情報を得るための手段等として用いられる果
実認識装置に関し、詳しくは、撮像手段による撮像画像
情報より、認識果実に対応した特定色に基づいて、果実
の位置情報を得る果実認識装置に関する。

〔従来の技術〕

上記この種の果実認識装置は、認識対象果実の色に基づ
いて撮像画像情報を２値化して、認識対象以外の物の情
報を除き、その２値化画像情報に基づいて認識対象の位
置情報、例えば大きさや重心位置等を検出する手段が用
いられていたので、複数個の果実が密集して生っていた
り重なりあって一つの塊として見えるような場合には、
色に基づいて２値化するために、その塊を一個の果実と
して認識してしまうこととなる。そして、撮像画像を色
に基づいて２値化しているために、この塊となった複数
個の果実を後で分離することは非常に困難であり、色に
よる２値化画′像のみでは簡単には複数果実を分離識別
できないものであった。

従って、上記複数個の果実の塊を２値化した画像情報に
基づいて、例えば、その重心位置をマニプレータの誘導
方向の制御パラメータとして使用すると、実際の作業対
象果実の重心位置とは異なる位置へ誘導することとなり
、誤動作してしまう不都合がある。

そこで、認識対象を、その明度変化のみに対応した濃淡
画像として撮像し、その濃淡画像情報から明度変化が大
きい部分のみを抽出して２値化し、明度変化のエツジを
検出して同一色の一つの塊となった複数個の認識対象を
一つ一つに分離する手段を用いることが考えられるが、
この場合、撮像画像には果実以外の技や葉等の不要な情
報が含まれているために、濃淡画像情報全体を２値化し
たのでは、対象果実に対応する画像情報がどこにあるか
を識別できなくなる不都合がある。又、エツジ検出のた
めの処理情報が多くなるために、その処理時間が長くな
る不都合もある。

〔発明が解決しようとする問題点〕

従って、撮像画像情報を、その色情報に基づいて２値化
する手段、あるいは濃淡画像情報をその明度変化に基づ
いて２値化する手段、何れか一方のみでは複数の認識対
象を一つ一つに分離した状態の２値化画像情報を簡単に
は得ることができないものであった。

又、上述したように濃淡画像情報を、撮像画像情報全体
に亘ってエツジ検出の処理を行うと、その処理時間が問
題となり、実用し難いものとなる不都合がある。又、２
値化色画像情報と濃淡画像情報の両方の画像情報を用い
て一つの塊として見える認識対象を分離することも考え
られるが、上記エツジ検出処理は省略できないので、装
置構成が複雑になる。しかも、一つ一つに分離した２値
化画像情報が得られても、更にその２値化画像の各代表
位置、例えば重心位置等を検出して、位置情報を求める
ための処理を行う必要がある。

本発明は・、上記実情に鑑みてなされたものであって、
その目的は、密集したり重なり°あって　　　　　　　
１一つの塊に見える複数個の果実の一つ一つの位置情報
を簡単に得ることができるようにする点にある。

〔問題点を解決するための手段〕

本発明による果実認識装置の特徴は、撮像対象を照光す
る照光手段、この照光手段による照光時に撮像した画像
情報より前記特定色に対応する範囲の濃淡画像情報を抽
出する手段、前記濃淡画像情報よりその明るさのピーク
位置を検出するピーク位置検出手段、の夫々を設けてあ
る点にあり、その作用ならびに効果は以下の通りである
。

〔作　用〕

ミカンやリンゴ等の果実は一般的にその形状が球形であ
ることから、この認識対象を照光すると、その球形の頂
点として見える位置が最も明るく反射する状態となる。

そして、この最も明るく見える位置は複数個の対象夫々
について各−箇所存在することから、この最も明るく見
える位置は、夫々の認識対象果実の代表位置情報として
扱えることとなる。

従って、認識対象を照光して撮像した画像情報を、対象
果実のみに対応した特定色でマスクして、このマスクさ
れた特定色と同一座標範囲内にある濃淡画像情報のみを
抽出すると、その濃淡画像情報は、認識対象のみの明る
さの情報となる。そしで、その濃淡画像情報の明るさの
ピーク位置を検出すると、この検出位置は上記球形の頂
点として見える位置に対応することとなり、検出ピーク
位置がそれ自体で各認識対象を代表する位置情報となる
のである。

〔発明の効果〕

つまり、特定色をマスクとして、この特定色と同一座標
範囲内の濃淡画像情報のみを抽出することにより、予め
不要な情報を除いた果実に対応する特定色で、かつ、そ
の濃淡変化に対応した画像情報が得られる。そして、こ
の特定された範囲内の濃淡画像情報の明るさのピーク位
置がどこに・あるかを検出することによって、複数個の
認識対象が密集したり重なりあって一つの塊として見え
るような状態であっても、果実同士を分離した状態の位
置情報像が簡単に得られるのである。しかも、各認識対
象の位置情報を得るに、特定色範囲の濃淡画像情報の明
るさのピーク位置を検出する処理を行うだけであるから
、従来のように明度変化のエツジ点等を検出するような
複雑な処理を行う必要がなく、装置構成を筒素化できる
。従って、高速かつ簡単に複数果実を一つ一つに分離識
別することができるに至った。又、果実以外の濃淡画像
情報は、上記特定色により完全に除去されているから、
濃淡画像情報に認識対象以外の不要なノイズ成分が含ま
れることはなく、従って、認識結果の信鯨性も大幅に良
くなったのである。

〔実施例〕

以下、本発明の実施例を図面に基づいて説明する。

第１図は、屋外において撮像された画像情報から、対象
果実一つ一つに対応した位置情報を得る果実認識装置の
ブロック図であって、特に、ミカンやリンゴ等の暖色系
の果実を認識するための装置として構成してあり、カラ
ー画像を構成する赤色成分の色信号（Ｒ）より青色成分
の色信号（Ｂ）を減算することにより、果実色以外の枝
、葉、空等の背景となる物体に対応した色成分を除去し
て得た果実の色（Ｃ）のみに対応した２値化色画像情報
（Ｆ１）を抽出し、この２値化色画像情報（ｐ＋）で輝
度信号（Ｙ）をマスクして、果実の色（Ｃ）のみに対応
した特定色範囲の濃淡画像情報（Ｓｌ）を抽出し、その
明るさのピーク位置（Ｐ）を求めることにより、重なり
あってみえる複数果実の一つ一つが分離された状態の位
置情報を得るように構成しである。

すなわち、撮像手段としてのカラービデオカメラ（１）
により撮像された画像情報（第８図（イ）参照）として
出力されるＮＴＳＣ形式のカラービデオ信号（Ｓ１）は
、ＮＴＳＣデコーダ（２）により、垂直同期信号（ＶＤ
）、水平同期信号（ＨＤ）の各同期信号、′赤色信号（
Ｒ）、青色信号（Ｂ）の各色信号、および、濃淡画像情
報とし４ての輝度信号（Ｙ）に分離され、色分離回路（
３）により、前記赤色信号（Ｒ）と青色信号（Ｂ）の差
（Ｒ−８）を演算して、設定閾値（Ｃｒｅｆ）と比較さ
れて、対象果実の色（Ｃ）のみに対応した色の２値化画
像情報である２値化色画像情報（Ｆ＋）　（第８図（Ｕ
）参照）に変換される。

前記輝度信号（Ｙ）は、前記２値化色画像情報（Ｆυを
コントロール信号として、この２値化色画像情報（Ｆυ
が”Ｈ”レベルである間すなわち果実色（Ｃ）に対応す
る区間のみ開くゲート回路（４）を通過させることによ
り、２値化色画像情報（Ｆｌ）をマスクとして、前記対
象果実の色（Ｃ）のみに対応した濃淡画像情報（Ｓｌ）
として抽出され、Ａ／Ｄ変換器（５）により８ビツト７
１画素の分解能で１２８　Ｘ　１２８画素／１画面で構
成されるデジタル濃淡画像情報Ｃ５ｔ＞　（第８図（ハ
）参照）に変換され、データバッファ（６）を介して画
像メモリ（７）に一旦記憶される。

前記２値化色画像情報（Ｆｌ）を得る処理と、濃淡画像
情報（ＳυをＡ／Ｄ変換して、前記画像メモリ（７）に
１画面分のデジタル濃淡画像情報（Ｓ２）として記憶さ
せる処理は、垂直同期信号（ＶＤ）および水平同期信号
（ＨＤ）の各変化タイミングに同期して、同時並列的に
行われるように、タイミング回路（８）によりその処理
動作が制御されるようにしである。又、前記カメラ（１
）による撮像動作に同期して照光手段としてのストロボ
装置（１０）が発光するように、前記タイミング回路（
８）からの制御信号によって起動されるストロボ制御回
路（９）により、発光タイミングおよびその発光強度を
制御するように構成しである。

又、前記画像メモリ（７）に記憶されたデジタル濃淡画
像情報（Ｓ２）は、ＣＲＴコントローラ（１１）および
ＴＶ（８号ジェネレータ（１２）により、コンポジット
ビデオ信号に変換され、モニタテレビ（１３）により表
示されるようにしである。

そして、前記デジタル濃淡画像情報（Ｓｇ）は、制御プ
ロセッサ（ＣＰＵ　ｓ　）および数値演算用プロセッサ
（ＣＰＵりにより、その各座標点（ｘ、ｙ）における明
度変化を、二次元ヒストグラムとして演算され、その明
度（Ｆ２）が最大となるピーク位ｆ　（Ｐ）の座標（Ｘ
Ｊ　＋　Ｙｌ）が検出される。

そして、認識した果実の個数やその位置座標の情報を認
識結果として、インターフェース装置（１５）を介して
、ホストコンピュータ（ＣＰＵ０）に伝達するとともに
、全体の動作を制御されるのである。尚、第１図中、（
１６）は前記各プロセッサ（ＣＰＵ＋）、（ＣＰＵｉ）
の動作プログラムや演算用データを一時格納したり、前
記ホストコンピュータ（ＣＰＵ０）との間で授受する各
種データ等を格納するためのメモリである。

以下、各部の構成について詳述する。

前記色分離回路（３）は、第４図に示すように、前記水
平同期信号（ＨＤ）および垂直同期信号（ＶＤ）に同期
して動作するように、その動作をタイミングコントロー
ラ（３０）により制御されるように構成しである。そし
て、前記デコーダ（２）より出力される赤色成分の色信
号（Ｒ）と青色成分の色信号（Ｂ）との差（Ｒ−Ｂ）を
差動増幅器（３１）により演算し、その出力信号を、ゲ
イン設定抵抗（Ｒ８）により増幅度を設定されたビデオ
増幅器（３２）により所定レベルに増幅し、コンパレー
タ（３３）により抵抗（Ｒ２）により設定された設定閾
値（Ｃｒｅｆ）と比較されてＴＴＬレベルの２値化色画
像情報（Ｆ１）に変換されるのである。ところで、前記
閾値（Ｃｒｅｆ）は、認識対象果実の色（Ｃ）や撮像状
態の明るさ等に基づいて予め設定することとなる。

前記ストロボ制御回路（９）は、第５図に示すように、
前記垂直同期信号（ＶＤ）のブランキング期間の開始位
置に対応するトリガ信号（ＶＲＥＱ）により起動される
二つのワンショットマルチバイブレーク（９０）　、　
（９１）により構成しである。

そして、第６図に示すように、最初のマルチパイプレー
ク（９０）により遅延される所定時間（ｔｌ）経過後に
、次のマルチバイブレータ（９１）を起動し、その出力
時間（ｔ２）が発光強度に対応して前記ストロボ装置（
１０）が発光されるように、ストロボ装置（１０）へ発
光信号を伝達するフォトカブラ（９３）をＯＮさせるよ
うに構成しである。

つまり、前記ストロボ装置（１０）は、カメラ（１）Ｉ
による１画面分の撮像に同期して、かつ、垂直同期信号
（ＶＤ）の帰線期間中に所定の照度で毎回自動的に発光
されるのである。

以下、第３図に示すフローチャートに基づいて全体的な
動作を説明する。

すなわち、電源投入とともに、前記制御プロセッサ（Ｃ
ＰＵ　Ｉ　”）は、各メモリ（７）　、　（１４）　、
　（１６）の内容や演算データ等を初期化して、ホスト
コンピュータ（ＣＰＵ０）からの起動信号の受信待ち状
態で自己ホールドする。ホストコンピュータ（ＣＰＵ０
）は、前記制御プロセッサ（ＣＰＵ＋）が自己ホールド
していることを確認して、画像処理のスタートフラグを
セットして、制御プロセッサ＜ｃｐｕυに処理開始を通
知し、制御プロセッサ（ＣＰＵＯの処理終了待ち状態と
なる。

前記制御プロセッサ（ＣＰＵ　、”）は前記スタートフ
ラグがセットされると、前記カメラ（１）による撮像処
理を開始し、ｌフィールド分の画像情報（Ｓ０）を取り
込んで、前記色差信号（Ｒ−Ｂ）の２値化色画像情報（
Ｆ１）でマスクした濃淡画像情報（Ｓ２）を読み込んで
明るさのピーク位置（Ｐ）の座標（Ｘｊ、Ｙｉ）を求め
、認識対象の位置情報とする処理を行って待機状態とな
る。尚、前記ピーク位置（Ｐ）の個数がすなわち認識対
象の個数に対応する情報となる。

一方、ホストコンピュータ（ＣＰＵＯ）は、制御プロセ
ッサ（ＣＰＵ＋）の待機状態となっていることを確認し
て、認識結果（認識果実の個数およびその位置座標）を
読み出して、前記スタートフラグを再セットして、制御
プロセッサ（ＣＰＵ＋）を再起動する。そして、以上の
動作を必要回数繰り返して行うのである。

次に、第２図に示すフローチャートに基づいて、前記デ
ジタル濃淡画像情報（Ｓ２）の明るさのピーク位置（Ｐ
）の座標（Ｘｊ　、　Ｙｉ）を求めて、複数果実の一つ
一つを分離識別した状態の一つの果実のみに位置情報を
得るための動作について説明する。

すなわち・、前記スタートフラグがセットされると、前
記色分離回路（３）より出力され・る２値化色画像情報
（Ｆ１）により開閉されるゲート回路（４）およびＡ／
Ｄ変換器（５）を介して１フィールド分の輝度信号（Ｙ
）が、果実に対応する特定色（Ｃ）でマスクされたデジ
タル濃淡画像情報（Ｓりとして画像メモリ（７）に入力
される。

そして、第９図に示すように、前記濃淡画像情報（Ｓ２
）の全画素の各座標点における明るさ、すなわち輝度値
（Ｖ）の二次元ヒストグラムを求め、そのピーク位置（
Ｐ）の座標（Ｘｊ　、　Ｙｉ）を、認識対象を代表する
位置情報として検出するのである。

前記濃淡画像情報（Ｓｚ）の輝度値（Ｖ）のピーク位置
（Ｐ）を求める処理は、第１０図に示すように、注目画
素（ｅ）とこの画素（ｅ）に対して上下左右各隣接した
８画素（ａｘｄ、ｆ−４）に対する輝度差を演算し、注
目画素（ｅ）の輝度が、隣接８画素（ａ−ｄ　＋　ｆ−
１）の何れよりも大きい場合は、その注目画素（ｅ）の
位置を明るさのピーク位置と５する処理を順次各画素に
ついて行うことにより、そのピーク位置（Ｐ）の座標（
Ｘｊ、Ｙｉ）を検出するのである。

その後、検出したピーク位置（Ｐ）の位置座標（Ｘｊ、
Ｙｉ）の値およびその個数を、認識果実の位置情報とし
て前記ホストコンピュータ（ｃｐｕ０）に伝達するので
ある。

以上要するに、本発明は、特定色でマスクした濃淡画像
情報の明るさのピーク位置を求めるだけの簡単な処理で
、複数個の認識対象果実の位置情報を、その一つ一つが
分離された状態で得られるのである。しかも、従来のよ
うに濃淡変化のエツジ点を検出したり、２値化画像情報
よりその認！ｌｉ　ｇ域の重心位置等を求めたりする処
理を全く行う必要が無く、高速処理が可能になるととも
に、装置構成も簡素化できるのである。尚、上記実施例
のように、特定色で輝度信号をマスクして特定色範囲の
みの濃淡画像情報を予め抽出する手段を用いると、信号
の前処理を簡単な構成でリアルタイムに行うことができ
るとともに（認識対象の位置情報を得るための■ 処理としては、上記明るさのピーク位置を求める処理だ
けとなり、簡素な装置構成に拘らず高速処理が可能にな
ったのである。

【図面の簡単な説明】

図面は本発明に係る画像処理装置の実施例を示し、第１
図は果実認識装置の全体構成を示すブロック図、第２図
は果実認識装置の動作を示すフローチャート、第３図は
果実認識装置の制御プロセッサとホストコンピュータと
の関係を示すフローチャート、第４図は色分離回路の構
成を示すブロック図、第５図はゲート回路の動作を示す
タイムチャート、第６図はストロボ制御回路の構成を示
す回路図、第７図はその動作を示すタイムチャート、第
８図（イ）、（■）、（ハ）は画像情報の説明図、第９
図は明るさ変化の説明図、第１０図はピーク位置検出用
マスクの説明図である。 （１）・・・・・・撮像手段、（１０）・・・・・・照
光手段、（Ｃ）・・・・・・特定色、（Ｓ０）・・・・
・・撮像画像情報、（Ｓ１）・・・・・・特定色範囲の
濃淡画像情報、（Ｐ）・・・・・・明るさのピーク位置

Claims (1)

【特許請求の範囲】
1. 撮像手段（１）による撮像画像情報（Ｓ＿０）より、認
   識果実に対応した特定色（Ｃ）に基づいて、果実の位置
   情報を得る果実認識装置であって、撮像対象を照光する
   照光手段（１０）、この照光手段（１０）による照光時
   に撮像した画像情報（Ｓ＿０）より前記特定色（Ｃ）に
   対応する範囲の濃淡画像情報（Ｓ＿１）を抽出する手段
   、前記濃淡画像情報（Ｓ＿１）よりその明るさのピーク
   位置（Ｐ）を検出するピーク位置検出手段、の夫々を設
   けてある果実認識装置。