JPH0646403B2

JPH0646403B2 - 作物認識装置

Info

Publication number: JPH0646403B2
Application number: JP60128933A
Authority: JP
Inventors: 保生藤井; 正彦林
Original assignee: Kubota Corp
Current assignee: Kubota Corp
Priority date: 1985-06-13
Filing date: 1985-06-13
Publication date: 1994-06-15
Anticipated expiration: 2009-06-15
Also published as: JPS61286986A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、例えば、作物用作業機に対する作業対象作物
の位置関係を検出して、作業用マニピュレータを誘導す
るための制御情報を得るための手段等として用いられる
作物認識装置に関し、詳しくは、撮像手段による撮像画
像情報より、認識作物に対応した特定色に基づいて、作
物の位置情報を得る作物認識装置に関する。

〔従来の技術〕

上記この種の作物認識装置は、例えば、作物としての認
識対象果実の色に基づいて撮像画像情報を２値化して、
認識対象以外の物の情報を除き、その２値化画像情報に
基づいて認識対象の位置情報、例えば大きさや重心位置
等を検出する手段が用いられていたので、複数個の作物
が密集して生えていたり重なりあって一つの塊として見
えるような場合には、色に基づいて２値化するために、
その塊を一個の作物として認識してしまうこととなる。
そして、撮像画像を色に基づいて２値化しているため
に、この塊となった複数個の作物を後で分離することは
非常に困難であり、色による２値化画像のみでは簡単に
は複数作物を分離識別できないものであった。

従って、上記複数個の作物の塊を２値化した画像情報に
基づいて、例えば、その重心位置をマニピュレータの誘
導方向の制御パラメータとして使用すると、実際の作業
対象作物の重心位置とは異なる位置へ誘導することとな
り、誤動作してしまう不都合がある。

そこで、認識対象を、その明度変化のみに対応した濃淡
画像として撮像し、その濃淡画像情報から明度変化が大
きい部分のみを抽出して２値化し、明度変化のエッジを
検出して同一色の一つの塊となった複数個の認識対象作
物を一つ一つに分離する手段を用いることが考えられる
が、この場合、撮像画像には作物以外の枝や葉等の不要
な情報が含まれているために、濃淡画像情報全体を２値
化したのでは、対象作物に対応する画像情報がどこにあ
るかを識別できなくなる不都合がある。又、エッジ検出
のための処理情報が多くなるために、その処理時間が長
くなる不都合もある。

〔発明が解決しようとする課題〕

従って、撮像画像情報を、その色情報に基づいて２値化
する手段、あるいは濃淡画像情報をその明度変化に基づ
いて２値化する手段、何れか一方のみでは複数の認識対
象を一つ一つに分離した状態の２値化画像情報を簡単に
は得ることができないものであった。

又、上述したように濃淡画像情報を、撮像画像情報全体
に亘ってエッジ検出の処理を行うと、その処理時間が問
題となり、実用し難いものとなる不都合がある。又、２
値化色画像情報と濃淡画像情報の両方の画像情報を用い
て一つの塊として見える認識対象を分離することも考え
られるが、上記エッジ検出処理は省略できないので、装
置構成が複雑になる。しかも、一つ一つに分離した２値
化画像情報が得られても、更にその２値化画像の各代表
位置、例えば重心位置等を検出して、位置情報を求める
ための処理を行う必要がある。

本発明は、上記実情に鑑みてなされたものであって、密
集したり重なりあって一つの塊に見える複数個の作物の
一つ一つの位置情報を簡単に得ることができる作物認識
装置の提供を目的とする。

〔課題を解決するための手段〕

本発明にかかる作物認識装置は、撮像対象を照光する照
光手段、この照光手段による照光時に撮像した画像情報
より前記特定色に対応する範囲の濃淡画像情報を抽出す
る手段、前記濃淡画像情報よりその明るさのピーク位置
を検出するピーク位置検出手段の夫々を設けてあること
を特徴構成とする。

かかる特徴構成による作用及び効果は次の通りである。

〔作用〕

ミカンやリンゴ等の作物は一般的にその形状が球形であ
ることから、この認識対象を照光すると、その球形の頂
点として見える位置が最も明るく反射する状態となる。
そして、この最も明るく見える位置は複数個の対象作物
夫々について各一箇所存在することから、この最も明る
く見える位置は、夫々の認識対象作物の代表位置情報と
して扱えることとなる。

従って、認識対象を照光して撮像した画像情報を、対象
作物のみに対応した特定色でマスクして、このマスクさ
れた特定色と同一座標範囲内にある濃淡画像情報のみを
抽出すると、その濃淡画像情報は、認識対象のみの明る
さの情報となる。そして、その濃淡画像情報の明るさの
ピーク位置を検出すると、この検出位置は上記球形の頂
点として見える位置に対応することとなり、検出ピーク
位置がそれ自体で各認識対象作物を代表する位置情報と
なるのである。

〔発明の効果〕

つまり、特定色をマスクとして、この特定色と同一座標
範囲内の濃淡画像情報のみを抽出することにより、予め
不要な情報を除いた果実に対応する特定色で、かつ、そ
の濃淡変化に対応した画像情報が得られる。そして、こ
の特定された範囲内の濃淡画像情報の明るさのピーク位
置がどこにあるかを検出することによって、複数個の認
識対象作物が密集したり重なりあって一つの塊として見
えるような状態であっても、作物同士を分離した状態の
位置情報が簡単に得られるのである。しかも、各認識対
象の位置情報を得るに、特定色範囲の濃淡画像情報の明
るさのピーク位置を検出する処理を行うだけであるか
ら、従来のように明度変化のエッジ点等を検出するよう
な複雑な処理を行う必要がなく、装置構成を簡素化でき
る。従って、高速かつ簡単に複数作物を一つ一つに分離
識別することができるに至った。又、作物以外の濃淡画
像情報は、上記特定色により完全に除去されているか
ら、濃淡画像情報に認識対象以外の不要なノイズ成分が
含まれることはなく、従って、認識結果の信頼性も大幅
に良くなったのである。

〔実施例〕

以下、本発明の実施例を図面に基づいて説明する。

第１図は、屋外において撮像された画像情報から、対象
作物一つ一つに対応した位置情報を得る作物認識装置の
ブロック図であって、特に、ミカンやリンゴ等の暖色系
の果実を認識するための装置として構成してあり、カラ
ー画像を構成する赤色成分の色信号(R) より青色成分の
色信号(B) を減算することにより、果実色以外の枝、
葉、空等の背景となる物体に対応した色成分を除去して
得た果実の色(C) のみに対応した２値化色画像情報(F₁)
を抽出し、この２値化色画像情報(F₁)で輝度信号(Y) を
マスクして、果実の色(C) のみに対応した特定色範囲の
濃淡画像情報(S₁)を抽出し、その明るさのピーク位置
(P) を求めることにより、重なりあってみえる複数果実
の一つ一つが分離された状態の位置情報を得るように構
成してある。

すなわち、撮像手段としてのカラービデオカメラ(1)に
より撮像された画像情報（第８図(イ)参照）として出力
されるＮＴＳＣ形式のカラービデオ信号(S₀)は、ＮＴＳ
Ｃデコーダ(2) により、垂直同期信号(VD)、水平同期信
号(HD)の各同期信号、赤色信号(R)、青色信号(B)の各色
信号、および、濃淡画像情報としての輝度信号(Y)に分
離され、色分離回路(3) により、前記赤色信号(R)と青
色信号(B)の差(R-B) を演算して、設定閾値(Cref)と比
較されて、対象果実の色(C)のみに対応した色の２値化
画像情報である２値化色画像情報(F₁)（第８図(ロ)参
照）に変換される。

前記輝度信号(Y) は、前記２値化色画像情報(F₁)をコン
トロール信号として、この２値化色画像情報(F₁)が
“Ｈ”レベルである間すなわち果実色(C) に対応する区
間のみ開くゲート回路(4) を通過させることにより、２
値化色画像情報(F₁)をマスクとして、前記対象果実の色
(C) のみに対応した濃淡画像情報(S₁)として抽出され、
A/D変換器(5)により８ビット／１画素の分解能で128×1
28画素／１画面で構成されるデジタル濃淡画像情報(S₂)
（第８図(ハ)参照）に変換され、データバッファ(6) を
介して画像メモリ(7) に一旦記憶される。

前記２値化色画像情報(F₁)を得る処理と、濃淡画像情報
(S₁)を A/D変換して、前記画像メモリ(7) に１画面分の
デジタル濃淡画像情報(S₂)として記憶させる処理は、垂
直同期信号(VD)および水平同期信号(HD)の各変化タイミ
ングに同期して、同時並列的に行われるように、タイミ
ング回路(8) によりその処理動作が制御されるようにし
てある。又、前記カメラ(1) による撮像動作に同期して
照光手段としてのストロボ装置(10)が発光するように、
前記タイミング回路(8) からの制御信号によって起動さ
れるストロボ制御回路(9) により、発光タイミングおよ
びその発光強度を制御するように構成してある。

又、前記画像メモリ(7) に記憶されたデジタル濃淡画像
情報(S₂)は、ＣＲＴコントローラ(11)およびＴＶ信号ジ
ェネレータ(12)により、コンポジットビデオ信号に変換
され、モニタテレビ(13)により表示されるようにしてあ
る。

そして、前記デジタル濃淡画像情報(S₂)は、制御プロセ
ッサ(CPU₁)および数値演算用プロセッサ(CPU₂)により、
その各座標点(x,y) における明度変化を、二次元ヒスト
グラムとして演算され、その明度(F₂)が最大となるピー
ク位置(P)の座標(Xj,Yi)が検出される。

そして、認識した果実の個数やその位置座標の情報を認
識結果として、インターフェース装置(15)を介して、ホ
ストコンピュータ(CPU₀)に伝達するとともに、全体の動
作を制御されるのである。尚、第１図中、(16)は前記各
プロセッサ(CPU₁),(CPU₂) の動作プログラムや演算用デ
ータを一時格納したり、前記ホストコンピュータ(CPU₀)
との間で授受する各種データ等を格納するためのメモリ
である。

以下、各部の構成について詳述する。

前記色分離回路(3)は、第４図に示すように、前記水平
同期信号(HD)および垂直同期信号(VD)に同期して動作す
るように、その動作をタイミングコントローラ(30)によ
り制御されるように構成してある。そして、前記デコー
ダ(2) より出力される赤色成分の色信号(R) と青色成分
の色信号(B)との差(R-B)を差動増幅器(31)により演算
し、その出力信号を、ゲイン設定抵抗(R₁)により増幅度
を設定されたビデオ増幅器(32)により所定レベルに増幅
し、コンパレータ(33)により抵抗(R₂)により設定された
設定閾値(Cref)と比較されてＴＴＬレベルの２値化色画
像情報(F₁)に変換されるのである。ところで、前記閾値
(Cref)は、認識対象果実の色(C) や撮像状態の明るさ等
に基づいて予め設定することとなる。

前記ストロボ制御回路(9) は、第５図に示すように、前
記垂直同期信号(VD)のブランキング期間の開始位置に対
応するトリガ信号(VREQ)により起動される二つのワンシ
ョットマルチバイブレータ(90),(91)により構成してあ
る。

そして、第６図に示すように、最初のマルチバイブレー
タ(90)により遅延される所定時間(t₁)経過後に、次のマ
ルチバイブレータ(91)を起動し、その出力時間(t₂)が発
光強度に対応して前記ストロボ装置(10)が発光されるよ
うに、ストロボ装置(10)へ発光信号を伝達するフォトカ
プラ(93)をＯＮさせるように構成してある。つまり、前
記ストロボ装置(10)は、カメラ(1) による１画面分の撮
像に同期して、かつ、垂直同期信号(VD)の帰線期間中に
所定の照度で毎回自動的に発光されるのである。

以下、第３図に示すフローチャートに基づいて全体的な
動作を説明する。

すなわち、電源投入とともに、前記制御プロセッサ(CPU
₁)は、各メモリ(7),(14),(16) の内容や演算データ等を
初期化して、ホストコンピュータ(CPU₀)からの起動信号
の受信待ち状態で自己ホールドする。ホストコンピュー
タ(CPU₀)は、前記制御プロセッサ(CPU₁)が自己ホールド
していることを確認して、画像処理のスタートフラグを
セットして、制御プロセッサ(CPU₁)に処理開始を通知
し、制御プロセッサ(CPU₁)の処理終了待ち状態となる。

前記制御プロセッサ(CPU₁)は前記スタートフラグがセッ
トされると、前記カメラ(1) による撮像処理を開始し、
１フィールド分の画像情報(S₀)を取り込んで、前記色差
信号(R-B) の２値化色画像情報(F₁)でマスクした濃淡画
像情報(S₂)を読み込んで明るさのピーク位置(P) の座標
(Xj,Yi) を求め、認識対象の位置情報とする処理を行っ
て待機状態となる。尚、前記ピーク位置(P) の個数がす
なわち認識対象の個数に対応する情報となる。

一方、ホストコンピュータ(CPU₀)は、制御プロセッサ(C
PU₁)の待機状態となっていることを確認して、認識結果
（認識果実の個数およびその位置座標）を読み出して、
前記スタートフラグを再セットして、制御プロセッサ(C
PU₁)を再起動する。そして、以上の動作を必要回数繰り
返して行うのである。

次に、第２図に示すフローチャートに基づいて、前記デ
ジタル濃淡画像情報(S₂)の明るさのピーク位置(P)の座
標(Xj,Yi)を求めて、複数果実の一つ一つを分離識別し
た状態の一つの果実のみに位置情報を得るための動作に
ついて説明する。

すなわち、前記スタートフラグがセットされると、前記
色分離回路(3) より出力される２値化色画像情報(F₁)に
より開閉されるゲート回路(4)およびA/D変換器(5) を介
して１フィールド分の輝度信号(Y)が、果実に対応する
特定色(C)でマスクされたデジタル濃淡画像情報(S₂)と
して画像メモリ(7) に入力される。

そして、第９図に示すように、前記濃淡画像情報(S₂)の
全画素の各座標点における明るさ、すなわち輝度値(V)
の二次元ヒストグラムを求め、そのピーク位置(P)の座
標(Xj,Yi)を、認識対象を代表する位置情報として検出
するのである。

前記濃淡画像情報(S₂)の輝度値(V) のピーク位置(P) を
求める処理は、第10図に示すように、注目画素(e)とこ
の画素(e)に対して上下左右各隣接した８画素(a〜d,f〜
i) に対する輝度差を演算し、注目画素(e) の輝度が、
隣接８画素(a〜d,f〜i) の何れよりも大きい場合は、そ
の注目画素(e) の位置を明るさのピーク位置とする処理
を順次各画素について行うことにより、そのピーク位置
(P)の座標(Xj,Yi)を検出するのである。

その後、検出したピーク位置(P) の位置座標(Xj,Yi)の
値およびその個数を、認識果実の位置情報として前記ホ
ストコンピュータ(CPU₀)に伝達するのである。

以上要するに、本発明は、特定色でマスクした濃淡画像
情報の明るさのピーク位置を求めるだけの簡単な処理
で、複数個の認識対象果実の位置情報を、その一つ一つ
が分離された状態で得られるのである。しかも、従来の
ように濃淡変化のエッジ点を検出したり、２値化画像情
報よりその認識領域の重心位置等を求めたりする処理を
全く行う必要が無く、高速処理が可能になるとともに、
装置構成も簡素化できるのである。尚、上記実施例のよ
うに、特定色で輝度信号をマスクして特定色範囲のみの
濃淡画像情報を予め抽出する手段を用いると、信号の前
処理を簡単な構成でリアルタイムに行うことができると
ともに、認識対象の位置情報を得るための処理として
は、上記明るさのピーク位置を求める処理だけとなり、
簡素な装置構成に拘らず高速処理が可能になったのであ
る。

【図面の簡単な説明】

図面は本発明にかかる作物認識装置の実施例を示し、第
１図は作物認識装置の全体構成を示すブロック図、第２
図は作物認識装置の動作を示すフローチャート、第３図
は作物認識装置の制御プロセッサとホストコンピュータ
との関係を示すフローチャート、第４図は色分離回路の
構成を示すブロック図、第５図はゲート回路の動作を示
すタイムチャート、第６図はストロボ制御回路の構成を
示す回路図、第７図はその動作を示すタイムチャート、
第８図(イ),(ロ),(ハ)は画像情報の説明図、第９図は明る
さ変化の説明図、第10図はピーク位置検出用マスクの説
明図である。 (1)……撮像手段、(10)……照光手段、(C)……特定色、
(S₀)……撮像画像情報、(S₁)……特定色範囲の濃淡画像
情報、(P)……明るさのピーク位置

Claims

【特許請求の範囲】

【請求項１】撮像手段(1) による撮像画像情報(S₀)よ
り、認識作物に対応した特定色(C) に基づいて、作物の
位置情報を得る作物認識装置であって、撮像対象を照光
する照光手段(10)、この照光手段(10)による照光時に撮
像した画像情報(S₀)より前記特定色(C) に対応する範囲
の濃淡画像情報(S₁)を抽出する手段、前記濃淡画像情報
(S₁)よりその明るさのピーク位置(P) を検出するピーク
位置検出手段の夫々を設けてある作物認識装置。