JPH07502408A - 植物の光学的品質管理および／または分類方法および装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 植物の光学的品質管理および／または分類方法および装置 本発明は、電子カラーカメラにより、所属の第１の照明源により照明された植物 の画像を第１の撮影方向で撮影し、カラーカメラから送出された、撮影したカラ ー画像の電気画像信号をデジタル化し、デジタル画像信号をカラー画像計算器に より評価する、植物の光学的自動品質管理および／または分類方法、ならびにこ の方法を実施するための装置に関する。

この穐の方法は、ＰＣＴ公開公報ＷＯ９０／１０２７３号から公知である。この 公知の方法では、カラーカメラから送出され、デジタル化された画像信号が画素 ごとに所定の色等級に従って分類される。カラー画像計算器は、植物の画像を背 景画像から、画素の所定の色等級への所属性に基づいて分割する。そして計算器 は植物の分割画像から幾何学的形状フィーチャーおよび色フィーチャーを検出す る。これらのフィーチャーは品質尺度を導出するために評価される。植物の高さ も品質管理および分類に対する重要なフィーチャーである。植物の高さの検出は この公知の方法では、相互に所定の間隔で配置された２つのカラーカメラのステ レオ構成によって行われる。これらのカメラのデジタル化されて画像メモリに記 憶されたステレオ画像がステレオ三角法に従って評価される。

植物の高さの検出を２つのカラーカメラによるステレオ構成によって行うことは まさに高価であり、計算時間から見ても要求度の高い方法である。この方法は、 植物を上方からしか撮影できない場合のみ必要なものである。しかし多くの場合 、例えば植物が個別に観察ステーションを通過する場合、植物を側方から撮影し 、この側方撮影から植物の高さを検出することが可能であろう。しかし通常は、 上方からのカラー撮影による植物の色フィーチャーの検出を省略することはでき ない。そのため次のような問題が生じる。すなわち、側方撮影に対して必要な照 明の光が上方のカラーカメラへ反射され、色評価が障害される。同様に、上方の カラー撮影に必要な照明の光が側方撮影に使用されるカメラに反射され、その機 能が損なわれる。

本発明の課題は、植物のフィーチャーの検出を異なる方向からの撮影によって行 うことができ、その際に相互を妨害しないような、植物の光学的品質管理および ／または分類方法および装置を提供することである上記課題は本発明の方法によ り、電子ハーフトーンカメラにより、所属の第２の照明源により照明された植物 を第１の撮影方向とは異なる第２の撮影方向で撮影し、ハーフトーンカメラから 送出された電気画像信号を画素ごとにデジタル化し、撮影したハーフトーン画像 のデジタル画像信号をハーフトーン画像計算器により植物のフィーチャーの検出 のために評価し、前記フィーチャーは第１の撮影方向から撮影したカラー画像か らは得ることのできないものであるように構成して解決される。

電子カラーカメラによる、植物の自動光学的品質管理および／または分類装置は 、電子カラーカメラと、該電子カラーカメラに配属された第１の照明源と、カラ ー画像計算器とを有する、植物の光学的自動品質管理および／または分類装置で あって、前記電子カラーカメラは、植物のカラー画像を第１の撮影方向で撮影す るように構成されており、前記カラー画像計算器は、カラーカメラから送出され た電気画像信号を評価するためのものである装置において、電子ハーフトーンカ メラと、該電子ハーフトーンカメラに所属する第２の照明と、ハーフトーン画像 計算器とが設けられており、前記電子ハーフトーンカメラは同じ植物のハーフト ーン画像を、第１の撮影方向とは異なる第２の撮影方向で撮影し、前記ハーフト ーン画像計算器は、ハーフトーンカメラから送出された電気画像信号を評価する ためのものであるように構成される。

カラーカメラは、公知の方法では植物を上方から撮影するから、本発明により設 けられたハーフトーンカメラは有利にはこれが植物を側方から撮影するように配 置する。ハーフトーンカメラから発生しデジタル化された画像信号は次に、植物 の高さ検出および上方からのカラー撮影からは得ることのできない植物の別のフ ィーチャーの検出のために評価することができる。

本発明の方法は、植物の品質判定のための基準の検出も、カラーカメラにより撮 影されたカラー画像から得られるフィーチャーをハーフトーンカメラにより撮影 されたハーフトーン画像から得られるフィーチャーと組み合わせることにより可 能にする。

異なる撮影方向で行われる撮影相互の間の妨害または障害は、本発明によりカラ ーカメラのハーフトーンカメラとの異なる特性によって回避することができる。

このことは、各カメラをこれらが他方のカメラに配属された照明源から発する光 に対して不感であるように構成して行われる。カラーカメラに配属される照明源 は通常は白色光源でなければならないから、有利には第２の照明源をそのスペク トルがカラーカメラの感度領域外にある狭帯域の光源とし、ハーフトーンカメラ をこれが第２の照明源の狭帯域スペクトル領域でだけ感度を有するように構成す るのである。例えば第２の照明源の狭帯域スペクトルは赤外線領域近傍におくこ とができる。

相互妨害を回避するための本発明の別の手段では、２つの照明源を交互に投入接 続し、植物の撮影をそれぞれ１つのカメラによって当該カメラに所属する照明だ けが投入接続される時間間隔で行うのである。

本発明の別の特徴および利点を図面に基づき実施例で説明する。

図１は、本発明による植物の光学的品質管理および／または分類のための装置の 概略図、 図２は、図１の装置の変形実施例の概略図、図３は、図２の装置で使用される信 号の線図である図１は、鉢植え植物の色分類および高さ選別のための装置１０の 概略図である。鉢植え植物（１２とその鉢が１４で示されている）は搬送装置１ ６により順番に個別に装置１０を通り抜ける。図１では運動方向は図平面に対し て垂直である。装置１０は電子カラーカメラ２０を有し、このカメラは各植物の 画像を上方から垂直に撮影することができるように配置されている。

そのために植物は有利には白色光照明源２２によって上方から照明される。植物 の均質な照明を得るために、白色光照明源２２を例えば図１に示すようにリング 状に構成し、カラーカメラ２０が植物の画像を白色光照明源２２の中央関口部を 通して撮影するように配置することができる。カラーカメラ２０は公知のように 撮影された画像を電気面（象信号に変換し、これをその出力側２０ａに送出する 。この画像信号はＡＤ変換器２４で画素ごとにデジタル化され、カラー画像計算 器２６に供給される。カラー画像計算器２６はデジタル化された画像信号を、植 物の色分類のためのプログラム制御されるカラー画像処理によって評価する。有 利にはその後、完全にデジタル化された植物のカラー画像がカラー画像計算器２ ６に含まれる画像メモリに記憶される。この評価は公知の方法、例えばＰＣＴ公 開公報第ＷＯ９０／１０２７３号に記載されている方法に従って行うことができ る。これについてはここでは詳細に説明しない。

装置１０はさらに電子ハーフトーンカメラ３０を有する。ハーフトーンカメラは 各植物の画像を側方から撮影できるように、すなわちカラーカメラ２０の撮影方 向に対し垂直かつ植物の運動方向に対して垂直に配置される。このために植物１ ２は狭帯域の照明源３２によって平面的に照明される。ハーフトーンカメラ３０ は公知のように撮影した画像を電気ハーフトーン画像信号に変換し、その出力側 ３０ａに送出する。このハーフトーン画像信号はアナログ／デジタル変換器３４ で画素ごとにデジタル化され、ハーフトーン画像計算器３６に供給される。有利 にはハーフトーンカメラ３０には狭帯域の光フィルタ３８が前置され、この光フ ィルタの通過領域は狭帯域照明源３２のスペクトル領域に同調されている。これ によりハーフトーンカメラ３０はこの照明源から発する光にだけ応答する。

図１では、狭帯域照明源３２はハーフトーンカメラ３０かも見て植物の後側に配 置されている。これによリハーフトーンカメラ３０は植物の透過画像を撮影する 。選択的に照明源３２は、植物に対してハーフトーンカメラ３０と同じ側に配置 することもできる。この場合ハーフトーンカメラ３ｏは植物の反射画像を撮影す る。照明源３２はこの場合、例えば白色光照明源２２と同じようにリング状に構 成することができる。この場合、照明源とは反対側の植物の背景は有利には、照 明源のスペクトル領域で非常に強くまたは非常に弱く反射する材料により構成す る。背景が非常に強く反射する場合、植物の画像は明るい背景に暗く現れ、また 背景が非常に弱く反射する場合、植物の画像は暗い背景に明るく現れる。

カメラ２０と３０に対しては、光学画像を電気画像信号に変換することのできる 公知のすべての電子カメラ、例えばテレビジョンカメラまたはビデオカメラを使 用することができる。有利にはこれらのカメラは、植物の平面画像をそれぞれ撮 影するマトリクスカメラ、例えばＣＣＤマトリクスカメラである。画像撮影は図 １に概略的に示した近接センサ４０により、鉢植え植物がカメラに対して正しい 装置位置に達したときトリガすることができる。選択的に２つのカメラまたはま たはそのうちの１つを走査線カメラとして構成し、これの走査線方向が植物の搬 送方向に対して垂直に、すなわち図１では図平面に対して平行に延在するように 配列することができる。画像撮影はこの場合、運動す特表千７−５０２４０８　 （５，） る植物の多数の走査線掃引を読出すことにより行われ、植物は画像計算器により マトリクス画像に合成される。

反対に、植物を撮影の間静止され、走査線カメラを植物に対して通過させること もできる。このような画像形成法は、デジタル画像処理の当業者には公知である （例えば、Ａｈｌｅｒｓ／Ｗａｒｎｅｋｋｅ著：１ｎｄｕｓｔｒｉｅｌｌｅ　Ｂ ｉｌｄｖｅｒａｒｂｅｉｔｕｎｇ、Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ　１９９１参 照）。

有利には狭帯域照明源３２はＮＩＲ照明源（近赤外線）からなる。このようなＮ ＩＲ照明源は安価であり、例えばビデオ監視装置用に製作されている。この場合 、光フィルタ３８はＮＩＲ通過フィルタ（いわゆるロングパスフィルタ）として 構成される。カラーカメラ２０に通常備えられているカラーフィルタはＮＩＲ領 域を除去するから、狭帯域照明源３２から発せられる光の不可避の反射は（ビー ムＡにより示されている）カラー撮影を妨げない。反対にハーフトーンカメラ３ ０は、ＮＩＲ通過フィルタ３８が前置されているので白色光に対して不感である 。したがって上方からの散乱光（ビームＢにより示されている）は側方撮影を妨 げない。さらにＮＩＲ照明を使用することは、通常のＣＣＤカメラはこの領域で とくに感度が高いから有利である。

ハーフトーンカメラ３０により撮影された植物の側面を表すハーフトーン画像か ら、植物の品質管理および分類に対して有用なフィーチャーが検出される。この フィーチャーは上方からのカラー撮影からは、または単独では得ることができな い。このようなフィーチャーはまず第１に植物の高さである。高さ検出を行うた めには例えば、ハーフトーン画像計算器３６の画像メモリに記憶されているデジ タルハーフトーン画像におけるデジタル画像処理によって、背景のハーフトーン と植物のハーフトーンとの間の一番有意なコントラスト跳躍を上側の画像縁から 始めて検出すればよい。

この画線とつねに一定の既知の画線（ここには搬送装置１６の載置面がある）と の間隔から既知の結合尺度を考慮して植物と鉢の全長が得られ、鉢の高さが既知 であれば全長と鉢の高さとの差から植物の高さが得られる。鉢の高さが変わる場 合は、下側から始めて鉢の高さを検出することができる。これは鉢のハーフトー ンと背景のハーフトーンとの間のコントラスト跳躍をデジタル画像処理法により 検出するのである。

さらにハーフトーン画像計算器３６に記憶された側面のハーフトーン画像から検 出されたフィーチャーを、カラー画像計算器に記憶された上面のカラー画像から 検出されたフィーチャーと結合することができる。これは１つのカメラだけでは 得ることのできない植物の特性を検出するためである。例えば、植物に所属する ハーフトーンを備えた画素をハーフトーン画像計算器で計数することにより植物 の側方から投影面が検出され、植物に所属する色等級を備えた画素をカラー画像 計算器２６で計数することにより植物の上方からの投影面を検出することができ る。これら２つの値を結合することにより、樹冠の容積に対する近似値を得るこ とができる。結合は例えば、２つ値の重み付けした積形成とすることができる。

異なる方向から撮影される植物の画像の検出および評価に対する重要な条件は、 各撮影方向に対して必要な照明が他方の方向での撮影を妨げないことである。

図１の構成ではこの条件はつぎのようにして満たされる。すなわち、２つの撮影 方向に対して使用される照明源が異なるスペクトル領域にある光を放射し、２つ のカメラがそれぞれ所属の照明源から発した光にだけ応答して他方の照明源から 発する光には応答しないように構成されている。図２は図１の構成の変形実施例 を示す。この実施例では前記の条件を、２つの撮影方向に対して使用される照明 源が同じスペクトル領域にある光を放射しても満たすことができる。

図２では、図１の構成に相応する構成部材には図１と同じ参照符号が付しである 。これらの構成部材については再度説明しない。付加的に制御回路４２が設けら れている。この制御回路は近接センサ４０から送出された信号を受信し、制御信 号をカメラ２０．３０および照明源２２．３２に送出する。この構成の作用を図 ３に基づいて説明する。図３は近接センサ４０から送出された信号Ｓ４０、制御 回路４２から照明源２２と３２に送出された制御信号３２２．３３２および制御 回路４２からカメラ２０と３０に送出された制御信号Ｓ２０．Ｓ３０の時間線図 を示す。

信号５４０をそれぞれ受信すると、これは植物が正しい撮影位置に達したことを 指示し、制御回路４２はまず制御信号Ｓ２２を上方からのカラー撮影に対する照 明源２２に送出する。照明源２２は光を、制御信号５２２が高信号レベルを有す る持続時間の間だけ放射する。この持続時間の間に、制御回路４２は制御信号Ｓ ２０をカラーカメラ２０に送出する。これによりカラーカメラはカラー画像を照 明源２２から発した光により撮影する。一方照明源３２は遮断されている。照明 源２２が消灯して初めて、制御回路４２は制御信号３３２を照明源３２に、また 制御信号３３０をハーフトーンカメラ３０に送出する。ハーフトーンカメラはハ ーフトーン画像を照明源３２から発している光によってだけ撮影する。このよう にして２つの時間的に相互にずらしたストロボスコープ照明による画像撮影が２ つの照明源２２と３２によって得られる。各撮影の際には１つの照明源と１つの カメラだけが作動されるから、撮影が他方の照明源から発した光ビームの反射に より妨げられることはない。たとえカメラが他方の照明源から発した光のスペク トル領域に対して感度があっでも妨げられることはない。したがって図２の構成 では、図１の構成でハーフトーンカメラ３０に前置された光フィルタ３８を省略 することができる。

植物が２つの撮影の間の時間でさらに移動する場合、植物がいずれの撮影の際に も正しい撮影位置に存在するように２つのカメラを相応の区間だけ相互にずらす ことができる。

カラーカメラ２０、所属のカメラ電子回路および／または照明源２２の固有特性 のドリフトによって、所定の対象色に対して得られるカラーベクトルが撮影され たカラー画像において色分類の基礎とする元のカラーベクトルから偏差すること がある。このような偏差により引き起こされる植物の品質管理および分類の際の 誤差を回避するため、有利にはカラーカメラ２０の視野に色基準を配置して、こ れを各カラー画像の撮影の際に一緒に撮影するのである。色基準に相応する元の カラーベクトルはカラー画像計算器２６に記憶しておく。カラー画像の各撮影の 際に、色基準に相応する画像領域のカラーベクトルを記憶されているカラーベク トルと比較し、偏差が検出された場合は、全カラー画像のカラーベクトルにこの 偏差を除去するような補正を施す。各カラーベクトルを変化させる補正量は最も 簡単な場合、色基準に対して得られたカラーベクトルと相応に記憶されているカ ラーベクトルとの差とすることができる。

相応にして、ハーフトーンカメラ３０、所属のカメラ電子回路および／または照 明源３２の固有特性のドリフトに起因するハーフトーンの偏差も補正することが できる。このためにハーフトーンカメラ３０の視野にハーフトーン基準を配置し 、これをハーフトーン画像の各撮影の際の一緒に撮影するのである。ハーフトー ン基準に所属する元のハーフトーンはハーフトーン画像計算器３６に記憶されて おり、ハーフトーン画像の各撮影の際に、ハーフトーン基準に対して得られたハ ーフトーンと比較される。この比較により偏差が生じていれば、この偏差を除去 するような補正を全ハーフトーン画像のハーフトーンに施す。各ハーフトーンを 変化させる補正量は最も簡単な場合ここでも、ハーフトーン基準に対して得られ たハーフトーンと相応に記憶されているハーフトーンとの差とすることができる 。

補正書の翻訳文提出書（特許法第１８４条の８）平成　６年　７月　１日

Claims (21)

【特許請求の範囲】
1. １．電子カラーカメラにより、所属の第１の照明源により照明された植物の画像 を第１の撮影方向で撮影し、 カラーカメラから送出された、撮影したカラー画像の電気画像信号を画素ごとに デジタル化し、デジタル面像信号をカラー画像計算器により評価する、植物の光 学的自動品質管理および／または分類方法において、 電子ハーフトーンカメラにより、所属の第２の照明源により照明された植物を第 １の撮影方向とは異なる第２の撮影方向で撮影し、 ハーフトーンカメラから送出された電気画像信号をデジタル化し、 撮影したハーフトーン画像のデジタル画像信号をハーフトーン画像計算器により 植物のフィーチャーの検出のために評価し、 前記フィーチャーは第１の撮影方向から撮影したカラー画像からは得ることので きないものであることを特徴とする方法。
2. ２．カラーカメラは植物を上方から、ハーフトーンカメラは植物を側方から撮影 する請求の範囲第１項記載の方法。
3. ３．ハーフトーンカメラから送出されたデジタル画像信号を植物の高さ検出のた めに評価する請求の範囲第２項記載の方法。
4. ４．植物の高さを、上側画像縁から始めて、植物の画像と背景の画像との間の第 １の有意なコントラスト跳躍から検出する請求の範囲第３項記載の方法。
5. ５．鉢植え植物の場合、鉢植え植物の高さを、上側鉢縁部の画像と背景の画像と の間のコントラスト跳躍から検出する請求の範囲第３項または第４項記載の方法 。
6. ６．植物の品質判定のための基準を、カラーカメラにより撮影されたカラー画像 から得られたフィーチャーと、ハーフトーンカメラにより撮影されたハーフトー ン画像から得られたフィーチャーとの結合により検出する請求の範囲第１項から 第５項までのいずれか１項記載の方法。
7. ７．カラーカメラにより撮影されたカラー面像から樹冠の上方からの投影面を検 出し、ハーフトーンカメラにより撮影されたハーフトーン画像から樹冠の側方か らの投影面を検出し、 樹冠の容積に対する近似値を２つの投影面の重み付けした積から形成する請求の 範囲第６項記載の方法。
8. ８．カラーカメラの視野に色基準を配置して、これを各カラー画像の撮影の除に 一緒に撮影し、色基準に相応する正しいカラーベクトルをカラー面像計算器に記 憶し、 撮影したカラー画像の、色基準に相応する画像領域のカラーベクトルを偏差の検 出のため、記憶されているカラーベクトルと比較し、 撮影されたカラー画像のカラーベクトルを偏差を除去するように補正する請求の 範囲第１項から第８項までのいずれか１項記載の方法。
9. ９．ハーフトーンカメラの視野にハーフトーン基準を配置して、これを各ハーフ トーン画像の撮影の際に一緒に撮影し、 ハーフトーン基準に相応する正しいハーフトーンをハーフトーン画像計算器に記 憶し、 撮影したハーフトーン画像の、ハーフトーン基準に相応する画像領域のハーフト ーンを偏差の検出のため、記憶されているハーフトーンと比較し、撮影されたハ ーフトーン画像のハーフトーンを偏差を除去するように補正する請求の範囲第１ 項から第９項までのいずれか１項記載の方法。
10. １０．電子カラーカメラと、該電子カラーカメラに配属された第１の照明源と、 カラー面像計算器とを有する、植物の光学的自動品質管理および／または分類装 置であって、 前記電子カラーカメラは、植物のカラー画像を第１の撮影方向で撮影するように 構成されており、前記カラー画像計算器は、カラーカメラから送出された電気画 像信号を評価するためのものである装置において、 電子ハーフトーンカメラと、該電子ハーフトーンカメラに所属する第２の照明と 、ハーフトーン画像計算器とが設けられており、 前記電子ハーフトーンカメラは同じ植物のハーフトーン画像を、第１の撮影方向 とは異なる第２の撮影方向で撮影し、 前記ハーフトーン画像計算器は、ハーフトーンカメラから送出された電気画像信 号を評価するためのものであることを特徴とする装置。
11. １１．各カメラは、他方のカメラに配属された照明源から発した光に対しては不 感であるように構成されている請求の範囲第１０項記載の装置。
12. １２．第１の照明源は白色光源であり、第２の照明源は狭帯域光源であり、当該 狭帯域光源のスペクトルはカラーカメラの感度領域外にありハーフトーンカメラ は、第２の照明源の狭帯域スペクトル領域においてだけ感度を有するように構成 されている請求の範囲第１１項記載の装置。
13. １３．第２の照明源の狭帯域スペクトルは近赤外線領域にある請求の範囲第１２ 項記載の装置。
14. １４．ハーフトーンカメラには光学的フィルタが前置されており、 該フィルタの通過領域は第２の照明源のスペクトル領域に同調されている請求の 範囲第１２項または第１３項記載の装置。
15. １５．制御回路が設けられており、該制御回路は２つの照明源を交互に投入接続 し、各カメラによる植物の撮影を当該カメラに配属された照明源がそれぞれ投入 接続されている時間間隔でトリガする請求の範囲第１０項記載の装置。
16. １６．２つのカメラのうち少なくとも１つはマトリクスカメラである請求の範囲 第１０項から第１５項までのいずれか１項記載の装置。
17. １７．２つのカメラの少なくとも１つは走査線カメラであり、 順次連続する多数の画像走査線を植物とカメラとの相対運動の間に撮影すること によって画像撮影を行う請求の範囲第１０項から第１５項までのいずれか１項記 載の装置。
18. １８．カメラは固定されており、植物は撮影の間、連続的にカメラの前を通過す る請求の範囲第１７項記載の装置。
19. １９．植物は撮影の間静止し、カメラは撮影の間連続的に植物を通過移動する請 求の範囲第１７項記載の装置。
20. ２０．ハーフトーンカメラに配属された第２の照明源は植物をハーフトーンカメ ラの反対側から照明し、ハーフトーンカメラは個物の通過面像を撮影する請求の 範囲第１０項から第１９項までのいずれか１項記載の装置。
21. ２１．ハーフトーンカメラに配属された第２の照明源は植物をハーフトーンカメ ラの撮影方向から照明し、ハーフトーンカメラは植物の反射画像を撮影し植物の 反対側の背景は植物の反射特性とは大きく異なる反射特性を有する請求の範囲第 １０項から第１９項までのいずれか１項記載の装置。