JPH1051668A - 農業用ロボットの撮像装置 - Google Patents

Abstract

(57)【要約】 【目的】視覚センサとしてのＣＣＤカメラの前面に２種
類の干渉フィルタを瞬時に入れ替えて、画像濃度値の異
なる２種類の画像を連続して入力可能とする。 【構成】作業対象物を認識する２波長方式の視覚センサ
１としてのＣＣＤカメラ２の前面に、透過によって画像
濃度値が変化する２種類の干渉フィルタ３ａ，３ｂを瞬
時に入れ替え可能に配置すると共に、この入れ替えた各
干渉フィルタ３ａ，３ｂを介して連続して画像入力を行
わせる農業用ロボットの撮像装置の構成とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、農業用ロボット
の撮像装置に関し、視覚センサによる作業対象物の撮像
時に、２種類の干渉フィルタの透過により変化する２つ
の濃度値画像の演算によって作業対象物を識別するもの
等の技術分野に属する。

【０００２】

【従来の技術、及び発明が解決しようとする課題】農業
用ロボットにおいて、上下方向にスライド移動して撮像
可能な２波長方式の視覚センサとしてのＣＣＤカメラを
設けるものでは、この可視光領域から近赤外領域までの
感度をもつＣＣＤカメラの前面に配置した分光反射特性
の違う２種類の干渉フィルタを介して作業対象物を画像
入力させることにより、この２種類の干渉フィルタを各
々透過した２つの濃度値画像を演算し、この演算による
演算画像を２値化して作業対象物を識別するものであ
る。

【０００３】しかし、従来では、この２種類の干渉フィ
ルタによる撮像の際に、この２種類の干渉フィルタを入
れ替えて撮像した２つの入力画像の間には時間的な間隔
が生じるため、太陽光の変化に伴う光学的な問題と、２
種類の干渉フィルタの入れ替えに伴う物理的な問題等が
存在しており、これらの問題を調整して同一条件の基に
画像入力させることは極めて困難なことであった。

【０００４】そこでこの発明は、ＣＣＤカメラの前面に
２種類の干渉フィルタを瞬時に入れ替え可能に配置す
る。

【０００５】

【課題を解決するための手段】この発明は、作業対象物
を認識する２波長方式の視覚センサ１としてのＣＣＤカ
メラ２の前面に、透過によって画像濃度値が変化する２
種類の干渉フィルタ３ａ，３ｂを瞬時に入れ替え可能に
配置すると共に、この入れ替えた各干渉フィルタ３ａ，
３ｂを介して連続して画像入力を行わせる農業用ロボッ
トの撮像装置の構成とする。

【０００６】

【作用、及び発明の効果】上記の構成により、農業用ロ
ボットの視覚センサ１において、作業対象物を撮像する
可視光領域から近赤外領域までの感度をもつＣＣＤカメ
ラ２の前面に、例えば、２種類の波長の異なる分光反射
特性の干渉フィルタ３ａ，３ｂを組み合わせてモータ等
により回転させることにより、瞬時に入れ替わる２種類
の干渉フィルタ３ａ，３ｂが、各々ＣＣＤカメラ２の前
面で合致する位置をフィルタ位置センサ等により検出
し、この検出時に各干渉フィルタ３ａ，３ｂを透過して
各々２種類の濃度値画像を連続して入力することができ
る。

【０００７】このように、分光反射特性の違う２種類の
干渉フィルタ３ａ，３ｂがＣＣＤカメラ２の前面で瞬時
に入れ替わるときに、この位置を検出して各干渉フィル
タ３ａ，３ｂを透過して各々２種類の濃度値画像を連続
して入力することができるから、この２つの入力画像の
間には、太陽光等の変化に伴う光学的な差異や、各干渉
フィルタ３ａ，３ｂの入れ替え等に伴う物理的な差異が
殆ど発生することがなく、同一条件に極めて近い状態で
画像入力が可能であり、この濃度値画像を演算した演算
画像を２値化して作業対象物を識別することができる。

【０００８】

【実施例】以下に、この発明の実施例を、作業対象物と
しての果菜類の収穫を行う農業用ロボットについて図面
に基づき説明する。車台９の下側前後位置に左右一対の
前輪１０ａと後輪１０ｂを各々配設し、この前輪１０ａ
と後輪１０ｂの４輪に対し各別に車輪駆動モータ１１を
連動連結すると共に、進行方向に対して操向旋回自在に
支架し、この前・後輪１０ａ，１０ｂを各別に舵取り制
御するための操向角度を検出する操向角度センサ１２を
各々設け、該前・後輪１０ａ，１０ｂの間に動力電源と
してのバッテリ１３ａを格納して走行装置１３を構成す
る。

【０００９】該車台９上の前部位置に、この農業用ロボ
ットの操作制御を行うコントローラ等を内装した前カバ
ー１４を設け、この前カバー１４の後方に、果菜類とし
てのキュウリの画像を撮像するＣＣＤカメラ２による視
覚センサ１と、この視覚センサ１の撮像によりキュウリ
を把持摘果するマニピュレータ５とを装架した、略円筒
形状でその一部を直角状に切り欠いだ作業旋回胴１５を
旋回可能に設けると共に、この作業旋回胴１５の後方側
となる車台９上の後部位置に後カバー１６を設け、この
後カバー１６内に、収穫したキュウリを収納するための
キャリーの格納と放出を行うキャリー制御部１６ａを配
設して作業装置１７を構成する。なお、この後カバー１
６の後側面にロボットの操作パネル１７ａを配設する。

【００１０】該マニピュレータ５は多関節によって人間
の腕と手先の動きに近い作用を行わせるため、その基部
側から先端側にかけて各々ショルダ関節部Ｓ，アーム関
節部Ａ，リスト関節部Ｗ等の各関節部を相互に連結配置
して構成する。該ショルダ関節部Ｓは、マニピュレータ
５を上下回動させるためのショルダ関節にサーボモータ
によるショルダモータ１８を組み込み、アーム関節部Ａ
は、２段階に伸縮させる伸縮直動アーム６にサーボモー
タによるアームモータ１９を組み込み、リスト関節部Ｗ
は、伸縮直動アーム６の先端部近傍に内装支承したリス
トピッチ関節軸７の一端部にキュウリを把持摘果するエ
ンドエフェクタ８を、ピッチ回動又はロール回動させる
ためのサーボモータによるリストピッチモータ２０又は
リストロールモータ２１を組み込み、各々連動連結して
構成する。

【００１１】該マニピュレータ５を水平旋回させるサー
ボモータによるウエストモータ２５を、該ショルダ関節
部Ｓが装着されるベース部５ａに組み込み連動連結して
設ける。このベース部５ａの下面にキュウリを数個収納
可能で、キュウリの摘果時にエンドエフェクタ８の位置
までスライド延出すると共に、その底面を開閉可能に設
けた補助収納ケース４を、ラックとピニオンにより駆動
するケーススライドモータ４ａを該収納ケース４上面に
配置して構成する。

【００１２】該マニピュレータ５及び補助収納ケース４
を、上下方向にスライド移動させるボールネジ等からな
るスライダ２２を前記作業旋回胴１５の直角状の切り欠
き部内壁面に沿って回動可能に支承すると共に、このス
ライダ２２の回動により上下移動可能にスライドガイド
２３を軸承して設ける。このスライドガイド２３にマニ
ピュレータ５のベース部５ａを、作業旋回胴１５の直角
状の切り欠き部外壁面に沿って設けた２条の摺動溝１５
ａを貫通して結合すると共に、スライダ２２を回動させ
るためのサーボモータによるスライドモータ２４をスラ
イダ２２の下端部に連動連結し、該作業旋回胴１５と共
に前記視覚センサ１及びマニピュレータ５を略１８０度
旋回させる車台モータ９ａを、前記車台９の作業旋回胴
１５の中心位置に配置し連動連結して構成する。

【００１３】該マニピュレータ５のエンドエフェクタ８
には、キュウリを把持する把持部８ａと、キュウリを検
出する果実検出センサ８ｂと、検出したキュウリを把持
する把持モータ８ｃと、把持したキュウリの果柄を検出
する果柄検出センサ８ｄと、この検出のための果柄検出
スライドモータ８ｅと、検出した果柄を切断する切断モ
ータ８ｆとを設けて構成する。

【００１４】前記視覚センサ１として干渉フィルタ３を
回動可能に装着したＣＣＤカメラ２を、上下方向にスラ
イド移動させるボールねじ等からなるスライダ２６を、
該作業旋回胴１５の直角状の切り欠き部内壁面に沿って
回動可能に支承すると共に、このスライダ２６の回動に
より上下移動可能にスライドガイド２７を軸承して設け
る。このスライドガイド２７の上面部に、マニピュレー
タ５の摺動溝１５ａを有する外壁面に対し略直角位置に
変位する外壁面に沿って設けた摺動溝１５ｂを貫通して
視覚センサ１の係合アーム１ａを係合させると共に、ス
ライダ２６を回動させるためのサーボモータによるスラ
イドモータ２８をスライダ２６の下端部に連動連結し、
該摺動溝１５ｂには視覚センサ１の姿勢を保持させて摺
動可能なガイドレールを設けて構成する。

【００１５】制御機構として、図９に示す如く、前記走
行装置１３を制御する走行部コントローラ２９ａと、視
覚センサ１を制御する視覚部コントローラ２９ｂと、マ
ニピュレータ５を制御する摘果部コントローラ２９ｃ
と、これらの各コントローラ２９ａ，２９ｂ，２９ｃを
接続して統括制御するメインコントローラ２９とを前記
前カバー１４に内装して構成する。

【００１６】該メインコントローラ２９には、前記操作
パネル１７ａ及び安全装置１４ａ等を接続する。該走行
部コントローラ２９ａは、前記車輪駆動モータ１１，操
向角度センサ１２，キャリー制御部１６ａ等を制御可能
に接続して構成する。該視覚部コントローラ２９ｂは、
図１０に示す如く、ＯＣＲ３０から信号を受けた駆動パ
ルス発生回路３１からドライバ３２を介してレシーバ３
３へ、このレシーバ３３からＣＣＤカメラ２へ接続す
る。該カメラ２の駆動により検出された信号をビデオ信
号に変換する信号処理回路３４とカメラ２とを接続し、
この信号処理回路３４からＡ／Ｄ変換器３５を経て画像
メモリ３６へ接続すると共に、この画像メモリ３６と高
速画像処理を行う画像処理回路３７とＣＰＵ３８とを相
互通信可能に接続する。該ＣＰＵ３８からビデオ信号を
基にランプ発光タイミングとＡ／Ｄ変換器３５の開始タ
イミングを設定するタイミング回路３９へ接続し、この
タイミング回路３９とＡ／Ｄ変換器３５、及びランプ駆
動回路４０とを接続すると共に、該タイミング回路３９
へ信号処理回路３４を接続させ、ランプ駆動回路４０を
介してハロゲンランプ４１を駆動させるべく接続し、フ
ォトセンサ４７からＡ／Ｄ変換を経てＣＰＵ３８へ接続
して構成する。

【００１７】該摘果部コントローラ２９ｃは、図１１に
示す如く、サーボモータとしての前記ショルダモータ１
８，アームモータ１９，リストピッチモータ２０，リス
トロールモータ２１，スライドモータ２４，ウエストモ
ータ２５，スライドモータ２８を各々コントロールドラ
イバ４２を介して接続すると共に、前記果実検出センサ
８ｂ，把持モータ８ｃ，果柄検出センサ８ｄ，果柄検出
スライドモータ８ｅ，切断モータ８ｆを各々接続して構
成する。なお、該各サーボモータ１８，１９，２０，２
１，２４，２５，２８には各々エンコーダ及び原点検出
センサを組み合わせて設ける。

【００１８】前記視覚センサ１は図１に示す如く、円筒
状の外装ケース４３の前面内側に、可視光領域から近赤
外領域における５５０ｎｍの波長による濃度値画像を撮
像可能な干渉フィルタ３ａと、８５０ｎｍの波長による
濃度値画像を撮像可能な干渉フィルタ３ｂとを折半分割
により形成した円盤状の干渉フィルタ３を配置し、この
干渉フィルタ３の軸心をフィルタ駆動軸４４により後方
側に位置するフィルタモータ４５に連動連結し、該フィ
ルタ駆動軸４４の下側にＣＣＤカメラ２を取り付け、該
外装ケース４３の前面をＣＣＤカメラ２のレンズ部分の
み撮像孔４３ａを設けて構成する。

【００１９】該フィルタ駆動軸４４の上側に、干渉フィ
ルタ３の回転位置を検出するフォトマイクロセンサ等に
よるフィルタ位置センサ４６を配置し、外装ケース４３
の外周下部側に撮像時の光の強さを検出するフォトセン
サ４７を配置すると共に、外装ケース４３の外周上部側
に光源としての前記ハロゲンランプ４１を取り付けて構
成する。

【００２０】図２に示す如く、これらのＣＣＤカメラ
２，フィルタモータ４５，フィルタ位置センサ４６，フ
ォトセンサ４７，ハロゲンランプ４１等を各々インタフ
ェース４８を介してカメラコントローラ４９に接続して
構成する。農業用ロボットにより作業対象物としてのキ
ュウリの収穫を行うには、走行部コントローラ２９ａに
よる車輪駆動モータ１１や操向角度センサ１２等の制御
により畝溝Ｒに沿って走行を行いながら、傾斜棚Ｃに栽
培された収穫適期のキュウリを、視覚部コントローラ２
９ｂ及び摘果部コントローラ２９ｃの演算により、視覚
センサ１及びマニピュレータ５の上下移動と左右旋回に
よる収穫アプローチを行う。このアプローチによりエン
ドエフェクタ８を自在に駆使して、果実検出センサ８ｂ
の検出により把持モータ８ｃを作用させ、把持部８ａに
よりキュウリを把持し、この把持されたキュウリの果柄
を果柄検出センサ８ｄと果柄検出スライドモータ８ｅに
より検出し、この検出された果柄を切断モータ８ｆを作
用させて切断し摘果を行う。この摘果されたキュウリ
を、キャリーに集納し満杯になった時点でキャリー制御
部１６ａにより地上に放出する。

【００２１】作業旋回胴１５に結合して上下方向にスラ
イド移動可能なマニピュレータ５のベース部５ａ上に、
マニピュレータ５とは各別に上下方向にスライド移動す
る視覚センサ１を係合させることにより、マニピュレー
タ５の伸縮直動アーム６先端部のリストピッチ関節軸７
の軸端において、上下と左右方向に各々略１８０度回動
するエンドエフェクタ８の作業中心軸と、視覚センサ１
におけるＣＣＤカメラ２の視軸とを一致させることがで
きるから、収穫アプローチの方向に狂いを生じることが
ない。

【００２２】前記視覚センサ１による撮像は、フィルタ
モータ４５の駆動によりフィルタ駆動軸４４を介して干
渉フィルタ３を一定回転させ、この回転により２種類の
５５０ｎｍと８５０ｎｍの波長の干渉フィルタ３ａ，３
ｂが交互にＣＣＤカメラ２の前面を通過するから、この
通過位置をフィルタ位置センサ４６により検出し、瞬時
に入れ替わる２種類の干渉フィルタ３ａ，３ｂを透過し
て撮像し、各々２種類の濃度値画像を連続して入力する
ことができる。

【００２３】この入力画像による画像処理は、図３に示
す如く、５５０ｎｍの波長による反射率ではキュウリ・
茎葉とも２０〜３０％と同じ程度の低い値を示している
が、８５０ｎｍの波長による反射率では茎葉５０％程度
に対しキュウリは８０％程度と高い値を示しているか
ら、この反射率による濃度値比率を、 濃度値（８５０）／濃度値（８５０）＋濃度値（５５
０） 上記式により求め、この求めた値に輝度レベル（２５
５）を乗じた演算値によって、図４に示す如き演算画像
を得、この演算画像を２値化した２値画像によってキュ
ウリの認識を的確に行うことができる。

【００２４】また、該２種類の干渉フィルタ３ａ，３ｂ
を透過して撮像した画像入力と同期させてフォトセンサ
４７により光量を測定し、２つの画像間に光学的な差が
ないかどうかを検出することによって、該干渉フィルタ
３ａ，３ｂの瞬時の入れ替えにより連続して画像入力し
ても、２回の画像入力の間に太陽光に変化が起きること
があるから、この２回の画像間に光学的な差があれば画
像入力のやり直しを行い、差がなければ同一条件で画像
入力されたものとして次のステップに移行し、２つの画
像間の演算を行わせる。このように、２回の画像入力の
間に光学的な変化があった場合、入力をやり直すことに
より適正な画像データを得ることができるから、キュウ
リの認識を比較的容易に行うことができる。

【００２５】該視覚センサ１及びマニピュレータ５によ
る収穫作業は、図１２のフローチャートに示す如く、ま
ず、視覚センサ１及びマニピュレータ５は各々初期姿勢
の位置、つまりキュウリを栽培する傾斜棚Ｃの画像を上
下二段に分割（分割段数は任意に設定可）し、その下段
位置において視覚センサ１により画像入力を行う。この
下段の入力画像によるキュウリ認識のための画像処理と
並行して視覚センサ１のみを上方へスライド移動させ、
この下段の画像処理の終了により上段位置において視覚
センサ１により画像入力を行う。

【００２６】この上段の画像入力の終了により、下段の
画像処理の結果、画像エリア内にキュウリがあるときは
下段の収穫アプローチを行い、この下段の収穫アプロー
チと並行して上段の入力画像による画像処理を行い、下
段の収穫の終了により、上段の画像処理の結果、画像エ
リア内にキュウリがあるときはマニピュレータ５を上方
へスライド移動させて上段の収穫アプローチを行う。こ
の上段・下段の収穫アプローチにより収穫されたキュウ
リは補助収納ケース４へ収納する。

【００２７】上段の収穫の終了により、視覚センサ１及
びマニピュレータ５を各々初期姿勢の位置に戻し、作業
旋回胴１５を略１８０度水平回動させるが、この回動時
に補助収納ケース４が、キャリー制御部１６ａのキャリ
ー上方を通過するタイミングを検出し、この検出によ
り、補助収納ケース４に収納されているキュウリを、該
ケース４底面の開放によりキャリー内へ収納する。作業
旋回胴１５の旋回終了に伴い、反対側のキュウリの傾斜
棚Ｃにおける収穫作業を前記の如き要領により実施す
る。

【００２８】このような収穫作業を行うことにより、片
側の傾斜棚Ｃにおいて最盛期にはキュウリが２〜３個収
穫されるから、従来の如く収穫したキュウリを１個ずつ
キャリー内へマニピュレータ５によって収納していたの
では、キュウリの搬送工程だけ収穫時間が長くなること
に比べ、キュウリの搬送時間を１／２〜１／３に短縮す
ることができる。このため、無駄な動作を必要としない
から、時間の短縮と電力消費量の低減を図ることができ
る。

【００２９】また、該視覚センサ１は、このセンサ１の
係合アーム１ａをスライドガイド２７の上面部に係合さ
せており、上方向への移動は作業旋回胴１５のガイドレ
ールに保持させてフリーに移動させ、下方向へは自重に
よって移動させることができるから、従来の如く視覚セ
ンサ１をスライドガイド２７に固定させているもののよ
うに、マニピュレータ５に不具合が発生し暴走した場合
においても衝突により破損するようなことがない。マニ
ピュレータ５の動きに応じてスライドすることが可能で
あるから、視覚センサ１とマニピュレータ５との衝突に
よる両者の位置関係にずれを生じることがなく、マニピ
ュレータ５のエンドエフェクタ８の作業中心軸と視覚セ
ンサ１の光軸とを正確に合わせ直す（専用の治具が必
要）煩わしさもない。このため、多くのセンサのうち最
も高価な視覚センサ１の衝突による破損ロスを防止する
ことができる。

【００３０】なお、この実施例では収穫対象物をキュウ
リに限定して説明したが、本発明の要旨はキュウリ以外
の他の果菜類にも適応できることは勿論である。

【図面の簡単な説明】

【図１】視覚センサの詳細構造を示す正面図と側面図。

【図２】視覚センサの制御関係を示すブロック図。

【図３】キュウリとその茎葉の分光反射特性を示す線
図。

【図４】輝度レベルによる演算画像を示す画像図。

【図５】マニピュレータの伸縮直動アームを伸長した状
態を示す平面図と側面図。

【図６】マニピュレータによりキュウリを摘果把持し伸
縮直動アームを短縮した状態を示す平面図と側面図。

【図７】農業用ロボットの全体を示す側面図。

【図８】農業用ロボットの全体を示す背断面図。

【図９】農業用ロボット全体の制御関係を示すブロック
図。

【図１０】視覚部の制御関係を示すブロック図。

【図１１】摘果部の制御関係を示すブロック図。

【図１２】農業用ロボットの収穫作業手順を示すフロー
チャート。

【図１３】視覚センサによる傾斜棚の下段及び上段での
撮像状態を示す作業図。

【図１４】マニピュレータによる傾斜棚の上段でのキュ
ウリの摘果及び補助収納状態を示す作業図。

【符号の説明】

１． 視覚センサ ２． ＣＣＤカメラ ３ａ． 干渉フィルタ ３ｂ． 干渉フィルタ

Claims (1)

【特許請求の範囲】
1. 【請求項１】作業対象物を認識する２波長方式の視覚セ
   ンサ１としてのＣＣＤカメラ２の前面に、透過によって
   画像濃度値が変化する２種類の干渉フィルタ３ａ，３ｂ
   を瞬時に入れ替え可能に配置すると共に、この入れ替え
   た各干渉フィルタ３ａ，３ｂを介して連続して画像入力
   を行わせる農業用ロボットの撮像装置。