JP7543006B2

JP7543006B2 - 農業用ロボット

Info

Publication number: JP7543006B2
Application number: JP2020109078A
Authority: JP
Inventors: 俊介江戸; 倫祥坂野; 実平岡
Original assignee: Kubota Corp
Current assignee: Kubota Corp
Priority date: 2020-06-24
Filing date: 2020-06-24
Publication date: 2024-09-02
Anticipated expiration: 2040-06-24
Also published as: JP2022006697A

Description

本発明は、農業用ロボットに関する。

従来、特許文献１に開示された農業用ロボットが知られている。
特許文献１に開示された農業用ロボットは、走行体に作物の収穫を行うことが可能なマニピュレータが設けられている。

特開２０１１－２２９４０６号公報

さて、スイカ、メロン、カボチャ等の作物は様々なところで栽培（作付け）されるのが一般的である。ここで、施設内で作物の栽培を行ったときに、作物の生育状態などを把握することが必要である。
本発明は、作物の生育などの把握するためのデータを簡単に収集することができる農業用ロボット及び農業用ロボットの支援システムを提供することを目的とする。

農業用ロボットは、作物の栽培位置に向けて移動可能な走行体と、前記走行体に設けられ、且つ、当該走行体が前記栽培位置の周囲に到達したときに先端側を作物に近づけるこ
とが可能なマニピュレータと、前記マニピュレータの先端側に設けられ且つ前記作物に打撃を与える打撃機構と、前記打撃機構で前記作物を打撃したときの音を集音するマイクとを含む打音センサと、前記マイクで集音した音データを収集する収集装置と、前記走行体の周囲を撮像可能な光学式センサと、を備え、前記走行体が前記作物の栽培位置の周囲に近づくと当該走行体の走行を停止し、当該走行体が停止した状態で前記マニピュレータの先端側を前記作物に近づけた後、当該作物に前記打撃機構による打撃を与えて音データを収集し、当該音データの収集を完了後、前記光学式センサによって得られたセンシングデータに音データを収集していない他の作物が含まれている場合、前記センシングデータに含まれている前記他の作物の栽培位置に向けて前記走行体を移動させる。

農業用ロボットは、作物の栽培位置に向けて移動可能な走行体と、前記走行体に設けられ、且つ、当該走行体が前記栽培位置の周囲に到達したときに先端側を作物に近づけることが可能なマニピュレータと、前記マニピュレータの先端側に設けられ且つ前記作物に打撃を与える打撃機構と、前記打撃機構で前記作物を打撃したときの音を集音するマイクとを含む打音センサと、前記マイクで集音した音データを収集する収集装置と、前記走行体の周囲を撮像可能な光学式センサと、を備え、前記走行体は、前記光学式センサによって得られたセンシングデータに作物が含まれているか否かを判断し、前記センシングデータに前記作物が含まれていると判断した場合、前記作物の栽培位置に向けて移動し、前記作物の栽培位置の周囲に近づくと当該走行体の走行を停止し、当該走行体が停止した状態で前記マニピュレータの先端側を前記作物に近づけた後、当該作物に前記打撃機構による打撃を与えて音データを収集する。
前記収集装置は、前記音データに、前記作物の周囲の音である雑音が含まれている場合は、前記音データに含まれる雑音を除去する。
前記収集装置は、前記作物に打撃を行っていない状況において集音した音に基づいて、前記音データに雑音が含まれているか否かを判断する。
前記収集装置は、前記作物に打撃を行った状況において集音した音に基づいて、前記音データに雑音が含まれているか否かを判断する。

農業用ロボットは、前記センシングデータに含まれる前記作物の大きさと、予め定められた基準フレームの大きさとから相対距離を演算し、前記作物と前記走行体との距離が予め定められた基準距離になるように、前記作物の栽培位置に向けて前記走行体を移動させる制御装置を備えている。

農業用ロボットは、前記収集装置が収集した複数のデータに基づいて、作物の生育状況を推定するモデルを生成するモデル生成部を備えている。
前記モデル生成部は、音データにおける振幅と、周波数と、波形の変化度合いと、前記作物の打撃を行ったときの打音時間と、に基づいて作物の生育状況を推定するモデルを生成する。

前記モデル生成部は、前記打音時間に基づいてグループ分けした音データにより、作物の生育状況として、栽培初期と、栽培中期と、収穫時期である栽培後期と、のいずれか１つであることを推定するモデルを生成する。
前記モデル生成部は、前記作物を収穫する際に前記作物に打撃を行って収集した前記音データの前記打音時間を収穫時期とし、前記打音時間が収穫時期である音データにより、作物の生育状況として、収穫時期であることを推定するモデルを生成する。
前記モデル生成部は、前記収集装置が前記音データを取得する毎に、強化学習を行う。

農業用ロボットは、前記作物を把持することで収穫するロボットハンドと、前記モデルと前記音データとに基づいて、前記打撃を与えた作物が収穫時期であるか否かを判断する時期判断部と、を備え、前記ロボットハンドは、前記時期判断部が収穫時期と判断した場合に前記打撃を与えた作物を収穫し、前記収穫時期と判断しなかった場合に前記打撃を与えた作物を収穫しない。
前記収集装置は、前記音データを記憶する記憶装置、又は、前記音データを外部端末に送信する通信装置である。

本発明によれば、作物の生育などの把握するためのデータを簡単に収集することができる。

農業用ロボットの側面図である。作業姿勢の状態の農業用ロボットの側面図である。機体及びマニピュレータの斜視図である。機体及びマニピュレータの側面図である。走行装置の平面図である。走行装置の側面図である。ロボットハンドの一部拡大図である。農業用ロボットの支援システムの全体図である。音データ（波形Ｈ１０）の一例を示す図である。農業用ロボットにて作物に対して打撃を与える様子を示す図である。撮像画像Ｈ１の一例を示す図である。識別情報及び音データを含む打音情報の一例を示す図である。識別情報、音データ及び打音時間を含む打音情報の一例を示す図である。収穫時の音データ、識別情報及び打音時間（収穫時間）の一例を示す図である。農業用ロボットを施設で走行させたルートを示す図である。農業用ロボットの支援システムの変形例を示す図である。施設園芸の施設の内部の概略図である。施設園芸の施設の平面の概略図である。作物の栽培初期の施設園芸の施設の内部の斜視図である。作物の栽培中期又は後期の施設園芸の施設の内部の斜視図である。撮像画像Ｈ１、作物の画像Ｈ２、基準フレームＦ１０との関係を示す図である。

以下、本発明の一実施形態について、図面を適宜参照しつつ説明する。
図１、図２は、農業用ロボット１を例示している。農業用ロボット１は、図１５～図１８に示すようなハウス等の施設園芸、植物工場等の施設において、栽培される作物２に対して作業（農作業）を行うロボットである。農業用ロボット１は、例えば、スイカ、メロン、カボチャ等の比較的重量のある作物２である重量野菜、果実等に対して作業を行う。

まず、施設園芸の施設（施設園芸施設）を例にとり、施設について説明する。
図１５～図１８に示すように、施設１００は、当該施設１００を構成する構造物として、ハウス１０１と、ハウス１０１の内部に設置された機器１０２とを備えている。
ハウス１０１は、フレーム１１０と、被覆材１１１とを含んでいる。フレーム１１０は
、例えば、Ｉ形鋼、Ｈ形鋼、Ｃ形鋼、角形鋼、丸形鋼等の様々な鋼材を組み合わせて、施設１００の躯体を構成していて、複数の支柱部材１１０Ａと、複数の連結部材１１０Ｂとを含んでいる。図１５～図１７に示すように、複数の支柱部材１１０Ａは、地面等から起立した部材であって、横方向Ｘ１に所定の間隔で設置され且つ縦方向Ｙ１に所定の間隔で設置されている。

連結部材１１０Ｂは、横方向Ｘ１に離れた複数の支柱部材１１０Ａの上端を互いに連結する。また、連結部材１１０Ｂは、縦方向Ｙ１に離れた複数の支柱部材１１０Ａを互いに連結する。
被覆材１１１は、少なくとも太陽光を取り入れ可能な透光性を有する部材であって、合成樹脂、ガラス等で構成されている。被覆材１１１は、例えば、フレーム１１０の外側から当該フレーム１１０の全体を覆っている。言い換えれば、被覆材１１１は、支柱部材１１０Ａの外側、連結部材１１０Ｂの外側に配置されている。

機器１０２は、作物２を栽培する際に使用する様々な機器であって、ハウス１０１内の温度、湿度、空気流動等を調整することができる機器である。詳しくは、機器１０２は、換気扇１０２Ａ、循環扇１０２Ｂ、熱交換装置１０２Ｃ等である。図１５、図１６に示すように、換気扇１０２Ａは、ハウス１０１の出入口１３０側に設置され、外部の空気をハウス１０１内の空気を外部に排出したり、外部の空気をハウス１０１内に取り入れる。

循環扇１０２Ｂは、ハウス１０１内に設置されていて、ハウス１０１内の空気を所定の方向に循環させる。熱交換装置１０２Ｃはハウス１０１の温度を変更可能な装置であり、例えば、ヒートポンプ構成されている。上述した機器１０２は、一例であり、灌水機器、照明機器、噴霧機器などであってもよいし限定されない。
農業用ロボット１は、施設１００内において、栽培場所１０５で栽培された作物２に対して様々な農作業、例えば、作物２の収穫、肥料散布、農薬散布などの農作業を行う。農業用ロボット１は、自立型のロボットである。

図１～図８は、農業用ロボット１を示している。図８は、農業用ロボットの支援システムを示している。
以下、農業用ロボット１及び農業用ロボットの支援システムについて詳しく説明する。以下の説明において、図１、図２に矢印Ａ１で示す方向を前方、矢印Ａ２で示す方向を後方、矢印Ａ３で示す方向を前後方向として説明する。したがって、図２に矢印Ｂ１で示す方向（図１の手前側）が左方であり、図２に矢印Ｂ２で示す方向（図１の奥側）が右方である。また、前後方向Ａ３に直交する水平方向を機体幅方向（図２の矢印Ｂ３方向）として説明する。

図１に示すように、農業用ロボット１は、自律走行する走行体３を有している。走行体３は、機体６と、機体６を走行可能に支持する走行装置７とを有している。
図３、図４に示すように、機体６は、メインフレーム６Ａと、原動機フレーム６Ｂとを有している。メインフレーム６Ａは、機体幅方向Ｂ３で間隔をあけて配置された一対の第１フレーム６Ａａと、各第１フレーム６Ａａの下方に間隔をあけて配置された一対の第２フレーム６Ａｂとを有している。第１フレーム６Ａａと第２フレーム６Ａｂとは、複数の縦フレーム６Ａｃによって連結されている。縦フレーム６Ａｃは、左の第１フレーム６Ａａと左の第２フレーム６Ａｂとの前部間、右の第１フレーム６Ａａと右の第２フレーム６Ａｂとの前部間、左の第１フレーム６Ａａと左の第２フレーム６Ａｂとの後部間、右の第１フレーム６Ａａと右の第２フレーム６Ａｂとの後部間に設けられている。

左の第１フレーム６Ａａと右の第１フレーム６Ａａとは、第１フレーム６Ａａ間に配置された第１横フレーム６Ａｄ～第５横フレーム６Ａｈによって連結されている。第１横フレーム６Ａｄ～第５横フレーム６Ａｈは、第１フレーム６Ａａの前端から後端にわたって前後方向Ａ３で間隔をあけて並行状に配置されている。
第２フレーム６Ａｂの前部同士は、第６横フレーム６Ａｊによって連結され、第２フレーム６Ａｂの後部同士は、第７横フレーム６Ａｋによって連結されている。

原動機フレーム６Ｂは、メインフレーム６Ａの下方側に配置されている。原動機フレー
ム６Ｂは、前フレーム６Ｂａと、後フレーム６Ｂｂと、複数の連結フレーム６Ｂｃと、複数の取付フレーム６Ｂｄとを有している。前フレーム６Ｂａは、上部が、左及び右の第２フレーム６Ａｂの前部に取り付けられている。後フレーム６Ｂｂは、上部が、左及び右の第２フレーム６Ａｂの前部に取り付けられている。複数の連結フレーム６Ｂｃは、前フレーム６Ｂａと後フレーム６Ｂｂの下部間を連結している。複数の取付フレーム６Ｂｄは、連結フレーム６Ｂｃの前後方向Ａ３中央部に固定されている。

図４に示すように、取付フレーム６Ｂｄには、原動機（エンジン）Ｅ１が取り付けられている。原動機Ｅ１には、油圧ポンプＰ１が取り付けられている。油圧ポンプＰ１は、原動機Ｅ１で駆動される。また、原動機フレーム６Ｂには、油圧ポンプＰ１から吐出する作動油を貯留する作動油タンク（図示省略）が搭載されている。
図５に示すように、メインフレーム６Ａ（機体６）には、走行装置７を制御する複数のコントロールバルブ（第１コントロールバルブＣＶ１～第４コントロールバルブＣＶ４）が搭載されている。

図１、図２、図５に示すように、走行装置７は、４輪の車輪８を有する車輪型（４輪型）の走行装置７で構成されている。詳しくは、走行装置７は、機体６前部の左側に配置された第１車輪８Ｌａ（左前輪）と、機体６前部の右側に配置された第２車輪８Ｒａ（右前輪）と、機体６後部の左側に配置された第３車輪８Ｌｂ（左後輪）と、機体６後部の右側に配置された第４車輪８Ｒｂ（右後輪）とを備えている。なお、走行装置７は、少なくとも３輪の車輪８を有する車輪型走行装置で構成されていてもよい。また、走行装置７は、クローラ型の走行装置であってもよい。

走行装置７は、車輪８を支持する車輪支持体９を有している。車輪支持体９は、車輪８に対応する数設けられている。つまり、走行装置７は、第１車輪８Ｌａを支持する第１車輪支持体９Ｌａ、第２車輪８Ｒａを支持する第２車輪支持体９Ｒａ、第３車輪８Ｌｂを支持する第３車輪支持体９Ｌｂ及び第４車輪８Ｒｂを支持する第４車輪支持体９Ｒｂを有している。

図５、図６に示すように、車輪支持体９は、走行フレーム１０と、操向シリンダＣ１と、第１昇降シリンダＣ２と、第２昇降シリンダＣ３と、走行モータＭ１とを有している。
走行フレーム１０は、主支持体１０Ａと、揺動フレーム１０Ｂと、車輪フレーム１０Ｃとを有している。主支持体１０Ａは、機体６に縦軸（上下方向に延伸する軸心）回りに可能に支持されている。詳しくは、主支持体１０Ａは機体６に固定された支持ブラケット１１に上下方向に延伸する軸心を有する第１支軸１２Ａを介して回動可能に支持されている。

図５に示すように、第１車輪支持体９Ｌａを枢支する支持ブラケット１１は機体６の前部左側に設けられ、第２車輪支持体９Ｒａを枢支する支持ブラケット１１は機体６の前部右側に設けられ、第３車輪支持体９Ｌｂを枢支する支持ブラケット１１は機体６の後部左側に設けられ、第４車輪支持体９Ｒｂを枢支する支持ブラケット１１は機体６の後部右側に設けられている。

揺動フレーム１０Ｂは、主支持体１０Ａに上下揺動可能に支持されている。詳しくは、揺動フレーム１０Ｂは、上部が主支持体１０Ａに第２支軸１２Ｂを介して横軸（機体幅方向Ｂ３に延伸する軸心）回りに回動可能に支持されている。
第１車輪支持体９Ｌａ及び第２車輪支持体９Ｒａの揺動フレーム１０Ｂは前上部が主支持体１０Ａに枢支され、第３車輪支持体９Ｌｂ及び第４車輪支持体９Ｒｂの揺動フレーム１０Ｂは後上部が主支持体１０Ａに枢支されている。

車輪フレーム１０Ｃは、揺動フレーム１０Ｂに上下揺動可能に支持されている。詳しくは、車輪フレーム１０Ｃは、揺動フレーム１０Ｂに第３支軸１２Ｃを介して横軸回りに回動可能に支持されている。
第１車輪支持体９Ｌａ及び第２車輪支持体９Ｒａの車輪フレーム１０Ｃは後部が揺動フレーム１０Ｂの後部に枢支され、第３車輪支持体９Ｌｂ及び第４車輪支持体９Ｒｂの車輪フレーム１０Ｃは前部が揺動フレーム１０Ｂの前部に枢支されている。

操向シリンダＣ１、第１昇降シリンダＣ２及び第２昇降シリンダＣ３は、油圧シリンダ
によって構成されている。
操向シリンダＣ１は、機体６と主支持体１０Ａとの間に設けられている。詳しくは、操向シリンダＣ１の一端は、第１フレーム６Ａａの前後方向Ａ３中央部に固定されたシリンダブラケット１４Ａに枢支され、操向シリンダＣ１の他端は、主支持体１０Ａに固定されたシリンダブラケット１４Ｂに枢支されている。操向シリンダＣ１を伸縮することにより走行フレーム１０が第１支軸１２Ａ回りに揺動し、車輪８（第１車輪８Ｌａ～第４車輪８Ｒｂ）の向きを変更する（操向する）ことができる。本実施形態の走行装置７にあっては、各車輪８を独立して操向可能である。

第１昇降シリンダＣ２は、一端が揺動フレーム１０Ｂに枢支され、他端が第１リンク機構１５Ａに枢支されている。第１リンク機構１５Ａは、第１リンク１５ａと第２リンク１５ｂとを有している。第１リンク１５ａの一端は、主支持体１０Ａに枢支され、第２リンク１５ｂの一端は揺動フレーム１０Ｂに枢支されている。第１リンク１５ａと第２リンク１５ｂとの他端は、第１昇降シリンダＣ２の他端に枢支されている。第１昇降シリンダＣ２を伸縮することにより揺動フレーム１０Ｂが第２支軸１２Ｂ回りに上下揺動する。

第２昇降シリンダＣ３は、一端が揺動フレーム１０Ｂの前部に枢支され、他端が第２リンク機構１５Ｂに枢支されている。第２リンク機構１５Ｂは、第１リンク１５ｃと第２リンク１５ｄとを有している。第１リンク１５ｃの一端は、揺動フレーム１０Ｂに枢支され、第２リンク１５ｄの一端は車輪フレーム１０Ｃに枢支されている。第１リンク１５ｃと第２リンク１５ｄとの他端は、第２昇降シリンダＣ３の他端に枢支されている。第２昇降シリンダＣ３を伸縮することにより車輪フレーム１０Ｃが第３支軸１２Ｃ回りに上下揺動する。

第１昇降シリンダＣ２による揺動フレーム１０Ｂの上下揺動と、第２昇降シリンダＣ３による車輪フレーム１０Ｃの上下揺動とを組み合わせることによって車輪８を平行状に昇降させることができる。
走行モータＭ１は、油圧モータによって形成されている。走行モータＭ１は、各車輪８に対応して設けられている。即ち、走行装置７は、第１車輪８Ｌａを駆動する走行モータＭ１と、第２車輪８Ｒａを駆動する走行モータＭ１と、第３車輪８Ｌｂを駆動する走行モータＭ１と、第４車輪８Ｒｂを駆動する走行モータＭ１とを有している。走行モータＭ１は、車輪８の機体幅方向Ｂ３の内方に配置され、車輪フレーム１０Ｃに取り付けられている。走行モータＭ１は、油圧ポンプＰ１から吐出される作動油によって駆動され、正逆転可能である。走行モータＭ１を正逆転させることにより、車輪８の回転を正転方向と逆転方向とに切り換えることができる。

第２車輪支持体９Ｒａ、第３車輪支持体９Ｌｂ及び第４車輪支持体９Ｒｂは、第１車輪支持体９Ｌａを構成する構成部品と同様の構成部品を有している。第２車輪支持体９Ｒａは、第１車輪支持体９Ｌａと左右対称に構成されている。第３車輪支持体９Ｌｂは、第２車輪支持体９Ｒａを機体６の中心を通る上下方向のセンタ軸心回りに１８０°回転させた形態を呈している。第４車輪支持体９Ｒｂは、第１車輪支持体９Ｌａをセンタ軸心回りに１８０°回転させた形態を呈している。

第１車輪支持体９Ｌａに装備された油圧アクチュエータは、第１コントロールバルブＣＶ１によって制御される。第２車輪支持体９Ｒａに装備された油圧アクチュエータは、第２コントロールバルブＣＶ２によって制御される。第３車輪支持体９Ｌｂに装備された油圧アクチュエータは、第３コントロールバルブＣＶ３によって制御される。第４車輪支持体９Ｒｂに装備された油圧アクチュエータは、第４コントロールバルブＣＶ４によって制御される。

したがって、第１車輪８Ｌａ～第４車輪８Ｒｂは、それぞれ独立的に操向可能である。また、第１車輪８Ｌａ～第４車輪８Ｒｂは、それぞれ独立的に昇降可能である。
上記走行装置７にあっては、第１車輪８Ｌａ～第４車輪８Ｒｂを操向操作することで走行体３を操向することができる。第１車輪８Ｌａ～第４車輪８Ｒｂを正転させることで走行体３を前進させることができ、逆転させることにより走行体３を後進させることができる。第１車輪８Ｌａ～第４車輪８Ｒｂを昇降することにより走行体３を昇降することがで
きる。第１車輪８Ｌａ及び第２車輪８Ｒａを第３車輪８Ｌｂ及び第４車輪８Ｒｂに対して昇降することにより、或いは、第３車輪８Ｌｂ及び第４車輪８Ｒｂを第１車輪８Ｌａ及び第２車輪８Ｒａに対して昇降することにより、機体６を前傾または後傾させることができる。第１車輪８Ｌａ及び第３車輪８Ｌｂを第２車輪８Ｒａ及び第４車輪８Ｒｂに対して昇降することにより、或いは、第２車輪８Ｒａ及び第４車輪８Ｒｂを第１車輪８Ｌａ及び第３車輪８Ｌｂに対して昇降することにより、機体６を、機体幅方向Ｂ３の一側が他側よりも高い傾斜状にすることができる。

農業用ロボット１は、走行体３に装着されたマニピュレータ（作業部）４を備えている。マニピュレータ（作業部）４は、作業を行う部分であって、例えば、本実施形態では、少なくとも作物２の収穫を行うことが可能な装置である。
図３、図４に示すように、マニピュレータ４は、走行体３（機体６）に着脱可能に装着された装着体１６と、装着体１６に取り付けられたアーム１７と、アーム１７に設けられていて作物（対象物）２を把持可能なロボットハンド１８とを備えている。

図１に示すように、装着体１６は、本実施形態では、走行体３の後部に設けられている。なお、装着体１６は、走行体３の前部に設けられていてもよい。つまり、走行体３における前後方向Ａ３の中央部から一方側に偏倚して設けられていればよい。また、本実施形態では、農業用ロボット１は、走行体３を前方に進行させて収穫作業を行うので、装着体１６は、進行方向とは反対側の方向である進行逆方向側に偏倚して設けられている。装着体１６は、箱型に形成されていて走行体３に対して着脱可能である。

装着体１６には、回動フレーム２１が立設されている。回動フレーム２１は、装着体１６の内部に設けられた回動モータＭ２によって回動軸心Ｊ１の周囲を回動可能である。回動フレーム２１を回動させることにより、ロボットハンド１８を回動軸心Ｊ１を中心とする円周方向に移動（位置変更）させることができる。
図３、図４に示すように、アーム１７は、回動フレーム２１に上下揺動可能に支持されると共に長手方向の中途部で屈伸可能である。アーム１７は、メインアーム２９とサブアーム３０とを有している。

メインアーム２９は、回動フレーム２１に上下揺動可能に枢支され、屈伸可能である。詳しくは、メインアーム２９は、回動フレーム２１に上下揺動可能に枢支された第１アーム部３１と、第１アーム部３１に揺動可能に枢支された第２アーム部３２とを有し、第１アーム部３１に対して第２アーム部３２が揺動することで屈伸可能とされている。
第１アーム部３１は、基部側３１ａがアームブラケット２６に枢支されている。第１アーム部３１は、図３に示すように、第１アームフレーム３１Ｌ及び第２アームフレーム３１Ｒを有している。第１アームフレーム３１Ｌ及び第２アームフレーム３１Ｒは、機体幅方向Ｂ３で並べて配置され且つ連結パイプ３１Ａ等で相互に連結されている。第１アームフレーム３１Ｌと第２アームフレーム３１Ｒとの基部側３１ａ間にアームブラケット２６の上部が挿入され、機体幅方向Ｂ３に延伸する軸心を有するアーム枢軸３３Ａ（第１アーム枢軸という）を介して第１アームフレーム３１Ｌ及び第２アームフレーム３１Ｒの基部側３１ａがアームブラケット２６に第１アーム枢軸３３Ａの軸心回りに回動可能に支持されている。

第１アームフレーム３１Ｌ及び第２アームフレーム３１Ｒは中空部材で形成されている。第１アーム部３１の長さは、走行体３（機体６）の前後方向Ａ３の長さよりも短く形成されている。
図４に示すように、第１アーム部３１は、基部側３１ａであって且つ第１アーム枢軸３３Ａよりも先端側３１ｃ寄りに、シリンダ取付部３１ｂを有している。このシリンダ取付部３１ｂとシリンダブラケット２７のシリンダ取付部２７ａとにわたって第１アームシリンダ（第１油圧シリンダ）Ｃ４が設けられている。第１アームシリンダＣ４は、走行体３に設けた油圧ポンプＰ１から吐出される作動油によって駆動されて伸縮する。第１アームシリンダＣ４を伸縮させることで第１アーム部３１が上下揺動する。第１アーム部３１（アーム１７）を上下揺動させることにより、ロボットハンド１８を昇降させることができる。第１アームシリンダＣ４には、第１アームシリンダＣ４のストロークを検出する第１ストロークセンサが設けられている。

図４に示すように、第１アーム部３１の先端側３１ｃには、枢支部材３１Ｂが固定されている。詳しくは、枢支部材３１Ｂは、基部３１Ｂａが第１アームフレーム３１Ｌと第２アームフレーム３１Ｒとの間に挿入されて第１アームフレーム３１Ｌ及び第２アームフレーム３１Ｒに固定されている。枢支部材３１Ｂの基部３１Ｂａの下面側には、シリンダステー３４が取り付けられている。枢支部材３１Ｂの先端側３１Ｂｂは、第１アームフレーム３１Ｌ及び第２アームフレーム３１Ｒから前方に突出している。

図３に示すように、第２アーム部３２の長さは、第１アーム部３１の長さよりも長く形成されている。第２アーム部３２は、基部側３２ａが枢支部材３１Ｂの先端側３１Ｂｂに枢支されている。第２アーム部３２は、第３アームフレーム３２Ｌ及び第４アームフレーム３２Ｒを有している。第３アームフレーム３２Ｌ及び第４アームフレーム３２Ｒは、機体幅方向Ｂ３で並べて配置され且つ複数の連結プレート３５によって相互に連結されている。第３アームフレーム３２Ｌ及び第４アームフレーム３２Ｒは中空部材で形成されている。第３アームフレーム３２Ｌと第４アームフレーム３２Ｒとの基部側３２ａ間に枢支部材３１Ｂの先端側３１Ｂｂが挿入されている。第３アームフレーム３２Ｌ及び第４アームフレーム３２Ｒ（第２アーム部３２）は、機体幅方向Ｂ３に延伸する軸心を有するアーム枢軸（第２アーム枢軸という）３３Ｂによって枢支部材３１Ｂに枢支されている。

第２アーム部３２の基部側３２ａであって第２アーム枢軸３３Ｂよりも先端側３２ｂ寄りには、シリンダ取付部３２ｃが設けられている。このシリンダ取付部３２ｃとシリンダステー３４とにわたって第２アームシリンダ（第２油圧シリンダ）Ｃ５が設けられている。第２アームシリンダＣ５は、走行体３に設けた油圧ポンプＰ１から吐出される作動油によって駆動されて伸縮する。第２アームシリンダＣ５を伸縮させることで第１アーム部３１に対して第２アーム部３２が揺動し、メインアーム２９（アーム１７）が屈伸（曲げたり伸ばしたりすること）する。なお、本実施形態では、メインアーム２９は、最も伸びた状態で直線状となるが、最も伸びた状態で若干曲がっていてもよい。

また、第２アームシリンダＣ５を伸縮させることで走行体３に対してロボットハンド１８を遠近方向に移動させることができる。詳しくは、第２アームシリンダＣ５を伸長させることでロボットハンド１８を走行体３から遠ざける方向に移動させることができ、第２アームシリンダＣ５を収縮させることでロボットハンド１８を走行体３に近づける方向に移動させることができる。

図４に示すように、第２アームシリンダＣ５には、第２アームシリンダＣ５のストロークを検出する第２ストロークセンサが設けられている。
サブアーム３０は、第２アーム部３２に突出及び後退可能に設けられている。したがって、サブアーム３０を突出及び後退させることにより、アーム１７の長さが伸縮可能である。サブアーム３０は、角パイプによって直線状に形成されている。サブアーム３０は、第３アームフレーム３２Ｌと第４アームフレーム３２Ｒとの先端側（前部）間に長手方向移動可能に支持されている。また、サブアーム３０は、対向する連結プレート３５の間に配置されていて連結プレート３５にボルト等の固定具によって固定可能とされている。サブアーム３０の一側面には、第３アームフレーム３２Ｌに当接する突起３０ａが設けられ、他側面には、第４アームフレーム３２Ｒに当接する突起３０ａが設けられている。突起３０ａによってサブアーム３０のがたつきを抑制することができる。

サブアーム３０は、最も後退させた位置（最後退位置）では、第３アームフレーム３２Ｌと第４アームフレーム３２Ｒとの間に没入する。なお、サブアーム３０は、最後退位置で第２アーム部３２から若干突出していてもよい。
図４に示すように、サブアーム３０の先端側には、吊りプレート３７が固定されている。吊りプレート３７にロボットハンド１８が枢支され、吊り下げられる（図１参照）。つまり、ロボットハンド１８は、サブアーム３０の先端側に揺動可能に取り付けられる。第２アーム部３２の先端側には、サブアーム３０の第２アーム部３２からの突出量を測定（検出）する第３ストロークセンサが設けられている。

図１、図２に示すように、ロボットハンド１８は、ベース部材１８Ａと、複数の把持ツ
メ１８Ｂとを有している。ベース部材１８Ａの上面側には連結片６３が設けられている。連結片６３は吊りプレート３７に枢支されている。つまり、ロボットハンド１８はアーム１７に吊り下げられている。複数の把持ツメ１８Ｂは、ベース部材１８Ａの下面側に揺動可能に取り付けられている。ロボットハンド１８は、複数の把持ツメ１８Ｂが揺動することにより、把持ツメ１８Ｂと把持ツメ１８Ｂとの間で作物２を把持することが可能（図２参照）であると共に、把持した作物２を解放することが可能である。

図１、図２に示すように、農業用ロボット１は、光学式センサ５Ａ、５Ｂを備えている。光学式センサ５Ａ、５Ｂは、ＣＣＤ（Charge Coupled Devices：電荷結合素子）イメージセンサを搭載したＣＣＤカメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor：相補性金属酸化膜半導体）イメージセンサを搭載したＣＭＯＳカメラ、赤外線カメラである。この実施形態では、光学式センサ５Ａ、５Ｂは、撮像装置（ＣＣＤカメラ、ＣＭＯＳカメラ、赤外線カメラ）である。光学式センサ５Ａ、５Ｂは、レーザセンサ、即ち、ライダー（LiDAR: Light Detection And Ranging）であってもよい。レーザセンサ（ライダー）は、１秒間に何百万回ものパルス状の赤外線等を照射し、跳ね返って戻ってくるまでの時間を測定することで、走行体３周辺の３Ｄマップを構築することができるセンサである。この実施形態では、光学式センサ５Ａ、５Ｂは、撮像装置（ＣＣＤカメラ、ＣＭＯＳカメラ、赤外線カメラ）である。

光学式センサ５Ａは、回動フレーム２１に取り付けられている。詳しくは、アームブラケット２６の上部に支柱４０を介して取り付けられている。これに限定されることはなく、光学式センサ５Ａは、走行体３等に取り付けてもよい。また、光学式センサ５Ａは複数箇所に設けられていてもよい。つまり、農業用ロボット１は、光学式センサ５Ａを複数有していてもよい。光学式センサ５Ａは、走行体３の周囲を撮影可能であって、走行体３の周囲の情報を撮影によって取得する。

光学式センサ５Ｂは、第２アーム部３２の先端側に取り付けられている。光学式センサ５Ｂは、作物２を撮像することによって、例えば、作物２の大きさ、形、色、模様（スイカにあっては縞模様）、傷などの品質情報を取得することができる。
図１、図２に示すように、農業用ロボット１は、打音センサ５０Ｃを備えている。打音センサ５０Ｃは、作物２に打撃を与えた（作物２を叩いた）ときの打音を取得するセンサである。図７に示すように、打音センサ５０Ｃは、ロボットハンド１８（ベース部材１８Ａ）に設けられている。

打音センサ５０Ｃは、打撃機構５１と、録音機構５２とを有している。打撃機構５１は、把持ツメ１８Ｂで把持された作物２に対して進退可能な打撃部材５１Ａを有している。打撃部材５１Ａは、当該打撃部材５１Ａを軸方向に移動させるアクチュエータ５１Ｂに連結されている。アクチュエータ５１Ｂは、例えば、電動であって、制御信号に応じて打撃部材５１Ａを軸方向に移動させることで、作物２に打撃を与えて打音を発生させる。録音機構５２は、マイク（高指向性マイク）を有し、打撃部材５１Ａで作物２を打撃することによって発生した打音を録音（記録）する。

図８に示すように、農業用ロボット１は、制御装置４１を有している。制御装置４１は、例えば、ＣＰＵ（Central Processing Unit）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）などを備えたマイクロコンピュータ等である。
制御装置４１には、光学式センサ５Ａ、５Ｂ、打音センサ５０Ｃ、走行モータＭ１、回動モータＭ２が接続されている。また、制御装置４１には、複数の制御弁４２が接続されている。制御弁４２は、第１制御弁４２Ａ、第２制御弁４２Ｂ、第３制御弁４２Ｃ、第４制御弁４２Ｄ、第５制御弁４２Ｅを含んでいる。

第１制御弁４２Ａは、操向シリンダＣ１を制御する弁、第２制御弁４２Ｂは、第１昇降シリンダＣ２を制御する弁、第３制御弁４２Ｃは、第２昇降シリンダＣ３を制御する弁、第４制御弁４２Ｄは、第１アームシリンダＣ４を制御する弁、第５制御弁４２Ｅは、第２アームシリンダＣ５を制御する弁である。
第１制御弁４２Ａ、第２制御弁４２Ｂ、第３制御弁４２Ｃ、第４制御弁４２Ｄ及び第５制御弁４２Ｅは、例えば、制御装置４１からの制御信号に基づいて作動する電磁弁である
。より詳しくは、第１制御弁４２Ａ、第２制御弁４２Ｂ、第３制御弁４２Ｃ、第４制御弁４２Ｄ及び第５制御弁４２Ｅは、制御信号によって複数の位置に切り換わる電磁弁（３位置切換電磁弁）である。

制御装置４１が第１制御弁４２Ａに制御信号を出力すると、制御信号に応じて第１制御弁４２Ａが所定位置に切り換わる。制御装置４１が第２制御弁４２Ｂに制御信号を出力すると、制御信号に応じて第２制御弁４２Ｂが所定位置に切り換わる。
また、制御装置４１が第３制御弁４２Ｃに制御信号を出力すると、制御信号に応じて第３制御弁４２Ｃが所定位置に切り換わる。制御装置４１が第４制御弁４２Ｄに制御信号を出力すると、制御信号に応じて第４制御弁４２Ｄが所定位置に切り換わる。制御装置４１が第５制御弁４２Ｅに制御信号を出力すると、制御信号に応じて第５制御弁４２Ｅが所定位置に切り換わる。

第１制御弁４２Ａ、第２制御弁４２Ｂ、第３制御弁４２Ｃ、第４制御弁４２Ｄ及び第５制御弁４２Ｅには、油路４６が接続され、当該油路４６には、作動油を吐出する油圧ポンプＰ１が接続されている。
以上によれば、第１制御弁４２Ａの切り換わりによって、操向シリンダＣ１のボトム側又はロッド側への作動油の供給が切り換わり、操向シリンダＣ１が伸縮する。第２制御弁４２Ｂの切り換わりによって、第１昇降シリンダＣ２のボトム側又はロッド側への作動油の供給が切り換わり、第１昇降シリンダＣ２が伸縮する。第３制御弁４２Ｃの切り換わりによって、第２昇降シリンダＣ３のボトム側又はロッド側への作動油の供給が切り換わり、第２昇降シリンダＣ３が伸縮する。

また、第４制御弁４２Ｄの切り換わりによって、第１アームシリンダＣ４のボトム側又はロッド側への作動油の供給が切り換わり、第１アームシリンダＣ４が伸縮する。第５制御弁４２Ｅの切り換わりによって、第２アームシリンダＣ５のボトム側又はロッド側への作動油の供給が切り換わり、第２アームシリンダＣ５が伸縮する。
農業用ロボット１は、走行制御部４１Ａを有している。走行制御部４１Ａは、制御装置４１に設けられた電気電子回路、当該制御装置４１に格納されたプログラム等である。

走行制御部４１Ａは、走行装置７を制御する。即ち、走行制御部４１Ａは、操向シリンダＣ１（第１制御弁４２Ａ）、走行モータＭ１を制御する。走行制御部４１Ａは、第１制御弁４２Ａに制御信号を出力して、操向シリンダＣ１を伸縮させることによって、走行装置７（機体６）の操舵方向の変更を行う。走行制御部４１Ａは、走行モータＭ１に制御信号を出力して、走行モータＭ１の回転数又は回転方向を変更することにより、走行装置７（機体６）の速度の変更、走行装置７（機体６）の進行方向の変更を行う。

また、走行制御部４１Ａは、機体６の昇降、傾き等の制御を行ってもよい。例えば、走行制御部４１Ａは、第２制御弁４２Ｂに制御信号を出力して、第１昇降シリンダＣ２を伸縮することによって、機体６の昇降、傾きの変更を行う。また、走行制御部４１Ａは、第３制御弁４２Ｃに制御信号を出力して、第２昇降シリンダＣ３を伸縮することによって、機体６の昇降、傾きの変更を行う。

以上のように、走行制御部４１Ａの制御によって、農業用ロボット１は、施設１００など自律走行することができる。
農業用ロボット１は、作業制御部４１Ｂを有している。作業制御部４１Ｂは、制御装置４１に設けられた電気電子回路、当該制御装置４１に格納されたプログラム等である。
作業制御部４１Ｂは、マニピュレータ（作業部）４を制御する。即ち、作業制御部４１Ｂは、第１アームシリンダＣ４、第２アームシリンダＣ５、回動モータＭ２を制御する。作業制御部４１Ｂは、第４制御弁４２Ｄに制御信号を出力して、第１アームシリンダＣ４を伸縮させることによって、第１アーム部３１の揺動を行う。作業制御部４１Ｂは、第５制御弁４２Ｅに制御信号を出力して、第２アームシリンダＣ５を伸縮させることによって、第２アーム部３２の揺動を行う。また、作業制御部４１Ｂは、回動モータＭ２に制御信号を出力することによって、回動モータＭ２の回転方向を変更することにより、マニピュレータ（作業部）４の回動を行う。

以上のように、作業制御部４１Ｂは、ロボットハンド１８を任意（所望）の位置に移動
させることができる。詳しくは、回動フレーム２１の回動による回動軸心Ｊ１を中心とする円周方向のロボットハンド１８の移動、第１アーム部３１の上下揺動によるロボットハンド１８の昇降、第２アーム部３２の揺動によるロボットハンド１８の走行体３に対する遠近方向の移動によって、ロボットハンド１８を目的の位置に移動させることができる。

作業制御部４１Ｂは、アクチュエータ５１Ｂ（打撃部材５１Ａ）を制御する。例えば、アクチュエータ５１Ｂに制御信号を出力することで、アクチュエータ５１Ｂを作動させ、打撃部材５１Ａによって作物２に対して打撃を与える制御（打撃制御）を行う。
図８に示すように、農業用ロボット１は、収集装置４３を備えている。収集装置４３は、打撃部材５１Ａによって作物２に対して打撃を与えたときにマイクで集音した音のデータ（音データ）を収集する。収集装置４３は、不揮発性のメモリ等で構成されて音データを記憶する記憶装置を含んでいる。

図９に示すように、収集装置４３は、音データとして、作物２に対して打撃を与えた時のマイクで集音した波形Ｈ１０を収集する。ここで、収集装置４３は、作物２に対して打撃を与える打撃前又は打撃後に、打撃対象である作物２の周囲の音（雑音）をマイクにて取得し、取得した雑音を解析する。収集装置４３は、解析結果を用いて、波形Ｈ１０に、雑音に対応する波形（雑音波形）が含まれているか否かを判断し、雑音が含まれている場合は、波形Ｈ１０から雑音波形を除去した波形を、打撃時の波形Ｈ１０として収集する。即ち、収集装置４３は、作物２を打撃したときのノイズ（雑音）を除去する処理を行う。

雑音波形であるか否かの判断（推定）は、雑音推定モデル（第１モデル）を用いる。雑音推定モデルは、波形の振幅、周波数、波形の変化によって雑音であるかを推定するモデルである。雑音除去モデルは、作物２に対して打撃を行っていない状況下において、施設１００内の音を集音し、当該集音した音を、コンピュータに入力して当該コンピュータにおいて人工知能による深層学習を行うことにより構築したモデルである。

上述した実施形態では、作物２の打撃前、打撃後の周囲の音を予め集音しておき、雑音推定モデル（第１モデル）を用いて、周囲の音から雑音の波形を解析、推定することによって、ノイズを除去していたが、これに代えて、打撃前、打撃後の波形から雑音を判断するのではなく、打撃を行ったときの波形Ｈ１０の中に雑音波形が含まれているか否かを判断する雑音推定モデル（第２モデル）を用いる。雑音推定モデル（第２モデル）は、打音を行ったときの波形Ｈ１０をコンピュータに入力して当該コンピュータにおいて人工知能による深層学習を行うことにより構築する。雑音推定モデル（第２モデル）でも、波形Ｈ１０の振幅、周波数、波形の変化に基づいて、波形Ｈ１０中の雑音波形を推定する。雑音推定モデル（第２モデル）による雑音波形の推定後は、上述したように、推定結果を用いて、収集装置４３が波形Ｈ１０の中から雑音波形を除去する。

図１０に示すように、農業用ロボット１（走行体３）は、走行制御部４１Ａの制御によって施設１００内を自律走行する。自律走行時において、作業制御部４１Ｂによって、作物２を打撃部材５１Ａにて打撃を与え、収集装置４３は、作物２に打撃が与えられたときの波形Ｈ１０を作物２毎に収集（保存）する。
例えば、制御装置４１（走行制御部４１Ａ）の制御によって、農業用ロボット１を作物２ａの周囲に近づける。農業用ロボット１が作物２ａに近づくと、作業制御部４１Ｂの打撃制御等によって作物２ａに打撃が与えられ、当該作物２ａの打撃時の音データを収集装置４３が収集する。

次に、作物２ａの音データを収集すると、制御装置４１（走行制御部４１Ａ）は、音データを収集していない他の作物２ｂに向けて走行体３を移動させる制御を行い、農業用ロボット１を作物２ｂの周囲に近づける。農業用ロボット１が作物２ｂに近づくと、作業制御部４１Ｂの打撃制御等によって作物２ｂに打撃が与えられ、当該作物２ｂの打撃時の音データを収集装置４３が収集する。

つまり、制御装置４１（走行制御部４１Ａ）は、音データを収集装置４３が収集後、音データを収集していない他の作物２ｂ、２ｃ・・・の栽培位置Ｄｎ（ｎ＝１，２，３・・・）に向けて走行体３を移動させる制御を、施設１００内において、音データを収集していない作物２が無くなるまで繰り返し行う。
さて、制御装置４１は、光学式センサ５Ａによって得られたセンシングデータに基づいて、栽培位置Ｄｎに向けて農業用ロボット１（走行体３）を移動させる。光学式センサ５Ａが撮像装置である場合、センシングデータは、撮像した撮像画像（画像データ）である。光学式センサ５Ａがレーザセンサ（ライダー）である場合、センシングデータは、光学式センサ５Ａからセンシングした対象物（物体）までの距離、方向を含むスキャンデータである。

図１１に示すように、制御装置４１は、センシングデータ（撮像画像Ｈ１）を参照し、当該センシングデータ（撮像画像Ｈ１）の特徴点のマッチング等により、撮像画像Ｈ１内に作物２が含まれているか否かを判断する。
センシングデータＨ１に作物２が含まれていると判断した場合、作物２と農業用ロボット１（走行体３）との相対距離Ｌ１０を演算する（図１０参照）。制御装置４１は、撮像画像Ｈ１に作物２が含まれていると判断した場合、図１９に示すように、例えば、撮像画像Ｈ１に含まれる被写体である作物２の画像（縦ピクセル、横ピクセル）Ｈ２の大きさと、予め設定された基準フレーム（縦ピクセル、横ピクセル）Ｆ１０の大きさとを比較する。作物２の画像Ｈ２が、基準フレームＦ１０のよりも小さい場合、制御装置４１は、相対距離Ｌ１０は、基準フレームＦ１０に対応して定められた基準距離Ｌ１１よりも長いと判断する。即ち、制御装置１１は、作物２は、農業用ロボット１（走行体３）から基準距離Ｌ１１までの位置よりも遠い所にあると推定する。一方、作物２の画像Ｈ２が、基準フレームＦ１０よりも大きい場合、制御装置４１は、相対距離Ｌ１０は、基準距離Ｌ１１よりも短いと判断する。即ち、制御装置４１は、作物２は、農業用ロボット１（走行体３）から基準距離Ｌ１１までの位置よりも近い所にあると推定する。

つまり、制御装置４１は、作物２の画像Ｈ２の大きさと基準フレームＦ１０との大きさを比較し、作物２の画像Ｈ２の大きさと基準フレームＦ１０との大きさとの比率と基準距離Ｌ１１に基づいて、現在の農業用ロボット１と作物２との相対距離Ｌ１０を求める。即ち、制御装置４１は、現在の農業用ロボット１の位置において、相対距離Ｌ１０が基準距離Ｌ１１に一致する距離（移動距離）を演算し、走行制御部４１Ａは、移動距離だけ農業用ロボット１（走行体３）を前進又は後進させる。なお、基準距離Ｌ１１は、マニピュレータ（作業部）４の先端側（ロボットハンド１８）を、走行体３から最も離した状態において、当該ロボットハンド１８と走行体３までの距離よりも短く設定されている。即ち、マニピュレータ（作業部）４において、走行体３からロボットハンド１８の先端側までのストローク（稼働範囲）よりも、基準距離Ｌ１１が短くなるように設定されている。

まとめると、作物２の画像Ｈ２と基準フレームＦ１０とが一致したときの作物２と農業用ロボット１（走行体３）との相対距離Ｌ１０が一定となるように、走行制御部４１Ａは、作物の栽培位置Ｄｎに向けて移動する。なお、上述した方法では、イメージセンサに対するレンズの位置は変更しない（ピント合わせは行わない）。
上述した実施形態では、撮像画像Ｈ１を用いて、作物２と農業用ロボット１（走行体３）との相対距離Ｌ１０が一定となる位置に、農業用ロボット１（走行体３）を作物２の栽培位置Ｄｎに向けて移動していたが、光学式センサ５Ａがレーザセンサ（ライダー）である場合、制御装置４１（走行制御部４１Ａ）は、スキャンデータを用いて、現在の農業用ロボット１（走行体３）と作物２との距離（相対距離Ｌ１０）を演算して、演算した相対距離Ｌ１０が基準距離Ｌ１１と一致するように、農業用ロボット１（走行体３）を前進又は後進させる。

作業制御部４１Ｂは、農業用ロボット１（走行体３）と作物２との相対距離Ｌ１０が基準距離Ｌ１１に達したとき、即ち、農業用ロボット１が所定の作物２の栽培位置Ｄｎの周囲に到達したとき、マニピュレータ（作業部）４の先端側（ロボットハンド１８）を所定の作物に近づけ、打撃制御を行う。収集装置４３は、所定の作物２に打撃が与えられたときの音データを保存する。

図１２Ａに示すように、収集装置４３が、音データを保存する場合、作物２（作物２ａ、２ｂ、２ｃ・・・）を識別する識別情報と、音データとを対応づけて打音情報として記憶する。例えば、作物２に対応づけて、当該作物２の近傍に二次元バーコード、マーカ等の識別情報を認識するための識別部材を設置しておき、打音時に識別部材（二次元バーコード、マーカ）を撮像装置にて撮像することにより得ることができる。

或いは、図１２Ｂに示すように、収集装置４３は、識別情報、音データ及び打音時間（月、日、時刻）を対応付けて打音情報として記憶してもよい。例えば、農業用ロボット１に時間を計時する計時装置（タイマー）を設けておき、計時装置によって打音時の時間（打音時間）を計時し、計時した打音時間と、識別情報、音データを対応付けて打音情報として記憶する。

或いは、収集装置４３は、ロボットハンド１８で収穫する際に、作業制御部４１Ｂによって打撃制御を行い、図１２Ｃに示すように、打撃制御によって作物２を打音したときの音データ（収穫時の音データ）と、識別情報と、打音時間とを対応づけて打音情報として記憶してもよい。図１２Ｃの場合は、打音を行ったときと、収穫を行ったときとが同じであるため、打音時間は、収穫時期（収穫時間）とみなすことができる。

スイカ、メロン等において、収穫時の音データに着目した場合、当該収穫時の音データで得られる波形Ｈ１０の周波数が低く、低い音になる傾向がある。収集装置４３は、波形Ｈ１０の周波数が予め定められた周波数よりも低い場合には、収穫時期の音データとして記憶してもよい。
農業用ロボット１は、図８に示すように、モデル生成部４１Ｅを有していてもよい。モデル生成部４１Ｅは、制御装置４１に設けられた電気電子回路、当該制御装置４１に格納されたプログラム等である。

モデル生成部４１Ｅは、収集装置４３が収集した複数の音データに基づいて、作物の生育状況を推定するモデルを生成する。モデル生成部４１Ｅは、図１２Ａの打音情報（音データ、識別情報）を取得する。この場合、モデル生成部４１Ｅは、複数の音データ（波形Ｗ１０）において、打音の音の大きさ（波形の振幅）、打音の音の高さ（周波数）、打音の波形の変化度合い（音色）について、人工知能による深層学習を行い、生育状況を推定する学習済みモデル（第１生育モデル）を構築する。

或いは、モデル生成部４１Ｅは、生育モデルを構築するにあたって、複数の音データ（波形Ｗ１０）だけでなく、図１２Ｂに示した音データに対応付けられた打音時間も取得し、打音時間に基づいて、複数の音データ（波形Ｗ１０）を栽培の初期、中期、後期にグループ分けを行う。モデル生成部４１Ｅは、各グループ（初期、中期、後期）のそれぞれに属する複数の音データについて深層学習を行って、生育状況を推定する学習済みの生育モデル（第２生育モデル）を構築してもよい。

或いは、モデル生成部４１Ｅは、図１２Ｃに示すように、打音情報として、音データ、識別情報、収穫時間を取得し、収穫時間に対応する音データにおける深層学習を行い、生育状況として収穫時間を推定する学習済みモデル（第３生育モデル）を構築する。
上述した実施形態では、施設１００内において、農業用ロボット１（走行体３）を走行させながら、打音したときの音データを収集していたが、作物２に対して音データの収集は繰り返し行ってもよい。

この場合、モデル生成部４１Ｅは、農業用ロボット１（走行体３）を走行させて打音を行ったとき（収集装置４３が音データを取得する毎）に、強化学習を行ってもよい。
農業用ロボット１は、図８に示すように、時期判断部４１Ｆを有していてもよい。時期判断部４１Ｆは、制御装置４１に設けられた電気電子回路、当該制御装置４１に格納されたプログラム等である。

時期判断部４１Ｆは、学習済みモデル（第１生育モデル、第２生育モデル、第３生育モデル）と、作業時（打撃時）の音データとに基づいて、打撃を与えた作物２が収穫時期であるか否かを判断する。
図１３に示すように、施設１００内において、農業用ロボット１を栽培場所１０５の間の通路１０６に走行させる。作業時において、制御装置４１（走行制御部４１Ａ、作業制御部４１Ｂ）は、光学式センサ５Ａから得られたセンシングデータ（撮像画像Ｈ１、スキャンデータ）を参照し、作業開始点Ｐ１１から作業終了点Ｐ１２まで栽培場所１０５に沿って農業用ロボット１を走行させる。

図１０に示すように、制御装置４１（走行制御部４１Ａ、作業制御部４１Ｂ）は、センシングデータを解析して、農業用ロボット１が作物２の栽培位置Ｄｎの周囲に近づいたと判断した場合、走行制御部４１Ａは、一旦走行を停止する。作業制御部４１Ｂは、マニピュレータ４を制御して、ロボットハンド１８を作物２に近づける。作業制御部４１Ｂは、ロボットハンド１８を作物２に近づけた状態で打撃制御を行い、作物２に打撃を与える。収集装置４３は、打撃時の音データを取得して保存する一方、時期判断部４１Ｆは、打撃時の音データを少なくとも第１生育モデル、第２生育モデル、第３生育モデルのいずれかに適用する。

例えば、打撃時の音データを第１生育モデルに適用し、第１生育モデルが、生育状況として、収穫時期と同じ時期である結果を出力した場合、時期判断部４１Ｆは、作物２の収穫時期であると判断し、作業制御部４１Ｂの制御によって、ロボットハンド１８で作物２を収穫する。一方、第１生育モデルが、生育状況として、収穫時期と異なる時期である結果を出力した場合、時期判断部４１Ｆは、作物２の収穫時期でないと判断し、作業制御部４１Ｂの制御によって、ロボットハンド１８を、打撃を行った作物２から遠ざけることで、作物２を収穫しない。

或いは、打撃時の音データを第２生育モデルに適用し、第２生育モデルが、生育状況として、作物２が栽培の後期であると結果を出力した場合、時期判断部４１Ｆは、作物２の収穫時期であると判断し、作業制御部４１Ｂの制御によって、ロボットハンド１８で作物２を収穫する。第２生育モデルが、生育状況として、作物２が栽培の初期、中期であると結果を出力した場合、時期判断部４１Ｆは、作物２の収穫時期でないと判断し、作業制御部４１Ｂの制御によって、ロボットハンド１８を、打撃を行った作物２から遠ざけることで、作物２を収穫しない。

或いは、打撃時の音データを第３生育モデルに適用し、第３生育モデルが、生育状況として、収穫時期であると結果を出力した場合、時期判断部４１Ｆは、作物２の収穫時期であると判断し、作業制御部４１Ｂの制御によって、ロボットハンド１８で作物２を収穫する。一方、第３生育モデルが、生育状況として、収穫時期ではないと結果を出力した場合、時期判断部４１Ｆは、作物２の収穫時期でないと判断し、作業制御部４１Ｂの制御によって、ロボットハンド１８を、打撃を行った作物２から遠ざけることで、作物２を収穫しない。

以上によれば、農業用ロボット１を作業開始点Ｐ１１から作業終了点Ｐ１２まで栽培場所１０５に沿って走行させ、途中で打撃を行った作物２の音データを学習済みモデルに適用して収穫時期であるか否かを判断し、学習済みモデルが収穫時期であると判断した作物２のみ収穫を行う。
上述した実施形態では、時期判断部４１Ｆは、学習済みモデル（第１生育モデル、第２生育モデル、第３生育モデル）と、作業時（打撃時）の音データとに基づいて、打撃を与えた作物２が収穫時期であるか否かを判断していたが、学習済みモデルを用いずに、収穫時期であるか否かを判断してもよい。

時期判断部４１Ｆは、収集装置４３において、収穫時期に相当する時期の音データをまとめたデータベース（過去の収穫実績情報）を参照し、収穫時期の音データの打音の音の大きさ（波形の振幅）、打音の音の高さ（周波数）、打音の波形の変化度合い（音色）の平均などの基準値を演算する。また、時期判断部４１Ｆは、農業用ロボット１を作業開始点Ｐ１１から作業終了点Ｐ１２まで走行させながら打撃作業を行った音データにおいて、打音の音の大きさ（波形の振幅）、打音の音の高さ（周波数）、打音の波形の変化度合い（音色）のそれぞれが基準（平均）から所定範囲内であるか否かを判断し、所定範囲以内であれば、収穫時期と判断し、所定範囲外であれば、収穫時期でないと判断する。

以上の変形例によれば、農業用ロボット１を作業開始点Ｐ１１から作業終了点Ｐ１２まで栽培場所１０５に沿って走行させ、途中で打撃を行った作物２の音データを、過去の収穫実績情報と比較し、当該音データが過去の収穫実績情報の基準（平均）よりも所定範囲内である場合は、作物２の収穫を行う。
なお、上述した変形例では、過去の収穫実績情報の平均を求めた例について説明したが
、基準は平均以外であってもよく、標準偏差などのバラツキを基準にしてもよく、基準については限定されない。

図１４は、農業用ロボット１及び農業用ロボットの支援システムの変形例を示している。図１４に示すように、収集装置４３は、サーバ、携帯端末、パーソナルコンピュータなどの外部機器７０に、音データを送信可能な通信装置であってもよい。この場合、通信装置である収集装置４３は、作物２に打撃が与えられたときの音データ（波形Ｈ１０）を外部機器７０に送信する。外部機器７０は、モデル生成部４１Ｅを有していて、農業用ロボット１（通信装置）から送信された音データに基づいて、生育状況を推定する学習済みモデルを構築する。なお、学習済みモデルの構築方法は、上述した実施形態と同じである。

モデル生成部４１Ｅが学習済みモデルを構築すると、外部機器７０は、構築した学習済みモデル（第１生育モデル、第２生育モデル、第３生育モデル）を、農業用ロボット１（通信装置）に送信する。農業用ロボット１（通信装置）が、学習済みモデル（第１生育モデル、第２生育モデル、第３生育モデル）を受信すると、制御装置４１は、学習済みモデルを保存する。時期判断部４１Ｆは、上述した実施形態と同様に、制御装置４１が有する学習済みモデルと、打撃時に得られた音データに基づいて、打撃を行った作物２が収穫時期か否かを判断する。作業制御部４１Ｂは、打撃を行った作物２が収穫時期であると判断された場合に収穫の制御を実行する一方、打撃を行った作物２が収穫時期でないと判断された場合は収穫を行わない制御を実行する。

農業用ロボット１は、作物２の栽培位置Ｄｎに向けて移動可能な走行体３と、走行体３に設けられ、且つ、当該走行体３が栽培位置Ｄｎの周囲に到達したときに先端側を作物２に近づけることが可能なマニピュレータ４と、マニピュレータ４の先端側に設けられ且つ作物２に打撃を与える打撃機構５１と、打撃機構５１で作物２を打撃したときの音を集音するマイクとを含む打音センサ５０Ｃと、マイクで集音した音のデータを収集する収集装置６３と、を備えている。

これによれば、音のデータを用いて作物２の生育などを把握したい場合に、走行体３を作物２の栽培位置Ｄｎに近づけるだけで、当該作物２を打撃したときの音のデータを簡単に収集することができ、作物２の生育を把握するための支援を行うことができる。特に、作物２の栽培場所（作付け場所）が施設１００内である場合には、雑音が少ない中で効率よく、作物２を打音したときの音のデータを収集することができる。

農業用ロボット１は、少なくとも収集装置６３がデータを収集後、当該データを収集していない他の作物２の栽培位置Ｄｎに向けて走行体３を移動させる制御を行う制御装置４１を備えている。これによれば、制御装置４１によって、複数の作物２がある場合に、効率よく音のデータを収集することができる。
農業用ロボット１は、走行体３に設けられた光学式センサ５Ａ、５Ｂを備え、制御装置４１は、光学式センサ５Ａ、５Ｂで得られたセンシングデータに基づいて、作物２と走行体３との距離が予め定められた基準距離になるように、作物２の栽培位置Ｄｎに向けて走行体３を移動させる。これによれば、農業用ロボット１（走行体３）を栽培位置Ｄｎの周囲へと走行させることができ、マニピュレータ４の先端側をより素早く正確に作物２に近づけることができる。

農業用ロボット１は、収集装置６３が収集した複数のデータに基づいて、作物２の生育状況を推定するモデルを生成するモデル生成部４１Ｅを備えている。これによれば、収集した複数の音のデータから、作物２の生育状況を推定することができるモデルを簡単に生成することができる。
モデル生成部４１Ｅは、収集装置６３がデータを取得する毎に、強化学習を行う。これによれば、農業用ロボット１（走行体３）によって作物２に対して作業を行う状況など、収集装置６３がデータを取得する毎に強化学習を行うことができ、より精度の高いモデルを構築することができる。

農業用ロボット１は、作物２を把持することで収穫するロボットハンド１８と、モデルとデータとに基づいて、打撃を与えた作物２が収穫時期であるか否かを判断する時期判断部４１Ｆと、を備え、ロボットハンド１８は、時期判断部４１Ｆが収穫時期と判断した場
合に打撃を与えた作物２を収穫し、収穫時期と判断しなかった場合に打撃を与えた作物２を収穫しない。

これによれば、作物２を収穫する収穫作業時に、作物２が収穫時期であるかを簡単に把握することができ、収穫時期である作物２のみを、効率よく収穫することができる。
収集装置６３は、データを記憶する記憶装置、又は、データを外部端末に送信する通信装置である。これによれば、作物２に打撃を与えたときの音のデータを記憶して収集したり、外部端末へ収集した音のデータを送信することができる。

農業用ロボット１の支援システムは、作物２の栽培位置Ｄｎに向けて移動可能な走行体３と、走行体３に設けられ、且つ、当該走行体３が栽培位置Ｄｎの周囲に到達したときに先端側を作物２に近づけることが可能なマニピュレータ４と、マニピュレータ４の先端側に設けられ且つ作物２に打撃を与える打撃機構５１と、打撃機構５１で作物２を打撃したときの音を集音するマイクとを含む打音センサ５０Ｃとを備えた農業用ロボット１の支援システムであって、マイクで集音した音のデータを収集する収集装置６３を備えている。

農業用ロボット１の支援システムは、少なくとも収集装置６３がデータを収集後、当該データを収集していない他の作物２の栽培位置Ｄｎに向けて走行体３を移動させる制御を行う制御装置４１を備えている。これによれば、制御装置４１によって、複数の作物２がある場合に、効率よく音のデータを収集することができる。
農業用ロボット１の支援システムは、走行体３に設けられた光学式センサ５Ａ、５Ｂを備え、制御装置４１は、光学式センサ５Ａ、５Ｂで得られたセンシングデータに基づいて、作物２と走行体３との距離が予め定められた基準距離になるように、作物２の栽培位置Ｄｎに向けて走行体３を移動させる。これによれば、農業用ロボット１（走行体３）を栽培位置Ｄｎの周囲へと走行させることができ、マニピュレータ４の先端側をより素早く正確に作物２に近づけることができる。

農業用ロボット１の支援システムは、収集装置６３が収集した複数のデータに基づいて、作物２の生育状況を推定するモデルを生成するモデル生成部４１Ｅを備えている。これによれば、収集した複数の音のデータから、作物２の生育状況を推定することができるモデルを簡単に生成することができる。
農業用ロボット１の支援システムは、作物２を把持することで収穫可能なロボットハンド１８を制御する作業制御部と、モデルとデータとに基づいて、打撃を与えた作物２が収穫時期であるか否かを判断する時期判断部４１Ｆと、を備え、作業制御部は、ロボットハンド１８に対して時期判断部４１Ｆが収穫時期と判断した場合に打撃を与えた作物２を収穫する制御を行い、収穫時期と判断しなかった場合に打撃を与えた作物２を収穫しない制御を行う。

これによれば、作物２を収穫する収穫作業時に、作物２が収穫時期であるかを簡単に把握することができ、収穫時期である作物２のみを、効率よく収穫することができる。
以上、本発明の一実施形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１：農業用ロボット
２：作物
２ａ：作物
２ｂ：作物
２ｃ：作物
３：走行体
４：マニピュレータ
５Ａ：光学式センサ
５Ｂ：光学式センサ
１８：ロボットハンド
２３：収集装置
４１：制御装置
４１Ｂ：作業制御部
４１Ｅ：モデル生成部
４１Ｆ：時期判断部
４３：収集装置
５０Ｃ：打音センサ
５１：打撃機構
６３：収集装置
Ｄｎ：栽培位置
Ｌ１１：基準距離

Claims

作物の栽培位置に向けて移動可能な走行体と、
前記走行体に設けられ、且つ、当該走行体が前記栽培位置の周囲に到達したときに先端側を作物に近づけることが可能なマニピュレータと、
前記マニピュレータの先端側に設けられ且つ前記作物に打撃を与える打撃機構と、前記打撃機構で前記作物を打撃したときの音を集音するマイクとを含む打音センサと、
前記マイクで集音した音データを収集する収集装置と、
前記走行体の周囲を撮像可能な光学式センサと、を備え、
前記走行体が前記作物の栽培位置の周囲に近づくと当該走行体の走行を停止し、当該走行体が停止した状態で前記マニピュレータの先端側を前記作物に近づけた後、当該作物に前記打撃機構による打撃を与えて音データを収集し、当該音データの収集を完了後、前記光学式センサによって得られたセンシングデータに音データを収集していない他の作物が含まれている場合、前記センシングデータに含まれている前記他の作物の栽培位置に向けて前記走行体を移動させる農業用ロボット。
作物の栽培位置に向けて移動可能な走行体と、
前記走行体に設けられ、且つ、当該走行体が前記栽培位置の周囲に到達したときに先端側を作物に近づけることが可能なマニピュレータと、
前記マニピュレータの先端側に設けられ且つ前記作物に打撃を与える打撃機構と、前記打撃機構で前記作物を打撃したときの音を集音するマイクとを含む打音センサと、
前記マイクで集音した音データを収集する収集装置と、
前記走行体の周囲を撮像可能な光学式センサと、を備え、
前記走行体は、前記光学式センサによって得られたセンシングデータに作物が含まれているか否かを判断し、前記センシングデータに前記作物が含まれていると判断した場合、前記作物の栽培位置に向けて移動し、前記作物の栽培位置の周囲に近づくと当該走行体の走行を停止し、当該走行体が停止した状態で前記マニピュレータの先端側を前記作物に近づけた後、当該作物に前記打撃機構による打撃を与えて音データを収集する農業用ロボット。
前記収集装置は、前記音データに、前記作物の周囲の音である雑音が含まれている場合
は、前記音データに含まれる雑音を除去する請求項１又は２に記載の農業用ロボット。
前記収集装置は、前記作物に打撃を行っていない状況において集音した音に基づいて、前記音データに雑音が含まれているか否かを判断する請求項３に記載の農業用ロボット。
前記収集装置は、前記作物に打撃を行った状況において集音した音に基づいて、前記音データに雑音が含まれているか否かを判断する請求項３に記載の農業用ロボット。
前記センシングデータに含まれる前記作物の大きさと、予め定められた基準フレームの大きさとから相対距離を演算し、前記作物と前記走行体との距離が予め定められた基準距離になるように、前記作物の栽培位置に向けて前記走行体を移動させる制御装置を備えている請求項１又は２に記載の農業用ロボット。
前記収集装置が収集した複数のデータに基づいて、作物の生育状況を推定するモデルを生成するモデル生成部を備えている請求項１又は２に記載の農業用ロボット。
前記モデル生成部は、音データにおける振幅と、周波数と、波形の変化度合いと、前記作物の打撃を行ったときの打音時間と、に基づいて作物の生育状況を推定するモデルを生成する請求項７に記載の農業用ロボット。
前記モデル生成部は、前記打音時間に基づいてグループ分けした音データにより、作物の生育状況として、栽培初期と、栽培中期と、収穫時期である栽培後期と、のいずれか１つであることを推定するモデルを生成する請求項８に記載の農業用ロボット。
前記モデル生成部は、前記作物を収穫する際に前記作物に打撃を行って収集した前記音データの前記打音時間を収穫時期とし、前記打音時間が収穫時期である音データにより、作物の生育状況として、収穫時期であることを推定するモデルを生成する請求項８に記載の農業用ロボット。
前記モデル生成部は、前記収集装置が前記音データを取得する毎に、強化学習を行う請求項７に記載の農業用ロボット。
前記作物を把持することで収穫するロボットハンドと、
前記モデルと前記音データとに基づいて、前記打撃を与えた作物が収穫時期であるか否かを判断する時期判断部と、
を備え、
前記ロボットハンドは、前記時期判断部が収穫時期と判断した場合に前記打撃を与えた作物を収穫し、前記収穫時期と判断しなかった場合に前記打撃を与えた作物を収穫しない請求項７～１１のいずれかに記載の農業用ロボット。
前記収集装置は、前記音データを記憶する記憶装置、又は、前記音データを外部端末に送信する通信装置である請求項１～１２のいずれかに記載の農業用ロボット。