WO2002012966A1 - Voice-actuated control device of construction machine - Google Patents

Description

855

明 細 書 建設機械における音声機体制御装置 技術分野

本発明は、 例えば地面を掘削する油圧ショベル等に用いて好適な、 建設機械に おける音声機体制御装置に関する。 背景技術

一般に油圧ショベル等の建設機械は、 図 5に示すように、 無限軌道部 5 0 0 A を有する下部走行体 5 0 0上に、 運転操作室 （キャビン） 6 0 0付きの上部旋回 体 1 0 0をそなえており、 更にこの上部旋回体 1 0 0に、 ブーム 2 0 0， スティ ック 3 0 0， パケット 4 0 0からなる関節式アーム機構を装備した構成となって いる。

そして、 ブーム 2 0 0， スティック 3 0 0， パケット 4 0 0をそれぞれ油圧シ リンダ 1 2 0， 1 2 1 , 1 2 2により適宜駆動して、 ブーム 2 0 0を a , b方向 に、 スティック 3 0 0を c , d方向に、 パケット 4 0 0をを e， f方向にそれぞ れ作動させることができるようになっている。

また、 この油圧ショベルの運転操作室 6 0 0には、 操作や表示のために使用さ れる各種の機材が設けられている。

図 6は油圧ショベルの機能プロックの概略図である。 この図 6に示す油圧ショ ベルの操作部 1 6 0は、 電子制御装置 1 5 0をそなえており、 この電子制御装置 1 5 0の入力側に、 ジョイスティック 6， ペダル 9が接続されるとともに、 電子 制御装置 1 5 0の出力側に、 モ-タ 1 0， 電磁比例弁 3， O N/O F F弁 1 3が 接続されている。

ここで、 ジョイスティック （操作レパーともいう） 6は、 油圧ショベルを運転 するための操作機材であって、 操作者 （以下、 オペレータと称することもある） によって操作され、 その操作量に応じた電気信号が電子制御装置 1 5 0に入力さ れるようになっている。 そして、 このジョイスティック 6により検出された電気 855 信号は、 電子制御装置 150及ぴ電磁比例弁 3を介して、 シリンダ 1 20〜12 2 (図 1を用いて後述する） を操作するために使用される。

また、 ペダル 9は、 アクセルペダルであり、 その踏み込み量に応じた電気信号 も、 やはり、 電子制御装置 150に入力される。 加えて、 モニタ 10は、 電子制 御装置 150が出力する電気信号を受信して、 エンジン回転数や作動油温等のォ ペレータが知りたい情報を表示させるものである。 さらに、 ON/OFF弁 13 は、 メインコント口一ルパルプであって、 シリンダ 120〜 122の動作を制御 するものである。 そして、 電磁比例弁 3は、 油圧を用いることにより、 ONZO 弁13のスプール位置を制御するものである。

また、 電子制御装置 150は、 上記のモニタ 10， 電磁比例弁 3， ON/OF F弁 13等に接続され、 オペレータに対して制御情報を表示するとともに、 制御 モードに応じてシリンダ 120〜122を制御するものである。 この電子制御装 置 1 5 0は、 マイクロプロセッサ， ROM (Read Only Memory) や RAM (Random Access Memory) 等のメモリ， 適宜の入出力インタフェースなどで 構成される。

これにより、 各種センサや操作パネルからの信号が電子制御装置 150に入力 されると、 モニタ 10にエンジン回転数や作動油温等が表示されるようになって おり、 また、 電磁比例弁 3を介して、 ONZOFF弁 13が制御され、 ブーム 2 00, スティック 300， パケット 400が所望の伸縮変位となるように制御さ れるのである。

さらに、 一般に、 作業の信頼性を高めるために、 オペレータは、 油圧ショベル の操作中、常に機体動作指示を表す確認項目を呼称するよう義務づけられている。 この確認項目 （以下、 呼称項目という） とは、 例えば、 「エンジン始動」， 「電気 系統チェック」 等であって、 これらの呼称項目がオペレータによって機体動作時 に呼称されるのである。

加えて、 油圧ショベルの取扱い説明書や運転マニュアルには、 オペレータに対 する注意事項が十分に記載されており、 機体動作が適切に行なわれるようになつ ている。

しかしながら、 従来の建設機械は、 音声を用いて機体動作を制御していないの で、 オペレータは複雑な操作パネル等を操作せざるを得ず、 また、 モニタ画面を 確認しなければならないので、 長時間の作業となると、 煩わしさが露見しォペレ ータの負担が増大するという課題がある。

さらに、 オペレータが不適切な操作をした場合には、 機体位置， 作業体勢等の 状況あるいは環境にかかわらず、 その不適切な操作通りに機体が動作してしまう おそれがあるという課題がある。

そして、 ジョイスティック 6やペダル 9等の操作機材が、 運転操作室 6 0 0の スペースを占めているので、 オペレータの操作範囲を狭くしているという課題も あ 。

本発明は、 このような課題に鑑み創案されたもので、 オペレータがジョイステ イツク， ペダル等を操作したりスィッチ等を用いた入力操作をせずに、 オペレー タの発する音声により建設機械を適切に稼働させることが可能な、 建設機械にお ける音声機体制御装置を提供することを目的とする。 発明の開示

このため、 本発明の建設機械における音声機体制御装置は、 機体の動作に関す る音声による指示を表す音声コマンドを音声認識しうる音声認識手段と、 音声認 識手段における認識結果に基づいて、 機体の動作を制御しうる機体制御手段と、 機体の外側において機体の動作の障害となりうる物体の存在を検出しうる障害物 認識手段と、 障害物認識手段により機体の外側の物体の存在を検出すると、 機体 制御手段による制御に優先して音声コマンド通りの機体動作を禁止することによ り、 機体の不適切な動作を回避しうる回避手段とをそなえて構成されたことを特 徴としている。

従って、 このようにすれば、 操作者が音声コマンドにより機体を稼働させるこ とができ、 機体の不適切な動作を防止できる利点がある。

また、 上記の回避手段は、 さらに、 音声コマンド通りの機体動作の禁止に関す る優先度を決定する優先度決定手段をそなえ、 優先度決定手段にて決定された優 先度を用いて最適な機体動作を行なうように構成されてもよい。

そして、 上記の優先度決定手段は、 人に関するパラメータを最優先として、 優 先度を決定するように構成することもでき、 上記最優先の優先度が確保されてい る場合には、 機体に関するパラメータを次優先として、 優先度を決定するように 構成することもできる。

従って、 このようにすれば、操作者がいかなる音声コマンドを発したとしても、 機体の不適切な動作を回避できる利点がある。

さらに、 最適な機体動作がなされた際に、 その機体動作による回避の状況を操 作者に対して音声にて通知しうる音声通知手段をそなえて構成してもよい。

従って、 このようにすれば、 機体の不適切な動作を回避する際に、 音声によつ て状況が通知されるので、 操作者は状況についてモニタを見なくても、 瞬時に状 況を把握でき操作者の負担を軽減できる利点がある。 図面の簡単な説明

図 1は本発明の一実施形態に係る油圧ショベルの概略構成図である。

図 2は本発明の一実施形態に係る電子制御装置の機能プロック図である。

図 3は本発明の一実施形態に係る音声機体制御の第 1の態様を説明するための フローチャートである。

図 4は本発明の一実施形態に係る音声機体制御の第 2の態様を説明するための フローチャートである。

図 5は一般的な建設機械を示す斜視図である。

図 6は建設機械の機能ブロックの概略図である。 発明を実施するための最良の形態

(A) 本発明の第 1実施形態の説明

以下、 図面を参照して本発明の実施の形態を説明する。

図 1は本発明の一実施形態に係る油圧ショベル （建設機械） の概略構成図であ る。 この図 1に示す油圧ショベル 8 0は、 左右に無限軌道部 5 0 O Aを有する下 部走行体 5 0 0上に、 運転操作室 6 0 0付き上部旋回体 1 0 0が水平面内で回転 自在に設けられている。

そして、 この上部旋回体 1 0 0に対して、 一端が回動可能に接続されるブーム 2 0 0が設けられ、 また、 そのブーム 2 0 0に対して、 一端が関節部 2 1を介し て回動可能に接続されるスティック 3 0 0が設けられている。 さらに、 そのステ イツク 3 0 0に対して、 一端が関節部 2 2を介して回動可能に接続され、 先端が 地面を掘削し内部に土砂を収容可能なバケツト 4 0 0が設けられている。 これら のブーム 2 0 0， スティック 3 0 0及ぴパケット 4 0 0により、 関節式アーム機 構が構成されている。

また、 シリンダ式ァクチユエータとして、 ブーム油圧シリンダ 1 2 0 , スティ ック油圧シリンダ 1 2 1，バケツト油圧シリンダ 1 2 2が設けられている。なお、 以下、 ブーム油圧シリンダ 1 2 0をシリンダ 1 2 0ということがあり、 スティッ ク油圧シリンダ 1 2 1をシリ.ンダ 1 2 1ということがあり、 バケツト油圧シリン ダ 1 2 2を単にシリンダ 1 2 2ということがある。

ここで、 ブーム油圧シリンダ 1 2 0は、 その一端が上部旋回 ：1 0 0に対して 回動可能に接続されるとともに、 他端がブーム 2 0 0に対して回動可能に接続さ れている。 すなわち、 ブーム油圧シリンダ 1 2 0は、 上部旋回体 1 0 0とブーム 2 0 0との間に介装されて、 端部間の距離が伸縮することにより、 ブーム 2 0 0 を上部旋回体 1 0 0に対して回動させることができるようになつている。

また、 スティック油圧シリンダ 1 2 1は、 その一端がブーム 2 0 0に対して回 動可能に接続されるとともに、 他端がスティック 3 0 0に対して回動可能に接続 されている。 すなわち、 スティック油圧シリンダ 1 2 1は、 ブーム 2 0 0とステ イツク 3 0 0との間に介装されて、 端部間の距離が伸縮することにより、 スティ ック 3 0 0をブーム 2 0 0に対して回動させることができるものである。

さらに、 パケット油圧シリンダ 1 2 2は、 その一端がスティック 3 0 0に対し て回動可能に接続されるとともに、 他端がパケット 4 0 0に対して回動可能に接 続されている。 すなわち、 バケツト油圧シリンダ 1 2 2は、 スティック 3 0 0と パケット 4 0 0との間に介装されて、 端部間の距離が伸縮することにより、 パケ ット 4 0 0をスティック 3 0 0に対して回動させることができるものである。 な お、 パケット油圧シリンダ 1 2 2の先端部には、 リンク機構 1 3 0が設けられて いる。

このように、 上記のシリンダ 1 2 0〜1 2 2を用いて伸縮動作を行なうことに よりアーム機構を駆動する複数のシリンダ式ァクチユエータを有するシリンダ式 ァクチユエータ機構が構成されるのである。

また、 図 1に示す運転操作室 6 0 0内には、 ジョイスティック 6， 8， モニタ 1 0 , キーパッド付き操作パネル （操作パネルとも称する） 6 0 , マイク 6 1， スピーカ 6 2等が設けられている。

ここで、 ジョイスティック 6は、 スティック 3 0 0の位置調整及び上部旋回体 1 0 0の旋回操作に使用されるものであり、 ジョイスティック 8は、 ブーム 2 0 0及ぴバケツト 4 0 0の位置調整をするためのものである。 これらジョイスティ ック 6，. 8は、 それぞれ、 オペレータによって、 前， 後， 中立又は左， 右， 中立 に倒されることによって、 位置調整がなされるようになつている。

そして、 オペレータが倒したジョイスティック 6， 8の位置が、 それぞれ、 後 述する電子制御装置 1によって読み込まれる。 例えば、 ブーム 2 0 0を上下に動 かしたり、 スティック 3 0 0を内側に移動させたり （この動作をスティックイン という） 又は外側に移動させたり （この動作をスティックアウトという）、 若し くは、 パケット 4 0 0をすく う Z排土させたりするといつた各種の動作がなされ るのである。

加えて、 モニタ 1 0は、 作業状況等をモニタリングするものであり、 主にェン ジン回転速度や油温等を表示するものである。 さらに、 操作パネル 6 0は、 オペ レータが知りたい情報を表示させるために操作を行なうものである。 また、 マイ ク 6 1は、音声を電気信号に変えて電子制御装置 1に入力するものである。なお、 マイク 6 1から出力される電気信号は、 増幅器 (図示省略） を介して電子制御装 置 1に入力され、 後述するように音声認識処理が行なわれるようになつている。 さらに、 スピーカ 6 2は、 合成音声での報知のほか、 警告音の報知用として使用 されるものである。

なお、 図 1には表示されないが、 運転操作室 6 0 0内には、 走行ペダルが 2本 設けられている。 左走行ペダルで左クローラーを前後進させ、 右走行ペダルで右 クローラ—を前後進させるようになっていて、 オペレータがこれらの走行ペダル をそれぞれ、 同時に踏み込むことにより、 油圧ショベル 8ひが、 前進又は後進す るようになっている。 図 2は本発明の一実施形態に係る電子制御装置 1の機能プロック図であり、 電 子制御装置 1の入力側には、センサ 6 7と、マイク 6 1とが接続されるとともに、 電子制御装置 1の出力側には、モニタ 1 0と、 スピーカ 6 2と、電磁比例弁 3と、

O NZO F F弁 1 3とが接続されている。

ここで、 センサ 6 7は、 人間又は物体の存在を検出するものであり、 赤外線、 レーザーレーダ、 超音波等のいずれかの波長を用いたセンサである。 そして、 こ の検出された情報が電子制御装置 1に入力されるようになっている。

さらに、 O N/O F F弁 1 3は、 メインコントロールパルプであって、 シリン ダ 1 2 0〜 1 2 2の動作を制御するものである。 そして、 電磁比例弁 3は、 油圧 を用いることにより、 O N/O F F弁 1 3のスプール位置を制御するものである。 次に、 図 2に示す電子制御装置 1は、 建設機械における音声機体制御装置とし て機能し、 音声認識手段 1 a , 機体制御手段 1 e， 人物 '障害物認識手段 1 b， 回避手段 1 c， 音声合成手段 1 dをそなえて構成されている。

ここで、 音声認識手段 1 aは、 機体の動作に関する音声による指示を表す音声 コマンドを音声認識しうるものであり、 機体制御手段 1 eは、 音声認識手段 1 a における認識結果に基づいて、 機体の動作を制御しうるものである。

そして、 人物 ·障害物認識手段 （障害物認識手段） l bは、 機体の外側におい て機体の動作の障害となりうる物体の存在を換出しうるものであり、 回避手段 1 cは、 障害物認識手段 1 bにより機体の外側の物体の存在を検出すると、 機体制 御手段 1 eによる制御に優先して音声コマンド通りの機体動作を禁止することに より、 機体の不適切な動作を回避しうるものである。

また、 この回避手段 l cは、 さらに、 音声コマンド通りの機体動作の禁止に関 する優先度を決定する優先度決定手段 1 f をそなえ、 この優先度決定手段 1 f に て決定された優先度を用いて最適な機体動作を行なうようになっている。

加えて、 回避手段 1 cは、 機体の状況と機体周囲の環境の状況とに基づく優先 度を決定する優先度決定手段 1 f をそなえ、 この優先度決定手段 1 f ίこて決定さ れた優先度を用いて最適な機体動作を行なうようになっている。

この優先度決定手段 1 f は、 人に関するパラメータ （例えば、 オペレータや現 場作業者の機体に対する優位性が確保されること） を最優先として、 優先度を決 定するようになっており、 また、 優先度決定手段 1 f は、 上記最優先の優先度が 確保されている場合には、 機体に関するパラメータ （例えば、 機体の適切な動作 が確保されること） を次優先として、優先度を決定するようになっている。 なお、 次優先とは最優先以外のものであって、 2番目以降の優先度があるものを意味す る。

加えて、 音声合成手段 1 dは、 音声を合成して得られる合成音声を出力しうる ものであり、 この合成音声がスピーカ 6 2から発せられる。 そして、 これらの音 声合成手段 l d， スピーカ 6 2が協働し、 音声通知手段として機能するようにな つている。 すなわち、 音声通知手段は、 回避手段 1 cに接続され、 最適な機体動 作がなされた際に、 その機体動作による回避の状況をオペレータに対して音声に て通知しうるものである。

なお、 これらの音声認識手段 1 a， 機体制御手段 l e , 人物 ·障害物認識手段 1 b , 回避手段 l c， 音声合成手段 I dは、 それぞれ、 マイクロプロセッサ， R OMや R AM等のメモリ， 適宜の入出力インタフェース等によりその機能が発揮 される。

これにより、 オペレータが発した音声コマンドがマイク 6 1にて音声信号にさ れ、 音声認識手段 l aにて、 その音声コマンドが音声認識される。 一方、 センサ 6 7にて、 油圧ショベル 8 0の背後にいる現場作業者や、 他の建設用車両の存在 を示す信号が、 人物 ·障害物認識手段 1 bに入力され、 それらの存在が検出され るのである。

そして、 回避手段 1 cにて、 優先度に基づき、 音声コマンド通りの機体動作を 禁止 1 "る信号が出力され、 モニタ 1 0に機体動作が禁止される旨が表示されるこ とにより、 オペレータに対して視覚的に通知される。 また、 回避手段 l cからの 他の信号は、 音声合成手段 1 dに入力され、 機体動作が禁止される旨の合成音声 がスピーカ 6 2から発せられるのである。

このような構成によって、 オペレータは、 「ブーム上げ」， 「スティックイン」 等の音声コマンドを称呼し、 油圧ショベル 8 0を適切に運転する一方、 音声コマ ンド通りでは機体周辺の障害物との関係において機体が不適切な動作を行なうお それがある場合には、 音声コマンド通りの機体動作が禁止される。 以下、 この機 体動作の禁止について 2種類の態様を例にして説明する。

図 3は本発明の一実施形態に係る音声機体制御の第 1の態様を説明するための フローチャートであって、 オペレータが、 自分が意図したものとは異なる音声コ マンドを発した場合を表す。 まず、 オペレータが例えば 「ブーム上げ」 と発声す ると （ステップ A 1 )、 油圧ショベル 8 0の前方に現場作業者がいたり又は障害 物があるかどうかが判定される （ステップ A 2 )。 ここで、 現場作業者等が存在 する場合は、 Y E Sルートを通り、 油圧ショベル 8 0のブーム上げ動作が禁止さ れ （ステップ A 3 )、 一方、 ステップ A 2にて、現場作業者等が存在しなければ、 N Oルートを通り、 ブーム上げ動作が行なわれる （ステップ A 4 )。

また、 例えば工事用車両や他の建設機械が、 油圧ショベル 8 0の前方や後方に あるときに、 オペレータが、 「前進」 や 「パック」 等を発声しても、 油圧ショべ ル 8 0のバックが禁止され、 また、 ー且停止後に、 再発進する場合にも、 油圧シ ョベル 8 0の不適切な運転状況が生じないようになる。

このように、 機体の外側にいる現場作業者の負担が軽減されて、 通常の制御に 優先して音声コマンド通りの機体動作が禁止されるので、作業環境が改善される。 図 4は本発明の一実施形態に係る音声機体制御の第 2の態様を説明するための フローチャートである。まず、マイク 6 1にて得られた音声コマンド（例えば「ェ ンジン始動」） 力 音声認識手段 1 aによって認識されて （ステップ B l )、 ここ で、 その音声コマンドが登録されたオペレータであるかどうかが判定される （ス テツプ B 2 )。 そして、 音声認識手段 1 aは、 音声コマンドが油圧ショベル 8 0 の運転者として登録された人間であれば、 Y E Sルートを通り、 ステップ B 3に て、その音声コマンドに対応した運転動作（例えばエンジン始動） を許可するが、 ステップ B 2にてそうでない場合は、 N Oルートを通り、 機体の運転動作を許可 しない （ステップ B 4 )。

さらに、 例えばいたずら等の音声コマンドが発声されても、 その発声された音 声コマンドが許可されたものでなければ、 油圧ショベル 8 0の動作は許可されな い。

このように、 オペレータ以外の人が不適切な音声コマンドを発した場合には、 機体動作が許可されないので、例えば窃盗目的のためオペレータ以外の人が、「ェ ンジン始動」 等の音声コマンドを発しても、 窃盗を防止できる。 さらに、 いたず ら等で音声コマンドが発せられても、 機体の不適切な動作を防止できる。

そして、 このようにして、 オペレータが音声コマンドにより機体を稼働させる ことができるので、 作業者の作業環境の向上に寄与できるようになる。

また、 このようにして、音声コマンドによる操作のため、 ジョイスティック 6， 8や、 ペダル等が不要となり、 オペレータの手や足の自由度が増加し、 運転操作 室 6 0 0内のスペースを広く確保することができ、 そのスペースを大きく活用で きるようになる。 加えて、 油圧ショベル 8 0の外形寸法を大幅にコンパクトにで さる。

さらに、 このようにして、 機体の不適切な動作を回避させる際に、 音声によつ て、 状況が通知されるので、 オペレータは、 状況についての表示をモニタ 1 0に より見ることができオペレータの負担が軽減する。

加えて、 このようにして、 オペレータがいかなる音声コマンドを発したとして も、 機体の不適切な動作を回避させることが可能となる。

なお、 本発明は上述した実施態様に限定されるものではなく、 本発明の趣旨を 逸脱しない範囲で、 種々変形して実施することができる。

本発明は、 上記の油圧ショベル 8 0に限定されず、 その他、 例えば、 両手を運 転操作のために使用するような建設機械に対しても適用可能である。

産業上の利用可能性

以上のように、 本発明の建設機械における音声機体制御装置によれば、 機体の 不適切な動作を回避でき、 安全性が向上する。

また、 本発明の建設機械における音声機体制御装置によれば、 操作者は状況に ついてモニタを見なくても、 瞬時に状況を把握でき操作者の負担を軽減でき、 よ り一層安全性が向上する。

Claims

請 求 の 範 囲

1. 機体 （80) の動作に関する音声による指示を表す音声コマンドを音声認 織しうる音声認識手段 （1 a) と、

該音声認識手段 （1 a) における認識結果に基づいて、 該機体 （80) の動作 を制御しうる機体制御手段 （l e) と、

該機体 （80) の外側において該機体 （80) の動作の障害となり うる物体の 存在を検出しうる障害物認識手段 （l b) と、

該障害物認識手段 （l b) により該機体 （80) の外側の物体の存在を検出す ると、 該機体制御手段 （l e) による該制御に優先して該音声コマンド通りの該 機体動作を禁止することにより、 該機体 （80) の不適切な動作を回避しうる回 避手段 （l c) とをそなえて構成されたことを特徴とする、 建設機械における音 声機体制御装置。

2. 該回避手段 （1 c) 力 さらに、

該音声コマンド通りの該機体動作の禁止に関する優先度を決定する優先度決定 手段 （I f ) をそなえ、

該優先度決定手段 （1 f ) にて決定された該優先度を用いて最適な機体動作を 行なうように構成されたことを特徴とする、 請求の範囲第 1項記載の建設機械に おける音声機体制御装置。

3. 該優先度決定手段 （I f ) 力

人に関するパラメータを最優先として、 該優先度を決定するように構成された ことを特徴とする、請求の範囲第 2項記載の建設機械における音声機体制御装置。

4. 該優先度決定手段 （I f ) が、

上記最優先の優先度が確保されている場合には、 該機体 （80) に関するパラ メータを次優先として、該優先度を決定するように構成されたことを特徴とする、 請求の範囲第 3項記載の建設機械における音声機体制御装置。

5. 該最適な機体動作がなされた際に、 該機体動作による回避の状況を操作者! 対して音声にて通知しうる音声通知手段 （I d, 62) をそなえて構成された、 とを特徴とする、 請求の範囲第 3項記載の建設機械における音声機体制御装置。

6. 該最適な機体動作がなされた際に、 該機体動作による回避の状況を操作者! 対して音声にて通知しうる音声通知手段 （l d， 62) をそなえて構成された、 とを特徴とする、 請求の範囲第 4項記載の建設機械における音声機体制御装置。