JP6832548B2 - 作業機械の画像表示システム、作業機械の遠隔操作システム、作業機械及び作業機械の画像表示方法 - Google Patents

Description

本発明は、作業機械の画像表示システム、作業機械の遠隔操作システム、作業機械及び作業機械の画像表示方法に関する。

特許文献１に記載されているように、油圧ショベル等の作業機械を遠隔操作する技術が知られている。また、特許文献２は、作業機の位置情報に基づいて、作業支援情報のコンバイナ表面に沿った表示位置及び運転室の前方への奥行き表示位置を制御し、運転室のオペレータが知覚する作業支援情報の投影像を作業機の周囲に表示する技術が記載されている。

特開２００４−２９４０６７号公報 特開２０１４−１２９６７６号公報

作業機械を遠隔操作する場合、作業機械のオペレータ視点の画像を用いた操作では、表示される画像が２次元のため、遠近感に乏しくなる。そのため、作業機と作業対象との距離を把握することが難しくなり、作業効率が低下する可能性がある。また、作業機械に搭乗したオペレータが作業機を操作する場合も、オペレータの熟練度によっては作業機と作業対象との距離を把握することが難しい場合があり、作業効率が低下する可能性もある。単に奥行き表示位置を制御して作業支援情報を運転室の前方に投影しても、２次元の画面でオペレータに奥行きを伝えることは難しい。その結果、作業効率の低下を招く可能性がある。

本発明の態様は、作業機を備えた作業機械を用いて作業する際に、作業効率の低下を抑制することを目的とする。

本発明の第１の態様によれば、作業機械が有する作業機の位置を求める位置演算部と、前記作業機が移動するであろう経路に対応する経路画像を表示する表示部と、前記経路の位置と前記位置演算部によって求められた前記作業機の位置とに基づき、所定の位置を視点として前記作業機によって遮蔽される前記経路の部分に対応する前記経路画像を、前記作業機によって遮蔽されない前記経路の部分に対応する前記経路画像とは異なる形態で前記表示部に表示させる表示処理部と、を含む作業機械の画像表示システムが提供される。

本発明の第２の態様によれば、第１の態様において、前記表示処理部は、前記経路画像を、前記所定の位置から見た画像に変換して、前記表示部に表示させる作業機械の画像表示システムが提供される。

本発明の第３の態様によれば、第２の態様において、前記作業機械に取り付けられて対象を撮像する撮像装置を有し、前記表示処理部は、前記経路画像と、前記撮像装置によって撮像された前記作業機の画像とを合成して、前記表示部に表示させる作業機械の画像表示システムが提供される。

本発明の第４の態様によれば、第３の態様において、前記所定の位置は、前記作業機械に取り付けられて対象を撮像する撮像装置の位置である作業機械の画像表示システムが提供される。

本発明の第５の態様によれば、第１の態様から第４の態様のいずれか１つにおいて、前記表示処理部は、前記作業機と前記経路との間の距離に応じて、前記経路画像の表示形態を変更する作業機械の画像表示システムが提供される。

本発明の第６の態様によれば、第１の態様から第５の態様のいずれか１つに係る作業機械の画像表示システムと、前記作業機を操作する操作装置と、を含む作業機械の遠隔操作システムが提供される。

本発明の第７の態様によれば、第１の態様から第５の態様のいずれか１つに係る作業機械の画像表示システムを備えた作業機械が提供される。

本発明の第８の態様によれば、作業機械の作業機の位置を求め、前記作業機が移動するであろう経路の位置と前記作業機の位置とに基づいて、所定の位置を視点として前記作業機が前記経路を遮蔽するか否かを判定し、前記作業機が前記経路を遮蔽する部分の経路に対応する経路画像を、前記作業機が前記経路を遮蔽しない部分に対応する前記経路画像とは異なる形態で表示部に表示させる作業機械の画像表示方法が提供される。

本発明の態様は、作業機を備えた作業機械を用いて作業する際に、作業効率の低下を抑制することができる。

図１は、実施形態に係る作業機械の画像表示システム及び作業機械の遠隔操作システムを示す図である。 図２は、油圧ショベルの制御系を示す図である。 図３は、画像表示システムの処理装置が備える処理部の制御ブロック図である。 図４は、グローバル座標系の位置を撮像装置座標系の位置へ変換する例を示す図である。 図５は、所定の位置から経路画像を見た場合において、作業機が経路を遮蔽するか否かを判定する処理を説明するための図である。 図６は、経路画像と作業機のバケットとを表示装置に重畳して表示させた状態の一例を示す図である。 図７は、経路画像と作業機のバケットとを表示装置に重畳して表示させた状態の一例を示す図である。 図８は、実施形態に係る作業機械の画像表示方法の手順を示すフローチャートである。 図９は、実施形態の変形例に係る油圧ショベルの制御系を示す図である。

本発明を実施するための形態（実施形態）につき、図面を参照しつつ詳細に説明する。

＜作業機械の画像表示システム及び作業機械の遠隔操作システムの概要＞
図１は、実施形態に係る作業機械の画像表示システム１００及び作業機械の遠隔操作システム１０１を示す図である。作業機械の画像表示システム１００（以下においては適宜、画像表示システム１００と称する）は、作業機械のオペレータが、作業機械の一例である油圧ショベル１を遠隔操作する際に、油圧ショベル１の作業対象、より詳細には油圧ショベル１が備える作業機２による作業の対象である地形面、すなわち作業対象ＷＡ及び作業具であるバケット８を撮像装置１９で撮像し、得られた画像を表示装置５２に表示させる。このとき、画像表示システム１００は、バケット８を含む画像及びバケット８が移動する際の経路ｔｌに対応する経路画像ＴＬを表示装置５２に表示させる。

画像表示システム１００は、位置演算部５１Ｃと、経路演算部５１Ｒと、表示部である表示装置５２と、表示処理部５１Ｄとを含む。作業機械の遠隔操作システム１０１（以下においては適宜、遠隔操作システム１０１と称する）は、画像表示システム１００と、操作装置５３とを含む。実施形態において、画像表示システム１００の位置演算装置２３は油圧ショベル１に設置され、位置演算部５１Ｃ、経路演算部５１Ｒ、表示装置５２及び表示処理部５１Ｄは施設５０に設置される。施設５０は、油圧ショベル１を遠隔操作したり、油圧ショベル１を管理したりするために用いられる。

画像表示システム１００の位置演算部５１Ｃ、経路演算部５１Ｒ及び表示処理部５１Ｄは、施設５０内の処理装置５１の一部である。処理装置５１は、処理部５１Ｐと、記憶部５１Ｍと、入出力部５１ＩＯとを含む。処理部５１Ｐは、例えばＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphical Processing Unit）のようなプロセッサが例示される。記憶部５１Ｍは、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ハードディスクドライブ、ストレージデバイス又はこれらの組合せが例示される。入出力部５１ＩＯは、処理装置５１と外部の機器とを接続するためのインターフェース回路である。実施形態において、入出力部５１ＩＯには、外部の機器として、表示装置５２、操作装置５３及び通信装置５４が接続されている。入出力部５１ＩＯに接続される外部の機器はこれらに限定されるものではない。

処理部５１Ｐは、位置演算部５１Ｃ、経路演算部５１Ｒ及び表示処理部５１Ｄを有する。位置演算部５１Ｃは、油圧ショベル１の作業機２の位置を求める。作業機２の位置は、作業機２が有する作業具、実施形態ではバケット８の位置を含む。経路演算部５１Ｒは、作業機２が移動する際の経路ｔｌ、すなわち作業機２が移動するであろう経路ｔｌ（作業機２がこれから移動する予定の経路ｔｌ）を求める。実施形態においては、作業機２の一部であるバケット８が移動する際の経路ｔｌが求められるが、バケット８の経路には限定されない。経路ｔｌは、バケット８が移動する際に目標となる経路である。すなわち、経路ｔｌは、オペレータが作業機２を移動させる際の目安となることにより、オペレータを支援するための目標指標となる。

作業機２が移動する際の経路ｔｌは、例えば障害物に作業機２が接触しないような経路としたり、最短で移動できる経路としたり、最も効率よく移動できる経路としたり、現場の目標施工面又は設計面のような設計情報に沿った経路としたりすることができる。この他にも、作業機２が対象を掘削した後に作業機２を持ち上げながら旋回するホイスト旋回時の経路、及び積み込み又は廃土後に作業機２を下げながら旋回するホイスト旋回時の経路を作業機２が移動する経路ｔｌとしてもよい。実施形態において、バケット８の刃先８Ｔの幅方向における中心を経路ｔｌの基準の位置とするが、これに限らず、バケット８の刃先８Ｔの左端又は右端を基準点としてもよい。また、バケット８の刃先８Ｔ以外を経路ｔｌの基準の位置としてもよい。

表示処理部５１Ｄは、経路演算部５１Ｒによって求められた経路の位置と位置演算部５１Ｃによって求められた作業機２の位置とに基づき、求められた経路ｔｌを所定の位置を視点として、経路ｔｌが作業機２によって遮蔽される部分である第１部分ｔｌ１を求める。表示処理部５１Ｄは、所定の位置から見た場合において、経路ｔｌが作業機２によって遮蔽される第１部分ｔｌ１の経路画像ＴＬを、経路ｔｌが作業機２によって遮蔽されない部分である第２部分ｔｌ２の経路画像ＴＬとは異なる形態で表示装置５２に表示させる。作業機２は、作業機２を構成する部材としてバケット８、アーム７及びブーム６を含む。したがって、経路ｔｌが作業機２によって遮蔽されるとは、経路ｔｌが作業機２を構成する部材によって遮蔽されることを意味する。実施形態においては、経路ｔｌが作業機２の少なくとも一部、例えばバケット８、バケット８の刃８Ｂ、アーム７、ブーム６又はバケット８及びアーム７等によって遮蔽される場合、及び経路ｔｌが作業機２の全体によって遮蔽される場合のいずれも、経路ｔｌが作業機２によって遮蔽されることに含まれる。

所定の位置とは、油圧ショベル１を操作するオペレータの視点に対応する位置及び油圧ショベル１に取り付けられて対象を撮像する撮像装置１９の位置が例示される。油圧ショベル１を操作するオペレータの視点に対応する位置とは、オペレータが油圧ショベル１の運転席に着座して油圧ショベル１を操作する姿勢での目の位置が例示される。また、所定の位置としては、オペレータの視点に対応する位置及び撮像装置１９の位置には限定されず、これらの視点とは関係のない自由な視点であってもよい。自由な視点としては、鳥瞰視点及び仮想空間上に配置されるオペレータの視点等が例示される。

実施形態において、処理部５１Ｐは、記憶部５１Ｍから位置演算部５１Ｃ、経路演算部５１Ｒ及び表示処理部５１Ｄの機能を実現するためのコンピュータプログラムを読み込んで実行することにより、位置演算部５１Ｃ、経路演算部５１Ｒ及び表示処理部５１Ｄの機能を実現する。位置演算部５１Ｃ、経路演算部５１Ｒ及び表示処理部５１Ｄの機能は、処理回路によって実現されてもよい。処理回路は、位置演算部５１Ｃ、経路演算部５１Ｒ及び表示処理部５１Ｄの機能を実現するための専用のハードウェアである。処理回路は、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化されたプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、又はこれらを組み合わせたものが該当する。

表示装置５２は、処理装置５１によって生成された経路ｔｌと、油圧ショベル１の撮像装置１９によって撮像された画像、実施形態ではバケット８を含む画像とを表示する。表示装置５２は、液晶ディスプレイ又はプロジェクタが例示されるがこれらに限定されるものではない。通信装置５４は、アンテナ５４Ａを備えている。通信装置５４は、油圧ショベル１に備えられた通信装置２５と通信して、油圧ショベル１の情報を取得したり、油圧ショベル１に情報を送信したりする。

操作装置５３は、オペレータの左側に設置される左操作レバー５３Ｌと、オペレータの右側に配置される右操作レバー５３Ｒと、を有する。左操作レバー５３Ｌ及び右操作レバー５３Ｒは、前後左右の動作が２軸の動作に対応されている。例えば、右操作レバー５３Ｒの前後方向の操作は、油圧ショベル１が備える作業機２のブーム６の操作に対応している。右操作レバー５３Ｒの左右方向の操作は、作業機２のバケット８の操作に対応している。左操作レバー５３Ｌの前後方向の操作は、作業機２のアーム７の操作に対応している。左操作レバー５３Ｌの左右方向の操作は、油圧ショベル１の旋回体３の旋回に対応している。

左操作レバー５３Ｌ及び右操作レバー５３Ｒの操作量は、例えば、ポテンショメータ及びホールＩＣ等によって検出され、処理装置５１は、これらの検出値に基づいて油圧ショベル１の油圧回路に備えられた電磁制御弁を制御するための制御信号を生成する。この信号は、施設５０の通信装置５４及び油圧ショベル１の通信装置２５を介して作業機制御装置２７に送られる。作業機制御装置２７は、制御信号に基づいて電磁制御弁を制御することによって作業機２を制御する。電磁制御弁については後述する。

処理装置５１は、左操作レバー５３Ｌ及び右操作レバー５３Ｒの少なくとも一方に対する入力を取得し、作業機２及び旋回体３の少なくとも一方を動作させるための命令を生成する。処理装置５１は、生成した命令を、通信装置５４を介して油圧ショベル１の通信装置２５に送信する。油圧ショベル１が備える作業機制御装置２７は、通信装置２５を介して処理装置５１からの命令を取得し、命令にしたがって作業機２及び旋回体３の少なくとも一方を動作させる。

＜油圧ショベル１＞
油圧ショベル１は、通信装置２５と、作業機制御装置２７と、第１姿勢検出装置３２と、第２姿勢検出装置３３と、撮像装置１９と、アンテナ２１，２２と、位置演算装置２３とを備える。通信装置２５は、アンテナ２４に接続されており、施設５０に備えられた通信装置５４と通信する。作業機制御装置２７は、作業機２及び旋回体３の動作を制御する。第１姿勢検出装置３２は、作業機２の姿勢を検出する。第２姿勢検出装置３３は、油圧ショベル１の姿勢を検出する。撮像装置１９は、油圧ショベル１に取り付けられて、作業機２を撮像したり、作業対象ＷＡを撮像したりする。アンテナ２１，２２は、測位衛星２００からの電波を受信する。位置演算装置２３は、アンテナ２１，２２が受信した電波を用いて、アンテナ２１，２２のグローバル位置、すなわちグローバル座標系における位置を求める。

油圧ショベル１は、本体部としての車両本体１Ｂと作業機２とを有する。車両本体１Ｂは、旋回体３と走行体５とを有する。実施形態において、油圧ショベル１は、動力発生装置であるエンジンに、例えばディーゼルエンジン等の内燃機関が用いられるが、動力発生装置は内燃機関に限定されない。油圧ショベル１の動力発生装置は、例えば、内燃機関と発電電動機と蓄電装置とを組み合わせた、いわゆるハイブリッド方式の装置であってもよい。また、油圧ショベル１の動力発生装置は、内燃機関を有さず、蓄電装置と発電電動機とを組み合わせた装置であってもよい。

走行体５は、旋回体３を搭載する。走行体５は、履帯を有している。作業機２は、旋回体３の運転室４の側方側に取り付けられている。

旋回体３は、作業機２及び運転室４が配置されている側が前であり、カウンタウェイトが配置されている側が後である。旋回体３の前後方向がＸｍ軸の方向である。前に向かって左側が旋回体３の左であり、前に向かって右側が旋回体３の右である。旋回体３の左右方向は、幅方向又はＹｍ軸の方向ともいう。油圧ショベル１又は車両本体１Ｂは、旋回体３を基準として走行体５側が下であり、走行体５を基準として旋回体３側が上である。旋回体３の上下方向がＺｍ軸の方向である。油圧ショベル１が水平面に設置されている場合、下は鉛直方向、すなわち重力の作用方向側であり、上は鉛直方向とは反対側である。

作業機２は、ブーム６とアーム７と作業具であるバケット８とブームシリンダ１０とアームシリンダ１１とバケットシリンダ１２とを有する。バケット８は、複数の刃８Ｂを有する。刃先８Ｔは、刃８Ｂの先端である。バケット８は、複数の刃８Ｂを有するものには限定されない。バケット８は、チルトバケットであってもよい。この他にも、作業機２は、バケット８の代わりに、法面バケット又は削岩用のチップを備えた削岩用のアタッチメント等を作業具として備えていてもよい。

ブームシリンダ１０とアームシリンダ１１とバケットシリンダ１２とは、それぞれ油圧ポンプから吐出される作動油の圧力によって駆動される油圧シリンダである。ブームシリンダ１０はブーム６を駆動する。アームシリンダ１１は、アーム７を駆動する。バケットシリンダ１２は、バケット８を駆動する。

旋回体３の上部には、アンテナ２１，２２及びアンテナ２４が取り付けられている。アンテナ２１，２２は、油圧ショベル１の位置を検出するために用いられる。アンテナ２１，２２は、図１に示される位置演算装置２３と電気的に接続されている。

アンテナ２１，２２は、ＧＮＳＳ（Real Time Kinematic-Global Navigation Satellite Systems，ＧＮＳＳは全地球航法衛星システムをいう）用のアンテナである。アンテナ２１，２２は、Ｙｍ軸と平行な方向に沿って、一定距離だけ離れて配置されている。アンテナ２１，２２は、測位衛星２００からＧＮＳＳ電波を受信し、受信したＧＮＳＳ電波に応じた信号を出力する。アンテナ２１，２２は、ＧＰＳ（Global Positioning System）用のアンテナであってもよい。

位置演算装置２３は、油圧ショベル１の位置を検出する位置検出装置である。位置演算装置２３は、ＧＮＳＳを利用して油圧ショベル１の位置を検出する。

撮像装置１９は、図１に示される作業対象ＷＡを撮像するので、できる限り広い作業対象ＷＡからの情報を取得することが好ましい。このため、実施形態において、撮像装置１９は、旋回体３の運転室４の上方に設置される。撮像装置１９が設置される場所は運転席の上方に限定されるものではない。例えば、撮像装置１９は、運転室４の内部かつ上方に設置されてもよい。

撮像装置１９は、撮像面１９Ｌが旋回体３の前方を向いている。実施形態において、撮像装置１９は、ＣＣＤ（Charge Coupled Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサのようなイメージセンサを備えた単眼カメラであるが、これに限定されるものではない。

＜座標系について＞
実施形態において、油圧ショベル１の座標系は車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）であり、撮像装置１９の座標系は撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）である。ＧＮＳＳ又はＧＰＳの座標系は、グローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）である。グローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）は、地球に固定された原点を基準とした座標系である。

車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）は、車両本体１Ｂ、実施形態では旋回体３に固定された原点を基準とする座標系である。実施形態において、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）の原点は、例えば、旋回体３のスイングサークルの中心である。スイングサークルの中心は、旋回体３の旋回中心軸上に存在する。車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）のＺｍ軸は旋回体３の旋回中心軸となる軸である。Ｘｍ軸は、旋回体３の前後方向に延び、かつＺｍ軸と直交する軸である。Ｘｍ軸は、旋回体３の前後方向における基準軸である。Ｙｍ軸は、Ｚｍ軸及びＸｍ軸と直交する、旋回体３の幅方向に延びる軸である。

撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）の原点は、例えば、撮像装置１９の中心である。撮像装置１９の中心は、撮像装置１９の光学中心又は撮像装置１９が有するイメージセンサの受光面の中心とすることができる。撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）のＸｓ軸は、撮像装置１９の光学中心を通り、かつ撮像面１９Ｌと直交する方向に延びる軸である。Ｙｓ軸は、Ｘｓ軸と直交する軸である。Ｚｓ軸は、Ｘｓ軸及びＹｓ軸の両方と直交する軸である。

＜油圧ショベル１の制御系＞
図２は、油圧ショベル１の制御系１Ｓを示す図である。制御系１Ｓは、通信装置２５と、センサコントローラ２６と、作業機制御装置２７と、撮像装置１９と、位置演算装置２３と、第１姿勢検出装置３２と、第２姿勢検出装置３３と、油圧システム３６と、を備える。通信装置２５と、センサコントローラ２６と、作業機制御装置２７とは、信号線３５によって接続されている。このような構造により、通信装置２５と、センサコントローラ２６と、作業機制御装置２７とは、信号線３５を介して相互に情報をやり取りすることができる。制御系１Ｓ内で情報を伝達する信号線は、ＣＡＮ（Controller Area Network）のような車内信号線が例示される。

センサコントローラ２６は、ＣＰＵ（Central Processing Unit）等のプロセッサと、ＲＡＭ及びＲＯＭ等の記憶装置とを有する。センサコントローラ２６には、位置演算装置２３の検出値、撮像装置１９によって撮像された画像の情報、第１姿勢検出装置３２の検出値及び第２姿勢検出装置３３の検出値が入力される。センサコントローラ２６は、入力された検出値及び画像の情報を、信号線３５及び通信装置２５を介して、図１に示される施設５０の処理装置５１に送信する。

作業機制御装置２７は、ＣＰＵ（Central Processing Unit）等のプロセッサと、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等の記憶装置とを有する。作業機制御装置２７は、施設５０の処理装置５１によって生成された、作業機２及び旋回体３の少なくとも一方を動作させるための命令を、通信装置２５を介して取得する。作業機制御装置２７は、取得した命令に基づいて、油圧システム３６の電磁制御弁２８を制御する。

油圧システム３６は、電磁制御弁２８と、油圧ポンプ２９と、ブームシリンダ１０、アームシリンダ１１、バケットシリンダ１２及び旋回モータ３０等の油圧アクチュエータとを備える。油圧ポンプ２９は、エンジン３１によって駆動されて、油圧アクチュエータを動作させるための作動油を吐出する。作業機制御装置２７は、電磁制御弁２８を制御することにより、ブームシリンダ１０、アームシリンダ１１、バケットシリンダ１２及び旋回モータ３０に供給される作動油の流量を制御する。このようにして、作業機制御装置２７は、ブームシリンダ１０、アームシリンダ１１、バケットシリンダ１２及び旋回モータ３０の動作を制御する。

センサコントローラ２６は、第１ストロークセンサ１６、第２ストロークセンサ１７及び第３ストロークセンサ１８の検出値を取得する。第１ストロークセンサ１６はブームシリンダ１０に、第２ストロークセンサ１７はアームシリンダ１１に、第３ストロークセンサ１８はバケットシリンダ１２に、それぞれ設けられる。

第１ストロークセンサ１６は、ブームシリンダ１０の長さであるブームシリンダ長を検出してセンサコントローラ２６に出力する。第２ストロークセンサ１７は、アームシリンダ１１の長さであるアームシリンダ長を検出してセンサコントローラ２６に出力する。第３ストロークセンサ１８は、バケットシリンダ１２の長さであるバケットシリンダ長を検出してセンサコントローラ２６に出力する。

ブームシリンダ長、アームシリンダ長及びバケットシリンダ長が決定されれば、作業機２の姿勢が決定される。これらを検出する第１ストロークセンサ１６、第２ストロークセンサ１７及び第３ストロークセンサ１８は、作業機２の姿勢を検出する第１姿勢検出装置３２に相当する。第１姿勢検出装置３２は、第１ストロークセンサ１６、第２ストロークセンサ１７及び第３ストロークセンサ１８に限定されるものではなく、角度検出器であってもよい。

センサコントローラ２６は、第１ストロークセンサ１６が検出したブームシリンダ長から、油圧ショベル１の座標系である車体座標系における水平面と直交する方向（Ｚｍ軸方向）に対するブーム６の傾斜角であるブーム角を算出する。センサコントローラ２６は、第２ストロークセンサ１７が検出したアームシリンダ長から、ブーム６に対するアーム７の傾斜角であるアーム角を算出する。センサコントローラ２６は、第３ストロークセンサ１８が検出したバケットシリンダ長から、アーム７に対するバケット８の傾斜角であるバケット角を算出する。ブーム６、アーム７及びバケット８の傾斜角は、作業機２の姿勢を示す情報である。すなわち、センサコントローラ２６は、作業機２の姿勢を示す情報を求める。センサコントローラ２６は、算出した傾斜角を、信号線３５及び通信装置２５を介して、図１に示される施設５０の処理装置５１に送信する。

位置演算装置２３は、ＣＰＵ等のプロセッサと、ＲＡＭ及びＲＯＭ等の記憶装置とを有する。位置演算装置２３は、油圧ショベル１の位置を求める。詳細には、位置演算装置２３は、アンテナ２１，２２から取得した信号を用いて、グローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）におけるアンテナ２１，２２の位置及び旋回体３の方位を検出して、出力する。旋回体３の方位は、グローバル座標系における旋回体３の向きを表す。旋回体３の向きは、例えば、グローバル座標系のＺｇ軸周りにおける旋回体３の前後方向の向きで表すことができる。方位角は、旋回体３の前後方向における基準軸の、グローバル座標系のＺｇ軸周りにおける回転角である。方位角によって旋回体３の方位が表される。

第２姿勢検出装置３３は、実施形態においてはＩＭＵ（Inertial Measurement Unit：慣性計測装置）である。第２姿勢検出装置３３は、油圧ショベル１の動作及び姿勢を検出する。以下において、第２姿勢検出装置３３を、ＩＭＵ３３と称することもある。油圧ショベル１の動作は、旋回体３の動作及び走行体５の動作の少なくとも一方を含む。油圧ショベル１の姿勢は、油圧ショベル１のロール角、ピッチ角及びヨー角によって表される。実施形態において、第２姿勢検出装置３３は、油圧ショベル１の角度又は角速度、及び加速度を検出して出力する。第２姿勢検出装置３３によって検出される油圧ショベル１の角度は、油圧ショベル１のロール角、ピッチ角及びヨー角である。

＜処理装置５１が実行する処理の詳細＞
油圧ショベル１のオペレータが、遠隔操作システム１０１の表示装置５２を視認しながら操作装置５３を用いて油圧ショベル１を遠隔操作する場合、処理装置５１は、オペレータによる遠隔操作の指標となるガイドとして、経路画像ＴＬを表示装置５２に表示させる。表示装置５２の画面は２次元画面であり、奥行きをオペレータに伝えることは難しい。

このため、処理装置５１は、経路画像ＴＬを作業機２の画像に重畳して表示する場合、所定の位置、例えばオペレータの視点に対応する位置又は油圧ショベル１が有する撮像装置１９の位置から見た場合に、経路ｔｌが作業機２によって遮蔽されるか否かの情報を表示装置５２に表示する。詳細には、処理装置５１は、所定の位置から見た場合において、経路ｔｌが作業機２によって遮蔽される第１部分を求める。そして、処理装置５１は、経路ｔｌが作業機２によって遮蔽される第１部分の経路画像ＴＬを、経路ｔｌが作業機２によって遮蔽されない第２部分の経路画像ＴＬとは異なる形態で表示装置５２に表示させる。実施形態において、処理装置５１は、所定の位置から見た場合において、経路ｔｌが作業機２によって遮蔽される第１部分の経路画像ＴＬを表示せず、経路ｔｌが作業機２によって遮蔽されない第２部分の経路画像ＴＬを表示する。このような処理により、処理装置５１は、経路ｔ１よりも作業機２が油圧ショベル１の撮像装置１９側にあるか、奥側にあるかの情報、すなわち、奥行きの情報をオペレータに伝えることができるので、遠隔操作における作業の効率低下を抑制できる。

図３は、画像表示システム１００の処理装置５１が備える処理部５１Ｐの制御ブロック図である。図４は、グローバル座標系の位置を撮像装置座標系の位置へ変換する例を示す図である。図５は、所定の位置から経路画像ＴＬを見た場合において、経路ｔｌが作業機２によって遮蔽されるか否かを判定する処理を説明するための図である。図６及び図７は、経路画像ＴＬと作業機２のバケット８とを表示装置５２に重畳して表示させた状態の一例を示す図である。

処理部５１Ｐは、車両情報ＩＦｍを受け付けて、受け付けた車両情報ＩＦｍを位置演算部５１Ｃと、経路演算部５１Ｒと、表示処理部５１Ｄに与える。表示処理部５１Ｄは、視点変換部５１ＤＴ、作業機領域演算部５１ＤＭ、経路描画部５１ＤＲ、遮蔽演算部５１ＤＣ及び画像合成部５１ＤＳを有する。

車両情報ＩＦｍは、油圧ショベル１の位置及び姿勢と、油圧ショベル１が有する作業機２の姿勢とを含む。油圧ショベル１の位置Ｐｇは、位置演算装置２３によって検出された、グローバル座標系におけるアンテナ２１及びアンテナ２２の少なくとも一方の位置である。油圧ショベル１の姿勢は、第２姿勢検出装置３３によって検出された、油圧ショベル１のロール角θｒ、ピッチ角θｐ及びヨー角θｙである。ヨー角は、位置演算装置２３によって、２個のアンテナ２１，２２の相対位置から求められた方位角であってもよい。

作業機２の姿勢は、第１姿勢検出装置３２である第１ストロークセンサ１６、第２ストロークセンサ１７及び第３ストロークセンサ１８によって検出される。実施形態において、作業機２の姿勢は、ブーム角θｂ、アーム角θａ及びバケット角θｋである。

車両情報ＩＦｍは、油圧ショベル１のセンサコントローラ２６から通信装置２５を介して施設５０の通信装置５４に送られる。車両情報ＩＦｍを受け取った通信装置５４は、処理装置５１の入出力部５１ＩＯに車両情報ＩＦｍを与える。入出力部５１ＩＯは、受け取った車両情報ＩＦｍを、処理部５１Ｐに与える。処理部５１Ｐの位置演算部５１Ｃ、経路演算部５１Ｒ及び表示処理部５１Ｄの視点変換部５１ＤＴは、それぞれ受け取った車両情報ＩＦｍを用いて処理を実行する。

位置演算部５１Ｃは、受け取った車両情報ＩＦｍのうち、作業機２に関する情報を用いて、作業機２の位置を求める。作業機２に関する情報は、作業機２のブーム角θｂ、アーム角θａ及びバケット角θｋである。作業機２の寸法、例えばブーム６の長さ、アーム７の長さ及びバケット８の回転中心から刃先８Ｔまでの長さは、作業機２のモデルとして予め処理装置５１の記憶部５１Ｍに記憶されている。

例えば、作業機２の位置として例えばバケット８の刃先８Ｔの位置を求める場合、作業機２のブーム角θｂ、アーム角θａ及びバケット角θｋと、ブーム６の長さ、アーム７の長さ及びバケット８の回転中心から刃先８Ｔまでの長さとにより、ブーム６の旋回体３側の基端と刃先８Ｔとの位置関係が分かる。油圧ショベル１の位置Ｐｇ、実施形態ではアンテナ２１及びアンテナ２２の少なくとも一方の位置と、ブーム６の旋回体３側の基端との位置関係は予め求められるので、位置演算部５１Ｃは、油圧ショベル１の位置Ｐｇと、作業機２に関する情報と、作業機２の寸法と、旋回体３の方位とから、グローバル座標系におけるバケット８の刃先８Ｔの位置を求めることができる。旋回体３の方位は、アンテナ２１，２２によって得られたこれらの位置から求められてもよいし、ＩＭＵ３３によって検出された旋回体３のヨー角が用いられてもよい。

このように、作業機２の位置であるバケット８の刃先８Ｔの位置は、作業機２の位置及び油圧ショベル１の姿勢、より詳細には作業機２の位置及び旋回体３の姿勢から求められる。作業機２の位置は、作業機２の寸法及び作業機２の姿勢から求められる。実施形態において位置演算部５１Ｃは、作業機２の位置として、作業機２が有するバケット８、アーム７及びブーム６の位置を求める。位置演算部５１Ｃは、作業機２の位置を求める場合、例えば、作業機２の寸法及び形状の情報に基づく作業機２のモデルを用いて、作業機２の位置を求める。作業機２の寸法及び形状は、作業機２の設計情報又はＣＡＤ（Computer Aided Design）のモデルに含まれる。

前述した説明において、位置演算部５１Ｃは、作業機２の位置としてバケット８の刃先８Ｔを求めた。位置演算部５１Ｃは、作業機２の刃先８Ｔ以外の位置を求める場合は、作業機２の外形を把握できる複数の代表位置を求め、複数の代表位置で囲まれる範囲内の位置を作業機２の位置としてもよい。作業機２の位置としては、バケット８の位置、アーム７の位置及びブーム６の位置の少なくとも１つが含まれる。前述した刃先８Ｔの位置は、バケット８の位置の一部である。実施形態において、位置演算部５１Ｃは、バケット８の位置、アーム７の位置及びブーム６の位置を作業機２の位置として求める。

位置演算部５１Ｃは、表示装置５２の画面に占める作業機２の部分、経路ｔｌの位置及び処理の負荷等に応じて、作業機２のうち、作業機２の位置を求める対象を変更してもよい。例えば、表示装置５２の画面にバケット８と、アーム７の一部とが写る場合には、位置演算部５１Ｃは、バケット８の位置及びアーム７の位置を作業機２の位置として求めてもよい。このようにすることで、位置演算部５１Ｃが実行する処理の負荷が低減される。位置演算部５１Ｃは、バケット８、アーム７及びブーム６のすべての位置を求めると処理の負荷が過大になる場合、作業機２のバケット８の位置のみを作業機２の位置として求めてもよい。このようにすることで、位置演算部５１Ｃが実行する処理の負荷が低減されるので、画像表示システム１００のハードウェア資源の負荷が軽減される。

経路演算部５１Ｒは、受け取った車両情報ＩＦｍに基づき、作業機２が移動する際の経路、実施形態ではバケット８が移動する際の経路を求める。この経路は、前述した通り、作業機２が移動する際に目標とする経路である。経路を求めるにあたっては、油圧ショベル１の現在の位置及び姿勢に関する情報が必要である。経路演算部５１Ｒは車両情報ＩＦｍに含まれる油圧ショベル１の現在の位置Ｐｇ及び姿勢を基準に経路を求める。経路演算部５１Ｒが経路を求めるにあたって、経路演算部５１Ｒは、油圧ショベル１の撮像装置１９、又は油圧ショベル１に搭載されたステレオカメラ若しくはレーザスキャナのような距離検出装置によって得られた油圧ショベル１の周囲の情報を用いてもよい。例えば、油圧ショベル１がダンプトラックに積荷を積載する場合、経路演算部５１Ｒは、作業機２がダンプトラックと干渉しないような経路を求めることができる。この経路は、グローバル座標系における経路である。

視点変換部５１ＤＴは、経路画像ＴＬ及び作業機２の位置を、所定の位置、例えばオペレータの視線に対応する位置又は撮像装置１９の位置から見た画像に変換するための変換行列を求める。図４を参照しながら、グローバル座標系（Ｘｇ，Ｙｇ，Ｚｇ）における作業機２の位置Ｐｇｋ（ｘｇ，ｙｇ，ｚｇ）を、撮像装置座標系（Ｘｓ，Ｙｓ，Ｚｓ）における作業機２の位置Ｐｓｋ（ｘｓ，ｙｓ，ｚｓ）に変換する一例を説明する。

視点変換部５１ＤＴは、グローバル座標系における作業機２の位置Ｐｇｋ（ｘｇ，ｙｇ，ｚｇ）を、車体座標系（Ｘｍ，Ｙｍ，Ｚｍ）における作業機２の位置Ｐｍｋ（ｘｍ，ｙｍ，ｚｍ）に変換するための、第１の変換行列Ｒｇを求める。位置Ｐｇｋと第１の変換行列Ｒｇとの積が演算されることにより、グローバル座標系における作業機２の位置Ｐｇｋは、車体座標系における作業機２の位置Ｐｍｋに変換される。第１の変換行列Ｒｇは、油圧ショベル１のロール角θｒ、ピッチ角θｐ、ヨー角θｙ、及びグローバル座標系と車体座標系との並進成分を含む、３×４の行列である。油圧ショベル１のロール角θｒ、ピッチ角θｐ、ヨー角θｙは、車両情報ＩＦｍから得られる。グローバル座標系と車体座標系との並進成分は、車両情報ＩＦｍに含まれる油圧ショベル１の位置Ｐｇ、及び油圧ショベル１の位置Ｐｇと車体座標系との位置関係から求めることができる。

次に、視点変換部５１ＤＴは、車体座標系における作業機２の位置Ｐｍｋを、撮像装置座標系における作業機２の位置Ｐｓｋに変換するための、第２の変換行列Ｒｍを求める。このため、位置Ｐｍｋと第２の変換行列Ｒｍとの積が演算されることにより、車体座標系における作業機２の位置Ｐｍｋは、撮像装置座標系における作業機２の位置Ｐｓｋに変換される。第２の変換行列Ｒｍは、Ｘｓ軸周りにおける撮像装置１９のずれを表す角度α、Ｙｓ軸周りにおける撮像装置１９のずれを表す角度β、Ｚｓ軸周りにおける撮像装置１９のずれを表す角度γ、及び車体座標系と撮像装置座標系との並進成分を含む、３×４の行列である。角度α，β，γは予め求められる。また、車体座標系と撮像装置座標系との並進成分は、油圧ショベル１における両者の位置関係から予め求められる。

作業機領域演算部５１ＤＭは、視点変換部５１ＤＴによって求められた第１の変換行列Ｒｇ及び第２の変換行列Ｒｍを用いて、グローバル座標系における作業機２の位置Ｐｇｋを、撮像装置座標系における位置Ｐｓｋに変換する。経路描画部５１ＤＲは、視点変換部５１ＤＴによって求められた第１の変換行列Ｒｇ及び第２の変換行列Ｒｍを用いて、グローバル座標系における経路ｔｌ又は経路画像ＴＬを、撮像装置座標系における経路ｔｌ又は経路画像ＴＬに変換する。

図５に示されるように、遮蔽演算部５１ＤＣは、作業機２の経路ｔｌ又は経路ｔｌに対応する経路画像ＴＬと、作業機２の位置Ｐｓｋとに基づき、所定の位置、例えば撮像装置１９の位置から経路ｔｌを見た場合において、経路ｔｌが作業機２によって遮蔽される第１部分を求める。この場合、作業機２の経路ｔｌ又は経路ｔｌに対応する経路画像ＴＬは、経路演算部５１Ｒによって求められ、第１の変換行列Ｒｇ及び第２の変換行列Ｒｍによって撮像装置座標系に変換された経路ｔｌ又は経路画像ＴＬである。作業機２の位置Ｐｓｋは、位置演算部５１Ｃによって求められ、第１の変換行列Ｒｇ及び第２の変換行列Ｒｍによって撮像装置座標系に変換された位置である。遮蔽演算部５１ＤＣは、経路ｔｌが作業機２によって遮蔽される第１部分の経路画像ＴＬを、経路ｔｌが作業機２によって遮蔽されない第２部分の経路画像ＴＬとは異なる形態で表示装置５２に表示させるための情報を生成する。

撮像装置１９が第１の位置ＰＬａにあり、経路ｔｌ及び経路画像ＴＬが実線で表される方である場合、つまり経路ｔｌの手前である撮像装置１９側に作業機２が存在する場合、作業機２、この例ではバケット８の経路ｔｌ又は経路ｔｌに対応する経路画像ＴＬがバケット８によって遮蔽される第１部分ｔｌ１は、位置ａから位置ｂの範囲である。この範囲を、以下においては適宜、範囲ａｂと称する。経路ｔｌ又は経路ｔｌに対応する経路画像ＴＬがバケット８によって遮蔽される第１部分ｔｌ１は、所定の位置である撮像装置１９の位置からバケット８及び経路ｔｌ又は経路ｔｌを見た場合に、バケット８で経路ｔｌ又は経路画像ＴＬが遮蔽される部分である。遮蔽演算部５１ＤＣは、例えば、コンピュータグラフィックス技術におけるＺバッファ又はＷバッファ（Catmull, E. A Subdivision Algorithm for Computer Display of Curved Surfaces. 1974を参照）と称される処理を用いて、経路ｔｌが作業機２によって遮蔽される第１部分ｔｌ１と遮蔽されない第２部分ｔｌ２とを求めることができる。

表示処理部５１Ｄの遮蔽演算部５１ＤＣは、範囲ａｂに存在する経路画像ＴＬを、範囲ａｂ外の経路画像ＴＬとは異なる形態で表示装置５２に表示させる。例えば、遮蔽演算部５１ＤＣは、範囲ａｂ内の経路画像ＴＬを透明又は半透明で、範囲ａｂ外の経路画像ＴＬには何らかの色を付けて表示させたり、範囲ａｂ内の経路画像ＴＬの色と、範囲ａｂ外の経路画像ＴＬの色とを異ならせて表示させたり、範囲ａｂ内の経路画像ＴＬの線種と、範囲ａｂ外の経路画像ＴＬの線種とを異ならせて表示させたりする。線種は、線の太さを含む。範囲ａｂ内の経路画像ＴＬを透明で表示するとは、範囲ａｂ内の経路画像ＴＬの部分に、範囲ａｂ外の経路画像ＴＬとは異なる形態である作業機２の画像を表示することをいう。実施形態において、範囲ａｂ内の経路画像ＴＬを透明で表示する場合、範囲ａｂ内の経路画像ＴＬの部分に、バケット８の画像が表示される。

撮像装置１９が第１の位置ＰＬａにあり、経路ｔｌ及び経路画像ＴＬが一点鎖線で表される方である場合、つまり経路ｔｌが作業機２と撮像装置１９との間に存在する場合、バケット８の経路ｔｌ又は経路ｔｌに対応する経路画像ＴＬがバケット８によって遮蔽される部分は存在しない。すなわち、所定の位置である撮像装置１９の位置からバケット８及び経路ｔｌ又は経路ｔｌを見た場合に、バケット８で経路ｔｌ又は経路画像ＴＬが遮蔽される部分は存在しない。この場合、遮蔽演算部５１ＤＣは、経路画像ＴＬをすべて同一の形態で表示装置５２に表示させる。

撮像装置１９が第２の位置ＰＬｂにあり、経路ｔｌ及び経路画像ＴＬが実線で表される方である場合、バケット８の経路ｔｌ又は経路ｔｌに対応する経路画像ＴＬがバケット８によって遮蔽される第１部分ｔｌ１は、位置ｃから位置ｄの範囲である。この範囲を、以下においては適宜、範囲ｃｄと称する。範囲ｃｄの外側は、バケット８の経路ｔｌ又は経路ｔｌに対応する経路画像ＴＬがバケット８によって遮蔽されない第２部分ｔｌ２である。所定の位置である撮像装置１９の位置が変化すると、経路ｔｌ又は経路ｔｌに対応する経路画像ＴＬがバケット８によって遮蔽される部分は異なる。

例えば、油圧ショベル１に実際に搭乗するオペレータがヘッドマウントディスプレイを装着し、ヘッドマウントディスプレイに経路画像ＴＬが表示される場合がある。この場合、オペレータが頭を動かす等の動作をすることによってオペレータの視点の位置が変化すると、ヘッドマウントディスプレイの位置も変化する。オペレータの視点の位置、すなわちヘッドマウントディスプレイの位置が変化した場合、遮蔽演算部５１ＤＣは、変化後の位置に基づいて、経路ｔｌが作業機２によって遮蔽される部分を求めてもよい。

画像合成部５１ＤＳは、遮蔽演算部５１ＤＣによって求められた経路画像ＴＬと、撮像装置１９によって撮像された作業機２の画像とを合成して、表示装置５２に表示させる。経路画像ＴＬは３次元空間内の画像であるが、表示装置５２に表示される経路画像ＴＬは２次元の画像である。また、撮像装置１９によって撮像された作業機２の画像も２次元の画像である。したがって、画像合成部５１ＤＳは、３次元空間、すなわち撮像装置座標系内に定義された経路画像ＴＬを、２次元面上に投影する透視投影変換を実行し、変換後の経路画像ＴＬを撮像装置１９によって撮像された作業機２の画像と合成して、表示装置５２に表示させる。

経路画像ＴＬと撮像装置１９によって撮像された作業機２の画像とが合成されると、図６及び図７に示されるように、経路画像ＴＬと作業機２、この例ではバケット８とが表示装置５２に重畳されて表示される。図６は、オペレータの視点に対応する位置又は撮像装置１９の位置から見た場合に、バケット８が経路ｔｌよりも奥に存在する状態を示す。この場合、経路ｔｌはバケット８に遮蔽される部分がないので、経路画像ＴＬは異なる形態で表示される部分を有さない。図７は、バケット８が経路ｔｌよりも手前に存在し、経路ｔｌがバケット８によって遮蔽される部分を透明に表示した例を示す。この例では、経路ｔｌがバケット８によって遮蔽される部分に、経路ｔｌがバケット８によって遮蔽されない部分とは異なる形態であるバケット８の画像が表示される。このように、画像表示システム１００、詳細には処理装置５１は、経路ｔｌよりも作業機２が撮像装置１９側にあるか、奥側にあるかの情報をオペレータに伝えることができるので、遠隔操作における作業の効率低下を抑制できる。

＜作業機械の画像表示方法＞
図８は、実施形態に係る作業機械の画像表示方法の手順を示すフローチャートである。作業機械の画像表示方法は、画像表示システム１００によって実現される。ステップＳ１０１において、処理装置５１の位置演算部５１Ｃは、作業機２の位置を求める。ステップＳ１０２において、処理装置５１の表示処理部５１Ｄは、所定の位置から見た場合に、経路ｔｌが作業機２によって遮蔽されるかを判定する。経路ｔｌが作業機２によって遮蔽される場合（ステップＳ１０２、Ｙｅｓ）、ステップＳ１０３において、表示処理部５１Ｄは、遮蔽される部分の経路画像ＴＬを、遮蔽されない部分の経路画像ＴＬとは異なる形態で表示装置５２に表示させる。経路ｔｌが作業機２によって遮蔽されない場合（ステップＳ１０２、Ｎｏ）、ステップＳ１０４において、表示処理部５１Ｄは、すべての経路画像ＴＬを、同一の形態で表示装置５２に表示させる。

＜実施形態の変形例＞
図９は、実施形態の変形例に係る油圧ショベル１の制御系１Ｓａを示す図である。前述した画像表示システム１００及び遠隔操作システム１０１は、図１に示される施設５０の操作装置５３を用いて油圧ショベル１を遠隔操作する。変形例は、油圧ショベル１の運転室４内に表示装置５２ａが備えられており、油圧ショベル１のオペレータの操作を補助するために、経路画像ＴＬが表示装置５２ａに表示される。

制御系１Ｓａは、前述した制御系１Ｓの信号線３５に、処理装置５１が接続されている。また、制御系１Ｓａは、前述した制御系１Ｓの信号線３５に、作業機制御装置１７を介して操作装置５３ａが接続されている。処理装置５１には、表示装置５２ａが接続されている。制御系１Ｓａが備える処理装置５１は、前述した画像表示システム１００及び遠隔操作システム１０１において図１に示される施設５０に備えられる処理装置５１と同様の機能を有している。処理装置５１及び表示装置５２ａによって、変形例に係る画像表示システム１００ａが構成される。

制御系１Ｓａの表示装置５２ａは、運転席のフロントウィンドウＦＧに画像を投影するヘッドアップディスプレイである。表示装置５２ａは、フロントウィンドウＦＧ越しに見えるバケット８に合わせた位置に、経路画像ＴＬを表示する。表示装置５２ａはヘッドアップディスプレイには限定されず、通常のディスプレイであってもよい。

操作装置５３ａは、油圧ショベル１を操作するための装置であり、左操作レバー５３Ｌａ及び右操作レバー５３Ｒａを備えている。操作装置５３ａは、パイロット油圧方式であってもよいし、電気方式であってもよい。

制御系１Ｓａを備える油圧ショベル１は、画像表示システム１００ａによって、所定の位置、例えば運転席に着座したオペレータの視点に対応する位置から経路ｔｌを見た場合の経路画像ＴＬが、フロントウィンドウＦＧに表示される。このような処理により、画像表示システム１００ａは、油圧ショベル１を操作するオペレータに、フロントウィンドウＦＧに表示された経路画像ＴＬを用いて、経路ｔｌよりも作業機２がオペレータ側にあるか、奥側にあるかの情報をオペレータに伝えることができる。その結果、画像表示システム１００ａは、作業の効率低下を抑制できる。バケット８が油圧ショベル１の車両本体１Ｂから離れるほど、オペレータは遠近感を把握し難くなる。このような場合において、画像表示システム１００ａは作業の効率低下を抑制することに有効である。

また、経験の浅いオペレータも、画像表示システム１００ａを備える油圧ショベル１を用いることにより、バケット８の遠近感を把握しやすくなる。その結果、作業効率及び作業の精度の低下が抑制される。さらに、夜間作業のように、オペレータが実際の作業対象ＷＡを目視し難い状況であっても、オペレータは表示装置５２ａに表示された経路画像ＴＬを見ながら作業することができるので、作業効率の低下が抑制される。

実施形態及び変形例において、画像表示システム１００，１００ａは、所定の位置から経路ｔｌを見た場合において作業機２が経路ｔｌを遮蔽する第１部分を求め、第１部分に対応する経路画像ＴＬを、作業機２が経路ｔｌを遮蔽しない第２部分に対応する経路画像ＴＬとは異なる形態で表示装置５２，５２ａに表示させる。このような処理により、画像表示システム１００，１００ａは、作業機２を備えた作業機械を用いて作業する際に、作業効率の低下が抑制される。

実施形態及び変形例において、画像表示システム１００，１００ａは、経路画像ＴＬに加えて、経路画像ＴＬと作業機２との距離を表示装置５２，５２ａに表示してもよい。また、画像表示システム１００，１００ａにおいて、処理装置５１は、作業機２と経路ｔｌとの間の距離に応じて、経路画像ＴＬの表示形態を変更してもよい。例えば、処理装置５１は、作業機２と経路ｔｌとの距離が大きくなるにしたがって経路画像ＴＬの色を変更したり、作業機２と経路ｔｌとの距離が大きくなるにしたがって経路画像ＴＬの輝度を大きくしたり、作業機２と経路ｔｌとの距離が大きくなるにしたがって経路画像ＴＬを太くしたりすることができる。

実施形態及び変形例において、位置演算部５１Ｃは、作業機２の位置として作業機２の外形を把握できる複数の代表位置を求めた。この他にも、位置演算部５１Ｃは、バケット８の開口部に対応する平面の位置を作業機２の位置として求め、作業機２が経路ｔｌを遮蔽するか否かの判定及び経路画像ＴＬの表示形態を変更する処理に用いてもよい。作業機２の位置は、実施形態及び変形例において例示されたものには限定されない。

作業具は、バケット８以外のものであってもよい。例えば、物体を把持する把持装置が作業具であってもよい。把持装置が作業具である場合、位置演算部５１Ｃは、作業具及び作業具に把持された物体が経路ｔｌを遮蔽するか否かを判定してもよい。この場合、例えば、ステレオカメラ又はレーザスキャナのような距離検出装置を油圧ショベル１に取り付け、この距離検出装置によって作業具に把持された物体の位置が検出される。位置演算部５１Ｃは、距離検出装置によって検出された位置の情報から、作業具に把持された物体の位置を求める。位置演算部５１Ｃは、例えば、位置検出装置によって検出された位置の情報から、例えば作業具の把持部分の位置を中心として、撮像装置１９からの距離が所定の範囲内に存在する部分の位置を、作業具に把持された物体の位置であるとする。このような処理によって、位置演算部５１Ｃは、作業具及び作業具に把持された物体の位置を求め、得られた位置に基づいて、作業具及び作業具に把持された物体が経路ｔｌを遮蔽するか否かを判定する。

作業具がバケット８である場合も、位置演算部５１Ｃは、作業具に把持された物体の位置を求める処理と同様の処理によって、バケット８の開口部から盛り上がった部分の位置を、バケット８に積載された物体の位置として求めることができる。位置演算部５１Ｃは、バケット８に積載された物体の位置を求め、得られた位置に基づいて、バケット８及びバケット８に積載された物体が経路ｔｌを遮蔽するか否かを判定してもよい。このような処理により、画像表示システム１００，１００ａは、より実際に即した画像を表示装置５２，５２ａに表示させることができる。

処理装置５１は、作業機２の姿勢とオペレータによる操作装置５３，５３ａの第１の操作を検出して、経路画像ＴＬを表示装置５２，５２ａに表示させ、操作装置５３，５３ａの第２の操作を検出した場合に経路画像ＴＬの表示を消してもよい。このような処理により、経路画像ＴＬによる案内が不要な場合には経路画像ＴＬが消されるので、オペレータの視認性が向上する。第１の操作は、例えば、低い位置でバケット８を抱え込んだ状態で旋回体３を旋回させる操作が例示される。第２の操作は、例えば、バケット８の積載物を排出させるためのダンプ操作（排土操作）が例示される。

以上、実施形態及び変形例を説明したが、前述した内容により実施形態及び変形例が限定されるものではない。前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。前述した構成要素は適宜組み合わせることが可能である。実施形態及び変形例の要旨を逸脱しない範囲で構成要素の種々の省略、置換及び変更のうち少なくとも１つを行うことができる。作業機械は油圧ショベル１に限定されず、ホイールローダー又はブルドーザのような、作業機を有する他の作業機械であってもよい。

１ 油圧ショベル
１Ｂ 車両本体
１Ｓ，１Ｓａ 制御系
２ 作業機
３ 旋回体
５ 走行体
１６ 第１ストロークセンサ
１７ 第２ストロークセンサ
１８ 第３ストロークセンサ
１９ 撮像装置
１９Ｌ 撮像面
２１，２２ アンテナ
２３ 位置演算装置
２５ 通信装置
２６ センサコントローラ
２７ 作業機制御装置
３２ 第１姿勢検出装置
３３ 第２姿勢検出装置
３６ 油圧システム
５０ 施設
５１ 処理装置
５１Ｃ 位置演算部
５１Ｄ 表示処理部
５１ＤＣ 遮蔽演算部
５１ＤＭ 作業機領域演算部
５１ＤＲ 経路描画部
５１ＤＳ 画像合成部
５１ＤＴ 視点変換部
５１ＩＯ 入出力部
５１Ｍ 記憶部
５１Ｐ 処理部
５１Ｒ 経路演算部
５２，５２ａ 表示装置
５３，５３ａ 操作装置
１００，１００ａ 画像表示システム
１０１ 遠隔操作システム
ＦＧ フロントウィンドウ
ＩＦｍ 車両情報
Ｒｇ 第１の変換行列
Ｒｍ 第２の変換行列
ＴＬ 経路画像

Claims (8)

1. 作業機械の作業機を操作する操作装置と、
   前記作業機を移動させる際の目標経路を求める経路演算部と、
   前記作業機の位置を求める位置演算部と、
   前記操作装置の操作において、前記目標経路に対応する経路画像を表示する表示部と、
   前記経路演算部によって求められた前記目標経路の位置と前記位置演算部によって求められた前記作業機の位置とに基づいて、前記作業機械に規定される所定の位置を視点として、前記目標経路よりも手前に存在する前記作業機によって前記目標経路が遮蔽されると判定する場合には、遮蔽される前記目標経路の部分に対応する前記経路画像を、前記作業機によって遮蔽されない前記目標経路の部分に対応する前記経路画像とは異なる形態で前記表示部に表示させる表示処理部と、を含む、
   作業機械の画像表示システム。
2. 前記表示処理部は、
   前記経路画像を、前記所定の位置から見た画像に変換して、前記表示部に表示させる、
   請求項１に記載の作業機械の画像表示システム。
3. 前記作業機械に取り付けられて対象を撮像する撮像装置を有し、
   前記表示処理部は、前記経路画像と、前記撮像装置によって撮像された前記作業機の画像とを合成して、前記表示部に表示させる、
   請求項２に記載の作業機械の画像表示システム。
4. 前記所定の位置は、前記作業機械に取り付けられて対象を撮像する撮像装置の位置である、
   請求項３に記載の作業機械の画像表示システム。
5. 前記表示処理部は、
   前記作業機と前記目標経路との間の距離に応じて、前記経路画像の表示形態を変更する、
   請求項１から請求項４のいずれか１項に記載の作業機械の画像表示システム。
6. 請求項１から請求項５のいずれか１項に記載の作業機械の画像表示システムと、
   前記作業機を操作する操作装置と、を含む、
   作業機械の遠隔操作システム。
7. 請求項１から請求項５のいずれか１項に記載の作業機械の画像表示システムを備えた、作業機械。
8. プロセッサが、
   作業機械が有する作業機を移動させる際の目標経路を求め、
   前記作業機の位置を求め、
   前記目標経路の位置と前記作業機の位置とに基づいて、前記作業機械に規定される所定の位置を視点として、前記目標経路よりも手前に存在する前記作業機によって前記目標経路が遮蔽されると判定する場合には、遮蔽される前記目標経路の部分に対応する経路画像を、前記作業機によって遮蔽されない前記目標経路の部分に対応する前記経路画像とは異なる形態で表示部に表示させる、
   作業機械の画像表示方法。

Images