JP7528892B2 - 作業支援システムおよび作業支援複合システム - Google Patents

Description

本発明は、作業機械と、当該作業機械を遠隔操作するための遠隔操作装置と、のそれぞれとの相互通信機能を有する遠隔操作システムに関する。

例えば、油圧ショベル等の作業機械は、下部走行体と、この下部走行体に対して旋回可能な上部旋回体を備えている。また、上部旋回体には運転室を構成するキャブが設けられている。

このような作業機械では、下部走行体に対して上部旋回体が旋回することにより、キャブの正面方向と、作業機械の前進方向又は後退方向と、が相互に異なる方向となる可能性がある。このため、オペレータは、走行操作をしたときに何れの方向に作業機械が進行するのかが分かりにくいという問題がある。

そこで、キャブ内に設けたモニターに作業機械の進行方向を矢印で示すことが行われている。例えば、特許文献１においては、下部走行体に対して上部旋回体が旋回可能であり、且つ、機械周辺を撮影するカメラを備え、前記カメラが撮影した画像をキャブ内に配置されたモニター画面に表示する建設機械のモニター装置が開示されている。

特許第５４７３８７０号公報

しかしながら、特許文献１のモニター装置では、モニター画面に表示された画像の時間変化により、上部旋回体に対する下部走行体の相対角度を推定する。このため、相対角度を推定するために複雑な画像処理が必要となり、処理負荷が高くなる問題がある。

本発明は、かかる問題に鑑みてなされたものであり、処理負荷の軽減を図り、かつ簡易な構成で作業機械の前進方向又は後退方向を示すことが可能な遠隔操作システムを提供することを目的とする。

かかる目的を達成するため本発明の遠隔操作システムは、左右一対のクローラを備える下部走行体と、前記下部走行体に対して旋回可能な上部旋回体と、を有する作業機械と、前記作業機械を遠隔操作するための遠隔操作装置と、それぞれとの相互通信機能を有する遠隔操作システムであって、前記上部旋回体に設けられ、かつ前記下部走行体の少なくとも一方の前記クローラを撮像領域に含むよう設けられている第１撮像装置を通じて取得される第１撮像画像における、前記一対のクローラのそれぞれの前後方向のそれぞれに偏在して配置された、相互に形態が異なり、かつ前記一対のクローラの前方に設けられている第１マーカ及び、前記一対のクローラの後方に設けられている第２マーカのそれぞれの映り込み態様に基づいて、前記下部走行体の前進方向又は後退方向を認識する第１支援処理要素と、前記第１支援処理要素によって認識された前記下部走行体の前進方向又は後退方向を表す指標画像を前記第１撮像画像の前記作業機械又はその周囲に少なくとも部分的に重畳した合成画像を前記遠隔操作装置に送信する第２支援処理要素と、を有することを特徴とする。

本発明の遠隔操作システムによれば、第１支援処理要素は、第１撮像画像に含まれている第１マーカ及び第２マーカの映り込み態様によって、一対のクローラの前進方向又は後退方向を認識することが可能となる。これにより、第２支援処理要素は、第１撮像画像及び下部走行体の前進方向又は後退方向を示す指標画像を重畳した合成画像を生成することができ、当該合成画像を遠隔操作装置に送信することができる。オペレータは、遠隔操作装置に表示された当該合成画像を目視することにより容易に作業機械の下部走行体の前進方向又は後退方向を把握することが可能となる。

本発明の遠隔操作システムにおいて、前記第１支援処理要素は、前記上部旋回体の前記下部走行体に対する旋回に応じて変化する前記一対のクローラの映り込み態様と、前記第１マーカ及び、前記第２マーカのそれぞれの映り込み態様と、に基づく、前記上部旋回体の前記下部走行体に対する旋回角度を認識し、前記第２支援処理要素は、前記第１支援処理要素によって認識された前記上部旋回体の前記下部走行体に対する前記旋回角度に対応した角度で、前記指標画像を前記第１撮像画像の前記作業機械又はその周囲に少なくとも部分的に重畳した合成画像を前記遠隔操作装置に送信することが好ましい。

このような態様によれば、第１支援処理要素は、例えば、第１撮像画像におけるクローラの映り込み態様、すなわち、第１撮像画像において映っている左右のクローラの別（一方又は両方）、第１撮像装置の撮像方向に対する左右のクローラの傾斜角度等及び、第１撮像画像に映っている第１マーカ並びに第２マーカの別によって、上部旋回体の下部走行体に対する旋回角度を認識することができる。したがって、例えば、第２支援処理要素は、第１撮像装置の撮像方向に対する左右のクローラの傾斜角度に対応して指標画像を重畳させて合成画像を生成することができ、当該合成画像を遠隔操作装置に送信することができる。したがって、オペレータは、合成画像を目視するだけで容易に下部走行体の前進方向又は後退方向を認識することができる。

本発明の遠隔操作システムにおいて、前記第２支援処理要素は、前記上部旋回体に前記第１撮像装置とは別個に設けられている第２撮像装置を通じて取得された第２撮像画像に、前記上部旋回体の前記下部走行体に対する前記旋回角度に応じた前記下部走行体の前進方向又は後退方向を表す指標画像を前記第２撮像画像の前記作業機械又はその周囲に少なくとも部分的に重畳した合成画像を前記遠隔操作装置に送信することが好ましい。

このような態様によれば、第２撮像画像に指標画像が重畳された合成画像を遠隔操作装置に送信することにより、例えば、オペレータは、作業時に目線の移動を行うことなく操作を行うことができる。したがって、オペレータの作業効率の向上を図ることができる。

前記第１支援処理要素は、前記第１撮像画像に映り込んでいる前記第１マーカ並びに前記第２マーカの別及び、前記第１撮像画像に映り込んでいる前記第１マーカ並びに前記第２マーカの個数に基づいて、前記上部旋回体の前記下部走行体に対する旋回角度を認識することが好ましい。

このような態様によれば、例えば、２つの第１マーカ又は、２つの第２マーカが第１撮像画像に映り込んでいる場合、上部旋回体の下部走行体に対する旋回角度は、特定の角度、例えば、０°又は１８０°に近い角度であることが認識される。また、例えば、１つの第１マーカ（又は、１つの第２マーカ）が第１撮像画像に映り込んでいる場合、上部旋回体の下部走行体に対する旋回角度は、特定の角度、例えば、４５°又は１３５°（２２５°又は３１５°）に近い角度であることが認識される。さらに、第１撮像画像に映り込んでいるマーカの別（第１マーカ又は第２マーカ）により、一対のクローラの前後方向を認識することが可能となる。さらにまた、第１マーカ又は第２マーカが第１撮像画像に映り込んでいない場合、上部旋回体の下部走行体に対する旋回角度は、特定の角度、例えば９０°に近い角度であることが認識される。したがって、第１支援処理要素は、第１撮像画像における一対のクローラの映り込み態様を用いずに、上部旋回体の下部走行体に対する旋回角度及び、一対のクローラの前後方向を認識することが可能となる。これにより、第１支援処理要素による一対のクローラの映り込み態様に必要な画像解析処理が不要になるため、第２支援処理要素の処理負荷の低減を図ることができる。

本発明の遠隔操作システムにおいて、前記第１支援処理要素は、前記第１撮像画像に含まれている前記第１マーカ及び前記第２マーカの映り込み態様としての、前記第１マーカ又は前記第２マーカの前記第１撮像画像における左右方向の位置に基づく前記上部旋回体の前記下部走行体に対する旋回角度を認識することが好ましい。

第１撮像画像に含まれている第１マーカ及び第２マーカの映り込み態様は、上部旋回体の下部走行体に対する旋回角度に応じて変化する。具体的には、その旋回角度の変化に応じて第１マーカ又は第２マーカの第１撮像画像における左右方向の位置が変化する。したがって、第１支援処理要素は、第１撮像画像における第１マーカ及び第２マーカの左右方向の位置を認識することにより、上部旋回体の下部走行体に対する旋回角度を認識することが可能となる。

本発明の遠隔操作システムにおいて、前記第１支援処理要素は、前記下部走行体から突出して形成された立体状の前記第１マーカ又は前記下部走行体から突出して形成された立体状の前記第２マーカを含む前記第１撮像画像を取得することが好ましい。

このような態様によれば、第１マーカ及び第２マーカが泥や土などが付着した場合であっても、第１支援処理要素は、容易に第１マーカ及び第２マーカを認識することができる。

本発明の遠隔操作システムにおいて、前記第１撮像装置は、前記上部旋回体の前記下部走行体に対する旋回方向において相互に異なる方向に向けて複数配置され、前記第１支援処理要素は、複数の前記第１撮像装置を通じて取得される複数の第１撮像画像における、前記第１マーカ及び前記第２マーカのそれぞれの映り込み態様に基づいて、前記下部走行体の前進方向又は後退方向を認識し、前記第２支援処理要素は、前記第１支援処理要素が前記下部走行体の前進方向又は後退方向を認識する際に用いた前記第１撮像画像に対して前記指標画像を重畳した前記合成画像を前記遠隔操作装置に送信することが好ましい。

このような態様によれば、例えば、一の第１撮像装置の第１撮像画像に第１のマーカ又は第２のマーカが映らない、上部旋回体の下部走行体に対する旋回角度であっても、第１支援処理要素は、他の第１撮像装置が撮像した他の第１撮像画像を用いることにより、一対のクローラの前進方向又は後退方向を認識することが可能となる。

本発明の遠隔操作システムにおいて、前記第１支援処理要素は、前記遠隔操作装置における前記作業機械への操作の受け付けの可否を示す情報である操作受付情報を取得し、前記第２支援処理要素は、前記操作受付情報が前記作業機械への操作の受け付けが可の場合に前記合成画像を前記遠隔操作装置に送信することが好ましい。

このような態様によれば、オペレータが作業機械に対する操作を行う場合にのみ、下部走行体の前進方向又は後退方向が表示されるようにすることができ、オペレータが感じる煩わしさを低減することができる。

本発明の遠隔操作システムにおいて、前記第１支援処理要素は、前記遠隔操作装置における前記作業機械の前進又は後退の操作入力の意思を表す動作である準備動作の走行操作情報を取得し、前記第２支援処理要素は、前記準備動作で表されている前記意思が前進の前記操作入力である場合には、前記下部走行体の前進方向を表す前記指標画像を用いて生成された前記合成画像を前記遠隔操作装置に送信し、前記準備動作で表されている前記意思が後退の前記操作入力である場合には、前記下部走行体の後退方向を表す前記指標画像を用いて生成された前記合成画像を前記遠隔操作装置に送信することが好ましい。

このような態様によれば、オペレータが作業機械の前進又は後退の操作を行う場合にのみ、指標画像が重畳された合成画像が表示されるようにすることができ、常に指標画像が重畳された合成画像が表示される煩わしさを低減することができる。

本発明の遠隔操作システムは、左右一対のクローラを備える下部走行体と、前記下部走行体に対して旋回可能な上部旋回体と、を有する作業機械と、前記作業機械を遠隔操作するための遠隔操作装置と、のそれぞれとの相互通信機能を有する遠隔操作システムであって、前記上部旋回体に設けられ、かつ前記下部走行体の少なくとも一方の前記クローラを撮像領域に含むよう設けられている第１撮像装置を通じて取得される第１撮像画像における、前記一対のクローラのそれぞれの前後方向のそれぞれに偏在して配置された、相互に形態が異なり、かつ前記一対のクローラの前方に設けられている第１マーカ及び、前記一対のクローラの後方に設けられている第２マーカのそれぞれの映り込み態様に基づいて、前記下部走行体の前進方向又は後退方向を認識する第１支援処理要素と、前記第１支援処理要素によって認識された前記下部走行体の前進方向又は後退方向を表す指標画像を、前記上部旋回体に前記第１撮像装置とは別個に設けられている第２撮像装置を通じて取得された第２撮像画像の前記作業機械又はその周囲に少なくとも部分的に重畳した合成画像を前記遠隔操作装置に送信する第２支援処理要素と、を有することを特徴とする。

本発明の一実施形態としての作業支援システムの構成説明図である。 図１の遠隔操作装置の構成に関する説明図である。 図１の作業機械の構成に関する説明図である。 作業支援サーバによる作業支援処理の例を示すフローチャートである。 図４の前進後退方向算出処理の例を示すフローチャートである。 撮像装置による撮影された画像の例を示す説明図である。 撮像装置による撮影された画像の例を示す説明図である。 撮像装置による撮影された画像の例を示す説明図である。 撮像装置による撮影された画像の例を示す説明図である。 撮像装置による撮影された画像の例を示す説明図である。 作業支援サーバによる作業支援処理の他の例を示すフローチャートである。

（遠隔操作システムの構成）
図１に示されている本発明の一実施形態としての作業支援システムは、遠隔操作装置２０による複数の作業機械４０の遠隔操作を支援するための作業支援サーバ１０により構成されている。作業支援サーバ１０と、遠隔操作装置２０、複数の作業機械４０のそれぞれとは共通のまたは別個のネットワークを介して相互に通信可能に構成されている。尚、本図においては、作業支援サーバ１０は、複数の作業機械４０と接続可能にされているが、作業支援サーバ１０は１台以上の作業機械４０と接続可能であればよく、その接続台数に制限はない。

本実施例においては、作業支援サーバ１０を、複数の作業機械４０と、当該複数の作業機械４０のうち遠隔操作対象となる一の作業機械４０を遠隔操作するための遠隔操作装置２０と、のそれぞれとの相互通信機能を有する遠隔操作システムとして説明する。

本発明の構成要素（ハードウェア）が、各種情報を「取得する」とは、当該情報を受信すること、当該情報を内部記憶装置（例えば、メモリ）および／または外部記憶装置（例えば、外部のデータベースサーバ）から読み取るまたは検索すること、受信、読み取り、検索等された情報を対象にして演算処理を実行することにより情報を算定、推定、予測、同定等すること、など、各種情報を後続の演算処理において利用可能な形態で準備するためのあらゆる演算処理を包含する概念である。

（作業支援サーバの構成）
作業支援サーバ１０は、第１支援処理要素１０１及び、第２支援処理要素１０２を含む遠隔操作支援装置１００と、データベース１１０と、サーバ無線通信機器１２２と、を備えている。

第１支援処理要素１０１及び第２支援処理要素１０２は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアに従った後述の演算処理を実行する。

データベース１１０は、撮像画像データ等を記憶保持する。データベース１１０は、作業支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。

（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

遠隔入力インターフェース２１０は、遠隔操作機構２１１及び第３撮像装置２１２を備えている。

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、オペレータによる操作の受付状態を切り替える油圧ロックレバー（遮断レバー）と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の左右一対のクローラを備える下部走行体４３０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４４０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４６２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４６４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４６６を動かすために操作される。遮断レバーは、作業機械４０のパイロット圧弁の状態を切り替えるために操作される。

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータＯＰ１が着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータＯＰ１が着座できる任意の形態の着座部であってもよい。

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一つの操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータＯＰ１の操作指示によって任意に変更されてもよい。

シートＳｔの左側フレームの前方において左側操作レバー２１１１の下方に設けられている遮断レバー２１１３は、上げられた（ＯＦＦにされた）場合に各操作レバー２１１０、２１１１、２１１２が操作されても作業機械４０が動かないようにロックする一方、下げられた（ＯＮにされた）場合に当該ロックを解除するための操作レバーとして機能する。

遠隔出力インターフェース２２０は、遠隔画像出力装置２２１と、遠隔無線通信機器２２２とを備えている。

遠隔画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２により構成されている。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央遠隔画像出力装置２２１０、左側遠隔画像出力装置２２１１および右側遠隔画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央遠隔画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。

遠隔音響出力装置２２２は、一または複数のスピーカーにより構成され、例えば図２に示されているように、シートＳｔの後方、左アームレスト後部および右アームレスト後部のそれぞれに配置された中央遠隔音響出力装置２２２０、左側遠隔音響出力装置２２２１および右側遠隔音響出力装置２２２２により構成されている。中央遠隔音響出力装置２２２０、左側遠隔音響出力装置２２２１および右側遠隔音響出力装置２２２２のそれぞれの仕様は同じであってもよく相違していてもよい。

第３撮像装置２１２は、例えば、シートＳｔ及び遠隔操作機構２１１を撮像可能に設けられている。第３撮像装置２１２は、本実施例においては、図２にも示すように、中央遠隔画像出力装置２２１０の上端側において、光軸をシートＳｔに向けて設けられている。すなわち、第３撮像装置２１２は、オペレータＯＰ１がシートＳｔに着座した際に、遠隔操作機構２１１の操作するためのオペレータＯＰ１の動作を撮像可能に設置されている。

（作業機械の構成）
図１に示されているように、作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

作業機械４０は、例えば、油圧式、電動式または油圧式および電動式が組み合わされたハイブリッド駆動式のクローラショベル（建設機械）であり、図３に示されているように、左右一対のクローラを備える下部走行体４３０と、下部走行体４３０に旋回機構４４０を介して旋回可能に搭載されている上部旋回体４５０と、を備えている。上部旋回体４５０の前方左側部にはキャブ４５４（運転室）が設けられている。上部旋回体４５０の前方中央部には作動機構４６０が設けられている。

図６Ｂにも示すように、作業機械４０の一対のクローラ４３０ａ、４３０ｂのそれぞれの前方には第１マーカＭ１が設けられている。また、図１０Ｃにも示すように、作業機械４０の一対のクローラ４３０ａ、４３０ｂのそれぞれの後方には第２マーカＭ２が設けられている。

第１マーカＭ１及び第２マーカＭ２は、互いに識別可能なマーカであればよく、例えば、前後情報を保持した二次元コード、〇、△等の図形、記号等であってもよい。また、第１マーカＭ１及び第２マーカＭ２は、互いに識別可能なマーカであれば、例えば、クローラから外方に突出して形成されているステップ（オペレータがキャブ４５４に乗り込む際に足をかけるためのステップ）、凸部等や、クローラから凹んで形成されている凹部等の立体的形状であってもよい。例えば、第１マーカＭ１及び第２マーカＭ２に泥等によって覆われた場合、記号、図形等を画像認識させることが困難であるが、立体的形状であれば、その立体形状に応じた形態が表れていれば、画像認識させることができる。

すなわち、第１マーカＭ１及び第２マーカＭ２は、一対のクローラ４３０ａ、４３０ｂのそれぞれの前後方向のそれぞれに偏在して配置され、相互に形態が異なる。尚、第１マーカＭ１及び、第２マーカＭ２は、を画像データとしてデータベース１１０記憶されている。

実機入力インターフェース４１は、実機操作機構４１１と、第１撮像装置４１２ａ、４１２ｂと、第２撮像装置４１２ｃと、を備えている。実機操作機構４１１は、キャブ４５４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。

遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４５４に設けられている。

第１撮像装置（以後、足元カメラとも称される）４１２ａは、図３にも示すように、上部旋回体４５０に設けられ、かつ下部走行体４３０の少なくとも一方のクローラを撮像領域に含むよう設けられている。本実施例において、足元カメラ４１２ａは、上部旋回体４５０のキャブ４５４の底面（外壁面）に設けられている。具体的には、足元カメラ４１２ａは、キャブ４５４のフロントウィンドウが設けられている正面方向に受光素子（撮像方向）を向けてキャブ４５４の底面（外壁面）に設けられている。尚、足元カメラ４１２ａは、例えば、ブームフットの基端側等に設けられていてもよい。

第１撮像装置は、上部旋回体４５０の下部走行体４３０に対する旋回方向において相互に異なる方向に向けて複数配置されることが好ましい。本実施例においては、足元カメラ４１２ａとは別に、第１撮像装置（以後、左カメラとも称される）４１２ｂが設けられている。足元カメラ４１２ａと左カメラ４１２ｂとは、互いに光軸が異なる方向に設置されている。左カメラ４１２ｂは、足元カメラ４１２ａの撮像領域に入らない領域を撮像領域とすることがさらに好ましい。

言い換えれば、足元カメラ４１２ａ及び左カメラ４１２ｂのうち少なくとも一方が、上部旋回体４５０の下部走行体４３０に対する角度がいずれの角度であっても、第１マーカＭ１及び第２マーカＭ２のうち少なくとも一方を撮像領域に含むように足元カメラ４１２ａ及び左カメラ４１２ｂが設けられている。例えば、足元カメラ４１２ａと左カメラ４１２ｂとは、互いの光軸方向のなす角度が約９０°であることが好ましい。本実施例においては、左カメラ４１２ｂは、キャブ４５４の左側のサイドウィンドウが設けられている方向に受光素子（撮像方向）を向けてキャブ４５４の外壁面に設けられている。

尚、左カメラ４１２ｂは、例えば、キャブ４５４の右側のサイドウィンドウが設けられている方向に受光素子（撮像方向）を向けてキャブ４５４の外壁面に設けられているようにしてもよい。また、左カメラ４１２ｂは、キャブ４５４の屋根に設けられていてもよいし、キャブ４５４の室内から外部（例えば、右側方、左側方）を撮影可能に設けられてもよい。

第２撮像装置４１２ｃ（以後、メインカメラとも称される）は、足元カメラ４１２ａ及び、左カメラ４１２ｂとは別個に上部旋回体４５０に設けられている。メインカメラ４１２ｃは、例えばキャブ４５４の内部に設置され、フロントウィンドウおよび左右一対のサイドウィンドウ越しに作動機構４６０の少なくとも一部を含む環境を撮像する。当該撮像画像には、フロントウィンドウ（またはウィンドウフレーム）およびサイドウィンドウのうち一部または全部が省略されていてもよい。

実機状態センサ群４１４は、上部旋回体４５０に対するブーム４６１の回動角度（起伏角度）、ブーム４６１に対するアーム４６３の回動角度、および、アーム４６３に対するバケット４６５の回動角度のそれぞれを測定するための角度センサ、下部走行体４３０に対する上部旋回体４５０の旋回角度を測定するための旋回角度センサ、バケット４６５に対して作用する外力を測定するための外力センサ、上部旋回体４５０に作用する３軸加速度を測定するための３軸加速度センサ等により構成されている。

実機出力インターフェース４２は、実機画像出力装置４２１と、実機無線通信機器４２２と、を備えている。実機画像出力装置４２１は、例えば、キャブ４５４の内部であってフロントウィンドウの近傍に配置されている。実機画像出力装置４２１は、省略されていてもよい。また、実機無線通信機器４２２は、作業支援サーバ１０および作業機械４０との間で無線通信を実行する。

作動機構としての作動機構４６０は、上部旋回体４５０に起伏可能に装着されているブーム４６１と、ブーム４６１の先端に回動可能に連結されているアーム４６３と、アーム４６３の先端に回動可能に連結されているバケット４６５と、を備えている。作動機構４６０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４６２、アームシリンダ４６４およびバケットシリンダ４６６が装着されている。作業部として、バケット４６５のほか、ニブラ、カッター、マグネットなど、さまざまなアタッチメントが用いられてもよい。

ブームシリンダ４６２は、作動油の供給を受けることにより伸縮してブーム４６１を起伏方向に回動させるように当該ブーム４６１と上部旋回体４５０との間に介在する。アームシリンダ４６４は、作動油の供給を受けることにより伸縮してアーム４６３をブーム４６１に対して水平軸回りに回動させるように当該アーム４６３と当該ブーム４６１との間に介在する。バケットシリンダ４６６は、作動油の供給を受けることにより伸縮してバケット４６５をアーム４６３に対して水平軸回りに回動させるように当該バケット４６５と当該アーム４６３との間に介在する。

上記の作業支援サーバ１０、遠隔操作装置２０、作業機械４０の連携により発揮される作業支援システムの作業支援処理について図４に示されているフローチャートを用いて説明する。

作業支援システムは、遠隔操作装置２０の起動をトリガーとして、作業支援処理を開始する。オペレータによって、例えば、遮断レバー２１１３がＯＦＦにされると、遠隔操作装置２０は、操作信号を作業支援サーバ１０に送信する（ＳＴＥＰ２０１）。

作業支援サーバ１０は、操作信号を受信すると、遠隔操作装置２０の操作対象である作業機械４０に対して画像の送信を要求する（ＳＴＥＰ１０１）。

作業機械４０は、画像送信要求を受信すると、第１撮像装置４１２ａ，４１２ｂ、第２撮像装置４１２ｃによって撮像された画像（第１撮像画像、第２撮像画像）を作業支援サーバ１０に送信する（ＳＴＥＰ４０１）。

作業支援サーバ１０の第１支援処理要素１０１は、第１撮像装置４１２ａ，４１２ｂ、第２撮像装置４１２ｃによって撮像された画像（第１撮像画像、第２撮像画像）を受信すると、第１撮像装置４１２ａ，４１２ｂによって撮像された第１撮像画像における、一対のクローラ４３０ａ，４３０ｂのそれぞれの前後方向のそれぞれに偏在して配置された、相互に形態が異なり、かつ一対のクローラの前方に設けられている第１マーカＭ１及び、一対のクローラ４３０ａ，４３０ｂの後方に設けられている第２マーカＭ２のそれぞれの映り込み態様に基づいて、下部走行体４３０の前進方向又は後退方向を認識する（前後方向推定処理）（ＳＴＥＰ１０２）。

第２支援処理要素１０２は、第１支援処理要素１０１によって認識された下部走行体４３０の前進方向又は後退方向を表す指標画像を生成する（ＳＴＥＰ１０３）。

また、第２支援処理要素１０２は、指標画像を、第１撮像画像の作業機械４０又はその周囲に少なくとも部分的に重畳した合成画像を生成し（ＳＴＥＰ１０４）、遠隔操作装置２０に送信する（ＳＴＥＰ１０５）。

例えば、第２支援処理要素１０２は、足元カメラ４１２ａによって撮像された図６Ｂ～１０Ｂの第１撮像画像（以後、足元画像とも称する）に指標画像Ｉ１を重畳した合成画像を生成する。また、第２支援処理要素１０２は、例えば、左カメラ４１２ｂによって撮像された図１０Ｃの第１撮像画像（以後、左画像とも称する）に指標画像Ｉ１を重畳した合成画像を生成する。さらに、第２支援処理要素１０２は、メインカメラ４１２ｃによって撮像された図６Ｃ～９Ｃ、図１０Ｄの第２撮像画像（以後、メイン画像とも称する）に指標画像Ｉ２を重畳した合成画像を生成する。

すなわち、第２支援処理要素１０２は、第１支援処理要素１０１によって認識された上部旋回体４５０の下部走行体４３０に対する旋回角度に対応した角度で、指標画像Ｉ１，Ｉ２を第１撮像画像（足元画像、左画像）及び、メイン画像のうち、少なくとも１つの撮像画像に作業機械４０又はその周囲に少なくとも部分的に重畳した合成画像を生成する。

具体的には、第１支援処理要素１０１は、第１撮像装置（足元カメラ、左カメラ）４１２ａ，４１２ｂの撮像方向に対する左右のクローラ４３０ａ，４３０ｂの傾斜角度等及び、第１撮像画像（足元画像、左画像）に映っている第１マーカＭ１並びに第２マーカＭ２の別によって、上部旋回体４５０の下部走行体４３０に対する旋回角度を認識する。第２支援処理要素は、例えば、第１撮像装置（足元カメラ、左カメラ）４１２ａ，４１２ｂの撮像方向に対する左右のクローラ４３０ａ，４３０ｂの傾斜角度に対応して指標画像Ｉ１，Ｉ２を重畳させて合成画像を生成することができる。

遠隔操作装置２０は、受信した合成画像を、例えば、中央遠隔画像出力装置２２１０に表示する（ＳＴＥＰ２０２）。尚、合成画像は、中央遠隔画像出力装置２２１０以外に表示させてもよく、例えば、左側遠隔画像出力装置２２１１、右側遠隔画像出力装置２２１２等の画像出力装置に表示させてもよい。

ＳＴＥＰ１０２の第１撮像画像における第１マーカ又は、第２マーカの映りこみ態様に基づいて、下部走行体４３０の前進方向又は後退方向を認識する前後方向推定処理について説明する。

図５に示すように、第１支援処理要素１０１は、足元画像に第１マーカＭ１又は第２マーカＭ２が映っているか否かを判定する（ＳＴＥＰ２１１）。

ＳＴＥＰ２１１の判定は、例えば、データベース１１０にあらかじめ記録された第１マーカＭ１の画像データ（意匠のデータ）及び第２マーカＭ２の画像データ（意匠のデータ）を参照し、当該第１マーカＭ１の画像データ（意匠のデータ）又は、第２マーカＭ２の画像データ（意匠のデータ）に一致する意匠が足元画像に含まれているか否かに基づいて行われる。

具体的には、第１支援処理要素１０１は、足元画像に映り込んでいる第１マーカＭ１の意匠（又は、第２マーカＭ２の意匠）に対してアスペクト比を用いて補正を行った後に、データベース１１０に記録されている第１マーカＭ１（又は、第２マーカＭ２）の画像データとの類似度を算出する。第１支援処理要素１０１は、当該類似度が所定値以上の場合を第１マーカＭ１（又は、第２マーカＭ２）が足元画像に含まれていると判定する。

ＳＴＥＰ２１１の判定は、このような判定手法に限られず、例えば、上部旋回体４５０の下部走行体４３０に対する角度に応じた足元画像の第１マーカＭ１並びに第２マーカＭ２の複数の画像データ及び、左画像の第１マーカＭ１並びに第２マーカＭ２の複数の画像データを予めデータベース１１０に記録させておく。第１支援処理要素１０１は、当該複数の画像データと、作業機械４０から送信された足元画像及び左画像の画像データを比較することによって、第１マーカＭ１及び第２マーカＭ２が足元画像又は左画像に含まれているか否かを判定するようにしてもよい。

第１支援処理要素１０１は、ＳＴＥＰ２１１の判定において、足元画像に第１マーカＭ１又は第２マーカＭ２が映っていると判定すると（ＳＴＥＰ２１１：ＹＥＳ）、そのマーカが第１マーカＭ１であるか否かを判定する（ＳＴＥＰ２１２）。

ＳＴＥＰ２１２の判定は、例えば、第１支援処理要素１０１が、ＳＴＥＰ２１１の判定において一致すると判定した画像に基づいて行われる。

第１支援処理要素１０１は、ＳＴＥＰ２１２の判定において、足元画像に映っているマーカが第１マーカＭ１である判定すると（ＳＴＥＰ２１２：ＹＥＳ）、足元画像に映っている第１マーカＭ１の数が１つであるか否かを判定する（ＳＴＥＰ２１３）。

ＳＴＥＰ２１３の判定は、例えば、第１支援処理要素１０１が、ＳＴＥＰ２１１の判定において一致すると判定した画像の数に基づいて行われる。

第１支援処理要素１０１は、足元画像に映っている第１マーカＭ１の数が１つではないと判定した場合（ＳＴＥＰ２１３：ＮＯ）、上部旋回体４５０の下部走行体４３０に対する旋回角度を０±α°として認識する（ＳＴＥＰ２１４）。言い換えれば、第１支援処理要素１０１は、キャブ４５４のフロントウィンドウが設けられている正面方向と、下部走行体４３０の前進方向が一致すると判定する。

ここで、αは、０°を中心として、足元画像に２つの第１マーカＭ１が映っている角度の範囲である。角度αは、第１撮像装置４１２ａに用いられているレンズの画角（広角レンズ、魚眼レンズ等）、下部走行体４３０の一対のクローラ４３０ａ、４３０ｂの離間距離等に応じて適宜設定することができる。尚、第１支援処理要素１０１は、下部走行体４３０の後退方向については、前進方向とは反対側の方向を後退方向として認識する。

例えば、図６Ａに示すように、作業機械４０の下部走行体４３０の前進方向と、上部旋回体４５０の正面方向が一致している場合、図６Ｂに示される足元画像には、左右一対のクローラ４３０ａ、４３０ｂと、各々のクローラ４３０ａ、４３０ｂに設けられた２つの第１マーカＭ１と、が映る。したがって、第１支援処理要素１０１は、足元画像に２つの第１マーカＭ１映り込んでいるこのような場合に、キャブ４５４のフロントウィンドウが設けられている正面方向と、下部走行体４３０の前進方向が一致すると判定する。尚、第２支援処理要素１０２は、上述のＳＴＥＰ１０４の合成画像生成理で説明したように、図６Ｂに示すように、当該角度の応じた指標画像Ｉ１を足元画像に重畳させ、かつ図６Ｃに示すように、指標画像Ｉ２をメイン画像に重畳させる。

すなわち、第１支援処理要素１０１は、上部旋回体４５０の下部走行体４３０に対する旋回に応じて変化する一対のクローラ４３０ａ、４３０ｂの足元画像における映り込み態様と、第１マーカＭ１及び、第２マーカＭ２のそれぞれの足元画像における映り込み態様と、に基づく、上部旋回体４５０の下部走行体４３０に対する旋回角度を認識する。尚、第１支援処理要素１０１は、実機状態センサ群４１４の旋回角度センサによって取得された旋回データを参照して当該旋回角度を認識するようにしてもよい。

第１支援処理要素１０１は、足元画像に映っている第１マーカの数が１つであると判定すると（ＳＴＥＰ２１３：ＹＥＳ）、足元画像に映っている第１マーカが付されているクローラが右クローラ４３０ａか否かを判定する（ＳＴＥＰ２１５）。

例えば、第１支援処理要素１０１は、上部旋回体４５０の下部走行体４３０に対する角度に応じた足元画像の右クローラ４３０ａ並びに、左クローラ４３０ｂの複数の画像データ及び、左画像の右クローラ４３０ａ並びに、左クローラ４３０ｂの複数の画像データを予めデータベース１１０に記録させておく。第１支援処理要素１０１は、当該複数の画像データと、作業機械４０から送信された足元画像及び左画像の画像データを比較することによって、右クローラ４３０ａが足元画像又は左画像に含まれているか否かを判定する。

第１支援処理要素１０１は、足元画像に映っているクローラが右クローラ４３０ａであると判定すると（ＳＴＥＰ２１５：ＹＥＳ）、上部旋回体４５０の下部走行体４３０に対する旋回角度を４５±α°として認識する（ＳＴＥＰ２１６）。言い換えれば、第１支援処理要素１０１は、キャブ４５４の正面方向が、下部走行体４３０の前進方向に対してなす角度が４５±α°であると判定する。すなわち、第１支援処理要素１０１は、キャブ４５４の正面方向に対して、下部走行体４３０は４５°の方向を前進方向として認識する。

例えば、図７Ａに示すように、上部旋回体４５０の正面方向が下部走行体４３０の前進方向に対して４５±α°の角度をなす場合、図７Ｂに示される足元画像には、例えば、右のクローラ４３０ａと、右のクローラ４３０ａに設けられた１つの第１マーカＭ１と、が映る。したがって、第１支援処理要素１０１は、足元画像に右のクローラ４３０ａ及び、１つの第１マーカＭ１が映り込んでいるこのような場合に、キャブ４５４のフロントウィンドウが設けられている正面方向が、下部走行体４３０の前進方向に対して４５±α°の角度をなすと判定する。尚、第２支援処理要素１０２は、上述のＳＴＥＰ１０４の合成画像生成理で説明したように、図７Ｂに示すように、当該角度の応じた指標画像Ｉ１を足元画像に重畳させ、かつ図７Ｃに示すように、指標画像Ｉ２をメイン画像に重畳させる。

第１支援処理要素１０１は、足元画像に映っているクローラが左クローラ４３０ｂであると判定すると（ＳＴＥＰ２１５：ＮＯ）、上部旋回体４５０の下部走行体４３０に対する旋回角度を３１５±α°として認識する（ＳＴＥＰ２１７）。言い換えれば、第１支援処理要素１０１は、キャブ４５４の正面方向が、下部走行体４３０の前進方向に対してなす角度が３１５±α°であると判定する。すなわち、第１支援処理要素１０１は、キャブ４５４の正面方向に対して、下部走行体４３０は３１５±α°の方向を前進方向として認識する。

例えば、図８Ａに示すように、上部旋回体４５０の正面方向が下部走行体４３０の前進方向に対して３１５±α°の角度をなす場合、図８Ｂに示される足元画像には、例えば、左のクローラ４３０ｂと、左のクローラ４３０ｂに設けられた１つの第１マーカＭ１と、が映る。したがって、第１支援処理要素１０１は、足元画像に左のクローラ４３０ｂ及び、１つの第１マーカＭ１映り込んでいるこのような場合に、キャブ４５４のフロントウィンドウが設けられている正面方向が、下部走行体４３０の前進方向に対して３１５°の角度をなすと判定する。尚、第２支援処理要素１０２は、上述のＳＴＥＰ１０４の合成画像生成理で説明したように、図８Ｂに示すように、当該角度の応じた指標画像Ｉ１を足元画像に重畳させ、かつ図８Ｃに示すように、指標画像Ｉ２をメイン画像に重畳させる。

第１支援処理要素１０１は、ＳＴＥＰ２１２の判定において、足元画像に映っているマーカが第２マーカである判定すると（ＳＴＥＰ２１２：ＮＯ）、足元画像に映っている第２マーカＭ２の数が１つであるか否かを判定する（ＳＴＥＰ２１８）。

第１支援処理要素１０１は、足元画像に映っている第２マーカＭ２の数が１つではないと判定した場合（ＳＴＥＰ２１８：ＮＯ）、上部旋回体４５０の下部走行体４３０に対する旋回角度を１８０±α°として認識する（ＳＴＥＰ２１９）。言い換えれば、第１支援処理要素１０１は、キャブ４５４のフロントウィンドウが設けられている正面方向と、下部走行体４３０の前進方向とが反対の関係にあると判定する。

第１支援処理要素１０１は、足元画像に映っている第２マーカＭ２の数が１つであると判定すると（ＳＴＥＰ２１８：ＹＥＳ）、足元画像に映っている第２マーカＭ２が付されているクローラが右クローラ４３０ａか否かを判定する（ＳＴＥＰ２２０）。

第１支援処理要素１０１は、足元画像に映っているクローラが右クローラ４３０ａであると判定すると（ＳＴＥＰ２２０：ＹＥＳ）、上部旋回体４５０の下部走行体４３０に対する旋回角度を１３５±α°として認識する（ＳＴＥＰ２２１）。言い換えれば、第１支援処理要素１０１は、キャブ４５４の正面方向が、下部走行体４３０の前進方向に対してなす角度が１３５±α°であると判定する。すなわち、第１支援処理要素１０１は、キャブ４５４の正面方向に対して、下部走行体４３０は１３５±α°の方向を前進方向として認識する。

第１支援処理要素１０１は、足元画像に映っているクローラが左クローラ４３０ｂであると判定すると（ＳＴＥＰ２２０：ＮＯ）、上部旋回体４５０の下部走行体４３０に対する旋回角度を２２５±α°として認識する（ＳＴＥＰ２２２）。言い換えれば、第１支援処理要素１０１は、キャブ４５４の正面方向が、下部走行体４３０の前進方向に対してなす角度が２２５±α°であると判定する。すなわち、第１支援処理要素１０１は、キャブ４５４の正面方向に対して、下部走行体４３０は２２５±α°の方向を前進方向として認識する。

例えば、図９Ａに示すように、上部旋回体４５０の正面方向が下部走行体４３０の前進方向に対して２２５±α°の角度をなす場合、図９Ｂに示される足元画像には、例えば、左のクローラ４３０ｂと、左のクローラ４３０ｂに設けられた１つの第２マーカＭ２と、が映る。したがって、第１支援処理要素１０１は、足元画像に左のクローラ４３０ｂ及び、１つの第２マーカＭ２映り込んでいるこのような場合に、キャブ４５４のフロントウィンドウが設けられている正面方向が、下部走行体４３０の前進方向に対して２２５±α°の角度をなすと判定する。尚、第２支援処理要素１０２は、上述のＳＴＥＰ１０４の合成画像生成理で説明したように、図９Ｂに示すように、当該角度の応じた指標画像Ｉ１を足元画像に重畳させ、かつ図９Ｃに示すように、指標画像Ｉ２をメイン画像に重畳させる。

第１支援処理要素１０１は、ＳＴＥＰ２１１の判定において、足元画像に第１マーカＭ１又は第２マーカＭ２が映っていないと判定すると（ＳＴＥＰ２１１：ＮＯ）、上述のように足元画像又は、左画像のいずれかに第１マーカＭ１若しくは第２マーカＭ２が映っているため、左画像を参照し、左画像に映っているマーカが第１マーカＭ１であるか否かを判定する（ＳＴＥＰ２２３）。

第１支援処理要素１０１は、左画像に映っているマーカが第１マーカＭ１であると判定した場合（ＳＴＥＰ２２３：Ｙ）、上部旋回体４５０の下部走行体４３０に対する旋回角度を９０±α°として認識する（ＳＴＥＰ２２４）。言い換えれば、第１支援処理要素１０１は、キャブ４５４の正面方向が、下部走行体４３０の前進方向に対してなす角度が９０±α°であると判定する。すなわち、第１支援処理要素１０１は、キャブ４５４の正面方向に対して、下部走行体４３０は９０±α°の方向を前進方向として認識する。

第１支援処理要素１０１は、左画像に映っているマーカが第２マーカＭ２であると判定した場合（ＳＴＥＰ２２３：ＮＯ）、上部旋回体４５０の下部走行体４３０に対する旋回角度を２７０±α°として認識する（ＳＴＥＰ２２５）。言い換えれば、第１支援処理要素１０１は、キャブ４５４の正面方向が、下部走行体４３０の前進方向に対してなす角度が２７０±α°であると判定する。すなわち、第１支援処理要素１０１は、キャブ４５４の正面方向に対して、下部走行体４３０は２７０±α°の方向を前進方向として認識する。

例えば、図１０Ａに示すように、上部旋回体４５０の正面方向が下部走行体４３０の前進方向に対して２７０±α°の角度をなす場合、図１０Ｂに示される足元画像には、例えば、左のクローラ４３０ｂのみが映る。したがって、第１支援処理要素１０１は、図１０Ｃに示される左画像を参照し、例えば、左右一対のクローラ４３０ａ、４３０ｂと、各々のクローラ４３０ａ、４３０ｂに設けられた２つの第１マーカＭ１と、が映っていることを認識する。したがって、第１支援処理要素１０１は、左画像に２つの第１マーカＭ１が映り込んでいるこのような場合に、キャブ４５４のフロントウィンドウが設けられている正面方向が、下部走行体４３０の前進方向に対する角度が２７０±α°であると判定する。尚、第２支援処理要素１０２は、上述のＳＴＥＰ１０４の合成画像生成理で説明したように、図１０Ｃに示すように、当該角度の応じた指標画像Ｉ１を左画像に重畳させ、かつ図１０Ｄに示すように、指標画像Ｉ２をメイン画像に重畳させる。

したがって、第１支援処理要素１０１は、複数の第１撮像装置４１２ａ，４１２ｂを通じて取得される複数の第１撮像画像（足元画像、左画像）における、第１マーカＭ１及び第２マーカＭ２のそれぞれの映り込み態様に基づいて、下部走行体４３０の前進方向又は後退方向を認識する。

尚、上述の説明においては、足元画像、左画像において映り込んでいる、第１マーカＭ１並びに第２マーカＭ２の種別の判定及び、足元画像、左画像において映り込んでいる第１マーカＭ１並びに第２マーカＭ２の個数の判定は、ＳＴＥＰ２１１～２１３、ＳＴＥＰ２１８及びＳＴＥＰ２２３において、個別に判定した。しかし、これらの判定は、上記の画像処理により１のステップで行うようにしてもよい。

また、上述の説明においては、第１撮像画像（足元画像、左画像）に映り込んでいるクローラ４３０ａ、４３０ｂの別を加味して上部旋回体４５０の下部走行体４３０に対する旋回角度を認識したが、これには限られない。

例えば、第１支援処理要素１０１は、第１撮像画像（足元画像、左画像）に映り込んでいる第１マーカＭ１並びに第２マーカＭ２の別及び、第１撮像画像（足元画像、左画像）に映り込んでいる第１マーカＭ１並びに第２マーカＭ２の個数に基づいて、上部旋回体４５０の下部走行体４３０に対する旋回角度を認識するようにしてもよい。

具体的には、第１支援処理要素１０１は、第１撮像画像に映り込んでいるマーカが、第１マーカＭ１であるか、第２マーカであるかを認識しかつ、当該認識した、第１マーカＭ１又は、第２マーカの第１撮像画像に映り込んでいる個数を認識する。

例えば、第１支援処理要素１０１は、キャブ４５４の正面方向と、下部走行体４３０の前進方向が一致する角度を０±α°とするとき、２つの第１マーカＭ１又は、２つの第２マーカＭ２が第１撮像画像（足元画像）に映り込んでいる場合、上部旋回体４５０の下部走行体４３０に対する旋回角度は、特定の角度、例えば、０°又は、１８０°に近い角度（０±α°又は、１８０±α°）であることを認識する。

また、第１支援処理要素１０１は、例えば、１つの第１マーカＭ１又は、１つの第２マーカＭ２が第１撮像画像（足元画像）に映り込んでいる場合、上部旋回体４５０の下部走行体４３０に対する旋回角度は、特定の角度、例えば、４５°又は１３５°に近い角度（４５±α°又は、１３５±α°）であることを認識する。

さらに、第１支援処理要素１０１は、第１撮像画像（足元画像）に映り込んでいるマーカの別（第１マーカＭ１又は第２マーカＭ２）により、一対のクローラ４３０ａ、４３０ｂの前後方向を認識することが可能となる。さらにまた、第１マーカＭ１及び第２マーカＭ２が第１撮像画像（足元画像）に映り込んでいない場合、上部旋回体４５０の下部走行体４３０に対する旋回角度は、特定の角度、例えば９０°に近い角度（９０±α°）であることが認識される。したがって、第１撮像画像（足元画像、左画像）における一対のクローラ４３０ａ，４３０ｂの映り込み態様を用いずに、上部旋回体４５０の下部走行体４３０に対する旋回角度及び、一対のクローラ４３０ａ、４３０ｂの前後方向を認識することが可能となる。これにより、一対のクローラ４３０ａ、４３０ｂの映り込み態様に必要な画像解析処理が不要になるため、第２支援処理要素１０２の処理負荷の低減を図ることができる。

また、第１支援処理要素１０１は、第１撮像画像（足元画像、左画像）に含まれている第１マーカＭ１及び第２マーカＭ２の映り込み態様としての、第１マーカＭ１及び第２マーカＭ２の第１撮像画像（足元画像、左画像）における左右方向の位置に基づく上部旋回体４５０の下部走行体４３０に対する旋回角度を認識するようにしてもよい。

このような態様によれば、例えば、キャブ４５４の正面方向と、下部走行体４３０の前進方向が一致する角度を０°とするとき、２つの第１マーカＭ１（又は、２つの第２マーカＭ２）の一方の第１マーカＭ１（又は、第２マーカＭ２）が、第１撮像画像（足元画像、左画像）の中央よりも右端側に位置し、他方の第１マーカＭ１（又は、第２マーカ）が第１撮像画像（足元画像）の中央よりも左端側に位置する場合、第１支援処理要素１０１は、上部旋回体４５０の下部走行体４３０に対する角度が、特定の角度、例えば、０°又は１８０°に近い角度（０±α°又は１８０±α°）であることを認識する。

尚、第１支援処理要素１０１は、例えば、第１マーカＭ１同士を結ぶ線の中点の位置において、より詳細な角度判定を行ってもよい。例えば、上部旋回体４５０の下部走行体４３０に対する角度が３度である場合、当該角度が０°である場合よりも、第１マーカＭ１同士を結ぶ線の中点の位置は、足元画像の左右方向の右側に位置する。このような様々な当該角度に応じた第１マーカＭ１同士を結ぶ線の中点の位置を画像データとしてデータベース１１０に複数記録しておく。第１支援処理要素１０１は、当該中点の位置を参照して、足元画像の中点の位置の一致度を算出して詳細な当該角度の判定を行ってもよい。

また、例えば、第１撮像画像（足元画像）において、右側のクローラ４３０ａの第１マーカＭ１が左右方向の中央近傍に位置するときは、上部旋回体４５０の下部走行体４３０に対する旋回角度は、特定の角度、例えば、４５°に近い角度（４５±α°）であることが認識される。また、例えば、第１撮像画像（足元画像）において、左側のクローラ４３０ｂの第１マーカＭ１が左右方向の中央近傍に位置するときは、上部旋回体４５０の下部走行体４３０に対する旋回角度は、特定の角度、例えば、１３５°に近い角度（１３５±α°）であることが認識される。

このように、第１撮像画像に含まれている第１マーカＭ１及び第２マーカＭ２の映り込み態様は、上部旋回体４５０の下部走行体４３０に対する旋回角度に応じて変化する。具体的には、その旋回角度の変化に応じて第１マーカＭ１及び第２マーカＭ２の第１撮像画像における左右方向の位置が変化する。したがって、第１支援処理要素１０１は、第１撮像画像（足元画像）における第１マーカＭ１及び第２マーカＭ２の左右方向の位置を認識することにより、上部旋回体４５０の下部走行体４３０に対する旋回角度を認識することが可能となる。

第２支援処理要素１０２は、合成画像の表示又は、非表示を所定のタイミングに基づいて行うとよい。以下、第２支援処理要素１０２による合成画像の表示又は、非表示の制御について説明する。

図１１に示すように、遠隔操作装置２０は、遠隔操作装置２０の起動をトリガーとして、作業支援処理を開始する。オペレータＯＰ１によって、例えば、遮断レバー２１１３がＯＦＦにされると（ＳＴＥＰ２３１：ＹＥＳ）、遠隔操作装置２０は、操作信号を作業支援サーバ１０に送信する（ＳＴＥＰ２３２）。

作業支援サーバ１０の第１支援処理要素１０１は、操作信号を受信すると、遮断レバー２１１３がＯＦＦにされたことを認識し（ＳＴＥＰ１１１：ＹＥＳ）、第１支援処理要素１０１及び第２支援処理要素１０２が合成画像の表示処理を行う（ＳＴＥＰ１１２）。

したがって、第１支援処理要素１０１は、遠隔操作装置２０における作業機械４０への操作の受け付けの可否を示す情報である操作受付情報を操作信号として取得する。ＳＴＥＰ１１２の表示処理においては、ＳＴＥＰ１０２の前後方向推定処理からＳＴＥＰ１０５の合成画像送信処理までが行われる。したがって、第２支援処理要素１０２は、操作受付情報が作業機械４０への操作の受け付けが可の場合に合成画像を遠隔操作装置２０に送信する。

作業支援サーバ１０の第１支援処理要素１０１は、ＳＴＥＰ１１２の合成画像の表示処理を行ってから所定時間（例えば、６０秒）の経過又は、予め指定された指定操作（例えば、ブーム用操作装置、アーム用操作装置、バケット用操作装置の操作、又は後述する走行モーション）が行われたかを判定する（ＳＴＥＰ１１３）。

作業支援サーバ１０の第１支援処理要素１０１は、ＳＴＥＰ１１３の判定において、合成画像の表示処理を行ってから所定時間の経過又は、予め指定された指定操作が行われたと判定すると（ＳＴＥＰ１１３：ＹＥＳ）、第１支援処理要素１０１及び第２支援処理要素１０２が合成画像の非表示処理を行う（ＳＴＥＰ１１４）。すなわち、第１支援処理要素１０１及び第２支援処理要素１０２は、ＳＴＥＰ１０４の合成画像生成処理及び、ＳＴＥＰ１０５の合成画像送信処理を停止する。

作業支援サーバ１０の第１支援処理要素１０１は、ＳＴＥＰ１１３の判定において、合成画像の表示処理を行ってから所定時間の経過又は、予め指定された指定操作が行われていないと判定すると（ＳＴＥＰ１１３：ＮＯ）、後述するＳＴＥＰ１１９の判定に進む。

遠隔操作装置２０は、ＳＴＥＰ２３２において操作信号を作業支援サーバ１０に送信すると、次いで、第３撮像装置２１２によって撮像された第３撮像画像を作業支援サーバ１０に送信する（ＳＴＥＰ２３３）。

作業支援サーバ１０の第１支援処理要素１０１は、ＳＴＥＰ１１４において合成画像の非表示処理を行った後に、取得した第３撮像画像を参照し、オペレータＯＰ１が作業機械４０を走行させるための動作である走行モーションを行ったか否かを判定する（ＳＴＥＰ１１５）。

走行モーションは、遠隔操作機構２１１の走行用操作装置を操作するためのオペレータＯＰ１の動作である。走行モーションは、例えば、走行用操作装置の操作レバー（走行レバー）の操作、走行ペダルの操作をするための動作が挙げられる。

ＳＴＥＰ１１５の判定は、例えば、オペレータＯＰ１と走行レバー２１１０との状態が、非相互作用状態から相互作用状態に遷移したことで判定される。ここで、非相互作用状態とは、例えば、オペレータＯＰ１が走行レバー２１１０を握っていない状態、または、触れていない状態である。また、相互作用状態とは、例えば、オペレータＯＰ１が走行レバー２１１０を握っている状態、または、触れている状態である。尚、非相互作用状態としてオペレータＯＰ１の足が走行ペダルの上に位置しない状態、相互作用状態としてオペレータＯＰ１の足が走行ペダルの上に位置する状態を採用してもよい。こうすることで、オペレータＯＰ１が下部走行体４３０を動作させる意思がある蓋然性が高い状況で下部走行体４３０がまだ動作を開始していない操作初期段階において、走行モーションを行ったか否かを判定することができる。

したがって、第１支援処理要素１０１は、遠隔操作装置２０における作業機械４０の前進又は後退の操作入力の意思を表す動作である準備動作の走行操作情報を走行モーションとして取得する。

第１支援処理要素１０１は、ＳＴＥＰ１１５の判定において、オペレータＯＰ１が作業機械４０を走行させるための動作である走行モーションを行っていないと判定した場合（ＳＴＥＰ１１５：ＮＯ）、ＳＴＥＰ１１３の判定に戻る。

第１支援処理要素１０１は、ＳＴＥＰ１１５の判定において、オペレータＯＰ１が作業機械４０を走行させるための動作である走行モーションを行ったと判定した場合（ＳＴＥＰ１１５：ＹＥＳ）、前進操作、後退操作の種別を判断し、指標画像を前進方向又は後退方向に合わせて合成画像を生成し、当該合成画像の表示処理を行う（ＳＴＥＰ１１６）。ＳＴＥＰ１１６の合成画像の表示処理では、ＳＴＥＰ１１２の合成画像の表示処理と同一の処理が行われる。

したがって、第２支援処理要素１０２は、準備動作で表されている意思が前進の操作入力である場合には、下部走行体４３０の前進方向を表す指標画像を用いて生成された合成画像を遠隔操作装置２０に送信する。また、第２支援処理要素１０２は、準備動作で表されている意思が後退の操作入力である場合には、下部走行体４３０の後退方向を表す指標画像を用いて生成された合成画像を遠隔操作装置２０に送信する。

遠隔操作装置２０は、ＳＴＥＰ２３３において第３撮像画像を作業支援サーバ１０に送信すると、次いで、オペレータＯＰ１による作業機械４０を動作させるための操作に応じた操作信号を作業支援サーバ１０に送信する（ＳＴＥＰ２３４）。

第１支援処理要素１０１は、遠隔操作装置２０から送信された操作信号に基づいて、走行操作がなされた否かを判定する（ＳＴＥＰ１１７）。第１支援処理要素１０１は、例えば、操作信号に走行操作に関する信号が含まれているか否かによってＳＴＥＰ１１７の判定を行う。

第１支援処理要素１０１は、ＳＴＥＰ１１７の判定において、走行操作がなされていないと判定すると（ＳＴＥＰ１１７：ＮＯ）、ＳＴＥＰ１１３の判定に戻る。

第１支援処理要素１０１は、ＳＴＥＰ１１７の判定において、走行操作がなされたと判定すると（ＳＴＥＰ１１７：ＹＥＳ）、第１支援処理要素１０１及び第２支援処理要素１０２は、合成画像の非表示処理を行う（ＳＴＥＰ１１８）。ＳＴＥＰ１１８の合成画像の非表示処理では、ＳＴＥＰ１１４と同一の処理が行われる。

第１支援処理要素１０１は、遮断レバー２１１３がＯＮにされているかを判定する（ＳＴＥＰ１１９）。

第１支援処理要素１０１は、ＳＴＥＰ１１９の判定において、遮断レバー２１１３がＯＮにされていると判定すると（ＳＴＥＰ１１９：ＹＥＳ）、処理を終了する。

第１支援処理要素１０１は、ＳＴＥＰ１１９の判定において、遮断レバー２１１３がＯＦＦにされていると判定すると（ＳＴＥＰ１１９：ＮＯ）、ＳＴＥＰ１１３の判定に戻る。

以上の実施例の説明では、作業支援サーバ１０によって作業支援処理が実行される説明をした。しかし、作業支援処理は、遠隔操作装置２０によって行われてもよいし、作業機械４０によって行われてもよい。

また、上述の実施例では、第１支援処理要素１０１及び第２支援処理要素１０２は、互いに異なる処理要素として説明したが、各々支援処理要素を１の「支援処理要素」で処理してもよい。

また、上述の実施例では、オペレータＯＰ１が走行モーションを行ったか否かの判定は、第３撮像装置２１２により取得した第３撮像画像を参照することによって行われるとして説明を記載したが、これに限定されない。例えば、オペレータが走行レバー２１１０を把持したことを検知する把持センサを、当該オペレータＯＰ１が走行レバー２１１０を把持する部分に配置し、第１支援処理要素１０１は、当該把持センサによる検知を取得することによって走行モーションが行われたか否かを判定するようにしてもよい。把持センサは、例えば、走行レバー２１１０に配置されたセンサ電極と、当該把持センサと人体（オペレータＯＰ１）との間の静電容量値を測定する測定部を含むものであってもよいし、オペレータＯＰ１が走行レバー２１１０に触れた際に生じる圧力を測定する圧電素子等の測定部を含むものであってもよい。

上述の実施例では、指定操作が行われたと判定した場合（ＳＴＥＰ１１３：ＹＥＳ）に合成画像を非表示にする処理（ＳＴＥＰ１１４）をしていた。しかし、ＳＴＥＰ１１４は、即時に実行されなくてもよい。例えば、指定操作又は走行モーションが行われたと判定した場合（ＳＴＥＰ１１３：ＹＥＳ）であっても、ＳＴＥＰ１１２における合成画像の表示処理を行ってから所定時間（例えば、６０秒）が経過した後にＳＴＥＰ１１４が実行されてもよい。この場合の所定時間は任意に設定することができ、６０秒よりも短く設定されてもよい。こうすることで、オペレータＯＰ１に下部走行体４３０の前進方向又は後退方向を確実に認識させることができる。

上述の実施例では、走行操作がなされたと判定すると（ＳＴＥＰ１１７：ＹＥＳ）、合成画像の非表示処理を行う（ＳＴＥＰ１１８）ようにしている。しかし、ＳＴＥＰ１１８の処理は、任意に実行される処理であり、例えば、走行操作がなされている間は、合成画像の表示処理が継続されるようにしてもよい。

上述の実施例にでは、第１撮像画像（足元画像、左画像）には、指標画像が重畳されるようにした。しかし、第１撮像画像（足元画像、左画像）には、必ずしも指標画像が重畳されなくてもよい。例えば、第２撮像画像（メイン画像）にのみ指標画像が重畳されるようにしてもよい。言い換えれば、第２支援処理要素１０２は、第１支援処理要素１０１によって認識された下部走行体４３０の前進方向又は後退方向を表す指標画像を、上部旋回体４３０に第１撮像装置４１２ａ、４１２ｂとは別個に設けられている第２撮像装置４１２ｃを通じて取得された第２撮像画像の作業機械４０又はその周囲に少なくとも部分的に重畳した合成画像を遠隔操作装置２０に送信するようにしてもよい。

１０‥作業支援サーバ
１０１‥第１支援処理要素
１０２‥第２支援処理要素
２０‥遠隔操作装置
４０‥作業機械
４３０‥下部走行体
４３０ａ、４３０ｂ‥クローラ
４５０‥上部旋回体

Claims (10)

1. 左右一対のクローラを備える下部走行体と、前記下部走行体に対して旋回可能な上部旋回体と、を有する作業機械と、前記作業機械を遠隔操作するための遠隔操作装置と、のそれぞれとの相互通信機能を有する遠隔操作システムであって、
   前記上部旋回体に設けられ、かつ前記下部走行体の少なくとも一方の前記クローラを撮像領域に含むよう設けられている第１撮像装置を通じて取得される第１撮像画像における、前記一対のクローラのそれぞれの前後方向のそれぞれに偏在して配置された、相互に形態が異なり、かつ前記一対のクローラの前方に設けられている第１マーカ及び、前記一対のクローラの後方に設けられている第２マーカのそれぞれの映り込み態様に基づいて、前記下部走行体の前進方向又は後退方向を認識する第１支援処理要素と、
   前記第１支援処理要素によって認識された前記下部走行体の前進方向又は後退方向を表す指標画像を前記第１撮像画像の前記作業機械又はその周囲に少なくとも部分的に重畳した合成画像を前記遠隔操作装置に送信する第２支援処理要素と、
   を有することを特徴とする遠隔操作システム。
2. 前記第１支援処理要素は、前記上部旋回体の前記下部走行体に対する旋回に応じて変化する前記一対のクローラの映り込み態様と、前記第１マーカ及び、前記第２マーカのそれぞれの映り込み態様と、に基づく、前記上部旋回体の前記下部走行体に対する旋回角度を認識し、
   前記第２支援処理要素は、前記第１支援処理要素によって認識された前記上部旋回体の前記下部走行体に対する前記旋回角度に対応した角度で、前記指標画像を前記第１撮像画像の前記作業機械又はその周囲に少なくとも部分的に重畳した合成画像を前記遠隔操作装置に送信することを特徴とする請求項１に遠隔操作システム。
3. 前記第２支援処理要素は、前記上部旋回体に前記第１撮像装置とは別個に設けられている第２撮像装置を通じて取得された第２撮像画像に、前記上部旋回体の前記下部走行体に対する前記旋回角度に応じた前記下部走行体の前進方向又は後退方向を表す指標画像を前記第２撮像画像の前記作業機械又はその周囲に少なくとも部分的に重畳した合成画像を前記遠隔操作装置に送信することを特徴とする請求項２に記載の遠隔操作システム。
4. 前記第１支援処理要素は、前記第１撮像画像に映り込んでいる前記第１マーカ並びに前記第２マーカの別及び、前記第１撮像画像に映り込んでいる前記第１マーカ並びに前記第２マーカの個数に基づいて、前記上部旋回体の前記下部走行体に対する旋回角度を認識することを特徴とする請求項２又は３に記載の遠隔操作システム。
5. 前記第１支援処理要素は、前記第１撮像画像に含まれている前記第１マーカ及び前記第２マーカの映り込み態様としての、前記第１マーカ又は前記第２マーカの前記第１撮像画像における左右方向の位置に基づく前記上部旋回体の前記下部走行体に対する旋回角度を認識する請求項２乃至４のうちいずれか１項に記載の遠隔操作システム。
6. 前記第１支援処理要素は、前記下部走行体から突出して形成された立体状の前記第１マーカ又は前記下部走行体から突出して形成された立体状の前記第２マーカを含む前記第１撮像画像を取得する請求項１乃至５のうちいずれか１項に記載の遠隔操作システム。
7. 前記第１撮像装置は、前記上部旋回体の前記下部走行体に対する旋回方向において相互に異なる方向に向けて複数配置され、
   前記第１支援処理要素は、複数の前記第１撮像装置を通じて取得される複数の第１撮像画像における、前記第１マーカ及び前記第２マーカのそれぞれの映り込み態様に基づいて、前記下部走行体の前進方向又は後退方向を認識し、
   前記第２支援処理要素は、前記第１支援処理要素が前記下部走行体の前進方向又は後退方向を認識する際に用いた前記第１撮像画像に対して前記指標画像を重畳した前記合成画像を前記遠隔操作装置に送信する、
   ことを特徴とする請求項１乃至６のうちいずれか１項に記載の遠隔操作システム。
8. 前記第１支援処理要素は、前記遠隔操作装置における前記作業機械への操作の受け付けの可否を示す情報（具体例：遮断レバーのON/OFF）である操作受付情報を取得し、
   前記第２支援処理要素は、前記操作受付情報が前記作業機械への操作の受け付けが可の場合に前記合成画像を前記遠隔操作装置に送信する請求項１乃至７のうちいずれか１項に記載の遠隔操作システム。
9. 前記第１支援処理要素は、前記遠隔操作装置における前記作業機械の前進又は後退の操作入力の意思を表す動作である準備動作の走行操作情報（具体例：オペレータの手足のモーション、走行レバー等の操作、走行レバーの触り方）を取得し、
   前記第２支援処理要素は、前記準備動作で表されている前記意思が前進の前記操作入力である場合には、前記下部走行体の前進方向を表す前記指標画像を用いて生成された前記合成画像を前記遠隔操作装置に送信し、前記準備動作で表されている前記意思が後退の前記操作入力である場合には、前記下部走行体の後退方向を表す前記指標画像を用いて生成された前記合成画像を前記遠隔操作装置に送信する請求項１乃至８のうちいずれか１項に記載の遠隔操作システム。
10. 左右一対のクローラを備える下部走行体と、前記下部走行体に対して旋回可能な上部旋回体と、を有する作業機械と、前記作業機械を遠隔操作するための遠隔操作装置と、のそれぞれとの相互通信機能を有する遠隔操作システムであって、
    前記上部旋回体に設けられ、かつ前記下部走行体の少なくとも一方の前記クローラを撮像領域に含むよう設けられている第１撮像装置を通じて取得される第１撮像画像における、前記一対のクローラのそれぞれの前後方向のそれぞれに偏在して配置された、相互に形態が異なり、かつ前記一対のクローラの前方に設けられている第１マーカ及び、前記一対のクローラの後方に設けられている第２マーカのそれぞれの映り込み態様に基づいて、前記下部走行体の前進方向又は後退方向を認識する第１支援処理要素と、
    前記第１支援処理要素によって認識された前記下部走行体の前進方向又は後退方向を表す指標画像を、前記上部旋回体に前記第１撮像装置とは別個に設けられている第２撮像装置を通じて取得された第２撮像画像の前記作業機械又はその周囲に少なくとも部分的に重畳した合成画像を前記遠隔操作装置に送信する第２支援処理要素と、
    を有することを特徴とする遠隔操作システム。

Images