JP7363560B2 - 遠隔操作装置、遠隔操作支援サーバ、遠隔操作支援システムおよび遠隔操作支援方法 - Google Patents

Description

本発明は、作業機械の作業員に対して割り当てられたクライアントとの通信により、前記作業員による前記作業機械を用いた作業を支援するための遠隔操作支援サーバに関する。

作業機械に搭載されている実機撮像装置により撮像された作業現場の様子を示す撮像画像を、遠隔操作装置を構成する側縁において隣接するように配置された画像出力装置に表示させる技術が提案されている（例えば、特許文献１参照）。

特開２０１８－２０７２４４号公報

しかし、実機撮像装置が運転室の内部に配置されている場合、当該運転室の前側にある左右一対のピラーが遠隔操作装置を構成する画像出力装置に表示される撮像画像に映り込み、当該画像出力装置の左右のベゼルと当該一対のピラーとがオペレータにより誤認混同される可能性がある。

そこで、本発明は、撮像画像に映り込む運転室の一対のピラーと、当該ピラーが表示される画像出力装置のベゼルと、がオペレータにより誤認混同される可能性の低減を図りうる遠隔操作装置等を提供することを目的とする。

本発明の遠隔操作装置は、作業機械を遠隔操作するためにオペレータにより操作される遠隔操作機構と、前記遠隔操作機構の周囲に配置された一または複数の画像出力装置と、遠隔制御装置と、を備え、前記遠隔制御装置が、前記作業機械の運転室の内部に搭載されている実機撮像装置により取得された、前記運転室の前方の様子を示す撮像画像を前記一または複数の画像出力装置のうち指定画像出力装置に表示させ、かつ、前記指定画像出力装置において左右のベゼルの間で帯状に延在する指定画像領域に重なる、前記運転室を構成する一対のピラーのうち少なくとも一方のピラーの一部である指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することを特徴とする。

当該構成の遠隔操作装置によれば、作業機械の運転室の内部に搭載されている実機撮像装置により取得された、運転室の前方の様子を示す撮像画像が指定画像出力装置に表示される。このため、オペレータは、指定画像出力装置に表示される撮像画像を通じて、遠隔操作対象である作業機械または実機の運転室の前方の様子を把握しながら、遠隔操作機構を操作することができる。「運転室」は、作業機械を遠隔操作ではなく直接的に操作するためにオペレータが搭乗する空間を意味するほか、実際にはオペレータが搭乗することはないものの当該空間に相当する空間を意味する。

さらに、指定画像出力装置において左右のベゼルの間で帯状に延在する指定画像領域に重なる、運転室を構成する少なくとも一方のピラーの一部である指定部分の全部が表示されるように、指定画像出力装置における撮像画像の表示態様が可変に制御される。これにより、指定画像出力装置の左右のベゼルと、当該少なくとも一方のピラーの一部とが、少なくとも当該左右のベゼルの間で横に延在する指定画像領域において明確に識別可能になる。よって、撮像画像に映り込む運転室の一対のピラーと、当該ピラーが表示される画像出力装置のベゼルと、がオペレータにより誤認または混同される可能性の低減が図られる。

本発明の遠隔操作装置において、前記遠隔操作機構の前方に配置されている前記指定画像出力装置としての中央画像出力装置と、前記中央画像出力装置の左右側縁のそれぞれに隣接して、前記遠隔操作機構の左斜め前方および右斜め前方のそれぞれに配置されている左側画像出力装置および右側画像出力装置と、を前記複数の画像出力装置として備え、前記遠隔制御装置が、前記右側画像出力装置、前記中央画像出力装置および前記左側画像出力装置に前記撮像画像を分割して表示させ、かつ、前記右側画像出力装置、前記中央画像出力装置および前記左側画像出力装置における前記撮像画像の分割表示態様を可変に制御することが好ましい。

当該構成の遠隔操作装置によれば、中央画像出力装置および左側画像出力装置の間でオペレータの視線が移動する際に、中央画像出力装置の左側ベゼルが、運転室を構成する左側ピラーであるかのように当該オペレータによりにより誤認または混同される可能性の低減が図られる。同様に、中央画像出力装置および右側画像出力装置の間でオペレータの視線が移動する際に、中央画像出力装置の右側ベゼルが、運転室を構成する右側ピラーであるかのように当該オペレータによりにより誤認または混同される可能性の低減が図られる。

本発明の遠隔操作装置において、前記遠隔制御装置が、前記指定画像出力装置において前記作業機械を構成する作動機構の作業部が含まれている、帯状に延在する画像領域を前記指定画像領域として、前記少なくとも一方のピラーの前記指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することが好ましい。

当該構成の遠隔操作装置によれば、撮像画像に映り込んでいる少なくとも一方のピラーの指定部分および作業機械を構成する作動機構の作業部のそれぞれを指標として、実空間における当該作業部の位置、方向、姿勢、大きさ、形状および作業対象物等との間隔の認識を含む空間認識が可能になる。前記のように撮像画像に映り込む運転室の一対のピラーと、当該ピラーが表示される指定画像出力装置のベゼルと、がオペレータにより誤認または混同される可能性の低減が図られるため、当該オペレータによる空間認識精度の向上が図られる。

同様の観点から、本発明の遠隔操作装置において、前記遠隔制御装置が、前記指定画像出力装置において前記作業部の第１指定期間にわたる位置軌道の一部または全部が含まれている、帯状に延在する画像領域を前記指定画像領域として、前記少なくとも一方のピラーの前記指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することが好ましい。

さらに、本発明の遠隔操作装置において、前記遠隔制御装置が、前記指定画像出力装置において前記作業部の前記第１指定期間にわたる変位方向に対して平行な方向に帯状に延在する画像領域を前記指定画像領域として、前記少なくとも一方のピラーの前記指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することが好ましい。

本発明の遠隔操作装置において、前記オペレータの視線を検知する視線検知装置をさらに備え、前記遠隔制御装置が、前記指定画像出力装置において前記視線検知装置により検知された前記オペレータの第２指定期間にわたる視線の先の軌道の一部または全部が含まれている、帯状に延在する画像領域を前記指定画像領域として、前記少なくとも一方のピラーの前記指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することが好ましい。

当該構成の遠隔操作装置によれば、撮像画像に映り込んでいる少なくとも一方のピラーの指定部分およびオペレータの視線の先にある物体等を指標または目印として、実空間における当該作業部の位置、方向、姿勢、大きさ、形状および作業対象物等との間隔の認識を含む空間認識が可能になる。前記のように撮像画像に映り込む運転室の一対のピラーと、当該ピラーが表示される画像出力装置のベゼルと、がオペレータにより誤認または混同される可能性の低減が図られるため、当該オペレータによる空間認識精度の向上が図られる。

同様の観点から、本発明の遠隔操作装置において、前記遠隔制御装置が、前記指定画像出力装置において前記視線検知装置により検知された前記オペレータの前記第２指定期間にわたる視線の先の変位方向に対して平行な方向に帯状に延在する画像領域を前記指定画像領域として、前記少なくとも一方のピラーの前記指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することが好ましい。

本発明の遠隔操作装置において、前記遠隔制御装置が、前記遠隔操作機構における前記オペレータによる操作態様の相違に応じて、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することが好ましい。

当該構成の遠隔操作装置によれば、オペレータによる遠隔操作機構の操作に応じて、作業機械の状態が変化することにより撮像画像により示されている運転室の前方の様子が変化した場合でも、指定画像出力装置において指定画像領域に少なくとも一方のピラーの指定部分の全部が含まれるように撮像画像の表示態様が可変に制御される。これにより、遠隔操作機構の操作に応じて変化する撮像画像に映り込む運転室の一対のピラーと、当該ピラーが表示される画像出力装置のベゼルと、がオペレータにより誤認または混同される可能性の低減が図られる。

本発明の遠隔操作装置において、前記遠隔制御装置が、前記遠隔操作機構において前記運転室が搭載されている上部旋回体を下部走行体に対して旋回させるための旋回操作があった場合、前記左右一対のピラーのうち、前記上部旋回体の旋回方向にある一方のピラーが他方のピラーよりも偏重的に前記指定画像出力装置に表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することが好ましい。

当該構成の遠隔操作装置によれば、オペレータによる遠隔操作機構の旋回操作に応じて、作業機械の上部旋回体が下部走行体に対して旋回することにより撮像画像により示されている運転室の前方の様子が全体的に当該旋回方向の反対方向に変位した場合、指定画像出力装置において指定画像領域に当該旋回方向にある一方のピラーが、他方のピラーよりも偏重的に表示される。これにより、例えば、指定画像出力装置に表示される撮像画像において、他方のピラーの指定部分の少なくとも一部が表示されないものの、一方のピラーの指定部分の全部が表示される。また、指定画像出力装置における一方のピラーの面積（当該一方のピラーに相当する画像領域を構成する画素数）が、他方のピラーの面積（当該他方のピラーに相当する画像領域を構成する画素数）よりも大きくなるように、指定画像出力装置における撮像装置の表示態様が制御されてもよい。その結果、遠隔操作機構の旋回操作に応じて、当該旋回方向に映り込む運転室の一方のピラーと、当該ピラーが表示される画像出力装置のベゼルと、がオペレータにより誤認または混同される可能性の低減が図られる。

本発明の一実施形態としての遠隔操作支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 遠隔操作支援システムの機能に関する説明図。 撮像画像の第１表示態様に関する説明図。 撮像画像の第２表示態様に関する説明図。 撮像画像の第３表示態様に関する説明図。 撮像画像の第４表示態様に関する説明図。 撮像画像の第５表示態様に関する説明図。

（遠隔操作支援システムの構成）
図１に示されている本発明の一実施形態としての遠隔操作支援システムは、遠隔操作支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０と、により構成されている。遠隔操作支援サーバ１０、遠隔操作装置２０および作業機械４０は相互にネットワーク通信可能に構成されている。遠隔操作支援サーバ１０および遠隔操作装置２０の相互通信ネットワークと、遠隔操作支援サーバ１０および作業機械４０の相互通信ネットワークと、は同一であってもよく相違していてもよい。

（遠隔操作支援サーバの構成）
遠隔操作支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、撮像画像データ等を記憶保持する。データベース１０２は、遠隔操作支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

（遠隔操作装置の構成）
遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、オペレータが着座できる任意の形態の着座部であってもよい。

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１１が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。同様に、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１２が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

画像出力装置２２１は、例えば図２に示されているように、シートＳｔの前方、左斜め前方および右斜め前方のそれぞれに配置された略矩形状の画面を有する中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２により構成されている。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面（画像表示領域）の形状およびサイズは同じであってもよく相違していてもよい。

図２に示されているように、中央画像出力装置２２１０の画面および左側画像出力装置２２１１の画面が傾斜角度θ１（例えば、１２０°≦θ１≦１５０°）をなすように、左側画像出力装置２２１１の右縁が、中央画像出力装置２２１０の左縁に隣接している。図２に示されているように、中央画像出力装置２２１０の画面および右側画像出力装置２２１２の画面が傾斜角度θ２（例えば、１２０°≦θ２≦１５０°）をなすように、右側画像出力装置２２１２の左縁が、中央画像出力装置２２１０の右縁に隣接している。当該傾斜角度θ１およびθ２は同じであっても相違していてもよい。

中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれの画面は、鉛直方向に対して平行であってもよく、鉛直方向に対して傾斜していてもよい。中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のうち少なくとも１つの画像出力装置が、複数に分割された画像出力装置により構成されていてもよい。例えば、中央画像出力装置２２１０が、略矩形状の画面を有する上下に隣接する一対の画像出力装置により構成されていてもよい。画像出力装置２２１０～２２１２は、スピーカ（音声出力装置）をさらに備えていてもよい。

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１と、実機出力インターフェース４２と、作動機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

作業機械４０は、例えばクローラショベル（建設機械）であり、図２に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ４２４（運転室）が設けられている。上部旋回体４２０の前方中央部には作業アタッチメント４４０が設けられている。

実機入力インターフェース４１は、実機操作機構４１１と、実機撮像装置４１２と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。実機撮像装置４１２は、例えばキャブ４２４の内部に設置され、キャブ４２４の前側にある左右一対のピラー４２４０（左右を区別する場合には「Ｌ」および「Ｒ」を符号に含ませる。）により区画されているフロントウィンドウおよび左右一対のサイドウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。フロントウィンドウおよびサイドウィンドウのうち一部または全部が省略されていてもよい。

実機出力インターフェース４２は、実機無線通信機器４２２を備えている。

作動機構としての作業アタッチメント４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

（機能）
前記構成の遠隔操作支援システムの機能について図４に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。

遠隔操作装置２０において、オペレータＯＰにより遠隔入力インターフェース２１０を通じた指定操作の有無が判定される（図４／ＳＴＥＰ２０２）。「指定操作」は、例えば、鳥瞰作業環境画像において、オペレータＯＰが遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０におけるタップなどの操作である。当該判定結果が否定的である場合（図４／ＳＴＥＰ２０２‥ＮＯ）、指定操作の有無の判定以降の処理が繰り返される。その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ２０２‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、遠隔操作支援サーバ１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２０４）。

遠隔操作支援サーバ１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図４／Ｃ１０）。

作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図４／Ｃ４０）、実機制御装置４００が実機撮像装置４１２を通じて撮像画像を取得する（図４／ＳＴＥＰ４０２）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ４０４）。

遠隔操作支援サーバ１０において、第１支援処理要素１２１により撮像画像データが受信された場合（図４／Ｃ１１）、第２支援処理要素１２２により撮像画像データが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１０２）。撮像画像データに代えて、撮像画像に基づいて生成された模擬的な環境画像を表わす環境画像データが遠隔操作装置２０に対して送信されてもよい。この際、第２支援処理要素１２２により撮像画像データに応じた撮像画像の、画像出力装置２２１０～２２１２における分割表示態様の指令が遠隔操作装置２０に対して送信されてもよい。

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて撮像画像データが受信された場合（図４／Ｃ２１）、遠隔制御装置２００により、撮像画像データに応じた撮像画像の、３つの画像出力装置２２１０～２２１２における分割表示態様が制御される（図４／ＳＴＥＰ２０６）。

これにより、例えば、図５に示されているように、キャブ４２４を構成する左側ピラー４２４０Ｌおよび右側ピラー４２４０Ｒに加えて、当該ピラー４２４０の前方に作動機構としての作業アタッチメント４４０の一部であるブーム４４１、アーム４４３およびバケット４４５が映り込んでいる撮像画像が横方向に３分割され、中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２のそれぞれに表示される。図５では、中央画像出力装置２２１０の画面に対して垂直な方向から臨んだ際の、中央画像出力装置２２１０、左側画像出力装置２２１１および右側画像出力装置２２１２が示されている。

例えば、図５に示されているように、指定画像出力装置としての中央画像出力装置２２１０において、作業部としてのバケット４４５を含み、左側ベゼル２２１０Ｌおよび右側ベゼル２２１０Ｒの間で横方向に延在する指定画像領域Ｒに重なる、左側ピラー４２４０Ｌの指定部分ＰＰＬおよび右側ピラー４２４０Ｒの指定部分ＰＰＲのそれぞれの全部が表示されるように、当該撮像装置の分割表示態様が制御されている。

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図４／ＳＴＥＰ２０８）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が遠隔操作支援サーバ１０に対して送信される（図４／ＳＴＥＰ２１０）。

遠隔操作支援サーバ１０において、第２支援処理要素１２２により第２当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図４／Ｃ１２）。

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図４／Ｃ４２）、作業アタッチメント４４０等の動作が制御される（図４／ＳＴＥＰ４０６）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４２０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

（効果）
当該構成の遠隔操作支援システム、ならびに、これを構成する遠隔操作支援サーバ１０および遠隔操作装置２０によれば、作業機械４０のキャブ４２４の内部に搭載されている実機撮像装置４１２により取得された、キャブ４２４の前方の様子を示す撮像画像が中央画像出力装置２２１０（指定画像出力装置）に表示される（図４／ＳＴＥＰ４０２→ＳＴＥＰ４０４→Ｃ１１→ＳＴＥＰ１０２→Ｃ２１→ＳＴＥＰ２０６、図５参照）。このため、オペレータは、中央画像出力装置２２１０（指定画像出力装置）に表示される撮像画像を通じて、遠隔操作対象である作業機械４０または実機のキャブ４２４の前方の様子を把握しながら、遠隔操作機構２１１を操作することができる（図４／ＳＴＥＰ２０８→ＳＴＥＰ２１０→Ｃ１２→Ｃ４２→ＳＴＥＰ４０６、図５参照）。

さらに、中央画像出力装置２２１０（指定画像出力装置）において左右のベゼル２２１０Ｌ、２２１０Ｒの間で帯状に延在する指定画像領域Ｒに重なる、キャブ４２４を構成する一対のピラー４２４０Ｌおよび４２４０Ｒのそれぞれの一部である指定部分ＰＰＬおよびＰＰＲの全部が表示されるように、中央画像出力装置２２１０（指定画像出力装置）における撮像画像の表示態様が可変に制御される（図５参照）。

これにより、中央画像出力装置２２１０（指定画像出力装置）の左右のベゼル２２１０Ｌ、２２１０Ｒと、当該ピラー４２４０Ｌ、４２４０Ｒの一部ＰＰＬ、ＰＰＲとが、少なくとも当該左右のベゼル２２１０Ｌ、２２１０Ｒの間で横に延在する指定画像領域Ｒにおいて明確に識別可能になる。よって、撮像画像に映り込むキャブ４２４の一対のピラーと、当該ピラーが表示される中央画像出力装置２２１０のベゼル２２１０Ｌ、２２１０Ｒと、がオペレータにより誤認または混同される可能性の低減が図られる。

特に、中央画像出力装置２２１０および左側画像出力装置２２１１の間でオペレータの視線が移動する際に、中央画像出力装置２２１０の左側ベゼル２２１０Ｌが、キャブ４２４を構成する左側ピラー４２４０Ｌであるかのように当該オペレータによりにより誤認または混同される可能性の低減が図られる（図５参照）。同様に、中央画像出力装置２２１０および右側画像出力装置２２１２の間でオペレータの視線が移動する際に、中央画像出力装置２２１０の右側ベゼル２２１０Ｒが、キャブ４２４を構成する右側ピラー４２４０Ｒであるかのように当該オペレータによりにより誤認または混同される可能性の低減が図られる。

さらに、撮像画像に映り込んでいるピラー４２４０Ｌ、４２４０Ｒの指定部分ＰＰＬ、ＰＰＲおよび作業機械４０を構成する作業アタッチメント４４０（作動機構）のバケット４４５（作業部）のそれぞれを指標として、実空間における当該バケット４４５の位置、方向、姿勢、大きさ、形状および作業対象物である地面等との間隔の認識を含む空間認識が可能になる。前記のように撮像画像に映り込むキャブ４２４の一対のピラー４２４０Ｌ、４２４０Ｒと、当該ピラー４２４０Ｌ、４２４０Ｒが表示される中央画像出力装置２２１０のベゼル２２１０Ｌ、２２１０Ｒと、がオペレータにより誤認または混同される可能性の低減が図られるため、当該オペレータによる空間認識精度の向上が図られる。

（本発明の他の実施形態）
前記実施形態では、遠隔操作機構２１１の前方中央に配置されている中央画像出力装置２２１０が指定画像出力装置として定義されていたが、付加的または代替的に、遠隔操作機構２１１の左斜め前方に配置されている左側画像出力装置２２１１および／または右斜め前方に配置されている右側画像出力装置２２１２が指定画像出力装置として定義されていてもよい。

前記実施形態では、画像出力装置２２１が、３つの画像出力装置２２１０、２２１１および２２１２（または画像出力装置群）により構成されていたが、他の実施形態として、画像出力装置２２１が、一の画像出力装置（例えば、中央画像出力装置２２１０）のみにより構成されていてもよく、２つまたは４つ以上の画像出力装置により構成されていてもよい。

前記実施形態では、バケット４４５が作業部として定義されていたが、付加的または代替的に、作業アタッチメント４４０（作動機構）の他の構成要素（例えばブーム４４１および／またはアーム４４３）が作業部として定義されていてもよい。

遠隔操作装置２０が、オペレータの視線を検知する視線検知装置をさらに備えていてもよい。この場合、遠隔制御装置２００が、図６に示されているように、中央画像出力装置２２１０（指定画像出力装置）において当該視線検知装置により検知されたオペレータの第２指定期間（例えば、１秒～１分）にわたる視線の先の軌道Ｔｒの一部または全部が含まれている、横方向に帯状に延在する画像領域を指定画像領域Ｒとして定義してもよい。そして、遠隔制御装置２００が、図６に示されているように、指定画像領域Ｒに重なる少なくとも一方のピラー４２４０Ｌ、４２４０Ｒの指定部分ＰＰＬ、ＰＰＲの全部が表示されるように、中央画像出力装置２２１０（指定画像出力装置）における撮像画像の表示態様を可変に制御してもよい。

当該構成の遠隔操作装置によれば、撮像画像に映り込んでいる少なくとも一方のピラー４２４０Ｌ、４２４０Ｒの指定部分ＰＰＬ、ＰＰＲおよびオペレータの視線の先にある物体等を指標として、実空間におけるバケット４４５（作業部）の位置、方向、姿勢、大きさ、形状および作業対象物等との間隔の認識を含む空間認識が可能になる。前記のように撮像画像に映り込むキャブ４２４の一対のピラーと、当該ピラーが表示される画像出力装置のベゼルと、がオペレータにより誤認または混同される可能性の低減が図られるため、当該オペレータによる空間認識精度の向上が図られる。

指定画像領域Ｒは、そのほか様々な形態で定義されていてもよい。例えば、遠隔制御装置２００が、中央画像出力装置２２１０（指定画像出力装置）においてバケット４４５（作業部）の第１指定期間（例えば、１秒～１分）にわたる位置軌道の一部または全部が含まれている、帯状に延在する画像領域を指定画像領域Ｒとして定義してもよい。

さらに、遠隔制御装置２００が、指定画像出力装置（例えば、中央画像出力装置２２１０）において作業機械４０を構成する作動機構（例えば、作業アタッチメント４４０）の作業部（例えば、バケット４４５）の第１指定期間にわたる変位方向に対して平行な方向に帯状に延在する画像領域を指定画像領域Ｒとして定義してもよい。これにより、例えば、図９に示されているように、中央画像出力装置２２１０においてバケット４４５（作業部）の第１指定期間にわたる変位方向（太矢印参照）に対して平行な方向（ここでは右斜め上方）に帯状に延在する画像領域が指定画像領域Ｒとして定義されている。そして、当該指定画像領域Ｒに重なる左側ピラー４２４０Ｌの指定部分ＰＰＬおよび右側ピラー４２４０Ｒの指定部分ＰＰＲの全部が表示されるように、中央画像出力装置２２１０における撮像画像の表示態様が制御される。

さらに、遠隔制御装置２００が、指定画像出力装置（例えば、中央画像出力装置２２１０）において前記視線検知装置により検知されたオペレータの第２指定期間にわたる視線の先の変位方向に対して平行な方向に帯状に延在する画像領域を指定画像領域Ｒとして定義してもよい。

遠隔制御装置２００が、遠隔操作機構２１１におけるオペレータによる操作態様の相違に応じて、中央画像出力装置２２１０（指定画像出力装置）における撮像画像の表示態様を可変に制御してもよい。

当該構成の遠隔操作装置２０によれば、オペレータによる遠隔操作機構２１１の操作に応じて、作業機械４０の状態が変化することにより撮像画像により示されているキャブ４２４の前方の様子が変化した場合でも、中央画像出力装置２２１０（指定画像出力装置）において指定画像領域Ｒに少なくとも一方のピラー４２４０Ｌ、４２４０Ｒの指定部分ＰＰＬ、ＰＰＲの全部が含まれるように撮像画像の表示態様が可変に制御される。これにより、遠隔操作機構２１１の操作に応じて変化する撮像画像に映り込むキャブ４２４の一対のピラー４２４０Ｌ、４２４０Ｒと、当該ピラー４２４０Ｌ、４２４０Ｒが表示される中央画像出力装置２２１０のベゼル２２１０Ｌ、２２１０Ｒと、がオペレータにより誤認または混同される可能性の低減が図られる。

遠隔制御装置２００が、遠隔操作機構２１１においてキャブ４２４が搭載されている上部旋回体４２０を下部走行体４１０に対して旋回させるための旋回操作があった場合（図３参照）、左右一対のピラー４２４０Ｌ、４２４０Ｒのうち、上部旋回体４２０の旋回方向にある一方のピラー４２４０Ｌ（または４２４０Ｒ）の指定部分ＰＰＬ（またはＰＰＲ）が他方のピラー４２４０Ｒ（または４２４０Ｌ）の指定部分ＰＰＲ（またはＰＰＬ）よりも偏重的に中央画像出力装置２２１０（指定画像出力装置）に表示されるように撮像画像の表示態様を可変に制御してもよい。

当該構成の遠隔操作装置２０によれば、オペレータによる遠隔操作機構２１１の旋回操作に応じて、作業機械４０の上部旋回体４２０が下部走行体４１０に対して右旋回した場合、図７に示されているように、撮像画像により示されているキャブ４２４の前方の様子が全体的に当該旋回方向（黒矢印参照）の反対方向（白矢印参照）に変位する。この場合、図７に示されているように、中央画像出力装置２２１０に表示される撮像画像において、左側ピラー４２４０Ｌの指定部分ＰＰＬの少なくとも一部が表示されないものの、右側ピラー４２４０Ｒの指定部分ＰＰＲの全部が表示される。これにより、中央画像出力装置２２１０に表示される撮像画像において、左側ピラー４２４０Ｌの面積よりも右側ピラー４２４０Ｒの面積が大きくなっている。図７では指定画像領域Ｒは、図５の実施形態にしたがって定義されているが、図６またはその他の実施形態にしたがって定義されていてもよい。

同様に、オペレータによる遠隔操作機構２１１の旋回操作に応じて、作業機械４０の上部旋回体４２０が下部走行体４１０に対して左旋回した場合、図８に示されているように、撮像画像により示されているキャブ４２４の前方の様子が全体的に当該旋回方向（黒矢印参照）の反対方向（白矢印参照）に変位する。この場合、図８に示されているように、中央画像出力装置２２１０に表示される撮像画像において、左側ピラー４２４０Ｌの指定部分ＰＰＲの少なくとも一部が表示されないものの、右側ピラー４２４０Ｒの指定部分ＰＰＲの全部が表示される。これにより、中央画像出力装置２２１０に表示される撮像画像において、右側ピラー４２４０Ｒの面積よりも左側ピラー４２４０Ｌの面積が大きくなっている。図８では指定画像領域Ｒは、図６の実施形態にしたがって定義されているが、図５またはその他の実施形態にしたがって定義されていてもよい。

その結果、遠隔操作機構２１１の旋回操作に応じて、当該旋回方向に映り込むキャブ４２４の一方のピラー４２４０Ｌまたは４２４０Ｒと、当該ピラー４２４０Ｌまたは４２４０Ｒが表示される中央画像出力装置２２１０のベゼル２２１０Ｌまたは２２１０Ｒと、がオペレータにより誤認または混同される可能性の低減が図られる。上部旋回体４２０の右旋回時には、オペレータの視線の先または注意が中央画像出力装置２２１０の右側に寄り、上部旋回体４２０の左旋回時には、オペレータの視線の先または注意が中央画像出力装置２２１０の左側に寄る傾向があるため、当該表示態様の制御は特に有意義である。

１０‥遠隔操作支援サーバ、２０‥遠隔操作装置、４０‥作業機械、４１‥実機入力インターフェース、４２‥実機出力インターフェース、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２００‥遠隔制御装置、２１０‥遠隔入力インターフェース、２１１‥遠隔操作機構、２２０‥遠隔出力インターフェース、２２１‥画像出力装置、４００‥実機制御装置、４１０‥下部走行体、４２０‥上部旋回体、４２４‥キャブ（運転室）、４４０‥作業アタッチメント（作動機構）、４４５‥バケット（作業部）、２２１０‥中央画像出力装置（指定画像出力装置）、２２１１‥左側画像出力装置、２２１２‥右側画像出力装置、４２４０Ｌ‥左側ピラー、４２４０Ｒ‥右側ピラー、ＰＰＬ、ＰＰＲ‥ピラーの指定部分。

Claims (12)

1. 作業機械を遠隔操作するためにオペレータにより操作される遠隔操作機構と、
   前記遠隔操作機構の周囲に配置された一または複数の画像出力装置と、
   遠隔制御装置と、を備え、
   前記遠隔制御装置が、前記作業機械の運転室の内部に搭載されている実機撮像装置により取得された、前記運転室の前方の様子を示す撮像画像を前記一または複数の画像出力装置のうち指定画像出力装置に表示させ、かつ、前記指定画像出力装置において左右のベゼルの間で帯状に延在する指定画像領域に重なる、前記運転室を構成する一対のピラーのうち少なくとも一方のピラーの一部である指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することを特徴とする遠隔操作装置。
2. 請求項１記載の遠隔操作装置において、
   前記遠隔操作機構の前方に配置されている前記指定画像出力装置としての中央画像出力装置と、前記中央画像出力装置の左右側縁のそれぞれに隣接して、前記遠隔操作機構の左斜め前方および右斜め前方のそれぞれに配置されている左側画像出力装置および右側画像出力装置と、を前記複数の画像出力装置として備え、
   前記遠隔制御装置が、前記右側画像出力装置、前記中央画像出力装置および前記左側画像出力装置に前記撮像画像を分割して表示させ、かつ、前記右側画像出力装置、前記中央画像出力装置および前記左側画像出力装置における前記撮像画像の分割表示態様を可変に制御することを特徴とする遠隔操作装置。
3. 請求項１または２記載の遠隔操作装置において、
   前記遠隔制御装置が、前記指定画像出力装置において前記作業機械を構成する作動機構の作業部が含まれている、帯状に延在する画像領域を前記指定画像領域として、前記少なくとも一方のピラーの前記指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することを特徴とする遠隔操作装置。
4. 請求項３記載の遠隔操作装置において、
   前記遠隔制御装置が、前記指定画像出力装置において前記作業部の第１指定期間にわたる位置軌道の一部または全部が含まれている、帯状に延在する画像領域を前記指定画像領域として、前記少なくとも一方のピラーの前記指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することを特徴とする遠隔操作装置。
5. 請求項４記載の遠隔操作装置において、
   前記遠隔制御装置が、前記指定画像出力装置において前記作業部の前記第１指定期間にわたる変位方向に対して平行な方向に帯状に延在する画像領域を前記指定画像領域として、前記少なくとも一方のピラーの前記指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することを特徴とする遠隔操作装置。
6. 請求項１～５のうちいずれか１項に記載の遠隔操作装置において、
   前記オペレータの視線を検知する視線検知装置をさらに備え、
   前記遠隔制御装置が、前記指定画像出力装置において前記視線検知装置により検知された前記オペレータの第２指定期間にわたる視線の先の軌道の一部または全部が含まれている、帯状に延在する画像領域を前記指定画像領域として、前記少なくとも一方のピラーの前記指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することを特徴とする遠隔操作装置。
7. 請求項６記載の遠隔操作装置において、
   前記遠隔制御装置が、前記指定画像出力装置において前記視線検知装置により検知された前記オペレータの前記第２指定期間にわたる視線の先の変位方向に対して平行な方向に帯状に延在する画像領域を前記指定画像領域として、前記少なくとも一方のピラーの前記指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することを特徴とする遠隔操作装置。
8. 請求項１～７のうちいずれか１項に記載の遠隔操作装置において、
   前記遠隔制御装置が、前記遠隔操作機構における前記オペレータによる操作態様の相違に応じて、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することを特徴とする遠隔操作装置。
9. 請求項８記載の遠隔操作装置において、
   前記遠隔制御装置が、前記遠隔操作機構において前記運転室が搭載されている上部旋回体を下部走行体に対して旋回させるための旋回操作があった場合、左右一対のピラーのうち、前記上部旋回体の旋回方向にある一方のピラーが他方のピラーよりも偏重的に前記指定画像出力装置に表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御することを特徴とする遠隔操作装置。
10. 遠隔操作装置を通じた作業機械の遠隔操作を支援するための遠隔操作支援サーバであって、
    前記作業機械を構成する運転室の内部に搭載されている実機撮像装置により取得された前記運転室の前方の様子を示す撮像画像を、前記作業機械との通信に基づいて取得する第１支援処理要素と、
    前記遠隔操作装置との通信に基づき、前記遠隔操作装置を構成する一または複数の画像出力装置のうち指定画像出力装置において左右のベゼルの間で帯状に延在する指定画像領域に重なる、前記運転室を構成する一対のピラーのうち少なくとも一方のピラーの一部である指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御する第２支援処理要素と、を備えていることを特徴とする遠隔操作支援サーバ。
11. 請求項１～９のうちいずれか１項に記載の遠隔操作装置と、請求項１０記載の遠隔操作支援サーバと、により構成されていることを特徴とする遠隔操作支援システム。
12. 遠隔操作装置を通じた作業機械の遠隔操作を支援するための方法であって、
    前記作業機械を構成する運転室の内部に搭載されている実機撮像装置により取得された前記運転室の前方の様子を示す撮像画像を、前記作業機械との通信に基づいて取得する第１支援処理と、
    前記遠隔操作装置との通信に基づき、前記遠隔操作装置を構成する一または複数の画像出力装置のうち指定画像出力装置において左右のベゼルの間で帯状に延在する指定画像領域に重なる、前記運転室を構成する一対のピラーのうち少なくとも一方のピラーの一部である指定部分の全部が表示されるように、前記指定画像出力装置における前記撮像画像の表示態様を可変に制御する第２支援処理と、を含んでいることを特徴とする遠隔操作支援方法。

Images