JP7367486B2 - 作業支援サーバおよび作業支援システム - Google Patents

Description

本発明は、複数の作業員のそれぞれに対して割り当てられた複数のクライアントのそれぞれとの通信により、前記複数の作業員による作業に関する情報の共有を支援するための作業支援サーバに関する。

プラント内を巡回点検中の作業従事者と、その作業現場外に待機している者との間で十分な精度で情報の共有化を図るための遠隔監視支援システム用端末装置が提案されている（例えば、特許文献１参照）。この端末装置は、現場の映像データを入力する映像入力手段と、ペンあるいはマウスタイプの入力操作選択手段と、新規の映像取得の有無を検出する検出手段と、外部とのデータ送受信を無線で行う通信制御手段と、所定のデータを入力する入力画面を表示する入出力画面表示手段と、を備えている。

特開２００５－２４２８３０号公報

しかし、複数の作業関係者が関与する作業現場において注意を要するエリアに関する情報を、当該複数の作業関係者の間で共有できることが好ましい。

そこで、本発明は、作業現場において注意を要するエリアに関する情報を、複数の作業関係者に共有させることができるサーバおよびシステムを提供することを目的とする。

本発明は、複数の作業員のそれぞれに対して割り当てられた複数のクライアントのそれぞれとの通信により、前記複数の作業員による作業に関する情報の共有を支援するための作業支援サーバに関する。

本発明の作業支援サーバは、前記複数のクライアントのうち第１クライアントとの通信に基づき、前記第１クライアントの出力インターフェースに作業現場の状況を示す作業環境画像を表示させ、前記第１クライアントの入力インターフェースを通じて入力された前記作業環境画像において指定された前記作業現場の一部を構成する指定エリアの延在態様および当該指定エリアに関する指定エリア関連情報を認識する第１支援処理要素と、前記複数のクライアントのうち作業機械を遠隔操作するための遠隔操作装置である第２クライアントとの通信に基づき、前記第１支援処理要素により認識された前記指定エリアの延在態様を示す前記作業環境画像を、前記指定エリア関連情報とともに前記第２クライアントの出力インターフェースに表示させる第２支援処理要素と、を備えていることを特徴とする。

本発明の作業支援システムは、本発明の作業支援サーバと、前記複数のクライアントと、により構成されていることを特徴とする。

本発明の作業支援サーバおよび作業支援システム（以下、適宜「作業支援サーバ等」という。）によれば、第１クライアントの入力インターフェースを通じて指定された指定エリアの延在態様を示す作業現場の作業環境画像が、同じく第１クライアントの入力インターフェースを通じて指定された当該指定エリアに関する指定エリア関連情報とともに第２クライアントの出力インターフェースに出力または表示される。このため、複数のクライアントのそれぞれを割り当てられた複数の作業員のそれぞれが、作業現場における指定エリアの延在態様およびこれに関する指定エリア関連情報を容易に共有することができる。

また、第２クライアントが第１クライアントとして機能し、さらに別の指定エリアの延在態様を示す作業現場の作業環境画像が、当該別の指定エリアに関する指定エリア関連情報とともに他の第２クライアントの出力インターフェースに表示されてもよい。第１クライアントが当該他の第２クライアントであってもよい。このため、例えば、共通の現場に携わっている複数の作業員のそれぞれが、各クライアントの入力インターフェースを通じて一または複数の指定エリアおよび指定エリア関連情報を指定することにより、各クライアントの出力インターフェースを通じて情報量の豊富な作業環境画像を当該複数の作業員の間で共有することができる。

本発明の作業支援サーバ等において、前記第２支援処理要素が、前記複数のクライアントのそれぞれとの通信に基づき、前記複数のクライアントのそれぞれの入力インターフェースを通じて入力されたチャットを認識し、前記チャットを、前記複数のクライアントのそれぞれの出力インターフェースに表示させ、前記第１支援処理要素が、前記第１クライアントとの通信に基づいて認識した前記チャットを前記指定エリア関連情報として認識することが好ましい。

当該構成の作業支援サーバ等によれば、複数の作業員のそれぞれから発せられたチャットが各クライアントの出力インターフェースを通じて出力される。また、第１クライアントを通じて発せられたチャットが指定エリア関連情報として認識され、これに応じて前記のように当該指定エリア関連情報が指定エリアの延在態様を示す作業環境画像とともに表示される。このため、チャットの時系列の中で一のチャットと作業環境画像に含まれている指定エリアとの関連性を当該複数の作業員の間で共有することにより、当該指定エリアに関する指定エリア関連情報の円滑な共有が図られる。

本発明の作業支援サーバ等において、前記第１支援処理要素が、前記第１クライアントとの通信に基づき、前記第１クライアントにおいて前記指定エリアが指定されたことを要件として、前記第１クライアントから発せられたチャットの内容の少なくとも一部を前記指定エリア関連情報として認識することが好ましい。

当該構成の作業支援サーバ等によれば、各クライアントを通じて発信されるチャットのうち、指定エリアの延在態様の指定を伴わないチャットは単なるチャットであると認識される一方、指定エリアの延在態様の指定を伴うチャットのうち少なくとも一部が指定エリア関連情報として認識されうる。

本発明の作業支援サーバ等において、前記第１支援処理要素が、前記第１クライアントの入力インターフェースを通じて入力された前記指定エリアの指定期間を前記指定エリア関連情報として認識し、前記第２支援処理要素が、前記第２クライアントとの通信に基づき、前記第１支援処理要素により認識された前記指定期間においてのみ、前記指定エリアの延在態様が表示される前記作業現場の作業環境画像を、前記指定エリア関連情報とともに前記第２クライアントの出力インターフェースに表示させることが好ましい。

当該構成の作業支援サーバ等によれば、指定エリアの延在態様が表示される作業現場の作業環境画像が、当該指定エリアに関する指定エリア関連情報としての指定期間とともに第２クライアントの出力インターフェースに表示される。このため、第２クライアントを通じて、指定エリアが時限的に存在することを作業員に認識させることができる。また、指定期間の経過後は、当該指定エリアが周囲と異なる形態では表示されないため、作業員に指定エリアが存在するという誤解を与える事態が回避される。

本発明の作業支援サーバ等において、前記第１処理処理要素が、前記第１クライアントまたは前記第１クライアントと連携している作業機械との通信に基づき、前記作業機械の位置を認識し、前記第２支援処理要素が、前記第２クライアントとの通信に基づき、前記第１支援処理要素により認識された前記作業機械の位置を示す前記作業現場の作業環境画像を、前記指定エリア関連情報とともに前記第２クライアントの出力インターフェースに表示させることが好ましい。

当該構成の作業支援サーバ等によれば、作業員が操作する作業機械の位置と指定エリアの位置関係を複数の作業員の間で共有することができる。

本発明の一実施形態としての作業支援システムの構成に関する説明図。 遠隔操作装置の構成に関する説明図。 作業機械の構成に関する説明図。 作業支援システムの第１機能に関する説明図。 作業支援システムの第２機能に関する説明図。 作業環境画像の遠隔出力形態に関する説明図。 作業環境画像の第２出力形態に関する説明図。 作業環境画像の第３出力形態に関する説明図。 作業環境画像の第４出力形態に関する説明図。 作業環境画像の第５出力形態に関する説明図。

（作業支援システムの構成）
図１に示されている本発明の一実施形態としての作業支援システムは、作業支援サーバ１０と、作業機械４０を遠隔操作するための遠隔操作装置２０と、作業員端末６０と、により構成されている。「複数のクライアント」は、一または複数の遠隔操作装置２０および一または複数の作業員端末６０により構成されていてもよく、複数の遠隔操作装置２０または複数の作業員端末６０により構成されていてもよい。作業支援サーバ１０と、遠隔操作装置２０と、作業機械４０と、作業員端末６０と、は相互にネットワーク通信可能に構成されている。

（作業支援サーバの構成）
作業支援サーバ１０は、データベース１０２と、第１支援処理要素１２１と、第２支援処理要素１２２と、を備えている。データベース１０２は、作業現場の様子を示す作業環境画像のほか、指定エリアの延在態様および指定エリアに関する指定エリア関連情報ならびに複数の作業員の間のチャットなどを記憶保持する。データベース１０２は、作業支援サーバ１０とは別個のデータベースサーバにより構成されていてもよい。各支援処理要素は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった後述の演算処理を実行する。

（遠隔操作装置の構成）
一のクライアントを構成する遠隔操作装置２０は、遠隔制御装置２００と、遠隔入力インターフェース２１０と、遠隔出力インターフェース２２０と、を備えている。遠隔制御装置２００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。遠隔入力インターフェース２１０は、遠隔操作機構２１１を備えている。遠隔出力インターフェース２２０は、画像出力装置２２１と、遠隔無線通信機器２２２と、を備えている。

遠隔操作装置２０と連携するまたは相互通信機能を有する携帯端末により当該一のクライアントが構成されていてもよい。当該携帯端末は、後述する作業員端末６０と同様の構成を有している。

遠隔操作機構２１１には、走行用操作装置と、旋回用操作装置と、ブーム用操作装置と、アーム用操作装置と、バケット用操作装置と、が含まれている。各操作装置は、回動操作を受ける操作レバーを有している。走行用操作装置の操作レバー（走行レバー）は、作業機械４０の下部走行体４１０を動かすために操作される。走行レバーは、走行ペダルを兼ねていてもよい。例えば、走行レバーの基部または下端部に固定されている走行ペダルが設けられていてもよい。旋回用操作装置の操作レバー（旋回レバー）は、作業機械４０の旋回機構４３０を構成する油圧式の旋回モータを動かすために操作される。ブーム用操作装置の操作レバー（ブームレバー）は、作業機械４０のブームシリンダ４４２を動かすために操作される。アーム用操作装置の操作レバー（アームレバー）は作業機械４０のアームシリンダ４４４を動かすために操作される。バケット用操作装置の操作レバー（バケットレバー）は作業機械４０のバケットシリンダ４４６を動かすために操作される。

遠隔操作機構２１１を構成する各操作レバーは、例えば、図２に示されているように、オペレータが着座するためのシートＳｔの周囲に配置されている。シートＳｔは、アームレスト付きのハイバックチェアのような形態であるが、ヘッドレストがないローバックチェアのような形態、または、背もたれがないチェアのような形態など、遠隔オペレータＯＰ２が着座できる任意の形態でもよい。

シートＳｔの前方に左右のクローラに応じた左右一対の走行レバー２１１０が左右横並びに配置されている。一の操作レバーが複数の操作レバーを兼ねていてもよい。例えば、図２に示されているシートＳｔの右側フレームの前方に設けられている右側操作レバー２１１１が、前後方向に操作された場合にブームレバーとして機能し、かつ、左右方向に操作された場合にバケットレバーとして機能してもよい。同様に、図２に示されているシートＳｔの左側フレームの前方に設けられている左側操作レバー２１１２が、前後方向に操作された場合にアームレバーとして機能し、かつ、左右方向に操作された場合に旋回レバーとして機能してもよい。レバーパターンは、オペレータの操作指示によって任意に変更されてもよい。

画像出力装置２２１は、例えば図２に示されているように、シートＳｔの右斜め前方、前方および左斜め前方のそれぞれに配置された右斜め前方画像出力装置２２１１、前方画像出力装置２２１２および左斜め前方画像出力装置２２１３により構成されている。当該画像出力装置２２１１～２２１３は、スピーカ（音声出力装置）をさらに備えていてもよい。

（作業機械の構成）
作業機械４０は、実機制御装置４００と、実機入力インターフェース４１０と、実機出力インターフェース４２０と、作動機構４４０と、を備えている。実機制御装置４００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

作業機械４０は、例えばクローラショベル（建設機械）であり、図３に示されているように、クローラ式の下部走行体４１０と、下部走行体４１０に旋回機構４３０を介して旋回可能に搭載されている上部旋回体４２０と、を備えている。上部旋回体４２０の前方左側部にはキャブ（運転室）４２４が設けられている。上部旋回体４２０の前方中央部には
作業アタッチメント４４０が設けられている。

実機入力インターフェース４１０は、実機操作機構４１１と、撮像装置４１２と、を備えている。実機操作機構４１１は、キャブ４２４の内部に配置されたシートの周囲に遠隔操作機構２１１と同様に配置された複数の操作レバーを備えている。遠隔操作レバーの操作態様に応じた信号を受信し、当該受信信号に基づいて実機操作レバーを動かす駆動機構またはロボットがキャブ４２４に設けられている。撮像装置４１２は、例えばキャブ４２４の内部に設置され、キャブ４２４のフロントウィンドウ越しに作動機構４４０の少なくとも一部を含む環境を撮像する。

実機出力インターフェース４２０は、実機無線通信機器４２２を備えている。

作動機構としての作業アタッチメント４４０は、上部旋回体４２０に起伏可能に装着されているブーム４４１と、ブーム４４１の先端に回動可能に連結されているアーム４４３と、アーム４４３の先端に回動可能に連結されているバケット４４５と、を備えている。作業アタッチメント４４０には、伸縮可能な油圧シリンダにより構成されているブームシリンダ４４２、アームシリンダ４４４およびバケットシリンダ４４６が装着されている。

ブームシリンダ４４２は、作動油の供給を受けることにより伸縮してブーム４４１を起伏方向に回動させるように当該ブーム４４１と上部旋回体４２０との間に介在する。アームシリンダ４４４は、作動油の供給を受けることにより伸縮してアーム４４３をブーム４４１に対して水平軸回りに回動させるように当該アーム４４３と当該ブーム４４１との間に介在する。バケットシリンダ４４６は、作動油の供給を受けることにより伸縮してバケット４４５をアーム４４３に対して水平軸回りに回動させるように当該バケット４４５と当該アーム４４３との間に介在する。

（作業員端末の構成）
他のクライアントを構成する作業員端末６０は、スマートホンまたはタブレット端末などの端末装置であり、制御装置６００と、入力インターフェース６１０と、出力インターフェース６２０と、を備えている。制御装置６００は、演算処理装置（シングルコアプロセッサまたはマルチコアプロセッサもしくはこれを構成するプロセッサコア）により構成され、メモリなどの記憶装置から必要なデータおよびソフトウェアを読み取り、当該データを対象として当該ソフトウェアにしたがった演算処理を実行する。

入力インターフェース６１０は、タッチパネル方式のボタンおよびスイッチなどにより構成されている。出力インターフェース６２０は、画像出力装置６２１と、音声出力装置と、無線通信機器６２２と、を備えている。

（機能）
（第１機能（作業環境画像およびチャットの出力））
前記構成の作業支援システムの機能について図４および図５に示されているフローチャートを用いて説明する。当該フローチャートにおいて「Ｃ●」というブロックは、記載の簡略のために用いられ、データの送信および／または受信を意味し、当該データの送信および／または受信を条件として分岐方向の処理が実行される条件分岐を意味している。図４には、作業員端末６０が「第１クライアント」を構成し、遠隔操作装置２０が「第２クライアント」を構成する場合のフローチャートが示されているが、これとは逆に、作業員端末６０が「第２クライアント」を構成し、遠隔操作装置２０が「第１クライアント」を構成していてもよい。

作業員端末６０において、第１作業員により入力インターフェース６１０を通じて、指定操作（第１指定操作）があったことに応じて、作業員端末６０から作業支援サーバ１０に作業環境画像要求が送信される。これに応じて、第１支援処理要素１２１により、データベース１０２に登録または記憶保持されている作業環境画像が作業員端末６０に対して送信される（図４／ＳＴＥＰ１０２）。

作業員端末６０において、出力インターフェース６２０を構成する無線通信機器により作業環境画像が受信された場合（図４／Ｃ６０）、出力インターフェース６２０を構成する画像出力装置６２１において作業環境画像が出力される（図４／ＳＴＥＰ６０２）。

これにより、例えば図６に示されているように、作業現場の鳥瞰マップまたは鳥瞰撮像画像が出力インターフェース６２０を構成する画像出力装置６２１において作業環境画像が出力される。鳥瞰撮像画像には、第１の作業機械４０の画像Ｑ１および２の作業機械４０の画像Ｑ２が含まれている。鳥瞰撮像画像は、例えば無人飛行機に搭載されている撮像装置または作業現場のポール等の構造物に設置されている撮像装置を通じて取得されてもよい。作業環境画像としての撮像画像の撮像箇所および画角のそれぞれは任意に変更されてもよい。鳥瞰マップは、鳥瞰撮像画像を基礎として生成されてもよい。

同様に、遠隔操作装置２０において、第２作業員により遠隔入力インターフェース２１０を通じて、指定操作（第１指定操作）があったことに応じて、遠隔操作装置２０から作業支援サーバ１０に作業環境画像要求が送信される。これに応じて、第２支援処理要素１２２により、データベース１０２に登録または記憶保持されている作業環境画像が遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１０２）。

遠隔操作装置２０において、遠隔出力インターフェース２２０を構成する遠隔無線通信機器２２２により作業環境画像が受信された場合（図４／Ｃ２０）、遠隔出力インターフェース６２０を構成する画像出力装置６２１において作業環境画像が出力される（図４／ＳＴＥＰ２０２）。

作業員端末６０において、入力インターフェース６１０の操作を通じて、作業環境画像の一部（画像領域）として指定エリアの延在態様が指定されたか否かが判定される（図４／ＳＴＥＰ６０４）。例えば、入力インターフェース６１０および出力インターフェース６２０の両方を構成するタッチパネルにおいて、第１作業員の指先またはペンの軌跡が認識されることにより、指定エリアの延在態様または輪郭が認識されてもよい。これにより、例えば図１０に示されているように、作業環境画像において第１指定エリアＡ１および第２指定エリアＡ２が第１作業員により指定されうる。

当該判定結果が肯定的である場合（図４／ＳＴＥＰ６０４‥ＹＥＳ）、フラグｆが「０」に設定される（図４／ＳＴＥＰ６０６）。その一方、当該判定結果が否定的である場合（図４／ＳＴＥＰ６０４‥ＮＯ）、フラグｆが「１」に設定される（図４／ＳＴＥＰ６０８）。

作業員端末６０において、入力インターフェース６１０を通じて、チャットが入力されたか否かが判定される（図４／ＳＴＥＰ６１０）。例えば、入力インターフェース６１０を構成するマイクを通じて入力された第１作業員の発話内容が音声認識装置により認識された結果がチャットとして認識されてもよい。また、入力インターフェース６１０を構成するタッチ式キーパッドにおいて、第１作業員の指先の軌跡が認識されることによりチャットが認識されてもよい。

所定期間においてチャットが入力されなかったと判定された場合（図４／ＳＴＥＰ６１０‥ＮＯ）、一連の処理が終了する。所定期間においてチャットが入力されたと判定された場合（図４／ＳＴＥＰ６１０‥ＹＥＳ）、作業員端末６０において、フラグｆが０であるか否かが判定される（図４／ＳＴＥＰ６１２）。当該判定結果が否定的である場合（図４／ＳＴＥＰ６１２‥ＮＯ）、すなわち指定エリアの延在態様が指定されていない場合、当該チャットが作業支援サーバ１０に対して送信される（図４／ＳＴＥＰ６１４）。

その一方、当該判定結果が肯定的である場合（図４／ＳＴＥＰ６１２‥ＹＥＳ）、すなわち指定エリアの延在態様が指定されている場合、当該チャットの内容の少なくとも一部が指定エリア関連情報として認識されたうえで作業支援サーバ１０に対して送信される（図４／ＳＴＥＰ６１６）。指定エリア関連情報には、例えば、当該エリアが一定期間だけ指定エリアであることを示す指定時限情報、指定エリアに存在する物体または環境に関する情報などが含まれていてもよい。

作業支援サーバ１０において、チャットが受信された場合（図４／Ｃ１１）、当該チャットがデータベース１０２に登録または記憶保持される（図４／ＳＴＥＰ１０４）。その上で、第２支援処理要素１２２により、当該チャットが作業員端末６０に対して送信される（図４／ＳＴＥＰ１０６）。また、第２支援処理要素１２２により、当該チャットが遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１０６）。

作業員端末６０において、チャットが受信された場合（図４／Ｃ６１）、当該チャットが出力インターフェース６２０を構成する画像出力装置６２１に出力される（図４／ＳＴＥＰ６１８）。同様に、遠隔操作装置２０において、チャットが受信された場合（図４／Ｃ２１）、当該チャットが遠隔出力インターフェース２２０を構成する画像出力装置２２１に出力される（図４／ＳＴＥＰ２１８）。これにより、例えば図６に示されているように、作業環境画像の右側に第１作業員のチャットＣ１１が、作業員端末６０（第１クライアント）の出力インターフェース６２０を構成する画像出力装置６２１および遠隔操作装置２０（第２クライアント）の出力インターフェース２２０を構成する画像出力装置２２１のそれぞれに出力される。

作業支援サーバ１０において、指定エリアの延在態様および指定エリア関連情報（以下、適宜「指定エリア関連情報等」という。）が受信された場合（図４／Ｃ１２）、または、第１支援処理要素１２１によりチャットの内容の少なくとも一部が指定エリア関連情報として認識された場合、当該指定エリア関連情報等がデータベース１０２に登録または記憶保持される（図４／ＳＴＥＰ１０８）。その上で、第２支援処理要素１２２により、当該指定エリア関連情報等が作業員端末６０に対して送信される（図４／ＳＴＥＰ１１０）。また、第２支援処理要素１２２により、当該指定エリア関連情報等が遠隔操作装置２０に対して送信される（図４／ＳＴＥＰ１１０）。

作業員端末６０において、指定エリア関連情報等が受信された場合（図４／Ｃ６２）、当該指定エリア関連情報等が出力インターフェース６２０を構成する画像出力装置６２１に出力される（図４／ＳＴＥＰ６２０）。同様に、遠隔操作装置２０において、指定エリア関連情報等が受信された場合（図４／Ｃ６２）、当該指定エリア関連情報等が出力インターフェース６２０を構成する画像出力装置６２１に出力される（図４／ＳＴＥＰ２２０）。これにより、例えば図７に示されているように、指定エリアＮ４（作業場）の延在態様を示す作業環境画像に加えて、その右に第１作業員のチャットＣ１２の形態での指定エリア関連情報が、作業員端末６０（第１クライアント）の出力インターフェース６２０を構成する画像出力装置６２１および遠隔操作装置２０（第２クライアント）の出力インターフェース２２０を構成する画像出力装置２２１のそれぞれに出力される。

（実施例）
図４のフローチャートを用いて説明した作業支援システムの第１機能にしたがった、各クライアントの出力インターフェースにおける作業環境画像およびチャットの出力遷移態様の一例に関して図６～図１０を用いて説明する。この例では、各クライアントが第１クライアントおよび第２クライアントの両方として機能しうる。チャットのやり取りを示す画像は、作業環境画像の一部を構成していてもよく、作業環境画像とは別個の画像であってもよい。

図６に示されているように、作業現場の鳥瞰撮像画像または鳥瞰マップが作業環境画像として出力されている。この状態からまず、図６に示されているように、第１作業員による「今日はどこで作業してますか？」というチャットＣ１１が出力される（図４／ＳＴＥＰ２１８、ＳＴＥＰ６１８参照）。

これに応じて、図７に示されているように、第２作業員により指定された作業場Ｎ１（指定エリア）の延在態様を示す画像（例えば輪郭線）および遠隔操作装置２０の位置Ｑ０を示す画像が出力され、かつ、当該第２作業員による「Ｎ１作業場です 運転席はここです」というチャットＣ２１が指定エリア関連情報として出力される（図４／ＳＴＥＰ２２０、ＳＴＥＰ６０４‥ＹＥＳ→‥→ＳＴＥＰ６２０参照）。次に、図７に示されているように、第２作業員による「次はＮ４で作業するのですがどこですか？」というチャットＣ２２が出力される（図４／ＳＴＥＰ２１８、ＳＴＥＰ６１８参照）。

これに応じて、図８に示されているように、第１作業員により指定された作業場Ｎ４（指定エリア）の延在態様を示す画像（例えば輪郭線）が出力され、かつ、当該第１作業員による「Ｎ４はここです」というチャットＣ１２が指定エリア関連情報として出力される（図４／ＳＴＥＰ２２０、ＳＴＥＰ６０４‥ＹＥＳ→‥→ＳＴＥＰ６２０参照）。さらに、図８に示されているように、第２作業員による「ありがとうございます」というチャットＣ２３が出力される（図４／ＳＴＥＰ２１８、ＳＴＥＰ６１８参照）。

続いて、図９に示されているように、第３作業員により指定された第１指定エリアＡ１の延在態様を示す画像（例えば輪郭線およびその内側の色彩または模様）が出力され、かつ、当該第３の作業員による「作業者がくるので１０：００－１２：００の間はここに侵入しないでください」というチャットＣ３１が指定エリア関連情報として出力される（図４／ＳＴＥＰ２２０、ＳＴＥＰ６０４‥ＹＥＳ→‥→ＳＴＥＰ６２０参照）。

また、図１０に示されているように、第２作業員により指定された第２指定エリアＡ２の延在態様を示す画像（例えば輪郭線およびその内側の色彩または模様）が出力され、かつ、当該第２作業員による「昨日までなかった資材があったので注意です」というチャットＣ２４が指定エリア関連情報として出力される（図４／ＳＴＥＰ２２０、ＳＴＥＰ６０４‥ＹＥＳ→‥→ＳＴＥＰ６２０参照）。

（第２機能（作業機械の遠隔操作））
遠隔操作装置２０において、オペレータＯＰにより遠隔入力インターフェース２１０を通じた指定操作（第２指定操作）の有無が判定される（図５／ＳＴＥＰ２４０）。「指定操作」は、例えば、作業環境画像（図７参照）において、作業員が遠隔操作を意図する作業機械４０を指定するための遠隔入力インターフェース２１０における画像Ｑ１またはＱ２のタップなどの操作である。当該判定結果が否定的である場合（図５／ＳＴＥＰ２４０‥ＮＯ）、一連の処理が終了する。その一方、当該判定結果が肯定的である場合（図５／ＳＴＥＰ２４０‥ＹＥＳ）、遠隔無線通信機器２２２を通じて、作業支援サーバ１０に対して環境確認要求が送信される（図４／ＳＴＥＰ２４２）。

作業支援サーバ１０において、環境確認要求が受信された場合、第１支援処理要素１２１により当該環境確認要求が該当する作業機械４０に対して送信される（図５／Ｃ１３）。

作業機械４０において、実機無線通信機器４２２を通じて環境確認要求が受信された場合（図５／Ｃ４１）、実機制御装置４００が撮像装置４１２を通じて撮像画像を取得する（図５／ＳＴＥＰ４０２）。実機制御装置４００により、実機無線通信機器４２２を通じて、当該撮像画像を表わす撮像画像データが遠隔操作装置１０に対して送信される（図５／ＳＴＥＰ４０４）。

作業支援サーバ１０において、撮像画像データが受信された場合（図５／Ｃ１４）、撮像画像データに応じた環境画像データ（撮像画像そのものの全部または一部またはこれに基づいて生成された模擬的な環境画像を表わすデータ）が遠隔操作装置２０に対して送信される（図５／ＳＴＥＰ１１２）。

遠隔操作装置２０において、遠隔無線通信機器２２２を通じて環境画像データが受信された場合（図５／Ｃ２３）、環境画像データに応じた環境画像が画像出力装置２２１に出力される（図５／ＳＴＥＰ２１２）。これにより、例えば、作動機構としての作業アタッチメント４４０の一部であるブーム４４１、アーム４４３、バケット４４５およびアームシリンダ４４４が含まれている環境画像が画像出力装置２２１および第２画像出力装置２２１のそれぞれに表示される。

遠隔操作装置２０において、遠隔制御装置２００により遠隔操作機構２１１の操作態様が認識され（図５／ＳＴＥＰ２１４）、かつ、遠隔無線通信機器２２２を通じて、当該操作態様に応じた遠隔操作指令が作業支援サーバ１０に対して送信される（図５／ＳＴＥＰ２１６）。

作業支援サーバ１０において、当該遠隔操作指令が受信された場合、第１支援処理要素１２１により、当該遠隔操作指令が作業機械４０に対して送信される（図５／Ｃ１５）。

作業機械４０において、実機制御装置４００により、実機無線通信機器４２２を通じて操作指令が受信された場合（図５／Ｃ４２）、作業アタッチメント４４０等の動作が制御される（図５／ＳＴＥＰ４０６）。例えば、バケット４４５により作業機械４０の前方の土をすくい、上部旋回体４２０を旋回させたうえでバケット４４５から土を落とす作業が実行される。

（効果）
当該構成の作業支援システムおよびこれを構成する作業支援サーバ１０によれば、第１クライアント（例えば、作業員端末６０）の入力インターフェース（例えば、入力インターフェース）６１０を通じて指定された指定エリアの延在態様を示す作業現場の作業環境画像が、同じく第１クライアントの入力インターフェースを通じて指定された当該指定エリアに関する指定エリア関連情報とともに第２クライアント（例えば、遠隔操作装置２０）の出力インターフェース（例えば、遠隔出力インターフェース２２０）に出力される（図４／ＳＴＥＰ６１６→‥→ＳＴＥＰ２２０参照）。このため、複数のクライアントのそれぞれを割り当てられた複数の作業員のそれぞれが、作業現場における指定エリア（例えば、作業場Ｎ１、Ｎ４、第１指定エリアＡ１および第２指定エリアＡ２）の延在態様およびこれに関する指定エリア関連情報を容易に共有することができる（図６～図１０参照）。

また、第２クライアント（例えば、遠隔操作装置２０）が第１クライアントとして機能し、さらに別の指定エリアの延在態様を示す作業現場の作業環境画像が、当該別の指定エリアに関する指定エリア関連情報とともに他の第２クライアント（例えば、作業員端末６０）の出力インターフェースに表示されてもよい。このため、例えば、共通の現場に携わっている複数の作業員のそれぞれが、各クライアントの入力インターフェースを通じて一または複数の指定エリア（例えば、作業場Ｎ１、Ｎ４、第１指定エリアＡ１および第２指定エリアＡ２）および指定エリア関連情報を指定することにより、各クライアントの出力インターフェースを通じて情報量の豊富な作業環境画像を当該複数の作業員の間で共有することができる（図６～図１０参照）。

（本発明の他の実施形態）
前記実施形態では、作業支援サーバ１０が、遠隔操作装置２０、作業機械４０および作業員端末６０のそれぞれとは別個の一または複数のサーバにより構成されていたが（図１参照）、他の実施形態として、作業支援サーバ１０が、遠隔操作装置２０、作業機械４０または作業員端末６０の構成要素であってもよい。作業支援サーバ１０の各構成要素１０２、１２１および１２２のそれぞれが、遠隔操作装置２０、作業機械４０および作業員端末６０のうちの相互通信可能な２つ以上のそれぞれの構成要素であってもよい。

前記実施形態では、チャットの少なくとも一部が指定エリア関連情報として認識されたが、他の実施形態として、チャットとは無関係に入力インターフェースを通じて入力された情報が指定エリア関連情報として認識されてもよい。この場合、クライアントにおいて、当該入力情報が指定エリア関連情報であることが指定されたことを第１支援処理要素１２１が認識したうえで、当該入力情報が指定エリア関連情報であると認識されてもよい。

前記実施形態では、指定エリアが指定された後のチャットの内容の一部または全部が指定エリア関連情報として認識されたが、他の実施形態として、指定エリアが指定された時点よりも前の指定期間において入力された同一作業員のチャットの少なくとも一部が指定エリア関連情報として認識されてもよい。また、第１作業員により指定された指定エリアに関して、第２作業員が「この指定エリアには１４：００に機材が運び込まれると聞きました」というチャットを発する場合のように、指定エリアの延在態様の指定が要件とされずに、チャットの少なくとも一部が当該指定エリアに関する指定エリア関連情報として認識されてもよい。この場合、クライアントにおいて、チャットが指定エリア関連情報であることが指定されたことを第１支援処理要素１２１が認識したうえで、当該チャットが指定エリア関連情報であると認識されてもよい。

１０‥作業支援サーバ、２０‥遠隔操作装置、４０‥作業機械、６０‥作業員端末、１０２‥データベース、１２１‥第１支援処理要素、１２２‥第２支援処理要素、２１０‥遠隔入力インターフェース、２２０‥遠隔出力インターフェース、４１０‥実機入力インターフェース、４２０‥実機出力インターフェース、４４０‥作業アタッチメント（作動機構）、６１０‥入力インターフェース、６２０‥出力インターフェース。

Claims (6)

1. 複数の作業員のそれぞれに対して割り当てられた複数のクライアントのそれぞれとの通信により、前記複数の作業員による作業に関する情報の共有を支援するための作業支援サーバであって、
   前記複数のクライアントのうち第１クライアントとの通信に基づき、前記第１クライアントの出力インターフェースに作業現場の状況を示す作業環境画像を表示させ、前記第１クライアントの入力インターフェースを通じて入力された前記作業環境画像において指定された前記作業現場の一部を構成する指定エリアの延在態様および当該指定エリアに関する指定エリア関連情報を認識する第１支援処理要素と、
   前記複数のクライアントのうち作業機械を遠隔操作するための遠隔操作装置である第２クライアントとの通信に基づき、前記第１支援処理要素により認識された前記指定エリアの延在態様を示す前記作業環境画像を、前記指定エリア関連情報とともに前記第２クライアントの出力インターフェースに表示させる第２支援処理要素と、を備えていることを特徴とする作業支援サーバ。
2. 請求項１記載の作業支援サーバにおいて、
   前記第２支援処理要素が、前記複数のクライアントのそれぞれとの通信に基づき、前記複数のクライアントのそれぞれの入力インターフェースを通じて入力されたチャットを認識し、前記チャットを、前記複数のクライアントのそれぞれの出力インターフェースに表示させ、
   前記第１支援処理要素が、前記第１クライアントとの通信に基づいて認識した前記チャットを前記指定エリア関連情報として認識することを特徴とする作業支援サーバ。
3. 請求項２記載の作業支援サーバにおいて、
   前記第１支援処理要素が、前記第１クライアントとの通信に基づき、前記第１クライアントにおいて前記指定エリアが指定されたことを要件として、前記第１クライアントから発せられたチャットの内容の少なくとも一部を前記指定エリア関連情報として認識することを特徴とする作業支援サーバ。
4. 請求項１～３のうちいずれか１項に記載の作業支援サーバにおいて、
   前記第１支援処理要素が、前記第１クライアントの入力インターフェースを通じて入力された前記指定エリアの指定期間を前記指定エリア関連情報として認識し、
   前記第２支援処理要素が、前記第２クライアントとの通信に基づき、前記第１支援処理要素により認識された前記指定期間においてのみ、前記指定エリアの延在態様が表示される前記作業環境画像を、前記指定エリア関連情報とともに前記第２クライアントの出力インターフェースに表示させることを特徴とする作業支援サーバ。
5. 請求項１～４のうちいずれか１項に記載の作業支援サーバにおいて、
   前記第１支援処理要素が、前記第１クライアントまたは前記第１クライアントと連携している作業機械との通信に基づき、前記作業機械の位置を認識し、
   前記第２支援処理要素が、前記第２クライアントとの通信に基づき、前記第１支援処理要素により認識された前記作業機械の位置を示す前記作業環境画像を、前記指定エリア関連情報とともに前記第２クライアントの出力インターフェースに表示させることを特徴とする作業支援サーバ。
6. 請求項１～５のうちいずれか１項に記載の作業支援サーバと、前記複数のクライアントと、により構成されていることを特徴とする作業支援システム。
   

Images