JP7698401B2 - 作業機械の遠隔操作システム及び作業機械の遠隔操作方法 - Google Patents

Description

本開示は、作業機械の遠隔操作システム及び作業機械の遠隔操作方法に関する。

作業機械に係る技術分野において、特許文献１に開示されているような周辺監視装置を備える作業機械が知られている。作業機械の周辺の情報が作業機械の操作者に提供されることにより、作業効率の低下が抑制される。

国際公開第２０１６／１５９０１２号

また、作業機械に係る技術分野において、作業機械を遠隔操作する技術が知られている。作業機械を遠隔操作する場合において、作業機械の周辺監視機能が作業機械に設けられていると、作業機械の周辺監視機能の更新又は改善を柔軟に実施することが困難となる可能性がある。

本開示は、作業機械の遠隔操作において作業機械の周辺監視機能の更新又は改善を柔軟に実施することを目的とする。

本開示に従えば、作業機械の周辺画像を示す画像データを受信する画像データ受信部と、前記画像データに基づいて前記作業機械の周辺に存在する人物を検出する物体検出部と、を作業機械の遠隔操作地に備える、作業機械の遠隔操作システムが提供される。

本開示によれば、作業機械の遠隔操作において作業機械の周辺監視機能の更新又は改善を柔軟に実施することができる。

図１は、実施形態に係る作業機械の遠隔操作システムを示す模式図である。 図２は、実施形態に係る作業機械を示す斜視図である。 図３は、実施形態に係る撮像装置を示す斜視図である。 図４は、実施形態に係る遠隔操作室を示す図である。 図５は、実施形態に係る作業機械の遠隔操作システムを示す機能ブロック図である。 図６は、実施形態に係る物体検出部及び学習部を示す機能ブロック図である。 図７は、実施形態に係る作業機械の遠隔操作方法を示すフローチャートである。 図８は、実施形態に係る表示装置を示す図である。 図９は、実施形態に係るコンピュータシステムを示すブロック図である。 図１０は、他の実施形態に係る作業機械の遠隔操作システムを示す模式図である。

以下、本開示に係る実施形態について図面を参照しながら説明するが、本開示はこれに限定されない。以下で説明する実施形態の構成要素は適宜組み合わせることができる。また、一部の構成要素を用いない場合もある。

［遠隔操作システム］
図１は、実施形態に係る作業機械１の遠隔操作システム１００を示す模式図である。遠隔操作システム１００は、作業現場に存在する作業機械１を遠隔操作する。遠隔操作システム１００の少なくとも一部は、遠隔操作地の遠隔操作室２００に配置される。遠隔操作システム１００は、遠隔操作装置４０と、表示装置５０と、制御装置６０とを備える。

遠隔操作装置４０は、作業機械１の外部の遠隔操作室２００に配置される。遠隔操作装置４０は、遠隔操作室２００において操作者に操作される。操作者は、操縦シート４５に着座した状態で、遠隔操作装置４０を操作することができる。

表示装置５０は、作業機械１の外部の遠隔操作室２００に配置される。表示装置５０は、作業現場の画像を表示する。作業現場の画像は、作業機械１の周辺の画像である周辺画像を含む。作業機械１の周辺画像は、少なくとも作業機械１の施工対象の画像を含む。実施形態において、作業機械１の施工対象の画像は、作業機４の掘削対象の画像を含む。

操作者は、表示装置５０に表示される作業現場の画像を見ながら、遠隔操作装置４０を操作する。作業機械１は、遠隔操作装置４０によって遠隔操作される。

制御装置６０は、作業機械１の外部の遠隔操作室２００に配置される。制御装置６０は、コンピュータシステムを含む。

作業機械１は、制御装置３００を備える。制御装置３００は、コンピュータシステムを含む。

制御装置６０と制御装置３００とは、通信システム４００を介して通信する。通信システム４００として、インターネット（internet）、ローカルエリアネットワーク（ＬＡＮ：Local Area Network）、携帯電話通信網、及び衛星通信網が例示される。

［作業機械］
図２は、実施形態に係る作業機械１を示す斜視図である。実施形態においては、作業機械１が油圧ショベルであることとする。作業機械１は、作業現場において稼働する。

図２に示すように、作業機械１は、走行体２と、走行体２に支持される旋回体３と、旋回体３に支持される作業機４と、作業機４を駆動する油圧シリンダ５と、撮像装置３０とを備える。

走行体２は、旋回体３を支持した状態で走行可能である。走行体２は、一対の履帯を有する。履帯が回転することにより、走行体２が走行する。旋回体３は、走行体２に支持された状態で旋回軸ＲＸを中心に旋回可能である。

作業機４は、旋回体３に連結されるブーム４Ａと、ブーム４Ａに連結されるアーム４Ｂと、アーム４Ｂに連結されるバケット４Ｃとを含む。油圧シリンダ５は、ブーム４Ａを駆動するブームシリンダ５Ａと、アーム４Ｂを駆動するアームシリンダ５Ｂと、バケット４Ｃを駆動するバケットシリンダ５Ｃとを含む。

ブーム４Ａは、ブーム回転軸ＡＸを中心に回転可能に旋回体３に支持される。アーム４Ｂは、アーム回転軸ＢＸを中心に回転可能にブーム４Ａに支持される。バケット４Ｃは、バケット回転軸ＣＸを中心に回転可能にアーム４Ｂに支持される。

ブーム回転軸ＡＸとアーム回転軸ＢＸとバケット回転軸ＣＸとは、平行である。ブーム回転軸ＡＸと旋回軸ＲＸに平行な軸とは、直交する。以下の説明においては、旋回軸ＲＸと平行な方向を適宜、上下方向、と称し、ブーム回転軸ＡＸと平行な方向を適宜、左右方向、と称し、ブーム回転軸ＡＸ及び旋回軸ＲＸの両方と直交する方向を適宜、前後方向、と称する。旋回軸ＲＸを基準として作業機４が存在する方向が前方であり、前方の逆方向が後方である。旋回軸ＲＸを基準として左右方向の一方が右方であり、右方の逆方向が左方である。走行体２の接地面から離れる方向が上方であり、上方の逆方向が下方である。

撮像装置３０は、作業現場を撮像する。撮像装置３０は、少なくとも作業機械１の周辺を撮像する。撮像装置３０は、旋回体３に配置される。

撮像装置３０は、作業機械１の周辺に存在する物体を撮像する。撮像装置３０に撮像される物体として、作業機械１の施工対象、作業機４の掘削対象、作業現場に存在する構造物、作業機械１の少なくとも一部、作業機械１とは別の作業機械、及び作業現場で働く人物（作業者）が例示される。

［撮像装置］
図３は、実施形態に係る撮像装置３０を示す斜視図である。図３に示すように、撮像装置３０は、旋回体３の前部の上部に配置される。撮像装置３０は、作業機械１の周辺画像を取得する。

撮像装置３０は、光学系と、光学系を通過した光を受光するイメージセンサとを有する。イメージセンサは、ＣＣＤ（Couple Charged Device）イメージセンサ又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを含む。

実施形態において、撮像装置３０は、旋回体３の前方を撮像する前カメラ３１と、旋回体３の左方を撮像する左カメラ３２と、旋回体３の右方を撮像する右カメラ３３と、旋回体３の前方の斜め上方を撮像する上カメラ３４と、旋回体３の前方の斜め下方を撮像する下カメラ３５とを含む。前カメラ３１と左カメラ３２と右カメラ３３と上カメラ３４と下カメラ３５とは、作業機械１の周辺を同時に撮像する。

［遠隔操作室］
図４は、実施形態に係る遠隔操作室２００を示す図である。図４に示すように、遠隔操作室２００に遠隔操作装置４０及び表示装置５０が配置される。

遠隔操作装置４０は、操縦シート４５に着座した操作者に操作される。操作者は、表示装置５０の表示画面と正対するように操縦シート４５に着座する。操作者は、表示装置５０の表示画面を見ながら、遠隔操作装置４０を操作する。

遠隔操作装置４０が操作されることにより生成された操作信号は、制御装置６０及び通信システム４００を介して作業機械１の制御装置３００に送信される。制御装置３００は、通信システム４００を介して取得した操作信号に基づいて、作業機械１を動作させる。作業機械１の動作は、走行体２の動作、旋回体３の動作、及び作業機４の動作の少なくとも一つを含む。

走行体２の動作は、走行体２の前進動作及び後進動作を含む。旋回体３の動作は、旋回体３の左旋回動作及び右旋回動作を含む。作業機４の動作は、ブーム４Ａの上げ動作、ブーム４Ａの下げ動作、アーム４Ｂのダンプ動作、アーム４Ｂの掘削動作、バケット４Ｃの掘削動作、及びバケット４Ｃのダンプ動作を含む。

遠隔操作装置４０は、旋回体３及び作業機４の動作のために操作される左作業レバー４１及び右作業レバー４２と、走行体２の動作のために操作される左走行レバー４３及び右走行レバー４４とを含む。

左作業レバー４１は、操縦シート４５の左方に配置される。右作業レバー４２は、操縦シート４５の右方に配置される。左作業レバー４１が前後方向に操作されることにより、アーム４Ｂがダンプ動作又は掘削動作する。左作業レバー４１が左右方向に操作されることにより、旋回体３が左旋回動作又は右旋回動作する。右作業レバー４２が左右方向に操作されることにより、バケット４Ｃが掘削動作又はダンプ動作する。右作業レバー４２が前後方向に操作されることにより、ブーム４Ａが下げ動作又は上げ動作する。なお、左作業レバー４１が前後方向に操作されたときに旋回体３が右旋回動作又は左旋回動作し、左作業レバー４１が左右方向に操作されたときにアーム４Ｂがダンプ動作又は掘削動作してもよい。

左走行レバー４３及び右走行レバー４４は、操縦シート４５の前方に配置される。左走行レバー４３は、右走行レバー４４の左方に配置される。左走行レバー４３が前後方向に操作されることにより、走行体２の左側の履帯が前進動作又は後進動作する。右走行レバー４４が前後方向に操作されることにより、走行体２の右側の履帯が前進動作又は後進動作する。

表示装置５０は、撮像装置３０で撮像された作業機械１の周辺画像を表示する。撮像装置３０により取得された作業機械１の周辺画像を示す画像データは、制御装置３００及び通信システム４００を介して、遠隔操作システム１００の制御装置６０に送信される。制御装置６０は、通信システム４００を介して取得した周辺画像を表示装置５０に表示させる。

表示装置５０は、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）又は有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electroluminescence Display）のようなフラットパネルディスプレイを含む。実施形態において、表示装置５０は、隣接するように配置された複数のフラットパネルディスプレイを含む。実施形態において、表示装置５０は、中央ディスプレイ５１と、中央ディスプレイ５１の左側に配置される左ディスプレイ５２と、中央ディスプレイ５１の右側に配置される右ディスプレイ５３と、中央ディスプレイ５１の上側に配置される上ディスプレイ５４と、中央ディスプレイ５１の下側に配置される下ディスプレイ５５とを含む。

前カメラ３１により取得された周辺画像が中央ディスプレイ５１に表示される。左カメラ３２により取得された周辺画像が左ディスプレイ５２に表示される。右カメラ３３により取得された周辺画像が右ディスプレイ５３に表示される。上カメラ３４により取得された周辺画像が上ディスプレイ５４に表示される。下カメラ３５により取得された周辺画像が下ディスプレイ５５に表示される。

表示装置５０には、操作者が作業機械１の運転シートに着座したと仮定したときの操作者の視界に相当する周辺画像が表示される。中央ディスプレイ５１と左ディスプレイ５２と右ディスプレイ５３と上ディスプレイ５４と下ディスプレイ５５とは、操縦シート４５を囲むように配置される。中央ディスプレイ５１には、操作者が作業機械１の運転シートに着座したと仮定したときの操作者の前方の視界に相当する周辺画像が表示される。左ディスプレイ５２には、操作者が作業機械１の運転シートに着座したと仮定したときの操作者の左方の視界に相当する周辺画像が表示される。右ディスプレイ５３には、操作者が作業機械１の運転シートに着座したと仮定したときの操作者の右方の視界に相当する周辺画像が表示される。上ディスプレイ５４には、操作者が作業機械１の運転シートに着座したと仮定したときの操作者の前方の斜め上方の視界に相当する周辺画像が表示される。下ディスプレイ５５には、操作者が作業機械１の運転シートに着座したと仮定したときの操作者の前方の斜め下方の視界に相当する周辺画像が表示される。遠隔操作室２００に存在する操作者は、作業機械１の運転シートに実際に着座している感覚を得ることができる。

図４に示す例において、中央ディスプレイ５１には、アーム４Ｂ及び掘削対象を掘削するバケット４Ｃが表示される。左ディスプレイ５２には、作業機４により掘削された掘削物が積み込まれる運搬車両であるダンプトラック７０が表示される。右ディスプレイ５３には、ブーム４Ａが表示される。上ディスプレイ５４には、作業機４の上端部が表示される。下ディスプレイ５５には、走行体２の一部が表示される。

［制御装置］
図５は、実施形態に係る作業機械１の遠隔操作システム１００を示す機能ブロック図である。図５に示すように、遠隔操作システム１００は、遠隔操作地に配置される通信装置６と、通信装置６に接続される制御装置６０と、制御装置６０に接続される遠隔操作装置４０と、制御装置６０に接続される表示装置５０と、制御装置６０に接続される警報装置８０とを備える。また、遠隔操作システム１００は、作業機械１に配置される通信装置７と、通信装置７に接続される制御装置３００と、制御装置３００に接続される撮像装置３０と、制御装置３００により制御される走行体２と、制御装置３００により制御される旋回体３と、制御装置３００により制御される油圧シリンダ５とを備える。

制御装置３００は、走行体制御部３０１と、旋回体制御部３０２と、作業機制御部３０３と、画像データ送信部３０４とを有する。

走行体制御部３０１は、制御装置６０から送信された遠隔操作装置４０の操作信号を受信する。走行体制御部３０１は、遠隔操作装置４０の操作信号に基づいて、走行体２の動作を制御する制御信号を出力する。

旋回体制御部３０２は、制御装置６０から送信された遠隔操作装置４０の操作信号を受信する。旋回体制御部３０２は、遠隔操作装置４０の操作信号に基づいて、旋回体３の動作を制御する制御信号を出力する。

作業機制御部３０３は、制御装置６０から送信された遠隔操作装置４０の操作信号を受信する。作業機制御部３０３は、遠隔操作装置４０の操作信号に基づいて、作業機４の動作を制御する制御信号を出力する。作業機４を制御する制御信号は、油圧シリンダ５を制御する制御信号を含む。

画像データ送信部３０４は、撮像装置３０により取得された作業機械１の周辺画像を示す画像データを制御装置６０に送信する。

通信装置７は、通信システム４００を介して通信装置６と通信する。通信装置７は、通信装置６を介して制御装置６０から送信された遠隔操作装置４０の操作信号を受信して、制御装置３００に出力する。通信装置７は、画像データ送信部３０４から受信した作業機械１の周辺画像を示す画像データを通信装置６に送信する。通信装置７は、画像データを圧縮するエンコーダを含む。画像データは、圧縮された状態で、通信装置７から通信装置６に送信される。

通信装置６は、通信システム４００を介して通信装置７と通信する。通信装置６は、遠隔操作装置４０が操作されることにより生成された操作信号を通信装置７に送信する。通信装置６は、通信装置７を介して制御装置３００から送信された画像データを受信して、制御装置６０に出力する。通信装置６は、圧縮された画像データを復元するデコーダを含む。画像データは、復元された状態で、通信装置６から制御装置６０に出力される。

制御装置６０は、操作信号送信部６１と、画像データ受信部６２と、物体検出部６３と、学習部６４と、表示制御部６５と、警報出力部６６とを有する。

操作信号送信部６１は、作業機械１を遠隔操作する操作信号を送信する。遠隔操作装置４０が操作者に操作されることにより、作業機械１を遠隔操作する操作信号が生成される。操作信号送信部６１は、遠隔操作装置４０の操作信号を制御装置３００に送信する。

画像データ受信部６２は、作業機械１の周辺画像を示す画像データを受信する。画像データ受信部６２は、通信装置６のデコーダにより復元された画像データを取得する。

物体検出部６３は、画像データ受信部６２により受信された作業機械１の周辺画像を示す画像データに基づいて、作業機械１の周辺に存在する物体を検出する。実施形態において、物体検出部６３は、作業機械１の周辺に存在する物体として、人物を検出する。

実施形態において、物体検出部６３は、入力データをアルゴリズムにより解析して出力データを出力する人工知能（ＡＩ：Artificial Intelligence）を利用して人物を検出する。実施形態において、入力データは周辺画像の画像データであり、出力データは人物である。

学習部６４は、人物の特徴量を学習して学習モデルを生成する。物体検出部６３は、周辺画像の画像データを学習モデルに入力して人物を検出する。

図６は、実施形態に係る物体検出部６３及び学習部６４を示す機能ブロック図である。図６に示すように、複数の学習画像が学習部６４に入力される。学習画像は、人物の画像を含む。学習部６４は、人物を含む学習画像を教師データとして機械学習することにより、物体の特徴量を入力とし人物（人物の存否）を出力とする学習モデルを生成する。

物体検出部６３は、特徴量抽出部６３Ａと、処理部６３Ｂと、出力部６３Ｃとを有する。

画像データ受信部６２により取得された周辺画像が特徴量抽出部６３Ａに入力される。特徴量抽出部６３Ａは、周辺画像から物体の特徴量を抽出する。

処理部６３Ｂは、特徴量抽出部６３Ａにより抽出された物体の特徴量を学習モデルに入力して、周辺画像における人物を検出する。また、処理部６３Ｂは、周辺画像に人物が存在する場合、周辺画像の人物の位置を検出するようにしてもよい。

出力部６３Ｃは、処理部６３Ｂにより検出された人物を表示制御部６５に出力する。

表示制御部６５は、画像データ受信部６２により取得された作業機械１の周辺画像を表示装置５０に表示させる。また、表示制御部６５は、作業機械１の周辺画像とともに物体検出部６３の検出結果を示す画像を表示装置５０に表示させる。物体検出部６３の検出結果を示す画像として、人物の強調するシンボル画像が例示される。なお、シンボル画像とは、作業機械と人物の距離を示す距離データであってもよい。

警報出力部６６は、物体検出部６３により人物が検出されたときに、警報装置８０に警報を出力させる。警報装置８０として、音声出力装置、ブザー、発光装置、及びランプが例示される。警報出力部６６は、物体検出部６３により人物が検出されたときに、警報装置８０を駆動するための制御信号を出力して、警報装置８０に警報を出力させる。

［遠隔操作方法］
図７は、実施形態に係る作業機械１の遠隔操作方法を示すフローチャートである。以下、作業機械１の周辺画像を示す画像データの処理方法について主に説明する。なお、上述のように、遠隔操作装置４０が操作されることにより、制御装置６０の操作信号送信部６１から制御装置３００に作業機械１を遠隔操作する操作信号が送信される。

撮像装置３０は、作業機械１の周辺を撮像する。画像データ送信部３０４は、通信装置７及び通信システム４００を介して、作業機械１の周辺画像を示す画像データを制御装置６０に送信する（ステップＳＡ１）。

画像データ受信部６２は、作業機械１から送信された周辺画像の画像データを、通信装置６を介して受信する。

学習部６４により、物体の特徴量を入力とし人物を出力とする学習モデルが生成される。物体検出部６３は、画像データ受信部６２により受信された周辺画像の画像データを学習モデルに入力する（ステップＳＢ１）。

物体検出部６３において、特徴量抽出部６３Ａは、周辺画像から物体の特徴量を抽出する。処理部６３Ｂは、特徴量抽出部６３Ａにより抽出された物体の特徴量を学習モデルに入力する。処理部６３Ｂは、物体の特徴量を学習モデルに入力して、人物を検出する（ステップＳＢ２）。

また、処理部６３Ｂは、周辺画像の人物の位置を特定する。

出力部６３Ｃは、処理部６３Ｂにより検出された人物を表示制御部６５に出力する。

表示制御部６５は、出力部６３Ｃから出力された人物を示すシンボル画像を生成する。シンボル画像は、周辺画像の人物を強調するための画像である。

表示制御部６５は、画像データ受信部６２により取得された周辺画像及び物体検出部６３により検出された人物を示すシンボル画像を表示装置５０に表示させる（ステップＳＢ３）。

図８は、実施形態に係る表示装置５０を示す図である。図８に示すように、表示制御部６５は、作業機械１の周辺画像と人物ＷＭを示すシンボル画像８とを併せて表示装置５０に表示させる。表示制御部６５は、ステップＳＢ２において物体検出部６３の処理部６３Ｂにより検出された周辺画像の人物ＷＭにシンボル画像８を重畳させて表示させる。なお、シンボル画像８は、人物ＷＭに隣接して表示するようにしてもよい。

図８に示す例において、シンボル画像８は、周辺画像の人物ＷＭを囲むフレーム状である。なお、シンボル画像８の形状は任意であり、周辺画像の人物ＷＭを強調できればよい。

人物ＷＭがシンボル画像８により強調されることにより、遠隔操作室２００の操作者は、作業機械１の周辺に人物ＷＭが存在することを円滑に認識することができる。

表示制御部６５は、人物ＷＭの位置に基づいてシンボル画像８の表示形態を変更する。人物ＷＭの位置は、作業機械１に対する人物ＷＭの相対位置を含む。実施形態において、表示制御部６５は、作業機械１から人物ＷＭまでの距離に基づいて、シンボル画像８の表示形態を変更する。

図８に示す例において、作業機械１から第１距離よりも近い位置に人物ＷＭ１が存在し、作業機械１から第１距離と第１距離よりも遠い第２距離との間の位置に人物ＷＭ２が存在し、作業機械１から第２距離と第２距離よりも遠い第３距離との間の位置に人物ＷＭ３が存在する。

表示制御部６５は、作業機械１から人物ＷＭまでの距離に基づいて、例えばシンボル画像８の色を変更する。表示制御部６５は、人物ＷＭ１に重畳させるシンボル画像８Ａを第１色で表示させる。表示制御部６５は、人物ＷＭ２に重畳させるシンボル画像８Ｂを第２色で表示させる。表示制御部６５は、人物ＷＭ３に重畳させるシンボル画像８Ｃを第３色で表示させる。第１色は例えば赤色であり、第２色は例えば黄色であり、第３色は例えば青色である。

作業機械１から人物ＷＭまでの距離に基づいて、シンボル画像８の表示形態が変更されることにより、遠隔操作室２００の操作者は、シンボル画像８を見て、作業機械１から人物ＷＭまでの距離を認識することができる。

なお、図８を参照して説明したシンボル画像８の表示形態は一例である。表示制御部６５は、作業機械１から人物ＷＭまでの距離に基づいて、例えばシンボル画像８の寸法又は形状を変更してもよい。また、図８に示す例では、作業機械１からの距離を、第１距離、第２距離、及び第３距離の３つの距離に区分することとした。距離の区分の数は、任意の数でよい。距離の区分の数は、２つ以下でもよいし、４つ以上の任意の複数でもよい。

警報出力部６６は、物体検出部６３により人物ＷＭが検出されたときに警報装置８０を駆動するための制御信号を出力する。警報装置８０から警報が出力されることにより、遠隔操作室２００の操作者は、作業機械１の周辺に人物ＷＭが存在することを認識することができる。

警報出力部６６は、作業機械１から人物ＷＭまでの距離に基づいて、警報装置８０の駆動状態を変更してもよい。例えば、警報装置８０が音声出力装置又はブザーを含む場合において、作業機械１から第１距離よりも近い位置に人物ＷＭ１が存在する場合、警報出力部６６は、第１音量の警報が出力されるように、警報装置８０を駆動する。作業機械１から第１距離と第１距離よりも遠い第２距離との間の位置に人物ＷＭ２が存在する場合、警報出力部６６は、第１音量よりも小さい第２音量の警報が出力されるように、警報装置８０を駆動する。作業機械１から第２距離と第２距離よりも遠い第３距離との間の位置に人物ＷＭ３が存在する場合、警報出力部６６は、警報装置８０を駆動しない。

［コンピュータシステム］
図９は、実施形態に係るコンピュータシステム１０００を示すブロック図である。上述の制御装置６０は、コンピュータシステム１０００を含む。コンピュータシステム１０００は、ＣＰＵ（Central Processing Unit）のようなプロセッサ１００１と、ＲＯＭ（Read Only Memory）のような不揮発性メモリ及びＲＡＭ（Random Access Memory）のような揮発性メモリを含むメインメモリ１００２と、ストレージ１００３と、入出力回路を含むインターフェース１００４とを有する。上述の制御装置６０の機能は、コンピュータプログラムとしてストレージ１００３に記憶されている。プロセッサ１００１は、コンピュータプログラムをストレージ１００３から読み出してメインメモリ１００２に展開し、プログラムに従って上述の処理を実行する。なお、コンピュータプログラムは、ネットワークを介してコンピュータシステム１０００に配信されてもよい。

コンピュータプログラム又はコンピュータシステム１０００は、上述の実施形態に従って、作業機械１の周辺画像を示す画像データを受信することと、画像データに基づいて作業機械１の周辺に存在する人物を検出することと、を実行することができる。

［効果］
以上説明したように、物体検出部６３は、遠隔操作室２００に配置される制御装置６０に設けられる。物体検出部６３が作業機械１の制御装置３００に設けられず、遠隔操作室２００に配置される制御装置６０に設けられることにより、物体検出部６３の機能を円滑に更新（アップデート）することができる。また、制御装置６０として高性能な汎用コンピュータを使用し易くなる。すなわち、物体検出部６３が制御装置３００ではなく制御装置６０に設けられることにより、物体検出部６３の機能の更新又は改善を柔軟に実施することができる。

表示制御部６５は、物体検出部６３の検出結果を示すシンボル画像８を表示装置５０に表示させる。したがって、遠隔操作室２００の操作者は、シンボル画像８を見て、人物ＷＭの存在を認識することができる。

物体検出部６３は、作業機械１に対する人物ＷＭの位置を検出する。表示制御部６５は、人物ＷＭの位置に基づいて、周辺画像の人物ＷＭにシンボル画像８を重畳させて表示装置５０に表示させる。人物ＷＭがシンボル画像８により強調されるので、遠隔操作室２００の操作者は、シンボル画像８を見て、人物ＷＭの存在を認識することができる。

表示制御部６５は、作業機械１に対する人物ＷＭの位置に基づいて、シンボル画像８の表示形態を変更する。遠隔操作室２００の操作者は、シンボル画像８を見て、作業機械１から人物ＷＭまでの距離を認識することができる。

警報出力部６６は、物体検出部６３により人物ＷＭが検出されたときに警報装置８０を駆動する。これにより、遠隔操作室２００の操作者は、人物ＷＭの存在を認識することができる。

［その他の実施形態］
図１０は、他の実施形態に係る作業機械１の遠隔操作システム１００を示す模式図である。図１０に示す例において、遠隔操作システム１００により遠隔操作される作業機械１は、第１作業機械１Ａと第２作業機械１Ｂと第３作業機械１Ｃとを含む。第１作業機械１Ａは、第１作業現場において稼働する。第２作業機械１Ｂは、第２作業現場において稼働する。第３作業機械１Ｃは、第３作業現場において稼働する。

制御装置６０は、遠隔操作装置４０の操作信号の送信先及び作業機械１の周辺画像の画像データの受信元を切り換える切換部６７を有する。遠隔操作室２００の操作者は、遠隔操作室２００に設けられている操作スイッチ９０を操作することができる。操作スイッチ９０が操作されることにより生成された操作信号は、切換部６７に入力される。切換部６７は、操作スイッチ９０の操作信号に基づいて、遠隔操作装置４０の操作信号の送信先及び作業機械１の周辺画像の画像データの受信元を切り換える。

例えば、第１作業機械１Ａを遠隔操作する場合、第１作業機械１Ａから第１作業機械１Ａの周辺画像の画像データが制御装置６０に送信される。制御装置６０は、第１作業機械１Ａの周辺画像の画像データを受信し、表示装置５０に表示させる。遠隔操作室２００の操作者は、表示装置５０に表示された第１作業機械１Ａの周辺画像を見ながら、第１作業機械１Ａを遠隔操作するために、遠隔操作装置４０を操作する。遠隔操作装置４０の操作信号は、第１作業機械１Ａの制御装置３００に送信される。

第２作業機械１Ｂを遠隔操作する場合、遠隔操作室２００の操作者は、操作スイッチ９０を操作する。操作スイッチ９０が操作されることにより、遠隔操作装置４０の操作信号の送信先及び周辺画像の画像データの受信元が、第１作業機械１Ａから第２作業機械１Ｂに切り換わる。制御装置６０は、第２作業機械１Ｂの周辺画像の画像データを受信し、表示装置５０に表示させる。遠隔操作室２００の操作者は、表示装置５０に表示された第２作業機械１Ｂの周辺画像を見ながら、第２作業機械１Ｂを遠隔操作するために、遠隔操作装置４０を操作する。遠隔操作装置４０の操作信号は、第２作業機械１Ｂの制御装置３００に送信される。

第３作業機械１Ｃを遠隔操作する場合、遠隔操作室２００の操作者は、操作スイッチ９０を操作する。操作スイッチ９０が操作されることにより、遠隔操作装置４０の操作信号の送信先及び周辺画像の画像データの受信元が、第２作業機械１Ｂから第３作業機械１Ｃに切り換わる。制御装置６０は、第３作業機械１Ｃの周辺画像の画像データを受信し、表示装置５０に表示させる。遠隔操作室２００の操作者は、表示装置５０に表示された第３作業機械１Ｃの周辺画像を見ながら、第３作業機械１Ｃを遠隔操作するために、遠隔操作装置４０を操作する。遠隔操作装置４０の操作信号は、第３作業機械１Ｃの制御装置３００に送信される。

このように、１つの遠隔操作装置４０で複数の作業機械１（１Ａ，１Ｂ，１Ｃ）を遠隔操作することができる。また、１つの表示装置５０に複数の作業機械１（１Ａ，１Ｂ，１Ｃ）の周辺画像を表示させることができる。物体検出部６３は、作業機械１の制御装置３００ではなく遠隔操作室２００に配置されている制御装置６０に設けられる。そのため、複数の作業機械１のそれぞれに物体検出部６３を設ける必要が無い。物体検出部６３の機能を更新又は改善する場合、制御装置６０を更新又は改善すればよく、複数の作業機械１のそれぞれの制御装置３００を更新又は改善する必要が無い。

なお、図１０に示す例において、第１作業機械１Ａと第２作業機械１Ｂと第３作業機械１Ｃとが、同一の作業現場において稼働してもよい。

なお、図１０に示す例においては、複数の作業機械１（１Ａ，１Ｂ，１Ｃ）の全部が油圧ショベルである。複数の作業機械１のうち一部の作業機械１が油圧ショベルであり、一部の作業機械１がホイールローダでもよいし、ブルドーザでもよいし、ダンプトラックでもよい。すなわち、１つの遠隔操作装置４０で異なる種類の作業機械１が遠隔操作されてもよい。

上述の実施形態において、物体検出部６３は、処理部６３Ｂにおいて、周辺画像の人物ＷＭの位置を検出することとした。物体検出部６３は、人物ＷＭの位置を検出しなくてもよい。物体検出部６３は、周辺画像から人物ＷＭを検出すればよい。物体検出部６３は、人工知能を利用して周辺画像の人物ＷＭを検出し、表示制御部６５は、検出された人物ＷＭにシンボル画像を重畳させて表示させればよい。

上述の実施形態において、物体検出部６３は、人工知能を利用せずに、例えばパターンマッチング法に基づいて人物ＷＭを検出してもよい。物体検出部６３は、人物ＷＭを示すテンプレートと周辺画像とを照合することにより、人物ＷＭを検出することができる。

上述の実施形態において、撮像装置３０は、旋回体３の前部の上部に配置されることとした。撮像装置３０は、旋回体３の左部及び右部の少なくとも一方に配置されてもよいし、旋回体３の後部に配置されてもよい。旋回体３の左部に配置された撮像装置３０は、旋回体３の左方の周辺画像を取得することができる。旋回体３の右部に配置された撮像装置３０は、旋回体３の右方の周辺画像を取得することができる。旋回体３の後部に配置された撮像装置３０は、旋回体３の後方の周辺画像を取得することができる。

上述の実施形態において、物体検出部６３は、作業機械１から人物ＷＭまでの距離を検出することとした。物体検出部６３は、人工知能を利用して人物ＷＭまでの距離を推定してもよいし、撮像装置３０の設置条件と周辺画像における人物ＷＭの位置とに基づいて、幾何学的に人物ＷＭまでの距離を算出してもよい。撮像装置３０の設置条件は、撮像装置３０の設置位置及び撮像装置３０の光学系の光軸の向きを含む。

上述の実施形態において、物体検出部６３により検出される物体は、人物ＷＭであることとした。物体検出部６３により検出される物体は、人物ＷＭでなくてもよい。物体検出部６３により検出される物体は、ダンプトラックなどの運搬車両やサービスカーなどの作業機械１とは別の障害物となる作業機械でもよい。

上述の実施形態において、１つの制御装置６０が、操作信号送信部６１の機能、画像データ受信部６２の機能、物体検出部６３の機能、学習部６４の機能、表示制御部６５の機能、及び警報出力部６６の機能を有することとした。操作信号送信部６１の機能、画像データ受信部６２の機能、物体検出部６３の機能、学習部６４の機能、表示制御部６５の機能、及び警報出力部６６の機能の少なくとも一部が、遠隔操作室２００に設けられる別体の制御装置に設けられ、２以上の制御装置によって実現されてもよい。

上述の実施形態において、警報出力部６６及び警報装置８０は省略されてもよい。

なお、上述の実施形態においては、作業機械１が油圧ショベルであることとした。作業機械１は、ブルドーザでもよいし、ホイールローダでもよいし、ダンプトラックでもよい。

１…作業機械、１Ａ…第１作業機械、１Ｂ…第２作業機械、１Ｃ…第３作業機械、２…走行体、３…旋回体、４…作業機、４Ａ…ブーム、４Ｂ…アーム、４Ｃ…バケット、５…油圧シリンダ、５Ａ…ブームシリンダ、５Ｂ…アームシリンダ、５Ｃ…バケットシリンダ、６…通信装置、７…通信装置、８…シンボル画像、８Ａ…シンボル画像、８Ｂ…シンボル画像、８Ｃ…シンボル画像、３０…撮像装置、３１…前カメラ、３２…左カメラ、３３…右カメラ、３４…上カメラ、３５…下カメラ、４０…遠隔操作装置、４１…左作業レバー、４２…右作業レバー、４３…左走行レバー、４４…右走行レバー、４５…操縦シート、５０…表示装置、５１…中央ディスプレイ、５２…左ディスプレイ、５３…右ディスプレイ、５４…上ディスプレイ、５５…下ディスプレイ、６０…制御装置、６１…操作信号送信部、６２…画像データ受信部、６３…物体検出部、６３Ａ…特徴量抽出部、６３Ｂ…処理部、６３Ｃ…出力部、６４…学習部、６５…表示制御部、６６…警報出力部、６７…切換部、７０…ダンプトラック、８０…警報装置、９０…操作スイッチ、１００…遠隔操作システム、２００…遠隔操作室、３００…制御装置、３０１…走行体制御部、３０２…旋回体制御部、３０３…作業機制御部、３０４…画像データ送信部、４００…通信システム、ＡＸ…ブーム回転軸、ＢＸ…アーム回転軸、ＣＸ…バケット回転軸、ＲＸ…旋回軸、ＷＭ…人物、ＷＭ１…人物、ＷＭ２…人物、ＷＭ３…人物。

Claims (2)

1. 作業機を有する作業機械の遠隔操作地に配置されるコンピュータシステムを備え、
   前記作業機械は、同一の作業現場で稼働する第１作業機械と第２作業機械とを含み、
   前記コンピュータシステムは、
   前記作業機械の動作を遠隔操作する操作信号を送信する操作信号送信部と、
   前記作業機械に設けられた撮像装置により撮像された少なくとも前記作業機械の施工対象の画像を含む前記作業機械の周辺画像を示す画像データを前記作業機械から受信する画像データ受信部と、
   前記画像データ及び人物を検出するための照合データに基づいて前記作業機械の周辺に存在する人物を検出し、前記人物を検出する機能の更新が可能な物体検出部と、
   前記遠隔操作地に配置される表示装置に前記周辺画像とともに前記物体検出部の検出結果を示すシンボル画像を表示させ、前記作業機械から前記人物までの距離に基づいて、前記シンボル画像の表示形態を変更する表示制御部と、
   前記操作信号の送信先の前記作業機械及び前記画像データの受信元の前記作業機械を切り換える切換部と、を有し、
   前記表示制御部は、切り換え後の前記作業機械の前記周辺画像を表示させる、
   作業機械の遠隔操作システム。
2. 作業機を有する作業機械の遠隔操作地に配置されるコンピュータシステムが、
   前記作業機械の動作を遠隔操作する操作信号を送信することと、
   前記作業機械に設けられた撮像装置により撮像された少なくとも前記作業機械の施工対象の画像を含む前記作業機械の周辺画像を示す画像データを前記作業機械から受信することと、
   前記画像データ及び人物を検出するための照合データに基づいて前記作業機械の周辺に存在する人物を検出し、前記人物を検出する機能の更新することと、
   前記遠隔操作地に配置される表示装置に前記周辺画像とともに前記作業機械の周辺に存在する人物の検出結果を示すシンボル画像を表示させ、前記作業機械から前記人物までの距離に基づいて、前記シンボル画像の表示形態を変更することと、
   前記操作信号の送信先の前記作業機械及び前記画像データの受信元の前記作業機械を切り換えることと、
   切り換え後の前記作業機械の前記周辺画像を表示させることと、を実行し、
   前記作業機械は、同一の作業現場で稼働する第１作業機械と第２作業機械とを含む、
   作業機械の遠隔操作方法。

Images