JP2023176830A - 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械 - Google Patents

Abstract

【課題】監視エリアに検知対象物が存在することを、オペレータが直感的に把握しにやすい、作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械を提供する。
【解決手段】作業機械の制御方法は、作業機械の周囲の監視エリアの撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を取得することと、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３及び検知オブジェクトＩｍ１０を含む表示画面Ｄｐ１を表示装置に表示させることと、を有する。作業機械の制御方法は、監視エリアにおける検知対象物を検知する検知部の検知結果によらず表示画面Ｄｐ１の同一位置に検知オブジェクトＩｍ１０を表示させつつ、検知結果に応じて検知オブジェクトＩｍ１０の表示態様を変化させること、を更に有する。
【選択図】図５

Description

本発明は、周囲の監視エリアにおける検知対象物を検知する機能を有する作業機械に用いられる、作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械に関する。

関連技術として、作業機械の周囲を監視する作業機械用周辺監視システムが搭載された作業機械（ショベル）が知られている（例えば、特許文献１参照）。関連技術に係る作業機械は、作業機械に取り付けられる複数の撮像装置のそれぞれの撮像画像を用いて合成される周辺監視画像を表示装置の画面に表示し、かつ、周辺監視画像の一部を相対的に拡大して表示する。ここで、作業機械の周囲の監視エリアに人が存在する場合、周辺監視システムは、表示画面（出力画像）における当該人に対応する参照点の位置に人検知マーカとしての黄色円（又は赤色円）を表示し、かつ、その位置に対応する領域を黄色（又は赤色）で表示する。

特開２０１７－１０１４２０号公報

上記関連技術では、表示装置に表示される情報量が多いため、監視エリアに検知対象物（例えば人）が存在することを、オペレータが直感的に把握しにくい場合がある。

本発明の目的は、監視エリアに検知対象物が存在することを、オペレータが直感的に把握しにやすい、作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械を提供することにある。

本発明の一態様に係る作業機械の制御方法は、作業機械の周囲の監視エリアの撮像画像を取得することと、前記撮像画像及び検知オブジェクトを含む表示画面を表示装置に表示させることと、前記監視エリアにおける検知対象物を検知する検知部の検知結果によらず前記表示画面の同一位置に前記検知オブジェクトを表示させつつ、前記検知結果に応じて前記検知オブジェクトの表示態様を変化させることと、を有する。

本発明の一態様に係る作業機械用制御プログラムは、前記作業機械の制御方法を、１以上のプロセッサに実行させるためのプログラムである。

本発明の一態様に係る作業機械用制御システムは、画像取得部と、表示処理部と、を備える。前記画像取得部は、作業機械の周囲の監視エリアの撮像画像を取得する。前記表示処理部は、前記撮像画像及び検知オブジェクトを含む表示画面を表示装置に表示させる。前記表示処理部は、前記監視エリアにおける検知対象物を検知する検知部の検知結果によらず前記表示画面の同一位置に前記検知オブジェクトを表示させつつ、前記検知結果に応じて前記検知オブジェクトの表示態様を変化させる。

本発明の一態様に係る作業機械は、前記作業機械用制御システムと、前記表示装置が搭載される機体と、を備える。

本発明によれば、監視エリアに検知対象物が存在することを、オペレータが直感的に把握しにやすい、作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械を提供することができる。

図１は、実施形態１に係る作業機械の全体構成を示す概略斜視図である。 図２は、実施形態１に係る作業機械の油圧回路等を示す概略図である。 図３は、実施形態１に係る作業機械を上方から見て、作業機械の周囲に設定された監視エリア等を模式的に表す概略平面図である。 図４は、実施形態１に係る作業機械用制御システムにより表示画面が表示される表示装置の概略外観図である。 図５は、実施形態１に係る作業機械用制御システムにより表示される表示画面の一例を示す図である。 図６は、実施形態１に係る作業機械用制御システムにより表示される表示画面中の検知オブジェクトの表示態様の一例を示す図である。 図７は、実施形態１に係る作業機械用制御システムにより表示される表示画面の第２領域の表示例を示す図である。 図８は、実施形態１に係る作業機械用制御システムの動作例を示すフローチャートである。 図９は、実施形態２に係る作業機械用制御システムにより表示される表示画面の第２領域の表示例を示す図である。 図１０は、実施形態２に係る作業機械用制御システムにより表示される表示画面の第２領域の表示例を示す図である。

以下、添付図面を参照しながら、本発明の実施形態について説明する。以下の実施形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する趣旨ではない。

（実施形態１）
［１］全体構成
本実施形態に係る作業機械３は、図１に示すように、走行部３１と、旋回部３２と、作業部３３と、を機体３０に備えている。また、作業機械３は、図２に示すように、作業機械用制御システム１（以下、単に「制御システム１」ともいう）を更に備えている。その他、機体３０は、表示装置２及び操作装置等を更に備えている。

本開示でいう「作業機械」は、各種の作業用の機械を意味し、一例として、バックホー（油圧ショベル、ミニショベル等を含む）、ホイルローダー及びキャリア等の作業車両である。作業機械３は、少なくとも吊り作業を含む１つ以上の作業を実行可能に構成された作業部３３を備えている。作業機械３は、「車両」に限らず、例えば、作業用船舶、ドローン又はマルチコプター等の作業飛翔体等であってもよい。さらに、作業機械３は建設機械（建機）に限らず、例えば、田植機、トラクタ又はコンバイン等の農業機械（農機）であってもよい。本実施形態では、特に断りが無い限り、作業機械３が吊り機能付き（クレーン機能付き）のバックホーであって、吊り作業の他に、掘削作業、整地作業、溝掘削作業又は積込作業等を作業として実行可能である場合を例に挙げて説明する。

また、本実施形態では、説明の便宜上、作業機械３が使用可能な状態での鉛直方向を上下方向Ｄ１と定義する。さらに、旋回部３２の非旋回状態において、作業機械３（の運転部３２１）に搭乗したユーザ（オペレータ）から見た方向を基準として、前後方向Ｄ２及び左右方向Ｄ３を定義する。言い換えれば、本実施形態で用いられる各方向は、いずれも作業機械３の機体３０を基準として規定される方向であって、作業機械３の前進時に機体３０が移動する方向が「前方」、作業機械３の後退時に機体３０が移動する方向が「後方」となる。同様に、作業機械３の右旋回時に機体３０の前端部が移動する方向が「右方」、作業機械３の左旋回時に機体３０の前端部が移動する方向が「左方」となる。ただし、これらの方向は、作業機械３の使用方向（使用時の方向）を限定する趣旨ではない。

作業機械３は、動力源となるエンジンを備えている。作業機械３においては、例えば、エンジンによって油圧ポンプ４１（図２参照）が駆動され、油圧ポンプ４１から機体３０の各部の油圧アクチュエータ（油圧モータ４３及び油圧シリンダ４４等を含む）に作動油が供給されることで、機体３０が駆動する。また、作業機械３は、例えば、機体３０の運転部３２１に搭乗したユーザ（オペレータ）が、操作装置の操作レバー等を操作することにより制御される。

本実施形態では、上述したように作業機械３が乗用タイプのバックホーである場合を想定しているので、作業部３３は、運転部３２１に搭乗したユーザ（オペレータ）の操作に従って駆動され、掘削作業等の作業を実行する。ユーザが搭乗する運転部３２１は、旋回部３２に設けられている。

走行部３１は、走行機能を有し、地面を走行（旋回を含む）可能に構成されている。走行部３１は、例えば、左右一対のクローラ３１１及びブレード３１２等を有している。走行部３１は、クローラ３１１を駆動するための走行用の油圧モータ４３（油圧アクチュエータ）等を更に有する。

旋回部３２は、走行部３１の上方に位置し、走行部３１に対して、鉛直方向に沿った回転軸を中心に旋回可能に構成されている。旋回部３２は、旋回用の油圧モータ（油圧アクチュエータ）等を有している。旋回部３２には、運転部３２１の他、エンジン及び油圧ポンプ４１等が搭載されている。さらに、旋回部３２の前端部には、作業部３３が取り付けられるブームブラケット３２２が設けられている。

作業部３３は、吊り作業を含む作業を実行可能に構成されている。作業部３３は、旋回部３２のブームブラケット３２２に支持されており、作業を実行する。作業部３３は、バケット３３１、ブーム３３２及びアーム３３３等を有している。作業部３３は、各部を駆動するための油圧アクチュエータ（油圧シリンダ４４及び油圧モータ等を含む）を更に有する。

バケット３３１は、作業機械３の機体３０に取り付けられるアタッチメント（作業具）の一種であって、複数種類のアタッチメントの中から作業の内容に応じて選択される任意の器具からなる。バケット３３１は、一例として、機体３０に対して取り外し可能に取り付けられ、作業の内容に応じて交換される。作業機械３用のアタッチメントとしては、例えば、バケット３３１の他に、ブレーカ、オーガ、クラッシャ、フォーク、フォーククロー、鉄骨カッタ、アスファルト切削機、草刈機、リッパ、マルチャ、チルトローテータ及びタンパ等の種々の器具がある。作業部３３は、駆動装置からの動力により、バケット３３１を駆動することで作業を実行する。

ブーム３３２は、旋回部３２のブームブラケット３２２にて、回転可能に支持されている。具体的には、ブーム３３２は、ブームブラケット３２２にて、水平方向に沿った回転軸を中心に回転可能に支持されている。ブーム３３２は、ブームブラケット３２２に支持される基端部から上方に延びる形状を有している。アーム３３３は、ブーム３３２の先端に連結されている。アーム３３３は、ブーム３３２に対して、水平方向に沿った回転軸を中心に回転可能に支持されている。アーム３３３の先端には、バケット３３１が取り付けられる。

作業部３３は、動力源としてのエンジンからの動力を受けて動作する。具体的には、エンジンによって油圧ポンプ４１が駆動され、作業部３３の油圧アクチュエータ（油圧シリンダ４４等）に油圧ポンプ４１から作動油が供給されることで、作業部３３の各部（バケット３３１、ブーム３３２及びアーム３３３）が動作する。

本実施形態では特に、作業部３３は、ブーム３３２及びアーム３３３が個別に回転可能に構成された多関節型の構造を有している。つまり、ブーム３３２及びアーム３３３の各々が、水平方向に沿った回転軸を中心に回転することにより、例えば、ブーム３３２及びアーム３３３を含む多関節型の作業部３３は、全体として伸ばしたり、折りたたんだりする動作が可能である。

走行部３１及び旋回部３２の各々についても、作業部３３と同様に、動力源としてのエンジンからの動力を受けて動作する。つまり、走行部３１の油圧モータ４３及び旋回部３２の油圧モータ等に、油圧ポンプ４１から作動油が供給されることで、旋回部３２及び走行部３１が動作する。

エンジンは、上述したように各部に動力を供給する動力源として機能する。ここで、エンジンは、油圧ポンプ４１等と共に旋回部３２に搭載されている。本実施形態では一例として、エンジンはディーゼルエンジンである。エンジンは、燃料タンクから燃料（ここでは軽油）が供給されることにより駆動する。

ここで、機体３０には、機体３０の周辺を撮像するカメラ等、作業機械３の周囲の監視エリアＡ１（図３参照）における検知対象物Ｏｂ１（図３参照）を検知するための各種のセンサ類（カメラを含む）が備わっている。本実施形態では一例として、図３に示すように、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３を含む複数（ここでは３つ）のカメラが、機体３０の旋回部３２に搭載されている。左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３は、制御システム１に接続されており、各々で撮像された画像を制御システム１に出力する。図３は、作業機械３を上方から見た平面図であって、作業機械３の周囲に設定された監視エリアＡ１、検知対象物Ｏｂ１、並びに作業機械３の機体３０（左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３を含む）を模式的に表している。

左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３は、それぞれ旋回部３２の運転部３２１に搭乗したオペレータから見て、左方、右方及び後方となる監視エリアＡ１を撮像できるように、運転部３２１を基準に左方、右方及び後方に向けて設置される。つまり、監視エリアＡ１は、図３に示すように、複数（ここでは３つ）の小エリアＡ１１，Ａ１２，Ａ１３を含み、左方カメラ３４１は、このうち運転部３２１に搭乗したオペレータから見て左方となる小エリアＡ１１（左方エリア）を撮像する。同様に、右方カメラ３４２は、運転部３２１に搭乗したオペレータから見て右方となる小エリアＡ１２（右方エリア）を撮像し、後方カメラ３４３は、運転部３２１に搭乗したオペレータから見て後方となる小エリアＡ１３（後方エリア）を撮像する。これにより、オペレータにとって死角となりやすい、側方（左方及び右方）並びに後方を、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３でカバーすることが可能となる。

図２では、本実施形態に係る作業機械３の油圧回路及び電気回路（電気的な接続関係）を模式的に示す。図２では、実線が高圧の（作動油用の）油路、点線が低圧の（パイロット油用の）油路、一点鎖線の矢印が電気信号の経路を示す。

図２に示すように、作業機械３は、油圧ポンプ４１、油圧モータ４３（図２では図示を省略）及び油圧シリンダ４４に加えて、パイロットポンプ４２、リモコン弁４５、制御弁４６及び方向切換弁（コントロールバルブ）４７等を備えている。

エンジンにより駆動される油圧ポンプ４１からの作動油は、走行部３１の油圧モータ４３、旋回部３２の油圧モータ、及び作業部３３の油圧シリンダ４４等に供給される。これにより、油圧モータ４３及び油圧シリンダ４４等の油圧アクチュエータが駆動される。

油圧モータ４３及び油圧シリンダ４４等の油圧アクチュエータには、油圧ポンプ４１からの作動油の方向及び流量を切換可能なパイロット式の方向切換弁４７が設けられている。方向切換弁４７は、パイロットポンプ４２から入力指令となるパイロット油が供給されて駆動される。

ここで、例えば、作業部３３の油圧シリンダ４４に対応する方向切換弁４７へのパイロット油の供給路には、リモコン弁４５が設けられている。リモコン弁４５は、操作レバーの操作に応じて作業部３３の作業操作指令を出力する。作業操作指令は、作業部３３の展開動作及び縮小動作等を指示する。また、リモコン弁４５と、パイロットポンプ４２との間には、電磁式の制御弁４６（電磁弁）が挿入されている。制御弁４６は、カットオフリレー３５２及びカットオフスイッチ３５３を介して電源３５１に接続されており、電源３５１からの供給電流に応じて動作する。

同様に、走行部３１の油圧モータ４３に対応する方向切換弁へのパイロット油の供給路にも、リモコン弁が設けられている。このリモコン弁は、操作レバーの操作に応じて走行部３１の走行操作指令を出力する。走行操作指令は、走行部３１の走行動作（前進又は後退等）を指示する。さらに、旋回部３２の油圧モータに対応する方向切換弁へのパイロット油の供給路にも、リモコン弁が設けられている。このリモコン弁は、操作レバーの操作に応じて旋回部３２の旋回操作指令を出力する。旋回操作指令は、旋回部３２の旋回動作（左旋回又は右旋回等）を指示する。そして、これらのリモコン弁と、パイロットポンプ４２との間にも、電磁式の制御弁４６（電磁弁）が挿入されている。制御弁４６は、カットオフリレー３５２及びカットオフスイッチ３５３を介して電源３５１に接続されており、電源３５１からの供給電流に応じて動作する。

制御弁４６は、通電状態、つまり電流が供給されている状態で、パイロットポンプ４２からリモコン弁４５へのパイロット油の流路を開放し、非通電状態、つまり供給電流が遮断されている状態で、パイロット油の流路を遮断する。そのため、制御弁４６への供給電流が遮断されることで、リモコン弁４５に対応する油圧アクチュエータが駆動不能となり、操作レバーの操作によらずに、油圧アクチュエータの出力が強制的に停止する。

ここで、カットオフリレー３５２は、制御システム１に接続されており、制御システム１からの制御信号（電気信号）に応じてオン／オフが切り替わる。カットオフスイッチ３５３は、カットオフレバーの操作に応じてオン／オフが切り替わり、例えば、カットオフレバーが下方に操作された状態でオンになる。したがって、カットオフリレー３５２とカットオフスイッチ３５３との両方がオンのとき、制御弁４６は通電状態となり、パイロットポンプ４２からリモコン弁４５へのパイロット油の流路が開放されるので、操作レバーの操作に応じて油圧アクチュエータが駆動する。これに対して、カットオフリレー３５２とカットオフスイッチ３５３との少なくとも一方がオフの状態では、制御弁４６は非通電状態となり、パイロット油の流路が遮断されるので、油圧アクチュエータが駆動不能となる。

例えば、旋回部３２の油圧モータに対応するリモコン弁とパイロットポンプ４２との間に挿入された制御弁４６につながるカットオフリレー３５２とカットオフスイッチ３５３との少なくとも一方がオフの状態では、旋回部３２の油圧モータが駆動不能となる。この状態では、操作レバーの操作によらずに、油圧アクチュエータ（旋回部３２の油圧モータ）の出力が強制的に停止するため、旋回部３２の旋回動作が禁止されることになる。

制御システム１は、ＣＰＵ（Central Processing Unit）等の１以上のプロセッサと、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等の１以上のメモリとを有するコンピュータシステムを主構成とし、種々の処理（情報処理）を実行する。本実施形態では、制御システム１は、作業機械３全体の制御を行う統合コントローラであって、例えば、電子制御ユニット（ＥＣＵ：Electronic Control Unit）からなる。ただし、制御システム１は、統合コントローラと別に設けられていてもよい。制御システム１について詳しくは「［２］制御システムの構成」の欄で説明する。

表示装置２は、機体３０の運転部３２１に配置されており、ユーザ（オペレータ）による操作入力を受け付け、ユーザに種々の情報を出力するためのユーザインターフェースである。表示装置２は、例えば、ユーザの操作に応じた電気信号を出力することにより、ユーザによる各種の操作を受け付ける。これにより、ユーザ（オペレータ）は、表示装置２に表示される表示画面Ｄｐ１（図４参照）を視認でき、また、必要に応じて表示装置２を操作することが可能である。

表示装置２は、図２に示すように、制御部２１と、操作部２２と、表示部２３と、を備えている。表示装置２は、制御システム１と通信可能に構成されており、制御システム１との間でデータの授受が可能である。本実施形態では一例として、表示装置２は作業機械３に用いられる専用のデバイスである。

制御部２１は、制御システム１からのデータに従って、表示装置２を制御する。具体的には、制御部２１は、操作部２２で受け付けたユーザの操作に応じた電気信号を出力したり、制御システム１で生成される表示画面Ｄｐ１を表示部２３に表示したりする。

操作部２２は、表示部２３に表示される表示画面Ｄｐ１に対するユーザ（オペレータ）による操作入力を受け付けるためのユーザインターフェースである。操作部２２は、例えば、ユーザＵ１（図４参照）の操作に応じた電気信号を出力することにより、ユーザＵ１による各種の操作を受け付ける。本実施形態では一例として、操作部２２は、図４に示すように、機械式の複数（ここでは６つ）の押釦スイッチ２２１～２２６を含む。これら複数の押釦スイッチ２２１～２２６は、表示部２３の表示領域の周縁に沿うように、表示領域に近接して（図４の例では下方に）配置されている。これら複数の押釦スイッチ２２１～２２６は、後述する表示画面Ｄｐ１に表示される項目に対応付けられており、複数の押釦スイッチ２２１～２２６のいずれかが操作されることにより、表示画面Ｄｐ１のいずれかの項目が操作（選択）される。

また、操作部２２は、タッチパネル及び操作ダイヤル等を含んでいてもよい。この場合においても、操作部２２に対する操作により、表示画面Ｄｐ１のいずれかの項目が操作（選択）されることになる。

表示部２３は、各種の情報を表示する液晶ディスプレイ又は有機ＥＬディスプレイのような、ユーザＵ１（オペレータ）に情報を提示するためのユーザインターフェースである。表示部２３は、ユーザに対して各種の情報を表示により提示する。本実施形態では一例として、表示部２３は、バックライト付きのフルカラーの液晶ディスプレイであって、図４に示すように、横方向に長い「横長」の表示領域を有している。

表示装置２は、作業機械３を操作するユーザＵ１（オペレータ）に向けて表示画面Ｄｐ１にて種々の情報を提示する。つまり、作業機械３を操作するユーザＵ１は、表示装置２に表示される表示画面Ｄｐ１を見ることで、作業機械３に関連する種々の情報を視覚的に得ることが可能である。一例として、表示装置２に、冷却水温及び作動油温等の作業機械３の稼働状態に関する情報が表示されることで、ユーザＵ１は、作業機械３の操作に必要な作業機械３の稼働状態に関する情報を、表示装置２で確認することができる。また、表示装置２は、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３にて撮像される作業機械３の周辺画像（監視エリアＡ１の画像）についても、表示画面Ｄｐ１に表示することができる。これにより、ユーザＵ１（オペレータ）は、作業機械３を操作する際に、例えば、運転部３２１からの死角となりやすい作業機械３の側方及び後方等の状況を、表示装置２に表示される表示画面Ｄｐ１にて確認することができる。

さらに、作業機械３は、ユーザＵ１（オペレータ）に対して音（音声を含む）を出力する音出力部３６（図２参照）を備えている。音出力部３６は、ブザー又はスピーカ等を含み、電気信号を受けて音を出力する。音出力部３６は、制御システム１に接続されており、制御システム１からの音制御信号に応じて、ビープ音又は音声等の音を出力する。本実施形態では、音出力部３６は、表示装置２と同様に機体３０の運転部３２１に設けられている。音出力部３６は、表示装置２と一体に設けられていてもよい。

また、機体３０は、上述した構成に加えて、操作レバー、カットオフレバー、通信端末、燃料タンク及びバッテリ等を更に備えている。さらには、機体３０には、冷却水温センサ、作動油温センサ、エンジンの回転数を計測する回転数計、及び稼働時間を計測するアワーメータ等、機体３０の稼働状態を監視するためのセンサ類が備わっている。その他、カットオフレバー及びスタータキースイッチ等の状態等を検出するセンサも、機体３０に備わっている。

［２］制御システムの構成
次に、本実施形態に係る制御システム１の構成について、図２を参照して説明する。制御システム１は、表示装置２を制御することにより、表示装置２に表示画面Ｄｐ１を表示させる。本実施形態では、表示装置２は、上述したように作業機械３の機体３０に搭載されている。制御システム１は、作業機械３の構成要素であって、機体３０等と共に作業機械３を構成する。言い換えれば、本実施形態に係る作業機械３は、少なくとも制御システム１と、表示装置２が搭載される機体３０（走行部３１、旋回部３２及び作業部３３を含む）と、を備えている。

本開示でいう表示画面Ｄｐ１等の「画面」は、表示装置２にて表示される映像（画像）を意味し、図像、図形、写真、テキスト及び動画等を含む。すなわち、制御システム１は、例えば、冷却水温及び作動油温等の作業機械３の稼働状態に関する情報を表す図像等を含む表示画面Ｄｐ１を、表示装置２に表示させることが可能である。ここで、表示画面Ｄｐ１が動画等を含む場合には、表示画面Ｄｐ１は一定の映像ではなく、刻一刻と変化する映像を含む。

制御システム１は、図２に示すように、表示処理部１１と、牽制処理部１２と、切替処理部１３と、画像取得部１４と、検知部１５と、を備えている。本実施形態では一例として、制御システム１は１以上のプロセッサを有するコンピュータシステムを主構成とするので、１以上のプロセッサが作業機械用制御プログラムを実行することにより、これら複数の機能部（表示処理部１１等）が実現される。制御システム１に含まれる、これら複数の機能部は、複数の筐体に分散して設けられていてもよいし、１つの筐体に設けられていてもよい。

制御システム１は、機体３０の各部に設けられたデバイスと通信可能に構成されている。つまり、制御システム１には、少なくとも表示装置２、音出力部３６、カットオフリレー３５２、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３等が接続されている。これにより、制御システム１は、表示装置２及び音出力部３６等を制御したり、カットオフリレー３５２を制御して制御弁４６を制御したり、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３等の撮像画像を取得したりすることが可能である。ここで、制御システム１は、各種の情報（データ）の授受を、各デバイスと直接的に行ってもよいし、中継器等を介して間接的に行ってもよい。

画像取得部１４は、作業機械３の周囲の監視エリアＡ１の撮像画像を取得する画像取得処理を実行する。本実施形態では、画像取得部１４は、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３の出力を、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３から定期的又は不定期に取得する。つまり、画像取得部１４は、作業機械３の周囲の監視エリアＡ１（各小エリアＡ１１，Ａ１２，Ａ１３）の画像データ（撮像画像）を取得する。画像取得部１４で取得されたデータは、例えば、メモリ等に記憶される。

検知部１５は、作業機械３の周囲の監視エリアＡ１における検知対象物Ｏｂ１を検知する。つまり、検知部１５は、監視エリアＡ１における検知対象物Ｏｂ１の存否（有無）を判断し、監視エリアＡ１に検知対象物Ｏｂ１が存在するか否かを表す検知結果を出力する。本実施形態では一例として、検知対象物Ｏｂ１は「人」である。つまり、作業機械３が移動し、又は作業機械３の周囲の「人」が移動した結果、作業機械３の周囲の監視エリアＡ１に「人」が侵入した場合、検知部１５は当該「人」を検知対象物Ｏｂ１として検知する。監視エリアＡ１に複数の検知対象物Ｏｂ１が存在する場合には、検知部１５は、検知対象物Ｏｂ１の数（人数）も含めて検知してもよい。

本実施形態では、検知部１５は、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３の出力（画像データ）に基づいて、監視エリアＡ１における検知対象物Ｏｂ１を検知する。具体的には、検知部１５は、画像取得部１４で取得された画像データに対して、画像処理を施すことにより、画像中の特徴量を抽出し、当該特徴量に基づいて、画像に検知対象物Ｏｂ１（本実施形態では「人」）が写り込んでいるか否かを判断する。ここで、画像に検知対象物Ｏｂ１が写り込んでいる場合、検知部１５は、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３のいずれで撮像された画像に検知対象物Ｏｂ１が写り込んでいるかを判断する。つまり、検知部１５は、左方カメラ３４１で撮像される小エリアＡ１１、右方カメラ３４２で撮像される小エリアＡ１２、及び後方カメラ３４３で撮像される小エリアＡ１３のいずれに検知対象物Ｏｂ１が存在するかを区別して、検知対象物Ｏｂ１の検知を行う。

牽制処理部１２は、検知部１５の検知結果に基づいて、作業機械３の動作を牽制する牽制処理を実行する。本実施形態では、検知部１５の検知結果が、監視エリアＡ１に検知対象物Ｏｂ１（ここでは人）の存在を示す結果である場合に、牽制処理部１２は牽制処理を実行する。本開示でいう「牽制処理」は、作業機械３の動作に関し、何かしら抑制する方向に作用する処理を意味する。一例として、牽制処理は、作業機械３を操作するユーザＵ１（オペレータ）に対して、音又は光（表示を含む）により警告を行うことで、作業機械３の動作を間接的に牽制する処理を含む。さらに、牽制処理は、作業機械３の走行部３１、旋回部３２及び作業部３３等を制御することで、作業機械３の動作を直接的に牽制する処理を含む。

本実施形態では、牽制処理部１２は、音出力処理部１２１と、制限処理部１２２と、を含んでいる。

音出力処理部１２１は、監視エリアＡ１に検知対象物Ｏｂ１が存在する場合に、音出力部３６を制御することにより、音出力部３６から報知音を出力させる。すなわち、本実施形態では、牽制処理は、報知音を出力する音出力処理を含む。報知音は、単なるビープ音であってもよいし、「ご注意ください」等の音声であってもよい。さらに、報知音は、検知部１５の検知結果（機体３０から検知対象物Ｏｂ１までの距離等）に応じて変化してもよい。これにより、作業機械３を操作するユーザＵ１（オペレータ）に対して、報知音による警告を行うことで、作業機械３の動作を間接的に牽制できるので、作業機械３の操作の自由度が高い。つまり、ユーザＵ１が検知対象物Ｏｂ１に注意して作業機械３を操作することで、検知対象物Ｏｂ１との接触を回避しつつも作業機械３の動作を継続することができる。

制限処理部１２２は、監視エリアＡ１に検知対象物Ｏｂ１が存在する場合に、カットオフリレー３５２を制御することにより、カットオフリレー３５２をオフにする。これにより、カットオフリレー３５２を介して電源３５１に接続されている制御弁４６が非通電状態となり、制御弁４６に対応する油圧アクチュエータの出力が強制的に停止する。すなわち、本実施形態では、牽制処理は、作業機械３の動作を制限する制限処理を含む。本開示でいう「制限処理」は、作業機械３の動作に関し、何かしら制限する方向に作用する処理を意味する。一例として、制限処理は、走行部３１の走行動作を禁止する（走行動作不能とする）処理、旋回部３２の旋回動作を禁止する（旋回動作不能とする）処理、及び作業部３３の動作を禁止する（作業不能とする）処理等を含む。これにより、ユーザＵ１（オペレータ）の操作によらずに、作業機械３の動作を強制的に制限することができる。つまり、作業機械３が動作することによる機体３０と検知対象物Ｏｂ１との接触を回避できる。

ここで、制限処理部１２２が実行する制限処理は、少なくとも旋回部３２の旋回動作を制限する処理を含む。具体的に、制限処理部１２２は、旋回部３２の油圧モータに対応する制御弁４６につながるカットオフリレー３５２を制御可能に構成されており、監視エリアＡ１に検知対象物Ｏｂ１が存在する場合に、当該カットオフリレー３５２をオフにする。これにより、監視エリアＡ１に検知対象物Ｏｂ１が存在する場合においては、旋回部３２の油圧モータが駆動不能となり、旋回部３２の旋回動作中であれば旋回部３２が緊急停止し、旋回部３２の旋回動作中でなければ旋回部３２の旋回動作が禁止される。すなわち、本実施形態では、作業機械３は、走行部３１と、走行部３１に対して旋回可能な旋回部３２と、を備える。制限処理は、少なくとも旋回部３２の旋回動作を制限する。これにより、ユーザＵ１（オペレータ）の死角となる監視エリアＡ１に検知対象物Ｏｂ１が存在する場合に、旋回部３２が旋回することによる機体３０と検知対象物Ｏｂ１との接触を回避できる。

切替処理部１３は、牽制処理部１２の有効と無効とを切り替える。つまり、切替処理部１３は、牽制処理に係る機能の有効と無効とを切り替える。要するに、牽制処理部１２は常に有効という訳ではなく、有効／無効の切り替えが可能である。牽制処理部１２が有効であれば、監視エリアＡ１に検知対象物Ｏｂ１が存在する場合に、牽制処理部１２による牽制処理が実行される。一方、牽制処理部１２が無効であれば、監視エリアＡ１に検知対象物Ｏｂ１が存在する場合でも、牽制処理部１２による牽制処理は実行されない。

本実施形態では一例として、牽制処理に係る機能（牽制処理部１２）の有効と無効との切り替えは、ユーザＵ１（オペレータ）が表示装置２を操作することによって行われる。つまり、ユーザＵ１が、牽制処理に係る機能を有効にするように表示装置２の操作部２２を操作すると、切替処理部１３は、この操作を受けて、牽制処理に係る機能を有効にする。一方、ユーザＵ１が、牽制処理に係る機能を無効にするように表示装置２の操作部２２を操作すると、切替処理部１３は、この操作を受けて、牽制処理に係る機能を無効にする。

また、本実施形態では、牽制処理部１２が行う牽制処理は、音出力処理部１２１が実行する音出力処理と、制限処理部１２２が実行する制限処理と、を含んでいる。このように、牽制処理は、作業機械３の動作を牽制するための複数の具体的処理（音出力処理及び制限処理等）を含んでいる。ここで、牽制処理は、具体的処理ごとに個別に有効と無効とを切替可能である。つまり、切替処理部１３は、牽制処理部１２における音出力処理部１２１と制限処理部１２２とについて、個別に有効と無効とを切替可能である。一例として、音出力処理部１２１を有効、制限処理部１２２を無効としたり、音出力処理部１２１を無効、制限処理部１２２を有効としたりすることが可能である。これにより、状況に応じて、必要な具体的処理のみを有効にすることができ、牽制処理の自由度が向上する。

表示処理部１１は、少なくとも表示画面Ｄｐ１を表示装置２に表示させる表示処理を実行する。具体的には、表示処理部１１は、画像取得部１４で取得されるデータ等に基づいて表示画面Ｄｐ１を生成し、表示装置２を制御することによって、表示画面Ｄｐ１を表示装置２の表示部２３に表示させる。さらに、表示処理部１１は、表示装置２の操作部２２が受け付けた操作に応じて動作する。表示処理部１１は、例えば、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３で撮像される撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３（図５参照）を表示画面Ｄｐ１に表示させる。つまり、表示処理部１１は、画像取得部１４は、作業機械３の周囲の監視エリアＡ１（各小エリアＡ１１，Ａ１２，Ａ１３）の画像を表示装置２に表示させる。

ここで、表示処理部１１は、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３に加えて、検知部１５による監視エリアＡ１における検知対象物Ｏｂ１の存否（有無）の検知結果を表す検知オブジェクトＩｍ１０（図５参照）を表示画面Ｄｐ１に表示する。検知オブジェクトＩｍ１０は、検知部１５の検知結果によらず表示画面Ｄｐ１の同一位置に表示される。そのため、監視エリアＡ１に検知対象物Ｏｂ１が存在する場合と存在しない場合とで、検知オブジェクトＩｍ１０の表示位置は同一になる。つまり、検知オブジェクトＩｍ１０は、検知部１５の検知結果によらず、表示画面Ｄｐ１の定位置に常時表示される。一方、検知オブジェクトＩｍ１０は、検知部１５の検知結果に応じてその表示態様が変化する。そのため、監視エリアＡ１に検知対象物Ｏｂ１が存在する場合と存在しない場合とで、検知オブジェクトＩｍ１０の表示態様は異なる。

すなわち、表示処理部１１は、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３及び検知オブジェクトＩｍ１０を含む表示画面Ｄｐ１を表示装置２に表示させる。そして、表示処理部１１は、監視エリアＡ１における検知対象物Ｏｂ１を検知する検知部１５の検知結果によらず表示画面Ｄｐ１の同一位置に検知オブジェクトＩｍ１０を表示させつつ、検知結果に応じて検知オブジェクトＩｍ１０の表示態様を変化させる。本開示でいう検知オブジェクトＩｍ１０等の「オブジェクト」は、表示画面Ｄｐ１中に表示されるマーク、図像、図形、写真、テキスト若しくは動画等、又はこれらの組み合わせを含む。また、本開示でいう「表示態様」は、（オブジェクトの）表示色、サイズ（大きさ、線の太さ等を含む）、形状、動作状態（アニメーション、回転／静止等を含む）若しくは表示パターン（点滅パターン等を含む）等、又はこれらの組み合わせを含む。要するに、表示処理部１１は、検知部１５の検知結果に応じて検知オブジェクトＩｍ１０の表示色等の表示態様を変化させる。

さらに、本実施形態では、表示処理部１１は、牽制処理に係る機能が有効か無効かを表す牽制状態情報Ｉ１（図５参照）を含む表示画面Ｄｐ１を、表示装置２に表示させることが可能である。つまり、牽制処理に係る機能の有効／無効は切替処理部１３にて切り替えられるところ、現在の牽制処理に係る機能の状態（有効／無効）は、牽制状態情報Ｉ１として表示画面Ｄｐ１に表示される。これにより、ユーザＵ１（オペレータ）は、牽制処理に係る機能が有効か無効かを視覚的に確認することができ、牽制処理に係る機能が有効か無効かを知った上で作業機械３を操作できる。

ところで、検知部１５は、制御システム１に必須の構成ではない。例えば、制御システム１は、外部の検知部の検知結果を取得し、当該検知結果に基づいて牽制処理部１２が牽制処理を実行するように構成されていてもよい。

［３］作業機械の制御方法
以下、図５～図８を参照しつつ、主として制御システム１によって実行される作業機械３の制御方法（以下、単に「制御方法」という）の一例について説明する。

本実施形態に係る制御方法は、コンピュータシステムを主構成とする制御システム１にて実行されるので、言い換えれば、作業機械用制御プログラム（以下、単に「制御プログラム」という）にて具現化される。つまり、本実施形態に係る制御プログラムは、制御方法に係る各処理を１以上のプロセッサに実行させるためのコンピュータプログラムである。このような制御プログラムは、例えば、制御システム１及び表示装置２によって協働して実行されてもよい。

ここで、制御システム１は、制御プログラムを実行させるための予め設定された特定の開始操作が行われた場合に、制御方法に係る下記の各種処理を実行する。開始操作は、例えば、作業機械３のエンジンの起動操作等である。一方、制御システム１は、予め設定された特定の終了操作が行われた場合に、制御方法に係る下記の各種処理を終了する。終了操作は、例えば、作業機械３のエンジンの停止操作等である。

［３．１］表示画面
ここではまず、本実施形態に係る制御方法によって表示装置２の表示部２３に表示される表示画面Ｄｐ１の構成について説明する。図５等の表示装置２の表示部２３に表示される表示画面Ｄｐ１を示す図面において、領域を表す一点鎖線、引出線及び参照符号は、いずれも説明のために付しているに過ぎず、実際に表示装置２に表示される訳ではない。

図５に示す表示画面Ｄｐ１は、制御方法によって最初に表示されるホーム画面である。ホーム画面は、作業機械３の稼働中に、まずは表示装置２に表示されることになる基本的な表示画面Ｄｐ１である。表示画面Ｄｐ１は、ホーム画面から、操作部２２に対する操作に従って、メニュー画面、クレーン画面、モード画面及びＰＴＯ画面等を含む様々な表示画面Ｄｐ１への遷移が可能である。

表示画面Ｄｐ１は、図５に示すように、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３、第４領域Ｒ４、第５領域Ｒ５、第６領域Ｒ６、第７領域Ｒ７、第８領域Ｒ８、第９領域Ｒ９及び第１０領域Ｒ１０を含む。本実施形態に係る制御方法では、一例として、表示画面Ｄｐ１の大部分を占める第２領域Ｒ２に、監視エリアＡ１（各小エリアＡ１１，Ａ１２，Ａ１３）の撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３、検知オブジェクトＩｍ１０及び牽制状態情報Ｉ１等を表示する。第２領域Ｒ２中の検知オブジェクトＩｍ１０が表示される領域を第１１領域Ｒ１１とする。

具体的には、表示画面Ｄｐ１は、縦方向（上下方向）に４つの領域に分割されている。そして、上から３つの領域は、それぞれ更に横方向（左右方向）に３つの領域に分割されている。これにより、表示画面Ｄｐ１は、計１０個の領域に分割される。そして、上から２段目の領域は、左から順に、第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３となる。最下段の領域は第４領域Ｒ４となる。さらに、上から３段目の領域は、左から順に、第５領域Ｒ５、第６領域Ｒ６、第７領域Ｒ７となり、最上段の領域は、左から順に、第８領域Ｒ８、第９領域Ｒ９、第１０領域Ｒ１０となる。縦方向のサイズは、縦方向に分割された４つの領域の中では、上から２段目の領域（第１領域Ｒ１、第２領域Ｒ２、第３領域Ｒ３）が最も広い。横方向のサイズは、横方向に分割された３つの領域の中では、真ん中の領域（第２領域Ｒ２、第６領域Ｒ６、第９領域Ｒ９）が最も広い。

ただし、これらの各領域の配置及びサイズは一例に過ぎず、適宜変更可能である。また、各領域が境界線によって明確に分割されていることは必須ではない。例えば、図５の例でも、第２領域Ｒ２と第３領域Ｒ３とは境界線によって明確に分割されているのに対して、第１領域Ｒ１と第２領域Ｒ２との間には境界線は存在しない。もちろん、第１領域Ｒ１と第２領域Ｒ２とが境界線によって明確に分割されていてもよい。

第１領域Ｒ１は、縦方向に長い矩形状の領域である。第１領域Ｒ１には、例えば、エンジンの燃料（例えば軽油）の残量に関する残量情報Ｇ１が表示される。表示処理部１１は、残量センサの出力（センサ信号）等に基づいて、表示画面Ｄｐ１中の残量情報Ｇ１を生成する。

第２領域Ｒ２は、横方向に長い矩形状の領域である。第２領域Ｒ２には、監視エリアＡ１の撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３、検知オブジェクトＩｍ１０及び牽制状態情報Ｉ１等が表示される。撮像画像Ｉｍ１１は、左方カメラ３４１で撮像される運転部３２１の左方となる小エリアＡ１１の画像であって、撮像画像Ｉｍ１２は、右方カメラ３４２で撮像される運転部３２１の右方となる小エリアＡ１２の画像である。撮像画像Ｉｍ１３は、後方カメラ３４３で撮像される運転部３２１の後方となる小エリアＡ１３の画像である。表示処理部１１は、画像取得部１４で取得される撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３をリアルタイムで表示させる。

検知オブジェクトＩｍ１０は、第２領域Ｒ２の中央部に設定された第１１領域Ｒ１１内に表示されている。本実施形態では一例として、検知オブジェクトＩｍ１０は、上方から見た機体３０を模した図像（アイコン）である。そのため、検知オブジェクトＩｍ１０の上方が実空間における機体３０の前方に相当し、検知オブジェクトＩｍ１０の下方が実空間における機体３０の後方に相当し、検知オブジェクトＩｍ１０の右方が実空間における機体３０の右方に相当し、検知オブジェクトＩｍ１０の左方が実空間における機体３０の左方に相当する。具体的には、検知オブジェクトＩｍ１０の下部が旋回部３２の後部（カウンタウェイト）を模した円弧状に構成され、検知オブジェクトＩｍ１０の上部が旋回部３２の前部（作業部３３）を模した形状に構成されている。本実施形態では、作業部３３は旋回部３２の左右方向Ｄ３の中心に対して右方にオフセットした位置に配置され、運転部３２１は旋回部３２の左右方向Ｄ３の中心に対して左方にオフセットした位置に配置されている。そのため、検知オブジェクトＩｍ１０においても、右上部に作業部３３を模した図形が位置し、左部に運転部３２１を模した図形が位置する。

本実施形態では、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３は、第２領域Ｒ２の中央部が矩形状に切り欠かれた形状である。そのため、第２領域Ｒ２の中央部（第１１領域Ｒ１１）に表示される検知オブジェクトＩｍ１０は、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３の切欠部位に嵌るように配置されることになる。これにより、検知オブジェクトＩｍ１０は、表示画面Ｄｐ１において撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３に隣接して配置される。したがって、オペレータにおいては、表示画面Ｄｐ１を見て、機体３０と検知対象物Ｏｂ１との距離等を直感的に把握しやすい。

さらに、本実施形態では、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３は、機体３０を上方から見たときの位置関係に対応するように、撮像画像Ｉｍ１１が検知オブジェクトＩｍ１０の左上方、撮像画像Ｉｍ１２が検知オブジェクトＩｍ１０の右上方、撮像画像Ｉｍ１３が検知オブジェクトＩｍ１０の下方に表示される。つまり、機体３０の左方となる小エリアＡ１１の撮像画像Ｉｍ１１は、検知オブジェクトＩｍ１０に対して左方に位置し、機体３０の右方となる小エリアＡ１２の撮像画像Ｉｍ１２は、検知オブジェクトＩｍ１０に対して右方に位置し、機体３０の後方となる小エリアＡ１３の撮像画像Ｉｍ１３は、検知オブジェクトＩｍ１０に対して下方に位置する。このように、本実施形態に係る制御方法は、表示画面Ｄｐ１における検知オブジェクトＩｍ１０に対する撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３の位置関係には、実空間における作業機械３に対する監視エリアＡ１の位置関係を反映させる。そのため、オペレータにおいては、表示画面Ｄｐ１を見て、監視エリアＡ１のどこを撮像した撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３であるかを直感的に把握しやすい。

また、本実施形態では、検知オブジェクトＩｍ１０は、走行部３１の向きではなく、運転部３２１が搭載された旋回部３２の向きを基準にして表示される。つまり、旋回部３２が走行部３１に対して相対的に旋回することにより、検知オブジェクトＩｍ１０の上方に対応する実空間上の方位は変化する。これにより、検知オブジェクトＩｍ１０の上方は、常に運転部３２１に搭乗するオペレータから見て前方となる旋回部３２の前方に相当する。すなわち、作業機械３は、走行部３１と、走行部３１に対して旋回可能な旋回部３２と、を備える。本実施形態に係る制御方法は、表示画面Ｄｐ１における検知オブジェクトＩｍ１０に対する撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３の位置関係には、実空間における旋回部３２に対する監視エリアＡ１の位置関係を反映させる。そのため、オペレータにおいては、表示画面Ｄｐ１を見て、監視エリアＡ１のどこを撮像した撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３であるかを直感的に把握しやすい。

牽制状態情報Ｉ１は、第２領域Ｒ２の右下方に表示される。牽制状態情報Ｉ１は、上述したように、牽制処理に係る機能が有効か無効か、つまり切替処理部１３にて選択されている牽制処理に係る機能の状態（有効／無効）を表す情報である。本実施形態では、牽制状態情報Ｉ１は、図像（アイコン）を含んでいる。牽制状態情報Ｉ１は、例えば、図像の表示色又はサイズ等の表示態様によって、牽制処理に係る機能の状態（有効／無効）を表す。表示処理部１１は、切替処理部１３の動作状態に基づいて、牽制処理に係る機能の状態（有効／無効）を判断する。そして、表示処理部１１は、牽制処理に係る機能の状態（有効／無効）に応じて、牽制状態情報Ｉ１における図像の表示態様を決定する。

ここで、牽制処理は、複数の具体的処理（音出力処理及び制限処理等）を含み、具体的処理ごとに個別に有効と無効とを切替可能であるところ、牽制状態情報Ｉ１は、具体的処理ごとに個別に表示される。図５の例では、牽制状態情報Ｉ１は、それぞれ具体的処理に対応する第１牽制状態情報Ｉ１１と第２牽制状態情報Ｉ１２とを含んでいる。第１牽制状態情報Ｉ１１は、音出力処理に係る機能の有効／無効を表し、第２牽制状態情報Ｉ１２は、制限処理に係る機能の有効／無効を表している。第１牽制状態情報Ｉ１１及び第２牽制状態情報Ｉ１２は、個々の図像のデザイン（絵柄）によって、音出力処理及び制限処理のいずれに対応するかを示す。

本実施形態では一例として、牽制処理に係る機能が有効であれば牽制状態情報Ｉ１はアクティブ表示され、牽制処理に係る機能が無効であれば牽制状態情報Ｉ１は非アクティブ表示される。つまり、アクティブ表示されている牽制状態情報Ｉ１は、牽制処理に係る機能が有効であることを表しており、非アクティブ表示されている牽制状態情報Ｉ１は、牽制処理に係る機能が無効であることを表している。アクティブ表示されている牽制状態情報Ｉ１は、例えば、緑色等のコントラストの大きい表示色で表示されるのに対し、非アクティブ表示されている牽制状態情報Ｉ１は、例えば、グレー等のコントラストの小さい表示色で表示される。

第３領域Ｒ３は、縦方向に長い矩形状の領域である。第３領域Ｒ３には、作業機械３の各部の稼働状態に応じた図像（アイコン）Ｉｍ１が表示される。第３領域Ｒ３には、複数の図像Ｉｍ１を表示可能であって、個々の図像Ｉｍ１のデザイン（絵柄）によって、例えば、バッテリ、シートベルト、冷却水温、作動油温等の、いずれの状態を表すかを示す。ここで、各図像Ｉｍ１は、例えば、表示色又はサイズ等の表示態様によって、稼働状態を示す。表示処理部１１は、作業機械３の各部の稼働状態を検知する種々のセンサ（冷却水温センサ及び作動油温センサを含む）の出力を用いて、作業機械３の各部の状態を判断する。そして、表示処理部１１は、いずれかの部位で異常値が検知された場合には、その部位の図像Ｉｍ１の表示色等の表示態様を変化させる等により、警告表示を行う。

第４領域Ｒ４は、表示画面Ｄｐ１の全幅にわたって延びる帯状の領域である。第４領域Ｒ４には、表示画面Ｄｐ１に対する操作のための各項目が表示される。図５では一例として、第４領域Ｒ４には、「メニュー」、「クレーン」、「モード」、「カメラ」、「ＰＴＯ」、「切替」の６つの項目が、この順で左から並べて配置されている。これら６つの項目には、その真下に位置する操作部２２の６つの押釦スイッチ２２１～２２６がそれぞれ対応付けられている。例えば、「メニュー」の項目には押釦スイッチ２２１が、「クレーン」の項目には押釦スイッチ２２２が、それぞれ対応付けられている。そのため、例えば、「カメラ」の項目に対応する押釦スイッチ２２４がユーザＵ１（図４参照）により操作されると、「カメラ」の項目が操作（選択）されることになる。

さらに、本実施形態では、操作部２２の操作ダイヤル（又はカーソルキー）等の操作にも対応するように、第４領域Ｒ４においては、いずれかの項目がハイライト表示される。図５の例では「メニュー」の項目がハイライト表示されており、操作ダイヤル（又はカーソルキー）等の操作により、ハイライト表示される項目が切り替わる。ユーザＵ１においては、所望の項目をハイライト表示させた状態で決定ボタンを操作することにより、所望の項目を選択することが可能である。そのため、例えば、「カメラ」の項目にハイライト表示を移動させた状態で決定ボタンが操作されると、「カメラ」の項目が操作（選択）されることになる。また、操作部２２がタッチパネルを含む場合には、ユーザＵ１は、表示画面Ｄｐ１上の所望の項目をタッチする操作により、所望の項目を選択することが可能である。

第５領域Ｒ５には、種々のセンサ（冷却水温センサ及び作動油温センサを含む）にて異常値が検知されていることを示す、警告表示用の図像（アイコン）が表示される。第６領域Ｒ６には、例えば、作業機械３において稼働中の作業部３３に関する情報が表示される。第７領域Ｒ７には、例えば、エンジンの回転数等、作業機械３の稼働状態に関する情報が表示される。第８領域Ｒ８には、例えば、現在時刻が表示される。第９領域Ｒ９には、例えば、現在表示されている表示画面Ｄｐ１が属する項目を示す情報が表示される。第１０領域Ｒ１０には、例えば、作業機械３の稼働時間（アワーメータ）に関する情報が表示される。

［３．２］詳細
次に、本実施形態に係る制御方法の詳細について説明する。

本実施形態に係る制御方法は、作業機械３の周囲の監視エリアＡ１の撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を取得すること（画像取得処理）と、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３及び検知オブジェクトＩｍ１０を含む表示画面Ｄｐ１を表示装置２に表示させること（表示処理）と、を有する。制御方法は、表示処理において、監視エリアＡ１における検知対象物Ｏｂ１を検知する検知部１５の検知結果によらず表示画面Ｄｐ１の同一位置に検知オブジェクトＩｍ１０を表示させつつ、検知結果に応じて検知オブジェクトＩｍ１０の表示態様を変化させること、を更に有する。

要するに、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３及び検知オブジェクトＩｍ１０を含む表示画面Ｄｐ１が表示装置２に表示されることにより、監視エリアＡ１における検知対象物Ｏｂ１の検知結果を検知オブジェクトＩｍ１０の表示態様にて表すことが可能である。しかも、検知オブジェクトＩｍ１０は、その表示態様こそ変化するものの、その表示位置については検知部１５の検知結果によらず表示画面Ｄｐ１の定位置であるので、視認性が良い。そのため、オペレータ（ユーザＵ１）にとっては、表示画面Ｄｐ１の定位置に表示される検知オブジェクトＩｍ１０を見るだけで、監視エリアＡ１における検知対象物Ｏｂ１の検知結果を把握することが可能となる。したがって、本実施形態に係る制御方法によれば、監視エリアＡ１に検知対象物Ｏｂ１（例えば人）が存在することを、オペレータが直感的に把握しやすくなる。

図６は、検知オブジェクトＩｍ１０の表示態様の一例を示している。図６では、表示画面Ｄｐ１における第１１領域Ｒ１１の周辺のみを図示し、それ以外の図示を省略する。検知オブジェクトＩｍ１０の表示態様は、検知部１５の検知結果に応じて変化するので、少なくとも、監視エリアＡ１に検知対象物Ｏｂ１が存在しない「非検知」時と、監視エリアＡ１に検知対象物Ｏｂ１が存在する「検知」時との２通りが存在する。さらに、本実施形態では、検知オブジェクトＩｍ１０の表示態様は、作業機械３から検知対象物Ｏｂ１までの距離によっても変化する。そのため、監視エリアＡ１に検知対象物Ｏｂ１が存在する「検知」時の中でも、作業機械３から検知対象物Ｏｂ１までの距離が遠い場合（検知＿距離：遠）と、作業機械３から検知対象物Ｏｂ１までの距離が近い場合（検知＿距離：近）と、で検知オブジェクトＩｍ１０の表示態様が更に異なる。したがって、図６に示すように、検知オブジェクトＩｍ１０は、「非検知」、「検知＿距離：遠」及び「検知＿距離：近」の３通りの表示態様を有する。ここで、検知部１５は、作業機械３から検知対象物Ｏｂ１までの距離が閾値距離（例えば２ｍ）以内であれば「検知＿距離：近」と判断し、作業機械３から検知対象物Ｏｂ１までの距離が閾値距離を超えていれば「検知＿距離：遠」と判断することと仮定する。

本実施形態では一例として、検知部１５の検知結果に応じて変化する検知オブジェクトＩｍ１０の表示態様には、検知オブジェクトＩｍ１０の表示色が含まれている。そのため、表示画面Ｄｐ１における検知オブジェクトＩｍ１０の表示色は、検知部１５の検知結果に応じて変化することになる。例えば、検知対象物Ｏｂ１が機体３０に近いほど、検知オブジェクトＩｍ１０の表示態様が目立つ表示色に変更され、一例として、検知対象物Ｏｂ１が機体３０に近づくと、検知オブジェクトＩｍ１０の表示色が黄色から赤色に変化する。具体的には、検知オブジェクトＩｍ１０の表示色は、図６に示すように「非検知」の場合に背景色（黒色又は白色等）と同色となり、「検知＿距離：遠」の場合に黄色、「検知＿距離：近」の場合に赤色となる。そのため、オペレータにおいては、表示画面Ｄｐ１の定位置（第１１領域Ｒ１１）に表示されている検知オブジェクトＩｍ１０の表示色をもって、監視エリアＡ１に検知対象物Ｏｂ１（例えば人）が存在することを、直感的に把握しやすくなる。

ここで、監視エリアＡ１には同時に複数の検知対象物Ｏｂ１が存在することがある。この場合、複数の検知対象物Ｏｂ１のうち、作業機械３の機体３０から最も近い検知対象物Ｏｂ１までの距離に応じて、検知オブジェクトＩｍ１０の表示態様が決定される。例えば、作業機械３から閾値距離以内の位置に存在する検知対象物Ｏｂ１と、作業機械３から閾値距離より遠い位置に存在する検知対象物Ｏｂ１と、が同時に検知される場合、作業機械３から閾値距離以内の位置に存在する検知対象物Ｏｂ１を基準として、検知オブジェクトＩｍ１０の表示色は赤色となる。要するに、検知オブジェクトＩｍ１０の表示態様は、作業機械３から検知対象物Ｏｂ１までの距離に応じて変化する。本実施形態に係る制御方法は、監視エリアＡ１に検知対象物Ｏｂ１が複数存在するとき、作業機械３から最も近い検知対象物Ｏｂ１までの距離に応じて検知オブジェクトＩｍ１０の表示態様を決定する。これにより、検知オブジェクトＩｍ１０の表示態様は、最も緊急性の高い検知対象物Ｏｂ１の検知結果に応じて決定されるため、オペレータが検知結果を直感的に把握しやすくなる。

ところで、本実施形態では、監視エリアＡ１における検知対象物Ｏｂ１を検知部１５での検知対象としているため、監視エリアＡ１に検知対象物Ｏｂ１が存在する場合には当然に、検知対象物Ｏｂ１は監視エリアＡ１の撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３に写り込むことになる。言い換えれば、図７に示すように、表示画面Ｄｐ１における撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３に検知対象物Ｏｂ１が写り込んだ状態では、検知オブジェクトＩｍ１０の表示態様は、監視エリアＡ１に検知対象物Ｏｂ１が存在することを示すことになる。図７では、表示画面Ｄｐ１のうち第２領域Ｒ２のみを示し、第２領域Ｒ２以外の領域の図示を省略する。

このように、検知結果が監視エリアＡ１における検知対象物Ｏｂ１の存在を示すとき、表示画面Ｄｐ１における撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３には検知対象物の少なくとも一部が写り込む。これにより、オペレータにおいては、検知対象物Ｏｂ１を撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３上にて確認することが可能となる。つまり、オペレータ（ユーザＵ１）は、運転部３２１からの死角となりやすい作業機械３の側方及び後方等の状況を、表示装置２に表示される表示画面Ｄｐ１にて確認することができる。したがって、検知オブジェクトＩｍ１０だけが表示される構成に比較して、監視エリアＡ１内に検知対象物Ｏｂ１が存在する場合、検知対象物Ｏｂ１の状況を表示画面Ｄｐ１にて詳細に把握しやすくなる。

また、本実施形態では、図７に示すように、表示画面Ｄｐ１は、検知部１５の検知結果を表す補助オブジェクトＩ２，Ｉ３を含んでいる。補助オブジェクトＩ２は、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３のうち、検知対象物Ｏｂ１が含まれる撮像画像を強調表示する帯状（枠状）の図像である。補助オブジェクトＩ３は、運転部３２１から見て検知対象物Ｏｂ１が存在する方向を示す図像である。図７の例では、左方カメラ３４１で撮像される運転部３２１の左方となる小エリアＡ１１に検知対象物Ｏｂ１（ここでは「人」）が存在する場合を想定している。そのため、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３のうち撮像画像Ｉｍ１１が補助オブジェクトＩ２にて強調表示され、かつ撮像画像Ｉｍ１１の下方に運転部３２１の左方に検知対象物Ｏｂ１が存在することを示す補助オブジェクトＩ３が表示されている。

補助オブジェクトＩ２，Ｉ３の表示態様についても、検知オブジェクトＩｍ１０と同様に、監視エリアＡ１における検知対象物Ｏｂ１の位置によって変更されることが好ましい。例えば、補助オブジェクトＩ２，Ｉ３の表示色、表示色、サイズ（大きさ、線の太さ等を含む）、形状、動作状態（アニメーション、回転／静止等を含む）又は表示パターン（点滅パターン等を含む）等の表示態様が、監視エリアＡ１における検知対象物Ｏｂ１の位置によって変更される。具体的には、検知対象物Ｏｂ１が機体３０に近いほど、補助オブジェクトＩ２，Ｉ３の表示態様が目立つ表示色に変更され、一例として、検知対象物Ｏｂ１が機体３０に近づくと、補助オブジェクトＩ２，Ｉ３の表示色が黄色から赤色に変化する。

本実施形態では特に、補助オブジェクトＩ２，Ｉ３の表示色は、検知オブジェクトＩｍ１０の表示色と同一であることとする。すなわち、補助オブジェクトＩ２，Ｉ３の表示色についても、「検知＿距離：遠」の場合に黄色、「検知＿距離：近」の場合に赤色となる。ただし、補助オブジェクトＩ２，Ｉ３は、検知オブジェクトＩｍ１０とは異なり、監視エリアＡ１に検知対象物Ｏｂ１が存在する場合にのみ表示されるのであって、監視エリアＡ１に検知対象物Ｏｂ１が存在しない場合には表示されない。

このように、本実施形態に係る制御方法は、検知結果が監視エリアＡ１における検知対象物Ｏｂ１の存在を示すとき、検知オブジェクトＩｍ１０とは別の補助オブジェクトＩ２，Ｉ３を表示画面Ｄｐ１に表示させること、を更に有する。つまり、監視エリアＡ１に検知対象物Ｏｂ１が存在する場合、表示画面Ｄｐ１には、監視エリアＡ１の撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３及び検知オブジェクトＩｍ１０が表示されるだけでなく、検知オブジェクトＩｍ１０とは別の補助オブジェクトＩ２，Ｉ３が表示される。そのため、オペレータは、表示画面Ｄｐ１を見ることで、監視エリアＡ１における検知対象物Ｏｂ１の有無（存否）をより容易に確認できる。

また、補助オブジェクトＩ２，Ｉ３は、少なくとも作業機械３から見た検知対象物Ｏｂ１が存在する方位を示す。一例として、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３は、監視エリアＡ１に含まれる複数の小エリアＡ１１，Ａ１２，Ａ１３の画像を含む。そして、補助オブジェクトＩ２は、表示画面Ｄｐ１において、複数の小エリアＡ１１，Ａ１２，Ａ１３のうち検知対象物Ｏｂ１が存在する小エリアの画像を強調表示させる。つまり、補助オブジェクトＩ２にて、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３のうち、検知対象物Ｏｂ１が含まれる撮像画像を強調表示する。これにより、オペレータは、監視エリアＡ１内に検知対象物Ｏｂ１が存在する場合、複数の小エリアＡ１１，Ａ１２，Ａ１３のうちのいずれに検知対象物Ｏｂ１が存在するかを把握しやすくなる。

さらに、検知オブジェクトＩｍ１０の表示態様は検知オブジェクトＩｍ１０の表示色を含み、補助オブジェクトＩ２，Ｉ３の表示色は、検知結果が監視エリアＡ１における検知対象物Ｏｂ１の存在を示すときの検知オブジェクトＩｍ１０の表示色と同一である。つまり、監視エリアＡ１に検知対象物Ｏｂ１が存在する場合、補助オブジェクトＩ２，Ｉ３は検知オブジェクトＩｍ１０と同色で表示される。したがって、オペレータにとっては、補助オブジェクトＩ２，Ｉ３及び検知オブジェクトＩｍ１０を見やすくなる。

ここで、検知オブジェクトＩｍ１０及び補助オブジェクトＩ２，Ｉ３に関しては、牽制処理に係る機能が有効である場合にはもちろんのこと、牽制処理に係る機能が無効である場合にも表示される。つまり、牽制処理部１２が無効になっており、第１牽制状態情報Ｉ１１及び第２牽制状態情報Ｉ１２の両方がグレーアウトされることで非アクティブ表示された状態であっても、監視エリアＡ１に検知対象物Ｏｂ１が存在していれば、検知オブジェクトＩｍ１０及び補助オブジェクトＩ２，Ｉ３は表示される。

［３．３］全体処理
次に、制御方法に係る処理の全体の流れについて、図８を参照して説明する。図８は、制御方法に係る処理の一例を示すフローチャートである。

図８に示すように、制御システム１の画像取得部１４は、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３から取得する（Ｓ１）。そして、制御システム１の表示処理部１１は、撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３及び検知オブジェクトＩｍ１０を含む表示画面Ｄｐ１を、表示装置２に表示させる（Ｓ２）。

ここで、制御システム１の表示処理部１１は、検知部１５の検知結果に基づいて監視エリアＡ１に検知対象物Ｏｂ１が存在するか否かを判断する（Ｓ３）。監視エリアＡ１に検知対象物Ｏｂ１が存在する場合（Ｓ３：Ｙｅｓ）、表示処理部１１は、表示画面Ｄｐ１中の検知オブジェクトＩｍ１０の表示色（表示態様）を、検知時の表示色（黄色又は赤色）に変化させる（Ｓ４）。さらに、表示処理部１１は、表示画面Ｄｐ１に補助オブジェクトＩ２，Ｉ３を表示させる（Ｓ５）。
一方、監視エリアＡ１に検知対象物Ｏｂ１が存在しない場合（Ｓ３：Ｎｏ）、表示処理部１１は、表示画面Ｄｐ１中の検知オブジェクトＩｍ１０の表示色（表示態様）を、非検知時の表示色（背景色）に変化させる（Ｓ６）。さらに、表示処理部１１は、表示画面Ｄｐ１に補助オブジェクトＩ２，Ｉ３を非表示とする（Ｓ７）。

制御システム１は、上記ステップＳ１～Ｓ７の処理を繰り返し実行する。これにより、表示装置２には、検知部１５の検知結果に応じた表示画面Ｄｐ１が表示される。ただし、図８に示すフローチャートは一例に過ぎず、処理が適宜追加又は省略されてもよいし、処理の順番が適宜入れ替わってもよい。

［４］変形例
以下、実施形態１の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。

本開示における制御システム１は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしての１以上のプロセッサ及び１以上のメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における制御システム１としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。また、制御システム１に含まれる一部又は全部の機能部は電子回路で構成されていてもよい。

また、制御システム１の少なくとも一部の機能が、１つの筐体内に集約されていることは制御システム１に必須の構成ではなく、制御システム１の構成要素は、複数の筐体に分散して設けられていてもよい。反対に、実施形態１において、複数の装置（例えば制御システム１及び表示装置２）に分散されている機能が、１つの筐体内に集約されていてもよい。さらに、制御システム１の少なくとも一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。

また、作業機械３の動力源は、ディーゼルエンジンに限らず、例えば、ディーゼルエンジン以外のエンジンであってもよいし、モータ（電動機）、又はエンジンとモータ（電動機）とを含むハイブリッド式の動力源であってもよい。

また、表示装置２は、専用のデバイスに限らず、例えば、ラップトップコンピュータ、タブレット端末又はスマートフォン等の汎用端末であってもよい。さらに、表示部２３は、液晶ディスプレイ又は有機ＥＬディスプレイのように、表示画面を直接的に表示する態様に限らず、例えば、プロジェクタのように、投影により表示画面を表示する構成であってもよい。

また、操作部２２の情報の入力の態様として、押釦スイッチ、タッチパネル及び操作ダイヤル以外の態様を採用してもよい。例えば、操作部２２は、キーボード、マウス等のポインティングディバイス、音声入力、ジェスチャ入力又は他の端末からの操作信号の入力等の態様を採用してもよい。

また、制限処理部１２２が実行する制限処理は、作業機械３の動作を制限する処理であればよく、作業機械３の動作（旋回動作等）を禁止する（動作不能とする）処理に限らない。制限処理は、例えば、作業機械３の動作（旋回動作等）の速度を減速する処理、作業機械３の動作範囲（旋回角度等）を狭める処理、又は作業機械３の動作の許容エリアを制限する処理等であってもよい。

また、牽制処理は、作業機械３の動作を牽制するための複数の具体的処理（音出力処理及び制限処理等）を含むことは必須でない。さらに、牽制処理が複数の具体的処理を含む場合でも、具体的処理ごとに個別に有効と無効とを切替可能であることは必須でなく、複数の具体的処理について一括で有効と無効とを切替可能であってもよい。また、牽制状態情報Ｉ１が、具体的処理ごとに有効か無効かを表すことも必須ではない。また、牽制処理に係る機能が無効である場合に、牽制処理に係る機能が無効であることを牽制状態情報Ｉ１として表示させることは必須でなく、牽制処理に係る機能が無効である場合、例えば、牽制状態情報Ｉ１を非表示としてもよい。

また、そもそも牽制処理部１２による牽制処理に係る機能は必須ではなく、牽制処理部１２は適宜省略可能である。さらに、牽制状態情報Ｉ１を表示させることは必須でなく、牽制処理に係る機能の有効／無効によらず、牽制状態情報Ｉ１を非表示としてもよい。

また、作業機械３の周囲の監視エリアＡ１における検知対象物Ｏｂ１を検知するためのセンサは、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３に限らず、１つ、２つ又は４つ以上のカメラ（イメージセンサ）を含んでもよい。さらに、例えば、全天球カメラ（３６０度カメラ）のように作業機械３から見て全方位を撮像可能なカメラにて、監視エリアＡ１における検知対象物Ｏｂ１を検知してもよい。また、監視エリアＡ１における検知対象物Ｏｂ１を検知するためのセンサは、カメラに加えて又は代えて、たとえば、人感センサ、ソナーセンサ、レーダ又はＬｉＤＡＲ（Light Detection and Ranging）等のセンサを含んでもよい。ここで、監視エリアＡ１における検知対象物Ｏｂ１を検知するセンサは、光又は音が測距点に到達して戻るまでの往復時間に基づいて測距点までの距離を測定するＴＯＦ（Time Of Flight）方式により、検知対象物Ｏｂ１までの距離を測定する３次元センサであってもよい。

また、検知対象物Ｏｂ１は、「人」に加えて又は代えて、車両等の移動体（他の作業機械を含む）、壁及び柱等の構造物、植物、動物、段差、溝、若しくはその他の障害物を含んでいてもよい。

また、検知結果が監視エリアＡ１における検知対象物Ｏｂ１の存在を示すとき、表示画面Ｄｐ１における撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３に検知対象物Ｏｂ１の少なくとも一部が写り込むことは、必須ではない。また、検知オブジェクトＩｍ１０が表示画面Ｄｐ１において撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３に隣接して配置されることは必須ではない。例えば、検知オブジェクトＩｍ１０は表示画面Ｄｐ１において撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３に重畳表示されてもよい。

また、表示画面Ｄｐ１における検知オブジェクトＩｍ１０に対する撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３の位置関係に、実空間における作業機械３に対する監視エリアＡ１の位置関係を反映させることは、必須ではない。さらに、表示画面Ｄｐ１における検知オブジェクトＩｍ１０に対する撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３の位置関係に、実空間における旋回部３２に対する監視エリアＡ１の位置関係を反映させることも、必須ではない。

また、検知結果が監視エリアＡ１における検知対象物Ｏｂ１の存在を示すとき、検知オブジェクトＩｍ１０とは別の補助オブジェクトＩ２，Ｉ３を表示画面Ｄｐ１に表示させることは、必須ではない。さらに、補助オブジェクトＩ２，Ｉ３が、少なくとも作業機械３から見た検知対象物Ｏｂ１が存在する方位を示すことも必須ではない。さらに、補助オブジェクトＩ２，Ｉ３の表示色が、検知結果が監視エリアＡ１における検知対象物Ｏｂ１の存在を示すときの検知オブジェクトＩｍ１０の表示色と同一であることも必須ではない。

また、監視エリアＡ１に検知対象物Ｏｂ１が複数存在するとき、作業機械３から最も近い検知対象物Ｏｂ１までの距離に応じて検知オブジェクトＩｍ１０の表示態様を決定することは必須ではない。さらに、検知オブジェクトＩｍ１０の表示態様が、作業機械３から検知対象物Ｏｂ１までの距離に応じて変化することも必須ではない。

（実施形態２）
本実施形態に係る作業機械３は、図９及び図１０に示すように、表示画面Ｄｐ１の第２領域Ｒ２の表示内容が、実施形態１に係る作業機械３と相違する。以下、実施形態１と同様の構成については、共通の符号を付して適宜説明を省略する。図９及び図１０では、表示画面Ｄｐ１のうち第２領域Ｒ２のみを示し、第２領域Ｒ２以外の領域の図示を省略する。

図９の例では、第２領域Ｒ２に、監視エリアＡ１の撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３（図７参照）のうち、右方カメラ３４２で撮像される撮像画像Ｉｍ１２及び後方カメラ３４３で撮像される撮像画像Ｉｍ１３の二画面が表示される。この例では、撮像画像Ｉｍ１２及び撮像画像Ｉｍ１３は、第２領域Ｒ２に左右方向に並べて配置されており、これら撮像画像Ｉｍ１２，Ｉｍ１３の下方にアイコンＩ４が表示される。アイコンＩ４は、機体３０から見た右方カメラ３４２及び後方カメラ３４３の撮像範囲（小エリアＡ１２，Ａ１３）の位置関係を、模式的に表している。

検知オブジェクトＩｍ１０は、図９の例では撮像画像Ｉｍ１１，Ｉｍ１２の中心部に配置されている。ただし、この例に限らず、検知オブジェクトＩｍ１０は、例えば、撮像画像Ｉｍ１１又は撮像画像Ｉｍ１２の上方等に配置されてもよい。

図１０の例では、第２領域Ｒ２に、監視エリアＡ１の俯瞰画像Ｉｍ１００が表示される。俯瞰画像Ｉｍ１００は、左方カメラ３４１、右方カメラ３４２及び後方カメラ３４３の撮像画像Ｉｍ１１，Ｉｍ１２，Ｉｍ１３を、座標変換して合成することによって生成される撮像画像の一種である。このような俯瞰画像Ｉｍ１００においても、補助オブジェクトＩ２は、検知対象物Ｏｂ１が存在する小エリアを強調表示する帯状（枠状）の図像である。俯瞰画像Ｉｍ１００は、撮像画像がアニメーションに合成された画像であってもよい。

検知オブジェクトＩｍ１０は、図１０の例では俯瞰画像Ｉｍ１００の頂角部に配置されている。つまり、俯瞰画像Ｉｍ１００は機体３０から遠い側の外形を円弧状とした扇状の画像であって、当該扇状の頂角に相当する位置に検知オブジェクトＩｍ１０が配置される。本開示でいう「円弧状」は、真円の一部を構成する円弧に限らず、外向きに凸となる湾曲線全般を含む。そのため、図１０のように、外形線が全体として外向きに凸となる湾曲線からなる俯瞰画像Ｉｍ１００であっても、外形を円弧状とした扇状の画像といえる。すなわち、表示画面Ｄｐ１において、少なくとも作業機械３の左方、右方及び後方の監視エリアＡ１について外形が円弧状に形成された状態で撮像画像（俯瞰画像Ｉｍ１００）が表示され、撮像画像（俯瞰画像Ｉｍ１００）の頂角に対応する位置に検知オブジェクトＩｍ１０が配置される。これにより、オペレータにおいては、検知対象物Ｏｂ１の位置を直感的に把握しやすい。ただし、この例に限らず、検知オブジェクトＩｍ１０は、俯瞰画像Ｉｍ１００の頂角以外の位置、例えば、俯瞰画像Ｉｍ１００の下方等に配置されてもよい。

本実施形態で例示したような二画面表示（図９参照）及び俯瞰画像Ｉｍ１００（図１０参照）は、例えば、表示装置２の操作部２２の操作により任意に切替可能であってもよい。この場合、実施形態１で説明した三画面表示（図７参照）も含めて、任意の表示形式を、ユーザＵ１が選択できることが好ましい。

実施形態２に係る構成（変形例を含む）は、実施形態１で説明した種々の構成（変形例を含む）と適宜組み合わせて採用可能である。

〔発明の付記〕
以下、上述の実施形態から抽出される発明の概要について付記する。なお、以下の付記で説明する各構成及び各処理機能は取捨選択して任意に組み合わせることが可能である。

＜付記１＞
作業機械の周囲の監視エリアの撮像画像を取得することと、
前記撮像画像及び検知オブジェクトを含む表示画面を表示装置に表示させることと、
前記監視エリアにおける検知対象物を検知する検知部の検知結果によらず前記表示画面の同一位置に前記検知オブジェクトを表示させつつ、前記検知結果に応じて前記検知オブジェクトの表示態様を変化させることと、を有する、
作業機械の制御方法。

＜付記２＞
前記検知結果が前記監視エリアにおける前記検知対象物の存在を示すとき、前記表示画面における前記撮像画像には前記検知対象物の少なくとも一部が写り込む、
付記１に記載の作業機械の制御方法。

＜付記３＞
前記検知オブジェクトは、前記表示画面において前記撮像画像に隣接して配置される、
付記１又は２に記載の作業機械の制御方法。

＜付記４＞
前記表示画面における前記検知オブジェクトに対する前記撮像画像の位置関係には、実空間における前記作業機械に対する前記監視エリアの位置関係を反映させる、
付記１～３のいずれかに記載の作業機械の制御方法。

＜付記５＞
前記作業機械は、走行部と、前記走行部に対して旋回可能な旋回部と、を備え、
前記表示画面における前記検知オブジェクトに対する前記撮像画像の位置関係には、実空間における前記旋回部に対する前記監視エリアの位置関係を反映させる、
付記１～４のいずれかに記載の作業機械の制御方法。

＜付記６＞
前記検知結果が前記監視エリアにおける前記検知対象物の存在を示すとき、前記検知オブジェクトとは別の補助オブジェクトを前記表示画面に表示させること、を更に有する、
付記１～５のいずれかに記載の作業機械の制御方法。

＜付記７＞
前記補助オブジェクトは、少なくとも前記作業機械から見た前記検知対象物が存在する方位を示す、
付記６に記載の作業機械の制御方法。

＜付記８＞
前記検知オブジェクトの前記表示態様は前記検知オブジェクトの表示色を含み、前記補助オブジェクトの表示色は、前記検知結果が前記監視エリアにおける前記検知対象物の存在を示すときの前記検知オブジェクトの表示色と同一である、
付記６又は７に記載の作業機械の制御方法。

＜付記９＞
前記検知オブジェクトの前記表示態様は、前記作業機械から前記検知対象物までの距離に応じて変化し、
前記監視エリアに前記検知対象物が複数存在するとき、前記作業機械から最も近い前記検知対象物までの距離に応じて前記検知オブジェクトの前記表示態様を決定する、
付記１～８のいずれかに記載の作業機械の制御方法。

＜付記１０＞
前記表示画面において、少なくとも前記作業機械の左方、右方及び後方の前記監視エリアについて外形が円弧状に形成された状態で前記撮像画像が表示され、前記撮像画像の頂角に対応する位置に前記検知オブジェクトが配置される、
付記１～９のいずれかに記載の作業機械の制御方法。

＜付記１１＞
付記１～１０のいずれかに記載の作業機械の制御方法を、
１以上のプロセッサに実行させるための作業機械用制御プログラム。

１ 作業機械用制御システム
２ 表示装置
３ 作業機械
１１ 表示処理部
１４ 画像取得部
１５ 検知部
３０ 機体
３１ 走行部
３２ 旋回部
Ａ１ 監視エリア
Ｄｐ１ 表示画面
Ｉ２，Ｉ３ 補助オブジェクト
Ｉｍ１０ 検知オブジェクト
Ｉｍ１１，Ｉｍ１２，Ｉｍ１３ 撮像画像
Ｉｍ１００ 俯瞰画像（撮像画像）
Ｏｂ１ 検知対象物

Claims (13)

1. 作業機械の周囲の監視エリアの撮像画像を取得することと、
   前記撮像画像及び検知オブジェクトを含む表示画面を表示装置に表示させることと、
   前記監視エリアにおける検知対象物を検知する検知部の検知結果によらず前記表示画面の同一位置に前記検知オブジェクトを表示させつつ、前記検知結果に応じて前記検知オブジェクトの表示態様を変化させることと、を有する、
   作業機械の制御方法。
2. 前記検知結果が前記監視エリアにおける前記検知対象物の存在を示すとき、前記表示画面における前記撮像画像には前記検知対象物の少なくとも一部が写り込む、
   請求項１に記載の作業機械の制御方法。
3. 前記検知オブジェクトは、前記表示画面において前記撮像画像に隣接して配置される、
   請求項１又は２に記載の作業機械の制御方法。
4. 前記表示画面における前記検知オブジェクトに対する前記撮像画像の位置関係には、実空間における前記作業機械に対する前記監視エリアの位置関係を反映させる、
   請求項１又は２に記載の作業機械の制御方法。
5. 前記作業機械は、走行部と、前記走行部に対して旋回可能な旋回部と、を備え、
   前記表示画面における前記検知オブジェクトに対する前記撮像画像の位置関係には、実空間における前記旋回部に対する前記監視エリアの位置関係を反映させる、
   請求項１又は２に記載の作業機械の制御方法。
6. 前記検知結果が前記監視エリアにおける前記検知対象物の存在を示すとき、前記検知オブジェクトとは別の補助オブジェクトを前記表示画面に表示させること、を更に有する、
   請求項１又は２に記載の作業機械の制御方法。
7. 前記補助オブジェクトは、少なくとも前記作業機械から見た前記検知対象物が存在する方位を示す、
   請求項６に記載の作業機械の制御方法。
8. 前記検知オブジェクトの前記表示態様は前記検知オブジェクトの表示色を含み、前記補助オブジェクトの表示色は、前記検知結果が前記監視エリアにおける前記検知対象物の存在を示すときの前記検知オブジェクトの表示色と同一である、
   請求項６に記載の作業機械の制御方法。
9. 前記検知オブジェクトの前記表示態様は、前記作業機械から前記検知対象物までの距離に応じて変化し、
   前記監視エリアに前記検知対象物が複数存在するとき、前記作業機械から最も近い前記検知対象物までの距離に応じて前記検知オブジェクトの前記表示態様を決定する、
   請求項１又は２に記載の作業機械の制御方法。
10. 前記表示画面において、少なくとも前記作業機械の左方、右方及び後方の前記監視エリアについて外形が円弧状に形成された状態で前記撮像画像が表示され、前記撮像画像の頂角に対応する位置に前記検知オブジェクトが配置される、
    請求項１又は２に記載の作業機械の制御方法。
11. 請求項１又は２に記載の作業機械の制御方法を、
    １以上のプロセッサに実行させるための作業機械用制御プログラム。
12. 作業機械の周囲の監視エリアの撮像画像を取得する画像取得部と、
    前記撮像画像及び検知オブジェクトを含む表示画面を表示装置に表示させる表示処理部と、を備え、
    前記表示処理部は、前記監視エリアにおける検知対象物を検知する検知部の検知結果によらず前記表示画面の同一位置に前記検知オブジェクトを表示させつつ、前記検知結果に応じて前記検知オブジェクトの表示態様を変化させる、
    作業機械用制御システム。
13. 請求項１２に記載の作業機械用制御システムと、
    前記表示装置が搭載される機体と、を備える、
    作業機械。