JP7308089B2 - 作業車両の表示システムおよび作業車両の表示方法 - Google Patents

作業車両の表示システムおよび作業車両の表示方法 Download PDF

Info

Publication number
JP7308089B2
JP7308089B2 JP2019133073A JP2019133073A JP7308089B2 JP 7308089 B2 JP7308089 B2 JP 7308089B2 JP 2019133073 A JP2019133073 A JP 2019133073A JP 2019133073 A JP2019133073 A JP 2019133073A JP 7308089 B2 JP7308089 B2 JP 7308089B2
Authority
JP
Japan
Prior art keywords
image
marker
work vehicle
control device
obstacle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019133073A
Other languages
English (en)
Other versions
JP2021019253A (ja
Inventor
太郎 江口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Komatsu Ltd
Original Assignee
Komatsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Komatsu Ltd filed Critical Komatsu Ltd
Priority to JP2019133073A priority Critical patent/JP7308089B2/ja
Priority to PCT/JP2020/026718 priority patent/WO2021010258A1/ja
Priority to CN202080046673.4A priority patent/CN114051725B/zh
Priority to DE112020002788.0T priority patent/DE112020002788T5/de
Priority to US17/596,599 priority patent/US12157991B2/en
Publication of JP2021019253A publication Critical patent/JP2021019253A/ja
Application granted granted Critical
Publication of JP7308089B2 publication Critical patent/JP7308089B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • E02F9/261—Surveying the work-site to be treated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/16—Cabins, platforms, or the like, for drivers
    • E—FIXED CONSTRUCTIONS
    • E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
    • E02F—DREDGING; SOIL-SHIFTING
    • E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
    • E02F9/26—Indicating devices
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—Two-dimensional [2D] image generation
    • G06T11/20—Drawing from basic elements
    • G06T11/23—Drawing from basic elements using straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8033—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for pedestrian protection

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mining & Mineral Resources (AREA)
  • Structural Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Civil Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Component Parts Of Construction Machinery (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

本開示は、作業車両の表示システムおよび作業車両の表示方法に関する。
特許文献１には、作業車両の周辺の人を検知する周辺監視システムに係る技術が開示されている。特許文献１に記載の技術によれば、周辺監視システムは、画像処理によって画像に人が含まれるか否かを識別する。
特開２０１７－１５１８１５号公報
ところで、特許文献１にも記載されているように、画像における人などの障害物の検出処理は、比較的計算量が多いことが知られている。そのため、検出結果に基づいて障害物の位置をマーカとして画面に表示させる場合、当該マーカの更新間隔が、撮像画像のフレームの更新間隔と比べて長くなる。したがって、マーカの更新間隔の間に人などの障害物が移動した場合、撮像画像に写る障害物の位置とマーカの位置にずれが生じる。そのため、作業車両のオペレータは、マーカの表示について違和感を持つ可能性がある。
本開示の目的は、マーカの表示に関する違和感を緩和することができる作業車両の表示システムおよび作業車両の表示方法を提供することにある。
本開示の一態様によれば、作業車両の表示システムは、作業車両の周囲を撮像した撮像画像を取得する画像取得部と、前記作業車両の周囲の障害物を検出する検出部と、前記障害物の検出結果に基づいて、前記障害物に対応する位置にマーカ画像を表示するための信号と、前記マーカ画像の形態を経時的に変化させるための信号を生成する表示制御部とを備える。
上記態様によれば、作業車両の表示システムは、マーカの形態を経時的に変化させることで、障害物の検出処理に時間がかかるか否かに関わらず、マーカの表示に関する違和感を緩和することができる。
第１の実施形態に係る作業車両の構成を示す概略図である。 第１の実施形態に係る作業車両が備える複数のカメラの撮像範囲を示す図である。 第１の実施形態に係る運転室の内部の構成を示す図である。 少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。 第１の実施形態に係る制御装置の動作を示すフローチャートである。 人物を検出した時点において表示される表示画像の例である。 他の実施形態に係る制御装置の動作を示すフローチャートである。
〈第１の実施形態〉
以下、図面を参照しながら実施形態について詳しく説明する。
《作業車両の構成》
図１は、第１の実施形態に係る作業車両の構成を示す概略図である。
作業車両１００は、施工現場にて稼働し、土砂などの施工対象を施工する。第１の実施形態に係る作業車両１００は、例えば油圧ショベルである。作業車両１００は、走行体１１０、旋回体１２０、作業機１３０および運転室１４０を備える。
走行体１１０は、作業車両１００を走行可能に支持する。走行体１１０は、例えば左右１対の無限軌道である。
旋回体１２０は、走行体１１０に旋回中心回りに旋回可能に支持される。
作業機１３０は、油圧により駆動する。作業機１３０は、旋回体１２０の前部に上下方向に駆動可能に支持される。運転室１４０は、オペレータが搭乗し、作業車両１００の操作を行うためのスペースである。運転室１４０は、旋回体１２０の左前部に設けられる。
ここで、旋回体１２０のうち作業機１３０が取り付けられる部分を前部という。また、旋回体１２０について、前部を基準に、反対側の部分を後部、左側の部分を左部、右側の部分を右部という。
《旋回体の構成》
旋回体１２０には、作業車両１００の周囲を撮像する複数のカメラ１２１が設けられる。図２は、第１の実施形態に係る作業車両が備える複数のカメラの撮像範囲を示す図である。
具体的には、旋回体１２０には、旋回体１２０の周囲のうち左後方範囲Ｒａを撮像する左後方カメラ１２１Ａ、旋回体１２０の周囲のうち後方範囲Ｒｂを撮像する後方カメラ１２１Ｂ、旋回体１２０の周囲のうち右後方範囲Ｒｃを撮像する右後方カメラ１２１Ｃ、旋回体１２０の周囲の右前方範囲Ｒｄを撮像する右前方カメラ１２１Ｄが設けられる。なお、複数のカメラ１２１の撮像範囲の一部は、互いに重複していてもよい。
複数のカメラ１２１の撮像範囲は、作業車両１００の全周のうち、運転室１４０から視認可能な左前方範囲Ｒｅを除く範囲をカバーする。なお、第１の実施形態に係るカメラ１２１は、旋回体１２０の左後方、後方、右後方、および右前方を撮像するが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係るカメラ１２１の数および撮像範囲は、図１および図２に示す例と異なっていてよい。
なお、左後方カメラ１２１Ａは、図２の後方範囲Ｒｂに示すように、旋回体１２０の左側方領域、及び左後方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。同様に、右後方カメラ１２１Ｃは、図２の右後方範囲Ｒｃに示すように、旋回体１２０の右側方領域、及び右後方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。同様に、右前方カメラ１２１Ｄは、図２の右前方範囲Ｒｄに示すように、旋回体１２０の右前方領域、及び右側方領域の範囲を撮像するものであるが、そのどちらか一方の領域を撮像するものであってもよい。
《作業機の構成》
作業機１３０は、ブーム１３１、アーム１３２、バケット１３３、ブームシリンダ１３４、アームシリンダ１３５、およびバケットシリンダ１３６を備える。
ブーム１３１の基端部は、旋回体１２０にブームピンＰ１を介して取り付けられる。
アーム１３２は、ブーム１３１とバケット１３３とを連結する。アーム１３２の基端部は、ブーム１３１の先端部にアームピンＰ２を介して取り付けられる。
バケット１３３は、土砂などを掘削するための刃と掘削した土砂を収容するための収容部とを備える。バケット１３３の基端部は、アーム１３２の先端部にバケットピンＰ３を介して取り付けられる。
ブームシリンダ１３４は、ブーム１３１を作動させるための油圧シリンダである。ブームシリンダ１３４の基端部は、旋回体１２０に取り付けられる。ブームシリンダ１３４の先端部は、ブーム１３１に取り付けられる。
アームシリンダ１３５は、アーム１３２を駆動するための油圧シリンダである。アームシリンダ１３５の基端部は、ブーム１３１に取り付けられる。アームシリンダ１３５の先端部は、アーム１３２に取り付けられる。
バケットシリンダ１３６は、バケット１３３を駆動するための油圧シリンダである。バケットシリンダ１３６の基端部は、アーム１３２に取り付けられる。バケットシリンダ１３６の先端部は、バケット１３３に接続されるリンク部材に取り付けられる。
《運転室の構成》
図３は、第１の実施形態に係る運転室の内部の構成を示す図である。
運転室１４０内には、運転席１４１、操作装置１４２および制御装置１４３が設けられる。
操作装置１４２は、オペレータの手動操作によって走行体１１０、旋回体１２０および作業機１３０を駆動させるためのインタフェースである。操作装置１４２は、左操作レバー１４２１、右操作レバー１４２２、左フットペダル１４２３、右フットペダル１４２４、左走行レバー１４２５、右走行レバー１４２６を備える。
左操作レバー１４２１は、運転席１４１の左側に設けられる。右操作レバー１４２２は、運転席１４１の右側に設けられる。
左操作レバー１４２１は、旋回体１２０の旋回動作、及び、アーム１３２の引き／押し動作を行うための操作機構である。具体的には、作業車両１００のオペレータが左操作レバー１４２１を前方に倒すと、アーム１３２が押し動作する。また、作業車両１００のオペレータが左操作レバー１４２１を後方に倒すと、アーム１３２が引き動作する。また、作業車両１００のオペレータが左操作レバー１４２１を右方向に倒すと、旋回体１２０が右旋回する。また、作業車両１００のオペレータが左操作レバー１４２１を左方向に倒すと、旋回体１２０が左旋回する。なお、他の実施形態においては、左操作レバー１４２１を前後方向に倒した場合に旋回体１２０が右旋回または左旋回し、左操作レバー１４２１が左右方向に倒した場合にアーム１３２がダンプ動作または掘削動作してもよい。
右操作レバー１４２２は、バケット１３３の掘削／ダンプ動作、及び、ブーム１３１の上げ／下げ動作を行うための操作機構である。具体的には、作業車両１００のオペレータが右操作レバー１４２２を前方に倒すと、ブーム１３１の下げ動作が実行される。また、作業車両１００のオペレータが右操作レバー１４２２を後方に倒すと、ブーム１３１の上げ動作が実行される。また、作業車両１００のオペレータが右操作レバー１４２２を右方向に倒すと、バケット１３３のダンプ動作が行われる。また、作業車両１００のオペレータが右操作レバー１４２２を左方向に倒すと、バケット１３３の掘削動作が行われる。
左フットペダル１４２３は、運転席１４１の前方の床面の左側に配置される。右フットペダル１４２４は、運転席１４１の前方の床面の左側に配置される。左走行レバー１４２５は、左フットペダル１４２３に軸支され、左走行レバー１４２５の傾斜と左フットペダル１４２３の押し下げが連動するように構成される。右走行レバー１４２６は、右フットペダル１４２４に軸支され、右走行レバー１４２６の傾斜と右フットペダル１４２４の押し下げが連動するように構成される。
左フットペダル１４２３および左走行レバー１４２５は、走行体１１０の左側履帯の回転駆動に対応する。具体的には、作業車両１００のオペレータが左フットペダル１４２３または左走行レバー１４２５を前方に倒すと、左側履帯は前進方向に回転する。また、作業車両１００のオペレータが左フットペダル１４２３または左走行レバー１４２５を後方に倒すと、左側履帯は後進方向に回転する。
右フットペダル１４２４および右走行レバー１４２６は、走行体１１０の右側履帯の回転駆動に対応する。具体的には、作業車両１００のオペレータが右フットペダル１４２４または右走行レバー１４２６を前方に倒すと、右側履帯は前進方向に回転する。また、作業車両１００のオペレータが右フットペダル１４２４または右走行レバー１４２６を後方に倒すと、右側履帯は後進方向に回転する。
制御装置１４３は、入出力装置であり、例えば、複数のカメラ１２１によって取得された作業車両１００の周囲状況を俯瞰画像として表示することができる。第１の実施形態に係る制御装置１４３の入力手段は、ハードキーである。なお、他の実施形態においては、タッチパネル、マウス、またはキーボード等を入力手段として用いてもよい。
《制御装置の構成》
図４は、少なくとも１つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
制御装置１４３は、プロセッサ２１０、メインメモリ２３０、ストレージ２５０、インタフェース２７０を備えるコンピュータである。
ストレージ２５０は、一時的でない有形の記憶媒体である。ストレージ２５０の例としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＤＶＤ－ＲＯＭ（Digital Versatile Disc Read Only Memory）、半導体メモリ等が挙げられる。ストレージ２５０は、制御装置１４３のバスに直接接続された内部メディアであってもよいし、インタフェース２７０または通信回線を介して制御装置１４３に接続される外部メディアであってもよい。ストレージ２５０は、作業車両１００の周囲監視を実現するためのプログラムを記憶する。
プログラムは、制御装置１４３に発揮させる機能の一部を実現するためのものであってもよい。例えば、プログラムは、ストレージ２５０に既に記憶されている他のプログラムとの組み合わせ、または他の装置に実装された他のプログラムとの組み合わせによって機能を発揮させるものであってもよい。なお、他の実施形態においては、制御装置１４３は、上記構成に加えて、または上記構成に代えてＰＬＤ（Programmable Logic Device）などのカスタムＬＳＩ（Large Scale Integrated Circuit）を備えてもよい。ＰＬＤの例としては、ＰＡＬ(Programmable Array Logic)、ＧＡＬ(Generic Array Logic)、ＣＰＬＤ(Complex Programmable Logic Device)、ＦＰＧＡ（Field Programmable Gate Array）が挙げられる。この場合、プロセッサによって実現される機能の一部または全部が当該集積回路によって実現されてよい。
また、ストレージ２５０は、人物を検知するための人物辞書データＤ１を記憶する。人物辞書データＤ１は、例えば人物が写る複数の既知の画像それぞれから抽出された特徴量の辞書データである。特徴量の例としては、ＨＯＧ（Histograms of Oriented Gradients）やＣｏＨＯＧ（Co-occurrence HOG）を用いることができる。
プロセッサ２１０は、プログラムを実行することで、画像取得部２１１、特徴量抽出部２１２、検出部２１３、マーカ配置部２１４、マーカ更新部２１５、画像生成部２１６、存在判定部２１７、表示制御部２１８として機能する。また、プログラムの実行により、メインメモリ２３０には、マーカ記憶部２３１の記憶領域が確保される。
画像取得部２１１は、複数のカメラ１２１から画像を取得する。各カメラ１２１から取得する画像は、所定のフレームレートで更新されるフレーム画像である。
特徴量抽出部２１２は、画像取得部２１１が取得したフレーム画像から特徴量を抽出する。特徴量抽出部２１２が抽出する特徴量の例としては、ＨＯＧ特徴量やＣｏＨＯＧ特徴量などが挙げられる。
検出部２１３は、特徴量抽出部２１２が抽出した特徴量とストレージ２５０に記憶される人物辞書データＤ１とに基づいて、フレーム画像における人物を検出する。人物の検出方法の例としては、パターンマッチング、機械学習に基づく物体検出処理などが挙げられる。人物は、障害物の一例である。なお、第１の実施形態においては、検出部２１３は、画像の特徴量を用いて人物の検出を行うが、これに限られない。例えば、他の実施形態においては、検出部２１３は、赤外線センサの計測値などに基づいて人物の検出を行ってもよい。
画像生成部２１６は、画像取得部２１１が取得した複数のフレーム画像を変形し、合成することで、作業車両１００を中心として、現場を上方から平面視した俯瞰画像を生成する。すなわち、画像生成部２１６は、複数のフレーム画像それぞれを俯瞰座標系に変形し、変形後のフレーム画像を合成することで、俯瞰画像を生成する。なお、画像生成部２１６は、変形後のそれぞれのフレーム画像の一部を切り出して、切り出したフレーム画像を合成することで、俯瞰画像を生成してもよい。画像生成部２１６が生成する俯瞰画像の中央には、作業車両１００を上方から平面視した画像が予め貼り付けられている。
マーカ配置部２１４は、画像生成部２１６が生成した俯瞰画像に重畳させて、人物の検出位置に対応する位置に人物の位置を示すマーカを配置する。なお、他の実施形態に係るマーカ配置部２１４は、検出位置から所定の範囲内にマーカを配置してもよい。マーカの形状は、例えば、円、楕円、正多角形、多角形などが挙げられる。マーカ配置部２１４は、配置したマーカの位置と、マーカの初期サイズをマーカ記憶部２３１に記録する。マーカ記憶部２３１は、俯瞰画像に配置されたマーカの位置と大きさとを関連付けて記憶する。
マーカ配置部２１４は、検出位置と、作業車両１００を中心として設定された警告範囲との位置関係に応じて、マーカの色を異ならせる。例えば、マーカ配置部２１４は、検出位置が警告範囲内である場合に、マーカの色を赤にし、検出位置が警告範囲外である場合に、マーカの色を黄色にする。警告範囲は、例えば作業車両１００の旋回中心を中心とする円として設定されてよい。
なお、マーカの色およびマーカの位置と色の関係は、これに限られない。例えば、他の実施形態に係るマーカ配置部２１４は、赤および黄色以外の色をマーカに設定してもよい。また、他の実施形態に係るマーカ配置部２１４は、検出位置が警告範囲内である場合に、マーカの色を赤にし、検出位置が警告範囲外かつ注意範囲内である場合に、マーカの色を黄色にし、検出位置が注意範囲外である場合に、マーカの色を灰色にしてもよい。また、検出位置が警告範囲内、または注意範囲内である場合に、マーカの色を赤にしてもよい。また、検出位置にかかわらず、マーカの色を赤にしてもよい。注意範囲は、例えば作業車両１００の旋回中心を中心とする円であって、警告範囲の外側の範囲として設定されてよい。
また、マーカ配置部２１４は、俯瞰画像において、マーカの配置とともに人物を検出した位置を含む領域を強調表示するようにしてもよい。領域は、複数のカメラ１２１の撮像範囲によって決定される。強調表示の例としては、領域の枠を赤い太枠で表示することなどが挙げられる。なお、強調表示の例は、これに限られず、赤色以外の色によるものであってもよい。また、強調表示は、領域の枠の点滅によってなされるものであってもよい。
また、マーカ配置部２１４は、検出位置が警告範囲内、または注意範囲内である場合にのみ、その位置を含む領域を強調表示するようにしてもよい。この場合、検出された人物にマーカが配置されるとともに、検出した位置に対応する領域が強調表示されることで、オペレータは、注意すべき人物および方向を容易に理解できる。すなわち、制御装置１４３は、オペレータに注意を促すことが出来る。
マーカ更新部２１５は、俯瞰画像に配置されたマーカの大きさを経時的に拡大させる。マーカ更新部２１５は、マーカ記憶部２３１が記憶するマーカの大きさを更新する。マーカの拡大速度は、例えば、俯瞰画像における人の移動速度として想定される速度に基づいて決定する。例えば、マーカの拡大速度を俯瞰画像における人の移動速度として想定される最大速度に設定することで、俯瞰画像において、移動する人が常にマーカの範囲内に位置するようにすることができる。なお、マーカの拡大速度は最大速度に限られず、平均速度や人の個別の速度などの他の速度に設定されてもよい。
存在判定部２１７は、俯瞰座標系の検出位置に基づいて、人物が作業車両１００を中心として設定された注意範囲または警告範囲の内側に存在するか否かを判定する。
表示制御部２１８は、マーカが配置された俯瞰画像に、存在判定部２１７の判定結果に応じたアイコンを付すことで監視画像を生成する。表示制御部２１８は、生成した監視画像をタッチパネルに出力する。アイコンは、例えば人物が注意範囲内に存在しない場合、注意範囲内かつ警告範囲外に存在する場合、警告範囲内に存在する場合で、それぞれ態様を異ならせる。アイコンの態様の例としては、色、透明度、大きさなどが挙げられる。
《制御装置の動作》
図５は、第１の実施形態に係る制御装置の動作を示すフローチャートである。
制御装置１４３は、周囲監視処理を開始すると、画像取得部２１１は、複数のカメラ１２１からフレーム画像を取得する（ステップＳ１）。次に、制御装置１４３は、取得したフレーム画像に基づいて人物検出処理Ｐ１と表示制御処理Ｐ２とを並列で実行する。なお、他の実施形態においては、人物検出処理Ｐ１と表示制御処理Ｐ２とが直列で実行されてもよい。
人物検出処理Ｐ１は、以下のステップＳ２からステップＳ３の処理である。
特徴量抽出部２１２は、ステップＳ１で取得したフレーム画像から特徴量を抽出する（ステップＳ２）。次に、検出部２１３は、ストレージ２５０から人物辞書データＤ１を読み出し、抽出された特徴量と人物辞書データＤ１とを照合することにより、フレーム画像において人物が存在する検出位置を特定する（ステップＳ３）。
表示制御処理Ｐ２は、以下のステップＳ４からステップＳ１１の処理である。
画像生成部２１６は、ステップＳ１で取得したフレーム画像に基づいて、俯瞰画像を生成する（ステップＳ４）。マーカ更新部２１５は、マーカ記憶部２３１を参照し、俯瞰画像に配置されたマーカが存在するか否かを判定する（ステップＳ５）。配置されたマーカが存在する場合（ステップＳ５：ＹＥＳ）、マーカ更新部２１５は、マーカ記憶部２３１が記憶する各マーカの大きさを所定量だけ拡大した大きさに更新する（ステップＳ６）。なお、他の実施形態においては、マーカ更新部２１５は、ステップＳ５の判定を行わずに、配置したマーカを一定時間拡大させてもよい。
配置されたマーカがない場合（ステップＳ５：ＮＯ）、またはマーカの大きさを更新した場合、存在判定部２１７は、マーカ記憶部２３１が記憶するマーカの位置に基づいて、人物が注意範囲または警告範囲の内側に存在するか否かを判定する（ステップＳ７）。
表示制御部２１８は、ステップＳ４で生成した俯瞰画像上に、マーカ記憶部２３１が記憶する位置および大きさのマーカを描画し、さらに俯瞰画像のうち左前方範囲Ｒｅに相当する位置に、ステップＳ７の判定結果に応じたアイコンを付すことで監視画像を生成する（ステップＳ８）。表示制御部２１８は、左前方範囲Ｒｅにアイコンを付すことで、アイコンがフレーム画像の一部を遮蔽することを防ぐことができる。なお、他の実施形態に係る表示制御部２１８は、他の場所にアイコンを付してもよい。表示制御部２１８は、生成した監視画像をタッチパネルに出力する（ステップＳ９）。
次に、表示制御部２１８は、人物検出処理Ｐ１が完了したか否かを判定する（ステップＳ１０）。人物検出処理Ｐ１が完了していない場合（ステップＳ１０：ＮＯ）、画像取得部２１１は、複数のカメラ１２１から次のフレーム画像を取得し（ステップＳ１１）、処理をステップＳ４に戻す。
人物検出処理Ｐ１および表示制御処理Ｐ２が完了すると、マーカ配置部２１４は、ステップＳ３の検出処理の結果に係る検出位置に対応する位置に初期サイズのマーカを配置する。すなわちマーカ配置部２１４は、マーカ記憶部２３１に、検出位置に対応する位置、かつ初期サイズのマーカの情報を記録して（ステップＳ１２）制御装置１４３は周辺監視処理を終了する。
なお、マーカは、配置されてから一定時間が経過すると消える。すなわち、マーカ配置部２１４は、マーカの配置から一定時間が経過したときに、マーカ記憶部２３１から該当するマーカの情報を削除する。なお、他の実施形態に係るマーカ配置部２１４は、マーカが所定サイズ以上になった場合に、マーカを削除してもよい。また、このときマーカ配置部２１４は、検出位置と警告範囲との関係に基づいてマーカの色を決定してもよい。
なお、人物検出処理Ｐ１は、複数のカメラ１２１それぞれが撮像したフレーム画像について並列に実行されてもよいし、各フレーム画像について順に実行されてもよい。また、マーカ配置部２１４は、他のフレーム画像から抽出された人物に係るマーカが検出位置に既にある場合、その検出位置にマーカを配置しなくてもよい。これにより、マーカが重複して配置され、見づらくなるのを防止することができる。若しくは、マーカ配置部２１４は、他のフレーム画像から抽出された人物に係るマーカが検出位置から所定の距離内に既にある場合、既にあるマーカを削除して、検出位置にマーカを配置するようにしてもよい。これにより、最新の検出位置にマーカを配置することができる。
なお、図５に示すフローチャートは一例であり、他の実施形態においては必ずしもすべてのステップを実行しなくてもよい。例えば、他の実施形態においては、ステップＳ２、ステップＳ５、ステップＳ７からステップＳ１１の何れかが実行されなくてもよい。
《表示画像の例》
図６は、第１の実施形態に係る表示画像の遷移例である。具体的には、図６には、人物を検出した時点である時刻Ｔ１から所定時間後の時刻Ｔ４までに表示される表示画像の遷移が例示される。
図６によれば、各時刻における表示画像Ｄ１－Ｄ４には、表示制御部２１８が生成した監視画像Ｇ１と、単カメラ画像Ｇ２とが表示される。また、表示画像Ｄ１－Ｄ４には、作業モードインジケータＧ３２、ＳＭＲ（service meter reading）インジケータＧ３３、燃料レベルインジケータＧ３４、作動油温インジケータＧ３５、およびエンジン水温インジケータＧ３６が含まれる。監視画像Ｇ１には、俯瞰画像Ｇ１１と、注意範囲を示す領域枠Ｇ１２と、警告範囲を示す領域枠Ｇ１３と、複数のマーカＧ１４とアイコンＧ１５とが含まれる。単カメラ画像Ｇ２は、複数のカメラ１２１のうち１つが撮像したフレーム画像である。
作業車両のキーオン時には、単カメラ画像Ｇ２として、後方カメラ１２１Ｂが撮像したフレーム画像が表示される。単カメラ画像Ｇ２は、制御装置１４３の入力手段によって、他のカメラ１２１が撮像したフレーム画像に切り替えることができる。なお、後方カメラ１２１Ｂ以外のカメラ１２１が撮像したフレーム画像を、キーオン時に表示される単カメラ画像Ｇ２としても良い。また、人物を検出した場合、単カメラ画像Ｇ２が、人物が撮像されたカメラ１２１のフレーム画像に自動的に切り替えるようにしても良い。なお、図６は、右後方カメラ１２１Ｃが撮像したフレーム画像を表示している単カメラ画像Ｇ２の例である。
図６を参照すると、時刻Ｔ１から時間が経過するに従って、俯瞰画像Ｇ１１および単カメラ画像Ｇ２が更新され、人物の位置が移動していることがわかる。すなわち時刻Ｔ１における表示画像Ｄ１、時刻Ｔ２における表示画像Ｄ２、時刻Ｔ３における表示画像Ｄ３、および時刻Ｔ４における表示画像Ｄ４のそれぞれにおいて、人物の位置が異なる。これは、図５に示すフローチャートのとおり、人物検出処理Ｐ１の実行中、表示制御処理Ｐ２が繰り返し実行されるためである。
他方、図６を参照すると、時刻Ｔ１から時間が経過するに従って、マーカＧ１４が配置位置を維持しながら拡大していることがわかる。すなわち、マーカＧ１４の大きさは、表示画像Ｄ１、表示画像Ｄ２、表示画像Ｄ３の順に大きくなる。このため、人物の移動に伴ってマーカＧ１４の中心位置が人物の位置と多少ずれたとしても、マーカＧ１４が拡大することにより人物とマーカＧ１４とのずれ量が小さくなるため、オペレータが持つ違和感を低減させることができる。なお、時刻Ｔ４において、作業車両１００の右前方に存在する人物の位置にマーカＧ１４が配置されてから一定時間が経過されると表示画像Ｄ４からマーカＧ１４が削除される。なお、その後、作業車両１００の右前方に存在する人物が検出されると、マーカＧ１４が右前方に存在する人物の位置に再び配置される。
《作用・効果》
このように、第１の実施形態に係る制御装置１４３は、作業車両１００の周囲を撮像した撮像画像に写った人物を検出し、検出結果に基づいて障害物に対応する位置にマーカを表示するための信号と、当該マーカの形態を経時的に変化させるための信号を生成する。これにより、制御装置１４３は、マーカを経時的に拡大させることで、人物の検出処理の間に人物が移動したとしても、マーカを人物に追従させることで、マーカの表示に関する違和感を緩和することができる。
なお、第１の実施形態に係る制御装置１４３は、マーカを経時的に拡大させるが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係る制御装置１４３は、マーカの色または透明度を経時的に変化させてもよいし、マーカを回転または縮小させてもよいし、輪郭線の太さまたは線種を経時的に異ならせてもよい。マーカを拡大させない場合にも、マーカの表示が切り替わることに対する違和感を緩和することができる。また、マーカの態様を経時的に変化させることで、マーカの存在をオペレータに気付かれやすくすることができる。
また、第１の実施形態に係る制御装置１４３は、俯瞰画像にマーカを付すことで、実際に人物が写った俯瞰画像上で人物の存在を通知することができる。他方、他の実施形態に係る制御装置１４３はこれに限られず、俯瞰画像を含まない平面座標上にマーカを付したものを表示してもよい。
また、第１の実施形態に係る制御装置１４３は、作業車両１００を中心とした注意範囲または警告範囲内に人物が存在するか否かの判定結果を示すアイコンを、俯瞰画像に重畳して表示する。これにより、制御装置１４３は、人物の存在をオペレータに気付かれやすくすることができる。また、第１の実施形態によれば、当該アイコンは俯瞰画像のうち、作業車両１００の運転席１４１から視認可能な範囲である左前方範囲Ｒｅに係る領域に配置される。これにより、運転席１４１から視認可能なため制御装置１４３による監視の必要性が低い位置にアイコンを配置することで、アイコンが制御装置１４３による監視の必要性が高い位置に存在する人物を遮蔽することを防ぐことができる。
〈他の実施形態〉
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。他の実施形態においては、上述の処理の順序が適宜変更されてもよい。また、一部の処理が並列に実行されてもよい。
上述した実施形態では、作業車両１００は、油圧ショベルとして説明したが、他の実施形態においては、ダンプトラック、ホイールローダなど種々の作業車両に適用可能である。例えば、ダンプトラックや、ホイールローダや他の作業車両用の表示システムに適用可能である。
また、上述した実施形態では、１台の制御装置１４３が作業車両に設置されるものとして説明したが、他の実施形態においては、制御装置１４３の一部の構成を他の制御装置に配置し、２台以上の制御装置からなる表示システムによって実現されてもよい。なお、上述の実施形態に示す１台の制御装置１４３も、表示システムの一例である。
また、上述した実施形態に係る制御装置１４３は、作業車両に設置されるものとして説明したが、他の実施形態においては、制御装置１４３の一部、または全部の構成が作業車両の外部に設置されてもよい。
また、上述した実施形態に係る制御装置１４３は、人物を検出するが、人物以外の障害物を検出してもよい。
また上述した実施形態に係る制御装置１４３は、左前方範囲Ｒｅを撮像する左前方カメラを備えないが、他の実施形態においては左前方範囲Ｒｅを撮像する左前方カメラを備えてもよい。この場合、制御装置１４３は、作業車両１００の周囲の全周が写る俯瞰画像を生成することができる。他方、この場合においても、制御装置１４３は、人物検出処理Ｐ１については、左前方カメラのフレーム画像から人物を検出しなくてもよい。これは、人物検出処理Ｐ１の計算量が多いため、制御装置１４３による監視の必要性が低い範囲について人物検出処理Ｐ１を行わないことで、全体の計算負荷の増加を防ぐためである。
上述した実施形態に係る制御装置１４３はディスプレイを有し、当該ディスプレイに表示画像を表示させるが、他の実施形態においてはこれに限られない。例えば、他の実施形態に係る制御装置１４３は、ディスプレイを備えないものであって、制御装置１４３と別体のディスプレイに表示画像を表示させる信号を送信するものであってよい。当該信号は、障害物に対応する位置にマーカを配置した表示画像を表示するための信号であって、マーカの形態を経時的に変化させるための信号である。なお、制御装置１４３とは別体のディスプレイと、上述した制御装置１４３の構成の一部ずつを備える２台以上の制御装置とからなる表示システムから実現されてもよい。
また、上述した実施形態では、ディスプレイが作業車両１００に設置されるものとして説明したが、他の実施形態においては、ディスプレイが作業車両１００の外に設置されるものであってもよい。例えば、作業現場から離れた地点にディスプレイを設け、制御装置１４３は、ディスプレイに表示画像を表示させる信号をインターネットなどのネットワークを介して送信するものであってよい。
また、上述した実施形態では、警告範囲と注意範囲が設定されるものとして説明したが、他の実施形態においては、警告範囲と注意範囲のうち、いずれかの範囲が設定されるものであってもよい。また、３つ以上の範囲が設定されるものであってもよい。
また、上述した実施形態においては、マーカＧ１４が俯瞰画像Ｇ１１に付されるが、これに限られない。例えば、他の実施形態においては、マーカＧ１４が俯瞰画像Ｇ１１と単カメラ画像Ｇ２の両方に付されてもよいし、マーカＧ１４が単カメラ画像Ｇ２のみに付されてもよい。また、他の実施形態においては、表示画像に俯瞰画像Ｇ１１および単カメラ画像Ｇ２のいずれか一方のみが含まれてもよい。この場合、マーカＧ１４は、表示画像に含まれる俯瞰画像Ｇ１１または単カメラ画像Ｇ２に付される。また、他の実施形態においては、複数のカメラ１２１による単カメラ画像Ｇ２が並べて表示されてもよい。この場合、マーカＧ１４は、１つの単カメラ画像Ｇ２に付されてもよいし、２つ以上の単カメラ画像に付されてもよい。
また、上述した実施形態においては、警報範囲、注意範囲は、作業車両の旋回中心を中心とする円として説明したが、他の実施形態においては、作業車両１００の旋回中心を中心とする円以外の範囲であってもよい。例えば、作業車両１００の旋回中心を中心とする円を、前部、後部、左部、右部の一部の方向に所定の距離拡大した範囲であってもよい。また、作業車両１００の旋回中心以外の部分を中心とする円であってもよい。また、作業機１３０の作動範囲から求まる範囲としてもよい。また、楕円、多角形、直線と曲線から形成される範囲であってもよい。
ここで、制御装置１４３が、マーカＧ１４が付された単カメラ画像Ｇ２を含む表示画像を生成する例について説明する。
図７は、他の実施形態に係る制御装置の動作を示すフローチャートである。他の実施形態においては、制御装置１４３は、第１の実施形態とステップＳ４、ステップＳ８およびステップＳ１３に代えて、ステップＳ１０４、ステップＳ１０８およびステップＳ１１２を実行する。
制御装置１４３の画像生成部２１６は、ステップＳ１０４において、ステップＳ１で取得したフレーム画像に基づいて、単カメラ画像を生成する。
制御装置１４３の表示制御部２１８は、ステップＳ１０８において、ステップＳ１０４で生成した単カメラ画像上に、マーカ記憶部２３１が記憶する位置および大きさのマーカを描画し、さらに単カメラ画像に、ステップＳ７の判定結果に応じたアイコンを付すことで、表示画像を生成する。当該アイコンは、単カメラ画像のうち、作業車両１００の一部が映っている領域などの監視の必要性が低い位置に配置されることで、アイコンが制御装置１４３による監視の必要性が高い位置に存在する人物を遮蔽することを防ぐことができる。
制御装置１４３のマーカ配置部２１４は、ステップＳ１１２において、ステップＳ３の検出処理の結果に係る検出位置に初期サイズのマーカを配置する。すなわちマーカ配置部２１４は、マーカ記憶部２３１に、検出位置、かつ初期サイズのマーカの情報を記録する。
１００…作業車両 １１０…走行体 １２０…旋回体 １２１…カメラ １３０…作業機 １４０…運転室 １４１…運転席 １４３…制御装置 ２１１…画像取得部 ２１２…特徴量抽出部 ２１３…検出部 ２１４…マーカ配置部 ２１５…マーカ更新部 ２１６…画像生成部 ２１７…存在判定部 ２１８…表示制御部

Claims (8)

  1. 作業車両の表示システムであって、
    制御装置を備え、
    前記制御装置は、
    前記作業車両の周囲を撮像した撮像画像を取得し、
    前記撮像画像に基づいて、前記作業車両の周囲の俯瞰画像を生成し、
    前記作業車両の周囲の障害物を検出し、
    前記障害物の検出結果に基づいて、前記俯瞰画像上の前記障害物に対応する位置にマーカ画像を配置するための信号を生成し、
    検出した前記障害物にマーカを追従させるように、前記俯瞰画像に配置された前記マーカ画像の大きさを経時的に拡大させるための信号を生成する
    表示システム。
  2. 前記制御装置は、移動する前記障害物が前記マーカ画像の範囲内に位置するように、前記マーカ画像の大きさを経時的に拡大させるための信号を生成する
    請求項１に記載の表示システム。
  3. 前記制御装置は、前記マーカ画像の配置位置を維持しながら前記マーカ画像を拡大させるための信号を生成する
    請求項１に記載の表示システム。
  4. 前記制御装置は、前記俯瞰画像における前記障害物の移動速度に基づいて、前記マーカ画像の大きさを経時的に拡大させるための信号を生成する
    請求項１に記載の表示システム。
  5. 前記制御装置は、
    前記撮像画像に基づいて、前記作業車両の周囲の画像である単カメラ画像を生成し、
    前記単カメラ画像上の前記障害物に対応する位置に前記マーカ画像を配置させ、前記マーカ画像の形態を経時的に変化させるための信号を生成する
    請求項１から請求項４の何れか１項に記載の表示システム。
  6. 前記制御装置は、
    前記作業車両を中心とした所定範囲内に前記障害物が存在するか否かを判定し、
    前記所定範囲内に前記障害物が存在するか否かの判定結果を示すアイコンを含む表示画像を表示させる信号を生成する
    請求項１から請求項５の何れか１項に記載の表示システム。
  7. 前記アイコンは、前記表示画像のうち前記作業車両の運転席から視認可能な範囲に係る領域に配置される
    請求項６に記載の表示システム。
  8. 作業車両の周囲を撮像した撮像画像を取得するステップと、
    前記撮像画像に基づいて、前記作業車両の周囲の俯瞰画像を生成するステップと、
    前記作業車両の周囲の障害物を検出するステップと、
    前記障害物の検出結果に基づいて、前記俯瞰画像上の前記障害物に対応する位置にマーカ画像を配置するための信号と、前記マーカ画像の大きさを経時的に拡大させるための信号を生成するステップと
    を備える作業車両の表示方法。
JP2019133073A 2019-07-18 2019-07-18 作業車両の表示システムおよび作業車両の表示方法 Active JP7308089B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019133073A JP7308089B2 (ja) 2019-07-18 2019-07-18 作業車両の表示システムおよび作業車両の表示方法
PCT/JP2020/026718 WO2021010258A1 (ja) 2019-07-18 2020-07-08 作業車両の表示システムおよび作業車両の表示方法
CN202080046673.4A CN114051725B (zh) 2019-07-18 2020-07-08 作业车辆的显示系统以及作业车辆的显示方法
DE112020002788.0T DE112020002788T5 (de) 2019-07-18 2020-07-08 Anzeigesystem für ein Arbeitsfahrzeug und Verfahren zum Anzeigen von einem Arbeitsfahrzeug
US17/596,599 US12157991B2 (en) 2019-07-18 2020-07-08 Display system for work vehicle, and method for displaying work vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019133073A JP7308089B2 (ja) 2019-07-18 2019-07-18 作業車両の表示システムおよび作業車両の表示方法

Publications (2)

Publication Number Publication Date
JP2021019253A JP2021019253A (ja) 2021-02-15
JP7308089B2 true JP7308089B2 (ja) 2023-07-13

Family

ID=74210746

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019133073A Active JP7308089B2 (ja) 2019-07-18 2019-07-18 作業車両の表示システムおよび作業車両の表示方法

Country Status (5)

Country Link
US (1) US12157991B2 (ja)
JP (1) JP7308089B2 (ja)
CN (1) CN114051725B (ja)
DE (1) DE112020002788T5 (ja)
WO (1) WO2021010258A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023176830A (ja) * 2022-06-01 2023-12-13 ヤンマーホールディングス株式会社 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7201548B2 (ja) * 2019-07-12 2023-01-10 株式会社小松製作所 作業機械
JP7255454B2 (ja) * 2019-11-07 2023-04-11 コベルコ建機株式会社 作業機械の周囲監視装置
JP7399836B2 (ja) * 2020-10-12 2023-12-18 ヤンマーホールディングス株式会社 作業車両
JP7174389B1 (ja) 2022-02-18 2022-11-17 株式会社ヒューマンサポートテクノロジー 物体位置推定表示装置、方法及びプログラム
JP7398492B2 (ja) * 2022-03-14 2023-12-14 本田技研工業株式会社 制御装置、制御方法、及び制御プログラム
US12359406B2 (en) 2022-03-14 2025-07-15 Volvo Construction Equipment Ab Display system for construction machine
JP7823501B2 (ja) * 2022-05-30 2026-03-04 コベルコ建機株式会社 作業機械の画像表示システム、作業機械の画像表示方法および作業機械の画像表示用プログラム
US12234627B2 (en) 2022-12-22 2025-02-25 Caterpillar Sarl Object visualization in construction heavy equipment

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018042567A1 (ja) 2016-08-31 2018-03-08 日立建機株式会社 周辺監視システム及び周辺監視装置
WO2018151280A1 (ja) 2017-02-17 2018-08-23 住友重機械工業株式会社 作業機械用周辺監視システム

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7899211B2 (en) * 2005-12-07 2011-03-01 Nissan Motor Co., Ltd. Object detecting system and object detecting method
JP2011118482A (ja) 2009-11-30 2011-06-16 Fujitsu Ten Ltd 車載装置および認知支援システム
JP2012001126A (ja) * 2010-06-18 2012-01-05 Clarion Co Ltd 車両用周辺監視装置
US20140111648A1 (en) * 2011-06-02 2014-04-24 Hitachi Contruction Machinery Co., Ltd. Device For Monitoring Area Around Working Machine
CN103733239B (zh) * 2011-11-01 2016-05-18 爱信精机株式会社 障碍物警报装置
JP6192258B2 (ja) 2012-02-29 2017-09-06 ニッタン株式会社 防災表示装置および防災システム
JP5916541B2 (ja) * 2012-07-03 2016-05-11 アルパイン株式会社 車載システム
JP5456123B1 (ja) 2012-09-20 2014-03-26 株式会社小松製作所 作業車両用周辺監視システム及び作業車両
JP6481846B2 (ja) * 2014-03-27 2019-03-13 日本精機株式会社 車両用警報装置
CN112866566B (zh) * 2014-05-29 2023-05-09 株式会社尼康 驾驶辅助装置及驾驶辅助装置搭载车辆
US20160027218A1 (en) * 2014-07-25 2016-01-28 Tom Salter Multi-user gaze projection using head mounted display devices
US20160092727A1 (en) * 2014-09-30 2016-03-31 Alcatel-Lucent Usa Inc. Tracking humans in video images
WO2016077468A1 (en) * 2014-11-12 2016-05-19 Covar Applied Technologies, Inc. System and method for inhibiting or causing automated actions based on person locations estimated from multiple video sources
US9457718B2 (en) * 2014-12-19 2016-10-04 Caterpillar Inc. Obstacle detection system
BR112018005380B1 (pt) * 2015-09-18 2021-12-28 Nissan Motor Co., Ltd. Aparelho de visualização para veículos e método de visualização de veículos
JP2017074871A (ja) * 2015-10-15 2017-04-20 日立建機株式会社 車両周囲障害物検出装置
JP6401141B2 (ja) * 2015-10-15 2018-10-03 日立建機株式会社 車両周囲障害物検出装置
EP3385457A4 (en) 2015-11-30 2019-03-13 Sumitomo Heavy Industries, Ltd. PERIPHERAL MONITORING SYSTEM FOR A WORK MACHINE
JP6419677B2 (ja) 2015-11-30 2018-11-07 住友重機械工業株式会社 作業機械用周辺監視システム
JP6662622B2 (ja) 2015-11-30 2020-03-11 住友重機械工業株式会社 作業機械用周辺監視システム及び作業機械用周辺監視システムを備えた建設機械
JP6755672B2 (ja) 2016-02-25 2020-09-16 住友重機械工業株式会社 作業機械用周辺監視システム
EP3474268A4 (en) * 2016-06-20 2019-11-13 Kyocera Corporation DISPLAY DEVICE, DISPLAY SYSTEM, MOBILE BODY AND DISPLAY PROCEDURE
JP6996115B2 (ja) * 2017-05-29 2022-01-17 セイコーエプソン株式会社 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法
JP6466899B2 (ja) * 2016-12-01 2019-02-06 株式会社Ｓｕｂａｒｕ 車両用表示装置
CN106643781A (zh) * 2016-12-14 2017-05-10 英业达科技有限公司 车辆导航显示系统及其方法
US10776930B2 (en) * 2017-05-05 2020-09-15 John W. Perry Mobile device, system, and computerized method for tracking flying objects and displaying tracked flying objects on the mobile device
WO2018207303A1 (ja) * 2017-05-11 2018-11-15 三菱電機株式会社 車載用監視カメラ装置
JP6910208B2 (ja) * 2017-05-30 2021-07-28 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
JP6878221B2 (ja) * 2017-09-12 2021-05-26 日立建機株式会社 作業機械の障害物検知システム
JP7062982B2 (ja) 2018-02-02 2022-05-09 コニカミノルタ株式会社 画像形成装置及びプログラム
DE102018208278A1 (de) * 2018-05-25 2019-11-28 Robert Bosch Gmbh Betriebsassistenzverfahren, Steuereinheit, Betriebsassistenzsystem und Arbeitsvorrichtung
JP7242232B2 (ja) * 2018-09-28 2023-03-20 キヤノン株式会社 情報処理装置、情報処理方法、およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018042567A1 (ja) 2016-08-31 2018-03-08 日立建機株式会社 周辺監視システム及び周辺監視装置
WO2018151280A1 (ja) 2017-02-17 2018-08-23 住友重機械工業株式会社 作業機械用周辺監視システム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023176830A (ja) * 2022-06-01 2023-12-13 ヤンマーホールディングス株式会社 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械

Also Published As

Publication number Publication date
US20220298756A1 (en) 2022-09-22
CN114051725A (zh) 2022-02-15
US12157991B2 (en) 2024-12-03
WO2021010258A1 (ja) 2021-01-21
JP2021019253A (ja) 2021-02-15
CN114051725B (zh) 2024-07-09
DE112020002788T5 (de) 2022-07-07

Similar Documents

Publication Publication Date Title
JP7308089B2 (ja) 作業車両の表示システムおよび作業車両の表示方法
CN105765134B (zh) 施工信息显示装置以及施工信息的显示方法
JP7590325B2 (ja) 作業車両の表示システムおよび作業車両の表示方法
JP7058569B2 (ja) 作業機械
JP7560955B2 (ja) ショベル、作業機械の障害物報知システムおよびショベルの障害物報知方法
JPWO2016174754A1 (ja) 作業機械の周辺監視装置及び作業機械の周辺監視方法
WO2021200798A1 (ja) 検出システムおよび検出方法
US20210312721A1 (en) Reproduction device, analysis assistance system, and reproduction method
JP2025096345A (ja) 作業機械の障害物報知システムおよび作業機械の障害物報知方法
US20220106765A1 (en) Periphery monitoring device for work machine
KR20230038784A (ko) 작업 기계의 장애물 통지 시스템 및 작업 기계의 장애물 통지 방법
JP2023176830A (ja) 作業機械の制御方法、作業機械用制御プログラム、作業機械用制御システム及び作業機械
CN119585486A (zh) 施工支援装置及施工支援方法
JP2025148762A (ja) 作業機械の表示システム、作業機械、及び作業機械の表示方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220331

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230313

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230620

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230703

R151 Written notification of patent or utility model registration

Ref document number: 7308089

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151