JP7122980B2

JP7122980B2 - 作業機械のシステム及び方法

Info

Publication number: JP7122980B2
Application number: JP2019008902A
Authority: JP
Inventors: 浩一中沢; 修矢津田
Original assignee: Komatsu Ltd
Current assignee: Komatsu Ltd
Priority date: 2019-01-23
Filing date: 2019-01-23
Publication date: 2022-08-22
Anticipated expiration: 2039-01-23
Also published as: WO2020153314A1; AU2020212919A1; CA3116838A1; US20210395982A1; AU2020212919B2; JP2020117913A; CA3116838C

Description

本開示は、作業機械のシステム及び方法に関する。

従来、カメラによって撮影された作業機械の画像をディスプレイに表示する技術が知られている。例えば特許文献１に示されているように、作業機械に取り付けられた車載カメラによって、作業機械を含む作業機械の前後左右の視野が撮影され、ディスプレイに表示される。また、特許文献１では、作業機械の移動にあわせて自動的に移動するサイトカメラが設けられている。サイトカメラは、作業機械から離れた位置において、作業現場のより広い視野を撮影する。

米国特許出願公開２０１４／０２４０５０６号

上述した技術では、車載カメラによって撮影された画像がそのままディスプレイに表示される。その場合、起伏の大きい地形など、地形によっては、ディスプレイに表示される画像からは、作業機械と地形との位置関係を正確に認識することが困難なことがある。

また、上述した技術のように、サイトカメラを用いれば作業現場のより広い視野を撮影することができる。しかし、その場合、サイトカメラを精度良く制御する必要があり、システムが複雑化する、或いは、システムのコストが増大するという問題がある。

本開示の目的は、作業機械と作業機械の周辺の対象との位置関係を容易且つ精度良く認識することができるシステム及び方法を提供することにある。

第1の態様に係るシステムは、作業機械と、ライダーと、プロセッサと、ディスプレイとを含む。作業機械は、作業機を含む。ライダーは、作業機械に取り付けられ、レーザーと光検出器とを含む。ライダーは、作業機の少なくとも一部までの距離と、作業機械の周辺の対象までの距離とを計測する。プロセッサは、ライダーが計測した距離から、位置データを取得する。位置データは、作業機の少なくとも一部と、作業機械の周辺の対象との位置を示す。プロセッサは、位置データに基づいて、作業機の少なくとも一部と作業機械の周辺の対象との位置を示す画像を生成する。ディスプレイは、プロセッサからの信号に応じて画像を表示する。

第２の態様に係る方法は、作業機を含む作業機械の周辺の地形、及び、作業機の位置をディスプレイに表示するためにプロセッサによって実行される方法である。当該方法は、以下の処理を含む。第１の処理は、ライダーによって、作業機の少なくとも一部までの距離と、作業機械の周辺の対象までの距離とを計測することである。第２の処理は、ライダーが計測した距離から、位置データを取得することである。位置データは、作業機の少なくとも一部と、作業機械の周辺の対象との位置を示す。第３の処理は、位置データに基づいて、作業機の少なくとも一部と作業機械の周辺の対象との位置を示す画像を生成することである。第４の処理は、画像をディスプレイに表示することである。

第３の態様に係るシステムは、プロセッサとディスプレイとを備える。プロセッサは、ライダーが計測した作業機の少なくとも一部までの距離と、作業機械の周辺の対象までの距離とを取得する。プロセッサは、ライダーが計測した距離から、位置データを取得する。位置データは、作業機の少なくとも一部と、作業機械の周辺の対象との位置を示す。プロセッサは、位置データに基づいて、作業機の少なくとも一部と作業機械の周辺の対象との位置を示す画像を生成する。ディスプレイは、プロセッサからの信号に応じて画像を表示する

本開示では、ライダーが計測した距離から位置データが取得される。そして、位置データに基づいて、画像が生成されてディスプレイに表示される。画像は、作業機の少なくとも一部と作業機械の周辺の対象との位置を示す。そのため、作業機械と作業機械の周辺の対象との位置関係を容易且つ精度良く認識することができる。

実施形態に係る作業機械を示す側面図である。実施形態に係るシステムの構成を示すブロック図である。作業機械及びライダーの拡大側面図である。作業機械及びライダーの拡大正面図である。ライダーの構成を示す模式図である。コントローラによって実行される処理を示すフローチャートである。画像の一例を示す図である。変形例に係るシステムの構成を示すブロック図である。

以下、図面を参照して、実施形態に係る作業機械のシステムについて説明する。図1は、実施形態に係る作業機械１を示す側面図である。本実施形態において、作業機械１はブルドーザである。作業機械１は、車体２と、作業機３と、走行装置４とを含む。

車体２は、エンジン室１１を含む。エンジン室１１の後方には、運転室１２が配置されている。車体２の後部には、リッパ装置５が取り付けられている。走行装置４は、作業機械１を走行させるための装置である。走行装置４は、車体２の左右の側方に配置される一対の履帯１３を含む。履帯１３が駆動されることにより作業機械１が走行する。

作業機３は、車体２の前方に配置されている。作業機３は、掘削、運土、或いは整地などの作業に用いられる。作業機３は、ブレード１４と、リフトシリンダ１５と、チルトシリンダ１６と、アーム１７とを有する。ブレード１４は、アーム１７を介して車体２に支持されている。ブレード１４は、上下方向に動作可能に設けられている。チルトシリンダ１６とリフトシリンダ１５とは、後述する油圧ポンプ２２から吐出された作動油によって駆動され、ブレード１４の姿勢を変更する。

図２は、実施形態に係るシステム１００の構成を示すブロック図である。図２に示すように、作業機械１は、エンジン２１と、油圧ポンプ２２と、動力伝達装置２３と、制御弁２４とを含む。エンジン２１と、油圧ポンプ２２と、動力伝達装置２３とは、エンジン室１１に配置されている。油圧ポンプ２２は、エンジン２１によって駆動され、作動油を吐出する。油圧ポンプ２２から吐出された作動油は、リフトシリンダ１５及びチルトシリンダ１６に供給される。なお、図２では、１つの油圧ポンプ２２が図示されているが、複数の油圧ポンプが設けられてもよい。

動力伝達装置２３は、エンジン２１の駆動力を走行装置４に伝達する。動力伝達装置２３は、例えば、HST（Hydro Static Transmission）であってもよい。或いは、動力伝達装置２３は、例えば、トルクコンバーター、或いは複数の変速ギアを有するトランスミッションであってもよい。

制御弁２４は、比例制御弁であり、入力される指令信号に応じて制御される。制御弁２４は、リフトシリンダ１５及びチルトシリンダ１６などの油圧アクチュエータと、油圧ポンプ２２との間に配置される。制御弁２４は、油圧ポンプ２２からリフトシリンダ１５及びチルトシリンダ１６に供給される作動油の流量を制御する。なお、制御弁２４は、圧力比例制御弁であってもよい。或いは、制御弁２４は、電磁比例制御弁であってもよい。

システム１００は、第１コントローラ３１と、第２コントローラ３２と、入力装置３３と、通信装置３４，３５と、ディスプレイ３６とを含む。第１コントローラ３１と通信装置３４とは、作業機械１に搭載されている。第２コントローラ３２と、入力装置３３と、通信装置３４，３５と、ディスプレイ３６とは、作業機械１の外部に配置されている。例えば、第２コントローラ３２と、入力装置３３と、通信装置３５と、ディスプレイ３６とは、作業現場から離れたコントロールセンタ内に配置される。作業機械１は、作業機械１の外部の入力装置３３によって遠隔操縦可能である。

第１コントローラ３１と第２コントローラ３２とは、作業機械１を制御するようにプログラムされている。第１コントローラ３１は、メモリ３１１とプロセッサ３１２とを含む。メモリ３１１は、例えばRAMなどの揮発性メモリと、ROM等の不揮発性メモリとを含む。メモリ３１１は、作業機械１を制御するためのプログラム及びデータを記憶している。プロセッサ３１２は、例えばCPU（Central Processing Unit）であり、プログラムに従って、作業機械１を制御するための処理を実行する。第１コントローラ３１は、走行装置４、或いは動力伝達装置２３を制御することで、作業機械１を走行させる。第１コントローラ３１は、制御弁２４を制御することで、作業機３を動作させる。

第２コントローラ３２は、メモリ３２１とプロセッサ３２２とを含む。メモリ３２１は、例えばRAMなどの揮発性メモリと、ROM等の不揮発性メモリとを含む。メモリ３２１は、作業機械１を制御するためのプログラム及びデータを記憶している。プロセッサ３２２は、例えばCPU（Central Processing Unit）であり、プログラムに従って、作業機械１を制御するための処理を実行する。第２コントローラ３２は、入力装置３３から操作信号を受信する。また、第２コントローラ３２は、ディスプレイ３６に信号を出力することで、後述する画像をディスプレイ３６に表示させる。

入力装置３３は、オペレータによる操作を受け付け、操作に応じた操作信号を出力する。入力装置３３は、第２コントローラ３２に操作信号を出力する。入力装置３３は、走行装置４及び／又は作業機３を操作するための操作レバー、ペダル、或いはスイッチ等の操作子を含む。入力装置３３は、タッチパネルを含んでもよい。入力装置３３の操作に応じて、作業機械１の前進及び後進などの走行が制御される。また、入力装置３３の操作に応じて、作業機３の上昇及び下降などの動作が制御される。

ディスプレイ３６は、例えばＣＲＴ、ＬＣＤ或いはＯＥＬＤである。ただし、ディスプレイ３６はこれらのディスプレイに限らず、他の種類のディスプレイであってもよい。ディスプレイ３６は、第２コントローラ３２からの信号に基づいて画像を表示する。

第２コントローラ３２は、第１コントローラ３１と、通信装置３４，３５を介して無線により通信可能である。第２コントローラ３２は、入力装置３３からの操作信号を第１コントローラ３１に送信する。第１コントローラ３１は、操作信号に応じて、走行装置４及び／又は作業機３を制御する。

システム１００は、位置センサ３６とライダー（Lidar，Light Detection and Ranging）３７とを含む。位置センサ３６とライダー３７とは、作業機械１に搭載されている。位置センサ３６は、GNSS(Global Navigation Satellite System)レシーバ３８とIMU３９とを含む。GNSSレシーバ３８は、例えばGPS（Global Positioning System）用の受信機である。GNSSレシーバ３８は、衛星より測位信号を受信し、測位信号により作業機械１の位置座標を示す車体位置データを取得する。第１コントローラ３１は、GNSSレシーバ３８から車体位置データを取得する。

IMU３９は、慣性計測装置（Inertial Measurement Unit）である。IMU３９は、傾斜角データを取得する。傾斜角データは、車両前後方向の水平に対する角度（ピッチ角）、および車両横方向の水平に対する角度（ロール角）を含む。第１コントローラ３１は、IMU３９から傾斜角データを取得する。

ライダー３７は、作業機３の少なくとも一部、及び、作業機械１の周辺の対象の３次元形状を測定する。図３は、作業機械１及びライダー３７の拡大側面図である。図４は、作業機械１及びライダー３７の拡大正面図である。図３及び図４に示すように、ライダー３７は、支持部材１８を介して、車体２に取り付けられている。支持部材１８は、車体２に取り付けられている、支持部材１８は、車体２から、上方且つ前方に延びている。

図５は、ライダー３７の構成を示す模式図である。図５に示すように、ライダー３７は、取付部４１と回転ヘッド４２とを含む。取付部４１は、支持部材１８に取り付けられている。回転ヘッド４２は、回転軸Ａｘ１を含み、取付部４１に対して回転軸Ａｘ１回りに回転可能に支持されている。回転軸Ａｘ１は、水平方向に沿って配置されている。回転軸Ａｘ１は、作業機械１の左右方向に沿って配置されている。

ライダー３７は、モータ４３と、レーザー４４と、光検出器４５とを含む。モータ４３は、回転ヘッド４２を回転軸Ａｘ１回りに回転させる。レーザー４４は、回転ヘッド４２に設けられる。レーザー４４は、レーザーダイオードなどの複数の発光素子４４１を含む。複数の発光素子４４１は、回転軸Ａｘ１方向に並んで配置されている。なお、図５では、複数の発光素子４４１の一部のみに符号４４１が付されている。

光検出器４５は、例えばフォトダイオード等の複数の受光素子４５１を含む。ライダー３７は、レーザー４４からレーザー光を照射して、光検出器４５において、その反射光を検出する。それにより、ライダー３７は、ライダー３７から対象の計測点までの距離を測定する。なお、図５では、複数の受光素子４５１の一部のみに符号４５１が付されている。

ライダー３７は、回転軸Ａｘ１回りにレーザー４４を回転させながら、所定周期で複数の計測点の位置の測定を行う。従って、ライダー３７は、一定の回転角ごとに、計測点までの距離を測定する。ライダー３７は、計測点データを出力する。計測点データは、各計測点について、どの素子によって測定されたかという情報と、どの回転角で測定されたかという情報、及び、各素子の位置関係の情報とを含む。

図３に示すように、ライダー３７は、作業機械１の前後方向において、車体２よりもブレード１４側に配置される。ライダー３７は、車体２の前面２ａよりも前方に配置される。ライダー３７は、作業機械１の左右方向に延びる回転軸Ａｘ１回りに３６０度、回転ヘッド４２を回転させて計測を行うことができる。従って、ライダー３７の鉛直方向の視野角は、３６０度である。図３及び図４に示すように、ライダー３７の水平方向の視野角は、ライダー３７の鉛直方向の視野角よりも小さい。

図３及び図４では、ライダー３７の計測範囲にハッチングを付している。図３及び図４に示すように、ライダー３７の計測範囲は、ブレード１４の少なくとも一部と、ブレード１４の前方に位置する対象とを含む。また、ライダー３７の計測範囲は、車体２の前面２ａの少なくとも一部を含む。詳細には、ライダー３７の計測範囲は、ブレード１４の上端１４１を含む。ライダー３７の計測範囲は、ブレード１４の下端１４２を含む。ライダー３７は、ブレード１４における複数の計測点までの距離を計測する。また、ライダー３７は、ブレード１４の前方の対象における複数の計測点までの距離を計測する。

本実施形態では、ライダー３７が計測した計測点の位置に基づいて、ブレード１４と、ブレード１４の前方の対象とを示す画像が生成されて、ディスプレイ３６に表示される。以下、画像を生成するために、第１コントローラ３１と第２コントローラ３２とによって実行される処理を説明する。図６は、第１コントローラ３１と第２コントローラ３２とによって実行される処理を示すフローチャートである。

図６に示すように、ステップＳ１０１では、第１コントローラ３１は、計測点データを取得する。ここでは、第１コントローラ３１は、回転ヘッド４２を回転軸Ａｘ１回りに回転させながら、ライダー３７によって複数の計測点までの距離を測定する。それにより、第１コントローラ３１は、計測点データを取得する。計測点データは、ブレード１４と、ブレード１４の前方の地形とに含まれる複数の計測点までの距離を含む。

ステップＳ１０２では、第２コントローラ３２は、位置データを取得する。ここでは、第２コントローラ３２は、第１コントローラ３１から計測点データを受信する。第２コントローラ３２は、ライダー３７と作業機械１との位置関係を示す情報を有している。第２コントローラ３２は、計測点データから、ブレード１４と、ブレード１４の前方の地形を示す位置データを算出して取得する。なお、第２コントローラ３２に代えて、第１コントローラ３１が計測点データから位置データを算出して取得してもよい。その場合、第２コントローラ３２は、第１コントローラ３１から位置データを受信してもよい。

ステップＳ１０３では、第２コントローラ３２は、位置データに基づいて、ブレード１４と、ブレード１４の前方の対象とを示す画像５０を生成する。図７は、画像５０の一例を示す図である。図７に示すように、画像５０は、複数の計測点を示す点群で表されている。画像５０は、ブレード１４と、ブレード１４の前方の地形２００を含む。また、画像５０は、車体２の前面２ａ及び支持部材１８を含む。なお、図７では、画像５０は、作業機械１及びその周辺を作業機械１の左前方の視点から見た画像である。しかし、第１コントローラ３１、或いは第２コントローラ３２は、画像５０の視点を他の方向に切り換えることができる。

ステップＳ１０４では、第２コントローラ３２は、画像５０を示す信号をディスプレイ３６に出力する。それにより、ディスプレイ３６は画像５０を表示する。なお、画像５０は、リアルタイムに更新され、動画として表示される。従って、作業機械１の走行中、或いは作業中に、作業機械１の周辺の変化に応じて画像５０が変化して表示される。

以上説明した本実施形態に係るシステム１００では、ライダー３７が計測した複数の計測点までの距離から、位置データが取得される。そして、位置データに基づいて、画像５０が生成されてディスプレイ３６に表示される。画像５０は、作業機３の少なくとも一部と作業機械１の周辺の対象との位置を示す。そのため、ユーザーは、画像５０により、作業機械１と作業機械１の周辺の対象との位置関係を容易且つ精度良く認識することができる。

以上、本開示の実施形態について説明したが、本発明はこれらに限定されるものではなく、本発明の趣旨を逸脱しない限りにおいて種々の変更が可能である。

作業機械１は、ブルドーザに限らず、ホイールローダ、モータグレーダ、油圧ショベル等の他の車両であってもよい。作業機械１は、電動モータで駆動される車両であってもよい。運転室１２は、作業機械１から省略されてもよい。

作業機械１は、遠隔操作ではなく、運転室内で操作されてもよい。図８は、変形例に係る作業機械１の構成を示す図である。図８に示すように、作業機械１は、作業機械１に搭載されたコントローラ３０を含んでもよい。コントローラ３０は、メモリ３０１とプロセッサ３０２とを含んでもよい。コントローラ３０は、上述した第１コントローラ３１及び第２コントローラ３２と同様の構成であるため、詳細な説明を省略する。コントローラ３０は、上述したステップＳ１０１からＳ１０４の処理を実行してもよい。この場合、入力装置３３は、運転室内に配置されてもよい。

第１コントローラ３１は、一体に限らず、複数のコントローラに分かれていてもよい。第２コントローラ３２は、一体に限らず、複数のコントローラに分かれていてもよい。コントローラ３０は、一体に限らず、複数のコントローラに分かれていてもよい。

ライダー３７の構造、及び／又は、配置は、上記の実施形態の位置に限らず、変更されてもよい。例えば、ライダー３７の回転軸Ａｘ１は、鉛直方向に沿って配置されてもよい。或いは、ライダー３７は、回転不能であってもよい。ライダー３７は、作業機械１の前方に限らず、作業機械１の後方、或いは側方など他の方向を測定してもよい。ライダー３７が測定する作業機械１の周辺の対象は、地形２００に限らず、他の作業機械、建物、或いは人などを含んでもよい。

本開示では、作業機械と作業機械の周辺の対象との位置関係を、画像により、容易且つ精度良く認識することができる。

１作業機械
２車体
３作業機
１４ブレード
３６ディスプレイ
３７ライダー
４４レーザー
４５光検出器
３１２プロセッサ
Ａｘ１回転軸

Claims

作業機を含む作業機械と、
前記作業機械に取り付けられ、レーザーと光検出器とを含み、前記作業機の少なくとも一部までの距離と、前記作業機械の周辺の対象までの距離とを計測するライダーと、
前記ライダーが計測した距離から、前記作業機の少なくとも一部と、前記作業機械の周辺の対象との位置を示す位置データを取得し、前記位置データに基づいて、前記作業機の少なくとも一部と前記作業機械の周辺の対象との位置を示す画像を生成するプロセッサと、
前記プロセッサからの信号に応じて前記画像を表示するディスプレイと、
を備えるシステム。
前記作業機械は、前記作業機を支持する車体をさらに備え、
前記ライダーは、前記車体よりも前記作業機側に配置される、
請求項１に記載のシステム。
前記ライダーは、回転軸を含み、前記回転軸回りに回転可能に設けられる、
請求項１に記載のシステム。
前記回転軸は、前記作業機械の左右方向に沿って配置される、
請求項３に記載のシステム。
前記画像は、前記作業機における複数の計測点と、前記作業機械の周辺の対象における複数の計測点とを示す点群で表される、
請求項１に記載のシステム。
前記作業機は、ブレードを含み、
前記ライダーの計測範囲は、前記ブレードの上端を含む、
請求項１に記載のシステム。
前記作業機は、ブレードを含み、
前記ライダーの計測範囲は、前記ブレードの少なくとも一部と、前記ブレードの前方に位置する対象とを含む、
請求項１に記載のシステム。
前記作業機は、ブレードを含み、
前記作業機械は、前記ブレードを支持する車体をさらに備え、
前記ライダーの計測範囲は、前記車体の前面の少なくとも一部と、前記ブレードの少なくとも一部とを含む、
請求項１に記載のシステム。
作業機を含む作業機械の周辺の地形、及び、前記作業機の位置をディスプレイに表示するためにプロセッサによって実行される方法であって、
ライダーによって、前記作業機の少なくとも一部までの距離と、前記作業機械の周辺の対象までの距離とを計測することと、
前記ライダーが計測した距離から、前記作業機の少なくとも一部と、前記作業機械の周辺の対象との位置を示す位置データを取得することと、
前記位置データに基づいて、前記作業機の少なくとも一部と前記作業機械の周辺の対象との位置を示す画像を生成することと、
前記画像を前記ディスプレイに表示すること、
を備える方法。
前記作業機械は、前記作業機を支持する車体をさらに備え、
前記ライダーは、前記車体よりも前記作業機側に配置される、
請求項９に記載の方法。
前記複数の計測点の位置を計測することは、前記ライダーを回転させながら前記作業機の少なくとも一部までの距離と、前記作業機械の周辺の対象までの距離とを計測することを含む、
請求項９に記載の方法。
前記複数の計測点の位置を計測することは、前記作業機械の左右方向に沿う回転軸回りに前記ライダーを回転させながら、前記作業機の少なくとも一部までの距離と、前記作業機械の周辺の対象までの距離とを計測することを含む、
請求項９に記載の方法。
前記画像は、前記作業機における複数の計測点と、前記作業機械の周辺の対象における複数の計測点とを示す点群で表される、
請求項９に記載の方法。
前記作業機は、ブレードを含み、
前記ライダーの計測範囲は、前記ブレードの上端を含む、
請求項９に記載の方法。
前記作業機は、ブレードを含み、
前記ライダーの計測範囲は、前記ブレードの少なくとも一部と、前記ブレードの前方に位置する対象とを含む、
請求項９に記載の方法。
前記作業機は、ブレードを含み、
前記作業機械は、前記ブレードを支持する車体をさらに備え、
前記ライダーの計測範囲は、前記車体の前面の少なくとも一部と、前記ブレードの少なくとも一部とを含む、
請求項９に記載の方法。
ライダーが計測した前記作業機の少なくとも一部までの距離と、前記作業機械の周辺の対象までの距離とを取得し、前記ライダーが計測した距離から、前記作業機の少なくとも一部と、前記作業機械の周辺の対象との位置を示す位置データを取得し、前記位置データに基づいて、前記作業機の少なくとも一部と前記作業機械の周辺の対象との位置を示す画像を生成するプロセッサと、
前記プロセッサからの信号に応じて前記画像を表示するディスプレイと、
を備えるシステム。