JP2017155491A - 建設機械の干渉防止装置 - Google Patents

Abstract

【課題】距離センサの検出範囲を狭くしなくても、干渉のおそれがない可動部が、干渉対象物として誤検出されることを防止する。【解決手段】領域除去部１２１は、取得部１００により取得された姿勢情報を用いて、ブーム１５の距離画像データ内での領域を示す座標領域を決定し、決定した座標領域を構成する画素データを距離画像データから除去する。干渉判定部１２２は、座標領域を構成する画素データが除去された距離画像データを用いて、作業装置４又は作業装置４の把持物である干渉対象物を検出し、検出した干渉対象物の運転室３１への干渉の危険性を判定する。干渉防止部１２３は、干渉判定部１２２により干渉の危険性が有ると判定された場合、オペレータへの警告及び作業装置４の動作制限の少なくとも一方を行う。【選択図】図２

Description

本発明は、建設機械の作業装置又は作業装置の把持物などの干渉対象物の建設機械本体への干渉を防止する建設機械の干渉防止装置に関するものである。

建設機械においては、建設機械の製造者が想定しているアタッチメント以外のアタッチメントがユーザーによって取り付けられることがある。また、解体機などの建設機械では、解体した建物などの部材が把持されることがある。これらの場合、アタッチメントや解体した建物の部材等が干渉対象物となって運転室に干渉する可能性が高まるので、それを未然に防止する必要がある。そこで、建設機械の本体にセンサを取付け、運転室と干渉対象物との距離を検知することで、干渉対象物による運転室への干渉防止が図られている。

例えば、特許文献１には、図９に示すように、複数の超音波センサ（１１）を用いて、運転室（３２）の前方に設定された干渉危険領域にバケット（３７）が侵入したか否かを判定する干渉防止装置が開示されている。

特許文献２には、図１０に示すように、広域カメラ（１）で作業者が装着している安全ベストの色を検出し、この色が検出できた場合、作業者が稼働範囲に存在するかをレーザ距離計（２）を用いて判断し、広域カメラ（１）及び工事車両（８）の３次元姿勢を３次元姿勢センサ（３）で測定し、測定結果を用いて工事車両（８）の姿勢によって変化するレーザ距離計（２）の測定範囲を補正し、測定結果をモニタする作業者検出装置が開示されている。

特許文献３には、図１１に示すように、油圧ショベル（５２０）のキャビンの正面方向の上部に、所要の間隔を隔てて、第１ステレオカメラ（２１）及び第２ステレオカメラ（２２）取り付け、これらのステレオカメラによって得られたステレオ画像に基づいて、障害物を検出する技術が開示されている。この特許文献３では、複数のステレオカメラを取り付けることで、広範囲な領域について障害物の位置を計測できることに加え、ステレオカメラの計測領域の一部が重ね合わせられているので、正確なキャリブレーションを行うことができる。

特開２００１−６４９９２号公報 特開２０１２−２２５１１１号公報 特開２０１４−２１５０３９号公報

ところで、建設機械は、設計上、運転室に近い可動部であっても運転室との干渉のおそれのない可動部を備えている。例えば、ショベルカーは、運転室から順にブーム、アーム、及びバケットが取り付けられているが、少なくともブームは、運転室の横に起伏可能に取り付けられ、且つ、把持物を把持するものではないので、運転室と干渉するおそれはない。

しかし、特許文献１〜３に示されたこれらの従来技術は、運転室と干渉のおそれがない可動部を考慮したセンシングが行われていないので、この可動部が干渉対象物として誤検出され、干渉回避のための動作停止や、無用な警告が頻発されるといった課題がある。

一方、このような誤検出を回避するために、干渉のおそれがない可動部が検出範囲から除外されるように距離センサを配置すると、距離センサの検出範囲が狭くなり、本来検出したい干渉対象物の検出ができなくなるという安全上の課題が発生する。

本発明は、距離センサの検出範囲を狭くしなくても、干渉のおそれがない可動部が、干渉対象物として検出され、無用な動作停止や警告が頻発さることを防止できる建設機械の干渉防止装置を提供することを目的とする。

本発明の一態様による建設機械の干渉防止装置は、複数の可動部を備え、姿勢が変更可能な作業装置と、運転室と、前記作業装置及び前記運転室が搭載された本体部とを備える建設機械の干渉防止装置であって、
前記運転室の周辺環境の距離分布を示す距離画像データを取得する距離センサと、
前記距離センサによって計測された距離画像データを用いて、前記作業装置又は前記作業装置の把持物である干渉対象物を検出し、前記検出した干渉対象物の前記運転室への干渉の危険性を判定する干渉判定部と、
前記干渉判定部により前記干渉の危険性が有ると判定された場合、乗車者へ警告及び前記建設機械の動作制限の少なくとも一方を行う干渉防止部と、
前記作業装置の姿勢を示す姿勢情報を取得する取得部と、
前記取得部により取得された姿勢情報を用いて、前記距離画像データにおいて、前記複数の可動部のうち前記運転室に干渉しない特定可動部に対応する画素データを決定し、前記決定した画素データを前記距離画像データから除去する領域除去部とを備え、
前記干渉判定部は、前記特定可動部に対応する画素データが除去された距離画像データを用いて、前記干渉の危険性を判定する。

本態様によれば、取得部により取得された作業装置の姿勢情報を用いて、作業装置を構成する複数の可動部のうち、運転室に干渉しない特定可動部に対応する距離画像データ内の画素データが決定され、この画素データが距離画像データから除去される。そして、干渉判定部は、特定可動部に対応する画素データが除去された距離画像データを用いて、作業装置又は作業装置の把持物である干渉対象物による運転室への干渉の危険性を判定する。

そのため、特定可動部が距離センサの検出範囲に侵入したとしても、特定可動部が干渉対象物として誤検知されることを防止でき、無用な動作制限及び警告の発報が防止できる。また、特定可動部が検出範囲から除外されるように、距離センサを配置する必要がないので、検出範囲が狭くなり、本来検出したい干渉対象物が検出できなくなることを防止できる。

上記態様において、前記領域除去部は、前記姿勢情報に応じて、前記特定可動部が前記距離画像データ内でどの座標領域に位置するかを予め示す対応情報を用いて、前記特定可動部に対応する画素データを決定してもよい。

本態様によれば、姿勢情報に応じて、特定可動部が距離画像データ内でどの座標領域に位置するかを予め示す対応情報を用いて、特定可動部に対応する画素データが決定されているので、距離画像データから特定可動部に対応する画素データを除去する場合の処理負担を低下させることができる。

上記態様において、前記領域除去部は、前記取得部により取得された姿勢情報を用いて、前記距離センサの３次元座標系における前記特定可動部の３次元領域を算出し、前記対応情報を用いて決定した画素データのうち、前記３次元領域に含まれる画素データを前記距離画像データから除去し、前記３次元領域に含まれない画素データを前記距離画像データに残存させてもよい。

対応情報を用いて距離画像データから特定可動部に対応する画素データを一律に除去した場合、特定可動部の手前に位置するために、距離画像データ内において特定可動部と重畳して映り込んでいる干渉対象物が、距離画像データから除去されるおそれがある。

本態様では、距離センサの３次元座標系にける特定可動部の３次元領域が姿勢情報を用いて算出され、対応情報を用いて決定された画素データのうち、３次元領域に含まれる画素データは距離画像データから除去され、３次元領域に含まれない画素データは距離画像データに残存される。そのため、距離画像データ内において、干渉対象物が特定可動部と重畳している場合であっても、干渉対象物が距離画像データから除去されることを防止できる。

上記態様において、前記領域除去部は、前記取得部により取得された姿勢情報を用いて、前記距離センサの３次元座標系における前記特定可動部の３次元領域を算出し、前記距離画像データを構成する画素データのうち、前記３次元領域に含まれる画素データを前記距離画像データから除去し、前記３次元領域に含まれない画素データを前記距離画像データに残存させてもよい。

本態様によれば、距離センサの３次元座標系にける特定可動部の３次元領域が姿勢情報を用いて算出され、距離画像データを構成する画素データのうち、３次元領域に含まれる画素データは距離画像データから除去され、３次元領域に含まれない画素データは、距離画像データに残存される。そのため、距離画像データ内において、干渉対象物が特定可動部と重畳している場合であっても、干渉対象物が距離画像データから除去されることを防止できる。

上記態様において、前記特定可動部は、前記本体部において前記運転室に隣接して起伏可能に接続されたブームであってもよい。

本態様によれば、運転室の干渉のおそれがないブームの情報が距離画像データから除去されるので、ブームが干渉対象物として検出されることを防止できる。

上記態様において、前記ブームは、前記本体部において前記運転室に隣接して起伏可能に接続された第１ブームと、前記第１ブームに対して前記第１ブームの起伏方向と交差する方向に揺動可能に取り付けられた第２ブームとを備えてもよい。

第１ブームに加えて、第１ブームの起伏領域と交差する方向に揺動可能に取り付けられた第２ブームを備える作業装置は、取り得る姿勢の自由度が高いので、いずれかのブームが距離センサの検出範囲内に侵入する頻度が高い。

本態様では、第１、第２ブームが特定可動部とされているので、両ブームの情報が距離画像データから除去される。そのため、両ブームが干渉対象物として誤検出されることが防止でき、無用な動作制限や警告の頻発を防止できる。

上記態様において、前記距離センサは、赤外線を照射する光源と、前記赤外線の反射光を受光するカメラとを備えてもよい。

赤外線を照射する光源と、赤外線の反射光を受光するカメラとを備える距離センサは、近年、コンシューマゲーム向けの入力インターフェースとして実用化が進んでおり、信頼性が高い。本態様ではこのような距離センサが採用されているので、信頼性の高い距離計測を実現できる。

上記態様において、前記距離センサは、ステレオカメラを備えてもよい。

ステレオカメラを備える距離センサは、近年、車載用途などで実用化が進んでおり、信頼性が高い。本態様では、このような距離センサが採用されているので、信頼性の高い距離計測を実現できる。

本発明によれば、特定可動部が距離センサの検出範囲に侵入したとしても、特定可動部が干渉対象物として誤検知されることを防止でき、無用な動作停止及び警告の発報が防止できる。また、特定可動部が検出範囲から除外されるように、距離センサを配置する必要がないので、検出範囲が狭くなり、本来検出したい干渉対象物が検出できなくなることを防止できる。

本発明の実施の形態における干渉防止装置が適用された建設機械の外観図である。 図１に示す建設機械のシステム構成の一例を示すブロック図である。 作業装置を簡略化して示した図である。 距離画像データから座標領域が除去される処理の説明図である。 図１に示す建設機械の処理を示すフローチャートである。 座標領域に重畳して干渉対象物が映り込んだ距離画像データを示す図である。 変形例１における領域除去部の処理の説明図である。 変形例３における作業装置を簡略的に示した図である。 従来技術を示す図である。 従来技術を示す図である。 従来技術を示す図である。

図１は、本発明の実施の形態における干渉防止装置が適用された建設機械１の外観図である。ここでは、建設機械１としてハイブリッドショベルを例に挙げるが、これ以外のショベルカー、クレーン等の建設機械に干渉防止装置は適用されてもよい。以下、運転室３１の前側の方向を前方と記述し、運転室３１の後側の方向を後方と記述し、運転室３１の上側の方向を上方と記述し、運転室３１の下側の方向を下方と記述する。また、前方と後方とを総称して前後方向と記述し、上方と下方とを総称して上下方向と記述する。また、運転室３１から前方を見て左側の方向を左方と記述し、右方向を右方と記述する。また、左方と右方とを総称して左右方向と記述する。

建設機械１は、クローラ式の下部走行体２と、下部走行体２上に旋回可能に設けられた上部旋回体３（本体部の一例）と、上部旋回体３に取り付けられ、姿勢が変更可能な作業装置４とを備えている。

作業装置４は、上部旋回体３に対し、運転室３１の例えば右方に隣接して起伏可能に取り付けられたブーム１５と、ブーム１５の先端部に対して揺動可能に取り付けられたアーム１６と、アーム１６の先端部に対して揺動可能に取り付けられたアタッチメント１７とを備えている。ここで、ブーム１５、アーム１６、及びアタッチメント１７は、複数の可動部の一例に相当する。また、以下の説明では、ブーム１５が、運転室３１に干渉しない特定可動部の一例に相当するものとして説明する。アタッチメント１７としては、バケット、破砕機、解体機などが採用できる。

上部旋回体３は、箱体で構成され、オペレータが搭乗する運転室３１を備える。運転室３１において、前方側の面を前面３１ａ、上方側の面を上面３１ｂと記述する。

運転室３１の前方には、前方側から順に警告領域Ｄ１及び自動運転領域Ｄ２が設定されている。警告領域Ｄ１は、干渉対象物が侵入した場合、干渉対象物が運転室３１に接近しており、危険が迫っていることをオペレータに報知したり、作業装置４の動作を制限させたりするための領域である。自動運転領域Ｄ２は、干渉対象物が侵入した場合、作業装置４の動作を自動停止或いは制限させるための領域である。

警告領域Ｄ１は、境界面Ｌ１と境界面Ｌ２とによって区画される。境界面Ｌ１は、前面３１ａを臨む境界面Ｌ１１と上面３１ｂを臨む境界面Ｌ１２とで構成される。境界面Ｌ１１は、前面３１ａから前方に距離ｄ１１離れた位置において、前面３１ａと平行に設定された平面である。境界面Ｌ１２は、上面３１ｂから上方に距離ｄ１１離れた位置において、上面３１ｂと平行に設定された平面である。

自動運転領域Ｄ２は、境界面Ｌ２と前面３１ａ及び上面３１ｂとで区画される。境界面Ｌ２は、前面３１ａを臨む境界面Ｌ２１と上面３１ｂを臨む境界面Ｌ２２とで構成される。境界面Ｌ２１は、前面３１ａから前方に距離ｄ１２（＜ｄ１１）離れた位置において、前面３１ａと平行に設定された平面である。境界面Ｌ２２は、上面３１ｂから上方に距離ｄ１２離れて設定された平面である。

なお、警告領域Ｄ１及び自動運転領域Ｄ２の最下端は、例えば、運転室３１の下部の前方に設けられている。また、警告領域Ｄ１及び自動運転領域Ｄ２の左右方向の幅は、例えば、前面３１ａの左右方向の幅或いはその幅に多少のマージンを設けた幅に設定されている。但し、これらは、一例であり、警告領域Ｄ１及び自動運転領域Ｄ２の最下端、及び左右方向の幅は規定されていなくてもよい。また、警告領域Ｄ１及び自動運転領域Ｄ２は、前面３１ａの前方にのみ設けられ、上面３１ｂの上方には設けられていなくてもよい。以下、警告領域Ｄ１及び自動運転領域Ｄ２が設定されている３次元座標系を建設機械１の３次元座標系と記述する。

前面３１ａの所定の位置（ここでは、上端）には距離センサ１１０が設けられている。距離センサ１１０は、計測範囲が少なくとも境界面Ｌ２１の全域をカバーできるように、前面３１ａに設置されている。これにより、前面３１ａに対向する警告領域Ｄ１において距離センサ１１０の死角が発生せず、干渉対象物が自動運転領域Ｄ２に侵入するまでに建設機械１は、オペレータに警告を発することが可能となる。

建設機械１は、更に、角度センサ１０１，１０２，１０３を備える。角度センサ１０１は、ブーム１５の回転支点に設けられ、ブーム１５の回転角度を計測する。角度センサ１０２は、アーム１６の回転支点に設けられ、アーム１６の回転角度を計測する。角度センサ１０３は、アタッチメント１７の回転支点に設けられ、アタッチメント１７の回転角度を計測する。

上部旋回体３には、距離センサ１１０と電気的に接続され、建設機械１の全体を制御するコントローラ１２０が設けられている。また、運転室３１内には、コントローラ１２０の制御の下、建設機械１の状態等をオペレータに報知する報知部１４０が設けられている。

図２は、図１に示す建設機械１のシステム構成の一例を示すブロック図である。建設機械１は、エンジン２１０と、エンジン２１０の出力軸に連結された油圧ポンプ２５０及び発電電動機２２０と、油圧ポンプ２５０から油圧シリンダ２７１に対する作動油の給排を制御するコントロールバルブ２６０と、発電電動機２２０により発電された電力が充電可能な蓄電装置２４０と、蓄電装置２４０と発電電動機２２０との電力の変換を行うインバータ２３０とを備えている。

油圧ポンプ２５０は、エンジン２１０の動力により作動して、作動油を吐出する。油圧ポンプ２５０から吐出された作動油は、コントロールバルブ２６０によって流量制御された状態で、油圧シリンダ２７１に導かれる。

コントロールバルブ２６０は、コントローラ１２０の制御の下、操作レバー１３０の操作量に応じた開度に弁の開度を設定する。

油圧シリンダ２７１は、作動油の供給を受けて伸縮することにより、上部旋回体３に対してブーム１５を起伏させるブームシリンダと、作動油の供給を受けて伸縮することにより、ブーム１５に対してアーム１６を揺動させるアームシリンダと、作動油の供給を受けて伸縮することにより、アーム１６に対してアタッチメント１７揺動させるバケットシリンダとを含む。

発電電動機２２０は、エンジン２１０の動力を電力に変換する発電機としての構成と、蓄電装置２４０が蓄える電力を動力に変換する電動機としての構成とを備えている。図２の例では、発電電動機２２０は例えば三相モータで構成されているが、これは一例であり、単相モータで構成されていてもよい。

蓄電装置２４０は、例えば、リチウムイオンバッテリ、ニッケル水素バッテリ、電気二重層キャパシタ、及び鉛バッテリといった種々の二次電池で構成される。

インバータ２３０は、コントローラ１２０の制御の下、発電電動機２２０の発電機としての作動と、発電電動機２２０の電動機としての作動との切り換えを制御する。また、インバータ２３０は、コントローラ１２０の制御の下、発電電動機２２０に対する電流及び発電電動機２２０のトルクを制御する。図２の例では、インバータ２３０は例えば、３相インバータで構成されているが、これは一例であり単相インバータで構成されていてもよい。

更に、建設機械１は、取得部１００と、図１に示した距離センサ１１０、コントローラ１２０、及び報知部１４０と、作業装置４の姿勢を変更するためのオペレータによる操作を受け付ける操作レバー１３０とを備えている。

取得部１００は、図１で説明した角度センサ１０１，１０２，１０３を備え、作業装置４の姿勢を示す姿勢情報を取得する。ここでは、ブーム１５の回転角度、アーム１６の回転角度、及びアタッチメント１７の回転角度が姿勢情報に該当する。

距離センサ１１０は、自身から、運転室３１の周囲に位置する物体までの距離を計測する。本実施の形態では、距離センサ１１０としては、例えば、赤外線を照射する光源と、赤外線及び可視光が受光可能なカメラと、カメラが撮像した画像データを処理するプロセッサとを備える深度センサで構成されている。

距離センサ１１０は、例えば、一定の時間毎（例えば３０ｆｐｓ）で赤外線を照射し、赤外線を照射してから反射光を受信するまでの時間を画素単位で計測する深度センサで構成され、運転室３１の周辺環境の距離分布を示す距離画像データを取得する。

赤外線を照射する深度センサは、距離計測手段として近年実用化例が増えてきており、ゲームなどでゼスチャ入力を行うための入力インターフェースとして活用されている。また、建設機械１は夜間に使用されることもあるので、赤外線を用いた深度センサは建設機械１にとって有用である。なお、赤外線を照射する深度センサにおいては、上記のように赤外線を照射してから反射光を受信するまでの時間を計測する方式はＴｏＦ（Ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）方式として知られている。その他、深度センサとしては、特定パターンを照射した際の反射光の受光パターンから距離を計測するパターン照射方式が知られており、このパターン照射方式の深度センサが採用されてもよい。建設機械１は屋外で作業することが多いため、太陽光との干渉に強いレーザー走査ＴｏＦ方式の深度センサが採用されてもよい。

ここでは、距離センサ１１０として深度センサを用いたが、本発明はこれに限定されず、深度センサに比べて比較的安価なステレオカメラで距離センサ１１０は構成されてもよい。この場合、距離センサ１１０は、例えば、ステレオカメラと、ステレオカメラを構成する複数のカメラで撮像された複数枚の画像データから物体までの距離分布を算出するプロセッサとで構成される。

操作レバー１３０は、例えば、オペレータによって操作され、操作量を示す信号をコントローラ１２０に出力する。

コントローラ１２０は、例えば、マイクロコントローラ等のプロセッサ及びプログラム等を記憶する記憶装置で構成されている。そして、コントローラ１２０は、領域除去部１２１、干渉判定部１２２、及び干渉防止部１２３を備えている。領域除去部１２１〜干渉防止部１２３は、専用のハードウェア回路で構成されてもよいし、ＣＰＵがプログラムを実行することで実現されてもよい。

領域除去部１２１は、取得部１００により取得された姿勢情報を用いて、距離画像データにおいて、ブーム１５に対応する画素データを決定し、決定した画素データを距離画像データから除去する。以下、ブーム１５に対応する画素データが除去された距離画像データを有効処理データと記述する。

図３は、作業装置４を簡略化して示した図である。図３において、ブーム１５、アーム１６、及びアタッチメント１７は説明を簡略化するために直線で示されている。図３の例では、建設機械１の座標系は、前面３１ａが前後方向の原点に設定され、基準面ＳＥが上下方向の原点に設定され、前面３１ａの左右方向の中心が左右方向の原点に設定されている。

ブーム１５、アーム１６、及びアタッチメント１７の長さは既知である。また、運転室３１の前面３１ａと角度センサ１０１との前後方向の距離ｄαも既知である。よって、ブーム１５の前面３１ａに対する回転角度θ１、アーム１６のブーム１５に対する回転角度θ２、及びアタッチメント１７のアーム１６に対する回転角度θ３が分かれば、三角関数を用いることで、作業装置４の代表的な点Ｐ（例えば、アタッチメント１７の先端Ｐ１や、アームの先端Ｐ２や、ブームの先端Ｐ３）の高度ｄｙ及び深度ｄｚを算出できる。ここで、高度ｄｙとは、例えば、前後方向と平行な基準面ＳＥから点Ｐまでの上下方向の距離を指し、深度ｄｚとは、例えば、前面３１ａから点Ｐまでの前後方向の距離を指す。

したがって、回転角度θ１〜θ３が分かれば、建設機械１の３次元座標系、すなわち、実空間での点Ｐの位置を特定できる。そして、点Ｐが分かれば、距離センサ１１０の画角、取り付け位置、及び光軸の角度から、距離センサ１１０で計測される距離画像データのどの座標領域にブーム１５、アーム１６、及びアタッチメント１７が表れているのかを判断することができる。

そこで、本実施の形態では、図２に示す領域除去部１２１は、姿勢情報に応じて、ブーム１５が距離画像データ内でどの座標領域に位置するかを予め示す対応情報を備えている。そして、領域除去部１２１は、対応情報を用いて、距離センサ１１０が計測した姿勢情報に応じたブーム１５に対応する画素データを決定する。

対応情報としては、例えば、ブーム１５の回転角度θ１と、回転角度θ１に応じた座標領域の外縁の複数の代表点の座標とが対応付けられたデータが採用できる。代表点としては、例えば、座標領域の頂点の座標が採用できる。なお、図４に示す距離画像データＧ４０１の例では、座標領域４１１はブーム１５を示しているが、この座標領域４１１には頂点が含まれていない。この場合、代表点としては、例えば、距離画像データＧ４０１に表れている三角形状の座標領域４１１の３つの頂点の座標が採用できる。

干渉判定部１２２は、有効処理データを用いて、作業装置４又は作業装置４の把持物である干渉対象物を検出し、検出した干渉対象物の運転室３１への干渉の危険性を判定する。

ここで、干渉判定部１２２は、検出した干渉対象物の深度が警告領域Ｄ１或いは自動運転領域Ｄ２に侵入しているか否かにより、干渉対象物による干渉の危険性を判定する。

具体的には、干渉判定部１２２は、有効処理データにおいて深度が最小の座標に干渉対象物が位置すると判定し、その座標の深度を干渉対象物の深度として検出すればよい。

そして、干渉判定部１２２は、検出した干渉対象物の高さ及び深度を、距離センサ１１０の３次元座標系から建設機械１の３次元座標系に変換し、変換した高さ及び深度が警告領域Ｄ１或いは自動運転領域Ｄ２に侵入しているか否かを判定すればよい。

或いは、干渉判定部１２２は、深度のみを用いて干渉対象物が警告領域Ｄ１或いは自動運転領域Ｄ２に侵入しているか否かを判定してもよい。この場合、干渉判定部１２２は、距離画像データ内の最小の深度を建設機械１の３次元座標系に座標変換し、得られた深度が前面３１ａから距離ｄ１２の範囲内に位置すれば自動運転領域Ｄ２に侵入していると判定し、得られた深度が前面３１ａから距離ｄ１２以上、距離ｄ１１の範囲内に位置すれば警告領域Ｄ１に侵入していると判定すればよい。

干渉防止部１２３は、干渉判定部１２２により干渉の危険性が有ると判定された場合、オペレータへの警告及び作業装置４の動作制限の少なくとも一方を行う。具体的には、干渉判定部１２２により、干渉対象物が警告領域Ｄ１に位置すると判定された場合、干渉防止部１２３は、報知部１４０に警告をさせる。

警告の態様としては、ブザーを鳴動させる態様や、警告ランプを点灯又は点滅させる態様や、表示パネルに警告のメッセージを表示させる態様が採用できる。或いは、これらの態様を組み合わせた態様が警告の態様として採用されてもよい。

また、干渉判定部１２２により、干渉対象物が自動運転領域Ｄ２に位置すると判定された場合、干渉防止部１２３は、作業装置４を減速させる或いは自動停止させることで、作業装置４の動作を制限する。

この場合、干渉防止部１２３は、操作レバー１３０の操作量に応じて設定されるコントロールバルブ２６０の弁の開度を作業装置４を減速させる方向に補正することで、作業装置４を減速させればよい。更に、この場合、干渉防止部１２３は、干渉対象物の深度が運転室３１に近づくにつれて作業装置４の減速量を増大させてもよい。

報知部１４０は、運転室３１の内部に設けられたブザー、表示パネル、及び警告ランプを備え、干渉防止部１２３の制御の下、オペレータに警告を行う。

次に、図１に示す建設機械１の処理について説明する。図５は、図１に示す建設機械１の処理を示すフローチャートである。

建設機械１が掘削や解体動作を開始した時にこのフローチャートは、開始されるされる。切削や解体動作の開始は、操作レバー１３０の操作量から判断されればよい。まず、建設機械１のモードが干渉防止モードに設定されていれば（Ｓ５０１でＹＥＳ）、処理はＳ５０２に進められ、干渉防止モードに設定されていなければ（Ｓ５０１でＮＯ）、処理は終了される。ここで、干渉防止モードとは、干渉対象物が運転室３１に近づいた場合に警告や動作制限を行うモードである。

Ｓ５０２では、角度センサ１０１は、ブーム１５の回転角度θ１を計測する。次に、領域除去部１２１は、対応情報を用いて、回転角度θ１に応じた座標領域を決定する（Ｓ５０３）。

次に、領域除去部１２１は、決定した座標領域を構成する画素データを距離画像データから除去し、残りの距離画像データを有効処理データとして決定する（Ｓ５０４）。

次に、干渉判定部１２２は、有効処理データ内で深度の最小値を干渉対象物の深度として検出する（Ｓ５０５）。

ここで、雨、雪、虫など意図しない障害物が距離画像データ内に映り込むこともある。そして、意図しない障害物の深度が干渉対象物の深度よりも小さければ、意図しない障害物が干渉対象物として誤検出されてしまう可能性がある。そこで、この誤検出を防止するために、Ｓ５０５の処理の前段に意図しない障害物を除去する処理を設けてもよい。この場合、干渉判定部１２２は、例えば、有効処理データに含まれる１以上の物体のうち、一定の面積以下の物体を除去するといった処理やスムージング処理を行えばよい。

次に、干渉判定部１２２は、干渉対象物の深度が警告領域Ｄ１或いは自動運転領域Ｄ２に侵入しているか否かにより干渉の危険性を判定する（Ｓ５０６）。ここで、干渉判定部１２２は、現在から過去一定期間の距離画像データ（過去フレーム）を用いて、干渉対象物の速度を求め、この速度を考慮して干渉の危険性を判定してもよい。例えば、干渉対象物の深度が警告領域Ｄ１に位置していても、干渉対象物の速度が運転室３１から離れる方向を向いているのであれば、干渉判定部１２２は、干渉の危険性はないと判定してもよい。

次に、干渉判定部１２２により干渉の危険性があると判定された場合（Ｓ５０７でＹＥＳ）、干渉防止部１２３は、警告或いは動作制限を行い（Ｓ５０８）、処理をＳ５０１に戻す。一方、干渉の危険性がないと判定された場合（Ｓ５０７でＮＯ）、処理はＳ５０１に戻される。

なお、上記フローチャートでは、干渉対象物が警告領域Ｄ１に侵入したと判定した場合、警告のみが行われているが、作業装置４が減速されてもよい。そして、干渉対象物が自動運転領域Ｄ２に侵入したと判定した場合、干渉防止部１２３は、作業装置４を自動停止させてもよい。或いは、干渉対象物が警告領域Ｄ１に侵入したと判定した場合、操作レバー１３０の操作量に拘わらず、干渉防止部１２３は、自動運転領域Ｄ２内に干渉対象物が侵入しないように作業装置４の動作を制限してもよい。図５に示すフローチャートは干渉防止モードが有効である限り繰り返し続けられる。

次に、有効処理データを決定する処理について詳しく説明する。図４は、距離画像データから座標領域４１１を構成する画素データが除去される処理の説明図である。図４において、セクション（ａ）は座標領域４１１を構成する画素データが除去されない場合の距離画像データＧ４０１を示し、セクション（ｂ）は座標領域４１１を構成する画素データが除去された場合の距離画像データＧ４０１を示す。

図４において、座標領域４１１は、距離画像データＧ４０１において、ブーム１５が表れている領域を示している。また、アーム領域４１２は、距離画像データＧ４０１において、アーム１６が表れている領域を示し、アタッチメント領域４１３は、アタッチメント１７が表れている領域を示している。

セクション（ａ）の例では、距離画像データＧ４０１から座標領域４１１を構成する画素データが除去されていない。そのため、干渉判定部１２２は、距離画像データＧ４０１に表れている座標領域４１１の下端の点Ｐ４０１を深度が最小の位置として検出してしまう。これは、ブーム１５は上部旋回体３から上方に向けて延びるように上部旋回体３に取り付けられており、座標領域４１１の下方ほど深度が小さくなるからである。

しかし、点Ｐ４０１を干渉対象物の最接近ポイントと認識してしまうと、本来は建設機械１の設計上、干渉するおそれがないブーム１５に対して干渉の危険性が判断されてしまい、無用な警告や動作制限が行われてしまい、実用的ではない。

一方、図４のセクション（ｂ）では、距離画像データＧ４０１から座標領域４１１を構成する画素データが除去されている。そのため、干渉判定部１２２は、距離画像データＧ４０１に表れているアタッチメント領域４１３の先端の点Ｐ４０２を深度が最小の位置として検出している。

これにより、本来検出したかった干渉対象物であるアタッチメント１７の先端の点Ｐ４０２が最接近ポイントとして検出される。

このように、本実施の形態では、建設機械１のブーム１５が距離センサ１１０の計測範囲に侵入したとしても、ブーム１５が干渉対象物として誤検知されることを防止できる。一方、ブーム１５が距離センサ１１０の計測範囲に侵入してない場合は、建設機械１の運転室３１の前方の広範囲の領域から干渉対象物を検出することができ、建設機械１の安全性を高めることができる。

（変形例１）
変形例１は、ブーム１５の手前に干渉対象物が位置しており、距離画像データ内にブーム１５の座標領域と干渉対象物の領域とが重畳して映り込んでいる場合において、座標領域の除去に伴って、干渉対象物の領域が除去されることを防止するものである。

図６は、座標領域８１１に重畳して干渉対象物が映り込んだ距離画像データＧ８０１を示す図である。図６の例では、把持物を示す把持物領域８１３の一部とアタッチメント１７を示すアタッチメント領域８１２の一部とが座標領域８１１に重なっている。この場合、対応情報から特定される座標領域８１１を構成する画素データを距離画像データＧ８０１から一律に除去すると、把持物領域８１３のうち座標領域８１１と重畳する重畳領域８１４（ハッチングで示す領域）と、アタッチメント領域８１２のうち座標領域８１１と重畳する重畳領域８１５（ハッチングで示す領域）とを構成する画素データが、距離画像データＧ８０１から除去されてしまい、干渉対象物の最接近ポイントが正確に検出できなくなる。

そこで、変形例１において、領域除去部１２１は、以下の処理を行う。図７は、変形例１における領域除去部１２１の処理の説明図である。図７では、距離センサ１１０の３次元座標系７００が示されている。図７において、縦軸は上方を示し、横軸は右方を示し、奥側に向かう軸は前方を示す。

まず、領域除去部１２１は、角度センサ１０１により計測されたブーム１５の回転角度θ１を用いて、３次元座標系７００におけるブーム１５の３次元領域７１０を算出する。ここで、３次元座標系７００において、ブーム１５の長さ及び断面積は既知であり、ブーム１５の基端７３０の位置も既知とする。この場合、領域除去部１２１は、基端７３０から回転角度θ１の方向にブーム１５の断面積及び長さを持つ角柱を設定することで、３次元領域７１０を算出すればよい。

次に、領域除去部１２１は、対応情報を用いて、回転角度θ１に応じた座標領域を距離画像データ内から決定する。次に、領域除去部１２１は、決定した座標領域を構成する画素データのうち、３次元領域７１０に含まれる画素データを抽出し、抽出した画素データを距離画像データから除去する。具体的には、領域除去部１２１は、座標領域から１つずつ所定の順序で画素データを取り出し、取り出した画素データが３次元領域７１０内に位置していれば、その画素データは３次元領域７１０に含まれる画素データと判定すればよい。

この場合、図６に示すように、座標領域８１１から重畳領域８１４，８１５を除く領域が除去されるが、重畳領域８１４，８１５は残存する。そのため、把持物領域８１３及びアタッチメント領域８１２の全域が有効処理データに残存し、干渉対象物の最接近ポイントを検出できなくなることを防止できる。

（変形例２）
変形例１では、座標領域を構成する画素データの中から３次元領域７１０に含まれる画素データが抽出され、その画素データが距離画像データから除去されていた。変形例２は、距離画像データを構成する画素データの中から３次元領域７１０に含まれる画素データを抽出し、その画素データを距離画像データから除去する。

変形例２において、領域除去部１２１は、まず、図７を用いて説明した手法を用いて３次元領域７１０を算出する。そして、領域除去部１２１は、距離画像データを構成する画素データのうち３次元領域７１０に含まれる画素データを抽出し、抽出した画素データを距離画像データから除去する。具体的には、領域除去部１２１は、距離画像データから１つずつ所定の順序で画素データを取り出し、取り出した画素データが３次元領域７１０内に位置していれば、その画素データは３次元領域７１０に含まれる画素データと判定すればよい。

変形例２の手法では、距離画像データのうち３次元領域７１０に含まれる画素データ以外は除去されないので、図６に示すように、把持物領域８１３とアタッチメント領域８１２とが座標領域８１１に重畳していたとしても、重畳領域８１４，８１５は除去されない。そのため、干渉対象物の最接近ポイントを正確に検出できる。

（変形例３）
図８は、変形例３における作業装置４１を簡略的に示した図である。作業装置４１は、ブーム１５（第１ブームの一例）とアーム１６との間に設けられたオフセットブーム１５１（第２ブームの一例）を備えている。オフセットブーム１５１は、ブーム１５の起伏方向Ｄ１５と交差する方向に揺動可能に取り付けられている。具体的には、起伏方向Ｄ５１を含む面と直交する平面内において揺動方向Ｄ１５１に揺動可能に取り付けられている。ここで、オフセットブーム１５１の揺動位置には図略の角度センサが取り付けられ、この角度センサを用いてオフセットブーム１５１の回転角度θ４が検出される。また、アーム１６は、オフセットブーム１５１に対して、揺動可能に取り付けられている。

このような作業装置４１は、取り得る姿勢の自由度が高いので、アタッチメント１７或いはアタッチメント１７の把持物が、運転室３１から見てブーム１５の手前に位置決めされることがある。

そのため、作業装置４１を備えている建設機械１においては、特に、変形例１、２で示した手法を用いることが有用となる。

また、作業装置４１を備えている建設機械１においては、オフセットブーム１５１も、設計上、運転室３１との干渉がないと考えられる。したがって、作業装置４１においては、ブーム１５に加えてオフセットブーム１５１も特定可動部として取り扱われても良い。

この場合、領域除去部１２１はブーム１５の回転角度θ１に加えて、オフセットブーム１５１の回転角度θ４を用いてブーム１５及びオフセットブーム１５１の姿勢を特定し、特定した姿勢から距離画像データにおけるブーム１５及びオフセットブーム１５１に対応する画素データを決定し、距離画像データから除去すればよい。

この場合、領域除去部１２１は、回転角度θ１とブーム１５の座標領域との対応関係を示す対応情報に加えて、回転角度θ４とオフセットブーム１５１の座標領域との対応関係を示す対応情報を予め備えておけばよい。そして、領域除去部１２１は、これらの対応情報を用いて、回転角度θ１，θ４に応じた座標領域を決定し、座標領域を構成する画素データを距離画像データから除去すればよい。

変形例３に変形例１の手法を適用する場合、領域除去部１２１は、オフセットブーム１５１の断面及び長さが既知であるものとし、オフセットブーム１５１の３次元領域の先端から回転角度θ４の方向にオフセットブームの長さ分延ばした角柱をオフセットブーム１５１の３次元領域として算出すればよい。

そして、領域除去部１２１は、座標領域を構成する画素データのうち、ブーム１５及びオフセットブーム１５１の３次元領域に含まれる画素データを距離画像データから除去し、ブーム１５及びオフセットブーム１５１の３次元領域に含まれない画素データを距離画像データに残存させればよい。これによって、ブーム１５及びオフセットブーム１５１の手前に位置する干渉対象物が距離画像データから除去されることを防止できる。

また、変形例３に変形例２の手法を適用させる場合、領域除去部１２１は、上述の手法を用いてブーム１５及びオフセットブーム１５１の３次元領域を算出し、距離画像データを構成する画素データのうち３次元領域に含まれる画素データは距離画像データから除去し、３次元領域に含まれない画素データは距離画像データに残存させればよい。

なお、変形例３では、オフセットブーム１５１が特定可動部に含められているが、建設機械１が下部走行体２にドーサーを備えているのであれば、このドーサーが特定可動部に含められても良い。

（変形例４）
本発明において、特定可動部に対応する画素データを距離画像データから除去する態様には、特定可動部に対応する画素データを実際には除去せずに、無効画素データとして設定し、干渉判定部１２２が干渉の危険性を判定するに際し、無視する態様も含まれる。

θ１，θ２，θ３，θ４ 回転角度
１ 建設機械
２ 下部走行体
３ 上部旋回体
４ 作業装置
１５ ブーム
１６ アーム
１７ アタッチメント
３１ 運転室
４１ 作業装置
１００ 取得部
１０１，１０２，１０３ 角度センサ
１１０ 距離センサ
１２０ コントローラ
１２１ 領域除去部
１２２ 干渉判定部
１２３ 干渉防止部
１３０ 操作レバー
１４０ 報知部
１５１ オフセットブーム
４１１，８１１ 座標領域
４１２ アーム領域
４１３ アタッチメント領域
７００ ３次元座標系
７１０ ３次元領域

Claims (8)

1. 複数の可動部を備え、姿勢が変更可能な作業装置と、運転室と、前記作業装置及び前記運転室が搭載された本体部とを備える建設機械の干渉防止装置であって、
   前記運転室の周辺環境の距離分布を示す距離画像データを取得する距離センサと、
   前記距離センサによって計測された距離画像データを用いて、前記作業装置又は前記作業装置の把持物である干渉対象物を検出し、前記検出した干渉対象物の前記運転室への干渉の危険性を判定する干渉判定部と、
   前記干渉判定部により前記干渉の危険性が有ると判定された場合、乗車者へ警告及び前記建設機械の動作制限の少なくとも一方を行う干渉防止部と、
   前記作業装置の姿勢を示す姿勢情報を取得する取得部と、
   前記取得部により取得された姿勢情報を用いて、前記距離画像データにおいて、前記複数の可動部のうち前記運転室に干渉しない特定可動部に対応する画素データを決定し、前記決定した画素データを前記距離画像データから除去する領域除去部とを備え、
   前記干渉判定部は、前記特定可動部に対応する画素データが除去された距離画像データを用いて、前記干渉の危険性を判定する建設機械の干渉防止装置。
2. 前記領域除去部は、前記姿勢情報に応じて、前記特定可動部が前記距離画像データ内でどの座標領域に位置するかを予め示す対応情報を用いて、前記特定可動部に対応する画素データを決定する請求項１に記載の建設機械の干渉防止装置。
3. 前記領域除去部は、前記取得部により取得された姿勢情報を用いて、前記距離センサの３次元座標系における前記特定可動部の３次元領域を算出し、前記対応情報を用いて決定した画素データのうち、前記３次元領域に含まれる画素データを前記距離画像データから除去し、前記３次元領域に含まれない画素データを前記距離画像データに残存させる請求項２に記載の建設機械の干渉防止装置。
4. 前記領域除去部は、前記取得部により取得された姿勢情報を用いて、前記距離センサの３次元座標系における前記特定可動部の３次元領域を算出し、前記距離画像データを構成する画素データのうち、前記３次元領域に含まれる画素データを前記距離画像データから除去し、前記３次元領域に含まれない画素データを前記距離画像データに残存させる請求項１に記載の建設機械の干渉防止装置。
5. 前記特定可動部は、前記本体部において前記運転室に隣接して起伏可能に接続されたブームである請求項１〜４のいずれかに記載の建設機械の干渉防止装置。
6. 前記ブームは、前記本体部において前記運転室に隣接して起伏可能に接続された第１ブームと、前記第１ブームに対して前記第１ブームの起伏方向と交差する方向に揺動可能に取り付けられた第２ブームとを備える請求項５に記載の建設機械の干渉防止装置。
7. 前記距離センサは、赤外線を照射する光源と、前記赤外線の反射光を受光するカメラとを備える請求項１〜６のいずれかに記載の建設機械の干渉防止装置。
8. 前記距離センサは、ステレオカメラを備える請求項１〜６のいずれかに記載の建設機械の干渉防止装置。

Images