JP7619089B2 - 後部旋回干渉監視装置 - Google Patents

Description

移動式クレーンの上部旋回体の後部が旋回によって他の物体と干渉することを監視する後部旋回干渉監視に関する。

車両の後進または駐車する場合に他の物体と干渉することを警告する運転支援技術が実用化されている。例えば、特許文献１には、所望の駐車方法に応じた駐車を行うことができるようにする技術が記載されている。特許文献１の情報処理装置は、自動で車両を駐車させる自動駐車の駐車方法に応じたモードごとに、自動駐車が完了するまでの所要時間を算出し、モードに応じた所要時間の表示を制御することで、自動駐車が完了するまでの所要時間に応じて所望の駐車を行うことができるようにする。特許文献１の技術は、例えば、自動運転を行うことが可能な車両が備える自動運転システムの一部として組み込まれる自動駐車システムに適用することができると謳われている。

特開２０１７－１４０８９０号公報

運転支援技術を移動式クレーンに応用する場合、クレーンを移動して設置するときの干渉だけでなく、クレーン作業において上部旋回体の旋回による後部の干渉を監視する目的でも適用することが考えられる。しかし、運転支援技術では車両に干渉するものがどのような物体であるかがわからない。車両運転技術を移動式クレーンに応用する場合、干渉する物体が撤去可能かどうかをオペレータが判断して、クレーンを設置する必要がある。

本発明では、移動式クレーンを設置するときに、上部旋回体の後部が旋回によって周辺にある物体と干渉するのを検知し、干渉物が移動できるか否かを表示することを目的とする。

本発明の観点に係る後部旋回干渉監視装置は、
移動式クレーンの上部旋回体の旋回によって前記上部旋回体の後部が掃引する範囲を含む画像を取得する画像取得部と、
前記上部旋回体の旋回によって前記後部が干渉しうる干渉物を検知する干渉検知部と、
前記干渉検知部が前記干渉物を検知した場合に、前記画像から前記干渉物が移動できるか否かを判定する可搬判定部と、
前記干渉物の有無および前記干渉物が移動できるか否かを表示する表示部と、
を備える。

好ましくは、前記可搬判定部は、前記画像中の前記干渉物の領域から、前記干渉物が移動できる場合と移動できない場合とに分類するニューラルネットワークの学習済モデルを含む。

好ましくは、前記可搬判定部は、前記画像中の前記干渉物の領域から前記干渉物の種類を分類する、ニューラルネットワークの学習済モデルを含む。

好ましくは、前記干渉検知部は、画像認識装置、レーダ、レーザスキャナおよび超音波検出器の少なくとも１つから得た前記移動式クレーンの周囲の物体の位置と大きさの情報から前記干渉物を検知する。

好ましくは、前記干渉物が移動できないと前記可搬判定部が判定した場合に、前記移動式クレーンのクレーン作業を始める前に前記移動式クレーンが移動されたか否かの情報を取得する移動情報取得部と、
前記可搬判定部の判定結果、および、クレーン作業を始める前に前記移動式クレーンが移動されたか否かの情報を関連づけて記憶する記憶部と、
を備える。

本発明の後部旋回干渉監視装置によれば、移動式クレーンの設置位置を決めるときに、上部旋回体の後部が干渉する物体が移動できるか否かを確認できる。移動不可能な干渉物がある場合には、移動式クレーンを作業姿勢にする前に移動式クレーンの設置位置を変更することができる。

本発明の実施の形態に係る後部旋回干渉監視装置を備える移動式クレーンの一例を示す外観図 本発明の実施の形態１に係る後部旋回干渉監視装置の機能ブロック図 実施の形態１に係る可搬判定部のブロック図 実施の形態１に係るニューラルネットワークの例を示す図 干渉物の種類を分類するニューラルネットワークの他の例を示す図 実施の形態１に係る後部旋回干渉監視の動作の一例を示すフローチャート 実施の形態２に係る後部旋回干渉監視装置の機能ブロック図 実施の形態２に係る後部旋回干渉監視の動作の一例を示すフローチャート

以下、本発明の実施の形態について図面を参照して詳細に説明する。なお図中、同一または同等の部分には同一の符号を付す。

実施の形態１．
図１は、本発明の実施の形態に係る後部旋回干渉監視装置を備える移動式クレーンの一例を示す外観図である。図１に示すクレーン１００は、ラフテレーンクレーンである。クレーン１００の下部走行体２０は、下部フレーム２４の後部に配置されたエンジンルーム２３に収容されるエンジンを備える。下部走行体２０は、操舵可能な車輪２７、およびエンジンで駆動可能な車輪２８を備え、地上を走行することができる。下部走行体２０は、下部フレーム２４の前後それぞれにアウトリガ２５，２６を備えている。アウトリガ２５，２６を下部走行体２０の左右に張り出し、下に伸ばして接地し、下部フレーム２４をアウトリガ２５，２６で支えることができる。

下部フレーム２４の中央部に、旋回ベアリング２９を介して上部旋回体３０が旋回自在に搭載されている。上部旋回体３０は、旋回フレーム３１、伸縮ブーム３２、起伏シリンダ３３、巻き上げ装置３４、フック３５、および、ワイヤロープ３６を備える。

旋回フレーム３１には伸縮ブーム３２の基端部３８が、支点ピン３９を中心に起伏自在に支持されている。旋回フレーム３１と伸縮ブーム３２との間に介装された起伏シリンダ３３は、伸縮ブーム３２を起伏駆動する。図１は、アウトリガ２５，２６がたたみ込まれ、伸縮ブーム３２が縮められて伏せられた状態を示す。クレーン１００には、伸縮ブーム３２の右側で旋回フレーム３１の上に、走行およびクレーン操作兼用の運転室２２が配置されている。

クレーン１００は、荷を吊り下げ可能なフック３５を備える。図１では、フック３５が下部フレーム２４に納められた状態を示す。伸縮ブーム３２を起立して伸ばし、フック３５を下部フレーム２４からはずして、伸縮ブーム３２のブーム先端に取り付けられたトップシーブにワイヤロープ３６で吊り下げると、フック３５で荷を吊り下げることができる。荷を吊り下げる状態では、トップシーブはフック３５の上方に位置する。

旋回フレーム３１の後方に、ワイヤロープ３６を巻き取る巻き上げ装置３４が備えられている。フック３５を吊持するワイヤロープ３６は、トップシーブに掛け回され、基端部３８の後方に配置されたスライドシーブに掛け回されて、巻き上げ装置３４に巻き取られる。

作業時のクレーン１００の安定を保つために、旋回フレーム３１の後部３７にカウンタウエイトが取付けられている。旋回フレーム３１が旋回ベアリング２９の中心軸の周りに旋回すると、カウンタウェイトを含む旋回フレーム３１の後部３７は、下部走行体２０の範囲から外に振れて回る。下部走行体２０の横の旋回フレーム３１の旋回する範囲に物体があると、上部旋回体３０が旋回するときに後部３７が物体に干渉する。クレーン１００は、後部３７が旋回するときに他の物体に干渉するのを監視する後部旋回干渉監視装置を備える。

図２は、本発明の実施の形態１に係る後部旋回干渉監視装置の機能ブロック図である。後部旋回干渉監視装置１０（以下、監視装置１０ということがある）には、クレーン１００の周囲の物体を検知する物体検知センサ１８、および、上部旋回体３０の周囲を撮影するカメラ１９が接続されている。物体検知センサ１８およびカメラ１９はそれぞれ、例えば、上部旋回体３０の左右に１台ずつ配置されている。物体検知センサ１８は、上部旋回体３０の右側と左側の空間にある物体を検知する。カメラ１９は、上部旋回体３０の右側と左側の、上部旋回体３０の旋回によって後部３７が掃引する範囲を含む空間を撮影する。

監視装置１０は、画像取得部１１、干渉検知部１２、認識範囲設定部１３、可搬判定部１４、および、表示部１５を備える。画像取得部１１は、カメラ１９から上部旋回体３０の旋回によって後部３７が掃引する範囲を含む画像を取得する。干渉検知部１２は、物体検知センサ１８からクレーン１００の周囲の物体の位置と大きさを示す情報を取得する。

物体検知センサ１８は、例えば、画像認識装置、レーダ、レーザスキャナまたは超音波検出器である。干渉検知部１２は、クレーン１００の周囲の物体のクレーン１００に対する位置と大きさを示す情報から、上部旋回体３０の旋回によって後部３７が掃引する範囲にある物体を、干渉物として検知する。物体検知センサ１８が画像認識装置の場合、例えばカメラ１９をステレオカメラとして、カメラ１９の画像から周囲の物体を検知してもよい。その場合、監視装置１０に物体検知センサ１８を含めることができる。

干渉検知部１２で干渉物を検知した場合、認識範囲設定部１３は、画像取得部１１で取得した画像の中の干渉物を含む範囲として認識範囲を設定する。カメラ１９の位置と撮像範囲は、後部３７が掃引する範囲を含む空間を撮影するように設定されているので、カメラ１９の画像には干渉物の像が含まれている。認識範囲設定部１３は、干渉物の像が含まれるように認識範囲を設定する。

干渉物がある場合、可搬判定部１４は、画像取得部１１で取得した画像の認識範囲から、干渉物が移動できるか否かを判定する。可搬判定部１４は、干渉物が、例えば、はしごもしくは脚立、仮置きフェンス、車両、または、仮設トイレ等の場合は、移動できると判定する。可搬判定部１４は、地面に固定された構造物、例えば、固定フェンス、塀もしくは壁、埋め込まれた柱、または、立木等の場合は、移動できないと判定する。

表示部１５は、干渉検知部１２で検知した干渉物の有無、および、可搬判定部１４で判定した干渉物が移動できるか否かの判定結果を表示する。干渉物があることを表示するには、例えば、ブザーを鳴動させたり、スピーカから警告音を発生させたりする。また、ランプを点灯させたり、オペレータが監視する画面に警告のアイコンや画像を表示させたりする。警告には、音響表示と視覚表示を併用することができる。干渉物が移動可能か否かの判定結果は、例えば、オペレータが監視する画面に干渉物の画像とともに、文字またはアイコン等で表示する。表示部１５は、干渉物が移動可能か否かを、文字列もしくはアイコンの種類、色、点滅または輝度、あるいは、それらの組み合わせで区別して表示することができる。

図３は、実施の形態１に係る可搬判定部のブロック図である。実施の形態１では、可搬判定部１４はニューラルネットワークの学習済モデル４１と、移動可能性演算部４２を備える。学習済モデル４１は、画像の認識範囲から、例えば、干渉物が移動できる場合と移動できない場合の２状態に分類するニューラルネットワークを含む。

図４は、実施の形態１に係るニューラルネットワークの例を示す図である。ニューラルネットワーク４３は、人工ニューロンから構成されるノードを含む入力層、中間層および出力層、ならびに、互いに隣接する層の間でノードを相互に接続するエッジから構成される。中間層は、１層以上のｎ層を含む。入力層の各ノードｉ（ｉ＝１．．．ｋ）には、画像の認識範囲のそれぞれの画素値ｘｉが入力される。中間層では、それぞれ前の層の出力が結合され活性化関数で演算された結果が後の層に伝達されて、最終的に出力層に出力される。中間層で、畳み込み層とプーリング層を繰り返すことにより、認識範囲の画像データを干渉物が移動できる場合と移動できない場合に分類する。出力層は、移動できる場合と移動できない場合のノードを有し、ノードｊ（ｊ＝１、２）はそれぞれ、画像データが状態ｊに分類される確率ｐｊを出力する。

ニューラルネットワーク４３には、干渉物が移動できる場合と移動できない場合に分類されている複数の画像データを入力し、画像データが分類されている状態と、ニューラルネットワーク４３の出力との差をバックプロパゲーションして各パラメータを調整することで、機械学習させておく。機械学習させる画像データは、少なくとも、干渉物が移動できる場合の画像データと干渉物が移動できない場合の画像データを含む。

図３の移動可能性演算部４２は、ニューラルネットワーク４３の出力である干渉物が移動できる場合と移動できない場合の確率から、干渉物が移動できるか否かを演算する。例えば、干渉物が移動できる場合の確率から移動できない場合の確率を減じた差が定められた閾値より大きければ、移動できると演算し、閾値以下の場合は移動できないと演算する。可搬判定部１４は、移動可能性演算部４２の演算結果を移動できるか否かの判定結果として表示部１５に出力する。

後部旋回干渉監視装置１０は、Ｉ／Ｏインターフェース、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を備える。ＣＰＵは、例えばマイクロプロセッサ等であって、様々な処理や演算を実行する中央演算処理部である。監視装置１０は、ＲＯＭに記憶されている制御プログラムを読み出して、ＲＡＭをワークメモリとして用いながら、ＣＰＵで制御プログラムを実行させることによって、画像取得部１１、干渉検知部１２、認識範囲設定部１３、可搬判定部１４、および、表示部１５の動作を行う。監視装置１０は、図示しないクレーン制御装置に組み込まれていてもよい。また、監視装置１０がクレーン制御装置の機能として、実現されていてもよい。

図５は、干渉物の種類を分類するニューラルネットワークの他の例を示す図である。図５のニューラルネットワーク４４は、図３の学習済モデル４１の異なる例を示す。図５のニューラルネットワーク４４は、図４のニューラルネットワーク４３と類似の構造を有する。干渉物の種類を分類するニューラルネットワーク４４は、分類する種類の数のノードｐ１、ｐ２、ｐ３、．．．ｐＭから出力層が構成されている。

ニューラルネットワーク４４は、認識範囲に含まれる画像データから干渉物の種類を、例えば、はしごもしくは脚立、仮置きフェンス、車両、仮設トイレ、固定フェンス、塀もしくは壁、埋め込まれた柱、および、立木等に分類する。

ニューラルネットワーク４４には、干渉物の種類に分類されている複数の画像データを入力し、画像データが分類されている干渉物の種類と、ニューラルネットワーク４４の出力との差をバックプロパゲーションして各パラメータを調整することで、機械学習させておく。

学習済モデル４１が図５のニューラルネットワーク４４の場合、図３の移動可能性演算部４２は、ニューラルネットワーク４４の出力である干渉物の種類それぞれの確率から、干渉物が移動できるか否かを演算する。移動可能性演算部４２は、例えば、ニューラルネットワーク４４の出力である確率が最も大きいノード、すなわち最も確からしい干渉物の種類が移動できるか否かに従って、干渉物が移動できるか否かを演算する。あるいは例えば、ニューラルネットワーク４４の出力ノードの種類を、移動できる種類と移動できない種類に分け、それぞれの種類の確率の合計値の大きい方を採用して、干渉物が移動できるか否かを演算する。

図５のニューラルネットワーク４４は、図４のニューラルネットワーク４３の一部であってもよい。すなわち、図５のニューラルネットワーク４４の出力層に続けて、干渉物の種類から干渉物が移動できる場合と移動できない場合とに分類して出力する層が接続されて、図４のニューラルネットワーク４３が構成されてもよい。

図６は、実施の形態１に係る後部旋回干渉監視の動作の一例を示すフローチャートである。後部旋回干渉監視は、クレーン１００のオペレータの操作によって起動される。例えば、アウトリガ２５，２６の張出の動作が指令されたときに、後部旋回干渉監視が起動される。または、上部旋回体の旋回ロックが解除されたとき、もしくは、ブームの収納位置への固定ロックが解除されたときに、後部旋回干渉監視が起動される。

狭い作業現場においては、資材が置いてあったりして、走行姿勢のままでは現場内を通れない状況があり得る。そのような場合、アウトリガ２５，２６を張り出さずに、ブームを起立させ、さらに上部旋回体を旋回させて、現場内を移動することがある。そのようなときにも後部旋回干渉監視を行う必要がある。また、アウトリガを備えないクローラクレーンでは、上部旋回体の旋回ロックが解除されたとき、もしくは、ブームの収納位置への固定ロックが解除されたときに、後部旋回干渉監視を起動する。

後部旋回干渉監視装置１０の画像取得部１１は、カメラ１９から上部旋回体３０の旋回によって後部３７が掃引する範囲を含む画像を取得する（ステップＳ１０）。干渉検知部１２は、物体検知センサ１８からクレーン１００の周囲の物体の位置と大き示す情報を取得し、上部旋回体３０の旋回によって後部３７が掃引する範囲にある物体を、干渉物として検知する（ステップＳ１１）。上部旋回体３０の旋回によって後部３７が干渉する干渉物がない場合は（ステップＳ１２；Ｎ）、干渉監視動作を終了する。

干渉物がある場合は（ステップＳ１２；Ｙ）、表示部１５は、干渉物があることを警告する表示を行う（ステップＳ１３）。続いて認識範囲設定部１３は、画像取得部１１で取得した画像の中の干渉物を含む範囲として認識範囲を設定し、可搬判定部１４は、設定された認識範囲の画像データから、干渉物が移動できるか否かを判定する（ステップＳ１４）。

干渉物が移動できると判定された場合（ステップＳ１５；Ｙ）、表示部１５は、干渉物が移動できることを表示する（ステップＳ１６）。干渉物が移動できないと判定された場合（ステップＳ１５；Ｎ）、表示部１５は、干渉物が移動できないことを表示する（ステップＳ１７）。干渉物が移動できるか否かを表示したのち、干渉監視動作を終了する。

実施の形態１の後部旋回干渉監視装置１０によれば、上部旋回体３０の旋回によって後部３７が掃引する範囲にある物体を干渉物として検知し、さらに、干渉物が移動できるか否かを判定して表示するので、クレーン１００の設置位置を決めるときに、上部旋回体３０の後部３７が干渉する物体が移動できるか否かを確認できる。

実施の形態１の監視装置１０は、ラフテレーンクレーン以外に、トラッククレーン、オールテレーンクレーン、クローラクレーン、鉄道クレーン等の移動式クレーンに適用できる。

実施の形態２．
図７は、実施の形態２に係る後部旋回干渉監視装置の機能ブロック図である。実施の形態２の後部旋回干渉監視装置１０は、移動情報取得部１６および記憶部１７をさらに備える。その他の構成は、実施の形態１と同様である。

移動情報取得部１６は、干渉物が移動できるか否かを可搬判定部１４が判定したのち、クレーン１００のクレーン作業を始める前にクレーン１００が移動されたか否かの情報を取得する。例えば、監視装置１０は図示しないクレーン制御装置から、クレーン１００の移動とクレーン作業の状態の情報を得ることができる。

クレーン１００が移動したことは、画像取得部１１でカメラ１９から取得した画像が変化したことで認識してもよい。クレーン作業が開始されたことは、例えば、アウトリガ２５，２６の張出、伸縮ブーム３２の起伏もしくは伸縮、上部旋回体３０の旋回、または、巻き上げ装置３４の作動などによって知ることができる。

記憶部１７は、可搬判定部１４の判定結果、および、クレーン作業を始める前にクレーン１００が移動されたか否かの情報を関連づけて記憶する。クレーン１００の設置場所を変えなければならなかった理由を記録することができ、クレーンの作業計画に役立つデータを収集することができる。

記憶部１７が記憶する情報には、（１）干渉物が移動できる；クレーン非移動、（２）干渉物が移動できる；クレーン移動、（３）干渉物が移動できない；クレーン非移動、（４）干渉物が移動できない；クレーン移動、の４通りがあり得る。記憶部１７はさらに、可搬判定部１４の判定結果と実際が異なるか否かをオペレータに入力させて、入力された情報を判定結果に対応づけて記憶してもよい。それらのデータと画像データとを、可搬判定部１４の学習データとしてフィードバックすることができる。

図８は、実施の形態２に係る後部旋回干渉監視の動作の一例を示すフローチャートである。図８のフローチャートでステップＳ１０からステップＳ１７までは、図６のステップＳ１０からステップＳ１７と同じである。干渉物が移動できないと判定された場合（ステップＳ１５；Ｎ）、表示部１５は、干渉物が移動できないことを表示し（ステップＳ１７）、移動情報取得部１６は、クレーン作業を始める前にクレーン１００が移動されたか否かの情報を取得する（ステップＳ１８）。

干渉物が移動できることを表示した（ステップＳ１６）のち、および、クレーン１００が移動されたか否かの情報を取得した（ステップＳ１８）のち、記憶部１７は、干渉物が移動できるか否かの判定結果と、クレーン作業を始める前にクレーン１００が移動されたか否かの情報とを対応づけて記憶して（ステップＳ１９）、干渉監視動作を終了する。

図８では、干渉物が移動できないと判定された場合（ステップＳ１５；Ｎ、ステップＳ１７）に、クレーン１００が移動されたか否かの情報を取得（ステップＳ１８）しているが、干渉物が移動できると判定された場合（ステップＳ１５；Ｙ、ステップＳ１６）にも、クレーン作業を始める前にクレーン１００が移動されたか否かの情報を取得してもよい。

実施の形態２の後部旋回干渉監視装置１０によれば、クレーン１００の設置場所を変えなければならなかった理由を記録することができ、クレーンの作業計画に役立つデータを収集することができる。

１０ 後部旋回干渉監視装置
１１ 画像取得部
１２ 干渉検知部
１３ 認識範囲設定部
１４ 可搬判定部
１５ 表示部
１６ 移動情報取得部
１７ 記憶部
１８ 物体検知センサ
１９ カメラ
２０ 下部走行体
２２ 運転室
２３ エンジンルーム
２４ 下部フレーム
２５，２６ アウトリガ
２７，２８ 車輪
２９ 旋回ベアリング
３０ 上部旋回体
３１ 旋回フレーム
３２ 伸縮ブーム
３３ 起伏シリンダ
３４ 巻き上げ装置
３５ フック
３６ ワイヤロープ
３７ 後部
３８ 基端部
３９ 支点ピン
４１ 学習済モデル
４２ 移動可能性演算部
４３，４４ ニューラルネットワーク
１００ クレーン

Claims (5)

1. 移動式クレーンの上部旋回体の旋回によって前記上部旋回体の後部が掃引する範囲を含む画像を取得する画像取得部と、
   前記上部旋回体の旋回によって前記後部が干渉しうる干渉物を検知する干渉検知部と、
   前記干渉検知部が前記干渉物を検知した場合に、前記画像から前記干渉物が移動できるか否かを判定する可搬判定部と、
   前記干渉物の有無および前記干渉物が移動できるか否かを表示する表示部と、
   を備える後部旋回干渉監視装置。
2. 前記可搬判定部は、前記画像中の前記干渉物の領域から、前記干渉物が移動できる場合と移動できない場合とに分類するニューラルネットワークの学習済モデルを含む、請求項１に記載の後部旋回干渉監視装置。
3. 前記可搬判定部は、前記画像中の前記干渉物の領域から前記干渉物の種類を分類する、ニューラルネットワークの学習済モデルを含む、請求項１または２に記載の後部旋回干渉監視装置。
4. 前記干渉検知部は、画像認識装置、レーダ、レーザスキャナおよび超音波検出器の少なくとも１つから得た前記移動式クレーンの周囲の物体の位置と大きさの情報から前記干渉物を検知する、請求項１から３のいずれか１項に記載の後部旋回干渉監視装置。
5. 前記干渉物が移動できないと前記可搬判定部が判定した場合に、前記移動式クレーンのクレーン作業を始める前に前記移動式クレーンが移動されたか否かの情報を取得する移動情報取得部と、
   前記可搬判定部の判定結果、および、クレーン作業を始める前に前記移動式クレーンが移動されたか否かの情報を関連づけて記憶する記憶部と、
   を備える請求項１から４のいずれか１項に記載の後部旋回干渉監視装置。

Images