JPH11210020A - 自動運転建設機械 - Google Patents

Abstract

(57)【要約】 【課題】機種の異なるダンプトラック等の作業体に対し
ても適切な放土位置を算出し放土することのできる自動
運転建設機械を提供すること。 【解決手段】少なくとも、放土される作業体を撮像する
撮像手段１３と、前記撮像した撮像データに基づいて前
記作業体への放土位置を演算する放土位置演算手段１７
２０とを備え、教示される掘削から放土までの一巡の動
作を、再生操作により繰り返し行う自動運転建設機械に
おいて、前記作業体は前記撮像手段によって撮像される
表示部Ａ，Ｂ，Ｃ，Ｄを備え、前記放土位置演算部は、
前記撮像手段により撮像された前記表示部の表示情報か
ら前記作業体の機種を判別し、前記判別された機種の作
業体の形状データと前記撮像データとに基づいて前記放
土位置を演算することを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、自動運転建設機械
に係わり、特に、ダンプトラックやクラッシヤ等の作業
体への自動積み込み作業を行う自動運転建設機械に関す
る。

【０００２】

【従来の技術】通常、砕石現場等において、油圧ショベ
ル等の建設機械によるダンプトラックやクラッシャへの
積み込み作業は、ある決まった場所から土石を掘削し、
ダンプトラックのベッセルやクラッシャのホッパ等の決
まった場所へ放土するという単調な繰り返し作業であ
る。このような単調な繰り返し作業は、オペレータにと
って苦痛であり、人手を介在せずに自動的に行わせると
いう要求が高まっている。

【０００３】従来、このような積み込み作業の自動化方
法の一つとしては、掘削位置と放土位置とを教示して、
これらの位置間で、油圧ショベルを走行せずに旋回作業
を主として繰り返し作業を行わせていた。

【０００４】特公昭５４−７１２１号公報には、油圧シ
ョベルを用いた自動化の一手法が開示されており、この
従来技術は、教示動作によって得られた角度、位置等の
動作状態量を記憶し、再生動作時に前述した記憶値を用
いて油圧ショベルを再生動作させるものである。

【０００５】

【発明が解決しようとする課題】しかし、上記従来の方
法は、再生動作時、自動運転を行う油圧ショベルとダン
プトラック等の作業機械との位置関係が考慮されていな
い形式の自己完結型のシステムである。

【０００６】そのため、油圧ショベルが採掘した土石等
をダンプトラック等に積み込む際、毎回教示された同一
位置に放土するため、土石が同一箇所のみ高く積み込ま
れてしまい適正な積み込みが行れなかったり、また、ダ
ンプトラックも常に同一位置に配置されるとは限らず、
さらにダンプトラックが適正な位置に配置されたとして
も、再生動作を繰り返しているうちに油圧ショベル自身
が位置ずれを起こしてしまった場合、ダンプトラックの
放土すべき適正な箇所に放土できないという問題があっ
た。

【０００７】また、ダンプトラック等は種々の形状を有
し、これらの複数種類の形状を有するダンプトラックの
いずれに対しても適正な位置で積み込みを行うために
は、ダンプトラックの機種を特定しなければならない。
これに対処するために、ダンプトラックから無線等によ
ってそのダンプトラックの形状データを油圧ショベル等
の作業機械側に送信する方法も考えられるが、余分の設
備を必要とし経済的でない。

【０００８】本発明の目的は、上記の問題点に鑑みて、
自動運転ショベル等の自動運転建設機械に撮像手段を設
け、撮像データから種類の異なるダンプトラック等の作
業体の機種を判定し適切な放土位置で放土することを可
能にした自動運転建設機械を提供することにある。

【０００９】

【課題を解決するための手段】本発明は、上記の課題を
解決するために、次のような手段を採用した。

【００１０】少なくとも、放土される作業体を撮像する
撮像手段と、前記撮像した撮像データに基づいて前記作
業体への放土位置を演算する放土位置演算手段とを備
え、教示される掘削から放土までの一巡の動作を、再生
操作により繰り返し行う自動運転建設機械において、前
記作業体は前記撮像手段によって撮像される表示部を備
え、前記放土位置演算部は、前記撮像手段により撮像さ
れた前記表示部の表示情報から前記作業体の機種を判別
し、前記判別された機種の作業体の形状データと前記撮
像データとに基づいて前記放土位置を演算することを特
徴とする。

【００１１】また、請求項１に記載の自動運転建設機械
において、前記表示部は、前記作業体の機種毎に点滅周
期の異なる光源から構成されることを特徴とする。

【００１２】また、請求項１に記載の自動運転建設機械
において、前記表示部は、前記作業体の機種毎に異なる
色を有することを特徴とする。

【００１３】また、請求項１に記載の自動運転建設機械
において、前記表示部は、前記作業体の機種毎に発光色
が異なるとともに、点滅周期が異なる光源から構成され
ることを特徴とする。

【００１４】

【発明の実施の形態】以下に本発明の一実施形態を図１
から図７を用いて説明する。

【００１５】図２は本実施形態に係わる自動運転を行う
油圧ショベル（以下自動運転建設機械という）の作業態
様を示す図である。

【００１６】図において、１は後述する貯留された土石
３を掘削して後述するダンプトラック２に放土する自動
運転建設機械、２は、土石が積み込まれるベッセル１４
を備え、自動運転建設機械１から放土された土石を積み
込み運搬するダンプトラック、３は土石貯留所に貯留さ
れた土石、１５は自動運転建設機械１から遠隔の位置に
配置され自動運転建設機械１を無線等の通信手段を利用
して遠隔操作する遠隔操作装置である。

【００１７】自動運転建設機械１は、走行体４と、走行
体４上に旋回可能に設けられた旋回体５と、旋回体５に
俯仰動可能に設けられるブーム６と、ブーム６の先端に
回動可能に設けられたアーム７と、アーム７の先端に回
動可能に設けられたバケット８と、旋回体５とブーム６
との俯仰角を検出する角度センサ９、ブーム６とアーム
７との回動角を検出する角度センサ１０、アーム７とバ
ケット８との回動角を検出する角度センサ１１と、旋回
体５に設けられた運転台１２と、運転台１２等の屋上に
設けられ、ダンプトラック２の積み込み場所を撮像する
ために設けられたビデオカメラ１３と、から構成されて
いる。

【００１８】また、ベッセル１４には、ダンプトラック
２の機種を判定すると共に、ベッセル１４の後述する画
像上の特徴点を把握するための光源Ａ，Ｂ，Ｃ，Ｄが設
けられている。

【００１９】なお、ビデオカメラ１３の設置位置は放土
時に放土目標であるベッセル１４が常に見える位置が望
ましい。

【００２０】図１は、本実施形態に係わる自動運転建設
機械の再生操作時の制御機構を示すブロック図である。
なお、この図において、図１に示す符号と同じ符号の箇
所は図１に示すものと同一箇所を示す。

【００２１】図において、１７は自動運転建設機械１に
搭載される装置を示し、１７１は主としてコンピュータ
で構成される自動運転コントローラ、１７２は後述する
サーボ制御部１７１２から出力される駆動信号によって
駆動される、旋回体５、ブーム６、アーム７、バケット
８に設けられるアクチュエータに流入する油量または油
圧を制御する電磁制御弁、１７３はアクチュエータの動
作量を検出する検出器である。

【００２２】自動運転コントローラ１７１は、検出器１
７３からの検出信号に基づいて自動運転建設機械の動作
位置を演算する現在位置演算部１７１１と、現在位置演
算部１７１１からの帰還値と入力値とを比較してその偏
差を補正する駆動信号を電磁制御弁１７２に出力するサ
ーボ制御部１７１２と、教示時または再生動作の放土時
に教示されて教示位置データが記憶される教示位置格納
部１７１３と、教示位置格納部１７１３に格納された教
示位置データを出力する教示位置出力処理部１７１４
と、教示コマンドが記憶される教示コマンド格納部１７
１５と、教示位置出力処理部１７１４から出力される教
示位置データ間を補間処理するサーボ前処理部１７１６
と、教示コマンド格納部１７１５からの教示コマンドを
シーケンシャルに読み出し、教示位置出力処理部１７１
４に教示位置データを出力させるための指令を出力する
とともに、教示点間の移動速度値を出力するコマンドイ
ンタプリタ部１７１７と、ビデオカメラ１３がベッセル
１４を撮像するのに適切と考えられる自動運転建設機械
１の再生動作位置が格納されている画像取込位置格納部
１７１８と、画像取込位置で撮像された複数の画像デー
タを一時的に記憶する画像データ格納部（フレームバッ
ファ）１７１９と、画像データ格納部１７１９に格納さ
れた画像データに基づいて、ダンプトラック２の機種を
判定して検索されたベッセル１４の形状データと画像デ
ータから算出されたベッセル１４の特徴点とに基づい
て、放土位置を算出する放土位置演算部１７２０と、か
ら構成されている。

【００２３】上記のごとく、教示位置格納部１７１３に
格納される、例えば、放土位置、掘削位置、旋回体５の
旋回方向等の教示位置データのうち、放土位置データ
は、他の教示位置データが教示操作時に前もって格納さ
れるのに対して、再生動作時に、放土位置演算部１７２
０によって算出される度に放土位置データとして格納さ
れる。

【００２４】遠隔操作装置１５は、教示時に、教示位置
格納部１７１３に教示位置データを格納する教示操作部
１５１と、再生動作時に、コマンドインタプリタ部１７
１６を起動して再生動作させる再生操作部１５２とから
構成される。

【００２５】１８はダンプトラック２に搭載され、ダン
プトラック２の機種毎に点滅周期の異なる点滅信号を光
源Ａ，Ｂ，Ｃ，Ｄに出力する点滅コントローラである。

【００２６】図３に、ダンプトラック２のベッセル１４
に光源Ａ，Ｂ，Ｃ，Ｄを取り付けた状態を示す。この図
はベッセル１４の後方から見た場合であり、ここでは、
光源を４個としているが、対象物の位置と姿勢を精度よ
く知るためには、もっと多くの光源を用いてもよい。ま
た、一般的にカメラ１台でベッセル１４の特徴点を抽出
し、その特徴点から目標物の位置と姿勢を計算するため
には少なくとも３点の特徴点が必要である。

【００２７】次に、本実施形態に係わる自動運転建設機
械の動作を図１および図２に基づいて説明する。

【００２８】はじめに、図２に示すように、自動運転建
設機械１のバケット８によって、貯留されている土石３
を掘削した後、バケット８をダンプトラック２のベッセ
ル１４の位置まで移動させ、このベッセル１４の所定の
位置で放土し、再び、バケット８を土石３の貯留場所に
復帰させるまでの一巡の動作をする場合について説明す
る。

【００２９】再生起動するために、再生操作部１５２を
操作すると、通信手段によって再生起動信号が遠隔操作
装置１５から自動運転建設機械１に伝達され、コマンド
インタプリタ部１７１７に入力される。コマンドインタ
プリタ部１７１７はこの再生起動信号を入力すると、教
示コマンド格納部１７１５に格納されているコマンドを
シーケンシヤルに読み出し、教示位置格納部１７１３か
ら教示位置出力処理部１７１４に教示位置データを出力
させる。教示位置データはサーボ前処理部１７１６に転
送され、かつコマンドインタプリタ部１７１７から与え
られる目標速度で、自動運転建設機械１のフロントの各
関節や旋回体が動作するように補間計算を行い、サーボ
制御部１７１２に目標角度値を出力する。サーボ制御部
１７１２では、現在位置演算部１７１１で演算された現
在の位置をもとにフィードバック制御を行い、電磁制御
弁１７１２に駆動信号を出力する。これにより、予め教
示された動作が再生される。

【００３０】次に、図１に示す放土位置演算部１７２０
における処理手順を図４に示すフローチャートを用いて
説明する。

【００３１】ステップ１において、現在位置演算部１７
１１から入力される現在位置データと画像取込位置格納
部１７１８に格納されている画像取込位置データとを対
比して、自動運転建設機械１が画像取込位置に達したか
否かを判断し、画像取込位置に達すると、ステップ２に
おいて、ビデオカメラ１３から画像を取り込む。ダンプ
トラック２の機種毎に光源Ａ，Ｂ，Ｃ，Ｄの点滅周期が
異なるので、点滅周期を識別するために数フレーム分の
画像データを画像データ格納部（フレームバッファ）１
７１９に格納する。次に、ステップ３において、画像デ
ータ格納部（フレームバッファ）１７１７に格納された
複数フレームからダンプトラック２の機種を判定する。
ステップ４において、機種が判定されると、機種毎に記
憶されているベッセル１４の形状データ、ここでは、各
光源Ａ，Ｂ，Ｃ，Ｄ間の距離を検索する。次に、ステッ
プ５において、取り込まれた画像データから各光源Ａ，
Ｂ，Ｃ，Ｄに対応する画像上の特徴点ａ，ｂ，ｃ，ｄの
位置を算出する。次いで、ステップ６において、前記検
索された形状データ（各光源Ａ，Ｂ，Ｃ，Ｄ間の距離）
と特徴点ａ，ｂ，ｃ，ｄの位置データとに基づいて、ベ
ッセル１４上の適切な放土位置を算出する。算出された
放土位置データは教示位置格納部１７１３に送出され
る。

【００３２】なお、この放土位置の算出は、一般に、少
なくともベッセル１４等の対象物の３点の特徴点Ａ，
Ｂ，Ｃ，Ｄ間の距離が既知であれば、ビデオカメラ１３
で撮像された画面内のこれらの特徴点ａ，ｂ，ｃ，ｄの
各位置を知ることにより、公知の計算方法によって各点
の空間での位置を求めることができる。公知の計算方法
としては、特公昭６２−５４１０８号公報、大村等によ
って発表された電子情報通信学会論文誌Ｄ−ｌＶｏｌ．
Ｊ７２−Ｄ−ＩＮｏ．９ｐｐ−１４４１−１４４７、が
知られている。

【００３３】上記したように、ダンプトラック２は機種
毎にベッセル１４の形状が異なり、それに伴ってベッセ
ル１４の各特徴点Ａ，Ｂ，Ｃ，Ｄ間の距離も異なってい
る。従って、放土位置演算部１７２０では、各機種毎の
各特徴点Ａ，Ｂ，Ｃ，Ｄ間の実際の距離を知らなければ
放土位置を演算することができない。

【００３４】以下にダンプトラック２の機種毎のベッセ
ル１４の各特徴点Ａ，Ｂ，Ｃ，Ｄ間の距離データの入手
法について図５〜図７を用いて説明する。

【００３５】図５は、ダンプトラック２の機種毎の光源
Ａ，Ｂ，Ｃ，Ｄの点滅周期を示す図である。

【００３６】ここで、機種１〜機種３はそれぞれダンプ
トラック２の機種毎の点滅周期、フレーム１〜１２は撮
像された画像フレーム、Ｏｎは光源Ａ，Ｂ，Ｃ，Ｄの点
灯状態、Ｏｆｆは消灯状態を表す。なお、ここでは機種
１の点滅周期を画像データ格納部（フレームバッファ）
１７１９の取り込み周期の倍の長さとする。即ち、一番
短い周期の点滅は点灯状態の画像と消灯状態の画像が交
互に画像データ格納部（フレームバッファ）１７１９に
格納されていることになる。機種２の点滅周期は、点灯
状態が２フレーム、消灯状態が２フレーム撮影されるよ
うな周期であり、機種３の点滅周期は、点灯状態が３フ
レーム、消灯状態が３フレーム撮影されるような周期で
ある。

【００３７】図６は、画像データ格納部（フレームバッ
ファ）１７１９の画像データから特徴点ａ，ｂ，ｃ，ｄ
の検出を説明するための図である。

【００３８】ここで、図６（ａ）は光源Ａ，Ｂ，Ｃ，Ｄ
が点灯しているときの画像、図６（ｂ）は光源Ａ，Ｂ，
Ｃ，Ｄが消灯しているときの画像、図６（ｃ）は前記両
画像の差分を取った画像であり、これによって、前記両
画像の明るさの変化している部分を抽出することができ
る。この変化が検出されるまでの画像データ格納部（フ
レームバッファ）１７１９に格納されているフレーム数
をカウントすることにより、機種別の周期を知ることが
できる。

【００３９】図７は、図４に示すステップ３における、
光源Ａ，Ｂ，Ｃ，Ｄの点滅周期の違いからダンプトラッ
ク２の機種を判定するための処理手順を示すフローチャ
ートである。

【００４０】はじめに機種１の点滅パターンの場合につ
いて説明する。

【００４１】ここで、count1とcount2はカウンタ、f＿n
umはフレームバッファの番号を示す変数である。

【００４２】ステップ２１で、フレームバッファを初期
位置とし、ステップ２２でカウンタをクリアする。次に
ステップ２３でフレームf＿numとフレームf＿num+1、こ
こではフレーム１とフレーム２、の明るさの差分を演算
する。図５に示すように、フレーム１は点灯、フレーム
２は消灯であるから、明るさの差が検出され、ステップ
２４における判定ではYes となる。次にステップ２６に
おいて、フレームf＿numを更新する。次いでステップ２
７で、更新されたフレームf＿numとフレームf＿num+1、
ここではフレーム２とフレーム３、の明るさの差分を演
算する。フレーム２は消灯であり、フレーム３は点灯で
あるから明るさの差分が検出され、ステップ２８におけ
る判定はYesとなる。次いで、ステップ３０で、count1
とcount2が対比され、共に１であるから、ステップ３１
で周期はcount1＝１であるから１と判断され、次いで、
ステップ３２において、周期＝１であることから機種１
であると判定される。なお、機種１の点滅パターンはフ
レーム毎に明るさの差が出るので、どのフレームから演
算を開始しても同じように判定される。

【００４３】次に、機種２の点滅パターンの場合につい
て説明する。

【００４４】ステップ２１で、フレームバッファを初期
位置とし、ステップ２２でカウンタをクリアする。次に
ステップ２３でフレームf＿numとフレームf＿num+1、こ
こではフレーム１とフレーム２、の明るさの差分を演算
する。図７に示すように、フレーム１、フレーム２は共
に点灯であるから、明るさの差は検出されず、ステップ
２４における判定ではNoとなる。ステップ２５におい
て、count1に１を加算し２となり、f＿numも更新されて
２となる。再びステップ２３に戻り、フレームf＿numと
フレームf＿num+1、ここではフレーム２とフレーム３、
の明るさの差分を演算する。フレーム２は点灯、フレー
ム３は消灯であるから明るさの差が検出され、ステップ
２４における判定はYesとなる。次に、ステップ２６で
フレームf＿numが更新されて３となる。次いで、ステッ
プ２７において、フレームf＿numとフレームf＿num+1、
ここではフレーム３とフレーム４、の明るさの差分を演
算する。フレーム３とフレーム４は共に消灯であるの
で、明るさの差分は検出されないので、ステップ２８の
判定はNoとなる。ステップ２９において、count1に１を
加算し２となり、f＿numも更新されて４となる。再びス
テップ２７に戻り、フレームf＿numとフレームf＿num+
1、ここではフレーム４とフレーム５の明るさの差分を
演算する。フレーム４は消灯、フレーム５は点灯である
から明るさの差が検出され、ステップ２８における判定
はYesとなる。次いで、ステップ３０において、count1
とcount2とが対比され、共に２であるから、ステップ３
１で周期はcount1＝２であるから２と判断され、次い
で、ステップ３２において、周期＝２であることから機
種２であると判定される。なお、機種２の場合では、フ
レーム１とフレーム２の演算からでなく、例えばフレー
ム２とフレーム３の演算を開始した場合でも、ステップ
３０の判定でcount1とcount2の値が等しくならないため
演算をステップ２からやり直すことになるが、この時、
必ず点灯状態から消灯状態または消灯状態から点灯状態
へ変化するところから演算を開始するので、２回目の演
算で正しい結果を得ることができる。

【００４５】機種３の場合も、詳細は省略するが、機種
１や機種２の場合と同様の処理手順により、各フレーム
の点滅パターンから機種３であることを判定することが
できる。

【００４６】このように、本実施形態によれば、自動運
転建設機械から放土すべきダンプトラックの種類が異な
っていても、ビデオカメラによって迅速に機種を判定す
ることができ、その判定結果から登録してある機種の形
状データを検索して、放土位置の計算に用いることがで
きる。

【００４７】なお、本実施形態において、カラー画像を
撮像できるビデオカメラを用いる場合には、点滅周期の
異なる光源に代えて機種毎に色の異なる光源を用いて機
種判別を行うことができる。その場合は、ビデオカメラ
からはＲＧＢそれぞれの色成分を別々の画像データ格納
部（フレームバッファ）１７１９に格納し、放土位置演
算部１７２０では機種毎に異なる色を登録しておき、撮
像された光源の色と対比して機種を特定することができ
る。

【００４８】また、光源として、機種毎に色が異なると
ともに、機種毎に点滅周期が異なる光源を用いることに
より、より多くの機種を判別することができる。

【００４９】上記のごとく、本実施形態によれば、撮像
手段によりベッセルに設けた機種毎に点滅周期の異な
る、または機種毎に色の異なる光源から、ダンプトラッ
クの機種を判別し、機種の異なるダンプトラックに対し
て、迅速に自動運転建設機械からベッセルの適切な位置
を算出して放土することができる。

【００５０】

【発明の効果】上記のように、本発明によれば、自動運
転建設機械において、作業体に撮像手段によって撮像さ
れる表示部を設け、放土位置演算部によって、迅速に前
記撮像手段により撮像された前記表示部の表示情報から
前記作業体の機種を判別し、前記判別された機種の作業
体の形状データと撮像データとに基づいて放土位置を演
算するようにしたので、いかなる機種の異なる作業体に
対しても、作業体の適切な位置に放土することができ
る。

【図面の簡単な説明】

【図１】本発明の一実施形態に係わる自動運転建設機械
の再生動作時の制御機構を示すブロック図である。

【図２】本実施形態に係わる自動運転建設機械の作業態
様を示す図である。

【図３】本実施形態に係わる光源Ａ，Ｂ，Ｃ，Ｄを取り
付けたベッセル１４の後部から見た状態を示す図であ
る。

【図４】図１に示す放土位置演算部１７２０における処
理手順を示すフローチャートである。

【図５】本実施形態に係わるダンプトラック２の機種毎
の光源Ａ，Ｂ，Ｃ，Ｄの点滅周期を示す図である。

【図６】本実施形態に係わる画像データ格納部（フレー
ムバッファ）１７１９の画像データから特徴点ａ，ｂ，
ｃ，ｄの検出を説明するための図である。

【図７】図４に示すステップ３における、ダンプトラッ
ク２の機種を判定するための処理手順を示すフローチャ
ートである。

【符号の説明】

１ 自動運転建設機械 ２ ダンプトラック ３ 土石 １３ ビデオカメラ １４ ベッセル １５ 遠隔操作装置 １５２ 再生操作部 １７ 車載装置 １７１ 自動運転コントローラ １７１１ 現在位置演算部 １７１２ サーボ制御部 １７１３ 教示位置格納部 １７１５ 教示コマンド格納部 １７１７ コマンドインタプリタ部 １７１８ 画像取込位置格納部 １７１９ 画像データ格納部 １７２０ 放土位置演算部

Claims (4)

【特許請求の範囲】
1. 【請求項１】 少なくとも、放土される作業体を撮像す
   る撮像手段と、前記撮像した撮像データに基づいて前記
   作業体への放土位置を演算する放土位置演算手段とを備
   え、教示される掘削から放土までの一巡の動作を、再生
   操作により繰り返し行う自動運転建設機械において、 前記作業体は前記撮像手段によって撮像される表示部を
   備え、 前記放土位置演算部は、前記撮像手段により撮像された
   前記表示部の表示情報から前記作業体の機種を判別し、
   前記判別された機種の作業体の形状データと前記撮像デ
   ータとに基づいて前記放土位置を演算することを特徴と
   する自動運転建設機械。
2. 【請求項２】 請求項１の記載において、 前記表示部は、前記作業体の機種毎に点滅周期の異なる
   光源から構成されることを特徴とする自動運転建設機
   械。
3. 【請求項３】 請求項１の記載において、 前記表示部は、前記作業体の機種毎に異なる色を有する
   ことを特徴とする自動運転建設機械。
4. 【請求項４】 請求項１の記載において、 前記表示部は、前記作業体の機種毎に発光色が異なると
   ともに、点滅周期が異なる光源から構成されることを特
   徴とする自動運転建設機械。