JPH08333086A - 吊り荷の撮像画像処理装置 - Google Patents

Abstract

(57)【要約】 【目的】本発明の主な目的は、明度が変化する環境下で
も吊り荷の位置の追跡を精度よく行なえるようにするこ
とである。 【構成】パターン画像の画素の明度が、撮像画像とパタ
ーン画像とがマッチングしたときの当該撮像画像の画素
の明度になるように、パターンマッチングが行われる毎
に、パターン画像の画素の明度のデータを逐次更新され
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ブームの先端に吊り下
げられた吊り荷を撮像し、この撮像画像を処理すること
により、吊り荷の位置を追跡する等の所定の処理を行う
装置に関する。

【０００２】

【従来の技術および発明が解決しようとする課題】ラフ
テレンクレーンのようなクレーン車のブームの先端にロ
ープを介して吊り下げられた吊り荷の荷振れを停止させ
ることは、作業の安全を確保する等の理由から重要であ
る。

【０００３】従来行われている荷振れの停止制御は、特
開平４ー８９７９５号公報にみられるごとく、画像処理
によって得られた吊り荷の位置（振れ角）を、フィード
バック量として用い、吊り荷が停止（ブームの鉛直下方
に停止）するように、吊り荷の位置（振れ角）をフィー
ドバック制御するというものである。

【０００４】ところが、このようなフィードバック制御
をクレーン車に適用すると、操作レバーがニュートラル
の状態においても制御ループが働き、何がしかの原因で
荷が振れたときには、操作レバーがニュートラルにもか
かわらず車体が動いてしまう。

【０００５】また、操作性が要求されるクレーン車にお
いて、特に微操作時（操作レバー開度が小さい時）は、
フィードバックの効果は小さい方が望ましい。

【０００６】本発明は、こうした実状に鑑みてなされた
ものであり、フィードバック制御によらないで、吊り荷
の振れ停止制御を行うことを第１の目的とするものであ
る。また、上述するような吊り荷の振れ停止制御を行お
うとする場合、その前提として、画像処理によって吊り
荷の位置を逐次検出し、吊り荷の位置を追跡（トラッキ
ング）する必要がある。

【０００７】ここに、ブームの先端に吊り下げられた吊
り荷を撮像し、この撮像画像と、吊り荷を示すパターン
画像とのパターンマッチングを逐次行い、これにより、
撮像画像上の吊り荷の位置を逐次検出し、吊り荷のトラ
ッキングを行うようにしたトラッキングシステムが、既
に公知のものとなっている。

【０００８】この種のトラッキングシステムとして、た
とえば東京大学井上研究室の「ＭＥＰシステム」を挙げ
ることができる。

【０００９】この「ＭＥＰシステム」では、撮像画像の
全領域を使用せずに、撮像画像の局所領域の画像と、予
め記憶してある基準となるパターン画像（例えば、吊り
荷を示すものとして、吊り荷のフック近傍に設けられた
ターゲットマークが使用された場合には、このターゲッ
トマークを示す画像）とを突き合わせることにより、パ
ターンマッチングを、相関演算によって高速に行うとい
うものである。

【００１０】この「ＭＥＰシステム」は、屋内のような
照度がおおよそ一定の環境で使用する場合には、吊り荷
のトラッキングの精度上、特に問題はないものの、屋外
で使用する場合には、照度変動によって吊り荷のトラッ
キングの精度が悪化することがある。 そこで、本発明
は、明度変動が発生する環境下であっても、吊り荷の撮
像画像と、吊り荷のパターン画像とのパターンマッチン
グを、精度よく行えるようにし、もって吊り荷の位置の
追跡を精度よく行えるようにすることを第２の目的とす
る。

【００１１】また、上述するようなパターンマッチング
を行うには、その前提として、ブームの先端に吊り下げ
られた吊り荷（吊り荷を示すターゲットマーク）を、ブ
ーム先端に取り付けられたテレビカメラによって撮像
し、この撮像された画像の大きさと、撮像された吊り荷
（ターゲットマーク）の大きさとの比を一定にすること
が必要である。撮像画像の中における吊り荷（ターゲッ
トマーク）のサイズと、パターン画像の中における吊り
荷（ターゲットマーク）のサイズとは、一致している必
要があるからである。

【００１２】しかし、クレーン作業中には、ロープ長が
変化し、テレビカメラとロープ先端の吊り荷（ターゲッ
トマーク）までの距離が変化するのが普通であり、クレ
ーン作業中はカメラの撮像画面中の吊り荷（ターゲット
マーク）の大きさも絶えず変化してしまう。

【００１３】ここで、線等のように、対象物の「形状」
を特徴量として画像処理する場合は、特に問題はない
が、対象物の「大きさ」が特徴量に影響する画像処理を
行う場合は、上記「大きさ」の変動は処理の精度に多大
な影響を与える。とりわけ、上述するようなパターンマ
ッチングを行うときは、「大きさ」がきわめて重要な特
徴量であるため、撮像画像中の吊り荷（ターゲットマー
ク）の大きさが変化する毎に、その大きさに応じて、基
準となるパターン画像を交換してやる必要がある。しか
し、これは、処理時間、記憶容量の増大を招来し、望ま
しくない。

【００１４】ところで、クレーン等に設けたテレビカメ
ラの撮像画像を調整する従来技術して、例えば特開平６
ー８０３８８号公報、実開平３ー８９０８３号公報に開
示されたものがあるが、いずれもオペレータの操作性や
視野調整を目的とするものであり、テレビカメラで撮像
される吊り荷の大きさを一定にするという目的とするも
のではない。

【００１５】本発明は、こうした実状に鑑みてなされた
ものであり、クレーン作業等によってロープ長が変動し
たとしても、撮像手段の撮像画像に対する吊り荷の大き
さの比が常に、所望の一定値となるようにして、パター
ンマッチング等の処理を作業効率よく、しかも記憶容量
の増大を招かないで行えるようにすることを、第３の目
的とするものである。

【００１６】

【課題を解決するための手段】上記第１の目的を達成す
るために、本発明の第１発明では、ブームの先端に吊り
下げられた吊り荷を撮像し、該撮像された画像を処理す
ることにより、画像上の吊り荷の位置を検出し、該検出
された画像上の吊り荷の位置に基づいて、前記吊り荷の
振れを停止させる振れ停止制御を行う吊り荷の撮像画像
処理装置において、前記吊り荷の振れ角度および振れ角
速度と前記ブーム先端の移動加速度との関係を記述した
運動方程式を求め、該運動方程式に基づいて、前記吊り
荷の振れ角度が前記振れ停止制御を開始すべき所定振れ
角度になった時点から前記吊り荷の振れ角度および振れ
角速度が同時に零になる時点までの前記ブーム先端の移
動速度の変化の様子を示す移動速度変化パターンを生成
する移動速度変化パターン生成手段と、前記画像上の吊
り荷の位置を追跡することにより、前記吊り荷の振れ角
度が前記所定振れ角度になったことを検出する制御開始
時点検出手段と、前記制御開始時点検出手段によって前
記所定振れ角度になったことが検出された時点より、前
記移動速度変化パターン生成手段で生成された移動速度
変化パターンに従って、前記ブーム先端の移動速度を制
御する移動速度制御手段とを具えている。

【００１７】また、上記第２の目的を達成するために、
本発明の主たる第２発明では、ブームの先端に吊り下げ
られた吊り荷を撮像し、該撮像画像と、前記吊り荷を示
すパターン画像とのパターンマッチングを逐次行うこと
により、撮像画像上の吊り荷の位置を逐次検出するよう
にした吊り荷の撮像画像処理装置において、前記パター
ン画像の画素の明度が、前記撮像画像と前記パターン画
像とがマッチングしたときの当該撮像画像の画素の明度
になるように、パターンマッチングが行われる毎に、前
記パターン画像の画素の明度のデータを逐次更新するよ
うにしている。

【００１８】また、上記第３の目的を達成するために、
本発明の第３発明では、ブームの先端に吊り下げられた
吊り荷を撮像手段によって撮像し、該撮像された画像の
大きさと、撮像された吊り荷の大きさとの比を一定にす
ることにより所定の処理を行う吊り荷の撮像画像処理装
置において、前記吊り荷のロープ長を検出するロープ長
検出手段と、前記ロープ長検出手段で検出された吊り荷
のロープ長に基づいて、前記撮像手段で撮像される画像
の大きさと、撮像された吊り荷の大きさとの比が所望の
一定値になるように、前記撮像手段のズーム量を変化さ
せる制御手段とを具えている。

【００１９】

【作用】上記第１発明によれば、吊り荷の振れ角度およ
び振れ角速度とブーム先端の移動加速度との関係を記述
した運動方程式が求められる。そして、この運動方程式
に基づいて、吊り荷の振れ角度が振れ停止制御を開始す
べき所定振れ角度になった時点から前記吊り荷の振れ角
度および振れ角速度が同時に零になる時点までのブーム
先端の移動速度の変化の様子を示す移動速度変化パター
ンが生成される。そして、画像上の吊り荷の位置を追跡
することにより、吊り荷の振れ角度が所定振れ角度にな
ったことが検出され、この検出された時点より、移動速
度変化パターンに従って、ブーム先端の移動速度が制御
される。この結果、やがて荷の振れが完全に停止する。

【００２０】このように、画像処理によって得られる吊
り荷の位置データは、制御開始の位置の検出のみという
最小限の使用にとどめられ、後は、吊り荷の位置をフィ
ードバックすることなく、荷振れの停止制御が行われる
ので、フィードバック制御をすることによる不都合が回
避されつつ、吊り荷の停止制御が精度よく行われる。ま
た、上記第２発明によれば、パターン画像の画素の明度
が、撮像画像とパターン画像とがマッチングしたときの
当該撮像画像の画素の明度になるように、パターンマッ
チングが行われる毎に、パターン画像の画素の明度のデ
ータを逐次更新される。

【００２１】このように、屋外のように、絶えず明度変
動が発生する環境下であったとしても、吊り荷の撮像画
像の画素の明度と、吊り荷のパターン画像の画素の明度
とが、逐次同じとなるように、パターン画像の画素の明
度が更新されるので、パターンマッチングが、精度よく
行なわれ、もって吊り荷の位置の追跡が精度よく行える
ようになる。

【００２２】また、上記第３発明によれば、ロープ長検
出手段で検出された吊り荷のロープ長に基づいて、撮像
手段のズーム量が変化され、撮像手段で撮像される画像
の大きさと、撮像された吊り荷の大きさとの比が所望の
一定値にされる。

【００２３】このように、クレーン作業等によってロー
プ長が変動したとしても、撮像手段の撮像画像に対する
吊り荷の大きさの比が常に、所望の一定値となるように
されるので、パターンマッチング等の処理を作業効率よ
く、しかも記憶容量の増大を招かないで行えるようにな
る。

【００２４】

【実施例】以下、図面を参照して本発明に係る吊り荷の
撮像画像処理装置の実施例について説明する。

【００２５】図１は、実施例に適用されるクレーン車１
の構成を示す図である。

【００２６】同図１に示すようにクレーン車１は、大き
くは、上部旋回体４と、この上部旋回体４に配設された
ブーム２およびキャブ（運転室）３とから構成されてい
る。図１では、アウトリガによってクレーン車１が地面
に固定されている様子を示している。

【００２７】キャブ３内には、ブーム２、上部旋回体
４、走行機構を操作するための電気操作レバー１８（図
２参照）が配設されており、この電気操作レバー１８の
操作量に応じて、対応するブーム２、上部旋回体４、走
行機構が駆動される。

【００２８】ブーム２は、起伏方向Ａおよび上部旋回体
４の旋回方向である旋回方向Ｂに回動自在となってお
り、ブーム２はつぎのようにして回動される。

【００２９】すなわち、ブーム２駆動用の操作レバー１
８の操作量を示す信号が旋回・起伏コントローラ１６に
加えられ、このコントローラ１６から駆動信号が出力さ
れる。そして、旋回・起伏コントローラ１６から出力さ
れる駆動信号は、旋回・起伏油圧回路１７により電気／
油圧変換され、ブーム駆動用の油圧シリンダに上記駆動
信号に応じた流量の圧油が供給され、これによりブーム
２が回動される。

【００３０】ブーム２の先端より、ロープ５が滑車を介
して鉛直下方に垂れ下がっており、ロープ５の先端に
は、吊り荷７を吊着したフック６が配設されている。こ
のフック６の上部には、上面からみると円環形状のター
ゲットマーク８（図８参照）が配設されている。

【００３１】ここで、ロープ５は、ウインチ等により巻
取り自在となっている。また、ブーム２は、その長さの
伸張・縮退が自在となるよう構成されている。この結
果、ロープ長（ブーム先端２ａからフック６までの長
さ）は変化するが、その変化するロープ長は、ロープ長
センサ２３によって逐次検出される。

【００３２】ブーム先端２ａには、ターゲットマーク８
を撮像するカメラ９が配設されている。カメラ９は、起
伏方向Ａにブーム２が回動したとしても、カメラ９の撮
像する方向が常に鉛直下方となるように、カメラ９を傾
斜させるカメラ搭載機構部１０を介してブーム２に装着
されている。このカメラ搭載機構部１０により、ブーム
２の起伏角度にかかわらず、カメラ９の視野内に常にタ
ーゲットマーク８が捕えられる。

【００３３】カメラ９で撮像された撮像信号は、電送モ
ジュール１１を介してキャブ３内の画像処理装置１３に
伝送される。ここで、撮像信号を伝送するコードの長さ
は、コードリール１２によって調整される。

【００３４】キャブ３には、自動荷振れ停止ボタン１
５、ディスプレイ１４が配設されており、自動荷振れ停
止ボタン１５がオンされたことを示す信号は、画像処理
装置１３に入力され、画像処理装置１３の処理結果は、
ディスプレイ１４に表示される。

【００３５】・第１の実施例 つぎに、図２から図７を参照して、吊り荷７の荷振れ停
止制御について説明する。

【００３６】図２は、第１の実施例の荷振れ停止制御装
置の構成を示すブロック図である。図６は、図２の荷振
れ停止制御装置で行われる処理の手順を示すフローチャ
ートである。

【００３７】図６のステップ１０１に示すように、まず
始めに、画像処理装置１３において、吊り荷７の荷振れ
位置が荷振れ角度に換算される。

【００３８】すなわち、クレーン車１の吊り荷７は、起
伏方向Ａおよび旋回方向Ｂに振れる。そこで、この状態
をカメラ９で撮像すると、吊り荷７が振れを起こしてい
るときの軌跡は、画像イメージ面２５上にＱに示すごと
く投影される（図２参照）。なお、実際には、ターゲッ
トマーク８の軌跡が撮像されることになる。

【００３９】起伏方向Ａの振れは、画像イメージ面２５
上でｙ方向の位置変化として捕らえられる。そして、旋
回方向Ｂの振れは、画像イメージ面２５上でｘ方向の位
置変化として捕らえられる。

【００４０】以下、両方向の振れのうち、旋回方向Ｂの
振れを停止させる場合を代表して説明する。

【００４１】旋回方向の位置ｘは、画像処理装置１３に
よって、後述する第２の実施例、第３の実施例に示すご
とく、検出される。

【００４２】そして、この旋回方向の位置ｘは、ロープ
の長さ（振り子長）Ｌp、画像イメージと実寸との比
（カメラ９の画角、被写体までの距離等）に基づいて、
旋回方向の荷振れ角ψに変換される。この結果、吊り荷
７の最大振れ位置ｘmaxに対応する最大振れ角ψmaxも求
めることができる。

【００４３】旋回方向荷振れ角度ψは、乗算器１９を介
してコントローラ１６に加えられる。同様にして、起伏
方向荷振れ角度θは、乗算器２０を介してコントローラ
１６に加えられる（ステップ１０１）。つぎに、ブーム
２を旋回させるための操作レバー１８がニュートラル位
置にあるか否かが、操作レバー１８の操作ストローク量
Ｓtを検出することによって判断される（ステップ１０
２）。

【００４４】この結果、旋回用操作レバー１８がニュー
トラル位置にないと判断されると、ステップ１０６〜１
０８に示すように、荷振れ角ψをフィードバック量とし
て荷振れを停止させる制御が実行される。

【００４５】すなわち、検出された操作ストローク量Ｓ
tは、乗数演算部２１に入力され、操作ストローク量Ｓt
の絶対値に応じた乗数Ｌsが演算され、乗算器１９に出
力される（ステップ１０６）。

【００４６】そして、 Ｆs＝ψ・Ｋ1・Ｌs …（１） ただし、ψ：現在の旋回方向荷振れ角度 Ｋ1：ゲイン というフィードバック量Ｆsを求める演算が乗算器１９
においてなされ、コントローラ１６に入力される（ステ
ップ１０７）。

【００４７】そして、コントローラ１６では、現在のレ
バー指令である操作ストローク量Ｓtと上記フィードバ
ック量Ｆsとの偏差を求める演算、 Ｓv＝（ＳtーＦs）・Ｋ2 …（２） ただし、Ｋ2：ゲイン が実行され、偏差Ｓvに応じた駆動信号が旋回・起伏油
圧回路１７に出力される。この結果、荷振れが停止する
ように、上部旋回体４（ブーム２）が旋回される。

【００４８】ここで、上記（１）式より、操作レバー１
８の開度が小さくなる程、荷振れ角度ψのフィードバッ
クの効果がより小さくなることがわかる。

【００４９】このため、操作レバーの操作性が向上する
という効果が得られる（ステップ１０８）。

【００５０】一方、旋回用操作レバー１８がニュートラ
ル位置にあると判断されると（ステップ１０２の判断Ｙ
ＥＳ）、ステップ１０３〜１０５に示すように、オープ
ンループ制御によって荷振れが停止される。

【００５１】すなわち、まず、現在時点において自動荷
振れ停止ボタン１５がオンされているか否かが判断され
る（ステップ１０３）。

【００５２】この自動荷振れ停止ボタン１５が押されて
いないオフ状態のときは、以下のオープンループ制御に
よる荷振れ停止制御は行われない。

【００５３】一方、自動荷振れ停止ボタン１５が押され
ているオン状態のときは、以下のオープンループ制御に
よる荷振れ停止制御が実行される。

【００５４】この制御は、吊り荷７の振れを停止させる
ためのブーム２の旋回方向の移動速度変化パターンを求
め、この移動速度変化パターンに従った速度で、ブーム
２旋回駆動用（つまり上部旋回体４駆動用）の油圧アク
チュエータを駆動することにより行う。

【００５５】図４は、吊り荷７が振り子運動をする様子
をｘ−ｙ座標で示す物理モデルである。

【００５６】ただし、ｍ：吊り荷７の重量 ｘs：ブーム先端２ａの旋回方向の位置 ｘ：吊り荷７の旋回方向位置 ｙ：吊り荷７の鉛直方向位置 ｇ：重力加速度 である。また、以下において「ｘ．」とあるのは、ｘの
１階微分を、「ｘ．．」とあるのは、ｘの２階微分を表
すものとする。また、（ｘ）2とあるのは、ｘの２乗を
表すものとする。

【００５７】すると、運動エネルギーＴは、 Ｔ＝（１／２）ｍ［（ｘs．＋ｘ．）2＋（ｙ．）2］…（３） となり、位置エネルギーＶは、 Ｖ＝ーｍｇＬpｃｏｓψ …（４） となり、吊り荷７の位置は、 ｘ＝Ｌpｓｉｎψ、ｙ＝ーＬpｃｏｓψ …（５） となる。

【００５８】よって、ラグラジュアンＬは、 Ｌ＝ＴーＶ＝（１／２）ｍ［（ｘs．）2＋２ｘs．ψ．Ｌpｃｏｓψ＋ （Ｌp）2（ψ）2］＋ｍｇＬpｃｏｓψ …（６） よって、 ∂（Ｌ）／∂（ψ．）＝ｍＬpｘs．ｃｏｓψ＋ｍ（Ｌp）2ψ． …（７） ｄ／ｄｔ（∂Ｌ／∂ψ．）＝ｍ（Ｌp）2ψ．．＋ｍＬpｘs．．ｃｏｓψ ーｍＬpｘs．ψ．ｓｉｎψ …（８） ∂Ｌ／∂ψ＝ーｍｘs．ψ．ＬpｓｉｎψーｍｇＬpｓｉｎψ …（９） となる。 ここで、 ｄ／ｄｔ（∂Ｌ／∂ψ．）ー∂Ｌ／∂ψ＝０ …（１０） である。 よって、 ψ．．＋（ｇ／Ｌp）ｓｉｎψ＝ー（ｘs．．／Ｌp）ｃｏｓψ …（１１） となる。 ここで、ｓｉｎψ→ψ、ｃｏｓψ→１とおく
ことができ、結局、 ψ．．＋（ｇ／Ｌp）ψ＝ーｘs．．／Ｌp …（１２） が得られる。

【００５９】このようにして求めた運動方程式により、
時間ｔを変数とする荷振れ角ψ（ｔ）、荷振れ角速度
ψ．（ｔ）、荷振れ角加速度ψ．．（ｔ）が以下のよう
にして求められる。

【００６０】 ψ（ｔ）＝Ａ（ｃｏｓ√（ｇ／Ｌp）ｔ）＋Ｂ（ｓｉｎ√（ｇ／Ｌp）ｔ） ーｘs．．／ｇ …（１３） ψ．（ｔ）＝Ａ√（ｇ／Ｌp）（ｓｉｎ√（ｇ／Ｌpｔ））＋Ｂ√（ｇ／Ｌp） ×（ｃｏｓ（ｇ／Ｌpｔ）） …（１４） ψ．．（ｔ）＝ーＡｇ／Ｌp（ｃｏｓ√（ｇ／Ｌp）ｔ）ーＢｇ／Ｌp× （ｓｉｎ√（ｇ／Ｌp）ｔ） …（１５） ここで、荷振れ角度ψ＝０、荷振れ角速度ψ．＝ψ0．
を初期条件として、ψ＝０、ψ．＝０となるまでの時間
ｔを、上記（１３）〜（１５）式より求める。

【００６１】すると、 ｔ＝π√（Ｌp／ｇ） …（１６） となる。これより、図５に示すような上部旋回体４の速
度ｘs．の変化パターンＰＴが求められる。

【００６２】すなわち、時間ｔが０から（π／２）√
（Ｌp／ｇ）までは、上部旋回体４を、加速度、 ａ＝ｘs．．＝ψ0．√（ｇＬp）／２ （０≦ｔ≦（π／２）√（Ｌp／ｇ）） …（１７） で旋回させればよい。このときの運動方程式は、以下の
ようになる。

【００６３】 ψ（ｔ）＝（ａ／ｇ）（ｃｏｓ√（ｇ／Ｌp）ｔ）＋（２ａ／ｇ）× （ｓｉｎ√（ｇ／Ｌp）ｔ）ーａ／ｇ …（１８） ψ．（ｔ）＝ー（ａ／√（ｇＬp））（ｓｉｎ√（ｇ／Ｌp）ｔ）＋ （２ａ／√（ｇＬp））（ｃｏｓ√（ｇ／Ｌp）ｔ） …（１９） ψ．．（ｔ）＝ー（ａ／Ｌp）（ｃｏｓ√（ｇ／Ｌp）ｔ）ー（２ａ／Ｌp）× （ｓｉｎ√（ｇ／Ｌp）ｔ） …（２０） また、時間ｔが（π／２）√（Ｌp／ｇ）からπ√（Ｌp
／ｇ）までは、上部旋回体４を、加速度、 ーａ＝ｘs．．＝ーψ0．√（ｇＬp）／２ （（π／２）√（Ｌp／ｇ）０＜ｔ≦π√（Ｌp／ｇ）） …（２１） で旋回させればよい。このときの運動方程式は、以下の
ようになる。

【００６４】 ψ（ｔ）＝ー（ａ／ｇ）（ｓｉｎ√（ｇ／Ｌp）ｔ）＋ａ／ｇ …（２２） ψ．（ｔ）＝ー（ａ／√（ｇＬp））（ｃｏｓ√（ｇ／Ｌp）ｔ） …（２３） ψ．．（ｔ）＝（ａ／Ｌp）（ｓｉｎ√（ｇ／Ｌp）ｔ） …（２４） さて、エネルギー保存則により、 （ｍ／２）（Ｌpψ0．）2＝ｍｇＬp（１ーｃｏｓψmax） …（２５） が成立する。これより、 初期荷振れ角速度ψ0．＝√（２（ｇ／Ｌp）（１ーｃｏｓψmax）） …（２６） となるので、これを上記（１７）式、（２１）式に代入
して、加速度、 ａ＝ｇ√（（１ーｃｏｓψmax）／２） （０≦ｔ≦（π／２）√（Ｌp／ｇ）） ーａ＝ーｇ√（（１ーｃｏｓψmax）／２） （（π／２）√（Ｌp／ｇ）０＜ｔ≦π√（Ｌp／ｇ）） …（２７） を得る。ここで、吊り荷７の最大振れ位置ｘmaxに対応
する最大振れ角ψmaxは、上述したように画像処理装置
１３によって検出される。また、ロープ長Ｌpはロープ
長センサ２３によって検出される。よって、上記（２
７）式の右辺は一義的に定まり、上部旋回体４の速度変
化パターンＰＴが確定される（ステップ１０４）。

【００６５】図３は、吊り荷７の旋回方向位置ｘが変化
する様子を示すグラフである。旋回方向の位置ｘは、画
像処理装置１３により検出されるとともに、逐次、荷振
れ角度ψに変換されている。

【００６６】そこで、ｘ＝（ｘmax＋ｘmin）／２が検出
されたとき、つまり荷振れ角度ψ＝０になった時点よ
り、上記速度変化パターンＰＴに従った速度指令（駆動
信号）がコントローラ１６で生成され、旋回・起伏油圧
回路１７に出力される。この結果、上部旋回体４（ブー
ム２）が上記パターンＰＴに応じた速度変化をもって旋
回され、やがて、制御開始から時間π√（Ｌp／ｇ）経
過した時点で吊り荷７の振れが停止する（ステップ１０
５；図５参照）。

【００６７】図７は、上記速度変化パターンによる制御
のシミュレーション結果を示すグラフである。同図に示
すように制御開始から短時間で荷振れＸをほぼ零にでき
るのがわかる。

【００６８】なお、この実施例では、吊り荷７が旋回方
向に振れている場合の制御について説明したが、吊り荷
７が起伏方向に振れている場合の制御も、同様にして行
うことができる。

【００６９】また、実施例では、荷振れ角が零のときか
ら荷振れ停止制御を開始しているが、これに限定される
わけでなく、制御を開始すべき荷振れ角は任意に設定可
能である。

【００７０】ところで、図６のステップ１０２、１０３
に示すように、操作レバー１８がニュートラル位置にあ
るときは、オペレータによりボタン１５が押されたとき
のみ振れを停止させる制御を行っているのは、つぎの理
由による。

【００７１】すなわち、操作レバーがニュートラル位置
にあっても自動的に荷振れ停止制御を行うものとする
と、作業をしないというオペレータの意思（操作レバー
はニュートラル）に反して、吊り荷７の振れを停止させ
るためにクレーン車１が動いてしまう。たとえば、操作
レバーがニュートラルで吊り荷７は停止していたとす
る。このときクレーン車１は静止している。しかし、風
等の影響で吊り荷７が振れた場合、その振れを止めよう
として、オペレータの意思に反してクレーン車１が動い
てしまうという不都合が生ずる。

【００７２】そこで、こうしたオペレータの意思を尊重
して、振れ停止の意思を確認するボタン１５が押された
ときのみ、クレーン車１を動かして荷振れを停止させる
ようにしているのである。ただし、特に問題がなけれ
ば、たとえ操作レバーがニュートラル位置にはいってい
ても、自動的にクレーン車１を動かして荷振れを停止さ
せるようにしてもよい。

【００７３】・第２の実施例 つぎに、画像処理装置１３で行われる吊り荷７のトラッ
キング（位置の追跡）処理について図８〜図１５を併せ
参照して説明する。

【００７４】図８はこの第２の実施例の装置の構成を示
すブロック図である。

【００７５】図９はこの実施例で行われるパターンマッ
チングを説明する図である。

【００７６】すなわち、図８に示すように、白と黒の２
色からなるターゲットマーク８がトラッキングすべきパ
ターンとして用意され、このターゲットマーク８がＣＣ
Ｄカメラ９で撮像され、撮像信号が画像処理装置１３に
出力される。

【００７７】画像処理装置１３では、撮像画像の各画素
を白から黒までの所定階調の明度データ（濃淡度値）と
して表す。そして、図９に示すように、撮像画像３０
と、ターゲットマーク８を示す基準パターン画像である
レファレンスブロックＲＢとを突き合わせ、これらの相
関をとることによりパターンマッチング（テンプレート
マッチング）を行う。そして、相関が最も高くなったと
きの撮像画像３０のブロックＢの座標位置に吊り荷７が
存在しているものと判断し、その吊り荷７の検出位置を
出力する。このとき、後述するように、レファレンスブ
ロックＲＢの各画素の明度データは、パターンマッチン
グが行われる毎に、そのときどきの撮像画像３０、３１
の各画素の明度に応じた明度となるよう更新され、オフ
セット、ゲインが修正される。

【００７８】なお、後述するように、レファレンスブロ
ックＲＢと撮像画像３０、３１との突き合わせは、サー
チウンドウＳＷと呼ばれる局所範囲だけに限定される。

【００７９】こうして、逐次の吊り荷７の位置が検出さ
れていき、その結果は、ディスプレイ１４に表示され
る。

【００８０】この結果、オペレータは、ディスプレイ１
４の表示内容をみてクレーン作業を監視することができ
る。とりわけ、前述した第１の実施例と組み合わせれ
ば、ディスプレイ１４は、振れ停止制御の際のモニタと
して機能する。

【００８１】つぎに、図１４のフローチャートに従っ
て、吊り荷７のトラッキング処理を説明する。

【００８２】まず、はじめに、ステップ２０１に示すよ
うに、ＣＣＤカメラ９でターゲットマーク８を撮像し、
所定メモリにテンプレートであるレファレンスブロック
ＲＢをロードする。なお、正確な画像取得のために、こ
のロードの際、クレーン車１を静止させ、ターゲットマ
ーク８を静止させる必要がある。こうして、図１１に示
すごとく、例えば１６×１６画素（２５６画素）のター
ゲットマーク８を示すレファレンスブロックＲＢが取得
される（ステップ２０１）。

【００８３】つぎに、撮像画像の中からターゲットマー
ク８が含まれていると思われる部分画像を取り出し、こ
の部分画像を正規化相関サーチをして、Ｘ−Ｙ座標系に
おけるレファレンスブロックＲＢの初期座標位置（Ｘ
1、Ｙ1）を取得する（ステップ２０２）。

【００８４】こうして、初期座標位置（Ｘ1、Ｙ1）のレ
ファレンスブロックＲＢが１個作成される（ステップ２
０３）。

【００８５】つぎに、パターンマッチングが行われる。

【００８６】このパターンマッチングの方法は、図１０
に示すように、まず前回の撮像画像３０のフレームの中
で、例えば４８×４８画素の局所領域画像であるサーチ
ウインドウＳＷを設定する。このサーチウインドウＳＷ
の座標位置はレファレンスブロックＲＢの座標位置と同
じ位置である。そして、つぎに撮像したフレーム３１で
は、上記設定したサーチウインドウＳＷ内でレファレン
スブロックＲＢを順次動かしていき、このレファレンス
ブロックＲＢと同じ大きさの各候補ブロックＢ（撮像画
像３１の一部）との相関をとり、相関が最も高くなる候
補ブロックＢを探索していく。そして、相関が最も高く
なる候補ブロックＢが探索できマッチングできたと判断
された時点で、そのブロックＢまでの移動量Ｖ（ＶX1、
ＶY1）を算出する（ステップ２０４）。下記（２８）式
は、Ｒとｓとの相関度を示す関数であり、上記ステップ
２０４において相関が最も高くなったことは、下記（２
８）式に示す関数の値が最も小さくなったことで判断し
ている。

【００８７】 …（２８） よって、この式から、マッチングがなされたときの最小
関数値が取得される（ステップ２０５）。

【００８８】こうして相関が最も高くなったときのブロ
ックＢの位置（Ｘ1＋ＶX1、Ｙ1＋ＶY1）、つまりマッチ
ング位置がターゲットマーク８が存在している位置であ
ると、つまり吊り荷７が存在している位置であると検出
される。そして、上記マッチング位置（Ｘ1＋ＶX1、Ｙ1
＋ＶY1）で、サーチウインドウＳＷの設定位置（Ｘ1、
Ｙ1）を更新される（ステップ２０７）。このようにサ
ーチウインドウＳＷの位置が更新されて、ステップ２０
４の処理が繰り返し実行される。この結果、吊り荷７の
位置が逐次検出され、吊り荷７のトラッキングを行うこ
とができる。

【００８９】ただし、ステップ２０８において、ステッ
プ２０５で取得された相関値を、所定のしきい値と比較
し、エラーが発生したか否かを判断している。エラーな
しと判断されれば、更新された座標位置（Ｘ1＋ＶX1、
Ｙ1＋ＶY1）にサーチウインドウＳＷに設定し直してパ
ターンマッチングを行うことになる。

【００９０】しかし、エラーありと判断されれば、現在
の座標位置（Ｘ1、Ｙ1）にサーチウインドウＳＷを据え
置いたままでターゲットマーク８をサーチする処理を、
ステップ２０２と同様にして行う。そして、ターゲット
マーク８のサーチ後、ステップ２０４におけるパターン
マッチングを行う。

【００９１】さて、レファレンスブロックＲＢの各画素
の明度データは、パターンマッチングが行われる毎に、
マッチングしたブロックＢの画素の明度に応じた明度と
なるように更新される。

【００９２】すなわち、処理がステップ２０６に達する
と、図１５に示すサブルーチンが実行される。

【００９３】いま、レファレンスブロックＲＢの各画素
には、図１１に示すように、左上から右下に向かって０
から２５５までの番号が付けられている。

【００９４】そこで、画素の明度を、次のように３つに
分類しておく。

【００９５】 白い部分に対応する画素の番号の集合 ａ 黒い部分に対応する画素の番号の集合 ｂ 白と黒の中間に対応する画素の番号の集合 ｃ 上記各集合は、例えば、 ａは画素 ０、１、２、５、６、２０、〜１３４ ｂは画素 ７、９、３２、３４、４５、〜２５５ ｃは画素 １５、１６、５２、９４、１５８、２０４ という具合に分類される。ここで、このレファレンスブ
ロックＲＢにおける集合ａ、ｂ、ｃに相当する画素の濃
淡度値の平均をそれぞれ求める。つまり、 現レファレンスブロックＲＢにおける集合ａの画素の濃
淡度値の平均 ＡＲ 現レファレンスブロックＲＢにおける集合ｂの画素の濃
淡度値の平均 ＢＲ 現レファレンスブロックＲＢにおける集合ｃの画素の濃
淡度値の平均 ＣＲ を求める（ステップ３０１、３０２、３０３）。

【００９６】つぎに、パターンマッチングの結果、最も
相関度の高かったマッチングブロックＢ（注視ウインド
ウＢ）の座標位置（Ｘ1＋ＶX1、Ｙ1＋ＶY1）を、上記ス
テップ２０４で取得された移動量Ｖ（ＶX1、ＶY1）に基
づき計算する（ステップ３０４）。

【００９７】いま、注視ウインドウＢが図１２のようで
あったとする。ここで、ステップ３０１〜３０３と同様
にして、注視ウインドウＢにおける集合ａ、ｂ、ｃに相
当する画素の濃淡度値の平均をそれぞれ求める。つま
り、 注視ウインドウＢにおける集合ａの画素の濃淡度値の平
均 ＡＴ 注視ウインドウＢにおける集合ｂの画素の濃淡度値の平
均 ＢＴ 注視ウインドウＢにおける集合ｃの画素の濃淡度値の平
均 ＣＴ を求める（ステップ３０５、３０６、３０７）。

【００９８】現在の注視ウインドウＢには、最新の照度
変動が反映されている。そこで、現在のレファレンスブ
ロックＲＢを最新の照度に合致するように更新すべく、
現在のレファレンスブロックＲＢのすべての画素（２５
６個）に対して、以下のような変換を行う。

【００９９】集合ａの各画素については、ＡＴ／ＡＲ
倍する。

【０１００】集合ｂの各画素については、ＢＴ／ＢＲ
倍する。

【０１０１】集合ｃの各画素については、｛（ＡＴーＢ
Ｔ）／（ＡＲーＢＲ）｝×（各画素の濃淡度値ーＢＲ）
＋ＢＴ こうしてレファレンスブロックＲＢの明度データが更新
される。

【０１０２】図１３は、上記変換の様子を説明するグラ
フである。

【０１０３】横軸は前回の注視ウインドウＢ、つまり現
レファレンスブロックＲＢの濃淡度値を示しており、縦
軸は今回の注視ウインドウＢ、つまり更新されたレファ
レンスブロックＲＢの濃淡度値を示している。白い画素
の明度ＡＲはＡＴに、黒い画素の明度ＢＲはＢＴに、白
と黒の中間部分は、直線Ｎ＝αＭ＋βによって補間され
ることによって変換される（ステップ３０８、３０９、
３１０）。

【０１０４】以上のように、この第２の実施例によれ
ば、パターンマッチングが行われる毎に、マッチングし
たブロックＢ（そのときどきの撮像画像）の画素の明度
に応じた明度となるように、レファレンスブロックＲＢ
が更新されていく。このように最新の明度情報をレファ
レンスブロックＲＢに反映させる正規化（オフセット、
ゲインの吸収）が常時行われるため、屋外のように照度
変動が激しい環境下にあっても、相関がとりやすくな
り、パターンマッチングの精度が飛躍的に向上するとい
う顕著な効果が得られる。この結果、トラッキングを安
定して行うことができる。

【０１０５】しかも、上記正規化の処理は、撮像画像の
局所領域（１６×１６画素）についてのみ行うだけでよ
いので、計算量がきわめて少なく、高速に処理をすすめ
ることができるという利点もある。

【０１０６】・第３の実施例 以下に説明する第３の実施例は、上記第２の実施例と同
様に、レファレンスブロックＲＢを更新するという点で
は同じであるが、その更新の仕方が異なるものである。
以下、第２の実施例と重複する説明を適宜省略しつつ説
明する。

【０１０７】図１６はこの第３の実施例で行われるパタ
ーンマッチングを説明する図である。

【０１０８】すなわち、撮像画像３０と、ターゲットマ
ーク８を示す基準パターン画像であるレファレンスブロ
ックＲＢとを突き合わせ、これらの相関をとることによ
りパターンマッチング（テンプレートマッチング）を行
う。そして、相関が最も高くなったときの撮像画像３０
のブロックＢの座標位置に吊り荷７が存在しているもの
と判断し、その吊り荷７の検出位置を出力する。以上の
点は第２の実施例と同じである。

【０１０９】更新の仕方は、マッチングする毎に、撮像
画像３１の中からマッチングしたブロックＢを取り出
し、現在のレファレンスブロックＲＢを当該取り出した
マッチングしたブロックＢに置き換えることによって行
う。この点が、第２の実施例と異なっている。

【０１１０】つぎに、図１８、１９を参照して処理手順
を説明する。

【０１１１】図１８に示すように、ステップ４０１、４
０２、４０４、４０５、４０７、４０８、４０９では、
図１４のステップ２０１、２０２、２０４、２０５、２
０７、２０８、２０９と同様の処理が実行される。

【０１１２】ステップ４０３では、初期座標位置（Ｘ
1、Ｙ1）のレファレンスブロック（これをＲＢ0とす
る）が１個作成される点は、上記ステップ２０３と同じ
であるが、後述する座標位置の補正用に、他に複数のレ
ファレンスブロックを作成しておくようにしている。

【０１１３】すなわち、図１７において、ＲＢを上記レ
ファレンスブロックＲＢ0とすると、その座標位置Ｐ0の
回りに、座標位置Ｐ1、Ｐ2、…Ｐ16のレファレンスブロ
ックＲＢ1、ＲＢ2、…ＲＢ16といった合計１６個のレフ
ァレンスブロックが設定される（ステップ４０３）。

【０１１４】そして、上記レファレンスブロックＲＢ0
を使用して、上記ステップ２０４と同様にパターンマッ
チングを行う（ステップ４０４）。

【０１１５】ステップ４０６では、図１９に示すサブル
ーチンが実行される。

【０１１６】すなわち、マッチングした時点の移動量Ｖ
（ＶX1、ＶY1）から、そのマッチングしたブロックＢの
座標位置（Ｘ1＋ＶX1、Ｙ1＋ＶY1）が演算される（ステ
ップ５０１）。そして、現在のレファレンスブロックＲ
Ｂ0を、上記マッチングしたブロックＢ自体に置き換
え、これを新たなレファレンスブロックＲＢとする（ス
テップ５０２）。

【０１１７】さて、単にレファレンスブロックＲＢを、
マッチングしたブロックＢに順次置き換えていくだけで
は、１画素よりも小さい位置誤差が蓄積されることによ
り、１画素以上の位置誤差が生じてしまう。そこで、こ
の位置誤差を修正するために、以下の処理が行われる。

【０１１８】すなわち、上記置き換えられたレファレン
スブロックＲＢと、最初に設定されたオリジナルのレフ
ァレンスブロックＲＢ0との間で正規化相関を用いて、
相関度（０）を求める（ステップ５０３）。

【０１１９】ついで、上記置き換えられたレファレンス
ブロックＲＢと、最初に設定されたオリジナルブロック
ＲＢ0の回りの各オリジナルブロックＲＢ1、ＲＢ2、…
ＲＢ16との間で正規化相関を用いて、それぞれの相関度
Ｄ（１）、Ｄ（２）、…Ｄ（１６）を求める。

【０１２０】なお、正規化相関は、例えば下記（２９）
式に基づき行う（ステップ５０３）。

【０１２１】 …（２９） つぎに、上記相関度Ｄ（０）〜Ｄ（１６）を比較し、最
も相関の高いものを探索する（ステップ５０５）。

【０１２２】Ｄ（０）が最も相関が高くなる値を示して
いる場合には、位置誤差が生じていないと判断し、上記
ステップ５０２で置き換えられたレファレンスブロック
ＲＢを、更新されたレファレンスブロックであると確定
し、図１８のステップ４０７にリターンする（ステップ
５０６の判断ＹＥＳ）。

【０１２３】しかし、Ｄ（０）以外のＤ（１）〜Ｄ（１
６）のいずれかが、最も相関が高くなる値を示している
場合には（ステップ５０６の判断ＮＯ）、位置誤差が生
じていると判断し、最も相関が高くなったオリジナルブ
ロックの座標位置を修正位置とする。

【０１２４】すなわち、例えばＤ（１）が相関が最も高
いことを示す値であるとすると、対応するオリジナルブ
ロックＲＢ1の座標位置と、実際のパターンマッチング
に使用したオリジナルブロックＲＢ0の座標位置との偏
差（Ｄx、Ｄy）を求める（ステップ５０７）。

【０１２５】そして、ステップ５０１において取得され
た移動量Ｖは、下記（３０）式に示すように、上記偏差
分だけ修正される。

【０１２６】 ＶX1＝ＶX1ーＤX ＶY1＝ＶY1ーＤY …（３０） そして、図１７に示すように、上記ステップ５０２で置
き換えられたレファレンスブロックＲＢは、上記偏差
（Ｄx、Ｄy）分だけずれた座標位置Ｐ1に存在するブロ
ックＢに修正される。つまり、オリジナルブロックＲＢ
1の座標位置に対応するブロックＢに修正される。こう
して、最終的に、座標位置Ｐ1に存在するブロックＢ
を、レファレンスブロックＲＢであると確定し、図１８
のステップ４０７にリターンする（ステップ５０８）。

【０１２７】以上のように、この第３の実施例によれ
ば、パターンマッチングが行われる毎に、そのときどき
のマッチング画像によりレファレンスブロックＲＢが置
き換えられ、レファレンスブロックＲＢが更新されてい
く。よって、上記第２の実施例と同様に、屋外のように
照度変動が激しい環境下にあっても、パターンマッチン
グの精度が飛躍的に向上し、この結果、トラッキングを
安定して行うことができるという効果が得られる。

【０１２８】しかも、パターンマッチングが行われる毎
に、オリジナルのレファレンスブロックとの相関をみ
て、マッチング画像の位置誤差が補正されるので、位置
ずれが生じてしまう事態を回避することができる。

【０１２９】・第４の実施例 つぎに、図１に示すカメラ９のズーム量を制御する制御
装置について説明する。

【０１３０】さて、上記第２、第３の実施例のように、
ターゲットマーク８を示すレファレンスブロックＲＢ
と、ターゲットマーク８が含まれる撮像画像とを突き合
わせて、パターンマッチングを行う場合には、撮像画像
内におけるターゲットマーク８の大きさ、つまり撮像画
像の大きさとターゲットマーク８の大きさとの比がきわ
めて重要となる。つまり、撮像画像内のターゲットマー
ク８の大きさを、レファレンスブロックＲＢのターゲッ
トマーク８の大きさと同じ大きさにする必要がある。

【０１３１】しかし、ブーム先端２ａにカメラ９が取り
付けられ、このカメラ９によりロープ５を介して吊り下
げられたターゲットマーク８を撮像する構造のクレーン
車１にあっては、作業中に、ロープ長Ｌpが変化するこ
とで、撮像されるターゲットマーク８の大きさが変化し
てしまう。

【０１３２】このため、図２３に示すように、撮像画像
３２内のターゲットマーク８の大きさが、レファレンス
ブロックＲＢのターゲットマーク８の大きさと一致して
いるときには、パターンマッチングを良好に行うことが
できるものの、撮像画像３２内のターゲットマーク８の
大きさが、レファレンスブロックＲＢのターゲットマー
ク８の大きさと不一致になったときは、パターンマッチ
ングを良好に行うことはできない。

【０１３３】そこで、この第３の実施例では、カメラ９
のズーム量を制御することで、撮像画像３２の大きさ
と、この画像３２内ターゲットマーク８の大きさとの比
を常に所望の一定値に、つまり図２３の「一致する」値
にして、パターンマッチングを良好に行うようにしてい
る。

【０１３４】図２０は、実施例の構成を示すブロック図
であり、ロープ長センサ２３から現在のロープ長Ｌpを
示す信号が連動装置２２に対して出力される。連動装置
２２では、図２１に示す処理が実行されて、カメラ９に
対してズーム指令Ｓzを送出する。カメラ９では、入力
されたズーム指令Ｓzに応じてズーム量が変化され、タ
ーゲットマーク８を含む画像を撮像する。カメラ９から
出力される画像信号は、画像処理装置１３に出力され、
例えば上記第１〜第３の実施例に示す処理が実行され
る。

【０１３５】ここで、ロープ長Ｌpとズーム指令Ｓzとの
関係について考察する。

【０１３６】一般に、物体までの距離とズームの関係
は、幾何光学のレンズ結像の式より求められる。簡単の
ため、１枚のレンズの場合を考えると、レンズ結像の式
は、 （１／ａ）＋（１／ｂ）＝（１／ｆ） …（３１） ただし、 ａ：レンズから物体までの距離 ｂ：レンズから像までの距離 ｆ：レンズの焦点距離 となる。このとき、物体と像の大きさの比によって表さ
れる像倍率Ｒは、図２２より、 Ｒ＝Ｈb／Ｈa＝ｂ／ａ …（３２） となる。上記（３１）式を変形して、上記（３２）式に
代入すると、 Ｈb＝｛Ｈa／（ａーｆ）｝×ｆ …（３３） で表されるので、Ｈbを一定にするためには、ａの変化
量に合わせて、レンズの焦点距離ｆを変えるように、カ
メラ９にズーム指令Ｓzを与えればよいことがわかる。

【０１３７】すなわち、ロープ長ＬpがＬpからΔＬpだ
け変化したときの焦点距離をｆ´とすると、上記（３
３）式より、Ｈbを一定にするためには、下記（３４）
式の関係を満足することが必要である。

【０１３８】 ｛ｆ／（Ｌpーｆ）｝＝｛ｆ´／（Ｌp＋ΔＬpーｆ´）｝ …（３４） よって、この（３４）式より焦点距離ｆ´を、 ｆ´＝｛（Ｌp＋ΔＬp）／Ｌp｝×ｆ …（３５） とすればＨbは一定の大きさに、つまりカメラ９に撮像
されるべきターゲットマーク８は一定の大きさとなる。

【０１３９】一般的に、ここで想定している１枚のレン
ズでは焦点距離ｆを変化させることはできないが、一般
のテレビカメラ９は、数群のレンズによって構成されて
いるので、レンズ系として焦点距離ｆを変化させること
ができる。

【０１４０】そこで、ロープ長Ｌpの変化量ΔＬpとズー
ム量Ｓzとの関係（（３５）式）を、シミュレーション
等によって予め求めておき、この求められたロープ長Ｌ
pの変化量ΔＬpとズーム量Ｓzとの対応関係を連動装置
２２に記憶しておく。

【０１４１】連動装置２２では、図２１に示す処理が実
行される。

【０１４２】まず、カメラ９のズーム制御開始時点にお
いて、初期ロープ長Ｌp0が検出され、記憶される（ステ
ップ６０１）。

【０１４３】そして、クレーン車１において作業が開始
され、ロープ長Ｌpが変化するが、逐次のロープ長検出
値がセンサ２３から入力され、正確なロープ長Ｌpが計
算される（ステップ６０２）。そして、現在のロープ長
Ｌpと初期ロープ長Ｌp0との偏差を求め、ロープ長変化
長ΔＬpを計算する（ステップ６０３）。

【０１４４】そして、ロープ長変化長ΔＬpに対応する
ズーム量Ｓzを、最初に記憶しておいたロープ長Ｌpの変
化量ΔＬpとズーム量Ｓzとの対応関係から読み出す。

【０１４５】この場合、ロープ長変化量ΔＬpを所定の
しきい値と比較し、しきい値以上になった場合のみ、ズ
ーム量Ｓzを読み出すようにし、しきい値より小さいと
きは、ズーム量Ｓzは読み出さないようにする。これ
は、わずかなロープ長の変化により、カメラ９のズーム
量が敏感に変化し、ハンチング等が生じる事態をを避け
るためである。

【０１４６】また、上記（３５）式に基づき、ロープ長
Ｌpの変化量ΔＬpからズーム量Ｓzを演算する演算式を
用意しておき、リアルタイムにズーム量を演算してもよ
い（ステップ６０４）。

【０１４７】こうして、ズーム量Ｓzが求められたなら
ば、このズーム量にするためのズーム指令Ｓzが、カメ
ラ９に対して出力される。

【０１４８】この結果、たとえクレーン作業中に、ロー
プ長Ｌpが変化したとしても、カメラ９のズーム量が変
化されて、カメラ９で撮像されるターゲットマーク８の
大きさが一定の大きさに保たれる。

【０１４９】よって、図２３に示すように、撮像画像３
２内のターゲットマーク８の大きさが、レファレンスブ
ロックＲＢのターゲットマーク８の大きさと、常に一致
し、、画像処理装置１３において、常にパターンマッチ
ングを良好に行うことができるようになる。

【０１５０】なお、以上説明した第１ないし第４の実施
例では、クレーン車に適用される場合を想定している
が、ブーム先端より吊り荷を吊り下げる作業機械であれ
ば、任意のものに適用可能である。

【０１５１】また、実施例では、吊り荷を撮像する代わ
りに、ターゲットマークを撮像し、ターゲットマークの
パターンとのパターンマッチングを行うようにしている
が、吊り荷を示すものであれば、それ以外のもの、吊り
荷それ自体、フックを撮像し、これらのパターンとのパ
ターンマッチングを行うようにしてもよい。

【０１５２】

【発明の効果】以上説明したように、上記第１の実施例
に対応する第１の発明によれば、画像処理によって得ら
れる吊り荷の位置データは、制御開始の位置の検出のみ
という最小限の使用にとどめられ、後は、吊り荷の位置
をフィードバックすることなく、荷振れの停止制御が行
われるので、フィードバック制御による不都合が回避さ
れつつ、吊り荷の振れ停止制御が精度よく行われる。

【０１５３】また、上記第２、第３の実施例に対応する
第２の発明によれば、屋外のように、絶えず明度変動が
発生する環境下であったとしても、吊り荷の撮像画像の
画素の明度と、吊り荷のパターン画像の画素の明度と
が、逐次同じとなるように、パターン画像の画素の明度
が更新されるので、パターンマッチングが、精度よく行
なわれ、もって吊り荷の位置の追跡が精度よく行えるよ
うになる。

【０１５４】また、上記第４の実施例に対応する第３の
発明によれば、クレーン作業等によってロープ長が変動
したとしても、撮像手段の撮像画像に対する吊り荷の大
きさの比が常に、所望の一定値となるようにされるの
で、パターンマッチング等の処理を作業効率よく、しか
も記憶容量の増大を招かないで行えるようになる。

【図面の簡単な説明】

【図１】図１は、本発明に係る吊り荷の撮像画像処理装
置が適用されるクレーン車の構成を示す図である。

【図２】図２は、第１の実施例装置の構成を示すブロッ
ク図である。

【図３】図３は、吊り荷の振れの時間変化を示すグラフ
である。

【図４】図４は、吊り荷が振り子運動する様子を示す物
理モデル図である。

【図５】図５はクレーン車のブームの速度変化パターン
を示す図である。

【図６】図６は、第１の実施例装置で行われる処理の手
順を示すフローチャートである。

【図７】図７は第１の実施例のシミュレーション結果を
示すグラフである。

【図８】図８は第２の実施例装置の構成を示すブロック
図である。

【図９】図９は第２の実施例の概念を説明するために用
いた図である。

【図１０】図１０は、実施例に適用されるパターンマッ
チングを説明するために用いた図である。

【図１１】図１１は、レファレンスブロックの画素の明
度を示す図である。

【図１２】図１２は、マッチングしたブロックの画素の
明度を示す図である。

【図１３】図１３は、明度データが更新される様子を説
明するグラフである。

【図１４】図１４は、第２の実施例装置で行われる処理
の手順を示すフローチャートである。

【図１５】図１５は、図１４のサブルーチン処理の手順
を示すフローチャートである。

【図１６】図１６は第３の実施例の概念を説明するため
に用いた図である。

【図１７】図１７は、更新したレファレンスブロックの
周囲に存在する座標点を示す図である。

【図１８】図１８は、第３の実施例装置で行われる処理
の手順を示すフローチャートである。

【図１９】図１９は、図１８のサブルーチン処理の手順
を示すフローチャートである。

【図２０】図２０は第４の実施例装置の構成を示す図で
ある。

【図２１】図２１は図２０に示す連動装置で行われる処
理の手順を示すフローチャートである。

【図２２】図２２は第４の実施例に適用される原理を説
明する図である。

【図２３】図２３はレファレンスブロックのパターンの
大きさと撮像画像のパターンの大きさとを比較して示す
図である。

【符号の説明】

２ ブーム ５ ロープ ７ 吊り荷 ８ ターゲットマーク ９ カメラ １３ 画像処理装置

Claims (5)

【特許請求の範囲】
1. 【請求項１】 ブームの先端に吊り下げられた吊り
   荷を撮像し、該撮像された画像を処理することにより、
   画像上の吊り荷の位置を検出し、該検出された画像上の
   吊り荷の位置に基づいて、前記吊り荷の振れを停止させ
   る振れ停止制御を行う吊り荷の撮像画像処理装置におい
   て、 前記吊り荷の振れ角度および振れ角速度と前記ブーム先
   端の移動加速度との関係を記述した運動方程式を求め、
   該運動方程式に基づいて、前記吊り荷の振れ角度が前記
   振れ停止制御を開始すべき所定振れ角度になった時点か
   ら前記吊り荷の振れ角度および振れ角速度が同時に零に
   なる時点までの前記ブーム先端の移動速度の変化の様子
   を示す移動速度変化パターンを生成する移動速度変化パ
   ターン生成手段と、 前記画像上の吊り荷の位置を追跡することにより、前記
   吊り荷の振れ角度が前記所定振れ角度になったことを検
   出する制御開始時点検出手段と、 前記制御開始時点検出手段によって前記所定振れ角度に
   なったことが検出された時点より、前記移動速度変化パ
   ターン生成手段で生成された移動速度変化パターンに従
   って、前記ブーム先端の移動速度を制御する移動速度制
   御手段とを具えた吊り荷の撮像画像処理装置。
2. 【請求項２】 ブームの先端に吊り下げられた吊り
   荷を撮像し、該撮像画像と、前記吊り荷を示すパターン
   画像とのパターンマッチングを逐次行うことにより、撮
   像画像上の吊り荷の位置を逐次検出するようにした吊り
   荷の撮像画像処理装置において、 前記パターン画像の画素の明度が、前記撮像画像と前記
   パターン画像とがマッチングしたときの当該撮像画像の
   画素の明度になるように、パターンマッチングが行われ
   る毎に、前記パターン画像の画素の明度のデータを逐次
   更新するようにした吊り荷の撮像画像処理装置。
3. 【請求項３】 ブームの先端に吊り下げられた吊り
   荷を撮像し、該撮像画像と、前記吊り荷を示すパターン
   画像とのパターンマッチングを逐次行うことにより、撮
   像画像上の吊り荷の位置を逐次検出するようにした吊り
   荷の撮像画像処理装置において、 前記撮像画像と前記パターン画像とがマッチングする毎
   に、前記撮像画像の中から前記パターン画像に対応する
   部分のマッチング画像を取り出し、現在のパターン画像
   を当該取り出したマッチング画像に置き換えることによ
   って、前記パターン画像を逐次更新するようにした吊り
   荷の撮像画像処理装置。
4. 【請求項４】 ブームの先端に吊り下げられた吊り
   荷を撮像し、該撮像画像と、前記吊り荷を示すパターン
   画像とのパターンマッチングを逐次行うことにより、撮
   像画像上の吊り荷の位置を逐次検出するようにした吊り
   荷の撮像画像処理装置において、 吊り荷の撮像画像の中から、前記吊り荷を示す中心パタ
   ーン画像を予め取り出すとともに、この中心パターン画
   像の座標位置近傍に存在する当該中心パターン画像と同
   じ大きさの周囲パターン画像を予め取り出しておき、 逐次撮像される撮像画像と前記中心パターン画像とのパ
   ターンマッチングを行い、該撮像画像と前記中心パター
   ン画像とがマッチングする毎に、前記撮像画像の中から
   前記中心パターン画像に対応する部分のマッチング画像
   を取り出し、 この取り出したマッチング画像と、前記中心パターン画
   像および前記周囲パターン画像との正規化相関をとり、
   正規化相関が最も高くなる中心パターン画像または周囲
   パターン画像を選択し、 前記中心パターン画像が選択された場合には、現在のパ
   ターン画像を、前記取り出したマッチング画像に置き換
   えることによって、前記パターン画像を逐次更新すると
   ともに、 前記周囲パターン画像が選択された場合には、現在のパ
   ターン画像を、前記取り出したマッチング画像の座標位
   置近傍に存在する当該マッチング画像と同じ大きさの周
   囲画像であって、前記選択された周囲パターン画像の座
   標位置に対応する座標位置の周囲画像に置き換えること
   によって、前記パターン画像を逐次更新するようにし
   た、 吊り荷の撮像画像処理装置。
5. 【請求項５】 ブームの先端に吊り下げられた吊り
   荷を撮像手段によって撮像し、該撮像された画像の大き
   さと、撮像された吊り荷の大きさとの比を一定にするこ
   とにより所定の処理を行う吊り荷の撮像画像処理装置に
   おいて、 前記吊り荷のロープ長を検出するロープ長検出手段と、 前記ロープ長検出手段で検出された吊り荷のロープ長に
   基づいて、前記撮像手段で撮像される画像の大きさと、
   撮像された吊り荷の大きさとの比が所望の一定値になる
   ように、前記撮像手段のズーム量を変化させる制御手段
   とを具えた吊り荷の撮像画像処理装置。