JPH06270083A - ワーク位置検知装置 - Google Patents

Abstract

(57)【要約】 【目的】 広い範囲に亙って移動するワークの位置を実
時間かつ高精度で検出する。 【構成】 ＴＶカメラ（２）〜（４）がワーク上の３個
の特徴点の画像を撮影し、画像認識装置（１０）〜（１
２）がこれらの各特徴点の画像平面内での座標を各々検
出し、演算装置（１３）はこれらの座標に基づいて各特
徴点の基準座標系における座標を演算すると共に各特徴
点がＴＶカメラ（２）〜（４）の視野内に収るように雲
台（５）〜（７）の駆動手段に各ＴＶカメラの位置また
は姿勢の補正指令を送る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ロボット等を有する自
動生産ライン用装置に用いて好適なワーク位置検知装置
に関する。

【０００２】

【従来の技術】自動生産ラインにおいては、各生産機器
がライン内を流れるワークに対し適切な作業を施す必要
があり、そのためには到来するワークの位置・姿勢を正
確に検出する必要がある。このようなワークの位置を検
出するための方法として、従来、次の２通りの方法があ
った。

【０００３】＜第１の方法＞ワークを平行移動・回転移
動が可能な６自由度を有する物体であると仮定しその位
置・姿勢を演算する。ワーク位置検出に際し、ワーク上
の同一直線上に位置しない３点、例えば、穴等を代表点
として定める。そして、これらの各代表点を各々２台の
カメラにより異なる方向から見るステレオカメラ方式に
より撮影し、撮影により得られた各特徴点の画像平面内
での座標に基づき、作業空間におけるワークの位置およ
び姿勢を求める。

【０００４】＜第２の方法＞ワークの外形を画する各辺
の中から相互に平行でない第１および第２の辺を選択
し、これらの２辺の位置関係を予めメモリに記憶してお
く。そして、ワークが作業空間内に到来した場合、この
ワークの第１の辺が作業空間内に設定された相互に平行
な第１および第２の検出平面と交わる２交点を例えば光
学的手段により検出する。さらにワークの第２の辺が第
１および第２の検出平面と非平行な第３の検出平面と交
わる交点を検出する。そして、これら３個の交点の座標
に基づき、第１および第２の辺に関する位置情報を求
め、これらの位置情報に基づきワークの位置を検出す
る。なお、本願出願人は、この方法に基づくワーク位置
検知装置を特願平２−９５４１号にて提案している。

【０００５】

【発明が解決しようとする課題】しかしながら、上述の
第１若しくは第２の方法は、いずれも固定されたカメラ
等によってワークを撮影することによりワーク位置を検
出するものであるので、カメラ等の視野に対応した狭い
範囲内でのワーク位置検出しかすることができないとい
う問題があった。また、このようにワーク位置の検出可
能な範囲が狭いため、かかる範囲をワークが通過する短
時間しかワーク位置の検出をすることができないという
問題があった。ここで、カメラ等の視野を広げれば、ワ
ーク位置の検出可能範囲を広げることが一応可能であ
る。しかし、、カメラの視野を広げた場合、これにより
ワーク位置の測定精度が低下してしまうという問題が生
じる。

【０００６】本発明は、このような事情に鑑みてなされ
たものであり、ラインを流れるワークの位置を測定精度
を低下させることなく広い範囲に亙って検出することが
できるワーク位置検知装置を提供することを目的とす
る。

【０００７】

【課題を解決するための手段】本発明に係るワーク位置
検知装置は、ワーク上の特徴点付近の画像を撮影手段に
よって撮影し、該特徴点の画像平面内での結像位置に基
づき、該特徴点の所定の基準座標系における座標を演算
し、前記ワークの位置および姿勢を特定する情報として
出力するワーク位置検知装置であって、前記特徴点が前
記撮影手段によって撮影されるように前記撮影手段の取
付位置または姿勢を変更する変更手段を具備することを
特徴とする。

【０００８】

【作用】上記発明によれば、特徴点が撮影手段によって
撮影されるように撮影手段の位置または姿勢が変更され
るので広い範囲に亙って移動するワークの位置を検出す
ることができる。

【０００９】

【実施例】以下、図面を参照して本発明の一実施例につ
いて説明する。

【００１０】Ａ：実施例の構成 図１は自動車生産ラインのある工程に設置された本実施
例によるワーク位置検出装置を示す全体図である。この
図において、Ｏは作業空間に固定された基準座標系であ
る。この基準座標系は、Ｘ_O軸、Ｙ_O軸およびＺ_O軸から
なる直交座標系であり、本実施例においては作業空間内
におけるワークの位置を特定するために使用される。１
はワークたる自動車車体であり、図示せぬコンベア等に
よりこの工程の作業空間内に搬送される。ここで、車体
１の搬送方向はＸ_O軸方向にほぼ一致している。

【００１１】２，３，４はテレビジョンカメラ（以下、
ＴＶカメラと略す）であり、ワーク１の表面の同一直線
上にない３つの特徴点９ａ，９ｂ，９ｃ付近の各画像を
各々撮影する。ここで、各ＴＶカメラ２，３，４は、各
々が撮影する特徴点の動きに追従して位置または姿勢が
自動的に変更されるように構成されている（後述）た
め、その視野は作業空間におけるワークの全移動量とは
無関係に比較的狭く設定される。例えば、搬送精度が比
較的良い場合には視野の大きさは「±数１０ｃｍ」に設
定される。

【００１２】本実施例は、各ＴＶカメラ２，３，４によ
って各特徴点を撮影することにより作業空間における各
特徴点の位置（すなわち、上記基準座標系における座標
値）を求めるものであるが、各特徴点の位置は撮影によ
り得られた画像平面上での各特徴点の座標を基準座標系
での座標に変換することにより求める。この座標変換を
可能にするため、本実施例では各ＴＶカメラに固定され
た直交座標系を想定している。ここで、各ＴＶカメラに
対し固定された直交座標系とは以下のような座標軸によ
り構成される座標系をいう。 ｚ軸：当該カメラの撮影方向（当該カメラから視野の中
心を見る方向）に対応した軸である。この軸上のすべて
の点は画像平面の中心に結像される。 ｘ軸：水平面に含まれ、かつ、上記ｚ軸と直交する軸で
ある。 ｙ軸：上記ｚ軸およびｘ軸と直交する軸である。

【００１３】図２にＴＶカメラ２によって撮影された特
徴点９ａ付近の画像を例示する。この図においてＲ
（０，０）が上記画像平面の中心を表している。図示の
場合、特徴点９ａは、この中心からｘ軸方向およびｙ軸
方向に各々ｕ画素およびｖ画素だけ隔たった位置Ｐ
（ｕ，ｖ）に結像している。本実施例では、各ＴＶカメ
ラを介して得られる各特徴点についての画面中心からの
隔たりを表すずれ量データ（ｕ，ｖ）に基づき各特徴点
の基準座標系での位置が演算される。

【００１４】５，６，７は各々雲台であり、各ＴＶカメ
ラ２，３，４はこれらの雲台に固定されている。これら
の雲台５，６，７には、サーボモータ等の駆動手段が設
けられており、これらの駆動手段がコントローラ８から
の命令に従って各雲台を駆動することにより、各ＴＶカ
メラの位置または姿勢の変更、すなわち、各ＴＶカメラ
の並行移動または上下角，水平角の変更が行われるよう
になっている。上述したＴＶカメラを特徴点の動きに追
従させる制御もコントローラおよび駆動手段によってな
されるものである。

【００１５】次に図３に示すブロック図を参照して本実
施例のシステム構成について説明する。同図に示すよう
に、コントローラ８は、画像認識装置１０，１１，１
２、演算器１３および記憶装置１４から構成されてい
る。まず、画像認識装置１０，１１，１２は、ＴＶカメ
ラ２，３，４によって撮影された各画像に基づき、特徴
点９ａ，９ｂ，９ｃを各々検知し、各特徴点の画像平面
上での位置を表す上記ずれ量データ（ｕ，ｖ）を各々演
算装置１３に出力する。記憶装置１４は、ワーク１の各
特徴点間の距離、すなわち、特徴点９ａおよび９ｂ間距
離、特徴点９ｂおよび９ｃ間距離、特徴点９ｃおよび９
ａ距離を距離データとして記憶する。一般的に、距離デ
ータはワーク１たる自動車車体の車種によって異なった
ものとなる。このため、記憶装置１４には、生産ライン
において取扱う全車種に対応した距離データが予め記憶
され、車種番号を指定することによりその車種番号に対
応した距離データが読み出されるように構成されてい
る。また、記憶装置１４には、上述したＴＶカメラ２，
３，４の設置条件に関するデータ、すなわち、以下のデ
ータが記憶される。 ＴＶカメラ２，３，４の各設置位置の基準座標系Ｏに
おける座標値 ＴＶカメラ２，３，４の初期位置における各撮影方向
の水平角および上下角 上記ずれ量データ（ｕ，ｖ）に基づきＴＶカメラの水
平角回転方向の移動量および上下角回転方向の移動量を
演算するための関係式

【００１６】演算装置１３は、記憶装置１４に記憶され
たワーク１の車種番号に対応する距離データと、上記Ｔ
Ｖカメラ２，３，４の設置条件に関するデータと、画像
認識装置１０，１１，１２から供給される各特徴点に対
応したずれ量データ（ｕ，ｖ）と、雲台５，６，７の現
在における位置、水平方向角および上下角とに基づき、
ワーク１の基準座標系における位置および姿勢を特定す
るためのデータを算出し、メインコントローラ１５へ出
力する。このメインコントローラ１５は、演算装置１３
から得たデータに基づき、図示しないロボットを制御す
るための信号を出力する。また、演算装置１３は、各特
徴点を各ＴＶカメラ２，３，４の視野内に収めるのに必
要な各ＴＶカメラ２，３，４の水平角または上下角の補
正量を各ずれ量データ（ｕ，ｖ）および上記関係式に
基づいて算出し、その補正量に従った水平角または上下
角の補正動作の指令を各ＴＶカメラの駆動手段に与え
る。

【００１７】Ｂ：実施例の動作 次に、本実施例の動作を図４および図５を参照して説明
する。まず、図４に示すステップＳ１において、ワーク
１の車種番号とワーク１の位置検出開始の指示がメイン
コントローラ１５から演算装置１３に送られる。演算装
置１３は、この車種番号に対応する各特徴点間の距離デ
ータおよびＴＶカメラ２，３，４の設置条件等に関する
データ（上記データ〜を含む）を記憶装置１４から
読み出す。また、認識フラグ（後述）、検知フラグ（後
述）をＯＦＦにしてデータの初期化を行う。

【００１８】次にステップＳ２に進むと、演算装置１３
は、ステップＳ１において読み出されたデータに基づい
てＴＶカメラ２，３，４を初期位置へ移動させる指令を
作成して雲台５，６，７の各駆動手段に与え、各ＴＶカ
メラの位置を初期化する。次にステップＳ３に進み、演
算装置１３は、一定時間を計時するタイマをスタートさ
せる。

【００１９】次にステップＳ４に進み、以下のいずれか
の条件を満足するか否かを判断し、この判断結果が「Ｙ
ｅｓ」である期間、特徴点の位置検出、雲台の位置また
は姿勢の制御等を行うステップＳ５〜Ｓ１７の各処理を
実行する。 条件１：タイマがスタートしてから一定時間内であるこ
と 条件２：各ＴＶカメラ２，３，４に対応した認識フラグ
がすべてＯＮ状態であること

【００２０】上記において、認識フラグとは、当該ＴＶ
カメラが特徴点を検知した場合にＯＮ状態とされるフラ
グである。また、検知フラグとは、すべての認識フラグ
がＯＮ状態である場合にＯＮとされるフラグである。ス
テップＳ４において条件１または２に該当するか否かを
判断するのは、次の理由によるものである。すなわち、
ワーク１の位置検出のためにはすべての特徴点９ａ，９
ｂ，９ｃがＴＶカメラ２，３，４によって捉えられなけ
ればならないが、これらの特徴点がＴＶカメラの視野か
ら大きく逸脱している場合にはワーク１が位置検出され
ることなく作業空間を通過してしまう不具合が起こり得
る。そこで、すべての特徴点が認識されない時間が一定
時間を越えた場合に上記不具合の兆候とみなすことと
し、この不具合に対処するためのアラームを発生すべく
上記条件１または２に該当するか否かの判断を行ってい
る。

【００２１】次にステップＳ５〜Ｓ１７の各処理につい
て説明する。まず、ステップＳ４の判断結果が「Ｙｅ
ｓ」となってステップＳ５に進むと、カメラ番号ｎを
「１」〜「３」まで変化させ（ｎ＝「１」〜「３」はＴ
Ｖカメラ２〜４および画像認識装置１０〜１２に各々対
応）、各ｎについてステップＳ６、Ｓ７を実行する。ま
ず、ステップＳ６に進むと、演算装置１３は、画像認識
装置１０〜１２のうちカメラ番号ｎに対応するものに画
像取込みの指示を与える。この結果、カメラ番号ｎに対
応する画像認識装置は、対応するＴＶカメラから画像を
取込むと共に、画像を構成する各画素の濃度を所定のし
きい値と比較することにより画像を白黒パターン化し、
このようにして得た白黒パターン中から特徴点の画像を
検出する。また、画像認識装置は、特徴点を検知するこ
とができた場合にその特徴点についてずれ量データ
（ｕ，ｖ）を求める。次にステップＳ７に進み、演算装
置１３は、カメラ番号ｎに対応した画像認識装置が特徴
点を検出したか否かを判断する。この判断結果が「Ｙｅ
ｓ」である場合は図５にＰＡＤ図を示すステップＳ８〜
Ｓ１４までの各処理へと進む。一方、この判断結果が
「Ｎｏ」の場合はカメラ番号ｎに対応した認識フラグを
ＯＦＦ状態とし（ステップＳ１５）、ステップＳ５に戻
る。

【００２２】次にステップＳ７から図５に示すステップ
Ｓ８に進むと、演算装置１３はカメラ番号ｎに対応した
認識フラグをＯＮ状態とする。次にステップＳ９に進
み、カメラ番号ｎに対応する画像認識装置から特徴点の
ずれ量データ（ｕ，ｖ）を取り込む。次にステップＳ１
０に進み、ステップＳ９において得たずれ量データ
（ｕ，ｖ）を記憶装置１４に記憶された上記関係式に
従って雲台の上下回転方向または水平回転方向の移動量
に変換する。次にステップＳ１１に進み、ステップＳ１
０において求めた移動量を用い、下記式に従って雲台の
目標位置を求める。雲台の目標位置＝雲台の現在位置＋
移動量

【００２３】次にステップＳ１２に進み、ステップＳ１
１において求めた目標位置が雲台の動作可能範囲外であ
るか否かを判断する。この判断結果が「Ｙｅｓ」である
場合にはステップＳ１３に進み、雲台の目標位置を動作
可能範囲内であってステップＳ１１において得られた目
標位置にもっとも近い値に設定すると共にそのように設
定した目標位置に合せて移動量を修正し、ステップＳ１
４に進む。一方、ステップＳ１２の判断結果が「Ｎｏ」
である場合はステップＳ１３を実行することなくステッ
プＳ１４に進む。次にステップＳ１４に進むと、上述の
ようにして演算された目標位置までカメラ番号ｎに対応
した雲台を駆動する。そして、図４におけるステップＳ
５に戻り、新たなカメラ番号ｎについて上記処理を繰り
返し、すべてのカメラ番号ｎ＝「１」〜「３」について
上記処理を終えた場合にはステップＳ１６へ進む。

【００２４】次にステップＳ１６に進むと、ＴＶカメラ
２，３，４により全ての特徴点９ａ，９ｂ，９ｃを認識
したか否か、すなわち、カメラ番号ｎ＝「１」〜「３」
に対応した全ての認識フラグがＯＮ状態か否かを判断す
る。この判断結果が「Ｙｅｓ」である場合にはステップ
Ｓ１７に進み、ＴＶカメラ２，３，４によって捉えられ
た画像平面上における各特徴点９ａ，９ｂ，９ｃの位置
と、記憶装置１４に記憶されたワーク１の各特徴点間の
距離データと、現在におけるＴＶカメラ２，３，４の位
置および姿勢（上下角および水平方向角）とに基づき、
各特徴点の基準座標系における位置を演算し、ワーク１
の位置および姿勢を特定する情報としてメインコントロ
ーラ１５へ出力する。なお、このように画像平面上にお
ける各特徴点の座標値を基準座標系における座標値へ変
換する手法は、本願出願人により出願された特願平５−
７９６７号に開示されている。さらにステップＳ１８に
進み、すべてのＴＶカメラ２，３，４がＯＮ状態となっ
たことにより検知フラグをＯＮ状態とする。

【００２５】一方、ステップＳ４の判断結果が「Ｎｏ」
になるとステップＳ１９に進み、タイマのストップおよ
びリセットを行う。次にステップＳ２０に進み、検知フ
ラグがＯＮ状態であるか否かを判断する。検知フラグが
ＯＦＦ状態である場合、すなわち、本ワーク位置検知装
置によってワークの検知を行うことができなかった場合
は、この判断結果が「Ｎｏ」となってステップＳ２１へ
進み、メインコントローラ１５へワーク検知エラーを知
らせる。

【００２６】Ｃ：実施例効果 上記実施例によれば以下の効果が得られる。 （１）広い範囲に亙って移動するワークの位置を実時間
かつ高精度で検出することができる。 （２）画像認識装置等が行う画像処理は特徴点の位置を
特定する程度の簡単なものでよいため、処理速度が早く
なり、生産ラインの効率を向上させることができる。 （３）各特徴点は同一直線上にない３個の点であればよ
いのでワークの形状に対する制約が少ない。

【００２７】＜変形例＞上記実施例では、３台のＴＶカ
メラにより各特徴点９ａ，９ｂ，９ｃを撮影するように
したが、各特徴点の位置が近い場合は１台の２個又は３
個の特徴点を捉えて処理することも可能である。これら
の場合のうち１台のカメラで２個の特徴点を捉える場合
には、ステップＳ９において各特徴点のずれ量を求めた
際に、２個の特徴点の中点と画像平面の中心とが一致す
るように雲台の移動量を決定すればよい。また、１台の
カメラで３個の特徴点を捉える場合には各特徴点のｘ，
ｙ座標値の最大値と最小値の絶対値が等しくなるように
雲台の移動量を決定すればよい。

【００２８】

【発明の効果】以上説明したように、本発明に係るワー
ク位置検知装置は、ワーク上の特徴点付近の画像を撮影
手段によって撮影し、該特徴点の画像平面内での結像位
置に基づき、該特徴点の所定の基準座標系における座標
を演算し、前記ワークの位置および姿勢を特定する情報
として出力するワーク位置検知装置であって、前記特徴
点が前記撮影手段によって撮影されるように前記撮影手
段の取付位置または姿勢を変更する変更手段を具備する
ものであるので、広い範囲に亙って移動するワークの位
置を実時間かつ高精度で検出することができるという効
果がある。

【図面の簡単な説明】

【図１】 本発明における一実施例の全体図である。

【図２】 同実施例において撮影される特徴点の画像の
一例を示す図である。

【図３】 同実施例のシステム構成を示すブロック図で
ある。

【図４】 同実施例の動作を説明するＰＡＤ図である。

【図５】 同実施例の動作を説明するＰＡＤ図である。

【符号の説明】

１ ワーク Ｏ 基準座標系 ２，３，４ ＴＶカメラ（撮影手段） ５，６，７ 雲台（変更手段） １０，１１，１２ 画像認識装置 １３ 演算装置 １４ 記憶装置 １５ メインコントローラ

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ワーク上の特徴点付近の画像を撮影手段
   によって撮影し、該特徴点の画像平面内での結像位置に
   基づき、該特徴点の所定の基準座標系における座標を演
   算し、前記ワークの位置および姿勢を特定する情報とし
   て出力するワーク位置検知装置であって、 前記特徴点が前記撮影手段によって撮影されるように前
   記撮影手段の取付位置または姿勢を変更する変更手段を
   具備することを特徴とするワーク位置検知装置。