JPH05312521A - ターゲットマーク - Google Patents

Abstract

(57)【要約】 【目的】 物体の組立、把持、ドッキング作業等を行う
システムにおいて、対象物の接合面に設置する相対位置
検出用のターゲットマークの提供。 【構成】 面積最大のリング状マークと、一つだけ面積
の異なる５つの円形マークとこれらのマークを設置する
ためのベースからなり、ベースにはこれらマークを設置
するためそれぞれのマークと同じ寸法のくぼみを設け、
リング状マーク設置用のくぼみの中心位置を中心として
リング外部に正方形状に円形のくぼみを配置し、この中
に１カ所を面積の異なるマーク用のくぼみとし、リング
状マーク用くぼみと同心円でかつリング内部を円筒状に
くり抜いた底面の中心位置に円形のくぼみを設け、ベー
スに設けられたこれらのくぼみに各マークをはめ込んで
固定し、それぞれのマークとベースとは異なる色を塗布
してなることを特徴とするターゲットマーク。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ロボットなどを用いて
物体把持、組立、ドッキング作業などを行う際に必要と
なるロボットと物体間の相対位置計測を行うためのマー
クに関するものである。

【０００２】

【従来の技術】従来より、組立、ドッキング作業等にお
いて対象となるターゲットにマークを取りつけ、マーク
像をカメラに入力して画像処理することにより位置決め
する方法が用いられてきた。位置決めのためのマークと
してはいくつか考案されているが、代表的んな２種類の
マークについて説明する。第１のマークはターゲットに
つけた４角形の頂点のマークとその中心部より立てたポ
ール上のマークの５点のマークで図４（ａ）に示す。頂
点の像または頂点を結ぶ辺の像をカメラで読み取り、４
頂点及び対角線の交点の座標を用いて射影幾何学の複比
の定理によりターゲットの３次元空間内での位置、姿勢
を推定し、さらにポール上のマークによりピッチ、ヨー
角の検出精度を向上させたターゲットマークである。こ
のマークに関しては文献：町田他、“宇宙近接作業セン
サの試作”、宇宙用人工知能ロボットオートメーション
シンポジウムｐｐ５１〜ｐｐ５４（１９８８）に述べら
れている。

【０００３】第２のマークはＧＦＴ（クラブルフィクス
チャターゲット）パターンと呼ばれる立体マークであ
り、同心円の縞に長方形を重ね合わせたもので、同心円
のリングの一部に切れ目が設けてある。又、リング中心
よりポールが立ててあり、ポールの先端にもやはりマー
クがつけてある。図４（ｂ）にＧＦＴマークの概略図を
示す。予め記憶させたＧＦＴの中心部分のパターンと比
較し、マークの傾き、拡大率を求めて、アフィン交換や
パターンマッチングによりマークに含まれる特徴点の座
標を求めることにより、物体の位置、姿勢を推定するこ
とができる。このマークに関しては例えば、山脇他“マ
ニピュレータ系の画像による位置検出システムの検
討”、宇宙用人工知能ロボットオートメーションシンポ
ジウムｐｐ１９３〜ｐｐ１９６（１９８７）に述べられ
ている。

【０００４】

【発明が解決しようとする課題】前記第１のマークでは
一般的には平面上の４点の画像データと各点の実際の形
状寸法データの対応をとることが困難であり、さらに角
度によれば、ポール上のマークと平面上のマークが重な
る可能性があり、位置姿勢検出範囲がかなり狭められる
という問題がある。またこのマーク形状では人間が目視
によりマークの識別や概略の相対位置関係を把握するこ
とは困難であり、遠隔操作を行うロボット用のターゲッ
トマークとして適当ではない。

【０００５】第２のマークでは、従来よりオペレータが
マニュアルでロボット操作しながら作業を行う場合に用
いられてきたもので、人間にはある程度相対位置関係が
把握でき、マークの識別も容易であるが、画像処理等に
より自動的に相対位置の計測を行う場合、複雑な処理が
必要であり、エッジ検出などでは誤差の影響を受けやす
いなどの課題があった。また従来のマークではベースと
なる素材に塗装などによりそのベース表面にマークが設
けられていたため、製造過程においてマーク部とベース
部の境界線が鮮明かつ滑らかにすることが難しく、マー
クの輪郭に凸凹が生じたりする場合があった。

【０００６】

【課題を解決するための手段】本発明によれば、物体の
組立、把持、ドッキング作業等を行うシステムにおい
て、対象物の接合面に設置する近接センサ用のターゲッ
トマークにおいて、面積最大のリング状マークと、一つ
だけ面積の異なる５つの円形マークとこれらのマークを
設置するためのベースからなり、ベースにはこれらマー
クを設置するためそれぞれのマークと同じ寸法のくぼみ
を設け、リング状マーク設置用のくぼみの中心位置を中
心とする１つの円周上であって該リングの外部に互いに
等距離に４つの前記円形のくぼみをそれぞれ配置し、こ
れら４つの円形のくぼみの中の１ヶ所を前記面積の異な
るマーク用のくぼみとし、リング状マーク用くぼみと同
心円でかつリング内部を円筒状にくり抜いた底面の中心
位置に円形のくぼみを設け、ベースに設けられたこれら
のくぼみに各マークをはめ込んで固定し、それぞれのマ
ークとベースとは異なる色を塗布してなることを特徴と
するターゲットマークが得られる。

【０００７】

【実施例】次に本発明についてターゲットマークを用い
た画像計測により相対位置計測を行うための原理作用に
ついて説明する。

【０００８】図１にターゲットマークの構造を示す。図
１（ａ）はターゲットマークの構成要素を示す図であ
り、図１（ｂ）はターゲットマークを組立後、正面から
見た図である。ターゲットマークはベース７上に正方形
状に配置したマークＡ１、マークＢ２、マークＣ３及び
マークＤ４がある。マークＡ１のみ他の３つのマークに
比べ面積が大きくなっている。又、この４つのマークが
つくる正方形の内部にリング状のマークＥ５がある。マ
ークＡ１，Ｂ２，Ｃ３，Ｄ４はマークＥ５の中心位置を
中心とする１つの円周上に互いに等距離にそれぞれ配置
されている。リングの内部は円筒状にくり抜いてあり、
円筒の底面中心に円形のマークＦ６がリングと同心円状
に設けられている。これらのマークの部分を白とし、ベ
ース７の部分を黒のペイントで塗布し、各マークをベー
ス７にはめ込んでいる。

【０００９】図２に観測系のカメラよりターゲットマー
ク画像を取り込んだ一例を示す。座標系は同図に示すよ
うに、観測系のカメラの画像平面０上にＸ、Ｙ座標を、
画像中心より画像平面０に垂直方向にＺ軸をとる。ター
ゲットマークの原点はマークＥ５の重心位置にｘ、ｙ、
ｚとする。またマーク形状寸法すなわち、マーク座標系
における６つのマーク１〜６の３次元位置は既知とす
る。

【００１０】以下、本ターゲットマークを用いることに
より、観測系からのターゲットマークまでの相対位置す
なわち、Ｘ，Ｙ，Ｚ方向の位置の３自由度と、Ｘ，Ｙ，
Ｚ軸回りの姿勢の３自由度の計６自由度についての計測
方法を説明する。

【００１１】まず、観測系より取り込んだカメラ画像に
おける各マーク重心の座標値、及びマークの面積を計測
する。重心座標値とマークの対応をとるため、重心座標
値に対応するマークの面積について比較を行うと、リン
グ状のマークＥ５は最も面積が大きいので、マークＥ５
の対応点が判別できる。マークＦ６はマークＥ５の内部
にあるため、マークＥ５の重心座標点に最も距離が近い
重心座標点がマークＦ６に対応する。残り４点のうちマ
ークＡ１が最も面積が大きいので、マークＡ１の対応点
も判別できる。あとの３点については、第２図に示すマ
ークＥ５を画像原点としたＸ’，Ｙ’座標系における重
心座標値を求め、例えばマークＡ１の座標が第１象現に
ある場合はマークＢ２の座標は第二象現に、マークＣ３
の座標は第三象現にあるなどの条件判定によりすべての
マークと計測座標値との対応判別が可能となる。相対位
置関係によれば、マークＦ６が観測画像面上で観測でき
ない場合があるが、この場合でも、他の５点の計測によ
り対象物との相対位置計測が可能である。

【００１２】以上のように各座標点とマークとの対応が
決定すれば、まず平面７上のマーク１〜４について、文
献：島崎、「投影変換の逆行列に関する２、３の考
案」、電子通信学会研究会資料ＩＥ７９−１５にあるよ
うな方法を用いて各４つのマークの相対位置が幾何学的
に決定できる。さらにこれら４点の３次元位置を用いれ
ばターゲットマークとの相対位置姿勢が計算可能であ
る。この場合、姿勢に関してピッチ、ヨー角の検出精度
がロール角に比べて低くなるが、さらに中心のマークＦ
６の座標が計測されている場合には、このマーク情報を
用いてニュートン法などを用いた繰り返し収束計算等に
より、より高精度のピッチ、ヨー角の検出が可能であ
る。

【００１３】以上の処理により本ターゲットマークを用
いて、画像処理により６自由度方向の相対位置姿勢の計
測が可能となる。

【００１４】次に本発明の具体的な応用例について、図
面を用いて説明する。

【００１５】図３は本発明の実施例を示すロボット遠隔
操作物体把持システムの構成図である。ターゲットマー
ク８及び把持グリップ９を把持対象物１０に設置し、ハ
ンド−アイカメラ２２と遠隔操作ロボットアーム２０、
ロボットハンド２１を用いて把持対象物１０の把持作業
を行う場合について説明する。オペレータはロボット操
作手段２５を用いてロボット操作命令を入力し、ロボッ
ト制御手段２３によりロボットの操作を行う。ハンド−
アイカメラ２２の画像データはロボット操作手段２５に
入力することによりオペレータに提示され、また画像処
理手段２４により画像計測処理が行われる。

【００１６】条件として把持グリップ９をロボットハン
ド２１によって把持する位置を目標位置とし、目標位置
では、ターゲットマーク８とハンド−アイカメラ２２の
相対位置はＺ軸方向のみある値を持ち、他の自由度方向
については、相対位置姿勢の差はないようにターゲット
マーク８、把持グリップ９、ハンド−アイカメラ２２を
配置する。このときのハンド−アイカメラ２２の座標系
は第２図と同じとする。またターゲットマーク８から把
持グリップ９までの相対位置及び形状寸法、カメラ２２
からロボットハンド２１までの相対位置及び形状寸法は
既知とする。

【００１７】まず、オペレータはロボットアーム２０を
操作しながらハンド−アイカメラ２２を用いて把持対象
物１０を探索する。把持対象物１０が発見できれば、さ
らに把持対象物１０に設置したターゲットマーク８を識
別し、カメラ視野内に最低マークＡ１〜マークＥ５が判
別できるようにロボットアーム２０を遠隔操作してカメ
ラ視点位置の調整を行う。上述のマーク画像が得られれ
ば、後は画像処理により、カメラ２１からターゲットマ
ーク８までの相対位置が計測できる。さらに計測精度を
向上させるため、まず計測データに基づき、Ｚ軸方向の
み一定にして、他の自由度方向の相対位置誤差を解消す
る方向にアームを移動する。そこで再度画像計測により
相対位置の計測を行う。さらに高い精度が要求される場
合はＺ軸方向に段階的に近づけ、その都度相対位置計測
を行えば良い。

【００１８】最後はＺ軸方向に目標となる相対位置まで
移動すれば、ハンドの位置決めが完了するので、ハンド
の把持動作により対象物体の把持作業が行える。さらに
このときマークの現在画像と接合完了時の輪郭などのリ
ファレンス画像が重ね合わせできるようにしておけば、
人間が目視により位置決め状況が確認できる。

【００１９】

【発明の効果】本発明によれば、近接覚センサとしてカ
メラ系とターゲットマークからなる構成により、３次元
空間に置かれた任意の対象物の相対位置検出が可能であ
る。前述の処理は、リング状のマークを目標に人間が画
像を見ながら遠隔操作によりターゲットマークを容易に
認識でき、目視によってもある程度の相対位置関係が把
握可能である。さらに処理すべきターゲットマーク画像
が得られれば、画像処理により相対位置計測が可能であ
る。また凹状の立体マークであるため姿勢方向について
も高精度の計測が可能であり、例えば５つのマークがあ
る平面上にないもう一つのマークが観測できなくても相
対位置の計測が可能である。この場合、計測後、観測位
置を変更して繰り返し計測することにより計測精度を向
上させることが可能である。また各マークとベースを別
々に製作、塗装しベースに設けたくぼみにマークをはめ
込むようにしたため、マークとベースの境界線が鮮明か
つ滑らかとなり、マーク重心位置の検出精度も向上でき
る。

【００２０】以上の説明より、本マークは平面マークと
立体マークの特性を合わせ持ち、さらにリング状のマー
クを設けることにより人間にもある程度マーク形状より
相対位置関係が把握でき、マークの認識も容易となるな
ど単なる画像計測のみならず、遠隔操作を行うロボット
システムにおいて特に有効である。

【００２１】従って、本発明によれば、前記効果を持
ち、従来のターゲットマークが持っていた課題を解決し
たターゲットマークが得られる。

【図面の簡単な説明】

【図１】本発明のターゲットマークの構造を示す図で、
（ａ）はマークの構成要素を示し、（ｂ）は組立後のマ
ークの正面図を示す図である。

【図２】ターゲットマークのカメラ画像を示す図であ
る。

【図３】実施例として本マークを用いて物体把持を行う
システムの構成図である。

【図４】従来のターゲットマーク例を示す図である。

【符号の説明】

０ カメラ画像平面 １ マークＡ ２ マークＢ ３ マークＣ ４ マークＤ ５ マークＥ ６ マークＦ ７ ベース ８ ターゲットマーク ９ 把持グリップ １０ 把持対象物 ２０ ロボットアーム ２１ ロボットハンド ２２ ハンド−アイカメラ ２３ ロボット制御手段 ２４ 画像処理手段 ２５ ロボット操作手段

Claims (1)

【特許請求の範囲】
1. 【請求項１】 物体の組立、把持、ドッキング作業等を
   行うシステムにおいて、対象物の接合面に設置する近接
   センサ用のターゲットマークにおいて、面積最大のリン
   グ状マークと、一つだけ面積の異なる５つの円形マーク
   とこれらのマークを設置するためのベースからなり、ベ
   ースにはこれらマークを設置するためそれぞれのマーク
   と同じ寸法のくぼみを設け、リング状マーク設置用のく
   ぼみの中心位置を中心とする１つの円周上であって該リ
   ングの外部に互いに等距離に４つの前記円形のくぼみを
   それぞれ配置し、これら４つの円形のくぼみの中の１ヶ
   所を前記面積の異なるマーク用のくぼみとし、リング状
   マーク用くぼみと同心円でかつリング内部を円筒状にく
   り抜いた底面の中心位置に円形のくぼみを設け、ベース
   に設けられたこれらのくぼみに各マークをはめ込んで固
   定し、それぞれのマークとベースとは異なる色を塗布し
   てなることを特徴とするターゲットマーク。