JPH0299802A - ハンドアイを用いた視覚センサにおける座標系設定方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、視覚セン→ノの座標系設定方法に関し、特に
、ロボットハンドにカメラを取イ」（）る視覚センサに
お【ノる座標系設定方法に関する。

従来の技術 三次元空間の直交座標系を設定するには、三次元空間士
の最低３点を決める必要がある。通常、ロボッ１へを制
御りる／ｊめの肖交肢標系（ｍｌボッｌ−座標系という
〉を設定するには、例えば、■［１ボッｌ−ｉｉｉ’ｉ
交座標系の原点（【コボッ］〜機構部に設定されている
ベース座標系に対する位置）、■［１ボツｈ直交座標系
のＸ軸上の正方向の点、■ロボット直交座標系のＸＹ平
面十におけるＹ軸止り向の任意の点等の３つの点を教示
することによって［１ボッ１−直交座標系を設定しでい
る。また、視覚センサのカメラと検出対象物どの距離、
即ち、画像取込位置も設定する必要がある。

同様に、視覚ロン１ノの座標系の設定を行う場合にも、
例えば■視覚セン勺座標系の原点、■視覚セン１ノ座標
系のＸ　１ｌＩｌ）の１１一方向の点、■視覚セン１ノ
座標系のＸＹ平面上に６けるＹ　Ｉｌｌ＋正り向の任意
の点の３点を教示ηる必要があり、さらに、視覚しンリ
のカメラが取込んだ画像を記憶するフレームメモリの１
画素あたりの長さを決定しな（）ればならない。イして
、こうして設定されるロボット座標系と視覚セン１ノ座
標系を一致させ、視覚センサが該視覚しンリの座標系で
認識した位置と［１ポツト座標系の位置が対応するＪ、
）に座標系６１．９定しな（Ｊればならない。

従来、このようなロボット座標系及び視覚シテン＋Ｊ［
標系を設定する場合、上述したにうに、［１ボット直交
座標系の原点位置と、ある１つの軸、例えばＸ軸上の正
り向の点及びＸＹ平而面のＹＩｌ！ｌ１４Ｔ：方向の任
意の点の３点を示す治具を用意しておき、これら３点に
夫々ロボットのツールセンタポイント（ＴＣＰ）を位置
づけ、これら３点を教示しでロボット座標系を設定し、
その後、上記画像取込位置にハンドを移動させ、上記３
点をカメラでとらえ、認識された上記３点より視覚セン
→ノ座標系を設定している。１こうして、同一　３点に
Ｊ：って座標系を設定するから、ロボット座標系と視覚
センリー座標系は一致する。

発明が解決しようとする課題 上述したように、従来の方式では、３貞を教示する治具
を用いて、ロボッ（・を制御り−るＩこめの座標系設定
ど視覚セン勺の用いる座標系の設定とを別々に行わねば
ならないから、座標系設定、即ち、４ヤリブレーシヨン
の作Ｘ項［１が多く効率的ではなかった１、また、座標
系の設定に用いられる治具の粘麿が位置補正の精度に大
きく影響を与えるという欠点があった。

そこで、本発明の目的は、Ｄボッ１−及び視覚センサの
座標系の設定を筒中に？ゴうごとができる、ハンドアイ
を用いた視覚センサにおりる座標系設定方法を提供する
ことにある。

課題を解決りるための手段 本発明では、上記課題を解決するために、［１ボツ１〜
に設定されているベース８標系にお【）る所定の座標位
１行の１点をちえる治具をロボット・に取付り、該治具
」二の１点を１１ボッ１−に教示し、該教示点を原点と
する上記ベース座標系をシフトした直交座標系をロボッ
１へ座標系として設定覆る。次に、ロボットを画像取込
位置に移動させて、十記治具十の１点を視覚セン勺で・
認識させ（視覚しンリ座標系の原点として設定し、上記
カメラの光軸と垂ｊ 直で上記治具上の１点を通る上記ベース座標系の１つの
座標軸と平行にロボットハンドを移動さけて上記治具上
の１点を視覚センサに認識さゼ、該認識した点と１記視
覚センリ座標系の原点間の移動距離、移動方向及び０ボ
ツ１〜ハンドの向きにＪ、って視覚セン勺の座標系及び
１画素あたりの長さを設定するようにした。

作　　用 ベース座標系にａ３　Ｌノる座標位置が既知である治具
上の１点を、ベース座標系にＪ５ける陣標位置としての
数値により、または、手動でツールセンタポイン［・を
位置づけて教示することにより、該教示点を原点とし、
ベース座標系の各軸に平行＜’ｊ、即ち、ベース座標系
の原点を教示点に平行移動して得られる座標系を［１ボ
ツ１〜を制御するため０月ポット座標系として設定する
。

そして、ロボットを移動さけ、ハンドに取イ・Ｈ）られ
たカメラを設定された画像取込位置に位；６づり、治具
上の上記１貞を認識し、この認識した貞を視覚センリ座
標系の原点として設定し、次に、カメラの光軸と垂直で
、治り、１」−の上記１点を通るベース座標系（ロボッ
ト座標系）の１つの座標軸と平行にｎボットハンドを移
動させることにより、カメラを移動さけ、治具上の上記
１点を視覚セン→ノに認識ざゼると、該認識した点と視
覚センサ座標系の原点間の移動距離、移動１ノ向　［１
ボツトハンドの向きより視覚ヒンサ座標系が設定される
。

即ち、視覚センタ座標系の原点として認識した視覚セン
タのフレームメ［り十の上記治具上の１点どカメラを移
動さμで認識させた治具上の１点間のフレームメモリの
画素数ど、ロボットハンドの移動距離にＪ：って１画系
あたりの長さが決定され、視覚センタで認識した２つの
点を結ぶ線が視覚センタ座標系の１つの座標軸として決
定され、この座標軸とＩロボットハンド（カメラ）の移
動方向により、他の２つの視覚センタの座標軸が決定で
き、かつ、ツールの向きにより座標軸の向ぎが決まる。

例えば、視覚センタの原点を決定した後、ベース座標系
（ロボット座標系）のＸ軸ンイブス方向にロボットハン
ド（カメラ）を移動させて治具上の上記１点を認識すれ
ば、該認識貞は視覚センサ座標系のＸ軸プラス上の点と
なり、他の視覚センタ座標系のＹ軸、Ｚ軸はこのＸ軸ど
垂直Ｃベース座標系（ロボット座標系）のＹ軸、Ｚ軸と
平行な線として決定でき、かつ、Ｘ軸のプラス方向への
向きとツールの向きにより、Ｙ軸、Ｚ軸のプラス方向の
向きも決定できる。

実施例 第２図は、本発明の座標系設定方ｄ１を実施づるロボッ
１−の概要図で、エメ台１には所定範囲内で回転可能な
ボスト２が軸支され、該ボス１〜２には一ト手動する支
軸３が挿通され、該支軸３には水平方向に支持された第
１のアーム４．該第１のアームの先端には水平方向に回
動する第２のアーｔ＼５、また、該第２のアーム５の先
端には水ＸＰ力方向回動する手首６が軸支され、該手首
６には視覚センサのカメラ８が取イ→りられたハンド７
が取ｆ・］（）られている。

そして、該ロボットのロボット機構部に対しＣ設定され
ているベース座標系（Ｘ−Ｙ　−、７）に対して該ロボ
ットの制御のための１１ポツト座標系及びセンタ座標系
を設定する場合、即ら、原点を調整し、キャリブレーシ
ョンを行う場合には、ベース座標系＜　ｘ　−、ｙ　−
ｚ　＞における座標位置が既知な点Ｐを示η冶貝９を［
１ボッ１−に取付り、該治具９により１ヤリブレーシヨ
ンを行う。

まヂ、１」ボッ１〜のツールセンタポイン１〜（「ＣＰ
）を、上記γｈ具９の１点Ｐに位置づけ、［１ボット座
標系の原点どしで教示し、１コボツト制御装置のメＥり
内に格納り゛る。この治具上の点Ｐのベース座標系にお
（〕る座座位置を（ｘ　Ｏ，ｙ　Ｏ，ｚ　Ｏ）とすると
、該座標位置（ｘ　Ｏ，ｙ　Ｏ，７０）を原点とし、ベ
ース座標系の各軸に夫々平行で、夫々同一向きの軸を座
標軸とり°る座標系をロボット座標系として設定する。

即ち、ベース沖・標系の餡点を座標位置（ｘＯ，ｙＯ，
ｚＯ）ｌ、ｍシフ　トＬ、り直交座標系（Ｘ’Ｙ’−Ｚ
’）をに１ボット座標系として設定する、１なお、十記
冶員上の点Ｐのベース座標系の外標位”＋；’ｉ　（ｘ
　Ｏ，ｙ　０．７０Ｈ；１．　ａ知Ｔあるから、該座標
位置を数値で１］ボッ１−制御装置に入力して、入力座
座位置を原点とするロボットＦＰ標系を設定するように
してもよい。次に、設定された画像取込位置までロボッ
トハンドを移動させる１、この実施例ではベース座標系
のＺ軸プラスｈ向に移動させ、画像取込位置に位置づけ
、視覚ヒフ４ノのカメラ８で上記治具９上の点Ｐを層形
し、核熱Ｐの視覚センタのフレームメモリ十の点を視覚
ヒフ１ノ座標系の原点として、視覚センタのｆ−タメし
り内に格納する。

第１図は、ベース座標系（Ｘ−Ｙ−７）　、ｎボッ］〜
座標系（Ｘ’　−Ｙ’−Ｚ’　）及び視覚センタ座標系
の関係を説明する図で、治具９上の点１−）（ベース座
標系における（　ｘ　Ｏ，ｙ　Ｏ，ｙ　Ｏ）の点）が教
示されると、ロボット座標系（Ｘ′−Ｙ′Ｚ′　）が決
定され、核熱Ｐをカメラ８′ｃＩＩＩｚ影し、核熱がフ
レームメしり上の（ｓｘｏ、５ｙｏ）の点として認識さ
れると、該位置（ｓｘｏ、５ｙＯ）を視覚センタ座標系
の原点として格納する。

そして、ロボットハンド７（カメラ８）をノＪメラ光軸
に垂Ｃ１なベース座標系（［１ボツ１〜座標系）の１つ
の軸に平行に移動させる。本実施例ではベース座標系の
Ｘ軸に平行にマイブス力向に移動させ、上記冶貝十の点
Ｐが視覚センサの視野でとらえることができる位置まで
最大限移動させる（これにＪ：り後述Ｊるようにセンサ
座標系における１画素あたりの良さの粘度１．！（差を
少なくりる）。イしで、ベース神標系」でツールセンタ
ポーイン１〜（カメラ）がＰ　（ｘ　Ｏ，ｙ　Ｏ，ｚ　
Ｏ）からＰｌ（ｘｉｙｏｚｏ）まで移動し、視覚センサ
の視野が第１図におい（ＳからＳ′に移動して土５【シ
治具十の点Ｐをフレームス−「す」二で点（ｓ’　ｘｏ
　、ｓ’　　ｙＯ）としで認識されたとすると、１１ポ
ツトのツールセンタポイントの点ＰからＰｌまでの移動
量（ＸｉＸＯ）とフレームス［り上の上記治具上の点Ｐ
の移動量、即ち、点（ｓｘＯ，５ｙｏ）から点（ｓ’ｘ
Ｏ。

ｓ’　　ｙＯ）間の画素数により１白木あたつの長さが
求められる。そして、貞（ｓｘｏ、５ｙＯ）と点（ｓ’
　ｘｏ　、ｓ’　　ｙＯ）　／６結ぶ線が視覚センタ座
標系のＸ軸どじて認識され、かつ、点（ＳＸＯｓｙｏ）
から点（Ｓ’　　ＸＯ、Ｓ’　　ｙＯ）へのｈ向が×軸
プラス方向として求まる１、そして、ツールの向き、即
ち、ツールが上ブノ向に向いているか、土方向に向いて
いるかによってＸ軸にＴｌｉ直＜−ｉ　Ｙ軸の向き、Ｚ
軸の向ぎも求まり、視覚センリ座椋系が決定されること
となる。

第３図は、本実施例にお（プるｒ］ボッ１〜制御菰ｉｉ
”ｆ２０と視覚センυの制御部４０の東部ゾ１１ツク図
で、ロボット制御装置２０の中央処理装置（以１・、Ｃ
Ｐ　ＬＪという）２１にはへス２つにＪ、って制御プロ
グラムが格納されたＲ　ＯＭ　２２　、フータの一１１
４記憶等に利用されるＲΔＭ２３．教示データや各種設
定値が格納される不揮発性メしり２／Ｉ、ｃ＋ボッ１−
の各軸を駆動する１ノーボ尤−夕の１ノ一ボ回路に接続
される軸制御器２５．教示操作５ｆ８２　Ｇ　、操作盤
２７１通信通信インタフェイスが接続され、視覚センタ
４０のＣＰ　Ｕ　Ｉ！１．１にｔ、Ｌハス／１９によ−
）てカメラ８で賑影した画像を記憶づるル−ムメモリ４
２．コン１−ロールソフト用メｔす４３．ｌログラムメ
モリ４４．’７−タメーしり４５．カメラ８に接続され
るカメラインタフェイス４６９画像処理ブロヒッ１ノ４
７及び通（５インタノエイス４８が接続され、通信イン
タフェイス２８．４８によって【」ボッ１〜制御装置２
０と視覚セン→）制御部４０は情報の送受を行っている
。

なお、上記ロボット制御装置２０．視覚センサ制御部４
０の構成ｔま公知なものであり、訂細な説明は省略ＩＪ
る。

そこで、教示操ｆ１盤２６を操作し、［Ｊホットのツー
ルセンタポイン１−を治具９十の点Ｐに位置づり、１−
１ボット座標系の原点として教示するど、ＣＰＵ２１は
不揮発性メモリ２４に該教示点を［１ボツ１〜座標系の
原点として格納し、ベース座標系（Ｘ−Ｙ　−Ｚ　）の
原点をこの教示点にシフトした座標系を１」ボット座椋
値として設定づる。次に、教示操作盤２６より視覚セン
サ座標系設定指令を入力づるど、ＩＺ１ボッ１−制御装
置２０．視覚セン４ノ制御部４０のＣＩ）Ｕ２１，４１
は第４図（ａ）。

（［））で承り処理を開ｋｆｉする、。

ロボット制御′ＪＡ閘２０のＣＰＵ２１は設定された画
像取込指令置に［１ボッ１−を移動させる（ステラブ１
００）。即ち、治只十のＪｊ、（「）にツールシコンタ
ボイン１〜が位置決めされた位ｉ５から／軸プラス方向
にロボッ１−を移動さゼ、画像取込イｌ′／　Ｗ（にイ
１′／’ＩＩ　’つけ、画像取込指令を通信インタフェ
イス２８．’１８を介して視覚センサ制御部４０に出力
覆る（ステップ１０１）。視覚セン１ノ制御部４０のＣ
ＰｔＪ４１はこの信号を受信しくステップ２００）　、
カメラインタフェイス４Ｇを介しＣカメラ８にス太ツブ
指令を出力し、匙影された画像は画像処理プロセッサ４
７でグレースケール濃淡処理を行ってフレームメモリ４
２に格納し、次に、カ１１像処理ブロレッ１Ｊ４７によ
ってフレームス■す１２に格納された画像より治具−［
の点Ｐのフレームス＝しり上の位＠（ｓｘｏ、５ｙｏ）
を認識しくステップ２０１）、この位置（ｓｘｏ、５ｙ
ｏ）を視覚セン１ノ座標系の原点としてデータメモリ４
５内に格納しくステップ２０２）　、作業完了４１１号
を出力覆る（ス１ツブ″２０３）。ロボット制御装置２
０のＣＰＵ２１はこの信号を受信しくステップ１０２）
、ＲＡＭ２３内に設けたレジスタＲを＋’　０．１にレ
ツ１へし、（スアッ７１０３　）　、＋−１ポツト・を
ベース座標系のＸ軸のマイノス力向に設定された所定−
）ｌ移動させる（ステップ１０４）。そして、レジスタ
Ｒに上記所定量ｊ！を加貝−しくステップ１０５）、画
像取込指令を出力刀る（ステップ１０６）。視覚センサ
制御部４０のＣＰＵ４１はこの画像取込指令を受信し、
前述同様カメラ８からの画像をフレームメモリ４２内に
格納しくステップ２０４．２０５）、画像処理プ［ｌセ
ラ４）４７によって治具トの点Ｐが認識Ｃきたか否か判
断し、認識されていれば、その認識座標位置（ｓ’　ｘ
ｏ　、ｓ’　ｙＯ）をブタメモリ４５内の座標値記憶レ
ジスタに格納し、記憶座標位置を史新しくステップ２０
６，２０７）、認識信号を出力する（ステップ２０８）
。なお、ステップ２０６で治具上の点Ｐが認識できなけ
れば、非認識信号を出力する（ステップ２０９）。

白ボッ１〜制御装置２０のＣＰＵ２１は、認識、非認識
信号が受信されたか否か判断しくステップ１０７）、受
信されているどその信号が認識信号か否か判断しくステ
ップ１０８）、認識信号であればステップ１０４に戻り
、再び所定＋ｊｉ　１だ（ノベス座標系のＸ軸上マイナ
スｈ向にロボットを移動ざゼ、レジスタＲに所定ｒｉｓ
　１を加律し、画像取込指令を出力しくステップ１０５
，１０６）、視覚センサ制御部４０のＣＰＵ４１は、前
述したＪ、うに、ステップ２０４〜２０８の処理を行う
。以下、治具上の点Ｐがカメラの視野にあり、フレーム
メモリ４２内に認識される間は、ロボット制御装首２０
のＣＰＵ２１はステップ１０／ｌ・〜１０８の処理を、
視覚センサ制御部４０のＣＰＵ４１はステップ２０４〜
２０８の処理を繰返しく］う、、その結果、データメモ
リ４５内の座標値記憶レジスタには［」ボッ１〜（カメ
ラ）が移動し、カメラがとらえた治具上の点Ｐの座標値
（ｓ′ｘＯ１ｓ′　ｙＯ）が順次更新されることとなる
（ステップ２０７）。

こうして、第１図に示ずように、治具上の点［）がカメ
ラ８の視野の端部まで移動し、次に、所定量ｌだけロボ
ットが移動し、ステップ２０６で治具上の点Ｐが認識で
きなくなったとさ、ＣＰＵ／１１【、１非認識信号をロ
ボッ［〜制御部２０に出力し、］」ボッ１ル制御部２０
のＣＰ　Ｕ　２１はこの信号を受りて（ステップ１０７
，１０８＞、レジスタＲから所定Ｑ’＋　１減す）シ、
これにＪ、す、カメラ８の視野で治具１−の点Ｐをとら
え得る原点（ロボット座標系の原点）からの移動量を求
め（ステップ１０９）、このレジスタＲに記憶する移動
量とロボットのツルの向さ、即ら、ツールが下向き、上
向きか（ツールの向きがＺ軸のマイブスｈ向またはプラ
ス方向か）を視覚センサ制御部４０に送信する。

視覚センサ制御部４０のＣＰＵ４１はこの移動量とツー
ルの向きを受信りると（ステップ２１０）、ステップ２
０２でデータメモリ内に格納した視覚センυ座標系の原
点（ｓｘｏ、５ｙｏ）と、ス゛アップ２０７で更新され
記憶されているロボットのＸ軸マイナス１）向の移動で
、カメラが最後にとらえた治具上の点Ｐの座標位置（ｓ
’　ｘｏ　、ｓ’　　ｙＯ１間の距離、及び該２つの座
標位置（ｓｘｏ、５ｙｏ）。

（ｓ’　ｘｏ　、ｓ’　　ｙＯ）間のロボット移動量、
即ち、ステップ２１０で受信した１］ボツト移動量より
ル−ムメｔす４２の１画素あたりの長さを求め、データ
メモリ４５に格納する。ぞして、原点（Ｓｘｏ、５ｙＯ
）から座標位置（ｓ’　　ｘＯ、ｓ’　　ｙＯ）のｈ向
を視覚センサ座標系のＸ軸プラス１Ｊ向どし、かつ、こ
のＸ軸と０交するＹ軸の向きをＸ軸の７″ラス方向とツ
ールの向きより求め、か）、視覚センリ座標系のＺ軸は
ベース座標系のＺ軸及びぞの向ぎと同一とすることによ
って視覚しン１ノ坤・セ；：系を設定する（ステップ２
１１）。

第４図（ａ）、（ｂ）のノ［１−ブ【？−１〜で示した
動作はロボッ］〜座標系の原点を手動で教示１６方式で
あるが、治具上のｔ３「）のベース座標系の座標位置は
既知であるから、ロボット制御装置２０内に予めこの点
Ｐの座標値Ｆ１を設定しておく（またはプログラム化し
ておく）ことににす、座ＦＡ系設定指令をロボット制御
具Ｖ♂２０に入力づると、第４図（ａ）のステップ１０
０の前に、自動的に設定されている治具上の点Ｐの座Ｃ
Ｎ　Ｖ（にツール廿ンタボイン１〜を移ａｔさせ、その
後スープ′・ンプ１００以下の処理を行うようにしても
Ｊ、い。

発明の効果 本発明は、治具上の１点によってロボット制御に用いら
れるロボッｌ−座標系及び視覚センリの座標系を一連の
作業で筒中に効５キ′的にｉううことができ、ｆ３貝上
の１点によつく座標系を設定するから、従来のように３
点によって設定づる場合ど比べ、ロボット座標系と視覚
セン１ノの座標系間の誤差が少なくなり、位置補正粕麿
の面上を図ることができる。

【図面の簡単な説明】

第１図４．Ｌ本発明にＪｊＩ’Ｊるベース座標系、［１
ボット座標系、視覚センリ座標系の関係を説明する説明
図、 第２図は本発明を適用した１１ボツ１への一実施例を示
す図、 第３図は同実施例にｄ３（」るロボット制御装置。 視覚センリ制御部の要部ブ「１ツク図、第４図（ａ）、
（ｂ）は座標系設定のための［１ボッｉ〜制御装置、？
５１覚レンリ制御部の勅伯処狸）ｆｉｌ　−’ｆ−１ノ
ー１〜である１゜７・・・ツール、８・・・カメラ、９
・・・治具、Ｐ・・・治具土の点、２０・・・Ｉコボッ
１〜制御装置、／ＩＯ・・・視覚ヒンサ制御部。

Claims (3)

【特許請求の範囲】
1. （１）ロボットハンドにカメラが取付けられた視覚セン
   サにおいて、ロボットに設定されているベース座標系に
   おける所定の座標位置の１点を与える治具をロボットに
   取付け、該治具上の１点をロボットに教示し、該教示点
   を原点とする上記ベース座標系をシフトした直交座標系
   をロボット座標系として設定し、次に、ロボットを画像
   取込位置に移動させて、上記治具上の１点を視覚センサ
   で認識させて視覚センサ座標系の原点として設定し、上
   記カメラの光軸と垂直で上記治具上の１点を通る上記ベ
   ース座標系の１つの座標軸と平行にロボットハンドを移
   動させて上記治具上の１点を視覚センサに認識させ、該
   認識した点と上記視覚センサ座標系の原点間の移動距離
   、移動方向及びロボットハンドの向きによって視覚セン
   サの座標系及び１画素あたりの長さを設定するようにし
   たハンドアイを用いた視覚センサにおける座標系設定方
   法。
2. （２）上記ロボット座標系の原点教示は上記治具上の１
   点にツールセンタポイントを手動で移動させて教示する
   ことにより行われる請求項第１項記載のハンドアイを用
   いた視覚センサにおける座標系設定方法。
3. （３）上記ロボット座標系の原点教示は、上記治具上の
   １点のベース座標系の座標位置を数値で教示することに
   より行われる請求項第１項記載のハンドアイを用いた視
   覚センサにおける座標系設定方法。