JPH0339611A - 視覚認識装置を備えたロボツトにおける座標系間のキヤリブレーシヨン方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、視覚認識装置を具備したロボットにおける、
ロボット座標系と視覚認識座標系のキャリブレーション
方法に関するものである。

［従来の技術］ 従来のロボットは教示点に対してアームなりハンドを移
動するというものであった。近年、画像処理技術の進歩
により、視覚系でワーク位置を認識したり、把持したワ
ークを視覚系で確認しながら所定位置に移動するという
ような視覚系付きのロボットが脚光を浴びている。

このいわゆる視覚付きロボットでは、視覚認識座標系と
ロボット座標系という２つの座標系がシステム内に存在
することになり、これらの２つの座標系のキャリブレー
ションが不可欠になる。

このキャリブレーションは、従来では、次のようにして
いる。例えば、特開昭５８−１１４８７号公報では、ロ
ボット座標系で既知の位置にある所定のマークを視覚系
で認識し、ロボット座標系によるマーク座標と視覚系に
よるマーク座標とから、視覚認識座標系とロボット座標
系の原点オフセット量、視覚認識系に対するロボット座
標系のアスペクト比、座標軸間の回転角を算出するとい
う方法がとられている。

［発明が解決しようとしている課題］ 発明者達は、上記従来例の手法によりキャリブレーショ
ンを行なっても、誤差がつきまとっていることを経験的
に見出した、その原因を詳細に検討した。

発明者達の検討によると、上記従来例では、マークの画
像取り込み回数が１回であるために、照明条件の変動、
ロボットのサーボモータによる振動、ＩＴＶカメラの感
度のムラ、画像処理装置の白黒濃淡画像の２値化処理時
に発生する量子化誤差等によって視覚認識座標系で数画
素の読み取り誤差を生じているという結論に達した。ま
た、ＩＴＶカメラの単位時間当りの走査回数と照明電源
の電源周波数とで取り込み画像にモアレが発生して、こ
れも誤差の原因になっていたことを見出した。

［課題を解決するための手段］ 上記課題を達成するための本発明の構成は、視覚認識装
置を備えたロボットにおけるロボット座標系と視覚座標
系とのキャリブレーション方法であって、以下のａ工程
乃至ｅ工程からなる。

ａ工程：１つまたは複数個の所定のワークの各々をロボ
ット座標系による所定の位置に置く。ｂ工程：該ワーク
を視覚認識装置で認識し、視覚座標系によるワーク位置
を検出する。Ｃ工程：上記す工程を、第１の所定回数だ
け繰返し、視覚座標系による平均ワーク位置と、このワ
ーク位置のバラツキ度とを算出する。ｄ工程：上記ｂ、
Ｃ工程を、上記バラツキ度が所定の制約条件を満たすま
で繰返す。Ｃ工程：前記ロボット座標系による位置と、
視覚座標系による平均ワーク位置とに基づいて、座標系
間のキャリブレーションデータを演算する。

［実施例］ 以下添付図面を参照し、本発明のキャリブレーション方
法を、直交型ロボットの適用した実施例を説明する。

第１図は、本実施例の構成図であり、Ｚ方向に移動可能
なＺ軸アーム１と、水平方向（Ｙ方向）に移動可能なＹ
軸アーム２と、水平方向（Ｘ方向）に移動可能なＸ軸ア
ーム３と、Ｘ軸アーム３の先端に設けられ（ｘ、ｙ）平
面と垂直の光軸を有するＩＴＶカメラ４と、Ｘ軸アーム
３に取り付けられたフィンガー５と、前記（ｘ、ｙ）平
面と平行な関係に配置されたパレット台６と、このパレ
ット台６に置かれた参照ワーク７と、ロボット制御と視
覚認識をコントロールする制御装置８とから構成されて
いる。

３つの参照ワーク７ａ乃至７ｃは円形の平板形状であっ
て、パレット台６との画像コントラストが充分得られる
ような配色となっている。本実施例では、参照ワークの
個数は３個とした。これは、後述するように、本実施例
でキャリブレーションを行なうのに必要なデータ（キャ
リブレーションデータ）が座標間回転角θ、原点間オフ
セット量（ΔＸ、ΔＹ）、アスペクト比ｒ　Ｘ　＋　ｒ
　’＋１の５つであり、また、１つの参照ワークからこ
れらの未知数について２つの代数式が得られるからであ
る。

この点について、第２図により更に説明する。

先ず、ロボット座標系Ｘ軸と視覚座標系Ｘ軸とは０度ず
れている。視覚系の原点は、ロボット系の原点から、ロ
ボット系の座標で（△Ｘ、△Ｙ）だけずれている。もし
ロボット座標系と視覚座標系とで、原点が一致し、座標
軸間でもずれていなければ、各座標軸間での単位長さ当
りの座標メモリの比はアスペクト比を与える。例えば、
θ＝０で、（△Ｘ、△Ｙ）＝　（０，Ｏ）である場合に
、ある点Ｐの座標値が、ロボット座標系で（Ｘ、。

Ｙ、）であって、視覚座標系で（ｘｏ　＋　ｙｏ　）で
あれば、 がアスペクト比となる。従って、任意の点Ｐのロボット
座標系の座標値（Ｘ、、Ｙ）と視覚系の座標値（ｘ、ｙ
）との間には、 Ｘ　＝　ｒ　Ｘ−Ｘ　’ＣＯ３θ−ｒ　ｖ”／−５ｉｎ
θ＋△Ｘ・・・・・・（１） Ｙ　＝　ｒ　ｘ、Ｘ−５ｉｎθ＋ｒ　ｙ−ｙ’Ｃ０８θ
＋△Ｙ・・・・・・（２） が成り立つ。この実施例では、上記２つの式における任
意の点Ｐを、ワーク、の重心位置としている。即ち、第
３図に示すように、ロボット座標系でワークを点Ｐ　（
Ｘ、Ｙ）に置くということは、ワークの重心について教
示した点Ｐ　（Ｘ、Ｙ）に、ワークを把持したアームを
移動することに他ならない。そして、このワークの形状
輪郭を画像処理にて認識し、この輪郭から重心を求め、
この重心座標Ｗ　（ｘ、ｙ）は、本来は、Ｐ　（Ｘ、Ｙ
）に一致する筈である。即ち、Ｗ（ｘ、ｙ）とＰ（ｘ、
ｙ）には上記（１）（２）式が成立している筈である。

そこで、上記キャリブレーションデータは５つの未知数
を含むから、３つのワークについて（１）（２）式、都
合６つの式を得れば、座標間回転角θ、原点間オフセッ
ト量（△Ｘ、ΔＹ）、アスペクト比ｒｘ、ｒｙの５つを
計算で得ることができるわけである。

理論的には、画像処理による重心座標の計算は一回の測
定値に基づいて得られる筈であるが、前述したように、
照明条件の変動、ロボットのサーボモータによる振動、
ＩＴＶカメラの感度のムラ、量子化誤差等によって数画
素の読み取り誤差を生じていることに鑑みて、複数回に
わたる画像処理と受信位置計算を行なうようにしている
点に本実施例の特徴がある。

本実施例の座標系キャリブレーションの方法について、
第４図のフローチャートに従って説明する。

先ずステップＳ２．ステップＳ４で、カランタル及びカ
ウンタｉを初期化する。カランタルは３つのワークを特
定するカウンタであって、ｐ＝１〜３の値を取り得る。

カウンタｉは重心検出のための画像処理の回を特定する
カウンタであり、後述するように、本実施例では、最低
１０回の画像処理を行ない（ステップＳ１８参照）、測
定された重心位置の標準偏差σ８．σ、が所定の閾値Ｌ
ｘ、Ｌｙ以下になる（ステップＳ２０参照）まで繰返す
。

ステップＳ６では、ｐのワークを所定位置（Ｘ、、Ｙ、
）に置く。即ち、制御装置８によりロボットにまず参照
ワークの把持命令が出力され、ロボットが所定の位置に
移動し、参照ワーク７を把持し、次に制御装置８より出
力された位置座標（Ｘｐ、Ｙ、）にＸ軸アーム３、Ｙ軸
アーム２．２軸アーム１を制御して、参照ワーク７をパ
レット台６上に置く。この所定位置とは、第２図に示す
ように、例えばｐ＝ｌのワークについては（ｘ、、ｙ、
）である。

ステップＳ８乃至ステップＳ１０は、ｐ番目のワークに
ついて、１０回の画像取り込みと重心位置計算を行なう
ルーチンである。゛先ず、ステップＳ８ではカメラ４に
より、そのワークの画像を取り込む。即ち、参照ワーク
７の画像をＩＴＶカメラ４を介して制御装置８に内蔵さ
れた視覚認識装置に映像信号を送る。ステップＳＩＯで
は、カウンタｉをインクリメントして、映像取り込みが
一回行なわれたことを記憶する。

ステップＳＩＯでは、ワーク７の重心位置を算出する。

即ち、ワーク７と台座６の色の相違による明度の違いを
利用して、一定の明度以上の画素を抽出し、即ち二値化
し、この輪郭形状から重心位置を算出する。この重心位
置を、ｐ番目のワークのｉ番目の画像により得られたも
のであることに鑑み、（Ｘｐ＋＋　ｙ□）と表示する。

ステップＳ１４ではｉ回の測定による重心の平均値（Ｘ
　Ａ□ｙＡｐ）を、 ｙ　ＡＩ＋＝　　　　・ （４） に従って計算する。ステップＳ １６では、ワーク ｐの重心位置の標準偏差σＸ９＋ σＹつな計算する。

ステップＳ１６では、画像処理及び重心測定を１０回行
なったかを調べる。即ち、ステップ３２０以下の制御で
は、１０回以上の測定を行なった時の平均重心位置及び
標準偏差である。

ステップＳ２２では、重心位置の標準偏差σ８□σ７．
が夫々閾値ＬＸ、ＬＹをいまもって超えているかを調べ
る。もし、ステップＳ２０でσＸｐ≧Ｌｘ　　且つ、 σ７ｐ≧ＬＹ であれば、未だ、演算された平均重心位置データが正し
い値を示すほど測定を行なったとは言えないと判断でき
るので、ステップ８８以下を繰返す。

ステップＳ２０でＮｏと判断されることは、計算された
平均重心位置が正しい値に収束したと考えることができ
るので、ステップＳ２２に進む。

ステップＳ２２では、カランタルをインクリメントして
、ステップＳ２４を経て、ステップＳ４に戻り、ステッ
プ８４〜ステツプＳ２０を繰返す。

即ち、ｐ＝ｌのワークの次に、ｐ＝２のワークの重心位
置等を計算し、次にｐ＝３のワークの重心位置等を計算
する。

ステップＳ２４でＹＥＳと判断されたときは、各ワーク
（ｐ＝１〜３）のロボット系でのワーク載置位置（Ｘ、
、Ｙ、）と平均重心位置（ｘＡｐ、ｙＡｐ）とが得られ
たことになり、ステップＳ２６で、キャリブレーション
データを計算する。即ち、（１）、（２）式の（Ｘ、Ｙ
）に夫々（Ｘ、。

ｙｐ）を代入し、（ｘ、ｙ）に夫々（Ｘ　ＡＰ＋　：Ｊ
　Ａｐ）を代入して、座標間回転角θ、原点間オフセッ
ト量（△Ｘ、△Ｙ）、アスペクト比ｒ　、、　ｒ　、の
５つを計算する。

本発明はその主旨を逸脱しない範囲で種々変形が可能で
ある。

例えば、上記実施例では一例として直交型ロボットに本
発明を適用した事例を用いたが、本発明は水平多関節式
のロボットにも適用可能であることは明らかである。こ
の場合、（１）、（２）式％式％ 上記事例では、３つのワークを用いていたが、座標間で
、キャリブレーションするものをつよりも少なくて済む
場合には、当然ワークの数は少なくて済む。

また、上記事例では、最低測定回数を１０回としたが、
この回数はあくまでも一例であって、これに限定される
ものではない。

また、測定データのバラツキ度を検査する指標は、標準
偏差に限られない。

［発明の効果］ 以上説明したように、本発明のキャリブレーション方法
によれば、ロボット座標系によるワークの載置位置と、
該ワークの視覚系による認識位置との関係の測定を複数
回１行ない、この測定の過程で、測定データの信頼性を
バラツキ度合によりチエツクし、信頼性が高まったと推
定できるならば、その時点で、キャリブレーションデー
タを計算するようにしている。従って、キャリブレーシ
ョンの精度向上と不必要な測定を除去することの両立化
が図れる。

【図面の簡単な説明】

第１図は本発明を適用した事例のロボットと視覚認識装
置とシステム構成図、 第２図はロボット座標系と視覚座標系の関係を示す図、 第３図は本実施例の原理を説明する図、第４図は実施し
た座標系キャリブレーションの制御手順のフローチャー
トである。 図中、 １・・・ロボット軸、２・・・ロボットＸ軸、３・・・
ロボットＹ軸、４・・・ＩＴＶカメラ、５・・・フィン
ガー６・・・パレット台、７ａ〜７Ｃ・・・参照ワーク
、８・・・制御装置、Ｘ、Ｙ・・・ロボット座標系、ｘ
＋　ｙ・・・視覚座標系、θ・・・ロボット座標系と視
覚座標系の横軸のなす角度、 △Ｘ。 △Ｙ・・・フィンガーの視覚系 座標原点に対するオフセット量、 ｒｘ、ｒｙ ・・・アス ペクト比である。 特 許 出 願 人 キャノン株式会社 第 図 第２図 第３図

Claims (1)

1. 【特許請求の範囲】 （１）視覚認識装置を備えたロボットにおけるロボット
   座標系と視覚座標系とのキャリブレーション方法であっ
   て、 ａ：１つまたは複数個の所定のワークの各々をロボット
   座標系による所定の位置に置く工程と、 ｂ：該ワークを視覚認識装置で認識し、視覚座標系によ
   るワーク位置を検出する工程と、ｃ：上記ｂ工程を、第
   １の所定回数だけ繰返し、視覚座標系による平均ワーク
   位置と、このワーク位置のバラツキ度とを算出する工程
   と、 ｄ：上記ｂ、ｃ工程を、上記バラツキ度が所定の制約条
   件を満たすまで繰返す工程と、 ｅ：前記ロボット座標系による位置と、視覚座標系によ
   る平均ワーク位置とに基づいて、座標系間のキャリブレ
   ーションデータを演算する工程； とからなる視覚認識装置を備えたロボットにおける座標
   系間のキャリブレーション方法。（２）キャリブレーシ
   ョンデータの未知数の個数に対応した数の複数のワーク
   を用意し、この複数のワークの各々について、上記ａ乃
   至ｄの工程を実行して、前記ロボット座標系による位置
   と視覚座標系による平均ワーク位置とを検出し、 これらの複数組のロボット座標系による位置と、視覚座
   標系による平均ワーク位置とに基づいてキャリブレーシ
   ョンデータを演算する事を特徴とする請求項の第１項に
   記載の視覚認識装置を備えたロボットにおける座標系間
   のキャリブレーション方法。 （３）前記バラツキ度は標準偏差である事を特徴とする
   請求項の第１項に記載の視覚認識装置を備えたロボット
   における座標系間のキャリブレーション方法。