JPH01193902A

JPH01193902A - 手先視覚付きロボットの座標系較正方法

Info

Publication number: JPH01193902A
Application number: JP63017032A
Authority: JP
Inventors: Hiroo Furuichi; 浩朗古市; Akira Miyagawa; 晃宮川; Michinaga Kono; 河野　通長
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1988-01-29
Filing date: 1988-01-29
Publication date: 1989-08-03

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、ロボットの手先部分に視覚として撮像装置を
備えた手先視覚付きロボットにおける視覚座標系とロボ
ット座標系との較正方法に関する。

ここで、視覚座標系とは撮像装置の視野内での対象物の
位置を表現する座標系、ロボット座標系とはロボットの
動作を制御するために用いられる座標系をいう。

〔従来の技術〕

手先視覚付きロボットにおいては、一般に視覚座標系と
ロボット座標系の尺度および方向が異なることから、撮
像装置によって得た視覚座標系の座標をそのままロボッ
ト座標系の座標として用いることはできず、視覚座標系
からロボット座標系への変換が必要であり、このため、
両座種糸を対応付ける、座標系の較正が必要となる。

従来、この視覚座標系とロボット座標系との較正を行な
う場合には、特開昭６１−１３１８８７号に記載のよう
に、較正用の認識対象を作業域内の任意の位置に配置し
、ロボットを操作してロボットの手先の基準点を認識対
象の位置に一致させ、この時の手先の位置をロボット座
標系で記憶し、さらに撮像装置により同じ認識対象を撮
像して視覚座標系での位置を算出する方法、またはロボ
ットのプログラム動作の実行により、ロボットの手先の
基準点の位置がロボット座標系で既知である位置に上記
と同様な較正用の認識対象を自動的に配置し、この認識
対象を撮像装置により撮像して視覚座標系での位置を算
出する方法のいずれかにより得た結果から、視覚座標系
とロボット座標系とを対応付けていた。

〔発明が解決しようとする課題〕

上記従来技術は次のような問題点を有していた。

すなわち、ロボットを操作して、ロボットの手先の基準
点を任意に配置した較正用の認識対象の位置に一致させ
る方法は、正確な位置合わせが困難で、誤差が生じる。

さらに、較正用の認識対象は小ブロックから成るため、
作業面に凹凸がある場合には、較正用の認識対象を安定
して置くことができず、傾きが生じる。これらのことか
ら、較正作業ごとに座標系間の変換係数の精度がばらつ
く、３　。

という欠点があった。

また、ロボットのプログラム動作の実行により較正用の
認識対象を自動配置する方法は、ロボットの手先の基準
点に対する撮像装置の方向や視野の大きさなどが変化し
た場合、それに合わせて較正用のロボット動作のプログ
ラムを変えなければならないため、プログラム作成に手
間がかかり、手先視覚付きロボットのように、視野の変
化するごとに座標系の較正を必要とする場合には適さな
かった。

本発明の目的は、これらの従来技術の問題点を解決し、
精度良く、かつ簡便な手先視覚付きロボットの座標系較
正方法を提供することにある。

〔課題を解決するための手段〕

上記目的を達成するために本発明は、ロボットの手先部
分に、対象物に作用を施す工具と、該対象物を撮像する
撮像装置とを備え、該撮像装置の撮像データより対象物
を認識して該対象物の位置を算出する画像処理装置と、
ロボットの動作を制御するロボット制御装置とを有する
手先視覚付き、　４　。

ロボットにおいて、特定の半径の円周上に複数個の識別
可能な認識パターンが描かれた座標系較正用板を、その
少なくとも１個以上の認識パターンが前記撮像装置の視
野に入るように所定作業域に配置し、前記ロボット制御
装置によりロボットの手先部分に所定の移動量を与え、
ロボットの手先部分が移動するごとに、前記撮像装置の
視野内に捕えられた同一の認識パターンの位置を前記画
像処理装置で算出し、前記ロボット制御装置により与え
られた所定の移動量と、前記画像処理装置により視覚認
識し算出された認識パターンの相対移動量とから、前記
画像処理装置において対象物の位置を表現する視覚座標
系と、ロボットの動作の制御に用いられるロボット座標
系との対応付けを行なうことを特徴とする。

〔作用〕

本発明では、特定の半径の円周上に複数個の識別可能な
認識パターンが描かれた座標系較正用板（以下、単に較
正用板と称す）を、較正を行ないたい所定の作業域に置
き、ロボットの手先部分に取付けられた撮像装置で撮像
し、視野内に捕えられた認識パターンの位置を画像処理
装置により視覚座標系で算出する。そして、ロボット制
御装置によりロボットの手先部分に所定の移動量を与え
てロボットの手先部分を移動させるごとに、認識パター
ンを撮像し、同一の認識パターンを視覚認識してその位
置を算出する。このようにすると、ロボットの手先部分
に与えられたロボット座標系での移動量と、認識パター
ンの視覚座標系での相対移動量とから両座標系を対応付
けることが可能となり、ロボットの手先の基準点を較正
用の認識対象の位置に一致させて認識対象の位置をロボ
ット座標系で算出する必要がなくなる。

また、較正用板には、円周上に複数個の識別可能な認識
パターンを描いであるため、該較正用板をロボット手先
部分の垂直下方に置けば、ロボットの手先の基準点に対
する撮像装置の方向や視野の大きさにかかわらず、常に
１個以上の認識パターンを視野内に捕えることができ、
さらにロボットの動作により視野が移動しても同一の認
識パターンを視覚認識することが可能である。このこと
より、較正用のロボット動作のプログラム作成が容易と
なる。

それに加えて、面積の広い較正用板を作業面に置くため
、作業面の小さな凹凸により傾きを生じることがなく、
視覚座標値を正確に算出でき、簡便に精度良く較正作業
を実行できる。

〔実施例〕

以下、本発明の実施例を図面により説明する。

第１図は本発明の一実施例の見取図であり、１はロボッ
ト、２は該ロボット１の手先部分に備えられた工具の一
例であるノ１ンド、３は該ロボット１の手先部分に視覚
として備えられた虚像装置（以下、カメラと称す）、４
は作業面５上に置かれた較正用板を示す。９はロボット
１の動作を制御するロボット制御装置、１０はカメラ３
に接続された画像処理装置であり、詳細は図示省略する
が、ロボット制御装置９は、オペレータによるプレイバ
ック動作、座標系較正動作等のプログラム入力およびプ
ログラム選択用の操作パネル、選択され・　７　・たプログラムに従い、プレイバック動作時にはメモリか
ら読み出した教示データと画像処理装置１０からの視覚
座標データに基づいてロボットｌの動作指令やハンド２
の開閉指令を送出し、較正動作時にはメモリから読み出
した較正用データに基づくロボット１の動作指令の送出
および前述したロボット座標系での移動量と視覚座標系
での移動量から両座標系の間の変換係数の算出を行なう
プロセッサ、該プロセッサの指令によりロボット１の各
軸やハンド２のサーボ駆動系を制御する制御部等から構
成されている。また、画像処理装置１０は、撮像データ
を格納する１ｌｌｊｉ像メモリ、その撮像データよりカ
メラ３の視野内の対象物を視覚認識し、該対象物の位置
を算出する画像プロセッサ等で構成されており、いずれ
もハード構成としては公知のものである。本図には、ロ
ボット１が水平多関節ロボットからなる例を示したが、
本発明は他のいかなる形式のロボットにも適用できる。

１１は上記のロボット１に規定されたロボット座標系（
ＯＲ−Ｘλ、ＹＡ％　ＺＲ）、１２は上記のカメラ３に
規定され８　・た視覚座標系（Ｏｒ　　ＸＦ％　Ｙｙ　）を示し、以下
の各図において、同一部分は同一の符号で示す。

第２図囚は較正用板４とカメラ３の視野１３との関係を
示す平面図、第２図（Ｂ）はロボット１の手先部分と較
正用板４の側面図であり、２１はロボット１の手首部分
の回転中心軸、３１はカメラ３の光学系の光軸、８は較
正用板４をハンド２で把持するため、較正用板４の中心
点Ｃに設けた突起部を示す。第２図（Ｃ）は較正用板４
の部分拡大図である。

第２図（４）〜（Ｃ）に示すように、較正用板４には、
ロボット１の手首部分の回転中心軸２１とカメラ３の光
軸３１との距離ｄとほぼ等しい半径の円周上に、適当な
間隔でｎ個の認識パターン４１．４２、・・、４ｎが較
正用板４の背景４０に対してコントラストを有する色で
描かれている。さらに詳しくいえば、ｎ個の認識パター
ンのそれぞれは、たとえば第２図（Ｃ）の４１ａ、４１
ｂ、４１ｃで示すように、パターンの重心Ｇ、、Ｇ、、
・・・、Ｇｎを中心とする同心円状に交互にコントラス
トを有する色で描かれ、最内円、たとえば、４１ｃの内
部には、それぞれの隣接する認識パターン４２．４ｎと
識別するために、各パターンごとに個数を変えた小円４
０１ａがコントラストを有する色で描かれている。これ
らのパターン識別のための小円４０１ａ　、　４０２ａ
　、　４０２ｂ　、　−、４０ｎａ　、　４０ｎｂ　。

４０ｎｃ　、　４０ｎｄを、重心位置が各認識パターン
４１　、４２゜・・・、４ｎの重心Ｇｌ　ｒ　Ｇｔ　＋
・・・、Ｇｎとは異なるように配置することにより、各
パターン４１　、４２　、・・・、４ｎの方向を検出す
ることも可能である。本実施例では、各パターンを４１
　ａ　＊　４１　ｂ　、４１　ｃのような同心円とした
が、第２図中）の７１ａ　、　７１ｂ　、　７１ｃのよ
うに、複数個の円以外の相似形の図形を重心位置が一致
するように配意してもよい。また、本実施例では、各パ
ターンの最内円４１ｃ、４２ｃ、・・・、　４ｎｃの内
部にある小円４０１ａ　、　４０２ａ　、・・・、　４
０ｎｄの個数により隣接のパターンと識別したが、第２
図中）の７０１　、７０２゜７０３のように、形状や面
積を変えた図形や符号等を記入して、識別してもよい。

このような認識パターンが描かれた較正用板４を、ロボ
ット１のハンド２により突起部８を把持して、座標系の
較正を行なう作業面５上に、ロボット１のプログラム動
作によって配置する。較正用板４を作業面５上に配置し
た後、カメラ３を、較正を行なう姿勢、つまり較正を行
なう領域が視野１３に入る状態として、第２図（Ｂ）に
示すように較正を行なう高さ位置にロボット１の手先部
分を移動させる。この時、カメラ３では、第２図（５）
および（Ｃ）の視野１３のように撮像される。この視野
１３の中で、２個のパターン識別用の小円４０２ａ　、
　４０２ｂが内部にある同心円状の認識パターン４２の
重心位置は、画像処理装置１０で４２ａ　、　４２ｂ　
、　４２ｃの各日ごとに重心位置を算出し、完全な円と
して見えているもののうち、最も面積の大きい円４２　
ｂの重心位置の算出値を認識パターンの重心位置Ｇ、と
することで求められる。なお、これらのパターンの重心
位置は、撮像した画像から、コントラストを付けて描か
れた隣接パターン同志および同一パターン内の同心円同
志をある明るさで明暗に区別して２値画像を得て、各パ
ターンの輪郭を抽出し、公知の重心算出アルゴリズムを
用いて算出される。

また、視野の大きさや位置により、視野内に複数個の認
識パターンが認識される場合、たとえば第２図囚の視野
１６のように、視野内に重心位置の算出可能な認識パタ
ーンが４１および４２と２個認識される場合がある。以
下、述べる座標系の対応付けの手順では、視野が移動し
たときに視野内で認識されるパターンと、視野の移動前
に認識されたパターンとを対応付ける必要があり、この
際に前述のパターン識別用の小円４０１ａ　、　４０２
ａ　、　−、４０ｎｄを用いることにより、異なる視野
内でも同一のパターンを対応付けることが可能となる。

このようにして認識された特定のパターン４２に注目し
、認識パターン６として、第３図以降、簡略化して用い
る。

以下、第３図から第６図を用いて、視覚座標系と、ロボ
ット座標系との対応付けの手順を説明する。第３図およ
び第４図において、第２図（Ｂ）に示すような較正用板
４の垂直上方におけるロボット１の位置では、カメラ３
の視野１３の中で認識パターン６の重心位置は、ＯＶ−
ＸＶ　、　ＹＶの視覚座標系１２でＧ、と算出される。

次に、カメラ３の方向および高さを同じに保ったまま、
ロボット座標系１１のＹ軸に沿って、カメラ３の視野内
に認識パターン６が見える範囲内で、ロボット１の手先
部分をΔＸλ移動させると、カメラ３の視野１４の中で
認識パターン６の重心位置は、ＯＦＩ　−Ｘｒｒ　＋　
ＹＦｌの視覚座標系でＧ、１と算出される。さらに、カ
メラ３の方向および高さを同じに保ったまま、ロボット
座標系１１のＹ軸に沿って、ロボット１の手先部分を−
ΔＸＪＩ移動させ、最初の位置に戻してから、カメラ３
の視野内に認識パターン６が見える範囲内で、ロボット
座標系１１のＹ軸に沿って、ロボット１の手先部分をΔ
ＹＲ移動させると、カメラ３の視野１５の中で認識パタ
ーン６の重心位置は、Ｏ，−Ｘ、ｔ・ＹＶｔの視覚座標
系でＧｔｔと算出される。これらは認識パターン６をロ
ボット座標系１１に対し固定して、カメラ３をロボット
座標系１１内でΔＸＲ２ΔＹＲだけ移動させ、それぞれ
の重心位置Ｇ、、　、Ｇｔ、を求めたものであるが、相
対的な移動量としては、カメラ３を視野１３に固定して
、認識パターン６をロボット座標系１１で、−ΔＸＲ１
−ΔＹＲだけ移動させて、それぞれの重心位置を第５図
のように視野１３でＧｌｌ　＋　ｏｎと算出したことと
等価になる。第５図に示す認識パターンの重心位置Ｇ！
　ｓ　ｅｔ＋　Ｉ　ｏｎ　とロボット座標系１１および
視覚座標系１２との関係を第６図に示す。

図中、視覚座標系１２での認識パターンの重心位置間の
距離と方向とが、ロボットの移動量に対応する。すなわ
ち、第６図において、矢印の−ΔＸＲ−ΔＹＲは、ロボ
ット座標系１１においてはロボットの手先部分の移動量
に対応するが、視覚座標系１２においては、重心位置Ｇ
、とＧ□とを結ぶ直線Ｐ１は、−ΔｘＲを視覚で認識し
た線分、重心位置Ｇ、とＧｔｔとを結ぶ直線ｐ、Ｆ　は
、−ΔＹＲを視覚で認識した線分となる。実際には、視
覚座標系１２において、これらの線分ＰＩ’　＋　Ｐ２
’は、それぞれ視覚座標系１２のＸ軸成分Ｐ、ＶｘＰ、
ＶｘＹ軸成分Ｐ、’ｙ　Ｐみとして算出され、これらと
−ΔＸＲ２−ΔＹＲの関係から、視覚座標系１２とロボ
ット座標系１１との対応関係を求めることができる。第
６図において、線分ＰＩＶに関しては、ＰＩＸのロボッ
ト座標系１１のＸ軸、Ｙ軸への写＠　Ｐ１’Ｘ−ａｓα
・ＡＸＸ　＊　ＰＩＶｃ’　ｇｋｌα・ＡＸＹ　および
Ｐ１′１のロボット座標系１１のＸ軸、Ｙ軸への写像Ｐ
１’！　・血α・ＡＹＸ、　ｐ、ｊ、・μｓα・ＡＹＹ
が求まり、ロボット座標系１１でのＧ、からＧ２、への
ロボットの移動量がＸ軸方向に−ΔｘＲで、Ｙ軸方向に
０であるため、次式が成立する。

一ΔＸ７Ｂ−ＰＩＶｘ−ｃａｓα・Ａｘｘ＋Ｐ１ＶＹ−
ｇｈｌα・ＡＹｘ・・・・・（１）０−Ｐ１’ｚ−ｓｉ
ｎαａＡｚｙ−ＰＷ−ａｓα・ＡＹＹ　　　　　　・−
＋２１ここで、αは、視覚座標系１２がロボット座標系
１１に対してなす角度、Ａｘｘ、ＡｘＹ、ＡＹｘ、ＡＹ
Ｙは、視覚座標系１２とロボット座標系１１のそれぞれ
のＸ。

Ｙ軸の尺度比を示す係数で、添字の第１字が視覚座標系
１２の軸を、第２字がロボット座標系１１の軸を示す。

また、線分Ｐ、に関しても、同様にｐ、　ｌ　Ｐ：’Ｙ
　のロボット座標系１１のＸ軸、Ｙ軸への写像が求まり
、ロボット座標系１１でのＧ、からｏｎへのロボットの
移動量がＸ軸方向に０で、Ｙ軸方向に−ΔＹＲであるこ
とより、次式が成立する。

ｏ−ｐ、、　・ｃｍα・Ａｘｘ＋Ｐｔｙ　−―α・ＡＹ
ｘ　　　　　・・−・（３＋−ΔＹＲ＝Ｐ２Ｓ噛α”Ｘ
Ｙ　　Ｐ：’ｙ’ｃｍα’Ａｒｙ　　　　−＝　（４１
式ｆｉｌ〜（４）より、以下の尺度比を示す係数が求ま
る。

また、視覚座標系１２において、Ｘ軸成分とＹ軸成分と
の比率が一定となることより、次式が成立する。

Ａｘｘ／Ａｙｘ　＝　Ａｘｙ／Ａｙｙ　　　　　　　　
　　＝−・ｉ９）式（９）に式（５）〜（８）を代入し
て次式を得る。

式αＱより、ロボット座標系１１と視覚座標系１２との
座標軸間のなす角度αが求まる。

このようにして求められた座標間の変換係数Ａｘｘ　、
　ＡＹｘ　、　Ａｘｙ　、　Ａｙｙおよびαの値を制御
装置９内のメモリに格納しておくことにより、以降、制
御装置９では、この格納データを用いて、同じ作業域内
でカメラ３により撮像された対象物の視覚座標系１２で
の位置ずれをロボット座標系１１でのずれ量に変換する
ことが可能となる。

上記実施例では、較正用板に描かれた認識パターンが、
それぞれ複数個の相似形の図形を重心位置が一致するよ
うに配置したものから成っており、カメラ３の視野内で
図形全体の形が完全に見えるもののうち、最も面積の大
きい図形の重心位置の算出値を認識パターンの重心位置
としているので、視野の大きさが変化しても、常に視野
の大きさに合った図形を選択して認識パターンの重心位
置を算出することができる。これにより、視覚座標値の
算出精度は一段と向上するが、本発明の必須要件ではな
い。

また、上記実施例によれば、較正用板の作業域への配置
も含めてすべての較正作業をロボットのプログラムの実
行により自動的に行なうことが可能であるが、所定位置
に移動したロボットの手先部分の直下に較正用板を人手
により配置してもよく、ロボットの手先の基準点と較正
用板との厳密な位置合わせは必要でない。

〔発明の効果〕

以上のように本発明によれば、円周上に複数個の識別可
能な認識パターンが描かれた較正用板を較正する作業域
に置き、ロボットの手先部分に所定の移動量を与えて、
ロボットの手先部分が移動するごとに、同一認識パター
ンの位置を視覚認識させ、ロボット座標系での移動量と
視覚座標系での相対移動量とを対応付けて、両座種間の
較正を行なうため、従来のようにロボットの手先の基準
点を較正用の認識対象の位置に一致さぜる必要がなく、
したがって位置合わせの誤差が生ぜず、また、面積の広
い較正用板を作業面に置くため、作業面の小さな凹凸に
より較正用板の姿勢に影蕃を受けずに、座標間の変換係
数を精度良く安定に求めることができる。

さらに、較正用板には、円周上に複数個の識別可能な認
識パターンを描いであるため、ロボットの手先の基準点
に対するカメラの方向および視野の大きさにかかわらず
、認識パターンを視野内に捕えることができ、したがっ
て、ロボットの較正動作のプログラム作成に当たり、カ
メラの方向や視野の大きさの変化を考慮する必要がなく
、プログラム作成が容易となる。これらのことから、手
先視覚付きロボットのように作業域によって視野が変化
し、較正を頻繁に行なう必要があるものに対して、簡便
で精度の良い座標系較正手段を与えることができる。

【図面の簡単な説明】

第１図は本発明の一実施例を示す見取図、第２図（５）
、　（Ｂ）　、　（Ｃ）は本実施例における較正用板と
カメラの視野との関係を示す平面図、側面図および較正
用板の部分拡大図、第２図（Ｄ）は較正用板の他の例を
示す部分拡大図、第３図は本実施例におけるロボットの
較正動作を示す見取図、第４図は第３図における座標間
の関係の説明図、第５図は第４図の座標間の関係を等測
的に変換して示した図、第６図は本実施例における座標
間の関係と座標間の変換係数を求める処理の説明図であ
る。トロボット　　　　　　２　・ハンド（工具）３・・カ
メラ（撮像装置）４．７　較正用板　　　５・・作業面６・・認識パターン　　　８・・・把持用突起部９　・
ロボット制御装置　１０・画像処理装置１１・・・ロボ
ット座標系　　１２・・・視覚座標系１３〜１６・・・
視野代理人　弁理士　　小　川　勝　男

Claims

【特許請求の範囲】１、ロボットの手先部分に、対象物に作用を施す工具と
、該対象物を撮像する撮像装置とを備え、該撮像装置の
撮像データより対象物を認識して該対象物の位置を算出
する画像処理装置と、ロボットの動作を制御するロボッ
ト制御装置とを有する手先視覚付きロボットにおいて、
特定の半径の円周上に複数個の識別可能な認識パターン
が描かれた座標系較正用板を、その少なくとも１個以上
の認識パターンが前記撮像装置の視野に入るように所定
作業域に配置し、前記ロボット制御装置によりロボット
の手先部分に所定の移動量を与え、ロボットの手先部分
が移動するごとに、前記撮像装置の視野内に捕えられた
同一の認識パターンの位置を前記画像処理装置で算出し
、前記ロボット制御装置により与えられた所定の移動量
と、前記画像処理装置により視覚認識し算出された認識
パターンの相対移動量とから、前記画像処理装置におい
て対象物の位置を表現する視覚座標系と、ロボットの動
作の制御に用いられるロボット座標系との対応付けを行
なうことを特徴とする手先視覚付きロボットの座標系較
正方法。２、座標系較正用板に描かれた認識パターンが、それぞ
れ複数個の相似形の図形を重心位置が一致するように配
置したものから成ることを特徴とする特許請求の範囲第
１項記載の手先視覚付きロボットの座標系較正方法。３、座標系較正用板をロボットの手先部分に備えた前記
工具により把持し、前記ロボット制御装置によりロボッ
トの手先部分に所定の移動量を与えて、所定作業域に該
較正用板を配置することを特徴とする特許請求の範囲第
１項または第２項記載の手先視覚付きロボットの座標系
較正方法。