JP2568005B2

JP2568005B2 - ハンドアイの面直、距離及び回転角設定方法

Info

Publication number: JP2568005B2
Application number: JP3143146A
Authority: JP
Inventors: 和幸山口; 正小山; 克己山本
Original assignee: Toyoda Koki KK; Toyoda Jidoshokki Seisakusho KK
Current assignee: Toyota Industries Corp; Toyoda Koki KK
Priority date: 1991-06-14
Filing date: 1991-06-14
Publication date: 1996-12-25
Anticipated expiration: 2011-12-25
Also published as: JPH04365585A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、ハンドアイに被撮像物
に対する光軸方向、被撮像物からの距離及び被撮像物の
回転角を教示する面直及び距離設定方法に関する。

【０００２】

【従来の技術】従来、各種多軸ロボットのハンドに二次
元固体撮像素子内蔵のＴＶカメラ（以下、ハンドアイと
もいう）を搭載し、ロボットのハンドワ−クを支援する
提案がある。このハンドアイの使用に際しては被撮像物
に対してキャリブレ−ション作業やテ−ィチング作業の
一部として、被撮像物の所定方向に対して光軸方向を合
わせる面直設定（面直出し）、被撮像物から所定距離に
ハンドアイをセットする距離設定（距離出し）を行う必
要があり、場合によっては、被撮像物の基軸と直交する
所定方向に対してカメラの光軸と直交する所定方向を合
致させる回転角設定（回転角出し）を行う必要もある。

【０００３】従来、これらの作業は作業者がメジャ−な
どを用いて目視により設定していた。

【０００４】

【発明が解決しようとする課題】しかしながら上記した
手法では、面直出し、距離出し、回転角出しの精度が悪
く、作業者の熟練度に左右される不具合があった。ま
た、精密に設定しようとすれば時間がかかり過ぎる問題
があった。ハンドアイが撮像した被撮像物の画像情報を
処理して上記した各設定作業を行うことが考えられる
が、被撮像物の撮像すべき部位すなわち注視点付近の形
状は一定ではなく、また、注視点付近の被撮像物の形状
から上記設定作業を精度よく実施することは通常では相
当困難である。

【０００５】本発明は、上記問題点に鑑みなされたもの
であり、高精度かつ短時間にハンドアイの上記設定作業
を実施し得る方法を提供することを、その解決すべき課
題としている。

【０００６】

【課題を解決するための手段】第１発明の設定方法は、
多軸ロボットに設けられる３次元移動可能なハンドに固
定されたカメラからなるハンドアイの光軸を被撮像物の
基軸に合致させるハンドアイの面直設定方法であって、
互いに平行な２平面と所定の基点とを有するアタッチメ
ントを準備し、前記基軸と前記基点とを合致させ、前記
基軸と前記両平面とを直交させた状態で前記被撮像物表
面の所定の係止点に前記アタッチメントを係止し、前記
基点に前記カメラの光軸すなわち画像中心を合致させる
とともに、前記カメラから出力される前記２面の位置情
報から前記光軸を設定すべき位置を求め、前記光軸が該
位置に合致するようにハンドアイを移動することを特徴
としている。

【０００７】上記２面の位置情報とは、各面の輪郭線又
は各面に形成された線又は点から得られる位置情報であ
る。もし基軸と光軸とが異なっていれば、光軸と直角と
見なせる撮像画面上における両面上の点間距離又は線間
距離は変化するので、それを予め記憶する基準値と比較
すればよい。又は、第１平面上の第１点と第２平面上で
この第１点を挟んで設けられた第２、第３点を抽出し、
第１点と第２点との間の第１距離と、第１点と第３点と
の間の第２距離とが等しくなるようにカメラを移動すれ
ばよい。好適には上記操作は画面上で互いに直角な２方
向で実施される。

【０００８】その好適な一態様において、前記第１平面
上の所定部位に位置する内点と、光軸方向から見て前記
内点より外側に位置しかつ前記第２平面上の所定部位に
位置する３個以上の外点と、所定の基点とを有するアタ
ッチメントを準備し、前記カメラの画面上における前記
内点と前記外点との間の各距離の比率が予め記憶する所
定比率となる位置に前記カメラを設定してハンドアイの
面直方向を設定している。

【０００９】その好適な他の態様において、両面から同
心円が抽出される。そしてそれらの中心点位置がそれぞ
れ抽出され、両中心位置の間の中間点に光軸が合致され
る。なお、本明細書において、カメラの視覚座標系にお
いて光軸は、画面上の所定の一点を意味している。第２
発明の設定方法は、多軸ロボットに設けられる３次元移
動可能なハンドに固定されたカメラからなるハンドアイ
の光軸を被撮像物の基軸に合致させた状態で前記ハンド
アイを前記被撮像物から所定距離離れた位置に設定する
ハンドアイの距離設定方法であって、所定の平面上に所
定間隔離れて設けられた２測定点と、所定の基点とが設
けられたアタッチメントを準備し、前記基軸と前記基点
とを合致させ、前記基軸と前記平面とを直交させた状態
で前記被撮像物表面の所定の係止点に前記アタッチメン
トを係止し、前記基軸に前記カメラの光軸を合致させる
とともに、前記カメラの画面上における前記２点間の画
素距離が予め記憶する所定の基準画素距離となる位置に
前記カメラを設定することを特徴としている。

【００１０】第３発明の設定方法は、多軸ロボットに設
けられる３次元移動可能なハンドに固定されたカメラか
らなるハンドアイの光軸に対し直交する所定の視覚直交
方向と、被撮像物の基軸に対し直交する所定の被撮像物
直交方向とを合致させるハンドアイの回転角設定方法で
あって、所定の平面上に設けられ所定方向に延びる直線
と、所定の基点とが設けられたアタッチメントを準備
し、前記基軸と前記基点とを合致させ、前記基軸と前記
平面とを直交させた状態で前記被撮像物表面の所定の係
止点に前記アタッチメントを係止し、前記基軸に前記カ
メラの光軸を合致させるとともに、前記カメラの移動に
よって前記直線方向をカメラの視覚座標系上の所定方向
に合致させることを特徴としている。

【００１１】

【発明の効果】上記した第１発明の面直設定方法では、
互いに平行な少なくとも２面が被撮像物の基軸と直交す
るようにアタッチメントを被撮像物の所定の係止点に係
止し、そしてこのアタッチメントの前記２面から得られ
る画像情報により面直方向を決定、すなわち光軸を被撮
像物の基軸に合致させている。

【００１２】このようにすれば、高い精度で面直出し作
業、すなわち、光軸を被撮像物の基軸に合致させる作業
を行うことができ、更に、作業の自動化が簡単であるの
で作業時間の短縮も可能となる。上記した第２発明の設
定方法では、一面が被撮像物の基軸と直交するようにア
タッチメントを被撮像物の所定の係止点に係止し、この
一面上の距離既知の２測定点を撮像し、この２点間の画
素距離が予め記憶する所定の基準画素距離となる位置に
前記ハンドアイを移動している。

【００１３】このようにすれば、高い精度で距離出し、
すなわち、ハンドアイを被撮像物から光軸方向への所定
位置にセットすることができる。更に、作業の自動化が
簡単であるので作業時間の短縮も可能となる。上記した
第３発明の設定方法では、一面が被撮像物の基軸と直交
するようにアタッチメントを被撮像物の所定の係止点に
係止し、この一面上の方向既知の直線を撮像し、この直
線方向がカメラの画面上の所定の方向となるようにハン
ドアイを移動している。

【００１４】このようにすれば、高い精度で回転角出
し、すなわち、被撮像物の基軸と直交する所定軸に対し
ハンドアイの画面上の所定軸を合致させることができ、
更に、作業の自動化が簡単であるので作業時間の短縮も
可能となる。

【００１５】

【実施例】本発明の一実施例を使用する工作機械装置を
図１に示す。この装置は、制御用のロボットコントロ−
ラ（以下単にコントロ−ラという）１０を備え、ハンド
１１を３次元移動可能な多軸ロボット１と、多軸ロボッ
ト１のハンド２に装着されたハンドアイ３とからなり、
ハンドアイ３には光軸３０を有するレンズ系（図示せ
ず）と、このレンズ系と直交配置されて撮像する二次元
固体撮像素子（図示せず）が格納されている。

【００１６】ハンド１１の旋回範囲直下の所定位置に被
撮像物であるキャリブレ−ションプレ−ト４が配置され
ている。このキャリブレ−ションプレ−ト４は係止点で
ある孔４０を有する厚肉の金属板であって、キャリブレ
−ション、すなわち、ハンドアイ３の視覚座標系と、ロ
ボットコントロ−ラの座標系との整合（補正）を行う作
業に使用される。ハンドアイ３はキャリブレ−ションプ
レ−ト４の直上に略所定距離だけ隔てて配置されてい
る。

【００１７】なお、この実施例の各設定作業は、上記キ
ャリブレ−ション（座標系整合）作業の前段階工程であ
るが、キャリブレ−ション以外の用途、例えばティ−チ
ング、すなわち、ロボット座標系にこのロボットの被作
業物の作業座標点を教示する場合などにも応用できるも
のである。以下、各設定作業を順に説明する。（面直出し）まず、面直出しについて図２に基づいて説
明する。

【００１８】図２において、キャリブレ−ションプレ−
ト４は平坦床面上の所定位置に配設されており、キャリ
ブレ−ションプレ−ト４に面直アタッチメント５が配設
されている。この面直アタッチメント５は、平坦な下面
５３を有しキャリブレ−ションプレ−ト４の平坦な上面
に載置される円盤部５５と、この円盤部５５の中央から
下方に突設されキャリブレ−ションプレ−ト４の孔４０
に密着嵌入される下軸部５４と、この円盤部５５の中央
から上方に突設される上軸部５６とを備えている。上軸
部５６及び下軸部５４は円盤部５５と同軸となってお
り、したがって、このアタッチメント軸心は、孔４０の
軸心である基軸Ａに合致している。そして、円盤部５５
の上面５２と上軸部５６の上面５１が第１発明でいう２
面を構成している。

【００１９】上軸部５６及び円盤部５５の輪郭は上方か
ら撮像した場合、円Ｃ１、Ｃ２となり、円Ｃ１の直径は
ｄ１、円Ｃ２の直径はｄ２に設計されている（図３参
照）。この面直出しをロボットコントロ−ラ１０を用い
て全自動で実施する手順を図４のフロ−チャ−トを参照
して、以下説明する。まず、ハンド１１を制御して、ハ
ンドアイ３をキャリブレ−ションプレ−ト４の略直上位
置に移動させ、かつ光軸３０を基軸Ａに略合致させ、ア
タッチメント５とハンドアイ３との距離Ｌを基準距離Ｌ
ｏに略一致させる（１００）。なおこの実施例では、光
軸３０は画面の中央画素の位置にあるとしている。

【００２０】次に、アタッチメント５を撮像して画像信
号を取り込み（１０１）、得られた画像信号から円Ｃ
１、Ｃ２を抽出し、それを真円に正規化処理して正規化
円Ｃ１’、Ｃ２’を求め、正規化円Ｃ１’、Ｃ２’の中
心座標点（視覚座標系における）Ｐ１（ｘ１，ｙ１）、
Ｐ２（ｘ２，ｙ２）を求める（１０２）。なお、これら
の画像処理はロボットコントロ−ラ１０に内蔵された画
像処理プロセッサ（図示せず）で行う。

【００２１】次に、内円である正規化円Ｃ１’の中心点
Ｐ１が画面（図５参照）の中央位置（光軸３０）にくる
ように、ハンド１１を移動させる（１０４）。次に、両
中心座標点Ｐ１（ｘ１，ｙ１）、Ｐ２（ｘ２，ｙ２）を
結ぶ画面上の直線Ｌｘ（図５参照）を求め、ハンドアイ
３をこの直線Ｌｘと光軸３０とを含む面内で、直線Ｌｘ
の長さが減る方向に揺動させる（１０６）。なお、この
時、ハンドアイ３の揺動角度は直線Ｌｘの大きさに対応
する量（正確には三角関数関係にある量）とする。

【００２２】次に、中心点Ｐ１が画面（図５参照）の中
央位置（光軸３０）にくるように、ハンド１１を再度、
移動させる（１０８）。次に、直線Ｌｘの長さが、微小
な長さΔＬより小さいかどうかを調べ、小さければ面直
出しが行われたとしてル−チンを終了し、そうでなけれ
ばステップ１０６に戻ってル−チンを繰り返す。

【００２３】このようにすれば、面直出しに好適なアタ
ッチメント５を用いているので、面直出しを自動的に高
精度に実行することができる。またこの実施例では、キ
ャリブレ−ションプレ−ト４の孔４０の中心線からなる
基軸Ａと光軸３０とを合致させること、すなわち、孔４
０の中心に光軸３０をセットすることもできる。上記し
た実施例は面直アタッチメント５を用いた面直出しを説
明しているが、この面直アタッチメント５の形状自体に
も大きな特徴がある。すなわち、このアタッチメント５
は互いに平行で軸に直交する２面を有し、この２面から
同心円が抽出可能となっている。したがって、両円の中
心点間を結ぶ直線の方向及び長さにより簡単に面直出し
を行うことができる。

【００２４】なお、キャリブレーションプレート４への
アタッチメント５の係止はこのような嵌合構造だけでな
く、他の方法を採用することができる。例えば、キャリ
ブレーションプレート４が磁性体の場合、アタッチメン
トを磁石としてもよい。図６に面直アタッチメント５ａ
の他の態様を示す。このアタッチメント５ａでは、上軸
部５６ａが切頭円錐形状を有している。この場合には、
照明光を光軸３０と平行な方向に照射することが好まし
い。このようにすれば斜面５８ａで照明光は全反射して
上面５１ａ、５２ａと斜面５８ａを区別することができ
る。もちろん、斜面５８ａ又は上面５１ａ、５２ａのど
ちらかを着色してもよい。この場合も上軸部５６ａの上
面５１ａと円盤部５５ａの上面５２ａが第一発明でいう
２面となる。（距離出し）次に、距離出しについて図８に基づいて説
明する。

【００２５】上記した面直出し及び光軸合わせを行った
後、図８に示すように、キャリブレ−ションプレ−ト４
に距離アタッチメント６を載置する。この距離アタッチ
メント６は、平坦な下面６３を有しキャリブレ−ション
プレ−ト４の平坦な上面に載置される円盤部６５と、こ
の円盤部６５の中央から下方に突設されキャリブレ−シ
ョンプレ−ト４の孔４０に密着嵌入される下軸６４とを
有し、この円盤部６５の中央には末広がり状の円形をな
す有底孔６６が穿設されている。ここで、有底孔６
６、下軸６４、円盤部６５は同軸となっており、したが
って、このアタッチメント６の軸心は、孔４０の軸心、
すなわち、基軸Ａに合致している。有底孔６６の輪郭は
上方から撮像した場合、円Ｃ３となり、円Ｃ３の直径は
ｄｏに設計されている（図９参照）。第２発明でいう２
測定点はこの円Ｃ３上の互いに最も離れた２点となる。

【００２６】この距離出しをロボットコントロ−ラ１０
を用いて全自動で実施する手順を図１０のフロ−チャ−
トを参照して、以下説明する。まず撮像を行って画像信
号を取り込み（２００）、取り込んだ画像信号を画像処
理プロセッサで処理して有底孔６６の輪郭である円Ｃ３
の平均直径ｄを算出する（２０２）。次に、この平均直
径ｄと予め記憶する真の直径ｄｏとの差（ｄ−ｄｏ）の
絶対値が微小値Δｄより小さいかどうかを調べ（２０
４）、小さければル−チンを終了し（２０４）、そうで
なければ、ｄがｄｏより小さいかどうかを調べ（２０
６）、小さければハンドアイ３を所定距離接近させ（２
１０）、そうでなければハンドアイ３を所定距離離隔さ
せ（２１０）、２０４にリタ−ンする。

【００２７】ただし、コントロ−ラ１０に記憶されてい
る上記真の直径ｄｏは、ハンドアイ３を基準距離Ｌｏに
位置させた場合に画面上に得られる距離すなわち画素距
離で記憶されており、平均直径ｄも画素距離で表示され
る。以上説明したようにこの実施例では、アタッチメン
ト６上に形成され既知の長さを有する明瞭な直線（ここ
では直径）の画素距離の大小によりハンドアイ３のアタ
ッチメント６からの遠近を検出しているので、高精度か
つ高速に距離出しを行うことができる。（回転角出し）次に、回転角出しについて図１１、図１
２に基づいて説明する。

【００２８】なおここでいう回転角出しとは、被撮像物
の所定方向に対する画面すなわち視覚座標系の基準軸の
方向を合致させることを言う。この実施例では、被撮像
物は車体用の成形鋼板部材７とし、それに設けられた孔
７０には回転角出しアタッチメント８の下軸部８１が嵌
入されている。なお、この回転角出しを行う前に上記説
明した面直出し及び距離出しの手法を用いてこの孔７０
に対してハンドアイ３の面直出し及び距離出しは終了し
ているものとする。

【００２９】回転角出しアタッチメント８は図１２に示
すように、裏面中央から下軸部８１が突設された長方形
のアルミ板であり、その研磨された表面には円形の凹部
８２から８４が非貫通に穿設されており、これら凹部８
２から８４の底面及び内側面は黒色塗装されている。こ
こで、凹部８２の中心点は孔７０の中心軸すなわち本発
明で言う基軸Ａ上に位置しており、凹部８３と凹部８４
とは凹部８２を挟んで反対側に等距離離れて穿設されて
いる。そして、各凹部の中心点は直線ｍ上に位置してい
る。なお、凹部８２は基軸Ａと光軸３０とを合致させる
ためのものである。また、アタッチメント８は直線ｍが
水平となるように配設されている。

【００３０】この回転角出しをロボットコントロ−ラ１
０を用いて全自動で実施する手順を図１３のフロ−チャ
−トを参照して、以下説明する。まず撮像を行って画像
信号を取り込み（３００）ハンドアイ３の光軸３０を基
軸Ａに一致させた後、取り込んだ画像信号を画像処理プ
ロセッサで処理して凹部８３、８４の輪郭である円Ｃ
４、Ｃ５の中心座標点を算出する（３０２）。次に、画
面上で両中心座標点を結ぶ直線ｍを求め（３０４）、求
めた直線ｍと画面の水平走査方向（視覚座標系における
ｘ軸方向）との角度を求める（３０６）。

【００３１】次に、この角度Θが微小値ΔΘより小さけ
ればハンドアイ３の光軸周りの姿勢はよいとしてル−チ
ンを終了し、そうでなければ、角度Θの大きさに応じた
角度だけハンドアイ３を回転させ、ステップ３０２にリ
タ−ンする。このようにすれば、アタッチメント６上に
形成され既知の長さを有する明瞭な直線ｍと画面上の所
定方向との角度により高精度かつ高速に回転角出しを行
うことができる。

【図面の簡単な説明】

【図１】図１は本発明の設定方法を用いた多軸ロボット
系の概略図、

【図２】面直アタッチメントを装着した状態を示す断面
図、

【図３】図２の面直アタッチメントの平面図、

【図４】面直出しル−チンを示すフロ−チャ−ト、

【図５】画面を表す説明図、

【図６】他の面直アタッチメントを装着した状態を示す
断面図、

【図７】図６の面直アタッチメントの平面図、

【図８】距離アタッチメントを装着した状態を示す断面
図、

【図９】図９の距離アタッチメントの平面図、

【図１０】距離出しル−チンを示すフロ−チャ−ト、

【図１１】回転角出しアタチメントを装着した状態を示
す断面図、

【図１２】図１１の距離アタッチメントの平面図、

【図１３】回転角出しル−チンを示すフロ−チャ−ト、

【符号の説明】

３はハンドアイ、４はキャリブレ−ションプレ−ト４、
５はハンドアイ、３０は光軸、５１と５２とは２平面

───────────────────────────────────────────────────── フロントページの続き (72)発明者山本克己愛知県刈谷市朝日町１丁目１番地豊田工機株式会社内 (56)参考文献特開平２−83183（ＪＰ，Ａ) 特開平２−99802（ＪＰ，Ａ) 特開昭61−270094（ＪＰ，Ａ) 特開平１−116401（ＪＰ，Ａ)

Claims

(57)【特許請求の範囲】

【請求項１】多軸ロボットに設けられる３次元移動可能
なハンドに固定されたカメラからなるハンドアイの光軸
を被撮像物の基軸に合致させるハンドアイの面直設定方
法であって、互いに平行な２平面と所定の基点とを有す
るアタッチメントを準備し、前記基軸と前記基点とを合
致させ、前記基軸と前記両平面とを直交させた状態で前
記被撮像物表面の所定の係止点に前記アタッチメントを
係止し、前記基点に前記カメラの光軸すなわち画像中心
を合致させるとともに、前記カメラから出力される前記
２面の位置情報から前記光軸を設定すべき位置を求め、
前記光軸が該位置に合致するようにハンドアイを移動す
ることを特徴とするハンドアイの面直設定方法。
【請求項２】多軸ロボットに設けられる３次元移動可能
なハンドに固定されたカメラからなるハンドアイの光軸
を被撮像物の基軸に合致させた状態で前記ハンドアイを
前記被撮像物から所定距離離れた位置に設定するハンド
アイの距離設定方法であって、所定の平面上に互いに所
定間隔離れて設けられた２測定点と、所定の基点とが設
けられたアタッチメントを準備し、前記基軸と前記基点
とを合致させ、前記基軸と前記平面とを直交させた状態
で前記被撮像物表面の所定の係止点に前記アタッチメン
トを係止し、前記基軸に前記カメラの光軸を合致させる
とともに、前記カメラの画面上における前記２点間の画
素距離が予め記憶する所定の基準画素距離となる位置に
前記カメラを設定することを特徴とするハンドアイの距
離設定方法。
【請求項３】多軸ロボットに設けられる３次元移動可能
なハンドに固定されたカメラからなるハンドアイの光軸
に対し直交する所定の視覚直交方向と、被撮像物の基軸
に対し直交する所定の被撮像物直交方向とを合致させる
ハンドアイの回転角設定方法であって、所定の平面上に
設けられ所定方向に延びる直線と、所定の基点とが設け
られたアタッチメントを準備し、前記基軸と前記基点と
を合致させ、前記基軸と前記平面とを直交させた状態で
前記被撮像物表面の所定の係止点に前記アタッチメント
を係止し、前記基軸に前記カメラの光軸を合致させると
ともに、前記カメラの移動によって前記直線方向をカメ
ラの視覚座標系上の所定方向に合致させることを特徴と
するハンドアイの回転角設定方法。