JPH02276901A - 視覚センサの位置ズレ修正方法 - Google Patents
視覚センサの位置ズレ修正方法Info
- Publication number
- JPH02276901A JPH02276901A JP9738489A JP9738489A JPH02276901A JP H02276901 A JPH02276901 A JP H02276901A JP 9738489 A JP9738489 A JP 9738489A JP 9738489 A JP9738489 A JP 9738489A JP H02276901 A JPH02276901 A JP H02276901A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- visual sensor
- sensor
- coordinate system
- feature points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Manipulator (AREA)
- Image Input (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
産業上の利用分野
本発明は、視覚センサの位置ズレ修正方法に関する。
従来の技術
産業用ロボット等各種自動機械の動作補正等のために様
々な視覚センサが用いられることは公知である。
々な視覚センサが用いられることは公知である。
視覚センサを用いて産業用ロボット等の動作補正等を行
うためには、カメラで捕えた被対象物の位置を画像の座
標系であるセンサ座標系からロボット座標系に変換する
ためにロボット座標系を視覚センサに定義して両座標系
を整合させておく必要がある。いわゆるキャリブデータ
の設定を行う必要があり、例えば、2次キャリブデータ
の設定の場合、少なからず次に示すような3工程の処理
を必要とする。
うためには、カメラで捕えた被対象物の位置を画像の座
標系であるセンサ座標系からロボット座標系に変換する
ためにロボット座標系を視覚センサに定義して両座標系
を整合させておく必要がある。いわゆるキャリブデータ
の設定を行う必要があり、例えば、2次キャリブデータ
の設定の場合、少なからず次に示すような3工程の処理
を必要とする。
1)カメラ光軸に垂直なロボット座標系の平面を指定し
、かつ、センサ座標系を基準とするロボット座標系の方
向を設定することにより各座標系の方向性を整合させる
処理。
、かつ、センサ座標系を基準とするロボット座標系の方
向を設定することにより各座標系の方向性を整合させる
処理。
2) センサ座標系上の点とロボット座標系上の点とを
対応させ各座標軸の基準位置を整合させる処理。
対応させ各座標軸の基準位置を整合させる処理。
3)センサ座標系上の距離とロボット座標系上の距離と
を比較し画素スケールを設定するための処理。
を比較し画素スケールを設定するための処理。
このように複雑な処理を行った後、始めて、産業用ロボ
ット等の動作補正を正確に行うことが可能となるが、視
覚センサのカメラに物品が衝突する等といった不慮の事
故によりカメラに位置ズレが生じると、予め設定された
ギヤリブデータによって正確な動作補正を行うことが不
能となるため、位置ズレを生じたカメラに対応して再度
ギヤリブデータの設定を行い、センサ座標系とロボット
座標系とを整合させなければならなかった。
ット等の動作補正を正確に行うことが可能となるが、視
覚センサのカメラに物品が衝突する等といった不慮の事
故によりカメラに位置ズレが生じると、予め設定された
ギヤリブデータによって正確な動作補正を行うことが不
能となるため、位置ズレを生じたカメラに対応して再度
ギヤリブデータの設定を行い、センサ座標系とロボット
座標系とを整合させなければならなかった。
発明が解決しようとする課題
前記従来技術では、ギヤリブデータの設定に必要とされ
る処理が非常に複雑で多大な時間を要し、特に、製造ラ
イン上に配備された産業用ロボットの視覚センサに位置
ズレが生じた場合には、ギヤリブデータの設定のために
ラインの稼働を全面的に停止する等といった措置が必要
となり、生産動車が著しく低下するといった欠点がある
。
る処理が非常に複雑で多大な時間を要し、特に、製造ラ
イン上に配備された産業用ロボットの視覚センサに位置
ズレが生じた場合には、ギヤリブデータの設定のために
ラインの稼働を全面的に停止する等といった措置が必要
となり、生産動車が著しく低下するといった欠点がある
。
そこで、本発明の目的は、複雑な処理を必要とせず、容
易に?J2覚センサの位置ズレを修正することのできる
視覚センサの位置ズレ修正方法を提供することにある。
易に?J2覚センサの位置ズレを修正することのできる
視覚センサの位置ズレ修正方法を提供することにある。
課題を解決するための手段
本発明は、所定位置に配置した基準体を視覚センサのカ
メラで囮影し、該基準体における区別して認識可能な特
徴点のセンサ座標系における座標位nを検出して視覚セ
ンサ内に記憶さゼておき、前記カメラに位置ズレが生じ
た場合に、前記基準体を前記所定位置に配置し前記カメ
ラで撮影して前記記憶した特徴点に対応する特徴点のセ
ンサ座標系における座標位置を検出し、視覚センサで検
出した各特徴点の座標位置と記憶した座標位置間の位置
ズレを求めて基準体のセンサ座標系上の位置ズレを表示
手段に表示し、該表示に基いてカメラのズレを調整する
ことにより、前記課題を達成した。
メラで囮影し、該基準体における区別して認識可能な特
徴点のセンサ座標系における座標位nを検出して視覚セ
ンサ内に記憶さゼておき、前記カメラに位置ズレが生じ
た場合に、前記基準体を前記所定位置に配置し前記カメ
ラで撮影して前記記憶した特徴点に対応する特徴点のセ
ンサ座標系における座標位置を検出し、視覚センサで検
出した各特徴点の座標位置と記憶した座標位置間の位置
ズレを求めて基準体のセンサ座標系上の位置ズレを表示
手段に表示し、該表示に基いてカメラのズレを調整する
ことにより、前記課題を達成した。
作 用
所定位置に配置した基準体を視覚センサのカメラで囮影
し、区別して認識可能な特徴点のセンサ座標系における
座標位置を検出して視覚センサ内に記憶させることによ
り、所定位置に配置した基準体とカメラとの位置関係を
定義し、視覚センサに記憶する。
し、区別して認識可能な特徴点のセンサ座標系における
座標位置を検出して視覚センサ内に記憶させることによ
り、所定位置に配置した基準体とカメラとの位置関係を
定義し、視覚センサに記憶する。
カメラに位置ズレが生じた場合には、前記基準体を前記
所定位置に配置して前記カメラで囮影し、前記記憶した
特徴点に対応する特徴点のセンサ座標系における座標位
置を検出し、視覚センって検出した各特徴点の座標位置
と記憶した座標位置間の位置ズレを求めて基準体のセン
サ座標系上の位置ズレを表示手段に表示し、該表示に基
いてカメラのズレを調整する。
所定位置に配置して前記カメラで囮影し、前記記憶した
特徴点に対応する特徴点のセンサ座標系における座標位
置を検出し、視覚センって検出した各特徴点の座標位置
と記憶した座標位置間の位置ズレを求めて基準体のセン
サ座標系上の位置ズレを表示手段に表示し、該表示に基
いてカメラのズレを調整する。
即ち、所定位置に配置された基準体に対して、定義され
た位置関係となるようにカメラの位置を調整することに
より、カメラの位置ズレが修復される。
た位置関係となるようにカメラの位置を調整することに
より、カメラの位置ズレが修復される。
実施例
第5図は、本発明の方法を実施する一実滴例の視覚セン
サシステムの要部ブロック図である。
サシステムの要部ブロック図である。
図中、10は画像中央処理装置で、該画像中央処理装置
10は主中央処理装置(以下、メインCPLIという)
11を有し、該メインCPtJ11には、カメラインタ
フェイス121画像処理プロセッサ13.コンソールイ
ンタフェイス141通信インタフェイス15.TVモニ
タインタフェイス16、フレームメモリ17.ROMで
形成されたコントロールソフト用メモリ18.RAM等
で構成されたプログラムメモリ19.不揮発性RAMで
構成されたデータメモリ20がバス21で接続されてい
る。
10は主中央処理装置(以下、メインCPLIという)
11を有し、該メインCPtJ11には、カメラインタ
フェイス121画像処理プロセッサ13.コンソールイ
ンタフェイス141通信インタフェイス15.TVモニ
タインタフェイス16、フレームメモリ17.ROMで
形成されたコントロールソフト用メモリ18.RAM等
で構成されたプログラムメモリ19.不揮発性RAMで
構成されたデータメモリ20がバス21で接続されてい
る。
カメラインタフェイス12には部品等の対象物を囮影す
るカメラ22が接続され、該カメラ22の視野でとらえ
た画像は、グレイスケールによる濃淡画像に変換されて
フレームメモリ17に格納される。
るカメラ22が接続され、該カメラ22の視野でとらえ
た画像は、グレイスケールによる濃淡画像に変換されて
フレームメモリ17に格納される。
画像処理プロセッサ13はフレームメモリ17に格納さ
れた画像を処理し、対象物の識別1位置。
れた画像を処理し、対象物の識別1位置。
姿勢を計測する。
コンソールインタフェイス14にはコンソール23が接
続され、該コンソール23は、液晶表示部のほか、各種
指令キー、アプリケーションプログラムの入力1編集、
σ録、実行などの操作を行うための数値キー等を有して
おり、上記液晶表示部には、各種データ設定のためのメ
ニューやプログラムのリストなどが表示できるようにな
っている。
続され、該コンソール23は、液晶表示部のほか、各種
指令キー、アプリケーションプログラムの入力1編集、
σ録、実行などの操作を行うための数値キー等を有して
おり、上記液晶表示部には、各種データ設定のためのメ
ニューやプログラムのリストなどが表示できるようにな
っている。
また、コントロールソフト用メモリ18にはメインCP
U11が該視覚センリシステムを制御するためのコント
ロールプログラムおよび後述する基準位置設定モードや
位置ズレ検出モードを実行するためのプログラム等が格
納されており、また、プログラムメモリ19にはユーザ
が作成したプログラムが格納されている。
U11が該視覚センリシステムを制御するためのコント
ロールプログラムおよび後述する基準位置設定モードや
位置ズレ検出モードを実行するためのプログラム等が格
納されており、また、プログラムメモリ19にはユーザ
が作成したプログラムが格納されている。
通信インタフェイス15には産業用ロボット等、該視覚
センサシステムを利用するシステムが接続されている。
センサシステムを利用するシステムが接続されている。
また、TVモニタインタフェイス16にはカメラ22が
撮影した映像を表示するすモニタテレビ24が接続され
ている。
撮影した映像を表示するすモニタテレビ24が接続され
ている。
視覚センサシステムにおけるハードウェア構成は従来の
ものと同様であるが、本実施例の視覚センサシステムで
は、本発明の方法を実現するための手段としての基準位
置設定モードや位置ズレ検出モードを実行するためのプ
ログラムがソフトウェアとして付加されている点が従来
のものと相違する。
ものと同様であるが、本実施例の視覚センサシステムで
は、本発明の方法を実現するための手段としての基準位
置設定モードや位置ズレ検出モードを実行するためのプ
ログラムがソフトウェアとして付加されている点が従来
のものと相違する。
第3図は産業用ロボット等を備えた製造ライン上に組込
まれた視覚セン9に対して本発明の方法を適用する際に
用いられる構成の一例を示す図であり、視覚センサのカ
メラ22によって監視される領[1上の所定位置には、
基準体となるテンプレート2を所定位置に配置するため
の位置決めマーク3a、3bが描かれている。一方、基
準体となるテンプレート2の表面には、不等辺四角形状
の線画りが描かれており、線画りの四隅の点P1゜P2
.P3.P4の各々によって、区別して認識可能な特徴
点く以下、単に特徴点という)が形成されている。
まれた視覚セン9に対して本発明の方法を適用する際に
用いられる構成の一例を示す図であり、視覚センサのカ
メラ22によって監視される領[1上の所定位置には、
基準体となるテンプレート2を所定位置に配置するため
の位置決めマーク3a、3bが描かれている。一方、基
準体となるテンプレート2の表面には、不等辺四角形状
の線画りが描かれており、線画りの四隅の点P1゜P2
.P3.P4の各々によって、区別して認識可能な特徴
点く以下、単に特徴点という)が形成されている。
以下、本実施例の視覚センサの基準位置設定モードおよ
び位置ズレ検出モードにおいて実行される処理を示すフ
ローヂャート第1図、第2図と共に、本実施例における
位置決め修正方法を説明する。
び位置ズレ検出モードにおいて実行される処理を示すフ
ローヂャート第1図、第2図と共に、本実施例における
位置決め修正方法を説明する。
オペレータは、まず、視覚センサのカメラ22の位置が
正常な状態、例えば、キャリブデータを設定した直後の
段階で、製造ラインの領域1上に描かれた位置決めマー
ク3a、3bを基準としてテンプレート2を位置決めし
、該アンプレート2を所定(D置に配置する(第3図参
照)。
正常な状態、例えば、キャリブデータを設定した直後の
段階で、製造ラインの領域1上に描かれた位置決めマー
ク3a、3bを基準としてテンプレート2を位置決めし
、該アンプレート2を所定(D置に配置する(第3図参
照)。
次に、視覚センサのコンソール23に設けられたモード
指定キーを操作してCPU11に指令を与え、コントロ
ールソフト用メモリ18に記憶された基準位置設定モー
ドの処理(第1図参照)を開始させる。
指定キーを操作してCPU11に指令を与え、コントロ
ールソフト用メモリ18に記憶された基準位置設定モー
ドの処理(第1図参照)を開始させる。
コントロールソフトに従って基準位置設定モードの処理
を開始したCPU11は、カメラ22にスナップ指令を
出力し、所定位置に配置されたテンプレート2の線画り
をカメラ22で撮影し、画像処理プロセッサ13でグレ
イスケール瀧淡処理を行った後、線画りの画@d(第4
図中実線で示す)をフレームメモリ17に格納する(ス
テップ81)。次に、CPU11は画像処理プロセッサ
13に対象物検出指令を出力して従来と同様の方法で対
象物の検出を行わせ(ステップS2)、検出した対象物
の画像dから対象物の位置と姿勢(回転角)を求め(ス
テップS3)、画@d上の特徴点p1〜p4の位置をカ
メラ固有のセンリ座標系X−Yにおける座標成分×1〜
X4及びY1〜Y4としてデータメモリ20に記憶し、
所定位置に配置されたテンプレート2と正常な位置にあ
るカメラ22との位置関係を定義して(ステップS4)
、基準位置設定モードの処理を終了する。
を開始したCPU11は、カメラ22にスナップ指令を
出力し、所定位置に配置されたテンプレート2の線画り
をカメラ22で撮影し、画像処理プロセッサ13でグレ
イスケール瀧淡処理を行った後、線画りの画@d(第4
図中実線で示す)をフレームメモリ17に格納する(ス
テップ81)。次に、CPU11は画像処理プロセッサ
13に対象物検出指令を出力して従来と同様の方法で対
象物の検出を行わせ(ステップS2)、検出した対象物
の画像dから対象物の位置と姿勢(回転角)を求め(ス
テップS3)、画@d上の特徴点p1〜p4の位置をカ
メラ固有のセンリ座標系X−Yにおける座標成分×1〜
X4及びY1〜Y4としてデータメモリ20に記憶し、
所定位置に配置されたテンプレート2と正常な位置にあ
るカメラ22との位置関係を定義して(ステップS4)
、基準位置設定モードの処理を終了する。
なお、CPU11による基準位置設定モードの処理が終
了した後、オペレータは、テンプレート2を製造ライン
の領域1上から取外し、製造ラインの稼働を可能な状態
とする。
了した後、オペレータは、テンプレート2を製造ライン
の領域1上から取外し、製造ラインの稼働を可能な状態
とする。
そして、製造ラインの稼動中に視覚セン9のカメラ22
に物品が衝突する等といった不慮の事故が生じ、カメラ
22の位置ズレを発見した場合、オペレータは、−旦ラ
インの可動を停止して、製迄ラインの領域1上に描かれ
た位置決めマーク3a、3bによって規定される所定位
置にテンプレート2を天地左右とも誤ることなく位置決
めし、視覚センサのコンソール23に設けられたモード
指定キーを操作してCPU11に指令を与え、コントロ
ールソフト用メモリ18に記憶された位置ズレ検出モー
ドの処理(第2図参照)を開始させる一方、目視による
カメラ位置の修正作業を開始する。
に物品が衝突する等といった不慮の事故が生じ、カメラ
22の位置ズレを発見した場合、オペレータは、−旦ラ
インの可動を停止して、製迄ラインの領域1上に描かれ
た位置決めマーク3a、3bによって規定される所定位
置にテンプレート2を天地左右とも誤ることなく位置決
めし、視覚センサのコンソール23に設けられたモード
指定キーを操作してCPU11に指令を与え、コントロ
ールソフト用メモリ18に記憶された位置ズレ検出モー
ドの処理(第2図参照)を開始させる一方、目視による
カメラ位置の修正作業を開始する。
コントロールソフトに従って位置ズレ検出モードの処理
を開始したCPU11は、オペレータのキー操作によっ
て位置ズレ検出指令が入力されているか否かを判別し、
位置ズレ検出指令が入力されていなければそのまま待機
状態に入るので(ステップ5101)、オペレータはこ
の間に目視判断に基く第1回目のカメラ位置の修正作業
を完了し、指令キーを操作してCPU11の待機状態を
解除する。
を開始したCPU11は、オペレータのキー操作によっ
て位置ズレ検出指令が入力されているか否かを判別し、
位置ズレ検出指令が入力されていなければそのまま待機
状態に入るので(ステップ5101)、オペレータはこ
の間に目視判断に基く第1回目のカメラ位置の修正作業
を完了し、指令キーを操作してCPU11の待機状態を
解除する。
待機状態を解除されたCPU11は、カメラ22にスナ
ップ指令を出力し、所定位置に配置されたテンプレート
2の線画りをカメラ22で撮影し、両会処理プロセッサ
13でグレイスケール濃淡処理を行った後、線画りの画
像d’ (第4図中二点鎖線で示す)をフレームメモ
リ17に格納する(ステップ3102>。次に、CPt
Jllは画像処理プロセッサ13に対象物検出指令を出
力して従来と同様の方法で対象物の検出を行わせ(ステ
ップ8103)、検出した対象物の画像d′から対象物
の位置と姿勢(回転角)を求め(ステップ8104)、
画像d′上の特徴点p1′〜p4’ の位置をカメラ固
有のセンサ座標系X−Yにおける座標成分X1’〜X4
’およびY1’〜Y4’ としてレジスタに記憶し、所
定位δに配置されたテンプレート2とカメラ22の現在
位置との関係を一時記憶した後(ステップ8105)、
位置ズレの総和を記憶するレジスタEおよび特徴点を識
別する指標iに0をセットして(ステップ8106)、
各特徴点間の位置ズレの総和を求めるためのループ状の
処理(ステップ8107〜ステツプ5109)に移行す
る。
ップ指令を出力し、所定位置に配置されたテンプレート
2の線画りをカメラ22で撮影し、両会処理プロセッサ
13でグレイスケール濃淡処理を行った後、線画りの画
像d’ (第4図中二点鎖線で示す)をフレームメモ
リ17に格納する(ステップ3102>。次に、CPt
Jllは画像処理プロセッサ13に対象物検出指令を出
力して従来と同様の方法で対象物の検出を行わせ(ステ
ップ8103)、検出した対象物の画像d′から対象物
の位置と姿勢(回転角)を求め(ステップ8104)、
画像d′上の特徴点p1′〜p4’ の位置をカメラ固
有のセンサ座標系X−Yにおける座標成分X1’〜X4
’およびY1’〜Y4’ としてレジスタに記憶し、所
定位δに配置されたテンプレート2とカメラ22の現在
位置との関係を一時記憶した後(ステップ8105)、
位置ズレの総和を記憶するレジスタEおよび特徴点を識
別する指標iに0をセットして(ステップ8106)、
各特徴点間の位置ズレの総和を求めるためのループ状の
処理(ステップ8107〜ステツプ5109)に移行す
る。
次いで、特徴点を識別する指標iの値をインクリメント
しくステップ5107)、i指標1の値に塞いて、デー
タメtす20から画像d上の特徴点p1を示す座標値X
i、”y’iを読込み、画像d上の特徴点piとこれに
対応する画fg!d’上の特徴点pi′との間のズレを
締出し、算出されたズレをレジスタFに加陳する(ステ
ップ8108)。
しくステップ5107)、i指標1の値に塞いて、デー
タメtす20から画像d上の特徴点p1を示す座標値X
i、”y’iを読込み、画像d上の特徴点piとこれに
対応する画fg!d’上の特徴点pi′との間のズレを
締出し、算出されたズレをレジスタFに加陳する(ステ
ップ8108)。
なお、特徴点piと特徴点p +l との間のズレは1
、2 (Xi−Xi ) + (Yi−Yi’ >2の演
惇式により距離の2乗で示される値である。
、2 (Xi−Xi ) + (Yi−Yi’ >2の演
惇式により距離の2乗で示される値である。
次いで、特徴点を識別する指標1の値が4に達したか否
か、即ち、画像d上の特徴点ρ1.p、2゜p3. p
4および画像d′上の特徴点p1′p2’ 、p3’
、p4’の対応する各特徴点間のズレを加算する処理が
すべて実行されたか否かを判別しくステップ5109)
、指標1の値が4に達していなければ、再度ステップ5
107に移行して指標iの値をインクリメントし、ステ
ップ8107〜ステツプ5109によって構成されるル
ープ状の処理を繰返し実行する。
か、即ち、画像d上の特徴点ρ1.p、2゜p3. p
4および画像d′上の特徴点p1′p2’ 、p3’
、p4’の対応する各特徴点間のズレを加算する処理が
すべて実行されたか否かを判別しくステップ5109)
、指標1の値が4に達していなければ、再度ステップ5
107に移行して指標iの値をインクリメントし、ステ
ップ8107〜ステツプ5109によって構成されるル
ープ状の処理を繰返し実行する。
このようにしてループ状の処理が繰返し実行される間に
、ステップ5109で指標iの値が4に達したと判別さ
れたならば、各特徴点間のズレが全て婁)出され、各特
徴点間のズレの総和がレジスタFに記憶されたことを意
味し、CPU11はステップ5110に移行する。即ち
、ステップ5107−−ステツプ5109によって構成
されるループ状の処理は、 を実行するための処理である。
、ステップ5109で指標iの値が4に達したと判別さ
れたならば、各特徴点間のズレが全て婁)出され、各特
徴点間のズレの総和がレジスタFに記憶されたことを意
味し、CPU11はステップ5110に移行する。即ち
、ステップ5107−−ステツプ5109によって構成
されるループ状の処理は、 を実行するための処理である。
ステップ5110に移行したCPU11は、レジスタE
に記憶された各特徴点間のズレの総和が許容設定1a
eの範囲に収まっているか否かを判別し、ズレの総和が
許容設定値eの範囲に収まっていなければ、各特徴点間
のズレの総和Eをモニタテレヒ24またはコンソールの
両方若しくはどちらか一方に表示し、また、カメラ22
の位置を再調整すべき旨をモニタテレビ24にメツセー
ジとして表示した後(ステップ5111)、再度ステッ
プ5101に復帰して、位置ズレ検出指令の入力を持つ
待機状態に入る。
に記憶された各特徴点間のズレの総和が許容設定1a
eの範囲に収まっているか否かを判別し、ズレの総和が
許容設定値eの範囲に収まっていなければ、各特徴点間
のズレの総和Eをモニタテレヒ24またはコンソールの
両方若しくはどちらか一方に表示し、また、カメラ22
の位置を再調整すべき旨をモニタテレビ24にメツセー
ジとして表示した後(ステップ5111)、再度ステッ
プ5101に復帰して、位置ズレ検出指令の入力を持つ
待機状態に入る。
オペレータはモニタテレビ24に表示されたズレの総和
Eの値およびメツセージにより、第1回目のカメラ位置
の修正作業が不適当であったものと判断し、再度、目視
判断に基くカメラ位置の修正を行い、適正な修正を行っ
たと判断した段階で、再度指令キーを操作してCPU1
1の待機状態を解除し、CPU11によりステップ81
02以下の処理を実行させる。
Eの値およびメツセージにより、第1回目のカメラ位置
の修正作業が不適当であったものと判断し、再度、目視
判断に基くカメラ位置の修正を行い、適正な修正を行っ
たと判断した段階で、再度指令キーを操作してCPU1
1の待機状態を解除し、CPU11によりステップ81
02以下の処理を実行させる。
ステップ8102〜ステツプ8110の処理を実行した
結果、ステップ8110においてズレの総和が許容設定
値eの範囲に収まっていないと判別されたならば、CP
U11は、再度、カメラ22の位置を再調整すべき旨を
モニタテレビ24にメツセージとして表示するので、オ
ペレータはこの表示に基づいて更にカメラ位置の修正作
業を行うこととなる。
結果、ステップ8110においてズレの総和が許容設定
値eの範囲に収まっていないと判別されたならば、CP
U11は、再度、カメラ22の位置を再調整すべき旨を
モニタテレビ24にメツセージとして表示するので、オ
ペレータはこの表示に基づいて更にカメラ位置の修正作
業を行うこととなる。
また、本実施例では、ズレの総和が許容設定値eの範囲
に収まっていないと判別された場合、メツセージと共に
ズレの総和Eの値を表示するようにしているので、2回
、3回・・・とカメラ位置の修正作業を行う必要がある
場合、ズレの総和Eの表示内容の変化に基いて、カメラ
位置の修正方向を推測することができる。例えば、第1
回目の修正作業で表示されたズレの総和Fに比べ第2回
目の修正作業で表示されたズレの総ff1Eの値の方が
大きくなっていれば、第2回目の昨1方向が誤っている
ことを意味し、オペレータは第3回目の修正作業で第2
回目の場合と逆の方向にカメラ位置を修正する必要があ
り、また、第1回目のべ正作業で表示されたズレの総和
Eに比べ第2回目の修正作業で表示されたズレの総和E
の値の方が小さくなっていれば、第2回目の修正方向が
正しいことを意味するので、オペレータはカメラの修正
量の刻み幅を小さくして、第3回目の修正作業で第2回
目の場合と同方向にカメラ位置を修正すればよい。
に収まっていないと判別された場合、メツセージと共に
ズレの総和Eの値を表示するようにしているので、2回
、3回・・・とカメラ位置の修正作業を行う必要がある
場合、ズレの総和Eの表示内容の変化に基いて、カメラ
位置の修正方向を推測することができる。例えば、第1
回目の修正作業で表示されたズレの総和Fに比べ第2回
目の修正作業で表示されたズレの総ff1Eの値の方が
大きくなっていれば、第2回目の昨1方向が誤っている
ことを意味し、オペレータは第3回目の修正作業で第2
回目の場合と逆の方向にカメラ位置を修正する必要があ
り、また、第1回目のべ正作業で表示されたズレの総和
Eに比べ第2回目の修正作業で表示されたズレの総和E
の値の方が小さくなっていれば、第2回目の修正方向が
正しいことを意味するので、オペレータはカメラの修正
量の刻み幅を小さくして、第3回目の修正作業で第2回
目の場合と同方向にカメラ位置を修正すればよい。
オペレータは、このようにしてカメラ22の修正作業を
行う毎に、指令4−を操作して位置ズレ検出モードにお
けるステップ8102以下の処理を実行させるが、ステ
ップ8110においてズレの総和が許容設定tfjeよ
りも小さいと判別されたならば、CPIJIIは、ズレ
の総和Eの値が許容設定値Cの範囲に収まっている旨の
メツセージをモニタテレビ24に表示しくステップ81
12)、位置ズレ検出モードの処理を全て終了する。こ
れは、適切な修正作業が行われたことを意味するもので
あり、オペレータはモニタテレビ24に表示されたメツ
セージに従い、カメラの修正作業を完了させる。
行う毎に、指令4−を操作して位置ズレ検出モードにお
けるステップ8102以下の処理を実行させるが、ステ
ップ8110においてズレの総和が許容設定tfjeよ
りも小さいと判別されたならば、CPIJIIは、ズレ
の総和Eの値が許容設定値Cの範囲に収まっている旨の
メツセージをモニタテレビ24に表示しくステップ81
12)、位置ズレ検出モードの処理を全て終了する。こ
れは、適切な修正作業が行われたことを意味するもので
あり、オペレータはモニタテレビ24に表示されたメツ
セージに従い、カメラの修正作業を完了させる。
なお、モニタテレビ24上の各表示は、オペレータが別
のモード選択キーを操作した段階で自動的に消去される
。
のモード選択キーを操作した段階で自動的に消去される
。
以上に述べたように、本実施例においては、視覚センサ
のカメラ22が正常な位置にある状態で基準体となるテ
ンプレート2を所定位置に配置し、テンプレート2に描
かれた線画りの特徴点PI。
のカメラ22が正常な位置にある状態で基準体となるテ
ンプレート2を所定位置に配置し、テンプレート2に描
かれた線画りの特徴点PI。
P2.P3.P4をカメラ22で撮影しくステップS1
)、該特徴点P1.P2.P3.P4のセンサ座標系に
おける座標位置1)1.l)2.p3゜p4をセンサ座
標系X−Yの各軸方向の成分として視覚センサ内のデー
タメモリ20に記憶することにより(ステップ82〜ス
テツプS4)、所定位置に配置したテンプレート20と
カメラ22との正常な位置関係を定義し、カメラ22に
位置ズレが生じた場合には、再度、位置決め?−り3a
。
)、該特徴点P1.P2.P3.P4のセンサ座標系に
おける座標位置1)1.l)2.p3゜p4をセンサ座
標系X−Yの各軸方向の成分として視覚センサ内のデー
タメモリ20に記憶することにより(ステップ82〜ス
テツプS4)、所定位置に配置したテンプレート20と
カメラ22との正常な位置関係を定義し、カメラ22に
位置ズレが生じた場合には、再度、位置決め?−り3a
。
3bによって規定される所定位置にテンプレート2を配
置し、線画りの特徴点P1.P2.P3゜P4をカメラ
22で撮影しくステップ8102)、該特徴点PI、P
2.P3.P4のセンサ座標系における座標位置p1’
、 p2’ 、 p3’p4′をセンサ座標系X−Y
の各軸方向の成分として検出しくステップ8103〜ス
テツプ5105)、センサ座標系X−Y上で対応する各
特徴点pi、pt′の座標位置間のズレを求めるように
している(ステップ8108)。
置し、線画りの特徴点P1.P2.P3゜P4をカメラ
22で撮影しくステップ8102)、該特徴点PI、P
2.P3.P4のセンサ座標系における座標位置p1’
、 p2’ 、 p3’p4′をセンサ座標系X−Y
の各軸方向の成分として検出しくステップ8103〜ス
テツプ5105)、センサ座標系X−Y上で対応する各
特徴点pi、pt′の座標位置間のズレを求めるように
している(ステップ8108)。
本実施例においては、更に、ステップ8107〜ステッ
プ5109によって椙成されるループ状の処理によって
、センサ座標系x−Y上の各特徴点pi、pi’の座標
位置間のズレの総和Eを算出し、表示手段となるモニタ
テレビ24に表示しくステップ8111)、ズレの総和
Eの値が小さくなる方向、即ら、位置ずれを生じたカメ
ラ22が正常な位置にある状態で定義されたカメラ22
とテンプレート2どの位隋関係を満足させる方向に該カ
メラ22の位置を修正するようにしており、この条件が
満足された段階でカメラ22の位置がほぼ完全に修復さ
れたことになる(ステップ5112)。
プ5109によって椙成されるループ状の処理によって
、センサ座標系x−Y上の各特徴点pi、pi’の座標
位置間のズレの総和Eを算出し、表示手段となるモニタ
テレビ24に表示しくステップ8111)、ズレの総和
Eの値が小さくなる方向、即ら、位置ずれを生じたカメ
ラ22が正常な位置にある状態で定義されたカメラ22
とテンプレート2どの位隋関係を満足させる方向に該カ
メラ22の位置を修正するようにしており、この条件が
満足された段階でカメラ22の位置がほぼ完全に修復さ
れたことになる(ステップ5112)。
また、本実施例では対応する各特徴点pi。
pi′間のX軸およびY軸方向の位置ズレ吊の総和Eを
表示するようにしたが、別の実施例として、各軸方向の
位置ズレ暑の総和E 、E を別個にY 表示することもできる。この場合、位置ズレ検出モード
のステップ8108で、X軸方向の位置ズレ■及びY軸
方向の位置ズレωを後述する(1)。
表示するようにしたが、別の実施例として、各軸方向の
位置ズレ暑の総和E 、E を別個にY 表示することもできる。この場合、位置ズレ検出モード
のステップ8108で、X軸方向の位置ズレ■及びY軸
方向の位置ズレωを後述する(1)。
(2)式で別個に粋出し、位置ズレ吊の総和を記憶する
レジスタE、E、に順次加締し、ステラプ5111で位
置ズレωの総和E、E、を別個に表示する。従って、オ
ペレータがカメラ22の位置を修正する際には、ステッ
プ5111で表示された位置ズレff1E、E、の値に
基き、各@毎に修正作業を行うことができ、修正方向の
推測が一層容易となる。なお、位置ズレ聞が許容範囲内
にあるか否かの判別処理であるステップ5110および
修正作業が適切に行われたことを表示するステップ51
12の処理では、本実施例と同様、各軸方向の位置ズレ
聞の総和Eを用いて処理を実行しても一層に差支えない
。
レジスタE、E、に順次加締し、ステラプ5111で位
置ズレωの総和E、E、を別個に表示する。従って、オ
ペレータがカメラ22の位置を修正する際には、ステッ
プ5111で表示された位置ズレff1E、E、の値に
基き、各@毎に修正作業を行うことができ、修正方向の
推測が一層容易となる。なお、位置ズレ聞が許容範囲内
にあるか否かの判別処理であるステップ5110および
修正作業が適切に行われたことを表示するステップ51
12の処理では、本実施例と同様、各軸方向の位置ズレ
聞の総和Eを用いて処理を実行しても一層に差支えない
。
、 2
E ← (Yi−Yi ) ・・・ (
2)さらに、これら位置ズレ聞の表示はモニタテレビ2
4による可視表示に限らず、ブザー等を用いた音声表示
とすることもできる。たとえば、位置ズレ検出モードの
ステップ8102〜ステツプ5111までの処理をルー
プ状に繰返し実行させ、ステップ5110で位置ズレ量
の総和Eが許容設定値eよりも小さいと判別された時、
ステップ5112の処理に換え、所定時間作動するタイ
マによってブザーを鳴らし、修正作業が適切に行われた
ことを音声表示するようにする。このようにすれば、カ
メラ22の位置を修正する毎に指令キーを操伯して位置
ズレ検出信号を入力したり、モニタテレビ24の表示や
メツセージを一々確認する必要もなく、オペレータはカ
メラ22の配設位置にとどまって一層円滑に修正作業を
行うことができる。
2)さらに、これら位置ズレ聞の表示はモニタテレビ2
4による可視表示に限らず、ブザー等を用いた音声表示
とすることもできる。たとえば、位置ズレ検出モードの
ステップ8102〜ステツプ5111までの処理をルー
プ状に繰返し実行させ、ステップ5110で位置ズレ量
の総和Eが許容設定値eよりも小さいと判別された時、
ステップ5112の処理に換え、所定時間作動するタイ
マによってブザーを鳴らし、修正作業が適切に行われた
ことを音声表示するようにする。このようにすれば、カ
メラ22の位置を修正する毎に指令キーを操伯して位置
ズレ検出信号を入力したり、モニタテレビ24の表示や
メツセージを一々確認する必要もなく、オペレータはカ
メラ22の配設位置にとどまって一層円滑に修正作業を
行うことができる。
また、位置ズレ検出モードでカメラ22がとらえる画像
、即ち、特徴点pi’ 、 p2’ 、 p3’p4′
を常時モニタテレビ24に表示すると共に、基準位置検
出モードでデータメモリ20に記憶された特徴点の位置
p1. p2.p3.p4をモニタテレビ24に重合さ
せて表示するようにし、モニタテレビ24の画像を見な
がら、対応する各特徴点の位置が一致するようにカメラ
22の位置を調整することによって該カメラ22の位置
ズレを修正したり、また、基準位置検出モードでカメラ
22がとらえた特徴点の位置p1. p2.D3゜p4
に対応してモニタテレビ24の画面上に印を付けておき
、位置ズレ検出モードでカメラ22がとらえてモニタテ
レビ24上に表示する特徴点の位置p1’ 、p2’
、p3’ 、p4’ が前記中と一致するようにカメラ
22の位置ズレを修正することもできる。
、即ち、特徴点pi’ 、 p2’ 、 p3’p4′
を常時モニタテレビ24に表示すると共に、基準位置検
出モードでデータメモリ20に記憶された特徴点の位置
p1. p2.p3.p4をモニタテレビ24に重合さ
せて表示するようにし、モニタテレビ24の画像を見な
がら、対応する各特徴点の位置が一致するようにカメラ
22の位置を調整することによって該カメラ22の位置
ズレを修正したり、また、基準位置検出モードでカメラ
22がとらえた特徴点の位置p1. p2.D3゜p4
に対応してモニタテレビ24の画面上に印を付けておき
、位置ズレ検出モードでカメラ22がとらえてモニタテ
レビ24上に表示する特徴点の位置p1’ 、p2’
、p3’ 、p4’ が前記中と一致するようにカメラ
22の位置ズレを修正することもできる。
また、テンプレート2上の線画りの形状は不等辺四角形
等に限るものでなく、区別して識別できる特徴点を複数
個有するものであればどのような形状であってもよく、
また、基準位置検出モードでデータメモリ20に記憶す
る特徴点の数も、必ずしも全ての特徴点を用いる必要は
なく、前記特徴点の内から少なくとも二つのものを用い
れば充分である。
等に限るものでなく、区別して識別できる特徴点を複数
個有するものであればどのような形状であってもよく、
また、基準位置検出モードでデータメモリ20に記憶す
る特徴点の数も、必ずしも全ての特徴点を用いる必要は
なく、前記特徴点の内から少なくとも二つのものを用い
れば充分である。
発明の効果
本発明の視覚センサの位置ズレ修正方法によれば、視覚
センサに位置ズレが生じた場合であってもカメラ自体の
位置を容易に修正することができるので、従来のように
、位置ズレが生じる度にキヤリブデータの再設定等の複
雑な処理を行う必要はなく、セン+1座標系と産業用ロ
ボツ1−等各種自動機械の座標系とを速やかに整合さけ
ることができ、製造ライン上に配設された視覚センサに
位置ズレが生じた場合でも長時間ラインを停止して修復
作業を行う必要がなくなり、位置ズレ発生時における生
産効率の低下が最小限に抑制される。
センサに位置ズレが生じた場合であってもカメラ自体の
位置を容易に修正することができるので、従来のように
、位置ズレが生じる度にキヤリブデータの再設定等の複
雑な処理を行う必要はなく、セン+1座標系と産業用ロ
ボツ1−等各種自動機械の座標系とを速やかに整合さけ
ることができ、製造ライン上に配設された視覚センサに
位置ズレが生じた場合でも長時間ラインを停止して修復
作業を行う必要がなくなり、位置ズレ発生時における生
産効率の低下が最小限に抑制される。
第1図は本発明の一実施例の基準位置設定モードを示す
フローチャート、第2図は同実施例の位置ズレ検出モー
ドを示すフローチャート、第3図同実施例に本発明の方
法を適用する際に用いる構成の一例を示す模式図、第4
図は同実施例の基準位置設定モードおよび位置ズレ検出
モードでとらえられる画像の一例を示す概念図、第5図
は同実施例を実施する視覚センサの要部ブロック図であ
る。 1・・・カメラによってとらえられる領域、2・・・基
準体としてのテンプレート、3a、3b・・・位置決め
マーク、D・・・線画、d、d’ ・・・線画りの画像
、P1〜P4・・・特徴点、 p1〜p4.D1’〜p4′・・・セン()座標系にお
ける特徴点の画像、10・・・画像中火処理装置、11
・・・主中央処理装置、12・・・カメラインクフェイ
ス、13・・・画像処理プロセッサ、14・・・コンソ
ールインタフェイス、15・・・通信インタフ1イス、
16・・・TVモニタインタフェイス、17・・・フレ
ームメモリ、18・・・コントロールソフト用メモリ、
19・・・プログラムメモリ、20・・・データメモリ
、21・・・バス、22・・・カメラ、23・・・コン
ソール、24・・・モニタテレビ。 第 40 −−→×
フローチャート、第2図は同実施例の位置ズレ検出モー
ドを示すフローチャート、第3図同実施例に本発明の方
法を適用する際に用いる構成の一例を示す模式図、第4
図は同実施例の基準位置設定モードおよび位置ズレ検出
モードでとらえられる画像の一例を示す概念図、第5図
は同実施例を実施する視覚センサの要部ブロック図であ
る。 1・・・カメラによってとらえられる領域、2・・・基
準体としてのテンプレート、3a、3b・・・位置決め
マーク、D・・・線画、d、d’ ・・・線画りの画像
、P1〜P4・・・特徴点、 p1〜p4.D1’〜p4′・・・セン()座標系にお
ける特徴点の画像、10・・・画像中火処理装置、11
・・・主中央処理装置、12・・・カメラインクフェイ
ス、13・・・画像処理プロセッサ、14・・・コンソ
ールインタフェイス、15・・・通信インタフ1イス、
16・・・TVモニタインタフェイス、17・・・フレ
ームメモリ、18・・・コントロールソフト用メモリ、
19・・・プログラムメモリ、20・・・データメモリ
、21・・・バス、22・・・カメラ、23・・・コン
ソール、24・・・モニタテレビ。 第 40 −−→×
Claims (1)
- 所定位置に配置した基準体を視覚センサのカメラで撮影
し、該基準体における区別して認識可能な特徴点のセン
サ座標系における座標位置を検出して視覚センサ内に記
憶させておき、前記カメラに位置ズレが生じた場合に、
前記基準体を前記所定位置に配置し前記カメラで撮影し
て前記記憶した特徴点に対応する特徴点のセンサ座標系
における座標位置を検出し、視覚センサで検出した各特
徴点の座標位置と記憶した座標位置間の位置ズレを求め
て基準体のセンサ座標系上の位置ズレを表示手段に表示
し、該表示に基いてカメラのズレを調整するようにした
視覚センサの位置ズレ修正方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9738489A JPH02276901A (ja) | 1989-04-19 | 1989-04-19 | 視覚センサの位置ズレ修正方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP9738489A JPH02276901A (ja) | 1989-04-19 | 1989-04-19 | 視覚センサの位置ズレ修正方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH02276901A true JPH02276901A (ja) | 1990-11-13 |
Family
ID=14191017
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP9738489A Pending JPH02276901A (ja) | 1989-04-19 | 1989-04-19 | 視覚センサの位置ズレ修正方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH02276901A (ja) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002228442A (ja) * | 2000-11-30 | 2002-08-14 | Mixed Reality Systems Laboratory Inc | 位置姿勢の決定方法及び装置並びに記憶媒体 |
| JP2006317441A (ja) * | 2005-05-10 | 2006-11-24 | Pixart Imaging Inc | イメージディスプレイ及びイメージセンサを含む定位システム |
| JP2008058204A (ja) * | 2006-08-31 | 2008-03-13 | Fuji Xerox Co Ltd | 位置計測システム |
| CN103808255A (zh) * | 2012-11-06 | 2014-05-21 | 富士机械制造株式会社 | 裸片位置判定系统 |
| CN114295056A (zh) * | 2021-12-31 | 2022-04-08 | 普聚智能系统(苏州)有限公司 | 一种激光加工设备的视觉定位系统快速校正方法及应用 |
| WO2022190538A1 (ja) * | 2021-03-12 | 2022-09-15 | オムロン株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61277012A (ja) * | 1985-06-03 | 1986-12-08 | Nippon Telegr & Teleph Corp <Ntt> | カメラ位置姿勢校正方法 |
-
1989
- 1989-04-19 JP JP9738489A patent/JPH02276901A/ja active Pending
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61277012A (ja) * | 1985-06-03 | 1986-12-08 | Nippon Telegr & Teleph Corp <Ntt> | カメラ位置姿勢校正方法 |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002228442A (ja) * | 2000-11-30 | 2002-08-14 | Mixed Reality Systems Laboratory Inc | 位置姿勢の決定方法及び装置並びに記憶媒体 |
| JP2006317441A (ja) * | 2005-05-10 | 2006-11-24 | Pixart Imaging Inc | イメージディスプレイ及びイメージセンサを含む定位システム |
| JP2008058204A (ja) * | 2006-08-31 | 2008-03-13 | Fuji Xerox Co Ltd | 位置計測システム |
| CN103808255A (zh) * | 2012-11-06 | 2014-05-21 | 富士机械制造株式会社 | 裸片位置判定系统 |
| CN103808255B (zh) * | 2012-11-06 | 2019-05-10 | 株式会社富士 | 裸片位置判定系统 |
| WO2022190538A1 (ja) * | 2021-03-12 | 2022-09-15 | オムロン株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
| JP2022139974A (ja) * | 2021-03-12 | 2022-09-26 | オムロン株式会社 | 情報処理装置および情報処理方法、並びにプログラム |
| US12564961B2 (en) | 2021-03-12 | 2026-03-03 | Omron Corporation | Information processing device, information processing method, and program |
| CN114295056A (zh) * | 2021-12-31 | 2022-04-08 | 普聚智能系统(苏州)有限公司 | 一种激光加工设备的视觉定位系统快速校正方法及应用 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR970005616B1 (ko) | 자동 캘리브레이션(calibration) 방법 | |
| JP5930708B2 (ja) | 作業管理装置および作業管理システム | |
| US7899577B2 (en) | Measuring system and calibration method | |
| US7161321B2 (en) | Measuring system | |
| US6414711B2 (en) | Apparatus for correcting movement path of a robot and a method therefor | |
| US20050159842A1 (en) | Measuring system | |
| US20070071310A1 (en) | Robot simulation device | |
| EP0378703B1 (en) | Nominal data automatic setting method of visual sensor system | |
| JP2806604B2 (ja) | カメラの位置ずれ検出方法 | |
| JP7336253B2 (ja) | 据付物の施工方法 | |
| JPH0392712A (ja) | 画像処理装置と測距センサによる物体の3次元位置認識方法 | |
| JP7414850B2 (ja) | ロボットシステム | |
| JPH02276901A (ja) | 視覚センサの位置ズレ修正方法 | |
| JPH0415883A (ja) | 画像処理装置 | |
| JPH0299802A (ja) | ハンドアイを用いた視覚センサにおける座標系設定方法 | |
| JPH05301195A (ja) | 視覚センサにおけるカメラ位置ずれ検出方法 | |
| JP2584151Y2 (ja) | ロボット制御装置 | |
| JP2638597B2 (ja) | ビジョンシステムのプログラム作成方法 | |
| JP3125374B2 (ja) | 検査装置の座標表示方法 | |
| US12415274B2 (en) | Robot system, control device, diagnosis method, and diagnosis program | |
| JP2669673B2 (ja) | 被加工物の位置補正装置 | |
| JPH01116401A (ja) | 視覚センサのための視差補正方式 | |
| JPH0512409A (ja) | 産業用視覚センサにおける画像処理方法 | |
| JP2025167000A (ja) | 投射位置の判定方法および投射位置の判定装置 | |
| WO2025126637A1 (ja) | 画像取得システム及び画像取得方法 |