JPS6238904A - ロボツト用視覚システムにおける学習方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は産業用ロボット、特にマテリアルノ１ンドリン
グなどを行う組立ロボットの目として工業部品の形状９
位置、方向などを識別する機能をもつ視覚システム、特
にその標準データの登録（教示、学習）方法に関する。

〔従来の技術〕

この種の形状認識装置の代表的なものとして、例えば米
国のＳＲｉ　（スタンフォード研究所）で開発されたＶ
ｉｓｉｏｎ　Ｍｏｄｕｌｅがある。これは、主としてロ
ボットの目として開発されたもので、対象となる工業部
品の形状を固体カメラで撮像して２値化処理を施した後
、連結性解析により形状の輪郭を抽出し、形状の特徴量
（面積１周囲長、形状係数など）を計測することにより
あらかじめ学習させておいた標準パターンとの比較によ
り形状の認識および分類を行うものである。

第９図はかかるＳ几ｉのＶｉｓｉｏｎ　Ｍｃｘｌｕｌｅ
を示す機能ブロック図である。なお、同図において、１
は固体カメラの如き撮像装置、１１は前処理回路、１２
１１：２［ＥＪ路、１３はマイクロプロセッサの如き処
理装置、１４は外部インタフェイスである。

また、処理装置１３は連結性解析部１３１、特微量計算
部１３２）特微量判別部１３３および標準パターン設定
部１３４等から構成されている。

固体カメラ１により撮像された対象形状のｖｉｄｅｏ　
（ビデオ）信号は、前処理回路１１にてＡ／Ｄ変換、ノ
イズ除去等の処理が施され、次の２値化回路１２にて一
定の閾値で２値化処理され、形状は黒白の２値パターン
に変換される。前処理・２値化処理については、この分
野の技術において数多くの方式があり、この部分は本発
明の主目的ではないので、ここでは特に言及しないもの
とする。この対象形状の２値パターンはマイクロコンピ
ュータ等の処理装置１３に与えられ、その連結性解析部
１３１により形状の輪郭抽出や分離を行い、特微量計算
部１３２により形状の面積・周囲長・穴の数・大面積・
形状係数等の形状識別パラメータが計算され、また同時
に、重心位置・慣性モーメントなどの位置・方向識別パ
ラメータが計算される。対象形状の判別は、一般にＳ几
ｉアルゴリズムと呼ばれる認識手法により、あらかじめ
ショーウィング（ティーチング）と呼ばれる教示動作で
作成し、設定部１３４に設定した標準パターンとの比較
により行われる。形状判別された結果は、部品名および
その位置・回転角等の形で外イ 部インタフェース１４により、Ｒ，８２３２Ｃと称され
る伝送プロトコル等を用いてロボット等の制御装置へ伝
送される。

第ｉｏ図はｓ几ムアルゴリズムにおける形状認識の手法
である、判別木（Ｗ別トリー）法の例を説明するための
参照図である。

同図（イ）に示すように、四ツド、シリンダ１（横向き
）、シリンダ２（上向き）、ピストンスリーブ１（上向
き）、ピストンスリーブ２（横向き）、ブレーキキャリ
パ１（上向き）、ブレーキキャリパ２（横向き）等の部
品群があるとき、それぞれの形状特徴量として、ｘｌ−
周囲長、Ｘ２＝穴の全面積、Ｘ３−重心から外側輪郭ま
での最小距離、Ｘ４＝重心から外側までの最大距離を用
い、同図（０）に示すような判別木（ｂｉｎａｒｙ　　
ｄｅｃｉｓｉｏｎｔｒｅｅ）により前記各部品が判別さ
れることになる。

さて、このようなＳＲｉアルゴリズムにおいては、前記
の判別木における各特徴量の各部品に対する設定値を決
めるために、あらかじめシロ−ウイング（Ｓｈｏｗｉｎ
ｇ　）あるいはティーチング（Ｔｅａｃｈｉｎｇ）と呼
ばれる教示プ四セスを行うのが一般的である。

すなわち、認識させたい部品をあらかじめ装置罠撮像さ
せることにより、各部品の各特徴量の範囲を算出し、部
品の標準パターンとして記憶するものである。かかるシ
ョーウィングにおいては、各部品がとりうるあらゆる位
置、姿勢およびあらゆる個体差を想定してくり返し撮像
させ、各像における特徴量のばらつきを統計処理し、平
均値とその偏差により各部品の各特徴量の設定値とする
のが普通である。

〔発明が解決しようとする問題点〕

ところで、このような形状認識装置において問題になる
のは、判別木における設定値がすべてショーウィングに
よる撮像データに依存していることである。したがって
、正規部品の未識別あるいは誤識別を避けるためには、
前述したように、ユーザーが対象部品のとりうるあらゆ
る位置、姿勢および個体差を想定して撮像をくり返し行
わなければならない。また、対象物体だけの問題ではな
く、周囲の照明条件や固体カメラの位置などについても
、起りうるあらゆる変動を考慮してショーウィングを行
わなければならない。このことが、この種の形状認識装
置の生産ラインへの導入をむずかしくさせ、普及を踏み
とどまらせている−因ともなっている。

ショーウィングが不十分のために、対象形状が未識別（
識別不能）になりやすい理由としては、次のようなこと
があげられる。

（１）一般に、ユーザーが対象形状のおかれるあらゆる
位置、あらゆる角度およびあらゆる個体差を考慮して、
多数回のショーウィングを行うのは不可能に近い。

（２）一般に、対象画像は２５６Ｘ２５６程度のディジ
タル画像に変換されるが、このときディジタル化に伴う
「量子化誤差」が本質的に発生する。例えば、第１１図
（イ）、（ロ）、（ハ）の如く、同じ形状のものでも走
査方向に対して置かれる角度（位置）によって、輪郭が
微妙に変化し量子化誤差が現われる。つまり、この量子
化誤差により各特徴量の値にばらつきが生じることにな
り、また画像の端点（凸点および四点）の位置が不安定
になったりすることが多い。このような「量子化誤差」
を防ぐには、ディジタル化のメツシュを細かくすること
が１つの解決方法として考えられるが、例えば２５６Ｘ
２５６を５１２Ｘ５１２もしくは１０２４Ｘ１０２４の
レベルにすると画素数が飛躍的に増大し、その結果処理
時間が増して、この種の装置に不可欠なリアルタイム性
が失われてしまうことになる。

（３）生産ラインに実際に導入する場合を考えると、運
用中に固体カメラの位置がずれたり、また照明条件が変
化したりすることがあり、ショーウィング直後には正常
な識別ができても、運用中における周囲条件の変化によ
り未識別のケースが増えることもありうる。このような
ときに、新しい条件のもとて再度ショーウィングをやり
直せば解決する場合もあるが、前述したように従来の方
式ではショーウィングを完全に実行するのはたいへんな
作業であるため、再度のショーウィングは実際にはかな
りむずかしいといえる。

（４）近年、産業構造が大量生産からＦ　Ｍ　Ｓ　（Ｆ
ｌｅｘｉ１）ｌｅ　　Ｍａｎｕｆａｃｔｕｒｉｎｇ　　
Ｓｙｓｔｅｍ　）　ヘと移行する中で、工業部品の形状
も製品の多様化により、しばしば設計変更されることが
ある。このようなとき、従来方式では設計変更のたびに
ショーウィングを始めからやり直さなければならない。

以上のような状況から、従来のショーウィングに代わる
新たな教示（学習）方法の出現が求められている。した
がって、本発明は教示（学習）方法が簡単で、かつ設計
変更等にも柔軟に対処し得るようにすることを目的とす
る。

〔問題点を解決するための手段および作用〕本発明は、
ｐボット用の視覚装置に部品形状を教示させる手段が従
来はショーウィングのみであったのに対して、部品の設
計データをｏｎ−１ｉｎｅ（またはｏｆｆ−１ｉｎｅ）
にてロボット用視覚装置へ転送することにより従来の如
きショーウィング作業を廃止するとともに、設計データ
にいくらかのマージンを持たせることにより、部品形状
の登録を容易かつ短時間に完了できるようにするもので
ある。

すなわち、一般に組立ロボットなどの場合を考えると、
対象とする部品には必らず股肝図があり、特に最近はＣ
Ａ　Ｄ　／　ＣＡ　Ｍ　（ＣＡＤ　；Ｃｏｍｐｕｔｅｒ
　ＡｉｄｅｄＤｅｓｉｇｎ、　ＣＡＭ　；Ｃｏｍｐｕｔ
ｅｒ　Ａｉｄｅｄ　Ｍａｎｕｆａｃｔｕｒｉｎｇ　）の
普及に伴って設計データが磁気ディスク、磁気テープ、
７０ツビーディスク、あるいは光ディスク等に格納され
ている場合が多い。また、必ずしもＣＡＤにて設計され
た部品ではなくても、最近は自動図面読取装置が次第に
普及してきており、手書きの図面でも比較的簡単にデー
タベース化することが可能になってきている。したがっ
て、ＣＡＤ装置あるいは自動図面読取装置とロボット用
視覚装置とをｏｎ−１ｉｎｅ（またはｏｆｆ−目ｎｅ）
にて接続することにより、指定部品の設計データ、特に
輪郭に関する情報を明確な形でロボット用視覚装置へ入
力することができる。すなわち、直線部の長さ１曲線の
曲率、穴の位置およびその半径などが形状とともに数値
として視覚装置に教示することが出来るので、視覚装置
側で従来の如くショーウィングされたデータからこれら
のパラメータ（長さ１曲率、半径９位置など）を検出す
る必要がなぐ、したがってショーウィングに伴う不安定
さを除去することができる。

次に、ＣＡＤあるいは図面読み取り装置より転送された
設計データは、各部品の基準パターンとして視覚装置に
登録されるが、これだけではマージンが付加されていな
いので、実際の識別には不適当である。すなわち、実際
に固体カメラ等により撮像された部品形状パターンは、
ディジタル化に伴う量子化誤差や照明条件等によりばら
つきがあるので、ＣＡＤ等より入力した基準パターンに
これらのばらつきを許容するためのマージンを付加する
必要がある。これらの許容マージンデータを付加する手
段として、本発明では以下の２つの方式を併用する。

まず、ディジタル化に伴う量子化誤差については、周囲
の条件にかかわりなく言わば本質的に内在するばらつき
であるから、これらはあらかじめ予測可能なものである
。すなわち、直線部はその長さに応じてどのくらいの量
子化誤差マージンを付加すべきかを決定することができ
るし、また曲線部や円形部についてもその曲率や半径に
もとづいてマージンを決定することができる。したがつ
て、視覚装置にあらかじめ直線部１曲線部のマージンを
記憶させておくことにより、部品の設計データが入力さ
れた時点で視覚装置内部でマージンの付加を自動的に行
うことができる。

次に、上記のマージン予測ではカバーしきれない場合、
すなわち、任意形状をした部品の場合や、特殊な周囲条
件、例えば照明条件が標準でない場合、また生産工程の
都合で部品形状がかなりばらつく場合には、視覚装置内
部では部品のマージンを自動的には決められない場合が
多い。このような場合でも、工業部品である以上は設計
図が存在するわけであるから、部品の設計者あるいはロ
ボットによる自動化ラインのエンジニアが、部品のばら
つきとしてどの程度まで許容できるかを決定できるはず
である。したがって、本発明においては、四ボット用視
覚装置に、部品形状を表示するためのディスプレイおよ
び形状のばらつきを指示するためのキーボード、ライト
ペンまたはマウス等を装備しておくことにより、作業者
が部品形状を見ながらマージンの設定をすることができ
るようにする。すなわち、まずＣＡＤ等の装置より転送
された部品の基準パターンがディスプレイに表示される
と、作業者（オペレータ）はディスプレイを見ながらラ
イトベンまたはマウス等の入力装置を用いて形状のばら
つきの範囲を指示することにより、その部品形状のマー
ジンを決定する。

以上のような方式をとることにより、ショーウィングを
行うことなく、容易にかつ安定した形で部品形状の登録
を行い、また設計変更等にも柔軟に対応できるシステム
にするものである。

〔実施例〕

第１図は本発明の詳細な説明するためのシステム構成図
、第２図はその部分構成図、第３図は基準データファイ
ルの構成を示す構成図、第４図は形状マージンを説明す
るための参照図、第５図は本発明による処理手順を示す
フローチャートである。なお、第１図において、１は固
体カメラの如き撮像装置、２はロボット、３はロボット
制御装置、４は視覚装置、５はＣＡＤ装置、６は補助記
憶装置、７はディスプレイである。

以下、これらの図を参照して動作を説明する。

すなわち、ＣＡＤ装置５により作成された工業部品の設
計図には部品の外形図や寸法１曲率、中心点など部品の
製造に必要なすべての情報がディジタル化され、データ
ベースとして磁気ディスク。

磁気テープ、７０ツビーデイスクあるいは光ディスク等
の補助記憶装置６へ格納されている。組立ロボット２が
上記ＣＡＤ装置５にて設計された部品群のデパレタイジ
ング（分離）による部品の組立て、あるいはランダムに
おかれた部品のパレタイジング（集約）を行うとき、組
立ロボット２にとりつけられたロボット用視覚装置４に
該当する部品群の登録を次のような手順で行う。なお、
ロボット用視覚装置４０部分が第２図に示されており、
キーボード８、ディスプレイ９およびマウス１０等より
構成される。

前記ＣＡＤ装置５と視覚装置４とは、シリアルライン（
Ｒ８２３２Ｃプロトコル等）またはパラレルライン（Ｇ
ＰＩＢプｐトコル等）にて相互にコマンドまたはデータ
が送れるように接続されている。組立ロボット２が対象
とする部品群に対して、それぞれの部品名または部品番
号を視覚装置４よりＣＡＤ装置５へ１つずつ伝送する（
第５図■参照）。ＣＡＤ装置５は、送られてきた部品名
または部品番号に対応する設計データを視覚装置４へ伝
送する（第５図■参照）。設計データとしては、部品の
外形図（外周、内周等）および外形に付随する補助デー
タ（直線部の端点位置およびその長さ９曲線部の端点お
よび曲率、さらに円周部の中心点・半径など）である。

このとき、一般に設計図は三角法に従って書かれである
ので、実際に視覚装置のカメラ１が部品を撮像する方向
と同じ方向から見た外形図を伝送しなければならないが
、通常は正面図とする。しかし、場合によって、カメラ
が部品を、例えば側面図の位置から見る場合は、あらか
じめ視覚装置４がらＣＡＤ装置５へ部品名（または部品
番号）を伝送する際に、その情報も付加しておくものと
する。

さて、ＣＡＤ装置５より伝送された部品の外形図および
外形補助データは、視覚装置４の中の部品基準データフ
ァイルへ部品名（部品番号）とともに格納される。この
ようにして、順次すべての該当部品に関する基準データ
ファイルが作成される。かかる基準データファイルの例
が第３図（イ）。

（ロ）、（ハ）　、　（ニ）に示されている。

次に、オペレータが視覚装置４に対して「マージン作成
モード」へ移る指示を与えると、視覚装置４は外周補助
データをもとに各外周部のばらつきの範囲を演算して、
視覚装置のディスプレイ９（第２図参照）へ基準データ
とともにマージンを表示する（第５図■参照）。マージ
ンの表示例が第４図に点線で示されている。ばらつき（
マージン）の計算のもとになるデータは、主として量子
化誤差などによる一般的な直ｍ１円孤等のばらつきをも
とに統計的に決定されたものであり、視覚装置４の中の
不揮発性メモリの中にデータファイルとしてあらかじめ
セットしておくものとする（ただし、ユーザーが使用条
件に合わせて変更することも可能にしておく）。したが
って、例えば２５６Ｘ２５６画素の視野の中で、半径が
５０画素の円周がどのくらいばらつきが出るかは、この
データファイルより計算することができる。一般に、工
業部品は直線や円などの基本的なパターンで構成されて
いるものが多いが、中には任意形状をした部分をもつ部
品もあるし、また個体差の大きい部品や周囲条件が標準
でない場合もある。これらは標準的に予測することがで
きないので、本方式では「オペレータ確認モード」を設
ける（第５図■参照）。このオペレータ確認モードでは
、オペレータがディスプレイに表示された基準データお
よびマージンを見て、実際の部品形状のばらつきと比較
しながら、マウス１０（第２図参照）またはライトペン
のような入力手段を用いてマージンを修正するようにす
る。オペレータ確認モードの終了後、視覚装置４は「特
徴量計算モード」へ移行し、従来と同じように面積・周
囲長・形状係数等の特徴量を計算する（第５図■参照）
。このとき、部品形状のマージンを考慮して、各特徴量
のばらつきの範囲を設定する。なお、以上の操作は全部
品が登録完了する進行なわれる（第５図■参照）。

以下は、従来のロボット用視覚装置で行われているのと
同じようにして、部品の認識および位置・角度の計算等
を行い（第５図■参照）、四ボット制御装置３へ伝送す
る（第５図■参照）。

第６図は本発明の別の実施例を説明するための構成図で
ある。

第１図の実施側と異なるところは、ＣＡＤ装置の代わり
に読取部５１、スキャナ５２およびディスプレィ等から
なる自動図面読取装置がロボット用視覚装置４と接続さ
れている点である。すなわち、酢今ＣＡＤ／ＣＡＭが普
及してきたとはいえ、手書きの図面による工業部品も依
然として多い。

これらの図面による部品の形状をｏｎ−ｌｉｎｅにて視
覚装置へ伝送するためには、部品形状をディジタル化す
る必要があり、そのための手段として、この例では自動
図面読取装置を用いて、設計データを図示されない補助
記憶装置へ格納するようにしている。以後の処理は、前
の実施例と同じである。

さらに、別の実施例として、上記自動図面読取装置の代
わりに、ディジタイザとＣＡ　Ｄ装置を合わせて用いる
システムも考えられる。これを第７図に示す。こ＼に、
５３がディジタイザである。

なお、以上の説明では、ＣＡ　Ｉ）装置または自動図面
読取装置もしくはＣＡＤとディジタイザなどがケーブル
によりロボット用視覚装置に接続される例を示したが、
本発明ではｏｎ−１ｉｎｅ接続することは必須の条件で
はない。つまり、ｏｎ−１ｉｎｅではなく、ＣＡＤ装置
とロボット用視覚装置の間のデータのやりとりを磁気テ
ープまたはフｐツビーディスク等の媒体によるｏｆｆ−
１ｉｎｅのやりとりでもよい。むしろ、ＣＡＤ装置の設
置されている場所とロボットおよび視覚装置が設置され
ている場所とがかなり離れている場合には、　　ｏｆｆ
−１ｉｎｅでのやりとりの方が実用的である場合もある
。これを第１４図に示す。これは、７０ツビ一媒体５４
を用いた例である。

〔発明の効果〕

本発明によれば、四ボット用視覚装置へ部品データを教
示するに当たり、従来の如きショーウィング方式に代え
てＣＡＤ装置あるいは図面読取装置と連結させるように
したので、次のような点が改善される。

■　従来のショーウィングを用いた方式では、部品のお
かれるあらゆる位置、角度および個体差を考慮して、数
多くのショーウィングをくり返さないとシステムの安定
化がはかれなかったが、本方式では設計データと連結さ
れるため、比較的簡単に部品の登録が完了できる。

■　部品形状のディジタル化に伴う量子化誤差などの本
質的に内在するばらつきについても、従来方式ではショ
ーウィングのくり返しでしか対処できなかったが、本方
式では直線部１円弧部などが設計データから明確にわか
るので、ある程度自動的にばらつきの範囲を推定できる
。

■　周囲条件（照明条件など）の変化や部品の設計変更
に対しても、従来方式ではショーウィングを始めからや
り直さなければならなかったが、本方式では比較的容易
に対処できる。

【図面の簡単な説明】

第１図は本発明の詳細な説明するためのシステム構成図
、第２図はその部分構成図、第３図は基準データファイ
ルの構成を示す構成図、第４図は形状マージンを説明す
るための参照図、第５図は本発明による処理手順を示す
フリーチヤード、第６図は本発明の他の実施例を説明す
るための構成図、第７図は本発明のさらに他の実施例″
ｆ：説明するための構成図、第８図は本発明の別の実施
例を説明するための構成図、第９図は０ボツト用視覚シ
ステ為の従来例を示す構成図、第１０図はＳＲｉアルゴ
リズムによる判別方法を説明するための参照図、第１１
図は量子化誤差を説明するための参照図である。 符号説明 １・・・・・・固体カメラ、２・・・・・・ロボット、
３・・・・・・ロボット制御装置、４・・・・・・視覚
装置、５・・・・・・ＣＡＤ装置、５１・・・・・・読
取部、５２・・・・・・スキャナ、５３・・・・・・デ
ィジタイザ、５４・・・・・・７０ツビ一媒体、６・・
・・・・補助記憶装［，７，９・・・・・・ディスプレ
イ、８・・・・・・キーボード、１０・・・・・・マウ
ス、１１・・・・・・前処理回路、１２・・・・・・２
値化回路、１３・・・・・・処理装置、１３１・・・・
・・連結性解析部、１３２・・・・・・特微量計算部、
１３３・・・・・・特微量判別部、１３４・・・・・・
標準パターン設定部、１４・・・・・・外部インタフェ
イス。 代理人　弁理士　並　木　昭　夫 代理人　弁理士　松　崎　　　　清 第２図 １０マクズ 第３図 ｊＩ５図 第１０図 １２＾計輩 ＮＯ’ＩＥＳ １２＞７ χ３つ計′Ｘ　　　　　　　　　　　　χ３θ計ＷＮＯ
ＹＥＳ　　　　　　　　ＮＯＹＥＳ１３＞１．８０　　
　　　　　　　　１・３４Ｎｏ　　　　　　　　ＹＥＳ シソ・り１　　　　　　　　　　　　　　χ＋Ｑｔす算
　　　　　　０　ｙ）’”　　　　　　　　　　　　　
　　ｒ、＞５．２０第Ｈ図 （４〕

Claims (1)

1. 【特許請求の範囲】 １）各種対象部品を撮像する撮像手段とその撮像信号か
   ら種々の幾何学的特徴量を計測しこれをその標準データ
   と照合することにより対象部品を識別する処理装置とか
   らなりロボツトの目として機能するロボツト用視覚シス
   テムにおいて、該システムに少なくとも前記対象部品の
   設計データを記憶してなる外部装置を接続し、該外部装
   置より取り込まれる各種部品の形状データをそれぞれ直
   線，円を含む基本要素に分割するとともに、予め記憶さ
   れている各基本要素のばらつきデータをもとに部品形状
   全体のばらつきを推定することにより所定のマージンを
   付与した形状特徴量を求め、該形状特徴量を各対象部品
   に対する標準データとして学習することを特徴とするロ
   ボツト用視覚システムにおける学習方法。 ２）特許請求の範囲第１項に記載の学習方法において、
   前記外部装置はＣＡＤ装置または図面読取装置もしくは
   ＣＡＤ装置とデイジタイザとを組み合わせたものからな
   ることを特徴とするロボツト用視覚システムにおける学
   習方法。 ３）特許請求の範囲第１項または第２項に記載の学習方
   法において、前記部品形状全体のばらつきをマウス，ラ
   イトペンを含む入力機器によりデイスプレイ上で修正可
   能にしてなることを特徴とするロボツト用視覚システム
   における学習方法。