JPH0449150B2 - - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、iTVカメラ等を用いて対象物体（工
業部品、農水産物、医薬品などの生産物、あるい
は細胞、粉粒体などの自然物）の形状を撮像し、
その形状のもつ特徴量により形状の認識および分
類を行う装置、特に標準パターンの学習方法に関
する。

〔従来の技術〕

この種の形状認識装置の代表的なものとして、
例えば米国のSRi（スタンフオード研究所）で開
発されたVision Moduleがある。これは、主と
してロボツトの目として開発されたもので、対象
となる工業部品の形状を固体カメラで撮像して２
値化処理を施した後、連結性解析により形状の輪
郭を抽出し、形状の特徴量（面積、周囲長、形状
係数など）を計測することにより、あらかじめ学
習させておいた標準パターンとの比較より形状の
認識および分類を行うものである。第１１図はか
かるSRiのVision Moduleを示す機能ブロツク図
である。同図において、１は固体カメラの如き撮
像装置、１１は前処理回路、１２は２値化回路、
１３はマイクロプロセツサの如き処理装置、１４
は外部インタフエイスである。また、処理装置１
３は連結性解析部１３１、特徴量計算部１３２、
特徴量判別部１３３および標準パターン設定部１
３４等から構成されている。

固体カメラ１により撮像された対象パターンの
Video（ビデオ）信号は、前処理回路１１にて
Ａ／Ｄ変換、ノイズ除去等の処理が施され、次の
２値化回路１２にて一定の閾値で２値化処理さ
れ、形状は黒白の２値パターンに変換される。前
処理・２値化処理についてはこの分野の技術にお
いて数多くの方式があり、この部分は本発明の主
目的ではないので、ここでは特に言及しないもの
とする。この対象形状の２値パターンはマイクロ
コンピユータ等の処理装置１３に与えられ、その
連結性解析部１３１により形状の輪郭抽出や分離
を行い、特徴量計算部１３２により形状の面積・
周囲長・穴の数・穴面積・形状係数等の形状識別
パラメータが計算され、また同時に、重心位置・
慣性モーメントなどの位置・方向識別パラメータ
が計算される。対象形状の判別は、一般にSRiア
ルゴリズムと呼ばれる認識手法により、あらかじ
めシヨーウイング（テイーチング）と呼ばれる数
十回の教示動作を作成し、設定部１３４に設定し
た標準パターンとの比較により行われる。形状判
別された結果は、部品名およびその位置・回転角
等の形で外部インタフエース１４により、
RS232Cと称される伝送プロトコル等を用いてロ
ボツト等の制御装置へ伝送される。

第１２図はSRiアルゴリズムにおける形状認識
の手法である、判別木（判別トリー）法の例を説
明するための参照図である。

同図イに示すように、ロツド、シリンダ１（横
向き）、シリンダ２（上向き）、ピストンスリーブ
１（上向き）、ピストンスリーブ２（横向き）、ブレ
ーキキヤリパ１（上向き）、ブレーキキヤリパ２
（横向き）等の部品群があるとき、それぞれの形
状特徴量として、x₁＝周囲長、x₂＝穴の全面積、
x₃＝重心から外側輪郭までの最小距離、x₄＝重心
から外側まで最大距離を用い、同図ロに示すよう
な判別木（binary dicision terr）により、前記
各部品が判別されることになる。

さて、このようなSRiアルゴリズムにおいて
は、前記判別木における各特徴量の各部品に対す
る設定値を決めるために、あらかじめシヨーウイ
ング（Showing）あるいはテイーチング
（Teaching）と呼ばれる教示プロセスを数十回行
うのが一般的である。すなわち、認識させたい部
品をあらかじめ装置に撮像させることにより、各
部品の各特徴量の範囲を算出し、部品の標準パタ
ーンとして記憶するものである。かかるシヨーウ
イングにおいては、各部品がとりうるあらゆる位
置、姿勢およびあらゆる個体差を想定してくり返
し撮像させ、各像における特徴量のばらつきを統
計処理し、平均値とその偏差により各部品の各特
徴量の設定値とするのが普通である。

〔発明が解決しようとする問題点〕

ところで、このような形状認識装置において問
題になるのは、判別木における設定値がすべてシ
ヨーウイングによる撮像データに依存しているこ
とである。したがつて、正規部品の未識別あるい
は誤識別を避けるためには前述したように、ユー
ザーが対象部品のとりうるあらゆる位置、姿勢お
よびあらゆる個体差を想定して撮像をくり返し行
わなければならない。また、対象物体だけの問題
ではなく、周囲の照明条件や個体カメラの位置な
どについても、起りうるあらゆる変動を考慮して
シヨーウイングを行わなければならない。このこ
とが、この種の形状認識装置の生産ラインへの導
入をむずかしくさせ、普及を踏みとどまらせてい
る一因ともなつている。

シヨーウイングが不十分のために、対象形状が
未識別になりやすい理由としては、次のようなこ
とがあげられる。

(1) 一般に、ユーザーが対象形状のおかれるあら
ゆる位置・あらゆる角度およびあらゆる個体差
を考慮して、多数回のシヨーウイングを行うの
は不可能に近い。

(2) 一般に、対象画像は256×256程度のデイジタ
ル画像に変換されるが、このときデイジタル化
に伴う「量子化誤差」が本質的に発生する。例
えば、第１３図イ，ロ，ハの如く、同じ形状の
ものでも走査方向に対して置かれる角度（位
置）によつて、輪郭が徴妙に変化し量子化誤差
が現われる。つまり、この量子化誤差により各
特徴量の値にばらつきが生じることになり、ま
た画像の端点（凸点および凹点）の位置が不安
定になつたりすることが多い。

このような「量子化誤差」を防ぐには、デイ
ジタル化のメツシユを細かくすることが１つの
解決方法として考えられるが、例えば256×256
を512×512もしくは1024×1024のレベルにする
と画素数が飛躍的に増大し、その結果処理時間
が増して、この種の装置に不可欠なリアルタイ
ム性が失われてしまうことになる。

(3) 生産ラインに実際に導入する場合を考える
と、運用中に固体カメラの位置がずれたり、ま
た照明条件が変化したりすることがあり、シヨ
ーウイング直後には正常な識別ができても、運
用中における周囲条件の変化により未識別のケ
ースが増えることもありうる。このようなとき
に、新しい条件のもとで再度シヨーウイングを
やり直せば解決する場合もあるが、前述したよ
うな従来の方式ではシヨーウイングを完全に実
行するのはたいへんな作業であるため、再度の
シヨーウイングは実際にはかなりむずかしいと
いえる。

以上のような状況から、このような形状認識装
置においては、シヨーウイングの簡素化とシステ
ムの信頼性の向上が強く望まれている。したがつ
て、本発明は形状認識装置におけるユーザーによ
るシヨーウイング作業を簡素化して使いやすくす
ると同時に、識別機能を安定させることにより、
システムの信頼性を向上させることを目的とする
ものである。

〔問題点を解決するための手段および作用〕

本発明は、形状認識装置のシヨーウイングにお
ける対象形状のばらつきや不安定さをあらかじめ
予測し、装置内部で自動的に形状特徴量のばらつ
きの範囲を形状に応じた形で算出することによ
り、シヨーウイングの簡素化およびシステムの安
定化をはかるものであり、対象形状の種類および
部分に応じて、次のように対応し予測する。

(1) 端点位置の不定に対する処理 一般に、輪郭上の直線部ではさまれた端点に
ついては、凸点または凹点として位置が明確に
定まる場合が多いが、多少の曲率をもつた端点
については、形状のおかれる位置や角度により
位置が不定になる場合が多い。したがつて、こ
のような部分の端点は、通常の輪郭追跡では形
状特徴として使えないか、または使うとしても
数多くのシヨーウイングをくり返して安定性を
確認してからでないと使えなかつた。本発明で
は、この端点の考え方を輪郭の方向が変化する
ところの「単一画素」ではなく、輪郭の変化が
急峻な領域を「端点候補領域」として位置付け
し、領域として扱うことにより不安定さを解消
するものである。このとき、候補領域の大きさ
は、ユーザーがプログラマブルにて指定できる
ものとする。一般に候補領域の大きさを大きく
すると、不安定さは解消されるかわりに精度が
悪くなる。したがつて、比較的安定な端点に関
しては候補領域は小さくして精度を上げ、不安
定な端点に関しては候補領域を比較的広くとる
ことにより、精度は多少犠牲にして安定性を確
保するようにする。このようにすることによ
り、シヨーウイングを多数回実行しなくても対
象形状の端点位置の安定な検知を可能とする。

(2) 外周部の不定に対する処理（端点を除く） 外周部の不定に対しては、こゝでは対象形状
を以下の２つのケースに分けて対処する。

設計データを利用することができる場合 一般に、形状認識装置を組立ロボツトの目
として用いる場合などでは、対象部品の設計
図または設計データが必ず存在するわけであ
るから、その設計データをもとに外周部を基
準形状（直線、円弧、円など）に分割するこ
とができる。これは、数回のシヨーウイング
で得た部品形状をデイスプレイに表示させ、
作業者（オペレータ）がライトペンまたはマ
ウス等の入力機器を用いて装置に指示するこ
とにより行われる。次に、基準形状は、その
長さや半径、曲率などに応じてそのばらつき
の範囲をあらかじめ推定し、記憶しておくこ
とができる（ただし、標準的な使用条件の場
合）。したがつて、記憶されているばらつき
の数値をもとに、各基準形状のばらつきを自
動的に求めるようにする。次に、これら各基
準形状をそのばらつきを含んだ形で元の部品
形状に再構成することにより、部品形状全体
のばらつきの範囲を計算する。

設計データのない任意形状の場合 工業部品以外のもの（例えば、農水産物、
医薬品、粒子あるいは任意の文字など）にこ
の形状認識装置を適用し、分類・仕分け・計
測などの処理をさせる場合は、設計データと
いうものはもともと存在しないので、前記
のように、オペレータの側で基準形状を指示
することはできない。したがつて、このよう
な場合は、数回のシヨーウイングで得た対象
形状パターンをもとに、全周（輪郭）を直線
近似部分および一定の曲率をもつた曲線近似
部分に分割を行う。以下はのケースと同じ
ように、あらかじめ記憶してある基準形状の
ばらつきデータをもに各直線近似および各曲
線近似部分のばらつきを求め、これらを再構
成することにより元の形状全体のばらつきの
範囲を計算する。

以上、２つのケースに分けて述べたように、本
発明においては、対象形状の外周部のばらつきを
数回のシヨーウイングのデータをもとに求めるこ
とが出来るので、従来のように多数回のシヨーウ
イングをおこなつて安定性を確認する必要がなく
なる。

〔実施例〕

第１図は本発明の実施例を説明するためのシス
テム構成図、第２図は直線性プリミテイブと円弧
性プリミテイブとを説明するための参照図、第３
図は輪郭線追跡方法を説明するための参照図、第
４図は方向コードを説明するための参照図、第５
図はノイズによる影響を説明するための参照図、
第６図は小さな突起の除去例を説明するための参
照図、第７図は方向コードの変化および変化割合
を説明するための参照図、第８図は形状輪郭のマ
ージンを説明するための参照図、第９図は端点の
種類を説明するための参照図、第１０図は端点候
補領域の設定例を説明するための参照図である。

以下、これらの図を参照して本発明を説明す
る。

まず、第１図に示されるように、形状認識装置
本体２には対象形状を表示するためのデイスプレ
イ５およびキーボードおよびマウス６が接続され
ている。なお、マウスの代わりにライトペンを用
いてもよい。さらに、形状認識装置本体２はシリ
アルライン（RS232Cプロトコル等）またはパラ
レルライン（GPIBプロトコル等）のケーブル７
を経て、外部制御装置４に接続されている。外部
制御装置４としては、例えばパソコン、ロボツト
制御装置などがある。また、形状認識装置２のセ
ンサ部として、固体カメラ１が接続されている。
対象形状によつては、固体カメラ１の先に顕微鏡
あるいは望遠レンズ等が接続されることもある。

さて、上記のようなシステム構成のもとで、本
発明においては以下のような手順で対象形状の学
習および登録を行う。

(1) 基準パターン形状の画像取込み これは、従来のシヨーウイングと同じような
手法で対象形状の画像取込みを行い、その形状
の基準パターンとして形状認識装置内のメモリ
の中へ格納する。従来のシヨーウイングと異な
る点は、基本的には１回の画像取込みでよい点
である。従来のように、対象形状をあらゆる位
置、角度に置いてシヨーウイングをくり返す必
要なない。ただし、形状の固体差が大きい対象
物や周囲条件（照明条件など）の特殊性によ
り、１回の画像取込みでは不十分であるとユー
ザー（オペレータ）側で判断した場合は、複数
回の画像取込みを行うことも可能である。

(2) 基準パターン形状の連結性解析および輪郭抽
出 (1)にて取り込んだ対象形状の画像について連
結性解析を行い、輪郭抽出を行う。この部分に
ついては、数多くの手法が考案され実施されて
いるが、こゝでは従来良く知られている手法と
同様の連結性解析および輪郭抽出を行うものと
する。

(3) 対象形状の輪郭の直線性解析および円弧性解
析 対象形状の輪郭について直線性解析および円
弧性解析を行い、直線であると判断される部分
（以下これを直線性プリミテイブと呼ぶ）およ
び円弧であると判断される部分（以下これを円
弧性プリミテイブと呼ぶ）の抽出を行う。第２
図には、直線性プリミテイブL₁〜L₅および円
弧性プリミテイブC₁〜C₄からなる図形の例が
示されている。直線性解析のアルゴリズムその
ものは本発明の主目的ではないが、一般的には
次のように行う。

すなわち、第３図に示すように、形状の輪郭
においてＹ軸方向に最小で、かつＸ軸方向に最
小な位置の画素P_S（別の表現で言うと、ラスタ
スキヤンにおいて最初に形状があらわれるとこ
ろの画素）よりスタートして、反時計回り（矢
印方向）に輪郭追跡していく。このとき、方向
コードを第４図のように定め、方向コードが変
化しない区間を直線性プリミテイブとして判断
し、その端点座標と長さをメモリに格納してお
く。このようにして、元のスタート点まで追跡
を行い、すべての直線性プリミテイブを検出す
る。この場合、一般に形状のノイズ等により、
本来正規な直線部分であつてもその途中で方向
コードが変化してしまうことがあるので、直線
性の解析においては、例えば方向コードの変化
がｎ画素以上続いた場合に直線が変化したと見
なすなどの工夫をしておくものとする。例え
ば、第５図イ，ロは方向コード変化がそれぞれ
ｎ画素以内、ｎ画素以上の例を示しており、し
たがつて同図イの場合は方向変化なしと見な
し、同図ロの場合は方向変化ありと見なすこと
になる。こゝで、ｎの値は、例えば３程度に選
ばれるが、ユーザーが対象形状によりプログラ
マブルであるようにしておく。また、方向コー
ドが変化しない区間がどのくらい続けば直線と
見なすかなついてもデフオルト値（初期値）は
あるものの、ユーザープログラマブルであるよ
うにしておくことが望ましい。

次に、円弧性解析についても数多くの手法が
存在しうるが、本発明においては円弧の正確な
曲率あるいは半径等を求めるのが目的でなな
く、円弧の概略の形状を認識し形状認識のため
のマージンを作成するのが目的であるので、以
下のような概略の円弧検出を行う。すなわち、
前記直線性検出処理のあと、直線と検出されな
かつた部分について円弧の程度を検出する。こ
のとき、対象にするのは比較的大きな円弧であ
り、小さな突起状の凸あるいは凹の部分は検出
の対象にしないようにする。例えば、第６図の
如き３画素以内の変化は検出の対象から除外さ
れる。

さて、第７図イの如き円弧の候補領域につい
て端点（スタート画素P_S）によりスタートし、
輪郭の画素の方向コードを第７図ロ，ハ，ニ，
ホの如く検出する。これは、前記直線性検出の
ときのデータをそのまま用いてもよい。次に、
この方向コードの列（いわゆるチエインコー
ド）において、第７図ヘ，ト，チ，リの如く各
コード間の差分をとりコードの変化列を作成す
る。そして、この変化列をあらかじめメモリの
中に入つている、いろいろな曲率の円弧の変化
列パターンとのマツチングをとることにより、
該当する輪郭がどの円弧に相当するかを検出す
る。この、マツチング処理においては、何画素
単位で方向コードが変化しているかにより、メ
モリに記憶されている方向コード変化率（変化
割合）と曲率との対応づけをおこなう。この場
合も直線性解析と同様に、ノイズによる変動を
考慮に入れてｎ画素以上の連続した変化を方向
コードの変化と見なす。例えば、ｎ＝３程度と
されるが、この数値もユーザープログラマブル
とする。以上のようにして求められた円弧性プ
リミテイブについて、その両端点座標と曲率と
がメモリに記憶される。このとき、両端点座標
が一致するものは円として処理し、その曲率よ
り半径を求め、中心座標を計算する。円の部分
は、上記円弧とは別のメモリ内フアイルに、半
径と中心座標が記憶される。

以上の直線性解析および円弧性解析において
検出されなかつた部分の輪郭については、以降
の処理までそのまま残しておく。

(4) マージンの作成 (3)項により解析された各プリミテイブは、そ
の程度に応じてマージンが自動的に付加され
る。すなわち、直線性プリミテイブはその長さ
によりマージンが変わり、円弧性プリミテイブ
はその曲率に応じてマージンが変わることにな
る。このマージンデータは、主としてデイジタ
ル化による量子化誤差より予測され、形状の回
転などにより形状がどのくらい変化するかを示
すもので、あらかじめメモリ内に設定フアイル
として格納しておくものとする。ただし、ユー
ザーによる変更も可能としておくことが望まし
い。このようにして付加されたマージンは、最
初の形状画像取込みで得られた基準データの輪
郭とともにデイスプレイ（第１図の符号５参
照）へ表示される。これを、第８図にＭとして
示す。

(5) 形状端点の処理 形状の端点（凸点、凹点）については、その
形状により安定な場合と不安定な場合とがあ
り、その程度に応じて「端点候補領域」の設定
を行う。これは、ユーザーがデイスプレイに表
示された形状の端点の様子を見ながら矩形領域
を設定する。すなわち、第９図イ，ロの如く直
線ではさまされた端点P_s1，P_s2は一般に比較的
安定であるが、同図ハの如く180°に近い変化の
ゆるい端点P_u1や0°に近い変化の急峻な端点
（同図ニのP_u2）および若干の曲率をもつた端点
（同図ホのP_u3）は、置かれた角度等によりその
位置が不安定になりがちである。そこで、安定
な端点には第１０図イに示すように、狭い「端
点候補領域」A₁を設定し、不安定な端点には
同図ロの如く、広い「端点候補領域」A₂を設
定する。そして、本発明においては、端点候補
領域にある点はすべて同一の端点であると見な
し、端点の位置は端点候補領域の中心座標と
し、領域の大きさがそのばらつきとして計算さ
れる。したがつて、ユーザーがデイスプレイ上
で端点候補領域を示すことにより、端点のマー
ジンが計算されるので、端点と特徴点間の線分
や、端点同士の線分を形状判別に用いる場合に
も、シヨーウイングをくり返さなくても安定し
て使用することができる。

(6) オペレータ確認モードによる最終調整 以上の(3)〜(5)項の処理により、対象形状にお
ける直線部、円弧部、端点に関するマージンが
計算されるが、本発明における形状認識装置は
さまざまな形状を対象にするので、(3)〜(5)項の
処理ではカバーできない部分が生ずることも考
えられる。そこで、本発明においては、最後に
オペレータ確認モードに設け、ユーザー（オペ
レータ）がデイスプレイ上に表示された対象形
状の基準パターンおよびマージンを見てチエツ
クし、不十分な所はマウス６またはライトペン
にてマージン等を修正できるようにしておく。
このモードは、単に形状にマージンの最終調整
をするという意味だけではなく、例えば工業部
品の形状が製造上のロツト変動によりかなりば
らつくような場合に、どこまでを部品形状とし
て認めるかという「知識」をユーザー（オペレ
ータ）が形状認識装置に教えるという意味で重
要である。

(7) 形状特徴量の偏差の演算 上記(3)〜(6)項により定められた形状の輪郭に
関するマージンにもとづいて、形状特徴量（面
積、周囲長、形状係数など）の偏差を算出す
る。この場合の基準データは、(1)項にておこな
つた１回の画像取込みにもとづくものである
が、複数回の画像取込みを行つた場合はそれぞ
れに対して、形状特徴量の算出がおこなわれ
る。したがつて、各特徴量において最大の偏差
をもつものを最終的な偏差とすればよい。

以上に説明してきたように手順により、本発明
においては基本的には１回程度のシヨーウイング
のみで対象形状の学習を行うことができ、しかも
その範囲をオペレータが確認もしくは変更できる
形式とすることにより、システムの安定性、信頼
性の向上を図ることができる。

〔発明の効果〕

本発明によれば、形状認識装置における形状の
学習を数十回のシヨーウイングにより行つていた
従来方式に比べて、次のような利点がもたらされ
る。

○イ 従来のシヨーウイングは、対象形状のおかれ
るあらゆる位置、角度およびあらゆる個体差を
考慮して数多く（数十回）シヨーウイングをく
り返さないとシステムの安定化がはかれなかつ
たが、本方式では形状の特徴（直線、円弧、端
点など）を解析してあらかじめ予測できるマー
ジンを自動的に付加し、またオペレータかこれ
らのマージンを容易に確認・変更できるような
システムにしているので、１回程度のシヨーウ
イングで形状の学習を済ませることが可能とな
る。

○ロ 対象形状のデイジタル化に伴う量子化誤差な
どの本質的に内在するばらつきについても、従
来方式ではシヨーウイングのくり返しでしか対
処できなかつたが、本方式ではこれらのばらつ
きの基準をメモリ内へ格納しておくことによ
り、形状のばらつきを推定することができる。

○ハ 従来のシヨーウイングによる方式では、不安
定な端点は形状特徴点として用いることができ
なかつたが、本方式では端点を点ではなく領域
として扱うことにより、安定化をはかることが
できる。

○ニ 周囲条件（照明条件など）の変化や部品の設
計変更に対しても、従来方式ではシヨーウイン
グを始めからやり直さなければならなかつた
が、本方式では比較的容易に対処することがで
きる。

【図面の簡単な説明】

第１図はこの発明の実施例を説明するためのシ
ステム構成図、第２図は直線性プリミテイブと円
弧性プリミテイブとを説明するための参照図、第
３図は輪郭追跡方法を説明するための参照図、第
４図は方向コードを説明するための参照図、第５
図はノイズによる影響を説明するための参照図、
第６図は小さな突起の除去例を説明するための参
照図、第７図は方向コードの変化および変化割合
を説明するための参照図、第８図は形状輪郭のマ
ージンを説明するための参照図、第９図は端点の
種類を説明するための参照図、第１０図は端点候
補領域の設定例を説明するための参照図、第１１
図はSRiアルゴリズムによる認識装置を示すブロ
ツク図、第１２図はその判別方法を説明するため
の参照図、第１３図は量子化誤差を説明するため
の参照図である。 符号説明、１……固体カメラ、２……形状認識
部、３……補助記憶装置、４……外部制御装置、
５……デイスプレイ、６……マウス、７……伝送
ライン、１１……前処理回路、１２……２値化回
路、１３……処理装置、１３１……連結性解析
部、１３２……特徴量計算部、１３３……特徴量
判別部、１３４……標準パターン設定部、１４…
…外部インタフエイス。

Claims (1)

1. 【特許請求の範囲】 １ 対象パターンを撮像する撮像手段とその撮像
   信号から種々の幾何学的特徴量を計測しこれを標
   準データと照合することにより対象パターンを認
   識する処理装置とからなるパターン認識装置にお
   いて、前記対象パターンについての数回程度のシ
   ヨーウイングの結果からその形状を端点、直線お
   よび円弧を含む基本要素に分割し、予め記憶され
   ている基本要素のばらつきデータから対象パター
   ン全体の形状のばらつきを予測することにより所
   定のマージンを付与した形状特徴量を求め、さら
   に該形状特徴量の統計処理をして標準データの学
   習を行なうことを特徴とするパターン認識装置に
   おける学習方法。 ２ 特許請求の範囲第１項に記載の学習方法にお
   いて、前記端点についてはその安定性の度合によ
   つて端点候補領域の大きさとして処理することを
   特徴とするパターン認識装置における学習方法。 ３ 特許請求の範囲第１項に記載の学習方法にお
   いて、前記対象パターンの形状から予測し得ない
   ばらつきデータについては、マウスまたはライト
   ペンを含む入力機器によりデイスプレイ上で設定
   可能にしてなることを特徴とするパターン認識装
   置における学習方法。