JPH05280960A - 欠陥検査装置 - Google Patents
欠陥検査装置Info
- Publication number
- JPH05280960A JPH05280960A JP4103544A JP10354492A JPH05280960A JP H05280960 A JPH05280960 A JP H05280960A JP 4103544 A JP4103544 A JP 4103544A JP 10354492 A JP10354492 A JP 10354492A JP H05280960 A JPH05280960 A JP H05280960A
- Authority
- JP
- Japan
- Prior art keywords
- defect
- layer
- neural network
- shape
- category
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000007547 defect Effects 0.000 title claims abstract description 142
- 238000007689 inspection Methods 0.000 title claims description 32
- 238000013528 artificial neural network Methods 0.000 claims abstract description 39
- 230000006870 function Effects 0.000 claims abstract description 24
- 238000012545 processing Methods 0.000 claims description 49
- 238000000034 method Methods 0.000 claims description 48
- 238000005259 measurement Methods 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 37
- 230000008569 process Effects 0.000 description 34
- 230000002950 deficient Effects 0.000 description 17
- 230000008859 change Effects 0.000 description 6
- 230000008602 contraction Effects 0.000 description 6
- 238000003066 decision tree Methods 0.000 description 6
- 238000005429 filling process Methods 0.000 description 5
- 238000012937 correction Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000005316 response function Methods 0.000 description 3
- 238000004804 winding Methods 0.000 description 3
- 229910000831 Steel Inorganic materials 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 239000002985 plastic film Substances 0.000 description 2
- 229920006255 plastic film Polymers 0.000 description 2
- 239000010959 steel Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 238000002945 steepest descent method Methods 0.000 description 1
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
Abstract
(57)【要約】
【目的】 欠陥の形状のカテゴリを識別する欠陥検査装
置において、学習デ−タを用いて学習を行うことによ
り、短時間の内に適切な欠陥識別アルゴリズムが得られ
るようにする。 【構成】 欠陥の少くとも長さと幅と面積とを含む特徴
量を求め、この特徴量を入力として欠陥の形状のカテゴ
リを識別するニューラルネットワークを備える。ニュー
ラルネットワークは3層構造とし、入力層のユニット数
を少くとも長さ、幅、面積を含む特徴量を成分とする特
徴ベクトルの次元数に、中間層のユニット数を特徴空間
上での識別平面数に、出力層のユニット数を形状のカテ
ゴリ数にそれぞれ一致させる。更に欠陥の等級識別にニ
ューラルネットワークを用いてもよい。教師信号をメン
バーシップ関数により求めた確信度で与え、識別結果に
このメンバーシップ関数により決まる確信度を付加する
ようにしてもよい。
置において、学習デ−タを用いて学習を行うことによ
り、短時間の内に適切な欠陥識別アルゴリズムが得られ
るようにする。 【構成】 欠陥の少くとも長さと幅と面積とを含む特徴
量を求め、この特徴量を入力として欠陥の形状のカテゴ
リを識別するニューラルネットワークを備える。ニュー
ラルネットワークは3層構造とし、入力層のユニット数
を少くとも長さ、幅、面積を含む特徴量を成分とする特
徴ベクトルの次元数に、中間層のユニット数を特徴空間
上での識別平面数に、出力層のユニット数を形状のカテ
ゴリ数にそれぞれ一致させる。更に欠陥の等級識別にニ
ューラルネットワークを用いてもよい。教師信号をメン
バーシップ関数により求めた確信度で与え、識別結果に
このメンバーシップ関数により決まる確信度を付加する
ようにしてもよい。
Description
【0001】
【産業上の利用分野】本発明は、検査対象を走査して得
られる画像信号を用いて欠陥の形状や等級を識別する欠
陥検査装置に関するものである。
られる画像信号を用いて欠陥の形状や等級を識別する欠
陥検査装置に関するものである。
【0002】
【従来の技術】鋼板やプラスチックフィルムや紙などの
表面を光学的に走査して、その表面のキズあるいは内部
の欠陥等を検出する欠陥検査装置が公知である。ここに
従来は検査対象を走査して得た画像信号を予め設定され
たしきい値と比較し、画像信号がこのしきい値を超える
時又は小さい時に欠陥であると判断していた(例えば特
願平3−60754号等参照)。
表面を光学的に走査して、その表面のキズあるいは内部
の欠陥等を検出する欠陥検査装置が公知である。ここに
従来は検査対象を走査して得た画像信号を予め設定され
たしきい値と比較し、画像信号がこのしきい値を超える
時又は小さい時に欠陥であると判断していた(例えば特
願平3−60754号等参照)。
【0003】また検出した欠陥の形状や種類などを判別
できるようにした装置も提案されている。例えば欠陥か
ら得られる特徴量を基に欠陥の判別論理を構築し、これ
によって欠陥の種類を判別するものである。
できるようにした装置も提案されている。例えば欠陥か
ら得られる特徴量を基に欠陥の判別論理を構築し、これ
によって欠陥の種類を判別するものである。
【0004】
【従来技術の問題点】しかしこの場合には、欠陥の特徴
量から期待される判別結果を得るための判別論理を人間
が試行錯誤的に構築しなければならず、適切な論理を構
築するためには、多大な手間を必要とした。
量から期待される判別結果を得るための判別論理を人間
が試行錯誤的に構築しなければならず、適切な論理を構
築するためには、多大な手間を必要とした。
【0005】
【発明の目的】従って本発明は、学習デ−タを用いて学
習を行うことにより、短時間の内に適切な欠陥識別アル
ゴリズムが得られるようにした欠陥検査装置を提供する
ことを目的とする。
習を行うことにより、短時間の内に適切な欠陥識別アル
ゴリズムが得られるようにした欠陥検査装置を提供する
ことを目的とする。
【0006】
【発明の構成】本発明によればこの目的は、検査対象を
走査して得た画像信号を微分フィルタを含む空間フィル
タリング処理した微分画像を用いて検査対象の欠陥を含
む領域を抽出し、欠陥の形状のカテゴリを識別する欠陥
検査装置において、前記欠陥の少くとも長さと幅と面積
とを含む特徴量を求める特徴量計測処理手段と、前記特
徴量を入力として欠陥の形状のカテゴリを識別するニュ
ーラルネットワークとを備えることを特徴とする欠陥検
査装置により達成される。
走査して得た画像信号を微分フィルタを含む空間フィル
タリング処理した微分画像を用いて検査対象の欠陥を含
む領域を抽出し、欠陥の形状のカテゴリを識別する欠陥
検査装置において、前記欠陥の少くとも長さと幅と面積
とを含む特徴量を求める特徴量計測処理手段と、前記特
徴量を入力として欠陥の形状のカテゴリを識別するニュ
ーラルネットワークとを備えることを特徴とする欠陥検
査装置により達成される。
【0007】すなわち欠陥の形状識別にニューラルネッ
トワークを用いたものである。ここにこのニューラルネ
ットワークは、3層構造とし、入力層のユニット数を少
くとも長さ、幅、面積を含む特徴量を成分とする特徴ベ
クトルの次元数に一致させ、中間層のユニット数を特徴
空間上での識別平面数に一致させ、出力層のユニット数
を形状のカテゴリの数に一致させたものである。
トワークを用いたものである。ここにこのニューラルネ
ットワークは、3層構造とし、入力層のユニット数を少
くとも長さ、幅、面積を含む特徴量を成分とする特徴ベ
クトルの次元数に一致させ、中間層のユニット数を特徴
空間上での識別平面数に一致させ、出力層のユニット数
を形状のカテゴリの数に一致させたものである。
【0008】更に欠陥の等級識別にニューラルネットワ
ークを用いる。この場合もニューラルネットワークを3
層構造とし、入力層のユニット数を少くとも欠陥の面積
と濃度情報を含む特徴量を成分とする特徴ベクトルの次
元数に、中間層のユニット数をこの特徴ベクトルの特徴
空間上での識別平面数に、出力層のユニット数を等級の
カテゴリ数にそれぞれ一致させるものである。
ークを用いる。この場合もニューラルネットワークを3
層構造とし、入力層のユニット数を少くとも欠陥の面積
と濃度情報を含む特徴量を成分とする特徴ベクトルの次
元数に、中間層のユニット数をこの特徴ベクトルの特徴
空間上での識別平面数に、出力層のユニット数を等級の
カテゴリ数にそれぞれ一致させるものである。
【0009】なおニューラルネットワークの学習時に与
える教師信号をメンバーシップ関数により求めた確信度
で与え、形状あるいは等級のカテゴリの識別結果にこの
メンバーシップ関数により決まる確信度を付加するよう
にしてもよい。
える教師信号をメンバーシップ関数により求めた確信度
で与え、形状あるいは等級のカテゴリの識別結果にこの
メンバーシップ関数により決まる確信度を付加するよう
にしてもよい。
【0010】
【実施例】図1は本発明の第1の実施例のブロック図、
図2はその一部の詳細ブロック図、図3は閾値TH1の
決定法の一例の説明図、図4は閾値TH2の決定法の一
例の説明図、図5は閾値TH3の説明図である。
図2はその一部の詳細ブロック図、図3は閾値TH1の
決定法の一例の説明図、図4は閾値TH2の決定法の一
例の説明図、図5は閾値TH3の説明図である。
【0011】図1において、符号10は鋼板、紙、プラ
スチックフィルムなどの検査対象であり、この検査対象
10は供給ロール12から巻取りロール14に送られ
る。この巻取りロール14は巻取りモータ16により駆
動される。この検査対象10の送り中にフライングスポ
ット方式による画像検出手段18によって表面の画像が
読取られる。
スチックフィルムなどの検査対象であり、この検査対象
10は供給ロール12から巻取りロール14に送られ
る。この巻取りロール14は巻取りモータ16により駆
動される。この検査対象10の送り中にフライングスポ
ット方式による画像検出手段18によって表面の画像が
読取られる。
【0012】この画像検出手段18は、レーザー光源2
0から射出されるレーザ光からなる走査ビームLを、モ
ータ22により回転される回転ミラー(ポリゴナルミラ
ー)24によって検査対象10の幅方向に一定の速度で
走査(主走査)する一方、検査対象10の表面による反
射光を受光ロッド26によって一対の受光器28(28
a、28b)に導いて受光するものである。すなわち受
光ロッド26は走査ビームLの主走査ライン30に近接
してこれに平行に配設され、反射光を受光すると受光ロ
ッド26の内面で全反射させてその両端に導き、フォト
マルチプライヤ(光電子増倍管)などの受光器28によ
り受光量が検出される。
0から射出されるレーザ光からなる走査ビームLを、モ
ータ22により回転される回転ミラー(ポリゴナルミラ
ー)24によって検査対象10の幅方向に一定の速度で
走査(主走査)する一方、検査対象10の表面による反
射光を受光ロッド26によって一対の受光器28(28
a、28b)に導いて受光するものである。すなわち受
光ロッド26は走査ビームLの主走査ライン30に近接
してこれに平行に配設され、反射光を受光すると受光ロ
ッド26の内面で全反射させてその両端に導き、フォト
マルチプライヤ(光電子増倍管)などの受光器28によ
り受光量が検出される。
【0013】各受光器28が出力する画像信号はプリア
ンプ、メインアンプで増幅され、また波形整形されてア
ナログ画像信号a1 、a2 となる。各信号a1 、a2 に
は、連続する異なる主走査ライン30に対応する信号
が、時間軸方向に一定時間毎に現れている。
ンプ、メインアンプで増幅され、また波形整形されてア
ナログ画像信号a1 、a2 となる。各信号a1 、a2 に
は、連続する異なる主走査ライン30に対応する信号
が、時間軸方向に一定時間毎に現れている。
【0014】各信号a1 、a2 は走査ビームLの主走査
ライン30上の走査位置から遠くなるとレベルが低下
し、反対に走査位置に近くなるとレベルが上昇するよう
に変化する。そこでこの実施例では、両信号a1 、a2
は加算手段32で加算され、主走査ライン30上の走査
位置の変化による影響が除去されて信号a3 となる。こ
の信号a3 は、走査ビームLの検査対象10表面への入
射角度の変化、検査対象10表面のむらや地合い、導光
ロッド26内での減衰などのために、その出力レベルが
大きく湾曲している。
ライン30上の走査位置から遠くなるとレベルが低下
し、反対に走査位置に近くなるとレベルが上昇するよう
に変化する。そこでこの実施例では、両信号a1 、a2
は加算手段32で加算され、主走査ライン30上の走査
位置の変化による影響が除去されて信号a3 となる。こ
の信号a3 は、走査ビームLの検査対象10表面への入
射角度の変化、検査対象10表面のむらや地合い、導光
ロッド26内での減衰などのために、その出力レベルが
大きく湾曲している。
【0015】この加算された信号a3 はA/D変換手段
34においてデジタル信号a4 に変換される。例えば2
56階調の濃度信号a4 に変換される。そしてラインメ
モリ(図示せず)にメモリされる。
34においてデジタル信号a4 に変換される。例えば2
56階調の濃度信号a4 に変換される。そしてラインメ
モリ(図示せず)にメモリされる。
【0016】A/D変換された信号a4 は濃度変換手段
36で濃度変換され、微分フィルタ38に入力されて空
間フィルタリング処理される。濃度変換手段36は所定
の変換テーブルにより信号a4 を例えば256階調の範
囲内で適切な濃度分布に変換する。微分フィルタ38は
注目画素を中心とする例えば3×3画素領域に所定の重
み係数をもった空間フィルタを重ね、対応する画素同志
の積を求め、これらの総和を出力とするものである。
36で濃度変換され、微分フィルタ38に入力されて空
間フィルタリング処理される。濃度変換手段36は所定
の変換テーブルにより信号a4 を例えば256階調の範
囲内で適切な濃度分布に変換する。微分フィルタ38は
注目画素を中心とする例えば3×3画素領域に所定の重
み係数をもった空間フィルタを重ね、対応する画素同志
の積を求め、これらの総和を出力とするものである。
【0017】これら濃度変換手段36および微分フィル
タ38については、特願平3−60754号等に詳細に
説明されているから、ここでは繰り返さない。なお濃度
変換手段36を省いて信号a4 を直接微分フィルタ38
に入力してもよい。微分フィルタ38で空間フィルタリ
ング処理をした信号a5 は、信号a4 にあった低周波成
分が除去されて欠陥の輪郭が強調されている。そしてこ
の信号a5 は微分画像A0 を形成するものである。
タ38については、特願平3−60754号等に詳細に
説明されているから、ここでは繰り返さない。なお濃度
変換手段36を省いて信号a4 を直接微分フィルタ38
に入力してもよい。微分フィルタ38で空間フィルタリ
ング処理をした信号a5 は、信号a4 にあった低周波成
分が除去されて欠陥の輪郭が強調されている。そしてこ
の信号a5 は微分画像A0 を形成するものである。
【0018】40は欠陥アドレス検出手段であり、例え
ばこの信号a5 を閾値TH0と比較し、a5 >TH0
(またはa5 <TH0)の時に欠陥と判断する。そして
この欠陥を検出すると、この欠陥のアドレスAdが求め
られメモリされる。このアドレスAdは速度検出器(パ
ルスジェネレータ)42、モータ22の回転角から求め
る。なお、信号a5 を欠陥と判断する方法は、ここで述
べた方法に限定されないものとする。
ばこの信号a5 を閾値TH0と比較し、a5 >TH0
(またはa5 <TH0)の時に欠陥と判断する。そして
この欠陥を検出すると、この欠陥のアドレスAdが求め
られメモリされる。このアドレスAdは速度検出器(パ
ルスジェネレータ)42、モータ22の回転角から求め
る。なお、信号a5 を欠陥と判断する方法は、ここで述
べた方法に限定されないものとする。
【0019】以上のようにして欠陥のアドレスAdを求
めるが、この過程は単に欠陥の有無を判定すればよいの
でここに用いる閾値TH0は後記の閾値TH3などに比
べて高く、すなわち欠陥の信号レベルに接近したレベル
に設定され、ノイズによる誤検出を防止している。
めるが、この過程は単に欠陥の有無を判定すればよいの
でここに用いる閾値TH0は後記の閾値TH3などに比
べて高く、すなわち欠陥の信号レベルに接近したレベル
に設定され、ノイズによる誤検出を防止している。
【0020】
【2値化処理手段】一方微分フィルタ38の出力信号a
5 が形成する画像すなわち微分画像A0 は2値化処理手
段42に入力される。この手段42は図2に示すように
第1の閾値TH1と、第2の閾値TH2とから、第3の
閾値TH3を求め、この第3の閾値TH3を用いて信号
a5 を2値化するものである。
5 が形成する画像すなわち微分画像A0 は2値化処理手
段42に入力される。この手段42は図2に示すように
第1の閾値TH1と、第2の閾値TH2とから、第3の
閾値TH3を求め、この第3の閾値TH3を用いて信号
a5 を2値化するものである。
【0021】第1の閾値TH1はこの微分画像の全体の
濃度分布から決めるものであり、例えば図3に示す濃度
のヒストグラムを用いて決めることができる。この図3
で濃度の分布幅がxであれば、これを用いて度数の閾値
N(TH1)を N(TH1)=(全度数)/f(x) により求める。
濃度分布から決めるものであり、例えば図3に示す濃度
のヒストグラムを用いて決めることができる。この図3
で濃度の分布幅がxであれば、これを用いて度数の閾値
N(TH1)を N(TH1)=(全度数)/f(x) により求める。
【0022】ここにf(x)は分布幅xの関数であり、
xの2次関数などで決める。そして度数の閾値N(TH
1)となるヒストグラムの濃度TH1を第1の閾値とす
れば、これは微分画像全体の濃度分布が反映された閾値
となる。なお、このN(TH1)の値は予め実験的に求
めておき、欠陥検出処理の過程では定数として扱っても
よい。
xの2次関数などで決める。そして度数の閾値N(TH
1)となるヒストグラムの濃度TH1を第1の閾値とす
れば、これは微分画像全体の濃度分布が反映された閾値
となる。なお、このN(TH1)の値は予め実験的に求
めておき、欠陥検出処理の過程では定数として扱っても
よい。
【0023】第2の閾値TH2は、注目画素の近傍領域
の濃度平均値から得られるものである。例えば図4に示
すように、注目画素を中心とする3×3の画素の濃度d
の総和Σdn を求め、これを画素数9で割ることにより
求めることができる。
の濃度平均値から得られるものである。例えば図4に示
すように、注目画素を中心とする3×3の画素の濃度d
の総和Σdn を求め、これを画素数9で割ることにより
求めることができる。
【0024】第3の閾値TH3はこれら第1、第2の閾
値TH1およびTH2を用いて決める。例えばkを定数
として TH3=TH1−k(TH1−TH2) により決める。この定数kは地合いの程度などを考慮し
て予め実験的に決めておく。
値TH1およびTH2を用いて決める。例えばkを定数
として TH3=TH1−k(TH1−TH2) により決める。この定数kは地合いの程度などを考慮し
て予め実験的に決めておく。
【0025】2値化処理手段42では、この微分画像A
0 の各画素ごとに決まる第3の閾値TH3を微分画像A
0 の各画素の濃度と比較することにより(比較手段4
4)、2値画像A1 を求める。この2値画像A1 は、微
分画像A0 (信号a5 )の画素濃度がTH3以上の領域
が例えば“1”に、それ以外の領域が例えば“0”にな
った画像であり、本当の欠陥の領域だけでなくノイズに
より欠陥と判定された領域も含むものである。
0 の各画素ごとに決まる第3の閾値TH3を微分画像A
0 の各画素の濃度と比較することにより(比較手段4
4)、2値画像A1 を求める。この2値画像A1 は、微
分画像A0 (信号a5 )の画素濃度がTH3以上の領域
が例えば“1”に、それ以外の領域が例えば“0”にな
った画像であり、本当の欠陥の領域だけでなくノイズに
より欠陥と判定された領域も含むものである。
【0026】この2値化処理手段42の作用を図5によ
ってさらに説明する。図5の(A)は全体の閾値TH1
に対し、注目画素近傍の濃度平均値TH2を重ねて表し
たものであり、両者の差(TH1−TH2)を示す。図
5の(B)はTH1からこの差に定数kを掛けた曲線k
(TH1−TH2)を減算して得たTH3を示す。図5
の(C)は微分画像A0 とこの第3の閾値TH3との関
係を示すものである。
ってさらに説明する。図5の(A)は全体の閾値TH1
に対し、注目画素近傍の濃度平均値TH2を重ねて表し
たものであり、両者の差(TH1−TH2)を示す。図
5の(B)はTH1からこの差に定数kを掛けた曲線k
(TH1−TH2)を減算して得たTH3を示す。図5
の(C)は微分画像A0 とこの第3の閾値TH3との関
係を示すものである。
【0027】この(C)から明らかなように、微分画像
A0 を2値化する第3の閾値TH3は、画像濃度の大局
的な変化に追従して変動し、微分画像A0 の微小な濃度
変化も取り出すことができる。なおここに用いる定数k
は、0に近いほどTH1の影響が大きく、1に近いほど
TH2の影響が大きくなる。従って地合いの汚い工程で
はkを0に近く、地合いのきれいな工程ではkを1に近
く設定するなどのように、工程に応じてこの2値化処理
を変えることが可能である。
A0 を2値化する第3の閾値TH3は、画像濃度の大局
的な変化に追従して変動し、微分画像A0 の微小な濃度
変化も取り出すことができる。なおここに用いる定数k
は、0に近いほどTH1の影響が大きく、1に近いほど
TH2の影響が大きくなる。従って地合いの汚い工程で
はkを0に近く、地合いのきれいな工程ではkを1に近
く設定するなどのように、工程に応じてこの2値化処理
を変えることが可能である。
【0028】
【垂直収縮処理】図2において46は垂直収縮処理手段
である。この手段46は2値画像A1 を垂直方向、すな
わち副走査方向(検査対象10の送り方向)に収縮し、
縦方向の線状欠陥の形状を損なうことなく欠陥部分と背
景ノイズとの連結を除去するものである。
である。この手段46は2値画像A1 を垂直方向、すな
わち副走査方向(検査対象10の送り方向)に収縮し、
縦方向の線状欠陥の形状を損なうことなく欠陥部分と背
景ノイズとの連結を除去するものである。
【0029】図6はこの手段46のアルゴリズムを説明
する図、図7はその処理の前後の画像を示す図である。
この処理では、処理対象画素X0 の上下2近傍画素X
1 、X2 の値を用いて、処理後の画素X0 ′を、X0 、
X1 、X2 のいずれかが0の時には0に、全てが1の時
に1にする。ここで“1”は欠陥がある画素を、“0”
は背景となる画素とする。この処理を全ての画素に対し
てラスタ走査順に行う。この結果図7に示すように縦方
向に連続する領域のみが残り、横方向にのびる領域や点
状のノイズが消去される。
する図、図7はその処理の前後の画像を示す図である。
この処理では、処理対象画素X0 の上下2近傍画素X
1 、X2 の値を用いて、処理後の画素X0 ′を、X0 、
X1 、X2 のいずれかが0の時には0に、全てが1の時
に1にする。ここで“1”は欠陥がある画素を、“0”
は背景となる画素とする。この処理を全ての画素に対し
てラスタ走査順に行う。この結果図7に示すように縦方
向に連続する領域のみが残り、横方向にのびる領域や点
状のノイズが消去される。
【0030】なおこの垂直収縮処理は、前記2値化処理
手段のkの値が0に近い場合や欠陥が縦方向だけでなく
横方向にも多く発生する場合には省いてもよい。また以
上の説明では縦方向に連続する欠陥を残すものとしてい
るが、横方向(主走査方向)に連続する欠陥を残す場合
には図6の上下2近傍X1 、X2 に代えて、左右2近傍
の画素を用いて同様な処理を行えばよい。
手段のkの値が0に近い場合や欠陥が縦方向だけでなく
横方向にも多く発生する場合には省いてもよい。また以
上の説明では縦方向に連続する欠陥を残すものとしてい
るが、横方向(主走査方向)に連続する欠陥を残す場合
には図6の上下2近傍X1 、X2 に代えて、左右2近傍
の画素を用いて同様な処理を行えばよい。
【0031】
【欠陥領域抽出手段】図1、2において48は欠陥領域
抽出手段である。この手段48は、2値化処理で得られ
た2値画像A1 から、前記欠陥アドレス検出手段40で
得た欠陥のアドレスAdが含まれる連続領域を抽出す
る。そして2値画像A1 のうち、このアドレスAdが含
まれていない領域は欠陥でないとして除去するものであ
る。
抽出手段である。この手段48は、2値化処理で得られ
た2値画像A1 から、前記欠陥アドレス検出手段40で
得た欠陥のアドレスAdが含まれる連続領域を抽出す
る。そして2値画像A1 のうち、このアドレスAdが含
まれていない領域は欠陥でないとして除去するものであ
る。
【0032】図8はこの処理のアルゴリズム説明図、図
9はこの処理の前後の画像を示す図である。この処理は
次のように行われる。まず欠陥アドレス検出手段40に
より欠陥アドレスAdで指定された画素、すなわち欠陥
信号が発生した画素(欠陥画素)を着目点として以下の
処理を行う。
9はこの処理の前後の画像を示す図である。この処理は
次のように行われる。まず欠陥アドレス検出手段40に
より欠陥アドレスAdで指定された画素、すなわち欠陥
信号が発生した画素(欠陥画素)を着目点として以下の
処理を行う。
【0033】この着目点の座標を記録し、対応する画
素にラベルを付ける。 図8に示した探索順に2値画像A1 内の欠陥画素でか
つまだラベルが付いていない画素を見つける。 見つかったら着目点をその画素に移し、へ戻る。 見つからなかったら着目点を一つ前の着目点に戻し、
へ戻る。
素にラベルを付ける。 図8に示した探索順に2値画像A1 内の欠陥画素でか
つまだラベルが付いていない画素を見つける。 見つかったら着目点をその画素に移し、へ戻る。 見つからなかったら着目点を一つ前の着目点に戻し、
へ戻る。
【0034】〜の手順を、領域中にラベルが付いて
いない画素が見つからなくなるまで繰り返す。この処理
を、すでにラベル付けされた領域以外の領域のアドレス
(Ad)による欠陥信号全てについて行う。この結果2
値画像A1 の複数の領域のうち、欠陥信号を含む全ての
領域を抽出し、他の領域を除去することができる(図
9)。
いない画素が見つからなくなるまで繰り返す。この処理
を、すでにラベル付けされた領域以外の領域のアドレス
(Ad)による欠陥信号全てについて行う。この結果2
値画像A1 の複数の領域のうち、欠陥信号を含む全ての
領域を抽出し、他の領域を除去することができる(図
9)。
【0035】
【形状補正】次にこのように抽出した欠陥を含む領域に
対して、形状補正手段50(図2)による形状補正処理
が施される。この処理は、抽出した領域を後記するよう
に欠陥形状や種類、等級などを認識する際に、処理をし
易くし、認識精度を向上させるために行うものであり、
欠陥領域抽出手段48の出力形式によってはこの手段5
0による処理を省いてもよい。
対して、形状補正手段50(図2)による形状補正処理
が施される。この処理は、抽出した領域を後記するよう
に欠陥形状や種類、等級などを認識する際に、処理をし
易くし、認識精度を向上させるために行うものであり、
欠陥領域抽出手段48の出力形式によってはこの手段5
0による処理を省いてもよい。
【0036】この形状補正手段50は、図2に示すよう
に膨張処理52と、穴埋め処理54と、収縮処理56と
を含む。図10、11、12はそれぞれ膨張処理52、
穴埋め処理54、収縮処理56のアルゴリズムの説明
図、図13はこれら各処理による画像の変化を示す図で
ある。
に膨張処理52と、穴埋め処理54と、収縮処理56と
を含む。図10、11、12はそれぞれ膨張処理52、
穴埋め処理54、収縮処理56のアルゴリズムの説明
図、図13はこれら各処理による画像の変化を示す図で
ある。
【0037】
【膨張処理】膨張処理52は、断片化された近接する複
数の欠陥領域を連続させたり途切れた輪郭を連結させる
ものである。すなわち図10に示すように、処理対象画
素X 0 を中心とする例えば8近傍の画素X1 〜X8 との
関係から、処理後の画素X0′を、X0 〜X8 のいずれ
かが1の時に1に、X0 〜X8 の全てが0の時に0に変
換する。
数の欠陥領域を連続させたり途切れた輪郭を連結させる
ものである。すなわち図10に示すように、処理対象画
素X 0 を中心とする例えば8近傍の画素X1 〜X8 との
関係から、処理後の画素X0′を、X0 〜X8 のいずれ
かが1の時に1に、X0 〜X8 の全てが0の時に0に変
換する。
【0038】なおここで“1”は欠陥がある画素を、
“0”は背景となる画素とする。この処理を各画素ごと
にラスタ走査順に繰り返す。この処理は連続して2回繰
り返すのが望ましい。この結果図13(A)に示す処理
前の画像を(B)に示すように1つの連続した領域にま
とめることができる。
“0”は背景となる画素とする。この処理を各画素ごと
にラスタ走査順に繰り返す。この処理は連続して2回繰
り返すのが望ましい。この結果図13(A)に示す処理
前の画像を(B)に示すように1つの連続した領域にま
とめることができる。
【0039】
【穴埋め処理】穴埋め処理54は、図13の(B)に示
すように画像に穴がある場合に、この穴を埋めるもので
ある。すなわち図11に示すように、背景と同じ“0”
の画素で形成され画像の縁に連続しない領域を穴の領域
と判定し、この穴の領域を欠陥と同じ“1”の画素に変
えるものである。この処理により図13の(B)に示す
穴は(C)に示すように埋められる。
すように画像に穴がある場合に、この穴を埋めるもので
ある。すなわち図11に示すように、背景と同じ“0”
の画素で形成され画像の縁に連続しない領域を穴の領域
と判定し、この穴の領域を欠陥と同じ“1”の画素に変
えるものである。この処理により図13の(B)に示す
穴は(C)に示すように埋められる。
【0040】
【収縮処理】収縮処理56は膨張処理52によって膨張
し肥大化した欠陥の画像を元の大きさに戻すものであ
る。この処理のアルゴリズムは、図12に示すように処
理対象画素X0 を中心とする例えば8近傍の画素X1 〜
X8 との関係から、処理後の画素X0 ′を、X0 〜X8
のいずれかが0の時に0とし、X0 〜X8 の全てが1の
時に1とする変換を行うものである。
し肥大化した欠陥の画像を元の大きさに戻すものであ
る。この処理のアルゴリズムは、図12に示すように処
理対象画素X0 を中心とする例えば8近傍の画素X1 〜
X8 との関係から、処理後の画素X0 ′を、X0 〜X8
のいずれかが0の時に0とし、X0 〜X8 の全てが1の
時に1とする変換を行うものである。
【0041】ここに“1”は欠陥のある画素を、“0”
は背景となる画素を示す。この処理を各画素ごとにラス
タ走査順に繰り返す。この処理は前記膨張処理52の繰
り返し回数と同回数すなわち2回繰り返す。この結果図
13の(D)のように、形状補正された欠陥を含む領域
(欠陥領域)だけが抽出された画像(欠陥画像A2 )が
出力される。
は背景となる画素を示す。この処理を各画素ごとにラス
タ走査順に繰り返す。この処理は前記膨張処理52の繰
り返し回数と同回数すなわち2回繰り返す。この結果図
13の(D)のように、形状補正された欠陥を含む領域
(欠陥領域)だけが抽出された画像(欠陥画像A2 )が
出力される。
【0042】
【画像計測処理】以上のように欠陥領域だけが抽出され
た画像A2 は、画像計測処理手段58に入力され、領域
分割処理60によって欠陥ごとに領域分割され、さらに
特徴量計測処理62によって、分割されたそれぞれの欠
陥の特徴量が求められる。
た画像A2 は、画像計測処理手段58に入力され、領域
分割処理60によって欠陥ごとに領域分割され、さらに
特徴量計測処理62によって、分割されたそれぞれの欠
陥の特徴量が求められる。
【0043】領域分割処理60は、例えば欠陥画像A2
のx軸方向およびy軸方向へ投影された周辺分布情報を
用いて欠陥領域の分布を調べることにより、複数の欠陥
領域を分割する。
のx軸方向およびy軸方向へ投影された周辺分布情報を
用いて欠陥領域の分布を調べることにより、複数の欠陥
領域を分割する。
【0044】
【特徴量計測処理】特徴量計測処理62は、分割された
欠陥領域ごとの面積、長さ、幅、方向、濃度平均値、極
性(正または負)等の特徴量を求める。図14および図
15はこれらの特徴量の概念を示すものである。図14
の(A)は欠陥Dの面積を示し、欠陥Dに含まれる画素
数を計測する。長さは、図14(B)のように欠陥Dの
絶対最大長から求める。幅は、図14(C)のようにこ
の(B)で求めた最大長に垂直な方向での最大幅から求
める。
欠陥領域ごとの面積、長さ、幅、方向、濃度平均値、極
性(正または負)等の特徴量を求める。図14および図
15はこれらの特徴量の概念を示すものである。図14
の(A)は欠陥Dの面積を示し、欠陥Dに含まれる画素
数を計測する。長さは、図14(B)のように欠陥Dの
絶対最大長から求める。幅は、図14(C)のようにこ
の(B)で求めた最大長に垂直な方向での最大幅から求
める。
【0045】方向は、図14(D)に示すように垂直フ
ィレ径と水平フィレ径とを比較することにより、 (垂直フィレ径)≧(水平フィレ径)なら縦 (垂直フィレ径)<(水平フィレ径)なら横 と判定する。
ィレ径と水平フィレ径とを比較することにより、 (垂直フィレ径)≧(水平フィレ径)なら縦 (垂直フィレ径)<(水平フィレ径)なら横 と判定する。
【0046】濃度平均値は次のように求める。図15は
この濃度平均値の測定概念を示す。まず欠陥と背景とを
2値化して欠陥領域を抽出し塗り潰した画像すなわち欠
陥画像A2 をマスク画像とする。そして原画像との間で
論理演算を行う。この結果原画像から欠陥部分だけが切
り抜かれた濃淡画像が得られる。ここに原画像は図1の
A/D変換34の出力信号a4による画像や、微分画像
A0 を用いることができる。この欠陥部分の欠陥濃度平
均値と、これ以外の背景部分の背景濃度平均値とを求
め、両者の差を濃度平均値として用いる。すなわち (濃度平均値)=|(欠陥濃度平均値)−(背景濃度平
均値)|
この濃度平均値の測定概念を示す。まず欠陥と背景とを
2値化して欠陥領域を抽出し塗り潰した画像すなわち欠
陥画像A2 をマスク画像とする。そして原画像との間で
論理演算を行う。この結果原画像から欠陥部分だけが切
り抜かれた濃淡画像が得られる。ここに原画像は図1の
A/D変換34の出力信号a4による画像や、微分画像
A0 を用いることができる。この欠陥部分の欠陥濃度平
均値と、これ以外の背景部分の背景濃度平均値とを求
め、両者の差を濃度平均値として用いる。すなわち (濃度平均値)=|(欠陥濃度平均値)−(背景濃度平
均値)|
【0047】なお極性は、これらの欠陥および背景の濃
度平均値を用いて、 (欠陥濃度平均値)−(背景濃度平均値)≧0なら白、 (欠陥濃度平均値)−(背景濃度平均値)<0なら黒 と判定する。
度平均値を用いて、 (欠陥濃度平均値)−(背景濃度平均値)≧0なら白、 (欠陥濃度平均値)−(背景濃度平均値)<0なら黒 と判定する。
【0048】
【画像認識処理】このように欠陥の特徴量が求められる
と、次に画像認識処理手段64においてこの欠陥の形状
を求め、その欠陥の等級を判別して最終的に欠陥に対す
る総合判定を下す。
と、次に画像認識処理手段64においてこの欠陥の形状
を求め、その欠陥の等級を判別して最終的に欠陥に対す
る総合判定を下す。
【0049】
【形状認識処理】欠陥の形状は形状認識処理66により
行われる。この処理66は、ニューラルネットワークに
よる認識法により欠陥形状の大分類を行い、さらに決定
木による認識法により欠陥形状ごとに細分類を行うよう
に、2段階に処理する。
行われる。この処理66は、ニューラルネットワークに
よる認識法により欠陥形状の大分類を行い、さらに決定
木による認識法により欠陥形状ごとに細分類を行うよう
に、2段階に処理する。
【0050】
【ニューラルネットワーク】図16は特徴空間上におけ
る形状のカテゴリ(点、線、面など)の分布を示す図で
ある。ここでは特徴量として「面積」と「幅/長さ」を
用い、これらを軸とする2次元特徴空間を決める。
る形状のカテゴリ(点、線、面など)の分布を示す図で
ある。ここでは特徴量として「面積」と「幅/長さ」を
用い、これらを軸とする2次元特徴空間を決める。
【0051】この特徴空間上に、これらから識別しよう
とする形状のカテゴリを配置する。そして点・面・線の
各カテゴリの境界となる識別平面FP を仮定する。この
例では3つの識別平面FP1、FP2、FP3が存在する。こ
れらの特徴量は、[0,1.0]の範囲内に収めるた
め、正規化定数によって正規化しておく。
とする形状のカテゴリを配置する。そして点・面・線の
各カテゴリの境界となる識別平面FP を仮定する。この
例では3つの識別平面FP1、FP2、FP3が存在する。こ
れらの特徴量は、[0,1.0]の範囲内に収めるた
め、正規化定数によって正規化しておく。
【0052】ニューラルネットワークは、「面積」と
「幅/長さ」の2つの特徴量を入力とし、2次元特徴空
間上で3つの識別平面FP により点・面・線の3つのカ
テゴリの分類を行う。従ってこの場合のニューラルネッ
トワークは、図17に示すように入力層、中間層、出力
層の3層構造として、入力層のユニット数を特徴量すな
わち特徴空間の次元数2とし、中間層のユニット数を識
別平面の数3とし、出力層のユニット数を点・線・面の
カテゴリ数3とする。
「幅/長さ」の2つの特徴量を入力とし、2次元特徴空
間上で3つの識別平面FP により点・面・線の3つのカ
テゴリの分類を行う。従ってこの場合のニューラルネッ
トワークは、図17に示すように入力層、中間層、出力
層の3層構造として、入力層のユニット数を特徴量すな
わち特徴空間の次元数2とし、中間層のユニット数を識
別平面の数3とし、出力層のユニット数を点・線・面の
カテゴリ数3とする。
【0053】各層のユニットは図18に示す入出力関係
を持つ。このユニットへの入力が(x1 、x2 …、x
n )であればその入出力動作は次式に従う。 u=Σωi xi −θ …(Σはi=1からnまでの総和
の意) z=f(u) ここにωi は重み係数、θはしきい値、fは応答関数で
ある。またuは内部ポテンシャル(膜電位)である。
を持つ。このユニットへの入力が(x1 、x2 …、x
n )であればその入出力動作は次式に従う。 u=Σωi xi −θ …(Σはi=1からnまでの総和
の意) z=f(u) ここにωi は重み係数、θはしきい値、fは応答関数で
ある。またuは内部ポテンシャル(膜電位)である。
【0054】出力zとなる応答関数f(u)は0と1の
2つの値を許す2値モデル(線形しきい値素子モデル)
としてもよいが、この実施例では図19に示すシグモイ
ド(s字形)関数を用いた連続値形モデルとする。シグ
モイド関数として代表的なものは、 f(u)=1/{1+exp(−2u/u0 )} である。ここにu0 は定数である。
2つの値を許す2値モデル(線形しきい値素子モデル)
としてもよいが、この実施例では図19に示すシグモイ
ド(s字形)関数を用いた連続値形モデルとする。シグ
モイド関数として代表的なものは、 f(u)=1/{1+exp(−2u/u0 )} である。ここにu0 は定数である。
【0055】入力層の2つのユニットには、それぞれ
「面積」、「幅/長さ」の特徴量が入力される。これら
の入力は前記したユニットの入出力関係(図18)に従
って動作し、中間層を経て出力層へ向けて処理されてい
く。出力層の3つのユニットはそれぞれ点・線・面のカ
テゴリに対応しているから、この出力が最大となるユニ
ットを選出し、このユニットが対応するカテゴリを分類
結果とする。なおユニット間の重み係数ωi の値は予め
学習によって得られているものとし、この処理の前に予
めネットワークに設定されているものとする。
「面積」、「幅/長さ」の特徴量が入力される。これら
の入力は前記したユニットの入出力関係(図18)に従
って動作し、中間層を経て出力層へ向けて処理されてい
く。出力層の3つのユニットはそれぞれ点・線・面のカ
テゴリに対応しているから、この出力が最大となるユニ
ットを選出し、このユニットが対応するカテゴリを分類
結果とする。なおユニット間の重み係数ωi の値は予め
学習によって得られているものとし、この処理の前に予
めネットワークに設定されているものとする。
【0056】
【決定木】以上のようにして形状のカテゴリ(点・線・
面)が識別されると、次に決定木を用いて各欠陥形状ご
とに細分類を行う。この決定木は例えば図20の
(A)、(B)、(C)で示す判断ツリーとする。ここ
に各欠陥形状ごとの細分類に使用する特徴量と分類カテ
ゴリは次の表の通りである。
面)が識別されると、次に決定木を用いて各欠陥形状ご
とに細分類を行う。この決定木は例えば図20の
(A)、(B)、(C)で示す判断ツリーとする。ここ
に各欠陥形状ごとの細分類に使用する特徴量と分類カテ
ゴリは次の表の通りである。
【0057】
【表1】
【0058】ツリーの各ノードに予め設定されている閾
値と特徴量とを比較し、その結果に応じて進路を選択し
てゆく。そして終端にたどり着いたら、そこに対応づけ
られているカテゴリを細分類の結果とする。なおこの結
果には、形状のカテゴリに関するものではないが、前記
特徴量計測手段62で欠陥の極性を求めた場合にはこの
極性に関する情報も付加するのが望ましい。
値と特徴量とを比較し、その結果に応じて進路を選択し
てゆく。そして終端にたどり着いたら、そこに対応づけ
られているカテゴリを細分類の結果とする。なおこの結
果には、形状のカテゴリに関するものではないが、前記
特徴量計測手段62で欠陥の極性を求めた場合にはこの
極性に関する情報も付加するのが望ましい。
【0059】
【等級認識処理】欠陥の等級は等級認識処理68により
行われる。この処理68は、検出した欠陥の形状ごとに
例えば欠陥の「面積」、「濃度平均値」の2つの特徴量
を用い、ニューラルネットワークを用いて欠陥の等級を
軽、中、重の3つのレベルに分けることができる。
行われる。この処理68は、検出した欠陥の形状ごとに
例えば欠陥の「面積」、「濃度平均値」の2つの特徴量
を用い、ニューラルネットワークを用いて欠陥の等級を
軽、中、重の3つのレベルに分けることができる。
【0060】図21はここで用いるニューラルネットワ
ークに用いる特徴空間上の等級のカテゴリ(軽・中・
重)の分布を示す図、図22はニューラルネットワーク
の構造図である。この特徴空間は、「面積」と「濃度平
均値」を軸とする2次元空間である。
ークに用いる特徴空間上の等級のカテゴリ(軽・中・
重)の分布を示す図、図22はニューラルネットワーク
の構造図である。この特徴空間は、「面積」と「濃度平
均値」を軸とする2次元空間である。
【0061】この特徴空間上に識別しようとする等級の
カテゴリを配置し、各カテゴリの境界となる識別面FG
を仮定する。この例では2つの識別面FG1、FG2が存在
する。なおここで用いる特徴量は、[0,1.0]の範
囲内に収めるために正規化定数によって正規化してお
く。
カテゴリを配置し、各カテゴリの境界となる識別面FG
を仮定する。この例では2つの識別面FG1、FG2が存在
する。なおここで用いる特徴量は、[0,1.0]の範
囲内に収めるために正規化定数によって正規化してお
く。
【0062】このような識別面FG を導くためのニュー
ラルネットワークの構造は図22のように3層構造とす
ることができる。ここに入力層のユニット数は特徴空間
の次元に対応して2、中間層のユニット数は識別面FG
の数に対応して2、出力層のユニット数をカテゴリ(軽
・中・重)に対応して3とする。
ラルネットワークの構造は図22のように3層構造とす
ることができる。ここに入力層のユニット数は特徴空間
の次元に対応して2、中間層のユニット数は識別面FG
の数に対応して2、出力層のユニット数をカテゴリ(軽
・中・重)に対応して3とする。
【0063】このニューラルネットワークは、6種類用
意される。すなわち前記形状認識処理66における形状
認識用ニューラルネットワーク(図17)で分類された
形状(点・線・面)と、極性(正・負)との組み合わせ
で6つの種類ごとに用意される。従って形状の大分類
(図17)の結果と極性に基づいて、使用する等級のニ
ューラルネットワークを選択する。
意される。すなわち前記形状認識処理66における形状
認識用ニューラルネットワーク(図17)で分類された
形状(点・線・面)と、極性(正・負)との組み合わせ
で6つの種類ごとに用意される。従って形状の大分類
(図17)の結果と極性に基づいて、使用する等級のニ
ューラルネットワークを選択する。
【0064】この選択されたニューラルネットワークに
正規化した特徴量として「面積」「濃度平均値」を入力
すると、この入力は各層の各ユニットにより所定の処理
が施されて出力される。出力層の各ユニットは重・中・
軽の3つのカテゴリに対応しているから、これらのうち
出力が最大となるユニットのカテゴリを等級の判定結果
とする。なお各ユニットの入出力動作は、前記形状の判
定に用いたニューラルネットワークにおいて説明したも
のと同じであり、その重み係数ωi や閾値θ等が異なる
だけであるから、その説明は繰り返さない。
正規化した特徴量として「面積」「濃度平均値」を入力
すると、この入力は各層の各ユニットにより所定の処理
が施されて出力される。出力層の各ユニットは重・中・
軽の3つのカテゴリに対応しているから、これらのうち
出力が最大となるユニットのカテゴリを等級の判定結果
とする。なお各ユニットの入出力動作は、前記形状の判
定に用いたニューラルネットワークにおいて説明したも
のと同じであり、その重み係数ωi や閾値θ等が異なる
だけであるから、その説明は繰り返さない。
【0065】
【重み係数ωi の学習】ここで形状の大分類に用いる形
状認識用ニューラルネットワーク(図17)と、等級の
判定に用いる等級認識用ニューラルネットワーク(図2
2)とで、入力に対して望ましい出力を得るための学習
について説明する。
状認識用ニューラルネットワーク(図17)と、等級の
判定に用いる等級認識用ニューラルネットワーク(図2
2)とで、入力に対して望ましい出力を得るための学習
について説明する。
【0066】ここで用いる学習データは、例えば形状の
分類用の場合には、特徴量計測処理で得た特徴量と、分
類のカテゴリの教師信号との組で形成される。ここに教
師信号はある入力に対してニュ−ラルネットワークが出
力すべき望ましい出力であり、外部から与えられるもの
である。
分類用の場合には、特徴量計測処理で得た特徴量と、分
類のカテゴリの教師信号との組で形成される。ここに教
師信号はある入力に対してニュ−ラルネットワークが出
力すべき望ましい出力であり、外部から与えられるもの
である。
【0067】形状認識用の学習データは例えば次のよう
な形式とすることができる。ここに特徴量は正規化した
ものとする。 {入力データ}={面積、幅/長さ} {教師信号}={0.98,0.02,0.02}…面
欠陥のとき {教師信号}={0.02,0.98,0.02}…線
欠陥のとき {教師信号}={0.02,0.02,0.98}…点
欠陥のとき
な形式とすることができる。ここに特徴量は正規化した
ものとする。 {入力データ}={面積、幅/長さ} {教師信号}={0.98,0.02,0.02}…面
欠陥のとき {教師信号}={0.02,0.98,0.02}…線
欠陥のとき {教師信号}={0.02,0.02,0.98}…点
欠陥のとき
【0068】また等級認識用の学習データは、例えば次
のように決めることができる。 {入力データ}={面積、濃度平均値} {教師信号}={0.98,0.02,0.02}…重
欠陥のとき {教師信号}={0.02,0.98,0.02}…中
欠陥のとき {教師信号}={0.02,0.02,0.98}…軽
欠陥のとき 教師信号に用いている0.98、0.02という値は、
単に1に近いあるいは0に近い値の1つということであ
り、この値に限定されるものではない。なお学習方法と
して、一般的な誤差逆伝播法(Error Back Propagation
Algorithm)を用いる。
のように決めることができる。 {入力データ}={面積、濃度平均値} {教師信号}={0.98,0.02,0.02}…重
欠陥のとき {教師信号}={0.02,0.98,0.02}…中
欠陥のとき {教師信号}={0.02,0.02,0.98}…軽
欠陥のとき 教師信号に用いている0.98、0.02という値は、
単に1に近いあるいは0に近い値の1つということであ
り、この値に限定されるものではない。なお学習方法と
して、一般的な誤差逆伝播法(Error Back Propagation
Algorithm)を用いる。
【0069】形状認識用のニュ−ラルネットワ−クの学
習を行う場合には、適宜の形状(パターン)について入
力データと教師信号とを作り、この入力データを入力し
た時に出力層から得られる出力と教師信号との差を出力
層の全ユニットについて求める。そしてこの差の2乗の
総和によって次の誤差関数Eを定義し、これを学習の評
価に用いる。 E=(1/2)Σi (Ti −Oi )2
習を行う場合には、適宜の形状(パターン)について入
力データと教師信号とを作り、この入力データを入力し
た時に出力層から得られる出力と教師信号との差を出力
層の全ユニットについて求める。そしてこの差の2乗の
総和によって次の誤差関数Eを定義し、これを学習の評
価に用いる。 E=(1/2)Σi (Ti −Oi )2
【0070】ここにTi は出力層のi番目のユニットに
対する教師信号を示し、Oi は出力層の各ユニットの出
力を示す。出力Oi はその時のユニット間の結合の重み
ωiで決まるから、誤差関数Eも重みωi に関して陰に
定義された関数となる。従って各重みωi の値を軸とし
てできる空間を考え、さらにこの誤差関数Eで定義され
る値を高さと考えれば、誤差関数Eはこの重み空間上の
超曲面として“誤差曲面”となる。
対する教師信号を示し、Oi は出力層の各ユニットの出
力を示す。出力Oi はその時のユニット間の結合の重み
ωiで決まるから、誤差関数Eも重みωi に関して陰に
定義された関数となる。従って各重みωi の値を軸とし
てできる空間を考え、さらにこの誤差関数Eで定義され
る値を高さと考えれば、誤差関数Eはこの重み空間上の
超曲面として“誤差曲面”となる。
【0071】この誤差曲面の極小値に達するには、この
誤差曲面上を最も急な傾斜方向へ進めばよい(最急降下
法、gradient decent method)。つまりこの誤差関数E
の勾配(gradient)を求め、その方向に重みωi を修正
していけばよい。
誤差曲面上を最も急な傾斜方向へ進めばよい(最急降下
法、gradient decent method)。つまりこの誤差関数E
の勾配(gradient)を求め、その方向に重みωi を修正
していけばよい。
【0072】grad E=(∂E/∂ω1 ,∂E/∂ω
2 ,…∂E/∂ωn ) であるから、各重みωi を、 Δωi =−ε・∂E/∂ωi (ε>0) ずつ変化させてゆけばよいことになる。このようにωi
を変化させ演算を誤差関数Eの値が十分小さくなるまで
繰り返すものである。
2 ,…∂E/∂ωn ) であるから、各重みωi を、 Δωi =−ε・∂E/∂ωi (ε>0) ずつ変化させてゆけばよいことになる。このようにωi
を変化させ演算を誤差関数Eの値が十分小さくなるまで
繰り返すものである。
【0073】
【メンバーシップ関数による確信度の付加】以上の説明
ではニューラルネットワークによって欠陥形状の大分類
あるいは欠陥の等級を認識する過程を示した。ここで学
習に用いる教師信号Ti としてメンバーシップ関数から
得られる確信度の値に置き換えてもよい。このメンバー
シップ関数は出力層の各ユニットに対して、0と1との
間の1つの値をそのユニットが対応するカテゴリへの帰
属度に応じて割り当てる関数である。
ではニューラルネットワークによって欠陥形状の大分類
あるいは欠陥の等級を認識する過程を示した。ここで学
習に用いる教師信号Ti としてメンバーシップ関数から
得られる確信度の値に置き換えてもよい。このメンバー
シップ関数は出力層の各ユニットに対して、0と1との
間の1つの値をそのユニットが対応するカテゴリへの帰
属度に応じて割り当てる関数である。
【0074】図23はこのメンバーシップ関数の一例を
示す図である。例えばある入力デ−タを持った「面らし
い」形状を考える場合に、「どうも面らしい」という判
定に対する教師信号Ti として、出力層の「面」に対応
するユニットに確信度「0.75」を与え、それ以外の
ユニットには例えば「面とは言い難い」という確信度
「0.25」を与えることができる。この場合には、検
数像の入力デ−タを入力した時に出力層の各ユニットの
出力がこれらの各ユニットの確信度を示すことになる。
従って出力層の全てのユニットの出力を出力結果として
並記することにより、認識結果に確信度を付加すること
ができる。
示す図である。例えばある入力デ−タを持った「面らし
い」形状を考える場合に、「どうも面らしい」という判
定に対する教師信号Ti として、出力層の「面」に対応
するユニットに確信度「0.75」を与え、それ以外の
ユニットには例えば「面とは言い難い」という確信度
「0.25」を与えることができる。この場合には、検
数像の入力デ−タを入力した時に出力層の各ユニットの
出力がこれらの各ユニットの確信度を示すことになる。
従って出力層の全てのユニットの出力を出力結果として
並記することにより、認識結果に確信度を付加すること
ができる。
【0075】
【総合判定処理】このようにして欠陥の形状、等級が判
定されると、次に総合判定処理70により総合判定され
る。この時複数の欠陥の形状が全て同一カテゴリであれ
ばその旨の情報が付加される。さらに同一形状の欠陥が
複数ある場合には、その等級をそれぞれの単一の欠陥に
対する等級より高くすることにより、欠陥個数の影響を
加味するようにしてもよい。
定されると、次に総合判定処理70により総合判定され
る。この時複数の欠陥の形状が全て同一カテゴリであれ
ばその旨の情報が付加される。さらに同一形状の欠陥が
複数ある場合には、その等級をそれぞれの単一の欠陥に
対する等級より高くすることにより、欠陥個数の影響を
加味するようにしてもよい。
【0076】
【発明の効果】請求項1の発明は以上のように、少くと
も欠陥の長さ、幅、面積を含む特徴量を入力とするニュ
ーラルネットワークを形成し、欠陥の形状のカテゴリを
識別するように学習させたものであるから、従来装置の
ように判別論理を試行錯誤的に構築する手間が省け、短
時間で高精度な識別が行えるようになる。
も欠陥の長さ、幅、面積を含む特徴量を入力とするニュ
ーラルネットワークを形成し、欠陥の形状のカテゴリを
識別するように学習させたものであるから、従来装置の
ように判別論理を試行錯誤的に構築する手間が省け、短
時間で高精度な識別が行えるようになる。
【0077】ここで欠陥の少くとも面積と濃度情報とを
含む特徴量を入力として、欠陥の等級(重・中・軽な
ど)を判定するニューラルネットワークを用いれば、欠
陥の等級を高精度に判定することができる(請求項
4)。
含む特徴量を入力として、欠陥の等級(重・中・軽な
ど)を判定するニューラルネットワークを用いれば、欠
陥の等級を高精度に判定することができる(請求項
4)。
【0078】これらに用いるニューラルネットワーク
は、入力層と中間層と出力層とを有する3層構造とし、
入力層のユニット数を入力特徴量を成分とする特徴ベク
トルの次元数に、中間層のユニット数を特徴空間上での
識別平面の数に、出力層のユニット数を識別すべきカテ
ゴリの数にそれぞれ一致させる(請求項2、5)。
は、入力層と中間層と出力層とを有する3層構造とし、
入力層のユニット数を入力特徴量を成分とする特徴ベク
トルの次元数に、中間層のユニット数を特徴空間上での
識別平面の数に、出力層のユニット数を識別すべきカテ
ゴリの数にそれぞれ一致させる(請求項2、5)。
【0079】またこれらのニューラルネットワークでは
重み係数ωi の学習を行う必要があるが、この学習に用
いる教師信号Ti としてメンバーシップ関数による確信
度を与えることができる。すなわち出力層の全てのユニ
ットにそれぞれ0〜1までの間の確信度を適用する。こ
の場合、出力層の各ユニットには認識対象である欠陥の
カテゴリに対する確信度が出力されることになる。従っ
てこれら各ユニットの出力を同時に出力させることによ
り、識別結果に確信度を付加することが可能である(請
求項3、6)。
重み係数ωi の学習を行う必要があるが、この学習に用
いる教師信号Ti としてメンバーシップ関数による確信
度を与えることができる。すなわち出力層の全てのユニ
ットにそれぞれ0〜1までの間の確信度を適用する。こ
の場合、出力層の各ユニットには認識対象である欠陥の
カテゴリに対する確信度が出力されることになる。従っ
てこれら各ユニットの出力を同時に出力させることによ
り、識別結果に確信度を付加することが可能である(請
求項3、6)。
【0080】欠陥の形状認識に用いる欠陥の画像情報と
しては、欠陥を含む領域だけを欠陥を示す値に塗り潰し
た2値化画像を用いるのが望ましい(請求項7)。すな
わち微分画像からまず欠陥の有無だけを判別してそのア
ドレスを求める一方、この微分画像を所定の閾値によっ
て2値化した画像の中で前記の欠陥のアドレスを含む領
域のみを欠陥の値に塗り潰す。このように欠陥の領域を
抽出処理した画像を用いて特徴量を求めるようにすれ
ば、欠陥の形状の認識精度が向上する。
しては、欠陥を含む領域だけを欠陥を示す値に塗り潰し
た2値化画像を用いるのが望ましい(請求項7)。すな
わち微分画像からまず欠陥の有無だけを判別してそのア
ドレスを求める一方、この微分画像を所定の閾値によっ
て2値化した画像の中で前記の欠陥のアドレスを含む領
域のみを欠陥の値に塗り潰す。このように欠陥の領域を
抽出処理した画像を用いて特徴量を求めるようにすれ
ば、欠陥の形状の認識精度が向上する。
【図1】本発明の第1の実施例のブロック図
【図2】その一部の詳細ブロック図
【図3】閾値TH1の決定法の一例の説明図
【図4】閾値TH2の決定法の一例の説明図
【図5】閾値TH3の説明図
【図6】垂直収縮のアルゴリズム説明図
【図7】垂直収縮の概念説明図
【図8】領域抽出のアルゴリズム説明図
【図9】領域抽出処理説明図
【図10】膨張処理のアルゴリズム説明図
【図11】穴埋め処理説明図
【図12】収縮処理のアルゴリズム説明図
【図13】欠陥画像の形状補正過程を示す図
【図14】特徴量の概念を示す図
【図15】濃度平均値の測定法を示す図
【図16】形状のカテゴリの分布を示す図
【図17】形状認識用ニューラルネットワークの構造図
【図18】ユニットの入出力関係を示す図
【図19】応答関数の一例としてのシグモイド関数を示
す図
す図
【図20】決定木の構造を示す図
【図21】等級のカテゴリの分布を示す図
【図22】等級認識用ニューラルネットワークの構造図
【図23】メンバーシップ関数の一例を示す図
【図24】教師信号を確信度で与えることを示す図
10 検査対象 38 微分フィルタ 40 欠陥アドレス検出手段 42 2値化処理手段 48 欠陥領域抽出手段 62 特徴量計測手段 66 形状認識処理手段 68 等級認識処理手段 A0 微分画像 A1 2値画像 A2 欠陥画像
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.5 識別記号 庁内整理番号 FI 技術表示箇所 G06F 15/70 330 N 9071−5L
Claims (7)
- 【請求項1】 検査対象を走査して得た画像信号を微分
フィルタを含む空間フィルタリング処理した微分画像を
用いて検査対象の欠陥を含む領域を抽出し、欠陥の形状
のカテゴリを識別する欠陥検査装置において、前記欠陥
の少くとも長さと幅と面積とを含む特徴量を求める特徴
量計測処理手段と、前記特徴量を入力として欠陥の形状
のカテゴリを識別するニューラルネットワークとを備え
ることを特徴とする欠陥検査装置。 - 【請求項2】 前記ニューラルネットワークは入力層と
中間層と出力層とからなる3層の構造を持ち、前記入力
層のユニット数を前記特徴量を成分とする特徴ベクトル
の次元数に、前記中間層のユニット数を前記特徴ベクト
ルで形成される特徴空間上で前記形状のカテゴリを分類
するために必要な識別平面の数に、前記出力層のユニッ
ト数を前記カテゴリの数にそれぞれ対応させたことを特
徴とする請求項1の欠陥検査装置。 - 【請求項3】 請求項2において、前記ニューラルネッ
トワークの学習時に与える教師信号をメンバーシップ関
数により与え、形状のカテゴリの識別結果に出力層の各
ユニットの出力値を確信度として付け加えることを特徴
とする欠陥検査装置。 - 【請求項4】 検査対象を走査して得た画像信号を微分
フィルタを含む空間フィルタリング処理した微分画像を
用いて検査対象の欠陥を検出し、この欠陥の等級のカテ
ゴリを識別する欠陥検査装置において、前記欠陥の少く
とも面積と濃度情報とを含む特徴量を求める特徴量計測
処理手段と、前記特徴量を入力として欠陥の等級のカテ
ゴリを識別するニューラルネットワークとを備えること
を特徴とする欠陥検査装置。 - 【請求項5】 前記ニューラルネットワークは入力層と
中間層と出力層とからなる3層の構造を持ち、前記入力
層のユニット数を前記特徴量を成分とする特徴ベクトル
の次元数に、前記中間層のユニット数を前記特徴ベクト
ルで形成される特徴空間上で前記等級のカテゴリを分類
するために必要な識別平面の数に、また前記出力層のユ
ニット数を前記カテゴリの数にそれぞれ対応させたこと
を特徴とする請求項4の欠陥検査装置。 - 【請求項6】 請求項5において、前記ニューラルネッ
トワークの学習時に与える教師信号をメンバーシップ関
数により与え、等級のカテゴリの識別結果に出力層の各
ユニットの出力値を確信度として付け加えることを特徴
とする欠陥検査装置。 - 【請求項7】 請求項1〜6のいずれかにおいて、微分
画像に基づいて欠陥のアドレスを求める欠陥アドレス検
出手段と、前記微分画像を2値化処理する2値化処理手
段と、この2値化処理した画像のうち前記欠陥のアドレ
スを含む領域の画素を全て欠陥を示す値に塗り潰す欠陥
領域抽出手段とを備え、前記欠陥領域抽出手段の出力を
用いて欠陥の形状のカテゴリの識別を行うことを特徴と
する欠陥検査装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4103544A JPH05280960A (ja) | 1992-03-30 | 1992-03-30 | 欠陥検査装置 |
| EP93105276A EP0563897A1 (en) | 1992-03-30 | 1993-03-30 | Defect inspection system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4103544A JPH05280960A (ja) | 1992-03-30 | 1992-03-30 | 欠陥検査装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05280960A true JPH05280960A (ja) | 1993-10-29 |
Family
ID=14356786
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4103544A Pending JPH05280960A (ja) | 1992-03-30 | 1992-03-30 | 欠陥検査装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH05280960A (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07318331A (ja) * | 1994-05-25 | 1995-12-08 | Nippon Telegr & Teleph Corp <Ntt> | 3次元物体の認識方法 |
| JPH07333170A (ja) * | 1994-06-08 | 1995-12-22 | Hewtec:Kk | 欠陥パターン種別判定方法およびその装置 |
| JPH10302049A (ja) * | 1997-04-28 | 1998-11-13 | Kumamoto Techno Porisu Zaidan | 画像識別装置および方法および画像識別装置を備えた画像検出識別装置ならびに画像識別用プログラムを記録した媒体 |
| JPH11125578A (ja) * | 1997-10-22 | 1999-05-11 | Asahi Optical Co Ltd | 光学部材検査装置,画像処理装置,及び、コンピュータ可読媒体 |
| JP2001236508A (ja) * | 2000-02-23 | 2001-08-31 | Fujitsu Ltd | 顕著性算出装置及び方法 |
| WO2003098201A1 (fr) * | 2002-05-21 | 2003-11-27 | Jfe Steel Corporation | Procede d'analyse de defauts de surface |
| JP2006038549A (ja) * | 2004-07-26 | 2006-02-09 | Sumitomo Chemical Co Ltd | 等級判定方法 |
| JP2006266934A (ja) * | 2005-03-24 | 2006-10-05 | Sumitomo Electric Ind Ltd | フィルムの欠陥検出方法および欠陥検出装置 |
| JP2008281580A (ja) * | 2008-06-26 | 2008-11-20 | Olympus Corp | 欠陥分類装置 |
| KR20180071405A (ko) * | 2015-11-17 | 2018-06-27 | 케이엘에이-텐코 코포레이션 | 단일 이미지 검출 |
| JP2018142304A (ja) * | 2017-02-28 | 2018-09-13 | 富士通株式会社 | 幾何学的な三次元モデルにおける穿孔された面を識別するコンピュータ実装される方法 |
| WO2019003813A1 (ja) * | 2017-06-29 | 2019-01-03 | 住友化学株式会社 | 特異部検知システム及び特異部検知方法 |
| JP2020071125A (ja) * | 2018-10-31 | 2020-05-07 | Jfeスチール株式会社 | 欠陥判定方法、欠陥判定装置、鋼板の製造方法、欠陥判定モデルの学習方法、及び欠陥判定モデル |
| JP2022508841A (ja) * | 2018-10-19 | 2022-01-19 | ブルーライト アナリティクス, インク. | 光源測定システム、光源測定装置及び光源測定方法 |
| US11850109B2 (en) | 2017-08-25 | 2023-12-26 | Bluelight Analytics, Inc. | System and devices for measuring light sources and methods of use thereof |
-
1992
- 1992-03-30 JP JP4103544A patent/JPH05280960A/ja active Pending
Cited By (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07318331A (ja) * | 1994-05-25 | 1995-12-08 | Nippon Telegr & Teleph Corp <Ntt> | 3次元物体の認識方法 |
| JPH07333170A (ja) * | 1994-06-08 | 1995-12-22 | Hewtec:Kk | 欠陥パターン種別判定方法およびその装置 |
| JPH10302049A (ja) * | 1997-04-28 | 1998-11-13 | Kumamoto Techno Porisu Zaidan | 画像識別装置および方法および画像識別装置を備えた画像検出識別装置ならびに画像識別用プログラムを記録した媒体 |
| JPH11125578A (ja) * | 1997-10-22 | 1999-05-11 | Asahi Optical Co Ltd | 光学部材検査装置,画像処理装置,及び、コンピュータ可読媒体 |
| JP2001236508A (ja) * | 2000-02-23 | 2001-08-31 | Fujitsu Ltd | 顕著性算出装置及び方法 |
| WO2003098201A1 (fr) * | 2002-05-21 | 2003-11-27 | Jfe Steel Corporation | Procede d'analyse de defauts de surface |
| JP2006038549A (ja) * | 2004-07-26 | 2006-02-09 | Sumitomo Chemical Co Ltd | 等級判定方法 |
| JP2006266934A (ja) * | 2005-03-24 | 2006-10-05 | Sumitomo Electric Ind Ltd | フィルムの欠陥検出方法および欠陥検出装置 |
| JP2008281580A (ja) * | 2008-06-26 | 2008-11-20 | Olympus Corp | 欠陥分類装置 |
| KR20180071405A (ko) * | 2015-11-17 | 2018-06-27 | 케이엘에이-텐코 코포레이션 | 단일 이미지 검출 |
| JP2018533748A (ja) * | 2015-11-17 | 2018-11-15 | ケーエルエー−テンカー コーポレイション | 単一画像検出 |
| JP2018142304A (ja) * | 2017-02-28 | 2018-09-13 | 富士通株式会社 | 幾何学的な三次元モデルにおける穿孔された面を識別するコンピュータ実装される方法 |
| WO2019003813A1 (ja) * | 2017-06-29 | 2019-01-03 | 住友化学株式会社 | 特異部検知システム及び特異部検知方法 |
| JPWO2019003813A1 (ja) * | 2017-06-29 | 2019-06-27 | 住友化学株式会社 | 特異部検知システム及び特異部検知方法 |
| US11850109B2 (en) | 2017-08-25 | 2023-12-26 | Bluelight Analytics, Inc. | System and devices for measuring light sources and methods of use thereof |
| JP2022508841A (ja) * | 2018-10-19 | 2022-01-19 | ブルーライト アナリティクス, インク. | 光源測定システム、光源測定装置及び光源測定方法 |
| US12264964B2 (en) | 2018-10-19 | 2025-04-01 | Bluelight Analytics, Inc. | System and devices for measuring light sources and methods of use thereof |
| JP2020071125A (ja) * | 2018-10-31 | 2020-05-07 | Jfeスチール株式会社 | 欠陥判定方法、欠陥判定装置、鋼板の製造方法、欠陥判定モデルの学習方法、及び欠陥判定モデル |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113362326B (zh) | 一种电池焊点缺陷的检测方法及装置 | |
| CN110378879B (zh) | 一种桥梁裂缝检测方法 | |
| EP0563897A1 (en) | Defect inspection system | |
| Valavanis et al. | Multiclass defect detection and classification in weld radiographic images using geometric and texture features | |
| CN109377485A (zh) | 一种方便面包装缺陷机器视觉检测方法 | |
| Sinha et al. | Computer vision techniques for automatic structural assessment of underground pipes | |
| JPH05174183A (ja) | 文書画像傾き検出方式 | |
| KR20160083099A (ko) | 검출 방법 및 그 설비 | |
| CN120431047B (zh) | 一种基于机器视觉的混凝土缺陷检测方法 | |
| Kumar et al. | Flaws classification using ANN for radiographic weld images | |
| CN113313107A (zh) | 一种斜拉桥缆索表面多类型病害智能检测和识别方法 | |
| CN114170168A (zh) | 显示模组缺陷检测方法、系统及计算机可读存储介质 | |
| CN107194393A (zh) | 一种检测临时车牌的方法及装置 | |
| CN117350945A (zh) | 一种基于立体模型搭建的车辆识别方法及系统 | |
| CN111612747B (zh) | 产品表面裂缝快速检测方法及检测系统 | |
| CN116519808A (zh) | 钢轨伤损超声定位识别方法及计算机可读取存储介质 | |
| CN116735723A (zh) | 一种钢轨伤损超声定位识别系统 | |
| CN111950556A (zh) | 一种基于深度学习的号牌印刷质量检测方法 | |
| KR20220087014A (ko) | 철제 금형물 품질 검사를 위한 지능형 전수검사 시스템 | |
| JP3490809B2 (ja) | 金属帯の表面疵検査方法および装置 | |
| JPH05280959A (ja) | 欠陥検査装置 | |
| JPH05280958A (ja) | 欠陥検査装置 | |
| CN112767365A (zh) | 一种探伤方法 | |
| CN118154980A (zh) | 一种金具锈蚀分割评估方法及装置 | |
| CN117593753A (zh) | 一种文档图像背景噪声的去噪方法 |