JPH10214327A - 画像を用いた表面欠陥検出方法 - Google Patents

Abstract

(57)【要約】 【課題】同じ撮像条件で撮影した規準画像と検査画像と
から，工業部品などの被検査物表面に存在する文字や模
様に対しても安定的に良品と不良品とを判別する検査方
法を提供する。 【解決手段】良品規準となるサンプルを選択して規準画
像を取得し(101),同様に検査サンプルの検査画像を取得
し(102),規準画像と検査画像との濃度差分画像を求める
(103）。一方，規準画像のエッジ抽出により領域分割を
行う(104) 。得られた各領域毎に残差の各しきい値に対
する残差分散の変化量を計算し, その最大値を求め(10
5),求めた変化量の最大値をもとに検査サンプルの良否
を判定する(106) 。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は，同じ撮像条件で撮
影した規準画像と検査画像とから，工業部品などの被検
査物表面に存在する文字や模様に対しても安定に良品と
不良品を判別する検査方法に関するものである。

【０００２】

【従来の技術】以下に，従来の代表的な画像を用いた表
面検査方式を説明する。まず，濃度の２値化処理による
検査方式の例を図１０に示す。

【０００３】ここでは，例えば図１０（ａ）の画像中央
部の矩形領域の欠けや膨らみ具合を判定する問題を考え
る。矩形領域の内部と外部は，それぞれ材質的に一様
で，点線部の濃度断面は理想的な条件下では図１０
（ｃ）の左上に示すような，ステップ状のパターンとな
っていると仮定する。

【０００４】２値化処理を行うためのしきい値を選ぶ方
法として，図１０（ｂ）に示すような濃度ヒストグラム
において最も２つの山が分かれる濃度値を選ぶ方法があ
る。しかし，通常は入力としてそのような理想的なステ
ップ状のパターンは得られないため，実際には照明条件
の変動や汚れに起因する濃度変動が重畳したパターンに
対して，図１０（ｃ）の右側に示すようなしきい値で２
値化を行う。

【０００５】ところが，多くの場合，上述のような変動
要因を考慮・予測してしきい値を設定するのは困難であ
るから，その設定を誤ると，図１０（ｄ）のように上記
の濃度変動の影響を直接受けてしまい，斜線部のような
変動成分によって安定した形状検出ができなくなる。よ
って，表面欠陥の検出信頼度が低下する。

【０００６】次に，濃度正規化相関による検査方式の例
を図１１に示す。図１１（ａ）の規準画像（大きさ：Ｉ
×Ｊ画素）に対して，図１１（ｂ）に示すような，検査
対象となる規準ウィンドウ（大きさ：Ｋ×Ｌ画素）の濃
度配列Ｓ _kl（ｋ＝１，…，Ｋ；ｌ＝１，…，Ｌ）の濃度
パターンを，良品のテンプレートとして登録する。図１
１（ｃ）の検査すべき画像パターンに対して，規準ウィ
ンドウを左上隅から右下隅まで走査し，各走査ポイント
（ｉ，ｊ）に対してすべて，以下の演算で相関係数ｒ_ij
（ｉ＝１，…，Ｉ；ｊ＝１，…，Ｊ；−１≦ｒ_ij≦１）
を算出する。

【０００７】

【数１】

【０００８】ただし，Ｔ_ijは検査画像パターンの濃度配
列，上に線の付いたＳは規準ウィンドウ内の濃度平均
値，上に線の付いたＴは検査画像パターン中の規準ウィ
ンドウ内の濃度平均値である。

【０００９】こうして得られた各走査ポイント（ｉ，
ｊ）の相関係数ｒ_ijのうち，景大値を探索し，それが１
に近いほど良品であると判定する。この相関係数ｒ
_ijは，濃度のオフセット変動に対しては不変な値となる
が，照明条件の変動など不均一な濃度変動に対しては，
図１１（ｄ）の規準濃度パターン（太線）と検査画像濃
度パターン（細線）で囲まれた変動成分（斜線部）のた
めに，良品に対しても相関係数ｒ_ijにバラツキが生じて
しまい，誤判定の原因となる。

【００１０】

【発明が解決しようとする課題】図１２に被検査物の画
像パターンの一例を示す。図１２（ａ）は理想的なパタ
ーン例であるが，実際に得られる良品の画像は，図１２
（ｂ）〜（ｄ）のように，ノイズや文字や被検査物固有
の模様といった良品自体のバラツキに起因した濃度変動
の影響を受けたものとなり，図１２（ｅ）に例示したよ
うな不良品の画像に類似してくる。

【００１１】このような状況下で良品と不良品を間違い
なく判別する必要があるが，従来の技術では欠陥の検出
が困難であるため，こうした濃度変動に対して欠陥の検
出信頼度が低下するという問題点があった。

【００１２】本発明は上記の問題点の解決を図り，図１
２に示すような状況において，良品間のバラツキや被検
査物固有の模様が存在しても，良品／不良品を高信頼度
で判別できる検査方法の提供を目的としている。

【００１３】

【課題を解決するための手段】上記目的を達成するため
に，第１の発明は，被検査物のうち規準となる代表的な
良品サンプルを選び，その画像（規準画像という）を撮
影する第１の処理と，前記第１の処理と同じ撮像条件下
で，検査するサンプルの画像（検査画像という）を取得
する第２の処理と，前記規準画像と前記検査画像との濃
度差分画像を求める第３の処理と，前記規準画像のエッ
ジ抽出により領域分割を行う第４の処理と，前記第４の
処理で得られた各領域毎に残差の各しきい値に対する残
差分散の変化量を計算し，その最大値を求める第５の処
理と，前記第５の処理で求めた変化量の最大値をもと
に，当該検査サンプルの良否判定を行う第６の処理とを
有することを特徴とする。

【００１４】また，第２の発明は，前記第１の発明にお
いて，第５の処理が，第３の処理で得られた差分画像を
用いて，第４の処理で求められた各領域毎にしきい値を
変えた場合の当該差分画像の分散の変化量を計算して行
うことを特徴とする。

【００１５】本発明では，まず被検査物の規準画像を良
品のテンプレートとして，それと検査画像との差分画像
を求めることで，正常な部分の文字や模様が及ぼす濃度
変動の影響を抑制し，欠陥のある部分との差異を強調す
る。そして，各しきい値に対する残差の分散の振る舞い
に着目し，残差に関する最適なしきい値を規準画像のエ
ッジに基づき分割された各領域毎に決定することによっ
て，検査の高信頼化を図る。

【００１６】

【発明の実施の形態】本発明の実施の一形態について，
図面に基づいて詳細に説明する。図１に，本発明の実施
の形態に係る一連の基本的な処理手順の一例を示す。本
実施の形態は，第１から第６までの処理段階を有する。

【００１７】第１の処理１０１では，被検査物のサンプ
ルから良品規準となりうる代表的なサンプルを選択し
て，ＣＣＤカメラ等で撮影し規準画像を取得する。第２
の処理１０２では，前記第１の処理１０１において規準
画像を取得した系と同じ照明系と撮像系で，検査したい
サンプルを撮影し，検査サンプルの画像を取得する。

【００１８】第３の処理１０３では，濃度正規化相関マ
ッチングにより前記規準画像と前記検査画像の位置合わ
せ処理を行い，各画素毎に両者の濃度差の絶対値を計算
し，差分画像を求める。

【００１９】第４の処理１０４では，規準画像の微分強
度をしきい値処理してエッジを抽出し，その結果に基づ
いて領域分割を行う。第５の処理１０５では，前記第４
の処理１０４で得られた各領域毎に，残差のしきい値ｔ
ｈを所定の計算により算出した初期値から順に上げてい
き，残差がしきい値ｔｈ以上の最大連結領域の分散をそ
の都度計算する。前しきい値（ｔｈ−１）との分散の減
少量を算出し，その最大値および該最大値を与えるしき
い値ｔｈを求める。

【００２０】第６の処理１０６では，前記第５の処理１
０５で求めた最大値が所定の値よりも大きければ，しき
い値ｔｈを２値化しきい値として採用し，しきい値処理
した２値画像を検出結果として表示する。逆に，求めた
値が小さく該しきい値が設定できなければ良品と判定す
る。

【００２１】以下では，本実施の一形態による上記の各
段階での処理例を具体的に説明する。図２は本実施の形
態で用いた画像入力系の概略図である。図中の２０１は
円環型蛍光灯照明，２０２はＣＣＤカメラ（６４０×４
８０画素），２０３は試料台，２０４は検査用サンプル
を表す。ここでは，切りキズや打痕といったある程度の
長さや面積を有する面的な広がりを有するような表面欠
陥を検出する場合を取り上げた。

【００２２】まず，図２に示すような画像の入力系で被
検査物の規準画像を取得する。次に，検査したいサンプ
ルの画像（検査画像）を撮影する。以下説明のため，規
準画像をＩ_R （ｉ，ｊ）（ｉ＝１，…，６４０；ｊ＝
１，…，４８０），検査画像をＩ_S （ｉ，ｊ）（ｉ＝
１，…，６４０；ｊ＝１，…，４８０）とし，その中で
検査対象となる規準ウィンドウ（大きさ：Ｋ×Ｌ画素）
の濃度パターンをＷ_R （ｋ，ｌ）（ｋ＝１，…，Ｋ；ｌ
＝１，…，Ｌ）とおく。

【００２３】濃度差分画像を求めるために，良品の規準
ウィンドウに対応する検査画像中の濃度パターン領域を
濃度正規化相関マッチングにより探索する。すなわち，
規準ウィンドウを左上隅から右下隅まで走査し，各走査
点（ｉ，ｊ）に対して，すべて，以下の演算で相関係数
ｒ_ij（ｉ＝１，…，Ｉ；ｊ＝１，…，Ｊ）を算出する。

【００２４】

【数２】

【００２５】ただし，上に線の付いたＷ_R は規準ウィン
ドウ内の濃度平均値，上に線の付いたＩ_S は検査画像パ
ターン中の規準ウィンドウ内の濃度平均値である。相関
値ｒ（ｉ，ｊ）の最大値を与える点を（ｉ^* ，ｊ^* ）と
おくと，この走査点において最も位置合わせの精度が出
ているとみなし，差分画像Ｗ_D （ｋ，ｌ）

【００２６】

【数３】

【００２７】を求める。また，次式に示すように規準ウ
ィンドウの各画素毎に１次微分強度Δ（ｋ，ｌ）を求め
る（Ｐｒｅｗｉｔｔのオペレータ）。

【００２８】

【数４】

【００２９】この微分強度Δ（ｋ，ｌ）をしきい値処理
すれば，規準ウィンドウのエッジ画像が得られる。抽出
されたエッジに基づいて，それらエッジやウィンドウ矩
形の線分によって囲まれた閉領域を一つの領域とみな
し，順次ラベリング付けする．こうして分割された各領
域Ａ_i 毎に，残差の最大値ｒｅｓ_i を求める。ただし，
規準画像のエッジ付近はマスキングし，その部分は差分
画像の画素値（残差）を０とした。

【００３０】そして，各領域Ａ_i 毎にしきい値をｔｈで
残差Ｗ_D （ｋ，ｌ）〔（ｋ，ｌ）∈Ａ_i 〕に関して２値
化し，画素レベルの連結性解析を行うと，（残差がｔｈ
以上の）領域が抽出される。その中で面積最大の領域
（最大連結領域）を求め，その領域の分散ｖａｒ（ｔ
ｈ）を計算する（図３参照）。

【００３１】図４は，しきい値を変化させたときの差分
画像の残差分散の推移例を示し，図５は，しきい値を変
化させたときの差分画像の残差分散の，前しきい値のそ
れとの減少量の推移例を示す。なお，図５において負
（の数量）は増加（量）を意味している。

【００３２】しきい値ｔｈを初期値ｔｈ₀ からｒｅｓ_i
まで変化させた時，残差分散は例えば図４のように，し
きい値が小さいと良品のバラツキやノイズの影響で変動
し，さらに上げていくと次第に減少するが，不良品の場
合には欠陥がまとまった領域として抽出される前後で大
きく変化する。

【００３３】つまり，前しきい値ｔｈ−１に対する減少
量δ（ｔｈ） δ（ｔｈ）＝ｖａｒ（ｔｈ−１）−ｖａｒ（ｔｈ） は，例えば図５のように極大値をもつことが予想され
る。そこで，残差分散の減少量を最大にするｔｈを求
め，その値を残差に関する２値化しきい値として採用
し，欠陥検出に用いる。すなわち，判定規則としては， δ（ｔｈ）＜Ｃｏｎｓｔ．ならば，良品； δ（ｔｈ）≧Ｃｏｎｓｔ．ならば，不良品； となる。Ｃｏｎｓｔ．は良否判定のしきい値であり，検
査対象によって異なる。なお，残差しきい値の初期値ｔ
ｈ₀ は，現在着目している領域Ａ_i の，規準画像の濃度
の標準偏差，あるいは検査画像の各領域における残差の
期待値の最小値のいずれか小さい方の数値を用いる。

【００３４】以上のように，本実施の形態では，規準画
像と検査画像を用いて，規準画像のエッジ抽出結果に基
づき領域分割を行い，各領域毎に残差しきい値を変化さ
せたときの両者の差分画像の分散を計算する。そして，
その分散の変化に着目して最適なしきい値を決定する処
理により，検査サンプル表面の文字や固有の模様，良品
間のバラツキに起因する画像の濃度変動が存在する環境
においても，良品／不良品判別の誤り率が小さく信頼度
が高い表面欠陥検出方法が実現できる。

【００３５】

【実施例】本発明の方法を適用して得られた処理例を以
下に示す。図６は１０円硬貨の画像を示す図，図７はキ
ズのついた１０円硬貨の画像を示す図であり，図６中に
設定した１２８×１２８画素の規準ウィンドウ（処理ウ
ィンドウ）に対して正規化相関マッチングにより位置合
わせを行った結果を図７中に矩形（位置合わせ後のウィ
ンドウ）で表している。

【００３６】この２枚の画像から前記ウィンドウに対し
て処理した結果，残差しきい値が２３と求まり（図８参
照），そのしきい値で２値化すれば図９に示すような欠
陥検出の結果が得られる。このように，ウィンドウ中に
含まれる文字部分や模様に左右されることなく，キズだ
けが検出されている。

【００３７】

【発明の効果】以上説明したように，本発明によれば，
被検査物の表面に文字や固有の模様などのテクスチャが
存在しても，良品／不良品判別の誤り率が小さく信頼度
が高い表面欠陥検出方法を実現することが可能となる。

【図面の簡単な説明】

【図１】本発明における処理手順の一例を示すフローチ
ャートである。

【図２】実施の形態で用いた画像入力系の概略図であ
る。

【図３】領域分割から２値化，最大連結領域算出，分散
計算までの処理の概念図である。

【図４】しきい値を変化させたときの差分画像の残差分
散の推移例を示す図である。

【図５】しきい値を変化させたときの差分画像の残差分
散の，前しきい値のそれとの減少量の推移例（負は増
加）を示す図である。

【図６】実施例で用いた１０円硬貨の画像ならびに処理
対象のウィンドウを示す図である。

【図７】実施例で用いたキズのついた１０円硬貨の画像
ならびに位置合わせ後のウィンドウを示す図である。

【図８】実施例で用いたキズのついた１０円硬貨の画像
に関して，しきい値を変化させたときの差分画像の残差
分散の，前しきい値のそれとの減少量の推移を示す図で
ある。

【図９】実施例で用いた図６および図７に示す２枚の画
像から欠陥検出を行った結果を示す図である。

【図１０】従来手法の一つである２値化処理方式を示す
図である。

【図１１】従来手法の一つである濃度正規化相関方式を
示す図である。

【図１２】良品／不良品の検査パターンの画像例を示す
図である。

【符号の説明】

１０１ 第１の処理 １０２ 第２の処理 １０３ 第３の処理 １０４ 第４の処理 １０５ 第５の処理 １０６ 第６の処理

───────────────────────────────────────────────────── フロントページの続き (72)発明者 奥平 雅士 東京都新宿区西新宿三丁目19番２号 日本 電信電話株式会社内

Claims (2)

【特許請求の範囲】
1. 【請求項１】 規準となる良品サンプルの規準画像と検
   査サンプルの検査画像とを用いて，両者の差分画像の分
   散を計算し，残差の２値化しきい値を決定する処理によ
   り，被検査物の表面に文字や模様が存在しても安定に良
   品と不良品を判別する検査方法であって，被検査物のう
   ち規準となる代表的な良品サンプルを選び，その画像を
   撮影する第１の処理と，前記第１の処理と同じ撮像条件
   下で，検査するサンプルの画像を取得する第２の処理
   と，前記規準画像と前記検査画像との濃度差分画像を求
   める第３の処理と，前記規準画像のエッジ抽出により領
   域分割を行う第４の処理と，前記第４の処理で得られた
   各領域毎に残差の各しきい値に対する残差分散の変化量
   を計算し，その最大値を求める第５の処理と，前記第５
   の処理で求めた変化量の最大値をもとに，当該検査サン
   プルの良否判定を行う第６の処理とを有することを特徴
   とする画像を用いた表面欠陥検出方法。
2. 【請求項２】 前記第５の処理は，前記第３の処理で得
   られた差分画像を用いて，前記第４の処理で求められた
   各領域毎に，しきい値を変えた場合の当該差分画像の分
   散の変化量を計算して行うことを特徴とする請求項１記
   載の画像を用いた表面欠陥検出方法。