JPH10143653A - 画像処理システム - Google Patents

Abstract

(57)【要約】 【課題】汚れやノイズを含む画像の領域分割を汚れやノ
イズに影響を受けることなく、高い信頼性でおこなう。 【解決手段】ノイズや汚れをヒストグラム演算を行い特
定し、ノイズあるいは汚れと特定された画素をそれ以外
の画素の画素値で置き換え、２つの領域の境界の候補を
しきい値を越える領域と越えない領域の境界の候補とし
て、前記画像において複数検出した領域の境界の候補の
それぞれにおいて、その近傍に画素値演算区間を設定
し、境界の候補位置で前記画素値演算区間を分割し、そ
れぞれの分割領域のおける画素値の総和の差を求め、前
記候補のそれぞれで求めた差を比較し、最大値を算出し
た境界の候補を２つの領域の境界位置とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、たとえば工業製品
の仕上がり状態の外観検査装置などのように画像を認識
し、画像の特徴量を算出する装置に関し、特に前記画像
がノイズや汚れ等により同一の領域内にあっても画素の
値が大きな分散をもつような場合にも正確な領域分割を
行い、信頼性高く画像の特徴量を抽出する画像処理シス
テムに関する。

【０００２】

【従来の技術】画像の特徴量を抽出する画像処理システ
ムの技術に関しては、たとえば文献、田村秀行監修、日
本工業技術センター編：“コンピュータ画像処理入
門”、総研出版にあるように一般に抽出される画像特徴
としてエッジと領域がある。エッジの検出手法としては
同文献にあるように勾配を求める方法やラプラシアンを
求める方法がある。また、あらかじめ検出する領域の濃
淡値が他の部分とは異なることがわかっている場合には
画像を２値化し、領域を特定する方法がある。また、画
像中にノイズや汚れがある場合にも正確なエッジを検出
できるように、エッジ検出の前にノイズや汚れ等をメデ
ィアンフィルタや平滑化フィルタを用いることで消し去
る手法がある。

【０００３】

【発明が解決しようとする課題】しかし、上記従来のエ
ッジの検出手法は画像中にノイズがある場合には正確に
エッジ位置を検出することは困難であった。このノイズ
に対応するために注目する画素の近傍領域内の画素値の
平均値や和をもとにエッジを求めていた。

【０００４】しかし、広範囲にノイズや汚れが分布して
いた場合には対応が困難であった。上記２値化を行う方
法では、ノイズの影響を受けにくくするため手法として
画像の膨張、収縮フィルタがあるが、この手法も広範囲
の汚れには対応できず、また２値化を行った後の手法で
あるため、２値化前の画像の濃淡値を考慮した領域の決
定を行うことはできなかった。また、上記ノイズを消し
去る方法は特に光切断方式で検出した高さ画像で発生す
る２次反射によるノイズのように画像の局所的な領域に
高い頻度でノイズや汚れが発生していた場合には対応す
ることができなかった。

【０００５】

【課題を解決するための手段】上記の課題は画像のヒス
トグラム演算を行い、ノイズの画素を特定したのち、そ
のノイズの近傍にあるノイズと識別されなかった画素の
画素値によりノイズの画素の画素値を置き換えたのち、
あるしきい値に対して画素値が大なる部分と小なる部分
との境界位置を２つの領域の境界位置の候補とし、それ
ぞれの候補で分割した領域内の画素値の和を求め、しき
い値より画素値が大なる領域の画素値の和からしきい値
より画素値が小なる領域の和を差し引いた値を求め、こ
の値が最大となる境界位置の候補を領域の境界位置と定
めることを特徴とする画像処理システムにより解決され
る。

【０００６】即ち、本発明は、上記課題を解決するため
に、画像の特徴量を抽出する画像処理システムを、被検
査対象の画像を検出する画像検出手段と、この画像検出
手段で検出された画像を格納する画像格納手段と、この
画像格納手段に格納された画像のノイズを除去するノイ
ズ除去手段と、画像格納手段に格納された画像の明るさ
の分布をもとに画像を複数の領域に分割する領域分割手
段とを備えて構成し、ノイズ除去手段が、画像をノイズ
とそれ以外の画素に分類し、画像の各画素を順次注目画
素として選び、注目画素の画素値を注目画素と隣接し、
かつ、ノイズ以外の画素と識別された画素の内の１つの
画素の画素値により置き換えることにより前記画像のノ
イズを除去するようにした。

【０００７】また、上記構成において、画像格納手段は
２種類の同一視野の画像を格納し、ノイズ除去手段は２
種類の画像のうちの１つの画像のノイズを除去し、この
ノイズ除去を行う画像のヒストグラム演算を行い、ノイ
ズ除去を行う画像をノイズとそれ以外の画素に分類し、
ノイズ除去を行う画像の各画素を順次注目画素として選
び、２種類の同一視野の画像のうちノイズ除去を行わな
い画像において注目画素に対応する画素と隣接する画素
のうち、隣接する画素の画素値と注目画素に対応する画
素の画素値の差が小さいものを注目画素と同一の領域に
属する画素として特定し、注目画素と隣接し、かつ同一
の領域に属し、かつノイズ以外の画素と特定された画素
の内の１つの画素の画素値により注目画素の画素値を置
き換えることによりノイズを除去するようにした。

【０００８】更に、画像格納手段は同一視野における対
象物の高さを表す画像と明るさを表す画像を格納し、ノ
イズ除去手段は高さ画像のノイズを除去し、高さ画像の
ヒストグラム演算を行い、高さ画像をノイズとそれ以外
の画素に分類し、高さ画像の各画素を順次注目画素とし
て選び、明るさ画像において注目画素に対応する画素と
隣接する画素のうち、この隣接する画素の画素値と注目
画素に対応する画素の画素値の差が小さいものを注目画
素と同一の領域に属する画素として特定し、注目画素と
隣接して同一の領域に属するノイズ以外の画素と特定さ
れた画素の内の１つ画素の画素値により注目画素の画素
値を置き換えることによりノイズを除去するようにし
た。

【０００９】更に、領域分割手段は２つの領域を含む画
素値演算区間を設定し、画素値演算区間において２つの
領域の境界の候補位置を設定し、この候補位置を順次移
動させながら境界の候補位置において分割された画素値
演算区間のいずれか１つの区間において、この区間に属
する画素数にあらかじめ定めた値を乗じた値からこの区
間に属する画素の画素値の総和を引いた値の絶対値を評
価値として求め、評価値が最大となる境界の候補位置を
２つの領域の境界として特定するようにした。

【００１０】更に、領域分割手段は、画像を予め設けた
しきい値より画素値が大なる部分と小なる部分とに分離
し、この分離された複数の部分における境界位置を求め
る境界位置の候補として定め、この複数求めた境界位置
の候補それぞれにおいて、候補位置の近傍に画素値演算
区間を設定し、この画素値演算区間を境界の候補位置で
分割し、それぞれの分割領域における画素値の総和を求
め、それぞれの分割領域における画素値の総和の差を求
め、この総和の差が最大となる領域における境界の候補
を、求める２つの領域の境界位置とするようにした。

【００１１】

【発明の実施の形態】以下、本発明を図１から図１０に
より説明する。

【００１２】図１は、本発明の全体構成の一例を示した
ものである。図１はプリント基板上に実装された電子部
品のはんだ付け部を検査するはんだ付け検査装置の全体
構成図である。101は画像検出センサーであり、検査対
象プリント基板102の高さ画像と明るさ画像の両方を同
時に検出することができる。検出された画像は画像処理
システム103に転送される。転送された画像は画像格納
メモリ104に格納される。

【００１３】105は格納された高さ画像を106は明るさ画
像を示している。105の高さ画像は高い部分が明るく、
低い部分が暗く検出されている。はんだフィレットは鏡
面状態であるため、必ずしも散乱光が101の画像検出セ
ンサーで受光されないため、この部分の高さを正確に検
出することは困難である。このため、フィレット部分で
はノイズが検出されている。高さ画像のノイズはノイズ
除去手段107によってノイズが除かれる。108はノイズ除
去後の高さ画像である。109は領域分割手段である。ノ
イズ除去後の高さ画像よりリードを検出し、また明るさ
画像よりパッドを検出する。110は欠陥判定手段であ
り、求めたリードとパッドの位置関係よりリードの位置
ずれ検査を行い、またパッド上のパッド高さよりも高い
部分をはんだフィレットとし、はんだフィレットの３次
元形状を基にリードとパッドの接続検査を行う。

【００１４】105はリードの近傍で多くのノイズを検出
している。このため、高い信頼性でリード領域を抽出す
るためにはノイズを除去する必要がある。従来ノイズを
除去する技術としてはメディアンフィルタが知られてい
た。しかし、105の画像のように多くのノイズが発生し
ている場合、図２に示すようにメディアンフィルタでは
逆にノイズ部分を広げてしまいノイズ除去を行うことが
できない。

【００１５】図３はこのように多くのノイズが発生した
場合でもノイズ除去を行うことができるノイズ除去手段
107の一構成例である。301は検出高さ画像である。高さ
画像は図３に示すように複数のウインドウに分割されて
いる。ヒストグラム演算手段302はこの各ウインドウの
ヒストグラム、および画像全体のヒストグラム303の演
算を行う。画像全体のヒストグラムの高さの低い部分に
出現する検出頻度のピークはプリント基板の高さに、高
さの高い部分に出現する検出頻度のピークはリード高さ
に相当する。プリント基板の高さより一定以上低い部
分、あるいはリードの高さより一定以上高い部分はノイ
ズとみなすことができる。

【００１６】次に、ノイズとみなされた画素を除いて、
分割領域のそれぞれのヒストグラムを求める。このそれ
ぞれのヒストグラムにおいて、高い高さに相当する検出
頻度のピークから一定以上高い部分をノイズとみなす。
フィレット付近においてリードと同じ程度の高さのスパ
イクノイズが発生していた場合、全体のヒストグラムの
みからノイズを特定した場合、そのスパイクノイズはノ
イズと特定できない。しかしながら、局所的な領域にお
いてもヒストグラム演算を行ったばあい、フィレット先
端部のウインドウで算出したヒストグラムではリード高
さに相当する高さの検出頻度は極めて少ないため、その
高さはノイズであると特定できる。

【００１７】以上のようにしてノイズとそれ以外の部分
とに画素を分類する。次にノイズ置換手段304によりノ
イズとみなされた画素の画素値をそれ以外の画素の画素
値により置き換える。図４はノイズの画素とその周辺３
×３画素を示したものである。ノイズは局所的に高い頻
度で発生しているため、ノイズと隣接している画素の多
くはノイズの画素である。通常のメディアンフィルタで
は注目する画素に隣接するすべての画素の中間値で注目
画素の画素値を置き換えるため、ノイズを消去させるこ
とができない。ノイズ置換手段304はノイズでないと認
識された画素の中間値によりノイズ画素の画素値を置き
換えるため、ノイズを除去することができる。

【００１８】しかしながら、304のノイズ置換手段は、
２つの領域の境界付近にノイズが発生していた場合、ノ
イズが実際に属する領域とは異なる領域の画素値で置き
換えてしまう可能性がある。図５は図４で示した注目画
素の近傍の３×３画素における領域の分布状態を示して
いる。このとき、領域２では領域１に対してノイズが発
生しやすい性質を持っているため、ノイズ画素は領域２
に属しているにも関わらず、ノイズでないと特定された
画素の中間値で置き換えた場合、領域１に属する画素の
画素値で置き換えられてしまう。このため、領域の拡
大、縮小が発生してしまう。

【００１９】この現象を防ぐ304とは異なったノイズ置
換手段を、図６に示す。601は領域特定手段である。こ
こでは注目ノイズ画素の位置における明るさ画像を参照
し、この画素値を求める。一般に３×３の近傍９画素に
おいて注目画素と同一の領域に属する画素の数は注目画
素を含めて少なくとも４画素である。そこで、３×３の
画素の中から、注目画素の画素値との差が小さい画素値
をもつ４画素を抽出し、これを同一の領域に属する画素
と特定する。その後、その他の画素の画素値と注目画素
の画素値とを比較し、その差の絶対値が一定しきい値以
下であった場合、その画素も同一領域に属する画素と認
識する。602はノイズ置換手段であり、注目ノイズ画素
の近傍３×３画素のうち、ノイズでないと特定され、か
つ注目ノイズ画素と同一の領域に属すると認識された画
素の高さ画像の中間値により画素値を置き換える。明る
さ画像で同一領域に属すると特定された画素の画素値で
置き換えられるため、領域の境界が変化することはな
い。

【００２０】図７は109の領域分割手段の構成例であ
る。今、図８にしめした波形を２つの領域に分割するこ
とを考える。801はパッドの明るさに対応し、802は基板
の明るさに対応している。パッドは基板に対して明るく
検出される。このため、パッドはある一定しきい値より
も明るいと期待することができる。このため、従来はし
きい値により２値化を行い領域を決定する方法が用いら
れていた。また、汚れなどによりパッド部分の領域が分
割されないように２値化の後の、膨張処理と収縮処理等
が用いられてきた。しかし、この処理は801の波形のよ
うに、しきい値よりも値の小さな区間が長い場合には対
応できず、正確な境界位置を検出できなかった。

【００２１】図７の構成例は、このように領域内におい
て画素値が安定しない場合にも正確に境界位置を検出可
能にするものである。701は画素値加算手段であり、図
８のx1からx2までの画素値が順次入力される。701には
そのほかにしきい値と703の出力値が入力される。701は
しきい値からこの入力された画素値を減算し、記憶手段
703に記憶されている値に加え、その値を703に記録す
る。703は始め0に初期化されている。すなわち、703に
は(数１)で示される値が常に保持される。701はカウン
タ704を有しており、あらかじめカウンタにはx1に１を
加えた値をセットしておく。701に画素値が入力される
度、このカウンタはインクリメントされる。

【００２２】

【数１】

【００２３】702は最大値検出手段であり、703の保持す
る値と704のカウンタ値を入力する。702は入力された70
3の値がそれ以前の703からの入力値のなかで最大であっ
た場合に、その最大値とそのときのカウンタ704からの
入力値を記録する。x1からx2までの画素がすべて701に
入力されたとき、702が保持する704からの入力値が領域
の境界位置に相当する。この処理は(数１)においてxをx
1からx2まで変化させたとき、(数１)が最大値となるxを
境界とすることと等しい。

【００２４】図７の構成例がおこなう処理は、領域内の
画素値の総和により境界位置を求めることに等しい。こ
のため、汚れなどの影響を受けにくく正確な境界位置を
検出することが可能である。しかし、たとえば図９の波
形のように、明るい領域の外側にも一定距離以上離れて
いる領域では、明るい領域が存在することがあらかじめ
予想される場合には、図７の構成例では正確な領域の境
界を求めることができない。

【００２５】この場合に、正確な領域の境界を求めるた
めの構成例が、図１０である。画素値は画素値演算手段
1001に１画素ずつ入力される。1001にはこのほかに、i
画素分前に入力された画素値と記憶手段1002の出力値が
入力される。ここではi画素分の位相をずらすためにFIF
Oを用いているがFIFOはあらかじめすべて0に初期化され
ている。1001は入力画素値からi画素分前に入力された
画素値を引き、この値に1002の出力値を加えて1002に出
力する。1002は0に初期化されている。１００２は１０
０１の出力値を記憶し、その値を出力する。ここでiは
任意の自然数であるが、求めようとする、しきい値より
も高い画素値をもつと期待される領域の長さがあらかじ
めわかっている場合はその長さ分の画素数を設定する。

【００２６】1003および1005はそれぞれ1001、1002と同
じ機能をもつ画素値演算手段である。1003には入力され
る画素からi画素分前に入力された画素値と(i+j)画素分
前に入力された画素値と1005の記憶手段からの出力が入
力される。1005は1003の出力値を記憶する。 ここでjは
任意の自然数であるが、しきい値を越えると期待される
領域の外側に隣接したしきい値を越えないと期待される
領域の長さがわかっている場合にはその長さ分の画素数
を設定する。1006は減算機であり、1002の出力から1005
の出力を減じる。1008はカウンターであり、画素値が入
力される度にインクリメントされる。1008はあらかじめ
x1からiを引きそれに1を加えた値に初期化されている。

【００２７】1004は境界位置検出手段であり、入力され
る画素値に対しi画素分前に入力された値が入力され
る。1004はi+1画素分前の画素がしきい値未満でありi画
素分前の画素がしきい値以上であるとき、最大値検出手
段1007にセット信号を出力する。1007は1004からセット
信号が出力されたときに1006の出力結果と1007の保持す
る、それ以前に1006から入力された値の最大値とを比較
し、1006の出力の方が大きかった場合に1007に保持され
ている値を更新するとともに1008のカウンタ値を記録す
る。x1からx2のすべての画素が1001に入力された後1007
に記録されている1008のカウンタからの出力値が領域の
境界となる。

【００２８】図１０の構成は、画素値がしきい値より大
なる画素と小なる画素とが隣接する位置を境界の候補位
置として、(数２)が最大値をとる候補を境界とすること
に等しい。図７で示した構成例と異なり、境界から一定
以上離れた位置の画素値に左右されずに領域の境界を決
定することが可能である。

【００２９】

【数２】

【００３０】iとjはそれぞれ領域の推定された長さであ
るため、この手法は領域全体の画素値の総和をもとに境
界を決定していることになり、比較的広範囲に広がった
ノイズや汚れに影響を受けずエッジ位置を正確に検出す
ることができる。

【００３１】

【発明の効果】本発明により画像処理システムにおいて
汚れやノイズを含む画像の領域分割を汚れやノイズに影
響を受けることなく、高い信頼性でおこなうことが可能
となる。

【図面の簡単な説明】

【図１】本発明による画像処理システムを、はんだ付け
外観検査装置に適用した１実施例を示すブロック図であ
る。

【図２】従来のノイズ除去手段で処理した後のはんだ付
け部高さ画像の例を示す画像である。

【図３】本発明によるノイズ除去手段の１実施例を示す
ブロック図である。

【図４】注目画素に隣接する画素の画素値を説明する画
素の平面図である。

【図５】注目画素近傍の実際の領域を示した画素の平面
図である。

【図６】本発明によるノイズ除去手段の１実施例を示す
ブロック図である。

【図７】本発明による領域分割手段の１実施例を示すブ
ロック図である。

【図８】本発明が領域分割の対象とする画像プロファイ
ルの１例を示す図である。

【図９】本発明が領域分割の対象とする画像プロファイ
ルの１例を示す図である。

【図１０】本発明による領域分割手段の１実施例を示す
ブロック図である。

【符号の説明】

１０１‥‥画像検出センサー １０２‥‥検査対象プリ
ント基板 １０３‥‥画像処理システム １０４‥‥画
像格納メモリ １０５‥‥高さ画像 １０６‥‥明るさ
画像 １０７‥‥ノイズ除去手段 １０８‥‥ノイズ除
去後の高さ画像 １０９‥‥領域分割手段 １１０‥‥欠陥判定手段

Claims (5)

【特許請求の範囲】
1. 【請求項１】被検査対象の画像を検出する画像検出手段
   と、該画像検出手段で検出された前記画像を格納する画
   像格納手段と、該画像格納手段に格納された画像のノイ
   ズを除去するノイズ除去手段と、前記画像格納手段に格
   納された画像の明るさの分布をもとに前記画像を複数の
   領域に分割する領域分割手段とを備えて、前記画像の特
   徴量を抽出する画像処理システムであって、前記ノイズ
   除去手段が、前記画像をノイズとそれ以外の画素に分類
   し、前記画像の各画素を順次注目画素として選び、前記
   注目画素の画素値を前記注目画素と隣接し、かつ、ノイ
   ズ以外の画素と識別された画素の内の１つの画素の画素
   値により置き換えることにより前記画像のノイズを除去
   することを特徴とする画像処理システム。
2. 【請求項２】被検査対象の画像を検出する画像検出手段
   と、該画像検出手段で検出された前記画像を格納する画
   像格納手段と、該画像格納手段に格納された画像のノイ
   ズを除去するノイズ除去手段と、前記画像格納手段に格
   納された画像の明るさの分布をもとに前記画像を複数の
   領域に分割する領域分割手段とを備えて、前記画像の特
   徴量を抽出する画像処理システムであって、前記画像格
   納手段は２種類の同一視野の画像を格納し、前記ノイズ
   除去手段は前記２種類の画像のうちの１つの画像のノイ
   ズを除去し、該ノイズ除去を行う画像のヒストグラム演
   算を行い、前記ノイズ除去を行う画像をノイズとそれ以
   外の画素に分類し、前記ノイズ除去を行う画像の各画素
   を順次注目画素として選び、前記２種類の同一視野の画
   像のうちノイズ除去を行わない画像において前記注目画
   素に対応する画素と隣接する画素のうち、該隣接する画
   素の画素値と前記注目画素に対応する画素の画素値の差
   が小さいものを前記注目画素と同一の領域に属する画素
   として特定し、前記注目画素と隣接し、かつ同一の領域
   に属し、かつノイズ以外の画素と特定された画素の内の
   １つの画素の画素値により前記注目画素の画素値を置き
   換えることを特徴とした画像処理システム。
3. 【請求項３】被検査対象の画像を検出する画像検出手段
   と、該画像検出手段で検出された前記画像を格納する画
   像格納手段と、該画像格納手段に格納された画像のノイ
   ズを除去するノイズ除去手段と、前記画像格納手段に格
   納された画像の明るさの分布をもとに前記画像を複数の
   領域に分割する領域分割手段とを備えて、前記画像の特
   徴量を抽出する画像処理システムであって、前記画像格
   納手段は同一視野における対象物の高さを表す画像と明
   るさを表す画像を格納することと前記ノイズ除去手段は
   前記高さ画像のノイズを除去することと、前記ノイズ除
   去手段は前記高さ画像のヒストグラム演算を行い、前記
   高さ画像をノイズとそれ以外の画素に分類し、前記高さ
   画像の各画素を順次注目画素として選び、前記明るさ画
   像において前記注目画素に対応する画素と隣接する画素
   のうち、該隣接する画素の画素値と前記注目画素に対応
   する画素の画素値の差が小さいものを前記注目画素と同
   一の領域に属する画素として特定し前記注目画素と隣接
   し、かつ同一の領域に属し、かつノイズ以外の画素と特
   定された画素の内の１つ画素の画素値により前記注目画
   素の画素値を置き換えることを特徴とした画像処理シス
   テム。
4. 【請求項４】被検査対象の画像を検出する画像検出手段
   と、該画像検出手段で検出された前記画像を格納する画
   像格納手段と、該画像格納手段に格納された画像のノイ
   ズを除去するノイズ除去手段と、前記画像格納手段に格
   納された画像の明るさの分布をもとに前記画像を複数の
   領域に分割する領域分割手段とを備えて、前記画像の特
   徴量を抽出する画像処理システムであって、前記領域分
   割手段は２つの領域を含む画素値演算区間を設定し、前
   記画素値演算区間において前記２つの領域の境界の候補
   位置を設定し、該候補位置を順次移動させながら前記境
   界の候補位置において分割された前記画素値演算区間の
   いずれか１つの区間において、該区間に属する画素数に
   あらかじめ定めた値を乗じた値から該区間に属する画素
   の画素値の総和を引いた値の絶対値を評価値として求
   め、前記評価値が最大となる境界の候補位置を２つの領
   域の境界として特定することを特徴とした画像処理シス
   テム。
5. 【請求項５】被検査対象の画像を検出する画像検出手段
   と、該画像検出手段で検出された前記画像を格納する画
   像格納手段と、該画像格納手段に格納された画像のノイ
   ズを除去するノイズ除去手段と、前記画像格納手段に格
   納された画像の明るさの分布をもとに前記画像を複数の
   領域に分割する領域分割手段とを備えて、前記画像の特
   徴量を抽出する画像処理システムであって、前記領域分
   割手段は、前記画像を予め設けたしきい値より画素値が
   大なる部分と小なる部分とに分離し、該分離された複数
   の部分における境界位置を求める境界位置の候補として
   定め、該複数求めた境界位置の候補それぞれにおいて、
   該候補位置の近傍に画素値演算区間を設定し、該画素値
   演算区間を前記境界の候補位置で分割し、それぞれの分
   割領域における画素値の総和を求め、該それぞれの分割
   領域における画素値の総和の差を求め、該総和の差が最
   大となる領域における前記境界の候補を、求める２つの
   領域の境界位置とすることを特徴とした画像処理システ
   ム。