JP4100376B2

JP4100376B2 - 表面状態検査方法およびその装置、ならびに検査用画像の生成装置

Info

Publication number: JP4100376B2
Application number: JP2004193224A
Authority: JP
Inventors: 淳栗山; 正人石羽; 清村上; 輝久四ッ谷
Original assignee: Omron Corp
Current assignee: Omron Corp
Priority date: 2004-06-30
Filing date: 2004-06-30
Publication date: 2008-06-11
Anticipated expiration: 2024-06-30
Also published as: JP2006017484A

Description

この発明は、部品実装基板上のはんだのような、表面に傾斜面を有する物体を検査対象として、ラインセンサにより得た検査対象物の２次元画像を用いてその表面状態を検査する技術に関する。特にこの発明は、複数の色彩光を用いた照明によって傾斜状態に応じた色彩分布が現れた２次元画像を生成し、前記検査を実行する場合の方法および装置に関する。

出願人は、以前に、はんだ付け部位の鏡面反射性を利用して、画像処理の手法により基板上のはんだ付け部位を自動検査する装置を開発した（特許文献１参照。）。

特公平６−１１７３号公報

上記の特許文献１に開示された検査装置の光学系は、径の異なる３個の円環状光源と２次元撮像装置とにより構成される。各光源は、それぞれ赤、緑、青の色彩光を発光するもので、２次元撮像装置は、これら光源の中心に対応する位置に光軸を鉛直方向に向けて配備される。

上記構成において、各光源からはんだの表面に照射された色彩光は、それぞれ鏡面反射する。このうち、はんだの傾斜面に対し、撮像装置の方向に対応する角度方向からの色彩光の鏡面反射光が撮像装置に入射するため、画像上のはんだの部分では、その勾配が変化する方向に沿って、赤、緑、青の各色彩が分布するようになる。よって、良好な形状のはんだの画像に出現する各色彩のパターンを登録しておき、検査対象の画像における各色彩パターンを登録された色彩パターンと比較することにより、はんだの表面状態の良否を判別することができる。

つぎに、ラインセンサを用いて検査を行う装置として、特許文献２，３に開示されたものがある。これらの文献の検査装置では、ラインセンサの撮像対象領域に沿って複数の線状光源が配置した光学系を使用している。

特許３３４１９６３号公報特許３１７０５９８号公報

特許文献２に記載の装置では、ラインセンサの撮像対象領域に対し、複数の色彩光を異なる角度から照射することによって、前記特許文献１と同様の原理による検査を実行できるようにしている。また、特許文献３に開示された装置では、１つの光源の光路にハーフミラーを介在させることにより、検査対象物に対し、斜め方向からの照明と真上方向からの照明とを同時に行えるようにしている。

特許文献２，３のような構成の光学系で特許文献１と同じ原理による検査を行う場合、はんだの傾斜面と撮像対象領域との関係によって、画像上の色彩の分布状態が異なるものになる。たとえば、はんだの勾配が変化する方向が撮像対象領域に直交する関係にある場合には、各線状光源からの光は、はんだの傾斜面に対して正面側から照射されるから、円環状光源による場合と同様の条件で色彩光を照射することができ、各色彩が勾配の変化の方向に沿って分布する画像を得ることができる。これに対し、前記勾配が変化する方向が撮像対象領域に沿う方向を向いている場合には、各色彩光は、はんだの傾斜面の側方側から照射されることになり、上記のような色彩分布の画像を得るのは困難になる。

このように、ラインセンサや線状光源を用いた場合には、同種の部品であっても、実装される方向によって、色彩の分布状態が異なるようになる。このため、自動検査を行う場合には、実装される方向毎に、色彩パターンを登録する必要がある。また、この自動検査のための検査基準を定める作業を行ったり、目視による検査を行う場合には、モニタに表示された画像を利用することになるが、部品の実装方向によって見え方が異なるため、視認性が悪くなり、作業に支障が生じたり、判別を誤るおそれがある。

さらに、各光源が傾斜面の側方側に位置する場合には、はんだの傾斜状態によっては、いずれの色彩の鏡面反射光もラインセンサに入射しない状態となり、黒色に近い画像しか得られなくなる可能性がある。このような場合には、色彩分布に基づく検査を実行すること自体が難しくなる。

この発明は上記の問題点に着目してなされたもので、撮像開始時の検査対象物の勾配が変化する方向が光源の配置に対してどのような関係をとる場合でも、その勾配の変化の方向を表す色彩の分布パターンが統一された状態で現れる画像を生成することにより、安定した精度で検査を行えるようにすることを目的とする。

この発明にかかる表面状態検査方法は、ラインセンサの撮像対象領域に沿って配備された複数の線状光源により、前記撮像対象領域に複数の色彩光を異なる角度方向から照射し、その照明状態下で前記撮像対象領域に対する検査対象物の相対位置を変化させながらラインセンサの走査を繰り返すことによって前記検査対象物の２次元カラー画像を生成し、生成された２次元カラー画像を用いて前記検査対象物の表面状態を検査するもので、前記撮像対象領域に対する検査対象物の向きが異なる複数とおりの状態において、それぞれ検査対象物の２次元カラー画像を生成する処理を実行し、生成された複数の２次元カラー画像の１つを基準として、その他の画像上の検査対象物の向きおよび位置が基準の画像に揃うように前記他の画像を変換した後、画像間で対応関係にある画素の組毎にＲ，Ｇ，Ｂの各階調毎の平均値を算出することによって各画像を合成し、この合成処理により得られた画像を用いて検査を実行することを特徴とする。

上記において、複数の線状光源は、所定長さの直線状または直線に近い緩やかな曲率をもつ光源であって、蛍光灯、または複数の発光体（ＬＥＤなど）の集合体として構成することができる。これらの光源は、長さ方向を撮像対象領域に沿わせ、発光色毎に異なる高さ位置に設けられるのが望ましい。また、いずれの色彩光についても、２個以上の光源を、撮像対象領域を挟んで対称になるように配備することができる。また、前述した特許文献２のように、これらの光源の一部の光路にハーフミラーを介装させ、撮像対象領域に対し、斜め方向および真上方向からの照明を同時に行えるようにしてもよい。

前記ラインセンサは、各画素の蓄積電荷を順に放出する処理によって１ライン分の画像データを生成するものである。この１ライン分の画像データを生成する処理が走査（スキャン）と呼ばれている。上記の方法では、撮像対象領域に対し、検査対象物を相対的に動かしながら走査を繰り返すことにより、検査対象物の全体像を含む２次元画像を生成することができる。

上記の方法によれば、１つの検査対象物について、異なる照明状態を反映した複数とおりの画像を取得した後、これらの画像を平均化するので、最初の撮像時の検査対象物がいずれの方向を向いていても、最終的な検査用の画像における色彩の分布状態を統一した状態にすることができる。

なお、上記の加算平均処理を行うに際しては、各画像間の位置ずれや歪みを調整しておくのが望ましい。また、画像合成処理には、前記加算平均処理に加え、明るさ補正など、加算平均画像に対する補正処理を含めることができる。

上記の方法によれば、あらかじめモデルの対象物に対し同様の方法を実行して、合成処理後の画像から基準の色彩パターンを抽出して登録し、検査時の合成画像から抽出した色彩パターンを登録された色彩パターンと照合することにより、検査を行うことができる。この場合に、同種の検査対象物であれば、同じ登録パターンを使用することができる。また、検査用の画像を表示して目視による検査を行う場合にも、検査対象物の向きに関わらず、統一された色彩分布状態が表示されるようになるから、判断を誤るおそれがない。

上記方法において、部品実装基板上のはんだを検査対象物とする場合、好ましい態様では、検査対象物の２次元カラー画像を取得する処理を２回実行するとともに、前記撮像対象領域に対する検査対象物の向きを、１回目の処理後に９０°変化させる。これは、基板上の殆どの部品は、その主軸を基板の水平方向または垂直方向に対応させて実装されることによる。上記の態様によれば、部品がいずれの方向に実装される場合でも、はんだの傾斜面に対し、正面側から光を照射したときの画像と、側方側から光を照射したときの画像とを得ることができる。よって、これらの画像を合成することによって、各色彩の分布状態が統一された状態の画像を得ることができる。

つぎに、この発明にかかる検査用画像の生成装置は、ラインセンサを含む撮像手段と、前記ラインセンサの撮像対象領域に複数の色彩光を異なる角度方向から照射できるようにして、前記撮像対象領域に沿って配備された複数の線状光源と、前記各線状光源による照明下で前記撮像対象領域に対する検査対象物の相対位置を変更しながらラインセンサの走査を繰り返すことによって、前記検査対象物の表面状態を検査するための２次元カラー画像を生成する画像生成手段とを具備する。さらに、前記画像生成手段は、前記撮像対象領域に対する検査対象物の向きを変換するための転換手段と、この転換手段により撮像対象領域に対する検査対象物の向きが異なる複数とおりの状態を設定しつつ、各状態において、それぞれ検査対象物の２次元カラー画像を取得する処理を実行する画像取得手段と、画像取得手段が取得した複数の２次元カラー画像の１つを基準として、その他の画像上の検査対象物の向きおよび位置が基準の画像に揃うように前記他の画像を変換した後、画像間で対応関係にある画素の組毎にＲ，Ｇ，Ｂの各階調毎の平均値を算出することによって各画像を合成する画像合成手段とを含む。

上記において、撮像手段は、前記ラインセンサやレンズなどを含むラインセンサカメラとして構成することができる。複数の線状光源は、前記したものと同様である。画像取得手段や画像合成手段は、それぞれその手段に応じたプログラムが設定されたコンピュータを構成要素とすることができる。さらに、画像取得手段には、検査対象物、もしくは撮像手段および光源を移動させるための移動機構を含めることができる。

画像取得手段の転換手段は、撮像手段や各線状光源に対して検査対象物を回転させる回転機構により構成することができる。または、検査対象物に対し、撮像手段および光源を回転させる回転機構とすることもできる。また、撮像手段および各線状光源による光学系を複数設け、検査対象物を各光学系に順に送り込む構成をとる場合には、各光学系間の搬送路に転換手段を設けることができる。

さらに、好ましい態様にかかる検査用画像の生成装置は、画像合成手段により生成された合成画像を表示する表示手段を具備する。

上記の検査用画像の生成装置によれば、検査対象物の傾斜状態が良好であれば、その向きに関わらず、色彩の分布状態が統一された検査用画像を生成することができ、安定した検査を実行することができる。

この発明にかかる表面状態検査装置は、前記検査用画像の生成装置と同様の撮像手段、複数の線状光源、画像生成手段を具備する。さらに、この表面状態検査装置は、前記検査対象物について、前記画像生成手段により生成される基準の画像データを保存するためのメモリと、前記画像生成手段により生成された２次元カラー画像を前記メモリ内の基準の画像データと比較して、前記検査対象物の表面状態の良否を判別する判別手段とを具備する。
この表面状態検査装置によれば、検査対象物の向きが異なっても、同種の検査対象物であれば、基準の画像データを１つにすることができる。したがって、メモリ容量を節約でき、効率の良い検査を行うことができる。

この発明によれば、撮像開始時の検査対象物の撮像対象領域に対する向きがどのような状態であっても、傾斜状態が良好な場合の勾配の変化の方向を表す色彩の分布パターンが統一された状態になるような画像を生成することができるから、その画像を用いて精度の安定した検査を実行することができる。

図１は、この発明が適用された基板検査装置の構成例を示す。
この基板検査装置は、はんだ塗布、部品実装、はんだ加熱処理の各工程を経た部品実装基板５（以下、単に「基板５」という。）を検査するためのもので、ラインセンサカメラ１、投光部２、コントローラ３、基板ステージ４などにより構成される。

ラインセンサカメラ１は、後記するラインセンサ１０やレンズなどを有するものである。投光部２には、赤、緑、青の各色彩毎に、その色彩の光を発光する２個の線状光源が設けられる（この図１では、赤色（Ｒ）の光源を２１、緑色（Ｇ）の光源を２２、青色（Ｂ）の光源を２３として示す。）。これらの光源２１，２２，２３は、蛍光灯または複数のＬＥＤを線状に配列したもので、それぞれ長さ方向をラインセンサカメラ１の撮像対象領域に沿わせた状態で配備される。また、同じ色彩の光源は、ラインセンサカメラ１の光軸に対して対称になるように配備される。さらに、最も高い位置に赤色光源２１を、つぎに緑色光源２２を、そのつぎに青色光源２３を、それぞれ配置するとともに、光源の位置が高くなるほどラインセンサカメラ１の光軸に近づけるようにしている。このような配置により、撮像対象領域に対し、各色彩光を異なる角度方向から照射することができる。

なお、投光部２は、図２のように構成することもできる。この図２の投光部２は、図１と同様の線状光源２１，２２，２３を具備するほか、光源２１とラインセンサカメラ１との間にハーフミラー２５が配備され、このハーフミラー２５の光軸に対応する位置に、別途、ＬＥＤを並べた線状光源２４が配備されている。この構成によれば、撮像対象領域に、斜め方向からの光と真上方向からの光とを同時に照射することができる。また、真上方向からの光により、平坦な面を観測しやすい状態となる。なお、真上方向からの光は、白色光または赤色光とするのが望ましい。

基板ステージ４には、撮像対象領域に直交する方向（図の左右方向）にステージを移動させるための移動機構（図示せず。）や、ステージを所定角度だけ回転させるための回転機構（図示せず。）が設けられている。

前記コントローラ３は、ＣＰＵ３１、メモリ３２のほか、撮像制御部３３、照明制御部３４、基板ステージ制御部３５、入出力部３６などを含む。撮像制御部３３には、前記ラインセンサカメラ１への駆動信号を生成するための回路やその信号の出力回路、前記ラインセンサカメラ１からの画像データを取り込むための入力回路、取り込まれた画像データをディジタル変換するためのＡ／Ｄ変換回路などが含まれる。照明制御部３４は、各光源の点灯／消灯動作の制御や、点灯時の光量を調整するためのものである。基板ステージ制御部３５は、前記した基板ステージ４の移動機構や回転機構の動作を制御するためのものである。入出力部３６は、キーボード、マウスなどから検査に関する設定データを取り込んだり、検査用の画像をモニタに出力するためのインターフェース回路により構成される。

前記メモリ３２には、プログラム記憶部３２ａと検査データ記憶部３２ｂとが設定される。プログラム記憶部３２ａには、検査のための各種プログラムや、固定データなどが格納される。検査データ記憶部３２ｂには、検査領域の設定データ、前記検査領域で各色彩を抽出するための２値化しきい値、前記２値化しきい値により抽出されるべき基準の色彩パターン、基準の色彩パターンと検査対象の色彩パターンとを照合する際の判定基準など、検査にかかる種々のデータが格納される（以下、これらのデータを「検査データ」と総称する。）。このほか、メモリ３２には、検査対象の基板の画像を一時保存するための領域なども設定される。

上記において、ＣＰＵ３１は、撮像制御部３３および基板ステージ制御部３４を用いて、ラインセンサカメラ１や基板ステージ４の動作を制御することにより、前記基板５の検査用の２次元画像を生成し、検査を実行する。

図３は、上記の基板検査装置において、検査用の画像を生成する上での撮像処理の具体例を示す。なお、この図３は、前記図１の光学系と基板５との上方から見た関係を模式的に示したもので、カメラ１内のラインセンサ１０と投光部２との長さとが同一であり、ラインセンサ１０の画素配列が投光部１の長さ方向と同じ向きに配列されているものとして表している。

この実施例では、前記基板１を、ラインセンサ１０の撮像対象領域に直交する方向に沿って移動させながら、ラインセンサ１０の走査を繰り返すことにより、基板５の全体像を含む２次元画像を生成する。以下では、この１枚の２次元画像を生成するための処理を「撮像処理」という。この実施例では、基板ステージ３にセットされた基板５に対し、１回の撮像処理を実行した後、基板５を初期位置に戻して９０°回転させ、再度、撮像処理を実行するようにしている。

さらに、この実施例では、前記２回の撮像処理により得た２枚の２次元画像から、同一部品の画像を切り出し、これらの画像を部品の向きを揃えた状態で合成することによって、部品毎に検査用の画像を生成する。以下では、上記図３に示した撮像処理の持つ意味や検査用の画像を作成する具体的方法について、説明する。

図４（１）は、基板５上の球体状のはんだ（図中の６）を示し、図４（２）は、このはんだ６を、前記図１の光学系により撮像して得られた画像を示す。なお、図４（２）中の点線の矢印Ｃは、前記ラインセンサ１０の撮像対象領域に対してはんだ６を移動した方向に対応する。また、この図４（２）および図６では、赤、緑、青の各色彩の領域をＲ，Ｇ，Ｂで示す。また、図中の塗りつぶしは、いずれの色彩光もラインセンサに入射しなかったために生じた影の領域である。

図４（１）のような球体状のはんだ６では、全方位にわたって同程度の勾配変化が生じていると考えることができる。このうち、各光源２１，２２，２３からの光を正面側から受けることが可能な範囲に、勾配の変化を反映した色彩分布が現れる。図４（２）の画像では、矢印Ｃの方向に沿って勾配が変化する範囲に、その勾配の変化を反映した色彩の分布が生じる一方、勾配の変化の方向が光源の長さ方向とほぼ同様になる中央部では、いずれの色彩の鏡面反射光もラインセンサ１０に導くことができなくなるため、影が発生している。
なお、濃度勾配の変化の方向が矢印Ｃの方向に沿う範囲でも、平坦面に近いはんだの中央部と基板面に近い急斜面の部分には、影が発生している。

上記した球状のはんだ６の画像では、全方位にわたって同様の勾配変化が生じるから、はんだ６に対し、ラインセンサ１０をどの方向に走査しても、その走査方向を横切る方向に沿って、図４（２）と同様の色彩分布が生じると考えることができる。一方、はんだフィレットでは、傾斜面の形成される範囲が限定されるため、その傾斜面に対し、各光源２１，２２，２３からの光が正面側から照射されなければ、傾斜状態を反映した色彩分布を有する画像を得るのは困難になる。

図５は、典型的な検査対象であるチップ部品７を、前記ラインセンサ１０に対して移動させる方向とともに示す。図中の７１は、部品本体であって、７２は部品側の電極である。また８は、前記電極７２と基板側の電極（ランド）との間を接合するためのはんだフィレットである。

部品７の横幅方向に沿う矢印Ｍ_Ａは、はんだフィレット８の勾配が変化する方向に対応する。他方の矢印Ｍ_Ｂは、前記矢印Ｍ_Ａに直交する方向となる。図３の方法によれば、まず部品７を矢印Ｍ_Ａの方向に沿って動かしながら１回目の撮像処理を実行した後、この部品７を９０°回転させ、矢印Ｍ_Ｂの方向に沿って動かしながら２回目の撮像処理を行うことになる。

図６は、前記図５のチップ部品７の一方のフィレット８の部分を抜き出して、前記２回の撮像処理により得られる画像やその後の画像合成処理の具体例を示したものである。図中の（Ａ）は、前記図５の矢印Ｍ_Ａの方向に沿うフィレット８の断面形状と、このフィレット８を矢印Ｍ_Ａに沿って移動させた場合に得られる画像とを対応づけたものである。一方、（Ｂ）は、前記図５の矢印Ｍ_Ｂの方向に沿うフィレット８の断面形状と、このフィレット８を矢印Ｍ_Ｂに沿って移動させた場合に得られる画像とを対応づけたものである。なお、いずれの場合も、フィレット８は、ラインセンサ１０の撮像対象領域および光源２１，２２，２３の長さ方向に直交する方向に移動する。

矢印Ｍ_Ａの方向にフィレット８を移動させた場合には、フィレット８の傾斜面に対し、色彩光を正面側から照射することができる。すなわち、ラインセンサ１０が傾斜面の所定のラインを走査しているとき、その両側の光源群（光源２１，２２，２３を１つずつ含むもの）のいずれか一方からの光がラインセンサ１０の側に反射し、そのうち、傾斜面の傾きに応じた色彩光がラインセンサ１０に入射することになる。これにより画像上のフィレットには、勾配の変化に応じた色彩分布が現れるようになる。ただし、この場合でも、急斜面および平坦面に近い部分では、影が発生する可能性がある。
一方、矢印Ｍ_Ｂの方向にフィレット８を移動させた場合には、各色彩光は、傾斜面の側方側から照射されることになる。この場合、矢印Ｂの方向に沿う勾配の変化が殆どない状態であると、いずれの色彩の鏡面反射光もラインセンサ１０に入射しない状態となり、画像上のフィレットには影が生じる。

この実施例では、２回の撮像処理により得た画像から、それぞれフィレット８の画像Ａ，Ｂを切り出す。このとき、２回目の画像から切り出した画像Ｂを９０°回転させることにより、画像Ａ，Ｂ間のフィレットの向きを揃え、さらにこれらの画像Ａ，Ｂを、加算平均処理により合成する。

加算平均処理では、画像Ａ，Ｂの対応する画素毎に、Ｒ，Ｇ，Ｂの各階調の平均値を求める。ここで、画像Ｂの各画素は黒色に近いため、Ｒ，Ｇ，Ｂのいずれの階調も０に近い値をとる、と考えることができる。したがって、加算平均処理後の画像には、画像Ａにおける色彩の分布状態が反映されるようになる。

基板上の殆どの部品は、主軸を水平方向または垂直方向に向けて実装される。したがって、前記図３の方法によれば、基板上の殆どのはんだ付部位について、その傾斜面を正面側から照明したときの画像と、側方側から照明したときの画像とを、得ることができる。よって、はんだの傾斜状態が正常であれば、基板ステージ４に置かれた直後の傾斜面の勾配の変化の方向がラインセンサ１０の撮像対象領域を横切る方向に生じているか否かに関わらず、加算平均画像における色彩について、統一された分布のパターンを得ることができる。

なお、図６に示したフィレット８の画像は、模式的なものであり、フィレット８の形状によっては、側方側から照明したときの画像Ｂにも、この方向から見た勾配の変化を反映した色彩が現れる場合がある。しかしながら、これがフィレット８の良好な形状を反映しているものであれば、加算平均画像の色彩の分布状態が図６とは若干異なるものになるだけであり、検査用の画像として使用する上での問題はない。

また、実際の検査では、フィレットを含む部品全体の画像を切り出して２回の撮像処理や加算平均処理を行うため、部品や電極の画像も加算平均されることになる。部品や電極に対応する加算平均画像についても、フィレットについて上記に述べたのと同じ理由により、特に問題視する必要はない。

この実施例の基板検査装置では、あらかじめ、検査対象の基板５のモデルを用いて前記した２回の撮像処理を実行し、得られた画像を用いて、部品毎に図６に示した画像の加算平均処理を行って、ティーチング用の画像を生成する。このティーチング用の画像は、モニタに表示され、係員により、前記２値化しきい値や判定基準などの登録作業が行われる。なお、各部品に対する検査領域の設定データは、ＣＡＤデータなどを用いて作成することができる。また、基準の色彩パターンは、２値化しきい値を登録することにより、自動抽出される。

図７は、前記ティーチング作業が完了した後の検査の手順を示す。なお、この図７および以下の説明では、各ステップ（ＳＴＥＰ）を「ＳＴ」と略して示す。

この検査は、係員が検査対象の基板の基板名などを入力することによってスタートする。まず、ＳＴ１では、検査対象の基板に対応する検査データを前記検査データ記憶部３２ｂから読み出して、メモリ３２の作業エリアにセットする。

ＳＴ２では、前記基板ステージ４に検査対象の基板５を搬入する。つぎのＳＴ３では、この基板５に対し、前記した要領で１回目の撮像処理を実行する。ついで、ＳＴ４では、基板ステージ４を９０°回転させ、ＳＴ５において、２回目の撮像処理を実行する。

２回目の撮像処理が終了すると、以下、取得した２枚の画像を用いて、検査対象の部品毎にＳＴ６〜１２を実行する。
ＳＴ６では、特定の一部品について、前記２枚の画像上に、それぞれ検査領域ａ，ｂを設定する。図８に、この検査領域の設定例を示す。この例において、Ａ１は、前記１回目の撮像処理により得た画像であり、５Ａは、その画像中の基板である。一方、Ｂ１は、２回目の撮像処理により得た画像であり、５Ｂは、その画像中の基板である。各検査領域ａ，ｂの大きさや部品に対する相対的な位置関係は、同一になるように調整されている。

図７に戻って、つぎのＳＴ７では、各検査領域ａ，ｂ内の画像を切り出す（以下、領域ａから切り出した画像を画像Ａ、領域ｂから切り出した画像を画像Ｂという。）。ＳＴ８では、画像Ｂを、撮像時の基板の回転とは反対の方向に９０°回転させる。そして、ＳＴ９では、回転後の画像Ｂについて、他方の画像Ａに対する位置ずれ量（ｘ，ｙ，θ）を抽出する。

上記ＳＴ９で抽出する位置ずれ量のうち、ｘは、画像の水平方向（ｘ軸方向）におけるずれを、ｙは画像の垂直方向（ｙ軸方向）におけるずれを、それぞれ示し、θは回転ずれに相当する。これらのずれ量を求めるには、たとえば、各画像Ａ，Ｂをモノクロ画像に変換して、エッジ画素およびそのエッジコードを抽出する。そして、エッジコードの差が所定値以内になるエッジ画素の組を対応関係にある画素として抽出し、対応するエッジ画素間のｘ座標の差の平均値をずれ量ｘ，ｙ座標の差の平均値をずれ量ｙ、エッジコードの差の平均値をずれ量θとする。
なお、エッジコードは、エッジ画素を基準に濃度勾配が変化する方向を示す角度データである。詳細については、下記の特許文献４を参照されたい。

特開２００２−２０３２３３公報

このようにして位置ずれ量が求められると、ＳＴ１０では、その位置ずれ量に基づき、画像Ｂをアフィン変換することにより、画像Ａ，Ｂ間の位置ずれを補正する。そして、ＳＴ１１では、補正後の画像Ｂと前記画像Ａとの間で、対応する画素毎に加算平均処理を実行することによって、前記画像合成処理を実行する。

この後は、ＳＴ１１の処理により得た合成画像から各色彩のパターンを抽出し、これらの色彩パターンを前記検査データとして登録された基準の色彩パターンと照合するなどして、はんだ付け部位の適否を判別する。このほか、ＳＴ１１では、部品の有無、位置ずれなどの検査を実行することもできる。

以下同様に、部品毎にＳＴ６〜１２を実行することにより、検査を進行させる。なお、検査の結果は、メモリ３２の作業領域などに蓄積することができる。

基板５上のすべての部品に対する検査が終了すると、ＳＴ１３が「ＹＥＳ」となってＳＴ１４に進む。ＳＴ１４では、部品毎の検査を総合して、基板全体に対する良否判定を行い、その判定結果を出力する。さらに、不良判定が出力された場合には、不良と判断された部品にかかる検査結果も出力する。

このようにして１枚の基板５に対する検査が終了することになる。さらに、同じ種類の基板５を検査する場合には、ＳＴ１５からＳＴ２に戻り、同様の手順を繰り返す。検査対象のすべての基板５についての検査が終了すると、ＳＴ１５が「ＹＥＳ」となり、処理を終了する。

上記の手順によれば、ラインセンサ１０の撮像対象領域や光源２１，２２，２３の長さ方向に対し、各部品の主軸がいずれの方向を向いている場合でも、その部品のはんだ付け部位を統一した基準に基づき検査することができる。また、はんだの傾斜状態を反映した色彩分布を得られないような向きに実装されている部品でも、２枚の画像を加算平均することによって、色彩分布が明瞭な画像を得ることができる。よって、検査データ記憶部３２ｎに格納する基準の色彩パターンを部品の種毎に統一できるとともに、安定した精度で検査を実行することができる。

また、検査に先立つティーチング時にも、モデルの基板に対し、同様の２回の撮像処理を行い、各画像の加算平均画像を表示して、登録作業を行うから、表示された画像における色彩分布を、部品の種毎に統一することができる。よって、作業者が混乱するおそれがなく、登録作業を効率良く進めることができる。

なお、上記の実施例では、２回目の撮像処理時に基板を９０°回転させるようにしたが、これに代えて、図９に示すように、光学系を９０°回転させるようにしてもよい。

さらに、図１０に示すように、ベルトコンベヤ９により基板５を搬送しながら２組の光学系１００Ａ，１００Ｂによる撮像処理を順に実行するようにしてもよい。この例の２つの光学系１００Ａ，１００Ｂは、いずれも、図３と同様のラインセンサ１０や投光部２を有するもので、長さ方向をコンベア９の幅方向に対応させた状態で配備される。この例では、ベルトコンベア９の搬送方向を切り替えることによって、各光学系１００Ａに対しては基板５の横幅方向を、光学系１００Ｂに対しては基板の縦幅方向を、それぞれ移動させるようにしているので、前記図３や図９の例と同様の画像を得ることができる。ただし、この例の場合、あらかじめ、倍率、収差（ディストーション）、位置ずれ量、色合い、明るさレベルなどについて、各光学系１００Ａ，１００Ｂ間における差異を補正するのに必要なパラメータを求め、撮像処理後の各画像を前記パラメータにより補正してから加算平均処理を行う必要がある。

この発明の一実施例にかかる基板検査装置の構成を示す図である。光学系の他の例を示す図である。撮像処理の具体例を示す図である。球体状のはんだの構成と、このはんだを図１の光学系で撮像して得られる画像を示す図である。チップ部品の構成を、撮像の際の部品の移動方向とともに示す図である。はんだフィレットについて、２回の撮像処理で得られる画像と加算平均処理後の画像の具体例を示す図である。基板検査の手順を示すフローチャートである。検査領域の設定例を示す図である。撮像処理の他の例を示す図である。２組の光学系により撮像処理を行う場合の例を示す図である。

符号の説明

１ラインセンサカメラ
２投光部
３コントローラ
４基板ステージ
５基板
８フィレット
１０ラインセンサ
２１，２２，２３線状光源
３１ＣＰＵ
３２メモリ
３３撮像制御部
３５基板ステージ制御部
３６入出力部

Claims

ラインセンサの撮像対象領域に沿って配備された複数の線状光源により、前記撮像対象領域に複数の色彩光を異なる角度方向から照射し、その照明状態下で前記撮像対象領域に対する検査対象物の相対位置を変化させながらラインセンサの走査を繰り返すことによって前記検査対象物の２次元カラー画像を生成し、生成された２次元カラー画像を用いて前記検査対象物の表面状態を検査する方法において、
前記撮像対象領域に対する検査対象物の向きが異なる複数とおりの状態において、それぞれ検査対象物の２次元カラー画像を生成する処理を実行し、生成された複数の２次元カラー画像の１つを基準として、その他の画像上の検査対象物の向きおよび位置が基準の画像に揃うように前記他の画像を変換した後、画像間で対応関係にある画素の組毎にＲ，Ｇ，Ｂの各階調毎の平均値を算出することによって各画像を合成し、この合成処理により得られた画像を用いて検査を実行することを特徴とする表面状態検査方法。
請求項１に記載された表面状態検査方法において、
前記検査対象物は部品実装基板上のはんだであって、前記検査対象物の２次元カラー画像を取得する処理を２回実行するとともに、前記撮像対象領域に対する検査対象物の向きを、１回目の処理後に９０°変化させるようにした表面状態検査方法。
ラインセンサを含む撮像手段と、
前記ラインセンサの撮像対象領域に複数の色彩光を異なる角度方向から照射できるようにして、前記撮像対象領域に沿って配備された複数の線状光源と、
前記各線状光源による照明下で前記撮像対象領域に対する検査対象物の相対位置を変更しながら前記ラインセンサの走査を繰り返すことによって、前記検査対象物の表面状態を検査するための２次元カラー画像を生成する画像生成手段とを具備し、
前記画像生成手段は、前記撮像対象領域に対する検査対象物の向きを変更するための転換手段と、この転換手段により撮像対象領域に対する検査対象物の向きが異なる複数とおりの状態を設定しつつ、各状態において、それぞれ検査対象物の２次元カラー画像を取得する処理を実行する画像取得手段と、画像取得手段が取得した複数の２次元カラー画像の１つを基準として、その他の画像上の検査対象物の向きおよび位置が基準の画像に揃うように前記他の画像を変換した後、画像間で対応関係にある画素の組毎にＲ，Ｇ，Ｂの各階調毎の平均値を算出することによって各画像を合成する画像合成手段とを含んで成る検査用画像の生成装置。
請求項３に記載された装置において、
前記画像合成手段により生成された合成画像を表示する表示手段をさらに具備して成る検査用画像の生成装置。
ラインセンサを含む撮像手段と、
前記ラインセンサの撮像対象領域に複数の色彩光を異なる角度方向から照射できるようにして、前記撮像対象領域に沿って配備された複数の線状光源と、
前記各線状光源による照明下で前記撮像対象領域に対する検査対象物の相対位置を変更しながら前記ラインセンサの走査を繰り返すことによって、前記検査対象物の表面状態を検査するための２次元カラー画像を生成する画像生成手段と、
前記検査対象物について、前記画像生成手段により生成される基準の画像データを保存するためのメモリと、
前記画像生成手段により生成された２次元カラー画像を前記メモリ内の基準の画像データと比較して、前記検査対象物の表面状態の良否を判別する判別手段と、
前記判別手段による良否判別結果を出力する出力手段とを具備し、
前記画像生成手段は、前記撮像対象領域に対する検査対象物の向きを変更するための転換手段と、この転換手段により撮像対象領域に対する検査対象物の向きが異なる複数とおりの状態を設定しつつ、各状態において、それぞれ検査対象物の２次元画像を取得する処理を実行する画像取得手段と、画像取得手段が取得した複数の２次元カラー画像の１つを基準として、その他の画像上の検査対象物の向きおよび位置が基準の画像に揃うように前記他の画像を変換した後、画像間で対応関係にある画素の組毎にＲ，Ｇ，Ｂの各階調毎の平均値を算出することによって各画像を合成する画像合成手段とを含んで成る検査用画像の生成装置。