JP3725207B2

JP3725207B2 - 画像位置合わせ方法及びそれを用いる製品検査装置

Info

Publication number: JP3725207B2
Application number: JP18365495A
Authority: JP
Inventors: 克行谷水; 章進藤; 正勝布谷; 哲也山本
Original assignee: Nippon Telegraph and Telephone Corp; NTT Inc USA
Current assignee: NTT Inc; NTT Inc USA
Priority date: 1995-07-20
Filing date: 1995-07-20
Publication date: 2005-12-07
Anticipated expiration: 2015-07-20
Also published as: EP0755024A2; DE69604349T2; EP0755024B1; JPH0935063A; EP0755024A3; DE69604349D1; US6005977A

Description

【０００１】
【発明の属する技術分野】
本発明は、一般に画像処理技術を適用して製品の外観検査を行う装置、あるいは、画像の位置ずれ量を計測する装置等に利用される技術であって、同一の図柄を撮像して濃淡値あるいは２値で表現された画素データの集合として得られた２枚の画像の図柄の位置ずれ量を算出し、画像位置ずれ補正を行う方法に関するものであり、また、その方法を用いた製品検査装置に関するものである。
【０００２】
【従来の技術】
近年の画像処理技術と半導体の進歩によって、印刷物の目視外観検査の自動化が急速に進展してきた。特に濃淡画像による比較法を基本方式とした検査装置が実用化されている。比較法は、検査対象物の良品の外観撮像画像を比較の基準としてあらかじめ登録しておき、これと被検査品の外観撮像画像との画素毎の差分値を求め、これの大きさによって欠陥判定を行う原理である。
【０００３】
また、時系列的に連続して入力される被検査品の外観撮像画像のとなり合った２枚を比較する方法もある。
【０００４】
これら従来のいずれの方法も２枚の画像の差分値を評価する原理なので、２枚の画像の図柄に位置ずれの無いことが前提となる。もしも位置ずれがあれば、ずれの部分で差分値が大きくなり欠陥と判定される。いわゆる疑似欠陥が発生し検査が正常に行われない。
【０００５】
このため通常は、２枚の画像の図柄の位置ずれ量を画像処理手段によって算出し、そのずれ量に基づく位置補正を画像上で実行したうえで比較を行う方法により疑似欠陥の発生を回避している。位置ずれの種類と程度に応じて、従来から種々の方法が実施されてきた。位置ずれがＸ，Ｙ方向の一定平行移動のみであれば、基準画像の図柄の一代表領域をテンプレートとして検査画像の対応する領域近傍に対していわゆるテンプレートマッチングを行うことによって、Ｘ方向とＹ方向それぞれの位置ずれ量ΔＸ，ΔＹを求める方法がある。また、画像に伸縮や回転が存在しこれによって位置ずれが発生している場合には、いわゆる幾何学的変換処理によって位置補正を行う方法が適用できる。
【０００６】
図５は従来の方法による位置ずれ補正の代表例である幾何学的変換法の概念図、図６はその処理手順を示すフローチャートである。比較画素アドレス発生部１０１において、良品の外観画像を登録した基準画像メモリ１０２の基準画像にある図柄に対してあらかじめ自己差分量による評価が行われ、位置ずれ量算出のための領域でありテンプレートとなる領域（以下、セルと呼ぶ）が任意個数選択される。セルとしては、図柄の輪郭部分など自己差分量の大きな領域が選ばれる。
【０００７】
図５では６個のセルが設定されている場合を示す。一方、カメラ等から入力された被検査品の外観画像は検査画像として検査画像メモリ１０３に入力されて格納される。一画面分の検査画像が検査画像メモリ１０３に入力が完了すると、基準画像にあるセルと同位置にある部分についてセルとのテンプレートマッチングがマッチング演算部１０４で行われ、各セル位置（セル領域）での位置ずれ量（Δｘ_e，Δｙ_e）（ｅ＝１，２，３，４，５，６）が算出される。この６個の位置ずれ量に基づいて変換式生成部１０５において、次に示す幾何学的変換式（ここではアフィン変換式）の係数すなわち変形パラメータが決定される。
【０００８】
ｘ_0i＝Ｔ１１ｘ_1i＋Ｔ１２ｙ_1i＋Ｔ１３……（１）
ｙ_0i＝Ｔ２１ｘ_1i＋Ｔ２２ｙ_1i＋Ｔ２３……（２）
ただし、
ｘ_0i：基準画像の画素のＸアドレス
ｙ_0i：基準画像の画素のＹアドレス
ｘ_1i：基準画像の画素に図柄が対応する検査画像の画素のＸアドレス
ｙ_1i：基準画像の画素に図柄が対応する検査画像の画素のＹアドレス
Ｔｉｊ：変形パラメータ
生成された変換式はアドレス変換部１０６に設定され、基準画像の画素アドレス（ｘ_0i，ｙ_0i）に対応する検査画像の位置ずれ補正された画素アドレス（ｘ_1i，ｙ_1i）が変換式によって生成される。これによって検査実行時において、比較されるべき基準画像のアドレス（ｘ_0i，ｙ_0i）の画素と検査画像のアドレス（ｘ_1i，ｙ_1i）の画素が比較部１０７に入力され、位置合わせされた画素の濃度値の比較結果が出力され、画像の良否判定が行われる。
【０００９】
【発明が解決しようとする課題】
しかしながら、上記したように従来の方法は、入力画像を取り込んだ後に幾何学的処理により位置ずれを補正するという動作原理に基づくものなので、画像の伸縮や平行移動が画像全面にわたって一定であり比較する２枚の画像が線形近似できることを前提としてるため、非直線的なずれ、すなわち画像の一部分のみに伸縮のある場合や伸縮率が画像の場所によって変化する場合等には位置補正の後にも位置ずれが残存し、画像処理による外観検査では、製品が正常であるにもかかわらず欠陥ありと判断されてしまう問題があった。また、画像全体が入力された後に位置ずれ量の算出と位置補正を行うために、画像全体を一時的に記憶しておくためのメモリを必要とし装置が高価になり、また処理に時間を要するなどの問題があった。
【００１０】
本発明の目的は、従来の技術では為し得なった非直線的な画像位置ずれに対して位置ずれ補正を可能にし、また、画像を一旦取り込んだ後にしか補正できないという画像の時間遅延を伴うことなく、画像の入力とほぼ同時に位置補正を可能にするリアルタイム性を有した画像位置合わせ方法及びそれを用いる製品検査装置を安価に提供することにある。
【００１１】
【課題を解決するための手段】
上記の目的を達成するため、本発明による第１の発明では、同一図柄の２画像のうち一方の画像データを基準画像データとして該２画像の画像データを比較し、算出した差分値により該２画像の同一性を判定する際に、画像の位置ずれを補正するための画像位置合わせ方法において、水平走査ライン又はその集合が逐時伝送されてきたとき、同一図柄の２画像について一定数の隣接する水平走査ラインから構成されるラインブロックを単位としてまず画像の位置ずれ量算出処理と次に該算出した位置ずれ量に基づく位置合わせ補正処理を行うことを特徴とする画像位置合わせ方法を手段とする。
【００１２】
このような第１の発明の画像位置合わせ方法によって、垂直ビット方向と水平走査ライン方向に配列された画素で構成される２次元画像（濃淡画像や２値画像）を一定数のラインの集合であるラインブロックを単位として分割し、分割したラインブロックを単位として逐次的に位置ずれ量を算出し位置ずれ補正を実行することにより、従来の技術では必要としていた検査対象画像全面を一時記憶しておくメモリを不要とし、その一時記憶のために要した処理の遅延時間を大幅に減少させるとともに、コストを低減させる。また、ラインブロック単位での位置ずれ補正は、一方では、非直線的な画像位置ずれに対応可能とする。
【００１３】
また、本発明による第２の発明では、上記の画像位置合わせ方法において、画像の位置ずれ量算出処理に関し、まず、基準となる一方の画像のラインブロック内を一定分割し、次に、前記一定分割して得られた領域であるセルをテンプレートとして前記基準となる画像上でテンプレートマッチングを行い、次に、前記マッチング結果を定量評価することによって位置ずれ量算出に有効なセルを選択し、次に、前記選択されたセルを、有効な方向成分Ｘ、Ｙに応じてＸのみ、Ｙのみ、ＸＹ共、の３種類に分類して、選択セルとして登録し、次に、前記登録された選択セルをテンプレートとして他方の画像に対してテンプレートマッチングを行い、該マッチング結果に基づいて画像の位置ずれ量を算することを特徴とする画像位置合わせ方法を手段とする。
【００１４】
このような第２の発明による画像位置合わせ方法によって、ラインブロックにおける位置ずれ量をテンプレートマッチングにより算出する場合に、テンプレートとなるセルを、基準となる一方の画像のテンプレートマッチングの結果を定量評価して選択するという新規のアルゴリズムを用いることにより、最適なマッチングエリアすなわち最適なテンプレートとなるセルが自動的に得られるようにする。さらに詳しく述べれば、セル候補について基準となる一方の画像上でテンプレートマッチングを行い、その自己マッチング結果の定量的な評価結果に基づき選択したセル（選択セル）を、Ｘ、Ｙの２方向におけるテンプレートマッチングの安定性に応じてＸセル、Ｙセル、ＸＹセルの３種類に分類して登録することにより、セルを図柄に応じた最適位置（マッチング位置と非マッチング位置の差異が明確であり、かつ、サーチ範囲に疑似マッチング位置が無い図柄部分）に設定して、安定で誤差の少ない位置合わせを可能とする。
【００１５】
また、本発明による第３の発明では、以上の画像位置合わせ方法において、画像の位置ずれ量算出処理に関し、まず、基準となる一方の画像のラインブロック内を一定分割して得られるセルまたは選択セルをテンプレートとして他方の画像に対してテンプレートマッチングを行い、次に、前記マッチング結果を定量評価することによってマッチング結果の有効・無効を判定し、次に、前記有効と判定されたマッチング結果に基づいて画像の位置ずれ量を算出することを特徴とする画像位置合わせ方法を手段とする。
【００１６】
このような第３の発明の画像位置合わせ方法によって、基準となる画像と検査対象画像のセルまたは選択セルでのテンプレートマッチングにおけるマッチング結果を定量的に評価して有効なマッチング結果だけを位置ずれ量とする新規のアルゴリズムを用いることにより、異常な位置ずれ量算出値を排除して、すなわち突飛な誤差を予め足切りして、処理時間の短い安定で誤差の少ない位置合わせを可能とする。
【００１７】
また、本発明による第４の発明では、以上の画像位置合わせ方法において、画像の位置ずれ量算出処理に関し、基準となる一方の画像のラインブロック内にテンプレートとなる複数のセルまたは選択セルが存在し、有効と判定されたマッチング結果が複数個あり、他方の画像のラインブロックについて複数個の位置ずれ量が得られた場合には、該複数個の位置ずれ量を平均化したものを位置ずれ量算出結果とすることを特徴とする画像位置合わせ方法を手段とする。
【００１８】
このような第４の発明の画像位置合わせ方法によって、複数のセルまたは選択セルにおける位置ずれ量算出結果を平均化してラインブロックの位置ずれ補正量とすることにより、ラインブロック単位の安定で誤差の少ない位置ずれ補正を、少ないハードウェアと短い処理時間で実現し、安定で誤差の少ない位置合わせを可能とする。
【００１９】
また、本発明による第５の発明では、以上の画像位置合わせ方法において、画像の位置ずれ量算出処理に関し、当該ラインブロックについて算出した位置ずれ量と手前のラインブロックの位置ずれ量とを比較し、その差が閾値以上の場合、当該ラインブロックの位置ずれ量を予め設定した値にすることを特徴とする画像位置合わせ方法を手段とする。
【００２０】
このような第５の発明の画像位置合わせ方法によって、疑似マッチングによる誤差が多く含まれている場合に起こり得る不具合を防止し、即ち実際に発生し得る位置ずれ量を大きく越えた過剰な位置ずれ補正となることを防止し、また、位置ずれ補正を緩やかに実行し補正後のラインブロック間の画像の繋がりをよりスムーズにする。
【００２１】
また、本発明による第６の発明では、以上の画像位置合わせ方法において、あるラインブロックに関し、基準となる一方の画像のセルまたは選択セルをテンプレートとして他方の画像に対してテンプレートマッチングを行う時に、基準となる一方の画像のセルまたは選択セルのアドレスに対して、すでに求められている手前のラインブロックにおける位置ずれ量を用いて位置ずれ補正を行ったアドレスを、他方の画像のセルアドレスとすることを特徴とする画像位置合わせ方法を手段とする。
【００２２】
このような第６の発明の画像位置合わせ方法によって、基準画像のセルまたは選択セルをテンプレートとするテンプレートマッチングが検査画像の対応エリアに対して実行されるとき、検査画像のアドレスを予め手前のラインブロックの位置ずれ量で補正することにより、テンプレートマッチングを行う時のいわゆるサーチ範囲（検索範囲）を小さして、処理時間を大幅に短縮し、また位置ずれ許容量を大きくする。
【００２３】
また、本発明による第７の発明では、以上の画像位置合わせ方法において、１つのラインブロックにおける位置合わせ補正処理は、該ラインブロックの一つ手前以前のラインブロックにおける位置ずれ量または該ラインブロックに引き続く次以降のラインブロックにおける位置ずれ量算出結果に基づいてなされることを特徴とする画像位置合わせ方法を手段とする。
【００２４】
このような第７の発明の画像位置合わせ方法によって、位置ずれの累積による増大に対応できるようにする。
【００２５】
さらに、本発明による第８の発明では、被検査製品についての画像の水平走査ライン又はその集合を逐時入力する撮像手段と、前記入力画像と基準となる画像について一定数の隣接する水平走査ラインから構成されるラインブロックを単位としてセルマッチングにより画像の位置ずれ量を算出する手段と、前記算出した位置ずれ量に基づいて前記入力画像と基準となる画像の位置ずれを補正して位置合わせ補正を行う手段と、前記位置合わせ補正された入力画像ならびに基準となる画像とを比較し差分値を算出する手段と、前記算出した差分値により両画像の同一性を判定して被検査製品の欠陥を判断する手段と、を有し、前記両画像の同一性を判定する前にラインブロック単位の位置ずれ量の補正を行うことを特徴とする画像位置合わせ方法を用いる製品検査装置を手段とする。
【００２６】
このような第８の発明による製品検査装置によって、本発明の位置合わせ方法を利用し、リアルタイム性を有し、少ないハードウェアかつ短い処理時間で、非直線的な画像位置ずれを許容して製品の形状、あるいは製品上の図柄等の良否判定を可能とする。
【００２７】
【発明の実施の形態】
以下に図面を用いて本発明の実施の形態について詳細に説明する。
【００２８】
図１は本発明の概念を説明するための第１の実施形態の機能ブロック図である。基準画像１は基準画像メモリ等のデータ蓄積手段により保持され、２次元配列で表現される。この２次元配列におけるｘアドレスは画像入力走査のビット方向に対応し、ｙアドレスは画像入力走査のライン方向に対応する。この画像平面をｑラインずつ束ねてｎ個のラインブロック（ＬＢ０_o，，，，ＬＢ０_k，，，ＬＢ０_n）に分割する。さらに、ラインブロックをｐビットで区切ってセル（Ｃ_0k，Ｃ_1k，，Ｃ_jk，，，，Ｃ_mk）を構成する。
【００２９】
基準画像１が入力され保持されると、全セルについて基準画像１上で近傍ずらしマッチング演算が実行され、後に詳細に述べる評価アルゴリズムによってテンプレートとして適したセルが選別され、選択セルとして登録される。通常は明瞭な図柄を含むセルが選択セルとなり、図１の場合には図柄である十文字パターンを含んだ斜線を施したセルが選択セルである。選択セルにはＸセル、Ｙセル、ＸＹセルの３種類がある。ＸセルはＸ方向の位置ずれ量算出にのみ有効な選択セルであり、Ｙ方向に変化の少ない図柄を含むようなセルの場合（図の左下がり斜線で示した選択セル）に該当する。また、ＹセルはＹ方向の位置ずれ量算出にのみ有効な選択セルであり、Ｘ方向に変化の少ない図柄を含むようなセルの場合（図の右下がり斜線で示した選択セル）に該当する。また、ＸＹセルはＸＹ両方向とも有効な選択セルであり、ＸＹいずれの方向にも変化の大きな図柄を含む図のクロス斜線で示した選択セルが該当する。
【００３０】
選択セルのアドレスは登録され、検査画像２の入力に同期して該当するラインブロックにある選択セルのアドレスが選択セルアドレス発生部３より出力される。例えば、検査画像２のラインブロックＬＢ１_k+1が入力されると、選択セルアドレス発生部３よりラインブロックＬＢ０_kにある選択セルＣ_jkのアドレス（ｘ_j，ｙ_k）が出力され、これによって基準画像１の選択セルＣ_jkの画素濃度値データがセルマッチング演算部４に送り込まれる。
【００３１】
一方、選択セルアドレス発生部３より出力されたアドレス（ｘ_j，ｙ_k）はセルアドレス変換部５に入力され、これに１ラインブロック手前の位置ずれ量（ΔＸ_k-1，ΔＹ_k-1）を加算したアドレス（ｘ_j＋ΔＸ_k-1，ｙ_k＋ΔＹ_k-1）に変換され、セルマッチングを行う検査画像２のアドレスとして出力される。但し、ｋ＝０のときには、前式におけるΔＸ_k-1とΔＹ_k-1の値は、ΔＸ_k-1＝０，ΔＹ_k-1＝０、または、１つ手前の検査画像における最終ラインブロックの位置ずれ量（ΔＸ_n，ΔＹ_n）^-1を用いてΔＸ_k-1＝ΔＸ_n，ΔＹ_k-1＝ΔＹ_n、または、あらかじめ別の手段によって計測した位置ずれ量（Δα，Δβ）を用いてΔＸ_k-1＝Δα，ΔＹ_k-1＝Δβ、とする。このアドレスに基づき検査画像２の画素濃度値データがセルマッチング演算部４に送り込まれ、基準画像１の選択セルＣ_jkをテンプレートとするテンプレートマッチングが検査画像２の対応エリアに対して実行される。このとき、検査画像２のアドレスは予め手前のラインブロックの位置ずれ量で補正されているのでテンプレートマッチングを行う時のいわゆるサーチ範囲（検索範囲）が小さくなり処理時間が大幅に短縮され、また位置ずれ許容量も大きくできる。
【００３２】
セルマッチング演算部４でのテンプレートマッチングの結果は、例えばサーチ範囲全域または部分域についてのセル領域の画素濃度差分累積値の２次元配列要素で実現される２次元空間分布データ（累積値の２次元マップ）であり、また、セル領域の画素濃度差分累積値の最小値Ｓ_jであり、また、最小値Ｓ_jを与える相対アドレス（Δｘ_jk，Δｙ_jk）である。ここに相対アドレス（Δｘ_jk，Δｙ_jk）は選択セルＣ_jkのアドレス（ｘ_j，ｙ_k）に対する相対アドレスである。最小値Ｓ_jは評価部６において閾値判定され、例えばＳ_j＞ＴＨ_s（ＴＨ_sは任意に設定または画像濃度差分累積値の演算処理によって設定される閾値）の場合にはテンプレートマップの結果は無効とされる。また、評価部６においては、画素濃度差分累積値の２次元空間分布データから分布計上、最大値、最小値、極大値の数、極小値の数、平均値等の諸量が算出・評価され、テンプレートマッチング結果の有効・無効が判定される。有効の場合には、最小値Ｓ_jを与えるアドレス（Δｘ_jk，Δｙ_jk）は平均化演算部７に送り込まれ、同一ラインブロック内の他の選択セルにおけるテンプレートマッチング結果から得られた最小値Ｓ_rを与えるアドレス（Δｘ_rk，Δｙ_rk）と平均化処理されて、ラインブロックＬＢ１_kに適用される位置ずれ量（ΔＸ_k，ΔＹ_k）が例えば以下の式により求められる。
【００３３】
【数１】

【００３４】
また、拡張された平均化処理の例では、上式の平均化処理によって求まった位置ずれ量（ΔＸ_k，ΔＹ_k）と１つ手前のラインブロックの位置ずれ量（ΔＸ_k-1，ΔＹ_k-1）との比較演算を行い、例えばΔＸ_k−ΔＸ_k-1＞１の場合にはΔＸ_k＝ΔＸ_k-1＋１で与え、ΔＸ_k−ΔＸ_k-1＜−１の場合にはΔＸ_k＝ΔＸ_k-1−１で与える。これによって、通常の平均化処理によって求まった位置ずれ量（ΔＸ_k，ΔＹ_k）に疑似マッチング等による誤差が多く含まれている場合に起こりうる不具合を防止し、即ち実際に発生しうる位置ずれ量（通常は隣合ったラインブロック間では±１画素程度）を大きく越えた過剰な位置ずれ補正となることを防止し、また、位置ずれ補正を緩やかに実行し補正後のラインブロック間の画像の繋がりをよりスムーズにすることができる。
【００３５】
なお、選択セルがＸセルの場合にはΔｙ_jkは無効とされ、またＹセルの場合にはΔｘ_jkは無効とされ、平均化要素には加えられない。また、選択セルが存在しないか、または存在しても有効なラインブロックの位置ずれ量が１個も得られなかった場合には、そのラインブロックの位置ずれ量（ΔＸ_k，ΔＹ_k）は１つ手前のラインブロックの位置ずれ量（ΔＸ_k-1，ΔＹ_k-1）とする。
【００３６】
以上の方法により求められたメモリ８に保持された位置ずれ量（ΔＸ_k，ΔＹ_k）に基づき、検査のための画素比較に必要な位置補正された比較画素アドレスが生成される。すなわち、検査画像２のラインブロックＬＢ１_kについての比較演算を実行する場合では、比較画素アドレス発生部９より出力された検査画像の検査画素アドレス（ｘ，ｙ）により検査画像２の検査画素の濃度値データが比較部１１に入力される。一方、比較画素アドレス変換部１０により、検査画素アドレス（ｘ，ｙ）に対応した基準画像１の画素アドレス（ｘ_k，ｙ_k）が算出される。
【００３７】
なお、セルマッチングの結果、検査画像の絵柄に位置ずれが発生しており、前後のラインブロックとの間に絵柄がはみ出している場合には、前後のラインブロックで位置ずれ補正を行うようにしても良い。従って、この場合は、ｋ番目のラインブロックのアドレス補正の際、例えば、，，，ｋ−１，ｋ，ｋ＋１，，，番目のいずれかのラインブロックに対する位置ずれ補正量を選択して使用すれば良い。
【００３８】
上記により、例えば、基準画素アドレス（ｘ_k，ｙ_k）は以下の式で与えられる（ｋ＋１番目を選択した場合）。
【００３９】
ｘ_k＝ｘ−ΔＸ_k+1……（３）
ｙ_k＝ｙ−ΔＹ_k+1……（４）
但し、ｋ＝ｎのとき（最終ラインブロックのとき）には、
ｘ_k＝ｘ−ΔＸ_n
ｙ_k＝ｙ−ΔＹ_n
また、式（３）、式（４）は必要に応じて以下の式で与えても良い（ｋ番目を選択した場合）。
【００４０】
ｘ_k＝ｘ−ΔＸ_k
ｙ_k＝ｙ−ΔＹ_k
以上により求められた基準画素アドレス（ｘ_k，ｙ_k）により基準画像１の基準画素の濃度値データが比較部１１に入力される。これによって、基準画像と検査画像の位置合わせされた画素の比較演算が実行され、比較結果が出力される。
【００４１】
次に、本発明の画像位置合わせ方法の具体的な実施形態である第２の実施形態ついて図面を用いて説明する。図２はその第２の実施形態を示す機能ブロック図である。
【００４２】
図において、ＲＥＭは基準画像メモリであり、基準画像の１画面を保持する。ＬＢＭはラインブロックバッファメモリであり、図では３ラインブロックを保持する構成であるが、テンプレートマッチングにおけるサーチ範囲や処理速度等の必要に応じて保持するラインブロック数を設定できる。基準画像メモリＲＥＭ及びラインブロックバッファメモリＬＢＭ等のメモリには必要に応じて、ランダムアクセスタイプまたはファーストインファーストアウトタイプ（ＦＩＦＯタイプ）等が使用される。
【００４３】
ＣＭＵはセルマッチング演算部でＡ入力にはテンプレートとなる選択セル画像が加えられ、Ｂ入力にはサーチされる画像が以下のセレクタＳＥＬより入力される。セルマッチング演算部ＣＭＵの出力は、全サーチ範囲での個々のずらしにおける画素差分累積値の集合と累積値の最小値Ｓを与える位置ずらし量（相対アドレス）である。ＳＥＬはセレクタであり、セルマッチング演算部ＣＭＵのＢ入力に対し、基準登録動作時には基準画像を、検査時には検査画像を選択して入力する。ＡＤＤはセルアドレス変換部であり、後記する選択セル登録テーブルＳＣＴから出力されたアドレスに基づいてマッチングを行う検査画像のアドレスを生成する。
【００４４】
ＭＥＵはマッチング誤差評価部であり、検査時においてミスマッチングの程度を反映している最小値Ｓの大きさを評価して当該選択セルについてのテンプレートマッチングの有効・無効を判定する。評価の基準は任意に設定した閾値による場合もあり、累積値の集合から得られる統計データに基づく閾値による場合もあり、後記する汎用演算ユニットＭＰＵから設定する場合もある。
【００４５】
ＡＶＵは平均化演算部であり、検査時において１つのラインブロック内の複数の選択セルの位置ずれ量の平均値を求めるための演算回路および必要に応じて１つ手前のラインブロックの位置ずれ量との比較演算回路により構成される。ＤＡＭは位置ずれ量メモリであり少なくとも現在処理中のラインブロックの位置ずれ量と１つ手前のラインブロックの位置ずれ量を保持している。
【００４６】
ＣＥＵは選択セル評価部であり、基準登録動作時において、累積値の集合の空間的な分布形態や最小値Ｓ以外の累積値の大きさの評価結果に基づいて選択セルを決定し３種類に分類する。ＣＳＴはセル評価順設定テーブルであり、ラインブロック内の全セルを逐次自己テンプレートマッチングにより評価して選択するにあたり、評価の対象とするか否か、および評価の対象とするなら評価にかける順番を指定する。通常は選択セルに場所的な偏りが生じないように順番がランダムになるように設定される。また、図柄によって選択セルの場所をコントロールすることが有用な場合があるので、後記する汎用演算ユニットＭＰＵからの任意設定が可能な構成である。ＳＣＴは選択セルアドレス発生部に相当する選択セル登録テーブルであり、基準画像入力とそれにつづくセル選択処理の後に、全ての選択セルのアドレスと分類が登録される。
【００４７】
ＭＡＧは比較画素アドレス発生部であり、入力画像のスタートタイミングおよびラインスタートタイミングおよび画素クロックに同期してアドレスを生成し出力する。ＳＵＢは比較画素アドレス変換部に相当する減算器であり、検査時において後記する比較画素アドレス発生部ＭＡＧからの比較画素アドレスから位置ずれ量メモリＤＡＭに保持された位置ずれ量を減算したアドレスを作成し、基準画像メモリＲＥＭの比較画素アドレスとする。選択セルＰＣＵは画素比較部であり、基準画像メモリＲＥＭまたはＲＥＭと同一アドレス空間を持ったメモリ（図示せず）の位置合わせされた画素とラインブロックバッファメモリＬＢＭの画素との画素濃度値データの比較演算を行う。
【００４８】
ＭＰＵは汎用演算ユニットであり、機能ブロックに対する動作条件設定やデータ設定を行い、さらに機能ブロック全体の動作制御を行う。
【００４９】
以上の構成の実施形態の動作を以下に説明する。図３はその動作を説明するためのフローチャートである。
【００５０】
基準登録動作時には、まず、入力画像は基準画像メモリＲＥＭに蓄積・保持される。次に、セル評価順設定テーブルＣＳＴより指示されるアドレスのセルが基準画像メモリＲＥＭよりセルマッチング演算部ＣＭＵに入力され、テンプレートマッチングが実行されて画素差分累積値が選択セル評価部ＣＥＵに送られ評価・分類され、選択セルが選択セル登録テーブルＳＣＴに登録されて基準登録が終了する。
【００５１】
次に、検査処理動作時には検査画像がラインブロック単位で逐時、ラインブロックバッファメモリＬＢＭに入力され、選択セル登録テーブルＳＣＴより指示されたアドレスを変換して生成された検査画像アドレスの検査画像がセレクタＳＥＬを介してセルマッチング演算部ＣＭＵに入力される。一方、選択セル登録テーブルＳＣＴより指示されたアドレスの選択セルが基準画像メモリＲＥＭよりセルマッチング演算部ＣＭＵに入力される。ここで、選択セルについてテンプレートマッチングが実行されて、画素差分累積値等のデータがマッチング誤差評価部ＭＥＵに送られ評価される。ラインブロックの複数の選択セルの評価結果は平均化演算部ＡＶＵで平均化され、そのラインブロックにおける位置ずれ量が算出され、位置ずれ量メモリＤＡＭに入力され保持される。
【００５２】
続いて、基準と検査の２画像における画素比較は次のように実行される。ラインブロックバッファメモリＬＢＭに保持されている検査画像のラインブロックは、必要な位置ずれ量が求まるまでの時間遅延が与えられ、順次、画素比較部ＰＣＵへ入力される。一方、標準画像メモリＲＥＭに保持されている基準画像の上記ラインブロックに対応する画素が画素比較部ＰＣＵに入力され、検査画像の画素との比較演算が実行される。この時の比較画素のアドレスは、比較画素アドレス発生部ＭＡＧで生成され、ラインブロックバッファメモリＬＢＭおよび標準画像メモリＲＥＭに入力される。標準画像メモリＲＥＭに入力されるアドレスは減算部ＳＵＢによって位置ずれ量補正演算が行われる。検査画像と比較される画像は標準画像メモリＲＥＭの画像に限ることなく外部に保持されている画像でもよい。このため、減算部ＳＵＢの出力は位置ずれ補正量として外部へ出力される場合もある。
【００５３】
なお、本実施形態ではラインブロックバッファメモリＬＢＭの画素アドレスを基準として標準画像メモリＲＥＭの画素アドレスを補正する場合について示したが、画素アドレスはあくまで２つの画像間での相対アドレスとして扱われるのでアドレスの基準は標準画像メモリＲＥＭの画素アドレスであってもよい。
【００５４】
次に、本発明の画像位置合わせ方法を用いた適用例として製品検査装置の実施形態を説明する。
【００５５】
図４は、その構成とともに動作を説明する図である。２１はカメラであり、被検査製品２２の外観やその上の印刷内容等を撮像する。カメラ２１で撮像された画像は画像位置合わせ部２３へラインブロック単位で逐次入力される。画像位置合わせ部２３の構成は、図１、図２に示した構成であり、予め登録された標準画像とカメラ２１からの入力画像との差分値をラインブロック単位の位置合わせによる補正をしつつ算出し、最小の値を差分値として出力する。２４は良否判定部であり、画像位置合わせ部から出力された差分値が閾値より大きいか否かを判定することで、被検査製品２２の外観や印刷内容等に欠陥があるか否かを判定する。
【００５６】
以上に述べた本発明の実施形態例では、画像の画素比較による製品検査への適用を想定して説明したが、これに限らず位置ずれ量をリアルタイムで高精度に計測する用途に適用できる。例えば、物体の定速搬送における速度むら、蛇行、位置ずれなどの計測である。
【００５７】
【発明の効果】
以上述べた説明から明らかなように、画像を一定分割したラインブロック毎に逐次位置ずれを検査し位置合わせするという本発明の画像位置合わせ方法によるアルゴリズムを用いれば、標準画像と検査画像のＸ方向とＹ方向の画像位置合わせがラインブロック毎に実行されるので、検査画像に非直線的なずれや伸縮がある場合でも誤差の少ない位置合わせが可能になり、十分な信頼性が得られるとともに、検査画像が入力された後、少なくとも２、３ラインブロックの遅延時間（通常はラインブロックの大きさは数ラインから数十ラインであり、画像の大きさは数百ラインから数千ラインなので、１画像の入力時間のおよそ数十分の１の時間が見積もられる。）で位置ずれ量が算出されるので、画素比較演算がほぼ検査画像の入力と同時に実行されることになり、検査時間の高速化が可能になる。従来は、画像メモリへの一画面の入力が完了するまでできなかったので、従来より大幅に処理時間を短縮することができる。さらに、検査画像は位置ずれ量の算出と画素比較が終了すれば不要となるので新しいラインブロックに逐時更新され、従って検査画像の保持は数ラインブロックに限られるので、検査画像保持用の画像メモリの大きさは１画像の数十分の１となり低コストとなる。
【００５８】
また、本発明の画像位置合わせ方法において、位置ずれ量算出のためのテンプレートマッチングに用いるテンプレートとなるセルの選択において、標準画像に対するテンプレートマッチングの結果を定量的に評価して選択し、３種類に分類して登録する方式とした場合には、特に、位置ずれ量算出に適した図柄を含む選択セルが十分な個数得られ、安定で誤差の少ない位置合わせが可能となる。
【００５９】
また、本発明の画像位置合わせ方法において、位置ずれ量算出のための検査画像でのテンプレートマッチングに関し、マッチング結果の評価によって有効な位置ずれ量のみを選別して位置合わせを行うようにした場合には、特に、異常な位置ずれ量が排除され、安定で誤差の少ない位置合わせが可能となる。
【００６０】
また、本発明の画像位置合わせ方法において、位置ずれ量算出のための検査画像でのテンプレートマッチングに関し、複数個のセルにより得られた複数個の位置ずれ量算出結果を平均化するようにした場合にも、特に、異常な位置ずれ量が排除され、安定で誤差の少ない位置合わせが可能となる。
【００６１】
また、本発明の画像位置合わせ方法において、画像の位置ずれ量算出処理に関し、当該ラインブロックについて算出した位置ずれ量と手前のラインブロックの位置ずれ量とを比較し、その差が閾値以上の場合、当該ラインブロックの位置ずれ量を予め設定した値にするようにした場合には、特に、疑似マッチングによる誤差が多く含まれている場合に起こり得る不具合を防止し、即ち実際に発生し得る位置ずれ量を大きく越えた過剰な位置ずれ補正となることを防止し、また、位置ずれ補正を緩やかに実行し補正後のラインブロック間の画像の繋がりをよりスムーズにすることができる。
【００６２】
また、本発明の画像位置合わせ方法において、基準画像のセルまたは選択セルをテンプレートとするテンプレートマッチングが検査画像の対応エリアに対して実行されるとき、検査画像のアドレスを予め手前のラインブロックの位置ずれ量で補正するようにした場合には、特に、テンプレートマッチングを行う時のいわゆるサーチ範囲（検索範囲）が小さくなり、処理時間が大幅に短縮され、また位置ずれ許容量を大きくすることができる。
【００６３】
また、本発明の画像位置合わせ方法において、１つのラインブロックにおける位置合わせ補正処理を、該ラインブロックの一つ手前以前のラインブロックにおける位置ずれ量または該ラインブロックに引き続く次以降のラインブロックにおける位置ずれ量算出結果に基づいてなされるようにした場合には、特に、位置ずれの累積による増大に容易に対応することができる。
【００６４】
さらに、本発明による製品検査装置によれば、撮像手段から被検査製品についての画像の水平走査ライン又はその集合を逐時入力し、位置ずれ量算出手段で入力画像についてラインブロックを単位として基準画像を用いたセルマッチングにより画像の位置ずれ量を算出し、算出した位置ずれ量に基づいて位置合わせ補正手段で位置ずれを補正し、差分値算出手段で入力画像と基準画像を逐次比較して差分値を算出し、この差分値により両画像の同一性を判定して被検査製品の欠陥を判断するようにしたので、リアルタイム性を有し、少ないハードウェアかつ短い処理時間で、非直線的な画像位置ずれを許容して製品の形状、あるいは製品上の図柄等の良否判定することができる。
【図面の簡単な説明】
【図１】本発明による画像位置合わせの原理を説明するための第１の実施形態の概念図である。
【図２】本発明の第２の実施形態のブロック構成と動作の説明図である。
【図３】上記実施形態の処理手順を示すフローチャートである。
【図４】本発明の製品検査装置の実施形態の構成を示す説明図である。
【図５】従来技術の幾何学的変換処理による画像位置合わせ原理を説明するための概念図である。
【図６】従来例の処理手順を示すフローチャートである。
【符号の説明】
１…基準画像
２…検査画像
３…選択アドレス発生部
４…セルマッチング演算部
５…セルアドレス変換部
６…評価部
７…平均化演算部
８…ΔＸΔＹメモリ
９…比較画素アドレス発生部
１０…比較画素アドレス変換部
１１…比較部
２１…カメラ
２２…被検査製品
２３…画像位置合わせ部
２４…良否判定部
ＡＤＤ…セルアドレス変換部
ＡＶＵ…平均化演算部
ＣＥＵ…選択セル評価部
ＣＭＵ…セルマッチング演算部
ＣＳＴ…セル評価順設定テーブル
ＤＡＭ…位置ずれ量メモリ
ＬＢＭ…ラインブロックバッファメモリ
ＭＡＧ…比較画素アドレス発生部
ＭＥＵ…マッチング誤差評価部
ＭＰＵ…汎用演算ユニット
ＰＣＵ…画素比較部
ＲＥＭ…標準画像メモリ
ＳＣＴ…選択セル登録テーブル
ＳＥＬ…セレクタ
ＳＵＢ…減算器

Claims

同一図柄の２画像のうち一方の画像データを基準画像データとして該２画像の画像データを比較し、算出した差分値により該２画像の同一性を判定する際に、画像の位置ずれを補正するための画像位置合わせ方法において、
水平走査ライン又はその集合が逐時伝送されてきたとき、同一図柄の２画像について一定数の隣接する水平走査ラインから構成される複数のラインブロックに分割し、２画像の対応する各ラインブロックの２次元的画像の特徴に基づく相対位置ずれ量算出処理を行い、算出された位置ずれ量に基づき該２画像の対応する各ラインブロックの位置ずれ補正処理を行い、これらの処理を２画像の対応する全てのラインブロックに対して実行することにより、ラインブロック単位で独立に位置ずれ補正された２画像のパターンマッチングを行う、
ことを特徴とする画像位置合わせ方法。
画像の位置ずれ量算出処理においては、
まず、基準となる一方の画像のラインブロック内を一定分割し、
次に、前記一定分割して得られた領域であるセルをテンプレートとして前記基準となる画像上でテンプレートマッチングを行い、
次に、前記マッチング結果を定量評価することによって位置ずれ量算出に有効なセルを選択し、
次に、前記選択されたセルを、有効な方向成分Ｘ、Ｙに応じてＸのみ、Ｙのみ、ＸＹ共、の３種類に分類して、選択セルとして登録し、
次に、前記登録された選択セルをテンプレートとして他方の画像に対してテンプレートマッチングを行い、該マッチング結果に基づいて画像の位置ずれ量を算する、
ことを特徴とする請求項１記載の画像位置合わせ方法。
画像の位置ずれ量算出処理においては、
まず、基準となる一方の画像のラインブロック内を一定分割して得られるセルまたは選択セルをテンプレートとして他方の画像に対してテンプレートマッチングを行い、
次に、前記マッチング結果を定量評価することによってマッチング結果の有効・無効を判定し、
次に、前記有効と判定されたマッチング結果に基づいて画像の位置ずれ量を算出する、
ことを特徴とする請求項１または請求項２記載の画像位置合わせ方法。
画像の位置ずれ量算出処理において、
基準となる一方の画像のラインブロック内にテンプレートとなる複数のセルまたは選択セルが存在し、有効と判定されたマッチング結果が複数個あり、他方の画像のラインブロックについて複数個の位置ずれ量が得られた場合には、該複数個の位置ずれ量を平均化したものを位置ずれ量算出結果とする、
ことを特徴とする請求項３記載の画像位置合わせ方法。
画像の位置ずれ量算出処理においては、
当該ラインブロックについて算出した位置ずれ量と手前のラインブロックの位置ずれ量とを比較し、その差が閾値以上の場合、当該ラインブロックの位置ずれ量を予め設定した値にする、
ことを特徴とする請求項１から請求項４までのいずれかに記載の画像位置合わせ方法。
あるラインブロックについて、基準となる一方の画像のセルまたは選択セルをテンプレートとして他方の画像に対してテンプレートマッチングを行う時に、
基準となる一方の画像のセルまたは選択セルのアドレスに対して、すでに求められている手前のラインブロックにおける位置ずれ量を用いて位置ずれ補正を行ったアドレスを、他方の画像のセルアドレスとする、
ことを特徴とする請求項２から請求項５までのいずれかに記載の画像位置合わせ方法。
１つのラインブロックにおける位置合わせ補正処理は、
該ラインブロックの一つ手前以前のラインブロックにおける位置ずれ量または該ラインブロックに引き続く次以降のラインブロックにおける位置ずれ量算出結果に基づいてなされる、
ことを特徴とする請求項１から請求項６までのいずれかに記載の画像位置合わせ方法。
被検査製品についての画像の水平走査ライン又はその集合を逐時入力する撮像手段と、
前記入力画像と基準となる画像の２画像について一定数の隣接する水平走査ラインから構成される複数のラインブロックに分割し２画像の対応する各ラインブロックの２次元的画像の特徴に基づくセルマッチングによって相対位置ずれ量を算出する請求項１から請求項７記載の画像位置合わせ手段と、
前記算出された位置ずれ量に基づいて該２画像の対応する各ラインブロックの位置ずれ補正処理を行い、これらの処理を２画像の対応する全てのラインブロックに対して実行することにより、ラインブロック単位で独立に位置ずれを補正して画像位置あわせを行う手段と、
前記位置合わせ補正された入力画像ならびに基準となる画像とを比較し差分値を算出する手段と、
前記算出した差分値により両画像の同一性を判定して被検査製品の欠陥を判断する手段と、を有し、
前記両画像の同一性を判定する前にラインブロック単位の位置ずれ量の補正を行う、
ことを特徴とする請求項１から請求項７記載の画像位置合わせ方法を用いる製品検査装置。