JPH1131227A - 画像認識による計測方法および記録媒体 - Google Patents

Abstract

(57)【要約】 【課題】 乱反射のある任意形状の計測対象の等濃度線
や輪郭をソフトウェア処理でローコスト、高速、安定に
抽出する画像認識による計測方法を提供する。 【解決手段】 まず外圧モデル／内圧モデルを選択し、
抽出等濃度線等の濃度を指定する。次に対象画像に対
し、バネ要素を繋いだバネ・リングを設定する。例えば
外圧モデルの場合、指定濃度相当の一様な外圧分布を節
点力に変換してリング外側からバネ要素節点に加える。
又、バネ・リング上の濃度分布相当の内圧分布を節点力
に変換してリング内側から節点に加える。この内外の節
点力が釣り合うようバネ要素節点を動かし、指定濃度の
等濃度線等を得る。バネ・リング上の濃度分布は、変換
の際に積分され濃淡ムラのノイズは平均化、平滑化され
る。又、リング状バネモデルは一次元的なバネ連成系な
ので、処理は極めて高速である。このため、本計測の処
理はコンピュータのソフトウェア処理で行える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、乱反射のある任意
形状の計測対象物の等濃度線や形状輪郭を、バネモデル
を用いて平滑化を行い、ローコストで高速かつノイズ・
外乱に強く検出、計測する技術に関するものである。

【０００２】

【従来の技術】この種の従来の技術では、例えばプリン
ト基板上のクリームはんだやリフロー後はんだ、実装部
品等の計測対象物に照明光を照射して撮像し、フィルタ
リングを施してノイズを除去した後、対象画像の平面情
報（平面形状、面積）を得て、計測対象物の検出・計測
・検査を行っている。

【０００３】また、レーザスキャン方式で高さを計測す
る技術として、レーザ光切断法がある。レーザ光を走査
して得られる計測対象物の光切断線を三角測距方式で観
測することにより、対象物の垂直断面が計測でき、高さ
情報が得られる。この高さ情報をベースにして、対象物
の形状データ（平面形状、面積、高さ、体積）を算出
し、対象物の検出・計測・検査を行うことが可能であ
る。

【０００４】上記フィルタリングによく用いられるフィ
ルタとしては、メディアンフィルタや単純加重平均フィ
ルタがあるが、その他には、包絡線処理によるモーフォ
ロジのＣＯフィルタ（ｃｌｏｓ‐ｏｐｅｎｉｎｇ‐ｆｉ
ｌｔｅｒ）、ＯＣフィルタ（ｏｐｅｎ‐ｃｌｏｓｉｎｇ
ｆｉｌｔｅｒ）等が用いられている。

【０００５】

【発明が解決しようとする課題】上述の従来の計測技術
において、計測対象が例えばプリント基板への部品実装
に用いられるクリームはんだ印刷のような物である場合
の問題点について、以下に述べる。

【０００６】クリームはんだは、１０μｍ程度の微小な
はんだボールを泥練したものであり、多孔質状であるた
め、表面性状は凹凸が著しい。このため、画像処理の場
合、照射光を乱反射し、撮像の際にはバラツキの大きな
濃淡ムラが生じる。この激しいノイズのために、クリー
ムはんだの滑らかな濃度分布を得ることが難しく、クリ
ームはんだの、ムラのない一様な平面形状や滑らかな形
状輪郭や等濃度線の抽出が困難であり、クリームはんだ
の検出・計測・検査が難しかった。同様に、レーザ光切
断法においても、同じく乱反射のために、ベースとなる
高さ情報が著しいノイズを含み、対象物の形状データ
（平面形状、面積、高さ、体積）の算出が困難となり、
クリームはんだの検出・計測・検査が難しかった。

【０００７】また、メディアンフィルタや単純加重平均
フィルタによるフィルタリングでは、ノイズが激しい
と、フィルタリング処理を行う局所領域窓枠の間でもノ
イズのバラツキが現れ、平滑化が困難である。また、モ
ーフォロジのＣＯフィルタ（ｃｌｏｓ‐ｏｐｅｎｉｎｇ
‐ｆｉｌｔｅｒ）、ＯＣフィルタ（ｏｐｅｎ‐ｃｌｏｓ
ｉｎｇ ｆｉｌｔｅｒ）は包絡線処理であって、激しい
振動的パルス状ノイズを平均化して、平滑化するもので
はないので、ノイズの上限値や下限値を取り込んだよう
な平滑化を行うため大きく輪郭がずれてしまう問題があ
る。輪郭・等濃度線の抽出には、１次・２次微分のよう
なエッジ検出の方法が用いられるが、ノイズが激しいと
微分の作用でノイズを増幅させるので、等濃度線・形状
輪郭の抽出は困難となる。

【０００８】さらに、画像認識では、グレー処理や２値
化処理が用いられるが、これらで扱う画素データは膨大
なため、処理に長時間がかかるという問題がある。この
ため、一般には、グレー処理、２値化処理の画像処理ボ
ードが用いられるが、設計の自由度が小さくなり、計測
対象への適合性を図る上で技術的制約を受けるととも
に、コストアップの要因となる。

【０００９】本発明は、上記の問題点を解決するため
に、 （１）計測対象物が乱反射のある任意形状の像であって
も、乱反射ノイズを平滑化して安定した任意の等濃度線
や任意の形状輪郭を得る。

【００１０】（２）扱う画素データを削減し、等濃度線
・形状輪郭の平滑化・抽出の処理を高速に行う。

【００１１】（３）専用の画像処理ボードを用いること
なく、ＣＰＵでのソフトウェア処理方式により、適合性
のよいアルゴリズムの開発、システム構成の単純化及び
コスト低減を可能とする。

【００１２】以上を実現できる画像処理による計測方法
を提供することを課題とする。

【００１３】

【課題を解決するための手段】本発明は、以下の手段
〈１〉〜〈４〉により、上記の課題を解決する。

【００１４】〈１〉両端に節点をもつバネ要素を、画像
上の対象物の等濃度線または形状輪郭に対応づけてリン
グ状に繋いでリングを構成する手順と、前記構成された
リングの外側と内側の一方側に、指定濃度に相当する圧
力分布を加えるとともに、前記リングの外側と内側の他
方側に該リング上の濃度分布に相当する圧力分布を加え
る手順と、前記リングの外側と内側に加えた圧力分布が
前記バネ要素の節点を通して釣り合うように該バネ要素
の節点を移動させる手順と、前記バネ要素のすべてにお
いて釣り合った時点での前記リングの形状を前記指定濃
度に対応する等濃度線または形状輪郭とする手順と、を
有することを特徴とする画像認識による計測方法。

【００１５】〈２〉前記節点を移動させる手順では、バ
ネ要素にリングの外側に加えた圧力分布とリングの内側
に加えた圧力分布を等価な節点力に変換し、前記変換さ
れた節点力が釣り合うように、バネ要素の節点を移動さ
せることを特徴とする画像認識による計測方法。

【００１６】〈３〉前記節点を移動させる手順では、前
記変換された節点力、およびバネ要素の節点応力が当該
節点で釣り合うようにバネの連立方程式を解き、節点変
位を得て、前記バネ要素の節点を移動させることを特徴
とする画像認識による計測方法。

【００１７】〈４〉上記〈１〉から〈３〉までの画像認
識による計測方法における手順をコンピュータに実行さ
せるプログラムを、該コンピュータが読み取り可能な媒
体に記録したことを特徴とする記録媒体。

【００１８】本発明では、画像上の対象物の等濃度線・
形状輪郭に対応づけて表現したリング状のバネモデルを
設定し、このバネモデルのバネ要素の節点に内外から指
定濃度に相当する圧力分布とリング上の濃度分布に相当
する圧力分布を節点力に変換して加え、これらが釣り合
うようにバネ要素節点を動かすことで、指定濃度の等濃
度線または輪郭形状を得る。ここで、リング上の濃度分
布は、節点力への変換の際にバネ要素上で積分され濃淡
ムラのノイズは平均化され平滑化される。また、リング
状のバネモデルは一次元的なバネ連成モデルであるた
め、処理は極めて高速に行うことができる。このため、
本発明の方法の処理の手順はコンピュータのソフトウェ
ア処理で行えるようになり、計測対象に関して適合性の
良いアルゴリズムの開発と、システム構成の単純化及び
コストの低減が可能となる。

【００１９】

【発明の実施の形態】以下、本発明の実施の形態につい
て図を用いて詳細に説明する。

【００２０】図１は、本発明による計測方法の一実施形
態例を実行する構成例を示すブロック図である。本実施
形態例では、プリント基板上の、乱反射のある濃淡ムラ
の大きなクリームはんだを塗布したランドの等濃度線や
形状輪郭を抽出する場合を例とする。

【００２１】図１において、１は計測対象を照明する照
明装置、２は計測対象物を撮像するカメラなどの撮像装
置、３は撮像した画像を取り込んで記憶またはストアす
る記憶装置（画像メモリ、メモリ、ハードディスク
等）、４は記憶またはストアした画像についてソフトウ
ェア処理による画像処理により計測を行う処理装置（Ｃ
ＰＵ）、５は本計測過程や処理結果等での画像やメッセ
ージ等を表示する表示装置（ディスプレー）である。

【００２２】以上の構成での本実施形態例の方法による
動作例を示す。図２は、本方法の処理手順を示す処理フ
ロー図である。また、図３は、本方法の説明図であっ
て、（ａ）は、計測対象物の画像の濃度分布の断面例を
示す図、（ｂ）は、リング状のバネモデル（外圧モデル
の例）の説明図である。

【００２３】本方法では、図３（ａ）の濃度分布の断面
例に示すような濃淡ムラの大きな任意形状のクリームは
んだの等濃度線や形状輪郭を濃度ムラを平滑化しながら
抽出するのに、図３（ｂ）のような閉じたリング状のバ
ネ要素モデルを用いる。このリング状のバネモデルは、
両端に節点を持ついくつかのバネ要素を節点で結び、リ
ングを構成したものである。このリングを、画像上のラ
ンドの輪郭に沿って設置する。

【００２４】本方法では、このリングに対し、濃度に相
当する圧力分布を作用させて、等濃度線や輪郭形状を抽
出するものであるが、圧力分布の作用させる向きによ
り、外圧モデルと内圧モデルに分かれる。外圧モデル
は、図３（ｂ）のようにリング外部から、等濃度線の指
定濃度に相当する一様な外圧分布（節点力Ｐに変換）を
作用させ、リング内部からは、リング上の濃度分布に相
当する内圧分布（節点力Ｐ_i，ｉ＝１〜ｎに変換）を作
用させる。内圧モデルは、上記外圧モデルと双対であ
り、リング内部から、等濃度線の指定濃度に相当する一
様な内圧分布を作用させ、リング外部からは、リング上
の濃度分布に相当する外圧分布を作用させる。

【００２５】始めに、照明装置１によりプリント基板上
の対象のクリームはんだを照射し、その対象画像を撮像
装置２で撮像し、記憶装置（画像メモリ、メモリ、ハー
ドディスク等）３に記憶またはストアする。

【００２６】次に、ＣＰＵ４において、図２の処理フロ
ーに従って濃淡ムラの大きなクリームはんだの等濃度線
（または形状輪郭）を平滑化して抽出するための処理を
行う。その際、上記した外圧モデル／内圧モデルの選択
を行うとともに、濃淡画像やヒストグラムを参照しなが
ら取り出すベき等濃度線の濃度値を指定する。ここで
は、外圧モデルを選択したとする。

【００２７】次に、濃淡ムラの大きなはんだの等濃度線
・形状輪郭を濃度ムラを平滑化しながら抽出するのに、
閉じたリング状のバネ要素モデル（バネ・リング）を、
記憶装置３に記憶またはストアした画像上のランドの輪
郭に沿って設置する。

【００２８】次に、バネ・リングを構成する個々のバネ
要素を設定するために、節点数と、その節点の位置を指
定する。なお、ここでの節点位置指定は、デフォルトの
等間隔に設定することも可能である。

【００２９】次に、外圧モデルでは、リング内部から、
リング上の濃度分布に相当する内圧分布を作用させるた
めに、設定されたバネ要素上の濃度分布を取り出し、節
点力に変換する。この節点力（内圧）は、リングのバネ
要素上の内圧分布を積分して得られたものであり、バネ
要素の両節点に作用する。このように、内圧側で濃度分
布はリングのバネ要素上で積分するので、濃淡ムラのノ
イズは平均化され平滑化される。また、通常は、複雑な
濃度分布のためにバネの両節点力は等しくなることはな
い。

【００３０】ここでの濃度分布を節点力に変換する方法
の一例を、図４を用いて説明する。バネ要素の両側の節
点力をＰ₁，Ｐ₂、バネ要素の方向をｘ方向、バネ要素上
の濃度分布をｐ（ｘ）、バネ要素の重心から節点までの
距離をｄ₁，ｄ₂、バネ要素の長さをｄ、バネ要素の重心
からの両節点力Ｐ₁，Ｐ₂によるモーメントをＭとする
と、

【００３１】

【数１】

【００３２】が成り立つので、これより節点力Ｐ₁，Ｐ₂
が求まる。上式で明らかなように、バネ要素上の濃度分
布を積分するため、濃淡ムラが平均化、平滑化される。

【００３３】次に、外部モデルでは、リング外部から、
等濃度線の指定濃度に相当する一様な外圧分布を作用さ
せるために、指定濃度を節点力に変換する。この節点力
（外圧）は等しい節点力としてバネの両節点に作用す
る。

【００３４】次に、図２の処理フローに戻って節点毎に
外圧側の節点力と内圧側の節点力との差をとり、両節点
力が釣り合って平衡しているか否かを判定する。不平衡
であれば、節点力が釣り合って平衡するように節点を移
動させる。節点移動ベクトルは、節点力とバネの節点応
力が節点で釣り合うように、以下に示すバネの連立方程
式を解いて求めた節点変位を合成することにより得るこ
とができる。すべての節点において平衡していれば、処
理を終了する。この終了時点でのバネ・リング形状（等
圧線）が、求める指定濃度の等濃度線または輪郭形状で
ある。ここで、バネは、リングがクロスしたりリング内
の閉領域が崩れたりすることを防ぎ、安定したリングが
出来る役割を果たす。

【００３５】ここでの釣り合いの計算方法の一例を、図
５を用いて説明する。ここでは、図中央のバネ要素に着
目する。ｉ，ｊはこのバネ要素の両側の節点である。こ
の両節点に働くバネの力をｆ_ij、バネの自然長をＬ₀、
節点に加わる力の釣り合いにより変位した長さをＬ、外
圧側から節点ｉに加わる節点力をＰ，Ｐ′、外圧側から
節点ｊに加わる節点力をＰ，Ｐ″、内圧側から節点ｉに
加わる節点力をＰ_i，Ｐ_i′、外圧側から節点ｊに加わる
節点力をＰ_j，Ｐ_j′とすると、次式の連立方程式を解く
ことで、変位したバネ長さＬを求めることができる。な
お、（スカラ量）と断り書きしていないｆ_ij、および
Ｐ，Ｐ′，Ｐ″，Ｐ_i，Ｐ_i′，Ｐ_j，Ｐ_j′はベクトルを
表す。また、節点力Ｐ′，Ｐ″，Ｐ_i′，Ｐ_j′は、隣接
するバネ要素に対して同様に加えられる節点力である。

【００３６】ｆ_ij（スカラ量）＝ｋ（Ｌ−Ｌ₀） 節点ｉで、Ｐ＋Ｐ′−ｆ_ij＋Ｐ_i＋Ｐ_i′＝０ 節点ｊで、Ｐ＋Ｐ″＋ｆ_ij＋Ｐ_j＋Ｐ_j′＝０ 次に、節点変位後に、バネ・リングを再構成し、それぞ
れの節点間バネの長さを新たなバネの自然長Ｌ₀と定め
る。ここで、リング上の濃度分布が新たに得られるの
で、再度、バネ要素上の濃度分布を取り出す処理に戻っ
て、節点力の計算、バネの連立方程式の計算を操り返
す。そして、前述の平衡判定により外圧側の節点力と内
圧側の節点力が等しくなったところで、等圧線＝等濃度
線が得られる。

【００３７】このリング状バネモデルは１次元的なバネ
連式モデルであるので、連立方程式の元数が少なく処理
は極めて高速である。このため、ソフトウェア処理にて
処理することができ、専用の画像処理ボードが不要とな
って、システム構成の単純化とローコスト化が実現でき
る。また、ソフトウェア処理方式により、設計の自由度
が得られるので、計測対象に最適なアルゴリズムの開発
が可能となり、計測精度を向上させることができる。

【００３８】なお、内圧モデルの場合は、上記外圧モデ
ルと双対であり、外圧モデルと同様にして処理すること
ができる。

【００３９】また、本発明は、ソフトウェア処理方式に
より処理することが可能であるから、前述した本方法の
手順をコンピュータに実行させるプログラムを、当該コ
ンピュータが読み取り可能な記録媒体（例えば、フロッ
ピーディスクやＣＤ−ＲＯＭ等）に記録して配布するこ
とが可能である。

【００４０】また、上記実施形態例では、プリント基板
上のクリームはんだの任意形状を検出する場合を例とし
て説明したが、本発明は、次に例示するような種々の分
野に適用可能である。

【００４１】（１）プリント基板等の分野 プリント基板上のはんだ、実装部品の検出・計測・検
査、及び、プリント基板上の基準マーク、ランドの検出
・位置決め。特に、プリント基板上の任意形状の乱反射
のある他のはんだ（クリームはんだ、リフロー後はんだ
等）の検出・計測・検査、及び、乱反射のあるはんだレ
ベラ、はんだメッキの基準マークとランドの検出・位置
決め。

【００４２】（２）スクリーン印刷マスク等の分野 マスク上の基準マーク、回路パターンの開口部の検出・
位置決め。

【００４３】（３）実装部品の分野 フリップチップ、ＣＳＰ、ＢＧＡ、ＭＣＭ等の実装部品
の基準マーク、ランドの検出・位置決め、及び、フリッ
プチップ、ＣＳＰ、ＢＧＡ、ＭＣＭのバンプの検出・計
測・検査。

【００４４】

【発明の効果】以上の説明で明らかなように、本発明に
よれば、クリームはんだ、リフロー後はんだのような任
意形状をもつ計測対象の乱反射の濃淡ムラを平滑化し
て、計測や検査のし易い滑らかな等濃度線・形状輪郭を
抽出できる。その抽出処理では、一次元的なバネ連成系
を解くので、処理を高速に行うことができる。このた
め、ソフトウェア処理にて処理することができるので、
専用の画像処理ボードが不要となり、システム構成の単
純化とローコスト化が実現できるとともに、設計の自由
度が得られるので、計測対象に最適なアルゴリズムの開
発が可能となり、計測精度を向上させることができる。

【図面の簡単な説明】

【図１】本発明による方法の一実施形態例を実行するた
めの構成例を示すブロック図である。

【図２】上記本発明の方法の一実施形態例を示すフロー
図である。

【図３】（ａ）は、上記実施形態例におけるクリームは
んだ濃度分布（濃淡ムラ）の断面を示す図、（ｂ）は、
上記実施形態例におけるリング状バネモデルの例（外圧
モデル）を示す図である。

【図４】上記実施形態例における濃度分布の節点力変換
を説明する図であって、（ａ）は断面図、（ｂ）は平面
図である。

【図５】上記実施形態例におけるバネ要素の釣り合い計
算を説明する図である。

【符号の説明】

１…照明装置 ２…撮像装置 ３…記憶装置 ４…処理装置 ５…表示装置

Claims (4)

【特許請求の範囲】
1. 【請求項１】 両端に節点をもつバネ要素を、画像上の
   対象物の等濃度線または形状輪郭に対応づけてリング状
   に繋いでリングを構成する手順と、 前記構成されたリングの外側と内側の一方側に、指定濃
   度に相当する圧力分布を加えるとともに、前記リングの
   外側と内側の他方側に該リング上の濃度分布に相当する
   圧力分布を加える手順と、 前記リングの外側と内側に加えた圧力分布が前記バネ要
   素の節点を通して釣り合うように該バネ要素の節点を移
   動させる手順と、 前記バネ要素のすべてにおいて釣り合った時点での前記
   リングの形状を前記指定濃度に対応する等濃度線または
   形状輪郭とする手順と、 を有することを特徴とする画像認識による計測方法。
2. 【請求項２】 前記節点を移動させる手順では、 バネ要素にリングの外側に加えた圧力分布とリングの内
   側に加えた圧力分布を等価な節点力に変換し、前記変換
   された節点力が釣り合うように、バネ要素の節点を移動
   させる、 ことを特徴とする請求項１に記載の画像認識による計測
   方法。
3. 【請求項３】 前記節点を移動させる手順では、 前記変換された節点力、およびバネ要素の節点応力が当
   該節点で釣り合うようにバネの連立方程式を解き、節点
   変位を得て、前記バネ要素の節点を移動させる、 ことを特徴とする請求項２記載の画像認識による計測方
   法。
4. 【請求項４】 請求項１から請求項３までのいずれかに
   記載の画像認識による計測方法における手順をコンピュ
   ータに実行させるプログラムを、該コンピュータが読み
   取り可能な媒体に記録した、 ことを特徴とする記録媒体。