JPH0668257A - 画像中の物体のエッジ検出方法及びエッジ間距離検出方法 - Google Patents

Abstract

(57)【要約】 【目的】 画像中でのエッジによる濃度変化が、ノイズ
による濃度変化と比べて急激でない場合でもエッジを検
出し、又、存在必然領域内に類似した特徴を持った複数
のエッジが存在する場合でも、目的のエッジのみを検出
することができる探索範囲、位置を設定し、更に、参照
物からカメラまでの距離が画像毎に異なる場合でも正確
にエッジ間実寸を求める。 【構成】 求めるエッジ周辺の画素濃度値をエッジと直
交する方向に累積加算して得られた値と座標との関係か
らエッジを求める。画面内で既知の特徴点から順次他の
エッジの探索範囲と位置を決定し、最終的に他のエッジ
が入らないような探索範囲及び位置を決定して、目的の
エッジを検出する。更に、大きさ一定の物体の画像中で
の画素単位の大きさから目標エッジ間の画素単位の長さ
と実寸の比を示す換算係数を予め用意し、画素単位でエ
ッジ間距離及び大きさ一定物体の大きさを計測し、換算
係数により、目標エッジ間距離の実寸を求める。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、イメージセンサ等に
より得た画像を処理して、画像中の物体のエッジ及びエ
ッジ間距離を検出する方法に関する。

【０００２】

【従来の技術】画像処理の過程で、得られたデジタル画
像に基づいてエッジを検出する方法としては、画像の濃
度等の特徴が急激に変化する位置を探し出す方法が一般
的であり、例えば、田村秀行著「コンピュータ画像処理
入門」昭和６０年３月１０日総研出版発行、第５章、１
１９〜１２２頁に記載されるような、近傍画素領域内の
濃度の和や平均値の差を用いてエッジを検出するものが
ある。

【０００３】更に、例えば特開昭６２−２０２２９０号
公報に開示されるように、画像の明るさの差によって重
み付けした荷重平均によって、明るさの変化が最大とな
る位置をエッジとして求めるようにしたものがある。

【０００４】又、相対位置情報を用いて目的とする画像
中でのエッジを検出するものがある。例えば特開平４−
４７４６７号公報に開示されるように、集積回路内の両
端リードの先端位置座標を用いて中間リードの先端の存
在必然位置を算出し、存在必然領域の近傍のみを探索し
て中間リード先端位置を算出するものがある。又、特開
平２−１１６９０８号公報に開示されるものは、処理速
度を速くするため、相対位置情報を利用して探索範囲を
狭くしている。

【０００５】画像での目標点間距離を検出する方法とし
ては、例えば特開昭６０−２６３８０４号公報に開示さ
れるように、長さが既知の部分を計測して補正係数を求
め、目標点間部分のキャリブレーションを行う方法があ
る。これは図７に示されるように、長さが既知のマーク
Ｍの実際の長さＬ_s と画像処理によって計測されたl _s
により、補正係数αを、α＝Ｌ_s ／l _s として求め、目
標点ＡＢ間部分の長さＬを画像処理により求めた長さl
とαを用いて、式Ｌ＝α×l により求めるようにしてい
る。図７の符号１は物体、２はその画像、３はカメラを
示す。

【０００６】

【発明が解決しようとする課題】上記「コンピュータ画
像処理入門」に記載されたエッジ検出方法では、小領域
内で、エッジによる濃度変化が、ノイズによる濃度変化
と比べて急激なときには適用できるが、同程度の場合は
ノイズに埋もれてしまい適用できないという問題点があ
る。

【０００７】更に、前記特開昭６２−２０２２９０号公
報に開示される方法は、荷重平均をとる際の範囲の設定
方法が開示されていないため、設定を誤った場合に間違
ったエッジ位置を検出してしまうという問題点がある。

【０００８】又、前記特開平４−４７４６７や特開平２
−１１６９０８号公報に開示されるものは、存在必然領
域内に同様な特徴を持った他のエッジが存在せず、各エ
ッジ間の区別が明確な場合には適用できるが、類似した
特徴を持ったエッジが複数存在して、各エッジの区別が
困難な場合は、存在必然領域の設定方法が考慮されてい
ないため、適用できないという問題点がある。

【０００９】更に又、前記特開昭６０−２６３８０４号
公報に開示される方法は、既知のマークＭから求めた補
正係数を目標点にそのまま適用するために、補正係数α
を求める際に用いるマークからカメラ（イメージセン
サ）までの距離と、目標点からカメラまでの距離が等し
い場合にのみ適用でき、マークの設定が非常に困難であ
るという問題点がある。

【００１０】第１発明は、上記従来の問題点に鑑みてな
されたものであって、画像において、エッジによる濃度
変化に乏しく、ノイズとの区別が困難な場合でもエッジ
を検出することができる画像中の物体のエッジ検出方法
を提供することを目的とする。

【００１１】又、第２発明は、画像中での、エッジ存在
必然領域内に似たような特徴の複数のエッジが存在して
も目的のエッジを確実に検出することができる画像中の
物体のエッジ検出方法を提供することを目的とする。

【００１２】又、第３発明は、エッジ間距離検出に際し
て、参照物からカメラまでの距離と目標エッジ間部分か
らカメラまでの距離が異なる場合でも、容易にエッジ間
距離を検出することができる画像中の物体のエッジ間距
離検出方法を提供することを目的とする。

【００１３】

【課題を解決するための手段】第１発明は、直線状のエ
ッジを有する物体の画像における該エッジ周辺の画素の
濃度値をエッジと直交する方向に累積加算し、画像中の
エッジと直交する方向の座標軸に沿って前記累積値を値
とする曲線を求め、この曲線の特徴点をエッジ位置とし
て求めることを特徴とする画像中の物体のエッジ検出方
法により上記目的を達成するものである。

【００１４】又、前記特徴点近傍の前記累積値の３点を
通る近似曲線を求め、この曲線の頂点をエッジ位置とす
るようにしてもよい。

【００１５】第２発明は、物体の画像中の特徴点の位置
を検出する過程と、この特徴点からの相対位置が予め判
っているエッジの相対位置情報から、該エッジの探索範
囲の位置及び大きさを、該エッジ以外のエッジが入らな
いように設定する過程と、この探索範囲内の画像データ
の処理により該エッジを検出する過程と、この求められ
たエッジ位置からの相対位置情報を用いて、他のエッジ
の探索範囲の位置及び大きさを決定する過程と、この探
索範囲内の画像データの処理により該他のエッジを検出
する過程と、を有してなり、前記エッジの探索範囲の位
置及び大きさ決定、検出の過程を繰返し、最終的に目的
とするエッジを検出する画像中の物体のエッジ検出方法
により上記目的を達成するものである。

【００１６】第３発明は、画像中の、大きさが一定の物
体を参照物とし、この参照物の画像中での画素単位での
大きさと、目標エッジ間距離の画素単位と実寸法との比
を示す換算係数を、様々な参照物の画像中での大きさに
対して予め求めた表を作成しておき、目標エッジ間距離
の計測を行う際、画素単位で目標エッジ間距離と参照物
の大きさを計測して、前記予め作成しておいた表と参照
物の画素単位での大きさから換算係数を求め、該換算係
数を画素単位での目標エッジ間距離に乗じて目標エッジ
間の実寸法を求めることを特徴とする画像中の物体のエ
ッジ間距離検出方法により上記目的を達成するものであ
る。

【００１７】

【作用及び効果】請求項１の第１発明によれば、画像の
エッジによる濃度変化が乏しく、ノイズとの区別が付き
難いエッジの場合でも、ノイズはランダムに発生してい
て、打消し合うのに対して、エッジは直線であり、同一
位置に必ず存在して強調されるので、エッジ周辺の画素
濃度値をエッジと垂直方向に累積加算して得られた値
は、Ｓ／Ｎ比が高く、この値に基づく曲線から確実にエ
ッジを検出することができる。

【００１８】請求項２によれば、曲線を求める際に、特
徴点近傍の累積値の３点を通る近似曲線の頂点をエッジ
としているので、正確なエッジ位置を求めることができ
る。

【００１９】請求項３の第２発明によれば、最終的に他
のエッジが入らないような探索範囲の位置と大きさを決
定してから、この探索範囲内の画像データを処理するの
で、類似した特徴を持ったエッジが複数存在しても確実
に目的のエッジを検出することができる。

【００２０】請求項４の第３発明によれば、参照物から
カメラ（イメージセンサ）までの距離と目標エッジ間部
分からカメラまでの距離を同一に設定する必要がないた
めに、目標エッジに付随する部品や、背景の一部を参照
物として利用でき、容易に参照物を設定することができ
る。

【００２１】

【実施例】以下、本発明に係る方法を図面を参照して詳
細に説明する。

【００２２】まず、図１に示される、本発明に係る画像
中の物体のエッジ検出方法を利用するプリント基板の実
装ライン１０の全体のシステム構成について説明する。

【００２３】このプリント基板の実装ライン１０は画像
処理によりプリント基板１２上のパターンの位置を自動
計測し、このデータに基づきプリント基板１２上に電子
部品を自動搭載するものである。

【００２４】位置計測の対象となるプリント基板１２
は、搬送機（ベルトコンベア）１４により実装機１６の
前面位置に送られ、ここで位置決め機構１８によってお
おまかに位置決めされたプリント基板１２を、上方から
カメラ２０により撮影し、得られた画像を画像処理装置
２２に送り、この画像処理装置２２では画像処理によっ
て、プリント基板１２上のランド２４の位置を求め、求
められた位置に、搭載ヘッド２６により、実装機１６上
に置かれているＬＳＩ等の電子部品１７を自動搭載する
ものである。

【００２５】ここで、前記位置決め機構１８は「がた」
があり、プリント基板１２上への電子部品１７の搭載に
十分な精度では位置決めができない。又、プリント基板
１２の外形と電子部品１７を搭載するランド２４との間
にも製造誤差による位置誤差があり、このため、プリン
ト基板１２を正確に位置決めできても、電子部品１７を
ランド２４上の正しい位置に搭載することができない。

【００２６】そこで、前述の如くカメラ２０により撮影
された画像を画像処理装置２２で処理することによりラ
ンド２４の位置、正確にはそのエッジの位置を直接求め
る必要がある。

【００２７】次に、ランド２４の、搬送機１４による送
り方向の位置を検出する過程について説明する。なお、
これと直交方向の位置決めも同様の方法で行う。

【００２８】ランド２４のエッジ２４Ａは直線状である
が、背景となるプリント基板１２の上面の濃度がランド
２４の濃度に近いとき、画像中では明確に見えないた
め、搬送機１４の送り方向での画像の濃度変化からは該
エッジを求めることはできない。

【００２９】しかし、ランド２４のエッジ２４Ａが、プ
リント基板１２の外形エッジ、及び位置決め機構１８の
エッジ１８Ａと同一方向であるので、カメラ入力におい
て、画面上の横方向（図１において搬送機１４の送り方
向）であるＸ軸に直交するように設定した。画像処理装
置２２では、ランド２４の検出に、累積加算によるエッ
ジ検出方法を用いる。

【００３０】例えば図２の、カメラ２０で得られたプリ
ント基板１２の画像１３において破線で示される累積加
算領域２８内でランド２４のエッジ２４Ａを検出する場
合、Ｘ軸に平行な１本の画素列毎に注目とすると、各画
素列での各画素の濃度値を縦軸に、画素列の位置（画面
座標）を横軸に表わしたとき、図３で破線で示されるエ
ッジ位置は、ノイズに隠れて検出できない。

【００３１】この実施例の画像処理装置２２では、Ｘ軸
に垂直に濃度微分値を積算しているので、ノイズがラン
ダムに発生していることからこれらは打消し合うのに対
して、ランド２４のエッジ２４ＡはＸ軸上の同一位置に
必ず存在しているため、強調され、図３（Ｂ）のような
曲線を得ることができる。この得られた曲線の特徴点、
例えば最小値、最大変化点等をエッジとして求めること
によりエッジ検出が可能となる。なお、図の実施例では
最大値をエッジとして検出している。

【００３２】ここでは、図３（Ｃ）のように生データの
累積加算値の曲線の最大変化点をエッジとして求めるよ
うにしてもよい。

【００３３】ところで、ランド２４上に正しく電子部品
を搭載するためには、該ランド２４の位置を±０．１mm
の精度で求める必要があるが、画像中では１画素が約２
mmに相当するため、０．１mm単位の計測を行うには、１
画素未満の精度でエッジ２４Ａの位置を求める必要があ
る。

【００３４】前述の如く、画像処理装置２２では、エッ
ジ２４Ａと直交する方向の座標に対する画素の濃度変化
の累積加算値を値とする曲線を扱っている。

【００３５】得られた累積加算値による実際の曲線は、
図４において符号Ｂで示されるように折曲げ線形状とな
るのに対して、画像での分解能を無限大としたときの理
想的な曲線は図５に符号Ａで示されるように滑らかな２
次曲線に類似したものになると想定される。

【００３６】符号Ａで示される滑らかな曲線の極小点Ｘ
a と折曲げ曲線Ｂの極小点Ｘb とのずれが標本化誤差と
なる。実施例の画像処理装置２２では、折曲げ曲線Ｂの
極小点Ｘb 付近の３点Ｂ1 、Ｂ2 、Ｂ3 を２次式で近似
し、この３点を通る曲線の頂点をエッジ２４Ａの位置と
して求めるようにされている。この場合、折曲げ曲線Ｂ
の極小点Ｘb 付近の局所的な形状は多項式により十分で
あり、又、近似計算時間が短くて済み、且つ、確実に頂
点が得られるという利点がある。

【００３７】なお、曲線Ａを表わす式が求められれば理
想的ではあるが、該曲線Ａは、プリント基板１２の照明
光に加え、周辺の機器からの複雑な反射光の合成に基づ
いて形成されていて、曲線Ａを表わす式の推定は非常に
困難である。

【００３８】次に、ランド２４のエッジ２４Ａに近い位
置に、これと類似した構成のエッジが存在する場合に、
目標とするエッジを検出する場合について説明する。

【００３９】ランド２４のエッジ２４の隣りには、図５
に示されるように、隣りのランド２５のエッジ２５Ａが
存在し、しかも、エッジ２４Ａ、２５Ａはいずれも、プ
リンント基板１２の樹脂と金属パターンの境界であるの
で、画像上での周辺からの濃度変化が全く同一となり、
濃度変化からエッジ２４Ａ、２５Ａ間を弁別することは
不可能である。

【００４０】ここで、エッジ２４Ａと２５Ａの距離が、
位置決め機構１８によるプリント基板１２の位置決め誤
差と該プリント基板１２の製作誤差によるプリント基板
１２の外形とランド２４の間の誤差との和よりも小さい
場合は、なおさら弁別が困難となる。例えば、位置決め
機構１８のがたを、例えば±４mm、プリント基板１２の
製作誤差による該プリント基板１２の外形とパターンの
位置ずれを±３mmとすると、画面内におけるランド２４
のエッジ２４Ａの位置のばらつきは、エッジ２４Ａと２
５Ａ間の距離５mmよりも大きくなるため、上記のような
適切な探索範囲を設定することが不可能である。

【００４１】この実施例において、画像処理装置２２で
は、ランド２４のエッジ２４Ａを検出する際に、隣接す
るランド２５のエッジ２５Ａが入らないような探索範囲
を設定している。

【００４２】まず、搬送機１４上に、カメラ２０に対し
て固定された位置にある位置決め機構１８の取付部のエ
ッジ１８Ａに着目し、これを利用している。

【００４３】前記位置決め機構１８のエッジ１８Ａは、
カメラ２０との相対位置（Ｘ、Ｙ方向）が固定されてい
て、画像処理装置２２における画面内のほぼ同じ位置に
必ず現われ、周辺に同一又は類似のエッジが存在しない
ため、該エッジ１８Ａを探索する範囲を広く設定するこ
とができ、他のエッジと混同することがない。

【００４４】画像処理装置２２では、前記位置決め機構
１８のエッジ１８Ａからの相対位置情報を利用して、プ
リント基板１２の外形のエッジ１２Ａ（エッジ１８Ａと
平行）の探索範囲を設定する。ここで、位置決め機構１
８の誤差は位置決め機構１８の誤差±４mmとなるので、
これに基づいて、エッジ１２Ａの探索範囲は幅８mmとす
る。この範囲には、パターン等の他のエッジは存在しな
い。

【００４５】画像処理装置２２では、プリント基板１２
の外形エッジ１２Ａからの相対位置情報を利用して、ラ
ンド２４のエッジ２４Ａの探索範囲を設定する。ランド
２４の、エッジ１２Ａに対する位置のばらつきは、プリ
ント基板１２の製作誤差±３mmと同一であるので、エッ
ジ２４Ａの探索範囲は幅６mmと設定する。エッジ２４Ａ
と２５Ａの距離は５mmであり、±３mm内であり、従って
この探索範囲の幅の中にエッジ２５Ａが現われることが
ない。

【００４６】以上のようにして、画面中でのばらつき範
囲を考慮しても確実に検出できるエッジ１８Ａの検出か
ら始め、該検出されたエッジ１８Ａからの相対位置情報
を用いて他のエッジ１２Ａの探索範囲を設定し、更に、
これを基準として目的のランド２４のエッジ２４Ａのエ
ッジ検出探索範囲を適切に設定し検出する。

【００４７】次に、上記のように画像処理によって求め
られたランド２４のエッジ２４Ａとプリント基板１２の
エッジ１２Ａとの実寸距離、更にはエッジ２４Ａと２５
Ａ間の実寸距離を求める過程について説明する。

【００４８】ランド２４のエッジ２４Ａについて求めら
れた座標の単位は画素であり、これをミリメートルに変
換して初めて実寸が得られる。まず、オフラインでプリ
ント基板１２を位置決め機構１８により固定し、該位置
決め機構１８の取付け部のエッジ１８Ａとランド２４の
エッジ２４Ａの距離の実寸を正確に実測しておく。

【００４９】次に、プリント基板１２からのカメラ２０
の距離、即ちカメラ距離を適宜変化させ、画像処理によ
りこの距離とプリント基板１２上のコンデンサ３０の直
径Ｄを画素単位（画素数）で計測する。この結果から、
直径Ｄの画素単位での長さと、位置決め機構１８取付部
のエッジ１８Ａとランド２４のエッジ２４Ａの間の距離
の画素単位と実寸との比Ｐを示す図６のようなルックア
ップテーブルを予め作成しておく。

【００５０】ここで図６のＤの値は、カメラ２０とプリ
ント基板１２の距離即ちカメラ距離によって変わり、カ
メラ距離が短いほどＤの値は大きくなる。又、図６の計
測位置１〜３は、カメラ２０からプリント基板１２まで
の距離を同一としたとき、該プリント基板１２上のカメ
ラ２０からの距離が異なる３個の計測位置を示す。

【００５１】画像処理により、各画像毎にＤの画素単位
での長さと、各計測位置１〜３の一部又は全部でのエッ
ジ２４Ａと１８Ａの画素単位の距離を求め、図６のルッ
クアップテーブルを参考にして変換係数p の値を求め、
このp を画素単位でのエッジ２４Ａと１８Ａの距離に掛
けて距離の実寸を求める。ここで、電子部品はランド２
４とカメラ２０との距離が異なるため、画像入力の都度
変換係数を求め、これによって正確なランド位置の実寸
計測を行うことができる。

【００５２】前記位置決め機構１８のエッジ１８Ａの位
置は不動であるので、ここから、エッジ２４Ａの絶対位
置が求まり、この情報に基づいてランド２４上の正しい
位置に、搭載ヘッド２６によって電子部品が正しく搭載
される。従来は、予めプリント基板上にキャリブレーシ
ョン用のマークを付けておき、これを参考にして画像毎
に変換係数p を求めていたが、この実施例では、キャリ
ブレーション用のマークは不要であり、基板上にある大
きさが常に変わらず、且つ確実に画像中に確認すること
ができる部分である、既に搭載された電子部品上のコン
デンサ３０を利用して変換係数を求め、より実装密度を
向上させることができる。

【００５３】上記実施例は、プリント基板の実装ライン
に本発明を適用したものであるが、本発明はこれに限定
されるものでなく、自動的に部品を搭載したり、又、存
在を確認したり、部品の消耗を検出するための画像処理
過程で、目的物のエッジを検出する際に、一般的に適用
されるものである。

【図面の簡単な説明】

【図１】本発明を適用したプリント基板の実装ラインを
示す斜視図

【図２】同実装ラインにおける画像処理装置でのプリン
ト基板の画像を示す平面図

【図３】プリント基板上のエッジ近傍での画面座標と画
素の濃度値及び累積加算値との関係を示す線図

【図４】累積加算値によりランドのエッジを、２次式に
よる曲線近似を用いて求める際の線図

【図５】相対位置情報を用いてエッジを検出する際、及
び、キャリブレーション方式でエッジ間距離を検出する
ときに補正係数の基準となる一定長さ部分を含むエッジ
周辺の画像を示す平面図

【図６】キャリブレーション用のルックアップテーブル
を示す図

【図７】従来のキャリブレーション方式を示す略示斜視
図

【符号の説明】

１０…プリント基板の実装ライン １２…プリント基板 １２Ａ、１８Ａ、２４Ａ、２５Ａ…エッジ １４…搬送機（コンベア） １６…実装機 １８…位置決め機構 ２０…カメラ ２２…画像処理装置 ２４、２５…ランド ２６…搭載ヘッド ２８…累積加算領域 ３０…コンデンサ

Claims (4)

【特許請求の範囲】
1. 【請求項１】直線状のエッジを有する物体の画像におけ
   る該エッジ周辺の画素の濃度値をエッジと直交する方向
   に累積加算し、画像中のエッジと直交する方向の座標軸
   に沿って前記累積値を値とする曲線を求め、この曲線の
   特徴点をエッジ位置として求めることを特徴とする画像
   中の物体のエッジ検出方法。
2. 【請求項２】請求項１において、前記特徴点近傍の前記
   累積値の３点を通る近似曲線を求め、この曲線の頂点を
   エッジ位置とすることを特徴とする画像中の物体のエッ
   ジ検出方法。
3. 【請求項３】物体の画像中の特徴点の位置を検出する過
   程と、この特徴点からの相対位置が予め判っているエッ
   ジの相対位置情報から、該エッジの探索範囲の位置及び
   大きさを、該エッジ以外のエッジが入らないように設定
   する過程と、この探索範囲内の画像データの処理により
   該エッジを検出する過程と、この求められたエッジ位置
   からの相対位置情報を用いて、他のエッジの探索範囲の
   位置及び大きさを決定する過程と、この探索範囲内の画
   像データの処理により該他のエッジを検出する過程と、
   を有してなり、前記エッジの探索範囲の位置及び大きさ
   決定、検出の過程を繰返し、最終的に目的とするエッジ
   を検出する画像中の物体のエッジ検出方法。
4. 【請求項４】画像中の、大きさが一定の物体を参照物と
   し、この参照物の画像中での画素単位での大きさと、目
   標エッジ間距離の画素単位と実寸法との比を示す換算係
   数を、様々な参照物の画像中での大きさに対して予め求
   めた表を作成しておき、目標エッジ間距離の計測を行う
   際、画素単位で目標エッジ間距離と参照物の大きさを計
   測して、前記予め作成しておいた表と参照物の画素単位
   での大きさから換算係数を求め、該換算係数を画素単位
   での目標エッジ間距離に乗じて目標エッジ間の実寸法を
   求めることを特徴とする画像中の物体のエッジ間距離検
   出方法。