JPH0452773A - 画像監視方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は、例えば製造組立工程等において平面基板上
にＩＣ素子等が正しく実装されたか、監視対象物に孔が
正しく開けられたか等の監視を行なうだめの画像監視方
法に関する。

［従来の技術］ 長さやパターン等の良否判別、すなわち例えば被検査物
（監視対象物）の長さが規定通りか、被検査物の形状が
規定通りか等の判別は、被検査物をテレビカメラ等で撮
像して、その長さや形状等が現れている特徴領域部分を
含む検査領域をウィンドウで指定して、その部分内の上
記長さや形状が現れている画素の数を数える等により物
理量として精度高く測定し、その画素数が許容値以内で
あるか否か等により良否判別が行われている。

ところで製造組立工程等での加工後の外観検査等、例え
ば孔開は工程での加工後、孔が正しく開けられているか
の監視は、孔の開けられている位置の精度、孔径の精度
は重要ではなく、たた所定径前後の孔が所定位置近傍に
開けられていればよいことも多い。また素子実装工程で
は、実装される素子は大きさのばらつきがあり、また実
装される位置は多少のばらつきがあってもよいことも多
い。

［解決しようとする課題］ 従って、このような外観検査等のあいまいな抽象的判断
基準による検査（以後、監視という）では、上記ずれ、
ばらつき等が許容されなければならない。

そこて庫発明の目的は、特徴領域の大きさのばらつき１
位置ずれ等を許容することが可能であり、また監視条件
の変動も許容することが可能な画像監視方法を提供する
ことにある。

［課題を解決するだめの手段］ ト記目的を達成するために、本発明は、監視画像を２値
化レベルで２値符号化し、この２値符号により監視判定
を行なう画像監視方法において、２値化レベル近傍にお
いて不感帯領域を設けて、この不感帯領域外で２値化さ
れた２値符号に基づいて、監視判定を行なう。

［実施例］ 以下、本発明の一実施例を図面に基づいて詳細に説明す
る。

まず、本発明に用いられる画像監視装置の全体構成につ
いて説明する。第４図において、監視対象物１は製造ラ
イン等の孔開は加工工程、素子実装上程等（図示省略）
中にあり、照明２の下で、撮像手段３により、加工され
る而の撮像が行われる。撮像は加工前の事前画像と、加
工後の事後画像の双方か行われる。加工機械における加
工準備終了や加工終了の入力制御信号は入力周囲線５に
より装置本体７に入力される。装置本体７の動作条件等
は、キーバット８て入力される。人力制御信号か回線５
より人力されるごとに装置本体７は事前監視や事後監視
を実行し１、結果を出力用回線６より出力制御信号とし
て出力する。なお装置本体７には、撮像手段３て撮像し
た映像、さらにそれを２値化し、た画像信号等を表示可
能なＣＲＴ　７ａか設けである。

次に、装置本体７の内部構成を第５図を用いて説明する
。

ＲＯＭ２１にはＣＰＵ２２を動作させるためのプログラ
ムが記憶されている。特に、ＲＯＭ２１には事前及び事
後監視における検査領域を抽出するためのプログラム、
検査画像と検査領域との積画像をとるためのプログラム
が記憶されている（第１図参照）。なお、検査領域を抽
出するだめのプログラム、検査画像と検査領域との積画
像をとるためのプログラムは別のハードウェアとして装
置本体７内に設けることも可能である。

ＲＡＭ２３には事前監視および事後監視における検査領
域、Ｎ個の検査ブロックの大きさ及び位置、各ブロック
における良否判定の際の基準値（画素変化点の数）及び
許容値等のデータが記憶されている。検査ブロックの大
きさ及び位置、各ブロックにおける基準値及び許容値等
の条件は、オペＬノータがＣＲＴ？ａ等を見ながら、キ
ーバッド８等より入力し、ｉ　／　ｏポート２９を介し
てＲＡＭ２３に記憶される。

ＣＰＵ２２はＲＯＭ２１の指令およびＲＡＭ２３のデー
タに基づき、事前監視及び事後監視における検査領域の
設定、事前及び事後監視における各検査ブロックの良否
判定等を行なう。

撮像手段３で撮像した画像信号はＡ／Ｄ回路３０を経て
２値化されて７１ノームメモリ３１に蓄えられ、また７
レームメモリ３１の内容は表示回路３２を経てＣＲＴ７
ａに表示される。なお７１ノームメモリ３１には、それ
ぞれ事前画像、事後画像か記憶される。

次に本実施例の詳細を第１．２．３，６．７図を用いて
説明する。

画像監視処理は事前監視、事後監視の２つの監視動作か
ら構成される。事前監視は監視対象物を加工前に画像入
力し正常状態にあるかを判断する。

異常か検出されると直ちに加工を中止する。事後監視は
加圧終了状態が正常がとぅがを判断する。

異常が検出されると直ちに再検査または次回の加］こを
中止する。

第６図において、ます監視条件を設定しく６０２）、監
視対象物１の正常な事前画像とその正常な監視対象物１
に正常な加工を施した後の事後画像を入力し、かつそれ
ぞれをＡ／Ｄ回路３ｏにより２値化する（６０３）。そ
（７てそれぞれにおいて、検査領域における特徴量を計
算して良否判定の基準値とし、また各検査ブロックへ分
割する（６０４）。

以下、事後監視における検査領域の設定方法。

特徴付の計算方法等について説明する。

ます検査領域の設定方法について説明する。

第２図（ａ）は撮像手段３からの正常事後画像における
出力電圧であり、加工が施された特徴領域部分（孔）Ｗ
は他の部分に対して出力電圧値が変化しており、所定の
２値化レベルｖｔｈで２値化することによりこの部分を
他の部分より区別することができ、この部分の特徴量を
算出して基準値とし、各監視対象物の検査により得られ
た特徴量をこの基準値と比較することにより、その監視
対象物の良否を判定できる。しかし監視ではばらつき１
位置ずれ等を許容したいため、２値化レベルＶｔｈと出
力電圧との交点付近を不感帯領域として検査領域から除
外する（第２図（ｂ）参照）。

これを行なうために、所定の２値化レベル微少変化量Δ
を定めて、Ｖｔｈ−Δ及びＶｔｈ＋Δで２値化し、これ
らの排他的論理和☆をとり、その結果に論理否定へをと
り、検査領域Ｂを求める。すなわち２値化画像をＩ　　
（Ｖｔｈ）とすると、Ｂ−Ａ　（Ｉ　　（Ｖｔｈ−４）
　＊Ｉ　　（Ｖｔｈ＋ｌｉとする。この式をブロック図
で実現したものが第１図のＪの部分である。なおΔの値
は、検査監視対象物の特徴領域の大きさのばらつき１位
置ずれが許容範囲内にあるとき、その特徴領域の輪郭線
が不感帯領域に収まるように、定めることが好ましい。

更に、検査領域の求め方を第３図の具体例で説明する。

撮像手段３の撮影画面全体またはウィンド等で囲ったそ
の一部からなる監視画面Ｓ内に、加工により、丸部及び
鉤部からなる特徴領域か生ずるとする。そこで正常事後
画像をとった後、同図（ａ）のＩ（Ｖｔｈ−Δ）と同図
（ｂ）のＩ　（Ｖｔｈ＋Δ）との排他的論理和をとると
、同図（ａ）と同図（ｂ）とて異符号の部分が符号１と
して表れ、同符号の部分は符号Ｏとして表れるため、同
図（Ｃ）の不感帯領域が得られる。従ってこれの論理否
定を取ることにより、同図（ｄ）に示す検査領域Ｂが得
られる。ここに検査領域Ｂは２値化レベルをＶｔｈ＋Δ
としたときの符号変化位置と２値化レベルをＶｔｈ−Δ
としたときの符号変化位置との間の領域は不感帯領域と
して検査領域から削除されている。

次に検査領域が求まると、この検査領域における正常監
視対象物の特徴量を計算する（６０４）。

ここに正常監視対象物の２値化信号はＩ（Ｖｔｈ）であ
るため、その領域はＩ（Ｖｔｈ−Δ）の領域とＩ（Ｖｔ
ｈ＋Δ）の領域との間にあり、従って、検査領域におけ
る正常監視対象物の特徴領域はＩ（Ｖｔｈ十Δ）の領域
と同一になる。従って領域■（Ｖ　ｔｈ＋Δ）の部分の
画素数を数えて良否判定の基準値とする。

次に監視領域Ｓを良否判定を行なうに最適の大きさのＮ
個の検査ブロックに分割する（図示省略）。そして各検
査ブロック内で上記の基準値がいくつあるかを算出する
。また各検査ブロックの良否判定の際の許容値を設定す
る。

以上の検査領域の設定、良否判定の基準値の計算、検査
ブロックへの分割、許容値設定の説明は事後監視につい
てのものであるが、事前監視についても同様の方法で設
定、計算を行なう。

これにより事前、事後の基準画像教示が終わる（６　０
　４）　　。

次に実際の監視に移る。回線５により加工準備終了の信
号が入ると（６０５）　、監視対象物１の加工面の撮像
を行ない、事前検査画像を入力して２値化し、２値打号
信号１ａを得（６０６）　、フレームメモリ３１に蓄え
る。なおこの信号Ｉａは事後監視でも用いるため、事前
監視の終了後も記憶させておく。そして上記検査領域で
の特徴量を求めて、各ブロックごとに基準値と比較し許
容値内であれば良、許容値外であれば不良の判定を行な
い（６０７）　、結果を出力制御信号Ｃて通知する（６
０８）。

事前監視が良判定のときは、加工か行われ、加工終了の
信号が入ると（６０９）　、監視対象物１の加工後の撮
像を行ない、事後検査画像を入力して２値化し２値打号
信号１ｂを得（６１０）　、フレームメモリ３１に蓄え
る。

そして第７図に示すように、排他的論理和を用いて、事
前２値符号信号１ａと事後２値符号信号Ｉｂとの差画像
Ｉｃを算出する（７０４．第１図のに部分参照）。これ
により第３図（ｆ）に示すように、加工により変化した
部分か符号１の像として抽出される。検査監視対象物の
符号１の像として抽出された部分は丸形の部分Ｕと鉤形
の部分Ｖとよりなるとする。そして、丸形の部分Ｕは正
常のものに比較して位置ずれしておらず、かつその径は
不感帯領域内に収まっており、鉤形の部分Ｖは正常のも
のに比較してその大きさは不感帯領域のなかに収まって
いるが、左方に許容値以上に位置ずれしているとする。

そして差画像１ｃと検査領域Ｂとの論理積をとることに
より、検査領域内の部分を検査値Ａとして抽出する（７
０５．第１図参照）。第３図（ｇ）に示すように、第３
図（ｆ）の像のうち、検査領域内の部分が検査値Ａとし
て抽出される。ここに不感帯領域の部分は検査値Ａとし
て抽出されないために、丸形の部分Ｕは基準特徴領域と
同一の部分ｕ１のみが抽出され、駒形の部分■は基準特
徴領域内のうち鉤形の部分■で覆われている部分Ｖｌ及
び左方に位置ずれしたために不感帯領域の外側にはみ出
た部分ｖ２．ｖ３か抽出される。

そして検査値Ａを各検査ブロックに分割し、これか各検
査ブロックにおける事前と事後との間の変化画素数Ｐｉ
となる（７０７）。そしてＰｉが許容値内か否か判断し
て各検査ブロックの良否判定を行ない（７０８〜７１２
）　、その結果を事後監視結果として出力する（６１２
）。第３図（ｇ）において、駒形の基準特徴領域内のう
ち部分ｖｌで覆われていない所、及び不感帯領域で覆わ
れない部分ｖ２．ｖ３が存在するために、それらが存在
する検査ブロックの検査において、それらの結果、許容
値を外れた場合は、それらの検査ブロックにおいて不良
と判定される。なお検査領域Ｂに残った残存画素のうち
、雑音によるものは画素数が少ないために、検査ブロッ
クの検査の際、許容値内に収まり、従って判定の際無視
される。

いずれかの検査ブロックにおいて不良の判定のときは、
次の加工の中止、又は再検査が可能な場合は異常と判定
された検査ブロックを再検査する。

全てのブロックにおいて良であり、事後監視の結果（６
１２）が良のときは次の加工が引き続き行われ、上記と
同様の監視が繰り返される。

上記実施例においては、事後監視は、事前画像と事後画
像との差画像と検査領域との論理積をとって行うため、
事前事後の微少な変化等の雑音を除去することができ、
それらによる誤判定を防止することができる。

上記実施例の事後監視において、検査画像は２値化され
た事前画像及び事後画像の差画像としたか、検査画像を
２値化した事後画像として、この事後画像と検査領域Ｂ
との論理積をとって検査値Ａとしてもよい。

また検査画像を２値化された事前画像及び事後画像の差
画像とする場合、第１図のｊ部分において、入力される
正常画像信号を２値化される前の事前画像と事後画像と
の間の差画像とし、これに２値化、排他的論理和、論理
否定等の操作を加えてもよい。

［効果コ 本発明は、２値化する際の符号変化点の近傍に不感帯領
域を設けて、この不感帯領域外で監視判定を行うとした
ため、監視対象物の特徴領域の許容可能な位置ずれ、大
きさの不揃い等か許容されて監視の目的に沿った監視を
行うことができる。

また、監視面の照度が変動したことによる撮像手段の出
力の変動等に対しても所定範囲内の変動であれば、不感
帯領域が存在するためにこれに吸収され、正しい監視を
行うことができる。

【図面の簡単な説明】

第１図は不感帯領域を除いた領域で撮像手段の出力から
検査値を得る回路の構成を示すブロック図、 第２図（ａ）は不感帯領域を除いた領域（検査領域）を
得るために撮像手段の出力をＶｔｈ＋Δ及びＶｔｈ−Δ
で２値化する動作を説明するための説明図、同図（ｂ）
は検査領域を示す説明図、第３図（ａ）　〜（ｃ）はＢ
−Ａｆｌ（Ｖｔｈ−Δ）☆Ｉ（Ｖｔｈ＋Δ））の計算式
による不感帯領域の検出動作を説明するための説明図、
第３図（ｃｌ）はその結果得られた検査領域を示す説明
図、第３図（ｅ）は正常監視対象物の特徴領域を示す説
明図、第３図（ｆ）および（ｇ）は監視対象物に対する
２値打号化動作を説明するための説明図、第４図は画像
監視装置で監視対象物を監視している様子を示す外観斜
視図、 第５図は画像監視装置の内部構成を示したブロック図、 第６図は画像監視動作を説明するためのフローチャート
、 第７図は第６図のフローチャートにおける事後監視処理
を具体的に説明するためのフローチャートである。 Ｖｔｈ・・・２値化レベル。 以　　上

Claims (1)

1. 【特許請求の範囲】 監視画像を２値化レベルで２値符号化し、この２値符号
   により監視判定を行なう画像監視方法において、 上記２値化レベル近傍において不感帯領域を設けて、こ
   の不感帯領域外で２値化された２値符号に基づいて、上
   記監視判定を行なう ことを特徴とする画像監視方法。