JPH0410173A - 画像監視方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、例えば製造組立工程等において平面基板上に
ＩＣ素子等が正しく実装されたか、孔が正しく開けられ
ているか等の監視を行うための画像監視方法に関する。

［従来の技術］ 従来、長さやパターン等の良否判別、すなわち例えば被
検査物（監視対象物）の長さが規定通りか、被検査物の
形状が規定通りか等の判別は、被検査物をテレビカメラ
等で撮像して、その長さや形状等が現れている特徴領域
部分をウィンドウで指定して検査領域を狭く指定し、そ
の部分内の上記長さや形状が現れている画素の数を数え
る等により物理量として精度高く測定し、その画素数が
許容値以内であるか否か等により、良否判別が行われて
いる。

ところで製造組立工程等での加工後の外観検査等、例え
ば孔明は工程等での加工後、孔が正しく開けられている
かの監視は孔の開けられている位置の精度は重要ではな
く、ただ孔が開けられていればよいことも多い。また製
造組立工程等での加工前の外観検査では加工面に大きな
ごみ等か付着していないか等を漠然と監視したい場合も
ある。

［解決しようとする課題］ 従って、このような外観検査では、前述のように物理量
として精度高く測定する必要はなく、また被検査物の外
観等を全体として検査したいため、前述のように狭い範
囲を指定してその中だけを検査しても、被検査物全体の
監視を行うことができない。一方、被検査物全体を一つ
の検査領域として検査すると、例えばある部分にはごみ
が付着しており、またある部分にはきすがある等により
、これらが検査の段階で異符号として現れて、従ってそ
れらが相殺され、結局正常物として誤判定される場合も
生じる。

そこで本発明の目的は、外観検査等のあいまいな抽象的
判断基準による監視を行うことができ、またこの場合に
おいても重要な特徴領域は重み付けして監視することが
可能な画像監視方法を提供することにある。

［課題を解決するだめの手段］ 上記目的を達成するために、本発明は、撮像手段によっ
て監視対象物を撮像し、予め決められている基準画像と
比較することにより、監視対象物の良否判定を行なう画
像監視方法において、撮像手段の撮像画面内において設
定された監視領域を、重要な領域を重複させて部分領域
に分割し、この部分領域ごとに良否判定を行ない、上記
重複している部分領域における各良否判定の結果を照合
し、判定違いを検知した場合には、重複している部分領
域における各良否判定の結果の多数決によって重複して
いる領域の良否判定を行なうこととした。

［実施例］ 以下、本発明の実施例を図面に基づいて詳細に説明する
。

まず、画像監視装置の全体構成について説明する。第３
図において、監視対象物１は製造ライン等の孔開は加工
工程（図示省略）中にあり、照明２の下で、テレビカメ
ラ３により、孔開けが施される面の撮像が行われる。撮
像は孔開は前の事前画像と、孔開は後の事後画像の双方
が行われる。

孔開は加工機械における加工準備終了や加工終了の入力
制御信号は入力用回線５により装置本体７に入力される
。装置本体７の動作条件等は、キパッド８て入力される
。入力制御信号が入力用回線５より入力されるごとに装
置本体７は事前監視や事後監視を実行し、結果を出力用
回線６より出力制御信号として出力する。なお装置本体
７には、テレビカメラ３で撮像した映像、さらにそれを
２値又は多値符号化した画像信号等を表示可能なＣＲＴ
　７　ａが設けである。

次に本発明の原理を部分領域設定方法の第１実施例であ
る第１図を用いて説明する。

第１図（ｂ）〜（ｅ）はテレビカメラ３の画面全面（水
平画素数ＬＨ，垂直画素数ＬＶ）を監視領域Ｓとし、事
後監視における各部分領域を走査線単位で与えたもので
ある。加工により、監視領域を等分に４分割し監視領域
を等分に４分割した上方より２番目の領域には横方向に
長孔１１が開けられるものとしく同図（ａ）参照、加工
前は監視領域Ｓは平面状態とする）、同図（ｂ）に示す
ように部分領域Ｌｌは長孔１１をカバーした上記等分に
４分割した上方より２番目の領域とし、同図（Ｃ）に示
す部分領域Ｌ２は上記等分に４分割した上方より１番目
および２番目の領域に、更にＬｌの下端より若干下方の
部分まで覆った領域とし、同図（ｄ）に示す部分領域Ｌ
３は上記等分に４分割した上方より２番目および３番目
の領域に、更にＬｌの上端より若干上方の部分まで覆っ
た領域とし、同図（ｅ）に示す部分領域Ｌ４は上記等分
に４分割した上方より４番目の領域としている。

長孔１１が開けられる部分は重要な特徴領域であり、ご
みか付着しているか否か等の監視よりも重要性が高く、
従って３つの特徴領域ＬＩ　　Ｌ２Ｌ３により重複して
検査されるようになっている。

そして重複領域の良否の判定はＬｌ、Ｌ２．Ｌ３それぞ
れの判定結果の多数決により行わる。これにより、例え
ば長孔１１の位置がずれて領域Ｌ１から外れた場合、長
孔１１は領域Ｌ１の中に入ってはいるが、ノイズの影響
により過誤判定のなされる割合か高い場合等においても
、良判定のなされる確率が高くなるようになっている。

また、例えば、長孔１１が大きく上方にすれて領域Ｌｌ
及び領域Ｌ３で不良判定か出た場合には、その判定結果
により孔位置が上方にすれたことが判別される。更に、
長孔１１の位置ずれはないが、長孔１１の穴が半分しか
開けられていない場合等、領域Ｌｌの部分に変化があっ
たときは、領域Ｌｌ、Ｌ２、Ｌ３の３領域で変化が表せ
られる。

なお、加工前は監視領域Ｓは平面状態であり、また特に
重要な特徴領域はないものとし、事前監視においては、
部分領域を上記等分に４分割したそれぞれの部分とし、
部分領域の重複は行なわないものとする。

次に、画像監視装置の全体のブロック構成を第４図を用
いて説明する。

ＲＯＭ２１にはＣＰＵ２２を動作させるためのプログラ
ムが記憶されている。

ＲＡＭ２３には監視対象物１の事前の正常状態及び事後
の正常状態をテレビカメラ３で撮像して２値処理又は多
値処理した事前、事後基準画像信号、事前及び事後監視
における部分領域の位置。

各部分領域の良否判定を行なう際の許容値、事後監視に
おける重複している部分領域の位置　等のデータが記憶
されている。事前及び事後監視における部分領域の位置
、各部分領域の良否判定を行なう際の許容値、事後監視
における重複している部分領域の位置、タイミング等の
条件は、オペレータがＣＲＴ７ａ等を見ながら、キーバ
ッド８等より入力し、ｉ　／　ｏポート２９を介してＲ
ＡＭ２３に記憶される。

ＣＰＵ２２はＲＯＭ２１の指令およびＲＡＭ２３のデー
タに基づき、事前及び事後監視における各部分領域の良
否判定、事後監視における重複領域の多数決判定等を行
なう。

テレビカメラ３で撮像した画像信号はＡ／Ｄ変換回路３
０を経てフレームメモリ３１に蓄えられ、またフレーム
メモリ３１の内容は表示回路３２を経てＣＲＴ７ａに表
示される。なおフレームメモリ３１は２個用意されてお
り、それぞれ事前画像。

事後画像か記憶される。

次に第５図を用いて、本方法の動作フローを説明する。

まず、オペレータが撮像された監視対象物１をＣＲＴ　
７　ａで見ながら、キーバッド８によりウィンドウで部
分領域を設定する等、事前及び事後の監視条件を設定す
る（１０２）。なお事前画像における部分領域と事後画
像における部分領域とは同一でなくてもよく、本実施例
では事前画像における部分領域は前述のように４等分割
した各部分であり重複領域は存在していない。

次に正常な監視対象物の加工前の画像を、テレビカメラ
３により撮像してＣＲＴ　７　ａにより像を写しだしく
１０３）、それぞれの部分領域の特徴量を算出し、これ
らの良否判定基準値及び許容値等を設定する（１０４）
。

次に上記の正常な監視対象物に正常な孔加工を施し、こ
の加工後の画像を、テレビカメラ３で撮像して、事後監
視における部分領域において上記と同様の操作を行なう
（１０３，１０４）。

次に監視に移り、入力用回線５により加工準備終了の信
号が入ると（１０５）　、監視対象物１の孔開けされる
面の撮像を行ない、事前検査画像を入力して（１０６）
、各部分領域ごとにＲＡ　Ｍ　２３に記憶されている基
準画像と特徴量を比較し、許容値内か否かにより、良又
は不良の判定を行ない、全部分領域で良判定のとき監視
対象物１の事前監視結果は良であるとして（１０７）　
、その信号を出力用回線６により加工機等に伝え（１０
８）、孔開は加工が行われる。異常と判定された場合は
再試行又は孔開は中止とする。

事前監視結果が良であるとして加工が行われた場合は、
加工終了の信号を受けた後（１０９）、加工後の画像を
入力する（１１０）。

これ以降のフロー１１１．１１２の詳細を第６図に示し
てあり、このフロー図に沿って説明すると、まず、各部
分領域の特徴量を抽出する（２０４）。なお特徴量の算
出は事前画像と事後画像との差画像を採ることにより行
なう。これにより加工前と加工後とで変化した部分のみ
が抽出され、例えば付着しているか良否判定に影響を及
ぼさなかった小さなごみ等は加工後も付着しているため
抽圧されず、事後監視における良否判定への影響をなく
すことかできる。次に、各部分領域で、この差画像から
なる特徴量とＲＡＭ２３に蓄えられている基準事後画像
のデータとを比較して許容値内か否か判断し、良否判定
を行なっていき（２０５）、この結果を、ＲＡＭ２３の
中に一時的に蓄えておく。

すべての部分領域の良否判定が終わると（２０６）　、
ＣＰＵ２２はＲＡＭ２３の中に一時的に蓄えられた上記
データにより、重複領域が同一判定か否かを照合する（
２０９）。重複領域においてそれを構成する部分領域の
全てが同一判定ではないときは（２１０）、多数決を採
る。そして多数決で良と判定されたときは、重複してい
る部分は良と判断する（２１１）。多数決判定を全ての
重複領域で行ない（２１２）　、全ての部分領域で良判
定のとき、又は不良判定の部分領域があった場合におい
ても、その部分が他の部分領域と重複しており、かつそ
の多数決判定により重複部分か良判定となった場合には
、事後監視結果は良であるとして、最終結果を出力する
（２１３．　１１２）。

また多数決判定により異常の最終結果を得た場合は、可
能な場合は判定違いの領域のみ再検査して最終結果とす
る。

本実施例は重要な特徴領域を重複させて部分領域を設定
し、それぞれの各部分領域の判定結果か同一てないとき
は多数決により判断するため、例えば特徴領域の多少の
位置すれ等は差支えなく、特徴領域が存在することのみ
が重要である場合等は、多数決判定により正しい判断が
行われる。このことは、特徴領域が存在する部分領域の
面積を大きくしておき、この部分領域で特徴領域の良否
の判別を行うことによっても達成される。即ち、この場
合は部分領域の面積が広いため、特徴領域が位置すれを
起こしていても依然として特徴領域はこの部分領域内に
存在させることができ、正しい判定を行うことができる
。また面積が広くなっている割合たけノイズ等の影響が
大きくなるため、判定結果に過誤を生しる割合か高くな
る場合は、特徴領域か存在する部分領域を複数回検査し
て、多数決により良否判別を行なって、より正しい結果
を得ることも可能である。例えば第１図に示す第１の実
施例において、特徴領域を含む部分領域の上端を特徴領
域Ｌ３の上端と同じにし、下端を特徴領域Ｌ２の下端と
同しにする。そして、これにより部分領域の面積が大き
くなるために、この部分領域の検査を例えば３回行い、
その多数決によりこの部分領域の良否を判断することも
考えられる。しかしながら、実験結果によれば、本発明
のように特徴領域を重複させて異なった部分領域を設定
して多数決により判定を行なった場合の過誤判定の割合
は、上記の特徴領域を含む面積の広い部分領域のみを繰
り返して複数回検査して多数決により判定を行なった場
合の過誤判定の割合よりも少ないという結果が得られた
。これは、本発明では重複している各部分領域はお互い
に位置がすれているために、ノイズが分散され、従って
過誤判定の割合が減少したものと思われる。

なお、上記実施例では領域Ｌ２．Ｌ３はそれぞれ、４等
分割の１番目及び２番目、２番目及び３番目に所定量の
拡張部分を設けたか、領域Ｌ２Ｌ３をそれぞれ、４等分
割の１番目及び２番目２番目及び３番目としてもよく、
この場合には、位置すれはカバーできないか、この場合
も多数決判定を行うことにより、ノイズの影響による過
誤判定がより防止される。

また、上記実施例では部分領域は走査線単位で設定した
が、部分領域の設定の方法は種々考えられ、例えば第２
の実施例として、第２図（ａ）に示すように監視領域Ｓ
を矩形に４等分割した場合に、左上の部分に丸孔１６か
らなる特徴領域がある場合は、同図（ｂ）〜（ｅ）に示
すように部分領域Ｌ２１は上記４等分割の左上の部分と
し、部分領域Ｌ２２は４等分割の左上の部分と左下の部
分を含み更にそれらの右側へ若干範囲を拡張した領域と
し、部分領域Ｌ２３は上記４等分割の左上の部分と右上
の部分を含み更にそれらの下側へ若干範囲を拡張した領
域とし、部分領域Ｌ２４は領域Ｌ２２の右端線と領域Ｌ
２４の下端線とて囲まれる領域としてもよい。また、監
視領域Ｓを矩形に４等分割した場合に、左上の部分に丸
孔１Ｂからなる特徴領域がある場合、部分領域Ｌ２１は
上記４等分割の左上の部分とし、部分領域Ｌ２２は４等
分割の左上の部分と左下の部分とし、部分領域Ｌ２３は
上記４等分割の左上の部分と右上の部分とし、部分領域
Ｌ２４は上記４等分割の右下の部分としてもよい。なお
部分領域の形状、数９重複領域の数。

重複領域における部分領域の数、配置等は自由に選ぶこ
とができ、これらは監視対象物に含まれる特徴領域の形
状やその特徴領域の監視の重要度。

さらに監視対象物を画像処理する際の外乱（ノイズ）の
混入度等を基準として、決定する。特に重要な領域につ
いては、部分領域の大きさを小さくして、定量化し易く
し、また重複度を上げる。

更に、上記実施例では事後監視処理は事前画像と事後画
像との差画像により行なったが、事後画像を基準事後画
像と比較して行うことも可能である。

更にまた、上記実施例では事前監視には本発明を適用し
ていないが、事前画像に特徴領域が存在する場合等には
事前監視にも本発明を適用することが可能である。

また上記実施例ではテレビカメラ３の画面全体を監視領
域としたが、画面の一部をウィンドウ等で囲って監視領
域とし、この部分に本発明を適用してもよい。

なお本発明において、各部分領域における特徴量の算出
、各部分領域の良否判断の処理１重複領域が複数箇所あ
る場合にそれらの複数個所における多数決判定等を同時
並行的に行うことにより、処理の高速化を図ることがで
きる。

［効果］ 本発明によれば、外観検査等のあいまいな抽象的判断基
準による監視を行うことができ、またこの場合において
も重要な特徴領域は重み付けして監視することが可能で
ある。

【図面の簡単な説明】

第１図は第１実施例の領域分割方法を示すものて、同図
（ａ）は撮像手段の画面において部分領域が重複してい
る様子を示す平面図、同図（ｂ）〜（ｄ）は部分領域の
位置を示す平面図、第２図は第２実施例の領域分割方法
を示すもので、同図（ａ）は撮像手段の画面において部
分領域が重複している様子を示す平面図、同図（ｂ）〜
（ｄ）は部分領域の佐賀を示す平面図、第３図は画像監
視装置で監視対象物を監視している様子を示す外観斜視
図、第４図は画像監視装置のシステムブロック図、第５
図は画像監視装置全体のシステムフロー図、第６図は第
５図のシステムフロー図における監視処理の具体的フロ
ー図である。 １・・・監視対象物、 ３・・・テレビカメラ、 Ｌｌ　−Ｌ４　、Ｌ２１−Ｌ２４・・・部分領域、Ｓ・
・・監視領域。 以　　上

Claims (1)

1. 【特許請求の範囲】 撮像手段によって監視対象物を撮像し、予め決められて
   いる基準画像と比較することにより、上記監視対象物の
   良否判定を行なう画像監視方法において、 上記撮像手段の撮像画面内において設定された監視領域
   を、重要な領域を重複させて部分領域に分割し、 この部分領域ごとに良否判定を行ない、 上記重複している部分領域における各良否判定の結果を
   照合し、 判定違いを検知した場合には、上記重複している部分領
   域における各良否判定の結果の多数決によって上記重複
   している領域の良否判定を行なうこと を特徴とする画像監視方法。