JPH046404A - 画像監視方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、例えば製造組立工程等において平面基板上に
ＩＣ素子等が正しく実装され゛たか、孔が正しく開けら
れているか等の監視を行うための画像監視方法に関する
。

［従来の技術］ 長さやパターン等の良否判別、すなわち例えば被検査物
（監視対象物）の長さが規定通りか、被検査物の形状が
規定通りか等の判別は、被検査物をテレビカメラ等で撮
像して、その長さや形状等が現れている特徴領域部分を
ウィンドウで指定して検査領域を狭く指定し、その部分
内の上記長さや形状が現れている画素の数を数える等に
より物理量として精度高く測定し、その画素数が許容値
以内であるか否か等により、良否判別が行われている。

ところで製造組立工程等での加工後の外観検査等、例え
ば孔明は工程等での加工後、孔が正しく開けられている
かの監視は孔の開けられている位置の精度は重要ではな
く、ただ孔が所定位置近傍に開けられていればよいこと
も多い。また製造組立工程等での加工前の外観検査では
加工面に大きなごみ等が付着していないか等を漠然と監
視したい場合もある。

［解決しようとする課題］ 従って、このような外観検査では、前述のように物理量
として精度高く測定する必要はなく、また被検査物の外
観等を全体として検査したいため、前述のように狭い範
囲を指定してその中だけを検査しても、被検査物全体の
監視を行うことができない。一方、被検査物全体を一つ
の検査領域として検査すると、例えばある部分にはごみ
が付着しており、またある部分にはきずがある等により
、これらが検査の段階で異符号として現れて、従ってそ
れらが相殺され、結局正常物として誤判定される場合も
生じる。

そこで本発明の目的は、外観検査等のあいまいな抽象的
判断基準による監視を行うことか可能な画像監視方法を
提供することにある。

［課題を解決するための手段］ 上記目的を達成するために、本発明は、撮像手段で撮像
した監視対象物の画像を、基準画像と比較することによ
り、監視対象物の良否判定を行なう画像監視方法におい
て、撮像手段て撮像した画面内の監視領域を複数のブロ
ック領域に分割し、この各ブロック領域ごとに良否判定
を行なうこととした。

また、各ブロック領域における各基準画像に許容範囲を
設定し、各ブロック領域において、撮像手段で撮像した
監視対象物の画像が許容範囲内であるか否かにより、各
ブロック領域ごとに良否判定を行なうことが好ましい。

更に、各ブロック領域における基準画像の許容範囲に、
それぞれ監視の重要度に応じて重み付けを行なうことが
好ましい。

［実施例］ 以下、本発明の一実施例を図面に基づいて詳細に説明す
る。

まず、画像監視装置の全体構成について説明する。第１
図において、監視対象物１は例えば製造ラインの孔開は
加工工程（図示省略）中等にあり、照明２の下で、テレ
ビカメラ３により、孔明は加工が施される面の撮像が行
われる。撮像は孔開は加工前の事前画像と、孔開は加工
後の事後画像の双方が行われる。孔開は加工機械におけ
る加工準備終了や加工終了の入力制御信号は入力用回線
５により装置本体７に入力される。装置本体７の監視条
件等は、キーバッド８で入力される。入力制御信号が入
力用回線５より入力されるごとに装置本体７は事前監視
や事後監視を実行し、結果を出力用回線６より出力制御
信号として出力する。なお装置本体７には、テレビカメ
ラ３で撮像した映像、さらにそれを２値又は多値符号化
した画像信号等を表示可能なＣＲＴ　７　ａが設けであ
る。

次に原理を第２図を用いて説明する。

テレビカメラ３で撮像した画面全体を監視領域とする場
合はその画面全体を、テレビカメラ３で撮像した画面全
体の一部を区画して監視領域とする場合はその区画され
た監視領域を、ブロック領域に分割して監視領域をこれ
て覆う。分割の方法は種々考えられるか、第２図では、
監視領域Ｓは撮像した画面（水平画素数ＬＨ，垂直画素
数ＬＶとする）全体としており、水平方向を４等分割し
、垂直方向を４等分割し、これらの分割により得られる
１６のブロックをブロック領域Ｕとしている。

一般に、ブロック領域への分割、及びそれに基づく各ブ
ロック領域の監視を自動的に行なうためには、分割の方
法は、監視領域Ｓの水平方向を２゜（−Ｍとする）に等
分割し、垂直方向を２°　（−Ｎとする）に等分割し、
これらの分割により得られるＭＸＮのブロックをブロッ
ク領域Ｕとするのが好ましい。ここに２１．２０として
いるのは、コンピュータは２進法で計算するため、２の
指数倍としておくことにより、余りが出ないからである
。指数１．ｎは監視対象物１の形状等により操作設定す
る。

次に監視は各ブロック領域ごとに行われる。監視は基準
画像と比較することにより行われ、基準画像は各ブロッ
ク領域ごとに許容範囲が設定され、検査画像の各ブロッ
ク領域における値が許容範囲内であるか否かにより、良
否判定がなされる。

各ブロック領域における許容範囲は、そのブロック領域
の監視の重要度に応じて、重み付けが行われでいる。例
えば孔開は加工により開けられた孔等の像が写っている
ブロック領域の監視レベルを、それらの像は写らず時折
、付着したごみ等のみが写るブロック領域の監視レベル
より高くするために、孔等の像が写るブロック領域の許
容範囲を、それらの重要な像が写らないブロック領域の
許容範囲より、狭くしている。許容範囲の重み付は方法
として、例えば、監視レベルを１．・・ｊ、・・　、Ｊ
のＪ段階としく小さい数はど監視レベルが高いとする）
、単位許容値をｄＱとしたとき、あるブロック領域Ｕ　
の基準値がＱｐ１監視レベルがｊであれば、そのブロッ
ク領域Ｕ　の許容範囲の上限値ＱｐＨ−Ｑｐ＋ｊＸｄＱ
、下限値ＱｐＬ−Ｑｐ−ｊＸｄＱとすることができる。

以後、本実施例において、監視領域は等分割の垂直線水
平線によって区画されたＭ　Ｘ　Ｎ個のブロック領域か
らなり、各ブロック領域には監視レベルｊが指定されて
いるものとして説明する。

次に第３図を用いて画像監視方法の全体のブロック構成
を説明する。

ＲＯＭ２１にはＣＰＵ２２を動作させるためのプログラ
ムが記憶されている。

ＲＡＭ２３には監視対象物１の事前の正常状態及び事後
の正常状態をテレビカメラ３で撮像して２値処理又は多
値処理した事前、事後基準画像信号、事前及び事後監視
における各ブロック領域の位置、単位許容値、各ブロッ
ク領域の監視レベルｊ１等のデータが記憶されている。

ブロック領域への分割方法２分割数等は事前及び事後で
異なっていてもよく、この場合は事前及び事後の双方の
情報が記憶されている。監視条件は、オペレータがＣＲ
Ｔ？ａ等を見ながら、キーバッド８等より入力し、１１
０ポート２９を介してＲＡＭ２３に記憶される。

ＣＰＵ２２はＲＯＭ２１の指令およびＲＡＭ２３のデー
タに基づき、事前及び事後監視における各ブロック領域
の良否判定、及びそれらの結果に基つく監視領域の全体
の良否判定等を行なう。

テレビカメラ３で撮像した画像信号はＡ／Ｄ変換回路３
０を経てフレームメモリ３１に蓄えられ、またフレーム
メモリ３１の内容は表示回路３２を経てＣＲＴ７ａに表
示される。なおフレームメモリ３１は２個用意されてお
り、それぞれ事前画像。

事後画像が記憶される。

次に第４図および第５図を用いて、本方法のフローを説
明する。

画像監視処理は全体として事前監視、事後監視の２つの
監視動作により構成されている。前者の事前監視は監視
対象物１の孔開は等のイベントの前における状態を監視
し、正常な準備状態にあるかどうかを判断し、異常が検
出された場合には直ちにイベントを中止する。また事後
監視はイベント終了後の状態が正常な状態にあるかどう
かを判断し、異常が検出された場合には直ちに次回の実
行を中止する。

ます、オペレータが撮像された監視対象物１をＣＲＴ７
ａで見ながら、キーバッド８により、事前及び事後にお
いて、どのようにブロック領域に分割するか、分割数は
いくつにするか等の監視条件を設定する（１０２）。

次に正常な監視対象物の加工前の画像を、テレビカメラ
３により撮像してＣＲＴ７ａにより像を写したしく１０
３）　、それぞれのブロック領域Ｕ、における特徴量を
算出して、良否判定の基準値Ｑｐを求める。そして単位
許容値ｄＱ、及び各ブロック領域における監視レベルｊ
を設定する。これにより各ブロック領域における許容範
囲±ｊｄＱが定まる（１０４）。

次に上記の正常な監視対象物に正常な孔加工等のイベン
トを施し、このイベント後の画像を、テレビカメラ３で
撮像して、事後監視における各ブロック領域において上
記と同様の操作を行なう（１０３，１０４）。

次に監視に移り、入力用回線５によりイベント準備終了
の信号が入ると（１０５）　、監視対象物１のイベント
が施される面の撮像を行ない、事前検査画像を入力して
（１０６，２０２）、各ブロック領域ごとに特徴量ｑ　
を算出しく２０４）、ＲＡＭ２３に記憶されている基準
事前画像の基準値と比較し、許容範囲±ｊｄＱ内か否か
により（２０５）　、良又は不良の判定を行ない（２０
６゜２０７）、全ブロック領域で良判定のとき監視対象
物１の事前監視結果は良であるとして（２１０）、その
信号を回線６により加工機等に伝え（１０８）、孔開は
加工等のイベントが行われる。いずれかのブロック領域
で異常と判定された場合はそのブロック領域の再試行又
は孔開は中止とする。

監視領域全体を監視するに際して、各ブロック領域は監
視レベルが異なり、重要なブロック領域はより厳格に監
視され、さほど重要でない領域は比較的ゆるやかに監視
されるため、全体監視の目的にあった監視が行われる。

事前監視結果が良であるとしてイベントが行われた場合
は、イベント終了の信号を受けた後（１０９）　イベン
ト後の画像を入力する（１１０）。

その後のフロー１１１．１１２の詳細を第５図に示して
あり、これに基づいて説明する。各ブロック領域ごとに
特徴量ｑ　を算出する（２０４）。

なおこの場合における特徴量の算出は事前画像と事後画
像との差画像を採ることにより行なう。これにより加工
前と加工後とて変化した部分のみが抽出され、例えば加
工前より付着しているか良否判定に影響を及ぼさなかっ
た小さなごみ等は加工後も付着しているため抽出されず
、事後監視における良否判定への影響をなくすことがで
きる。次に、各ブロック領域で、この差画像からなる特
徴量とＲＡＰｖ１２３に蓄えられている基準事後画像の
基準値と比較し、許容範囲±ｊｄＱ内かにより（２０５
）　、良又は不良の判定を行ない（２０６゜２０７）、
全ブロック領域で良判定のとき監視対象物１の事前監視
結果は良であるとして（２１０）その信号が回線６によ
り加工機に伝えられ（１０８）、次回のイベントが続行
される。異常と判定された場合は再試行または次回のイ
ベント中止とする。事後監視においても、事前監視の場
合と同様、各ブロック領域で監視レベルが設定しである
ため、全体監視の目的に合った監視が実行される。

なお、上記実施例では事後監視処理は事前画像と事後画
像との差画像を基準事後画像と比較することにより行な
ったが、事後画像を基準事後画像と比較して行うことも
可能である。

また、各ブロック領域における特徴量の算出、各ブロッ
ク領域の良否判定の処理を、各ブロック領域において同
時並行的に行うようにすることにより、処理の高速化を
図ることができる。

［効果］ 本発明によれば、監視領域を適当な大きさのブロック領
域に分けて覆うこととしたため、所定量以上の変化を検
出することができ、外観検査等のあいまいな抽象的判断
基準による全体監視を行なうことが可能となる。

また、許容範囲を設定し、許容範囲内であるか否かによ
り、各ブロック領域の良否判定を行うことにより、良否
判定を一律の条件の下で迅速に行うことができる。

更に良否判定の際の許容範囲に重み付けすることにより
、監視レベルの高いブロック領域はより厳しく監視され
、監視レベルの低いブロック領域はよりゆるやかに監視
され、より有効な監視を行うことが可能となる。

【図面の簡単な説明】

第１図は画像監視装置で監視対象物を監視している様子
を示す外観斜視図、第２図は監視領域を複数のブロック
領域に分割した状態を示す平面図、第３図はシステムブ
ロック図、第４図は画像監視の全体システムフローチャ
ート、第５図は第４図のシステムフローチャートにおけ
る監視処理の具体的フローチャートである。 １・・・監視対象物、 ３・　・テレビカメラ、 Ｓ・・・監視領域、 Ｕ・・・ブロック領域。 第 図 第２図 Ｎ＝Ｍ＝４．ｎ＝ｍ＝２ 仄覧幌 第 ３図 タト部 本体 第 図

Claims (3)

【特許請求の範囲】
1. （１）撮像手段で撮像した監視対象物の画像を、基準画
   像と比較することにより、上記監視対象物の良否判定を
   行なう画像監視方法において、上記撮像手段で撮像した
   画面内の監視領域を複数のブロック領域に分割し、 この各ブロック領域ごとに良否判定を行なうことを特徴
   とする画像監視方法。
2. （２）上記各ブロック領域における各基準画像に許容範
   囲を設定し、 上記各ブロック領域において、上記撮像手段で撮像した
   監視対象物の画像が上記許容範囲内であるか否かにより
   、上記各ブロック領域ごとに良否判定を行なう ことを特徴とする請求項１記載の画像監視方法。
3. （３）上記各ブロック領域における基準画像の許容範囲
   に、それぞれ監視の重要度に応じて重み付けを行なう ことを特徴とする請求項２記載の画像監視方法。