JP2000339458A

JP2000339458A - 画像処理装置

Info

Publication number: JP2000339458A
Application number: JP11145154A
Authority: JP
Inventors: Toshitaka Masui; 敏孝増井
Original assignee: Sharp Corp; Sharp Manufacturing Systems Corp
Current assignee: Sharp Corp; Sharp Manufacturing Systems Corp
Priority date: 1999-05-25
Filing date: 1999-05-25
Publication date: 2000-12-08

Abstract

(57)【要約】【課題】サーチ領域の再設定が適正か否かを、その再
設定時においてあらかじめチェックすることのできる画
像処理装置を提供する。【解決手段】撮像した計測対象物３０の画像データに
ついて基準サーチ領域Ｄ２内の位置決め用基準画像検出
領域Ｄ１での基準位置座標Ｐを検出するとともに計測サ
ーチ領域Ｄ４内の計測対象基準画像検出領域Ｄ３での計
測対象位置座標Ｑを検出し、基準位置座標Ｐに対する計
測対象位置座標Ｑの相対的位置関係から検査対象（ラベ
ル画像７０の位置）の良否を判定する。基準サーチ領域
Ｄ２および計測サーチ領域Ｄ４を再設定したときに、そ
の再設定後の基準サーチ領域Ｄ２および計測サーチ領域
Ｄ４が取り込み画像データ全領域１００の内部に収まっ
ているか否かを判定し、収まっていないときはＣＣＤカ
メラ２または計測対象物３０を移動させるべき方向矢印
標記Ｍ，Ｎを表示する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、欠陥検査用の画像
処理装置、特に生産ライン検査システムに装備されて生
産される半製品または製品の欠陥（例えばラベルの位置
ずれなど）を検出するための画像処理装置にかかわり、
詳しくはサーチ領域の再設定が適正か否かを、その再設
定時においてあらかじめチェックできるようにするため
の技術に関する。

【０００２】

【従来の技術】図３は、後述する実施の形態でも用いら
れるものであって、計測対象物をＣＣＤカメラで撮像し
てフレームメモリに一時的に格納した取り込み画像デー
タを視覚的に表したものである。ここでは、計測対象物
を容器とし、検査対象を容器に貼り付けられたラベル
（ラベルの二次元的な位置）であるとする。符号の１０
０は取り込み画像データ全領域、５０は容器画像、５１
は容器本体画像、６０はキャップ画像、７０はラベル画
像、８０は背景画像である。ここで、例えばキャップ画
像６０というのはキャップの画像データのことであり、
ラベル画像７０というのはラベルの画像データのことで
ある。

【０００３】ラベル画像７０に位置ずれが生じていない
かどうかの判定は次のように行う。まず、基準の位置を
定めておく必要がある。それを例えばキャップ画像６０
の例えば左上角部とし、そこに位置決め用基準画像検出
領域Ｄ１を設定するとともに、その位置決め用基準画像
検出領域Ｄ１の周囲にそれを取り囲むひとまわり大きい
基準サーチ領域Ｄ２を設定する。そして、ラベル画像７
０の検出ポイントを例えば右下角部として、そこに計測
対象基準画像検出領域Ｄ３を設定するとともに、その計
測対象基準画像検出領域Ｄ３の周囲にそれを取り囲むひ
とまわり大きい計測サーチ領域Ｄ４を設定する。基準サ
ーチ領域Ｄ２は、ＣＣＤカメラによる取り込み画像デー
タ全領域１００の内部においてキャップ画像６０の左上
角部が存在すると想定される位置に設定し、計測サーチ
領域Ｄ４は容器本体画像５１と背景画像８０との境界８
１を含むと想定される位置に設定する。

【０００４】まず、ＣＣＤカメラによる取り込み画像デ
ータ全領域１００において基準サーチ領域Ｄ２を高速サ
ーチしてキャップ画像６０らしきものを見いだし、メモ
リから読み出したキャップ画像左上角部に相当するテン
プレート画像データと画素比較することのパターンマッ
チングに基づいて、位置決め用基準画像検出領域Ｄ１を
抽出し、キャップ画像６０の左上角部である基準位置座
標Ｐ（Ｘ0 ，Ｙ0 ）を検出する。

【０００５】次に、上記で検出した基準位置座標Ｐ（Ｘ
0 ，Ｙ0 ）に基づいて計測サーチ領域Ｄ４を画像データ
上に設定する。これは、例えば次のようにして行う。メ
モリにあらかじめ登録されている基準サーチ領域Ｄ２と
計測サーチ領域Ｄ４との差分に相当する水平方向の変位
量ΔＸと垂直方向の変位量ΔＹとを演算によって算出
し、基準位置座標Ｐ（Ｘ0 ，Ｙ0 ）から変位量ΔＸ，Δ
Ｙの変位を行った座標を計測対象位置座標Ｑ（Ｘ1 ，Ｙ
1 ）とし、この計測対象位置座標Ｑ（Ｘ1 ，Ｙ1）に基
づいて計測サーチ領域Ｄ４を設定するのである。ここ
で、Ｘ1 ＝Ｘ0 ＋ΔＸ …………………………………………………（１）Ｙ1 ＝Ｙ0 ＋ΔＹ …………………………………………………（２）である。

【０００６】そして、計測サーチ領域Ｄ４において高速
サーチを行い、容器本体画像５１と背景画像８０との境
界８１を含んでいることを確認した上で、ラベル画像７
０らしきものを見いだし、メモリから読み出したラベル
画像右下角部に相当するテンプレート画像データと画素
比較することのパターンマッチングに基づいて計測対象
基準画像検出領域Ｄ３を抽出し、その計測対象基準画像
検出領域Ｄ３での両者の画像データの一致度を算出し、
その一致度が所定のしきい値以上となっているか否かを
判断し、しきい値以上となっているときは欠陥無しすな
わち位置ずれ無しと判定し、しきい値未満のときは欠陥
有りすなわち位置ずれ有りと判定する。欠陥無しとは、
実際の容器においてそれに貼り付けられているラベルの
貼り付け位置が正常ないし許容範囲内であるということ
である。なお、欠陥有りの場合はラベルが貼り付けられ
ていない場合も表すものとし、これは一致度が所定値以
下のときに、そのように判定する。

【０００７】さまざまの要因で位置決め用基準画像検出
領域Ｄ１の位置ずれが生じる。例えば、ＣＣＤカメラの
向きが振動等で変化することがあり、そうなるとＣＣＤ
カメラの視野が変化し、同じシャッタタイミング（トリ
ガタイミング）で撮像しても、取り込み画像データ全領
域１００の内部での前記の４つの領域Ｄ１〜Ｄ４に位置
ずれが生じる。昨日のＣＣＤカメラの設定位置や視野方
向などが今日は変化している可能性もある。場合によっ
ては、時間経過とともに変動しているかもしれない。

【０００８】それを図４を用いて説明する。図４は、後
述する実施の形態でも用いられるものであって、位置決
め用基準画像検出領域が図３の場合のＤ１からＤ１ａへ
位置ずれしたものとしている。なお、図３の場合の様子
は二点鎖線で図示している。つまり、取り込み画像デー
タ全領域１００の内部において、容器画像５０、容器本
体画像５１、キャップ画像６０およびラベル画像７０の
すべてが、水平方向にΔＣＸ、垂直方向にΔＣＹの位置
ずれを生じたとする。これに伴って、計測対象基準画像
検出領域はＤ３からＤ３ａへ位置ずれする。なお、基準
サーチ領域Ｄ２や計測サーチ領域Ｄ４は変わらないもの
とする。

【０００９】容器画像５０等が取り込み画像データ全領
域１００において位置ずれを生じた場合に、基準サーチ
領域Ｄ２でサーチした結果として得た位置決め用基準画
像検出領域Ｄ１ａの座標をＰａ（Ｘ0a，Ｙ0a）とする
と、水平方向および垂直方向の位置ずれ量ΔＣＸ，ΔＣ
Ｙはそれぞれ、 ΔＣＸ＝Ｘ0a−Ｘ0 ………………………………………………（３） ΔＣＹ＝Ｙ0a−Ｙ0 ………………………………………………（４）である。そして、位置ずれ後の位置決め用基準画像検出
領域Ｄ１ａを基にした位置ずれ後の計測対象基準画像検
出領域Ｄ３ａの計測対象位置座標Ｑａ（Ｘ1a，Ｙ1a）と
すると、Ｘ1a＝Ｘ0 ＋ΔＸ＋ΔＣＸ ………………………………………（５）Ｙ1a＝Ｙ0 ＋ΔＹ＋ΔＣＹ ………………………………………（６）のように補正すればよい。なお、これら式（５），
（６）は式（１），（２）より、それぞれ、Ｘ1a＝Ｘ1 ＋ΔＣＸ ………………………………………………（７）Ｙ1a＝Ｙ1 ＋ΔＣＹ ………………………………………………（８）と等価であり、元の計測対象基準画像検出領域Ｄ３の座
標Ｑ（Ｘ1 ，Ｙ1 ）を位置ずれ量ΔＣＸ，ΔＣＹだけ補
正したことに相当している。

【００１０】このようにして計測対象基準画像検出領域
Ｄ３ａの位置ずれ補正が行われる。これ以降のパターン
マッチングは、計測サーチ領域Ｄ４でのサーチを行っ
て、計測対象基準画像検出領域Ｄ３ａでの画像データと
テンプレート画像データとの画素比較での一致度がしき
い値よりも大きいか否かを判定する。

【００１１】欠陥有りすなわち位置ずれ有りと判定した
ときは、一般的には警報または警告を発することが行わ
れる。そのとき直ちに生産ラインを停止するか、それと
もある程度時間をおいて様子を見てから停止するかす
る。

【００１２】

【発明が解決しようとする課題】上記した従来の技術に
は次のような問題点がある。生産ラインの稼働中におい
て、パターンマッチングの画像処理にマッチングミスな
どの不具合が発生することがある。すなわち、ラベルに
位置ずれが発生していないにもかかわらず、位置ずれ有
りの警報をしてしまうことがある。あるいは、逆に、ラ
ベルに位置ずれが発生しているにもかかわらず、位置ず
れ無しと誤判定してしまう場合もある。要するに、エラ
ーが発生するわけであるが、そのエラー発生率が高い
と、生産の歩留まりが低下する。そこで、そのような事
態が発生した場合、あるいは発生すると予想される場合
には、基準サーチ領域Ｄ２や計測サーチ領域Ｄ４の設定
のし直しを行う。

【００１３】また、何らかの事情により、計測対象物が
ＣＣＤカメラの視野すなわち取り込み画像データ全領域
１００の範囲から外側へはみ出すことがある。計測対象
物自体がはみ出さないまでも、計測サーチ領域Ｄ４がは
み出すことがある。そして、このような事態が継続し、
元の正常な状態には復帰しない場合がある。このように
なると、継続的に、パターンマッチングが不可能になっ
たり、パターンマッチングの精度が大幅に低下したりす
る。これでは生産の歩留まりの低下を招く。そこで、そ
のような事態が発生した場合、あるいは発生すると予想
される場合には、上記と同様に、基準サーチ領域Ｄ２や
計測サーチ領域Ｄ４の設定のし直しを行う。

【００１４】このような基準サーチ領域Ｄ２や計測サー
チ領域Ｄ４の再設定により、エラー発生率をゼロに近づ
けるのである。この場合、場合によっては、ＣＣＤカメ
ラの画角を変更して視野を調整することも行われる。

【００１５】このような再設定は、オペレータによるマ
ニュアル作業（人為的作業）によって行われる。このマ
ニュアルによるサーチ領域の再設定の作業について説明
すると、まず、ＣＣＤカメラの視野内に計測対象物の全
体が入るように、計測対象物を位置調整する。このと
き、もちろん、計測対象物を搬送するコンベヤなどの搬
送手段は停止させておく。計測対象物をＣＣＤカメラで
撮像した映像はモニタに映し出されている。そのモニタ
の映出の状況も勘案しながら、オペレータは計測対象物
の位置を調整したり、あるいはＣＣＤカメラの視野を調
整したりする。

【００１６】そして、ＣＣＤカメラによる取り込み画像
データ全領域１００内における計測対象物画像の相対的
位置関係は一応これでよいと確認したうえで、基準サー
チ領域Ｄ２と計測サーチ領域Ｄ４の再設定を行う。まず
は、基準サーチ領域Ｄ２の再設定を行い、続いて計測サ
ーチ領域Ｄ４の再設定を行う。まず、基準サーチ領域Ｄ
２の設定についてであるが、例えばキャップ画像６０の
左上角部を位置決め用基準画像検出領域Ｄ１とするよう
に、その周囲に基準サーチ領域Ｄ２を設定する。続いて
は、計測サーチ領域Ｄ４の設定に進む。例えばラベル画
像７０の右下角部を計測対象基準画像検出領域Ｄ３とす
るように、その周囲に計測サーチ領域Ｄ４を設定する。
このような作業をすべてマニュアル作業で行っている。

【００１７】さて、このような従来の技術の問題は、上
記のようにして再設定したあとの基準サーチ領域Ｄ２お
よび計測サーチ領域Ｄ４がはたして許容される範囲内に
あるかどうかのチェックを行わないまま、生産ラインの
稼働を開始するようになっていた。それは、そのような
チェックの機能を有していないからである。そのため、
もしも許容される範囲をはみ出して設定されていた場合
には、そのことに気付かないままの稼働開始ということ
になり、トラブルが発生して初めて設定ミスを認識でき
るという具合であった。そして、トラブルが発生するま
で分からないとなると、トラブル発生までに不良品がす
でに発生している可能性があり、歩留まりが低下するお
それが多分にある。また、生産ラインを停止して、再設
定を行わなければならなくなり、生産効率の大幅な低下
をもたらす。オペレータにとっても作業負担が大きなも
のとなる。しかも、その再設定によっても、再びトラブ
ルを起こす可能性がゼロになるわけではなく、再々のト
ラブル発生を招かないとも限らないのである。

【００１８】あらかじめ知るようにするためには、ユー
ザーが机上で計算するなどして、再設定の結果の基準サ
ーチ領域Ｄ２や計測サーチ領域Ｄ４が取り込み画像デー
タ全領域１００をはみ出さない範囲での再設定であるか
否かをチェックすればよいが、そのような計算は非常に
面倒である。

【００１９】本発明は上記した課題の解決を図るべく創
作したものであって、サーチ領域の再設定が適正か否か
を、その再設定時においてあらかじめチェックすること
のできる画像処理装置を提供することを目的としてい
る。

【００２０】

【課題を解決するための手段】上記した課題の解決を図
ろうとする本発明にかかわる請求項１の画像処理装置
は、次のような構成となっている。理解を容易にするた
め後述する実施の形態にかかわる図面で用いた符号を併
記して記述する。撮像した計測対象物の画像データにつ
いて基準サーチ領域Ｄ２内の位置決め用基準画像検出領
域Ｄ１での基準位置座標Ｐ（Ｘ0 ，Ｙ0 ）を検出すると
ともに計測サーチ領域Ｄ４内の計測対象基準画像検出領
域Ｄ３での計測対象位置座標Ｑ（Ｘ1 ，Ｙ1 ）を検出
し、前記基準位置座標Ｐ（Ｘ0 ，Ｙ0 ）に対する前記計
測対象位置座標Ｑ（Ｘ1 ，Ｙ1 ）の相対的位置関係から
検査対象の良否を判定する画像処理装置であって、前記
基準サーチ領域Ｄ２および前記計測サーチ領域Ｄ４と取
り込み画像全領域１００との相対位置がずれている状態
で行う再設定のときに、初期設定時の取り込み画像全領
域１００に対する両サーチ領域Ｄ２，Ｄ４の相対的位置
関係が再設定後でも同じになるように補正を行うことに
より、前記計測サーチ領域Ｄ４のみを移動させても前記
基準サーチ領域Ｄ２の再設定が不要になるように、すな
わち、その再設定後の基準サーチ領域Ｄ２および計測サ
ーチ領域ｄ４が取り込み画像データ全領域１００の内部
に収まっているか否かを判定するように構成してある。
この構成によると、次のような作用がある。すなわち、
基準サーチ領域Ｄ２および計測サーチ領域Ｄ４の再設定
において、再設定後の基準サーチ領域Ｄ２および計測サ
ーチ領域Ｄ４が取り込み画像データ全領域１００の内部
に収まっているものであるか否かについて、その再設定
の段階ですでにチェックすることができるため、実際の
計測実行においては、基準位置座標Ｐの位置ずれが基準
サーチ領域Ｄ２の範囲内であればどのような位置ずれで
あっても、再設定後の基準サーチ領域Ｄ２や計測サーチ
領域Ｄ４が取り込み画像データ全領域１００からはみ出
すというトラブルは発生しない。また、再設定後の基準
サーチ領域Ｄ２や計測サーチ領域Ｄ４が取り込み画像デ
ータ全領域１００の内部に収まっているか否かの判定の
チェックが自動的に行われるため、オペレータがいちい
ち机上で計算するなどして人為的に判断するわずらわし
さは生じない。そして、実際の計測実行においてはみ出
しのトラブルを生じさせることがなく、生産ラインがそ
の稼働中に不測にストップするなどの不具合の発生を抑
制でき、再度の設定のし直しによる生産効率の低下は招
かないですむ。

【００２１】本発明にかかわる請求項２の画像処理装置
は、上記請求項１において、前記の再設定後の基準サー
チ領域および計測サーチ領域が取り込み画像データ全領
域の内部に収まっていないときは、撮像手段の視野変更
のための移動方向の指示の表示または計測対象物の移動
方向の指示の表示を行うように構成したものである。こ
の構成によると、移動方向の指示を見たオペレータは、
その指示に従って撮像手段または計測対象物を移動させ
ればよいので、再設定における補正の作業を迅速，容易
に行うことができる。

【００２２】本発明にかかわる請求項３の画像処理装置
は、上記請求項１，２において、必要に応じて、位置ず
れ判定条件の補正を行い、その補正後の位置ずれ判定条
件が許容範囲に収まっているか否かを判定するように構
成したものである。この構成による作用は次のようにな
る。撮像手段の移動または計測対象物の移動によって位
置ずれ判定条件が変化するようなアルゴリズムの場合も
あり得る。この場合、位置ずれ判定条件も補正し、それ
が許容範囲内か否かをチェックし、許容範囲内でなけれ
ば、位置ずれ判定条件を再び補正する。したがって、適
正な位置ずれ判定条件を自動的に見いだすことができ
る。

【００２３】本発明にかかわる請求項４の画像処理装置
は、上記請求項１〜３において、前記計測対象物が搬送
されるものであり、その搬送経路の所要の検査ポイント
に前記計測対象物が到達したことを検出する到達検出手
段を備えており、この到達検出手段による検出信号をト
リガとして前記計測対象物の撮像および検査対象の良否
の判定を行うように構成したものである。この構成によ
ると、計測対象物が搬送されるものであっても、その検
査対象をタイミング良く撮像して、上記の作用を得るこ
とが可能となる。

【００２４】本発明にかかわる請求項５の画像処理装置
は、上記請求項１〜４において、前記計測対象物の検査
対象が画像データ上の二次元的な位置であることを特徴
としている。容器などの半製品または製品に貼り付けら
れているラベルの貼り付け位置や印刷内容の印刷位置の
良否の判定あるいは貼り付けや印刷有無の判定、半導体
チップのピンの位置の良否の判定、プリント基板上に実
装された電子部品の配置の良否の判定、搬送用のトレイ
に載置されている複数の部品の配置の良否の判定などを
行う画像処理装置において、上記の作用が効果的に発揮
される。

【００２５】

【発明の実施の形態】以下、本発明にかかわる画像処理
装置の実施の形態を図面に基づいて詳細に説明する。

【００２６】図１は実施の形態の画像処理装置の電気的
構成を示すブロック図である。図１において、符号の１
は当該の画像処理装置、２は撮影レンズや絞りなどを含
む光学系および固体撮像手段の代表例であるＣＣＤ（電
荷結合デバイス）などからなるＣＣＤカメラであり、こ
のＣＣＤカメラ２は、撮影レンズによってＣＣＤ上に光
学像を結像し、結像された光学像をＣＣＤで光電変換し
て電気信号として出力するものである。３はＣＣＤカメ
ラ２からのアナログの映像信号（ＣＣＤ出力信号）をデ
ィジタル化して画像データに変換するＡ／Ｄ変換器、４
はＣＣＤカメラ２、Ａ／Ｄ変換器３およびフレームメモ
リ５に対してタイミング信号を出力して画像データの取
得のタイミング制御を行うとともに、フレームメモリ５
およびＤ／Ａ変換器１１に対してタイミング信号を出力
して取得の映像信号の表示のタイミング制御を行うカメ
ラ・表示コントローラ、５は画像データ一時記憶手段の
一例としてのフレームメモリ、６はシステム全体の制御
を司る制御手段の一例としてのＣＰＵ（中央演算処理装
置）、７はＣＰＵ６による演算・制御等のためのプログ
ラムを格納しているＲＯＭ（リードオンリーメモリ）、
８はＣＰＵ６の演算・制御等を補助するとともにデータ
を格納するＲＡＭ（ランダムアクセスメモリ）、９は外
部との間でデータや制御信号の入出力を行う入出力イン
ターフェイス、１０はＣＰＵ６、ＲＯＭ７、ＲＡＭ８、
カメラ・表示コントローラ４、フレームメモリ６および
入出力インターフェイス９を接続するバス、１１はフレ
ームメモリ５からカメラ・表示コントローラ４を介して
の画像データをアナログの映像信号に変換するＤ／Ａ変
換器、１２は画像処理装置１に図示しないインターフェ
イスおよびケーブルを介して接続されているＣＲＴ（陰
極線管）や液晶ディスプレイ（ＬＣＤ）などのモニタで
ある。フレームメモリ５は、少なくとも１フレーム分以
上の画像データを蓄積できる画像メモリであって、ＶＲ
ＡＭ、ＳＲＡＭ、ＤＲＡＭなどが一般的に使用される
が、ここではバス１０とは独立動作可能なＶＲＡＭを使
用しているものとする。なお、カメラ・表示コントロー
ラ４とフレームメモリ５とはパラレルなバスラインを介
して接続されている。また、入出力インターフェイス９
には、ＲＡＭ８に必要な初期値、判定基準等のためのパ
ラメータ、しきい値、その他の条件、必要なデータなど
を設定入力したり、必要な指示を与えたりするためのワ
イヤードリモコンなどの入力操作部１３や画像処理装置
１の内部の状況や判断結果などをオペレータや作業者に
知らせるための警報器１４やインジケータをそれぞれ個
別のケーブルを介して接続することが可能となってい
る。なお、ワイヤードリモコンに代えてワイヤレスリモ
コンを用いることも可能とし、この場合は、リモコン受
信機の出力端子を入出力インターフェイス９に接続する
ものとする。警報器１４としては、ＬＥＤ（発光ダイオ
ード）、蛍光表示管その他任意の発光素子、灯器、ある
いはブザーなどの鳴動器が適用可能とする。さらに、入
出力インターフェイス９には、必要な外部記憶装置１５
を接続することができるものとする。その外部記憶装置
１５としては、ハードディスクドライブなどの磁気記録
デバイス、ＭＯ（Magneto Optics）ディスクドライブや
ＤＶＤ（Digital Versatile Disk）‐ＲＡＭドライブな
どの光磁気記録デバイス、フラッシュメモリ、ＥＥＰＲ
ＯＭその他の不揮発性メモリなどの半導体記憶デバイス
などがある。

【００２７】図２は上記構成の画像処理装置１を適用す
る生産ライン検査システム２０の概要を示す。図２にお
いて、符号の２１は計測対象物３０を搬送するコンベヤ
などの搬送手段、２２は搬送手段２１の近傍で搬送され
ていく計測対象物３０の到達を検出するための到達検出
手段の一例としての光電センサであり、検査ポイントＤ
Ｐに配置されている。光電センサ２２はケーブル２３を
介して画像処理装置１の入出力インターフェイス９に接
続されている。なお、説明の便宜上、図２においては、
ＣＣＤカメラ２を画像処理装置１の外側に出して描いて
いるが、実際には、ＣＣＤカメラ２は画像処理装置１と
一体となっている。もっとも、ＣＣＤカメラ２を画像処
理装置１とは別体構成とし、両者をケーブルで接続した
態様としてもよい。Ｘは搬送手段２１による搬送方向を
示す。

【００２８】図２においては、計測対象物３０として、
容器本体３１にキャップ３２を封着しているとともに、
容器本体３１にラベル４０が貼り付けられた容器３０が
示されている。なお、容器３０としてはガラスビン、ペ
ットボトルなどのプラスチック容器、紙パック容器、ア
ルミ缶など何であってもよい。また、容器３０の内容物
としては液体、粘体、粉体、粒体など何であってもよ
い。ラベル４０は、商品名やデザインを付したもの、商
品の仕様・性状等を記載したものなど何であってもよ
い。ラベル４０の形状については、長方形、正方形、楕
円形、円形、その他何であってもよいが、ここでは、四
角形であるとしておく。さらには、後に説明するが、計
測対象物３０としては、何も容器に限る必要はなく、画
像処理による検査が可能なものであれば、どのようなも
のを検査対象としてもよいことを付記しておく。ここで
の容器３０は一例にすぎない。

【００２９】次に、上記のように構成された実施の形態
の場合の生産ライン検査システム２０に適用された画像
処理装置１の動作を説明する。

【００３０】駆動されている搬送手段２１によって複数
の計測対象物３０が所定の間隔を隔てて連続的に搬送さ
れていく。検査ポイントＤＰに達した計測対象物３０が
あると、その検査ポイントＤＰに設置されている到達検
出手段２２が動作する。到達検出手段２２が光電センサ
の場合は、次のような動作となる。光電センサ２２は、
レーザーダイオードなどの発光素子とフォトダイオード
などの受光素子からなり、発光素子から出射したレーザ
ービームなどが計測対象物３０に当たって反射し、その
反射光を受光素子で捕捉し、電気信号に変換し増幅する
ことにより到達検出を行う。

【００３１】計測対象物３０が検査ポイントＤＰに到達
したことを到達検出手段２２が検出すると、到達検出手
段２２はその検出信号をトリガ信号として画像処理装置
１に送出する。画像処理装置１においては、その入出力
インターフェイス９を介して入力されてきたトリガ信号
がバス１０を介してＣＰＵ６に与えられる。ＣＰＵ６は
トリガ信号を入力すると、カメラ・表示コントローラ４
に起動信号を出力する。カメラ・表示コントローラ４は
起動信号を入力すると、ＣＣＤカメラ２、Ａ／Ｄ変換器
３、フレームメモリ５およびＤ／Ａ変換器１１に対して
タイミング信号を出力する。

【００３２】ＣＣＤカメラ２におけるＣＣＤはタイミン
グ信号を入力すると、その電子シャッタを開き作動さ
せ、被写体である計測対象物３０を撮像する。すなわ
ち、計測対象物３０の光学像が撮像レンズを介してＣＣ
Ｄの表面に結像し、ＣＣＤはその光学像を信号電荷とし
て蓄積しているが、タイミング信号を入力すると、感光
部のフォトダイオードから垂直転送ＣＣＤへの転送およ
び垂直転送ＣＣＤから水平転送ＣＣＤへの転送を行い、
出力アンプを介して映像信号として出力する。Ａ／Ｄ変
換器３はタイミング信号の入力によって起動し、ＣＣＤ
カメラ２から入力したアナログの映像信号（ＣＣＤ出力
信号）をディジタルの画像データに変換する。このＡ／
Ｄ変換器３のビット数を例えば８ビットとすると、画像
データは２５６階調となる。フレームメモリ５はタイミ
ング信号を入力し、Ａ／Ｄ変換器３と同期をとった状態
でＡ／Ｄ変換器３からの１フレーム分の画像データを格
納する。なお、８ビットについては、一例にすぎなく
て、仕様に応じて適宜に変更してよいことはいうまでも
ない。

【００３３】カメラ・表示コントローラ４は、フレーム
メモリ５への画像データの書き込みと並行して、その書
き込んだ画像データをフレームメモリ５から読み出し、
Ｄ／Ａ変換器１１に転送する。Ｄ／Ａ変換器１１は、転
送されてきた画像データをアナログの映像信号に変換
し、モニタ１２に出力する。なお、モニタ１２に至る映
像信号は、図示しない所要のビデオエンコーダなどによ
りＮＴＳＣ方式などモニタ１２に適合した所要のフォー
マットに変換されているものとする。このようにして、
計測対象物３０の到達を検出した時点から、その計測対
象物３０を被写体像とする映像をモニタ１２にリアルタ
イムに映出する。

【００３４】カメラ・表示コントローラ４は１フレーム
分の画像データのフレームメモリ５に対する書き込みが
完了すると、その書き込み完了信号をＣＰＵ６に出力す
る。その書き込み完了信号を入力したＣＰＵ６は、ＲＯ
Ｍ７から読み出したプログラムおよびＲＡＭ８から読み
出した画像処理演算用条件に従って、フレームメモリ５
をアクセスし、フレームメモリ５に格納されている１フ
レーム分の画像データを読み出す。そして、１画素単位
または複数画素の集合であるブロック単位で所要の画像
処理のための演算を実行し、判定のための演算結果をＲ
ＡＭ８にストアする。次に、その演算結果とＲＡＭ８か
ら読み出した判定基準との比較を行い、演算結果が正常
であるか否かを判定する。

【００３５】ＲＡＭ８には、あらかじめ入力操作部１３
から入出力インターフェイス９およびバス１０を介して
画像処理演算用条件や判定基準が設定登録されている。
画像処理演算用条件としては、パターンマッチングのた
めの基準サーチ領域Ｄ２や計測サーチ領域Ｄ４の座標デ
ータなどがある。判定基準としては、テンプレート画像
データなどがある。

【００３６】具体的な画像処理は次のとおりである。図
３はパターンマッチングの動作説明図である。図３にお
いて、符号の５０は図２に示す計測対象物すなわち容器
３０についての画像データである容器画像、５１は容器
本体３１についての画像データである容器本体画像、６
０はキャップ３２についての画像データであるキャップ
画像、７０はラベル４０についての画像データであるラ
ベル画像、８０は背景画像である。図３に示すように、
ＣＣＤカメラによって撮像され、フレームメモリ５に格
納されている取り込み画像データ全領域１００において
基準サーチ領域Ｄ２を高速サーチしてキャップ画像６０
らしきものを見いだし、ＲＡＭ８から読み出したキャッ
プ画像左上角部に相当するテンプレート画像データと画
素比較することのパターンマッチングに基づいて、位置
決め用基準画像検出領域Ｄ１を抽出し、キャップ画像６
０の左上角部である基準位置座標Ｐ（Ｘ0 ，Ｙ0 ）を検
出する。

【００３７】次に、上記で検出した基準位置座標Ｐ（Ｘ
0 ，Ｙ0 ）に基づいて計測サーチ領域Ｄ４を取り込み画
像データ全領域１００上に設定する。すなわち、基準サ
ーチ領域Ｄ２の座標と計測サーチ領域Ｄ４の座標との差
分に相当する水平方向の変位量ΔＸと垂直方向の変位量
ΔＹとを演算によって算出し、基準サーチ領域Ｄ２から
変位量ΔＸ，ΔＹの変位を行った座標を起点として計測
サーチ領域Ｄ４を設定する。

【００３８】そして、計測サーチ領域Ｄ４において高速
サーチを行い、容器本体画像５１と背景画像８０との境
界８１を含んでいることを確認した上で、ラベル画像７
０らしきものを見いだし、ＲＡＭ８から読み出したラベ
ル画像右下角部に相当するテンプレート画像データと画
素比較することのパターンマッチングに基づいて、計測
対象基準画像検出領域Ｄ３を抽出し、その計測対象基準
画像検出領域Ｄ３での両者の画像データの一致度を算出
し、その一致度が所定のしきい値以上となっているか否
かを判断し、しきい値以上となっているときは欠陥無し
すなわち位置ずれ無しと判定し、しきい値未満のときは
欠陥有りすなわち位置ずれ有りと判定する。また、一致
度が所定値以下（この所定値は前記のしきい値よりかな
り低く設定されている）のときは、ラベルが貼り付けら
れていないものと判定する。図３の場合は、ラベル画像
７０が容器本体画像５１に対して適正な位置にあると判
断される。すなわち、計測対象物３０においてラベル４
０が容器本体３１に対して適正な位置関係で貼り付けら
れていることになる。

【００３９】図４の場合は、取り込み画像データ全領域
１００において容器画像５０、容器本体画像５１、キャ
ップ画像６０、ラベル画像７０が図３よりも水平方向に
ΔＣＸ、垂直方向にΔＣＹずれている。図４において、
図３の状態を二点鎖線で表している。すなわち、図４の
位置決め用基準画像検出領域Ｄ１ａは図３の位置決め用
基準画像検出領域Ｄ１より（ΔＣＸ，ΔＣＹ）だけずれ
ている。そして、図４の計測対象基準画像検出領域Ｄ３
ａは図３の計測対象基準画像検出領域Ｄ３より同じく
（ΔＣＸ，ΔＣＹ）だけずれている。しかし、容器本体
画像５１に対するラベル画像７０の相対位置関係は同じ
であるので、計測対象基準画像検出領域Ｄ３ａによる計
測対象位置座標Ｑａ（Ｘ1a，Ｙ1a）は適正なものであ
り、ラベルの貼り付け位置が正常であると判定する。な
お、位置決め用基準画像検出領域Ｄ１ａと計測対象基準
画像検出領域Ｄ３ａとの相対位置関係が図３の場合のそ
れと同じになっている。

【００４０】図５の場合、計測対象基準画像検出領域Ｄ
３ｂにおける計測対象位置座標Ｑｂ（Ｘ1b，Ｙ1b）が適
正でない。それは、容器本体画像５１に対するラベル画
像７０の相対位置関係が正規の位置関係よりずれている
ためである。つまり、距離α1 が正規の距離α0 に比べ
て過剰となっている。この場合、ラベルの貼り付け位置
について欠陥有りと判定する。なお、位置決め用基準画
像検出領域Ｄ１と計測対象基準画像検出領域Ｄ３ｂとの
相対位置関係が図３の場合のそれとは異なっている。

【００４１】図６の場合、位置決め用基準画像検出領域
Ｄ１ａは図４と同様になっている。しかし、計測対象基
準画像検出領域Ｄ３ｃにおける計測対象位置座標Ｑｃ
（Ｘ1c，Ｙ1c）が適正でない。それは、容器本体画像５
１に対するラベル画像７０の相対位置関係が正規の位置
関係よりずれているためである。つまり、距離α2 が正
規の距離α0 に比べて過小となっている。この場合、ラ
ベルの貼り付け位置について欠陥有りと判定する。な
お、位置決め用基準画像検出領域Ｄ１ａと計測対象基準
画像検出領域Ｄ３ｃとの相対位置関係が図４の場合のそ
れとは異なっている。

【００４２】上記の説明では、容器本体画像５１に対す
るラベル画像７０の相対位置関係がＸ方向で不適正な場
合を述べたが、Ｙ方向で不適正となる場合もある。すな
わち、距離β0 に対して過剰または過小となることがあ
る。

【００４３】以上のようなパターンマッチングによる画
像処理の結果は、カメラ・表示コントローラ４およびＤ
／Ａ変換器１１を介してモニタ１２に表示される。図３
〜図６は画像データについてのものであるが、モニタ１
２に表示される内容も参考のために併記してある。すな
わち、計測対象基準画像検出領域Ｄ３における一致度
と、計測対象位置座標ＱのＸ座標値およびその判定結果
（ＯＫまたはＮＧ（No Good））ならびにＹ座標値およ
びその判定結果（ＯＫまたはＮＧ）であり、これらがモ
ニタ１２に表示されるのである。ラベルの貼り付け位置
について欠陥有りのときは、ＣＰＵ６は、バス１０およ
び入出力インターフェイス９を介して外部の警報器１４
を作動させる。ラベルの貼り付け無しの場合も同様であ
る。また、ラベルの貼り付け位置の不良または貼り付け
無しの場合には、その欠陥の画像データとともに判定結
果をバス１０および入出力インターフェイス９を介して
外部記憶装置１５に転送格納する。なお、その外部記憶
装置１５としては、前述のように、ハードディスクやＭ
ＯディスクやＤＶＤ‐ＲＡＭやＥＥＰＲＯＭやフラッシ
ュメモリなどがある。

【００４４】次に、図７〜図１５に基づいて、基準サー
チ領域Ｄ２および計測サーチ領域Ｄ４の再設定の処理に
ついて説明する。この処理は、上述のパターンマッチン
グによるラベルの貼り付け位置の良否および貼り付け有
無の判定の前段階のものであることはいうまでもない。
この再設定は、オペレータがモニタ１２の表示を見なが
ら、入力操作部１３を操作することにより行う。

【００４５】（１）まず、現在の設定の状態を図７に示
しておく。ＲＡＭ８にはすでに、位置決め用基準画像検
出領域Ｄ１′、基準サーチ領域Ｄ２′、計測対象基準画
像検出領域Ｄ３′および計測サーチ領域Ｄ４′が設定さ
れている。説明の都合上、このような再設定前の要素符
号について記号の「′」を付して、再設定後のものと区
別するようにする。これを設定し直ししようとしている
のである。その再設定の理由はすでに述べたとおりいろ
いろであるが、とにかくエラー発生率を下げて、欠陥検
出の精度をアップするためである。

【００４６】（２）図８に示すように、計測対象物３０
を位置調整する。この位置調整は、搬送手段３１を止め
たうえで行う。この位置調整は、エラー発生率をより低
くすると思われるように行う。この場合、必要に応じ
て、ＣＣＤカメラ２の視野の方向を上下に、あるいは左
右に、あるいは上下左右に変更することも行われる。な
お、１００は取り込み画像データ全領域、５０は容器画
像、５１は容器本体画像、６０はキャップ画像、７０は
ラベル画像、Ｏは取り込み画像データ全領域１００につ
いての原点である。

【００４７】図８の段階では、まだ、再設定は開始され
ていない。図８には、位置調整後の容器画像５０が取り
込み画像データ全領域１００の内部でどのような位置に
あるかを示している。併せて、図７のときの位置決め用
基準画像検出領域Ｄ１′、基準サーチ領域Ｄ２′、計測
対象基準画像検出領域Ｄ３′および計測サーチ領域Ｄ
４′をすべて二点鎖線で示してある。これらが再設定の
対象となっている。

【００４８】（３）次に、図９に示すように、オペレー
タはモニタ１２における表示を見ながら入力操作部１３
を操作して、キャップ画像６０の左上角部に実線矩形で
図示した位置決め用基準画像検出領域Ｄ１についての基
準位置座標Ｐ（Ｘ0 ，Ｙ0 ）を設定する。この操作によ
るデータは入出力インターフェイス９およびバス１０を
介してＲＡＭ８にストアされることになる。この処理は
ＣＰＵ６が実行することはいうまでもない。

【００４９】なお、ここでは、ＲＡＭ８は充分に大きな
記憶容量をもっているものとし、かつ、電源をオフして
も記憶内容が消えないように、ＲＡＭ８に対してバック
アップを行っているものとする。そのバックアップは、
例えばリチウム電池でもよいし、大容量のキャパシタで
もよい。

【００５０】（４）次に、図１０に示すように、元の図
７における位置決め用基準画像検出領域Ｄ１′の基準位
置座標Ｐ′（Ｘ0′，Ｙ0′）から再設定された位置決め
用基準画像検出領域Ｄ１の基準位置座標Ｐ（Ｘ0 ，Ｙ0
）へのＸ方向、Ｙ方向の補正量ΔＸ１，ΔＹ１を算出
する。これら補正量ΔＸ１，ΔＹ１はＲＡＭ８にストア
される。

【００５１】（５）次に、図１１に示すように、位置決
め用基準画像検出領域Ｄ１に対してその周囲に基準サー
チ領域Ｄ２を設定する。再設定の基準サーチ領域Ｄ２を
元の基準サーチ領域Ｄ２′と同じ形状・サイズにするの
が一般的であり、その場合は、次のような演算処理によ
って座標を求める。基準サーチ領域Ｄ２の四隅の座標を
それぞれ、Ａ（Ｘａ，Ｙａ）、Ｂ（Ｘｂ，Ｙｂ）、Ｃ
（Ｘｃ，Ｙｃ）、Ｄ（Ｘｄ，Ｙｄ）とし、もとの基準サ
ーチ領域Ｄ２′の四隅の座標をそれぞれ、Ａ′（Ｘ
ａ′，Ｙａ′）、Ｂ′（Ｘｂ′，Ｙｂ′）、Ｃ′（Ｘ
ｃ′，Ｙｃ′）、Ｄ′（Ｘｄ′，Ｙｄ′）とする。すな
わち、座標Ａ（Ｘａ，Ｙａ）については、Ｘａ＝Ｘａ′＋ΔＸ１ ……………………………………………（９）Ｙａ＝Ｙａ′＋ΔＹ１ ……………………………………………（10）として算出し、座標Ｂ（Ｘｂ，Ｙｂ）については、Ｘｂ＝Ｘｂ′＋ΔＸ１ ……………………………………………（11）Ｙｂ＝Ｙｂ′＋ΔＹ１ ……………………………………………（12）として算出し、座標Ｃ（Ｘｃ，Ｙｃ）については、Ｘｃ＝Ｘｃ′＋ΔＸ１ ……………………………………………（13）Ｙｃ＝Ｙｃ′＋ΔＹ１ ……………………………………………（14）として算出し、座標Ｄ（Ｘｄ，Ｙｄ）については、Ｘｄ＝Ｘｄ′＋ΔＸ１ ……………………………………………（15）Ｙｄ＝Ｙｄ′＋ΔＹ１ ……………………………………………（16）として算出する。これらの座標データはＲＡＭ８にスト
アされる。

【００５２】（６）次に、図１２に示すように、元の図
７における計測対象基準画像検出領域Ｄ３′の計測対象
位置座標Ｑ′（Ｘ1′，Ｙ1′）に対して前記の補正量Δ
Ｘ１，ΔＹ１を加味した計測対象位置座標Ｑ（Ｘ1 ，Ｙ
1 ）を算出し、計測対象基準画像検出領域Ｄ３を再設定
する。

【００５３】Ｘ1 ＝Ｘ1′＋ΔＸ１ ……………………………………………（17）Ｙ1 ＝Ｙ1′＋ΔＹ１ ……………………………………………（18）である。図２に示す計測対象物である容器３０の実物に
おいて、キャップ３２の左上角部の位置と正規に貼り付
けられるラベル４０の右下角部の位置との相対位置関係
はあらかじめ決まっているから、計測対象基準画像検出
領域Ｄ３は、位置決め用基準画像検出領域Ｄ１に基づい
て決定することができる。この新たな計測対象位置座標
Ｑ（Ｘ1 ，Ｙ1 ）についての座標データはＲＡＭ８にス
トアされる。

【００５４】（７）次に、図１３に示すように、計測対
象基準画像検出領域Ｄ３に対してその周囲に計測サーチ
領域Ｄ４を設定する。計測サーチ領域Ｄ４は、ラベル画
像７０の右下角部を含むとともに、容器本体画像５１と
背景画像８０との境界８１を含むように設定する。再設
定の計測サーチ領域Ｄ４を元の計測サーチ領域Ｄ４′と
同じ形状・サイズにするのが一般的であり、その場合
は、次のような演算処理によって座標を求める。計測サ
ーチ領域Ｄ４の四隅の座標をそれぞれ、Ｅ（Ｘｅ，Ｙ
ｅ）、Ｆ（Ｘｆ，Ｙｆ）、Ｇ（Ｘｇ，Ｙｇ）、Ｈ（Ｘ
ｈ，Ｙｈ）とし、もとの計測サーチ領域Ｄ４′の四隅の
座標をそれぞれ、Ｅ′（Ｘｅ′，Ｙｅ′）、Ｆ′（Ｘ
ｆ′，Ｙｆ′）、Ｇ′（Ｘｇ′，Ｙｇ′）、Ｈ′（Ｘ
ｈ′，Ｙｈ′）とする。すなわち、座標Ｅ（Ｘｅ，Ｙ
ｅ）については、Ｘｅ＝Ｘｅ′＋ΔＸ１ ……………………………………………（19）Ｙｅ＝Ｙｅ′＋ΔＹ１ ……………………………………………（20）として算出し、座標Ｆ（Ｘｆ，Ｙｆ）については、Ｘｆ＝Ｘｆ′＋ΔＸ１ ……………………………………………（21）Ｙｆ＝Ｙｆ′＋ΔＹ１ ……………………………………………（22）として算出し、座標Ｇ（Ｘｇ，Ｙｇ）については、Ｘｇ＝Ｘｇ′＋ΔＸ１ ……………………………………………（23）Ｙｇ＝Ｙｇ′＋ΔＹ１ ……………………………………………（24）として算出し、座標Ｈ（Ｘｈ，Ｙｈ）については、Ｘｈ＝Ｘｈ′＋ΔＸ１ ……………………………………………（25）Ｙｈ＝Ｙｈ′＋ΔＹ１ ……………………………………………（26）として算出する。これらの座標データはＲＡＭ８にスト
アされる。

【００５５】（８）次に、上記で再設定した基準サーチ
領域Ｄ２および計測サーチ領域Ｄ４がＣＣＤカメラ２に
よる取り込み画像データ全領域１００の内部に収まって
いるか否かをチェックする。

【００５６】図１４の場合には、再設定された基準サー
チ領域Ｄ２および計測サーチ領域Ｄ４が取り込み画像デ
ータ全領域１００の内部に収まっていると判断される。
しかし、図１５のように取り込み画像データ全領域１０
０に対して下側の計測サーチ領域Ｄ４が＋Ｙ方向にはみ
出したり、図１６のように取り込み画像データ全領域１
００に対して上側の基準サーチ領域Ｄ２が−Ｙ方向には
み出したりしたときは、収まっていないと判断される。
また、図１７のように取り込み画像データ全領域１００
に対して上側の基準サーチ領域Ｄ２が−Ｘ方向にはみ出
したり、図１８のように取り込み画像データ全領域１０
０に対して下側の計測サーチ領域Ｄ４が＋Ｘ方向にはみ
出したりしたときは、収まっていないと判断される。な
お、容器画像の形状を変えてあるのは、形状によってど
の方向にはみ出すかが異なるためである。

【００５７】（９）収まっていないと判断したときは、
ＣＰＵ６は、収めるべき方向を判断し、収めるために計
測対象物３０を移動させるべき方向あるいはＣＣＤカメ
ラ２を移動させるべき方向を算出し、その方向のデータ
をカメラ・表示コントローラ４およびＤ／Ａ変換器１１
を介してモニタ１２に送出し、モニタ１２においてその
移動させるべき方向矢印標記を表示する。図１５の場合
は、ＣＣＤカメラ２についての移動させるべき方向矢印
標記Ｍが下向きに表示され、図１６の場合は、ＣＣＤカ
メラ２についての移動させるべき方向矢印標記Ｍが上向
きに表示されている。また、図１７の場合は、ＣＣＤカ
メラ２についての移動させるべき方向矢印標記Ｍが左向
きに表示され、計測対象物３０である製品についての移
動させるべき方向矢印標記Ｎが右向きに表示されてい
る。図１８の場合は、ＣＣＤカメラ２についての移動さ
せるべき方向矢印標記Ｍが右向きに表示され、計測対象
物３０である製品についての移動させるべき方向矢印標
記Ｎが左向きに表示されている。この移動させるべき方
向矢印標記ＭやＮの表示によってオペレータに対して基
準サーチ領域Ｄ２や計測サーチ領域Ｄ４の再設定が良く
ないことを知らせる。Ｘ方向、Ｙ方向の両方ではみ出す
ときは、移動させるべき方向矢印標記として斜め方向矢
印標記を表示してもよいし、Ｘ方向、Ｙ方向の両方向矢
印標記を表示してもよい。はみ出しの程度に応じて方向
矢印標記の長さを変化させてもよい。

【００５８】なお、このとき、ＣＰＵ６は同時に警告信
号を出力するのもよい。その警告信号はバス１０および
入出力インターフェイス９を介して外部に接続の警報器
１４に送出され、その警報器１４を動作させ、オペレー
タに対して、聴覚的にも警告するのでもよい。

【００５９】（１０）オペレータはモニタ１２に表示さ
れている移動させるべき方向ＭやＮを見て、ＣＣＤカメ
ラ２を移動させ、あるいは計測対象物３０を移動させ
る。計測対象物３０のみを移動させてもよいし、ＣＣＤ
カメラ２のみを移動させてもよいし、計測対象物３０と
ＣＣＤカメラ２の双方を移動させてもよい。ＣＣＤカメ
ラ２の移動については、視野の方向（画角）をずらすと
いうことである。ＣＣＤカメラ２そのものの設置位置ま
で変更する必要はない。もっとも、場合によっては、そ
の設置位置を変更してもよい。あるいは、ＣＣＤカメラ
２がズームレンズを備えている場合には、そのズーム比
を可変するのでもよい。

【００６０】（１１）上記の（３）〜（１０）が何度か
再試行（リトライ）され、最終的には前記の（８）の判
断が肯定的となって、再設定した基準サーチ領域Ｄ２お
よび計測サーチ領域Ｄ４がＣＣＤカメラ２による取り込
み画像データ全領域１００の内部に収まった状況が得ら
れる。

【００６１】（１２）なお、計測対象基準画像検出領域
Ｄ３が図１９のように複数ある場合には、すべての計測
対象基準画像検出領域Ｄ３について上記の処理が終了し
たか否かをチェックし、終了していないときは上記の
（３）からの処理を繰り返す。

【００６２】（１３）以上のすべての処理が終了する
と、基準サーチ領域Ｄ２についての座標データと計測サ
ーチ領域Ｄ４についての座標データを改めてＲＡＭ８に
設定登録する。なお、ＲＡＭ８に代えて、バス１０に接
続した図１で二点鎖線で示すＥＥＰＲＯＭ１６に各種の
データを保存するようにしてもよい。むしろ、その方が
良い場合があり得る。ＥＥＰＲＯＭは不揮発性メモリで
あり、バックアップが不要であるとともに、書き換えが
可能であるからである。

【００６３】以上の処理によって再設定が完了したこと
になり、位置決め用基準画像検出領域Ｄ１についての基
準サーチ領域Ｄ２がＲＡＭ８やＥＥＰＲＯＭ１６などの
記憶手段に設定登録され、計測対象基準画像検出領域Ｄ
３についての計測サーチ領域Ｄ４がＲＡＭ８やＥＥＰＲ
ＯＭ１６などの記憶手段に設定登録されることになる。
続いては、図３に示したような実際の計測実行に進む。

【００６４】以上のように、基準サーチ領域Ｄ２および
計測サーチ領域Ｄ４の再設定において、基準サーチ領域
Ｄ２および計測サーチ領域Ｄ４が取り込み画像データ全
領域１００の内部に収まっているか否かの判断を、その
再設定の段階ですでにチェックすることができるため、
実際の計測実行においては、基準サーチ領域Ｄ２や計測
サーチ領域Ｄ４が取り込み画像データ全領域１００から
はみ出すというトラブルは発生しない。また、基準サー
チ領域Ｄ２および計測サーチ領域Ｄ４が取り込み画像デ
ータ全領域１００の内部に収まっているか否かの判断の
チェックが自動的に行われるため、オペレータがいちい
ち机上で計算するなどして人為的に判断するわずらわし
さは生じない。

【００６５】そして、実際の計測実行でのはみ出しのト
ラブルの発生を予防できるので、生産ラインがその稼働
中で不測にストップするなどの不具合の発生を抑制で
き、再設定による生産効率の低下は招かないですむ。

【００６６】以上のＣＰＵ６による動作の概要を図２０
のフローチャートに示しておく。

【００６７】上記の実施の形態では、再設定の基準サー
チ領域Ｄ２を元の基準サーチ領域Ｄ２′と同じ形状・サ
イズにすることとしたが、基準サーチ領域Ｄ２の四隅の
座標Ａ（Ｘａ，Ｙａ）、Ｂ（Ｘｂ，Ｙｂ）、Ｃ（Ｘｃ，
Ｙｃ）、Ｄ（Ｘｄ，Ｙｄ）のいずれをももとの基準サー
チ領域Ｄ２′の四隅の座標とは独立して設定するように
してもよい。また、上記の実施の形態では、再設定の計
測サーチ領域Ｄ４を元の計測サーチ領域Ｄ４′と同じ形
状・サイズにすることとしたが、計測サーチ領域Ｄ４の
四隅の座標Ｅ（Ｘｅ，Ｙｅ）、Ｆ（Ｘｆ，Ｙｆ）、Ｇ
（Ｘｇ，Ｙｇ）、Ｈ（Ｘｈ，Ｙｈ）のいずれをももとの
計測サーチ領域Ｄ４′の四隅の座標とは独立して設定す
るようにしてもよい。この場合の動作の概要を図２１の
フローチャートに示しておく。

【００６８】なお、ＣＣＤカメラ２の移動または計測対
象物３０の移動によって位置ずれ判定条件が変化するよ
うなアルゴリズムの場合もあり得る。そのときは、図２
０の場合はステップＳ７とステップＳ１１の間に、ま
た、図２１の場合はステップＳ２６とステップＳ３０の
間に、図２２に示すような処理を行うようにすればよ
い。位置ずれ判定条件も補正し、それが許容範囲内か否
かをチェックする。許容範囲内でなければ、位置ずれ判
定条件を再び補正する。なお、このような位置ずれ判定
条件の補正およびそのチェックは、計測対象基準画像検
出領域Ｄ３が複数ある場合には、それぞれについて行う
ものとする。このことは、計測対象物３０の品種が変化
した場合に特に有効となる。それは、基準位置座標Ｐ
（Ｘ0 ，Ｙ0 ）に対する計測対象位置座標Ｑ（Ｘ1 ，Ｙ
1 ）の相対的位置関係が変化するからである。このよう
な場合には、位置ずれ判定条件の変化が伴うからであ
る。このように処理することにより、適正な位置ずれ判
定条件を自動的に見いだすことができる。

【００６９】以上、二つの実施の形態について説明して
きたが、本発明は次のように構成したものも含み得るも
のとする。

【００７０】（１）フレームメモリ５に代えてフィール
ドメモリでもよいし、その他のメモリでもよい。

【００７１】（２）すでに述べたことであるが、画像処
理演算用条件や判定基準を格納する記憶エリアとして、
ＲＡＭ８に代えて、図１で二点鎖線で示したＥＥＰＲＯ
Ｍ１６やフラッシュメモリその他の不揮発性メモリを用
いてもよい。この場合、その不揮発性メモリは画像処理
装置１の内部においてバス１０に接続しておくのでもよ
いし、入出力インターフェイス９を介して外部に接続す
るのでもよい。

【００７２】（３）フレームメモリ５をシステムメモリ
としてのＲＡＭ８と共用することも可能である。

【００７３】（４）計測対象物３０が所定の検査ポイン
トＤＰに到達したことを検出する到達検出手段について
は、上記の実施の形態の光電センサ２２に代えて、ＣＣ
Ｄカメラ２で撮像して得られた画像データの画像処理に
基づいて、すなわち画像データに対して到達検出用のサ
ーチウインドウを設定して、ソフトウェア的に到達検出
を判定するように構成してもよい。

【００７４】（５）計測対象物３０としては何も容器に
限る必要はなく、また、検査対象としては何もラベルの
貼り付け位置や貼り付けの有無に限る必要はなく、画像
処理による検査が可能なものであれば、どのようなもの
を検査対象としてもよい。半製品または製品に印刷され
ている印刷内容の印刷位置の良否の判定あるいは印刷有
無の判定でもよいし、半導体チップのピンの位置の良否
の判定、プリント基板上に実装された電子部品の配置の
良否の判定、搬送用のトレイに載置されている複数の部
品の配置の良否の判定など何であってもよい。

【００７５】（６）カメラ・表示コントローラ４は、フ
レームメモリ５への画像データの書き込みと並行して、
その書き込んだ画像データをフレームメモリ５から読み
出し、Ｄ／Ａ変換器１１に転送し、モニタ１２に映像を
リアルタイムで表示したが、このようなリアルタイムの
表示はしなくてもよい。つまり、モニタ１２を位置ずれ
有りのときだけリアルタイムに表示動作させるようにし
てもよいし、あるいはそれもなくして、位置ずれ有りの
欠陥の原因究明のときにだけ用いるようにすることも可
能である。

【００７６】（７）位置ずれ有りなどの欠陥有りのとき
の画像データ等の保存に際しては、画像データを圧縮し
てから保存するように構成してもよい。この場合、表示
に際しては画像伸張して表示するものとする。

【００７７】（８）欠陥有りのときの画像データ等の保
存を行う外部記憶装置１５に代えて、同様な不揮発性メ
モリを画像処理装置１の内部に設けてもよい。また、Ｒ
ＡＭ８またはフレームメモリ５の容量を大きくして、そ
れらに画像データ等の保存を行うように構成してもよ
い。

【００７８】（９）モデムカードやＩＳＤＮカードを利
用して公衆回線あるいは専用回線を介して画像データ等
を遠隔の端末に送出するように構成することも可能であ
る。

【００７９】（１０）その他本発明の要旨と直接に関係
しない任意の事項については、公知の任意のものが適用
可能であり、また、公知以外のものであっても、本発明
の要旨を逸脱しない範囲において適用可能であることは
いうまでもない。

【００８０】上記の（１）〜（１０）は互いに独立した
事項であり、これらのうち任意の事項を任意数適当に組
み合わせてもよきものとする。

【００８１】

【発明の効果】画像処理装置についての請求項１の発明
によれば、基準サーチ領域および計測サーチ領域の再設
定において、その再設定された基準サーチ領域や計測サ
ーチ領域が取り込み画像データ全領域に収まっているも
のであるか否かのチェックをその再設定の際に自動的に
行うことができる。すなわち、サーチ領域の再設定が適
正か否かをその再設定時においてあらかじめチェックす
ることができ、オペレータがいちいち机上で計算するな
どして人為的に判断するわずらわしさをなくせるととも
に、実際の計測実行において基準サーチ領域内で位置ず
れが発生したときでも、はみ出しのトラブルを生じさせ
ることがなく、生産ラインがその稼働中に不測にストッ
プするなどの不具合の発生を抑制でき、再度の設定のし
直しによる生産効率の低下を招かないですむ。

【００８２】請求項２の発明によれば、オペレータは撮
像手段または計測対象物を移動させるに当たって、表示
された移動方向の指示の表示を見て、それに従って移動
させればよいので、再設定における補正の作業を迅速，
容易に行うことができる。

【００８３】請求項３の発明によれば、位置ずれ判定条
件の補正を行う場合にも、その補正の適否をチェックす
るように構成してあるので、適正な位置ずれ判定条件を
自動的に見いだすことができる。

【００８４】請求項４の発明によれば、生産ライン等で
搬送される計測対象物について、計測対象物をタイミン
グ良く撮像し、その検査対象の良否判定を効率良く行え
るので、計測対象物が搬送されるものであっても、上記
請求項１と同様の効果が得られる。

【００８５】請求項５の発明によれば、容器などの半製
品または製品に貼り付けられているラベルの貼り付け位
置や印刷内容の印刷位置の良否の判定あるいは貼り付け
や印刷有無の判定、半導体チップのピンの位置の良否の
判定、プリント基板上に実装された電子部品の配置の良
否の判定、搬送用のトレイに載置されている複数の部品
の配置の良否の判定などを行う画像処理装置において、
上記の効果が良好に発揮され、したがってまた、汎用性
を高めることができる。

【図面の簡単な説明】

【図１】本発明の実施の形態の画像処理装置の電気的
構成を示すブロック図

【図２】実施の形態の画像処理装置を適用する生産ラ
イン検査システムの概要の説明図

【図３】実施の形態の生産ライン検査システムでの画
像処理装置によるパターンマッチングの動作説明図（位
置ずれ無しの場合）

【図４】上記画像処理装置によるパターンマッチング
の動作説明図（図３に対する位置ずれ補正の場合）

【図５】上記画像処理装置によるパターンマッチング
の動作説明図（図３に対応し、位置ずれ有りの場合）

【図６】上記画像処理装置によるパターンマッチング
の動作説明図（図４に対応し、位置ずれ有りの場合）

【図７】上記画像処理装置による再設定での現在の
（元の）各領域の設定の状況を示す説明図

【図８】上記画像処理装置による再設定での計測対象
物の位置調整の段階の説明図

【図９】上記画像処理装置による再設定での基準サー
チ領域の設定の説明図

【図１０】上記画像処理装置による再設定での補正量
の算出の説明図

【図１１】上記画像処理装置による再設定での位置決
め用基準画像検出領域の設定の説明図

【図１２】上記画像処理装置による再設定での計測サ
ーチ領域の設定の説明図

【図１３】上記画像処理装置による再設定での計測対
象基準画像検出領域の設定の説明図

【図１４】上記画像処理装置による再設定での基準サ
ーチ領域および計測サーチ領域が正常であるときの説明
図

【図１５】上記画像処理装置による再設定での計測サ
ーチ領域が取り込み画像データ全領域を＋Ｙ方向にはみ
出したときの説明図

【図１６】上記画像処理装置による再設定での基準サ
ーチ領域が取り込み画像データ全領域を−Ｙ方向にはみ
出したときの説明図

【図１７】上記画像処理装置による再設定での基準サ
ーチ領域が取り込み画像データ全領域を−Ｘ方向にはみ
出したときの説明図

【図１８】上記画像処理装置による再設定での計測サ
ーチ領域が取り込み画像データ全領域を＋Ｘ方向にはみ
出したときの説明図

【図１９】上記画像処理装置による再設定での計測対
象基準画像検出領域を複数設定する場合の説明図

【図２０】上記画像処理装置による再設定の動作を示
す概略のフローチャート

【図２１】再設定のときに基準サーチ領域や計測サー
チ領域の形状・サイズを変更する場合の再設定の動作を
示す概略のフローチャート

【図２２】位置ずれ判定条件の補正を行う場合の再設
定の動作を示す概略のフローチャート

【符号の説明】

１…画像処理装置、２…ＣＣＤカメラ、３…Ａ／Ｄ変換
器、４…カメラ・表示コントローラ、５…フレームメモ
リ、６…ＣＰＵ、７…ＲＯＭ、８…ＲＡＭ、９…入出力
インターフェイス、１０…バス、１１…Ｄ／Ａ変換器、
１２…モニタ、１３…入力操作部、１４…警報器、１５
…外部記憶装置、１６…ＥＥＰＲＯＭ、２０…生産ライ
ン検査システム、２１…搬送手段、２２…到達検出手段
（光電センサ）、２３…ケーブル、３０…計測対象物
（容器）、３１…容器本体、３２…キャップ、４０…ラ
ベル、５０…容器画像、５１…容器本体画像、６０…キ
ャップ画像、７０…ラベル画像、８０…背景画像、１０
０…取り込み画像データ全領域、ＤＰ…検査ポイント、
Ｄ１…位置決め用基準画像検出領域、Ｄ２…基準サーチ
領域、Ｄ３…計測対象基準画像検出領域、Ｄ４…計測サ
ーチ領域、Ｐ…基準位置座標、Ｑ…計測対象位置座標、
Ｄ１′…もとの位置決め用基準画像検出領域、Ｄ２′…
もとの基準サーチ領域、Ｄ３′…もとの計測対象基準画
像検出領域、Ｄ４′…もとの計測サーチ領域、Ｐ′…も
との基準位置座標、Ｑ′…もとの計測対象位置座標、Δ
Ｘ１，ΔＹ１…補正量、Ｍ…ＣＣＤカメラを移動させる
べき方向矢印標記、Ｎ…計測対象物を移動させるべき方
向矢印標記

フロントページの続きＦターム(参考） 2F065 AA03 AA49 BB15 CC00 EE00 FF04 FF26 JJ03 JJ26 LL06 NN11 PP03 PP05 PP15 QQ03 QQ23 QQ24 QQ25 QQ36 QQ39 SS09 SS13 5B057 AA02 BA02 CA08 CA13 CB08 CB12 CC03 DA03 DA07 DA08 DB02 DB09 DC07 5C022 AA01 AB62 AC01 AC42 5C054 AA01 AA05 CA04 CC02 CD05 CE14 CG02 CH03 CH04 DA01 EA05 EA07 FA01 FA02 FB01 FB03 FC12 FC15 FE22 FE28 FF02 FF03 FF07 GB12 GB15 GD09 HA03

Claims

【特許請求の範囲】

【請求項１】撮像した計測対象物の画像データについ
て基準サーチ領域内の位置決め用基準画像検出領域での
基準位置座標を検出するとともに計測サーチ領域内の計
測対象基準画像検出領域での計測対象位置座標を検出
し、前記基準位置座標に対する前記計測対象位置座標の
相対的位置関係から検査対象の良否を判定する画像処理
装置であって、前記基準サーチ領域および前記計測サー
チ領域と取り込み画像との相対位置がずれている状態で
行う再設定のときに、初期設定時の取り込み画像に対す
る両サーチ領域の相対的位置関係が再設定後でも同じに
なるように補正を行うことにより、前記計測サーチ領域
のみを移動させても前記基準サーチ領域の再設定が不要
になるように構成してあることを特徴とする画像処理装
置。
【請求項２】前記の再設定後の基準サーチ領域および
計測サーチ領域が取り込み画像データ全領域の内部に収
まっていないときは、撮像手段の視野変更のための移動
方向の指示の表示または計測対象物の移動方向の指示の
表示を行うように構成してあることを特徴とする請求項
１に記載の画像処理装置。
【請求項３】必要に応じて、位置ずれ判定条件の補正
を行い、その補正後の位置ずれ判定条件が許容範囲に収
まっているか否かを判定するように構成してあることを
特徴とする請求項１または請求項２に記載の画像処理装
置。
【請求項４】前記計測対象物が搬送されるものであ
り、その搬送経路の所要の検査ポイントに前記計測対象
物が到達したことを検出する到達検出手段を備えてお
り、この到達検出手段による検出信号をトリガとして前
記計測対象物の撮像および検査対象の良否の判定を行う
ように構成してあることを特徴とする請求項１から請求
項３までのいずれかに記載の画像処理装置。
【請求項５】前記計測対象物の検査対象が画像データ
上の二次元的な位置であることを特徴とする請求項１か
ら請求項４までのいずれかに記載の画像処理装置。