JP2005121925A

JP2005121925A - 画像処理装置の異常の判定方法

Info

Publication number: JP2005121925A
Application number: JP2003357236A
Authority: JP
Inventors: Moriyuki Miyahara; 盛行宮原
Original assignee: JFE Steel Corp
Current assignee: JFE Steel Corp
Priority date: 2003-10-17
Filing date: 2003-10-17
Publication date: 2005-05-12
Anticipated expiration: 2023-10-17
Also published as: JP4649828B2

Abstract

【課題】２値化処理する画像処理装置における光源異常あるいは撮像装置の異常を、特別の装置を必要とせずに精度よく判定する方法を提案する。
【解決手段】画像データを明部と暗部に２値化する画像処理装置の異常を判定する方法において、撮像範囲内の特定位置の輝度Ｂを、閾値Ｈ（画像処理装置が正常な場合における特定位置の輝度Ｂよりも低い輝度に設定された閾値）、閾値Ｍ（光源停止の場合における特定位置の輝度Ｂよりも高い輝度に設定された閾値）および閾値Ｌ（光源停止の場合における特定位置の輝度Ｂよりも低い輝度に設定された閾値）（ただし、０(ゼロ)＜Ｌ＜Ｍ＜Ｈ）により分別した場合に、Ｂ＞Ｈのときは正常、Ｂ≦ＨかつＢ≧Ｍのときには光源の照度低下あるいは撮像装置の感度低下の異常であると判定し、Ｂ＜ＭかつＢ≧Ｌのときには光源停止の異常であると判定し、Ｂ＜Ｌのときには撮像装置停止の異常であると判定する。
【選択図】図６

Description

本発明は、ＣＣＤカメラ等の撮像装置を用いた画像処理装置において、照明に用いる光源や撮像装置に生じた異常を判定する方法についての提案である。

ＣＣＤカメラ等の撮像装置を用いた画像処理装置は、処理内容の高精度化、高速処理化および多品種少量処理化に対応できるため、「人の眼」に代わる検査装置及び監視装置としての機能が注目されており、特に、近年のハード及びソフトの急激な進歩と装置の低廉化にともなって、その使用範囲が大きく拡大している。特に、自動化された製造ラインにおいては、製品の有無の確認、位置決め確認、形状認識、寸法測定、欠陥検査、設備の稼動状況の遠隔監視などに用いられている。

画像処理装置は、図１に示すように、計測対象である被撮像物(ワーク)１を照明する光源２と、被撮像物１から反射された光信号を電気信号に変換する素子を内蔵したＣＣＤカメラ(撮像装置)３および画像処理の演算部４により構成されるのが一般的である。上記照明に用いられる光源には、カメラのシャッター速度に応じた必要照度を確保するため、ハロゲンランプが多く用いられている。

上記画像処理装置における画像データの処理方法としては、グレー処理と２値化処理の２つの方式がある。グレー処理は、カメラが得た画像データをそのまま処理データとして使用し処理する方式であり、例えば、良品モデルの画像データを予め登録しておき、これと計測対象である被撮像物１の画像データとを比較処理することで、文字の識別や汚れ、欠けの検査、位置決めなどを行うことができる。また、２値化処理に比べて照明変動に強く、安定した処理を行うことができる特徴がある。これに対し、２値化処理は、カメラが得た画像データを「明部」と「暗部」に２値化し、画素数や座標で処理する方式で、形状判別、傾き、寸法検査などに適しており、グレー処理と比較して安価であるため、多くの分野で用いられている。

しかし、上記の２値化処理方式は、撮像された画像データのうち、一定の明るさ(輝度)以上を「明部(白)」、以下を「暗部(黒)」に置き換えて２値化する方式であるため、グレー処理方式と比べて照明の変動の影響を強く受け、適切な画像処理が困難となることが多い。また、２値化処理、グレー処理に限らず、光源となるランプには寿命があるため、定期的に取り換えることが行われているが、それでも画像データの処理中に光源に異常が発生した場合（以下、「光源異常」と称する。）には、被撮像物に異常があると判定してしまう可能性がある。

光源異常には、大別して「照度低下」と「光源停止」の２つがある。照度低下とは、主として、光源ランプの発光機能の経時的な低下により、被撮像物を照らす光の照度が低下することである。また、光源停止とは、ランプ自体の発光機能が停止し、被撮像物を照らす光源としての機能が完全に停止している状態である。つまり、光源停止の場合には、被撮像物を照らす照度は、光源がない場合の照度そのものであり、例えば、屋内であれば他の照明装置や窓からの外光による照度であるため、非常に微弱なものとなる。

上記のような光源異常を判定する方法としては、従来から、光源の照射範囲内に光電スイッチ等のセンサを設置して照度を常時測定し、異常を判定することが一般に行なわれている。また、特許文献１には、監視領域における所定領域の明るさを変化させて、明るさの変化前後における画像を処理して、画像内の濃度変化領域を検出し、その結果から自動的に機能を判定する方法も提案されている。
特開平７−２５０３１７号公報

しかしながら、光源異常を判定する手段として、光源の照射範囲内にセンサを設置する上記の方法は、センサや信号処理部を別途設置する必要があり、かつメンテナンスを必要とするため、コスト的に問題がある。また、特許文献１に開示された判定方法は、常時、計測対象を照明し、画像データ処理することを求められている場合には、途中で照明光を変化させることが出来ないため、採用することはできない。同様に、発生頻度は低いものの、光源異常の他、ＣＣＤカメラ等の撮像装置の感度低下や停止という撮像装置の異常も起こり得る。そのため、これらの異常を精度よく判定する技術が望まれている。

本発明の目的は、画像処理の対象である被撮像物の照明に光源が使用されている画像処理装置における光源異常あるいは撮像装置の異常を、常時、遠隔から特別の装置を必要とせずに有利に判定する方法を提案することにある。

発明者らは、従来技術が抱える上記問題点を解決するために検討を重ねた結果、ＣＣＤカメラ等の撮像装置が検出した画像データ(輝度データ)を常時監視し、上記画像データを閾値処理することにより、ラインを停止することなく、光源異常あるいは撮像装置の異常を精度よく判定することができることを見出し、本発明を完成するに至った。

すなわち、本発明は、画像データを明部と暗部に２値化処理する画像処理装置の異常の判定方法であって、前記画像データは光源により照明される被撮像物を撮像して得た輝度分布であり、前記異常は下記(1)または(2)のいずれかであり、前記異常の判定に当たっては撮像範囲内にある特定位置の輝度Ｂを下記閾値ＨおよびＭ(ただし、０(ゼロ)＜Ｍ＜Ｈ)により分別し、Ｂ＞Ｈの場合には正常と判断し、
Ｂ≦ＨかつＢ≧Ｍの場合には異常(1)、
Ｂ＜Ｍの場合には異常(2)であると判定する
ことを特徴とする画像処理装置の異常の判定方法である。
記
異常(1)：光源の照度低下および／または撮像装置の感度低下
異常(2)：光源停止および／または撮像装置停止
閾値Ｈ：画像処理装置が正常な場合における上記特定位置の輝度Ｂよりも低い輝度に設定された閾値
閾値Ｍ：光源停止の場合における上記特定位置の輝度Ｂよりも高い輝度に設定された閾値

また、本発明は、画像データを明部と暗部に２値化処理する画像処理装置の異常の判定方法であって、前記画像データは光源により照明される被撮像物を撮像して得た輝度分布であり、前記異常は下記(1)、(3)、(4)のいずれかであり、前記異常の判定に当たっては撮像範囲内にある特定位置の輝度Ｂを下記閾値Ｈ、ＭおよびＬ(ただし、０(ゼロ)＜Ｌ＜Ｍ＜Ｈ)により分別し、Ｂ＞Ｈの場合には正常と判断し、
Ｂ≦ＨかつＢ≧Ｍの場合には異常(1)、
Ｂ＜ＭかつＢ≧Ｌの場合には異常(3)、
Ｂ＜Ｌの場合には異常(4)であると判定する
ことを特徴とする画像処理装置の異常の判定方法である。
記
異常(1)：光源の照度低下および／または撮像装置の感度低下
異常(3)：光源停止
異常(4)：撮像装置停止
閾値Ｈ：画像処理装置が正常な場合における上記特定位置の輝度Ｂよりも低い輝度に設定された閾値
閾値Ｍ：光源停止の場合における上記特定位置の輝度Ｂよりも高い輝度に設定された閾値
閾値Ｌ：光源停止の場合における上記特定位置の輝度Ｂよりも低い輝度に設定された閾値

本発明によれば、画像処理装置の光源異常および撮像装置の異常を、常時、遠隔から判定することができ、画像処理データの信頼性を大幅に向上することができる。また、特別の検出装置を用いる必要がないので、設備費やメンテナンス費用の増加を招くこともない。

以下、本発明の説明について、具体的に説明する。
２値化処理方式を採用している画像処理装置において、光源およびＣＣＤカメラ等の撮像装置が共に正常に作動しているときには、撮像装置により検出された画像データは、図２のａに示すように、その輝度のレベルに応じて閾値処理され、閾値以上の明部は白、閾値未満の暗部は黒に２値化される。ここで、本発明においては、撮像装置により得た画像処理する前の輝度の分布を「画像データ」と称し、この画像データを２値化処理したものを「２値化データ」と称することとする。

一方、撮像装置が正常で照度低下の異常が起きている場合には、被撮像物を照らしている光の照度が低下するため、画像データおよび２値化データは図２のｂのようになる。従来、この照度低下に対する対応策としては、明部(白)と暗部(黒)に区別(２値化)する閾値のレベルを下げる方法が一般的であった。しかし、閾値を下げる方法は、光源が正常な場合には、暗部(黒)として処理されるべき部分を、明部(白)として誤処理する可能性を生む。図３は、図２と同じ被撮像物の画像データに対して、閾値Ｐを閾値Ｑのレベルまで下げて２値化処理した場合を模式的に示したものであるが、図３中のＡの部分は、光源が正常な場合には暗部として処理されるが、閾値Ｑで処理した場合には、明部として分別されることを示している。同様のことが、撮像装置の感度が低下した場合にも起こる。したがって、明暗を２値化する閾値のレベルを変化させることは、誤処理を招くことになり、好ましくない。

一方、光源停止の異常が発生した場合には、被撮像物から発せられる光は、自然光あるいは他の光源からの光の反射光だけであるため、撮像装置が正常であれば、撮像装置が検出する画像データは、図４のｃに示したような輝度の低いものが得られ、これを２値化処理した場合には、例え閾値を下げていたとしても、全体が暗部(黒)と処理されることになる。同様に、撮像装置が機能を停止している場合には、そもそも画像データ自体が得られないため(図４のｄ)、全体が閾値以下となり、暗部として処理される。そのため、これらの異常については、１つの閾値で異常の種類を判定することはできない。

そこで、発明者は、照度低下や光源停止といった光源異常および撮像装置の感度の低下や停止といった撮像装置の異常を、本来の２値化処理のための閾値とは別に、レベルの異なる２つまたは３つの閾値を設定することにより精度よく判定する方法を開発した。すなわち、本発明は、撮像範囲内のある特定位置に着目し、その特定位置の輝度Ｂを評価するためのレベルの異なる２または３の閾値を設け、上記特定位置の輝度Ｂとを対比して異常を判定する方法である。

具体的には、例えば、ある特定位置の輝度Ｂを判定する閾値として、２つのレベルの異なる閾値ＨおよびＭ（ただし、０＜Ｍ＜Ｈ）を設定した場合には、
異常(1)：光源の照度低下および／または撮像装置の感度低下
異常(2)：光源停止および／または撮像装置停止
とした時に、ある特定位置の輝度Ｂが、閾値Ｈ超えであれば光源および撮像装置とも正常であると判定し、閾値Ｈ以下でかつ閾値Ｍ以上の場合には異常(1)(照度低下および／または撮像装置の感度低下)と判定し、閾値Ｍ未満となった場合には、異常(2)(光源停止および／または撮像装置停止)と判定する（図５参照）。

また、３つのレベルの異なる閾値Ｈ，ＭおよびＬ（ただし、０＜Ｌ＜Ｍ＜Ｈ）を設定した場合には、
異常(1)：光源の照度低下および／または撮像装置の感度低下
異常(3)：光源停止
異常(4)：撮像装置停止
とした時に、ある特定位置の輝度Ｂが、閾値Ｈ超えであれば光源および撮像装置とも正常であると判定し、閾値Ｈ以下でかつ閾値Ｍ以上である場合には異常(1)(照度低下および／または撮像装置の感度低下)と判定し、閾値Ｍ未満で閾値Ｌ以上である場合は異常(3)(光源停止)と判定し、閾値Ｌ未満となった場合には異常(4)(撮像装置停止)と判定する（図６参照）。

ここで、上記のある特定位置とは、ＣＣＤカメラ等の撮像装置の撮像範囲内にある製造設備の一部や、特別に設ける標準とする被撮像物としてもよい。なお、計測対象が特定の形状で一定している場合には、被撮像物の一部あるいは全体を特定位置として選定することもできる。また、上述した図５および図６は、ある特定位置を画像データの頂点、すなわち最高輝度部分に設定した例であるが、照度の変化による輝度の変化が大きく、異常を精度よく判定できるならば特に限定されない。

特定位置の輝度Ｂを分別する閾値Ｈ，Ｍ，Ｌのレベルは以下のように設定する。
まず、高レベルに設定する閾値Ｈは、光源の照度低下あるいは撮像装置の感度低下を精度よく判定するためには、上記のようにして選定した特定位置の正常時における輝度Ｂ未満とし、好ましくは正常時における輝度未満かつその近傍とする。

また、中レベルの閾値Ｍは、その目的が光源停止および／または撮像装置の感度低下の判定にあるため、そのレベルは、光源が停止した状態における特定位置の輝度Ｂを事前に測定しておき、その輝度の直上に設定する。さらに、低レベルの閾値Ｌは、その目的が光源停止とカメラ停止の判別にあるため、そのレベルは、０(ゼロ)以上でかつ光源停止の状態における特定位置の輝度Ｂより低いレベルに設定する。

なお、以上の説明では、設定する閾値の数が２または３の例について説明したが、本発明は、これらの例に限られることなく、その判定する目的に応じて閾値の数を増やすことができる。また、選定する特定位置は、１つに限られるものではなく、２以上の特定位置を選定することにより精度向上を図ることもできる。さらに、閾値処理する際の閾値に対する以上／以下、未満／超えの設定は、本発明の例に限られず、任意に設定することができる。

本発明は、各種生産設備や製造ラインにおいて、位置決めや検査、監視装置等に用いられている画像処理装置、中でも、画像データを２値化処理する画像処理装置の異常判定に用いて有効である。特に、鉄鋼製品の製造ラインのように、自動化された長大なラインに多数設置されている画像処理装置の異常を遠隔から自動的に判定するのに有効である。

画像処理装置の構成の１例を示す図である。撮像装置が正常で、光源が正常から照度低下異常となった時の、２値化データの変化を模式的に示す図である。２値化の閾値レベルを変化させた時の２値化データの変化を模式的に示す図である。光源停止または撮像装置停止の場合の、画像データ、２値化データを模式的に示す図である。レベルの異なる２つの閾値を用いて、特定位置の輝度の変化から異常を判定する方法を模式的に示す図である。レベルの異なる３つの閾値を用いて、特定位置の輝度の変化から異常を判定する方法を模式的に示す図である。

符号の説明

１．計測対象(被撮像物、ワーク)
２．光源
３．ＣＣＤカメラ(撮像装置)
４．演算部

Claims

画像データを明部と暗部に２値化処理する画像処理装置の異常の判定方法であって、前記画像データは光源により照明される被撮像物を撮像して得た輝度分布であり、前記異常は下記(1)または(2)のいずれかであり、前記異常の判定に当たっては撮像範囲内にある特定位置の輝度Ｂを下記閾値ＨおよびＭ(ただし、０(ゼロ)＜Ｍ＜Ｈ)により分別し、Ｂ＞Ｈの場合には正常と判断し、
Ｂ≦ＨかつＢ≧Ｍの場合には異常(1)、
Ｂ＜Ｍの場合には異常(2)であると判定する
ことを特徴とする画像処理装置の異常の判定方法。
記
異常(1)：光源の照度低下および／または撮像装置の感度低下
異常(2)：光源停止および／または撮像装置停止
閾値Ｈ：画像処理装置が正常な場合における上記特定位置の輝度Ｂよりも低い輝度に設定された閾値
閾値Ｍ：光源停止の場合における上記特定位置の輝度Ｂよりも高い輝度に設定された閾値
画像データを明部と暗部に２値化処理する画像処理装置の異常の判定方法であって、前記画像データは光源により照明される被撮像物を撮像して得た輝度分布であり、前記異常は下記(1)、(3)、(4)のいずれかであり、前記異常の判定に当たっては撮像範囲内にある特定位置の輝度Ｂを下記閾値Ｈ、ＭおよびＬ(ただし、０(ゼロ)＜Ｌ＜Ｍ＜Ｈ)により分別し、Ｂ＞Ｈの場合には正常と判断し、
Ｂ≦ＨかつＢ≧Ｍの場合には異常(1)、
Ｂ＜ＭかつＢ≧Ｌの場合には異常(3)、
Ｂ＜Ｌの場合には異常(4)であると判定する
ことを特徴とする画像処理装置の異常の判定方法。
記
異常(1)：光源の照度低下および／または撮像装置の感度低下
異常(3)：光源停止
異常(4)：撮像装置停止
閾値Ｈ：画像処理装置が正常な場合における上記特定位置の輝度Ｂよりも低い輝度に設定された閾値
閾値Ｍ：光源停止の場合における上記特定位置の輝度Ｂよりも高い輝度に設定された閾値
閾値Ｌ：光源停止の場合における上記特定位置の輝度Ｂよりも低い輝度に設定された閾値