JP2006242584A - ムラ欠陥検出方法及び装置 - Google Patents

Abstract

【課題】 ムラ欠陥を高精度に検出できるムラ欠陥検出方法及び装置を提供する。
【課題手段】 ムラ欠陥検出方法は、撮像した画像の各画素に対してムラ成分強調フィルタをかけてムラ成分を強調するムラ成分強調処理工程と、前記ムラ成分強調処理工程で得られた各画素のムラ成分強調値に基づいてムラ欠陥を検出するムラ欠陥検出工程とを有する。ムラ成分強調処理工程は、対象画素から所定距離離れてかつ対象画素の周囲に配置された輝度比較画素の輝度値を対象画素の輝度値と比較し、対象画素よりも輝度値が大きい輝度比較画素の数が半数より多い場合には、それらの各輝度比較画素の輝度値におけるメディアン値と対象画素の輝度値との差分を計算して対象画素のムラ成分強調値とする。逆に、カウント数が半数以下の場合には、輝度値が小さい各輝度比較画素の輝度値におけるメディアン値と対象画素の輝度値との差分を計算して対象画素のムラ成分強調値とする。
【選択図】 図２

Description

本発明は、液晶パネル等の表示デバイスやその応用製品であるプロジェクタ等の製造における検査工程等の各種製品の検査工程において、ムラ欠陥を精度よく自動的に検出するムラ欠陥検出方法及び装置に関する。

ＴＦＴパネル等のＬＣＤパネル検査における面系欠陥は、形状が不定でありコントラストも低いため、検査装置で自動検出することは困難であった。このため、検査は未だ検査員の目視で行われているのが現状であり、製造コスト削減のために検査の自動化が急務になっている。

このような面系欠陥は、特徴から大まかに分類すると、シミ、スジ、ムラ、線の４つの欠陥に分類される。
これらの欠陥のうち、ムラ欠陥の検出を自動化する方法として、２次微分フィルタを用いて強調処理することでムラを検出する方法が既に提案されている（例えば、特許文献１〜３参照）。

特開２００４−５３４７７号公報 特開２００３−１４５８０号公報 特開２０００−１１１４９２号公報

しかしながら、特許文献１，３では、２次微分フィルタで考慮されているのは、画面における縦方向および横方向の成分のみであり、斜め方向の成分は考慮されていないため、ムラ欠陥の検出精度を向上させることが難しいという問題があった。
また、特許文献２では、縦方向および横方向だけでなく、斜め方向も考慮されているが、輝度の変化が大きい部分に反応するようにフィルタが設定されているため、エッジ部分にも反応してしまい、ムラでない部分も同時に検出してしまうため、ムラ欠陥の検出精度が低下するという問題があった。

本発明は、上述のような課題に鑑みてなされたものであり、ムラ欠陥を高精度に検出することができるムラ欠陥検出方法及び装置を提供することを目的とする。

本発明のムラ欠陥検出方法は、撮像した画像の各画素に対してムラ成分強調フィルタをかけてムラ成分を強調するムラ成分強調処理工程と、前記ムラ成分強調処理工程で得られた各画素のムラ成分強調値に基づいてムラ欠陥を検出するムラ欠陥検出工程とを有し、前記ムラ成分強調処理工程は、撮像画像において選択された対象画素から所定距離離れてかつ対象画素の周囲に配置された各輝度比較画素の輝度値を対象画素の輝度値と比較し、対象画素よりも輝度値が大きい輝度比較画素の数をカウントし、カウントされた輝度比較画素の数が、輝度比較画素全体の数の半数より多い場合には、対象画素よりも輝度値が大きい各輝度比較画素の輝度値におけるメディアン値と対象画素の輝度値との差分を計算して対象画素のムラ成分強調値とし、カウントされた輝度比較画素の数が、輝度比較画素全体の数の半数以下であった場合には、対象画素よりも輝度値が小さい各輝度比較画素の輝度値におけるメディアン値と対象画素の輝度値との差分を計算して対象画素のムラ成分強調値とするムラ成分強調フィルタを用いてムラ成分を強調し、前記ムラ欠陥検出工程は、前記各画素のムラ成分強調値を所定の閾値と比較してムラ欠陥候補の画素を抽出してムラ欠陥を検出することを特徴とする。

本発明では、ムラ成分強調処理工程において、対象画素から所定距離離れて、かつ、対
象画像の周囲に配置された輝度比較画素の輝度値に基づいてムラ成分を強調するムラ成分強調フィルタを用いて処理しているので、例えば、輝度比較画素を対象画素に対して上下左右のみに配置した場合に比べて、面状に広がるムラを確実に検出することができる。
また、輝度比較画素の全画素の平均値と対象画素の輝度値の差分で算出するムラ成分強調フィルタを用いた場合には、欠陥周囲（エッジ部分）に実際には存在しない黒シミ成分が生じてこのシミ部分を誤検出してしまうおそれがある。
さらに、輝度比較画素の全画素のメディアン値と対象画素の輝度値の差分で算出するムラ成分強調フィルタを用いた場合には、輝度比較画素の一部にムラ欠陥がある場合、その影響を受けてしまうおそれがある。
これに対し、本発明のムラ成分強調フィルタは、各輝度比較画素の輝度値と対象画素の輝度値とを比較し、対象画素よりも輝度値が大きな輝度比較画素が、輝度比較画素総数の半数よりも多いか否かによって対象画素が黒ムラ成分なのか白ムラ成分なのかを判断し、その判断に応じて輝度比較画素の中で対象画素よりも輝度値が大きなあるいは小さな輝度比較画素のメディアン値を求め、このメディアン値と対象画素の輝度値との差分によってムラ成分が強調された強調値を算出しているため、実際に存在しないシミを検出してしまうこともなく、ムラ成分を高精度に検出することができる。

本発明のムラ欠陥検出方法においては、前記ムラ成分強調処理工程の後に、メディアンフィルタを掛けてノイズを除去した後、前記ムラ欠陥検出工程を実行することが好ましい。
メディアンフィルタとしては、例えば３×３の９画素の各輝度値のメディアン値（中央値）を３×３の中心に位置する対象画素の輝度値とするようなメディアンフィルタを利用すればよい。
このようなメディアンフィルタを用いることで、ムラ成分以外のノイズを除去することができ、ムラ成分をより高精度に検出することができる。

本発明のムラ欠陥検出方法において、前記ムラ成分強調処理工程の前に、検査対象を撮像する撮像工程と、撮像した画像から予め作成しておいた背景画像との差をとる背景画像差分処理工程と、画像から表示エリアの抽出を行う表示エリア抽出工程と、抽出された画像に対して縮小画像を作成する縮小画像作成工程とを実行し、前記ムラ成分強調処理工程は、前記縮小画像作成工程で作成された縮小画像に対してムラ成分強調フィルタをかけることが好ましい。
ここで、背景画像とは、検査対象に生じる欠陥以外のムラ等の影響を除去するために用意されるものであり、例えば、２０枚程度の良品サンプル画像を平均化したものなどが利用される。
本発明では、背景画像差分処理工程、表示エリア抽出工程により、検査対象以外の影響、例えば、撮像するために用いられる照明やレンズ等の検査対象以外のものによって生じるシミムラ等の影響を無くすことができ、ムラ欠陥を効果的に検出できる。また、縮小画像作成工程で縮小画像を作成できるので、ムラ成分強調フィルタに対する相対的なムラ欠陥サイズを変更することができ、ムラ欠陥のサイズに応じた複数種類のフィルタを用意しなくても、各種サイズのムラ欠陥を検出できる。

本発明のムラ欠陥検出方法において、前記ムラ欠陥検出工程は、前記ムラ成分強調処理工程で得られる各画素のムラ成分強調値を所定の閾値と比較してムラ欠陥候補の画素を抽出するムラ欠陥抽出処理工程と、前記ムラ欠陥候補の特性値を求めるｂｌｏｂ処理を行うｂｌｏｂ処理工程と、前記ｂｌｏｂ処理工程により求められたムラ欠陥候補の特性値に基づいてムラ欠陥のランクを分類する欠陥ランク分類工程と、を備えることが好ましい。
ムラ成分強調値を所定の閾値と比較してムラ欠陥候補の画素を抽出しているので、欠陥候補の判定を短時間で容易に行うことができる。また、抽出されたムラ欠陥候補の情報に基づいてムラ欠陥を評価しているので、欠陥を客観的に評価でき、ランク付けも行うことができるので、不良品を容易に判定できる。

本発明のムラ欠陥検出方法において、前記ムラ成分強調処理工程は、前記対象画素から輝度比較画素までの距離が異なる複数種類のムラ成分強調フィルタを各画素に対して適用し、各フィルタによって得られるムラ成分強調値のうち、その絶対値が最大のものをその対象画素のムラ成分強調値とすることが好ましい。
ムラ成分強調フィルタは、対象画素と輝度比較画素の距離を適宜設定することで、検出可能なムラ欠陥の大きさを設定できるので、検出したいサイズのムラ欠陥を容易に検出できる。その上、ムラ成分強調値の最大絶対値を抽出しているので、各ムラ成分強調フィルタの強調結果を合成した際に、各サイズのムラ欠陥を確実に検出することができる。このため、各ムラ成分強調フィルタの強調結果を個別に評価する必要が無く、合成結果のみを評価すればよいので、様々なサイズのムラ欠陥を容易に検出・評価することができる。

本発明のムラ欠陥検出方法において、前記ムラ成分強調処理工程前に、撮像画像の複数段階の縮小画像を作成する縮小画像作成工程を実施し、前記ムラ成分強調処理工程は、縮小画像作成工程で作成された各縮小画像に対して前記ムラ成分強調フィルタを適用し、各フィルタによって得られる各縮小画像における各画素のムラ成分強調値のうち、その絶対値が最大のものをその画素のムラ成分強調値とすることが好ましい。
複数段階の縮小画像を作成すれば、同一のムラ欠陥のサイズをそれぞれ異ならせることができる。このため、１種類のムラ成分強調フィルタを用いても、複数段階の縮小画像に適用することで、様々なサイズのムラ欠陥を検出することができる。

本発明のムラ欠陥検出装置は、撮像した画像の各画素に対してムラ成分強調フィルタをかけてムラ成分を強調するムラ成分強調処理手段と、前記ムラ成分強調処理手段で得られた各画素のムラ成分強調値に基づいてムラ欠陥を検出するムラ欠陥検出手段とを有し、前記ムラ成分強調処理手段は、撮像画像において選択された対象画素から所定距離離れてかつ対象画素の周囲に配置された各輝度比較画素の輝度値を対象画素の輝度値と比較し、対象画素よりも輝度値が大きい輝度比較画素をカウントし、カウントされた輝度比較画素の数が、輝度比較画素全体の数の半数より多い場合には、対象画素よりも輝度値が大きい各輝度比較画素の輝度値におけるメディアン値と対象画素の輝度値との差分を計算して対象画素のムラ成分強調値とし、カウントされた輝度比較画素の数が、輝度比較画素全体の数の半数以下であった場合には、対象画素よりも輝度値が小さい各輝度比較画素の輝度値におけるメディアン値と対象画素の輝度値との差分を計算して対象画素のムラ成分強調値とするムラ成分強調フィルタを用いてムラ成分を強調し、前記ムラ欠陥検出手段は、前記各画素のムラ成分強調値を所定の閾値と比較してムラ欠陥候補の画素を抽出してムラ欠陥を検出することを特徴とする。

本発明では、ムラ成分強調処理手段において、対象画素から所定距離離れて、かつ、対
象画像の周囲に配置された輝度比較画素の輝度値に基づいてムラ成分を強調するムラ成分強調フィルタを用いて処理しているので、面状に広がるムラを確実に検出することができる。
また、各輝度比較画素の輝度値と対象画素の輝度値とを比較し、対象画素よりも輝度値が大きな輝度比較画素が、輝度比較画素総数の半数よりも多いか否かによって対象画素が黒ムラ成分なのか白ムラ成分なのかを判断し、その判断に応じて輝度比較画素の中で対象画素よりも輝度値が大きなあるいは小さな輝度比較画素のメディアン値を求め、このメディアン値と対象画素の輝度値との差分によってムラ成分が強調された強調値を算出しているため、実際に存在しないシミを検出してしまうこともなく、ムラ成分を高精度に検出することができる。

本発明のムラ欠陥検出装置においては、検査対象を撮像する撮像手段と、撮像した画像から予め作成しておいた背景画像との差をとる背景画像差分処理手段と、画像から表示エリアの抽出を行う表示エリア抽出手段と、縮小画像を作成する縮小画像作成手段とを備え、前記ムラ成分強調処理手段は、前記縮小画像作成手段で作成された縮小画像に対してムラ成分強調フィルタをかけることが好ましい。
本発明では、背景画像差分処理手段、表示エリア抽出手段により、検査対象以外の影響、例えば、撮像するために用いられる照明やレンズ等の検査対象以外のものによって生じるシミムラ等の影響を無くすことができ、ムラ欠陥を効果的に検出できる。また、縮小画像作成工程で縮小画像を作成できるので、ムラ成分強調フィルタに対する相対的なムラ欠陥サイズを変更することができ、ムラ欠陥のサイズに応じた複数種類のフィルタを用意しなくても、各種サイズのムラ欠陥を検出できる。

図１は本発明の実施の形態に係るムラ欠陥検出装置の構成を示すブロック図である。
図１において、１は検査対象である液晶パネル（液晶ライトバルブ）、２は画像投影装置であるプロジェクタであり、液晶パネル１を外部からセットできるようになっている。３は液晶パネル１に各種パターンを出力するパターン生成装置であるパターンジェネレータ、４はスクリーン、５はスクリーン４に投影された画像を撮影する撮像手段であるＣＣＤカメラであり、液晶パネル１の解像度以上の解像度を有するＣＣＤを搭載している。６はパターンジェネレータ３及びＣＣＤカメラ５を制御し、液晶パネル１のムラ欠陥を検出する画像処理手段であるコンピュータ装置、７はコンピュータ装置６に接続された表示装置である。

コンピュータ装置６は、画像入力手段６０と、背景画像差分処理手段６１と、表示エリア抽出手段６２と、縮小画像作成手段６３と、ムラ成分強調処理手段６４と、ノイズ除去手段６５と、ムラ欠陥抽出処理手段６６と、ｂｌｏｂ処理手段６７と、欠陥ランク分類処理手段６８とから構成されている。

コンピュータ装置６の画像入力手段６０には、ＣＣＤカメラ５で撮像された取込画像の画像データが入力される。その取込画像は図示しない記憶手段に記憶される。従って、画像入力手段６０によってＣＣＤカメラ５を用いて検査対象を撮像する撮像工程（画像入力工程）が実施される。
背景画像差分処理手段６１は、入力画像と予め作成された背景画像との差を取って検査対象以外のものによって生じる欠陥状の輝度変化を除去した背景差分画像を得る背景画像差分処理工程を実施する。表示エリア抽出手段６２は、背景差分画像から被検査部の画像部分だけを抽出する表示エリア抽出工程を実施する。ＣＣＤカメラ５で検査対象であるＴＦＴパネルを撮像した際に、ＴＦＴパネル全体を撮像するにはパネル周囲も多少写さなければならない。このため撮像画像におけるパネル投影画像の周囲には、パネルとは関係のないデータが存在し、また投影画像も長方形ではなく歪んでいる。このため、表示エリア抽出手段６２は、ＴＦＴパネル投影画像の部分のみを切り出す処理を行い、検査対象画像を作成する。

縮小画像作成手段６３は、表示エリア抽出手段６２で抽出された画像から縮小画像を作成する縮小画像作成工程を実施する。例えば、縮小画像作成手段６３は、撮像画像において比較的大きなムラ欠陥を検出するために、撮像した画像を１／８サイズに縮小する処理を行う。後述するように、ムラ成分強調処理手段６４で使用するムラ成分強調フィルタは、それぞれ強調可能なムラの大きさがある程度決められている。このため、同一のムラ成分強調フィルタを利用していても、画像自体を縮小してムラ成分の大きさも小さくすることで、画像を縮小しない場合に比べて、相対的に大きなムラ欠陥を検出することができる。なお、小さなムラ欠陥を検出する場合には、縮小画像作成手段６３による縮小画像作成工程を実施しなくてもよい。

ムラ成分強調処理手段６４は、画像に対してムラ成分強調フィルタ（ムラ欠陥検出フィルタ）を適用してムラ欠陥を強調して検出するムラ成分強調処理工程を実施する。
ノイズ除去手段６５は、ムラ成分強調処理手段６４で得られた結果に対してメディアンフィルタを適用してノイズを除去するノイズ除去工程を実施する。

ムラ欠陥抽出処理手段６６は、ノイズ除去手段６５で処理された結果を所定の閾値と比較してムラ欠陥候補を抽出する。なお、ムラ欠陥には、他の画素部分に対して輝度値が高い白ムラ欠陥と、輝度値が低い黒ムラ欠陥とがある。このため、閾値としては、白ムラ欠陥閾値と、黒ムラ欠陥閾値とが設定され、白ムラ欠陥閾値と比較することで白ムラ欠陥候補が抽出され、黒ムラ欠陥閾値と比較することで黒ムラ欠陥候補が抽出される。

ｂｌｏｂ処理手段６７は、欠陥候補として抽出した領域の面積と、平均輝度を求めるｂｌｏｂ処理工程を実施する。
欠陥ランク分類処理手段６８は、ｂｌｏｂ処理手段６７で求めた面積および平均輝度に
基づいてムラ欠陥のランクを評価し、今回の検査対象がどの欠陥ランクに該当するかを分類する欠陥ランク分類工程を実施する。
従って、本実施形態では、ムラ欠陥抽出処理手段６６、ｂｌｏｂ処理手段６７、欠陥ランク分類処理手段６８により、ムラ欠陥検出手段が構成されている。

次に、本発明の実施の形態によるムラ欠陥検出装置の動作について説明する。
図２はこの実施の形態のムラ欠陥検出装置の動作を説明するためのフローチャートである。図２に示す動作はコンピュータ装置６上で実行されるプログラムにより実現されている。
まず、プロジェクタ２に検査対象の液晶パネル１をセットし、コンピュータ装置６によりパターンジェネレータ３を制御して液晶パネル１上に特定の明るさのパターンを表示させ、それをプロジェクタ２によりスクリーン４に投影する。そして、スクリーン４上に投影された画像をＣＣＤカメラ５で撮影し、その撮影データの画像をコンピュータ装置６に出力し、コンピュータ装置６によりムラ欠陥検出処理を行い、液晶パネル１のムラ欠陥の検出結果を表示装置７に表示する。

ここで、コンピュータ装置６によるムラ欠陥検出の動作について図２のフローチャートに基づいて説明する。
まず、スクリーン４上に投影された画像をＣＣＤカメラ５で撮影し、その撮影データの画像がコンピュータ装置６の画像入力手段６０に取り込まれ、画像入力工程（撮像工程）が行われる（ステップＳ１）。このとき撮影データは、図示しないＡ／Ｄ変換器により、４０９６階調（１２ビット）のデジタルデータとして、コンピュータ装置６に取り込まれる。
次に、背景画像差分処理手段６１は、取り込まれた画像データの中から、照明やレンズなど液晶パネル以外のものによって生じる欠陥状の輝度変化を除去するための背景画像差分処理工程を行う（ステップＳ２）。

この背景画像差分処理工程は、図３（Ａ）に示す入力画像（投影画像）から図３（Ｂ）に示す背景画像を減算して、図３（Ｃ）に示す背景差分画像を作成する。背景画像は、液晶パネル１を除いた光学系の輝度変化の画像である。投影ランプや投射レンズによる欠陥上の輝度変化は、入力画像および背景画像の両方に生じるため、入力画像から背景画像を減算すれば、背景差分画像においては、投影ランプや投射レンズなど液晶パネル以外のものによって生じる欠陥上の輝度変化成分は除去される。

続いて、表示エリア抽出手段６２は、被検査部の画面部分だけを抽出する表示エリア抽出処理工程を行う（ステップＳ３）。
表示エリア抽出処理工程は、図４（Ａ）に示す被検査部画像（背景差分画像）の四隅の座標をパターンマッチング処理（画像データの四隅付近の数十画素×数十画素の４つの小領域に対して、それぞれ予め用意した４つの隅基準画像とパターンマッチング処理を行い、四隅の座標を特定する）により検出し、この四隅の座標の位置関係が長方形になるようにアフィン変換することで表示エリアを抽出する。これによって、図４（Ｂ）に示すように、スクリーン４上の周囲の縁部が除去され、且つ正確な長方形とされた画面部分だけが抽出される。

次に、縮小画像作成手段６３は、表示エリア抽出処理された検査対象画像を縮小する縮小画像作成処理工程を行う（ステップＳ４）。
この縮小画像作成処理工程は、検査対象画像から所定サイズ、例えば１／８サイズに縮小した画像を作成する。具体的には、１／８サイズの縮小画像を作成する場合には、検査対象画像の４画素の平均値を１画素とすることで１／２サイズの縮小画像を作成し、この１／２の縮小画像の４画素の平均値を１画素とすることで１／４サイズの縮小画像を作成
し、この１／４の縮小画像の４画素の平均値を１画素とすることで１／８サイズの縮小画像を作成する。

従って、平坦化処理された原画像が１３００×１０００の１３０万画素とすると、１／２の縮小画像は６５０×５００の３２．５万画素、１／４の縮小画像は３２５×２５０の８万１２５０画素、１／８の縮小画像は約１６２×１２５の約２万０２５０画素を有することになる。
このように、所定サイズの縮小画像を作成するのは、後述するムラ成分強調フィルタは所定の大きさのムラ欠陥を強調するように設計されており、画像サイズを縮小することで、縮小前の画像サイズのままでは後述するムラ成分強調フィルタで強調できない比較的大きなムラを、画像サイズを縮小することで強調できるようにするためのものである。

次に、ムラ成分強調処理手段６４は、作成された縮小画像に対してムラ成分を強調するムラ成分強調処理工程を行う（ステップＳ５）。このムラ成分強調処理工程は、そのままでは微少なレベルの白ムラ欠陥・黒ムラ欠陥の検出が難しいために、画像の中のムラ欠陥のみを強調するものである。
なお、所定サイズのムラ欠陥のみを検出する場合には、作成された縮小画像に対して、１種類のムラ成分強調フィルタを適用すればよいが、サイズの異なるムラ欠陥も検出する場合には、検出対象となるムラ欠陥のサイズが異なる複数種類のムラ成分強調フィルタを適用し、所定サイズのムラ欠陥を検出すればよい。

ムラ成分強調フィルタは、図５に示すように、設定した検出領域の中心画素を対象画素とし、この対象画素の周囲に略円状に配置され、かつ対象画素から所定長さ離れて配置された輝度比較画素を設けている。
そして、ムラ成分強調フィルタは、まず、各輝度比較画素の輝度値を、対象画素の輝度値と比較し、対象画素の輝度値よりも大きな輝度値を有する輝度比較画素の数をカウントする。このカウント数が、輝度比較画素の総数（本実施形態では３２個）の半数よりも多ければ、対象画素は黒ムラ成分の一部であると判断される。一方、半数以下であれば、白ムラ成分の一部であると判断される。

次に、ムラ成分強調フィルタは、前記カウント数が、輝度比較画素総数の半数よりも多い場合（黒ムラ成分の一部と判断されている場合）、対象画素よりも輝度値が大きいつまり明るい輝度比較画素のメディアン値（中央値）を求め、このメディアン値と対象画素の輝度値との差分をムラ成分強調結果値として算出する。
逆に、ムラ成分強調フィルタは、前記カウント数が、輝度比較画素総数の半数以下の場合（白ムラ成分の一部と判断されている場合）、対象画素よりも輝度値が小さいつまり暗い輝度比較画素のメディアン値（中央値）を求め、このメディアン値と対象画素の輝度値との差分をムラ成分強調結果値として算出する。

例えば、輝度比較画素で囲まれたエリア内に欠陥が存在しない場合、対象画素の輝度値と各輝度比較画素の輝度値は殆ど差が無い状態になる。従って、対象画素が黒ムラあるいは白ムラのいずれと判断されても、上記ムラ成分強調フィルタの出力結果である前記輝度比較画素のメディアン値と対象画素の輝度値との差分は非常に小さな値となる。
一方、輝度比較画素で囲まれたエリア内に黒ムラ欠陥が存在し、対象画素がその一部である場合、対象画素に比べて各輝度比較画素の輝度値は高くなる。従って、対象画素の輝度値から輝度比較画素のメディアン値を引いて差分を取れば、その結果はマイナス値となり、黒ムラ欠陥が存在することが判明する。なお、マイナス値で処理することに不都合が有れば、オフセット値を加算してプラス値に直して処理してもよい。
また、輝度比較画素で囲まれたエリア内に白ムラ欠陥が存在し、対象画素がその一部である場合、対象画素に比べて各輝度比較画素の輝度値は低くなる。従って、対象画素の輝度値から輝度比較画素のメディアン値を引いて差分を取れば、その結果はプラス値となり、白ムラ欠陥が存在することが判明する。なお、黒ムラ欠陥の場合にオフセット値を加算している場合には、白ムラ欠陥の場合もオフセット値を加算して処理することで、白ムラ欠陥および黒ムラ欠陥の両方を同時に検出することができる。

以上のように、本実施形態のムラ成分強調フィルタは、輝度値が対象画素よりも大きい比較対象画素の数が、比較対象画素総数の半数よりも多い場合には、輝度値が大きい比較対象画素における輝度値のメディアン値と対象画素の輝度値との差分を各対象画素のムラ強調値として記憶し、逆に半数以下の場合には、輝度値が小さい比較対象画素における輝度値のメディアン値と対象画素の輝度値との差分を各対象画素のムラ強調値として記憶するものである。
すなわち、比較対象画素を、その輝度値が対象画素の輝度値よりも大きいグループと、輝度値が対象画素の輝度値以下のグループに分け、比較対象画素の数を多いグループにおける輝度値のメディアン値と、対象画素の輝度値との差分を各対象画素のムラ強調値として記憶するものである。

なお、図５に示すムラ成分強調フィルタは、対象画素から上下、左右の輝度比較画素までの距離が６画素分であり、対象画素と他の輝度比較画素との間の距離もおおむね６画素分である。本実施形態のムラ成分強調フィルタは、輝度比較画素で囲まれた面積よりも一回り小さい面積のムラ欠陥の抽出に適している。すなわち、ムラ成分強調フィルタは、各輝度比較画素で囲まれたエリア内の面積に比べて測定対象のムラの面積が大きいと、その輪郭部分のみが強調され、ムラ部分全体を強調することができない。従って、対象画素と輝度比較画素間の距離によって検出可能なムラ欠陥のサイズが異なる。このため、以下の説明において、各ムラ成分強調フィルタにおいて、対象画素と輝度比較画素間の距離がｎのものを距離ｎ画素フィルタと呼ぶ。例えば、図５に示すムラ成分強調フィルタは、距離６画素フィルタである。

ここで、本実施形態のムラ成分強調処理工程Ｓ５の処理を説明する。本実施形態では、図６に示すように、１／８に縮小された画像に対して４種類のムラ成分強調フィルタを適用している。具体的には、距離３，６，１２，１８の各ムラ成分強調フィルタを適用している。そして、距離３〜１２のムラ成分強調フィルタの適用結果を合成して合成処理結果１を求め、距離６〜１８のムラ成分強調フィルタの適用結果を合成して合成処理結果２を求めている。

ここで、距離の異なる複数のムラ成分強調フィルタを用いているのは、前述の通り、様々なサイズのムラ欠陥を検出するためである。すなわち、処理対象画素からの距離が６画素のムラ成分強調フィルタのみを用いると、検出できるムラ欠陥のサイズが限定されてしまう（約１２画素サイズ近辺のムラ欠陥までしか検出できない）。
そこで、本実施形態では、画面内に存在する様々なサイズのムラ欠陥に対応するため、３画素、６画素、１２画素、１８画素と、４段階に距離を変えて強調処理を行うことにより、様々なサイズのムラ欠陥を強調している。

また、強調結果を合成処理しているのは、検出精度を向上させるためである。すなわち、それぞれの強調結果からムラ欠陥を抽出して個別に評価した場合、１つのムラ欠陥が３画素と６画素の強調結果に分割されて検出されることがあり、実際のムラ欠陥と強調結果が一致しない場合がある。そこで、結果を一致させるため複数の強調結果を合成することで、分離したムラ欠陥を１つに合成して検出精度を向上させている。
このとき、ムラ欠陥にはサイズの小さなムラ成分と大きなムラ成分が存在しており、全ての強調結果を1枚に合成すると、大きなムラ成分に小さなムラ成分が埋もれてしまい、小さなムラ欠陥を検出できなくなる。そこで、小さなムラ成分検出用として、３画素、６画素、１２画素の強調結果を合成、大きなムラ成分検出用として、６画素、１２画素、１８画素の強調結果を合成して、計２枚の画像を持って、ムラ欠陥検出処理を行うことで、検出精度を向上させている。

図７に示す疑似ムラ欠陥画像に対し、本実施形態のムラ成分強調フィルタを適用した結果を図８〜１１に示す。
図７に示す疑似ムラ欠陥は、擬似的に作成した白ムラ欠陥および黒ムラ欠陥である。そして、図７に示す画像を１／８サイズに縮小し、その縮小画像に対して以下の各ムラ成分強調フィルタを適用した。

図８には、対象画素と輝度比較画素間の距離が３画素のムラ成分強調フィルタ（距離３画素フィルタ）を適用した場合の強調結果を示す。
図９には、対象画素と輝度比較画素間の距離が６画素のムラ成分強調フィルタ（距離６画素フィルタ）を適用した場合の強調結果を示す。
図１０には、対象画素と輝度比較画素間の距離が１２画素のムラ成分強調フィルタ（距離１２画素フィルタ）を適用した場合の強調結果を示す。
図１１には、対象画素と輝度比較画素間の距離が１８画素のムラ成分強調フィルタ（距離１２画素フィルタ）を適用した場合の強調結果を示す。
各図８〜１１に示すように、各距離のフィルタにより、それぞれのサイズに応じたムラ欠陥が強調される。

図１２には、図８〜１０に示す距離３，６，１２画素の各フィルタの強調結果を合成した結果が示されている。また、図１３には、図９〜１１に示す距離６，１２，１８画素の各フィルタの強調結果を合成した結果が示されている。
合成処理は、各フィルタの強調結果において、同じ位置の画素の強調結果値を比較し、それらの中で絶対値が最大となる値をその合成結果としたものである。
なお、ムラ成分強調フィルタの距離が、ムラ欠陥の大きさに比べて非常に大きい場合、輝度比較画素が他のムラ領域に位置するとそのムラ成分に影響されてムラを正しく検出することができない。このため、ムラ成分強調フィルタは、検出しようとするムラ欠陥の大きさよりも僅かに大きいもの、例えば１〜３画素程度の寸法分、大きいものを用いることが好ましい。
従って、距離３，６，１２画素の各フィルタの強調結果を合成するようにすれば、距離３，６，１２の各サイズに対応したムラ成分が強調されて検出することができ、距離６，１２，１８画素の各フィルタの強調結果を合成するようにすれば、距離６，１２，１８の各サイズに対応したムラ成分が強調されて検出することができる。

次に、ノイズ除去手段６５は、前記ムラ成分強調処理工程の結果に対して、メディアンフィルタを掛けて、ノイズにより分離している欠陥成分をつなげて平滑化し、ムラ成分以外のノイズを除去するノイズ除去処理工程を実施する（Ｓ６）。メディアンフィルタとしては、例えば３×３の９画素の各輝度値のメディアン値（中央値）を３×３の中心に位置する対象画素の輝度値とするようなメディアンフィルタを利用すればよい。
図１４には、距離３，６，１２画素の各フィルタの出力の合成結果にメディアンフィルタを適用した結果が示されている。また、図１５には、距離６，１２，１８画素の各フィルタの出力の合成結果にメディアンフィルタを適用した結果が示されている。

次に、ムラ欠陥抽出処理手段６６は、ノイズが除去されたムラ欠陥強調画像に対して、白ムラ欠陥を切り出す閾値と、黒ムラ欠陥を切り出す閾値を設定し、各ムラ欠陥候補の領域を切り出すムラ欠陥抽出処理工程を実施する（Ｓ７）。ここで、各閾値は、画像の状況に合わせて最適な値を設定すればよい。例えば、ムラ欠陥強調画像（合成画像）のムラ強調値（輝度値）の平均値と、その標準偏差を求め、以下の式で閾値を設定する。
白ムラ欠陥閾値 wslevel＝avr＋α・σ＋β1
黒ムラ欠陥閾値 bslevel＝avr−α・σ＋β2
ここで、avrは合成画像のムラ強調値の平均値、σは合成画像のムラ強調値の標準偏差、α，β1，β2は任意の数で検査対象となる画像の状況で適宜決定される。

ここで、αを１に設定して計算した白ムラ欠陥閾値および黒ムラ欠陥閾値で、図１５の合成画像を２値化した結果を、図１６，１７に示す。図１６は白ムラ欠陥閾値で切り出した白ムラ欠陥候補であり、図１７は黒ムラ欠陥閾値で切り出した白ムラ欠陥候補である。図１６，１７とも、白く表示された領域が、切り出されたムラ欠陥候補の領域である。

次に、ｂｌｏｂ処理手段６７は、白ムラ欠陥候補画像と、黒ムラ欠陥候補画像に対し、欠陥候補として切り出した領域の面積と、平均輝度を求めるｂｌｏｂ処理工程を実施する（Ｓ８）。
次に、欠陥ランク分類処理手段６８は、算出された欠陥候補領域の面積および平均輝度により、その画像におけるムラ欠陥のランクを分類する欠陥ランク分類工程を実施する（Ｓ９）。
欠陥ランク分類処理手段６８で求められた欠陥ランクは、表示装置７に表示され、検査員は検査対象の液晶パネル１の欠陥ランクを容易に把握することができる。
従って、本実施形態では、ムラ欠陥抽出処理工程Ｓ７、ｂｌｏｂ処理工程Ｓ８、欠陥ランク分類工程Ｓ９により、ムラ欠陥検出工程が構成されている。

この実施の形態によれば、次のような効果がある。
（１）ムラ成分強調処理手段６４は、対象画素から所定距離離れて、かつ、対象画像の周囲に配置された輝度比較画素の輝度値に基づいてムラ成分を強調するムラ成分強調フィルタを用いているので、例えば、輝度比較画素を対象画素に対して上下左右のみに配置した場合に比べて、面状に広がるムラを確実に検出することができる。
その上、ムラ成分強調フィルタは、輝度比較画素と対象画素の輝度値を比較し、対象画素よりも輝度値が大きな輝度比較画素の数が輝度比較画素総数の半数よりも多いか否かにより、対象画素が黒ムラ成分の一部であるか、あるいは白ムラ成分の一部であるかを判断し、黒ムラ成分と判断した場合には、対象画素よりも明るい輝度比較画素のメディアン値と対象画素の輝度値との差分を計算し、白ムラ成分と判断した場合には、対象画素よりも暗い輝度比較画素のメディアン値と対象画素の輝度値との差分を計算してムラ成分が強調された強調値を算出している。このため、例えば、輝度比較画素の全画素の平均値やメディアン値と対象画素の輝度値の差分で強調値を算出する場合には、輝度比較画素の一部にムラ成分が存在するとその影響を受けてしまうが、本実施形態では、輝度比較画素において対象画素よりも明るい部分あるいは暗い部分のみのメディアン値を用いているので、その影響を排除でき、ムラ成分を高精度に検出することができる。

（２）さらに、ムラ成分強調フィルタは、対象画素と輝度比較画素の距離に応じて適宜設定することで、そのフィルタによって検出可能なムラ欠陥の大きさを設定できるので、検出したいサイズのムラ欠陥を容易に検出できる。
その上、各ムラ欠陥のサイズに応じた複数のムラ成分強調フィルタを適用した場合も、それらの強調結果の合成結果のみを評価することで各サイズのムラ欠陥を容易に検出することができる。
さらに、本実施形態では、合成結果を、小さなムラ成分検出用と大きなムラ成分検出用の２種類設けているので、大きなムラ成分に小さなムラ成分が埋没することを防止でき、検出精度を向上することができる。

（３）白ムラ欠陥および黒ムラ欠陥は、共に同じムラ成分強調フィルタで強調でき、ムラ欠陥抽出処理手段６６で白ムラ欠陥用の閾値と、黒ムラ欠陥用の閾値とを使い分けるだけで、白ムラ欠陥および黒ムラ欠陥の両方を簡単に検出することができる。このため、各種のムラ欠陥を簡単な処理で効率的に検出することができる。

（４）ｂｌｏｂ処理手段６７および欠陥ランク分類処理手段６８により、抽出されたムラ欠陥のランクを分類できるので、欠陥の客観的なランク付けを短時間に行うことができ、検査者はムラ欠陥の度合いを容易に判断でき、良品かどうかの判定を短時間で容易にすることができる。

なお、本発明は、前記実施形態に限らない。
例えば、前記実施形態では、様々なムラ欠陥サイズに対応するために、対象画素および輝度比較画素間の距離が異なる複数種類のムラ成分強調フィルタを利用していたが、縮小画像作成手段６３において検査対象となる画像を複数段階に縮小し、縮小サイズが異なる各画像に対して所定のムラ成分強調フィルタをそれぞれ適用することで、様々なサイズのムラ成分を検出するようにしてもよい。

前記実施形態では、白ムラ欠陥用および黒ムラ欠陥用の各閾値を設定し、白ムラ欠陥および黒ムラ欠陥の両方を検出できるようにしていたが、一方の欠陥のみを検出してもよい。例えば、白ムラ欠陥のみを検出すればよい場合には、黒ムラ欠陥用閾値との比較処理を行わずに処理してもよい。
本発明は、ムラ成分強調処理手段６４によるムラ成分強調処理工程Ｓ５の前に、背景差分処理工程Ｓ２、表示エリア抽出工程Ｓ３の前処理を行っていたが、これらは撮影された画像の状態によっては実施しなくてもよい。同様に、縮小画像作成手段６３による縮小画像作成工程Ｓ４も、検出するムラのサイズによっては実施しなくてもよい。また、ノイズ除去手段６５によるノイズ除去処理工程Ｓ６も画像の状態が良ければ実施しなくてもよい。

また、前記実施形態では、ムラ欠陥検出工程として、ムラ欠陥抽出処理工程Ｓ７、ｂｌｏｂ処理工程Ｓ８、欠陥ランク分類工程Ｓ９を実施していたが、他の方法・手順でムラ欠陥を検出してもよい。要するに、ムラ欠陥検出工程は、ムラ成分強調処理工程Ｓ５で強調されたムラ成分に基づいてそれがムラ欠陥に該当するか否かを判断できるものであればよい。

前記実施形態では、複数のムラ成分強調フィルタを適用した場合には、各フィルタの結果を合成して判断していたが、各フィルタの結果毎にムラ欠陥があるか否かを個別に判断してもよい。但し、合成結果に基づいて判断したほうが、ムラ欠陥を効率的に検出することができる。

ムラ欠陥の検出対象としては、前記のようなＴＦＴ素子を用いた液晶ライトバルブに限られるものではなく、その他のダイオード素子を用いた液晶パネルやプラズマディスプレイ、有機ＥＬディスプレイ、ＤＭＤ（ダイレクト・ミラー・デバイス）などの表示体部品、ならびにそれらを使用した表示装置・製品の検査に利用することができるものであり、これらに使用した場合でも本発明の範囲から除外されるものでないことはいうまでもない。
さらに、本発明は、各種表示装置の検査に限らず、例えば、家電製品のケースや車のボディなどにムラ状の傷がある場合、これらを撮像してムラ状の欠陥がある画像が得られればそのムラを検出できるので、各種製品の表面塗装などのムラ検査に応用することもできる。
要するに、本発明は、周囲と輝度差があるムラであれば検出できるため、輝度ムラ欠陥や色ムラ欠陥の検出に利用できる。

本発明の実施の形態による画面のムラ欠陥検出装置のブロック構成図。 同ムラ欠陥検出装置の動作を説明するためのフローチャート。 同ムラ欠陥検出装置の背景画像差分処理を示す説明図。 同ムラ欠陥検出装置の表示エリア抽出処理を示す説明図。 ムラ成分強調フィルタの例を示す図。 ムラ成分強調処理工程を示す図。 擬似的なムラ欠陥を設けた画像を示す図。 距離３画素フィルタを適用した結果を示す図。 距離６画素フィルタを適用した結果を示す図。 距離１２画素フィルタを適用した結果を示す図。 距離１８画素フィルタを適用した結果を示す図。 距離３，６，１２画素フィルタの適用結果を合成した状態を示す図。 距離６，１２，１８画素フィルタの適用結果を合成した状態を示す図。 距離３，６，１２画素フィルタの出力合成結果にメディアンフィルタを適用した結果を示す図。 距離６，１２，１８画素フィルタの出力合成結果にメディアンフィルタを適用した結果を示す図。 合成結果を白ムラ欠陥閾値で切り出した白ムラ結果候補を示す図。 合成結果を黒ムラ欠陥閾値で切り出した黒ムラ結果候補を示す図。

符号の説明

１…液晶パネル、２…プロジェクタ、３…パターンジェネレータ、４…スクリーン、５…ＣＣＤカメラ、６…コンピュータ装置、７…表示装置、６０…画像入力手段、６１…背景画像差分処理手段、６２…表示エリア抽出手段、６３…縮小画像作成手段、６４…ムラ成分強調処理手段、６５…ノイズ除去手段、６６…ムラ欠陥抽出処理手段、６７…ｂｌｏｂ処理手段、６８…欠陥ランク分類処理手段。

Claims (8)

1. 撮像した画像の各画素に対してムラ成分強調フィルタをかけてムラ成分を強調するムラ成分強調処理工程と、
   前記ムラ成分強調処理工程で得られた各画素のムラ成分強調値に基づいてムラ欠陥を検出するムラ欠陥検出工程とを有し、
   前記ムラ成分強調処理工程は、
   撮像画像において選択された対象画素から所定距離離れてかつ対象画素の周囲に配置された各輝度比較画素の輝度値を対象画素の輝度値と比較し、
   対象画素よりも輝度値が大きい輝度比較画素の数をカウントし、
   カウントされた輝度比較画素の数が、輝度比較画素全体の数の半数より多い場合には、対象画素よりも輝度値が大きい各輝度比較画素の輝度値におけるメディアン値と対象画素の輝度値との差分を計算して対象画素のムラ成分強調値とし、
   カウントされた輝度比較画素の数が、輝度比較画素全体の数の半数以下であった場合には、対象画素よりも輝度値が小さい各輝度比較画素の輝度値におけるメディアン値と対象画素の輝度値との差分を計算して対象画素のムラ成分強調値とするムラ成分強調フィルタを用いてムラ成分を強調し、
   前記ムラ欠陥検出工程は、前記各画素のムラ成分強調値を所定の閾値と比較してムラ欠陥候補の画素を抽出してムラ欠陥を検出することを特徴とするムラ欠陥検出方法。
2. 請求項１に記載のムラ欠陥検出方法において、
   前記ムラ成分強調処理工程の後に、メディアンフィルタを掛けてノイズを除去した後、前記ムラ欠陥検出工程を実行することを特徴とするムラ欠陥検出方法。
3. 請求項１または請求項２に記載のムラ欠陥検出方法において、
   前記ムラ成分強調処理工程の前に、
   検査対象を撮像する撮像工程と、
   撮像した画像から予め作成しておいた背景画像との差をとる背景画像差分処理工程と、
   画像から表示エリアの抽出を行う表示エリア抽出工程と、
   抽出された画像に対して縮小画像を作成する縮小画像作成工程とを実行し、
   前記ムラ成分強調処理工程は、前記縮小画像作成工程で作成された縮小画像に対してムラ成分強調フィルタをかけることを特徴とするムラ欠陥検出方法。
4. 請求項１から請求項３のいずれかに記載のムラ欠陥検出方法において、
   前記ムラ欠陥検出工程は、
   前記ムラ成分強調処理工程で得られる各画素のムラ成分強調値を所定の閾値と比較してムラ欠陥候補の画素を抽出するムラ欠陥抽出処理工程と、
   前記ムラ欠陥候補の特性値を求めるｂｌｏｂ処理を行うｂｌｏｂ処理工程と、
   前記ｂｌｏｂ処理工程により求められたムラ欠陥候補の特性値に基づいてムラ欠陥のランクを分類する欠陥ランク分類工程と、を備えることを特徴とするムラ欠陥検出方法。
5. 請求項１から請求項４のいずれかに記載のムラ欠陥検出方法において、
   前記ムラ成分強調処理工程は、前記対象画素から輝度比較画素までの距離が異なる複数種類のムラ成分強調フィルタを各画素に対して適用し、各フィルタによって得られるムラ成分強調値のうち、その絶対値が最大のものをその対象画素のムラ成分強調値とすることを特徴とするムラ欠陥検出方法。
6. 請求項１から請求項４のいずれかに記載のムラ欠陥検出方法において、
   前記ムラ成分強調処理工程前に、撮像画像の複数段階の縮小画像を作成する縮小画像作成工程を実施し、
   前記ムラ成分強調処理工程は、縮小画像作成工程で作成された各縮小画像に対して前記ムラ成分強調フィルタを適用し、各フィルタによって得られる各縮小画像における各画素のムラ成分強調値のうち、その絶対値が最大のものをその画素のムラ成分強調値とすることを特徴とするムラ欠陥検出方法。
7. 撮像した画像の各画素に対してムラ成分強調フィルタをかけてムラ成分を強調するムラ
   成分強調処理手段と、
   前記ムラ成分強調処理手段で得られた各画素のムラ成分強調値に基づいてムラ欠陥を検出するムラ欠陥検出手段とを有し、
   前記ムラ成分強調処理手段は、
   撮像画像において選択された対象画素から所定距離離れてかつ対象画素の周囲に配置された各輝度比較画素の輝度値を対象画素の輝度値と比較し、対象画素よりも輝度値が大きい輝度比較画素をカウントし、カウントされた輝度比較画素の数が、輝度比較画素全体の数の半数より多い場合には、対象画素よりも輝度値が大きい各輝度比較画素の輝度値におけるメディアン値と対象画素の輝度値との差分を計算して対象画素のムラ成分強調値とし、カウントされた輝度比較画素の数が、輝度比較画素全体の数の半数以下であった場合には、対象画素よりも輝度値が小さい各輝度比較画素の輝度値におけるメディアン値と対象画素の輝度値との差分を計算して対象画素のムラ成分強調値とするムラ成分強調フィルタを用いてムラ成分を強調し、
   前記ムラ欠陥検出手段は、前記各画素のムラ成分強調値を所定の閾値と比較してムラ欠陥候補の画素を抽出してムラ欠陥を検出することを特徴とするムラ欠陥検出装置。
8. 請求項７に記載のムラ欠陥検出装置において、
   検査対象を撮像する撮像手段と、
   撮像した画像から予め作成しておいた背景画像との差をとる背景画像差分処理手段と、
   画像から表示エリアの抽出を行う表示エリア抽出手段と、
   縮小画像を作成する縮小画像作成手段とを備え、
   前記ムラ成分強調処理手段は、前記縮小画像作成手段で作成された縮小画像に対してムラ成分強調フィルタをかけることを特徴とするムラ欠陥検出装置。

Images