JP7214432B2 - 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法 - Google Patents

画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法 Download PDF

Info

Publication number
JP7214432B2
JP7214432B2 JP2018198743A JP2018198743A JP7214432B2 JP 7214432 B2 JP7214432 B2 JP 7214432B2 JP 2018198743 A JP2018198743 A JP 2018198743A JP 2018198743 A JP2018198743 A JP 2018198743A JP 7214432 B2 JP7214432 B2 JP 7214432B2
Authority
JP
Japan
Prior art keywords
image
image processing
images
value
pixel address
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018198743A
Other languages
English (en)
Other versions
JP2020067308A (ja
JP2020067308A5 (ja
Inventor
慶 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2018198743A priority Critical patent/JP7214432B2/ja
Priority to US16/657,099 priority patent/US11210778B2/en
Publication of JP2020067308A publication Critical patent/JP2020067308A/ja
Priority to US17/522,356 priority patent/US20220067907A1/en
Publication of JP2020067308A5 publication Critical patent/JP2020067308A5/ja
Application granted granted Critical
Publication of JP7214432B2 publication Critical patent/JP7214432B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/001Industrial image inspection using an image reference approach
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/50Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G06V10/507Summing image-intensity values; Histogram projection analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10048Infrared image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30164Workpiece; Machine component

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Description

本発明は、画像処理を介して対象物を検査する画像処理方法および画像処理装置に関する。
生産ラインにおける検査の自動化のために、画像処理を介して検査・計測を行う画像処理装置が広く利用されている。この種の画像処理装置による検査・測定内容は多岐に渡る。
この種の画像処理装置では、画像センサ(カメラ)で検査・測定対象物を撮影し、得られた画像から検査領域の画像データを抽出し、その検査領域内の画像の特徴量を解析・評価することで目的の検査・測定を行う。
この種の画像処理装置では、検査/測定処理を行う前に検査領域の設定など準備作業を行う必要がある。一般的には、ユーザは検査領域を設定するためのツールを使用して、検査/計測目的に応じた検査領域を設定している。
一方、昨今では、多品種少量生産で設定などの効率向上のため、設定時間を短縮したい、という需要がある。また、製品の形状の複雑化や、検査・測定内容が高度化・高精度化が進んでおり、誤検知を防ぐため、検査・測定の対象とすべき部分のみ正確に検査領域を設定したい、という需要がある。
検査対象物は、形状に個体差があり、また、撮影においては、毎回異なるスケール・位置・姿勢で撮影される場合もある。例えば、製品に対する塗布材の塗布状態の撮影検査では、毎回違った形状の塗布状態を検査しなければならない場合があり、高精度な検査を行おうとすると、毎回検査領域を設定し直す必要が生じる可能性もある。
また、検査対象物に対して検査領域を十分狭く設定すれば、検査対象物の個体差や変動の影響を受けづらくなり同じ検査領域を用いて自動検査を行うことも可能になるが、この方法では検査領域から外れる部分が出るため、検査漏れを生じる恐れがある。逆に、検査領域を十分広く設定するという対策も考えられるが、検査対象物と関係のない部分が検査領域に含まれてしまい、それがノイズとなり検査精度の低下を招く可能性がある。
従来では、検査領域を自動で決定する手法として、二値化や色域抽出を利用した検査領域抽出手法が知られている。この手法では、画像の中からあらかじめ設定された輝度範囲もしくは色域に該当するピクセル群を抽出し、そのピクセル群が検査領域として抽出、ないし選択される。
この従来手法は、検査領域として抽出したい部分(前景)とそれ以外の部分(背景)の輝度または色のコントラストが高い場合には比較的、有効である。ところが、プリント基板のような検査対象の前景部分が様々な輝度もしくは色で構成されていたり、背景の中に前景部分に近い色が存在していたりすると、二値化や色域抽出では前景部分のみを正確に抽出することは困難である。
上記の問題に鑑み、複数の画像を用いて、検査領域の拡大、縮小や膨張、収縮を伴う処理により、最適な検査領域を得る手法が考えられている(例えば下記の特許文献1)。この手法では、複数の画像を用いて初期検査領域を設定した後、検査・計測処理を行い、その結果が所定の能力以上になるまで、初期検査領域を各方向に拡大、縮小、あるいは膨張、収縮させる処理を行う。
また、検査画像の検査対象物に適した検査領域を得られるよう、エッジ抽出を利用して検査領域を作成する手法も知られている(例えば下記の特許文献2)。この手法では、基準となる画像から、検査対象物のエッジとエッジを取得するための領域を事前に作成しておく。そして、検査画像が入力されると、それらの情報を用いて、検査画像から検査対象物のエッジを抽出し、そのエッジに基づき、検査領域を作成する。
特開2006-194607号公報 特開2013-191064号公報
上記の特許文献1の検査領域作成方法では、検査領域を決める際、1つの検査領域で毎回すべての画像を処理する必要があり、計算量が多くなり、処理能力の低いシステムでは処理に時間がかかる問題がある。また、拡大縮小・膨張収縮の量を小さくすれば、より検査対象物に適した検査領域を得られるが、その量に反比例して計算量が多くなり処理に時間がかかる問題がある。
また、特許文献2の検査領域作成方法では、毎回同じような検査対象物を検査するのであれば、比較的良好に基準となる画像から抽出したエッジで検査対象物のエッジを抽出することができる。しかしながら、塗布材の塗布状態の検査などの場合のように、塗布形状が一様でなく、毎回、形状の異なる塗布領域が撮影されるような検査では、エッジを抽出に失敗する可能性がある。このように毎回、形状の異なる画像が撮影される検査では、例えば毎回、エッジ抽出を行い、検査領域を作成する処理が必要になる可能性があり、そのために画像処理時間が増大する可能性がある。
本発明の課題は、検査ごとに位置などが異なって撮影されるような対象物を検査する場合でも、誤検出の生じにくい、適切な検査領域を迅速に、かつ自動的に設定できるようにすることにある。
発明の一態様は各々が第1の結果が得られた対象物を撮影した複数の画像からなる第1画像群と、各々が第2の結果が得られた対象物を撮影した複数の画像からなる第2画像群と、を用意する用意ステップと、前記第1画像群の前記複数の画像の各々の各画素における特徴量前記第2画像群の前記複数の画像の各々の各画素における特徴量と、を用いて、画面を構成する画素アドレスの各々について、重度値を取得する取得ステップと、前記画面のうち、取得された前記重要度値が特定の条件を満たす前記画素アドレスを含む部分を、画像処理の対象となる領域として生成する生成ステップと、対象物を撮影した画データのうち、前記領域に対応する部分に対して画像処理を実行する実行ステップと、を有する画像処理方法であって、前記取得ステップでは、前記第1画像群の前記複数の画像の各々の第1画素アドレスにおける前記特徴量の分布である第1分布の態様と、前記第2画像群の前記複数の画像の各々の第1画素アドレスにおける前記特徴量の分布である第2分布の態様と、の差異に対応した値を、前記第1画素アドレスの前記重要度値として取得し、前記第1画像群の前記複数の画像の各々の第2画素アドレスにおける前記特徴量の分布である第3分布の態様と、前記第2画像群の前記複数の画像の各々の第2画素アドレスにおける前記特徴量の分布である第4分布の態様と、の差異に対応した値を、前記第2画素アドレスの前記重要度値として取得し、前記第1分布の前記態様と前記第2分布の前記態様との差異が前記第3分布の前記態様と前記第4分布の前記態様との差異よりも大きい場合に、前記第1画素アドレスが、前記画像処理の対象となる領域に含まれる、ことを特徴する画像処理方法である
上記構成によれば、前記第1の検査結果と前記第2の検査結果、例えば検査の合格/不合格を良好に識別可能な画素を含む検査領域を生成することができる。そのため、検査ごとに位置などが異なって撮影されるような対象物を検査する場合でも、誤検出の生じにくい、適切な検査領域を迅速に、かつ自動的に設定することができる。
本発明の実施形態1に係る検査装置の制御系の機能構成を示したブロック図である。 本発明の実施形態1に係る検査処理の流れを示すフローチャート図である。 (a)~(e)は本発明の実施形態1に係る対象物と検査内容を示した説明図である。 本発明の実施形態1に係る検査領域設定のフローチャート図である。 (a)~(f)は本発明の実施形態1において画像データから検査領域を決定する手法を示した説明図である。 (a)~(c)は本発明の実施形態1に係る検査領域の設定画面の一例を示す説明図である。 本発明の実施形態2に係る検査領域設定のフローチャート図である。 (a)、(b)は画像データからエッジを抽出する手法を示した説明図である。 図1の制御系を実施する制御装置の構成を示したブロック図である。
以下、添付図面を参照して本発明を実施するための形態につき説明する。なお、以下に示す構成はあくまでも一例であり、例えば細部の構成については本発明の趣旨を逸脱しない範囲において当業者が適宜変更することができる。また、本実施形態で取り上げる数値は、参考数値であって、本発明を限定するものではない。
以下の実施形態は、画像による外観検査、部品の装着の有無、塗布材の塗布状態、その有無や塗布範囲の検査などを行う画像検査システムと、画像検査を行う検査領域を自動的ないし少なくとも半自動的に作成検査領域設定方法に関する。この画像検査装置は、FA生産ラインなどにおいて検査対象となる物品や部品、部材、その種類や材質を問わず、多数の物品を自動もしくは半自動で連続的に検査する用途などに好適に利用可能である。特に下記の実施形態では、事前に撮影された複数の画像を用いて適切な検査領域を設定することができる。そのため、例えば画像中の対象物の位置や形状が毎回の撮影で変動するようなケースに特に好ましく適用することができる。外観検査や有無検査の目的や検査項目には様々なものが存在するが、本実施形態で検査領域設定方法はいずれの検査に対しても好適に適用することができる。
<実施の形態1>
(処理装置)
図1は実施の形態1における画像処理装置(以下、簡略化のため処理装置という場合がある)の機能構成を示している。図1の処理装置100は、装置本体101、画像センサ102、表示装置108、記憶装置109、入力装置110などのハードウェアから構成される。
画像センサ102は、例えば生産ラインで取り扱われるワークなどの対象物103を撮影し、カラーまたはモノクロの静止画あるいは動画像を処理装置100に取り込むためのデバイスである。画像センサ102には、例えば、ほぼ可視光領域に感度を有するデジタルカメラなどを用いることができる。ただし、可視光像以外の特殊な画像(X線画像、サーモ画像、距離画像)を検査に用いる場合には、画像センサ102には、検査用途に適合する適当なセンサを用いて構わない。処理装置100が、画像検査を行う画像処理装置として物品の製造ラインなどに配置される場合は、画像センサ102は、製造ライン中の特定の撮影位置に配置される。
表示装置108は、画像センサ102で取り込まれた画像、検査結果、検査処理や設定処理に係るGUI画面を表示するための表示デバイスである。表示装置108には、例えば、液晶ディスプレイ、あるいはその他の表示方式の表示デバイスを用いることができる。記憶装置109は、処理装置100が検査処理において参照する各種の設定情報(検査領域情報、検査プログラムなど)や検査結果などを格納するデバイスである。記憶装置109には、例えばHDD、SDD、フラッシュメモリ、ネットワークストレージなどを利用可能である。入力装置110は、ユーザが装置本体101に対し指示を入力するために操作するデバイスである。入力装置110には、例えば、マウス、キーボード、タッチパネル、専用コンソールなどを利用可能である。
装置本体101は、ハードウェアとして、後述の図9に一例を示すように、CPU(中央演算処理装置)、主記憶装置(RAM)、補助記憶装置(ROM、HDD、SSDなど)を備えたコンピュータ装置により構成することができる。また、装置本体101の機能には、重要度算出部104、検査領域決定部105(検査領域生成部)、検査処理部106(画像検査部)、設定ツール107が含まれる。
上記のうち、重要度算出部104、検査領域決定部105は、検査処理部106が実行する画像検査に係る検査領域を決定するための機能である。設定ツール107は検査処理に必要な設定情報のユーザによる設定作業を支援する機能である。設定ツール107の実装態様、特に表示装置108の表示画面の一例は後述の図6で説明する。
上記の各機能は、例えば装置本体101を構成するCPUのソフトウェア、あるいはさらに処理装置100を構成する何らかのハードウェアによって実現される。例えば、これらの機能は、補助記憶装置または記憶装置109に格納されたコンピュータプログラムが主記憶装置にロードされ、CPUによって実行されることで実現される。
なお、図1は装置構成の一例を示すものにすぎず、画像センサ102、表示装置108、記憶装置109、入力装置110の全部または一部は、装置本体101に一体化されていてよい。なお装置本体101はパーソナルコンピュータ(PC)やスレート型端末のようなコンピュータで構成してもよいし、あるいは、専用チップやオンボードコンピュータなどで構成することができる。
ここで、図9に図1の制御系のより具体的な構成の一例を示す。図9の制御系は、主制御手段としてのCPU1601、記憶装置としてのROM1602、およびRAM1603を備えたPCハードウェアなどによって構成することができる。ROM1602には、後述する製造手順を実現するためのCPU1601の画像処理プログラムや定数情報などを格納しておくことができる。また、RAM1603は、その制御手順を実行する時にCPU1601のワークエリアなどとして使用される。また、図9の制御系には、外部記憶装置1606が接続されている。外部記憶装置1606は、HDDやSSD、ネットワークマウントされた他のシステムの外部記憶装置などから構成される。
本実施形態の制御手順(例えば図8)を実現するためのCPU1601の画像処理プログラムは、HDDやSSDなどから成る外部記憶装置1606や、ROM1602の(例えばEEPROM領域)のような記憶部に格納しておくことができる。その場合、後述の制御手順を実現するためのCPU1601の画像処理プログラムは、ネットワークインターフェース1607を介して、上記の各記憶部に供給し、また新しい(別の)プログラムに更新することができる。あるいは、後述の制御手順を実現するためのCPU1601の画像処理プログラムは、各種の磁気ディスクや光ディスク、フラッシュメモリなどの記憶手段と、そのためのドライブ装置を経由して、上記の各記憶部に供給し、またその内容を更新することができる。上述の制御手順を実現するためのCPU1601の画像処理プログラムを格納した状態における各種の記憶手段、記憶部、ないし記憶デバイスは、本発明の制御手順を格納したコンピュータ読み取り可能な記録媒体を構成することになる。
CPU1601には、図1の画像センサ102(カメラ)が接続される。図9では、簡略化のため、画像センサ102はCPU1601に直接接続されているように図示されているが、周知のカメラインターフェースなどを介して接続されていてもよい。また、画像センサ102は、ネットワークインターフェース1607、ネットワーク1608を介して接続される構成であってもよい。
ネットワークインターフェース1607は、例えばIEEE 802.3のような有線通信、IEEE 802.11、802.15のような無線通信による通信規格を用いて構成することができる。CPU1601は、ネットワークインターフェース1607を介して、他の装置1104、1121と通信することができる。装置1104、1121は、例えば生産ラインに生産制御、管理のために配置されたPLCやシーケンサのような統轄制御装置や、管理サーバなどに相当する。
図9の制御装置では、UI装置(ユーザインターフェース装置)として、操作部1604、および表示装置1605が接続されている。操作部1604は、ハンディターミナルのような端末、あるいはキーボード、ジョグダイアル、ポインティングデバイスなどのデバイス(あるいはそれらを備えたから成る制御端末)によって構成することができる。表示装置1605には、例えば液晶方式の他、後述するデータ表示、あるいはそれに類似の表示画面を表示出力できるものであれば任意の方式のディスプレイ装置を用いることができる。
(検査処理)
まず、図2および図3を参照して、処理装置100が行う検査処理について説明する。図2は画像処理基づいて対象物を検査する検査処理の流れを、図3は対象物を検査する様子を示している。なお、以下では、ワークに塗布された塗布材の有無(あるいはその塗布領域の形状)の検査を例に検査処理の流れを説明する。
図2のステップS20では、画像センサ102によってワーク301を撮影し、撮影した画像データを装置本体101に取り込む。なお、事前に撮影された画像が装置本体101の補助記憶装置や記憶装置109の中に存在する場合には、補助記憶装置または記憶装置109から検査の対象とするデータを読み込んでもよい。
以上のようにして取り込まれた対象物の画像データは必要に応じて表示装置108に表示する。図3(a)は、例えば表示装置108に表示されている塗布無の元画像の一例を示している。この元画像には対象物となるワーク301が撮影されている。この例では、対象物は例えば回路基板であるものとし、元画像にはワーク301には印字302、配線303、電子チップ304などが配置されている様子が撮影されている。図3(b)は、塗布材が塗布済となった回路基板を撮影した元画像の一例を示しており、ワーク301の上に塗布材305が塗布されている。
ステップS21では、検査処理部106が、記憶装置109から必要な設定情報を読み込む。設定情報には少なくとも、検査領域306と検査ロジックとが含まれている。
検査領域306とは元画像のうち所定の画像処理を介して検査処理を行う画像の部分領域である。図3(c)の例では、検査領域306は、塗布材305の塗布領域をほぼカバーするが、電子チップ304の部位を避けた形状に生成されている。このような検査領域306は、例えば、ユーザがワーク301の撮影画像を表示させた画面上の領域指定するような手動設定によって設定することができる。しかしながら、本実施形態では、検査領域306の大きさ、位置、形状などは後述する処理によって決定することができる。また、検査ロジックとは検査処理の内容を定義する情報であり、例えば、検査に用いる特徴量の種類、判定方法、特徴量抽出や判定処理で用いるパラメータや閾値などである。
ステップS22では、検査処理部106が、ステップ21で読み込んだ検査領域306の定義を用いて元画像からその検査領域に該当する部分を抽出し、検査領域画像を作成する。
この種の画像を用いた検査では、検査領域306は、検査の対象とすべきピクセルのみを過不足なく取り出せるような大きさ、位置、形状で設定されているのが望ましい。検査領域306の中に余計なピクセルが混入しているとそれがノイズとなり検査制度を低下させる恐れがあり、逆に検査領域306が検査の対象とすべき範囲よりも小さければ、検査の漏れを生じる恐れがある。
とはいえ、撮影データの画像において、対象物の位置、形状は常に同じであるとは限らない。例えば、図3(d)、(e)は別のワークにおける対象物の例を示している。この例ではワークに配置された、印字307や電子チップ309の位置ずれおよび傾きが生じており、また、塗布材308の量や形状が異なっている。そのため、例えば、図3(e)に示すように、実際の塗布材の塗布領域310が、図3(d)の検査領域306と同形状の検査領域に対してずれを生じている。このような変動、例えば撮影された画像ごとに変動が生じる可能性がある場合は、検査領域のみの画像処理では充分な検査を行えない可能性がある。そこで、本実施形態では、事前に撮影された複数の塗布有画像と塗布無画像を用い、後述のようにして適切な検査領域を設定する。
ステップS23では、検査処理部106が、ステップ22で検査領域306から切り出された画像を用いて検査処理部106が検査ロジックに従い、検査領域画像から必要な特徴量を抽出する。例えば、塗布材305の有無を検査するための特徴量として、塗布材305部分の面積や色特徴量が抽出される。
続いてステップS24では、検査処理部106が、検査ロジックに従って検査処理を行う。例えばステップS23で得られた塗布材305の面積や色特徴量が異常である場合には塗布無と判断する。
ステップS25では、検査処理部106が、検査結果を表示装置108に表示したり、記憶装置109に記録したりする出力処理を行う。以上のようにして、ワーク301に対する検査処理が完了する。
上記のように構成された画像処理装置は、物品の製造システムにおいて、ワークの検査、例えばワークに対する他の部材の装着の有無を検査する、ワークに対する塗布材の塗布状態を検査する、などの検査処理を実行する検査装置として利用できる。製造システム(ライン)には、画像処理装置による検査結果を用いて、ワークの加工、組立、搬送などの生産処理を行う生産機器が配置され、生産処理における特定の工程終了後のワークを画像処理装置で検査する。
このような生産システム(ライン)においては、次々と搬送されてくる対象物としてのワークに対して、本実施形態の画像処理装置に上記の検査処理を繰り返し実行させることができる。この検査結果は、生産処理制御に利用することができる。例えば、生産機器に入力して、検査結果に基づき再加工、修正加工などを行わせるために利用できる。また、生産機器が良品/不良品の搬送先を切り換える搬送機器であれば、上記の画像処理装置の検査結果を利用して良品/不良品の搬送先の切り換えを行わせることができる。
(検査領域の設定)
図4、図5を参照して、処理装置100の検査領域の設定に係る動作を説明する。図4は処理装置における検査領域設定の流れを示している。また、図5は画像データから検査領域を生成する手法を説明するものである。
図4のステップS40では、検査領域決定部105が検査領域を決定するための複数の画像から成る画像群を記憶装置109から入力する。また、画像センサ102によってワーク301が撮影された画像データを用いてもよい。
ここで、例えば回路基板などのワークを検査の対象物とし、この対象物に対する塗布材の塗布状態を画像処理によって検査するものとする。この画像検査では、例えば塗布材が所定の塗布領域に塗布されている場合(塗布有)に第1の検査結果としてOK(良品)判定、即ち検査合格の判定を行う。また、所定の塗布状態が得られていない場合(塗布無)には第2の検査結果としてNG(不良品)判定、即ち検査不合格の判定を行うものとする。なお、以下では、OK(良品)判定の対象物を撮影した第1の画像はOK画像、NG(不良品)判定の対象物を撮影した第2の画像はNG画像という場合がある。
本実施形態において、ステップS40で記憶装置109から読み込む画像群は、塗布有の対象物(良品ワーク)を撮影したOK画像、塗布無の対象物(不良品ワーク)を撮影したNG画像を複数含むものとする。このうち、OK画像およびNG画像のいずれかの画像は少なくとも1枚のみでも良いが、好ましくはOK画像およびNG画像のいずれも複数入力するのが良い。
図5(a)の501は、塗布有の対象物(良品ワーク)を撮影したOK画像の一例を示している。なお、OK画像およびNG画像は、予め塗布有の対象物(良品ワーク)、および塗布無の対象物(不良品ワーク)を撮影したものであればよい。これらの画像の対象物に対する検査は、例えば目視などにより行う。あるいは、塗布有/塗布無の対象物を撮影した画像を入力する際、表示装置108(1605)に1枚ずつ画像を表示し、ユーザが入力装置110によってOK/NGを判断する方式を採用してもよい。OK画像およびNG画像は、OK/NGの検査結果を示すフラグなどと関連付けされ、後の処理でCPU1601が識別できるような形式で、記憶装置109、例えばRAM1603上に展開する。
ステップS41では、検査領域決定部105が初期の検査領域502(図5(b))の設定を読み込む。この初期の検査領域502は、ユーザが検査対象部分を大まかに指定したものでもよいし、画像全体を初期検査領域としてもよい。図5の(c)の503は、初期の検査領域502の一部を拡大したものであり、各ブロックが画像の1画素に対応している。
ステップS42では、検査領域決定部105が、画像の初期検査領域502の各画素アドレスから検査領域の生成に用いる特徴量として輝度値を取得し、記憶装置109、例えばRAM1603上に展開する。この処理は、複数、入力したOK(塗布有)画像およびNG(塗布無)画像の全てについて繰り返し行う。
上記の輝度値の取得処理を入力したOK画像およびNG画像の全てに対して実行すると(S43のYes)、ステップS44に移行し、重要度算出部104がOK画像とNG画像の輝度値に基づき各画素アドレスの重要度を算出する。この識別力値取得ステップは、重要度算出部104(識別力値取得部)の機能に相当する。
本実施形態において、特定の「画素アドレス」とは、OK(塗布有)画像およびNG(塗布無)画像の画面中の同じ特定画角の位置に相当する。図5(c)、ないし後述の図5(e)、(f)中の1ブロックがこの「画素アドレス」に対応する。
図5(d)は、複数のOK画像501およびNG画像5011のある特定の画素の輝度値を取得し、図5(d)の下部に示すヒストグラムとして取得する様子を示している。図5(d)の下部左右に示す2つのヒストグラムは、それぞれ複数のNG(塗布無)画像の特定画素の輝度の分布506と、複数のOK(塗布有)画像の同じ特定画素の輝度の分布507に相当する。この画素は、例えば所期の塗布材の塗布領域の内部に含まれており、この画素アドレスでは、塗布が無い場合と、ある場合では異なる輝度の被写体が撮影される。また、この例では塗布材は、基板面などの塗布無の面よりも低輝度の反射光を返す材質であり、特定画素の2つの輝度ヒストグラムの中央値の輝度値は大きく離れた位置にある。また、塗布材のムラなどに起因して、OK(塗布有)画像に撮影されている特定画素の輝度値は、どれもほぼ同じような基板面などが撮影されているNG(塗布無)画像の場合よりバラつきが大きくなっている。逆に、塗布領域と関係のない基板面が撮影されるような特定の画素アドレスでは、輝度ヒストグラムの分布は、OK(塗布有)画像でもNG(塗布無)画像でも同じような中央値を持ち、その分散も似たような値になっている。
本実施形態では、以上のような性質を利用し、OK(塗布有)画像群およびNG(塗布無)画像群で、各画素ごとの特徴量分布、例えば輝度の分布の態様に大きな差異がある画素に高い重要度値(識別力値)を付与する。
図5(e)の505は、輝度値データに基づき算出した各画素アドレスの重要度値(識別力値)を示している。このように検査領域全体の各画素アドレスについて算出した重要度(図5(e))はRAM上に保持しておく。
上記のように、この各画素アドレス毎に算出された重要度値は、その画素がOK(塗布有)画像とNG(塗布無)画像とを識別する識別力(値)に相当する。本実施形態では、OK(塗布有)画像とNG(塗布無)画像とを、より良く識別できる画素アドレスには、より高い重要度値(識別力値)が与えられる。
この重要度Imの求め方は種々考えられるが、例えば下式(1)のように、塗布有画像の平均輝度Lemと塗布無画像の平均輝度Lnm(輝度の平均値)との輝度差を重要度とする方式が考えられる。
Im = Lem-Lnm (1)
また、下式(2)のように、塗布有画像の平均輝度Lemと塗布無画像の平均輝度Lnmとの輝度差をそれぞれの分散値σem、σnmの和で除した値を重要度とする方式が考えられる。
Im = |Lem-Lnm|/(σem+σnm) (2)
また、下式(3)のように、塗布有画像と塗布無画像の輝度差の最小値min(Lei-Lnj)で最大値max(Lei-Lnj)を除した値を重要度とする方式が考えられる。
Im = max(Lei-Lnj)/ min(Lei-Lnj) (3)
また、OK画像とNG画像をクラス分けする判別分析法、例えば大津の判別分析法による判別分析処理を実行し、その際、下式(4)のようにクラス間分散でクラス内分散を除した値(評価基準)の最大値を重要度とする方式が考えられる。
Figure 0007214432000001
なお、以上の式(1)~(4)に示した重要度算出では、特徴量として輝度を用いる場合を例示したが、他の特徴量、例えば画素の色相値などを用いる場合でも同様にして重要度算出を行うことができる。また、以上に示した重要度算出方式はあくまでも一例であり、第1と第2の検査結果をよりよく識別できる識別力の指標として、塗布無画像群と塗布有画像群の輝度値の分布を用いて重要度を算出するものであれば、任意の演算方式を用いてよい。
ステップS45では、図5(f)に示すように、検査領域決定部105(検査領域生成部)が、ある一定値以上の重要度の画素を検査領域508として生成する。図5(f)では図5(e)で算出された重要度のうち、重要度が40以上である画素を含む範囲を検査領域508として生成した様子を示している。ステップS46では、検査領域決定部105は決定された検査領域508を記憶装置109に記憶させる。
以上説明したように、検査領域決定部105が実行する処理工程では、複数のOK(塗布有)画像群およびNG(塗布無)画像群を用いて、初期検査領域内の輝度値を取得する。続いて、上記の式(1)~(4)に示したような演算方式によって、各画素アドレスに関して、輝度値の分布状態に応じた重要度値(識別力値)を算出する。そして、特定の条件を満たす重要度値(識別力値)を持つ画素アドレスを含む領域を検査領域として決定する。例えば、ある一定値以上の重要度値(識別力値)を有する画素アドレスを含む領域を検査領域として決定する。
ここで、図6(a)~(c)を参照して、上述のような検査領域生成を行う場合にユーザを支援するための設定ツール107を構成するユーザインターフェースの一例を示す。図6(a)~(c)は、入力装置110(操作部1604)のマウスなどのポインティングデバイスやキーボードにより操作可能な表示装置108(1605)の表示画面の構成例を示す。
設定ツール107を起動すると、表示装置108に、図6(a)の設定画面を表示する。この設定画面には、画像ウインドウ600、画像登録ボタン601、初期領域読込ボタン602が配置されている。また、この設定画面には、重要度関連のユーザインターフェースとして、重要度算出方法選択ボックス603、重要度閾値設定ボックス604、重要度閾値設定スライドバー605が配置されている。さらに、処理の進行に係るユーザインターフェースとして、この設定画面には、処理開始ボタン606、領域決定ボタン607、画像切り替えボタン608、領域表示チェックボックス609が配置されている。なお、マッチングボタン610は、後述の実施形態2で説明するパターンマッチングを用いた画像中の対象物の位置位相の特定および補正処理を有効化するために用いられる。
これらボタンの選択や、テキスト(数値)入力装置ボックスへの入力、スライドバーの操作などは、入力装置110のマウスなどのポインティングデバイスやキーボードを介してユーザに行わせることができる。なお、図6(a)~(c)の設定画面はあくまでも一例にすぎず、以下に述べるパラメータ入力や検査領域の確認などを行うことができるものであれば、どのようなUIを用いてもよい。
画像登録ボタン601が押されると、設定ツール107は記憶装置109から、OK(塗布有)画像およびNG(塗布無)画像の複数の画像から成る画像群を入力する。ここで入力した画像群のうちの一枚は、図6(a)に示すように、設定画面の画像ウインドウ600に表示させる。
また、ユーザは画像切り替えボタン608を押すことによって、入力した画像群から画像ウインドウ600に表示する画像を切り替えることができる。また、初期領域読込ボタン602が押されると、設定ツール107は記憶装置109から、画像に対して設定済みの初期検査領域502のデータを読み込む。初期検査領域502のデータの形式はどのようなものでもよく、前述のように画像(画角)全体を初期検査領域502として用いてもよい。
初期検査領域502は、例えば図6(a)に示すように、設定画面の画像ウインドウ600の画像の上に重畳表示する。また、領域表示チェックボックス609を操作することにより、初期検査領域502の重畳表示のON/OFFを切り換える。
重要度算出方法選択ボックス603から、重要度算出方法を選択する。重要度算出方法選択ボックス603はプルダウン(プルアップ)メニューや、テキスト入力ボックスの形態で実装することができる。ユーザは、重要度算出方法選択ボックス603によって、例えば、上述の式(1)~(4)などで説明した異なる重要度値の演算方式を選択する。
処理開始ボタン606が押されると登録された画像群の初期検査領域502内の画素の重要度算出処理を開始する。なお、初期検査領域502を決定せずに処理開始ボタン606を押す操作を許容してもよく、その場合には画像全体を初期検査領域として自動設定し、その画像全体の各画素について重要度値算出処理を行う。初期検査領域502を選択できるようにユーザインターフェースを構成しておけば、ユーザが明らかに検査しなくても良いと判断できる画角中の領域については重要度算出処理から除外することができ、重要度算出処理を高速化できる可能性がある。
重要度算出処理が完了すると、図6(b)に示すように、重要度閾値設定ボックス604で指定した値以上の重要度値(識別力値)を有する画素群を設定画面の画像ウインドウ600の画像の上に検査領域620として重畳表示させる。この時、ユーザが重要度閾値設定ボックス604の値を書き換える、あるいは、重要度閾値設定スライドバー605を左右に操作することにより、重要度閾値を変更できるよう構成する。また、重要度算出方法選択ボックス603は、上記のようにユーザが重要度算出方法を変更できるよう構成されている。このようなGUIにより、重要度算出方法や重要度閾値を変更すると、図6(c)に示すように、画像ウインドウ600に表示されている検査領域620の形状、位置、大きさが更新される。
以上のようなユーザインターフェースにより、生成した検査領域620の形状、位置、大きさが表示画面上で自動的に更新される。このような設定ツール107の表示によって、ユーザは検査領域620の形状、位置、大きさなどを一目で確認することができる。
なお、ユーザが検査領域620に含めたい領域が重要度算出方法や重要度閾値を変更しても検査領域620に入らない場合に検査領域620を変形させたり、検査領域620を追加したりできるユーザインターフェースをさらに設けてもよい。このような検査領域編集ユーザインターフェースはマウスなどのポインティングデバイスの操作を介して検査領域620の変形や追加を行うGUIによって実装できる。
以上のようにして、画像ウインドウ600上で所望の検査領域620が得られたら、ユーザは領域決定ボタン607によってその検査領域620を確定する。この操作が行われると、画像ウインドウ600画像の上に現在、重畳表示されている検査領域620に該当する検査領域定義情報を生成する。この検査領域定義情報のデータ形式は任意であり、生成された検査領域定義情報は、記憶装置109(外部記憶装置1606など)に格納する。
以上のように、本実施形態によれば、予め用意したある程度の数のOK画像とNG画像を用いて、画像センサ102で撮影される画像の各画素の検査に対する重要度を算出することができる。この重要度値は、各画素の位置(アドレス)における第1および第2の検査結果にそれぞれ対応するOK画像とNG画像の識別力値に相当する。そして、重要度が特定の条件を満たす、例えば所定の閾値以上の重要度値(識別力値)を有する画素を含む検査領域を自動的に生成することができる。従って、検査毎に形状が異なる対象物を検査する場合でも、充分な数の画像を用意するだけで、背景が対象物と同じような色の部分は自動的に検査領域に設定されず、OK画像とNG画像で変化の大きい画素のみ検査領域に設定することができる。従って、後の検査処理で検査領域内の背景部分の除去などをしなくて済み、高速かつ高精度でロバストな画像検査を行うことが可能となる。即ち、本実施形態によれば、検査ごとに位置などが異なって撮影されるような対象物を検査する場合でも、誤検出の生じにくい、適切な検査領域を迅速に、かつ自動的に設定することができる。
この画像検査は、適切に設定された検査領域を用いて、高速かつ高精度でロバストに実行でき、その検査結果を用いて、生産ラインに配置されたワークの加工、組立て、搬送などを行う生産機器を高い信頼性で制御することができる。
<実施形態1>
以下図7、図8を参照して、本発明の実施形態2について説明する。実施形態1との違いは、対象物を含むワークの場所、即ち、撮影された画像ごとに対象物の位置位相が異なる場合の補正を含む点である。本実施形態2では、対象物の位置位相を特定し、補正する処理が追加されている。それ以外の構成及び処理につていては実施形態1のものと同じである。本実施形態において、位置位相の特定、補正には、例えばパターンマッチング処理、アフィン変換などの画像処理技術を利用する。
図7は、本実施形態2において、実施形態1の図4のフローにおけるステップS42~S43を置換すべき処理を示している。図4のS40~S41に示したように、図1の検査領域決定部105は、第1実施形態の場合と同様、対象物画像の読み込みと、初期検査領域の読み込みを行う。
次に、図7のステップS70において、検査領域決定部105は、マッチング処理のためのマッチングパラメータを読み込む。マッチングパラメータとは、パターンマッチングのスコア閾値、探索角度、探索スケール、探索領域等である。
続いて、ステップS71において、検査領域決定部105はパターンマッチング処理を行う。このパターンマッチング処理は、処理中の画像(OK画像ないしNG画像の1つ)と、予め用意した対象物ないしその一部のテンプレート(モデル)画像の形状パターンのマッチング処理である。この処理の詳細については後述する。
次に、ステップS72では、検査領域決定部105はマッチング結果に基づき、画像をアフィン変換する。これにより、テンプレート画像を基準として、OK画像群ないしNG画像群の各画像における対象物の画像中の位置、位相が一定に揃うことになる。
ステップS73では、検査領域決定部105が画像の初期検査領域502の輝度値を取得し、RAM上に展開する。この処理を、すべての画像に対して繰り返し行う。すべての画像の処理が終了すると(S74のYes)、図4のステップS44に進む。以降の処理は第1実施形態のものと同じである。
以上のようにして、OK画像群ないしNG画像群の各画像中の対象物の位置位相を特定し、例えばそれらがテンプレート画像を基準として一致するように補正することができる。この補正処理によって、画面中の同一の画素アドレスの画素に対象物の同一の部位が撮影されていることが保証される。そのため、より正確に各画素の重要度値(識別力値)を算出することができる。
(パターンマッチング)
図7のステップS71で行うパターンマッチング処理は、例えば図8に示すようなエッジ検出処理を介して実行することができる。図8(a)に示す画像データ801には、三角形で模式的に示した対象物802が撮影されている。エッジ抽出を介したパターンマッチングでは、注目画素803におけるエッジ強度が評価される。図8(b)は図8(a)の対象物802の斜辺の1つに存在する注目画素803のエッジの態様を特徴づけるエッジ情報であるエッジ強度を示している。
エッジ強度情報を用いたパターンマッチング処理は、探索領域内において、予め登録された基準画像であるテンプレート画像との類似度が最も高くなる位置を探索する処理である。探索した位置における入力画像と基準画像の類似度(マッチングスコア)が、閾値(スコア閾値)よりも大きい場合に、マッチング処理は成功する。そして、その位置の中で最もスコアが高い位置をマッチング位置として出力する。ここではワーク画像から抽出したエッジ画像と基準画像とのパターンマッチング処理を説明する。
図8(a)に示すように、ワーク画像のすべての画素のうちで、勾配強度Eが所定の閾値以上である画素、すなわちエッジを抽出する。このエッジ抽出では、ワーク画像におけるすべての画素の輝度の勾配強度および勾配方向を算出する。勾配強度は、x方向およびy方向のソーベルフィルタを使用して算出される。個々の画素でx軸方向勾配強度Exと、y軸方向勾配強度Eyとをそれぞれ算出する。
そして、図8(b)に示すように、個々の画像における対象物(この例では三角形の斜辺)の最終的な勾配強度Eは、x軸方向勾配強度Exとy軸方向勾配強度Eyの二乗和の平方根として、例えば次式(5)のように算出することができる。
Figure 0007214432000002
また、このときの勾配方向θは、x軸方向勾配強度Exとy軸方向勾配強度Eyとを用いて次式(6)により算出することができる。
Figure 0007214432000003
そして、ワーク画像のすべての画素の内、勾配強度Eが所定の閾値以上である画素を選択してワーク画像のエッジを抽出する。続いて、抽出されたエッジを1つの基準画像とのパターンマッチング処理を行って基準画像を評価する。さらに、抽出されたエッジの画像データ上のすべての画素について画素単位で、その検出位置(i、j)における基準画像のマッチングスコアSijを次式(7)により算出することができる。
Figure 0007214432000004
ここで、局所スコアSkは、候補モデルのモデルエッジ点毎に算出されるスコアであり、次式により算出する。次式(8)において、θTkは抽出されたエッジのエッジ点毎の勾配方向であり、θMkはモデルエッジのエッジ点毎の勾配方向である。
Figure 0007214432000005
ここで、局所スコアSkとマッチングスコアSijとは、共に-1~+1の値を取り、1に近いほどパターンマッチングのレベルが高いことを意味する。
以上のようにして、エッジ検出を介してパターンマッチング(図7のS71)を行うことができる。パターンマッチングに続くアフィン変換(同S72)では、テンプレート画像とのマッチングスコアが最も高くなるような画像の並進移動と回転に係るパラメータを設定した上、アフィン変換を行う。以上のようにして、対象物の位置位相を特定し、全ての画像で一致するようにその位置位相を補正することができる。
上記のように、パターンマッチングを利用し、OK画像群ないしNG画像群に撮影されている対象物の位置位相を補正した上で、検査領域生成を行うことができ、これにより精度よくロバストに用いることができる検査領域を生成することができる。即ち、本実施形態2によれば、実施形態1と同様の作用効果を、より高い精度で得ることができる。図7に示した処理は、ワークの位置、位相を特定し、補正する処理が追加されたものであり、対象物を含むワークの場所が画像に対し異なる場合に好適に適用できる。
本実施形態2のパターンマッチングを利用した対象物の位置位相を特定、補正する処理は、種々の条件に応じて、有効/無効化できるようにしておくとよい。例えば図6に示したマッチングボタン610は、検査領域生成の際に、パターンマッチングを用いた対象物の位置位相の特定、補正処理を行うか否かを決定する操作手段として実装される。このマッチングボタン610のようなユーザインターフェースを用意しておけば、検査領域生成の際の状況に応じてユーザはパターンマッチングを用いた対象物の位置位相の特定、補正処理を行うか否かの処理態様を決定できる。例えば、検査を実施する生産ラインにおけるワークの位置位相の変動や、検査領域生成に用いるOK画像群ないしNG画像群に撮影されているワークの位置位相の変動などを考慮してマッチングボタン610による有効/無効化操作を選択することができる。
なお、上記の本実施形態2では、特徴ベースマッチング処理としてエッジに着目した形状マッチングを例示した。しかしながら、画像中の対象物の位置や位相を特定する方法はこれに限らない。対象物の位置、位相の特定、補正には、例えば、特徴ベースマッチングを利用してもよく、また、コーナー等に着目したマッチング処理を利用してもよい。また、対象物の位置、位相の特定、補正には、領域ベースマッチングを用いてもよく、二値化閾値を変動させながら二値化を行うことなどによってワークの位置、位相を特定する手法を利用してもよい。
上述した実施形態は本発明の一具体例を示したものであり、本発明の一具体例を示したものであり、本発明の範囲をそれら具体例に限定する趣旨のものではない。
上述した実施形態では、画素の重要度値(識別力値)の計算に用いる特徴量として画素の輝度値を用いたが、2次元の色のヒストグラム(色空間)を用いてもよいし、多次元(色相、彩度、明度)の色のヒストグラムを用いてもよい。
なお、上述した実施形態では、検査領域を重要度が閾値を超えた画素すべてとしたが、領域を連結により分離した後、一番大きな面積の領域のみを検査領域としてもよいし、ユーザに検査領域を指定させてもよい。また、ノイズ除去処理を行ってもよい。例えば、画像処理、検査領域決定処理の前、後に、用途に応じ必要な処理を適宜実行するオープニング処理やクロージング処理を追加してもよい。また、上述した実施形態では原画像を用いたが、縮小画像を用いて計算量を抑える手法を採用してもよい。また、上述した実施形態1、2では検査領域を決定するために重要度値(識別力値)を用いたが、同じ指標を用いて、重要度(識別力値)の低い部分を基準領域、例えば塗布有・塗布無画像どちらでも輝度値が変わらない領域として取り扱う処理を行ってもよい。
本発明は、上述の実施例の1以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
100…画像処理装置、102…画像センサ、103…対象物、104…重要度算出部、105…検査領域決定部、106…検査処理部、107…設定ツール、108…表示装置、109…記憶装置、110…入力装置、305…塗布材、508、620…検査領域、600…画像ウインドウ、601…画像登録ボタン、602…初期領域読込ボタン、603…重要度算出方法選択ボックス、604…重要度閾値設定ボックス、605…重要度閾値設定スライドバー、606…処理開始ボタン、607…領域決定ボタン、608…画像切り替えボタン、609…領域表示チェックボックス。

Claims (20)

  1. 各々が第1の結果が得られた対象物を撮影した複数の画像からなる第1画像群と、各々が第2の結果が得られた対象物を撮影した複数の画像からなる第2画像群と、を用意する用意ステップと、
    前記第1画像群の前記複数の画像の各々の各画素における特徴量前記第2画像群の前記複数の画像の各々の各画素における特徴量と、を用いて、画面を構成する画素アドレスの各々について、重度値を取得する取得ステップと、
    前記画面のうち、取得された前記重要度値が特定の条件を満たす前記画素アドレスを含む部分を、画像処理の対象となる領域として生成する生成ステップと、
    象物を撮影した画像データのうち、前記領域に対応する部分に対して画像処理を実行する実行ステップと、を有する画像処理方法であって、
    前記取得ステップでは、
    前記第1画像群の前記複数の画像の各々の第1画素アドレスにおける前記特徴量の分布である第1分布の態様と、前記第2画像群の前記複数の画像の各々の第1画素アドレスにおける前記特徴量の分布である第2分布の態様と、の差異に対応した値を、前記第1画素アドレスの前記重要度値として取得し、
    前記第1画像群の前記複数の画像の各々の第2画素アドレスにおける前記特徴量の分布である第3分布の態様と、前記第2画像群の前記複数の画像の各々の第2画素アドレスにおける前記特徴量の分布である第4分布の態様と、の差異に対応した値を、前記第2画素アドレスの前記重要度値として取得し、
    前記第1分布の前記態様と前記第2分布の前記態様との差異が前記第3分布の前記態様と前記第4分布の前記態様との差異よりも大きい場合に、前記第1画素アドレスが、前記画像処理の対象となる領域に含まれる、
    ことを特徴する画像処理方法
  2. 請求項1に記載の画像処理方法において、前記第2画素アドレスの前記重要度値が前記特定の条件を満たさず、前記第2画素アドレスが前記画像処理の対象となる領域に含まれない画像処理方法。
  3. 請求項1に記載の画像処理方法において、前記特徴量が当該画素の輝度値である画像処理方法。
  4. 請求項1に記載の画像処理方法において、前記特徴量が当該画素の色相値である画像処理方法。
  5. 請求項1乃至4の中のいずれか1項に記載の画像処理方法において、前記取得ステップにおいて、
    前記第1画像群の前記複数の画像の各々の前記第1画素アドレスにおける特徴量の平均値である第1平均値を算出し、
    前記第2画像群の前記複数の画像の各々の前記第1画素アドレスにおける特徴量の平均値である第2平均値を算出し、
    記第1平均値と前記第2平均値の差を前記第1画素アドレスの前記重要度値として取得する画像処理方法。
  6. 請求項1から5のいずれか1項に記載の画像処理方法において、前記取得ステップにおいて、
    前記第1画像群の前記複数の画像の各々の前記第1画素アドレスにおける特徴量の平均値である第1平均値と、前記第1画像群の前記複数の画像の各々の前記第1画素アドレスにおける特徴量の分散値である第1分散値を算出し、
    前記第2画像群の前記複数の画像の各々の前記第1画素アドレスにおける特徴量の平均値である第2平均値と、前記第2画像群の前記複数の画像の各々の前記第2画素アドレスにおける特徴量の分散値である第2分散値を算出し、
    記第1平均値と前記第2平均値の差を、前記第1分散値と前記第2分散値の和で除した値を、前記第1画素アドレスの前記重要度値として取得する画像処理方法。
  7. 請求項1から5のいずれか1項に記載の画像処理方法において、前記取得ステップにおいて、
    前記第1画像群の前記複数の画像の各々の前記第1画素アドレスにおける特徴量と、前記第2画像群の前記複数の画像の各々の前記第1画素アドレスにおける特徴量と、の差の最大値を、前記第1画像群の前記複数の画像の各々の前記第1画素アドレスにおける特徴量と、前記第2画像群の前記複数の画像の各々の前記第1画素アドレスにおける特徴量と、の差の最小値で除した値を、前記第1画素アドレスの前記重要度値として取得する画像処理方法。
  8. 請求項1から7のいずれか1項に記載の画像処理方法において、前記第1の結果が前記第1画像群の前記複数の画像における前記対象物の検査合格に対応し、前記第2の結果が前記第1画像群の前記複数の画像における前記対象物の検査不合格に対応する画像処理方法。
  9. 請求項1から8のいずれか1項に記載の画像処理方法において、第1対象物を撮影した画像における前記第1対象物の位置位相を補正した画像を前記第1画像群に含まれる画像として用い、第2対象物を撮影した画像における前記第2対象物の位置位相を補正した画像を前記第2画像群に含まれる画像として用いる画像処理方法。
  10. 請求項1から9のいずれか1項に記載の画像処理方法において、前記実行ステップの結果に基づいて前記画像データの前記対象物に塗布された塗布材の状態を検査するステップを更に有する画像処理方法。
  11. 請求項1から9のいずれか1項に記載の画像処理方法において、前記実行ステップの結果に基づいて前記画像データの前記対象物に装着された部品の状態を検査するステップを更に有する画像処理方法。
  12. 請求項1から11のいずれか1項に記載の画像処理方法において、前記取得ステップは、設定画面を表示装置に表示するユーザインターフェースステップを更に有する画像処理方法。
  13. 請求項1から12のいずれか1項に記載の画像処理方法において、前記生成ステップは、設定画面を表示装置に表示するユーザインターフェースステップを更に有する画像処理方法。
  14. 請求項1から13のいずれか1項に記載の画像処理方法において、前記取得ステップは、前記特徴量を用いて前記重要度値を取得する算出方法をユーザに選択させるユーザインターフェースステップを含む画像処理方法。
  15. 請求項1から14のいずれか1項に記載の画像処理方法の各ステップをコンピュータに実行させる画像処理プログラム。
  16. 請求項15に記載の画像処理プログラムを格納したコンピュータ読み取り可能な記録媒体。
  17. 各々が第1の結果が得られた対象物を撮影した複数の画像からなる第1画像群と、各々が第2の結果が得られた対象物を撮影した複数の画像からなる第2画像群と、を用意し、前記第1画像群の前記複数の画像の各々の各画素における特徴量前記第2画像群の前記複数の画像の各々の各画素における特徴量と、を用いて、画面を構成する画素アドレスの各々について、重度値を取得する取得部と、
    前記画面のうち、取得された前記重要度値が特定の条件を満たす前記画素アドレスを含む部分を、画像処理の対象となる領域として生成する生成部と、
    象物を撮影した画データのうち、前記領域に対応する部分に対して画像処理を実行する処理部と、を有する画像処理装置であって、
    前記取得部は、
    前記第1画像群の前記複数の画像の各々の第1画素アドレスにおける前記特徴量の分布である第1分布の態様と、前記第2画像群の前記複数の画像の各々の第1画素アドレスにおける前記特徴量の分布である第2分布の態様と、の差異に対応した値を、前記第1画素アドレスの前記重要度値として取得し、
    前記第1画像群の前記複数の画像の各々の第2画素アドレスにおける前記特徴量の分布である第3分布の態様と、前記第2画像群の前記複数の画像の各々の第2画素アドレスにおける前記特徴量の分布である第4分布の態様と、の差異に対応した値を、前記第2画素アドレスの前記重要度値として取得し、
    前記第1分布の前記態様と前記第2分布の前記態様との差異が前記第3分布の前記態様と前記第4分布の前記態様との差異よりも大きい場合に、前記第1画素アドレスが、前記画像処理の対象となる領域に含まれる、
    ことを特徴する画像処理装置
  18. 請求項17に記載の画像処理装置と、
    前記画像データの前記対象物を生産する生産機器と、を有する生産システム。
  19. 請求項17に記載の画像処理装置により、前記画像データの前記対象物としてのワークに対する他の部材の装着の有無を検査する物品の製造方法。
  20. 請求項17に記載の画像処理装置により、前記画像データの前記対象物としてのワークに対する塗布材の塗布状態を検査する物品の製造方法。
JP2018198743A 2018-10-22 2018-10-22 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法 Active JP7214432B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018198743A JP7214432B2 (ja) 2018-10-22 2018-10-22 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法
US16/657,099 US11210778B2 (en) 2018-10-22 2019-10-18 Image processing method and image processing apparatus that generate an inspection region serving as a target of image processing
US17/522,356 US20220067907A1 (en) 2018-10-22 2021-11-09 Image processing method and image processing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018198743A JP7214432B2 (ja) 2018-10-22 2018-10-22 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法

Publications (3)

Publication Number Publication Date
JP2020067308A JP2020067308A (ja) 2020-04-30
JP2020067308A5 JP2020067308A5 (ja) 2021-12-02
JP7214432B2 true JP7214432B2 (ja) 2023-01-30

Family

ID=70280971

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018198743A Active JP7214432B2 (ja) 2018-10-22 2018-10-22 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法

Country Status (2)

Country Link
US (2) US11210778B2 (ja)
JP (1) JP7214432B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
JP7214432B2 (ja) * 2018-10-22 2023-01-30 キヤノン株式会社 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法
JP7271305B2 (ja) * 2019-05-16 2023-05-11 株式会社キーエンス 画像検査装置及び画像検査装置の設定方法
JP7490483B2 (ja) 2020-07-22 2024-05-27 キヤノン株式会社 システム、情報処理方法、物品の製造方法、プログラム及び記録媒体
JP2023152476A (ja) * 2022-04-04 2023-10-17 トヨタ自動車株式会社 検査装置、検査方法及び検査用コンピュータプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006194607A (ja) 2005-01-11 2006-07-27 Omron Corp 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP2006220648A (ja) 2005-01-11 2006-08-24 Omron Corp 基板検査装置並びにその検査ロジック設定方法および検査ロジック設定装置
JP2006220644A (ja) 2005-01-14 2006-08-24 Hitachi High-Technologies Corp パターン検査方法及びその装置
JP2008241424A (ja) 2007-03-27 2008-10-09 Matsushita Electric Works Ltd 画像処理装置及びこれを用いた画像処理方法
JP2015094589A (ja) 2013-11-08 2015-05-18 株式会社リコー 外観検査装置
JP2017194425A (ja) 2016-04-22 2017-10-26 株式会社 東京ウエルズ 欠陥検査方法および欠陥検査システム

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5943437A (en) * 1995-10-09 1999-08-24 Kabushiki Kaisha Kobe Seiko Sho Method and apparatus for classifying a defect on a semiconductor wafer
JPH11101753A (ja) * 1997-09-25 1999-04-13 Matsushita Electric Works Ltd 画像処理検査装置
JPH11120362A (ja) * 1997-10-21 1999-04-30 Omron Corp 画像処理装置及び方法並びに判定基準設定プログラムを記録した機械読み取り可能な記録媒体
US6529622B1 (en) * 1998-10-30 2003-03-04 General Electric Company Method and apparatus for identifying defective regions in a discrete pixel detector
JP4065893B1 (ja) * 2006-12-04 2008-03-26 東京エレクトロン株式会社 欠陥検出装置、欠陥検出方法、情報処理装置、情報処理方法及びそのプログラム
JP4102842B1 (ja) * 2006-12-04 2008-06-18 東京エレクトロン株式会社 欠陥検出装置、欠陥検出方法、情報処理装置、情報処理方法及びそのプログラム
JP2011163766A (ja) * 2010-02-04 2011-08-25 Omron Corp 画像処理方法および画像処理システム
US8345949B2 (en) * 2010-03-09 2013-01-01 General Electric Company Sequential approach for automatic defect recognition
JP2012117814A (ja) * 2010-11-29 2012-06-21 Hitachi High-Technologies Corp 欠陥検査装置および欠陥検査方法
US8867802B2 (en) * 2011-04-19 2014-10-21 Microsoft Corporation Automatic organ localization
JP5874398B2 (ja) * 2012-01-05 2016-03-02 オムロン株式会社 画像検査装置の検査領域設定方法
JP5953842B2 (ja) 2012-03-14 2016-07-20 オムロン株式会社 画像検査方法および検査領域設定方法
US9373087B2 (en) * 2012-10-25 2016-06-21 Microsoft Technology Licensing, Llc Decision tree training in machine learning
JP6119273B2 (ja) * 2013-01-31 2017-04-26 日亜化学工業株式会社 半導体発光素子の検査方法及び半導体発光素子の製造方法
JP6051917B2 (ja) * 2013-02-18 2016-12-27 日亜化学工業株式会社 半導体発光素子の検査方法及び半導体発光素子の製造方法
JP6282057B2 (ja) * 2013-07-19 2018-02-21 キヤノン株式会社 画像処理装置および画像処理方法
JP6632288B2 (ja) 2014-12-12 2020-01-22 キヤノン株式会社 情報処理装置、情報処理方法、プログラム
US9626582B2 (en) * 2014-12-30 2017-04-18 Kodak Alaris Inc. System and method for measuring mobile document image quality
CN107636659B (zh) * 2015-05-11 2021-10-12 西门子保健有限责任公司 使用深度神经网络检测医学图像中的地标的方法和系统
JP6630545B2 (ja) * 2015-11-24 2020-01-15 株式会社キーエンス 位置決め方法、位置決め装置、プログラムおよびコンピュータ可読記録媒体
JP6608682B2 (ja) * 2015-11-24 2019-11-20 株式会社キーエンス 位置決め方法、外観検査装置、プログラム、コンピュータ可読記録媒体および外観検査方法
EP3176751B1 (en) * 2015-12-01 2020-12-30 Ricoh Company, Ltd. Information processing device, information processing method, computer-readable recording medium, and inspection system
US20170221204A1 (en) * 2016-01-28 2017-08-03 Siemens Medical Solutions Usa, Inc. Overlay Of Findings On Image Data
US10032092B2 (en) * 2016-02-02 2018-07-24 Adobe Systems Incorporated Training data to increase pixel labeling accuracy
JP6333871B2 (ja) * 2016-02-25 2018-05-30 ファナック株式会社 入力画像から検出した対象物を表示する画像処理装置
US10043265B2 (en) * 2016-03-17 2018-08-07 Kla-Tencor Corporation System, method and computer program product for identifying fabricated component defects using a local adaptive threshold
JP6591348B2 (ja) * 2016-06-03 2019-10-16 株式会社ニューフレアテクノロジー 検査方法
US10270788B2 (en) * 2016-06-06 2019-04-23 Netskope, Inc. Machine learning based anomaly detection
JP6932987B2 (ja) * 2017-05-11 2021-09-08 オムロン株式会社 画像処理装置、画像処理プログラム、画像処理システム
JP2019061484A (ja) * 2017-09-26 2019-04-18 キヤノン株式会社 画像処理装置及びその制御方法及びプログラム
US12315142B2 (en) * 2017-11-27 2025-05-27 Deciphex Automated clustering of anomalous histopathology tissue samples
WO2019102043A1 (en) * 2017-11-27 2019-05-31 Deciphex Automated screening of histopathology tissue samples via analysis of a normal model
JP6675433B2 (ja) * 2018-04-25 2020-04-01 信越化学工業株式会社 欠陥分類方法、フォトマスクブランクの選別方法、およびマスクブランクの製造方法
JP7157580B2 (ja) * 2018-07-19 2022-10-20 東京エレクトロン株式会社 基板検査方法及び基板検査装置
JP7132046B2 (ja) * 2018-09-13 2022-09-06 株式会社東芝 検索装置、検索方法及びプログラム
JP7214432B2 (ja) * 2018-10-22 2023-01-30 キヤノン株式会社 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法
US20200167689A1 (en) * 2018-11-28 2020-05-28 Here Global B.V. Method, apparatus, and system for providing data-driven selection of machine learning training observations
JP6869490B2 (ja) * 2018-12-28 2021-05-12 オムロン株式会社 欠陥検査装置、欠陥検査方法、及びそのプログラム
US11424021B2 (en) * 2019-05-10 2022-08-23 National Taiwan University Medical image analyzing system and method thereof
JP6896036B2 (ja) * 2019-09-30 2021-06-30 キヤノン株式会社 情報処理装置、判定方法、インプリント装置、リソグラフィシステム、物品の製造方法及びプログラム
KR102294738B1 (ko) * 2020-01-10 2021-08-30 주식회사 인트로메딕 장기 구분 시스템 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006194607A (ja) 2005-01-11 2006-07-27 Omron Corp 基板検査装置並びにそのパラメータ設定方法およびパラメータ設定装置
JP2006220648A (ja) 2005-01-11 2006-08-24 Omron Corp 基板検査装置並びにその検査ロジック設定方法および検査ロジック設定装置
JP2006220644A (ja) 2005-01-14 2006-08-24 Hitachi High-Technologies Corp パターン検査方法及びその装置
JP2008241424A (ja) 2007-03-27 2008-10-09 Matsushita Electric Works Ltd 画像処理装置及びこれを用いた画像処理方法
JP2015094589A (ja) 2013-11-08 2015-05-18 株式会社リコー 外観検査装置
JP2017194425A (ja) 2016-04-22 2017-10-26 株式会社 東京ウエルズ 欠陥検査方法および欠陥検査システム

Also Published As

Publication number Publication date
US20200126204A1 (en) 2020-04-23
US11210778B2 (en) 2021-12-28
US20220067907A1 (en) 2022-03-03
JP2020067308A (ja) 2020-04-30

Similar Documents

Publication Publication Date Title
JP7214432B2 (ja) 画像処理方法、画像処理プログラム、記録媒体、画像処理装置、生産システム、物品の製造方法
KR100785594B1 (ko) 화상 처리 장치
JP5546317B2 (ja) 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
JP5953842B2 (ja) 画像検査方法および検査領域設定方法
CN105184765B (zh) 检查设备、检查方法和程序
JP5929238B2 (ja) 画像検査方法および画像検査装置
JP2006066478A (ja) パターンマッチング装置及びそれを用いた走査型電子顕微鏡
CN111382776A (zh) 物体识别装置以及物体识别方法
US8315457B2 (en) System and method for performing multi-image training for pattern recognition and registration
JP6405124B2 (ja) 検査装置、検査方法およびプログラム
CN102576462A (zh) 图案匹配方法、图案匹配程序、电子计算机、电子设备检查装置
KR20180090756A (ko) 비전 시스템에서 컬러 이미지에 대해 컬러 후보 포즈들의 점수화를 위한 시스템 및 방법
JP6585793B2 (ja) 検査装置、検査方法およびプログラム
CN113310997A (zh) Pcb板缺陷确认方法、装置、自动光学检测设备及储存介质
JP2010133744A (ja) 欠陥検出方法およびその方法を用いた視覚検査装置
JP2008241424A (ja) 画像処理装置及びこれを用いた画像処理方法
CN110274911B (zh) 图像处理系统、图像处理装置、存储介质
CN112129768A (zh) 外观检查管理系统、装置、方法以及存储介质
TWI822269B (zh) 圖像檢查方法、不良部位的圖像的管理方法以及圖像檢查裝置
JP4788475B2 (ja) 画像処理装置および画像処理方法
JP2020148586A (ja) 画像処理装置、検査装置、画像処理方法、及びプログラム
JP7771629B2 (ja) パラメータ調整支援装置及びパラメータ調整支援方法
JP6864722B2 (ja) 検査装置、検査方法およびプログラム
KR100533705B1 (ko) 탭 또는 씨오에프의 외형 검사 속도 향상 방법
JP7006111B2 (ja) 位置を決定する装置、方法、およびプログラム、画像を表示する装置、方法、およびプログラム

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20200206

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211021

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211021

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221004

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230118

R151 Written notification of patent or utility model registration

Ref document number: 7214432

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151