JP2019190891A - 検査管理システム、検査管理装置及び検査管理方法 - Google Patents

検査管理システム、検査管理装置及び検査管理方法 Download PDF

Info

Publication number
JP2019190891A
JP2019190891A JP2018081064A JP2018081064A JP2019190891A JP 2019190891 A JP2019190891 A JP 2019190891A JP 2018081064 A JP2018081064 A JP 2018081064A JP 2018081064 A JP2018081064 A JP 2018081064A JP 2019190891 A JP2019190891 A JP 2019190891A
Authority
JP
Japan
Prior art keywords
defect
inspection
unit
defect image
inspection management
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018081064A
Other languages
English (en)
Other versions
JP6981352B2 (ja
Inventor
清隆 植田
Kiyotaka Ueda
清隆 植田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2018081064A priority Critical patent/JP6981352B2/ja
Priority to KR1020190037102A priority patent/KR20190122550A/ko
Priority to TW108111533A priority patent/TWI693397B/zh
Priority to CN201910258395.8A priority patent/CN110390661A/zh
Publication of JP2019190891A publication Critical patent/JP2019190891A/ja
Application granted granted Critical
Publication of JP6981352B2 publication Critical patent/JP6981352B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/89—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles
    • G01N21/892—Investigating the presence of flaws or contamination in moving material, e.g. running paper or textiles characterised by the flaw, defect or object feature examined
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/31—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry
    • G01N21/314—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths
    • G01N21/3151—Investigating relative effect of material at wavelengths characteristic of specific elements or molecules, e.g. atomic absorption spectrometry with comparison of measurements at specific and non-specific wavelengths using two sources of radiation of different wavelengths
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N2021/1765—Method using an image detector and processing of image signal
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Biochemistry (AREA)
  • Analytical Chemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Quality & Reliability (AREA)
  • Toxicology (AREA)
  • Textile Engineering (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)

Abstract

【課題】複数の異なる方式によって被検査物を撮影し、それぞれの撮影方式ごとに欠陥を検出するシート状物品の外観検査において、同一の欠陥を示す複数の欠陥画像データを個別に管理することによる弊害を低減する手段を提供する。【解決手段】シート状の被検査物を検査するための検査管理システムであって、前記被検査物Ｔの外観を、異なる方式により撮影する複数の撮影手段と、前記複数の撮影手段により撮影されたそれぞれの画像に基づいて、前記被検査物の欠陥を検出する検出手段と、を備える外観検査部と、前記複数の異なる方式の撮影手段ごとに、前記検出手段により検出された欠陥が撮影されている欠陥画像データが記録される記憶部と、前記記憶部に記録された前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして処理する同一欠陥画像統合手段を備える、検査管理部と、を有する。【選択図】図３

Description

本発明は、シート状の被検査物の異常箇所を検出する技術、特に、検出された異常を分析するための技術に関する。
シート状物品を製造又は加工するための生産ラインでは、可視光や紫外光をシートに照射しその透過光又は反射光をカメラで撮影することにより得られる画像を用いて、シートにおける異常（異物混入、汚れ、シワなど。以下、欠陥ともいう。）を検出する検査装置が利用されている（例えば、特許文献１、特許文献２など）。
このような装置には、表面反射像、裏面反射像、透過画像、可視光画像、赤外光画像、などのように、異なる複数の撮影方法により被検査物を撮影して各画像で欠陥検出（良否判定）を行うものがあり、これによって、検査の精度を向上する（欠陥の見逃しを低減する）ことが図られている。
そして、上記のような装置を用いて、製品の欠陥を検出して不良品を除去するだけでなく、その検出された欠陥を発生要因（以下、種別ともいう）ごとに分類し、各欠陥の発生頻度をデータ化して、分析することで、製造商品の品質の状況把握や、製造工程の異常箇所の早期発見、予兆保全などに利用することも期待されている。
このように、欠陥種別で分類されたデータを有効活用するにあたっては、その発生数、分類などについて、正確であることが重要であるが、上記のように異なる複数の撮影方法（以下、検査方式ともいう）を用いる場合には、得られるデータの正確性を損ねる弊害が生じることもある。
例えば、欠陥種別ごとの正確な欠陥数を求めようとしても、複数の検査方式を用いる場合には、一つの欠陥に対して複数の検査方式のそれぞれにおいて欠陥を検出することもあるため、各検査方式で得られる欠陥数を単純に合計した場合、その数が製品上の本来の欠陥数と合致しないといった問題が生じる。
これに対し、特許文献２では、異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を比較し、決定ルールに従って決定された異なるカメラ装置のうちの１つのカメラ装置で撮像された画像データに基づき抽出した欠陥情報を代表欠陥情報として決定し、表示する機能を備えた検査システムが提案されている。しかしながら、このような方法では、せっかく複数のカメラによって取得された、代表欠陥情報以外の欠陥画像データが間引かれ、有効に活用されないことになってしまう。
また、欠陥の種別を分類するにあたって、欠陥画像を教師データとして深層学習させたＡＩを用いることも行われるが、教師データを登録する際に、欠陥種別の識別が困難である欠陥画像について、実際の欠陥種別とは異なる欠陥の種別と紐付けて登録を行ってしまうという人為的ミスも生じうる。さらに、この際には、本来は同一の欠陥を示しているはずの複数の欠陥画像データについて、検査方式ごとに別々の欠陥種別を登録してしまうといったことも生じるおそれもある。そして、このようにして登録された誤った教師データを用いて学習したＡＩによって分類されたデータは、正確性に疑義が生じることになる。
また、複数の検査方式ごとに欠陥画像を取得し、これらを個別に欠陥種別と紐付けて登録を行うことは、検査方式の種類が多ければ、単純にその分だけ教師データ登録の手間が
増えることになり、非効率的でもあった。
特開２０１５−１７２５１９号公報 特許第５３０５００２号公報
本発明は、上記のような実情に鑑みてなされたものであり、その目的とするところは、複数の異なる方式によって被検査物を撮影し、それぞれの撮影方式ごとに欠陥を検出するシート状物品の外観検査において、同一の欠陥を示す複数の欠陥画像データを個別に管理することによる弊害を低減することができる手段を提供することにある。
上記の課題を解決するため、本発明に係る検査管理システムは、シート状の被検査物を検査するための検査管理システムであって、前記被検査物の外観を、異なる方式により撮影する２つ以上の撮影手段と、前記複数の撮影手段により撮影されたそれぞれの画像に基づいて、前記被検査物の欠陥を検出する検出手段と、を備える外観検査部と、前記複数の異なる方式の撮影手段ごとに、前記検出手段により検出された欠陥が撮影されている欠陥画像データが記録される記憶部と、前記記憶部に記録された前記欠陥画像データの集合のうち、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして処理する同一欠陥画像統合手段を備える、検査管理部と、を有する。
ここで、「異なる方式により撮影」とは、例えば、撮影する被検査物の面が異なるものであってもよいし、検出する光の波長が異なるものであってもよいし、反射光を撮影するものと透過光を撮影するものとの違いであってもよい。また、「前記被検査物における同一の欠陥が撮影されている」ことについては、後述のように、被検査物における欠陥の位置が同一である場合にそのように認定すればよい。なお、システムを構成する各要素は、別体である必要は無く、全てが一体化された筐体に収まっていてもよいし、一部が一体となっていてもよい。
上記のような構成によると、複数の方式によって被検査物を撮影し、被検査物における一つの欠陥について撮影方式の異なる複数の欠陥画像データが記録された場合であっても、同一の欠陥を示す複数のデータを１セットとして管理できる。これによって、同一の欠陥を示す複数の欠陥画像データを個別に管理することによる弊害を低減することができる。
また、前記検査管理部は、前記同一欠陥画像セットの数を計数して、所定の検査単位ごとに、欠陥数を算出する欠陥計数手段をさらに備えていてもよい。ここで、「所定の検査単位」は、ユーザーが任意のタイミングで設定・変更することもできる。このような構成であると、同一の欠陥について撮影された複数の欠陥画像を個別に計数するのではなく、被検査物における欠陥ごとに欠陥数を計数することになるため、正確な欠陥数を算出することができる。
さらに、前記検査管理システムは、出力部をさらに有しており、前記検査管理部は、前記算出された欠陥数が所定の値を超えた場合に、その旨を前記出力部を介して通知する欠陥数警告手段をさらに備えていてもよい。このような構成を取ることによって、欠陥数が所定の値を超えた場合に、ユーザーはそのことを容易に知ることができるため、効率的に
検査管理を行うことが可能になる。
なお、出力部はユーザーが知覚可能な方法で通知を行うものであればよく、例えば、液晶ディスプレイなどの表示装置であってもよいし、スピーカーなどの音声出力装置であってもよいし、印刷装置であってもよい。また、これらを併用して通知を行うものであってもよい。
また、前記検査管理部は、前記同一欠陥画像セットごとに、前記欠陥の種別を分類する、欠陥種別分類手段をさらに備えていてもよい。このような構成であると、本来は同一の欠陥を示しているはずの複数の欠陥画像データについて、複数の異なる撮影手段ごとに別々の欠陥種別に分類してしまうといったことを防止することができる。
また、前記検査管理部は、前記欠陥種別分類手段によって分類された欠陥種別ごとに前記同一欠陥画像セットの数を計数し、所定の検査単位ごとに、欠陥種別ごとの欠陥数を算出する、欠陥種別計数手段をさらに備えていてもよい。このような構成であると、欠陥種別ごとに、正確な欠陥数を求めることができる。
また、前記検査管理システムは、出力部を有しており、前記検査管理部は、前記算出された欠陥種別ごとの欠陥数が、該欠陥種別ごとに定められた所定の値を超えた場合に、その旨を前記出力部を介して通知する欠陥種別欠陥数警告手段をさらに備えていてもよい。なお、欠陥種別欠陥数警告手段は、所定の値を超えた欠陥の種別についても併せて通知するものであってもよい。このような構成であると、ユーザーは欠陥種別ごとに、欠陥数が所定の値を超えた場合にそのことを知ることができ、より詳細な検査管理を行うことが可能になる。
なお、検査システムが前記欠陥数警告手段も備える構成である場合には、出力部は前記欠陥数警告手段と共通の構成であってもよい。
また、前記欠陥種別分類手段は、深層学習の手法により学習済みの推論手段を含んでいてもよい。近年、深層学習の手法を用いた人工知能による画像認識技術が高い成果を上げており、このような技術を用いることで、欠陥種別の分類を、効率よく自動で行うことができる。
また、前記検査管理システムは、表示部をさらに有しており、前記検査管理部は、前記表示部に、前記同一欠陥画像セットごとに該セットを構成する欠陥画像データを同時に表示し、該表示された欠陥画像データのセットに対応する欠陥種別の登録をユーザーに求める、深層学習用教師データ登録手段をさらに備えていてもよい。
ここで、表示部とは、一般的には液晶ディスプレイなどのディスプレイ装置であるが、プロジェクタによる表示など、他の表示手段を用いるものであっても構わない。上記のような構成によると、同一の欠陥を示す欠陥画像データについては一括で登録を行うことができ、効率的に教師データの登録を行うことができる。また、ユーザーは同一欠陥画像セットに含まれる複数の検査方式による欠陥画像を見比べて欠陥種別を決定、登録する事ができるため、個別の欠陥画像データのみを対象として欠陥種別の登録を行うのに比べ、欠陥種別の選択を誤ったり、判断に時間を要したりすることを低減することができる。
また、前記欠陥種別分類手段は、前記同一欠陥画像セットの欠陥種別の分類を、所定の確度以上の正確さで行えない場合には、該同一欠陥画像セットについての欠陥種別を不明として分類してもよい。このような構成によると、確度の高くない欠陥種別の分類を無理に行うことで、結果的に得られるデータの信頼度を下げることを防止することができる。
また、前記欠陥種別分類手段は、欠陥種別を不明として分類した前記同一欠陥画像セットについて、ユーザーによる欠陥種別の分類を求めるものであってもよい。このような構成によると、欠陥種別が不明として分類された同一欠陥画像セットがそのまま分類不明なデータとして残ることを防止することができる。
また、前記被検査物の外観を異なる方式により撮影する２つ以上の撮影手段は、前記被検査物の第１の面で反射した反射光による画像を撮影する表面撮影手段、前記被検査物の第１の面と反対側の第２の面で反射した反射光による画像を撮影する裏面撮影手段、及び、前記被検査物を透過した透過光による画像を撮影する透過光撮影手段のうち、いずれか２つ以上を含むものであってもよい。このような構成によると、多様な欠陥の種類に対応して、欠陥の検出及び／又は分類を行うことができる。
また、前記被検査物の外観を異なる方式により撮影する２つ以上の撮影手段は、第１の波長の光によって前記被検査物を撮影する第１波長撮影手段と、前記第１の波長とは異なる波長の光によって前記被検査物を撮影する第２波長撮影手段、とを含むものであってもよい。このような構成によると、多様な欠陥の種類に対応して、欠陥の検出及び／又は分類を行うことができる。
また、前記同一欠陥画像統合手段は、前記被検査物における前記欠陥の位置が同一の範囲内である複数の異なる欠陥画像データを、１つの同一欠陥画像セットとして統合してもよい。
ここで、「位置が同一の範囲内」とは、完全に位置が一致するものに限らず、所定の許容範囲内にあるものを含む意味である。複数の欠陥画像データにおいて、撮影されている欠陥が同一のものであるか否かを識別する方法として、製品における欠陥の位置が同じであるものは、同一の欠陥が撮影された画像データであると認定する方法を採用することができる。被検査物における欠陥の位置を特定するには、例えば、予め定まっている、各撮影手段の配置場所、撮影範囲、被検査物の搬送速度、などに基づいて、欠陥の位置を算出すればよい。
また、上記の課題を解決するため、本発明に係る検査管理装置は、シート状の被検査物の外観を異なる複数の撮影方式により撮影して取得した欠陥画像データを処理する検査管理装置であって、前記欠陥画像データの集合から、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして処理する、同一欠陥画像統合手段を備える。
また、上記の課題を解決するため、本発明に係る検査管理方法はシート状の被検査物の外観検査を管理する方法であって、前記被検査物を２つ以上の異なる方式により撮影する第１ステップと、前記第１ステップで撮影された複数の異なる撮影方式による被検査物の画像に基づいて、前記被検査物の欠陥を検出する第２ステップと、前記第２ステップで検出された欠陥が撮影されている欠陥画像データを記録する第３ステップと、前記第３ステップで記録された欠陥画像データの集合のうち、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして統合する第４ステップと、所定の検査単位ごとに、前記第４ステップで統合された同一欠陥画像セットの数を計数して、欠陥数を算出する第５のステップと、を有する。
また、前記検査管理方法は、前記第５のステップで算出された欠陥数が所定の値を超えた場合に、その旨を通知する第６のステップをさらに有していてもよい。
なお、上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。
本発明によれば、複数の異なる方式によって被検査物を撮影し、それぞれの撮影方式ごとに欠陥を検出するシート状物品の外観検査において、同一の欠陥を示す複数の欠陥画像データを個別に管理することによる弊害を低減することができる。
図１は、適用例に係る検査管理システムの構成例を模式的に示す図である。 図２は、適用例に係る検査管理システムにおいて行われる処理の流れを示すフローチャートである。 図３は、実施例に係る検査管理システムの構成例を模式的に示す図である。 図４は、実施例における欠陥種別分類の処理の流れを示すフローチャートである。
以下、図面を参照して、本発明の実施形態の一例について説明する。
＜適用例＞
本発明は例えば、図１に示すような検査管理システム９として適用することができる。図１は本適用例に係る検査管理システム９の構成例を模式的に示す図である。検査管理システム９は、シート状の物品の欠陥の検出、及び、検査に係る情報の管理を行うシステムであり、主要な構成要素として、照明系の表面反射光源９１１、裏面反射光源９１２、透過光源９１３と、測定系としての表面撮影カメラ９２１、裏面撮影カメラ９２２と、制御端末９３と、搬送機構（図示しない）、とを備えている。
図１に示すように、被検査物Ｔは、図示しない搬送機構によって、水平方向（矢印方向）に搬送され、その搬送中に測定系によって被検査物Ｔの外観画像が連続的に取得され、これに基づいて検査が実施される。被検査物Ｔは、シート状に形成されており、例えば、紙、布、フィルム、樹脂、セルロースなどが例示できる。また、単一素材に限られず、フィルムと不織布を貼り合わせた包装紙などのように、複数の層を有するようなシート体であってもよい。さらに、乾燥海苔などの食品であってもよい。
照明系の表面反射光源９１１は可視光（例えば白色光）を被検査物Ｔの表面（第１の面）に対して照射するように配置され、裏面反射光源９１２は同じく可視光を被検査物Ｔの裏面（第２の面）に対して照射するように配置される。また、透過光源９１３は赤外線を、被検査物Ｔの裏面（第２の面）に対して照射するように配置されている。
測定系の表面撮影カメラ９２１は、図示しないが、信号出力部、可視光受光センサ、赤外線受光センサ、分光プリズム、レンズを備えており、被検査物Ｔの表面を撮像するように配置される。具体的には、表面反射光源９１１から照射され被検査物Ｔの表面で反射した光（以下、表面反射光という）、透過光源９１３から照射され、被検査物Ｔを透過した赤外線（以下、透過光という）、によって被検査物Ｔを撮影する。分光プリズムはカメラに入光した光を、少なくとも可視光領域の波長の光と、赤外線に分光し、対応する各センサに受光させる。センサには、例えばＣＣＤ又はＣＭＯＳセンサを用いる事ができる。
また、裏面撮影カメラ９２２は、図示しないが、信号出力部、可視光領域の光を検知可能な受光センサ、レンズを備えており、被検査物Ｔの裏面を撮像するように配置される。具体的には、裏面反射光源９１２から照射され被検査物Ｔの裏面で反射した光（以下、裏
面反射光という）により被検査物Ｔを撮影する。受光センサには、例えばＣＣＤ又はＣＭＯＳセンサを用いる事ができる。
制御端末９３は、照明系、測定系、搬送機構の制御を行うとともに、検査に係る各種情報の処理を行う。ハードウェア構成としては、各種入出力装置、プロセッサ、記憶装置、などを備えており、機能モジュールとして、欠陥検出部９３１、欠陥位置特定部９３２、欠陥画像記憶部９３３、同一欠陥画像統合部９３４、欠陥計数部９３５、欠陥数警告部９３６、欠陥種別分類部９３７を備えている。
欠陥検出部９３１は、測定系の各カメラから入力された画像信号に基づいて、被検査物Ｔに含まれる欠陥の検出を行う。欠陥の検出は、例えば撮影された画像から得られる特徴量が所定の閾値から逸脱していないかを判定することによって行われる。特徴量には、例えば、輝度などを用いる事ができ、明度、彩度、色相などを用いてもよい。
本適用例においては、表面撮影カメラ９２１が撮影する、表面反射光による画像（以下、表面反射画像という）、及び透過光による画像（以下、透過画像という）と、裏面撮影カメラ９２２が撮影する、裏面反射光による画像（以下、裏面反射画像という）のそれぞれに対して、特徴量の判定が行われる。
欠陥位置特定部９３２は、欠陥が検出された場合に、当該欠陥が被検査物Ｔのどの箇所に位置するのかを特定する。位置の特定は例えば、予め定まっている被検査物Ｔの搬送速度、カメラの設置位置、被検査物Ｔの大きさ、及び、検査開始からの経過時間、に基づいて行うことができる。
欠陥画像記憶部９３３は、欠陥が検出された場合に、各カメラによって撮影された当該欠陥の画像（以下、欠陥画像という）を、欠陥位置特定部９３２が特定した当該欠陥の位置の情報と関連づけて記憶装置に記録する。また、欠陥が検出された撮影方式の画像だけで無く、他の撮影方式の対応する箇所の画像も記憶装置に記録する。
同一欠陥画像統合部９３４は、欠陥位置特定部９３２が特定した欠陥の位置が同じである複数の異なる欠陥画像が記憶装置に記録された場合に、当該欠陥の位置が同じである複数の画像を、一組の同一欠陥画像セットとして紐付ける。このようにしてセットにされた複数の欠陥画像は、以後、表示装置への表示、各種データ分析などの際に、一体的に処理される。また、当該同一欠陥画像セットを、セットとして改めて記憶装置に記録するようにしてもよい。
欠陥計数部９３５は、所定の検査単位ごとに、同一欠陥画像セットの数を計数し、当該検査単位あたりの欠陥数を算出する。ここで、所定の検査単位とは、所定数（例えば、１ロール、１ロット、数ロット）であってもよいし、所定時間（例えば、１日、１週間、１ヶ月）であってもよい。このようにして欠陥数を算出するため、被検査物Ｔにおける同一の欠陥を示す複数の欠陥画像データを重複してカウントしてしまうことがなく、所定の検査単位ごとの正確な欠陥数を得る事ができる。
欠陥数警告部９３６は、欠陥計数部９３５が算出する欠陥数が所定の値を超えるか否かを判定し、欠陥数が当該所定の値を超えると判定した場合には、その旨を図示しない出力装置（例えば、液晶ディスプレイ、スピーカーなど）から出力することによってユーザーに通知する。
欠陥種別分類部９３７は、同一欠陥画像セットとして統合された欠陥画像データを、欠陥の種類別に分類し、当該分類後の種別と欠陥画像データを紐付けて記録する。分類され
る欠陥の種別はユーザーにおいて任意に設定することができ、例えば、異物混入、汚れ、シワ、穴、といった種別を設けてもよいし、さらに細かい種別（例えば、虫、木片、金属異物、油汚れ、水汚れ、大穴、小穴、など）に分類するのであってもよい。
欠陥種別を分類する方法としては、表面反射画像、裏面反射画像、透過画像、のいずれかの画像に対する特徴量に基づいて行ってもよいし、各画像の欠陥箇所の特徴量の対比によって行ってもよいし、また、それぞれの検査方式で欠陥が検出されたか否か、及びその組み合わせ、などによって行ってもよい。また、これらの手法を複合的に用いて分類することもできる。このようにして、同一の欠陥を示す複数の欠陥画像データをセットにして欠陥種別の分類を行うことにより、欠陥が検出された単一の画像に基づいて欠陥種別の分類を行うのに比べて、正確に欠陥種別の分類を行うことができる。
図２は、本適用例に係る検査管理システム９において行われる処理の流れを示すフローチャートである。検査管理システム９は、まず、測定系によって表面反射画像、裏面反射画像、透過画像を取得し（ステップＳ１０１）、当該画像に基づいて、欠陥検出部９３１による欠陥の検出を行う（ステップＳ１０２）。次に、欠陥画像記憶部９３３が、欠陥画像を記憶装置に記録する（ステップＳ１０３）。続けて、同一欠陥画像統合部９３４が、記録された欠陥画像から、被検査物における欠陥の位置が同じである複数の画像を、一組の同一欠陥画像セットとして統合する（ステップＳ１０４）。次に、欠陥計数部９３５は、所定の検査単位ごとに、同一欠陥画像セットの組数を計数し、当該検査単位あたりの欠陥数を算出する（ステップＳ１０５）。ここで、欠陥数警告部９３６は、ステップＳ１０５で算出された欠陥数が所定の値（閾値）を超えるか否かを判定し（ステップＳ１０６）、超えると判定した場合には、その旨を通知し（ステップＳ１０７）、ステップＳ１０８に進む。一方、欠陥数が所定の値を超えないと判定した場合には、そのままステップＳ１０８に進む。そして、ステップＳ１０８において、欠陥種別分類部９３７が、同一欠陥画像セットとして統合された欠陥画像データの欠陥種別を分類、記録して、一連の処理を終了する。なお、欠陥数の計測から欠陥数が所定値を超えた場合の通知（ステップＳ１０５からステップＳ１０７）までの処理と、ステップＳ１０８の処理は順序が入れ替わっても構わない。
以上のような本適用例に係る検査管理システム９の構成により、同一の欠陥を示す複数の欠陥画像データをセットにして、計数、欠陥種別分類ができるので、同一の欠陥を示す複数の欠陥画像データを個別に管理することによる弊害（例えば、同一の欠陥を重複して計数する、確度の低い欠陥種別の分類を行う、など）を低減することができる。
＜実施例＞
以下に、この発明を実施するための形態の一例を、さらに詳しく説明する。ただし、この実施例に記載されている構成部品の寸法、材質、形状、その相対配置などは、特に記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。
（システム構成）
図３は、本実施例に係る検査管理システム１の構成例を模式的に示す図である。図３に示すように、本実施例に係る検査管理システム１は、主たる構成として、外観検査装置２及び検査管理装置３を有している。
（外観検査装置）
外観検査装置２は、シート状の物品の外観画像を取得し、当該画像に基づいて、欠陥の検出を行うための装置であり、主たる構成として、照明系、測定系、搬送機構（図示しない）、制御端末２３を備えている。
被検査物Ｔは、図示しない搬送機構によって、水平方向（矢印方向）に搬送され、その搬送中に測定系によって被検査物Ｔの外観画像が連続的に取得され、これに基づいて検査が実施される。被検査物Ｔは、シート状に形成されており、例えば、紙、布、フィルムなどが例示できる。また、単一素材に限られず、フィルムと不織布を貼り合わせた包装紙などのように、複数の層を有するようなシート体であってもよい。また、乾燥海苔などの食品であってもよい。
照明系は、被検査物Ｔの表面に可視光（例えば白色光）を照射する表面反射光源２１１、被検査物Ｔの表面に可視光を照射する裏面反射光源２１２、被検査物Ｔの裏面に可視光を照射する透過光源２１３を備えている。これらの各光源には、例えばＬＥＤ照明などを用いてもよい。
測定系は、表面反射光源２１１から照射され被検査物Ｔの表面で反射した光（以下、表面反射光という）を撮影する表面反射光カメラ２２１と、裏面反射光源２１２から照射され被検査物Ｔの表面で反射した光（以下、表面反射光という）を撮影する裏面反射光カメラ２２２と、透過光源２１３から照射され、被検査物Ｔを透過した光を撮影する透過光カメラ２２３と、を備えている。なお、測定系を構成する各カメラが、本発明における撮影手段に該当する。
各カメラは、それぞれが撮影する光を検知可能な受光センサと、レンズと、信号出力部と、を備えており、レンズを介して受光センサで検知した光を電気信号として出力する。センサとしては、例えばＣＣＤ又はＣＭＯＳセンサを用いる事ができる。
制御端末２３は、照明系、測定系、搬送機構を制御するとともに、各種情報の処理を行う。ハードウェア構成としては、入出力装置、プロセッサ、記憶装置、などを備えており、機能モジュールとして、欠陥検出部２３１、欠陥位置特定部２３２、欠陥画像記憶部２３３を備えている。
欠陥検出部２３１は、測定系の各カメラから入力された画像信号に基づいて、被検査物Ｔに含まれる欠陥の検出を行う。欠陥の検出は、例えば撮影された画像から得られる特徴量が所定の閾値から逸脱していないかを判定することによって行われる。特徴量には、例えば、輝度などを用いる事ができ、明度、彩度、色相などを用いてもよい。
本実施用例においては、表面反射光カメラ２２１が撮影する画像（以下、表面反射画像という）、裏面反射光カメラ２２２が撮影する画像（以下、裏面反射画像という）及び透過光カメラ２２３が撮影する画像（以下、透過画像という）のそれぞれに対して、特徴量の判定が行われる。
欠陥位置特定部２３２は、被検査物Ｔから欠陥が検出された場合に、当該欠陥が被検査物Ｔのどの箇所に位置するのかを特定する。位置の特定は例えば、予め定まっている被検査物Ｔの搬送速度、カメラの設置位置、被検査物Ｔの大きさ、及び、検査開始からの経過時間、に基づいて行うことができる。
欠陥画像記憶部２３３は、欠陥が検出された場合に、各カメラによって撮影された当該欠陥の画像（以下、欠陥画像という）を、欠陥位置特定部２３２が特定した当該欠陥の位置の情報と関連づけて記憶装置に記録する（以下、記録されたデータを欠陥画像データという）。また、欠陥が検出された撮影方式の画像だけで無く、他の撮影方式の対応する箇所の画像も記憶装置に記録するようにしてもよい。
（検査管理装置）
上述した外観検査装置２は、ネットワーク（ＬＡＮ）を介して検査管理装置３に接続されている。検査管理装置３は、外観検査装置２から検査に係る情報を取得し、当該情報の処理を行うものであり、ＣＰＵ（プロセッサ）、主記憶装置（メモリ）、補助記憶装置（ハードディスクなど）、入力装置（キーボード、マウス、コントローラ、タッチパネルなど）、出力装置（液晶ディスプレイ、スピーカー、プリンタなど）などを具備する汎用的なコンピュータシステムにより構成される。
なお、検査管理装置３は、１台のコンピュータにより構成してもよいし、複数のコンピュータにより構成してもよい。あるいは、外観検査装置２の制御端末２３に、検査管理装置３の機能の全部又は一部を実装することも可能である。あるいは、検査管理装置３の機能の一部をネットワーク上のサーバ（クラウドサーバなど）により実現してもよい。
本実施例の検査管理装置３のＣＰＵは、機能モジュールとして、同一欠陥画像統合部３１と、欠陥種別分類部３２と、教師データ登録部３３と、欠陥種別計数部３４と、欠陥種別欠陥数警告部３５と、を備えている。
同一欠陥画像統合部３１は、外観検査装置２から欠陥画像データを取得し、被検査物Ｔにおける欠陥の位置が同一の複数の欠陥画像を、一組の同一欠陥画像セットとして統合する。このようにしてセットにされた複数の欠陥画像は、１セットとして記憶装置に記録され、表示装置への表示、各種データ分析などの際に、一体的に処理される。
欠陥種別分類部３２は、同一欠陥画像セットとして統合された欠陥画像データを、欠陥種別に分類する。分類される欠陥の種別はユーザーにおいて任意に設定することができ、例えば、異物混入、汚れ、シワ、穴、といった種別を設けてもよいし、さらに細かい種別（例えば、虫、木片、金属異物、油汚れ、水汚れ、大穴、小穴、など）に分類するのであってもよい。
欠陥種別を分類する方法としては、表面反射画像、裏面反射画像、透過画像、のいずれかの画像に対する特徴量に基づいて行ってもよいし、各画像の欠陥箇所の特徴量の対比によって行ってもよいし、また、それぞれの検査方式で欠陥が検出されたか否か、検出のされ方の組み合わせ、などによって行ってもよい。また、これらの手法を組み合わせて、分類することもできる。
本実施例においては、欠陥種別分類部３２は、深層学習の手法で生成した学習済みモデルを利用する推論処理を組み合わせて欠陥種別の分類を行う。なお、欠陥種別分類処理の流れについては後述する。
教師データ登録部３３は、欠陥種別分類部３２の人工知能に深層学習を行わせるための教師データの登録を受け付ける機能を有しており、表示装置に同一欠陥画像セットを構成する複数の欠陥画像を表示したうえで、当該同一欠陥画像セットに対応する欠陥種別の入力をユーザーに求める。
欠陥種別計数部３４は、欠陥種別分類後の同一欠陥画像セットの数を種別ごとに計数し、所定の検査単位あたりの欠陥種別ごとの欠陥数を算出する。ここで、所定の検査単位とは、所定数（例えば、１ロール、１ロット、数ロット）であってもよいし、所定時間（例えば、１日、１週間、１ヶ月）であってもよい。
欠陥種別欠陥数警告部３５は、欠陥種別計数部が算出する欠陥種別ごとの欠陥数が、該欠陥種別ごとに定められた所定の値を超えるか否かを判定し、当該所定の値を超えて欠陥数が算出された欠陥種別があると判定した場合には、その旨を出力装置から出力すること
によってユーザーに通知する。ここで、出力装置による出力とは、例えば、表示装置によって表示するものであってもよく、スピーカーから警報音を発するものであってもよく、プリンタによって印刷されるものであってもよい。また、これらを併用して通知を行ってもよい。さらに、欠陥種別欠陥数警告部３５は、所定の値を超えた欠陥の種別についても併せて通知するようにしてもよい。
（欠陥種別分類の処理の流れ）
次に、欠陥種別分類部３２が、欠陥種別を分類する際の処理の流れを、図４に基づいて説明する。図４は本実施例における欠陥種別分類の処理の流れを示すフローチャートである。
欠陥種別分類部３２は、まず、対象となる同一欠陥画像セットにおける、表面反射画像、裏面反射画像、透過画像、の欠陥検出有無の組み合わせによって欠陥種別を分類する（ステップＳ２０１）。欠陥種別によっては、必ず特定の検査方式で検出される、又は、特定の検出方式では検出されない、という場合が存在するため、セットに含まれる各検査方式の画像の有無（即ち検査時に欠陥検出されたか否か）の組み合わせ条件で、欠陥種別の判別を行う事ができる。なお、欠陥画像データの記録時に、欠陥が検出された撮影方式の画像だけで無く、他の撮影方式の対応する箇所の画像も記憶装置に記録するようにする場合には、各画像に欠陥検出有無の識別情報を付与するようにすれば、当該識別情報の組み合わせで同様の処理を行うことができる。ステップＳ２０１で欠陥種別の分類ができた場合には処理を終了し、分類ができなかった場合には、ステップＳ２０３に進む（ステップＳ２０２）。
ステップＳ２０３では、欠陥種別分類部３２は所定の特徴量による欠陥種別分類を行う。具体的には、同一欠陥画像セットに含まれる欠陥画像のうち、一つでも当該特徴量判定の条件に合う画像が存在した場合、同一欠陥画像セットは当該欠陥種別に該当すると分類する。例えば、透過画像について、輝度のピークレベルが１００以上であって（最高値は２５５）、当該欠陥を示す面積が１ｍｍ２以上である場合には、同一欠陥画像セットの欠陥種別は穴であると分類する。ステップＳ２０３で欠陥種別の分類ができた場合には処理を終了し、分類ができなかった場合には、ステップＳ２０５に進む（ステップＳ２０４）。
ステップＳ２０５では、欠陥種別分類部３２は、同一欠陥画像セットに対し、事前に検査方式ごとに深層学習の手法で生成した学習済み推論モデルによる欠陥種別分類を行う。具体的には、表面反射画像、裏面反射画像、透過画像の各画像に対応する検査方式の学習済みモデルを利用して推論を行い、各欠陥種別の判定確率（即ち、所定の欠陥種別である確率）を算出する。そして、セットに含まれる全ての画像の各欠陥種別の判定確率の中で、最も値が大きい欠陥種別を、当該同一欠陥画像セットの欠陥種別であると分類する。なお、セットに含まれる画像に、所定の判定確率（例えば５０％）を超える欠陥種別が無い場合には、欠陥種別を「不明」として分類する。ステップＳ２０５で欠陥種別が「不明」として分類された場合には、ステップＳ２０７に進み、それ以外の欠陥種別に分類された場合には、処理を終了する（ステップＳ２０６）。
ステップＳ２０７では、欠陥種別が不明と分類された同一欠陥画像セットの画像を表示装置に表示した上で、ユーザーに確認を促す警告を行い、分類処理を終了する。以上のような構成により、ユーザーは大量にある画像の中から優先的に確認すべき画像を判断できる。
また、上記の分類の結果は、さらに推論モデルの教師データとして活用することもできる。最終的に種別が「不明」として分類された同一欠陥画像セットであっても教師データ
として、活用することができる。具体的には、上記のステップＳ２０７の警告の後、ユーザーが当該セットを確認し、最も判定確率の高かった欠陥種別が実際の欠陥と一致していれば、当該欠陥の教師データとして同一欠陥画像セットに含まれる画像を追加する。一方、最も判定確率の高かった欠陥種別と異なる欠陥種別が実際の欠陥であった場合には、当該他の欠陥の教師データとして同一欠陥画像セットに含まれる画像を登録する。このようにすることで、より正しい教師データを蓄積することができる。
また、教師データ登録部３３の機能により、教師データ登録時には、同一の欠陥を示す複数の検査方式による画像を一度に、並列して表示し、一括で欠陥種別の入力を受け付けるため、正確かつ効率よく欠陥画像データを教師データとして登録することができる。このようにして登録された、正しい教師データに基づいて学習させることで、より判定精度の高い学習済みモデルを作成することができる。
＜変形例＞
なお、上記実施例の欠陥種別分類の処理では、特徴量による欠陥種別分類を行ってから（ステップＳ２０３）、学習済み推論モデルによる欠陥種別分類を行っていたが（ステップＳ２０５）、これらの処理の順序が入れ替わっても構わない。
また、上記実施例では、深層学習の手法で生成した推論モデルを用いていたが、他の機械学習の手法によって生成されたモデルを用いてもよい。さらに、複数の機械学習の手法によって生成されたモデルを組み合わせて分類処理をおこなってもよい。
また、上記の実施例では、検査管理装置３は欠陥種別分類後の同一欠陥画像セットの数を計数する欠陥種別計数部３４を有する構成であったが、これに加えて、欠陥種別分類前の同一欠陥画像セットを計数する欠陥数計測部を備えていてもよい。また、この場合には、当該欠陥数計測部が算出した欠陥数が所定の値を超えているか否かを判定し、超えている場合には、出力装置を介してその旨をユーザーに通知する欠陥数警告部をさらに備えていてもよい。
また、上記の実施例では、照明系の光源は全て可視光を照射するものであり、測定系は光源の数と同じ数のカメラを備えるものであったが、照明系、測定系の構成は必ずしもこれに限られない。例えば、光源の一部又は全部を赤外線にしてもよいし、測定系のカメラに分光プリズムを設け、複数の異なる波長の光を一台のカメラで検出可能な構成としてもよい。また、表面反射画像、裏面反射画像、透過画像のいずれかを取得しない構成としてもよい。
＜その他＞
上記の実施例の説明は、本発明を例示的に説明するものに過ぎず、本発明は上記の具体的な形態には限定されない。本発明は、その技術的思想の範囲内で種々の変形が可能である。例えば上記の各例では、照明系及び測定系を固定し、被検査物Ｔを移動させていたが、これに代えて、被検査物Ｔを固定し、照明系及び測定系を移動させてもよい。
本発明の一の態様は、シート状の被検査物を検査するための検査管理システム（１）であって、前記被検査物（Ｔ）の外観を、異なる方式により撮影する複数の撮影手段（２２１；２２２；２２３）と、前記複数の撮影手段により撮影されたそれぞれの画像に基づいて、前記被検査物の欠陥を検出する検出手段（２３１）と、を備える外観検査部（２）と、前記複数の異なる方式の撮影手段ごとに、前記検出手段により検出された欠陥が撮影されている欠陥画像データが記録される記憶部と、前記記憶部に記録された前記欠陥画像データの集合のうち、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして処理する同一欠陥画像統合手段（３１）を備え
る、検査管理部（３）と、を有する、検査管理システムである。
また、本発明の他の一の態様は、シート状の被検査物の外観検査を管理する方法であって、前記被検査物を２つ以上の異なる方式により撮影する第１ステップ（Ｓ１０１）と、前記第１ステップで撮影された複数の異なる撮影方式による被検査物の画像に基づいて、前記被検査物の欠陥を検出する第２ステップ（Ｓ１０２）と、前記第２ステップで検出された欠陥が撮影されている欠陥画像データを記録する第３ステップ（Ｓ１０３）と、前記第３ステップで記録された欠陥画像データの集合のうち、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして統合する第４ステップ（Ｓ１０４）と、所定の検査単位ごとに、前記第４ステップで統合された同一欠陥画像セットの数を計数して、欠陥数を算出する第５のステップ（Ｓ１０５）と、を有する検査管理方法である。
１、９・・・検査管理システム
２・・・外観検査装置
２１１、９１１・・・表面反射光源
２１２、９１２・・・裏面反射光源
２１３、９１３・・・透過光源
２２１・・・表面反射光カメラ
２２２・・・表面反射光カメラ
２２３・・・透過光カメラ
２３、９３・・・制御端末
３・・・検査管理装置
９２１・・・表面撮影カメラ
Ｔ・・・被検査物

Claims (16)

  1. シート状の被検査物の検査を管理するための検査管理システムであって、
    前記被検査物の外観を、異なる方式により撮影する複数の撮影手段と、前記複数の撮影手段により撮影されたそれぞれの画像に基づいて、前記被検査物の欠陥を検出する検出手段と、を備える外観検査部と、
    前記複数の異なる方式の撮影手段ごとに、前記検出手段により検出された欠陥が撮影されている欠陥画像データが記録される記憶部と、
    前記記憶部に記録された前記欠陥画像データの集合のうち、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして処理する同一欠陥画像統合手段を備える、検査管理部と、
    を有する、検査管理システム。
  2. 前記検査管理部は、
    前記同一欠陥画像セットの数を計数して、所定の検査単位ごとに、欠陥数を算出する欠陥計数手段をさらに備える、
    ことを特徴とする、請求項１に記載の検査管理システム。
  3. 出力部をさらに有しており、
    前記検査管理部は、
    前記算出された欠陥数が所定の値を超えた場合に、その旨を前記出力部を介して通知する欠陥数警告手段をさらに備える、
    ことを特徴とする、請求項２に記載の検査管理システム。
  4. 前記検査管理部は、
    前記同一欠陥画像セットごとに、前記欠陥の種別を分類する、欠陥種別分類手段をさらに備える、
    ことを特徴とする、請求項１から３のいずれか１項に記載の検査管理システム。
  5. 前記検査管理部は、
    前記欠陥種別分類手段によって分類された欠陥種別ごとに前記同一欠陥画像セットの数を計数し、所定の検査単位ごとに、欠陥種別ごとの欠陥数を算出する、欠陥種別計数手段をさらに備える、
    ことを特徴とする、請求項４に記載の検査管理システム。
  6. 出力部を有しており、
    前記検査管理部は、前記算出された欠陥種別ごとの欠陥数が、該欠陥種別ごとに定められた所定の値を超えた場合に、その旨を前記出力部を介して通知する欠陥種別欠陥数警告手段をさらに備える、
    ことを特徴とする、請求項５に記載の検査管理システム。
  7. 前記欠陥種別分類手段は、深層学習の手法により学習済みの推論手段を含む、ことを特徴とする、請求項４から６のいずれか１項に記載の検査管理システム。
  8. 表示部をさらに有しており、
    前記検査管理部は、
    前記表示部に、前記同一欠陥画像セットごとに該セットを構成する欠陥画像データを同時に表示し、該表示された欠陥画像データのセットに対応する欠陥種別の登録をユーザーに求める、深層学習用教師データ登録手段をさらに備える、
    ことを特徴とする、請求項７に記載の検査管理システム。
  9. 前記欠陥種別分類手段は、
    前記同一欠陥画像セットの欠陥種別の分類を、所定の確度以上の正確さで行えない場合には、該同一欠陥画像セットについての欠陥種別を不明として分類する、
    ことを特徴とする、請求項４から８のいずれか１項に記載の検査管理システム。
  10. 前記欠陥種別分類手段は、
    欠陥種別を不明として分類した前記同一欠陥画像セットについて、ユーザーによる欠陥種別の分類を求める、
    ことを特徴とする、請求項９に記載の検査管理システム。
  11. 前記被検査物の外観を異なる方式により撮影する２つ以上の撮影手段は、
    前記被検査物の第１の面で反射した反射光による画像を撮影する表面撮影手段、前記被検査物の第１の面と反対側の第２の面で反射した反射光による画像を撮影する裏面撮影手段、及び、前記被検査物を透過した透過光による画像を撮影する透過光撮影手段のうち、いずれか２つ以上を含む、
    ことを特徴とする、請求項１から１０のいずれか１項に記載の検査管理システム。
  12. 前記被検査物の外観を異なる方式により撮影する２つ以上の撮影手段は、
    第１の波長の光によって前記被検査物を撮影する第１波長撮影手段と、前記第１の波長とは異なる波長の光によって前記被検査物を撮影する第２波長撮影手段、とを含む、
    ことを特徴とする請求項１から１１のいずれか１項に記載の検査管理システム。
  13. 前記同一欠陥画像統合手段は、
    前記被検査物における前記欠陥の位置が同一である複数の異なる欠陥画像データを、１つの同一欠陥画像セットとして統合する、
    ことを特徴とする、請求項１から１２のいずれか１項に記載の検査管理システム。
  14. シート状の被検査物の外観を異なる複数の撮影方式により撮影して取得した欠陥画像データを処理する検査管理装置であって、
    前記欠陥画像データの集合から、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして処理する、同一欠陥画像統合手段を備える、検査管理装置。
  15. シート状の被検査物の外観検査を管理する検査管理方法であって、
    前記被検査物を２つ以上の異なる方式により撮影する第１ステップと、
    前記第１ステップで撮影された複数の異なる撮影方式による被検査物の画像に基づいて、前記被検査物の欠陥を検出する第２ステップと、
    前記第２ステップで検出された欠陥が撮影されている欠陥画像データを記録する第３ステップと、
    前記第３ステップで記録された欠陥画像データの集合のうち、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして統合する第４ステップと、
    所定の検査単位ごとに、前記第４ステップで統合された同一欠陥画像セットの数を計数して、欠陥数を算出する第５のステップと、を有する検査管理方法。
  16. 前記第５のステップで算出された欠陥数が所定の値を超えた場合に、その旨を通知する第６のステップをさらに有する、
    ことを特徴とする、請求項１５に記載の検査管理方法。
JP2018081064A 2018-04-20 2018-04-20 検査管理システム、検査管理装置及び検査管理方法 Active JP6981352B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018081064A JP6981352B2 (ja) 2018-04-20 2018-04-20 検査管理システム、検査管理装置及び検査管理方法
KR1020190037102A KR20190122550A (ko) 2018-04-20 2019-03-29 검사 관리 시스템, 검사 관리 장치 및 검사 관리 방법
TW108111533A TWI693397B (zh) 2018-04-20 2019-04-01 檢查管理系統、檢查管理裝置以及檢查管理方法
CN201910258395.8A CN110390661A (zh) 2018-04-20 2019-04-01 检查管理系统、检查管理装置及检查管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018081064A JP6981352B2 (ja) 2018-04-20 2018-04-20 検査管理システム、検査管理装置及び検査管理方法

Publications (2)

Publication Number Publication Date
JP2019190891A true JP2019190891A (ja) 2019-10-31
JP6981352B2 JP6981352B2 (ja) 2021-12-15

Family

ID=68284892

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018081064A Active JP6981352B2 (ja) 2018-04-20 2018-04-20 検査管理システム、検査管理装置及び検査管理方法

Country Status (4)

Country Link
JP (1) JP6981352B2 (ja)
KR (1) KR20190122550A (ja)
CN (1) CN110390661A (ja)
TW (1) TWI693397B (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111982929A (zh) * 2020-08-14 2020-11-24 加藤义晴 一种电子部件检测设备及电子部件检测方法
CN113155853A (zh) * 2020-08-13 2021-07-23 株式会社名南制作所 板状木材的缺陷检测系统、缺陷检测方法及缺陷检测用程序
CN113960071A (zh) * 2021-10-23 2022-01-21 朗升柯式印刷(深圳)有限公司 用于彩印产品的品质检测工艺及检测系统
JP2022032933A (ja) * 2020-08-13 2022-02-25 株式会社名南製作所 板状木材の欠陥検査システム、欠陥検査方法および欠陥検査用プログラム
JP2022073139A (ja) * 2020-10-30 2022-05-17 京セラ株式会社 故障予兆検知方法、故障予兆検知装置及びプログラム
KR20220110944A (ko) * 2021-02-01 2022-08-09 김현식 플라스틱 박스 포장기
JP2022144704A (ja) * 2021-03-19 2022-10-03 リンテック株式会社 金属物質判別方法、金属物質判別装置および学習済みモデルの生成方法
JP2023514891A (ja) * 2019-12-20 2023-04-12 京東方科技集團股▲ふん▼有限公司 分散型製品欠陥分析システム、方法及びコンピュータ可読記憶媒体
WO2024241607A1 (ja) * 2023-05-22 2024-11-28 三菱電機株式会社 被検査物の欠陥を管理する装置、機械学習方法および学習済モデルの製造方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7547722B2 (ja) * 2019-10-09 2024-09-10 オムロン株式会社 シート検査装置
WO2021140600A1 (ja) * 2020-01-09 2021-07-15 オリンパス株式会社 画像処理システム、内視鏡システム及び画像処理方法
WO2021192376A1 (ja) * 2020-03-24 2021-09-30 日本電産株式会社 外観検査システムおよびコンピュータプログラム
CN111458345A (zh) * 2020-04-03 2020-07-28 广州超音速自动化科技股份有限公司 一种口罩缺陷视觉检测机构
TWI816060B (zh) * 2020-10-28 2023-09-21 友達光電股份有限公司 監測系統及其方法
JP7604190B2 (ja) * 2020-11-25 2024-12-23 キヤノン株式会社 検査システム、管理装置、検査方法、プログラム、記録媒体および物品の製造方法
CN116981933A (zh) * 2021-03-22 2023-10-31 大金工业株式会社 检查系统及检查方法
CN114858806A (zh) * 2022-03-31 2022-08-05 重庆中烟工业有限责任公司 一种卷烟质量检验数据分析系统与方法
CN114759876A (zh) * 2022-05-06 2022-07-15 苏州欧普泰新能源科技有限公司 一种适用于检测光伏组件划痕及气泡的设备
CN115055385B (zh) * 2022-06-09 2024-03-22 黄冈师范学院 机器视觉片材瑕疵自动剔除方法
CN117408931A (zh) * 2022-07-06 2024-01-16 纬创资通(昆山)有限公司 影像缺陷检测系统、其产生方法及计算机可读取记录媒体

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000057349A (ja) * 1998-08-10 2000-02-25 Hitachi Ltd 欠陥の分類方法およびその装置並びに教示用データ作成方法
US6064478A (en) * 1995-03-29 2000-05-16 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Method of and apparatus for automatic detection of three-dimensional defects in moving surfaces by means of color vision systems
JP2003329596A (ja) * 2002-05-10 2003-11-19 Mitsubishi Rayon Co Ltd 欠陥検査装置及び欠陥検査方法
JP2004286532A (ja) * 2003-03-20 2004-10-14 Olympus Corp 外観検査方法及びその装置
JP2017215277A (ja) * 2016-06-02 2017-12-07 住友化学株式会社 欠陥検査システム、フィルム製造装置及び欠陥検査方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS535002A (en) 1976-07-06 1978-01-18 Kobe Steel Ltd Sintering method of iron ore
JP2003262593A (ja) * 2002-03-08 2003-09-19 Mitsubishi Rayon Co Ltd 欠陥検出装置及び欠陥検出方法
KR100897223B1 (ko) * 2004-11-24 2009-05-14 아사히 가라스 가부시키가이샤 투명 판상체의 결함 검사 방법 및 장치
JP2009036747A (ja) * 2007-07-06 2009-02-19 Toray Ind Inc 回路パターンの欠陥検査装置および欠陥検査方法
KR101286534B1 (ko) * 2008-02-29 2013-07-16 엘지디스플레이 주식회사 액정표시장치의 검사장치 및 검사방법
TWI420098B (zh) * 2008-07-18 2013-12-21 Asahi Glass Co Ltd A defect inspection apparatus and method using the image data for defect inspection, a method for manufacturing the same, and a recording medium
JP6314557B2 (ja) 2014-03-12 2018-04-25 オムロン株式会社 シート検査装置
CN107656986A (zh) * 2017-09-12 2018-02-02 武汉华星光电技术有限公司 微观缺陷整合预警方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6064478A (en) * 1995-03-29 2000-05-16 Fraunhofer-Gesellschaft Zur Forderung Der Angewandten Forschung E.V. Method of and apparatus for automatic detection of three-dimensional defects in moving surfaces by means of color vision systems
JP2000057349A (ja) * 1998-08-10 2000-02-25 Hitachi Ltd 欠陥の分類方法およびその装置並びに教示用データ作成方法
JP2003329596A (ja) * 2002-05-10 2003-11-19 Mitsubishi Rayon Co Ltd 欠陥検査装置及び欠陥検査方法
JP2004286532A (ja) * 2003-03-20 2004-10-14 Olympus Corp 外観検査方法及びその装置
JP2017215277A (ja) * 2016-06-02 2017-12-07 住友化学株式会社 欠陥検査システム、フィルム製造装置及び欠陥検査方法

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023514891A (ja) * 2019-12-20 2023-04-12 京東方科技集團股▲ふん▼有限公司 分散型製品欠陥分析システム、方法及びコンピュータ可読記憶媒体
KR102937745B1 (ko) * 2019-12-20 2026-03-12 보에 테크놀로지 그룹 컴퍼니 리미티드 분산형 제품 결함 분석 시스템 및 방법, 및 컴퓨터 판독가능 저장 매체
US11880968B2 (en) 2019-12-20 2024-01-23 Boe Technology Group Co., Ltd. Distributed computing system for product defect analysis
JP7393515B2 (ja) 2019-12-20 2023-12-06 京東方科技集團股▲ふん▼有限公司 分散型製品欠陥分析システム、方法及びコンピュータ可読記憶媒体
JP2022032933A (ja) * 2020-08-13 2022-02-25 株式会社名南製作所 板状木材の欠陥検査システム、欠陥検査方法および欠陥検査用プログラム
US11615521B2 (en) 2020-08-13 2023-03-28 Meinan Machinery Works, Inc. Defect inspection system, defect inspection method, and defect inspection program for wood plank
CN113155853B (zh) * 2020-08-13 2022-08-05 株式会社名南制作所 板状木材的缺陷检测系统、缺陷检测方法及缺陷检测用程序
CN113155853A (zh) * 2020-08-13 2021-07-23 株式会社名南制作所 板状木材的缺陷检测系统、缺陷检测方法及缺陷检测用程序
US20220051392A1 (en) * 2020-08-13 2022-02-17 Meinan Machinery Works, Inc Defect inspection system, defect inspection method, and defect inspection program for wood plank
CN111982929A (zh) * 2020-08-14 2020-11-24 加藤义晴 一种电子部件检测设备及电子部件检测方法
JP7563689B2 (ja) 2020-10-30 2024-10-08 京セラ株式会社 故障予兆検知方法、故障予兆検知装置及びプログラム
JP2022073139A (ja) * 2020-10-30 2022-05-17 京セラ株式会社 故障予兆検知方法、故障予兆検知装置及びプログラム
KR102485878B1 (ko) * 2021-02-01 2023-01-06 김현식 플라스틱 박스 포장기
KR20220110944A (ko) * 2021-02-01 2022-08-09 김현식 플라스틱 박스 포장기
JP2022144704A (ja) * 2021-03-19 2022-10-03 リンテック株式会社 金属物質判別方法、金属物質判別装置および学習済みモデルの生成方法
JP7626640B2 (ja) 2021-03-19 2025-02-04 リンテック株式会社 金属物質判別方法、金属物質判別装置および学習済みモデルの生成方法
CN113960071A (zh) * 2021-10-23 2022-01-21 朗升柯式印刷(深圳)有限公司 用于彩印产品的品质检测工艺及检测系统
WO2024241607A1 (ja) * 2023-05-22 2024-11-28 三菱電機株式会社 被検査物の欠陥を管理する装置、機械学習方法および学習済モデルの製造方法

Also Published As

Publication number Publication date
TWI693397B (zh) 2020-05-11
TW201944059A (zh) 2019-11-16
KR20190122550A (ko) 2019-10-30
JP6981352B2 (ja) 2021-12-15
CN110390661A (zh) 2019-10-29

Similar Documents

Publication Publication Date Title
JP6981352B2 (ja) 検査管理システム、検査管理装置及び検査管理方法
TWI484161B (zh) 缺陷檢查系統及使用於該缺陷檢查系統之缺陷檢查用攝影裝置、缺陷檢查用畫像處理裝置、缺陷檢查用畫像處理程式、記錄媒體及缺陷檢查用畫像處理方法
JP2017215277A (ja) 欠陥検査システム、フィルム製造装置及び欠陥検査方法
TWI612294B (zh) 基板檢查裝置及基板檢查方法
KR20160032593A (ko) 초분광영상화 기법을 이용한 글라스(Glass) 결함 검출 방법 및 장치
TWI823261B (zh) 支援裝置以及支援方法
JP2013134666A (ja) 二値画像生成装置、分類装置、二値画像生成方法および分類方法
JP7293907B2 (ja) 外観検査管理システム、外観検査管理装置、外観検査管理方法及びプログラム
CN112129768B (zh) 外观检查管理系统、装置、方法以及存储介质
JP5231779B2 (ja) 外観検査装置
JP2014186030A (ja) 欠点検査装置
TWI776275B (zh) 影像辨識裝置以及影像辨識方法
WO2025215902A1 (ja) 情報処理システム、制御方法、および制御プログラム
TWI731565B (zh) 片狀材料快速檢測瑕疵整合系統及其使用方法
JP2011145305A (ja) 欠陥検査システム、並びに、それに用いる、欠陥検査用撮影装置、欠陥検査用画像処理装置、欠陥検査用画像処理プログラム、記録媒体、および欠陥検査用画像処理方法
TW202603349A (zh) 特徵點之抽取方法、控制程式及資訊處理系統
KR20110020403A (ko) 평판 유리 표면 이물질 검사 장치
JP4659970B2 (ja) 光学システムの欠陥検査装置
CN118671094A (zh) 检查装置、检查方法、以及存储有程序的存储介质
WO2025204016A1 (ja) 情報処理システム、特徴点の抽出方法、および制御プログラム
KR20250033003A (ko) 필름 검사 장치, 필름 검사 방법 및 매체에 저장된 컴퓨터 프로그램
CN121366110A (zh) 信息处理装置和信息处理方法
CN121330315A (zh) 一种电路板缺陷检测方法、系统、计算机设备及存储介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200305

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210426

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211019

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211101

R150 Certificate of patent or registration of utility model

Ref document number: 6981352

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150