JP2020008481A - 画像処理装置、画像処理方法及び画像処理プログラム - Google Patents

画像処理装置、画像処理方法及び画像処理プログラム Download PDF

Info

Publication number
JP2020008481A
JP2020008481A JP2018131417A JP2018131417A JP2020008481A JP 2020008481 A JP2020008481 A JP 2020008481A JP 2018131417 A JP2018131417 A JP 2018131417A JP 2018131417 A JP2018131417 A JP 2018131417A JP 2020008481 A JP2020008481 A JP 2020008481A
Authority
JP
Japan
Prior art keywords
image
defective
learning model
image processing
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2018131417A
Other languages
English (en)
Other versions
JP7668082B2 (ja
Inventor
藤枝 紫朗
Shiro Fujieda
紫朗 藤枝
ジェウック ホワン
Jaewook Hwang
ジェウック ホワン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to JP2018131417A priority Critical patent/JP7668082B2/ja
Priority to PCT/JP2019/023803 priority patent/WO2020012874A1/ja
Publication of JP2020008481A publication Critical patent/JP2020008481A/ja
Application granted granted Critical
Publication of JP7668082B2 publication Critical patent/JP7668082B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/88Investigating the presence of flaws or contamination
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

【課題】学習モデルを生成するための処理負荷を低減することができる画像処理装置、画像処理方法及び画像処理プログラムを提供する。【解決手段】画像処理装置10は、対象物Wの画像を撮像するカメラ1と、対象物Wが良品あるか否かを判定するコントローラ2と、を備え、コントローラ2は、画像を学習モデルに入力し、学習モデルの出力に基づいて、対象物Wが良品であるか否かを判定する判定部202と、対象物Wの良品画像を判定部202に判定させ、良品でないと判定された場合に、良品画像を記憶部205に記憶させ、学習モデルを生成するための学習用データとして登録する登録部203と、を有する。【選択図】図1

Description

本発明は、画像処理装置、画像処理方法及び画像処理プログラムに関する。
従来、生産ラインを搬送されるワークの画像を撮像し、その画像に基づいてワークが良品であるか不良品であるかを判定する画像処理装置が用いられている(例えば下記特許文献1及び2参照)。このような画像処理装置において、過去に撮像された良品の画像を学習用データとして用いて学習モデルを生成し、学習モデルによりワークが良品であるか不良品であるかを判定することがある。
特開2017−107313号公報 特開2009−281742号公報
学習用データとして良品画像を用いる画像処理装置において、学習モデルを生成するために、大量の良品画像を用意する場合がある。しかしながら、学習用データの数が多くなると、学習モデルを生成するための処理負荷が大きくなる。
そこで、本発明は、学習モデルを生成するための処理負荷を低減することができる画像処理装置、画像処理方法及び画像処理プログラムを提供する。
本開示の一態様に係る画像処理装置は、対象物の画像を撮像するカメラと、対象物が良品あるか否かを判定するコントローラと、を備え、コントローラは、画像を学習モデルに入力し、学習モデルの出力に基づいて、対象物が良品であるか否かを判定する判定部と、対象物の良品画像を判定部に判定させ、良品でないと判定された場合に、良品画像を記憶部に記憶させ、学習モデルを生成するための学習用データとして登録する登録部と、を有する。
この態様によれば、対象物の良品画像が、判定部によって誤って良品でないと判定された場合に、その画像を学習用データとして登録することで、学習用データの数を少なくしつつ、学習モデルの判定精度を向上させることができ、学習モデルを生成するための処理負荷を低減することができる。
上記態様において、コントローラは、少なくとも所定枚数の良品画像を含む学習用データを用いて、学習モデルを生成するモデル生成部をさらに有し、モデル生成部により学習モデルを生成した後に、登録部による処理を実行してもよい。
この態様によれば、所定枚数の良品画像を含む学習用データを用いて学習モデルを生成した後、登録部による処理によって学習モデルの判定精度の向上に寄与する学習用データを追加していくことができる。
上記態様において、モデル生成部は、登録部により良品画像が登録された学習用データを用いて、学習モデルを更新してもよい。
この態様によれば、所定枚数の良品画像を含む学習用データを用いて学習モデルを生成した後、登録部による処理によって学習用データを追加し、学習モデルの判定精度を向上させていくことができる。
上記態様において、登録部による処理は、予め収集された良品画像を用いて実行されてもよい。
この態様によれば、過去に収集された良品画像を用いて学習モデルを生成することができ、画像処理装置を稼働させた直後からら学習モデルによる良否判定を行えるようにすることができる。
上記態様において、登録部による処理は、カメラにより撮像された良品画像を用いて実行されてもよい。
この態様によれば、画像処理装置が実際に稼働する環境で撮像された対象物の良品画像を用いて、学習モデルを生成することができる。
上記態様において、良品画像が学習用データとして登録されているか否かを表示する表示部をさらに備えてもよい。
この態様によれば、学習モデルがいずれの良品画像を用いて生成されたものであるかを一目で確認することができ、学習モデルの改良や再現を容易に行うことができる。
本開示の他の態様に係る画像処理方法は、対象物の画像を撮像するカメラと、対象物が良品あるか否かを判定するコントローラと、を備える画像処理装置のコントローラによって、画像を学習モデルに入力し、学習モデルの出力に基づいて、対象物が良品であるか否かを判定することと、対象物の良品画像が良品でないと判定された場合に、良品画像を記憶部に記憶させ、学習モデルを生成するための学習用データとして登録することと、を実行する。
この態様によれば、対象物の良品画像が、判定部によって誤って良品でないと判定された場合に、その画像を学習用データとして登録することで、学習用データの数を少なくしつつ、学習モデルの判定精度を向上させることができ、学習モデルを生成するための処理負荷を低減することができる。
本開示の他の態様に係る画像処理プログラムは、対象物の画像を撮像するカメラと、対象物が良品あるか否かを判定するコントローラと、を備える画像処理装置のコントローラを、画像を学習モデルに入力し、学習モデルの出力に基づいて、対象物が良品であるか否かを判定する判定部、及び対象物の良品画像を判定部に判定させ、良品でないと判定された場合に、良品画像を記憶部に記憶させ、学習モデルを生成するための学習用データとして登録する登録部、として機能させる。
この態様によれば、対象物の良品画像が、判定部によって誤って良品でないと判定された場合に、その画像を学習用データとして登録することで、学習用データの数を少なくしつつ、学習モデルの判定精度を向上させることができ、学習モデルを生成するための処理負荷を低減することができる。
本開示の他の態様に係る画像処理装置は、対象物の画像を撮像するカメラと、対象物が第1クラス又は第2クラスのいずれに属するかを判定するコントローラと、を備え、コントローラは、画像を学習モデルに入力し、学習モデルの出力に基づいて、対象物が第1クラス又は第2クラスのいずれに属するかを判定する判定部と、第1クラスに属する対象物の画像を判定部に判定させ、第2クラスに属すると判定された場合に、当該画像を記憶部に記憶させ、学習モデルを生成するための学習用データとして登録する登録部と、を有する。
この態様によれば、第1クラスに属する対象物の画像が、学習モデルによって誤って第2モデルに属すると判定された場合に、その画像を学習用データとして登録することで、学習用データの数を少なくしつつ、学習モデルの判定精度を向上させることができ、学習モデルを生成するための処理負荷を低減することができる。
本発明によれば、学習モデルを生成するための処理負荷を低減することができる画像処理装置、画像処理方法及び画像処理プログラムが提供される。
本発明の実施形態に係る画像処理装置の設置例を示す図である。 本実施形態に係る画像処理装置の物理的構成を示す図である。 本実施形態に係る画像処理装置の機能ブロック図である。 本実施形態に係る画像処理装置により学習用データを登録する処理のフローチャートである。 本実施形態に係る画像処理装置の学習用データ登録画面の一例である。 本実施形態に係る画像処理装置により学習用データを登録する他の処理のフローチャートである。
以下、本発明の一側面に係る実施の形態(以下、「本実施形態」と表記する。)を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。
[構成例]
図1及び図2を参照しつつ、本実施形態に係る画像処理装置10の構成の一例について説明する。図1は、本実施形態に係る画像処理装置10の設置例を示す図である。画像処理装置10は、カメラ1と、コントローラ2と、モニタ3と、コンソール4とを備える。
カメラ1は、対象物の画像を撮像する。カメラ1は、ラインLを搬送されるワークWの画像を撮像するものであってよく、画像はカラー画像であってもよいし、白黒画像であってもよい。ワークWは、対象物の一例であるが、対象物は、ワークWの一部7(マーク、文字、欠陥等)であってもよい。なお、カメラ1は1台に限定されず、複数台備えられてもよい。
コントローラ2は、ワークW等の対象物が良品あるか否かを判定する。コントローラ2は、カメラ1により撮像された画像を処理することによって、対象物の位置、姿勢及び大きさ等を解析してよく、対象物が良品であるか不良品であるかの良否判定を行ってよい。ここで、対象物の良否判定は、教師有り学習又は教師無し学習により生成された判定モデルにより行われてよい。判定モデルは、例えば複数の良品画像について主成分分析を行い、画像の主成分が閾値以上であるかによって対象物が良品であるか否かを判定するものであってよい。また、判定モデルは、複数の良品画像を入力として受け付け、中間層の値から元の画像を復元するように学習されたオートエンコーダーにより、中間層の値が閾値以上であるかによって、対象物が良品であるか否かを判定するものであってよい。もっとも、判定モデルは、任意の機械学習モデルを含んでよい。
モニタ3は、カメラ1により撮像された画像を表示したり、コントローラ2による解析結果を表示したり、学習用データの登録画面を表示したりしてよい。モニタ3は、例えば液晶表示装置により構成されてよい。
コンソール4は、コントローラ2の入力部であり、例えばマウス、キーボード、タッチパネル等により構成されてよい。もっとも、コンソール4の形態は限定されず、任意の形態であってよい。
図2は、本実施形態に係る画像処理装置10の物理的構成を示す図である。画像処理装置10のコントローラ2は、CPU21、フラッシュメモリ22、RAM(Random Access Memory)23、グラフィックコントローラ24、カメラ用I/F(Interface)25、入力用I/F26及び外部用I/F27を備える。
CPU21は、フラッシュメモリ22及びRAM23に記憶された画像処理プログラムの実行に関する制御やデータの演算、加工を行う。CPU21は、後述する判定部202及び登録部203として動作する。CPU21は、カメラ1からカメラ用I/F25を介して画像データを受け取ったり、コンソール4から入力用I/F26を介してデータを受け取ったり、外部機器から外部用I/Fを介してデータを受け取ったりして、グラフィックコントローラ24を介して演算結果をモニタ3に表示したり、フラッシュメモリ22やRAM23に格納したりする。
フラッシュメモリ22は、画像処理プログラムや処理に必要なパラメータ等を記憶してよい。RAM23は、カメラ1により撮像された画像データや、CPU21による演算結果又は演算途中のデータ等を少なくとも一時的に記憶してよい。
カメラ用I/F25は、カメラ1の駆動回路や、R,G,Bの各画像信号を受け付けるためのバッファ、A/D変換回路(いずれも図示せず。)等を含んでよい。入力用I/F26は、コンソール4からの信号を受け付け、CPU21に伝送してよい。外部用I/F27は、図示しない外部機器(パーソナルコンピュータやPLC等)と通信するインターフェースであってよい。外部用I/F27は、インターネットやLAN(Local Area Network)等の通信ネットワークを介して他の画像処理装置と通信するインターフェースであってもよい。グラフィックコントローラ24は、モニタ3に対する表示制御を実行するものであってよい。
ワーク検出用センサ5は、ラインLに設置され、ワークWの到来を検出する。ワーク検出用センサ5は、光電センサや近接センサで構成されてよい。CPU21は、ワーク検出用センサ5からワークWを検出したことを示す信号を受信すると、カメラ用I/F25を用いてカメラ1を駆動し、ワークWを撮像させる。そして、ワークWの画像が生成され、RAM23に保存されると、CPU21は、フラッシュメモリ22に記憶された画像処理プログラムに基づき、画像に撮影されたワークWの一部7を抽出する処理や、計測処理を実行し、さらにその計測結果に基づき、対象物の良否を判定してよい。また、CPU21は、処理結果を示す画像や判定結果のデータをフラッシュメモリ22やRAM23に格納してよい。
なお、コントローラ2は、画像処理装置10のため専用に開発された装置であってもよいし、画像処理プログラムがインストールされた汎用コンピュータであってもよい。この場合、画像処理プログラムは、CD−ROMなどの記憶媒体又は通信回線を介してコンピュータに提供されてよい。
図3は、本実施形態に係る画像処理装置10の機能ブロック図である。本実施形態に係る画像処理装置10は、モデル生成部201、判定部202、登録部203、学習モデル記憶部204及び学習用データ記憶部205を備える。
モデル生成部201は、少なくとも所定枚数の良品画像を含む学習用データを用いて、学習モデルを生成する。学習モデル記憶部204は、モデル生成部201により生成された学習モデルを記憶する。モデル生成部201は、学習用データ記憶部205に記憶された学習用データを用いて、学習モデルを生成し、生成した学習モデルを学習モデル記憶部204に記憶させてよい。この際、学習用データは、所定枚数(例えば10枚)以上の良品画像のみを含むデータであってよい。すなわち、学習モデルは、良品画像のみを用いて生成されてよく、対象物が良品であるか否かを判定するように、機械学習の手法により生成されてよい。
判定部202は、画像を学習モデルに入力し、学習モデルの出力に基づいて、対象物が良品であるか否かを判定する。判定部202は、対象物の画像を、学習モデル記憶部204に記憶された学習モデルに入力し、学習モデルの出力に基づいて、対象物が良品であるか否かを判定してよい。
登録部203は、対象物の良品画像を判定部202に判定させ、良品でないと判定された場合に、良品画像を学習用データ記憶部205に記憶させ、学習モデルを生成するための学習用データとして登録する。学習用データ記憶部205は、予め学習用データとして登録された良品画像を記憶したり、登録部203により学習用データとして登録された良品画像を記憶したりする。
本実施形態に係る画像処理装置10によれば、対象物の良品画像が、判定部202によって誤って良品でないと判定された場合に、その画像を学習用データとして登録することで、学習用データの数を少なくしつつ、学習モデルの判定精度を向上させることができ、学習モデルを生成するための処理負荷を低減することができる。
登録部203による処理は、モデル生成部201により学習モデルを生成した後に実行されてよい。すなわち、モデル生成部201により、少なくとも所定枚数の良品画像を含む学習用データを用いて学習モデルを生成した後、登録部203は、対象物の良品画像を判定部202に判定させ、良品でないと判定された場合に、良品画像を学習用データ記憶部205に記憶させ、学習モデルを生成するための学習用データとして登録してよい。このように、所定枚数の良品画像を含む学習用データを用いて学習モデルを生成した後、登録部203による処理によって学習モデルの判定精度の向上に寄与する学習用データを追加していくことができる。
モデル生成部201は、登録部203により良品画像が登録された学習用データを用いて、学習モデルを更新してよい。すなわち、モデル生成部201は、少なくとも所定枚数の良品画像を含む学習用データを用いて学習モデルを生成した後、登録部203により良品画像が学習用データに追加された場合に、追加後の学習用データを用いて、学習モデルを更新してよい。これにより、所定枚数の良品画像を含む学習用データを用いて学習モデルを生成した後、登録部による処理によって学習用データを追加し、学習モデルの判定精度を向上させていくことができる。
登録部203による処理は、予め収集された良品画像を用いて実行されてよい。すなわち、登録部203は、予め収集された良品画像を判定部202に判定させ、良品でないと判定された場合に、その良品画像を学習用データ記憶部205に記憶させ、学習モデルを生成するための学習用データとして登録してよい。これにより、過去に収集された良品画像を用いて学習モデルを生成することができ、画像処理装置10を稼働させた直後から学習モデルによる良否判定を行えるようにすることができる。
登録部203による処理は、カメラ1により撮像された良品画像を用いて実行されてもよい。すなわち、登録部203は、カメラ1により新たな対象物の良品画像を撮像された場合に、その良品画像を判定部202に判定させ、良品でないと判定された場合に、その良品画像を学習用データ記憶部205に記憶させ、学習モデルを生成するための学習用データとして登録してよい。これにより、画像処理装置10が実際に稼働する環境で撮像された対象物の良品画像を用いて、学習モデルを生成することができる。
画像処理装置10は、良品画像が学習用データとして登録されているか否かを表示する表示部をさらに備えてよい。ここで、表示部は、モニタ3であってよい。良品画像が学習用データとして登録されているか否かを表示することで、学習モデルがいずれの良品画像を用いて生成されたものであるかを一目で確認することができ、学習モデルの改良や再現を容易に行うことができる。
図4は、本実施形態に係る画像処理装置により学習用データを登録する処理のフローチャートである。はじめに、画像処理装置10は、所定枚数以上の良品画像を学習用データとして登録する(S10)。ここで、所定枚数以上の良品画像は、良品の対象物をカメラ1によって撮像することで用意してもよいし、予め収集された良品画像を用いることとしてもよい。その後、画像処理装置10は、所定枚数以上の良品画像を含む学習用データを用いて、学習モデルを生成する(S11)。
その後、画像処理装置10は、新たな良品画像を学習モデルに入力し(S12)、良否判定を行う(S13)。ここで、学習モデルによって良品でないと判定された場合(S14:NO)、すなわち学習モデルによる良否判定が誤りであった場合、画像処理装置10は、学習モデルに入力した良品画像を学習用データとして登録する(S15)。さらに、画像処理装置10は、良品画像が追加された学習用データを用いて、学習モデルを更新する(S16)。一方、新たな良品画像を学習モデルに入力し、学習モデルによって良品と判定された場合(S14:YES)、画像処理装置10は、その良品画像を学習用データとして登録しない。
その後、画像処理装置10は、処理を終了するか否かを判定する(S17)。処理を終了しない場合(S17:NO)、画像処理装置10は、良品画像の入力(S12)以降の処理を繰り返す。一方、処理を終了する場合(S17:YES)、学習用データを登録する処理が終了する。
図5は、本実施形態に係る画像処理装置10の学習用データ登録画面の一例である。本実施形態に係る画像処理装置10は、モニタ3に学習用データ登録画面を表示し、コンソール4によって、学習用データとして登録された良品画像を登録から除外したり、学習用データとして登録されていない良品画像を学習用データとして登録したりする操作を受け付けてよい。また、コンソール4によって、学習モデルのパラメータの変更を受け付けてよい。
「モデル登録」メニューは、「モデル登録対象画像」及び「モデルパラメータ」を含む。「モデル登録対象画像」は、良品画像が保存されている「フォルダ名」と、良品画像が学習用データとして登録されているか否かを表すチェックボックスとを含む。本例の場合、画像ファイル名が「OK−0001」、「OK−0002」、「OK−0003」、「OK−0005」及び「OK−0007」の良品画像について、チェックボックスが表示され、「使用」と記載されている。一方、画像ファイル名が「OK−0004」、「OK−0006」、「OK−0008」及び「OK−0009」の良品画像について、チェックボックスが表示されておらず、「未使用」と記載されている。すなわち、本例の場合、「OK−0001」から「OK−0009」までの9枚の良品画像のうち、5枚が学習用データとして登録され、4枚が学習用データとして登録されていない。ユーザは、「モデル登録対象画像」の一覧表示によって、学習モデルがいずれの良品画像を用いて生成されたものであるかを一目で確認することができる。
「モデルパラメータ」は、「境界検査」のチェックボックスと、「境界レベル」のパラメータと、「明度ばらつき許容度」のパラメータとを含む。本例の場合、「境界レベル」は「3」であり、「明度ばらつき許容度」は「2.00」である。ユーザは、これらのパラメータを調整して、学習モデルの調整を行うことができる。
「モデル登録」ボタンが押下されると、画像処理装置10は、「モデル登録対象画像」に「使用」と表された良品画像と、「モデルパラメータ」に表されたパラメータとによって学習モデルを生成し、学習モデル記憶部204に登録する。
以上の説明において、画像処理装置10は、ワークW等の対象物の良否判定を行うものとした。しかしながら、画像処理装置10は、ワークW等の対象物の状態を判定するものであってもよく、対象物の良否判定に限らず、対象物の種類を判定したり、対象物に生じた欠陥の種類を判定したりするものであってもよい。
すなわち、判定部202は、対象物の画像を学習モデルに入力し、学習モデルの出力に基づいて、対象物が第1クラス又は第2クラスのいずれに属するかを判定してもよい。その場合、登録部203は、第1クラスに属する対象物の画像を判定部202に判定させ、第2クラスに属すると判定された場合に、当該画像を学習用データ記憶部205に記憶させ、学習モデルを生成するための学習用データとして登録してよい。ここで、第1クラス及び第2クラスは、対象物の種類を表すクラスであってもよいし、対象物に生じた欠陥の種類を表すクラスであってもよい。
図6は、本実施形態に係る画像処理装置10により学習用データを登録する他の処理のフローチャートである。はじめに、画像処理装置10は、所定枚数以上の第1クラスに属する対象物の画像を学習用データとして登録する(S20)。ここで、所定枚数以上の第1クラスに属する対象物の画像は、第1クラスに属する対象物をカメラ1によって撮像することで用意してもよいし、予め収集された画像を用いることとしてもよい。その後、画像処理装置10は、所定枚数以上の第1クラスに属する対象物の画像を含む学習用データを用いて、学習モデルを生成する(S21)。
その後、画像処理装置10は、新たな第1クラスに属する対象物の画像を学習モデルに入力し(S22)、クラス判定を行う(S23)。ここで、学習モデルによって第1クラスに属さないと判定された場合(S24:NO)、すなわち学習モデルによるクラス判定が誤りであった場合、画像処理装置10は、学習モデルに入力した第1クラスに属する対象物の画像を学習用データとして登録する(S25)。さらに、画像処理装置10は、第1クラスに属する対象物の画像が追加された学習用データを用いて、学習モデルを更新する(S26)。一方、新たな第1クラスに属する対象物の画像を学習モデルに入力し、学習モデルによって第1クラスと判定された場合(S24:YES)、画像処理装置10は、その画像を学習用データとして登録しない。
その後、画像処理装置10は、処理を終了するか否かを判定する(S27)。処理を終了しない場合(S27:NO)、画像処理装置10は、第1クラスに属する対象物の画像の入力(S22)以降の処理を繰り返す。一方、処理を終了する場合(S27:YES)、学習用データを登録する処理が終了する。
本実施形態に係る画像処理装置10によれば、第1クラスに属する対象物の画像が、学習モデルによって誤って第2モデルに属すると判定された場合に、その画像を学習用データとして登録することで、学習用データの数を少なくしつつ、学習モデルの判定精度を向上させることができ、学習モデルを生成するための処理負荷を低減することができる。
以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。
[附記1]
対象物の画像を撮像するカメラ(1)と、
前記対象物が良品あるか否かを判定するコントローラ(2)と、を備え、
前記コントローラ(2)は、
前記画像を学習モデルに入力し、前記学習モデルの出力に基づいて、前記対象物が良品であるか否かを判定する判定部(202)と、
前記対象物の良品画像を前記判定部(202)に判定させ、良品でないと判定された場合に、前記良品画像を記憶部(205)に記憶させ、前記学習モデルを生成するための学習用データとして登録する登録部(203)と、を有する、
画像処理装置(10)。
[附記2]
対象物の画像を撮像するカメラ(1)と、
前記対象物が第1クラス又は第2クラスのいずれに属するかを判定するコントローラ(2)と、を備え、
前記コントローラ(2)は、
前記画像を学習モデルに入力し、前記学習モデルの出力に基づいて、前記対象物が前記第1クラス又は前記第2クラスのいずれに属するかを判定する判定部(202)と、
前記第1クラスに属する対象物の画像を前記判定部(202)に判定させ、前記第2クラスに属すると判定された場合に、当該画像を記憶部(205)に記憶させ、前記学習モデルを生成するための学習用データとして登録する登録部(203)と、を有する、
画像処理装置(10)。
1…カメラ、2…コントローラ、3…モニタ、4…コンソール、5…ワーク検出用センサ、7…対象物の一部、10…画像処理装置、21…CPU、22…フラッシュメモリ、23…RAM、24…グラフィックコントローラ、25…カメラ用I/F、26…入力用I/F、27…外部用I/F、201…モデル生成部、202…判定部、203…登録部、204…学習モデル記憶部、205…学習用データ記憶部

Claims (9)

  1. 対象物の画像を撮像するカメラと、
    前記対象物が良品あるか否かを判定するコントローラと、を備え、
    前記コントローラは、
    前記画像を学習モデルに入力し、前記学習モデルの出力に基づいて、前記対象物が良品であるか否かを判定する判定部と、
    前記対象物の良品画像を前記判定部に判定させ、良品でないと判定された場合に、前記良品画像を記憶部に記憶させ、前記学習モデルを生成するための学習用データとして登録する登録部と、を有する、
    画像処理装置。
  2. 前記コントローラは、
    少なくとも所定枚数の良品画像を含む学習用データを用いて、前記学習モデルを生成するモデル生成部をさらに有し、
    前記モデル生成部により前記学習モデルを生成した後に、前記登録部による処理を実行する、
    請求項1に記載の画像処理装置。
  3. 前記モデル生成部は、前記登録部により前記良品画像が登録された前記学習用データを用いて、前記学習モデルを更新する、
    請求項2に記載の画像処理装置。
  4. 前記登録部による処理は、予め収集された前記良品画像を用いて実行される、
    請求項1から3のいずれか1項に記載の画像処理装置。
  5. 前記登録部による処理は、前記カメラにより撮像された前記良品画像を用いて実行される、
    請求項1から3のいずれか1項に記載の画像処理装置。
  6. 前記良品画像が前記学習用データとして登録されているか否かを表示する表示部をさらに備える、
    請求項1から5のいずれか1項に記載の画像処理装置。
  7. 対象物の画像を撮像するカメラと、前記対象物が良品あるか否かを判定するコントローラと、を備える画像処理装置の前記コントローラによって、
    前記画像を学習モデルに入力し、前記学習モデルの出力に基づいて、前記対象物が良品であるか否かを判定することと、
    前記対象物の良品画像が良品でないと判定された場合に、前記良品画像を記憶部に記憶させ、前記学習モデルを生成するための学習用データとして登録することと、を実行する、
    画像処理方法。
  8. 対象物の画像を撮像するカメラと、前記対象物が良品あるか否かを判定するコントローラと、を備える画像処理装置の前記コントローラを、
    前記画像を学習モデルに入力し、前記学習モデルの出力に基づいて、前記対象物が良品であるか否かを判定する判定部、及び
    前記対象物の良品画像を前記判定部に判定させ、良品でないと判定された場合に、前記良品画像を記憶部に記憶させ、前記学習モデルを生成するための学習用データとして登録する登録部、
    として機能させる画像処理プログラム。
  9. 対象物の画像を撮像するカメラと、
    前記対象物が第1クラス又は第2クラスのいずれに属するかを判定するコントローラと、を備え、
    前記コントローラは、
    前記画像を学習モデルに入力し、前記学習モデルの出力に基づいて、前記対象物が前記第1クラス又は前記第2クラスのいずれに属するかを判定する判定部と、
    前記第1クラスに属する対象物の画像を前記判定部に判定させ、前記第2クラスに属すると判定された場合に、当該画像を記憶部に記憶させ、前記学習モデルを生成するための学習用データとして登録する登録部と、を有する、
    画像処理装置。
JP2018131417A 2018-07-11 2018-07-11 画像処理装置、画像処理方法及び画像処理プログラム Active JP7668082B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018131417A JP7668082B2 (ja) 2018-07-11 2018-07-11 画像処理装置、画像処理方法及び画像処理プログラム
PCT/JP2019/023803 WO2020012874A1 (ja) 2018-07-11 2019-06-17 画像処理装置、画像処理方法及び画像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018131417A JP7668082B2 (ja) 2018-07-11 2018-07-11 画像処理装置、画像処理方法及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JP2020008481A true JP2020008481A (ja) 2020-01-16
JP7668082B2 JP7668082B2 (ja) 2025-04-24

Family

ID=69141668

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018131417A Active JP7668082B2 (ja) 2018-07-11 2018-07-11 画像処理装置、画像処理方法及び画像処理プログラム

Country Status (2)

Country Link
JP (1) JP7668082B2 (ja)
WO (1) WO2020012874A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021131364A (ja) * 2020-02-21 2021-09-09 株式会社 システムスクエア 検査装置およびプログラム

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6840294B1 (ja) * 2020-02-21 2021-03-10 三菱電機株式会社 プログラマブル表示器、制御システムおよび解析方法

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003076991A (ja) * 2001-08-31 2003-03-14 Japan Science & Technology Corp 自動検査装置及び方法並びに画像信号の処理方法
JP2005265661A (ja) * 2004-03-19 2005-09-29 Ovit:Kk 画像処理方法およびその装置
JP2005310123A (ja) * 2004-03-24 2005-11-04 Fuji Photo Film Co Ltd 特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体
JP2007327885A (ja) * 2006-06-08 2007-12-20 Matsushita Electric Works Ltd 異常判定方法および異常判定装置
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
JP2016173615A (ja) * 2013-06-24 2016-09-29 株式会社日立ハイテクノロジーズ 計測装置
WO2017171051A1 (ja) * 2016-04-01 2017-10-05 日本電信電話株式会社 異常音検出学習装置、音響特徴量抽出装置、異常音サンプリング装置、これらの方法及びプログラム
JP2017224184A (ja) * 2016-06-16 2017-12-21 株式会社日立製作所 機械学習装置
JP6294529B1 (ja) * 2017-03-16 2018-03-14 阪神高速技術株式会社 ひび割れ検出処理装置、およびひび割れ検出処理プログラム
JP2018060401A (ja) * 2016-10-06 2018-04-12 ソリッドビジョン株式会社 撮像処理装置
JP2018094686A (ja) * 2016-12-14 2018-06-21 ファナック株式会社 工作機械における工具のビビり発生の予兆を検知する機械学習装置、cnc装置および機械学習方法
CN108230317A (zh) * 2018-01-09 2018-06-29 北京百度网讯科技有限公司 钢板缺陷检测分类方法、装置、设备及计算机可读介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001156135A (ja) * 1999-11-29 2001-06-08 Hitachi Ltd 欠陥画像の分類方法及びその装置並びにそれを用いた半導体デバイスの製造方法
JP2001256480A (ja) * 2000-03-09 2001-09-21 Hitachi Ltd 画像自動分類方法及び装置
JP2004012422A (ja) * 2002-06-11 2004-01-15 Dainippon Screen Mfg Co Ltd パターン検査装置、パターン検査方法およびプログラム
JP5137805B2 (ja) 2008-12-15 2013-02-06 キヤノン株式会社 検査システム及びその制御方法、コンピュータプログラム
JP5381166B2 (ja) 2009-03-04 2014-01-08 オムロン株式会社 モデル画像取得支援装置、モデル画像取得支援方法およびモデル画像取得支援プログラム
JP6116650B1 (ja) 2015-11-17 2017-04-19 エヌ・ティ・ティ・コムウェア株式会社 学習支援システム、学習支援方法、学習支援装置、および学習支援プログラム

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003076991A (ja) * 2001-08-31 2003-03-14 Japan Science & Technology Corp 自動検査装置及び方法並びに画像信号の処理方法
JP2005265661A (ja) * 2004-03-19 2005-09-29 Ovit:Kk 画像処理方法およびその装置
JP2005310123A (ja) * 2004-03-24 2005-11-04 Fuji Photo Film Co Ltd 特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体
JP2007327885A (ja) * 2006-06-08 2007-12-20 Matsushita Electric Works Ltd 異常判定方法および異常判定装置
JP2011214903A (ja) * 2010-03-31 2011-10-27 Denso It Laboratory Inc 外観検査装置、外観検査用識別器の生成装置及び外観検査用識別器生成方法ならびに外観検査用識別器生成用コンピュータプログラム
JP2016173615A (ja) * 2013-06-24 2016-09-29 株式会社日立ハイテクノロジーズ 計測装置
WO2017171051A1 (ja) * 2016-04-01 2017-10-05 日本電信電話株式会社 異常音検出学習装置、音響特徴量抽出装置、異常音サンプリング装置、これらの方法及びプログラム
JP2017224184A (ja) * 2016-06-16 2017-12-21 株式会社日立製作所 機械学習装置
JP2018060401A (ja) * 2016-10-06 2018-04-12 ソリッドビジョン株式会社 撮像処理装置
JP2018094686A (ja) * 2016-12-14 2018-06-21 ファナック株式会社 工作機械における工具のビビり発生の予兆を検知する機械学習装置、cnc装置および機械学習方法
JP6294529B1 (ja) * 2017-03-16 2018-03-14 阪神高速技術株式会社 ひび割れ検出処理装置、およびひび割れ検出処理プログラム
CN108230317A (zh) * 2018-01-09 2018-06-29 北京百度网讯科技有限公司 钢板缺陷检测分类方法、装置、设备及计算机可读介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021131364A (ja) * 2020-02-21 2021-09-09 株式会社 システムスクエア 検査装置およびプログラム
JP7016179B2 (ja) 2020-02-21 2022-02-04 株式会社 システムスクエア 検査装置およびプログラム

Also Published As

Publication number Publication date
WO2020012874A1 (ja) 2020-01-16
JP7668082B2 (ja) 2025-04-24

Similar Documents

Publication Publication Date Title
TWI748242B (zh) 掃描晶圓的系統及方法
US20190200494A1 (en) Printed circuit board inspecting apparatus, method for determining fault type of screen printer and computer readable recording medium
KR102820831B1 (ko) 분석 장치 및 분석 방법
JP2015181049A (ja) 画像検証方法、画像検証装置、およびプログラム
CN116245808A (zh) 工件缺陷检测方法、装置、电子设备及存储介质
WO2020012874A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP2006094040A (ja) プロファイル作成装置、プログラムおよびプロファイル作成方法
JP2023008416A (ja) 異常検知システムおよび異常検知方法
JP2021192048A5 (ja)
JP3876607B2 (ja) 画像処理システムにおけるパラメータ設定方法
JP5764527B2 (ja) 画像検証方法、画像検証装置、およびプログラム
WO2021161628A1 (ja) 機械学習方法および機械学習用情報処理装置
JP7148858B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN111521127B (zh) 测量方法、测量装置以及记录介质
JP2019067365A (ja) 画像処理装置、画像処理システム、画像処理方法、及びプログラム
JP2020021182A (ja) 操作情報提供装置、操作情報提供システム、およびプログラム
JP2013164506A (ja) マニュアル作成支援装置及びマニュアル作成支援方法
JP2023160533A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2020160562A (ja) 制御システム、制御方法、プログラム
JP2018173732A (ja) 検査装置、検査方法、検査プログラム及び記録媒体
TW201018331A (en) Method, system and computer program product for reference information based evaluation
JP6251994B2 (ja) テスト結果表示装置、およびテスト結果表示プログラム
JP7729147B2 (ja) 検査装置及びプログラム
WO2006059662A1 (ja) 表示デバイスの検査装置および検査方法
JP7354790B2 (ja) 画像検査装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220616

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230106

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230420

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20230420

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20230428

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20230623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240527

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250414

R150 Certificate of patent or registration of utility model

Ref document number: 7668082

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150