JP2020091602A - 画像処理装置、画像処理方法、および画像処理プログラム - Google Patents

Abstract

【課題】モデルの変更の適否を判断できる情報をユーザに提供可能となる。【解決手段】画像処理装置は、対象のモデルセットに含まれる複数のカテゴリ内の各カテゴリについて、当該カテゴリに属すると決定されるべき像が当該カテゴリとは異なるカテゴリに属すると誤って決定される可能性を示す指標を算出する。画像処理装置は、第１モデルセットを対象として算出した第１モデルセットに含まれるカテゴリ毎の指標と、第１モデルセットとは異なる第２モデルセットを対象として算出した第２モデルセットに含まれるカテゴリ毎の指標との間の差を含む情報を出力する。【選択図】図１

Description

本開示は、像が属するカテゴリを決定する技術に関する。

カメラにより撮影された画像を取得し、当該画像に含まれる像（例えば、文字または部品の像等）が複数のカテゴリ（例えば、文字の場合数字における「０〜９」および英字における「Ａ〜Ｚ」等）のうち、いずれのカテゴリに属するのかを判定する画像処理装置がある。このような画像処理装置は、例えば生産工程を自動化する産業用の装置として導入されている。より具体的には、画像処理装置は、予め登録した複数のモデル（例えば、像の特徴量）に基づいて、当該像のカテゴリを決定する。

ここで、画像処理装置が像のカテゴリを決定する場合に、当該像と当該像が属すると決定されるべきカテゴリに予め登録された１または複数のモデルとの類似度が低い場合は、当該像が当該カテゴリに属するとは決定されないことがあった。対象の像が属する正しいカテゴリに決定して、認識の精度を向上させるために、類似度が低いと判断された像を当該カテゴリの新たなモデルとして登録する場合がある。

認識の精度を向上させる一例として、特開２００９−１９３３８７号公報（特許文献１）は、文字認識装置は、ユーザ辞書に誤認識した文字を登録する。より具体的には、文字認識装置は、ユーザ辞書に登録した各文字について、ユーザが一連の文字列として認識することを期待する学習文字列を学習文字列テーブルに登録して、ユーザ辞書を用いた認識における誤認識を防止することを開示している。

特開２００９−１９３３８７号公報

しかしながら、画像処理装置が新たなモデルを登録することで、新たなモデルを登録したカテゴリに属すると決定されるべき像の認識の精度が向上しても、新たなモデルを登録することで、他のカテゴリに属すると決定されるべき像における認識の精度が低下することがある。そのため、画像処理装置を使用するユーザは、各カテゴリの認識の精度が一定以上となるように試行錯誤を繰り返し、当該画像処理装置に登録するモデルの調整を行っていた。このような調整を行うと多くの時間が必要となる。また調整を行うユーザの経験の違いによって、調整後の認識の精度が異なることがあった。したがって、ユーザの経験によらず、モデルの変更の適否を判断できる情報をユーザに提供可能となる技術が必要とされている。

本開示は、係る実情に鑑み考え出されたものであり、モデルの変更の適否を判断できる情報をユーザに提供可能となる技術が開示される。

本開示の一例では、複数のカテゴリの各々に１または複数のモデルを対応付けた第１モデルセットを格納する記憶部と、上記記憶部に格納された上記第１モデルセットを参照して、入力画像に含まれる像が上記複数のカテゴリのうちのいずれのカテゴリに属するのかを決定する決定部と、対象のモデルセットに含まれる複数のカテゴリ内の各カテゴリについて、当該カテゴリに属すると決定されるべき像が当該カテゴリとは異なるカテゴリに属すると誤って決定される可能性を示す指標を算出する算出部と、上記算出部が、上記第１モデルセットを対象として算出した上記第１モデルセットに含まれるカテゴリ毎の指標と、上記算出部が、上記第１モデルセットとは異なる第２モデルセットを対象として算出した上記第２モデルセットに含まれるカテゴリ毎の指標との間の差を含む情報を出力する出力部とを備える。

この開示によれば、画像処理装置は、モデルの変更の適否を判断できる情報をユーザに提供可能となる。

本開示の一例では、画像処理装置の上記出力部は、上記第１モデルセットに含まれるカテゴリ毎の指標と、上記第２モデルセットに含まれるカテゴリ毎の指標とのうち、対応するカテゴリ間で指標が変化したカテゴリについて、他のカテゴリとは異なる表示態様となる情報を出力する。

この開示によれば、画像処理装置は、カテゴリ毎に差が生じた指標と差が生じていない指標とを異なる表示態様とする情報を出力可能となる。

本開示の一例では、画像処理装置は、上記入力画像に含まれる像の選択と、当該選択された像のカテゴリの設定とを受け付ける受付部と、上記選択された像に基づいてモデルを生成する生成部と、上記第１モデルセットの設定されたカテゴリに上記生成されたモデルを追加したものを上記第２モデルセットとする追加部とをさらに備える。

この開示によれば、画像処理装置は、既存のモデルセットに新たなモデルを追加した新規のモデルセットを容易に作成できる。

本開示の一例では、画像処理装置の上記出力部は、上記第２モデルセットに含まれるカテゴリ毎の指標のうちの上記指標の値が予め定められた値未満となる指標がある場合に、上記生成されたモデルの上記第１モデルセットへの追加を確定させるか否かの確認をユーザに促す情報を出力する。

この開示によれば、画像処理装置は、新たなモデルのモデルセットへの追加を確定させると、安定度が閾値以下となるカテゴリが発生することをユーザに対して通知できる。

本開示の一例では、画像処理装置の上記出力部は、上記第２モデルセットに含まれるカテゴリ毎の指標と、上記第１モデルセットに含まれるカテゴリ毎の指標とのうち、対応するカテゴリ間での指標の値の変化が予め定められた値以上となる場合に、上記生成されたモデルの上記第１モデルセットへの追加を確定させるか否かの確認をユーザに促す情報を出力する。

この開示によれば、画像処理装置は、モデルセットへの新たなモデルの追加を確定させた場合に、少なくとも１つのカテゴリの安定度が、モデルの追加前と比べて一定値以上低下することをユーザに対して確実に通知できる。

本開示の一例では、画像処理装置の上記受付部は、上記第１モデルセットに含まれる上記モデルの選択を受け付け、上記選択されたモデルを削除する削除部をさらに備える。

この開示によれば、画像処理装置は、モデルの登録数が登録可能な上限に達した場合に、既に登録されたモデルを削除することで新たなモデルを追加可能となる。また、画像処理装置は、登録されたモデルが認識の精度を低下させている場合に、当該モデルを削除することで認識の精度を向上させることができる。

本開示の一例では、画像処理装置の上記算出部は、上記指標を、上記複数のカテゴリのうち条件に合致する属性を有する一部のカテゴリ内で算出する。

この開示によれば、画像処理装置は、文字認識を行う対象に限定して指標を算出するため、処理負荷を軽減でき、文字認識の対象となるカテゴリのみの指標の情報をユーザに提供できる。

本開示の一例では、画像処理装置の上記算出部は、上記選択されたカテゴリに属するモデルと、上記他のカテゴリに属するモデルとの類似度に基づいて、当該選択されたカテゴリの上記指標を算出する。

この開示によれば、画像処理装置は、像とモデルとの類似度に基づいて、像が属するカテゴリを正確に判定できる。

本開示の一例では、画像処理装置の上記記憶部は、属する上記カテゴリが予め決定されたレファレンスを格納し、上記算出部は、上記カテゴリに属するレファレンスと上記カテゴリに属する上記モデルとの類似度と、上記カテゴリに属する上記レファレンスと他のカテゴリに属する上記モデルとの類似度とに基づいて、当該カテゴリの上記指標を算出する。

この開示によれば、画像処理装置は、レファレンスを用いたモデルの類似度に基づいて、像が属するカテゴリを正確に判定できる。

本開示の一例では、入力画像に含まれる像は、文字の像である。
この開示によれば、画像処理装置は、文字の像におけるモデルの変更の適否を判断できる情報をユーザに提供可能となる。

本開示の一例では、画像処理方法は、記憶部に格納された複数のカテゴリの各々に１または複数のモデルを対応付けた第１モデルセットを参照して、入力画像に含まれる像が上記複数のカテゴリのうちのいずれのカテゴリに属するのかを決定するステップと、対象のモデルセットに含まれる複数のカテゴリ内の各カテゴリについて、当該カテゴリに属すると決定されるべき像が当該カテゴリとは異なるカテゴリに属すると誤って決定される可能性を示す指標を算出するステップと、上記算出するステップが、上記第１モデルセットを対象として算出した上記第１モデルセットに含まれるカテゴリ毎の指標と、上記算出するステップが、上記第１モデルセットとは異なる第２モデルセットを対象として算出した上記第２モデルセットに含まれるカテゴリ毎の指標との間の差を含む情報を出力するステップとを含む。

この開示によれば、画像処理方法は、モデルの変更の適否を判断できる情報をユーザに提供可能となる。

本開示の一例では、画像処理プログラムは、コンピュータを画像処理装置として機能させるための画像処理プログラムであって、上記画像処理プログラムは上記コンピュータに、記憶部に格納された複数のカテゴリの各々に１または複数のモデルを対応付けた第１モデルセットを参照して、入力画像に含まれる像が上記複数のカテゴリのうちのいずれのカテゴリに属するのかを決定するステップと、対象のモデルセットに含まれる複数のカテゴリ内の各カテゴリについて、当該カテゴリに属すると決定されるべき像が当該カテゴリとは異なるカテゴリに属すると誤って決定される可能性を示す指標を算出するステップと、上記算出するステップが、上記第１モデルセットを対象として算出した上記第１モデルセットに含まれるカテゴリ毎の指標と、上記算出するステップが、上記第１モデルセットとは異なる第２モデルセットを対象として算出した上記第２モデルセットに含まれるカテゴリ毎の指標との間の差を含む情報を出力するステップとを実行させる。

この開示によれば、画像処理プログラムは、モデルの変更の適否を判断できる情報をユーザに提供可能となる。

本開示によれば、ある局面において、モデルの変更の適否を判断できる情報をユーザに提供可能となる。

画像処理装置１００の構成例について説明する図である。 モデルを追加する前と追加した後の指標の変化について説明する図である。 画像処理システム１の構成例を示す図である。 画像処理装置１００のハードウェア構成例を説明する図である。 辞書データ１１５の構成例を表わす図である。 画像処理装置１００において実行される文字認識処理の機能ブロック図である。 表示部１４０に表示される各像の識別結果について説明する図である。 類似度と安定度との関係について表わす図である。 第１安定度画像６１０の具体例を表わす図である。 第１安定度画像６１０と、第２安定度画像６２０とを切替えて表示することについて説明する図である。 像の識別情報を出力する処理について説明するフローチャートである。 差を含む情報を出力する処理について説明するフローチャートである。 第３安定度画像６３０の具体例を表わす図である。 レファレンス７０１を用いたカテゴリの指標の算出について説明する図である。

以下、図面を参照しつつ、本発明の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

＜適用例＞
図１を参照して、本発明の適用例について説明する。図１は、画像処理装置１００の構成例について説明する図である。本実施の形態では、画像処理装置１００は、例えば後述するカメラ（例えば、図６に示すカメラ８）が、後述するワーク（例えば、図６に示すワーク２）を撮影して得られる文字の像を認識する処理を実行する。より具体的には、画像処理装置１００は、入力画像３００に含まれる像について、複数のカテゴリのうちのいずれのカテゴリに属するかを判断する。なお、画像処理装置１００が実行する処理は、文字認識処理に限定されることなく、その他の認識処理であってもよい。その他の認識処理として、例えば装置の部品形状または食品の形状等が含まれる。さらに、例えば対象物の傷、打痕および異物の付着等をカテゴリとする対象物の欠陥に関する認識処理が含まれる。

画像処理装置１００は、決定部１７０、算出部１８４、出力部１７４および記憶装置１５４を含む。決定部１７０は、入力画像３００に含まれる像が複数のカテゴリのうちいずれのカテゴリに属するのかを決定する。カテゴリは、文字に含まれる数字、英字および記号等を分類したものである。より具体的には、カテゴリは、例えば数字の「０〜９」、英字の「Ａ〜Ｚ」および記号（例えば、「（」，「）」，「／」，「：」等）である。

決定部は、入力画像３００に含まれる像が複数のカテゴリのうちのいずれのカテゴリに属するのかを決定する。より具体的には、決定部１７０は、入力画像３００に含まれる「２０１８．１２／ＡＥＩＡ」の各像（例えば、数字、英字および記号を含む１２個のそれぞれの像）が、複数のカテゴリのうちのいずれのカテゴリに属するのかを決定する。決定部１７０は、例えば、英字「ＡＥＩＡ」における英字「Ｉ」の像３１１が英字「Ｉ」のカテゴリ１２に属すると決定する。

決定部１７０は、像が属するカテゴリを決定する場合に、記憶装置１５４に格納された第１モデルセット１１１を参照する。第１モデルセット１１１は、文字における複数のカテゴリ１１の各々に１または複数のモデルを対応付けたデータである。第１モデルセット１１１は、例えば、英字「Ｉ」のカテゴリ１２、数字「１」のカテゴリ１３および記号「／」のカテゴリ１４を含む。英字「Ｉ」のカテゴリ１２には、英字「Ｉ」のモデル１２１が対応付けられている。数字「１」のカテゴリ１３には、数字「１」のモデル１３１が対応付けられている。記号「／」のカテゴリ１４には、記号「／」のモデル１４１が対応付けられている。各カテゴリのモデルは、１または複数のモデルを含む。

図１では、まず最初に、入力画像３００に含まれる像のうち、英字「Ｉ」の像３１１が属するカテゴリを決定する処理について説明する。決定部１７０は、例えば、英字「Ｉ」の像３１１と、第１モデルセット１１１に含まれる各カテゴリに対応付けられた１または複数のモデルとの類似度を導出する。より具体的には、決定部１７０は、英字「Ｉ」の像３１１の特徴量と、全てのカテゴリにおける各モデルの特徴量とに基づいて類似度（例えば、相関値）を導出する。特徴量は、例えば特徴量空間におけるｎ次元のベクトル情報で表現される。簡単のために特徴量を一次元のスカラ値とすると、像３１１の特徴量とモデルの特徴量との差の絶対値が小さいときに、類似度は高い値となる。なお、類似度は相関値に限らず、相関値以外の情報で表わされてもよい。

決定部１７０は、例えば英字「Ｉ」の像３１１と最も高い類似度が導出されたモデルが属するカテゴリを、英字「Ｉ」の像３１１が属するカテゴリとする。より具体的には、決定部１７０は、像３１１の特徴量と各モデルの特徴量とによる類似度から、例えば英字「Ｉ」のカテゴリ１２に含まれるモデルが最も高い類似度になると判断する。その結果、決定部１７０は、英字「Ｉ」の像３１１が英字「Ｉ」のカテゴリ１２に属すると決定する。これにより、英字「Ｉ」の像３１１には、英字「Ｉ」のカテゴリ１２が設定される。

算出部１８４は、第１モデルセット１１１に含まれる各カテゴリの指標と、第２モデルセット１１２に含まれる各カテゴリの指標とを算出する。第２モデルセット１１２は、第１モデルセット１１１のカテゴリにモデルを追加したものである。第２モデルセット１１２は、例えば英字「Ｉ」の像３１１のモデル２２３を、英字「Ｉ」のカテゴリ１２における１または複数のモデル１２１に含まれるモデルとしたものである。なお、英字「Ｉ」の像３１１は、後述するように数字「１」のカテゴリに含まれるモデルとの類似度が比較的高い像である。

指標とは、あるカテゴリに属すると決定されるべき像が、当該カテゴリとは異なるカテゴリに属すると誤って決定される可能性を表わすものである。また指標は、ある像と当該像が属するカテゴリに含まれるモデルとの類似度と、ある像と他のカテゴリに含まれるモデルとの類似度の差である。このように指標は、異なるカテゴリにおけるモデル間の類似度を用いて算出される値である。以下では、指標を「安定度」とも称する。なお、指標と安定度との関係は、指標の値が小さい場合は、誤って決定する可能性が小さくなり、安定度の値は大きくなる。また、指標の値が大きい場合は、誤って決定する可能性が大きくなり、安定度の値は小さくなる。安定度の具体的な算出方法については後述する。

図２を参照して指標の内容について説明する。図２は、カテゴリのモデルを追加する前と追加した後の指標の変化について説明する図である。図２（Ａ）を参照して、モデルを追加する前の状態における指標について説明する。図２（Ａ）の英字「Ｉ」のカテゴリ１２と、数字「１」のカテゴリ１３とには、それぞれ１つのモデルが対応付けられている。より具体的には、英字「Ｉ」のカテゴリ１２には、英字「Ｉ」のモデル２２１が対応付けられ、数字「１」のカテゴリ１３には、数字「１」のモデル２３１が対応付けられている。

英字「Ｉ」のモデル２２１が英字「Ｉ」のカテゴリ１２に属することで、例えば第１範囲１２１ａの範囲内にある像の特徴量と、英字「Ｉ」のモデル２２１の特徴量との差の絶対値は比較的小さくなる。特徴量の差の絶対値が小さい場合は、類似度は高くなる。決定部１７０は、ある像の特徴量と他のカテゴリに属するモデルの特徴量との差の絶対値を導出する。決定部１７０は、上記導出した差の絶対値よりも、ある像の特徴量と英字「Ｉ」のモデル２２１の特徴量との差の絶対値のほうが小さい場合は、ある像は英字「Ｉ」のカテゴリ１２に属すると決定する。

数字「１」のモデル２３１が数字「１」のカテゴリ１３に属することで、例えば第２範囲１３１ａの範囲内にある像の特徴量と、数字「１」のモデル２３１の特徴量との差の絶対値は比較的小さくなる。決定部１７０は、ある像の特徴量と他のカテゴリに属するモデルの特徴量との差の絶対値を導出する。決定部１７０は、上記導出した差の絶対値よりも、ある像の特徴量と数字「１」のモデル２１１の特徴量との差の絶対値のほうが小さい場合は、ある像は数字「１」のカテゴリ１３に属すると決定する。

図２（Ａ）に示す数字「１」の像３２１は、当該像３２１の特徴量に基づいて、第２範囲１３１ａの範囲内となる。言い換えると、数字「１」の像３２１の特徴量と、英字「Ｉ」のモデル２１１の特徴量との差の絶対値はＬ１となる。以下、差の絶対値を距離とも称する。また、数字「１」の像３２１の特徴量と、数字「１」のモデル２３１の特徴量とは距離Ｌ２となる。上述のように、像３１１の特徴量とモデルの特徴量との差の絶対値が小さい（距離が小さい）ほど、類似度は一層高くなる。図２（Ａ）の距離Ｌ１と距離Ｌ２との関係は、距離Ｌ１＞距離Ｌ２であるため、数字「１」の像３２１は、英字「Ｉ」のモデル２１１との類似度よりも、数字「１」のモデル２３１との類似度が高くなる。したがって、決定部１７０が、数字「１」のカテゴリ１３に属すると決定するべき数字「１」の像３２１を、数字「１」のカテゴリ１３とは異なる英字「Ｉ」のカテゴリ１２に属すると誤って決定する可能性は小さくなる。すなわち、数字「１」のカテゴリの指標は小さくなる。また、距離Ｌ１と距離Ｌ２との差は比較的大きいため、数字「１」のカテゴリの安定度は大きくなる。安定度は、２つの類似度の差が大きいほど大きく値となる。これにより、画像処理装置１００は、像とモデルとの類似度に基づいて、像が属するカテゴリを正確に判定できる。

なお、距離の表し方は、特定の距離の表し方に限定されることはない。距離の表し方は、例えばユークリッド距離であってもよいし、マハラノビス距離であってもよい。画像処理装置１００は、それぞれの距離の表し方に応じて、あるカテゴリに含まれる複数のモデルにおける全ての特徴量を用いて距離を算出してもよい。また、画像処理装置１００は、それぞれの距離の表し方に応じて、あるカテゴリに含まれる複数のモデルにおける特徴量を平均して距離を算出してもよい。また、画像処理装置１００は、ニューラルネットワークを用いた機械学習に基づいて距離を算出してもよい。

次に、図２（Ｂ）参照して、モデルを追加した後の状態における指標について説明する。図２（Ｂ）では、英字「Ｉ」のカテゴリ１２に、図１において説明した英字「Ｉ」の像３１１のモデル２２３の特徴量が追加されている。モデル２２３の特徴量が追加されたことで、英字「Ｉ」のカテゴリ１２の第１範囲１２１ａは拡大して、第３範囲１２２ａとなる。その結果、数字「１」の像３２１の特徴量は、数字「１」のカテゴリ１３の第２範囲１３１ａだけでなく、英字「Ｉ」のカテゴリ１２の第３範囲１２２ａにも含まれる。これにより、決定部１７０は、数字「１」のカテゴリ１３に属すると決定するべき数字「１」の像３２１を、数字「１」のカテゴリ１３とは異なる英字「Ｉ」のカテゴリ１２に属すると誤って決定する可能性が大きくなる。数字「１」のカテゴリの指標は大きくなる。また、数字「１」の像３２１の特徴量と、英字「Ｉ」のモデル２１１の特徴量との距離Ｌ３と、上記距離Ｌ２との差は比較的小さい。そのため、数字「１」のカテゴリの安定度は小さくなる。

図１を再び参照して、算出部１８４は各モデルセットにおけるカテゴリ毎の指標を算出する。より具体的には、算出部１８４は、第１モデルセット１１１における英字「Ｉ」のカテゴリ１２の指標Ａ_１と、第２モデルセット１１２における同じカテゴリの指標Ａ_２とを算出する。算出部１８４は、第１モデルセット１１１における数字「１」のカテゴリ１３の指標Ｂ_１と、第２モデルセット１１２における同じカテゴリの指標Ｂ_２とを算出する。算出部１８４は、記第１モデルセット１１１における号「／」のカテゴリ１４の指標Ｃ_１と、第２モデルセット１１２における同じカテゴリの指標Ｃ_２とを算出する。

算出部１８４は、第１モデルセット１１１における各指標と、第２モデルセット１１２における各指標とを比較する。より具体的には、算出部１８４は、指標Ａ_１とＡ_２、指標Ｂ_１とＢ_２、指標Ｃ_１とＣ_２とを比較する。算出部１８４は、比較によりカテゴリ毎の指標の差の絶対値を算出して出力部１７４に送信する。

指標の比較について具体例を示して説明する。第１モデルセット１１１における数字「１」のカテゴリ１３における指標Ｂ_１は、図２（Ａ）を用いて説明した指標に相当する。より具体的には、指標Ｂ_１は小さい値（安定度は大きい値）となる。これに対して、第２モデルセット１１２における数字「１」のカテゴリ１３の指標Ｂ_１は、図２（Ｂ）を用いて説明した指標に相当する。より具体的には、指標Ｂ_２は大きい値（安定度は小さい値）となる。算出部１８４は、数字「１」のカテゴリ１３における第１モデルセットの指標Ｂ_１と、第２モデルセットの指標Ｂ_２との差の絶対値を出力部１７４に送信する。算出部１８４は、例えば指標Ｂ_１の値を「１０」とし、指標Ｂ_２の値を「２０」とすると、差の絶対値である「１０」を出力部１７４に送信する。なお、算出部１８４は、他のカテゴリ（例えば、英字「Ｉ」のカテゴリ１２および記号「／」のカテゴリ１４等）の第１モデルセット１１１と、第２モデルセット１１２との差についても出力部１７４に送信する。

出力部１７４は、算出部１８４から取得した指標の差を含む結果情報５００を出力する。出力部１７４は、後述する表示部（例えば、図６に示す表示部１４０）に結果情報５００を出力する。これにより、画像処理装置１００は、モデル変更の適否を判断できる情報をユーザに提供可能となる。

＜第１の実施の形態＞
［画像処理システム１の構成］
以下、画像処理装置を１００を含む画像処理システム１の構成、画像処理装置１００のハードウェア構成および画像処理装置１００の具体的な処理について説明する。

図３は、画像処理システム１の構成例を示す図である。図３を参照して、画像処理システム１は、生産ライン等に組込まれる。画像処理システム１は、対象物であるワーク２を撮像することで得られる入力画像３００に対して、文字認識処理を実行する。より具体的には、画像処理システム１は、予め定められた設定に従って、入力画像３００に対して探索条件に合致する領域を特定して文字認識処理を実行する。探索条件は、例えばフォーマット文字列により設定される。フォーマット文字列については後述する。

画像処理システム１においては、ワーク２はベルトコンベヤ等の搬送機構６によって搬送され、搬送されたワーク２は、カメラ８によって所定タイミングで撮像される。カメラ８は、一例として、レンズ等の光学系に加えて、ＣＣＤ（Coupled Charged Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサといった、複数の画素に区画された撮像素子を含んで構成される。なお、カメラ８で撮像されるワーク２に対して光を照射する照明機構をさらに設けてもよい。カメラ８を撮像することで得られる入力画像３００は、画像処理装置１００へ伝送される。

ワーク２がカメラ８の視野内に到達したことは、搬送機構６の両端に配置された光電センサ４によって検出される。より具体的には、光電センサ４は、同一の光軸上に配置された受光部４ａと投光部４ｂとを含む。投光部４ｂから放射される光が、ワーク２で遮蔽されることを受光部４ａにより検出することによりワーク２の到達を検出する。この光電センサ４のトリガ信号は、ＰＬＣ（Programmable Logic Controller）５へ出力される。ＰＬＣ５は、光電センサ４等からのトリガ信号を受信するとともに、搬送機構６の制御自体を司る。

画像処理装置１００は、例えば、ワーク２に対して計測処理（画像処理）を実行する。より具体的には、画像処理装置１００は、入力画像３００に含まれる像が複数のカテゴリのうちのいずれのカテゴリに属するかを決定し、カテゴリにモデルが追加される前の第１モデルセット１１１におけるカテゴリ毎の指標と、カテゴリにモデルが追加された後の第２モデルセット１１２におけるカテゴリ毎の指標とを算出する。画像処理装置１００は、第１モデルセット１１１におけるカテゴリ毎の指標と，第２モデルセット１１２におけるカテゴリ毎の指標との間の差を含む情報を表示部１４０に出力する。

表示部１４０は、例えば液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、またはその他の表示装置である。

また、画像処理装置１００は、探索条件を設定する。さらに、画像処理装置１００は、入力装置であるマウス１０４やキーボード（図示せず）をユーザが操作することで与えられる操作指令を受け付ける。

なお、画像処理装置１００は、汎用的なアーキテクチャを有しているコンピュータであり、予めインストールされたプログラム（命令コード）を実行することで、各種機能を提供してもよい。汎用的なコンピュータを画像処理装置１００として利用する場合には、本実施の形態に係る機能を提供するためのアプリケーションに加えて、コンピュータの基本的な機能を提供するためのＯＳ（Operating System）がインストールされていてもよい。

［画像処理装置１００のハードウェア構成例］
図４は、画像処理装置１００のハードウェア構成例を説明する図である。図４を参照して、画像処理装置１００は、演算処理部であるプロセッサ１５０と、記憶部としてのメモリ１５２および記憶装置１５４と、取得部１３０と、入力インターフェイス１６０と、表示コントローラ１６２と、ＰＬＣインターフェイス１６４と、通信インターフェイス１６６とを含む。これらの各部は、バス１７５を介して、互いにデータ通信可能に接続される。

プロセッサ１５０は、記憶装置１５４に格納されたプログラム（コード）をメモリ１５２に展開して、これらを所定順序で実行することで、画像処理部として機能する。より具体的には、プロセッサ１５０は、プログラムをメモリ１５２に展開して、算出部１８４および出力部１７４として機能する。また、プロセッサ１５０は、後述する抽出部、導出部、設定部、受付部、生成部および追加部（例えば、図６に示す抽出部１７１、導出部１７２、設定部１７３、受付部１８１、生成部１８２および追加部１８３）として機能する。なお、以下ではプロセッサ１５０がプログラムを実行することで必要な処理が実現される構成例について説明するが、これらの提供される処理の一部または全部を、専用のハードウェア回路（たとえば、ＡＳＩＣまたはＦＰＧＡ等）を用いて実装してもよい。

メモリ１５２は、例えばＤＲＡＭ（Dynamic Random Access Memory）等の揮発性のデバイスである。メモリ１５２は、記憶装置１５４から読み出されたプログラムに加えて、カメラ８によって取得された入力画像３００、および、入力画像３００に対する画像処理に用いられるモデルセット等を保持する。

記憶装置１５４は、例えばハードディスクおよびＳＳＤ（Solid State Drive）等の不揮発性のデバイスであり、プロセッサ１５０が実行する各種機能を実現するための制御プログラム１１０を保持する。また、記憶装置１５４は、辞書データ１１５を保持する。辞書データ１１５は、少なくとも１つのモデルセットを含む。

なお、制御プログラム１１０を含む本実施の形態に係るプログラムは、ＯＳの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。すなわち、本実施の形態に係るプログラム自体は、上記のようなモジュールを含んでおらず、ＯＳと協働して処理が実行されてもよい。本実施の形態に係るプログラムとしては、このような一部のモジュールを含まない形態であってもよい。さらに、本実施の形態に係るプログラムは、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して実行される。

図５は、辞書データ１１５の構成例を表わす図である。辞書データ１１５は、１または複数のモデルセットを有する。図５を参照して、辞書データ１１５は、例えば第１モデルセット１１１を有する。属性は、例えば数字、英字および記号を含む。第１モデルセット１１１は、文字の属性毎に複数のカテゴリを含む。より具体的には、第１モデルセット１１１は、数字の複数のカテゴリ２１と、英字の複数のカテゴリ２２と、記号の複数のカテゴリ２３とを含む。また、各カテゴリには１または複数のモデルが対応付けられている。例えば、数字「０」のカテゴリには、数字「０」の複数のモデル３１が対応付けられている。なお、第１モデルセット１１１に含まれる上記カテゴリおよびモデルは一例であり、他のカテゴリおよび他のモデルを含んでもよい。第１モデルセット１１１は、例えば平仮名および片仮名の少なくともいずれかのカテゴリおよびモデルを含んでもよい。

図４を再び参照して、取得部１３０は、プロセッサ１５０とカメラ８との間のデータ伝送を仲介するインターフェイスである。取得部１３０はカメラ８と電気的に接続される。カメラ８はワーク２を撮像する。より具体的には、取得部１３０は、１つ以上のカメラ８と接続が可能であり、画像バッファ１３０ａを含む。画像バッファ１３０ａは、カメラ８から取得された画像データを一時的に蓄積する。そして、取得部１３０は、画像バッファ１３０ａに所定コマ数の画像データが蓄積されると、その蓄積された、入力画像３００の画像データをメモリ１５２へ転送する。このように、カメラ８によりリアルタイムに撮影された入力画像３００がメモリ１５２へ転送される。

入力インターフェイス１６０は、プロセッサ１５０とマウス１０４およびキーボード等の入力部との間のデータ伝送を仲介する。すなわち、入力インターフェイス１６０は、ユーザが入力部を操作することで与えられる操作指令を受け付ける。表示コントローラ１６２は、表示部１４０と接続され、表示部１４０に結果情報５００に基づく、カテゴリ毎の安定度を含む後述する安定度画像（例えば、図９に示す第１安定度画像６１０）を表示させる。

ＰＬＣインターフェイス１６４は、プロセッサ１５０とＰＬＣ５との間のデータ伝送を仲介する。より具体的には、ＰＬＣインターフェイス１６４は、ＰＬＣ５によって制御される生産ラインの状態に係る情報やワークに係る情報等をプロセッサ１５０へ伝送する。通信インターフェイス１６６は、プロセッサ１５０と管理サーバー（図示せず）との間のデータ伝送を仲介する。通信インターフェイス１６６は、例えば、一般的なネットワークプロトコルであるイーサーネット（登録商標）、産業用ネットワークプロトコルとして用いられるＥｔｈｅｒＣＡＴ（登録商標）およびＥｔｈｅｒＮｅｔ／ＩＰ（登録商標）等のいずれかが採用されてもよい。

［画像処理装置１００の機能ブロック図］
図６は、画像処理装置１００において実行される文字認識処理の機能ブロック図である。図６を参照して、画像処理装置１００は、決定部１７０、出力部１７４、受付部１８１、生成部１８２、追加部１８３および算出部１８４を含む。また、決定部１７０は、抽出部１７１、導出部１７２および設定部１７３を含む。プロセッサ１５０は、記憶装置１５４に格納された制御プログラム１１０が読み出されて実行されることで、上記各部として機能する。以下では、プロセッサ１５０により実行される各部の具体的な処理について説明する。

決定部１７０は、画像処理システム１の運用時に処理を実行する。決定部１７０に含まれる抽出部１７１は、入力画像３００に含まれる像を抽出する。より具体的には、抽出部１７１は、入力画像３００に含まれる「２０１８．１２／ＡＥＩＡ」の各像（例えば、１２個の像）を抽出し、各像を含む像情報を導出部１７２に送信する。

導出部１７２は、各像の類似度を導出する。より具体的には、導出部１７２は、記憶装置１５４に格納された第１モデルセット１１１を参照して、像の特徴量と各カテゴリに属するモデルの特徴量とに基づいて類似度を導出する。導出部１７２は、１つの像についてカテゴリ毎の類似度を導出する。また導出部１７２は、複数の像（例えば、１２個の像）の類似度を導出し、導出した複数の像の類似度を含む類似度情報を設定部１７３に送信する。

設定部１７３は、特徴量に基づく類似度により、当該像が属するカテゴリを設定する。より具体的には、設定部１７３は、１つの像について導出されたカテゴリ毎の類似度のうち最も高い類似度となるモデルのカテゴリを当該像が属するカテゴリとして設定する。設定部１７３は、複数の像のカテゴリを設定し、設定した複数の像のカテゴリを含むカテゴリ情報を出力部１７４に送信する。

出力部１７４は、各像の識別結果を出力する。識別結果は、像のカテゴリと、像が属するカテゴリの類似度と、像の安定度とを含む。出力部１７４は、識別結果を含む識別情報を表示部１４０に送信する。表示部１４０は、各像の識別結果を表示する。

図７は、表示部１４０に表示される各像の識別結果について説明する図である。図７を参照して、識別結果画像６０５は、４つの数字（例えば、「２０１８」）の像と、１つの記号（例えば、「．」）の像と、２つの数字（例えば、「１２」）の像と、１つの記号（例えば、「／」）の像と、４つの英字（例えば、「ＡＥ１Ａ」）の像とを含む。すなわち、識別結果画像６０５は、１２個の像で構成される。これらの像は、例えば、「＃＃＃＃＠＃＃＠＄＄＄＄」のフォーマット文字列によりカテゴリ、類似度および安定度が算出される。フォーマット文字列は、任意の数字を表わす「＃」と、任意の英字を表わす「＄」と、任意の記号を表わす「＠」を含む正規表現である。なお、フォーマット文字列を用いて指標を算出する対象のカテゴリを限定する処理については、第２の実施の形態で説明する。

識別結果画像６０５には１２個の像が含まれる。各像の上側には、設定部１７３が設定した各像のカテゴリが含まれる。各像の下側には、導出部１７２が導出した各像の類似度が含まれる。各像の類似度の下側には、出力部１７４が出力した安定度が含まれる。

ここで、識別結果画像６０５に含まれる各像において、例えば類似度の閾値を６０とし、安定度の閾値を１０とした場合に、４つの英字「ＡＥ１Ａ」の像のうちの英字「Ｉ」の像３１１の類似度および安定度が閾値以下の値となる。ある像における類似度および安定度の少なくともいずれかが閾値よりも低い場合は、例えば像の上側に表示されているカテゴリの色、類似度の色および安定度の色の少なくともいずれかが、他の像のカテゴリ等の色とは異なる色で表示される。より具体的には、識別結果画像６０５の１２個の像におけるカテゴリ、類似度および安定度のうち、英字「Ｉ」の像における英字「Ｉ」のカテゴリ、類似度および安定度は、ユーザに対して目立つ色（例えば、赤色）で表示され、その他の像におけるカテゴリ、類似度および安定度は、ユーザに対して目立たない色（例えば、黒色）で表示される。

図６を再び参照して、受付部１８１は、設定部１７３から各像のカテゴリを含むカテゴリ情報を取得する。受付部１８１は、カテゴリ情報を受け付けることで、記憶装置１５４に格納された第１モデルセット１１１に、各像のいずれかを追加するユーザ操作を受け可能となる。すなわち、カテゴリ情報を受け付けることがモデルの追加処理を実行するためのトリガとなる。受付部１８１は、ユーザが表示部１４０に表示された識別結果画像６０５を確認して、マウス１０４を含む入力部を操作することで与えられる操作指令を受け付ける。識別結果画像６０５は、他のカテゴリと異なる色で表示されたカテゴリ、類似度および安定度の少なくともいずれを含む。受付部１８１は、ユーザが選択した像およびカテゴリを含む像選択情報を生成部１８２に出力する。

生成部１８２は、ユーザが選択した像の特徴量を生成する。生成部１８２は、例えば図１を用いて説明した英字「Ｉ」の像３１１の特徴量を生成する。生成部１８２は、ユーザが選択した像の特徴量を含む特徴量情報を追加部１８３に送信する。

追加部１８３は、ユーザが選択した像の特徴量を含むモデルを、ユーザが選択したカテゴリに追加する。より具体的には、追加部１８３は、第１モデルセット１１１とは異なる新たなモデルセットである第２モデルセットを作成する。新たなモデルは、ユーザが選択した像のモデルである。当該モデルが、ユーザが選択したカテゴリに追加されて新たな第２モデルセット１１２が作成される。追加部１８３は、新たなモデルセットを作成したことを含むモデルセット作成情報を算出部１８４に送信する。これにより、画像処理装置１００は、既存のモデルセットに新たなモデルを追加した新規のモデルセットを容易に作成できる。

算出部１８４は、第１モデルセット１１１に含まれる各カテゴリの指標（安定度）と、第２モデルセット１１２に含まれる各カテゴリの指標（安定度）とを算出する。算出部１８４は、指標Ａ_１とＡ_２、指標Ｂ_１とＢ_２、指標Ｃ_１とＣ_２を比較する。算出部１８４は、比較によりカテゴリ毎の指標（安定度）の差の絶対値を算出して出力部１７４に送信する。

図８は、類似度と安定度との関係について表わす図である。図８（Ａ）は、各カテゴリにおける類似度が最も高いカテゴリにおけるモデルと２番目に高いカテゴリにおけるモデルとのそれぞれの類似度を表わす図である。例えば、数字「１」のカテゴリ１３において、最も高い類似度を表わすカテゴリにおけるモデルは、数字「１」のカテゴリにおけるモデルとなる。より具体的には、数字「１」のカテゴリにおけるモデルの類似度は６０となる。また２番目に高い類似度を表わすカテゴリにおけるモデルは、英字「Ｉ」のカテゴリにおけるモデルとなる。英字「Ｉ」のカテゴリにおけるモデルの類似度は５０となる。

図８（Ｂ）は、各カテゴリにおける安定度を表わす図である。安定度は、最も高い類似度から２番目に高い類似度を減算することにより算出される（最も高い類似度−２番目に高い類似度）。図８（Ａ）を用いて説明した数字「１」のカテゴリ１３において、最も高い類似度「６０」から２番目に高い類似度「５０」を減算すると値は「１０」となる。すなわち、数字「１」のカテゴリ１３の安定度は「１０」となる。なお、図８（Ｂ）に示すように、数字「１」のカテゴリの安定度は、他のカテゴリの安定度（例えば、数字「０」のカテゴリにおける安定度「４０」および数字「２」のカテゴリにおける安定度「６０」よりも低い値となる。また、数字「１」のカテゴリ１３の安定度は、上記の安定度閾値以下となっている。

安定度が低い値となるのは、例えばカテゴリに新たなモデルを追加したためである。図２を再び参照して説明すると、上述の図２（Ａ）においては、数字「１」の像３２１と英字「Ｉ」のモデル２２１との距離がＬ１となり、数字「１」の像３２１と数字「１」のモデル２３１との距離がＬ２となる。距離Ｌ１と距離Ｌ２との関係は、距離Ｌ１＞距離Ｌ２である。両方の距離の差が比較的大きいため、数字「１」の像３２１が他のカテゴリである英字「Ｉ」に属すると誤って決定される可能性は小さくなる。その結果、指標は小さくなり、安定度は大きくなる。例えば、安定度の値が２０となる。これに対して、上述の図２（Ｂ）においては、数字「１」の像３２１と英字「Ｉ」のモデル２２３と距離がＬ３となり、数字「１」の像３２１と数字「１」のモデル２３１との距離がＬ２となる。距離Ｌ３と距離Ｌ２との関係は、距離Ｌ３≒距離Ｌ２である。両方の距離の差が比較的小さいため、数字「１」の像３２１が他のカテゴリである英字「Ｉ」に属すると誤って決定される可能性は大きくなる。その結果、指標は大きくなり、安定度は小さく（例えば、安定度の値が１０と）なる。なお、距離の算出対象のモデルが、モデル２２１からモデル２２３に変更されているのは、像３２１との距離がより近いモデルが距離の算出対象となるためである。

なお、図２（Ａ）におけるカテゴリとモデルとの関係は、新たなモデルを追加する前の第１モデルセット１１１におけるカテゴリとモデルとの関係に相当する。これに対して、図２（Ｂ）におけるカテゴリとモデルとの関係は、新たなモデルを追加した後の第２モデルセット１１２におけるカテゴリとモデルとの関係に相当する。新たなモデルは、例えば英字「Ｉ」のモデル２２３である。

図８（Ｂ）における安定度について、算出部１８４は、指標（安定度）の差を含む情報を出力部１７４に出力する。指標の差は、例えば安定度の値２０と安定度の値１０との差である。なお、算出部１８４は、指標の差を含む情報を出力する場合に、安定度に変化がない（差の値が０）カテゴリの情報も含めて出力する。これにより、画像処理装置１００は、差が生じた指標と、差が生じていない指標とを異なる表示態様とする情報を出力可能となる。

出力部１７４は、差の情報を含む結果情報５００を表示部１４０に出力する。表示部１４０は出力部１７４から出力された結果情報５００に基づき、第１安定度画像６１０を表示する。

図９は、第１安定度画像６１０の具体例を表わす図である。図９を参照して、第１安定度画像６１０は、カテゴリ毎の安定度情報６１１と追加確認情報６１２とを含む。

安定度情報６１１において、縦軸は安定度を表わし、横軸は、数字の複数のカテゴリ（例えば、０〜９）、英字の複数のカテゴリ（例えば、Ａ〜Ｚ）および複数の記号のカテゴリ（例えば、「／」および「：」等）を表わす。そして、安定度の閾値６１３としては、例えば１０の値が設定されている。第１安定度画像６１０は、第１モデルセット１１１に含まれるカテゴリ毎の指標と、第２モデルセット１１２に含まれるカテゴリ毎の指標とのうち、対応するカテゴリ間で指標が変化したカテゴリ（例えば、数字「１」のカテゴリ１３）について、他のカテゴリとは異なる表示態様とする。より具体的には、第１安定度画像６１０における数字「１」のカテゴリ１３における棒グラフのうち、安定度の値１０〜２０を示す数値範囲６１４の色を他のカテゴリの安定度を表わす棒グラフの色とは異なる色とする。このように、数値範囲６１４の色を変更するのは、新たなモデルの追加により、追加前には安定度の値が２０であったのに対して、追加後は安定度の値が１０に下がったことを、第１安定度画像６１０を確認したユーザが一目でわかるようするためである。画像処理装置１００は、ユーザに対して安定度の変化が直感的にわかる画像を提供できる。

また、出力部１７４は、第２モデルセット１１２に含まれる少なくとも１つのカテゴリの安定度が予め定められた閾値６１３の値以下（例えば、安定度の値が１０以下）となる場合に、結果情報５００を出力して、表示部１４０に追加確認情報６１２を表示させる。追加確認情報６１２は、特徴量が生成された新たなモデルの第２モデルセット１１２への追加を確定させるか否かをユーザに促す情報である。画像処理装置１００は、例えば新たなモデルのモデルセットへの追加により、安定度が閾値６１３の値以下となるカテゴリが発生する場合にのみ表示部１４０に追加確認情報６１２を表示させる。画像処理装置１００は、新たなモデルのモデルセットへの追加を確定させると、安定度が閾値以下となるカテゴリが発生することをユーザに対して通知できる。なお、画像処理装置１００は、追加確認情報６１２に含まれる「はい」のボタンが入力部を用いたユーザ操作により選択されると、新たなモデルのモデルセットへの追加を確定させる。また、画像処理装置１００は、追加確認情報６１２の「いいえ」のボタンが入力部を用いたユーザ操作により選択されると、新たなモデルのモデルセットへの追加は行わない。

出力部１７４は、例えば安定度の変化が予め定められた値以上となる場合に、結果情報５００を出力して表示部１４０に追加確認情報６１２を表示させてもよい。例えば、新たなモデルの追加により変化した安定度が、閾値６１３を超える（閾値以下とはならない）場合であっても、変化量が大きい（例えば、安定度の値が４０以上低下した）ときには、出力部１７４は、結果情報５００を出力して表示部１４０に追加確認情報６１２を表示させるようにしてもよい。これにより、画像処理装置１００は、モデルセットへの新たなモデルの追加を確定させた場合に、少なくとも１つのカテゴリの安定度がモデルの追加前と比べて、一定値以上低下することをユーザに対して確実に通知できる。

上記の画像処理装置１００は、表示部１４０に１つの第１安定度画像６１０を表示して、第１安定度画像６１０の数字「１」のカテゴリ１３における棒グラフのうち、安定度の１０〜２０を表わす数値範囲６１４の色を、他のカテゴリの安定度を表わす棒グラフの色とは異なる色とすることについて説明した。これに対して、画像処理装置１００は、表示部１４０に第１安定度画像６１０と第２安定度画像６２０とを切替え可能に表示してもよい。

図１０は、第１安定度画像６１０と第２安定度画像６２０とを切替えて表示することについて説明する図である。第２安定度画像６２０は、第１モデルセット１１１に含まれるカテゴリ毎の指標を表示する画像である。より具体的には、第２安定度画像６２０は、数値範囲６１４における安定度が低下する前の数字「１」のカテゴリ１３を含む各カテゴリの安定度を表わす画像である。画像処理装置１００は、第１安定度画像６１０と第２安定度画像６２０とを入力部によるユーザ操作により切替え可能として表示部１４０に表示する。これにより、画像処理装置１００は、ユーザに対して安定度の変化がより一層直感的にわかる画像を提供できる。なお、画像処理装置１００は、第１安定度画像６１０と第２安定度画像６２０とを切替える以外に、第１安定度画像６１０と第２安定度画像６２０とを表示部１４０の１つの画面に並べて表示させてもよい。

［画像処理装置の処理手順］
図１１および図１２を参照して、画像処理装置１００におけるプロセッサ１５０の制御構造について説明する。図１１および図１２の制御は、例えばプロセッサ１５０が制御プログラム１１０を実行することによって実現される。図１１は、像の識別情報を出力する処理について説明するフローチャートである。ステップＳ１０５において、プロセッサ１５０は、入力画像３００に含まれる像を抽出する。

ステップＳ１１０において、プロセッサ１５０は、第１モデルセット１１１を参照して、像の類似度を導出する。

ステップＳ１１５において、プロセッサ１５０は、像の類似度に基づいて、当該像のカテゴリを設定する。

ステップＳ１２０において、プロセッサ１５０は、像の識別情報を表示部１４０に出力する。

図１２は、差を含む情報を出力する処理について説明するフローチャートである。ステップＳ２０５において、プロセッサ１５０は、ユーザによる入力部を用いたユーザ操作に基づいて、新たなモデルとして追加する像と当該像のカテゴリとを選択する。

ステップＳ２１０において、プロセッサ１５０は、選択された像の特徴量を生成する。
ステップＳ２１５において、プロセッサ１５０は、第１モデルセットに含まれるカテゴリのうちユーザが選択したカテゴリに、ユーザが選択したモデルを追加する。プロセッサ１５０は、モデルの追加により、第１モデルセット１１１とは異なる第２モデルセット１１２を作成する。

ステップＳ２２０において、プロセッサ１５０は、記憶装置１５４から第２モデルセット１１２を読み出す。

ステップＳ２２５において、プロセッサ１５０は、第１モデルセット１１１におけるカテゴリ毎の指標と、第２モデルセット１１２におけるカテゴリ毎の指標との差を算出する。

ステップＳ２３０において、プロセッサ１５０は、全てのカテゴリにおける指標の差の算出が終了したか否かを判断する。全てのカテゴリにおける指標の差の算出が終了した場合（ステップＳ２３０においてＹＥＳ）には、プロセッサ１５０は、制御をステップＳ２３５に切替える。そうでない場合には（ステップＳ２３０においてＮＯ）、プロセッサ１５０は、制御をステップＳ２２５に切替える。

ステップＳ２３５において、プロセッサ１５０は、各カテゴリの差を含む情報を表示部１４０に出力する。

＜第２の実施の形態＞
以下、本開示に係る第２の実施の形態について説明する。第１の実施の形態では、画像処理装置１００が、複数のカテゴリ内で指標を算出することについて説明した。これに対して、第２の実施の形態では、画像処理装置１００は、複数のカテゴリのうち条件に合致する属性を有する一部のカテゴリ内で指標を算出する。より具体的には、例えば、画像処理装置１００は、フォーマット文字列を用いて、指標を算出するカテゴリを限定する。

第２の実施の形態に係る画像処理装置は、前述の実施の形態に係る画像処理装置１００と同じハードウェア構成およびを用いて実現される。また、第２の実施の形態に係る画像処理装置は、第１の実施の形態に係る画像処理装置１００における処理と一部が異なる以外は同様の処理を実行する。以下では、図１３を参照して、画像処理装置１００のハードウェア構成および処理について、同じ内容については説明は繰り返さずに、一部が異なる処理の内容について説明する。

図１３は、第３安定度画像６３０の具体例を表わす図である。画像処理装置１００は、例えば、条件が数字および英字のカテゴリ内で指標算出することである場合は、第３安定度画像６３０に表わすように、数字「０」〜「９」と英字「Ａ」〜「Ｚ」とのカテゴリ間で指標が変化したカテゴリについて、他のカテゴリとは異なる表示態様となる情報を出力する。このように、画像処理装置１００は、指標を算出する対象の条件が「数字」および「英字」のカテゴリに設定されている場合は、条件として設定されていない「記号」のカテゴリの指標の算出は行わない。その結果、画像処理装置１００は、例えば記号を除く数字および英字のカテゴリ毎の安定度を含む第３安定度画像６３０を表示部１４０に表示させる。これにより、画像処理装置１００は、文字認識を行う対象に限定して指標を算出するため、処理負荷を軽減でき、文字認識の対象となるカテゴリのみの指標の情報をユーザに提供できる。

なお、条件は上記の条件に限定されず他の条件であってもよい。条件は、例えば上記のように複数の属性を指定するものでもよいし、１つの属性のみを指定するものであってもよい。また、属性に含まれるカテゴリのうち特定のカテゴリを指定するものであってもよい。例えば、数字のうち「４〜９」のカテゴリを指定する等である。また、画像処理装置１００は、例えば入力部を用いたユーザ操作を受け付けて、条件を指定してもよい。さらに、画像処理装置１００はフォーマット文字列に含まれる文字の属性と同じ属性となるように条件を指定してもよい。

＜第３の実施の形態＞
以下、本開示に係る第３の実施の形態について説明する。第１の実施の形態では、画像処理装置１００はモデルを追加したことによる像３２１とモデルとの類似度に関する距離の変化から算出された指標の差を出力することについて説明した。これに対して、第３の実施の形態では、画像処理装置１００は、カテゴリに属するレファレンス７０１とカテゴリに属するモデルとの類似度と、カテゴリに属するレファレンス７０１と他のカテゴリに属するモデルとの類似度とに基づいて指標を算出する。

第３の実施の形態に係る画像処理装置は、前述の実施の形態に係る画像処理装置１００と同じハードウェア構成を用いて実現される。また、第３の実施の形態に係る画像処理装置は、第１の実施の形態に係る画像処理装置１００における処理と一部が異なる以外は同様の処理を実行する。以下では、図１３を参照して、画像処理装置１００のハードウェア構成および処理について、同じ内容については説明は繰り返さずに、一部が異なる処理の内容について説明する。

図１４は、レファレンス７０１を用いたカテゴリの指標の算出について説明する図である。図１４（Ａ）を参照して、モデルを追加する前の状態における指標について説明する。レファレンス７０１は、特徴量空間において、例えば英字「Ｉ」のモデル２２１と、数字「１」のモデル２３１との間の特徴量を有する。英字「Ｉ」のモデル２２１とレファレンス７０１との距離はＬ１１であり、数字「１」のモデル２３１とレファレンス７０１との距離はＬ１２となる。レファレンス７０１は、例えば記憶装置１５４に予め格納されており、属するカテゴリが予め定められている。レファレンス７０１が属するカテゴリは、例えば数字「１」のカテゴリ１３と予め決定されている。そして、距離Ｌ１１と距離Ｌ１２との差の絶対値が予め定めた値以下の場合には、数字「１」のカテゴリの指標は小さくなる。言い換えると、数字「１」のカテゴリの安定度は大きくなる。これにより、画像処理装置１００はレファレンスを用いたモデルの類似度に基づいて、像が属するカテゴリを正確に判定できる。

次に、図１４（Ｂ）を参照して、レファレンス７０１と英字「Ｉ」のモデル２２３との距離はＬ１３であり、レファレンス７０１と数字「１」のモデル２３１との距離はＬ１２となる。そして、距離Ｌ１３と距離Ｌ１２との差の絶対値が予め定めた値よりも大きくなる場合には、予め設定されているレファレンス７０１のカテゴリは、数字「１」のカテゴリ１３から英字「Ｉ」のカテゴリ１２に変化する。このようにレファレンス７０１に予め設定されているカテゴリが変化することで、変化前のカテゴリである数字「１」のカテゴリの指標は大きくなる。言い換えると、数字「１」のカテゴリの安定度は小さくなる。画像処理装置１００は、モデルの追加によるレファレンス７０１のカテゴリの変化に基づき、モデルの変更の適否を判断できる情報をユーザに提供する。

＜変形例＞
第１〜第３の実施の形態では、画像処理装置１００は、あるカテゴリにモデルを追加した場合の指標の差を出力することについて説明した。これに対して、画像処理装置１００は、ユーザの入力部を用いた操作により、あるカテゴリに登録されているモデルの削除を受け付けて、当該モデルを削除した場合の指標の差を含む情報を表示部１４０に出力するようにしてもよい。画像処理装置１００は、例えば入力部を用いたユーザ操作により、当該モデルを削除した場合の指標の差を含む情報を表示部１４０に出力する。これにより、画像処理装置１００は、モデルの登録数が登録可能な上限に達した場合に、既に登録されたモデルを削除することで新たなモデルを追加可能となる。また、画像処理装置１００は、登録されたモデルが認識の精度を低下させている場合に、当該モデルを削除することで認識の精度を向上させることができる。

なお、画像処理装置１００は、ユーザの入力部を用いた操作により、あるカテゴリに登録されているモデルの削除および新たなモデルの登録するリプレイスを受け付けて、指標の差を出力するようにしてもよい。

第１〜第３の実施の形態では、数値範囲６１４の色を他のカテゴリにおける安定度を表わす棒グラフの色とは異なる色とすることについて説明した。これに対して、数字「１」のカテゴリ１３の棒グラフにおける数値範囲６１４の部分を点滅させてもよい。数値範囲６１４の対象のカテゴリとなる数字「１」のカテゴリ１３の色を他のカテゴリ色と異ならせてもよい。

第１〜第３の実施の形態では、画像処理装置１００は、各カテゴリごとの指標（安定度）の値を表示部１４０に第１安定度画像６１０等として表示させることについて説明した。これに対して、画像処理装置１００は、表示部１４０に指標の差の値のみを表示させてもよい。その場合、画像処理装置１００は、例えば、指標の差が０の値の場合は０の値を表わす画像を表示部１４０に表示させる。また、画像処理装置１００は、例えば、指標の差の値が１０の場合は１０の値を表わす画像を表示部１４０に表示させる。

＜付記＞
以上のように、本実施の形態は以下のような開示を含む。

［構成１］
複数のカテゴリの各々に１または複数のモデルを対応付けた第１モデルセット（１１１）を格納する記憶部（１５４）と、
前記記憶部（１５４）に格納された前記第１モデルセット（１１１）を参照して、入力画像に含まれる像が前記複数のカテゴリのうちのいずれのカテゴリに属するのかを決定する決定部（１７０）と、
対象のモデルセットに含まれる複数のカテゴリ内の各カテゴリについて、当該カテゴリに属すると決定されるべき像が当該カテゴリとは異なるカテゴリに属すると誤って決定される可能性を示す指標を算出する算出部（１８４）と、
前記第１モデルセット（１１１）を対象として算出された前記第１モデルセットに含まれるカテゴリ毎の指標と、前記第１モデルセット（１１１）とは異なる第２モデルセット（１１２）を対象として算出された前記第２モデルセット（１１２）に含まれるカテゴリ毎の指標との間の差を含む情報を出力する出力部（１７４）とを備える、画像処理装置。

［構成２］
前記出力部（１７４）は、前記第１モデルセット（１１１）に含まれるカテゴリ毎の指標と、前記第２モデルセット（１１２）に含まれるカテゴリ毎の指標とのうち、対応するカテゴリ間で指標が変化したカテゴリについて、他のカテゴリとは異なる表示態様となる情報を出力する、構成１に記載の画像処理装置。

［構成３］
前記入力画像（３００）に含まれる像の選択と、当該選択された像のカテゴリの設定とを受け付ける受付部（１８１）と、
前記選択された像に基づいてモデルを生成する生成部（１８２）と、
前記第１モデルセット（１１１）の設定されたカテゴリに前記生成されたモデルを追加したものを前記第２モデルセット（１１２）とする追加部（１８３）とをさらに備える、構成１または２に記載の画像処理装置。

［構成４］
前記出力部（１７４）は、前記第２モデルセット（１１２）に含まれるカテゴリ毎の指標のうちの前記指標の値が予め定められた値未満となる指標がある場合に、前記生成されたモデルの前記第１モデルセット（１１１）への追加を確定させるか否かの確認をユーザに促す情報を出力する、構成３に記載の画像処理装置。

［構成５］
前記出力部（１７４）は、前記第２モデルセット（１１２）に含まれるカテゴリ毎の指標と、前記第１モデルセット（１１１）に含まれるカテゴリ毎の指標とのうち、対応するカテゴリ間での指標の値の変化が予め定められた値以上となる場合に、前記生成されたモデルの前記第１モデルセット（１１１）への追加を確定させるか否かの確認をユーザに促す情報を出力する、構成３に記載の画像処理装置。

［構成６］
前記受付部（１８１）は、前記第１モデルセット（１１１）に含まれる前記モデルの選択を受け付け、
前記選択されたモデルを削除する削除部をさらに備える、構成３〜５のいずれか１項に記載の画像処理装置。

［構成７］
前記算出部（１８４）は、前記指標を、前記複数のカテゴリのうち条件に合致する属性を有する一部のカテゴリ内で算出する、構成１〜６のいずれか１項に記載の画像処理装置。

［構成８］
前記算出部（１８４）は、前記選択されたカテゴリに属するモデルと、前記他のカテゴリに属するモデルとの類似度に基づいて、当該選択されたカテゴリの前記指標を算出する、構成１〜７のいずれか１項に記載の画像処理装置。

［構成９］
前記記憶部（１５４）は、属する前記カテゴリが予め決定されたレファレンス（７０１）を格納し、
前記算出部（１８４）は、前記カテゴリに属するレファレンス（７０１）と前記カテゴリに属する前記モデルとの類似度と、前記カテゴリに属する前記レファレンス（７０１）と他のカテゴリに属する前記モデルとの類似度とに基づいて、当該カテゴリの前記指標を算出する、構成１〜７のいずれか１項に記載の画像処理装置。

［構成１０］
前記入力画像（３００）に含まれる像は、文字の像である、構成１〜９のいずれか１項に記載の画像処理装置。

［構成１１］
記憶部（１５４）に格納された複数のカテゴリの各々に１または複数のモデルを対応付けた第１モデルセット（１１１）を参照して、入力画像（３００）に含まれる像が前記複数のカテゴリのうちのいずれのカテゴリに属するのかを決定するステップ（Ｓ１１５）と、
対象のモデルセットに含まれる複数のカテゴリ内の各カテゴリについて、当該カテゴリに属すると決定されるべき像が当該カテゴリとは異なるカテゴリに属すると誤って決定される可能性を示す指標を算出するステップ（Ｓ２２５）と、
前記第１モデルセット（１１１）を対象として算出された前記第１モデルセット（１１１）に含まれるカテゴリ毎の指標と、前記第１モデルセット（１１１）とは異なる第２モデルセット（１１２）を対象として算出された前記第２モデルセット（１１２）に含まれるカテゴリ毎の指標との間の差を含む情報を出力するステップ（Ｓ２３５）とを含む、画像処理方法。

［構成１２］
コンピュータを画像処理装置（１００）として機能させるための画像処理プログラムであって、
前記画像処理プログラムは前記コンピュータに、
記憶部（１５４）に格納された複数のカテゴリの各々に１または複数のモデルを対応付けた第１モデルセット（１１１）を参照して、入力画像（３００）に含まれる像が前記複数のカテゴリのうちのいずれのカテゴリに属するのかを決定するステップ（Ｓ１１５）と、
対象のモデルセットに含まれる複数のカテゴリ内の各カテゴリについて、当該カテゴリに属すると決定されるべき像が当該カテゴリとは異なるカテゴリに属すると誤って決定される可能性を示す指標を算出するステップ（Ｓ２２５）と、
前記第１モデルセット（１１１）を対象として算出された前記第１モデルセット（１１１）に含まれるカテゴリ毎の指標と、前記第１モデルセットとは異なる第２モデルセット（１１２）を対象として算出された前記第２モデルセット（１１２）に含まれるカテゴリ毎の指標との間の差を含む情報を出力するステップ（Ｓ２３５）とを実行させる、画像処理プログラム。

今回開示された実施の形態は全ての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内での全ての変更が含まれることが意図される。

１ 画像処理システム、２ ワーク、４ 光電センサ、４ａ 受光部、４ｂ 投光部、６ 搬送機構、８ カメラ、１００ 画像処理装置、１０４ マウス、１１０ 制御プログラム、１１１ 第１モデルセット、１１２ 第２モデルセット、１１５ 辞書データ、１２１ａ 第１範囲、１２２ａ 第３範囲、１３０ 取得部、１３０ａ 画像バッファ、１３１ａ 第２範囲、１４０ 表示部、１５２ メモリ、１５４ 記憶装置、１６０ 入力インターフェイス、１６２ 表示コントローラ、１６４ インターフェイス、１６６ 通信インターフェイス、１７０ 決定部、１７１ 抽出部、１７２ 導出部、１７３ 設定部、１７４ 出力部、１７５ バス、１８１ 受付部、１８２ 生成部、１８３ 追加部、１８４ 算出部、３００ 入力画像、３１１，３２１ 像、５００ 結果情報、６０５ 識別結果画像、６１１ 安定度情報、６１２ 追加確認情報、６１３ 閾値、６１４ 数値範囲、７０１ レファレンス。

Claims (12)

1. 複数のカテゴリの各々に１または複数のモデルを対応付けた第１モデルセットを格納する記憶部と、
   前記記憶部に格納された前記第１モデルセットを参照して、入力画像に含まれる像が前記複数のカテゴリのうちのいずれのカテゴリに属するのかを決定する決定部と、
   対象のモデルセットに含まれる複数のカテゴリ内の各カテゴリについて、当該カテゴリに属すると決定されるべき像が当該カテゴリとは異なるカテゴリに属すると誤って決定される可能性を示す指標を算出する算出部と、
   前記第１モデルセットを対象として算出された前記第１モデルセットに含まれるカテゴリ毎の指標と、前記第１モデルセットとは異なる第２モデルセットを対象として算出された前記第２モデルセットに含まれるカテゴリ毎の指標との間の差を含む情報を出力する出力部とを備える、画像処理装置。
2. 前記出力部は、前記第１モデルセットに含まれるカテゴリ毎の指標と、前記第２モデルセットに含まれるカテゴリ毎の指標とのうち、対応するカテゴリ間で指標が変化したカテゴリについて、他のカテゴリとは異なる表示態様となる情報を出力する、請求項１に記載の画像処理装置。
3. 前記入力画像に含まれる像の選択と、当該選択された像のカテゴリの設定とを受け付ける受付部と、
   前記選択された像に基づいてモデルを生成する生成部と、
   前記第１モデルセットの設定されたカテゴリに前記生成されたモデルを追加したものを前記第２モデルセットとする追加部とをさらに備える、請求項１または２に記載の画像処理装置。
4. 前記出力部は、前記第２モデルセットに含まれるカテゴリ毎の指標のうちの前記指標の値が予め定められた値未満となる指標がある場合に、前記生成されたモデルの前記第１モデルセットへの追加を確定させるか否かの確認をユーザに促す情報を出力する、請求項３に記載の画像処理装置。
5. 前記出力部は、前記第２モデルセットに含まれるカテゴリ毎の指標と、前記第１モデルセットに含まれるカテゴリ毎の指標とのうち、対応するカテゴリ間での指標の値の変化が予め定められた値以上となる場合に、前記生成されたモデルの前記第１モデルセットへの追加を確定させるか否かの確認をユーザに促す情報を出力する、請求項３に記載の画像処理装置。
6. 前記受付部は、前記第１モデルセットに含まれる前記モデルの選択を受け付け、
   前記選択されたモデルを削除する削除部をさらに備える、請求項３〜５のいずれか１項に記載の画像処理装置。
7. 前記算出部は、前記指標を、前記複数のカテゴリのうち条件に合致する属性を有する一部のカテゴリ内で算出する、請求項１〜６のいずれか１項に記載の画像処理装置。
8. 前記算出部は、前記選択されたカテゴリに属するモデルと、前記他のカテゴリに属するモデルとの類似度に基づいて、当該選択されたカテゴリの前記指標を算出する、請求項１〜７のいずれか１項に記載の画像処理装置。
9. 前記記憶部は、属する前記カテゴリが予め決定されたレファレンスを格納し、
   前記算出部は、前記カテゴリに属するレファレンスと前記カテゴリに属する前記モデルとの類似度と、前記カテゴリに属する前記レファレンスと他のカテゴリに属する前記モデルとの類似度とに基づいて、当該カテゴリの前記指標を算出する、請求項１〜７のいずれか１項に記載の画像処理装置。
10. 前記入力画像に含まれる像は、文字の像である、請求項１〜９のいずれか１項に記載の画像処理装置。
11. 記憶部に格納された複数のカテゴリの各々に１または複数のモデルを対応付けた第１モデルセットを参照して、入力画像に含まれる像が前記複数のカテゴリのうちのいずれのカテゴリに属するのかを決定するステップと、
    対象のモデルセットに含まれる複数のカテゴリ内の各カテゴリについて、当該カテゴリに属すると決定されるべき像が当該カテゴリとは異なるカテゴリに属すると誤って決定される可能性を示す指標を算出するステップと、
    前記第１モデルセットを対象として算出された前記第１モデルセットに含まれるカテゴリ毎の指標と、前記第１モデルセットとは異なる第２モデルセットを対象として算出された前記第２モデルセットに含まれるカテゴリ毎の指標との間の差を含む情報を出力するステップとを含む、画像処理方法。
12. コンピュータを画像処理装置として機能させるための画像処理プログラムであって、
    前記画像処理プログラムは前記コンピュータに、
    記憶部に格納された複数のカテゴリの各々に１または複数のモデルを対応付けた第１モデルセットを参照して、入力画像に含まれる像が前記複数のカテゴリのうちのいずれのカテゴリに属するのかを決定するステップと、
    対象のモデルセットに含まれる複数のカテゴリ内の各カテゴリについて、当該カテゴリに属すると決定されるべき像が当該カテゴリとは異なるカテゴリに属すると誤って決定される可能性を示す指標を算出するステップと、
    前記第１モデルセットを対象として算出された前記第１モデルセットに含まれるカテゴリ毎の指標と、前記算出するステップが、前記第１モデルセットとは異なる第２モデルセットを対象として算出された前記第２モデルセットに含まれるカテゴリ毎の指標との間の差を含む情報を出力するステップとを実行させる、画像処理プログラム。

Images