JP7529151B2 - 検査システム - Google Patents

Description

本発明は、検査システム、検査方法、および、記録媒体に関する。

透明または半透明な容器に封入された液体中の異物の有無を検査する検査システムが提案されている。

例えば、観測により得られる液体中の粒子の軌道を表す時系列データを取得し、上記粒子の軌道に基づいて粒子の種類（ガラス薄片など）を判定する方法および装置が提案されている（例えば、特許文献１参照）。

また、液体中の物体の動き方（移動軌跡など）を観測により取得し、この取得した物体の動き方と、事前に学習しておいた液体中の異物の動き方とを比較することにより、液体中に異物が存在するか否かを検査する方法および装置が提案されている（例えば、特許文献２参照）。

一方、深層ニューラルネットワークにより構成された画像識別を行う識別モデルが出力する識別結果の確信度を予測する方法および装置が提案されている（例えば、非特許文献１参照）。具体的には、学習済みの識別モデルに画像を入力した際に識別モデルから取り出される中間特徴量と真のクラス確率（ＴＣＰ：True Class Probability）とを教師データとして用い、入力を識別モデルから得られる画像の中間特徴量とし、出力を識別モデルの識別結果の確信度とするように機械学習された確信度予測モデルを使用する。

特開２０１９－２１５３７６号公報 特開２０１９－１７４３４６号公報

Charles Corbiere et al., "Addressing Failure Prediction by Learning Model Confidence" (NeurIPS2019)

観測して得られた液体中の物体の移動軌跡を表す時系列データに基づいて物体の種類（例えば、異物または気泡）を識別するモデルの識別結果は、１００％信頼できるとは限らず、間違っている可能性がある。注射製剤など液体医薬品の液中異物検査を目的とするような失敗が深刻な影響をもたらすアプリケーションでは特に、識別モデルの識別結果の確からしさを予測し得ることが重要である。

非特許文献１に記載の方法では、学習済みの識別モデルに識別対象の画像を入力した際に識別モデルから取り出される中間特徴量と真のクラス確率とを教師データとして用いて、確信度予測モデルを学習する。しかし、入力画像（の中間特徴量）を教師データとして確信度予測モデルを学習する構成では、類似する複数の入力画像から推定される複数の結果の確信度間に差を持たせることは困難である。そのため、非特許文献１に記載の方法では、種類の異なる複数の物体から不充分な観測により得られた互いに類似する移動軌跡を表す時系列データから推定される結果の確信度に差を付けることは困難である。

本発明は、上述した課題を解決する検査システムを提供することにある。

本発明の一形態に係る検査システムは、
観測により得られた対象物の移動軌跡を表す時系列データと前記対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定する識別モデルを学習する識別モデル学習手段と、
観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と前記対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する確信度予測モデルを学習する確信度予測モデル学習手段と、
学習済みの前記識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定し、学習済みの前記確信度予測モデルを用いて、前記時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する判定手段と、
を備えるように構成されている。

また、本発明の一形態に係る検査方法は、
観測により得られた対象物の移動軌跡を表す時系列データと前記対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定する識別モデルを学習し、
観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と前記対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する確信度予測モデルを学習し、
学習済みの前記識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定し、学習済みの前記確信度予測モデルを用いて、前記時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する、
ように構成されている。

また、本発明の一形態に係るコンピュータ読み取り可能な記録媒体は、
コンピュータに、
観測により得られた対象物の移動軌跡を表す時系列データと前記対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定する識別モデルを学習する処理と、
観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と前記対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する確信度予測モデルを学習する処理と、
学習済みの前記識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定し、学習済みの前記確信度予測モデルを用いて、前記時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する処理と、
を行わせるためのプログラムを記録するように構成されている。

本発明は、上述したような構成を有することにより、種類の異なる複数の対象物から観測により得られた互いに類似する複数の移動軌跡を表す時系列データであってもその観測諸元が相違する場合、それら時系列データから推定される結果の確信度間に差を付けることができる。

本発明の第１の実施形態に係る検査システムのブロック図である。 本発明の第１の実施形態における検査装置の一例を示すブロック図である。 本発明の第１の実施形態における画像情報の構成例を示す図である。 本発明の第１の実施形態における追跡情報の構成例を示す図である。 本発明の第１の実施形態における検査結果情報の構成例を示す図である。 本発明の第１の実施形態における確信度予測モデルの機械学習に用いる教師データを作成する方法の一例を示す模式図である。 本発明の第１の実施形態における学習フェーズの動作の一例を示すフローチャートである。 本発明の第１の実施形態における検査フェーズの動作の一例を示すフローチャートである。 本発明の第１の実施形態における確信度予測モデルの機械学習に用いる教師データを作成する方法の他の例を示す模式図である。 本発明の第１の実施形態における変形例３による識別モデルの学習方法の例を示す模式図である。 本発明の第１の実施形態における変形例４において確信度予測モデルの機械学習に用いる教師データを作成する方法の一例を示す模式図である。 本発明の第１の実施形態における変形例５における確信度予測モデルの機械学習に用いる教師データを作成する方法の例を示す模式図である。 本発明の第１の実施形態における変形例６で用いる識別モデルの例を示す模式図である。 本発明の第２の実施形態に係る検査システムのブロック図である。

次に、本発明の第１の実施形態について、図面を参照して詳細に説明する。

図１は、本発明の第１の実施形態に係る検査システム１００のブロック図である。図１を参照すると、検査システム１００は、容器４００に封入された液体中の異物の有無を検査するシステムである。検査システム１００は、主な構成要素として、把持装置１１０と、照明装置１２０と、カメラ装置１３０と、検査装置２００と、表示装置３００と、を備えている。

容器４００は、ガラス瓶やペットボトルなどの透明または半透明な容器である。容器４００の内部には、薬剤や水などの液体が封入・充填されている。また、容器４００に封入された液体中には、異物が混入している可能性がある。異物としては、例えば、ガラス片、プラスチック片、ゴム片、髪の毛、繊維片、煤、などが想定される。

把持装置１１０は、容器４００を所定の姿勢で把持するように構成されている。所定の姿勢は任意である。例えば、容器４００が正立しているときの姿勢を所定の姿勢としてよい。あるいは、容器４００が正立した姿勢から所定の角度で傾いた姿勢を所定の姿勢としてよい。以下では、容器４００が正立した姿勢を所定の姿勢として説明する。容器４００を正立した姿勢で把持する機構は、任意である。例えば、把持する機構は、容器４００を正立した姿勢で載置する台座と、台座上に載置された容器４００の頭頂部であるキャップ４０１の上面部を押圧する部材などを含んで構成されていてよい。

また、把持装置１１０は、容器４００を把持した状態で、容器４００を正立した姿勢から所定方向に傾斜させ、または揺動させ、または回転させるように構成されている。容器４００を傾斜・揺動・回転させる機構は、任意である。例えば、傾斜・揺動・回転させる機構は、把持機構全体を、容器４００を把持した状態で傾斜・揺動・回転させるモータを含んで構成されていてよい。

また、把持装置１１０は、有線または無線により検査装置２００と接続されている。把持装置１１０は、検査装置２００からの指示により起動されると、容器４００を把持した状態で、容器４００を正立した姿勢から所定方向に傾斜・揺動・回転させる。また、把持装置１１０は、検査装置２００からの指示により停止されると、容器４００を傾斜・揺動・回転させる動作を停止し、容器４００を正立した姿勢で把持する状態に復帰する。

上記のように容器４００を傾斜・揺動・回転させ、その後に静止させると、静止した容器４００内で液体が慣性により流動する状態が得られる。液体が流動すると、液体に混入された異物が浮遊する状態が得られる。また、液体が流動すると、容器４００の内側壁面などに付着していた気泡や液体の流動の過程で混ざり込んだ気泡が液体中を浮遊する可能性がある。従って、検査装置２００は、浮遊物が異物であるか、気泡であるかを識別する必要がある。

照明装置１２０は、容器４００に封入された液体に対して照明光を照射するように構成されている。照明装置１２０は、例えば、容器４００の大きさに応じたサイズの面光源である。照明装置１２０は、容器４００からみてカメラ装置１３０が設置される側とは反対側に設置されている。すなわち、照明装置１２０による照明は、透過照明である。ただし、照明装置１２０の位置はこれに限定せず、例えば容器４００の底面側やカメラ装置１３０に隣接する位置に設置して、反射光照明として撮影する形態をとってもよい。

カメラ装置１３０は、容器４００からみて照明装置１２０が設置される側とは反対側の所定位置から、容器４００内の液体を、所定のフレームレートで連続して撮影する撮影装置である。カメラ装置１３０は、例えば、数百万画素程度の画素容量を有するＣＣＤ（Ｃｈａｒｇｅ－Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）イメージセンサを備えたカラーカメラを含んで構成されていてよい。カメラ装置１３０は、有線または無線により、検査装置２００と接続されている。カメラ装置１３０は、撮影して得られた時系列の画像を、撮影時刻を示す情報などと共に、検査装置２００に対して送信するように構成されている。

表示装置３００は、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ：液晶ディスプレイ）などの表示装置である。表示装置３００は、検査装置２００と有線または無線により接続されている。表示装置３００は、検査装置２００で行われた容器４００の検査結果などを表示するように構成されている。

検査装置２００は、カメラ装置１３０によって撮影して得られた時系列の画像に対して画像処理を行って、容器４００に封入された液体中の異物の有無を検査する情報処理装置である。検査装置２００は、把持装置１１０、カメラ装置１３０、および表示装置３００と有線または無線により接続されている。

図２は、検査装置２００の一例を示すブロック図である。図２を参照すると、検査装置２００は、通信Ｉ／Ｆ部２１０と操作入力部２２０と記憶部２３０と演算処理部２４０とを備えている。

通信Ｉ／Ｆ部２１０は、データ通信回路から構成され、有線または無線により把持装置１１０、カメラ装置１３０、表示装置３００、および図示しない他の外部装置との間でデータ通信を行うように構成されている。操作入力部２２０は、キーボードやマウスなどの操作入力装置から構成され、オペレータの操作を検出して演算処理部２４０に出力するように構成されている。

記憶部２３０は、ハードディスクやメモリなどの１種類あるいは多種類の１以上の記憶装置から構成され、演算処理部２４０における各種処理に必要な処理情報およびプログラム２３１を記憶するように構成されている。プログラム２３１は、演算処理部２４０に読み込まれて実行されることにより各種処理部を実現するプログラムであり、通信Ｉ／Ｆ部２１０などのデータ入出力機能を介して図示しない外部装置や記録媒体から予め読み込まれて記憶部２３０に保存される。記憶部２３０に記憶される主な処理情報には、画像情報２３２、追跡情報２３３、識別モデル２３４、確信度予測モデル２３５、および、検査結果情報２３６がある。

画像情報２３２は、容器４００内の液体をカメラ装置１３０によって連続して撮影して得られた時系列の画像を含んでいる。容器４００内の液体中に浮遊物が存在する場合、画像情報２３２には、浮遊物の像が写っている。

図３は、画像情報２３２の構成例を示す。この例の画像情報２３２は、容器ＩＤ２３２１と撮影時刻２３２２とフレーム画像２３２３との組からなるエントリから構成されている。容器ＩＤ２３２１の項目には、検査対象とした容器４００を一意に識別するＩＤが設定される。容器ＩＤ２３２１としては、容器４００に振られた通し番号、容器４００に貼付されたバーコード、容器４００のキャップ４０１などから採取された物体指紋情報などが考えられる。撮影時刻２３２２およびフレーム画像２３２３の各項目には、撮影時刻およびフレーム画像が設定される。撮影時刻２３２２は、同じ容器ＩＤの他のフレーム画像と区別して識別できるような精度（例えばミリ秒単位）に設定されている。撮影時刻２３２２は、例えば、容器４００の傾斜・揺動・回転を停止した時点からの経過時間を用いてよい。図３の例では、フレーム画像２３２３毎に容器ＩＤ２３２１を関連付けているが、複数のフレーム画像２３２３のグループ毎に容器ＩＤ２３２１を関連付けるようにしてもよい。

追跡情報２３３は、画像情報２３２に写っている容器４００内の液体中に存在する浮遊物の像を検出して追跡した浮遊物の移動軌跡を表す時系列データとその観測諸元とを含んでいる。観測諸元は、例えば、観測された移動軌跡の長さ、観測された浮遊物の大きさ、観測された移動軌跡の開始時刻、観測された移動軌跡が存在した容器４００内の場所、移動軌跡の品質など、事前に定められた１または２以上の情報を意味する。図４は、追跡情報２３３の構成例を示す。この例の追跡情報２３３は、容器ＩＤ２３３１、追跡ＩＤ２３３２とポインタ２３３３－１とポインタ２３３３－２との組、の各エントリから構成されている。容器ＩＤ２３３１のエントリには、容器４００を一意に識別するＩＤが設定される。追跡ＩＤ２３３２とポインタ２３３３－１とポインタ２３３３－２との組からなるエントリは、追跡対象の浮遊物毎に設けられる。追跡ＩＤ２３３２の項目には、追跡対象の浮遊物を同じ容器４００内の他の浮遊物と識別するためのＩＤが設定される。ポインタ２３３３－１の項目には、追跡対象とする浮遊物の移動軌跡情報２３３４へのポインタが設定される。ポインタ２３３３－２の項目には、追跡対象とする浮遊物の移動軌跡情報の観測諸元リスト２３３５へのポインタが設定される。

移動軌跡情報２３３４は、時刻２３３４１と位置情報２３３４２とサイズ２３３４３と色２３３４４と形状２３３４５との組からなるエントリから構成されている。時刻２３３４１と位置情報２３３４２とサイズ２３３４３と色２３３４４と形状２３３４５との項目には、撮影時刻とその撮影時刻における追跡対象の浮遊物の位置を示す座標値と浮遊物のサイズと浮遊物の色と浮遊物の形状とが設定される。時刻２３３４１に設定する撮影時刻は、フレーム画像の撮影時刻２３２２を用いる。座標値は、例えば、予め定められた座標系における座標値であってよい。また、予め定められた座標系は、カメラを中心としてみたカメラ座標系であってもよいし、空間中のある位置を中心として考えたワールド座標系であってもよい。移動軌跡情報２３３４のエントリは、時刻２３３４１の順に並べられている。先頭のエントリの時刻２３３４１は、追跡開始時刻である。最後尾のエントリの時刻２３３４１は、追跡終了時刻である。先頭および最後尾以外のエントリの時刻２３３４１は、追跡中間時刻である。

観測諸元リスト２３３５は、移動軌跡情報２３３４から推定される浮遊物の種類の確信度に関係すると考えられる観測諸元のリストである。本例の観測諸元リスト２３３５は、移動軌跡情報２３３４に係る追跡長２３３５１と浮遊物の大きさ２３３５２と追跡開始時刻２３３５３と追跡領域２３３５４と移動軌跡情報の品質２３３５５との組からなるエントリから構成されている。

追跡長２３３５１の項目には、移動軌跡情報２３３４が表す移動軌跡の長さが設定される。移動軌跡の長さは、移動軌跡情報２３３４を構成するエントリ数（即ち、フレーム画像数）であってもよいし、追跡開始時刻から追跡終了時刻までの時間長であってもよい。移動軌跡が長く観測された浮遊物ほど、その浮遊物の種類に応じた動きが移動軌跡中に現れている確率が高いと考えられる。反対に、移動軌跡が短い浮遊物は、その浮遊物の種類に応じた動きが移動軌跡に現れている確率が低いと考えられる。従って、追跡長２３３５１は、移動軌跡から推定される浮遊物の種類の確信度に関係する観測諸元の１つになり得る。

浮遊物の大きさ２３３５２の項目には、移動軌跡情報２３３４に含まれるサイズ２３３４３を統計処理した値（例えば、平均値、最大値、最小値、中央値）が設定される。サイズの大きい異物は、容器４００の傾斜・揺動・回転を停止した後、初期に沈降する傾向がある。従って、浮遊物の大きさ２３３５２は、移動軌跡から推定される浮遊物の種類の確信度に関係する観測諸元の１つになり得る。

追跡開始時刻２３３５３の項目には、移動軌跡情報２３３４の追跡開始時刻が設定される。追跡開始時刻は、換言すれば、容器４００の傾斜・揺動・回転を停止させた時点から当該移動軌跡情報２３３４の追跡開始時点までの経過時間の長さを表す値である。追跡開始時刻２３３５３が早いほど、液体の流動の影響を受け易いため浮遊物の種類に応じた動きが移動軌跡に現れるまでに時間がかかると考えられる。一方、追跡開始時刻２３３５３が遅くなれば、液体の流動の影響が少なくなるため浮遊物の種類に応じた動きが移動軌跡に現れる確率が高くなると考えられる。従って、追跡開始時刻２３３５３は、移動軌跡から推定される浮遊物の種類の確信度に関係する観測諸元の１つになり得る。

追跡領域２３３５４の項目には、移動軌跡情報２３３４が表す移動軌跡が容器４００内のどの領域におけるものであるかを表す値が設定される。追跡領域は、観測場所とも呼ばれる。追跡領域２３３５４は、例えば、移動軌跡の外接矩形を特定する値（例えば外接矩形の頂点の座標値）であってもよいし、上記外接矩形から容器４００の液面・壁面・底面までの最短距離を表す値であってもよい。容器４００の液面近くでは液面に浮いている気泡の影響により異物を正しく検出するのが難しい。また、容器４００の壁面の近くではレンズ効果により浮遊物を正しく検出するのが容易でない。また、容器４００の底面の近くは影などの影響により浮遊物を正しく検出するのが難しい。そのため、容器４００内のどの領域における移動軌跡であるかは、その移動軌跡の信頼性、ひいてはその移動軌跡から推定される浮遊物の種類の確信度に影響を及ぼす。

移動軌跡情報の品質２３３５５の項目には、移動軌跡情報２３３４の品質が設定される。移動軌跡情報２３３４の品質は、例えば、移動軌跡情報２３３４に含まれる位置情報２３３４２の不連続さ、サイズ２３３４３・色２３３４４・形状２３３４５の変動量に基づいて判定してよい。例えば、検知や追跡の結果が不確かと予想される過剰なサイズの変動や位置の不連続さが存在する移動軌跡情報２３３４は、同じ浮遊物を追跡した結果の移動軌跡である信頼性に乏しい。そのため、移動軌跡情報の品質２３３５５は、移動軌跡から推定される浮遊物の種類の確信度に関係する観測諸元の１つになり得る。

但し、本発明で使用する観測諸元は上記に限定されない。識別モデルの特徴量に直接含まれないが、特徴量が正しく評価し難くなる条件、観測自体の失敗などによる例外的誤りを増やし得る条件など、移動軌跡から推定される浮遊物の種類の確信度に関係するものであれば、他の任意の観測諸元を利用してよい。また、使用する観測諸元は、観測の特性から決めてもよい（検知・追跡処理で仮定した前提が崩れる条件など）し、実際の誤りから推定した条件（識別根拠がはっきり読み取れない条件など）でもよい。

識別モデル２３４は、浮遊物の移動軌跡を表す時系列データから浮遊物の種類を推定するモデルである。識別モデル２３４は、例えば、ＲＮＮやＬＳＴＭなどのニューラルネットワークの再帰的構造を用いて構成してよい。或いは、識別モデル２３４は、パディング、プーリング処理やリサイズを用いて、固定長データの識別に帰着してもよい。

確信度予測モデル２３５は、浮遊物の移動軌跡を表す時系列データの観測諸元から、当該観測諸元に係る時系列データに基づいて識別モデル２３４によって推定された結果の確信度を予測するモデルである。確信度予測モデル２３５は、例えば、ニューラルネットワークを用いて構成してよい。或いは、確信度予測モデル２３５は、線形識別器、決定木などでもよい。

検査結果情報２３６は、容器４００に封入された液体中の異物の有無を検査した結果に応じた情報を含んでいる。検査結果には、識別モデル２３４によって算出された浮遊物の種類の推定結果と、確信度予測モデル２３５によって算出された識別モデル２３４の推定結果の確信度とが含まれる。

図５は、検査結果情報２３６の構成例を示す。この例の検査結果情報２３６は、容器ＩＤ２３６１、検査結果２３６２、異物検出数２３６３、気泡検出数２３６４、検出異物ＩＤ２３６５とポインタ２３６６との組、検出気泡ＩＤ２３６７とポインタ２３６８との組、の各エントリから構成されている。容器ＩＤ２３６１のエントリには、検査対象の容器４００を一意に識別するＩＤが設定される。検査結果２３６２のエントリには、ＯＫ（検査合格）またはＮＧ（検査不合格）の何れかの検査結果が設定される。異物検出数２３６３のエントリには、検出された異物の総数が設定される。気泡検出数２３６４のエントリには、検出された気泡の総数が設定される。なお、識別結果として、気泡と異物以外に液中の成分の凝集物などを含んでもよい。

検出異物ＩＤ２３６５とポインタ２３６６との組のエントリは、検出された異物毎に設けられる。検出異物ＩＤ２３６５の項目には、検出された異物を同じ容器４００内の他の異物と識別するためのＩＤが設定される。ポインタ２３６６の項目には、検出された異物の検出異物情報２３６９へのポインタが設定される。

検出気泡ＩＤ２３６７とポインタ２３６８との組のエントリは、検出された気泡毎に設けられる。検出気泡ＩＤ２３６７の項目には、検出された気泡を同じ容器４００内の他の気泡と識別するためのＩＤが設定される。ポインタ２３６８の項目には、検出された気泡の検出気泡情報２３７０へのポインタが設定される。

検出異物情報２３６９は、追跡ＩＤ２３６９１とポインタ２３６９２－１とポインタ２３６９２－２との組、判定結果２３６９３、確信度２３６９４、可視化画像２３６９５、の各エントリから構成されている。追跡ＩＤ２３６９１の項目には、検出された異物の追跡ＩＤ２３３２が設定される。ポインタ２３６９２－１の項目には、検出された異物の移動軌跡情報２３６９６へのポインタが設定される。移動軌跡情報２３６９６は、検出された異物の追跡時の移動軌跡情報２３３４のコピーである。ポインタ２３６９２－２の項目には、検出された異物の移動軌跡情報２３６９６に係る観測諸元リスト２３６９７へのポインタが設定される。観測諸元リスト２３６９７は、検出された異物の追跡時の移動軌跡情報２３３４に係る観測諸元リスト２３３５のコピーである。判定結果２３６９３のエントリには、判定結果が「異物」である旨のテキストが設定される。確信度２３６９４のエントリには、判定結果２３６９３の確からしさを表す指標である確信度が設定される。可視化画像２３６９５のエントリには、検出された異物の移動軌跡情報２３６９６を可視化した画像が少なくとも１枚設定される。

検出気泡情報２３７０は、追跡ＩＤ２３７０１とポインタ２３７０２－１とポインタ２３７０２－２との組、判定結果２３７０３、確信度２３７０４、可視化画像２３７０５、の各エントリから構成されている。追跡ＩＤ２３７０１の項目には、検出された気泡の追跡ＩＤ２３３２が設定される。ポインタ２３７０２－１の項目には、検出された気泡の移動軌跡情報２３７０６へのポインタが設定される。移動軌跡情報２３７０６は、検出された気泡の追跡時の移動軌跡情報２３３４のコピーである。ポインタ２３７０２－２の項目には、検出された気泡の移動軌跡情報２３７０６に係る観測諸元リスト２３７０７へのポインタが設定される。観測諸元リスト２３７０７は、検出された気泡の追跡情報の移動軌跡情報２３３４に係る観測諸元リスト２３３５のコピーである。判定結果２３７０３のエントリには、判定結果が「気泡」である旨のテキストが設定される。確信度２３７０４のエントリには、判定結果２３７０３の確からしさを表す指標である確信度が設定される。可視化画像２３７０５のエントリには、検出された気泡の移動軌跡情報２３７０６を可視化した画像が少なくとも１枚設定される。

再び図２を参照すると、演算処理部２４０は、ＭＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部２３０からプログラム２３１を読み込んで実行することにより、上記ハードウェアとプログラム２３１とを協働させて各種処理部を実現するように構成されている。演算処理部２４０で実現される主な処理部には、取得部２４１、識別モデル学習部２４２、確信度予測モデル学習部２４３、および、判定部２４４がある。

取得部２４１は、把持装置１１０およびカメラ装置１３０を制御して、容器４００に封入された液体中に存在する浮遊物の像を写した画像情報２３２を取得するように構成されている。また、取得部２４１は、画像情報２３２を解析することにより、浮遊物の移動軌跡を表す時系列データとその観測諸元とを含む追跡情報２３３を取得するように構成されている。以下、取得部２４１の詳細を説明する。

取得部２４１は、先ず、検査対象の容器４００を正立した姿勢で把持している把持装置１１０を起動することにより、検査対象の容器４００を傾斜・揺動・回転させる。次に、取得部２４１は、起動後、一定時間が経過すると、把持装置１１０を停止させることにより、容器４００を所定の姿勢で静止させる。このように容器４００を一定時間にわたって傾斜・揺動・回転させた後に静止させることにより、静止した容器４００内で液体が慣性によって流動する状態が得られる。次に、取得部２４１は、照明装置１２０による透過照明の下で、検査対象の容器４００内の液体をカメラ装置１３０によって所定のフレームレートで連続して撮影する動作を開始する。即ち、取得部２４１は、容器４００が傾斜・揺動・回転された後に静止した時刻を時刻Ｔｓとすると、時刻Ｔｓから上記撮影動作を開始する。

また、取得部２４１は、時刻Ｔｓから所定時間Ｔｗが経過する時刻Ｔｅまで、容器４００内の液体をカメラ装置１３０によって連続して撮影し続ける。上記所定時間Ｔｗは、例えば、液体中を浮遊する浮遊物が全て気泡であると仮定した場合に、全ての気泡が容器４００の上方に向かって移動し、もはや下方に移動するとは考えられないような移動軌跡が得られるのに必要な時間（以下、最小撮影時間長と記す）以上に設定されていてよい。最小撮影時間長は、予め実験などによって決定され、取得部２４１に固定的に設定されていてよい。なお、取得部２４１は、時刻Ｔｅに達したときに、カメラ装置１３０による撮影を直ちに停止してもよいし、なおもカメラ装置１３０による撮影を続けてもよい。

取得部２４１は、カメラ装置１３０から取得した時系列のフレーム画像のそれぞれに、撮影時刻および容器ＩＤを付加し、画像情報２３２として記憶部２３０に保存する。

次に取得部２４１は、所定時間長分の時系列のフレーム画像が取得されると、それらのフレーム画像のそれぞれから、容器４００内の液体中の浮遊物の陰影を検出する。例えば、取得部２４１は、以下に記載するような方法によって液体中の浮遊物の陰影を検出する。但し、取得部２４１は、以下に記載した以外の方法によって液体中の浮遊物の陰影を検出してよい。

先ず、取得部２４１は、フレーム画像のそれぞれに対して２値化処理を行って、２値化フレーム画像を作成する。次に、取得部２４１は、２値化フレーム画像のそれぞれから、以下のようにして浮遊物の陰影を検出する。

取得部２４１は、先ず、浮遊物の陰影を検出する対象とする２値化フレーム画像を注目中２値化フレーム画像とする。次に、注目中２値化フレーム画像と、撮影時刻がΔｔだけ後の２値化フレーム画像との差分画像を生成する。ここで、Δｔは、２つの画像において同じ浮遊物が一部分で重なるか、重ならない場合でもごく近接した位置に現れる程度の時間に設定される。そのため、時間差Δｔは、液体および異物の性質や流動状態などに応じて定められる。上記差分画像では、２つの２値化フレーム画像で一致する画像部分は消去され、相違する画像部分だけが残される。このため、２つの２値化フレーム画像の同じ位置に現れる容器４００の輪郭や傷などは消去され、浮遊物の陰影だけが現れる。取得部２４１は、差分画像で陰影が現れた箇所に対応する注目中２値化フレーム画像の陰影を、注目中２値化フレーム画像中に存在する浮遊物の陰影として検出する。

取得部２４１は、検出された浮遊物を時系列の画像の中で追跡し、追跡の結果に応じて追跡情報２３３を作成する。先ず、取得部２４１は、追跡情報２３３を初期化する。この初期化では、図４の容器ＩＤ２３３１のエントリに検査対象の容器４００の容器ＩＤが設定される。次に、取得部２４１は、以下に記載するような方法によって、時系列の画像の中で、浮遊物を追跡し、その追跡結果に応じて、浮遊物毎に、図４の追跡ＩＤ２３３２とポインタ２３３３－１とポインタ２３３－２との組のエントリ、移動軌跡情報２３３４、観測諸元リスト２３３５を作成する。

先ず、取得部２４１は、上記作成した２値化フレーム画像の時系列のうち、撮影時刻が最も過去の２値化フレーム画像に注目する。次に、取得部２４１は、注目中２値化フレーム画像において検出された浮遊物それぞれに、一意となる追跡ＩＤを付与する。次に、取得部２４１は、検出された浮遊物毎に、注目中２値化フレーム画像において検出された浮遊物に付与した追跡ＩＤを、図４の追跡ＩＤ２３３２の項目に設定し、対応するポインタ２３３３－１で指示される移動軌跡情報２３３４の先頭エントリの時刻２３３４１の項目に注目中２値化フレーム画像の撮影時刻を設定し、位置情報２３３４２とサイズ２３３４３と色２３３４４と形状２３３４５との項目に注目中２値化フレーム画像における浮遊物の座標値とサイズと色と形状とを設定する。

次に、取得部２４１は、注目中２値化フレーム画像より１フレームだけ後の２値化フレーム画像に注目を移す。次に、取得部２４１は、注目中２値化フレーム画像において検出された浮遊物の１つに注目する。次に、取得部２４１は、注目中浮遊物の位置と、１フレームだけ前の２値化フレーム画像（以下、先行２値化フレーム画像と記す）において検出された浮遊物の位置とを比較し、注目中浮遊物から予め定められた閾値距離以内に浮遊物が存在すれば、注目中浮遊物と当該閾値距離以内に存在した浮遊物とは同一の浮遊物であると判定する。この場合、取得部２４１は、注目中の浮遊物に、同一の浮遊物と判定した浮遊物に対して付与されている追跡ＩＤを付与する。そして、取得部２４１は、付与した追跡ＩＤ２３３２が設定されている追跡情報２３３のエントリのポインタ２３３３－１が指し示す移動軌跡情報２３３４に新たなエントリを確保し、その確保したエントリの時刻２３３４１と位置情報２３３４２とサイズ２３３４３と色２３３４４と形状２３３４５とに、注目中２値化フレーム画像の撮影時刻と注目中浮遊物の座標値とサイズと色と形状とを設定する。

一方、取得部２４１は、先行２値化フレーム画像において注目中浮遊物から閾値距離以内に浮遊物が存在しない場合、注目中浮遊物は新規な浮遊物と判定し、新たな追跡ＩＤを付与する。次に、取得部２４１は、注目中浮遊物に付与した追跡ＩＤを、新たに確保したエントリの図４の追跡ＩＤ２３３２の項目に設定し、対応するポインタ２３３３－１で指示される移動軌跡情報２３３４の先頭エントリの時刻２３３４１の項目に注目中２値化フレーム画像の撮影時刻を設定し、位置情報２３３４２とサイズ２３３４３と色２３３４４と形状２３３４５との項目に注目中浮遊物の座標値とサイズと色と形状とを設定する。

取得部２４１は、注目中浮遊物についての処理を終えると、注目中２値化フレーム画像において検出された次の浮遊物に注目を移し、前述した処理と同様の処理を繰り返す。そして、取得部２４１は、注目中２値化フレーム画像において検出された全ての浮遊物について注目し終えると、１フレームだけ後のフレーム画像に注目を移し、上述した処理と同様の処理を繰り返す。そして、取得部２４１は、画像情報２３２における最後のフレーム画像まで注目し終えると、追跡処理を終了する。

以上の説明では、取得部２４１は、隣接する２つのフレーム画像における浮遊物間の距離に基づいて追跡を行った。しかし、取得部２４１は、ｎフレーム（ｎは１以上の正の整数）を挟んで隣接する２つのフレーム画像における浮遊物間の距離に基づいて追跡を行うようにしてもよい。また、取得部２４１は、ｍフレーム（ｍは０以上の正の整数）を挟んで隣接する２つのフレーム画像における浮遊物間の距離に基づいて追跡を行った追跡結果と、ｍ＋ｊフレーム（ｊは１以上の正の整数）を挟んで隣接する２つのフレーム画像における浮遊物間の距離に基づいて追跡を行った追跡結果とを総合的に判断して追跡を行うようにしてもよい。

取得部２４１は、追跡処理を終えると、上述のようにして作成した移動軌跡情報２３３４毎に観測諸元リスト２３３５を作成する。先ず、取得部２４１は、移動軌跡情報２３３４の１つに注目する。次に取得部２４１は、ポインタ２３３３－２に設定したポインタが指す領域に注目中の移動軌跡情報２３３４に係る初期状態の観測諸元リスト２３３５を作成する。次に取得部２４１は、追跡長２３３５１の項目に、注目中の移動軌跡情報２３３４が表す移動軌跡の長さを設定する。次に取得部２４１は、浮遊物の大きさ２３３５２の項目に、注目中の移動軌跡情報２３３４に含まれるサイズ２３３４３を統計処理した値を設定する。次に取得部２４１は、追跡開始時刻２３３５３の項目に、注目中の移動軌跡情報２３３４の追跡開始時刻を設定する。次に取得部２４１は、追跡領域２３３５４の項目に、注目中の移動軌跡情報２３３４が表す移動軌跡が容器４００内のどの領域におけるものであるかを表す値を設定する。次に取得部２４１は、移動軌跡情報の品質２３３５５の項目に、注目中の移動軌跡情報２３３４の品質を表す数値を設定する。取得部２４１は、注目中の移動軌跡情報２３３４に係る観測諸元リスト２３３５を作成し終えると、残りの移動軌跡情報２３３４の１つに注目を移し、前述したと同様の処理を繰り返す。この処理を全ての移動軌跡情報２３３４について注目し終えるまで繰り返す。

識別モデル学習部２４２は、識別モデル２３４を機械学習により生成するように構成されている。

識別モデル学習部２４２は、浮遊物の移動軌跡を表す時系列データとその浮遊物の種類とを教師データ（以下、第１の教師データとも記す）として用いる。浮遊物の移動軌跡を表す時系列データは、例えば、図４に示した移動軌跡情報２３３４を使用してよい。或いは、浮遊物の移動軌跡を表す時系列データは、例えば、図４に示した移動軌跡情報２３３４からサイズ２３３４３、色２３３４４、および、形状２３３４５の１つ、または２つ、または全てを取り除いた残りの情報であってよい。また、浮遊物の種類は、異物および気泡の何れかを表すラベル値であってよい。このように第１の教師データは、浮遊物の移動軌跡を表す時系列データとその浮遊物の種類を表すラベルとを含む。このような第１の教師データは、例えば、ユーザとの間の対話的処理によって作成することができる。例えば、識別モデル学習部２４２は、取得部２４１によって取得された移動軌跡情報２３３４を表示装置３００の画面に表示し、操作入力部２２０を通じてユーザから当該移動軌跡情報２３３４のラベルを受け付ける。そして、識別モデル学習部２４２は、表示した移動軌跡情報２３３４と受け付けたラベルとの組を１つの第１の教師データとして作成する。但し、第１の教師データの作成方法は上記に限定されない。

識別モデル学習部２４２は、上記のような第１の教師データを用い、入力を浮遊物（異物または気泡）の移動軌跡を表す時系列データとし、出力を浮遊物の種類とする識別モデル２３４を機械学習により生成するように構成されている。

確信度予測モデル学習部２４３は、確信度予測モデル２３５を機械学習により生成するように構成されている。

図６は、確信度予測モデル２３５の機械学習に用いる教師データを作成する方法の一例を示す模式図である。図６において、教師データ２５０のそれぞれは、浮遊物の移動軌跡を表す時系列データ２５０１とその浮遊物の種類２５０２とその観測諸元２５０３とを含んで構成されている。時系列データ２５０１は、例えば、図４に示した移動軌跡情報２３３４を使用してよい。或いは、時系列データ２５０１は、例えば、図４に示した移動軌跡情報２３３４からサイズ２３３４３、色２３３４４、および、形状２３３４５の１つ、または２つ、または全てを取り除いた残りの情報であってよい。また、観測諸元２５０３は、図４に示した移動軌跡情報２３３４の観測諸元リスト２３３５を使用してよい。また、浮遊物の種類２５０２は、異物および気泡の何れかを表すラベル値であってよい。このようなラベル値は、例えば、ユーザとの間の対話的処理によって作成することができる。例えば、確信度予測モデル学習部２４３は、取得部２４１によって取得された移動軌跡情報２３３４を表示装置３００の画面に表示し、操作入力部２２０を通じてユーザから当該移動軌跡情報２３３４のラベルを受け付ける。そして、確信度予測モデル学習部２４３は、表示した移動軌跡情報２３３４と受け付けたラベルと移動軌跡情報２３３４の観測諸元リスト２３３５との組を１つの教師データとして作成する。但し、教師データの作成方法は上記に限定されない。

また、確信度予測モデル学習部２４３は、１つの教師データ２５０から１つの新たな教師データ２５２を以下のようにして作成する。先ず、確信度予測モデル学習部２４３は、教師データ２５０中の時系列データ２５０１を、学習済みの識別モデル２３４に入力し、識別モデル２３４から最終的に出力される浮遊物の種類の推定結果を取得する。次に、確信度予測モデル学習部２４３は、識別モデル２３４の推定結果が表す浮遊物の種類と教師データ２５０中の浮遊物の種類とを比較する（ブロック２５１）。次に、確信度予測モデル学習部２４３は、比較結果に応じた値に設定した確信度２５２１と教師データ２５０中の観測諸元２５０３との組を教師データ２５２として作成する。

上記の比較結果に応じた値として、両者が一致する場合（すなわち、識別モデル２３４の推定結果が正しい場合）には、大きな値（例えば１或いは１により近い値）としてよい。この値は事前に定められた固定値（例えば１）を使用してもよいし、識別モデル２３４の正解クラスのソフトマックス値（ＴＣＰ）を使用してもよい。一方、両者が一致しない場合（すなわち、識別モデル２３４の推定結果が誤っている場合）には、小さな値（例えば０或いは０により近い値）としてよい。この値は事前に定められた固定値（例えば０）を使用してもよいし、識別モデル２３４の正解クラスのソフトマックス値（ＴＣＰ）を使用してもよい。

確信度予測モデル学習部２４３は、上記のようにして作成した教師データ２５２を用い、入力を観測により得られた浮遊物の移動軌跡を表す時系列データの観測諸元とし、出力を上記観測諸元に係る時系列データから推定される識別モデル２３４の推定結果の確信度とする確信度予測モデル２３５を機械学習により生成するように構成されている。

判定部２４４は、学習済みの識別モデル２３４を用いて、取得部２４１によって取得された容器４００に封入された液体中の浮遊物の移動軌跡を表す時系列データから浮遊物の種類を推定するように構成されている。また、判定部２４４は、学習済みの確信度予測モデル２３５を用いて、取得部２４１によって取得された観測諸元から識別モデル２３４の推定結果の確信度を予測するように構成されている。また、判定部２４４は、識別モデル２３４を用いて推定した浮遊物の種類と、確信度予測モデル２３５用いて登録側した識別モデル２３４の推定結果の確信度とを含む検査結果情報２３６を作成するように構成されている。

例えば、判定部２４４は、記憶部２３０から追跡情報２３３を読み出し、追跡情報２３３に含まれる追跡ＩＤ毎に、浮遊物の移動軌跡を表す移動軌跡情報２３３４を時系列データとして学習済みの識別モデル２３４に入力することにより、当該追跡ＩＤの浮遊物が異物であるか気泡であるかを判定する。また、判定部２４４は、追跡情報２３３に含まれる追跡ＩＤ毎に、浮遊物の移動軌跡の観測諸元リスト２３３５を学習済みの確信度予測モデル２３５に入力することにより、識別モデル２３４を用いて判定した浮遊物の種類の判定結果の確信度を予測する。そして、判定部２４４は、判定結果に応じた検査結果情報２３６を作成し、記憶部２３０に保存する。また、判定部２４４は、検査結果情報２３６を表示装置３００に表示し、または／および、通信Ｉ／Ｆ部２１０を通じて外部装置へ送信する。

次に、本実施形態に係る検査システム１００の動作を説明する。検査システム１００のフェーズは、学習フェーズと検査フェーズとに大別される。学習フェーズは、識別モデル２３４および確信度予測モデル２３５を機械学習により作成するフェーズである。検査フェーズは、学習済みの識別モデル２３４および確信度予測モデル２３５を用いて、容器４００に封入された液体中の異物の有無を検査するフェーズである。

図７は学習フェーズの動作の一例を示すフローチャートである。図７を参照すると、先ず、取得部２４１は、把持装置１１０およびカメラ装置１３０を制御して、容器４００に封入された液体中に存在する浮遊物の像を写した画像情報２３２を取得する（ステップＳ１）。次に、取得部２４１は、画像情報２３２を解析することにより、浮遊物の移動軌跡を表す時系列データとその観測諸元とを含む追跡情報２３３を取得する（ステップＳ２）。

次に、識別モデル学習部２４２は、識別モデル２３４の機械学習に用いる第１の教師データを作成する（ステップＳ３）。次に、識別モデル学習部２４２は、作成した第１の教師データを用い、入力を浮遊物の移動軌跡を表す時系列データとし、出力を浮遊物の種類とする識別モデル２３４を機械学習により生成する（ステップＳ４）。

次に、確信度予測モデル学習部２４３は、確信度予測モデル２３５の機械学習に用いる第２の教師データを作成する（ステップＳ５）。次に、確信度予測モデル学習部２４３は、作成した第２の教師データを用い、入力を観測により得られた浮遊物の移動軌跡を表す時系列データの観測諸元とし、出力を上記観測諸元に係る時系列データから推定される識別モデル２３４の推定結果の確信度とする確信度予測モデル２３５を機械学習により生成する（ステップＳ６）。

図８は検査フェーズの動作の一例を示すフローチャートである。図８を参照すると、先ず、取得部２４１は、把持装置１１０およびカメラ装置１３０を制御して、容器４００に封入された液体中に存在する浮遊物の像を写した画像情報２３２を取得する（ステップＳ１１）。次に、取得部２４１は、画像情報２３２を解析することにより、浮遊物の移動軌跡を表す時系列データとその観測諸元とを含む追跡情報２３３を取得する（ステップＳ１２）。

次に、判定部２４４は、学習済みの識別モデル２３４を用いて、追跡情報２３３に含まれる浮遊物の移動軌跡を表す時系列データから浮遊物の種類を推定する（ステップＳ１３）。次に、判定部２４４は、学習済みの確信度予測モデル２３５を用いて、追跡情報２３３に含まれる浮遊物の移動軌跡を表す時系列データの観測諸元リストから、識別モデル２３４による上記推定結果の確信度を予測する（ステップＳ１４）。次に、判定部２４４は、推定した浮遊物の種類および予測した推定結果の確信度に基づいて、検査結果情報２３６を作成する（ステップＳ１５）。

以上説明したように、本実施形態によれば、種類の異なる複数の浮遊物から観測により得られた互いに類似する複数の移動軌跡を表す時系列データであってもその観測諸元が相違する場合、それら時系列データから推定される浮遊物の種類の推定結果の確信度間に差を付けることができる。その理由は、確信度予測モデル学習部２４３は、取得部２４１により得られた浮遊物の移動軌跡を表す時系列データとその観測諸元と上記浮遊物の種類との組から構成されるソースデータを取得し、学習された識別モデル２３４を用いてソースデータ中の時系列データから推定される対象物の種類がソースデータ中の対象物の種類とを教師データとして用いて、確信度予測モデル２３５を機械学習により生成するためである。また、判定部２４４は、取得部２４１により得られた対象物の移動軌跡を表す時系列データに係る観測諸元を取得し、学習済みの確信度予測モデル２３５を用いて、上記取得した観測諸元から推定される識別モデル２３４の推定結果の確信度を出力するためである。

続いて、本実施形態の変形例について説明する。

＜変形例１＞
判定部２４４は、確信度予測モデル２３５によって予測された確信度に基づいて、識別モデル２３４による推定結果を修正ないし補正してよい。

例えば、判定部２４４は、識別モデル２３４を用いて時系列データから推定した浮遊物の種類が異物であった場合、確信度予測モデル２３５を用いて当該時系列データの観測諸元から予測した上記推定結果の確信度が予め定められた閾値より小さい（低い）ときは、上記浮遊物の種類を異物でなく気泡に修正してよい。

また例えば、判定部２４４は、識別モデル２３４を用いて時系列データから推定した浮遊物の種類が異物であった場合、確信度予測モデル２３５を用いて当該時系列データの観測諸元から予測した上記推定結果の確信度を、異物らしさスコアとして算出してよい。

また例えば、判定部２４４は、識別モデル２３４を用いて時系列データから推定した浮遊物の種類が異物であった場合、識別モデル２３４による異物らしさスコア（識別モデル２３４が出力する異物の確率）を、確信度予測モデル２３５を用いて当該時系列データの観測諸元から予測した上記推定結果の確信度を用いて補正してよい。

＜変形例２＞
確信度予測モデル学習部２４３は、識別モデル２３４の所定の出力を確信度予測モデル２３５の学習に使ってもよい。ここで、識別モデル２３４の所定の出力とは、例えば、識別モデル２３４の中間層から出力される特徴量としてよい。図９は、確信度予測モデル２３５の機械学習に用いる教師データを作成する方法の他の例を示す模式図である。図９において、図６と同一符号は同一部分を示し、２５２Ａは教師データ、２５２２は識別モデル２３４の所定の出力である。図９を参照すると、確信度予測モデル学習部２４３は、１つの教師データ２５０から１つの新たな教師データ２５２Ａを以下のようにして作成する。先ず、確信度予測モデル学習部２４３は、教師データ２５０中の時系列データ２５０１を、学習済みの識別モデル２３４に入力し、識別モデル２３４から最終的に出力される浮遊物の種類の識別結果と所定の出力２５２２とを取得する。次に、確信度予測モデル学習部２４３は、図６と同様に、識別モデル２３４の推定結果が表す浮遊物の種類と教師データ２５０中の浮遊物の種類とを比較した結果に応じた確信度２５２１を作成する（ブロック２５１）。そして、確信度予測モデル学習部２４３は、確信度２５２１と教師データ２５０中の観測諸元２５０３と所定の出力２５２２との組を教師データ２５２Ａとして作成する。

確信度予測モデル学習部２４３は、上記のようにして作成した教師データ２５２Ａを用い、入力を観測により得られた浮遊物の移動軌跡を表す時系列データの観測諸元と当該時系列データを識別モデル２３４に入力したときに識別モデル２３４から出力される所定の出力２５２２との組とし、出力を上記観測諸元に係る時系列データから推定される識別モデル２３４の推定結果の確信度とする確信度予測モデル２３５を機械学習により生成するように構成されている。

また、判定部２４４は、識別モデル２３４の上記所定の出力を確信度予測に使ってもよい。例えば、判定部２４４は、学習済みの確信度予測モデル２３５に対して、追跡情報２３３に含まれる浮遊物の移動軌跡を表す時系列データの観測諸元リストと当該時系列データを識別モデル２３４に入力したときに識別モデル２３４から出力される所定の出力２５２２との組を入力し、識別モデル２３４の推定結果の確信度を取得する。

以上の説明では、識別モデル２３４の所定の出力は、識別モデル２３４の中間層から出力される特徴量とした。しかし、識別モデル２３４の所定の出力は上記に限定されない。識別モデル２３４の所定の出力は、識別モデル２３４の最終出力としてもよい。

＜変形例３＞
識別モデル学習部２４２は、図７のステップＳ６において確信度予測モデル２３５が生成された後の任意の時点において、ステップＳ４において生成した識別モデル２３４の更なる学習を行ってよい。その場合、識別モデル学習部２４２は、学習済みの確信度予測モデル２３５で予測される確信度に基づいて、識別モデル２４３の学習を制御するようにしてよい。

図１０は、変形例３による識別モデル２３４の学習方法の例を示す模式図である。図１０において、教師データ２６０は、浮遊物の移動軌跡を表す時系列データ２６０１とその浮遊物の種類２６０２とを含んで構成される。また、教師データ２６０毎に、その時系列データ２６０１の観測諸元２６０３が用意されている。識別モデル学習部２４２は、教師データ２６０を用いて識別モデル２３４を学習する際、教師データ２６０と組みになる観測諸元２６０３を学習済みの確信度予測モデル２３５に入力し、確信度予測モデル２３５から出力される確信度によって、識別モデル２３４の学習を制御する。例えば、識別モデル学習部２４２は、確信度がより低いほど、学習の重みをより小さくする。これによって、識別モデル２３４の識別精度を向上させることができる。

＜変形例４＞
この変形例では、確信度予測モデル学習部２４３は、観測により得られた浮遊物の移動軌跡を表す時系列データを幾つかの部分時系列データに分割し、個々の部分時系列データの観測諸元を用いて、確信度予測モデル２３５の機械学習を行うように構成されている。

図１１は、変形例４において確信度予測モデル２３５の機械学習に用いる教師データを作成する方法の一例を示す模式図である。図１１において、教師データ２５０のそれぞれは、図６を参照して既に説明したような時系列データ２５０１と浮遊物の種類２５０２と観測諸元２５０３とを含んで構成されている。時系列データ２５０１は、例えば図４の移動軌跡情報２３３４であり得る。また、観測諸元２５０３は、例えば図４の観測諸元リスト２３３５であり得る。

変形例４では、確信度予測モデル学習部２４３は、教師データ２５０のそれぞれを新たな２つの教師データ２５０－１、２５０－２に変換するデータ変換部２４３１を有する。教師データ２５０－１は、時系列データ２５０１－１と浮遊物の種類２５０２－１と観測諸元２５０３－１とから構成される。教師データ２５０－２は、時系列データ２５０１－２と浮遊物の種類２５０２－２と観測諸元２５０３－２とから構成される。図１１の例では、１つの教師データ２５０を２つの教師データに変換したが、３つ以上の教師データに変換してもよい。

データ変換部２４３１は、例えば、以下のような方法によって、教師データ２５０を教師データ２５０－１、２５０－２に変換する。先ず、データ変換部２４３１は、教師データ２５０中の時系列データ２５０１の追跡開始時刻と追跡終了時刻との間の中間の時刻を算出する。次に、データ変換部２４３１は、時系列データ２５０１を、追跡開始時刻から中間時刻までの区間の時系列データ２５０１－１と中間時刻から追跡終了時刻までの時系列データ２５０１－２とに変換する。次に、データ変換部２４３１は、教師データ２５０の浮遊物の種類２５０２と同じ内容の浮遊物の種類２５０２－１、２５０２－２を作成する。次に、データ変換部２４３１は、時系列データ２５０１－１、２５０１－２から観測諸元２５０３－１、２５０３－２を作成する。

例えば、データ変換部２４３１は、以下のような方法によって、時系列データ２５０１－１から観測諸元２５０３－１を作成する。先ず、データ変換部２４３１は、時系列データ２５０１－１を構成するフレーム画像数、または、時系列データ２５０１－１の先頭のフレーム画像の撮影時刻から最終のフレーム画像の撮影時刻までの時間長を算出し、それを時系列データ２５０１－１の追跡長とする。次に、データ変換部２４３１は、時系列データ２５０１－１に含まれるサイズ２３３４３を統計処理した値（例えば、平均値、最大値、最小値、中央値）を算出し、それを浮遊物の大きさとする。次に、データ変換部２４３１は、時系列データ２５０１－１の先頭のフレーム画像の撮影時刻を取得し、それを追跡開始時刻とする。次に、データ変換部２４３１は、時系列データ２５０１－１が表す移動軌跡の外接矩形を特定する値（例えば外接矩形の頂点の座標値）を算出し、それを追跡領域とする。次に、データ変換部２４３１は、時系列データ２５０１－１に含まれる位置情報２３３４２の不連続さ、サイズ２３３４３・色２３３４４・形状２３３４５の変動量に基づいて、移動軌跡情報の品質を算出する。そして、データ変換部２４３１は、上述のようにして算出した追跡長、浮遊物の大きさ、追跡開始時刻、追跡領域、および、移動軌跡情報の品質の集まりから構成される観測諸元２５０３－１を作成する。同様の方法により、データ変換部２４３１は、時系列データ２５０１－２から観測諸元２５０３－２を作成する。

次に、確信度予測モデル学習部２４３は、１つの教師データ２５０－１から新たな１つの教師データ２５２－１を以下のようにして作成する。先ず、確信度予測モデル学習部２４３は、教師データ２５０－１中の時系列データ２５０１－１を、学習済みの識別モデル２３４に入力し、識別モデル２３４から最終的に出力される浮遊物の種類の推定結果を取得する。次に、確信度予測モデル学習部２４３は、識別モデル２３４の推定結果が表す浮遊物の種類と教師データ２５０－１中の浮遊物の種類２５０２－１とを比較する（ブロック２５１）。次に、確信度予測モデル学習部２４３は、比較結果に応じた値に設定した確信度２５２１－１と教師データ２５０－１中の観測諸元２５０３－１との組を教師データ２５２－１として作成する。上記の比較結果に応じた値として、図６を参照して既に説明したような値としてよい。確信度予測モデル学習部２４３は、同様の方法により、教師データ２５０－２から新たな１つの教師データを作成する。その結果、ｎ個の教師データ２５０から最終的に２×ｎ個の教師データ２５２－１等が生成されることになる。

確信度予測モデル学習部２４３は、上記のようにして作成した教師データ２５２－１等を用い、入力を観測により得られた浮遊物の移動軌跡を表す時系列データの観測諸元とし、出力を上記観測諸元に係る時系列データから推定される識別モデル２３４の推定結果の確信度とする確信度予測モデル２３５を機械学習により生成する。

このように変形例４によれば、確信度予測モデル２３５の学習に用いる教師データの数を増大することができる。一般に容器に封入された液体中の異物検査では、異物が混入しているケース自体が稀であるため、異物の移動軌跡を表す時系列データの数は少ない。さらに、異物の識別精度が高い場合、不正解となる時系列データ（本来は気泡なのに異物と識別される時系列データや、本来は異物なのに気泡と識別される時系列データ）はさらに少ない。変形例４によれば、そのような数の少ない時系列データから多くの教師データを作成することができる。

＜変形例５＞
変形例５では、変形例４において、確信度予測モデル学習部２４３は、識別モデル２３４を用いて時系列データから識別した結果を確信度予測モデル２３５の学習に使用する。図１２は、変形例５における確信度予測モデル２３５の機械学習に用いる教師データを作成する方法の例を示す模式図である。図１２において、図１１と同一符号は同一部分を示し、２５２－１Ａは教師データ、２５２２－１は識別モデル２３４の識別結果である。図１２を参照すると、確信度予測モデル学習部２４３は、１つの教師データ２５０－１から１つの新たな教師データ２５２－１Ａを以下のようにして作成する。先ず、確信度予測モデル学習部２４３は、教師データ２５０－１中の時系列データ２５０１－１を、学習済みの識別モデル２３４に入力し、識別モデル２３４から出力される推定結果２５２２－１を取得する。次に、確信度予測モデル学習部２４３は、推定結果２５２２－１が表す浮遊物の種類と教師データ２５０－１中の浮遊物の種類とを比較した結果に応じた確信度２５２１－１を作成する（ブロック２５１）。そして、確信度予測モデル学習部２４３は、確信度２５２１－１と教師データ２５０－１中の観測諸元２５０３－１と推定結果２５２２－１との組を教師データ２５２－１Ａとして作成する。

確信度予測モデル学習部２４３は、上記のようにして作成した教師データ２５２－１Ａ等を用い、入力を観測により得られた浮遊物の移動軌跡を表す時系列データの観測諸元と当該時系列データを識別モデル２３４に入力したときに識別モデル２３４から出力される推定結果２５２２－１との組とし、出力を上記観測諸元に係る時系列データから推定される識別モデル２３４の推定結果の確信度とする確信度予測モデル２３５を機械学習により生成するように構成されている。

また、判定部２４４は、識別モデル２３４の推定結果２５２２－１を確信度予測に使ってもよい。例えば、判定部２４４は、学習済みの確信度予測モデル２３５に対して、追跡情報２３３に含まれる浮遊物の移動軌跡を表す時系列データの観測諸元リストと当該時系列データを識別モデル２３４に入力したときに識別モデル２３４から出力される推定結果２５２２－１との組を入力し、確信度予測モデル２３５から出力される識別モデル２３４の推定結果の確信度を取得する。

上記の変形例６では、確信度予測モデル学習部２４３は、時系列データ２５０１－１を、学習済みの識別モデル２３４に入力することにより、推定結果２５２２－１を取得した。しかし、部分的な時系列データ２５０１－１から推定される推定結果２５２２－１を取得する方法は、上記に限定されない。例えば、確信度予測モデル２３５を、途中の時系列データまでの特徴量に基づいて識別結果を出力するように構成しておくことにより、時系列データ２５０１－１を包含する時系列データ２５０１全体を学習済みの識別モデル２３４に入力し、時系列データ２５０１－１に相当する部分的な時系列データから推定される推定結果２５２２－１を識別モデル２３４から取得するようにしてもよい。上記のような構成を有する識別モデル２３４の例を図１３の模式図に示す。図１３を参照すると、識別モデル２３４は、例えばＬＳＴＭにより構成されており、最終段から実線矢印に示すように識別結果を出力することができると共に、途中の段から破線矢印に示すように途中フレームまでの特徴で識別結果を出力することができるように構成されている。

［第２の実施の形態］
図１４は、本発明の第２の実施形態に係る検査システム５００のブロック図である。図１４を参照すると、検査システム５００は、識別モデル学習手段５０１と確信度予測モデル学習手段５０２と判定手段５０３とを備えている。

識別モデル学習手段５０１は、観測により得られた対象物の移動軌跡を表す時系列データと対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから対象物の種類を推定する識別モデルを学習するように構成されている。識別モデル学習手段５０１は、例えば、図２の識別モデル学習部２４２と同様に構成することができるが、それに限定されない。

確信度予測モデル学習手段５０２は、観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から識別モデルの推定結果の確信度を予測する確信度予測モデルを学習するように構成されている。確信度予測モデル学習手段５０２は、例えば、図２の確信度予測モデル学習部２４３と同様に構成することができるが、それに限定されない。

判定手段５０３は、学習済みの識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから対象物の種類を推定するように構成されている。また、判定手段５０３は、学習済みの確信度予測モデルを用いて、時系列データの観測諸元から識別モデルの推定結果の確信度を予測するように構成されている。判定手段５０３は、例えば、図２の判定部２４４と同様に構成することができるが、それに限定されない。

以上のように構成された検査システム５００は、以下のように動作する。即ち、先ず、識別モデル学習手段５０１は、観測により得られた対象物の移動軌跡を表す時系列データと対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから対象物の種類を推定する識別モデルを学習する。次に、確信度予測モデル学習手段５０２は、観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から識別モデルの推定結果の確信度を予測する確信度予測モデルを学習する。次に、判定手段５０３は、学習済みの識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから対象物の種類を推定し、また、学習済みの確信度予測モデルを用いて、時系列データの観測諸元から識別モデルの推定結果の確信度を予測する。

以上のように構成され動作する検査システム５００によれば、種類の異なる複数の対象物から観測により得られた互いに類似する複数の移動軌跡を表す時系列データであってもその観測諸元が相違する場合、それら時系列データから推定される結果の確信度間に差を付けることができる。その理由は、確信度予測モデル学習手段５０２は、観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から識別モデルの推定結果の確信度を予測する確信度予測モデルを学習するためである。また、判定手段５０３は、学習済みの確信度予測モデルを用いて、時系列データの観測諸元から識別モデルの推定結果の確信度を予測するためである。

以上、本発明について幾つかの実施形態および変形例を挙げて説明したが、本発明は以上の実施形態および変形例に限定されず、各種の付加変更が可能である。例えば、本発明は、上述した実施形態および変形例を組み合わせることもできる。例えば、第１の実施形態で説明した学習済みの識別モデルおよび確信度モデルを用いて識別および確信度予測を行う動作と、何れかの変形例で説明した学習済みの識別モデルおよび確信度予測モデルを用いて識別および確信度予測を行う動作とを、平行ないし交互に行う検査システムも本発明に含まれる。

本発明は、観測により得られた対象物の移動軌跡を表す時系列データから対象物の種類を推定する検査システム全般に利用できる。例えば、本発明は、容器に封入された液体中の異物の有無を検査する検査システムに適用できる。また、本発明は、マウス等の移動軌跡を表す時系列データからマウス等の異常の有無を判定することにより、医薬品の安全性を調べる前臨床試験システムに適用できる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載され得るが、以下には限られない。
［付記１］
観測により得られた対象物の移動軌跡を表す時系列データと前記対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定する識別モデルを学習する識別モデル学習手段と、
観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と前記対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する確信度予測モデルを学習する確信度予測モデル学習手段と、
学習済みの前記識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定し、学習済みの前記確信度予測モデルを用いて、前記時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する判定手段と、
を備える検査システム。
［付記２］
前記確信度予測モデル学習手段は、前記学習済みの識別モデルを用いて前記第２の教師データ中の前記時系列データから推定される対象物の種類が前記第２の教師データ中の対象物の種類と一致しないときは一致するときに比較して低い値となる確信度を取得し、前記取得した確信度と前記第２の教師データ中の前記観測諸元とを第３の教師データとして用いて前記確信度予測モデルを学習する、
付記１に記載の検査システム。
［付記３］
前記観測諸元は、前記移動軌跡の長さ、前記対象物の大きさ、前記移動軌跡の開始時刻、前記移動軌跡の観測場所、および、前記時系列データの品質のうちの少なくとも１つを含む、
付記１または２に記載の検査システム。
［付記４］
前記判定手段は、前記確信度の判定結果に基づいて、前記対象物の種類の判定結果を修正する、
付記１乃至３の何れかに記載の検査システム。
［付記５］
前記確信度予測モデル学習手段は、前記第２の教師データ中の前記時系列データを学習済みの前記識別モデルに入力して得られる所定の出力を用いて前記確信度予測モデルを学習する、
付記１乃至４の何れかに記載の検査システム。
［付記６］
前記識別モデル学習手段は、学習済みの前記確信度予測モデルで予測される確信度を学習の制御に用いて、学習済みの前記識別モデルを更に学習する、
付記１乃至５の何れかに記載の検査システム。
［付記７］
前記確信度予測モデル学習手段は、前記第２の教師データを複数の新たな教師データに変換し、それぞれの新たな教師データは、前記第２の教師データ中の時系列データを複数の新たな時系列データに変換した後の１つの時系列データと前記第２の教師データ中の対象物の種類と前記１つの部分時系列データの観測諸元とを含み、
前記確信度予測モデル学習手段は、前記新たな教師データを用いて、前記確信度予測モデルを学習する、
付記１乃至６の何れかに記載の検査システム。
［付記８］
前記確信度予測モデル学習手段は、前記新たな教師データ中の時系列データを学習済みの前記識別モデルに入力して得られる識別結果を用いて、前記確信度予測モデルを機械学習する、
付記７に記載の検査システム。
［付記９］
観測により得られた対象物の移動軌跡を表す時系列データと前記対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定する識別モデルを学習し、
観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と前記対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する確信度予測モデルを学習し、
学習済みの前記識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定し、学習済みの前記確信度予測モデルを用いて、前記時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する、
検査方法。
［付記１０］
コンピュータに、
観測により得られた対象物の移動軌跡を表す時系列データと前記対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定する識別モデルを学習する処理と、
観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と前記対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する確信度予測モデルを学習する処理と、
学習済みの前記識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定し、学習済みの前記確信度予測モデルを用いて、前記時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する処理と、
を行わせるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

１００ 検査システム
１１０ 把持装置
１２０ 照明装置
１３０ カメラ装置
２００ 検査装置
３００ 表示装置
４００ 容器
４０１ キャップ

Claims (10)

1. 観測により得られた対象物の移動軌跡を表す時系列データと前記対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定する識別モデルを学習する識別モデル学習手段と、
   観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と前記対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する確信度予測モデルを学習する確信度予測モデル学習手段と、
   学習済みの前記識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定し、学習済みの前記確信度予測モデルを用いて、前記時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する判定手段と、
   を備える検査システム。
2. 前記確信度予測モデル学習手段は、前記学習済みの識別モデルを用いて前記第２の教師データ中の前記時系列データから推定される対象物の種類が前記第２の教師データ中の対象物の種類と一致しないときは一致するときに比較して低い値となる確信度を取得し、前記取得した確信度と前記第２の教師データ中の前記観測諸元とを第３の教師データとして用いて前記確信度予測モデルを学習する、
   請求項１に記載の検査システム。
3. 前記観測諸元は、前記移動軌跡の長さ、前記対象物の大きさ、前記移動軌跡の開始時刻、前記移動軌跡の観測場所、および、前記時系列データの品質のうちの少なくとも１つを含む、
   請求項１または２に記載の検査システム。
4. 前記判定手段は、前記確信度の判定結果に基づいて、前記対象物の種類の判定結果を修正する、
   請求項１乃至３の何れかに記載の検査システム。
5. 前記確信度予測モデル学習手段は、前記第２の教師データ中の前記時系列データを学習済みの前記識別モデルに入力して得られる所定の出力を用いて前記確信度予測モデルを学習する、
   請求項１乃至４の何れかに記載の検査システム。
6. 前記識別モデル学習手段は、学習済みの前記確信度予測モデルで予測される確信度を学習の制御に用いて、学習済みの前記識別モデルを更に学習する、
   請求項１乃至５の何れかに記載の検査システム。
7. 前記確信度予測モデル学習手段は、前記第２の教師データを複数の新たな教師データに変換し、それぞれの新たな教師データは、前記第２の教師データ中の時系列データを複数の新たな時系列データに変換した後の１つの時系列データと前記第２の教師データ中の対象物の種類と前記１つの時系列データの観測諸元とを含み、
   前記確信度予測モデル学習手段は、前記新たな教師データを用いて、前記確信度予測モデルを学習する、
   請求項１乃至６の何れかに記載の検査システム。
8. 前記確信度予測モデル学習手段は、前記新たな教師データ中の時系列データを学習済みの前記識別モデルに入力して得られる識別結果を用いて、前記確信度予測モデルを機械学習する、
   請求項７に記載の検査システム。
9. 観測により得られた対象物の移動軌跡を表す時系列データと前記対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定する識別モデルを学習し、
   観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と前記対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する確信度予測モデルを学習し、
   学習済みの前記識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定し、学習済みの前記確信度予測モデルを用いて、前記時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する、
   検査方法。
10. コンピュータに、
    観測により得られた対象物の移動軌跡を表す時系列データと前記対象物の種類とを第１の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定する識別モデルを学習する処理と、
    観測により得られた対象物の移動軌跡を表す時系列データとその観測諸元と前記対象物の種類とを第２の教師データとして用い、観測により得られた対象物の移動軌跡を表す時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する確信度予測モデルを学習する処理と、
    学習済みの前記識別モデルを用いて、観測により得られた対象物の移動軌跡を表す時系列データから前記対象物の種類を推定し、学習済みの前記確信度予測モデルを用いて、前記時系列データの観測諸元から前記識別モデルの推定結果の確信度を予測する処理と、
    を行わせるためのプログラム。

Images