JP2020003384A - 検出装置、検出方法、及び検出プログラム - Google Patents

Abstract

【課題】簡易な手法で、且つ、高精度に、観察対象の粒子群に含まれる粒子の粒子サイズの分布や、又は粒子の個数を検出し得る検出装置を提供すること。【解決手段】流路４０内を一個ずつ移送される粒子の全体としての状態を検出する検出装置であって、流路４０の所定領域を時間的に連続して撮像するイメージセンサ２０のセンサ値を取得する入力部１０Ｘと、流路４０の幅方向におけるイメージセンサ２０のセンサ値の分布の時間的変化に基づいて、移送された前記粒子群に含まれる粒子の粒子サイズの分布、又は粒子の個数を推定する演算部１０Ｙと、を備える。【選択図】図１

Description

本開示は、検出装置、検出方法、及び検出プログラムに関する。

従来、流路中を通流する粒子を撮像して、画像情報に基づいて、当該粒子の粒子サイズ等を検出する検出装置が知られている。この種の検出装置は、例えば、ドロップレット（液滴）、細胞、マイクロカプセル、マイクロバブル、又はマイクロポリマー等の種々の微粒子の状態を検出する用途に適用される。

米国特許出願公開第２０１６／００４８１５号明細書

ところで、この種の検出装置の応用として、観察対象の粒子群に含まれる粒子の粒子サイズの分布や、又は粒子の個数を検出する要請がある。

一般に、この種の検出装置においては、粒子領域を検出する処理や、又はテンプレートマッチング処理等の画像解析アルゴリズムを用いて、画像情報から粒子の粒子サイズ等の検出を行っている。この点、かかる画像解析アルゴリズムは、一枚の画像のみに対して画像処理を行う上では有用であるが、処理対象の画像数が多い場合等においては、処理負荷及び処理速度の点で、実用的とは言えない。特に、かかる画像解析アルゴリズムを用いて、流路中を順次に通流する多数の粒子を撮像する場合には、処理対象の画像数も増大するため、かかる処理負荷及び処理速度が問題となる場合がある。

本開示は、上記問題点に鑑みてなされたもので、簡易な手法で、且つ、高精度に、観察対象の粒子群に含まれる粒子の粒子サイズの分布や、又は粒子の個数を検出し得る検出装置、検出方法、及び検出プログラムを提供することを目的とする。

前述した課題を解決する主たる本開示は、
流路内を一個ずつ移送される粒子の粒子群全体としての状態を検出する検出装置であって、
前記流路の所定領域を時間的に連続して撮像するイメージセンサのセンサ値を取得する入力部と、
前記流路の幅方向における前記イメージセンサのセンサ値の分布の時間的変化に基づいて、移送された前記粒子群に含まれる前記粒子の粒子サイズの分布、又は前記粒子の個数を推定する演算部と、
を備える検出装置である。

又、他の局面では、
流路内を一個ずつ移送される粒子の粒子群全体としての状態を検出する検出方法であって、
前記流路の所定領域を時間的に連続して撮像するイメージセンサのセンサ値を取得する工程と、
前記流路の幅方向における前記イメージセンサのセンサ値の分布の時間的変化に基づいて、移送された前記粒子群に含まれる前記粒子の粒子サイズの分布、又は前記粒子の個数を推定する工程と、
を備える検出方法である。

又、他の局面では、
流路内を一個ずつ移送される粒子の粒子群全体としての状態を検出する検出プログラムであって、
コンピュータに、
前記流路の所定領域を時間的に連続して撮像するイメージセンサのセンサ値を取得する処理と、
前記流路の幅方向における前記イメージセンサのセンサ値の分布の時間的変化に基づいて、移送された前記粒子群に含まれる前記粒子の粒子サイズの分布、又は前記粒子の個数を推定する処理と、
を実行させる検出プログラムである。

本開示に係る検出装置によれば、観察対象の粒子群に含まれる粒子の粒子サイズの分布や、又は粒子の個数を、簡易な手法で、且つ、高精度に、検出可能である。

第１の実施形態に係る検出システムの構成の一例を示す図 ドロップレット生成装置の構成の一例を示す図 第１の実施形態に係る検出装置の構成の一例を示す図 第１の実施形態に係る粒子幅算出部におけるDistance値の算出方法について、説明する図 第１の実施形態に係る粒子幅算出部におけるDistance値の算出方法の詳細について、説明する図 第１の実施形態に係る粒子幅算出部におけるDistance値の算出方法の詳細について、説明する図 第１の実施形態に係る一枚の画像のDistance値の配列情報を示す図 第１の実施形態に係るデータ連結部におけるDistance値の連結方法について、説明する図 第１の実施形態に係るデータ連結部におけるDistance値の連結方法について、説明する図 第１の実施形態に係る一の粒子と他の粒子が密着していない状態のDistance値の連結データの一例を示す図 第１の実施形態に係るデータ補正部における補正処理について、説明する図 第１の実施形態に係るデータ補正部における補正処理について、説明する図 第１の実施形態に係るデータ補正部における補正処理について、説明する図 第１の実施形態に係る粒子サイズ算出部によって算出された粒子の直径と、従来技術に係る手法によって算出された粒子の直径を比較した図 第１の実施形態に係る検出装置が行う画像解析処理のフローの一例を示す図 第２の実施形態に係る検出装置の構成の一例を示す図

以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。

（第１の実施形態）
以下、図１を参照して、本実施形態に係る検出装置が適用される検出システムの構成の一例について説明する。

図１は、本実施形態に係る検出システム１の構成の一例を示す図である。

検出システム１は、検出装置１０、イメージセンサ２０、光源３０、及び、流路４０を備えている。

検出システム１は、貯留槽３００内に存在する粒子群Ａａｌｌの状態（典型的には、粒子群Ａａｌｌに含まれる粒子の粒子サイズの分布、及び粒子の個数）を検出する装置である。本実施形態に係る検出システム１は、例えば、ドロップレット生成装置の性能試験の用途に適用され、ドロップレット生成装置において生成された液滴状の粒子（ドロップレットとも称される）の状態を検出する。

図２は、ドロップレット生成装置１００の構成の一例を示す図である。図２Ａは、ドロップレット生成装置１００を上方から見た平面図であり、図２Ｂは、ドロップレット生成装置１００を上方から見た斜視図である。

ドロップレット生成装置１００は、基板１１０に形成された貫通孔（第１液体導入口１２０、第２液体導入口１４０、及びドロップレット取出口２００）、及び溝（第１流路１３０、第２液体共通流路１５０、第２流路１６０、第３流路１７０、ドロップレット生成部１８０、及びドロップレットが移送されるドロップレット流路１９０）によって構成されている。

具体的には、基板１１０には、当該基板１１０を貫通するように、第１液体を導入する第１液体導入口１２０、第２液体を導入する第２液体導入口１４０、及び、生成されたドロップレットを取り出すドロップレット取出口２００が形成されている。

又、基板１１０の上面には、第１流路１３０、第２液体共通流路１５０、第２流路１６０、第３流路１７０、ドロップレット生成部１８０、及びドロップレット流路１９０が形成されている。ここで、第１流路１３０は、第１液体導入口１２０から導入される第１液体（例えば、細胞等を含む液体）をドロップレット生成部１８０に供給する。一方、第２液体共通流路１５０、第２流路１６０及び第３流路１７０は、第２液体導入口１４０から導入される第２液体（例えば、第１液体と相溶せず、かつ第１液体を変性させないオイル等）をドロップレット生成部１８０に供給する。

ドロップレット生成部１８０は、第１流路１３０から供給される第１液体と、第２流路１６０及び第３流路１７０供給される第２液体とを合流する合流部である。ドロップレット生成部１８０には、第１流路１３０からの第１液体と、第２流路１６０及び第３流路１７０からの第２液体とが、同時に供給され、これによって、第２液体が第１液体の周囲を包み込むようにして、順次、ドロップレットが生成される。そして、生成されたドロップレットは、ドロップレット流路１９０を介して、ドロップレット取出口２００に移送される。

ドロップレット生成装置１００に生成された粒子は、ドロップレット取出口２００を介して、貯留槽３００に貯留される。尚、図１では、ドロップレット生成装置１００は、貯留槽３００から取り外された状態を示している。

ドロップレット生成装置１００に生成された粒子は、例えば、直径が０．１〜１０００μｍ程度の液滴状の粒子であって、細胞、核酸又はタンパク質等の被分析物を内包する水又は血液等の液滴である。そして、貯留槽３００内には、例えば、当該粒子が、オイル（第２液体）中に、貯留されている。

本実施形態に係る検出システム１は、このようにして生成された粒子群Ａａｌｌの状態を検出することで、ドロップレット生成装置１００が均一な粒径の粒子を生成することができるか、又は、所望の速度で粒子を生成することができるか等の性能試験を行う。

図１に戻って、本実施形態に係る検出システム１の構成について、説明する。

貯留槽３００に貯留された粒子群Ａａｌｌに含まれる粒子は、検出システム１による検出の際には、流路４０内を一個ずつ順番に移送される。ここでは、流路４０の一端が貯留槽３００内に配設され、他端が吸引ポンプ（図示せず）に接続されることによって、貯留槽３００内の粒子が、貯留槽３００内の液体と共に、流路４０内を一個ずつ移送されている。尚、図１の矢印は、粒子の通流方向を表している。

流路４０は、例えば、透過性の部材によって構成されたガラス管である。流路４０は、例えば、短手断面が円形状を呈している。そして、流路４０の直径は、流路４０内を粒子が一個ずつ通流するように、例えば、ドロップレット生成装置１００に生成される典型的な粒子の粒子サイズにあわせて設定されている。

イメージセンサ２０は、例えば、ＣＭＯＳセンサ又はＣＣＤセンサであって、流路４０の所定位置に設定した撮像対象領域Ｒ１から到来する光の光強度を電気信号に変換する。イメージセンサ２０は、例えば、撮像対象領域Ｒ１を時間的に連続して撮像する。本実施形態に係るイメージセンサ２０は、例えば、一枚あたり３００画素×３００画素を有する画像を、１５０ｆｐｓのフレームレートの動画像として生成する。

イメージセンサ２０の撮像対象領域Ｒ１は、少なくとも流路４０の幅方向（流路４０の径方向を表す。以下同じ）の一端から他端までが画像内に映るように、設定されている。又、本実施形態に係るイメージセンサ２０は、二次元領域を撮像するエリアセンサである。尚、イメージセンサ２０は、光学レンズを用いて、撮像対象領域Ｒ１を数倍に拡大して撮像している。

光源３０は、例えば、白色ランプである。光源３０は、イメージセンサ２０から見て、流路４０の背面側に配設されている。光源３０から発される光は、イメージセンサ２０が流路４０内を通流する粒子を撮像する際に、粒子と当該粒子の周囲との間のコントラストを高める。

検出装置１０は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、入力ポート、及び、出力ポート等を含んで構成される一般的なコンピュータである。検出装置１０は、イメージセンサ２０からセンサ情報を取得し、撮像対象領域Ｒ１の流路４０の幅方向におけるセンサ値の分布に基づいて、流路４０の幅に対する粒子の占有幅（以下、「Distance値」又は「粒子幅」と称する）を算出する。そして、検出装置１０は、Distance値の時間的変化に基づいて、粒子群Ａａｌｌの状態を推定する。

尚、検出装置１０が有する機能は、例えば、ＣＰＵがＲＯＭやＲＡＭに格納された制御プログラムや各種データを参照することによって実現される。

［画像解析処理について］
次に、図３〜図１５を参照して、本実施形態に係る検出装置１０が行う画像解析処理について説明する。

図３は、本実施形態に係る検出装置１０の構成の一例を示す図である。

本実施形態に係る検出装置１０は、入力部１０Ｘと演算部１０Ｙとを備えている。入力部１０Ｘは、センサ情報取得部１１によって構成され、演算部１０Ｙは、粒子幅算出部１２、データ連結部１３、データ補正部１４、粒子個数算出部１５、及び、粒子サイズ算出部１６によって構成されている。

＜センサ情報取得部１１について＞
センサ情報取得部１１は、イメージセンサ２０から、当該イメージセンサ２０が生成したセンサ情報を取得する。センサ情報取得部１１は、例えば、イメージセンサ２０から、貯留槽３００内に貯留された粒子群Ａａｌｌから粒子の移送が開始されてから、貯留槽３００内のすべての粒子群Ａａｌｌの移送が完了するまでの間の動画像の情報を取得する。

尚、動画像は、連続的に生成された複数の静止画像（以下、単に「画像」と略称する）によって構成されている。

本実施形態に係るセンサ情報取得部１１は、イメージセンサ２０から、光強度に係るセンサ値が、２５６階調で表現された画素値に変換されたセンサ情報を取得している。但し、センサ情報取得部１１は、イメージセンサ２０が検出した光強度に係るセンサ値を、そのままの状態で取得してもよい。換言すると、後述する粒子幅算出部１２、データ連結部１３、データ補正部１４、粒子サイズ算出部１５、及び、粒子個数算出部１５は、イメージセンサ２０が検出した光強度に係るセンサ値をそのまま用いて演算処理を行ってもよい。

＜粒子幅算出部１２について＞
粒子幅算出部１２は、流路４０の幅方向におけるイメージセンサ２０のセンサ値の分布に基づいて、粒子のDistance値（流路４０の幅に対する粒子幅）を算出する。

図４は、本実施形態に係る粒子幅算出部１２におけるDistance値の算出方法について、説明する図である。

図４Ａは、動画像中の一枚の画像を示している。図４ＡのプラスＸ方向が流路４０の幅方向の一端側に相当し、プラスＹ方向が粒子の通流方向に相当する。即ち、ここでは、画像の行方向が、流路４０の幅方向に相当する。尚、以下では、プラスＹ方向を粒子の前端側、マイナスＹ方向を粒子の後端側とも称する。

尚、本実施形態では、イメージセンサ２０が検出した光強度に係るセンサ値は、画像中の画素値［Gray Value］として２５６階調で表現されている。即ち、撮像対象領域Ｒ１から到来する光の光強度が強い領域（画像中の白色の領域）は「２５６」の画素値で表現され、撮像対象領域Ｒ１から到来する光の光強度が低い領域（画像中の黒色の領域）は「０」の画素値で表現されている。

図４Ａにおいて、リング状の物体Ａ１は、図１の撮像対象領域Ｒ１に映る粒子Ａ１である。又、図４Ａ中の粒子Ａ１の両側の±Ｙ方向に沿って延在する黒色領域は、流路４０（ここでは、ガラス管）の縁部である。ここでは、粒子Ａ１は、液滴状であるため、当該粒子Ａ１の中心部分は光源３０からの光を透過して白色に撮像され、当該粒子Ａ１の輪郭部分のみが光を透過させずに黒色に撮像されている。

図４Ｂは、図４ＡのＴ１−Ｔ１’の行における画素値の分布を示すグラフである。図４Ｃは、図４ＡのＴ２−Ｔ２’の行における画素値の分布を示すグラフである。図４Ｂ及び図４Ｃにおいて、横軸は流路４０の幅方向の位置を示し、縦軸は各画素の画素値を示している。尚、本実施形態では、画素値「１００」を、粒子の存在の有無を判定するための閾値として設定している。

図４Ｂ、図４Ｃのグラフにおいて、画素値が「１００」よりも小さくなっているａ−ｂ間の領域及びｃ−ｄ間の領域は、ガラス管の縁部である。

又、図４Ｃのグラフにおいて、画素値が「１００」よりも小さくなっているｅ−ｆ間の領域及びｇ−ｈ間の領域は、それぞれ、粒子Ａ１の輪郭部分である。つまり、図４Ｃのグラフにおいては、ｅ−ｈ間の距離が、流路４０の幅方向のうちの粒子Ａ１の占有幅、即ちDistance値に相当する。

粒子幅算出部１２は、図４Ｂ、図４Ｃに示すような流路４０の幅方向における画素値の分布情報から、Distance値を算出する。具体的には、粒子幅算出部１２は、Ｔ２−Ｔ２’の行（図４Ｃ）においては、Distance値を、ｅ−ｈ間の距離に相当する１１０画素と算出する。一方、粒子幅算出部１２は、Ｔ１−Ｔ１’の行（図４Ｂ）においては、粒子Ａ１が存在する領域ではないため、Distance値を０画素と算出する。

つまり、本実施形態に係るDistance値は、画像内の各行において粒子Ａ１が占有する画素数として算出される。

図５、図６は、粒子幅算出部１２におけるDistance値の算出方法の詳細について、説明する図である。図５は、粒子Ａ１の中心領域のDistance値の算出方法を示す図であり、図６は、粒子Ａ１の前端部及び後端部のDistance値の算出方法を示す図である。

尚、図５Ａ、図６Ａは、いずれも、図４Ａと同一の画像である。又、図５Ｂは、粒子Ａ１の中心部分に相当するＴ３−Ｔ３’の行の画素値の分布を示す図であり、図６Ｂは、粒子Ａ１の前端部に相当するＴ４−Ｔ４’の行の画素値の分布を示す図である。

本実施形態に係る粒子Ａ１は、液滴状であり、図５Ｂと図６Ｂを比較すると分かるように、粒子Ａ１の前端部及び後端部の流路４０の幅方向における画素値の分布は、粒子Ａ１の中心部分とは異なる分布特性を示す。

そこで、本実施形態に係る粒子幅算出部１２は、各行における画素値の分布のパターンに基づいて、粒子Ａ１が存在しない領域、粒子Ａ１の中心部分の領域Ｒ２、及び、粒子Ａ１の前端部又は後端部の領域Ｒ３の３種類に分類して、Distance値を算出している。

具体的には、粒子幅算出部１２は、一行の画素値の分布の中で、画素値が「１００」である位置が４箇所の場合には粒子Ａ１が存在しないと識別する（図４Ｂを参照）。又、粒子幅算出部１２は、一行の画素値の分布の中で、画素値が「１００」である位置が８箇所の場合には、粒子Ａ１の中心部分の領域Ｒ２と識別し（図５Ｂを参照）、ｅ−ｈ間の距離（即ち、画素値が「１００」である位置のうちのマイナスＸ方向側から３つ目の位置と６つ目の位置の間の距離）をDistance値として算出する。一方、粒子幅算出部１２は、一行の画素値の分布の中で、画素値が「１００」である位置が６箇所の場合には、粒子Ａ１の前端部又は後端部の領域Ｒ３と識別し（図６Ｂを参照）、ｉ−ｊ間の距離（即ち、画素値が「１００」である位置のうちのマイナスＸ方向側から３つ目の位置と４つ目の位置の間）をDistance値として算出する。

これによって、粒子Ａ１の端部領域におけるDistance値の算出精度を高めている。

粒子幅算出部１２は、このような手法によって、一枚の画像の各行の画素値の分布から、各行のDistance値を算出する。尚、本実施形態では、一枚の画像は、３００画素×３００画素によって構成されているため、粒子幅算出部１２は、一枚の画像から、３００行分のDistance値を生成する。

図７は、一枚の画像のDistance値の配列情報を示す図である。図７Ａは、図４Ａと同一の画像である。図７Ｂは、図７Ａの画像におけるDistance値の配列情報をグラフ化した図である。

一個の粒子は、図７Ｂに示すように、山なり状のカーブを描くDistance値の配列情報として表出する。そのため、山なり状のカーブを描くDistance値の配列を、積算することにより、一個の粒子の粒子サイズを求めることができる（詳細は後述）。

粒子幅算出部１２は、同様の手法により、動画像の各画像について、３００行分のDistance値を生成する。これによって、動画像の各画像データは、Distance値の配列情報に変換されることになる。

＜データ連結部１３について＞
データ連結部１３は、各画像において算出されたDistance値の配列情報を連結する。

図８、図９は、データ連結部１３におけるDistance値の連結方法について、説明する図である。図８Ａは、あるタイミングで撮像された画像（以下、「第１の画像」又は「第１センサ情報」と称する）と、当該第１の画像の各ラインにおけるDistance値を表している。図８Ｂは、第１の画像に続いて撮像された画像（以下、「第２の画像」又は「第２センサ情報」と称する）と、当該第２の画像の各ラインにおけるDistance値を表している。

図９は、第１の画像の各ラインにおけるDistance値と第２の画像の各ラインにおけるDistance値を連結したデータ（図９の右側のグラフ）を表している。尚、図９の左側の画像は、当該連結データに対応する第１の画像と第２の画像の合成画像である。図９において、点線領域Ｒａは第１の画像の領域、一点鎖線領域Ｒｂは第２の画像の領域を表している。但し、図９の合成画像は、データ連結部１３の処理を説明するために示すものであり、実際には、生成されないデータである。

一般に、動画像におけるフレームレートは、粒子が通流する速度よりも早いため、連続して生成される画像間には、重複して撮像される領域が発生する。そこで、データ連結部１３は、重複して撮像された領域同士を重ね合わせるようにして、第１の画像のDistance値と第２の画像のDistance値を連結する。

データ連結部１３は、例えば、第１の画像のDistance値の配列情報と、第２の画像のDistance値の配列情報を比較することにより、第１の画像と第２の画像との間における重複領域を特定する。そして、データ連結部１３は、当該重複領域同士を重ね合わせるようにして、第１の画像のDistance値と、第２の画像のDistance値とを連結する。データ連結部１３は、例えば、第１の画像のDistance値と第２の画像のDistance値との差分を１ピクセルずつ算出し、Distance値の差分の合計値（絶対値）が最小となるよう連結するしてもよい。

データ連結部１３は、このような処理を、動画像中の全画像のDistance値の配列情報について実行し、全画像のDistance値を連結したデータを生成する（以下、「Distance値の連結データ」と称する）。

＜データ補正部１４について＞
データ補正部１４は、Distance値の連結データから複数の粒子が密着した領域を抽出し、当該領域のDistance値を補正する。

流路４０中を通流する粒子は、必ずしも、互いに離間した状態となっておらず、他の粒子と密着するようにして通流する場合がある（図１３を参照）。このような場合、Distance値の連結データは、粒子２個分のDistance値が分離されてない状態となっており、粒子サイズの算出精度の悪化、及び、粒子の個数の算出精度の悪化を引き起こす要因となる。データ補正部１４は、かかる観点から、Distance値の連結データを補正する。

まず、検出装置１０が、Distance値の連結データから各粒子のデータ領域を特定する方法について、説明する。

図１０は、粒子同士が密着していない状態のDistance値の連結データの一例を示す図である。尚、図１０において、領域Ｌ１が一の粒子のデータ領域に相当し、領域Ｌ２が一の粒子に続いて通流する他の粒子のデータ領域に相当する。又、Distance値が０付近まで低下した領域Ｌｔが一の粒子と他の粒子の境界のデータ領域に相当する。

流路４０内において粒子は、一個ずつ順番に通流するため、一の粒子と他の粒子が密着していない場合、Distance値の連結データには、図１０に示すように、一の粒子と他の粒子の間に、Distance値が「０」まで低下する境界領域Ｌｔが表出する。

検出装置１０は、Distance値の連結データの当該データ特性を考慮して、粒子の通流する前方向（プラスＹ方向）から後方向（マイナスＹ方向）に向かってDistance値を順番に探索し、Distance値が「０」まで低下している領域から、Distance値が所定の閾値（ここでは、「１０」）よりも大きくなった位置を一の粒子の領域の開始位置と特定する。そして、検出装置１０は、粒子の領域の開始位置から、Distance値が所定の閾値（ここでは、「１０」）よりも小さくなる位置までの間を当該粒子の領域と特定する。

但し、一の粒子と他の粒子が密着するようにして通流している場合、一の粒子と他の粒子の間の境界領域においても、Distance値は、所定の閾値（ここでは、「１０」）以下とならない。そこで、データ補正部１４は、一の粒子に係るDistance値の配列情報と他の粒子に係るDistance値の配列情報を互いに分離するべく、当該境界領域におけるDistance値を粒子の前端を識別する際の所定の閾値（ここでは、「１０」）以下まで低下させる。

図１１、図１２及び図１３は、データ補正部１４における補正処理について、説明する図である。尚、図１１、図１２及び図１３は、同一領域のDistance値の配列情報を示している。

データ補正部１４は、一個の粒子の前端と後端の間にDistance値の極小値が存在するか否かを判定し、当該極小値によって、一の粒子と他の粒子が密着している状態及び密着している位置を特定する。

具体的には、データ補正部１４は、まず、Distance値の連結データから、Distance値が「１００」の位置を特定する（図１１Ａを参照）。次に、データ補正部１４は、Distance値の時間的変化のデータのうち、Distance値が「１００」以下の位置のDistance値を「０」にする（図１１Ｂを参照）。次に、データ補正部１４は、Distance値の微分値（即ち、隣接する画素間におけるDistance値の差）を算出する（図１１Ｃを参照）。尚、図１１Ｃでは、粒子の通流方向の前方側から後方側（即ち、プラスＹ方向からマイナスＹ方向）に向かって、Distance値の微分値を算出している。これによって、表出したDistance値の微分値が「−１００」となる位置が、粒子の後端側の位置に該当する。

次に、データ補正部１４は、図１１ＣのDistance値の微分値に基づいて、粒子の後端側の位置を特定し、当該粒子の後端側の位置を基準として、粒子の通流方向の前方側から後方側（即ち、プラスＹ方向からマイナスＹ方向）に向かって３０画素分のDistance値を探索する（図１２）。この際、データ補正部１４は、当該粒子の後方側３０画素分の領域において、Distance値の極小値が存在するか（即ち、プラスＹ方向からマイナスＹ方向に向かって、Distance値が減少した後に再び増加しているデータ特性となっているか）否かを判定し、Distance値の極小値が存在する場合、当該極小値の位置（図１２のＸ点）を特定する。これにより、データ補正部１４は、一の粒子と他の粒子が密着した状態を抽出すると共に、Distance値が極小値となるＸ点を、隣接する一の粒子と他の粒子の境界位置と特定する。

尚、データ補正部１４は、この際、粒子の後方側３０画素分のDistance値が、単調的に減少している場合には、複数の粒子が密着した状態ではないと判断して、特に、処理を行わない。

次に、データ補正部１４は、Distance値の連結データのうち、図１２で特定したＸ点の位置におけるDistance値を「０」に補正する（図１３を参照）。図１３の左グラフは、補正処理を行う前のDistance値の連結データを示す図である。図１３の右グラフは、補正処理を行った後のDistance値の連結データを示す図である。

つまり、補正後のDistance値の連結データは、一の粒子と他の粒子が密着する位置においても、Distance値がゼロまで低下した後に再び増加するようなカーブを描くようなデータとなる（図１３の右グラフを参照）。これによって、検出装置１０（粒子個数算出部１５及び粒子サイズ算出部１６）は、当該Distance値の連結データに基づいて、密着する一の粒子と他の粒子とを分離して、粒子サイズ及び粒子個数の算出を行うことが可能となる。

尚、上記では、粒子サイズがおよそ直径１００μｍである粒子の場合のデータ補正方法を示した。データ補正部１４は、一の粒子と他の粒子が密着する位置を抽出する際に、Distance値「１００」を基準値とした。しかしながら、個々の粒子の粒子サイズ、又は一の粒子と他の粒子が密着する密着度合いは、種々に変化し得る。かかる観点から、データ補正部１４は、より好適には、上記したようなDistance値「１００」を基準値とした密着位置特定処理に加えて、Distance値「９０」を基準値とした密着位置特定処理、及び、Distance値「８０」を基準値とした密着位置特定処理を実行する。これによって、より確実に、一の粒子と他の粒子とを分離可能にしたDistance値の連結データに補正することが可能である。

尚、目的とする粒子サイズが異なる場合には、データ補正部１４におけるDistance値の基準値は、適宜変更しうる。

＜粒子個数算出部１５について＞
粒子個数算出部１５は、データ補正部１４で補正したDistance値の連結データに基づいて、粒子群Ａａｌｌに含まれる粒子の個数を算出する。

粒子個数算出部１５は、Distance値の連結データから各粒子のデータ領域を特定し、これによって、粒子群Ａａｌｌに含まれる粒子の個数を算出する。具体的には、粒子個数算出部１５は、図１０を参照して説明したように、まず、補正後のDistance値の連結データを粒子の通流する前方向から後方向に向かってDistance値を順番に探索し、Distance値が０まで低下している領域からDistance値が所定の閾値（ここでは、「１０」）よりも大きくなった位置を一の粒子の領域の開始位置と特定する。そして、粒子個数算出部１５は、当該粒子の領域の開始位置から、Distance値が所定の閾値（ここでは、「１０」）よりも小さくなる位置までの間を当該粒子のデータ領域と特定する。

そして、粒子個数算出部１５は、Distance値の連結データ中における粒子のデータ領域の個数をカウントすることによって、粒子群Ａａｌｌに含まれる全粒子の個数を算出する。

＜粒子サイズ算出部１６について＞
粒子サイズ算出部１６は、データ補正部１４で補正したDistance値の連結データに基づいて、粒子群Ａａｌｌに含まれる粒子の粒子サイズ（面積又は直径等）の分布を算出する。

具体的には、まず、粒子サイズ算出部１６は、図１０を参照して説明したように、補正後のDistance値の連結データを、粒子の通流する前方向から後方向に向かってDistance値を順番に探索し、補正後のDistance値の連結データ中における各粒子のデータ領域を特定する。

次に、粒子サイズ算出部１６は、一個の粒子の粒子サイズを算出する際には、当該粒子のデータ領域におけるDistance値を、当該粒子の前端側から後端側まで積算する（図７を参照）。そして、粒子サイズ算出部１６は、各粒子のデータ領域に対して同様の処理を実行し、これによって、粒子群Ａａｌｌに含まれる各粒子の粒子サイズを算出する。

このように、粒子サイズ算出部１６は、データ補正部１４で補正したDistance値の連結データに基づいて、粒子群Ａａｌｌに含まれる全粒子の粒子サイズの分布を算出する。尚、このようにして算出された粒子の粒子サイズは、画像内における粒子の面積に相当する。

尚、粒子サイズ算出部１６は、各粒子を完全球体と仮定して、Ｓ＝π×ｒ^２（但し、Ｓは面積、ｒは粒子の半直径）の公式から、各粒子の直径（即ち、２×ｒ）を算出し、粒子群Ａａｌｌに含まれる全粒子の直径の分布を算出してもよい。又、粒子サイズ算出部１６は、粒子の粒子サイズの単位を、画素数基準の単位から、ＳＩ単位系（例えば、μｍ単位）に変換してもよい。

図１４は、粒子サイズ算出部１６によって算出された粒子の直径と、従来技術に係る手法によって算出された粒子の直径を比較した図である。

図１４Ａ、図１４Ｂ、図１４Ｃ、及び図１４Ｄにおいては、それぞれ、画像内に映る粒子の直径が算出されている。

従来技術に係る手法としては、公知の画像解析ソフトＩｍａｇｅ Ｊを用いている。当該手法は、画像内における粒子の領域を手作業で設定させ、当該粒子の領域から当該粒子の直径を算出するものである。尚、当該手法は、高精度に粒子の粒子サイズを算出可能であるものの、手作業を含むため画像処理に長時間を要する。

図１４Ａ、図１４Ｂ、図１４Ｃ、及び図１４Ｄから分かるように、粒子サイズ算出部１６によって算出された粒子のサイズと、従来手法によって算出された粒子のサイズとは、略同一の値となっている。つまり、本実施形態に係る粒子サイズ算出部１６によれば、簡易な手法で、高精度に画像内における粒子を特定することが可能であることが分かる。

尚、図１４では、一個の粒子の粒子サイズのみを示しているが、粒子サイズ算出部１６は、粒子群Ａａｌｌに含まれる全粒子の粒子サイズを算出する。

＜画像解析処理のフローについて＞
図１５は、本実施形態に係る検出装置１０が行う画像解析処理のフローの一例を示す図である。

検出装置１０（センサ情報取得部１１）は、まず、イメージセンサ２０を用いて、貯留槽３００内に貯留された粒子群Ａａｌｌの移送が開始されてから、貯留槽３００内の粒子群Ａａｌｌのすべての粒子の移送が完了するまでの間の動画像を取得する（ステップＳ１）。次に、検出装置１０（粒子幅算出部１２）は、イメージセンサ２０のセンサ値の流路４０の幅方向における分布に基づいて、動画像中の画像それぞれについて、画像の各行のdistance値を算出する（ステップＳ２）。次に、検出装置１０（データ連結部１３）は、各画像において算出されたdistance値を連結する（ステップＳ３）。次に、検出装置１０は（データ補正部１４）、ステップＳ３で生成したdistance値の連結データを、密着する一の粒子と他の粒子とを分離することが可能になるように、補正する（ステップＳ４）。次に、検出装置１０（粒子個数算出部１５）は、ステップＳ４で補正したdistance値の連結データに基づいて、粒子群に含まれる粒子の個数を算出する（ステップＳ５）。次に、検出装置１０（粒子サイズ算出部１６）は、ステップＳ４で補正したdistance値の連結データに基づいて、粒子群に含まれる粒子の粒子サイズの分布を算出する（ステップＳ６）。

尚、ステップＳ１〜ステップＳ６の各工程の詳細は、上記した通りである。

このようにして、検出装置１０は、粒子群Ａａｌｌに含まれる粒子の粒子サイズの分布、及び粒子群Ａａｌｌに含まれる粒子の個数を推定する。

［効果］
以上のように、本実施形態に係る検出装置１０は、流路４０の所定領域Ｒ１を時間的に連続して撮像するイメージセンサ２０のセンサ値を取得する入力部１０Ｘと、流路４０の幅方向におけるイメージセンサ２０のセンサ値の分布の時間的変化に基づいて、移送された粒子の粒子サイズの分布、又は移送された粒子の個数を推定する演算部１０Ｙと、を備えている。

従って、本実施形態に係る検出装置１０によれば、簡易な手法で、且つ、高精度に、観察対象の粒子群Ａａｌｌに含まれる粒子の粒子サイズの分布、又は粒子の個数を検出することができる。特に、本実施形態に係る検出装置１０によれば、パターン認識等を用いて画像に映る粒子を識別する手法（例えば、粒子領域を検出する処理や、又はテンプレートマッチング処理）と比較すると、処理負荷が小さく、処理速度の向上を図ることができる点で、有用である。

又、特に、本実施形態に係る検出装置１０は、光源３０から発せられ、流路４０を透過した透過光に基づいて、粒子の粒子サイズ等を推定する。従って、本実施形態に係る検出装置１０によれば、蛍光剤を含有させて粒子を発光させて粒子の粒子サイズ等を推定する従来公知の手法と比較しても、高精度な推定が可能である。

（第２の実施形態）
次に、図１６を参照して、第２の実施形態に係る検出システム１について説明する。本実施形態に係る検出システム１は、イメージセンサ２０が線状領域のみを撮像するように構成されている（ラインセンサとも称される）点で、第１の実施形態と相違する。尚、第１の実施形態と共通する構成については、説明を省略する。

図１６は、第２の実施形態に係る検出システム１の構成の一例を示す図である。尚、図１６では、光源３０及び貯留槽３００の図示を省略している。

本実施形態に係るイメージセンサ２０は、図１６に示すように、流路４０の幅方向における一端と他端との間の領域を含む線状領域のみを撮像対象領域Ｒ１とする。従って、イメージセンサ２０によって検出された線状領域のセンサ値の分布は、第１の実施形態で説明した図４Ｂ、図４Ｃ等と同様に表出する。

本実施形態に係る検出装置１０（粒子幅算出部１２）は、第１の実施形態で説明した手法と同様の手法によって、イメージセンサ２０が検出したセンサ情報から、粒子のDistance値（即ち、流路４０の幅に対する粒子の占有幅）を算出する。但し、本実施形態においては、イメージセンサ２０が検出したセンサ情報の時間的変化の中には、重複領域は存在しないため、検出装置１０は、異なるタイミングで撮像された撮像対象領域Ｒ１のセンサ情報を重ね合わせる処理（上記したデータ連結部１３の処理）を行う必要はない。換言すると、当該イメージセンサ２０に生成されたセンサ情報は、直接、Distance値の連結データに変換することができる。

以上のように、本実施形態に係る検出装置１０によれば、イメージセンサ２０が線状領域のみを撮像するように構成されているため、より一層の処理負荷の軽減及び処理速度の向上を図ることができる。

（その他の実施形態）
本発明は、上記実施形態に限らず、種々に変形態様が考えられる。

上記実施形態では、検出システム１による観察対象の一例として、貯留槽３００に貯留された粒子群Ａａｌｌを示した。しかしながら、本発明に係る検出システム１による観察対象としては、一定時間内に流路４０内を移送された粒子であってもよい。例えば、検出システム１は、ドロップレット生成装置１００から生成される粒子を、ドロップレット流路１９０において検出してもよい。

又、上記実施形態では、検出システム１による観察対象の一例として、液滴状の粒子を示した。しかしながら、本発明に係る検出システム１による観察対象としては、固体状の粒子であってもよい。

又、上記実施形態では、検出システム１の適用対象の一例として、ドロップレット生成装置１００の性能試験に適用する態様を示した。しかしながら、本発明に係る検出システム１の適用対象は、任意であり、例えば、流路４０内を移送される粒子の品質管理等の用途にも適用し得る。

又、上記実施形態では、流路４０の一例として、ガラス管を示した。しかしながら、流路４０としては、チューブ、又は、ガラス基板上に形成された溝等が用いられてもよい。

又、上記実施形態では、光源３０の一例として、白色ランプを示した。しかしながら、光源３０としては、レーザ、発光ダイオード、白熱光源、又は、蛍光光源等が用いられてもよい。

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。

本開示に係る検出装置によれば、観察対象の粒子群に含まれる粒子の粒子サイズの分布や、又は粒子の個数を、簡易な手法で、且つ、高精度に、検出可能である。

１ 検出システム
１０ 検出装置
１０Ｘ 入力部
１０Ｙ 演算部
１１ センサ情報取得部
１２ 粒子幅算出部
１３ データ連結部
１４ データ補正部
１５ 粒子個数算出部
１６ 粒子サイズ算出部
２０ イメージセンサ
３０ 光源
４０ 流路
１００ ドロップレット生成装置
３００ 貯留槽
Ａａｌｌ 粒子群

Claims (16)

1. 流路内を一個ずつ移送される粒子の粒子群全体としての状態を検出する検出装置であって、
   前記流路の所定領域を時間的に連続して撮像するイメージセンサのセンサ値を取得する入力部と、
   前記流路の幅方向における前記イメージセンサのセンサ値の分布の時間的変化に基づいて、移送された前記粒子群に含まれる前記粒子の粒子サイズの分布、又は前記粒子の個数を推定する演算部と、
   を備える検出装置。
2. 前記演算部は、前記流路の幅方向における前記イメージセンサのセンサ値の分布の時間的変化に係るデータを、粒子幅の時間的変化に係るデータに変換する
   請求項１に記載の検出装置。
3. 前記演算部は、前記粒子毎に、前記粒子の前端側から後端側までの間の前記粒子幅の積算値を算出することにより、移送された前記粒子群に含まれる前記粒子の粒子サイズの分布を推定する
   請求項２に記載の検出装置。
4. 前記演算部は、前記粒子の前端と後端の間に前記粒子幅の極小値が存在する場合、当該極小値の位置における前記粒子幅を前記粒子の前端を識別する際の所定値以下まで低下させる
   請求項２又は３に記載の検出装置。
5. 前記演算部は、前記極小値の存在の有無を判定する際、二以上の基準値を用いる
   請求項４に記載の検出装置。
6. 前記演算部は、前記粒子幅の時間的変化に係るデータに基づいて、各別の前記粒子のデータ領域を識別し、移送された前記粒子群に含まれる前記粒子の個数をカウントする
   請求項２乃至５のいずれか一項に記載の検出装置。
7. 前記粒子は、液滴状の粒子である
   請求項２乃至６のいずれか一項に記載の検出装置。
8. 前記演算部は、前記流路の幅方向における前記イメージセンサのセンサ値の分布が、前記粒子が存在しない領域、前記粒子の中央部分の領域、及び、前記粒子の端部領域のいずれに該当するかを識別して、前記流路の幅方向における前記イメージセンサのセンサ値の分布の時間的変化に係るデータを、粒子幅の時間的変化に係るデータに変換する
   請求項７に記載の検出装置。
9. 前記イメージセンサは、前記イメージセンサから見て前記流路の背部に配設された光源から発せられ、前記流路を透過した光の強度を検出する
   請求項１乃至８のいずれか一項に記載の検出装置。
10. 前記イメージセンサは、前記流路の幅方向における一端と他端との間の領域を含む二次元領域を撮像する
    請求項１乃至９のいずれか一項に記載の検出装置。
11. 前記演算部は、第１タイミングで前記イメージセンサに生成された第１センサ情報と、前記第１タイミングに続く第２タイミングで前記イメージセンサに生成された第２センサ情報とを参照して、前記第１センサ情報と前記第２センサ情報との間における重複領域を重ね合わせるようにして、前記第１センサ情報と前記第２センサ情報とを連結する
    請求項１０に記載の検出装置。
12. 前記イメージセンサは、前記流路の幅方向における一端と他端との間の領域を含む線状領域を撮像する
    請求項１乃至９のいずれか一項に記載の検出装置。
13. 前記粒子群は、貯留槽に貯留された粒子群である
    請求項１乃至１２のいずれか一項に記載の検出装置。
14. ドロップレット生成装置の性能試験に適用される
    請求項１乃至１３のいずれか一項に記載の検出装置。
15. 流路内を一個ずつ移送される粒子の粒子群全体としての状態を検出する検出方法であって、
    前記流路の所定領域を時間的に連続して撮像するイメージセンサのセンサ値を取得する工程と、
    前記流路の幅方向における前記イメージセンサのセンサ値の分布の時間的変化に基づいて、移送された前記粒子群に含まれる前記粒子の粒子サイズの分布、又は前記粒子の個数を推定する工程と、
    を備える検出方法。
16. 流路内を一個ずつ移送される粒子の粒子群全体としての状態を検出する検出プログラムであって、
    コンピュータに、
    前記流路の所定領域を時間的に連続して撮像するイメージセンサのセンサ値を取得する処理と、
    前記流路の幅方向における前記イメージセンサのセンサ値の分布の時間的変化に基づいて、移送された前記粒子群に含まれる前記粒子の粒子サイズの分布、又は前記粒子の個数を推定する処理と、
    を実行させる検出プログラム。

Images