JP2019169010A - 搬送物の判定装置及びこれを用いた搬送システム - Google Patents

Abstract

【課題】搬送物の判定精度を確保しつつ、判定処理の速度を高めることのできる搬送物の判定装置を提供する。【解決手段】搬送物の判定装置は、搬送経路上の搬送物の全体ではなく一部のみが含まれ得る範囲に設定された限定領域の画像データに基づいて搬送物の判定を行う搬送物の判定装置であって、限定領域の画像データを各搬送物についてそれぞれ形成可能な時間間隔を有する取得タイミングで限定領域の画像データを繰り返し取得するデータ取得手段と、取得タイミング毎に限定領域の画像データの画素値ｄ１，ｄ２，・・・，ｄｍの分布パターンＤｓを複数の分類カテゴリーのいずれかに分類し、限定領域の画像データの分類結果Ｅ＝｛ｅ１，ｅ２｝を出力するデータ分類手段と、を具備する。【選択図】図５

Description

本発明は搬送物の判定装置及びこれを用いた搬送システムに関する。

従来から、所定の搬送経路に沿って搬送される搬送物を検出し、その検出態様によって搬送物の有無、姿勢、良否などを判定するようにした、搬送物の判定装置が使用されている。このような判定装置は、搬送物を判定した結果により、搬送状態を把握したり、搬送物を整列させたり、選別したりするための搬送物処理部の処理動作を選択するためなどに用いられる。

従来技術において搬送物を判定する場合の最も一般的な方法としては、搬送物が到来したことを検知して検知信号を出力する光学式検出器等からなる検知センサや、この検知信号などの出力タイミングにより搬送物が所定の位置に到達した時点において搬送物の形状を判定するための光学式検出器等からなる透過センサなどを用いる判定方法が知られている。

一方、ラインセンサやカメラなどの撮像装置を用いて搬送物の画像データを取得し、この画像データを処理して搬送物を判定するようにした画像処理型の判定方法も知られている。ラインセンサを用いることによって搬送物の位置を把握し、複数のラインデータを用いて搬送物の形状を再現したり、カメラにより撮影した画像データからテンプレートマッチングなど画像処理により搬送物の姿勢や形状を認識したりする方法が用いられている（例えば、以下の特許文献１参照）。これらの手法の中には、画像データから予め抽出した特徴量を入力するニューラルネットワークを用いて物体の識別を行うようにした技術も存在する（例えば、以下の特許文献２参照）。

特開平６−１３７８３７号公報 特開平５−１２８２６２号公報

ところが、近年の搬送物の小型化や搬送速度の増大により、従来の上記技術では搬送物の判定精度を維持しつつ、高速化した搬送速度に対応可能な処理速度を実現することが難しくなってきているという問題がある。

そこで、本発明の課題は上記問題を解決することにあり、搬送物の判定精度を確保しつつ、判定処理の速度を高めることのできる搬送物の判定装置を提供することを目的とする。

上記課題を解決するために、本発明の搬送物の判定方法は、搬送経路上の搬送物の全体ではなく一部のみが含まれ得る範囲に設定された限定領域の画像データに基づいて前記搬送物の判定を行う搬送物の判定方法であって、各搬送物についてそれぞれ前記限定領域の画像データを形成可能な時間間隔を有する取得タイミングで前記限定領域の画像データを繰り返し取得するデータ取得工程と、前記取得タイミング毎に前記限定領域の画像データの画素値の分布パターンを複数の分類カテゴリーのいずれかに分類し、前記限定領域の画像データの分類結果を求めるデータ分類工程と、を具備することを特徴とする。

この場合において、前記取得タイミングは、各搬送物についてそれぞれ前記限定領域の画像データを複数回形成可能な時間間隔で設定されることが好ましい。ここで、各搬送物に対してそれぞれ形成可能な前記限定領域の画像データの数は、２〜１０の範囲内であることが好ましく、特に、３〜７の範囲内であることが望ましい。

本発明において、複数の分類結果に基づいて前記搬送物の通過総数、姿勢、良否などの判定結果を求める判定処理工程をさらに具備することが好ましい。このとき、前記複数の分類結果は、複数の取得タイミングにおいて取得された前記限定領域の画像データの分類結果であることが望ましい。また、複数の前記限定領域が設定される場合には、前記複数の分類結果の少なくとも一部は、単一の取得タイミングにおいて取得される複数の前記限定領域の画像データの分類結果であってもよい。

また、本発明の搬送物の判定装置は、搬送経路上の搬送物の全体ではなく一部のみが含まれ得る範囲に設定された限定領域の画像データに基づいて前記搬送物の判定を行う搬送物の判定装置であって、各搬送物についてそれぞれ前記限定領域の画像データを形成可能な時間間隔を有する取得タイミングで前記限定領域の画像データを繰り返し取得するデータ取得手段と、前記取得タイミング毎に前記限定領域の画像データの画素値の分布パターンを複数の分類カテゴリーのいずれかに分類し、前記限定領域の画像データの分類結果を出力するデータ分類手段と、を具備することを特徴とする。

この場合において、前記取得タイミングは、各搬送物についてそれぞれ前記限定領域の画像データを複数回形成可能な時間間隔で設定されることが好ましい。ここで、各搬送物に対してそれぞれ形成可能な前記限定領域の画像データの数は、２〜１０の範囲内であることが好ましく、特に、３〜７の範囲内であることが望ましい。

本発明において、複数の分類結果に基づいて前記搬送物の通過総数、姿勢、良否などの判定結果を求める判定処理手段をさらに具備することが好ましい。このとき、前記複数の分類結果は、複数の取得タイミングにおいて取得された前記限定領域の画像データの分類結果であることが望ましい。すなわち、複数の前記取得タイミングにおいて取得された前記限定領域の画像データの分類結果に基づいて前記搬送物の通過総数、姿勢、良否などの判定結果を出力する判定処理手段をさらに具備することが望ましい。また、複数の前記限定領域が設定される場合には、前記複数の分類結果の少なくとも一部は、単一の取得タイミングにおいて取得される複数の前記限定領域の画像データの分類結果であってもよい。

本発明によれば、上記データ取得手段により搬送物の一部のみに対応する限定領域の画像データを用いることにより、搬送物の全体を包含する範囲以上の画像データを処理する必要がなくなるため、処理すべきデータ量を制限できることから、処理速度を高めることができる。また、限定領域の画像データの画素値の分布パターンをデータ分類手段により複数の分類カテゴリーに分類し、限定領域における搬送物の一部に関する画像情報を分類結果に反映させることにより、判定処理に必要なデータ量をさらに低減できる。また、各搬送物についてそれぞれ限定領域の画像データを複数回形成可能な時間間隔で取得することにより、搬送物の搬送状況に関する情報をより正確かつ容易に把握可能となるので、判定精度を高めることができる。さらに、複数の分類結果を用いて判定処理手段により搬送物の判定結果を得ることにより、簡易な情報処理だけで搬送物を種々の態様で確実に判定することができる。特に、複数の取得タイミングで取得された限定領域の画像データの分類結果を用いることにより、さらに判定態様を広げることが可能になる。

本発明において、前記データ分類手段はニューラルネットワークを備える分類器であることが好ましい。また、前記データ分類手段は、学習済みモデルにより構成されることがさらに望ましい。このとき、前記データ分類手段は、前記画像データ毎に取得タイミングにおける前記限定領域の搬送物に対する位置関係に基づいて決定された分類カテゴリーが前記分布パターンに対してラベル付けされた学習データを用いて学習されたものであることが好ましい。前記ニューラルネットワークは、入力層、中間層及び出力層を有し、前記入力層は前記画像データの画素数と一致する数の入力（ユニット数）を備え、前記出力層は分類すべき前記分類カテゴリーの数と一致する数の出力（ユニット数）を備えることが望ましい。また、前記ニューラルネットワークは、複数の上記中間層を含むことが望ましい。さらに、前記入力層に直接に接続される前記中間層（中間第１層）は前記入力の数よりも大きな数のユニット（人工ニューロン）を備えることが望ましい。特に、前記ニューラルネットワークは全結合型であることが望ましい。

本発明において、前記限定領域は線状若しくは帯状の領域であることが好ましい。このとき、前記限定領域は、前記搬送経路の搬送方向と交差する方向に延在することが望ましい。また、前記限定領域は、直線状に延在することが特に望ましい。さらに、前記限定領域は、前記搬送方向と直交する方向に延在することが望ましい。特に、前記限定領域は、一列に配列された画素で構成される領域であることが望ましい。なお、前記限定領域は、前記搬送方向に沿って延在するものであってもよい。線状若しくは帯状の限定領域は、搬送経路上の搬送物の通過範囲に対して８０％以上の割合で重なることが好ましい。なお、搬送物の有無を分類する場合には、前記線状若しくは帯状の限定領域は、前記通過範囲よりも狭い領域に限定されるように構成されていてもよい。また、前記線状若しくは帯状の限定領域は、上記通過範囲の両側に当該通過範囲から張り出した端部分をそれぞれ備えることが望ましい。この場合において、前記限定領域は、前記通過範囲の１２０％以下の領域であることが望ましい。

本発明において、前記画素値は、輝度値（明度値）であることが好ましい。ただし、搬送物の外観や判定の内容によって、画素の色相や彩度などの他の画素値を用いることも可能である。

本発明において、前記データ分類手段は、前記画像データを前記複数の分離カテゴリーに分類できるものであれば特に限定されない。ただし、前記データ分類手段は機械学習分類器であることが好ましく、上述のようにニューラルネットワークを備える分類器であることが望ましい。物理的構成に関しては、前記データ分類手段或いは前記分類器は、パーソナルコンピュータなどの各種のコンピュータ（汎用の演算処理ユニット（ＣＰＵ）を用いるもの）によりプログラムを実行することによって構成できる。この場合に、ＧＰＵ（Graphics Processing Unit）を備えたコンピュータによって実行されることが好ましい。また、前記データ分類手段或いは前記分類器は、ＦＰＧＡ（field-programmable gate array）などのＰＬＤ（プログラマブルロジックデバイス）やＤＳＰ（digital signal processor）といった、特定のデータ処理に対応する電子回路（チップ）により構成することもできる。

本発明において、前記分類結果若しくは判定結果を表示する表示手段（表示装置）、或いは、前記分類結果若しくは判定結果を記録する記録手段（記録装置）を備えることが好ましい。また、前記分類結果若しくは判定結果に基づいて、前記搬送物を前記搬送経路上から排除したり、前記搬送物の姿勢を変換（反転、横転）させたりするための搬送物制御手段を備えることが望ましい。

この発明によれば、搬送物の一部のみに対応する限定領域の画像データを複数の分類カテゴリーに分類することにより、搬送物の判定精度を確保しつつ、判定処理を高速化できる搬送物の判定装置を提供することができる。特に、複数の分類結果に基づいて判定処理を行うことにより、判定精度を担保しつつ、判定速度をさらに短縮化でき、判定内容も広範に設定することができる。

本発明に係る搬送物の判定装置の実施形態の構成例を含む搬送システムの全体構成を示す概略構成図である。 第１実施形態の判定対象となる搬送経路上の搬送物を示す平面図である。 カメラによる撮像範囲を示す平面図（ａ）、撮像範囲内の第１実施形態の限定領域ＣＲ１，ＣＲ２を示す拡大説明図（ｂ）、及び、搬送物と限定領域との寸法上の関係を示す説明図（ｃ）である。 第１実施形態の限定領域ＣＲ１，ＣＲ２の画像データＤの画素値の分布パターンＤｓ１〜Ｄｓ７の搬送物に対する位置関係を示す説明図（ａ）と、各分布パターンの例Ｄｓ１〜Ｄｓ７を対応するパターン類型ＰＴ１〜ＰＴ７とともに示すグラフ（ｂ）〜（ｈ）である。 第１実施形態の分類器の構成を示す概略構成図（ａ）と、この分類器の学習プロセスの手順の一例を示す概略フローチャート（ｂ）である。 第１実施形態の分類器（データ分類手段）による分類処理工程と判定処理手段による判定処理工程とを含む搬送物判定動作の手順を示す概略フローチャートである。 第１実施形態及び第２実施形態の搬送物の判定装置を含む搬送システムの全体のシステム動作の手順を示す概略フローチャートである。 第２実施形態の限定領域ＣＲ３の画像データＤの画素値の分布パターンＤｓ１１〜Ｄｓ１７の搬送物に対する位置関係を示す説明図（ａ）と、各分布パターンの例Ｄｓ１１〜Ｄｓ１７を対応するパターン類型ＰＴ１１〜ＰＴ１７とともに示すグラフ（ｂ）〜（ｈ）である。 搬送経路上の搬送物に対するカメラの撮影方向を示す断面図（ａ）及び搬送経路上の搬送物の搬送姿勢を撮影方向から見た例を示す斜視図（ｂ）である。 搬送経路上の搬送物の総搬送数と、選別処理後の搬送物の良品数とを判定する場合の例を示す説明図（ａ）及び（ｂ）である。 分類カテゴリーに基づいて搬送物の搬送姿勢を判定する例を示す説明図である。 分類カテゴリーに基づいて搬送物の搬送姿勢を判定する別の例を示す説明図である。 異なる限定領域ＣＲ４，ＣＲ５を用いて搬送物の搬送姿勢を判定する異なる例を示す説明図である。

次に、添付図面を参照して本発明の実施形態について詳細に説明する。最初に、図１〜図３を参照して、本発明に係る搬送物の判定装置の実施形態を含む搬送システムの全体構成について説明する。

搬送装置１０は、螺旋状の搬送路１１１を有するボウル型の搬送体１１０を備えたパーツフィーダ１１と、このパーツフィーダ１１の上記搬送路１１１の出口から搬送物を受け取るように構成された入口を備えた直線状の搬送路１２１を有する搬送体１２０を備えたリニアフィーダ１２とを具備する振動式搬送装置である。この搬送装置１０は、本実施形態の搬送物の判定装置を含む搬送物判定制御システム（以下、「制御システム」という。）によって制御される。上記搬送装置１０と制御システムを合わせた全体を、以下、搬送システムという。上記制御システムでは、リニアフィーダ１２の搬送体１２０の搬送路１２１上の搬送物Ｐを撮影画像ＧＰＸに基づいて検査し、判定する。なお、本発明において、振動式搬送装置に限られない構成については、搬送物Ｐが搬送路に沿って搬送される各種の搬送装置に用いることができる。また、振動式搬送装置であっても、上記パーツフィーダ１１とリニアフィーダ１２の組み合せに限定されるものではなく、循環式パーツフィーダなどの他の形式の搬送装置に用いることが可能である。さらに、上記の組み合せにあっても、リニアフィーダ１２の搬送路１２１上の搬送物Ｐを検査するものに限らず、パーツフィーダ１１の搬送路１１１上の搬送物Ｐを検査するものであっても構わない。

パーツフィーダ１１はコントローラＣＬ１１によって駆動、制御される。また、リニアフィーダ１２はコントローラＣＬ１２によって駆動、制御される。これらのコントローラＣＬ１１、ＣＬ１２はパーツフィーダ１１やリニアフィーダ１２の加振手段（電磁駆動体や圧電駆動体などを含む。）を交流駆動し、搬送体１１０，１２０を搬送路１１１，１２１上の搬送物Ｐが所定の搬送方向Ｆに移動する態様となるように振動させる。また、このコントローラＣＬ１１、ＣＬ１２は、パーツフィーダ１１の搬送体１１０やリニアフィーダ１２の搬送体１２０に設けられた搬送物制御手段を構成する搬送物制御機構ＣＰ１１，ＣＰ１２を制御することにより、搬送物制御機構ＣＰ１１，ＣＰ１２により、例えば気流を吹き付けることで、搬送物を搬送路１１１，１１２上から排除したり、搬送路１１１，１１２上の姿勢を変更したり（反転若しくは横転させたり）する。コントローラＣＬ１１、ＣＬ１２は、上記制御システムの主体となる画像処理機能を有する検査処理ユニットＤＴＵに入出力回路（Ｉ／Ｏ）を介して接続される。

また、コントローラＣＬ１１,ＣＬ１２は、下記の動作プログラムを実行する後述する演算処理装置ＭＰＵに対して、マウスなどの後述する操作入力装置ＳＰ１，ＳＰ２などを介して所定の操作入力（デバッグ操作）が行われると、上記の動作プログラムに従って搬送装置１０の駆動を停止する。このとき、上記の動作プログラムに従って、例えば、検査処理ユニットＤＴＵにおける画像計測処理も停止される。このデバッグ操作及び当該操作に応じた各所の動作については後に詳述する。

検査処理ユニットＤＴＵは、パーソナルコンピュータ等の演算処理装置ＭＰＵ（マイクロプロセシングユニット）を中核構成とし、図示例では、上記演算処理装置ＭＰＵは、中央処理ユニットＣＰＵ１，ＣＰＵ２、キャッシュメモリＣＣＭ、メモリコントローラＭＣＬ、チップセットＣＨＳなどから構成される。また、この検査処理ユニットＤＴＵには、撮像手段であるカメラＣＭ１，ＣＭ２にそれぞれ接続された画像処理を行うための画像処理回路ＧＰ１，ＧＰ２が設けられる。これらの画像処理回路ＧＰ１，ＧＰ２はそれぞれ画像処理メモリＧＭ１，ＧＭ２に接続される。画像処理回路ＧＰ１，ＧＰ２の出力は上記演算処理装置ＭＰＵにも接続され、カメラＣＭ１，ＣＭ２から取り込んだ撮影画像ＧＰＸの画像データを処理し、適宜の処理画像（例えば後述する画像エリアＧＰＹ内の画像データ）を演算処理装置ＭＰＵに転送する。主記憶装置ＭＭには予め制御システムの動作プログラムが格納されている。検査処理ユニットＤＴＵが起動されると、演算処理装置ＭＰＵにより上記動作プログラムが読み出されて実行される。また、この主記憶装置ＭＭには、演算処理装置ＭＰＵにより、後述する画像計測処理を実行した対象となる撮影画像ＧＰＸ若しくは画像エリアＧＰＹの画像データが保存される。

また、検査処理ユニットＤＴＵは、入出力回路（Ｉ／Ｏ）を介して液晶モニタ等の表示装置ＤＰ１，ＤＰ２や操作入力装置ＳＰ１，ＳＰ２に接続される。表示装置ＤＰ１，ＤＰ２は、上記演算処理装置ＭＰＵによって処理された撮影画像ＧＰＸ若しくは画像エリアＧＰＹの画像データ、後述する限定領域ＣＲ１〜ＣＲ５の画像データＤや分布パターンＤｓ、及び、これらに対応するパターン類型ＰＴの表示、並びに、分類カテゴリーＣＧの表示、さらには、必要に応じて、画像計測処理の結果、すなわち、搬送物検出処理や搬送物判定処理の結果などが、所定の表示態様で表示される。なお、この表示機能は、実際に搬送物が搬送されている場合に限らず、後述するように、過去のデータを読みだして再生している場合にも機能する。また、表示装置ＤＰ１，ＤＰ２の画面を見ながら操作入力装置ＳＰ１，ＳＰ２を操作することにより、各種の操作指令、設定値などの処理条件を入力することができる。

次に、本実施形態を含む上述の制御システムを用いた、搬送装置１０における搬送物の基本的な検出方法及び判定方法の例について説明する。図２は、本実施例における搬送物の形状及び搬送路１２１上の搬送姿勢を示す説明図である。図示例において、搬送物Ｐは、略立方体形状（例えば、立方体の８つの角部を丸めた形状）を有する電子部品（例えば、チップ抵抗、チップインダクタ、チップコンデンサなど）である。この搬送物Ｐは、相互に直交する搬送面１２１ａ，１２１ｂを備えた搬送路１２１上において、主として長軸（主軸）を搬送方向Ｆに向けた図示の横姿勢で搬送される。この横姿勢において搬送物Ｐの前後両端には金属製の端子部Ｐａが露出し、その間の側面部分には絶縁材からなる白色面Ｐｂ及び方向識別マークである黒色面Ｐｃが露出している。この搬送物Ｐの正規の搬送姿勢は、例えば、先端面Ｐｔ５を搬送先（下流側、図示左側）に向け、後端面Ｐｔ６を搬送元（上流側、図示右側）に向けた姿勢であって、四つの側面Ｐｓ１〜Ｐｓ４のうち、搬送先の側に白色面Ｐｂ、搬送元の側に黒色面Ｐｃが表れる側面Ｐｓ１が上方を向く姿勢（図９参照）であり、全体が白色面Ｐｂである側面Ｐｓ２が搬送路１２１の開放された側の側方を向く姿勢となる。ただし、正規の搬送姿勢は上記以外の姿勢であってもよく、搬送物Ｐの態様によっては前後の向きだけが定められる場合や主軸周りの姿勢のみが定められる場合があってもよい。

なお、図２及び図３では、搬送路１２１の搬送面１２１ａが相対的に急峻な面であり、搬送面１２１ｂが相対的になだらかな面であって、カメラＣＭ１，ＣＭ２が図示下方の手前側（すなわち搬送面１２１ｂの手前上方側）から斜めに撮像したときの画像を示している。この状況の一例は、図９に示す搬送体の断面構造に示されている。このため、搬送物Ｐにおいて、搬送路１２１上における図示上側に配置された側面（搬送面１２１ａ側に配置される側面）が上方を向く面（以下、単に「上方側面」という。）であり、図示下側に配置された側面（搬送面１２１ｂ側に配置される側面）が側方を向く面（以下、単に「側方側面」という。）である。図２中の左端にある搬送物Ｐについて言えば、上方側面が側面Ｐｓ１であり、側方側面が側面Ｐｓ２である。

図３は、図２に示す搬送物Ｐの搬送姿勢が正規のものであるか否かを判定するための計測エリアの設定例を説明するための説明図（ａ）〜（ｃ）である。カメラＣＭ１，ＣＭ２によって撮影された撮影画像ＧＰＸは、上記画像処理回路ＧＰ１，ＧＰ２によって適宜に処理され、図３（ａ）に示すように、搬送路１２１上の搬送方向Ｆと直交する方向について必要な範囲である画像幅ＧＰＷに含まれる画像データのみが取り込まれる。また、撮影画像ＧＰＸのうちの搬送方向Ｆに沿った範囲についても、図示のように画像長ＧＰＬに限定した範囲で画像データを取り込むようにしてもよい。このように撮影画像ＧＰＸから、実際に取り込まれ、演算処理装置ＭＰＵに転送される画像エリアＧＰＹを限定することによって、取込速度及び転送速度を向上させることができる。本実施形態の画像エリアＧＰＹは、典型的には、図３（ａ）に示すように搬送方向Ｆに長い矩形領域となる。

上記制御システムでは、上記動作プログラムに組み込まれて実行される検査処理コンポーネントに従って行われる画像計測処理によって、搬送物Ｐに対する検出（検査）及び判定が行われる。この画像計測処理は、図３（ａ）に示す上記画像エリアＧＰＹの全体にわたり行われるのではなく、この画像エリアＧＰＹの一部の限定された領域のみに対して行われる。この領域は処理内容に応じて異なるように設定され得る。特に、第１実施形態では、後述する搬送物Ｐの計数処理において、搬送経路を通過する搬送物Ｐの全体ではなく一部のみを包含しうる限定領域ＣＲ１、ＣＲ２の画像データを処理する。

図３に示す限定領域ＣＲ１、ＣＲ２は、本発明に係る第１実施形態の搬送物の判定装置において設定されたものである。この限定領域ＣＲ１、ＣＲ２は、搬送方向Ｆと交差（図示例では直交）する延在方向に伸びる線状若しくは帯状に形成される。また、限定領域ＣＲ１、ＣＲ２は、搬送経路上における搬送物Ｐの通過範囲Ｗｔ（図３（ａ）及び（ｂ）参照）と重なるように配置される。ここで、本実施形態の場合、搬送物Ｐは振動によって搬送路１２１上を移動していくので搬送物Ｐの通過位置は或る程度ばらつきが生ずる。このため、上記の通過範囲Ｗｔは、搬送物Ｐが通過する平均位置に対応する範囲とする。図示例では、図３（ｂ）及び（ｃ）に示すように、限定領域ＣＲ１、ＣＲ２が通過範囲Ｗｔ内に収まるように設定される。より具体的には、限定領域ＣＲ１、ＣＲ２の搬送方向Ｆに沿った長さをＬｃｒ、延在方向の幅をＷｃｒとすると、幅Ｗｃｒの全体が通過範囲Ｗｔ内に配置されるとともに、幅Ｗｃｒが通過範囲Ｗｔより小さくなるように構成される。このとき、幅Ｗｃｒは通過範囲Ｗｔの８０％以上であることが好ましい。このように設定すると、搬送物Ｐの通過位置が上記通過範囲Ｗｔに対して多少ばらついたとしても、限定領域ＣＲ１、ＣＲ２の全体がほぼ常に搬送物Ｐの通過位置と重なるように構成できる。なお、図示例では、横向きの搬送物Ｐのみが通過する場合の通過範囲Ｗｔを図示している。しかし、縦向きの搬送物Ｐも通過する場合には、分類カテゴリーや判定内容に応じた必要な限定領域の範囲を設定するために、そのまま横向きの搬送物Ｐに対応する通過範囲Ｗｔを用いてもよく、縦向きの搬送物Ｐも含めたより広い通過範囲を設定してもよい。

上記線状若しくは帯状の限定領域ＣＲ１、ＣＲ２は、撮影画像ＧＰＸ若しくは画像エリアＧＰＹのうちの少なくとも上記延在方向に沿って一列の画素が配列される領域であればよい。しかし、上記延在方向に沿って２列以上の画素が配列された領域であっても構わない。特に、図示例のように、限定領域ＣＲ１、ＣＲ２が直線状に構成されることが好ましく、また、上記延在方向が上記搬送方向Ｆと直交する方向（幅方向）であることが望ましい。図３（ｃ）に示すように、搬送物Ｐの正規の姿勢における搬送方向Ｆに沿った長さをＬｐ、幅をＷｐとすると、Ｌｐ×Ｗｐ＞Ｌｃｒ×Ｗｃｒである。また、図示例では、Ｗｐ＞Ｗｃｒである。さらに、図示例では、Ｌｃｒ＜Ｗｃｒである。

本実施形態では、カメラＣＭ１，ＣＭ２は、予め設定された既定の撮影周期で繰り返し撮影を実行し、当該撮影タイミングごとに撮影画像ＧＰＸ若しくは上記画像エリアＧＰＹ内の画像データが画像処理装置ＧＰ１，ＧＰ２を介して上記演算処理装置ＭＰＵに転送される。演算処理装置ＭＰＵでは、転送された上記画像データのうち、上記限定領域ＣＲ１内の限定画像データＤを取得し、上述の演算処理用メモリＲＡＭなどに取り込み、後述するように処理し、検出又は判定を行う。ただし、この制御システムでは、別途トリガセンサを設けたり、搬送物Ｐの画像データ中から搬送物Ｐの所定の形状パターンを所定の領域内でサーチし、当該形状パターンが検出されたときに内部トリガを発生させたりするのではなく、既定の撮影周期を示す外部トリガを導入したり、演算処理装置ＭＰＵから一定周期のトリガ信号をカメラＣＭ１，ＣＭ２に出力したりするなどの方法で、所定の撮影間隔で繰り返し撮影を実行している。このため、搬送路１２１上を搬送されてくる全ての搬送物Ｐについて、各搬送物Ｐ毎にそれぞれ少なくとも一つの取得タイミングで限定領域ＣＲの画像データを取得できるようになっている。すなわち、限定領域ＣＲ１、ＣＲ２の画像データＤの取得タイミングは、各搬送物Ｐが限定領域ＣＲ１、ＣＲ２に対して少なくとも１回重なるように設定される。後述するように予め上記撮影間隔を一定値に設定することにより、上記条件が成立する。ただし、上記条件させ満たされるのであれば、撮影間隔や取得タイミングの時間間隔が変動するように設定してもよい。例えば、搬送物Ｐの搬送速度の検出値や搬送速度に相関のある制御値や検出値などに応じて撮影間隔や取得タイミングの時間間隔を設定するなどの方法を用いてもよい。

本実施形態では、撮影間隔、すなわち、限定領域ＣＲ１、ＣＲ２の画像データの取得タイミングの時間間隔を一定にする。このとき、撮影周期をＴｓ［ｓｅｃ］、搬送物Ｐの搬送方向Ｆの長さをＬｐ［ｍｍ］、搬送物Ｐの搬送速度をＶｐ［ｍｍ／ｓｅｃ］とした場合、各搬送物Ｐに対して限定領域ＣＲ１、ＣＲ２が少なくとも１回以上の撮影タイミングにおいて重なるようにするためには、上記撮影周期Ｔｓを以下の式（１）のように設定する。
Ｔｓ＜Ｌｐ／Ｖｐ…（１）
例えば、搬送物Ｐの搬送方向Ｆの長さＬｐが０．６［ｍｍ］、搬送速度Ｖｐが５０［ｍｍ／ｓｅｃ］であるとすれば、撮影周期Ｔｓ＜０．０１２［ｓｅｃ］となる。これは、撮影間隔、すなわち、限定領域ＣＲ１、ＣＲ２の画像データＤの取得タイミングの時間間隔が１２［ｍｓｅｃ］未満であれば、全ての搬送物Ｐについて、各搬送物Ｐ毎に上記画像データＤを取得することができることを意味する。

しかしながら、上記の条件ではデータ量が少ないために処理速度を高めることができるものの、各搬送物Ｐ毎に限定領域ＣＲ１、ＣＲ２の画像データＤを取得することのできる最低条件であるため、判定内容によっては十分な判定精度を得ることができない。また、実際には、搬送物Ｐの搬送速度Ｖｐには、個体ごとに、場所により、或いは、経時的に、ばらつきが存在する。このため、各搬送物Ｐ毎に複数（ｎ）回の取得タイミングが得られるようにすることがより好ましい。ここで、ｎは２以上の自然数である。これにより、以下の式（２）のように設定する。
Ｔｓ＜Ｌｐ／（ｎ×Ｖｐ）…（２）
本実施形態の場合には、ｎを３?７の範囲になるように設定している。これは、ｎが小さくなると搬送速度のばらつきによる搬送物Ｐの撮影漏れが生ずる虞が高くなり、逆にｎが大きくなると画像処理の負荷が増大するからである。例えば、図３（ｃ）や図１１に示す画像データＤの取得タイミングはｎ＝４の例であり、図１２に示す画像データＤの取得タイミングはｎ＝６の例である。一般的には、自然数ｎは１〜１０の範囲内であることが好ましい。ｎを複数とする場合には、ｎは２〜１０の範囲内であることが望ましい。図３（ｃ）においては、限定領域ＣＲ１、ＣＲ２の画像データＤ１〜Ｄ６の取得タイミングの時間間隔Ｔｓに対応して、搬送物Ｐに対する限定領域ＣＲ１、ＣＲ２の取得タイミング毎の位置変化が搬送方向Ｆに距離Ｄｔずつ生ずる。なお、本実施形態の搬送物の判定装置では、一例として、ｎ＝６、撮影周期Ｔｓを２［ｍｓｅｃ］＝０．００２［ｓｅｃ］とした場合について以下に説明する。これにより、各搬送物Ｐに対してそれぞれ６回前後の限定領域ＣＲ１、ＣＲ２の画像データを取得できることになる。なお、本実施形態では、上記撮影画像ＧＰＸ若しくは上記撮影エリアＧＰＹの画像データから限定領域ＣＲ１、ＣＲ２の画像データＤを取得しているが、ラインセンサや小型カメラなどによって限定領域ＣＲ１、ＣＲ２の画像データを直接に取得するようにしても構わない。

上記の例では、主軸方向が搬送方向Ｆを向いた横向きの搬送物Ｐの全長Ｌｐを基準として説明した。しかし、判定内容が搬送物Ｐの一部だけを対象とする場合には、全長Ｌｐの代わりに、その一部の長さを用いる。例えば、搬送物Ｐの主軸周りの回転姿勢だけを判定対象とする場合には、判定対象部分は側面部分Ｐｓ１〜Ｐｓ４だけであるため、この判定対象部分の長さ（例えば、図１０（ｂ）に示す長さＬＤＲを参照）を基準とする。また、図９に示すように横姿勢の搬送物Ｐ１、Ｐ２だけでなく縦姿勢の搬送物Ｐ４（ただし、反対側へ倒れた縦姿勢の搬送物Ｐ７は除外される。）も搬送されてくる箇所では、図示例のように横姿勢の長さＬｐが幅Ｗｐより大きければ、縦姿勢の搬送物Ｐに対しても少なくとも１回の画像データＤが得られるように、縦姿勢の搬送物Ｐの搬送方向の長さである幅Ｗｐを基準とする。なお、本実施形態の場合には、上述のように搬送物Ｐが限定領域ＣＲ１、ＣＲ２と重なる位置に到達することを検知するトリガ信号を用いないので、或る撮影画像ＧＰＸ又は画像エリアＧＰＹの限定領域ＣＲ１、ＣＲ２に搬送物Ｐやその判定対象部分がそもそも全く配置されていない場合も生じ得る。

本実施形態では、図３（ｃ）に示す限定領域ＣＲ１、ＣＲ２の画像データＤの典型例として、図４（ａ）に示すように、上記限定領域ＣＲ１、ＣＲ２の画像データＤの画素値の分布パターンＤｓ１〜Ｄｓ５が得られる限定領域ＣＲ１，ＣＲ２の搬送物Ｐに対する相対位置を設定する。すなわち、画像データＤは、限定領域ＣＲ１、ＣＲ２の延在方向（幅方向、図示上下方向）に沿って図４（ｂ）に示される分布パターン（１次元プロファイル）Ｄｓ１〜Ｄｓ７を有する。ここで、上記画素値は図示例では輝度値（明度）である。図４（ｂ）の各グラフは、縦軸がフルスケール２５６で表わされた輝度値、横軸が０〜４０までの画像データＤの画素列中の画素番号を示す。図示例では、限定領域ＣＲ１、ＣＲ２において、延在方向（幅方向）に沿って一列に４０ピクセルの画素が配列された場合を示している。したがって、画像データをＤ＝｛ｄ１，ｄ２，・・・ｄｍ｝（画素値、ｍは自然数）とすると、ｍ＝４０となる。なお、限定領域ＣＲ１、ＣＲ２は一列の画素配列からなるものである必要はなく、二列以上の画素配列を有するものであってもよい。また、この場合には、画素値の分布パターンとして１次元プロファイルではなく、２次元プロファイルを用いるようにしてもよい。さらに、この場合には、二列以上の画素配列から１次元プロファイル（分布パターン）を形成するための前処理（中央値や平均値などの代表値の抽出などの処理）を実行してもよい。

なお、図４に示す搬送物Ｐ１〜Ｐ６は、横姿勢の搬送物Ｐ１〜Ｐ３と、縦姿勢の搬送物Ｐ４〜Ｐ６を含む。ここで、図９に示すように、縦姿勢の搬送物としては、主軸が搬送面１２１ｂに沿った縦姿勢の搬送物Ｐ４と、主軸が搬送面１２１ａに沿った縦姿勢の搬送物Ｐ７とが存在し得るが、本実施形態では、搬送物Ｐ７と同じ姿勢の搬送物Ｐは、限定領域ＣＲ１、ＣＲ２の設定される箇所よりも上流側において、気流供給路１２１ｃを介して供給され、気流供給口１２１ｄから吹き付けられる気流によって排除されるか、或いは、横転される。このため、図４には、搬送物Ｐ４と同じ縦姿勢の搬送物Ｐ５、Ｐ６は含まれるが、搬送物Ｐ７と同じ縦姿勢の搬送物は含まれない。ただし、本実施形態とは異なり、搬送物Ｐ７と同じ縦姿勢の搬送物Ｐが到来する可能性のある箇所や実施例では、このような搬送物をも考慮する必要がある。

本実施形態では、限定領域ＣＲ１、ＣＲ２の画像データＤの画素値の分布パターンＤｓを、図示例の分布パターンＤｓ１〜Ｄｓ７に対応するパターン類型ＰＴ１〜ＰＴ７に類型化した。すなわち、取得された画像データＤを上記画素値の分布パターンＤｓ１〜Ｄｓ７に対応する７つのパターン類型ＰＴ１〜ＰＴ７のいずれか一つに関連付ける。ここで、分布パターンＤｓ１に対応するパターン類型ＰＴ１は、限定領域ＣＲ１、ＣＲ２が横姿勢にある搬送物Ｐ１の端子部Ｐａと重なる場合の分布パターンに対応する。また、分布パターンＤｓ２に対応するパターン類型ＰＴ２は、限定領域ＣＲ１、ＣＲ２が横姿勢にある搬送物Ｐ１の白色面Ｐｂと黒色面Ｐｃにわたり重なる場合の分布パターンに対応する。さらに、分布パターンＤｓ３に対応するパターン類型ＰＴ３は、限定領域ＣＲ１、ＣＲ２が横姿勢にある搬送物Ｐ１の白色面Ｐｂと重なる場合の分布パターンに対応する。なお、このパターン類型ＰＴ３には、縦姿勢の搬送物Ｐ６の端子部Ｐａから白色面Ｐｂにわたり重なる場合の分布パターンも包含される。また、分布パターンＤｓ４に対応するパターン類型ＰＴ４は、限定領域ＣＲ１、ＣＲ２が縦姿勢にある搬送物Ｐ２の黒色面Ｐｃと白色面Ｐｂにわたり重なる場合の分布パターンに対応する。さらに、分布パターンＤｓ５に対応するパターン類型ＰＴ５は、限定領域ＣＲ１、ＣＲ２が縦姿勢にある搬送物Ｐ４の端子部Ｐａから白色面Ｐｂと黒色面Ｐｃにわたり重なる分布パターンに対応する。また、分布パターンＤｓ６に対応するパターン類型ＰＴ６は、限定領域ＣＲ１、ＣＲ２が縦姿勢にある搬送物Ｐ５の端子部Ｐａから白色面Ｐｂと黒色面Ｐｃにわたり重なる場合の分布パターンに対応する。さらに、分布パターンＤｓ７に対応するパターン類型ＰＴ７は、限定領域ＣＲ１、ＣＲ２が前後の二つの搬送物の間の隙間と重なる場合の分布パターンに対応する。このパターン類型ＰＴ７には、前後の搬送物が離れて搬送されてくる場合の隙間だけでなく、図示例のように二つの搬送物Ｐ２とＰ３が連なった状態で搬送されてくるときの前後の搬送物の当接部分の分布パターンが含まれる。

なお、以上のパターン類型は、上記の組み合わせＰＴ１〜ＰＴ７に限られるものではない。例えば、パターン類型ＰＴ３を、横姿勢の搬送物Ｐ１の白色面Ｐｂと重なるときの分布パターンに対応する類型と、縦姿勢の搬送物Ｐ６の端子部Ｐａと白色面Ｐｂに重なるときの分布パターンに対応する類型とに分けてもよい。また、パターン類型ＰＴ７を、前後の搬送物Ｐが離間しているときの分布パターンと、前後の搬送物Ｐが当接しているときの当接部分の分布パターンとに分けてもよい。また、上記の複数のパターン類型への関連付けは必須のものではなく、結果として、取得された画像データＤの分布パターンＤｓが以下に説明するいずれかの分類カテゴリーに明確に分類し得るようになっていればよい。すなわち、分類器（データ分類手段）において、所定の画像データＤに対して正解の分類カテゴリーが必ず存在するように設定されていればよい。ここで、上記パターン類型は、搬送物Ｐに対する限定領域ＣＲの位置関係の区分に対応するものである。

本実施形態においては、分類器によって分類される分類カテゴリーとして、上記パターン類型ＰＴ１〜ＰＴ６に対応する分類カテゴリーＣＧＡと、上記パターン類型ＰＴ７に対応する分類カテゴリーＣＧＢとを設定する。これにより、上記の限定領域ＣＲ１、ＣＲ２の画像データＤは、それぞれ、検査処理ユニットＤＴＵ内の演算処理装置ＭＰＵによる上記検査処理コンポーネント内の分類処理ユニットの実行によって構成されるデータ分類手段である分類器によって、二つの分類カテゴリーＣＧＡとＣＧＢに分類される。すなわち、本実施形態では、限定領域ＣＲ１、ＣＲ２の画像データＤを、上記パターン類型ＰＴ１〜ＰＴ６に対応する分類カテゴリーＣＧＡと、上記パターン類型ＰＴ７に対応する分類カテゴリーＣＧＢとに分類する分類問題として処理する画像処理工程を実行する。ここで、分類カテゴリーＣＧＡは、限定領域ＣＲ１，ＣＲ２が搬送物Ｐと重なる場合、すなわち搬送物Ｐが有る場合に対応し、分類カテゴリーＣＧＢは、限定領域ＣＲ１，ＣＲ２が搬送物Ｐと重ならず、隙間と重なる場合、すなわち搬送物Ｐが無い場合に対応する。この画像処理工程を実行する分類器は、機械学習分類器であり、本実施形態では、ニューラルネットワークを用いた学習済みモデルである。図５（ａ）には分類器の概略構成を模式的に示し、図５（ｂ）には分類器を学習させる際の概略の手順を示す。

本実施形態のデータ分類手段である分類器は、図５（ａ）に示すように、全結合型のニューラルネットワークを有する。このニューラルネットワークは、入力層Ｉ、中間層Ｍ１，Ｍ２，Ｍ３、及び、出力層Ｏを備えている。入力層Ｉは上記分布パターンＤｓ＝｛ｄ１，ｄ２，・・・ｄｍ｝（ｍは自然数、ｄ１，ｄ２，・・・ｄｍは画素値）のｍ（＝４０）に対応するｍ個のユニットｉ１，ｉ２，・・・ｉｍを備える。ここで、あらゆる連続な非線形関数は３層ニューラルネットワークで近似できるということが証明されている。このため、中間層を設けることによって柔軟な分類問題の解決が可能である。この場合において、中間層Ｍ１はｈ個のユニットｍ１１，ｍ１２，・・・ｍ１ｈ（ｈは自然数）を備える。このユニット数ｈは、入力層Ｉのユニット数ｍより大きい。これにより、中間第１層Ｍ１において画像データＤの情報は増幅される（低次元のデータから高次元のデータへマッピングされる）ため、学習データセットを用いた学習により判定精度が向上することが期待される。また、複数の中間層Ｍ１，Ｍ２，Ｍ３を備えることにより、中間層Ｍ１で増幅された情報を中間層Ｍ２，Ｍ３で集約する（高次元のデータから低次元のデータにマッピングする）ことにより、出力層Ｏへの出力を適切に実現することが期待される。

本実施形態では、上記限定領域ＣＲ１、ＣＲ２が搬送物Ｐと重なる位置にある（ＣＧＡ）か、それとも、搬送物Ｐと重なっていない位置にあるか（ＣＧＢ）の二つに分類する。このため、上記ニューラルネットワークの出力層Ｏは分類するカテゴリー数である２つのユニット（素子）ｏ１，ｏ２を備える。図示例では、出力層Ｏの出力値｛ｏ１，ｏ２｝は活性化関数によって処理され、最終的に分類結果Ｅ＝｛ｅ１，ｅ２｝が得られる。ここで、例えば、ｏ１，ｏ２は実数であり、それぞれが分類結果の確率を表す値を呈する。また、ｅ１，ｅ２は０か１（或いは±１）である。例えば、Ｅ＝｛１，０｝は搬送物Ｐが有る場合、Ｅ＝｛０，１｝は搬送物Ｐが無く、隙間である場合に対応する。活性化関数は、出力層Ｏの出力値｛ｏ１，ｏ２｝から分類結果Ｅを導出するためのものであり、特に限定されないが、例えば、Ｓｏｆｔｍａｘ関数などを用いることができる。

上記ニューラルネットワークを含む分類器（データ分類手段）は、例えば、図５（ｂ）に示す手順を備えた方法により構成することができる。まず、画像データＤの取得と、この画像データＤに対するラベル付け処理、すなわち、各画像データＤが上記パターン類型ＰＴ１〜ＰＴ７のいずれに属すべき分布パターンを備えているかを検討し、正解の分類カテゴリーをラベル付けする。これを多数の画像データＤに対して行うことにより、画像データＤとその正解カテゴリーの関連付けを有する学習データ(train data)、検証データ(validation data)、評価データ(test data)等を作成することができる。この各データを作成するための上記ラベル付け処理は人手により実施できる。また、上記ラベル付け処理は、図１０などで説明する従来の画像処理方法（テンプレートマッチングなど）などにより自動で行うことも可能である。なお、本実施形態では、上述のように、各画像データＤを分類カテゴリーＣＧＡとＣＧＢにラベル付けするが、その前に、各画像データＤをパターン類型ＰＴ１〜ＰＴ７に関連付けした学習データを作成しておくことにより、本実施形態とは異なる分類カテゴリーへの分類処理にも使用可能な基礎データを用意することができる。

上記のラベル付け処理においては、限定領域ＣＲ１、ＣＲ２の画像データＤ（の分布パターンＤｓ）自体に基づいて行うのではなく、上記撮影画像ＧＰＸや画像エリアＧＰＹに含まれる搬送物Ｐの全体状況や、複数の搬送物Ｐ（前後の搬送物Ｐなど）に対する限定領域ＣＲ１，ＣＲ２の位置関係に応じて行われる。例えば、本実施形態の分類器（データ分類手段）は、入力された分布パターンＤｓのみにより分類カテゴリーＣＧＡとＣＧＢのいずれかに分類を行う。これに対して、学習データを作成するときの各分布パターンが分類されるべき正解の分類カテゴリーＣＧＡ，ＣＧＢは、搬送物Ｐに対する限定領域ＣＲの位置関係によってラベル付けされることが好ましい。すなわち、正解の分類カテゴリーは、その分類処理の目的と直接に対応する図４（ａ）に示す限定領域ＣＲ１、ＣＲ２の搬送物Ｐ１〜Ｐ６に対する位置関係によって決定される。そして、上記の位置関係は、上記パターン類型ＰＴ１〜ＰＴ７によって表わされる。したがって、実際に取得される画像データＤの分布パターンＤｓがどのようなものであろうとも、上記各学習データ等のラベル付けは上記のパターン類型に基づく（或いは、対応する）ことが好ましい。特に、分布パターン自体を無視して、上記の位置関係のみによって正解のパターン類型ＰＴ１〜ＰＴ７を定めることにより、最終的な正解の分類カテゴリーが決定されることが望ましい。これにより、人や画像処理における主観的な分布パターンに対する観念を排した、現実の状況に応じた分類処理の実現が期待される。

上記学習データが作成されると、最初に、上記学習データを用いて分類器の学習プロセスを実行する。この学習プロセスでは、ニューラルネットワークの層数、各層のユニット数（素子数）ｍ，ｈ，ｊ，ｋ、出力値に対する活性化関数などのハイパーパラメータと呼ばれる値を設定し、分類器の基本設計を行う。この後、上記学習データを適用し、一般的な誤差逆伝搬法(Backpropagation, BP法)などを用いて分類器の学習を行う。その後、学習データとは別の検証データを用いて検証を行い、その結果に応じて基本設計の変更（ハイパーパラメータの再設定）を実施する。検証結果が良好であれば、さらに評価データを用いて評価を行う。この評価結果に問題があれば再度の学習プロセスや基本設計の変更などを行う。最終的に評価結果が良好であれば、それを学習済みモデルとして、本実施形態の分類器（データ分類手段）として用いる。

図６には、上述のようにして構成した本実施形態の分類器（データ分類手段）を用いて求めた分類結果に基づいて、搬送経路上を搬送される搬送物Ｐの通過総数を計数する場合の概略の手順を示す。図１に示す搬送装置１０が稼働し、搬送物Ｐが搬送路１１１，１１２上を搬送されている状態で、カメラＣＭ１，ＣＭ２で上述の撮影間隔Ｔｓとなるように順次に繰り返し撮影を行う。これにより発生した撮影画像ＧＰＸ若しくは画像エリアＧＰＹの画像データから上記限定領域ＣＲ１、ＣＲ２の画像データＤを取得する。分類器では、この画像データＤから、必要に応じて前述の前処理を施し、画素値の分布パターンＤｓ＝｛ｄ１，ｄ２，・・・，ｄｍ｝を形成する。そして、分類器から最終的な分類結果Ｅが出力されると、この分類結果Ｅ＝｛ｅ１，ｅ２｝により、図示一点鎖線にして示した判定処理手段により、搬送物Ｐが有るか否か（限定領域ＣＲ１、ＣＲ２が搬送物Ｐと重なった位置にあるか否か）が判定される。

分類結果Ｅ＝｛１，０｝となり、最終的に分類カテゴリーＣＧＡに分類される場合、すなわち搬送物Ｐが有る（限定領域ＣＲ１が搬送物Ｐと重なった位置にある）場合には、過去の画像データＤの連続検出数Ｎｃが例えば６より大きいか否かを判定し、連続検出数Ｎｃが６より大きいときには、搬送物Ｐが新たに到来したとし、通過総数Ｎｄを一つ加算し、連続検出数Ｎｃを０にリセットする。その後、次の画像データＤを取得する。これは、前後の搬送物Ｐの隙間が狭いとき（或いは、前後の搬送物Ｐ同士が当接しているとき）に前後の搬送物Ｐの境界を限定領域ＣＲ１、ＣＲ２により検出できないことがあるが、この場合でも後続する搬送物Ｐの計数を行うことができるようにするためである。一方、連続検出数Ｎｃが６以下であるときには、搬送物Ｐは以前に検出されたものと同じものと判断し、通過総数Ｎｄを加算せずに、連続検出数Ｎｃを一つ加算する。その後、次の画像データＤを取得する。

分類結果Ｅ＝｛０，１｝となり、最終的に分類カテゴリーＣＧＢに分類される場合、すなわち搬送物Ｐが無い（限定領域ＣＲ１、ＣＲ２が搬送物Ｐと重ならず、隙間に位置する）場合には、連続検出数Ｎｃが０より大きいか否かを判定し、連続検出数Ｎｃが０より大きいときには、今まで検出されていた搬送物Ｐが通過したとし、通過総数Ｎｄを一つ加算し、連続検出数Ｎｃを０にリセットする。その後、次の画像データＤを取得する。一方、連続検出数Ｎｃが０であるときには、新たな搬送物Ｐが未だに到来していないとして、何もせずに、次の画像データＤを処理する。なお、以上の判定処理工程（判定処理手段）には、上記分類器とは別に、所定の論理回路などを内蔵した判定処理チップを用いてもよく、また、上記分類器と同様に、上記動作プログラムを構成する検査処理コンポーネント内の判定処理ユニットを実行してもよい。以上説明した判定処理工程の手順を実行する検査処理ユニットＤＴＵは、分類結果に基づいた判定処理器（判定処理手段）を構成する。

上記のように、分類器の分類結果に基づいて計数した搬送物Ｐの通過総数Ｎｄ示す信号は、判定結果として検査処理ユニットＤＴＵから出力される。この通過総数Ｎｄは、最終的に、表示装置ＤＰ１，ＤＰ２などに表示されたり、或いは、コントローラＣＬ１１、ＣＬ１２などに入力される。本実施形態では、搬送物Ｐの判定装置として、データ分類手段である分類器において、限定領域ＣＲ１、ＣＲ２が搬送物Ｐと重なるか否かという分類処理を行うとともに、この分類結果Ｅ＝｛ｅ１，ｅ２｝に基づいて、上述の判定処理手段により、搬送経路上の限定領域ＣＲ１、ＣＲ２における搬送物Ｐの通過総数Ｎｄを計数するといった判定内容を備えている。

本実施形態の具体的な実施例としては、上記分類器に全結合型のニューラルネットワークを用いた。このニューラルネットワークは、入力層Ｉの入力数ｍ＝４０、出力層Ｏの出力数が２、中間第１層Ｍ１のユニット数がｈ＝８００、中間第２層Ｍ２のユニット数がｊ＝５００、中間第３層Ｍ３のユニット数ｋ＝１００である。このニューラルネットワークを備える分類器に、正解の分類カテゴリーがＣＧＡとＣＧＢであるそれぞれ４００組の学習データを用いて学習させた。学習率を０．００１、バッチサイズ（確率的勾配降下法）を１００、オプティマイザをＡｄａｍとした。学習データ及び検証データによる精度は最良で９４．９％となった。また、評価データによる搬送物Ｐの判定した通過総数と実際の通過総数の比を分類精度として算出すると、９７．７２％となり、従来技術（テンプレートマッチング法）による判定精度の９２．９２％を大きく凌駕した。また、一つの画像データＤ毎の処理時間は０．２７６［ｍｓｅｃ］であり、これも、従来技術の処理時間２．１８６［ｍｓｅｃ］に比べて、大幅に短縮された。

本実施形態では、上述のように分類器で２つの最終的な分類カテゴリーＣＧＡ，ＣＧＢに分類している。しかし、分類器では各画像データＤの分類パターンＤｓを７つのパターン類型ＰＴ１〜ＰＴ７に分類し、その分類結果Ｅ＝｛ｅ１，ｅ２，ｅ３，ｅ４，ｅ５，ｅ６，ｅ７｝に基づいて、上記判定処理手段により搬送物Ｐが有るか無いかを導き出すことによって、最終的に通過総数Ｎｄを求めてもよい。この場合の分類結果に基づいて行われる上記判定処理工程には、本実施形態に対して、７つのパターン類型ＰＴ１〜ＰＴ７のいずれかに相当する各分類カテゴリーから、搬送物Ｐが有る場合（パターン類型ＰＴ１〜ＰＴ６）と搬送物Ｐが無い場合（パターン類型ＰＴ７）のいずれであるかを定めるプロセスが付加される。

本実施形態の搬送物の判定装置は、図７に示す動作プログラムの手順において、所定の搬送物の検査判定処理の結果に基づく搬送物の制御処理の前後における搬送物制御前の計数処理と搬送物制御後の計数処理を行うために用いることができる。ここで、搬送物の制御処理とは、搬送物制御手段により行われる処理であり、例えば、搬送物Ｐの搬送経路上からの排除や搬送経路上の姿勢変換などの、搬送物Ｐの選別や整列のための搬送物Ｐに対する何等かの作用を与える過程を言う。この搬送物の制御処理には、例えば、搬送物Ｐ自体の良否や搬送物Ｐの搬送姿勢の適否に応じた搬送物Ｐの選別や整列のための各種の処理が含まれる。本実施形態では、図７に示す「搬送物制御前の計数処理」において、限定領域ＣＲ１を用いて、上述の通過総数Ｎｄを、上記制御処理を行う前の搬送経路上の搬送物Ｐの総搬送数として計数する。一方、図７に示す「搬送物制御後の計数処理」においては、限定領域ＣＲ２を用いて、上述の通過総数Ｎｄを、上記制御処理を行った後に残った搬送経路上の搬送物Ｐの良品数として計数する。

図１０は、図７に示す搬送物の検査判定処理と搬送物の制御処理の一例を示す説明図である。この図１０に示す検査判定処理に係る画像処理では、本実施形態の搬送物の判定装置を用いずに従来技術を採用している。この技術では、画像エリアＧＰＹの中に、例えば、図１０（ａ）において点線で示すような、搬送経路を通過する搬送物Ｐを包含し得る範囲（サーチエリアＳＡＳ）が設定され、この範囲内の画像が処理される。このサーチエリアＳＡＳには、図１０（ｂ）に示すように、搬送物Ｐを選別するための制御エリアＭＥＳが含まれる。制御エリアＭＥＳは、図示例の場合には搬送物Ｐの選別処理のためのエリアである。また、制御エリアＭＥＳは、搬送路１２１上を通過させるか、或いは、搬送路１２１上から排除するかによって、搬送物Ｐを選別し、所望の搬送物Ｐのみを下流側へ送り出すための領域である。搬送物Ｐの選別処理については、上記のサーチエリアＳＡＳ内の画像データのみが上記画像計測処理の対象となる。

サーチエリアＳＡＳには、図１０（ｂ）に示すように、上記制御エリアＭＥＳの上流側に隣接する第１の計測エリアＭＥ１と、上記制御エリアＭＥＳの下流側に隣接する第２の計測エリアＭＥ２とがさらに含まれる。ここで、制御エリアＭＥＳは、搬送物Ｐが中心位置ＣＬＮに形成された選別用噴気口ＯＰＳによって排除され得る搬送路１２１上の領域である。また、第１の計測エリアＭＥ１は、上記サーチエリアＳＡＳの内部であって、上記制御エリアＭＥＳより上流側に設けられ、上流側から搬送されてきた搬送物Ｐが選別用噴気口ＯＰＳによって排除されない下流側の範囲までを含む領域である。さらに、第２の計測エリアＭＥ２は、上記サーチエリアＳＡＳの内部であって、上記制御エリアＭＥＳより下流側に設けられ、制御エリアＭＥＳを通過して下流側へ脱出したときの、搬送物Ｐが選別用噴気口ＯＰＳによって排除されない上流側の範囲までを含む領域である。

サーチエリアＳＡＳ内では、上記画像計測処理において、予め登録された搬送物Ｐの画像（以下、単に「基準画像」という。）と対応する外縁形状を備えた画像（以下、単に「検出画像」という。）が存在するか否かが検索される。検出画像が存在する場合には、検出画像が占める領域の位置を搬送物検出領域ＷＤＳとして特定する。これが搬送物検出処理である。搬送物検出処理は、搬送物Ｐの姿勢や欠陥を検出する必要はなく、搬送物Ｐの存在及び位置を検出するだけでよいので、搬送物Ｐの外形などのパターン形状や外形の内側の平均明度などの一致度を求め、これを所定の閾値と比較して検出の有無を決定する。また、検出時においては、サーチエリアＳＡＳ内におけるパターン形状の位置を算出し、上述のように搬送物検出領域ＷＤＳを特定する。なお、搬送物検出処理では、上述の外形などのパターン形状の一致度を判定要素とするだけでもよいが、上述のように外形の内側の平均明度などの一致度をも判定要素とすることにより、搬送物Ｐの検出精度を高めることができる。例えば、照明方向と部品姿勢との関係により、搬送物Ｐの明度が全体として暗くなってしまうと、画像の背景との区別が付きにくくなるために検出漏れが生じやすくなるが、平均明度の閾値を低く設定することによって検出漏れを低減できる。

上記の搬送物検出処理において、搬送物検出領域ＷＤＳが第１の計測エリアＭＥ１内にある場合には、以下に説明する搬送物判定処理が引き続いて行われる。また、搬送物検出領域ＷＤＳが制御エリアＭＥＳ及び第２の計測エリアＭＥ２内にあるときには、そのまま計測を実施し、制御エリアＭＥＳ及び第２の計測エリアＭＥ２内の搬送物検出領域ＷＤＳがなくなった時点で、搬送物通過検出信号を出力する搬送物通過検出処理を実施する。なお、後述するように、或る一つの搬送物Ｐが第１の計測エリアＭＥ１内に配置されている様子が複数の撮影画像ＧＰＸに撮影されている場合には、その都度、搬送物検出処理を実施して搬送物検出領域ＷＤＳを導出するが、以下の搬送物判定処理は１回（例えば、初回）のみ実施するようにしてもよい。

搬送物判定処理は以下のように実施される。まず、上記のように特定された搬送物検出領域ＷＤＳを基準として、図１０（ｂ）に示すように、第１の判定エリアＧＷＡと、第２の判定エリアＧＷＢの位置決めを行い、その明度により側面Ｐｓ１〜Ｐｓ４に対応するか否かを検出する。例えば、第１の判定エリアＧＷＡが搬送物Ｐの上方側面上に配置され、第２の判定エリアＧＷＢが搬送物Ｐの側方側面上に配置される。本実施形態では、上方側面が側面Ｐｓ１であり、側方側面が側面Ｐｓ２である場合に搬送物Ｐが正規の姿勢で搬送されている状態であると設定されている。このとき、第１の判定エリアＧＷＡは、側面Ｐｓ１を検出するために、搬送方向Ｆに伸びる細長い判定補助エリアＧＷＡ１と、上流側に配置された判定補助エリアＧＷＡ２と、下流側に配置された判定補助エリアＧＷＡ３とを有する。判定補助エリアＧＷＡ１は、側面Ｐｓ１の白色面Ｐｂと黒色面Ｐｃの境界を搬送方向Ｆのエッジ検出処理によって検出し、この検出されたエッジを境界位置として判定補助エリアＧＷＡ２及びＧＷＡ３の位置を補正する。その後、位置補正された判定補助エリアＧＷＡ２及びＧＷＡ３の明度を所定の閾値と比較することなどにより、それぞれの明度が正規の姿勢にある搬送物Ｐと一致するか否かを判定する。図示例では、判定補助エリアＧＷＡ２が白色面Ｐｂを検出し、判定補助エリアＧＷＡ３が黒色面Ｐｃを検出すると、搬送物Ｐが正規の姿勢にある良品と判定される。なお、搬送物Ｐの判定態様（良否の判別）は、姿勢に限らず、形状や寸法等の良不良などであってもよい。

第２の判定エリアＧＷＢは、側方側面が側面Ｐｓ２（全て白色面Ｐｂである側面）であるか否かを判定する。この場合にも、第２の判定エリアＧＷＢの明度が所定の閾値よりも高いことなどによって判定を行うことができる。なお、第１の判定エリアＧＷＡと第２の判定エリアＧＷＢの双方を判定することによって判定対象の画像データから得られた取得情報に冗長性を持たせることができるので、画像の明るさなどのばらつきによる誤判定を回避できるなど、判定精度を高めることができる。

一方、上記画像エリアＧＰＹには、上記サーチエリアＳＡＳとは別の位置（図示例では、サーチエリアＳＡＳよりも上流側の位置）に、搬送物Ｐを反転若しくは横転させるための反転若しくは横転処理を行うか否かを決定するための判定エリアＧＶ１、ＧＶ２が設けられる。第１の判定エリアＧＶ１及び第２の判定エリアＧＶ２は、搬送物Ｐの上方側面が通過する位置に配置されている。第１の判定エリアＧＶ１は、搬送物Ｐの上方側面が、上記黒色面Ｐｃを含む上記側面Ｐｓ１でない場合、すなわち、全体が白色面Ｐｂである側面Ｐｓ２〜Ｐｓ４である場合（例えば、所定の閾値よりも明るい場合）に判定結果ＮＧを出力し、端子部Ｐａが含まれていたり、側面Ｐｓ１などであったりする場合（例えば、所定の閾値より暗い場合）に判定結果ＰＡＳＳを出力する。また、第２の判定エリアＧＶ２は、第１の判定エリアＧＶ１よりも搬送方向Ｆに狭い領域である。この第２の判定エリアＧＶ２内において搬送方向Ｆの走査によりエッジが検出されると、密着して搬送されてきた前後の搬送物Ｐの境界が配置されているとし、やはり判定結果をＰＡＳＳとする。そして、判定結果がＮＧであるときにのみ、反転若しくは横転用噴気口ＯＰＲから気流を噴出させ、搬送物Ｐの上方側面が他の側面となるように反転若しくは横転させる。このようにすることで、第１の判定エリアＧＶ１内に上方側面が配置され、かつ、この上方側面が側面Ｐｓ２〜Ｐｓ４である（すなわちＰｓ１でない）ときにのみ、搬送物Ｐの姿勢を変更することができる。

搬送物Ｐの制御処理の前後において行う本実施形態の判定装置である制御前計数処理及び制御後計数処理は、図１０に示す第１の計測エリアＭＥ１に配置される限定領域ＣＲ１と、第２の計測エリアＭＥ２の下流側に配置される限定領域ＣＲ２によって実施される。ここで、制御前計数処理に用いる限定領域ＣＲ１は、上記第１の計測エリアＭＥ１内に設定される。この限定領域ＣＲ１は、搬送物Ｐが制御エリアＭＥＳによって排除されることによってその搬送物Ｐの画像データＤを取得できなくなることを回避するとともに、制御エリアＭＥＳに到達した搬送物Ｐが気流等によって移動させられるときの不定姿勢の非搬送姿勢を検出しないようにするため、第１の計測エリアＭＥ１内における上流寄りの範囲内に設定されることが望ましい。

また、限定領域ＣＲ２は、基本的に限定領域ＣＲ１と全く同じ形状及び大きさを備えることができる。限定領域ＣＲ２は、第２の計測エリアＭＥ２の下流側に隣接する位置に配置される。これは、限定領域ＣＲ２において制御エリアＭＥＳによって排除される前の搬送物Ｐの画像データＤを誤って取得しないようにするためである。

上記の限定領域ＣＲ１の画像データＤに基づいて上述のように通過総数Ｎｄを計数することにより、検査判定処理の結果による搬送物の制御処理前の総搬送数を求めることができる。また、上記限定領域ＣＲ２の画像データＤに基づいて上述のように通過総数Ｎｄを計数することにより、検査判定処理の結果による搬送物の制御処理後の良品数を求めることができる。従って、上記総搬送数と上記良品数から、良品率や不良品数を知ることができる。

なお、図１に示す画像表示装置ＤＰ１、ＤＰ２などにおいて、適宜に形成される画像表示欄では、上記画像エリアＧＰＹ内の画像データを表示するとともに、上記の限定領域ＣＲ１、ＣＲ２や後述するＣＲ３〜ＣＲ５、或いは、サーチエリアＳＡＳ、又は、第１の計測エリアＭＥ１、第２の計測エリアＭＥ２、制御エリアＭＥＳなどの各領域を枠線等によって表示することができる。ここで、上記に加えて、或いは、上記とは別に、搬送物検出処理による搬送物検出領域ＷＤＳ、搬送物判定処理に用いる判定エリアＧＷＡ、ＧＷＢ、反転若しくは横転用噴気口ＯＰＲを制御するための搬送物判定処理に用いる判定エリアＧＶ１、ＧＶ２の少なくとも一つを、枠線等によって表示することができる。これらの場合には、各枠線等の表示の色や線種などの区別可能な表示態様で、上記の分類結果や判定結果が識別できるように構成してもよい。例えば、上記分類器で分類カテゴリーＣＧＡに分類された場合には、限定領域ＣＲ１、ＣＲ２の枠線を第１表示態様（例えば、緑色表示）とし、分類カテゴリーＣＧＢに分類された場合には、限定領域ＣＲ１、ＣＲ２の枠線を第２表示態様（例えば、黄色表示）とする。また、搬送物判定処理でＯＫ判定（判定態様が良品）となった場合には、その枠線等を第３表示態様（例えば青色表示）にする。また、搬送物判定処理でＮＧ判定（判定態様が不良品）となった場合には、その枠線等を第４表示態様（例えば赤色表示）とする。なお、各表示態様は上記例の色彩に限らず、実線、点線、破線、一点鎖線などの線種、太さであってもよいなど、相互に区別できる態様であれば特に限定されない。

本実施形態では、振動式の搬送装置１０により、振動する搬送路１２１上を搬送されていく搬送物Ｐを検査対象とする一方で、カメラＣＭ１，ＣＭ２は振動しない場所（基台１００上）に設置されているため、撮影画像ＧＰＸ又は画像エリアＧＰＹの画像データにおいて、搬送方向Ｆの前後に往復する態様で所定の振幅で振動する搬送路１２１は、当該画像データの撮影時の振動位相の変化に応じて、搬送方向Ｆの変位した位置に配置される。したがって、搬送物Ｐの外観を、搬送路１２１を基準とする固定された位置で検出、判定しようとすると、画像内の限定領域ＣＲ１、ＣＲ２や後述するＣＲ３〜ＣＲ５、或いは、サーチエリアＳＡＳや各計測エリアＭＥ１，ＭＥ２の位置を、撮影タイミングに合わせて搬送体１２０の振動と同期して同振幅で移動させる必要がある。例えば、搬送体１２０には、振幅が０．１ｍｍ、振動周波数が３００Ｈｚといった振動が与えられている。

このため、本実施形態では、限定領域ＣＲ１、ＣＲ２や後述するＣＲ３〜ＣＲ５、或いは、サーチエリアＳＡＳや各計測エリアＭＥ１，ＭＥ２の位置を、撮影画像ＧＰＸ又は画像エリアＧＰＹの撮影時点における搬送体１２０の振動位置に合わせるために、搬送体１２０に設定された位置補正用マーク（図示せず）を基準として補正する。この位置補正用マークは位置検出が容易かつ確実なものであれば特に限定されない。しかし、位置補正用マークを、画像中で確実にブロブとして認識でき、かつ、その重心位置を安定して検出できる単色（同一グレースケール）のマークとすることで、その位置の検出精度を高めることができる。なお、位置補正用マークは、意図的に設けたものではなく、搬送装置に本来的に存在し、画像処理によって検出可能な部分、例えば、搬送体１２０に形成された稜線や角部、ボルトヘッド、噴気口などであってもよい。ただし、搬送物Ｐによって隠れない場所にあるものが好ましい。

本実施形態においては、上記の位置補正のため、搬送路１２１に対する限定領域ＣＲ１、ＣＲ２や後述するＣＲ３〜５、或いは、サーチエリアＳＡＳや各計測エリアＭＥ１、ＭＥ２の位置は、撮影時の振動の位相タイミングとは無関係に、常に搬送路１２１に対して同じ位置となる。したがって、例えば、不良姿勢の搬送物Ｐを排除するための排除エアを排除用噴気口ＯＰＳから吹き付ける位置、或いは、不良姿勢の搬送物Ｐの姿勢を修正するための気流を反転若しくは横転用噴気口ＯＰＲから吹き付ける位置に対して、限定領域ＣＲ１、ＣＲ２や後述するＣＲ３〜ＣＲ５、或いは、各計測エリアＭＥ１、ＭＥ２が常に一定の位置関係となるように設定される。これにより、搬送物Ｐの誤判定（上記の例では、誤計数）を防止することができ、また、搬送物判定処理の結果に応じて搬送物Ｐに排除力や反転力を作用させる場合に、常に近似したタイミングで作用を生じさせることができる。

本実施形態では、搬送物Ｐの種類、寸法、良品姿勢、限定領域ＣＲ１、ＣＲ２や後述するＣＲ３〜ＣＲ５の位置（画像内の箇所）、分布パターンＤｓを形成するための前処理に必要な係数値、或いは、基準画像データ、搬送物検出処理の明度の閾値などの各種の設定値、搬送物判定処理の明度の閾値などの各種の設定値、などといった、搬送物Ｐの検出及び判定に用いられる各種のデータが主記憶装置ＭＭなどに記憶され、各処理にあたっては適宜に読み出されて使用される。また、カメラＣＭ１，ＣＭ２の撮影タイミングを定めるための設定値、撮影画像ＧＰＸ又は画像エリアＧＰＹを取り込む際の画像取込条件の設定値、搬送路１２１の振動による各設定エリアの位置補正の態様を定める設定値、各種の設定画面や表示画面の態様を定める設定値、反転若しくは横転の位置や選別位置における制御の態様、例えば、気流の吹き付けタイミングや圧力値などの設定値、などについても同様に取り扱われる。

本実施形態では、上記主記憶装置ＭＭ内に保存されている過去の撮影画像ＧＰＸ又は画像エリアＧＰＹを時系列にて繰り返し格納した画像ファイルを選択して読み出し、表示させることができる。そして、選択された画像ファイルに対する各種の操作処理を実行するための手段も用意される。このような撮影画像ＧＰＸ若しくは画像エリアＧＰＹの表示・再生機能は、限定領域ＣＲ１、ＣＲ２や後述するＣＲ３〜ＣＲ５の画像データＤだけでは理解できないデータ処理の不具合を後から検証する場合に大きな効果を発揮する。

主記憶装置ＭＭ内に保存される画像ファイルは、運転モードにおいて取り込まれる複数の撮影画像ＧＰＸ又は画像エリアＧＰＹの画像データを、演算処理装置ＭＰＵにより自動的に記録したものである。この画像ファイルの保存は、主記憶装置ＭＭに空き容量が存在する場合には全ての画像データについて実施することができるが、主記憶装置ＭＭに空き容量が存在しない場合でも、最新の既定期間分（例えば１時間分など）、或いは、最新の既定枚数分（例えば１０００枚分など）の画像ファイルについては常に保存されるようにしておくことが好ましい。

上記のように過去に記録した撮影画像ＧＰＸ又は画像エリアＧＰＹを表示した状態で、この画像データに対して、適宜の操作により、本実施形態の搬送物の判定装置に対応する上記制御処理前後の計数処理、或いは、上記搬送物検出処理及び上記搬送物判定処理からなる画像計測処理を再度実行することができる。表示態様の制御機能の一つとして、同一ファイル内に格納された複数の撮影画像ＧＰＸ又は画像エリアＧＰＹについては、適宜の操作により、前後に撮影された他の画像データに一つずつ切り替えることができる。また、同一画像ファイル内の複数の撮影画像ＧＰＸ又は画像エリアＧＰＹを繰り返し表示しつつ、並行して、表示された画像データに対する画像計測処理を実行させることもできる。

次に、図７を参照して、本実施形態の全体の動作プログラムの流れについて説明する。図７は、上記検査処理ユニットＤＴＵの演算処理装置ＭＰＵにより、動作プログラムに従って実行される処理の概略フローチャートである。この動作プログラムを起動すると、まず、上記の画像撮影、並びに、上記の制御前係数処理及び制御後係数処理を含む画像計測処理が開始されるとともに、コントローラＣＬ１１、ＣＬ１２により搬送装置１０（パーツフィーダ１１及びリニアフィーダ１２）の駆動が開始される。そして、前述のデバッグ操作に応じたデバッグ設定がＯＦＦであれば、撮影画像ＧＰＸ又は画像エリアＧＰＹに対して画像計測処理が実行され、制御処理前後の計数処理とともに検査判定処理が実行される。最終の判定結果がＯＫ判定であれば、デバッグ操作が行われない限り、そのまま次の撮影画像ＧＰＸ又は画像エリアＧＰＹの画像計測処理が実施される。

搬送路１１１，１２１上に設けられた搬送物Ｐの選別位置では、例えば、常時は排除用噴気口ＯＰＳから気流が流れているが、判定結果がＯＫ（良品）であれば、排除用噴気口ＯＰＳの気流を停止し、全ての良品が制御エリアＭＥＳを通過した後に気流を復帰させる。これにより、不良の搬送物Ｐを搬送路１２１上から排除する。なお、この選別位置において、常時は排除用噴気口ＯＰＳからの気流を停止させておき、判定結果がＮＧ（不良品）であるときに上記気流を発生させてもよい。また、搬送路１１１，１２１上に設けられた搬送物Ｐの搬送姿勢の反転若しくは横転位置では、常時は反転若しくは横転用噴気口ＯＰＲからの気流は停止される。一方、判定結果がＮＧ（不良品）であれば、反転若しくは横転用噴気口ＯＰＲから気流を噴出させて搬送路１２１上で反転させる。なお、この反転若しくは横転位置においては、反転若しくは横転用噴気口ＯＰＲから気流が常時流れるようにし、良品が検出されたときにのみ当該気流を停止するようにしてもよい。

このようにして、搬送路１２１上で搬送物Ｐが制御されることにより、下流側へは良品（正規の姿勢にある部品）のみが整列した状態で供給されていく。この場合にも、その後、デバッグ操作が行われない限り、そのまま次の撮影画像ＧＰＸ又は画像エリアＧＰＹの判定が実施される。上記の途中でデバッグ操作が行われ、デバッグ設定がＯＮになると、上記ルーティンから抜け出して、搬送装置１０の駆動が停止され、画像計測処理も停止される。そして、この状態において適宜の操作を行うと、前述のように画像ファイルを選択可能な状態となる。このとき、選択表示される画像ファイルは、直前の運転モードにおいて記録していた複数の撮影画像ＧＰＸ又は画像エリアＧＰＹを含む画像ファイルである。これをそのまま選択して適宜の操作をすると、再実行モードに移行する。このモードでは、上述のようにすでに実行された制御動作を記録した画像ファイルに基づいて、画像の表示や検出及び判定を再実行させることができる。すなわち、搬送装置１０の搬送物Ｐの制御処理に不具合が生じた場合には、この不具合を解消するために、まず、過去の画像データに基づいて画像計測処理を再実行することによって、画像計測処理の問題箇所を探る。当該問題箇所が判明すれば、それに応じて検出や判定の設定内容（設定値）を変更、調整し、再び過去の画像データに対して画像計測処理を再実行することで調整、改善作業の結果を確認することができる。なお、この点は、本実施形態の上記計数処理についても同様であり、計数処理に不具合が生じた場合の計数処理の再実行、設定内容の変更、調整などについても同様である。その後、適宜の復帰操作を行うと、デバッグ設定がＯＦＦに戻され、画像計測処理が再開されるとともに、搬送装置１０の駆動が再開される。また、表示装置の画面は運転モードの表示画面に戻る。

以上説明した本実施形態では、カメラＣＭ１，ＣＭ２が所定の撮影間隔で繰り返し撮影するとともに、搬送物の搬送速度Ｖｓと撮影間隔Ｔｓとの関係により搬送路１２１を通過する全ての搬送物Ｐについて、各搬送物Ｐ毎に上記限定領域ＣＲ１、ＣＲ２や後述するＣＲ３と常に重なるように予め設定されることにより、いずれかの撮影画像において上記限定領域内の画像データＤにより全ての搬送物Ｐの情報を検出することができるため、従来技術のように個々の搬送物の位置を検知するためのトリガ信号を生成する必要がなくなる。また、この画像データＤの画素値の分布パターンＤｓを分類器（データ分類手段）により所定の分類カテゴリーに分類することで得た分類結果に基づいて判定を行うことにより、判定精度を確保しつつ、短時間に処理を行うことが可能になる。すなわち、搬送物Ｐの検出処理を分類問題として処理することと処理に要するデータ量を低減することにより、前記搬送物Ｐを判定するための画像計測処理を高速かつ高精度に行うことができる。

前述のように、本実施形態の搬送物の判定装置に相当する搬送物Ｐの計数処理手段を設けることで搬送物Ｐの選別位置における良品率や不良品数を求めることができるので、上流側の整列効率や供給先への供給効率を推測することができる。このため、上記の良品率が一定の割合を下回ったときや不良品数が一定数を越えたときには、自動的にコントローラＣＬ１１及びＣＬ１２に指令を出し、搬送装置１０の駆動を停止するように構成することもできる。なお、このような判定結果に応じた搬送装置１０の駆動制御方法としては、駆動停止以外に、搬送速度やその他の搬送態様を変化させるように加振手段の駆動力（電圧や電流など）、振幅、周波数などを制御するものであってもよい。

なお、搬送物の制御処理手段の一例としては、例えば、前記搬送経路上の前記搬送物に対してエアなどの気流を吹き付けて、搬送物を吹き飛ばしたり、姿勢を変更させたりする気流吹付機構が挙げられる。この気流吹付機構は、搬送経路の搬送面に開口した気流吹付口と、この気流吹付口から気流を流出させることを可能にするための気流供給経路と、この気流供給経路に気流を供給するコンプレッサやガスタンクなどの気流供給源とを備える。また、上記搬送物制御手段の他の例としては、搬送経路上の搬送物に当接し、搬送物を機械的に搬送経路上から排除したり、姿勢を機械的に変換（反転、横転）させる機械的作用機構が挙げられる。さらに、上記搬送物制御手段の別の例としては、搬送経路の所定箇所の経路幅、搬送面の傾斜角や勾配、搬送面の形状などを変更したり切り替えたりすることにより、搬送物の選別率を調整する搬送経路の調整機構を挙げることもできる。このような搬送経路の調整機構は、上記所定箇所において搬送物の搬送態様が変化したり切り替えられたりすることにより、結果的に搬送物の選別態様や姿勢などを制御することができる。

次に、本発明の第２実施形態に係る搬送物の判定装置により、上記の搬送物の検査判定処理を行う場合について説明する。この場合には、搬送物の搬送姿勢を判別する必要があるため、第１実施形態の限定領域ＣＲ１やＣＲ２とは異なる形状や大きさの限定領域ＣＲ３を用いる。これは、第１実施形態では、異なる搬送姿勢の搬送物Ｐに重なる限定領域ＣＲ１，ＣＲ２の画像データＤの分布パターンＤｓ同士が判別できず、同一のパターン類型に対応していたためである。図８は、この限定領域ＣＲ３の搬送物Ｐに対する相対位置を示す説明図（ａ）及び限定領域ＣＲ３の画像データＤの分布パターンＤｓを示すグラフ（ｂ）〜（ｈ）である。

前述のように、第１の計測エリアＭＥ１に搬入されてくる搬送物Ｐは、図９に示すように、縦姿勢の搬送物Ｐ４とＰ７のうちの、主軸が搬送面１２１ａに沿った縦姿勢の搬送物Ｐ７が気流供給路１２１ｃを介して気流供給口１２１ｄから吹き付けられる気流によって排除されるか、或いは、横転されることによって、主軸が搬送面１２１ｂに沿った縦姿勢の搬送物Ｐ４のみとなる。このため、この縦姿勢の搬送物Ｐ４の情報を確実に得るために、限定領域ＣＲ３は、横姿勢の搬送物Ｐ１及びＰ２に対応する限定領域ＣＲ１、ＣＲ２に対して、縦姿勢の搬送物Ｐ４〜Ｐ６に対応する図示下方の側に延長した形状とされる。なお、縦姿勢の搬送物Ｐ７も搬入されてくる箇所である場合には、限定領域ＣＲ３はさらに反対側にも延長された形状とすることが好ましい。

ここで、限定領域ＣＲ３は、少なくとも、図８に示す横姿勢の搬送物Ｐ１やＰ２と、縦姿勢の搬送物Ｐ４〜Ｐ６とを判別できるように、上記限定領域ＣＲ１よりも縦方向に長く設定される。図示例では、限定領域ＣＲ１ではｍ＝４０であるのに対して、限定領域ＣＲ２ではｍ＝８０である。また、限定領域ＣＲ３は、搬送物の通過範囲Ｗｔに対して、そのの両側に当該通過範囲から張り出した端部分をそれぞれ備えることが望ましい。この場合において、前記限定領域は、前記通過範囲の１２０％以下の領域であることが望ましい。図示例では、限定領域ＣＲ３は、上記横姿勢の搬送物Ｐ１やＰ２と縦姿勢の搬送物Ｐ４〜Ｐ６の双方の通過範囲の幅方向両側に、それぞれ当該通過範囲より張り出す端部分を備えている。当該端部分は、例えば、限定領域の全幅の１０〜２０％程度、図示例（ｍ＝８０）であれば、８〜１６ピクセル程度の張り出し長さに設定される。これにより、限定領域ＣＲ３の画像データＤの画素値の分布パターンＤｓにおいて、上記端部分が搬送物Ｐと重なる範囲から外れた位置に配置されるので、搬送物Ｐの検出範囲を容易に認識することができるようになることから、搬送物Ｐの各部の判別精度の向上が容易になるため、分類器によるデータ分類処理の分類精度を高めることができる。

本実施形態では、限定領域ＣＲ３の画像データＤの画素値の分布パターンＤｓ１１〜Ｄｓ１７に対応して、パターン類型ＰＴ１１〜ＰＴ１７を想定した。これにより、取得された画像データＤを上記画素値の分布パターンＤｓ１１〜Ｄｓ１７に対応する７つのパターン類型ＰＴ１１〜ＰＴ１７に関連付けることができる。ここで、分布パターンＤｓ１１に対応するパターン類型ＰＴ１１は、限定領域ＣＲ３が横姿勢にある搬送物Ｐ１の白色部Ｐｂと重なる場合の分布パターンに対応する。また、分布パターンＤｓ１２に対応するパターン類型ＰＴ１２は、限定領域ＣＲ３が横姿勢にある搬送物Ｐ１の白色面Ｐｂと黒色面Ｐｃにわたり重なる場合の分布パターンに対応する。さらに、分布パターンＤｓ１３に対応するパターン類型ＰＴ１３は、限定領域ＣＲ３が横姿勢にある搬送物Ｐ２の白色面Ｐｂと重なる場合の分布パターンに対応する。また、分布パターンＤｓ１４に対応するパターン類型ＰＴ１４は、限定領域ＣＲ３が縦姿勢にある搬送物Ｐ４の端子部Ｐａと白色面Ｐｂにわたり重なる場合の分布パターンに対応する。さらに、分布パターンＤｓ１５に対応するパターン類型ＰＴ１５は、限定領域ＣＲ３が縦姿勢にある搬送物Ｐ５の端子部Ｐａから白色面Ｐｂと黒色面Ｐｃにわたり重なる分布パターンに対応する。また、分布パターンＤｓ１６に対応するパターン類型ＰＴ１６は、限定領域ＣＲ３が縦姿勢にある搬送物Ｐ６の端子部Ｐａから黒色面Ｐｃと白色面Ｐｂにわたり重なる場合の分布パターンに対応する。さらに、分布パターンＤｓ１７に対応するパターン類型ＰＴ１７は、限定領域ＣＲ３が前後の二つの搬送物の間の隙間と重なる場合の分布パターンに対応する。この分布パターンは、前後の搬送物が離れて搬送されてくる場合の隙間だけでなく、二つの搬送物が連なった状態で搬送されてくるときの前後の搬送物の当接部分であってもよい。

本実施形態においては、分類器によって分類される分類カテゴリーとして、上記パターン類型ＰＴ１１〜ＰＴ１３に対応する分類カテゴリーＣＧＣと、上記パターン類型ＰＴ１４〜ＰＴ１６に対応する分類カテゴリーＣＧＤと、上記パターン類型ＰＴ１７に対応する分類カテゴリーＣＧＥとを設定する。これにより、上記の限定領域ＣＲ３の画像データＤは、それぞれ、検査処理ユニットＤＴＵ内の演算処理装置ＭＰＵによる上記検査処理コンポーネント内の分類ユニットの実行によって構成されるデータ分類手段である分類器によって、三つの分類カテゴリーＣＧＣ、ＣＧＤ又はＣＧＥに分類される。すなわち、本実施形態では、限定領域ＣＲ３の画像データＤを、上記パターン類型ＰＴ１１〜ＰＴ１３に対応する分類カテゴリーＣＧＣと、上記パターン類型ＰＴ１４〜ＰＴ１６に対応する分類カテゴリーＣＧＤと、上記パターン類型ＰＴ１７に対応する分類カテゴリーＣＧＥとに分類する分類問題として処理する画像処理工程を実行する。ここで、分類カテゴリーＣＧＣは、限定領域ＣＲ３が横向きの搬送物Ｐと重なる場合、すなわち横向きの搬送物Ｐ１、Ｐ２が有る場合に対応し、分類カテゴリーＣＧＤは、限定領域ＣＲ３が縦の向きの搬送物Ｐと重なる場合、すなわち縦向きの搬送物Ｐ４〜Ｐ６が有る場合に対応し、分類カテゴリーＣＧＥは、限定領域ＣＲ３が搬送物Ｐと重ならず、隙間と重なる場合、すなわち搬送物Ｐ１〜Ｐ６が無い場合に対応する。

このように、上記限定領域ＣＲ３の画像データＤを上記分類カテゴリーＣＧＣ〜ＣＧＥに分類する分類器を図５に関して説明した内容と同等の構成によって基本設計し、学習させた学習済みモデルとして形成することにより、図６に関して説明した内容と同等の手法により分類結果Ｅ′＝｛ｅ１，ｅ２，ｅ３｝を求めることができる。そして、図６について説明した判定処理の代わりに、例えば、横向きの搬送物Ｐ１〜Ｐ３が有る分類カテゴリーＣＧＣのときと、隙間がある場合の分類カテゴリーＣＧＥのときには、搬送物Ｐの排除や姿勢変更が不要であると判定して、搬送物制御処理を行わずにそのまま搬送物を通過させ、縦向きの搬送物Ｐ４〜Ｐ６がある分類カテゴリーＣＧＤのときには、搬送物Ｐの排除や姿勢変更が必要であると判定して、搬送物制御処理によって、搬送物Ｐを搬送経路上から排除したり、或いは、搬送物Ｐを反転若しくは横転させたりすることによって搬送姿勢を横向きに変更する。また、搬送物制御処理において、常時は気流を噴出させた状態などの搬送物制御状態としておき、良品であると判定されたときにのみ気流の噴出を止めるなどの搬送物通過状態にすることもできる。この場合には、横向きの搬送物Ｐ１〜Ｐ３が有る分類カテゴリーＣＧＣのときには、搬送物Ｐの排除や姿勢変更が不要であると判定して、搬送物制御処理を停止し、そのまま搬送物を通過させ、縦向きの搬送物Ｐ４〜Ｐ６がある分類カテゴリーＣＧＤのときと、隙間がある場合の分類カテゴリーＣＧＥのときには、搬送物Ｐの排除や姿勢変更が必要であると判定して、搬送物制御処理をそのまま続けることによって、搬送物Ｐを搬送経路上から排除したり、或いは、搬送物Ｐを横転させたりすることによって搬送姿勢を横向きに変更する。

この第２実施形態の具体的な実施例としては、入力層Ｉの入力数を８０、出力層Ｏの出力数を３、中間第１層Ｍ１のユニット数を１００、中間第２層Ｍ２のユニット数を１２０、中間第３層Ｍ３のユニット数を４０、中間層の活性化関数をＴａｎｈ関数とし、誤差関数を平均二乗誤差関数とした。また、学習率を０．００００１、バッチサイズを３２とした。学習データ及び検証データを２０００個、評価データを１０００個とした。実際の搬送姿勢の判定数に対する正解の搬送姿勢の数の比を分類精度とすると、学習データ及び検証データの分類精度は９７％、評価データの分類精度は９５．４％であった。

なお、この第２実施形態においても、第１実施形態と同様に、限定領域ＣＲ３の画像データＤを分類器によりパターン類型ＰＴ１１〜ＰＴ１７に分類し、その後、判定処理手順（判定処理手段）により、最終的な分類カテゴリーＣＧＣ〜ＣＧＥのいずれかに判別してもよい。また、上述の第１実施形態において説明した各種の内容や他の変形例についても、この第２実施形態に適用するに支障がない限り、適宜に適用することができる。さらに、上記第１実施形態と第２実施形態のいずれにおいても、上記の制御システム或いは搬送システムにおいて、単独で用いることができるとともに、双方を用いることもできる。

また、第１実施形態及び第２実施形態においては、いずれも、分類器により、二つの分類カテゴリーＣＧＡとＣＧＢに分類し、或いは、三つの分類カテゴリーＣＧＣ〜ＣＧＥに分類している。しかし、分類器により分類される分類カテゴリーは、上記の例に限らず、種々の態様に設定することができる。例えば、横姿勢の搬送物Ｐ１〜Ｐ３においては、いずれも主軸が搬送方向に沿った姿勢となっているものの、搬送物Ｐの前後の向きや主軸周りの回転姿勢が異なる複数の搬送姿勢が含まれる。これらの複数の搬送姿勢は、黒色層Ｐｃの位置により判別できる。したがって、例えば、分類器において限定領域ＣＲ１、ＣＲ２の各画像データＤを、前後の向きや主軸周りの回転姿勢が異なる複数の分類カテゴリーに分類し、その分類結果に応じた判定処理により、搬送物Ｐの上記搬送姿勢を判別するようにしてもよい。この場合、図１１に示すように搬送物Ｐと限定領域ＣＲ１、ＣＲ２の重なりの位置関係が設定されたとすると、取得タイミングの前後の複数の画像データＤのパターン類型（搬送物Ｐに対する限定領域ＣＲ１〜ＣＲ５の位置関係）の配列態様により、搬送物Ｐの搬送姿勢を判定することができる。例えば、図示例では、パターン類型の時間的配列がＰＴｘ、ＰＴｙ、ＰＴｚ、ＰＴｘであれば搬送物Ｐｏ、ＰＴｘ、ＰＴｚ、ＰＴｙ、ＰＴｘであれば搬送物Ｐｐ、ＰＴｘ、ＰＴｚ、ＰＴｗ、ＰＴｘであれば搬送物Ｐｑ、ＰＴｘ、ＰＴｚ、ＰＴｗ、ＰＴｘであれば搬送物Ｐｒである。したがって、この場合には前後４つのパターン類型の第１番目と第４番目がＰＴｘである配列の第２番目と第３番目のパターン類型の相違により、上記４種のパターン類型のそれぞれに１対１に対応する分類カテゴリーを設定することで、上記搬送姿勢の判定が可能になる。

さらに、図１１に示す例では、限定領域ＣＲ１、ＣＲ２が端子部Ｐａと重なるパターン類型ＰＴｘの次に隙間と重なるパターン類型ＰＴｖが現れた場合には、搬送物Ｐが通過することとなる。また、限定領域ＣＲ１、ＣＲ２が端子部Ｐａと重なるパターン類型ＰＴｘの次に再度、限定領域ＣＲ１、ＣＲ２が端子部Ｐａと重なるパターン類型ＰＴｘが現れた場合も次の搬送物Ｐが到来したこととなる。このため、これらの場合は、いずれにしても、搬送物Ｐが一つ通過したことになる。したがって、前後のパターン類型ＰＴｘ同士、或いは、前後のパターン類型ＰＴｘとＰＴｖを見ることで、搬送物Ｐを計数することが可能である。この場合には、パターン類型ＰＴｘとＰＴｖのそれぞれに１対１に対応する分類カテゴリーを設けることにより、判定結果を得ることが可能になる。

図１２に示す例では、データ分類工程の手順は上記と同様であるが、撮影間隔Ｔｓを図１１の場合よりも小さくすることにより、端子部Ｐａと重なるパターン類型の間に現れる、白色面Ｐｂのみのパターン類型ＰＴｚと、白色面Ｐｂと黒色面Ｐｃの組み合わせのパターン類型ＰＴｙ又はＰＴｗとのいずれか一方が前後２回にわたり現れるか、或いは、二つのパターン類型ＰＴｚとＰＴｙ又はＰＴｗとの間に中間のパターン類型ＰＴｓ又はＰＴｔが出現するように設定している。したがって、前後３つの連続するパターン類型のうちの最初と最後が上記ＰＴｚと、ＰＴｙ又はＰＴｗとのいずれか一方と他方であるとき、中間のパターン類型がＰＴｚ、ＰＴｙ、ＰＴｗ、ＰＴｓ（ＰＴｚとＰＴｙの中間パターン）、ＰＴｔ（ＰＴｚとＰＴｗの中間パターン）のいずれかであれば、搬送物Ｐの上記搬送姿勢を判定することができる。つまり、中間が最初と最後のいずれか、或いは、その中間パターンであって、最初がＰＴｙで最後がＰＴｚであれば搬送物Ｐｏ、最初がＰＴｗで最後がＰＴｚであれば搬送物Ｐｐ、最初がＰＴｚで最後がＰＴｙであれば搬送物Ｐｑ、最初がＰＴｚで最後がＰＴｗであれば搬送物Ｐｒとなる。この場合には、四つのパターン類型ＰＴｚ、ＰＴｙ、ＰＴｗ、ＰＴｓ、ＰＴｔのそれぞれに１対１に対応する分類カテゴリーを設けることにより、判定結果を得ることが可能になる。

図１３に示す例では、一つの取得タイミングで取得する複数の限定領域ＣＲ４、ＣＲ５を設ける例を示している。このように、一つの取得タイミングにおいて画像データＤを取得する限定領域は複数存在してもよい。また、図示例では、限定領域ＣＲ４、ＣＲ５はいずれも搬送方向Ｆに沿って延在する。また、限定領域ＣＲ４は図示上方の側面と重なる位置に配置され、限定領域ＣＲ５は図示下方の側面と重なる位置に配置される。この場合、限定領域ＣＲ４、ＣＲ５の画像データＤを、白色面Ｐｂと黒色面Ｐｃにわたる範囲に対応するパターン部分が含まれる画素値の分布パターンのパターン類型ＰＴｐと、白色面Ｐｂのみに対応するパターン部分のみが含まれる画素値の分布パターンのパターン類型ＰＴｑと、それ以外のパターン類型ＰＴｒとに分類する。これにより、一つの取得タイミングの画像データＤにおいて限定領域ＣＲ４，ＣＲ５により両方のパターン類型ＰＴｐとＰＴｑが同時に見られる場合には、その組み合わせによって搬送物Ｐｏ，Ｐｐ、Ｐｑ，Ｐｒの搬送姿勢を判定処理によって導出することができる。したがって、これらの同じ取得タイミングの複数の限定領域ＣＲ４，ＣＲ５の画像データＤにおけるパターン類型を組み合わせることによっても、搬送物Ｐの搬送姿勢を判定することができる。この場合には、少なくともＰＴｐとＰＴｑにそれぞれ１対１に対応する分類カテゴリーを設けることにより判定が可能になる。

本実施形態では、データ分類手段（分類器）が、搬送物Ｐの一部のみと重なり得る範囲に設定された限定領域ＣＲの画像データＤを、画素値の分布パターンＤｓに応じて、複数の分類カテゴリーＣＧＡ，ＣＧＢ、或いは、ＣＧＣ〜ＣＧＥに分類する。これにより、分類結果として得られた分類カテゴリーのみで限定領域ＣＲと重なる搬送物Ｐの状況を見極めることができる場合があり、また、分類結果に基づいてさらに所定の判定処理を行うことによって種々の判定結果を得ることもできる。後者の場合には、上述のように、前後の取得タイミングで取得された複数の限定領域ＣＲの画像データＤの分類結果に基づいて所定の判定結果を得ることができ、また、一つの取得タイミングで取得された複数の限定領域ＣＲの画像データＤの分類結果に基づいて所定の判定結果を得ることもできる。したがって、処理すべきデータ量を制限しつつ、必要な判定精度を確保することができるため、高速に判定処理を実行することができる。このため、上記搬送システムのように多数の搬送物Ｐを高速に供給しなければならない場合でも、正確な判定処理を容易に実現できる。

本実施形態においては、学習データを作成する場合において、限定領域ＣＲの画像データＤの上記分布パターンＤｓを複数のパターン類型ＰＴ１〜ＰＴ７、或いは、ＰＴ１１〜ＰＴ１７に関連付け、これらのパターン類型に対応させて分類カテゴリーＣＧＡ，ＣＧＢ、或いは、ＣＧＣ〜ＣＧＥにラベル付けしている。これにより、人手によりラベル付けを行う場合でも、画像処理により自動的なラベル付けを行う場合でも、正確かつ容易にラベル付けを行うことができる。また、このラベル付けを、限定領域ＣＲの画像データＤだけでなく、限定領域ＣＲを含むより広範囲の画像データに基づいて行うことにより、画像データＤ（或いは、その分布パターンＤｓ）には明白には認知できない情報に基づいた分類器の分類処理能力の向上（分類精度や対応力の向上）を期待することができる。

本実施形態においては、分類結果に基づく判定処理を実施する場合には、判定処理手段により、時間的又は空間的な複数の限定領域ＣＲの画像データＤの分類結果を用いて処理することにより、より広範囲かつ柔軟な判定結果を得ることができる。また、この判定処理は分類結果のみに基づいて実施されることにより、処理時間も極めて短くすることができる。

本実施形態においては、上述のように限定領域ＣＲ１〜ＣＲ５が所定の方向に延在する線状若しくは帯状の領域に設定される。これにより、搬送物Ｐの所定の延在方向に沿ったパターンを画像データとして取り込むことができるので、データ量を削減しつつ、搬送物に関するより多くの情報を取得できる。また、分類器などに入力する情報を一次元化することが容易になるため、分類処理のさらなる容易化と迅速化を図ることができる。特に、限定領域ＣＲ１〜３のように、搬送方向と交差（好ましくは直交）する方向に延在する線状若しくは帯状の領域とすることにより、撮影間隔や取得タイミングに対応する搬送物の厳密な位置情報をも取得することができる。また、複数の画像データＤを時系列で用いることにより、搬送物の搬送姿勢や複数の搬送物の搬送状況などを正確に把握することも可能になる。

なお、本発明の搬送物の判定装置は、上述の図示例のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。例えば、上記各実施形態では分類器として全結合型のニューラルネットワークを用いた学習済みモデルを用いているが、ニューラルネットワークとしては、ＣＮＮ(Convolutional Neural Network)、ＲＮＮ(Recurrent Neural Network)などを用いることも可能である。また、分類器としては、ＳＶＭ(Support Vector Machine)やＲａｎｄｏｍ Ｆｏｒｅｓｔなどのニューラルネットワーク以外の機械学習分類器を用いることもできる。

また、上記各実施形態を含むシステムでは、選別位置における選別方法として気流の吹き付けによる搬送物Ｐの搬送路１２１上からの排除を行っているが、搬送物Ｐの選別のための手法をはじめとして、個々の処理内容や各計測エリアの範囲については特に限定されるものではなく、機械的な排除手段を用いるなど、検出や判定のための種々の公知技術を採用することができる。また、搬送物を制御する態様としては、排除だけでなく、反転、分配などの種々の態様とすることができる。さらに、各実施形態を適用する搬送システムとしては、上記のような振動式搬送装置に限らず、他の種々の搬送装置を用いるものであってもよく、また、各実施形態を適用する制御システムとしても、何らかの搬送物Ｐを移動させる過程で何らかの計測を行う種々の場面に用いることができる。

１０…搬送装置、１１…パーツフィーダ、１１０…搬送体、１１１…搬送路、１２…リニアフィーダ、１２０…搬送体、１２１…搬送路、ＯＰＳ、ＯＰＲ、ＯＰＲ１?ＯＰＲ３…噴気口、ＣＡ、ＣＡ１〜ＣＡ３…搬送物、ＣＭ１，ＣＭ２…カメラ、ＣＬ１１，ＣＬ１２…コントローラ、ＤＴＵ…検査処理ユニット、ＤＰ１，ＤＰ２…表示装置、ＧＰ１，ＧＰ２…画像処理装置、ＧＭ１，ＧＭ２…画像処理メモリ、ＧＰＸ…撮影画像、ＧＰＹ…画像エリア、ＧＷＡ〜ＧＷＢ…判定エリア、ＭＰＵ…演算処理装置、ＭＭ…主記憶装置、ＭＥ１…第１の計測エリア、ＭＥ２…第２の計測エリア、ＭＥＳ…制御エリア、ＳＡＳ…サーチエリア、ＳＰ１，ＳＰ２…操作入力装置、ＲＡＭ…演算処理用メモリ、ＣＲ，ＣＲ１〜ＣＲ５…限定領域 Ｄ，Ｄ１〜Ｄ６…画像データ、ｄ１〜ｄｎ…画素値、Ｄｓ，Ｄｓ１〜Ｄｓ７，Ｄｓ１１〜Ｄｓ１７…分布パターン、ＰＴ１〜ＰＴ７，ＰＴ１１〜ＰＴ１７，ＰＴｘ，ＰＴｙ，ＰＴｚ，ＰＴｖ，ＰＴｗ…パターン類型、ＣＧＡ〜ＣＧＥ…分類カテゴリー、Ｐ…搬送物、Ｐ１〜Ｐ３，Ｐｏ、Ｐｐ，Ｐｑ，Ｐｒ…横向きの搬送物、Ｐ４〜Ｐ７…縦向きの搬送物、Ｐａ…端子部、Ｐｂ…白色面、Ｐｃ…黒色面、Ｐｓ１〜Ｐｓ４…側面、Ｐｔ５…先端面、Ｐｔ６…後端面

Claims (11)

1. 搬送経路上の搬送物の全体ではなく一部のみが含まれ得る範囲に設定された限定領域の画像データに基づいて前記搬送物の判定を行う搬送物の判定装置であって、
   各搬送物についてそれぞれ前記限定領域の画像データを形成可能な時間間隔を有する取得タイミングで前記限定領域の画像データを繰り返し取得するデータ取得手段と、
   前記取得タイミング毎に前記限定領域の画像データの画素値の分布パターンを複数の分類カテゴリーのいずれかに分類し、前記限定領域の画像データの分類結果を出力するデータ分類手段と、
   を具備する搬送物の判定装置。
2. 前記取得タイミングは、各搬送物についてそれぞれ前記限定領域の画像データを複数回形成可能な時間間隔で設定される、
   請求項１に記載の搬送物の判定装置。
3. 複数の前記分類結果に基づいて前記搬送物の判定結果を出力する判定処理手段をさらに具備する、
   請求項１又は２に記載の搬送物の判定装置。
4. 前記複数の分類結果は、複数の取得タイミングにおいて取得された前記限定領域の画像データの分類結果である、
   請求項３に記載の搬送物の判定装置。
5. 前記データ分類手段はニューラルネットワークを備える分類器である、
   請求項１〜４のいずれか一項に記載の搬送物の判定装置。
6. 前記データ分類手段は、前記画像データ毎に取得タイミングにおける前記限定領域の搬送物に対する位置関係に基づいて決定された分類カテゴリーが前記分布パターンに対してラベル付けされた学習データを用いて学習された学習済みモデルである、
   請求項５に記載の搬送物の判定装置。
7. 前記ニューラルネットワークは、入力層、中間層及び出力層を有し、
   前記入力層は前記画像データの画素数と一致する数の入力を備え、
   前記出力層は分類すべき前記分類カテゴリーの数と一致する数の出力を備える、
   請求項５又は６に記載の搬送物の判定装置。
8. 前記ニューラルネットワークは複数の前記中間層を備え、
   前記複数の中間層のうち前記入力層に直接接続される第１層は、前記入力層の入力の数よりも大きい数のユニットを備える、
   請求項７に記載の搬送物の判定装置。
9. 前記限定領域は線状若しくは帯状の領域である、
   請求項１〜８のいずれか一項に記載の搬送物の判定装置。
10. 前記限定領域は、搬送方向と交差する方向に延在する領域である、
    請求項９に記載の搬送物の判定装置。
11. 搬送装置と、
    該搬送装置によって搬送される搬送物を判定する請求項１〜１０のいずれか一項に記載の搬送物の判定装置と、
    を具備する搬送システム。

Images