JP2014108868A - 移載装置および該移載装置を備えた箱詰めシステム - Google Patents

Abstract

【課題】本発明は、ワークの状態を正確に検出できると共に、特に撮像手段の視野内に複数のワークが存在する場合に、各ワークの位置と状態を短時間で検出できる移載装置及び該移載装置を備えた箱詰めシステムを提供する。
【解決手段】ワーク（Ｗ）の透過照明画像を撮像後、反射照明画像を撮像し、透過照明画像に基づいてワーク（Ｗ）の位置を検出し、検出されたワーク（Ｗ）の位置に基づいて反射照明画像のうちパターンマッチングの対象範囲を限定し、限定された範囲内についてパターンマッチングを行い、パターンマッチングの結果に基づいてワーク（Ｗ）の状態を検出し、検出されたワーク（Ｗ）の位置及び状態に応じて搬送することを特徴とする。
【選択図】図１

Description

本発明は、ワーク、特に、袋物のように個体毎に異なる部分的な変形が生じるワークを移載するための移載装置および該移載装置を備えた箱詰めシステムに関する。

一般に、ワークの位置を検出して、検出された位置に基づいてワークを移載する移載装置は、ＣＣＤカメラ等の撮像手段によりワークを撮像し、撮像画像に所定の画像処理を行ってワークの位置を検出している。従来、この画像による位置検出には、透過照明方式と反射照明方式がある。

透過照明方式は、ワークに背面から光を照射して、ワークの透過光、シルエットを観測する方式である。この方式は、ワークの輪郭をシルエットとして撮像できるため、ワークの正確な位置検出が可能であり、また、ワークの表面の色と該ワークを載置する載置面の色が似ている場合にも適用できるという点で優れている。

しかし、この方式は、ワークの表面の図柄を検出できないため、向きが１８０度異なるワーク、表裏が逆のワーク、品種毎に図柄が異なるワーク等を互いに区別できないという問題がある。なお、特許文献１には、透過照明手段によって、錠剤の欠け等の検査を行う技術が開示されている。

反射照明方式は、ワークに上方から光を照射し、ワークの表面からの反射光を観測する方式である。この方式は、ワークの表面の図柄を検出できるため、向きが１８０度異なるワーク、表裏が逆のワーク、品種毎に図柄が異なるワーク等を互いに区別できる点で優れている。

しかしながら、ワークが包装用の袋に大きさ、形状、向き等にばらつきのある食品等の内容物を封入した袋物ワークの場合、各袋には、内容物に応じた膨らみ、へこみ、しわ等、個体毎に異なる部分的な変形が生じる。袋の表面に予め印刷された図柄が同一であっても、この方式でワークを撮像すると、ワークの変形に応じて表面の図柄がゆがむため、ワーク毎に部分的に異なる画像が撮像される。

ここで、撮像された画像からワークの特徴的な図柄を検出するため、パターンマッチングという画像処理が一般的に用いられる。すなわち、対象となる画像上で基準画像をＸＹ方向に移動させ、基準画像との類似度が最大となる位置を探し、この類似度の最大値が所定の閾値以上ならば、この位置の画像が基準画像と一致していると判定し、閾値より小さいならば、基準画像と一致する画像は存在しないと判定する。

上述のように図柄がゆがんでいる場合にも、ワークの特徴的な図柄を検出するには、この閾値をある程度低く設定することが必要であるが、この閾値が低すぎると、基準画像と異なる画像も一致していると誤判定してしまう。したがって、この反射照明方式では、袋物のようなワークの場合、正確にワークの向き、表裏、品種等の状態を検出するのが難しいという問題がある。

これら両方式の長所を生かすため、例えば、特許文献２に開示されているように、透過照明と反射照明で各々撮像した両画像を用いる方法が考えられる。しかし、この方法でも、例えば、撮像手段の視野内に複数のワークが存在する場合、反射照明画像から各ワークの特徴的な図柄を検出するまでの時間が長くなってしまうという問題がある。

特開２０１２−１２７８２７号公報 特開２０１０−１３１１７８号公報

そこで、本発明は、袋物のように個体毎に異なる部分的な変形が生じるワークの状態を正確に検出すると共に、特に１画像に複数のワークが存在する場合に、各ワークの位置と状態を短時間で検出することを課題とする。

前記課題を解決するため、本発明に係る移載装置は、次のように構成したことを特徴とする。

まず、本願の請求項１に記載の発明は、
１または複数のワークを撮像する撮像手段と、前記ワークを保持して移動する搬送手段とを備えた移載装置であって、前記移載装置は、
前記ワークの表面での反射光が前記撮像手段に入射する位置に設けられた反射照明手段と、
前記撮像手段の視線上に前記ワークを隔てて設けられた透過照明手段と、
前記撮像手段によって、前記透過照明手段により照明された前記ワークの透過照明画像を撮像した後、前記反射照明手段により照明された前記ワークの反射照明画像を撮像する制御手段と、を備え、
前記制御手段は、
前記透過照明画像の信号を処理して抽出された前記ワークの輪郭に基づいて、前記ワークの位置を検出する位置検出部と、
前記反射照明画像のうち、後に行うパターンマッチングの対象範囲を、検出された前記位置に基づいて所定範囲に限定する対象範囲限定部と、
限定された前記対象範囲内について、基準画像との前記パターンマッチングを行うパターンマッチング処理部と、
前記パターンマッチングの結果に基づいて前記ワークの状態を検出する状態検出部と、
検出された前記位置及び前記状態に応じて前記搬送手段を制御して前記ワークを搬送する搬送制御部と、
を備えることを特徴とする移載装置。

この発明によれば、透過照明画像を撮像した後、反射照明画像を撮像して、透過照明画像から検出されたワークの位置に基づいて、反射照明画像のうち基準画像とのパターンマッチングを行う対象範囲を限定して、この限定された対象範囲についてパターンマッチングを行うため、ワークの状態を正確に検出できると共に、特に撮像手段の視野内に複数のワークが存在する場合に、ワークの位置と状態を短時間で検出できる。

また、本願の請求項２に記載の発明は、前記請求項１に記載の発明において、
前記状態検出部は、前記ワークの状態として、少なくとも前記ワークの向き、表裏または品種のいずれか１つを検出する
ことを特徴とする。

この発明によれば、ワークの状態としてワークの向き、表裏または品種を正確に検出できると共に、特に撮像手段の視野内に複数のワークが存在する場合に、ワークの位置と共に、ワークの向き、表裏または品種を短時間で検出できる。

さらに、本願の請求項３に記載の発明は、前記請求項１または２のいずれか１項に記載の発明において、
前記移載装置を備え、
前記ワークを前記移載装置によって箱体に収納する
ことを特徴とする箱詰めシステム。

この発明によれば、ワークの向き、表裏または品種等の状態を検出し、検出された状態に応じて移載装置を搬送制御するため、複数のワークの向きや表裏や品種等の状態を揃えて、箱体に収納することができる。

本発明に係る移載装置では、透過照明画像を撮像した後、反射照明画像を撮像して、透過照明画像から検出されたワークの位置に基づいて、反射照明画像のうち基準画像とのパターンマッチングを行う対象範囲を限定して、この限定された対象範囲についてパターンマッチングを行うため、ワークの状態を正確に検出できると共に、特に１画像に複数のワークが存在する場合に、ワークの位置と状態を短時間で検出できる。

本発明の一実施形態に係る移載装置と該移載装置を備えた箱詰めシステムの全体構成を示す概略側面図である。 図１の移載装置のコントローラのブロック図である。 図１の移載装置の動作を示すフローチャートである。 図１の移載装置による透過照明画像の撮像（図４（ａ））と反射照明画像の撮像（図４（ｂ））を示す概略側面図である。 図１の移載装置によって撮像され、カメラの視野内に２つのワークが存在する場合の透過照明画像（図５（ａ））と反射照明画像（図５（ｂ））を示す図である。

以下、本発明に係る移載装置及び該移載装置を備えた箱詰めシステムの実施形態について図面を参照しながら説明する。

（１）箱詰めシステムの全体構成
図１に示すように、箱詰めシステム１は、主な構成として、移載装置１０とベルトコンベヤ２０を備えている。

箱詰めシステム１は、例えば、包装用の袋に大きさ、形状、向き等にばらつきのある食品等の内容物を封入した袋物であるワークＷを複数箱詰めして出荷するためのシステムであり、上流側の袋包装ステーションから、後述する検査位置Ｐ１を経由して、後述する取出位置Ｐ２がある下流側の箱詰めステーションまでベルトコンベヤ２０に載せて搬送する。箱詰めステーションにおいて、搬送されたワークＷを移載装置１０によって段ボール箱等の箱体Ｂの中に整列された状態で収納する。

（２）移載装置の全体構成
図１に示すように、本発明に係る移載装置１０は、主な構成として、ロボット１１、ＣＣＤカメラ１２、反射照明用光源１３、透過照明用光源１４、コントローラ１５を備えている。

ＣＣＤカメラ１２、反射照明用光源１３及び透過照明用光源１４は、ベルトコンベヤ２０の途中にある検査位置Ｐ１に設けられている。また、ロボット１１は、検査位置Ｐ１の下流側にある取出位置Ｐ２の近傍に設けられている。以下、移載装置１０の各構成部材について詳細に説明する。

（２−１）ロボット
ロボット１１は、図１に示すように、天井吊り下げ型の多関節ロボットである。ロボット１１は、ベルトコンベヤ２０によって搬送されるワークＷを、ベルトコンベヤ２０上の取出位置Ｐ２から箱体Ｂの中へ移載して、ワークＷを整列された状態で収納する。

なお、ロボット１１として、箱体Ｂ内でのワークＷの所望の収納状態、ワークＷの質量等を考慮して、必要な自由度や可搬重量を備えた多関節ロボットを採用すればよく、多関節ロボットのタイプとして、パラレルリンク型、垂直多関節型等を用いてもよい。

（２−２）ＣＣＤカメラ
ＣＣＤカメラ１２は、ＣＣＤ素子を受光素子とする一般的な工業用カメラであり、被写体であるワークＷをカラーで撮像することが可能であると共に、ベルトコンベヤ２０上に載置して搬送されるワークＷを撮像できるように、必要な大きさの視野と解像度を備えている。また、ＣＣＤカメラ１２は、撮像制御部１０３によって、後述する反射照明用光源１３及び透過照明用光源１４のいずれの光源で照明されたワークＷも撮像できるように制御される。

（２−３）反射照明用光源
反射照明用光源１３は、被写体であるワークＷに光を斜めから当てる、いわゆる斜光照明（暗視野照明）であり、例えば、リング型照明、ライン型照明、ファイバー照明など様々な発光面形状の光源を用いることができる。また、反射照明用光源１３は、照明制御部１０４によって、所望のタイミングでＯＮ／ＯＦＦするように制御される。

なお、反射照明用光源１３は、斜光照明に限るものではなく、ＣＣＤカメラ１２とワークＷとの間にハーフミラーを入れて、このハーフミラーで光源からの光を反射させて、ＣＣＤカメラ１２と同じ方向からワークＷに光を照射する同軸落射照明であってもよい。

（２−４）透過照明用光源
透過照明用光源１４は、いわゆるバックライトであり、ＬＥＤと拡散板を用いた面照明である。ベルトコンベヤ２０を介して、被写体であるワークＷの下面から平行に光を照射する。また、透過照明用光源１４は、照明制御部１０４によって、所望のタイミングでＯＮ／ＯＦＦするように制御される。

（２−５）コントローラ
図２に示すように、コントローラ１５は、ＲＡＭ、ＲＯＭ等の記憶部１０１と、ＣＰＵ等の情報処理部１０２と、ＣＣＤカメラ１２を制御する撮像制御部１０３、反射照明用光源１３と透過照明用光源１４を制御する照明制御部１０４、ロボット１１を制御するロボット制御部１０５とから主に構成されている。

（２−５−１）記憶部
記憶部１０１には、ＣＣＤカメラ１２からコントローラ１５に出力される透過照明画像データ１１１と反射照明画像データ１１２が記憶されると共に、後述するパターンマッチング処理部１２３に用いられる基準画像データ１１３が予め記憶されている。

（２−５−１）情報処理部
情報処理部１０２は、位置検出部１２１、対象範囲限定部１２２、パターンマッチング処理部１２３、状態検出部１２４とから主に構成されている。情報処理部１０２は、記憶部１０１に記憶され画像データ１１１、１１２、１１３、外部入力手段（図示しない）から記憶部１０１に操作者が入力した各種設定情報等を読み出すことができる。

（２−５−１−１）位置検出部
位置検出部１２１は、ワークＷの透過照明画像データ１１１を記憶部１０１から読み出して、ワークＷの位置、例えば、面積重心Ｇの位置を検出する。

（２−５−１−２）対象範囲限定部
対象範囲限定部１２２は、記憶部１０１から反射照明画像データ１１２を読み出して、位置検出部１２１で検出されたワークＷの位置に基づいて、反射照明画像の一部を、後述するパターンマッチングを行う対象範囲として限定する。なお、ＣＣＤカメラ１２の視野内に複数のワークＷが存在する場合は、各ワークＷについて対象範囲を限定する。

（２−５−１−３）パターンマッチング処理部
パターンマッチング処理部１２３は、記憶部１０１から予め登録された基準画像データ１１３を読み出して、反射照明画像のうち対象範囲限定部１２２で限定された対象範囲についてのみパターンマッチングを行う。

なお、ＣＣＤカメラ１２の視野内に複数のワークＷが存在し、対象範囲限定部１２２で、複数の対象範囲が限定された場合、各対象範囲についてパターンマッチングを行う。また、複数の品種のワークＷを各々検知するため、各品種のワークＷの基準画像データ１１３を記憶部１０１に予め登録しておき、各基準画像データ１１３を順次記憶部１０１から読み出してパターンマッチングを行うことを繰り返してもよい。

パターンマッチング処理部１２３で実行されるパターンマッチングは、公知の画像処理技術であるため、以下に簡単に説明する。まず、パターンマッチングの対象となる画像上で基準画像を所定の刻み幅で回転、水平、垂直移動させて、各位置及び角度での基準画像との類似度を算出する。次に、この類似度が最大となる位置及び角度を探し、この類似度の最大値が所定の閾値以上ならば、この位置及び角度の画像が基準画像と一致していると判定し、閾値より小さいならば、基準画像と一致する画像は存在しないと判定する。

なお、実際には、基準画像を所定の刻み幅で水平・垂直移動をさせて、各位置について類似度を算出し、さらに、基準画像を刻み幅分回転移動させて、再度、回転移動後の基準画像を各刻み幅で水平・垂直移動させて、各位置について類似度を算出することで、全ての位置及び角度の組み合わせの類似度を算出する。

（２−５−１−４）状態検出部
状態検出部１２４は、パターンマッチング処理部１２３での結果に基づいて、ワークＷの向き、表裏、品種等の状態を検出する。すなわち、基準画像Ｆと一致していると判定された場合、一致した画像の角度に基づいて、ワークＷの向きを検出する。また、基準画像Ｆと一致する画像がないと判定された場合、ワークＷの表裏が反転しているか、または、異なる品種のワークＷであると判定する。

（２−５−２）撮像制御部
撮像制御部１０３は、透過照明用画像及び反射照明用画像を撮像する際に、後述する照明制御部１０４と連動してＣＣＤカメラ１２を制御する。すなわち、透過照明用画像の撮像時は、照明制御部１０４によって透過照明用光源１４をＯＮ、反射照明用光源１３をＯＦＦにして、透過照明のみによってワークＷを照明した状態で、撮像制御部１０３によりＣＣＤカメラ１２を制御してワークＷを撮像する。また、反射照明用画像の撮像時は、照明制御部１０４によって反射照明用光源１３をＯＮ、透過照明用光源１４をＯＦＦにして、反射照明のみによってワークＷを照明した状態で、撮像制御部１０３によりＣＣＤカメラ１２を制御してワークＷを撮像する。

（２−５−３）照明制御部
照明制御部１０４は、透過照明用画像及び反射照明用画像を撮像する際に、上述のように撮像制御部１０３と連動して、撮像時に反射照明用光源１３と透過照明用光源１４のいずれか一方のみがＯＮするように、反射照明用光源１３及び透過照明用光源１４をＯＮ／ＯＦＦ制御する。

（２−５−４）ロボット制御部
ロボット制御部１０５は、状態検出部１２４によって検出されたワークＷの向き、表裏、品種等の状態に基づいて、ロボット１１を搬送制御する。具体的には、複数のワークＷの向きをそろえるため、ロボット１１によってワークＷを搬送しながら水平面上で向きを変える。また、ワークＷの表裏をそろえるため、ロボット１１によってワークＷを搬送しながら表裏を反転させる。さらに、ワークＷの品種をそろえるため、ロボット１１によって品種毎にワークＷを仕分けする。

（３）ベルトコンベヤ
ベルトコンベヤ２０は、複数のワークＷを無端ベルト上に載置して連続的または断続的に搬送するコンベヤであり、無端ベルトが上述の透過照明用光源１４からの光が透過可能な材料で形成されている。また、本実施形態の場合、無端ベルトの幅は、この上に複数のワークＷが横幅方向に間隔をもって並べることができる程度の寸法である。

なお、ベルトコンベヤ２０に代えて、ワークＷに対して光が透過できるものであれば、ローラコンベヤ、浮上搬送コンベヤ等を用いてもよい。また、ベルトコンベヤ２０の途中には、搬送されるワークＷの向きや幅方向の位置をおおよそ揃えるためのガイド部材を設けてもよい。

（４）移載装置及び該移載装置を備えた箱詰めシステムの動作
移載装置１０の動作について、図３から図５を参照しながら説明する。なお、図５（ａ）、図５（ｂ）は、ＣＣＤカメラ１２の視野内に２つのワークＷ１、Ｗ２が同時に撮像された場合の透過照明画像と反射照明画像をそれぞれ示している。

ステップＳ１は、図４（ａ）で示すように、撮像制御部１０３及び照明制御部１０４によって、透過照明用光源１４で照明されたワークＷの輪郭をＣＣＤカメラ１２によって撮像する。このとき、透過照明で撮像された透過照明画像は、図５（ａ）に示すように、ワークＷ１、Ｗ２の背面から光を照射しているため、被写体であるワークＷ１、Ｗ２の表面は暗く写り、その周りのベルトコンベヤ２０は光が透過するため明るく写る。この透過照明画像を二値化処理したものを透過照明画像データ１１１として記憶部１０１に記憶する。

ステップＳ２は、得られた透過照明画像データ１１１に基づいて、位置検出部１２１によって、ＣＣＤカメラ１２の視野内におけるワークＷの位置を検出する。図５（ａ）に示す＋印は、各ワークＷ１、Ｗ２の面積重心Ｇ１、Ｇ２を示している。

ステップＳ３は、図４（ｂ）で示すように、反射照明用光源１３で照明されたワークＷの表面の図柄をＣＣＤカメラ１２によって撮像する。このときに撮像された反射照明画像は、図５（ｂ）に示すように、ワークＷ１、Ｗ２の表面の図柄が写る。また、ＣＣＤカメラ１２から反射照明画像データ１１２が記憶部１０１に記憶される。

ステップＳ４は、対象範囲限定部１２２によって、図５（ｂ）に示すように、反射照明画像のうちステップＳ２で検出されたワークＷ１、Ｗ２の位置Ｇ１、Ｇ２から所定範囲を、各ワークＷ１、Ｗ２についてパターンマッチングを行う対象範囲Ａ１、Ａ２として限定する。

ステップＳ５は、記憶部１０１に予め記憶された基準画像データ１１３を記憶部１０１から読み出して、パターンマッチング処理部１２３において、ステップＳ４で限定された対象範囲Ａ１、Ａ２についてのみ、各ワークＷ１、Ｗ２についてパターンマッチングを行う。なお、図５（ｂ）の右下に示した画像は基準画像Ｆである。

ステップＳ６は、ステップＳ５でのパターンマッチングの結果に基づいて、状態検出部１２４によって、各ワークＷ１、Ｗ２の状態（向き、表裏、品種等）を検出する。図５（ｂ）に示す例によれば、ワークＷ１、Ｗ２の向きは互いに１８０度異なるが、両ワークＷ１、Ｗ２は表面を上にして、品種が同じである検出される。

ステップＳ７は、検出されたワークＷの状態に応じて、ロボット制御部１０５によってロボット１１の搬送制御を行う。例えば、図５（ｂ）に示すように、ワークＷ１、Ｗ２の向きが互いに１８０度異なる場合は、一方のワークＷ２の向きを他方のワークＷ１に合わせるように、水平面上で１８０度回転させながら移送することで、移送先の箱体ＢにワークＷ１、Ｗ２の向きを整列した状態で収納することができる。

（５）移載装置及び該移載装置を備えた箱詰めシステムの特徴
本移載装置１０によれば、透過照明画像を撮像した後、反射照明画像を撮像して、透過照明画像から検出されたワークＷの位置に基づいて、反射照明画像のうち基準画像Ｆとのパターンマッチングを行う対象範囲Ａを限定して、この限定された対象範囲Ａについてパターンマッチングを行うため、ワークＷの状態を正確に検出できる。特にＣＣＤカメラ１２の視野内に複数のワークＷ１、Ｗ２が存在する場合には、ワークＷ１、Ｗ２の位置と状態を短時間で検出できる。

また、本移載装置１０によれば、ワークＷの状態としてワークＷの向き、表裏または品種を正確に検出できると共に、特にＣＣＤカメラ１２の視野内に複数のワークＷが存在する場合に、ワークＷの位置と共に、ワークＷの向き、表裏または品種を短時間で検出できる。

本箱詰めシステム１によれば、ベルトコンベヤ２０等によって移送されるワークＷの向き、表裏または品種等の状態を検出し、検出された状態に応じて移載装置１０を制御するため、ワークＷの向きや表裏や品種等を揃えた状態で箱体Ｂに収納できる。

なお、本実施形態における移載装置１０を適用する対象は、前述の箱詰めシステム１に限定されない。例えば、パレット上に複数のワークＷを整列させるパレタイジング、出荷用トラック等の運搬機への積み込み等を行うシステムに適用してもよい。

本発明は例示された実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、種々の改良及び設計上の変更が可能であることは言うまでもない。

以上のように、本発明によれば、透過照明画像を撮像した後、反射照明画像を撮像して、透過照明画像から検出されたワークの位置に基づいて、反射照明画像のうち基準画像とのパターンマッチングを行う対象範囲を限定して、この限定された対象範囲についてパターンマッチングを行うため、ワークの状態を正確に検出できると共に、特に撮像手段の視野内に複数のワークが存在する場合に、ワークの位置と状態を短時間で検出できるので、この種の移載装置または該移載装置を備えた箱詰めシステムの製造産業分野において好適に利用される可能性がある。

１ 箱詰めシステム
１０ 移載装置
１１ ロボット（搬送手段）
１２ ＣＣＤカメラ（撮像手段）
１３ 反射照明用光源（反射照明手段）
１４ 透過照明用光源（透過照明手段）
１５ コントローラ（制御手段）
１０５ ロボット制御部（搬送制御部）
１２１ 位置検出部
１２２ 対象範囲限定部
１２３ パターンマッチング処理部
１２４ 状態検出部
Ｂ 箱体
Ｗ ワーク

Claims (3)

1. １または複数のワークを撮像する撮像手段と、前記ワークを搬送する搬送手段とを備えた移載装置であって、前記移載装置は、
   前記ワークの表面での反射光が前記撮像手段に入射する位置に設けられた反射照明手段と、
   前記撮像手段の視線上に前記ワークを隔てて設けられた透過照明手段と、
   前記撮像手段によって、前記透過照明手段により照明された前記ワークの透過照明画像を撮像した後、前記反射照明手段により照明された前記ワークの反射照明画像を撮像する制御手段と、を備え、
   前記制御手段は、
   前記透過照明画像の信号を処理して抽出された前記ワークの輪郭に基づいて、前記ワークの位置を検出する位置検出部と、
   前記反射照明画像のうち、後に行うパターンマッチングの対象範囲を、検出された前記位置に基づいて所定範囲に限定する対象範囲限定部と、
   限定された前記対象範囲内について、基準画像との前記パターンマッチングを行うパターンマッチング処理部と、
   前記パターンマッチングの結果に基づいて前記ワークの状態を検出する状態検出部と、
   検出された前記位置及び前記状態に応じて前記搬送手段を制御して前記ワークを搬送する搬送制御部と、
   を備えることを特徴とする移載装置。
2. 前記状態検出部は、前記ワークの状態として、少なくとも前記ワークの向き、表裏または品種のいずれか１つを検出する
   ことを特徴とする請求項１に記載の移載装置。
3. 前記移載装置を備え、
   前記ワークを前記移載装置によって箱体に収納する
   ことを特徴とする請求項１または２のいずれか１項に記載の箱詰めシステム。

Images