JP2012192473A - 立体視ロボットピッキング装置 - Google Patents

Abstract

【課題】カメラとワークの間隔が長くなるのを抑制し、ステレオ方式でワークの３次元位置を算出しロボットの吸引部の配置位置を決める立体視ロボットピッキング装置を提供する。
【解決手段】コンテナ１１内のワーク１２を順次ロボット１３によって別位置に移動する立体視ロボットピッキング装置１０において、ワーク取出し位置１８までコンテナ１１を送る移動手段１４と、ワーク取出し位置１８にあるコンテナ１１全体を撮像するカメラ１５と、ワーク取出し位置１８にあるコンテナ１１を部分的に撮像するカメラ１６と、カメラ１５、１６が撮像した各画像中のワーク１２をパターンマッチングによって検出して、各画像中でのワーク１２の２次元位置を算出する画像処理手段２３とを有し、カメラ１５、１６は、コンテナ１１の移動方向に沿って配置され、画像処理手段２３は、カメラ１５、１６の各画像中のワーク１２の２次元位置からワーク１２の３次元位置を算出する。
【選択図】図１

Description

本発明は、ステレオ画像でワーク（物品）の３次元位置を検出しロボットを用いてワークを仕分けする立体視ロボットピッキング装置に関する。

ワーク（物品）の仕分け現場では、コンテナ内に配列されたワークをロボットにより上方から吸着保持して別のコンテナに移すロボットピッキング装置が用いられている。
ロボットピッキング装置はワークの高さ位置に基づいてロボットの吸引部をワークの吸着が可能な高さに配置する。ワークの高さ位置が一定である場合、ワークを吸着するためのロボットの吸引部の高さは固定することができる。
しかしながら、ワークが食品を封入した袋物の場合、袋の膨らみや食品の出来上がりの大きさ等にバラつきがあり、ロボットの吸引部を常に一定の高さにすると、吸引部とワークの袋部分の間に大きな隙間が生じてワークを吸着できなかったり、ロボットのハンド部がワークを押しすぎて食品の変形や袋の割れ等が生じたりする。また、ワークが配列されたコンテナの底面の歪みによっても配列位置でワークの高さ位置にバラつきが生じる。

この問題を回避するため、ワークを吸着保持する前にワークの高さ位置を検出してロボットの吸引部を配置すべき高さを決定するのが有効である。
ワークの高さ位置を検出する方法として、対となるカメラでワークを撮像した画像を基にワークの３次元位置を算出するステレオ方式が知られており、その具体例が特許文献１に記載されている。
特許文献１では、対となるカメラの撮像範囲の重なる領域でワークを撮像し、その撮像された各画像中で予め定義しておいたワークの参照点を検出し、参照点の画像中での２次元位置からワークの３次元位置を算出している。
また、撮像方向が平行な対となるカメラを用いれば、３次元位置の算出を行うためのプログラム等の設計を簡略化することができる。この場合、ワークの大きさ等に応じて、ワークとカメラの間隔を長くして、カメラの撮像範囲の重なる領域を広げ、各カメラが撮像範囲の重なる領域でワークを撮像可能にすることが考えられる。

特開２００４−９０１８３号公報

しかしながら、カメラとワークの間隔が長くなると撮像画像中のワークの大きさが小さくなり、ワークの画像分解能が低くなるという問題が生じる。
本発明は、かかる事情に鑑みてなされるもので、カメラとワークの間隔が長くなるのを抑制し、高い分解能を保有した画像を基にパターンマッチングによりワークの検出を行って、ステレオ方式でワークの３次元位置を算出しロボットの吸引部の配置位置を決める立体視ロボットピッキング装置を提供することを目的とする。

前記目的に沿う本発明に係る立体視ロボットピッキング装置は、コンテナ内に収容されたワークを順次ロボットによって別位置に移動する立体視ロボットピッキング装置において、前記ワークを吸着保持する吸引部が設けられた前記ロボットと、前記コンテナを所定ピッチ移動させて、前記吸引部が該コンテナ内に収容された前記ワークを吸着保持可能なワーク取出し位置まで該コンテナを送る移動手段と、前記ワーク取出し位置にある前記コンテナ全体を撮像する１台のカメラＡと、前記ワーク取出し位置にある前記コンテナを部分的に撮像する１台又は２台のカメラＢと、前記カメラＡ、Ｂで撮像した各画像中の前記ワークの２次元位置から該ワークの３次元位置を算出する画像処理手段と、前記画像処理手段で算出した前記ワークの３次元位置を基に前記吸引部の配置目標位置を決定し、前記ロボットを動かして前記ワークを吸着保持させる制御手段とを有し、前記カメラＡ、Ｂは、前記コンテナの移動方向に沿って配置され、前記画像処理手段は、前記カメラＡ、Ｂが撮像した各画像中での前記ワークをパターンマッチングによって検出して、前記カメラＡ、Ｂにより撮像された該ワークの各画像中の２次元位置を算出する。

本発明に係る立体視ロボットピッキング装置において、前記カメラＢは、１台であって、前記コンテナの移動方向に沿って前記ワーク取出し位置より前記コンテナの移動ピッチ上流側にある前記コンテナの、少なくとも下流側半分を撮像可能で、かつ、前記ワーク取出し位置にある前記コンテナの、少なくとも上流側半分を撮像可能な位置に配置され、前記画像処理手段は、前記コンテナの移動方向に沿って前記ワーク取出し位置より前記コンテナの移動ピッチ分上流側にあった前記コンテナを前記カメラＢによって撮像した画像と前記ワーク取出し位置にある該コンテナを前記カメラＡによって撮像した画像を基に、前記ワーク取出し位置に配置された前記コンテナ内の、下流側半分にある前記ワークの３次元位置を算出し、前記ワーク取出し位置にある該コンテナを前記カメラＡ、Ｂで撮像した各画像を基に、前記ワーク取出し位置に配置された前記コンテナ内の、上流側半分にある前記ワークの３次元位置を算出するのが好ましい。

本発明に係る立体視ロボットピッキング装置において、前記カメラＢは２台あって、一方の該カメラＢは、前記ワーク取出し位置にある前記コンテナの、少なくとも前記コンテナの移動方向の上流側半分を撮像可能な位置に配置され、他方の前記カメラＢは前記ワーク取出し位置にある前記コンテナの、少なくとも下流側半分を撮像可能な位置に配置され、前記画像処理手段は、前記ワーク取出し位置にある前記コンテナを前記カメラＡ及び前記一方のカメラＢで撮像した各画像を基に、前記ワーク取出し位置に配置された前記コンテナ内の上流側半分にある前記ワークの３次元位置を算出し、前記ワーク取出し位置にある前記コンテナを前記カメラＡ及び前記他方のカメラＢで撮像した各画像を基に、前記ワーク取出し位置に配置された前記コンテナ内の下流側半分にある前記ワークの３次元位置を算出することができる。

本発明に係る立体視ロボットピッキング装置において、前記制御手段は、前記画像処理手段によって算出された前記ワークの３次元位置まで予め定められた間隔を有する位置を前記吸引部の配置目標位置として決定するのが好ましい。

本発明に係る立体視ロボットピッキング装置において、前記カメラＡ、Ｂの各撮像方向は平行であるのが好ましい。

本発明に係る立体視ロボットピッキング装置は、ワーク取出し位置にあるコンテナ全体を撮像する１台のカメラＡと、ワーク取出し位置にあるコンテナを部分的に撮像する１台又は２台のカメラＢとを有し、カメラＡ、Ｂが撮像した各画像中のワークをパターンマッチングによって検出して、カメラＡ、Ｂにより撮像された各画像中でのワークの２次元位置を算出するので、カメラＢは、ワーク取出し位置にあるコンテナ全体を撮像する場合に比べ、ワーク取出し位置にあるコンテナとの距離を近づけて配置でき、画像中にワークを大きくとらえて、画像処理手段によるワークの検出精度の向上を図ることができる。

本発明に係る立体視ロボットピッキング装置において、カメラＢが１台である場合には、合計２台のカメラによってコンテナ内のワークの３次元位置を算出するための画像を得ることができ、カメラの数を最小限に抑えることが可能である。
また、ワーク取出し位置よりコンテナの移動ピッチ分上流側にあったコンテナをカメラＢによって撮像した画像とワーク取出し位置にあるコンテナをカメラＡによって撮像した画像を基に、ワーク取出し位置に配置されたコンテナ内の、下流側半分にあるワークの３次元位置を算出し、ワーク取出し位置にあるコンテナをカメラＡ、Ｂで撮像した各画像を基に、ワーク取出し位置に配置されたコンテナ内の、上流側半分にあるワークの３次元位置を算出する場合には、コンテナの上流側半分及び下流側半分に分けて確実にコンテナ内のワークの３次元位置を算出することができる。

本発明に係る立体視ロボットピッキング装置において、カメラＢが２台あって、画像処理手段が、ワーク取出し位置にあるコンテナをカメラＡ及び一方のカメラＢで撮像した各画像を基に、ワーク取出し位置に配置されたコンテナ内の上流側半分にあるワークの３次元位置を算出し、ワーク取出し位置にあるコンテナをカメラＡ及び他方のカメラＢで撮像した各画像を基に、ワーク取出し位置に配置されたコンテナ内の下流側半分にあるワークの３次元位置を算出する場合、カメラＡ及び一方のカメラＢで形成したステレオカメラと、カメラＡ及び他方のカメラＢで形成したステレオカメラとによって、コンテナ内の全てのワークの３次元位置を確実に算出することができる。

本発明に係る立体視ロボットピッキング装置において、制御手段が、画像処理手段によって算出されたワークの３次元位置まで予め定められた間隔を有する位置を吸引部の配置目標位置として決定する場合には、ロボットの吸引部が、配置目標位置に配置された際に、ワークを吸引できない位置に配置されたり、ワークを押して破損させたりするのを防止することができる。

本発明に係る立体視ロボットピッキング装置において、カメラＡ、Ｂの各撮像方向が平行である場合には、カメラＡ、Ｂによって平行ステレオカメラを形成でき、ワークの３次元位置を算出する際の演算式の簡略化を図ることができる。

本発明の一実施の形態に係る立体視ロボットピッキング装置の側面図である。 同立体視ロボットピッキング装置に適用されるコンテナの配置を示す説明図である。 同立体視ロボットピッキング装置のブロック図である。 （Ａ）、（Ｂ）は、同立体視ロボットピッキング装置のカメラによるコンテナの撮像を示す説明図である。 （Ａ）、（Ｂ）は、同立体視ロボットピッキング装置のカメラによるコンテナの撮像を示す説明図である。 ワークのＺ座標の算出方法を示す説明図である。 同立体視ロボットピッキング装置の変形例の側面図である。

続いて、添付した図面を参照しつつ、本発明を具体化した実施の形態につき説明し、本発明の理解に供する。
図１、図２に示すように、本発明の一実施の形態に係る立体視ロボットピッキング装置１０は、ワーク（物品）１２の仕分け現場等に設置され、コンテナ１１内に収容された複数のワーク１２を順次ロボット１３によって別位置に移動する装置である。以下、詳細に説明する。

コンテナ１１は、図２に示すように、ワーク１２を収容するためのプラスチック製の容器であり上部が開口している。コンテナ１１内には、縦横に配列された複数のワーク１２が収容されている。
ワーク１２は、本実施の形態において、食品（例えばパン）を袋詰めしたものであり、各ワーク１２は食品の大きさや袋内の空気量のバラつき等によって、水平配置されたコンテナ１１内に収容された状態で高さが不揃いである。

立体視ロボットピッキング装置１０は、図１に示すように、コンテナ１１を送るベルトコンベア（移動手段の一例）１４と、ベルトコンベア１４上のコンテナ１１を撮像する１台のカメラ１５（カメラＡ）及び１台のカメラ１６（カメラＢ）と、ワーク１２を保持するロボット１３を有している。
ロボット１３には、ワーク１２を吸着保持する吸引部１７（本実施の形態では、真空パッド）が設けられており、ロボット１３は、コンテナ１１内に収容されているワーク１２を吸引部１７で吸着保持して別位置にあるコンテナに収容する。

ワーク１２の収容先であるコンテナには、収容すべきワーク１２の個数が予め定められている。ロボット１３はその定められた個数のワーク１２をコンテナに収容する。
ロボット１３はベルトコンベア１４の上方で支持フレーム２１に固定されたパラレルリンクロボットであり、予め定められた範囲内で吸引部１７を所望の位置に配置することができる。

ベルトコンベア１４は１回の作動によりベルトコンベア１４上に載せられた複数のコンテナ１１を所定ピッチ移動させることができ、その移動ピッチＰ（図２参照）は設定によって変更可能である。
ベルトコンベア１４はコンテナ１１を間欠的に移動ピッチＰ（所定ピッチ）移動させて、ロボット１３の吸引部１７がコンテナ１１内に収容されたワーク１２を吸着保持可能なワーク取出し位置１８まで各コンテナ１１を順次送る。

ベルトコンベア１４は、サーボモータ１９（図３参照）を備えており、サーボモータ１９を所定数回転することによってベルトコンベア１４上のコンテナ１１を移動ピッチＰだけ正確に移動させることができる。
ベルトコンベア１４上の複数のコンテナ１１は、図２に示すように、移動ピッチＰと同ピッチで配置されており、隣り合うコンテナ１１にはそれぞれ長さＤの間隔が設けられている。各コンテナ１１は、サーボモータ１９の駆動と停止の繰り返しによって、順次ワーク取出し位置１８で停止し、ロボット１３によって必要数のワーク１２が取出された後に、ワーク取出し位置１８から移動する。

カメラ１５、１６は、支持フレーム２１に固定部材２２を介して取り付けられ、ベルトコンベア１４の上方でコンテナ１１の移動方向に沿って配置されている。カメラ１５、１６の各撮像方向は実質的に平行に保たれており、カメラ１５、１６は上方からコンテナ１１とコンテナ１１内にあるワーク１２を撮像する。
カメラ１５、１６は実質的に同一高さに設けられ、カメラ１５はワーク取出し位置１８にあるコンテナ１１全体を撮像可能な位置に配置され、カメラ１６はワーク取出し位置１８にあるコンテナ１１を部分的に撮像可能な位置に配置されている。また、カメラ１５、１６は同仕様のカメラであり、画素数、視野角、焦点距離等が同一である。

カメラ１５、１６には、図３に示すように、カメラ１５、１６で撮像した各画像中のワーク１２の２次元位置からワーク１２の３次元位置を算出する画像処理手段２３が信号接続されている。
画像処理手段２３は、カメラ１５、１６からカメラ１５、１６が撮像した各画像をそれぞれ取得して、パターンマッチングによって各画像中に存在しているワーク１２を検出し、各画像中でのワーク１２の２次元位置を算出（検知）する。画像処理手段２３は、各種ワークごとに各ワークに印字されている文字や図柄等をマッチング用のサンプルとして記憶しており、カメラ１５、１６によって撮像された各画像に対しマッチング用のサンプルを基にしたワークの検出処理を行う。
画像処理手段２３は、マイクロコンピュータ、メモリー及びＲＯＭ等によって構成され、ＲＯＭにはワーク１２の３次元位置を算出するためのプログラム等が格納されている。

また、画像処理手段２３には、サーボモータ１９及びロボット１３に指令信号を送信して動作制御を行う制御手段２４が信号接続されている。
制御手段２４は、サーボモータ１９に停止用の指令信号を送信してベルトコンベア１４を停止させ、画像処理手段２３に指令信号を送信してカメラ１５、１６に停止中のコンテナ１１を撮像させる。
制御手段２４は、画像処理手段２３にカメラ１５、１６によって撮像された画像に基づいてコンテナ１１内のワーク１２の３次元位置を算出させ、ロボット１３にワーク取出し位置１８にあるコンテナ１１に収容されているワーク１２を順次、収容先のコンテナ内に移動させる。そして、ワーク取出し位置１８にあるコンテナ１１から必要数のワーク１２を取出した後、制御手段２４は、作動用の指令信号をサーボモータ１９に送信して、ベルトコンベア１４上のコンテナ１１を移動ピッチＰだけ移動させる。

カメラ１６は、図１に示すように、コンテナ１１の移動方向に沿ってカメラ１５の上流側に設けられ、ワーク取出し位置１８よりコンテナ１１の移動ピッチＰ分上流側にあるコンテナ１１の少なくとも下流側半分を撮像可能な位置に配置されている。
以下、ワーク取出し位置１８よりコンテナの移動ピッチＰ分上流側にあるコンテナ１１の位置を取出し手前位置２５ともいう。

また、カメラ１６の配置位置は、カメラ１６がワーク取出し位置１８にあるコンテナ１１の少なくとも上流側半分を撮像可能な位置でもある。
従って、カメラ１６は、１つの画面中に取出し手前位置２５にあるコンテナ１１の少なくとも下流側半分とワーク取出し位置１８にあるコンテナ１１の少なくとも上流側半分を撮像することができる。

画像処理手段２３は、取出し手前位置２５にあったコンテナ１１をカメラ１６によって撮像した画像と、その後に移動ピッチＰ移動しワーク取出し位置１８に配置された同じコンテナ１１（即ち取出し手前位置２５でカメラ１６によって撮像されたコンテナ１１）をカメラ１５によって撮像した画像を基にして、ワーク取出し位置１８に配置されたコンテナ１１内の、下流側半分にあるワーク１２の３次元位置を算出する。
そして、画像処理手段２３は、ワーク取出し位置１８にあるコンテナ１１をカメラ１５、１６で撮像した各画像を基にしてワーク取出し位置１８に配置されたコンテナ１１内の上流側半分にあるワーク１２の３次元位置を算出する。

以下、ベルトコンベア１４によるコンテナ１１の移動方向にＹ軸をとり、垂直（鉛直）方向にＺ軸をとり、Ｙ軸及びＺ軸に対して直交する方向にＸ軸をとって、ワーク１２の３次元位置の算出方法を説明する。
カメラ１５、１６は、撮像中心方向がＺ軸に沿い、かつ、カメラ１５、１６によって撮像される各画像の左右方向及び上下方向が、それぞれＸ軸及びＹ軸に沿う（図４、図５参照）ように向きが調整されている。
なお、ベルトコンベア１４上のコンテナ１１は、Ｙ軸のマイナス向きに移動する（図１、図２参照）。

画像処理手段２３は、カメラ１５によって撮像した画像中のワーク１２の平面位置（即ち２次元位置）から、ワーク取出し位置１８にあるコンテナ１１内の各ワーク１２のＸＹ座標を算出し、カメラ１５、１６によって撮像された２つの画像からワーク取出し位置１８にあるコンテナ１１内の各ワーク１２のＺ座標を算出する。
従来、ワークのＺ座標は、対となるカメラでワークを撮像した画像を基に算出可能であることが知られており、その算出式は式１に示す通りである。
Ｚ＝（Ｓ×Ｒ）／△Ｙ （式１）

Ｓは対となるカメラの各光学中心間の距離、Ｒは対となるカメラの焦点距離、△Ｙは視差である。
本実施の形態では、図６に示すように、対となるカメラ１５、１６の光学中心間の距離はｓ１である。
焦点距離は、カメラモデルにおいて光学中心とカメラが撮像する画像間の距離であり、カメラ１５、１６は焦点距離が等しく共にｒ１である。
視差は、対となるカメラで同一のワークを撮像した際に、一方のカメラの画像中におけるそのワークの位置と他方のカメラの画像中におけるそのワークの位置の差である。本実施の形態では、カメラ１５、１６によって平行ステレオカメラが構成されており、カメラ１５、１６によって撮像された同一のワーク１２は、各画像中でのＸ座標が等しい。従って、カメラ１５、１６の各画像中でのＹ座標の差が視差になる。

カメラ１５、１６はベルトコンベア１４が停止中に撮像を行い、カメラ１５は、図４（Ａ）に示すようにコンテナ１１全体を撮像し、カメラ１６は、図４（Ｂ）に示すようにワーク取出し位置１８にあるコンテナ１１の上流側半分と取出し手前位置２５にあるコンテナ１１の下流側半分を撮像する。
画像処理手段２３は、カメラ１５の画像中における各ワーク１２の平面位置から、ワーク取出し位置１８にあるコンテナ１１内の全てのワーク１２についてＸＹ座標を算出する。

また、画像処理手段２３は、ワーク取出し位置１８にあるコンテナ１１の上流側半分に収容されているワーク１２とワーク取出し位置１８にあるコンテナ１１の下流側半分に収容されているワーク１２に分けて、ワーク１２のＺ座標を算出する。
同じタイミング（即ちベルトコンベア１４が停止してから作動するまでの間のタイミング）で撮像されたカメラ１５、１６の各画像には共に、図４（Ａ）、（Ｂ）に示すようにワーク取出し位置１８にあるコンテナ１１の上流側半分に収容されたワーク１２が全て映っている。画像処理手段２３は、コンテナ１１の上流側半分に収容された全てのワーク１２について、カメラ１５の画像中の平面位置とカメラ１６の画像中の平面位置とを基に視差を求める。そして、画像処理手段２３は、この求めた視差とＳ＝ｓ１、Ｒ＝ｒ１を式１に代入してワーク取出し位置１８にあるコンテナ１１の上流側半分に収容されたワーク１２全てについてＺ座標を算出する。

ワーク取出し位置１８にあるコンテナ１１の下流側半分に収容されたワーク１２は、図５（Ａ）に示すカメラ１５で撮像した最新の画像とワーク取出し位置１８にあるコンテナ１１が取出し手前位置２５に停止していた際（以下、「１つ前のタイミング」ともいう）にカメラ１６で撮像した図５（Ｂ）に示す画像に映っている。
このため画像処理手段２３は、カメラ１５の最新の画像とカメラ１６が１つ前のタイミングで撮像した画像を用いて、各画像中におけるワーク１２の平面位置から、コンテナ１１の下流側半分にあるワーク１２それぞれについて視差を求める。そして、画像処理手段２３は、この求めた視差を基に式１によってワーク取出し位置１８にあるコンテナ１１の下流側半分に収容されたワーク１２のＺ座標を算出する。

このとき、式１のＲにはｒ１が代入され、ＳにはＰ−ｓ１が代入される（Ｐはコンテナ１１の移動ピッチ）。Ｓにｓ１ではなく、Ｐ−ｓ１を代入するのは、取出し手前位置２５でカメラ１６によって撮像されたコンテナ１１がワーク取出し位置１８に移動してカメラ１５で撮像されるためである。本実施の形態では、カメラ１５、１６の光学中心間の距離ｓ１がコンテナ１１の移動ピッチＰの半分（即ちＰ＝２×ｓ１）になる位置に、カメラ１５、１６を配置しており、結局のところＳにはｓ１が代入される。

また、ワーク１２の視差を求める際、画像処理手段２３は、カメラ１５によって撮像された複数のワーク１２とカメラ１６によって撮像された複数のワーク１２について、ワーク１２ごとに対応付け、即ち同一のワーク１２の特定が必要となる。
このワーク１２の対応付けは、カメラ１５、１６の各画像中におけるワーク１２の平面位置を基にして行われる。例えば、図４（Ｂ）に示すカメラ１６の画像中で”Ｗ１”を付したワーク１２は、その画像中での位置から、図４（Ａ）に示すカメラ１５の画面中で”Ｗ１”を付したワーク１２であるという対応付けが可能である。また、１つ前のタイミングでカメラ１６によって撮像された図５（Ｂ）に示す”Ｗ２”を付したワーク１２は、その画像中での平面位置から、カメラ１５の最新の画面中で図５（Ａ）に示す”Ｗ２”を付したワーク１２であるという対応付けができる。

ここで、カメラ１５、１６からベルトコンベア１４上のコンテナ１１までの距離に着目すると、その距離を短くすれば、カメラ１５、１６の各画像中に映るワーク１２の大きさは大きくなって、パターンマッチングによるワーク１２の検出精度が上昇することになる。
そこで、ワーク１２の３次元位置を算出するアルゴリズムを変えず、カメラ１５、１６を同一高さに配置するという前提で、カメラ１５、１６とベルトコンベア１４上のコンテナ１１の距離を最も近くする条件について考えると、以下に示す条件となる。
（１）カメラ１５の撮像中心をワーク取出し位置１８にあるコンテナ１１の中心に配置する。
（２）カメラ１６の撮像中心をワーク取出し位置１８にあるコンテナ１１と取出し手前位置２５にあるコンテナ１１の中間点に配置する。
（３）上記（１）、（２）の条件を満たした上で、カメラ１５がワーク取出し位置１８にあるコンテナ１１全体を撮像可能で、しかもカメラ１６がワーク取出し位置１８にあるコンテナ１１の上流側半分及び取出し手前位置２５にあるコンテナ１１の下流側半分を撮像可能な高さに、カメラ１５、１６をそれぞれ配置する。

また、画像処理手段２３は、ワーク取出し位置１８にあるコンテナ１１内に収容された各ワーク１２の３次元位置をそれぞれ算出した後、その算出結果を制御手段２４に送信する。
制御手段２４は、画像処理手段２３が算出した各ワーク１２の３次元位置を基にして、ワーク１２ごとにロボット１３が吸引部１７によってワーク１２を吸着保持可能な吸引部１７の配置目標位置（以下、「吸引部配置目標位置」ともいう）を決定する。
そして、制御手段２４は、ロボット１３を動かしてロボット１３の吸引部１７を一のワーク１２に対応する吸引部配置目標位置に配置し、吸引部１７に吸引を行わせてそのワーク１２を吸着保持させ、収容先のコンテナに移動する。このようにして、コンテナ１１内のワーク１２は順次収容先のコンテナに移動される。

本実施の形態では、画像処理手段２３によって算出されたワーク１２の３次元位置に対して上方（真上）に予め定められた間隔を有する位置を吸引部配置目標位置としている。ロボット１３の吸引部１７は、吸引部配置目標位置に配置され、吸引を行ってワーク１２を吸着保持する。このようにワーク１２まで間隔を有する位置を吸引部配置目標位置にすることによって、ロボット１３の吸引部１７が吸引を行う際にワーク１２を押さえ付けて破損等するのを回避できる。
吸引部配置目標位置はワークの上方位置に限定されず、吸引を行う際のワークに対するロボットの吸着部の位置に応じて決定することができる。例えば、ロボットの吸引部がワークを斜め上から吸引する場合、画像処理手段が算出したワークの３次元位置に対し、斜め上の方向に予め定められた間隔を有する位置が吸引部配置目標位置となる。
なお、制御手段２４は、マイクロコンピュータ、メモリー及びＲＯＭ等によって構成され、ＲＯＭには吸引部配置目標位置を決定するためのプログラム等が格納されている。

以上、２台のカメラを有する立体視ロボットピッキング装置１０について説明したが、カメラを３台用いてコンテナ１１内のワーク１２の３次元位置を検出し、吸引部配置目標位置を決定することもできる。
立体視ロボットピッキング装置１０の変形例である立体視ロボットピッキング装置１０ａは、図７に示すように、３台のカメラ１５、１６ａ、１６ｂ（即ち、１台のカメラＡと２台のカメラＢ）を備えている。立体視ロボットピッキング装置１０ａは、主としてカメラ数が多い点及びワーク１２のＺ座標の算出に用いる画像が異なる点で立体視ロボットピッキング装置１０と相違するが、その他の多くの点において立体視ロボットピッキング装置１０と同じである。
なお、立体視ロボットピッキング装置１０と同一の構成要素については同一の符号を付して詳しい説明を省略する。

カメラ１６ａ（一方のカメラＢ）及びカメラ１６ｂ（他方のカメラＢ）は、撮像中心方向がカメラ１５の撮像中心方向と実質的に平行であり、ワーク取出し位置１８にあるコンテナ１１を部分的に撮像する。
カメラ１６ａ、１５、１６ｂは、固定部材２２ａを介して支持フレーム２１に実質的に同じ高さ位置で取り付けられ、コンテナ１１の移動方向に沿って順に配置されている。カメラ１６ａ、１５、１６ｂは同一仕様のカメラである。
カメラ１６ａは、ワーク取出し位置１８にあるコンテナ１１の少なくとも上流側半分を撮像可能な位置に配置され、カメラ１６ｂはワーク取出し位置１８にあるコンテナ１１の少なくとも下流側半分を撮像可能な位置に配置されている。

カメラ１５、１６ａ、１６ｂは画像処理手段に信号接続されており、その画像処理手段は、ワーク取出し位置１８にあるコンテナ１１をカメラ１５及びカメラ１６ａで撮像した各画像を基に、ワーク取出し位置１８に配置されたコンテナ１１内の上流側半分にあるワーク１２の３次元位置を算出する。
また、画像処理手段は、ワーク取出し位置１８にあるコンテナ１１をカメラ１５及びカメラ１６ｂで撮像した各画像を基に、ワーク取出し位置１８に配置されたコンテナ１１内の下流側半分にあるワーク１２の３次元位置を算出する。

カメラ１５、１６ａの光学中心間の距離をｓ１’、カメラ１５、１６ｂの光学中心間の距離をｓ２’とすると、コンテナ１１内の上流側半分にあるワーク１２のＺ座標は、カメラ１５、１６ａの各画像中のワーク１２の視差とＳ＝ｓ１’、Ｒ＝ｒ１を式１に代入することによって算出される。なお、カメラ１６ａ、１６ｂの焦点距離はカメラ１５と同じｒ１である。
また、コンテナ１１内の下流側半分にあるワーク１２のＺ座標は、カメラ１５、１６ｂの各画像中のワーク１２の視差とＳ＝ｓ２’、Ｒ＝ｒ１を式１に代入することによって算出できる。
カメラ１５、１６ａの光学中心間の距離ｓ１’及びカメラ１５、１６ｂの光学中心間の距離ｓ２’を同値（ｓ１’＝ｓ２’）にすることによって、式１のＳが１つの値になり演算処理の設計等の簡略化を図ることができる。

以上、本発明の実施の形態を説明したが、本発明は、上記した形態に限定されるものでなく、要旨を逸脱しない条件の変更等は全て本発明の適用範囲である。
例えば、ロボットは、パラレルリンクロボットに限定されず、パラレルリンクロボット以外のロボット、例えば多関節ロボット等を用いることが可能である。
また、ワークの３次元位置を検出するために用いられる複数のカメラ（カメラＡとカメラＢ）の配置関係は、ワークの３次元位置を検出できれば、平行ステレオカメラを形成する配置でなくてもよい。

１０、１０ａ：立体視ロボットピッキング装置、１１：コンテナ、１２：ワーク、１３：ロボット、１４：ベルトコンベア、１５、１６、１６ａ、１６ｂ：カメラ、１７：吸引部、１８：ワーク取出し位置、１９：サーボモータ、２１：支持フレーム、２２、２２ａ：固定部材、２３：画像処理手段、２４：制御手段、２５：取出し手前位置

Claims (5)

1. コンテナ内に収容されたワークを順次ロボットによって別位置に移動する立体視ロボットピッキング装置において、
   前記ワークを吸着保持する吸引部が設けられた前記ロボットと、
   前記コンテナを所定ピッチ移動させて、前記吸引部が該コンテナ内に収容された前記ワークを吸着保持可能なワーク取出し位置まで該コンテナを送る移動手段と、
   前記ワーク取出し位置にある前記コンテナ全体を撮像する１台のカメラＡと、
   前記ワーク取出し位置にある前記コンテナを部分的に撮像する１台又は２台のカメラＢと、
   前記カメラＡ、Ｂで撮像した各画像中の前記ワークの２次元位置から該ワークの３次元位置を算出する画像処理手段と、
   前記画像処理手段で算出した前記ワークの３次元位置を基に前記吸引部の配置目標位置を決定し、前記ロボットを動かして前記ワークを吸着保持させる制御手段とを有し、
   前記カメラＡ、Ｂは、前記コンテナの移動方向に沿って配置され、前記画像処理手段は、前記カメラＡ、Ｂが撮像した各画像中での前記ワークをパターンマッチングによって検出して、前記カメラＡ、Ｂにより撮像された該ワークの各画像中の２次元位置を算出することを特徴とする立体視ロボットピッキング装置。
2. 請求項１記載の立体視ロボットピッキング装置において、前記カメラＢは、１台であって、前記コンテナの移動方向に沿って前記ワーク取出し位置より前記コンテナの移動ピッチ分上流側にある前記コンテナの、少なくとも下流側半分を撮像可能で、かつ、前記ワーク取出し位置にある前記コンテナの、少なくとも上流側半分を撮像可能な位置に配置され、
   前記画像処理手段は、前記コンテナの移動方向に沿って前記ワーク取出し位置より前記コンテナの移動ピッチ上流側にあった前記コンテナを前記カメラＢによって撮像した画像と前記ワーク取出し位置にある該コンテナを前記カメラＡによって撮像した画像を基に、前記ワーク取出し位置に配置された前記コンテナ内の、下流側半分にある前記ワークの３次元位置を算出し、前記ワーク取出し位置にある該コンテナを前記カメラＡ、Ｂで撮像した各画像を基に、前記ワーク取出し位置に配置された前記コンテナ内の、上流側半分にある前記ワークの３次元位置を算出することを特徴とする立体視ロボットピッキング装置。
3. 請求項１記載の立体視ロボットピッキング装置において、前記カメラＢは２台あって、一方の該カメラＢは、前記ワーク取出し位置にある前記コンテナの、少なくとも前記コンテナの移動方向の上流側半分を撮像可能な位置に配置され、他方の前記カメラＢは前記ワーク取出し位置にある前記コンテナの、少なくとも下流側半分を撮像可能な位置に配置され、
   前記画像処理手段は、前記ワーク取出し位置にある前記コンテナを前記カメラＡ及び前記一方のカメラＢで撮像した各画像を基に、前記ワーク取出し位置に配置された前記コンテナ内の上流側半分にある前記ワークの３次元位置を算出し、前記ワーク取出し位置にある前記コンテナを前記カメラＡ及び前記他方のカメラＢで撮像した各画像を基に、前記ワーク取出し位置に配置された前記コンテナ内の下流側半分にある前記ワークの３次元位置を算出することを特徴とする立体視ロボットピッキング装置。
4. 請求項１〜３のいずれか１項に記載の立体視ロボットピッキング装置において、前記制御手段は、前記画像処理手段によって算出された前記ワークの３次元位置まで予め定められた間隔を有する位置を前記吸引部の配置目標位置として決定することを特徴とする立体視ロボットピッキング装置。
5. 請求項１〜４のいずれか１項に記載の立体視ロボットピッキング装置において、前記カメラＡ、Ｂの各撮像方向は平行であることを特徴とする立体視ロボットピッキング装置。

Images