JP2017100214A - マニピュレータシステム、撮像システム、対象物の受け渡し方法、及び、マニピュレータ制御プログラム - Google Patents

Abstract

【課題】未整理状態の複数の対象物の中から選択される対象物を取り出し、その対象物を所定の受け部へ所定の向きで受け渡すという一連の作業の自動化を、低コストで実現することを課題とする。
【解決手段】マニピュレータ装置１０と、置き部１に置かれた複数の対象物の三次元情報に基づいて、該置き部からマニピュレータ装置によって取り出すべき対象物を認識する取出用認識手段４０と、マニピュレータ装置が取り出した対象物の向きを認識する向き認識手段４０と、前記取出用認識手段が認識した対象物をマニピュレータ装置で保持して置き部の外部へ取り出すようにマニピュレータ装置を制御する取り出し制御、及び、そのマニピュレータ装置が取り出した対象物を所定の向きで受け部２へ受け渡すように、前記向き認識手段による認識結果を用いて当該マニピュレータ装置を制御する受け渡し制御を実行する制御手段とを有する。
【選択図】図３

Description

本発明は、マニピュレータシステム、撮像システム、対象物の受け渡し方法、及び、マニピュレータ制御プログラムに関するものである。

従来、所定のトレイあるいは容器などの置き部に山積みされた複数のワークの中から選択される１つのワークをマニピュレータ装置で保持して所定の場所へ取り出すマニピュレータシステムが知られている。

例えば、特許文献１には、コンベアベルト上の多数の物体をカメラで撮像し、その撮像画像に基づいて選択される物体をロボットのグリッパで把持して対象容器へ仕分けするように、ロボット（マニピュレータ装置）を制御するロボットシステムが開示されている。

近年、複数のワークの中から選択されるワークを所定の受け部へ受け渡す作業をマニピュレータ装置で自動化するマニピュレータシステムでは、ワーク（対象物）を受け部に対して所定の向きで受け渡す作業をマニピュレータ装置で自動化することが求められている。特に、その自動化にあたっては、互いに重なるように置かれた未整理状態（山積み状態など）の複数の対象物の中から選択される対象物を取り出すという作業と、その対象物を受け部に対して所定の向きで受け渡すという作業とを、一連の作業として、低コストで自動化できるマニピュレータシステムが求められている。

上述した課題を解決するために、本発明は、複数の対象物が置かれた置き部から対象物を取り出すマニピュレータ装置と、前記置き部に置かれた複数の対象物の三次元情報に基づいて、該置き部から前記マニピュレータ装置によって取り出すべき対象物を認識する取出用認識手段と、前記マニピュレータ装置が取り出した対象物の向きを認識する向き認識手段と、前記取出用認識手段が認識した対象物を前記マニピュレータ装置で保持して前記置き部の外部へ取り出すように該マニピュレータ装置を制御する取り出し制御、及び、該マニピュレータ装置が取り出した対象物を所定の向きで受け部へ受け渡すように、前記向き認識手段による認識結果を用いて該マニピュレータ装置を制御する受け渡し制御を実行する制御手段とを有することを特徴とする。

本発明によれば、未整理状態の複数の対象物の中から選択される対象物を取り出し、その対象物を所定の受け部へ所定の向きで受け渡すという一連の作業の自動化を、低コストで実現できるという優れた効果が奏される。

実施形態における部品検査システムの斜視図である。 同部品検査システムの外装カバーを取り外した状態の斜視図である。 同部品検査システムにおけるピッキングロボットの構成を示す斜視図である。 同ピッキングロボットにおけるハンド部のワーク吸着部側から見た斜視図である。 ワークを保持した状態のハンド部を示す、図４とは別方向から見た斜視図である。 （ａ）は同ハンド部のピッキング姿勢を示し、（ｂ）は同ハンド部の受け渡し姿勢を示す説明図である。 同ピッキングロボットの主要部分に関わる制御ブロックである。 同ピッキングロボットにおけるステレオカメラの撮像領域を示す説明図である。 同ステレオカメラによる距離の測定原理を説明する説明図である。 同ピッキングロボットの動作制御の流れを示すフローチャートである。 （ａ）は、ワークの一例であるコネクタを示す斜視図である。（ｂ）は、同コネクタをコネクタピン側から見た斜視図である。 各種ワークがセットされた状態のパレットを示す斜視図である。 変形例１において、ステレオカメラにおける基準カメラの撮像領域を示す説明図である。 変形例１において、同ステレオカメラにおける比較カメラの撮像領域を示す説明図である。 変形例２におけるカメラの撮像領域とパターン投射装置によるパターン投射エリアとを示す説明図である。

以下、本発明に係るマニピュレータシステムを適用した部品検査システムの一実施形態について説明する。
図１は、本実施形態における部品検査システムの斜視図である。
図２は、本実施形態における部品検査システムの外装カバーを取り外した状態の斜視図である。

本実施形態における部品検査システムは、マニピュレータシステムであるピッキングロボット１００と、外観検査装置２００及びマガジン収容部３００とから構成されている。ピッキングロボット１００は、置き部である山積みトレイ１上に山積みされた複数のワークの中から選択されるワークを取り出し、そのワークを受け部であるパレット２の対応箇所に所定の向きでセットする（受け渡す）という一連の作業をマニピュレータ装置１０で自動的に実施するものである。ピッキングロボット１００の詳細な構成及び動作については後述する。

ワークがセットされたパレット２は、パレット移送機構３０によって、ピッキングロボット１００から外観検査装置２００へと移送される。外観検査装置２００は、パレット２を上方から撮像する外観認識手段である検査カメラや、その検査カメラによって撮像した撮像画像に基づき、外観検査処理を実行するパソコン等の外観検査処理装置２０２などで構成される。本実施形態の外観検査装置２００では、パレット２上にワークが正しい向きでセットされているか、パレット２にセットされたワークに外観上の異常がないかなどの外観検査処理を実行する。この外観検査処理において異常が検出された場合、外観検査処理装置２０２は、異常報知手段であるモニター２０１等の表示手段を制御して、作業者に対して異常を報知する。本実施形態では、異常が検出されたワークの画像がモニター２０１に表示され、作業者は、そのモニター２０１で異常を目視確認できる。

外観検査装置２００の検査をパスしたパレット２、あるいは、外観検査装置２００での異常を解消したパレット２は、パレット移送機構３０によって、外観検査装置２００からマガジン収容部３００へと移送される。マガジン収容部３００には、複数のマガジン３が積み重ねて保管されるマガジン棚３０１が設けられている。外観検査装置２００から移送されてくるパレット２は、マガジン棚３０１に積み重ねられているマガジン３へ順次収容される。パレット２が収容されたマガジン３の数が所定数に達したら、作業者は、積み重なった状態のマガジン３をマガジン収容部３００から取り出し、後段の処理装置へと運ぶ。

本実施形態では、後段の処理装置において電子部品を実装する電子回路基板を製造するものである。したがって、本実施形態におけるワークは、基板上に実装されるコネクタ類、あるいは、インダクタ、コンデンサ、抵抗等の回路部品、あるいは、ＩＣチップ等の電子部品など、基板上に実装される各種部品である。なお、本実施形態におけるワークの種類は、後段の処理装置で行う処理内容などによって変わるものであり、受け部であるパレット２に対して所定の向きでセットする必要がある対象物（非対称形状をもつ非対称物であっても、対称形状をもつ対称物であってもよい。）であれば、特に制限はない。したがって、基板上に実装される部品に限らず、セットすべき向きが決められているあらゆるワークが対象物となり得る。

次に、本実施形態におけるピッキングロボット１００の構成及び動作について説明する。
図３は、本実施形態におけるピッキングロボット１００の構成を示す斜視図である。
本実施形態のピッキングロボット１００には、５軸のマニピュレータ装置１０と、パレット２を外観検査装置２００へ移送するパレット移送機構３０と、取出用認識手段を構成する撮像手段としてのステレオカメラ４０と、ステレオカメラ４０の撮像領域に向けて所定の測定用光を照射する測定用光照射手段としてのパターン画像投射手段であるパターン投射装置５０とが備わっている。

マニピュレータ装置１０は、鉛直方向に平行な回転軸回りに回転する第一関節部１１上に、水平方向に平行な回転軸回りに回転する第二関節部１２が取り付けられている。第二関節部１２には第一アーム部１３の一端が取り付けられており、第一関節部１２が駆動すると、第一アーム部１３が第二関節部１２の回転軸回りに回転する。第一アーム部１３の他端には、第二関節部１２の回転軸に平行な回転軸回りに回転する第三関節部１４が取り付けられている。第三関節部１４には、第二アーム部１６を第二アーム部１６の長手方向に平行な回転軸回りに回転させる第四関節部１５が取り付けられている。第四関節部１５には第二アーム部１６の一端が取り付けられている。第三関節部１４が駆動すると、第四関節部１５に取り付けられた第二アーム部１６が第三関節部１４の回転軸回りに回転する。また、第四関節部１５が駆動すると、第二アーム部１６が第四関節部１５の回転軸回りに回転する。第二アーム部１６の他端には、第二アーム部１６の長手方向に対して直交する方向に平行な回転軸回りに回転する第五関節部１７が取り付けられている。この第五関節部１７には保持部としてのハンド部２０が取り付けられている。第五関節部１７が駆動すると、ハンド部２０が第五関節部１７の回転軸回りに回転する。

図４は、ハンド部２０のワーク吸着部側から見た斜視図である。
図５は、ワークＷを保持した状態のハンド部２０を示す、図４とは別方向から見た斜視図である。
本実施形態におけるハンド部２０は、ワークＷをワーク吸着部２１にエア吸引により吸着して保持するものである。なお、ワークＷを保持できる構成であれば、磁気力等によりワークＷを吸着する構成、把持部でワークＷを把持する構成など、あらゆる保持の構成を採用することができる。

本実施形態におけるハンド部２０は、エア吸着用の吸引孔２２が開口したワーク吸着面を有するワーク吸着部２１を備えている。ワーク吸着部２１の内部には、ワーク吸着用ポンプ２４に接続される接続口２１ｂと各吸引孔２２とを連通させるエア吸引通路が形成されている。ハンド部２０は、ワーク吸着用ポンプ２４を駆動して吸引孔２２に吸い込み気流を生じさせることにより、ワークＷをワーク吸着部２１のワーク吸着面に吸着してピックアップできる。また、ワーク吸着用ポンプ２４を停止することで、ワーク吸着面からワークＷをリリースすることができる。

また、本実施形態において、ハンド部２０のワーク吸着面に対するワークＷの保持位置は、次のようにして位置決めされる。まず、ハンド部２０でワークＷをピックアップする際、ワークＷの側面がワーク吸着面上の規制壁２３に当接するようにピックアップして保持することにより、規制壁２３の壁面法線方向におけるワークＷの保持位置が位置決めされる。また、ワークＷを保持した後、ハンド部２０に搭載されているワーク保持位置調整装置２５を駆動して、ワーク吸着面上のワークＷを挟持アーム２５ａ，２５ｂにより挟み込むことにより、規制壁２３の壁面平行方向におけるワークＷの保持位置が、ワーク吸着面の中央位置に位置決め（センタリング）される。

なお、ハンド部２０のワーク吸着面に対するワークＷの保持位置は、山積みトレイ１からワークＷをピックアップする際に、そのワークＷの位置や姿勢等を高精度に検出できる場合には、ワークＷをピックアップする時点で位置決めを完了することも可能である。そのような場合には、ハンド部２０に対するワークＷの保持位置を調整する調整手段（規制壁２３、ワーク保持位置調整装置２５など）は、必ずしも必要ではない。

また、本実施形態のハンド部２０には、ワーク吸着部２１をハンド部２０上の回転軸２１ａの回りで回転させるハンド回転機構２６が設けられている。ハンド回転機構２６を駆動させることにより、ハンド部２０に保持されているワークＷの姿勢を、図６（ａ）に示すピッキング姿勢から、図６（ｂ）に示す受け渡し姿勢へと変化させることができる。ここでいうピッキング姿勢とは、マニピュレータ装置１０が各関節部１１，１２，１４，１５，１７を駆動して、ハンド部２０のワーク吸着部２１でワークＷをピックアップして保持するための姿勢である。一方、受け渡し姿勢とは、各関節部１１，１２，１４，１５，１７の駆動によりパレット２の対応箇所へワークＷをセットする（受け渡す）位置にハンド部２０を移動させたときにワーク吸着部２１に保持されたワークＷの向きが所定の向きとなる姿勢である。

なお、本実施形態のマニピュレータ装置１０であれば、各関節部１１，１２，１４，１５，１７を駆動することにより、ハンド回転機構２６を用いることなく、ハンド部２０に保持されているワークＷの姿勢を、図６（ａ）に示すピッキング姿勢から図６（ｂ）に示す受け渡し姿勢へと変化させることが可能である。しかしながら、このようなワークＷの姿勢変化を、各関節部１１，１２，１４，１５，１７の駆動によって実現しようとすると、マニピュレータ装置１０の周囲に存在する物体との干渉を回避するための演算処理等が必要になり、複雑な制御を要するうえ、必要な関節動作の時間も長い。そのため、ハンド部２０のハンド回転機構２６で実現する場合と比較して、その姿勢変化を完了するまでに比較的時間がかかってしまう。本実施形態によれば、ハンド部２０にハンド回転機構２６を設けることにより、図６（ａ）に示すピッキング姿勢から図６（ｂ）に示す受け渡し姿勢への迅速な姿勢変化が可能となり、システム全体の処理時間の短縮化を図ることができる。

図７は、本実施形態におけるピッキングロボット１００の主要部分に関わる制御ブロック図である。
本実施形態のピッキングロボット１００は、各関節部１１，１２，１４，１５，１７をそれぞれ駆動する関節駆動装置５０１〜５０５、ワーク吸着用ポンプ２４と、ワーク保持位置調整装置２５と、ハンド回転機構２６と、パレット移送機構３０と、ステレオカメラ４０と、パターン投射装置５０などを制御するロボット制御部５００を備えている。このロボット制御部５００は、ＣＰＵ等の演算処理部と、演算処理部で用いるデータ等を一時的に保持するＲＡＭ等の一時記憶部などから構成されており、本実施形態における部品検査システムの全体を上位で制御しているシステム制御部６００からの制御命令を受けて、各種制御を実行する。ロボット制御部５００の演算処理部で実行される各種プログラムは、記憶部５０６に記憶されている。この各種プログラムには、ピッキングロボット１００におけるマニピュレータ装置１０、ステレオカメラ４０、パターン投射装置５０等を制御するマニピュレータ制御プログラムが含まれている。

本実施形態では、ピッキングロボット１００の内部に形成されている処理空間の上部にステレオカメラ４０とパターン投射装置５０が配置されている。パターン投射装置５０は、処理空間内の下部に配置されている山積みトレイ１へ上方からパターン画像を投射する。これにより、山積みトレイ１上のワークＷの外面にパターン画像が映し出される。ステレオカメラ４０は、山積みトレイ１上のワークＷや一時載置トレイ４上のワークＷを上方から撮像する。本実施形態では、一定幅の歪みがない縞状パターンからなるパターン画像を用い、これを山積みトレイ１上のワークＷへ投射する。ことにより、山積みトレイ１上に山積みされた複数のワークＷ間の凹凸や個々のワークＷの表面凹凸に応じて縞状パターンに歪みが生じた状態のパターン画像がステレオカメラ４０によって撮像される。

図８は、ステレオカメラ４０の撮像領域を示す説明図である。
ステレオカメラ４０は、少なくとも、基準画像を撮像する基準カメラ４０Ａと比較画像を撮像する比較カメラ４０Ｂの２つのカメラ（撮像部）により、山積みトレイ１上の複数のワークＷを、異なる複数の地点から撮像して、基準画像と比較画像を得る。そして、基準画像と比較画像との視差情報から、三角測量の原理に基づき、山積みトレイ１に山積みされた複数のワークＷの表面上の各地点までの距離を導出し、その距離（視差値）に応じた画素値をもつ視差画像（距離画像）の情報（三次元情報）を生成する。ステレオカメラ４０で得られる視差画像情報から、山積みトレイ１の上方から視認できるいくつかのワークＷの三次元形状データを取得することができる。なお、視差画像情報の取得に関し、パターン画像の投射は必ずしも必要ではない。

図９は、ステレオカメラ４０による距離の測定原理を説明する説明図である。
ステレオカメラ４０の基準カメラ４０Ａと比較カメラ４０Ｂは、それぞれ、画像センサ４１Ａ，４１Ｂ及びレンズ４２Ａ，４２Ｂをそれぞれ備えている。基準カメラ４０Ａで撮像された基準画像と比較カメラ４０Ｂで撮像された比較画像には、撮像対象物であるワークＷ上の同一地点Ｗｏが、各カメラ４０Ａ，４０Ｂの画像センサ４１Ａ，４１Ｂ上の異なる位置に結像される。画像センサ４１Ａ，４１Ｂ上での結像位置の差（視差）をｄとし、これらのカメラ４０Ａ，４０Ｂ間の距離をＢとし、各カメラ４０Ａ，４０Ｂの焦点距離をｆとしたとき、画像センサ４１Ａ，４１Ｂのセンサ面から測定地点Ｗｏまでの距離Ｚは、下記の式（１）から求めることができる。Ｂとｆは予め決まっているため、基準画像と比較画像から視差ｄを算出することにより、ワークＷ上の各地点までの距離を算出することができる。
Ｚ ＝ Ｂ × ｆ／ｄ ・・・（１）

図１０は、本実施形態におけるピッキングロボット１００の動作制御の流れを示すフローチャートである。
本実施形態におけるピッキングロボット１００の動作制御では、山積みトレイ１に山積みされた複数のワークＷからピックアップ対象のワークＷを取り出す作業を行う取出制御モードと、取り出したワークＷを所定の向きでパレット２へセットするセット作業を行うセット制御モードとを実行する。

システム制御部６００からロボット制御部５００にピッキング処理の実行命令が入力されると、ロボット制御部５００は、取出制御モードを実行し、まず、パターン投射装置５０を制御してパターン画像を投射させる（Ｓ１）。これにより、山積みトレイ１に山積みされた複数のワークＷにパターン画像が映し出される。その後、ロボット制御部５００は、ステレオカメラ４０を制御して、山積みトレイ１に山積みされた複数のワークＷを撮像し（Ｓ２）、ステレオカメラ４０から出力される三次元情報としての視差画像情報（距離画像情報）を取得する（Ｓ３）。

ロボット制御部５００は、取得した視差画像情報に基づき、山積みトレイ１に山積みされた複数のワークＷの中から、所定のピックアップ条件を満たすワークＷを特定し、そのワークＷをハンド部２０のワーク吸着面に吸着させるためにハンド部２０が位置すべきピックアップ位置とワーク吸着面の向き（ピックアップ姿勢）を算出する（Ｓ４）。

その算出方法としては、例えば、予めワークＷの三次元形状データ（ＣＡＤデータ等）を記憶部５０６に記憶しておき、視差画像情報から得られたいくつかのワークＷの三次元形状データを、記憶部５０６の三次元形状データとパターンマッチングする方法が挙げられる。この方法では、パターンマッチングにより特定されたワークＷの位置や姿勢に応じ、ピックアップ位置及びピックアップ姿勢を算出する。このとき、複数のワークＷの位置や姿勢（向き）がパターンマッチングにより特定された場合には、例えば、その中で最も距離が短いという条件、すなわち、山積みトレイ１に山積みされた複数のワークＷの中で最も上に位置するという条件を満たす１つのワークＷを特定する。

また、別の算出方法としては、例えば、記憶部５０６の三次元形状データ（ＣＡＤデータ等）を用いない方法も挙げられる。具体的には、例えば、視差画像情報に基づき、ハンド部２０のワーク吸着面に吸着可能な面積をもつ面領域を特定し、特定した面領域に応じたピックアップ位置及びピックアップ姿勢を算出する。ここで、本実施形態では、ワーク吸着面にワークＷを吸着させて保持する構成であるため面領域を特定しているが、保持する構成によっては、その保持する箇所（ワークＷ間の隙間領域やワークＷの頂点など）を特定することが必要となる場合もある。

このようにしてピックアップ位置及びピックアップ姿勢を算出したら、次に、ロボット制御部５００は、ハンド部２０が、算出したピックアップ位置に移動し、そのピックアップ位置で、算出したピックアップ姿勢となるように、マニピュレータ装置１０の目標駆動プロファイルを生成する（Ｓ５）。そして、ロボット制御部５００は、その目標駆動プロファイルに沿って、各関節駆動装置５０１〜５０５を駆動する（Ｓ５）。これにより、最終的に、マニピュレータ装置１０のハンド部２０は、目標のピックアップ位置へ移動するとともに、目標のピックアップ姿勢となる。

このとき、処理空間内に存在する物体とマニピュレータ装置１０とが接触（干渉）しないように、目標駆動プロファイルを生成する必要がある。具体的には、例えば、ロボット制御部５００は、予め記憶部５０６に登録されている障害物情報（処理空間内に固定配置されている物体の位置と形状の情報等）を参照し、マニピュレータ装置１０がこれらの物体と干渉しない経路で移動するように目標駆動プロファイルを生成する。なお、障害物情報に係る物体としては、山積みトレイ１や一時載置トレイ４、ステレオカメラ４０やパターン投射装置等などの周辺機器などである。

記憶部５０６に障害物情報が登録されていない障害物の位置や形状の情報については、例えば、障害物を検知するための障害物検知センサを配置して、その障害物検知センサにより当該障害物の位置や形状の情報を取得するようにしてもよい。この障害物検知センサには、公知のものを広く利用することができる。もし、上述したステレオカメラ４０の撮像領域が処理空間全体にわたる場合には、ステレオカメラ４０を障害物検知センサとして利用することも可能である。

目標駆動プロファイルを生成する具体的な処理内容としては、例えば、まず、最短時間で動作が完了する最短の目標駆動プロファイルを生成した後、障害物情報を参照して、当該目標駆動プロファイルで移動するマニピュレータ装置１０が当該障害物情報に係る物体と接触（干渉）するか否かの干渉判定を行う。この干渉判定で干渉するというエラー結果を受けた場合、ロボット制御部５００は、別の目標駆動プロファイルを生成し、再び干渉判定を行う。そして、干渉判定で干渉しないという結果を受けたら、ロボット制御部５００は、その目標駆動プロファイルに沿って、各関節駆動装置５０１〜５０５を駆動する。

なお、干渉判定で干渉するという結果を受けた場合、ロボット制御部５００は、新たな別の目標駆動プロファイルを生成するのではなく、所定のピックアップ条件を満たす別のワークＷに対応するピックアップ位置及びピックアップ姿勢を読み出し、そのピックアップ位置及びピックアップ姿勢に対応する目標駆動プロファイルを生成するようにしてもよい。

目標駆動プロファイルに従ってマニピュレータ装置１０を駆動し、ハンド部２０が目標のピックアップ位置で目標のピックアップ姿勢となったら、ハンド部２０のワーク吸着部２１におけるワーク吸着面は、山積みトレイ上のワークのうちピックアップ対象であるワークＷの被吸着面と近接対向する。この状態で、ロボット制御部５００は、ワーク吸着用ポンプ２４を駆動して、ワーク吸着部２１のワーク吸着面上の吸引孔２２に吸い込み気流を生じさせる。この吸い込み気流により、そのワークＷは、ワーク吸着部２１のワーク吸着面に吸い寄せられて吸着し、マニピュレータ装置１０にピックアップされる（Ｓ６）。

ロボット制御部５００は、ワーク吸着用ポンプ２４を駆動した後、吸着の状況を確認し、吸着したか否かを確認することが望ましい。本実施形態のようにワーク吸着用ポンプ２４で吸引して吸着する構成であれば、例えば、イジェクタの真空状況を表す信号を用いて吸着の状況を確認することができる。もし、吸着できていないことが判明したら、例えば、そのときのピックアップ位置及びピックアップ姿勢を記憶部５０６に記憶されているＮＧリストに登録したうえで、干渉判定で干渉するというエラー結果を受けた場合と同様、別の目標駆動プロファイルを生成する。

次に、ロボット制御部５００は、このピックアップ位置及びピックアップ姿勢の状態から、一時載置トレイ４上の対応箇所へワークＷをリリースする所定のリリース位置に移動し、そのリリース位置で所定のリリース姿勢となるように、マニピュレータ装置１０の目標駆動プロファイルを生成する（Ｓ７）。そして、ロボット制御部５００は、その目標駆動プロファイルに沿って、各関節駆動装置５０１〜５０５を駆動する（Ｓ７）。これにより、最終的に、マニピュレータ装置１０のハンド部２０は、ピックアップしたワークＷを一時載置トレイ４の対応箇所へリリースするためのリリース位置へ移動するとともに、そのリリース位置で所定のリリース姿勢となる。

その後、ロボット制御部５００は、ワーク吸着用ポンプ２４を停止する。これにより、ワーク吸着部２１のワーク吸着面上に吸着しているワークＷが自重によりワーク吸着面から離脱してリリースされ、一時載置トレイ４の上に載置される（Ｓ８）。以上で、取出制御モードが終了し、次に、セット制御モードへ移行する。

ここで、本実施形態においては、山積みトレイ１に山積みされた複数のワークＷからピックアップしたワークＷを、パレット２の対応箇所に所定の向きでセットする前に、一時載置トレイ４上に一時的にリリースするようにしている。これは、次の理由による。

例えば、図１１（ａ）及び（ｂ）に示すコネクタであるワークＷを、図１２に示すパレット２上の対応溝（対応箇所）２ａに対し、そのワークＷのコネクタピンＷｐが下向きとなるようにセットする場合で説明する。この場合、コネクタ（ワークＷ）のピン配列方向も規定の方向となるように、すなわち、コネクタ（ワークＷ）のピン配列方向を示すマークピンＷａがパレット２上の対応溝２ａに対して予め決められた位置に位置するようにセットする必要がある。

本実施形態では、山積みトレイ１に山積みされた複数のワークＷの中からピックアップ対象のワークＷを特定するにあたり、ステレオカメラ４０の視差画像情報を用いる。この場合、山積みトレイ１に山積みされた複数のワークＷの中から、ピックアップ対象のワークＷの被吸着面の位置や向きを特定することは高精度に実現可能である。しかしながら、ワークＷがどのような向きであるかまでは高精度に特定することが困難である。なぜなら、ステレオカメラ４０による撮像画像中に複数のワークＷが重なり合って映し出されるため、個々のワークＷを他のワークＷと明確に識別することが難しいためである。これは、ステレオカメラ４０による視差画像情報（距離画像情報）を用いる場合に限らず、パターン画像等の所定の測定用光を照射して単一のカメラで撮像して得られる光学画像（輝度画像、偏光画像、特定波長帯のフィルタ画像など）を用いる場合、ＴＯＦ法（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ法）により得られる距離画像情報を用いる場合、位相シフト法により得られる距離画像情報を用いる場合、光切断法により得られる距離画像情報を用いる場合など、撮像手段を用いて画像情報（位置とその位置の特性情報（距離や光学的特性など）とが関連づけられた情報）を得る場合には、同様の理由から、個々のワークＷがどのような向きであるかまでは高精度に特定することが困難である。

特に、コネクタ（ワークＷ）の向きを特定する場合には、コネクタ本体に対するコネクタピンＷｐの向きを特定する必要があるが、コネクタピンＷｐは、それ自体が細くて識別しにくいうえ、他のコネクタ（ワークＷ）の下側に隠れやすいことや、他のコネクタ（ワークＷ）のコネクタピンＷｐと区別して認識しにくいことなどが原因で、コネクタ（ワークＷ）の向きを特定することは困難である。

そのため、本実施形態においては、ピックアップしたワークＷを山積みトレイ１から一旦取り出してから、そのワークＷがどのような向きであるかを特定する処理を行うために、一時載置トレイ４上に一時的にリリースする。この一時載置トレイ４上では、ワークＷが他のワークＷと重ならないように載置されるため、他のワークＷに邪魔されることなく、撮像画像からワークＷの向きを高精度に認識することが可能となる。図１１に示すようなコネクタ（ワークＷ）であっても、コネクタ本体に対するコネクタピンＷｐの向きや、コネクタ（ワークＷ）のピン配列方向を示すマークピンＷａの位置（向き）を、高精度に認識できるので、コネクタ（ワークＷ）の向きを高精度に特定できる。

本実施形態において、ロボット制御部５００は、ピックアップしたワークＷを一時載置トレイ４上の対応箇所にリリースしたら、次に、ステレオカメラ４０を制御して、一時載置トレイ４に載置されたワークＷを撮像する（Ｓ９）。ここで、一時載置トレイ４に載置されたコネクタ（ワークＷ）は、マニピュレータ装置１０のハンド部２０に吸着される被吸着面（コネクタ本体の最大面積をもつ側面）が上向きになった状態で載置されている。この状態において、コネクタピンＷｐ及びマークピンＷａは、コネクタ本体に対して水平方向へ突出した状態となる。この状態においては、コネクタ本体に対するコネクタピンＷｐ及びマークピンＷａの向きを特定するにあたり、ワークＷの高さ情報（上方に配置されているステレオカメラ４０からの距離情報）は不要である。むしろ、上方から撮像される二次元画像情報（光学画像情報）を用いる方が、コネクタ本体に対するコネクタピンＷｐ及びマークピンＷａの向きを高精度に特定することができる。

そこで、本実施形態では、一時載置トレイ４に載置されたワークＷの二次元画像情報（光学画像情報）を取得し、その二次元画像情報からコネクタ本体に対するコネクタピンＷｐ及びマークピンＷａの向きを特定する。より具体的には、一時載置トレイ４に載置されたワークＷの輝度画像情報を取得し（Ｓ１０）、その輝度画像情報に基づき、一時載置トレイ４に載置されたワークＷのコネクタピンＷｐ及びマークピンＷａを識別し、コネクタ本体に対するコネクタピンＷｐ及びマークピンＷａの向きを特定する。

一時載置トレイ４に載置されたワークＷの輝度画像情報は、専用の撮像手段を設置して取得することも可能であるが、本実施形態では、ステレオカメラ４０の撮像領域内に一時載置トレイ４も含まれるように構成されているため、ステレオカメラ４０で取得する。これにより、専用の撮像手段を設置する場合と比べて、部品点数が削減され、低コスト化を実現できる。ステレオカメラ４０で取得する場合、ロボット制御部５００は、ステレオカメラ４０の基準カメラ４０Ａで撮像した撮像画像をステレオカメラ４０から取得すればよい。このとき、パターン投射装置５０により投射されるパターン画像が、一時載置トレイ４に載置されたワークＷのコネクタピンＷｐ及びマークピンＷａの識別や、その向きの特定に悪影響を与えるおそれがある場合には、パターン投射装置５０によるパターン画像の投射をＯＦＦにする。

ワークＷの向きを特定する方法としては、例えば、記憶部５０６に記憶されているワークＷのＣＡＤデータまたはマスター画像データを使用して、ステレオカメラ４０で撮像した輝度画像情報から得られる二次元形状データとパターンマッチング処理を実行する。もし、一時載置トレイ４上に載置されたワークＷの向きを特定するにあたり、ステレオカメラ４０による視差画像情報（距離画像情報）等の三次元情報を用いる場合には、記憶部５０６に記憶されているワークＷのＣＡＤデータを使用して、視差画像情報から得られる三次元形状データとパターンマッチングしてもよい。

なお、ピックアップしたワークＷの向きを特定するための処理は、一時載置トレイ４上に１つのワークＷを載置するたびに実施してよいが、一時載置トレイ４上に複数のワークＷを互いに重ならないように載置すれば、複数のワークをまとめて撮像して各ワークＷの向きを特定するように実施してもよい。

また、本実施形態では、ピックアップしたワークＷの向きを特定するために、一時載置トレイ４上に一時的にワークＷを載置してワークＷの向きを特定する処理を実施するが、マニピュレータ装置１０にワークＷを保持した状態のまま、そのワークＷの向きを特定する処理を実施してもよい。この場合、ピックアップしたワークＷを山積みトレイ１から取り出した後、マニピュレータ装置１０にワークＷを保持した状態のまま、そのワークＷをステレオカメラ４０で撮像し、その撮像画像に基づいてワークＷの向きを特定する。この場合でも、他のワークＷが邪魔されないようにステレオカメラ４０でワークＷを撮像すれば、その撮像画像からワークＷの向きを高精度に認識することが可能となる。

このようにして一時載置トレイ４上のワークＷの向きを特定したら、ロボット制御部５００は、そのワークＷをハンド部２０のワーク吸着面に吸着させるためにハンド部２０が位置すべきピックアップ位置とワーク吸着面の向き（ピックアップ姿勢）を算出するとともに、一時載置トレイ４からピックアップしたワークＷをパレット２の対応箇所に所定の向きでセットするためのセット位置及びセット姿勢を算出する（Ｓ１１）。その後、ロボット制御部５００は、ハンド部２０が、算出したセット位置に移動し、そのセット位置で、算出したセット姿勢となるように、マニピュレータ装置１０の目標駆動プロファイルを生成する（Ｓ１２）。そして、ロボット制御部５００は、その目標駆動プロファイルに沿って、各関節駆動装置５０１〜５０５を駆動する（Ｓ１２）。なお、山積みトレイ１から一時載置トレイ４へのワーク搬送の場合と同様、干渉判定を行って目標駆動プロファイルを生成する。

ここで、一時載置トレイ４上に載置されたコネクタ（ワークＷ）は、コネクタピンＷｐやマークピンＷａの向きによっては、また、コネクタ（ワークＷ）の表裏によっては、そのワークＷをマニピュレータ装置１０でピックアップしてパレット２の対応箇所に所定の向きでセットするために、マニピュレータ装置１０を大きく動かす必要が生じる場合がある。この場合、各関節部１１，１２，１４，１５，１７の駆動量が大きく、必要な関節動作の時間が長くなったり、マニピュレータ装置１０の周囲に存在する物体との干渉を回避する目標駆動プロファイルの生成が複雑化したりするおそれがある。

本実施形態においては、上述したように、ハンド部２０にハンド回転機構２６が設けられており、図６（ａ）に示すピッキング姿勢から図６（ｂ）に示す受け渡し姿勢への迅速な姿勢変化が可能となっている。そのため、ロボット制御部５００は、目標駆動プロファイルの生成にあたり、例えば、各関節部１１，１２，１４，１５，１７の駆動量が規定量以上になる場合や、干渉判定でエラー結果を受けた場合には、ハンド回転機構２６を駆動してピッキング姿勢から受け渡し姿勢へ姿勢変化し、この姿勢変化後の状態で、再び目標駆動プロファイルを生成する。これにより、マニピュレータ装置１０を大きく動かす必要がない目標駆動プロファイルを生成することができ、より迅速にワークＷをパレット２へセットすることが可能となる。

生成した目標駆動プロファイルに従って各関節駆動装置５０１〜５０５を駆動すると、ハンド部２０が所定のピックアップ位置で所定のピックアップ姿勢となり、ハンド部２０のワーク吸着部２１におけるワーク吸着面が、一時載置トレイ４上のワークＷの被吸着面と近接対向する。この状態で、ロボット制御部５００は、ワーク吸着用ポンプ２４を駆動して、ワーク吸着部２１のワーク吸着面上の吸引孔２２に吸い込み気流を生じさせる。この吸い込み気流により、そのワークＷは、ワーク吸着部２１のワーク吸着面に吸い寄せられて吸着し、マニピュレータ装置１０にピックアップされる（Ｓ１３）。

その後、ロボット制御部５００は、目標駆動プロファイルに従って各関節駆動装置５０１〜５０５を駆動することで、マニピュレータ装置１０のハンド部２０が、一時載置トレイ４でピックアップしたワークＷをパレット２の対応箇所へセットするためのセット位置へ移動するとともに、そのセット位置で所定のセット姿勢となる。このとき、ハンド回転機構２６を駆動する場合には、マニピュレータ装置１０が一時載置トレイ４からワークＷをピックアップした後、ハンド部２０がセット位置へ移動するまでの間に、ロボット制御部５００は、ハンド回転機構２６を駆動させる（Ｓ１４）。

マニピュレータ装置１０のハンド部２０がセット位置へ移動して所定のセット姿勢になったら、マニピュレータ装置１０のハンド部２０に保持されているコネクタ（ワークＷ）は、そのコネクタピンＷｐが下向きの状態で、かつ、そのマークピンＷａがパレット２上の対応溝２ａに対して予め決められた位置に位置するように、パレット２上の対応溝２ａに上方から挿入された状態となる。この状態において、ロボット制御部５００は、ワーク吸着用ポンプ２４を停止することで、ワーク吸着部２１のワーク吸着面上に吸着しているワークＷが自重によりワーク吸着面から離脱してリリースされ、パレット２の対応溝２ａに所定の向きでセットされる（Ｓ１５）。

本実施形態によれば、山積みトレイ１に山積みされた複数のワークＷからピックアップ対象のワークＷを取り出す作業と、取り出したワークＷを所定の向きでパレット２へセットする（受け渡す）作業とが、共通のマニピュレータ装置１０によって行われる。したがって、それぞれの作業を個別のマニピュレータ装置によって行われる構成と比較して、部品コストを低く抑えることができる。特に、本実施形態では、それぞれの作業で用いられる撮像手段も、共通の撮像手段（ステレオカメラ４０）を用いているため、更に部品コストを低く抑えることができる。

〔変形例１〕
次に、本実施形態におけるピッキングロボット１００の一変形例（以下、本変形例を「変形例１」という。）について説明する。
図１３は、ステレオカメラ４０における基準カメラ４０Ａの撮像領域を示す説明図である。
図１４は、ステレオカメラ４０における比較カメラ４０Ｂの撮像領域を示す説明図である。
上述した実施形態のピッキングロボット１００において、ステレオカメラ４０により適切な視差画像情報が得られる撮像領域は、図１３に示す基準カメラ４０Ａの撮像領域と図１４に示す比較カメラ４０Ｂの撮像領域とが重複する領域である。より詳しくは、本実施形態のピッキングロボット１００では、山積みトレイ１上に山積みされる複数のワークＷ全体の高さは、予め決められた上限値Ｈｍａｘ以下となるように制限される。この上限値Ｈｍａｘの範囲内において、基準カメラ４０Ａの撮像領域と比較カメラ４０Ｂの撮像領域とが重複する領域は、符号Ｒｗで示す領域となり、この有効撮像領域Ｒｗ内であれば、ステレオカメラ４０により適切な視差画像情報が得られる。したがって、山積みトレイに山積みされた複数のワークの中からピックアップ対象となるワークを視差画像情報により特定する取出制御モード時の処理では、山積みトレイに山積みされた複数のワークがその有効撮像領域Ｒｗ内となるように構成する必要がある。

一方、上述した実施形態のピッキングロボット１００において、一時載置トレイ４上に載置されたワークＷの向きを特定するセット制御モード時の処理では、ステレオカメラ４０の視差画像情報は用いず、ステレオカメラ４０の基準カメラ４０Ａによる輝度画像情報を用いる。この輝度画像情報については、基準カメラ４０Ａの撮像領域内であれば適切な輝度画像情報が得られるので、必ずしも比較カメラ４０Ｂの撮像領域と重複する領域Ｒｗに限られない。すなわち、基準カメラ４０Ａによる輝度画像情報は、図１３の符号Ｒａで示す撮像領域部分（基準カメラ有効撮像領域Ｒａ）であっても、適切に取得することができる。

そこで、本変形例１においては、山積みトレイ１に山積みされた複数のワークについてはステレオカメラ４０の有効撮像領域Ｒｗ内に位置させる一方、一時載置トレイ４に載置されたワークについては、ステレオカメラ４０における基準カメラ有効撮像領域Ｒａ内に位置させるようにしている。すなわち、取出制御モードにおいて、ロボット制御部５００は、山積みトレイ１から取り出したワークＷを、基準カメラ４０Ａの撮像領域のうち、比較カメラ４０Ｂの撮像領域と重複する有効撮像領域Ｒｗとは異なる撮像領域部分（基準カメラ有効撮像領域Ｒａ）に配置される一時載置トレイ４上にリリースする。これにより、ステレオカメラ４０の有効撮像領域Ｒｗの全体にわたって山積みトレイ１を配置することができ、山積みトレイ１の配置スペースが大きくても、一時載置トレイ４の配置スペースを確保することができる。

なお、本変形例１では、一時載置トレイ４上に載置されたワークＷの向きを特定するセット制御モード時の処理において基準カメラ４０Ａによる輝度画像情報を用いる例で説明したが、比較カメラ４０Ｂによる輝度画像情報を用いてもよい。この場合、一時載置トレイ４に載置されたワークについては、図１４の符号Ｒｂで示す撮像領域部分（比較カメラ有効撮像領域Ｒｂ）に位置させる。
また、一時載置トレイ４に載置されたワークについては、図１３の符号Ｒａで示す基準カメラ有効撮像領域Ｒａと図１４の符号Ｒｂで示す比較カメラ有効撮像領域Ｒｂの両方に位置させてもよい。

〔変形例２〕
次に、本実施形態におけるピッキングロボット１００の他の変形例（以下、本変形例を「変形例２」という。）について説明する。
本変形例２においては、ステレオカメラ４０に代えて単一のカメラ４０’を用い、パターン投射装置５０からパターン画像を投射して単一のカメラ４０’で撮像して得られる撮像画像に基づいて三次元情報を取得する。なお、単一のカメラ４０と、そのカメラ４０の撮像領域内に所定の測定用光を照射する測定用光照射手段とを用いて、その測定用光が照射されている撮像領域部分の三次元情報を取得するものであれば、どのような方式（例えば位相シフト法）であってもよい。なお、ここでいう測定用光とは、その方式によっては、当該撮像領域部分の三次元情報を取得するために必須のものだけでなく、当該撮像領域部分の三次元情報の取得精度を高めるためのものも含む。

図１５は、本変形例２におけるカメラ４０’の撮像領域とパターン投射装置５０によるパターン投射エリアとを示す説明図である。
本変形例２において、カメラ４０’が撮像する撮像画像から適切な三次元情報を取得できる撮像領域は、図１５に示すように、カメラ４０’の撮像領域とパターン投射装置５０によるパターン投射エリアとが重複する領域（パターン投射領域）Ｒｃである。このパターン投射領域Ｒｃ内であれば、カメラ４０’で撮像した撮像画像から適切な三次元情報を得ることができる。したがって、本変形例２では、山積みトレイに山積みされた複数のワークの中からピックアップ対象となるワークを特定する取出制御モード時の処理では、山積みトレイに山積みされた複数のワークがそのパターン投射領域Ｒｃ内となるように構成する。

一方、一時載置トレイ４上に載置されたワークＷの向きを特定するセット制御モード時の処理では、上述した実施形態と同じく、三次元情報ではなく、二次元情報（単一のカメラによる輝度画像情報）を用いる。この輝度画像情報については、パターン投射装置５０によるパターン画像が投射されている必要がなく、場合によっては、むしろパターン投射装置５０によるパターン画像が投射されていない方が、適切な輝度画像情報が得られる。

そこで、本変形例２においては、一時載置トレイ４に載置されたワークについては、カメラ４０’の撮像領域のうち、パターン投射装置５０によるパターン画像が投射されない非パターン投射領域Ｒｄに位置させるようにしている。すなわち、取出制御モードにおいて、ロボット制御部５００は、山積みトレイ１から取り出したワークＷを、カメラ４０’の撮像領域のうちの非パターン投射領域Ｒｄに配置される一時載置トレイ４上にリリースする。これにより、カメラ４０’の撮像領域のうちのパターン投射領域の全体にわたって山積みトレイ１を配置することができ、山積みトレイ１の配置スペースが大きくても、一時載置トレイ４の配置スペースを確保することができる。

以上に説明したものは一例であり、次の態様毎に特有の効果を奏する。
（態様Ａ）
複数のワークＷ等の対象物が置かれた山積みトレイ１等の置き部から対象物を取り出すマニピュレータ装置１０と、前記置き部に置かれた複数の対象物の三次元情報（視差画像情報などの距離画像情報）に基づいて、該置き部から前記マニピュレータ装置によって取り出すべき対象物を認識するステレオカメラ４０及びロボット制御部５００等の取出用認識手段と、前記マニピュレータ装置が取り出した対象物の向きを認識するステレオカメラ４０及びロボット制御部５００等の向き認識手段と、前記取出用認識手段が認識した対象物を前記マニピュレータ装置で保持して前記置き部の外部へ取り出すように該マニピュレータ装置を制御する取り出し制御、及び、取り出した対象物を、該取り出し制御で制御されるマニピュレータ装置を用いて所定の向きでパレット２等の受け部へ受け渡すように、前記向き認識手段による認識結果に基づいて該マニピュレータ装置を制御する受け渡し制御を実行する制御手段とを有することを特徴とするマニピュレータシステム。
従来のマニピュレータシステムの中には、山積み状態のような未整理状態の複数の対象物（ワーク）を撮像手段で撮像し、その撮像画像に基づいて認識した対象物をマニピュレータ装置で保持して所定の場所へ取り出すものがある。しかしながら、未整理状態の複数の対象物を撮像した撮像画像からは、マニピュレータ装置で保持すべき対象物の位置を高精度に安定して認識することはできても、その対象物の向き（対象物の姿勢を含む。）までも高精度に安定して認識することは難しい。これは、撮像画像中において複数の対象物が重なって映し出されるため、個々の対象物を他の対象物と明確に区別して認識することが難しいためである。そのため、従来のマニピュレータシステムでは、未整理状態の複数の対象物の中から選択される対象物を所定の場所へ単に取り出すという作業はマニピュレータ装置で自動化できても、その取り出したマニピュレータ装置そのもので、対象物を所定の受け部へ所定の向きで受け渡すという受け渡し作業を行うことはできなかった。
一方で、未整理状態の複数の対象物を互いに重ならないように整理する整理作業を事前に行っておけば、その整理された個々の対象物の向きを高精度に安定して認識することが可能である。整理された状態であれば、撮像画像において複数の対象物が重なって映し出されることがなく、個々の対象物を他の対象物と明確に区別して認識することが容易であり、その対象物の向きを高精度に安定して認識することが可能だからである。したがって、未整理状態の複数の対象物の中から選択される対象物をマニピュレータ装置で整理された状態になるように取り出す作業と、これにより整理された対象物をマニピュレータ装置で所定の受け部へ所定の向きで受け渡すという受け渡し作業を行うことは可能である。
しかしながら、既存のマニピュレータシステムでは、未整理状態の複数の対象物の中から選択される対象物をマニピュレータ装置で整理された状態になるように取り出す作業と、これにより整理された対象物をマニピュレータ装置で所定の受け部へ所定の向きで受け渡すという受け渡し作業とを、それぞれ個別のマニピュレータ装置を備えた２つのマニピュレータシステムで実現する必要があった。そのため、これらの作業を一連の作業として自動化するにはコストが高騰するという問題があった。
本態様によれば、複数の対象物が置かれた置き部から対象物を取り出す作業と、取り出した対象物を所定の向きで受け部へ受け渡す作業とが、共通のマニピュレータ装置によって行われる。したがって、それぞれの作業を個別のマニピュレータ装置によって行われる構成と比較して、部品コストを低く抑えることができる。特に、マニピュレータシステムを構成する部品の中でマニピュレータ装置の部品コストが占める割合は相対的に高いことが多いので、マニピュレータ装置の共通化による部品コストの低減効果は高い。したがって、本態様によれば、未整理状態の複数の対象物の中から選択される対象物を取り出し、その対象物を所定の受け部へ所定の向きで受け渡すという一連の作業の自動化を、低コストで実現できる。

（態様Ｂ）
前記態様Ａにおいて、少なくとも前記置き部に置かれた複数の対象物と前記マニピュレータ装置により取り出された対象物とを含む撮像領域を撮像するステレオカメラ４０等の撮像手段を有し、前記取出用認識手段は、前記撮像手段により撮像した撮像画像（視差画像）を用いて生成される三次元情報に基づいて、前記マニピュレータ装置によって取り出すべき対象物を認識し、前記向き認識手段は、前記撮像手段により撮像した撮像画像（輝度画像）を用いて前記マニピュレータ装置が取り出した対象物の向きを認識することを特徴とする。
これによれば、複数の対象物が置かれた置き部から対象物を取り出す作業時に用いる撮像手段と、取り出した対象物を所定の向きで受け部へ受け渡す作業時に用いる撮像手段として、共通の撮像手段が用いられる。そのため、それぞれの作業時に個別の撮像手段を用いる場合と比較して、部品コストを低く抑えることができる。したがって、本態様によれば、未整理状態の複数の対象物の中から選択される対象物を取り出し、その対象物を所定の受け部へ所定の向きで受け渡すという一連の作業の自動化を、更に低コストで実現できる。
なお、ここでいう撮像手段とは、撮像領域内における位置とその位置の特性情報とが関連付けられた情報を取得できる手段であればよい。したがって、撮像領域内における位置とその位置の距離情報とを含む距離画像情報を取得するステレオカメラ、位相シフト法、ＴＯＦ法、光切断法による画像取得手段、あるいは、撮像領域内における位置とその位置の光学的情報（輝度、偏光成分、特定波長帯の光量など）を取得する画像取得手段など、あらゆる撮像手段が含まれる。

（態様Ｃ）
前記態様Ｂにおいて、前記撮像手段は、前記置き部に置かれた複数の対象物をそれぞれの撮像領域の一部分（有効撮像領域Ｒｗ）に含む基準カメラ４０Ａ及び比較カメラ４０Ｂ等の複数の撮像部を備え、前記制御手段は、前記向き認識手段が用いる撮像画像を撮像する際に、前記複数の撮像部のうちの一部の撮像部（基準カメラ４０Ａ）における撮像領域の他部分（基準カメラ有効撮像領域Ｒａ）に前記マニピュレータ装置により取り出された対象物が位置するように、前記取り出し制御を実行することを特徴とする。
これによれば、上述した変形例１で説明したとおり、取り出す作業時と、受け渡す作業時とで共通の撮像手段が用いる場合でも、置き部の配置スペースと、そこから取り出した対象物が位置するスペースとを確保することができる。

（態様Ｄ）
前記態様Ｃにおいて、前記向き認識手段は、前記撮像手段のいずれかの撮像部（基準カメラ４０Ａ等）で撮像した単一の撮像画像（基準画像等）を用いて前記マニピュレータ装置が取り出した対象物の向きを認識することを特徴とする。
これによれば、取出用認識手段では、複数の撮像画像から視差画像情報等の三次元形状情報を得ることができるため、山積み状態等の未整理状態である複数の対象物の中からマニピュレータ装置によって取り出すべき対象物を高精度で認識できる。また、向き認識手段では、単一の撮像画像から輝度画像情報等の二次元形状情報を得ることができるため、取り出された対象物の向きを高精度で認識できる。

（態様Ｅ）
前記態様Ｂにおいて、前記置き部に置かれた複数の対象物へパターン画像等の所定の測定用光を照射するパターン投射装置５０等の測定用光照射手段を有し、前記制御手段は、前記向き認識手段が用いる撮像画像を撮像する際、前記マニピュレータ装置により取り出された対象物が、前記測定用光照射手段により前記所定の測定用光が照射されていない非パターン投射領域Ｒｄ等の撮像領域部分に位置するように、前記取り出し制御を実行することを特徴とする。
これによれば、上述した変形例２で説明したとおり、取り出す作業時と、受け渡す作業時とで共通の撮像手段が用いる場合でも、置き部の配置スペースと、そこから取り出した対象物が位置するスペースとを確保することができる。

（態様Ｆ）
前記態様Ａ乃至Ｅのいずれかの態様において、前記取り出し制御では、前記マニピュレータ装置が保持した対象物を前記置き部の外部に位置する一時載置トレイ４等の一時載置部に載置するように、該マニピュレータ装置を制御し、前記向き認識手段は、前記一時載置部に載置された対象物の向きを認識し、前記受け渡し制御では、前記一時載置部に載置された対象物を前記マニピュレータ装置で再保持して前記受け部へ受け渡すように、該マニピュレータ装置を制御することを特徴とする。
これによれば、置き部から取り出した対象物をマニピュレータ装置に保持したまま、向き認識手段により対象物の向きを認識する場合よりも、対象物の向きの認識精度を高めることができる。

（態様Ｇ）
前記態様Ａ乃至Ｅのいずれかの態様において、前記向き認識手段は、前記マニピュレータ装置が対象物を保持した状態で該対象物の向きを認識し、前記受け渡し制御では、前記取り出し制御の際に前記マニピュレータ装置が保持した対象物を、そのまま保持し続けた状態で前記受け部へ受け渡すように、該マニピュレータ装置を制御することを特徴とする。
これによれば、置き部から取り出した対象物を一時載置部に一時的に載置して向き認識手段により対象物の向きを認識する場合よりも、迅速な処理が可能となる。

（態様Ｈ）
前記態様Ａ乃至Ｇのいずれかの態様において、前記マニピュレータ装置は、少なくとも１つの関節部１１，１２，１４，１５，１７と、該関節部を駆動させる関節駆動装置５０１〜５０５等の駆動手段と、該関節部に取り付けられた少なくとも１つのアーム部１３，１６と、前記対象物を保持するハンド部２０等の保持部とを有し、前記関節部を駆動することにより前記保持部を移動させるものであり、前記保持部は、保持している対象物を所定の回転軸回りに回転させて、該対象物の姿勢を、前記関節部の駆動により前記受け部へ該対象物を受け渡す位置に該保持部を移動させたときの該対象物の向きが前記所定の向きとなる受け渡し姿勢へと姿勢変化させるハンド回転機構２６等の回転機構を有することを特徴とする。
これによれば、マニピュレータ装置における各関節部の駆動量を最小限に抑えて、より短時間で対象物を所定の向きで受け部へ受け渡すことができる。

（態様Ｉ）
第一撮像エリアを基準カメラ４０Ａ及び比較カメラ４０Ｂ等の複数の撮像部により撮像して複数の撮像画像を取得するとともに、該第一撮像エリアとは別の第二撮像エリアを該複数の撮像部のうちの一部の撮像部により撮像して撮像画像を取得する撮像システムであって、前記複数の撮像部は、各撮像部の撮像領域の一部分（有効撮像領域Ｒｗ等）に前記第一撮像エリアがそれぞれ含まれるとともに、前記一部の撮像部（基準カメラ４０Ａ等）の撮像領域の他部分（基準カメラ有効撮像領域Ｒａ等）に前記第二撮像エリアが含まれ、かつ、前記複数の撮像部のうちの他の撮像部（比較カメラ４０Ｂ等）の撮像領域に前記第二撮像エリアが含まれないように、設置されることを特徴とする。
これによれば、上述した変形例１で説明したとおり、第一撮像エリアの視差情報等の三次元情報を得るための複数の撮像画像と、第二撮像エリアの撮像画像とを、共通の撮像手段で撮像する場合でも、それぞれの撮像エリアを十分に確保することができる。

（態様Ｊ）
第一撮像エリアを撮像手段により撮像して撮像画像を取得するとともに、該第一撮像エリアとは別の第二撮像エリアを、該第一撮像エリアの撮像に用いられる撮像手段によって撮像して撮像画像を取得する撮像システムであって、前記第一撮像エリアには所定の測定用光を照射するが、前記第二撮像エリアには該所定の測定用光を照射しない測定用光照射手段を有することを特徴とする。
これによれば、上述した変形例２で説明したとおり、測定用光が照射される第一撮像エリアの三次元情報を得るための撮像画像と、測定用光が照射されない第二撮像エリアの撮像画像とを、共通の撮像手段で撮像する場合でも、それぞれの撮像エリアを十分に確保することができる。

（態様Ｋ）
前記態様Ｉ又はＫにおいて、前記第一撮像エリアの撮像画像に基づいて該第一撮像エリアに配置された撮像対象物の三次元情報を取得し、前記第二撮像エリアの撮像画像に基づいて該第二撮像エリアに配置された撮像対象物の向きの情報を取得することを特徴とする。
これによれば、上述した変形例１や２で説明したとおり、第一撮像エリアに配置された撮像対象物の三次元情報と、第二撮像エリアに配置された撮像対象物の向きの情報とを、共通の撮像手段により取得することができる。

（態様Ｌ）
置き部に置かれた複数の対象物の三次元情報に基づいて、該置き部からマニピュレータ装置によって取り出すべき対象物を認識する取出用認識工程と、前記取出用認識工程で認識した対象物を前記マニピュレータ装置で保持して前記置き部の外部へ取り出す取出工程と、前記取出工程で前記マニピュレータ装置が取り出した対象物の向きを認識する向き認識工程と、前記向き認識工程で向きを認識した対象物を、前記取出工程で用いたマニピュレータ装置を用いて、所定の向きで受け部へ受け渡す受け渡し工程とを有することを特徴とする対象物の受け渡し方法。
本態様によれば、未整理状態で置き部に置かれた複数の対象物の中から選択される対象物を取り出し、その対象物を所定の受け部へ所定の向きで受け渡すという一連の作業の自動化を、低コストで実現できる。

（態様Ｍ）
複数の対象物が置かれた置き部から対象物を取り出すマニピュレータ装置と、前記置き部から前記マニピュレータ装置によって取り出すべき対象物を認識する取出用認識手段と、前記マニピュレータ装置が取り出した対象物の向きを認識する向き認識手段と、前記マニピュレータ装置を制御するロボット制御部５００等の制御手段とを有するマニピュレータシステムのコンピュータを、前記取出用認識手段、前記向き認識手段及び前記制御手段として機能させるためのマニピュレータ制御プログラムであって、前記取出用認識手段は、前記置き部に置かれた複数の対象物の三次元情報に基づいて、該置き部から前記マニピュレータ装置によって取り出すべき対象物を認識し、前記制御手段は、前記取出用認識手段が認識した対象物を前記マニピュレータ装置で保持して前記置き部の外部へ取り出すように該マニピュレータ装置を制御する取り出し制御、及び、取り出した対象物を、該取り出し制御で制御されるマニピュレータ装置を用いて所定の向きで受け部へ受け渡すように、前記向き認識手段による認識結果に基づいて該マニピュレータ装置を制御する受け渡し制御を実行することを特徴とする。
本態様によれば、未整理状態で置き部に置かれた複数の対象物の中から選択される対象物を取り出し、その対象物を所定の受け部へ所定の向きで受け渡すという一連の作業の自動化を、低コストで実現できる。

なお、このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録された状態で配布したり、入手したりすることができる。また、このプログラムを乗せ、所定の送信装置により送信された信号を、公衆電話回線や専用線、その他の通信網等の伝送媒体を介して配信したり、受信したりすることでも、配布、入手が可能である。この配信の際、伝送媒体中には、コンピュータプログラムの少なくとも一部が伝送されていればよい。すなわち、コンピュータプログラムを構成するすべてのデータが、一時に伝送媒体上に存在している必要はない。このプログラムを乗せた信号とは、コンピュータプログラムを含む所定の搬送波に具現化されたコンピュータデータ信号である。また、所定の送信装置からコンピュータプログラムを送信する送信方法には、プログラムを構成するデータを連続的に送信する場合も、断続的に送信する場合も含まれる。

１ 山積みトレイ
２ パレット
２ａ 対応溝
３ マガジン
４ 一時載置トレイ
１０ マニピュレータ装置
１１，１２，１４，１５，１７ 関節部
１３，１６ アーム部
２０ ハンド部
２１ ワーク吸着部
２１ａ 回転軸
２２ 吸引孔
２３ 規制壁
２４ ワーク吸着用ポンプ
２５ ワーク保持位置調整装置
２５ａ，２５ｂ 挟持アーム
２６ ハンド回転機構
３０ パレット移送機構
４０ ステレオカメラ
４０Ａ 基準カメラ
４０Ｂ 比較カメラ
５０ パターン投射装置
１００ ピッキングロボット
２００ 外観検査装置
３００ マガジン収容部
５００ ロボット制御部
５０１〜５０５ 関節駆動装置
５０６ 記憶部
６００ システム制御部
Ｗ ワーク
Ｗａ マークピン
Ｗｐ コネクタピン

特表２０１４−５１１７７２号公報

Claims (13)

1. 複数の対象物が置かれた置き部から対象物を取り出すマニピュレータ装置と、
   前記置き部に置かれた複数の対象物の三次元情報に基づいて、該置き部から前記マニピュレータ装置によって取り出すべき対象物を認識する取出用認識手段と、
   前記マニピュレータ装置が取り出した対象物の向きを認識する向き認識手段と、
   前記取出用認識手段が認識した対象物を前記マニピュレータ装置で保持して前記置き部の外部へ取り出すように該マニピュレータ装置を制御する取り出し制御、及び、取り出した対象物を、該取り出し制御で制御されるマニピュレータ装置を用いて所定の向きで受け部へ受け渡すように、前記向き認識手段による認識結果に基づいて該マニピュレータ装置を制御する受け渡し制御を実行する制御手段とを有することを特徴とするマニピュレータシステム。
2. 請求項１に記載のマニピュレータシステムにおいて、
   少なくとも前記置き部に置かれた複数の対象物と前記マニピュレータ装置により取り出された対象物とを含む撮像領域を撮像する撮像手段を有し、
   前記取出用認識手段は、前記撮像手段により撮像した撮像画像を用いて生成される三次元情報に基づいて、前記マニピュレータ装置によって取り出すべき対象物を認識し、
   前記向き認識手段は、前記撮像手段により撮像した撮像画像を用いて前記マニピュレータ装置が取り出した対象物の向きを認識することを特徴とするマニピュレータシステム。
3. 請求項２に記載のマニピュレータシステムにおいて、
   前記撮像手段は、前記置き部に置かれた複数の対象物をそれぞれの撮像領域の一部分に含む複数の撮像部を備え、
   前記制御手段は、前記向き認識手段が用いる撮像画像を撮像する際に、前記複数の撮像部のうちの一部の撮像部における撮像領域の他部分に前記マニピュレータ装置により取り出された対象物が位置するように、前記取り出し制御を実行することを特徴とするマニピュレータシステム。
4. 請求項３に記載のマニピュレータシステムにおいて、
   前記向き認識手段は、前記撮像手段のいずれかの撮像部で撮像した単一の撮像画像を用いて前記マニピュレータ装置が取り出した対象物の向きを認識することを特徴とするマニピュレータシステム。
5. 請求項２に記載のマニピュレータシステムにおいて、
   前記置き部に置かれた複数の対象物へ所定の測定用光を照射する測定用光照射手段を有し、
   前記制御手段は、前記向き認識手段が用いる撮像画像を撮像する際、前記マニピュレータ装置により取り出された対象物が、前記測定用光照射手段により前記所定の測定用光が照射されていない撮像領域部分に位置するように、前記取り出し制御を実行することを特徴とするマニピュレータシステム。
6. 請求項１乃至５のいずれか１項に記載のマニピュレータシステムにおいて、
   前記取り出し制御では、前記マニピュレータ装置が保持した対象物を前記置き部の外部に位置する一時載置部に載置するように、該マニピュレータ装置を制御し、
   前記向き認識手段は、前記一時載置部に載置された対象物の向きを認識し、
   前記受け渡し制御では、前記一時載置部に載置された対象物を前記マニピュレータ装置で再保持して前記受け部へ受け渡すように、該マニピュレータ装置を制御することを特徴とするマニピュレータシステム。
7. 請求項１乃至５のいずれか１項に記載のマニピュレータシステムにおいて、
   前記向き認識手段は、前記マニピュレータ装置が対象物を保持した状態で該対象物の向きを認識し、
   前記受け渡し制御では、前記取り出し制御の際に前記マニピュレータ装置が保持した対象物を、そのまま保持し続けた状態で前記受け部へ受け渡すように、該マニピュレータ装置を制御することを特徴とするマニピュレータシステム。
8. 請求項１乃至７のいずれか１項に記載のマニピュレータシステムにおいて、
   前記マニピュレータ装置は、少なくとも１つの関節部と、該関節部を駆動させる駆動手段と、該関節部に取り付けられた少なくとも１つのアーム部と、前記対象物を保持する保持部とを有し、前記関節部を駆動することにより前記保持部を移動させるものであり、
   前記保持部は、保持している対象物を所定の回転軸回りに回転させて、該対象物の姿勢を、前記関節部の駆動により前記受け部へ該対象物を受け渡す位置に該保持部を移動させたときの該対象物の向きが前記所定の向きとなる受け渡し姿勢へと姿勢変化させる回転機構を有することを特徴とするマニピュレータシステム。
9. 第一撮像エリアを複数の撮像部により撮像して複数の撮像画像を取得するとともに、該第一撮像エリアとは別の第二撮像エリアを該複数の撮像部のうちの一部の撮像部により撮像して撮像画像を取得する撮像システムであって、
   前記複数の撮像部は、各撮像部の撮像領域の一部分に前記第一撮像エリアがそれぞれ含まれるとともに、前記一部の撮像部の撮像領域の他部分に前記第二撮像エリアが含まれ、かつ、前記複数の撮像部のうちの他の撮像部の撮像領域に前記第二撮像エリアが含まれないように、設置されることを特徴とする撮像システム。
10. 第一撮像エリアを撮像手段により撮像して撮像画像を取得するとともに、該第一撮像エリアとは別の第二撮像エリアを、該第一撮像エリアの撮像に用いられる撮像手段によって撮像して撮像画像を取得する撮像システムであって、
    前記第一撮像エリアには所定の測定用光を照射するが、前記第二撮像エリアには該所定の測定用光を照射しない測定用光照射手段を有することを特徴とする撮像システム。
11. 請求項９又は１０に記載の撮像システムにおいて、
    前記第一撮像エリアの撮像画像に基づいて該第一撮像エリアに配置された撮像対象物の三次元情報を取得し、
    前記第二撮像エリアの撮像画像に基づいて該第二撮像エリアに配置された撮像対象物の向きの情報を取得することを特徴とする撮像システム。
12. 置き部に置かれた複数の対象物の三次元情報に基づいて、該置き部からマニピュレータ装置によって取り出すべき対象物を認識する取出用認識工程と、
    前記取出用認識工程で認識した対象物を前記マニピュレータ装置で保持して前記置き部の外部へ取り出す取出工程と、
    前記取出工程で前記マニピュレータ装置が取り出した対象物の向きを認識する向き認識工程と、
    前記向き認識工程で向きを認識した対象物を、前記取出工程で用いたマニピュレータ装置を用いて、所定の向きで受け部へ受け渡す受け渡し工程とを有することを特徴とする対象物の受け渡し方法。
13. 複数の対象物が置かれた置き部から対象物を取り出すマニピュレータ装置と、前記置き部から前記マニピュレータ装置によって取り出すべき対象物を認識する取出用認識手段と、前記マニピュレータ装置が取り出した対象物の向きを認識する向き認識手段と、前記マニピュレータ装置を制御する制御手段とを有するマニピュレータシステムのコンピュータを、前記取出用認識手段、前記向き認識手段及び前記制御手段として機能させるためのマニピュレータ制御プログラムであって、
    前記取出用認識手段は、前記置き部に置かれた複数の対象物の三次元情報に基づいて、該置き部から前記マニピュレータ装置によって取り出すべき対象物を認識し、
    前記制御手段は、前記取出用認識手段が認識した対象物を前記マニピュレータ装置で保持して前記置き部の外部へ取り出すように該マニピュレータ装置を制御する取り出し制御、及び、取り出した対象物を、該取り出し制御で制御されるマニピュレータ装置を用いて所定の向きで受け部へ受け渡すように、前記向き認識手段による認識結果に基づいて該マニピュレータ装置を制御する受け渡し制御を実行することを特徴とするマニピュレータ制御プログラム。

Images