JP2015174172A - ロボット、ロボットシステム、及び制御装置 - Google Patents

Abstract

【課題】柔軟物に適した作業を行うことができるロボットを提供すること。【解決手段】ロボットは、柔軟物を把持するハンドと、ハンドを動作させる制御部と、を含み、制御部は、ハンドと柔軟物の所定部との相対速度を用いて、ハンドを動作させる。【選択図】図２

Description

この発明は、ロボット、ロボットシステム、及び制御装置に関する。

所定位置と目標物との相対的な位置の変化を撮像部が撮像する撮像画像により検出し、それをフィードバック情報として用いることによって目標物を追跡するビジュアルサーボに関する技術が研究・開発されている。ビジュアルサーボを用いたロボットは、例えば、作業対象及び作業対象を把持している把持部を含む画像を撮像部により逐次撮像し、撮像された撮像画像に基づいて、作業対象を把持部により目標位置に移動させる等の作業を行うことができる。

これに関連し、ロボット制御装置において、ロボットのカメラに備えられる光学系の調整機能を利用し、その調整機能をビジュアルサーボのフィードバック系に組み入れる技術が知られている（特許文献１参照）。

特開２００３−２１１３８２号公報

しかしながら、従来のロボット制御装置では、例えば、ラベルやシール、紙等のシート状の柔軟物をロボットに把持させることが考慮されておらず、ロボットによって把持された柔軟物を所定の位置及び姿勢で目標位置に移動させることができないという問題があった。

そこで本発明は、上記従来技術の問題に鑑みてなされたものであり、柔軟物に適した作業を行うことができるロボット、ロボットシステム、及び制御装置を提供する。

本発明の一態様は、柔軟物を把持するハンドと、前記ハンドを動作させる制御部と、を含み、前記制御部は、前記ハンドと前記柔軟物の所定部との相対速度を用いて、前記ハンドを動作させる、ロボットである。
この構成により、ロボットは、ハンドと柔軟物の所定部との相対速度を用いて、ハンドを動作させる。これにより、ロボットは、柔軟物に適した作業を行うことができる。

また、本発明の他の態様は、ロボットおいて、前記柔軟物は、シート状の物体である、構成が用いられてもよい。
この構成により、ロボットは、シート状の物体を把持し、ハンドとシート状の物体の所定部との相対速度を用いて、ハンドを動作させる。これにより、ロボットは、シート状の物体に適した作業を行うことができる。

また、本発明の他の態様は、ロボットおいて、前記所定部とは、前記柔軟物の端辺の中点である、構成が用いられてもよい。
この構成により、ロボットは、ハンドと柔軟物の端辺の中点との相対速度を用いて、ハンドを動作させる。これにより、ロボットは、柔軟物の端辺の動きに応じて、柔軟物に適した作業を行うことができる。

また、本発明の他の態様は、ロボットおいて、前記柔軟物を含む撮像画像を撮像する撮像部を備え、前記制御部は、前記撮像画像に基づいて前記相対速度を算出する、構成が用いられてもよい。
この構成により、ロボットは、柔軟物を含む撮像画像を撮像し、撮像画像に基づいて相対速度を算出する。これにより、ロボットは、ハンドと柔軟物の状態を逐次判定することでハンドを動かし、柔軟物に適した作業を行うことができる。

また、本発明の他の態様は、ロボットおいて、前記撮像部は、第１レンズ及び第１撮像素子を備えた第１撮像部と、第２レンズ及び第２撮像素子を備えた第２撮像部、を具備し、前記第１レンズにより第１方向から入射する前記柔軟物を含む光を前記第１撮像素子に集め、前記第２レンズにより第２方向から入射する前記柔軟物を含む光を前記第２撮像素子に集める、構成が用いられてもよい。
この構成により、ロボットは、第１レンズにより第１方向から入射する柔軟物を含む光を第１撮像素子に集め、第２レンズにより第２方向から入射する柔軟物を含む光を第２撮像素子に集める。これにより、ロボットは、第１撮像素子で撮像された第１撮像画像と第２撮像素子で撮像された第２撮像画像に基づいて、エピポーラ拘束を用いることにより柔軟物の三次元位置及び姿勢を算出することができ、その結果、柔軟物の三次元位置及び姿勢に基づいて柔軟物に適した作業を行うことができる。

また、本発明の他の態様は、ロボットおいて、前記撮像部は、撮像素子の面に平行な面上に配列された、互いに異なる焦点を有する複数のレンズを備え、前記複数のレンズによって得られる奥行き方向の情報を含む画像を撮像する、構成が用いられてもよい。
この構成により、ロボットは、複数のレンズによって得られる奥行き方向の情報を含む画像を撮像する。これにより、ロボットは、２つの撮像画像に基づいたエピポーラ拘束を用いず、奥行き方向の情報を含む１つの撮像画像に基づいて柔軟物の三次元位置及び姿勢を算出することができるため、算出処理の時間を短縮することができる。

また、本発明の他の態様は、ロボットおいて、前記制御部は、前記撮像画像に基づいて、前記柔軟物の表面形状を表す近似式を算出し、算出された近似式に基づいて、前記柔軟物の前記所定部の位置及び姿勢を算出することで、前記相対速度を算出する、構成が用いられてもよい。
この構成により、ロボットは、撮像画像に基づいて、柔軟物の表面形状を表す近似式を算出し、算出された近似式に基づいて、柔軟物の所定部の位置及び姿勢を算出する。これにより、ロボットは、柔軟物の所定部の位置及び姿勢の変化に基づいて、柔軟物に適した作業を行うことができる。

また、本発明の他の態様は、ロボットおいて、前記制御部は、前記撮像画像のうち、前記柔軟物の所定部を含む部分領域を抽出し、抽出された前記部分領域に基づいて、前記柔軟物の表面形状を表す近似式を算出する、構成が用いられてもよい。
この構成により、ロボットは、撮像画像のうち、柔軟物の所定部を含む部分領域を抽出し、抽出された部分領域に基づいて、柔軟物の表面形状を表す近似式を算出する。これにより、ロボットは、撮像画像のすべてに基づいて画像処理を行う場合に比べて、画像処理の時間を短縮することができる。

また、本発明の他の態様は、ロボットおいて、前記制御部は、前記柔軟物の所定部の位置及び姿勢と、前記ハンドに予め設定された点の位置及び姿勢に基づいて、前記ハンドと前記柔軟物の相対位置を算出することで、前記相対速度を算出する、構成が用いられてもよい。
この構成により、ロボットは、柔軟物の所定部の位置及び姿勢と、ハンドに予め設定された点の位置及び姿勢に基づいて、ハンドと柔軟物の相対位置を算出することで、相対速度を算出する。これにより、ロボットは、ハンドと柔軟物の相対位置に基づいて、柔軟物に適した作業を行うことができる。

また、本発明の他の態様は、ロボットおいて、前記制御部は、前記撮像画像と前記相対速度に基づいてヤコビ行列を算出する、構成が用いられてもよい。
この構成により、ロボットは、撮像画像と相対速度に基づいてヤコビ行列を算出する。これにより、ロボットは、ヤコビ行列に基づいて、柔軟物に適した作業を行うことができる。

また、本発明の他の態様は、ロボットおいて、前記制御部は、前記ヤコビ行列に基づいてビジュアルサーボで前記ハンドを動かす、構成が用いられてもよい。
この構成により、ロボットは、ヤコビ行列に基づいてビジュアルサーボで前記ハンドを動かす。これにより、ロボットは、柔軟物に適したビジュアルサーボによる作業を行うことができる。

また、本発明の他の態様は、柔軟物を含む撮像画像を撮像する撮像部と、前記柔軟物を把持するハンドを備えるロボットと、前記ハンドを動作させる制御部と、を含み、前記制御部は、前記ハンドと前記柔軟物の所定部との相対速度を用いて、前記ハンドを動作させる、ロボットシステムである。
この構成により、ロボットシステムは、柔軟物を含む撮像画像を撮像し、柔軟物を把持し、ハンドと柔軟物の所定部との相対速度を用いて、ハンドを動作させる。これにより、ロボットシステムは、柔軟物に適した作業を行うことができる。

また、本発明の他の態様は、柔軟物を把持するハンドを備えるロボットを動作させる制御装置であって、前記ハンドと前記柔軟物の所定部との相対速度を用いて、前記ハンドを動作させる、制御装置である。
この構成により、制御装置は、柔軟物を把持するハンドを備えるロボットを動作させ、ハンドと柔軟物の所定部との相対速度を用いて、ハンドを動作させる。これにより、制御装置は、柔軟物に適した作業を行うことができる。

以上により、ロボット、ロボットシステム、及び制御装置は、柔軟物を把持し、ハンドと柔軟物の所定部との相対速度を用いて、ハンドを動作させる。これにより、ロボットは、柔軟物に適した作業を行うことができる。

第１実施形態に係るロボットシステム１が使用される様子の一例を模式的に示す図である。 制御装置３０のハードウェア構成の一例を示す図である。 制御装置３０の機能構成の一例を示す図である。 ロボット２０が所定の作業を行うように、制御部４０がロボット２０を制御する処理の流れの一例を示すフローチャートである。 撮像部１０により撮像された撮像画像の一部を例示する図である。 端辺検出部４２により撮像画像Ｐ１−２、撮像画像Ｐ２−２から検出された柔軟物Ｓの端辺を例示する図である。 形状推定部４４による柔軟物Ｓの代表辺と、代表辺の両端の２つの辺の形状を推定する処理を説明するための模式図である。 第２実施形態に係るロボットシステム２が使用される様子の一例を模式的に示す図である。

＜第１実施形態＞
以下、本発明の第１実施形態について、図面を参照して説明する。図１は、第１実施形態に係るロボットシステム１が使用される様子の一例を模式的に示す図である。ロボットシステム１は、例えば、第１撮像部１０−１と、第２撮像部１０−２と、ロボット２０と、制御装置３０とを具備する。

ロボットシステム１は、ロボット２０が把持した柔軟物Ｓを、第１撮像部１０−１と第２撮像部１０−２が撮像した撮像画像に基づいて、ビジュアルサーボで作業台ＷＴ上の目標物体Ｔの目標位置へ配置する（貼付する）。本実施形態において柔軟物Ｓとは、ロボット２０の動きや重力、風の影響等で形状が変化しうる物体（弾性体）であり、例えば、シート状の物体である。シート状の物体とは、例えば、図１に示したような四角形のラベルであり、材質は布や金属箔、フィルム、生体膜等であってもよく、四角形に代えて、円形や楕円形等の他の形状であってもよい。

作業台ＷＴは、例えば、テーブルや床面等のロボット２０が作業を行うための台である。作業台ＷＴ上には、ロボットが把持した柔軟物Ｓを配置するための目標物体Ｔが設置される。目標物体Ｔとは、一例として図１に示したような板状の物体であるが、柔軟物Ｓを配置（貼付）する表面を有する物体であれば如何なるものであってもよい。目標物体Ｔの表面には、ロボットが柔軟物Ｓを配置する位置を示す印ＴＥが描かれている。なお、目標物体Ｔの表面には、印ＴＥが描かれている構成に代えて、刻まれている構成等であってもよい。また、目標物体Ｔの表面には、この印ＴＥが描かれていなくてもよいが、その場合、ロボットシステム１は、例えば、目標物体Ｔの輪郭を検出して柔軟物Ｓの配置位置を認識する等の構成となる。

第１撮像部１０−１は、例えば、光を集光する第１レンズと、第１レンズにより集光された光を電気信号に変換する第１撮像素子であるＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等を備えたカメラである。また、第２撮像部１０−２は、例えば、光を集光する第２レンズと、第２レンズにより集光された光を電気信号に変換する第２撮像素子であるＣＣＤやＣＭＯＳ等を備えたカメラである。

第１撮像部１０−１と第２撮像部１０−２は、統合されたステレオカメラとして機能する。以下では、第１撮像部１０−１と第２撮像部１０−２を区別する必要が無い限り、統合されたステレオカメラである撮像部１０と称して説明する。また、以下では、説明の便宜上、撮像部１０は、静止画像を撮像する構成とするが、これに代えて、動画像を撮像する構成であってもよい。

撮像部１０は、例えばケーブルによって制御装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ（Universal Serial Bus）等の規格によって行われる。なお、撮像部１０と制御装置３０とは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって接続されてもよい。

撮像部１０は、ロボット２０が備える把持部ＨＮＤの可動範囲と、把持部ＨＮＤに把持された柔軟物Ｓと、作業台ＷＴ上の目標物体Ｔの表面を含む範囲を撮像するように設置される。以下では、説明の便宜上、この撮像する範囲を撮像範囲Ｃと称する。撮像部１０は、制御装置３０から撮像の要求を取得し、その要求を取得したタイミングで撮像範囲Ｃを撮像する。そして、撮像部１０は、撮像した撮像画像を、通信により制御装置３０へ出力する。

ロボット２０は、例えば、単腕の６軸垂直多関節ロボットであり、支持台とマニピュレーター部ＭＮＰと、把持部ＨＮＤと、図示しない複数のアクチュエーターの連携した動作によって、６軸の自由度の動作を行うことができる。なお、ロボット２０は、７軸以上で動作するものであってもよく、５自由度以下で動作するものであってもよい。ロボット２０は、把持部ＨＮＤを備えている。ロボット２０の把持部ＨＮＤは、柔軟物Ｓを把持可能な爪部を備える。ロボット２０は、例えばケーブルによって制御装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。把持部ＨＮＤは、ハンドの一例である。

なお、ロボット２０と制御装置３０とは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって接続されてもよい。ロボット２０は、柔軟物Ｓの三次元位置及び姿勢に基づいた制御信号を制御装置３０から取得し、取得した制御信号に基づいて、柔軟物Ｓに対して所定の作業を行う。所定の作業とは、例えば、ロボット２０の把持部ＨＮＤにより把持された柔軟物Ｓを現在位置から移動させ、目標物体Ｔ上の印ＴＥが示す配置位置に配置する等の作業である。より具体的には、所定の作業とは、把持部ＨＮＤが把持している柔軟物Ｓの辺に向かい合う端辺を、目標物体Ｔ上の印ＴＥに一致するように配置する等の作業である。

制御装置３０は、ロボット２０が所定の作業を行うように制御する。より具体的には、制御装置３０は、撮像部１０により撮像された柔軟物Ｓを含む撮像画像に基づいて、柔軟物Ｓの三次元位置及び姿勢を導出する。制御装置３０は、導出された柔軟物Ｓの三次元位置及び姿勢に基づく制御信号を生成し、生成した制御信号をロボット２０に出力することで、ロボット２０を制御する。また、制御装置３０は、撮像画像を撮像するように撮像部１０を制御する。

次に、図２を参照することで、制御装置３０のハードウェア構成について説明する。図２は、制御装置３０のハードウェア構成の一例を示す図である。制御装置３０は、例えば、ＣＰＵ（Central Processing Unit）３１と、記憶部３２と、入力受付部３３と、通信部３４とを備え、通信部３４を介して撮像部１０、ロボット２０等と通信を行う。これらの構成要素は、バスＢｕｓを介して相互に通信可能に接続されている。

ＣＰＵ３１は、記憶部３２に格納された各種プログラムを実行する。記憶部３２は、例えば、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read−Only Memory）、ＲＯＭ（Read−Only Memory）、ＲＡＭ（Random Access Memory）などを含み、制御装置３０が処理する各種情報や画像、プログラムを格納する。なお、記憶部３２は、制御装置３０に内蔵されるものに代えて、ＵＳＢ等のデジタル入出力ポート等によって接続された外付け型の記憶装置でもよい。

入力受付部３３は、例えば、キーボードやマウス、タッチパッド、その他の入力装置である。なお、入力受付部３３は、表示部と統合されたハードウェアであってもよく、さらに、タッチパネルとして構成されてもよい。
通信部３４は、例えば、ＵＳＢ等のデジタル入出力ポートとともに、イーサネット（登録商標）ポート等を含んで構成される。

次に、図３を参照することで、制御装置３０の機能構成について説明する。図３は、制御装置３０の機能構成の一例を示す図である。制御装置３０は、記憶部３２と、入力受付部３３と、制御部４０を備える。これらの機能部のうち、制御部４０の一部又は全部は、例えば、制御装置３０が備えるＣＰＵ３１が、記憶部３２に記憶された各種プログラムを実行することで実現される。また、これらの機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）等のハードウェア機能部であってもよい。

制御部４０は、画像取得部４１と、端辺検出部４２と、三次元復元部４３と、形状推定部４４と、位置姿勢推定部４５と、相対速度算出部４６と、ヤコビ行列算出部４７と、把持部速度算出部４８と、ロボット制御部４９を備える。制御部４０は、撮像範囲Ｃを撮像部１０に撮像させる。
画像取得部４１は、撮像部１０により撮像された撮像画像を取得する。

端辺検出部４２は、画像取得部４１により取得された撮像画像に基づいて、把持部ＨＮＤに把持された柔軟物Ｓの端辺を検出する。柔軟物Ｓの端辺とは、例えば、柔軟物Ｓが四角形のラベルの場合、四角形の４つの端辺のうち、把持部ＨＮＤにより把持された端辺を除く残りの３つの端辺を示す。

三次元復元部４３は、端辺検出部４２により検出された柔軟物Ｓの端辺を表す撮像画像上の各点（画素）の座標に基づいて、エピポーラ拘束により端辺検出部４２により検出された柔軟物Ｓの端辺を表す撮像画像上の各点のワールド座標系における三次元座標を導出する。

形状推定部４４は、三次元復元部４３により導出された柔軟物Ｓの端辺を表す撮像画像上の各点のワールド座標系における三次元座標に基づいて、柔軟物Ｓの形状を推定する。より具体的には、形状推定部４４は、前記の三次元座標に基づいて、柔軟物Ｓの端辺であって、把持部ＨＮＤにより把持された端辺と向かい合う辺の形状を１次式でフィッティングし、把持部ＨＮＤにより把持された端辺の両端の２つの端辺の形状を、曲面を表す２次式でフィッティングすることで、柔軟物Ｓの形状を推定する。

以下では、説明の便宜上、把持部ＨＮＤにより把持された端辺と向かい合う辺の形状にフィッティングされた１次式を第１近似式と称し、把持部ＨＮＤにより把持された端辺の両端の２つの端辺の形状にフィッティングされた曲面を表す２次式を第２近似式と称する。また、以下では、第１近似式でフィッティングされた端辺を、柔軟物Ｓの代表辺と称する。

なお、形状推定部４４は、把持部ＨＮＤにより把持された端辺の両端の２つの辺の形状をフィッティングする際、曲面を表す３次以上の次数の式や、三角関数や指数関数等を含む他の式等でフィッティングする構成であってもよい。形状推定部４４は、柔軟物Ｓの形状を表す第１近似式及び第２近似式に基づいて、柔軟物ＳのＣＧ（Computer Graphics）を生成する。

位置姿勢推定部４５は、形状推定部４４によりフィッティングされた第１近似式及び第２近似式に基づいて、代表辺の中点の位置及び姿勢を推定する（算出する）。以下では、説明の便宜上、区別する必要が無い限り、この代表辺の中点の位置及び姿勢を柔軟物Ｓの位置及び姿勢と称する。柔軟物Ｓの代表辺の中点は、柔軟物の所定部の一例である。

相対速度算出部４６は、位置姿勢推定部４５により推定された柔軟物Ｓの位置及び姿勢に基づいて、把持部ＨＮＤに予め設定された位置と柔軟物Ｓの代表辺の中点との間の相対位置を検出する。そして、相対速度算出部４６は、検出された相対位置に基づいて相対速度を算出する。
ヤコビ行列算出部４７は、相対速度算出部４６により算出された相対速度と、形状推定部４４により生成された柔軟物ＳのＣＧに基づいて、柔軟物Ｓの代表辺のヤコビ行列を算出する。

把持部速度算出部４８は、ヤコビ行列算出部４７により算出されたヤコビ行列に基づいて、柔軟物Ｓを把持している把持部ＨＮＤを移動させるための速度を算出する。
ロボット制御部４９は、把持部速度算出部４８により算出された速度に基づいて、把持部ＨＮＤを動かすようにロボット２０を制御する。また、ロボット制御部４９は、画像取得部４１により取得された撮像画像に基づいて、ロボット２０が所定の作業を完了させたか否かを判定し、所定の作業を完了させたと判定した場合、ロボット２０を初期位置の状態となるように制御してロボット２０の制御を終了する。

以下、図４を参照して、ロボット２０が所定の作業を行うように、制御部４０がロボット２０を制御する処理について説明する。図４は、ロボット２０が所定の作業を行うように、制御部４０がロボット２０を制御する処理の流れの一例を示すフローチャートである。まず、制御部４０は、撮像部１０により撮像範囲Ｃを撮像させ、撮像された撮像画像を画像取得部４１により取得する（ステップＳ１００）。

次に、端辺検出部４２は、画像取得部４１により取得された撮像画像に基づいて、柔軟物Ｓの端辺を検出する（ステップＳ１１０）。ここで、図５及び図６を参照して、端辺検出部４２が柔軟物Ｓの端辺を検出する処理について説明する。図５は、撮像部１０により撮像された撮像画像の一部を例示する図である。撮像画像Ｐ１−１は、第１撮像部１０−１により撮像された画像の一部であり、撮像画像Ｐ１−２は、第２撮像部１０−２により撮像された画像の一部である。

端辺検出部４２は、撮像画像Ｐ１−１に対して部分領域を設定し、設定した部分領域を撮像画像Ｐ２−１として生成する。この際、端辺検出部４２は、撮像画像Ｐ１−１から把持部ＨＮＤにより把持された端辺に向かい合う端辺の位置に応じた位置に所定のサイズの部分領域を設定する。なお、撮像画像Ｐ１−１上に設定された部分領域の各点の座標と、撮像画像Ｐ２−１上の各点の座標は、端辺検出部４２により撮像画像Ｐ２−１が生成された際に関連付けられているものとする。また、端辺検出部４２は、所定のサイズの部分領域を設定する構成に代えて、撮像画像Ｐ１−１から検出された端辺の長さ等に応じて変化させる構成等であってもよい。

また、端辺検出部４２は、撮像画像Ｐ１−２に対して部分領域を設定し、設定した部分領域を撮像画像Ｐ２−２として生成する。この際、端辺検出部４２は、撮像画像Ｐ１−２から把持部ＨＮＤにより把持された端辺に向かい合う端辺の位置に応じた位置に所定のサイズの部分領域を設定する。なお、撮像画像Ｐ１−２上に設定された部分領域の各点の座標と、撮像画像Ｐ２−２上の各点の座標は、端辺検出部４２により撮像画像Ｐ２−２が生成された際に関連付けられているものとする。また、端辺検出部４２は、所定のサイズの部分領域を設定する構成に代えて、撮像画像Ｐ１−２から検出された端辺の長さ等に応じて変化させる構成等であってもよい。

端辺検出部４２は、撮像画像Ｐ２−１、撮像画像Ｐ２−２のそれぞれから、端辺を検出する。この時、端辺検出部４２は、ＣＡＮＮＹ法によって前記の各撮像画像から端辺を検出する。なお、端辺検出部４２は、ＣＡＮＮＹ法によって端辺を検出する構成に代えて、エッジを検出する他の公知技術によって端辺を検出してもよい。ここで、端辺検出部４２が撮像画像Ｐ２−１、撮像画像Ｐ２−２から端辺を検出する構成としている理由は、撮像画像Ｐ１−１、撮像画像Ｐ１−２から端辺を検出してステップＳ１１０以降の処理を行う場合に比べて、画像処理を行う画像範囲が小さいために画像処理の時間が短縮されるためである。それ故、端辺検出部４２は、撮像画像Ｐ２−１、撮像画像Ｐ２−２から端辺を検出する構成に代えて、撮像画像Ｐ１−１、撮像画像Ｐ１−２から端辺を検出する構成であってもよい。

図６は、端辺検出部４２により撮像画像Ｐ１−２、撮像画像Ｐ２−２から検出された柔軟物Ｓの端辺を例示する図である。なお、撮像画像Ｐ１−１と撮像画像Ｐ１−２の対応関係と、撮像画像Ｐ２−１と撮像画像Ｐ２−２の対応関係を明確にするため、図６では仮想的に撮像画像Ｐ１−２の背面に撮像画像Ｐ１−１を示し、撮像画像Ｐ２−２の背面に撮像画像Ｐ２−１を示した。撮像画像Ｐ１−２及び撮像画像Ｐ２−２において、端辺ＯＥは、端辺検出部４２により検出された柔軟物Ｓの代表辺を示しており、端辺ＳＥ１及び端辺ＳＥ２は、端辺検出部４２により検出された代表辺の両端の２つの辺をそれぞれ示す。

次に、三次元復元部４３は、端辺検出部４２により撮像画像Ｐ１−２、撮像画像Ｐ２−２から検出された柔軟物Ｓの端辺（すなわち、端辺ＯＥ、端辺ＳＥ１、端辺ＳＥ２）を表す撮像画像上の各点の座標に基づいて、エピポーラ拘束を用いて端辺検出部４２により検出された柔軟物Ｓの端辺を表す撮像画像上の各点のワールド座標系における三次元座標を導出する（ステップＳ１２０）。次に、形状推定部４４は、三次元復元部４３により導出された柔軟物Ｓの端辺を表す撮像画像上の各点のワールド座標系における三次元座標に基づいて、柔軟物Ｓの代表辺である端辺ＯＥと、代表辺の両端の２つの辺である端辺ＳＥ１及び端辺ＳＥ２の形状を推定する。（ステップＳ１３０）。

ここで、図７を参照して、形状推定部４４による柔軟物Ｓの代表辺と、代表辺の両端の２つの辺の形状を推定する処理について説明する。図７は、形状推定部４４による柔軟物Ｓの代表辺と、代表辺の両端の２つの辺の形状を推定する処理を説明するための模式図である。図７において、点線Ｒ１に囲まれた範囲の点は、三次元復元部４３により導出された柔軟物Ｓの代表辺ＯＥを表す点のワールド座標系における三次元座標をプロットしたものである。また、点線Ｒ２に囲まれた範囲の点は、柔軟物Ｓの端辺ＳＥ１を表す点のワールド座標系における三次元座標をプロットしたものである。また、点線Ｒ３に囲まれた範囲の点は、柔軟物Ｓの端辺ＳＥ２を表す点のワールド座標系における三次元座標をプロットしたものである。

形状推定部４４は、図７に示した点線Ｒ１の範囲の点に対して、フィッティングされる１次式（直線を表す式；第１近似式）を算出することによって柔軟物Ｓの代表辺ＯＥの形状を推定する。また、形状推定部４４は、以下に示した式（１）のように、図７に示した点線Ｒ２及び点線Ｒ３の範囲の点を同時にフィッティング可能な２次式（曲面を表す式；第２近似式）を算出することによって柔軟物Ｓの端辺ＳＥ１及び端辺ＳＥ２の形状を推定する。

ここで、ａ０〜ａ４は、フィッティング処理によって決定されるフィッティングパラメーターを表し、ｘ及びｙは、ワールド座標系における三次元座標のｘ座標及びｙ座標を表す。第１近似式及び第２近似式を算出した後、形状推定部４４は、第１近似式及び第２近似式に基づいて、代表辺のＣＧを生成する。

次に、位置姿勢推定部４５は、柔軟物Ｓの位置及び姿勢を算出する（ステップＳ１４０）。ここで、再び図７を参照して、位置姿勢推定部４５による柔軟物Ｓの位置及び姿勢を算出する処理について説明する。位置姿勢推定部４５は、代表辺の形状を表す第１近似式によって表される直線と、第２近似式によって表される端辺ＳＥ１及び端辺ＳＥ２との交点の座標を算出し、算出された交点の座標に基づいて、代表辺ＯＥの中点の座標を算出する。本実施形態において、位置姿勢推定部４５は、この算出された中点の座標によって、柔軟物Ｓの位置を示す構成としたが、これに代えて、代表辺の端点や、柔軟物Ｓの重心等の他の位置によって柔軟物Ｓの位置を示す構成であってもよい。なお、柔軟物Ｓの重心によって柔軟物Ｓの位置を示す構成の場合、位置姿勢推定部４５は、例えば、撮像画像から柔軟物Ｓの形状を検出し、検出された形状に基づいて柔軟物Ｓの重心を検出する構成となる。

また、位置姿勢推定部４５は、第１近似式に沿った方向を、代表辺ＯＥの姿勢を表すｘ軸座標の方向とする。そして、位置姿勢推定部４５は、算出した代表辺ＯＥの中点の位置における接線を表す式を、第２近似式を微分することで算出し、算出された接線を表す式と直交する方向（代表辺ＯＥの中点における法線方向）を、代表辺ＯＥの姿勢を表すｙ軸方向とする。位置姿勢推定部４５は、ｘ軸方向とｙ軸方向を表す単位ベクトルの外積からｚ軸方向を算出する。このようにして、位置姿勢推定部４５は、柔軟物Ｓの代表辺の中点の位置及び姿勢を推定する。なお、位置姿勢推定部４５は、このようにして設定した座標軸の方向によって柔軟物Ｓの姿勢を示す構成としたが、これに代えて、他の何らかの方向によって柔軟物Ｓの姿勢を示す構成であってもよい。

次に、相対速度算出部４６は、位置姿勢推定部４５により推定された柔軟物Ｓの位置及び姿勢に基づいて、把持部ＨＮＤに予め設定された点（位置）の位置及び姿勢と、柔軟物Ｓの代表辺の中点の位置及び姿勢との間の相対位置及び相対姿勢を算出する。そして、相対速度算出部４６は、算出された相対位置及び相対姿勢に基づいて、以下の式（２）から把持部ＨＮＤに予め設定された位置と、柔軟物Ｓの代表辺の中点との間の相対速度及び相対角速度を算出する（ステップＳ１５０）。

ここで、ｒやωに対する添え字Ｗは、それらがワールド座標系における物理量であることを表し、ｒやωに対する添え字Ｅは、それらが柔軟物Ｓの代表辺の中点に関する物理量であることを表し、ｒやωに対する添え字Ｈは、それらが把持部ＨＮＤに予め設定された位置に関する物理量であることを表す。

ｒは、変位を表しており、「・」は、「・」が付された文字が表す物理量の時間微分を表す（「・」の付いたｒは、変位の時間微分、すなわち速度を表す）。なお、柔軟物Ｓ及び把持部ＨＮＤの変位は、例えば、初期位置で算出された柔軟物Ｓ及び把持部ＨＮＤの位置と、今回のルーチンで算出された柔軟物Ｓ及び把持部ＨＮＤの位置とに基づいて算出される。把持部ＨＮＤの位置は、順運動学から算出される。

また、ωは、角速度を表す。柔軟物Ｓの角速度は、初期姿勢又は前回のルーチンで算出された柔軟物Ｓの姿勢と、今回のルーチンで算出された柔軟物Ｓの姿勢とに基づいて算出される。また、Ｉは、単位行列を表し、添え字ＥＨ及び添え字Ｗが付されたｒは、柔軟物Ｓの代表辺の中点から把持部ＨＮＤに予め設定された位置への平行移動行列を表す。

次に、ヤコビ行列算出部４７は、相対速度算出部４６により算出された相対速度に基づいて、柔軟物Ｓのヤコビ行列を算出する（ステップＳ１６０）。ここで、ヤコビ行列算出部４７による柔軟物Ｓのヤコビ行列を算出する処理について説明する。ヤコビ行列算出部４７は、形状推定部４４により生成された柔軟物Ｓの代表辺のＣＧに基づいて、以下の式（３）からヤコビ行列を算出する。

ここで、添え字ｉｍｇが付されたＪは、ヤコビ行列を表し、ｓは、今回のルーチンにおける処理画像を表し、ｐは、位置及び姿勢を表す。次に、把持部速度算出部４８は、ヤコビ行列算出部４７により算出されたヤコビ行列に基づいて、柔軟物Ｓを把持している把持部ＨＮＤを移動させる速度を算出する（ステップＳ１７０）。ここで、把持部速度算出部４８による柔軟物Ｓを把持している把持部ＨＮＤを移動させる速度を算出する処理について説明する。把持部速度算出部４８は、ヤコビ行列の擬似逆行列を算出し、算出された擬似逆行列と、以下の式（４）から柔軟物Ｓを把持している把持部ＨＮＤを移動させる速度を算出する。

ここで、添え字Ｈが付されたＶ（ｔ）は、時刻ｔにおける把持部ＨＮＤの速度を表す。上記の式（４）における右辺のベクトルの上段成分は、把持部ＨＮＤの速度を撮像画像に基づいて算出する場合の式である。上記の式（４）における右辺のベクトルの下段成分は、把持部ＨＮＤの速度を柔軟物Ｓの代表辺の中点の位置及び姿勢に基づいて算出する場合の式である。

添え字「†」は、擬似逆行列であることを示す。また、ｓ（ｔ）は時刻ｔにおける画像を表す。また、添え字＊の付されたｓは、目標位置に柔軟物Ｓが配置された場合の画像である。また、λは、スカラーゲインであり、ロボット２０の出力を調整するパラメーターである。また、添え字Ｅが付されたｐ（ｔ）は、時刻ｔにおける柔軟物Ｓの代表辺の中点の位置及び姿勢を表し、添え字Ｅと添え字＊が付されたｐは、目標物体Ｔにおける柔軟物Ｓが貼付される位置に柔軟物Ｓが到達した場合の柔軟物Ｓの代表辺の中点の位置及び姿勢を表す。

また、αとβは、撮像画像に基づいて把持部ＨＮＤを移動させる速度を算出するか、柔軟物Ｓの代表辺の中点の位置及び姿勢に基づいて把持部ＨＮＤを移動させる速度を算出するかを決定する重みであり、本実施形態においては、一例としてα＝（１−β）であるとし、αは、撮像画像に基づいて、柔軟物Ｓと目標物体Ｔの間の距離に応じて０〜１の範囲の値を取る変数である。また、把持部速度算出部４８は、αを柔軟物Ｓが目標物体Ｔに近づくにつれて大きくする構成とするが、これに代えて、柔軟物Ｓが目標物体Ｔに近づくにつれて小さくする構成であってもよい。また、把持部速度算出部４８は、撮像画像又は柔軟物Ｓの代表辺の中点の位置及び姿勢のいずれか一方によって把持部ＨＮＤの速度を算出する構成（常にαが０又は１のいずれか一方の場合等）であってもよい。

次に、ロボット制御部４９は、把持部速度算出部４８により算出された柔軟物Ｓを把持している把持部ＨＮＤを移動させる速度に基づいて、ロボット２０が把持部ＨＮＤを動かすことで柔軟物Ｓを移動させる（ステップＳ１８０）。次に、制御部４０は、撮像部１０に撮像範囲を撮像させ、撮像画像を取得し、取得した撮像画像に基づいて、柔軟物Ｓの代表辺ＯＥが、目標物体Ｔにおける柔軟物Ｓを貼付する位置を示す印ＴＥに一致するように、柔軟物Ｓを配置することが出来たか否かを判定する（ステップＳ１９０）。制御部４０は、配置することが出来たと判定した場合（ステップＳ１９０−Ｙｅｓ）、処理を終了する。一方、制御部４０は、配置することが出来ていないと判定した場合（ステップＳ１９０−Ｎｏ）、ステップＳ１１０に遷移して取得した撮像画像に基づいて次のルーチンの処理を行う。

＜第１実施形態の変形例＞
以下、第１実施形態の変形例について説明する。第１実施形態の変形例におけるロボットシステム１は、撮像部１０がライトフィールドカメラである。ライトフィールドカメラとは、撮像素子の手前に、異なる焦点を持つマイクロレンズが、撮像素子の面に平行な面上で配列されており、この構成によって得られる奥行き方向の情報を含む画像を利用することで、１台でステレオ撮像を行うことが可能なカメラである。従って、第１実施形態の変形例における制御部４０は、ライトフィールドカメラである撮像部１０によってステレオ撮像された三次元画像に基づいて、第１実施形態で説明した各種の処理を行う。

なお、本実施形態では、制御装置３０がビジュアルサーボによってロボット２０を制御する構成を例に挙げて説明したが、これに限定されず、撮像画像を用いた制御方法であれば他の何らかの制御方法が用いられる構成であっても良い。例えば、制御装置３０は、撮像部１０が撮像した撮像画像を用いたパターンマッチングによってロボット２０を制御する構成等であっても良い。

以上説明したように、第１実施形態に係るロボットシステム１は、把持部ＨＮＤと柔軟物Ｓの代表辺の中点との相対速度を用いて、把持部ＨＮＤを動作させる。これにより、ロボットシステム１は、柔軟物Ｓに適した作業を行うことができる。
また、ロボットシステム１は、柔軟物Ｓとしてシート状の物体を把持し、把持部ＨＮＤとシート状の物体の所定部との相対速度を用いて、把持部ＨＮＤを動作させる。これにより、ロボットシステム１は、シート状の物体に適した作業を行うことができる。
また、ロボットシステム１は、把持部ＨＮＤと柔軟物Ｓの代表辺の中点との相対速度を用いて、把持部ＨＮＤを動作させる。これにより、ロボットシステム１は、柔軟物Ｓの代表辺の動きに応じて、柔軟物Ｓに適した作業を行うことができる。

また、ロボットシステム１は、柔軟物Ｓを含む撮像画像を撮像し、撮像画像に基づいて相対速度を算出する。これにより、ロボットシステム１は、把持部ＨＮＤと柔軟物Ｓの状態を逐次判定することで把持部ＨＮＤを動かし、柔軟物Ｓに適した作業を行うことができる。
また、ロボットシステム１は、第１レンズにより第１方向から入射する柔軟物Ｓを含む光を第１撮像素子に集め、第２レンズにより第２方向から入射する柔軟物Ｓを含む光を第２撮像素子に集める。これにより、ロボットシステム１は、第１撮像素子で撮像された第１撮像画像と第２撮像素子で撮像された第２撮像画像に基づいて、エピポーラ拘束を用いることにより柔軟物の三次元位置及び姿勢を算出することができ、その結果、柔軟物の三次元位置及び姿勢に基づいて柔軟物に適した作業を行うことができる。

また、ロボットシステム１は、複数のレンズによって得られる奥行き方向の情報を含む画像を撮像する。これにより、ロボットは、２つの撮像画像に基づいたエピポーラ拘束を用いず、奥行き方向の情報を含む１つの撮像画像に基づいて柔軟物Ｓの三次元位置及び姿勢を算出することができるため、算出処理の時間を短縮することができる。
また、ロボットシステム１は、撮像画像に基づいて、柔軟物Ｓの代表辺と代表辺の両端の２つの辺の形状を表す第１近似式及び第２近似式を算出し、算出された第１近似式及び第２近似式に基づいて、柔軟物Ｓの代表辺の中点の位置及び姿勢を算出する。これにより、ロボットシステム１は、柔軟物Ｓの代表辺の中点の位置及び姿勢の変化に基づいて、柔軟物Ｓに適した作業を行うことができる。

また、ロボットシステム１は、撮像画像と相対速度に基づいてヤコビ行列を算出する。これにより、ロボットシステム１は、ヤコビ行列に基づいて、柔軟物Ｓに適した作業を行うことができる。
また、ロボットシステム１は、撮像画像のうち、柔軟物Ｓの代表辺を含む部分領域を抽出し、抽出された部分領域に基づいて、柔軟物Ｓの表面形状を表す第１近似式及び第２近似式を算出する。これにより、ロボットシステム１は、撮像画像のすべてに基づいて画像処理を行う場合に比べて、画像処理の時間を短縮することができる。

また、ロボットシステム１は、柔軟物Ｓの代表辺の中点の位置及び姿勢と、把持部ＨＮＤに予め設定された点の位置及び姿勢に基づいて、把持部ＨＮＤと柔軟物Ｓの相対位置を算出することで、相対速度を算出する。これにより、ロボットシステム１は、把持部ＨＮＤと柔軟物Ｓの相対位置に基づいて、柔軟物Ｓに適した作業を行うことができる。
また、ロボットシステム１は、ヤコビ行列に基づいてビジュアルサーボで把持部ＨＮＤを動かす。これにより、ロボットシステム１は、柔軟物Ｓに適したビジュアルサーボによる作業を行うことができる。

＜第２実施形態＞
以下、本発明の第２実施形態について、図面を参照して説明する。図８は、第２実施形態に係るロボットシステム２が使用される様子の一例を模式的に示す図である。第２実施形態に係るロボットシステム２は、単腕のロボット２０に代えて、双腕のロボット２０ａにより、柔軟物Ｓに対して所定の作業を行う。なお、第２実施形態では、第１実施形態と同様な構成部には、同じ符号を付して説明を省略する。

ロボットシステム２は、例えば、撮像部１０と、ロボット２０ａと、制御装置３０を具備する。
ロボット２０ａは、例えば、把持部ＨＮＤ１と、把持部ＨＮＤ２と、マニピュレーター部ＭＮＰ１と、マニピュレーター部ＭＮＰ２と、図示しない複数のアクチュエーターとを、図８に示したように、それぞれの腕に備えた双腕のロボットである。

ロボット２０ａの各腕は、６軸垂直多関節型となっており、一方の腕が支持台とマニピュレーター部ＭＮＰ１と把持部ＨＮＤ１とがアクチュエーターによる連携した動作によって６軸の自由度の動作を行うことができ、他方の腕が支持台とマニピュレーター部ＭＮＰ２と把持部ＨＮＤ２とがアクチュエーターによる連携した動作よって６軸の自由度の動作を行うことができる。

なお、ロボット２０ａの各腕は、５自由度（５軸）以下で動作するものであってもよいし、７自由度（７軸）以上で動作するものであってもよい。ロボット２０ａは、把持部ＨＮＤ１及びマニピュレーター部ＭＮＰ１を備えた腕によって、第１実施形態に係るロボット２０と同様の所定の作業を行うが、把持部ＨＮＤ２及びマニピュレーター部ＭＮＰ２を備えた腕によって所定の作業が行われてもよく、両方の腕によって所定の作業が行われてもよい。なお、把持部ＨＮＤ１は、把持部の一例である。また、ロボット２０ａの把持部ＨＮＤ１は、柔軟物Ｓを把持又は挟持可能な爪部を備える。

ロボット２０ａは、例えばケーブルによって制御装置３０と通信可能に接続されている。ケーブルを介した有線通信は、例えば、イーサネット（登録商標）やＵＳＢ等の規格によって行われる。なお、ロボット２０ａと制御装置３０とは、Ｗｉ−Ｆｉ（登録商標）等の通信規格により行われる無線通信によって接続されてもよい。

以上説明したように、第２実施形態に係るロボットシステム２は、双腕のロボット２０ａによって、単腕のロボット２０と同様の所定の作業を行うため、第１実施形態と同様の効果を得ることができる。

なお、以上に説明したロボットシステム１、２における任意の構成部の機能を実現するためのプログラムを、コンピューター読み取り可能な記録媒体に記録し、そのプログラムをコンピューターシステムに読み込ませて実行するようにしてもよい。なお、ここでいう「コンピューターシステム」とは、ＯＳ（Operating System）や周辺機器等のハードウェアを含むものとする。

また、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ（Compact Disk）−ＲＯＭ等の可搬媒体、コンピューターシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピューター読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバーやクライアントとなるコンピューターシステム内部の揮発性メモリー（RAM：Random Access Memory）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記のプログラムは、このプログラムを記憶装置等に格納したコンピューターシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピューターシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。

また、上記のプログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、上記のプログラムは、前述した機能をコンピューターシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

１、２ ロボットシステム、１０ 撮像部、２０、２０ａ ロボット、３０ 制御装置、３１ ＣＰＵ、３２ 記憶部、３３ 入力受付部、３４ 通信部、４０ 制御部、４１ 画像取得部、４２ 端辺検出部、４３ 三次元復元部、４４ 形状推定部、４５ 位置姿勢推定部、４６ 相対速度算出部、４７ ヤコビ行列算出部、４８ 把持部速度算出部、４９ ロボット制御部、５０ 記憶部、６０ 入力受付部

Claims (13)

1. 柔軟物を把持するハンドと、
   前記ハンドを動作させる制御部と、
   を含み、
   前記制御部は、
   前記ハンドと前記柔軟物の所定部との相対速度を用いて、前記ハンドを動作させる、
   ロボット。
2. 請求項１に記載のロボットであって、
   前記柔軟物は、シート状の物体である、
   ロボット。
3. 請求項１又は２に記載のロボットであって、
   前記所定部とは、前記柔軟物の端辺の中点である、
   ロボット。
4. 請求項１から３のうちいずれか一項に記載のロボットであって、
   前記柔軟物を含む撮像画像を撮像する撮像部を備え、
   前記制御部は、前記撮像画像に基づいて前記相対速度を算出する、
   ロボット。
5. 請求項４に記載のロボットであって、
   前記撮像部は、第１レンズ及び第１撮像素子を備えた第１撮像部と、第２レンズ及び第２撮像素子を備えた第２撮像部、を具備し、前記第１レンズにより第１方向から入射する前記柔軟物を含む光を前記第１撮像素子に集め、前記第２レンズにより第２方向から入射する前記柔軟物を含む光を前記第２撮像素子に集める、
   ロボット。
6. 請求項４に記載のロボットであって、
   前記撮像部は、撮像素子の面に平行な面上に配列された、互いに異なる焦点を有する複数のレンズを備え、前記複数のレンズによって得られる奥行き方向の情報を含む画像を撮像する、
   ロボット。
7. 請求項４から６のうちいずれか一項に記載のロボットであって、
   前記制御部は、前記撮像画像に基づいて、前記柔軟物の表面形状を表す近似式を算出し、算出された近似式に基づいて、前記柔軟物の前記所定部の位置及び姿勢を算出することで、前記相対速度を算出する、
   ロボット。
8. 請求項７に記載のロボットであって、
   前記制御部は、前記撮像画像のうち、前記柔軟物の所定部を含む部分領域を抽出し、抽出された前記部分領域に基づいて、前記柔軟物の表面形状を表す近似式を算出する、
   ロボット。
9. 請求項７又は８に記載のロボットであって、
   前記制御部は、前記柔軟物の所定部の位置及び姿勢と、前記ハンドに予め設定された点の位置及び姿勢に基づいて、前記ハンドと前記柔軟物の相対位置を算出することで、前記相対速度を算出する、
   ロボット。
10. 請求項７から９のうちいずれか一項に記載のロボットであって、
    前記制御部は、前記撮像画像と前記相対速度に基づいてヤコビ行列を算出する、
    ロボット。
11. 請求項１０に記載のロボットであって、
    前記制御部は、前記ヤコビ行列に基づいてビジュアルサーボで前記ハンドを動かす、
    ロボット。
12. 柔軟物を含む撮像画像を撮像する撮像部と、
    前記柔軟物を把持するハンドを備えるロボットと、
    前記ハンドを動作させる制御部と、を含み、
    前記制御部は、
    前記ハンドと前記柔軟物の所定部との相対速度を用いて、前記ハンドを動作させる、
    ロボットシステム。
13. 柔軟物を把持するハンドを備えるロボットを動作させる制御装置であって、
    前記ハンドと前記柔軟物の所定部との相対速度を用いて、前記ハンドを動作させる、
    制御装置。

Images