JP7632469B2 - ロボット制御装置、およびロボット制御方法、並びにプログラム - Google Patents

Description

本開示は、ロボット制御装置、およびロボット制御方法、並びにプログラムに関する。具体的にはロボットによる物体の把持処理の制御を行うロボット制御装置、およびロボット制御方法、並びにプログラムに関する。

近年、様々な分野でロボットの利用が増大している。例えば工場においてロボットを利用した製品組み立てが行われており、さらに、介護用ロボットなどの開発も行われている。

これらのロボットが行う処理は様々であるが、その一例として、物体を把持して移動させる処理がある。
例えば工場で利用する組み立てロボットの場合、ロボットのアームに接続された把持機構を持つハンドを利用して製品組み立てに利用する部品を把持し、部品の把持状態のまま所定位置に移動して、把持を解除することで、部品を別の物体へ装着するといった処理が行われる。

また、例えば介護用ロボットの場合、ユーザの手の届かないテーブルに置いてあるコップを、ロボットのハンドで把持して、ユーザの手の届く位置まで運んでユーザに手渡すといった処理が行われる。

このような物体の把持処理をロボットに行わせる場合、例えばロボットの周辺状況を全体的に把握可能な視野をもつ俯瞰カメラで周辺画像を撮影し、この撮影画像を解析して把持対象物体の位置を確認し、ハンドを把持対象物体の位置まで移動させて把持対象物体を把持する処理が行われる。

しかし、俯瞰カメラの撮影画像の解析に基づいて取得する位置情報に誤差があると、ハンドの移動先が、目標とする把持位置とずれてしまい、把持処理に失敗する場合がある。

さらに、ロボットのアームの機械誤差（たわみやガタ）などの影響でロボットの手先位置が本来到達すべき位置からずれてしまう可能性もあり、これらの誤差も把持失敗の要因になり得る。

このような問題を解決する手法を開示した従来技術として、特許文献１（特開２００７－３１９９３８号公報）がある。
この特許文献１は、ロボットに俯瞰カメラの他、物体把持処理を行うハンド部に手先カメラを装着し、これら２つのカメラを利用した構成を開示している。
俯瞰カメラで物体把持処理を行うハンドを撮影して、俯瞰カメラとハンドの位置関係を把握した上で、手先カメラで把持対象物体の認識を行う構成である。

しかし、この方法を適用すると、俯瞰カメラは、把持対象物体を撮影する以外に、ハンド部も撮影する必要があり、把持可能な範囲は、ハンド部の近傍にある物体に限定されてしまういという問題が発生する。

また、この特許文献１に開示された構成は、予め把持対象物体の形状データを記憶部に格納し、この形状データを利用して、把持対象物体の認識を行っている。従って、形状データが記憶されていない未知物体の把持処理には適用できないという問題がある。

特開２００７－３１９９３８号公報 特開２０１３－１８４２５７号公報

本開示は、例えば上記問題点に鑑みてなされたものであり、ロボットを利用して物体を把持する構成において、把持対象物体の形状の登録データを有していない場合でも把持処理の確実な実行を可能としたロボット制御装置、およびロボット制御方法、並びにプログラムを提供することを目的とする。

本開示の第１の側面は、
ロボットに装着された第１カメラの撮影画像に含まれる把持対象物体を包含する第１カメラ基準包含ボックスと、前記ロボットに装着された第２カメラの撮影画像に含まれる前記把持対象物体を包含する第２カメラ基準包含ボックスを生成する包含ボックス生成部と、
前記第１カメラの撮影画像内の前記第１カメラ基準包含ボックスに対する前記把持対象物体の目標把持位置の相対位置を算出し、算出した前記相対位置に基づいて、前記第２カメラの撮影画像内の前記第２カメラ基準包含ボックスに対する前記目標把持位置を算出し、算出位置を前記第２カメラの撮影画像に含まれる把持対象物体の補正目標把持位置に設定する把持位置算出部と、
前記第２カメラの撮影画像内の前記補正目標把持位置を前記ロボットのハンドで把持させる制御情報を生成する制御情報生成部を有するロボット制御装置にある。

さらに、本開示の第２の側面は、
ロボット制御装置において実行するロボット制御方法であり、
包含ボックス生成部が、ロボットに装着された第１カメラの撮影画像に含まれる把持対象物体を包含する第１カメラ基準包含ボックスと、前記ロボットに装着された第２カメラの撮影画像に含まれる前記把持対象物体を包含する第２カメラ基準包含ボックスを生成する包含ボックス生成ステップと、
把持位置算出部が、前記第１カメラの撮影画像内の前記第１カメラ基準包含ボックスに対する前記把持対象物体の目標把持位置の相対位置を算出し、算出した前記相対位置に基づいて、前記第２カメラの撮影画像内の前記第２カメラ基準包含ボックスに対する前記目標把持位置を算出し、算出位置を前記第２カメラの撮影画像に含まれる把持対象物体の補正目標把持位置に設定する把持位置算出ステップと、
制御情報生成部が、前記第２カメラの撮影画像内の前記補正目標把持位置を前記ロボットのハンドで把持させる制御情報を生成する制御情報生成ステップを実行するロボット制御方法にある。

さらに、本開示の第３の側面は、
ロボット制御装置においてロボット制御処理を実行させるプログラムであり、
包含ボックス生成部に、ロボットに装着された第１カメラの撮影画像に含まれる把持対象物体を包含する第１カメラ基準包含ボックスと、前記ロボットに装着された第２カメラの撮影画像に含まれる前記把持対象物体を包含する第２カメラ基準包含ボックスを生成させる包含ボックス生成ステップと、
把持位置算出部に、前記第１カメラの撮影画像内の前記第１カメラ基準包含ボックスに対する前記把持対象物体の目標把持位置の相対位置を算出し、算出した前記相対位置に基づいて、前記第２カメラの撮影画像内の前記第２カメラ基準包含ボックスに対する前記目標把持位置を算出し、算出位置を前記第２カメラの撮影画像に含まれる把持対象物体の補正目標把持位置に設定させる把持位置算出ステップと、
制御情報生成部に、前記第２カメラの撮影画像内の前記補正目標把持位置を前記ロボットのハンドで把持させる制御情報を生成させる制御情報生成ステップを実行させるプログラムにある。

なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。

本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本開示の一実施例の構成によれば、ロボットによる物体の把持処理を確実に実行することを可能とした装置、方法が実現される。
具体的には、例えば、ロボットに装着された俯瞰カメラの撮影画像に含まれる把持対象物体を包含する俯瞰カメラ基準包含ボックスと、ロボットに装着された手先カメラの撮影画像に含まれる把持対象物体を包含する手先カメラ基準包含ボックスを生成する。さらに、俯瞰カメラの撮影画像内の俯瞰カメラ基準包含ボックスに対する把持対象物体の目標把持位置の相対位置を算出し、算出した相対位置に基づいて、手先カメラの撮影画像内の手先カメラ基準包含ボックスに対する目標把持位置を算出し、算出位置を手先カメラの撮影画像に含まれる把持対象物体の補正目標把持位置に設定する。さらに、手先カメラの撮影画像内の補正目標把持位置を、ロボットのハンドで把持させる制御情報を生成してロボットによる把持処理を実行させる。
本構成により、ロボットによる物体の把持処理を確実に実行することを可能とした装置、方法が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。

ロボットの動作と制御処理の一例について説明する図である。 ロボットの動作と制御処理の一例について説明する図である。 ロボットの動作と制御処理の問題点について説明する図である。 ロボットの動作と制御処理の問題点の解決例について説明する図である。 本開示のロボット制御装置の構成例について説明する図である。 本開示のロボット制御装置の実行する処理のシーケンスについて説明するフローチャートを示す図である。 把持対象物体の指定情報と、目標把持位置の指定情報の入力処理の具体例について説明する図である。 把持対象物体の点群抽出処理の具体例について説明する図である。 本開示のロボット制御装置が実行する俯瞰カメラ撮影画像を適用した包含ボックス（バウンディングボックス）生成処理のシーケンスについて説明するフローチャートを示す図である。 包含ボックス（バウンディングボックス）生成処理の具体例について説明する図である。 包含ボックス（バウンディングボックス）生成処理の具体例について説明する図である。 包含ボックス（バウンディングボックス）生成処理の具体例について説明する図である。 包含ボックス（バウンディングボックス）生成処理の具体例について説明する図である。 包含ボックス（バウンディングボックス）生成処理の具体例について説明する図である。 俯瞰カメラ基準の包含ボックス（バウンディングボックス）と、目標把持位置との相対関係算出処理の具体例について説明する図である。 本開示のロボット制御装置が実行する手先カメラ撮影画像を適用した包含ボックス（バウンディングボックス）生成処理のシーケンスについて説明するフローチャートを示す図である。 本開示のロボット制御装置が実行する補正目標把持位置の算出処理の具体例について説明する図である。 本開示のロボット制御装置のハードウェア構成例について説明する図である。

以下、図面を参照しながら本開示のロボット制御装置、およびロボット制御方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．ロボットによる物体把持処理の概要について
２．ロボットの把持処理における問題点について
３．本開示のロボット制御装置の構成例について
４．本開示のロボット制御装置が実行する処理の詳細について
５．本開示のロボット制御装置の変形例、応用例について
６．本開示のロボット制御装置のハードウェア構成例について
７．本開示の構成のまとめ

［１．ロボットによる物体把持処理の概要について］
まず、図１以下を参照してロボットによる物体把持処理の概要について説明する。
図１はロボット１０が、把持対象物体である物体５０を把持する際の処理シーケンスを説明する図である。
ロボット１０は、図に示すステップＳ０１～Ｓ０３の順に動作を行い、物体５０を把持する。

ロボット１０は、頭部２０と、ハンド３０と、アーム４０を有する。ハンド３０は、アーム４０によってロボット本体に接続され、アーム４０の制御により、ハンド３０の位置や向きなどを変更することが可能な構成を有する。
ハンド３０は、両サイドに人の指に相当する回動可能な可動部を有しており、物体を把持動作や、物体の解放動作を行うことが可能な構成を有する。

なお、ロボット１０は、例えば脚部や車輪部などの駆動部の駆動により移動し、さらにアーム４０の制御によってハンド３０を物体５０の把持可能な位置に移動させる。
あるいは、ロボット本体１０は移動せず、アーム４０のみの制御によってハンド３０を物体に近づける構成としてもよい。
本開示の処理は、いずれの構成においても適用可能である。なお、以下に説明する実施例においては、一例として、ロボット１０本体も移動可能な構成例について説明する。

ロボット１０は、把持対象物体である物体５０の位置等を確認するための２つのカメラを有している。
１つは、頭部２０に装着された俯瞰カメラ２１であり、もう１つは、ハンド３０に装着された手先カメラ３１である。

なお、俯瞰カメラ２１や、手先カメラ３１には、可視光画像撮影用のカメラに限らず、距離画像等を取得可能なセンサも含まれる。ただし、３次元情報を得られるカメラ、あるいはセンサを用いることが好ましい。例えば、ステレオカメラ、ＴｏＦセンサやＬｉｄａｒなどのセンサ、あるいはこれらのセンサと単眼カメラとの組み合わせ等でもよい。把持対象物体の３次元位置を解析可能なデータが取得可能なカメラやセンサを用いることが好ましい。

図１（ステップＳ０１）は、俯瞰カメラ２１による物体５０の位置確認ステップを示している。
ロボット１０内のデータ処理部は、俯瞰カメラ２１の撮影画像から、把持対象物体である物体５０を検出し、物体５０の３次元位置を算出する。ロボット１０のデータ処理部は、この位置確認後、物体５０に近づくように移動する。

（ステップＳ０２）は、物体５０に近づいたロボット１０が、ハンド３０を物体５０の把持可能な位置に移動させる処理を示している。
このハンド位置の制御は、ハンド３０に装着された手先カメラ３１の撮影画像の解析に基づいて実行される。

ロボット１０内のデータ処理部は、手先カメラ３１の撮影画像から、把持対象物体である物体５０を検出し、物体５０の３次元位置を算出する。ロボット１０のデータ処理部は、この位置確認後、ハンド３０の位置や向きを、物体５０を把持可能な状態に設定する調整処理を行う。

（ステップＳ０３）は、ステップＳ０２のハンド３０の調整処理後の把持処理を示している。
ハンド３０の両サイドの可動部を動作させて物体５０を把持する。

この物体把持処理シーケンスの詳細シーケンスについて、図２を参照して説明する。
図２は、先に図１を参照して説明したロボット１０による物体５０の把持シーケンスを、さらに詳細な処理単位で示した図である。
図２に示すステップＳ１１～Ｓ１５の順に処理が実行される。
以下、各処理ステップについて、順次、説明する。

（ステップＳ１１）
まず、ステップＳ１１において、目標把持位置決定処理を実行する。
まず、ロボット１０の頭部２０に装着した俯瞰カメラ２１の撮影画像を解析して、把持対象物体である物体５０を検出し、物体５０の位置を解析する。

（ステップＳ１２）
ステップＳ１２は、軌道計画ステップである。
ロボット１０のデータ処理部は、ステップＳ１１において算出した把持対象物体である物体５０の位置情報に基づいて、算出した物体５０の位置に近づくためのロボットまたはハンドの移動経路、すなわち軌道計画の生成を行う。なお、移動後のハンド３０の位置は、ハンド３０に装着した手先カメラ３１から把持対象物体が観測できる位置であればどこでもよい。

（ステップＳ１３）
次に、ステップＳ１３において、ステップＳ１２で生成した軌道に従ってロボットやハンドを移動させる。前述したように、移動後のハンド３０の位置は、ハンド３０に装着した手先カメラ３１から把持対象物体が観測できる位置となる。

（ステップＳ１４）
次に、ステップＳ１４において、ハンド３０の位置や向きの微調整を行う。
このハンド位置の制御は、ハンド３０に装着された手先カメラ３１の撮影画像の解析に基づいて実行する。

ロボット１０内のデータ処理部は、手先カメラ３１の撮影画像から、把持対象物体である物体５０を検出し、物体５０の位置を算出する。ロボット１０のデータ処理部は、この位置確認後、ハンド３０の位置や向きを、物体５０を把持可能な状態に設定する調整処理を行う。

（ステップＳ１５）
最後に、ハンド３０の両サイドの可動部を動作させて物体５０を把持する。

このように、ロボット１０は、まず、頭部２０に装着された俯瞰カメラ２１の撮影画像に基づいて把持対象物体である物体５０の位置を確認する。
その後、ハンド３０が、物体５０に近づいた後は、ハンド３０に装着された手先カメラ３１の撮影画像を解析して、ハンド３０の位置や向きを微調整して物体５０を把持する処理を行う。

［２．ロボットの把持処理における問題点について］
次に、図１、図２を参照して説明したロボットの把持処理における問題点について説明する。

図３を参照してロボットの把持処理における問題点について説明する。
図３は、先に説明した図１と同様、ロボット１０が、把持対象物体である物体５０を把持する際の処理シーケンスを説明する図である。
ロボット１０は、図に示すステップＳ０１～Ｓ０３の順に動作して物体５０を把持する。

ここで、図１との違いは、把持対象物体である物体５０の形状である。
図１を参照して説明した構成では、把持対象物体である物体５０は球体、あるいは円柱上の形状を有していたが、図３に示す把持対象物体である物体５０は、直方体形状を有する。

図３（ステップＳ０１）は、俯瞰カメラ２１による物体５０の位置確認ステップを示している。
ロボット１０内のデータ処理部は、俯瞰カメラ２１の撮影画像から、把持対象物体である物体５０を検出し、物体５０の３次元位置を算出する。ロボット１０のデータ処理部は、この位置確認後、物体５０に近づくように移動する。

（ステップＳ０２）は、物体５０に近づいたロボット１０が、ハンド３０を物体５０の把持可能な位置に移動させる処理を示している。
このハンド位置の制御は、ハンド３０に装着された手先カメラ３１の撮影画像の解析に基づいて実行される。

ロボット１０内のデータ処理部は、手先カメラ３１の撮影画像から、把持対象物体である物体５０を検出し、物体５０の位置を算出する。ロボット１０のデータ処理部は、この位置確認後、ハンド３０の位置や向きを、物体５０を把持可能な状態に設定する調整処理を行う。

（ステップＳ０３）は、ステップＳ０２のハンド３０の調整処理後の把持処理を示している。
ハンド３０の両サイドの可動部を動作させて物体５０を把持しようとする。

しかし、図３に示す例では、把持対象物体である物体５０が直方体形状を有している。このような形状の物体５０を把持する場合、ハンド３０の向きを物体５０に対して、安定した把持処理が可能となる特定方向に設定しないと、図３（Ｓ０３）に示すように物体５０がハンド３０の中で回転してしまい、把持処理に失敗することがある。

例えば、物体５０が水の入った容器であるような場合には、容器から水がこぼれてしまうといった事態が発生することになる。

図４は、このような直方体形状を有する物体５０を安定的に保持する処理を行うためのロボット１０の制御処理例を示す図である。

図４には、図３と同様、把持対象物体である物体５０が直方体形状を有している場合のロボット１０による物体の把持処理シーケンスを示している。

図３との違いは、図４（Ｓ０３）に示すように、ハンド３０の向きを物体５０に対して、安定した把持処理が可能となる方向に設定して把持処理を実行している点である。このようなハンド３０の位置や方向の制御を行うことで、様々な形状を有する物体を安定して把持することが可能となる。

本開示のロボット制御装置は、図４に示すような処理、すなわち様々な形状を有する物体を安定的に把持する制御を可能とした構成を有する。
以下、本開示のロボット制御装置の構成と処理について説明する。

［３．本開示のロボット制御装置の構成例について］
次に、本開示のロボット制御装置の構成例について説明する。

図５は、本開示のロボット制御装置１００の一構成例を示すブロック図である。
図５に示す本開示のロボット制御装置１００は、例えば図１～図４に示すロボット１０の内部に構成される。

図５に示すように、本開示のロボット制御装置１００は、データ処理部１１０、ロボット頭部１２０、ロボットハンド部１３０、ロボット移動部１４０、通信部１５０、入出力部（ユーザ端末）１８０を有する。
なお、入出力部（ユーザ端末）１８０は、ロボット本体内にあってもよいし、ロボット本体とは異なる独立した装置であるユーザ端末として構成してもよい。
また、データ処理部１１０についても、ロボット本体内にあってもよいし、ロボット本体とは異なる独立した装置内に構成してもよい。

データ処理部１１０は、把持対象物体点群抽出部１１１、把持対象物体包含ボックス生成部１１２、把持位置算出部１１３、制御情報生成部１１４を有する。
ロボット頭部１２０は、駆動部１２１、俯瞰カメラ１２２を有する。
ロボットハンド部１３０は、駆動部１３１、手先カメラ１３２を有する。
ロボット移動部１４０は、駆動部１４１、センサ１４２を有する。

なお、図５に示す構成要素は、本開示の処理に適用する主要構成要素を示すものであり、ロボット内部には、その他、様々な構成要素、例えば、記憶部等の構成要素がある。

ロボット頭部１２０の駆動部１２１は、ロボット頭部１２０を駆動し、ロボット頭部の向きを制御する。この制御により、俯瞰カメラ１２２の画像撮影方向が制御される。
俯瞰カメラ１２２は、ロボット頭部１２０から観察される画像を撮影する。
なお、俯瞰カメラ１２２は、可視光画像撮影用のカメラに限らず、距離画像等を取得可能なセンサでもよい。ただし、３次元情報を得られるカメラ、あるいはセンサを用いることが好ましい。例えば、ステレオカメラ、ＴｏＦセンサやＬｉｄａｒなどのセンサ、あるいはこれらのセンサと単眼カメラとの組み合わせ等でもよい。把持対象物体の３次元位置を解析可能なデータが取得可能なカメラやセンサを用いることが好ましい。

ただし、単眼カメラのみでも、連続撮影画像の解析処理、例えばＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）処理等を行うことで、撮影画像内の物体の３次元位置の解析が可能であり、ロボット制御装置１００が、このような解析処理を行う構成を有している場合は、俯瞰カメラ１２２は単眼カメラでもよい。

なお、ＳＬＡＭ（ｓｉｍｕｌｔａｎｅｏｕｓ ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ ｍａｐｐｉｎｇ）処理は、自己位置同定（ローカリゼーション）と環境地図作成（ｍａｐｐｉｎｇ）を並行して実行する処理である。

ロボットハンド部１３０の駆動部１３１は、ロボットハンドの向きの制御や、把持動作の制御を行う。
手先カメラ１３２は、ロボットハンド部１３０の直前の画像を撮影するカメラである。

この手先カメラ１３２も、可視光画像撮影用のカメラに限らず、距離画像等を取得可能なセンサでもよい。ただし、３次元情報を得られるカメラ、あるいはセンサを用いることが好ましい。例えば、ステレオカメラ、ＴｏＦセンサやＬｉｄａｒなどのセンサ、あるいはこれらのセンサと単眼カメラとの組み合わせ等でもよい。把持対象物体の３次元位置を解析可能なデータが取得可能なカメラやセンサを用いることが好ましい。

ただし、上述の俯瞰カメラ１２２と同様、ロボット制御装置１００が、例えばＳＬＡＭ処理等による撮影画像内の物体の３次元位置の解析処理を行う構成を有している場合は、手先カメラ１３２も単眼カメラでもよい。

ロボット移動部１４０の駆動部１４１は、例えばロボットの脚駆動や車輪駆動を行う駆動部であり、ロボット本体を移動させるための駆動処理を行う。
センサ１４２は、ロボットの移動方向の障害物の検出などを行うためのセンサであり、カメラ、ＴｏＦセンサ、Ｌｉｄａｒ等によって構成される。

データ処理部１１０は、把持対象物体点群抽出部１１１、把持対象物体包含ボックス生成部１１２、把持位置算出部１１３、制御情報生成部１１４を有する。

把持対象物体点群抽出部１１１は、俯瞰カメラ１２２の撮影画像や、手先カメラ１３２の撮影画像に含まれる把持対象物体を示す点群（３次元点群）の抽出処理を実行する。点群は、把持対象物体となる物体の外形、すなわち物体の３次元形状を示す点群（３次元点群）に相当する。具体的な処理例については後述する。

把持対象物体包含ボックス生成部１１２は、把持対象物体点群抽出部１１１が生成した把持対象物体の３次元点群に基づいて、この３次元点群を包含する「把持対象物体包含ボックス」を生成する。

「把持対象物体包含ボックス」は、把持対象物体の３次元形状を示す点群を包含するボックスであり、直方体、円筒、円錐、トーラスなど、形状は特に限定されない。なお、以下の実施例では、一例として、「把持対象物体包含ボックス」として直方体の包含立体（バウンディングボックス）を用いた例について説明する。

把持位置算出部１１３は、例えば、以下の処理を実行する。
（１）俯瞰カメラ撮影画像内の把持対象物体の把持対象物体包含ボックス（バウンディングボックス）と目標把持位置との相対関係算出処理、
（２）俯瞰カメラ撮影画像内の把持対象物体の把持対象物体包含ボックス（バウンディングボックス）と目標把持位置との相対関係を適用して、手先カメラ撮影画像内の把持対象物体の把持対象物体包含ボックス（バウンディングボックス）に対する目標把持位置の相対位置である補正目標把持位置の算出処理、
これらの処理を実行する。

目標把持位置とは、例えば、入出力部（ユーザ端末）１８０を利用して俯瞰カメラの撮影画像を見ながらユーザが設定する目標とする把持位置である。ロボットのハンドによって把持対象物体を安定して把持することができる把持位置であり、例えばハンドによる把持対象物体の把持処理時に、ハンドと把持対象物体との接触位置に相当する。

例えば、図１～図４を参照して説明した両サイドから物体５０を挟み込むグリッパー型のハンドを利用する場合、目標把持位置は物体５０の両サイドの２箇所に設定されることになる。この具体例や詳細については後段で説明する。

把持位置算出部１１３は、
（ａ）俯瞰カメラ撮影画像内の把持対象物体の把持対象物体包含ボックス（バウンディングボックス）と、
（ｂ）手先カメラ撮影画像内の把持対象物体の把持対象物体包含ボックス（バウンディングボックス）
これら、異なるカメラの撮影画像内の把持対象物体の２つの把持対象物体包含ボックス（バウンディングボックス）を生成し、各包含ボックス（バウンディングボックス）と把持位置との相対位置を一致させることで、ユーザが設定した目標把持位置が、手先カメラの撮影画像に含まれる把持対象物体のどの位置に対応するかを算出する。この算出位置を補正目標把持位置とする。

制御情報生成部１１４は、把持位置算出部１１３が算出した「補正目標把持位置」をロボットのハンドによって把持させる制御情報を生成する。この制御情報が、ロボット移動部１４０の駆動部１４１や、ロボットハンド部１３０の駆動部１３１に出力される。

ロボット移動部１４０の駆動部１４１や、ロボットハンド部１３０の駆動部１３１は、制御情報生成部１１４の生成した制御情報、すなわち、ロボットのハンドにより、把持位置算出部１１３が算出した「補正目標把持位置」を把持させる制御情報に従って駆動処理を実行する。
この駆動処理によって、ロボットのハンドは、「補正目標把持位置」を把持することが可能となる。
この「補正目標把持位置」は、ユーザが俯瞰画像を見ながら指定した目標把持位置に一致する把持位置であり、手先カメラの撮影画像に含まれる把持対象物体上に設定される把持位置である。この手先カメラの撮影画像に含まれる把持対象物体上に設定される補正目標把持位置をロボットのハンドで把持することで、物体を安定して把持することが可能となる。なお、ユーザが俯瞰画像を見ながら指定した目標把持位置は、[0]認識誤差や機械誤差を含まないものであることが前提となる。

［４．本開示のロボット制御装置が実行する処理の詳細について］
次に、本開示のロボット制御装置１００が実行する処理の詳細について説明する。

図６は、図５に示すロボット制御装置１００のデータ処理部１１０が実行する把持対象物体の把持位置（補正目標把持位置）の算出処理シーケンスを説明するフローチャートである。

なお、「補正目標把持位置」とは、上述したように、手先カメラの撮影画像に含まれる把持対象物体を安定して把持することが可能な把持位置であり、ユーザが俯瞰画像を見ながら指定した目標把持位置に一致する把持位置である。

以下、図６に示すフローチャートに従って、本開示のロボット制御装置１００が実行する処理の詳細について説明する。
なお、図６に示すフローに従った処理は、ロボット制御装置１００の記憶部（メモリ）に格納されたプログラムに従って、情報処理装置のプログラム実行機能を持つＣＰＵ等から構成される制御部（データ処理部）の制御の下で実行可能な処理である。
以下、図６に示すフローの各ステップの処理について説明する。

図６に示すフロー中、ステップＳ１１１～ステップＳ１１４の処理は、ロボット頭部１２０の俯瞰カメラ１２２の撮影画像（距離画像も含む）に基づいて実行される処理である。
一方、図６に示すフロー中、ステップＳ１２１～ステップＳ１２３の処理は、ロボットハンド部１３０の手先カメラ１３２の撮影画像（距離画像も含む）に基づいて実行される処理である。

まず、ステップＳ１１１～ステップＳ１１４の俯瞰カメラ１２２の撮影画像に基づいて実行される処理について説明する。

（ステップＳ１１１）
まず、ロボット制御装置１００のデータ処理部１１０は、俯瞰カメラ撮影画像を用いた把持対象物体の指定情報と、目標把持位置の指定情報を入力する。

把持対象物体の指定情報と、目標把持位置の指定情報は、例えば、入出力部（ユーザ端末）１８０を利用して俯瞰カメラの撮影画像を見ながらユーザが入力する。
この処理の具体例について、図７を参照して説明する。

図７には、以下の各図を示している。
（１）把持対象物体の指定処理例
（２）把持対象物体の把持位置の指定例

図７（１），（２）に示す図は、いずれも、入出力部（ユーザ端末）１８０の表示部に表示した俯瞰カメラ１２２の撮影画像である。
すなわち、俯瞰カメラ１２２の撮影画像は、直方体形状の把持対象物体がテーブルの上に置かれた画像である。
ユーザは、このように、入出力部（ユーザ端末）１８０に表示された俯瞰カメラの撮影画像を見ながら、把持対象物体の指定情報と、目標把持位置の指定情報を入力する。

図７（１）は、把持対象物体の指定情報の入力例である。
例えば、図７（１）に示すように、ユーザは、直方体形状の把持対象物体を囲む矩形領域を設定する等の手法により、把持対象物体を指定する。

さらに、図７（２）に示すように、ユーザは、把持対象物体を安定して把持するための把持位置（目標把持位置）を指定する。
把持位置の指定方法としては、図に示すように、把持対象物体表面の把持位置を直接、指定する方法と、把持位置を示す矢印を設定する手法がある。
図７（２）に示す例では、直方体形状の把持対象物体表面の把持位置を両サイドの対面する２面のほぼ中央位置に設定しようとしている。

把持対象物体の両サイドの対面する２面中、一方の面は、俯瞰カメラの撮影画像から観察可能な位置にあり、この点は、把持対象物体表面の把持位置を直接、指定することができる。
しかし、一方の面は、俯瞰カメラの撮影画像では見えない位置にある。このような場合、ユーザは、図に示すように把持位置を示す矢印を設定する。
なお、表示部に把持対象物体の３次元画像を表示し、さらに、表示データ上にユーザが対話的に位置情報を設定可能なマーカを表示して、ユーザがマーカを移動させて把持位置を直接的に指定する方法を適用してもよい。

ロボット制御装置１００のデータ処理部１１０は、ユーザが把持対象物体表面の把持位置を直接、指定した場合は、この指定位置を目標把持位置として決定し、この位置情報（把持対象物体に対する相対位置、または目標把持位置の３次元位置）を記憶部に格納する。
また、ユーザが、把持対象物体表面の把持位置を直接、指定せず、矢印を設定した場合は、ロボット制御装置１００のデータ処理部１１０は、ユーザによって設定された矢印と把持対象物体との交点を算出してこの交点を目標把持位置として決定し、この位置情報（把持対象物体に対する相対位置、または目標把持位置の３次元位置）を記憶部に格納する。

なお、把持位置は、ロボットのハンドにより、把持対象物体を安定的に把持して持ち上げることが可能な点であり、この把持位置の数は、ロボットのハンドの構成によって異なるものとなる。本実施例では、図１～図４を参照して説明したようにロボットのハンドは、左右にそれぞれ回動可能な２つの可動部を有するグリッパー型を有する。このグリッパー型のハンド構成では、２つの可動部が把持対象物体を左右から挟むようにして把持する構成であるため、左右の２つの可動部各々が、把持対象物体と接触する２点を把持位置として設定すればよい。

例えば、ロボットのハンドが三本指構造などの場合には、各指が把持対象物体と接触する３点を把持位置として指定するといった処理を行うことになる。

図７（１），（２）に示すように、ユーザが入出力部（ユーザ端末）１８０に表示された俯瞰カメラの撮影画像を見ながら、把持対象物体の指定情報と、目標把持位置の指定情報を入力すると、ロボット制御装置１００のデータ処理部１１０は、これらの入力情報に基づいて、把持対象物体と、把持対象物体上の目標把持位置を決定する。

（ステップＳ１１２）
次に、図６のフローのステップＳ１１２の処理について説明する。
ステップＳ１１２では、俯瞰カメラ撮影画像内の把持対象物体の点群抽出処理を実行する。

この処理は、ロボット制御装置１００のデータ処理部１１０の把持対象物体点群抽出部１１１が実行する処理である。
把持対象物体点群抽出部１１１は、俯瞰カメラ１２２の撮影画像内から選択された把持対象物体に基づいて、把持対象物体を示す点群（３次元点群）の抽出処理を実行する。点群は、把持対象物体である物体の外形、すなわち物体の３次元形状を示す点群（３次元点群）に相当する。

図８を参照して、把持対象物体点群抽出部１１１が実行する把持対象物体の３次元点群抽出処理例について説明する。
図８には、以下の各図を示している。
（１）把持対象物体と把持対象物体指定情報、
（２）把持対象物体の点群（３次元点群）の例

図８（１）には、俯瞰カメラ１２２の撮影画像から選択された把持対象物体と、ユーザによって指定された把持対象物体の指定情報としての矩形領域を示している。
把持対象物体点群抽出部１１１は、指定された矩形領域にある物体を把持対象物体とし、その物体に対応する点群を抽出する。

なお、初期的には、画像内の全ての物体領域に対して点群が生成される。従って、把持対象物体点群抽出部１１１は、ユーザによって指定された矩形領域に含まれる把持対象物体に関する点群以外の点群を除去する処理を行う必要がある。

例えば、把持対象物体の支持平面（テーブル等）の物体に対応する点群があれば、この支持平面（テーブル）対応の点群の除去を行う。
把持対象物体以外の物体に対応する点群を除去して、把持対象物体に対応する点群のみを抽出するための手法としては、例えば、個別の物体単位の点群を分類するクラスタリング処理が有効である。

点群を物体単位のクラスタに分割し、その後、ユーザが設定した把持対象物体の指定領域である矩形領域内にクラスタを最も多く含むクラスタから構成される点群を把持対象物体対応の点群として抽出する。その他の点群クラスタは、把持対象物体以外の物体の点群であるので、削除する。
このような処理を行うことで、例えば図８（２）に示すような把持対象物体の点群（３次元点群）を抽出することができる。

なお、把持対象物体が置かれたテーブル等の支持平面の検出処理は、例えばＲＡＮＳＡＣ手法等の既存手法が適用可能である。また、クラスタリングについてはＥｕｃｌｉｄｅａｎ Ｃｌｕｓｔｅｒｉｎｇなどといった既存手法が適用可能である。

（ステップＳ１１３）
次に、図６のフローのステップＳ１１３の処理について説明する。
ステップＳ１１３では、俯瞰カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）の生成処理を行う。

この処理は、ロボット制御装置１００のデータ処理部１１０の把持対象物体包含ボックス生成部１１２が実行する処理である。

把持対象物体包含ボックス生成部１１２は、把持対象物体点群抽出部１１１が生成した把持対象物体の３次元点群に基づいて、この３次元点群を包含する「把持対象物体包含ボックス」を生成する。
前述したように、「把持対象物体包含ボックス」は直方体、円筒、円錐、トーラスなど、形状は特に限定されず、様々な形状とすることが可能である。ただし、本実施例では、「把持対象物体包含ボックス」として、直方体形状を有するバウンディングボックスを用いた例を説明する。

このステップＳ１１３の処理、すなわち、把持対象物体包含ボックス生成部１１２が実行する俯瞰カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）生成処理の詳細シーケンスについて、図９に示すフローと図１０を参照して説明する。

図９に示すフローの各ステップの処理について説明する。
（ステップＳ２０１）
まず、把持対象物体包含ボックス生成部１１２は、ステップＳ２０１において、以下の各情報を入力する。
（ａ）俯瞰カメラ基準の把持対象物体点群
（ｂ）目標把持位置

（ａ）俯瞰カメラ基準の把持対象物体点群は、把持対象物体点群抽出部１１１が生成した点群データであり、把持対象物体点群抽出部１１１から入力する。
（ｂ）目標把持位置はユーザによって入力された目標把持位置であり、図６のフローのステップＳ１１１においてユーザによって入力された目標把持位置である。

（ステップＳ３０２）
次に、把持対象物体包含ボックス生成部１１２は、ステップＳ３０２において、包含ボックス（バウンディングボックス）の１辺を、目標把持位置のアプローチ方向（ｘ方向）に垂直な鉛直面（ｙｚ平面）に平行に設定する処理を行う。

この処理について、図１０（１）を参照して説明する。
図１０（１）には、包含ボックス（バウンディングボックス）生成処理における座標系と入力情報例を示している。

座標系は、ハンド３０が把持対象物体である物体５０へ近づく方向であるアプローチ方向をｘ方向とし、ｘ方向に垂直で、かつハンド３０の把持処理に際して、ハンド３０の可動部を目標把持位置に近づけるための移動方向をｙ軸とする。さらに、ｘ軸，ｙ軸に垂直な方向をｚ軸として設定した右手座標系である。

ステップＳ２０２では、包含ボックス（バウンディングボックス）の１辺を、目標把持位置のアプローチ方向（ｘ方向）に垂直な鉛直面（ｙｚ平面）に平行に設定する処理を行う。

具体例を図１０（２）に示す。図１０（２）に示すように、目標把持位置のアプローチ方向（ｘ方向）に垂直な鉛直面（ｙｚ平面）に平行な辺を包含ボックス（バウンディングボックス）の１辺として設定する。

この辺を４本、設定することで、直方体形状のバウンディングボックスの面が規定されることになる。しかし、このｙｚ平面に平行な辺を持つバウンディングボックスとしては、例えば図１１（２ａ），（２ｂ）に示すような様々なバウンディングボックスが生成可能である。

図１１（２ａ）は、好ましくないバウンディングボックスの生成例であり、図１１（２ｂ）は、好ましいバウンディングボックスの生成例である。
把持対象物体包含ボックス生成部１１２は、ステップＳ２０２において、さらに、図１１（２ｂ）に示すように、バウンディングボックスの一面を、ハンド３０のアプローチ方向（ｘ方向）に対して正対させるように設定する。
すなわち、ｙｚ平面に平行な辺を持つバウンディングボックスについてｚ軸周りの回転（ｙａｗ角）を調整して、バウンディングボックスの一面を、ハンド３０のアプローチ方向（ｘ方向）に対して正対させるように設定する。

（ステップＳ２０３）
次に、把持対象物体包含ボックス生成部１１２は、ステップＳ２０３において、把持対象物体の支持平面が存在するか否かを判定する。
支持平面とは、例えば、把持対象物体が置かれたテーブル等の平面である。

把持対象物体の支持平面が存在する場合は、ステップＳ２０４に進む。
一方、把持対象物体の支持平面が存在しない場合は、ステップＳ２１１に進む。

（ステップＳ２０４）
ステップＳ２０３において、把持対象物体の支持平面が存在すると判定した場合は、ステップＳ２０４に進む。
把持対象物体包含ボックス生成部１１２は、ステップＳ２０４において、包含ボックス（バウンディングボックス）の一面を支持平面上に設定して包含ボックス（バウンディングボックス）を生成する。

このステップＳ２０４の処理について、図１２を参照して説明する。図１２（３ａ）に示す例は、把持対象物体が支持平面であるテーブル上に置かれた状態を示している。

把持対象物体包含ボックス生成部１１２は、ステップＳ２０４において、図１２（３ａ）に示すように、包含ボックス（バウンディングボックス）の一面を支持平面（テーブル）上に設定する。

さらに、支持平面（テーブル）上に設定した面と、先に、ステップＳ２０２で生成した辺、すなわち、図１０（２）、図１１（２ｂ）を参照して説明した目標把持位置のアプローチ方向（ｘ方向）に垂直な鉛直面（ｙｚ平面）に平行に設定した辺を接続して、包含ボックス（バウンディングボックス）を生成する。
この結果、例えば図１３（３ｂ）に示すような包含ボックス（バウンディングボックス）が生成される。

（ステップＳ２１１）
一方、ステップＳ２０３において、把持対象物体の支持平面が存在しないと判定した場合は、ステップＳ２１１に進む。
把持対象物体包含ボックス生成部１１２は、ステップＳ２１１において、把持対象物体点群を、目標把持位置のアプローチ方向（ｙ方向）に平行な鉛直面（ｚｘ平面）に投影し、この投影面を包含ボックス（バウンディングボックス）の構成面とする。

この処理の具体例について、図１４（４）を参照して説明する。
図１４（４）に示すように、把持対象物体包含ボックス生成部１１２は、把持対象物体点群を、目標把持位置のアプローチ方向（ｙ方向）に平行な鉛直面（ｚｘ平面）に投影し、この投影面を包含ボックス（バウンディングボックス）の構成面とする。
この投影処理によって生成される投影面が、図１４（４）に示す「把持対象物体点群のｘｚ平面への投影面」である。

（ステッブＳ２１２）
次に、把持対象物体包含ボックス生成部１１２は、ステップＳ２１２において、投影した点群に対する２次元主成分分析を実行して、包含ボックス（バウンディングボックス）のピッチ軸（ｙ軸）回りの姿勢を決定する。

ｘｚ平面へ投影した把持対象物体点群は、元々、３次元形状を有する把持対象物体の３次元空間に広がった点群を２次元平面（ｘｚ平面）へ投影した点群である。
この２次元平面上に展開した点群に対して、２次元主成分分析を実行して、３次元形状を有する把持対象物体を包含する形状を持つ包含ボックス（バウンディングボックス）を決定することができる。具体的には、投影点群に対する２次元主成分分析により、包含ボックス（バウンディングボックス）のピッチ軸（ｙ軸）回りの姿勢を決定する。

この処理によって、例えば図１４（５）に示すような包含ボックス（バウンディングボックス）を生成することができる。
なお、投影点群に対する２次元主成分分析の代わりに３軸の主成分分析を直接適用してもよい。

また、目標把持位置の３次元位置情報が利用可能であるので、この目標把持位置の３次元位置が包含ボックス（バウンディングボックス）内に含まれるように包含ボックス（バウンディングボックス）を生成することで、より高精度な包含ボックス（バウンディングボックス）生成処理が実現される。

ここまで、図６に示すフローのステップＳ１１３の処理、すなわち、把持対象物体包含ボックス生成部１１２による、俯瞰カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）の生成処理の詳細について説明した。

上述したように、把持対象物体包含ボックス生成部１１２は、把持対象物体点群抽出部１１１が生成した把持対象物体の３次元点群に基づいて、この把持対象物体の３次元点群を包含する「把持対象物体包含ボックス（バウンディングボックス）」を生成する。

次に、図６のフローのステップＳ１１４の処理について説明する。
（ステップＳ１１４）
ステップＳ１１４では、俯瞰カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）と目標把持位置との相対位置関係の算出処理を実行する。

この処理は、ロボット制御装置１００のデータ処理部１１０の把持位置算出部１１３が実行する処理である。

把持位置算出部１１３は、俯瞰カメラ撮影画像内の把持対象物体の把持対象物体包含ボックス（バウンディングボックス）と目標把持位置との相対位置関係の算出処理を実行する。

なお、目標把持位置は、前述したように、例えば入出力部（ユーザ端末）１８０を利用して俯瞰カメラの撮影画像を見ながらユーザが設定した把持位置であり、ロボットのハンドによって把持対象物体を安定して把持することができるとユーザが判断した把持位置である。

このステップＳ１１４の処理について、図１５を参照して説明する。
図１５には、把持対象物体である物体５０と、図６に示すフローのステップＳ１１３において、把持対象物体包含ボックス生成部１１２が生成した物体５０を包含する俯瞰カメラ基準包含ボックス（バウンディングボックス）２０１を示している。

俯瞰カメラ基準包含ボックス（バウンディングボックス）２０１は俯瞰カメラ１２２の撮影画像に基づいて生成した包含ボックス（バウンディングボックス）である。

把持位置算出部１１３は、俯瞰カメラ基準包含ボックス（バウンディングボックス）２０１の１つの頂点を原点とした座標系（俯瞰カメラ基準包含ボックス座標系）を生成する。
図１５に示すように、俯瞰カメラ基準包含ボックス座標系は、包含ボックス（バウンディングボックス）２０１の１つの頂点を原点（Ｏ（ｂｂ１））として、直方体形状を有する俯瞰カメラ基準包含ボックス（バウンディングボックス）２０１の各辺をＸ，Ｙ，Ｚ軸に設定した座標系である。

俯瞰カメラ基準包含ボックス（バウンディングボックス）２０１は、俯瞰カメラ基準包含ボックス座標系上の原点（Ｏ（ｂｂ１））と、Ｘ軸上の点（Ｘ（ｂｂ１））と、Ｙ軸上の点（Ｙ（ｂｂ１））と、Ｚ軸上の点（Ｚ（ｂｂ１））、これら４点を頂点として有する直方体として定義される。

図１５には、さらに、目標把持位置の俯瞰カメラ基準包含ボックス座標系における３次元位置座標を示している。図１５に示す以下の２点である。
目標把持位置Ｌ（（Ｘ（Ｌ１），Ｙ（Ｌ１），Ｚ（Ｌ１）），２１１Ｌ
目標把持位置Ｒ（（Ｘ（Ｒ１），Ｙ（Ｒ１），Ｚ（Ｒ１）），２１１Ｒ
これらの２点である。

なお、目標把持位置は、前述したように、例えば入出力部（ユーザ端末）１８０を利用して俯瞰カメラの撮影画像を見ながらユーザが設定した目標把持位置である。

ステップＳ１１４において、把持位置算出部１１３は、ユーザが設定した目標把持位置を、図１５に示す座標系（俯瞰カメラ基準包含ボックス座標系）上の３次元位置として算出する。すなわち、図１５に示す以下の２点の３次元位置座標である。
目標把持位置Ｌ（（Ｘ（Ｌ１），Ｙ（Ｌ１），Ｚ（Ｌ１）），２１１Ｌ
目標把持位置Ｒ（（Ｘ（Ｒ１），Ｙ（Ｒ１），Ｚ（Ｒ１）），２１１Ｒ

この目標把持位置の座標は、包含ボックス（バウンディングボックス）の１つの頂点を原点とし、直方体形状を有する俯瞰カメラ基準包含ボックス（バウンディングボックス）２０１の各辺をＸ，Ｙ，Ｚ軸に設定した座標系における座標である。
従って、この図１５に示す目標把持位置の座標は、俯瞰カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）と目標把持位置との相対位置関係を示す座標となる。

このように、把持位置算出部１１３は、ステップＳ１１４において、俯瞰カメラ撮影画像内の把持対象物体の把持対象物体包含ボックス（バウンディングボックス）と目標把持位置との相対位置関係の算出処理として、図１５に示す座標系（俯瞰カメラ基準包含ボックス座標系）上の目標把持位置の３次元位置、すなわち、
目標把持位置Ｌ（（Ｘ（Ｌ１），Ｙ（Ｌ１），Ｚ（Ｌ１）），２１１Ｌ
目標把持位置Ｒ（（Ｘ（Ｒ１），Ｙ（Ｒ１），Ｚ（Ｒ１）），２１１Ｒ
これらの算出処理を実行する。

次に、図６に示すステップＳ１２１～Ｓ１２３の処理について説明する。
ステップＳ１２１～Ｓ１２３の処理は、ロボットハンド部１３０の手先カメラ１３２の撮影画像に基づいて実行される処理である。

（ステップＳ１２１）
ステップＳ１２１では、手先カメラ撮影画像内の把持対象物体の点群抽出処理を実行する。

この処理は、ロボット制御装置１００のデータ処理部１１０の把持対象物体点群抽出部１１１が実行する処理である。
把持対象物体点群抽出部１１１は、手先カメラ１３２の撮影画像に含まれる把持対象物体を示す点群（３次元点群）を抽出する。先に説明したように、点群は把持対象物体となる物体の外形、すなわち物体の３次元形状を示す点群（３次元点群）に相当する。

すなわち、先に図８を参照して説明したように、図８（２）に示すような把持対象物体の点群（３次元点群）を生成する。
なお、先に図８を参照して説明した処理では、ユーザが指定した把持対象物体を指定する矩形領域を利用した点群抽出を行っていた。

この手先カメラ１３２の撮影画像からの把持対象物体抽出処理においても、手先カメラ１３２の撮影画像を入出力部（ユーザ端末）１８０に表示して、ユーザに把持対象物体を指定させて矩形領域を設定して同様の処理を行ってもよいが、このようなユーザによる矩形領域指定を行わずに行うことも可能である。
すなわち、手先カメラ１３２の撮影画像からの把持対象物体抽出処理は、俯瞰カメラ１２２の撮影画像に基づいて生成された包含ボックス（バウンディングボックス）の形状とサイズを参照して、自律的に実行することが可能である。

具体的には、例えば、画像からの特定オブジェクトの抽出処理手法として知られたＭｉｎ－Ｃｕｔ Ｂａｓｅｄ Ｓｅｇｍｅｎｔａｔｉｏｎ処理を適用して把持対象物体抽出処理を実行する。すなわち、Ｍｉｎ－Ｃｕｔ Ｂａｓｅｄ Ｓｅｇｍｅｎｔａｔｉｏｎ処理により、シードとなる点とサイズを俯瞰カメラ基準の包含ボックス（バウンディングボックス）に含まれる点群とサイズに設定して前景抽出をするなどの方法を適用して、手先カメラ１３２の撮影画像からの把持対象物体抽出処理を実行する。

この処理の際、必要であれば把持対象物体が置かれたテーブル等の支持平面の検出処理や、クラスタリングなどの処理を加えてもよい。
把持対象物体が置かれたテーブル等の支持平面の検出処理は、前述したように、例えばＲＡＮＳＡＣ手法等の既存手法が適用可能である。また、クラスタリングについてはＥｕｃｌｉｄｅａｎ Ｃｌｕｓｔｅｒｉｎｇなどの既存手法が適用可能である。

なお、この処理によって取得された手先カメラ１３２基準の抽出点群のサイズが、ステップＳ１１３で生成した俯瞰カメラ基準の包含ボックス（バウンディングボックス）と大きく異なった場合は、再度パラメータを変更して、抽出する点群を変更するなどの処理を実行することが好ましい。
このような処理を行うことで、例えば図８（２）に示すような把持対象物体の点群（３次元点群）を、手先カメラ１３２の撮影画像に含まれる把持対象物体を示す点群（３次元点群）として抽出することができる。

（ステップＳ１２２）
次に、図６のフローのステップＳ１２２の処理について説明する。
ステップＳ１２２では、手先カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）の生成処理を行う。

この処理は、ロボット制御装置１００のデータ処理部１１０の把持対象物体包含ボックス生成部１１２が実行する処理である。

把持対象物体包含ボックス生成部１１２は、把持対象物体点群抽出部１１１が生成した手先カメラ１３２の撮影画像内の把持対象物体の３次元点群に基づいて、この３次元点群を包含する「把持対象物体包含ボックス」を生成する。
なお、把持対象物体包含ボックス生成部１１２が生成する包含ボックス、すなわち手先カメラ撮影画像の把持対象物体を包含する包含ボックスは、先にステップＳ１１３において生成した包含ボックスと同一形状の包含ボックスとする。

前述したように、「把持対象物体包含ボックス」は直方体、円筒、円錐、トーラスなど、形状は特に限定されず、様々な形状とすることが可能であるが、先にステップＳ１１３において生成した「把持対象物体包含ボックス」は、直方体形状を有するバウンディングボックスであり、このステップＳ１２２においても、直方体形状を有するバウンディングボックスを生成する。

このステップＳ１２２の処理、すなわち、把持対象物体包含ボックス生成部１１２が実行する手先カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）生成処理の詳細シーケンスについて、図１６に示すフローを参照して説明する。

図１６に示すフローの各ステップの処理について説明する。
（ステップＳ３０１）
まず、把持対象物体包含ボックス生成部１１２は、ステップＳ３０１において、以下の各情報を入力する。
（ａ）手先カメラ基準の把持対象物体点群
（ｂ）俯瞰カメラ基準の包含ボックス（バウンディングボックス）
（ｃ）目標把持位置

（ａ）手先カメラ基準の把持対象物体点群は、ステップＳ１２１において把持対象物体点群抽出部１１１が手先カメラの撮影画像に基づいて生成した点群データであり、把持対象物体点群抽出部１１１から入力する。
（ｂ）俯瞰カメラ基準の包含ボックス（バウンディングボックス）は、図６のフローのステップＳ１１３において生成された包含ボックス（バウンディングボックス）であり、把持対象物体点包含ボックス生成部１１２から入力する。
（ｃ）目標把持位置は、図６のフローのステップＳ１１１においてユーザによって入力された目標把持位置である。

（ステップＳ３０２）
次に、把持対象物体包含ボックス生成部１１２は、ステップＳ３０２において、包含ボックス（バウンディングボックス）の１辺を、目標把持位置のアプローチ方向（ｘ方向）に垂直な鉛直面（ｙｚ平面）に平行に設定する処理を行う。

この処理は、先に説明した図９のフローのステップＳ２０２の処理と同様の処理である。
すなわち、先に図１０、図１１を参照して説明した処理である。
ステップＳ３０２では、包含ボックス（バウンディングボックス）の１辺を、目標把持位置のアプローチ方向（ｘ方向）に垂直な鉛直面（ｙｚ平面）に平行に設定する処理を行う。
具体的には、図１０（２）に示すように、目標把持位置のアプローチ方向（ｘ方向）に垂直な鉛直面（ｙｚ平面）に平行な辺を包含ボックス（バウンディングボックス）の１辺として設定する。

この辺を４本、設定することで、直方体形状のバウンディングボックスの面が規定されることになる。しかし、このｙｚ平面に平行な辺を持つバウンディングボックスとしては、例えば図１１（２ａ），（２ｂ）に示すような様々なバウンディングボックスが生成可能である。

図１１（２ａ）は、好ましくないバウンディングボックスの生成例であり、図１１（２ｂ）は、好ましいバウンディングボックスの生成例である。
把持対象物体包含ボックス生成部１１２は、ステップＳ２０２において、さらに、図１１（２ｂ）に示すように、バウンディングボックスの一面を、ハンド３０のアプローチ方向（ｘ方向）に対して正対させるように設定する。
すなわち、ｙｚ平面に平行な辺を持つバウンディングボックスについてｚ軸周りの回転（ｙａｗ角）を調整して、バウンディングボックスの一面を、ハンド３０のアプローチ方向（ｘ方向）に対して正対させるように設定する。

（ステップＳ３０３）
次に、把持対象物体包含ボックス生成部１１２は、ステップＳ３０３において、把持対象物体の支持平面が存在するか否かを判定する。
支持平面とは、例えば、把持対象物体が置かれたテーブル等の平面である。

把持対象物体の支持平面が存在する場合は、ステップＳ３０４に進む。
一方、把持対象物体の支持平面が存在しない場合は、ステップＳ３１１に進む。

（ステップＳ３０４）
ステップＳ３０３において、把持対象物体の支持平面が存在すると判定した場合は、ステップＳ３０４に進む。
把持対象物体包含ボックス生成部１１２は、ステップＳ３０４において、包含ボックス（バウンディングボックス）の一面を支持平面上に設定して包含ボックス（バウンディングボックス）を生成する。

このステップＳ３０４の処理は、先に説明した図９のフローのステップＳ２０４の処理と同様の処理である。
すなわち、先に図１２、図１３を参照して説明した処理である。
図１２（３ａ）に示す例は、把持対象物体が支持平面であるテーブル上に置かれた状態を示している。

把持対象物体包含ボックス生成部１１２は、ステップＳ３０４において、図１２（３ａ）に示すように、包含ボックス（バウンディングボックス）の一面を支持平面（テーブル）上に設定する。

さらに、支持平面（テーブル）上に設定した面と、先に、ステップＳ３０２で生成した辺、すなわち、図１０（２）、図１１（２ｂ）を参照して説明した目標把持位置のアプローチ方向（ｘ方向）に垂直な鉛直面（ｙｚ平面）に平行に設定した辺を接続して、包含ボックス（バウンディングボックス）を生成する。
この結果、例えば図１３（３ｂ）に示すような包含ボックス（バウンディングボックス）が生成される。

（ステップＳ３１１）
一方、ステップＳ３０３において、把持対象物体の支持平面が存在しないと判定した場合は、ステップＳ３１１に進む。
把持対象物体包含ボックス生成部１１２は、ステップＳ３１１において、すでに生成済みの俯瞰カメラ１２２の撮影画像に基づく包含ボックス（バウンディングボックス）と同じ姿勢を持つ包含ボックス（バウンディングボックス）を手先カメラ１３２撮影画像に基づく包含ボックス（バウンディングボックス）として設定する。

すなわち、図６に示すフローのステップＳ１１３において生成した俯瞰カメラ１２２の撮影画像に基づく包含ボックス（バウンディングボックス）と同じ姿勢を持つ包含ボックス（バウンディングボックス）を手先カメラ１３２撮影画像に基づく包含ボックス（バウンディングボックス）として設定する。

次に、図６のフローのステップＳ１２３の処理について説明する。
（ステップＳ１２３）
ステップＳ１２３では、俯瞰カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）と目標把持位置との相対位置関係を適用して、手先カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）に対する目標把持位置の相対位置である補正目標把持位置の算出処理を実行する。

すなわち、俯瞰カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）に対する把持対象物体の目標把持位置の相対位置を算出し、算出した相対位置に基づいて、手先カメラの撮影画像内の手先カメラ基準包含ボックスに対する目標把持位置を算出し、算出位置を手先カメラの撮影画像に含まれる把持対象物体の補正目標把持位置として設定する。

この処理は、図５に示すロボット制御装置１００のデータ処理部１１０の把持位置算出部１１３が実行する処理である。

把持位置算出部１１３は、俯瞰カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）と目標把持位置との相対位置関係を適用して、手先カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）に対する目標把持位置の相対位置である補正目標把持位置の算出処理を実行する。

なお、目標把持位置は、前述したように、例えば入出力部（ユーザ端末）１８０を利用して俯瞰カメラの撮影画像を見ながらユーザが設定した把持位置であり、ロボットのハンドによって把持対象物体を安定して把持することができるとユーザが判断した把持位置である。

先に図１５を参照して説明した俯瞰カメラ１２２の撮影画像にも基づく処理である図６に示すフローのステップ１１４において、俯瞰カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）と目標把持位置との相対位置が算出されている。
ステップＳ１２３では、この俯瞰カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）と目標把持位置との相対位置関係を利用して、俯瞰カメラ撮影画像内の目標把持位置が、手先カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）に対してどの位置になるかを算出する。

すなわち、手先カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）に対する目標把持位置の相対位置である補正目標把持位置の算出処理を実行する。

把持位置算出部１１３は、ステップＳ１２３において、
（ａ）俯瞰カメラ１２２の撮影画像内の把持対象物体の把持対象物体包含ボックス（バウンディングボックス）と、
（ｂ）手先カメラ１３２の撮影画像内の把持対象物体の把持対象物体包含ボックス（バウンディングボックス）
これら、異なるカメラの撮影画像内の把持対象物体の２つの把持対象物体包含ボックス（バウンディングボックス）を生成し、各包含ボックス（バウンディングボックス）と把持位置との相対位置を一致させることで、ユーザが設定した目標把持位置が、手先カメラの撮影画像に含まれる把持対象物体のどの位置に対応するかを算出する。この算出位置を補正目標把持位置とする。

この処理によって設定される手先カメラ１３２の撮影画像内の補正目標把持位置は、ユーザが俯瞰カメラ１２２の撮影画像を見ながら設定した目標把持位置に対応する位置となる。
従って、ロボット制御装置１００は、手先カメラ１３２の撮影画像を観察して、手先カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）に対する目標把持位置の相対位置である補正目標把持位置にハンドのグリッパーを当接させて物体５０の把持処理を行うことで、物体５０を安定して把持することが可能となる。

このステップＳ１２３の処理について、図１７を参照して説明する。
図１７には、以下の２つの図を示している。
（１）俯瞰カメラ基準の解析データ
（２）手先カメラ基準の解析データ

（１）俯瞰カメラ基準の解析データは、俯瞰カメラ１２２の撮影画像に基づいて生成されるデータである。
すなわち、図６に示すフローのステップＳ１１１～Ｓ１１４の処理によって生成されるデータであり、先に図１５を参照して説明したデータに相当する。

（２）手先カメラ基準の解析データは、手先カメラ１３２の撮影画像に基づいて生成されるデータである。
すなわち、図６に示すフローのステップＳ１２１～Ｓ１２３の処理によって生成されるデータである。

（１）俯瞰カメラ基準の解析データには、
（１ａ）把持対象物体である物体５０、
（１ｂ）図６に示すフローのステップＳ１１３において、把持対象物体包含ボックス生成部１１２が生成した物体５０を包含する俯瞰カメラ基準包含ボックス（バウンディングボックス）２０１、
（１ｃ）図６に示すフローのステップＳ１１１において、ユーザが俯瞰カメラ１２２の撮影画像に基づいて設定した目標把持位置２１１Ｌ，２１１Ｒ、
これらの各データを示している。

これらの各データは、先に図１５を参照して説明したと同様、俯瞰カメラ基準包含ボックス座標系上に示している。
前述したように、俯瞰カメラ基準包含ボックス座標系は、包含ボックス（バウンディングボックス）２０１の１つの頂点を原点（Ｏ（ｂｂ１））として、直方体形状を有する俯瞰カメラ基準包含ボックス（バウンディングボックス）２０１の各辺をＸ，Ｙ，Ｚ軸に設定した座標系である。

俯瞰カメラ基準包含ボックス（バウンディングボックス）２０１は、俯瞰カメラ基準包含ボックス座標系の原点（Ｏ（ｂｂ１））と、Ｘ軸上の点（Ｘ（ｂｂ１））と、Ｙ軸上の点（Ｙ（ｂｂ１））と、Ｚ軸上の点（Ｚ（ｂｂ１））、これら４点を頂点として有する直方体として定義される。

図１７（１）には、さらに、目標把持位置の俯瞰カメラ基準包含ボックス座標系における３次元位置座標を示している。図１７（１）に示す以下の２点である。
目標把持位置Ｌ（（Ｘ（Ｌ１），Ｙ（Ｌ１），Ｚ（Ｌ１）），２１１Ｌ
目標把持位置Ｒ（（Ｘ（Ｒ１），Ｙ（Ｒ１），Ｚ（Ｒ１）），２１１Ｒ
これらの２点である。
これらの目標把持位置は、前述したように、例えば入出力部（ユーザ端末）１８０を利用して俯瞰カメラの撮影画像を見ながらユーザが設定した把持位置である。

先に図１５を参照して説明したように、これら、図１７（１）に示す目標把持位置の座標は、俯瞰カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）と目標把持位置との相対位置関係を示す座標である。

図６のフローのステップＳ１２３では、把持位置算出部１１３が以下の処理を実行する。
すなわち、俯瞰カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）と目標把持位置との相対位置関係を適用して、手先カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）に対する目標把持位置の相対位置である補正目標把持位置の算出処理を実行する。

具体的には、俯瞰カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）に対する把持対象物体の目標把持位置の相対位置を算出し、算出した相対位置に基づいて、手先カメラの撮影画像内の手先カメラ基準包含ボックスに対する目標把持位置を算出し、算出位置を手先カメラの撮影画像に含まれる把持対象物体の補正目標把持位置として設定する。

補正目標把持位置とは、図１７（２）に示す補正目標把持位置である。
すなわち、図１７（２）に示す補正目標把持位置、
補正目標把持位置Ｌ（（Ｘ（Ｌ２），Ｙ（Ｌ２），Ｚ（Ｌ２）），２３１Ｌ
補正目標把持位置Ｒ（（Ｘ（Ｒ２），Ｙ（Ｒ２），Ｚ（Ｒ２）），２３１Ｒ
これらの算出処理を実行する。

図１７（２）には、
（２ａ）把持対象物体である物体５０、
（２ｂ）図６に示すフローのステップＳ１２２において、把持対象物体包含ボックス生成部１１２が生成した物体５０を包含する手先カメラ基準包含ボックス（バウンディングボックス）２２１、
（２ｃ）補正目標把持位置２３１Ｌ，２３１Ｒ、
これらの各データを示している。

これらの各データは、手先カメラ基準包含ボックス座標系上に示している。
手先カメラ基準包含ボックス座標系は、手先カメラ基準包含ボックス（バウンディングボックス）２２１の１つの頂点を原点（Ｏ（ｂｂ２））として、直方体形状を有する手先カメラ基準包含ボックス（バウンディングボックス）２２１の各辺をＸ，Ｙ，Ｚ軸に設定した座標系である。

手先カメラ基準包含ボックス（バウンディングボックス）２２１は、手先カメラ基準包含ボックス座標系上の原点（Ｏ（ｂｂ１））と、Ｘ軸上の点（Ｘ（ｂｂ１））と、Ｙ軸上の点（Ｙ（ｂｂ１））と、Ｚ軸上の点（Ｚ（ｂｂ１））、これら４点を頂点として有する直方体として定義される。

把持位置算出部１１３は、図６のフローのステップＳ１２３において、俯瞰カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）と目標把持位置との相対位置関係を適用して、手先カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）に対する目標把持位置の相対位置である補正目標把持位置の算出処理を実行する。

すなわち、図１７（２）に示す
補正目標把持位置Ｌ（（Ｘ（Ｌ２），Ｙ（Ｌ２），Ｚ（Ｌ２）），２３１Ｌ
補正目標把持位置Ｒ（（Ｘ（Ｒ２），Ｙ（Ｒ２），Ｚ（Ｒ２）），２３１Ｒ
これらの算出処理を実行する。

把持位置算出部１１３の実行する補正目標把持位置の算出処理は以下のようにして実行する。
まず、図１７（１）に示す俯瞰カメラ基準の解析データに含まれる俯瞰カメラ基準包含ボックス座標系における目標把持位置、すなわち、
目標把持位置Ｌ（（Ｘ（Ｌ１），Ｙ（Ｌ１），Ｚ（Ｌ１）），２１１Ｌ
目標把持位置Ｒ（（Ｘ（Ｒ１），Ｙ（Ｒ１），Ｚ（Ｒ１）），２１１Ｒ
これらの２点の座標を、俯瞰カメラ基準包含ボックス（バウンディングボックス）２０１の頂点データ（Ｘ（ｂｂ１），Ｙ（ｂｂ１），Ｚ（ｂｂ１））を用いて示す関係式を生成する。

すなわち、以下の関係式（関係式１），（関係式２）を生成する。
目標把持位置Ｌ（（Ｘ（Ｌ１），Ｙ（Ｌ１），Ｚ（Ｌ１））
＝（（ｌｘ）・（Ｘ（ｂｂ１）），（ｌｙ）・（Ｙ（ｂｂ１）），（ｌｚ）・（Ｚ（ｂｂ１）））・・・（関係式１）
目標把持位置Ｒ（（Ｘ（Ｒ１），Ｙ（Ｒ１），Ｚ（Ｒ１））
＝（（ｒｘ）・（Ｘ（ｂｂ１）），（ｒｙ）・（Ｙ（ｂｂ１）），（ｒｚ）・（Ｚ（ｂｂ１）））・・・（関係式２）
このような２つの関係式（関係式１），（関係式２）を生成する。

なお、（関係式１）に示すｌｘ，ｌｙ，ｌｚは、俯瞰カメラ基準包含ボックス（バウンディングボックス）２０１の各辺の長さに対する、目標把持位置Ｌの座標（（Ｘ（Ｌ１），Ｙ（Ｌ１），Ｚ（Ｌ１））のｘｙｚ各座標位置の割合を示す係数である。
同様に、（関係式２）に示すｒｘ，ｒｙ，ｒｚは、俯瞰カメラ基準包含ボックス（バウンディングボックス）２０１の各辺の長さに対する、目標把持位置Ｒの座標（（Ｘ（Ｒ１），Ｙ（Ｒ１），Ｚ（Ｒ１））のｘｙｚ各座標位置の割合を示す係数である。

これらの２つの関係式（関係式１），（関係式２）に基づいて係数ｌｘ，ｌｙ，ｌｚと、係数ｒｘ，ｒｙ，ｒｚを算出する。

次に、図１７（２）に示す手先カメラ基準の解析データに示す手先カメラ基準包含ボックス（バウンディングボックス）２２１の各辺の長さ（Ｘ（ｂｂ２），Ｙ（ｂｂ２），Ｚ（ｂｂ２））に、上記関係式１，２に基づいて算出した係数（ｌｘ，ｌｙ，ｌｚ，ｒｘ，ｒｙ，ｒｚ）を乗算して、
補正目標把持位置Ｌ（（Ｘ（Ｌ２），Ｙ（Ｌ２），Ｚ（Ｌ２）），２３１Ｌ
補正目標把持位置Ｒ（（Ｘ（Ｒ２），Ｙ（Ｒ２），Ｚ（Ｒ２）），２３１Ｒ
これらの補正目標把持位置Ｌ，Ｒを算出する。

すなわち、以下の算出式（算出式１）、（算出式２）を用いて、補正目標把持位置Ｌ，Ｒを算出する。
補正目標把持位置Ｌ（（Ｘ（Ｌ２），Ｙ（Ｌ２），Ｚ（Ｌ２））
＝（（ｌｘ）・（Ｘ（ｂｂ２）），（ｌｙ）・（Ｙ（ｂｂ２）），（ｌｚ）・（Ｚ（ｂｂ２）））・・・（算出式１）
補正目標把持位置Ｒ（（Ｘ（Ｒ２），Ｙ（Ｒ２），Ｚ（Ｒ２））
＝（（ｒｘ）・（Ｘ（ｂｂ２）），（ｒｙ）・（Ｙ（ｂｂ２）），（ｒｚ）・（Ｚ（ｂｂ２）））・・・（算出式２）
これら２つの算出式（算出式１），（算出式２）により、補正目標把持位置Ｌ，Ｒを算出する。

把持位置算出部１１３は、上述した処理により、図６のフローのステップＳ１２３において、手先カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）に対する目標把持位置の相対位置である補正目標把持位置の算出処理を実行する。

この処理によって設定される手先カメラ１３２の撮影画像内の補正目標把持位置は、ユーザが俯瞰カメラ１２２の撮影画像を見ながら設定した目標把持位置に対応する位置となる。
従って、ロボット制御装置１００は、手先カメラ１３２の撮影画像を観察して、手先カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）に対する目標把持位置の相対位置である補正目標把持位置にハンドのグリッパーを当接させて物体５０の把持処理を行うことで、物体５０を安定して把持することが可能となる。

以上、説明したように、本開示のロボット制御装置１００は、
（ａ）俯瞰カメラ撮影画像内の把持対象物体の把持対象物体包含ボックス（バウンディングボックス）と、
（ｂ）手先カメラ撮影画像内の把持対象物体の把持対象物体包含ボックス（バウンディングボックス）
これら、異なるカメラの撮影画像内の把持対象物体の２つの把持対象物体包含ボックス（バウンディングボックス）を生成し、各包含ボックス（バウンディングボックス）と把持位置との相対位置を一致させることで、ユーザが設定した目標把持位置が、手先カメラの撮影画像に含まれる把持対象物体のどの位置に対応するかを算出する。この算出位置を補正目標把持位置とする。

制御情報生成部１１４は、把持位置算出部１１３が算出した「補正目標把持位置」をロボットのハンドによって把持させるための制御情報を生成する。この制御情報が、ロボット移動部１４０の駆動部１４１や、ロボットハンド部１３０の駆動部１３１に出力される。

ロボット移動部１４０の駆動部１４１や、ロボットハンド部１３０の駆動部１３１は、制御情報生成部１１４の生成した制御情報、すなわち、ロボットのハンドにより、把持位置算出部１１３が算出した「補正目標把持位置」を把持させる制御情報に従って駆動処理を実行する。
この駆動処理によって、ロボットのハンドは、「補正目標把持位置」を把持することが可能となる。
この「補正目標把持位置」は、ユーザが俯瞰画像を見ながら指定した目標把持位置に一致する把持位置であり、手先カメラの撮影画像に含まれる把持対象物体上に設定される把持位置である。この手先カメラの撮影画像に含まれる把持対象物体上に設定される補正目標把持位置をロボットのハンドで把持することで、物体を安定して把持することが可能となる。

［５．本開示のロボット制御装置の変形例、応用例について］
次に、上述した本開示のロボット制御装置の変形例や応用例について説明する。

以下の各項目の変形例、応用例について、順次説明する。
（１）図６に示すフローの処理手順について
（２）図６に示すフローのステップＳ１１１の処理について
（３）図６に示すフローのステップＳ１１２の処理について
（４）図６に示すフローのステップＳ１１３以下の処理について
（５）図６に示すフローのステップＳ１１４、およびステップＳ１２３の処理について

（１）図６に示すフローの処理手順について
先に説明したように、図６に示すフロー中、ステップＳ１１１～ステップＳ１１４の処理は、ロボット頭部１２０の俯瞰カメラ１２２の撮影画像（距離画像も含む）に基づいて実行される処理である。
一方、図６に示すフロー中、ステップＳ１２１～ステップＳ１２３の処理は、ロボットハンド部１３０の手先カメラ１３２の撮影画像（距離画像も含む）に基づいて実行される処理である。

これらの処理中、俯瞰カメラ１２２の撮影画像（距離画像も含む）に基づいて実行するステップＳ１１１～ステップＳ１１４の処理と、手先カメラ１３２の撮影画像（距離画像も含む）に基づいて実行するステップＳ１２１～ステップＳ１２２の処理は、並列に実行することが可能である。
また、ステップＳ１１１～ステップＳ１１４の処理の終了後に、ステップＳ１２１～ステップＳ１２２の処理を実行してもよい。

ただし、ステップＳ１２３の処理は、俯瞰カメラ１２２の撮影画像（距離画像も含む）に基づいて実行するステップＳ１１１～ステップＳ１１４の処理と、手先カメラ１３２の撮影画像（距離画像も含む）に基づいて実行するステップＳ１２１～ステップＳ１２２の処理の終了後に実行する。

処理手順については、俯瞰カメラ１２２と手先カメラ１３２の撮影画像内に確実に把持対象物体である物体５０が観察可能なタイミングで行うように設定することが好ましい。
処理手順を制御することで、例えばアームやハンドといった部分が俯瞰カメラ１２２の視界を遮ってしまい、把持対象物体にオクルージョンが生じた状態での処理を避けることが可能となる。

（２）図６に示すフローのステップＳ１１１の処理について
図６に示すフローのステップＳ１１１では、俯瞰カメラ撮影画像を用いた把持対象物体の指定情報と、目標把持位置の指定情報を入力する処理を行っていた。

すなわち、先に図７を参照して説明したように、入出力部（ユーザ端末）１８０を利用して俯瞰カメラの撮影画像を見ながらユーザが把持対象物体の指定情報と、目標把持位置の指定情報を入力していた。

把持対象物体の指定では、物体を囲む矩形領域を入力する構成としたが、これは一例であり、例えば物体の一部をタッチする処理や、本出願人の先の特許出願である特許文献２（特開２０１３－１８４２５７号公報）に記載されたような様々な物体指定処理を行う構成としてもよい。

また、機械学習処理であるＤｅｅｐ Ｌｅａｒｎｉｎｇによる物体検出（Ｒ－ＣＮＮ、ＹＯＬＯ、ＳＳＤなど）を行った後、ユーザが物体に対応する矩形を選択する処理を行ってもよい。
また、セマンティックセグメンテーションによりピクセル単位で物体を抽出し、ユーザが物体を選択する方法を適用してもよい。
さらに、目標把持位置が既に決定されている場合においては、目標把持位置に最も近い物体を自動で選択する処理を行う構成としてもよい。
また、目標把持位置の決定方法についても、ユーザが位置姿勢まで直接決めるのではなく、把持対象物体のみを指定し、把持計画を行って自律で目標把持位置を決定してもよい。

（３）図６に示すフローのステップＳ１１２の処理について
図６に示すフローのステップＳ１１２では、俯瞰カメラ撮影画像内の把持対象物体の点群抽出処理を実行する処理を行っていた。

この処理は、先に図８を参照して説明したように、ユーザの指定した矩形領域に対応する物体点群を抽出する処理として実行していた。
この点群抽出処理についても、ステップＳ１１１の把持対象物体の指定処理と同様、Ｍｉｎ－ｃｕｔ ｂａｓｅｄ ｓｅｇｍｅｎｔａｔｉｏｎのような前景抽出を適用して実行してもよい。

なお、この場合、ユーザが指示する物体の点群を表すどこかの１点、もしくは矩形領域の中心に対応する点とあらかじめ決めておいた大まかな把持物体のサイズをもとに前景抽出を行っておくことで、無関係な点群の大まかな除去が可能になる。

（４）図６に示すフローのステップＳ１１３以下の処理について
図６に示すフローのステップＳ１１３以下の処理において、ロボットのハンドの形状をグリッパー型のハンドを用いた実施例として説明したが、例えば３本以上の多指ハンドや吸着ハンドなどその他のタイプについても、ハンド形状に応じたハンドの代表点を定義することにより、上述した実施例と同様、目標把持位置に対応する補正目標把持位置を算出して安定した把持処理を実行させることが可能である。

例えば、５指ハンドにおいては、各指の接触点の目標把持位置を５点用意し、全ての点について、俯瞰カメラ撮影画像と、手先カメラ撮影画像の各々に設定した包含ボックス（バウンディングボックス）との相対位置を算出する。このような処理により、５指ハンドの各指の接触点対応の目標把持位置に対応する補正目標把持位置を算出することができる。

（５）図６に示すフローのステップＳ１１４、およびステップＳ１２３の処理について
図６に示すフローのステップＳ１１４、およびステップＳ１２３では、先に図１５や図１７を参照して説明したように、把持対象物体の包含ボックス（バウンディングボックス）と把持位置との相対位置関係を算出する処理として、ｘ、ｙ、ｚ座標、全てにおいて相対位置関係を算出する処理を行っていた。

また、ステップＳ１２３では、俯瞰カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）と目標把持位置との相対位置関係を適用して、手先カメラ撮影画像内の把持対象物体の包含ボックス（バウンディングボックス）に対する目標把持位置の相対位置である補正目標把持位置の算出処理を実行していた。

しかし、例えば、俯瞰カメラと手先カメラの視点の違いにより包含ボックス（バウンディングボックス）の形状が大きく異なる成分がある場合は、その成分については、補正目標把持位置の算出処理を行わず、包含ボックス（バウンディングボックス）の形状が近い成分のみ算出する処理を行う構成としてもよい。例えば、グリッパーが物体を挟み込めるように、物体をハンドの中に入れるためにｙ方向にずれるのを修正したい場合はｙ成分のみ算出すればよい。また、把持対象物体のなるべく上の方を持ってほしいというユーザの指示を反映したい場合は、ｚ成分を優先的に算出するといった処理を行うといった処理としてもよい。

［６．本開示のロボット制御装置のハードウェア構成例について］
次に、本開示のロボット制御装置のハードウェア構成の一例について説明する。

上述した実施例で説明したロボット制御装置は、ロボット自体とは別の装置として構成することも可能であり、また、ロボット内の装置として構成することも可能である。
ロボット制御装置は、例えばＰＣ等の情報処理装置を利用して実現することもできる。
図１８を参照して本開示のロボット制御装置を構成する情報処理装置の一構成例について説明する。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０２、または記憶部３０８に記憶されているプログラムに従って各種の処理を実行する制御部やデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０３には、ＣＰＵ３０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ３０１、ＲＯＭ３０２、およびＲＡＭ３０３は、バス３０４により相互に接続されている。

ＣＰＵ３０１はバス３０４を介して入出力インタフェース３０５に接続され、入出力インタフェース３０５には、各種スイッチ、キーボード、マウス、マイクロホン、センサなどよりなる入力部３０６、ディスプレイ、スピーカーなどよりなる出力部３０７が接続されている。ＣＰＵ３０１は、入力部３０６から入力される指令に対応して各種の処理を実行し、処理結果を例えば出力部３０７に出力する。

入出力インタフェース３０５に接続されている記憶部３０８は、例えばハードディスク等からなり、ＣＰＵ３０１が実行するプログラムや各種のデータを記憶する。通信部３０９は、Ｗｉ－Ｆｉ通信、ブルートゥース（登録商標）（ＢＴ）通信、その他インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。

入出力インタフェース３０５に接続されているドライブ３１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア３１１を駆動し、データの記録あるいは読み取りを実行する。

［７．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１） ロボットに装着された第１カメラの撮影画像に含まれる把持対象物体を包含する第１カメラ基準包含ボックスと、前記ロボットに装着された第２カメラの撮影画像に含まれる前記把持対象物体を包含する第２カメラ基準包含ボックスを生成する包含ボックス生成部と、
前記第１カメラの撮影画像内の前記第１カメラ基準包含ボックスに対する前記把持対象物体の目標把持位置の相対位置を算出し、算出した前記相対位置に基づいて、前記第２カメラの撮影画像内の前記第２カメラ基準包含ボックスに対する前記目標把持位置を算出し、算出位置を前記第２カメラの撮影画像に含まれる把持対象物体の補正目標把持位置に設定する把持位置算出部と、
前記第２カメラの撮影画像内の前記補正目標把持位置を前記ロボットのハンドで把持させる制御情報を生成する制御情報生成部を有するロボット制御装置。

（２） 前記第１カメラは、俯瞰画像を撮影する俯瞰カメラであり、
前記第２カメラは、前記把持対象物体の把持処理を行う前記ハンド、または前記ハンドに近い位置からの画像を撮影する手先カメラである（１）に記載のロボット制御装置。

（３） 前記第１カメラは、前記ロボットの頭部に装着され、頭部からの俯瞰画像を撮影する俯瞰カメラである（２）に記載のロボット制御装置。

（４） 前記目標把持位置は、
前記第１カメラの撮影画像を表示した表示部の画像を見てユーザが指定した把持位置である（１）～（３）いずれかに記載のロボット制御装置。

（５） 前記目標把持位置は、
前記第１カメラの撮影画像を表示した表示部の画像を見たユーザが、前記把持対象物体を安定して把持可能な位置と判断した把持位置である（４）に記載のロボット制御装置。

（６） 前記ロボット制御装置は、さらに、
前記第１カメラの撮影画像、および前記第２カメラ撮影画像に含まれる前記把持対象物体示す３次元点群の抽出処理を実行する点群抽出部を有する（１）～（５）いずれかに記載のロボット制御装置。

（７） 前記包含ボックス生成部は、
前記点群抽出部が生成した３次元点群を包含する包含ボックスを生成する（６）に記載のロボット制御装置。

（８） 前記包含ボックス生成部は、
前記点群抽出部が生成した３次元点群を包含する直方体形状の包含ボックスであるバウンディングボックスを生成する（６）または（７）に記載のロボット制御装置。

（９） 前記包含ボックス生成部は、
前記第１カメラの撮影画像内の前記第１カメラ基準包含ボックスと、前記第２カメラの撮影画像内の前記第２カメラ基準包含ボックスを同一形状の包含ボックスとして生成する（１）～（８）いずれかに記載のロボット制御装置。

（１０） 前記包含ボックス生成部は、
前記把持対象物体に対する前記ロボットのハンドのアプローチ方向に垂直な鉛直面に平行な辺を有する包含ボックスを生成する（１）～（９）いずれかに記載のロボット制御装置。

（１１） 前記包含ボックス生成部は、
前記把持対象物体を支持する支持平面が存在する場合、前記支持平面を構成平面とする包含ボックスを生成する（１）～（１０）いずれかに記載のロボット制御装置。

（１２） 前記包含ボックス生成部は、
前記把持対象物体を支持する支持平面が存在しない場合、前記ロボットのハンドのアプローチ方向に平行な鉛直面に前記把持対象物体を投影して生成される投影面を構成平面とする包含ボックスを生成する（１）～（１１）いずれかに記載のロボット制御装置。

（１３） ロボット制御装置において実行するロボット制御方法であり、
包含ボックス生成部が、ロボットに装着された第１カメラの撮影画像に含まれる把持対象物体を包含する第１カメラ基準包含ボックスと、前記ロボットに装着された第２カメラの撮影画像に含まれる前記把持対象物体を包含する第２カメラ基準包含ボックスを生成する包含ボックス生成ステップと、
把持位置算出部が、前記第１カメラの撮影画像内の前記第１カメラ基準包含ボックスに対する前記把持対象物体の目標把持位置の相対位置を算出し、算出した前記相対位置に基づいて、前記第２カメラの撮影画像内の前記第２カメラ基準包含ボックスに対する前記目標把持位置を算出し、算出位置を前記第２カメラの撮影画像に含まれる把持対象物体の補正目標把持位置に設定する把持位置算出ステップと、
制御情報生成部が、前記第２カメラの撮影画像内の前記補正目標把持位置を前記ロボットのハンドで把持させる制御情報を生成する制御情報生成ステップを実行するロボット制御方法。

（１４） ロボット制御装置においてロボット制御処理を実行させるプログラムであり、
包含ボックス生成部に、ロボットに装着された第１カメラの撮影画像に含まれる把持対象物体を包含する第１カメラ基準包含ボックスと、前記ロボットに装着された第２カメラの撮影画像に含まれる前記把持対象物体を包含する第２カメラ基準包含ボックスを生成させる包含ボックス生成ステップと、
把持位置算出部に、前記第１カメラの撮影画像内の前記第１カメラ基準包含ボックスに対する前記把持対象物体の目標把持位置の相対位置を算出し、算出した前記相対位置に基づいて、前記第２カメラの撮影画像内の前記第２カメラ基準包含ボックスに対する前記目標把持位置を算出し、算出位置を前記第２カメラの撮影画像に含まれる把持対象物体の補正目標把持位置に設定させる把持位置算出ステップと、
制御情報生成部に、前記第２カメラの撮影画像内の前記補正目標把持位置を前記ロボットのハンドで把持させる制御情報を生成させる制御情報生成ステップを実行させるプログラム。

なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

また、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本開示の一実施例の構成によれば、ロボットによる物体の把持処理を確実に実行することを可能とした装置、方法が実現される。
具体的には、例えば、ロボットに装着された俯瞰カメラの撮影画像に含まれる把持対象物体を包含する俯瞰カメラ基準包含ボックスと、ロボットに装着された手先カメラの撮影画像に含まれる把持対象物体を包含する手先カメラ基準包含ボックスを生成する。さらに、俯瞰カメラの撮影画像内の俯瞰カメラ基準包含ボックスに対する把持対象物体の目標把持位置の相対位置を算出し、算出した相対位置に基づいて、手先カメラの撮影画像内の手先カメラ基準包含ボックスに対する目標把持位置を算出し、算出位置を手先カメラの撮影画像に含まれる把持対象物体の補正目標把持位置に設定する。さらに、手先カメラの撮影画像内の補正目標把持位置を、ロボットのハンドで把持させる制御情報を生成してロボットによる把持処理を実行させる。
本構成により、ロボットによる物体の把持処理を確実に実行することを可能とした装置、方法が実現される。

１０ ロボット
２０ 頭部
２１ 俯瞰カメラ
３０ ハンド
３１ 手先カメラ
５０ 物体（把持対象物体）
１００ ロボット制御装置
１１０ データ処理部
１１１ 把持対象物体点群抽出部
１１２ 把持対象物体包含ボックス生成部
１１３ 把持位置算出部
１１４ 制御情報生成部
１２０ ロボット頭部
１２１ 駆動部
１２２ 俯瞰カメラ
１３０ ロボットハンド部
１３１ 駆動部
１３２ 手先カメラ
１４０ ロボット移動部
１４１ 駆動部
１４２ センサ
２０１ 俯瞰カメラ基準包含ボックス（バウンディングボックス）
２１１ 目標把持位置
２２１ 手先カメラ基準包含ボックス（バウンディングボックス）
２３１ 補正目標把持位置
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ バス
３０５ 入出力インタフェース
３０６ 入力部
３０７ 出力部
３０８ 記憶部
３０９ 通信部
３１０ ドライブ
３１１ リムーバブルメディア

Claims (14)

1. ロボットに装着された第１カメラの撮影画像に含まれる把持対象物体を包含する第１カメラ基準包含ボックスと、前記ロボットに装着された第２カメラの撮影画像に含まれる前記把持対象物体を包含する第２カメラ基準包含ボックスを生成する包含ボックス生成部と、
   前記第１カメラの撮影画像内の前記第１カメラ基準包含ボックスに対する前記把持対象物体の目標把持位置の相対位置を算出し、算出した前記相対位置に基づいて、前記第２カメラの撮影画像内の前記第２カメラ基準包含ボックスに対する前記目標把持位置を算出し、算出位置を前記第２カメラの撮影画像に含まれる把持対象物体の補正目標把持位置に設定する把持位置算出部と、
   前記第２カメラの撮影画像内の前記補正目標把持位置を前記ロボットのハンドで把持させる制御情報を生成する制御情報生成部を有するロボット制御装置。
2. 前記第１カメラは、俯瞰画像を撮影する俯瞰カメラであり、
   前記第２カメラは、前記把持対象物体の把持処理を行う前記ハンド、または前記ハンドに近い位置からの画像を撮影する手先カメラである請求項１に記載のロボット制御装置。
3. 前記第１カメラは、前記ロボットの頭部に装着され、頭部からの俯瞰画像を撮影する俯瞰カメラである請求項２に記載のロボット制御装置。
4. 前記目標把持位置は、
   前記第１カメラの撮影画像を表示した表示部の画像を見てユーザが指定した把持位置である請求項１に記載のロボット制御装置。
5. 前記目標把持位置は、
   前記第１カメラの撮影画像を表示した表示部の画像を見たユーザが、前記把持対象物体を安定して把持可能な位置と判断した把持位置である請求項４に記載のロボット制御装置。
6. 前記ロボット制御装置は、さらに、
   前記第１カメラの撮影画像、および前記第２カメラの撮影画像に含まれる前記把持対象物体を示す３次元点群の抽出処理を実行する点群抽出部を有する請求項１に記載のロボット制御装置。
7. 前記包含ボックス生成部は、
   前記点群抽出部が生成した３次元点群を包含する包含ボックスを生成する請求項６に記載のロボット制御装置。
8. 前記包含ボックス生成部は、
   前記点群抽出部が生成した３次元点群を包含する直方体形状の包含ボックスであるバウンディングボックスを生成する請求項６に記載のロボット制御装置。
9. 前記包含ボックス生成部は、
   前記第１カメラの撮影画像内の前記第１カメラ基準包含ボックスと、前記第２カメラの撮影画像内の前記第２カメラ基準包含ボックスを同一形状の包含ボックスとして生成する請求項１に記載のロボット制御装置。
10. 前記包含ボックス生成部は、
    前記把持対象物体に対する前記ロボットのハンドのアプローチ方向に垂直な鉛直面に平行な辺を有する包含ボックスを生成する請求項１に記載のロボット制御装置。
11. 前記包含ボックス生成部は、
    前記把持対象物体を支持する支持平面が存在する場合、前記支持平面を構成平面とする包含ボックスを生成する請求項１に記載のロボット制御装置。
12. 前記包含ボックス生成部は、
    前記把持対象物体を支持する支持平面が存在しない場合、前記ロボットのハンドのアプローチ方向に平行な鉛直面に前記把持対象物体を投影して生成される投影面を構成平面とする包含ボックスを生成する請求項１に記載のロボット制御装置。
13. ロボット制御装置において実行するロボット制御方法であり、
    包含ボックス生成部が、ロボットに装着された第１カメラの撮影画像に含まれる把持対象物体を包含する第１カメラ基準包含ボックスと、前記ロボットに装着された第２カメラの撮影画像に含まれる前記把持対象物体を包含する第２カメラ基準包含ボックスを生成する包含ボックス生成ステップと、
    把持位置算出部が、前記第１カメラの撮影画像内の前記第１カメラ基準包含ボックスに対する前記把持対象物体の目標把持位置の相対位置を算出し、算出した前記相対位置に基づいて、前記第２カメラの撮影画像内の前記第２カメラ基準包含ボックスに対する前記目標把持位置を算出し、算出位置を前記第２カメラの撮影画像に含まれる把持対象物体の補正目標把持位置に設定する把持位置算出ステップと、
    制御情報生成部が、前記第２カメラの撮影画像内の前記補正目標把持位置を前記ロボットのハンドで把持させる制御情報を生成する制御情報生成ステップを実行するロボット制御方法。
14. ロボット制御装置においてロボット制御処理を実行させるプログラムであり、
    包含ボックス生成部に、ロボットに装着された第１カメラの撮影画像に含まれる把持対象物体を包含する第１カメラ基準包含ボックスと、前記ロボットに装着された第２カメラの撮影画像に含まれる前記把持対象物体を包含する第２カメラ基準包含ボックスを生成させる包含ボックス生成ステップと、
    把持位置算出部に、前記第１カメラの撮影画像内の前記第１カメラ基準包含ボックスに対する前記把持対象物体の目標把持位置の相対位置を算出し、算出した前記相対位置に基づいて、前記第２カメラの撮影画像内の前記第２カメラ基準包含ボックスに対する前記目標把持位置を算出し、算出位置を前記第２カメラの撮影画像に含まれる把持対象物体の補正目標把持位置に設定させる把持位置算出ステップと、
    制御情報生成部に、前記第２カメラの撮影画像内の前記補正目標把持位置を前記ロボットのハンドで把持させる制御情報を生成させる制御情報生成ステップを実行させるプログラム。

Images