JPH08132372A

JPH08132372A - ロボットの制御方法

Info

Publication number: JPH08132372A
Application number: JP27322394A
Authority: JP
Inventors: Nobuhito Matsuhira; 信人松日楽
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 1994-11-08
Filing date: 1994-11-08
Publication date: 1996-05-28

Abstract

(57)【要約】【目的】バイラテラル制御方式を採用することなくスレ
ーブアームの受ける力・トルク情報を確実にオペレータ
にフィードバックすることが可能なロボットの制御方法
の提供を目的とする。【構成】ロボット1 に取り付けられたカメラ5 から得ら
れたアーム先端部の位置の動画像情報に、力・トルクセ
ンサ7 から得られたアーム先端部に作用する力・トルク
情報とを重ね合わせてディスプレイ12上に画像表示す
る。ディスプレイ12を見ながら作業を行うオペレータ
は、現在アーム3 のどの方向に負荷が作用しているのか
を、ディスプレイ12上で同時に確認することができ、ア
ーム3 に過負荷のかからないように作業を実行するこが
できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はロボットの制御方法に係
り、特にオペレータに対して力・トルク情報をフィード
バックする機能を有するロボットの制御方法に関する。

【０００２】

【従来の技術】ロボットを遠隔操作する場合、オペレー
タが操作するマスタアームに追従するように遠隔地のス
レーブアームを駆動する、いわゆるマスタスレーブ方式
を採用することが知られている。

【０００３】このようなマスタスレーブ方式では、スレ
ーブアームが作業対象物や周囲の環境から受ける反力を
マスタアームにフィードバックするというバイラテラル
制御を用いているため、オペレータが遠隔地の作業状況
を感覚的に把握することができ、作業対象物やスレーブ
アーム等に過負荷を与えることなく作業を行うことがで
きるといった特徴がある。

【０００４】

【発明が解決しようとする課題】しかしながら、このよ
うなバイラテラル制御方式では、フィードバックされた
反力に応じてマスタアームを駆動するためのアクチュエ
ータ（モータや減速機など）を必要とするため、マスタ
アームの構造は大きく複雑となってしまう。そのため、
ジョイスティックなどの簡単な操縦装置では力・トルク
情報を得ることができず、マスタアームとして利用する
ことには制限があった。

【０００５】また、力・トルク情報をフィードバックす
る場合には、物体の剛性によっては制御系が不安定にな
りやすく、制御系全体が振動してしまい作業遂行が困難
となってしまっていた。

【０００６】そこで本発明では、バイラテラル制御方式
を採用することなくスレーブアームの受ける力・トルク
情報を確実にオペレータにフィードバックすることが可
能なロボットの制御方法の提供を目的とする。

【０００７】

【課題を解決するための手段】上記の目的を達成するた
めに本発明は、ロボットのアーム先端部の位置情報を画
像表示するとともに、この画像情報に対して前記アーム
先端部に作用する力・トルク情報を重ね合わせて画像表
示するロボットの制御方法とした。

【０００８】また、ロボットのアーム先端部の位置の動
画像情報に対して、前記アーム先端部に作用する力・ト
ルク情報を重ね合わせて画像表示するロボットの制御方
法とした。

【０００９】また、ロボットに取り付けられたカメラか
ら得られたアーム先端部の画像情報に、前記ロボットに
取り付けられた力・トルクセンサから得られた前記アー
ム先端部に作用する力・トルク情報を重ね合わせて画像
表示するロボットの制御方法とした。

【００１０】なお、前記アーム先端部の画像情報は、Ｃ
Ｇ（コンピュータグラフィック）処理された画像情報で
あってもよい。また、前記力・トルク情報を、前記アー
ム先端部の画像情報に重なるように表示してもよく、ま
た、前記力・トルク情報をベクトルとして画像表示して
もよい。また、前記力・トルク情報の一部のみを選択的
に表示してもよい。

【００１１】

【作用】上記の制御方法を採用することにより、オペレ
ータは力・トルク情報を画像情報としてとらえることが
可能となるため、バイラテラル制御方式を採用すること
なくスレーブアームの受ける力・トルク情報を確実にオ
ペレータにフィードバックすることが可能となる。

【００１２】特に、オペレータはアーム先端部を注視し
て作業を行うため、アーム先端部の位置情報と同時に力
・トルク情報を表示すれば、作業効率が大幅に向上する
とともに作業の危険性を十分に低下させることができ
る。

【００１３】

【実施例】以下、図面を参照して本発明の実施例を説明
する。図１は本発明のロボットの制御方法を示すブロッ
ク図、図２はロボットによる作業状態の一例を示す概念
図、図３はアーム先端部の表示方法の一例を示す図であ
る。

【００１４】ここではロボットによるピンの挿入作業を
例にとって説明する。図２(a) に示すようにロボット1
は、ロボット本体2 と、アーム3 と、アーム先端部に装
着されたハンド4 とを備え、さらにロボット本体2 上に
はカメラ5 が配置されている。また、アーム3 は複数の
関節6 （6a,6b,6c）を有しロボット本体2 とハンド4 と
を連結している。一方、ハンド4 の根元部分には力・ト
ルクセンサ7 が固定され、ハンド4 が把持するピンP に
作用する外力を検出する。ここで力・トルクセンサ7 と
しては例えば６軸力センサが使用される。

【００１５】このような構成のロボット1 による作業方
法は、図１に示すブロックに基づいて行われる。まず、
アーム3 からは位置・角度情報と力・トルク情報とが検
出される。位置・角度情報は、各関節6a,6b,6cに設けら
れた位置・角度センサ8 により検出され、力・トルク情
報は、前述の力・トルクセンサ7 により検出される。

【００１６】また、ロボット本体2 上に配置されたカメ
ラ5 からは、その位置・姿勢（パン・チルトetc.）およ
び画角・ズーム比などのカメラ設定情報と、アーム先端
部付近をとらえた画像情報とが独立して出力される。

【００１７】カメラ設定情報は、カメラ情報検出器9 に
より検出され、演算部10に入力される。また演算部10に
は、前述の位置・角度センサ8 からの信号も出力され
る。したがって演算部10では、カメラの画角の中のどの
位置にアーム先端部が映し出されているのかが演算され
る。

【００１８】例えば、基準座標系をカメラ5 の原点位置
とし、この基準座標系から見たアーム3 の一端（関節6
a）への座標変換をＴcam 、アーム3 の一端（関節6a）
から見たアーム3 の他端（関節6c）への座標変換をＴar
m 、アーム3 の他端（関節6c）から見たハンド4 への座
標変換をＥ、とすれば、カメラ5 の座標系から見たハン
ド4 の座標系への変換Ｘは

【００１９】

【数１】Ｘ＝Ｔcam ・Ｔarm ・Ｅ …(1) と表すことができる。この式(1) によって、カメラ5 の
座標系から見たハンド4（アーム先端部）の位置・姿勢
を求めることができる。なお、式(1) に示された変換Ｘ
の変換過程は、図２(b) にロボット本体2 上に重ねて描
かれたベクトルに示されるように行われる。

【００２０】一方で、カメラ5 の位置・姿勢（パン・チ
ルトetc.）および画角・ズーム比などのカメラ設定情報
を変化させることにより、カメラ画角上でのアーム先端
部の位置や大きさはその都度変化する。演算部11内では
式(1) の演算を行うとともに、カメラ設定情報を考慮し
た補正を行うことにより、カメラ画角上でのアーム先端
部の位置を的確に算出する。

【００２１】このようにして、カメラの画角の中のどの
位置にアーム先端部が映し出されているのかが演算さ
れ、その情報は画面制御部11に送られる。画面制御部11
は、演算部10で得られたアーム先端部の様子をCRT やLC
D などからなるディスプレイ12上に表示するための写像
変換の演算を行う。

【００２２】また、画面制御部11には、力・トルクセン
サ7 からの情報も併せて入力されている。この際、力・
トルクセンサ7 によって得られた力・トルク情報は、一
旦座標変換部13に出力され、任意の座標系における力・
トルク情報に変換される。例えば、演算部10による位置
・角度情報の演算が、カメラ5 の座標系から見たアーム
先端部（ハンド4 ）の座標系への変換を行う場合には、
座標変換部13での演算もアーム先端部（ハンド4 ）の座
標系への変換を行う。

【００２３】そして、画面制御部11に取り込まれた力・
トルク情報は、ディスプレイ12側に出力するアーム先端
部の動画像に重ね合わせられるように処理される。すな
わち、画面制御部11では、アーム先端部の位置に係る画
像情報と、アーム先端部に作用する力・トルク情報を重
ね合わせて同時に画像表示する。

【００２４】なお、ディスプレイ12への表示方法は、カ
メラ5 がとらえた実画像に対して力・トルク情報を重ね
合わせる方法を用いてもよいが、実画像をＣＧ（コンピ
ュータグラフィックス）化した画像情報に対して力・ト
ルク情報を重ね合わせる方法を採用してもよい。すなわ
ち、あらかじめ計算機内部に用意された環境モデルや、
位置・角度センサ8 からの位置情報をもとにして、実際
のアーム3 の動きと連動して動作するような仮想的な
（計算機により表現される）ロボットアームを表示する
ことにより、アーム先端部の様子をオペレータに対して
より明確にフィードバックすることが可能である。

【００２５】図３は、ディスプレイ12に表示されたアー
ム先端部の動画像を示したものである。同図に示される
ように、ここではハンド4 が把持するピンP の位置に重
なるように、力・トルク情報をベクトルで表示してい
る。ここでの力・トルク情報は、ピンP の座標系を採用
し、直交する並進３軸のみをベクトル表示している。

【００２６】以上のような構成の本発明の動作について
説明する。オペレータは、カメラ5 からの画像情報をデ
ィスプレイ12でモニタしながら、手元のジョイスティッ
クを用いて、遠隔地に配置された例えば図２に示される
ような構造のロボット1 を操作している。ロボット1 の
アーム3 の先端部に取り付けられたハンド4 にはピンP
が把持されており、対象物A に設けられた穴H への挿入
作業が行われている。

【００２７】このような作業においては、オペレータは
位置を指令するだけの機能しか持たないジョイスティッ
クを操作しているため、通常ではピンP と対象物A との
接触状態を確実に把握することができない。すなわち、
対象物A との間に発生している接触力の情報を何等把握
することができないため、ピンP が穴H にうまく挿入さ
れているのか、あるいは穴H に対して斜めにこじれた状
態で挿入されているのか等がわからず、ピンP を曲げた
り対象物A を破損させてしまう危険性がある。

【００２８】そこで本発明では、カメラ5 から得られる
画像情報を表示するディスプレイ12に対して、ピンP を
把持しているハンド4 の座標系を用いて、ピンP を穴H
に挿入・引き抜きする際に発生する並進３軸方向の接触
力F1,F2,F3をハンド4 の画像上にグラフィックス表示し
ている。

【００２９】ここでは、ハンド4 の座標系を２本の指の
中心としているため、ベクトルの原点がちょうどピンP
の中心軸上に表示されている。また、ここでは力の大き
さをベクトルの長さに比例させて表示している。

【００３０】したがって、ディスプレイ12を見ながら作
業を行うオペレータは、ピンP に対して現在どの方向に
負荷が作用しているのかを、ディスプレイ12上で同時に
確認することができ、ピンP に過負荷のかからないよう
に作業を実行することができる。オペレータは力・トル
ク情報を画像情報としてとらえることが可能となるた
め、バイラテラル制御方式を採用することなくアーム3
の受ける力・トルク情報が確実にオペレータにフィード
バックされる。

【００３１】特に、オペレータはハンド4 やピンP など
のアーム先端部を注視して作業を行うことが多い。本発
明によれば、このようにアーム先端部に力・トルク情報
を表示することによって、オペレータが別のディスプレ
イの画像や数値データを見たり、注視点以外を見ること
なく作業ができるために、作業効率が大幅に向上すると
ともに作業の危険性を十分に低下させることができる。

【００３２】また、アーム先端部は作業時には常にモニ
タされていることから、力・トルク情報の表示位置をこ
のアーム先端部とすると、カメラ5 をズームさせたり接
近させたりしても力・トルク情報が常にディスプレイ12
に表示されることとなり、作業性が極めて良くなる。

【００３３】以下、ディスプレイ12への各種表示方法に
ついて説明する。図３においては、力・トルクセンサ7
で検出された力・トルク情報をそのままハンド座標系に
変換して表示した。すなわち、ベクトル表示された力・
トルク情報は実際に力の作用する向きを表している。

【００３４】これに対して図４に示した表示方法は、図
３のハンド座標系とはベクトルの向きを逆向きに表示し
ている。つまりこの表示方法では負荷とは逆向きのベク
トルが示されていることになるため、オペレータがこの
ベクトルの向きにアーム3 を駆動することにより、アー
ム3 に作用する負荷が小さくなる。

【００３５】このような表示方法を採用することによ
り、ピンP の挿入作業などでこじれが生じてしまって
も、オペレータはアーム3 をどの方向に退避させればよ
いか即座にかつ直感的に判断することができるなど、緊
急の際に有用となり得る。

【００３６】なお、図４の表示の際には、ベクトルの色
を図３の場合とは変えるなどの考慮が必要であり、この
ように色の変化を持たせることによって図３の表示方法
と図４の表示方法とを切り替えて使用することも可能と
なる。例えば図３の表示方法を通常モードとして設定し
ておき、複雑な作業等の場合には図４の特殊モードに切
り替えて作業を行うことができる。なお、図４ではベク
トル表示を白抜きとしてある。

【００３７】また、力・トルク情報を表示するための座
標系は、力・トルクセンサ7 の位置を基準としたセンサ
座標系、アーム3 の基部（関節6a）を基準とした座標
系、ハンド4 を基準とした座標系など、作業内容やオペ
レータの認識度合いに応じて複数準備しておき、任意の
ものを表示できるように設定しておくことが好ましい。

【００３８】このような各種座標系は、オペレータによ
るパソコン等からの入力指定に応じて上述した画面制御
部11や座標変換部14で演算処理を行い、ディスプレイ12
上に適宜表示される。

【００３９】例えば図５は、力・トルクセンサ7 の位置
を基準としたセンサ座標系に並進力を表示したものであ
る。このような表示は、前述の式(1) において、Ｅの代
わりに、アーム3 の他端から見た力・トルクセンサ7 へ
のセンサ座標系への変換Ｅ’を採用すれば実現する。

【００４０】また、ここではハンド4 が円柱状のピンP
を把持している実施例を示しているが、ハンド4 が扱う
他の部品がある場合には、その部品の形状に応じた各種
座標系を用意しておき必要に応じて選択できるようにし
ておく。また、ハンド4 に代わる他の工具（エンドエフ
ェクタ）を用いる場合にも、その工具の座標系を選択で
きるようにしておく。

【００４１】さらに、力・トルク情報は、その座標軸に
沿った各成分の大きさに比例させて長さや太さを変化さ
せてもよく、また合成されたベクトルとして表示しても
よい。図６では、ハンド座標系での並進力をその力の大
きさに応じた太さとして表示している。

【００４２】なお、ベクトルの一部が画面の奥行き方向
と一致してしまうと、力・トルク情報がオペレータに的
確に伝わらないという問題が生じる。そのため、ディス
プレイ12の奥行き方向が力・トルク情報の座標系の任意
の成分と一致しないように、所定角度が保たれる範囲で
表示することが好ましい。この際、ディスプレイ12の奥
行き方向に近い方向のベクトルには目立つ色を用いて表
示するなどの工夫をしてもよい。

【００４３】また、アーム3 にある程度の値以上の大き
な力・トルクが作用する場合には、対象物A やアーム3
が破損する恐れが高くなる。したがって、座標系の選び
方にかかわらず、ある程度の値以上の力・トルクが作用
した場合には、色を変えたりアラームを発生するなど特
殊な方法で力・トルク情報を伝達することが好ましい。

【００４４】図７は、座標軸に３軸分の並進力と各軸回
りのモーメント力を全部表示した例である。このよう
に、力・トルクセンサ7 により検出された６自由度を全
てディスプレイ12に表示することも可能であるが、逆に
オペレータが即座かつ直感的に理解できないといった危
険性もある。そのため、作業内容や用いる工具（エンド
エフェクタ）等に応じて、必要な力情報のみ表示するこ
とが好ましい。

【００４５】例えば図８では、Ｚ軸方向の並進力とＹ軸
回りのモーメントＭy のみが目立つように表示されてお
り、他の力情報は目立たないように（例えば破線など
で）表示されている。このような表示方法は、例えばＹ
軸回りに回転する工具（ドリルやグラインダなど）をＺ
軸方向に移動して使用する場合などに特に有用となる。
わずか２自由度の力情報しか表示されていない実施例で
はあるが、このように力・トルク情報を選択的に表示し
た方が、オペレータにとっては状況を理解しやすい場合
もある。

【００４６】また、作業内容や用いる工具に限らず、あ
る値以上の並進力やモーメントが発生した場合にのみそ
の並進力やモーメントの情報を表示したり、あるいは最
大の並進力やモーメントの情報のみ表示してもよい。

【００４７】また、表示画面にはカメラからの実画像を
そのまま用い、力・トルク情報のみをスーパーインポー
ズして表示してもよい。また、前述のように、アーム先
端部をＣＧ表示し、その上に実際のアームに作用する力
・トルク情報を表示してもよい。

【００４８】本発明の実施にあたっては、オペレータが
扱う操縦装置はジョイスティックに限らずマウス等の簡
単な入力装置でよく、場合によってはスイッチなどで代
用することも可能である。もちろん、従来のバイラテラ
ル制御方式に利用されるようなマスタアームを利用する
ことも可能である。

【００４９】また、力・トルクセンサの代わりに圧力セ
ンサや変位センサを利用し、力・トルクの方向がわかる
ようにアーム3 の各所に分布配置させて用いてもよい。
また、本発明は遠隔操作を目的とするロボットに限ら
ず、操縦操作がない自律作業ロボットや自動作業ロボッ
トにおいて、作業をモニタするための表示用として利用
してもよい。これによってロボット作業をより安全・確
実に実行させることができる。

【００５０】

【発明の効果】以上のように本発明によれば、オペレー
タは力・トルク情報を画像情報としてとらえることが可
能となるため、バイラテラル制御方式を採用することな
くスレーブアームの受ける力・トルク情報を確実にオペ
レータにフィードバックすることが可能となる。

【図面の簡単な説明】

【図１】本発明のロボット制御方法を示すブロック図。

【図２】ロボットによる作業状態の一例を示す概念図。

【図３】アーム先端部の表示方法の一例を示す図。

【図４】アーム先端部の表示方法の他の例を示す図。

【図５】アーム先端部の表示方法の他の例を示す図。

【図６】アーム先端部の表示方法の他の例を示す図。

【図７】アーム先端部の表示方法の他の例を示す図。

【図８】アーム先端部の表示方法の他の例を示す図。

【符号の説明】

１…ロボット２…ロボット本体３…アーム４…ハンド５…カメラ６…関節７…力・トルクセンサ８…位置・角度センサ９…カメラ情報検出器 10…演算部 11…画面制御部 12…ディスプレイ 13…座標変換部Ａ…対象物Ｈ…穴Ｐ…ピン

Claims

【特許請求の範囲】

【請求項１】ロボットのアーム先端部の位置情報を画像
表示するとともに、この画像情報に対して前記アーム先
端部に作用する力・トルク情報を重ね合わせて画像表示
することを特徴とするロボットの制御方法。
【請求項２】ロボットのアーム先端部の位置の動画像情
報に対して、前記アーム先端部に作用する力・トルク情
報を重ね合わせて画像表示することを特徴とするロボッ
トの制御方法。
【請求項３】ロボットに取り付けられたカメラから得ら
れたアーム先端部の画像情報に、前記ロボットに取り付
けられた力・トルクセンサから得られた前記アーム先端
部に作用する力・トルク情報を重ね合わせて画像表示す
ることを特徴とするロボットの制御方法。
【請求項４】前記アーム先端部の画像情報は、ＣＧ（コ
ンピュータグラフィック）処理された画像情報であるこ
とを特徴とする請求項１乃至３記載のロボットの制御方
法。
【請求項５】前記力・トルク情報を、前記アーム先端部
の画像情報に重なるように表示することを特徴とする請
求項１乃至４記載のロボットの制御方法。
【請求項６】前記力・トルク情報はベクトルとして画像
表示されることを特徴とする請求項１乃至５記載のロボ
ットの制御方法。
【請求項７】前記力・トルク情報の一部のみを選択的に
表示することを特徴とする請求項１乃至６記載のロボッ
トの制御方法。