JPH0724767A - ロボットの遠隔操作装置 - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】 モニタ画面での立体感の喪失などを補うこと
により作業性の高いロボットの遠隔操作装置を提供す
る。 【構成】 ロボット１の作業環境を撮影する撮影手段２
と、ロボット１の作業環境およびロボット１自身の形状
データを有する環境モデル部５と、ロボット１の現在の
関節角度を関節角度センサの信号値として入力する関節
角度入力部４と、ロボットからの一定距離以内に物体が
ないかどうかをロボットの関節角度と形状データとから
判定する干渉判定部６と、ロボット１からの一定距離以
内に物体がある場合に、形状データと撮影手段２の位置
および向きとからこの物体の画像を計算機により演算す
るオーバレイ表示部７と、撮影手段２により撮影された
実画像とオーバレイ表示部７の画像とをオーバレイ表示
することが可能なモニタ３と、を備える。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はロボットの遠隔操作装置
に係り、特にカメラ等の撮影手段を用いてロボットから
の一定距離以内に接近物体がないかどうかを判定するロ
ボットの遠隔操作装置に関する。

【０００２】

【従来の技術】宇宙開発も本格的な実用開発の段階を迎
え、宇宙空間においてさまざまな作業を行う必要が生ま
れつつある。とくに現在、米国・カナダ・ヨーロッパお
よび日本の国際協力により設計作業が進みつつある宇宙
ステーションＦＲＥＥＤＯＭの運用が開始されると、常
時数人の宇宙飛行士がステーションに滞在し、材料合成
などの各種の実験・測定等を行うようになる。

【０００３】また、宇宙ステーションを運用しはじめる
と、ステーションの保守・点検も定期的に行う必要が生
じてくる。そのために、環境条件の厳しい真空の宇宙空
間での作業をロボットに行わせる必要性が存在する。こ
れらの作業は地上あるいは宇宙ステーション内の加圧さ
れた室内からの遠隔操作により行われるのが一般的であ
る。

【０００４】また、原子力開発においても、今後、老朽
化してゆく既存の原子力発電所の保守・解体作業などの
高レベル放射能環境でのさまざまな作業が必要となって
くると考えられ、やはり遠隔操作によるロボット作業の
必要性が強まりつつある。

【０００５】遠隔操作型のロボットとしては、ロボット
の動作を指令するのにマスターアームを使用するマスタ
スレーブマニピュレータや、動作指令にジョイスティッ
クを使用するものなどがある。またロボットの姿勢を指
令するものや、ロボットの速度を指令するものなど、さ
まざまな種類が存在する。

【０００６】一般に遠隔操作をする作業員は、実際の作
業を行う危険な作業環境からは離れた位置にいるため
に、カメラを作業場所に配置し、モニタにより作業環境
の様子を把握することが行われる。

【０００７】しかし、カメラによる作業環境の把握には
以下のような問題点が存在する。

【０００８】１） 立体感が喪失する。モニタに表示さ
れる２次元の映像からは奥行き方向の距離が把握しにく
い。また、画面奥行き方向の距離がわかりにくいため
に、カメラの方向を頻繁に変化させると、カメラの向い
ている方向の把握が困難になる。

【０００９】２） ロボットの操作時にカメラのパン・
チルトの操作も同時に行わなければならずに、作業性が
低下する。

【００１０】３） ロボットの操作とともにカメラの向
きを随時変更してゆくことにより、モニタに表示されて
いる画面がどの方向を向いたものであるかがわかりにく
くなる。

【００１１】４） それとともにジョイスティックなど
の操縦方向とモニタ画面の方向が一致しなくなることに
よる違和感が生じる。

【００１２】５） 全体の位置関係の把握が困難な場合
が存在する。アーム先端などをアップで撮している画面
ではアーム先端以外でのまわりの環境との位置関係が把
握できない。一方、全体を撮影している画面では細かい
部分まで見えず、また周囲の物体の背後の様子が見えな
い。

【００１３】以上のような問題点を解決するために、こ
れまでにもさまざまな研究や開発が行われてきた。例え
ば、特開昭５８−１３７５７４号公報に記載されたもの
は２台のテレビカメラを並置し、その立体虚像に対して
操作ロボットを作業する様にしたマニピュレータの操縦
装置とすることにより立体感の喪失を補い、遠隔操作型
のマスタスレーブマニピュレータの作業性の向上を目指
している。特開昭５３−３３５２１号公報に記載された
ものはマニピュレータの動きに合わせてテレビカメラの
向きを制御し、常にマニピュレータの手先部がモニタの
ほぼ中央付近に観察できるようにすることにより、カメ
ラのパン・チルトの操作を不要とすることにより作業性
の向上を目指している。特開昭６３−１１２９１号公報
に記載されたものはテレビカメラの位置と姿勢を計測
し、モニタＴＶの画面上のマニピュレータ本体の動作方
向とジョイスティックなどの操作位置の操作方向が常に
一致するように座標系を変更してゆくことにより、操作
時の違和感をなくすことを目指している。

【００１４】しかしながら、立体視により画面奥行き感
を補う方法では大まかな物体の前後関係を把握できるも
のの、奥行き方向の詳細な変位はわかりにくく、正確な
位置決めを行う際などにはやはりカメラの向きを変えた
りすることにより確認をする必要があった。また、マニ
ピュレータの動きとともにカメラのパンとチルトを自動
制御する方法は、カメラのパン・チルトのコントローラ
が必要となる上に、作業者が注視したい箇所は作業や状
況により変化し、必ずしもマニピュレータの手先がモニ
タ中央に来ればよいとは限らないという問題がある。ま
た、マニピュレータの動きとともにカメラが連続的に動
くよりも、ある範囲内の動きの間はカメラが静止してい
た方が位置関係が把握しやすい場合も存在する。

【００１５】以上のように遠隔操作時における、立体感
の喪失やカメラの方向制御の問題は部分的な解決方法は
いろいろ提案されているものの、いずれも機能が十分で
はなく、遠隔操作ロボットの作業性が高まらずその適用
範囲が広がらない原因ともなっている。

【００１６】一方、近年、テレイグジスタンスの研究が
行われるようになってきており、これらの問題点を根本
的に解決する方法として注目されている。作業者にヘッ
ドマウンテッドディスプレイを装着させ、そこに立体映
像を表示し、作業者の視線や頭部の動きを計測すること
により、視線や頭部の動きに連動させてカメラを制御す
ることによりあたかも作業現場にいるような臨場感を与
えようというものである。しかし、テレイグジスタンス
もいまだ研究段階にとどまっており、ヘッドマウンテッ
ドディスプレイは重く高価である。また、十分な視野を
得るためには人間が作業を行うときに覗きこんだりする
ようにカメラが向きだけでなく位置も移動することが望
まれるが、カメラにそこまでの移動能力を持たせるのは
コスト的にも機能的にも困難であり、本質的に解決困難
な点を含んでいる。

【００１７】

【発明が解決しようとする課題】このように従来のロボ
ットの遠隔操作装置では、作業環境に設置されたテレビ
カメラの映像をモニタにより観察しながら作業を行うた
めに、立体感が喪失したりカメラのパンやチルトを制御
することによる作業性の低下や操縦方向と画面方向の違
いによる違和感が存在したりしていた。

【００１８】そこで本発明の目的は、ロボットの作業環
境およびロボット自身の形状データを利用し、ロボット
と干渉のおそれがある近接物体などの各種情報を画面に
表示することにより、モニタ画面での立体感の喪失など
を補うことにより作業性の高いロボットの遠隔操作装置
を提供することである。

【００１９】

【課題を解決するための手段】上記の目的を達成するた
めに本発明は、遠隔場所に配置されたロボットを遠隔操
作するロボットの遠隔操作装置において、ロボットの作
業環境を撮影する撮影手段と、ロボットの作業環境およ
びロボット自身の形状データを有する環境モデル部と、
ロボットの現在の関節角度を関節角度センサの信号値と
して入力する関節角度入力部と、ロボットからの一定距
離以内に物体がないかどうかをロボットの関節角度と前
記形状データとから判定する干渉判定部と、ロボットか
らの一定距離以内に物体がある場合に、前記形状データ
と前記撮影手段の位置および向きとからこの物体の画像
を計算機により演算するオーバレイ表示部と、前記撮影
手段により撮影された実画像と前記オーバレイ表示部の
画像とをオーバレイ表示することが可能なモニタと、を
備えることを特徴とする。

【００２０】また、遠隔場所に配置されたロボットを遠
隔操作するロボットの遠隔操作装置において、ロボット
の作業環境を撮影する撮影手段と、ロボットの作業環境
およびロボット自身の形状データを有する環境モデル部
と、ロボットの現在の関節角度および関節角速度をセン
サの信号値として入力する関節角度角速度入力部と、関
節角度角速度入力部の出力であるロボットの関節角度お
よび関節角速度の値からあらかじめ指定された時間経過
後のロボット関節角度を算出するロボット未来位置予測
部と、ロボット未来位置予測部の出力であるあらかじめ
指定された時間経過後のロボットの関節角度の値とロボ
ット自身および作業環境の形状データからあらかじめ指
定された時間経過後のロボットからの一定距離以内に物
体がないかどうかを判定する干渉判定部と、ロボットか
らの一定距離以内に接近物体がないかどうかをロボット
の関節角度と前記形状データとから判定する干渉判定部
と、ロボットからの一定距離以内に物体がある場合に、
前記形状データと前記撮影手段の位置および向きとから
この接近物体の画像を計算機により演算するオーバレイ
表示部と、前記撮影手段により撮影された実画像と前記
オーバレイ表示部の画像とをオーバレイ表示することが
可能なモニタと、を備えることを特徴とする。

【００２１】また、前記オーバレイ表示部が、物体をモ
ニタにオーバレイ表示するだけでなく、ロボットの形状
データ、ロボットの関節角度およびカメラ位置および向
きの値からロボットのモニタ内表示を算出しモニタにオ
ーバレイ表示することを特徴とする。

【００２２】また、ロボットの作業環境を撮影する撮影
手段とともに遠隔場所に配置されたロボットを遠隔操作
するロボットの遠隔操作装置において、撮影手段により
撮影された実画像を表示することが可能であるとともに
指示装置によりモニタを指示すると指示されたモニタ内
座標を出力することが可能なモニタと、ロボットの作業
環境およびロボット自身の形状データを有する環境モデ
ル部と、指示装置により指示されたモニタ内座標値に表
示されているロボットの作業環境物体を形状データおよ
びカメラの位置と向きから求める指示物体算出部と、ロ
ボットの現在の関節角度を関節角度センサ信号の値から
入力する関節角度入力部と、ロボットの関節角度の値か
ら指示装置により指示された物体の座標系として形状デ
ータに定義されている座標系でのロボット先端位置およ
び姿勢を算出するロボット相対位置算出部と、ロボット
相対位置算出部の出力であるロボット先端の位置および
姿勢の値をモニタにオーバレイ表示する相対位置オーバ
レイ部とを有することを特徴とする。

【００２３】

【作用】ロボットから一定距離以内に物体があることが
判明したときには、物体の形状データおよびカメラの位
置および向きの値からその物体のモニタ内表示を算出し
モニタにオーバレイ表示することにより操作者に物体の
存在を知らせるので、操作者は衝突する以前に移動方向
を変更することにより衝突を避けることができる。ま
た、オーバレイ表示されていないときには一定距離以内
に接近している物体がないことが保証されているので、
操作者はまわりの物体とロボットとの接近を確認するた
めに、ロボットの移動を一端停止させ、カメラを切り替
えて位置を確認することが不要になり、作業性を向上さ
せることができる。

【００２４】また、ロボットの現在の関節角度および角
速度の値から、現在の角速度が維持されたとした場合
の、あらかじめ指定された時間経過後のロボット関節角
度の値を計算し、その指定時間経過後のロボット関節角
度の値と前記形状データから、指定時間経過後にロボッ
トと一定距離以内に接近している物体がないかどうかを
干渉判定計算を行うことにより常時判定を行う。ロボッ
トと一定距離以内に接近している物体があることが判明
したときには、物体の形状データおよびカメラの位置お
よび向きの値からその物体のモニタ内表示を算出しモニ
タにオーバレイ表示することにより操作者に物体の存在
を知らせるので、操作者は現在のロボットの移動速度を
維持した場合に衝突することがわかるので、事前に移動
方向を変更することにより衝突を避けることができる。

【００２５】また、前記オーバレイ表示部が、物体をモ
ニタにオーバレイ表示するだけでなく、ロボットの形状
データ、ロボットの関節角度およびカメラ位置および向
きの値からロボットのモニタ内表示を算出しモニタにオ
ーバレイ表示することにより、ロボットが作業環境の物
体の背後に位置するために隠れて見えない場合にも、ロ
ボットの現在位置を把握することが可能になり、ロボッ
トが物体の背後に隠れるためにカメラを切り替える必要
がなくなるために作業性を向上させることができる。

【００２６】モニタを指示装置により指示すると指示さ
れたモニタ内座標値の値が計算機に入力される。モニタ
内座標値の値が入力されると、ロボットの作業環境およ
びロボット自身の形状データとカメラの位置と向きから
指示されたモニタ内座標値に表示されている物体を求
め、形状データ内においてその指示された物体に定義さ
れた座標系原点の変位および姿勢を獲得する。以後、ロ
ボットの関節角度の値および前記指示物体座標系原点の
変位および姿勢の値からロボット先端の指示物体座標で
の相対位置および姿勢を常時計算し、その数値をモニタ
にオーバレイ表示することにより、操作者はロボットを
位置決めする目標の相対変位や迂回しようとしている物
体との相対変位を数値で常時知ることができるために、
画面奥行き方向の変位も含め正確な相対位置の把握が可
能となる。また、指示装置によりモニタを指示するだけ
で、表示する相対変位の対象物体を変更することが可能
であるために、作業状況の変化に伴い、随時対象物体を
変更してゆくことにより、その状況に応じた必要な情報
を得ることができ、ロボットの移動に伴いカメラを随時
切り替えて行く必要もなくなり作業性を向上させること
ができる。

【００２７】

【実施例】以下、図面を参照して本発明の実施例を説明
する。まず図１を参照して本発明の第１実施例を説明す
る。図１に示されるように、ロボットの遠隔操作装置
は、作業環境において作業を行うロボット１と、作業環
境の状況をモニタするための撮影手段２であるテレビカ
メラと、テレビカメラで撮影された画像を作業者が観察
するためのモニタ３と、ロボットの現在の関節角度をロ
ボットコントローラから入力する関節角度入力部４と、
ロボットの作業環境およびロボット自身の形状データを
３次元ソリッドモデルとして有する環境モデル部５と、
ロボットの関節角度の値と形状データから、ロボットと
あらかじめ指定された一定距離以内に接近している物体
が存在するかどうかを判定する干渉判定部６と、干渉判
定部６で一定距離以内に接近している物体が存在するこ
とが判明した場合に、接近物体のモニタ内表示を求めモ
ニタにオーバレイ表示するオーバレイ表示部７から構成
される。

【００２８】環境モデル部５は、ロボットの作業環境お
よびロボット自身を物体に相当するソリッドの組み合わ
せで表現して保持しており、各ソリッドはそのソリッド
を構成する面・ループ・稜線および頂点のデータを保持
するとともに、そのソリッドに固定された座標系が定義
され、その座標系の基準となる座標系からの変位および
座標変位行列の値を保持している。

【００２９】また、各面はその面を構成するループのデ
ータおよびその面の方程式を保持しており、各ループは
そのループを構成する稜線のデータを保持している。各
稜線はその稜線の両端点のデータおよび稜線の両側の面
のデータおよび稜線の両端点に接続されている他の稜線
のデータを保持している。各頂点はその座標値の値を保
持している。従って、形状のソリッドとしての情報を完
全に保持しており、各ソリッド間の干渉の有無の判定に
必要な情報を保持している。

【００３０】また、作業環境を構成する物体に関して
は、実際の形状と等しくなるようにモデリングされた表
示用ソリッドとともに、実際の形状よりもあらかじめ指
定された距離だけ拡張した形状でモデリングされている
干渉判定用ソリッドが環境モデル部５には含まれてい
る。つまり、作業環境を構成する物体に関しては、全ソ
リッドについて、表示用ソリッドとともに干渉判定用ソ
リッドが存在している。干渉判定用ソリッドの拡張幅は
オーバレイ表示するかどうかの基準となるロボットと作
業環境の物体との距離に等しくしてある。

【００３１】また、ロボット１および撮影手段２は、一
般に人間にとって適さない作業環境に設置されており、
作業者はその作業環境から離れた安全な場所でモニタ３
を見ながら、ジョイスティックやマスタアームなどのロ
ボットの動作入力装置によりロボットの動作を指示す
る。

【００３２】次に、図１を参照して本実施例の作用につ
いて説明する。関節角度入力部４は、ロボットコントロ
ーラから一定の時間間隔で関節角度の値を入力する。干
渉判定部６は、関節角度入力部４の出力であるロボット
１の現在の関節角度の値を入力する。

【００３３】干渉判定部にはあらかじめロボット１の運
動学方程式が設定されており、関節角度の値からロボッ
トの環境モデル部５に含まれるロボットを構成する各ソ
リッドの座標変換行列の値を算出し設定する。ロボット
を構成する全ソリッドの座標変換行列の値を設定した後
に、環境モデル部５に含まれる作業環境を構成する全干
渉判定用ソリッドとロボットを構成する全ソリッドの間
の干渉判定計算を行う。干渉してる物体が存在する場合
には、ロボットとあらかじめ指定された距離以内に接近
している物体が存在することになる。なぜならば、干渉
判定用ソリッドは実際の形状よりも、あらかじめ指定さ
れた距離だけ拡張した形状にモデリングされているから
である。

【００３４】干渉判定部６で干渉している物体が検出さ
れた場合には、その干渉物体名をオーバレイ表示部７に
通知する。オーバレイ表示部はあらかじめ撮影手段２で
あるテレビカメラの位置・姿勢および焦点距離等の値を
保持しており、干渉判定部の出力である干渉物体の表示
用ソリッドの形状データを環境モデル部５から入力し、
投影変換計算を行うことによりモニタでの表示を算出
し、モニタ３にオーバレイ表示する。

【００３５】従って、ロボットがまわりの作業環境物体
とあらかじめ指定された距離以内に接近すると、モニタ
３にその物体が撮影手段２で撮影された実画像とともに
オーバレイ表示されるために、その状況がモニタ３を常
時注視しながら作業を行っている作業者には一目瞭然に
わかり、衝突する前にロボットの運動方向を変更するこ
とが可能になる。また、作業者の操作によりロボットが
接近物体から遠ざかり、干渉判定部６が接近物体がない
と出力するようになった場合には、オーバレイ表示部７
はオーバレイ表示を中止する。よって、作業者はロボッ
トが接近物体から遠ざかったことがやはり一目瞭然にわ
かる。

【００３６】さらに、あらかじめ指定した距離以内に接
近した場合にはオーバレイ表示がされることがわかって
いるために、作業者は必要以上にロボットとまわりの作
業環境物体との位置関係を把握するために、カメラを切
り替えたりする必要がなくなり、作業性の向上がはから
れる。

【００３７】次に図２を参照して本発明の第２実施例に
ついて説明する。図２に示されるように、ロボットの遠
隔操作装置は、作業環境において作業を行うロボット８
と、作業環境の状況をモニタするための撮影手段９であ
るテレビカメラと、テレビカメラで撮影された画像を作
業者が観察するためのモニタ１０と、ロボットの現在の
関節角度および角速度の値から、ロボットコントローラ
から入力する関節角速度の値が維持されたと仮定した場
合に、あらかじめ設定された時刻後のロボット関節角度
の値を算出するロボット未来位置予測部１２と、ロボッ
トの作業環境およびロボット自身の形状データを３次元
ソリッドモデルで有する環境モデル部１３と、ロボット
の関節角度の値と形状データから、ロボットとあらかじ
め指定された一定距離以内に接近している物体が存在す
るかどうかを判定する干渉判定部１４と、干渉判定部１
４で一定距離以内に接近している物体が存在することが
判明した場合に、接近物体のモニタ内表示を求めたモニ
タにオーバレイ表示するオーバレイ表示部１５から構成
される。

【００３８】環境モデル部１３は、ロボットの作業環境
およびロボット自身を物体に相当するソリッドの組み合
わせで表現して保持しており、各ソリッドはそのソリッ
ドを構成する面・ループ・稜線および頂点のデータを保
持するとともに、そのソリッドに固定された座標系が定
義され、その座標系の基準となる座標系からの変位およ
び座標変換行列の値を保持している。

【００３９】また、各面はその面を構成するループのデ
ータおよびその面の方程式を保持しており、各ループは
そのループを構成する稜線のデータを保持している。各
稜線はその稜線の両端点のデータおよび稜線の両側の面
のデータおよび稜線の両端点に接続されている他の稜線
のデータを保持している。各頂点はその座標値の値を保
持している。従って、形状のソリッドとしての情報を完
全保持しており、各ソリッド間の干渉の有無の判定に必
要な情報を保持している。

【００４０】また、作業環境を構成する物体に関して
は、実際の形状と等しくなるようにモデリングされた表
示用ソリッドとともに、実際の形状よりもあらかじめ指
定された距離だけ拡張した形状でモデリングされている
干渉判定用ソリッドが環境モデル部５には含まれてい
る。つまり、作業環境を構成する物体に関しては、全ソ
リッドについて、表示用ソリッドとともに干渉判定用ソ
リッドが存在している。干渉判定用ソリッドの拡張幅は
オーバレイ表示するかどうかの基準となるロボットと作
業環境の物体との距離に等しくしてある。

【００４１】また、ロボット８および撮影手段９は、一
般に人間にとって適さない作業環境に設置されており、
作業者はその作業環境から離れた安全な場所でモニタ１
０を見ながらジョイスティックやマスタアームなどのロ
ボットの動作入力装置によりロボットの動作を指示す
る。

【００４２】次に、本実施例の作用を図２を参照して説
明する。関節角度角速度入力部１１は、ロボットコント
ローラから一手の時間間隔で関節角度および角速度の値
を入力する。

【００４３】ロボット未来位置予測部１２は、関節角度
角速度入力部１１の出力であるロボットの関節角度θお
よび各速度ωの値から、角速度ωが一定で維持されたと
仮定した場合の、あらかじめ設定された時間△ｔ経過後
のロボット関節角度θｎを以下のように算出する。

【００４４】 θｎ＝θ＋ω×△ｔ （１） 干渉判定部１４は、ロボット未来位置予測部１２の出力
であるロボット８のあらかじめ設定された時間△ｔ経過
後の関節角度の値を入力する。干渉判定部１４にはあら
かじめロボット８の運動学方程式が設定されており、関
節角度の値からロボットの環境モデル部１３に含まれる
ロボットを構成する各ソリッドの座標変換行列の値を算
出し設定する。ロボット８を構成する全ソリッドの座標
変換行列の値を設定した後に、環境モデル部１３に含ま
れる作業環境を構成する全干渉判定用ソリッドとロボッ
トを構成する全ソリッドの間の干渉判定計算を行う。干
渉している物体が存在する場合には、ロボットとあらか
じめ指定された距離以内に接近している物体が存在する
ことになる。なぜならば、干渉判定用ソリッドは実際の
形状よりも、あらかじめ指定された距離だけ拡張した形
状にモデリングされているからである。

【００４５】干渉判定部１４で干渉している物体が検出
された場合には、その干渉物体名をオーバレイ表示部１
５に通知する。オーバレイ表示部１５はあらかじめ撮影
手段９であるテレビカメラの位置・姿勢および焦点距離
等の値を保持しており、干渉判定部１４の出力である干
渉物体の表示用ソリッドの形状データを環境モデル部１
３から入力し、投影変換計算を行うことによりモニタで
の表示を算出し、モニタ１０にオーバレイ表示する。

【００４６】従って、現在の速度を維持した場合に、ロ
ボット８がまわりの作業環境物体とあらかじめ指定され
た距離以内に接近する状況になると、モニタ１０にその
物体が撮影手段９で撮影された実画像とともにオーバレ
イ表示されるために、その状況がモニタ１０を常時注視
しながら作業を行っている作業者には一目瞭然にわか
り、衝突する前にロボットの運動方向を変更することが
可能になる。また、作業者の操作によりロボットが接近
物体から遠ざかり、干渉判定部１４が接近物体がないと
出力するようになった場合には、オーバレイ表示部１５
はオーバレイ表示部を中止する。よって、作業者はロボ
ットがまわりの作業環境の物体とは衝突しない運動方向
にあることがやはり一目瞭然にわかる。

【００４７】さらに、現在の速度を維持した場合にあら
かじめ設定した時間経過後にあらかじめ指定した距離以
内に接近する場合にはオーバレイ表示がされることがわ
かっているために、作業者は必要以上にロボットとまわ
りの作業環境物体との位置関係や現在のロボットの運動
方向を把握するために、カメラを切り替えたりする必要
がなくなり、作業性の向上がはかられる。

【００４８】また、第１実施例と第２実施例とを組み合
わせることにより、あらかじめ指定した距離以内に接近
している物体が存在する場合にはある色でオーバレイ表
示を行い、現在の速度を維持したときにあらかじめ指定
した距離以内に接近する場合には別の色でオーバレイ表
示するようにすることにより、ロボットとまわりの物体
との位置関係およびロボットの運動方向をより詳細に作
業者に通知することが可能になる。

【００４９】さらに、環境モデル部に含まれるロボット
の形状データ・関節角度の値およびカメラの位置・向き
の値からロボットのモニタ内表示を算出し、モニタにオ
ーバレイ表示することにより、たとえロボットが他の物
体の背後に隠れて見えない位置にいる場合でも、オーバ
レイ表示によりロボット位置を把握することが可能にな
る。その結果、作業者がカメラを切り替える必要が少な
くなるとともに、カメラを切り替えることにより視野方
向の変化による違和感の発生を防ぐことができ、作業性
の向上をはかることができる。

【００５０】次に図３を参照して本発明の第３実施例に
ついて説明する。図３に示されるように、本実施例は、
作業環境において作業を行うロボット１６と、作業環境
の状況をモニタするための撮影手段１７であるテレビカ
メラと、テレビカメラで撮影された画像を作業者が観察
するためのモニタ１８と、モニタ内座標値を指示する指
示装置１９と、指示装置１９により指示されたモニタ内
座標値に表示されている物体の環境モデル部２２で定義
された物体名を求める指示物体算出部２０と、現在の関
節角度をロボットコントローラから入力する関節角度入
力部２１と、ロボットの作業環境およびロボット自身の
形状データを３次元ソリッドモデルで有する環境モデル
部２２と、ロボットの関節角度の値と形状データに含ま
れる指示物体の座標変換行列の値から、ロボット先端の
指示物体座標系での位置および姿勢の値を算出するロボ
ット相対位置算出部２３と、ロボット相対位置算出部２
３で算出された指示物体座標系でのロボット先端位置お
よび姿勢の値をモニタ画面にオーバレイ表示する相対位
置オーバレイ部２４から構成される。

【００５１】環境モデル部２２は、ロボットの作業環境
およびロボット自身を物体に相当するソリッドの組み合
わせで表現して保持しており、各ソリッドはそのソリッ
ドを構成する面・ループ・稜線および頂点のデータを保
持するとともに、そのソリッドに固定された座標系が定
義され、その座標系の基準となる座標系からの変位およ
び座標変換行列の値を保持している。また、各面はその
面を構成するループのデータおよびその面の方程式を保
持しており、各ループはそのループを構成する稜線のデ
ータを保持している。各稜線はその稜線の両端点のデー
タおよび稜線の両側の面のデータおよび稜線の両端点に
接続されている他の稜線のデータを保持している。各頂
点はその座標値の値を保持している。

【００５２】また、ロボット１６および撮影手段１７
は、一般に人間にとって適さない作業環境に設置されて
おり、作業者はその作業環境から離れた安全な場所でモ
ニタ１８を見ながらジョイスティックやマスタアームな
どのロボットの動作入力装置によりロボットの動作を指
示する。

【００５３】次に、本実施例の作用を図３を参照して説
明する。作業者が指示装置１９を用いてモニタ１８を指
示すると、指示されたモニタ内座標値の値が指示物体算
出部２０に入力される。指示装置１９は通常、計算機の
マウスやタッチペンなどである。指示物体算出部２０で
は、あらかじめ設定されたカメラの位置・向きおよび焦
点距離の値などと環境モデル部２２に含まれる形状デー
タから、指示装置１９で指示されたモニタ内座標値に表
示されている物体を求める。

【００５４】以下に指示されたモニタ内座標値に表示さ
れている物体を求める方法を説明する。

【００５５】まずカメラの位置・向きおよび焦点距離な
どの値と環境モデル部２２に含まれる形状データから、
代表的な陰面消去法であるＺバッファ法で用いられるＺ
バッファを計算する。つまり、モニタの分解能の大きさ
の配列を用意し、配列の各要素をモニタの各画素に対応
させ、各画素に表示されている物体のスクリーン座標で
奥行き方向座標値であるＺ値を各配列要素に記憶させ
る。スクリーン座標とは、モニタ画面内にＸＹ軸を、モ
ニタ画面と垂直方向にＺ軸をとり、モニタ画面中心を原
点にとる座標系のことである。また、この配列をＺバッ
ファと呼ぶ。通常、陰面消去ではＺバッファの各要素に
ＲＧＢの色を表すデータおよびＺ値を記憶させるが、こ
こでは色データのかわりに表示されている物体のソリッ
ド名を記憶させる。このようなＺバッファをあらかじめ
計算し記憶しておくことにより、指示装置１９で指示さ
れたモニタ内座標値におけるＺバッファの値を参照する
だけで指示された物体名を求めることができる。なお、
カメラの向きや倍率を変更した場合には、Ｚバッファを
再計算する必要がある。

【００５６】ロボット相対位置算出部２３では、関節角
度入力部２１からロボットの関節角度の値を入力し、あ
らかじめ設定されているロボット１６の運動学方程式を
計算することにより、基準となる座標系でのロボット１
６の先端位置および姿勢の値を計算した後に、指示物体
算出部２０の出力である指示物体の座標変換行列を環境
モデル部２２から入力し、座標変換計算を行うことによ
り、指示物体の座標系でのロボット先端位置および姿勢
の値を算出する。

【００５７】相対位置オーバレイ部２４では、ロボット
相対位置算出部２３の出力である指示物体の座標系での
ロボット先端位置および姿勢の値をモニタにオーバレイ
表示する。従って、作業者は撮影手段１７であるテレビ
カメラで撮影された作業環境が表示されているモニタを
注視しながら作業を行いながら、オーバレイ表示されて
いる指示装置により指示した物体とロボット先端との相
対変位の値を見ることとができる。モニタ画面からは奥
行き方向の位置関係が把握できにくいことが多いが、以
上のようにその場の状況で重要となる物体との相対位置
が数値でモニタ上に表示させることにより、作業者は相
対位置変位を数値として正確に把握することが可能にな
り、カメラをいろいろ切り替えて位置関係を把握する必
要がなくなり、作業性の向上をはかることができる。

【００５８】また、マウスやタッチペンなどの指示装置
によりモニタを指示するだけで、モニタ画面に表示する
相対座標値の対象となる物体を変更することが可能であ
るので、ロボットの移動に伴い随時対象物体を変更して
ゆくことにより、ひとつのカメラによる画面を見続ける
ことにより作業を遂行することも可能になる。ひとつの
カメラによる画面で作業を実行することにより、カメラ
切り替えによる時間が節約できるだけでなく、カメラ切
り替えによる視野方向の変化やカメラ視野方向とジョイ
スティックなどの操作方向の違いによる違和感の発生を
防ぐことができ、作業性の向上がはかられる。なお、座
標値の値はモニタ画面上にオーバレイ表示できない場合
には隣接する計算機画面等に表示してもかまわない。ま
た、第一の実施例および第二の実施例と組み合わせるこ
とが可能である。

【００５９】

【発明の効果】以上説明したように、本発明の構成によ
れば、ロボットの作業環境およびロボット自身の形状デ
ータを利用し、近接物体などの各種情報を作業環境の実
画像にオーバレイ表示することにより、モニタ画面を通
しての作業における立体感の喪失などの情報の欠落を補
い、ロボットの遠隔操作における作業性の向上をはかる
ことができる。

【図面の簡単な説明】

【図１】本発明のロボットの遠隔操作装置の第１実施例
の構成を示すブロック図。

【図２】本発明のロボットの遠隔操作装置の第２実施例
の構成を示すブロック図。

【図３】本発明のロボットの遠隔操作装置の第３実施例
の構成を示すブロック図。

【符号の説明】

１ ロボット ２ 撮影手段 ３ モニタ ４ 関節角度入力部 ５ 環境モデル部 ６ 干渉判定部 ７ オーバレイ表示部 ８ ロボット ９ 撮影手段 １０ モニタ １１ 関節角度角速度入力部 １２ ロボット未来位置予測部 １３ 環境モデル部 １４ 干渉判定部 １５ オーバレイ表示部 １６ ロボット １７ 撮影手段 １８ モニタ １９ 指示装置 ２０ 指示物体算出部 ２１ 関節角度入力部 ２２ 環境モデル部 ２３ ロボット相対位置算出部 ２４ 相対位置オハーレス部

Claims (1)

【特許請求の範囲】
1. 【請求項１】遠隔場所に配置されたロボットを遠隔操作
   するロボットの遠隔操作装置において、ロボットの作業
   環境を撮影する撮影手段と、ロボットの作業環境および
   ロボット自身の形状データを有する環境モデル部と、ロ
   ボットの現在の関節角度を関節角度センサの信号値とし
   て入力する関節角度入力部と、ロボットからの一定距離
   以内に物体がないかどうかをロボットの関節角度と前記
   形状データとから判定する干渉判定部と、ロボットから
   の一定距離以内に物体がある場合に、前記形状データと
   前記撮影手段の位置および向きとからこの物体の画像を
   計算機により演算するオーバレイ表示部と、前記撮影手
   段により撮影された実画像と前記オーバレイ表示部の画
   像とをオーバレイ表示することが可能なモニタと、を備
   えることを特徴とするロボットの遠隔操作装置。