JPH08257948A - ロボットの遠隔操作装置 - Google Patents

ロボットの遠隔操作装置

Info

Publication number
JPH08257948A
JPH08257948A JP8751995A JP8751995A JPH08257948A JP H08257948 A JPH08257948 A JP H08257948A JP 8751995 A JP8751995 A JP 8751995A JP 8751995 A JP8751995 A JP 8751995A JP H08257948 A JPH08257948 A JP H08257948A
Authority
JP
Japan
Prior art keywords
operator
image
robot
operation panel
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8751995A
Other languages
English (en)
Inventor
Kenichi Yasuda
賢一 安田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yaskawa Electric Corp
Original Assignee
Yaskawa Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yaskawa Electric Corp filed Critical Yaskawa Electric Corp
Priority to JP8751995A priority Critical patent/JPH08257948A/ja
Publication of JPH08257948A publication Critical patent/JPH08257948A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Manipulator (AREA)

Abstract

(57)【要約】 【目的】オペレータがスイッチ操作等を行う時に、操作
装置から手を離したり、HMDを頭から取り外したりす
ることなく、また大きく視線を移したり上体を前に傾け
たりすることなく操作を行えるようにして、オペレータ
の負担を軽減し、マスタースレーブロボットによる作業
の能率を向上できる装置を提供する。 【構成】実映像撮像装置の映像と、コンピュータグラフ
ィックス生成装置で生成された操作パネル映像とのいず
れかを選択して頭部搭載型ディスプレーに表示する。併
せて、オペレータの手を示す映像を前記コンピュータグ
ラフィックス生成装置で生成し、その手を遠隔操作装置
でコンピュータグラフィックス上で動かすことにより表
示された操作パネルを操作する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明はマスタースレーブロボッ
トの遠隔操作装置に関する。
【0002】
【従来の技術】非構造環境下などにおいてスレーブロボ
ットから送られてきた映像をオペレータが見ながらマス
ターアームやジョイスティックを使ってロボットアーム
を遠隔操縦することによって作業を行う時の従来例の構
成図を図3と図4に示す。図3は、オペレータ1がTV
モニタ16を見ながら操作を行う場合で、図中の矢印は
信号の流れを示している。オペレータは通常マスターア
ーム4でロボットアーム9を操縦しているが、ロボット
アーム9の操縦を一時中断してロボットアーム9の動作
座標系や動作スピード、または手動/自動運転などの切
り替え操作、あるいは監視カメラ8の視点変更を行う時
には、オペレータ1はロボットアーム9を操作していた
マスターアーム4から一度手を離し、オペレータ1の前
に配置された操作パネル17上のスイッチ類を操作す
る。また、オペレータ1がマスターアーム4から手を離
すことができない場合、補助者によって操作パネル17
の操作を行う。また、図4はオペレータ1が頭部搭載型
ディスプレー(=HMD)2を装着して、スレーブロボ
ットの監視カメラ8から送信された映像を立体的に見な
がらロボットアーム9を操作する場合で、図中の矢印は
信号の流れを示している。この場合、HMD2に監視カ
メラ8からの映像を立体的に提示することによってあた
かもスレーブロボット側に居るかのような臨場感が得ら
れるが、操作パネル17を操作する時には同様にマスタ
ーアーム4から手を離し、さらにそのままではオペレー
タ1の目の前の操作パネル17が見えないため、HMD
2を頭からはずして操作を行っている。また、シースル
ー機能(HMDを頭からはずさなくても光学系を通して
オペレータの目の前が見える機能)を持ったHMDでも
やはり、マスターアーム4から一度手を離して操作パネ
ル17を操作しなければならない。上記の例は双腕ロボ
ットを操縦するときに当てはまることであるが、片腕ロ
ボットを操縦する場合で、オペレータの左腕が残ってい
る場合は左手でスイッチ操作を行えばよいが、この場合
でも、図4の例ではやはりHMD2を頭から取り外して
スイッチ操作を行っている。
【0003】
【発明が解決しようとする課題】ところが、従来技術で
は操作パネル上のスイッチ類を操作するたびにマスター
アームやジョイスティックなどの操作装置から手を離し
たり、HMDを頭からとりはずさないといけないという
煩わしさがあり、特にシースルー機能を持たないHMD
と操作パネルの併用ではロボットの操作性が著しく低下
していた。またシースルー機能を持ったHMDでも光学
系を通しているため、操作者の目の前の視認性が悪く、
これによっても操作性を悪化させていた。また片腕ロボ
ットを操縦する場合で、オペレータ1の左腕が残ってい
る場合でも、図3の例ではオペレータが左手で操作パネ
ル上のスイッチ類を操作するために視線を操作パネル上
に移し、上体を前に傾けてスイッチ操作するという煩わ
しさは残る。また、図4の例ではHMDを頭から取り外
し、視線を操作パネル上に移し、さらに上体を前に傾け
てスイッチ操作するという煩わしさが残る。そこで本発
明は上記の問題を解決するためになされたもので、オペ
レータがスイッチ操作等を行う時に、操作装置から手を
離したり、HMDを頭から取り外したりすることなく、
また大きく視線を移したり上体を前に傾けたりすること
なく操作を行えるようにして、オペレータの負担を軽減
し、マスタースレーブロボットによる作業の能率を向上
できる装置を提供することを目的とする。
【0004】
【課題を解決するための手段】上記問題を解決するた
め、本発明は、離れた場所にあるスレーブロボットを遠
隔操作するために、前記スレーブロボットに取り付けら
れ、またはその近傍に設置された撮像装置で撮像した実
映像をオペレータに提示するための頭部搭載型ディスプ
レーを備えたロボットの遠隔操作装置において、前記オ
ペレータが操作すべき操作パネル映像を生成するコンピ
ュータグラフィックス生成装置と、前記実映像撮像装置
の映像と、前記コンピュータグラフィックス生成装置で
生成された操作パネル映像とのいずれかを選択して、ま
たは分割して前記頭部搭載型ディスプレーに表示する手
段と、を設けたことを特徴とするものである。
【0005】
【作用】オペレータの手を示す映像を前記コンピュータ
グラフィックス生成装置で生成し、その手を遠隔操作装
置で前記コンピュータグラフィックス上で動かして表示
された操作パネルを操作するようにし、ロボットアーム
の操作を一時中断してスイッチ操作等を行う場合に、マ
スターアームやジョイスティックなどから手を離した
り、HMDを頭から取り外すことなくスイッチ操作等を
行う。
【0006】
【実施例】以下、本発明の実施例を図に基づいて説明す
る 図1は本発明の実施例の構成を示す図であり、マスタ側
はスレーブロボットから送信された実映像やコンピュー
タグラフィックス(=CG)映像をオペレータ1に立体
的に提示する頭部搭載型ディスプレー(=HMD)2、
オペレータの頭の運動を検出する磁気センサ3、腕の運
動を検出するマスターアーム4、足の運動を検出するフ
ットスイッチ5、CG生成用のコンピュータ6、そして
これらを制御するためのマスタ制御装置7から構成され
ており、スレーブ側は監視カメラ8、ロボットアーム
9、スレーブ制御装置10から構成されている。図中の
矢印は信号の流れを示している。またスレーブロボット
は移動走行機能を持っているものでもよい。またCG生
成用コンピュータ6には、ロボットアーム9の動作座標
系や動作スピード、手動/自動運転の切り替え、またス
レーブロボットが移動走行機能を有している場合には走
行開始/停止の切り替えなど、スレーブロボットの動作
モードを切り替えるスイッチ類を配した操作パネル、あ
るいはスレーブロボットの状態を表示するためのモニタ
などをコンピュータグラフィックスであらかじめ生成し
ておく。HMD2に提示する操作パネルのコンピュータ
グラフィックスの表示例を図2に示す。ここで、11は
HMD2の表示部枠であり、操作パネル12、操作用ス
イッチ13、ロボットの状態を表示するための状態モニ
タ14、操作用スイッチ13を操作するための手15で
構成されている。いずれもコンピュータグラフィックス
上のものであることに注意されたい。
【0007】次に本装置の動作を説明する。オペレータ
1はスレーブ側の監視カメラ8がとらえた映像をHMD
2で見ながらマスターアーム4を操作してロボットアー
ム9を操縦する。磁気センサ3によってオペレータの頭
部の運動を検出することによって監視カメラ8はオペレ
ータの頭部の動きに追従する。ここでオペレータがスレ
ーブロボットのモード変更を行う場合はフットスイッチ
5を踏んで、HMD2の映像をCG生成用コンピュータ
6であらかじめ生成されている操作パネル12の映像に
切り替える。なお、切り換えることなく、上半分が実映
像、下半分が操作パネル映像というように合成して表示
してもよい。モード変更を行うときにフットスイッチ5
を使う代わりにマスターアーム3の先端に配置されたス
イッチを使ってもよく、また、コンピュータグラフィッ
クスはスレーブ側の監視カメラ8からの映像にスーパー
インポーズしてもよい。
【0008】スイッチ操作するときはマスターアーム4
をロボットアーム操作用からスイッチ操作用に切り替
え、マスターアーム4の動きに連動してコンピュータグ
ラフィックス内で手15が動く。そしてコンピュータグ
ラフィックスで示された手15によって操作パネル12
上の操作用スイッチ13を操作すると、その操作に応じ
た指令がマスタ制御装置7に取り込まれ、スレーブ制御
装置10へ送信される。そしてその指令に応じて、ロボ
ットの動作モードが切り替わる。ここでマスターアーム
4の代わりにジョイスティックを使ってもよく、また、
指の動きを検出するグローブに磁気センサなどが取り付
けてあるものでもよい。コンピュータグラフィックスで
描かれた操作パネル12をオペレータ1が操作しやすい
位置に配し、右目用と左目用を別々に適当な視差をもっ
てHMD2に表示し、さらに磁気センサ3の信号をCG
生成用コンピュータ6に取り込んで、オペレータ1の頭
部の動きに連動して操作パネル12への視線方向が変更
できるようにしておけば、あたかも自分の目の前に操作
パネル12が存在するかのような臨場感を得ることがで
きる。
【0009】
【発明の効果】以上述べたように、本発明によれば、操
作パネルをコンピュータグラフィックスとし、それをH
MDに提示することによって、ロボットアームの操縦を
一時中断してスイッチ操作を行う場合でもオペレータは
マスターアームなどから手を離したりHMDを頭から取
り外すことなく行え、またコンピュータグラフィックス
の操作パネルはオペレータの目の前に手の届く位置に配
置されるので大きく視線を移したり、上体を前に傾けた
りすることなくそのままの姿勢でスイッチ操作ができる
ので、オペレータの負担が軽減でき、作業の能率が向上
するという効果がある。
【図面の簡単な説明】
【図1】本発明の実施例の構成を示す図
【図2】本発明の実施例における操作パネルの表示例を
示す図
【図3】従来例の構成を示す図
【図4】従来例の構成を示す図
【符号の説明】
1 オペレータ 2 頭部搭載型ディスプレー(=HMD) 3 磁気センサ 4 マスターアーム 5 フットスイッチ 6 コンピュータグラフィックス生成用コンピュータ 7 マスタ制御装置 8 監視カメラ 9 ロボットアーム 10 スレーブ制御装置 11 HMD表示部枠 12 操作パネル(コンピュータグラフィックス) 13 操作用スイッチ(〃) 14 状態表示モニタ(〃) 15 手(〃) 16 TVモニタ 17 操作パネル

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 離れた場所にあるスレーブロボットを遠
    隔操作するために、前記スレーブロボットに取り付けら
    れ、またはその近傍に設置された撮像装置で撮像した実
    映像をオペレータに提示するための頭部搭載型ディスプ
    レーを備えたロボットの遠隔操作装置において、 前記オペレータが操作すべき操作パネル映像を生成する
    コンピュータグラフィックス生成装置と、 前記実映像撮像装置の映像と、前記コンピュータグラフ
    ィックス生成装置で生成された操作パネル映像とのいず
    れかを選択して前記頭部搭載型ディスプレーに表示する
    手段と、を設けたことを特徴とするロボットの遠隔操作
    装置。
  2. 【請求項2】 離れた場所にあるスレーブロボットを遠
    隔操作するために、前記スレーブロボットに取り付けら
    れ、またはその近傍に設置された撮像装置で撮像した実
    映像をオペレータに提示するための頭部搭載型ディスプ
    レーを備えたロボットの遠隔操作装置において、 前記オペレータが操作すべき操作パネル映像を生成する
    コンピュータグラフィックス生成装置と、 前記実映像撮像装置の映像と、前記コンピュータグラフ
    ィックス生成装置で生成された操作パネル映像とを分割
    して前記頭部搭載型ディスプレーに表示する手段と、を
    設けたことを特徴とするロボットの遠隔操作装置。
  3. 【請求項3】 前記オペレータの手を示す映像を前記コ
    ンピュータグラフィックス生成装置で生成し、その手を
    遠隔操作装置で前記コンピュータグラフィックス上で動
    かすことにより表示された操作パネルを操作するように
    した請求項1または2記載のロボットの遠隔操作装置。
  4. 【請求項4】 前記オペレータの頭部の位置・姿勢を検
    出する検出装置を備え、前記オペレータの頭部の位置・
    姿勢に応じて、前記操作パネル映像を変化させることを
    特徴とする請求項1乃至3記載のロボットの遠隔操作装
    置。
JP8751995A 1995-03-20 1995-03-20 ロボットの遠隔操作装置 Pending JPH08257948A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8751995A JPH08257948A (ja) 1995-03-20 1995-03-20 ロボットの遠隔操作装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8751995A JPH08257948A (ja) 1995-03-20 1995-03-20 ロボットの遠隔操作装置

Publications (1)

Publication Number Publication Date
JPH08257948A true JPH08257948A (ja) 1996-10-08

Family

ID=13917251

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8751995A Pending JPH08257948A (ja) 1995-03-20 1995-03-20 ロボットの遠隔操作装置

Country Status (1)

Country Link
JP (1) JPH08257948A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7714895B2 (en) 2002-12-30 2010-05-11 Abb Research Ltd. Interactive and shared augmented reality system and method having local and remote access
US9538131B2 (en) 2013-10-25 2017-01-03 National Institute Of Advanced Industrial Science And Technology Remote behavior navigation system and processing method thereof
CN106426229A (zh) * 2016-10-20 2017-02-22 济南舜风科技有限公司 用于巡线机器人的虚拟现实监测控制系统和控制方法
JPWO2017033363A1 (ja) * 2015-08-25 2018-07-05 川崎重工業株式会社 ロボットシステム
WO2019032814A1 (en) * 2017-08-10 2019-02-14 Robert Bosch Gmbh SYSTEM AND METHOD FOR DIRECT TEACHING TO A ROBOT
JP2019042880A (ja) * 2017-09-04 2019-03-22 トヨタ自動車株式会社 マスタスレーブロボットの動作終了方法
CN109693238A (zh) * 2018-12-18 2019-04-30 航天时代电子技术股份有限公司 一种多传感器信息显示方法、设备和人体随动遥操作机器人
WO2019225548A1 (ja) * 2018-05-21 2019-11-28 Telexistence株式会社 遠隔操作システム、情報処理方法、及びプログラム
CN110509282A (zh) * 2019-07-18 2019-11-29 上海大学 一种摄像机器人遥操作装置
JPWO2020235541A1 (ja) * 2019-05-20 2020-11-26

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7714895B2 (en) 2002-12-30 2010-05-11 Abb Research Ltd. Interactive and shared augmented reality system and method having local and remote access
US9538131B2 (en) 2013-10-25 2017-01-03 National Institute Of Advanced Industrial Science And Technology Remote behavior navigation system and processing method thereof
JPWO2017033363A1 (ja) * 2015-08-25 2018-07-05 川崎重工業株式会社 ロボットシステム
JP2022119943A (ja) * 2015-08-25 2022-08-17 川崎重工業株式会社 産業用ロボットおよびその運転方法
CN106426229A (zh) * 2016-10-20 2017-02-22 济南舜风科技有限公司 用于巡线机器人的虚拟现实监测控制系统和控制方法
US11413748B2 (en) 2017-08-10 2022-08-16 Robert Bosch Gmbh System and method of direct teaching a robot
WO2019032814A1 (en) * 2017-08-10 2019-02-14 Robert Bosch Gmbh SYSTEM AND METHOD FOR DIRECT TEACHING TO A ROBOT
JP2019042880A (ja) * 2017-09-04 2019-03-22 トヨタ自動車株式会社 マスタスレーブロボットの動作終了方法
WO2019225548A1 (ja) * 2018-05-21 2019-11-28 Telexistence株式会社 遠隔操作システム、情報処理方法、及びプログラム
US12017351B2 (en) 2018-05-21 2024-06-25 Telexistence Inc. Remote control system, information processing method, and non-transitory computer-readable recording medium
CN109693238A (zh) * 2018-12-18 2019-04-30 航天时代电子技术股份有限公司 一种多传感器信息显示方法、设备和人体随动遥操作机器人
WO2020235541A1 (ja) * 2019-05-20 2020-11-26 国立大学法人東京大学 画像インタフェース装置、画像操作装置、操作対象物操作装置、操作対象物操作システム、操作対象物提示方法および操作対象物提示プログラム
JPWO2020235541A1 (ja) * 2019-05-20 2020-11-26
CN110509282B (zh) * 2019-07-18 2022-11-08 上海大学 一种摄像机器人遥操作装置
CN110509282A (zh) * 2019-07-18 2019-11-29 上海大学 一种摄像机器人遥操作装置

Similar Documents

Publication Publication Date Title
US12544163B2 (en) Roboticized surgery system with improved control
JP4251673B2 (ja) 画像呈示装置
CN103607971B (zh) 医疗主从操作器
JPH0749744A (ja) 頭部搭載型表示入力装置
US20070002037A1 (en) Image presentation system, image presentation method, program for causing computer to execute the method, and storage medium storing the program
US9217866B2 (en) Computer control with heads-up display
JP2023520191A (ja) 外科手術用ロボットを制御するための仮想コンソール
JP7390541B2 (ja) アニメーション制作システム
JP2013510671A (ja) 低侵襲遠隔操作外科手術器具のための患者側外科医インターフェース
JP2002176661A (ja) 画像表示装置
JP4413203B2 (ja) 画像呈示装置
JPH0976063A (ja) 溶接装置
CN118043005A (zh) 用于控制内部体腔中的手术机器人组件的系统和方法
JP2007506165A (ja) バーチャルリアリティ・グラフィックシステムの機能選択による制御のための三次元空間ユーザインタフェース
JP2015157323A (ja) 遠隔操縦装置、遠隔操縦システム、遠隔操縦方法、及びプログラム
US20220351446A1 (en) Animation production method
JP2012194626A (ja) 表示装置
WO2021220407A1 (ja) ヘッドマウントディスプレイ装置および表示制御方法
KR20170132044A (ko) 공용 hmd장치 및 이를 구비한 게임기
JP7218873B6 (ja) アニメーション制作システム
JPH06134687A (ja) 移動ロボットの遠隔操作装置
JP2012060551A (ja) コマンド入力装置
JP2024097269A (ja) 情報処理装置および情報処理方法
JPH06292240A (ja) 遠隔操作支援立体表示装置
CN121713151A (zh) 信息处理装置、信息处理方法和存储介质