JPH06320457A

JPH06320457A - 知能ロボットシステム

Info

Publication number: JPH06320457A
Application number: JP11126593A
Authority: JP
Inventors: Masami Tajima; 正實但馬
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1993-05-13
Filing date: 1993-05-13
Publication date: 1994-11-22

Abstract

(57)【要約】【目的】自律的に制御機能を有する知能ロボットシス
テムに関し、遠隔制御に於ける危険回避を確実に行わせ
る。【構成】ハンド１とアーム２とモータ等の駆動部３と
各種のセンサ４とを有するロボット５と、指令情報に従
ってロボット５を制御する制御部６と、遠隔操作制御部
７とを備え、リミットセンサによりロボット５の機械的
状態変化が危険状態を検出し、駆動部３を直接的に制御
して危険回避を行う第１の制御構成と、テレビカメラや
温度等のセンサの検出情報を基に制御部６に於いてロボ
ット５が危険状態となったことを判断した時に、駆動部
３を制御して危険回避を行う第２の制御構成と、制御部
６を介して各種センサの検出情報を受信した遠隔操作制
御部７に於いてロボット５が危険状態となったことを判
断した時に、危険回避の指令情報を制御部６に送出する
第３の制御構成とを設けた。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、知能ロボットの遠隔制
御に於ける危険回避を確実に行わせる知能ロボットシス
テムに関する。知能ロボットを有線回線又は無線回線を
介して遠隔制御するシステムに於いては、知能ロボット
を制御する為の指令情報の伝送遅延及び知能ロボットの
状態情報の伝送遅延の為に、指令情報の送出間隔を短く
することが困難であった。従って、危険回避を行う為の
緊急制御を効率良く行うことが要望されている。

【０００２】

【従来の技術】作業用のロボットは、物品を把持する為
のハンドと、そのハンドを目的位置に移動させる為のア
ームとを基本構成としている。又複数の関節を介して複
数のアームを結合した多関節ロボットは、アームの自由
度が大きいから複雑な動作が可能となり、各種の作業に
適用されている。

【０００３】このようなロボットを制御する為に、ハン
ドに圧力センサを設けて、物品を把持した時の把持力を
検出し、所定の圧力で物品を把持するように、ハンドの
駆動部をフィードバック制御するものであり、又アーム
の各関節に角度センサ或いはハンドに位置センサを設け
て、ハンドの移動位置を識別し、指令位置にハンドを移
動させるように、アームの駆動部をフィードバック制御
するものである。又特定の作業を繰り返し行わせる為の
プレイバック制御も知られている。

【０００４】又ロボットのハンド等が作業領域外へ移動
しようとする場合や、作業を行う物品以外の構造物等に
衝突する場合を検出するリミットスイッチや切断用電線
を設け、リミットスイッチの動作又は切断用電線が切断
されることにより、危険回避の制御を行う構成も知られ
ている。

【０００５】又ロボットを遠隔制御する構成も知られて
おり、ロボットの制御部と遠隔操作制御部との間を有線
回線又は無線回線で接続し、ロボットの動作状態を撮像
した画像情報を、ロボットの制御部から遠隔操作制御部
に伝送し、遠隔操作制御部の表示装置にロボットの動作
状態を表示し、オペレータはその動作状態を観察しなが
ら遠隔操作指令情報を入力し、その指令情報を遠隔操作
制御部からロボットの制御部に伝送して、ロボットを制
御することができる。

【０００６】又マスタ・スレーブ方式のロボットの遠隔
制御も知られており、マスタロボットの動作と遠隔地の
スレーブロボットの動作とが同一となることを前提とし
て、オペレータはマスタロボットの動作状態を見ながら
制御操作を行うもので、画像情報による特定範囲のロボ
ットの動作状態よりも、スレーブロボットと同様な動作
を行うマスタロボットの全体を観察できるから、遠隔地
のスレーブロボットの作業状態を容易に把握することが
できる。

【０００７】

【発明が解決しようとする課題】各種の作業用のロボッ
トに各種の自律的な制御機能を付加して、知能ロボット
化を図ることができるが、完全に自律的に動作する構成
は経済的にも実現が困難である。従って、オペレータ等
の状況判断による制御が必要となる。このオペレータが
知能ロボットから離れている場合、知能ロボット側の制
御部と、オペレータ側の遠隔操作制御部との間を有線回
線又は無線回線で接続し、各種の情報の伝送を行うこと
になる。その場合に、知能ロボットの状態を把握して適
切な制御を行う為に、伝送情報量が比較的多くなるもの
である。

【０００８】このような知能ロボットの遠隔制御に於い
て、各種情報の処理遅延と有線回線又は無線回線による
伝送遅延とが大きい場合、例えば、人工衛星上の知能ロ
ボットの遠隔制御に於いて、オペレータの操作により遠
隔操作制御部から制御情報を送出した後、或る時間後に
ロボットのハンドやアームが動作することになり、その
動作結果の情報は或る時間後に遠隔操作制御部に伝送さ
れてオペレータに通知される。従って、オペレータがロ
ボットの危険状態をロボットの画像情報等により認識し
て、その危険回避の制御情報を送出しても、その制御情
報がロボットの制御部に到着する時間には、ロボットが
危険状態に陥ってしまうことになる。即ち、制御遅れに
より危険回避が困難となる。

【０００９】そこで、マスタ・スレーブ方式によりマス
タロボットを制御すれば、処理遅延や伝送遅延が大きく
ても、遠隔地のスレーブロボットの動作を予測できるか
ら、危険状態に陥る動作予測から、それを回避する制御
が可能となる。しかし、その場合に於いても、誤動作に
よりスレーブロボットが危険状態となった時は、制御遅
れにより危険回避ができない場合が生じる。又オペレー
タは、遠隔地のロボットが物品を把持した時の圧力の感
覚を得ることができないので、きめ細かい遠隔制御がで
きない問題があった。本発明は、知能ロボットの危険回
避を確実に行わせ、且つ遠隔制御を容易に行わせること
を目的とする。

【００１０】

【課題を解決するための手段】本発明の知能ロボットシ
ステムは、図１を参照して説明すると、物品を把持する
為のハンド１と、このハンド１を支持するアーム２と、
ハンド１及びアームを機械的に駆動する駆動部３と、各
部の状態を検出するテレビカメラを含む複数種類のセン
サ４とを有するロボット５と、指令情報によるプログラ
ムとセンサ４の検出情報とを用いてロボット５を制御す
る制御部６と、この制御部６を介してセンサ４の検出情
報を受信し、且つ制御部６に指令情報を送出する遠隔操
作制御部７とを備えた知能ロボットシステムに於いて、
ロボット５の機械的状態変化が危険状態を示す時のセン
サ４の検出情報により、駆動部３を直接的に制御して危
険回避を行う第１の制御構成と、センサ４の検出情報の
処理判断によりロボット５が危険状態か否かを判断し、
危険状態と判断した時に駆動部３を制御して危険回避を
行う第２の制御構成と、センサ４の検出情報を制御部６
を介して受信した遠隔操作制御部７に於いて、検出情報
を基にロボット５が危険状態か否かを判断し、危険状態
と判断した時に駆動部３を制御して危険回避を行わせる
指令情報を送出する第３の制御構成とを設けたものであ
る。

【００１１】又センサ４の中のリミットセンサによりロ
ボット５の機械的状態変化が危険状態であることを検出
した時に、駆動部３を直接的に停止或いは逆方向に移動
させる危険回避制御を行う第１の制御構成と、センサ４
の中の位置センサ，温度センサ，圧力センサ，音響セン
サ，振動センサ等の各種センサの検出情報を処理して危
険状態を示すものであるか否かを判断し、危険状態を示
すものと判断した時に、駆動部３を停止或いは逆方向に
移動させる危険回避制御を行う第２の制御構成と、セン
サ４の検出情報を受信した遠隔操作制御部７に於いて、
センサ４の中のテレビカメラからの画像情報及び他の各
種のセンサの検出情報を基に、又はロボット５の動作予
測シミュレーションによりロボット５が危険状態か否か
を判断し、危険状態と判断した時に、危険回避の為の指
令情報を送出する第３の制御構成とを設けることができ
る。

【００１２】又前記第２及び第３の制御構成は、センサ
４の中の位置センサ，温度センサ，圧力センサ，音響セ
ンサ，振動センサ等の各種のセンサの検出情報の周波数
分析を行い、この周波数分析によって得られた周波数ス
ペクトラム又はこの周波数スペクトラムの時間的変化に
ついて異常か否かを判定し、異常と判定した時に、ロボ
ット５の危険回避制御を行う構成を含ませることができ
る。

【００１３】又前記第２及び第３の制御構成は、センサ
４の中の位置センサ，温度センサ，圧力センサ，音響セ
ンサ，振動センサ等の各種のセンサの検出情報の周波数
分析を行い、その周波数分析により得られた周波数スペ
クトラム又はその周波数スペクトラムの時間的変化につ
いて、ロボット５の作業種別対応の予め求めた標準の周
波数スペクトラム又はその周波数スペクトラムの時間的
変化のパターンと照合して異常か否かを判定し、異常と
判定した時に、ロボット５の危険回避制御を行う構成を
含ませることができる。

【００１４】又第２及び第３の制御構成は、センサ４の
中の異なる種類のセンサのそれぞれの検出情報の相互の
相関値を求め、その相関値が異常な変化を示す時に、ロ
ボット５が危険状態と判断して、危険回避制御を行う構
成を含ませることができる。

【００１５】又第２の制御構成は、センサ４の中のテレ
ビカメラからの画像情報の高周波成分が最も大きくなる
ようにテレビカメラの自動焦点制御を行い、その高周波
成分のレベル又はスペクトラムによって接近距離を判断
し、危険域に移動したと判断した時に、危険回避制御を
行う構成を含ませることができる。

【００１６】又制御部６に、センサ４の中のテレビカメ
ラからの画像情報に他のセンサの検出情報を重畳して、
制御部６から遠隔操作制御部７に送出する送出部を設
け、遠隔操作制御部７に、制御部６から受信して画像情
報と他のセンサの検出情報とを分離し、画像情報を画像
表示部に表示させる受信部を設けることができる。

【００１７】又ロボットの動作に於いて受ける把持力等
の圧力を検出するセンサの検出情報を、センサ４の中の
テレビカメラからの画像情報に重畳して制御部６から遠
隔操作制御部７に伝送し、遠隔操作制御部７のロボット
５を制御する為の操作レバーに対して、前記圧力を検出
するセンサの検出情報を基に反発力を与える構成を設け
ることができる。

【００１８】

【作用】遠隔操作制御部７からロボット５の指令情報を
有線回線又は無線回線を介して制御部６に伝送し、制御
部６はその指令情報によるプログラムを用いてロボット
５のハンド１やアーム２の駆動部３を制御し、各種セン
サ４の検出情報を用いて所定の動作を行わせる。又ロボ
ット５の危険回避の為に、応答速度が早いものから順
に、第１，第２，第３の制御構成を設ける。第１の制御
構成は、ロボット５の近傍に設け、ロボット５のハンド
１やアームが他の構造物等に衝突して破損するような危
険区域に移動したような機械的状態変化の検出情報が得
られた時、緊急を要するものであるから、駆動部３の電
源遮断等の直接的な制御により危険回避を行う。又第２
の制御構成は、主として制御部６に設け、例えば、温度
センサの検出情報と許容値とを比較して、温度が許容値
を超えた場合に危険状態と判断し、駆動部３の停止等の
制御を行う。又第３の制御構成は、遠隔操作制御部７に
設け、テレビカメラを含むセンサ４の検出情報を受信
し、テレビカメラからの画像情報を表示部に表示させ
て、ロボット５が危険状態か否かを判断し、又は音響セ
ンサ等からの検出情報を基に異常スペクトラム発生状態
か否かを判断し、危険状態と判断した時に、駆動部３を
停止させるような指令情報を送出する。この第３の制御
構成による危険回避は、伝送遅延等による影響が比較的
少ない制御状態の場合に相当する。

【００１９】又第１の制御構成は、センサ４の中のマイ
クロスイッチ，近接スイッチ，切断用電線等のリミット
センサの検出情報が得られると、ロボット５が危険状態
となった時であるから、駆動部３の電源遮断等により危
険回避を行う。又第２の制御構成は、例えば、位置セン
サの検出情報が危険区域に入ったことを示す場合、圧力
センサの検出情報が所定圧力以上を示す場合、音響セン
サの検出情報が異常スペクトラムを示す場合、振動セン
サの検出情報が異常振動を示す場合等に於いて、ロボッ
ト５が危険状態であると判断し、駆動部３を停止させる
か又は逆方向に移動させて危険回避を行う。又第３の制
御構成は、受信した画像情報や各種の検出情報を基に、
ロボット５が危険状態か否かを判断し、又ロボット５の
動作予測シミュレーションによって危険状態となるか否
かを判断し、危険状態と判断すると、危険回避の指令情
報を送出する。

【００２０】又センサ４の検出情報の周波数スペクトラ
ム又はその時間的変化は、センサ４の種類によっても相
違するが、予め標準的なもの或いはそれらセンサ間の相
関について標準的なものを求めておくことにより、異常
か否かを判断することができる。例えば、特定周波数成
分のレベルが極端に大きくなった場合等は異常と判断す
ることができる。このように異常と判断した場合は、前
述のように、危険回避の制御を行うものである。

【００２１】又正常時に於けるロボット５の各種の作業
種別について、各種のセンサ４の検出情報の周波数スペ
クトラム又はその時間的変化を求め、それを標準とし、
実際にロボット５が作業を行う場合に、各種のセンサの
検出情報の周波数スペクトラム又はその時間的変化を求
めて、作業種別対応の標準と比較することにより、異常
か否かを容易に判断することができる。そして、異常と
判断した時は、ロボット５の危険回避制御を行うことに
なる。

【００２２】又センサ４の中の異なる種類のセンサの検
出情報の相関値は、例えば、音響センサの検出情報は、
ロボット５から空間に放出された音波等を検出したもの
であり、又振動センサの検出情報は、ロボット５の機構
部分を伝播した振動を検出したものであるから、比較的
相関が高いものである。従って、この場合の相関値を用
いることにより、音響センサ又は振動センサの何れか一
方の検出情報のみを用いて異常か否かを判断するよりも
精度が高くなる。更に圧力センサの検出情報を含めて相
互の相関値を求めて異常か否かを判断することもでき
る。

【００２３】又テレビカメラからの画像情報のエッジ抽
出，微分処理，輪郭強調等の処理や高域強調フィルタを
用いた高周波成分が最も大きくなるようにした自動焦点
制御を行うことができる。その場合、焦点合わせ被写体
が近い程、再生画像は鮮明となる。即ち、高周波成分が
大きくなる。従って、高周波成分のレベル又はスペクト
ラムによってテレビカメラを設けたハンドと被写体との
接近距離を判断することができる。そして、ハンドが衝
突するような危険域に移動したことを判断した時に、前
述の場合と同様に危険回避制御を行うことができる。

【００２４】又制御部６から遠隔操作制御部７に伝送す
る情報量は非常に多くなるものであり、そこで、画像情
報に他の各種のセンサの検出情報を重畳して伝送するも
のである。その場合、例えば、テレビスキャンにより得
られた画像情報の時は、その帰線期間に他の各種のセン
サの検出情報を重畳することができる。有効水平走査線
上の一部に重畳することもできる。遠隔操作制御部７
は、画像情報と各種センサの検出情報とを分離し、画像
情報は表示部に加えることにより、ロボット５の状態を
表示することができる。又各種のセンサの検出情報を処
理して、異常状態か否かを判断することができる。

【００２５】又ロボット５を遠隔操作する遠隔操作制御
部７の操作レバーに、ロボット５の動きによって生じる
反力を検出した検出情報を基に反発力を与える。例え
ば、ハンド１により物品を把持した時の把持力に対応す
る反発力を操作レバーに与えることにより、遠隔地のロ
ボット５のハンド１の把持力を実感として認識すること
ができる。

【００２６】

【実施例】図２は本発明の実施例の説明図であり、１１
はロボット、２０は制御部、３０は遠隔操作制御部を示
す。又１２はアーム、１３はハンド、１４は指、１５は
モータ、１６はテレビカメラ、１７はリミットセンサ、
１８は作業対象物、１９は作業台である。又アーム１２
の関節に相当するモータ１５の回転角度を検出する角度
センサや温度上昇を検出する温度センサ、ハンド１３の
位置を検出する位置センサ、指１４の内側の把持力を検
出する圧力センサと指１４の駆動部及び危険区域を定め
るリミットセンサに相当する切断用電線等は図示を省略
している。

【００２７】又２１は制御用計算機、２２は画像処理装
置、２３は合成回路、２４は分離回路、２５は通信装
置、２６は警報回路である。又２７は有線回線又は無線
回線、３１は通信装置、３２は分離回路、３３は指令作
成部、３４は復調回路、３５は警報回路、３６はマスタ
ロボット制御部、３７，３８は表示制御部、３９は操作
卓、４０は画像表示装置、４１は発光ダイオード（ＬＥ
Ｄ）等による点灯表示装置、４２はスペクトラム表示装
置、４３はマスタロボット、ＪＹはジョイスティック等
の操作レバーを示す。

【００２８】この実施例は、マスタロボット４３を遠隔
操作制御部３０側に設け、ロボット１１をスレーブとし
たマスタスレーブ方式の場合を示し、ロボット１１は、
複数のアーム１２を有する多関節型の概略構成を示す。
各アーム１２の関節のモータ１５とハンド１３の指１４
の駆動部とが図１の駆動部３に相当し、又ハンド１３に
取付けたテレビカメラ１６やリミットセンサ１７及びア
ーム１２に取付けたリミットセンサ１７が図１のセンサ
４に相当する。なお、テレビカメラ１６は自動焦点制御
機構を有するもので、ズーム機構や旋回機構等を設ける
こともできる。又ロボット１１全体の状態を観測する為
のテレビカメラを設けることもできる。又ロボット１１
全体をモータ等の駆動部によって移動できる構成とする
こともできる。

【００２９】ロボット１１のセンサの一種としてのテレ
ビカメラからの画像情報ＶＤは、合成回路２３と画像処
理装置２２とに加えられる。この画像処理装置２２は、
画像信号の輪郭強調，微分処理，二値化処理等を行い、
一方、自動焦点機構による画像信号の高周波成分のレベ
ル等によってハンドの近接が異常か否かを判断する為
に、制御用計算機２１に処理結果を入力する。制御用計
算機２１は、分離回路２４により分離された指令情報を
従ったプログラムを用いてロボット１１の制御を行い、
又画像処理装置２２からの画像信号により、被写体まで
の距離や角度を測定し、指令情報との誤差を検出する。
一方、その高周波成分のレベル等によりハンド等の近接
が異常と判断した時に、モータ１５の停止等の危険回避
の制御を行う。又アーム１２，ハンド１３，指１４，モ
ータ１５等に取付けた各種のセンサの検出情報ＳＮは、
制御用計算機２１と合成回路２３と画像処理装置２２と
警報回路２６とに加えられる。合成回路２３は、画像情
報ＶＤの例えば垂直又は水平帰線期間等に検出情報ＳＮ
や制御状態情報ＣＳ等を重畳して合成する機能を有し、
合成信号は通信装置２５から有線回線又は無線回線２７
を介して遠隔操作制御部３０の通信装置３１に伝送され
る。

【００３０】遠隔操作制御部３０は分離回路３２により
画像情報ＶＤとそれ以外の検出情報ＳＮ及び制御情報Ｃ
Ｓとに分離し、画像情報ＶＤは表示制御部３７により画
像表示装置４０に加えられて表示される。又制御状態情
報ＣＳは復調回路３４によりセンサ対応に復調されて点
灯表示装置４１等に加えられる。又ロボット１１の指１
４の内側の圧力センサ等の検出情報がマスタロボット制
御部３６に加えられ、操作卓３９の操作レバーＪＹ等に
反発力が与えられる。それによって、オペレータはロボ
ット１１が作業対象物１８を把持したような場合の力を
感じ取ることができる。又画像表示装置４０とスペクト
ラム表示装置４２とはＣＲＴ（陰極線管）表示装置とす
ることができる。又点灯表示装置４１は発光ダイオード
や小型ランプ等により各部の動作状態や異常状態を表示
するものである。

【００３１】又復調された各種のセンサ対応の検出情報
が警報回路３５に加えられて、周波数分析が行われる。
その分析結果の周波数スペクトラム又はその時間的変化
を基に、ロボット１１の異常の有無を判断し、異常状態
と判断した時は、表示制御部３７を介して画像表示装置
４０に表示されるロボット１１の異常発生個所或いは文
字によって異常発生を表示することができる。又表示制
御部３８によってスペクトラム表示装置４２に周波数ス
ペクトラム又はその時間的変化を表示する。

【００３２】又オペレータは、画像表示装置４０と点灯
表示装置４１とスペクトラム表示装置４２とを観測し、
且つマスタロボット４３の動きを観測しながら、操作卓
３９の操作レバーＪＹ等を操作する。操作卓３９からの
操作情報によりマスタロボット制御部３６はマスタロボ
ット４３を制御する。又マスタロボット４３と遠隔地の
ロボット１１との環境が同一でないことにより、同一の
指令情報によって同一の動作を行わない場合が生じる。
このような点を想定して、動作予測シミュレーションを
行う機能を例えばマスタロボット制御部３６に設けるこ
とができる。そして、そのシミュレーション結果を画像
表示装置４０に表示させ、又危険状態が予測される時
は、指令作成部３３を制御して、ロボット１１の危険回
避の為の指令情報を送出させることができる。

【００３３】指令作成部３３は、マスタロボット制御部
３６によりマスタロボット４３を制御する為の指令情報
と同一の指令情報を作成し、オペレータによる大まかな
指令に基づいた自動的或いはオペレータによる操作卓３
９からの手動的制御入力に従って通信装置３１から有線
回線又は無線回線２７を介して制御部２０の通信装置２
５に伝送する。又警報回路３５により異常状態発生と判
断した時に、その情報により、指令作成部３３は、危険
回避の為のモータ１５を停止させる指令情報を作成し、
通信装置３１から有線回線又は無線回線２７を介して制
御部２０の通信装置２５に伝送する。

【００３４】図３は本発明の実施例の危険回避構成の要
部説明図であり、５１はテレビカメラ、５２は自動焦点
機構等の機構部、５３は距離センサ、５４はアームの関
節に設けたアームモータ、５５は位置センサ、５６はリ
ミットセンサ、５７は温度センサ、５８は音響センサ、
５９はハンドの指を駆動する為の指モータ、６０は位置
センサ、６１はリミットセンサ、６２は圧力センサ、６
３は温度センサ、６４は音響センサ、６５〜７０はスイ
ッチ回路（ＳＷ）、７１は温度処理部、７２は周波数分
析部、７３は照合判断部、７４は標準パターン格納部、
７５は制御用インタフェース部、７６は画像処理部、７
７は制御用計算機、７８は受信指令情報分離部、７９は
通信装置である。

【００３５】テレビカメラ５１は、ハンドと作業対象物
との相対位置を撮像するもの或いはその他のロボットの
動作状態を観測する為に、別に任意数設けられており、
機構部５２は自動焦点機構，ズーム機構，旋回機構等を
含むものである。又距離センサ５３はテレビカメラ５１
が作業対象物等に接近したことを検出する為のものであ
る。又テレビカメラ５１を複数設けた場合は、その中の
１台のテレビカメラを選択する為の切替回路、或いは複
数のテレビカメラからの画像情報をそれぞれ圧縮処理し
て多重化する構成を設けることになる。又アームモータ
５４はアーム対応に複数個設けられ、それぞれに各セン
サやスイッチ回路が配置される。同様に、指モータ５９
も複数個設けられ、それぞれに各センサやスイッチ回路
６５〜７０が設けられている。

【００３６】スイッチ回路６５とリミットセンサ５６又
はスイッチ回路６８とリミットセンサ６１は、ロボット
のアーム及びハンドの機械的状態変化が危険状態を示す
時、即ち、他の構造物に衝突して破損するような危険状
態を検出した時に、スイッチ回路６５，６８を直接的に
制御して、アームモータ５４又は指モータ５９の電源を
遮断して、危険回避を行う第１の制御構成である。この
場合、電源遮断によってアームモータ５４又は指モータ
５９を停止させるものであるが、アームモータ５４又は
指モータ５９を逆方向に回転させてアーム又は指をバッ
クさせることも可能である。

【００３７】又温度センサ５７とスイッチ回路６６又は
温度センサ６３とスイッチ回路６９と温度処理部７１
は、温度処理部７１に於いて温度が許容値を超えたか否
かを判断し、許容値を超えた時に危険状態と判断して、
スイッチ回路６６，６９によってアームモータ５４又は
指モータ５９の電源を遮断し、危険回避を行う第２の制
御構成である。又音響センサ５８とスイッチ回路６７又
は音響センサ６４とスイッチ回路７０と周波数分析部７
２は、周波数分析部７２に於いて検出情報の周波数分析
を行い、その結果の周波数スペクトラム又はその時間的
変化が異常であるか否かを判断し、異常であると判断し
た時に、スイッチ回路６７，７０を制御してアームモー
タ５４又は指モータ５９の電源を遮断し、危険回避を行
う第２の制御構成である。

【００３８】周波数分析部７２は、フーリェ変換機能或
いは中心周波数がそれぞれ異なる複数のフィルタを備え
たフィルタバンクにより構成することができ、それによ
って音響センサ５８，６４の検出情報の周波数分析を行
い、その結果の周波数スペクトラム又はその時間的変化
と、ロボットの作業種別に対応して予め求めて標準パタ
ーン格納部７４に格納しておいた標準の周波数スペクト
ラム又はその時間的変化のパターンとを、照合判断部７
３に於いて照合し、異常であるか否かを判断し、異常で
あると判断した時に、危険回避の為にスイッチ回路６
７，７０を制御するものである。

【００３９】又音響センサ５８，６４と同様に振動セン
サを設け、アームやハンドに於いて発生する振動を検出
し、その検出情報を周波数分析し、その結果の周波数ス
ペクトラム又はその時間的変化について異常であるか否
かを判断し、又は標準のパターンと照合して異常である
か否かを判断することもできる。又音響センサ５８，６
４の検出情報と振動センサの検出情報との相関値を求
め、又は周波数分析結果の周波数スペクトラム或いはそ
の時間的変化の相関値を求め、その相関値を基に異常か
否かを判断することもできる。又圧力センサ６２の検出
情報を含めた相関値を求めて異常か否かを判断すること
もできる。

【００４０】又位置センサ５５，６０と圧力センサ６２
との検出情報は、制御用インタフェース部７５を介して
制御用計算機７７に加えられ、指令情報に従った位置に
移動したか否かを判断し、又指令情報に従った把持力で
作業対象物を把持したか否かを判断し、判断結果に対応
してアームモータ５４又は指モータ５９を制御するもの
である。又テレビカメラ５１からの画像情報と、他のセ
ンサの検出情報とは、制御用インタフェース部７５を介
して画像処理部７６に加えられ、画像情報に他のセンサ
の検出情報が合成回路８０により重畳されて通信装置７
９を介して遠隔操作制御部に伝送される。

【００４１】又図２に於けるロボット１１と制御部２０
と遠隔操作制御部３０とを含め、遠隔操作制御部３０に
於ける判断処理によってロボット１１の危険回避制御を
行う構成が第３の制御構成であり、画像表示装置４０の
表示内容やスペクトラム表示装置４２の表示内容及びマ
スタロボット４３の動作を観測したオペレータの判断を
含めて、ロボット１１の危険回避の制御を行うことにな
る。

【００４２】前述のように、リミットセンサを含む第１
の制御構成によってロボット１１の衝突等の機械的状態
変化の場合の迅速な危険回避が可能となり、又各種のセ
ンサの検出情報の分析や照合比較等による処理判断を行
う第２の制御構成によって、ロボット１１の異常状態を
判断した時に、自律的に危険回避を行うことができるか
ら、伝送遅延等による制御遅れが生じることなく、危険
回避が可能となる。又遠隔操作制御部３０を含む第３の
制御構成は、大規模な判断処理機能を備えた構成とする
ことができるから、動作予測等により危険状態とならな
いように先行制御が可能となる。又第１，第２の制御構
成が充分に作用しない場合でも、第３の制御構成によっ
て確実にロボット１１の危険回避の制御が可能となり、
システムの信頼性を向上することができる。

【００４３】図４は本発明の実施例のロボット制御系の
説明図であり、８１は作業対象物等を撮像するテレビカ
メラ、８２はハンドや指の駆動部と各種センサを含むハ
ンド・指駆動・検出部、８３はアームの関節の駆動部や
各種センサを含むアーム駆動・検出部、８４は駆動増幅
器、８５はサーボ系指令信号発生部、８６は制御用計算
機、８７は合成分離部、８８は通信装置、８９，９０は
加算器、９１は処理判断部、９２はハンド及びアームの
リミットセンサ、９３はリミットセンサ処理判断部、９
４は電源スイッチである。

【００４４】遠隔操作制御部から伝送されて通信装置８
８で受信した指令情報は、合成分離部８７を介して制御
用計算機８６に加えられ、制御用計算機８６は指令情報
に従った移動経路の算出等を行い、主経路情報を出力す
る。この主経路情報は、ハンド・指駆動・検出部８２の
位置センサ等の検出情報によって加算器９０に於いて補
正されてサーボ系指令信号発生部８５に加えられ、アー
ムの各関節についての指令信号が出力される。この指令
信号は、アーム駆動・検出部８３の位置センサ，角度セ
ンサ等の検出情報によって加算器８９に於いて補正され
て、駆動増幅器８４に加えられ、駆動増幅器８４により
アーム駆動・検出部８３のモータ及びハンド・指駆動・
検出部８２のモータが駆動される。

【００４５】ハンド及びアームの何れかが衝突等の危険
区域に移動すると、ハンド及びアームの何れかのリミッ
トセンサ９２が動作し、電源スイッチ９４を制御して、
駆動増幅器８４の動作電源を遮断し、ロボットの危険回
避を行う。即ち、リミットセンサ判断処理部９３を含む
第１の制御構成により、直接的に危険回避を行うことに
なる。

【００４６】又テレビカメラ８１からの画像情報と、ハ
ンド・指駆動・検出部８２の各種センサの検出情報と、
アーム駆動・検出部８３の各種センサの検出情報とが、
処理判断部９１に加えられ、温度センサ及び圧力センサ
の検出情報については許容値を超えたか否かにより異常
か否かの判断が行われ、又音響センサや振動センサの検
出情報については周波数分析による周波数スペクトラム
やその時間的変化により異常か否かの判断が行われる。

【００４７】そして、異常と判断した時に迅速な制御が
必要な場合は駆動増幅器８４に危険回避信号を加え、モ
ータを停止させるか又は逆方向に回転させる。又サーボ
系指令信号発生部８５に危険回避信号を加えて、モータ
を停止させるか又は逆方向に回転させる指令信号を出力
させる。又制御用計算機８６に危険回避信号を加えると
同時に、制御用計算機８６から合成分離部８７，通信装
置８８を介してオペレータに知らせる適切な指示情報を
出力させる。即ち、第２の制御構成によって危険回避を
行うものである。

【００４８】従って、危険回避の応答優先度は、第１の
制御構成が最も高く、次に第２の制御構成に於ける駆動
増幅器８４による危険回避制御、次にサーボ系指令信号
発生部８５による危険回避制御、次に制御用計算機８６
による危険回避制御の順序となり、第３の制御構成によ
る危険回避の応答優先度が最も低くなる。

【００４９】図５は本発明の実施例のセンサの検出情報
多重化説明図であり、ロボットのアームやハンド等に取
付けた圧力センサ等の各種のセンサＳＮ１〜ＳＮｎの検
出情報は、それぞれサンプルホールド回路ＳＨ１１〜Ｓ
Ｈ１ｍ〜ＳＨｎ１〜ＳＨｎｍに於いてサンプリング制御
部９８からのサンプリングパルスｓｐによってサンプル
ホールドされ、マルチプレクサ９５により、テレビカメ
ラ９７からの画像信号と多重化され、ＡＤ変換器（Ａ／
Ｄ）９６によりディジタル信号に変換され、図示を省略
した通信装置により遠隔操作制御部に伝送される。

【００５０】この実施例は、各センサＳＮ１〜ＳＮｎに
対してそれぞれ複数個のサンプルホールド回路ＳＨ１１
〜ＳＨ１ｍ〜ＳＨｎ１〜ＳＨｎｍを設け、検出情報の送
出周期に比較して短い周期で順次サンプルホールドする
必要がある場合に相当する。なお、検出情報の送出周期
でサンプルホールドすれば良い程度の比較的最高周波数
が低い検出情報の場合は、センサ対応の各サンプルホー
ルド回路を省略し、マルチプレクサ９５を介してＡＤ変
換器９６に加えてディジタル信号に変換する構成とする
ことができる。

【００５１】又サンプリング制御部９８は、テレビカメ
ラ９７の垂直同期信号ＶＳ等に同期して、サンプルホー
ルド回路ＳＨ１１〜ＳＨ１ｍ〜ＳＨｎ１〜ＳＨｎｍに順
次加えるサンプリングパルスｓｐを出力し、又マルチプ
レクサ９５に加える選択制御信号を出力し、又ＡＤ変換
器９６に加えるサンプリングパルスを出力する。

【００５２】図６は本発明の実施例の多重化動作の説明
図であり、（ａ）は垂直同期信号ＶＳ、（ｂ）は多重化
期間信号、（ｃ），（ｄ），（ｅ）はマルチプレクサ９
５に加える選択制御信号、（ｆ）は多重化信号を示す。
例えば、センサＳＮ１の検出情報は、順次発生する所定
の周期のサンプリングパルスｓｐによりサンプルホール
ド回路ＳＨ１１〜ＳＨ１ｍに於いて順次サンプルホール
ドされる。

【００５３】そして、垂直同期信号ＶＳに同期し、遅延
時間ｔｄ後の多重化期間ｔｓに於いて、マルチプレクサ
９５に加えられる（ｃ），（ｄ），（ｅ）に示す選択制
御信号によってサンプルホールド回路ＳＨ１１〜ＳＨ１
ｍのサンプルホールド出力信号は、マルチプレクサ９５
を介してＡＤ変換器９６に加えられ、ディジタル信号に
変換されて送出される。

【００５４】多重化期間ｔｓ後の期間ｔｖに於いては、
テレビカメラ９７の画像信号がマルチプレクサ９５を介
してＡＤ変換器９６に加えられてディジタル信号に変換
される。従って、（ｆ）に示すように、多重化期間ｔｓ
にはセンサの検出情報、次の期間ｔｖには画像情報がそ
れぞれ配置された状態で伝送される。この多重化期間ｔ
ｓは、垂直帰線期間内に設定するのが一般的であるが、
遠隔操作制御部の画像表示装置の再生画像に余り影響を
与えない場合が多いから、有効水平期間内に設定するこ
とも可能である。又多重化期間ｔｓ内に複数のセンサの
検出情報を順次多重化することも、又比較的高速な音響
信号等は、水平同期信号毎の水平走査帰線期間内に設定
して伝送することも可能である。

【００５５】又テレビカメラ９７の１画面を、２５６×
２５６の画素構成とし、１画素を４ビットでディジタル
化し、５Ｍｂｐｓの伝送速度で伝送する場合、約１９枚
／秒の枚数の画面を伝送することができる。更に帯域圧
縮処理を施せば、数倍の枚数の画面を伝送することも可
能である。又センサの検出情報をディジタル化した時
に、４ビット単位で処理することにより、画像信号の画
素対応の処理で伝送することができるから、更に多数の
センサの検出情報を容易に遠隔操作制御部に伝送するこ
とができる。

【００５６】図７は本発明の実施例のスペクトラムによ
る異常判断説明図であり、横軸を周波数、縦軸を強度と
して示し、点線Ｂの周波数スペクトラムの強度を警報レ
ベル、太線Ｃの周波数スペクトラムの強度を停止レベル
とした場合を示す。例えば、図３の周波数分析部７２に
於いて音響センサ５８，６４，圧力センサ６２，位置セ
ンサ５５，６０の検出情報の周波数分析を行い、その分
析結果の周波数スペクトラムが実線Ａに示すものであ
り、又標準パターン格納部７４に格納された標準パター
ンを点線Ｂ及び太線Ｃの周波数スペクトラムであるとす
ると、照合判断部７３に於いては、正常であると判断す
ることになる。

【００５７】そして、検出情報の周波数スペクトラムの
強度が点線Ｂの周波数スペクトラムの強度を超えると、
照合判断部７３は制御用インタフェース部７５を介して
制御用計算機７７に警報信号を送出し、又その警報信号
は画像処理部７６に於いてテレビカメラ５１の画像信号
に重畳されて遠隔操作制御部に、通信装置７９から伝送
される。又太線Ｃの周波数スペクトラムの強度を超える
と、照合判断部７３は直接或いは周波数分析部７２を介
してスイッチ回路６７，７０を制御して、アームモータ
５４又は指モータ５９の電源を遮断して危険回避を行う
ことになる。

【００５８】前述の点線Ｂ及び太線Ｃの標準の周波数ス
ペクトラムは、ロボットの作業種別によって異なるパタ
ーンとなる場合が多いから、ロボットの作業種別対応に
予め標準の周波数スペクトラムを作成して、標準パター
ン格納部７４に格納し、遠隔操作制御部からの指令情報
から作業種別を識別し、その作業種別に対応した標準の
周波数スペクトラムを読出して、照合判断部７３に於い
て異常か否かを判断することができる。

【００５９】又遠隔操作制御部に於いても、制御部を介
して受信した各種センサの検出情報の周波数分析を行
い、異常か否かを判断するものであり、図２の警報回路
３５に於いてこのような処理を行うことができる。その
周波数分析結果又は照合判断結果をスペクトラム表示装
置４２に表示するか或いは図７に示すような周波数スペ
クトラムを表示することができる。

【００６０】本発明は、前述の実施例にのみ限定される
ものではなく、種々付加変更することができるものであ
り、例えば、リミットセンサとして、ロボットの動作範
囲を規定する位置に張り巡らした切断用電線を用いて、
第１の制御構成を実現することも可能である。又マスタ
スレーブ方式以外のロボットの制御方式にも本発明を適
用することができるものである。

【００６１】

【発明の効果】以上説明したように、本発明は、ロボッ
ト５の機械的状態変化が危険状態を示す時のリミットセ
ンサ等のセンサ４の検出情報により、関節モータ等の駆
動部３を直接的に制御する第１の制御構成によって危険
回避を迅速に行い、又温度センサや音響センサ等の検出
情報を処理して、ロボット５が危険状態か否かを判断
し、危険状態と判断した時に駆動部３を制御する第２の
制御構成によって危険回避を行い、又テレビカメラを含
む各種のセンサ４の検出情報を制御部６を介して遠隔操
作制御部７に伝送し、この遠隔操作制御部７に於いて判
断処理した結果により制御する第３の制御構成によっ
て、ロボット５の危険回避を行うものであり、危険回避
の為の応答優先度をロボット５に近い制御機能程高くす
ることができるから、伝送遅延等による影響を受けるこ
となく、迅速な危険回避が可能となり、且つ最終的には
第３の制御構成に於いて、未来予測型シミュレーション
やオペレータの判断を加味することができるから、信頼
性の高いシステムを構築することがてきる利点がある。

【００６２】又第２又は第３の制御構成に於いて、セン
サ４の検出情報の周波数分析の結果を基に異常か否かを
判断することができ、完全に危険な状態と、その前の警
報状態との判別も可能となるから、適切な危険回避の制
御が可能となる。又作業種別に対応した標準の周波数ス
ペクトラムやその時系列と検出情報の周波数スペクトラ
ムもその時系列とを照合判断する場合は、各種の異なる
作業を行うロボット５に対して常に最適な監視を行うこ
とが可能となる。

【００６３】又人工衛星上等の地上から離れた位置のロ
ボットに対しても高い安全性を得て容易に制御が可能と
なり、その場合の遠隔操作制御部７に於いては画像情報
を表示することにより、ロボット５の動作状態を監視で
きるものであるが、その画像信号に多数の各種センサ４
の検出情報を重畳して伝送することにより、複数チャネ
ルを用いることなく、容易に制御部６と遠隔操作制御部
７との間で通信を行うことができる。

【００６４】各種のセンサ４の検出情報を遠隔操作制御
部７に伝送することが可能となるから、ロボット５のハ
ンドの把持力等の圧力センサの検出情報を受信した遠隔
操作制御部７に於いて、操作レバーの反発力に変換して
与えることにより、オペレータは把持力等を実際に感じ
取ることができる。

【図面の簡単な説明】

【図１】本発明の原理説明図である。

【図２】本発明の実施例の説明図である。

【図３】本発明の実施例の危険回避構成の要部説明図で
ある。

【図４】本発明の実施例のロボット制御系の説明図であ
る。

【図５】本発明の実施例のセンサの検出情報多重化説明
図である。

【図６】本発明の実施例の多重化動作の説明図である。

【図７】本発明の実施例のスペクトラムによる異常判断
説明図である。

【符号の説明】

１ハンド２アーム３駆動部４センサ５ロボット６制御部７遠隔操作制御部

Claims

【特許請求の範囲】

【請求項１】物品を把持する為のハンド（１）と、該
ハンド（１）を支持するアーム（２）と、前記ハンド
（１）及び前記アーム（２）を機械的に駆動する駆動部
（３）と、各部の状態を検出するテレビカメラを含む複
数種類のセンサ（４）とを有するロボット（５）と、指令情報によるプログラムと前記センサ（４）の検出情
報とを用いて前記ロボット（５）を制御する制御部
（６）と、該制御部（６）を介して前記センサ（４）の検出情報を
受信し、且つ前記制御部（６）に前記指令情報を送出す
る遠隔操作制御部（７）とを備えた知能ロボットシステ
ムに於いて、前記ロボット（５）の機械的状態変化が危険状態を示す
時の前記センサ（４）の検出情報により、前記駆動部
（３）を直接的に制御して危険回避を行う第１の制御構
成と、前記センサ（４）の検出情報の処理判断により前記ロボ
ット（５）が危険状態か否かを判断し、危険状態と判断
した時に前記駆動部（３）を制御して危険回避を行う第
２の制御構成と、前記センサ（４）の検出情報を前記制御部（６）を介し
て受信した前記遠隔操作制御部（７）に於いて、前記検
出情報を基に前記ロボット（５）が危険状態か否かを判
断し、危険状態と判断した時に前記駆動部（３）を制御
して危険回避を行わせる指令情報を送出する第３の制御
構成とを設けたことを特徴とする知能ロボットシステ
ム。
【請求項２】前記センサ（４）の中のリミットセンサ
により前記ロボット（５）の機械的状態変化が危険状態
であることを検出した時に、前記駆動部（３）を直接的
に停止或いは逆方向に移動させる危険回避制御を行う第
１の制御構成と、前記センサ（４）の中の位置センサ，
温度センサ，圧力センサ，音響センサ，振動センサ等の
各種センサの検出情報を処理して危険状態を示すもので
あるか否かを判断し、危険状態を示すものと判断した時
に、前記駆動部（３）を停止或いは逆方向に移動させる
危険回避制御を行う第２の制御構成と、前記センサ
（４）の検出情報を受信した前記遠隔操作制御部（７）
に於いて、前記センサ（４）の中のテレビカメラからの
画像情報及び他の各種のセンサの検出情報を基に、又は
前記ロボット（５）の動作予測シミュレーションにより
前記ロボット（５）が危険状態か否かを判断し、危険状
態と判断した時に、危険回避の為の指令情報を送出する
第３の制御構成とを備えたことを特徴とする請求項１記
載の知能ロボットシステム。
【請求項３】前記第２及び第３の制御構成は、前記セ
ンサ（４）の中の位置センサ，温度センサ，圧力セン
サ，音響センサ，振動センサ等の各種のセンサの検出情
報の周波数分析を行い、該周波数分析により得られた周
波数スペクトラム又は該周波数スペクトラムの時間的変
化について異常か否かを判定し、異常と判定した時に、
前記ロボット（５）の危険回避制御を行う構成を含むこ
とを特徴とする請求項１又２記載の知能ロボットシステ
ム。
【請求項４】前記第２及び第３の制御構成は、前記セ
ンサ（４）の中の位置センサ，温度センサ，圧力セン
サ，音響センサ，振動センサ等の各種のセンサの検出情
報の周波数分析を行い、該周波数分析により得られた周
波数スペクトラム又は該周波数スペクトラムの時間的変
化について、前記ロボット（５）の作業種別対応の予め
求めた標準の周波数スペクトラム又は該周波数スペクト
ラムの時間的変化のパターンと照合して異常か否かを判
定し、異常と判定した時に、前記ロボット（５）の危険
回避制御を行う構成を含むことを特徴とする請求項１又
は２又は３記載の知能ロボットシステム。
【請求項５】前記第２及び第３の制御構成は、前記セ
ンサ（４）の中の異なる種類のセンサのそれぞれの検出
情報の相互の相関値を求め、該相関値が異常な変化を示
す時に、前記ロボット（５）が危険状態と判断して、危
険回避制御を行う構成を含むことを特徴とする請求項１
記載の知能ロボットシステム。
【請求項６】前記第２の制御構成は、前記センサ
（４）の中のテレビカメラからの画像情報の高周波成分
が最も大きくなるように前記テレビカメラの自動焦点制
御を行い、前記高周波成分のレベル又はスペクトラムに
よって接近距離を判断し、危険域に移動したと判断した
時に、危険回避制御を行う構成を含むことを特徴とする
請求項１記載の知能ロボットシステム。
【請求項７】前記制御部（６）に、前記センサ（４）
の中のテレビカメラからの画像情報に他のセンサの検出
情報を重畳して、前記制御部（６）から前記遠隔操作制
御部（７）に送出する送出部を設け、前記遠隔操作制御
部（７）に、前記制御部（６）から受信して前記画像情
報と前記他のセンサの検出情報とを分離し、前記画像情
報を画像表示部に表示させる受信部を設けたことを特徴
とする請求項１記載の知能ロボットシステム。
【請求項８】前記ロボット（５）の動作に於いて受け
る把持力等の圧力を検出するセンサの検出情報を、前記
センサ（４）の中のテレビカメラからの画像情報に重畳
して前記制御部（６）から前記遠隔操作制御部（７）に
伝送し、該遠隔操作制御部（７）の前記ロボット（５）
を制御する為の操作レバーに対して前記圧力を検出する
センサの検出情報を基に反発力を与える構成を設けたこ
とを特徴とする請求項１記載の知能ロボットシステム。