JPH01131904A - ロボット操作支援システム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明はロボット操作支援システムに係り、特に高度な
知的処理装置の支援のもとで簡単な操作手段により短時
間でロボットに動作を与えるためのオンラインロボット
操作支援システムに関する。

〔従来の技術〕

従来、ロボットに動作を与える方法としては、ロボット
の制御装置に連結されたティーチング・ボックスや人間
の手によって実際のロボットを動かしながら位置を記憶
させておき、それらを順次読み出すことにより動作させ
るダイレクトティーチ方式、ロボット、言語などにより
プログラムの形で動作を記述し、これにより動かす方式
、あるいは操縦用のアーム（マスタアーム）を備え、こ
れとロボットの動きを連動させることによりロボットを
動かすマスタ・スレーブ方式によるもの（東芝　橋本ほ
か：　「双腕マスタスレーブマニピュレータの開発」、
第４回日本ロボット学会予稿集、Ｐ７３−８０．１９８
６など）がある。また、計算機を用いて操作するもので
は、計算機の画面上に表示されたロボットをマスタアー
ムとして操作するもの（電総研　松井、塚本：　「ロボ
ット用マルチメディアデイスプレィＪ、第４回日本ロボ
ット学会予稿集、ｐ２８７−２８８．１９８６．特開昭
６１−７９５８９など）、画面上のロボットに対してダ
イレクトティーチのような形で教示を行うもの（特開昭
６ｌ−１７７５７８）、画面上に作業対象物の図面を表
示させ、そこに座標値などにより指定された点をもとに
位置・姿勢を計算するもの（特開昭６１−１９９１０８
、特開昭６Ｏ−９７４０９）がある。

〔発明が解決しようとする問題点〕

ところが、上記従来技術には次のような問題点がある。

まず、ダイレクトティーチ方式では−っの動作を与える
ために多くの位置を教示する必要があり、かつそれぞれ
の位置を正確に与える必要があるため教示に多大の手間
と時間を要する。

また、ロボット言語による方法では文字と数値によって
動作を記述するため、実際のロボットの動きを想像しに
くく、かつ言語の文法や座標系の取り決め、座標系の変
換手順などを熟知している必要があり、目的の動作を与
えるために高度な知識と思考を必要とする。

一方マスク・スレーブ方式では簡易に動作を与えること
ができるが、人間の手の動きがそのままロボットの動き
となるため失敗が許されない。また、精密な位置合わせ
を含む動作を行わせる場合。

操作者は十分な注意を払わねばならず、操作に熟練を要
する。

これに対し、計算機を用いてロボットを操作するもので
は、教示された動作を画面上に再現し。

その動作を確認するシミュレーションの機能を備えたも
のは多くみられる。しかし、動作を与える機能としては
教示用のロボットやマスク・アームを画面上のロボット
で置き換えただけのものが多く、正確な位置や細かい動
きを何等かの形で与えなければならない点は改善されて
いない。また、動作のシミュレーションについては、与
えられた動作データの通りにロボットが動いた場合の動
きを再現するものであり、ロボットの重量や把持物体の
重さによる慣性力の影響などを考慮した正確な動作の再
現をするものはない。

本発明は、かかる従来の問題点に鑑みてなされたもので
、その目的は、正確な位置や細かい動きを与える必要な
く、目的の動作を簡単で分かりやすい手段により短時間
に与えることができると共に、更には実際にロボットを
動かす前に慣性力の影響も含めた正確なロボットの動作
を再現し、ロボットを安全に操作することのできるロボ
ット操作支援システムを提供することにある。

〔問題点を解決するための手段〕

上記目的を達成するために本発明は、ロボット、文字人
力手段１位置入力手段、グラフィックス表示装置からな
るロボット操作システムにおいて、文字入力手段により
入力される作業名とグラフィックス画面に表示され、位
置入力手段と連動する画面上のロボットの操作から操作
者の作業意図を判断し、順次必要な参照点を表示し、か
つ作業意図に即した作業メツセージを生成する作業解釈
装置と、生成された作業メツセージをロボット機構の駆
動に適した動作データに変換し、実際のロボットに渡す
動作生成装置と、上記作業解釈装置と動作生成装置に必
要な情報を供給する作業環境地図と作業知識とを備えた
構成としたものである。

また本発明は、動作生成装置からロボットに動作データ
を渡す途中に切り換えスイッチを設け、実際にロボット
を駆動する前に動力学シミュレータによるシミュレーシ
ョンを行い、その結果を上記グラフィックス画面に表示
し動作の妥当性を確認する手段を僅えたことを望ましい
構成とするものである。

〔作用〕

かかる構成においては、人間とロボットとの間に動作で
はなく作業（ある目的を達成するための−まとまりの動
き）のレベルで人間の操作要求を解釈する作業解釈装置
が設けられ、それにより解釈された作業内容を具体的な
動作データに変換する動作生成装置が設けられる。また
、それらの装置に必要な情報を与えるための作業環境地
図と作業知識が用意される。したがって、動作ではなく
作業のレベルで指示することができるので、人間は細か
い動作を考えることなく作業の要点をロボットに与える
だけで、ロボットを動かすことが可能となる。

また、望ましい構成の組合せによれば、動力学のシミュ
レーションを行うシミュレータが設けられ、生成された
動作データをロボットに渡す前にこのシミュレータによ
る動作のシミュレーションが行われ、動作が確認される
。したがって、動力学のシミュレーションによりロボッ
トや把持物体の慣性力も考慮した動きを事前に見ること
が可能となる。

〔実施例〕

以下、本発明の実施例を図について説明する。

なお、第１図は本発明の一実施例の全体構成を示す図、
第２図は画面上のカーソルの動きを説明する図、第３図
は作業指示の入力手順を説明する図。

第４図（ａ）　、　（ｂ）　、　（ｃ）　、　（ｄ）は
作業指示の入力と共に変化するグラフィックス表示装置
の画面を説明する図、第５図は作業知識の中身を説明す
る図である。

第１図において、１は作業環境地図で、この中にはこの
システムで操作されるロボットの構造情報１０１と性質
情報１０２、及びロボットが作業する環境に存在する作
業対象物、障害物などの物体の構造情報１０３と性質情
報１０４が記憶されている。２はグラフィックスの表示
装置であり、ロボットや物体の構造情報１０１，１０３
をもとにそれらが作業環境地図１に指定された形で３次
元的に配置されている様子をある視点から見た透視投影
変換像として表示する。この視点は、４の文字入力手段
により与えられるコマンドによって変えることができる
。３はマウス、ジョイスティックなどによる位置の入力
手段であり、表示装置２の画面上には第４図（ａ）に示
されるように位置入力手段３により入力される位置情報
と連動するカーソル２０２が表示される。このカーソル
２０２は位置入力手段３により与えられる位置情報によ
り決まる作業環境地図中での３次元座標位置に描かれた
正方形のような目印の透視投影変換像として表示される
。また、表示装置２の画面上のロボット２０１は、カー
ソル２０２の位置をグリッパの先端位置として逆変換の
手法により計算される関節角による姿勢で表示され、結
果的にあたかも位置入力手段３と連動して動くように表
示される。この時１０１の構造情報の中の関節角値もロ
ボット２０１の動きと共に書き換えられる。

３次元上の位置・姿勢に関してロボットに冗長な自由度
がある場合には、位置入力手段３による動きに対して一
部のパラメータを変換させ、残りはコマンドにより変更
したり、変化するパラメータを切り替えることにより対
処する。カーソル２０２の位置がロボットの可動範囲を
越える場合は、カーソル２０２がそれ以上その外に動か
ないよう表示される。

位置入力手段３としては３次元の位置を入力できるもの
が適するが、マウスのような２次元の入　　　　□力装
置を考えた場合、カーソル２０２は２次元位置情報から
の３次元入力を可能とするため、例えば第２図のように
その時点でカーソル２０２が動くことのできる拘束平面
内に含まれる正方形の透視投影変換像として表示され、
位置入力手段３上に設けられたボタンなどの入力により
、拘束平面がｘＺ平面からＸＹ平面へというように変化
する。

また、この拘束平面の変化によるカーソル形状の変化に
より操作者は拘束平面を空間的に知覚することができる
。

文字入力手段４は表示装置２や作業解釈装置５にコマン
ドや作業名を与える機能を果すものであればよい。従っ
て、キーボードのようなボタンが配置された装置であっ
てもよいし１表示装置２の画面上に表示されたメニュー
の中から位置入力手段３により選択するものでもよい。

作業解釈装置５は文字入力手段４により与えられる作業
名に対して１作業知識６に記憶されてぃるその作業に関
する作業解釈知ｉａ　６０１に従って作業を行う際に操
作者が指定すべき参照点を求め、その具体的な３次元位
置座標を作業環境地図１を利用して求め適宜表示装置２
の画面に表示したり。

作業指示が完了した段階でその作業指示に対応した作業
メツセージを動作生成装置７へ渡す処理を行う。

動作生成装置７は作業解釈装置５により与えられた作業
メツセージから作業環境地図１と作業展開知識６０２を
利用してロボットを駆動できる具体的な動作データを生
成する。

切り替スイッチ８は上記動作データにより実際のロボッ
ト１０を動作させる前に動力学シミュレータ９によるシ
ミュレーションを実行する時に、動作データをシミュレ
ータの方へ渡すためのものである。

動力学シミュレータ９は作業環境地図１に記憶されてい
るロボットの構造情報１０１と性質情報１０２の中の重
量、慣性モーメントなどを利用して運動方程式を解くこ
とにより、動作生成装置７から与えられる動作データに
より動いた場合の力学的要素も考慮した振舞いをシミュ
レートし、その結果を表示装置２の画面上にロボット２
０１の動きとして表示する。

次に、本実施例による装置を用いてロボットを操作する
手順について第３図、第４図を用いて具体的に説明する
。

まず、表示装置２は作業環境地図１の物体の構造情報１
０３を用いて画面上に物体２０３゜２０４．２０５を表
示し、位置入力手段３より与えられる位置とロボットの
構造情報１０１によりロボット２０１とカーソル２０２
を表示する。そして、作業環境地図１の現在の状態を保
持するためスタック領域１０５にロボットや物体の構造
情報１０１，１０３の内容を複製しておく。操作者はこ
の画面を見てロボットに行わせるべき作業を決め、その
作業基を文字入力手段４により入力する。今１画面が第
４図（ａ）のようであったとし、ロボットに行わせるべ
き作業がボルト２０３を部品２０４へ取り付けることで
あったとする。

操作者は文字入力手段４により「運搬」を意味する作業
基ＣＡＲＲＹを作業解釈装置５へ入力する。

作業解釈装置５は第５図に示すような作業解釈知識６０
１の中からＣＡＲＲＹに関する記述６１１を探し、その
記述により各物体のＧＲＡＳＰ　ＰＯＩＮＴの位置を表
示装置２の画面上にマーク２０６で表示する（第４図（
ｂ））　、このＧＲＡＳＰ　ＰＯＩＮＴは物体をその位
置でつかむことができることを意味し、物体の性質情報
１０４により求められる。具体的な求め方としては１例
えば物体の性質情報１０４にボルトは六角柱と円柱から
できていることを記述し、ロボットのグリッパが最大に
開ける幅より小さい幅を有する角柱があれば、その角柱
の部分でつかむことができるというような規則を作業知
識６の中に用意することにより求めることができる。あ
るいは、最も簡単な方法としてＧＲＡＳＰ　ＰＯＩＮＴ
の具体的な位置を１０４の性質情報として記述しておい
てもよい。

操作者は表示されたマークの中からボルトのＧＲＡＳＰ
　ＰＯＩＮＴの近くに位置入力手段３を用いてカーソル
２０２を近付け、位置入力手段３上のボタンか文字入力
手段４により作業解釈装置５に合図を与える。この時カ
ーソル２０２とカーソルが完全に一致している必要はな
く１合図が与えられた時点でカーソル２０２よりある距
離以内にあるマークのうちで最も近い位置にあるマーク
が選択されたと判断する。これにより作業解釈装置５は
操作者がボルトを選んだことを判断し、そのＧＲＡＳＰ
ＰＯＩＮＴの位置にカーソル２０２を一致させ、他のマ
ークを消去すると同時にボルトの色を変えてボルトが選
択されたことを操作者に伝える。さらに作業解釈装置５
は作業環境地図１のロボットや物体の構造情報１０１，
１０３をボルトが床面から離れロボットのグリッパに把
持されている状態に書き換える。従って、これ以後画面
上でカーソル２０２を動かすとロボットだけでなくボル
トもロボットのグリッパに伴って動くように表示される
。

次に６１１の記述により操作者はボルトを運ぶ途中の経
路（ＰＡＴＨ）をいくつかの点で指定することができる
。この指定はカーソル２０２を適当な位置に持って行き
、そこで作業解釈装置５に合図を与えることにより、そ
の位置が経路点として登録される（第４図（Ｃ））。そ
して経路点指定の終了を意味する合図を作業解釈装置５
に与えることにより経路点の指定は終了する。操作者が
経路点の指定を必要としない場合は始めから経路点終了
の合図を与えれば良い。

最後に作業解釈装置５は６１１の残りの記述によりＰＬ
ＩＴ　ＰＯＩＮＴを物体の性質情報１０４から求め画面
上にマーク２０７で表示する。ＰＵＴ　ＰＯＩＮＴはボ
ルトを置ける場所、あるいは取り付けられる場所を意味
する。作業解釈装置５はロボットの構造情報１０１によ
りその時点でロボットがボルトを把持していることがわ
かるので、他の様々な物体に対するＰＵＴ　ＰＯＩＮＴ
のうちボルトに関するもののみを求めて表示する（第４
図（ｄ））。

操作者はマークの中から目的の部品の取り付は場所のＰ
ＵＴ　ＰＯＩＮＴへカーソル２０２を近付は作業解釈装
置５に合図を送る。作業解釈装置５は前と同様の手順に
より取り付は位置を判断し、ボルトをその位置に一致さ
せ、ボルトの色をもとに戻す。

さらに作業環境地図１のロボットや物体の構造情報１０
１，１０３をボルトがグリッパから離れ、取り付は位置
に固定されている状態に書き換える。

そのためにこれ以後カーソル２０２の動きに対してロボ
ット２０１のみが画面上で動くようになり。

ボルトは取り付は位置に固定されて表示される。

以上の処理が終ると作業解釈装置５は作業名ＣＡＲＲＹ
、ボルトとそのＧＲＡＳＰ　ＰＯＩＮＴが情報として結
びつけられているシンボルｏｂｊ　１、ボルトが取り付
けられる部品とそのＰＵＴ　ＰＯＩＮＴが情報として結
びつけられているシンボルｏｂｊ　２、及び経路点の情
報が結び付けられているシンボルｐａｔｈからｃａｒｒ
ｙ　（ｏｂｊ　１　、　ｐａｔｈ、　ｏｂｊ　２　）の
ような作業メツセージを生成し動作生成装置７へ転送す
る。動作生成装置７は作業解釈装置５より作業メツセー
ジを受は取るとスタック１０５により作業環境地図を第
３図３２の状態に戻す、そして第５図に示すような作業
展開知識６０２の中からｃａｒｒｙに関する記述を探し
、ｃａｒｒｙ（Ａ、　Ｐ、　Ｂ）をｔａｋｅ（Ａ）とｐ
ａｔｈ（ｐ）　、　ｐｕｔ（Ｂ）に展開する。この時、
引き数ＡとＢにはシンボルｏｂｊ　１　、ｏｂｊ　２が
代入されている。

ｔａｋｅ（Ａ）は更にｇｒａｓｐ（Ａ）　（持つ）また
はｄｅｔａｃｈ（Ａ）（取り外して持つ）に展開される
が、ｏｂｊ　１で指定されるボルトが他の物体に取り付
けられていないことが物体の構造情報１０３かられかる
ので、ｇｒａｓｐ（Ａ）の方が選ばれる。同様にｐｕｔ
　（Ａ　）の方はｏｂｊ　２がボルトの取り付は位置で
あることが物体の構造情報１０３から分かるので単に物
の上に置く動作ｐｕｔ　ｏｎ（Ａ）ではなく回しながら
ねじ込むボルトの取り付は動作ａｔｔａｃｈ（Ａ）の方
が選ばれる。

ｇｒａｓｐ（Ａ）は更に例えばグリッパをボルトの近く
まで移動させ、ゆっくり把持位置に持って行きグリッパ
を閉じて真上に移動するというように細かい動作に展開
される。この時、動作の進行に伴う物体位置の変化に応
じた物体の位置座標をロボットや物体の構造情報１０１
，１０３から得るため、動作の展開と共にそれに対応し
た構造情報１０１゜１０３の書換えが行われる。作業メ
ツセージはこのような詳細化を経て細かい座標値を含む
動作データにまで展開される。

動作生成装置７により生成された動作データは該装置７
において一時的に記憶されておりスイッチ８により実際
のロボット１０かシミュレータ９のいずれかに転送され
る。操作者は生成された動作データが妥当であるか知り
たい場合はそれをシミュレータ９へ送り動力学のシミュ
レーションを行うことができる。シミュレータ９はロボ
ットの構造情報１０１に記憶されているロボットの質量
や慣性モーメント、関節の摩擦係数などを用いて動作デ
ータによりロボットを動かしたい場合の運動方程式を数
値的に解き、その結果を表示装置２の画面上のロボット
２０１の動きとして表示する。

この表示においても動作の進行に伴う物体の動きを把握
するため、スタック１０５により作業環境地図を第３図
３２の状態に戻し、動作の進行と共にロボットや物体の
構造情報１０１，１０３を書き換えながら表示する。

操作者はシミュレーションの結果に問題がなければスイ
ッチ８をロボット１０の方ヘセットし。

動作生成装置７に記憶されている動作データで実際のロ
ボット１０を動かす。シミュレーションの結果、例えば
第４図の状況においてロボットがボルト２０３を部品２
０４の位置まで運ぶ途中で障害物２０５にぶつかりそう
な場合には、経路点の指定に変更するなど動作の指示を
しなおす。

作業環境にある現実の物体は正確に作業環境地図に記憶
されている位置にあるとは限らないので。

地図上の位置と実際とのずれを補正する必要がある。こ
れに対しては、例えば作業展開知識において、物体をつ
かむ動作など対象物との精密な位置合わせを必要とする
動作に対しては、その展開の中に距離センサを働かせて
対象物との距離を計りながら接近する動作を含ませ、動
作データの中にセンサの利用に関する情報も付加してお
けばよい。

これによりロボットが実際に動作するときにセンサを利
用して地図とのずれを補正しながら動くことができる。

また、ロボットは動作中にセンサなどにより異常を感知
した場合は動作を止め、その旨を表示装置２の画面に文
字などにより表示する。

本実施例によれば、操作者はロボットに動作を与えるた
めに具体的な座標値データや正確な位置情報を与える必
要がなく、順次表示される参照点の選択などにより作業
の要点を指定するだけでよいので非常に短時間に簡単に
動作を与えることができる。また、動力学を考慮したシ
ミュレーションで動作を事前に確認できるので安全な操
作を行うことができる。

操作者はシミュレーション結果のｗｉ察とそれによる動
作の修正を繰り返しながら、様々な動作を事前に試すこ
とができるので、その中から最も意にかなった動作を見
つけることができる。そして。

作業メツセージを保存しておけば１０１のロボットの構
造情報を入れ換えるだけで様々な形状のロボットに対し
て同一の作業メツセージで動作を与えることができる。

また、画面上で位置入力手段３の入力と連動するロボッ
ト２０１の動きにより操作者はグリッパの位置によって
ロボットがどの様な姿勢となるか、あるいは可動範囲が
どこまであるかを直観的に知ることか出来、作業手順を
考える上で有効な情報を効率よく与えることができる。

一方、非常に短時間に簡単に動作を与えることができる
ので、産業用ロボットのような繰り返し作業を行うロボ
ットの教示だけでなく、建設現場で対話的にロボットを
操作するのにも利用できる。

また、操作環境の物体配置が画面に表示され、かつロボ
ットと操作システムを離れた場所に置くことができるの
で、原子カプラントなど人間が入り込めない環境でのロ
ボットの遠隔操作にも利用できる。

なお、上記実施例においては、作業メツセージができる
ごとに動作データへの展開が行われたが作業メツセージ
をある程度ためてから、まとめて動作データへ展開して
もよい。

また、それらの作業メツセージを保存する場所を用意し
、それを編集・管理できるような仕掛を用意すれば、作
業のレベルでロボットの動作を編集・管理できるので、
操作者はより高度な動作計画を立てることが可能となる
。

さらに、いくつかの作業メツセージをまとめて新たな作
業メツセージを定義できるようにしておけば、さらに、
高度な作業を簡単に指示することができる。

上記実施例では物体を運ぶ途中の経路を単に点として与
えたが、これらの点に対して例えばおよそその近傍を通
過すればよいとか、正確にその点を通過しなければなら
ないといった属性を与えるようにすれば、さらに複雑な
作業指示を与えることができる。

プラントの建設などに本システムを利用する場合、その
プラントがＣＡＤにより設計されたものであれば１作業
環境地図１に記憶される情報のうち物体の構造に関する
情報はそのＣＡＤのデータから持ってくることもできる
。また、ロボットが扱う部品が限定されたものであれば
、視覚認識装置を利用して作業環境地図を作成、修正す
ることもできる。

〔発明の効果〕

本発明によれば、操作者はロボットに動作を与えるため
に具体的な座標値データや正確な位置情報を与える必要
がなく１作業の要点を指定するだけでよいので非常に短
時間に簡単に動作を与えることができる。また、動力学
を考慮したシミュレーションで動作を事前に確認できる
ので安全な操作を行うことができる。

【図面の簡単な説明】

第１図は本発明の一実施例の全体構成を示す図。 第２図は画面上のカーソルの動きを説明する図、第３図
は作業指示の入力手順を説明する図、第４図（ａ）　、
　（ｂ）　、　（ｃ）　、　（ｄ）は作業指示の入力と
共に変化するグラフィックス表示装置の画面を説明する
図。 第５図は作業知識の中身を説明する図である。 １・・・作業環境地図、 ２・・・グラフィックス表示装置、 ３・・・位置入力手段、　　４・・・文字入力手段。 ５・・・作業解釈装置、　　６・・・作業知識。 ７・・・動作生成装置、　　８・・・切り換えスイッチ
、９・・・動力学シミュレータ、　　１０・・・ロボッ
ト。 手続補正書Ｃｊ５幻 １．事件の表示 昭和６２年特許願第１９１１０２号 ２、発明の名称 ロボット操作支援システム ３、補正をする者 事件との関係　特許出願人 名称　（５１０）株式会社日立製作所 ４、代理人 ５、補正命令の日付 ６、補正の対象 明細書の特許請求の範囲の欄。 ７、補正の内容 （１）明細書第１頁第３行と第４行の間に「２、特許請
求の範囲」を加入する。 以上

Claims (2)

【特許請求の範囲】
1. （１）ロボット、文字入力手段、位置入力手段、グラフ
   ィックス表示装置からなるロボット操作システムにおい
   て、文字入力手段により入力される作業名とグラフィッ
   クス画面に表示され、位置入力手段と連動する画面上の
   ロボットの操作から操作者の作業意図を判断し、順次必
   要な参照点を表示し、かつ作業意図に即した作業メッセ
   ージを生成する作業解釈装置と、生成された作業メッセ
   ージをロボット機構の駆動に適した動作データに変換し
   、実際のロボットに渡す動作生成装置と、上記作業解釈
   装置と動作生成装置に必要な情報を供給する作業環境地
   図と作業知識とを備えたことを特徴とするロボット操作
   支援システム。
2. （２）動作生成装置からロボットに動作データを渡す途
   中に切り換えスイッチを設け、実際にロボットを駆動す
   る前に動力学シミュレータによるシミュレーションを行
   い、その結果を上記グラフィックス画面に表示し動作の
   妥当性を確認する手段を備えた特許請求の範囲第１項記
   載のロボット操作支援システム。