JPH08314527A - ロボットの動作教示システム - Google Patents

Abstract

(57)【要約】 【目的】 教示作業が単純で理解しやすく、しかも能率
的に行うことができるロボットの動作教示システムを提
供する。 【構成】 教示システム１は、モデルの動作を経時的に
記録した一連のモデル画像と、ロボットの骨格画像とが
ＣＲＴ１４に表示され、マウス１２を用いて、骨格画像
をモデル画像に重なる位置に位置合わせする。そして、
システム制御部５は、時間軸上において互いに隣接する
モデル画像に対し、それぞれ位置合わせされた骨格画像
の変位に基づいて、そのロボットの教示データを演算す
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はロボットの動作教示シス
テムに関する。

【０００２】

【従来の技術】従来、ロボットに動作を教示する方法と
しては、例えばロボットの各部位について、その部位の
動作の開始位置に原点設定を行い、次にその動作の終了
位置までその部位をマニュアル駆動させるか、あるいは
手でその部位を終了位置まで動かして、対応するアクチ
ュエータの作動範囲（変位）を求め、これを教示データ
として取り込む方法が用いられている。

【０００３】

【発明が解決しようとする課題】上述の方法において
は、１つの動作を教示するために、ロボットの各部位毎
に個々のアクチュエータの変位を定めなければならず、
教示のための工程数が多くなり、多大な時間と労力を要
する問題がある。また、教示データとして考慮されるの
は各アクチュエータの変位のみであり、各部位の空間的
な位置や動きを直接決定することはできない。そのた
め、所望の動きを達成するための各部位の空間位置の移
り変わりは、各アクチュエータの変位を変えながら試行
錯誤的に決定する他はなく、例えば人間のしぐさ等、微
妙で複雑な動作を模写する場合等においては、ロボット
の動作が不自然でぎこちないものになりやすい欠点があ
った。

【０００４】本発明の課題は、教示作業が単純で理解し
やすく、しかも能率的に行うことができ、また教示内容
に基づいて実現されるロボットの動作が微妙で複雑なも
のであっても、これを滑らかに行わせることができるロ
ボットの動作教示システムを提供することにある。

【０００５】

【課題を解決するための手段】上述の課題を解決するた
めに、本発明の動作教示システムは下記の要件を含むこ
とを特徴とする。 画像表示手段：教示すべきロボット動作に対応するモ
デルの動作を経時的に記録した一連のモデル画像と、ロ
ボットの骨格の画像（骨格画像）とを表示する。 骨格位置決め手段：その表示手段上において骨格画像
を、モデル画像に対応する位置に位置合わせする。具体
的には、表示手段において骨格画像をモデル画像に対し
重ね合わせることにより、モデル画像に対して位置合わ
せするものとして構成することができる。 教示データ演算手段：時間軸上において互いに前後す
るモデル画像に対しそれぞれ位置合わせされた骨格画像
の変位に基づいて記骨格の変位データ、骨格間角度デー
タ又はアクチュエータ駆動量データのいずれかを、ロボ
ットの教示データとして演算する。

【０００６】例えば、教示するべき動作をモデルに実際
に行わせてこれを一連の画像として記録し、それら各画
像にロボットの骨格画像をそれぞれ位置合わせすること
によって、経時的に変化するモデル動作の特定の時刻毎
に、骨格画像のモデル画像に対する位置決めが行われ、
互いに前後する画像、例えば隣り合う画像間での骨格の
変位に基づいてロボットの教示データが演算される。従
って、モデル画像を適当な時間間隔でサンプリングする
ことにより、従来の手法に比べてモデルの動きをより忠
実にデータ化することができ、ひいてはそのデータに基
づいてロボットに自然で滑らかな動作を行わせることが
できる。そして、教示のための作業内容は、画像表示手
段の画面上でモデル画像に骨格画像を位置合わせする操
作が中心となるので理解しやすく、しかもロボットの部
位毎にアクチュエータの駆動量を求める必要がなくなる
ので、教示工数を大幅に削減することができる。

【０００７】例えば人間の動作を模写するロボットに対
しては、教示されるべき動作を人間のモデルに行わせ、
それをビデオカメラ等の撮影手段により動画として記録
し、その動画を画像表示手段にコマ送り再生しながら、
その動画のコマ毎に骨格画像の位置合わせ操作を行えば
よい。ここで、記録されたモデル画像の寸法は、選定し
たモデルの寸法（あるいは体形）によって変化する場合
があるが、この場合は、骨格画像の各骨格単位の長さ
を、表示手段に表示されるモデル画像の寸法に合わせて
伸縮可能とすることができる。

【０００８】ここで、モデル画像の時間間隔は、教示す
べきロボット動作に応じて変化させることができる。例
えば、ビデオ画像をコマ送り再生する場合、それら画像
のコマは一定の時間間隔で撮影されたものとなるが、比
較的単純なモデル動作を教示する場合には、一定枚数の
コマを間引くことによって、隣接するモデル画像の時間
間隔を大きくすることができる。これにより、教示に必
要な画像の枚数が減少して教示作業を効率化することが
できる。また演算に必要なデータ量が減少するので、ロ
ボット作動時のハードウェアの負担が軽減され、動作の
応答性を高めることができる。

【０００９】次に、ロボットの骨格の一部のものに対し
ては教示データ演算手段により、時間軸上において互い
に前後するモデル画像に対しそれぞれ入力された骨格画
像の変位に基づい教示データを算出する一方、ロボット
の骨格の残余のもの及び骨格以外の予め定められたロボ
ット部位に対応して、補助入力手段を設けておくことが
できる。それら残余の骨格及びロボット部位に対して
は、その補助入力手段から教示データが個別に入力され
ることとなる。例えば、モデル画像に位置合わせされた
骨格画像からは教示データの生成が困難あるいは不可能
なロボット部位（例えば手首、指、目、口等の動き、ラ
ンプの点灯など）については、補助入力手段から直接教
示データを入力することができ、これによりロボット細
部に対するきめ細かい動作の教示が可能となる。

【００１０】ロボットの骨格は、具体的には、関節機構
によって結合された複数の骨格単位を含み、それら骨格
単位はそれら関節機構に設けられたアクチュエータによ
り駆動されるように構成することができる。この場合、
モデルに対して予め基準姿勢を設定しておき、また、教
示データ演算手段に、その基準姿勢のモデル画像に対し
位置合わせされた骨格画像に対する各アクチュエータの
基準位置を含む基準データを記憶する、基準データ記憶
手段を設けることができる。そして教示データ演算手段
は、その基準データに基づいて、各時刻における各骨格
単位の空間変位を算出し、その変位に基づいて各アクチ
ュエータの駆動量を算出する。

【００１１】次に、モデル画像に対する骨格画像の合わ
せ位置の入力は、それら各骨格単位上の両端部に予め定
められた目印点の、表示手段の表示画面上における位置
を指定することにより行うことができる。そのためのよ
り具体的な装置構成として、例えば下記のようなものを
例示できる。すなわち、骨格位置決め手段にマウス、ト
ラックボール等のポインティングデバイスを設け、表示
手段には、その表示画面上にモデル画像及び骨格画像と
ともに、そのポインティングデバイスの操作に伴い画面
上を移動するポインタを表示させる。そして、骨格画像
をモデル画像に対し位置合わせする際には、目印点のう
ちの位置合わせするべきものを選択し、モデル画像上に
設定されるその合わせ位置にポインタを合わせ、ポイン
ティングデバイスに付随する入力部を操作して該目印点
の合わせ位置を指定することにより、その位置合わせ後
の目印点に対応する位置に、骨格単位が位置合わせされ
る。このようにすれば、モデル画像に対する骨格画像の
位置合わせ操作を、より直接的で理解しやすいものとす
ることができる。

【００１２】また、複数の骨格単位が組を形成し、その
組に含まれる各骨格単位同士の相対的な位置関係に予め
定められた拘束条件を設定することができる。そして、
その組に属する骨格単位の目印点のうち、その一部のも
のについてモデル画像に対する合わせ位置の指定を行う
ことにより、残余の目印点の合わせ位置が、その拘束条
件に基づいて定められるように構成することができる。
このようにすることで、位置合わせ操作が単純化されて
作業時間を短くすることができるほか、ロボット部位に
対し構造上あり得ない位置が指定されるといった不都合
を未然に防ぐ効果も得られる。

【００１３】ここで、骨格単位に対し、モデル画像に対
する位置合わせの順序を予め決めておき、その順序に従
って位置合わせの操作を行うようにすることができる。
この場合、ある骨格単位の位置合わせ操作が終了した場
合には、次に操作を行うべき骨格単位の目印点の色を変
えたり点滅させるなど、他の目印点とその表示状態を異
ならせるように構成することができる。

【００１４】次に、骨格単位の変位から、骨格単位を駆
動するアクチュエータの駆動量を算出する機構である
が、具体的には次のようなものを採用することができ
る。すなわち、ロボットの骨格の任意の１つの骨格単位
（以下、第一骨格単位という）と、その第一骨格単位に
アクチュエータを介して結合された第二骨格単位とに対
し、教示データ演算手段が、時間軸上で互いに前後する
骨格画像の少なくとも一方のものに対し、その第一骨格
単位と第二骨格単位とに、回転移動又は並進移動の少な
くとも一方を施して、両骨格画像の第一骨格単位同士を
互いに重ね合わせる。そして、その重ね合わされた状態
で、両骨格画像間における第二骨格単位の変位を算出
し、その算出結果に基づいて各アクチュエータの駆動量
が算出される。

【００１５】教示データ演算手段は、画像表示手段に２
次元的に表示された骨格単位の画像と、既知の寸法を有
する標準体の画像とに基づいて、骨格単位の三次元的な
位置を算出するものとして構成することができる。

【００１６】上述の動作教示システムには、教示データ
演算手段に基づいて演算・生成された教示データを記憶
する教示データ記憶手段と、その記憶された教示データ
を編集する教示データ編集手段を設けることができる。
編集手段を用いることにより、生成された教示データの
修正や追加あるいは削除を容易に行うことができる。ま
た、教示データを、ロボットの動作の種類、及びロボッ
トの部位毎に設定された編集項目別に編集可能なものと
しておけば、ロボットに複雑な一連の動作を行わせる場
合でも、動作別あるいは部位別に編集されたロボットの
教示データを随時組み合せることにより、その教示デー
タを比較的簡単に作成することができる。

【００１７】

【実施例】以下、本発明の一実施例を図面を用いて説明
する。図１は、本発明の動作教示システムの構成例を示
すブロック図である。動作教示システム１は、教示デー
タ演算手段を構成するＣＰＵ２、ＲＯＭ３、ＲＡＭ４を
含むシステム制御部５を備え、これに画像取込制御部
６、表示制御部７、入力装置インターフェース８、プロ
グラム記憶装置９、教示データ記憶装置１０、動画デー
タ記憶装置１１が接続されている。そして、入力装置イ
ンターフェース８には骨格位置決め手段として、クリッ
クボタン１２ａ（入力部）を備えたマウス１２、キーボ
ード１３が接続されている。

【００１８】表示制御部７には画像表示手段としてのＣ
ＲＴ１４が接続されている。一方、画像取込制御部６
は、ビデオ再生装置（ＶＴＲ）１５が接続されるととも
に、ＶＲＡＭ１６とデータ転送用プロセッサ１７とを備
え、ＶＲＡＭ１６に格納された画像表示データが、バス
１８を介して表示制御部７に直接転送可能とされてい
る。

【００１９】また、ＣＰＵ２には通信インターフェース
１５２及び１５３と通信回線１５０を介して、ロボット
動作の試演を行うためのグラフィックシュミレータ（以
下、単にシュミレータという）１５１が接続されてい
る。シュミレータ１５１は、図２に示すように、ＣＰＵ
１５４と、これに接続されたＲＯＭ１５５、ＲＡＭ１５
６、ＶＲＡＭ１５７、表示制御部１５８、及び入力装置
インターフェース１６０を備え、表示制御部１５８には
ロボット動作の試演動画を表示するＣＲＴ１５９等の表
示装置が、また入力装置インターフェース１６０にはキ
ーボード１６１等の入力部が接続されている。また、教
示システム１と通信するための通信インターフェース１
５３がＣＰＵ１５４に接続されている。

【００２０】次に、動作教示の対象となるロボットは、
例えば人間の動きを模写するロボットとして構成するこ
とができる。このロボットは、例えば図３に示すような
骨格１９を有し、関節機構３１〜３７で互いに接続され
る下記の骨格単位を備えている。 ・頭部２０：それぞれ駆動可能な目部２０ａと口部２０
ｃを備え、目部２０ａには明滅可能なランプ２０ｂが配
置される。口部２０ｃは開閉駆動可能とされている。 ・肩２１、背骨２２、腰骨２３：これらは、互いに結合
されて胴体部を形成している。 ・左右の腕部：それぞれ上腕骨２４、下腕骨２５、手首
２９を備える。 ・左右の脚部：それぞれ上肢骨２６、下肢骨２７、足首
３０を備える。 なお、各関節機構３１〜３７に設けられるアクチュエー
タの種類（パルスモータ、サーボモータ、ピストンシリ
ンダ等）と軸の本数、軸の回転の自由度、及び軸の回転
ないしピストンのスライドの範囲等は各骨格単位毎に個
別に設定されている。

【００２１】上記骨格単位のうち、いくつかのものは組
を形成し、その組に含まれる各骨格単位同士の相対的な
位置関係には予め定められた拘束条件が設定される。例
えば、両脚部を構成する骨格単位を例にとれば、図４に
示すようにその下肢骨２７は、上肢骨２６に沿う直線と
腰骨２３に直角な直線とが作る平面Ｐ内のみを動くとい
う拘束条件が設定されている（なお、図４においては、
関節機構３５及び３６（図３）は描いていない）。従っ
て、上肢骨２６の上端位置と下肢骨２７の下端位置とを
指定すれば、両者の結合点（膝に相当する部分）の位置
は、上記拘束条件に従って自動的に定まることとなる。
このような拘束条件は、プログラム記憶装置９の拘束条
件記憶部１１０（図５）に記憶され、教示データの算出
に随時使用される。

【００２２】次に、プログラム記憶装置９には、図５に
示す各プログラムが格納されるとともに、必要に応じて
ＣＰＵ２により読み出され、ＲＡＭ４の所定のエリアに
書き込まれて使用される。 (1)動画取込みプログラム９０：ＶＴＲ１５で再生され
たモデル動作の画像を、画像取込制御部６を介して動画
データとして取り込み、光磁気ディスク装置等で構成さ
れた動画データ記憶装置１１に記憶させる。 (2)モデル画像表示プログラム９１：動画データ記憶装
置１１に記憶された動画データに基づいて、指定された
コマのモデル画像をＣＲＴ１４に表示させる。 (3)骨格画像表示プログラム９２：ロボット骨格１９
（図３）に対応する骨格画像の画像データを作成し、図
１９に示すように、そのデータに基づく骨格画像３８を
モデル画像３９とともにＣＲＴ１４に表示させる。

【００２３】(4)骨格画像位置合わせプログラム９４：
マウス１２を使用して、ＣＲＴ１４に表示された骨格画
像３８を、モデル画像３９に対し重ね合わせてこれを位
置合わせする。ここで、ＣＲＴ１４の画面上においてモ
デル画像３９の画面上の寸法に骨格画像３８の寸法を合
わせ込む処理も本プログラムによって行われる。 (5)変位計算プログラム９６：ＣＲＴ１４に２次元的に
表示された各骨格単位の画像から、それら骨格単位の実
際の空間における３次元的な位置を計算し、それに基づ
いて時間的に相前後する２つの画像間における各骨格単
位の変位を算出する。その算出処理は、各骨格単位毎に
用意された寸法既知の標準体を所定の方向から撮影して
得られたその標準体画像の寸法と、対応する骨格単位の
画面上における寸法とを比較することにより実行され
る。なお標準体の寸法データは、プログラム記憶装置の
標準体寸法データ記憶部１１２に格納されている。 (6)アクチュエータ駆動量計算プログラム９８：上記骨
格単位の変位に対応する各アクチュエータの駆動量を算
出し、上記変位データとともに教示データ記憶装置１０
に記憶させる。

【００２４】(7)動作時間設定プログラム１００：使用
する動画のコマに、ロボット動作の実時間軸上の時間を
設定するとともに、隣接するコマの時間間隔から各アク
チュエータの駆動速度を算出し、これを教示データの一
部として教示データ記憶装置１０に記憶させる。 (8)補助入力プログラム１０２：予め指定された骨格単
位ないしロボット部位に対する教示データの補助入力処
理を、マウス１２ないしキーボード１３を使用すること
により行う。このような補助入力処理は、骨格画像３８
とモデル画像との位置合わせ処理による教示データの生
成が比較的困難な骨格単位ないし部位に対し適用され、
例えば図３に示す頭部２０の目部２０ａや口部２０ｂの
動き、目部２０ａに配置されたランプ２０ｂの明滅等が
これに該当する。一方、いくつかの骨格単位について
は、特定の動作モードに対してのみ位置合わせ処理によ
る教示データの生成が困難なこともありうるが、そのよ
うな場合も、上記方法による教示データの入力が可能で
ある。この方法は、例えば、頭部２０ａの前後傾、左右
傾、回転等、あるいは関節機構３３（肘に相当）に対す
る上腕骨２４と下腕骨２５の長手方向軸線周りの回転、
手首２９の回転、指の曲げ状態等に対し適用可能であ
る。なお、このような入力処理は、本実施例では、骨格
画像３８のモデル画像３９に対する位置合わせ処理を行
う画面（図１９）とは別画面（あるいは別ウィンドウ）
を開いて行うようになっている。

【００２５】(9)コマ修正プログラム１０４：指定され
たコマにおいて、骨格画像の位置合わせ処理により入力
された教示データの変更修正（例えば骨格単位の位置変
更等）を行う。なお、前述の拘束条件で結ばれた骨格単
位のいずれかの位置を変更した場合、その拘束条件が破
れないように他の骨格単位の位置も自動修正する。 (10)コマ削除・追加プログラム１０５：指定されたコマ
のデータを削除し、また、指定されたコマ位置の次に新
規教示データ入力を行うコマの追加・挿入を行う。(11)
逐次表示プログラム１０６：各コマの骨格画像を時系列
順に、一定の時間間隔で逐次画面に表示する。これによ
り、骨格画像の大まかな動きの変化を確認することがで
き、実際のロボット動作の簡易シュミレート手段として
利用することができる。 (12)骨格位置固定設定プログラム１０７：骨格画像３８
の位置合わせ処理時に、予め指定した骨格単位の位置を
固定化する設定を行う。すなわち、教示するべき動作に
おいて、特定の骨格単位がほとんど動かないことがわか
っている場合には、その骨格単位に対し位置固定の設定
を行うことにより、骨格画像３８の位置合わせ処理を簡
略化することができる。

【００２６】(13)教示データファイル編集プログラム１
０８（教示データ編集手段）：教示データを、ロボット
の動作の種類やロボットの部位等、予め設定された編集
項目別にファイル分割し、ファイル名を付与して教示デ
ータ記憶装置１０に記憶・保存する。 (14)シュミレータ起動プログラム１０９：指定されたロ
ボット動作の教示データをグラフィックシュミレータ１
５１に転送し、シュミレータ１５１側におけるロボット
動作の試演（シュミレーション）処理の起動を促す。

【００２７】以下、動作教示システム１における処理の
流れをフローチャートを用いて説明する。図６は処理全
体の大まかな流れを示すものであって、次の各処理のい
ずれかを選択するようになっている。なお、選択時には
ＣＲＴ１４に所定の選択画面がウィンドウ表示され、そ
こに表示された選択項目をマウス１２を用いて選択する
ことにより、個々の処理ウィンドウが開くようになって
いる。 (1)教示入力（S1000からS1100に向かう処理）：モデル
画像に対する骨格画像の重ね合わせ処理を行い、教示デ
ータを作成する。 (2)教示修正（S2000からS2100に向かう処理）：作成さ
れた教示データの修正を行う。 (3)教示試演（S3000からS3100に向かう処理）：グラフ
ィックシュミレータ１５１を使用して、ロボット動作の
試演を行う。 (4)終了指示（S4000から終了へ向かう処理）：処理終了
の指示を行う。

【００２８】教示入力が選択された場合はS1100におい
て教示入力処理を行う。ここで、教示入力に先立って、
教示する動作を人間のモデルに行わせ、そのモデル画像
３８が例えば図１６に示すように、所定のコマ時間間隔
でビデオカメラにより動画撮影される。そして、図１の
ＶＴＲ１５により再生されたその動画が、画像取込制御
部６を介して動画データとして取り込まれ、動画データ
記憶装置１１に記憶される。ここで、動画データ記憶装
置１１に記憶されている動画データは、図１７に示すよ
うに、モデルが比較的複雑な動きを行っている場合に
は、そのコマ８０の間隔が密になるように、逆に動きが
比較的単調な場合にはコマ８０の間隔が粗となるよう
に、その動画のコマが、動画データ取り込み時あるいは
取り込み後のデータ編集時に適宜間引かれる。

【００２９】図７は、S1100の教示入力処理の詳細を示
すフローチャートであって、教示不要な部位（例えば、
教示するべき動作を通じてほとんどその動作に関与しな
い骨格単位や部位）の設定を行なった後（S1101）、図
１８に示すような、ウィンドウW1及びW2をそれぞれ表示
する（S1102、S1103）。このうち、一方のウィンドウW1
にはモデル画像３９が表示され、他方のウィンドウW2に
は骨格画像３８が表示される。なお、骨格画像３８は、
図３に示すロボット骨格１９を簡略化した線図として表
示される。なお、ロボット骨格１９の各骨格単位の両端
位置は、図１８の骨格画像３８上で下記のようにインデ
ックスが付与されている。 ・頭部２０：Ｈ、ｆ1。 ・肩２１：Ａ1、Ｈ及びＨ、Ａ2。 ・背骨２２：Ｇ及びＨ。ここで、Ｇは各骨格単位の変位
からアクチュエータの駆動量を算出する際の基準位置と
して採用される。 ・腰骨２３：Ｌ1及びＬ2 。ＧがＬ1とＬ2を結ぶ線分の
中点に位置付けられている。 ・上腕骨２４、下腕骨２５：Ａ1、Ａｅ1、Ａｈ1及びＡ
2、Ａｅ2、Ａｈ2。 ・上肢骨２６、下肢骨２７：Ｌ1、Ｌｋ1、Ｌｆ1及びＬ
2、Ｌｋ2、Ｌｆ2。

【００３０】図７に戻って、S1104において、ビデオカ
メラにモデルを正対させて撮影したモデル画像３８（図
１８）に、骨格画像３９の寸法を合わせ込む処理を行
う。その処理の詳細を図８及び図９に示す。すなわち、
正対ポーズのモデル画像３８をウィンドウＷ1に骨格画
像３９をウィンドウＷ2に表示し（C101〜103）、各骨格
単位の長さをモデル画像の対応部位に合わせ込む（C10
4）。ここで骨格画像３９の各骨格単位に対しては、予
め標準寸法が設定されている。その合わせ込みの処理で
あるが、図９に示すように、まず基準点Ｇの位置を合わ
せ込み（C201）、続いてその基準点Ｇから次第に遠ざか
るように、各骨格単位の端点を順次合わせ込んでゆく。

【００３１】ここで、モデル画像３８に対し、骨格画像
３９の端点を合わせ込むための入力方法であるが、図１
８に示すように、ウィンドウW2上には各端点が目印点と
して表示され、また、ウィンドウＷ1上にはマウス１２
の移動に伴い画面上を移動するポインタ４０が表示され
る。目印点の合わせ込みは、Ｇ点から始まって次第に骨
格の末端へ向かう方向に、予め設定された順序で行われ
るようになっており、ウィンドウＷ2に表示された骨格
画像３８上において、次に合わせ込みを行うべき端点が
点滅してこれを知らせるようになっている。そして、ウ
ィンドウＷ1上のモデル画像３８上の指定するべき位置
にポインタ４０を合わせ、マウス１２のクリックボタン
を操作することにより、ウィンドウＷ2上で点滅表示さ
れた端点の、モデル画像３８上での重ね位置が確定さ
れ、それとすでに確定されている端点の位置に基づい
て、各骨格単位の長さが順次計算されてゆく（C202〜C2
10）。また、長さが定められた骨格単位は、ウィンドウ
Ｗ1のモデル画像３８に対し順次重ね描画されてゆく。

【００３２】ここで、正対ポーズにおけるモデル画像３
８はほぼ左右対称であることから、上腕骨２４と下腕骨
２５、ならびに上肢骨２６と下肢骨２７（図３）の各端
点は、左右いずれか一方のものが位置決めされれば、他
方のものも自動的に位置決めされるように処理が行われ
る。また、頭部２０を表すＨ及びＦ1間の距離は、頭部
２０以外の骨格単位についてその算出された寸法と標準
寸法とを比較し、その比率と頭部２０の標準寸法とに基
づいて定められる（C210）。なお、ウィンドウＷ1に予
め設定された標準寸法の骨格画像を、モデル画像３８と
ともに表示し、そのウィンドウＷ1上で骨格画像の各骨
格単位の端点をモデル画像３８に合わせ込む処理を行っ
てもよい。この場合、ウィンドウＷ2は省略することも
可能である。次に、図８に戻り、算出された骨格単位の
寸法に合わせて、正対ポーズの骨格画像３８をウィンド
ウＷ1に再描画した後（C105）、図７のS1105に進む。こ
こで、正対ポーズに対応する骨格画像３８に対しては、
各アクチュエータの駆動位置が基準データとして予め設
定されており、その設定内容がプログラム記憶装置９の
基準データ記憶部１１３に格納されている。

【００３３】続いて、S1105〜S1109において、骨格画像
３８の位置合わせを行う動画のコマ番号を指定すること
により、そのコマのモデル画像のデータが取り込まれ、
骨格画像の位置合わせ処理（骨格画像入力）に移る。図
１０〜図１２は、その位置合わせ処理（S1109）の内容
の詳細を示すフローチャートである。すなわち、図１０
のC301〜C305に示すように、取り込んだコマのモデル画
像３９に対し、Ｇ点から始めて次第に遠ざかる方向に、
骨格画像３８の各端点の位置をモデル画像３９に対し合
わせ込んでゆく。その入力例を図１９に示しているが、
手順は前述の寸法合わせ処理の場合とほぼ同様であり、
ウィンドウＷ2上で点滅表示される端点のウィンドウＷ1
での合わせ位置をマウス１２で指定しながら、モデル画
像３９に対する位置合わせ入力を行ってゆく。この場合
も、ウィンドウＷ1上のモデル画像３９に対し、位置合
わせの終わった部分から順に骨格画像３８が重ね描画さ
れてゆく。ここで、左右の脚部及び腕部については、前
述の寸法合わせ処理とは異なり、個々に入力処理が行わ
れることとなる。なお、S1101（図７）において設定さ
れた教示不要部位については、位置合わせ入力がスキッ
プされる。

【００３４】図１１は、一例として、両脚部に相当する
部位の位置合わせ処理の流れを示しており、右脚部及び
左脚部のそれぞれについて、上肢骨２６の上端点Ｌ1
（Ｌ2）の位置合わせを行った後、下肢骨２７の下端点
Ｌｆ1（Ｌｆ2）の位置合わせが行われるようになってい
る（C410〜C403）。ここで、図４に示す拘束条件によ
り、Ｌ1（Ｌ2）及びＬｆ1（Ｌｆ2）が指定されれば、膝
に相当するＬｋ1（Ｌｋ2）の位置は自動的に定まるので
入力は行われない。このようにして、各端点の画面上の
座標が算出され、その画面座標と各骨格単位の標準体寸
法データ１１２（図５）に基づいて実際の空間における
端点の３次元座標が算出される。

【００３５】次に、図７に戻ってS1110に進み、上記位
置合わせ処理では教示データの生成が困難なないし不可
能な骨格単位ないし部位に対し、それらの空間位置の補
助入力処理を、マウス１２ないしキーボード１３を使用
することにより行う。この入力処理は、上記位置合わせ
処理とは別のウィンドウを開き、そのウィンドウ上に該
当する骨格単位ないし部位の画像を表示して、位置設定
のために予め用意された各種処理コマンド（例えば骨格
単位の平行移動、あるいは回転など）を、マウス１２あ
るいはキーボード１３からの入力により選択・実行しな
がら、骨格単位や部位毎に個別に入力を行ってゆく。

【００３６】以上で、１つのコマに対する教示入力処理
が終了するが、次のコマの処理に移る場合はコマ番号を
更新し、直前のコマの骨格画像３８及びモデル画像３９
を描画しなおすとともに（S1111〜S1113）、S1107に返
って処理を繰り返す。一方、コマへの入力作業を終了す
る場合は（S1114〜S1116）、ウィンドウＷ1とＷ2を閉じ
て図６のS1200に進む。

【００３７】S1200では、上記教示入力により得られ
た、各コマ毎の骨格単位の端点の空間位置座標に基づい
て、骨格単位を駆動するアクチュエータの駆動量を駆動
データとして算出する処理が行われる。すなわち、図１
２に示すように、隣り合う２枚のコマの番号を指定し
て、その各骨格単位の端点の空間位置座標を読み込み、
その空間位置座標に基づいて各骨格単位間に設けられた
アクチュエータの駆動量が算出される（C501〜C503）。

【００３８】その算出方法を図２０に模式的に示してい
る。例えば、図２０（ａ）示すように、点Ｇを固定とし
て、先順のコマＮpにおけるＬ1、Ｌｋ1の位置が後順の
コマＮsにおいて、Ｌ1’、Ｌｋ1’に移った場合、
（ｂ）に示すように、Ｇ−Ｌ1−Ｌｋ1の角度を固定する
とともに、線分ＧＬ1及び線分Ｌ1Ｌｋ1（それぞれ請求
項でいう第一骨格単位及び第二骨格単位）に回転移動を
施し、線分ＧＬ1を線分ＧＬ1’に重ね合わせる。そし
て、回転移動後の各点の空間座標から、コマＮp側の線
分Ｌ1Ｌｋ1と、コマＮs側の線分Ｌ1’Ｌｋ1’とのなす
角度θを算出することにより、両骨格単位の間に配置さ
れたアクチュエータの各軸の回転角度を求めることがで
きる。このような骨格単位の回転移動（場合によっては
並進移動）と第二骨格単位の回転角度を求める処理を、
Ｇ点から骨格の末端へ向かう方向に順次施してゆけば、
各関節機構に含まれるアクチュエータの駆動量が順次算
出されることとなる。

【００３９】ここで、最初のコマの骨格画像が正対ポー
ズのものでない場合は、基準データ記憶部１１３（図
５）に格納されたアクチュエータの基準位置をもとに、
その最初のコマに対する各アクチュエータの駆動位置を
算出しておけばよい。なお、以上の説明では、アクチュ
エータはモータで構成されており、第一及び第二の骨格
単位同士はそのモータ軸の回転により、相対的な回転運
動のみを行うものとしたが、ピストンロッド等をアクチ
ュエータとした場合は、そのピストンの伸縮により骨格
単位間で相対的な並進運動が行われる場合もある。その
ような場合は、第二骨格単位の回転角度の他、並進移動
距離も算出するようにする。なお、このようなアクチュ
エータの駆動量の算出は、必ずしも教示の段階で行う必
要はなく、例えば骨格単位の端点の変位データのみを教
示の段階で算出しておくようにしてもよい。そして、そ
れを用いた駆動量の計算は、ロボット駆動時にその動作
の進行に合わせて逐次行い、結果を順次ロボットのアク
チュエータ駆動制御部に与えるようにすることができ
る。また、変位データの算出は、互いに隣接するモデル
画像を用いて行なう態様の他、ある基準時刻における共
通のモデル画像と各時刻におけるモデル画像とを使用し
て算出するようにしてもよい。

【００４０】次に、図６のS1300に進み、入力が終わっ
た各コマに対しロボット動作の実時間軸上の時間を設定
する。その処理の詳細を図１３のフローチャートに示
す。すなわち、時間設定用のウィンドウを開いて骨格画
像データをコマ番号順に読み出し、ウィンドウ内に骨格
画像を順次表示しながら時間入力を行ってゆく（C601〜
C605）。そして、C6051において、直前のコマとの時間
間隔から各アクチュエータの駆動速度を算出し、C606に
おいて、その時間間隔で全てのアクチュエータが駆動完
了できるかどうかを判定する。完了できるようであれ
ば、C607でその入力された時間及びアクチュエータ駆動
速度を格納し、C608でコマ番号をインクリメントしてC6
03に戻り、処理を繰り返す。また、駆動完了できないよ
うであればC605に戻って時間入力をやり直す。そして、
時間の入力処理が終わるとC612でウィンドウを閉じて図
６のS1400に進む。

【００４１】S1400では、最終的に得られた教示データ
を教示データ記憶装置１０に記憶・保存する。その処理
の流れは図１４に示す通りであって、データ全体のファ
イル名を、そのデータの動作名で入力し、次に予め定め
られたロボット部位の分類（例えば拘束条件で結ばれる
骨格単位の組、独立した骨格単位、骨格単位以外の部位
など）に従い、部位毎のサブファイル名を入力する（C7
01、C702）。これを受けて、教示データはその部位別の
サブファイルに分割され、それぞれ入力されたサブファ
イル名が付与されるとともに（C703）、入力された動作
名で指定される記憶装置１０のディレクトリに保存され
る（C704）。これら各部位毎のサブファイルは、実際に
ロボットの駆動に使用する際には必要なものがファイル
結合されて、ロボット作動のプログラムに組み込まれる
こととなる。一方、異なる動作のデータのサブファイル
でも、そのデータ形式を統一しておけば、サブファイル
を適当に選んで組合せたり、ある動作のサブファイルを
別の動作のサブファイルに転用したりすること等が可能
となる。

【００４２】次に、このようにして作成された教示デー
タの修正を行いたい場合には、図６のS2000以下の処理
が実行される。まず、S2100で動作名入力により教示デ
ータのファイルを指定し、S2200でそのデータが読み込
まれる。そして、S2300でその修正処理が行われるが、
その処理の詳細は図１５に示されている。まず、修正入
力用ウィンドウ（図１９等に示す教示入力用のウィンド
ウと同型式）を開き（C801、C802）、先順のコマのもの
から順に骨格画像データが読み込まれて、ウィンドウに
骨格画像が描かれる（C803、C804）。そして、コマの修
正、コマの削除、コマの追加、コマの逐次表示等、修正
のために用意された処理メニューから、所望の項目を選
択して、その項目に対応する処理を行うこととなる。

【００４３】すなわち、コマ修正を選択した場合は、表
示されたコマの骨格画像の修正（例えば、骨格単位の重
ね位置の変更など）が行われる（C808、C809）。また、
コマ削除を選択した場合は表示されたコマの削除が行わ
れ（C810、C811）、コマの追加が選択された場合は、表
示されたコマの次に新規のコマを挿入し、教示入力時と
同様の操作・処理により骨格画像のモデル画像への重ね
入力等が行われ（C812、C813 ）。さらに、コマの逐次
表示が選択された場合には、各コマの骨格画像を時系列
順に、一定の時間間隔で逐次ウィンドウに表示する処理
が行われる（C814、C815）。そして、処理が終了すれ
ば、C817でコマ番号を更新してC805に返り、処理を繰り
返す。また、処理が終わればC818でウィンドウを閉じて
図６のS2400に進む。S2400では、修正、追加、削除され
たコマの前後で、教示データの再計算・更新を行い、S2
500でこれを保存して処理を終了する。

【００４４】次に、作成した教示データに基づいて、グ
ラフィックシュミレータ１５１により、実際のロボット
の動きを試演することができる。この場合は、S3000以
下の処理となるが、まずS3100で試演させたい動作名を
入力すると、S3200でその動作の試演処理が開始され
る。その処理の概略であるが、まずその動作名で保存さ
れている教示データを読み出して、これを試演開始命令
信号とともにグラフィックシュミレータ１５１側へ転送
する。グラフィックシュミレータ１５１はこれを受け
て、ＲＯＭ１５５（図２）に格納されたロボット画像デ
ータ生成プログラム１５５ａによりロボットの画像を合
成し、受信した教示データに基づいてシュミレートプロ
グラム１５５ｂにより、ＣＲＴ１５９にロボット動作試
演の動画を表示する。なお、キーボード１６１からの入
力により、試演動画を早送りあるいはスロー再生した
り、あるいは特定の部位の動きを拡大表示するなど、画
像のコントロールを行うようにすることができる。な
お、グラフィックシュミレータ１５は省略してもよい。

【図面の簡単な説明】

【図１】本発明の教示システムの一構成例を示すブロッ
ク図。

【図２】グラフィックシュミレータの構成を示すブロッ
ク図。

【図３】ロボット骨格の模式図。

【図４】骨格の脚部に対する拘束条件の説明図。

【図５】プログラム記憶装置の内容を示す説明図。

【図６】教示システムの全体の処理の流れを示すフロー
チャート。

【図７】教示入力処理のフローチャート。

【図８】教示入力処理において、骨格単位長さを定める
処理の流れを示すフローチャート。

【図９】同じく、各骨格単位の端点の位置合わせ処理の
流れを示すフローチャート。

【図１０】同じく、骨格の端点の座標を算出する処理の
流れを示すフローチャート。

【図１１】同じく、脚部を作る骨格単位の端点の座標を
算出する処理の流れを示すフローチャート。

【図１２】同じく、教示データ算出の流れを示すフロー
チャート。

【図１３】同じく、時間入力処理の流れを示すフローチ
ャート。

【図１４】同じく、教示データ保存処理の流れを示すフ
ローチャート。

【図１５】教示修正処理の流れを示すフローチャート。

【図１６】動画のコマの模式図。

【図１７】コマの時間軸上における配列の一例を示す模
式図。

【図１８】正対モデルに対する骨格画像の寸法合わせ処
理の説明図。

【図１９】モデル画像に対する骨格画像の位置合わせ処
理の説明図

【図２０】アクチュエータの駆動量を算出する方法の説
明図。

【符号の説明】

１ 動作教示システム ５ システム制御部（教示データ演算手段） ６ 画像取込制御部 ７ 表示制御部 ９ プログラム記憶装置 １０ 教示データ記憶装置 １２ マウス（骨格位置決め手段） １４ ＣＲＴ（画像表示手段） １９ ロボット骨格 ３１〜３７ 関節機構 ３８ 骨格画像 ３９ モデル画像 ４０ ポインタ ９０ 動画取り込みプログラム ９１ モデル画像表示プログラム ９２ 骨格画像表示プログラム ９４ 骨格画像位置合わせプログラム ９６ 変位計算プログラム ９８ アクチュエータ駆動量計算プログラム １００ 動作時間設定プログラム １０２ 補助入力プログラム １０４ コマ修正プログラム １０５ コマ削除・追加プログラム １０６ 逐次表示プログラム １０８ 骨格単位固定設定プログラム １０９ 教示データファイル編集プログラム １１０ 拘束条件記憶部 １１２ 標準体寸法データ記憶部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 市岡 祐一朗 愛知県名古屋市東区泉二丁目28番24号 リ コーエレメックス株式会社内

Claims (11)

【特許請求の範囲】
1. 【請求項１】 教示すべきロボット動作に対応するモデ
   ルの動作を経時的に記録した一連のモデル画像と、ロボ
   ットの骨格の画像（以下、骨格画像という）とを表示す
   る画像表示手段と、 その表示手段において前記骨格画像を、前記モデル画像
   に対して位置合わせする骨格位置決め手段と、 時間軸上において互いに前後するモデル画像に対しそれ
   ぞれ位置合わせされた前記骨格画像の変位に基づいて、
   前記骨格の変位データ、骨格間角度データ又はアクチュ
   エータ駆動量データのいずれかを、前記ロボットの教示
   データとして演算する教示データ演算手段と、 を含むことを特徴とするロボットの動作教示システム。
2. 【請求項２】 前記骨格位置決め手段は、前記画像表示
   手段において前記骨格画像を前記モデル画像に対し重ね
   合わせることにより、該モデル画像に対して位置合わせ
   するものとされる請求項１記載の動作教示システム。
3. 【請求項３】 前記モデル画像の時間間隔は、教示すべ
   き前記ロボット動作に応じて変化するものとされている
   請求項１又は２に記載の動作教示システム。
4. 【請求項４】 前記ロボットの骨格の一部のものに対し
   ては、前記教示データ演算手段により、前記時間軸上に
   おいて互いに前後するモデル画像に対しそれぞれ入力さ
   れた前記骨格画像の変位に基づいて前記教示データが算
   定されるとともに、 前記ロボットの骨格の残余のもの及び前記骨格以外の予
   め定められたロボット部位に対応して補助入力手段が設
   けられ、その補助入力手段により、それら骨格ないし部
   位の教示データが個別に入力される請求項１ないし３の
   いずれかに記載の動作教示システム。
5. 【請求項５】 前記ロボットの骨格は関節機構によって
   結合された複数の骨格単位を含み、それら骨格単位はそ
   の関節機構に設けられたアクチュエータにより駆動され
   るものとされ、さらに、 前記モデルに対して予め基準姿勢が設定され、 前記教示データ演算手段は、 その基準姿勢のモデル画像に位置合わせされた前記骨格
   画像に対する、前記各アクチュエータの基準位置を含む
   基準データを記憶する基準データ記憶手段を備え、その
   基準データに基づいて、各時刻における前記各骨格単位
   の変位を算出するものとされている請求項１ないし４の
   いずれかに記載の動作教示システム。
6. 【請求項６】 前記モデル画像に対する前記骨格画像の
   位置合わせのための入力は、前記各骨格単位上の両端部
   に予め定められた目印点の、前記表示手段の表示画面上
   における位置を指定することにより行われる請求項５記
   載の動作教示システム。
7. 【請求項７】 複数の前記骨格単位が組を形成し、その
   組に含まれる各骨格単位同士の相対的な位置関係に予め
   定められた拘束条件が設定され、 当該組に属する骨格単位の各目印点のうち、その一部の
   ものについて前記モデル画像に対する合わせ位置の指定
   を行うことにより、残余の目印点の合わせ位置は、前記
   拘束条件に基づいて定められるものとされている請求項
   ６記載の動作教示システム。
8. 【請求項８】 前記骨格位置決め手段はマウス、トラッ
   クボール等のポインティングデバイスを備え、 前記表示手段は、その表示画面上に前記モデル画像及び
   前記骨格画像とともに、前記ポインティングデバイスの
   操作に伴い該画面上を移動するポインタを表示するもの
   とされ、 前記骨格画像を前記モデル画像に対し位置合わせする際
   には、前記目印点のうち位置合わせするべきものを選択
   し、前記モデル画像上に設定されるその合わせ位置に前
   記ポインタを合わせ、前記ポインティングデバイスに付
   随する入力部を操作して前記目印点の合わせ位置を指定
   することにより、その位置合わせ後の目印点に対応する
   位置に、前記骨格単位が位置合わせされる請求項６又は
   ７に記載の動作教示システム。
9. 【請求項９】 前記ロボットの骨格の任意の１つの骨格
   単位（以下、第一骨格単位という）と、その第一骨格単
   位にアクチュエータを介して結合された第二骨格単位と
   に対し、前記教示データ演算手段は、 前記時間軸上で互いに前後する骨格画像の少なくとも一
   方のものに対し、その前記第一骨格単位と前記第二骨格
   単位とに、回転移動又は並進移動の少なくとも一方を施
   して、両骨格画像の第一骨格単位同士を互いに重ね合わ
   せるとともに、その重ね合わされた状態で、前記両骨格
   画像間における前記第二骨格単位の変位を算出し、その
   算出結果に基づいて、前記アクチュエータの駆動量を算
   出するものとされる請求項５ないし８のいずれかに記載
   の動作教示システム。
10. 【請求項１０】 前記教示データ演算手段は、前記画像
    表示手段に２次元的に表示された前記骨格単位の画像
    と、既知の寸法を有する標準体の画像とに基づいて、該
    骨格単位の３次元的な位置を算出するものとされる請求
    項５ないし９のいずれかに記載の動作教示システム。
11. 【請求項１１】 前記教示データ演算手段により演算さ
    れた教示データを記憶する教示データ記憶手段と、 その記憶された教示データを、前記ロボットの動作の種
    類、及び前記ロボットの部位毎に設定された編集項目別
    に編集する教示データ編集手段を含む請求項１ないし１
    ０のいずれかに記載の動作教示システム。