JPH11338532A - 教示装置 - Google Patents

Abstract

(57)【要約】 【課題】精度の低い形状モデルを用いた信頼性の高いオ
フライン教示が可能で、形状変化に乏しい作業対象に対
し精密な教示作業を効率良く実施可能で、かつシステム
コストが安く形状モデルの校正作業が容易な教示装置を
提供する。 【解決手段】表示装置の画面上で表示された形状モデル
上の教示指標の図形を指定し、指定した画面の座標に対
応した形状モデルの表面上の３次元位置を演算し教示デ
ータとして記録する手段とから教示装置を構成する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、マニピュレータ等
の自動作業装置の位置決め教示を行う教示装置、特に遠
隔作業に用いる自動作業装置の位置決め教示に有効な教
示装置に関する。

【０００２】

【従来の技術】遠隔作業に用いるマニピュレータ等の自
動作業装置の位置決め教示においては、作業対象と自動
作業装置の双方の映像を遠隔ＴＶカメラで監視し、作業
対象上の所定の作業目標に向け自動作業装置を接近させ
作業位置をオンラインで教示していた。一方、ＦＡ加工
組立ての分野では、位置決め教示の手段として、作業対
象と相似の形状を有するＣＡＤデータ等の形状モデル上
で教示点を指定するオフライン教示方式が普及してい
る。これらの技術に対し、オフライン教示の作業効率の
良さと、作業対象の実画像による作業確認の信頼性を兼
ね備える教示手段として、立体視実画像と作業対象の立
体形状モデル画像を重ね合わせ表示し表示画面上での教
示を行う技術（松井他，“マルチメディアディスプレイ
を用いた統合型遠隔ロボット制御法"，日本ロボット学
会誌，Ｖol.6，Ｎo.4，ｐｐ３３−４１，１９８８等）
が開示されている。

【０００３】

【発明が解決しようとする課題】第１の遠隔ＴＶカメラ
の監視下でのオンライン教示に関しては、自動作業装置
と作業対象の相対位置を確実に把握するため多方向から
の監視画像を確認しながら、慎重に作業対象に対する自
動作業装置の接近を図るため教示に多くの作業時間を要
する。さらに、作業対象が例えば大寸法の平坦な壁面の
様に形状の変化が乏しい物の場合、監視画面上で教示点
の設定位置を決める基準が確認できず教示作業が難しく
なる問題があった。

【０００４】第２のオフライン教示に関しては、実物の
作業対象の形状を忠実に再現した形状モデルが必要であ
り、作業内容が作業現場の状況に応じて多種多様になる
場合、精密な形状モデルの製作に多大なコストを要す
る。さらに、形状モデルの精密化によりデータ規模が大
きくなると、システムコストが高くなり、またコンピュ
ータグラフィック演算速度の低下により、教示作業能率
が落ちる問題があった。

【０００５】第３の立体視実画像と作業対象の立体形状
モデル画像を重ね合わせ表示し表示画面上での教示を行
う技術に関しては、実画像とモデル画像の双方が立体画
像であるため各々の座標及び寸法の校正作業が煩雑にな
り、システムコストも高くなる問題があった。

【０００６】本発明の目的は、精度の低い形状モデルを
用いた信頼性の高いオフライン教示が可能で、形状変化
に乏しい作業対象に対し精密な教示作業を効率良く実施
可能で、さらに、システムコストが安く形状モデルの校
正作業が容易な教示装置を提供することにある。

【０００７】

【課題を解決するための手段】１）本発明の目的は、作
業対象の映像を捕らえる少なくとも１つの単眼視の監視
カメラと、作業対象に対する監視カメラの位置及び視線
方向を任意に設定するカメラ位置決め手段と、作業対象
の形状と概略相似な形状を有する形状モデルのデータを
記憶するモデルデータベースと、形状モデルの表面上に
教示指標の図形を描画する手段と、作業対象に対する監
視カメラの相互位置及び視線方向と同等の相互位置及び
視線方向から形状モデルを捕らえ、監視カメラの撮像性
能の内少なくとも画角を同等とした形状モデルの２次元
の仮想画像を生成する仮想画像生成手段と、監視カメラ
で捕らえた作業対象の実画像に仮想画像生成手段で生成
した仮想画像を重ねて操作者に提示する表示装置と、表
示装置の画面上で表示された形状モデル上の教示指標の
図形の一部もしくはその近傍を指定し、指定した画面の
座標に対応した形状モデルの表面上の３次元位置を演算
し教示データとして記録する手段とから、教示装置を構
成することによって達成される。

【０００８】２）本発明の目的は、カメラ位置決め手段
に監視カメラの位置及び姿勢を操作するカメラ位置決め
機構と、操作者がカメラ位置決め機構の位置決め指令情
報を与える操縦装置とを備え、形状モデルとカメラ位置
決め機構の計算機モデルの映像を操作者に対し提示する
作業シミュレータを備え、操縦装置により操作されたカ
メラ位置決め機構の動作情報に基づき仮想画像生成手段
で生成する仮想画像の視野の更新を行うと共に、作業シ
ミュレータ上での形状モデルに対するカメラ位置決め機
構の計算機モデルの位置及び形状を更新することを特徴
として、課題を解決するための手段１）記載の教示装置
を構成することにより達成される。

【０００９】３）教示指標の図形として、格子図形，教
示点の候補の位置を示すマーク，形状モデルの表面上の
作業軌跡の線画，図形に関するコメント情報等のいずれ
かもしくは組み合わせた情報を用いることを特徴とし
て、課題を解決するための手段１）記載の教示装置を構
成することにより達成される。

【００１０】

【発明の実施の形態】以下、図１及び図２を用いて本発
明の実施例について説明する。

【００１１】図１は本実施例の構成図、図２は本実施例
の動作を表す説明図である。図１及び図２において、同
じ構成要素に対して同じ構成番号を記してある。

【００１２】本実施例の構成を、図１を用いて説明す
る。

【００１３】自動作業装置である作業アーム１の位置姿
勢を制御する作業アーム制御装置２に対し、作業軌跡を
形成するための教示点座標のシーケンスを生成出力する
本実施例の教示装置３は、作業対象４を撮影する単眼の
ＴＶカメラ５と、ＴＶカメラ５の位置及び視線方向を操
作するカメラアーム６と、ＴＶカメラ５及びカメラアー
ム６を制御するカメラ位置／視野制御装置７と、作業対
象４と概略相似な形状を記述した形状モデル８と、形状
モデル８の計算機データを保存管理するモデルデータベ
ース９と、形状モデル８の表面に教示指標の図形１０を
描画する教示指標生成部１１と、教示指標生成部１１で
生成した教示指標の図形１０を描画した形状モデル８に
ついて、作業対象４に対するＴＶカメラ５の相互位置及
び視線方向と同等の相互位置及び視線方向から形状モデ
ル８を捕らえ、ＴＶカメラ５の画角等の撮像条件を同等
とした形状モデル８の２次元の仮想画像を生成する仮想
画像生成部１２と、ＴＶカメラ５で捕らえた作業対象４
の実画像に仮想画像生成部１２で生成した形状モデル８
の仮想画像をオーバーラップした合成画像を生成する画
像合成部１３と、合成画像を操作者１４に対し提示する
表示装置１５と、操作者１４がカメラ位置／視野制御装
置７に操作情報を与えるための操縦装置１６と、表示装
置１５の画面上で教示位置を指示するためのマウス等の
入力デバイス１７と、入力デバイス１７の操作により指
定される教示位置を教示マーク１５ａとして表示装置１
５に表示し、かつ教示マーク１５ａで指定した表示装置
１５の画面上の教示位置の２次元座標から、仮想画像生
成部１２での仮想画像生成条件に基づき一意に定まる形
状モデル８の表面上の対応点の３次元座標を演算する教
示位置演算部１８と、教示位置演算部１８の演算出力結
果を作業アーム１の作業軌跡を形成するための教示点座
標として時系列に保持する教示データ記録部１９と、操
作者１４に対し形状モデル８の鳥瞰画像と共にカメラア
ーム６の動作情報に基づき連動するカメラアームモデル
２０の画像を提示し、さらに教示データ記録部１９に蓄
積された教示点座標のシーケンスに基づき形状モデル８
に対する作業アームモデル２１の仮想的なプレイバック
動作を提示する作業シミュレータ２２とから構成され
る。

【００１４】次に本実施例の動作について説明する。

【００１５】作業対象４のベース座標４ａを基準とした
ＴＶカメラ５の座標５ａは、ベース座標４ａからカメラ
アーム６のベース座標６ａとの間の位置方向変換情報及
びベース座標６ａから座標５ａまでの位置変換情報によ
り算出される。ベース座標６ａから座標５ａまでの位置
変換情報は、カメラアーム６の動作に伴い変化する。仮
想画像生成部１２にはＴＶカメラ５を模擬したカメラモ
デル２３を含み、形状モデル８のベース座標８ａを基準
としたカメラモデル２３の座標２３ａは、ベース座標８
ａからカメラモデル２３の移動の原点となるベース座標
２３ｂとの間の位置方向変換情報及びベース座標２３ｂ
から座標２３ａまでの位置変換情報により算出される。
ここで、ベース座標８ａからベース座標２３ｂとの間の
位置方向変換情報は、ベース座標４ａからベース座標６
ａとの間の位置方向変換情報と一致するように、作業の
初期段階で予め校正される。この条件で、ベース座標２
３ｂから座標２３ａまでの位置変換情報は、カメラ位置
／視野制御装置７から得られるベース座標６ａから座標
５ａまでの位置変換情報に一致するように逐次更新され
る。

【００１６】この様な構成から、形状モデル８に対する
カメラモデル２３の位置及び視線方向は、常に作業対象
４に対するＴＶカメラ５の位置及び視線方向に一致する
ように条件設定される。さらに、カメラモデル２３は自
身の位置及び視線方向及びカメラ位置／視野制御装置７
から得られるＴＶカメラ５の画角等の撮像条件に基づ
き、形状モデル８の３次元形状データをカメラモデル２
３の撮像面（図示せず）での２次元画像データに変換演
算する。このような構成から、仮想画像生成部１２は、
ＴＶカメラ５から作業対象４を撮影したのと等価な形状
モデル８の仮想画像を生成する。

【００１７】カメラアーム６の運用に関しては、操縦装
置１６の操作により任意の位置，視線方向にＴＶカメラ
５を移動させる。この時、操作者１４は、２つの画像を
確認しながら作業を進める。１つは作業シミュレータ２
２の画面であり、実際の作業対象４とカメラアーム６の
相互位置関係を、作業シミュレータ２２の画面上で示さ
れる形状モデル８に対するカメラアームモデル２０の鳥
瞰画像により、大域的なＴＶカメラ５の位置を確認す
る。もう１つの画像は、表示装置１５に提示される合成
画像であり、所定の教示位置に達したか詳細情報を見
る。

【００１８】教示作業は、次の様な手順で行われる。

【００１９】表示装置には、図２に示すように、作業対
象４をＴＶカメラ５で捕らえた実画像１５ｂと、仮想画
像生成部１２で生成した形状モデル８の仮想画像１５ｃ
を合成した、合成画像１５ｄが表示される。仮想画像１
５ｃは、形状モデル８の監視方向から見える表面の輪郭
線１５ｈと教示指標の図形１０のみを表示し、他の部分
は透明表示する。従って、合成画像１５ｄは、実画像１
５ｂの上に輪郭線15ｈと教示指標の図形１０を上書きし
た画像となる。

【００２０】このような画面構成により、形状モデル４
にて表現を省いた詳細構造１５ｅ及び形状モデル８の作
成時には存在しなかった作業対象４の変化部分１５ｆを
確認しながら教示作業を実現できる。さらに、教示指標
の図形１０を基準として教示点を定めることができるの
で、実画像１５ｂ上に構造として特徴の無い場合でも教
示点位置の設定を容易にできる。

【００２１】教示指標の図形１０としては、本実施例で
は格子図形を例として提示している。例えば、格子図形
の垂直線及び水平線の描画間隔を規定のスケールで表示
すれば、作業対象４に教示点の設定座標を定義できる。
さらに、本実施例に示すように予め作業軌跡の線画像１
５ｇを描画すれば、これに沿って教示点の設定が可能で
ある。さらに、教示指標の図形１０として座標位置の数
値，作業軌跡の識別名称などのコメント情報を重ねて描
画することも可能である。

【００２２】教示点の指定は、入力デバイス１７の操作
により表示装置１５の画面上で教示マーク１５ａを移動
し教示指標の図形１０の上もしくは近傍を指示すること
で実行される。教示位置演算部１８は、指定された教示
点の表示装置１５の画面上での座標に基づき、仮想画像
１５ｃ上の教示点の２次元座標を算出する。さらに、仮
想画像生成部１２より得たカメラモデル２３自身の位
置，視線方向及び画角等の撮像条件に基づき、仮想画像
１５ｃ上の教示点の２次元座標に対応し一意に定まる形
状モデル８の表面上の対応点の３次元座標を逆変換演算
する。この作業を繰り返すことにより、作業軌跡を記述
する形状モデル８の表面上の教示点の系列が生成され、
教示データ記録部１９に登録され教示作業が完了する。
この処理では、作業アーム１の手先の位置座標の教示が
実施されるが、手先の方向の教示については、形状モデ
ル８の教示位置近傍の表面の法線方向を設定する等の教
示点の位置情報に連動した特定の規範に基づく自動設
定、あるいは作業アームモデル２１を形状モデル８と同
等に合成画像１５ｄ上に投影し、仮想的な操縦操作によ
り作業対象４との干渉の有無を確認しながら方向を設定
する等の方法で決定できる。

【００２３】教示作業が終了した後は、教示データ記録
部１９に登録された教示データに基づき作業シミュレー
タ上で作業アームモデル２１を運用し、作業時の干渉の
有無等のチェックを行い、最終的に作業アーム１による
作業を実施する。

【００２４】以上説明した本実施例によれば、単眼視Ｔ
Ｖカメラにより撮影した作業対象の実画像上に、ＴＶカ
メラより撮影したのと同等の形状モデルの仮想画像を重
ね合わせて操作者に提示でき、さらに仮想画像上に教示
指標の図形を表示し操作者に、教示位置の設定基準を提
示できる。さらに、表示装置の２次元画面上での教示点
位置の指示のみにより、自動的に形状モデル表面上の教
示点対応の３次元位置を求めることができる。さらに、
作業シミュレータ上でカメラアームの動作及びＴＶカメ
ラの撮影範囲を大局的に確認しながら実画像の視野を設
定でき、これに連動して実画像と同等の仮想画像を生成
できる。

【００２５】

【発明の効果】本発明によれば、作業対象の表面上に作
業軌跡等の作業指示情報を直接描くのと同様に、遠隔監
視画像上に作業指示情報を得ることができ、さらに作業
対象の実画像にオーバーラップした仮想画像上でオフラ
イン教示が可能であるため、特に原子力プラント予防保
全，宇宙ロボット，医療用テレオペレーション等直接作
業者が作業対象に接近して段取り作業をすることが困難
な遠隔作業の効率向上及び信頼性向上に効果を持つ。さ
らに、作業対象の実画像にオーバーラップした仮想画像
上でオフライン教示を行うため、オフライン教示に用い
る形状モデルを低精度にしても実画像による補完が可能
であり、コンピュータグラフィックの高速化，システム
コストの低減及び形状モデルの製作コスト低減に効果を
持つ。

【００２６】さらに、単眼視の２次元画像上の教示位置
指定のみで自動的に作業対象表面上の３次元位置を教示
できるため操作が簡便であり、教示作業の効率向上に効
果がある。さらに、単眼視の画像をベースにした教示シ
ステムのため、立体視をベースとした教示システムに比
べ、作業対象に対するＴＶカメラの位置／視野の校正作
業が容易であり、さらに、システム構成も簡素になりシ
ステムコストの低減が可能である。

【図面の簡単な説明】

【図１】本発明の実施例である教示装置の構成図。

【図２】図１の動作を示す説明図。

【符号の説明】

１…作業アーム、２…作業アーム制御装置、３…教示装
置、４…作業対象、５…ＴＶカメラ、６…カメラアー
ム、７…カメラ位置／視野制御装置、８…形状モデル、
９…モデルデータベース、１０…教示指標の図形、１１
…教示指標生成部、１２…仮想画像生成部、１３…画像
合成部、１４…操作者、１５…表示装置、１６…操縦装
置、１７…入力デバイス、１８…教示位置演算部、１９
…教示データ記録部、２０…カメラアームモデル、２１
…作業アームモデル、２２…作業シミュレータ、２３…
カメラモデル。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 菅原 宣彦 茨城県日立市幸町三丁目１番１号 株式会 社日立製作所日立工場内

Claims (3)

【特許請求の範囲】
1. 【請求項１】マニピュレータ等の自動作業装置の位置決
   め教示を行う教示装置に於いて、作業対象の映像を捕ら
   える少なくとも１つの単眼視の監視カメラと、作業対象
   に対する監視カメラの位置及び視線方向を任意に設定す
   るカメラ位置決め手段と、作業対象の形状と概略相似な
   形状を有する形状モデルのデータを記憶するモデルデー
   タベースと、形状モデルの表面上に教示指標の図形を描
   画する手段と、作業対象に対する監視カメラの相互位置
   及び視線方向と同等の相互位置及び視線方向から形状モ
   デルを捕らえ、監視カメラの撮像条件の内少なくとも画
   角を同等とした形状モデルの２次元の仮想画像を生成す
   る仮想画像生成手段と、監視カメラで捕らえた作業対象
   の実画像に仮想画像生成手段で生成した仮想画像を重ね
   て操作者に提示する表示装置と、表示装置の画面上で表
   示された形状モデル上の教示指標の図形の一部もしくは
   その近傍を指定し、指定した画面の座標に対応した形状
   モデルの表面上の３次元位置を演算し教示データとして
   記録する手段とを備えたことを特徴とする教示装置。
2. 【請求項２】前記カメラ位置決め手段に監視カメラの位
   置及び姿勢を操作するカメラ位置決め機構と、操作者が
   カメラ位置決め機構の位置決め指令情報を与える操縦装
   置とを備え、前記形状モデルと前記カメラ位置決め機構
   の計算機モデルの映像を操作者に対し提示する作業シミ
   ュレータを備え、操縦装置により操作されたカメラ位置
   決め機構の動作情報に基づき前記仮想画像生成手段で生
   成する仮想画像の視野の更新を行うと共に、前記作業シ
   ミュレータ上での形状モデルに対するカメラ位置決め機
   構の計算機モデルの位置及び姿勢を更新することを特徴
   とする請求項１記載の教示装置。
3. 【請求項３】前記教示指標の図形として、格子図形，教
   示点の候補の位置を示すマーク，前記形状モデルの表面
   上の作業軌跡の線画，図形に関するコメント情報等のい
   ずれかもしくは組み合わせた情報を用いることを特徴と
   する請求項１記載の教示装置。