JPH1185235A - 撮像装置を用いた機械装置のビジュアルフィードバック方法 - Google Patents

Abstract

(57)【要約】 【課題】画像座標系上の対象物体の特徴部分の動きを作
業座標系上の対象物体の特徴部分の動きに変換する際に
必要となる局所的な２次元速度ベクトルの座標変換マト
リクスを作業座標系上の対象物体の動きから推定する。 【解決手段】CCD カメラ26でロボットマニピュレータ21
で移動する対象物体のペグ23を含むシーンを撮影し、こ
の撮像信号からペグ23の特徴部分29を画像処理により抽
出し、特徴部分29をCCD カメラ26の撮像面に固定された
画像座標系上を追跡し、画像座標系上の２次元速度ベク
トルとロボットマニピュレータ21により認識される作業
座標系上の２次元速度ベクトルとを対応づける２次元速
度ベクトル座標変換マトリクスを局所的に推定し、ペグ
23を画像座標系上の目標位置へ移動するようにロボット
マニピュレータ21へ位置、速度指令を帰還する。更に偏
差ベクトルと現在の速度指令から予め設定されたマニピ
ュレータ21の速度の加減速パターンに基づく様に新たな
速度指令を得る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は２次元の画像信号に
基づいて搬送装置の移動機構に対して好適な位置又は速
度指令を、フィードバックするための撮像装置を用いた
機械装置のビジュアルフィードバック方法に関する。

【０００２】

【従来の技術】従来、この種の撮像装置を用いた機械装
置のビジュアルフィードバック方法は、ＩＴＶカメラな
どで対象物体を２次元で撮影した画像データに基づいて
ロボットのマニピュレータなどの搬送装置の移動機構に
対して位置又は速度指令をフィードバックする目的で用
いられている。この撮像装置を用いた機械装置のビジュ
アルフィードバック方法では、例えば、特公平８−２３
８８９号公報（ロボットを用いた物体の取出し方法）に
示されるように、撮影した画像データにおける撮影対象
物体の特徴部分を、画像処理によって抽出して撮像面に
固定された画像座標系上を追跡している。そして、対象
物体を画像座標系上の目標位置へ移動するように移動機
構に対して位置又は速度指令をフィードバックする。こ
のように撮像装置から出力される画像データに基づいて
対象物体を移動させるなどの操作を実行する場合、撮像
装置の撮像面に固定された画像座標系と移動機構によっ
て認識できる作業座標系との相対位置、及び、姿勢関係
と撮像装置が有する内部パラメータを予め求めておく必
要がある。また、特開平８−７１９７２号公報（ロボッ
トとカメラの自動調整方法）に示されるように、画像座
標系と作業座標系との関係及び内部パラメータを求める
場合、人手によって正確に計測する、あるいは、測定の
ための専用の物体を使用する等を行う。換言すれば、画
像座標系と作業座標系との関係及び内部パラメータとを
求める場合、精密なキャリブレーションを実行して測定
している。図８は従来のビジュアルフィードバック方法
による移動機構制御装置の構成を示している。図８に示
した構成は、ＣＣＤカメラ３０１と、ロボットコントロ
ーラ３０２と、ロボットマニピュレータ３０３と、撮像
シーン３０４と、画像処理装置３０５と、ヤコビ行列推
定器３０６と、速度指令生成器３０７とを有し、ロボッ
トマニピュレータ３０３のロボットハンドを目標位置へ
移動させるものである。ここで、ＣＣＤカメラ３０１は
撮像シーン３０４のようにロボットマニピュレータ３０
３のロボットハンドの移動範囲を撮像し、この撮像信号
を画像処理装置３０５へ出力する。画像処理装置３０５
は、ロボットマニピュレータ３０３のロボットハンドの
画像座標系上での特徴部分を追跡し、ロボットマニピュ
レータ３０３のロボットハンドの画像座標系上での特徴
部分の現在位置ｆを出力する。ロボットマニピュレータ
３０３のロボットハンドの画像座標系上での特徴部分の
目標位置ｆ_d は予め与えられている。ヤコビ行列推定器
３０６は、ロボットコントローラ３０２から得られるロ
ボットハンドの作業座標系上での現在位置Ｘと、画像処
理装置３０５から得られるロボットハンドの画像座標系
上での特徴部分の現在位置ｆとを入力し、式（１）を満
たすヤコビ行列Ｊを推定する（細田、浅田：「構造やパ
ラメータに関する先験的な知識を必要としないフィード
フォワード補償器を持つ適応型ビジュアルサーボ系の構
成」、日本ロボット学会誌１４巻２号参照）。 df/dt ＝ＪdX/dt …（１） ここで、df/dt はロボットハンドの画像座標系上での特
徴部分の速度ベクトル、dX/dt はロボットハンドの作業
座標系上での特徴部分の速度ベクトルである。速度指令
生成器３０７は、式（２）によって速度指令を生成す
る。 dX/dt ＝ＫＪ^-1（ｆ_d −ｆ） …（２） 式（２）によってロボットコントローラ３０２に供給す
る速度指令dX/dt を生成する。ここで、Ｋはゲイン行列
である。図９はロボットコントローラ３０２にフィード
バックされる速度の加減速パターンを示している。図９
に示すように、縦軸を速度dX/dt 、横軸を時間ｔとする
速度の加減速パターンがロボットコントローラ３０２に
フィードバックされる。

【０００３】

【発明が解決しようとする課題】このような上記従来例
の撮像装置を用いた機械装置のビジュアルフィードバッ
ク方法では、キャリブレーション精度が、対象物体の特
徴部分の画像座標系での位置と作業座標系での位置との
対応に直接影響するため、画像座標系及び作業座標系と
の相対的な位置及び姿勢関係と撮像装置が有する内部パ
ラメータを精密に求める必要がある。この場合、多大な
処理時間が必要になるという欠点がある。また、精密な
キャリブレーションを実行した後に、作業座標系と画像
座標系との相対的な位置及び姿勢関係に、例えば、撮像
装置を動かすなどの理由で、その微妙な変化が生じた場
合には、煩雑な処理のキャリブレーションをやり直す必
要がある。同様に撮像装置が有する内部パラメータに、
例えば、レンズの焦点距離を変更するなどの理由で、そ
の微妙な変化が生じた場合も、煩雑な処理のキャリブレ
ーションをやり直す必要があるという不都合がある。さ
らに、図８及び図９に示した構成では、ロボットコント
ローラにフィードバックされる速度指令が初期で大きく
なり、制御対象のロボットが急激に動いてしまうという
欠点がある。本発明は、このような従来の技術における
課題を解決するものであり、煩雑なキャリブレーション
を必要とせずに、画像座標系上の対象物体の特徴部分の
動き（２次元速度ベクトル）を作業座標系上の対象物体
の特徴部分の動きに変換する際に必要となる局所的な２
次元速度ベクトル座標変換マトリクスを、作業座標系上
の対象物体の動きから推定するパラメータ数を低減し
て、簡便に推定できる撮像装置を用いた機械装置のビジ
ュアルフィードバック方法の提供を目的とする。さら
に、制御対象の移動機構（ロボット）が急激に動いてし
まうことのない速度の加減速パターンを作成して、その
制御対象の移動機構を滑らかに作動させることを目的と
する。

【０００４】

【課題を解決するための手段】本発明の請求項１の撮像
装置を用いた機械装置のビジュアルフィードバック方法
は、少なくとも１台の撮像装置によって移動機構で移動
する対象物体を含むシーンを撮影し、前記撮像装置で得
られる撮像信号から対象物体の特徴部分を画像処理によ
って抽出し、前記特徴部分を前記撮像装置の撮像面に固
定された画像座標系上を追跡し、前記画像座標系上の２
次元速度ベクトルと前記移動機構によって認識される作
業座標系上の２次元速度ベクトルとを対応づける２次元
速度ベクトル座標変換マトリクスを局所的に推定し、前
記対象物体を前記画像座標系上の目標位置へ移動するよ
うに前記移動機構へ位置又は速度指令をフィードバック
するものである。さらに、請求項２では、前記２次元速
度ベクトル座標変換マトリクスを、前記移動機構の動作
によって発生する画像座標系上での対象物体の特徴部分
の２次元速度ベクトルと、該２次元速度ベクトルと１次
独立の関係にある少なくとも一つの推定補助ベクトルと
を利用して推定するものである。このような構成の本発
明の撮像装置を用いた機械装置のビジュアルフィードバ
ック方法では、画像座標系上の２次元速度ベクトルと作
業座標系上の２次元速度ベクトルとを対応づける２次元
速度ベクトル座標変換マトリクスを局所的に推定してい
るため、煩雑なキャリブレーションが不要になる。さら
に、画像座標系上及び作業座標系上の２次元速度ベクト
ルの対応をマトリクス表現しているため、画像座標系上
及び作業座標系上の位置の対応のマトリクス表現に比較
して、画像座標系上の対象物体の特徴部分の動き（２次
元速度ベクトル）を作業座標系上の対象物体の特徴部分
の動きに変換する際に必要となる局所的な２次元速度ベ
クトル座標変換マトリクスが、作業座標系上の対象物体
の動きから簡便、すなわち、推定するパラメータ数が低
減する少ない演算量で推定される。同様にして画像座標
系上の情報から作業座標系の情報を求める際にも演算量
が少なくなる。また、請求項３では、少なくとも１台の
撮像装置によって移動機構で移動する対象物体を含むシ
ーンを撮影し、前記撮像装置で得られる撮像信号から対
象物体の特徴部分を画像処理によって抽出し、前記特徴
部分を前記撮像装置の撮像面に固定された画像座標系上
を追跡し、前記画像座標系上での対象物体の目標位置と
現在位置との偏差を前記作業座標系に変換し、変換後の
偏差及び現在の速度指令に基づいて、予め設定された前
記移動機構の速度の加減速パターンに対応する、新たな
速度指令を計算するものである。さらに、請求項４で
は、前記新たな速度指令を平滑化するためにフィルタ処
理するものである。請求項３及び４は、偏差及び現在の
速度指令に基づいて、予め設定された移動機構の速度の
加減速パターンに対応する、新たな速度指令を計算する
ものであり、ロボットなどの移動機構が初期に急激に動
くことなく、滑らかに動作する。

【０００５】

【発明の実施の形態】以下、本発明の実施の形態を図面
を参照して説明する。図１は本発明の撮像装置を用いた
機械装置のビジュアルフィードバック方法を実現するた
めの撮像システムの構成図である。図１に示す例は制御
によって搬送作業するロボットマニピュレータ２１と、
このロボットマニピュレータ２１の先端に取り付けられ
たロボットハンド２２と、対象物体のペグ２３とを有し
ている。 また、この例はワーク２４を有し、このワー
ク２４には貫通するホール２５が設けられている。更
に、撮像装置としてのＣＣＤカメラ２６を有している。
また、ＣＣＤカメラ２６で撮影した撮像シーン２７が画
面表示されるとともに、ＣＣＤカメラ２６からの画像デ
ータを処理する画像処理装置２８を有している。また、
対象物体のペグ２３の特徴部分２９が図示されている。
次に、図１に示す構成の動作及び機能について説明す
る。図１において、ペグ２３をホール２５に挿入するペ
グインホールを実行する。まず、ロボットマニピュレー
タ２１に接続されたロボットハンド２２によってペグ２
３を挟み込んで保持する。ロボットマニピュレータ２１
への位置又は速度指令に基づいてロボットマニピュレー
タ２１が動作して、ペグ２３が移動する。一方、ＣＣＤ
カメラ２６がロボットマニピュレータ２１、ロボットハ
ンド２２、ペグ２３、ワーク２４及びホール２５を含む
シーンを撮影する。このシーンの画像データがＣＣＤカ
メラ２６から画像処理装置２８に送出される。画像処理
装置２８では、ペグ２３の特徴部分２９を画像上で追跡
し、この特徴部分２９の動きがロボットマニピュレータ
２１の動きに変換されて、ロボットマニピュレータ２１
の位置又は速度指令としてフィードバックされる。ここ
で必要となるのは、撮像シーン２７におけるペグ２３の
特徴部分２９の動きを、ロボットマニピュレータ２１の
動きに変換することである。図２は、この実施形態で処
理される座標系を説明するための図である。図２に示す
座標系は、画像座標系３１及び作業座標系３２を有し、
画像座標系３１は焦点距離（ｆ）３４と、焦点３５と、
撮像面３６と、投影点３７及び光軸３８からなる。更
に、対象点（Ｐ）３３を有している。図１及び図２にお
いて、画像座標系３１は撮像装置であるＣＣＤカメラ２
６の撮像面３６に固定される。作業座標系３２はロボッ
トマニピュレータ２１が認識できる空間上に固定され
る。対象点（Ｐ）３３は、空間上の点でペグ２３の特徴
部分２９の中心付近に相当し、ＣＣＤカメラ２６の焦点
３５と対象点（Ｐ）３３とからなる直線と、撮像面３６
との交点（投影点３７）に投影される。ＣＣＤカメラ２
６から出力される画像から得られる追跡対象である対象
点（Ｐ）３３の投影点３７の位置情報に基づいて、ロボ
ットマニピュレータ２１の動きを決定するためには、画
像座標系３１とロボットマニピュレータ２１の認識でき
る作業座標系３２との位置、及び、姿勢関係とＣＣＤカ
メラ２６の内部パラメータを求める必要がある。例え
ば、焦点距離（ｆ）３４を求める必要がある。一般的
に、画像座標系３１と作業座標系３２との位置、及び、
姿勢関係とＣＣＤカメラ２６の内部パラメータとは式
（３）で表される。

【０００６】

【数１】

【０００７】ここでｓは同次座標値であり、ｘ，ｙ，ｚ
は作業座標系３２で表現した対象点（Ｐ）３３の座標値
（Ｘ）である。また、ｕ，ｖは投影点３７の画像座標系
３１の座標値（ｆ）であり、ｍ₁₁〜ｍ₄₃は作業座標系３
２と画像座標系３１との位置及び姿勢関係とＣＣＤカメ
ラ２６の内部パラメータを関係づける座標変換マトリク
スの各パラメータである。対象点（Ｐ）３３の動きを拘
束する平面の方程式が以下の式（４）で表される。 ｚ＝０ …（４） この式（４）によって式（３）は式（５）で表される。

【０００８】

【数２】

【０００９】ここでｎ₁₁〜ｎ₃₃は対象点（Ｐ）３３が式
（４）で表される拘束平面上のみを動く場合の画像座標
系３１と作業座標系３２との位置及び姿勢関係とＣＣＤ
カメラ２６の内部パラメータとを関係付ける座標変換マ
トリクスの各パラメータである。なお、ここでは式
（４）に限定したが、一般的に、ある拘束平面上のみを
動く場合は、作業座標系３２の位置及び姿勢を考慮する
ことによって式（４）に示す制限に置換できる。また、
ここでは式（５）で表されるように画像座標系３１上の
２次元情報から作業座標系３２上の２次元情報への変換
に限定する。式（５）において、画像座標系３１上の微
少移動変化量に対する作業座標系３２上の微少移動変化
量の関係が式（６）で表される。

【００１０】

【数３】

【００１１】ここでΔｘ，Δｙは作業座標系３２上の微
少移動変化量であり、Δｕ，Δｖは画像座標系３１上の
微少移動変化量である。ａ₁₁〜ａ₂₂は画像座標系３１上
の微少移動変化量と作業座標系３２上の微少移動変化量
とを対応付ける座標変換マトリクスの各パラメータであ
り、それぞれｕ，ｖの関数である。なお、（Δｘ，Δ
ｙ）を作業座標系３２上の２次元速度ベクトル（dX/dt
）とし、かつ、（Δｕ，Δｖ）を画像座標系３１上の
２次元速度ベクトル（df/dt ）とし、かつ、式（６）の
２×２マトリクスを２次元速度ベクトル座標変換マトリ
クス（Ｔ）とする。図３は画像座標系上の対象点の推移
と作業座標系上の対象点の推移を示す図である。図３
（ａ）は画像座標系４１であり、図３（ｂ）は作業座標
系４２である。図３（ａ）の画像座標系４１はｉ−２番
目の画像座標系４１上の対象点４３と、ｉ−１番目の画
像座標系４１上の対象点４４と、ｉ番目の画像座標系４
１上の対象点４５と、画像座標系４１上の目標点４６、
及び、推定補助点４７とを有している。また、図３
（ｂ）の作業座標系４２は、ｉ−２番目の作業座標系４
２上の対象点４８と、ｉ−１番目の作業座標系４２上の
対象点４９、及び、ｉ番目の作業座標系４２上の対象点
５０及び作業座標系４２上の目標点５１とを有してい
る。ここではｉ番目の画像座標系４１上の対象点４５と
ｉ−１番目の画像座標系４１上の対象点４４との差分
（２次元速度ベクトル）を（Δｕ_i-1 ，Δｖ_i-1 ）と
し、かつ、ｉ−１番目の画像座標系４１上の対象点４４
とｉ−２番目の画像座標系４１上の対象点４３との差分
（２次元速度ベクトル）を（Δｕ_i-2 ，Δｖ_i-2）とす
る。更に、推定補助点４７とｉ−１番目の画像座標系４
１上の対象点４４との差分（推定補助ベクトル）を（Δ
ｕ_i-1'，Δｖ_i-1'）とする。また、ｉ番目の作業座標系
４２上の対象点５０とｉ−１番目の作業座標系４２上の
対象点４９との差分（２次元速度ベクトル）を（Δｘ
_i-1 ，Δｙ_i-1 ）とし、かつ、ｉ−１番目の作業座標系
４２上の対象点４９とｉ−２番目の作業座標系４２上の
対象点４８との差分（２次元速度ベクトル）を（Δｘ
_i-2 ，Δｙ_i-2 ）とする。ここで画像座標系４１上の２
次元速度ベクトル（Δｕ_i-1 ，Δｖ_i-1 ）と画像座標系
４１上の推定補助ベクトル（Δｕ_i-1'，Δｖ_i-1'）とは
垂直の関係にある。ここでロボットマニピュレータ２１
の動作によって、ペグ２３が移動（対象点（Ｐ）３３が
移動）し、作業座標系４２のｉ−１番目の作業座標系４
２上の対象点４９の位置を通過する。そして、ｉ番目の
作業座標系４２上の対象点５０の位置に移動した場合、
この対象点（Ｐ）３３の移動に伴って、対象点（Ｐ）３
３は画像座標系４１のｉ−１番目の画像座標系４１上の
対象点４４の位置を通過してｉ番目の画像座標系４１上
の対象点４５の位置に移動する。対象点（Ｐ）３３の移
動目標点は、画像座標系４１上では画像座標系４１上の
目標点４６であり、また、作業座標系４２上では作業座
標系４２上の目標点５１である。この対象点（Ｐ）３３
の移動目標点は、画像座標系４１では認識できるが、ロ
ボットマニピュレータ２１が、画像座標系４１から得ら
れる情報に基づいた位置又は速度指令に従って動作する
ため、作業座標系４２では認識できない。ここでは画像
座標系４１上の２次元速度ベクトルと作業座標系４２上
の２次元速度ベクトルとを対応づける２次元速度ベクト
ル座標変換マトリクス（Ｔ）の各パラメータの推定を考
える。対象点（Ｐ）３３が、ｉ−１番目の作業座標系４
２上の対象点４９からｉ番目の作業座標系４２上の対象
点５０まで移動する際の２次元速度ベクトル（Δ
ｘ_i-1 ，Δｙ_i-1 ）は、前回推定して求めた２次元速度
ベクトル座標変換マトリクスＴ_i-1 を用いて式（６）か
ら式（７）で求めることができる。

【００１２】

【数４】

【００１３】この式（７）で利用した２次元速度ベクト
ル座標変換マトリクスＴ_i-1 を用いて、推定補助ベクト
ル（Δｕ_i-1'，Δｖ_i-1'）に対応する作業座標系４２上
の推定補助ベクトル（Δｘ_i-1'，Δｙ_i-1'）を求めると
式（６）から式（８）となる。

【００１４】

【数５】

【００１５】ここで式（６）を変形し、画像座標系４１
上の２次元速度ベクトル（Δｕ_i-1，Δｖ_i-1 ）と、画
像座標系４１上の推定補助ベクトル（Δｕ_i-1'，Δｖ
_i-1'）と、作業座標系４２上の２次元速度ベクトル（Δ
ｘ_i-1 ，Δｙ_i-1 ）と、作業座標系４２上の推定補助ベ
クトル（Δｕ_i-1'，Δｖ_i-1'）を代入すると式（９）で
表すことができる。

【００１６】

【数６】

【００１７】式（９）における左辺の４×４マトリクス
は、逆マトリクスが存在するため、２次元速度ベクトル
座標変換マトリクスＴ_i の各パラメータを求めることが
できる。ここで求めた２次元速度ベクトル座標変換マト
リクスＴ_i を用いて式（６）から次の作業座標系４２上
の２次元速度ベクトルを求める。なお、画像座標系４１
上の推定補助ベクトル（Δｕ_i-1'，Δｖ_i-1'）では、画
像座標系４１上の２次元速度ベクトル（Δｕ_i-1 ，Δｖ
_i-1 ）に対して垂直としているが、必ずしも垂直である
必要はない。例えば、２次元速度ベクトル（Δｕ _i-1 ，
Δｖ_i-1 ）と一次独立の関係にある２次元速度ベクトル
を利用すれば良い。また、推定補助ベクトルの利用は一
つに限定されず二つを利用しても良い。例えば、画像座
標系４１上の２次元速度ベクトル（Δｕ_i-1 ，Δ
ｖ_i-1 ）に対して垂直な二つの２次元速度ベクトルを利
用しても良い。この場合、一つの推定補助ベクトルが画
像座標系４１上の２次元速度ベクトル（Δｕ_i-1 ，Δｖ
_i-1 ）に対して１次独立であれば良い。また、この実施
形態では式（６）を基本にしてビジュアルフィードバッ
クを実行しているが、式（５）に基づいたビジュアルフ
ィードバック処理の実現も考えられる。しかしながら式
（６）に基づいた方式は式（５）に基づいた方式と比較
すると、推定するマトリクスのパラメータの数が少ない
ため、式（９）に基づくマトリクス推定に必要となる演
算量を少なくすることができる。更に、画像座標系４１
上の対象点の情報から作業座標系４２上の対象点の情報
を求める際にも式（６）、式（５）の比較によって、式
（６）に基づいた処理が式（５）に基づいた処理より
も、その演算量を少なくすることができる。図４は、ビ
ジュアルフィードバックの処理手順を示すフローチャー
トである。図４において、ビジュアルフィードバックの
開始時にあって（Ｓ１０１）、作業座標系上の対象点
（図１におけるペグ２３の特徴部分２９の中心に相当）
の位置（ｘ，ｙ）は、ロボットマニピュレータ２１が作
業座標系を認識できることから測定できものであり、こ
の画像座標系上の対象点の位置（ｕ，ｖ）及び画像座標
系上の目標点（図１におけるホール２５に相当）の位置
（ｕ_d ，ｖ_d ）は、ＣＣＤカメラ２６が対象点及び目標
点を含むシーンを撮像していることから測定できる。次
に、画像座標系上の対象点の位置（ｕ，ｖ）、画像座標
系上の目標点の位置（ｕ_d ，ｖ_d ）、作業座標系の対象
点の位置（ｘ，ｙ）をそれぞれ測定する（Ｓ１０２）。
その後、画像座標系上の目標点の位置（ｕ_d ，ｖ_d ）と
画像座標系上の対象点の位置（ｕ，ｖ）との差分
（ｅ_u ，ｅ_v ）を演算し（Ｓ１０３）、この差分
（ｅ _u ，ｅ_v ）と、ある閾値（Ｓ_u ，Ｓ_v ）とを比較す
る（Ｓ１０４）。そして、差分（ｅ_u ，ｅ_v ）が、所定
の閾値（Ｓ_u ，Ｓ_v ）より小さい場合は（Ｓ１０４：Ｙ
ｅｓ）、ビジュアルフィードバックを終了し（Ｓ１０
９）、大きい場合は（Ｓ１０４：Ｎｏ）、次の処理Ｓ１
０５に移る。この場合、Ｓ１０９の終了に推移する条件
は、ｅ_u がＳ_u よりも小さく、かつ、ｅ_v がＳ_v よりも
小さい場合、又は、ｅ_u がＳ_u よりも小さく、あるい
は、ｅ_v がＳ_v よりも小さい場合のいずれでも良い。Ｓ
１０５では、式（１０）に基づいて作業座標系上の２次
元速度ベクトル（Δｘ，Δｙ）を求める。

【００１８】

【数７】

【００１９】ここで、Ｔは２次元速度ベクトル座標変換
マトリクスであり、Ｋは、ゲインマトリクスである。な
お、ビジュアルフィードバックの処理の初回は、２次元
速度ベクトル座標変換マトリクスＴが求められていない
ため、人手によって適当な２次元速度ベクトル座標変換
マトリクスＴの各パラメータの値を指定する、ロボット
マニピュレータ２１を適当に移動させて２次元速度ベク
トル座標変換マトリクスＴの各パラメータ値を求めてお
くなどの処理で求めた２次元速度ベクトル座標変換マト
リクスＴを用いる。このようにして求められた作業座標
系上の２次元速度ベクトル（Δｘ，Δｙ）に基づいてロ
ボットマニピュレータ２１を操作して対象点を移動す
る。この移動した対象点を画像座標系上で追跡し、実際
の移動量、すなわち、画像座標系上の２次元速度ベクト
ル（Δｕ，Δｖ）を測定する（Ｓ１０６）。その後、画
像座標系上の２次元速度ベクトル（Δｕ，Δｖ）と１次
独立の関係にある推定補助ベクトル（Δｕ’，Δ
ｖ’）、例えば、画像座標系上の２次元速度ベクトル
（Δｕ，Δｖ）と垂直なベクトルを求め式（８）に基づ
いて、作業座標系上の推定補助ベクトル（Δｘ’，Δ
ｙ’）を演算する（Ｓ１０７）。そして、求められた画
像座標系上の２次元速度ベクトル（Δｕ，Δｖ）と、画
像座標系上の推定補助ベクトル（Δｕ’，Δｖ’）と、
作業座標系上の２次元速度ベクトル（Δｘ，Δｙ）と、
作業座標系上の推定補助ベクトル（Δｘ’，Δｙ’）と
を用いて式（９）から２次元速度ベクトル座標変換マト
リクスＴの各パラメータを推定する（Ｓ１０８）。Ｓ１
０８の後はＳ１０２に推移し、処理を繰り返す。なお、
この実施形態では、ビジュアルフィードバック中に、画
像座標系と作業座標系との相対的な位置及び姿勢関係に
変化が生じた場合、また、撮像装置の持つ内部パラメー
タに変化が生じた場合、あるいは、目標点が変更になっ
た場合、その変化又は変更が多少であれば、目標点の位
置（ｕ_d ，ｖ_d ）を変更し、又は、逐次、２次元速度ベ
クトル座標変換マトリクスを推定しているため、そのま
まビジュアルフィードバックを継続することができる。
また、一度、ビジュアルフィードバック処理を終了し、
再度、ビジュアルフィードバック処理を実行する前に、
画像座標系と作業座標系との相対的な位置及び姿勢関係
に変化が生じた場合、また、撮像装置が有する内部パラ
メータに変化が生じた際にも、その変化が多少であれ
ば、逐次、２次元速度ベクトル座標変換マトリクスを推
定していることから、そのままビジュアルフィードバッ
クを継続することができる。図５は、図４の処理手順に
よるビジュアルフィードバック処理に基づいたシミュレ
ーションを示す図である。図５（ａ）は画像座標系６１
であり、図５（ｂ）は、作業座標系６２である。この画
像座標系６１及び作業座標系６２には、画像座標系６１
上の開始点６３と、画像座標系６１上の目標点６４と、
作業座標系６２上の開始点６５と、作業座標系６２上の
目標点６６とを有している。更に、この実施形態のビジ
ュアルフィードバック処理に基づいて推移する画像座標
系６１上の途中の特徴点６７，６８、及び作業座標系６
２上の途中の特徴点６９，７０を有している。ここでは
式（１０）におけるゲインマトリクスＫを以下のように
設定している。

【００２０】

【数８】

【００２１】図４に示したビジュアルフィードバック処
理を用いて、開始時に作業座標系６２上の開始点６５及
び画像座標系６１上の開始点６３にあった対象点が、画
像座標系６１では、画像座標系６１上の途中の特徴点６
７，６８を通じて画像座標系６１上の目標点６４に収束
していることが判明する。また、作業座標系６２では、
作業座標系６２上の途中の特徴点６９，７０を通じて作
業座標系６２上の目標点６６に収束していることが判明
する。図６はビジュアルフィードバックによる移動機構
制御装置の構成を示している。図６に示す構成は、ＣＣ
Ｄカメラ１０１と、ロボットコントローラ１０２と、ロ
ボットマニピュレータ１０３と、撮像シーン１０４と、
画像処理装置１０５と、変換マトリクス推定器１０６
と、座標変換器１０７と、対象物体１０８と、速度指令
調節器１０９と、フィルタ処理部１１０と、物体モデル
１１１とを有している。次に、このビジュアルフィード
バックによる移動機構制御装置の動作について説明す
る。ロボットマニピュレータ１０３のロボットハンドは
対象物体１０８を把持して、対象物体１０８を目標位置
へ移動させる。ＣＣＤカメラ１０１は撮像シーン１０４
のように対象物体１０８の移動範囲を撮像し、画像デー
タを画像処理装置１０５へ出力する。画像処理装置１０
５では対象物体１０８の画像座標系上での特徴部分を追
跡し、その現在位置ｆ（＝（ｕ，ｖ））を出力する。な
お、対象物体１０８の画像座標系上での特徴部分の目標
位置ｆ_d （＝（ｕ_d，ｖ_d ））は予め与えられている。
変換マトリクス推定器１０６は、ロボットコントローラ
１０２から得られるロボットハンドの作業座標系上での
現在位置と、対象物体１０８の物体モデル１１１との
和、すなわち、対象物体１０８の作業座標系上での特徴
部分の現在位置Ｘと、画像処理装置１０５から得られる
対象物体１０８の画像座標系上での特徴部分の現在位置
ｆとを入力し、式（１２）の関係を満たす変換マトリク
スＴを推定する。 dX/dt ＝Ｔdf/dt …（１２） ここでdX/dt は対象物体１０８の作業座標系上での特徴
部分の速度ベクトルであり、df/dt は対象物体１０８の
画像座標系上での特徴部分の速度ベクトルである。座標
変換器１０７は、式（１３）によって対象物体の作業座
標系上での偏差ベクトルΔＸを生成する。 ΔＸ＝Ｔ（ｆ_d −ｆ） …（１３） 速度指令調節器１０９は、作業座標系上での偏差ベクト
ルと現在の速度指令ベクトルから、ロボットマニピュレ
ータ１０３の動作が滑らかになるように予め設定された
速度の加減速パターンに対応するように新たな速度指令
を生成する。フィルタ処理部１１０は、急激な速度変化
がロボットマニピュレータ１０３に生じないよう、速度
指令調節器１０９で生成した速度指令を滑らかにする。
図７は速度指令調節器１０９の動作を説明するための図
である。図７に示す例は、第１のケース（ａ）、第２の
ケース（ｂ）、第３のケース（ｃ）であり、かつ、速度
２０１、時間２０２、加速パターン２０３、減速パター
ン２０４、加速時間２０５、減速時間２０６、リミット
速度２０７、第１の点２０８、第２の点２０９、第３の
点２１０からなる。速度指令調節器１０９には、加速時
間２０５と減速時間２０６とリミット速度２０７が予め
設定されている。ここで第１のケース（ａ）に示される
ように、現在の速度指令が第１の点２０８における速度
の場合には式（１３）によって求めた偏差ベクトルΔＸ
と第１のケース（ａ）の図中における斜線部の面積が等
しくなるように第１の点２０８の位置を決定する。第１
の点２０８からは加速パターン２０３と傾きが等しくな
るように新たに速度指令を決定し、リミット速度２０７
となるまで繰り返し行う。また、第２のケース（ｂ）に
示すように、現在の速度指令が第２の点２０９における
速度の場合には、式（１３）によって求めた偏差ベクト
ルΔＸと第２のケース（ｂ）の図中における斜線部の面
積が等しくなるように第２の点２０９の位置を決定す
る。第２の点２０９からは減速パターン２０４と傾きが
等しくなるように新たに速度指令を決定し、リミット速
度２０７となるまで繰り返し行う。更に、第３のケース
（ｃ）に示すように、現在の速度指令が第３の点２１０
における速度であり、式（１３）によって求めた偏差ベ
クトルΔＸが第３のケース（ｃ）における図中の斜線部
の場合は、リミット速度２０７までは到達しない以外
は、第１のケース（ａ）と同一の処理である。なお、式
（１３）における偏差ベクトルΔＸはビジュアルフィー
ドバックのサンプリング間隔Δｔで毎回求められる。し
たがって、以上の処理もΔｔ時間で行われ、設定した加
減速パターンに従うものとなる。フィルタ処理部１１０
は、速度指令調節器１０９で作成された新たな速度指令
を滑らかにするために、例えば、式（１４）に示される
特性の１次フィルタを用いれば良い。 Ｖ（ｋ）＝Ｈ｛dX/dt （ｋ）−Ｖ（ｋ−１）｝＋Ｖ（ｋ−１）…（１４） ここで、Ｖ（ｋ）はサンプリング時間ｋにおけるフィル
タ出力、Ｈはゲイン行列である。

【００２２】

【発明の効果】以上の説明から明らかなように、請求項
１記載の撮像装置を用いた機械装置のビジュアルフィー
ドバック方法によれば、画像座標系上の２次元速度ベク
トルと作業座標系上の２次元速度ベクトルとを対応づけ
る２次元速度ベクトル座標変換マトリクスを推定してい
るため、煩雑なキャリブレーションを不要にできる。さ
らに、画像座標系上及び作業座標系上の２次元速度ベク
トルの対応をマトリクス表現しているため、画像座標系
上の対象物体の特徴部分の動き（２次元速度ベクトル）
を作業座標系上の対象物体の特徴部分の動きに変換する
際に必要となる局所的な２次元速度ベクトルの座標変換
マトリクスが、作業座標系上の対象物体の動きから簡便
に推定できるようになる。同様にして画像座標系上の情
報から作業座標系の情報を求める際にも演算量を少なく
できる。本発明の請求項２記載の撮像装置を用いた機械
装置のビジュアルフィードバック方法によれば、逐次、
２次元速度ベクトル座標変換マトリクスを推定している
ため、画像座標系と作業座標系との相対的な位置及び姿
勢関係に変化が生じた場合、また、撮像装置が有する内
部パラメータに変化が生じた場合、それらが多少の変化
の際に、例えば、変化がビジュアルフィードバック処理
中、又は、この処理間であっても、ビジュアルフィード
バック処理が実行できるようになる。本発明の請求項３
及び４記載の撮像装置を用いた機械装置のビジュアルフ
ィードバック方法によれば、偏差ベクトルと現在の速度
指令から、予め設定された移動機構の速度の加減速パタ
ーンに基づくように、新しい速度指令を計算しており、
移動機構が初期に急激に動くことなく、動作が滑らかに
なる。

【図面の簡単な説明】

【図１】本発明の撮像装置を用いた機械装置のビジュア
ルフィードバック方法を実現するための撮像システムの
構成図である。

【図２】実施形態で処理される座標系を説明するための
図である。

【図３】実施形態にあって画像座標系上の対象点の推移
と作業座標系上の対象点の推移を示す図である。

【図４】実施形態にあってビジュアルフィードバックの
処理手順を示すフローチャートである。

【図５】実施形態にあってビジュアルフィードバック処
理に基づいたシミュレーションを示す図である。

【図６】実施形態にあってビジュアルフィードバックに
よる移動機構制御装置の構成を示すブロック図である。

【図７】実施形態にあって速度指令調節器の動作を説明
するための図である。

【図８】従来のビジュアルフィードバック方法による移
動機構制御装置の構成を示すブロック図である。

【図９】従来例にあってフィードバックされる速度の加
減速パターンである。

【符号の説明】

２１、１０３、３０３ ロボットマニピュレータ ２２ ロボットハンド ２３ ペグ ２４ ワーク ２５ ホール ２６、１０１、３０１ ＣＣＤカメラ ２７、１０４、３０４ 撮像シーン ２８、１０５、３０５ 画像処理装置 ２９ ペグの特徴部分 ３１、４１、６１ 画像座標系 ３２、４２、６２ 作業座標系 ３３ 対象点（Ｐ） ３４ 焦点距離（ｆ） ３５ 焦点 ３６ 撮像面 ３７ 投影点 ３８ 光軸 ４３ ｉ−２番目の画像座標系上の対象点 ４４ ｉ−１番目の画像座標系上の対象点 ４５ ｉ番目の画像座標系上の対象点 ４６ 画像座標系上の目標点 ４７ 推定補助点 ４８ ｉ−２番目の作業座標系上の対象点 ４９ ｉ−１番目の作業座標系上の対象点 ５０ ｉ番目の作業座標系上の対象点 ５１ 作業座標系上の目標点 Ｓ１０１〜Ｓ１０９ ビジュアルフィードバックステッ
プ ６３ 画像座標系上の開始点 ６４ 画像座標系上の目標点 ６５ 作業座標系上の開始点 ６６ 作業座標系上の目標点 ６７、６８ 画像座標系上の途中の特徴点 ６９、７０ 作業座標系上の途中の特徴点 １０２、３０２ ロボットコントローラ １０６ 変換マトリクス推定器 １０７ 座標変換器 １０８ 対象物体 １０９ 速度指令調節器 １１０ フィルタ処理部 １１１ 物体モデル ２０１ 速度 ２０２ 時間 ２０３ 加速パターン ２０４ 減速パターン ２０５ 加速時間 ２０６ 減速時間 ２０７ リミット速度 ２０８ 第１の点 ２０９ 第２の点 ２１０ 第３の点 （ａ） 第１のケース （ｂ） 第２のケース （ｃ） 第３のケース ３０６ ヤコビ行列推定器 ３０７ 速度指令生成器

Claims (4)

【特許請求の範囲】
1. 【請求項１】 少なくとも１台の撮像装置によって移動
   機構で移動する対象物体を含むシーンを撮影し、 前記撮像装置で得られる撮像信号から対象物体の特徴部
   分を画像処理によって抽出し、 前記特徴部分を前記撮像装置の撮像面に固定された画像
   座標系上を追跡し、前記画像座標系上の２次元速度ベク
   トルと前記移動機構によって認識される作業座標系上の
   ２次元速度ベクトルとを対応づける２次元速度ベクトル
   座標変換マトリクスを局所的に推定し、 前記対象物体を前記画像座標系上の目標位置へ移動する
   ように前記移動機構へ位置又は速度指令をフィードバッ
   クすることを特徴とする撮像装置を用いた機械装置のビ
   ジュアルフィードバック方法。
2. 【請求項２】 前記２次元速度ベクトル座標変換マトリ
   クスを、 前記移動機構の動作によって発生する画像座標系上での
   対象物体の特徴部分の２次元速度ベクトルと、該２次元
   速度ベクトルと１次独立の関係にある少なくとも一つの
   推定補助ベクトルとを利用して推定することを特徴とす
   る請求項１記載の撮像装置を用いた機械装置のビジュア
   ルフィードバック方法。
3. 【請求項３】 少なくとも１台の撮像装置によって移動
   機構で移動する対象物体を含むシーンを撮影し、 前記撮像装置で得られる撮像信号から対象物体の特徴部
   分を画像処理によって抽出し、 前記特徴部分を前記撮像装置の撮像面に固定された画像
   座標系上を追跡し、前記画像座標系上での対象物体の目
   標位置と現在位置との偏差を前記作業座標系に変換し、 変換後の偏差及び現在の速度指令に基づいて、予め設定
   された前記移動機構の速度の加減速パターンに対応す
   る、新たな速度指令を計算することを特徴とする撮像装
   置を用いた機械装置のビジュアルフィードバック方法。
4. 【請求項４】 前記新たな速度指令を平滑化するために
   フィルタ処理することを特徴とする請求項３記載の撮像
   装置を用いた機械装置のビジュアルフィードバック方
   法。