JPH0428516B2

JPH0428516B2 -

Info

Publication number: JPH0428516B2
Application number: JP7290383A
Authority: JP
Inventors: Yasuo Nakagawa; Takanori Ninomya
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1983-04-27
Filing date: 1983-04-27
Publication date: 1992-05-14
Also published as: JPS59201791A

Description

【発明の詳細な説明】〔発明の利用分野〕本発明は、ロボツトの動作部材を基準にして立
体対象物の有無、位置、姿勢、作業範囲内の空間
的状況を認識し、認識された立体対象物に対して
ロボツトが組立、検査、調整等の各種作業を行う
ようにしたロボツト制御装置に関するものであ
る。

〔発明の背景〕

ロボツト視覚として物体の位置、姿勢を認識す
るものとしては、第１図に例示するように作業テ
ーブル１上に像検出器３を置き、周辺から照明器
４で作業テーブル上を照明し、像を検出する。そ
して対象物の位置、姿勢を認識し、その情報に従
い、ロボツトアーム２が動作する。この方法にお
いては、テーブル平面上の物体その平面上におけ
る位置、姿勢が認識できるが、立体的な形状の認
識はできない。例えば、テーブル上に山積みされ
た物体に対し、各物体の傾き情報に従つて、その
物体のグリツプ面に合致するようロボツトアーム
を傾けて、物体にアプローチするということはで
きない。また、体象物と作業テーブルの間にコン
トラスト（濃淡の違い）が明瞭に存在しないと、
テーブル平面上の位置、姿勢も決定できない。

一方、ロボツトの手先に視覚装置を付け、フイ
ードバツクするものがある。第２図は、その例で
あり、溶接ヘツド７で溶接作業が行なわれた溶接
線５をトラツキングするものである。これは、ス
リツト光投光器６をロボツトアーム２の先端につ
け、溶接線上にスリツト光８を投光する。そして
その像を、ロボツトアームの先端につけた像検出
器３で検出し、溶接線の位置を求め、これの目標
値からのずれがゼロとなるようにロボツトアーム
を制御するものである。しかし、この方式は検出
の各タイミングにおいて溶接線の位置を検出し、
フイードバツクするものであり、対象物の３次元
的な位置、姿勢を認識することはできない。

〔発明の目的〕

本発明の目的は、上記従来技術の課題を解決す
べく、ほぼ同じ距離に複数の立体対象物が存在し
たとしても、目的とする立体対象物を分離し、分
離された立体対象物の３次元的な位置と姿勢を正
確に、且つ高速で認識して、ロボツトが分離され
た立体対象物に対して組立、検査、調整等の各種
作業を行うことができるようにしたロボツト制御
装置を提供することにある。

〔発明の概要〕

即ち本発明は、上記目的を達成するために、相
互に可動できるよう連結され、動作部材駆動手段
によつて駆動動作する複数の動作部材を備えたロ
ボツトにおいて、スリツト光又はスポツト光を走
査することによつて得られるスリツト状の光を投
光するスリツト投光器と、少なくとも該スリツト
投光器を駆動手段によつて駆動運動させて立体対
象物に複数のスリツト状の光を投光させるスリツ
ト投光器運動手段と、上記スリツト投光器の光軸
に対してある傾斜角度を付けた光軸を有し、且つ
上記スリツト投光器運動手段を作動させてスリツ
ト投光器により立体対象物に投光された複数のス
リツト状の光による光像を撮像して画像信号を得
る像検出器とを上記ロボツトの所定の動作部材
（腕部材、手首等）に取付け、上記像検出器から
出力される画像信号から複数の光切断線画像を抽
出して距離画像信号として順次蓄積し、蓄積され
た距離画像信号を微分してジヤンプエツジ画像信
号を生成し、該ジヤンプエツジ画像信号に基いて
ジヤンプエツジで閉じられた領域に分離し、分離
された領域から定められた基準に従つて必要な領
域を抽出し、抽出された領域内の距離画像信号か
ら平面を近似して該平面の重心位置および傾きを
算出して立体対象物の３次元的な位置と姿勢を認
識する画像処理手段を設け、該画像処理手段によ
つて認識された立体対象物の３次元的な位置と姿
勢に基づいて上記ロボツトの動作部材駆動手段を
駆動制御して動作部材を動作させ、ロボツトに所
望の作業を行わせる制御手段を備えたことを特徴
とするロボツト制御装置である。

〔発明の実施例〕

以下、本発明の一実施例を第３図により説明す
る。

１５は産業用ロボツトで、例えば５自由度を有
する関節形ロボツトがある。産業用ロボツト１５
はベース１４に対して垂直軸を中心に旋回する旋
回台１５ａ、水平軸１６ａを中心に回転する上腕
１５ｂ、その先に水平軸１６ｂを中心に回転する
前腕１５ｃ、その先に水平軸１６ｃを中心に回転
し、更にこの水平軸１６ｃに直角な軸を中心に回
転する手首１５ｄとから構成されている。この手
首１５ｄには指（チヤツク）１８を付けた手機構
１７が備え付けられている。この手機構１７には
主体形状検出器１１が備え付けられている。主体
形状検出器１１は光切断ヘツド１２と、この光切
断ヘツド１２をｙ軸方向に走査する直線移動機構
９と、該直線移動機構９を駆動するモータ１０
と、該直線移動機構９によつて走査される光切断
ヘツド１２の走査量を基準位置から検出するロー
タリエンコーダ等の変位検出器１３とから構成さ
れている。

第３図では直線移動機構９として送りネジとナ
ツトしか描写してないが、実際には摺動機構があ
る。

４０は上記モータ１０を一定速度で駆動するモ
ータ制御回路である。４１は像検出器３から得ら
れる二次元的映像信号を入力して特開昭56−
70407号に記載されているように光切断線を抽出
する光切断線抽出回路である。４２はイメージプ
ロセツサで、ロボツトに最も近く、且つロボツト
で作業したい目的物の位置、傾きを検出するもの
である。４３はロボツト１５を制御するロボツト
制御装置である。

次に第１０図に従つてロボツト制御装置４３に
ついて説明する。ロボツト制御装置４３は５自由
度をもつた関節形ロボツト１５を制御するための
制御ユニツト５０と、ロボツト１５をPTP（ポイ
ントツーポイント）でプログラムされた速度にも
とづいて所定の軌跡に沿つて動作または動かすた
めに、予めプログラムされた軌跡及び速度の情報
を教示するための教示ユニツトとによつて構成さ
れている。制御ユニツト５０とロボツト機構１５
は、位置制御システムを構成している。この位置
制御システムは、アクチユエータＭに連結された
パルスエンコーダPEによつて発生する出力パル
スをカウンタ５１で計数して制御ユニツト５０に
フイードバツクし、マイクロプロセツサー(A)５２
によつて予め定められている目標値あるいは所望
の座標値との相違のデイジタル信号を検出し、こ
のデイジタル信号をＤ／Ａ変換器５３でアナログ
信号に変換し、アクチユエータＭを駆動するよう
に構成している。

駆動回路５４はアクチユエータＭに接続された
タユジエネレータTGからの速度信号とＤ／Ａ変
換器５３からのアナログ信号にもとづいてアクチ
ユエータＭを駆動する回路である。シリアルイン
ターフエース５４は教示ユニツト５１と接続する
ためのものである。RAM５５はロボツト１５を
動作させるためのプログラムを収納したメモリー
です。ROM５６は教示ユニツト５１を用いて行
う教示操作と演算部５７による補間演算によつて
ロボツトの手機構の動作軌跡を記憶するものであ
る。５８はバスラインである。

ROM５４に記憶されたロボツトの手機構の位
置データがマイクロプロセツサによつて読み出さ
れ、カウンター５１により検出される回転変位
θ₁，θ₂，…，θ₅に座標変換し、所望あるいは目標
位置（例えば目的物を視覚認識する定められた位
置）へロボツトの手機構を駆動させる。そして制
御ユニツト５０のインターフエース５９はイメー
ジプロセツサ４２と接続するためのものである。

第４図は、第３図の実施例における光切断ヘツ
ド１２をより詳細に示したものである。スリツト
投光器６は直線フイラメントのランプ１９、スリ
ツト２０、円筒レンズ２１で構成されている。像
検出器３は、結像レンズ２２、TVカメラ２３で
構成されている。図中２４は固体TVカメラ内の
２次元アレイセンサのチツプを示したものであ
る。

スリツト投光器６はランプ１９が発生した光の
内、スリツト２０を投光した直線状の光を、円筒
レンズ２１により平行光線として前方を照射す
る。第４図に示す２６は発せられるスリツト光の
面を示している。像検出器３は、保持部２５によ
り、その光軸がスリツト光面２６ａに斜め（角度
α）交わるように傾けて固定されている。第４図
２６ｂの台形面はスリツト光面２６ａ中、像検出
器３が検出する視野を示している。この視野内に
物体があると、第５図に例示するように輝線２７
が物体表面に生じ、この輝線像が像検出器で検出
される。第５図はロボツト作業の一例としてワイ
ヤのついたコネクタ部品２３の位置、姿勢を検出
し、これを握み、基板２９上のピン３０にさし込
む作業状況を示している。第６図は第４図に示す
像検出器３の検出画像であり、スリツト輝線像と
して明るく検出される。この画面は第４図のスリ
ツト投光器６と像検出器３の機何的関係で明らか
なように画面上が遠く、下が近い遠近関係にあ
る。光切断線抽出回路４１では、第６図のスリツ
ト輝線像を画面上からスリツト輝線までの距離と
して、光切断線を抽出する。第７図にその処理例
を示す。（詳細には特開昭56−70407号に開示され
ている。）第７図ａは像検出器３から光切断線抽
出回路４１に入力する入力画像である。今像検出
器３から得られる縦方向の例えば１本の走査線xi
の映像信号は第７図ｂのようになつている。これ
より閾値V₁と映像信号を比較し、V₁の交点の中
心位置Ziを求める。各XiについてZiを求め出力
すれば第７図ｃのように光切断線（波形データ）
を得ることができる。なお、光切断抽出はここに
示した閾値処理で中心を求める他、ピーク位置検
出であつても良い。また、この例では、Ｚ軸座標
は遠い方を原点としたが、近い方を原点としても
良い。また遠近法に従つてＺ軸方向を座標変換す
ることも容易に可能である。またこの処理は電気
回路で高速に行なうことができるが、すべてソフ
トウエア処理であつても良い。

以上の処理をモータ１０により光切断ヘツドを
移動させながら行なうと距離面像を得ることがで
きる。第８図にその例を示す。第８図は光切断線
を間引いて表示した例である。すなわち、xy平
面画像として見ると、明るさＺが、光切断ヘツド
３からの距離Ｓに対応している。明るい方が近い
画像である。（第９図においてZ₂＝S₂sinα、Z₁＝
S₁sinαで示される。）ヘツドの移動、すなわち、ｙ軸方向の送りは、
定速モータで行ない、イメージプロセツサ４２か
ら得られるサンプリング信号６０で光切断線抽出
回路４１は、一定時間間隔で光切断線をサンプリ
ングする。パルスモータ１０で送りながら一定パ
ルス間隔毎に（一定距離ＰでＺ方向に移動動する
間隔毎に）光切断線をサンプリングする。DCモ
ータ１０とエンコーダ１３を組合せ一定量移動毎
にサンプリングする等いずれであつても良い。検
出する光切断線の本数は２本以上ロボツト視覚の
作業対象に応じて選定すれば良い。ピツチについ
ても同じである。これらはイメージプロセツサ４
２により制御される。イメージプロセツサ４２に
入力された距離画像の処理内容もロボツト視覚の
作業対象に応じて選定すれば良い。ここで、一実
施例として第５図の作業対象について言えば、得
られる距離画像は第８図のものであり、この距離
画像（サンプリングされた光切断線yi毎にxiに対
応した距離の値Zi）は光切断線抽出回路４１から
得られるパラレルインターフエース６１を介して
イメージメモリ用のRAM６２に記憶される。イ
メージプロセツサ４２のマイクロプロセツサ６３
は例えば第１２図に示すように隣り合つた光切断
線y_i-1とy_i+1に対するx_i-1とx_i+1について（３×３
の絵素について）の距離Z_i-1,j-1、Z_i+1,j-1、
Z_i-1,j-1、Z_i+1,j+1を読み出し、 Z′_i,j＝｜Z_i-1,j-1−Z_i+1,j+1｜＋｜Z_i+1,j-1−Z_i-1,j
-1｜／２なる微分を施し、この値がある大きな基準値より
大きいときジヤンプエツジ（物体と背景の境界
線）があるということで上記Zi、ｊの値をRAM
６２の別の領域に記憶する。更にマイクロプロセ
ツサ６３は第１３図のように実線（ジヤンプエツ
ジ）Ejで囲まれた閉領域をセグメンテーシヨンを
する。そして各閉領域毎A₁、A₂の面積、重心の
高さを求め、これらが指定された範囲内でありか
つ重心の高さが重も高い目的とする対象物を分離
抽出する。

更に例えば第１３図に点線で示されるルーフエ
ツジErとジヤンプエツジEjとに囲まれた平面領
域を抽出し、分離抽出された平面領域を平面近似
し、その法線方向を部品の３次元的姿勢として認
識する。即ちジヤンプエツジとルーフエツジとで
囲まれた主要平面の領域を最小２乗法で平面近似
する。求める平面方程式を t₁x＋t₂y＋t₃＝ｚ ……(1) とし、距離画像より抽出した主要平面内ｍ個の点
のxyz座標を（ar₁、ar₂、bi）ｉ＝１、２、…、
ｍとすれば式(1)のt₁、t₂、t₃は、（ti）ｊ＝１、２、
３を行とする行列ｔとして、ｔ＝（A^TＡ）^-1A^Tｂ ……(2) と計算される。ここにＡは（ar₁、ar₂、1.0）を
行とする行列、ｂは（bi）を行とする行列、Ｔは
転置行列、^-1は逆マトリツクスを表わす。

なお主要平面領域の重心位置は、すでにセグメ
ンテーシヨンの際に求められている。この主要平
面の法線方向は法線とＺ軸のなす角と法線の
ｘ、ｙ平面への投影とＸ軸とのなす角θで表わ
す。

とθは、平面近似の際に求めたｔ（式(1)）を
用いて、 θ＝tan^-1t₂／t₁ ……(4) と表わされる。

更にFij₁₃に示すようにこの、θの値に従つ
て主要平面のパラメータを回転させ、x′、y′、
z′に変換すれば、法線方向からみた主要平面の形
状を認識することができる。

このようにしてマイクロプロセツサ６３は、目
的とする物品の主要な面の位置と空間的傾きがロ
ボツトの手機構を基準にして求めることができ
る。これがコネクタの表面であるかどうかを前記
に述べたようにその面の大きさ、形状から検定で
きる。また付近にワイヤA₂のある方向を検知す
ることにより、その反対側がピンを差し込むべき
方向であることを決定できる。残りの２側面がロ
ボツトフインガーが握むべき面である。なお、イ
メージプロセツサ４２のROM６４には、各々ジ
ヤンプエツジ検出とセグメンテーシヨンと、目的
部品の分離抽出とルーフエツジ検出による部品の
平面領域の抽出と、平面の法線方向による部品の
３次元的姿勢の認識と、部品の認識等のプログラ
ムが記憶されている。RAM６５は演算部６８で
計算されたデータを一時記憶するものである。６
７はバスラインである。

そしてイメージプロセツサ４２のインターフエ
ース６９から目的物の主要面の位置と姿勢と、方
向のデータがロボツト制御装置４３に送られる。
即ちロボツトの指１８の握み点、アプローチすべ
き位置とその方向が決定されたのでロボツト制御
装置４３のマイクロプロセツサ５２はこれらを
ROM５６に記憶されているロボツトアーム制御
のデータに加えてロボツトの制御座標系に変換
し、Ｄ／Ａ変換器５３を介して駆動回路５４に伝
達する。ロボツト１５に備えられた各アクチユエ
ータＭが駆動され、ロボツト１５の指は上記情報
を元にコネクタ２８を握み、あらかじめ教示によ
つて与えられた位置に存在するピン３０にこれを
差込む。

以上が本発明の一実施例の動作例である。

このように光切断検出ヘツドとヘツド移動機構
をロボツトアームに付け、得られた距離画像を認
識処理することにより、従来技術では実現できな
かつた。対象物体の３次元的な位置、姿勢を検出
し、ロボツトアームにフイードバツクすることが
できる。なお、本発明の実施例としては、光切断
法として定常的なスリツト光を使用したが、これ
をストロボ発光としても良い。また本発明の実施
例では、スリツト光を使用したが、片側が明る
く、他の側が暗らい、明暗の直線エツジであつて
も良い。またスリツト光にかわつて、スポツト光
を光切断面２５上を走査させる方式であつてもよ
い。

また距離画像をロボツト１５の手機構１７に取
付けた光切断検出ヘツド１２から得るためには、
第３図に示す実施例の如く手機構１７の先に設け
られた検出ヘツド走査機構によつて直線的に走査
させる他、ロボツト制御装置４３によつてロボツ
トの手機構１７をｙ軸方向に等速度に移動させな
がら、その座標値をイメージプロセツサ４２に送
ると共に一定間隔Ｐでサンプリングすればよいこ
とは明らかである。しかしロボツトの手機構１７
を平行に移動させて走査する実施例は、第３図に
示す実施例に比べ応答性が悪い。

また距離画像を光切断検出ヘツドから得るため
には、検出ヘツド走査機構が不可欠であるが、こ
れは実施例第３図に示した直線移動機構の他第１
４図に例示するように紙面に垂直な回転軸３１を
中心に回転モータ３２により撮像装置３とスリツ
ト投光器６を揺動させる機構であつても、第１５
図に例示するように、スリツト投光器６のみを揺
動させる機構であつても良い。

この場合距離画像は各回転角に比例せず、三角
関数を含む複雑な関係式になるため、目的とする
物体のある平面の傾き、方向、位置を求めること
が非常に複雑となる。しかし、物体のある平面の
傾き、方向、位置を正確に求める必要のないとき
は、上記関係式を近似式でおきかえられるため、
走査機構として揺動機構を用いることができる。
ただ手機構１７に付ける走査機構として直線走査
機構より揺動機構の方が機構として簡素化でき
る。さらにまた、本発明の実施例は、光切断検出
ヘツドをフインガーと同じ自由度位置すなわち、
手に付けた場合について例示したが、本来アーム
の自由度は任意であり、そのどこに検出ヘツドを
付けるかは作業対象により決定されるべきもので
あるが、対象物体の姿勢及び形状は様々な形態を
とるので少くとも３自由度方向から視覚検出する
必要がある。よつて光切断検出ヘツドをロボツト
の少くとも３自由度でもつて移動される部材の先
に取付けるのがよい。

即ち、例えばロボツト１５は関節形の場合、垂
直軸Ｚまわりに旋回する旋回台１５ａと、旋回台
１５ａに矢印方向に回動自在に支持された上腕１
５ｂと上腕１５ｂの回動端に矢印方向に回動自在
に支持された前腕１５ｃと、前腕１５ｃの回動端
に矢印方向に回動自在に支持された手首１５ｄと
を備え、この手首１５ｄにフインガー１８が設け
られた手先１７が取付けられている。ところで３
自由度以上でもつて動作する部材の先につけると
いうことから、走査装置を有する光切断ヘツドを
前腕１５ｃまたは手首１５ｄまたは手先１７に取
付けるのが望ましい。また、光切断ヘツドで検出
された対象物体の姿勢、位置情報をロボツト系の
座標に変換するのを容易にするためには、光切断
ヘツドを手先１７に付けるのがよい。但し、上記
実施例では関節形ロボツトについて説明したが、
直交形ロボツト、円筒形ロボツトでもよいことは
明らかである。

また上記実施例ではコネクタのピツクアツプ作
業について例示したが、作業対象はこれに限定さ
れず、組立作業、搬送作業、位置決め作業、溶接
等製罐作業、検査、調整、選別作業のいずれであ
つても良いことは明らかである。

〔発明の効果〕

以上説明したように、本発明によれば、ロボツ
トを一定の姿勢及び位置を保持した状態で、ほぼ
同じ距離に複数の立体対象物が存在しても、目的
とする立体対象物を分離し、分離された立体対象
物の３次元的な位置と姿勢を認識することができ
るので、絶対座標に対するロボツト自体の位置決
め精度、検出位置座標に影響を受けることなく、
正確に、しかも重力の大きなロボツトを動作させ
る必要がないことから高速度で、目的とする立体
対象物の３次元的な位置と姿勢を検出でき、この
検出結果に基づいて、目的とする立体対象物に対
してロボツトが所定の作業をおこなうことができ
る効果を奏する。更に本発明によれば、スリツト
投光器、スリツト投光器運動手段及び像検出器か
ら構成された立体形状検出装置をロボツトの所定
の動作部材上に取付けたことにより、該立体形状
検出装置を様々な位置や姿勢に変えることがで
き、様々な姿勢や、形状を有する立体対象物に合
わせて目的とする立体対象物の位置や姿勢を、上
記のように正確に、且つ高速度で検出できる効果
も奏する。

【図面の簡単な説明】

第１図は従来の平面画像検出によるロボツト制
御を説明する図、第２図は従来の光切断検出器に
よるトラツキング作業を説明する図、第３図は本
発明の一実施例の構成を説明する図、第４図は本
発明の一実施例における光切断ヘツドの構成を説
明する図、第５図は実施例における作業対象を説
明する図、第６図は光切断例の例、第７図は光切
断抽出処理を説明する図、第８図は距離画像の例
を示す図、第９図は光切断線と撮像装置の中心と
目的物表面との関係を示した図、第１０図はロボ
ツト制御装置の概略構成を示した図、第１１図は
撮像装置の概略構成を示した図、第１２図は距離
画像信号を微分してジヤンプエツジを検出するた
めに３×３の絵素についての距離を切出した状態
を示す図、第１３図は距離画像におけるジヤンプ
エツジとルーフエツジとを示す図、第１４図は本
発明の第３図と異なる他の一実施例を示した図、
第１５図は更に本発明の他の一実施例を示した図
である。３……像検出器、６……スリツト投光器、９…
…直線移動機構、１０……モータ、１５……産業
用ロボツト、１７……手機構、１１……立体形状
検出器、１２……光切断ヘツド、１３……変位検
出器。

Claims

【特許請求の範囲】１相互に可動できるよう連結され、動作部材駆
動手段によつて駆動動作する複数の動作部材を備
えたロボツトにおいて、スリツト光又はスポツト
光を走査することによつて得られるスリツト状の
光を投光するスリツト投光器と、少なくとも該ス
リツト投光器を駆動手段によつて駆動運動させて
立体対象物に複数のスリツト状の光を投光させる
スリツト投光器運動手段と、上記スリツト投光器
の光軸に対してある傾斜角度を付けた光軸を有
し、且つ上記スリツト投光器運動手段を作動させ
てスリツト投光器により立体対象物に投光された
複数のスリツト状の光による光像を撮像して画像
信号を得る像検出器とを上記ロボツトの所定の動
作部材に取付け、上記像検出器から出力される画
像信号から複数の光切断線画像を抽出して距離画
像信号として順次蓄積し、蓄積された距離画像信
号を微分してジヤンプエツジ画像信号を生成し、
該ジヤンプエツジ画像信号に基いてジヤンプエツ
ジで閉じられた領域に分離し、分離された領域か
ら定められた基準に従つて必要な領域を抽出し、
抽出された領域内の距離画像信号から平面を近似
して該平面の重心位置および傾きを算出して立体
対象物の３次元的な位置と姿勢を認識する画像処
理手段を設け、該画像処理手段によつて認識され
た立体対象物の３次元的な位置と姿勢に基づいて
上記ロボツトの動作部材駆動手段を駆動制御して
動作部材を動作させ、ロボツトに所望の作業を行
わせる制御手段を備えたことを特徴とするロボツ
ト制御装置。２上記像検出器も、上記スリツト投光器の運動
に連動して運動するように構成したことを特徴と
する特許請求の範囲第１項記載のロボツト制御装
置。３上記制御手段は、ロボツトの動作部材駆動手
段を駆動制御して動作部材を動作させるロボツト
の動作プログラムに、上記画像処理手段によつて
認識された立体対象物の３次元的な位置と姿勢の
情報を付与するように構成したことを特徴とする
特許請求の範囲第１項記載のロボツト制御装置。