JPS59201791A - ロボット制御装置 - Google Patents
ロボット制御装置Info
- Publication number
- JPS59201791A JPS59201791A JP7290383A JP7290383A JPS59201791A JP S59201791 A JPS59201791 A JP S59201791A JP 7290383 A JP7290383 A JP 7290383A JP 7290383 A JP7290383 A JP 7290383A JP S59201791 A JPS59201791 A JP S59201791A
- Authority
- JP
- Japan
- Prior art keywords
- robot
- image
- target object
- light
- inclination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔発明の利用分野〕
本発明はロボットにより組立、検査、調整等各種作業な
行なう上で必要となる対象物体の有無、位置、姿勢、作
業範囲内の空間的状況を認識できるロボットに関するも
のである。
行なう上で必要となる対象物体の有無、位置、姿勢、作
業範囲内の空間的状況を認識できるロボットに関するも
のである。
ロボット視覚として物体の位置、姿勢を認識するものと
しては、第１図に例示するように作業テーブル１上に像
検出器３を置き、周辺から照明器４で作業テーブル上を
照明し、像を検出する。そして対象物の位置、姿勢を認
識し、その情報忙従い、ロボットアーム２が動作する。
しては、第１図に例示するように作業テーブル１上に像
検出器３を置き、周辺から照明器４で作業テーブル上を
照明し、像を検出する。そして対象物の位置、姿勢を認
識し、その情報忙従い、ロボットアーム２が動作する。
この方法においては、テーブル平面上の物体その平面上
における位置、姿勢が認識できるが、立体的な形状の認
識はできない。例えば、テーブル上に山積みされた物体
に対し、各物体の傾き情報に従って、その物体のグリン
プ面に合致するようロボットアームな傾けて、物体にア
プローチするということはできない。また、体数物と作
業テーブルの間にコントラスト（濃淡の違い）が明瞭に
存在しないと、テーブル平面上の位置、姿勢も決定でき
ない。
における位置、姿勢が認識できるが、立体的な形状の認
識はできない。例えば、テーブル上に山積みされた物体
に対し、各物体の傾き情報に従って、その物体のグリン
プ面に合致するようロボットアームな傾けて、物体にア
プローチするということはできない。また、体数物と作
業テーブルの間にコントラスト（濃淡の違い）が明瞭に
存在しないと、テーブル平面上の位置、姿勢も決定でき
ない。
一方、ロボットの手先に視覚装置を付け、フィードバッ
クするものがある。第２図は、その例であり、溶接ヘッ
ド７で溶接作業が行なわれた溶接線５をトラッキングす
るものである。これは、スリット光投光器６をロボット
アーム２の先端九っけ、溶接線上にスリット光８を投光
する。そしてその像を、ロボットアームの先端につけた
像検出器３で検出し、溶接線の位ＩＥｔを求め、これの
目標値からのずれがセロとなるようにロボットアームを
制御するものである。しかし、この方式は検出の各タイ
ミング（でおいて溶接線の位置な検出し、フィードバッ
ク１−るものであり、対象物の６次元的な位置、姿勢を
認識することはできない。
クするものがある。第２図は、その例であり、溶接ヘッ
ド７で溶接作業が行なわれた溶接線５をトラッキングす
るものである。これは、スリット光投光器６をロボット
アーム２の先端九っけ、溶接線上にスリット光８を投光
する。そしてその像を、ロボットアームの先端につけた
像検出器３で検出し、溶接線の位ＩＥｔを求め、これの
目標値からのずれがセロとなるようにロボットアームを
制御するものである。しかし、この方式は検出の各タイ
ミング（でおいて溶接線の位置な検出し、フィードバッ
ク１−るものであり、対象物の６次元的な位置、姿勢を
認識することはできない。
本発明の目的は、上記した従来技術の欠点をなくシ、対
象物体の姿勢の形状にかかわらす、対象物体の立体形状
をロボットの座標系で認識し、作業出来るようにしたロ
ボットを提供するととＫある。
象物体の姿勢の形状にかかわらす、対象物体の立体形状
をロボットの座標系で認識し、作業出来るようにしたロ
ボットを提供するととＫある。
即ち本発明は対象物体に光切断線を形成Ｔるように投光
する投光器とこの光切断線の像を検出する像検出器とが
らｌる扶切断検出ヘッドをロボットの動作部材（腕部材
、手首等）に取付け、上記光切断検出ヘッドな走査させ
る手段を設け、光切断検出ヘッド忙より距離画像を検出
し、この距離画像により立体形状（３次元形力をした対
象物体の位置、姿勢、傾き等を検出し−、この対象物体
値ロボットがつかむ等の作業が出来るようにしたことを
特徴とするものである。
する投光器とこの光切断線の像を検出する像検出器とが
らｌる扶切断検出ヘッドをロボットの動作部材（腕部材
、手首等）に取付け、上記光切断検出ヘッドな走査させ
る手段を設け、光切断検出ヘッド忙より距離画像を検出
し、この距離画像により立体形状（３次元形力をした対
象物体の位置、姿勢、傾き等を検出し−、この対象物体
値ロボットがつかむ等の作業が出来るようにしたことを
特徴とするものである。
即ちロボットは様々な位置姿勢を取ることができるので
、このロボットに光切断検出ヘッドな取付ければ対象物
体が置かれている姿勢や形状にかかわらず、この対象物
体の立体形状を検出することが可能である。
、このロボットに光切断検出ヘッドな取付ければ対象物
体が置かれている姿勢や形状にかかわらず、この対象物
体の立体形状を検出することが可能である。
また本発明は上記光切断検出ヘッドに像検出器を走査す
る装置を備え付けたのでロボットを所定の姿勢及び位置
に保持した状態で対象物体の立体形状を検出できるので
、正確に且、高速で対象物体の立体形状を検出できる。
る装置を備え付けたのでロボットを所定の姿勢及び位置
に保持した状態で対象物体の立体形状を検出できるので
、正確に且、高速で対象物体の立体形状を検出できる。
また本発明は、はぼ同じ距離位置に複数の対象物体が存
在することが考えられるので、上記距離画像を微分し、
エツジ画像を得、主にジャンプエツジで囲まれた閉領域
をセグメンテーシヨンをし、このセグメンテーションさ
れた閉領域毎の面積、重心の高さを判定基準に、目的と
する対象物体を分離抽出し、この分離された対象物体に
ついて上記と同様尾上記距離画像をもとに位置、姿勢、
傾き等を検出し、この対象物体をロボットかつかむ等の
作業が出来るようにしたことを特徴とする。
在することが考えられるので、上記距離画像を微分し、
エツジ画像を得、主にジャンプエツジで囲まれた閉領域
をセグメンテーシヨンをし、このセグメンテーションさ
れた閉領域毎の面積、重心の高さを判定基準に、目的と
する対象物体を分離抽出し、この分離された対象物体に
ついて上記と同様尾上記距離画像をもとに位置、姿勢、
傾き等を検出し、この対象物体をロボットかつかむ等の
作業が出来るようにしたことを特徴とする。
以下、本発明の一実施例を第６図により説明する。
１５は産業用ロボットで、例えば５自由度を有する関節
形ロボットがある。産業用ロボット１５はベース１４に
対して垂直軸を中心に旋回する旋回台１５ａ、水平軸１
６ａを中心に回転する上腕１５ｂ、その先に水平軸１６
ｂヲ中心に回転する前腕１５Ｃ１その先に水平軸１６ｃ
４中心に回転し、更にこの水平軸１６ｃ Ｋ直角ｆ！軸
ｗ中心に回転する手首１５ｄとから構成されている。こ
の手首１５ｄには指（チャンク）１８ヲ付けた手機構１
７が備え付けられている。この手機構１７には主体形状
検出器１１が備え付けられている。主体形状検出器１１
は光切断ヘッド１２と、この光切断へンド１２をｙ軸方
向に走査する直線移動機構９と、該直線移動機構９を駆
動するモータ１０と、該直線移動機構９Ｖｃよって走査
される光切断ヘッド１２の走査量を基準位置から検出す
るロータリエンコーダ等の変位検出器１３とから構成さ
れている。
形ロボットがある。産業用ロボット１５はベース１４に
対して垂直軸を中心に旋回する旋回台１５ａ、水平軸１
６ａを中心に回転する上腕１５ｂ、その先に水平軸１６
ｂヲ中心に回転する前腕１５Ｃ１その先に水平軸１６ｃ
４中心に回転し、更にこの水平軸１６ｃ Ｋ直角ｆ！軸
ｗ中心に回転する手首１５ｄとから構成されている。こ
の手首１５ｄには指（チャンク）１８ヲ付けた手機構１
７が備え付けられている。この手機構１７には主体形状
検出器１１が備え付けられている。主体形状検出器１１
は光切断ヘッド１２と、この光切断へンド１２をｙ軸方
向に走査する直線移動機構９と、該直線移動機構９を駆
動するモータ１０と、該直線移動機構９Ｖｃよって走査
される光切断ヘッド１２の走査量を基準位置から検出す
るロータリエンコーダ等の変位検出器１３とから構成さ
れている。
第６図では直線移動機構９として送りネジとナツトしか
描写してないが、笑際には摺動機構がある。
描写してないが、笑際には摺動機構がある。
４０は上記モータ１０を一定速度で駆動するモータ制御
回路である。４１は像検出器６から得られる二次元的映
像信号を入力して関特開ａｇ ５６−７ｏ４斡りに記載
されているように光切断線を抽出する光切断線抽出回路
である。４２はイメージプロセッサで、ロボットに最も
近く、且つロボットで作業したい目的物の位置、傾きを
検出するものである。４ろはロボット１５を制御するロ
ボット制御装置である。
回路である。４１は像検出器６から得られる二次元的映
像信号を入力して関特開ａｇ ５６−７ｏ４斡りに記載
されているように光切断線を抽出する光切断線抽出回路
である。４２はイメージプロセッサで、ロボットに最も
近く、且つロボットで作業したい目的物の位置、傾きを
検出するものである。４ろはロボット１５を制御するロ
ボット制御装置である。
次に第１０図に従ってロボット制御装置４３について説
明する。ロホット制御装ｅ４３は５自由度をもった関節
形ロボット１５を制御するための制御ユニット５０と、
ロボット＋５ｙＰＴＰ（ポイントッーポイント）でプロ
グラムされた速度にもとづいて所定の軌跡に沿って動作
または動かすために、予めプロクラムされた軌跡及び速
度の情報を教示するための教示ユニットとによって構成
されている。制御ユニット５０とロボット機構１５は、
位置制御システムを構成してい４ン。この位置制御シス
テム）工、アクチュエータＭに連結されたパルスエンコ
ーダＰＥによって発生する出力パルスなカウンタ５１′
で耐数して制御ユニット５０にフィードバックし、マイ
クログロセノサー（８）５２によって予め定められてい
る目標値あルイハ所望の座標値との相違のディジタル信
号を検出し、このディジタル信号をルＭ、変換器５６で
アナログ信号に変換し、アクチュエータＭを駆動するよ
うに構成している。
明する。ロホット制御装ｅ４３は５自由度をもった関節
形ロボット１５を制御するための制御ユニット５０と、
ロボット＋５ｙＰＴＰ（ポイントッーポイント）でプロ
グラムされた速度にもとづいて所定の軌跡に沿って動作
または動かすために、予めプロクラムされた軌跡及び速
度の情報を教示するための教示ユニットとによって構成
されている。制御ユニット５０とロボット機構１５は、
位置制御システムを構成してい４ン。この位置制御シス
テム）工、アクチュエータＭに連結されたパルスエンコ
ーダＰＥによって発生する出力パルスなカウンタ５１′
で耐数して制御ユニット５０にフィードバックし、マイ
クログロセノサー（８）５２によって予め定められてい
る目標値あルイハ所望の座標値との相違のディジタル信
号を検出し、このディジタル信号をルＭ、変換器５６で
アナログ信号に変換し、アクチュエータＭを駆動するよ
うに構成している。
駆動回路５４はアクチュエータＭに接続されたタユシェ
ネレータＴＧからの速度信号とル値変換器５３からのア
ナログ信号にもとづいてアクチュエータＭを駆動する回
路である。シリアルインターフェース５４は教示ユニッ
ト５１と接続するためのものである。ＲＡＭ５５はロボ
ット１５ヲ動作させるためのプログラムを収納したメモ
リーです。几０Ｍ５６は教示ユニｙ）５１１！ａｊ用い
て行う教示操作と演算部５７による補間演算によってロ
ボットの手機構の動作軌跡を記憶するものである。５８
はパスラインである。
ネレータＴＧからの速度信号とル値変換器５３からのア
ナログ信号にもとづいてアクチュエータＭを駆動する回
路である。シリアルインターフェース５４は教示ユニッ
ト５１と接続するためのものである。ＲＡＭ５５はロボ
ット１５ヲ動作させるためのプログラムを収納したメモ
リーです。几０Ｍ５６は教示ユニｙ）５１１！ａｊ用い
て行う教示操作と演算部５７による補間演算によってロ
ボットの手機構の動作軌跡を記憶するものである。５８
はパスラインである。
１１０Ｍ５４に記憶されたロボットの手機構の位置デー
タがマイクロプロセッサによって読み出され、カウンタ
ー５１′より検出される回転変位θ１゜θ２．・・・、
θ５に座標変換し、所望あるいは目標位置（例えば目的
物を視覚認識する足められた位＠）へロボットの手機構
を駆動させる。そして制御ユニン）５０のインターフェ
ース５９はイメージフロセッサ４２と接続するためのも
のである。
タがマイクロプロセッサによって読み出され、カウンタ
ー５１′より検出される回転変位θ１゜θ２．・・・、
θ５に座標変換し、所望あるいは目標位置（例えば目的
物を視覚認識する足められた位＠）へロボットの手機構
を駆動させる。そして制御ユニン）５０のインターフェ
ース５９はイメージフロセッサ４２と接続するためのも
のである。
第４図は、第３図の実施例における光切断ヘッド１２を
より詳細に示したものである。スリット投光器６は直線
フィラメントのランプ１９、スリット２０、円筒レンズ
２１で構成されている。像検出器３は、結像レンズ２２
、ＴＶ右カメラ３で構成されている。図中２４は固体Ｔ
Ｖカメう内の２次元アレイセンサのチップを示しだもの
である。
より詳細に示したものである。スリット投光器６は直線
フィラメントのランプ１９、スリット２０、円筒レンズ
２１で構成されている。像検出器３は、結像レンズ２２
、ＴＶ右カメラ３で構成されている。図中２４は固体Ｔ
Ｖカメう内の２次元アレイセンサのチップを示しだもの
である。
スリット投光器６はランプ１９が発生した光の内、スリ
７）２０を投光した直線状の光を、円筒レンズ２１によ
り平行光線として前方を照射する。
７）２０を投光した直線状の光を、円筒レンズ２１によ
り平行光線として前方を照射する。
第４図に示１−２６は発−１士られるスリット光の而を
示している。像検出器ろは、保持部２５により、その元
軸がスリット光面２６ａ Ｋ斜め（角度α）交わるよう
に傾けて固定されている。第４図２６： ｂの台形面
はスリット光面２６ａ中、像検出器３が検出する視野を
示している。この視野内に物体があると、第５図に例示
するように輝線２７が物体表面に生じ、この輝線像が像
検出器で検出される。第５図はロボット作業の一例とし
てワイヤのついたコネクク部品２ろの位置、姿勢を検出
し、これを握み、基板２９上のビン３ｏにさし込む作業
状況を示している。第６図は第４図に示ｆ像検出器乙の
検出画像であり、スＩＪ ソト輝線像として明るく検出
される。この画面は第４図のスリット投光器６と像検出
器６０機何曲関係で明らかなように画面上が遠く、下が
近い遠近関係にある。光切断線抽出回路４１では、第６
図のスリット輝線像な画面上からスリット輝線までの距
離として、光切断線を抽出する。第７図にその処理例を
示す。（詳細には特開ＢＢ、 ５６−７０４０ ’１５
に開示されている。）第７図（ａｌは像検出器３から光
切断線抽出回路４１に入力する入力画像である。今像検
出器３から得られる縦方向の例えば１本の走査線Ｘ１の
映像信号は第７図ｆｂ）のようになっている。これより
閾値ｖ１と映像信号を比較し、Ｖｌの交点の中心位置Ｚ
ｉを求める。各Ｘ１についてＺｉｆａｏ：求め出力すれ
ば第７図（ｃｉのように光切断線（波形データ）を得る
ことができる。
示している。像検出器ろは、保持部２５により、その元
軸がスリット光面２６ａ Ｋ斜め（角度α）交わるよう
に傾けて固定されている。第４図２６： ｂの台形面
はスリット光面２６ａ中、像検出器３が検出する視野を
示している。この視野内に物体があると、第５図に例示
するように輝線２７が物体表面に生じ、この輝線像が像
検出器で検出される。第５図はロボット作業の一例とし
てワイヤのついたコネクク部品２ろの位置、姿勢を検出
し、これを握み、基板２９上のビン３ｏにさし込む作業
状況を示している。第６図は第４図に示ｆ像検出器乙の
検出画像であり、スＩＪ ソト輝線像として明るく検出
される。この画面は第４図のスリット投光器６と像検出
器６０機何曲関係で明らかなように画面上が遠く、下が
近い遠近関係にある。光切断線抽出回路４１では、第６
図のスリット輝線像な画面上からスリット輝線までの距
離として、光切断線を抽出する。第７図にその処理例を
示す。（詳細には特開ＢＢ、 ５６−７０４０ ’１５
に開示されている。）第７図（ａｌは像検出器３から光
切断線抽出回路４１に入力する入力画像である。今像検
出器３から得られる縦方向の例えば１本の走査線Ｘ１の
映像信号は第７図ｆｂ）のようになっている。これより
閾値ｖ１と映像信号を比較し、Ｖｌの交点の中心位置Ｚ
ｉを求める。各Ｘ１についてＺｉｆａｏ：求め出力すれ
ば第７図（ｃｉのように光切断線（波形データ）を得る
ことができる。
なお、光切断抽出はここに示した閾値処理で中心を求め
る他、ピーク位置検出であっても良い。
る他、ピーク位置検出であっても良い。
また、この例では、Ｚ軸座標は遠い方を原点としたが、
近い方を原点としても良い。また遠近法に従ってＺ軸方
向を座標変換することも容易九可能である。またこの処
理は電気回路で高速に行なうことができるが、すべ千ソ
フトウェア処理であっても良い。
近い方を原点としても良い。また遠近法に従ってＺ軸方
向を座標変換することも容易九可能である。またこの処
理は電気回路で高速に行なうことができるが、すべ千ソ
フトウェア処理であっても良い。
以上の処理をモータ１０により光切断ヘッドを移動させ
ながら行なうと距離面像を得ることができる。第８図に
その例を示す。第８図は光切断線を間引いて表示した例
である。１−すわち、ｘｙ平面画像として見ると、明る
さＺが、光切断ヘッド６からの距離Ｓに対応している。
ながら行なうと距離面像を得ることができる。第８図に
その例を示す。第８図は光切断線を間引いて表示した例
である。１−すわち、ｘｙ平面画像として見ると、明る
さＺが、光切断ヘッド６からの距離Ｓに対応している。
明るい方が近い画像である。（第９図においてＺ２＝Ｓ
２ｓｉｎ α、 Ｚ１＝Ｓ１ｓｉｎ ａで示される。）
ヘッドの移動、すなわち、ｙ軸方向の送りは、定速モー
タで行ない、イメージフロセッサ４２から得られるサン
プリング信号６０で光切断線抽出回路４１は、一定時間
間隔で光切断線をサンプリングする。パルスモータ１０
で送りながら同定パルス間隔毎に（−尾距離ＰでＺ方向
に移動する間隔毎に）光切断線をサンプリングする。１
） Ｃモータ１０とエンコーダ１３乞組合せ一定量移動
毎にサンプリングする等いずれであっても良い。
２ｓｉｎ α、 Ｚ１＝Ｓ１ｓｉｎ ａで示される。）
ヘッドの移動、すなわち、ｙ軸方向の送りは、定速モー
タで行ない、イメージフロセッサ４２から得られるサン
プリング信号６０で光切断線抽出回路４１は、一定時間
間隔で光切断線をサンプリングする。パルスモータ１０
で送りながら同定パルス間隔毎に（−尾距離ＰでＺ方向
に移動する間隔毎に）光切断線をサンプリングする。１
） Ｃモータ１０とエンコーダ１３乞組合せ一定量移動
毎にサンプリングする等いずれであっても良い。
検出する光切断線の本数は２本以上ロボット視覚の作業
対象に応じて選定すれば良い。ビ・ノチ如ついても同じ
である。これらはイメージプロセッサ４２により制御さ
れる。イメージプロセッサ４２に入力された距離画像の
処理内容もロボット視覚のｒ「業対象に応じて選定すれ
ば良い。ここで、一実施例として第５図の作業対象につ
いて言えば、得られる距離画像は第８図のものであり、
この距離画像（サンプリングされた光切断線ｙｉ毎にｘ
ｉに対応した距離の値Ｚｉ）は光切断線抽出回路４１か
ら得られパラレルインターフェース６１を介してイメー
ジメモリ用のＲＡＭ６２に記憶される。イメージプロセ
ッサ４２０マイクロプロセツサ６３は例えば第１２図に
示すように隣り合った光切断線ｙｉ−１とｙ１＋１に対
するＸｌ−１とｘｉ−４−１について（３×３の絵素に
ついて）の距離Ｚｉ−１Ｊ−１，Ｚｉ＋＋ 、Ｊ−１１
，Ｚｉ−１，ｊ＋１ 、 Ｚｉ＋１．ｊ＋１な読み出し
、なる微分を施し、この値がある大きな基準値より太き
いときジャンプエツジ（物体と背景の境界線）があると
いうことで上記Ｚｉ、ｊの値をＲＡ Ｍ６２の別の領域
に記憶する。更にマイクロプロセッサ６３は第１６図の
ように実線（ジャンプエツジ）Ｅｊテ囲まれた閉領域を
セグメンテーシＨンをする。そして各閉領域毎Ａｌ、Ａ
２の面積、重心の高さを求め、これらが指定された範囲
内でありかつ重心の高さが重も高い目的とする対象物を
分離抽出する。
対象に応じて選定すれば良い。ビ・ノチ如ついても同じ
である。これらはイメージプロセッサ４２により制御さ
れる。イメージプロセッサ４２に入力された距離画像の
処理内容もロボット視覚のｒ「業対象に応じて選定すれ
ば良い。ここで、一実施例として第５図の作業対象につ
いて言えば、得られる距離画像は第８図のものであり、
この距離画像（サンプリングされた光切断線ｙｉ毎にｘ
ｉに対応した距離の値Ｚｉ）は光切断線抽出回路４１か
ら得られパラレルインターフェース６１を介してイメー
ジメモリ用のＲＡＭ６２に記憶される。イメージプロセ
ッサ４２０マイクロプロセツサ６３は例えば第１２図に
示すように隣り合った光切断線ｙｉ−１とｙ１＋１に対
するＸｌ−１とｘｉ−４−１について（３×３の絵素に
ついて）の距離Ｚｉ−１Ｊ−１，Ｚｉ＋＋ 、Ｊ−１１
，Ｚｉ−１，ｊ＋１ 、 Ｚｉ＋１．ｊ＋１な読み出し
、なる微分を施し、この値がある大きな基準値より太き
いときジャンプエツジ（物体と背景の境界線）があると
いうことで上記Ｚｉ、ｊの値をＲＡ Ｍ６２の別の領域
に記憶する。更にマイクロプロセッサ６３は第１６図の
ように実線（ジャンプエツジ）Ｅｊテ囲まれた閉領域を
セグメンテーシＨンをする。そして各閉領域毎Ａｌ、Ａ
２の面積、重心の高さを求め、これらが指定された範囲
内でありかつ重心の高さが重も高い目的とする対象物を
分離抽出する。
更に例えば第１３図に点線で示されるルーフエツジＥｒ
とジャンプエツジＥｊとに囲まれた平面領域を抽出し、
分離抽出された平面領域を平面近似し、その法線方向を
部品の６次元的姿勢として認識する。即ちジャンプエツ
ジとルーフエツジとで囲まれた主要平面の領域を最小２
乗法で平面近似する。求める平面方程式を ｔｊｘ ＋ ｔ２ｙ＋ （３＝ Ｚ −・・・
・・・・・・・（１）とし、距離画像より抽出した主要
平面内ｍ個の点のｘｙｚ座標ｆｚｒ：（ａｒｌ、 ａｒ
２ 、 ｂｉ）ｉ＝１．２゜−・＋ ｍとすれば式（１
）のｔ１＋ ｊ２．１３は、（ｔｊ）ｊ＝。
とジャンプエツジＥｊとに囲まれた平面領域を抽出し、
分離抽出された平面領域を平面近似し、その法線方向を
部品の６次元的姿勢として認識する。即ちジャンプエツ
ジとルーフエツジとで囲まれた主要平面の領域を最小２
乗法で平面近似する。求める平面方程式を ｔｊｘ ＋ ｔ２ｙ＋ （３＝ Ｚ −・・・
・・・・・・・（１）とし、距離画像より抽出した主要
平面内ｍ個の点のｘｙｚ座標ｆｚｒ：（ａｒｌ、 ａｒ
２ 、 ｂｉ）ｉ＝１．２゜−・＋ ｍとすれば式（１
）のｔ１＋ ｊ２．１３は、（ｔｊ）ｊ＝。
１、 、２ 、３を行とする行列ｔとして、を二（ＡＡ
）Ａｂ ・・・・・・・・・・・・・・・・・・（
２＋と計算される。ここにＡは（ａｒ＋ 、 ａｒ２
、１．０）を行とする行列、ｂは（ｂｉ）を行とする行
列、Ｔは転置行列、−１は逆マトリックスを表わす。
）Ａｂ ・・・・・・・・・・・・・・・・・・（
２＋と計算される。ここにＡは（ａｒ＋ 、 ａｒ２
、１．０）を行とする行列、ｂは（ｂｉ）を行とする行
列、Ｔは転置行列、−１は逆マトリックスを表わす。
なお主要平面領域の重心位置は、すでにセグメンテーシ
コンの際に求められている。この主要平面の法線方向は
法線とＺ軸のなす角Ｐと法線のＸ、ｙ平面への投影とＸ
軸とのな丁角θで表わす。
コンの際に求められている。この主要平面の法線方向は
法線とＺ軸のなす角Ｐと法線のＸ、ｙ平面への投影とＸ
軸とのな丁角θで表わす。
Ｐとθは、平面近似の際に求めたｔ（式（１））％式％
更にＦｉｊ１６に示すようにこのＰ、θの値に従って主
要平面のパラメータを回転させ、Ｘ’＋ｙ’＋２′に変
換すれは、法線方向からみた主要平面の形状を認識する
ことができる。
要平面のパラメータを回転させ、Ｘ’＋ｙ’＋２′に変
換すれは、法線方向からみた主要平面の形状を認識する
ことができる。
このようにしてマイクロプロセッサ６３は、目的と゛す
る物品の主要な面の位置と空間的傾きがロボットの手機
構を基準にして求めることができる。これかコス・フタ
の表面であるかどうかを前記に述べたようにその面の大
きさ、形状から検定できる。また付近にワイヤＡ２のあ
る方向を検知することにより、その反対側がビンを差し
込むべき方向であることを決定できる。残りの２側面が
ロボットフィンガーが握むべき面である。なお、イメー
ジプロセッサ４２のＲＯＭ６４には、各々ジャンプエツ
ジ検出とセグメンテーシヨンと、目的部品の分離抽出と
ルーフエツジ検出による部品の平面領域の抽出と、平面
の法線方向による部品の３次元的姿勢の認識と、部品の
認識等のプログラムが記憶されている。ＲＡＭ６５は演
算部６８で計算されたテークを一時記憶するものである
。６７はパスラインである。
る物品の主要な面の位置と空間的傾きがロボットの手機
構を基準にして求めることができる。これかコス・フタ
の表面であるかどうかを前記に述べたようにその面の大
きさ、形状から検定できる。また付近にワイヤＡ２のあ
る方向を検知することにより、その反対側がビンを差し
込むべき方向であることを決定できる。残りの２側面が
ロボットフィンガーが握むべき面である。なお、イメー
ジプロセッサ４２のＲＯＭ６４には、各々ジャンプエツ
ジ検出とセグメンテーシヨンと、目的部品の分離抽出と
ルーフエツジ検出による部品の平面領域の抽出と、平面
の法線方向による部品の３次元的姿勢の認識と、部品の
認識等のプログラムが記憶されている。ＲＡＭ６５は演
算部６８で計算されたテークを一時記憶するものである
。６７はパスラインである。
そしてイメージプロセッサ４２のインターフェース６９
から目的物の主要面の位置と姿勢と、方向のデータがロ
ボット制御装［１ｉ４３に送られる。
から目的物の主要面の位置と姿勢と、方向のデータがロ
ボット制御装［１ｉ４３に送られる。
即ちロボットの指１８の握み点、アプローチすべき位置
とその方向が決定されたのでロボット制御装置４６のマ
イクロプロセッサ５２はこれらを８０Ｍ５乙に記憶され
ているロボットアーム制御のデータに加えてロボットの
制御座標系に変換し、Ｌ）／Ａ変換器５６を介して駆動
回路５４に伝達する。
とその方向が決定されたのでロボット制御装置４６のマ
イクロプロセッサ５２はこれらを８０Ｍ５乙に記憶され
ているロボットアーム制御のデータに加えてロボットの
制御座標系に変換し、Ｌ）／Ａ変換器５６を介して駆動
回路５４に伝達する。
ロボット１５に備えられた各アクチュエータＭが駆動さ
れ、ロボット１５０指は上記情報を元にコネクタ２８を
握み、あらかじめ教示によって与えられた位置に存在す
るビン５０にこ７″Ｌを差込む。
れ、ロボット１５０指は上記情報を元にコネクタ２８を
握み、あらかじめ教示によって与えられた位置に存在す
るビン５０にこ７″Ｌを差込む。
以上が本発明の一実施例の動作例である。
このように光切断検出ヘッドとへ・ソド移動機構をロボ
ットアームに付け、得られた距離画像を認識処理するこ
とにより、従来技術では実現できなかった、対象物体の
３次元的な位置、・姿勢を検出し、ロボットアームにフ
ィードパ・ツクすることができる。なお、本発明の実施
例としては、光切断法として定常的なスリット光な使用
したが、これをストロボ発光としても良い。
ットアームに付け、得られた距離画像を認識処理するこ
とにより、従来技術では実現できなかった、対象物体の
３次元的な位置、・姿勢を検出し、ロボットアームにフ
ィードパ・ツクすることができる。なお、本発明の実施
例としては、光切断法として定常的なスリット光な使用
したが、これをストロボ発光としても良い。
また本発明の実施例では、スリット光を使用したが、片
側が明るく、他の側が暗もい、Ｆ３Ａ暗の直線エツジで
あっても良い。またスリット光にかわって、スポット光
を光切断面２５上を走査させる方式であってもよい。
側が明るく、他の側が暗もい、Ｆ３Ａ暗の直線エツジで
あっても良い。またスリット光にかわって、スポット光
を光切断面２５上を走査させる方式であってもよい。
また距離画像をロボット１５０手機構１７に取付けた光
切断検出ヘッド１２から得るためには、第３図に示す実
施例のｆｆｏ ＜手機構１７の先に設けられた検出ヘッ
ド走査機構によって直線的に走査させる他、ロボット制
御装置４３によってロボットの手機構１７Ｙｙ軸方向に
等速度に移動させなカラ、その座標値なイメージプロセ
ッサ４２に送ると共に同定間隔Ｐでサンプリングすれば
よいことは明らかである。しかしロボットの手機構１／
を平行に移動させて走査する実施例は、第６図に示す実
施例に比べ応答性が悪い。
切断検出ヘッド１２から得るためには、第３図に示す実
施例のｆｆｏ ＜手機構１７の先に設けられた検出ヘッ
ド走査機構によって直線的に走査させる他、ロボット制
御装置４３によってロボットの手機構１７Ｙｙ軸方向に
等速度に移動させなカラ、その座標値なイメージプロセ
ッサ４２に送ると共に同定間隔Ｐでサンプリングすれば
よいことは明らかである。しかしロボットの手機構１／
を平行に移動させて走査する実施例は、第６図に示す実
施例に比べ応答性が悪い。
また距離画像を光切断検出ヘノドヵ・ら得るためには、
検出ヘッド走査機構が不可欠であるが、これは実施例第
６図に示した直線移動機構の他第１４図に例示するよう
に紙面に垂直な回転軸３１を中心に回転モータ６２によ
り撮像装置３とスリット投光器６を揺動させる機構であ
っても、第１５図に例示するように、スリット投光器６
のみを揺動させる機構であっても良い。
検出ヘッド走査機構が不可欠であるが、これは実施例第
６図に示した直線移動機構の他第１４図に例示するよう
に紙面に垂直な回転軸３１を中心に回転モータ６２によ
り撮像装置３とスリット投光器６を揺動させる機構であ
っても、第１５図に例示するように、スリット投光器６
のみを揺動させる機構であっても良い。
この場合距離画像は各回転角に比例せず、三角関数を含
む複雑な関係式になるため、目的とする物体のある平面
の傾き、方向、位置を求めることが非常圧複雑となる。
む複雑な関係式になるため、目的とする物体のある平面
の傾き、方向、位置を求めることが非常圧複雑となる。
しかし、物体のある平面の傾き、方向、位置を正確に求
める必要のないときは、上記関係式を近似式でおきかえ
られるため、走査機構として揺動機構を用いることがで
きる。ただ手機構１７に付ける走査機構として直線走査
機構より揺動機構の方が機構として簡素化できる。さら
にまた、本発明の実施例は、光切断検出ヘッドをフィン
ガーと同じ自由度位置すなわち、手に付けた場合につい
て例示したか、本来アームの自由度は任意であり、その
どこに検出ヘッドを付けるかは作業対象により決定され
るべきものであるが、対象物体の姿勢及び形状は様々な
形態をとるので少くとも３自由度方向から視覚検出てる
必要がある。よって光切断検出ヘッドをロボットの少く
とも３自由度でもって移動される部材の先に取付けるの
がよい。
める必要のないときは、上記関係式を近似式でおきかえ
られるため、走査機構として揺動機構を用いることがで
きる。ただ手機構１７に付ける走査機構として直線走査
機構より揺動機構の方が機構として簡素化できる。さら
にまた、本発明の実施例は、光切断検出ヘッドをフィン
ガーと同じ自由度位置すなわち、手に付けた場合につい
て例示したか、本来アームの自由度は任意であり、その
どこに検出ヘッドを付けるかは作業対象により決定され
るべきものであるが、対象物体の姿勢及び形状は様々な
形態をとるので少くとも３自由度方向から視覚検出てる
必要がある。よって光切断検出ヘッドをロボットの少く
とも３自由度でもって移動される部材の先に取付けるの
がよい。
即ち、例えばロボット１５は関節形の場合、垂直軸Ｚま
わりに旋回する旋回台１５ａと、旋回台１５ａに矢印方
向に回動自在に支持された上腕１５ｂと上腕１５ｂの回
動端に矢印方向に回動自在に支持された前腕１５ｃと、
前腕１５ｃの回動端に矢印方＠に回動自在に支持さノ′
とだ手首１５ｄとを備え、この手首１５ｄＫフインガー
１８が設けられた手先１７が取付けられている。ところ
で６自由度以上でもって動作する部材の先につけるとい
うことから、走査装置を有する光切断ヘッドを前腕１５
ｃまたは手首１５ｄまたは手先１７に取イ１けるのが望
ましい。また、光切断ヘッドで検出された対象物体の姿
勢、位置情報をロボット糸の座標に変換するのを容易に
するためには、光切断ヘッドを手先１７に付けるのがよ
い。但し、上記実施例では関節形ロボットについて説明
したが、直交形ロボット、円筒形ロボットでもよいこと
は明らかである。
わりに旋回する旋回台１５ａと、旋回台１５ａに矢印方
向に回動自在に支持された上腕１５ｂと上腕１５ｂの回
動端に矢印方向に回動自在に支持された前腕１５ｃと、
前腕１５ｃの回動端に矢印方＠に回動自在に支持さノ′
とだ手首１５ｄとを備え、この手首１５ｄＫフインガー
１８が設けられた手先１７が取付けられている。ところ
で６自由度以上でもって動作する部材の先につけるとい
うことから、走査装置を有する光切断ヘッドを前腕１５
ｃまたは手首１５ｄまたは手先１７に取イ１けるのが望
ましい。また、光切断ヘッドで検出された対象物体の姿
勢、位置情報をロボット糸の座標に変換するのを容易に
するためには、光切断ヘッドを手先１７に付けるのがよ
い。但し、上記実施例では関節形ロボットについて説明
したが、直交形ロボット、円筒形ロボットでもよいこと
は明らかである。
また上記実施例ではコネクタのビックアンプ作業如つい
て例示したが、作業対象はこれに限定されず、組立作業
、搬送作業、位置決め作業溶接等製鑵作業、検査、調整
、選別作業のいずれであっても良いことは明らかである
。
て例示したが、作業対象はこれに限定されず、組立作業
、搬送作業、位置決め作業溶接等製鑵作業、検査、調整
、選別作業のいずれであっても良いことは明らかである
。
以上説明したよう如、本発明によればロボットの先端部
付近にメリット投光器と２次元的像検出器とを有する光
切断検出手段を設け、走査装置な作動させるかまたはロ
ボット自体を作動させてロボットからみた作業対象物体
の距離面像な検出して、対象物体の３次元形状（立体形
状）を検出することができるので、正確に且高速で対象
物体の３次元量間での状態を検出でき、この検出結果に
もとづいてロボットに所定の作業を行うことができる効
果を奏する。特に本発明は立体形状検出装置をロボット
に取付けたことにより、立体形状検出装置を様様な位置
や姿勢に変えることができ、様々な姿勢や、形状を有す
る対象物体に合せて対象物体の立体形状を正確に検出で
きる効果を有する。
付近にメリット投光器と２次元的像検出器とを有する光
切断検出手段を設け、走査装置な作動させるかまたはロ
ボット自体を作動させてロボットからみた作業対象物体
の距離面像な検出して、対象物体の３次元形状（立体形
状）を検出することができるので、正確に且高速で対象
物体の３次元量間での状態を検出でき、この検出結果に
もとづいてロボットに所定の作業を行うことができる効
果を奏する。特に本発明は立体形状検出装置をロボット
に取付けたことにより、立体形状検出装置を様様な位置
や姿勢に変えることができ、様々な姿勢や、形状を有す
る対象物体に合せて対象物体の立体形状を正確に検出で
きる効果を有する。
第１図は従来の平面画像検出によるロボット制御を説明
する図、第２図は従来の光切断検出器によるドラッギン
グ作業を説明する図、第３図は本発明の一実施例の構成
を説明する図、第４図は本発明の一実施例における光切
断へノドの構成を説明する図、第５図は実施例における
作業対象を説明する図、第６図は光切断例の例、第７図
は光切断抽出処理を説明する図、第８図は距離画像の例
を示す図、第９図は光切断線と撮像装置の中心と目的物
表面との関係を示した図、第１０図はロボット制御装置
の概略構成を示した図、第１１図は撮像装置の概略構成
を示した図、第１２図は距離画像信号を微分してジャン
プエツジを検出するために３×６の絵素についての距離
を切出した状態を示す図、第１う図は距離画像尾おける
ジャンプエツジとルーフエツジとな示す図、第１４図は
本発明の第６図と異なる他の一実施例を示した図、第１
５図は更に本発明の他の一実施例を示した図である。 ３・・・像検出器、 ６・・スリット投光器、 ９・・・直線移動機構、 １０・・・モータ、 １５・・・産業用ロボット、 １７・・・手機構、 １１・・・立体形状検出器、 １２・・・光切断ヘッド、 １３・・・変位検出器。 代理人弁理士 高 橋 明 夫と ・）；ｊ）； ノ
ロと］ 第 ２ 図 第 ３ 図 第５図 １区 第１／Ｉ！ｌ！］４２ 第１２図 Ｘｆ−／ Ｘｆ Ｘｌ＋／ ＄／４Ｚ
する図、第２図は従来の光切断検出器によるドラッギン
グ作業を説明する図、第３図は本発明の一実施例の構成
を説明する図、第４図は本発明の一実施例における光切
断へノドの構成を説明する図、第５図は実施例における
作業対象を説明する図、第６図は光切断例の例、第７図
は光切断抽出処理を説明する図、第８図は距離画像の例
を示す図、第９図は光切断線と撮像装置の中心と目的物
表面との関係を示した図、第１０図はロボット制御装置
の概略構成を示した図、第１１図は撮像装置の概略構成
を示した図、第１２図は距離画像信号を微分してジャン
プエツジを検出するために３×６の絵素についての距離
を切出した状態を示す図、第１う図は距離画像尾おける
ジャンプエツジとルーフエツジとな示す図、第１４図は
本発明の第６図と異なる他の一実施例を示した図、第１
５図は更に本発明の他の一実施例を示した図である。 ３・・・像検出器、 ６・・スリット投光器、 ９・・・直線移動機構、 １０・・・モータ、 １５・・・産業用ロボット、 １７・・・手機構、 １１・・・立体形状検出器、 １２・・・光切断ヘッド、 １３・・・変位検出器。 代理人弁理士 高 橋 明 夫と ・）；ｊ）； ノ
ロと］ 第 ２ 図 第 ３ 図 第５図 １区 第１／Ｉ！ｌ！］４２ 第１２図 Ｘｆ−／ Ｘｆ Ｘｌ＋／ ＄／４Ｚ
Claims (1)
- 【特許請求の範囲】 １ 対象物体に光切断線を形成するように投光する投光
器と、この投光器によって投光された光切断線の像を２
次元的に検出する像検出器と少くとも上記光切断線を所
定の方向に走査する ゛走査装置とを備え付は且つ該走
査装＃によって走査された光切断線を像検出器で検出し
て距離画像をとらえ、対象物体の位置、傾き等の立体形
状を視覚１ｃよ−って認識する立体形状検出装置をロボ
ットの動作部材上に取付けたことを特徴とするロボット
。 ２ 上記立体形状検出装置の走査装置は、上記光切断線
を走査するように構成したことを特徴とする特許請求の
範囲第１項記載のロボット。 ろ 上記走査装置は、投光器と像検出器とを一体的に走
査するように構成したことを特徴とする特許請求の範囲
第２項記載のロボット。 ４ 上記ロボットは少くともろ自由度以上で動作し、上
記立体形状検出装置を３自由度以上で動作する部材の先
に取付けたことを特徴とする特許請求の範囲第１項、第
２項または第３項記載のロボット。 ５ 上記対象物体の位置、傾き等の立体形状を認識する
イメージプロセッサを設け、該イメージプロセッサから
得られる対象物体の位置、傾き等の情報を、ロボット制
御装置にフィードバックし、ロボットの動作プログラム
如上記情報を与え、ロボットが上記対象物体に作業が出
来るように構成したことを特徴とする特許請求の範囲第
１項記載のロボット。 ６、 上記イメージプロセッサは、距離画像信号を微分
してジャンプエツジ画像信号を形成する微分手段と、こ
のジャンプエツジで閉じられた領域に分離する分離手段
と、この分離された領域から必要な領域を抽出し、この
抽出された領域から主要な平面の距離画像を抽出する抽
出手段と、この距離画像によりこの主要な平面の重心の
位置及び傾き等を検出する検出手段と建よって構成した
ことを特徴とする特許請求の範囲第５項記載のロボット
。 Ｚ 対象物体に光切断を形成するように投光する投光器
とこの投光器によって投光された光切断線の像を２次的
に検出する像検出器とで構成された光切断線検出ヘッド
をロボットの動作部材上に取付け、ロボットの動作部材
を所定方向に移動させて走査される光切断線を上記像検
出器で検出して距離画像としてとらえ、対象物体の立体
形状を視覚認識できるように構成したことを特徴とする
ロボット。 ８、 上Ｈピロボンドは３自由度以上でもって構成され
、この３自由度以上の動作する部材上に上記光切断線検
出ヘッドを取付けたことを特徴とする特許請求の範囲第
７項記載のロボット。 ９ 上記対象物体の位置、傾き等を視覚認識するイメー
ジプロセッサを設け、該イメージプロセッサから得られ
る対象物体の位置、傾き等の情報ヲ、ロボット制御装置
にフィードパ、りし、ロボットの動作プログラムに上記
情報を与え、ロボットが上記対象物体に作業が出来るよ
うに構成したことを特徴とする特許請求の範囲第７項記
載のロボット。 １０ 上記イメージプロセッサは距離画像信号をｅ分
してジャンプエツジ画像信号を形成する微分手段と、こ
のジャンプエツジで閉じられた領域に分離する分離手段
と、この分離された領域から必要な領域を抽出し、この
抽出された領域から主要な平面の距離画像を抽出する抽
出手段と、この距離画像によりこの主要な平面の重心の
位置及び傾き等を検出する検出手段とによって構成した
ことを特徴とする特許請求の範囲第９項記載のロボット
。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7290383A JPS59201791A (ja) | 1983-04-27 | 1983-04-27 | ロボット制御装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7290383A JPS59201791A (ja) | 1983-04-27 | 1983-04-27 | ロボット制御装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS59201791A true JPS59201791A (ja) | 1984-11-15 |
| JPH0428516B2 JPH0428516B2 (ja) | 1992-05-14 |
Family
ID=13502767
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP7290383A Granted JPS59201791A (ja) | 1983-04-27 | 1983-04-27 | ロボット制御装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPS59201791A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6440290A (en) * | 1987-08-04 | 1989-02-10 | Meidensha Electric Mfg Co Ltd | Profile controller for robot |
-
1983
- 1983-04-27 JP JP7290383A patent/JPS59201791A/ja active Granted
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6440290A (en) * | 1987-08-04 | 1989-02-10 | Meidensha Electric Mfg Co Ltd | Profile controller for robot |
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0428516B2 (ja) | 1992-05-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US4575304A (en) | Robot system for recognizing three dimensional shapes | |
| JP7490349B2 (ja) | 入力装置、入力装置の制御方法、ロボットシステム、ロボットシステムを用いた物品の製造方法、制御プログラム及び記録媒体 | |
| US6763284B2 (en) | Robot teaching apparatus | |
| EP0208406B1 (en) | Method of detecting and controlling work start point of robot | |
| JPH0425583B2 (ja) | ||
| JP5729219B2 (ja) | ロボット制御システムのカメラ座標系とロボット座標系の結合方法、画像処理装置、プログラム、及び記憶媒体 | |
| EP3272473A1 (en) | Teaching device and method for generating control information | |
| CN108290286A (zh) | 用于教导工业机器人拾取零件的方法 | |
| JPH02143309A (ja) | 操縦方法及び装置 | |
| US10607337B2 (en) | Object inspection system and object inspection method | |
| Shen et al. | Robot-to-human feedback and automatic object grasping using an RGB-D camera–projector system | |
| EP0309069A2 (en) | Computerized sewing apparatus | |
| JPS59201791A (ja) | ロボット制御装置 | |
| JPS6334093A (ja) | 視覚装置 | |
| JP2686685B2 (ja) | ロボットによる物体操作のための能動的カメラ探索装置 | |
| Torkaman et al. | Real-time visual tracking of a moving object using pan and tilt platform: A Kalman filter approach | |
| Wu et al. | Kinect-based robotic manipulation: From human hand to end-effector | |
| JPH0474155B2 (ja) | ||
| Kofman et al. | Teleoperation of a robot manipulator from 3D human hand-arm motion | |
| Kent et al. | Real-time cooperative interaction between structured-light and reflectance ranging for robot guidance | |
| JP2730754B2 (ja) | 視覚装置付ロボット | |
| WO2022090895A1 (en) | Computer-implemented method for the real-time control of an antropomorphic robot and related system for the real-time control | |
| JP3229024B2 (ja) | ３次元位置標定装置 | |
| Chang et al. | Automatic mobile robotic manipulation with active eye-to-hand binocular vision | |
| Moore | Machine vision: More than meets the eye |