JPH0571933A - 視覚センサシステム - Google Patents

Abstract

(57)【要約】 【目的】 機械的、光学的誤差要因に影響を受けない高
精度検出機能を有する視覚センサを提供する。 【構成】 センサ１内部のレーザー発振器より出射され
たレーザービームはワーク４上にスポット像ＳＰ₁ 〜Ｓ
Ｐ₃ を作る。これらのスポット像はＣＣＤ撮像素子１１
により撮像され、それらの像点Ｐ₁ 〜Ｐ₃ の位置座標が
画像処理手段２により求められる。これらの位置座標値
（ｘ₁ ，ｙ₁ ）〜（ｘ₃ ，ｙ₃ ）は、ニューラルネット
ワーク手段３１が有する学習能力により最適化された写
像関数によって写像変換される。この変換値が検出すべ
きワーク４の姿勢及びワーク４との距離に相当してい
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、けがき線に沿って切
断する切断ロボット等の工作機械に用いられる視覚セン
サに関するものである。具体的には、ワークとの距離及
びワークに対する姿勢を検出する視覚センサに利用され
る発明である。

【０００２】

【従来の技術】切断ロボット用のけがき線センサの構成
については、特願昭６２−２０４３９５号，特願昭６３
−４３７８４号，特願昭６３−１３５２２６号や特願昭
６３−１５０７９９号等に詳細に開示されている。この
様なけがき線センサの構成を示したものが図６である。

【０００３】同図に示す通り本けがき線センサ１（以
下、単にセンサ１と呼ぶ。）は、その基本的構造とし
て、３つのレーザー発振器Ｓ₁ 〜Ｓ₃，３つの微小光学
系１３〜１５（Ｓｅｌｆｏｃレンズ），集光レンズ１２
及びＣＣＤ撮像素子１１を備えている。ここで、各レー
ザー発振器Ｓ₁ 〜Ｓ₃ より発振したレーザービームＬＢ
₁ 〜ＬＢ₃ は対応した微小光学系１３〜１５を介してワ
ーク面４上に照射され、ワーク面４において反射した各
レーザービームＬＢ₁₁〜ＬＢ₃₁が集光レンズ１２を介し
てＣＣＤ撮像素子１１の受光面上に入射する。そして、
ＣＣＤ撮像素子１１の映像情報〔Ｐ₁ （ｘ₁ ，ｙ₁ ）〜
Ｐ₃ （ｘ₃ ，ｙ₃ ）〕より、当該センサ１とワーク４と
の距離ｚ₀ 及びワーク４に対する当該センサ１の姿勢
（φ，θ）が、下記に示す様に解析的に算出される。

【０００４】図７はセンサ１の姿勢（φ，θ）を定義し
た説明図であり、ベクトルγはワーク４の法線ベクトル
を表している。同図より、姿勢（φ，θ）とはオイラー
角に相当していることが理解される。又、同図に示され
たＸＹ座標平面は、集光レンズ１２及びレーザー発振器
Ｓ₁ 〜Ｓ₃ を含む平面１６に相当するものである。尚、
ＣＣＤ撮像素子１１の受光面上に想定されたｘｙ座標平
面も当該平面１６に平行な平面である。

【０００５】ここに図８及び図９は、姿勢（φ，θ）及
び距離ｚ₀ の解析方法を説明するために描かれた参照図
であり、センサ１内部の各構成素子とワーク４との幾何
学的関係を示した図である。同図に示す様に各レーザー
発振器Ｓ₁ 〜Ｓ₃ は、相互に１２０度の角度で且つ同一
円周上（半径ｌ）に位置する様に、平面１６上に配置さ
れている。しかも、各レーザービームＬＢ₁ 〜ＬＢ₃ の
平面１６に対する出射角度もそれぞれ角度αとなる様
に、各レーザー発振器Ｓ₁ 〜Ｓ₃ は配置されている。
又、平面１６とＣＣＤ撮像素子１１との距離も、定数値
ｄに固定されている。以下、ＣＣＤ撮像素子１１の受光
面上の点Ｐ_i （ｘ_i，ｙ_i ）（ｉ：１〜３）の座標値が
与えられれば、距離ｚ₀及び姿勢（φ，θ）が解析的に
求められることを導出する。

【０００６】先ず、長さＬ₁ を導出する。図９より、角
度αに関して数１の関係式が成立する。

【０００７】

【数１】

【０００８】ここで距離Ｏ_c Ｐ₁ 、即ち、Ｘ₁ は、点Ｐ
₁ の位置座標との関係では数２で与えられる。

【０００９】

【数２】

【００１０】従って、点Ｐ₁ （ｘ₁ ，ｙ₁ ）の座標値が
与えられれば、長さＬ₁ の値は、

【００１１】

【数３】

【００１２】により算出されることになる。長さＬ₂ ，
Ｌ₃ もまた、同様に求められる。

【００１３】又、各レーザービームＬＢ₁ 〜ＬＢ₃ とワ
ーク４との交点ＳＰ₁ 〜ＳＰ₃ のベクトル表現γ₁ 〜γ
₃ は、それぞれ数４〜数６で与えられる。

【００１４】

【数４】

【００１５】

【数５】

【００１６】

【数６】

【００１７】従って、法線ベクトルγは数７で与えら
れ、これを姿勢（φ，θ）で表現すれば、数８及び数９
で与えられる。

【００１８】

【数７】

【００１９】

【数８】

【００２０】

【数９】

【００２１】次に、ワーク４とＺ軸との交点ωを求め
る。交点ＳＰ₁ 〜ＳＰ₃ を含む面の方程式は数１０で与
えられるので、数１０にＸ＝０，Ｙ＝０を代入すると、
距離ｚ₀ （距離Ｏω）は数１１で与えられることにな
る。

【００２２】

【数１０】

【００２３】

【数１１】

【００２４】ここで、Δｘ，Δｙ及びΔｚはそれぞれ、

【００２５】

【数１２】

【００２６】

【数１３】

【００２７】

【数１４】

【００２８】で表現される量である。

【００２９】以上より、点Ｐ_i （ｘ_i ，ｙ_i ）の座標値
が与えられれば、距離ｚ₀ 及び姿勢（φ，θ）が解析的
に求められることが理解される。

【００３０】

【発明が解決しようとする課題】従来のけがき線センサ
によれば確かに上記距離及び姿勢を解析的に求めること
が可能であるが、以下に記す誤差要因により、精度良く
これらの値を導出することが困難であった。

【００３１】 ３つのレーザー発振器それぞれの所定
位置への取り付け精度が異なるため、レーザー発振器の
取り付け位置に関する幾何学的パラメータ（前述の角度
α、半径ｌ）がレーザー発振器毎に相違する。そのた
め、解析に用いた幾何学的パラメータ値と実際のそれら
の値との間に差が生じ、解析結果に誤差をもたらせてい
た。

【００３２】 各微小光学系についても又、それらを
高精度で所定位置へ取り付けることが容易ではなく、ね
じれ方向に誤差が生じる場合が多かった。この誤差は、
各レーザービームが一点で交わらないという不具合をも
たらせることになる。

【００３３】 更に、各微小光学系の機械的中心軸と
その光学的中心とを一致させることが困難であり、ずれ
が生じていた。このずれもまた、解析モデルと現実の光
学的配置との間にギャップをもたらせていた。

【００３４】尚、これらの誤差要因を加味して解析値を
較正することも考えられるが、微小光学系のねじれ方向
の誤差や軸ずれ等を測定すること自体が極めて困難であ
り、しかもその様な測定及び較正をセンサ一つ一つにつ
いて実行することは非現実的である。

【００３５】この様な問題点は上記けがき線センサ特有
のものではなく、光学系を有するセンサである限り必然
的に生ずる問題点であり、しかも当該センサを工作機械
に適用しようとする場合に一般的に生ずる問題点であっ
た。

【００３６】本発明はこの様な状況を打開すべく創作さ
れたものであり、機械的及び光学的誤差要因を必然的に
含む視覚センサにおいて、それらの誤差要因に影響を受
けることなく高精度でワークとの距離及び姿勢を求める
ことができる視覚センサシステムを提供するものであ
る。

【００３７】

【課題を解決するための手段】この発明は、（ａ）ワー
ク上にビームを照射する複数のビーム発生手段と、
（ｂ）当該照射時に生ずる複数のスポット像を撮像する
撮像素子と、（ｃ）撮像素子の映像信号を受けて、複数
のスポット像に関する各映像の撮像素子の受光面上に想
定された座標平面上に於ける位置を導出する画像処理手
段と、（ｄ）予め最適関数に定められた写像関数を有
し、画像処理手段より受けた各映像の位置情報を当該写
像関数によって変換することにより距離及び姿勢を決定
するニューラルネットワーク手段とを備えたものであ
り、これによりワークとの距離及びワークに対する姿勢
を検出する様にしたものである。

【００３８】

【作用】各ビーム発生手段より出射された複数のビーム
は、それぞれワーク上を照射し、ワーク上にスポット像
を生じさせる。このとき撮像素子は複数のスポット像を
撮像し、その映像信号を画像処理手段へ送る。そして画
像処理手段は、各映像の撮像素子の受光面上に想定され
た座標平面上に於ける位置を導出することになる。

【００３９】この位置情報を入力値としてニューラルネ
ットワーク手段は、予め最適関数に定められた写像関数
による変換を行い、ワークとの距離及びワークに対する
姿勢を導出する。

【００４０】

【実施例】

Ａ． センサシステムの構成及び概略動作 図１は、この発明の一実施例であるセンサシステム１０
の電気的構成を模式的に示したブロック図である。同図
に於いて、センサ１は図６に示したものと同一構成を有
する。

【００４１】ＣＣＤ撮像素子１１の受光面上の像点Ｐ₁
〜Ｐ₃ に関する各画像データＶＰ₁ 〜ＶＰ₃ は画像処理
手段２により画像処理され、ＣＣＤ撮像素子１１の受光
面上に想定されたｘｙ座標軸に対する位置座標（例え
ば、ピクセル値）が求められる（本図内に模式的に示し
た画面１１Ａ参照）。即ち、位置座標Ｐ₁ （ｘ₁ ，
ｙ₁ ），Ｐ₂ （ｘ₂ ，ｙ₂ ），Ｐ₃ （ｘ₃ ，ｙ₃ ）が算
出される。尚、上記画像処理はテレビカメラによる３点
モニタ等に於いて通常用いられている処理と同一であ
り、一般に市販されている画像メモリ等が、画像処理手
段２として利用されている。

【００４２】その後、上記画像処理結果Ｐ_i （ｘ_i ，ｙ
_i ）（ｉ：１〜３）はＣＰＵ３へ入力され、後述する写
像変換がＣＰＵ３内のニューラルネットワーク手段３１
により行われる。又、ＣＰＵ３は、キーボード３２，Ｃ
ＲＴディスプレイ３３及びメモリ３４を備えている。オ
ペレータは、キーボード３２を介して後述する通り、ニ
ューラルネットワーク手段３１にデータを与えることが
できる。以下、ニューラルネットワーク手段３１を単に
ニューラルネットワーク３１と呼ぶ。

【００４３】Ｂ． ニューラルネットワークの構成及び
その学習動作 （１） 構成と写像関数 図２は、ニューラルネットワーク３１の構成例として、
Perceptron型ネットワークを利用した階層ネットワーク
を示した図であり、入力層、中間層、出力層より成る３
層構造を有するネットワークを示している。同図に示す
通り、入力層は６個のノードＵ^S1〜Ｕ^S6より成り、各ノ
ードＵ^S1〜Ｕ^S6にはそれぞれ座標値ｘ₁ 〜ｙ₃ （入力
値）が与えられる。又、各ノードＵ^S1〜Ｕ^S6は、それぞ
れ入出力関数ｆ₁ 〜ｆ₆ を有しており、各ノードＵ^S1〜
Ｕ^S6に格納された入力値ｘ₁ 〜ｙ₃ はそれぞれ、入出力
関数ｆ₁ 〜ｆ₆ によって写像変換される。例えば、点Ｐ
₁ のｘ座標値ｘ₁ はノードＵ^S1に格納され、入出力関数
ｆ₁ によって出力データＯ^S1に変換される。又、点Ｐ₁
のｙ座標値ｙ₁ はノードＵ^S2に格納され、入出力関数ｆ
₂ によって出力データＯ^S2に変換される。即ち、各入力
値ｘ_i は入力層により、出力データＯ^Si＝ｆ_i （ｘ_i）
（ｉ：１〜６）に変換される。ここで、入出力関数ｆ₁
〜ｆ₆ は予め設定された関数であって、例えば区分線形
関数等を入出力関数ｆ₁ 〜ｆ₆ として用いることができ
る。

【００４４】一方、中間層はｎ個のノードＵ^M1〜Ｕ^Mnか
ら成り、各ノードＵ^M1〜Ｕ^Mnはそれぞれ入出力関数ｇ₁
〜ｇ_n を有している。又、各ノードＵ^M1〜Ｕ^Mnはそれぞ
れ、入力層の各ノードＵ^S1〜Ｕ^S6と対応するコネクショ
ンにより結合されており、しかも各コネクションには重
み付け値Ｗ^SiMj（ノードＵ^SiからノードＵ^Mjへのコネク
ションの場合）か設定されている。従って、入力層の各
ノードＵ^Si（ｉ：１〜６）の出力データＯ^Siは、中間層
の一つのノードＵ^Mj（ｊ：１〜ｎ）へ入力されるに際
し、重み付け値Ｗ^SiMjにより重み付けられることにな
る。例えば、ノードＵ^S1の場合には、その出力データＯ
^S1と重み付け値Ｗ^S1M1との積Ｗ^S1M1・Ｏ^S1がノードＵ^S1
からノードＵ^M1へ入力される。そして、中間層の一つの
ノードＵ^Mjの入力値は、入力層の各ノードＵ^Siから与え
られる重み付けられた量Ｗ^SiMj・Ｏ^Siの総和Ｉ^Mjとして
表される。即ち、

【００４５】

【数１５】

【００４６】となる。

【００４７】その後、入力値Ｉ^Mjは、ノードＵ^Mjの入出
力関数ｇ_j により出力データＯ^Mjへ写像変換される。即
ち、Ｏ^Mj＝ｇ_j （Ｉ^Mj）となる。この出力データＯ^Mjも
また、ノードＵ^Mjと出力層の一つのノードＵ^Rk（ｋ：１
〜３）との間のコネクションにより、重み付け値Ｗ^MjRk
で重み付けられる。

【００４８】同じく出力層は３個のノードＵ^R1〜Ｕ^R3よ
り成り、各ノードＵ^R1〜Ｕ^R3はそれぞれ入出力関数ｈ₁
〜ｈ₃ を有している。従って、各ノードＵ^Rkの入力値Ｉ
^Rk及びその出力データＯ^Rkは、それぞれ数１６及び数１
７により与えられる。

【００４９】

【数１６】

【００５０】

【数１７】

【００５１】そして、これらの出力データＯ^R1〜Ｏ^R3が
それぞれ求めるべき出力値φ，θ及びｚ₀ に相当してい
る。即ち、姿勢（φ，θ），距離ｚ₀ は、ネットワーク
の写像関数をＦ₁ 〜Ｆ₃ として、

【００５２】

【数１８】

【００５３】

【数１９】

【００５４】

【数２０】

【００５５】により表される。

【００５６】以上の展開より、予め写像関数Ｆ₁ 〜Ｆ₃
が最適な関数となる様に設定されていれば、３点Ｐ₁ 〜
Ｐ₃ の位置座標の観測値を入力値ｘ_i としてニューラル
ネットワーク３１に与えることにより、姿勢（φ，θ）
及び距離ｚ₀ が算出されることになる。尚、ニューラル
ネットワーク３１自身は、その様な写像関数Ｆ₁ 〜Ｆ₃
を最適化する能力、即ち、学習能力を有している。以下
においては、この学習能力について詳述することとす
る。

【００５７】（２） 学習動作 写像関数Ｆ₁ 〜Ｆ₃ を最適化する方法としては、入出力
関数ｆ_i ，ｇ_j ，ｈ_k の関数形を逐次修正する方法、各
重み付け値Ｗ^SiMj，Ｗ^MjRkを逐次修正する方法等が考え
られるが、本ニューラルネットワーク３１においては、
後者の方法が利用される。又、その様な重み付け値Ｗ
^SiMj，Ｗ^MjRkの修正方法としては、周知の誤差逆伝播法
（Error Back Propagation) が用いられる。以下、図３
及び図４に基づき説明する。

【００５８】図３及び図４は、ニューラルネットワーク
３１による姿勢（φ，θ）及び距離ｚ₀ の算出に先立っ
て行われる前段階の各ステップ（準備用ステップ）を示
したフローチャートであり、学習動作を表したものでも
ある。即ち、ここでの考え方は、姿勢及び距離について
は実測可能であるので、それらの実測値とその際の３点
Ｐ₁ 〜Ｐ₃ の位置座標の観測値とから成るサンプルデー
タを複数個用意しておき、それらのサンプリング結果を
満足する様にニューラルネットワーク３１に学習動作を
行わせしめようとするものである。

【００５９】先ずステップＰＳ１においては、サンプリ
ングが行われる。即ち、姿勢（φ_i ，θ_i ），距離ｚ_0i
及び像点Ｐ_1i〜Ｐ_3iの位置座標をＮ個計測する（ｉ：１
〜Ｎ）。この場合、各像点Ｐ_1i〜Ｐ_3iの位置座標値はセ
ンサ１及び画像処理手段２により求められ、それらの結
果がＣＲＴディスプレイ３３に表示される。

【００６０】次にオペレータは、表示された各位置座標
値（ｘ_1i，ｙ_1i）〜（ｘ_3i，ｙ_3i）と対応する各姿勢
（φ_i ，θ_i ），距離ｚ_0iについての実測値とを、キー
ボード３２によって指定値としてニューラルネットワー
ク３１に入力する（ステップＰＳ２）。

【００６１】ステップＰＳ３は既述の学習動作を表した
ステップであり、複数のステップＰＳ３１〜ＰＳ３４よ
り構成される。

【００６２】ステップＰＳ３１では、前述の数１８〜数
２０に基づきニューラルネットワーク３１により、各位
置座標値（ｘ_1i，ｙ_1i）〜（ｘ_3i，ｙ_3i）が写像変換さ
れる。ここで用いられる写像関数Ｆ₁ 〜Ｆ₃ は、予めオ
ペレータによって適当に設定された関数である。即ち、
この段階では、各重み付け値Ｗ^SiMj，Ｗ^MjRkは、姿勢及
び距離の実測値とは無関係に定められたものである。
今、位置座標値（ｘ_1i，ｙ_1i）〜（ｘ_3i，ｙ_3i）に対す
る写像変換の結果として、姿勢（φ_Fi，θ_Fi）及び距離
ｚ_Fiが計算されたとする。

【００６３】ステップＰＳ３２では、上記計算値と実測
値（指定値）との比較が行われる。この比較は、両者の
差分が予めオペレータによって適切に設定された許容値
δ₁ 〜δ₃ 内に属するか否かによって行われる。

【００６４】今、｜φ_Fi−φ_i ｜≦δ₁ ，｜θ_Fi−θ_i
｜≦δ₂ ，｜ｚ_Fi−ｚ_0i｜≦δ₃ が満足されないと判定
した場合には、ニューラルネットワーク３１はその学習
機能として各重み付け値Ｗ^SiMj，Ｗ^MjRkの修正を行う
（ステップＰＳ３３）。この修正は、既述したError Ba
ck Propagationに基づくものである。この方法自体はよ
く知られた方法であり、ここではその詳細については触
れないが、要約すれば次のような方法であると言える。
即ち、上記差分の自乗和より成る損失関数を求め、損失
関数が最小値となる様に上記重み付け値を逐次修正する
ものであり、いわゆる収束定理に基づいている。そして
修正後は、再びステップＰＳ３１に於いて新たな写像関
数Ｆ₁ 〜Ｆ₃ による写像変換が行われ、ステップＰＳ３
２の比較処理がなされる。

【００６５】一方、ステップＰＳ３２に於いて上記関係
が満足されていると判定した場合には、その時点での各
重み付け値Ｗ^SiMj，Ｗ^MjRkが求めるべき最適値であると
決定し、それらの値を最適な写像関数Ｆ₁ 〜Ｆ₃ を形成
する各重み付け値として固定する（ステップＰＳ３
４）。即ち、それらの値はメモリ３４に格納され、準備
ステップとしての学習動作は終了する。

【００６６】Ｃ． センサシステムの動作手順 上述の学習がなされたニューラルネットワーク３１を用
いてワーク４に対する姿勢（φ，θ），ワーク４との距
離ｚ₀ を検出するのが、本センサシステム１０である。
ここでは学習後の本センサシステム１０の動作を、図５
のフローチャートに従って説明する。

【００６７】先ずワーク４上へセンサ１を移動し、各レ
ーザー発振器Ｓ₁ 〜Ｓ₃ よりレーザービームＬＢ₁ 〜Ｌ
Ｂ₃ をワーク４へ照射する。そして、ＣＣＤ撮像素子１
１によりスポット像ＳＰ₁ 〜ＳＰ₃ が撮像される（ステ
ップＳ１〜Ｓ２）。更に、像点Ｐ₁ 〜Ｐ₃ に関する画像
データから、位置座標値Ｐ₁（ｘ₁ ，ｙ₁ ）〜Ｐ₃ （ｘ
₃ ，ｙ₃ ）が画像処理手段２により算出される（ステッ
プＳ３）。

【００６８】これらの位置座標値は入力値ｘ_i としてニ
ューラルネットワーク３１に入力され、上記最適化写像
関数Ｆ₁ 〜Ｆ₃ による写像変換を受ける。即ち、数１８
〜数２０に基づいて、姿勢（φ，θ）と距離ｚ₀ とが算
出され、その結果が例えばＣＲＴディスプレイ３３に表
示される（ステップＳ４）。

【００６９】これらの算出結果は、姿勢及び距離の実測
値と対応する像点の観測値とからなる複数のサンプル値
に基づいて最適化された写像関数Ｆ₁ 〜Ｆ₃ を用いて求
められたものであるため、それらは既述した誤差要因を
全て加味した較正済の値、即ち、真値に非常に近い値で
あると考えられる。

【００７０】

【発明の効果】以上説明した通りこの発明は、ニューラ
ルネットワーク手段の強力な写像関数生成能力（学習能
力）を利用して最適化された写像関数をニューラルネッ
トワーク内に形成し、この写像関数による写像変換によ
って姿勢及び距離を検出しようとするものである。従っ
て、本発明は、姿勢及び距離の高精度な検出を可能成ら
しめる効果を奏するものであり、しかもその様な高精度
検出に当たって複雑な較正を必要としないので、検出の
容易化を達成し得る効果をも奏する。

【図面の簡単な説明】

【図１】この発明の一実施例であるセンサシステムの電
気的構成を模式的に示したブロック図である。

【図２】Perceptron型ネットワークを利用した階層ネッ
トワークを示した説明図である。

【図３】ニューラルネットワークによる姿勢及び距離の
算出に先立って行われる前段階のステップを示したフロ
ーチャートである。

【図４】ニューラルネットワークによる姿勢及び距離の
算出に先立って行われる前段階のステップを示したフロ
ーチャートである。

【図５】センサシステムの動作手順を示したフローチャ
ートである。

【図６】けがき線センサの構成を示した説明図である。

【図７】センサの姿勢（φ，θ）を定義した説明図であ
る。

【図８】姿勢及び距離の解析方法の説明図である。

【図９】姿勢及び距離の解析方法の説明図である。

【符号の説明】

１ けがき線センサ ２ 画像処理手段 ３１ ニューラルネットワーク手段 ４ ワーク １１ ＣＣＤ撮像素子 Ｓ₁ レーザー発振器 Ｓ₂ レーザー発振器 Ｓ₃ レーザー発振器

Claims (1)

【特許請求の範囲】
1. 【請求項１】 ワークとの距離及び前記ワークに対する
   姿勢を検出する視覚センサシステムであって、 （ａ） 前記ワーク上にビームを照射する複数のビーム
   発生手段と、 （ｂ） 前記照射時に生ずる複数のスポット像を撮像す
   る撮像素子と、 （ｃ） 前記撮像素子の映像信号を受けて、前記複数の
   スポット像に関する各映像の前記撮像素子の受光面上に
   想定された座標平面上に於ける位置を導出する画像処理
   手段と、 （ｄ） 学習能力によって予め最適関数に定められた写
   像関数を有し、前記画像処理手段より受けた前記各映像
   の位置情報を前記写像関数によって変換することにより
   前記距離及び前記姿勢を決定するニューラルネットワー
   ク手段とを、備えた視覚センサシステム。