JPH0661105B2

JPH0661105B2 - 直線算出方法

Info

Publication number: JPH0661105B2
Application number: JP61043962A
Authority: JP
Inventors: 良枝西田; 清治秦
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1986-03-03
Filing date: 1986-03-03
Publication date: 1994-08-10
Anticipated expiration: 2009-08-10
Also published as: JPS62202290A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明は、画像処理の部分的な画像の組合せを用いた位
置補正方法に係り、特に視覚付ロボット等の位置補正に
好適な直線算出方法に関する。

〔従来の技術〕

従来の装置は、特開昭59−154578号公報に記載のよう
に、２値画像からの線分列を抽出するものであった。し
かし、照明等による全体の明るさの変化による抽出する
線分列の移動等は配慮されていなかった。

〔発明が解決しようとする問題点〕

上記従来技術は、認識対象の直線的部分形状を認識する
ために、画像内に設けた処理領域を定義したウィンドウ
の中に、上記認識対象の直線的部分形状が入るように、
認識対象と画像を位置決めし、ウィンドウ内の部分画像
を固定しきい値により２値化して、上記認識対象の直線
的部分形状の輪郭によって白領域と黒領域とに分かれる
ようになし、上記白領域と黒領域との境界として上記認
識対象の直線的部分形状の輪郭を抽出し、その境界に位
置する一連の画素列を一定の近似幅によって直線近似を
し、近似をした線分の頂点位置にある画素のみをその座
標値によって表わす直線算出について、配慮がされてお
らず、照明等の変化で全体の明るさが変わり固定しきい
値での２値化時のバラツキ量子化誤差等の問題があっ
た。

本発明の目的は、照明等による全体の明るさの変化によ
る固定しきい値での２値化によるバラツキを防ぎ、ディ
ジタル画像からの直線近似における量子化誤差を防ぎ、
高速、高精度な直線算出方法を提供することにある。

〔問題点を解決するための手段〕

上記目的は、直線部が存在する２次元画像の画像処理に
おける直線算出方法において、前記２次元画像の特徴部
分のみを取り込むようウィンドウを設定し、該ウィンド
ウから該特徴部分の直線部を含む範囲の画像を抽出し、
該抽出された特徴部分を線分化して多角形近似し、該多
角形近似された多角形の頂点を含む一走査線上の隣り画
素との明るさの差をとり、明るさの差が最大になる点を
前記明るさの差による重み付けをした荷重平均により求
め、前記多角形近似された多角形の各頂点について抽出
した点を各点からの誤差が最小となるような直線を最小
二乗法を用いて求めることにより、最適な直線に近似す
ることができる。

〔作用〕

多値画像において、一走査線上の明るさの変化が最大と
なる点を見つけることにより、照明などの変化によって
全体の明るさが変わっても、明るさの変化が最大となる
点は変わらないため、常に同じ位置の点を抽出すること
ができる。さらに、最小二乗法によって、求めた点から
の誤差が最小となるような直線を統計的に求めることが
でき、最適な直線に近似することができる。

〔実施例〕以下、本発明の一実施例を第２図により説明する。

先ず、本発明が適用可とされた、ロボットによる自動組
立システムについて説明する。第２図はその一例でのシ
ステム構成を示したものである。図示の如くベルトコン
ベア１上をランダムに流れてくるシャーシ２はＴＶカメ
ラ３でとらえられ、シャーシ２全体の画像あるいはその
一部画像は画像処理装置４に転送されるようになってい
る。画像処理装置４でその入力画像からシャーシ２の位
置姿勢を計算したうえこれを組立ロボット５に転送する
ものとなっている。組立ロボット５は部品供給用マガジ
ン６から取り出した部品をシャーシ２に組付けするが、
その際画像処理装置４からの情報をもとに基準としての
位置姿勢データを補正した上シャーシ２に対し部品の組
付けを行うようになっている。一般にシャーシ２はベル
トコンベア１上では２次元的に任意の位置姿勢にある
が、組立ロボット５が部品シャーシ２に対し正しく組付
けるためには入力画像からシャーシ２のずれ分を求め、
これによって基準位置姿勢データを補正すればよいもの
である。

第３図は特徴形状部分の各種例を示したものである。図
示の如くＴＶカメラ３より得られる画像７中にはシャー
シ２に取付けされている基板の一部が像８として検出さ
れており、像８中にはまたコネクタ像９や穴像10、基板
縁像11，12などが存在するが、これらを特徴形状部分と
して抽出したうえ処理しようというものである。シャー
シはこの場合その位置姿勢がアトランダムであるといっ
ても基準の位置姿勢よりそれ程ずれていないとすれば、
ウインドウ13〜16を予め適当に設定しておく場合はそれ
ら特徴形状部分として抽出され得るものである。したが
って、抽出された特徴形状部分としては穴像10のように
特徴全体のものと、コネクタ像９は基板縁等11，12のよ
うに特徴全体の一部として得られるものとに分けられ
る。

第４図(a)，(b)は抽出された特徴形状部分の例をそれぞ
れ示したものである。このうち第４図(a)に示すものは
穴像10、つまり特徴全体の線分化方式により多角形近似
した例であり、データとして点（丸印）列の座標が保存
されるものとなっている。また、第４図(b)に示すもの
は基板縁像11、つまり特徴の一部とウインドウ枠15を線
分化方式により多角形近似し、そのウインドウ15枠を除
く内側部分には更に他のウインドウ18を設定することに
よって抽出すべき特徴部分だけを線分列に近似した例で
あり、データとしては点（丸印）列の座標が保存される
ようになっている。

第５図，第６図は第４図(a)，(b)で求めた線分化図形よ
り特徴量を抽出するための方法を示したものである。第
４図(a)のような特徴形状全体を抽出し得るものに対し
ては、重心（図心）Ｇが求められるようになっている。
重心Ｇのｘ座標ｘｇ、ｙ座標ｙｇは第５図に示す台形Tx
P_１，Ｐ_２，TyP_１，P₂を単位とし、しかも点列ＰをＰ＝
｛Ｐ_１（x₁，y₁），Ｐ_２（x₂，y₂），……，Ｐ_７（x₇，
y₇）｝（但し、P₈（x₈，y₈）＝Ｐ_１（x₁，y₁））として
求めた多角形全体の１次モーメントMx，Myと面積Ｓとか
ら以下のように求められるようになっている。

但し、Mx，Myはそれぞれｘ軸，ｙ軸に対するものであ
る。

また、第４図(b)においてウインドウ18枠の部分を除い
た線分列である第６図に示すような特徴形状の一部を抽
出したものに対しては、第１図に示す処理に従って最適
な直線への近似を行う。

まず、第６図に示すように点列抽出（S1）を行う。Ｎ
（S2）は点列数をカウントしている。次に第７図(a)に
示すように多値画像19上の点列を含む走査線20の明るさ
の変化をとる（S3）。この結果を、第７図(b)に示す。
ｆは明るさ、xiは画面上のｘ座標である。明るさの変化
21を見ると特徴値付近で明るさが最も変化していること
がわかる。そこで明るさが最も変化している点22を求め
るため、隣画素との明るさの差をとる（S₄）。この結果
を第７図(c)に示す。fxi−fxi-₁は隣画素との明るさの
差であり、xiは画面上のｘ座標である。このように、特
徴値付近の明るさの差はほぼ正規分布をなすと見なして
以下に示す明るさの差によって重み付けした荷重平均に
よって、第７図(c)に示す明るさの変化が最大となる点2
3を抽出する。（S5）。

荷重平均以上S3〜S5の処理をすべての点について行う（Ｓ_６）。
第８図にS3〜S6の処理によって求めた各点列を含む走査
線上の明るさの変化が最大となる点P1〜P4を示す。ここ
で求めたP₁〜P₄からの誤差が最小となる直線に近似する
（S₈）。

近似方法は第８図に示すP1〜P4との誤差ｌ_１〜ｌ_４が最
小となるような直線を以下に示す最小二乗法により求め
る。

求める直線はｙ＝ax＋ｂ（又はｘ＝ａ″ｙ＋ｂ″）であ
る。この場合係数ａ，ｂは点列P1〜P4を、Ｐ１＝（x₁，
y₁），Ｐ２＝（x₂，y₂），Ｐ３＝（x₃，y₃），Ｐ４＝
（x₄，y₄）として、但し、であり、はそれぞれｘの逆行列、転置行列である。

次に以上のようにして求めた特徴量にもとづき位置姿勢
を判定する方法を第９図(a)〜(c)により説明すれば求め
られた特徴量は重心と直線であることから、したがっ
て、これらの組合せとしては、重心と重心、重心と
直線、直線と直線の場合がある。以下それぞれの組合
せについて、位置姿勢の判定方法を説明するが、一般に
位置姿勢の基準のそれからのずれにはｘ方向，ｙ方向、
のずれの他、ｘｙ平面上での回転のずれがある。

の場合：ある１つの特徴形状部分対応の重心Ｇ１（x₁
g，x₁g）よりその特徴形状部分の位置、したがって、
ｘ，ｙ方向の位置ずれが求められるが、回転方向のずれ
角度θはＧ１（x₁y，x₁g），Ｇ２（x₂g，y₂g）から以下
のように求められるものである。

θ＝tan^-1（y₁−y₂／x₁−x₂） …………(8) 但し、Ｇ２は他の特徴形状部分対応の重心を示す。

の場合：の場合と同様にして重心Ｇ３（x₃g，y₃g）
より位置ずれが求められるが、次に重心Ｇ３と重心Ｇ３
から直線（ｙ＝ax＋ｂ）に下した重線との交点Ｊ１
（ｘ′，ｙ′）とにもとづき、回転方向のずれ角度θを
以下のように求めるものである。

θ＝tan^-1（ｙ′−y₃g／ｘ′−x₃g） ……(9) の場合：直線（ｘ＝ａ″ｙ＋ｂ″）と直線（ｙ＝ax＋
ｂ）との交点Ｊ_２（ｘ″，ｙ″）より位置を求め、更に
直線の傾きａ（またはａ″）より回転方向のずれ角θを
求めるものである。

θ＝tan^-1a or tan^-1 a″……(10) 第10図は第９図(a)〜(c)に示す方法による位置姿勢判定
処理全体の一例でのフローを示したものである。これに
従って処理を説明すれば、ＴＶカメラから入力された対
象の画像に対しては、適当な特徴形状部分が抽出される
べくウインドウが設定され処理範囲が決定されるように
なっている（Ｓ11，12）。この後ウインドウ内の特徴の
輪郭が抽出されたうえ線分化方式により多角形近似され
るが、この後は更に線分化データから特徴形状が把握さ
れ抽出し得る特徴量種別毎に分類されるようになってい
る（Ｓ13，14）。分類された特徴形状毎に、指定された
重心や直線方程式等の特徴量の抽出が行なわれ、求めら
れた２つの特徴量の組合せにより姿勢判定を行なうよう
になっているものである（Ｓ15，16）。

〔発明の効果〕

従来２値画像から特徴形状である直線を抽出する場合
は、照明等の変化によって画面全体の明るさが変わった
場合、明るさが最も変化する点でなく、少しずれて直線
を抽出してしまう。本発明によれば多値画像を用い、明
るさが最も変化する点を荷重平均により算出し、さらに
最小二乗法により各点からの誤差が最も少ない直線に近
似することができる。

【図面の簡単な説明】

第１図は本発明による直線算出方法の１実施例を示す処
理フローチャート、第２図は本発明の１実施例による装
置構成を示す図、第３図は本発明に係る特徴形状部分に
対するウインドウ設定方法を示す図、第４図(a)，(b)は
ウインドウにもとずき抽出された特徴形状部分を多角形
近似したものとして示す図、第５図，第６図は本発明に
係る特徴量抽出方法を説明するための図、第７図(a)は
多値画像の特徴形状部分の走査線の例、(b)は特徴形状
部分の一走査線上の明るさの変化グラフ、(c)は特徴形
状部分の隣画素との明るさの差のグラフを示す図、第８
図は特徴形状部分の直線近似方法を説明するための図、
第９図(a)〜(c)は本発明に係る位置姿勢判定方法を概略
的に説明する図、第10図は本発明に係る位置姿勢判定処
理の一例でのフローを示す図である。１……ベルトコンベア、２……シャーシ、３……ＴＶカ
メラ、４……画像処理装置、５……組立ロボット、６…
…部品供給用マガジン。

Claims

【特許請求の範囲】

【請求項１】認識対象の直線的部分形状を認識するため
に、画像内に設けた処理領域を定義したウィンドウの中
に、上記認識対象の直線的部分形状が入るように、認識
対象と画像を位置決めし、ウィンドウ内の部分画像を固
定しきい値により２値化して、上記認識対象の直線的部
分形状の輪郭によって白領域と黒領域とに分かれるよう
になし、上記白領域と黒領域との境界として上記認識対
象の直線的部分形状の輪郭を抽出し、その境界に位置す
る一連の画素列を一定の近似幅によって直線近似をし、
近似をした線分の頂点位置にある画素のみをその座標値
によって表わす直線算出方法において、上記認識対象の直線的部分形状の輪郭を直線近似した上
記線分の頂点位置にある画素を求め、上記各画素に対して、多値画像上で以下の処理を実行
し、該画素を通る走査線上の一連の画素の明るさを取り
出し、上記走査線上の一連の画素のそれぞれ隣合う画素の明る
さの差を求め、上記走査線上の一連の画素の走査線方向の座標値に、上
記隣の画素の明るさとの差を重み付けとして、走査線方
向に荷重平均をとって、明るさの変化が最大となる走査
線上の点を求め、上記一連の処理の繰り返しにより、上記線分の頂点位置
にある各画素上を通る走査線上の明るさの変化が最大と
なる点を求め、上記各走査線上の明るさの変化が最大となる点との誤差
が最小となる直線を、最小二乗法を用いて算出すること
を特徴とする直線算出方法。