JPS6344103A - 位置姿勢認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、例えば、ワーク等の波目原物の位置及び姿勢
を画像処理を行なうことによって算出する位置姿勢認識
装置に関する。

（従来の技術） 近年、生産工程の自動化に伴い、例えば組立て作業にお
いては、無人搬送車等によって自動的に搬送されたワー
クをロボットによって掴み、所定の作業を行なわせてい
る。

この場合、ロボットにカメラ等による視覚機能を持たせ
、この視覚機能によって搬送されたワークの姿勢１位置
等を認識し、ロボットはワークの搬送姿勢及び位置にか
かわらず常にワークの一定の位置を掴むようにしている
。

このようなワークの位置及び姿勢を認識する装置には、
第５図及び第６図に示すものがある。

第５図に示す位置姿勢認識装置は、被写体であるワーク
の画像情報を入力するカメラ１と、前記画像情報をデジ
タルデータに変換すると共にこのデータを画像パターン
として格納する画像入力部２と、規範とする前記ワーク
にあける特徴点の画像パターンを記憶する教示パターン
格納部３と、教示パターン格納部３に記憶されている画
像パターンを移動させるパターン移動部４と、画像入力
部２かう取出した画像パターン及びパターン移動部４か
ら出力された画像パターンをマツチングざぜるパターン
マツチング部５とから成っている。

そして、カメラ１によって＠像したワークの画像は、画
像入力部２に画像パターンとして記°しＱされ、この画
像パターンに対して、教示パターン格納部３に記憶され
ている画像パターンをパターン移動部４によって移動さ
せ、パターンマツチング部５によって最も一致度が高い
ものを選択し、これによりワークの位置及び姿勢を算出
している。

また、第６図に示す位置姿勢認識装置は、被写体である
ワークの画像情報を入力するカメラ１と、前記画像情報
をデジタルデータに変換すると共にこのデータを画像パ
ターンとして格納する画像入力部２と、当該画像パター
ンを二値化処理する二値化処理部６と、二値化処理部６
によって二値化する場合の閾値を設定する二値化レベル
設定部７と、ワークの重心１面積２周囲長、モーメント
。

慣性主軸等のデータを格納する教示データ格納部８と、
二値化処理部６から出力されたデータを教示データ格納
部８に格納され一〇いるデータと比較し、一致したデー
タを取出す演算部９とからなる。

そして、カメラ１によって躍像したワークの画像は、画
像入力部２に画像パターンとして記憶され、この画像パ
ターンは、二値化レベル設定部７の設定レベルに基づき
、二値化処理部６によって二値化処理され、演算部９に
よってこの二値化処理後の画像について、その重心１面
積１周囲長。

モーメント、慣性主軸等を求めると共に教示データ格納
部８に格納されているワークの重心１面積。

周囲長、モーメント、慣性主軸等のデータが比較され、
一致したデータを選択し、これによりワークの位置及び
姿勢を算出している。

（発明が解決しようとする問題点） しかしながら、前記した第５図及び第６図に示したよう
な溝底を有する従来の位置姿勢認識装置にあっては、以
下に記すような問題点を有する。

すなわら、第５図に示した溝底を有する位置姿勢認識装
置の場合には、規範とするワークにあける特徴点の画像
パターンを画面上に移動させ、この画像パターンをカメ
ラ１から入力したワークにおける特徴点の画像パターン
と比較して、最も一致度が高い画像パターンから当該ワ
ークの位置及び姿勢を算出するようになっているために
、パターンマツチング処理に時間を要し、前記ワークの
位置及び姿勢の高速度検出が不可能であり、タクトタイ
ムの極めて短い生産ラインには適用できないという問題
があり、また、第６図に示した溝底を有する位置姿勢認
識装置の場合には、カメラ１から入力したワークにおけ
る画像を、所定の閾値をもって二値化処理し、この二値
化処理後の画像についての重心２面積１周囲長、モーメ
ント、江１１性主軸等のデータから当該ワークの位置及
び姿勢を算出するようになっていたために、前記ワーク
における照明条件の影響によって、その外形形状が鮮明
に検出できない時には、その位置及び姿勢の検出精度に
誤差を生じるという問題があった。

本発明は、このような従来の問題点に鑑みて成されたも
のであり、照明条件等の影響を受は難い線画画像等から
ワークの特徴点（例えば、ボルト孔や円形外形の中心点
又は鋭利部の頂点等）を抽出し、この特徴点相互間の位
置と距離とから当該ワークの位置及び姿勢を九２７ａす
る位置姿勢認識装置を提供することを目的とする。

（問題点を解決するための手段） 前記目的を達成するために、本発明では、被撮像物の画
像情報を入力し、当該画像情報を各画素毎にデジタル値
として出力する画像入力手段と、当該デジタル値に基づ
いて、当該被撮像物における投数の特徴点を抽出する特
徴点抽出手段と、前記被搬像物において基準となる夫々
の各特徴点間の距離データを予め格納する距離データ格
納手段と、当該距離データ格納手段に格納されている当
該夫々の距離データに基づいて、当該特徴点抽出手段に
よって抽出した夫々の特徴特徴点間の距離を順次比較し
、この比較結果から前記被Ｒ原物における１組の組合わ
せデータを選択する選択手段と、前記被撮像物において
基準となる夫々の特徴点の位置データを格納する位置デ
ータ格納手段と、当該位置データ格納手段に格納されて
いる位置データから当該選択手段により選択された１粗
の組合わせデータへ変換すべき変換式を算出すると共に
、この変換式により算出された前記被撮像物における夫
々の特徴点の位置データ及び前記被搬像物において基準
となる夫々の特徴点の位置データ相互の最大誤差を求め
る変換式作成手段と、前記被撮像物において基準となる
夫々の特徴点の位置データ及び前記被撮像物における夫
々の特徴点の位置データ相互の許容誤差を格納する許容
誤差格納手段と、当該変換式作成手段によって算出した
前記被撮像物にあける夫々の特徴点の位置データ相互の
最大誤差が、当該許容誤差範囲内であるかどうかを比較
する比較手段と、当該比較手段を介して出力した前記変
換式によって、前記被撮像物の位置及び姿勢を求める位
置姿勢算出手段とを有することを特徴とする。

（作用） 以下に、本発明の作用を第１図に基づいて説明する。

まず、画像入力手段１０から入力されたワークの画像は
、特徴点抽出手段１１によって照明条件の影響を受は難
い線画画像に変換されると共に当該線画画像における投
数の特徴点が算出され、これらの特徴点は、選択手段１
３によって、距離データ格納手段１２に記憶されている
当該ワークの各特徴点間における距離データと照合され
て前記ワークを特定する１組の組合わけデータが選択さ
れる。

そして、変換式作成手段１５は、位置データ格納手段１
４に格納されている各特徴点の位置データから、前記し
た１絹の組合わせデータへの変換式を弾出すると共に当
該位置データと当該１組の組合わせデータにあける各特
徴点間の最大誤差を降出し、この最大誤差は比較手段１
７によって、許容誤差格納手段１６に設定されている許
容誤差範囲内でおるかどうかの判断が成される。そして
、この誤差が許容範囲内であれば、前記ワークを特定す
る１組の組合わせデータに基づき、位置姿勢算出手段１
８によって前記ワークの位置及び姿勢が算出される。

（実施例） 以下に、本発明の実施例を図面に基づいて詳細に説明す
る。

第２図には、本発明に係る位置姿勢認識装置の概略構成
図が示されており、被撮像物で必る１ノークの画像を入
力するカメラ１には、アナログ信号をデジタル信号に変
換するへ／Ｄコンバータ２０か接続されている。なお、
このカメラ１とＡ／Ｄコンバータ２０とで画像入力手段
１０を構成している。

そして、Ａ／Ｄコンバータ２０は、人出力菰首２１を介
してＣＰＵ２２に接続されている。このＣＰＵ２２は、
特徴点抽出手段１１．選択手段１３゜変換式作成手段１
５．比較手段１７及び位置姿勢算出手段１８の各機能を
兼ねている。ざらに、ＣＰＵ２２には、ワークの位置及
び姿勢を弾出刃−るプログラムが書き込まれているＲＯ
Ｍ２３と距岨データ格納手段１２２位置データ＋８１内
手段１４及び許容誤差格納手段１６としてのＲＡＭ２４
が接続されている。

このように構成された位置姿勢認識装置は、第３図に示
す動作フローチャートに塁づいて次のように動作する。

以下に、この動作フローチャートを第４図（ａ＞から（
Ｃ）を参照して説明する。

ステップ１ ます、カメラ１は、例えば、第４図（ａ）に示されてい
るような形状を有するワークＷの画像を取込み、この画
像は、Ａ／Ｄコンバータ２０によってその画像を構成す
る画素毎にその濃度値に応じたデジタルデータに変換さ
れ、このデジタルデータは入出力装置２１を介して順次
ＣＰＵ２２に入力され、ｔ（Ａ〜１２４内に一時記憶さ
れる。

ステップ２ ＣＰＵ２２は、ＲＡＭ２４内に記憶した前記デジタルデ
ータに塁づいて、第４図（ｂ）に示すようなワークにお
ける特徴点であるＸＡＩ、　ＸＡ２．　ＸＡ３．・・・
・・・、　ＸＢＩ、　ＸＢ２．・・・・・・、　ＸＣ２
，ＸＣ３等を空間微分等によって抽出し、これらの点の
位置データをＲＡＭ２４内に記憶する。

ステップ３ ＣＰＵ２２は、ステップ２において陣出した各特徴点の
位置に具づいて、これらの特徴点間相互の全ての組合せ
における距離を算出しく例えば、ＸＡＩ−Ｘ８１間、Ｘ
Ｂ１−ＸＣ２間、ＸＡ２−Ｘ８１間、ＸＡ２−ＸＣ２間
等）、この各特徴点間の距離がＲＡＭ２４内に予め記憶
されている任意のワークにおける各特徴点間相互の距離
にほぼ一致していると思われる細組かの組合わせ（例え
ば、１組の組合わせとしてＸＡｌ−ＸＢ２−ＸＣ２−Ｘ
Ｃ５＞候補を選択する。これらの組合わせ候補は、第４
図（Ｃ）に示すＡ点、８点、０点及びＤ点に夫々対応す
る。

この組合わせ候補の選択は、例えば、ＸＡｌ−Ｘ８１間
の許容誤差範囲内における最小値がδｍｉｎ　。

最大値がδｍａＸ　（Ｌ設定されていたどりると、の条
件を満足するものを順次比較することにより行なわれる
。

ステップ４ ＣＰＵ２２は、ステップ３の処理の結果、各特徴点間の
距離がＲＡＭ２４内に予め記憶されている任意のワーク
における特徴点間の距離にほぼ一致していると思われる
１組の組合わせ候補が存在しているかどうかの判断をす
る。この判断の結果、組合わせ候補が存在していればス
テップ５に、存在していなければステップ６に夫々進む
。

ステップ５ ＣＩ−’Ｕ２２は、ＲＡＭ２４内に予め記憶している任
意のワークの特徴点における立直データに基づいて、こ
の位置データをステップ３で求められた１組の組合わせ
候補の位置データに変換する変換式における変換係数と
、ステップ３において算出された各特徴点（Ｘへ１．　
ＸＢＩ、　ＸＣ２，ＸＣ３）及びＲＡＭ２４内に予め記
憶されている各特徴点（ｘａｌ、　ｘｂｌ　、　ＸＣ２
，ＸＣ３）の夫々の特徴点に対応する最大誤差δを障出
し、この値をＲＡＭ２４内に格納する。

この変換係数は、以下に記すようにして求める。

変換式を Ｘ＝Ａｘｏ十Ｂ　　・・・・・・・・・（１）とし、 で与えられる式の△を最小にする△。

Ｂ夫々の値を求める。この時のＡ、８夫々の値が変換係
数の値である。

また、最大誤差δは、（２）式中、右辺各」ｎの値の中
で最大のものを興出することによって求められる。

ステップ６ ステップ４において、任意のワークにあける１ｈ徴点間
の距離にほぼ一致していると思われる１組組合わせ候補
が存在していないと判断されたので、ＣＰＵ２２は、入
出力装置２１を介して図示しない外部装置にル２識物な
しの信号を出力する。

ステップ７ ＣＰｔＪ２２は、ステップ５において算出した最大誤差
δの値とＲＡＭ２４内に予め設定されている許容誤差δ
Ｏの値を比較し、δ≦δＯでおればステップ８に、δ〉
δＯであればステップ３に夫々進む。

ステップ８ ＣＰＵ２２は、ステップ５において算出した変換係数△
、Ｂからワークの基準座標系に対する回転角θとＸ軸、
Ｙ＠！１方向の平行移動量を以下の式によって算出する
。

回転角θ＝ＴａＴｌ−１ａ１２／ａｌｌ平行移動足　Ｘ
＝ｂｌ ｙ＝ｂ２ 以上のようにして、ワークの位置及び姿勢を求めること
ができる。尚、ステップ３の処理は、本来、ワークの位
置及び姿勢を求める目的においては不要なものであるが
、この処理を行なわずにステップ５の処理を行なうと、
ステップ５の処理時間が長いために処理時間の短縮の面
から非常に不利になるので、この処理を行なっている。

（発明の効果） 以上の説明により明らかなように、本発明によれば、被
撮像物における複数の特徴点を抽出し、この特徴点相互
間の位置と距離とから当該波目原物の位置及び姿勢を認
識させるようにしたので、照明条件の影響を受は難くな
り、これに伴って高精度の認識能力を備えることが可能
になり、かつ、前記被撮像物における真の特徴点を抽出
する前辺理を行なっているので、高速度の処理が可能に
なる。さらに、位置及び距離のデータを前記被撮像物に
対応したものに変更することによって、多種類の物に適
用させることができ、汎用性に冨んでいる等の優れた効
果を奏する。

【図面の簡単な説明】

第１図は、本発明に係る位置姿勢認識装置のブロック図
、第２図は、本発明に係る位置姿勢認識装置の概略構成
図、第３図は、第２図に示した位置姿勢認識装置の動作
フローチャート、第４図（ａ＞〜（Ｃ）は、第３図に示
した動作フローチャートの動ｆ￥説明に供する図、第５
図及び第６図は、従来の位置姿勢認識装置の概略構成図
である。 １・・・カメラ（画像入力手段）、 ２０・・・Ａ／Ｄコンバータ（画像入力手段）、２２・
・・ＣＰＵ　（候補点抽出手段、選択手段、変換式作成
手段、比較手段、位置姿勢 締出手段）、 ２４・・・ＲＡＭ　（距離データ格納手段、位置データ
格納手段、許容誤差格納手段）、 Ｗ・・・ワーク（被撮像物）。 特許出願人　　　　　日産自動車株式会社代理人　弁理
士　　　八　１）幹　雄（ほか２名）第３図 第４図 （ｂ）

Claims (1)

1. 【特許請求の範囲】 被撮像物の画像情報を入力し、当該画像情報を各画素毎
   にデジタル値として出力する画像入力手段と、 当該デジタル値に基づいて、当該被撮像物における複数
   の特徴点を抽出する特徴点抽出手段と、前記被撮像物に
   おいて基準となる夫々の各特徴点間の距離データを予め
   格納する距離データ格納手段と、 当該距離データ格納手段に格納されている当該夫々の距
   離データに基づいて、当該特徴点抽出手段によって抽出
   した夫々の特徴点間の距離を順次比較し、この比較結果
   から前記被撮像物における１組の組合わせデータを選択
   する選択手段と、前記被撮像物において基準となる夫々
   の特徴点の位置データを格納する位置データ格納手段と
   、当該位置データ格納手段に格納されている位置データ
   から当該選択手段により選択された１組の組合わせデー
   タへ変換すべき変換式を算出すると共に、この変換式に
   より算出された前記被撮像物における夫々の特徴点の位
   置データ及び前記被撮像物において基準となる夫々の特
   徴点の位置データ相互の最大誤差を求める変換式作成手
   段と、前記被撮像物において基準となる夫々の特徴点の
   位置データ及び前記被撮像物における夫々の特徴点の位
   置データ相互の許容誤差を格納する許容誤差格納手段と
   、 当該変換式作成手段によつて算出した前記被撮像物にお
   ける夫々の特徴点の位置データ相互の最大誤差が、当該
   許容誤差範囲内であるかどうかを比較する比較手段と、 当該比較手段を介して出力した前記変換式によって、前
   記被撮像物の位置及び姿勢を求める位置姿勢算出手段と
   を有することを特徴とする位置姿勢認識装置。