JPS6280783A - 重なり部品の位置姿勢計測装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野コ この発明は、重なりあった部品の中から所望の部品を選
出するために必要な位置及び姿勢を計測する方法に関す
る。

［従来技術とその問題点コ 第１５図は、互いに重なりあった部品１００の中から所
望の部品を視覚センサ１０１の情報に従って認識し、そ
してロボットのアーム１０２等により選出するヒンピソ
キングのためのシステムを示している。重なりあった部
品として例えば第１６図に示すように紡績工程で生産さ
れろ管に糸か巻かれた管糸＋０３のような乙のがある。

この管糸１０３は次工程であるワインターに給糸するに
際し、ホッパーにばらまかれた管糸１０３は一本づつ整
列し直した後にワイングー機に送っているが、この目的
ために、管糸１０３に振動を与える等の処理を行うこと
により所定の場所に整列配置させる自動供給制御機構な
るものが実用化されているが、機構が複雑で柔軟性に欠
けるといった欠点があった そこでこの管糸１０３の整列作業を柔軟な機構により実
現するためには視覚センサ等の情報に従って駆動される
ロボットを用いた制御が有効ではないかと考えられる。

しかし従来：よ視覚センナにより単に２次元画像を処理
するらのか中心で管糸１０３のように重なりあっ１こ物
を認識するのは困難であった。又、視覚センサのみて３
次元の物体を捕らえようと思えば、異なる位置に復敢個
の視覚センサを設ける必要かあるが、この場合、視覚セ
ッサからの信号を処理する制御回路においてかなり高文
で複雑な処理が要求されるので一般的でない。尚、従来
のヒンピッキングノステムにおいてらフォトダイオード
アレイなとの触覚センサを用いて立体の形状計測を行な
っている例らあるが、適用可能な対象は単純な形状に限
られており、その機能は実用化のためには不十分である
。また視覚セッサと触覚センサをうまく協調させていな
いため、触覚センサのみから情報を得ようとすると多数
の計測点数を必要とする欠点かあった。

［発明の目的］ この発明は上述した問題点をなくすためになされたもの
であり、機能の異なるセンサを組み合イっせて用いるこ
とで高度に物体の認識を可能とじた重なり部品の位置姿
勢計測方法を提供することを目的とする。

［発明の概要］ 殴能の異なる度数のセンサを協調して用いれば、より簡
単に３次元的情報の収集が行えるものと思われる。そこ
でこの発明では視覚センサに加えて触覚センサを協調し
て用いていて、前者の視覚系において、まず、ばら積み
された管糸の中から把持すべき管糸の選出を行い、その
存在領域を探索範囲として後者の触覚系に与える。触覚
系においては、得られた探索範囲内で３次元情報を計測
して管糸の存在を確認し、その管糸の方向や姿勢を把持
情報としてロボットに与える。このようにすれば触覚セ
ンサはある限定された領域のみを計測すればよいので効
率良く３次元の情報を得ることが出来る。又、触覚系で
得られた処理結果を補正情報、例えば視覚系における画
像処理で必要となる２値化処理のしきい値を変更するた
めの情報として視覚系に戻すようにすれば上述したよう
な処理に更に確実性を付加することが出来る。

第１７図は視覚及び触覚の協調による３次元情報の認識
過程を示していて、視覚系により選出さ！１１こ管糸の
中心線と、視覚系の情報に基づいてなされｆこ触覚系で
の位置及び姿勢の計測結果からの管糸の中心線とが一致
したときに所望の管糸の検索が行なわれた乙のとして判
定され、それ以外のときは補正情報か視覚系と触覚系と
に送出され再び上述し１こ認識のための処理がなされる
。

１発明の構成］ この発明の重なり部品の位置姿勢計測方法は、無作為に
置かれ、それぞれか一定形状を有する多数の部品の中か
ら所望の部品を認識するｆこめに部品の位置及び姿勢を
計測する方法において、面記部品を２次元の映像情報と
して捕らえる視覚センサと、視覚センサで得られた各部
品の映像情報の中から物体の特徴を抽出する特徴抽出装
置と、部品に接触して部品を検知ずろ触覚セと、１ｉ７
ｒ記特徴抽出装置により抽出された部品に触覚センサを
移動させて接触させろ移動手段と、触覚セッサにより得
られた；９数の接触位置から部品の位置及び姿勢を計測
することを特徴とする。

［実施例］ 第１図はこの発明の位置姿勢計測方法の１実施例を示す
ブロック図である。

Ｉは非接触状態にて２次元の映像を得る視覚センサであ
り、２は接触あるいは非接触状態にて部品の形状等を検
知する触覚センナである。前記視覚センサｌ及び触覚セ
ンサ２からの信号はそれぞれ視覚情報人力装置３及び触
覚情報入力装置４を介して視覚情報処理部５及び触覚情
報処理部６に入力され、この両処理部５，６で得られた
信号は位置姿勢演算部７で演算が行なわれ、後述するよ
うに所定の制御がなされる。８は触覚情報処理部６から
の信号に従って触覚センサ２を駆動するための触覚セン
サ駆動機構制御回路、９は触覚センサ２からの検知信号
より対象物の接触点を検出する回路であり、１０は位置
姿勢演算部７によって求められた座標位置の対象物を把
持するための把持装置である。

各ブロックにおける動作を以下、図面に従って詳細に説
明する。

視覚センサＩは重なり合った管糸の２次元像を上部から
撮影するカメラであり、ここでは固体撮像素子を用いた
ＣＣＤカメラを用いている。光源としては後述する２値
化処理が容易となるようにスポット光源を用いる。この
視覚センサ１からの映像信号は視覚情報人力装置３を介
して視覚情報処理部５に人力される。

この視覚情報処理部５における動作を第２図のフローチ
ャートに従って説明する。

ステップＳ１にて動作モードの選択がなされ、まず最初
は学習モードが選択されると、ステップＳ２にて試行に
よる２値化しきい値のための初期値などの定数決定がな
される。その後、実行モードが選択されると、原画像２
値化レベル自動決定回路５１及び２値化回路５２にて次
に述べるような２値化レベルの決定と２値化処理とがな
される（ステップＳ３）。

ＣＣＤカメラｌにおいては画像は最小単位である画素毎
に明暗、即ち画素毎に強弱のアナログの電気信号として
出力される。この７［負信号をあるしきい値を境として
論理１又はＯの２値に変換している。しきい値は２値化
したとき出現する論理ｌの総数がある範囲内に入るよう
に設定する。従って照明条件等に影響されない２値化が
可能になっている。

第３図（ａ）をＣＣＤカメラＩで得られた原画像とする
と、設定したしきい値の大きさによって第３図（ｂ）〜
（ｄ）で示すような２値化画像か得られろ。

第３図（ｂ）で得られた２値化画象かその後の画像処理
の上でもっとら望ましいのではあるか、このような画像
を常に得ろことは一般に困難であり、画像のコントラス
ト不足などから第３図（Ｃ）のような画像になりがちで
ある。そこでこの実施例においては第３図（ｄ）で示す
ようにしきい値を高い目に設定し対象か分断された像を
得ている。これらのとぎれた象を後述する連結処理によ
って一つの像を復元する。この方法によれば低いコント
ラストの画像に対しても確実に対象を選出することがで
きる。

第４図はＣＯＤカメラｌにより得られた重なりあった管
糸１０３の画像を示していて、第５図は第４図の画像に
ついて“ｌ“を白ドツト、“０“を黒ドツトとして描い
た２値化画像を示している。

次に、２値化された画像を解析するために通常ラベリン
グの操作が行なわれる。画素グループ連結処理回路５３
にて一つのグループを構成すると思われる画素のグルー
プ化がなされる（ステップＳ５）。例えば第６図のよう
な２値化されたｔ素のイメージを考えると、画素の集合
し１〜Ｌ５の内、（Ｌ　ｌ’＋　Ｌ　３．　Ｌ　５）と
（Ｌ、、Ｌ、４）とはそれぞれ一つのグループをなして
いることが直感的に判る。このような部分を一つに連結
するために第７図に示すようなアルゴリズムに従って画
素のグループ化処理か行なわれる。

ある画素１（ｉ、ｊ耳但しこの画素は０でない］のラベ
ルを決定する場合、その画素を中心としてその周囲の画
素を走査し、画素の値を調べる。

まず１次を調べ、続いて２次、３次と調べていく。この
とき周囲の画素の値の取りかたにより、下記のようにグ
ループ番号を割り付ける（グループ化）。

ａ、すべてが論理０のとき １（ｉ、Ｄは孤立点であるから新しいグループ番号をつ
ける。

ｂ、すべてか論理１のとき １（ｉ、Ｄと周辺の画素か共通な領域をなすと考え、ｒ
　（１，Ｄ及び周辺のすへての画素に新しいグループ番
号を付けろ。

Ｃ０論理ｌ、０のみが混在するとさ Ｉ（ｉ、Ｄと周辺の画素が一つの領域をなすとηえ、［
（ｉ、Ｄ及び周辺の画素のうち論理１である画素に新し
い番号を付ける。

ｄ、すでにグループ化された画素があるとき１（ｉ、Ｄ
と周辺の画素はすでにグループ化された領域に属すると
考え、その中で最も小さいグループ番号を、Ｉ（ｉ、ｊ
）と周辺画素のうち論理ｌである画素に付ける。

再び第２図に戻り、次のステップＳ６に進む。

前段のステップＳ５で一つに連結された領域はある程度
の大きさを有していることか必要であり、これがグルー
プ化がうまく行なわれたかの判定要件となるのでこのス
テップＳ６にて上記各領域の面積が計算される。この面
積計算は単純に領域を構成している画素数を数えること
によってなされろ。ステップＳ７にて計算された領域の
面積の内、基準値以上のものかあるかが判定され、基準
値以上の面積の領域がない場合には前記画素のグループ
化がうまく行なイつれなかったしのとしてステップＳ８
にて前記しきい値か変更されステップＳ３に戻る。一方
、画素のグループ化か成功したときは次に中心線決定演
算回路５４にて各管糸１０３の中心線が求められる。ま
ずステップＳ９に進み、各画素グループの向きである方
向ベクトルが求められ、そしてステップＳ１０にて元来
一つの像であったと思われる画素グループを一つの像と
して連結させるための解析が行なわれる。

第８図は上記画素のグループ化処理により得られた画像
を示していて、まずステップＳ９にて各画素グループの
方向ベクトルＰ、Ｐ２．Ｐ３Ｆ、、Ｐ５ＩＯにおいて、
最ら長いベクトルＰ１Ｐ２が選出され（ステップ５１０
−１）、このベクトルＥア２に最も近傍；こありかつベ
クトルの向きが近似したベクトルＰ３Ｐ、が選出される
（ステップ５ＩＯ−２）。

次に重心Ｇｌ、Ｇ２を結ぶ直線の向きとベクトルＰ。

Ｐ２．Ｐ３Ｐ４の向きが近似するとき、この二つのベク
トルを一つのベクトルＰ、Ｐ、に結合しくステップ５Ｉ
Ｏ−３）、このベクトルＰ、Ｐ４について再び上記ステ
ップＳ　Ｉ　Ｏ−２の動作を行う（ステップ５１０−４
）。これによりベクトルＰ　＋　Ｐ　ｅが得られたら（
ステップ５ＩＯ−５）、ベクトルの向きが異なるベクト
ルＰ７Ｐ８についても上述した同様の処理を行い、ベク
トルＰ７Ｐ１Ｇを得る（ステップ５ＩＯ−６）。

上記の処理がすべての画素グループについて行なわれる
と次ぎのステップＳｌ＋に進み、第９図で示すように画
素グループの連結により得られた像の中心線の候補とし
てベクトルＰ、ＰｇとＰ７Ｐ＋ｏを得る。その後ステッ
プＳ１２に進み、最長中心線選択回路５５にて前記中心
線候補ベクトルの属性を検討することにより最長の中心
線か選出される。

中心線の属性として上記のように中心線の候補に対して
それぞれベクトル長や有効及び無効ベクトル長が求めら
れ、 １、灯効ヘクトル長〉無効ベクトル長 １１、ベクトル長〉規定値 を満たすときの中心線の候補を最長中心線としている。

次に存在領域決定回路５６にて最長中心線とされ１こ像
の存在領域が設定される（ステップ５Ｉ３）。

これは予め捕捉されろ品物を囲むように設定され、管糸
のような場合には管糸長、管糸直径で現わされる長方形
が平面的に設定される。

以上で視覚情報処理部５におけろ処理は終了し、最長中
心線と存在領域との信号か位置姿勢演算部７に送出され
る。この位置姿勢演算部７において、゛触覚センサ水平
移動量演算回路７３により触覚センサ２の移動量が演算
されその演算値か触覚情報処理部６の移動量出力部６４
に入力されろ。触覚センサ駆動機構制御回路８は移動量
出力部６４からの信号に従って触覚センサ２を所定の管
糸１０３の存在領域に移動させろ。

触覚センサ２としては第１０図に示すように、回動可能
な接触子２ａを備えたポテンンヨンメータを用いていて
、この接触子２ａの振れ角をポテンシヨメータ２にて検
出している。このようなポテンシヨメータ２を管糸１０
３大きさに対応して３個当間隔に平行設置している。

第１１図は第１０図を側方から見た図である。

ポテンシヨメータ２がＸ軸方向に移動して、今、Ｘｏの
位置に来たときに接触子２ａが管糸１０３に接触し、そ
の後はポテンショメータ２の移動に伴なって接触子２ａ
の振れ角θは増し、ポテンショメータ２がＸ２の位置に
来て接触子２ａの端部が管糸１０３の最上部に位置した
とき、その振れ角θは最大となる。このようなポテンシ
ョメータ２からの信号が触覚情報人力装置４を介して触
覚情報処理部６の特徴点検出回路６１に人力されると、
ポテンショメータ２の移動位置及びそのときの接触子２
ａの振れ角θが検知され、管糸１０３の一方の側方位置
Ｘ。と中心位置Ｘ、及び最上部のＺ軸方向における座標
Ｚ、とが検出される。次にポテンショメータ２を反対方
向から再び移動させることにより、管糸１０３のもう一
方の側方位置Ｘ３も検出される。

第１２図は特徴点検出回路６１における特徴点検出動作
を示すフローチャートを示している。

ステップＳ２０にて上記の管糸１０３存在領域へポテン
ショメータ２が移動され、その後、ステップＳ２＋にて
ポテンショメータ２は微少移動され、その微少移動量に
対する接触子２ａの回転角θ１（ｉ＝１〜ｎ）が読み取
られる。ステップＳ２２にて前記回転角Ｏ１とθｉ−＋
との差が設定値Ａ以上のある値になればポテンショメー
タ２が接触子２ａが回転し始めた乙のとしてステップＳ
２３に進み、そのときのポテンショメータ２の位置から
特徴点のＸ、ｙ座標か検出されろ。ステップＳ２４では
回転角θｉが最大値になったかか判定され、最大値でな
かったらステップＳ２・１に戻り、最大値が検出されれ
ばステップＳ２５にて特徴点のすへての座標ｘ、ｙ、ｚ
が検出されろ。

第１３図はポテンショメータ２の移動に伴なう接触子２
ａの振れ角θをプロットした図である。

第１４図は３つのポテンショメータ２により求められる
特徴点を示していて、ＣＩ’１１．Ｃｐ２１．Ｃｐ３１
及びＣｐ１３１Ｃｐ２３１ＣＩ）３３はそれぞれ管糸＋
０３の側方位置を示し、Ｃｐ＋ｔ、Ｃｐｔ２．Ｃｐｓ２
は管糸１０３の最上部位置を示している。

座標計算回路６２では特徴点の座標ＸＪ、Ｚの値から管
糸１０３の座ｐ　ｘ、ｙ、ｚか計算され、中心線計算回
路６３に於いて管糸１０３の中心線が計算され、前記中
心線マツチング回路７１に人力されろ。中心線マツチン
グ回路７１において、視覚情報処理部５により得られた
中心線と、触覚情報処理部６により得られた中心線とが
一致しているかが判定され、不一致であれば視覚情報処
理部５にて２値化レベルを変更して再処理がなされ、一
方、中心線が一致していれば、この中心線の座標に基づ
いて把持部演算回路７２にて把持部座標が演算される。

この把持部座標を例えばロボットのような把持装置ｌＯ
に入力することにより、所望の管糸１０３を把持するこ
とが出来る。

尚、この発明は所定の物体を把持するしのに限らず他の
種々の用途、例えば物体の位置と姿勢の計測や物体の抽
出等に用いられる。さらに、物体の位置と姿勢の計測や
抽出に際してはその物体の最長量を測定することに限ら
ず、物体の特徴を示す量により計測や抽出を行なっても
よい。

［発明の効果］ 以上説明したように、この発明は重なり合った部品の中
から所望の部品を選出するために、視覚センナでもって
まず所望の部品の位置をあらまし決定し、その後、触覚
センサにより正確な部品の位置と姿勢を計測するように
したので、従来のように３次元の部品を認識するために
特殊なセンサを用いる必要はなくなり、又、センサから
の信号処理においてら複惟な演算処理を必要としないの
で演算のための処理時間は短縮され、制御回路ら簡素化
される。

【図面の簡単な説明】

第１図はこの発明の重なり部品の位置姿勢計測方法のた
めの１実施例を示す制御ブロック図、第２図は第１図の
視覚情報処理部における動作を示すフローヂャ〜ト、第
３図（ａ）はＣＯＤカメラの捕らえた重なり部品の原画
像を示す図、第３図（ｂ）ないしくｄ）は第３図（ａ）
の原画像を２値化処理した画像を示す図、第４図は実際
の管糸の重なり画像を示す図、第５図は第４図における
画像を２値化処理した画像を示す図、第６図は２値化さ
れた画素の状態を示す図、第７図は第６図における画素
のグループ化のためのアルゴリズムを示す図、第８図は
画素のグループ化により得られた画像を示す図、第９図
は第８図における画素グループを連結して得られた象の
中心線を示す図、第１Ｏ図は第１図における触覚セッサ
として用いられるボテンノヨメータの構成を示す図、第
１１図は第１０図のボテンンヨメータの動作を説明する
ための図、第１２図は第１図の触覚情報処理部の特徴点
検出回路における動作を示すフローチャート、第１３図
は第１１図におけるボテンンヨメータの移動量に対する
接触子の回転角を示す図、第１４図は管糸に対して求め
られた特徴点の位置を示す図、第１５図はビンピッキン
グシステムを示す概略図、第１６図は重なりあった管糸
を示す図、第１７図はこの発明の概略を示すブロック図
である。 １・ＣＣＤカメラ、２　・ポテンショメータ、２ａ　接
触子、３　視覚情報入力装置、４・・触覚情報入力装置
、５・・・視覚情報処理部、６・・触覚情報処理部、７
・・位置姿勢演算部、訃・触覚センサ駆動機構制御回路
、９・・・対象物接触点検出回路、１０・・・把詩装置
、１０３・・・管糸。 箆２図 敵を餉処理 第２１＠ （ａ）　　　　　　　　（ｂ）　　　　　　　　（Ｃ）
　　　　　　　　（ｄ）第４図　　　　　　　　第５図 第７図 第８図　　　　　　　　第９図 １１０図 第１１図 第１２図 第１３図 ０払両 鵜切駈組 第１４図 ＣＤ２＋ Ｃρ２３ 区　　　　　　　　　　　　　　区 Ｌ′″）　　　　　　　　　　　　　　　　　　ψ丘　
　　　　　　　　　　　　　昧 昭和６１年２り／色日 ′・グ

Claims (1)

【特許請求の範囲】
1. （１）無作為に置かれ、それぞれが一定形状を有する多
   数の部品の中から所望の部品を認識するために部品の位
   置及び姿勢を計測する方法において、前記部品を２次元
   の映像情報として捕らえる視覚センサと、視覚センサで
   得られた各部品の映像情報の中から物体の特徴を抽出す
   る特徴抽出装置と、部品に接触して部品を検知する触覚
   センサと、前記特徴抽出装置により抽出された部品に触
   覚センサを移動させて接触させる移動手段と、触覚セン
   サにより得られた複数の接触位置から部品の位置及び姿
   勢を計測することを特徴とする重なり部品の位置姿勢計
   測方法。