JPH0727559B2 - 重なり部品の位置姿勢計測装置 - Google Patents
重なり部品の位置姿勢計測装置Info
- Publication number
- JPH0727559B2 JPH0727559B2 JP60222466A JP22246685A JPH0727559B2 JP H0727559 B2 JPH0727559 B2 JP H0727559B2 JP 60222466 A JP60222466 A JP 60222466A JP 22246685 A JP22246685 A JP 22246685A JP H0727559 B2 JPH0727559 B2 JP H0727559B2
- Authority
- JP
- Japan
- Prior art keywords
- tactile
- information
- orientation
- centerline
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Character Input (AREA)
- Image Processing (AREA)
Description
【発明の詳細な説明】 ［産業上の利用分野］ この発明は、重なりあった部品の中から所望の部品を選
出するために必要な位置及び姿勢を計測する装置に関す
る。
出するために必要な位置及び姿勢を計測する装置に関す
る。
［従来技術とその問題点］ 第15図は、互いに重なりあった部品100の中から所望の
部品を触覚センサ101の情報に従って認識し、そしてロ
ボットのアーム102等により選出するビンピッキングの
ためのシステムを示している。重なりあった部品として
例えば第16図に示すように紡績工程で生産される管に糸
が巻かれた管糸103のようなものがある。この管糸103は
次工程であるワインダーに給糸するに際し、ホッパーに
ばらまかれた管糸103は一本づつ整列し直した後にワイ
ンダー機に送っている。この目的のために、管糸103に
振動を与える等の処理を行うことにより所定の場所に整
列配置させる自動供給制御機構なるものが実用化されて
いるが、機構が複雑で柔軟性に欠けるといった欠点があ
った そこでこの管糸103の整列作業を柔軟な機構により実現
するためには視覚センサ等の情報に従って駆動されるロ
ボットを用いた制御が有効ではないかと考えられる。し
かし従来は視覚センサにより単に２次元画像を処理する
ものが中心で管糸103のように重なりあった物を認識す
るのは困難であった。又、視覚センサのみで３次元の物
体を捕らえようと思えば、異なる位置に複数個の視覚セ
ンサを設ける必要があるが、この場合、視覚センサから
の信号を処理する制御回路においてかなり高度で複雑な
処理が要求されるので一般的でない。尚、従来のビッピ
ッキングシステムにおいてもフォトダイオードアレイな
どの触覚センサを用いて立体の形状計測を行なっている
例もあるが適用可能な対象は単純な形状に限られてお
り、その機能は実用化のためには不十分である。また視
覚センサと触覚センサをうまく協調させていないため、
触覚センサのみから情報を得ようとすると多数の計測点
数を必要とする欠点があった。
部品を触覚センサ101の情報に従って認識し、そしてロ
ボットのアーム102等により選出するビンピッキングの
ためのシステムを示している。重なりあった部品として
例えば第16図に示すように紡績工程で生産される管に糸
が巻かれた管糸103のようなものがある。この管糸103は
次工程であるワインダーに給糸するに際し、ホッパーに
ばらまかれた管糸103は一本づつ整列し直した後にワイ
ンダー機に送っている。この目的のために、管糸103に
振動を与える等の処理を行うことにより所定の場所に整
列配置させる自動供給制御機構なるものが実用化されて
いるが、機構が複雑で柔軟性に欠けるといった欠点があ
った そこでこの管糸103の整列作業を柔軟な機構により実現
するためには視覚センサ等の情報に従って駆動されるロ
ボットを用いた制御が有効ではないかと考えられる。し
かし従来は視覚センサにより単に２次元画像を処理する
ものが中心で管糸103のように重なりあった物を認識す
るのは困難であった。又、視覚センサのみで３次元の物
体を捕らえようと思えば、異なる位置に複数個の視覚セ
ンサを設ける必要があるが、この場合、視覚センサから
の信号を処理する制御回路においてかなり高度で複雑な
処理が要求されるので一般的でない。尚、従来のビッピ
ッキングシステムにおいてもフォトダイオードアレイな
どの触覚センサを用いて立体の形状計測を行なっている
例もあるが適用可能な対象は単純な形状に限られてお
り、その機能は実用化のためには不十分である。また視
覚センサと触覚センサをうまく協調させていないため、
触覚センサのみから情報を得ようとすると多数の計測点
数を必要とする欠点があった。
［発明の目的］ この発明は上述した問題点をなくすためになされたもの
であり、機能の異なるセンサを組み合わせて用いること
で高度に物体の認識を可能とした重なり部品の位置姿勢
計測装置を提供することを目的とする。
であり、機能の異なるセンサを組み合わせて用いること
で高度に物体の認識を可能とした重なり部品の位置姿勢
計測装置を提供することを目的とする。
第17図は視覚及び触覚の協調による３次元情報の認識過
程を示していて、視覚系により選出された管糸の中心線
と、視覚系の情報に基づいてなされた触覚系での位置及
び姿勢の計測結果からの管糸の中心線とが一致したとき
に所望の管糸の検索が行なわれたものとして判定され、
それ以外のときは補正情報が視覚系と触覚系とに送出さ
れ再び上述した認識のための処理がなされる。
程を示していて、視覚系により選出された管糸の中心線
と、視覚系の情報に基づいてなされた触覚系での位置及
び姿勢の計測結果からの管糸の中心線とが一致したとき
に所望の管糸の検索が行なわれたものとして判定され、
それ以外のときは補正情報が視覚系と触覚系とに送出さ
れ再び上述した認識のための処理がなされる。
［発明の構成］ この発明の重なり部品の位置姿勢計測装置は、無造作に
積み重ねられ、それぞれが一定形状を有する多数の部品
の中から最上位の部品の位置および姿勢を計測する装置
において、 前記積み重ねられた各部品を２次元の映像情報として捕
える視覚センサ（１）と、視覚センサ（１）で得られた
各部品の映像情報から各部品の中心線を決定する中心線
決定手段（54）と、決定された各中心線の中から、最上
位の部品として最長中心線を選択する最長中心線選択手
段（55）と、接触により部品を検知する触覚センサ
（２）と、前記最長中心線選択手段（55）により選択さ
れた最長中心線の情報に従って、触覚センサ（２）を移
動させて最上位の部品に接触させる移動手段（８）と、
この時に触覚センサ（２）により得られた複数の接触情
報から最上位の部品の位置および姿勢を演算する触覚情
報処理部（６）とを備えたことを特徴とする。
積み重ねられ、それぞれが一定形状を有する多数の部品
の中から最上位の部品の位置および姿勢を計測する装置
において、 前記積み重ねられた各部品を２次元の映像情報として捕
える視覚センサ（１）と、視覚センサ（１）で得られた
各部品の映像情報から各部品の中心線を決定する中心線
決定手段（54）と、決定された各中心線の中から、最上
位の部品として最長中心線を選択する最長中心線選択手
段（55）と、接触により部品を検知する触覚センサ
（２）と、前記最長中心線選択手段（55）により選択さ
れた最長中心線の情報に従って、触覚センサ（２）を移
動させて最上位の部品に接触させる移動手段（８）と、
この時に触覚センサ（２）により得られた複数の接触情
報から最上位の部品の位置および姿勢を演算する触覚情
報処理部（６）とを備えたことを特徴とする。
［作用］ 機能の異なる複数のセンサを組み合わせて用いれば、よ
り簡単に３次元的情報の収集が行えると思われる。そこ
でこの発明では視覚センサに加えて触覚センサを併用
し、前者の触覚系において、ばら積みされた部品の中か
ら把持対象となる最上位の部品を認識し、その存在領域
を探査範囲として後者の触覚系に与える。触覚系におい
ては、与えられた探査区範囲内で部品と接触することに
より、その部品の位置および姿勢の情報が得られる。
り簡単に３次元的情報の収集が行えると思われる。そこ
でこの発明では視覚センサに加えて触覚センサを併用
し、前者の触覚系において、ばら積みされた部品の中か
ら把持対象となる最上位の部品を認識し、その存在領域
を探査範囲として後者の触覚系に与える。触覚系におい
ては、与えられた探査区範囲内で部品と接触することに
より、その部品の位置および姿勢の情報が得られる。
このようにすれば、触覚センサはある限定された領域の
みを検出すればよいので効率良く３次元情報を得ること
ができる。
みを検出すればよいので効率良く３次元情報を得ること
ができる。
又、触覚系で得られた処理結果を補正情報、例えば視覚
系における画像処理で必要となる２値化処理のしきい値
を変更するための情報として視覚系に戻すようにすれば
上述した検出動作に更に確実性を付加できる。
系における画像処理で必要となる２値化処理のしきい値
を変更するための情報として視覚系に戻すようにすれば
上述した検出動作に更に確実性を付加できる。
又請求の範囲第２項にあるように、視覚系と触覚系と協
調させることで高度な３次元情報の検出が可能となる。
即ち、第17図に示すように、視覚系により選出された部
品の中心線と、視覚系の情報に基づいてなされた触覚系
での位置および姿勢の計測結果からの部品の中心線とが
合致した時、触覚系で得られた位置および姿勢信号が適
正として確定されるが、両中心線が合致しないときは上
記の検出が不適正と判定され、視覚系および触覚系に再
度の検出のための補正情報が送出される。
調させることで高度な３次元情報の検出が可能となる。
即ち、第17図に示すように、視覚系により選出された部
品の中心線と、視覚系の情報に基づいてなされた触覚系
での位置および姿勢の計測結果からの部品の中心線とが
合致した時、触覚系で得られた位置および姿勢信号が適
正として確定されるが、両中心線が合致しないときは上
記の検出が不適正と判定され、視覚系および触覚系に再
度の検出のための補正情報が送出される。
［実施例］ 第１図はこの発明の位置姿勢計測装置の１実施例を示す
ブロック図である。
ブロック図である。
１は非接触状態にて２次元の映像を得る視覚センサであ
り、２は接触あるいは非接触状態にて部品の形状等を検
知する触覚センサである。前記視覚センサ１及び触覚セ
ンサ２からの信号はそれぞれ視覚情報入力装置３及び触
覚情報入力装置４を介して視覚情報処理部５及び触覚情
報処理部６に入力され、この両処理部5,6で得られた信
号は位置姿勢演算部７で演算が行なわれ、後述するよう
に所定の制御がなされる。８は触覚情報処理部６からの
信号に従って触覚センサ２を駆動するための触覚センサ
駆動機構制御回路、９は触覚センサ２からの検知信号よ
り対象物の接触点を検出する回路であり、10は位置姿勢
演算部７によって求められた座標位置の対象物を把持す
るための把持装置である。
り、２は接触あるいは非接触状態にて部品の形状等を検
知する触覚センサである。前記視覚センサ１及び触覚セ
ンサ２からの信号はそれぞれ視覚情報入力装置３及び触
覚情報入力装置４を介して視覚情報処理部５及び触覚情
報処理部６に入力され、この両処理部5,6で得られた信
号は位置姿勢演算部７で演算が行なわれ、後述するよう
に所定の制御がなされる。８は触覚情報処理部６からの
信号に従って触覚センサ２を駆動するための触覚センサ
駆動機構制御回路、９は触覚センサ２からの検知信号よ
り対象物の接触点を検出する回路であり、10は位置姿勢
演算部７によって求められた座標位置の対象物を把持す
るための把持装置である。
各ブロックにおける動作を以下、図面に従って詳細に説
明する。
明する。
視覚センサ１は重なり合った管糸の２次元像を上部から
撮影するカメラであり、ここでは固体撮影素子を用いた
CCDカメラを用いている。光源としては後述する２値化
処理が容易となるようにスポット光源を用いる。この視
覚センサ１からの映像信号は視覚情報入力装置３を介し
て視覚情報処理部５に入力される。
撮影するカメラであり、ここでは固体撮影素子を用いた
CCDカメラを用いている。光源としては後述する２値化
処理が容易となるようにスポット光源を用いる。この視
覚センサ１からの映像信号は視覚情報入力装置３を介し
て視覚情報処理部５に入力される。
この視覚情報処理部５における動作を第２図のフローチ
ャートに従って説明する。
ャートに従って説明する。
ステップS1にて動作モードの選択がなされ、まず最初は
学習モードが選択されると、ステップS2にて試行による
２値化しきい値のための初期値などの定数決定がなされ
る。その後、実行モードが選択されると、原画像２値化
レベル自動決定回路51及び２値化回路52にて次に述べる
ような２値化レベルの決定と２値化処理とがなされる
（ステップS3）。
学習モードが選択されると、ステップS2にて試行による
２値化しきい値のための初期値などの定数決定がなされ
る。その後、実行モードが選択されると、原画像２値化
レベル自動決定回路51及び２値化回路52にて次に述べる
ような２値化レベルの決定と２値化処理とがなされる
（ステップS3）。
CCDカメラ１においては画像は最小単位である画素毎に
明暗、即ち画素毎に強弱のアナログの電気信号として出
力される。この電気信号をあるしきい値を決定として論
理１又は０の２値に変換している（ステップS4）。しき
い値は２値化したとき出現する論理１の総数がある範囲
内に入るように設定する。従って証明条件等に影響され
ない２値化が可能となっている。
明暗、即ち画素毎に強弱のアナログの電気信号として出
力される。この電気信号をあるしきい値を決定として論
理１又は０の２値に変換している（ステップS4）。しき
い値は２値化したとき出現する論理１の総数がある範囲
内に入るように設定する。従って証明条件等に影響され
ない２値化が可能となっている。
第３図（ａ）をCCDカメラ１で得られた原画像とする
と、設定したしきい値の大きさによって第３図（ｂ）〜
（ｄ）で示すような２値化画像が得られる。第３図
（ｂ）で得られた２値化画像がその後の画像処理の上で
もっとも望ましいのではあるが、このような画像を常に
得ることが一般に困難であり、画像のコントラスト不足
などから第３図（ｃ）のような画像になりがちである。
そこでこの実施例においては第３図（ｄ）で示すように
しきい値を高い目に設定した対象が分断された像を得て
いる。これらのとぎれた像を後述する連結処理によって
一つの像を復元する。この方法によれば低いコントラス
トの画像に対しても確実に対象を選出することができ
る。
と、設定したしきい値の大きさによって第３図（ｂ）〜
（ｄ）で示すような２値化画像が得られる。第３図
（ｂ）で得られた２値化画像がその後の画像処理の上で
もっとも望ましいのではあるが、このような画像を常に
得ることが一般に困難であり、画像のコントラスト不足
などから第３図（ｃ）のような画像になりがちである。
そこでこの実施例においては第３図（ｄ）で示すように
しきい値を高い目に設定した対象が分断された像を得て
いる。これらのとぎれた像を後述する連結処理によって
一つの像を復元する。この方法によれば低いコントラス
トの画像に対しても確実に対象を選出することができ
る。
第４図はCCDカメラ１により得られた重なりあった管糸1
03の画像を示していて、第５図は第４図の画像について
“1"を白ドット、“0"を黒ドットとして描いた２値化画
像を示している。
03の画像を示していて、第５図は第４図の画像について
“1"を白ドット、“0"を黒ドットとして描いた２値化画
像を示している。
次に、２値化された画像を解析するために通常ラベリン
グ（分類）の処理が行われる。そのためにまず、画素グ
ループ連結処理回路53にて一つのグループを構成すると
思われる画素のグループ化がなされる（ステップS5）。
例えば第６図のような２値化された画素のイメージを考
えると、画素の集合L1〜L5の内、｛L1，L3，L5｝と
｛L2，L4｝とはそれぞれ一つのグループをなしているこ
とが直感的に判る。このような部分を一つに連結するた
めに第７図に示すようなアルゴリズムに従って画素のグ
ループ化処理が行なわれる。
グ（分類）の処理が行われる。そのためにまず、画素グ
ループ連結処理回路53にて一つのグループを構成すると
思われる画素のグループ化がなされる（ステップS5）。
例えば第６図のような２値化された画素のイメージを考
えると、画素の集合L1〜L5の内、｛L1，L3，L5｝と
｛L2，L4｝とはそれぞれ一つのグループをなしているこ
とが直感的に判る。このような部分を一つに連結するた
めに第７図に示すようなアルゴリズムに従って画素のグ
ループ化処理が行なわれる。
ある画素Ｉ（i,j）［但しこの画素は０でない］のラベ
ルを決定する場合、その画素を中心としてその周囲の画
素を走査し、画素の値を調べる。
ルを決定する場合、その画素を中心としてその周囲の画
素を走査し、画素の値を調べる。
まず１次を調べ、続いて２次、３次と調べていく。この
とき周囲の画素の値の取りかたにりにより、下記のよう
にグループ番号を割り付ける（グループ化）。
とき周囲の画素の値の取りかたにりにより、下記のよう
にグループ番号を割り付ける（グループ化）。
a.すべてが論理０のとき Ｉ（i,j）は孤立点であるから新しいグループ番号をつ
ける。
ける。
b.すべてが論理１のとき Ｉ（i,j）と周辺の画素が共通な領域をなすと考え、Ｉ
（i,j）及び周辺のすべての画素に新しいグループ番号
を付ける。
（i,j）及び周辺のすべての画素に新しいグループ番号
を付ける。
c.論理１、０のみが混在するとき Ｉ（i,j）と周辺の画素が一つの領域をなすと考えＩ
（i,j）及び周辺の画素のうち論理１である画素に新し
い番号を付ける。
（i,j）及び周辺の画素のうち論理１である画素に新し
い番号を付ける。
d.すでにグループ化された画素があるときＩ（i,j）と
周辺の画素はすでにグループ化された領域に属すると考
え、その中でも最も小さいグループ番号を、Ｉ（i,j）
と周辺画素のうち論理１である画素に付ける。
周辺の画素はすでにグループ化された領域に属すると考
え、その中でも最も小さいグループ番号を、Ｉ（i,j）
と周辺画素のうち論理１である画素に付ける。
再び第２図に戻り、次のステップS6に進む。前段のステ
ップS5で一つに連結された領域はある程度の大きさを有
していることが必要であり、これがグループ化がうまく
行なわれたかの判定要件となるのでステップS6にて上記
各領域の面積が計算される。この面積計算は単純に領域
を構成している画素数を数えることによってなされる。
ステップS7にて計算された領域の面積の内、基準値以上
ののがあるかが判定され、基準値以上の面積の領域がな
い場合には前記画素のグループ化がうまく行なわれなか
ったものとしてステップS8にて前記しきい値が変更され
ステップS3に戻る。一方、画素のグループ化が成功した
ときは次に中心線決定演算回路54にて各管内103の中心
線が求められる。まずステップS9に進み、各画素グルー
プの向きである方向ベクトルが求められ、そしてステッ
プS10にて元来一つの像であったと思われる画素グルー
プを一つの像として連結させるための解析が行なわれ
る。
ップS5で一つに連結された領域はある程度の大きさを有
していることが必要であり、これがグループ化がうまく
行なわれたかの判定要件となるのでステップS6にて上記
各領域の面積が計算される。この面積計算は単純に領域
を構成している画素数を数えることによってなされる。
ステップS7にて計算された領域の面積の内、基準値以上
ののがあるかが判定され、基準値以上の面積の領域がな
い場合には前記画素のグループ化がうまく行なわれなか
ったものとしてステップS8にて前記しきい値が変更され
ステップS3に戻る。一方、画素のグループ化が成功した
ときは次に中心線決定演算回路54にて各管内103の中心
線が求められる。まずステップS9に進み、各画素グルー
プの向きである方向ベクトルが求められ、そしてステッ
プS10にて元来一つの像であったと思われる画素グルー
プを一つの像として連結させるための解析が行なわれ
る。
第８図は上記画素のグループ化処理により得られた画像
を示していて、まずステップS9にて各画素グループの方
向ベクトル が求められる。次ステップS10において、最も長いベク
トル が選出され（ステップS10−１）、このベクトル に最も近傍にありかつベクトルの向きが近似したベクト
ルP3P4が選出される（ステップS10−２）。次に重心G1,
G2を結ぶ直線の向きとベクトル の向きが近似するとき、この二つのベクトルを一つのベ
クトル に結合し（ステップS10−３）、このベクトル について再び上記ステップS10−２の動作を行う（ステ
ップS10−４）。これによりベクトル が得られたら（ステップS10−５）、ベクトルの向きが
異なるベクトル についても上述した同様の処理を行い、ベクトル を得る（ステップS10−６）。
を示していて、まずステップS9にて各画素グループの方
向ベクトル が求められる。次ステップS10において、最も長いベク
トル が選出され（ステップS10−１）、このベクトル に最も近傍にありかつベクトルの向きが近似したベクト
ルP3P4が選出される（ステップS10−２）。次に重心G1,
G2を結ぶ直線の向きとベクトル の向きが近似するとき、この二つのベクトルを一つのベ
クトル に結合し（ステップS10−３）、このベクトル について再び上記ステップS10−２の動作を行う（ステ
ップS10−４）。これによりベクトル が得られたら（ステップS10−５）、ベクトルの向きが
異なるベクトル についても上述した同様の処理を行い、ベクトル を得る（ステップS10−６）。
上記の処理がすべての画素グループについて行なわれる
と次ぎのステップS11に進み、第９図で示すように画素
グループの連結により得られた像の中心線の候補として
ベクトル を得る。その後ステップS12に進み、一番上にある管糸1
03を選出するため、最長中心線選択回路55にて前記中心
線候補ベクトルの属性を検討することにより最長の中心
線が選出される。
と次ぎのステップS11に進み、第９図で示すように画素
グループの連結により得られた像の中心線の候補として
ベクトル を得る。その後ステップS12に進み、一番上にある管糸1
03を選出するため、最長中心線選択回路55にて前記中心
線候補ベクトルの属性を検討することにより最長の中心
線が選出される。
中心線の属性として上記のように中心線の候補に対して
それぞれベクトル長や有効及び無効ベクトル長が求めら
れ、 i.有効ベクトル長＞無効ベクトル長 ii.ベクトル長＞規定値 を満たすときの中心線の候補を最長中心線としている。
それぞれベクトル長や有効及び無効ベクトル長が求めら
れ、 i.有効ベクトル長＞無効ベクトル長 ii.ベクトル長＞規定値 を満たすときの中心線の候補を最長中心線としている。
次に存在領域決定回路56にて最長中心線とされた像の存
在領域が設定される（ステップS13）。これは予め捕捉
される品物を囲むように設定され、管糸のような場合に
管糸長、管糸直径で現わされる長方形が平面的に決定さ
れる。
在領域が設定される（ステップS13）。これは予め捕捉
される品物を囲むように設定され、管糸のような場合に
管糸長、管糸直径で現わされる長方形が平面的に決定さ
れる。
以上で視覚情報処理部５における処理は終了し、最長中
心線とその最長中心線に対応する管糸103の存在領域と
の信号が位置姿勢演算部７に送出される。この位置姿勢
演算部７において、前記存在領域の情報に基づき、触覚
センサ水平移動量演算回路73により触覚センサ２の移動
量が演算されその演算値が触覚情報処理部６の移動量出
力部64に入力される。触覚センサ駆動機構制御回路８は
移動量出力部64からの信号に従って触覚センサ２を所定
の管糸103の存在領域に移動させる。
心線とその最長中心線に対応する管糸103の存在領域と
の信号が位置姿勢演算部７に送出される。この位置姿勢
演算部７において、前記存在領域の情報に基づき、触覚
センサ水平移動量演算回路73により触覚センサ２の移動
量が演算されその演算値が触覚情報処理部６の移動量出
力部64に入力される。触覚センサ駆動機構制御回路８は
移動量出力部64からの信号に従って触覚センサ２を所定
の管糸103の存在領域に移動させる。
触覚センサ２としては第10図に示すように、回動可能な
接触子2aを備えたポテンションメータを用いていて、こ
の接触子2aの振れ角をポテンショメータ２にて検出して
いる。このようなポテンショメータ２を管糸103の大き
さに対応して３個当間隙に平行設置している。
接触子2aを備えたポテンションメータを用いていて、こ
の接触子2aの振れ角をポテンショメータ２にて検出して
いる。このようなポテンショメータ２を管糸103の大き
さに対応して３個当間隙に平行設置している。
第11図は第10図を側方から見た図である。ポテンショメ
ータ２がｘ軸方向に移動して、今、x0の位置に来たとき
に接触子2aが管糸103に接触し、その後はポテンショメ
ータ２の移動に伴って接触子2aの振れ角θは増し、ポテ
ンショメータ２がx2の位置に来て接触子2aの端部が管糸
103の最上部に位置したとき、その振れ角θは最大とな
る。このようなポテンショメータ２からの信号が触覚情
報入力装置４を介して触覚情報処理部６の特徴点検出回
路61に入力されると、ポテンショメータ２の移動位置及
びそのときの接触子2aの振れ角θが検知され、管糸103
の一方の側方位置x0と中心位置x1及び最上部のｚ軸方向
における座標z1とが検出される。次にポテンショメータ
２を反対方向から再び移動させることにより、管糸103
のもう一方の側方位置x3も検出される。
ータ２がｘ軸方向に移動して、今、x0の位置に来たとき
に接触子2aが管糸103に接触し、その後はポテンショメ
ータ２の移動に伴って接触子2aの振れ角θは増し、ポテ
ンショメータ２がx2の位置に来て接触子2aの端部が管糸
103の最上部に位置したとき、その振れ角θは最大とな
る。このようなポテンショメータ２からの信号が触覚情
報入力装置４を介して触覚情報処理部６の特徴点検出回
路61に入力されると、ポテンショメータ２の移動位置及
びそのときの接触子2aの振れ角θが検知され、管糸103
の一方の側方位置x0と中心位置x1及び最上部のｚ軸方向
における座標z1とが検出される。次にポテンショメータ
２を反対方向から再び移動させることにより、管糸103
のもう一方の側方位置x3も検出される。
第12図は特徴点検出回路61における特徴点検出動作を示
すフローチャートを示している。
すフローチャートを示している。
ステップS20にて上記の管糸103存在領域へポテンショメ
ータ２が移動され、その後、ステップS21にてポテンシ
ョメータ２は微少移動され、その微少移動量に対する接
触子2aの回転角θｉ（ｉ＝１〜ｎ）が読み取られる。ス
テップS22にて前記回転角θｉとθｉ−１との差が設定
値Ａ以上のある値になればポテンショメータ２が接触子
2aが回転し始めたものとしてステップS23に進みそのと
きのポテンショメータ２の位置から管糸103の位置およ
び姿勢を示す特徴点としてx,y座標が検出される。ステ
ップS24では回転角θｉが最大値になったかが判定さ
れ、最大値でなかったらステップS24に戻り、最大値が
検出されればステップS25にて特徴点のすべての座標x,
y,zが検出される。
ータ２が移動され、その後、ステップS21にてポテンシ
ョメータ２は微少移動され、その微少移動量に対する接
触子2aの回転角θｉ（ｉ＝１〜ｎ）が読み取られる。ス
テップS22にて前記回転角θｉとθｉ−１との差が設定
値Ａ以上のある値になればポテンショメータ２が接触子
2aが回転し始めたものとしてステップS23に進みそのと
きのポテンショメータ２の位置から管糸103の位置およ
び姿勢を示す特徴点としてx,y座標が検出される。ステ
ップS24では回転角θｉが最大値になったかが判定さ
れ、最大値でなかったらステップS24に戻り、最大値が
検出されればステップS25にて特徴点のすべての座標x,
y,zが検出される。
第13図はポテンショメータ２の移動に伴なう接触子2aの
振れ角θをプロットした図である。第14図は３つのポテ
ンショメータ２により求められる特徴点を示していて、
cp11，cp21，cp31及びcp13，cp23，cp33はそれぞれ管糸
103の側方位置を示し、cp12，cp22，cp32は管糸103の最
上部位置を示している。
振れ角θをプロットした図である。第14図は３つのポテ
ンショメータ２により求められる特徴点を示していて、
cp11，cp21，cp31及びcp13，cp23，cp33はそれぞれ管糸
103の側方位置を示し、cp12，cp22，cp32は管糸103の最
上部位置を示している。
座標計算回路62では特徴点の座標x,y,zの値から管糸103
の座標x,y,zが計算され、中心線計算回路63に於いて管
糸103の３次元座標で示された中心線Lxyzが計算され、
前記中心線マッチング回路71に入力される。中心線マッ
チング回路71において、視覚情報処理部５により得られ
た２次元座標で示された中心線Lxyと、触覚情報処理部
６により得られた中心線Lxyとがxy平面上で同じ座標を
持つかの判定により、両中心線が一つの管糸103に対す
るものかが判定され、両中心線がxy平面上で同じ座標を
持たないならば視覚情報処理部５にて２値化レベルを変
更して再処理がなされ、一方、中心線が一致していれ
ば、中心線Lxyzの座標に基づいて把持部演算回路72にて
把持部座標が演算される。この把持部座標を例えばロボ
ットのような把持装置10に入力することにより、所望の
管糸103を把持することが出来る。
の座標x,y,zが計算され、中心線計算回路63に於いて管
糸103の３次元座標で示された中心線Lxyzが計算され、
前記中心線マッチング回路71に入力される。中心線マッ
チング回路71において、視覚情報処理部５により得られ
た２次元座標で示された中心線Lxyと、触覚情報処理部
６により得られた中心線Lxyとがxy平面上で同じ座標を
持つかの判定により、両中心線が一つの管糸103に対す
るものかが判定され、両中心線がxy平面上で同じ座標を
持たないならば視覚情報処理部５にて２値化レベルを変
更して再処理がなされ、一方、中心線が一致していれ
ば、中心線Lxyzの座標に基づいて把持部演算回路72にて
把持部座標が演算される。この把持部座標を例えばロボ
ットのような把持装置10に入力することにより、所望の
管糸103を把持することが出来る。
尚、この発明は所定の物体を把持するものに限らず他の
種々の用途、例えば物体の位置と姿勢の計測や物体の抽
出等に用いられる。さらに、物体の位置と姿勢の計測や
抽出に際してはその物体の最長量を測定することに限ら
ず、物体の特徴を示す量により計測や抽出を行なっても
よい。
種々の用途、例えば物体の位置と姿勢の計測や物体の抽
出等に用いられる。さらに、物体の位置と姿勢の計測や
抽出に際してはその物体の最長量を測定することに限ら
ず、物体の特徴を示す量により計測や抽出を行なっても
よい。
［発明の効果］ 以上説明したように、この発明は重なり合った部品の中
から所望の部品を選出するために、視覚センサでもって
まず所望の部品の位置をあらまし決定し、その後、触覚
センサにより正確な部品の位置と姿勢を計測するように
したので、従来のように３次元の部品を認識するために
特殊なセンサを用いる必要はなくなり、また、センサか
らの信号処理においても複雑な演算処理を必要としない
ので演算のための処理時間は短縮され、制御回路も簡素
化される。
から所望の部品を選出するために、視覚センサでもって
まず所望の部品の位置をあらまし決定し、その後、触覚
センサにより正確な部品の位置と姿勢を計測するように
したので、従来のように３次元の部品を認識するために
特殊なセンサを用いる必要はなくなり、また、センサか
らの信号処理においても複雑な演算処理を必要としない
ので演算のための処理時間は短縮され、制御回路も簡素
化される。
両センサを協調させて位置検出を行うようにすれば、よ
り正確な位置および姿勢の検出が可能となる。
り正確な位置および姿勢の検出が可能となる。
第１図はこの発明の重なり部品の位置姿勢計測装置のた
めの１実施例を示す制御ブロック図、第２図は第１図の
視覚情報処理部における動作を示すフローチャート、第
３図（ａ）はCCDカメラの捕らえた重なり部品の原画像
を示す図、第３図（ｂ）ないし（ｄ）は第３図（ａ）の
原画像を２値化処理した画像を示す図、第４図は実際の
管糸の重なり画像を示す図、第５図は第４図における画
像を２値化処理した画像を示す図、第６図は２値化され
た画素の状態を示す図、第７図は第６図における画素の
グループ化のためのアルゴリズムを示す図、第８図は画
素のグループ化により得られた画素を示す図、第９図は
第８図における画素グループを連結して得られた像の中
心線を示す図、第10図は第１図における触覚センサとし
て用いられるポテンショメータの構成を示す図、第11図
は第10図のポテンショメータの動作を説明するための
図、第12図は第１図の触覚情報処理部の特徴点検出回路
における動作を示すフローチャート、第13図は第11図に
おけるポテンショメータの移動量に対する接触子の回転
角を示す図、第14図は管糸に対して求められた特徴点の
位置を示す図、第15図はビンピッキングシステムを示す
概略図、第16図は重なりあった管糸を示す図、第17図は
この発明の概略を示すブロック図である。 １…CCDカメラ、２…ポテンショメータ、2a…接触子、
３…視覚情報入力装置、４…触覚情報入力装置、５…視
覚情報処理部、６…触覚情報処理部、７…位置姿勢演算
部、８…触覚センサ駆動機構制御回路、９…対象物接触
点検出回路、10…把持装置、103…管糸。
めの１実施例を示す制御ブロック図、第２図は第１図の
視覚情報処理部における動作を示すフローチャート、第
３図（ａ）はCCDカメラの捕らえた重なり部品の原画像
を示す図、第３図（ｂ）ないし（ｄ）は第３図（ａ）の
原画像を２値化処理した画像を示す図、第４図は実際の
管糸の重なり画像を示す図、第５図は第４図における画
像を２値化処理した画像を示す図、第６図は２値化され
た画素の状態を示す図、第７図は第６図における画素の
グループ化のためのアルゴリズムを示す図、第８図は画
素のグループ化により得られた画素を示す図、第９図は
第８図における画素グループを連結して得られた像の中
心線を示す図、第10図は第１図における触覚センサとし
て用いられるポテンショメータの構成を示す図、第11図
は第10図のポテンショメータの動作を説明するための
図、第12図は第１図の触覚情報処理部の特徴点検出回路
における動作を示すフローチャート、第13図は第11図に
おけるポテンショメータの移動量に対する接触子の回転
角を示す図、第14図は管糸に対して求められた特徴点の
位置を示す図、第15図はビンピッキングシステムを示す
概略図、第16図は重なりあった管糸を示す図、第17図は
この発明の概略を示すブロック図である。 １…CCDカメラ、２…ポテンショメータ、2a…接触子、
３…視覚情報入力装置、４…触覚情報入力装置、５…視
覚情報処理部、６…触覚情報処理部、７…位置姿勢演算
部、８…触覚センサ駆動機構制御回路、９…対象物接触
点検出回路、10…把持装置、103…管糸。
Claims (3)
- 【請求項１】無造作に積み重ねられ、それぞれが一定形
状を有する多数の部品の中から最上位の部品の位置およ
び姿勢を計測する装置において、 前記積み重ねられた各部品を２次元の映像情報として捕
える視覚センサ（１）と、視覚センサ（１）で得られた
各部品の映像情報から各部品の中心線を決定する中心線
決定手段（54）と、決定された各中心線の中から、最上
位の部品として最長中心線を選択する最長中心線選択手
段（55）と、接触により部品を検知する触覚センサ
（２）と、前記最長中心線選択手段（55）により選択さ
れた最長中心線の情報に従って、触覚センサ（２）を移
動させて最上位の部品に接触させる移動手段（８）と、
この時に触覚センサ（２）により得られた複数の接触情
報から最上位の部品の位置および姿勢を演算する触覚情
報処理部（６）とを備えたことを特徴とする重なり部品
の位置姿勢計測装置。 - 【請求項２】中心線決定手段（54）で決定された中心線
と、触覚情報処理部（６）で演算された位置および姿勢
情報から得られる部品の中心線とが合致する時、該触覚
情報処理部（６）で演算された位置および姿勢を確定情
報とする特許請求の範囲第１項記載の重なり部品の位置
姿勢計測装置。 - 【請求項３】上記触覚センサ（２）は、接触子（2a）お
よび接触子（2a）の振れ角を検出するポテンショメータ
からなる特許請求の範囲第１項または第２項に記載の重
なり部品の位置姿勢計測装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP60222466A JPH0727559B2 (ja) | 1985-10-04 | 1985-10-04 | 重なり部品の位置姿勢計測装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP60222466A JPH0727559B2 (ja) | 1985-10-04 | 1985-10-04 | 重なり部品の位置姿勢計測装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPS6280783A JPS6280783A (ja) | 1987-04-14 |
| JPH0727559B2 true JPH0727559B2 (ja) | 1995-03-29 |
Family
ID=16782856
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP60222466A Expired - Lifetime JPH0727559B2 (ja) | 1985-10-04 | 1985-10-04 | 重なり部品の位置姿勢計測装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0727559B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010184308A (ja) * | 2009-02-10 | 2010-08-26 | Fanuc Ltd | ワーク取り出し装置 |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4959520B2 (ja) * | 2007-11-26 | 2012-06-27 | 三菱電機株式会社 | 位置姿勢認識装置及び方法、並びに部品ピッキングシステム |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS5931618A (ja) * | 1982-08-14 | 1984-02-20 | 株式会社クボタ | 収穫装置 |
-
1985
- 1985-10-04 JP JP60222466A patent/JPH0727559B2/ja not_active Expired - Lifetime
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010184308A (ja) * | 2009-02-10 | 2010-08-26 | Fanuc Ltd | ワーク取り出し装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JPS6280783A (ja) | 1987-04-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR890002287B1 (ko) | 패턴 매칭방법 및 장치 | |
| CN103675588B (zh) | 印刷电路元件极性的机器视觉检测方法及设备 | |
| US10373305B2 (en) | Positioning method for searching a previously registered standard pattern out of an inspection target image | |
| US4136957A (en) | Recognition device for recognizing the shape and the position of an object | |
| US20070237382A1 (en) | Method and apparatus for optically monitoring moving objects | |
| JP3543442B2 (ja) | 物品の干渉検出方法 | |
| JP3887807B2 (ja) | 画像計測装置 | |
| Ozeki et al. | Real-time range measurement device for three-dimensional object recognition | |
| JPH0727559B2 (ja) | 重なり部品の位置姿勢計測装置 | |
| JPH09281055A (ja) | 欠け検査方法 | |
| JP5445064B2 (ja) | 画像処理装置および画像処理プログラム | |
| JP3375242B2 (ja) | ロボットの物体認識方法及びその装置 | |
| JPH09101113A (ja) | 開先位置，形状の計測方法およびその装置 | |
| JPS6352268A (ja) | 重なり部品における重なり方の判別方法 | |
| Rosenfeld | Machine vision for industry: tasks, tools and techniques | |
| JPH09198505A (ja) | 線位置検出装置 | |
| JP3552419B2 (ja) | 物体の認識方法 | |
| JPH067171B2 (ja) | 移動物体の検知方法 | |
| JPH0519958A (ja) | 情報の入力方法 | |
| JP2959017B2 (ja) | 円形画像判別方法 | |
| JPS59188509A (ja) | 物体の位置および形状認識方法 | |
| JPH0446814B2 (ja) | ||
| Śluzek | A local algorithm for real-time junction detection in contour images | |
| JP2522277B2 (ja) | 画像認識装置 | |
| JPH05334432A (ja) | 細線画像整形方法 |