JPS62292377A - 散積み物体をロボツトハンドでピツクアツプするための視覚システム - Google Patents

散積み物体をロボツトハンドでピツクアツプするための視覚システム

Info

Publication number
JPS62292377A
JPS62292377A JP13275686A JP13275686A JPS62292377A JP S62292377 A JPS62292377 A JP S62292377A JP 13275686 A JP13275686 A JP 13275686A JP 13275686 A JP13275686 A JP 13275686A JP S62292377 A JPS62292377 A JP S62292377A
Authority
JP
Japan
Prior art keywords
robot hand
picking
scattered
image memory
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP13275686A
Other languages
English (en)
Inventor
浩 斉藤
千典 農宗
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP13275686A priority Critical patent/JPS62292377A/ja
Publication of JPS62292377A publication Critical patent/JPS62292377A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Numerical Control (AREA)
  • Manipulator (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 3、発明の詳細な説明 〔発明の技術分野〕 この発明は、散積み物体をロボットハンドでピックアッ
プするための視覚システムに関する。
〔発明の技術的背景とその問題点〕
現在人間が行なっている曙械加工や組立作業をロボット
で自動化する場合、人間の視覚に相当する高度な視覚セ
ンサ・システムが必要になる。
例えば、ある部品をロボットハンドでピックアップして
伯の場所へ移送する作業の自動化を考える。対象部品が
予め整列されて位置決めされているのであれば、部品を
1つひとつピックアップするためのロボット制御は容易
であり、高度な視覚システムは必要ない。しかし、多数
の部品がランダムに散積みされている場合、部品を1つ
ひとつピックアップするためには、散積み部品がどのよ
うな位置関係になっているのかを認識し、ピックアップ
すべき部品を選出し、それに合わせてロボットを制御し
なければならない。そのために高度な視覚システムが必
要になる。
上記のような目的に供される視覚システム−よ現在盛ん
に研究されているが(例えば特開昭58−77487号
)、実用に耐えるシステムはまだ開発されていない。
〔発明の目的〕
この発明の目的は、散積み物体が精密部品やこわれやす
い部品であっても、ロボットハンドで隣接部品を傷つけ
ることなく確実に1つひとつピックアップできるように
、高度な3次元認識を高速で行なえるようにした視覚シ
ステムを提供することにある。
〔発明の概要〕
この発明に係る視覚システムは、物体を撮像する視覚セ
ンサ51と、散積み物体について撮像した2次元画像か
ら当該散積み物体の位置関係を3次元的に認識する認識
手段53と、認識したある物体の周辺にそれをロボット
ハンドでピックアップするのに必要な空間があるか否か
を判断する判断手段55とを有することを要旨とする。
〔発明の実施例〕
第2図は本発明の一実施例システムの全体的なハードウ
ェア構成を示し、第3図は本システムと組合せられるロ
ボットハンドの諸元を示し、第4図は本システムの処理
手順を示し、第5図〜第7図は本システムの作用説明図
である。
第2図に示すようにレーザ等を用いた投光器1からスリ
ット光2が出射し、そのスリット光2が可動ミラー3で
反射してr′ll積みされた対像物体4に照射される。
対象物体4の表面には、スリット光2によるTi線(光
切断線)2aが生じる。
対染物体4の上方に設置したテレビカメラ5で光切断線
2aを含む部分を撮像する。得られた画像信号は、演算
部12の制御により、画像信号取込部6から画像メモリ
A7に書き込まれる。可すJミラー3は、演算部12の
I、If御により、スリット光掃引制御部16によって
駆動され、対象物体4上でスリット光2の照射位置を変
えるようになっている。また、画像メモリには、取込画
像を格納する画像メモリA7の他に、処理途中の画面を
格納しておくための画像メモリB8、画像メモリC9、
画像メモリDIO,画像メモリE11が用意されている
。また、数値データ格納のために、読み占き可能なメモ
リA13.メモリB14が用意され、さらに画像メモリ
の内容および数値データを随時モニタ可能な表示部15
が用意されている。
カメラ5で観測されるスリット光&2aは、対象物体4
の高さに応じた段差を有している。観測された(x 、
 y )点の段差の大きさは、光切断法を用いた3次元
測距の原理に基づいて、対象物体4の実際の高さに変換
され、更に、濃淡情報に変換されて、画像メモリA7の
(X 、 V )位置に格納される。この操作を可O」
ミラー3の角度を微小ずつ変化させて、画像メモリA7
のすべての画素について行うことによって3次元情報を
含んだ画像を生成する(第5図(a )参照)。かかる
3次元画像に特願昭60−171172号に開示した処
理を施すことによって、最も高い位置にある物体のみを
検出することができる。同時に検出した物体の上面の重
心座標(XG、YG、ZG )を求めておく。検出した
物体情報は、画像メ七りB8に格納しておく。(第5図
(b )参照)以上の処理が第4図のステップ301,
302である。
ステップ303においては、検出した物体の3次元姿勢
(ヨー角θ、ビッヂ角ω、ロール角ψ)のτン出、J3
よびその長軸長a、λ0軸長すの弾出を行う。
次に、ステップ304において、画像メモリB8の情報
を点(XG 、 Ya )を中心にして一θ。
回転し、画像メモリC9に格納する。すなわら、検出し
た物体の長軸が水平になるように画!’i変換を行うわ
けである。回転移動の手法としては、画像メモリB8上
(X、Y)点の情報を、画像メモリC9上の次式の各点
に転進すれば良い。
(X−Xa)cosθ+(Y−”y’a)sinθ。
−(X−Xa ) sinθ+(Y−Ya)cosθそ
の際、第5図(C)の斜線部のようにデータが転送され
ない領域については、背頽部と同じ値(0)を格納して
おく。
次に、ステップ305において、画像メモリC9にウィ
ンドウ処理を施す。すなわち、画像メモリC9に、 (X、−了、 y、−(4)′) 艮 の4点で指定されるウィンドウをかけ、その外側部分の
データをすべて0にする。ウィンドウ処理後の画像は画
像メモリD10に格納される。
ここで、(A−、−は、第3図で示されるロボッユ トハンド諸元λを実際にカメラで撮像した時に画像メモ
リ上に投影される画素数を表すものであり、システムの
レイアウトによる倍率に依存するものである。また、λ
は常に一定であるが、(λ)′はレイアウトによって異
なる。なお、以下に出てくる()′はすべで同じ意味で
ある。(第5図(d)参照)。
ステップ306においては、先にウィンドウ処理を施し
た画面の高さ分布図を作成する。すなわち、第5図(d
 )のA、8部について、各Xアドレスに相当するyア
ドレスの内容をすべて求め、その最大値を該Xアドレス
の高さ情報とする。
これにより、第5図(e)のように物体の長軸方向の高
さ分布図が得られる。第5図(e )中の直線吏は、物
体長軸のピッチ角がωであることを表している。
こうして得られた高さ分布図は、(Xa −a /2、
 Zi ) 、 −、(Xa 十a /2.7j ) 
 (X=XG−a、/2点の高さがZi 、 ・、 X
=XG −ia/2点の高さがZjであることを表す)
どいつ数値データとして、メ七りA13に格納される。
次に、ステップ307において、ハンドによる保持の可
否判断が行なわれる。これは、第6図(a)、(b)に
示されるΔBCD内部に、他の物体の高さ分布が入り込
んでいないかどうかを検討することによって行う。
ここで、ABCDは、ハンドで保持づる際に最小限必要
となる余裕を表す部分ぐあり、第6図の黒く塗りつぶし
た部分に相当する。
具体的な判断方法を説明づ−ると、まず、最初の位置に
ABCDという探索範囲を設定する。最初の位置として
は、最も安定した保持が可能な物体の重心位置回りを選
ぶ。すなわち、第6図(b)のような位置に、同図中に
記載したようなサイズの探索範囲が設定される。厳密に
は同図中斜線部分のみ探索すればいいのだが、簡単のた
めA13 CDとしている。
さて、物体の長軸斐の式は、重心(XG、ZG)を通り
傾きωの直線の式として記述される。また、探索範囲の
サイズは第6図(b )のように既知であるから、A、
B、C,D点の座標は容易に算出される。
ここで、線分BC上に他物体の高さ分布が入り込んでい
なければ、保持可能であるといえるので、探索は線分B
C上のみについて行えばよい。すなわら、B−C上の各
Xアドレスに対するZ値を、メモリA13に格納された
同−Xアドレスに対するZ Iaと比較することによっ
て、 内のすべてのXに対して、BC上のZ値〉メモリΔ13
内のZ値が成り立てば、保持可能であるといえる。
ところが、第6図(C)の場合、上記の関係が成り立た
ないので、保持できないと判断される。
すると、ステップ308においてX方向にΔだけ移動し
た位;aに新たに探索範囲を設【ノ、保持できる部分を
探し出す。ここで、移動する方向としては、先の探索’
(’ N GとなったXアドレスを、探索範囲からはず
していく方向に選ばれる。すなわち、第6図(C)の場
合、NGとなった Xアドレス×α〜Xβが探索範囲か
らはずれる方向(右)に移動することによって、同図(
d >のような新たな探索範囲Δ−B”C”llを設け
、次の探索を(1う。
こうして、長袖方向の侃持位買が決定した後、ステップ
310.311において、短軸方向の保持が可能か否か
の判断を行う。
そのために、まずステップ309において、画像メ七り
C9にウィンドウ処理を施寸。ケなりら、画像メモリC
9に、 の4点で、指定されるウィンドウをかけ、その外側のデ
ータをすべて0にする。ウィンドウ処理後の画像は画像
メモリE11に格納される(第5図(「)参照)。
こうして(ηられた画像データについて、長軸方向と同
様に、他物体の高さ分布を求め、メモリB14に格納す
る。
更に、長袖方向と同様にして求めた探索範囲EFGH(
第7図参照)のFG上について、メモリ[314の内容
と比較を行いながら、先に決定した保持位置が正しいか
否かを判断するわけである。
ステップ311において保持できないと判断されると、
ステップ308に戻り、再び長軸方向の保持位置の変更
を行う。
このようにして、保持位置が決定した後、ロボットに対
して保持点(X、 y 、 z )及びθ、ω。
ψの情報を送り、他物体に接触することなくピッキング
が行われる。
〔発明の効果〕
以−ト詳細に説明したように、この発明に係る視覚シス
テムは、散積み物体の位置関係を3次元的に認識すると
ともに、認識したある物体の周辺にそれをロボットハン
ドでピックアップするのに必g5な空間があるか否かを
判断する構成としたので、この判断結果に基づいてロボ
ットハンドを制御することにより、周辺の他物体に接触
することなく、物品を1つひとつ確実にピックアップす
ることができるようになる。
【図面の簡単な説明】
第1図はクレーム対応図、第2図は本発明の−一実施例
システムのハードウェア構成図、第3図は本システムと
組合せられるロボットハンドの諸元を示す図、第4図は
本システムの処理手順を示1゛フローチャート、第5図
、第6図、第7図は本システムの作用説明図である。 1・・・投光器 2・・・スリット光 3・・・可動ミラー 4・・・対象物体 5・・・テレビカメラ 51・・・視覚センサ 53・・・認識手段 55・・・判断手段 201・・・ロボットハンド 202・・・ピックアップしようとする物体代理人  
弁理士 三 好  保 男 第1図 第8図 A (ArF、JJI因) (B矢?Ji図) 第4図

Claims (1)

    【特許請求の範囲】
  1. (1)物体を撮像する視覚センサと、散積み物体につい
    て撮像した2次元画像から当該散積み物体の位置関係を
    3次元的に認識する認識手段と、認識したある物体の周
    辺にそれをロボットハンドでピックアップするのに必要
    な空間があるか否かを判断する判断手段とを有すること
    を特徴とする散積み物体をロボットハンドでピックアッ
    プするための視覚システム。
JP13275686A 1986-06-10 1986-06-10 散積み物体をロボツトハンドでピツクアツプするための視覚システム Pending JPS62292377A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13275686A JPS62292377A (ja) 1986-06-10 1986-06-10 散積み物体をロボツトハンドでピツクアツプするための視覚システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13275686A JPS62292377A (ja) 1986-06-10 1986-06-10 散積み物体をロボツトハンドでピツクアツプするための視覚システム

Publications (1)

Publication Number Publication Date
JPS62292377A true JPS62292377A (ja) 1987-12-19

Family

ID=15088819

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13275686A Pending JPS62292377A (ja) 1986-06-10 1986-06-10 散積み物体をロボツトハンドでピツクアツプするための視覚システム

Country Status (1)

Country Link
JP (1) JPS62292377A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0361803A (ja) * 1989-04-13 1991-03-18 Mitsubishi Heavy Ind Ltd コイル位置検出装置
JP2010207989A (ja) * 2009-03-11 2010-09-24 Honda Motor Co Ltd 対象物の把持システム及び同システムにおける干渉検出方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6015780A (ja) * 1983-07-08 1985-01-26 Hitachi Ltd ロボット制御装置
JPS6134675A (ja) * 1984-07-27 1986-02-18 Hitachi Ltd 画像認識方法および装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6015780A (ja) * 1983-07-08 1985-01-26 Hitachi Ltd ロボット制御装置
JPS6134675A (ja) * 1984-07-27 1986-02-18 Hitachi Ltd 画像認識方法および装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0361803A (ja) * 1989-04-13 1991-03-18 Mitsubishi Heavy Ind Ltd コイル位置検出装置
JP2010207989A (ja) * 2009-03-11 2010-09-24 Honda Motor Co Ltd 対象物の把持システム及び同システムにおける干渉検出方法

Similar Documents

Publication Publication Date Title
JP3556589B2 (ja) 位置姿勢認識装置
US7966094B2 (en) Workpiece picking apparatus
JP4533659B2 (ja) レーザー計測により地図画像を生成する装置及び方法
CN108177162B (zh) 移动机器人的干扰区域设定装置
EP3392002A1 (en) Information processing apparatus, measuring apparatus, system, interference determination method, and article manufacturing method
JPH02143309A (ja) 操縦方法及び装置
JPWO1993015376A1 (ja) ターゲットマークの認識・追跡システム及び方法
JP2000288974A (ja) 画像処理機能を持つロボット装置
US20200371241A1 (en) Simultaneous localization and mapping in 2d using a 3d-scanner
Alizadeh Object distance measurement using a single camera for robotic applications
US10656097B2 (en) Apparatus and method for generating operation program of inspection system
WO2022102239A1 (ja) 計測システム、計測装置、計測方法及び計測プログラム
CN113768419A (zh) 确定扫地机清扫方向的方法、装置及扫地机
JP3672970B2 (ja) 非接触画像計測システム
JPS6278684A (ja) 物体検索方式
JPS6334093A (ja) 視覚装置
JP2519445B2 (ja) 工作線追従方法
WO2024189844A1 (ja) 教示データ生成装置、教示データ生成プログラム、及び教示データ生成方法
JPS62289701A (ja) 散積み物体の位置関係を3次元的に認識する視覚システム
JP7509535B2 (ja) 画像処理装置、ロボットシステム、及び画像処理方法
JPS5991308A (ja) 平面の検出方法
JP3184377B2 (ja) 3次元ビジョン装置
Károly et al. Robotic Manipulation of Pathological Slides Powered by Deep Learning and Classical Image Processing
JPS6334094A (ja) 視覚装置
JPH03118609A (ja) 移動車の環境認識装置