JPH06155349A

JPH06155349A - ロボットのワーク認識装置

Info

Publication number: JPH06155349A
Application number: JP32896492A
Authority: JP
Inventors: Shiyoutarou Iwata; 彰太郎岩田
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 1992-11-16
Filing date: 1992-11-16
Publication date: 1994-06-03

Abstract

(57)【要約】【目的】カメラ等の視覚センサを用いるロボットシス
テムにおいて、カメラが故障してもロボットの停止を減
らすことができるようにする。【構成】ワーク(3)の上方に固定カメラ(5)を固定し、
ロボット(1)のハンド(2)にハンドカメラ(15)を装着し、
固定カメラ(5)からの画像信号を画像処理装置(6)へ送出
してワーク(3)を認識する。固定カメラ(5)がワーク(3)
を誤認識したり、破損したりしたことが検出されると、
固定カメラ(5)からハンドカメラ(15)に切り換えて、再
度ワーク(3)を認識させる。ハンドカメラ(15)の代わり
にビームセンサ（図示しない）を用いてもよく、ハンド
カメラ(15)とビームセンサをハンド(2)に装着してもよ
い。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明はカメラ等の視覚センサ
によってロボットがワークを認識する装置に関するもの
である。

【０００２】

【従来の技術】図７は例えば特開平３−９５０２５号公
報に示された従来のロボットのワーク認識装置を示すブ
ロック線図である。図において、(1)はロボット、(2)は
ロボット(1)のハンド、(3)はパレット(4)に段積みされ
たワーク（立方体の箱又はこれに類する物体）、(5)は
ワーク(3)の上方に設置された固定カメラ、(6)は固定カ
メラ(5)に接続された画像処理装置、(7)はロボット(1)
に接続されたロボット制御装置、(8)はパレット(4)の走
行を制御する地上制御装置、(9)は上記各装置(6)〜(8)
に接続された統括制御装置、(10)は統括制御装置(9)に
接続されたホストコンピュータである。

【０００３】従来のロボットのワーク認識装置は上記の
ように構成され、ワーク(3)をパレット(4)上に段積みし
た自走台車（図示しない）は、地上制御装置(8)によっ
て制御されて所定位置に搬送されてくる。ロボット(1)
はロボット制御装置(7)により制御されて、上記搬送さ
れてきたワーク(3)をハンド(2)でコンベア（図示しな
い）等に積み換える。ここで、固定カメラ(5)はワーク
(3)を撮像し、その画像信号を画像処理装置(6)へ送出す
る。画像処理装置(6)は入力された画像信号からワーク
(3)の配列パターンを認識して配列パターン信号を統括
制御装置(9)へ出力する。そして、統括制御装置(9)は入
力された配列パターン信号に基づいてロボット制御装置
(7)に指令を与えることになる。

【０００４】

【発明が解決しようとする課題】上記のような従来のロ
ボットのワーク認識装置では、固定カメラ(5)でワーク
(3)を撮像し、これに基づいてロボット(1)を制御するよ
うにしているため、固定カメラ(5)がワーク(3)を誤認識
するという問題点がある。また、固定カメラ(5)が破損
するとシステムダウンとなり、機械が停止するととも
に、人手により復旧が必要になるという問題点がある。

【０００５】この発明は上記問題点を解消するためにな
されたもので、固定カメラの誤認識が生じても正しい画
像認識を得ることができ、また、固定カメラが破損して
もロボットの停止を回避できるようにしたロボットのワ
ーク認識装置を提供することを目的とする。

【０００６】

【課題を解決するための手段】この発明の第１の発明に
係るロボットのワーク認識装置は、ワークの上方に固定
された固定カメラと、ロボットに装着されたハンドカメ
ラとを有し、上記両カメラが撮像したワークを認識する
画像処理装置と、固定カメラがワークを誤認識するか、
又は破損したことを検出する故障検出手段と、この故障
検出手段が動作すると固定カメラからハンドカメラに切
り換えて再度ワークを認識させる切換手段とを備えたも
のである。

【０００７】また、第２の発明に係るロボットのワーク
認識装置は、ワークの上方に固定された固定カメラと、
ロボットに装着された位置検出センサと、固定カメラが
撮像したワークを認識する画像処理装置と、固定カメラ
がワークを誤認識するか、又は破損したことを検出する
故障検出手段と、この故障検出手段が動作すると固定カ
メラから位置検出センサに切り換えて再度ワークを認識
させる切換手段とを備えたものである。

【０００８】また、第３の発明に係るロボットのワーク
認識装置は、ロボットに装着されたハンドカメラ及び位
置検出センサと、ハンドカメラが撮像したワークを認識
する画像処理装置と、ハンドカメラがワークを誤認識す
るか、又は破損したことを検出する故障検出手段と、こ
の故障検出手段が動作すると、ハンドカメラから位置検
出センサに切り換えて、再度ワークを認識させる切換手
段とを備えたものである。

【０００９】

【作用】この発明の第１の発明においては、固定カメラ
の故障が検出されると、ハンドカメラに切り換えてワー
クを認識させるようにしたため、ハンドカメラで画像認
識が継続でき、システムを停止させなくて済む。

【００１０】また、第２の発明においては、固定カメラ
の故障が検出されると、位置検出センサに切り換え、第
３の発明においては、ハンドカメラの故障が検出される
と、位置検出センサに切り換えて、それぞれワークを認
識させるようにしたため、位置検出センサで、ワークの
認識が継続でき、システムを停止させなくて済む。ま
た、カメラと位置検出センサとはソフトウェアとハード
ウェアが全く異なる。

【００１１】

【実施例】

実施例１．図１〜図３はこの発明の第１の発明の一実施
例を示す図で、図１はブロック線図、図２は画像イメー
ジ説明図、図３は認識動作フローチャートであり、従来
装置と同様の部分は同一符号で示す（以下の各実施例も
同じ）。

【００１２】図１及び図２において、(15)はロボット
(1)のハンド(2)に装着されたハンドカメラ、(16)はテレ
ビジョン(以下テレビという)モニタ、Ａは固定カメラ
(5)によるイメージ、Ｂはハンドカメラ(15)によるイメ
ージ、Ｃ１，Ｃ２は処理対象となるワーク(3)の画像で
ある。

【００１３】次に、この実施例の動作を図３を参照して
説明する。ステップ(21)で固定カメラ(5)によってワー
ク(3)を認識させる。すなわち、固定カメラ(5)でワーク
(3)を撮像すると、ワーク(3)全体の上面が視野内に入る
ため、図２のイメージＡに示すような画像Ｃ１が得られ
る。この画像Ｃ１に対応する画像信号は画像処理装置
(6)へ送出されて処理されるとともに、テレビモニタ(1
6)に表示される。

【００１４】ステップ(22)（故障検出手段に相当）で
は、上記画像信号に基づいて画像Ｃ１の正否を判断す
る。その結果が正であればステップ(26)へ飛んで、ハン
ド(2)を動作させてワーク(3)を把持する（以後の動作は
従来装置と同様であるため説明は省略）。また、結果が
否であればステップ(23)（切換手段に相当）へ進み、ハ
ンドカメラ(15)によるワーク(3)の認識に切り換える。
このときはワーク(3)の一部を視野内に入れ、局所的に
ワーク(3)を撮像する。ここでは、図２のイメージＢに
示すような画像Ｃ２が得られる。

【００１５】ステップ(24)では、この画像Ｃ２の正否を
判断する。その結果が正であれば、ステップ(26)へ飛ん
でハンド(2)によりワーク(3)を把持する。また、結果が
否であればステップ(21)へ進んで、誤認識として認識不
可の処理を実行し、例えばロボット(1)を停止させる。

【００１６】実施例２．図４及び図５はこの発明の第２
の発明の一実施例を示す図で、図４はブロック線図、図
５はビームセンサの動作説明図である。なお、図３はこ
の実施例にも共用する。

【００１７】この実施例は、図１のハンドカメラ(15)を
ビームセンサ(18)に置き換えたものである。ビームセン
サ(18)は投光ビーム(18a)を投射し、その反射光を検出
することで、物体を検出するものであり、位置検出セン
サを構成している。すなわち、図５に示すように、ビー
ムセンサ(18)が投光ビーム(18a)を投射した状態で、ハ
ンド(2)を走査方向Ｘへ移動させて走査する。このと
き、投光ビーム(18a)がワーク(3)によって遮られると、
ビームセンサ(18)の信号はオフからオンになる。

【００１８】この信号の変化した点のロボット(1)の座
標値をロボット制御装置(7)が読み取ることによって、
ワーク(3)の一辺の位置を知ることになる。更に、検出
されたワーク(3)の一辺と、直角方向の辺の位置（図５
の走査方向Ｘと直角な方向Ｙ）を同様にして検出する。
検出した２辺の位置からワーク(3)の位置が検出され
る。

【００１９】この実施例の動作は図３と同様である。た
だし、ステップ(23)では、ビームセンサ(18)によってワ
ーク(3)を認識することになる。なお、図４から明らか
なように、固定カメラ(5)とビームセンサ(18)の信号の
処理系はそれぞれ独立している。

【００２０】実施例３．図６はこの発明の第３の発明の
一実施例を示すブロック線図である。なお、図３及び図
５はこの実施例にも共用する。

【００２１】この実施例は図４の固定カメラ(5)を用い
る代わりに、ハンド(2)にハンドカメラ(15)を装着した
ものである。この実施例も図６から明らかなように、ハ
ンドカメラ(15)とビームセンサ(18)の信号の処理系はそ
れぞれ独立している。この実施例の動作は図３と同様で
ある。ただし、ステップ(21)ではハンドカメラ(15)によ
ってワーク(3)を認識し、ステップ(23)ではビームセン
サ(18)によってワーク(3)を認識することになる。

【００２２】実施例４．上記各実施例では、固定カメラ
(5)、ハンドカメラ(15)及びビームセンサ(18)の内２個
を組み合わせたものを示したが、これら３個を組み合わ
せれば、更に信頼性の高いシステムが構築できる。

【００２３】実施例５．実施例２及び実施例３のビーム
センサ(18)は光を応用したセンサとして説明したが、超
音波、磁気等を応用したセンサも有用である。また、接
触式のセンサでも、対象物の有無が明確に検出できるも
のであれば、使用可能である。

【００２４】

【発明の効果】以上説明したとおりこの発明の第１の発
明では、固定カメラの故障が検出されると、ハンドカメ
ラに切り換えてワークを認識させるようにしたので、ハ
ンドカメラで画像認識が継続でき、システムを停止させ
なくて済み、信頼性を増し、生産性を向上できる効果が
ある。

【００２５】また、第２の発明では、固定カメラの故障
が検出されると、位置検出センサに切り換え、第３の発
明では、ハンドカメラの故障が検出されると、位置検出
センサに切り換えて、それぞれワークを認識させるよう
にしたので、位置検出センサでワークの認識が継続で
き、システムを停止させなくて済む。また、カメラと位
置検出センサとは処理系が全く独立し、信頼性、生産性
とも更に向上できる効果がある。

【図面の簡単な説明】

【図１】この発明の実施例１を示すブロック線図。

【図２】図１による画像イメージ説明図。

【図３】図１の認識動作フローチャート。

【図４】この発明の実施例２を示すブロック線図。

【図５】この発明の実施例２及び実施例３によるビーム
センサの動作説明図。

【図６】この発明の実施例３を示すブロック線図。

【図７】従来のロボットのワーク認識装置を示すブロッ
ク線図。

【符号の説明】

１ロボット２ハンド３ワーク５固定カメラ６画像処理装置７ロボット制御装置１５ハンドカメラ１８ビームセンサ

Claims

【特許請求の範囲】

【請求項１】ワークの上方に固定され上記ワークを撮
像する固定カメラと、ロボットのハンドに装着され上記
ワークを撮像するハンドカメラとを有し、上記両カメラ
が撮像した上記ワークを認識する画像処理装置と、上記
固定カメラが上記ワークを誤認識するか、又は上記固定
カメラが破損したことを検出する故障検出手段と、この
故障検出手段が動作すると上記固定カメラから上記ハン
ドカメラに切り換えて再度上記ワークを認識させる切換
手段とを備えてなるロボットのワーク認識装置。
【請求項２】ワークの上方に固定され上記ワークを撮
像する固定カメラと、ロボットのハンドに装着され上記
ワークの位置を検出する位置検出センサと、上記固定カ
メラが撮像した上記ワークを認識する画像処理装置と、
上記固定カメラが上記ワークを誤認識するか、又は上記
位置検出センサが破損したことを検出する故障検出手段
と、この故障検出手段が動作すると上記固定カメラから
上記位置検出センサに切り換えて再度上記ワークを認識
させる切換手段とを備えてなるロボットのワーク認識装
置。
【請求項３】ロボットのハンドに装着されワークを撮
像するハンドカメラと、上記ハンドに装着され上記ワー
クの位置を検出する位置検出センサと、上記ハンドカメ
ラが撮像した上記ワークを認識する画像処理装置と、上
記ハンドカメラが破損したことを検出する故障検出手段
と、この故障検出手段が動作すると上記ハンドカメラか
ら上記位置検出センサに切り換えて再度上記ワークを認
識させる切換手段とを備えてなるロボットのワーク認識
装置。