JPH0696193A - 部品識別結果表示方法およびその装置 - Google Patents

Abstract

(57)【要約】 【目的】 画像処理を適用した部品供給システムにおけ
る部品識別結果の視認性を向上させる。 【構成】 画像検出部４により取り込まれた画像に基づ
いて特徴値算出、部品識別を行ない、全ての画像と共に
識別対象となる部品に対応する外接長方形を可視的に表
示する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は部品識別結果表示方法
およびその装置に関し、さらに詳細にいえば、視野内に
位置する少なくとも１つの部品の画像をＣＣＤカメラな
どからなる画像検出装置により検出し、検出画像に基づ
いて得られる部品識別結果を可視的に表示するための新
規な方法およびその装置に関する。

【０００２】

【従来の技術】従来からボウルフィーダを主要部とする
部品供給装置においては、メカ的な部品整列機構を設け
て部品を整列させる代わりに、部品の貯蔵を行なうボウ
ルのまわりに設けられた部品搬送トラックの所定領域の
画像をＣＣＤカメラなどからなる画像検出装置により検
出し、検出した画像に基づいて部品の種別、位置等を識
別し、識別結果に基づいて産業用ロボット等を動作させ
ることにより所望の部品を所望の位置に供給するように
した構成のものが提案されている。但し、重なり合った
部品等を再びボウルに戻すことができるように部品搬送
トラックを構成している（特開昭６０−１１８４７９号
公報参照）。

【０００３】このような構成を採用すれば、画像検出装
置により部品搬送トラック上の画像を取り込むのである
から、部品の種別を正確に識別でき、所望の部品を産業
用ロボットにより取り出すことができるとともに、部品
毎のツーリングが不要になり、多種類の部品に簡単に対
処できる。

【０００４】

【発明が解決しようとする課題】上記の構成の部品供給
装置を採用した場合には、単に部品搬送トラックの所定
領域の画像を検出するだけであり、しかも検出された画
像に基づく部品の識別を行なって識別結果に基づいて産
業用ロボットに動作指令を含む制御信号を供給するので
あるから、部品識別のための教示が正確であったか否
か、識別対象部品の把持位置の教示が正確であったか否
か等を判別しようとすれば、画像の検出処理、部品の識
別処理のみならず産業用ロボットを動作させて実際に部
品取り出し処理を行なってみなければならず、上記判別
のための作業が繁雑化してしまうという不都合がある。

【０００５】また、実際に部品供給動作を遂行している
途中で部品供給ミスが発生した場合には、画像検出およ
び検出画像に基づく部品識別を行なう側に誤動作が発生
したのか、実際に部品の取り出しを行なう産業用ロボッ
ト側に誤動作が発生したのかを判別することができない
のであるから、部品供給ミスの原因を究明するために著
しく多大の労力および長時間が必要になってしまうとい
う不都合がある。

【０００６】

【発明の目的】この発明は上記の問題点に鑑みてなされ
たものであり、産業用ロボットを実際に動作させること
なく正確な教示を達成できるとともに、部品供給ミスが
発生した場合に、誤動作を行なった範囲を簡単に限定で
きる部品識別結果表示方法およびその装置を提供するこ
とを目的としている。

【０００７】

【課題を解決するための手段】上記の目的を達成するた
めの、請求項１の部品識別結果表示方法は、視野内に位
置する部品の画像を画像検出手段により検出し、検出画
像に基づいて特徴値抽出処理を行なうとともに抽出され
た特徴値に基づいて部品の識別を行ない、検出画像と共
に部品識別結果を可視的に表示する方法である。

【０００８】請求項２の部品識別結果表示方法は、部品
識別結果の可視的表示として、識別された部品の画像を
包囲する長方形を採用している。請求項３の部品識別結
果表示方法は、部品識別結果の可視的表示として、視野
内における識別された部品の数を採用している。請求項
４の部品識別結果表示方法は、部品識別結果の可視的表
示として、識別された部品の所定位置の座標をさらに含
んでいる。

【０００９】請求項５の部品識別結果表示方法は、部品
識別結果の可視的表示として、識別された部品の所定の
基準軸をさらに含んでいる。請求項６の部品識別結果表
示装置は、視野内に位置する部品の画像を検出する画像
検出手段と、検出画像に基づいて特徴値抽出処理を行な
う特徴値抽出手段と、抽出された特徴値に基づいて部品
の識別を行なう部品識別手段と、検出画像と共に部品識
別結果を可視的に表示する可視的表示手段とを含んでい
る。

【００１０】

【作用】請求項１の部品識別結果表示方法であれば、視
野内に位置する部品の画像を画像検出手段により検出
し、検出画像に基づいて特徴値抽出処理を行なうととも
に抽出された特徴値に基づいて部品の識別を行ない、検
出画像と共に部品識別結果を可視的に表示するのである
から、産業用ロボットによる部品取り出し動作を実際に
行なわなくても、部品識別のための教示データが正確で
あるか否かを判別でき、教示データの有効性を判別する
ための作業を簡素化できる。また、産業用ロボットによ
る部品取り出しを実際に行なっている間に部品供給ミス
が発生した場合にも、検出画像と共に可視的に表示され
ている部品識別結果を見て画像処理側が誤動作している
か産業用ロボット側が誤動作しているかを簡単に判別で
き、部品供給ミスの原因を究明するために必要な労力を
低減できるとともに所要時間を大幅に短縮できる。

【００１１】請求項２の部品識別結果表示方法であれ
ば、部品識別結果の可視的表示として、識別された部品
の画像を包囲する長方形を採用しているので、請求項１
の作用に加え、部品識別の視認性を著しく向上できる。
この場合において、長方形として外接長方形を採用する
ことが好ましく、特徴値として外接長方形を規定する値
を採用する場合に、表示のために特別に長方形を発生す
る処理が不要になるので、処理を繁雑化することなく視
認性を向上できる。

【００１２】請求項３の部品識別結果表示方法であれ
ば、部品識別結果の可視的表示として、視野内における
識別された部品の数を採用しているので、たとえば、部
品供給装置の立上げ時の試運転において、部品の種別毎
に個数が異なっていれば、数のみを参照してどの部品が
識別されたかを簡単に判別でき、また、全ての種別につ
いて等しい個数の部品が存在していれば、部品識別が正
確に達成されているか否かを判別できる。

【００１３】請求項４の部品識別結果表示方法であれ
ば、部品識別結果の可視的表示として、識別された部品
の所定位置の座標をさらに含んでいるのであるから、部
品の取り出しを行なうための産業用ロボットの動作プロ
グラム作成時のデータを簡単にかつ正確に把握でき、動
作プログラム作成のための作業性を高めることができる
のみならず、産業用ロボットの座標系と画像処理装置側
の座標系との座標合せが適正に達成できているか否かの
判別を簡単に達成できる。

【００１４】請求項５の部品識別結果表示方法であれ
ば、部品識別結果の可視的表示として、識別された部品
の所定の基準軸をさらに含んでいるのであるから、部品
識別の視認性を著しく向上できる。この場合において、
基準軸として慣性主軸を採用することが好ましく、特徴
値として慣性主軸と他の基準軸等との関係を規定する値
を採用する場合に、表示のために特別に慣性主軸を発生
する処理が不要になるので、処理を繁雑化することなく
視認性を向上できる。また、部品の取り出しを行なうた
めの産業用ロボットの動作プログラム作成時のデータと
して慣性主軸を基準とする値を簡単に把握でき、動作プ
ログラム作成のための作業性を高めることができる。

【００１５】請求項６の部品識別結果表示装置であれ
ば、視野内に位置する部品の画像を画像検出手段により
検出し、検出画像に基づいて特徴値抽出手段により特徴
値抽出処理を行なうとともに抽出された特徴値に基づい
て部品識別手段により部品の識別を行ない、可視的表示
手段により検出画像と共に部品識別結果を可視的に表示
するのであるから、産業用ロボットによる部品取り出し
動作を実際に行なわなくても、部品識別のための教示デ
ータが正確であるか否かを判別でき、教示データの有効
性を判別するための作業を簡素化できる。また、産業用
ロボットによる部品取り出しを実際に行なっている間に
部品供給ミスが発生した場合にも、検出画像と共に可視
的に表示されている部品識別結果を見て画像処理側が誤
動作しているか産業用ロボット側が誤動作しているかを
簡単に判別でき、部品供給ミスの原因を解明するために
必要な労力を低減できるとともに所要時間を大幅に短縮
できる。

【００１６】

【実施例】以下、実施例を示す添付図面によって詳細に
説明する。図１はこの発明の部品識別結果表示方法が適
用される部品供給システムの一実施例を示す一部透視斜
視図、図２は概略縦断面図であり、非透光性材料からな
るケーシング１の内部にボウルフィーダ２を収容してい
るとともに、ボウルフィーダ２のボウル２ａを包囲する
状態で配置された部品搬送トラック２ｂの所定位置に形
成した開口を覆う透光性のある板２ｃの上方および下方
にそれぞれ光源３ａ，３ｂを配置してある。そして、透
光性のある板２ｃと光源３ｂとの間にハーフミラー４ａ
を配置してあるとともに、ハーフミラー４ａおよび反射
ミラー４ｂを介して透光性のある板２ｃを含む領域の画
像を検出する、ＣＣＤカメラ等からなる画像検出部４を
配置してある。さらに、画像検出部４からの画像検出信
号を入力として２値化処理、特徴値抽出処理、部品識別
処理等を行なうとともに、２値化画像および部品識別結
果を表示器５ａ上に可視的に表示する画像処理部５を有
している。また、上記ケーシング１は、透光性のある板
２ｃの直上に開口１ａを有しているとともに、開口１ａ
を閉鎖する位置と開放する位置との間で往復動可能な扉
部材１ｂを有している。尚、上記画像処理部５は、部品
識別結果に基づく産業用ロボット制御信号の生成、光源
３ａ，３ｂ、扉部材１ｂの動作を制御する画像検出用制
御信号の生成等をも行なう。また、上記ケーシング１に
対して所定の相対位置を保持した状態で部品の取り出し
を行なうための産業用ロボット６およびロボットコント
ローラ６ａが配置されている。

【００１７】上記光源３ａ，３ｂについては、双方共に
蛍光灯であってもよいが、一方の光源のみ、または両光
源がエレクトロルミネッセンス（以下、ＥＬと略称す
る）面発光体、ＬＥＤ等であってもよい。上記の構成の
部品供給システムの作用を図３および図４に示すフロー
チャートを参照しながら説明する。

【００１８】先ず、部品識別処理を示す図３のフローチ
ャートについて説明する。ステップＳＰ１において光源
３ａを点灯し、ステップＳＰ２において透光性のある板
２ｃを含む所定領域の画像を画像検出部４により取り込
み、ステップＳＰ３において取り込み画像に対して２値
化処理を施し、ステップＳＰ４において２値化画像に基
づく連結性解析を行なって部品毎の２値化画像を抽出
し、ステップＳＰ５において２値化画像に基づいて面積
値、周囲長、外接長方形長さ、穴数等の特徴値を得、ス
テップＳＰ６において、得られた特徴値および対応する
閾値に基づいて識別対象の部品であるか否かを判別す
る。そして、識別対象の部品であると判別された場合に
は、ステップＳＰ７において慣性主軸、重心位置、保持
位置等を算出するとともに、識別対象の部品の数を１だ
け増加させ、ステップＳＰ８において全ての２値化画像
に基づく処理が行なわれたか否かを判別し、全ての２値
化画像に基づく処理が行なわれたと判別された場合には
そのまま一連の処理を終了する。上記ステップＳＰ６に
おいて識別対象の部品でないと判別された場合にはその
ままステップＳＰ８の判別を行なう。そして、ステップ
ＳＰ８において処理が行なわれていない２値化画像が存
在すると判別された場合には、再びステップＳＰ５の処
理を行なう。尚、このフローチャートには示してない
が、シルエット像に基づく部品識別精度が高くない場合
には、光源３ｂを点灯して同様の処理を行なう。

【００１９】次いで、部品識別結果表示処理を示す図４
のフローチャートについて説明する。ステップＳＰ１に
おいて部品識別結果の表示が要求されているか否かを判
別し、部品識別結果の表示が要求されていなければ、ス
テップＳＰ２において２値化画像のみを可視的に表示
し、そのまま処理を終了する。逆に、部品識別結果の表
示が要求されていれば、ステップＳＰ３において、部品
識別結果の表示が既に得られている情報に基づく表示で
あるか否かを判別し、既に得られている情報に基づく表
示であれば、ステップＳＰ４において２値化画像および
既に得られている情報に基づく画像を合成して可視的に
表示し、一連の処理を終了する。上記ステップＳＰ３に
おいて、部品識別結果の表示が既に得られている情報に
基づく表示以外の表示であると判別された場合には、ス
テップＳＰ５において必要な表示のための情報を生成
し、ステップＳＰ６において２値化画像およびステップ
ＳＰ５において生成された情報に基づく画像を合成して
可視的に表示し、一連の処理を終了する。

【００２０】尚、図４のフローチャートは識別結果の表
示を自由に選択できることを前提としているが、識別結
果の表示が予め定められている場合には、ステップＳＰ
３の判別処理を省略し、予め定められている表示に対応
してステップＳＰ４またはステップＳＰ５，ＳＰ６の処
理を行なわせるようにすればよい。図５は識別結果の表
示の一例を示す図であり、２値化画像と共に識別された
部品の外接長方形を可視的に表示している。

【００２１】したがって、外接長方形が表示されている
部品が識別された部品であると直ちに認識でき、部品の
識別が正確に行なわれているか否かを産業用ロボット６
を動作させることなく簡単に判別できる。図６は識別結
果の表示の他の例を示す図であり、２値化画像と共に識
別された部品の個数を可視的に表示している。

【００２２】したがって、２値化画像として表示されて
いる各種類の部品の個数が互に異なる場合に、個数のみ
に基づいて識別された部品の種類を認識でき、逆に、各
種類の部品の個数が等しい場合に、表示された個数が実
際の個数と等しいか否かに基づいて部品の識別が正確に
行なわれているか否かを産業用ロボット６を動作させる
ことなく簡単に判別できる。

【００２３】図７は識別結果の表示のさらに他の例を示
す図であり、２値化画像、識別された部品の外接長方形
および識別された部品の慣性主軸を可視的に表示してい
る。したがって、外接長方形が可視的に表示されている
ことに起因して図５の場合と同様の効果を達成できるほ
か、表示されている慣性主軸を産業用ロボット６を動作
させるためのロボットプログラム作成時のデータとして
採用することによりロボットプログラムの作成作業を容
易化できる。

【００２４】図８は識別結果の表示のさらに他の例を示
す図であり、２値化画像、識別された部品の外接長方形
および識別された部品の保持位置を示す座標値を可視的
に表示している。したがって、外接長方形が可視的に表
示されていることに起因して図５の場合と同様の効果を
達成できるほか、表示されている座標値を産業用ロボッ
ト６を動作させるためのロボットプログラム作成時のデ
ータとして採用することによりロボットプログラムの作
成作業を容易化できる。また、表示されている座標値は
産業用ロボット６の座標系における値であるから、例え
ば、該当する座標値に基づいて産業用ロボット６を動作
させることにより、画像検出部４の座標系と産業用ロボ
ット６の座標系とが一致しているか否かを判別でき、こ
の判別結果に基づいて両座標系間における座標合せを行
なうことができる。

【００２５】尚、以上の各表示を行なうに当って部品名
等の表示を付加することが可能であるほか、これらの部
品識別結果を全て同時に表示することが可能である。

【００２６】

【実施例２】図９はこの発明の部品識別結果表示装置を
含む部品供給システムの構成を概略的に示すブロック図
であり、画像検出部４により得られた画像を２値化して
２値化画像を得る２値化処理部７１と、２値化画像に基
づいて連結性解析等を行なって部品毎の２値化画像を抽
出する２値化画像抽出部７２と、抽出された２値化画像
に基づいて特徴値を算出する特徴値算出部７３と、算出
された特徴値に基づいて識別対象の部品であるか否かを
判別する部品判別部７４と、識別対象の部品に対応させ
て部品識別結果表示のための画像データを出力する部品
識別結果表示用画像データ出力部７５と、２値化画像と
部品識別結果表示のための画像とを合成して可視的に表
示する可視的表示部７６とを有している。

【００２７】尚、上記各構成部分の作用は図３，図４の
フローチャートの該当ステップの処理と同様であるか
ら、詳細な説明は省略する。上記部品供給システムの作
用は次のとおりである。透光性のある板２ｃを含む所定
領域の画像が画像検出部４により取り込まれれば、２値
化処理７１において２値化処理を施して外乱光等の影響
を排除した２値化画像を得る。そして、２値化画像に基
づいて２値化画像抽出部７２において連結性解析等を行
なって各部品毎の２値化画像を抽出する。その後は、抽
出された各２値化画像に基づいて特徴値算出部７３にお
いて少なくとも１種の特徴値を算出し、部品判別部７４
において、算出された特徴値を所定の閾値等と比較する
ことにより識別対象の部品であるか否かを判別する。

【００２８】全ての部品の２値化画像に対応する判別結
果が得られた後は、識別対象の部品に対応させて部品識
別結果表示用画像データ出力部７５から部品識別結果表
示のための画像データを出力し、可視的表示部７６にお
いて全ての２値化画像と部品識別結果表示のための画像
とを合成して可視的に表示する。したがって、可視的表
示が部品識別結果表示のための画像を含んでいることに
起因して部品識別結果の視認性を著しく高めることがで
きる。また、以上の説明から明らかなように、産業用ロ
ボット６を実際に動作させる必要がないので部品識別が
正確に達成できているか否かを簡単に判別でき、部品識
別結果表示のための画像の種類によっては産業用ロボッ
ト６を動作させるロボットプログラムの作成作業の簡素
化に貢献できる。さらに、実際に部品供給を行なってい
る状態で部品供給ミスが発生した場合には、上述のよう
に部品識別が正確に達成できているか否かを簡単に判別
できるのであるから、部品供給ミスの原因究明のための
作業を簡素化できるとともに所要時間を短縮できる。

【００２９】尚、この発明は上記の実施例に限定される
ものではなく、例えば、光源を１つしか有していない部
品供給システムに適用することが可能であるほか、ボウ
ルフィーダ以外の部品分離搬送機構を組込んだ部品供給
システムに適用することが可能であり、その他、この発
明の要旨を変更しない範囲内において種々の設計変更を
施すことが可能である。

【００３０】

【発明の効果】以上のように請求項１の発明は、産業用
ロボットによる部品取り出し動作を実際に行なわなくて
も、部品識別のための教示データが正確であるか否かを
判別でき、教示データの有効性を判別するための作業を
簡素化できるのみならず、産業用ロボットによる部品取
り出しを実際に行なっている間に部品供給ミスが発生し
た場合にも、検出画像と共に可視的に表示されている部
品識別結果を見て画像処理側が誤動作しているか産業用
ロボット側が誤動作しているかを簡単に判別でき、部品
供給ミスの原因を究明するために必要な労力を低減でき
るとともに所要時間を大幅に短縮できるという特有の効
果を奏する。

【００３１】請求項２の発明は、請求項１の効果に加
え、部品識別の視認性を著しく向上できるという特有の
効果を奏する。請求項３の発明は、部品の種別毎に個数
が異なっていれば、数のみを参照してどの部品が識別さ
れたかを簡単に判別でき、また、全ての種別について等
しい個数の部品が存在していれば、部品識別が正確に達
成されているか否かを判別できるという特有の効果を奏
する。

【００３２】請求項４の発明は、部品の取り出しを行な
うための産業用ロボットの動作プログラム作成時のデー
タを簡単にかつ正確に把握でき、動作プログラム作成の
ための作業性を高めることができるのみならず、産業用
ロボットの座標系と画像処理装置側の座標系との座標合
せが適正に達成できているか否かの判別を簡単に達成で
きるという特有の効果を奏する。

【００３３】請求項５の発明は、請求項２または請求項
３の効果に加え、部品識別の視認性をより一層向上でき
るという特有の効果を奏する。請求項６の発明は、産業
用ロボットによる部品取り出し動作を実際に行なわなく
ても、部品識別のための教示データが正確であるか否か
を判別でき、教示データの有効性を判別するための作業
を簡素化できるのみならず、産業用ロボットによる部品
取り出しを実際に行なっている間に部品供給ミスが発生
した場合にも、検出画像と共に可視的に表示されている
部品識別結果を見て画像処理側が誤動作しているか産業
用ロボット側が誤動作しているかを簡単に判別でき、部
品供給ミスの原因を究明するために必要な労力を低減で
きるとともに所要時間を大幅に短縮できるという特有の
効果を奏する。

【図面の簡単な説明】

【図１】この発明の部品識別結果表示方法が適用される
部品供給システムの一実施例を示す一部透視斜視図であ
る。

【図２】部品供給システムの要部を示す概略縦断面図で
ある。

【図３】部品識別処理を説明するフローチャートであ
る。

【図４】部品識別結果表示処理を説明するフローチャー
トである。

【図５】識別結果の表示の一例を示す図である。

【図６】識別結果の表示の他の一例を示す図である。

【図７】識別結果の表示のさらに他の一例を示す図であ
る。

【図８】識別結果の表示のさらに他の一例を示す図であ
る。

【図９】この発明の部品識別結果表示装置を含む部品供
給システムの構成を概略的に示すブロック図である。

【符号の説明】

４ 画像検出部 ７３ 特徴値算出部 ７４ 部品
判別部 ７５ 部品識別結果表示用画像データ出力部 ７６
可視的表示部

Claims (6)

【特許請求の範囲】
1. 【請求項１】 視野内に位置する部品の画像を画像検出
   手段（４）により検出し、検出画像に基づいて特徴値抽
   出処理を行なうとともに抽出された特徴値に基づいて部
   品の識別を行ない、検出画像と共に部品識別結果を可視
   的に表示することを特徴とする部品識別結果表示方法。
2. 【請求項２】 部品識別結果の可視的表示が、識別され
   た部品の画像を包囲する長方形である請求項１に記載の
   部品識別結果表示方法。
3. 【請求項３】 部品識別結果の可視的表示が、視野内に
   おける識別された部品の数である請求項１に記載の部品
   識別結果表示方法。
4. 【請求項４】 部品識別結果の可視的表示が、識別され
   た部品の所定位置の座標をさらに含んでいる請求項２ま
   たは請求項３に記載の部品識別結果表示方法。
5. 【請求項５】 部品識別結果の可視的表示が、識別され
   た部品の所定の基準軸をさらに含んでいる請求項２また
   は請求項３に記載の部品識別結果表示方法。
6. 【請求項６】 視野内に位置する部品の画像を検出する
   画像検出手段（４）と、検出画像に基づいて特徴値抽出
   処理を行なう特徴値抽出手段（７３）と、抽出された特
   徴値に基づいて部品の識別を行なう部品識別手段（７
   ４）と、検出画像と共に部品識別結果を可視的に表示す
   る可視的表示手段（７５）（７６）とを含んでいること
   を特徴とする部品識別結果表示装置。