JPH01134573A - 画像処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 技術分野 本発明は、たとえば産業用ロボットでビンの中からボル
トの取り出しを行う際に、ボルトの実時間検出を行い、
取り出すボルトを特定するためなどに実施される画像処
理方法に関する。

背景技術 典型的な先行技術としては、工業用テレビカメラによっ
てビン内に積み上げられたボルトを撮像し、その画像デ
ータを演算処理することにより、その最上部に位置する
ボルトを特定し、さらに、そのボルトの姿勢と重心を求
め、産業用ロボットにそのボルトの取り出しを行わせる
ものがある。

この先行技術では、最上部に位置するボルトを特定する
ために、撮像された画面の全画素に対して細かい分解能
で画像処理を行う−ので、演算処理に多くの時間を要す
る。

そこで、ボルトを特定するために実際に処理すべき領域
は、画面の一部分である点に着目し、あらかじめ画面内
にボルトを含む関心領域を設定し、この関心領域内の画
素に対して画像処理を行うことによって演算処理時間を
短縮する方法がある。

第１１図に示すように、工業用テレビカメラの視野３３
に対し、固定の関心領域３５を設定し、この関心領域３
５内の画素に対してのみ画像処理を行う、この先行技術
によれば、検出分解能を下げることなく画像処理時間の
短縮を図ることができるが、次に述べる問題点がある。

発明が解決すべき問題点 第１１図に示す先行技術では、工業用テレビカメラと撮
像対象との位置関係が一定であるので、関心領域３５内
にポルト３６全体が撮像されている場合にのみ該ボルト
に対し画像処理を行うことができる。したがって、第１
２図に示すように、ボルト３７の一部分が関心領域３５
に含まれている場合、含まれている部分に対しては画像
処理が行われるが、含まれていない部分に対しては画像
処理が行われない、また、ボルト３８のように関心領域
３５外にある場合は、ボルト３８に対して、画像処理は
全く行われないという問題点がある。

本発明の目的は、上述の技術的課題を解決し、画像処理
時間の短縮を図る画像処理方法を提供することである。

問題点を解決するための手段 本発明は、処理すべき画像の全体を粗い分解能で処理し
て対象が位置する画面内の部分領域を検出する第１ステ
ップと、次に、前記部分領域に対してのみ細かい分解能
で処理を行う第２ステップを含むことを特徴とする画像
処理方法である。

作　　用 本発明に従えば、まず画像全体に対し粗い分解能で画像
処理を行って対象を特定し、その後、該対象を含む部分
領域に対し細かい分解能で画像処理を行い、画像処理時
間の短縮を図る。

実施例 第１図は１本発明の一実施例のブロック図である。ビン
１０内には、多数の撮像対象物であるボルト１１がラン
ダムに収納されている。産業用ロボット１２の作業端１
３によって、ビン１０内のボルト１１を１つずつ把持し
て取り出し、この取り出したボルト１１を別の場所で組
立作業に用いる１作業端１３によって単一のボルト１１
を確実に把持してつかみ上げることができるようにする
ために、工業用テレビカメラ１４によってビン１０の上
方からボルト１１を撮像し、画像データを得る。この画
像データから、ビン１０内の最上部にあるボルト１１の
姿勢と重心位置を演算し、作業端１３によってボルト１
１を把持することができる。

工業用テレビカメラ１４で撮像して得られる映像信号は
処理装置１５に与えられ、第１のメモリ１６および第２
のメモリ１７に記憶される。第１のメモリ１６には、た
とえば、縦２５６画素×横２５６画素の細かい分解能の
画素から成る画像データが記憶され、第２のメモリ１７
には、たとえば、縦６４画素×横６４画素の粗い分解能
の画素から成る画像データが記憶される。細かい分解能
の画像データと粗い分解能の画像データは、後述する手
法により、カメラ１４で撮像された映像信号から得る。

処理装置１５の出力は、陰極線管等によって実現される
表示装置１８に接続される。

表示装置１８は、第１のメモリ１６や第２のメモリ１７
の記憶内容、あるいは処理装置１５の演算結果などを表
示することができる。

処理装置１５の他方の出力は、インターフェース１９を
介してロボット制御装置２０に送られる。

ロボット制御装置２０は、アーム１２および作業端１３
が、たとえば油圧により位置制御される場合は油圧制御
信号を生成し、他の例として、モータにより位置制御さ
れる場合は、モータ駆動信号を生成する。これにより、
ロボット制御装置２０は、アーム１２の作業端１３で単
一のボルト１１を予め定められた態様で把持することが
できるように、アーム１２および作業端１３を制御する
。

第２図は、第１図に示された実施例の動作を説明するた
めのフローチャートである。ステップｎ１からステップ
ｎ２に移り、工業用テレビカメラ１４はビン１０内のボ
ルト１１を上方から撮像し、その映像信号が処理装置１
５へ送られる。処理装置１５は、ステップｎ３で前記映
像信号をアナログ／デジタル変換し、前述したように、
縦２５６画素×横２５６画素の細かい分解能の画像デー
タとして、第１のメモリ１６へ転送され記憶される。

ステップｎ４では、前記映像信号をアナログ／デジタル
変換し、前述したように、縦６４画素×横６４画素の粗
い分解能の画像データとして、第２のメモリ１７へ転送
され記憶される。

第３図は、細かい分解能の画像データと粗い分解能の画
像データとの座標の対応関係を説明するための図である
。第３図（１）は、Ｍ１２５６画素×横２５６画素の細
かい分解能の画像データを示し、升目に囲まれた領域は
′画素に対応する。また、第３図（２）は、縦６４画素
×横６４画素の粗い分解能の画像データを示す１本発明
の実施例では、まず粗い分解能の画像データから、対象
が位置する画面内の部分領域を検出し、該部分領域に対
応する細かい分解能の画像データを処理する必要がある
ので、粗い分解′能の画素の座標から細かい分解能の画
素の座標を求める必要がある。第３図（２）に示す座標
（ｉ、ｊ）の斜線で示す画素２１は、第３図（１）に示
す座標（１，Ｊ）の斜線で示す画素２２に対応する。こ
のとき座標（ｉ、ｊ）から座標（Ｉ、Ｊ）への変換式は
、 ！＝４Ｘ　（ｉ−１＞＋１＝４ｉ−３・・・（１）Ｊ＝
４ｘ　（ｊ−１）＋１＝４ｊ−３・・・（２）となる。

ステップｎ５では、第２のメモリ１７に記憶されている
粗い分解能の画像データから、ビン１０内のボルト１１
の輪郭線を検出する。第４図に、輪郭線を検出する手法
を示す、第４図（１）は、工業用テレビカメラ１４がビ
ン１０の上方から撮像したボルト１１のうちの１つを示
している。゛制御装置１５は第２のメモリ１７から画像
データを取り込み、２値化処理を行って第４図（２）に
示す２値化画像を得る。この２値化処理は、画像データ
の各画素の値を予め定めたしきい値に対する大小比較に
より行う、第４図（２）において、参照符２４はボルト
１１の形状を示し、たとえば論理「１」の画素であり、
斜線を施して示す領域２５は、論理「０」であり、これ
によって、ボルト１１の輪郭線２６を検出することがで
きる。すなわち、第４図（２）の論理値の変化点を求め
ることにより輪郭線２６を検出する。第４図（３）は前
述の手法により求めた輪郭線２６を示し、たとえば論理
「１」の画素であり、他の領域２７は論理「０」である
。

ステップｎ６では、前記ステップｎ５で求めた輪郭線の
うちビン１０内で最上部に位置するボルト１１を決め、
該ボルト１１を含む四角形の部分領域を設定する。第５
図は、ステップｎ５で求めた輪郭線からビン１０内で最
上部に位置するボルト１１を求める手法を説明する図で
ある。第５図は１つの輪郭線を示し、他の輪郭線は省略
されている。処理装置１５は、第５図で示す全処理領域
２８の左上の探索開始点２９から探索線３０上を右方へ
走査し、論理「ｌ」を有する画素を探索する。論理「１
」を有する画素を発見すると、処理装置１５は、該画素
Ｐ１を追跡開始点とする。そして第７図に示すように、
該画素Ｐ１の周囲の画素ｑ１．ｑ２．・・・、ｑ８に対
し、第８図に示す方向で、論理「１」を有する画素を探
索する。論理ｒ１．の画素を発見すると、第６図に示す
ように該画素をＰ２とする。そして前述と同様の手法に
より、画素Ｐ２の周囲の画素に対し、論理「１」を有す
る画素を探索する。このような、探索動作を繰り返し行
い、追跡開始点である画素Ｐ１を検出すれば、輪郭線の
追跡を終了し、第６図に示すように輪郭線の画素が抽出
される。

次に、上述の追跡過程で得られた画素Ｐｉ、Ｐ２、・・
・、ＰＩ３のＸ方向およびＸ方向のアドレスを比較する
。Ｘ方向の最大値および最小値、Ｘ方向の最大値および
最小値を求める０、：れらの値から、座標（ｘｔ＋　ｙ
ｙ）　、（ＸＪＩ　ｙｍ）　、（ｘＪ、　ｙ＋）および
（ｘｔ、３’＋）を４つの頂点とする四角形を部分領域
３１として決定する。

ステップｎ７では、ステップｎ６で得られたボルト１１
の姿勢および重心位置を求める。処理装置１５は、ステ
ラ７ｎ６で求められた部分領域３１に相当する細かい分
解能の画像データを第１のメモリ１６から読み出し、ボ
ルト１１の姿勢としてビン１０に対する方向を求め、さ
らに重心位置としてボルト１１の輪郭線で囲まれる領域
の図心を求める。

ステップｎ８では、処理装置１５は、ステップｎ７で求
められたボルト１１の姿勢および重心位置から、アーム
１２の作業端１３がボルト１１を把持するための制御信
号をインターフェース１９を介してロボット制御装置２
０へ送る。

ステップｎ９では、ロボット制御装置２０は、処理装置
１１５からの制御信号に基づきアーム１２および作業端
１３の位置を制御してボルト１１を把持し、予め定めら
れた場所へ搬出する。ステップｎｌＯで一連の制御を終
了する。

第９図および第１０１ｍは、工業用テレビカメラ１４に
よって撮像された画像データのＸ方向およびＸ方向の分
解能について説明する図である。第９図は、表示装置１
８の表示画面を示し、参照符３２は画面上の走査線とそ
の方向を示す、走査線は、画面左上の隅から右へ走査を
開始し、右端に達すると左端に戻り、第１の走査線のす
ぐ下を左から右へ走査する。これを順次縁り返し行い、
最終的に画面右下の隅まで走査して一画面が構成される
。

第１０図は、工業用テレビカメラ１４の出力である映像
信号波形を示している。水平同期信号３３は、第９図の
Ｘ方向の走査を送信側と受信側とで同期させるための信
号である。有効幅３４は、第９図に示す画面のＸ方向の
走査線１本に相当する。Ｘ方向の分解能は、処理装置１
５が映像信号をアナログ／デジタル変換するときのサン
プリング周波数によって決められる。したがって、Ｘ方
向の画面の分解能を２５６画素とするためには、前記有
効幅３４中のサンプリング回数を２５６回にすればよい
。

Ｘ方向の分解能は、一画面あたりの走査線数によって決
まる。一般のＮ　Ｔ　Ｓ　Ｃ（Ｎ　ａｔｉｏｎａｌＴｅ
ｌｅｖｉｓｉｏｎ　Ｓｙｓｔｅｍ　Ｃｏ輸ｍ１ｔｔｅｅ
）方式のテレビカメラの走査線の数は一画面あたり５２
５本である。しかし、このうち画面として有効な本数は
４９３本であるので、最大４９３の分解能を持ち得る。

したがって、Ｘ方向の画面の分解能を２５６とするため
には、前記４９３本の走査線中２５６本を採用し、他の
走査線を間引くことによって実現することができる。

上記実施例では、まず粗い分解能の画面として縦６４画
素×横６４画素を、細かい分解能の画面としてｌ１１２
５６画素×槽２５６画素を選択しているが、他の分解能
を選択してもよい、また、第２図ステップｎ５の輪郭線
検出における２値化処理において、上記実施例では予め
定めたしきい値に対して各画素の値を大小比較している
が、ボルト１１が検出できない場合にはしきい値を変更
して処理するようにしてもよい、これによりポル５１１
周囲の明るさが変化しても、ボルト１１を確実に検出す
ることができる。

上述の実施例では、ボルトに関連して説明が行われたが
、本発明の他の実施例としてボルト以外の対象に関して
も同様に実施することができる。

効　　果 本発明によれば、検出分解能を下げることなく処理対象
に対して画像処理をすることができ、画像処理時間を大
幅に短縮することができる。さらに、画像処理対象が画
面内のどの位置で撮像されても、処理装置が部分領域を
自動的に決定するので、画像全体内における対象の位置
によって制約されずに、画像処理を行うことができる。

【図面の簡単な説明】

第１図は本発明の一実施例のブロック図、第２図は処理
装置１５の動作を説明するためのフローチャート、第３
図は細かい分解能を有する画面と粗い分解能を有する画
面との座標対応間係を説明するための図、第４図は輪郭
線を検出する手法を説明するための図、第５図は部分領
域を求める手法を説明するための図、第６図は〜第８図
は輪郭線の追跡手法を説明するための図、第９図は走査
線の走査方向を示す図、第１０図は映像信号波形を示す
図、第１１図および第１２図は先行技術を説明するため
の図である。 １０・・・ビン、１１・・・ボルト、１２・・・アーム
、１３・・・作業端、１４・・・工業用テレビカメラ、
１５・・・処理装置、１６・・・第１のメモリ、１７・
・・第２のメモリ、１８・・・表示装置、１９・・・イ
ンターフェース、２０・・・ロボット制御装置、２１．
２２・・・画素、２６・・・輪郭線、２９・・・探索開
始点、３０・・・探索線、３１・・・部分領域 代理人　　弁理士　西教　圭一部 第１図 ｔｓ２図 第３ 図 第４図 第５図　　　　　　Ｍ６図 第９図 第１０図

Claims (1)

1. 【特許請求の範囲】 処理すべき画像の全体を粗い分解能で処理して対象が位
   置する画面内の部分領域を検出する第１ステップと、 次に、前記部分領域に対してのみ細かい分解能で処理を
   行う第２ステップを含むことを特徴とする画像処理方法
   。