JPH01196501A - ロボットの物体認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 【産業上の利用分野】

本発明は、視覚情報に基づいて、物体の円筒部又は円筒
様形状をした円筒様部を抽出して、円筒部等の中心位置
を演算することにより、対象物体の存在位置を検出し、
自動的に対象物体を把持するようにしたロボットの物体
認識装置に関する。

【従来技術】

従来、物体をＣＣＤカメラ等にて撮像して、物体の画像
データを入力し、濃淡レベルを所定の閾値を基準として
単純に２値化することにより物体の画像を単純化し、そ
の２値化された画像から対象物体を認識する装置が知ら
れている。又、物体の濃淡画像とモデル物体の濃淡画像
との相関を求めることにより、対象物体を認識する装置
が知られている。

【発明が解決しようとする課題】

撮像装置に対して、物体の表面が平面的であれば、つま
り、前記物体が背景よりも大きな一定の反射率を有して
おれば、濃淡信号のレベル変化が物体の境界で大きく、
物体領域内での濃淡レベルの変動が少ないため、単純に
２値化処理をすることにより、前記物体の全体の映像を
抽出することが可能である。 ところが、物体が円筒又は円筒に形状的に類似している
場合には、背景から物体の境界にかけて濃淡レベルが緩
やかに変化すると共に物体の領域内部でも濃淡レベルが
位置に関する曲線関数で徐々に変化しているので、従来
の単純２値化処理のみでは、物体を認識し、その物体の
正確な位置を検出することは難しい。 又、物体が重なっている場合には、対象物体の境界での
濃淡レベルの変動が少なく、濃淡画像を単純に２値化す
る方法では、対象物体の認識が困難である。 又、濃淡画像とモデル物体の濃淡画像との相関をとるこ
とにより物体を認識する方法は、処理対象の情報量が多
すぎ、処理時間が長くなるという問題があった。

【課題を解決するための手段】

上記課題を解決するための発明の構成は、第１図にその
概念を示すように、物体を撮像する撮像装置１１と、前
記撮像装置１１により得られた濃淡画像を濃淡に関して
微分する微分手段１２と、前記微分手段１２により得ら
れた微分画像を所定の閾値を基準として２値化する２値
化手段１３と、モデル物体の微分画像を所定の閾値を基
準として２値化した基準２値化画像データを記憶する基
準２値化画像データ記憶手段１４と、前記２値化手段１
３によって得られらた２値化画像データと前記基準２値
化画像データ記憶手段１４に記憶された前記基準２値化
画像データとを照合する照合手段１５と、前記照合手段
１５の照合結果により対象物体を特定し、その特定され
た物体の前記２値化画像データに基づいてその物体の存
在位置を演算する位置演算手段１６とを設けたことを特
徴とする。

【作用】

本発明の物体認識装置では、撮像装置により得られた物
体の濃淡画像を微分した後、その微分画像の絶対値を一
定の閾値を基準に２値化される。 そして、その２値化画像データと予め基準２値化画像デ
ータ記憶手段に記憶されたモデル物体の微分画像を２値
化した基準２値化画像データとの照合が行われ、照合の
程度により、対象物体の認識が行われる。その後、対象
物体の２値化画像データからその物体の中心位置や重心
位置等の存在位ばか演算される。 このように、本発明では、微分画像を２値化しているた
め、物体の輪郭線の把握が容易となる。 又、微分画像の正負の成分毎に２値化して、基準２値化
画像データと微分画像の符号を含めて照合した場合には
、物体の輪郭線に対して何方の側が物体の内部の側かを
判別できる。このため、円筒状又は円筒様形状をした物
体が隣接して複数配置されていても、対象物体の内部か
外部かを判別できるため、対象物体の中心位置を誤認す
ることが防止される。 尚、上記の濃淡画像はアナログ信号であっても、ディジ
タル化された値であっても良く、従って、上記の微分手
段はアナログ信号を微分演算する手段でも、ディジタル
データを微分演算する手段であっても良い。

【実施例】

以下、本発明を具体的な実施例に基づいて説明する。 第２図は、本発明の具体的な一実施例に係る物体認識装
置の電気的構成を示したブロック図である。 ２０は物体認識装置であり、その物体認識装置２０は、
物体２２を撮像するＣＣＤカメラ２４、ＣＣＤカメラ２
４から出力される映像信号をＡ／Ｄ変換するＡ／Ｄ変換
装置２５、Ａ／Ｄ変換装置２５の出力する濃淡画像を微
分演算する微分演算装置２６、微分演算装置２６の出力
する微分画像の絶対値を一定の閾値を基準に２値化する
２値化装置２７．２値化画像データを一旦貯えておく画
像メモリ２８、モデル物体の微分画像を一定の閾値を基
準として２値化した基準２値化画像データを記憶した基
準データ記憶装置２９、随時、画像メモリ２８から読出
された物体の２値化画像データと基準２値化画像データ
とを照合し、その照合の程度から対象物体を特定し、そ
の対象物体の中心位置を演算するＣＰＵ３０を有してい
る。 ５０はロボット６０を制御するためのロボット制御装置
であり、そのロボット制御装置５０は、前記物体認識装
置２０とインターフェース５１で結ばれたＣＰＵ５２と
、ロボット位置制御プログラム等を記憶したＲＯＭ５４
、教示データ等を記憶するＲＡＭ５３、そしてロボット
６０の各駆動軸を駆動するサーボモータを制御するサー
ボＣＰＯ５５とを有している。ロボット６０はアーム６
１とアーム６１により位置を制御され、物体２２を把持
するハンド６２で構成されている。 ロボット６０はロボット制御装置５０により、各軸を駆
動するサーボモータ（図示しない）が制御される。一方
、基台２１上には円筒状の物体２２が載置されており、
略鉛直方向から図示しない光源から平行光線２３が物体
に照射されている。 その円筒状の物体２２からの反射光は、ＣＣＤカメラ２
４に入射しており、ＣＣＤカメラ２４からは物体２２の
映像信号がＡ／Ｄ変換装置２５に出力されている。 次に、物体認識装置２０の作用を第２図及び第３図を参
照して説明する。 まずＣＣＤカメラ２４及びＡ／Ｄ変換装置２５を介して
、基台２１上の物体２２は、第３図（ａ）、（ｂ）で示
すように濃淡画像に変換される。濃淡画像において、円
筒状の物体２２の中心部Ａは明るく、物体２２の周辺部
Ｂ１、Ｂ２は暗くなっている。即ち、ラインＬに沿って
走査した場合の濃淡レベルは第３図（ｂ）に示すように
物体２２の中心ＨＡが周辺部Ｂ１、Ｂ２に対して高レベ
ルとなっている。 次に、濃淡画像は、微分演算装置２６にて、第３図（ｃ
）、（ｄ）で示すような微分画像に変換される。微分画
像において、物体２２の中心部Ａハ濃淡レベルの変動が
小さいため微分値はＯとなり、走査方向Ｘに対してＸの
値が小さい側Ｂ１では濃淡画像の濃淡レベルが増加する
ため微分値は正値をとり、逆に、走査方向Ｘに対してＸ
の値が大きい側Ｂ２では濃淡画像の濃淡レベルが減少す
るため微分値は負値をとる。 次に、２値化装置２７にて、微分画像の絶対値に対して
所定の閾値Ｅｔｈを基準として、２値化が行われ、第３
図（ｅ）、（ｆ）で示すような２値化画像データが得ら
れる。２値化画像データにおいて、短冊状の画像Ｚ１、
ｚ２が物体２２の周辺部Ｂ１、Ｂ２を示している。 このようにして、周辺部Ｂ１、Ｂ２の形状とその間隔か
ら物体２２を特定することが可能となる。 その２値化画像データは一旦、画像メモリ２８に貯えら
れ、ＣＰＵ３０により随時読出され、予め基準データ記
憶装置２９に記憶されている第３図（ｉ）に示すモデル
物体の基準２値化画像データと順次照合される。そして
、その照合度から２値化画像データにおいて、物体２２
を認識することができる。 次に、物体２２が認識されると、２値化画像データにお
いて、周辺部Ｂ１とＢ２の間の中間部２３が第３図（ｇ
）、（ｈ）に示すように抽出され、物体２２の中心位置
ｘ１が演算される。 そして、その演算結果である物体２２の中心位置×１は
、インターフェース５１を介し、ＣＰＵ５２に入力され
、その値に基づいてロボット６０の位置制御が行われ、
対象物体２２が把持される。 第４図はロボットの物体認識装置におけるＣＰＵ３０の
処理手順を示したフローチャートである。 ステップ１００において、まず照合領域の初期設定とし
て、画像メモリ２８に記憶された２値化画像データのう
ち一定の照合領域を示す画素アドレスが特定され、次の
ステップ１０２で照合領域の２値化画像データの抽出を
行う。次にステップ１０４へ移行して、基準２値化画像
データと、前記２値化画像データとの照合度の演算を行
い、次にステップ１０６へ移行して、照合度が一定値以
上あるか否かを判定し、一定値以上ある場合は、ステッ
プ１０８へ移行し、物体の中心位置の演算を行い、ステ
ップ１１０でその物体の中心位置データをインタフェー
ス５１を介してＣＰＵ５２へ出力して終了する。ステッ
プ１０６で照合度が一定値に達しない場合には、ステッ
プ１１２へ移行して全領域の照合が完了か否かを判定し
、完了していない場合にはステップ１１４で照合領域更
新をして、再びステップ１００へ戻る。そして上記のス
テップ１００〜１１４を繰り返し、そして、ステップ１
０６にて照合度が一定値に達しないにも拘わらず、ステ
ップ１１２にて全領域の照合が完了の場合は、ステップ
１１６に移行し、物体認識失敗の情報をＣＰＵ５２へ出
力し終了する。 次に、ロボット制御装置５０の作用を第５図のフローチ
ャートに基づいて説明する。 ステップ２００において、ロボット６０の位置を待機位
置とし、次のステップ２０２でインタフェース５１を介
してＣＰＵ３０に画像データ処理開始指令信号を付与す
る。すると、ＣＰＵ３０は第４図に示すプログラムに従
ってＣＣＤカメラ２４の走査とリアルタイムに画像メモ
リ２８に作成されている２値化画像データの処理を開始
する。尚、画像メモリ２８に作成される２値化画像デー
タはＣＣＤカメラ２４が常時駆動された状態にあるため
、リアルタイムなデータとなる。次にステップ２０４へ
移行してＣＰＵ３０による画像データ処理が終了したか
否かが判定され、その画像データ処理が終了されるまで
待機した後、画像データ処理が終了した場合には、ステ
ップ２０６へ移行して、ＣＰＵ３０から入力された情報
から物体が認識されたか否かが判定され、物体認識され
ている場合にはＣＰＵ３０からは物体２２の中心位置デ
ータが入力されるので、ステップ２１０へ移行してＣＰ
Ｕ３０から入力された物体の中心位置に基づいて位置決
めデータをサーボＣＰＵ５５へ出力しロボッ）６０を駆
動して、ハンド６２をその物体２２の中心位置まで移動
させてその物体の把持動作を実行する。そしてステップ
２１２へ移行して、物体の把持が完了したか否かが判定
され、物体の把持が完了した場合には、ステップ２１４
へ移行して物体の運搬動作が実行される。そして、ステ
ップ２゜Ｏへ戻り、次の把持物体の認識処理の開始指令
がＣＰＵ３０に付与される。 このようにステップ２００〜２１４の繰り返しにより、
基台２１上に載置された物体が次々に運搬される。 又、ＣＰＵ３０から物体の認識失敗の旨の情報が出力さ
れた場合には、上記のステップ２０６で物体が］Ｒｋさ
れないと判定され、ステップ２１６で作業者に警報した
りするエラー処理が行われ後、本プログラムは終了され
る。 次に、第２実施例について説明する。 上記のように微分画像の絶対値を２値化すると、第６図
に示すように円筒状の物体が隣接する場合において、稀
に物体と物体の間に物体があたかも有るように誤認識し
位麗検出慣号を物体の数より多く出力する場合がある。 つまり、基台３１上の物体３２ａ、３２ｂは第３図（ａ
）、　（ｂ）と同様な第６図（ａ）、　（ｂ）で示す濃
淡画像に変換され、微分演算装置により第３図（Ｃ）。 （ｄ）と同様な第６図（ｃ）、　（ｄ）に示す微分画像
が得られる。ここで、第３図の説明と同様に、第６図（
ｃ）、　（ｄ）を微分画像の絶対値に対して所定の閾値
Ｅｔｈを基準として、２値化が行われ、第６図（ｅ）。 （ｆ）で示すような２値化画像データが得られる。 そして、第３図（ｉ）の説明と同様な第６図（ｉ）に示
すモデル物体の基準２値化画像データと、第６図（ｅ）
、　（ｆ）で示される２値化画像データが順次照合され
ると、その照合度から２値化画像データにおいて物体３
２ａ、３２ｂがＨされるのであるが、第３図（ｇ）、（
ｈ）の場合と異なり、第６図（ｇ）、（ｈ）のように中
間部Ｚ９が基台３１上の物体３２ａ、３２ｂの数より多
く抽出される。即ち、物体と物体との間も中間部Ｚ９と
して抽出されることになり、物体３２ａ、３２ｂの中心
位置が物体３２ａ、３２ｂの数より多く検出されること
になる。 そこで、第７図に示す構成とすることにより、微分画像
の正及び負の成分を所定の各閾値を基準として２値化し
、モデル物体の微分画像の正及び負の成分を所定の各閾
値を基準として２値化した基準２値化画像データと各々
照合し、その照合結果をＡＮＤ処理することにより、物
体の真の中心位置のみを得ることができる。 次に第７図及び第８図を参照して作用を説明する。 撮像装置７１により基台４１上の物体４２は、第８図（
ａ）、　（ｂ）で示すように濃淡画像に変換される。次
に、濃淡画像は微分手段７２にて、第８図（Ｃ）で示す
ような微分画像（１ライン分データのみ図示）に変換さ
れる。次に、２値化手段７３により微分画像の正成分は
所定の閾値Ｅｔｈを基準として２値化が実行され、又、
２値化手段７６により微分画像の負成分は所定の閾値−
Ｅｔｈを基準として２値化が行われる。そして、正成分
の微分画像は第８図（ｄ）で示す２値化画像データに変
換され、負成分の微分画像は第８図（ｅ）で示すような
２値化画像データとなる。 そして、予め基準２値化画像データ記憶手段７５．７８
に記憶されている第８図（ｇ）、（ｈ）に示すモデル物
体の正の微分画像成分と負の微分画像成分に対して独立
に設定された基準２値化画像データと順次照合される。 この基準２値化画像データにおいて、微分画像の正成分
と負成分の表れる位置関係は物体の幅に応じて決定され
ている。このように、正成分と負成分の微分画像とを区
別して照合されるため、第８図（ａ）に示す物体４２の
走査方向Ｘに対して手前の周辺部Ｈ１側と後のＨ２側を
区別して識別することが可能となる。そして、正成分と
負成分の照合結果のＡＮＤ処理により一定の幅を有した
物体４２が認識される。次に、２値化画像データにおい
て、周辺部Ｈ１とＨ２の間の中間部Ｚ１３が第８図（ｆ
）に示すように抽出され、物体４２の中心位置Ｘｌｌが
演算される。このように微分画像において、微分値が正
及び負を一つの物体として認識する。従って、上記第６
図に示すような円筒状の物体が隣接する場合においても
、物体の数より多く中間部が抽出されることはなく、物
体の数と同数の位置検出信号を得ることができる。 尚、上記実施例では、物体の幅により決定される一定の
関係にある微分画像の正成分と負成分とを独立に照合し
て、その後にＡＮＤ条件による照合結果を求めているが
、微分画像の正成分に対して「１」と「０」とに２値化
し、微分画像の負成分に対して「−１」と「０」とに２
値化し、且つ基準２値化画像データを「１」、「０」、
「−１」の値にディジタル化されたパターンとして、そ
の基準パターンと２値化画像データとを一度に照合する
ようにしてもよい。

【発明の効果】

本発明のロボットの物体認識装置は、撮像装置により得
られた濃淡画像を微分する微分手段と、微分画像を２値
化する２値化手段と、モデル物体の微分画像を２値化し
た基準２値化画像データを記憶する基準２値化画像デー
タ記憶手段と、２値化画像データと基準２値化画像デー
タとを照合する照合手段と、照合手段の照合結果により
物体の存在位置を演算する位置演算手段とを有しており
、微分画像を２値化して基準データと照合しているので
、円筒状又は、円筒様形状を持つ物体のように境界にお
いて濃淡レベル変化が小さく、物体の領域内部で濃淡レ
ベルの変化があっても、その物体の認識精度が向上する
という効果がある。 又、微分画像を２値化しているため、濃淡レベルの絶対
的な変化の影習を受は難い。 更に、濃淡変化のパターンを簡略化しているので、演算
処理が高速に行えるという効果がある。

【図面の簡単な説明】

第１図は本発明の概念を示したブロックダイヤグラム。 第２図は本発明の具体的な一実施例に係るロボットの物
体認識装置を示した構成図。第３図は、第２図における
画像データ及び１ライン分データの変化関係を示した説
明図。第４図はＣＰＵ３０の処理手順を示したフローチ
ャート。第５図はロボット制御装置のＣＰＵ５２の処理
手順を示したフローチャート。第６図は、第３図に対応
して誤認識を説明するための説明図。第７図は、第６図
における誤認識をなくした本発明の他の実施例の構成を
示したブロックダイヤグラム。第８図は同実施例におけ
る画像データ及び１ライン分データの変化関係を示した
説明図である。 ２０　物体認識装置　２１．３１，４１°°゛基台２２
．３２ａ、３２ｂ、４２　　物体 ５０　・ロボット制御装置　６０−ロボット６１　アー
ム　６２−ハンド 特許出願人　　豊田工機株式会社 代　理　人　　弁理士　藤谷　修 Ｏ。 Ｃ＋ｑ　　　　　　　　　　　　　　　　　　　　、）
第４図 第５図

Claims (1)

1. 【特許請求の範囲】 　物体を撮像してその物体の位置を検出するロボットの
   物体認識装置において、 物体を撮像する撮像装置と、 前記撮像装置により得られた濃淡画像を濃淡に関して微
   分する微分手段と、 前記微分手段により得られた微分画像を所定の閾値を基
   準として２値化する２値化手段と、モデル物体の微分画
   像を所定の閾値を基準として２値化した基準２値化画像
   データを記憶する基準２値化画像データ記憶手段と、 前記２値化手段によって得られらた２値化画像データと
   前記基準２値化画像データ記憶手段に記憶された前記基
   準２値化画像データとを照合する照合手段と、 前記照合手段の照合結果により対象物体を特定し、その
   特定された物体の前記２値化画像データに基づいてその
   物体の存在位置を演算する位置演算手段と を有することを特徴とするロボットの物体認識装置。