JPH02189691A - 物体認識装置 - Google Patents
物体認識装置Info
- Publication number
- JPH02189691A JPH02189691A JP1009430A JP943089A JPH02189691A JP H02189691 A JPH02189691 A JP H02189691A JP 1009430 A JP1009430 A JP 1009430A JP 943089 A JP943089 A JP 943089A JP H02189691 A JPH02189691 A JP H02189691A
- Authority
- JP
- Japan
- Prior art keywords
- model
- edge image
- line segments
- line segment
- edge
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
本発明は、物体認識装置に関し、例えば、ロボットによ
り、不規則に積み重ねられた多数の加工物体の中から、
最上位にある物体を把持する場合に、その把持すべき最
上位物体を高速且つ高精度で認識できる物体認識装置に
関するものである。
り、不規則に積み重ねられた多数の加工物体の中から、
最上位にある物体を把持する場合に、その把持すべき最
上位物体を高速且つ高精度で認識できる物体認識装置に
関するものである。
従来、この種の物体認識装置では、撮像された濃淡画像
と予めモデル物体で撮像したモデル濃淡画像との相関を
とることで物体を認識することやく特開昭６０−４８５
７９号公報）、物体の輪郭線を抽出して、予め登録され
たモデルの輪郭線と照合させることで物体を認識するこ
と（特開昭６２−２６９２８７号公報）が行われている
。
と予めモデル物体で撮像したモデル濃淡画像との相関を
とることで物体を認識することやく特開昭６０−４８５
７９号公報）、物体の輪郭線を抽出して、予め登録され
たモデルの輪郭線と照合させることで物体を認識するこ
と（特開昭６２−２６９２８７号公報）が行われている
。
しかし、前者は濃淡画像において１方向の相関を取るた
め、認識物体が円柱物体等の簡単な形状の物体に限られ
たり、照合部分では最上位に物体が存在しても他の部分
では下位に存在し、全体として把持するのに適当でない
物体まで、最上位物体として認ム１してしまうという問
題がある。 又、後者は、画像上において抽出された検出物体の輪郭
線が照明等の外乱の影Ｖで通常切断されたものとなるた
め、物体が下位に存在して輪郭線が切断される場合と区
別が付かないこと、モデルの詳細な輪郭線と照合すると
Ａｎ ｌＪｋ精度は向上するが認識速度が低下すること
、モデルの主要な一部の輪郭線と照合すると認識速度が
向上するが、照合しない輪郭線の部分が上位物体で邪魔
されているような場合にも、その物体を最上位物体とし
て認識してしまうとう問題があった。 本発明は、上記の課題を解決するために成されたもので
あり、その目的とするところは、複雑な背景中に存在す
る物体や不規則に積み上げられた物体の中から、ロボッ
トが把持するに適当な物体、即ち、最上位物体を効率良
く認識することである。
め、認識物体が円柱物体等の簡単な形状の物体に限られ
たり、照合部分では最上位に物体が存在しても他の部分
では下位に存在し、全体として把持するのに適当でない
物体まで、最上位物体として認ム１してしまうという問
題がある。 又、後者は、画像上において抽出された検出物体の輪郭
線が照明等の外乱の影Ｖで通常切断されたものとなるた
め、物体が下位に存在して輪郭線が切断される場合と区
別が付かないこと、モデルの詳細な輪郭線と照合すると
Ａｎ ｌＪｋ精度は向上するが認識速度が低下すること
、モデルの主要な一部の輪郭線と照合すると認識速度が
向上するが、照合しない輪郭線の部分が上位物体で邪魔
されているような場合にも、その物体を最上位物体とし
て認識してしまうとう問題があった。 本発明は、上記の課題を解決するために成されたもので
あり、その目的とするところは、複雑な背景中に存在す
る物体や不規則に積み上げられた物体の中から、ロボッ
トが把持するに適当な物体、即ち、最上位物体を効率良
く認識することである。
上記課題を解決するための発明の構成は、第１図にその
概要を示すように、２次元画像から検出物体の輪郭線を
求め、その輪郭線から輪郭線を構成する複数の構成線分
を抽出し、その構成線分と照合の対象となるモデルの輪
郭線を構成する曲線又は直線の一部（本発明ではモデル
線分と称す）を照合し、その一致の程度から物体をＲＪ
Ｌ’ｌする物体認識装置において、 前記モデルの輪郭線の主要部を構成する主要モデル線分
の位置等に関する情報を記憶した主要モデル線分記憶手
段と、 前記モデルの輪郭線の略全体を構成する詳細モデル線分
の位置等に関する情報を記憶した詳細モデル線分記憶手
段と、 前記検出物体の構成線分と前記主要モデル線分記ｔ＠手
段に記憶された主要モデル線分とを照合し、その照合結
果に応じて検出物体の位置及び姿勢を求めて検出物体の
候補を選択する候補選択手段と、照明の照射方向の異な
る複数の濃淡画像の微分画像を２値化したエツジ画像を
求め、それらのエツジ画像を合成して合成エツジ画像を
求めるエツジ画像演算手段と、 前記合成エツジ画像上において、前記候補選択手段によ
り選択された検出物体の位置及び姿勢に基づいて、前記
詳細モデル線分記憶手段に記憶されている詳細モデル線
分と検出物体のエツジ画像とを照合し、その照合結果に
応じて検出物体を特定する物体特定手段とを設けたこと
である。
概要を示すように、２次元画像から検出物体の輪郭線を
求め、その輪郭線から輪郭線を構成する複数の構成線分
を抽出し、その構成線分と照合の対象となるモデルの輪
郭線を構成する曲線又は直線の一部（本発明ではモデル
線分と称す）を照合し、その一致の程度から物体をＲＪ
Ｌ’ｌする物体認識装置において、 前記モデルの輪郭線の主要部を構成する主要モデル線分
の位置等に関する情報を記憶した主要モデル線分記憶手
段と、 前記モデルの輪郭線の略全体を構成する詳細モデル線分
の位置等に関する情報を記憶した詳細モデル線分記憶手
段と、 前記検出物体の構成線分と前記主要モデル線分記ｔ＠手
段に記憶された主要モデル線分とを照合し、その照合結
果に応じて検出物体の位置及び姿勢を求めて検出物体の
候補を選択する候補選択手段と、照明の照射方向の異な
る複数の濃淡画像の微分画像を２値化したエツジ画像を
求め、それらのエツジ画像を合成して合成エツジ画像を
求めるエツジ画像演算手段と、 前記合成エツジ画像上において、前記候補選択手段によ
り選択された検出物体の位置及び姿勢に基づいて、前記
詳細モデル線分記憶手段に記憶されている詳細モデル線
分と検出物体のエツジ画像とを照合し、その照合結果に
応じて検出物体を特定する物体特定手段とを設けたこと
である。
第１段階では、候補選択手段により、検出物体の輪郭線
を（１゛り成する構成線分と主要モデル線分との照合が
行われて、一定量以上一致する物体が検出物体の候補と
して選択される。 第２段階では、エツジ画像演算手段により、照明の照射
方向の異なる複数のａ淡側像の微分画像を２値化したエ
ツジ画像が求められ、そのエツジ画像を合成した合成エ
ツジ画像が求められる。このエツジ画像は、異なる方向
から照明して得られる画像の合成であることと、微分画
像を所定の閾値を境に２値化した画像であるため、物体
の輪郭線とは異なり、一定の幅をもっており、輪郭線の
ように外乱により途切れることはない。次に、物体特定
手段により、第１段階で選択された検出物体の全候補の
エツジ画像と詳細モデル線分とが照合され、その照合結
果に応じて、対象とする物体が特定される。 このように、第１段階では、物体の構成線分を特徴ある
主要モデル線分と照合して、検出物体の位置及び姿勢を
求めているので、演算時間が短縮される。又、第２段階
では、第１段階で選択された検出物体の候補の位置及び
姿勢に基づいて、詳細モデル線分をエツジ画像上に投影
した時の一致の程度で、最終的な検出物体が特定される
。この第２段階の照合は、第１段階で既に選択された候
補だけで実行されることや、既に、その候補の位置や姿
勢が求められていることから、エツジ画像上で詳細モデ
ル線分がどれほど認められるかという簡単な照合となる
ため、その演算時間は短い。 又、エツジ画像は外乱により物体のエツジが途切れるこ
とがないため、確実に上位物体と下位物体とを判別でき
る。
を（１゛り成する構成線分と主要モデル線分との照合が
行われて、一定量以上一致する物体が検出物体の候補と
して選択される。 第２段階では、エツジ画像演算手段により、照明の照射
方向の異なる複数のａ淡側像の微分画像を２値化したエ
ツジ画像が求められ、そのエツジ画像を合成した合成エ
ツジ画像が求められる。このエツジ画像は、異なる方向
から照明して得られる画像の合成であることと、微分画
像を所定の閾値を境に２値化した画像であるため、物体
の輪郭線とは異なり、一定の幅をもっており、輪郭線の
ように外乱により途切れることはない。次に、物体特定
手段により、第１段階で選択された検出物体の全候補の
エツジ画像と詳細モデル線分とが照合され、その照合結
果に応じて、対象とする物体が特定される。 このように、第１段階では、物体の構成線分を特徴ある
主要モデル線分と照合して、検出物体の位置及び姿勢を
求めているので、演算時間が短縮される。又、第２段階
では、第１段階で選択された検出物体の候補の位置及び
姿勢に基づいて、詳細モデル線分をエツジ画像上に投影
した時の一致の程度で、最終的な検出物体が特定される
。この第２段階の照合は、第１段階で既に選択された候
補だけで実行されることや、既に、その候補の位置や姿
勢が求められていることから、エツジ画像上で詳細モデ
ル線分がどれほど認められるかという簡単な照合となる
ため、その演算時間は短い。 又、エツジ画像は外乱により物体のエツジが途切れるこ
とがないため、確実に上位物体と下位物体とを判別でき
る。
以下、本発明を具体的な実施例に基づいて説明する。
第２図において、多くの工作物Ｗがパレ・ノド５上に載
置されており、そのパレット５の上部から工作物Ｗを撮
像するカメラ６が設けられている。 又、工作物Ｗの照明装置として中央上部から工作物Ｗを
一様に照射する第１照明装＠７と、工作物Ｗを左上方か
ら照射する第２照明装置８と、工作物Ｗを右上方から照
射する第３照明装置９とが設けられている。これらの照
明袋！？、８．９は照明制御回路２によって指令された
時に工作物Ｗを照射するように構成されている。 物体認識装置Ａは、照合、判定等のデータ処理を行う中
央処理装置１と、カメラ６により得られた映像信号を処
理して、検出物体の輪郭線を検出して、輪郭線を構成す
る構成線分を抽出し、又、合成エツジ画像を求める等の
データ処理を行う画像処理装置３と、モデルに関するデ
ータや検出物体に関するデータを記や、αする記（、α
装置４と、照明制御回路２とで構成されている。 更に、画像処理装置３は、カメラ６の出力する映像信号
をサンプリングして、濃淡レベルをディジタル化した濃
淡画像データを生成する画像入力装置３１と、その濃淡
画像データから微分演算により明度勾配を求め、物体画
像のエツジを表すエツジ画像データを生成するエツジ検
出装置３２と、そのエツジ画像データから輪郭線を追跡
し、その輪郭線を構成する構成線分を抽出し、その構成
線分の位置に関するデータを生成する線分抽出装置３３
とで構成されている。 又、記憶装置４はＲＡＭ等で構成されており、モデルの
輪郭線の主要部を構成する主要モデル線分の位置に関す
る情報を記憶する主要モデル線分メモリ４１と、主要モ
デル線分に対して所定値以上の照合度を有する構成線分
の組みから求められた検出物体候補の位置及び姿勢に関
するデータを記ｔαする候補データメモリ４２と、モデ
ルの輪郭線の略全体を構成する詳細モデル線分の位置等
に関する情報を記憶する詳細モデル線分メモリ４３と、
詳細モデル線分と選択された検出物体候補に対応する中
央処理装置内のメモリ上のエツジ画像と照合し、その結
果を記憶する認識結果メモリ４４とで構成されている。 次に、物体認識装置Ａの処理手順を示した第３図及び第
４図のフローチャートと、第５図の説明図にしたがって
本装置の作用を説明する。 照明制御回路２により、通常、第１照明装置７が点燈さ
れており、カメラ６で得られた映像信号は画像入力装置
３１に入力している。そして、画像入力装置３１では、
映像信号をサンプリングしてディジタル信号に変換して
濃淡画像が生成されている。その濃淡画像データはエツ
ジ検出装置３２に入力し、微分されてエツジ画像が生成
される。 そのエツジ画像データは線分抽出装置３３に入力し、稜
線を追跡することで物体の輪郭線が抽出され、更に、そ
の輪郭線は折線や円で近似されて第５図（ａ）に示すよ
うな線分画像が得られる。 そして、ステップ１００において、中央処理装置１は、
線分画像から、半径が主要モデル線分の対応する円の半
径に略等しい円や長さが一定値以上の直線から成る構成
線分を抽出し、ステップ１０２で円の中心位置や半径と
直線の両端位置のデータを、それぞれ、中央処理装置内
の構成線分メモリの領域Ａ及び領域Ｂに記憶する。 一方、主要モデル線分メモリ４１には、第５図（ｂ）に
示すような主要モデル線分の要素である円の中心位置や
線分の両端位置の位置データが記憶されている。本実施
例では、主要モデル線分はモデルに形成された穴の輪郭
を示す円Ｃ１と主要綾線の一部を示す直線Ｌｌ、 Ｌ２
． Ｌ３で構成されている。 次に、ステップ１０４へ移行して、構成線分メモリ３４
の領域Ａが空か否かを判定することにより、照合の対象
である構成線分が残存するか否かが判定される。最初の
実行サイクルでは、構成線分の抽出が成功した限りにお
いて、当然、領域Ａは空ではないので、ステップ１０６
へ移行して、中央処理袋￥！ｌｌ内のす、を成線分メモ
リの領域Ａから任意の構成線分である円が１つ選択され
る。 次に、ステップ１０８で、前記構成線分メモリの領域Ｂ
から任意の構成線分である直線が３本選択される。そし
て、ステップ１１０へ移行して、選択された構成線分と
主要モデル線分メモリ４１に記憶されている主要モデル
線分との全ての組合に付いて一致度が演算される。 一数置ρは、抽出された構成線分と主要モデル線分とが
、それらの相対的位置関係を含めて、どれほど一致して
いるかを示すパラメータであり、本実施例では、次式で
求める。 ρ＝Ｅω、・（Δα、・Δβｌ） 但し、ω羞は主要モデル線分に与えられた重みであり、
重みの大きい主要モデル線分と一致すれば、それだけ全
体としての一致度が大きくなる。 ω１は円、ω２〜ω４は直線の重みである。 又、Δα１はｉ番目のモデル線分と照合の対象の構成線
分との一致度を示す。 円の場合には、主要モデル線分の円の半径と略等しい円
が構成線分として既に抽出されているので、Δα＋＝１
．Ｏである。 さ、ｌｅｎｇｔｈ（ｅＪ）は抽出された、ｊ番目の構成
線分ｅＪの長さである。 又、Δβ量は構成線分間の相対的位置関係と主要モデル
線分間の相対的位置関係の一致度を示す。 円の場合には、同様に、Δβ、＝ｉ、ｏである。 又、直線については（１≠１）、 構成線分ｅ、が領域Ｓに存在するとき、Δβｉ＝１．０ 構成線分ｅｌが領域Ｓに一部含まれるとき、Δβｉ＝０
．５ 構成線分ｅ、が領域Ｓに全く含まれないきき、Δβ１−
０ ただし、領域Ｓは次式で定義される。 分ｅ３を片方づつ端点を一致させて対応付けた時に、主
要モデル線分間の相対的位置関係により決定される、主
要モデル線分−の存在可能範囲である。 したがって、領域Ｓは、３つの主要モデル線分と３つの
構成線分のそれぞれの対応関係から決定される存在可能
領域の共通領域である。 このようにして、ステップ１１０で一数置ρが演算され
る。また、主要モデル線分と選択された構成線分の組合
せは、本実施例では円と円とを対応させており、他の３
つの直線の対応関係により６通り存在するが、その各組
合せに関して、−数置が演算され、その内、−数置の最
大の組が、主要モデル線分と対応の可能性のある組合せ
として選択される。 そして、次のステップ１１２でその一数置ρがしきい値
Ｔｈより大きいか否かが判定され、−数置ρがしきい値
Ｔｈより大きい場合には、ステップ１１８において、抽
出された構成線分の１つである円の中心位置から検出物
体の位置が、主要モデル線分のうちの特定な直線に対応
する構成線分の直線の傾きから検出物体の姿勢が演算さ
れ、それらの値は候補データメモリ４２に記憶される。 そして、ステップ１２０において、選択された検出物体
の候補の数は十分か否かが判定され、十分でない場合に
は、ステップ１２２に移行して、抽出された構成線分を
中央処理装置１内の構成線分メモリから消去し、ステッ
プ１０４へ戻り、次の構成線分の抽出が行われる。 一方、ステップ１１２において、−数置ρがしきい値Ｔ
ｈより大きくない場合には、選択された構成線分と主要
モデル線分との対応組は評価済のラベルを付けられて領
域Ｂに戻される。そして、ステップ１１４へ移行して、
中央処理装置１内の構成線分メモリの領域Ｂに記憶され
ている構成線分の中から抽出される他の組合せが存在す
るか否かが判定され、他の組合せが存在する場合には、
ステップ１０８へ移行して、構成線分のうちから３つの
他の直線が抽出され、その全対応組に対して、上記と同
様に一数置ρが演算される。又、抽出される構成線分の
他の組合せが存在しない場合には、ステップ１１６にお
いて、抽出された構成線分の円はモデルに対応した円で
ないとして中央処理装置１内の構成成分メモリの領域Ａ
から削除され、ステップ１０４に戻り、次の他の円が抽
出されて、他の３つの直線が選択され対応組が生成され
、同様にして一致度が演算される。 又、ステップ１２０で選択された検出物体の候補数が十
分であれば、候補の選択を打ち切り、ステップ１２４以
下の処理が実行される。このとき、検出物体の候補は第
５図（Ｃ）に示すように選択されている。 ステップ１２４では第２照明装置８が点燈され、加工物
体Ｗは左上方から照射され、カメラ６から映像信号が入
力され、ステップ１２６において、エツジ検出袋Ｖｆｉ
３２により濃淡画像を微分して２値化したエツジ画像が
中央処理装置内のエツジ画像メモリに記憶される。次に
、ステップ１２８では第３照明装置９が点燈され、加工
物体Ｗは右上方から照射され、カメラ６から映像信号が
入力され、ステップ１３０において、エツジ検出装置３
２により濃淡画像を微分して２値化した右上方照明時の
エツジ画像が得られる。次に、ステップ１３２で、中央
処理装置ｌにより、その右上方照明時のエツジ画像と既
にエツジ画像メモリに記憶されている左上方照明時のエ
ツジ画像との論理和が演算された後、第５図（ｄ）に示
すような合成エツジ画像がエツジ画像メモリに記憶され
る。 次に、ステップ１３４において、候補データメモリ４２
に記憶された１つの検出物体候補の位置及び姿勢データ
が選択される。次に、ステップ１３６において、中央処
理袋ｕｌ内のエツジ画像メモリに記憶されている合成エ
ツジ画像上において、検出物体候補の位置及び姿勢デー
タに基づいて、詳細モデル線分メモリ４３上に記憶され
ている第５図（ｅ）に示すような詳細モデル線分を投影
した時、その詳細モデル線分と合成エツジ画像の選択さ
れた第に番の検出物体候補のエツジとの重なりの画素数
１３が演算される。 但し、Ｂ、は詳細モデル線分ｅ、における重なりの画素
数であり、ｍは詳細モデル線分の数である。 そして、次のステップ１３８で、候補データメモリ４２
に記憶されている全ての検出物体候補について、重なり
画素数の演算が完了していないと判定された場合には、
ステップ１３４へ戻り、その他の検出物体候補について
、重なり画素数が演算される。 そして、選択された全検出物体候補について、重なり画
素数７ｂが演算されると、ステップ１４０でその重なり
画素数γ３の最大な検出物体が最も上にある物体として
ＳＲ識される。 このようにして、不規則に積み重ねられた同一形状をし
た多数の物体の中から最上位にある物体を第５図（ｆ）
に示すように精度良く認識することができる。 又、重なり画素数１５の代わりに、詳細モデル線分ｅｌ
の画素数をＶ、とするとき Ｉｉｌ／ｖｌ≧Ｔ を全詳細モデル線分について満たす検出物体候補の中で
重なり割合の最大値の物体を最上位物体とＫｎｔＡする
ようにしても良い。 但し、Ｔは各詳細モデル線分の重なり割合の許容値であ
る。
置されており、そのパレット５の上部から工作物Ｗを撮
像するカメラ６が設けられている。 又、工作物Ｗの照明装置として中央上部から工作物Ｗを
一様に照射する第１照明装＠７と、工作物Ｗを左上方か
ら照射する第２照明装置８と、工作物Ｗを右上方から照
射する第３照明装置９とが設けられている。これらの照
明袋！？、８．９は照明制御回路２によって指令された
時に工作物Ｗを照射するように構成されている。 物体認識装置Ａは、照合、判定等のデータ処理を行う中
央処理装置１と、カメラ６により得られた映像信号を処
理して、検出物体の輪郭線を検出して、輪郭線を構成す
る構成線分を抽出し、又、合成エツジ画像を求める等の
データ処理を行う画像処理装置３と、モデルに関するデ
ータや検出物体に関するデータを記や、αする記（、α
装置４と、照明制御回路２とで構成されている。 更に、画像処理装置３は、カメラ６の出力する映像信号
をサンプリングして、濃淡レベルをディジタル化した濃
淡画像データを生成する画像入力装置３１と、その濃淡
画像データから微分演算により明度勾配を求め、物体画
像のエツジを表すエツジ画像データを生成するエツジ検
出装置３２と、そのエツジ画像データから輪郭線を追跡
し、その輪郭線を構成する構成線分を抽出し、その構成
線分の位置に関するデータを生成する線分抽出装置３３
とで構成されている。 又、記憶装置４はＲＡＭ等で構成されており、モデルの
輪郭線の主要部を構成する主要モデル線分の位置に関す
る情報を記憶する主要モデル線分メモリ４１と、主要モ
デル線分に対して所定値以上の照合度を有する構成線分
の組みから求められた検出物体候補の位置及び姿勢に関
するデータを記ｔαする候補データメモリ４２と、モデ
ルの輪郭線の略全体を構成する詳細モデル線分の位置等
に関する情報を記憶する詳細モデル線分メモリ４３と、
詳細モデル線分と選択された検出物体候補に対応する中
央処理装置内のメモリ上のエツジ画像と照合し、その結
果を記憶する認識結果メモリ４４とで構成されている。 次に、物体認識装置Ａの処理手順を示した第３図及び第
４図のフローチャートと、第５図の説明図にしたがって
本装置の作用を説明する。 照明制御回路２により、通常、第１照明装置７が点燈さ
れており、カメラ６で得られた映像信号は画像入力装置
３１に入力している。そして、画像入力装置３１では、
映像信号をサンプリングしてディジタル信号に変換して
濃淡画像が生成されている。その濃淡画像データはエツ
ジ検出装置３２に入力し、微分されてエツジ画像が生成
される。 そのエツジ画像データは線分抽出装置３３に入力し、稜
線を追跡することで物体の輪郭線が抽出され、更に、そ
の輪郭線は折線や円で近似されて第５図（ａ）に示すよ
うな線分画像が得られる。 そして、ステップ１００において、中央処理装置１は、
線分画像から、半径が主要モデル線分の対応する円の半
径に略等しい円や長さが一定値以上の直線から成る構成
線分を抽出し、ステップ１０２で円の中心位置や半径と
直線の両端位置のデータを、それぞれ、中央処理装置内
の構成線分メモリの領域Ａ及び領域Ｂに記憶する。 一方、主要モデル線分メモリ４１には、第５図（ｂ）に
示すような主要モデル線分の要素である円の中心位置や
線分の両端位置の位置データが記憶されている。本実施
例では、主要モデル線分はモデルに形成された穴の輪郭
を示す円Ｃ１と主要綾線の一部を示す直線Ｌｌ、 Ｌ２
． Ｌ３で構成されている。 次に、ステップ１０４へ移行して、構成線分メモリ３４
の領域Ａが空か否かを判定することにより、照合の対象
である構成線分が残存するか否かが判定される。最初の
実行サイクルでは、構成線分の抽出が成功した限りにお
いて、当然、領域Ａは空ではないので、ステップ１０６
へ移行して、中央処理袋￥！ｌｌ内のす、を成線分メモ
リの領域Ａから任意の構成線分である円が１つ選択され
る。 次に、ステップ１０８で、前記構成線分メモリの領域Ｂ
から任意の構成線分である直線が３本選択される。そし
て、ステップ１１０へ移行して、選択された構成線分と
主要モデル線分メモリ４１に記憶されている主要モデル
線分との全ての組合に付いて一致度が演算される。 一数置ρは、抽出された構成線分と主要モデル線分とが
、それらの相対的位置関係を含めて、どれほど一致して
いるかを示すパラメータであり、本実施例では、次式で
求める。 ρ＝Ｅω、・（Δα、・Δβｌ） 但し、ω羞は主要モデル線分に与えられた重みであり、
重みの大きい主要モデル線分と一致すれば、それだけ全
体としての一致度が大きくなる。 ω１は円、ω２〜ω４は直線の重みである。 又、Δα１はｉ番目のモデル線分と照合の対象の構成線
分との一致度を示す。 円の場合には、主要モデル線分の円の半径と略等しい円
が構成線分として既に抽出されているので、Δα＋＝１
．Ｏである。 さ、ｌｅｎｇｔｈ（ｅＪ）は抽出された、ｊ番目の構成
線分ｅＪの長さである。 又、Δβ量は構成線分間の相対的位置関係と主要モデル
線分間の相対的位置関係の一致度を示す。 円の場合には、同様に、Δβ、＝ｉ、ｏである。 又、直線については（１≠１）、 構成線分ｅ、が領域Ｓに存在するとき、Δβｉ＝１．０ 構成線分ｅｌが領域Ｓに一部含まれるとき、Δβｉ＝０
．５ 構成線分ｅ、が領域Ｓに全く含まれないきき、Δβ１−
０ ただし、領域Ｓは次式で定義される。 分ｅ３を片方づつ端点を一致させて対応付けた時に、主
要モデル線分間の相対的位置関係により決定される、主
要モデル線分−の存在可能範囲である。 したがって、領域Ｓは、３つの主要モデル線分と３つの
構成線分のそれぞれの対応関係から決定される存在可能
領域の共通領域である。 このようにして、ステップ１１０で一数置ρが演算され
る。また、主要モデル線分と選択された構成線分の組合
せは、本実施例では円と円とを対応させており、他の３
つの直線の対応関係により６通り存在するが、その各組
合せに関して、−数置が演算され、その内、−数置の最
大の組が、主要モデル線分と対応の可能性のある組合せ
として選択される。 そして、次のステップ１１２でその一数置ρがしきい値
Ｔｈより大きいか否かが判定され、−数置ρがしきい値
Ｔｈより大きい場合には、ステップ１１８において、抽
出された構成線分の１つである円の中心位置から検出物
体の位置が、主要モデル線分のうちの特定な直線に対応
する構成線分の直線の傾きから検出物体の姿勢が演算さ
れ、それらの値は候補データメモリ４２に記憶される。 そして、ステップ１２０において、選択された検出物体
の候補の数は十分か否かが判定され、十分でない場合に
は、ステップ１２２に移行して、抽出された構成線分を
中央処理装置１内の構成線分メモリから消去し、ステッ
プ１０４へ戻り、次の構成線分の抽出が行われる。 一方、ステップ１１２において、−数置ρがしきい値Ｔ
ｈより大きくない場合には、選択された構成線分と主要
モデル線分との対応組は評価済のラベルを付けられて領
域Ｂに戻される。そして、ステップ１１４へ移行して、
中央処理装置１内の構成線分メモリの領域Ｂに記憶され
ている構成線分の中から抽出される他の組合せが存在す
るか否かが判定され、他の組合せが存在する場合には、
ステップ１０８へ移行して、構成線分のうちから３つの
他の直線が抽出され、その全対応組に対して、上記と同
様に一数置ρが演算される。又、抽出される構成線分の
他の組合せが存在しない場合には、ステップ１１６にお
いて、抽出された構成線分の円はモデルに対応した円で
ないとして中央処理装置１内の構成成分メモリの領域Ａ
から削除され、ステップ１０４に戻り、次の他の円が抽
出されて、他の３つの直線が選択され対応組が生成され
、同様にして一致度が演算される。 又、ステップ１２０で選択された検出物体の候補数が十
分であれば、候補の選択を打ち切り、ステップ１２４以
下の処理が実行される。このとき、検出物体の候補は第
５図（Ｃ）に示すように選択されている。 ステップ１２４では第２照明装置８が点燈され、加工物
体Ｗは左上方から照射され、カメラ６から映像信号が入
力され、ステップ１２６において、エツジ検出袋Ｖｆｉ
３２により濃淡画像を微分して２値化したエツジ画像が
中央処理装置内のエツジ画像メモリに記憶される。次に
、ステップ１２８では第３照明装置９が点燈され、加工
物体Ｗは右上方から照射され、カメラ６から映像信号が
入力され、ステップ１３０において、エツジ検出装置３
２により濃淡画像を微分して２値化した右上方照明時の
エツジ画像が得られる。次に、ステップ１３２で、中央
処理装置ｌにより、その右上方照明時のエツジ画像と既
にエツジ画像メモリに記憶されている左上方照明時のエ
ツジ画像との論理和が演算された後、第５図（ｄ）に示
すような合成エツジ画像がエツジ画像メモリに記憶され
る。 次に、ステップ１３４において、候補データメモリ４２
に記憶された１つの検出物体候補の位置及び姿勢データ
が選択される。次に、ステップ１３６において、中央処
理袋ｕｌ内のエツジ画像メモリに記憶されている合成エ
ツジ画像上において、検出物体候補の位置及び姿勢デー
タに基づいて、詳細モデル線分メモリ４３上に記憶され
ている第５図（ｅ）に示すような詳細モデル線分を投影
した時、その詳細モデル線分と合成エツジ画像の選択さ
れた第に番の検出物体候補のエツジとの重なりの画素数
１３が演算される。 但し、Ｂ、は詳細モデル線分ｅ、における重なりの画素
数であり、ｍは詳細モデル線分の数である。 そして、次のステップ１３８で、候補データメモリ４２
に記憶されている全ての検出物体候補について、重なり
画素数の演算が完了していないと判定された場合には、
ステップ１３４へ戻り、その他の検出物体候補について
、重なり画素数が演算される。 そして、選択された全検出物体候補について、重なり画
素数７ｂが演算されると、ステップ１４０でその重なり
画素数γ３の最大な検出物体が最も上にある物体として
ＳＲ識される。 このようにして、不規則に積み重ねられた同一形状をし
た多数の物体の中から最上位にある物体を第５図（ｆ）
に示すように精度良く認識することができる。 又、重なり画素数１５の代わりに、詳細モデル線分ｅｌ
の画素数をＶ、とするとき Ｉｉｌ／ｖｌ≧Ｔ を全詳細モデル線分について満たす検出物体候補の中で
重なり割合の最大値の物体を最上位物体とＫｎｔＡする
ようにしても良い。 但し、Ｔは各詳細モデル線分の重なり割合の許容値であ
る。
本発明は、検出物体の構成線分と主要モデル線分とを照
合し、その照合結果に応じて検出物体の候補を選択する
候補選択手段と、照明の照射方向の異なる複数の濃淡画
像の微分画像を２値化して合成した合成エツジ画像を求
めるエツジ画像演算手段と、合成エツジ画像上において
、候補選択手段により選択された検出物体のエツジ画像
と、詳細モデル線分とを照合し、その照合結果に応じて
検出物体を特定する物体特定手段とを有しているので、
候補選択時間が短縮されること、詳細モデル線分との照
合方法が簡単となり照合時間が短縮されること、外乱で
は途切れることのないエツジ画像を用いて照合している
ので、上位物体と下位物体の認識精度が高くなること等
のＷＩ著な効果を有する。
合し、その照合結果に応じて検出物体の候補を選択する
候補選択手段と、照明の照射方向の異なる複数の濃淡画
像の微分画像を２値化して合成した合成エツジ画像を求
めるエツジ画像演算手段と、合成エツジ画像上において
、候補選択手段により選択された検出物体のエツジ画像
と、詳細モデル線分とを照合し、その照合結果に応じて
検出物体を特定する物体特定手段とを有しているので、
候補選択時間が短縮されること、詳細モデル線分との照
合方法が簡単となり照合時間が短縮されること、外乱で
は途切れることのないエツジ画像を用いて照合している
ので、上位物体と下位物体の認識精度が高くなること等
のＷＩ著な効果を有する。
第１図は本発明の概略を示したブロックダイヤグラム、
第２図は本発明の具体的な一実施例に係る物体認識装置
の構成を示したブロックダイヤグラム、第３図、第４図
は同装置の作用を示したフローチャート、第５図はデー
タ処理を示した説明図である。 １ 中央処理装置 ２ 照明制御回路 ３・画像処理装置 ４ 記ｔα装置 ６−カメラ ７ 第１照明装置 ８ 第２照明装置 ９ 第３ ！！＠明装置特許出願人
日本電装株式会社 代 理 人 弁理士 藤谷 修 第 図
第２図は本発明の具体的な一実施例に係る物体認識装置
の構成を示したブロックダイヤグラム、第３図、第４図
は同装置の作用を示したフローチャート、第５図はデー
タ処理を示した説明図である。 １ 中央処理装置 ２ 照明制御回路 ３・画像処理装置 ４ 記ｔα装置 ６−カメラ ７ 第１照明装置 ８ 第２照明装置 ９ 第３ ！！＠明装置特許出願人
日本電装株式会社 代 理 人 弁理士 藤谷 修 第 図
Claims (1)
- 【特許請求の範囲】 ２次元画像から検出物体の輪郭線を求め、その輪郭線か
ら輪郭線を構成する複数の構成線分を抽出し、その構成
線分と照合の対象となるモデルの輪郭線を構成するモデ
ル線分とを照合し、その一致の程度から物体を認識する
物体認識装置において、 前記モデルの輪郭線の主要部を構成する主要モデル線分
の位置等に関する情報を記憶した主要モデル線分記憶手
段と、 前記モデルの輪郭線の略全体を構成する詳細モデル線分
の位置等に関する情報を記憶した詳細モデル線分記憶手
段と、 前記検出物体の構成線分と前記主要モデル線分記憶手段
に記憶された主要モデル線分とを照合し、その照合結果
に応じて検出物体の位置及び姿勢を求めて検出物体の候
補を選択する候補選択手段と、照明の照射方向の異なる
複数の濃淡画像の微分画像を２値化したエッジ画像を求
め、それらのエッジ画像を合成して合成エッジ画像を求
めるエッジ画像演算手段と、 前記合成エッジ画像上において、前記候補選択手段によ
り選択された検出物体の位置及び姿勢に基づいて、前記
詳細モデル線分記憶手段に記憶されている詳細モデル線
分と検出物体のエッジ画像とを照合し、その照合結果に
応じて検出物体を特定する物体特定手段と を有することを特徴とする物体認識装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1009430A JP2861014B2 (ja) | 1989-01-18 | 1989-01-18 | 物体認識装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1009430A JP2861014B2 (ja) | 1989-01-18 | 1989-01-18 | 物体認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02189691A true JPH02189691A (ja) | 1990-07-25 |
| JP2861014B2 JP2861014B2 (ja) | 1999-02-24 |
Family
ID=11720118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1009430A Expired - Fee Related JP2861014B2 (ja) | 1989-01-18 | 1989-01-18 | 物体認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2861014B2 (ja) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003086996A (ja) * | 2001-09-14 | 2003-03-20 | Fuji Mach Mfg Co Ltd | 基準マーク検索方法および装置 |
| JP2007316966A (ja) * | 2006-05-26 | 2007-12-06 | Fujitsu Ltd | 移動ロボット、その制御方法及びプログラム |
| JP2009115783A (ja) * | 2007-11-07 | 2009-05-28 | Mitsubishi Electric Research Laboratories Inc | シーン内の物体の３ｄ姿勢を求める方法及びシステム |
| JP2009295116A (ja) * | 2008-06-09 | 2009-12-17 | Ihi Corp | 物体認識装置および方法 |
| JP2010184308A (ja) * | 2009-02-10 | 2010-08-26 | Fanuc Ltd | ワーク取り出し装置 |
| JP2011138490A (ja) * | 2009-12-28 | 2011-07-14 | Mitsubishi Electric Research Laboratories Inc | シーンにおける物体の姿勢を求めるための方法 |
| US8041105B2 (en) | 2006-08-30 | 2011-10-18 | Kabushiki Kaisha Toshiba | Pattern evaluation method, computer-readable medium, and semiconductor device manufacturing method |
| JP2012026767A (ja) * | 2010-07-20 | 2012-02-09 | Sumitomo Metal Ind Ltd | エッジ検出方法及び検出システム、帯材の走行状況測定方法及び測定システム、帯材の走行制御方法及び制御システム、並びに、帯材の製造方法及び製造システム |
| JP2017075915A (ja) * | 2015-10-16 | 2017-04-20 | 日本電気硝子株式会社 | 物体の位置認識方法 |
-
1989
- 1989-01-18 JP JP1009430A patent/JP2861014B2/ja not_active Expired - Fee Related
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003086996A (ja) * | 2001-09-14 | 2003-03-20 | Fuji Mach Mfg Co Ltd | 基準マーク検索方法および装置 |
| JP2007316966A (ja) * | 2006-05-26 | 2007-12-06 | Fujitsu Ltd | 移動ロボット、その制御方法及びプログラム |
| US8041105B2 (en) | 2006-08-30 | 2011-10-18 | Kabushiki Kaisha Toshiba | Pattern evaluation method, computer-readable medium, and semiconductor device manufacturing method |
| JP2009115783A (ja) * | 2007-11-07 | 2009-05-28 | Mitsubishi Electric Research Laboratories Inc | シーン内の物体の３ｄ姿勢を求める方法及びシステム |
| JP2009295116A (ja) * | 2008-06-09 | 2009-12-17 | Ihi Corp | 物体認識装置および方法 |
| JP2010184308A (ja) * | 2009-02-10 | 2010-08-26 | Fanuc Ltd | ワーク取り出し装置 |
| JP2011138490A (ja) * | 2009-12-28 | 2011-07-14 | Mitsubishi Electric Research Laboratories Inc | シーンにおける物体の姿勢を求めるための方法 |
| JP2012026767A (ja) * | 2010-07-20 | 2012-02-09 | Sumitomo Metal Ind Ltd | エッジ検出方法及び検出システム、帯材の走行状況測定方法及び測定システム、帯材の走行制御方法及び制御システム、並びに、帯材の製造方法及び製造システム |
| JP2017075915A (ja) * | 2015-10-16 | 2017-04-20 | 日本電気硝子株式会社 | 物体の位置認識方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2861014B2 (ja) | 1999-02-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11685598B2 (en) | Refuse collection system | |
| CN113877836B (zh) | 一种基于视觉检测系统的智能识别分拣系统 | |
| JPH01196501A (ja) | ロボットの物体認識装置 | |
| CN112734750B (zh) | 罐盖视觉检测与定位方法及系统、介质、装置 | |
| JP2555822B2 (ja) | 山積み部品の高速ピッキング装置 | |
| RU2731052C1 (ru) | Роботизированный автоматический комплекс по сортировке твёрдых коммунальных отходов на основе нейронных сетей | |
| JPH02189691A (ja) | 物体認識装置 | |
| JP3225740B2 (ja) | 山積み部品の高速ピッキング装置 | |
| JP2555824B2 (ja) | 山積み部品の高速ピッキング装置 | |
| JP2679490B2 (ja) | 山積み部品の高速ピッキング装置 | |
| Li et al. | Autofeeding system for assembling the CBCs on automobile engine based on 3-D vision guidance | |
| JPH10105873A (ja) | 車両のナンバプレート認識装置 | |
| JPH0739827A (ja) | 多種類物品の識別方法 | |
| JP2555823B2 (ja) | 山積み部品の高速ピッキング装置 | |
| KR102780752B1 (ko) | 객체 검출 모델 학습 시스템, 방법 및 컴퓨터 프로그램 | |
| CN112348772A (zh) | 一种基于深度学习的工业视觉检测方法 | |
| Dirr et al. | Evaluation metric for instance segmentation in robotic grasping of deformable linear objects | |
| JPH07121713A (ja) | パターン認識方法 | |
| CN117876414A (zh) | 基于多目标识别的车辆轨迹追踪方法及系统 | |
| CN117853793A (zh) | 用于流水线的瓶子自动分类系统及方法 | |
| CN118279652A (zh) | 基于图像颜色识别和深度学习相结合的玻璃分选方法和装置 | |
| Guo et al. | Real-time detection and classification of machine parts with embedded system for industrial robot grasping | |
| Jørgensen et al. | Detecting danger labels with RAM-based neural networks | |
| CN120228060B (zh) | 一种结合智能识别的回收再利用资源自动分拣方法及系统 | |
| CN109492685B (zh) | 一种用于对称特征的目标物体视觉检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |