JPH09212643A - 三次元物体認識方法及びその装置 - Google Patents

三次元物体認識方法及びその装置

Info

Publication number
JPH09212643A
JPH09212643A JP8018613A JP1861396A JPH09212643A JP H09212643 A JPH09212643 A JP H09212643A JP 8018613 A JP8018613 A JP 8018613A JP 1861396 A JP1861396 A JP 1861396A JP H09212643 A JPH09212643 A JP H09212643A
Authority
JP
Japan
Prior art keywords
feature
data
dimensional
matching
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8018613A
Other languages
English (en)
Inventor
Nobuyuki Fujiwara
伸行 藤原
Koji Igura
浩司 井倉
Makoto Niwakawa
誠 庭川
Toshikazu Onda
寿和 恩田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Original Assignee
Meidensha Corp
Meidensha Electric Manufacturing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meidensha Corp, Meidensha Electric Manufacturing Co Ltd filed Critical Meidensha Corp
Priority to JP8018613A priority Critical patent/JPH09212643A/ja
Publication of JPH09212643A publication Critical patent/JPH09212643A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 対象物体が三次元空間内で、どの様な位置姿
勢にあるかをモデルベーストマッチング法を用いて効率
良く認識し得る三次元物体認識方法を提供することを目
的とする。 【解決手段】 入力画像から得られる対象物体の輪郭，
凹凸，模様といった特徴を直線，円弧等で近似した特徴
データを用いてマッチングすることで三次元位置姿勢を
得る場合において、マッチングに用いるモデルの特徴デ
ータもモデル作製時に画像から抽出した特徴データを用
いるとともに、特徴データはステレオ計測等で得られた
三次元位置データを持つものとし、さらに対象物体の三
次元位置姿勢を求めるために必要な３点を形成できる特
徴グループを用いてマッチングを取るようにしたもので
ある。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は三次元物体認識方法
及びその装置に関し、特にモデルベーストマッチング法
による三次元物体認識に適用して有用なものである。
【０００２】
【従来の技術】ロボットに三次元物体を取扱う作業を自
立的に行わせるには、このロボットに目を持たせる必要
がある。例えば、このようにロボットに目を持たせよう
とする場合に、周囲の三次元世界、特に対象物体の三次
元位置姿勢を認識させる必要があり、かかる用途に供す
べく種々の三次元物体認識方法が提案されている。
【０００３】この一種としてＣＡＤモデルを利用したも
のがある。これは、ＣＡＤモデルを異なった複数の方向
から見た二次元データである見掛けの形状データを記憶
しておき、この形状データと、同じく二次元データであ
る画像入力データとのマッチングをとるというものであ
る。
【０００４】このため、見掛けの形状データを逐次作り
乍らマッチングさせるか、若しくは最初に見掛けの形状
データをマッチングに必要なだけ作っておいてマッチン
グをさせることになる。
【０００５】
【発明が解決しようとする課題】上述の如きＣＡＤモデ
ルを利用した三次元認識手段においては認識に時間がか
かり、また形状データを保存しておく場合には、モデル
のデータを持っておくだけで大きなメモリ容量を必要と
する。
【０００６】また、ＣＡＤモデルは非常に精密な形状を
持つモデルであるが、実際にカメラから得られるデータ
は撮影状態が良好な場合であっても、レンズの歪み、Ｃ
ＣＤ素子の出力誤差、Ａ／Ｄ変換のズレ、ドットパター
ンによる出力等で精密な形状データを得るのは難かし
い。このため、ＣＡＤモデルの持つ形状データと、カメ
ラの入力画像から得た形状データとの間にはどうしても
ズレが生じ、両者を一致させることは難かしい。
【０００７】このようなズレの防止対策としてレーザー
を使って距離画像を作製し、正確な距離入力データを得
る方式も提案されているが、この場合には、画像入力手
段として汎用されているＣＣＤカメラでなく、レーザー
を使用した特別なハードウェアを構築する必要があるた
め、汎用性に乏しく実用的でない。
【０００８】本発明は、上記従来技術に鑑み、対象物体
が三次元空間内で、どの様な位置姿勢にあるかをモデル
ベーストマッチング法を用いて効率良く認識し得る三次
元物体認識方法及びその装置を提供することを目的とす
る。
【０００９】
【課題を解決するための手段】上記目的を達成する本発
明の構成は、次の点を特徴とする。 １） 入力画像から得られる対象物体の輪郭，凹凸，模
様等の特徴を直線，円弧等で近似したデータであるとと
もにステレオ計測等で得た三次元位置データを有する特
徴データと、対象物体のモデルの三次元位置データを有
する特徴データとのマッチングをとることで対象物体の
三次元位置姿勢を得る三次元物体認識方法において、三
次元位置姿勢を計算するために必要な３点を形成できる
特徴のグループである特徴グループを用いて対象物体の
特徴データとモデルの特徴データとのマッチングをとる
こと。
【００１０】２） １）において、特徴グループの二次
元マッチングを行い、次に特徴グループの対応点から三
次元位置姿勢を計算し、最終的に対象物体の三次元位置
姿勢を検出すること。
【００１１】３） 入力画像から得られる対象物体の輪
郭，凹凸，模様等の特徴を直線，円弧等で近似したデー
タであるとともにステレオ計測等で得た三次元位置デー
タを有する特徴データと、対象物体のモデルの三次元位
置データを有する特徴データとのマッチングをとること
で対象物体の三次元位置姿勢を得る三次元物体認識方法
において、三次元位置姿勢を計算するために必要な３点
を形成できる特徴のグループである特徴グループを用い
てこの特徴グループによる二次元マッチングを行なった
後、マッチした各特徴グループの三次元データに基づき
二次元マッチングによりマッチした結果が三次元的にあ
り得るか否かを判断し、対象物体の特徴データとモデル
の特徴データとのマッチングをとること。
【００１２】４） 入力画像から得られる対象物体の輪
郭，凹凸，模様等の特徴を直線，円弧等で近似したデー
タであるとともにステレオ計測等で得た三次元位置デー
タを有する特徴データと、対象物体のモデルの三次元位
置データを有する特徴データとのマッチングをとること
で対象物体の三次元位置姿勢を得る三次元物体認識方法
において、三次元位置姿勢を計算するために必要な３点
を形成できる特徴のグループであって特徴として直線を
含む特徴グループを用い、さらに直線上の適当な位置に
ある点を任意に決定するとともにこの任意に決定した点
と一意に決定できる点との三次元的な距離を計算し、こ
の距離を基に各点を対応させて対象物体の特徴データと
モデルの特徴データとのマッチングをとること。
【００１３】５） 入力画像から得られる対象物体の輪
郭，凹凸，模様等の特徴を直線，円等で近似したデータ
であるとともにステレオ計測等で得た三次元位置データ
を有する特徴データと、対象物体のモデルの三次元位置
データを有する特徴データとのマッチングをとることで
対象物体の三次元位置姿勢を得る三次元物体認識方法に
おいて、三次元位置姿勢を計算するために必要な３点を
形成できる特徴のグループである特徴グループを用いて
この特徴グループによる二次元マッチングを行なった
後、マッチした各特徴グループの三次元データに基づき
二次元マッチングによりマッチした結果が三次元的にあ
り得るか否かを判断し、さらに直線上の適当な位置にあ
る点を任意に決定するとともにこの任意に決定した点と
一意に決定できる点との三次元的な距離を計算し、この
距離を基に各点を対応させ、対象物体の特徴データとモ
デルの特徴データとのマッチングをとること。
【００１４】６） モデルとする対象物体を撮像手段で
撮影して得る入力画像から得られるこの対象物体の輪
郭，凹凸，模様等の特徴を直線，円弧等で近似したデー
タであるとともにステレオ計測等で得た三次元位置デー
タを有する特徴データを抽出する第１の特徴抽出手段
と、特徴抽出手段で抽出した特徴データの中からマッチ
ングに使用する特徴を選択するとともに三次元位置姿勢
計算に必要な３点を形成できる特徴データの組である特
徴グループを選択し得るように形成したモデル作製手段
と、モデル作製手段で形成した特徴グループの情報を他
の特徴の情報とともに記憶しておくモデルメモリと、認
識する対象物体を撮像手段で撮影して得る入力画像から
得られるモデル物体の場合と同様の特徴データを抽出す
る第２の特徴抽出手段と、モデルメモリに記憶されてい
る特徴グループのデータと第２の特徴抽出手段の出力デ
ータとを比較し、両者のマッチングをとる対応付け手段
と、マッチングデータに基づき三次元位置姿勢を検出す
る三次元位置姿勢計算手段とを有すること。
【００１５】７） ６）において、対応付け手段は、モ
デルメモリに記憶されている特徴グループのデータと第
２の特徴抽出器の出力データとを比較し、両者の二次元
マッチングを行うように構成したこと。
【００１６】８） ６）において、モデル作製手段は特
徴抽出手段で抽出した特徴データの中からマッチングに
使用する特徴を選択するとともに三次元位置姿勢計算に
必要な３点を形成できる特徴データの組である特徴グル
ープを選択し得るように形成するとともに３点の位置デ
ータが三次元的にあり得るか否かの判断に用いる３Ｄプ
ロパティを選択し得るように形成し、モデルメモリはモ
デル作製手段で形成した特徴グループ及び３Ｄプロパテ
ィの情報を他の特徴の情報とともに記憶するように形成
し、対応付け手段はモデルメモリに記憶されている特徴
グループのデータと第２の特徴抽出器の出力データとを
比較し、両者の二次元マッチングをとるとともに、その
マッチング結果について３Ｄプロパティを用いたマッチ
ングをとるように構成したこと。
【００１７】９） ６）対応付け手段はモデルメモリに
記憶されている特徴グループのデータと第２の特徴抽出
手段の出力データとを比較するとともに、この比較の際
に特徴として直線を含む特徴グループを用い、さらに直
線上の適当な位置にある点を任意に決定するとともに、
この任意に決定した点と一意に決定できる点との三次元
的な距離を計算し、この距離を基に各点を対応させてマ
ッチングをとるように構成したこと。
【００１８】１０） ８）において、対応付け手段はモ
デルメモリに記憶されている特徴グループのデータと第
２の特徴抽出手段の出力データとを比較するとともに、
この比較の際に特徴として直線を含む特徴グループを用
い、さらに直線上の適当な位置にある点を任意に決定す
るとともに、この任意に決定した点と一意に決定できる
点との三次元的な距離を計算し、この距離を基に各点を
対応させる機能も、３Ｄプロパティを用いるマッチング
機能とともに有するように構成したこと。
【００１９】
【発明の実施の形態】以下本発明の実施の形態を図面に
基づき詳細に説明する。
【００２０】本発明の各実施の形態においては、基本的
にモデルベーストマッチング法を用い、入力画像から得
られる物体の輪郭，凹凸，模様等といった特徴を直線，
円弧等で近似した特徴データを用いてマッチングするこ
とで三次元位置姿勢を得る手法を採る。このとき、マッ
チングに用いるモデルの特徴データもモデル作製時に画
像から抽出した特徴データを用いる。またモデル作製時
の画像及び入力画像より抽出する各特徴データはステレ
オ計測等で得られた三次元位置情報を持つものとする。
【００２１】＜第１の実施の形態＞本形態の基本的な考
え方は次の通りである。すなわち、対象物体の三次元位
置姿勢を求めるためにはモデル上のある３点に対応する
対象物体上の３点が分かれば良い。所定の３点が特定さ
れれば、一つの平面が三次元空間内で一意に定まるから
である。
【００２２】そこで、本形態では、対応点の候補となる
３点を形成できる特徴のグループ（以下特徴グループと
称す）を用いてマッチングを取ることにする。
【００２３】次に、図１に示すフローチャートに基づき
本形態に係る処理手順を説明する。 １） 対象物体の画像を入力する（ステップＳ1 ）。 ２） 対象物体の輪郭，凹凸，模様を直線，円，角の特
徴として抽出して特徴データを作製する（ステップ
Ｓ2 ）。これらの特徴データは三次元データである。 ３） 対象物体のモデルは予め特徴データから作製して
おき、同時にモデルを構成する特徴データの中から、三
次元位置姿勢計算に必要な３点を形成できる特徴データ
の組を選択し、特徴グループとして登録しておく（ステ
ップＳ3 ）この作業はオペレータが行なう。 ４） 特徴グループの二次元特徴マッチングを行う（ス
テップＳ4 ）。 ５） マッチした特徴グループの対応点３点の組を基に
対象物体の三次元位置姿勢を計算する（ステップ
Ｓ5 ）。 ６） 対象物体の三次元位置姿勢を得る（ステップ
Ｓ6 ）。
【００２４】上述の如く、本形態では、特徴グループに
加える特徴データとして直線，円，角を用いる。これら
の特徴データを図２に示す。図２（ａ）は直線、図２
（ｂ）は円、図２（ｃ）は角をそれぞれ示し、図中の点
Ａ1 ，Ａ2 ，Ａ3 ，Ａ4 は、モデルの特徴データと入力
画像から得た特徴データとの基本的な対応点を示す。各
特徴の三次元変換のために用いる対応点は基本的に直線
の両端の点Ａ1 ，Ａ2 、円の中心点Ａ角の角の点Ａ4 と
する。
【００２５】これらの点Ａ1 〜Ａ4 を用いる特徴グルー
プは種々考えられるが、次の何れかであれば所定の三次
元位置姿勢変化を計算することができる。
【００２６】１） ２つの直線を用いて二次元マッチン
グを行い、１つの直線の両端の点Ａ 5 ，Ａ6 ともう一方
の直線の始めの直線から遠い方の一つの端点Ａ7 を用い
て三次元位置姿勢変化を計算する（図３参照）。 ２） ２つの直線を用いて二次元マッチングを行い、２
つの直線の共通の垂線と直線との交点の中間点Ａ8 と中
間点Ａ8 より離れた位置にある２つの直線上の端点
Ａ9 ，Ａ10を用いて三次元位置姿勢変化を計算する（図
４参照）。 ３） １つの直線と１つの円を用いて二次元マッチング
を行い、直線の両端の点Ａ11，Ａ12と円の中心点Ａ13を
用いて三次元位置姿勢変化を計算する（図５参照）。 ４） １つの直線と１つの角を用いて二次元マッチング
を行い、直線の両端の点Ａ14，Ａ15と角の点Ａ16を用い
て三次元位置姿勢変化を計算する（図６参照）。 ５） ３つの円を用いて二次元マッチングを行い、円の
中心点Ａ17，Ａ18，Ａ 19を用いて三次元位置姿勢変化を
計算する（図７参照）。 ６） ２つの円と１つの角を用いて二次元マッチングを
行い、２つの円の中心点Ａ20，Ａ21と角の点Ａ22を用い
て三次元位置姿勢変化を計算する（図８参照）。 ７） ３つの角を用いて二次元マッチングを行い、角の
点Ａ23，Ａ24，Ａ25を用いて三次元位置姿勢変化を計算
する（図９参照）。 ８） ２つの角と１つの円を用いて二次元マッチングを
行い、２つの角の点Ａ 26，Ａ27と円の中心点Ａ28を用い
て三次元位置姿勢変化を計算する（図１０参照）。
【００２７】＜第２の実施の形態＞本形態は第１の実施
の形態に係る三次元物体認識方法を実現する装置であ
り、図１１はそのブロック線図を示す。
【００２８】同図に示すように、カメラ１は認識する対
象物体と同一形状のモデルとする対象物体（図示せず）
を撮影し、モデル画像処理部２を介してその画像データ
を特徴抽出器３に供給する。特徴抽出器３は供給された
画像データに基づき、これを構成する直線，円，角を数
値化した特徴要素を抽出する。したがって、特徴抽出器
３が出力する特徴データは直線特徴，円特徴，角特徴を
表わすものであり、何れもステレオ計測等で得られた三
次元位置データを有する。
【００２９】モデル作製器４はオペレータの操作によ
り、特徴抽出器３で抽出した特徴データの中からマッチ
ングに使用する直線，円，角のそれぞれの特徴を選択す
るとともに、三次元位置姿勢計算に必要な３点を形成で
きる特徴データの組である特徴グループを選択し、これ
らをモデルメモリ５に記憶しておく。
【００３０】カメラ６は対象物体を撮影し、画像処理部
７を介してその画像データを特徴抽出器８に供給する。
特徴抽出器８は供給された画像データに基づき、これを
構成する直線，円，角を数値化した特徴要素を抽出す
る。すなわち、カメラ６、画像処理部７及び特徴抽出器
８は、それぞれカメラ１、モデル画像処理部２及び特徴
抽出器３に対応しており、同一機能を有する。したがっ
て、特徴抽出器８が出力する特徴データも直線特徴，円
特徴，角特徴を表わすものであり、何れもステレオ計測
等で得られた三次元位置データを有する。
【００３１】対応付け器９はモデルメモリ５に記憶され
ている特徴グループのデータと特徴抽出器８の出力デー
タとを比較し、両者のマッチングをとる。このマッチン
グ操作によりマッチした特徴グループの対応点３点の組
を基に三次元位置計算器（図示せず）で三次元位置姿勢
を計算する。
【００３２】＜第３の実施の形態＞第１の実施の形態で
はマッチングの効率を上げるため、モデルに登録された
特徴の全てを用いるのではなく、三次元位置姿勢を決定
するために最小限度必要とされる特徴グループを用いて
マッチングを行なうため、マッチした候補が多数出現す
る可能性がある。この場合には、次の処理である三次元
位置姿勢変化を計算する回数が増えるため処理時間が長
くなる。
【００３３】また、特徴グループとしての二次元的なマ
ッチング結果が正しくても、二次元的に特徴グループと
似通っているが実際は異なった特徴へマッチしているた
め結果的に得られる特徴グループの三次元的な位置関係
が大きく外れている場合があり、この場合には認識ミス
を生起することがある。ちなみに、この現象は特に対象
物体自身が汚れていたり煩雑な背景になっていたりして
いて入力画像にノイズが多く含まれ、特徴グループの含
む特徴に似通った“ノイズによる特徴”が存在する時顕
著である。
【００３４】さらに、ステレオ計測による各特徴の高さ
データの計測ミスによって二次元特徴マッチングは正常
に行える特徴であっても三次元位置姿勢変化を計算する
には適当でないデータを持つ特徴が存在する可能性があ
り、この場合には正しい三次元位置姿勢変化を計算でき
ない場合がある。
【００３５】本形態は上述の如き問題点も併せて解消す
るものであり、その基本的な考え方は次の通りである。
すなわち、第１の実施の形態において三次元位置姿勢を
計算する前に、特徴グループの二次元マッチングの結
果、対応点として選ばれた３点の三次元データを基に、
マッチした結果が三次元的にあり得るかどうかを判断す
る。
【００３６】このとき、入力画像からの特徴データは既
に三次元データを持っているので、それらのデータも判
断の基準に加える。すなわち、二次元マッチングに用い
たＸ軸及びＹ軸の二次元データに加え、二次元マッチン
グの際には使用しなかったＺ軸データも加えて判断の基
準とする。
【００３７】このように、三次元的にあり得るかどうか
の判断に用いる三次元データを以下「３Ｄプロパティ」
と呼ぶ。
【００３８】具体的な３Ｄプロパティとしては次の様な
ものが考えられる。 １） 対応点による基本的な３Ｄプロパティ 三次元位置姿勢変化の計算に用いる３点から次の３Ｄプ
ロパティが得られる（図１２参照）。 ｉ） ３点の三次元位置。 ii） ３点の内、２点の組から作られる直線の三次元的
な長さＬ1 ，Ｌ2 。 iii） ２点の組から作られる直線と鉛直線（Ｚ軸）の
なす角度ａ，ｂ。 iv） ２点の組から作られる直線の組のなす角度ｃ。
【００３９】２） ２直線の組からなる特徴グループに
関する３Ｄプロパティ 二次元マッチングに用いた特徴グループが２直線の組で
あった場合（平行な２直線を除く）、上記１）の基本的
な３Ｄプロパティに加えて次の３Ｄプロパティが得られ
る（図１３参照）。 ｉ） 直線の三次元的な長さＬ3 ，Ｌ4 。 ii） 直線を水平面上へ投影した時の交点の位置に関す
る垂直距離ｄ1 。 iii） 直線を水平面上へ投影した時の交点に近い方の
端点間の距離ｄ2 。 iv） 各直線と鉛直線（Ｚ軸）のなす角度ｅ，ｆ。
【００４０】上述の如き３Ｄプロパティを用いた判断で
は次の条件を調べ、これらのうちの１つ又は２つ以上の
組合せが充足されているか否かを基準に判断する。 １） 入力画像から得た対応点の位置関係がモデルデー
タのもつデータと比べて許容範囲内に存在するかどう
か。すなわち、Ｘ軸，Ｙ軸に関するデータは合っていて
も、Ｚ軸に関するデータが許容範囲に入っているか否
か。 ２） 入力画像から得た対応点の組が作る直線の鉛直線
に対する傾きがモデルデータのもつデータと比べて許容
範囲内に存在するかどうか。 ３） 入力画像から得た対応点の組が作る２直線のなす
角がモデルデータのもつデータと比べて許容範囲内に存
在するかどうか。
【００４１】このようにして二次元特徴マッチングの結
果の中から３Ｄプロパティによる判断に合格したものの
みについて三次元姿勢変化を計算する。すなわち、本形
態における処理手順は図１４に示すフローチャートで表
わされる。
【００４２】同図に示すように、先ず特徴グループを用
いた二次元特徴マッチングを行なう（ステップＳ11）。
この処理は前記第１の実施の形態のものと同様である。
【００４３】次に、３Ｄプロパティによる特徴グループ
の検査を行ない（ステップＳ12）、候補を絞った上で三
次元位置姿勢変化の計算を行なう（ステップＳ13）。
【００４４】＜第４の実施の形態＞本形態は第３の実施
の形態に係る三次元物体認識方法を実現する装置であ
り、図１５はそのブロック線図である。本形態は第２の
形態に３Ｄプロパティを用いたマッチング機能を追加し
たものである。そこで、図１１と同一部分に同一番号を
付し重複する説明は省略する。
【００４５】モデル作製器１４は、図１１のモデル作製
器４の機能に加え３Ｄプロパティに関する情報をモデル
メモリ１５に送出する機能も有する。この３Ｄプロパテ
ィに関する情報は、前述の図１２及び図１３に示すもの
の全部若しくは一部をオペレータの操作により選択す
る。かくしてモデルメモリ１５には、モデルメモリ５の
記憶内容に加え３Ｄプロパティに関連する情報も記憶さ
れる。
【００４６】対応付け器１９は、対応付け器９と同様の
二次元マッチングを行ない、この結果マッチするとして
選択された位置データの３Ｄプロパティを加味したマッ
チング、すなわち第３の形態において説明した３Ｄプロ
パティを加味したマッチングを行なう。このマッチング
操作によりマッチした特徴グループの対応点、３点の組
を基に三次元位置計算器（図示せず）で三次元位置姿勢
を計算する。
【００４７】＜第５の実施の形態＞第１の実施の形態で
は三次元位置姿勢変化を計算するため、モデルデータの
特徴グループの３点と二次元特徴マッチングによってマ
ッチした特徴グループの３点を対応させる必要がある。
【００４８】一方、工業製品は、一般に、直線部分を多
く持つため、特徴グループを作製する特徴としては直線
特徴が特に重要な特徴となる場合が多い。このため、直
線特徴の対応点である直線の両端の三次元位置データは
重要な対応点データである。
【００４９】ところが、対象物体自身が汚れていた場
合、煩雑な背景になっていた場合等、入力画像にノイズ
が多く含まれるようなときは画像から適当な直線の三次
元位置データを得ることが困難な場合があり、このまま
では正式なデータとして直線特徴を利用し得ない事態を
招来する虞もある。
【００５０】本形態は、上述の如き問題点も併せて解消
すべく直線特徴に関するデータの作製機能をも有するも
のであり、その基本的な考え方は次の通りである。すな
わち、第１の実施の形態において三次元位置姿勢を計算
する前に、直線の端点のデータを得ることが困難な場合
があることを勘案し、直線上の適当な位置にある点を任
意に決定して対応させる。この対応処理は全てのマッチ
ングデータに関して行なう。マッチングデータの中に
は、不正確な直線データを持つものであっても、所定の
許容範囲内に収まっていればマッチングデータとして抽
出されるからである。
【００５１】三次元位置姿勢を計算する際の直線特徴の
対応する両端点を決定する方法として、マッチした直線
特徴上の一意に決まる基準点を特徴グループから設定
し、基準点から直線両端点までの距離を計算する。同様
にモデルの直線特徴上にも基準点を設定し、その基準点
からマッチした直線特徴で計算した距離にあるモデルの
直線特徴上の点を新たにモデル直線特徴における対応す
る両端点として設定する。
【００５２】こごで、三次元的な距離とは、図１６，図
１７，図１８に示す場合の何れでも良い。
【００５３】図１６は、２つの直線に共通な垂線と直線
との交点を基準点とし、基準点からマッチした直線の両
端点までの三次元的な距離を計算し、その距離を基に各
点を対応させるものである。
【００５４】図１７は、円の中心点から直線へ垂線を降
ろし、直線と垂線の交点を基準点とし、この基準点から
マッチした直線の両端点までの三次元的な距離を計算
し、その距離を基に各点を対応させるものである。
【００５５】図１８は、角の点から直線へ垂線を降ろ
し、直線と垂線の交点を基準点とし、この基準点からマ
ッチした直線の両端点までの三次元的な距離を計算し、
その距離を基に各点を対応させるものである。
【００５６】上記第５の実施の形態に係る三次元物体認
識方法を実現する装置は、図１１又は図１５に示す対応
付け器９，１９に直線特徴に関するデータの作製機能を
追加して、図１６〜図１８に示すように、一意に決定で
きる点から任意に決定した直線上の点までの三次元的な
距離を計算する機能をもたせることにより実現し得る。
【００５７】このとき、図１５に示す装置の場合は、直
線特徴に関する対応点の設定を行い、ついで３Ｄプロパ
ティを用いたマッチングを行う。
【００５８】
【発明の効果】以上実施の形態とともに具体的に説明し
たように、本発明によれば次の様な効果を得る。 （１） 特徴グループを用いてマッチングを行う簡単な
処理を用いるためモデル全体をマッチングさせる従来の
方法と比べて実行時間が速い。 （２） 実際の入力画像から抽出した特徴データからモ
デルを作製するためＣＡＤデータの正確な幾何モデルか
ら作製したモデルを用いる手法に比べてモデルと入力画
像から得られた特徴とが適合する可能性が大きい。 （３） 距離画像が不要なため簡単なシステム構成で処
理を実現できる。 （４） データ構造が簡単なため大きなメモリを必要と
しない。 （５） 二次元特徴マッチングによりマッチした候補に
上がったものから三次元的に適当でないものを排除でき
るため、三次元位置姿勢変化を計算する回数を減少で
き、より高速な処理が実現できる。 （６） 二次元特徴マッチングする特徴グループの特徴
に対して対象物体自身の持つ形の似通った特徴や、汚
れ，煩雑な背景等のノイズによって発生する似通った特
徴への誤ったマッチ結果による認識ミスを防ぐことがで
きる。 （７） ステレオ計測のミスによって正しくない三次元
データを与えられた特徴を二次元的にマッチした候補か
ら排除できるため、正しい三次元位置姿勢変化を計算で
きる。 （８） 入力画像のノイズ等で直線特徴の信頼できる両
端の点を得ることが困難な場合でも三次元位置姿勢変化
の計算に必要な直線特徴の対応点を作製できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態を示すフローチャー
ト。
【図２】特徴データを概念的に示す説明図。
【図３】二つの直線による特徴グループを概念的に示す
説明図。
【図４】二つの直線による他の特徴グループを概念的に
示す説明図。
【図５】一つの直線と一つの円による特徴グループを概
念的に示す説明図。
【図６】一つの直線と一つの角による特徴グループを概
念的に示す説明図。
【図７】三つの円による特徴グループを概念的に示す説
明図。
【図８】二つの円と一つの角による特徴グループを概念
的に示す説明図。
【図９】三つの角による特徴グループを概念的に示す説
明図。
【図１０】二つの角と一つの円による特徴グループを概
念的に示す説明図。
【図１１】本発明の第２の実施の形態を示すブロック線
図。
【図１２】本発明の第３の実施の形態に係る３Ｄプロパ
ティの例を概念的に示す説明図。
【図１３】３Ｄプロパティの他の例を概念的に示す説明
図。
【図１４】本発明の第３の実施の形態を示すフローチャ
ート。
【図１５】本発明の第４の実施の形態を示すブロック線
図。
【図１６】本発明の第５の実施例に係る対応点の決定方
法の第１の例を概念的に示す説明図。
【図１７】本発明の第５の実施例に係る対応点の決定方
法の第２の例を概念的に示す説明図。
【図１８】本発明の第５の実施例に係る対応点の決定方
法の第３の例を概念的に示す説明図。
【符号の説明】
１，６ カメラ ３，８ 特徴抽出器 ４，１４ モデル作製器 ５，１５ モデルメモリ ９，１９ 対応付け器
───────────────────────────────────────────────────── フロントページの続き (72)発明者 恩田 寿和 東京都品川区大崎二丁目１番17号 株式会 社明電舎内

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 入力画像から得られる対象物体の輪郭，
    凹凸，模様等の特徴を直線，円弧等で近似したデータで
    あるとともにステレオ計測等で得た三次元位置データを
    有する特徴データと、対象物体のモデルの三次元位置デ
    ータを有する特徴データとのマッチングをとることで対
    象物体の三次元位置姿勢を得る三次元物体認識方法にお
    いて、 三次元位置姿勢を計算するために必要な３点を形成でき
    る特徴のグループである特徴グループを用いて対象物体
    の特徴データとモデルの特徴データとのマッチングをと
    ることを特徴とする三次元物体認識方法。
  2. 【請求項２】 特徴グループの二次元マッチングを行
    い、次に特徴グループの対応点から三次元位置姿勢を計
    算し、最終的に対象物体の三次元位置姿勢を検出するこ
    とを特徴とする［請求項１］に記載する三次元物体認識
    方法。
  3. 【請求項３】 入力画像から得られる対象物体の輪郭，
    凹凸，模様等の特徴を直線，円弧等で近似したデータで
    あるとともにステレオ計測等で得た三次元位置データを
    有する特徴データと、対象物体のモデルの三次元位置デ
    ータを有する特徴データとのマッチングをとることで対
    象物体の三次元位置姿勢を得る三次元物体認識方法にお
    いて、 三次元位置姿勢を計算するために必要な３点を形成でき
    る特徴のグループである特徴グループを用いてこの特徴
    グループによる二次元マッチングを行なった後、マッチ
    した各特徴グループの三次元データに基づき二次元マッ
    チングによりマッチした結果が三次元的にあり得るか否
    かを判断し、対象物体の特徴データとモデルの特徴デー
    タとのマッチングをとることを特徴とする三次元物体認
    識方法。
  4. 【請求項４】 入力画像から得られる対象物体の輪郭，
    凹凸，模様等の特徴を直線，円弧等で近似したデータで
    あるとともにステレオ計測等で得た三次元位置データを
    有する特徴データと、対象物体のモデルの三次元位置デ
    ータを有する特徴データとのマッチングをとることで対
    象物体の三次元位置姿勢を得る三次元物体認識方法にお
    いて、 三次元位置姿勢を計算するために必要な３点を形成でき
    る特徴のグループであって特徴として直線を含む特徴グ
    ループを用い、さらに直線上の適当な位置にある点を任
    意に決定するとともにこの任意に決定した点と一意に決
    定できる点との三次元的な距離を計算し、この距離を基
    に各点を対応させて対象物体の特徴データとモデルの特
    徴データとのマッチングをとることを特徴とする三次元
    物体認識方法。
  5. 【請求項５】 入力画像から得られる認識する対象物体
    の輪郭，凹凸，模様等の特徴を直線，円弧等で近似した
    データであるとともにステレオ計測等で得た三次元位置
    データを有する特徴データと、対象物体のモデルの三次
    元位置データを有する特徴データとのマッチングをとる
    ことで認識する対象物体の三次元位置姿勢を得る三次元
    物体認識方法において、 三次元位置姿勢を計算するために必要な３点を形成でき
    る特徴のグループである特徴グループを用いてこの特徴
    グループによる二次元マッチングを行なった後、マッチ
    した各特徴グループの三次元データに基づき二次元マッ
    チングによりマッチした結果が三次元的にあり得るか否
    かを判断し、さらに直線上の適当な位置にある点を任意
    に決定するとともにこの任意に決定した点と一意に決定
    できる点との三次元的な距離を計算し、この距離を基に
    各点を対応させ、認識する対象物体の特徴データとモデ
    ルの特徴データとのマッチングをとることを特徴とする
    三次元物体認識方法。
  6. 【請求項６】 モデルとする対象物体を撮像手段で撮影
    して得る入力画像から得られるこの対象物体の輪郭，凹
    凸，模様等の特徴を直線，円弧等で近似したデータであ
    るとともにステレオ計測等で得た三次元位置データを有
    する特徴データを抽出する第１の特徴抽出手段と、 特徴抽出手段で抽出した特徴データの中からマッチング
    に使用する特徴を選択するとともに三次元位置姿勢計算
    に必要な３点を形成できる特徴データの組である特徴グ
    ループを選択し得るように形成したモデル作製手段と、 モデル作製手段で形成した特徴グループの情報を他の特
    徴の情報とともに記憶しておくモデルメモリと、 認識する対象物体を撮像手段で撮影して得る入力画像か
    ら得られるモデルとする対象物体の場合と同様の特徴デ
    ータを抽出する第２の特徴抽出手段と、 モデルメモリに記憶されている特徴グループのデータと
    第２の特徴抽出手段の出力データとを比較し、両者のマ
    ッチングをとる対応付け手段と、 マッチングデータに基づき三次元位置姿勢を検出する三
    次元位置姿勢計算手段とを有することを特徴とする三次
    元物体認識装置。
  7. 【請求項７】 対応付け手段は、モデルメモリに記憶さ
    れている特徴グループのデータと第２の特徴抽出器の出
    力データとを比較し、両者の二次元マッチングを行うよ
    うに構成したことを特徴とする［請求項６］に記載する
    三次元物体認識装置。
  8. 【請求項８】 モデル作製手段は特徴抽出手段で抽出し
    た特徴データの中からマッチングに使用する特徴を選択
    するとともに三次元位置姿勢計算に必要な３点を形成で
    きる特徴データの組である特徴グループを選択し得るよ
    うに形成するとともに３点の位置データが三次元的にあ
    り得るか否かの判断に用いる３Ｄプロパティを選択し得
    るように形成し、 モデルメモリはモデル作製手段で形成した特徴グループ
    及び３Ｄプロパティの情報を他の特徴の情報とともに記
    憶するように形成し、 対応付け手段はモデルメモリに記憶されている特徴グル
    ープのデータと第２の特徴抽出器の出力データとを比較
    し、両者の二次元マッチングをとるとともに、そのマッ
    チング結果について３Ｄプロパティを用いたマッチング
    をとるように構成したことを特徴とする［請求項６］に
    記載する三次元物体認識装置。
  9. 【請求項９】 対応付け手段はモデルメモリに記憶され
    ている特徴グループのデータと第２の特徴抽出手段の出
    力データとを比較するとともに、この比較の際に特徴と
    して直線を含む特徴グループを用い、さらに直線上の適
    当な位置にある点を任意に決定するとともに、この任意
    に決定した点と一意に決定できる点との三次元的な距離
    を計算し、この距離を基に各点を対応させてマッチング
    をとるように構成したことを特徴とする［請求項６］に
    記載する三次元物体認識装置。
  10. 【請求項１０】 対応付け手段はモデルメモリに記憶さ
    れている特徴グループのデータと第２の特徴抽出手段の
    出力データとを比較するとともに、この比較の際に特徴
    として直線を含む特徴グループを用い、さらに直線上の
    適当な位置にある点を任意に決定するとともに、この任
    意に決定した点と一意に決定できる点との三次元的な距
    離を計算し、この距離を基に各点を対応させる機能も、
    ３Ｄプロパティを用いるマッチング機能とともに有する
    ように構成したことを特徴とする［請求項８］に記載す
    る三次元物体認識装置。
JP8018613A 1996-02-05 1996-02-05 三次元物体認識方法及びその装置 Pending JPH09212643A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8018613A JPH09212643A (ja) 1996-02-05 1996-02-05 三次元物体認識方法及びその装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8018613A JPH09212643A (ja) 1996-02-05 1996-02-05 三次元物体認識方法及びその装置

Publications (1)

Publication Number Publication Date
JPH09212643A true JPH09212643A (ja) 1997-08-15

Family

ID=11976489

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8018613A Pending JPH09212643A (ja) 1996-02-05 1996-02-05 三次元物体認識方法及びその装置

Country Status (1)

Country Link
JP (1) JPH09212643A (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319224A (ja) * 2000-05-08 2001-11-16 Fujitsu Ltd ３次元物体検出装置と３次元物体検出方法及び記録媒体
JP2006527434A (ja) * 2003-06-10 2006-11-30 バイオスペース インスツルメンツ ３次元再構成のための放射線画像法並びにその方法を実施するコンピュータプログラムおよび装置
JP2007333679A (ja) * 2006-06-19 2007-12-27 Mitsubishi Electric Corp ３次元位置補正装置
JP2009129189A (ja) * 2007-11-22 2009-06-11 Ihi Corp 物体認識方法
JP2010014718A (ja) * 2008-07-07 2010-01-21 Steinbichler Optotechnik Gmbh 対象物を３ｄデジタル化するための方法及び装置
WO2010087347A1 (ja) * 2009-01-27 2010-08-05 株式会社 明電舎 画像処理によるパンタグラフ撮影装置
WO2010087346A1 (ja) * 2009-01-27 2010-08-05 株式会社 明電舎 画像処理によるパンタグラフ撮影装置
JP2010256209A (ja) * 2009-04-27 2010-11-11 Ihi Corp 袋状ワーク認識装置および方法
WO2010150515A1 (en) 2009-06-25 2010-12-29 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program
JP2013012222A (ja) * 2012-08-27 2013-01-17 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
JP2013217893A (ja) * 2012-03-13 2013-10-24 Canon Inc モデル生成装置、位置姿勢推定装置、情報処理装置、モデル生成方法、位置姿勢推定方法、情報処理方法
WO2015133526A1 (ja) * 2014-03-07 2015-09-11 国立大学法人和歌山大学 画像解析方法、画像解析装置、及び画像解析プログラム
JP2016173723A (ja) * 2015-03-17 2016-09-29 トヨタ自動車株式会社 画像処理装置及び画像処理方法
JP2021128125A (ja) * 2020-02-17 2021-09-02 Ｊｆｅスチール株式会社 傾き計測方法、品質管理方法、鋼管の製造方法、傾き計測装置および鋼管の製造設備

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319224A (ja) * 2000-05-08 2001-11-16 Fujitsu Ltd ３次元物体検出装置と３次元物体検出方法及び記録媒体
JP2006527434A (ja) * 2003-06-10 2006-11-30 バイオスペース インスツルメンツ ３次元再構成のための放射線画像法並びにその方法を実施するコンピュータプログラムおよび装置
JP2007333679A (ja) * 2006-06-19 2007-12-27 Mitsubishi Electric Corp ３次元位置補正装置
JP2009129189A (ja) * 2007-11-22 2009-06-11 Ihi Corp 物体認識方法
JP2010014718A (ja) * 2008-07-07 2010-01-21 Steinbichler Optotechnik Gmbh 対象物を３ｄデジタル化するための方法及び装置
JP2010176156A (ja) * 2009-01-27 2010-08-12 Meidensha Corp 画像処理によるパンタグラフ撮影装置
JP2010178399A (ja) * 2009-01-27 2010-08-12 Meidensha Corp 画像処理によるパンタグラフ撮影装置
WO2010087347A1 (ja) * 2009-01-27 2010-08-05 株式会社 明電舎 画像処理によるパンタグラフ撮影装置
CN102300741A (zh) * 2009-01-27 2011-12-28 株式会社明电舍 基于图像处理的受电弓摄影装置
WO2010087346A1 (ja) * 2009-01-27 2010-08-05 株式会社 明電舎 画像処理によるパンタグラフ撮影装置
JP2010256209A (ja) * 2009-04-27 2010-11-11 Ihi Corp 袋状ワーク認識装置および方法
US8917942B2 (en) 2009-06-25 2014-12-23 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program
WO2010150515A1 (en) 2009-06-25 2010-12-29 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and program
JP2013217893A (ja) * 2012-03-13 2013-10-24 Canon Inc モデル生成装置、位置姿勢推定装置、情報処理装置、モデル生成方法、位置姿勢推定方法、情報処理方法
JP2013012222A (ja) * 2012-08-27 2013-01-17 Canon Inc 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体
WO2015133526A1 (ja) * 2014-03-07 2015-09-11 国立大学法人和歌山大学 画像解析方法、画像解析装置、及び画像解析プログラム
JP2016173723A (ja) * 2015-03-17 2016-09-29 トヨタ自動車株式会社 画像処理装置及び画像処理方法
CN105984470A (zh) * 2015-03-17 2016-10-05 丰田自动车株式会社 图像处理装置和图像处理方法
JP2021128125A (ja) * 2020-02-17 2021-09-02 Ｊｆｅスチール株式会社 傾き計測方法、品質管理方法、鋼管の製造方法、傾き計測装置および鋼管の製造設備

Similar Documents

Publication Publication Date Title
JP2919284B2 (ja) 物体認識方法
Faugeras et al. Polyhedral approximation of 3-D objects without holes
CN103678754B (zh) 信息处理装置及信息处理方法
CN112743270B (zh) 基于2d/3d视觉定位的机器人焊接装配方法及系统
JPH09212643A (ja) 三次元物体認識方法及びその装置
CN111123242B (zh) 一种基于激光雷达和相机的联合标定方法及计算机可读存储介质
JP3738456B2 (ja) 物品の位置検出方法およびその装置
JPH10240944A (ja) 可動ロボットに対する距離データの高速面区分化方法
CN116604212B (zh) 一种基于面阵结构光的机器人焊缝识别方法和系统
JP2020047049A (ja) 画像処理装置及び画像処理方法
JP4193519B2 (ja) 物体識別方法および物体識別装置
Hauck et al. Visual determination of 3D grasping points on unknown objects with a binocular camera system
Tarbox et al. IVIS: An integrated volumetric inspection system
JP2730457B2 (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
JP6597320B2 (ja) 製造時異常判断方法、製造時異常判断プログラム、及び製造装置
CN120783331A (zh) 吊耳工件角焊缝自动焊接的点云识别方法、装置与设备
JP3516668B2 (ja) ３次元形状認識方法、装置およびプログラム
JP3437141B2 (ja) パターン認識方法および装置
JPH085333A (ja) ３次元位置姿勢認識装置
Tian et al. Quick 3D modeling of machining environment by means of on-machine stereo vision with digital decomposition
Fasogbon et al. Automatic feature extraction for wide-angle and fish-eye camera calibration
JP4122663B2 (ja) 物体の三次元形状モデル作製装置
JPS62284479A (ja) 物体の立体形状認識方法および装置
Blessing et al. Vision-based handling with a mobile robot
JP3627365B2 (ja) 閉曲線の特徴データ抽出方法及びこれを用いるマッチング方法

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040511