JPH09330414A - 画像マッチング方法およびその装置 - Google Patents
画像マッチング方法およびその装置Info
- Publication number
- JPH09330414A JPH09330414A JP17423596A JP17423596A JPH09330414A JP H09330414 A JPH09330414 A JP H09330414A JP 17423596 A JP17423596 A JP 17423596A JP 17423596 A JP17423596 A JP 17423596A JP H09330414 A JPH09330414 A JP H09330414A
- Authority
- JP
- Japan
- Prior art keywords
- image
- parameter
- hough transform
- hough
- estimated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 回転、拡大または縮小、平行移動により対応
づけられる2つの画像について高精度にマッチングを行
うことができる画像マッチング方法とその装置を提供す
ること。 【解決手段】 2つの原画像をそれぞれエッジ抽出によ
りエッジ画面に変換し、このエッジ画面をそれぞれハフ
変換してハフ変換平面を得る。このハフ変換平面間での
θ軸方向のシフト量から原画像における回転角パラメー
タを推定する。推定した回転角パラメータにより両ハフ
変換平面をθ軸方向に整合してから、そのρ軸断面の相
似比により原画像におけるスケールパラメータを推定す
る。そしてρ軸断面のρ軸方向の平行移動量により原画
像における平行移動パラメータを推定する。
づけられる2つの画像について高精度にマッチングを行
うことができる画像マッチング方法とその装置を提供す
ること。 【解決手段】 2つの原画像をそれぞれエッジ抽出によ
りエッジ画面に変換し、このエッジ画面をそれぞれハフ
変換してハフ変換平面を得る。このハフ変換平面間での
θ軸方向のシフト量から原画像における回転角パラメー
タを推定する。推定した回転角パラメータにより両ハフ
変換平面をθ軸方向に整合してから、そのρ軸断面の相
似比により原画像におけるスケールパラメータを推定す
る。そしてρ軸断面のρ軸方向の平行移動量により原画
像における平行移動パラメータを推定する。
Description
【0001】
【発明の属する技術分野】本発明は、2つの画像のマッ
チングに関し、さらに詳細には、入力画像とモデル画像
との間での回転、拡大または縮小、平行移動の各パラメ
ータを抽出してマッチングする画像マッチング方法およ
びその装置に関するものである。
チングに関し、さらに詳細には、入力画像とモデル画像
との間での回転、拡大または縮小、平行移動の各パラメ
ータを抽出してマッチングする画像マッチング方法およ
びその装置に関するものである。
【0002】
【従来の技術】人間の視覚は、2つの画像が同じである
かどうかを大局的にとらえて瞬時に判断することができ
る。このような2枚の画像の対応を求めるマッチングの
問題は、コンピュータビジョンの中でも基本的なもので
あり、広い範囲への工学的応用が期待されている。例え
ば特開昭62−28877号に記載された入力物識別方
法もそのようなマッチング技術の1つである。また、電
子情報通信学会論文誌J78-D-II,No.1,pp.147-157には、
図形の速度検出を行うことによる局所運動の検出技術が
提案されている。
かどうかを大局的にとらえて瞬時に判断することができ
る。このような2枚の画像の対応を求めるマッチングの
問題は、コンピュータビジョンの中でも基本的なもので
あり、広い範囲への工学的応用が期待されている。例え
ば特開昭62−28877号に記載された入力物識別方
法もそのようなマッチング技術の1つである。また、電
子情報通信学会論文誌J78-D-II,No.1,pp.147-157には、
図形の速度検出を行うことによる局所運動の検出技術が
提案されている。
【0003】
【発明が解決しようとする課題】しかしながら、現実の
入力画像には、たとえ当該入力画像中にモデル画像とマ
ッチングするものが含まれていたとしても、回転、拡大
または縮小、平行移動の各種変換が複合して含まれてい
る場合がある。従来の画像マッチングでは、そのような
場合に高精度に両画像のマッチングを行うことはできな
かった。
入力画像には、たとえ当該入力画像中にモデル画像とマ
ッチングするものが含まれていたとしても、回転、拡大
または縮小、平行移動の各種変換が複合して含まれてい
る場合がある。従来の画像マッチングでは、そのような
場合に高精度に両画像のマッチングを行うことはできな
かった。
【0004】本発明は、前記課題を解決するためになさ
れたものであり、入力画像とモデル画像との間に回転、
拡大または縮小、平行移動が複合していても高精度にマ
ッチングを行うことができる画像マッチング方法および
その装置を提供することを目的とする。
れたものであり、入力画像とモデル画像との間に回転、
拡大または縮小、平行移動が複合していても高精度にマ
ッチングを行うことができる画像マッチング方法および
その装置を提供することを目的とする。
【0005】
【課題を解決するための手段】前記目的を達成するため
になされた請求項1の発明は、入力画像とモデル画像と
の間の回転角パラメータ、スケールパラメータ、および
平行移動パラメータを推定して両画像をマッチングする
画像マッチング方法であって、前記入力画像および前記
モデル画像をハフ(Hough)変換して入力ハフ変換
平面およびモデルハフ変換平面を作成し、前記入力ハフ
変換平面と前記モデルハフ変換平面とを対比してそのθ
軸方向のシフトから前記回転角パラメータを推定し、前
記両ハフ変換平面の対応するθでのρ軸断面の相似比か
ら前記スケールパラメータを推定し、前記両ρ軸断面の
ρ軸方向のシフトから前記平行移動パラメータを推定す
ることを特徴として特定される。
になされた請求項1の発明は、入力画像とモデル画像と
の間の回転角パラメータ、スケールパラメータ、および
平行移動パラメータを推定して両画像をマッチングする
画像マッチング方法であって、前記入力画像および前記
モデル画像をハフ(Hough)変換して入力ハフ変換
平面およびモデルハフ変換平面を作成し、前記入力ハフ
変換平面と前記モデルハフ変換平面とを対比してそのθ
軸方向のシフトから前記回転角パラメータを推定し、前
記両ハフ変換平面の対応するθでのρ軸断面の相似比か
ら前記スケールパラメータを推定し、前記両ρ軸断面の
ρ軸方向のシフトから前記平行移動パラメータを推定す
ることを特徴として特定される。
【0006】この画像マッチング方法では、入力画像お
よびモデル画像が取り込まれると、これらの画像がそれ
ぞれハフ変換されて入力ハフ変換平面およびモデルハフ
変換平面が作成される。これらのハフ変換平面は、原画
像(入力画像またはモデル画像)を極座標(ρ,θ)を用
いてθ−ρ空間に写像したものであり、原画像における
直線が点として現れる等の特徴を有している。そして、
原画像における図形の回転、拡大または縮小、平行移動
の各変換(これらはアフィン(Affin)変換の代表
的なものである)が、ハフ変換平面ではそれぞれ、θ軸
方向のシフト、ρ軸方向の拡大または縮小、ρ軸方向の
シフトとして現れる。
よびモデル画像が取り込まれると、これらの画像がそれ
ぞれハフ変換されて入力ハフ変換平面およびモデルハフ
変換平面が作成される。これらのハフ変換平面は、原画
像(入力画像またはモデル画像)を極座標(ρ,θ)を用
いてθ−ρ空間に写像したものであり、原画像における
直線が点として現れる等の特徴を有している。そして、
原画像における図形の回転、拡大または縮小、平行移動
の各変換(これらはアフィン(Affin)変換の代表
的なものである)が、ハフ変換平面ではそれぞれ、θ軸
方向のシフト、ρ軸方向の拡大または縮小、ρ軸方向の
シフトとして現れる。
【0007】そこで、両ハフ変換平面の対比からまずθ
軸方向のシフトが抽出されてこれにより回転角パラメー
タが推定される。次いで、両ハフ変換平面の対応するθ
でのρ軸断面の形状からそれらの相似比が抽出されてこ
れによりスケールパラメータが推定される。ここで「対
応するθ」とは、既に推定した回転角パラメータの分を
補正した状態を考慮したものである。そして、両ρ軸断
面のρ軸方向の形状からその間のシフトが抽出されて平
行移動パラメータが推定される。
軸方向のシフトが抽出されてこれにより回転角パラメー
タが推定される。次いで、両ハフ変換平面の対応するθ
でのρ軸断面の形状からそれらの相似比が抽出されてこ
れによりスケールパラメータが推定される。ここで「対
応するθ」とは、既に推定した回転角パラメータの分を
補正した状態を考慮したものである。そして、両ρ軸断
面のρ軸方向の形状からその間のシフトが抽出されて平
行移動パラメータが推定される。
【0008】したがって、ハフ変換平面上で他の変換と
独立してθ軸方向のシフトとして現れる回転についてま
ず推定され、ρ軸方向の移動として現れる拡大または縮
小あるいは平行移動についてはその後推定されるので、
各パラメータが効率よく推定され精度の高いマッチング
がなされるものである。
独立してθ軸方向のシフトとして現れる回転についてま
ず推定され、ρ軸方向の移動として現れる拡大または縮
小あるいは平行移動についてはその後推定されるので、
各パラメータが効率よく推定され精度の高いマッチング
がなされるものである。
【0009】請求項2の発明は、請求項1に記載する画
像マッチング方法であって、前記両ハフ変換平面の作成
を、前記入力画像およびモデル画像についてエッジ抽出
を行ってから行い、前記回転角パラメータの推定を、前
記両ハフ変換平面のθ軸への射影ヒストグラム間の残差
が最小になるように前記θ軸方向のシフトを決定するこ
とにより行い、前記スケールパラメータの推定および前
記平行移動パラメータの推定を、推定した前記回転角パ
ラメータを用いて前記両ハフ変換平面をθ軸方向に整合
し、各θごとに前記両ρ軸断面の極大点の組み合わせに
より相似比−シフト空間に直線を投票して最頻投票点を
決定し、各θごとの前記最頻投票点の相似比座標の最頻
のものを前記相似比と決定して前記スケールパラメータ
を推定し、各θごとに前記最頻投票点のシフト座標を原
点からの距離としθの値を傾きとする直線をx−y空間
に投票し、この投票が最頻であった点のx−y座標を前
記平行移動パラメータと推定することにより行うことを
特徴として特定される。
像マッチング方法であって、前記両ハフ変換平面の作成
を、前記入力画像およびモデル画像についてエッジ抽出
を行ってから行い、前記回転角パラメータの推定を、前
記両ハフ変換平面のθ軸への射影ヒストグラム間の残差
が最小になるように前記θ軸方向のシフトを決定するこ
とにより行い、前記スケールパラメータの推定および前
記平行移動パラメータの推定を、推定した前記回転角パ
ラメータを用いて前記両ハフ変換平面をθ軸方向に整合
し、各θごとに前記両ρ軸断面の極大点の組み合わせに
より相似比−シフト空間に直線を投票して最頻投票点を
決定し、各θごとの前記最頻投票点の相似比座標の最頻
のものを前記相似比と決定して前記スケールパラメータ
を推定し、各θごとに前記最頻投票点のシフト座標を原
点からの距離としθの値を傾きとする直線をx−y空間
に投票し、この投票が最頻であった点のx−y座標を前
記平行移動パラメータと推定することにより行うことを
特徴として特定される。
【0010】この画像マッチング方法では、取り込まれ
た入力画像およびモデル画像についてハフ変換が行われ
る前にエッジ抽出が行われる。これにより、原画像が例
えば写真のような複雑な濃淡を含むものであっても、そ
の濃淡の境界線を抽出した線図からなるエッジ画像に変
換され、このエッジ画像についてハフ変換が行われて入
力ハフ変換平面およびモデルハフ変換平面が作成され
る。
た入力画像およびモデル画像についてハフ変換が行われ
る前にエッジ抽出が行われる。これにより、原画像が例
えば写真のような複雑な濃淡を含むものであっても、そ
の濃淡の境界線を抽出した線図からなるエッジ画像に変
換され、このエッジ画像についてハフ変換が行われて入
力ハフ変換平面およびモデルハフ変換平面が作成され
る。
【0011】そして、両ハフ変換平面をそれぞれθ軸に
射影した射影ヒストグラムが作成される。この射影ヒス
トグラムは、原画像(エッジ画像)に含まれる直線また
は直線に近似する図形(以下、「直線等」という)の方
向の分布に関する情報を示しており、方向性ヒストグラ
ムとも呼ばれる。したがって、2つの方向性ヒストグラ
ムをθ軸方向にシフトさせつつそれらの残差をとると、
残差が最小となるθのシフト量において両原画像(エッ
ジ画像)に含まれる直線等の方向分布が最もよく一致す
ることになる。そこで、このときのθのシフト量が回転
角パラメータであると推定される。そして、推定した回
転角パラメータの分、両ハフ変換平面の一方がθ軸方向
にシフトされて整合がとられ、以下、このθ軸の整合を
とった状態で残りのパラメータ推定が行われる。
射影した射影ヒストグラムが作成される。この射影ヒス
トグラムは、原画像(エッジ画像)に含まれる直線また
は直線に近似する図形(以下、「直線等」という)の方
向の分布に関する情報を示しており、方向性ヒストグラ
ムとも呼ばれる。したがって、2つの方向性ヒストグラ
ムをθ軸方向にシフトさせつつそれらの残差をとると、
残差が最小となるθのシフト量において両原画像(エッ
ジ画像)に含まれる直線等の方向分布が最もよく一致す
ることになる。そこで、このときのθのシフト量が回転
角パラメータであると推定される。そして、推定した回
転角パラメータの分、両ハフ変換平面の一方がθ軸方向
にシフトされて整合がとられ、以下、このθ軸の整合を
とった状態で残りのパラメータ推定が行われる。
【0012】そして、あるθの値(整合後)での両ハフ
変換平面のρ軸断面が作成され、両ρ軸断面の極大点の
組み合わせにより、相似比−シフト空間に直線が投票さ
れる。この直線は、組み合わせられる両極大点が、相似
関係のみで関連づけられると仮定したときの相似比とシ
フトのみで関連づけられると仮定したときのシフト量と
を両切片とする直線である。両ρ軸断面の極大点の各組
み合わせについて当該直線が投票され、最頻投票点が決
定される。この最頻投票点の決定がθの各値ごとに行わ
れ、各最頻投票点の相似比座標のうち最頻のものがρ軸
断面の相似比と決定され、これがスケールパラメータで
あると推定される。
変換平面のρ軸断面が作成され、両ρ軸断面の極大点の
組み合わせにより、相似比−シフト空間に直線が投票さ
れる。この直線は、組み合わせられる両極大点が、相似
関係のみで関連づけられると仮定したときの相似比とシ
フトのみで関連づけられると仮定したときのシフト量と
を両切片とする直線である。両ρ軸断面の極大点の各組
み合わせについて当該直線が投票され、最頻投票点が決
定される。この最頻投票点の決定がθの各値ごとに行わ
れ、各最頻投票点の相似比座標のうち最頻のものがρ軸
断面の相似比と決定され、これがスケールパラメータで
あると推定される。
【0013】このスケールパラメータの推定の際に各θ
ごとに最頻投票点が決定されているので、各最頻投票点
ごとにそのシフト座標を原点からの距離としθの値を傾
きとする直線をx−y空間に投票することができる。こ
の投票が最頻であった点のx−y座標が、原画像におけ
る2次元の平行移動量を表す平行移動パラメータである
と推定される。
ごとに最頻投票点が決定されているので、各最頻投票点
ごとにそのシフト座標を原点からの距離としθの値を傾
きとする直線をx−y空間に投票することができる。こ
の投票が最頻であった点のx−y座標が、原画像におけ
る2次元の平行移動量を表す平行移動パラメータである
と推定される。
【0014】この画像マッチング方法では上記のように
して各パラメータの推定を行うので、濃淡のある画像や
形状が複雑に入り組んだ画像についてもマッチングを行
うことができる。特に、原画像に明確な直線が含まれて
いなくても、おおむね直線に近似する形状が含まれてい
ればマッチング可能である。
して各パラメータの推定を行うので、濃淡のある画像や
形状が複雑に入り組んだ画像についてもマッチングを行
うことができる。特に、原画像に明確な直線が含まれて
いなくても、おおむね直線に近似する形状が含まれてい
ればマッチング可能である。
【0015】請求項3の発明は、入力画像とモデル画像
との間の回転角パラメータ、スケールパラメータ、およ
び平行移動パラメータを推定して両画像をマッチングす
る画像マッチング装置であって、前記入力画像および前
記モデル画像をハフ変換して入力ハフ変換平面およびモ
デルハフ変換平面を作成するハフ変換手段と、前記入力
ハフ変換平面と前記モデルハフ変換平面とを対比してそ
のθ軸方向のシフトから前記回転角パラメータを推定す
る回転角パラメータ推定手段と、前記両ハフ変換平面の
対応するθでのρ軸断面の相似比から前記スケールパラ
メータを推定するスケールパラメータ推定手段と、前記
両ρ軸断面のρ軸方向のシフトから前記平行移動パラメ
ータを推定する平行移動パラメータ推定手段とを備えた
ことを特徴として特定される。
との間の回転角パラメータ、スケールパラメータ、およ
び平行移動パラメータを推定して両画像をマッチングす
る画像マッチング装置であって、前記入力画像および前
記モデル画像をハフ変換して入力ハフ変換平面およびモ
デルハフ変換平面を作成するハフ変換手段と、前記入力
ハフ変換平面と前記モデルハフ変換平面とを対比してそ
のθ軸方向のシフトから前記回転角パラメータを推定す
る回転角パラメータ推定手段と、前記両ハフ変換平面の
対応するθでのρ軸断面の相似比から前記スケールパラ
メータを推定するスケールパラメータ推定手段と、前記
両ρ軸断面のρ軸方向のシフトから前記平行移動パラメ
ータを推定する平行移動パラメータ推定手段とを備えた
ことを特徴として特定される。
【0016】この画像マッチング装置では、入力画像お
よびモデル画像が取り込まれると、ハフ変換手段により
これらの画像がそれぞれハフ変換されて入力ハフ変換平
面およびモデルハフ変換平面が作成される。次に回転角
パラメータ推定手段により両ハフ変換平面が対比され、
そのθ軸方向のシフトにより回転角パラメータが推定さ
れる。その後、スケールパラメータ推定手段により両ハ
フ変換平面の対応するθでのρ軸断面の相似比からスケ
ールパラメータが推定される。そして、平行移動パラメ
ータ推定手段により、両ρ軸断面のρ軸方向のシフトか
ら平行移動パラメータが推定される。
よびモデル画像が取り込まれると、ハフ変換手段により
これらの画像がそれぞれハフ変換されて入力ハフ変換平
面およびモデルハフ変換平面が作成される。次に回転角
パラメータ推定手段により両ハフ変換平面が対比され、
そのθ軸方向のシフトにより回転角パラメータが推定さ
れる。その後、スケールパラメータ推定手段により両ハ
フ変換平面の対応するθでのρ軸断面の相似比からスケ
ールパラメータが推定される。そして、平行移動パラメ
ータ推定手段により、両ρ軸断面のρ軸方向のシフトか
ら平行移動パラメータが推定される。
【0017】このように、スケールパラメータ推定手段
により、ハフ変換平面上で他の変換と独立してθ軸方向
のシフトとして現れる回転についてまず推定され、ρ軸
方向の移動として現れる拡大または縮小あるいは平行移
動についてはその後スケールパラメータ推定手段および
平行移動パラメータ推定手段により推定されるので、各
パラメータが効率よく推定され精度の高いマッチングが
なされるものである。
により、ハフ変換平面上で他の変換と独立してθ軸方向
のシフトとして現れる回転についてまず推定され、ρ軸
方向の移動として現れる拡大または縮小あるいは平行移
動についてはその後スケールパラメータ推定手段および
平行移動パラメータ推定手段により推定されるので、各
パラメータが効率よく推定され精度の高いマッチングが
なされるものである。
【0018】請求項4の発明は、請求項3に記載する画
像マッチング装置であって、前記入力画像および前記モ
デル画像についてエッジ抽出を行うエッジ抽出手段と、
前記両ハフ変換平面についてそれぞれθ軸への射影ヒス
トグラムを作成する射影ヒストグラム作成手段と、前記
回転角パラメータ推定手段が推定した前記回転角パラメ
ータを用いて前記両ハフ変換平面をθ軸方向に整合する
回転整合手段と、前記回転整合手段によりθ軸方向に整
合された前記両ハフ変換平面について各θごとのρ軸断
面の極大点の組み合わせにより相似比−シフト空間に直
線を投票して各θごとの最頻投票点を決定する最頻投票
点決定手段とを備え、前記ハフ変換手段は、前記エッジ
抽出手段によりエッジ抽出がなされた前記両画像につい
てハフ変換を行い前記両ハフ変換平面を作成し、前記回
転角パラメータ推定手段は、前記両射影ヒストグラム間
の残差が最小になるように前記θ軸方向のシフトを決定
して前記回転角パラメータを推定し、前記スケールパラ
メータ推定手段は、各θごとの前記最頻投票点の相似比
座標の最頻のものを前記相似比と決定して前記スケール
パラメータを推定し、前記平行移動パラメータ推定手段
は、各θごとに前記最頻投票点のシフト座標を原点から
の距離としθの値を傾きとする直線をx−y空間に投票
し、この投票が最頻であった点のx−y座標を前記平行
移動パラメータと推定することを特徴として特定され
る。
像マッチング装置であって、前記入力画像および前記モ
デル画像についてエッジ抽出を行うエッジ抽出手段と、
前記両ハフ変換平面についてそれぞれθ軸への射影ヒス
トグラムを作成する射影ヒストグラム作成手段と、前記
回転角パラメータ推定手段が推定した前記回転角パラメ
ータを用いて前記両ハフ変換平面をθ軸方向に整合する
回転整合手段と、前記回転整合手段によりθ軸方向に整
合された前記両ハフ変換平面について各θごとのρ軸断
面の極大点の組み合わせにより相似比−シフト空間に直
線を投票して各θごとの最頻投票点を決定する最頻投票
点決定手段とを備え、前記ハフ変換手段は、前記エッジ
抽出手段によりエッジ抽出がなされた前記両画像につい
てハフ変換を行い前記両ハフ変換平面を作成し、前記回
転角パラメータ推定手段は、前記両射影ヒストグラム間
の残差が最小になるように前記θ軸方向のシフトを決定
して前記回転角パラメータを推定し、前記スケールパラ
メータ推定手段は、各θごとの前記最頻投票点の相似比
座標の最頻のものを前記相似比と決定して前記スケール
パラメータを推定し、前記平行移動パラメータ推定手段
は、各θごとに前記最頻投票点のシフト座標を原点から
の距離としθの値を傾きとする直線をx−y空間に投票
し、この投票が最頻であった点のx−y座標を前記平行
移動パラメータと推定することを特徴として特定され
る。
【0019】この画像マッチング装置では、取り込まれ
た入力画像およびモデル画像について、ハフ変換手段で
の処理の前に、エッジ抽出手段によりエッジ抽出が行わ
れて線図からなるエッジ画像に変換される。そして、こ
のエッジ画像についてハフ変換手段によりハフ変換が行
われて入力ハフ変換平面およびモデルハフ変換平面が作
成される。
た入力画像およびモデル画像について、ハフ変換手段で
の処理の前に、エッジ抽出手段によりエッジ抽出が行わ
れて線図からなるエッジ画像に変換される。そして、こ
のエッジ画像についてハフ変換手段によりハフ変換が行
われて入力ハフ変換平面およびモデルハフ変換平面が作
成される。
【0020】そして、射影ヒストグラム作成手段により
両ハフ変換平面をそれぞれθ軸に射影した射影ヒストグ
ラムが作成される。すると、回転角パラメータ推定手段
により2つの射影ヒストグラムがθ軸方向にシフトされ
つつそれらの残差をとられ、残差が最小となるθのシフ
ト量が回転角パラメータであると推定される。そして、
推定された回転角パラメータの分、回転整合手段により
両ハフ変換平面の一方がθ軸方向にシフトされて整合が
とられ、以下、このθ軸の整合をとった状態で残りのパ
ラメータ推定が行われる。
両ハフ変換平面をそれぞれθ軸に射影した射影ヒストグ
ラムが作成される。すると、回転角パラメータ推定手段
により2つの射影ヒストグラムがθ軸方向にシフトされ
つつそれらの残差をとられ、残差が最小となるθのシフ
ト量が回転角パラメータであると推定される。そして、
推定された回転角パラメータの分、回転整合手段により
両ハフ変換平面の一方がθ軸方向にシフトされて整合が
とられ、以下、このθ軸の整合をとった状態で残りのパ
ラメータ推定が行われる。
【0021】そして、最頻投票点決定手段によりあるθ
の値(整合後)での両ハフ変換平面のρ軸断面が作成さ
れ、両ρ軸断面の極大点の組み合わせにより、相似比−
シフト空間に直線が投票される。そして両ρ軸断面の極
大点の各組み合わせについて当該直線が投票され、最頻
投票点が決定される。この最頻投票点の決定がθの各値
ごとに行われる。
の値(整合後)での両ハフ変換平面のρ軸断面が作成さ
れ、両ρ軸断面の極大点の組み合わせにより、相似比−
シフト空間に直線が投票される。そして両ρ軸断面の極
大点の各組み合わせについて当該直線が投票され、最頻
投票点が決定される。この最頻投票点の決定がθの各値
ごとに行われる。
【0022】そして、スケールパラメータ推定手段によ
り各最頻投票点の相似比座標のうち最頻のものがρ軸断
面の相似比と決定され、これがスケールパラメータであ
ると推定される。
り各最頻投票点の相似比座標のうち最頻のものがρ軸断
面の相似比と決定され、これがスケールパラメータであ
ると推定される。
【0023】そして、平行移動パラメータ推定手段によ
り、各最頻投票点ごとにそのシフト座標を原点からの距
離としθの値を傾きとする直線がx−y空間に投票さ
れ、この投票が最頻であった点のx−y座標が、原画像
における2次元の平行移動量を表す平行移動パラメータ
であると推定される。
り、各最頻投票点ごとにそのシフト座標を原点からの距
離としθの値を傾きとする直線がx−y空間に投票さ
れ、この投票が最頻であった点のx−y座標が、原画像
における2次元の平行移動量を表す平行移動パラメータ
であると推定される。
【0024】この画像マッチング装置では上記のように
して各パラメータの推定を行うので、濃淡のある画像や
形状が複雑に入り組んだ画像についてもマッチングを行
うことができる。特に、原画像に明確な直線が含まれて
いなくても、おおむね直線に近似する形状が含まれてい
ればマッチング可能である。
して各パラメータの推定を行うので、濃淡のある画像や
形状が複雑に入り組んだ画像についてもマッチングを行
うことができる。特に、原画像に明確な直線が含まれて
いなくても、おおむね直線に近似する形状が含まれてい
ればマッチング可能である。
【0025】なお、請求項4の発明および請求項3の発
明については、前記各手段の機能をコンピュータ処理に
より実現させるためのプログラムをCD−ROM等の媒
体に記憶しておいて、この媒体を適宜のコンピュータに
組み合わせるとともに必要なセンサ、アクチュエータ類
を接続することにより実現することができる。
明については、前記各手段の機能をコンピュータ処理に
より実現させるためのプログラムをCD−ROM等の媒
体に記憶しておいて、この媒体を適宜のコンピュータに
組み合わせるとともに必要なセンサ、アクチュエータ類
を接続することにより実現することができる。
【0026】
【発明の実施の形態】以下、本発明に係る実施の形態を
添付図面に基づいて詳細に説明する。
添付図面に基づいて詳細に説明する。
【0027】本実施の形態に係る画像マッチングは、概
略図1に示す構成の装置を用いて行う。この装置は、処
理装置1を中心に、画像入出力インターフェイス10を
介してCCDカメラ11およびCRT12を配置し、ま
た、プリンタ15と操作系(キーボード、マウス等)1
7とを接続したものである。CCDカメラ11は、画像
(入力画像やモデル画像)の取り込みを行うものであ
る。CRT12は、処理装置1でマッチング処理を行っ
た結果を画面表示するものである。処理装置1は、演算
処理装置である公知のCPU3に読み出し専用メモリで
あるROM4およびランダムアクセスメモリであるRA
M5を配置したコンピュータである。
略図1に示す構成の装置を用いて行う。この装置は、処
理装置1を中心に、画像入出力インターフェイス10を
介してCCDカメラ11およびCRT12を配置し、ま
た、プリンタ15と操作系(キーボード、マウス等)1
7とを接続したものである。CCDカメラ11は、画像
(入力画像やモデル画像)の取り込みを行うものであ
る。CRT12は、処理装置1でマッチング処理を行っ
た結果を画面表示するものである。処理装置1は、演算
処理装置である公知のCPU3に読み出し専用メモリで
あるROM4およびランダムアクセスメモリであるRA
M5を配置したコンピュータである。
【0028】ROM4には、画像マッチングを行うため
の種々のプログラム類が格納されている。そのプログラ
ム類としては、CCDカメラ11による画像の取り込み
やCRT12による表示等を統括制御する基本プログラ
ムの他、取り込んだ画像について後述するハフ変換処理
を行うハフ変換プログラム、入力画像やモデル画像につ
いてハフ変換処理したデータについてマッチングのため
の各種パラメータの推定を行うパラメータ推定プログラ
ム、推定された各種パラメータに基づいて推定画像デー
タを作成する推定画像作成プログラム、等がある。ま
た、RAM5には、CCDカメラ11で取り込んだ画像
データやそれをハフ変換した変換データ、推定して得ら
れたパラメータ等の記憶エリアが設けられている。
の種々のプログラム類が格納されている。そのプログラ
ム類としては、CCDカメラ11による画像の取り込み
やCRT12による表示等を統括制御する基本プログラ
ムの他、取り込んだ画像について後述するハフ変換処理
を行うハフ変換プログラム、入力画像やモデル画像につ
いてハフ変換処理したデータについてマッチングのため
の各種パラメータの推定を行うパラメータ推定プログラ
ム、推定された各種パラメータに基づいて推定画像デー
タを作成する推定画像作成プログラム、等がある。ま
た、RAM5には、CCDカメラ11で取り込んだ画像
データやそれをハフ変換した変換データ、推定して得ら
れたパラメータ等の記憶エリアが設けられている。
【0029】かかる画像マッチング装置で行う画像マッ
チング処理の手順を図2および図3のフローチャートに
より説明する。図2は処理の全体手順を示し、図3はそ
の中の画像変換処理(S2)の手順を示している。図2
の全体手順では、まずS1で入力画像およびモデル画像
を取り込み、S2でこれらにハフ変換による画像変換処
理を施し、処理されたデータについてS3以降の種々の
パラメータ推定等を行って画像マッチングを行う。そこ
で図3の画像変換処理(S2)についてまず詳細に説明
する。
チング処理の手順を図2および図3のフローチャートに
より説明する。図2は処理の全体手順を示し、図3はそ
の中の画像変換処理(S2)の手順を示している。図2
の全体手順では、まずS1で入力画像およびモデル画像
を取り込み、S2でこれらにハフ変換による画像変換処
理を施し、処理されたデータについてS3以降の種々の
パラメータ推定等を行って画像マッチングを行う。そこ
で図3の画像変換処理(S2)についてまず詳細に説明
する。
【0030】(S11)画像変換処理では最初に原画像
からエッジ抽出を行う。エッジとは、原画像における明
暗の境界を意味する。ここでは、原画像(x−y平面
上の各画素 (x,y)の輝度データI(x,y)で表す)
の各画素の輝度の2次の微分係数( 2I(x,y))の正
負符号が変化する位置であって、輝度の勾配( ‖∇
I(x,y)‖ )があらかじめ定めたしきい値より大き
い位置の画素をエッジとして認識する。そして、エッジ
と認識された画素の輝度を1とし、他の画素の輝度を0
として2値化されたエッジ画像R(x,y)が得られる。
なお、エッジ抽出を行う前にあらかじめノイズ除去をし
ておくことが望ましい。このエッジ抽出により、例えば
図4のような原画像から図5のようなエッジ画像が得ら
れる。
からエッジ抽出を行う。エッジとは、原画像における明
暗の境界を意味する。ここでは、原画像(x−y平面
上の各画素 (x,y)の輝度データI(x,y)で表す)
の各画素の輝度の2次の微分係数( 2I(x,y))の正
負符号が変化する位置であって、輝度の勾配( ‖∇
I(x,y)‖ )があらかじめ定めたしきい値より大き
い位置の画素をエッジとして認識する。そして、エッジ
と認識された画素の輝度を1とし、他の画素の輝度を0
として2値化されたエッジ画像R(x,y)が得られる。
なお、エッジ抽出を行う前にあらかじめノイズ除去をし
ておくことが望ましい。このエッジ抽出により、例えば
図4のような原画像から図5のようなエッジ画像が得ら
れる。
【0031】(S12)次いで、エッジ画像に対しハフ
変換を行う。ハフ変換とは、画像から直線を検出する変
換処理であり、x−y平面上の画像I(x,y)を数式1
によりθ−ρ平面(ハフ変換平面)上のH(ρ,θ)に写
像することにより行われる。数式1において、δ()はデ
ィラックのデルタ関数を示し、またDはx−y平面上の
視野を示す。ここではエッジ画像に対しハフ変換を行う
ので数式1中のI(x,y)に前記R(x,y)を代入して
処理する。
変換を行う。ハフ変換とは、画像から直線を検出する変
換処理であり、x−y平面上の画像I(x,y)を数式1
によりθ−ρ平面(ハフ変換平面)上のH(ρ,θ)に写
像することにより行われる。数式1において、δ()はデ
ィラックのデルタ関数を示し、またDはx−y平面上の
視野を示す。ここではエッジ画像に対しハフ変換を行う
ので数式1中のI(x,y)に前記R(x,y)を代入して
処理する。
【0032】
【数1】
【0033】ハフ変換により画像から直線が検出される
原理を説明する。まず、x−y平面上の1点(x0,
y0)のハフ変換写像を考えると、図21に示すよう
に、数式2で示される正弦曲線となる。数式2は、点
(x0,y0)を通過する任意の直線mに対し、原点から
の距離ρとそのx軸に対する交差角θとの関係を表すも
のである。
原理を説明する。まず、x−y平面上の1点(x0,
y0)のハフ変換写像を考えると、図21に示すよう
に、数式2で示される正弦曲線となる。数式2は、点
(x0,y0)を通過する任意の直線mに対し、原点から
の距離ρとそのx軸に対する交差角θとの関係を表すも
のである。
【0034】
【数2】
【0035】
【数3】
【0036】次に、x−y平面上で傾きaとy切片bと
により特定される直線y0=ax0+bのハフ変換写像を
考えると、数式2のy0にax0+bを代入することによ
り数式3が得られる。数式3は、当該直線上の各点(x
0,y0)ごとにハフ変換平面上に対応する正弦曲線を投
票させたときの曲線群を示している。そしてこの正弦曲
線群は、x0 の値にかかわらず、a、bにより数式4で
定義されるハフ変換平面上の点(ρ0,θ0)を通過す
る。このことは、x−y平面上の直線がハフ変換平面上
の点(集積点)に対応することを意味している。したが
って、数式1によりハフ変換して得られた画像内で正弦
曲線群が一点に集中した集積点が認められれば、もとの
画像中における直線が検出されたことになる。
により特定される直線y0=ax0+bのハフ変換写像を
考えると、数式2のy0にax0+bを代入することによ
り数式3が得られる。数式3は、当該直線上の各点(x
0,y0)ごとにハフ変換平面上に対応する正弦曲線を投
票させたときの曲線群を示している。そしてこの正弦曲
線群は、x0 の値にかかわらず、a、bにより数式4で
定義されるハフ変換平面上の点(ρ0,θ0)を通過す
る。このことは、x−y平面上の直線がハフ変換平面上
の点(集積点)に対応することを意味している。したが
って、数式1によりハフ変換して得られた画像内で正弦
曲線群が一点に集中した集積点が認められれば、もとの
画像中における直線が検出されたことになる。
【0037】
【数4】
【0038】なお、x−y平面上の直線以外の図形、例
えば円については、原点を中心とするものはハフ変換平
面上のθ軸と平行な直線(包絡線)に対応することがわ
かっている。また、原点以外を中心とする円はθをパラ
メータとする正弦曲線(包絡線)に対応することがわか
っている。
えば円については、原点を中心とするものはハフ変換平
面上のθ軸と平行な直線(包絡線)に対応することがわ
かっている。また、原点以外を中心とする円はθをパラ
メータとする正弦曲線(包絡線)に対応することがわか
っている。
【0039】かかるハフ変換平面上で、原画像について
の回転、拡大または縮小、平行移動がどのように現れる
かを説明する。原画像I(x,y)(エッジ化した画像
R(x,y)でもよい)を回転、拡大または縮小、平行移
動した画像をI'(x',y')とすると、(x,y)と
(x',y')との間に数式5の関係が成り立つ。数式5に
おいて、φは回転角パラメータを、sは拡大または縮小
のスケールパラメータを、tx 、tyは平行移動パラメ
ータを示している。
の回転、拡大または縮小、平行移動がどのように現れる
かを説明する。原画像I(x,y)(エッジ化した画像
R(x,y)でもよい)を回転、拡大または縮小、平行移
動した画像をI'(x',y')とすると、(x,y)と
(x',y')との間に数式5の関係が成り立つ。数式5に
おいて、φは回転角パラメータを、sは拡大または縮小
のスケールパラメータを、tx 、tyは平行移動パラメ
ータを示している。
【0040】
【数5】
【0041】
【数6】
【0042】I(x,y)、I'(x',y')をそれぞれ数
式1によりハフ変換して、H(ρ,θ)、H'(ρ,θ)を
得、H'(ρ,θ) のx'、y'を数式5によりx、yに変
換してH(ρ,θ)と比較すると、数式6が得られる。数
式6から、原画像についての回転(φ)はハフ変換平面
上でθ方向のシフトとして現れ、拡大または縮小(s)
はハフ変換平面上でρ方向の拡大または縮小として現
れ、平行移動(tx、ty)はハフ変換平面上でρ方向の
シフトとして現れることがわかる。かかるハフ変換によ
り、図5のようなエッジ画像から図6のようなハフ変換
画像が得られる。
式1によりハフ変換して、H(ρ,θ)、H'(ρ,θ)を
得、H'(ρ,θ) のx'、y'を数式5によりx、yに変
換してH(ρ,θ)と比較すると、数式6が得られる。数
式6から、原画像についての回転(φ)はハフ変換平面
上でθ方向のシフトとして現れ、拡大または縮小(s)
はハフ変換平面上でρ方向の拡大または縮小として現
れ、平行移動(tx、ty)はハフ変換平面上でρ方向の
シフトとして現れることがわかる。かかるハフ変換によ
り、図5のようなエッジ画像から図6のようなハフ変換
画像が得られる。
【0043】次に図2に示す処理の全体手順を説明す
る。
る。
【0044】(S1)まず、CCDカメラ11を用いて
画像を取り込む。ここで取り込むのは、入力画像とモデ
ル画像との2画像である。入力画像とは画像マッチング
の対象となる画像である。モデル画像とはそのマッチン
グの基準となる画像であり、これにアフィン変換を施し
て入力画像にマッチングさせるものである。入力画像に
は、モデル画像中に含まれる基本的な図形が、アフィン
変換の代表的なものである回転、拡大または縮小、平行
移動の各種変換が施されて含まれている。この取り込み
操作は、処理装置1のCPU3が、ROM4に格納され
た基本プログラムによりCCDカメラ11を制御して行
う。取り込まれたモデル画像および入力画像は、各画素
の輝度(I1(x,y)、I2(x,y))のデータとしてR
AM5に記憶される。
画像を取り込む。ここで取り込むのは、入力画像とモデ
ル画像との2画像である。入力画像とは画像マッチング
の対象となる画像である。モデル画像とはそのマッチン
グの基準となる画像であり、これにアフィン変換を施し
て入力画像にマッチングさせるものである。入力画像に
は、モデル画像中に含まれる基本的な図形が、アフィン
変換の代表的なものである回転、拡大または縮小、平行
移動の各種変換が施されて含まれている。この取り込み
操作は、処理装置1のCPU3が、ROM4に格納され
た基本プログラムによりCCDカメラ11を制御して行
う。取り込まれたモデル画像および入力画像は、各画素
の輝度(I1(x,y)、I2(x,y))のデータとしてR
AM5に記憶される。
【0045】例として、モデル画像が図4の(イ)に示
すものであり、入力画像が図4の(ロ)に示すものであ
るとする。(イ)のモデル画像には、画面の原点を中心
とする同心円弧A、Bとその端部を結ぶ線分C、Dとに
より形成された略C字状の図形が含まれている。(ロ)
の入力画像は、(イ)のモデル画像に回転、縮小、そし
て平行移動を行ったものであり、(イ)の中の図形と相
似な図形、すなわち同心円弧a、bとその端部を結ぶ線
分c、dとからなる略C字状の図形が含まれている。た
だし、同心円弧a、bの中心は原点でなく、線分c、d
の角度も異なる。
すものであり、入力画像が図4の(ロ)に示すものであ
るとする。(イ)のモデル画像には、画面の原点を中心
とする同心円弧A、Bとその端部を結ぶ線分C、Dとに
より形成された略C字状の図形が含まれている。(ロ)
の入力画像は、(イ)のモデル画像に回転、縮小、そし
て平行移動を行ったものであり、(イ)の中の図形と相
似な図形、すなわち同心円弧a、bとその端部を結ぶ線
分c、dとからなる略C字状の図形が含まれている。た
だし、同心円弧a、bの中心は原点でなく、線分c、d
の角度も異なる。
【0046】(S2)取り込んだモデル画像および入力
画像のそれぞれについて、図3で説明した画像変換処理
が行われ、ハフ変換平面上の画像H1(ρ,θ)、H
2(ρ,θ)が作成される。すなわち、図4の(イ)の原
モデル画像I1(x,y) は、図5の(イ)のエッジ画像
R1(x,y)を経て(S11)、ハフ変換画像H1(ρ,
θ)に変換される(S12)。ハフ変換画像H1(ρ,θ)
はハフ変換平面に投影された正弦曲線群であるが、そ
こから集積点と包絡線とを抽出したものを図6の(イ)
に示す。以下の説明では図6のようなものを便宜上「ハ
フ変換画像」ということがある。図6の(イ)のハフ変
換画像H1(ρ,θ) では、図4の(イ)の原入力画像I
1(x,y) における同心円弧A、Bに対応してθ軸に平
行な直線A'、B'が現れている。また、線分C、Dに対
応してθ軸上に点C'、D'、C''、D''、…が現れてい
る。原画像での線分C、Dの角度はπ(ラジアン)の整
数倍の任意成分を含むので、ハフ変換平面上ではそれに
対応して多数現れる。
画像のそれぞれについて、図3で説明した画像変換処理
が行われ、ハフ変換平面上の画像H1(ρ,θ)、H
2(ρ,θ)が作成される。すなわち、図4の(イ)の原
モデル画像I1(x,y) は、図5の(イ)のエッジ画像
R1(x,y)を経て(S11)、ハフ変換画像H1(ρ,
θ)に変換される(S12)。ハフ変換画像H1(ρ,θ)
はハフ変換平面に投影された正弦曲線群であるが、そ
こから集積点と包絡線とを抽出したものを図6の(イ)
に示す。以下の説明では図6のようなものを便宜上「ハ
フ変換画像」ということがある。図6の(イ)のハフ変
換画像H1(ρ,θ) では、図4の(イ)の原入力画像I
1(x,y) における同心円弧A、Bに対応してθ軸に平
行な直線A'、B'が現れている。また、線分C、Dに対
応してθ軸上に点C'、D'、C''、D''、…が現れてい
る。原画像での線分C、Dの角度はπ(ラジアン)の整
数倍の任意成分を含むので、ハフ変換平面上ではそれに
対応して多数現れる。
【0047】また、図4の(ロ)の原入力画像I2(x,
y) は、図5の(ロ)のエッジ画像R2(x,y)を経て
(S11)、図6の(ロ)のハフ変換画像H2(ρ,θ)
に変換される(S12)。図6の(ロ)のハフ変換画像
H2(ρ,θ) では、図4の(ロ)の原入力画像I2(x,
y) における同心円弧a、bに対応してθをパラメータ
とする2本の平行な正弦曲線a'、b'が現れている。ま
た、線分c、dに対応して点c'、d'、c''、d''、…
が現れている。
y) は、図5の(ロ)のエッジ画像R2(x,y)を経て
(S11)、図6の(ロ)のハフ変換画像H2(ρ,θ)
に変換される(S12)。図6の(ロ)のハフ変換画像
H2(ρ,θ) では、図4の(ロ)の原入力画像I2(x,
y) における同心円弧a、bに対応してθをパラメータ
とする2本の平行な正弦曲線a'、b'が現れている。ま
た、線分c、dに対応して点c'、d'、c''、d''、…
が現れている。
【0048】(S3)ハフ変換画像H1(ρ,θ)、H
2(ρ,θ)に基づいて、モデル画像と入力画像との間の
回転角パラメータφの推定を行う。回転角パラメータφ
を他の変換パラメータより先に抽出する理由は、前記数
式6で示されたように、ハフ変換平面上では回転角パラ
メータφが他の変換パラメータと分離されてθ方向のシ
フトとして現れることにある。すなわち、他の変換パラ
メータと無関係に単独で抽出できるからである。そこ
で、図6(イ)の点C'、D'、…と(ロ)の点c'、
d'、…とから、両者のθ方向のシフト量を決定し、こ
れを回転角パラメータφとする。かくして求められたφ
は、原画像(図4)上での回転角に対応している。
2(ρ,θ)に基づいて、モデル画像と入力画像との間の
回転角パラメータφの推定を行う。回転角パラメータφ
を他の変換パラメータより先に抽出する理由は、前記数
式6で示されたように、ハフ変換平面上では回転角パラ
メータφが他の変換パラメータと分離されてθ方向のシ
フトとして現れることにある。すなわち、他の変換パラ
メータと無関係に単独で抽出できるからである。そこ
で、図6(イ)の点C'、D'、…と(ロ)の点c'、
d'、…とから、両者のθ方向のシフト量を決定し、こ
れを回転角パラメータφとする。かくして求められたφ
は、原画像(図4)上での回転角に対応している。
【0049】なお、原画像が図4のような単純なもので
なくもっと複雑である場合には、このようなグラフ上で
のシフト量の決定は必ずしも容易ではないが、その場合
の処理については後に別途説明する。
なくもっと複雑である場合には、このようなグラフ上で
のシフト量の決定は必ずしも容易ではないが、その場合
の処理については後に別途説明する。
【0050】(S4)回転角パラメータφが求められた
ら、ハフ変換平面上で回転のマッチングを行う。すなわ
ち、図6において(イ)のモデルハフ変換画像H1(ρ,
θ) をθ軸方向にφだけシフトさせる(図7)。このシ
フトさせたモデルハフ変換画像をH1'(ρ,θ)とする
と、入力ハフ変換画像H2(ρ,θ) との関係は数式7で
表される。ハフ変換平面上でのこのシフト操作は、原画
像上での原点中心の回転操作に相当する。このシフト操
作により、モデル画像H1'(ρ,θ)と入力画像H2(ρ,
θ) とでθ軸が一致するので、残るスケールパラメータ
sおよび平行移動パラメータtx、tyの推定を、ρ軸に
沿った断面のみで行うことができる。
ら、ハフ変換平面上で回転のマッチングを行う。すなわ
ち、図6において(イ)のモデルハフ変換画像H1(ρ,
θ) をθ軸方向にφだけシフトさせる(図7)。このシ
フトさせたモデルハフ変換画像をH1'(ρ,θ)とする
と、入力ハフ変換画像H2(ρ,θ) との関係は数式7で
表される。ハフ変換平面上でのこのシフト操作は、原画
像上での原点中心の回転操作に相当する。このシフト操
作により、モデル画像H1'(ρ,θ)と入力画像H2(ρ,
θ) とでθ軸が一致するので、残るスケールパラメータ
sおよび平行移動パラメータtx、tyの推定を、ρ軸に
沿った断面のみで行うことができる。
【0051】
【数7】
【0052】(S5)次にスケールパラメータsの推定
を行う。この推定は、θ軸が一致しているモデル画像H
1'(ρ,θ)と入力画像H2(ρ,θ) とにより行う。前記
のように原画像上での拡大または縮小はハフ変換平面上
でρ方向の拡大または縮小として現れるので、画像H1'
(ρ,θ)と画像H2(ρ,θ) とでρ方向のスケールパラ
メータを抽出すればよい。そこで図7において、任意の
共通のθ(例えばθ=3π/2)での画像の断面を比較
してその相似比によりスケールパラメータsを抽出す
る。
を行う。この推定は、θ軸が一致しているモデル画像H
1'(ρ,θ)と入力画像H2(ρ,θ) とにより行う。前記
のように原画像上での拡大または縮小はハフ変換平面上
でρ方向の拡大または縮小として現れるので、画像H1'
(ρ,θ)と画像H2(ρ,θ) とでρ方向のスケールパラ
メータを抽出すればよい。そこで図7において、任意の
共通のθ(例えばθ=3π/2)での画像の断面を比較
してその相似比によりスケールパラメータsを抽出す
る。
【0053】すなわち、図8の(イ)に示すように画像
H1'(ρ,θ)の断面f(ρ)には、画像H1'(ρ,θ)中の
点C''、直線A'、B'に対応して極大が現れている。ま
た、図8の(ロ)に示すように画像H2(ρ,θ)の断面
g(ρ)には、画像H2(ρ,θ)中の点d''、正弦曲線
a'、b'に対応して極大が現れている。そして、f(ρ)
上とg(ρ)上とでの各極大間の距離の比rが原画像にお
けるスケールパラメータsに対応している。そこで、θ
の各値について比rを求め、そのうち最も高頻度なもの
をスケールパラメータsとする。かくして、スケールパ
ラメータsの推定が行われる。
H1'(ρ,θ)の断面f(ρ)には、画像H1'(ρ,θ)中の
点C''、直線A'、B'に対応して極大が現れている。ま
た、図8の(ロ)に示すように画像H2(ρ,θ)の断面
g(ρ)には、画像H2(ρ,θ)中の点d''、正弦曲線
a'、b'に対応して極大が現れている。そして、f(ρ)
上とg(ρ)上とでの各極大間の距離の比rが原画像にお
けるスケールパラメータsに対応している。そこで、θ
の各値について比rを求め、そのうち最も高頻度なもの
をスケールパラメータsとする。かくして、スケールパ
ラメータsの推定が行われる。
【0054】なお、原画像が図4のような単純なもので
なくもっと複雑である場合には、極大同士の対応づけは
必ずしも明白ではないが、その場合の処理については後
に別途説明する。
なくもっと複雑である場合には、極大同士の対応づけは
必ずしも明白ではないが、その場合の処理については後
に別途説明する。
【0055】(S6)続いて平行移動パラメータtx、
tyの推定を行う。スケールパラメータsの推定の際、
θの各値について比rと同時にρ軸上での平行移動量t
0(θ) が求まる。この値については、数式6を用いて自
由度1の拘束条件を有する数式8が導かれる。そこで、
θの各値について数式8に最もよく合うように平行移動
パラメータtx、tyを決定する。かくして、必要なパラ
メータがすべて求められたことになる。
tyの推定を行う。スケールパラメータsの推定の際、
θの各値について比rと同時にρ軸上での平行移動量t
0(θ) が求まる。この値については、数式6を用いて自
由度1の拘束条件を有する数式8が導かれる。そこで、
θの各値について数式8に最もよく合うように平行移動
パラメータtx、tyを決定する。かくして、必要なパラ
メータがすべて求められたことになる。
【0056】
【数8】
【0057】なお、原画像が図4のような単純なもので
なくもっと複雑である場合には、前記S5での極大同士
の対応づけが必ずしも明白ではないためρ軸上での平行
移動量t0(θ) も必ずしも容易には決定できないが、そ
の場合の処理については後に別途説明する。
なくもっと複雑である場合には、前記S5での極大同士
の対応づけが必ずしも明白ではないためρ軸上での平行
移動量t0(θ) も必ずしも容易には決定できないが、そ
の場合の処理については後に別途説明する。
【0058】(S7)次に、S3〜S6で求めた各パラ
メータのマッチング良否の判定を行う。すなわち、モデ
ル画像I1(x,y) に、求めた各パラメータφ、s、t
x、tyによるアフィン変換を施して推定画像を作成し、
これと入力画像I2(x,y) との整合性を見る。良否判
定の基準はあらかじめ定めておく。よく一致している場
合には(S7:Yes)、マッチングができたものとし
て処理を終了する。
メータのマッチング良否の判定を行う。すなわち、モデ
ル画像I1(x,y) に、求めた各パラメータφ、s、t
x、tyによるアフィン変換を施して推定画像を作成し、
これと入力画像I2(x,y) との整合性を見る。良否判
定の基準はあらかじめ定めておく。よく一致している場
合には(S7:Yes)、マッチングができたものとし
て処理を終了する。
【0059】(S8)一致が不十分な場合には(S7:
No)、反復推定を行い精度向上を図る。このため、S
7で作成した推定画像ともとの入力画像I2(x,y) と
から、それらの重複部分のみを切り出し、これらを改め
てモデル画像I1(x,y) および入力画像I2(x,y)
とする。重複部分とは、推定画像ともとの入力画像との
両者の視野となっている範囲である。この切り出しを行
う理由は、S7で作成した推定画像には求めた各パラメ
ータφ、s、tx、tyによるアフィン変換が施されてい
るためもとの画像と視野が完全には一致しないので、重
複部分以外の部分を次回の推定に含めてしまうとかえっ
てノイズ要因となり精度向上が図れないからである。そ
の後、更新された新たなモデル画像I1(x,y)と入力
画像I2(x,y)とによりS2以後の処理を再実行す
る。
No)、反復推定を行い精度向上を図る。このため、S
7で作成した推定画像ともとの入力画像I2(x,y) と
から、それらの重複部分のみを切り出し、これらを改め
てモデル画像I1(x,y) および入力画像I2(x,y)
とする。重複部分とは、推定画像ともとの入力画像との
両者の視野となっている範囲である。この切り出しを行
う理由は、S7で作成した推定画像には求めた各パラメ
ータφ、s、tx、tyによるアフィン変換が施されてい
るためもとの画像と視野が完全には一致しないので、重
複部分以外の部分を次回の推定に含めてしまうとかえっ
てノイズ要因となり精度向上が図れないからである。そ
の後、更新された新たなモデル画像I1(x,y)と入力
画像I2(x,y)とによりS2以後の処理を再実行す
る。
【0060】この反復を、S7の良否判定が良となるま
で繰り返す。判定が良となったら、各反復回(n)ごと
に求められた各パラメータφn、txn、tyn をそれぞれ
合計し、パラメータsn を掛け合わせれば、最初のモデ
ル画像と入力画像との間の変換パラメータが求められた
ことになり、両画像のマッチングは完了する。
で繰り返す。判定が良となったら、各反復回(n)ごと
に求められた各パラメータφn、txn、tyn をそれぞれ
合計し、パラメータsn を掛け合わせれば、最初のモデ
ル画像と入力画像との間の変換パラメータが求められた
ことになり、両画像のマッチングは完了する。
【0061】なお、ここでは図4のような単純な原画像
を例示して説明したので、S3、S5、S6での各パラ
メータの推定は容易であったが、図9のような複雑なも
の(エッジ画像を図10に示す)である場合には必ずし
も容易とは限らない。その場合の処理について説明す
る。なお、図9(イ)、(ロ)の原画像は、ともに生花
の写真を原画とするものであり、完全な直線は含まれて
いないが、部分的には直線に近似する形状がいくつか含
まれている。画像は150pix(画素)×150pi
xの画面のものであり、スケールパラメータs=0.
9、回転角パラメータφ=20°、平行移動パラメータ
tx=10pix、ty=5pixのアフィン変換により
対応づけられるものである。
を例示して説明したので、S3、S5、S6での各パラ
メータの推定は容易であったが、図9のような複雑なも
の(エッジ画像を図10に示す)である場合には必ずし
も容易とは限らない。その場合の処理について説明す
る。なお、図9(イ)、(ロ)の原画像は、ともに生花
の写真を原画とするものであり、完全な直線は含まれて
いないが、部分的には直線に近似する形状がいくつか含
まれている。画像は150pix(画素)×150pi
xの画面のものであり、スケールパラメータs=0.
9、回転角パラメータφ=20°、平行移動パラメータ
tx=10pix、ty=5pixのアフィン変換により
対応づけられるものである。
【0062】(S3)まず、回転角パラメータφの推定
は次のように行う。図9の原画像に対するハフ変換画像
(集積点等の抽出を行う前のもの)は図11に示すよう
になる。図11には曲線の一点付近への集中がいくつか
認められ、これらは原画像に含まれる直線に近似する形
状に対応する。そこで、集中度があらかじめ定めたしき
い値以上である点の各θごとの度数分布をとることによ
り、原画像に含まれる直線近似形状の方向の分布を示す
関数が得られる。
は次のように行う。図9の原画像に対するハフ変換画像
(集積点等の抽出を行う前のもの)は図11に示すよう
になる。図11には曲線の一点付近への集中がいくつか
認められ、これらは原画像に含まれる直線に近似する形
状に対応する。そこで、集中度があらかじめ定めたしき
い値以上である点の各θごとの度数分布をとることによ
り、原画像に含まれる直線近似形状の方向の分布を示す
関数が得られる。
【0063】
【数9】
【0064】そこで、数式9を用いて画像H1(ρ,
θ)、H2(ρ,θ)のθ軸への射影ヒストグラム(以下、
「方向性ヒストグラム」という)E1(θ)、E2(θ)をと
り1次元化する(図12を参照)。数式9でthは投票
(図11における曲線の集中度)のしきい値を示す。1
次元化されたE1(θ)とE2(θ)とで数式10を用いて残
差が最小になるようにφを選べば、回転角パラメータφ
が求められたことになる。φを変化させたときの残差は
この例示では図13に示すようになり、残差が最小にな
るφを約9°と読みとることができる。
θ)、H2(ρ,θ)のθ軸への射影ヒストグラム(以下、
「方向性ヒストグラム」という)E1(θ)、E2(θ)をと
り1次元化する(図12を参照)。数式9でthは投票
(図11における曲線の集中度)のしきい値を示す。1
次元化されたE1(θ)とE2(θ)とで数式10を用いて残
差が最小になるようにφを選べば、回転角パラメータφ
が求められたことになる。φを変化させたときの残差は
この例示では図13に示すようになり、残差が最小にな
るφを約9°と読みとることができる。
【0065】
【数10】
【0066】(S5)スケールパラメータsの推定は次
のように行う。図11のハフ変換画像について回転のマ
ッチング(S4)を行ってからあるθの値についてρ軸
断面f(ρ)、g(ρ)をとると図14に示すようになり、
極大同士の対応付けは必ずしも明白ではない。そこで、
f(ρ)とg(ρ)との極大点をそれぞれ、{ρ1,ρ2,
…}、{ρ'1,ρ'2,…}とし、1個ずつ取り出して
{ρi,ρ'j} とすると、スケールパラメータsおよび
ρ軸上での平行移動量t0を用いて、ρiとρ'jとを数式
11のように結びつけることができる。
のように行う。図11のハフ変換画像について回転のマ
ッチング(S4)を行ってからあるθの値についてρ軸
断面f(ρ)、g(ρ)をとると図14に示すようになり、
極大同士の対応付けは必ずしも明白ではない。そこで、
f(ρ)とg(ρ)との極大点をそれぞれ、{ρ1,ρ2,
…}、{ρ'1,ρ'2,…}とし、1個ずつ取り出して
{ρi,ρ'j} とすると、スケールパラメータsおよび
ρ軸上での平行移動量t0を用いて、ρiとρ'jとを数式
11のように結びつけることができる。
【0067】
【数11】
【0068】数式11は、{ρi,ρ'j}の組み合わせ
に対するsとt0との拘束関係を示しており、t0−s
空間上では直線をなす。この直線は、当該組み合わせを
拡大・縮小のみで結びつけた場合のt0 と、ρ軸上のシ
フトのみで結びつけた場合のsとをそれぞれ切片とす
る。{ρi,ρ'j} の各組み合わせについて当該直線を
投票すれば、正しい組み合わせについては、図15に示
すように1点で交わる。したがって、{ρi,ρ'j} の
可能なすべての組み合わせについて数式11の直線を投
票し、最も多くの直線が交差する点(最多投票点)を決
定する。そしてこの作業を各θについて行い、最も高頻
度に決定された点のs座標をもってスケールパラメータ
sとする。かくして、スケールパラメータsが求まる。
に対するsとt0との拘束関係を示しており、t0−s
空間上では直線をなす。この直線は、当該組み合わせを
拡大・縮小のみで結びつけた場合のt0 と、ρ軸上のシ
フトのみで結びつけた場合のsとをそれぞれ切片とす
る。{ρi,ρ'j} の各組み合わせについて当該直線を
投票すれば、正しい組み合わせについては、図15に示
すように1点で交わる。したがって、{ρi,ρ'j} の
可能なすべての組み合わせについて数式11の直線を投
票し、最も多くの直線が交差する点(最多投票点)を決
定する。そしてこの作業を各θについて行い、最も高頻
度に決定された点のs座標をもってスケールパラメータ
sとする。かくして、スケールパラメータsが求まる。
【0069】(S6)平行移動パラメータtx、tyの推
定は次のように行う。各θごとのスケールパラメータs
の推定(S5)の際に決定した各θごとの最多投票点の
t0 座標により、各θごとにρ軸上での平行移動量t
0(θ)が求められる。この移動量t0(θ)と原画像上での
平行移動パラメータtx、tyとの関係は、傾きθを持つ
直線の移動量と平行移動との関係に該当する。すなわ
ち、図16に示すように、傾きθを持つ直線が(tx、
ty)なる平行移動をしたときの見かけの移動量がt
0(θ) である。したがって求められたt0(θ) に対し、
可能な(tx、ty)の組み合わせは図16の直線上に無
限に存在し、自由度1の拘束条件を有している。
定は次のように行う。各θごとのスケールパラメータs
の推定(S5)の際に決定した各θごとの最多投票点の
t0 座標により、各θごとにρ軸上での平行移動量t
0(θ)が求められる。この移動量t0(θ)と原画像上での
平行移動パラメータtx、tyとの関係は、傾きθを持つ
直線の移動量と平行移動との関係に該当する。すなわ
ち、図16に示すように、傾きθを持つ直線が(tx、
ty)なる平行移動をしたときの見かけの移動量がt
0(θ) である。したがって求められたt0(θ) に対し、
可能な(tx、ty)の組み合わせは図16の直線上に無
限に存在し、自由度1の拘束条件を有している。
【0070】そこで図17に示すように、各θごとのt
0(θ)を用い、x軸をtxとしy軸をtyとするx−y空
間に傾きθと原点からの距離t0(θ)とにより特定され
る直線を投票する。この投票空間で最も多くの直線が交
差する点の(x、y)座標を平行移動パラメータtx、
tyとする。
0(θ)を用い、x軸をtxとしy軸をtyとするx−y空
間に傾きθと原点からの距離t0(θ)とにより特定され
る直線を投票する。この投票空間で最も多くの直線が交
差する点の(x、y)座標を平行移動パラメータtx、
tyとする。
【0071】以上詳細に説明したように本実施の形態に
おいては、原画像である入力画像とモデル画像とについ
て、エッジ抽出を行いエッジ画像に変換してからパラメ
ータ推定処理を行うようにしたので、図9のような濃淡
があり複雑な図形を含む原画像についても、高精度にパ
ラメータを推定しマッチングを行うことができる。特
に、明確な直線が含まれない原画像についても、直線に
近似する形状が含まれていればマッチングを行うことが
できる。
おいては、原画像である入力画像とモデル画像とについ
て、エッジ抽出を行いエッジ画像に変換してからパラメ
ータ推定処理を行うようにしたので、図9のような濃淡
があり複雑な図形を含む原画像についても、高精度にパ
ラメータを推定しマッチングを行うことができる。特
に、明確な直線が含まれない原画像についても、直線に
近似する形状が含まれていればマッチングを行うことが
できる。
【0072】また、エッジ画像に変換された原画像をハ
フ変換したハフ変換平面上でパラメータ推定処理を行う
ようにしたので、原画像における図形の回転が拡大・縮
小や平行移動と分離されてハフ変換平面上のθ軸方向の
シフトとして現れ、このため回転角パラメータを他のパ
ラメータから独立したパラメータとして最初に推定する
ことができる。また、両ハフ変換平面をθ軸上に射影し
た方向性ヒストグラムの残差が最小になるθを求めるこ
とによりシフトを決定するので、図9のような複雑な図
形を含む原画像についても、曖昧さなくハフ変換平面上
のθ軸方向のシフトを決定し、回転角パラメータを推定
することができる。そして、推定した回転角パラメータ
により回転のみマッチングさせることができるので、残
るスケールパラメータおよび平行移動パラメータの推定
では、回転角を考慮せずに推定を行うことができる。
フ変換したハフ変換平面上でパラメータ推定処理を行う
ようにしたので、原画像における図形の回転が拡大・縮
小や平行移動と分離されてハフ変換平面上のθ軸方向の
シフトとして現れ、このため回転角パラメータを他のパ
ラメータから独立したパラメータとして最初に推定する
ことができる。また、両ハフ変換平面をθ軸上に射影し
た方向性ヒストグラムの残差が最小になるθを求めるこ
とによりシフトを決定するので、図9のような複雑な図
形を含む原画像についても、曖昧さなくハフ変換平面上
のθ軸方向のシフトを決定し、回転角パラメータを推定
することができる。そして、推定した回転角パラメータ
により回転のみマッチングさせることができるので、残
るスケールパラメータおよび平行移動パラメータの推定
では、回転角を考慮せずに推定を行うことができる。
【0073】また、回転をマッチングさせた状態での両
ハフ変換平面について、対応するθの値での断面を作成
するようにしたので、それらの相似比によりスケールパ
ラメータを推定することができる。特に、各断面の極大
点の組み合わせにより特定される直線を各組み合わせご
とにt0−s 空間に投票し、その最多投票点を各θごと
に決定して最多投票点のs座標をもって相似比とするの
で、図9のような複雑な図形を含む原画像についても、
曖昧さなくスケールパラメータを推定することができ
る。
ハフ変換平面について、対応するθの値での断面を作成
するようにしたので、それらの相似比によりスケールパ
ラメータを推定することができる。特に、各断面の極大
点の組み合わせにより特定される直線を各組み合わせご
とにt0−s 空間に投票し、その最多投票点を各θごと
に決定して最多投票点のs座標をもって相似比とするの
で、図9のような複雑な図形を含む原画像についても、
曖昧さなくスケールパラメータを推定することができ
る。
【0074】また、両ハフ変換平面の断面のρ軸上での
平行移動量により平行移動パラメータを推定することが
できる。特に、スケールパラメータの推定の際に各θご
とに決定した最多投票点を利用してそのt0 座標とθの
値とにより特定される直線をx−y空間に投票しその最
頻の点の座標をもって平行移動パラメータ(2次元)を
推定するので、図9のような複雑な図形を含む原画像に
ついても、曖昧さなく平行移動パラメータを推定するこ
とができる。
平行移動量により平行移動パラメータを推定することが
できる。特に、スケールパラメータの推定の際に各θご
とに決定した最多投票点を利用してそのt0 座標とθの
値とにより特定される直線をx−y空間に投票しその最
頻の点の座標をもって平行移動パラメータ(2次元)を
推定するので、図9のような複雑な図形を含む原画像に
ついても、曖昧さなく平行移動パラメータを推定するこ
とができる。
【0075】このように本実施の形態では、回転角、ス
ケール、平行移動の各パラメータをこの順序で順次推定
するので、無駄な総当たりをしないで効率よくパラメー
タ推定し、マッチングさせることができる。また、推定
したパラメータにより推定画像を作成するので、マッチ
ングの良否判定と反復繰り返しを行うことができ、マッ
チング精度の向上を図ることができる。
ケール、平行移動の各パラメータをこの順序で順次推定
するので、無駄な総当たりをしないで効率よくパラメー
タ推定し、マッチングさせることができる。また、推定
したパラメータにより推定画像を作成するので、マッチ
ングの良否判定と反復繰り返しを行うことができ、マッ
チング精度の向上を図ることができる。
【0076】なお、本発明は前記実施の形態に限定され
るものではなく、その要旨を逸脱しない範囲内で種々の
改良、変形が可能であることはもちろんである。例え
ば、図2のフロー中S7では原画像について推定画像を
作成し、その後の反復処理で改めてエッジ抽出を行いハ
フ変換を行う(S2、図3)こととしたが、その代わり
にエッジ画像について推定画像の作成を行うことも考え
られる。その場合には、反復処理ではエッジ抽出をしな
いでハフ変換を行えばよい。
るものではなく、その要旨を逸脱しない範囲内で種々の
改良、変形が可能であることはもちろんである。例え
ば、図2のフロー中S7では原画像について推定画像を
作成し、その後の反復処理で改めてエッジ抽出を行いハ
フ変換を行う(S2、図3)こととしたが、その代わり
にエッジ画像について推定画像の作成を行うことも考え
られる。その場合には、反復処理ではエッジ抽出をしな
いでハフ変換を行えばよい。
【0077】
【実施例】上記のようにして、図4のような単純な原画
像はもちろん、図9のような複雑な原画像についても、
高精度にマッチングを行うことができる。本発明者ら
は、エンジニアリングワークステーションを用いて図1
の装置を作成し、本発明の有効性を確認するための第1
の実験として、図9の原画像に対してマッチング実験を
行った。その際の実験条件としての各パラメータの推定
範囲と標本化精度は、表1のとおりであった。
像はもちろん、図9のような複雑な原画像についても、
高精度にマッチングを行うことができる。本発明者ら
は、エンジニアリングワークステーションを用いて図1
の装置を作成し、本発明の有効性を確認するための第1
の実験として、図9の原画像に対してマッチング実験を
行った。その際の実験条件としての各パラメータの推定
範囲と標本化精度は、表1のとおりであった。
【0078】
【表1】
【0079】
【表2】
【0080】マッチング実験の結果、表2に示すように
反復4回で各推定パラメータが正しい値に収束した。な
おこの実験では、図2のフロー中S7の良否判断を行わ
ずに反復を繰り返したが、収束後は標本化精度の範囲内
で振動した。反復1回(S3〜S8)当たりの所要時間
は約10秒で、他に図3中S11のエッジ抽出に約5
秒、S12のハフ変換に約5秒を要した。
反復4回で各推定パラメータが正しい値に収束した。な
おこの実験では、図2のフロー中S7の良否判断を行わ
ずに反復を繰り返したが、収束後は標本化精度の範囲内
で振動した。反復1回(S3〜S8)当たりの所要時間
は約10秒で、他に図3中S11のエッジ抽出に約5
秒、S12のハフ変換に約5秒を要した。
【0081】次に第2の実験として、図18(イ)、
(ロ)に示す原画像を用いてマッチングを行うととも
に、反復ごとに推定画像がどのように変化していくかを
確認した。図18の原画像は、ともに回路基板の写真を
原画とするものであり、直線とみなしうる形状がいくつ
か含まれている。画像は240pix(画素)×240
pixの画面のものであり、スケールパラメータs=
1.0、回転角パラメータφ=0°、平行移動パラメー
タtx=30pix、ty=0pixのアフィン変換によ
り対応づけられるものである。すなわち両画像は、水平
方向に30pixずれている他は拡大・縮小成分も回転
成分も含んでいない。
(ロ)に示す原画像を用いてマッチングを行うととも
に、反復ごとに推定画像がどのように変化していくかを
確認した。図18の原画像は、ともに回路基板の写真を
原画とするものであり、直線とみなしうる形状がいくつ
か含まれている。画像は240pix(画素)×240
pixの画面のものであり、スケールパラメータs=
1.0、回転角パラメータφ=0°、平行移動パラメー
タtx=30pix、ty=0pixのアフィン変換によ
り対応づけられるものである。すなわち両画像は、水平
方向に30pixずれている他は拡大・縮小成分も回転
成分も含んでいない。
【0082】この実験では、図2のフロー中S7におい
て、ハフ変換入力画像H1(ρ,θ)でなく原入力画像I1
(x,y) に対してアフィン変換を行い、x−y空間上
で推定画像を作成することとした。そして反復処理で
は、更新された新たなモデル画像I2(x,y) である推
定画像についてもエッジ抽出とハフ変換と(S2)を施
してからパラメータ推定を行うようにした。さらに、推
定画像が作成されるたびに原入力画像I1(x,y)との
差を残差画像I3(x,y)として推定画像とともに出力
することとした。
て、ハフ変換入力画像H1(ρ,θ)でなく原入力画像I1
(x,y) に対してアフィン変換を行い、x−y空間上
で推定画像を作成することとした。そして反復処理で
は、更新された新たなモデル画像I2(x,y) である推
定画像についてもエッジ抽出とハフ変換と(S2)を施
してからパラメータ推定を行うようにした。さらに、推
定画像が作成されるたびに原入力画像I1(x,y)との
差を残差画像I3(x,y)として推定画像とともに出力
することとした。
【0083】実験の結果、反復回数1〜3回ごとに図1
9に示す推定画像が得られた。推定された平行移動パラ
メータは、反復1回めがtx=23pix、2回めがtx
=28pix、3回めがtx=29pix で、反復2回
でほぼ収束した。なお他のパラメータは、反復1回めか
らスケールパラメータs=1.0、回転角パラメータφ
=0°、平行移動パラメータty=0pix で真値と一
致しており、2回め以後も変化はなかった。また、反復
1回当たりの所要時間は約18秒であった。また、各回
ごとに図20に示す残差画像が得られた。推定画像にな
い左端部分を除いて、反復を繰り返すごとに残差が少な
くなり、マッチングがよくなっていることが理解でき
る。
9に示す推定画像が得られた。推定された平行移動パラ
メータは、反復1回めがtx=23pix、2回めがtx
=28pix、3回めがtx=29pix で、反復2回
でほぼ収束した。なお他のパラメータは、反復1回めか
らスケールパラメータs=1.0、回転角パラメータφ
=0°、平行移動パラメータty=0pix で真値と一
致しており、2回め以後も変化はなかった。また、反復
1回当たりの所要時間は約18秒であった。また、各回
ごとに図20に示す残差画像が得られた。推定画像にな
い左端部分を除いて、反復を繰り返すごとに残差が少な
くなり、マッチングがよくなっていることが理解でき
る。
【0084】
【発明の効果】以上の説明から明らかなように請求項1
と請求項3の発明によれば、入力画像とモデル画像との
間に回転、拡大または縮小、平行移動が複合していても
高精度にマッチングを行うことができる画像マッチング
方法とその装置が提供されている。また、請求項2と請
求項4の発明によれば、複雑な濃淡や図形を含むが明確
な直線が含まれない入力画像およびモデル画像について
も高精度に効率よくマッチングを行うことができる画像
マッチング方法とその装置が提供されている。
と請求項3の発明によれば、入力画像とモデル画像との
間に回転、拡大または縮小、平行移動が複合していても
高精度にマッチングを行うことができる画像マッチング
方法とその装置が提供されている。また、請求項2と請
求項4の発明によれば、複雑な濃淡や図形を含むが明確
な直線が含まれない入力画像およびモデル画像について
も高精度に効率よくマッチングを行うことができる画像
マッチング方法とその装置が提供されている。
【図1】実施の形態に係る画像マッチング装置の構成を
示す図である。
示す図である。
【図2】実施の形態に係る画像マッチングの処理手順を
示すフローチャートである。
示すフローチャートである。
【図3】図2における画像変換処理の内容を示すフロー
チャートである。
チャートである。
【図4】原画像の1例を示す図である。
【図5】図4の画像から抽出されたエッジ画像を示す図
である。
である。
【図6】図5の画像のハフ変換平面を示す図である。
【図7】図6のハフ変換平面について回転マッチングを
行った状態を示す図である。
行った状態を示す図である。
【図8】図7のハフ変換平面のθ軸断面を示す図であ
る。
る。
【図9】原画像の別の1例を示す図である。
【図10】図9の画像から抽出されたエッジ画像を示す
図である。
図である。
【図11】図10の画像のハフ変換平面を示す図であ
る。
る。
【図12】図11のハフ変換平面から得られた方向性ヒ
ストグラムである。
ストグラムである。
【図13】図12の方向性ヒストグラムの残差を説明す
るグラフである。
るグラフである。
【図14】図11のハフ変換平面のθ軸断面を示す図で
ある。
ある。
【図15】s−t0投票空間を示す図である。
【図16】真の移動と見かけの移動との関係を説明する
図である。
図である。
【図17】平行移動の投票空間を説明する図である。
【図18】原画像の別の1例を示す図である。
【図19】図18の原画像からの推定画像の変遷を示す
図である。
図である。
【図20】図18の原画像からの残差画像の変遷を示す
図である。
図である。
【図21】原画像とハフ変換平面との関係を説明する図
である。
である。
1 処理装置 3 CPU 4 ROM 5 RAM
フロントページの続き (72)発明者 柴田 進 愛知県小牧市大字北外山字早崎3005 シー ケーディ株式会社内
Claims (4)
- 【請求項1】 入力画像とモデル画像との間の回転角パ
ラメータ、スケールパラメータ、および平行移動パラメ
ータを推定して両画像をマッチングする画像マッチング
方法において、 前記入力画像および前記モデル画像をハフ変換して入力
ハフ変換平面およびモデルハフ変換平面を作成し、 前記入力ハフ変換平面と前記モデルハフ変換平面とを対
比してそのθ軸方向のシフトから前記回転角パラメータ
を推定し、 前記両ハフ変換平面の対応するθでのρ軸断面の相似比
から前記スケールパラメータを推定し、 前記両ρ軸断面のρ軸方向のシフトから前記平行移動パ
ラメータを推定することを特徴とする画像マッチング方
法。 - 【請求項2】 請求項1に記載する画像マッチング方法
において、 前記両ハフ変換平面の作成を、前記入力画像およびモデ
ル画像についてエッジ抽出を行ってから行い、 前記回転角パラメータの推定を、前記両ハフ変換平面の
θ軸への射影ヒストグラム間の残差が最小になるように
前記θ軸方向のシフトを決定することにより行い、 前記スケールパラメータの推定および前記平行移動パラ
メータの推定を、 推定した前記回転角パラメータを用いて前記両ハフ変換
平面をθ軸方向に整合し、 各θごとに前記両ρ軸断面の極大点の組み合わせにより
相似比−シフト空間に直線を投票して最頻投票点を決定
し、 各θごとの前記最頻投票点の相似比座標の最頻のものを
前記相似比と決定して前記スケールパラメータを推定
し、 各θごとに前記最頻投票点のシフト座標を原点からの距
離としθの値を傾きとする直線をx−y空間に投票し、
この投票が最頻であった点のx−y座標を前記平行移動
パラメータと推定することにより行うことを特徴とする
画像マッチング方法。 - 【請求項3】 入力画像とモデル画像との間の回転角パ
ラメータ、スケールパラメータ、および平行移動パラメ
ータを推定して両画像をマッチングする画像マッチング
装置において、 前記入力画像および前記モデル画像をハフ変換して入力
ハフ変換平面およびモデルハフ変換平面を作成するハフ
変換手段と、 前記入力ハフ変換平面と前記モデルハフ変換平面とを対
比してそのθ軸方向のシフトから前記回転角パラメータ
を推定する回転角パラメータ推定手段と、 前記両ハフ変換平面の対応するθでのρ軸断面の相似比
から前記スケールパラメータを推定するスケールパラメ
ータ推定手段と、 前記両ρ軸断面のρ軸方向のシフトから前記平行移動パ
ラメータを推定する平行移動パラメータ推定手段とを備
えたことを特徴とする画像マッチング装置。 - 【請求項4】 請求項3に記載する画像マッチング装置
において、 前記入力画像および前記モデル画像についてエッジ抽出
を行うエッジ抽出手段と、 前記両ハフ変換平面についてそれぞれθ軸への射影ヒス
トグラムを作成する射影ヒストグラム作成手段と、 前記回転角パラメータ推定手段が推定した前記回転角パ
ラメータを用いて前記両ハフ変換平面をθ軸方向に整合
する回転整合手段と、 前記回転整合手段によりθ軸方向に整合された前記両ハ
フ変換平面について各θごとのρ軸断面の極大点の組み
合わせにより相似比−シフト空間に直線を投票して各θ
ごとの最頻投票点を決定する最頻投票点決定手段とを備
え、 前記ハフ変換手段は、前記エッジ抽出手段によりエッジ
抽出がなされた前記両画像についてハフ変換を行い前記
両ハフ変換平面を作成し、 前記回転角パラメータ推定手段は、前記両射影ヒストグ
ラム間の残差が最小になるように前記θ軸方向のシフト
を決定して前記回転角パラメータを推定し、 前記スケールパラメータ推定手段は、各θごとの前記最
頻投票点の相似比座標の最頻のものを前記相似比と決定
して前記スケールパラメータを推定し、 前記平行移動パラメータ推定手段は、各θごとに前記最
頻投票点のシフト座標を原点からの距離としθの値を傾
きとする直線をx−y空間に投票し、この投票が最頻で
あった点のx−y座標を前記平行移動パラメータと推定
することを特徴とする画像マッチング装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17423596A JPH09330414A (ja) | 1996-06-12 | 1996-06-12 | 画像マッチング方法およびその装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17423596A JPH09330414A (ja) | 1996-06-12 | 1996-06-12 | 画像マッチング方法およびその装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09330414A true JPH09330414A (ja) | 1997-12-22 |
Family
ID=15975089
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17423596A Pending JPH09330414A (ja) | 1996-06-12 | 1996-06-12 | 画像マッチング方法およびその装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09330414A (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100957191B1 (ko) * | 2008-07-07 | 2010-05-11 | 연세대학교 산학협력단 | 숨은그림찾기 이미지 제작 방법 및 시스템 |
| US7720307B2 (en) | 2003-10-07 | 2010-05-18 | Sony Corporation | Image matching method, program, and image matching system |
| CN101911100A (zh) * | 2008-01-09 | 2010-12-08 | 三菱电机株式会社 | 用于图像识别的基于特征的签名 |
| JP2013085583A (ja) * | 2011-10-14 | 2013-05-13 | Tokyo Medical & Dental Univ | 眼底画像解析装置、眼底画像解析方法及びプログラム |
| US9483683B2 (en) | 2014-03-19 | 2016-11-01 | Fujitsu Limited | Alignment apparatus, alignment method, and alignment computer program |
-
1996
- 1996-06-12 JP JP17423596A patent/JPH09330414A/ja active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7720307B2 (en) | 2003-10-07 | 2010-05-18 | Sony Corporation | Image matching method, program, and image matching system |
| US7860279B2 (en) | 2003-10-07 | 2010-12-28 | Sony Corporation | Image matching method, program, and image matching system |
| CN101911100A (zh) * | 2008-01-09 | 2010-12-08 | 三菱电机株式会社 | 用于图像识别的基于特征的签名 |
| JP2011511340A (ja) * | 2008-01-09 | 2011-04-07 | ミツビシ・エレクトリック・アールアンドディー・センター・ヨーロッパ・ビーヴィ | 画像識別のための特徴ベースの識別特性(signature) |
| US8660385B2 (en) | 2008-01-09 | 2014-02-25 | Mitsubishi Electric Corporation | Feature-based signatures for image identification |
| KR100957191B1 (ko) * | 2008-07-07 | 2010-05-11 | 연세대학교 산학협력단 | 숨은그림찾기 이미지 제작 방법 및 시스템 |
| JP2013085583A (ja) * | 2011-10-14 | 2013-05-13 | Tokyo Medical & Dental Univ | 眼底画像解析装置、眼底画像解析方法及びプログラム |
| US9483683B2 (en) | 2014-03-19 | 2016-11-01 | Fujitsu Limited | Alignment apparatus, alignment method, and alignment computer program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN102084378B (zh) | 基于照相机的文档成像 | |
| US10977827B2 (en) | Multiview estimation of 6D pose | |
| US6774889B1 (en) | System and method for transforming an ordinary computer monitor screen into a touch screen | |
| US5990900A (en) | Two-dimensional to three-dimensional image converting system | |
| US20060188131A1 (en) | System and method for camera tracking and pose estimation | |
| EP0883088A2 (en) | Automated mapping of facial images to wireframe topologies | |
| JP2008107860A (ja) | 画像対間の変換を推定する方法、画像を表現する方法、並びにこの方法のための装置、制御装置、及びコンピュータプログラム | |
| CN101388115A (zh) | 一种结合纹理信息的深度图像自动配准方法 | |
| CN102834845A (zh) | 用于多摄像装置校准的方法与装置 | |
| CN107545223B (zh) | 图像识别方法及电子设备 | |
| JP6579659B2 (ja) | 光源推定装置及びプログラム | |
| EP3404583A1 (en) | System and method for model adaptation | |
| CN111696072A (zh) | 彩色图像的直线检测方法、装置、电子设备及存储介质 | |
| Werner et al. | Model selection for automated architectural reconstruction from multiple views | |
| JP2008252856A (ja) | 画像の補正方法、補正プログラムおよび画像歪み補正装置 | |
| JPH09330414A (ja) | 画像マッチング方法およびその装置 | |
| CN119672766B (zh) | 眼镜设备中手关节检测的方法、存储介质、电子设备及产品 | |
| Lelore et al. | Super-resolved binarization of text based on the FAIR algorithm | |
| JP2011107878A (ja) | 位置検出装置、位置検出方法 | |
| Stranner et al. | Instant segmentation and fitting of excavations in subsurface utility engineering | |
| Arevalo et al. | Improving piecewise linear registration of high-resolution satellite images through mesh optimization | |
| JP3527588B2 (ja) | テンプレートマッチング方法 | |
| Oladipo et al. | Vision-Based Multi-Stage Lane Detection for Single-Camera Video Analysis | |
| JP2002197472A (ja) | 物体認識方法 | |
| CN119577684A (zh) | 基于改进特征点提取的多传感器融合算法 |