JPH0528273A - 画像処理方法および装置 - Google Patents

画像処理方法および装置

Info

Publication number
JPH0528273A
JPH0528273A JP3237456A JP23745691A JPH0528273A JP H0528273 A JPH0528273 A JP H0528273A JP 3237456 A JP3237456 A JP 3237456A JP 23745691 A JP23745691 A JP 23745691A JP H0528273 A JPH0528273 A JP H0528273A
Authority
JP
Japan
Prior art keywords
image
differential
input
reference image
input image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP3237456A
Other languages
English (en)
Inventor
Muneki Hamashima
宗樹 浜島
Shinichi Okita
晋一 沖田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP3237456A priority Critical patent/JPH0528273A/ja
Priority to US07/880,592 priority patent/US5479537A/en
Publication of JPH0528273A publication Critical patent/JPH0528273A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【目的】 線画による輪郭のみからなる画像についても
確実にパターン認識が行え、しかも部分的な濃淡のコン
トラストの変化があっても確実なパターン認識が行える
画像処理方法および装置を提供する。 【構成】 記憶手段ａには参照画像が予め記憶されてお
り、入力手段ｂには入力画像が入力される。これら記憶
手段ａおよび入力手段ｂから得られる参照画像および入
力画像は、微分手段ｃによりその双方に同一の微分フィ
ルタが掛けられて微分参照画像および微分入力画像が求
められる。これら微分参照画像および微分入力画像は、
微分相関値算出手段ｄまたは内積和算出手段ｈに入力さ
れてこれらの相互相関値または内積和が算出され、画像
認識手段ｅによりこの相互相関値または内積和の極大値
が求められて参照画像と入力画像との相対的な位置関係
が求められる。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、入力画像中から登録さ
れた参照画像を認識するパターン・マッチングを行う画
像処理方法および装置に関する。
【０００２】
【従来の技術】従来より、登録された参照画像をその中
に含む入力画像を対象に、この参照画像と入力画像との
パターン・マッチングを行ってこれら参照画像と入力画
像との相対的な位置関係（ずれ）を求める技術は周知で
ある。
【０００３】このようなパターン・マッチングの手法と
して、参照画像および入力画像を２値化することなく濃
淡画像のままで互いの相互相関値を求め、この相互相関
値の最大値から参照画像と入力画像との相対的な位置関
係（ずれ）を求める手法がある。この際、画像の明るさ
やコントラストによる影響を除去するため、相互相関値
を画像の平均値と分散値とで正規化することが行われて
いる。
【０００４】相互相関の演算は、入力画像Ｓと参照画像
Ｔとについて分散Ｄs、Ｄt
【数１】 および画像Ｓ、Ｔの共分散Ｄst
【数２】 とを求め、これら分散Ｄs、Ｄtおよび共分散Ｄstから相
関係数Ｃst
【数３】 を算出することにより行われる。ここで、Ｍは相互相関
演算を行うべき領域の画素のＸ方向の個数、ＮはＹ方向
の個数であり、入力画像Ｓと参照画像Ｔとの大きさは等
しいものとしている。（なお、√Ｘ＝（Ｘ）1/2を示
す。以下同様。）
【０００５】相関係数Ｃstは、−１≦Ｃst≦１の範囲の
値をとり、入力画像Ｓと参照画像Ｔとが一致した場合は
Ｃst＝１、全く相関がない場合はＣst＝０の値をとる。
【０００６】一般に、入力画像Ｓは参照画像Ｔより大き
く、従って、相互相関をとるべき入力画像Ｃの領域を参
照画像Ｔと等しい大きさに区切り、この区切りを順次走
査して、相関係数Ｃstが最大値をとる領域を入力画像Ｓ
と参照画像Ｔとが一致する箇所であるとしてパターン・
マッチングが行われる。
【０００７】相互相関演算によるパターン・マッチング
では、パターン全体の濃淡分布の情報をそのまま用い、
これを各画像の特徴としてマッチングが行われるので、
入力画像Ｓと参照画像Ｔとの間に明るさやコントラスト
の変化があっても比較的確実に認識が行えるとともに、
パターンに多少の欠陥があっても認識できるという利点
がある。
【０００８】
【発明が解決しようとする課題】しかしながら、従来の
相互相関演算によるパターン・マッチングでは、図１３
(ａ)に示すような線画による輪郭のみからなる画像を参
照画像Ｔとした場合、濃淡としての情報が少ないため誤
認識をする可能性がある、という問題があった。
【０００９】また、従来の相互相関演算によるパターン
・マッチングは、パターン全体の濃淡分布の一致をみて
パターン認識を行うものであるため、このパターンの濃
淡分布自体が部分的に変化すると正確な認識が困難にな
る。さらに、演算処理の高速化を目的として入力画像Ｓ
あるいは参照画像Ｔに対して圧縮・平均化処理を行う
と、図１３(ａ)に示すような画像はエッジ部のみで鋭敏
な濃淡分布を有するため、圧縮・平均化により濃淡分布
の情報が損われ、この結果、参照画像Ｔに対する入力画
像Ｓの誤認識の可能性が高くなる。
【００１０】特に、画像の輪郭線が物体の凹凸に基づく
ものである場合、この物体に照射される光の方向によ
り、図１３(ａ)に示す画像は容易に図１３(ｂ)，(ｃ)，
(ｄ)に示すような画像となることがある。図１３(ａ)に
示す画像と図１３(ｂ)，(ｃ)，(ｄ)に示すような画像と
はその濃淡分布が全く異なるものであり、濃淡分布が異
なる画像は相互相関演算によるパターン・マッチングで
は異なるものとして認識される、という問題もあった。
【００１１】本発明の目的は、線画による輪郭のみから
なる画像についても確実にパターン認識が行え、しかも
部分的な濃淡のコントラストの変化があっても確実なパ
ターン認識が行える画像処理方法および装置を提供する
ことにある。
【００１２】
【課題を解決するための手段】クレーム対応図である図
１に対応付けて説明すると、本発明は、予め入力された
参照画像と入力画像とのパターン・マッチングを行う画
像処理方法および装置に適用される。そして、請求項１
の発明は、前記参照画像および入力画像の双方に同一の
微分フィルタを掛けて微分参照画像および微分入力画像
を得る工程と、これら微分参照画像と微分入力画像との
相互相関値を算出する工程と、この相互相関値の極大値
から前記参照画像と入力画像との相対的な位置関係を求
める工程とにより上述の目的を達成している。また、請
求項２の発明は、前記参照画像が予め記憶された記憶手
段ａと、前記入力画像が入力される入力手段ｂと、前記
参照画像および入力画像の双方に同一の微分フィルタを
掛けて微分参照画像および微分入力画像を得る微分手段
ｃと、これら微分参照画像と微分入力画像との相互相関
値を算出する微分相関値算出手段ｄと、この相互相関値
の極大値から前記参照画像と入力画像との相対的な位置
関係を求める画像認識手段ｅとを設けることにより上述
の目的を達成している。また、請求項３の発明は、請求
項２に記載の画像処理装置において、前記微分フィルタ
をラプラシアン・フィルタ等方向性を持たないエッジ強
調フィルタとしたものである。さらに、請求項４の発明
は、請求項２または３に記載の画像処理装置において、
前記相互相関値を微分参照画像および微分入力画像の標
準偏差でそれぞれ除算することにより相関値の正規化を
行う正規化手段ｆを設け、前記画像認識手段ｅが、正規
化された相互相関値の極大値から前記参照画像と入力画
像との相対的な位置関係を求めるようなものである。さ
らに、請求項５の発明は、請求項２、３および４のいず
れかに記載の画像処理装置において、参照画像と入力画
像との相互相関値を算出する相関値算出手段ｇを設け、
前記画像認識手段ｅが、予め定められた条件に基づい
て、相関値算出手段ｇまたは微分相関値算出手段ｄのい
ずれか一方を用いて前記参照画像と入力画像との相対的
な位置関係を求めるようなものである。一方、請求項６
の発明は、前記参照画像が予め記憶された記憶手段ａ
と、前記入力画像が入力される入力手段ｂと、前記参照
画像および入力画像の双方にＸ方向およびＹ方向の偏微
分フィルタを掛けて２種類の微分参照画像および微分入
力画像を得る微分手段ｃと、これら２種類の微分参照画
像および微分入力画像の値をそれぞれＸ方向およびＹ方
向の成分とする微分参照画像ベクトルおよび微分入力画
像ベクトルの内積和を算出する内積和算出手段ｈと、こ
の内積和の極大値から前記参照画像と入力画像との相対
的な位置関係を求める画像認識手段ｆとを設けることに
より上述の目的を達成している。また、請求項７の発明
は、請求項６に記載の画像処理装置において、前記偏微
分フィルタをソーベル・フィルタ等方向性を持つエッジ
強調フィルタとしたものである。さらに、請求項８の発
明は、請求項６または７に記載の画像処理装置におい
て、前記内積和を微分参照画像および微分入力画像の標
準偏差でそれぞれ除算することにより内積和の正規化を
行う正規化手段ｆを設け、前記画像認識手段ｅが、正規
化された内積和の極大値から前記参照画像と入力画像と
の相対的な位置関係を求めるようなものである。そし
て、請求項９の発明は、請求項６、７および８のいずれ
かに記載の画像処理装置において、参照画像と入力画像
との相互相関値を算出する相関値算出手段ｇを設け、前
記画像認識手段ｅが、予め定められた条件に基づいて、
内積和算出手段ｈまたは相関値算出手段ｇのいずれか一
方を用いて前記参照画像と入力画像との相対的な位置関
係を求めるようなものである。また、請求項１０の発明
は、請求項１に記載の画像処理方法において、前記参照
画像に方向性を持つ微分フィルタを掛けて、この参照画
像が微分参照画像と微分入力画像との相互相関演算を行
うのに適切な画像であるかを自動的に判別する工程を備
えたものである。
【００１３】
【作用】
−請求項１− 参照画像および入力画像には、ともに同一の微分フィル
タが掛けられて微分参照画像および微分入力画像が得ら
れる。これら微分参照画像および微分入力画像からは、
これらの相互相関値が算出され、この相互相関値の最大
値から参照画像と入力画像との相対的な位置関係が求め
られる。 −請求項２− 記憶手段ａには参照画像が予め記憶されており、入力手
段ｂには入力画像が入力される。これら記憶手段ａおよ
び入力手段ｂから得られる参照画像および入力画像は、
微分手段ｃによりその双方に同一の微分フィルタが掛け
られて微分参照画像および微分入力画像が求められる。
これら微分参照画像および微分入力画像は、微分相関値
算出手段ｄに入力されてこれらの相互相関値が算出さ
れ、画像認識手段ｅによりこの相互相関値の極大値が求
められて参照画像と入力画像との相対的な位置関係が求
められる。 −請求項６− 記憶手段ａには参照画像が予め記憶されており、入力手
段ｂには入力画像が入力される。これら記憶手段ａおよ
び入力手段ｂから得られる参照画像および入力画像は、
微分手段ｃによりその双方にＸ方向およびＹ方向の偏微
分フィルタが掛けられて２種類の微分参照画像および微
分入力画像が求められる。これら２種類の微分参照画像
および微分入力画像は内積和算出手段ｈに入力されて、
これら２種類の微分参照画像および微分入力画像の値を
それぞれＸ方向およびＹ方向の成分とする微分参照画像
ベクトルおよび微分入力画像ベクトルの内積和が算出さ
れる。そして、画像認識手段ｅによりこの内積和の極大
値から前記参照画像と入力画像との相対的な位置関係が
求められる。
【００１４】
【実施例】
−第１実施例− 図２は、本発明による画像処理方法および装置の第１実
施例を示すブロック図である。この図において、１は本
実施例に係る画像処理装置であり、この画像処理装置１
は、マイクロコンピュータ、メモリ等からなり、画像の
入出力操作、相関演算処理操作等のコントロールを行う
ＣＰＵボード（以下、これをホストＣＰＵボードとい
う）２と、画像メモリ３と、高速演算処理装置４とを備
え、これらホストＣＰＵボード２、画像メモリ３および
高速演算処理装置４はそれぞれシステムバス５、データ
バス６にて接続されている。ホストＣＰＵボード２のメ
モリ内には、参照画像データが予め入力、格納されてい
る。
【００１５】７はＴＶカメラ等の撮像素子であり、この
撮像素子７により撮像された画像は、Ａ／Ｄコンバータ
８を介して（デジタル）入力画像データとして画像メモ
リ３内に格納される。９はＴＶモニタ等の表示装置であ
り、この表示装置９には画像メモリ３内の画像データが
Ｄ／Ａコンバータ１０を介して出力される。１１はイン
ターフェース部であり、このインターフェース部１１を
介して外部のアプリケーション部（図示略）に処理結果
が出力される。
【００１６】次に、図３のフローチャートおよび図４〜
図１１を参照して、本実施例の動作について説明する。
プログラムが開始すると、ステップＳ１では撮像素子７
によりパターン・マッチングすべき画像が撮像され、Ａ
／Ｄコンバータ８を介して画像メモリ３内に入力画像デ
ータが格納される。ステップＳ２ではホストＣＰＵボー
ド２のメモリ内に格納された参照画像データの一部が読
み出され、この読み出された参照画像データが後述する
正規化相互相関処理に供される。ステップＳ３では、ス
テップＳ２で読み出された参照画像データと画像メモリ
３内の入力画像データとの正規化相互相関処理が行われ
る。
【００１７】図４は、本実施例における正規化相互相関
処理の詳細を示す図である。画像メモリ１３からは、図
１１に示すようにその左上から順次参照画像データに対
応する大きさの入力画像データＳ0が読み出される。デ
ータ圧縮平均部１５では、演算処理時間短縮の為、入力
画像データＳ0がｐ×ｑ画素で構成される領域に分割さ
れ、その領域内のｐ×ｑ個のデータの平均値で領域のデ
ータを代表する等の演算処理により、画像データの圧縮
平均化が行われる。同様に、ステップＳ２においてホス
トＣＰＵボード２内の参照画像格納部１４から読み出さ
れた参照画像データＴ0に対して、画像データの圧縮平
均化が行われる。階調変換部１６では、相互相関の結果
が良好になるように、圧縮平均化された参照画像データ
Ｔ´の階調変換が行われる。
【００１８】積和演算部１７では、圧縮平均化が行われ
た参照画像データＴ（このデータについては階調変換も
行われている）および入力画像データＳの積和が演算さ
れる。この積和は、圧縮平均化後の参照画像データＴの
サイズをＭ×Ｎとした場合、ΣΣＳij・Ｔijで表される
（ここにΣΣは、１≦ｉ≦Ｍ、１≦ｊ≦Ｎ間における総
和を表す、以下同じ）。
【００１９】一方、累積加算部１８では、圧縮平均化が
行われた入力画像データＳの累積和ΣΣＳijが求めら
れ、自乗加算部１９ではその自乗和ΣΣＳij 2が求めら
れる。そして、標準偏差演算部２０では、これら累積和
ΣΣＳijおよび自乗和ΣΣＳij 2を用いて、標準偏差√
Ｄs（(２)式参照）が求められる。
【００２０】同様に、累積加算部１８では、圧縮平均化
および階調変換が行われた参照画像データＴの累積和Σ
ΣＴijが求められ、自乗加算部１９ではその自乗和ΣΣ
Ｔij 2が求められる。そして、標準偏差演算部２０で
は、これら累積和ΣΣＴijおよび自乗和ΣΣＴij 2を用
いて、標準偏差√Ｄt（(１)式参照）が求められる。
【００２１】そして、正規化相関演算部２１では、積和
演算部１７で求められた積和ΣΣＳijＴijを用いて共分
散Ｄst（(３)式参照）が求められるとともに、標準偏差
演算部２０で求められた標準偏差√Ｄs、√Ｄtおよび共
分散Ｄstを用いて、相関係数Ｃst（(４)式参照）が求め
られる。
【００２２】以上の正規化相互相関演算は、図１１に示
すように画像メモリ１３から読み出される入力画像デー
タＳ0を順次左上から右下まで順次１画素ずつずらし、
それぞれの入力画像データＳ0について繰り返し行われ
る。そして、上述の相関係数Ｃstの最大値および座標値
がホストＣＰＵボード２のメモリ内に一時的に記憶され
る。
【００２３】ステップＳ４では相関係数Ｃstの最大値が
予め定めた閾値以上であるか否かが判定され、閾値以上
と判定されればこの相関係数Ｃstの最大値が得られた入
力画像データＳ0の位置がインターフェース部１１を介
して外部に出力される。一方、相関係数Ｃstの最大値が
閾値を越えないと判定された場合、プログラムはステッ
プＳ５に移行して、後述する輪郭相互相関処理が行われ
る。
【００２４】ステップＳ５ではホストＣＰＵボード２の
メモリ内に格納された参照画像データの一部が読み出さ
れ、この読み出された参照画像データが後述する輪郭相
互相関処理に供される。ステップＳ６では、ステップＳ
５で読み出された参照画像データに対して図７(ａ)
(ｂ)、図８(ａ)(ｂ)の各方向性を有する微分フィルタを
個別に掛け、各々の微分フィルタについての累積和を求
める。図７に示す微分フィルタは、Ｘ方向およびＹ方向
の方向性を有するソーベル（Sobel）微分フィルタであ
り、図８に示す微分フィルタは、ＸＹ方向（一次関数Ｙ
＝ＸまたはＹ＝−Ｘで表される方向）の方向性を有する
フィルタである。従って、ステップＳ５で読み出された
参照画像データがこれらＸ方向、Ｙ方向、あるいはＸＹ
方向に沿った輪郭線を有する場合には、その方向に沿っ
た方向性を有する微分フィルタと参照画像データとの累
積和は有意な値を示す。
【００２５】ステップＳ７では４つの各累積和の値が予
め定められた閾値以下であるか否かが判定され、４つの
累積和のうち３つ以上閾値以下のものがあると判定され
ると、パターンの輪郭がないか、若しくは、パターンが
ある一定の方向しかないものとみなし、プログラムはス
テップＳ５に戻る。４つの累積和のうち３つ以上閾値以
下のものがないと判定されると、参照画像データが適切
であるとみなし、ステップＳ７に移行する。ステップＳ
７では、この参照画像データを用いて後述する輪郭相互
相関処理が行われる。
【００２６】図５は、本実施例における輪郭相互相関処
理の詳細を示す図である。画像メモリ２３からは、図１
１に示すようにその左上から順次参照画像データに対応
する大きさの入力画像データＳ0が読み出される。この
入力画像データＳ0は、演算処理時間短縮の為、データ
圧縮平均部２５により圧縮平均化が行われる。同様に、
ステップＳ５においてホストＣＰＵボード２内の参照画
像格納部２４から読み出された参照画像データＴ0に対
して、データ圧縮平均部２５により画像データの圧縮平
均化が行われる。
【００２７】Ｘ方向微分処理部２６では、圧縮平均化を
施した入力画像データＳおよび参照画像データＴに図７
(ａ)のＸ方向ソーベル演算フィルタが掛けられ、Ｙ方向
の輪郭成分を強調した微分値Ｓｙ、Ｔｙ（以下、Ｘ方向
微分値と言う）が求められる。同様に、Ｙ方向微分処理
部２７では、圧縮平均化を施した入力画像データＳおよ
び参照画像データＴに図７(ｂ)のＹ方向ソーベル演算フ
ィルタが掛けられ、Ｘ方向の輪郭成分を強調した微分値
Ｓｘ、Ｔｘ（以下、Ｙ方向微分値と言う）が求められ
る。以下、図６で一般的に表示される微分フィルタにお
いて、この微分フィルタを構成する３×３マトリックス
の画素Ｇ（以下、注目画素と言う）を原点とし、画像の
輪郭の強さと方向性を示す図１０に示すようなベクトル
Ｓ、Ｔ（以下、スカラー値と区別する意味で、ベクトル
値については下線を施す。但し、図および式において
は、通常の矢印によるベクトル記号で表示する）を考え
る。そして、これらベクトルＳ、Ｔの成分表示を（Ｓ
ｘ，Ｓｙ）および（Ｔｘ，Ｔｙ）で行なう。
【００２８】自乗加算部２８では、上述のＸ方向微分処
理部２６およびＹ方向微分処理部２７で得られたＸ方向
微分値Ｓｘ、ＴｘおよびＹ方向微分値Ｓｙ、Ｔｙの自乗
和が求められる。この自乗和は、圧縮平均化後の参照画
像データＴのサイズをＭ×Ｎとした場合、ΣΣＳ
ｘij 2、ΣΣＴｘij 2およびΣΣＳｙij 2、ΣΣＴｙij 2で
表される。
【００２９】ここで、図４に示す従来の正規化相互相関
処理では、画像各点の濃度値から平均濃度値を差引くこ
とにより濃度の正規化を行なっていたが、本実施例の輪
郭相互相関処理では、各画像データに微分フィルタを施
しているために濃度値の一定な領域では微分値は０とな
る。従って、輪郭ベクトルＳ、Ｔの大きさは画像全体の
一様な濃度階調変化による影響を受けない。これは、輪
郭ベクトルから輪郭ベクトルの平均値を差引き正規化す
る必要性はなくなることを意味する。
【００３０】よって、標準偏差演算部２９では、入力画
像側の自乗和ΣΣＳｘij 2、ΣΣＳｙij 2から入力画像に
おける輪郭ベクトルの標準偏差として(５)式が求めら
れ、参照画像の自乗和ΣΣＴｘij 2、ΣΣＴｙij 2から参
照画像における輪郭ベクトルの標準偏差として(６)式が
求められる。
【数４】 なお、これら標準偏差が０の時は、後述する正規化演算
が不能であるため、以降の演算処理を中止し、入力画像
を次の位置に移行させて使用メモリの低減と処理時間の
短縮を図ることもできる。
【００３１】積和演算部３０では、Ｘ方向微分処理部２
６から得られる参照画像データのＸ方向微分値Ｔｙijと
入力画像データのＸ方向微分値Ｓｙijとの積和ΣΣＳｙ
ij・Ｔｙijが求められる。同様に、Ｙ方向微分処理部２
７から得られる参照画像データのＹ方向微分値Ｔｘijと
入力画像データのＹ方向微分値Ｓｘijとの積和ΣΣＳｘ
ij・Ｔｘijも求められる。ベクトル内積和演算部３１で
は、積和演算部３０で求められたＸ方向微分値の積和Σ
ΣＳｙij・ＴｙijとＹ方向微分値の積和ΣΣＳｘij・Ｔｘ
ijとの和が算出される。こうして、参照画像Ｔと入力画
像Ｓの対応する各画素間で、図１０に示すベクトルＳと
Ｔの内積和
【数５】 が求められ、参照画像Ｔと入力画像Ｓの間で輪郭の方向
性と強さの両方を加味した相関値が得られることにな
る。すなわち、図１０に示すように、これらベクトル
Ｓ、Ｔの内積和が最大値をとれば、ベクトルＳ＝Ｔ、す
なわち参照画像Ｔと入力画像Ｓの輪郭の方向性および強
さが一致しているのであり、逆に、ベクトルＳ、Ｔの内
積和が０であれば、ベクトルＳ⊥Ｔ、すなわち参照画像
Ｔと入力画像Ｓの輪郭の方向性には全く相関性がないこ
とが示される。もし、図１３(ｂ)、(ｃ)のように濃淡コ
ントラストが反転している画像を意図的に識別する必要
のない場合は、この内積和が０以下の時以降の演算処理
を中止し、入力画像を次の位置に移行させることで使用
メモリの低減と処理時間の短縮を図ることができる。
【００３２】輪郭ベクトル相関係数演算部２２では、ベ
クトル内積和演算部３１で求められたベクトル内積和Σ
Σ（TxijSxij＋TyijSyij）の平均値を、標準偏差演算部
２９で求められた参照画像側の輪郭ベクトルの標準偏差
値√[1/(M・N)・ΣΣ(Txij 2＋Tyij 2)]と入力画像側の輪郭
ベクトルの標準偏差値√[1/(M・N)・ΣΣ(Sxij 2＋Syij 2)]
で各々除算し正規化することによって、輪郭ベクトル相
関係数Ｃvを算出する。この輪郭ベクトル相関係数Ｃ
vは、
【数６】 で表される。
【００３３】また、一定方向に一定の濃度勾配を持つ画
像上に輪郭パターンが存在する場合には次式
【数７】
【数８】 に示すように、各輪郭ベクトルから輪郭ベクトルの平均
値を差引き正規化することによって輪郭ベクトル相関係
数Ｃvは
【数９】 で表される。この正規化により、入力画像に一定の濃度
勾配の変化があった場合でもテンプレート画像との正規
化されたパターンマッチングを行うことができる。
【００３４】図１３の(ａ)、(ｂ)、(ｃ)、(ｄ)に示すよ
うに、上下・左右に対称な輪郭パターンが、濃度階調一
定の画像上に存在する場合には、参照画像側の輪郭ベク
トルの平均値1/(M・N)・ΣΣTij は０、入力画像側の輪郭
ベクトルの平均値1/(M・N)・ΣΣSij は０となり、(９)式
の入力画像側の輪郭ベクトルの標準偏差は(５)式に一致
し、(10)式の参照画像側の輪郭ベクトルの標準偏差は
(６)式に一致し、(11)式のベクトル内積和の平均値は
(７)式に一致し、従って、(12)式の輪郭ベクトル相関係
数Ｃvは(８)式に一致することとなる。
【００３５】相関係数Ｃvの値は−１≦Ｃv≦＋１の範囲
で、Ｃv＝１のときは入力画像Ｓと参照画像Ｔとの間
で、その輪郭の方向と大きさが一致していることを示
し、Ｃv＝−１のときは方向が１８０°逆方向になって
いることを示し、Ｃv＝０のときは方向の相関がないこ
とを示している。従って、濃淡コントラストが完全に反
転している画像を意図的に識別する場合は、Ｃv＝−１
に近い位置をとらえればよく、輪郭線の形だけを問題に
して濃淡コントラストは無視したい場合は、絶対値｜Ｃ
v｜の最大値を算出して識別すればよい。
【００３６】以上の正規化相互相関演算は、図１１に示
すように画像メモリ２３から読み出される入力画像デー
タＳ0を順次左上から右下まで順次１画素ずつずらし、
それぞれの入力画像データＳ0について繰り返し行われ
る。そして、上述の相関係数Ｃvの最大値がホストＣＰ
Ｕボード２のメモリ内に一時的に記憶される。この相関
係数Ｃvの最大値が得られた入力画像データＳ0の位置
は、インターフェース部１１を介して外部アプリケーシ
ョン部１２に出力される。
【００３７】以上示した手順により入力画像と参照画像
とのパターン・マッチングを行うことができる。ここ
で、本実施例では、これら入力画像および参照画像にＸ
方向およびＹ方向ソーベルフィルタを掛け、その微分値
から各画像の輪郭の強さおよび方向性を有するベクトル
Ｓ、Ｔを求め、これらベクトルＳ、Ｔの内積和を用いて
像の（輪郭の）相関性を求めているので、例えば図１３
(ａ)のような線画による輪郭のみからなる画像を参照画
像としても、従来の相互相関演算のように誤認識をする
おそれが少なく、確実なパターン認識を行うことができ
る。同様に、図１３に示すように、入力画像と参照画像
との間に部分的な濃淡のコントラストの変化があって
も、輪郭画像自体は濃淡のコントラストの変化に影響し
ないため、従来の相互相関演算よりも確実なパターン認
識を行うことができる。
【００３８】しかも、最初に従来の相互相関演算による
パターン認識を行い、この結果が良好でない場合に輪郭
相互相関演算を行っているので、これら双方の演算によ
り多種多様な画像に対して確実かつ正確なパターン認識
を行うことができる、という利点もある。
【００３９】−第１実施例の変形例− 上述の第１実施例では、入力画像および参照画像に方向
性を有する微分フィルタ、すなわち偏微分フィルタを掛
けて微分値を得ていたが、比較的ノイズが少なくエッジ
の鮮明な画像に対しては、図９(a)(b)のような方向性を
持たない（すなわち全微分）ラプラシアン・フィルタを
用いて微分値を得てもよい。この場合、微分値は特有の
方向性を持たず、強さのみを有するスカラー値になる。
【００４０】参照画像Ｔと入力画像Ｓの間でエッジの強
さのみの相関を示す輪郭スカラー相関係数Ｃsは、
【数１０】
【数１１】 より
【数１２】 で表される。また、輪郭スカラー相関においては、入力
画像に一定の濃度勾配の変化が存在する場合でも、ラプ
ラシアン・フィルタ等の２次微分値は常に０となるた
め、各輪郭スカラーの平均値を差引く必要はない。相関
係数Ｃsの値は−１≦Ｃs≦＋１の範囲をとる。
【００４１】従って、本実施例によっても、上述の第１
実施例と同様の作用効果を得ることができる。特に、本
実施例では、ソーベルフィルタ等のように方向性を持つ
演算フィルタをＸ方向とＹ方向で２回掛ける必要はなく
なり、演算処理時間を更に短縮できる。なお、図５にお
いて、点線矢印は輪郭スカラー相関係数算出の処理の流
れを示す。
【００４２】−第２実施例− 図１２は、本発明による画像処理方法および装置の第２
実施例の動作を示すフローチャートである。この実施例
では、予め正規化相互相関処理（ステップＳ２３）また
は輪郭相互相関処理（ステップＳ２８）のいずれを用い
てパターン認識を行うかが定められており、従って、ス
テップＳ２１で入力画像を読み込んだ後、ステップＳ２
０ではいずれの処理が行われるかが判定され、この判定
結果に従っていずれかの処理が行われる。なお、その他
の動作は上述の第１実施例と同様であり、従って、第１
実施例のステップ番号に２０を加えた番号を図１２中に
示してその説明を省略する。よって、本実施例によって
も、上述の第１実施例と同様の作用効果を得ることがで
きる。
【００４３】なお、実施例と請求の範囲との対応におい
て、画像メモリ３は記憶手段を、撮像素子７およびＡ／
Ｄコンバータ８は入力手段を、ホストＣＰＵボード２は
微分手段、微分相関値算出手段、内積和算出手段、正規
化手段、相関値算出手段および画像認識手段をそれぞれ
構成している。
【００４４】なお、本発明の画像処理方法および装置
は、その細部が上述の実施例に限定されず、種々の変形
例が可能である。一例として、図１２のステップＳ２０
において、参照画像の性質により正規化相互相関処理と
輪郭相互相関処理とを自動的に切り換えるようにしても
よい。
【００４５】
【発明の効果】以上詳細に説明したように、本発明によ
れば、入力画像および参照画像に微分フィルタを掛け、
その微分値を用いて像の（輪郭の）相関性を求めている
ので、線画による輪郭のみからなる画像を参照画像とし
ても、あるいは入力画像と参照画像との間に部分的な濃
淡のコントラストの変化があっても、従来の相互相関演
算のように誤認識をするおそれが少なく、確実なパター
ン認識を行うことができる。また、請求項５、請求項８
の発明によれば、相互相関演算と輪郭相互相関演算の双
方の演算により多種多様な画像に対して確実かつ正確な
パターン認識を行うことができる、という利点もある。
【図面の簡単な説明】
【図１】本発明のクレーム対応図である。
【図２】本発明の第１実施例である画像処理装置の構成
を示すブロック図である。
【図３】第１実施例の動作を説明するためのフローチャ
ートである。
【図４】正規化相互相関処理の細部を示すブロック図で
ある。
【図５】輪郭相互相関処理の細部を示すブロック図であ
る。
【図６】一般的な微分フィルタの３×３マトリックスを
示す図である。
【図７】Ｘ方向、Ｙ方向ソーベル演算フィルタを示す図
である。
【図８】ＸＹ方向ソーベル演算フィルタを示す図であ
る。
【図９】ラプラシアン演算フィルタを示す図である。
【図１０】ベクトルＳ、Ｔおよびその成分を示す図であ
る。
【図１１】入力画像と参照画像との位置関係を示す図で
ある。
【図１２】本発明の第２実施例である画像処理装置の動
作を説明するためのフローチャートである。
【図１３】従来の正規化相互相関処理の問題点を説明す
るための図である。
【符号の説明】
１ 画像処理装置 ２ ホストＣＰＵボード ３、１３、２３ 画像メモリ ４ 高速演算処理装置 ５ システムバス ６ データバス ７ 撮像素子 ８ Ａ／Ｄコンバータ ９ 表示装置 １０ Ｄ／Ａコンバータ １１ インターフェース部 １２ アプリケーション部 １４、２４ 参照画像格納部 １５、２５ データ圧縮平均部 １６ 階調変換部 １７、３０ 積和演算部 １８ 累積加算部 １９、２８ 自乗加算部 ２０、２９ 標準偏差演算部 ２１ 正規化相関演算部 ２６ Ｘ方向微分処理部 ２７ Ｙ方向微分処理部 ３１ ベクトル内積和演算部 ３２ 輪郭ベクトル相関係数演算部 ａ 記憶手段 ｂ 入力手段 ｃ 微分手段 ｄ 微分相関値算出手段 ｅ 画像認識手段 ｆ 正規化手段 ｇ 相関値算出手段 ｈ 内積和算出手段

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 予め入力された参照画像と入力画像との
    パターン・マッチングを行う画像処理方法において、 前記参照画像および入力画像の双方に同一の微分フィル
    タを掛けて微分参照画像および微分入力画像を得る工程
    と、 これら微分参照画像と微分入力画像との相互相関値を算
    出する工程と、 この相互相関値の極大値から前記参照画像と入力画像と
    の相対的な位置関係を求める工程とを備えたことを特徴
    とする画像処理方法。
  2. 【請求項２】 予め入力された参照画像と入力画像との
    パターン・マッチングを行う画像処理装置において、 前記参照画像が予め記憶された記憶手段と、 前記入力画像が入力される入力手段と、 前記参照画像および入力画像の双方に同一の微分フィル
    タを掛けて微分参照画像および微分入力画像を得る微分
    手段と、 これら微分参照画像と微分入力画像との相互相関値を算
    出する微分相関値算出手段と、 この相互相関値の極大値から前記参照画像と入力画像と
    の相対的な位置関係を求める画像認識手段とを備えたこ
    とを特徴とする画像処理装置。
  3. 【請求項３】 請求項２に記載の画像処理装置におい
    て、前記微分フィルタはラプラシアン・フィルタ等方向
    性を持たないエッジ強調フィルタであることを特徴とす
    る画像処理装置。
  4. 【請求項４】 請求項２または３に記載の画像処理装置
    において、 前記相互相関値を微分参照画像および微分入力画像の標
    準偏差でそれぞれ除算することにより相関値の正規化を
    行う正規化手段を備え、 前記画像認識手段は、正規化された相互相関値の極大値
    から前記参照画像と入力画像との相対的な位置関係を求
    めることを特徴とする画像処理装置。
  5. 【請求項５】 請求項２、３および４のいずれかに記載
    の画像処理装置において、 参照画像と入力画像との相互相関値を算出する相関値算
    出手段を備え、 前記画像認識手段は、予め定められた条件に基づいて、
    相関値算出手段または微分相関値算出手段のいずれか一
    方を用いて前記参照画像と入力画像との相対的な位置関
    係を求めることを特徴とする画像処理装置。
  6. 【請求項６】 予め入力された参照画像と入力画像との
    パターン・マッチングを行う画像処理装置において、 前記参照画像が予め記憶された記憶手段と、 前記入力画像が入力される入力手段と、 前記参照画像および入力画像の双方にＸ方向およびＹ方
    向の偏微分フィルタを掛けて２種類の微分参照画像およ
    び微分入力画像を得る微分手段と、 これら２種類の微分参照画像および微分入力画像の値を
    それぞれＸ方向およびＹ方向の成分とする微分参照画像
    ベクトルおよび微分入力画像ベクトルの内積和を算出す
    る内積和算出手段と、 この内積和の極大値から前記参照画像と入力画像との相
    対的な位置関係を求める画像認識手段とを備えたことを
    特徴とする画像処理装置。
  7. 【請求項７】 請求項６に記載の画像処理装置におい
    て、 前記偏微分フィルタはソーベル・フィルタ等方向性を持
    つエッジ強調フィルタであることを特徴とする画像処理
    装置。
  8. 【請求項８】 請求項６または７に記載の画像処理装置
    において、 前記内積和を微分参照画像および微分入力画像の標準偏
    差でそれぞれ除算することにより内積和の正規化を行う
    正規化手段を備え、 前記画像認識手段は、正規化された内積和の極大値から
    前記参照画像と入力画像との相対的な位置関係を求める
    ことを特徴とする画像処理装置。
  9. 【請求項９】 請求項６、７および８のいずれかに記載
    の画像処理装置において、 参照画像と入力画像との相互相関値を算出する相関値算
    出手段を備え、 前記画像認識手段は、予め定められた条件に基づいて、
    内積和算出手段または相関値算出手段のいずれか一方を
    用いて前記参照画像と入力画像との相対的な位置関係を
    求めることを特徴とする画像処理装置。
  10. 【請求項１０】 請求項１に記載の画像処理方法におい
    て、 前記参照画像に方向性を持つ微分フィルタを掛けて、こ
    の参照画像が微分参照画像と微分入力画像との相互相関
    演算を行うのに適切な画像であるかを自動的に判別する
    工程を備えたことを特徴とする画像処理方法。
JP3237456A 1991-05-13 1991-08-23 画像処理方法および装置 Pending JPH0528273A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP3237456A JPH0528273A (ja) 1991-05-13 1991-08-23 画像処理方法および装置
US07/880,592 US5479537A (en) 1991-05-13 1992-05-08 Image processing method and apparatus

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP3-137221 1991-05-13
JP13722191 1991-05-13
JP3237456A JPH0528273A (ja) 1991-05-13 1991-08-23 画像処理方法および装置

Publications (1)

Publication Number Publication Date
JPH0528273A true JPH0528273A (ja) 1993-02-05

Family

ID=26470612

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3237456A Pending JPH0528273A (ja) 1991-05-13 1991-08-23 画像処理方法および装置

Country Status (2)

Country Link
US (1) US5479537A (ja)
JP (1) JPH0528273A (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6272244B1 (en) 1997-08-06 2001-08-07 Nippon Telegraph And Telephone Corporation Methods for extraction and recognition of pattern in an image method for image abnormality judging, and memory medium with image processing programs
EP0864134B1 (en) * 1995-11-13 2002-09-11 Applied Intelligent Systems, Inc. Vector correlation system for automatically locating patterns in an image
US7227996B2 (en) 2001-02-01 2007-06-05 Matsushita Electric Industrial Co., Ltd. Image processing method and apparatus for comparing edges between images
JP2007305085A (ja) * 2006-05-15 2007-11-22 Nippon Telegr & Teleph Corp <Ntt> パターンマッチング装置、パターンマッチング方法およびプログラム
JP2007305084A (ja) * 2006-05-15 2007-11-22 Nippon Telegr & Teleph Corp <Ntt> 類似度計算装置、類似度計算方法およびプログラム
US7437398B2 (en) * 2004-07-30 2008-10-14 Intel Corporation Pattern matching architecture
KR100944529B1 (ko) * 2001-09-05 2010-03-03 에스체아 히기에너 프로덕츠 악티에볼라그 데이터 입력 그래픽 사용자 인터페이스
JP2010055575A (ja) * 2008-08-29 2010-03-11 Sharp Corp 画像処理装置、画像処理プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理方法
JP2016081264A (ja) * 2014-10-16 2016-05-16 キヤノン株式会社 画像処理方法、画像処理装置及びロボットシステム
JPWO2017006648A1 (ja) * 2015-07-03 2018-04-05 Ｎｅｃソリューションイノベータ株式会社 画像判別装置、画像判別方法、及びコンピュータ読み取り可能な記録媒体

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2999679B2 (ja) * 1994-11-30 2000-01-17 大日本スクリーン製造株式会社 パターン欠陥検査装置
US5867609A (en) * 1995-12-07 1999-02-02 Nec Research Institute, Inc. Method for computing correlation operations on partially occluded data
US6133943A (en) * 1996-09-30 2000-10-17 Intel Corporation Method and apparatus for producing a composite image
JP3413589B2 (ja) * 1998-03-09 2003-06-03 富士写真フイルム株式会社 画像処理方法および装置
US6173213B1 (en) 1998-05-11 2001-01-09 Ellison Machinery Company Motorized inbound laser orientation and wheel recognition station
DE19826994C1 (de) * 1998-06-19 1999-11-25 Forschungszentrum Juelich Gmbh Bildgebungsverfahren, Computer zur Auswertung von Daten und mit dem Computer ausgestatteter Kernresonanztomograph
US6327388B1 (en) * 1998-08-14 2001-12-04 Matsushita Electric Industrial Co., Ltd. Identification of logos from document images
US7184594B1 (en) * 1999-01-18 2007-02-27 Nikon Corporation Pattern matching method and device, position determining method and device, position aligning method and device, exposing method and device, and device and its production method
US6266452B1 (en) 1999-03-18 2001-07-24 Nec Research Institute, Inc. Image registration method
JP4146027B2 (ja) * 1999-04-05 2008-09-03 株式会社岩根研究所 情報変換システム
US7796801B2 (en) * 1999-08-26 2010-09-14 Nanogeometry Research Inc. Pattern inspection apparatus and method
US6868175B1 (en) * 1999-08-26 2005-03-15 Nanogeometry Research Pattern inspection apparatus, pattern inspection method, and recording medium
US7817844B2 (en) * 1999-08-26 2010-10-19 Nanogeometry Research Inc. Pattern inspection apparatus and method
JP3626144B2 (ja) * 2002-03-01 2005-03-02 株式会社セルシス 立体オブジェクトデータからの漫画的表現の２次元画像の生成方法および生成プログラム
JP4133348B2 (ja) * 2003-01-07 2008-08-13 株式会社日立メディコ 核磁気共鳴を用いた検査装置
JP2004227519A (ja) * 2003-01-27 2004-08-12 Matsushita Electric Ind Co Ltd 画像処理方法
US7605821B1 (en) * 2005-09-29 2009-10-20 Adobe Systems Incorporated Poisson image-editing technique that matches texture contrast
TW200746259A (en) * 2006-04-27 2007-12-16 Nikon Corp Measuring and/or inspecting method, measuring and/or inspecting apparatus, exposure method, device manufacturing method, and device manufacturing apparatus
JP4943304B2 (ja) * 2006-12-05 2012-05-30 株式会社 Ｎｇｒ パターン検査装置および方法
DE102008029952A1 (de) * 2008-06-26 2009-12-31 Wincor Nixdorf International Gmbh Verfahren und Vorrichtung zum Erkennen von Transportbehältnissen
JP5429869B2 (ja) * 2008-12-22 2014-02-26 株式会社 Ｎｇｒ パターン検査装置および方法
US8150140B2 (en) * 2008-12-22 2012-04-03 Ngr Inc. System and method for a semiconductor lithographic process control using statistical information in defect identification
US9418312B2 (en) * 2014-07-30 2016-08-16 Lexmark International Technology, SA Coarse document classification

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3986000A (en) * 1975-08-01 1976-10-12 Recognition Equipment Incorporated Logarithmically normalized cross-correlation bar-code reader
US4876610A (en) * 1986-12-25 1989-10-24 Canon Kabushiki Kaisha Image processing apparatus with binarization-error dispersal
US5018218A (en) * 1988-08-29 1991-05-21 Raytheon Company Confirmed boundary pattern matching

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0864134B1 (en) * 1995-11-13 2002-09-11 Applied Intelligent Systems, Inc. Vector correlation system for automatically locating patterns in an image
US6272244B1 (en) 1997-08-06 2001-08-07 Nippon Telegraph And Telephone Corporation Methods for extraction and recognition of pattern in an image method for image abnormality judging, and memory medium with image processing programs
US7227996B2 (en) 2001-02-01 2007-06-05 Matsushita Electric Industrial Co., Ltd. Image processing method and apparatus for comparing edges between images
KR100944529B1 (ko) * 2001-09-05 2010-03-03 에스체아 히기에너 프로덕츠 악티에볼라그 데이터 입력 그래픽 사용자 인터페이스
US7437398B2 (en) * 2004-07-30 2008-10-14 Intel Corporation Pattern matching architecture
JP2007305085A (ja) * 2006-05-15 2007-11-22 Nippon Telegr & Teleph Corp <Ntt> パターンマッチング装置、パターンマッチング方法およびプログラム
JP2007305084A (ja) * 2006-05-15 2007-11-22 Nippon Telegr & Teleph Corp <Ntt> 類似度計算装置、類似度計算方法およびプログラム
JP2010055575A (ja) * 2008-08-29 2010-03-11 Sharp Corp 画像処理装置、画像処理プログラム、コンピュータ読み取り可能な記録媒体、電子機器及び画像処理方法
JP2016081264A (ja) * 2014-10-16 2016-05-16 キヤノン株式会社 画像処理方法、画像処理装置及びロボットシステム
JPWO2017006648A1 (ja) * 2015-07-03 2018-04-05 Ｎｅｃソリューションイノベータ株式会社 画像判別装置、画像判別方法、及びコンピュータ読み取り可能な記録媒体

Also Published As

Publication number Publication date
US5479537A (en) 1995-12-26

Similar Documents

Publication Publication Date Title
EP1430446B1 (en) Image processing method for appearance inspection
Murase et al. Moving object recognition in eigenspace representation: gait analysis and lip reading
JP3977776B2 (ja) ステレオキャリブレーション装置とそれを用いたステレオ画像監視装置
CN108381549B (zh) 一种双目视觉引导机器人快速抓取方法、装置及存储介质
CN111738320B (zh) 基于模板匹配的遮挡工件识别方法
JP2002259994A (ja) 自動イメージパターン検出方法及びイメージ処理装置
US9767383B2 (en) Method and apparatus for detecting incorrect associations between keypoints of a first image and keypoints of a second image
JPWO2001015086A1 (ja) 画像処理装置及び画像処理方法、並びに記録媒体
EP1229489A2 (en) Image processing method and apparatus
CN109146952B (zh) 估计车厢空闲体积的方法、装置及计算机可读存储介质
CN113610071B (zh) 人脸活体检测方法、装置、电子设备及存储介质
CN110047059A (zh) 图像处理方法、装置、电子设备及可读存储介质
CN112784712A (zh) 一种基于实时监控的失踪儿童预警实现方法、装置
CN114742789A (zh) 一种基于面结构光的通用零件拾取方法、系统及电子设备
JP2003216931A (ja) 特定パターン認識方法、特定パターン認識プログラム、特定パターン認識プログラム記録媒体および特定パターン認識装置
JPH11312243A (ja) 顔領域検出装置
Li et al. Automatic EO/IR sensor image registration
Chuang et al. χ2 test for feature detection
Choe et al. Vision-based estimation of bolt-hole location using circular hough transform
JP4812743B2 (ja) 顔認識装置、顔認識方法、顔認識プログラムおよびそのプログラムを記録した記録媒体
RU2390844C2 (ru) Способ распознавания глаз на изображении и устройство для его реализации
JP2000207557A (ja) 位置ずれ量計測方法
JP3800208B2 (ja) 画像処理方法
JP3089605B2 (ja) 顔基準点抽出方法
JP7854636B2 (ja) 画像処理装置及びプログラム