JPH04290186A - 画像処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は画像処理方法に係り、
特に文字認識や図形に認識に適用して認識確度を高める
に好適な画像処理方法に関する。

【０００２】

【従来の技術】一般に、文字や図形認識などに用いられ
る画像同定のための方法の１つにテンプレートマッチン
グ法が知られており、その簡便性と有用性から広く用い
られている。テンプレートマッチング法では入力画像と
参照画像との間の相互相関値が計算され、この値がマッ
チングスコアとなり、マッチングスコアの高いものが相
関が高いと判定されることになる。ところが、このよう
な画像同定法を用いて画像の同定を行なう場合、入力画
像と参照画像の間に位置ずれや傾きの違いがあると、た
とえその違いがわずかであってもマッチングスコアが大
幅に減少してしまうことになり、認識率の大幅な低下を
招いてしまうという問題がある。

【０００３】図７は２つの水平線画像についての入力画
像と参照画像を同定するためのテンプレートマッチング
法の一例の説明図である。図からも明らかなように、入
力画像のビットマップイメージ１と参照画像のビットマ
ップイメージ２を比較すると２つの水平線画像は上下に
１ビットのずれを持っているが、一見で類似しているよ
うに見える。ところが、この２つの画像間のマッチング
スコアはテンプレートマッチング法では０．０となる。 このため、微小な変動が常に存在するような手書きの文
字や図形の同定のためにテンプレートマッチング法を直
接的に適用することは非常に困難である。

【０００４】以上のような問題点を改善するためにテン
プレートマッチング法などの同定法を適用するに先立っ
て、従来から入力画像および参照画像を画像処理する方
法が知られているが、その中の１つにメッシュ特徴法が
ある。

【０００５】このメッシュ特徴法は図８の説明図に示す
ように、先ず入力画像および参照画像のビットマップイ
メージ３に対して画像をいくつかの小領域に分割し、各
小領域内の画素値の和をその小領域の特徴量のメッシュ
パターン４として出力することにより微小変動を吸収す
るものである。

【０００６】この場合、例えば図９の説明図に示すよう
に、入力画像のビットマップイメージ１と参照画像のビ
ットマップイメージ２からそれぞれメッシュ特徴法によ
り入力画像と参照画像のそれぞれの特徴量に基づくメッ
シュパターン５および６を得て、画像そのものではなく
これらのメッシュパターン５，６どうしをテンプレート
マッチング法により同定することにより、入力画像と参
照画像の間に微小な変動があっても高いマッチングスコ
アを得ることができる。つまり、ビットマップイメージ
１，２どうしの同定ではマッチングスコアが０．０であ
るのに対してメッシュパターン５，６どうしではマッチ
ングスコアが１．０となる。つまりメッシュ特徴法で得
たメッシュパターンは画像の変動が小領域内に収まって
いる限りは変動を吸収することができる。

【０００７】

【発明が解決しようとする課題】従来の画像処理方法は
以上のように構成されているので、画像の微小な変動を
吸収して画像同定のためのマッチングスコアを高めるこ
とができるが、反面以下のような問題点がある。

【０００８】先ず、メッシュ特徴法では小領域内での画
像の変動を吸収するだけなので、例えば図１０の説明図
に示すように、入力画像のビットマップイメージ１と参
照画像のビットマップイメージ２の間の変動が２つの領
域にまたがってしまった場合は、メッシュパターン５，
６も異なってしまい、マッチングスコアは０．０となっ
て依然として変動の吸収がなされないことになってしま
う。

【０００９】また、各小領域の中では単に画素値の和が
計算されるだけなので、微小な画像の違いが出力に反映
されないことになってしまい、例えば入力画像と出力画
像に違いがあっても全く同一の画像として扱ってしまう
というという逆の問題点を抱えることになってしまう。 そして、これを避けようとするとメッシュ化する領域の
大きさを小さくして領域の数を増やすという対応が考え
られるが、今度は変動を吸収する能力の低下を覚悟する
必要がある。

【００１０】つまり、従来の画像処理方法では画像同定
に先立って望まれる画像変動吸収に当たって、見た目に
類似した画像に対しては類似した画像なりの出力が得ら
れ、全く同一の画像に対してのみ同一の出力が得られ、
微小な差のある画像に対しては微小な差のある出力が得
られるような能力を実現することが解決すべき大きな課
題となっていた。

【００１１】従って、この発明の目的は上記従来技術の
課題を解決し、画像の小さな変動を吸収してテンプレー
トマッチング法による特徴量どうしの比較に適したサン
プリング用のマスクを得て画像同定の確度向上を可能と
した画像処理方法を得ることにある。

【００１２】

【課題を解決するための手段】上記目的を達成するため
に、この発明は、入力された多次元画像の全体を互いに
重畳するような多次元多面体に分割する第１の過程と、
分割された各多次元多面体内の各画素に関してあらかじ
め定められた関数に従って前記多面体の中心で大きく周
辺部に行くに従って小さくなるような重み付けを行なう
第２の過程と、前記重み付けに従って各画素の加重和を
取って特徴抽出しその値を画像の局所変動を吸収するた
めのマスク出力とする第３の過程を備える画像処理方法
を提供するものである。

【００１３】

【作用】上記手段において、この発明の画像処理方法で
は、第１の過程において、入力された多次元画像の全体
を互いに重畳するような多次元多面体に分割し、第２の
過程では、分割された各多次元多面体内の各画素に関し
てあらかじめ定められた関数に従って前記多面体の中心
で大きく周辺部に行くに従って小さくなるような重み付
けを行ない、第３の過程においては、前記重み付けに従
って各画素の加重和を取って特徴抽出しその値を画像の
局所変動を吸収するためのマスク出力としている。

【００１４】

【実施例】以下、図面を参照しながらこの発明の実施例
を説明する。

【００１５】図１はこの発明の一実施例に係る画像処理
方法の説明図であり、特に２次元画像の変動を吸収する
ためのサブサンプリング用マスクに適用した場合を例示
するものである。図に示すように、Ｉｘ×Ｉｙの大きさ
を持つ画像１１の全体を互いにオーバーラップする長方
形の領域に分割する。この例では、画像１１上のすべて
の画素が第１の領域７、第２の領域８、第３の領域９、
第４の領域１０の４つの長方形領域で共有される場合を
示している。この長方形の各小領域７，８，９，１０の
１つ１つがマスクに対応する。

【００１６】なお、図５では長方形領域が４つのみ示さ
れているが、実際にはこのような小領域を多数用いて画
像全体を分割する。この場合の小領域の個数をＮｘ×Ｎ
ｙとする。各の小領域にその中心部で大きく周辺に近付
くにつれて小さくなるような重みを持たせ、この重みを
用いて各領域内のすべての画素の持つ値の加重和をとり
、この値をそれぞれの長方形小領域のマスク出力とする
。

【００１７】いま、図５の左上隅の座標を（０，０）と
し、長方形の各小領域をその中心が（Ｘｉ，Ｙｊ）とな
るように配置する。ただし、Ｘｉ＝Ｉｘ／（Ｎｘ−１）
・ｉ；ｉ＝０，１，２，・・・・，Ｎｘ−１であり、Ｙ
ｊ＝Ｉｙ／（Ｎｙ−１）・ｊ；ｊ＝０，１，２，・・・
・，Ｎｙ−１である。この場合の１つの長方形小領域か
らの出力Ｌ（Ｘｉ，Ｙｊ）は

【００１８】

【数１】

【００１９】となる。ここで、Ｉは画像の存在する範囲
Ｉ＝｛（ｘ，ｙ）｜０≦ｘ＜Ｉｘ，０≦ｙ＜Ｉｙ｝　　
　　　　　　　　　　　　・・・（２）を示すものであ
り、Ｐ（ｘ，ｙ）は位置（ｘ，ｙ）にある画素の値を示
す。そして、Ｗ（Ｘｉ−ｘ，Ｙｊ−ｙ）はその中心が位
置（Ｘｉ，Ｙｊ）にある長方形小領域の位置（ｘ，ｙ）
における重みであり、この重みは中心部で大きくなり周
辺部に近付くにつれて小さくなるように設定される。式
（３）はこのような重み関数の一例を示すものである。

【００２０】

【数２】

【００２１】ここにｍａｘ（ｎ，ｍ）はｎとｍのうちの
小さくない方を示し、また｜・｜は絶対値を表わすもの
である。また、ａとｂはそれぞれ長方形小領域のｘ方向
及びｙ方向の辺の長さの２分の１であり、ａ＝Ｉｘ／（
Ｎｘ−１） ｂ＝Ｉｙ／（Ｎｙ−１）　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　・・・
（４）である。なお、重み付け関数は式（３）に示され
たものに限定される訳ではなく、領域の中心部で大きく
て周辺部に近付くにつれて小さくなるようなものであれ
ば他の関数でも適用可能である。

【００２２】以上説明した例はｎ次元画像の局所変動吸
収用マスクにも簡単に拡張することができる。例えば３
次元画像の場合、式１〜式４がそれぞれどのように変形
されるかを式（５）〜式（８）に示す。

【００２３】

【数３】

【００２４】さて、この発明の局所変動吸収用マスクに
よれば従来メッシュ特徴法の問題点とされたところが以
下のような理由で改善される。

【００２５】この実施例によれば、小領域が隣接する部
分、つまり小領域の周辺部の重みは非常に小さくなるた
め、領域間に画像の変動がまたがってもそれが出力全体
に及ぼす影響は非常に小さい。また、この小領域が隣接
する部分では、他のオーバーラップしている小領域の重
みは大きいため、この部分の画像が無視されてしまうこ
ともない。したがって、画面全体にわたって画像変動が
安定して吸収されることになる。

【００２６】一方、この実施例では小領域内でその位置
に応じた重み付けがなされているため、小領域内の画像
の微小な変動はその小領域の出力値に微小な差となって
反映される。これにより、画像の微小な変動が無視され
て全く同一の画像として扱われてしまうという不都合が
なくなり、画像の変動を吸収しつつも微小な違いも識別
可能となる。

【００２７】図２はメッシュ特徴法で高いマッチングス
コアが得られた類似画像の組に対してこの発明を適用し
た場合を例示する説明図である。図から明らかなように
、入力画像のビットマップイメージ１と参照画像のビッ
トマップイメージ２をそのまま同定したのではマッチン
グスコアは０．０であるが、それぞれのビットマップイ
メージ１，２を本実施例の方法で重み付けパターン１２
と１３に変換したうえで両者をテンプレートマッチング
法で同定するとマッチングスコアは０．８５となり、メ
ッシュ特徴法と同様に画像の変動が吸収されて高いマッ
チングスコアが得られるばかりでなく、画像の微小な変
動まで表現された理想的なマッチングスコアとなってい
る。

【００２８】一方、図３はメッシュ特徴法でマッチング
スコアが得られなかった類似画像の組に対してこの発明
を適用した場合を例示する説明図である。図から明らか
なように、入力画像のビットマップイメージ１と参照画
像のビットマップイメージ２をそのまま同定したのでは
マッチングスコアは０．０であるが、それぞれのビット
マップイメージ１、２を本実施例の方法で重み付けパタ
ーン１２と１３に変換したうえで両者をテンプレートマ
ッチング法で同定するとマッチングスコアは０．８４と
なり、この例でも同様に微小な変動まで表現した高い値
のマッチングスコアを保っており、しかもその値は図２
例とほとんど変りなく、画像の位置に無関係に安定した
同定結果を得られている。

【００２９】なお、上記実施例では画像を分割する小領
域の形状を長方形とした場合を例示したが、この発明の
実施はこれに限定されるものではなく、他の形状として
もよい。図４は小領域の形状を６角形とした場合を例示
する説明図である。図からも明らかなように、画像１１
を第１の領域７、第２の領域８、第３の領域９、第４の
領域１０、第５の領域１４、第６の領域１５と分割して
、それぞれの領域において中心部で大きく周辺部に近付
くにつれて小さくなるように重み付けを行なう。その結
果、先の実施例と全く同様に画像同定を行なった場合に
微小な変動を表現したマッチングスコアを得られるが、
一方小領域を長方形とした場合と比較して同じ面積の画
像を少ないサンプリング点数で代表することができると
いう特有の効果がある。

【００３０】図５はこの発明の画像処理方法をテンプレ
ートマッチングやニューラルネットワークを用いて手書
きの文字や手書きの図形の認識に用いた場合を例示する
説明図である。図に示すように、手書き文字からなる入
力画像１６のビットマップデータは画像処理ブロック１
８で局所変動吸収用マスクによってサンプリングされる
が、それぞれの出力を並べたベクトルが入力画像１６か
ら得られた抽出特徴ベクトル２１としてテンプレートマ
ッチングブロック１９に送出される。ここでの画像同定
の結果、高いマッチングスコアにより認識結果としての
確定出力２２が得られる。図においては手書きの”Ａ”
の文字を認識する場合を例示している。一方、手書き図
形からなる入力画像１６のビットマップデータは画像処
理ブロック１８で局所変動吸収用マスクによってサンプ
リングされるが、それぞれの出力を並べたベクトルが入
力画像１６から得られた抽出特徴ベクトル２１としてニ
ューラルネットワークブロック２０に送出される。ここ
での画像同定の結果、高いマッチングスコアにより認識
結果としての確定出力２２が得られる。ちなみに、図で
は手書きの“△”の図形を認識する場合を例示している
。　　一方、ある物体の３次元データが得られれば、こ
れを３次元多面体の小領域で分割して局所変動吸収を行
なうことにより、多少形にばらつきのある３次元立体の
同定を行なうこともできる。

【００３１】また、図形や文字の認識を行なう場合、そ
れぞれの画素の位置や輝度だけでなく、その画素固有の
特長量、例えばその点での屈曲度や接線の傾きなども併
せて考慮することにより、より正確な認識を行なうこと
ができる。この場合、１つの画素はその位置、輝度、他
の特徴量を用いた多元ベクトルで表わされ、全ての画素
を他次元ベクトル空間にマッピングすることができる。 この多次元ベクトル空間を多次元超多面体で分割して局
所変動吸収することにより、様々な特徴量の変動まで考
慮した高度な認識が可能になる。

【００３２】図６は各画素の位置における接線の角度を
３つめの次元として画像処理する場合を例示する説明図
である。この場合、入力画像１６の各画素はそれぞれの
位置（ｘ，ｙ）に加えて角度（θ）を含む（ｘ，ｙ，θ
）で表わされることになるが、これを３次元特徴空間１
７にマッピングし、これに画像処理ブロック１８で３次
元多面体のマスクで局所変動吸収の画像処理を加えるこ
とにより、接線の傾きの変動まで吸収された良好な抽出
特徴ベクトル２１を結果として得ることができる。　　
さて、以下に２つの類似した画像間のマッチングスコア
をメッシュ特徴法およびこの発明の画像処理方法つまり
局所変動吸収マスクを用いた特徴量から計算する方法に
よるそれぞれの実験結果を示す。用いた画像は水平線画
像であり、水平線は８画素長、画像全体の大きさは１２
画素×１２画素である。用いたマスクの数はいずれの方
法でも４×４である。この条件で垂直位置が１画素だけ
異なる２つの水平線画像の組を、水平線画像の垂直位置
を変えながら１１組用意し、マッチングスコアを計算し
たところ表１のような結果を得た。

【００３３】 　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　表　　１　　　　　　方法　　　　
　　　　　　平均マッチングスコア　　　　マッチング
スコアの標準偏差　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　メッシュ特徴法　　　　　　　　０．７
０７　　　　　　　　　　　　　　　　　　０．４４５
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　　　　　　　　　　　　　　　　　
　　　　　　　　　この発明の方法　　　　　　　　０
．９１８　　　　　　　　　　　　　　　　　　０．０
１２２　　　　　　　　上述した実験結果からも明らか
なように、この発明を用いれば類似した画像に対しては
高いマッチングスコアを画像の位置には無関係に安定し
て得ることができる。特に、マッチングスコアの標準偏
差はメッシュ特徴法の４０分の１となっており、極めて
安定した結果が得られることが解る。

【００３４】また、この発明の画像処理方法では局所変
動吸収用マスクが１つの小領域から出力される値に対し
て他の小領域から出力される値は無関係なので、並列プ
ロセッサを用いての処理が可能であり、したがって処理
の大幅な高速化を計ることが可能である。

【００３５】

【発明の効果】以上述べたように、この発明によれば、
従来のテンプレートマッチング法では扱うことのできな
かったような画像データの微小な変動を効果的に吸収し
ながら微小な変動分を十分に反映し、しかも画像の位置
によって大きく変動することなく常に安定したサブサン
プリング出力を得ることができるので、画像同定におけ
る認識率を大幅に向上し得る画像処理方法を得られる効
果がある。

【図面の簡単な説明】

【図１】この発明の一実施例に係る画像処理方法の説明
図である。

【図２】メッシュ特徴法で高いマッチングスコアが得ら
れた類似画像の組に対してこの発明を適用した場合を例
示する説明図である。

【図３】メッシュ特徴法でマッチングスコアが得られな
かった類似画像の組に対してこの発明を適用した場合を
例示する説明図である。

【図４】画像の小領域の形状を６角形とした場合を例示
する説明図である。

【図５】この発明の画像処理方法を手書きの文字や手書
きの図形の認識に用いた場合を例示する説明図である。

【図６】各画素の位置における接線の角度を３つめの次
元として画像処理する場合を例示する説明図である。

【図７】２つの水平線画像についての入力画像と参照画
像を同定するためのテンプレートマッチング法の一例の
説明図である。

【図８】メッシュ特徴法の説明図である。

【図９】メッシュ特徴法で得られたメッシュパターンに
基づく画像同定の一例の説明図である。

【図１０】メッシュ特徴法で得られたメッシュパターン
に基づく画像同定の他の例の説明図である。

【符号の説明】

１　　ビットマップイメージ ２　　ビットマップイメージ ３　　ビットマップイメージ ４　　メッシュパターン ５　　メッシュパターン ６　　メッシュパターン ７　　第１の領域 ８　　第２の領域 ９　　第３の領域 １０　　第４の領域 １１　　画像 １２　　重み付けパターン １３　　重み付けパターン １４　　第５の領域 １５　　第６の領域 １６　　入力画像 １７　　３次元特徴空間 １８　　画像処理ブロック １９　　テンプレートマッチングブロック２０　　ニュ
ーラルネットワークブロック２１　　抽出特徴ベクトル ２２　　確定出力

Claims (1)

【特許請求の範囲】
1. 【請求項１】多次元画像の全体を互いに重畳する多次元
   多面体に分割する第１の過程と、分割された各多次元多
   面体内の各画素に関して前記多面体の中心で大きく周辺
   部に行くに従って小さくなるような重み付けを行なう第
   ２の過程と、前記重み付けに従って各画素の加重和を取
   ってその値を画像の局所変動を吸収するためのマスク出
   力とする第３の過程と、を備えることを特徴とする画像
   処理方法。