JPH03149676A - 画像認識方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〈産業上の利用分野〉 この発明は、認識対象を撮像して得た濃淡画像を処理し
て、認識対象を特定したり、その認識対象の位置を判別
したりするための画像認識方法に関する。

〈従来の技術〉 この種の画像認識に用いられる装置は、第９図に示す如
く、描像装置１．２値化処理部２゜ラベリング処理部３
．特徴抽出部４．認識処理部５．位置演算部６などから
構成されるものである。撮像装置ｌは認識対象を撮像し
て濃淡画像を生成し、２値化処理部２はその濃淡画像を
適当なしきい値で２値化して２値画像を生成する。ラベ
リング処理部３は２値画像を認識対象部分の領域とそれ
以外の背景部分の領域とに分けてラベル付けする。特徴
抽出部４は認識対象部分の各領域につき面積や周囲長さ
などの特徴量を抽出する。認識処理部５は特徴量に基づ
き認識対象部分を特定し、位置演算部６はその認識対象
部分の重心などを求めてその位置を検出する。

第１０図は、前記２値画像の具体例を示すもので、この
２値画像には認識対象部分として「Ａ」　［Ｂ」　「Ｃ
」の三文字を含んでいる。

前記の認識処理部５は、これら認識対象部分のうち、例
えば「Ａ」にかかる部分が含まれているかなどを特徴量
から特定し、その後、位置演算部６がその特定された認
識対象部分の重心を求めて、ｒＡ』の位置を判別する。

しかしながらこのような画像認識方法の場合、撮像時の
照明状態が変動して濃淡画像の濃度が変化すると、その
濃淡画像を固定のしきい値で２値化処理した場合に、２
値画像の大きさが変化し、特徴抽出部４で抽出される面
積などの特微量も変化するという不都合がある。

第１１図（１）は、一例として文字「Ａ」についての濃
淡画像を示している。この濃淡画像は撮像時の明るさが
変化すると、その濃度分布（例えば鎖線ａ、ａに沿う濃
度分布）は、第１１図（２）中、７．８で示すように上
下し、これを固定のしきい値ＴＨで２値化すれば、文字
の太さが変化し、抽出する特微量も変化してしまう。

また仮に最適なしきい値ＴＩで２１Ｍ化処理が行われる
としても、照明装置の光源むらや撮像装置のレンズ歪な
どに起因して濃淡画像に明るさの不均一（これを「シェ
ーディング」という）が生ずると、その濃淡画像を２値
化した場合に、２値画像中に、シェーディング発生部分
も認識対象部分として現れ、２値画像を忠実に再現する
のが困難である。

第１２図（１）は、シェーディング９が発生した文字「
Ａ」についての濃淡画像を示している。

この濃淡画像の濃度分布（例えば鎖線ａ、ａに沿う濃度
分布）は、第１２図（２）中、ｌＯで示すとおりであり
、これをしきい値ＴＩで２値化すると、文字Ａ４０部分
以外にシェーディング発生部分も認識対象部分として２
値画像に現れることになる。

さらに第１３図に示す濃淡画像のように、認識対象部分
である文字［Ａ」に対して、濃淡模＋ｉｌｌをなす背景
が現れている場合、これを２値化すると、文字「Ａ」と
背景の模様とが一体となった２値画像が生成される。こ
のため前記のラベリング処理部３はこの両者を同一の認
識対象部分の領域としてラベル付けしてしまい、適正な
特＠量の抽出が不可能となる。

さらにまた第１４図に示す濃淡画像のように、認識対象
部分である文字ｒＡＪに他の文字「Ｂ」が接近している
場合、これを２値化すると、文字「Ａ」とｒ１３Ｊとが
一体となった２値画像が生成される。このためラベリン
グ処理部３は前記と同様、この両者を同一の認識対象部
分の領域としてラベル付けしてしまい、適正な特微量の
抽出が不可能となる。

このような問題を解消するため、この発明の出願人は、
先般、濃淡画像の輪郭線を抽出して輪郭線の標準パター
ンとテンプレートマツチングを行う手法により、シェー
ディングなどの悪影響を受けずに適正な認識が可能な画
像認識方法を開発した。

第１５図はその原理説明図であり、第１５図（１）に示
す文字「Ａ」　「Ｂ」　「Ｃ」についての濃淡画像には
、その周辺にシェーディング１２が、また中央部の２箇
所にノイズ１３が、それぞれ現れている。

この方法では、まず濃淡画像を微分処理して輪郭線の抽
出を行う、第１５図（２）は輪郭線が抽出された入力画
像（以下、「エツジ画像」という）である。シェーディ
ング１２は明るさが徐々に変化するから、微分処理後の
エツジ画像にはシェーディングは現れない。また輪郭が
明瞭なノイズ１３については輪郭線が抽出され、第１５
図（２）に示すエツジ画像には輪郭線が強調されたノイ
ズ１３が現れている。

つぎにこのエツジ画像に対し予め輪郭線が抽出された特
定の標準パターン（テンプレート）を走査してテンプレ
ートマツチングを行う。第１５、図（３）ではエツジ画
像に対して文字「Ａ」の標準パターン１４を照合してお
り、この走査の過程で標準パターン１４と輪郭線の一致
度が高い部分が認められると、その部分に文字′「Ａ」
が存在するとの判断が行われる。

第１６図は、文字「Ａ」についての輪郭線の標準パター
ン１４が拡大して示しである。同図中、各枡目１５は１
画素を示し、この標準パターン１４をエツジ画像と重ね
たとき、斜線部１６の各画素位置の２値データが「１」
か否かを判別して、「ｌ」の画素数を計数する。この計
数値が所定値以上であれば、その部分に文字「Ａ」が存
在すると判断し、その計数値が最大となる位置を文字「
Ａ」の存在位置と認定する。

このような輪郭線のテンプレートマツチングの方法によ
るとき、エツジ画像に仮にノイズ１３が存在していても
、認識に対するノイズ１３の影響はない。

第１８図〜第２０図は、上記画像認識方法による作用効
果を示している。

第１８図は、撮像時の照明状態が変化して濃淡画像の濃
度分布が１７．１８で示すように上下した場合を示す、
ところがこれら濃度分布１７．１８の濃淡画像を微分処
理すると、同じ位置に微分濃度のピーク１９．２０が現
れて輪郭線が抽出されるため、エツジ画像に照明変動の
悪影響は現れない。

第１８図は、濃淡画像にシェーディングが発生した場合
であって、その濃度分布２１にこのシェーディングの影
響が現れている（図中、２２で示す）、ところがこの濃
淡画像を微分処理すると、所定位置にピーク２３．２４
が現れるのみで、シェーディングの部分２２にピークが
発生せず、エツジ画像にシェーディングの悪影響は現れ
ない。

第１９図は、認識対象の文字「Ａ」以外に背景の模様２
５が現れたエツジ画像２６を示している。ところがこの
ようなエツジ画像２６であっても、標準パターンと輪郭
線の一致度を検出するので、背景の模様は問題とならな
い。

第２０図は、認識対象の文字「Ａ」に他の文字ｒＢ、が
接近したエツジ画像２７を示している。ところがこのよ
うなエツジ画像２７についても、標準パターンと輪郭線
の一致度を検出するので、他の文字ｒＢ、の存在は問題
とならない。

〈発明が解決しようとする問題点〉 しかしながら上記の画像認識方法のように、文字を切り
出すことなくテンプレートマツチングを行うと、輪郭形
状が似ている文字や文字以外の部分（例えば接近した文
字と文字との中間箇所）で画像の一致度が高くなること
があり、誤認識が生ずる就がある。

例えば第２１図（１）はｒａｂｎ」より成る文字列の濃
淡画像を、第２１図（２）はこの濃淡画像のエツジ画像
を、それぞれ示しているが、このエツジ画像に対して第
２２図に示す「ａ」についての輪郭線の標準パターン２
８を走査してテンプレートマツチングを行うと、文字列
中、「ｎ」の部分でも画像の一致度はかなり高いものと
なる。

この発明璧、上記問題に着目してなされたもので、輪郭
線の標準パターンによるテンプレートマツチングと中心
線の標準パターンによるテンプレートマツチングとを組
み合わせることにより、認識精度を向上させた新規な画
像認識方法を従供することを目的とする。

〈問題点を解決するための手段〉 この発明にかかる画像認識方法は、認識対象を撮像して
得た濃淡画像を微分処理して輪郭線の画像を生成し、そ
の輪郭線の画像を輪郭線の標準パターンとテンプレート
マツチングを行って候補を抽出した後、前記濃淡画像を
中心線の標準パターンとテンプレートマツチングを行う
ことにより前記候補の適否を判別するものである。

〈作用〉 濃淡画像を微分処理して輪郭線を抽出すると、その輪郭
線の画像には照明変動やシェーディングによる影響は現
れない。またこの画像を輪郭線の標準パターンを用いて
テンプレートマツチングを行うと、輪郭線の抽出処理で
ノイズが強調されてもその影響を排除できる。さらに背
景が濃淡模様であっても、その影響を受けずに適正な認
識処理が可能である。また仮に輪郭線の標準パターンに
よるテンプレートマツチングで輪郭形状が似ている文字
などが候補として抽出されても、濃淡画像を中心線の標
準パターンとテンプレートマツチングを行うことにより
その候補の適否を判別するので、誤認識の発生が防止さ
れて認識精度が向上する。

第１図は、この発明の画像認識方法を実施するための装
置例を示している。

図示例の装置は、撮像装ｆｆ３０．Ａ／Ｄ変換器３１．
微分処理部３２を備え、Ａ／Ｄ変換器３１および微分処
理部３２に切換手段３８．３９を介して画像メモり３３
とマツチング処理部３４とが接続しである。

撮像装置３０は認識対象を撮像して濃淡画像を生成し、
Ａ／Ｄ変換器３１は濃淡画像のビデオ信号をＡ／Ｄ変換
してディジタルビデオ信号となす。微分処理部３２はＡ
／Ｄ変換器３１の出力を微分処理しかつ２値化してエツ
ジ抽出を行うための部分であり、その具体的な回路構成
が後記する第４図に示しである。

画像メモり３３は、ティーチングで標準モデルを撮像し
て標準パターンを生成する際に、濃淡画像やエツジ画像
を格納するためのものである。

第３図は文字「ａ」についての中心線の標準パターン２
９を例示している。このような中心線の標準パターンは
濃淡画像に細線化や骨格中心抽出などの公知の手法を施
すことにより生成されるもので、輪郭線の標準パターン
は標準パターンメモり３６ａに、中心線の標準パターン
は他の標準パターンメモり３６ｂに、それぞれ格納され
る。

マツチング処理部３４は、微分処理部３２より出力され
るエツジ画像と標準パターンメモり３６ａより読み出さ
れた輪郭線の標準パターンとのテンプレートマツチング
を行うと共に、Ａ／Ｄ変換器３１より出力される濃淡画
像と標準パターンメモり３６おより読み出された中心線
の標準パターンとのテンプレートマツチングを行うため
の部分であり、その具体的な回路構成が後記する第５図
および第６図に示しである。

切換手段３８．３９は画像メモり３３やマツチング処理
部３４に対する入力を選択するためのものであり、輪郭
線の標準パターンの生成。

中心線の標準パターンの生成、輪郭線の標準パターンに
よるテンプレートマツチング、中心線の標準パターンに
よるテンプレートマツチングの各処理に応じて切換動作
する。

第２図はミ認識モードにおける動作手順を示すもので、
同図のステップ真（図中ｒｓＴすで示す）において、撮
像装置３０が認識対象を撮像して濃淡画像を生成し、Ａ
／Ｄ変換器３１が濃淡画像のビデオ信号をディジタルビ
デオ信号に変換する。つぎのステップ２では微分処理部
３２がディジタルビデオ信号を微分処理しかつ２値化し
てエツジ画像を生成する。そのエツジ画像の１フレーム
分はマンチング処理部３４に取り込まれると共に、ＣＰ
Ｕ３５が標準パターンメモり３６ａから特定（例えば文
字「ａ」）の輪郭線の標準パターンをマツチング処理部
３４にロードして、テンプレートマツチングを行う（ス
テップ３）。

このテンプレートマツチングでは、ロードされた輪郭線
の標準パターンを走査しつつエツジ画像と照合して、そ
の都度輪郭線の一致度を計数する。その結果、計数値が
所定ψしきい値を越えておれば、標準パターンに相当す
る認識対象がエツジ画像中に存在するとして、標準パタ
ーンの現在位置データ（Ｘ座標値およびＹ座標値）と一
致度の計数値とを候補データとして所定のメモリに記憶
させてお（。

第７図は、そのメモリの内容を示しており、０．１．２
．・・・・＋ｎ−１で示すｎ個の位置についての位置デ
ータ（Ｘ＠、ｙｏ）、　　（ｘｔ、７＋　）、・・・・
や計数データｍｅ、ｍ、・・・・が格納されている。

つぎのステップ４はこれら候補データが抽出されたか否
かを判断しており、その判定がＹＥＳ”であれば、つぎ
のステップ５でディジタル変換後の濃淡画像の１フレー
ム分がマツチング処理部３４に取り込まれると共に、Ｃ
ＰＵ３５が他の標準パターンメモり３６ｂから同じ文字
（この例では「ａ」）の中心線の標準パターンをマツチ
ング処理部３４にロードして、テンプレートマツチング
を行う。

このテープレートマツチングの方法は、ロードされた中
心線の標準パターンを走査しつつ濃淡画像と照合して、
その都度画像の一致度を計数する。その結果、いずれか
候補データの位置においてマツチング度合が高く、計数
値が所定のしきい値を越えておれば、ステップ６の判定
がＹＥＳ”となり、その位置に中心線の標準パターンに
相当する認識対象が存在すると判断して、認識対象の存
在位置を同定する（ステップ７）。

この場合にもし複数の候補データが残ったときは、輪郭
線テンプレートマツチングで求めた一致度の計数値のう
ち、最大の計数値をとる位置を認識対象の存在位置とし
て同定することになる。

同様の手順を全ての輪郭線の標準パターンにつき実行し
たとき、ステップ８の判定がＹＥＳ”となり、認識処理
が終了する。

第４図は、前記微分処理部３２の具体的な回路構成例を
示している。

この微分処理部３２は、後記する■式で表されるマスク
演算をハード的に実行して、Ａ／Ｄ変換器３１の出力を
微分処理するためのものである。

いま濃淡画像の座標（ｉ、ｊ）で表される画素位置の濃
度値をｆ　（ｉ、Ｄとすると、その画素の微分濃度値ｆ
　　（ｉ、ｊ）はつぎの■式で与えられる。

ｆ　　（ｉ、ｊ）　　＝　ｌΔｘ−ｆ　（ｉ、ｊ）　　
＋Δｙ−ｒ　（ｉ、ｊ）　　ｌ・・、、■ここでΔｘ−
ｆ　（ｉ、ｊ）およびΔｙ　−ｆ　（ｉ、ｊ）は、第８
図に示すような縦３画素ｘ＠３画素のマスク４１を考え
、その中心画素の座標を（ｉ、ｊ）としてその周囲画素
の濃度値を用いてつぎの■■式で求められる。

Δｘ　−ｆ　（ｉ、ｊ）＝　ｆ　（ｉ＋１．ｊ−１）＋
２　ｆ　（ｉ−１，３）＋　ｆ　（ｉ−ｔ、ｊ＋１）−
（ｆ　（ｉ＋ｌ、ｊ−１）÷２　ｆ　（ｉ−１，ｊ）（
ｆ　（ｉ＋ｉ、ｊ＋１）　　）　　・・・・■Ａ　ｙ　
−ｆ　（ｉｊ）＝　（（ｉ−１，３−１）＋２　ｒ　（
ｉ、ｊ−１）＋　ｆ　　（ｉ＋Ｌｊ−１）−（ｆ　　（
ｉ＋１．ｊ＋１）＋２　　ｆ　（ｉ、ｊ＋１）＋　ｆ　
（ｉ＋１、ｉ＋１）　　）・・・・■第４図中、４２ａ
〜４２ｉは前記マスク４１内の各画素ａ　＝　ｉの濃度
値をセットするためのレジスタであって、１段目のレジ
スタ４２ミル４２ｃにはＡ／Ｄ変換器３１が出力するデ
ィジタルビデオ信号を１ビットずつシフトさせたデータ
が、また２段目のレジスタ４２ｄ〜４２ｆには遅延回路
４３によりｌ水平走査期間分だけ遅延させたディジタル
ビデオ信号を１ビットずつシフトさせたデータが、さら
に３段目のレジスタ４２ミル４２ｉには遅延回路４４に
よりさらにｌ水平走査期間分だけ遅延させたディジタル
ビデオ信号を１ビットずつシフトさせたデータが、それ
ぞれセットされる。各レジスタ４２ａ〜４２ｉのセット
値をサンプリングクロックでシフトさせれば、入力画像
に対して前記マスク４１を走査する動作が実現されーる
。

ビットシフタ４５〜４８は、レジスタ４２ｂ。

４２ｆ、４２ｈ、４２ｄのセット値をそれぞれ１ビット
だけ上位の桁ヘシフトさせるためのもので、これにより
■■式における２　ｆ　（ｉ−１，３）　。

２　ｆ　（ｉ−１，ｊ）　＝　２　ｆ　（ｉ、ｊ−１）
　、　２　ｆ　（ｉ、ｊ＋１）の各値を求めている。４
個の加算器４９〜５２と２個の減算器５３．５４とは■
■式中に含まれる加算および減算の各演算を実行する部
分であり、絶対値回路５５．５６は各減算器５３．５４
の出力、すなわちΔｘ　−ｆ　（ｉ、ｊ）およびΔｙ・
ｆ　（ｉ、ｊ）の絶対値をとる回路である。最終の加算
器５７は■式の加算を行う部分である。

この加算器５７で得た各画素の微分濃度値ｆ　　（ｉ、
ｊ）は２値化回路５８で所定のしきい値により２値化さ
れ、その結果、エツジ画像を構成する画像データが得ら
れる。

上記構成の微分処理部３２へＡ／Ｄ変換器３１よりディ
ジタルビデオ信号が与えられると、ハード処理に要する
時間を、だけ遅れてエツジ画像の画像デ二りが出力され
ることになる。この画像データはこの微分処理部３２に
カスケード接続されたマツチング処理部３４の構成回路
（第５図および第６図に示す）へ与えられ、引き続き輪
郭線のテンプレートマツチングの処理が行われる。従っ
てこの実施例によれば、入力画像を１回走査する間に微
分と輪郭線テンプレートマツチングの各処理が完了する
。

なお、第４図中、遅延回路５９はｌフレーム開始信号お
よびＹ座標インクリメント信号に対して、前記の遅延時
間を１を付与して、それぞれの遅延信号を生成するため
のものである。

第５図癲よび第６図は、マツチング処理部３４の具体的
な回路構成例を示している。

このマツチング処理部３４は、第５図に示す構成の一致
度検出回路部６０と、第６図に示す構成の一致点検出回
路部６１とから成る。一致度検出回路部６０はエツジ画
像と輪郭線の標準パターンとのテンプレートマツチング
および濃淡画像と中心線の標準パターンとのテンプレー
トマツチングを行ってそれぞれの一致度を検出する。ま
た一致点検出回路部６１は所定のしきい値を越える一致
度が検出されたときの標準パターンの走査位置を検出す
る。

図示例の一致度検出回路部６０は、入力画像（エツジ画
像または濃淡画像）と輪郭線または中心線の標準パター
ンとを行毎にマツチングするためのｍ行分のマツチング
回路６２と、各マツチング回路６２で求めた行単位の一
致度を加算する加算器群６３とで構成されている。各マ
ツ′チング回路６２には、ｍ行×ｎ列の画素より成る標
準パターンを１行毎にセットするためのｎ個のレジスタ
６４と、入力画像の画像データを１ビットずつシフトさ
せてセットするためのｎ個のレジスタ６５と、両レジス
タ６４．６５のセット値が一致するか否かを各列毎に判
別するためのｎ個のアンド回路６６と、各アンド回路６
６の一致出力を集計する計数回路６７とを備えており、
２行目以下のマツチング回路６２に対しては、入力画像
の画像データをｌ水平走査期回分ずつ順次遅延させるた
めの遅延回路６８が設けられている。

同図中、デコーダ６９は行番号を入力して各行のマツチ
ング回路６２を選択するためのもので、行番号のデータ
をこのデコーダ６９へ順次与えると共に、対応する行の
ｎビットの標準パターンのデータを一致度検出回路部６
０へ送出することにより、標準パターンをｍ行ｘｎ列の
レジスタ６４にセットする。

かくして入力画像の画像データをこの一致度検出回路部
６０へ与えると共に、各行のマツチング回路６２におけ
るレジスタ６５のセット値をサンプリングクロックによ
りシフトさせることにより、入力画像に対して標準パタ
ーンを相対的に走査する動作が実現される。そして標準
パターンの走査位置毎に、各マツチング回路部６２にお
いて入力画像と標準パターンとのエツジの一致度数を計
数回路６７で計数し、全ての行の総和を加算器群６３で
集計して一致度数を算出する。

ここでの算出値は、第６図に示す一致点検出回路部６１
へ与えられて所定のしきい値と比較され、そのしきい値
を越える一致度の算出値とそのときの標準パターンの位
１ｆ（Ｘ座標値およびＹ座標値）とが求められて記憶さ
れる。そのためにこの一致点検出回路部６１には、前記
のしきい値がセットされるレジスタ７０と、一致度の算
出値としきい値とを大小比較して算出値がしきい値を越
えるときに検出信号を出力する比較器７１とが設けられ
ている。

かくしてこの比較器７１が、検出信号を出力するとき、
一致度の算出値がＦＩＦＯ（ｆｉｒｓｔ−ｉｎ。

ｆｉｒｓｔ−ｏｕｔ）方式のレジスタ７２に記憶される
と共に、Ｘ座標カウンタ７３およびＹ座標カウンタ７４
の各計数値、すなわち標準パターンの位置データ（Ｘ座
標値およびＹ座標値）がそれぞれＦＩＦＯ方式のレジス
タ７５．７６に記憶される。

なお図中、遅延回路７７．７８は第４図の遅延回路５９
の出力（ｌフレーム開始信号およびＹ座標インクリメン
ト信号の各遅延信号）を、さらに一致度検出回路部６０
のハード処理に要する時間を２だけ遅延させるための回
路である。

このようにして各レジスタ７２，７５．７６にはデータ
が貯えられ、輪郭線の標準パターンの走査完了時には、
ＣＰＵ３５はこれらデータを読み出して一致度の算出値
とそのときのＸおよびＹ座標値を候補データとして取り
込む。また中心線の標準パターンの走査完了時にはＣＰ
Ｕ３５はレジスタ７５．７６の格納データを取り込み、
前記候補データとの一致判別を行って認識対象の存在位
置を同定する。

〈発明の効果〉 この発明は上記の如く、認識対象を撮像して得た濃淡画
像を微分処理して輪郭線の画像を生成し、その輪郭線の
画像を輪郭線の標準パターンとテンプレートマツチング
を行って候補を抽出した後、前記濃淡画像を中心線の標
準パターンとテンプレートマツチングを行うことにより
前記候補の適否を判別するようにしたから、照明変動や
シェーディングによる影響を受けず、かつまた背景の濃
淡模様や接近する他の認識対象部分を影響を受けずに適
正な認識処理が可能であり、しかも輪郭線の標準パター
ンによるテンプレートマツチングで輪郭形状が似ている
認識対象が候補として抽出されても、中心線の標準パタ
ーンを用いてその候補の適否を判別するため、誤認識の
発生が防止されて認識精度が向上するなど、発明目的を
達成した顕著な効果を奏する。

【図面の簡単な説明】

Claims (1)

【特許請求の範囲】
1. 認識対象を撮像して得た濃淡画像を微分処理して輪郭線
   の画像を生成し、その輪郭線の画像を輪郭線の標準パタ
   ーンとテンプレートマッチングを行って候補を抽出した
   後、前記濃淡画像を中心線の標準パターンとテンプレー
   トマッチングを行うことにより前記候補の適否を判別す
   ることを特徴とする画像認識方法。