JPH0830728A

JPH0830728A - 画像の二値化装置

Info

Publication number: JPH0830728A
Application number: JP6182951A
Authority: JP
Inventors: Hitoshi Kubota; 整久保田; Hisashi Chiba; 久千葉; Katsuichi Ono; 勝一小野
Original assignee: Suzuki Motor Corp
Current assignee: Suzuki Motor Corp
Priority date: 1994-07-12
Filing date: 1994-07-12
Publication date: 1996-02-02

Abstract

(57)【要約】【目的】ノイズやコントラスト等の影響を受けず高精
度に二値化すること。【構成】認識処理対象ａ１を含む画像を撮像すると共
にこの撮像したアナログ画像データを階調のある原画像
データｂに変換する原画像入力部１０と、当該原画像デ
ータｂの二値化用の補正用しきい値ｃを算出するしきい
値選定部１２と、当該補正用しきい値ｃに基づいて原画
像データｂの濃度レベルを補正すると共に当該原画像デ
ータｂを正規化することで入力データＸ1 〜Ｘnを作成
する入力データ作成部１４と、この入力データ作成部１
４が作成した入力データＸ1 〜Ｘnをニューラルネット
ワーク処理により二値化して出力データｘ1 〜ｘnに変
換するニューラルネットワーク処理部１６とを備えた。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、入力画像中の文字，図
形，記号，色彩等を認識する前処理に用いられる画像の
二値化装置に関し、詳しくは、階調のある画像を濃度が
「０」又は「１」の二階調画像に変換するための画像の
二値化装置に関する。

【０００２】本装置は、例えば、文字を光学的に読み取
る文字認識装置において、入力画像中の文字を認識する
ための前処理として濃淡画像を二値化する二値化装置に
適用される。

【０００３】

【従来の技術】従来の画像の二値化装置は、しきい値を
基準に二値化を行うＡ／Ｄ変換器であった。また、階調
のある画像をしきい値を基準に二値化する画像処理も行
われていた。これらのしきい値については、種々の決定
手法が知られている。例えば、アナログ画像や階調のあ
るデジタル画像の濃度ヒストグラムを作成し、そのヒス
トグラムの谷の濃度値をしきい値としている。

【０００４】

【発明が解決しようとする課題】しかしながら、かかる
従来技術では、まず、アナログ画像中の背景部分と認識
対象部分とを適切に分離するしきい値の選定が困難であ
り、しかも、自動的にしきい値を選定する手法では、必
ずしもその精度は認識手段が要求する精度には達してい
なかった。また、原画像にノイズが含まれている場合
に、そのノイズの濃度値がしきい値以上であると、その
ノイズを有効な部分（文字等の認識対象の一部）として
二値化してしまう、という不都合があった。このよう
に、従来技術では、ノイズを除去して高精度に二値化す
ることが困難であった。

【０００５】この不都合を解決しようとする、同一出願
人による特願平６−８５５１９号では、リカレントニュ
ーラルネットワークを用いて濃淡画像を二値化する手法
が提案されている。この手法では、画像認識の前処理と
して原画像の最外周囲部の平均濃度値と各画素との差分
を採り、差分画像としてリカレントニューラルネットワ
ークに入力していた。すると、背景部の濃度レベルを一
定にすることができたため、ニューラルネットワーク処
理によりノイズを除去しつつ二値化することができた。

【０００６】しかしながら、この手法では、二値化の精
度が一定以上向上しない、という不都合があった。特
に、コントラストの高い画像や、コントラストの極端に
低い画像を対象とした場合、精度の高い二値化を行うこ
とができなかった。即ち、コントラストの高い画像を対
象とした場合、この手法では、ニューラルネットワーク
処理の基準値が適切な値に設定されないため、画像の二
値化を精度良く行うことができない、という不都合があ
った。

【０００７】一方、コントラストの極端に低い画像は、
例えば、エンジンブロック等の金属表面に打たれた刻印
文字を撮像した場合の原画像などがこれに該当する。こ
のような刻印文字の自動認識処理における前処理とし
て、刻印文字を撮像したコントラストの極端に低い画像
の二値化を、認識部が要求する精度で行うことができな
い、という不都合があった。

【０００８】

【発明の目的】本発明は、係る従来例の有する不都合を
改善し、特に、ノイズやコントラスト等の影響を受けず
高精度に二値化することのできる画像の二値化装置を提
供することを、その目的とする。

【０００９】

【課題を解決するための手段】そこで、本発明では、認
識処理対象を含む画像を撮像すると共にこの撮像したア
ナログ画像データを階調のある原画像データに変換する
原画像入力部と、当該原画像の二値化用の補正用しきい
値を算出するしきい値選定部と、当該補正用しきい値に
基づいて原画像の濃度レベルを補正すると共に当該原画
像を正規化することで入力データを作成する入力データ
作成部と、この入力データ作成部が作成した入力データ
をニューラルネットワーク処理により二値化して出力す
るニューラルネットワーク処理部とを備えた、という構
成を採っている。これによって前述した目的を達成しよ
うとするものである。

【００１０】

【作用】本装置の動作中、原画像入力部が、まず、認識
処理対象を含む画像を撮像する。これは、撮像対象から
の反射光を光電変換した電圧変化の波形であるアナログ
画像を生成することで行う。続いて、原画像入力部は、
当該アナログ画像を階調のある原画像データに変換す
る。しきい値選定部では、当該原画像データの二値化用
の補正用しきい値を算出する。次いで、入力データ作成
部では、当該補正用しきい値に基づいて原画像データの
濃度レベルを補正する。そのため、原画像入力部が撮像
したアナログ画像の濃さにかかわらず、また、濃度分布
にかかわらず、補正用しきい値を基準に原画像の濃度レ
ベルが補正される。

【００１１】さらに、入力データ作成部は、当該濃度レ
ベルを補正した原画像データｂを正規化することで入力
データＸ1 〜Ｘnを作成する。続いて、この入力データ
は、ニューラルネットワーク処理部によって二値化され
る。二値化された画像データは文字認識装置等に出力さ
れる。

【００１２】このとき、ニューラルネットワーク処理部
では、入力データを的確に認識して二値化できるよう
に、ニューラルネットワークに予め学習させてある。例
えば、しきい値を越える画素であっても、その画素の周
囲との関係からノイズであると判断するように学習させ
る。したがって、ニューラルネットワーク処理部では、
入力データに含まれるノイズを認識して背景と同一の扱
いをしている。

【００１３】

【実施例】次に本発明の一実施例について図面を参照し
て説明する。図１は、本発明による画像の二値化装置の
構成を示すブロック図である。画像の二値化装置は、認
識処理対象ａ１を含む画像を撮像すると共にこの撮像し
たアナログ画像データを階調のある原画像データｂに変
換する原画像入力部１０と、当該原画像データｂの二値
化用の補正用しきい値ｃを算出するしきい値選定部１２
と、当該補正用しきい値ｃに基づいて原画像データｂの
濃度レベルを補正すると共に当該原画像データｂを正規
化することで入力データＸ1 〜Ｘnを作成する入力デー
タ作成部１４と、この入力データ作成部１４が作成した
入力データＸ1 〜Ｘnをニューラルネットワーク処理に
より二値化して出力データｘ1 〜ｘnに変換するニュー
ラルネットワーク処理部１６とを備えている。また、ニ
ューラルネットワーク処理部１６には、出力データｘ1
〜ｘnを合成することで二値化画像を生成し出力する二
値化画像合成部１８が併設されている。

【００１４】これを詳細に説明する。原画像入力部１０
は、イメージスキャナやＣＣＤカメラ等などの撮像手段
１０Ａと、この撮像手段１０Ａが撮像したアナログ画像
を階調のあるデジタル画像データ（原画像）ｂにＡ／Ｄ
変換するＡ／Ｄ変換器１０Ｂとから構成され、文字ａ１
等の認識処理対象を含む画像を光電変換してデジタル値
として出力するものである。ここでは、まず、ＣＣＤカ
メラ１０Ａが、認識処理対象を含む画像の反射光を光電
変換して連続的な電圧の変化量であるアナログ画像を出
力する。次に、Ａ／Ｄ変換器１０Ｂは、アナログ画像を
例えば２５６階調のデジタル画像（原画像）ｂに変換す
る。

【００１５】しきい値選定部１２は、原画像ｂを二値化
する際のしきい値ｃを選定する。この補正用しきい値ｃ
は、原画像ｂの濃度レベルを一定にするために用いられ
る。従って、原画像ｂの種類によらず自動的に大まかな
しきい値ｃを求められる手法であれば良く、本実施例で
は、従来から実施されている手法を採用している。この
補正用しきい値ｃの選定手法には、Ｐ−タイル法や、判
別しきい値選定法など種々のものがあり、認識対象の性
格によって良好に作用する以下の手法を採用している。

【００１６】Ｐ−タイル法：アナログ画像内で認識対
象が占める部分が予め判っている場合には、このＰ−タ
イル法を用いると良い。この手法は、濃度ヒストグラム
を用いて濃度値の小さい方からの累積分布がＰパーセン
トとなる濃度値を算出し、しきい値ｃとする手法であ
る。

【００１７】モード法：コントラストの高い画像が対
象である場合、濃度ヒストグラムは双峰性を示すため、
背景部分の山と対象部分の山との間の谷を算出してしき
い値ｃとする手法である。しかしながら、ヒストグラム
がなめらかでない場合や、谷が顕著で無い場合、特に、
コントラストの低い場合、自動的にしきい値ｃを決定す
ることは困難であった。そのため、本実施例では次の判
別しきい値選定法を採用している。なお、モード法に基
づくしきい値ｃの自動決定の手法としては、双峰的なヒ
ストグラムを正規分布関数の和で最小２乗誤差近似し、
平均及び分散などの推定値からしきい値ｃを算出する方
法などがある。

【００１８】判別しきい値選定法：多変量解析におけ
る判別分析の手法に基づくものであり、しきい値ｃを選
定する対象の原画像ｂをクラス分けし、クラス間分散と
全分散の関係から対象を最も良く判別する値を選定する
ものである。即ち、クラス分離度η(t)を最大にするし
きい値ｃ(t)を算出する。これは、しきい値ｃ(t)で二値
化した場合のしきい位置の良さを測るために、判別分析
で用いられている次式(1)で示すクラス分離度を導入す
る。

【００１９】

【数１】

【００２０】ここで、σT²(t)，σB²(t)はそれぞれクラ
ス間分散，全分散を表す。そして、η(t)を最大にする
しきい値ｃ(t)を求める。しきい値ｃ(t)に対するクラス
分離度η(t)は、原画像ｂが二値的である度合いを表し
ていると解釈することができる。この手法は、ヒストグ
ラムが双峰的な場合には前述のモード法として動作し、
モードがなく、従って谷を判別しがたい場合でもしきい
値ｃが自動的に定まるという特長を備えている。

【００２１】これらの手法は公知であり、例えば、画像
処理ハンドブック編集委員会編「画像処理ハンドブッ
ク」平成４年５月２０日初版第５刷 pp.278〜280などで
開示されている。また、判別分析法によるしきい値の算
出についての詳細は、大津展之「判別および最小２乗基
準に基づく自動しきい値選定法」電子通信学会論文誌，
Vol. J63-D No. 4，pp.349〜356（昭和５５年４月）を
参照されたい。ここでは、濃度ヒストグラムの０，１次
累積モーメントのみに基づく簡単な手続でしきい値を自
動的に算出する手法が開示されている。

【００２２】しきい値選定部１２は、これらの手法に基
づいて原画像ｂの補正用しきい値ｃを算出する。本実施
例では、二値化への処理時間の制約や、また、汎用性の
ある二値化手法を提供するために、この補正用しきい値
ｃの選定では、エッジ情報を用いてしきい値を算出する
手法や、動的なしきい値選定手法は採用していない。し
かしながら、演算処理装置の性能向上に応じて、判別し
きい値選定法の前処理として２次微分（ラプラシアン）
ヒストグラム法を用いるなどの手法を採用するようにし
ても良い。本実施例では、何らかの手法で求めた補正用
しきい値ｃを基準に、原画像ｂの濃度レベルを補正した
後にニューラルネットワークに入力することを課題解決
の為の主要な技術的思想としているため、補正用しきい
値ｃが求まれば良く、従って、しきい値ｃの選定手法に
よっては本発明は限定されない。

【００２３】画像や音声等のパターン認識処理技術で
は、ニューラルネットワーク処理を用いることで従来に
ない効果を得ることは自明のことである。そのため、ニ
ューラルネットワーク処理技術では、入力データの生成
手法及びニューラルネットワーク学習の手法が技術的課
題となる。即ち、ニューラルネットワーク処理が潜在的
に有する効果を最大限引き出すように入力データを生成
し、またニューラルネットワークを学習させる手法が、
本実施例の主要な技術的課題である。

【００２４】そこで、入力データ作成部１４は、しきい
値選定部１２が選定した補正用しきい値ｃに基づいて原
画像ｂの濃度レベルを補正する。この補正には種々の手
法があるが、しきい値ｃを基準に濃度レベルを補正する
手法であればどのようなものであっても良い。ここで
は、補正用しきい値ｃを二値化するための中心値として
扱い、原画像ｂの濃度をこのしきい値ｃを基準に補正し
ている。即ち、本実施例では、画像の濃度値が２５６階
調（０〜２５５）である場合には、このしきい値ｃが１
２８になるように原画像の濃度レベルを補正する。

【００２５】ここでは、補正用しきい値ｃと階調の中心
値（例えば、２５６階調であれば１２８）との差を取
り、この差の分だけ全ての濃度値を一律にシフトさせて
いる。また、この差を足し合わせることで階調を逸脱す
る部分は、ここでは、二値化の処理速度を確保するた
め、それぞれ最大値及び最小値としている。もちろん、
扱っている階調からはみ出さないように原画像データｂ
に画像処理を施した上で補正するようにしても良い。

【００２６】図２は入力データ作成部１４及びニューラ
ルネットワーク処理部１６における画像処理を説明する
ための説明図である。入力データ作成部１４では、濃度
レベルをシフトさせた画像データを正規化することで、
入力データＸ1 〜Ｘn を生成する。濃度レベルをシフト
させた為、例えば、２５６階調を０．０から１．０に正
規化する場合、補正用しきい値ｃの濃度は、どのような
原画像ｂであっても常に０．５となる。さらに、入力デ
ータ作成部１４では、原画像ｂを横方向ｍ個，縦方向ｎ
個に分割し、これを例えば縦方向一列毎にｍ個づつ出力
することで、ニューラルネットワーク処理部１６への入
力データＸ1 〜Ｘn としている。

【００２７】ニューラルネットワーク処理部１６は、入
力データ作成部１４で作成される入力データＸ1 〜Ｘn
の画素数に等しいｍ個のユニット数からなる入力層２０
と、任意のユニット数からなる中間層（隠れ層）２２
と、入力層２０のユニット数と等しいｍ個のユニット数
からなる出力層２４とを備えている。

【００２８】また、本実施例では、ニューラルネットワ
ーク処理部１６をリカレントニューラルネットワークで
構成している。即ち、入力層２０，中間層２２，出力層
２４の各ユニットは、対称結合又は一方向結合に拘束さ
れない、非対称でリカレントな結合をしている。このよ
うな特徴を有するリカレントニューラルネットワーク
は、ノイズが混入した入力データに対しても、正確な認
識が可能である。なお、リカレントニューラルネットワ
ーク自体は、公知技術であり、例えば「計測と制御」Vo
l.30. No.4 (1991年４月) pp.296-301 等に詳述されて
いる。

【００２９】このような構成において、入力層２０に入
力される入力データＸ1 〜Ｘn と出力層２４から出力さ
れる出力データｘ1 〜ｘn との関係を得るために、各ユ
ニット間の結合強度をあらかじめ学習によって求める。
すなわち、ある入力データを入力層２０に入力したと
き、その入力データにノイズが含まれていればノイズを
除去した出力データを出力層２４から出力させように学
習させる。又は、ある入力データを入力層２０に入力し
たとき、その入力データが大きな固まり（「１」の集
合）であれば、出力層２４から「１」を出力させ、その
入力データが小さな固まりであれば、出力層２４から
「０」を出力させるように学習させる。

【００３０】このような学習済みのニューラルネットワ
ーク処理部１６を使用すれば、入力層２０に例えば文字
ａ１及びノイズａ２，ａ３を含む未知の入力データが与
えられたとき、出力層２４からノイズａ２，ａ３を除去
した正確な文字ａ１の出力データが得られる。ニューラ
ルネットワーク処理部１６は、パターンの形状を学習す
るものであるため、入力パターン（本実施例における
「入力データ」）にノイズが混入した場合でも、正しい
パターン認識が可能である。

【００３１】このようにニューラルネットワーク処理部
１６から出力された出力データは、二値化画像合成部１
８によって合成され、二値化画像として文字認識装置等
に出力される。

【００３２】次に、このアナログ画像の二値化装置の動
作を図３のフローチャート及び図４乃至図９を参照して
説明する。

【００３３】まず、原画像入力部１０で原画像ｂが入力
される（ステップＳ１）。原画像ｂの例を図４に示す。
図４は、処理対象としての原画像ｂの特徴を強調して表
示した説明図であり、原画像ｂは実際には多数の階調
（濃度）によって表現される画像である。ここで、原画
像Ａ，Ｂ，Ｃは、それぞれ数字の「２」，「６」，
「４」と、濃度をハッチングで表わした数字の背景とか
ら構成されている。また、原画像Ａ，Ｂ，Ｃの下に、ア
ナログ画像Ａ，Ｂ，ＣのそれぞれのA1-A1,B1-B1,C1-C1
線における濃度値（０〜255 ）のグラフを示す。原画像
における背景の濃度はＢ，Ａ，Ｃの順に濃くなってい
る。原画像Ａ，Ｂ，Ｃをそのまま、ニューラルネットワ
ーク処理部１６で学習しようとすれば、情報量が膨大と
なって学習の収束が困難となる。

【００３４】そこで、前述した特願平６−８５５１９号
では、差分画像作成部が、原画像Ａ，Ｂ，Ｃについて、
最外周部の濃度値の平均値と各画素の濃度値との差をと
ることにより、図５（Ｂ）に示す濃度値の画像を作成し
ていた。このように、原画像Ａ，Ｂ，Ｃにおける背景の
濃度値を一定にしていた。これにより、適切な学習デー
タを得ていたので、ニューラルネットワーク処理部１６
で正しく二値化するようになっていた。

【００３５】しかしながら、この特願平６−８５５１９
号では、コントラストの高低によって二値化の精度の上
昇に限界があることが判明した。即ち、コントラストの
低い画像では良好に二値化するが、コントラストの高い
画像ではノイズの分離が良好にされなかった。即ち、図
５（Ｂ）の数字「２」の濃度のグラフで示すように、コ
ントラストの高い画像ではニューラルネットワークの基
準値が原画像の濃度に対して低く設定されてしまうこと
を原因の一つとして、ノイズと認識対象との分離を良好
に行うことができなかった。また、背景レベルを均一化
したため、濃度ヒストグラムが双峰性を示す原画像デー
タであれば良好に背景部分を一定にすることができた
が、認識対象ａ１と背景部分の濃度差の少ない画像、即
ち、コントラストの極端に低い画像も、精度良く二値化
することができなかった。

【００３６】そのため、本実施例では、入力データ作成
部１４が、まず、図５（Ｃ）に示すように、補正用しき
い値ｃを選定し（ステップＳ２）、続いて、図５（Ｄ）
に示すように、この補正用しきい値ｃを基準に原画像デ
ータｂの濃度レベルをシフトさせる（ステップＳ３）。
次に、この画像を正規化することで入力データを生成す
る（ステップＳ４）。従って、ニューラルネットワーク
処理部１６では、常に補正用しきい値ｃを基準値として
学習するため、原画像データｂの特徴を良好に学習する
ことができる。即ち、ニューラルネットワーク処理部１
６は、補正用しきい値ｃに基づいて自己組織化するた
め、認識対象の特徴及び処理目的に合致する構成を自ら
取ることができる。

【００３７】さらに、入力データ作成部１４は、図６に
示すように、正規化された原画像ｂを一列ごとの画素に
分割することにより、入力データＸ1 〜Ｘn を作成する
（ステップＳ５）。

【００３８】続いて、ニューラルネットワーク処理部１
６の入力層２０に入力データＸ1 〜Ｘn を順次入力する
（ステップＳ６）。すると、入力データＸ1 〜Ｘn に対
応した出力データｘ1 〜ｘn が出力層２４から順次出力
される（ステップＳ７）。例えば、図７（Ａ）に示すよ
うに入力データＸ1 に対して出力データｘ1 、図７
（Ｂ）に示すように入力データＸ2 に対して出力データ
ｘ2 、図７（Ｃ）に示すように入力データＸ3 に対して
出力データｘ3 がそれぞれ出力される。

【００３９】最後に、二値化画像合成部１８は、ニュー
ラルネットワーク処理部１６で変換された出力データｘ
1 〜ｘn を合成して二値化画像ｄとして出力する（ステ
ップＳ８）。

【００４０】図８及び図９は、二値化画像の例を示す平
面図である。図８は原画像ｂのコントラストが高い場合
を示し、図９は原画像ｂのコントラストが低い場合を示
している。また、図８（Ａ）及び図９（Ａ）は原画像，
図８（Ｂ）及び図９（Ｂ）は判別しきい値選定法による
しきい値で単純に二値化した画像，図８（Ｃ）及び図９
（Ｃ）は本発明による二値化画像である。この図から明
らかなように、また、上述したように、本発明によれ
ば、従来技術では得られなかった高精度の二値化画像を
得ることができる。

【００４１】なお、ニューラルネットワーク処理部１６
は、本実施例のようにリカレントニューラルネットワー
クを用いることが最も望ましいが、これに限定するもの
ではなく、例えばフィードフォワードネットワーク等を
用いてもよい。

【００４２】また、入力データ作成部１４は、差分画像
ｃを縦方向にｎ個に分割することにより入力データを作
成しているが、差分画像ｃを横方向にｍ個に分割するこ
とにより入力データを作成してもよい。また、縦横に限
らず斜めに分割してもよく、さらに、一列に限らず二列
以上を一まとめにして分割してもよい。

【００４３】次に、本発明を適用した刻印文字認識装置
について、図１０〜図１４を参照して説明する。

【００４４】自動車の生産工程では、組み付け部品の指
示記号や車体番号として刻印文字が使われている。金属
表面に打たれた刻印文字は、印刷文字と異なり、対環境
性に優れ、経年変化が少ない。しかし、周囲との色差が
小さく、刻印表面の処理方法、油汚れ、傷などにより、
線画としては鮮明でない。

【００４５】このような刻印文字を画像処理で認識する
場合には、画像の二値化、ノイズの除去、文字の切り出
しなどの前処理が必要になる。しかし、不鮮明な文字画
像は、コントラストが低く、ノイズも多いため、従来の
二値化手法では文字部と背景部を分離して正確に文字部
だけを抽出する精度の高い二値化が困難である。

【００４６】これまで、印刷文字などの二値化手法とし
ては、濃度ヒストグラムを用いる方法や、画像の微分
値、エッジ、境界点、輪郭線などの情報を用いる方法が
提案されている。濃度ヒストグラムを用いる方法では、
文字部と背景部のコントラストが極端に低い画像や、文
字部と背景部の面積比が大きい画像では、精度の高い二
値化が困難であった。また、画像の微分値を加味して濃
度ヒストグラムを算出する方法、二値化のしきい値の決
定に画像の境界点とエッジの一致度を用いる方法、文字
の輪郭線の長さと文字の面積の比を用いる方法などは、
それぞれ計算時間の増大、パラメータの設定が複雑、エ
ッジ検出が困難などの問題点がある。

【００４７】近年、階層型ニューラルネットワークによ
るパターンの学習及び認識能力を、濃淡画像のエッジ抽
出や二値化などに応用する方法も検討されているが、ネ
ットワークで取り扱うことができるデータが３ｘ３や５
ｘ５の局所領域に限定されているので、充分な二値化の
精度は得られていない。

【００４８】一方、静的なパターン変換を行う階層型ニ
ューラルネットワークに対して、自身に内部状態を持た
せたリカレントニューラルネットワーク（以下ＲＮＮと
記す）によって、時系列のパターンを学習及び認識させ
る試みが成されている。

【００４９】本実施例では、刻印も自画像を横方向また
は縦方向に変化する時系列パターンとして取り扱うこと
によって、ＲＮＮを刻印文字画像の二値化に応用してい
る。ここでは、低コントラスト画像の二値化及びノイズ
の判別を、ＲＮＮに時系列データとして学習させる。さ
らに、学習済みのＲＮＮに刻印文字画像を横方向または
縦方向の時系列データとして入力することによって二値
化させている。

【００５０】エンジンブロックには、数字の「１」，
「２」の二文字を用いた三桁の文字列とアルファベット
の「Ａ」，「Ｂ」，「Ｃ」の三文字を用いた四桁の文字
列が刻印されている。本実施例では、数字の「１」，
「２」の画像を使用した。

【００５１】刻印文字認識装置は、図１０に示すよう
に、上述した画像の二値化装置と、この二値化装置が出
力する二値化画像から文字を認識する文字認識装置とを
備えている。二値化装置４２は、光電変換によってアナ
ログ画像を生成する原画像入力部３０と、アナログ画像
をＡ／Ｄ変換して２５６階調の原画像を生成するＡ／Ｄ
変換部３２と、当該原画像を二値化する二値化部３４と
を備えている。原画像入力部３０は、ここでは、刻印文
字を４５度の方向から照射する白熱灯と、この白熱灯の
反対方向に設置され刻印文字を撮像するモノクロＣＣＤ
カメラとを備えている。

【００５２】また、文字認識装置４４は、二値化画像か
ら文字部分を切り出す文字切り出し部３６と、この文字
切り出し部３６が出力したデータと文字サンプルデータ
とを比較することで文字認識を行う文字認識部３８とを
備えている。さらに、これらの二値化装置４２及び文字
認識装置４４の各部は、制御手段４０によってその動作
タイミング及びデータの授受を制御されている。

【００５３】画像入力部が撮像した原画像は、横６４０
［ドット］縦４００［ドット］の２５６階調のモノクロ
画像で、１ドットの濃度は０〜２５５となっている。本
実施例では、取り込まれたこの画像の中から、固定枠で
文字を１文字づつ枠取りし、１００ｘ１００［ドット］
の文字画像として取り扱っている。

【００５４】図１１に刻印文字画像列と、画像中の１ラ
インの濃度分布を示した。図１１（ａ）及び図１１
（ｂ）は背景部の濃度値の平均が１９０程度、文字部の
濃度値の平均が２４０程度で、背景部と文字部の濃度差
が５０以上有り、コントラストが高くノイズも少ない画
像である。図１１（ｃ）及び図１１（ｄ）は背景部の濃
度値の平均が２３０程度、文字部の濃度差が２０程度
で、背景部と文字部の濃度値の平均が２５０程度で、コ
ントラストが低い画像である。

【００５５】本実施例では、画像を時系列データとして
取り扱い二値化を行っている。図１１に示したの画像列
の場合には、グラフで示した１ラインの濃度分布が、画
像を横方向に１００分割した時系列データとなる。

【００５６】図１２に、刻印文字の認識処理のフローチ
ャートを示す。

【００５７】刻印文字の認識は、始めに取り込んだ画像
に対して、二値化、切り出し、ノイズ除去等の前処理を
行う。前処理によって、画像中から文字部分のみのデー
タを取りだし、文字の特徴値を抽出して認識を行う。

【００５８】原画像の二値化処理は、上述したように、
まず、入力した画像から判別分析法によってしきい値を
計算する（ステップＳ２１）。次に、得られたしきい値
が濃度分布（ここでは、０から２５５）の中間値１２８
になるように、画像全体の濃度値をシフトさせる（ステ
ップＳ２２）。即ち、得られたしきい値と濃度値１２８
との差を取り、その差を画像の各画素の濃度値に加える
ことで全ての濃度値を一律にシフトさせる。これは、撮
像の対象の状態や撮像の環境などに拘わらず濃度値レベ
ルを一定にするために行われ、後のニューラルネットワ
ーク処理を良好に動作させるための前処理である。次
に、各画素の０から２５５の濃度値を、０．０から１．
０に正規化してＲＮＮへの入力データとする。作成した
入力データをＲＮＮに入力し、そのときの出力結果で二
値化を行う（ステップＳ２３）。

【００５９】次に、文字認識処理を行う。文字認識処理
は、まず、二値化画像から文字部分を切り出し（ステッ
プＳ２５）、次いで、この切り出した画像から文字の特
徴値を抽出する（ステップＳ２６）。さらに、この特徴
値に基づいてパターン認識処理を行うことで文字認識を
行う（ステップＳ２７）。

【００６０】ＲＮＮは、入力層，中間層（隠れ層），及
び出力層とからなる。このネットワーク内での結合は次
の６種類であり、中間層と出力層の層内は全結合であ
る。入力層から中間層へ入力層から出力層へ中間層から出力層へ中間層から中間層へ出力層から中間層へ出力層から出力層へ

【００６１】コンピュータのメモリ容量の制約のため、
本実施例では、入力層、中間層、出力層のユニット数は
それぞれ５個づつとし、学習データのタイムステップは
３０とした。タイムステップとは、時系列データの時間
方向に変化するデータの個数である。

【００６２】この実験で用いるＲＮＮの各ユニットの動
作は、以下に示す式で表される。ここでは、入力層を
Ｉ，中間層をＨ，出力層をＯとしている。また、Ｘ_i(t)：ユニットｉの外部入力ｘ_i(t)：ユニットｉの内部状態値ｙ_i(t)：ユニットｉの出力値ｗ_ij ：ユニットｊからユニットｉへの結合荷重ｆ_i ：ユニットｉの応答関数Ｙ_i(t)：ユニットｉの教師出力とすると、ｉ∈Ｉのとき、ｙ_i(t)＝ｘ_i(t)＝Ｘ_i(t) ……式(2)

【００６３】ｉ∈Ｈ、Ｏのとき、

【００６４】

【数２】

【００６５】

【数３】

【００６６】で表され、学習時の評価関数は、

【００６７】

【数４】

【００６８】で表される。

【００６９】ＲＮＮの教師有り学習則としては、変分法
を用いてＥ(w)の勾配を求めるＢＰＴＴ（Back Propagat
ion Through Time）を用いている。ラグランジュの未定
定数をλiとすると、

【００７０】

【数５】

【００７１】と、境界条件δｘ_i(0)＝0，λ_i(T)＝0か
ら、Ｅのｗ_ijに対する勾配は次式となる。

【００７２】

【数６】

【００７３】従って、各ユニット間の結合荷重は次式に
示す値で更新される。但し、微分方程式は時間に関して
離散化する。

【００７４】

【数７】

【００７５】従来の二値化手法では、しきい値を求めて
各画像を０か１（白か黒）に区分する手法が採られてい
る。このような手法では、二値化しようとする画素とそ
の周囲の画素との関係の情報が用いられないため、二値
化しようとする画素が文字部なのかノイズなのか判らな
いまま二値化されてしまう。

【００７６】本実施例では、二値化しようとする画素
が、文字部かノイズかを二値化に反映させるために、文
字部なら１、背景部なら０、ノイズなら０となるように
ＲＮＮに学習させている。ここでは、３ドット以下の塊
まりをノイズ、４ドット以上の塊を文字とする。

【００７７】図１３に学習データ例を示す。上段が入力
データ、下段が教師データである。縦方向はユニットを
表しており、上段が入力層のユニット１〜５に対応し、
下段が出力層のユニット１〜５に対応している。横方向
はタイムステップを表しており、ステップ１〜３０に対
応している。各ユニットに与えるデータは面積表示され
ており、最大値が１．０，最小値が０．０である。即
ち、アナログ画像データを濃度シフトさせた後正規化し
た入力データを、ここでは面積表示として扱っている。

【００７８】図１３（Ａ）は入力層のユニット１への入
力データが０．６以上のとき、出力層のユニット１に
１．０を出力させるための学習データである。ユニット
１に０．６以上のデータが連続して入力されたら、その
データは文字の一部として１．０を出力するように学習
させる。

【００７９】図１３（Ｂ）は図１３（Ａ）と同様に入力
層のユニット１，２への入力データが０．６以上のと
き、出力層のユニット１に１．０を出力させるための学
習データである。

【００８０】図１３（Ｃ）は入力層のユニット１，２へ
の入力データが０．４以下のとき、出力層のユニット
１，２に０．０を出力させるための学習データである。
０．４以下のデータが連続して入力されたら、その入力
データは文字でないとして０．０を出力するように学習
させる。

【００８１】図１３（Ｄ）は入力層への入力データが
０．６以上でも、連続していなければ（３ステップ以
下）その入力データはノイズとして０．０を出力するよ
うに学習させる。０．６の入力に対し１．０を出力する
データを１５組、１．０の入力に対し１．０を出力する
データも同様に１５組作成した。さらに、ノイズに対し
て０．０を出力するデータを１２組作成した。

【００８２】次に、本実施例による二値化処理の結果に
ついて説明する。本実施例では、合計５７個のデータを
学習データとしてＲＮＮに学習させた。学習は、ＲＩＳ
Ｃチップを用いているワークステーションで行い、学習
の終了条件は収束誤差０．０１以下の時とした。その結
果、学習回数３２，０８５回、学習時間約３時間１４分
で終了した。

【００８３】刻印文字画像の大きさは１００ｘ１００ド
ットであるので、画像を縦方向に５ｘ１００ドットの大
きさに２０分割した。学習が終了したＲＮＮを２０個用
意し、分割した画像をそれぞれのＲＮＮに並列に入力
し、その時の出力結果を二値化画像とした。

【００８４】図８及び図９は本実施例の条件による二値
化の結果例である。

【００８５】コントラストの高い画像では、判別分析
法、ＲＮＮによる二値化と共に文字の輪郭が抽出したい
文字の輪郭と一致しており、精度の高い二値化がされて
いる。判別分析法による画像には面積が１〜５ドット程
度の小さなノイズが残っているが、ＲＮＮによる二値化
によってノイズが除去されている。

【００８６】コントラストの低い画像では、判別分析法
による画像の文字部及び背景部に、文字の輪郭が確認で
きないほどのノイズが残っており、抽出したい文字の輪
郭と異なった画像となっている。ＲＮＮによる二値化画
像では、判別分析法による画像よりもノイズの数及び面
積が減少し、文字の輪郭も抽出したい文字の輪郭に近く
なっている。

【００８７】二値化の精度を比較検討するために、二値
化後の画像を階層型のニューラルネットワークで認識さ
せた。得られた二値画像に対してノイズの除去及び文字
の切り出しを行い、切り出された文字から階層型ネット
ワークに入力するためのデータを作成する。本報告では
ネットワークに認識させるデータとして、切り出した文
字を縦横５ｘ５に分割し各メッシュ内で文字部分の占め
る面積割合を正規化した２５次元ベクトルを使用した。
各層のユニット数は入力層を２５、中間層を１０、出力
層を２とした。ネットワークには、ノイズが無く輪郭が
はっきりしている１と２の文字それぞれ４個づつ計８個
を学習させた。

【００８８】認識には文字１を６９個、文字２を８１個
の計１５０文字を使用した。出力層から０．９以上の出
力があった場合を正解とした。

【００８９】図１４に認識結果を示す。ＲＮＮによる二
値化画像では、１５０文字のうち認識できなかったのは
２個で、文字「１」が１個、文字「２」が１個であっ
た。この２個の文字は判別分析法による二値化画像でも
認識できていない。判別分析法による二値化画像で認識
できなかった１１文字のうち、９文字がＲＮＮによる二
値化を行うことによって、認識できるようになったとい
える。

【００９０】図１５に、ＲＮＮによる二値化画像で不正
解となった２個の画像を示す。図１５上段の文字「１」
は文字の下側に大きなノイズが残っており、このノイズ
の影響で認識できなかったと考えられる。しかし、ＲＮ
Ｎによる二値化画像は、ノイズは残っているが文字１の
輪郭自体は抽出したい文字に近い。図１５下段の文字
「２」は文字の輪郭上にノイズが多く残っており、文字
の輪郭も抽出したい文字とは異なっている。

【００９１】コントラストが極端に低い画像を含んだ１
５０文字を認識させた結果、ＲＮＮによる二値化画像の
正解数が１４８で認識率が９８．７％であったことか
ら、本実施例による二値化手法は、広範囲の入力条件に
対応できる二値化アルゴリズムであるといえる。

【００９２】

【発明の効果】本発明は以上のように構成され機能する
ので、これによると、しきい値選定部が、原画像データ
の二値化用の補正用しきい値を算出し、入力データ作成
部が、当該補正用しきい値に基づいて原画像データの濃
度レベルを補正するため、原画像入力部が撮像したアナ
ログ画像の濃さにかかわらず、また、濃度分布にかかわ
らず、補正用しきい値を基準に原画像の濃度レベルが補
正される。従って、ニューラルネットワーク処理部は、
補正用しきい値を基準値として学習することとなるた
め、認識対象の特徴に良好に合致した自己組織化を行う
ことができる。そのため、従来と比較して精度の高い二
値化が行える。このようにノイズやコントラスト等の影
響を受けず高精度に二値化することのできる従来にない
優れた画像の二値化装置を提供することができる。

【図面の簡単な説明】

【図１】本発明の一実施例の構成を示すブロック図であ
る。

【図２】図１に示したニューラルネットワーク処理部の
構成及び動作を示す説明図である。

【図３】図１に示した実施例の動作を示すフローチャー
トである。

【図４】図１に示した実施例における原画像とその一断
面の濃度分布の関係の例を示す説明図である。

【図５】図１に示した実施例における原画像と濃度分布
の関係を示し、図５（Ａ）は原画像を示す平面図であ
り、図５（Ｂ）は差分画像を用いた場合の濃度分布図で
あり、図５（Ｃ）は補正用しきい値ｃを示す濃度分布図
であり、図５（Ｄ）は濃度レベルを補正した濃度分布図
である。

【図６】図１に示した実施例における入力データ作成部
の動作を示す説明図である。

【図７】本発明の一実施例におけるニューラルネットワ
ーク処理部の動作を示す説明図であり、図７（Ａ）は入
力データＸ1 に対する出力データｘ1 、図７（Ｂ）は入
力データＸ2 に対する出力データｘ2 、図７（Ｃ）は入
力データＸ3 に対する出力データｘ3 をそれぞれ示す。

【図８】コントラストの高い原画像とその二値化画像の
例を示す平面図であり、図８（Ａ）が原画像、図８
（Ｂ）が従来技術による二値化画像、図８（Ｃ）が本発
明による二値化画像である。

【図９】コントラストの低い原画像とその二値化画像の
例を示す平面図であり、図９（Ａ）が原画像、図９
（Ｂ）が従来技術による二値化画像、図９（Ｃ）が本発
明による二値化画像である。

【図１０】本発明を適用した文字認識装置の構成を示す
ブロック図である。

【図１１】図１０に示した実施例における刻印文字と濃
度分布との関係を示す図で、図１１（Ａ）はコントラス
トの高い原画像「１」の平面図及びその濃度分布図であ
り、図１１（Ｂ）はコントラストの高い原画像「２」の
平面図及びその濃度分布図であり、図１１（Ｃ）はコン
トラストの低い原画像「１」の平面図及びその濃度分布
図であり、図１１（Ｄ）はコントラストの低い原画像
「２」の平面図及びその濃度分布図である。

【図１２】図１０に示した実施例におけるい動作を示す
フローチャートである。

【図１３】図１０に示した実施例におけるニューラルネ
ットワーク処理部の学習例を示す説明図であり、図１３
（Ａ）は入力層のユニット１への入力データが０．６以
上の時に出力層のユニット１に１．０を出力させるため
の学習データを示す説明図で、図１３（Ｂ）は入力層の
ユニット１及び２への入力データが０．６以上の時に出
力層のユニット１及び２に１．０を出力させる学習デー
タを示す説明図であり、図１３（Ｃ）は入力層のユニッ
ト１及び２への入力データが０．４以下の時、出力層の
ユニット１及び２に０．０を出力させるための学習デー
タを示す説明図であり、図１３（Ｄ）は入力層への入力
データが０．６以上でも連続していなければ０．０を出
力する学習データを示す説明図である。

【図１４】図１０に示す実施例による文字認識の結果を
示す図表である。

【図１５】図１０に示す実施例による不正解画像を示す
平面図である。

【符号の説明】

１０原画像入力部１２しきい値選定部１４入力データ作成部１６ニューラルネットワーク処理部１８二値化画像合成部２０入力層２２中間層２４出力層ｂ，Ａ，Ｂ，Ｃ原画像ｃ補正用しきい値Ｘ1 〜Ｘn 入力データｘ1 〜ｘn 出力データ

Claims

【特許請求の範囲】

【請求項１】認識処理対象を含む画像を撮像すると共
に当該アナログ画像を階調のある原画像に変換する原画
像入力部と、当該原画像の二値化用の補正用しきい値を
算出するしきい値選定部と、当該補正用しきい値に基づ
いて前記原画像の濃度レベルを補正すると共に当該原画
像を正規化することで入力データを作成する入力データ
作成部と、この入力データ作成部が作成した入力データ
をニューラルネットワーク処理により二値化して出力す
るニューラルネットワーク処理部とを備えたことを特徴
とする画像の二値化装置。