JPH07320000A - 画像処理方法 - Google Patents

Abstract

(57)【要約】 【目的】 しきい値により２値化処理を行う際に，文字
又は文字列を認識するのに好適な２値化画像を得る。 【構成】 第１の画像処理方法では，第１の画像処理装
置１０の２値化手段１２により画像信号を２値化処理す
る際に，判定手段１３が上記しきい値が適正であるか，
否かを判定し，しきい値変更手段１４が文字又は文字列
を認識するのに好適なしきい値になるようにしきい値を
変更する。文字または文字列よりも明るいまとまった画
像が含まれている濃淡画像を文字または文字列を認識す
るのに好適な２値化画像に変換することができる。上記
構成により，正確に文字または文字列を認識することが
できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は，文字又は文字列の画像
を読み取る画像形成装置に係り，特に文字又は文字列の
画像とその背景よりなる濃淡画像をしきい値処理により
２値化し，その２値化画像から文字又は／及び文字列の
画像を認識する画像処理方法に関する。

【０００２】

【従来の技術】一般的な文字認識の処理手順では，図１
２に示すように，まず文字認識対象の原画像（濃淡画
像）を例えばＣＣＤカメラ等で読み取り（Ｓ５１），適
当なしきい値に基づいて２値化し（Ｓ５２），文字列を
切り出す（Ｓ５３）。切り出された文字列の中から，さ
らに，文字を切出し（Ｓ５４），２値化する（Ｓ５
５）。この２値化画像を正規化した後（Ｓ５６），特徴
を抽出する（Ｓ５７）。そして，この抽出された特徴を
基に文字の認識を行う（Ｓ５８）。このように濃淡画像
から文字画像を認識する文字認識処理では，しきい値処
理による濃淡画像の２値化処理が行われている。２値化
処理により文字切り出し処理や特徴抽出処理が容易にな
る。この２値化処理は，次の（１）式に示すように，濃
淡画像関数Ｉ（x,y）をしきい値Ｔｈによる２値化画像
関数Ｂ（x,y;Th）に変換する処理であり，処理後の２値
化画像関数Ｂ（x,y;Th）では，画像の暗い部分が０，明
るい部分が１で表現される。 Ｂ（x,y;Th）＝０ （if Ｉ（x,y ）＜ Th ：暗 ） ＝１ ０（if Ｉ（x,y ）＞＝Th ：明 ） …（１） 従って，認識精度は原画像の２値化レベルつまりしきい
値の適正さに大きく依存する。この２値化のためのしき
い値の決定方法としては例えば次のような方法が知られ
ている。即ち，従来から画像処理におけるしきい値決定
法として，適応しきい値法が知られている。この適応し
きい値法は，しきい値Ｔｈを変えながら実際に２値化処
理を行い，その結果を何らかの判断基準に基づいて評価
することにより適切なしきい値を決定する方法である。
そして，適応しきい値法による２値化処理結果を平均隣
接数により判断する先行技術が，文献：電子情報通信学
会論文誌Ｄ−２Ｖｏｌ．Ｊ７３−Ｄ−２ Ｎｏ．３ ｐ
ｐ．３６０−３６６ １９９０年３月に記載されてい
る。

【０００３】適応しきい値法による２値化処理結果を平
均隣接数により判断する先行技術において，背景より明
るい文字を含む濃淡画像を２値化する際に，次第にしき
い値を上げながら２値化処理を実行する。このとき，Ｉ
の成分に着目すると，図１３（ａ）に示すように，直感
的にその連結成分が“まとまった領域”として抽出され
るしきい値が適正な値であると考えられる。ここで，
“まとまった領域”とは，境界線のぎざぎざや領域内部
の穴等の少ない連結成分を意味している。そこで，まと
まりの良さを表す評価関数を考えると，連結成分の各点
のうち，境界点の比率が低く，内部点の比率が高い形状
になるほど，まとまりが良いと考えることができる。図
１３（ｂ）に示すように，３×３の各領域を２値化した
２値パターンにおいて，中心が１であるとき，その隣接
領域の１の数を隣接数と定義し，次の手順で平均隣接数
を求める。 しきい値Ｔに対する２値化画像関数Ｂ（x,y;T ）にお
いて，隣接数がｉ（i=0,…，8 ）である１の点の個数を
ａｉ（T ）で表す。 隣接数の総和Ａ（T ），面積Ｓ（T ）を次の（２）
式，（３）式に従って求める。

【数１】 平均隣接数Ｒ（T ）を次の（４）式に従って求める。 Ｒ（T ）＝Ａ（T ）／Ｓ（T ） …（４） 以上のようにして求めた平均隣接数Ｒ（T ）には，まと
まりが良いほど大きな値になるという性質があり，位置
に対する濃淡画像の濃度分布が，図１４（ａ）に示すよ
うなものであれば，上記平均隣接数Ｒ（T ）はしきい値
Ｔに対して図１４（ｂ）に示すように変化し，適正なし
きい値は平均隣接数Ｒ（T ）が極大となる点になる。

【０００４】

【発明が解決しようとする課題】上記したような平均隣
接数Ｒ（T ）を判断基準とした適応しきい値法により，
例えば機械部品に部品番号等の文字または文字列が表示
されている画像，即ち文字または文字列と背景とのコン
トラストが低い画像を２値化すると，一般に文字が明瞭
に表現されており，２値化画像から文字を切り出すこと
が容易にできるので，文字が正しく認識される可能性が
高く，この場合のしきい値は適正である。一方，例えば
明るい背景の中に配置された機械部品に背景に部品番号
等の文字または文字列が表示されている画像，即ち文字
よりも明るいまとまった画像が含まれている画像を２値
化すると，明るい背景を認識するのに適したしきい値が
設定される。このような状態では，認識すべき文字また
は文字列の画像が，文字の字形が崩れて文字を認識する
のが困難な２値化画像に変換されてしまう。このように
明るい背景を含む画像を２値化した２値化画像では，文
字の字形が崩れており，２値化画像から文字を切り出す
ことが困難であり，文字が誤認識される可能性が高く，
この場合の平均隣接数Ｒ（T ）が極大となるしきい値は
適正でない。以上のような従来の平均隣接数Ｒ（T ）極
大による適応しきい値法では，背景に文字より明るいま
とまった画像が含まれている濃淡画像から不適切なしき
い値を決定してしまい，そのしきい値に基づいて２値化
処理を行うと，文字の切り出しが困難で文字認識に不適
当な２値化画像が形成されるという問題がある。また，
しきい値の決定方法として周知の「大津の方法」や「パ
ーセンタイル法」が用いられることもあるが，上記と同
様の問題がある。つまり，実際の原画像には局所的なノ
イズ（鋼材表面に存在する手入れ跡やスケール），文字
よりもコントラストが強い背景などが存在することがあ
り，いずれもこれに対応できない。

【０００５】このため最近ではしきい値を単一から原画
像の分割単位毎に複数化するとか，文字列切り出し処理
と文字切り出し処理とを組み合わせてしきい値を最適化
する方法が実施されている（特開平４−２６８９８７号
公報等）。それらの処理において「文字列・文字の切り
出し方法」として用いられているのは，２値化画像の直
交２軸への投影分布データ（ヒストグラム）からある判
断基準によって切り出し点を決定する方法である。これ
は，図１５に示す２値化画像を例として説明すると，Ｘ
−Ｙ軸に対してそれぞれ黒画素の累積値を求め，その分
布状態から文字の存在領域を判断する方法である。これ
によれば図１５のように背景と文字とのコントラスト差
が大，かつ，文字が明瞭な場合には，精度よく文字列・
文字を切り出せる。しかし，文字と背景とのコントラス
ト差が全体にわたり均一でなく，かつ，ノイズを含む原
画像から文字・文字列の画像を認識することは困難であ
る。例えば，図５（ａ）から文字近傍のみを濃淡画像と
して読み込み（図５（ｂ）参照），「大津の方法」で求
めた固定のしきい値（ｔｈ３）を用いて２値化すると図
６（ｃ）のようになり，“Ｌ”を示す黒画素は消滅して
しまう。次に，前述の特開平４−２６８９８７号公報の
方法，つまりしきい値を順次変更し，文字又は文字列の
切り出しチェックを行った場合では，適正なしきい値は
ｔｈ４である。このしきい値を用いた２値化画像は図６
（ｄ）に示すようになり，この方法でも“Ｌ”を示す黒
画素は消滅している。以上述べたように，従来の方法
は，いずれも上記のように劣悪な条件をもつ，画像認識
対象に対して文字の切り出しが困難である。このよう
に，文字の切り出しを正確に行えない場合は文字の誤認
識につながる危険性があった。本発明は，このような従
来の技術における課題を解決するために，しきい値によ
り２値化処理を行う際に，文字又は／及び文字列を認識
するのに好適な２値化画像を形成することができる画像
処理方法を提供することを目的とするものである。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に第１の発明は，文字又は文字列の画像と，その背景よ
りなる濃淡画像をしきい値処理により２値化し，その２
値化画像から文字又は文字列の画像を認識する画像処理
方法において，文字又は文字列の連結成分に関する特徴
を表す情報を文字又は文字列毎に予め記憶しておき，画
像処理の対象となる領域の濃淡画像を読み込み，適当な
初期しきい値に基づいてしきい値処理することにより濃
淡画像から２値化画像を求め，上記２値化画像の連結成
分と上記予め用意された文字又は文字列の特徴を表す情
報とを比較することにより２値化画像の連結成分が文字
又は文字列の画像であるか，否かを判定し，２値化画像
から文字又は文字列の画像を読み取れない場合には，上
記しきい値処理のしきい値を変更して文字画像の認識を
繰り返すことにより，文字又は文字列の画像を読み取る
ことを特徴とする画像処理方法である。更には，上記２
値化画像から文字又は文字列の画像を読み取れない場合
には，上記しきい値処理のしきい値を上記初期しきい値
から所定量だけ増加又は減少させることを特徴とする画
像処理方法である。また，第２の発明は，文字及び該文
字により構成される文字列の画像と，その背景よりなる
濃淡画像をしきい値処理により２値化し，その２値化画
像から文字及び文字列の画像を認識する画像処理方法に
おいて，文字及び文字列の連結成分に関する特徴を表す
情報を文字及び文字列毎に予め記憶しておき，画像処理
の対象となる領域の濃淡画像を読み込み，適当な初期し
きい値に基づいてしきい値処理することにより濃淡画像
から２値化画像を求め，上記２値化画像の連結成分と上
記予め用意された文字の特徴を表す情報とを比較するこ
とにより２値化画像の連結成分が文字の画像であると認
識された文字の特徴を表す情報を抽出し，上記抽出され
たすべての文字の特徴を表す情報と上記予め用意された
文字列の特徴を表す情報とを比較することにより，２値
化画像の連結成分が文字列の画像であるか否かを判定
し，２値化画像から文字列の画像を読み取れない場合に
は，上記しきい値処理のしきい値を変更して文字及び文
字列の画像の認識を順次繰り返すことにより，文字列の
画像を読み取ることを特徴とする画像処理方法である。

【０００７】更には，上記文字及び文字列の画像の認識
の繰り返し時に，上記抽出された文字の特徴を表す情報
を累積的に記憶し，上記記憶されたすべての文字の特徴
を表す情報を組み合せて文字列の特徴を表す情報を生成
し，上記生成された文字列の特徴を表す情報と上記予め
用意された文字列の特徴を表す情報とを比較することに
より，２値化画像の連結成分が文字列の画像であるか否
かを判定することを特徴とする画像処理方法である。更
には，上記２値化画像から文字列の画像を読み取れない
場合には，上記しきい値処理のしきい値を上記初期しき
い値から所定量だけ増加又は減少させることを特徴とす
る画像処理方法である。第３の発明は，文字又は文字列
の画像と，その背景よりなる濃淡画像をしきい値処理に
より２値化し，その２値化画像から文字又は文字列の画
像を認識する画像処理方法において，文字又は文字列の
連結成分に関する特徴を表す情報を文字又は文字列毎に
予め記憶しておき，画像処理の対象となる領域の濃淡画
像を読み込み，異なる複数のしきい値に基づいてしきい
値処理することにより上記濃淡画像から複数の２値化画
像を求め，上記それぞれ求められた２値化画像の連結成
分と上記予め用意された文字又は文字列の特徴を表す情
報とを比較することにより各２値化画像の連結成分が文
字又は文字列の画像であるか，否かをそれぞれ判定し，
上記それぞれ判定された結果，文字又は文字列の画像を
読み取れた２値化画像の１つを出力することを特徴とす
る画像処理方法である。さらには，上記濃淡画像の性質
に応じた適正なしきい値を基に抽出された２値化画像を
１つ出力する画像処理方法である。

【０００８】

【作用】第１の発明による画像処理方法では，予め文字
又は文字列の連結成分に関する特徴を表す情報を文字又
は文字列毎に記憶しておき，まず，適当な初期しきい値
に基づいてしきい値処理して濃淡画像から２値化画像が
求められる。次いで，２値化画像の連結成分と上記予め
用意された文字又は文字列の特徴を表す情報とを比較す
ることにより２値化画像の連結成分が文字又は文字列の
画像であるか，否かが判定される。このとき，２値化画
像から文字又は文字列の画像を読み取れない場合には，
上記しきい値処理のしきい値を変更して文字画像の認識
が繰り返され，文字又は文字列の画像が読み取られる。
その結果，正確に文字または文字列を認識することがで
きる。更に，上記２値化画像から文字又は文字列の画像
を読み取れない場合には，上記しきい値処理のしきい値
を上記初期しきい値から所定量だけ増加または減少させ
ることとすれば，該初期しきい値を任意に設定しても最
終的に最適なしきい値が得られる。また，第２の発明に
よる画像処理方法では，予め文字及び文字列の連結成分
に関する特徴を表す情報を文字及び文字列毎に記憶して
おき，まず，適当な初期しきい値に基づいてしきい値処
理して濃淡画像から２値化画像が求められる。次いで，
２値化画像の連結成分と上記予め用意された文字の特徴
を表す情報とを比較することにより２値化画像の連結成
分が文字の画像であると認識された文字の特徴を表す情
報が抽出される。上記抽出されたすべての文字の特徴を
表す情報と上記予め用意された文字列の特徴を表す情報
とを比較することにより，２値化画像の連結成分が文字
列の画像であるか否かが判定される。このとき，２値化
画像から文字列の画像を読み取れない場合には，上記し
きい値処理のしきい値を変更して文字及び文字列の画像
の認識が順次繰り返され，文字列の画像が読み取られ
る。

【０００９】その結果，正確に文字及び文字列を認識す
ることができる。更に，上記文字及び文字列の画像の認
識の繰り返し時に，上記抽出された文字の特徴を表す情
報が累積的に記憶され，上記記憶されたすべての文字の
特徴を表す情報を組み合わせて文字列の特徴を表す情報
が生成され，上記生成された文字列の特徴を表す情報と
上記予め用意された文字列の特徴を表す情報とを比較す
ることにより２値化画像の連結成分が文字列の画像であ
るか否かが判定される。これにより，文字列領域の認識
精度を向上させることができる。更に，上記２値化画像
から文字列の画像を読み取れない場合には，上記しきい
値処理のしきい値を上記初期しきい値から所定量だけ増
加又は減少させることとすれば，該初期しきい値を任意
に設定しても最終的に最適なしきい値が得られる。第３
の発明による画像処理方法では，予め文字又は文字列の
連結成分に関する特徴を表す情報を文字又は文字列毎に
記憶しておき，まず，異なる複数のしきい値に基づいて
しきい値処理して濃淡画像から２値化画像が求められ
る。次いで，それぞれ求められた２値化画像の連結成分
と上記予め用意された文字又は文字列の特徴を表す情報
とを比較することにより各２値化画像の連結成分が文字
又は文字列の画像であるか，否かがそれぞれ判定され
る。上記それぞれ判定された結果，文字又は文字列の画
像を読み取れた２値化画像の１つが出力される。その結
果，正確かつ迅速に文字または文字列を認識することが
できる。さらに，上記濃淡画像の性質に応じた適当なし
きい値を基に抽出された２値化画像を１つ出力すれば，
認識対象に最も適したしきい値を用いることができるた
め，より正確な認識を行うことができる。

【００１０】

【実施例】以下，添付図面を参照して本発明を具体化し
た実施例につき説明し，本発明の理解に供する。尚，以
下の実施例は，本発明を具体化した一例であって，本発
明の技術的範囲を限定する性格のものではない。ここ
に，図１は第１の発明の一実施例に係る第１の画像処理
方法を示すフロー図，図２は該第１の画像処理方法を実
行するための第１の画像処理装置の概略構成を示すブロ
ック図．図３は第２の発明の一実施例に係る第２の画像
処理方法を示すフロー図，図４は該第２の画像処理方法
を実行するための第２の画像処理装置の概略構成を示す
ブロック図，図５は文字認識対象の原画像の例図，図６
はしきい値を変更した場合の２値化画像とその直交投影
分布とを示す説明図，図７は外接長方形の説明図，図８
は連結成分の説明図，図９は文字列の位置及び配置の説
明図，図１０は第３の発明の一実施例に係る第３の画像
処理方法を示すフロー図，図１１は該第３の画像処理方
法を実行するための第３の画像処理装置の概略構成を示
すブロック図である。第１の本発明による第１の画像処
理方法では，図２に示すような例えばコンピュータを利
用した第１の画像処理装置１０により文字または文字列
を含む濃淡画像に文字または文字列を認識するための画
像処理を実行する。上記第１の画像処理装置１０は，例
えばＣＣＤカメラ等により撮像された画像信号を取り込
む入力手段１１を有している。入力手段１１に入力され
た画像信号は，２値化手段１２へ伝達され，２値化手段
１２において予め設定された初期しきい値を使用してし
きい値処理され，上記濃淡画像から２値化画像を形成す
る。また２値化手段１２では，２値化画像内に含まれて
いる連結成分に，各連結成分を特定するためのラベル情
報を割当てるラベリング処理を行う。２値化手段１２で
得られた２値化画像は，ラベル情報と共に判定手段１３
へ伝達され，その２値化画像を得るために使用された上
記初期しきい値が適正であるか，否かが判定される。判
定手段１３では２値化画像中に含まれている文字または
文字列の連結成分に関する情報を読み出し，予め記憶手
段１５に記憶されている文字又は文字列の連結成分に関
する情報と，２値化画像から読み出された文字または文
字列の連結成分に関する情報とを比較し，２値化画像か
ら読み出された文字または文字列が上記記憶手段１５に
記憶された文字又は文字列に該当するか，否かを決定す
る。

【００１１】そして，判定手段１３において，２値化画
像から読み出された文字または文字列が，記憶手段１５
に記憶された文字又は文字列に関する情報に該当すると
判定する場合には，２値化手段１２で使用された初期し
きい値が適正であるとして，その２値化画像を出力手段
１６から外部へ出力する。一方，判定手段１３におい
て，２値化画像から読み出された文字または文字列が，
記憶手段１５に記憶された文字又は文字列に関する情報
に該当しない場合には，２値化手段１２で使用された初
期しきい値が不適正であるとして，しきい値変更手段１
４により初期しきい値を僅かだけ増加させる信号を２値
化手段１２へ出力する。そして，２値化手段１２はその
増加されたしきい値により上記した一連の画像処理を，
しきい値が適正であると判定されるまで繰り返す。この
ような第１の画像処理装置１０による画像処理方法を図
１に従って説明すると，まずステップＳ１において，上
記ＣＣＤカメラ等により文字と背景とが含まれた濃淡画
像を撮像し，その画像信号を上記入力手段１１へ入力す
る。その後ステップＳ２へ進み，２値化手段１２におい
て初期しきい値が設定される。このステップＳ２では初
期しきい値ＴｈをＴｈ＝０に設定する。次いで，初期し
きい値Ｔｈによりしきい値処理が実行され，例えば明る
い背景の中に配置された機械部品に背景に部品番号等の
文字または文字列が表示されている画像，即ち文字また
は文字列よりも明るいまとまった画像が含まれている濃
淡画像を２値化画像に変換する。ステップＳ２の後に
は，ステップＳ３へ進み，得られた２値化画像内に含ま
れている連結成分に，各連結成分を特定するためのラベ
ル情報を割当てるラベリング処理を行う。このラベリン
グ処理では，各連結成分の外接長方形のサイズ（高さ，
幅，面積，アスペクト比等）及び位置等の情報を抽出す
る。その後に，ステップＳ５の判定処理へ進む。この判
定処理では，記憶手段１５に記憶しておくことにより予
め用意された文字又は文字列の連結成分に関する情報
（外接長方形のサイズ，位置等）と，ラベリング処理さ
れた連結成分の情報とを判定手段１３が比較し，抽出さ
れた文字又は文字列が，記憶手段１５に記憶された文字
又は文字列に関する情報に該当するか，否かを判定す
る。

【００１２】上記ステップＳ５で，抽出された文字又は
文字列が，上記記憶手段１５に記憶されている文字又は
文字列に該当する場合には，そのしきい値Ｔｈが適正で
あるとして次のステップＳ６へ進み，濃淡画像全体をし
きい値処理して２値化画像を出力手段１６から出力す
る。一方，ステップＳ５で，抽出された文字又は文字列
が，上記記憶手段１５に記憶されている文字又は文字列
に該当しない場合には，そのしきい値Ｔｈが不適正であ
るとして，しきい値変更手段１４によりしきい値Ｔｈを
Ｔｈ＝０から少し増加させて，上記ステップＳ３へ戻
り，適正なしきい値になるまで再度上記の各処理を繰り
返す。このような第１の画像処理方法により，上記文字
または文字列よりも明るいまとまった画像が含まれてい
る濃淡画像から得られた２値化画像では，文字又は文字
列の形状が明瞭に表れており，字形が崩れて文字を認識
することが困難な従来の２値化画像と比較して，２値化
画像から文字又は文字列を容易に切り出すことができ
る。なお，第１の本発明は以上の一実施例に限定され
ず，種々変形可能である。例えば，一実施例では，２値
化手段１２においてラベリング処理を実行しているが，
このラベリング処理は必ずしも，必須ではなく，ラベリ
ング処理を省略するか，他の処理に置換えることもでき
る。また，予め用意されている文字または文字列に関す
る情報（知識）を変更するだけで異なった認識対象に対
しても拡大展開が可能になる。なお，上記第１の発明の
実施例では初期しきい値を最も小さい値に設定し，これ
を増加させているが，逆に初期しきい値を任意の値に設
定し，これを増加又は減少させることとしてもよい。こ
れにより，初期しきい値を任意の値としても最終的には
最適なしきい値を得ることができる。ところで上記第１
の発明の実施例では，しきい値を文字又は文字列毎に変
化させているが，前述したように文字と背景とのコント
ラスト差が文字列全体にわたり均一でなく，かつノイズ
を含むような場合には，さらに文字列を構成する文字毎
にしきい値を変化させればよいと考えられる。第２の発
明はこのような点に着目してなされたものである。

【００１３】引き続いて，第２の発明について説明す
る。第２の発明による第２の画像処理方法では，図４に
示すような例えばコンピュータを利用した第２の画像処
理装置２０により文字及びこの文字により構成される文
字列を含む濃淡画像に文字及び文字列を認識するための
画像処理を実行する。上記第２の画像処理装置２０は，
例えばＣＣＤカメラ等により撮像された画像信号を取り
込む入力手段２１を有している。入力手段２１に入力さ
れた画像信号は２値化手段２２へ伝達され，２値化手段
２２において予め設定された初期しきい値を使用してし
きい値処理され，上記濃淡画像から２値化画像を形成す
る。次いでその２値化画像は，ラベリング処理手段２３
に伝達され，２値化画像内に含まれている連結成分から
文字又は文字列の連結成分に関する情報を抽出するラベ
リング処理を行う。次いでラベリング処理手段２３で得
られた文字又は文字列の連結成分に関する情報と２値化
画像とは，候補文字の抽出手段２４へ伝達される。候補
文字の抽出手段２４では，記憶手段２５に予め登録され
ている文字に関する基準情報と，ラベリング処理手段２
３で得られた２値化画像内の文字の連結成分に関する情
報とを比較し，２値化画像内の文字の連結成分が，記憶
手段２５に登録されているいずれかの文字の画像である
と認識された記憶手段２５の登録文字を候補文字として
抽出し候補文字の記憶手段２６に記憶させる。次いで文
字画像のチェック手段２７では，候補文字の抽出手段２
４で得られた総ての候補文字を対象として記憶手段２５
に登録されている文字列に関する基準情報に該当するか
どうかを判定する。該当しない場合は，初期しきい値が
不適正であるとして，しきい値更新手段２８により，一
定のルールでしきい値を更新し，完成された文字列が認
識されるまで，一連の画像認識処理を繰り返す。

【００１４】以下，この第２の画像処理装置２０による
画像処理方法を主として図３を参照しつつ，ステップＳ
１１，Ｓ１２，…の順に説明する。ここでは，例えば図
５（ａ）のようにスラブ上にマーキングされた画像上に
含まれる文字列の認識を行う場合について具体的に述べ
る。まずステップＳ１１において，上記ＣＣＤカメラ等
により文字と背景とが含まれた原画像（濃淡画像）を撮
影し，濃度レベルが，０〜２５５階調からなる濃淡画像
を上記入力手段２１へ取り込む。対象が例えば鋼材上に
マーキングされている文字などの場合，スラブ停止位置
や文字のマーキング可能範囲を事前に把握できるので，
図５（ｂ）に示すような文字又は文字列を含んだ範囲を
予め限定して撮影できる。これは処理時間の短縮，検出
精度の向上につながる。ステップＳ１２では，２値化の
ための暫定的な初期しきい値ｄ_s が次式に従い決定され
る。 ｄ_s ＝ｄ_o −ｄ_n …（１′） ここで，ｄ_o は原画像の濃度レベル（０〜２５５階調）
の平均値 ｄ_n はある条件で決まる値：ｄ_n ＝ｂ＊（ｄ_o −
ｄ_min ） ｄ_min は原画像の濃度レベルの最小値：ｄ_min ≧Ｚ ｂ，Ｚは一定値 次いで，ステップ１３では，上記初期しきい値ｄ_S を用
いて原画像の２値化に使用するしきい値ｄ_k が次式に従
い決定される。 ｄ_k ＝ｄ_s ＋ａ＊（ｋ−１） ｋ＝１，…，ｊ …（２′） ここで，ａ，ｊは一定値 上記ステップＳ１２，Ｓ１３は２値化手段２２により実
行される。尚，後述するように，しきい値ｄ_k は，文字
列が認識されるまで，しきい値更新手段２８により繰り
返し更新されるが，上記（２′）式からわかるように，
しきい値ｄ_k は，初期しきい値ｄ_s から一定値ａだけ更
新毎に増加するように変化する。このしきい値ｄ_k を用
いて，原画像の２値化を行い２値化画像が生成される。

【００１５】次いでステップＳ１４では，ラベリング処
理手段２３によるラベリング処理によって２値化画像内
に含まれる連結成分から文字又は文字列の連結成分に関
する情報，すなわち各連結成分の外接長方形のサイズ
（高さ，幅，面積，アスペクト比等）及び位置の情報が
抽出される（図７参照）。ここで，位置の情報とは外接
長方形の位置を表わし，具体的には外接長方形の上下，
左，右端位置ａ１，〜ａ４の各座標である。図７におい
て，外接長方形が得られたなら，位置ａ１，〜ａ４の座
標（ｘｉ，ｙｉ， ｉ＝１，〜４）は，光学系の幾何学
的条件から決まる。但し，その精度については外接長方
形が存在する垂直面は，被圧延面である水平面と較べて
一般に低い。また，連結成分とは，２値化画像を表す２
値画面内の０又は１に２値化された成分のうち，互いに
隣あって存在する１の成分の集まりをいう。例えば，白
画素の部分が０，黒画素の部分が１に対応しているとす
れば，連結成分は白黒の２値画面において，隣り合って
存在する黒の成分の集まりである。図８では“２”とそ
の横に存在する汚れのそれぞれが連結成分として抽出さ
れている。また，外接長方形は図８では上記１つの連結
成分を囲む長方形である。この連結成分の外接長方形の
高さ，幅，面積，アスペクト比及び位置の情報が検出さ
れる。これにより，黒画素のおおまかな形が切り出さ
れ，２値化画像内のその領域が特定される。もし，しき
い値が適正であれば，２値画面内に存在する文字の領域
が切り出されることになる。

【００１６】次いでステップＳ１５では，候補文字の抽
出手段２４により，上記ステップ１４で得られた総ての
候補文字と予め記憶手段２５に登録している文字に関す
る基準情報とが順次比較され，該当する候補文字が抽出
される。例えば，図６（ｂ）では，“Ｌ”を囲む外接長
方形のみが，上記記憶手段２５の文字に関する基準情報
と合致するので，“Ｌ”のみが候補文字として抽出され
るが，他の連結成分は，この段階では候補文字に該当し
ない。次いでステップ１６では，文字画像のチェック手
段２７により上記ステップ１５で得られた総ての候補文
字を対象として，記憶手段２５に予め登録されている文
字列に関する基準情報に該当するかどうかが判定され
る。上記判定においては，具体的には，上記ステップＳ
１５にて得られた候補文字であって，次のステップＳ１
７の処理において，候補文字の記憶手段２６に記憶され
た候補文字を利用する。すなわち今回がｎ回目の処理で
あるとしたら，ｎ回目に得られたすべての候補文字とｎ
−１回目までに既に得られている総ての候補文字とを組
合せて，一つの文字列として基準情報に該当するかどう
かを判定する。例えば，しきい値ｔｈ２（図６（ｂ））
では，候補文字として“Ｌ”が認識され，これがステッ
プＳ１７において候補文字の記憶手段２６に記憶され
る。次のステップＳ１７の処理において，しきい値が上
記（１′）式に従って更新され，ｔｈ４（図６（ｄ））
に達した時点で，“Ｌ”以外の数字“６，３，４”が候
補文字として選択されると，先に記憶されている“Ｌ”
と併せて“Ｌ６３４”の文字列として，文字列の連結成
分に関する基準情報と比較される。該当する場合は，こ
の第２の画像処理装置２０が，２値化画像内の文字列の
領域を認識したことになり，２値化画像が出力され，ス
テップＳ１８において，上記ステップＳ１５において抽
出された候補文字毎のしきい値が保存され，総ての処理
が終了する。

【００１７】該当しない場合は，上記ステップＳ１７の
処理を実行する。ここでは，上記ステップＳ１５におい
て得られたすべての候補文字が候補文字の記憶手段２６
に記憶されるとともに，しきい値更新手段２８により，
しきい値が上記（２′）式に従って更新された後，上記
ステップＳ１３へ戻り，上記ステップＳ１６において完
全な文字列が認識されるまで処理が繰り返される。ここ
で候補文字の記憶手段２６に累積的に記憶された候補文
字は，上述したようにステップＳ１６における文字列の
切り出し処理に利用される。尚，文字列の連結成分に関
する基準情報とは，文字列の高さ及び幅，文字列を
構成する文字の個数，文字列の位置及び配置などであ
り，文字に関する基準情報とは異なる。例えば熱延スラ
ブの場合，連鋳機Ｎｏ．によって，上記〜の数値は
決まる。連鋳機Ｎｏ．は実システムにおいては上位のプ
ロセス管理用コンピュータから情報として受けとる。ま
た，文字列の位置とは，文字列そのものの位置を表現す
る情報であり，具体的には図９（ａ）に示すような文字
列の上，下，左，右端位置ｂ１〜ｂ４の各座標である。
更に，文字列の配置とは，文字列を構成する複数の候補
文字が有する位置情報の関係を表わしたもので，その配
置情報は認識対象に依存する。配置情報の具体的なもの
として，「文字列は水平方向に連続しているという情
報」がある。そのばあいには，例えば図９（ｂ）におい
て（Ｕｍａｘ−Ｕｍｉｎ）と（Ｌｍａｘ−Ｌｍｉｎ）と
について上限チェックを実施し，その結果から上記配置
情報が得られる。ただし，Ｕｍａｘ，Ｕｍｉｎは外接長
方形の上端位置の最大，最小値，Ｌｍａｘ，Ｌｍｉｎは
外接長方形の下端位置の最大，最小値をそれぞれ示して
いる。

【００１８】尚，上記第２の発明についても以上の一実
施例に限定されず，種々の変形が可能である。例えば，
本実施例では，ラベリング処理手段２３においてラベリ
ング処理を実行しているが，このラベリング処理は必ず
しも必須ではなく，他の処理に置き換えることもでき
る。また予め用意されている文字または文字列に関する
情報（知識）を変更するだけで異なった認識対象に対し
ても拡大展開が可能になる。尚，上記第２の発明の実施
例についても，初期しきい値を最も小さい値に設定し，
これを増加させているが，初期しきい値を任意の値に設
定し，これを増加又は減少させることとしてもよい。こ
れにより，初期しきい値を任意の値としても最終的には
最適なしきい値を得ることができる。上記第１，第２の
実施例では，いずれもしきい値を順次変更しつつ各処理
を繰返しているが，この代りに異なる複数のしきい値を
用いて並列処理を行えばより迅速な文字等の認識を行え
るものと考えられる。第３の発明はこの点に着目してな
されたものである。引き続き第３の発明について説明す
る。第３の発明による第３の画像処理方法では，図１１
に示すような例えばコンピュータを利用した第３の画像
処理装置３０により文字または文字列を含む濃淡画像に
文字または文字列を認識するための画像処理を実行す
る。上記第３の画像処理装置３０は具体的には並列演算
コンピュータ（トランスピュータ等）を利用して，画像
入力部３１と２値化処理部３２（ｉ）（ｉ＝０，１，
２，…ｎ−１）と２値化画像出力部３３とを並列に動作
させるように構成されている。

【００１９】そして，画像入力部３１はＣＣＤカメラ等
により入力された濃淡画像を組み込み，画像入力部３１
に並列にｎ個接続されている２値化処理部３２（ｉ）に
伝達する。２値化処理部３２（ｉ）の２値化手段３４
（ｉ）では次の（３′）式で得られるしきい値Ｔｈｉを
使用して上記濃淡画像をしきい値処理し，２値化画像を
生成する。 Ｔｈｉ＝Ｔｈｍｉｎ＋ａ×ｉ …（３′） ここでａ：一定値 ｉ＝０，１，…，ｎ−１ Ｔｈｍａｘ＝Ｔｈｍｉｎ＋ａ×（ｎ−１） また，２値化手段３４（ｉ）では２値化画像に含まれて
いる連結成分に，各連結成分を特定するためのラベル情
報を割り当てるラベリング処理を行う。２値化手段３４
（ｉ）で得られた２値化画像はラベル情報と共に判定手
段３５（ｉ）へ伝達され，ここで上記２値化画像を得る
ために使用されたしきい値Ｔｈｉが適正であるか否かが
判定される。即ち判定手段３５（ｉ）では２値化画像に
含まれている連結成分に関する情報を読み出し，あらか
じめ記憶手段３６（ｉ）に記憶されている文字または文
字列の連結成分に関する情報と，２値化画像から読み出
された連結成分に関する情報とを比較し，２値化画像に
含まれている連結成分が記憶手段３６（ｉ）に記憶され
た文字または文字列に該当するか否かを判定する。そし
て，判定手段３５（ｉ）において，２値化画像に含まれ
ている連結成分の情報が記憶手段３６（ｉ）に記憶され
た文字または文字列に関する情報に該当すると判定する
場合には，２値化手段３４（ｉ）で使用されたしきい値
Ｔｈｉが適正であるとして，１に設定された適正信号ａ
ｉとしきい値Ｔｈｉと２値化画像とを２値化画像出力部
３３へ転送する。一方，判定手段３５（ｉ）において，
２値化画像に含まれている連結成分の情報が，記憶手段
３６（ｉ）に記憶された文字または文字列に関する情報
に該当しない場合には２値化手段３４（ｉ）で使用され
たしきい値Ｔｈｉが不適正であるとして，０に設定され
た適正信号ａｉとしきい値Ｔｈｉと２値化画像とを２値
化画像出力部３３へ転送する。

【００２０】２値化画像出力部３３では複数の２値化処
理部３２（ｉ）より転送されてきた適正信号の中から，
１を示している適正信号と対になっている２値化画像を
１つ選択し，出力する。以下，この第３の画像処理装置
３０による画像処理方法を図１０を参照しつつ，ステッ
プＳ２１，Ｓ２２，…の順に説明する。まず，ステップ
Ｓ２１において，上記ＣＣＤカメラ等により文字と背景
とが含まれた濃淡画像を撮影し，その画像信号を画像入
力部３１を介して複数の２値化処理部３２（ｉ）に転送
する。その後ステップＳ２２へ進み，２値化処理部３２
（ｉ）の２値化手段３４（ｉ）において上記（３′）式
で得られるしきい値Ｔｈｉを使用して上記濃淡画像をし
きい値処理し２値化画像を形成する。ステップＳ２２の
後にはステップＳ２３へ進み，得られた上記２値化画像
に含まれている連結成分に，各連結成分を特定するため
のラベル情報を割り当てるラベリング処理を行う。この
ラベリング処理では各連結成分の外接長方形のサイズ
（高さ，幅，面積，アスペクト比）及び位置の情報を抽
出する。その後にステップＳ２４の判定処理に進む。こ
の判定処理では，記憶手段３６（ｉ）に記憶しておくこ
とにより予め用意された文字または文字列の連結成分に
関する情報（外接長方形の高さ，幅，面積，アスペクト
比や位置の情報）とラベリング処理された連結成分の情
報とを判定手段３５（ｉ）が比較し，抽出された連結成
分の情報が，記憶手段３６（ｉ）に記憶された文字また
は文字列に関する情報に該当するか否かを判定する。上
記ステップＳ２４で，抽出された連結成分の情報が記憶
手段３６（ｉ）に記憶されている文字または文字列の情
報に該当する場合には，そのしきい値Ｔｈｉが適正であ
るとして，１に設定した適正信号ａｉと上記しきい値Ｔ
ｈｉと上記２値化画像とを２値化画像出力部３３へ転送
し，次のステップＳ２５へ進む。一方，抽出された連結
成分の情報が記憶出力３６（ｉ）に記憶されている文字
または文字列の情報に該当しない場合には，そのしきい
値Ｔｈｉが不適正であるとして，０に設定した適正信号
ａｉと上記しきい値Ｔｈｉと上記２値化画像とを２値化
画像出力部３３へ転送し，次のステップＳ２５へ進む。

【００２１】ステップＳ２５では，すべての２値化処理
部３２（ｉ）より適正信号が転送されてきた後に，１が
設定されている適正信号から１つを選択し，それと対に
なっている２値化画像を出力する。即ち，濃淡画像の性
質に応じた適正なしきい値を基に抽出された２値化画像
を１つ出力する。ここでは，１に設定されている適正信
号で，対になっているしきい値がもっとも小さいもので
作成された２値化画像を出力している。上記第１，第２
の発明の第１，第２の画像処理方法における２値化手法
では，例えば濃淡画像の明るさが全体的に明るい場合，
適正なしきい値が大きな値となるため，しきい値処理，
ラベリング処理，判定処理を繰り返す回数が増大し，そ
れに伴い処理時間が大幅に増大する場合があるが，本第
３の発明の第３の画像処理方法では，上記に示すとおり
複数の２値化処理部３２（ｉ）を用いて並列に異なるし
きい値でのしきい値処理，ラベリング処理，判定処理を
行うことにより，大幅な処理時間の短縮が可能である。
従って，第３の本発明によれば，例えば文字または文字
列より明るいまとまった画像が含まれている濃淡画像で
も高速に文字または文字列を切り出すのに好適な２値化
画像に変換することができる。その結果，正確かく迅速
に文字または文字列を認識することができる。

【００２２】また，上記の如く濃淡画像の性質に応じた
適正なしきい値を基に抽出された２２値化画像を１つ出
力するため，認識対象に最も適したしきい値を用いてよ
り正確な認識を行うことができる。なお，本第３の発明
についても以上の一実施例に限定されず，種々の変形が
可能である。例えば，本実施例ではステップＳ２５で出
力される２値化画像は，ここでは１に設定されている適
正信号で，対になっているしきい値がもっとも小さいも
のを用いて作成した２値化画像であるが，その選択方法
は他の方法に置き換えることが可能である。また，本実
施例では，ステップＳ２３においてラベリング処理を実
行しているが，このラベリング処理は必ずしも必須では
なく，他の処理に置き換えることもできる。また予め用
意されている文字または文字列に関する情報（知識）を
変更するだけで異なった認識対象に対しても拡大展開が
可能になる。さらに本第３の発明を上記第１，第２の発
明と組み合わせ適用することも考えられる。例えば複数
の異なる処理しきい値を用い，これらの初期しきい値を
比較的小さな範囲でそれぞれ順次変更しつつ各処理を並
列して同時に行えば，比較的コンパクトな装置でしかも
比較的迅速に処理を行うことができる。

【００２３】

【発明の効果】第１の発明に係る画像処理方法は，上記
したように構成されているため，画像をしきい値により
２値化処理を行う際に，文字又は文字列を認識するのに
好適なしきい値になるようにしきい値を変更することが
でき，文字または文字列を認識するのに好適な２値化画
像を形成して，正確に文字または文字列を認識すること
ができる。また，予め用意されている文字または文字列
に関する情報（知識）を変更するだけで異なった認識対
象に対しても応用可能である。また，第２の発明に係る
画像処理方法では，文字列に含まれる文字毎にしきい値
を変化させことにより２値化画像内に含まれる文字又は
文字列部分の領域をくまなく探索することができる。従
って原画像全体にわたり文字と背景とのコントラスト差
が均一でなく，多くのノイズを含む原画像中に文字より
も明るくまとまった領域が存在するか又は文字にかすれ
が有るといったような劣悪な画像認識対象からでも文字
の確実な切り出しと文字及び文字列の領域の認識とが可
能となる。さらに，第３の発明に係る画像処理方法で
は，異なる複数のしきい値を用いて並列処理を行うこと
により大幅な処理時間が短縮が可能となる。従って，た
とえ文字または文字列より明るいまとまった画像が含ま
れている濃淡画像でも高速に文字または文字列を切り出
すのに好適な２値化画像に変換することができる。その
結果，しきい値により２値化処理を行う際に，文字又は
／及び文字列を認識するのに好適な２値化画像を得るこ
とができる。

【図面の簡単な説明】

【図１】 第１の発明の一実施例に係る第１の画像処理
方法を示すフロー図。

【図２】 該第１の画像処理方法を実行するための第１
の画像処理装置の概略構成を示すブロック図。

【図３】 第２の発明の一実施例に係る第２の画像処理
方法を示すフロー図。

【図４】 該第２の画像処理方法を実行するための第２
の画像処理装置の概略構成を示すブロック図。

【図５】 文字認識対象の原画像の例図。

【図６】 しきい値を変更した場合の２値化画像とその
直交投影分布を示す説明図。

【図７】 外接長方形の説明図。

【図８】 連結成分の説明図。

【図９】 文字列の位置及び配置の説明図。

【図１０】 第３の発明の一実施例に係る第３の画像処
理方法を示すフロー図。

【図１１】 該第３の画像処理方法を実行するための第
３の画像処理装置の概略構成を示すブロック図。

【図１２】 一般的な文字認識の処理手順の一例を示す
フロー図。

【図１３】 濃淡画像とその濃淡画像から得られる隣接
数とを示す説明図。

【図１４】 画像の位置に対する濃度の変化と，しきい
値Ｔに対する平均隣接値Ｒ（Ｔ）の変化とを示す説明
図。

【図１５】 ２値化画像の直交２軸への投影分布を示す
説明図。

【符号の説明】

１０…第１の画像処理装置 １１…入力手段 １２…２値化手段 １３…判定手段 １４…しきい値変更手段 １５…記憶手段 ２０…第２の画像処理装置 ２１…入力手段 ２２…２値化手段 ２３…ラベリング処理手段 ２４…候補文字の抽出手段 ２５…記憶手段 ２６…候補文字の記憶手段 ２７…文字画像のチェック手段 ２８…しきい値更新手段 ３０…第３の画像処理装置 ３１…画像入力手段 ３２（ｉ）…２値化処理部 ３３…２値化画像出力部 ３４（ｉ）…２値化手段 ３５（ｉ）…判定手段 ３６（ｉ）…記憶手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者 中山 万希志 兵庫県神戸市西区高塚台１丁目５番５号 株式会社神戸製鋼所神戸総合技術研究所内 (72)発明者 寺田 博文 兵庫県神戸市西区高塚台１丁目５番５号 株式会社神戸製鋼所神戸総合技術研究所内

Claims (7)

【特許請求の範囲】
1. 【請求項１】 文字又は文字列の画像と，その背景より
   なる濃淡画像をしきい値処理により２値化し，その２値
   化画像から文字又は文字列の画像を認識する画像処理方
   法において，文字又は文字列の連結成分に関する特徴を
   表す情報を文字又は文字列毎に予め記憶しておき，画像
   処理の対象となる領域の濃淡画像を読み込み，適当な初
   期しきい値に基づいてしきい値処理することにより濃淡
   画像から２値化画像を求め，上記２値化画像の連結成分
   と上記予め用意された文字又は文字列の特徴を表す情報
   とを比較することにより２値化画像の連結成分が文字又
   は文字列の画像であるか，否かを判定し，２値化画像か
   ら文字又は文字列の画像を読み取れない場合には，上記
   しきい値処理のしきい値を変更して文字画像の認識を繰
   り返すことにより，文字又は文字列の画像を読み取るこ
   とを特徴とする画像処理方法。
2. 【請求項２】 上記２値化画像から文字又は文字列の画
   像を読み取れない場合には，上記しきい値処理のしきい
   値を上記初期しきい値から所定量だけ増加又は減少させ
   ることを特徴とする請求項１記載の画像処理方法。
3. 【請求項３】 文字及び該文字により構成される文字列
   の画像と，その背景よりなる濃淡画像をしきい値処理に
   より２値化し，その２値化画像から文字及び文字列の画
   像を認識する画像処理方法において，文字及び文字列の
   連結成分に関する特徴を表す情報を文字及び文字列毎に
   予め記憶しておき，画像処理の対象となる領域の濃淡画
   像を読み込み，適当な初期しきい値に基づいてしきい値
   処理することにより濃淡画像から２値化画像を求め，上
   記２値化画像の連結成分と上記予め用意された文字の特
   徴を表す情報とを比較することにより２値化画像の連結
   成分が文字の画像であると認識された文字の特徴を表す
   情報を抽出し，上記抽出されたすべての文字の特徴を表
   す情報と上記予め用意された文字列の特徴を表す情報と
   を比較することにより，２値化画像の連結成分が文字列
   の画像であるか否かを判定し，２値化画像から文字列の
   画像を読み取れない場合には，上記しきい値処理のしき
   い値を変更して文字及び文字列の画像の認識を順次繰り
   返すことにより，文字列の画像を読み取ることを特徴と
   する画像処理方法。
4. 【請求項４】 上記文字及び文字列の画像の認識の繰り
   返し時に，上記抽出された文字の特徴を表す情報を累積
   的に記憶し，上記記憶されたすべての文字の特徴を表す
   情報を組み合せて文字列の特徴を表す情報を生成し，上
   記生成された文字列の特徴を表す情報と上記予め用意さ
   れた文字列の特徴を表す情報とを比較することにより，
   ２値化画像の連結成分が文字列の画像であるか否かを判
   定することを特徴とする請求項３記載の画像処理方法。
5. 【請求項５】 上記２値化画像から文字列の画像を読み
   取れない場合には，上記しきい値処理のしきい値を上記
   初期しきい値から所定量だけ増加又は減少させることを
   特徴とする請求項３記載の画像処理方法。
6. 【請求項６】 文字又は文字列の画像と，その背景より
   なる濃淡画像をしきい値処理により２値化し，その２値
   化画像から文字又は文字列の画像を認識する画像処理方
   法において，文字又は文字列の連結成分に関する特徴を
   表す情報を文字又は文字列毎に予め記憶しておき，画像
   処理の対象となる領域の濃淡画像を読み込み，異なる複
   数のしきい値に基づいてしきい値処理することにより上
   記濃淡画像から複数の２値化画像を求め，上記それぞれ
   求められた２値化画像の連結成分と上記予め用意された
   文字又は文字列の特徴を表す情報とを比較することによ
   り各２値化画像の連結成分が文字又は文字列の画像であ
   るか，否かをそれぞれ判定し，上記それぞれ判定された
   結果，文字又は文字列の画像を読み取れた２値化画像の
   １つを出力することを特徴とする画像処理方法。
7. 【請求項７】 上記濃淡画像の性質に応じた適正なしき
   い値を基に抽出された２値化画像を１つ出力する請求項
   ６記載の画像処理方法。