JP2000207491A

JP2000207491A - 文字列読取方法及び装置

Info

Publication number: JP2000207491A
Application number: JP11004951A
Authority: JP
Inventors: Shoji Ikeda; 尚司池田; Yukio Ogawa; 祐紀雄小川; Masashi Koga; 昌史古賀; Yutaka Sako; 裕酒匂; Hiromichi Fujisawa; 浩道藤澤
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1999-01-12
Filing date: 1999-01-12
Publication date: 2000-07-28

Abstract

(57)【要約】【課題】本発明は封筒、文書上に記載された文字列を読
取る装置において、特に互いに接触した文字を含む文字
列の読取り方式に関する。【解決手段】文字行画像から生成した文字パタンの候補
に対して接触した文字パタンかどうかを判定する処理
と、接触したと判定した文字パタンに対して、接触の推定
を行う処理と、推定した接触点において文字パタン画像
を切断・分離する処理と、切断された画像から新たに文
字パタン候補を生成する処理をゆうすることによって、
接触文字を含む文字列読取を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は手書き文字列を読み
とって認識する方法と装置に係り、特に互いに接触した
文字を正しく認識する文字列の自動読取り方式に関す
る。

【０００２】

【従来の技術】文書上に記載された文字列を読取るため
には、主に以下の４つの処理手順が必要となる。

【０００３】（１）文字行切出し：文書画像からの文字
行画像の抽出（２）文字切出し：文字行画像からの文字パタンの切出
し（３）文字識別：各文字パタンの字種（文字コード）の
識別（４）文字列照合：予め持っている言語知識を用いた文
字列読取り結果の確定上記の４つの処理は図1に示したような関係にある。従
来技術としては、（１）の文書画像から文字行画像を抽
出する技術として、トップダウン的に領域を抽出した後
に領域中の文字行を抽出する方式等（秋山他「周辺分布
特徴と線密度特徴を併用した反復型文書画像領域分割
法」電子情報通信学会技術研究報告PRU85-41）がある。
（２）の文字切出しについては、文字行画像中の黒画素
の連続した部分（以下、連結成分）を単位として、これ
を組み合わせて文字パタンの候補を作成し、複数存在す
る連結成分の組合せのすべてを多重仮説として、これら
の仮説を検証し正しい文字切出し結果を出力するする手
法が文献（藤澤他「接触した手書文字の自動分離を行う
文字切出し方式」昭和５９年度電子情報通信学会総合大
会No.1588）等によって知られている。正しい文字切出
し結果を得るため、文字識別の結果を用いて文字パタン
候補に確信度を付けることにより、（２）の文字切出し
と（３）の文字識別を相補的に作用させる技術が文献
（村瀬他「言語情報を利用した手書き文字列からの文字
切出しと認識」電子情報通信学会技術研究報告 PRU-92-
40）等に記されている。（４）の文字列照合に関する技
術としては、文字識別結果のラティスから有限オートマ
トンを生成し、これに辞書中の単語を入力することによ
り候補単語を抽出する方式（丸川他「手書き漢字住所認
識のためのエラー修正アルゴリズム」情報処理学会論文
誌第35巻第6号）等が知られている。

【０００４】しかし、上記の文字切出し手法は、連結成分
を単位としているため、文字どうしが互いに接触してい
る場合は、正しい文字パタンを得ることができないとい
う問題がある。

【０００５】この問題に対して、接触を含む連結成分を
強制的に切断して文字パタンを得る手法知られている。
例えば、数字を対象に、接触文字間におけるストロークど
うしの接触の仕方を分類し、ストローク形状解析により
接触点を同定、切断する方式（藤澤他「パタン切出し及
び認識方法」特許番号第2550012）がある。接触の分
離手法の一つとしては、例えば図3に示すように、「56」
という文字列の縦方向に黒画素の数を数え上げてヒスト
グラムを作成し、この形状の変化する点を接触位置の候
補として切断・分離する方法がある。

【０００６】

【発明が解決しようとする課題】本発明で解決しようと
する課題は、接触文字を含む漢字や仮名の文字列に対し
て、正しい文字パタン候補を得るための接触文字切断・
分離機能を、誤った文字パタン候補の生成をできるだけ
少なくすることにより、文字列読取り処理全体の処理時
間を高速化するように実現することである。

【０００７】上記説明の従来の接触文字切出し手法は文
字行画像中の大きな連結成分に着目して、これを切断・
分離する手法である。接触を含むかどうかの判定は基本
的には連結成分のサイズをしきい値と比較することによ
り行う。英数字と異なり、漢字は、偏や旁などで構成され
るため、一つの文字パタンが複数の連結成分からなるこ
とが多く、文字どうしが接触しているとしても、接触を含
む連結成分の大きさは、接触していない文字の大きさと
変わらないことが多い。例えば、図5に示す文字列では、3
01、302、303の三つの接触が存在するが、最初の二つの接
触は、これを含む連結成分は他の連結成分と比較しても
特に大きくはなく、その大きさだけを基準とすれば一文
字とも判断することができる。

【０００８】従って漢字文字列の読取りを行う際、従来
の接触文字の切断・分離手法を適用しようとすると、連
結成分のサイズによる判断では接触があると判断され
ず、文字切出しに失敗する場合があった。一方、接触判定
における連結成分の大きさに関するしきい値をゆるくす
ると、ほとんどの文字パタンが接触ありと判定され、切断
・分離処理の結果、切出し仮説としての文字パタンの数
が著しく増えてしまい、パタン生成の処理時間、さらに
は、これらの文字パタンに対する文字識別処理の時間が
増加し、文字列読取り処理全体の効率を大きく低下させ
てしまう。

【０００９】また、接触を含む連結成分の切断・分離に
成功しても、正しい文字パタン候補が別個の文字パタン
候補内に分かれて存在している場合がある。例えば新た
に生成された文字パタン候補が「明」の「日」や「月」
のような漢字の偏や旁であった場合、切断・分離によっ
て新たに生成された連結成分を文字パタンとするだけで
は、正しい文字切出し結果を得られないだけでなく、それ
ぞれ「日」や「月」といった別の文字として識別してし
まうことにより、文字列の誤認識につながってしまう。

【００１０】

【課題を解決するための手段】上記の課題を解決するた
めに、本発明では、第一に、接触可能性の判定を文字列画
像中の連結成分ではなく、連結成分を組合わせることに
より生成された文字パタン候補に対して行う。文字パタ
ン候補を対象に接触可能性の判断を行うことにより、接
触部分が小さな連結成分にしか存在しない場合にも、そ
の連結成分を含む文字パタンが大きくなる場合には、接
触可能性有りと判断され、切断・分離処理を行うことに
より正しい文字切出し結果が得られるようになる。先に
例として用いた図5の文字列においては、文字行の画像は
図7で矩形で囲まれたような連結成分から構成されるが、
本発明方法では、接触可能性の判定はこれらを組み合わ
せた文字パタン候補に対して行うので、図9に示すような
文字パタン候補に対して接触の可能性があるという判断
を行うことになる。

【００１１】第二に、接触可能性有りと判定された文字
パタン候補に対しては、その中から接触を含む連結成分
を選択し、切断・分離を行う。この場合、接触有りと判断
された複数の文字パタン候補において同じ連結成分が切
断の対象となる場合があるため、切断・分離処理の対象
となった連結成分を記憶しておくことにより、切断・分
離処理が一回のみ起動されるようにしておく。これによ
り同じ連結成分を複数回切断しないようにし、文字パタ
ンの増加を防ぐ。これは文字列読取り処理全体の処理時
間の増加をも防ぐ。

【００１２】第三に、文字切出し仮説に対する接触文字
パタンの判定、接触文字パタンの分離（切断）処理を接
触文字と判定される文字パタンがなくなるまで再帰的に
繰り返す。これによって、３文字以上の文字が連続して
接触した場合でも文字切出しが出来るようにする。

【００１３】第四に、切断・分離処理により新たに生成
された文字パタン候補と、隣接する文字パタンとの統合
判定を行ない、この基準を満たしたならば、これらの成分
を統合して新たな文字パタンを生成する。これによって
偏や旁といった文字の一部分が接触している場合に、接
触部分を分離した後、文字の残りの部分とを統合して正
しい文字パタンを得ることができるようになる。

【００１４】第五に、切断・分離処理により新たに生成
された連結成分と文字パタン候補内の切断対象にならな
かった連結成分との相対的な位置関係により、切断の妥
当性を判断し、不適切と判断した場合は切断を取りやめ
る。これにより非文字パタンの生成を防ぎ、文字パタン
候補の増加を押さえることができる。

【００１５】

【発明の実施の形態】本発明の実施形態を図を用いて説
明する。まず接触文字を含む文字列読取り処理の流れを
データフロー図、図11を用いて述べる。

【００１６】本実施例は、読取り対象の文字列を含む画
像を入力とし、文字列認識結果である文字列を出力とす
る文字列読取処理である。まず、行切出し602は、文字列
読取601に入力された文字行画像から読取り対象の文字
を含む行を抽出し、文字行画像として出力する。文字行
画像は白黒の二値画像である。文字切出し603は、文字行
画像から文字パタン候補を切出す。文字行画像中の黒画
素の連続した部分（連結成分）を単位として、文字パタ
ンの候補を作成する。文字パタン候補は、後述の切り出
し仮説ネットワークの１つのアークに相当する。文字パ
タン候補は、１つの連結成分のみで構成されるか、連結
成分の組み合わせで構成される。文字パタン候補を作成
しただけの段階では正しい文字の切り分け方が一意に定
まらないことが一般的なので、考えられる文字パタン候
補をすべて列挙し、文字パタン候補間の順序関係をネッ
トワーク形式でメモリ上に記憶しておく。このネットワ
ークを切出し仮説ネットワークと呼ぶ。図5の文字行画
像に対する切出し仮説ネットワークを図13に示す。ネッ
トワークのノードが文字パタンの境界、あるいは文字行
の切れ目、アークが文字パタンに対応している。

【００１７】切出し仮説ネットワーク中の文字パタン候
補から正しい文字切出し候補を選択するため、文字パタ
ン候補に対する文字識別結果によって文字切出しの確信
度に重み付けを行ったり、あるいは文字パタン間の間隔
や文字パタン候補の高さや幅といった幾何学的特徴を用
いて確信度に重み付けを行う方法が知られている。後者
は文献（Koga et al. Segmentation of Japanese Handw
ritten Characters Using Peripheral Feature Analysi
s International Conference for Pattern Recognitio
n、 1998、 pp.1137-1141）に記されている。

【００１８】文字識別処理604は、各文字パタン候補に対
して予め登録された標準パタンとの比較を行い、最も差
分が小さい文字カテゴリを文字認識結果として出力す
る。このようにオーバーセグメンテーションに基づく多
重仮説検定方式によって、文字切出し603において正しい
文字切出し候補、すなわち候補文字列を出力する。

【００１９】文字列照合処理605は、文字識別結果のラテ
ィスと予め用意した読取対象の単語とを照合することに
より、文字識別部での誤りを訂正しながら文字列読取結
果を出力する。

【００２０】文字切出し処理603において作成される図1
3に示すような切り出し仮説ネットワークは、連結成分を
最小単位として文字パタン候補が構成されている。各ア
ークの示す部分には１つの連結成分のみ、または複数の
連結成分の組み合わせが示されるが、１つのアークが１
つの文字パタンの候補を示している。文字間の接触のた
めに複数の文字（の一部分）が同一の連結成分を構成し
ている場合は、別途これを分離し新たに文字候補パタン
を作成する必要がある。本実施例では、この接触の分離
と新規文字パタン候補の作成処理を切出し仮説ネットワ
ーク生成後に、このネットワーク上の文字パタン候補に
対して作用させることにより実現する。

【００２１】上記接触分離と新規文字パタン候補の作成
処理の手順を図15を用いて説明する。以降切出し仮説ネ
ットワークの例として図13を用いることとする。

【００２２】最初に、図15のステップ801において、入力
文字行画像から切出し仮説ネットワークを作成する。

【００２３】次にステップ802において切出し仮説ネッ
トワーク上のすべての文字候補パタンに対して、接触の
分離と新規文字候補パタンの追加処理を行う。

【００２４】接触の分離と新規文字候補パタンの追加処
理における第一のステップ803では、図13の切出し仮説ネ
ットワーク上の文字候補パタンに対して、接触文字を含
んでいる可能性があるかどうかの判定を行う。この接触
文字を含むかどうかの判定処理については後で述べる。
図13の切出し仮説ネットワーク上の文字パタン候補の中
からは、図17に太線で示した文字パタン候補901、902、903
が接触可能性があると判断される。

【００２５】ステップ803の判定処理において接触文字
を含まないと判断されると、ステップ804へ進み、ステッ
プ802のループにおける次の文字パタン候補に処理を進
める。

【００２６】ステップ803の判定処理において接触文字
を含むと判定された場合は、ステップ805に進む。ステッ
プ805では、接触文字を含むと判定された文字パタン候補
に対して、これを構成する連結成分の中で接触を含む連
結成分を推定し、これを切断・分離し、新たな連結成分画
像を生成する。ここでの連結成分の切断・分離処理につ
いては後述する。

【００２７】連結成分の切断・分離処理によって新たに
生成された連結成分は、ステップ806において、接触可能
性があると判断された文字パタン候補のうち、切断・分
離処理の対象とならなかった連結成分の中から適切なも
のを選択し組み合わせることにより、新たな文字パタン
候補を生成する。その結果、図17で接触を含むと判断さ
れた文字パタン候補901、902、903からは、それぞれ図19に
おける文字パタン候補1001、1002、1003、1004、1005、1006
が生成され切出し仮説ネットワークに追加される。

【００２８】接触文字パタンの切断・分離処理によって
新たに文字パタン候補を生成しても、正しい文字パタン
候補を構成する連結成分が、切出し仮説ネットワーク上
で異なる文字パタン候補に分断されている場合がある。
このため、切断・分離処理後の切出し仮説ネットワーク
への文字パタン候補追加処理を行った後、ステップ807に
おいて、切断、分離処理により新たに追加された文字パタ
ン候補と切出し仮説ネットワーク上における隣接文字パ
タン候補を統合して新たに文字パタン候補を生成する。
この結果図21において文字パタン候補1101、1102、1103が
新たに生成される。

【００２９】ステップ803からステップ807までの処理を
新たな文字パタン候補が生成されなくなるまで繰り返し
実行する。以上のような処理を経て接触文字を含む文字
列画像に対しても正しい文字パタン候補を含んだ文字切
出し仮説ネットワークを生成することができる。

【００３０】次に、図15における処理ステップ803からス
テップ807までの処理の詳細について各ステップ毎に述
べる。

【００３１】まず、ステップ803の接触文字判定について
述べる。日本語の漢字や仮名文字は英数字と異なり、偏
や旁など一つの文字パタンが複数の連結成分からなるこ
とが多く、文字中の連結成分の大きさは文字パタンのサ
イズと比べて小さい場合が多い。そのような場合は、文
字どうしが接触していても、接触を含む連結成分を取り
出すと、連結成分の大きさは接触していない文字のそれ
と変わらない。従って日本語の漢字文字列のに対して、
上記の接触文字の切断・分離手法を適用しようとする
と、連結成分のサイズによる判断では接触があると判断
されず、正しい文字切出し結果を得られない可能性が有
る。そこで入力文字行中の連結成分の大きさによって接
触文字かどうかの判断を行うのではなく、切出し仮説ネ
ットワーク上の文字パタン候補の注目することにより接
触文字の切断を行う。

【００３２】文字パタン候補に対する接触文字判定処理
のフローを図23を用いて述べる。

【００３３】図13の切出し仮説ネットワークにおける各
文字パタン候補について、まず始めにステップ1201では、
文字パタン候補の幾何学的特徴をしきい値と比較するこ
とによって接触を含むかどうかの判定を行う。幾何学的
特徴の例としては、文字パタン候補の行方向の長さやア
スペクト比がある。文字パタン候補の行方向の長さに関
するしきい値は、図 13の文字行画像の幅1301に係数を乗
じて求めた値1302を用いることができる。

【００３４】ステップ1201において条件を満たさない文
字パタン候補はステップ1202に進み、接触文字判定処理
を終える。図 13の文字パタン候補701は上記の条件を満
たさず、接触文字ではないと判定される。文字パタン候
補702は上限を満たす。

【００３５】ステップ1201の条件を満たした文字パタン
候補に対しては、ステップ1203において、実際に切断・分
離される連結成分を選択する。選択の基準としては、連
結成分の行方向の長さを採用し、これが最も長い連結成
分を切断・分離処理の対象として選択する。この基準を
満たした連結成分に対して、文字の大きさと接触を含む
連結成分の大きさを比べ、しきい値よりも小さい連結成
分であれば、切断の対象から除外するという処理を設け
ることによって、接触判定の精度を高めることができ
る。これは、例えば「川」という文字のように、幅の小さ
な連結成分ばかりからなる文字パタン候補や、かすれに
より小さな連結成分ばかりからなる文字パタン候補に対
して無駄な切断処理を働かせないようにすることを目的
とする。図 14に示すように、文字行画像の幅1401を文字
パタンの推定幅と見なし、これに係数をかけることによ
り連結成分の幅の下限に関するしきい値1402とする。図
13の文字パタン候補702を構成する連結成分の中でその
幅が最大の連結成分1403を選択する。この連結成分1403
の幅は、連結成分幅下限に関するしきい値1402よりも大
きいため、連結成分1403は切断・分離処理の対象として
選択される。

【００３６】文字パタン候補に対する接触判定処理は、
切出し仮説ネットワーク上のすべての文字パタン候補に
対して行われるため、例えば、図 13の文字候補パタン702
と文字候補パタン703はともに接触を含むと判定され、ス
テップ1203では、同じ連結成分1403（図 14）が重複して
切断されてしまうことになり非効率的である。そこで、
切断対象となった連結成分を図 15に示すような切断対
象連結成分管理テーブルに登録しておき、同じ連結成分
が重複して切断対象となる場合は、この連結成分を含む
文字パタン候補の中で、接触ありと判断された候補のう
ち、最小のパタンにおける当該連結成分のみを切断対象
とする。切断対象連結成分管理テーブルには、連結成分
の識別番号、もしくは、文字行画像中における連結成分の
左端1501、右端1502、上端1503、下端1504の相対座標を格
納しておくことにより、連結成分を同定可能である。ま
た文字パタン候補へのポインタ1505を持つことにより当
該連結成分が含まれる文字パタン候補との対応付けも可
能である。

【００３７】文字候補パタン702に対する接触文字パタ
ン判定処理において、ステップ1204では、切断対象と判断
した連結成分1403が、すでに切断対象の連結成分として
登録されているかどうかを切断対象連結成分管理テーブ
ルを検索することにより調べる。すでに登録されていれ
ば、ステップ1205へ進み、接触文字パタン判定処理を終え
る。

【００３８】未登録であれば、切出し仮説ネットワーク
上の各文字パタン候補に対して以下の処理を行う。まず
ステップ1206では、図 15の切断対象連結成分管理テーブ
ルに連結成分の座標1501〜1504までを格納する。この
後、切断後の連結成分をもとに新しい文字パタン候補を
生成することになるが、もし接触文字パタン候補として
選択した文字パタン候補に、余分な連結成分が含まれて
いれば、切断後に生成した新しい文字パタン候補中にも
その連結成分が含まれることになり、結果として正しい
文字パタン候補が得られなくなる。そこで、ステップ120
7では、切断対象の連結成分に対する、文字パタン候補と
して、その連結成分を含む接触文字パタン候補の中で最
小の文字パタン候補を選択し、切断対象連結成分管理テ
ーブルに登録する。このようにして図 13における文字
候補パタン703ではなく、文字候補パタン702が切断対象
連結成分1403に対する接触文字パタン候補として、切断
対象連結成分管理テーブルの文字パタン候補ポインタフ
ィールド1505に登録される。

【００３９】この接触文字パタン判定において接触文字
でないと判断、もしくは切断対象連結成分を同定できな
ければ、図 8におけるステップ804に進み、切出し仮説ネ
ットワーク上の次の文字パタン候補に対して接触文字判
定処理を行う。

【００４０】接触文字であると判断され、切断対象連結
成分を同定できれば、ステップ805に進み、連結成分の切
断・分離処理を行う。以上がステップ803における接触
文字判定処理である。

【００４１】次に、図 8におけるステップ805の連結成分
の切断・分離処理について述べる。

【００４２】漢字の接触の例を図 16に示す。縦書きの
場合は1601、1602のように上の文字の「はらい」が下の
文字に接触する場合が多い。一方横書きの場合は、1603
のように左の文字の「はらい」が右の文字に接触する場
合と、1604のように右の文字の「書き出し」が左の文字
に接触する場合がある。そこで、連結成分の切断に際し
ては、（１）縦書きの場合縦方向の直線が下部で横方向の直線と接触している場所（２）横書きの場合横方向の直線がその右側の縦方向の直線と接触している
場所縦方向の直線がその右側の横方向の直線と接触している
場所を切断点として連結成分の切断を行う。また接触点が、1
601のように接触点から水平方向に同じ文字パタン候補
の他の画素が存在しない場合と、1602のように同じ文字
パタンの他の画素が存在する場合があるため、これらを
それぞれ切断できるように、黒画素の行方向への周辺分
布を用いた切断点同定と直線成分の太さの変化量に基づ
く切断点同定の二通りの手法を用いる。

【００４３】連結成分の切断・分離処理の全体フローを
図 17に示す。まずステップ1701においてストローク幅
の変化追跡による連結成分の切断を行い、その後、ステッ
プ1702において周辺分布形状に基づく連結成分の切断を
行う。以下、縦書きの文字列に対する、それぞれの連結成
分の切断・分離処理について述べる。

【００４４】まず、ストローク幅変化追跡による切断処
理について述べる。

【００４５】文字画像から輪郭を抽出することにより、
ストロークが接する場所を同定し、接触の切断を行う手
法は、文献（H.Fujisawa他「Segmentation Methods for
Character Recognition: From Segmentation to Docume
nt Structure Analysis」Proc. of IEEE Vol.80、 No.7、
July 1992）などによって知られている。本実施例にお
ける第一の連結成分切断手法では、文字行方向に垂直な
ランレングス画像を用意し、隣接したランの長さの変化
を調べることで、画像中のストロークを抽出する手法を
採用する。ストローク幅幅の変化追跡による連結成分切
断・分離処理のフローを図 18に示す。

【００４６】まず始めにステップ1801において、切断・
分離処理の対象の連結成分に関する、行方向に垂直なラ
ンレングス形式の画像を作成する。次にステップ1802に
おいて、ランレングス画像からストロークを抽出する。
図 19に示すように、その時点で同じ直線成分に属すると
されたランの長さの平均値をW₁ 1901とした時、W₁からあ
る範囲の値をしきい値1902として、隣接するランの長さ
の差がしきい値1902以内であれば同じストロークと見な
し、しきい値を超えれば異なるストロークと見なす。こ
のようなストロークの抽出法は文献（D.Nishiwaki「A N
ew Recognition Method of Black Ruled Line Form」Pr
oc. of Second IAPR Workshop on GraphicsRecognition
1997）によって知られている。

【００４７】抽出したストローク毎にステップ1803にお
いて以下の処理を行う。

【００４８】まず、ステップ1804では以下の条件を満た
すストローク間の接点を切断点と見なす。

【００４９】(a)当該ストロークがある長さを持った、行
方向に平行な（縦の）ストロークである (b)行方向のストロークと行末側で接するストロークが
行と垂直方向にある長さを持っている (c)行方向のストロークの長さが行と垂直なストローク
に対してある割合よりも長い (d)上記条件における行方向のストロークは、行と垂直方
向のストロークに対して行頭側で接すするストロークの
中で最長か図 20におけるストローク2001については、ストロークに
含まれるランの長さの平均から幅2003が算出でき、スト
ロークを構成するランの数から長さ2004が算出できるた
め、これを用いて行方向に平行なストロークであるかど
うかが判断できる（条件(a)）。ストローク2001と行末
側で接するストローク2002の長さはランの長さ2005から
推定できるので、行と垂直方向のストロークであること
が判断できる（条件(b)）。行方向のストロークの長さ2
004と行と垂直なストローク2005から条件(c)も判断でき
る。さらにストローク間の接続関係を図 21に示すよう
なストローク管理テーブルを用いて持っておけば、行と
垂直方向のストロークの行頭側で接するストロークの長
さを比較することは可能である（条件(d)）。図 21にお
いて2101は一つのストロークに対する情報を保持する領
域であり、その内部は、ストロークの長さ2102、幅2103、行
頭側に何本のストロークと接しているか2104、接してい
るストロークに関するテーブル内の領域へのポインタ21
05、行末側に何本のストロークと接しているか2106、接し
ているストロークに関するテーブル内の領域へのポイン
タ2107、ストロークのランレングスデータ2109へのポイ
ンタ2108からなる。

【００５０】これらの条件をすべて満たさなければステ
ップ1805に進み、ステップ1803での次のストロークに関
する処理に移る。

【００５１】条件をすべて満たした場合は、ステップ180
6に進み、当該ストローク間の境界の切断処理を行う。連
結成分の切断は、行方向のストロークの、二つのストロー
クの境界部分から一本のランを削除することにより行
う。

【００５２】続くステップ1807では、ステップ1806にお
けるストローク境界部分のランの削除処理によって、連
結成分が複数に分割されたかどうかを調べる。ランレン
グスデータから文献（森「パターン認識」電子情報通信
学会）に記載されているような、ラベリング処理を行い、
複数の連結成分が抽出されるかを調べればよい。

【００５３】ここで切断対象の連結成分が環状であった
りして、一つのランデータを削除しても複数の連結成分
に分割されない場合は、切断により新たに作成した連結
成分は棄却して、ステップ1808においてステップ1803に
おける次のストロークに関する処理に移る。

【００５４】複数の連結成分に分割されていれば、ステ
ップ1809に進み、切断によって新たに生成した連結成分
を受理し、ステップ1803における次のストロークに関す
る処理に移る。

【００５５】ステップ1803においてすべてのストローク
に関する処理が終わると、ステップ1810に進み、切断点候
補の順位付けを行う。この順位に基づき切断候補の取捨
選択を行い、候補数の制限を行うことにより、過剰な切断
を防ぎ、文字列読取処理における誤りの低減や、処理速度
の向上を図ることができる。本実施例においては、切断
点の候補間の順位付けの基準として、交差するストロー
クの長さの積、すなわち、図 20におけるl1とl2の積を採
用し、この値が大きい候補ほど上位に位置付ける。

【００５６】最後にステップ1811において最上位の切断
候補として選択されたストロークの幅を当該連結成分を
含む文字のストロークの幅の基準値として出力し、スト
ローク幅変化解析による連結成分切断処理を終了する。

【００５７】次に図 17のステップ1702の投影形状変化
追跡による連結成分切断処理について述べる。

【００５８】文字行画像の行方向に対する周辺分布を計
算し、その「谷」部と「山」部の境界において文字を切
出すという手法は、文献（Y.Lu「On the Segmentation o
f Touching Characters」International Conference on
Document Analysis and Recognition 1993）をはじめ、
広く知られている。本実施例における周辺分布形状追跡
による連結成分切断・分離処理フローも同じ考え方に基
づいている。図 22に従い処理フローを述べる。

【００５９】まずステップ2201において入力連結成分の
行方向に対する黒画素の周辺分布を計算する。図 23に
おける連結成分2301からは2302のような周辺分布が得ら
れる。

【００６０】続いてステップ2202において、連結成分を
構成するストロークの幅の推定値を計算する。図 17に
おけるストローク幅変化追跡による連結成分切断処理
（ステップ1701）においてストローク幅を求めることが
できていれば、この値を用いる。求めることができてい
なければ、ステップ2201において求めた連結成分画像の
行方向の周辺分布から、両端部を除いた中央（例えば3/4
の範囲）2303における最小値をストローク幅の最小値と
する。周辺分布の両端部を最小値算出の対象から除いた
のは、文字を書く際の「はらい」などにより線幅が細く
なっていく状態を、ストローク幅推定から除外するため
である。

【００６１】周辺分布形状による連結成分の切断箇所の
選択には大小二つのしきい値を用いて、縦書きの場合、そ
の形状が鞍部から尾根に変化する境界を求める。ステッ
プ2203において、これらのしきい値はステップ2202で求
めた線幅推定値の定数を乗じることにより求める。大き
いほうのしきい値hは線幅をLwとすると、式 α × Lwのh
2304 と w 2305 に示すように α > β であり、hはス
トロークが複数重なった場合の幅の最小値を想定し、wは
線幅の最大値を想定する。連結成分の周辺分布のうち、
複数のストローク幅以下の値を持つ領域のうち、1本のス
トローク幅の最大値以下の点の内、極小点を見つけ、その
最も行末に近い極小点を連結成分の切断候補点とする。

【００６２】ステップ2204に進み、これら二つのしきい
値を用いて、先に述べた連結成分画像の中央部分の探索
範囲において行頭側から行末側に書けて画素毎において
以下の処理を行う。

【００６３】ステップ2205では、その位置が周辺分布形
状の鞍部における極小値か否かを判定する。すなわち、
その位置の周辺分布の値がしきい値hよりも小さければ、
周辺分布形状が鞍部にあると判断し、この場合さらに、し
きい値wよりも小さければステップ2207において極小値
として探索範囲に置ける位置を記憶する。これらの条件
を満たさなければステップ2206に進み、探索範囲上の次
の位置に関する処理を続ける。

【００６４】探索範囲内の処理が終われば、ステップ220
8に進み、探索範囲における周辺分布の値の極小値として
保存しておいた値の中から、最小値を求め、その時の探索
範囲内における位置を切断地点候補として出力する。同
じ極小値を持つ場所が複数有る場合は最も行末に近い場
所を切断点候補として出力する。

【００６５】ステップ2209において選択された位置に行
と垂直な方向に一画素分を空白にすることにより、連結
成分の空白を挿入する。

【００６６】以上、図 8のステップ805の連結成分の切断
・分離処理について述べた。横書きの文字列に対して
は、行方向に垂直なストロークと平行なストロークの順
序関係を入れ替えた条件を適用して、切断の条件判定を
行い、連結成分の切断・分離処理を行うことにより上記
の（２）で分類した両方の接触に対して連結成分を切断
できる。

【００６７】次に、図 8のステップ806の切断処理の妥当
性検証と文字切出し仮説ネットワークへの追加処理につ
いて述べる。

【００６８】接触があると判定された文字パタン候補に
おける、接触を含む連結成分の切断・分離処理が終わる
と、次に、切断・分離処理によって新たに生成した連結成
分から文字パタン候補を作成して、切出し仮説ネットワ
ークに追加しなければならない。本実施例では接触文字
パタン候補に対する一回の切断・分離処理で二つの文字
パタン候補を新たに生成することとする。そのために、
接触文字パタン候補において、切断・分離処理の対象と
ならなかった連結成分を切断・分離処理によって新たに
生成された連結成分と組み合わせて、文字パタン候補を
作成する必要がある。本実施例では連結成分の相対的な
位置関係に基づき、それぞれの連結成分が最初の文字パ
タン候補と、二番目の文字パタン候補のどちらかに含ま
れるかを決める。図 24における文字パタン候補2401は
図 9の切出し仮説ネットワーク上で接触文字を含むと判
断された文字パタン候補901であり、その中の連結成分24
02が切断・分離処理の対象となる連結成分である。連結
成分の切断・分離処理において連結成分2403、2404に分
離される。これらの連結成分のうち、行頭側にある連結
成分2403を行頭側の文字パタン候補に、行末側にある連
結成分2404を行末側の文字パタン候補とし、切断・分離
処理の対象とならなかった連結成分2405をどちらの文字
パタンに含めるかを判定する。判定の基準は (i)切断・分離処理の対象でない連結成分2405の行末側
の端2407が行頭側の連結成分2403の行末側の端2408より
も行頭側にあれば行頭側の文字パタン候補に含める (ii)切断・分離処理の対象でない連結成分2405の行頭側
の端2406が行末側の連結成分2404の行頭側の端2409より
も行末側にあれば行末側の文字パタン候補に含める (iii)それ以外の場合は、切断対象でない連結成分2405と
重なりあう部分が多いほうの連結成分と同じ文字パタン
に含めるとする。図 24では、連結成分2405は行頭側の文字パタン
候補に含まれるので、文字パタン候補2410と2411が生成
され、図 10の文字パタン候補1001と文字パタン候補1002
として切出し仮説ネットワークに追加される。

【００６９】この時、切断・分離処理の対象とならなか
った連結成分が、切断・分離処理の対象となる連結成分
を行方向の位置関係において包含関係にある場合は、切
断・分離処理の結果を棄却し、生成された連結成分から
新たな文字パタン候補を作成しない。

【００７０】以上が図 8のステップ806の切断処理の妥
当性検証と文字切出し仮説ネットワークへの追加処理で
ある。

【００７１】次に、図 8のステップ807の統合文字パタン
候補の追加処理について述べる。

【００７２】切断・分離処理によって新たに切出し仮説
ネットワークに追加された文字パタン候補と、隣接する
文字パタン候補とを統合して新たな文字パタン候補を追
加する。これは、切断・分離処理により接触していた漢
字の一方の偏だけが切出されて、他方の旁が別の文字パ
タン候補としてすでに切出し仮説ネットワーク上に存在
している場合でも、正しい文字パタン候補を生成するた
めである。図 8におけるステップ807において、切断・分
離処理により新たに生成されたすべての文字候補パタン
に対して、切出し仮説ネットワーク上の隣接するアーク
との間で、統合して新たな文字パタン候補とした場合の
行方向の長さが、一文字の幅の最大値に相当するしきい
値よりも小さければ、文字パタン候補を統合して新たに
文字パタン候補を切出し仮説ネットワークに追加する。
図 10の文字パタン候補1002からは、図 11の文字パタン
候補1101と文字パタン候補1102が生成され、追加され
る。

【００７３】以上が図 8のステップ807の統合文字パタ
ン候補の追加処理である。

【００７４】このようにして、図 8におけるステップ802
のループ処理をすべての文字パターンに対して行う。切
断・分離処理により新たに生成された文字パタン候補に
対しても行う。これにより、一つの文字パタン候補内に
二文字以上の接触文字が含まれている場合にも、上述し
たように、各文字パタンに対するサイズ、アスペクト比
から接触文字である可能性有りと判断される時に再帰的
に切断・分離処理を適用することにより、正しい文字パ
タン候補を得ることができる。

【００７５】本実施例におけるハードウエアの構成を図
25に示す．これまで述べてきた本発明は、例えば同図の
ような文字列読取装置2501に適用される。2502は、画像
入力をつかさどるスキャナである。スキャナ2502は、入
力紙面から読取対象の文字列の記載された文字行画像の
抽出をつかさどる前処理装置2503に接続される。前処理
装置2503は、入出力用インタフェース2504を介して認識
装置のバス2505に接続される。2506は文字列読取結果を
表示する文字列読取結果表示端末である。文字列読取結
果表示端末2506は入出力用インタフェース2507を介して
認識装置のバス2505に接続する。2508は、本発明に必要
なプログラム、文字識別用標準パタン等を格納しておく
ための外部記憶装置である。外部記憶装置にはハードデ
ィスク等を用いる。外部記憶装置は入出力用インタフェ
ース2509を介して認識装置のバス2505に接続する認識装置2501には、認識装置内部の各部分を接続するた
めのバス2505、認識装置全体の制御および文字列読取処
理をつかさどる演算処理装置2510、外部の装置との入出
力をつかさどる入出力用インタフェース2504、2507、250
9、文字列読取に必要なプログラム、テーブル、辞書などを
格納するためのメモリ2511を備える。装置起動時には、
まず外部記憶装置2508からプログラム、標準パタン辞書
がメモリ2511へロードされる。ロード完了後、前処理装
置2503から文字行画像が認識装置2501へ供給されると、
文字行画像はメモリ2511に複写される。さらに演算処理
装置2510は本発明で説明した方式に従って切出し仮説ネ
ットワークをメモリ2511上に生成しながら文字列を認識
し、読取結果を文字列読取結果表示端末2506へ送信す
る。文字列読取結果表示端末2506は認識結果をその画面
上に表示する。

【００７６】以上、本発明の文字読み取り方法と装置の
実施例を説明した。本発明で読みとられる文字は、手書
きの文字列である。手書きの文字は、単なる文書に書か
れたかな漢字交じりの文章のみならず、帳票上の数字や
記号や郵便物に記載された住所氏名などの文字を読みと
る場合にも用いることができる。これらの大量の帳票や
はがきや封書などの郵便物は、迅速に、確実に内容を読み
とる必要がある。例えば、郵便物の場合は、記入された住
所、氏名、郵便番号などを精度よく早く読み取ることがで
き、配達のための区分に役立てることができる。既存の
郵便区分機は、郵便物の宛名を光学的に読みとり、その読
みとった白黒の濃淡画像を文字として認識して、その認
識内容に応じて住所毎に区分するが、その文字認識部分
に本発明を適用すれば、区分の精度が向上し、機械的な機
構に依存する点を除き、区分速度も向上することは明ら
かである。

【００７７】

【発明の効果】漢字と漢字が接触した文字列に大して
も、正しい文字切出し、認識を行うことができるようにな
る。特に、偏や旁といった文字の部分が接触し、接触した
連結成分が他に比べて特に大きくならない場合にも有効
である。また、本発明は手書き文字の認識を行うあらゆ
る装置または方法に適用できる。

【図面の簡単な説明】

【図１】文字列認識の一般的な処理フローである。

【図２】接触した数字の文字切出し手法の例を示す図で
ある。

【図３】接触した漢字文字列画像の例を示す図である。

【図４】接触した漢字文字列画像における連結成分の例
を示す図である。

【図５】接触した漢字文字パタン候補の例を示す図であ
る。

【図６】本発明における文字列認識の一実施例の処理フ
ローを示す図である。

【図７】切出し仮説ネットワークの例を示す図である。

【図８】接触漢字文字を含む文字列に対する文字切出し
処理の流れを示す図である。

【図９】接触文字パタン候補判定の結果の切出し仮説ネ
ットワーク上での表現の例を示す図である。

【図１０】接触文字パタン候補の切断・分離処理結果の
例を示す図である。

【図１１】切断・分離処理の結果生成された文字パタン
候補と既存の文字パタン候補の統合の例を示す図であ
る。

【図１２】文字パタン候補対する接触文字判定処理フロ
ーを示す図である。

【図１３】文字パタン候補に対する接触文字判定の例を
示す図である。

【図１４】文字パタン候補中からの切断対象連結成分の
選択の例を示す図である。

【図１５】切断対象連結成分管理テーブルの例を示す図
である。

【図１６】漢字の接触の仕方の例を示す図である。

【図１７】連結成分切断処理の全体フローを示す図であ
る。

【図１８】ストローク幅変化解析による連結成分切断・
分離処理のフロー。

【図１９】ランレングス画像からの直線成分抽出手法を
示す図である。

【図２０】ストローク幅変化解析による切断判定手法を
示す図である。

【図２１】ストローク管理テーブルの例を示す図であ
る。

【図２２】投影形状変化追跡による連結成分切断・分離
処理のフローを示す図である。

【図２３】周辺分布形状解析による切断判定手法を示す
図である。

【図２４】切断・分離処理後の新たな文字パタン候補の
連結成分の組み合わせ方を示す図である。

【図２５】文字列読取装置のハードウェア構成を示す図
である。

───────────────────────────────────────────────────── フロントページの続き (72)発明者古賀昌史東京都国分寺市東恋ケ窪一丁目280番地株式会社日立製作所中央研究所内 (72)発明者酒匂裕東京都国分寺市東恋ケ窪一丁目280番地株式会社日立製作所中央研究所内 (72)発明者藤澤浩道東京都国分寺市東恋ケ窪一丁目280番地株式会社日立製作所中央研究所内Ｆターム(参考） 5B029 AA01 CC27 DD10 EE08 5B064 AA04 AB03 AB14 AB16 CA08 CA10 EA34

Claims

【特許請求の範囲】

【請求項１】文字列の記載されている画像上より文字行
を抽出する文字行抽出処理と、文字行より文字パタン候
補を切出す文字パタン切出し処理と、切出された文字パ
タン候補を文字識別する文字識別処理と、文字識別結果
から単語の並びを抽出する文字列照合処理とを有する文
字列読取方法において、文字行画像から生成した文字パ
タンの候補に対して接触を含む可能性がある文字パタン
であるか否かを判定する接触文字判定処理と、上記判定
処理において接触したと判定した文字パタンに対して、
接触位置の推定を行う接触点推定処理と、推定した接触
点において文字パタンを切断・分離する文字パタン切断
・分離処理と、上記切断・分離処理において生成した部
分パタンから新たに文字パタン候補を生成する処理とを
有することを特徴とする文字列読取方法。
【請求項２】請求項1記載の文字列読取方法において、接
触部分を含む部分文字パタンの大小に関わらず、これを
構成要素とする文字パタン候補のサイズに基づき接触を
含む文字パタン候補か否かの判定をする接触文字判定処
理を有することを特徴とする文字列読取方法。
【請求項３】請求項1記載の文字列読取方法において、接
触文字判定処理において接触を含むと判定された文字パ
タン候補に対して、その構成要素である連結成分の中か
ら接触を含む連結成分を選択する処理と、選択した連結
成分を記憶し、同一の連結成分の切断・分離処理が重複
して行われないように切断・分離処理を制御する処理を
有することを特徴とする文字列読取方法。
【請求項４】請求項1記載の文字列読取方法において、接
触文字パタン画像の切断・分離処理と文字パタン候補の
生成処理を、接触文字があると判定される限り再帰的に
行うことを特徴とする文字列読取方法。
【請求項５】請求項1記載の文字列読取方法において、接
触した可能性があると判定された連結成分の切断・分離
処理によって新たに生成された文字パタン候補と、これ
に隣接する既存の文字パタン候補とを統合したパタンに
対して、前後の文字パタン候補との位置関係、そのサイズ
から文字パタン候補であるか否かを判定し、異なる文字
パタン候補に分離している文字に対する文字パタン候補
を生成し追加する処理とを有することを特徴とする文字
列読取方法。
【請求項６】請求項1記載の文字列読取方法において、連
結成分の切断・分離処理によって新たに生成された文字
パタン候補に対して、同じ文字パタン候補中の他の連結
成分との相対的位置関係から切断・分離処理を棄却する
処理とを有することを特徴とする文字列読取装置。
【請求項７】a)文書上に記載された文字列を濃淡画像と
して読みとり、 b)上記濃淡画像の黒画素の連続した部分を連結成分とし
て切り出し、 c)上記連結成分を含む文字パタン候補が接触文字である
と判断された場合には、 d)上記文字パタンの中で上記連結成分の行方向の長
さが最大の連結成分を切断して２つの文字パタンを生成
し、 e)上記bからdを繰り返して得られた文字パタンに対して
文字認識を実行する文字列読取方法。
【請求項８】請求項７において、ステップcでは、上記文
字パタン候補のサイズまたはアスペクト比から接触文字
であるかを判断することを特徴とする文字列読取方法。
【請求項９】文書上に記載された手書き文字列を濃淡画
像データに変換するスキャナと、上記濃淡画像の黒画素
の連続した部分であって、連結成分として切り出された
データを保持するメモリと、上記連結成分を含む文字パ
タン候補が接触文字である場合に上記文字パタンの中で
上記連結成分の行方向の長さが最大の連結成分を切断し
て生成された新たな文字パタンに対して文字認識を実行
する処理手段と、からなることを特徴とする文字列読取
装置。
【請求項１０】郵便物に記載された手書き文字列を濃淡
画像データに変換するスキャナと、上記濃淡画像の黒画
素の連続した部分であって、連結成分として切り出され
たデータを保持するメモリと、上記連結成分を含む文字
パタン候補が接触文字である場合に上記文字パタンの中
で上記連結成分の行方向の長さが最大の連結成分を切断
して生成された新たな文字パタンに対して文字認識を実
行する処理手段と、認識された結果に基づいて郵便物を
区分することを特徴とする郵便区分機。
【請求項１１】帳票に記載された手書き文字列を濃淡画
像データに変換するスキャナと、上記濃淡画像の黒画素
の連続した部分であって、連結成分として切り出された
データを保持するメモリと、上記連結成分を含む文字パ
タン候補が接触文字である場合に上記文字パタンの中で
上記連結成分の行方向の長さが最大の連結成分を切断し
て生成された新たな文字パタンに対して文字認識を実行
する処理手段と、からなることを特徴とする帳票読取装
置。