JPH01292587A - 画像処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は文字認識支援装置、特に文字認識後の誤認式に
対する処理を支援する文字認識支援装置に関するもので
ある。

［従来の技術］ 一般に、文字認識装置では、１００％完全な認識結果を
得ることは現実的には不可能であり、認識処理の過程で
その認識処理そのものを拒絶したり、誤認識を伴うのは
避けられないものである。′従って、認識対照の原稿と
完全に一致した文書を得るためには、上記のような拒絶
や誤認識した文字を何らかの手段で正しい文字に修正す
る必要がある。

ところで、認識拒絶は認識対象の文字が認識不能である
ことを意味し、通常はその文字に対しては特定文字コー
ドを割り当てるのが一般的である。この特定コードとし
ては、例えばベタ黒の文字パターンに対応するもの等、
−見してそれが認識拒絶された文字であることをオペレ
ータに把握できる様にしている。

一方、誤認識は本来の文字に対して相違する文字を認識
結果として出力するものである。

［発明が解決しようとする課題］ 従って、認識結果を表示画面に表示させて修正処理を行
う場合、拒絶された文字に対しては先に説明した様に、
特別なコードを割り当てであるので、通常の文字に比べ
目立つようなマークを表示することになり、修正操作が
比較的スムーズに進むが、誤認識された文字に対しては
その前後する文或いは原稿文と照し合せながらしなけれ
ばならなず、甚だ面倒な作業になってしまう。しかも、
この作業を何ページにも渡って行う際には、当然のこと
ながら見落し等が発生することもあり、問題が残る。

ところで認識処理の後処理として自然言語処理手段を設
け、誤った文字を単語或いは文として正しくなるように
自動的に修させることも考えられるが、このような機能
を設けるためには多大なコストがかかると共に、自然言
語処理体系自体が確立していない現状を見て、得策とは
言えない。

例えば、単語や文章として意味をなさない数字列や文字
列（例えば“’７７７−１１１　Ｂｄ”など）は言語処
理の適用外であるため、いずれにせよ最終的には人間が
認識結果を確認或いは修正せざるを得ない。

本発明はかかる課題に鑑みなされたものであり、誤認識
された文字が一見して判読可能な文字認識支援装置を提
供しようとするものである。

［課題を解決するための手段］ この課題を解決するために、本発明の文字認識支援装置
は、以下に□示す構成を備える。

すなわち、 認識対象の文字パターンを文字認識する文字認識手段と
、認識して得られた文字コードに対する文字パターンを
発生するパターン発生手段と、前記認識対象の文字パタ
ーンと前記パターン発生手段で発生した文字パターンと
を合成して表示する表示手段とを備える。

［作用］ かかる本発明の構成において、認識手段で得られた文字
コードに対応する文字パターンをパターン発生手段より
発生し、それを認識対象の文字パターンと合成して表示
手段で表示するものである。

［実施例コ 以下、添付図面に従って本発明に係る実施例を詳細に説
明する。

〈構成概略の説明（第１図）〉 第１図は本実施例における文字認識支援装置のブロック
構成図である。

図中、１０１は原稿画像を読取る画像読取り装置、１０
２はキーボード或いはポインティングデバイス等の入力
装置であり、これらはＩ１０インタフェース１１２を介
してシステムバス１１３に電気的に接続されている。１
０３は画像読取り部１０１より読み出したイメージデー
タを展開するビットイメージメモリ、１０４はビットイ
メージメモリ１０３中の文字パターンを切り出す文字切
り出し部、１０５は切り出した文字パターンを認識する
文字認識部である。１０６は文字切り出し部１０４及び
文字認識部１０５よりの情報を基に文字に係る情報を格
納する文字情報メモリである。１０７は文字コードに対
応した文字パターンを発生するキャラクタジェネレータ
である。１０９は表示用ビットイメージメモリであり、
実施例では先に説明したビットイメージメモリ１０３と
同し大きさ（容量）からなるものとする。そして、この
表示用ビットイメージメモリ１０９に展開されたイメー
ジデータはデイスプレィ１１４に表示されるものである
。１１０は最終目的である文字コードを格納する文字コ
ードメモリである。

そして、１１１は装置全体を包括的に制御するＣＰＵで
あり、内部にＣＰＵＩ　１１の処理手順（プログラム）
を格納したＲＯＭ１ｌｌａとワークエリアとして使用さ
れるＲＡＭ１１１ｂを備えている。ＲＯＭ１１１ａには
認識結果を基に修正処理に係るプログラムの他、第２図
に示すフローチャートに係るプログラムが格納されてい
る。

く処理内容の説明（第２図〜第７図）〉上述した構成に
おける本実施例の装置の具体的処理内容を第３図〜第７
図を用いて、第２図のフローチャートを説明する。

先ず、ステップ５２０１で各メモリ及びレジスタを初期
化し、次のステップ５２０２で一連の文字認識処理を終
了させる指示が人力部１０２よりあるか否かを判断する
。そして、終了指示がなされるまで、以下に示すステッ
プ５２０３以降の処理を繰り返すことになる。

ステップ５２０３では、文字認識対象である１ペ一ジ分
の文書をセットし、画像読取装置１０１を駆動して読み
取り、その２値画像データをビットイメージメモリ１０
３に展開する。次にステップ５２０４で、文字切り出し
回路１０４を起動し、ビットイメージメモリ１０３に格
納されている文書画像中の各文字パターンの大きさ及び
存在位置を検出する。検出された文字パターンの大きさ
及び位置情報は文字情報メモリ１０６内に順次格納され
る。

具体例を示すと、例えば、第３図に示す用な文字パター
ン３０１がビットイメージメモリ１０３に展開されてい
るとする。尚、３０２は文字パターン３０１の外接矩形
である。

さて、ビットイメージメモリ１０３の各画素は（ｘ、ｙ
）の座標値で表わされ、その左上端部の画素位置を原点
（０，０）としている。また、外接矩形３０２はその左
上端の座標（ｘ＋、ｙｌ）及び大きさｗ　、；　ｈ　、
で表され、検出された各文字のｘ＋＋ｙ＋＋ｗ＋＋？＋
＋は文字情報メモリ１０６に格納される。

第４図は文字情報メモリ１０６の内容を示している。上
述した文字切り出し回路１０４で得られた各文字の外接
矩形データＸ　ｌ＋　ｙｌ＋　Ｗ　Ｉ−ｈ　ｌは文字情
報メモリ１０６の文字番号ｉにおける文字位゛　　置部
４０１に格納される。文字番号は文書中における文字の
出現順に１．２．３・・・と順に付けられる。

さて、次にステップ５２０５では文字情報メモリ１０６
の文字位置部にあるｘ、、ｙ、、ｗｌ。

ｈ、を参照し、ビットイメージメモリ１０３から各文字
のパターンをバス１１３を介して文字認識回路１０５に
次々に転送し、文字認識処理を行う。そして、認識結果
で得られた各文字番号ｉに対応する文字コードを文字情
報メモリ１０６の候補文字部４０２に格納する。−船釣
に、文字認識装置で１つのパターンに対して複数の文字
コードを認識の確からしさが高い順に出力することが可
能であるため、それらの文字コードを確からしさの高い
順にＣｏｏ、Ｃｚ、Ｃ＋□・・・の如く格納する。

また、候補文字の数はその認識回路の能力に依存するが
、２番目以降の候補文字は第１位の候補文字ＣＩＯ力身
呉っていた場合に、それを訂正するために利用するもの
である。尚、上述したステップ３２０３〜ステツプ５２
０５における文字パターンの切り出しや文字認識そのも
のは様々な方式が提案されているので、ここでは、その
詳細は割愛する。また、実施例では、各文字パターンの
外接矩形とそのパターンに対する文字コードが得られる
文字認識処理であれば良いので、文字の切り出し部１０
４と文字コードを生成する認識部１０５とが必ずしも明
確に分かれている必要はない。

次に、ステップ５２０６の処理の内容を説明する。

上述した処理でもって、各文字パターンの位置及び大き
さ、更には候補文字からなる文字情報が構築されると、
ＣＰＵ１．１１は文字情報メモリ１０６内の文字番号ｉ
が１°°から“ｎ（注目原稿中の１ペ一ジ分の文字数）
′°まで、順次Ｘ　ｌ＋　ｙｌ＋ｗ、、ｈ、で示される
文字パターンをビットイメージメモリ１０３より読み出
し、表示用ビットイメージメモリ１０９の対応する位置
に展開する。

尚、先に説明した様に、実施例におけるビットイメージ
メモリ１０３と表示用ビットイメージ１０９とは同じ大
きさでるので、相対的に同じ位置に展開（表示）される
ことになるが、これらの大きさが相違する場合には、間
引き或いは補間処理等を施せば良い。

また、この際、ＣｐＵｌ　１１は文字番号ｉの認識結果
である候補文字コードＣＩＯの文字パターンをキャラク
タジェネレータ１０７で発生させ、その発生した文字パ
ターンも対応する表示用ビットイメージメモリ１０９に
（論理和）展開する。

例えば、注目している文字番号ｉのビットイメージメモ
リ１０３内の文字パターンは°Ｕ゛°であり、認識され
た候補文字ＣＩＯがＶ°゛である場合には、第５図に示
す様に、これらが合成された状態で表示されるので、−
見して判読できない状態のパターンが表示されることに
なる。換言すれば、判読できない文字が表示された場合
には、その文字が誤認識されていることになる。

尚、ビットイメージメモリ１０３内の文字パターンの大
きさとキャラクタジェネレータ１０７で発生した文字パ
ターンとの大きさが相違することがあるので、実施例の
キャラクタジェネレータ１０７には発生させる文字パタ
ーンのコートの他、その大きさ情報ｗ　ｌ＋　ｈ’、も
出力するものである。そして、キャラクタジェネレータ
１０７はこれらの情報を受けると、対応する文字コード
の文字パターンを大きさ情報ｗ’、、ｈ’、でもって発
生するものである。

第６図に実施例のキャラクタジェネレータ１０７の具体
的な構成を示す。

図中、６０１は文字パターンを記憶しているフォントメ
モリであり、６０２は各文字コードと対応する文字パタ
ーンのフォントメモリ６０１内の格納位置を示す情報ｘ
、ｙ（パターンの左上の座標）及びその文字パターンの
基準大きさを示す情報ｗ、ｈを格納しているフォント参
照テーブルである。６０３はキャラクタジェネレータ１
０７全体をコントロールするＣＧ制御部であり、後述す
る手順に従って処理するものである。また、６０４は入
力バッファであり、文字コード及び発生させたい文字パ
ターンの大きさ情報Ｗ、Ｈを格納するエリアが設けられ
ている。６０５はＣＧ制御部６０３で指示された座標位
置及び大きさの文字パターンを設定された倍率で読み゛
出すパターン伸縮部であり、このパターン伸縮部６０５
より読み出された文字パターンは出力バッファ６０６に
展開される。そして、ＣＰＵＩ　１１はこの出力バッフ
ァ６０６に展開されたパターンを読み出することになる
。

尚、伸縮部６０５中のレジスタＸｆ、、Ｙｆには読み出
そうとしている文字パターンの座標位置がセットされ、
レジスタＷｆ、Ｈｆにはその文字パターンの大きさ情報
がセットされる。そして、レジスタαには縦方向の伸縮
率（’＝Ｗ７Ｗｆ　）　、レジスタβには横方向の伸縮
率（、＝Ｈ／Ｈｆ）がセットされる。また、ここで、Ｗ
、Ｈは入力バッファ６０４にセットされた値である。

さて、以下に、ＣＧ制御部６０の処理手順を第７図を参
照して説明する。また、以下の説明でＰｄは出力バッフ
ァ６０６内の座標位置を示し、Ｐ、はＸ、、ｆ、Ｙ　ｆ
、　Ｗ　ｆ、　Ｈ，ｆで示されている注目文字パターン
中の座標位置を、示すものである。そして、出力バッフ
ァ６０６中の座標をＰｄ（ｘ、ｙ）とすると、対応する
注目文字パターン中の座標はＰ、（α・ｘ＋Ｘｆ、β・
ｙ＋Ｙｆ）て表わされることになる。

さて、入力バッファ６０４に発生させたい文字コード及
びその大きさ情報Ｗ、Ｈがセットされると、先ず、ステ
ップＳ７０１で初期値として出力バッファ６０６中の座
標要素ｘ、ｙをＯ°゛にクリアする。すなわち、Ｐ　ｄ
、（ｘ　ｒ　ｙ　）が出力バツファ６．０６の左上端の
画素を指す様にする。

この後、ステップ５７０２で’　ｙ＞　Ｈ”、の不等式
を満足するか否かを判断する。この不等式を満足すると
出力バッファ６０６へのパターン展開が終了したことを
意味するから、処理を終える。また、”ｙ≦Ｈ”である
と判断した場合には、次のステップ５７０３で、今度は
’　ｘ　＜　Ｗ　”の不等式が満足するか否かを判断す
る。この不等式が満足烹る場合には、次のステップ５７
０４に進み、フォントＲＯＭ中のＰ　ｓ（ａ　・ｘ　＋
　Ｘｊ、β−ｙ＋Ｙｆ）で示される画素（１ビツト）を
Ｐａ（ｘ、ｙ）で示される出力バッファ６０６に論理和
転送する。この後、”　ｘ　”を１インクリメントし、
ステップＳ７０３に戻る。

このステップＳ　７’０３〜ステツプ５７０５の処理を
繰り返していると、Ｘの値が入力バッファ６０４内にセ
ットされた“Ｗ゛°より大きくなるときがくる。すなわ
ち、出力バッファ６０６中の１ラスタ分のデータ構築が
終了することになると、処理はステップ５７０６に進ん
で、Ｘを初期位置に戻し、ｙを１インクリメントしてス
テップ５７０２に戻る。こうして、いずれはステップ５
７０２で’　ｙ＞　Ｈ”と判断されることになるが、こ
のときには、Ｘｆ、Ｙｆ、Ｗｆ、Ｈｆ　テ示される文字
パターンがＷ、Ｈで設定された大きさに変換されて出力
バッファ６０６に展開されていることになる。すなわち
、ＣＰＵＩ　１１は出力バッファ６０６の座標（ｏ、ｏ
）と（Ｗ−１，Ｈ−１）で示される矩形領域パターンを
読み込むだけで、設定した文字コードに対応する大きさ
Ｗ、Ｈの文字パターンを得ることが可能となる。

さて、説明を基に戻すが、第２図のフローチャートのス
テップ８２０６で、読み出した文字全体に対して、その
読み出した各文字パターンと第１の認識候補の文字との
合成表示がなされると、ステップ５２０７で、文字の修
正処理を行う。

具体的にはオペレータは例えば、デイスプレィ１１４に
表示された文字を見て、入力部１０２を操作することに
よりカーソルを字として認められない様なパターンを位
置に移動させ、その座標位置を人力する（人力された座
標位置をＸ　ｍ、　Ｙ　ｍとする）。

ＣＰＵＩ　１１は入力された座標位置　（ｘ　ｍ、　ｙ
　ｆｆ１）を含む矩形領域を、文字情報メモリ１０６中
の文字位置部４０１を参照して、該当する文字番号を得
る。また、もし座標　（ｘａ、ｙ−が文字矩形部から外
れていた場合には、該当する文字は見つからないので、
その座標は無視し、次の座標が入力されるか、ステップ
５２０７の文字訂正処理の終了指示があるまで入力待ち
とする。

さて、該当する文字の文字番号が°に°であった場合に
は、表示用ビットイメージメモリ１０９のＸ　Ｉｌ＋　
ｙ　ｋ、　’ｗ　ｋ＋　ｈ　ｋで示される矩形領域をク
リアし、ビットイメージメモリ１０３のＸｋ＋ｙｋ＋Ｗ
ｋ＋ｈｋの領域のイ＼ターンを表示用ビットイメージメ
モリに再び転送する。そして候補文字部４０２の候補文
字コード列ＣＫＯ，ＣＫ１．　Ｃに２・・・の第２位の
候補文字Ｃｋｌを先頭に、ＣｋＯを一番最後になるよう
にローテンションする。新しく第１位になった文字コー
ドに対応するフォントをキャラクタジェネレータ１０７
で生成し、表示用ビットイメージメモリ１０９の（Ｘに
、ｙＫ）の位置に左上端部が一致するようにＯＲ演算し
てストアする。そして、オペレータは合成表示されたパ
ターンが文字として認識できるまで、次候補の表示を促
す所定の指示を入力していく。

こうして、オペレータは表示される合成文字パターンの
全てが、文字として妥当なパターンになるまで座標入力
を繰り返し、文字の修正処理を行う。すべての文字の修
正が済んだら修正終了指示を入力装置１０２よりから指
示し、ステップ５２０７を終了する。そして、ステップ
３２０Ｂでは文字情報メモリ１０６に格納されている現
在の各第１候補文字コードＣＩＯを最終認識結果とし、
文字番号１から文字番号ｎまでの文字コードを文字コー
ドメモリ１０’９に格納する。

以上で１ペ一ジ分の認識を終了し、次頁への認識へと移
ることになるが、次ページの最先認識文字コートは、従
前の認識され、文字コードメモリ１１０に格納された最
終文字コードの直後から順に格納することになる。

く第２の実施例の説明（第８図）〉 上述した実施例においては、読み出した文字と誤認識し
た文字との関係が包含関係にあるとき、表示画面を見て
その位置を見落してしまうという危険性がある。

具体的な例を示せば、画像読み取り部１０１で読み出し
た文字がＩｒＦＪｌで、それをＦＥＪＩと認識してしま
った場合である。この場合、合成表示しても、オペレー
タはそれが文字「ＥＪｌである判断してしまうことにな
る。

これを解決するものとしては、第８図（ａ）に示す様に
、読み出した文字と認識して得られた文字とを別々の色
で表示させる様にすれば良い。

このため、実施例のデイスプレィ１１４をカラ一対応と
し、第８図（ｂ）に示す様に表示用ビットイメージメモ
リ１０９の他にもう１つの同じ容量の表示用ビットイメ
ージメモリ８０１を備える構成を新たに構築する。

ここで、例えば、表示用ビットイメージメモリ１０９の
出力色成分を゛緑゛°にし、表示用ビットイメージメモ
リ８０１のそれを°゛赤°゛にする。そして、ビットイ
メージメモリ１０３内の文字パターンは表示用イメージ
メモリ１０９に展開し、認識して得られた文字パターン
は表示用ビットイメージメモリ８０１に展開するわけで
ある。これによって、互いに整合する部分の表示色は“
°黄色°゛となり、それ以外の部分は゛緑゛°或いは゛
赤パとなって表示されることになる。従って、この場合
、オペレータは表示画面を見て、゛緑゛。

或いは“赤°′が目立っている箇所を探し出すだけで良
いことになる。

また、この場合の修正処理も、表示色が不一致を示す色
（緑や赤）でなくなった時点を見付ければ良いから、そ
の表示されている文書の言語を知らない人（例えば日本
語を知らない他言語圏の人）でも容易に誤認識されてい
るか否かを判断し、更には正しく修正操作ができるとい
う多大な効果が得られる。

〈第３の実施例の説明（第９図）〉 上述した第１．第２の実施例におけるキャラクタジェネ
レータ１０７では、各文字を外接矩形で得られるように
フォントメモリ６０１とフォント参照テーブル６０２を
予め互いに関係付けて準備していた。

ところが、通常の文字フォントメモリには一定の大きさ
のフォントパターンが文字コード順に並んでおり、且つ
、各々のフォントパターンの上下左右には所定以上の余
白領域を設けているのが常である。

そこで、この様なフォントパターンを格納しているキャ
ラクタジェネレータで前述した実施例の処理を行うと、
認識光文字パターンに対して正しく認識しても、それら
文字パターンを互いに合成表示する様にすると、整合し
ない部分が発生することが考えられる。

そこで、設定され大きさ情報Ｗ、Ｈに完全に合致する大
きさの文字パターンを発生させる様にするため、本第３
の実施例においては、第９図に示す新たなキャラクタジ
ェネレータ１０７゛を構築した。尚、本第３の実施例に
おける文字パターンを構成する縦横のドツト数は全て同
じであり、各フォントパターンの格納アドレスは文字コ
ードより算出できるものであるから、第６図に示す様な
フォント参照テーブルはない。

さて、図示の構成において、入力バッファ９０６に格納
された文字コードはＣＧ制御部９０７て読み出され、フ
ォント抽出部９０１に出力する。

フォント抽出部９０１は入力された文字コードに基づく
フォントパターンを読み出して、文字バッファ９０２（
少なくとも全角文字パターン１文字分の容量を有する）
の左上端を基準として展開する。外接矩形抽出部９０３
は、展開された文字パターンに外接する矩形の大きさｗ
ｆ、Ｈｆ及びその外接矩形の文字バッファ９０２の左上
端からの座標（Ｘｆ、Ｙ’ｆ）を得る。この値をＣＧ制
御部６０５が受けると、パターン伸縮部９０４の対応す
るレジスタＧ三セットし、伸縮率α（＝Ｗｆ　／Ｗ）、
β（＝Ｈｆ　／Ｈ）も対応するレジスタにセットする。

以下、第７図のフローチャートに従って、出力バッファ
９０５上に設定した大きさの文字パターンを形成するこ
とが可能となる。尚、説明が前後するが、外接矩形抽出
部９０３は文字バッファ９０２に展開された文字パター
ン中の１″′となっているドツトを、縦及び横方向にス
キャンし、その頻度の分布から文字パターンの外接矩形
の大きさ、及びその外接矩形の文字バッファ９０２から
の位置を検出する。

以上、説明した様に本実施例によれば、認識して得られ
た文字が誤認識によるものか否かを容易に判断すること
が可能となる。

［発明の効果］ 以上説明した様に本発明によれば、認識して得られた文
字が誤認識によるものか否かを容易に判断することが可
能となる。

【図面の簡単な説明】

第１図は本実施例における文字認識支援装置のブロック
構成図、 第２図は本実施例における処理手順を示すフローチャー
ト、 第３図は文字パターンの切り出しとその外接矩形を示す
図、 第４図は本実施例における文字情報メモリの内容を示す
図、 第５図は本実施例における文字パターンの合成処理を示
す図、 第６図ｉま本実施例におけるキャラクタジェネレータ構
成図、 第７図は第６図のキヤらフタジェネレータの処理内容を
示すフローチャート、 第８図（ａ）は第２の実施例における文字パターンの合
成の概念を示す図、 第８図（ｂ）は第２の実施例のおける文字パターン合成
表示に係る一部構成例を示す図、第９図は第３の実施例
のおけるキャラクタジェネレータ構成図である。 図中、１０１・・・画像読み取り部、１０２・・・入力
ｉ置、１０３・・・ビットイメージメモリ、１０４・・
・文字切り出し部、１０５・・・文字認識部、１０６゛
・・・文字情報メモリ、１０７・・・キャラクタジェネ
レータ、１０９及び８０１・・・表示用ビットイメージ
メモリ、１１０・・・文字コードメモリ、１１１・・・
ｃＰＵ、１１１　ａ・＝ＲＯＭ、１１　ｌ　ｂ−ＲＡＭ
、　　１１２・・・Ｉ１０インタフェース、１１３・・
・システムバス、６０１及び９００・・・フォントメモ
リ、６０２・・・フォント参照テーブル、６０３及び９
０７・・・ＣＧ制御部、６０４及び９０６・・・入力バ
ッファ、６０５及び９０４・・・パターン伸縮部、６０
６及び９０５・・・出力バッファ、９０１・・・フォン
ト抽出部、９０３・・・外接矩形抽出部である。 特徴出願人　　キャノン株式会社 第９図

Claims (4)

【特許請求の範囲】
1. （１）認識対象の文字パターンを文字認識する文字認識
   手段と、 認識して得られた文字コードに対する文字パターンを発
   生するパターン発生手段と、 前記認識対象の文字パターンと前記パターン発生手段で
   発生した文字パターンとを合成して表示する表示手段と
   を備えることを特徴とする文字認識支援装置。
2. （２）パターン発生手段は文字コードに対応する文字パ
   ターンを記憶している文字パターン記憶手段と、記憶さ
   れた文字パターンを変倍して出力する変倍手段とを含む
   ことを特徴とする請求項第１項に記載の文字認識支援装
   置。
3. （３）表示手段は認識対象の文字パターンとパターン発
   生手段で発生したパターンとを異る色成分で合成表示す
   ることを特徴とする請求項第１項に記載の文字認識支援
   装置。
4. （４）更に、表示手段で合成表示された合成文字に対し
   て修正する修正手段を備えることを特徴とする請求項第
   １項に記載の文字認識支援装置。