JPH0458382A - 文字認識装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、文字認識装置に係り、特に認識結果をディス
プレイに表示させて修正を行うための機能を備えた文字
認識装置に関する。

〔従来の技術〕

文字認識装置においては、基本的に、入カバターンとパ
ターン辞書とを比較して相違度（距離）または類似度を
算出し、相違度の小さい、または類似度の大きな候補を
最高Ｎ位まで、相違度の小さい順または類似度の大きい
順に順位付けして求める。

このようにして求められた認識結果は、１００％正解と
なるわけではないので、通常、第一位候補が表示された
ディスプレイ画面上で、オペレータが誤りを探して、そ
の修正を行っている。

［発明が解決しようとする課題］ この修正の場合、オペレータは修正したい認識結果をマ
ウスなどで指定してから、第三位以下の候補を表示して
正解文字を探し、見つかったときは番号などで指定する
ことにより、正解文字を入力して誤った認識結果と置換
する。表示された候補中に正解文字が見つからなかった
場合、正解文字の入力方法を切り替える作業、例えばア
プリケーション側のフロントエンドプロセッサを使いキ
ーボードより正解文字を直接入力する方法に切り替える
操作を行ってから、正解文字を入力する。

しかし、オペレータは、第一位候補だけが表示されたデ
ィスプレイ画面からは、修正したい認識結果に第二位以
下候補が存在するか否かを判断できないため、第三位以
下の候補が存在しない認識結果の修正の場合においても
、第二位以下候補の表示を指示して画面に第二位以下候
補が表示されないことを確認する手順を踏んでから、直
接入力の方法への切り替え操作を行う必要があり、作業
に無駄があった。

本発明の目的は、第三位以下の候補がない認識結果の修
正における無駄な作業を排除でき、効率的な修正作業を
可能とした文字認識装置を提供することにある。

〔課題を解決するための手段］ 特許請求の範囲の請求項（１）記載の発明によれば１、
認識結果の表示方法を第三位以下の候補の有無によって
変化させる手段を有することによって前記課題が解決さ
れる。

請求項（２）記載の発明によれば、修正のために指定さ
れた認識結果の正解文字の入力方法を、当該認識結果に
第三位以下の候補が存在するときは、当該第二位以下候
補をディスプレイに表示させ、その中から正解文字を選
択させる方法に、当該認識結果に第二位以下候補が存在
しないときは正解文字を直接入力させる方法に、それぞ
れ自動的に切り替える手段を有することによって前記課
題が解決される。

請求項（３）記載の発明によれば、前記の正解文字入力
方法の自動切り替えの手段及び認識結果の表示方法を変
化させる手段を有することによって前記課題が解決され
る。

請求項（４）記載の発明によれば、請求項（１）、（２
）、または（３）記載の発明において、文字認識のため
の処理より得られた情報を基に認識結果の確信度を決定
する手段を有し、認識結果の表示方法を変化させる手段
で、第二位以下候補の有無と確信度の組み合わせに応じ
て表示方法を変化させることによって前記課題が解決さ
れる。

〔作　用］ 請求項（１）記載の発明によれば、第一位候補だけが表
示されたディスプレイ画面上で、表示方法の違い、例え
ば網掛けの種類、輝度、表示色などの違いから、オペレ
ータは修正したい認識結果に第三位以下の候補があるか
否かを判断できるので、第二位以下候補がない認識結果
の場合には第二位以下候補の表示をさせるという無駄な
手順を踏まずに、直ちに直接入力方法に切り替えて正解
文字を入力することができる。

請求項（２）記載の発明によれば、第三位以下の候補が
ない認識結果の修正時には自動的に直接入力の方法に切
り替わり、入力方法の切り替え操作も行う必要がないた
め、より効率的な修正作業が可能である。

請求項（３）記載の発明によれば、第二位以下候補の有
無による正解文字入力方法の切り替え作業を行う必要が
なくなるとともに、オペレータはディスプレイ画面上で
修正したい認識結果を指定する際に、いずれの入力方法
に設定されるかを容易に確認できるので正解文字入力操
作に戸惑うことがない。

請求項（４）記載の発明によれば、認識結果の確信度に
よっても表示方法に違いができるので、オペレータは第
一位候補が表示されたディスプレイ画面上で、怪しい認
識結果すなわち確信度が低く修正の必要性が高い認識結
果を容易に見つけることができるので、より効率的な修
正が可能となる。

［実施例］ 第１図は本発明の一実施例に係る文字認識装置の概略ブ
ロック図、第２図は同文字認識装置の実際的なハードウ
ェア構成を示すブロック図である。

第１図において、１は原稿の画像を読取り２値データと
して入力するスキャナー、２はその入力画像データを記
憶する画像記憶部である。３は入力画像データに対する
文字認識処理と認識結果の確信度決定を行う認識処理部
、４は認識処理部３により得られた認識結果とその確信
度の情報とを対応付けて記憶する結果記憶部である。５
は認識結果などを表示するためのディスプレイ、６はデ
ィスプレイ５への情報表示のための処理を行う表示処理
部であって、認識結果の表示方法を第二値以下候補の有
無及び確信度に応じて切り替える処理も行う。７と８は
認識結果の修正などのために入力手段として用いられる
キーボードとマウス（ポインティングデバイス）である
。９はキーボード７及びマウス８がらの入力処理を行う
入力処理部であって、認識結果の修正作業中の正解文字
の入力方法の切り替えも行う。１０は入力処理部９を介
して入力した正解文字により認識結果を書き替える修正
処理部である。

この認識処理部３において、１２は入力画像デーゾより
文字の画像データを切り出す切り出し処理部、１３は切
り出された文字画像の歪みを補正するための正規化処理
を行う正規化処理部、１４は正規化後の文字画像の特徴
量を抽出しパターン辞書と比較して距離（相違度）を算
出し、距離がが小さい候補を、距離の小さい順に最高Ｎ
位まで決定するパターンマツチング処理部、１５は文字
の行内での相対的位置（例えば「・」と「、」なとの区
別に関係）、文字の大きさ（正規化するので例えばＣと
Ｃなどの大小文字の区別に関係）、文字種（例えばカタ
カナ文字列の中に漢数字の「−」があったら、これはカ
タカナの長音記号「−」に修正する）などのルールによ
って、パターンマツチングによる認識結果を修正するル
ール処理部、１６はルール処理によって修正後の認識結
果文字列を形態素解析し、単語辞書と照合することによ
り誤りを修正する言語処理部である。この言語処理の結
果が最終的な認識結果で、結果記憶部４に格納される。

以上は文字認識に直接間わる処理部であったが、１７は
認識結果の確信度（確かさ）を決定するための確信度決
定部である。この確信度の決定の方法は、切り出し処理
部１３から文字間ピッチと文字矩形幅などの情報、パタ
ーンマツチング処理部１４から第一候補の評価値（例え
ば辞書としての距離を総輪部数で除した値など）または
第一候補と第二候補との評価値の差の情報、ルール処理
部１５から修正のために適用されたルールの情報、言語
処理部１６から言語修正の結果を表す情報を集め、これ
らの各処理段階で集めた情報を証拠としてデンプスタ−
・シェーファ−（Ｄｅｍｐｓｔｅｒ　＆Ｓ　ｈａｆｅｒ
）の確率理論を使って、各処理段階での候補についての
確信度を決定し、これによって前処理段階までの確信度
を更新し、この操作を最終処理段階すなわち言語処理段
階まで繰り返すことによって、認識結果に対する最終的
な確信度を決定するというものである。この確信度は、
候補がどのくらい確からしいが（裏返せば不確かさの程
度）を表すもので、０％〜１００％の数値で表したり、
あるいは、その数値を何段階かに量子化して表わす。具
体的には、後述のように確信度をＡ。

Ｂ、Ｃランクに量子化し、このランクの情報が確信度情
報として結果記憶部４に格納される。

以上の装置構成は、具体的には第２図に示すようなハー
ドウェア構成上で実現される。第２図において、２ｏは
中央演算処理装置（ＣＰＵ）、２１は文字認識処理、確
信度決定処理、表示処理、入力処理、修正処理などのた
めのプログラムが格納されたＲＯＭである。２２はＲＡ
Ｍであり、これは画像記憶部２、結果記憶部４、パター
ン辞書や単語辞書の記憶域、その他のＣＰＵ２０の作業
域などとして用いられる。２３は修正前後の認識結果の
保存、パターン辞書、単語辞書、アプリケーションプロ
グラムやそのフロントエンドプロセッサのかな漢字変換
辞書などの格納のための補助記憶装置である。認識処理
時にはパターン辞書と単語辞書が、修正作業時には前記
フロントエンドプロセッサとかな漢字変換辞書がＲＡＭ
２２の所定領域にロードされる。

次に、認識結果とその確信度の情報が結果記憶部４に得
られたとして、その修正を行う場合の動作を説明する。

修正作業がキーボード７またはマウス８を介してオペレ
ータより指定されると、表示処理部６は結果記憶部４よ
り認識結果と確信度情報を読み出し、認識結果の第一位
候補をディスプレイ５の画面に表示させるが、認識結果
に第二位以下候補があるか否か及び確信度ランクに応じ
て表示方法を変える。

例えば、第二位以下があるか否かによって認識結果の表
示色を変える。また、確信度がＢランクの認識結果には
粗い（淡い）網を掛け、最も不確かなＣランクの認識結
果には細かい（濃い）網を掛ける。

オペレータは、ディスプレイ画面上で、網掛けの有無と
網の違いから修正が必要な認識結果を容易に見つけ出す
ことができる。また、表示色の違いから、修正しようと
する認識結果に第二位以下候補があるか否か、そして、
正解文字の入力方法の違いを容易に判断できる。

修正の作業手順と処理を第３図と第４図を用いて説明す
る。オペレータは、マウス８を移動させることにより、
ディスプレイ画面２５の認識結果表示領域２６に表示さ
れているマウスポインタ２７を修正したい認識結果に一
致させ、クリックする。このクリック信号に応答して、
入力処理部９はマウスポインタ２７で示された認識結果
に第二位以下候補があるか否かを調べて正解文字入力方
法を選択するとともに表示処理部６に必要な表示処理を
行わせる。ただし、入力方法の自動選択のモードに設定
されている場合である。

第二位以下候補が存在する場合、入力処理ｍ９は画面上
で正解文字を指定する入力方法を選択し、第３図に示す
ように、指定された認識結果の第二位以下候補をディス
プレイ画面２７の入力領域２８に表示させる。この場合
、オペレータは入力領域２８に正解文字があるときは、
その番号をキーボード７より入力する。正解文字が克つ
がらないときは、オペレータはキーボード７の特定キー
例えばスペースキーやタブキーを打鍵する。このキーボ
ード信号に応答し、入力処理部９は残りの候補を表示さ
せる。

正解が見つかり、その番号が入力されると、修正処理部
１０は、入力処理部９より対応した候補の文字コードと
修正対象の認識結果の位置情報が与えられるので、その
候補を第一位候補とするように結果記憶部４を書き替え
る。その結果、ディスプレイ画面の表示も書き替えられ
る。

マウスポインタ２６で指定された認識結果に第二位以下
候補が存在しない場合、入力処理部９はアプリケーショ
ン側のフロントエンドプロセッサを近動し、正解文字入
力方法をかな漢字変換による直接入力に切り替える。こ
の場合、ディスプレイ画面２５の入力領域２８の表示内
容は第４図のように切り替えられる。なお５画面上で正
解文字を指定する方法が選ばれた場合でも、表示された
候補中に正解文字が見つからずオペレータがキーボード
７の特定キーを打鍵したときに直接入力に切り替えられ
、同様の画面表示になる。

この直接入力方法の場合、オペレータがキーボード７よ
り正解文字の読みを入力すると、入力処理部９は、入力
された読みと、フロントエンドプロセッサにより変換さ
せた結果を入力領域２８に表示させる。オペレータは希
望する正解文字が表示されないときはキーボード７の特
定キー例えば次候補キーを打鍵することにより、入力処
理部９に次の変換結果を表示させる。正解文字が表示さ
れ、オペレータがキーボード７の確定用キーを打鍵する
と、入力処理部より表示中の正解文字のコードが修正対
象の認識結果の位置情報とともに修正処理部１０へ入力
される。修正処理部１０で正解文字コードによって結果
記憶部４内の該当認識結果の第一位候補が書き替えられ
、その結果としてディスプレイ画面表示も修正される。

以上は正解文字の入力方法を自動選択するモードに設定
した場合である。入力方法を手動選択するモードに設定
した場合、オペレータはマウス８で修正したい認識結果
を指定してから、その認識結果の表示方法より正解文字
の入力方法を判断し、切り替えが必要であればキーボー
ド７より入力方法の切り替えを指示する。その後の作業
手順と処理内容は同様である。

次に、確信度決定部１７の処理内容を具体的に説明する
。また、各処理段階での確信度決定処理の流れを第５図
に示す。

確信度の決定は、最終的な認識結果を得るための各処理
段階から得られた情報を証拠として、デンプスタ−・シ
ェーファーの確率理論を使って行う。

このデンプスタ−・シェーファの確率理論は、無知量を
表すことができ、断片的な情報（独立な証拠）を集め合
成できるという特徴があり、のように、確率を［信用Ｊ
　「無知ｊ　「不信用」の領域に分けて表し、「信用」
を下界確率、「信用＋無知ｊを上界確率と呼ぶ。

具体的には、Ｈｌ：第１候補、Ｈ２：第２候補、・・・
、Ｈｎ：第ｎ候補というように、予め決まっている最大
候補数分の仮説Ｈ１をたてる。つまり、最終の認識結果
文字は１番目の候補なのが、２番目の候補なのか、とい
った具合に考えて、それぞれの確率を求める。

まず、各処理段階において、そこで集まった情報すなわ
ち証拠について擬似可能性分布（各仮説に割り当てられ
た、その仮説が真である可能性の分布）を求める。この
とき、証拠が数値情報であれば、この擬似可能性分布は
下式 ％式％ （ｙは擬似可能性分布、Ｘは数値情報の証拠）のような
１次方程式により求める。この式で、第１候補の証拠Ｘ
が１００の場合、仮説の可能性６７％が得られる。

他方、証拠が数値情報でない場合は、ヒユーリスティッ
クに与える。例えば、あるルールを満足しなかったとい
う証拠の場合、仮説の可能性は２０％であるというよう
に予め決めておく。

次に、仮説Ｈ１ｘＨｎの擬似可能性分布を用いて、協和
列と呼ばれる仮説の列Ｈ１，Ｈ２，・・・Ｈｎを作り、
基本確率割当へ変換する。すなわち、擬似可能性分布を
「正しい」　「無知」　「間違いＪの各基本確率に振り
分ける。基本確率は確信度であるが、それより求まる下
界確率と上界確率から確信度を決定してもよい。

もし、証拠が複数あるならば、デンプスタ−（Ｄｅｍｐ
ｓｔｅｒ）の結合規則（独立な証拠から推論された基本
確率を統合する規則）を使用し、次の合成式 ％式％（） ただし、ｍｌ、ｍ２は基本確率、 ＨはＨｌまたはＨｌまたはＨ，Ｈ，、 Ｈ，Ｈ，はＨｌかＨ６であるという必ず真の仮説である
。

により各証拠について求めた各仮説の基本確率を合成す
る。

このようにして各処理段階で得られた情報すなわち証拠
に基づいた各仮説の基本確率（確信度）が得られたら、
これを直前の処理段階までに得られている各仮説の基本
確率と上記合成式によって合成する（更新する）。当然
、各仮説の下界確率と上界確率も求まる。

最終段階すなわち言語処理では、決定した確信度のラン
クを決定する。このランクの仕方は様々考えられるが、
最も簡単な方法としては例えば上界確率から次のような
閾値によりＡ、Ｂ、Ｃのランクを決定する。

上界確率が０〜１９　　　正しい（パランク）上界確率
が２０〜７９　　怪しい（Ｂラング）上界確率が８０〜
１００　　間違い（Ｃランク）なお、下界確率と上界確
率の２段階で確信度のランクを決定してもよい。

以上の確信度決定処理について、文字認識処理の流れに
従ってより具体的に説明する。

まず、切り出し処理で、第６図に示すような切り出し結
果となったとする。図中の矩形は文字の候補となる文字
矩形を表している。そして、Ａ。

Ｂ、Ｃの矩形に注目した場合、Ａ矩形（全角文字）、Ｂ
とＣの矩形（半角文字）が文字の候補となり、それぞれ
について文字間ピッチや矩形の幅などの情報（証拠）か
ら前述の確率（確信度）が、Ａ矩形　　下界確率？％　
　上界確率？％Ｂ矩形　　下界確率？％　　上界確率７
％Ｃ矩形　　下界確率？％　　上界確率？％というよう
に決まる。

なお、この段階で下界確率または上界確率が所定の閾値
を下回った矩形すなわち候補は、次処理段階の候補から
外してもよい。また、この段階の確信度から最も確から
しい一つの矩形だけを候補に決定することもできる。

これらの矩形Ａ、Ｂ、Ｃのそれぞれについて（文字候補
から除外されたものは当然含まれないが）、次のパター
ンマツチング処理（認識処理）で認識結果候補が得られ
るが、各矩形に対する第１候補の評価値、第１候補と第
２候補との評価値の差などの情報に基づき、 Ａ矩形　　第１候補　下界確率９％　上界確率９％第２
候補　下界確率？％　上界確率７％第３候補　下界確率
？％　上界確率？％Ｂ矩形　　第１候補　下界確率９％
　上界確率７％第２候補　下界確率９％　上界確率７％
第３候補　下界確率？％　上界確率９％Ｃ矩形　　第１
候補　下界確率？％　上界確率７％第２候補　下界確率
９％　上界確率７％第３候補　下界確率？％　上界確率
？％を求める。そして、前段の切り出し処理で求められ
た確信度と合成することにより、確信度の更新を行うこ
とは前述の通りである。

なお、この段階で各矩形の候補中の確信度が予め定めた
閾値以下の候補を、切り出し処理の場合と同様に候補か
ら除外することにより、処理時間の節減を図ってもよい
。さらに、この段階でＡ矩形であるか、Ｂ、Ｃ矩形であ
るかを合成された確信度から判断することもできる。こ
こでは、Ａ矩形が文字の候補として選ばれたものとして
説明を進める。

次のルール処理では、文字の位置、文字のサイズ、文字
種などの情報から各認識結果候補の確信度を求め、パタ
ーンマツチング処理段階での確信度と合成し、更新され
た確信度 第１候補　　下界確率？％　　上界確率７％第２候補　
　下界確率？％　　上界確率７％第３候補　　下界確率
？％　　上界確率？％を求める。例えば文字の位置情報
に関しては、対象画像が行の中心辺りに位置しているな
らば［・Ｊの確信度は上昇するが、ｒ、　１　　ｒ’　
Ｊの確信度は下がることになる。

次の言語処理では、どの候補が最も相応しいかを単語辞
書などを使って決定し、その結果に対して確信度を求め
、前処理段階の確信度と合成する。

例えば単語辞書との照合によれば、注目文字の第１候補
と次の文字の第２候補との組み合わせにより意味のある
単語を形成するときには、注目文字の第１候補と次の文
字の第２候補の確信度が上がる。したがって、言語処理
を行うためには、ある程度の長さの文字列が必要である
。

このようにして、例えば、 第１候補　下界確率８０％　上界確率１５％第２候補　
下界確率３３％　上界確率１０％第３候補　下界確率１
２％　上界確率３３％のような最終的な確信度が得られ
るので、例えば下界確率が最大の第１候補を最終的な認
識結果として出力し、その確信度には前述のような閘値
処理によってランク付けを行う。候補の並びは、各処理
段階で確信度の高い順にソートしてもよいし、最終的な
確信度の高い順にソートしてもよい。

なお、複数の証拠がある場合の下界確率と上界確率の求
め方は、対応した基本確率を加算するだけでよい。例え
ば、次の陪審員のモデルを考える。

証拠Ａ　　　　　２０％　　　　８０％　　　　　Ｏ％
証拠Ｂ　　　　　　０％　　　　７０％　　　　３０％
合成　　　　　１５％　　　　５９％　　　　２６％こ
の例では、有罪の下界確率は１５％、上界確率は７４％
（・１５＋５９）無罪の下界確率は２６％、上界確率は
８５％（＝２６＋５９）となる。

なお、文字認識処理の場合は、上のモデルでの「有罪」
を「正しい」、「分からない」を「正しいか間違いか分
からない」、「無罪」を「間違いＪと言い換えればよい
。

［発明の効果］ 以上詳細に説明した如く、本発明によれば、ディスプレ
イ画面上でオペレータは修正の必要な認識結果とその正
解文字の入力方法を容易に判断することができ、また必
要な正解文字入力方法の自動切り替えが可能であるので
、従来の文字認識装置に比べ認識結果の修正作業の効率
が大幅に上がり、またオペレータの疲労も軽減される。

【図面の簡単な説明】

第１図は本発明の一実施例に係る文字認識装置の機能的
構成を示すブロック図、第２図は同文字認識装置の実際
的ハードウェア構成を示すブロック図、第３図及び第４
図は修正作業時のディスプレイ画面表示図、第５図は各
処理段階での確信度決定処理の流れ図、第６図は文字切
り出しの説明図である。 １・・・スキャナー ３・・・認識処理部、 ５・ディスプレイ、 ７・・・キーボード、 １０・・修正処理部、 ２・・・画像記憶部、 ４・・・結果記憶部、 ６・・・表示処理部、 ９・・・入力処理部、 １２・・切り出し処理部、 １３・・・正規化処理部、 １４　・パターンマツチング処理部、 １５・・・ルール処理部、　　１６・言語処理部、１７
・・・確信度決定部。 第５図 第６図

Claims (4)

【特許請求の範囲】
1. （１）入力文字パターンの文字認識を行い認識結果とし
   て最高Ｎ位までの候補を求め、認識結果の第一位候補を
   ディスプレイに表示させて修正を行うことが可能な文字
   認識装置において、認識結果の表示方法を第二位以下候
   補の有無によって変化させる手段を有することを特徴と
   する文字認識装置。
2. （２）入力文字パターンの文字認識を行い認識結果とし
   て最高Ｎ位までの候補を求め、認識結果の第一位候補を
   ディスプレイに表示させて修正を行うことが可能な文字
   認識装置において、修正のために指定された認識結果の
   正解文字の入力方法を、当該認識結果に第二位以下候補
   が存在するときは、当該第二位以下候補をディスプレイ
   に表示させ、その中から正解文字を選択させる方法に、
   当該文字認識結果に第二位以下候補が存在しないときは
   正解文字を直接入力させる方法に、それぞれ自動的に切
   り替える手段を有することを特徴とする文字認識装置。
3. （３）認識結果の表示方法を第二位以下候補の有無によ
   って変化させる手段を有することを特徴とする請求項（
   ２）記載の文字認識装置。
4. （４）文字認識のための処理より得られた情報を基に認
   識結果の確信度を決定する手段を有し、認識結果の表示
   方法を変化させる手段は、第二位以下候補の有無と確信
   度の組み合わせに応じて表示方法を変化させることを特
   徴とする請求項（１）、（２）または（３）記載の文字
   認識装置。