JPH07110844A

JPH07110844A - 日本語文書処理装置

Info

Publication number: JPH07110844A
Application number: JP5255549A
Authority: JP
Inventors: Minako Kuwata; みな子桑田
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1993-10-13
Filing date: 1993-10-13
Publication date: 1995-04-25

Abstract

(57)【要約】【目的】本発明は、文字や音声などの日本語認識入力
装置やキーボードからの日本語入力装置などにおいて、
「対象文字の３文字接続テーブル」を用いて、認識装置
やキーボードから入力された文章の中の連続する対象文
字３文字の接続頻度を検査することにより、入力のミス
の可能性を指摘する方法である。さらに、特に認識装置
においては従来の技術において認識候補文字が存在す
る。【構成】認識結果１位の対象文字の候補文字を対象文
字と入れ換えて検査を行ない、認識結果１位の文字と比
較して、候補文字の接続のほうが頻度が高く、かつある
条件をみたしているときに、元の認識結果１位の文字が
誤っていたものとして、頻度の高い候補文字に自動的に
修正する。対象文字が多くなれば、弊害がでてくるた
め、本発明では、平仮名およびカタカナおよび日本語に
頻繁に用いられる記号を、対象文字に設定する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本願発明は、日本語の音声、文字
認識装置、ワードプロセッサの入力時の処理装置に関す
るものである。

【０００２】

【従来の技術】従来、日本語入力装置、特に、認識装置
の後処理方式は、単語辞書との照合検査や、単語間の文
法的接続検査による方式が使用されている（梅田：「単
語辞書を用いた文字認識における文字の確定能力」電子
情報通信学会論文誌Ｖｏｌ．Ｊ７２−Ｄ−ＩＩＮ
ｏ．１ｐｐ．２２−３１１９８９年１月、及び池
原ほか：「単語解析プログラムによる日本文誤字の自
動検出と二次マルコフモデルによる訂正候補の抽出」情
報処理学会誌Ｖｏｌ．２５Ｎｏ．２ｐｐ．２９８
−３０５１９８４年３月）。

【０００３】また、２文字連接確率を利用する方法もあ
る（杉村ほか：「文字連接情報を用いた読取り不能文字
の判定処理」電子通信学会論文誌Ｖｏｌ．Ｊ６８−Ｄ
Ｎｏ．１ｐｐ．６４−７１１９８５年１月）。

【０００４】これらの方法は、漢字ひらがな、カタカナ
などの全ての文字種を含む日本語文章の処理をカバーす
ることができるものであり、後処理の修正効果は高い。

【０００５】

【発明が解決しようとする課題】上述の方法では、解析
に用いる巨大な単語辞書を必要とする、処理が複雑であ
る、処理時間がかかる、誤ることの少ない漢字の処理に
多くの時間を使うため処理に無駄が多い、などの形態素
解析を利用した際の後処理の問題がある。

【０００６】

【課題を解決するための手段】本発明は上述する課題を
解決するためになされたもので、日本語文書における入
力の誤りを指摘し、修正する日本語文書処理装置であっ
て、一般文章から統計処理により作成された対象文字の
３文字接続頻度テーブルと、入力された漢字を含む日本
語の対象文字の並びを取り出す手段と、取り出された文
字の並びを前記３文字接続頻度テーブルにより誤入力の
可能性があるか否かをチェックする手段と、前記チェッ
クの結果から頻度の極端に低い文字の並びを誤入力の可
能性がある綴りとし使用者に指摘する手段と、前記チェ
ックの結果から頻度の極端に低い文字の並びを頻度の高
い文字の並びに修正する手段と、からなる日本語文書処
理装置を提供するものである。

【０００７】

【作用】入力を行う時避けられない問題である入力ミス
を、漢字の誤りは一見してわかることが多い、仮名
の入力ミスは校正の段階において見つけにくい、文字
認識装置や音声認識装置において、仮名の並びは特徴の
量が少ないことから、漢字の並びに比べて認識を誤るこ
とが多い、３文字の並びの確率を用いる方が、２文字
の確率を用いるより信頼性が高いという点に注目して指
摘、修正することにより、全体的な入力ミスの数の軽減
を行なうことが可能となる。

【０００８】

【実施例】以下、表を参照しながらＯＣＲで実現した場
合の本発明の実施例を説明するが、本発明はこれに限定
されるものではない。

【０００９】（対象文字３文字接続頻度テーブルの作
成）先ず、対象文字３文字接続頻度テーブルを作成す
る。ただし、ここではひらがな文字（８３文字）、カタ
カナ文字（８６文字）、及び記号を対象文字として、テ
ーブルを作成する。日本語テキストデータを入力して、
ひらがな文字（８３文字）カタカナ文字（８６文字）、
及び記号について、文字列を取り出し、３文字列の存在
する頻度を求める。ここで、頻度を求める対象となる文
字（前記ひらがな文字、カタカナ文字、及び記号）を対
象文字と呼ぶ。３文字列とは、対象文字が連続して３文
字つづく文字列である。各文字は対象文字コード表（表
１）により順序付けられている。

【００１０】

【表１】

【００１１】例えば、対象文字コード表が表１に示すも
のである場合、「ぁ」の位置番号は「０」、「あ」の位
置番号は「１」、「ぃ」の位置番号は「２」、「い」の
位置番号は「３」という、並んでいる順番に従って、番
号が決まっている。対象コード表が決まった状態で、大
量の日本語テキストデータを入力して、処理を行う。こ
の対象文字３文字接続頻度テーブル作成処理例のフロー
チャートを図１に示す。処理は、日本語テキストデータ
を１文字ずつ読み込んで進む。例えば次の表２に示すデ
ータが入力されるとする。

【００１２】

【表２】

【００１３】３文字綴が成立しているかをチェックす
る。（ステップ１）３文字綴が成立していれば、３文字バッファに記されて
いる位置のテーブルに１を加算し、３文字綴が、成立し
ていなければ、ステップ２に進む。（ステップ２）１文字を読み込む。ファイルの終りであれば、処理を終
了する。（ステップ３）読み込まれた文字が、対象文字であるかどうかチェック
する。（ステップ４）ステップ４において、チェックの結果が、対象文字であ
れば、３文字綴バッファの左位置にシフトしてその文字
位置を３文字綴バッファの最後に記入する。（ステップ
５）ステップ４において、チェックの結果が、対象文字でな
い場合は、３文字バッファをクリアしステップ１に戻
る。（ステップ６）例えば、この処理で、表２のうち、最初の「同じものと
みなし、」というデータ入力について、次の表３に示
す、６種類の文字列が抽出される。

【００１４】

【表３】

【００１５】そして、表１より「じ」の位置は２３
「も」の位置は６５、「の」の位置は４５であるから、
１度（じもの）という文字列が出現する毎に、テーブル
１２３，６５，４５）に１が加算されることになる。

【００１６】全ての日本語テキストデータを処理する
と、処理した日本語テキストデータの中の対象文字列の
存在回数がテーブルに記される。これらの存在回数を総
合回数で割ったものを「対象文字３文字接続頻度テーブ
ル」とする（図２）。

【００１７】ただし、このテーブルは、対象文字数×対
象文字数×対象文字数の大きさがあり、このままではサ
イズが大き過ぎて実用的でない。従って、以下に述べる
テーブル縮小プログラムによって存在する対象文字列の
みを記憶しておく。これにより、テーブルの大きさは３
Ｋバイト足らずに縮小される。

【００１８】（対象文字３文字接続テーブル縮小方法）
基本的に本縮小方法は作成された「対象文字３文字接続
頻度テーブル」の頻度が０のものをとり除き、縮小する
ものである（フローチャート図３、図４）。

【００１９】対象文字分の大きさをもったテーブル（検
索テーブル１ｔａｂｃｏｕｎｔ［ＭＯＪＩＳＵＵ］）を
用意する。（ステップ１）３文字接続頻度テーブルの最
初の文字をグループわけのキーとして、同じキーにいく
つの要素が存在するかを調べるために、３文字接続頻度
テーブルの最初の文字を固定し、３文字接続頻度テーブ
ルの頻度が０でないとき、検索テーブルに１を加算す
る。（ステップ２）検索テーブルを圧縮テーブルファイ
ルに書き込む（ステップ３）。３文字接続頻度テーブル
をテーブルの要素の回数だけチェックし、テーブルの内
容が０でない時、テーブルの２番めの文字の位置、３番
めの文字の位置、及びその位置にあたる頻度テーブルの
数値を圧縮テーブルに書き込む。（ステップ４）圧縮テ
ーブルファイルを読むときはこの操作の逆を行えばよ
い。

【００２０】（入力の誤り指摘、修正処理）上記の方法
により作成した「対象文字３文字接続頻度テーブル圧縮
テーブル」を用いて行う、入力の誤り指摘、修正処理の
流れを以下に示す（図５、図６、図７にフローチャー
ト、図８にブロック図）。

【００２１】ＯＣＲシステムなどの入力装置は、テキス
トデータ形式で入力を行なう。本処理は、入力される日
本語文字列全体から、かななどの対象文字列の３文字綴
を取り出すステップ（対象文字３文字綴取り出しステッ
プ）と、３文字綴の存在頻度を頻度テーブルから参照す
るステップ（テーブル参照ステップ）と、３文字綴の存
在頻度のチェックするステップ（チェックステップ）
と、存在頻度がある閾値を下回るとき、その３文字綴を
入力ミスの可能性のある文字列として登録する（入力ミ
ス候補取り出しステップ）と、入力ミス候補の位置をユ
ーザに伝える（入力ミス修正結果出力ステップ）とを有
する。

【００２２】対象文字３文字綴取り出しステップは、Ｏ
ＣＲの認識部から出力された日本語の文字綴を１文字づ
つ読み込む。たとえば、対象文字綴取り出しステップに
おいて、

【００２３】

【表４】

【００２４】という文字列がＯＣＲの認識部から出力さ
れた場合、まず、「同」がバッファに読み込まれ、対象
文字かどうかをチェックする。チェックは、対象文字コ
ードテーブルを用いて行なう。対象文字でなければ、何
も行なわれないで、次の文字を読み込む。次に、「じ」
が読み込まれ、同様に対象文字かどうかをチェックす
る。対象文字であれば、３文字綴バッファにコピーさ
れ、次の文字を読み込む。「も」も対象文字であるの
で、３文字綴バッファに「じ」の次の場所にコピーされ
る。同様に「の」も３文字綴りバッファにコピーされ
る。ここで対象文字の３文字綴りが完成し、対象文字綴
り取り出しステップは終了する。

【００２５】テーブル参照ステップは、対象文字綴取り
出しステップから送られる３文字綴から「対象文字３文
字接続頻度テーブル圧縮テーブル」を参照し、３文字綴
の頻度を得る。チェックステップでは、テーブル参照ス
テップで得られた頻度が低く、その値がある閾値を越え
た時に、その３文字綴チェック情報として、最初の「じ
もの」の部分にエラーの可能性があるフラグを送る。

【００２６】再度、対象文字綴取り出しステップら戻
り、「と」を読み込む。ここで「ものと」という３文字
綴が作成され、テーブル参照ステップへ送られる。同様
の処理が、読み込まれる文字が対象文字でなくなるま
で、行なわれる。エラーの可能性のあるフラグがあった
場合、入力ミス候補取り出しステップでは、エラーの可
能性のあるフラグの位置をチェックし、エラーの可能性
のあるフラグが閾値をこえて続く時、その３文字綴の重
なりの部分の文字がエラーの可能性があるとして情報を
伝える。同時に、出力表示を反転させるなどして、エラ
ーの可能性があるとユーザに指摘する。次に、その文字
の候補を参照し、エラーの可能性がある誤文字を候補の
文字に置き換える。次に、「対象文字３文字接続頻度テ
ーブル圧縮テーブル」の候補に入れ換えた３文字綴の頻
度を参照する。この時、元の頻度と候補に入れ換えた場
合の頻度を比較し、閾値を越えていれば、入力ミス修正
結果出力ステップに進む。

【００２７】入力ミス候補の位置をユーザに伝える（入
力ミス修正結果出力ステップ）では、入力候補取り出し
ステップにおいて取り出され、頻度の高い、３文字綴を
修正結果として出力する。

【００２８】以下に、本処理の入力および出力の例を示
す。

【００２９】＜入力の誤り指摘、修正処理への入力例＞

【００３０】

【表５】

【００３１】この文字列の第１位認識結果がテーブル対
象文字であり、かつその文字数が３文字以上の文字列が
入力の誤り指摘、修正処理頻度テーブル参照部に送られ
る。つまり、上の列では「はかりではない。」の１文字
列である。

【００３２】＜入力の誤り指摘、修正処理出力結果例＞

【００３３】

【表６】

【００３４】「は」が「ば」に修正されている。

【００３５】上記実施例において、日本語ＯＣＲを用い
て説明したが、本発明はこれに限定されるものではな
く、音声認識装置、ワードプロセッサなどの入力装置の
後処理におけるミスチェックに用いてもよい。

【００３６】また、一般文章の漢字部分をかなに直した
ひらがなばかりの文章から、統計処理により作成された
「対象３音節接続頻度テーブル」を持ち、入力されたか
な文字の並びを上記テーブルにより誤入力の可能性があ
るかどうかをチェックする手段と、頻度の極端に低い文
字の並びを誤入力の可能性がある綴としてユーザに指摘
する手段とを備え、ワードプロセッサなどの入力部にお
いて、かな漢字変換の漢字に変換する前の、かなばかり
の文字列をミスチェックする処理装置として用いてもよ
い。

【００３７】

【発明の効果】本発明により、従来の技術である形態素
解析を利用した後処理の問題点、即ち、解析に用いる巨
大な単語辞書を必要とする、処理が複雑である、処理時
間がかかる、誤ることの少ない漢字の処理に多くの時間
を使うため処理に無駄が多い、といった問題を解決する
ことが可能となる。

【図面の簡単な説明】

【図１】本発明の１実施例による対象文字３文字接続頻
度テーブル作成処理を示すフローチャートである。

【図２】本発明の１実施例による対象文字３文字接続頻
度テーブル構成図である。

【図３】本発明の１実施例による対象文字３文字接続頻
度テーブルの縮小方法を示すフローチャートである。

【図４】本発明の１実施例による対象文字３文字接続頻
度テーブルの縮小方法を示すフローチャートである。

【図５】本発明の１実施例による入力誤り指摘、修正処
理を示すフローチャートである。

【図６】本発明の１実施例による入力誤り指摘、修正処
理を示すフローチャートである。

【図７】本発明の１実施例による入力誤り指摘、修正処
理を示すフローチャートである。

【図８】本発明の１実施例による構成を示すブロック図
である。

Claims

【特許請求の範囲】

【請求項１】日本語文書における入力の誤りを指摘
し、修正する日本語文書処理装置であって、一般文章から統計処理により作成された対象文字の３文
字接続頻度テーブルと、入力された漢字を含む日本語の対象文字の並びを取り出
す手段と、取り出された文字の並びを前記３文字接続頻度テーブル
により誤入力の可能性があるか否かをチェックする手段
と、前記チェックの結果から頻度の極端に低い文字の並びを
誤入力の可能性がある綴りとし使用者に指摘する手段
と、前記チェックの結果から頻度の極端に低い文字の並びを
頻度の高い文字の並びに修正する手段と、からなること
を特徴とする日本語文書処理装置。