JPS6358570A - 日本文誤字自動検出方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （１，１発明の属する技術分野 本発明は１日本文文書データベース作成のため。

入力装置から読み込まれた漢字かな混じりの日本文文字
列に含まれる誤字の自動検出を行う日本文誤字自動検出
方式に関するものである。

（２）　　従来の技術 新聞記事、出版用原稿、科学技術論文等の多量の日本文
文書を電子ファイル化して日本文文書データベースを作
成する場合、これらの読み取り結果に含まれる誤字を単
語辞書２文法辞書を用いた形態素解析によりその誤字を
含む文節単位の領域（誤字含有域）として検出する文法
的手法（例えば、池原、白井［単語解析プログラムによ
る日本文誤字の自動検出と二次マルコフモデルによる訂
正候補の抽出」情処論誌ｖｏ１．２５　Ｎｏ、２１９８
４ンが実現されている。

第３図は、従来の文法的手法による誤字検出方式におけ
る構成例で、１は文書を読み取るための漢字ＯＣＲやベ
ンタッチ入力装置等の入力装置。

２は読み込みを行う入力処理部、３は入力装置１で読み
込まれて磁気装置に文字コードの形式で記録されている
読み取り結果の入力日本文データベース、４は形態素解
析によって誤字含有域を抽出する誤字検出部、５，６は
誤字検出部４で用いる単語辞書および文法辞書、７は誤
字検出部４で抽出した誤字含有域内から誤字とみなす誤
字位置を。

文字間の連接確率を用いて検出する誤字位置検出部、８
は文字連接確率辞書、９は検出された誤字の訂正を行う
訂正処理部、１０は処理装置である。

この例では、単語候補抽出、単語間の品詞接続。

検定等の形態素解析により、誤字含有域を抽出し。

さらに、同種の誤りを含まない大量の文書を用いてあら
かじめ作成した文字連接確率辞書８によって誤字位置の
検出を行っているや 第４図は文法的手法での誤字検出例であって。

原文に対してランダムに選んだ誤字が２文字挿入されて
いる。１１は挿入された誤字、１２は正字。

１３は誤字周辺の品詞接続状況２１４は品詞接続検定で
エラーとなる位置を示す。

第４図では、網羅的な単語抽出の後に各単語間の品詞接
続検定を行い１品詞接続検定エラーが生ずる事によって
誤字を含む文節を抽出している。

すなわち「評価負社会的」では、単語の品詞認定で「負
」が接尾辞となったため１前後の品詞接続関係が成立し
、誤字検出が実施できない。

つまり、このような文法的手法では。

■　品詞接続によるチェックのため、未検出誤字が多数
残存する。

■　膨大な単語辞書の索引および複雑な検定論理実行の
ため、多大な処理時間を要する。

という問題点がある６ また９文法的手法に対して、特願昭６１−０２４９９２
号に述べられる方式のように、誤字を含まない大量の日
本文文書を用いて、Ｎ文字の文字パターンを抽出し、こ
れに関する出現頻度情報に基づいて算定された各Ｎ文字
の文字連接確率情報を各Ｎ文字をキーとして保持する文
字連接確率辞書をあらかじめ作成して、原文の文字列の
連続する文字列（例えば２文字）の文字連接確率を成る
尾切り値で尾切りする事によって誤字を検出する方式が
ある。

第５図は文字連接確率値尾切りによる誤字検出例で、１
５は誤字周辺の文字列、１６は連続する２文字パターン
、１７は２文字パターン１６の前方２文字連接確率値、
１８は前方２文字連接確率値の積、１９は前方２文字連
接確率値の積１８が尾切り値１０１未満を示すマーカー
、２０は尾切り値より高く誤字検出に失敗した例である
。

第５図では、あらかじめ統計的に収集した文字連接確率
辞書を用いて前方２文字連接確率値の積１８が所定の尾
切り値１０−９より小さい場合、該当の文字を誤字とし
て抽出する。しかしこれらの確率的手法でも、ひらがな
のような字種数が少なく、出現頻度が高い文字列の場合
、誤字が混入しても文字連接確率が一般に高り、「生ま
れつい」の例のように誤字検出ができない、という問題
点があった。

（３）発明の目的 本発明の目的は、あらかじめ作成した文字連接確率辞書
を用いて文字連接確率値の尾切りにより誤字を検出する
方式と、従来の形態素解析により誤字を検出する方式と
を縦続的に接続して、前者の誤字判定部で検出した誤字
を含まない文節を後者の形態素解析による誤字検出部で
再度誤字検出を行う事によって、総合的な誤字検出精度
の向上と処理負荷の削減とを図る日本文誤字自動検出方
式を提供することにある。

（４）　　発明の構成 本発明は、誤字自動検出の対象となる文書と同種の誤字
を含まない大量の文書とを用いて、先頭より連続するＮ
文字を順に読み出し、各々のＮ文字パターンにおける出
現頻度を求め、前半（Ｎ−１）文字を等しくする全ての
Ｎ文字のパターンの出現頻度の総和に対する各Ｎ文字パ
ターンの頻度の比を文字間の接続確率と定義し１文字連
接確率辞書としてあらかじめ作成し、入力日本文データ
ベースより入力された文字列内の誤字検出対象の文字の
前後の文字との文字連接確率値を該文字連接確率辞書よ
り抽出して、その積があらかじめ設定した足切り値より
小さい場合に誤字検出対象の文字を誤字と認定し、認定
した誤字を含まない文節を形態素解析による誤字検出部
で再度処理して縦続的に誤字検出を行う事を最も主要な
特徴とする。

従来の技術とは。

■　あらかじめ作成した文字連接確率辞書を用いて文字
連接確率値の足切りを行う誤字検出方式と、従来の形態
素解析による誤字検出方式とを縦続的に接続する点。

■　前者の方式で誤字と認定された文字を含まない文節
のみを後者の方式の対象としている点。

が異なる。

（５）　　実施例 第１図は本発明の構成例で、２１は２文字パターンをキ
ーとして文字連接確率辞書８から文字連接確率値を抽出
する文字連接確率値抽出部、２２は文字連接確率値と所
定の足切り値とによって誤字を検出する誤字判定部、２
３は所定の足切り値を記憶する足切り値記憶部、２４は
誤字判定部２２で誤字と判定された文字、２５は誤字判
定部２２で検出された誤字を含まない文節、２６は誤字
検出部４で誤字を含むと認定された誤字含有域。

２７は誤字検出部４で誤字検出されなかった文節である
。

本構成例では、入力文文字列に対してまず文字連接確率
辞書８を用いて１前後の文字との文字連接確率値の積を
算定し、さらに所定の足切り値で足切りする事によって
、誤字判定部２２で誤字を検出し、その誤字を含む文節
を訂正処理部９へ送り、また誤字判定部２２で認定され
た誤字を含まない文節について、形態素解析による誤字
検出部４で処理して誤字を含む誤字含有域を抽出した後
。

誤字位置検出部７で再度文字連接確率辞書８を用いて文
字連接確率値が低い位置を検出し、訂正処理部９へ送る
所の一連の処理を行う。

第２図は９本発明による誤字検出例で、第５図の文字連
接確率値尾切りによる誤字検出例と対比している。本発
明の構成では、第１．第２の誤字は前後の文字との文字
連接確率値の積の足切りによって検出でき、第３の誤字
は、誤字を含まない文節として誤字検出部４へ送られ、
形態素解析による品詞接続検定エラーにより誤字含有域
が抽出される。さらに誤字位置検出部７で誤字含有域内
の誤字位置候補が抽出され、誤字が検出される。

このような構造および作用をするから、適当な足切り値
の設定により、入力原文中に含まれる誤字のうち、大部
分を文字連接確率辞書を用いる誤字検出方式において、
誤字位置を含めて検出でき。

さらにひらがな文字列でのひらがな誤りのように。

誤字を含む文字連接確率が一般的に高いため足切りによ
る誤字検出ができない場合に′＃１続的に処理される品
詞接続検定等の形態素解析により誤字を検出する事がで
きる。

その効果としては。

■　文字連接確率辞書を用いた誤字検出方式で誤字とし
て検出できない誤字を形態素解析により検出できるので
５誤字検出精度を大幅に向上させる事ができる。

■　誤字の大部分は処理負荷の小さい文字連接確率辞書
による誤字検出方式で処理できるので。

処理負荷の大きい形態素解析による誤字検出方式の処理
を最小限に抑制する事によって、！、８合的な処理負荷
を大幅に削減できる。

などの利点がある。

（６）　　発明の詳細 な説明したように１本発明によれば１文字連接確率辞書
を用いて文字連接確率値の足切りにより誤字を検出する
方式と従来の形態素解析により誤字を検出する方式とを
ｋ１１続的に接続し、前者の誤字判定部で検出された誤
字を含まない文節を後者の形態素解析による誤字検出部
で再度処理して誤字検出するようにしたのであるから。

■　前者の文字連接確率辞書を用いた誤字検出方式で誤
字検出できない誤字を後者の形態素解析により検出でき
るので、総合的に誤字検出精度を大幅に向上させる事が
できる。

■　誤字の大部分は処理負荷の小さい前者の方式で処理
できるので、処理負荷の大きい後者の誤字検出方式の処
理を最小限に抑制する事によって総合的な処理負荷を大
幅に削減できる。

という利点がある。

本発明による効果を定量的に評価すると次の如く考えら
れる。

新聞記事原文にランダムに選択した文字を誤字として１
０％程度挿入した入力文に対し、実際に試作した文字連
接確率値の足切りによる誤字検出方式で足切り値１０１
とする場合、誤字検出率９２％、正字を誤字として検出
した検出誤り文字率０．８７％であり、一方形態素解析
による誤字検出方式では、同じ入力文に対して、誤字検
出率８６．１％。

検出誤り文字率０．４７５％であった。従って両者の方
式を本発明のように縦続的に結合させると、誤字検出精
度９８．９％と向上するが、検出誤り文字率も１．１８
％と増大する。このため、総合的な評価関数として。

誤字設定数 を定義し、さらに前段の文字連接確率値の足切り値を適
当に調整すると１本発明の最終誤字含有率は約８％、一
方、形態素解析による誤字検出方式では、最終誤字含有
率は約１８％となり誤字検出精度は約５０％程度向上す
る。

さらに、性能面では、プログラムステップ数。

総辞書量から文字当たりの処理性能比が３文字連接確率
値の足切りによる誤字検出方式と形態素解析による誤字
検出方式とで１＝１０と推定されるので８両者の文字当
たりの性能をＴｘ、Ｔｙさらに形態素解析による誤字検
出方式では、前段での誤字と認識された文字を含む文節
以外を処理するため。

前述の入力文（全文字数：　１４０６．誤字数１４４）
の例のとき、前段で誤字と認識された文字数は未検出文
字数と検出誤り文字数との和で約１４３文字。

文節平均文字数４とすると３本発明の性能は。

本発明の性能−１４０６ＸＴｘ　＋　（１４０６−１４
３ｘ４）ｘＴｙなお、　　（１４０６−１４３Ｘ４）は
後段で処理する文字数である。

一方、従来の形態素解析による誤字検出方式の性能は 従来の性能間１４０６×Ｔｙ 従ってＴｘ　／Ｔｙ　＝０．１より性能比は従来の性能 １４０６ＸＴｙ 即ち本発明の性能は従来に比べて約３０％改善される。

【図面の簡単な説明】

第１図は９本発明の構成例、第２図は１本発明による誤
字検出例、第３図は、従来の文法的手法による誤字検出
の構成例、第４図は、従来の文法的手法による誤字検出
例、第５図は１文字連接確率値足切りによる誤字検出例
を示す。 １・・・入力装置、２・・・入力処理部、３・・・入力
日本文データベース、４・・・誤字検出部、５・・・単
語辞書。 ６・・・文法辞書、７・・・誤字位置検出部、８・・・
文字連接確率辞書、９・・・訂正処理部、１０・・・処
理装置。 １１・・・挿入された誤字、１２・・・正字、１３・・
・品詞接続状況、１４・・・品詞接続検定エラー位置、
１５・・・誤字周辺の文字列、１６・・・２文字パター
７−、　１７・・・前方２文字連接確率値、１８・・・
前方２文字連接確率値の積、１９・・・１８が足切り値
１０−’未満を示すマーカー、２０・・・誤字検出失敗
例、２１・・・文字連接確率値抽出部、２２・・・誤字
判定部、２３・・・足切り値記憶部、２４・・・誤字と
判定された文字。 ２５・・・検出された誤字を含まない文節、２６・・・
誤字含有域、２７・・・誤字検出されなかった文節。

Claims (1)

1. 【特許請求の範囲】 入力装置から入力した日本文文書データに含まれる誤字
   をデータ処理装置により自動検出する日本文誤字自動検
   出方式において、 誤字を含まない標準文書から順次抽出された連続するＮ
   文字のパターンに関する出現頻度情報に基づいて、あら
   かじめ算定された各Ｎ文字の文字連接確率情報を各Ｎ文
   字パターンをキーとして保持する文字連接確率辞書と 誤字検出対象である日本文文書データから、順次連続す
   る文字列を抽出し、抽出された文字列における前半のＮ
   文字および後半のＮ文字をそれぞれキーとして、文字連
   接確率辞書から文字連接確率値を抽出する手段と、 前記の２つの文字連接確率値の積が所定の足切り値未満
   の場合、誤字として検出する手段と、該手段で検出され
   た誤字を含まない文節を対象として単語辞書と文法辞書
   とを用いた形態素解析によって誤字含有域を抽出する手
   段と、 該誤字含有域の誤字位置を前記の文字連接確率辞書によ
   る文字連続確率値により検出する手段とを備え、 日本文文書データに含まれる誤字を自動的に検出するよ
   うにしたことを特徴とする日本文誤字自動検出方式。