JPH1069483A

JPH1069483A - スペル訂正システム

Info

Publication number: JPH1069483A
Application number: JP9094081A
Authority: JP
Inventors: R Golding Andres; アンドリュー・アール・ゴールディング; Ross Dan; ダン・ロス
Original assignee: Mitsubishi Electric Information Technology Corp; Mitsubishi Electric Research Laboratories Inc
Current assignee: Mitsubishi Electric Information Technology Corp; Mitsubishi Electric Research Laboratories Inc
Priority date: 1996-06-25
Filing date: 1997-04-11
Publication date: 1998-03-10
Anticipated expiration: 2017-04-11
Also published as: US5956739A; IL121133A; JP3366551B2

Abstract

(57)【要約】【課題】従来の文例からアルゴリズムを訓練するため
のシステムは代表性を前提にしているため、訓練集合が
試験集合を代表している場合のみ有効であった。【解決手段】この発明のスペル訂正システムは、通常
の訓練コーパスだけではなく、訂正されるテキストも含
む訓練コーパスによって訓練されるアルゴリズムによ
り、語が正しい語である確率に基づきスペル訂正を行う
ものである。【効果】文脈に敏感なスペルの間違いなどを含むユー
ザーの間違いを訂正するためのシステムを備えるため、
代表性に当てはまらないスペルの誤りも訂正することが
可能となり、精度の高いスペル訂正システムを提供する
ことができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、テキスト中の語の
スペルの訂正に関し、特に、その中に含まれる語のスペ
ルが殆ど正しいと推測されるテキストを含む訓練集合を
利用して、テキスト中の語のスペル訂正を行うスペル訂
正システムに関するものである。

【０００２】

【従来の技術】従来、特にテキスト編集に関して、スペ
ルの誤りなどのユーザーの間違いは、参照用テーブルを
利用する通常のスペルチェックシステムによって訂正さ
れている。その後、もっと複雑な語が現れた文脈を考慮
に入れるスペルチェックシステムが開発された。それら
のシステムは、通常、問題の語が現れた文の文脈におけ
る語の正しい使用例を含むいわゆる訓練コーパス（trai
ning corpus）を使用する。

【０００３】この様な文脈に敏感なスペル訂正システム
に伴う主な問題の一つは、システムの訓練に使われたコ
ーパスと、システムが適用されるターゲットテキストと
が似ていない場合を考慮に入れることができないという
ことである。語は多様な文脈で使用され得るので、これ
はテキスト中の語の訂正に関して重要な問題であり、従
って、ターゲットテキストで見られる語の特別の文脈に
おける使用方法が訓練コーパスでも見つけられるという
保証は何もない。

【０００４】例えば、文脈に敏感なスペルの誤りを訂正
することを役目とするアルゴリズムを考察しよう。スペ
ルの誤りは、たまたま英語の妥当な語になるけれども、
意図された語とは違っているようなスペルの誤りであ
り、例えば "too" の代わりに"to" を、"causal" の代
わりに "casual" を、"dessert"の代わりに"desert" を
タイプしてしまうなどのスペルの誤りである。このよう
なスペルの誤りを訂正するためのアルゴリズムを手で書
くことは非常に困難である。

【０００５】例えば、"desert" （砂漠）と "dessert"
（デザート）との混同を訂正するアルゴリズムを書きた
いとしよう。例えば「もしユーザーが "desert" 又は "
dessert" とタイプし、その前の語が "for" であるなら
ば、ユーザーはおそらく "dessert" と書くつもりだっ
たのだ」などの規則を書くことができる。この規則によ
れば、アルゴリズムにより"I would like the chocolat
e cake for desert."（私は砂漠にはチョコレートケー
キが欲しいです）の中の誤りを修正することができる。
けれども、この規則は、"desert"と"dessert"とが混同
されている他の多くの例については役に立たない。例え
ば "He wandered aimlessly through the dessert."
（彼は当てもなくデザートをさまよった）という文では
おそらく"desert"が意図されたのであろうが、この様な
文に対してはこの規則は役に立たない。

【０００６】この文を修正するためには、例えば「もし
ユーザーが"desert"又は"dessert"とタイプし、その前
の２語が前置詞と、それに続く"the"とであるならば、
ユーザーはおそらく"desert"と書くつもりだったの
だ。」というような別の規則が必要である。概して、全
ての場合に対処する規則の集合を手で書くことは極めて
困難である。

【０００７】このように、規則の集合を手でかくことが
困難であることがきっかけとなり、適応訂正アルゴリズ
ム、すなわちテキストで訓練を受けることにより誤りを
訂正することを学習するアルゴリズムを指向することと
なったのである。規則を手で書くよりは、"desert"及
び"dessert"を正しく使用している文例の集合を設け
て、その文例の背後にある規則をアルゴリズムに自動的
に推測させる方が遥かに容易である。

【０００８】

【発明が解決しようとする課題】文例からアルゴリズム
を訓練するためのいろいろな技術が機械学習の文献に開
示されている。しかし、それら全てに共通していること
は、代表性を前提にしていることである。即ち、アルゴ
リズムの訓練に使用される文例の集合は、後にアルゴリ
ズムが訂正することになる文例の集合を代表していると
いうことを前提としている。換言すれば、それらの技術
は、訓練集合及び試験集合中の文例は同じ母集団から偏
らずに抽出されるということを前提としている。

【０００９】従って、アルゴリズムが訓練集合から学習
するあらゆる規則は試験集合にも正しく当てはまるとい
うことになる。例えば、"for"という語は"dessert"の前
によく現れるけれども"desert"の前に現れることは希で
あるということを例証する文例を訓練集合が含んでいる
ならば、代表性の前提により、"for"についての同じ分
布特性が試験集合にも当てはまるはずである。

【００１０】しかし、もしこの前提が破られれば、その
アルゴリズムが訓練集合から学んだ規則は必ずしも試験
集合に当てはまらなくなるので、試験集合に対するアル
ゴリズムのパフォーマンスは低下することになる。従っ
て、既存の機械的な学習技術は、訓練集合が試験集合を
代表している場合に限って有効である。しかし、訓練集
合が試験集合を代表していることの保証は全くないの
で、これは重大な課題である。

【００１１】従って、この発明の目的は、上述のように
試験集合が訓練集合に代表されることによってテキスト
中の語のスペルの訂正を行うのではなく、試験集合をも
含んだ文例で訓練を受けることによって、誤りを訂正す
ることを学習するアルゴリズム（適応訂正アルゴリズ
ム）を備えるスペル訂正システムを提供することであ
る。

【００１２】

【課題を解決するための手段】この発明のスペル訂正シ
ステムは、幾つかの選択肢又は可能性のある語のうちの
どれが意図されたものであるかを決定するために、文の
中での語の文脈を利用するスペル訂正システムであっ
て、通常の訓練コーパスとターゲットテキストとを組み
合わせて組み合わせ訓練コーパスとするための組み合わ
せ手段と、組み合わせ手段に結合され、組み合わせ訓練
コーパスにおける語の出現に基づいてターゲットテキス
トの中の語が正しい語である確率を決定し、その確率に
基づいてスペル訂正を行う訂正手段とを備える。

【００１３】また、組み合わせ訓練コーパスから特徴を
抽出するための特徴抽出手段をさらに備え、上記訂正手
段は、特徴抽出手段に結合され、ターゲットテキストに
おける特徴の出現に基づいて確率を決定するための確率
決定手段を含むことを特徴とする。

【００１４】また、上記特徴抽出手段は、特徴として文
脈語を抽出することを特徴とする。

【００１５】また、上記特徴抽出手段は、特徴として連
語関係を抽出することを特徴とする。

【００１６】また、上記確率決定手段は、特徴の出現に
基づいて、語がターゲット語として意図されたかも知れ
ない確率をベイズの法則を適用して更新するための確率
更新手段を備えることを特徴とする。

【００１７】さらに、上記確率決定手段は、特徴の出現
に基づいて、組み合わせ訓練コーパスに出現した語の確
率の、全ての語が組み合わせ訓練コーパスに出現したタ
ーゲット語として意図されたかもしれない確率に対する
比に従って、ターゲット語として意図されたかもしれな
い語に初期確率を割り当てる初期確率割り当て手段を備
えることを特徴とする。

【００１８】

【発明の実施の形態】この発明のスペル訂正システムの
動作内容を説明するにあたり、ここで、本システムの特
徴について触れておく。テキスト中の語をもっと柔軟に
訂正する方法を提供するために、本システムでは通常の
訓練コーパスを使用するだけでなくて、訂正されるべき
語がターゲットテキストの中でどのように使われている
かを確かめるためにターゲットテキストも分析する。訂
正されるべき語がターゲットテキスト全体を通じて概し
て適切に使われている場合には、訂正されるべき語の１
つ１つをチェックするときに、その語がターゲットテキ
スト全体を通じて現れる類似した文脈において、その使
用形態をとっているという提案がなされる。

【００１９】従って、本システムは、既存の技術の制約
を克服するために通常の訓練コーパスとターゲットテキ
ストとの両方を利用することにより、訓練コーパスがタ
ーゲットテキストの一部分を代表しているにすぎないと
きでも適応訂正アルゴリズムがよく働き得るようにする
ためのサプ／アンサプ（sup/unsup）法と呼ばれる訓練
方法を提供するものである。

【００２０】サプ／アンサプ法は、単に通常の訓練集合
と試験集合との両方でアルゴリズム（どちらの適応訂正
アルゴリズムも重要である）を訓練することにより実施
されるものである。ほとんどの場合、試験集合は誤りを
含んでいるのであるから、試験集合で訓練をすること
は、一見、逆効果に思えるかも知れない。しかし、サプ
／アンサプ法は、試験集合は誤りを含んではいるけれど
も誤りは試験集合中にそれぞれまばらに分布する傾向が
あるので、そのような誤りがあっても学習機能により依
然として正しい規則を抽出することができるはずである
という仮定に基づいている。この概念は文例によって明
らかにされるものである。

【００２１】"desert"と"dessert"の場合についての文
脈に敏感なスペルの誤りを訂正する場合に、試験集合で
ある新聞記事に"Operation Desert Storm"（砂漠の嵐作
戦）という句が２４回、"Operation Dessert Storm"
（デザートの嵐作戦）という不正確な句が１回現れると
しよう。アルゴリズムは、サプ／アンサプ法に従って通
常の訓練集合に加えて試験集合で訓練される。訓練の目
的は、"dessert"に対して"desert"を用いる場合に関す
る規則を抽出することである。

【００２２】試験集合からは「もしユーザーが "Deser
t"又は"Dessert"をタイプして、その前の語が"Operatio
n"で、その後の語が"Storm"であるならば、ユーザーは
おそらく"Desert"とタイプするつもりだったのだ」とい
う規則が見つかる。この規則は、この規則が適用される
２５の句のうちの２４の句に対して当てはまる。従っ
て、完全ではないけれども、システムがこの規則を学習
したということを十分に信頼することができる。する
と、システムは、規則を学び取ったその試験集合に対し
てこの規則を適用して、この規則を破る"Operation Des
sert Storm"（デザートの嵐作戦）が１つあることを検
出することができる。

【００２３】サプ／アンサプ法の長所は、たとえ試験集
合中に含まれるスペルの誤りが訓練集合中に含まれてい
なくても、即ち、たとえ訓練集合が試験集合を代表して
いなくても、試験文書中の単一の不正確なスペル"Opera
tion Dessert Storm"（デザートの嵐作戦）などの、そ
れぞれ散在している誤りを検出できることである。サプ
／アンサプ法は、誤りを含んでいないと考えられるある
試験集合に関して「誤り」を検出するのではなくて試験
集合中の矛盾を探し出す方法であると考えることができ
る。

【００２４】サプ／アンサプ法が、元の訓練集合に含ま
れる誤りを検出できることはもちろんである。しかし、
サプ／アンサプ法の弱点は、試験集合中に一貫して存在
する誤りを検出できないことである。例えば、もしユー
ザーがその都度"Operation Dessert Storm"（デザート
の嵐作戦）とタイプしたとすれば、システムは誤りを発
見することができないであろう。

【００２５】サプ／アンサプ法の有効性は２つの要素に
依存していることに留意しなければならない。１つは、
試験集合の大きさであり、試験集合が大きいほど矛盾を
検出するのが容易になる。例えば、上記の例では正し
い"Operation Desert Storm"（砂漠の嵐作戦）が２４回
現れたが、もし試験集合が遥かに小さくて２回しか現れ
なかったとすれば、アルゴリズムは"Desert"を示唆す
る"Operation"と"Storm"とに関する規則を学ぶのに充分
な情報を得ることが出来ないかもしれない。

【００２６】サプ／アンサプ法の有効性に影響を及ぼす
第２の要素は、試験集合中の間違いの割合である。上記
の例では、ユーザーは２５回出現する"Operation Deser
t Storm"（砂漠の嵐作戦）で１回間違えているが、もし
その代わりに２５回のうちの１０又は１５回というレベ
ルであれば、アルゴリズムが適切な規則を学び取るのは
困難になるであろう。

【００２７】サプ／アンサプ法は、アルゴリズムの適応
のために使用される手段に限らず、また訂正を検討中の
ものに限らず、如何なる適応訂正アルゴリズムにも適用
されるものであることが理解されよう。

【００２８】本書で使用している「適応訂正アルゴリズ
ム」という用語は、例えば文脈に敏感なスペルの誤りな
どのユーザーの間違いを訂正し、正しい回答及び間違
い、若しくはこれらのどちらか一方を例証する文例で訓
練されることにより間違いを訂正するという学習機能を
有するアルゴリズムを指す。

【００２９】ターゲットテキストの分析に使われるアル
ゴリズムは、訂正されるべき各語が現れるかも知れない
文脈を特徴づける特徴を確かめるために、訓練テキスト
の全てを走査する過程を含んでおり、それは、通常の訓
練コーパスと、システムが適用されるターゲットテキス
トとの両方を含んでいる。

【００３０】特徴とは、２種類のテキストパターンを意
味する。第１の種類は、文脈語と呼ばれるもので、訂正
されるターゲット語から或る一定の距離の中にある特定
のキーワードの存在を指す。例えば、訂正される語が"d
esert"（砂漠）と"dessert"（デザート）とであるなら
ば、特徴となる文脈語は一方については"hot"（暑
い）、"dry"（乾いている）及び"sand"（砂）であり、
他方については"chocolate"（チョコレート）、"cake"
（ケーキ）及び"sweet"（甘い）であろう。前者のグル
ープの語がターゲット語の両側の１０語以内に存在する
ことは、ターゲット語として"desert"が意図とされたこ
とを示唆する傾向があり、後者のグループの語の存在
は"dessert"が意図されたことを示唆する傾向がある。

【００３１】第２の種類の特徴は連語関係（コロケーシ
ョン／collocation）と呼ばれるものであり、文脈の中
のターゲット語の近隣の品詞タグと特定の語とのパター
ンを指す。例えば、訂正されるべき語が再び"desert"
と"dessert"とであるとすると、特徴となる連語関係
は、「ターゲット語の直ぐ左に'前置詞the'が現れるこ
と」であろう。この連語関係は、"desert"又は"desser
t"であるターゲット語の直ぐ前に"the"という語があ
り、その直ぐ前に「前置詞」としてのタグが付されてい
る語があるような全ての文と調和する。

【００３２】例えば、この連語関係は "He went to the
desert." （彼は砂漠へ行った）という文と調和する
が、この文ではターゲット語 "desert" の直ぐ前に "th
e" という語があり、その直ぐ前に前置詞としてのタグ
が付される "to" という語がある。この連語関係は、文
と調和するときには、ターゲット語として "dessert"で
はなくて "desert" が意図されたことを示唆するのに役
立つ。

【００３３】この分析に必要な品詞タグは、与えられた
語についてあり得る品詞の集合を列挙した辞書を利用す
る参照手続きにより得られる。連語関係中の各々の語が
文中の対応する語と調和し、さらに、その連語関係中の
各品詞タグがその文中の対応する語のあり得る品詞タグ
の集合の要素であるならば、その連語関係はその文と調
和すると考えられる。

【００３４】本システムは、訓練テキスト全体を走査し
て、訂正される語の全ての出現を探し出すことにより、
上記した２種類の特徴の集合を得る。その各出現につい
て、本システムはその出現に調和する全ての文脈語及び
連語関係を候補特徴として提案する。訓練テキスト全体
についての作業の後、本システムは提案された特徴の集
合を選定する。この選定には、不十分なデータに基づい
ている特徴や、訂正される語を識別するのに役に立たな
いような特徴を削除するために、特徴のこの集合に切り
詰め基準が適用される。

【００３５】訂正される語の各々が現れる傾向のある文
脈を特徴づける特徴の集合を得た後、従来のベイズの方
法により、訂正された語の各々が、実際はユーザーがタ
イプしようとした語である確率を決定するために、選定
された特徴を証拠として使う。この確率を得た後、正し
いものとして選択された語が正しい確率は、かなり高い
といえる。例えば、もし "desert" という語が特定の文
脈で１００回使用され、"dessert" という語が同じ文脈
で全く使用されないか又は限られた回数だけ使用された
とすると、本システムは、たとえユーザーが "dessert"
とタイプしたとしても、この文脈が将来出現したら "d
esert" を正しい語として選択する。

【００３６】文脈に敏感なスペルの訂正のためのベイズ
の分析方法は、計算言語学協会の１９９５年６月の会議
における大規模コーパスに関する第３回研究集会の議事
録、頁３９−５３、のアンドルーＲ．ゴールディングの
論文「文脈に敏感なスペルの訂正のためのベイズの混成
方法」（the paper, "A Bayesian hybrid method forco
ntext-sensitive spelling correction", by Andrew R.
Golding, in the Proceedings of the Third Workshop
on Very Large Corpora, at the June 1995conference
of the Association for Computational Linguistics,
pages 39-53）に記載されている。

【００３７】このように、テキスト中のターゲット語の
正しいスペルを確かめるために、通常の訓練コーパス
と、ターゲットテキストを含む特別の訓練コーパスとの
両方が利用される。通常の訓練コーパスはターゲットテ
キストコーパスと組合わされ、文脈に敏感なスペルの訂
正は両方のコーパスに基づいて行われる。その結果とし
て、ターゲットテキスト及び通常の訓練コーパスの全体
にわたって語の使用を分析することを通して、スペル訂
正が改善されることになる。

【００３８】要約すると、文脈に敏感なスペルの誤り等
を含むユーザーの間違いを訂正するためのシステムが提
供され、そのシステムでは通常の訓練コーパスだけでな
くて訂正されるテキストでも訓練される適応訂正アルゴ
リズムが利用される。このようにして、訂正されるべき
テキストは概して既に殆ど正しいという事実を利用する
ことにより、訂正されるテキストの中での語の特定の使
用方法に基づく語の訂正を可能にしている。

【００３９】以下、添付図面を参照しながら、上述した
特徴を有する本発明のスペル訂正システムの動作内容に
ついて説明する。

【００４０】実施の形態１．図１を参照すると、テキス
ト中の語のスペルを訂正するシステム１０は、訓練段階
１２と、それに続く実行時間処理段階１４とから構成さ
れている。訓練段階１２において、ターゲットテキスト
１６および通常の訓練コーパス１８が、組み合わせ手段
２０によって組み合わされて組み合わせ訓練コーパス２
１となる。この結果、利用されるテキストである組み合
わせ訓練コーパス２１は、ターゲットテキスト１６を含
むこととなるので、問題のテキスト中の語のスペルを訂
正するのに非常に有益である。

【００４１】組み合わせ訓練コーパス２１は、特徴抽出
手段２２において特徴２４を抽出するために用いられ
る。特徴２４は、組み合わせ訓練コーパス２１から抽出
される。特徴２４は、文脈語と連語関係とを含んでお
り、この特徴２４によって、ターゲットテキスト１６の
中で各語が意図された本来の語である確率の計算を可能
とする証拠が提供される。

【００４２】実行時間処理段階１４で、ターゲットテキ
スト１６が用意されると、訂正手段３０は始めにターゲ
ット語を決定し、次に組み合わせ訓練コーパス２１及び
特徴２４に基づいてターゲット語が正しい語である確率
を決定する。例えば、ターゲット語が意図された語と同
一であるらしいことに関する証拠を収集するために、選
択された特徴２４のリストがターゲットテキスト１６中
の各ターゲット語と照らし合わされる。

【００４３】証拠は、ベイズの法則により、それぞれの
語が意図された本来の語である確率を決定するために用
いられる。正しい語と同一であると判定するのに用いら
れるスペル訂正システムの中には、乗法的重み更新方式
（a multiplicative weight-updating scheme）だけで
なく、重み付き過半数投票の確率変数（a variant ofwe
ighted-majority voting）も用いるウィノーアルゴリズ
ム（Winnow algorithm）に基づくシステムがある。

【００４４】この技術は、カリフォルニア州サンフラン
シスコで１９９６年に開催された第１３回国際会議議事
録、ロレンザ・サイッタ編集、モーガン・カウフマン、
機械学習の中の、アンドルーＲ．ゴールディング及びダ
ン・ロスによる「文脈に敏感なスペル訂正へのウィノー
の適用」という題名の論文（a paper entitled, "Apply
ing Winnow to Context-Sensitive Spelling Correctio
n" by Andrew R. Golding and Dan Roth, in Machine L
earning: The Proceedings of the 13th International
Conference, Lorenza Saitta, ed., Morgan Kaufmann,
San Francisco, CA, 1996）に記載されている。

【００４５】訂正手段３０によるスペルの訂正は、通常
の訓練コーパス１８だけを使うのではなくて、ターゲッ
トテキスト１６を含む組み合わせ訓練コーパス２１を利
用する従来のベイズの方法により行われる。その利点
は、類似の語の出現について、ターゲットテキストを検
査することにより、正しい語の確率を決定するためのシ
ステムが強化され、正しい語を得るためのより強力な技
術が達成されることである。

【００４６】もしターゲット語を交換する必要があれ
ば、訂正手段３０での確率に基づくスペル訂正の結果と
して、ターゲット語の代わりにテキストに挿入するべき
語が提案され、図のように訂正済みテキスト３２が得ら
れる。

【００４７】図２は、特徴抽出手段２２の内部構成を詳
しく示す図である。図２において、組み合わせ手段２０
から出力される組み合わせ訓練コーパス２１は、品詞タ
グの集合の辞書３６とともに提案手段３４で利用され
る。その結果、可能性のある全ての文脈語及び連語関係
が候補特徴３５として提案される。

【００４８】例えば、"walks" という語について、この
辞書は、「複数名詞」及び「三人称単数動詞」から成る
品詞タグの集合を与える。可能性のある全ての文脈語及
び連語関係の一覧表を作成するプロセスの例を "John l
ives in the desert." （ジョンは砂漠に住んでいる）
という文で示すことができるが、この文ではターゲット
語は "desert" であり、このターゲット語としてユーザ
ーは "desert" 及び "dessert" のどちらを宛てること
もあり得る。

【００４９】この文では、"in" についての品詞タグと
して可能なものは唯一「前置詞」のみであり、"the" と
いう語について可能性のある品詞タグは唯一「限定詞」
だけである。この場合、４つの文脈語と４つの連語関係
が候補特徴として提案される。その文脈語は、"Joh
n"、"lives"、"in"、及び "the" であり、それぞれがタ
ーゲット語の近くに出現する語である。

【００５０】連語関係は、「'in the'がターゲット語の
直ぐ左に出現すること」、「'前置詞the'がターゲット
語の直ぐ左に出現すること」、「'in限定詞'がターゲッ
ト語の直ぐ左に出現すること」及び「前置詞、限定詞」
がターゲット語の直ぐ左に出現すること」である。これ
ら４つの連語関係は、ターゲット語の近くの文脈を特別
の語及び品詞タグで表現する全ての方法を表している。

【００５１】リスト作成手段３４で品詞タグの集合の辞
書３６から、候補特徴としての可能性のある全ての文脈
語及び連語関係のリスト３５が作成されると、積算手段
３７が組み合わせ訓練コーパス２１における全ての候補
特徴の出現回数を数え、ステップ３８で不十分なデータ
しか備えない特徴又は情報性のない特徴が取り除かれ
る。

【００５２】不十分なデータとは、訓練コーパスにおけ
る該特徴の出現回数が所定の閾値（例えば、これは１０
にセットされる）より低いようなデータを意味する。情
報性のない特徴とは、特徴の存在がカイ二乗統計試験に
より決定されたターゲット語の同一性と著しく相関して
いないことを意味し、例えば５％レベルの重みに設定さ
れる。その結果として、確率に基づくスペル訂正のため
の実行時間処理に使われるべき特徴２４のリストが得ら
れる。

【００５３】次に図３を参照すると、ターゲットテキス
ト１６及び特徴２４を用いて確率に基づくスペル訂正を
行う訂正手段３０は、第１ステップとして、次に現れる
ターゲット語を発見するステップ４２に進行する。そし
て、ステップ４４でターゲットテキスト１６中における
ターゲット語の出現が判断される。ターゲット語が出現
すると、初期確率割り当て手段４６により、ターゲット
語として意図されたかも知れない各語ｗｉの確率が初期
化される。各語ｗｉの確率は、各語ｗｉが組み合わせ訓
練コーパス中に出現した確率の、すべての語ｗｉが該コ
ーパス中に出現した合計確率に対する比に割り当てられ
る。

【００５４】各語ｗｉの確率が割り当てられた後、特徴
発見手段４８は、ターゲット語の出現と調和する次の特
徴を発見する。このとき特徴発見手段４８に対して必要
となる入力は、特徴２４および品詞タグの集合の辞書３
６である。ターゲット語の出現が発見されると、本シス
テムは、可能性のある特徴２４のリストの中のどの特徴
がターゲット語の各出現と調和するかを判定しようとす
る。ターゲット語の出現に基づくだけでなく、そのター
ゲット語の出現と調和する特徴の存在にも基づいて確率
が得られるようになっているので、特徴２４を利用する
ことにより、本システムの強壮性が向上する。

【００５５】ステップ５０で特徴の発見が判断され、出
現に調和する次の特徴が発見されると、確率更新手段５
８は、ベイズの法則を用いてターゲット語として意図さ
れたかも知れない各語ｗｉの確率を更新する。確率の更
新は、ターゲット語の出現と調和する特徴により提供さ
れるターゲット語の可能性ある同一性に関する証拠を考
慮に入れるために、各語ｗｉについての確率を調整する
ために行われる。その結果として、ターゲット語の出現
と調和する全ての特徴が処理された後には、ターゲット
語の文脈に基づいて確率が計算されており、それは、タ
ーゲット語が出現した文脈が与えられた場合の、各語ｗ
ｉがターゲット語として意図された語である確率を測る
ものである。これは、ターゲット語の出現と調和した特
徴から証拠を集めることにより行われる。

【００５６】ターゲットテキスト１６と調和する特徴２
４に基づいて各語の確率ｗｉを更新するためにベイズの
法則が使われる。ベイズの法則は下記の式で与えられ
る。

【００５７】

【数１】

【００５８】ここでＦはターゲット語の出現と調和した
特徴の集合であり、Ｐ（ｗｉ|Ｆ）は、特徴の集合Ｆが
ターゲットの出現と調和することが分かった場合の、語
が意図された確率ｗｉであり、Ｐ（ｗｉ)は、確率ｗｉ
のいわゆる前の確率であって、語ｗｉについての確率が
初期確率割り当て手段４６によってその値に初期化され
ている。Ｐ（Ｆ）は、計算の最終結果に影響を及ぼさな
いので使わなくてもよいスケーリングファクタであり、
各項Ｐ（ｆ｜ｗｉ)は、特徴ｆがターゲットの出現と調
和すると分かった場合の語ｗｉの確率を確率更新手段５
８が更新するために使われるいわゆる確度項であって、
組み合わせ訓練コーパスにおける特徴ｆの出現回数から
計算される。

【００５９】ステップ５０において、ターゲットの出現
と調和する特徴が全く見つからなかったということであ
るならば、ステップ５２で正しい語として選択された語
ｗｉが正しい確率は、最も高いといえる。こうして選択
された正しい語は、先に元のターゲットテキストが入れ
られていたテキストバッファー（text buffer）５６に
入力されることが理解されよう。

【００６０】正しい語の選択に続いて、システムはター
ゲットテキスト１６中のターゲット語の次の出現を捜す
ステップに反復して戻り、この動作は全てのターゲット
語が処理されるまで続けられる。そして、それ以上の出
現は見つからない場合は、テキストバッファー５６は、
スペル訂正処理手順の時に行われた全てのスペル訂正に
より訂正された元のターゲットテキストを含んでいる。
従って、処理手順の最後のステップ６０で、テキストバ
ッファー５６の読み出しを通じて訂正済みテキスト３２
が作成される。

【００６１】要約すると、訓練段階で組み合わせ訓練コ
ーパスが形成され、ターゲットテキストはその組み合わ
せ訓練コーパスの不可欠の一部分であって、特に組み合
わせ訓練コーパスと訂正されるべきターゲットテキスト
を照らし合わせる。組み合わせ訓練コーパスが形成され
た後、与えられた語がターゲットが出現する文脈で正し
い語である確率の計算をよりしっかりしたものにするた
めに、選択された特徴が抽出される。ターゲット語とし
て意図されたかも知れない語を特徴と共に考慮すること
により、テキスト訂正のための実行時間処理手順中によ
り正確な確率を得ることができる。文脈語及び連語関係
を特徴として利用することは、他の特徴も本発明の範囲
内にあるので、一例に過ぎない。

【００６２】更に、確率を選択する方法をベイズの法則
の反復プロセスに関して記述したけれども、この方法は
語が特定の文脈において正しい語である確率を決定する
多数の手法の中の一例に過ぎない。

【００６３】以上に本システムの具体例を呈示したが、
当業者は本発明の範囲内で修正及び代わりの実施態様に
想到するであろう。従って、本発明の範囲は特許請求の
範囲においてのみ示されるものとする。

【００６４】

【発明の効果】この発明のスペル訂正システムは、幾つ
かの選択肢又は可能性のある語のうちのどれが意図され
たものであるかを決定するために、文の中での語の文脈
を利用するスペル訂正システムであって、通常の訓練コ
ーパスとターゲットテキストとを組み合わせて組み合わ
せ訓練コーパスとするための組み合わせ手段と、組み合
わせ手段に結合され、組み合わせ訓練コーパスにおける
語の出現に基づいてターゲットテキストの中の語が正し
い語である確率を決定し、その確率に基づいてスペル訂
正を行う訂正手段とを備えるので、従来のような代表性
に当てはまらないスペルの誤りも訂正することが可能と
なり、スペル訂正の効率を向上させることができる。

【００６５】また、組み合わせ訓練コーパスから特徴を
抽出するための特徴抽出手段をさらに備え、上記訂正手
段は、特徴抽出手段に結合され、ターゲットテキストに
おける特徴の出現に基づいて確率を決定するための確率
決定手段を含むことを特徴とするので、精度の高いター
ゲットテキスト中の語が正しい語である確率を得ること
ができる。

【００６６】また、上記特徴抽出手段は、特徴として文
脈語を抽出することを特徴とするので、ターゲット語が
正しいか否かの判断の精度を向上させることができる。

【００６７】また、上記特徴抽出手段は、特徴として連
語関係を抽出することを特徴とするので、ターゲット語
が正しいか否かの判断の精度を向上させることができ
る。

【００６８】また、上記確率決定手段は、特徴の出現に
基づいて、語がターゲット語として意図されたかも知れ
ない確率をベイズの法則を適用して更新するための確率
更新手段を備えることを特徴とするので、より精度の高
い確率を得ることができる。

【００６９】さらに、上記確率決定手段は、特徴の出現
に基づいて、組み合わせ訓練コーパスに出現した語の確
率の、全ての語が組み合わせ訓練コーパスに出現したタ
ーゲット語として意図されたかもしれない確率に対する
比に従って、ターゲット語として意図されたかもしれな
い語に初期確率を割り当てる初期確率割り当て手段を備
えることを特徴とするので、より精度の高い確率を得る
ことができる。

【図面の簡単な説明】

【図１】組み合わせ訓練コーパスを利用してターゲッ
トテキスト中の語の訂正を行う確率に基づくスペル訂正
システムの訓練段階及び実行時間処理段階を示すフロー
チャートである。

【図２】候補特徴としてあり得る全ての文脈語及び連
語関係を提案するために利用される品詞タグの集合の辞
書を利用する処理と、組み合わせ訓練コーパスの中の全
ての候補特徴の出現回数が数えられる処理と、不十分な
データに基づいている特徴や、スペル訂正に役に立たな
いような特徴が取り除かれる処理とを備える特徴抽出手
段の動作内容および内部構成を示すフローチャートであ
る。

【図３】ターゲットテキストの中のターゲット語と調
和する全ての特徴を発見し、これらの特徴を証拠として
用いて、ベイズの法則によりターゲット語として意図さ
れた確率の最も高い語を選択するための訂正手段の動作
内容および内部構成を示すフローチャートである。

【符号の説明】

２０組み合わせ手段、２２特徴抽出手段、３０訂
正手段、４６初期確率割り当て手段、５８確率更新
手段。

───────────────────────────────────────────────────── フロントページの続き (71)出願人 597067574 201 ＢＲＯＡＤＷＡＹ，ＣＡＭＢＲＩＤＧＥ，ＭＡＳＳＡＣＨＵＳＥＴＴＳ 02139，Ｕ．Ｓ．Ａ. (72)発明者アンドリュー・アール・ゴールディングアメリカ合衆国、マサチューセッツ州、ケンブリッジ、フロスト・ストリート５、アパートメント１ (72)発明者ダン・ロスイスラエル国、レホボト、ハナシ・ハリション 55

Claims

【特許請求の範囲】

【請求項１】幾つかの選択肢又は可能性のある語のう
ちのどれが意図されたものであるかを決定するために、
文の中での語の文脈を利用するスペル訂正システムであ
って、通常の訓練コーパスとターゲットテキストとを組み合わ
せて組み合わせ訓練コーパスとするための組み合わせ手
段と、上記組み合わせ手段に結合され、上記組み合わせ訓練コ
ーパスにおける語の出現に基づいて上記ターゲットテキ
ストの中の語が正しい語である確率を決定し、その確率
に基づいてスペル訂正を行う訂正手段とを備えるスペル
訂正システム。
【請求項２】上記組み合わせ訓練コーパスから特徴を
抽出するための特徴抽出手段をさらに備え、上記訂正手
段は、上記特徴抽出手段に結合され、上記ターゲットテ
キストにおける上記特徴の出現に基づいて上記確率を決
定するための確率決定手段を含むことを特徴とする請求
項１に記載のスペル訂正システム。
【請求項３】上記特徴抽出手段は、上記特徴として文
脈語を抽出することを特徴とする請求項２に記載のスペ
ル訂正システム。
【請求項４】上記特徴抽出手段は、上記特徴として連
語関係を抽出することを特徴とする請求項２に記載のス
ペル訂正システム。
【請求項５】上記確率決定手段は、上記特徴の出現に
基づいて、語がターゲット語として意図されたかも知れ
ない確率をベイズの法則を適用して更新するための確率
更新手段を備えることを特徴とする請求項２に記載のス
ペル訂正システム。
【請求項６】上記確率決定手段は、上記特徴の出現に
基づいて、上記組み合わせ訓練コーパスに出現した上記
語の確率の、全ての語が上記組み合わせ訓練コーパスに
出現したターゲット語として意図されたかもしれない確
率に対する比に従って、ターゲット語として意図された
かもしれない語に初期確率を割り当てる初期確率割り当
て手段を備えることを特徴とする請求項２記載のスペル
訂正システム。