JPH0682364B2 - 日本文処理方式 - Google Patents
日本文処理方式Info
- Publication number
- JPH0682364B2 JPH0682364B2 JP62315698A JP31569887A JPH0682364B2 JP H0682364 B2 JPH0682364 B2 JP H0682364B2 JP 62315698 A JP62315698 A JP 62315698A JP 31569887 A JP31569887 A JP 31569887A JP H0682364 B2 JPH0682364 B2 JP H0682364B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- character string
- unit
- japanese
- dictionary
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Description
【発明の詳細な説明】 〔産業上の利用分野〕 本発明は計算機による日本文の解析処理方式に係り、詳
しくは辞書にない単語や誤字等を含む日本文に対しても
解析精度を向上させる日本文処理方式に関するものであ
る。
しくは辞書にない単語や誤字等を含む日本文に対しても
解析精度を向上させる日本文処理方式に関するものであ
る。
計算機による日本文の解析処理方式の従来の概略構成図
を第５図に示す。第５図において、10はデータ入力部、
20は形態素解析部、50は出力編集部である。
を第５図に示す。第５図において、10はデータ入力部、
20は形態素解析部、50は出力編集部である。
データ入力部10は漢字OCR、ペンタッチ、タブレット、
キーボード等からなり、解析対象の日本語文字列を読込
む。この読込まれた日本語文字列について、形態素解析
部20では、予め用意された文法辞書や単語辞書を用いて
形態素解析を行い、単語の認定、文節切り等を実施す
る。出力編集部50では、この形態素解析部20での処理結
果に従って日本語文字列を編集出力する。こゝで、辞書
にない単語や誤字を含む日本文の場合、形態素解析部20
においては、解析単位の文節全体が解析不能文字列とし
て検出され、出力編集部50では、該解析不能文字列をそ
のまゝ文節単位で出力することゝなる。
キーボード等からなり、解析対象の日本語文字列を読込
む。この読込まれた日本語文字列について、形態素解析
部20では、予め用意された文法辞書や単語辞書を用いて
形態素解析を行い、単語の認定、文節切り等を実施す
る。出力編集部50では、この形態素解析部20での処理結
果に従って日本語文字列を編集出力する。こゝで、辞書
にない単語や誤字を含む日本文の場合、形態素解析部20
においては、解析単位の文節全体が解析不能文字列とし
て検出され、出力編集部50では、該解析不能文字列をそ
のまゝ文節単位で出力することゝなる。
従来技術においては、計算機により日本文を解析するに
当って、日本文に入力ミスなどの誤りが存在したり、辞
書にない単語が存在した場合、その影響が限定できず、
その部分を含む文節や文全体がそのまゝ解析不能文字列
となっていた。このため、例えば、日本文を解析して単
語単位に認定し、読みやアクセント・ポーズを付与して
合成音声で読上げる音声出力システムでは、実際に１ケ
所の解析不能文字であっても、それを特定できないた
め、文節や文全体の読みがおかしくなり、正読率を低下
させていた。
当って、日本文に入力ミスなどの誤りが存在したり、辞
書にない単語が存在した場合、その影響が限定できず、
その部分を含む文節や文全体がそのまゝ解析不能文字列
となっていた。このため、例えば、日本文を解析して単
語単位に認定し、読みやアクセント・ポーズを付与して
合成音声で読上げる音声出力システムでは、実際に１ケ
所の解析不能文字であっても、それを特定できないた
め、文節や文全体の読みがおかしくなり、正読率を低下
させていた。
又、解析がうまく行かない所に誤りが存在する可能性が
あるということを利用した日本文誤り自動検出システム
においても、長い単位の文字列しか指摘できず、新聞記
事の校閲に利用した場合などは短時間に大量データを処
理する必要があるため、長い文字列からさらに誤りを見
つけ出す作業のために、省力化効果を低下させてしまう
という問題があった。
あるということを利用した日本文誤り自動検出システム
においても、長い単位の文字列しか指摘できず、新聞記
事の校閲に利用した場合などは短時間に大量データを処
理する必要があるため、長い文字列からさらに誤りを見
つけ出す作業のために、省力化効果を低下させてしまう
という問題があった。
本発明の目的は、辞書にない単語や誤りを含む文におい
てもできるだけその文字列を限定し、特定化して文全体
の解析に与える影響を極小化できる日本文処理方式を提
供することにある。
てもできるだけその文字列を限定し、特定化して文全体
の解析に与える影響を極小化できる日本文処理方式を提
供することにある。
本発明は、計算機により日本文を処理する方式におい
て、処理対象の日本文を単語、文節等に認定分割する形
態素解析部の他に、日本文中に辞書にない単語や誤りが
あるため解析不能になる文字列に対してより深く解析す
る解析不能文字列処理部を設ける。
て、処理対象の日本文を単語、文節等に認定分割する形
態素解析部の他に、日本文中に辞書にない単語や誤りが
あるため解析不能になる文字列に対してより深く解析す
る解析不能文字列処理部を設ける。
解析不能文字列の処理部では、形態素解析部で検出され
た解析不能文字列に対して、とにかく解析できる所まで
初めからできるだけ解析して行く。そして、どうしても
解析できない文字列の先頭がカタカナあるいはアルファ
ベットの場合は、その連続する同一字種の文字列全体を
解析不能文字列として検出する。また、それ以外の字種
（漢字、ひらがな）の場合は、その先頭文字の次の文字
を先頭として再度解析を行い、それ以降もし、うまく解
析できるならずスキップして解析対象としなかった１文
字が解析不能対象であるとする。もし、それでもまだ以
降の文字列を解析できない場合は、さらに先頭文字をス
キップして次の文字から解析を始め、以降うまく解析で
きるか、文節末や文末となるまでこの処理を行い、スキ
ップした文字列を解析不能として検出する。
た解析不能文字列に対して、とにかく解析できる所まで
初めからできるだけ解析して行く。そして、どうしても
解析できない文字列の先頭がカタカナあるいはアルファ
ベットの場合は、その連続する同一字種の文字列全体を
解析不能文字列として検出する。また、それ以外の字種
（漢字、ひらがな）の場合は、その先頭文字の次の文字
を先頭として再度解析を行い、それ以降もし、うまく解
析できるならずスキップして解析対象としなかった１文
字が解析不能対象であるとする。もし、それでもまだ以
降の文字列を解析できない場合は、さらに先頭文字をス
キップして次の文字から解析を始め、以降うまく解析で
きるか、文節末や文末となるまでこの処理を行い、スキ
ップした文字列を解析不能として検出する。
本発明では、形態素解析部で検出した解析不能の長い文
字列に対して、さらに解析を加えるため誤りの箇所を特
定化でき、また解析不能部分を短い単位の文字列にまで
限定できる。
字列に対して、さらに解析を加えるため誤りの箇所を特
定化でき、また解析不能部分を短い単位の文字列にまで
限定できる。
以下、本発明の一実施例について図面により説明する。
第１図は本発明の一実施例の構成図で、音声出力システ
ムに適用した場合であり、第２図はその具体的処理例を
第１図の各部分に対応づけて示した図である。
ムに適用した場合であり、第２図はその具体的処理例を
第１図の各部分に対応づけて示した図である。
第１図において、10は日本文のデータ入力部、20は形態
素解析部、30は読み付与部、40は解析不能文字列処理
部、50は出力編集部、60は合成音声発生部である。解析
不能文字列処理部40は、さらに解析不能文字の限定化部
41、解析不能文字品詞付与部42、アテ読み付与部43、ア
クセント・ポーズ付与部44に分かれる。
素解析部、30は読み付与部、40は解析不能文字列処理
部、50は出力編集部、60は合成音声発生部である。解析
不能文字列処理部40は、さらに解析不能文字の限定化部
41、解析不能文字品詞付与部42、アテ読み付与部43、ア
クセント・ポーズ付与部44に分かれる。
今、データ入力部10より「キャルビックのように軽い」
という日本文（日本語文字列）が読込まれたとする
（）。こゝで、「キャルビック」が辞書にない単語で
あるとする。
という日本文（日本語文字列）が読込まれたとする
（）。こゝで、「キャルビック」が辞書にない単語で
あるとする。
形態素解析部20では、予め用意された文法辞書、単語辞
書を用いて「キャルビックように軽い」を単語分割、文
節分割するが、「キャルビック」が辞書にないというこ
とで、「キャルビックのように」の分節は解析不能文字
列とし、「軽い」を形容詞の単語に認定する「」。こ
の形態素解析部20で認定できた単語「軽い」について
は、読み付与部30で読みと適当なアクセントやポーズの
情報が付与される（）。
書を用いて「キャルビックように軽い」を単語分割、文
節分割するが、「キャルビック」が辞書にないというこ
とで、「キャルビックのように」の分節は解析不能文字
列とし、「軽い」を形容詞の単語に認定する「」。こ
の形態素解析部20で認定できた単語「軽い」について
は、読み付与部30で読みと適当なアクセントやポーズの
情報が付与される（）。
一方、解析不能文字列「キャルビックのように」は解析
不能文字列処理部40に送られる。まず、解析不能文字の
限定化41で解析不能文字の限定化を行う。この場合、カ
タカナ文字で始まる「キャルビック」を１つの単位の解
析不能文字とすると、「のように」は格助詞「の」と助
動詞「ように」に解析できる（）。次に、アクセント
やポーズをできるだけ自然に解析不能文字列に付与する
ため、解析不能文字品詞付与部42で格助詞「の」と接続
可能な適当な品詞（この場合一般名詞）を解析不能文字
列「キャルビック」に与え（）、あたかも辞書にあっ
た一般名詞のようにした後、アテ読み付与部43、アクセ
ント・ポーズ付与部44において適当なアテ読み（この場
合はカタカナ文字なのでカタカナ読み）とアクセント・
ポーズを付与する（，）。
不能文字列処理部40に送られる。まず、解析不能文字の
限定化41で解析不能文字の限定化を行う。この場合、カ
タカナ文字で始まる「キャルビック」を１つの単位の解
析不能文字とすると、「のように」は格助詞「の」と助
動詞「ように」に解析できる（）。次に、アクセント
やポーズをできるだけ自然に解析不能文字列に付与する
ため、解析不能文字品詞付与部42で格助詞「の」と接続
可能な適当な品詞（この場合一般名詞）を解析不能文字
列「キャルビック」に与え（）、あたかも辞書にあっ
た一般名詞のようにした後、アテ読み付与部43、アクセ
ント・ポーズ付与部44において適当なアテ読み（この場
合はカタカナ文字なのでカタカナ読み）とアクセント・
ポーズを付与する（，）。
出力編集部50では、読み付与部30とアクセント・ポーズ
付与部44の出力を合わせて編集する（）。この出力編
集部50での編集結果が合成音声発生部60へ送られて音声
となる。
付与部44の出力を合わせて編集する（）。この出力編
集部50での編集結果が合成音声発生部60へ送られて音声
となる。
このように、解析不能文字の限定化を行う事により、解
析できない文字列を含む文を入力されても、その部分の
品詞が適当に推定できるため、なるべく自然に近い形で
読みを出力することができる。
析できない文字列を含む文を入力されても、その部分の
品詞が適当に推定できるため、なるべく自然に近い形で
読みを出力することができる。
第３図は本発明の他の実施例の構成図で、誤り検出シス
テムに本発明を適用した場合であり、第４図はその具体
的処理例を第３図の各部分に対応づけて示した図であ
る。
テムに本発明を適用した場合であり、第４図はその具体
的処理例を第３図の各部分に対応づけて示した図であ
る。
第３図において、10はデータ入力部、20は形態素解析
部、40は解析不能文字列処理部、70は誤り検出部であ
る。解析不能文字列処理部40には解析不能文字の限定化
部41がある。
部、40は解析不能文字列処理部、70は誤り検出部であ
る。解析不能文字列処理部40には解析不能文字の限定化
部41がある。
今、データ入力部10より日本文「すべて分からないこた
ばかりだ。」が読込まれ、その「こたばかりだ」の
「た」が誤字であるとする（）。この日本文につい
て、形態素解析部10で解析され、副詞「すべて」と解析
不能文字列の文節「分からないこたばかりだ」に限定さ
れる（）。このうち、解析不能文字列「分からいこた
ばかりだ」は、解析不能文字列処理部40に送られる。該
処理部40の解析不能文字限定化部41では、さらに解析が
失敗する文字までなんとか解析し、失敗先頭文字「た」
（カ変活用動詞「こ」に接続できる「た」はない）をス
キップして、再度解析し、「ばかりだ」の解析に成功す
る（）。解析不能文字の限定化部41での解析結果を誤
り検出部70に送ることにより、「た」１文字を誤りとし
て検出できる（）。このように、解析不能文字の限定
化を行う事により、誤り文字を限定化できる。
ばかりだ。」が読込まれ、その「こたばかりだ」の
「た」が誤字であるとする（）。この日本文につい
て、形態素解析部10で解析され、副詞「すべて」と解析
不能文字列の文節「分からないこたばかりだ」に限定さ
れる（）。このうち、解析不能文字列「分からいこた
ばかりだ」は、解析不能文字列処理部40に送られる。該
処理部40の解析不能文字限定化部41では、さらに解析が
失敗する文字までなんとか解析し、失敗先頭文字「た」
（カ変活用動詞「こ」に接続できる「た」はない）をス
キップして、再度解析し、「ばかりだ」の解析に成功す
る（）。解析不能文字の限定化部41での解析結果を誤
り検出部70に送ることにより、「た」１文字を誤りとし
て検出できる（）。このように、解析不能文字の限定
化を行う事により、誤り文字を限定化できる。
〔発明の効果〕 以上説明したように、文字文の解析において従来辞書に
ない単語や誤字などを含む文が存在した場合は、文節な
ど処理の最小単位全体を解析不能文字列とせざるを得な
かったが、本発明では、さらにその中でも解析不能文字
を限定して特定化できるようになるため、日本文の解析
効率が向上する。さらに、抽出した解析不能文字列の正
解の品詞を単一品詞として推定しても問題ない程度に限
定化でき、解析不能文字列を適当な品詞に推定して処理
できるため、辞書にない単語や誤字などを含む文を許容
して日本文解析できるようになるという利点がある。
ない単語や誤字などを含む文が存在した場合は、文節な
ど処理の最小単位全体を解析不能文字列とせざるを得な
かったが、本発明では、さらにその中でも解析不能文字
を限定して特定化できるようになるため、日本文の解析
効率が向上する。さらに、抽出した解析不能文字列の正
解の品詞を単一品詞として推定しても問題ない程度に限
定化でき、解析不能文字列を適当な品詞に推定して処理
できるため、辞書にない単語や誤字などを含む文を許容
して日本文解析できるようになるという利点がある。
現実の業務で使用される一般の文章は、辞書にない単語
や誤字などを含んだ文を持っている場合が多く、本発明
による効果の意義は大きい。例えば日本文音声出力シス
テムに応用すると、解析不能文字列があっても正確に近
いアテ読みができるようになる。又、日本文誤り検出シ
ステムでは誤りを含む範囲を限定して検出できるように
なる。
や誤字などを含んだ文を持っている場合が多く、本発明
による効果の意義は大きい。例えば日本文音声出力シス
テムに応用すると、解析不能文字列があっても正確に近
いアテ読みができるようになる。又、日本文誤り検出シ
ステムでは誤りを含む範囲を限定して検出できるように
なる。
第１図は本発明の一実施例の構成図、第２図は第１図の
具体的処理例を示す図、第３図は本発明の他の実施例の
構成図、第４図は第３図の具体的処理例を示す図、第５
図は従来方式の構成図である。 10……データ入力部、20……形態素解析部、40……解析
不能文字列処理部。
具体的処理例を示す図、第３図は本発明の他の実施例の
構成図、第４図は第３図の具体的処理例を示す図、第５
図は従来方式の構成図である。 10……データ入力部、20……形態素解析部、40……解析
不能文字列処理部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 池原 悟 東京都千代田区内幸町１丁目１番６号 日 本電信電話株式会社内 (56)参考文献 特開 昭61−134877（ＪＰ，Ａ) 特開 昭62−90760（ＪＰ，Ａ) 特開 昭62−209659（ＪＰ，Ａ)
Claims (1)
- 【請求項１】計算機により日本文を処理する方式におい
て、 処理対象の日本文を文法辞書、単語辞書等を用いて単
語、文節等に認定分割する形態素解析部と、 日本文中に辞書にない単語や誤りがあるため前記形態素
解析部で解析不能になる文字列に対して、該文字列の先
頭字種がカタカナまたはアルファベットの場合は、その
連続する同一文字種の文字列を解析不能文字列として検
出し、前記解析不能になる文字列の先頭字種がカタカナ
またはアルファベット以外の場合は、その先頭文字を解
析から除外すべく該先頭文字の次の文字を文字列の先頭
として再度解析し、その結果解析できない場合はさらに
その次の文字を先頭文字として解析することを順次行
い、解析できた場合は、解析から除外した文字列を解析
不能文字列として検出する解析不能文字列処理部と、 を有することを特徴とする日本文処理方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP62315698A JPH0682364B2 (ja) | 1987-12-14 | 1987-12-14 | 日本文処理方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP62315698A JPH0682364B2 (ja) | 1987-12-14 | 1987-12-14 | 日本文処理方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH01156866A JPH01156866A (ja) | 1989-06-20 |
| JPH0682364B2 true JPH0682364B2 (ja) | 1994-10-19 |
Family
ID=18068475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP62315698A Expired - Lifetime JPH0682364B2 (ja) | 1987-12-14 | 1987-12-14 | 日本文処理方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0682364B2 (ja) |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS61134877A (ja) * | 1984-12-05 | 1986-06-21 | Ricoh Co Ltd | 未登録語属性推定装置 |
| JPS6290760A (ja) * | 1985-10-16 | 1987-04-25 | Fujitsu Ltd | 文章解析方式 |
| JPH061468B2 (ja) * | 1986-03-10 | 1994-01-05 | シャープ株式会社 | 日本語文章校正装置 |
-
1987
- 1987-12-14 JP JP62315698A patent/JPH0682364B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JPH01156866A (ja) | 1989-06-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6490563B2 (en) | Proofreading with text to speech feedback | |
| US5587902A (en) | Translating system for processing text with markup signs | |
| US8209169B2 (en) | Synchronization of an input text of a speech with a recording of the speech | |
| JPH07325828A (ja) | 文法チェックシステム | |
| JPH03224055A (ja) | 同時通訳向き音声認識システムおよびその音声認識方法 | |
| JPH07325824A (ja) | 文法チェックシステム | |
| JPH09128383A (ja) | 中国語テキストを処理するためのシステムおよび方法 | |
| Black et al. | Analysis of unknown words through morphological decomposition | |
| JPH0682364B2 (ja) | 日本文処理方式 | |
| Voutilainen | Engcg tagger, version 2 | |
| JP3721397B2 (ja) | 話し言葉の書き言葉への変換装置 | |
| JPH09152883A (ja) | アクセント句分割位置検出方法及びテキスト音声変換装置 | |
| JPH06290209A (ja) | 文切り装置 | |
| JPH0634175B2 (ja) | 文章読上げ装置 | |
| KR100268297B1 (ko) | 중국어 텍스트 처리 컴퓨터 시스템, 형태 처리에 의한 단어 스트링 처리 방법, 중국어 어구 분석 방법 | |
| Guirao et al. | A “toolbox” for tagging the Spanish C-ORAL-ROM corpus | |
| Bögel et al. | THE PHONETICS–PHONOLOGY–SYNTAX INTERFACE: A COMPUTATIONAL IMPLEMENTATION | |
| JP2002297585A (ja) | 英文名詞句の区分方法，英文構文情報生成方法および装置 | |
| JP2770536B2 (ja) | 文章解析装置 | |
| JPH0546612A (ja) | 文章誤り検出装置 | |
| JPH0376492B2 (ja) | ||
| JPS5955536A (ja) | コメント変換システム | |
| Levow | An experimental discourse-neutral prosodic phrasing system for Mandarin Chinese | |
| Kim et al. | Hybrid grapheme to phoneme conversion for unlimited vocabulary | |
| JPH0656557B2 (ja) | 単語検出方式 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071019 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081019 Year of fee payment: 14 |
|
| EXPY | Cancellation because of completion of term | ||
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081019 Year of fee payment: 14 |