JPH052601A

JPH052601A - 日本語処理の前処理装置

Info

Publication number: JPH052601A
Application number: JP3153573A
Authority: JP
Inventors: Jiyunki Sou; 順姫宋; Hitoshi Ozawa; 仁小澤
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1991-06-26
Filing date: 1991-06-26
Publication date: 1993-01-08

Abstract

(57)【要約】【目的】機械翻訳等の日本語処理の前処理装置に関
し、処理速度及び正確さの向上を図る手段を提供するこ
とを目的とする。【構成】前処理装置内に繰り返し記号処理部を設け
て、記述された自然言語内に存在する繰り返し記号を検
出し、該繰り返し記号をその前にある文字に変換するか
どうか判断して変換し、又長音処理部を設けて記述され
た自然言語内の片仮名文字の後に存在するハイフン記号
を検出し、該ハイフン記号を長音記号に修正するかどう
か判断して修正するように構成する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は機械翻訳等の日本語処理
の前処理装置に関する。

【０００２】

【従来の技術】従来の機械翻訳においては、日本語の自
然言語を解析システムで処理して、単語に分解し、辞書
により他の言語に変換していた。このとき、繰り返し記
号については、これを記号と解釈したり、別の文字に変
換されて、正しい単語にならず、その単語が辞書に存在
しなくなるため、正しい解析ができず、翻訳が出来ない
という問題があった。

【０００３】例えば、『米国々民』と入力されたときに
は、正しく単語に分解すれば、『米国』と『々民』とな
り、『米国』は辞書にあるけれども、『々民』は辞書に
なく翻訳に失敗してしまう。ところが、実際は『々』の
文字は記号として扱われるため、『米国々民』は入力
『米国』と『々』と『民』とに分解されてしまい翻訳に
失敗してしまう。このような失敗は『々』という繰り返
し記号を正しく前処理できなかったという点にある。即
ち、繰り返し記号はその前にある繰り返すべき文字と置
き換えた後に、単語に分解しなければならない。

【０００４】また、自然言語内の片仮名文字の単語を入
力する際に、誤ってハイフン記号を入力した場合の、片
仮名文字の単語の中に存在するハイフン記号についても
長音記号とみなされず、片仮名文字とハイフン記号の組
合せとして処理されるため、該当する単語が辞書に存在
せず、未登録単語として処理されるので、翻訳が出来な
いという結果となる。たとえば『コンピュータ』を『コ
ンピュ−タ』と誤って入力したとき、『コンピュ』と
『タ』との２つの単語の結合したものとして取り扱うた
め翻訳に失敗してしまう。

【０００５】図３は従来の機械翻訳における日本語処理
の構成を示した図である。図において、１０は日本語処
理装置18の入力である自然言語の日本語文章、１１は日
本語処理装置18に入力するために日本語処理装置18に適
した形態に自然言語の日本語文章10を変換する人手によ
る前処理部、１２は入力された自然言語の日本語文章10
（以下入力データと略する）を単語要素に分析する単語
解析部、１３は単語に分解された入力データ10の単語の
配列から文章構造を決定する構造解析部、１４は日本語
の単語の品詞、訳語等の単語属性を保持する単語辞書、
１５は入力データ10を辞書14により訳語に置換する翻訳
処理部、１６は訳語に変換された入力データ10を配列し
なおす後処理部、１８は単語解析部12、構造解析部13、
単語辞書14、翻訳処理部15、後処理部16から構成される
日本語処理装置18である。

【０００６】以上のような構成の日本語処理装置18で
は、入力データ10を単語解析部12で単語要素に分解し
て、構造解析部13で分解された入力データ10の単語の配
列から文章構造を決定し、翻訳処理部15で入力データ10
を単語辞書14により訳語に置換して、後処理部16で訳語
に変換された入力データ10を配列しなおして文章として
完成させていた。

【０００７】ここで、従来は日本語処理装置18に入力す
るために日本語処理装置18に適した形態に自然言語の日
本語文章10を変換する人手による前処理部11が必要であ
った。これは自然言語の日本語文章10は必ずしも文法に
従った記述がされていないという自然言語の特性がある
ため、その修正を人手で行っているものである。

【０００８】このような修正の対象として先に挙げた繰
り返し記号の処理やハイフン記号の処理があり、これら
のものが機械翻訳の処理速度を低下させたり、処理を誤
って翻訳の正確さをさまたげたりしていた。

【０００９】

【発明が解決しようとする課題】これまでの日本語処理
の人手による前処理では機械翻訳の処理速度を低下させ
たり処理を誤って翻訳の正確さをさまたげたりするとい
う問題があった。

【００１０】本発明はこのような点にかんがみて、機械
による前処理により、処理速度及び正確さの向上を図る
手段を提供することを目的とする。

【００１１】

【課題を解決するための手段】上記の課題は下記の如く
に構成された日本語処理の前処理装置によって解決され
る。図１は、本発明の原理図である。 (1) 自然言語の日本語文章10を単語辞書に含まれる単語
に分解し単語辞書と照合し翻訳する日本語処理の前処理
装置において、繰り返し記号を含む単語については、該
繰り返し記号をその直前の文字に変換した単語に修正し
て予め単語辞書に登録しておくとともに、記述された自
然言語の日本語文章10内に存在する繰り返し記号を検出
し、該繰り返し記号をその前にある文字に変換するかど
うか判断して変換する繰り返し記号処理部22を設け、記
述された自然言語の日本語文章に存在する繰り返し記号
を含む単語を前記単語辞書に含まれる同一文字繰り返し
単語に変換して翻訳するように構成する。

【００１２】(2) 自然言語の日本語文章を単語辞書に含
まれる単語に分解し翻訳する日本語処理の前処理装置に
おいて、記述された自然言語内の片仮名文字の後に存在
するハイフン記号を検出し、該ハイフン記号を長音記号
に修正するかどうか判断して修正するハイフン記号処理
部23を設け、記述された自然言語内に存在するハイフン
記号を含む片仮名単語を前記単語辞書に含まれる長音記
号を含む片仮名単語に修正して翻訳するように構成す
る。

【００１３】

【作用】(1) 繰り返し記号を含む単語を、該繰り返し
記号をその直前にある文字と変換した単語に修正して単
語辞書24に登録しておく。前処理装置21内に設けた繰り
返し記号処理部22により、記述された自然言語の日本語
文章10内に存在する繰り返し記号を検出し、該繰り返し
記号をその前にある文字と変換するかどうか判断して変
換する。

【００１４】これにより、記述された自然言語の日本語
文章に存在する繰り返し記号を含む単語が単語辞書に含
まれる同一文字繰り返し単語に変換されるので翻訳が可
能となる。

【００１５】(2) ハイフン記号処理部により、記述され
た自然言語内の片仮名文字の後に存在するハイフン記号
を検出し、該ハイフン記号を長音記号に修正するかどう
か判断して修正する。

【００１６】従って、記述された自然言語内に存在する
ハイフン記号を含む片仮名単語は前記単語辞書に含まれ
る長音記号を含む片仮名単語に修正されるため翻訳が可
能となる。

【００１７】

【実施例】図２は本発明の実施例の構成を示すブロック
図である。図において、２２は記述された自然言語の日
本語文章(10)内に存在する繰り返し記号を検出し、該繰
り返し記号をその前にある文字と変換するかどうか判断
して変換する繰り返し記号処理部、２３は記述された自
然言語内の片仮名文字の後に存在するハイフン記号を検
出し、該ハイフン記号を長音記号に修正するかどうか判
断して修正するハイフン記号処理部、２１は繰り返し記
号処理部22とハイフン記号処理部23からなる自動的に前
処理を行う前処理装置、２４は繰り返し記号を含む単語
を、該繰り返し記号をその前にある文字と変換した単語
に置換して登録した単語辞書である。その他、図３と同
一符号の物は同一物である。

【００１８】前処理装置21の繰り返し記号処理部22で
は、入力データ10の中に『米国々民』という文章がある
と『々』が繰り返し記号であることを認識し、且つ漢字
に対する繰り返し記号であることから、先行する漢字
『国』の繰り返しを指定していることを判定して『々』
を『国』に置換する。そこで入力データ10の『米国々
民』は『米国国民』に変換される。変換された『米国国
民』は単語解析部12で、『米国』と『国民』の２つの単
語に分解することができ、構造解析部13で名詞節である
ことが判定され、翻訳処理部15で「The United States
people 」と変換される。

【００１９】繰り返し記号は同一の単語内で使用される
場合がある。例えば『着々と』という単語は繰り返し記
号処理部22で『着着と』と変換されるので、単語辞書24
の内部も『着々と』は『着着と』と置き換えておく必要
がある。又、繰り返し記号は『々』以外にも『ゝ』や
『ゞ』があり、各々漢字に対する繰り返し記号と平仮名
に対する繰り返し記号であり、同様の処理を行う。

【００２０】又前処理装置21の長音記号処理部23では、
入力データ10の中に『コンピュ−タ』という文章がある
と片仮名の直後にハイフン記号が有ることを検出した場
合は、先ずハイフン記号の前で切ってそこまでで単語と
みなし、単語辞書24を参照して当該単語があれば、ハイ
フン記号として取扱う。また単語辞書24を参照して当該
単語がなければ、当該ハイフン記号を長音記号に変換し
て、その片仮名の単語の一部とみなして単語辞書24を参
照してその単語が存在すれば、該ハイフン記号は長音記
号の誤記であるとして長音記号に置き換えて次の単語解
析部12に送出する。このような処理を前処理装置21で自
動的に行うことにより、従来人手で行ってきた前処理を
機械化でき、処理速度の向上、翻訳精度の向上が図れ
る。

【００２１】

【発明の効果】以上の説明から明らかなように本発明に
よれば従来人手で行ってきた前処理を機械化でき、処理
速度の向上、翻訳精度の向上が図れる、という著しい工
業的効果がある。

【図面の簡単な説明】

【図１】本発明の原理を示すブロック図

【図２】本発明の実施例の構成を示すブロック図

【図３】従来の翻訳における日本語処理の構成を示す
図

【符号の説明】

１０自然言語の日本語文章、又は入力データ１１人手による前処理部１２単語解析部１３構造解析部１４辞書１５翻訳処理部１６後処理部１８日本語処理２１前処理装置２２繰り返し記
号処理部２３ハイフン記号処理部２４単語辞書

Claims

【特許請求の範囲】

【請求項１】自然言語の日本語文章(10)を単語辞書に
含まれる単語に分解し単語辞書と照合し翻訳する日本語
処理の前処理装置において、繰り返し記号を含む単語に
ついては、該繰り返し記号をその直前の文字に変換した
単語に修正して予め単語辞書に登録しておくとともに、
記述された自然言語の日本語文章(10)内に存在する繰り
返し記号を検出し、該繰り返し記号をその前にある文字
に変換するかどうか判断して変換する繰り返し記号処理
部(22)を設け、記述された自然言語の日本語文章に存在
する繰り返し記号を含む単語を前記単語辞書に含まれる
同一文字繰り返し単語に変換して翻訳することを特徴と
する日本語処理の前処理装置。
【請求項２】自然言語の日本語文章を単語辞書に含ま
れる単語に分解し翻訳する日本語処理の前処理装置にお
いて、記述された自然言語内の片仮名文字の後に存在す
るハイフン記号を検出し、該ハイフン記号を長音記号に
修正するかどうか判断して修正するハイフン記号処理部
(23)を設け、記述された自然言語内に存在するハイフン
記号を含む片仮名単語を前記単語辞書に含まれる長音記
号を含む片仮名単語に修正して翻訳することを特徴とす
る日本語処理の前処理装置。