JPH0269869A - 言語解析装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 伎亙氷見 本発明は、言語解析装置、より詳細には、自然言語解析
装置１機械翻訳装置の解析部に関し、例えば質問応答シ
ステム等における言語解析等に応用可能なものである。

丈米技権 従来の言語解析装置においては、予めシステム製作者が
設定した文末のパターンしか文末として認識しない。例
えば、セミコロンが来た後は必ず文末にするようにする
といったように、システム作成者の定めたパターンは、
必ず文の切れ目となり、それ以外は文の切れ目とはなら
ない。しかし、文章によっては、句読点の用い方に差が
あるのは予想される。例えば、ある人は、セミコロンは
、文の切れ目として扱うのに対して、ある人は、同格の
説明を与えるために用いているといったことがある。こ
の場合、予めシステム製作者の設定した文末パターンで
は、どちらかの文書に対応するのが精いっばいである。

また、システム製作者の予想していないような文末パタ
ーンには対応できない欠点がある。

こうした欠点を解決するために、従来技術では。

例えば、交編集機能を用いて、文章そのものを編集して
、システムが文末であると認識する形あるいは文を切り
たくない場合は、システムが文の切れ目と認識しない形
に変形してやる必要があり、非常に面倒であった。この
ためには、文末の標準パターンを使用者が知る必要があ
る。さらに、解析対象文中の句読点等を変更する必要が
あるので、原文のイメージを損なってしまうという欠点
もある。

また自然言語の文章を解析するいわゆる自然言語解析シ
ステム等においては、現在のところ、文を単位に解析を
するシステムが大半である。したがって、文の切れ目の
認識に失敗すると解析がうまく行かないということにな
る。上述したように、従来技術では、システム作成者が
最初に設定した文の切れ目しか許されない。それ以外の
場合は、例えば、文の切れ目であるという決まりの記号
連続等を入れるということになるが、非常に大変な労力
が必要である。ところで、文の切れ目の約束は、文章ご
とに決まっているといってよい。したがって、同じ英語
の文章でも、手紙の文と、マニュアルの文では、文の切
れ目とすべきものが異なっているのが悴通である。

且−一眞 本発明は、上述のごとき実情に鑑みてなされたもので、
特に１文の切れ目を示す複数の記号連続を使用者が文章
の種類に合わせて、自由に設定できるようにすることに
よって１文の切れ目をまちがえるがために解析に失敗す
るといったことをなくすことを目的としてなされたもの
である。

盪−一双 本発明は、上記目的を達成するために、文分割装置にお
いて、解析する言語の入力手段と、文末パターンを登録
する手段と、登録した文末パターンを用いて、入力され
た解析対象言語を文に分割する文分割手段とを有するこ
と、あるいは、さらに、文末コードをもつ入力文を解析
する言語の解析手段を有し、前記文分割手段において入
力言語を文に分割した後に解析を行うようにした言語解
析装置を特徴とするものである。以下、本発明の実施例
に基づいて説明する。

第１図は、本発明の一実施例を説明するための全体構成
図で、同図は、英語の解析装置に本解析装置を応用した
例を示す、第１図において、１は入力ファイル、２はキ
ーボード等の手操作入力部。

３は入力装置、４は文末パターンファイル、５は文末パ
ターン登録部、６は文末パターンバッファ、７は文末認
定部、８は文末判定部、９は言語解析部、１０は字類照
合用テーブル、１１は制御部、１２は解析結果の出力端
で、点線内は文分割部である。

第２〜４図は、第１図の動作説明をするためのフローチ
ャートで、以下、このフローチャートに従って説明する
。

言語解析装置が起動されると（第２図５ＴＡＲＴ）、文
末パターンファイル４をアクセスし、言語解析システム
中の文末パターンバッファ６に登録する。

言語解析システム起動の際のパラメータとして、文末パ
ターンファイルの名称を与えることができるようにして
、所望の文末パターンファイルを用いることができるよ
うに構成しである。これは、例えば、翻訳エディタと言
ったものを用いる際は、起動の際のパラメータとして与
えることも可能であるし、また、翻訳エディタ中の一機
能として、文末パターンファイルを与えることもできる
。

文末パターンファイル４は、文末パターンと、それに対
応する文末位置指定をペアとするレコードの集合として
構成されている。したがって、言語解析システムでは、
文末パターンファイルの一レコードを−パターンとして
、レコード数だけのパターンを登録できるようにしであ
る。

文末パターンは、英語の場合では、アルファベット；句
読点；空白；改行；大文字；小文字等を表わすことので
きる文字、あるいは、文字連続の並びとして表わされる
。例えば、第１表のように約束しておく。文末位置指定
は１文末パターン上の何文字目の後ろに文末を設定する
かを指定するものである。文末パターンの直前に文末を
設定する場合は、Ｏとなる。

第１表 文末パターンと１文末位置指定の間には、タブコードが
あるものとしている。したがって、文末パターンファイ
ルのルーコードは、「文末パターン（ＴＡＢ）文末位置
指定（改行）」の形式であられされ、例示すると第５図
に示すようにあられされる。図中、ムは、タブコードを
示す。

言語解析システムを起動すると（第２図５ＴＡＲＴ）　
。

パラメータで指定された文末パターンファイルをオープ
ンする（第２図５ｔｅｐ２）。次いで、文末パターンフ
ァイルから、−行ずつ読み取り（第２図５ｔｅｐ２）、
ファイルの終りでなければ（第２図５ｔｅｐ２）、タブ
までの部分を文末パターンとして登録しく第２図５ｔｅ
ｐ４）、それに対応する文末位置指定を数値として文末
パターンバッファ６に登録する（第２図５ｔｅｐ５）。

このとき、文末パターンの最後には、ヌル（Ｎｕｌｌ）
コードを入れるものとする。これを、文末パターンファ
イルの終了まで繰り返す。第６図は、このようにして作
られた文末パターンバッファの例である。図中、　ｒ（
）Ｊはヌルコードを意味する。従来は、これらのパター
ンを固定的にシステムに組み込んで処理するか、あるい
はプログラム的に固定的な処理を行なっていた。

文末判定部８は、入力手段３から、入力を入力バッファ
に受は取ると、入力バッファ中の現文字位置を記憶しく
第３図５ｔｅｐｌ）、−文字ずつ、文末パターンの１文
字目と等しいか（あるいは、同じ類に属するか）を検査
する（第３図５ｔａｐ２）。第３図５ｔｅｐ２の詳細を
第４図に示す、文末パターンの文字が（Ｎｕｌｌ）なら
ば照合は成功とし、Ｎｕｌｌでなければ（第４図５ｔｅ
ｐｌ）、文末パターン現在設定の文字が￥であるかどう
かを調べる（第４図５ｔｅｐ２）。￥であれば次の文字
をとり（第４図３ｔｅｐ５）、字類照合用テーブル１０
用いて同じ類に属するかどうかの検査を行なう（第４図
５ｔｅｐ６）　ｏ字類照合用テーブルは、第７図に示す
ように￥を伴う記号に属する内容か記述されている。字
類中の字であれば、文末パターンを２文字、入力文字（
バッファ）を１文字進め、５ｔｅｐｌにもどる。１文字
目がどの文末パターンとも合致しない場合は、その文字
がそのまま。

言語解析部に送られ、次の文字に進める。−文字目が、
合致しないパターンについては、その入力バッファ上の
位置を記憶し、２文字目以降も同様に検査し、パターン
が、ヌルコードに達した場合に１文末認定を行なう。全
てのパターンについて、失敗した場合は、その文字をそ
のまま言語解析部に送り、次の文字に進める（第３図５
ｔｅｐ３）。

文末認定部７では、記憶しておいた、入力バッファ上の
文字から、文末位置指示領分だけの文字を言語解析部９
に送る。そして、予め言語解析部側で定めである、文末
コードを送る。（本システムでは、￥ｑｌの３文字の連
続としである。）入力バッファ中のその後の１文字を無
条件で言語解析部に送り、その次の文字から、再び、文
末判定部８の処理を続ける９ 入力がつきた場合も、言語解析部側で定めた文末コード
を送り１文末判定部・文末認定部の処理を終了する。

言語解析部９では、入力の先頭及び、直前の文末コード
の直後から１次の文末コードまでを１文として、文の解
析を繰り返し行なう。たとえば、特開昭８２−２６７８
７２〜３号公報に示した言語解析装置を利用することが
できる。また、文分割装置を、上記言語解析装置中の形
態素解析部として構成することも同様非常に簡単である
。文末コードは、文をくぎる役割りだけを示し、解析対
象からは除かれるように構成しておく。これは、文を単
位に解析を進める解析システムでは、非常に簡単に実現
できる。解析方法は５文を単位とする解析方法であれば
１文脈自由文法を用いたものであろうが、格文法や、拡
張遷移網を用いたものでもかまわない。

本システｔ１は、構成の簡単な文解析システムとして構
成しているが、それだけではなく、言語解析部は、文末
コードを抽象的な文末位置と認識できるように構成され
たものならどんなものでも可能である。

たとえば、第５図のような文末パターンがＳ＆Ｂされて
いたとき、 Ｉ　ｈａｖｅ　ａ　ｂｏｏｋ；　Ｂｕｔ　Ｉ　ｄｏｎｔ
’ｔ　ｈａｖｅ　ａ　ｂｏｏｋ；ｅｓｐｅｃｉａｌｌｙ
　ａ　ｇｏｏｄ　ｂｏｏｋ。

という文章が入力されたとする。

最初のｂｏｏｋの後の；は、次が大文字であるので、文
末であると認識され、次のｂｏｏｋ；は、次が小文字で
あるので文末でないと認識される。

したがって、構文解析部は、 Ｉ　ｈａｖｅ　ａ　ｂｏｏｋ；￥ｑ］　Ｂｕｔ　Ｉ　ｄ
ｏｎ’ｔ　ｈａｖｅ　ａ　ｂｏｏｋ；ｅｓｐｅｃｉａｌ
ｌｙ　ａ　ｇｏｏｄ　ｂｏｏｋ、￥ｑ］という形で送ら
れる。

構文解析部は、Ｉ　ｈａｖｅ　ａ　ｂｏｏｋ；ＢｕＬ　
Ｉ　ｄｏｎ’ｔ　　ｈａｖｅ　ａ　ｂｏｏｋ；ｅｓｐｅ
ｃｉａｌｌｙ　　ａ　　ｇｏｏｄ　　ｂｏｏｋ。

という２文として解析を行ない、正しい結果を得ること
が可能になる。

とくに、文章作成者や、文書の種類によって、用法の異
なる、コロン・セミコロン等の解析に非常に有効に働く
。

翻訳エディタ中の一機能として、実現する場合には、文
末パターンファイルが指定される度に、直前までの文末
バッファをクリアし５文末バッファへの新たな登録を行
なうようにする事によっても容易に実現できる。

本実施例では、文末パターンファイルは、テキストファ
イルで構成され、その変更等は、一般のエディタ等を用
いることを前提にしている。しかし、翻訳エディタ等で
は、文末パターンを登録・変更するようにすることも、
文末パターンファイルが、テキストファイルとして構成
されているので、容易に実現可能である。

また、文末パターンファイルを、言語解析システム上で
利用しやすい形に構成し、翻訳エディタ（あるいは、文
末パターンの構成の合わせた文末パターンエディタ等）
で直接変更するように構成することも可能である。

本実施例は、英語の解析装置を例として取り上げたが、
文末パターンに登録できる字類等を適当に設定すること
によって、日本語の解析や、他の言語の解析装置にも容
易に応用できる。

勢−一層 以上の説明から明らかなように１本発明によると１文章
によって異なる文末のパターンに動的に対応できるため
に、自然言語解析に際して、言語解析の単位である文に
、文章のフォーマット等に応じて、正しく分割すること
が容易に可能になる。

したがって、文章の解析の効率が非常に向上し、システ
ムの要求する文末パターンに前編集等を用いて、文の編
集を行なう必要がなくなるので、自然言語解析や機械翻
訳の前処理を軽減することができる。また、同種の文章
には、−度作成した文末パターンが有効であるので、同
種の文の大量の機械翻訳や、継続的な翻訳等に際して、
より一層の効果がある。

【図面の簡単な説明】

第１図は、本発明の一実施例を説明するための全体構成
図、第２図乃至第４図は、第１図の実施例の動作を説明
するためのフローチャート、第５図は１文末パターンフ
ァイルの一例を説明するための図、第６図は、文末パタ
ーンバッファの一例を説明するための図、第７図は、字
類照合用テーブルの一例を説明するための図である。 ３・・・入力装置、４・・・文末パターンファイル、６
・・・文末パターンバッファ、７・・・文末認定部、８
・・・文末判定部、９・・・言語解析部。 第 ］ 図 第 図 第 図 第 区

Claims (1)

1. 【特許請求の範囲】 １、解析する言語の入力手段と、文末パターンを登録す
   る手段と、登録した文末パターンを用いて、入力された
   解析対象言語を文に分割する文分割手段とを有すること
   を特徴とする言語解析装置。 ２、解析する言語の入力手段と、文末パターンを登録す
   る手段と、登録した文末パターンを用いて、入力された
   解析対象言語を文に分割する文分割手段と、文末コード
   をもつ入力文を解析する言語の解析手段とを有し、前記
   文分割手段において入力言語を文に分割したのちに解析
   を行うことを特徴とする言語解析装置。