JPH10187185A - 言語処理装置および方法 - Google Patents

Abstract

(57)【要約】 【課題】 言語評価を行う際に、余分な計算を必要とせ
ずに未探索部分の言語スコアも精度良く予測して、探索
空間を大幅に削減する。 【解決手段】 ＬＲ表記憶部２０は、入力された文字列
と構文を解析した結果とを対応させるための情報と、適
用する書き換え規則に対応する言語評価のスコアと、各
状態に対してその状態以降に発生する評価スコアの予測
値とを記録する。構文解析部１２はＬＲ表を参照して構
文解析を行う。言語スコア計算部１４はＬＲ表を参照し
て構文解析により生じるスコアを算出する。候補記録部
３０では、処理中の候補の情報、言語スコア計算部１４
が出力する評価スコアおよびＬＲ表記憶部２０から読み
出した予測スコアを記録する。構文解析制御部１３は候
補記録部３０のデータを参照して解析を進める候補を決
定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、文節や文など一つ
以上の単語から構成される言語単位（以下では文）を、
確からしさのスコアを利用しながら高速に構文解析およ
び言語的な評価をする技術に関する。

【０００２】

【従来の技術】音声認識や文字認識、自動翻訳、意味解
析などにおいては、言語解析を行ない、構文解析や言語
的な確からしさなどの評価を必要とする。構文解析の結
果は、その言語の文として正しいかどうかを判定する。
また必要に応じて、文として正しいと判定したならば、
その言語構造を解析する。言語的な確からしさは、その
言語に属する文としてどの程度確からしいかという評価
であり、一般には数値スコアで評価することが多い。音
声認識や文字認識など複数の解析を同時に進める場合
や、自然言語における曖昧性を多分に含んだ言語を処理
する場合には、解析の結果として複数の候補が生じる。
特に、音声認識や文字認識などのように多数の認識結果
が生じるような場合には、すべての認識結果について言
語的評価をするのは現実的ではない。このような場合で
は、途中のスコアに応じて結果として見込みの少ないも
のを消去したり、スコアの良いものを優先して解析を進
めるなどの方法を取ることで、高速に処理を進めるよう
に目指している。

【０００３】とくに、音声認識の分野においては、認識
の過程で多数の解析すべき言語候補が発生するので、高
速に言語処理をする方法が求められている。

【０００４】音響学会平成８年春季研究発表会講演論文
「音節グラフの文脈自由構文解析におけるＡ＊探索の検
討」において、阿部芳春・中島邦男は、音響処理の結果
出力された音節の有向グラフを文脈自由構文解析をする
場合に、Ａ＊アルゴリズムを利用する方法を開示してい
る。Ａ＊アルゴリズムとは、最良優先探索を実現するア
ルゴリズムである。最も評価の良い候補から順番に探索
を進める際に、探索が終了した部分のスコアに未探索部
分のスコアの推定スコアを加えたスコアによって最も評
価の良いスコアを決定する。この時に推定されたスコア
が、最終的に決定するスコアよりも常に良い方向に推定
されていれば、認容可能条件を満たしているといい、最
も良いスコアの解が見つかることが保証される。Ａ＊ア
ルゴリズムにおいて、予測スコアの算出に多大な時間を
必要とせずに、最終的なスコアを精度良く予測できる方
法があれば、効率的な探索が実現できる。

【０００５】別な技術として、音声認識において音響的
な照合による音響スコアと、言語的な評価による言語ス
コアを用いて、候補の評価を行うための評価スコアを算
出する場合に、評価を行っていない部分の一部の言語ス
コアを利用する技術が、特開平７−２９５５８７号公報
において開示されている。単語単位の基準信号を木構造
で構築しておき、その木構造の各ノードに、そのノード
よりさらに照合を進めた結果として確定する可能性のあ
る単語が受理された時に発生する言語スコアを計算して
おき、あらかじめそのノードに付加して記録しておく。
検査信号と基準信号の照合を行なう時に、ノードに記録
されたそのスコアを利用すると、候補の比較をする評価
スコアが正確なスコアに近くなるので、枝刈りの基準を
厳しくできる。しかも、ノードに記録する言語スコアの
計算はあらかじめ行うので、認識処理時にはそのスコア
を参照するだけであり、認識処理時の計算の負荷をそれ
ほど増加させることがない。このように、探索が済んで
いない部分のスコアの推定値である予測スコアをあらか
じめ計算をしておくことで、枝刈りの基準をより厳しく
して、有効な候補の数を削減できる。

【０００６】

【発明が解決しようとする課題】以上のように、言語処
理を進める時にその膨大な探索空間を削減する方法とし
て、ビーム探索や最良優先探索がよく利用されている。
ビーム探索や最良優先探索において、その枝刈り基準や
最良候補の決定をするためのスコアの精度は重要であ
る。音声認識の中でも最初に音響的な照合を行い、その
結果に対して次に言語的な評価を行なう場合には、言語
的な評価の中で、それまでに評価の済んだ部分の評価ス
コアとともに、音響処理の結果を予測スコアとして利用
してスコアの精度をより高める技術は存在する。しか
し、未探索部分の言語スコアの推定値（予測言語スコ
ア）は予め用意されていないので、そのままでは、予測
言語スコアを利用することはできない。したがって評価
スコアの精度は十分でなく、探索空間を大きく削減でき
ない。予測言語スコアを解析中に算出すれば、予測言語
スコアを利用できるけれども、その処理に余分な時間を
必要としてしまい、探索空間を削減する効果を減らして
しまう。

【０００７】一方、前に示した特開平７−２９５５８７
号公報において開示された技術によると、その時照合し
ている単語が仮りに確定したならば発生するであろう言
語スコアを、確定する前にあらかじめ算出しておく方法
が開示されている。しかし、この技術では、その時に照
合している単語が確定した時に新たに発生するスコアの
みを予備計算できるにとどまっている。複数の単語が連
なって文などを形成している場合には、照合している単
語以後の単語に対して言語スコアを予測することはでき
ない。これでは十分な精度を期待できないので、探索空
間を大幅に減らすことは困難である。

【０００８】上述したように、構文解析およびそれに伴
う言語処理を進めるにあたって、解析が進んだときに発
生する予測言語スコアを処理中に時間をとられずに獲得
する方法は開示されていない。したがって、処理の精度
を落とすことなしに、言語処理の探索空間を大幅に削減
することは困難であった。

【０００９】本発明は、このような事情を考慮してなさ
れたものであり、処理に余分な時間をかけることなく予
測言語スコアを得ることができるようにすることを目的
としている。

【００１０】

【課題を解決するための手段】本発明によれば、チャー
ト方式や、（一般）ＬＲ方式や、有限状態オートマトン
などを利用して構文規則を行いながら言語評価を進める
時に、すべての構文規則の解析状態、あるいは特に必要
とする一部の解析状態に対して、後続できる言語列をあ
らかじめ予測しておく。その予測された言語列に伴う言
語スコアを算出しておき、予測言語スコアとして最も適
切な値を解析状態に対応させて記憶させておく。解析状
態とは、チャート方式ではエッジ、ＬＲ方式ではＬＲ表
の行もしくはスタックの状態、有限状態オートマトンで
は状態などである。そして言語評価を行う際に、その時
の構文解析の状態から対応する予測言語スコアを参照す
ることで、新たに計算することなく予測言語スコアを得
られる。この予測言語スコアを、ビーム探索の枝刈り評
価に利用したり、最良優先探索のヒューリスティックス
コアに利用することで、探索を効率よく進められる。

【００１１】さらに、あらかじめ予測する言語スコア
が、実際に評価を進めたときに得られるスコアよりも、
同じ、もしくはより良い評価になることが保証されてい
る場合には、その予測スコアを利用した最良優先探索が
認容可能条件を満たす探索になる。この時に、最も良い
評価の解が見つかることが保証されるという利点があ
る。言語スコアの絶対値が少ないほど良いスコアである
時に、接続する語彙項目が増えれば増えるほどスコアの
絶対値が増大するような体系がよく利用される。このよ
うに、語彙項目の接続が長くなるほどスコアが悪くなる
体系においては、あらかじめ予測スコアを計算するとき
に全探索をすることで、最も良い予測スコアをあらかじ
め決定することができる。この最も良いスコアを予測ス
コアとして、解析状態に対応させて記憶させておき評価
時に予測スコアとして利用することで、評価が終わった
実際のスコアと同じかもしくはそれよりも良い評価にな
る。

【００１２】ここで利用できる言語スコアには様々なも
のがある。音節などの音のつながりに関するｎ−ｇｒａ
ｍなどの統計情報や、単語や形態素などの語彙項目のつ
ながりに関するｎ−ｇｒａｍなどの統計情報や、長い語
彙項目ほど有利にする経験的に与えるスコアや、語彙項
目や品詞などに固有な経験的に与えるスコアや、書き換
え規則などの表現による構文規則に統計的もしくは経験
的に与えるスコアなど、が利用できる。これらの知識源
はそれぞれ単独で利用しても良いし、複数を組み合わせ
ることも可能である。複数を組み合わせるときには、各
知識源のスコアを各々別々のある定数を乗じた後に、和
をとる方法を利用すると計算が容易であり、最良優先探
索にも適合しやすい。また、ここであげた知識源のスコ
ア体系は、いずれも接続する語彙項目が増えるほどスコ
アが悪くなるような体系にできる。すなわち、認容可能
な最良優先探索を実現できる。

【００１３】

【発明の実施の形態】以下、本発明の実施例について説
明する。 ［実施例１］図１は、本発明の実施例１の言語処理装置
の構成を示しており、図１において、言語処理装置は言
語処理制御部１０、ＬＲ表記憶部２０および候補記憶部
３０等からなっている。また言語処理制御部１０は構文
解析部１２、構文解析制御部１３および言語スコア計算
部１４等を具備し、ＬＲ表記憶部２０のＬＲ表を参照し
ながら、入力された文字列を解析する処理の流れを制御
する。図２は本実施例におけるＬＲ表の内容を示す。Ｌ
Ｒ表は、入力された文字列と構文を解析した結果とを対
応させるための情報と、適用する書き換え規則に対応す
る言語評価のスコアと、各状態に対してその状態以降に
発生する評価スコアの予測値とを記録する。ＬＲ表を作
成するためには、あらかじめ書き換え規則の形で与えら
れた構文規則を用意しておき、この規則をコンパイルす
ればよい。また、各書き換え規則には、規則ごとにその
規則を適用する頻度や重要性、文としての自然さなどの
条件に応じてスコアを割り当てる。ここでは、適用しや
すい規則ほど低い値を持ち、あまり適用したくない規則
には高い値を割り振るようにしておく。一般には、規則
が適用される確率を求めて、その対数の絶対値をとるこ
とで上記の条件を満たすスコアを算出することができ
る。規則が適用される確率は、サンプルとなる文章の集
まりをそれらの規則で解析して、解析に利用した各規則
の回数に応じて算出できる。算出されたスコアは、ＬＲ
表の中の各書き換え規則に対応するリデュース番号とと
もにスコアの表に記入しておく。また、ＬＲ表の各状態
における評価スコアの予測値は、その状態から文の最後
に到達するまでに適用するリデュース操作によって発生
するスコアの予測値である。この予測スコアを算出する
処理の流れについては後述する。

【００１４】構文解析部１２はＬＲ表を参照して構文解
析を行う。言語スコア計算部１４はＬＲ表を参照して構
文解析により生じるスコアを算出する。候補記録部３０
では、処理中の候補の情報、言語スコア計算部１４が出
力する評価スコアおよびＬＲ表記憶部２０から読み出し
た予測スコアを記録する。構文解析制御部１３は候補記
録部３０のデータを参照して解析を進める候補を決定す
る。

【００１５】実施例１における言語処理のフローチャー
トを図３に示す。まず、処理をする文字列に対して、構
文解析の初期状態の候補を一つ用意する（ステップＳ１
０１）。次に、最初の入力文字を先読み記号として読み
込む（ステップＳ１０２）。初期状態の候補と読み込ん
だ先読み記号に対して、ＬＲ表を参照する（ステップＳ
１０３）。ＬＲ表を参照した結果として、各候補におけ
る先読み記号に対する操作が可能ならば、その操作を行
って新しい候補を作成する（ステップＳ１０５）。この
結果として新しい候補が作成されなかったらば、構文解
析に失敗したことを示す（ステップＳ１０４）。構文解
析に失敗したら、結果を出力して終了する（ステップＳ
１０９）。失敗せずに新しい候補が残ったならば、その
候補に対してスコア評価を行う（ステップＳ１０６）。
スコアの評価は、ＬＲ表を参照したときにリデュース操
作を行った候補に対して、それまでの候補の評価スコア
に、リデュース操作に対応するスコアを加算する。リデ
ュース操作に対応するスコアは、ＬＲ表の中のリデュー
スの部分にスコアを記録してあるので、それを読み込
む。そして、新たなＬＲ表における状態に対してその予
測スコアを読み込む。予測スコアは、ＬＲ表の中のアク
ション表の部分に記録してあるので、それを読み込む。
評価スコアと予測スコアが新たに計算された後に、それ
らの合計スコアが、最もスコアの良い候補のスコアよ
り、あらかじめ決められた値以上の差を持っている候補
は削除する（ステップＳ１０７）。削除された候補は以
後、処理されることはない。ステップＳ１０２からステ
ップＳ１０７までの操作を、最後の入力文字まで到達す
るか、もしくは解析に失敗するまで行う。最後の入力文
字に対して処理を終了した時点で、最も評価スコアが良
い候補を認識結果として出力する（ステップＳ１０
９）。

【００１６】ＬＲ表に記録しておく各状態からの予測ス
コアを算出する処理のフローチャートを図４に示す。ま
ず、構文解析するための状態を一つ取り出す（ステップ
Ｓ２０１）。本実施例では、対象とする状態はＬＲ表の
行に対応する状態である。取り出した状態から、次に遷
移可能な状態をすべてリストアップする（ステップＳ２
０２）。遷移可能なすべての状態に対して、その遷移の
際に発生する言語的スコアを加えて、元の状態からその
状態へ遷移するのに必要なスコアを計算する（ステップ
Ｓ２０３）。ステップＳ２０２とステップＳ２０３の操
作を、適切な予測スコアが見つかったと判断されるまで
繰り返す（ステップＳ２０４）。本実施例ではスコアの
絶対値が小さければ小さいほど良いスコアであり、か
つ、構文解析の状態をたどるほどスコアが悪化するよう
に設定されているので、適切な予測スコアが見つかった
と判断される場合には、以下の三つが存在する。第１の
場合は、構文解析終了として受理できる状態に達した解
析の候補ができて、その予測スコアが他の解析を継続し
ている候補のスコアとそれまでに受理に到達した候補の
予測スコアのいずれもより小さい値となっている場合で
ある。第２の場合は、解析を継続している候補のスコア
が増大して、すでに受理できる状態に達した予測スコア
の候補よりも悪くなった場合である。第３の場合は、解
析している候補が無くなった場合である。ステップＳ２
０４において予測スコアが見つかったと判断されたとき
は、見つかった予測スコアを対応する記録すべき場所へ
記録する（ステップＳ２０５）。また、適切な予測スコ
アが見つけられていないと判断した場合には、ステップ
Ｓ２０２へ戻って探索を進める。ステップＳ２０１から
ステップＳ２０５までの操作を、すべての状態に対して
行ったら処理は終了する。上記の処理の中で、ある状態
に対する予測スコアを算出するときに、受理に至るまで
に経由する別の状態の予測スコアがすでに算出されてい
ていれば、その予測スコアを利用することで計算量を減
せらせる。

【００１７】［実施例２］次に最良優先探索を適用した
本発明を音声認識の言語処理に利用した実施例２につい
て説明する。図５は実施例２の構成図であり、図５にお
いて、音韻認識部６０は、入力された音声を信号処理し
て、ＨＭＭ（隠れマルコフモデル）などで表現された音
節レベルの音声モデルと照合して、音節やモーラおよび
音素を単位として音声を認識する。本実施例では認識さ
れた結果は、モーラをアークとするネットワーク表現
（以下モーラグラフ）によって表現する。モーラグラフ
による音韻認識部の出力は図６に示すようなものであ
る。言語処理制御部１１は、モーラグラフを入力とし
て、辞書記憶部２２、ＬＲ表記憶部２１、候補記録部３
１、スコア計算部４０、言語知識源５０とともに言語的
評価を行い、評価の結果にしたがって音声認識の認識結
果を出力する。辞書記憶部２２は、モーラの並びがどの
ような形態素を構成しうるのかという情報を持つ。ＬＲ
表記憶部２１は、どのような形態素のならびが文として
受理できるかの情報をＬＲ表の形式にコンパイルした情
報を記憶している。候補記録部３１は、探索中の候補の
情報を保持する。言語知識源５０は、言語的にどの程度
もっともらしいかの情報を保持している。本実施例では
言語知識源として、モーラのモノグラム（ ｍｏｎｏ−
ｇｒａｍ）、バイグラム（ｂｉ−ｇｒａｍ）、トライグ
ラム（ｔｒｉ−ｇｒａｍ）と、形態素のモノグラム、バ
イグラム、トライグラム、および品詞の最小コスト法を
利用する。モーラおよび形態素のモノグラム、バイグラ
ム、トライグラムは、あらかじめテキストデータに含ま
れるモーラおよび形態素のならびの数を計数しておき、
統計的に与えておく。品詞の最小コストは、認識結果が
良くなるように品詞ごとにコストを経験的にあらかじ与
えておく。スコア計算部４０は、言語知識源５０を参照
して探索中もしくは探索終了した候補の評価スコアを計
算する。

【００１８】実施例２の言語処理制御部１１の処理の流
れを図７にフローチャートで示す。まず、音韻認識部６
０の出力するモーラグラフを受け取る（ステップＳ３０
１）。次に、初期状態の候補を生成して候補記録部３１
で記録させる（ステップＳ３０２）。本実施例の初期状
態の候補とは、形態素が一つも受理されていなくて、到
達ノードをモーラグラフの開始ノードとし、評価スコア
が０の候補である。そして、候補記憶部３１に記憶され
ている候補の数を調べて、０個ならば処理は終了する
（ステップＳ３０３）。ただし、最初はステップＳ３０
２で候補を生成しているので候補が０個ということはな
い。次に、最も良いスコアの候補を一つ取り出す（ステ
ップＳ３０４）。ここで最も良いスコアとは、それまで
の評価スコアと予測スコアの和が最も小さいスコアのこ
とである。取り出した候補が解として成立していれば、
その候補を認識結果として出力する（ステップＳ３０
５、ステップＳ３０６）。候補が解として成立している
とは、到達ノードがモーラグラフの終了ノードまで達し
ていて、かつ構文解析が受理可能であることである。出
力した認識結果は、出力する度にディスプレイに表示し
ても良いし、まとめて記憶しておき言語処理制御部１１
の一つの発話に対する処理が終了した時点でまとめて表
示しても良い。出力した解の数が１個あるいは５個など
のようにあらかじめ決められた数に達したら、そこで処
理は終了する（ステップＳ３０７）。解の数が決められ
た数に達していない場合は、ステップＳ３０３へ行き次
の候補へ処理が移る。ステップＳ３０５において候補が
解でないと判定された場合は、その候補の到達ノードか
らモーラグラフの上で辞書照合を行う（ステップＳ３０
８）。ステップＳ３０８において複数の形態素が照合に
成功したら、それぞれの結果に対して照合に成功した形
態素、およびその品詞、モーラグラフ上の到達ノード、
および到達ノードに付属している音韻予測スコアを記憶
する。次に、ステップＳ３０８で辞書検索に成功した形
態素に対して、ＬＲ表を参照して構文解析を行う（ステ
ップＳ３０９）。ＬＲ表を参照した結果として、解析に
失敗した候補は削除する。解析に成功した候補は、その
構文解析状態とともにその状態における予測言語スコア
を読み出す。構文解析に成功した候補に対して、その候
補のモーラのならび形態素のならびに応じて、スコア計
算部４０にスコアを計算させる（ステップＳ３１０）。
スコア計算部４０は、言語知識源５０を参照して評価ス
コアを計算する。候補記録部３１の中の候補の数と、新
たに作成された候補の評価スコアに応じて、新しく作成
された候補は候補記録部３１に記録される（ステップＳ
３１１）。すでに、候補記録部３１に記憶されている候
補の中で最も良いスコアからある一定の差以上に悪いス
コアの候補、および、スコアの良い順番に候補を並べ
て、あらかじめ決められたある数より順位の悪い候補
を、候補記録部３１から削除する。ステップＳ３０３か
らステップＳ３１１までの処理を、候補記録部３１から
候補がなくなるか、解として出力した候補の数が決めら
れた数より多くなるまで繰り返す。

【００１９】予測スコア算出の処理の流れは、上述実施
例１に準じる。ただし、各種の知識源のスコアをまとめ
た点を評価するのが実施例１とは異なる。

【００２０】

【発明の効果】以上説明したように、本発明によれば、
言語評価を行う際に、余分な計算を必要とせずに未探索
部分の言語スコアも精度良く予測できるので、その予測
スコアを利用して探索空間を大幅に削減する。したがっ
て、言語評価の処理時間を大幅に短い時間で行うことを
可能とする。特に、音声認識や文字認識の結果などのよ
うにあいまいさがあり、探索空間が広い時において、処
理を高速化するのに高い効果を示す。

【図面の簡単な説明】

【図１】 本発明の実施例１の構成を示すブロック図で
ある。

【図２】 実施例１における予測スコアを含むＬＲ表の
例を説明する図である。

【図３】 実施例１の動作を説明するフローチャートで
ある。

【図４】 実施例１における予測スコアの算出動作を説
明するフローチャートである。

【図５】 本発明の実施例２の構成を説明するブロック
図である。

【図６】 実施例２におけるモーラグラフの１例を説明
する図である。

【図７】 実施例２の動作を説明するフローチャートで
ある。

【符号の説明】

１０、１１ 言語処理制御部 １２ 構文解析部 １３ 構文解析制御部 １４、４０ 言語スコア計算部 ２０、２１ ＬＲ表記憶部 ３０、３１ 候補記憶部 ６０ 音声認識部

Claims (6)

【特許請求の範囲】
1. 【請求項１】 構文解析とともに言語評価を行う言語処
   理装置において、 構文解析を行う構文解析手段と、 構文解析の時に取り得る解析状態に対して、その解析状
   態から言語単位の最後までの経過において発生する言語
   評価のスコアの予測値を記録する手段と、 構文解析中の各処理に対して言語評価のスコアを発生す
   る手段と、 到達した解析状態について、当該解析状態に到達するま
   でに発生した言語評価のスコアと、当該解析状態のスコ
   アの予測値とに基づいて、上記構文解析手段を制御する
   構文解析制御手段とを有することを特徴とする言語処理
   装置。
2. 【請求項２】 上記構文解析制御手段は、到達した解析
   状態について、上記言語評価のスコアと上記スコアの予
   測値との和が悪く評価される場合に、上記解析状態以降
   の構文解析処理を行わないようにした請求項１記載の言
   語処理装置。
3. 【請求項３】 上記構文解析制御手段は、上記言語評価
   のスコアと上記スコアの予測値との和が良く評価される
   順に、上記解析状態以降の構文解析処理を継続する請求
   項１記載の言語処理装置。
4. 【請求項４】 構文解析の所定の解析状態から予測でき
   る最もよい予測値を、その解析状態に対応させて記録す
   る予測値とする請求項３記載の言語処理装置。
5. 【請求項５】 音声認識手段を具備し、上記音声認識手
   段による音声認識結果について上記構文解析と言語評価
   とを行う請求項１、２、３または４記載の言語処理装
   置。
6. 【請求項６】 構文解析とともに言語評価を行う言語処
   理方法において、 構文解析を行うステップと、 構文解析の時に取り得る解析状態に対して、その解析状
   態から文の最後までの経過において発生する言語評価の
   スコアの予測値を記録するステップと、 構文解析中の各処理に対して言語評価のスコアを発生す
   るステップと、 到達した解析状態について、当該解析状態に到達するま
   でに発生した言語評価のスコアと、当該解析状態のスコ
   アの予測値とに基づいて、上記構文解析を行うステップ
   を制御するステップとを有することを特徴とする言語処
   理方法。