JPH06332940A - 用例主導型自然言語解析装置 - Google Patents

用例主導型自然言語解析装置

Info

Publication number
JPH06332940A
JPH06332940A JP5122442A JP12244293A JPH06332940A JP H06332940 A JPH06332940 A JP H06332940A JP 5122442 A JP5122442 A JP 5122442A JP 12244293 A JP12244293 A JP 12244293A JP H06332940 A JPH06332940 A JP H06332940A
Authority
JP
Japan
Prior art keywords
input
likelihood
natural language
partial
sentence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5122442A
Other languages
English (en)
Other versions
JP2796690B2 (ja
Inventor
Eiichiro Sumida
英一郎 隅田
Kura Furuse
蔵 古瀬
Hitoshi Iida
仁 飯田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
A T R JIDO HONYAKU DENWA KENKYUSHO KK
Original Assignee
A T R JIDO HONYAKU DENWA KENKYUSHO KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by A T R JIDO HONYAKU DENWA KENKYUSHO KK filed Critical A T R JIDO HONYAKU DENWA KENKYUSHO KK
Priority to JP5122442A priority Critical patent/JP2796690B2/ja
Publication of JPH06332940A publication Critical patent/JPH06332940A/ja
Application granted granted Critical
Publication of JP2796690B2 publication Critical patent/JP2796690B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Machine Translation (AREA)

Abstract

(57)【要約】 【目的】 曖昧な入力文に対して用例を参照して最尤の
構造を出力できる用例主導型自然言語解析装置を提供す
る。 【構成】 入力部1から自然言語の文を入力し、解析部
2で入力文を入力構造に写像し、尤度計算部3で複数の
入力構造の尤度を計算し、計算された尤度に従って最尤
の入力構造を選択部4により選択し、出力部5に出力す
る。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は用例主導型自然言語解
析装置に関し、特に、機械翻訳システム,情報検索シス
テム,質問応答システムなどで用いられ、曖昧な文に対
して最適な構造を簡易な方法により高い精度で選べるよ
うな用例主導型自然言語解析装置に関する。
【0002】
【従来の技術】計算機による言語処理システムは、ます
ますその需要が高まり、研究開発が盛んに行なわれてい
る。最近では、機械翻訳システムは情報検索システムや
質問応答システムなどの多様な分野で商品化も行なわれ
るようになってきた。
【0003】
【発明が解決しようとする課題】計算機による言語処理
システムの必須要素である言語解析装置には、従来、共
通の大きな問題点があった。すなわち、曖昧な文に対し
て最適な構造を高い精度で選べないことである。たとえ
ば、前置詞句の係り先は、構造的曖昧性を引起こす典型
的な例である。
【0004】 I present a paper at the conferenc
e. この例文の前置詞句「at the conference 」は、動詞
「present 」,名詞「a paper 」の両方を修飾し得る。
一般に、前置詞句の係り先は、文法規則による従来の解
析装置では一意に決定することが困難である。計算機処
理では、ある前置詞の係り先が複数可能な場合でも、人
間は、通常、係り先の尤もらしさを判定できる。この例
では、前者の方が自然な係り先である。
【0005】現在広く行なわれている手法は、文法規則
や辞書に意味マーカなどを用いて、係り先の優先情報を
指定する方法である。しかし、この手法では、動詞の必
須格は別として、動詞の自由格(たとえば上述の前置詞
句「at the conference 」)や前置詞句が名詞に係る場
合を扱えない。
【0006】一方、近年では、確率文法が盛んに研究さ
れている。この手法は、文法規則適用の最適化をするの
で、前置詞句の曖昧性解消を行なうためには、単語に近
いレベルの細かい文法規則を与える必要がある。このよ
うな細かい文法規則を記述することは容易ではない。さ
らに、もし記述できたとしても、最適化のための学習時
間が膨大になる(計算量は文法のサイズをGとするとO
(G3 )である)。
【0007】構造的な曖昧性の解消に世界知識,ディス
コースモデルを使う手法がある。しかし、この手法に
は、知識作成の困難さ,処理の重さなどの問題があり、
現実の文章を処理できるものは存在しない。
【0008】それゆえに、この発明の主たる目的は、曖
昧な文に対して最適な構造を簡易な方法により高い精度
で選べるような用例主導型自然言語解析装置を提供する
ことである。
【0009】
【課題を解決するための手段】請求項1に係る発明は、
自然言語の文を入力する入力手段と、入力された入力文
を入力構造に写像する解析手段と、写像された入力構造
が複数得られたときに各構造の尤度を計算する尤度計算
手段と、計算された尤度に従って最尤の入力構造を選択
する選択手段と、選択された最尤の構造を出力する出力
手段とを備えて構成される。
【0010】請求項2の発明では、請求項1の尤度計算
部は、当該自然言語文において頻繁に出現する部分構造
を記憶する用例記憶部と、意味の類似性に基づいて単語
を木の形に整理したシソーラスとをもつように構成され
る。
【0011】請求項3に係る発明では、請求項1の尤度
計算部が入力構造の各部分構造毎に計算する部分尤度に
基づいて全体の尤度を計算する。
【0012】請求項4に係る発明は、請求項3の部分尤
度は、入力部分構造との部分構造間意味距離が最小にな
る用例部分構造を用例記憶部から検索し、その部分構造
間意味距離と検索された用例部分構造の個数とからな
る。
【0013】請求項5に係る発明は、請求項4の部分構
造間意味距離が、入力部分構造,用例部分構造に含まれ
る単語のシソーラスに従って計算される単語間意味距離
に基づいて決定される。
【0014】請求項6に係る発明では、請求項2の用例
記憶部は、部分構造をキーとしてアクセスできるように
構成される。
【0015】請求項7に係る発明では、請求項1の尤度
および部分尤度の計算が解析手段の後処理として実現さ
れるか解析手段に直接組込まれる。
【0016】
【作用】この発明に係る用例主導型自然言語解析装置
は、入力手段から自然言語の文を入力し、解析手段によ
って入力文を入力構造に写像し、入力構造が複数得られ
たときに各構造の尤度を計算し、計算された尤度に従っ
て最尤の入力構造を選択手段によって選択して出力する
ことにより、曖昧な文に対して最適な構造を高い精度で
選択することができる。
【0017】
【実施例】以下の説明では、この発明を英語の解析に適
用した2つの実施例について示す。ここでは、特に、前
置詞の係り受けを扱うが、この発明は用例を収集すれ
ば、他の構造的な曖昧性、たとえば、to−不定詞,関
係節,従属節などの係り受けにも有効である。
【0018】説明を簡単にするために、前述の例文の
前置詞句「at the conference 」の尤もらしい係り先
が、動詞「present 」,名詞「a paper 」のいずれであ
るかを決定する問題を例として扱う。
【0019】図1はこの発明の一実施例の概略ブロック
図であり、図2は図1に示した尤度計算部の具体例を示
す図である。
【0020】まず、入力部1は、キーボードや文字認識
装置や音声認識装置などからなり、文を入力しかつ同時
にその文を単語分割して各単語に品詞などの情報を辞書
に従って付与し解析部2に与える。解析部2は従来の構
文解析やパターンマッチングによる手法などで、入力に
対する可能な構造(入力構造)を生成する。尤度計算部
3は、図2に示すように、用例記憶部6とシソーラス7
とを含み、入力構造のそれぞれの尤度を計算する。この
尤度計算部3はこの発明の特徴部分であり、後で詳細に
説明する。選択部4は尤度計算部3で計算された尤度付
き構造から最尤の構造を選択するものであり、その選択
した最尤の構造を出力部5に出力する。出力部5は表示
装置や印刷装置などからなる。
【0021】前述の尤度計算部3は、入力構造の各部分
構造毎に計算する部分尤度に基づいて全体の尤度を計算
する。部分尤度は、入力部分構造との部分構造間意味距
離(実数値)が最小になる用例部分構造を用例記憶部6
から検索し、その部分構造間意味距離と検索された用例
部分構造の個数(頻度)とからなる。部分構造間意味距
離は、入力部分構造,用例部分構造に含まれる単語のシ
ソーラス7に従って計算される単語間意味距離に基づい
て決定する。ここで、部分尤度決定について詳細に説明
する。
【0022】図3は例文の曖昧な係り先に対応する2
つの入力構造を示したものであり、ここでは説明を簡略
化するために、依存構造表現と呼ばれるのもので表わ
す。図3(a)は動詞「present 」に係る場合に対応
し、図3(b)は「名詞「paper」に係る場合に対応
し、太線で係り受けを示している。尤度計算部3ではこ
の2つの可能性、すなわち、「present 、at、the conf
erence」,「a paper 、at、、the conference」の尤度
を計算する。その際に図2に示した用例記憶部6とシソ
ーラス7の2つを参照する。用例記憶部6は部分構造を
キーとしてアクセスできるように構成されており、ここ
で説明している前置詞の場合は、部分構造は動詞(ある
いは名詞)・前置詞・名詞からなる3つ組である。
【0023】図4は用例記憶部の一例を示す図であり、
特に、図4(a)は動詞に係る場合を示し、図4(b)
は名詞に係る場合を示している。図5はシソーラスの一
部と単語間の意味距離計算を説明するための図である。
【0024】シソーラス7は、単語を共通の意味概念に
従って体系化した辞書のことである。この一部を図5に
示している。単語間意味距離はシソーラス7を使って計
算する。この方法では、単語間意味距離をシソーラス7
上の概念間意味距離によって定義する。概念間意味距離
はシソーラス7における最小の共通上位概念の位置に従
って0から1までの値にする。値0は2つの概念が同じ
であることを意味し、値1は無関係であることを意味す
る。階層数(n+1)なら下から、0,1/n,2/
n,…,1を距離として割当てる。図5のシソーラス7
は(3+1)階層で0,1/3,2/3,1を割当て
る。たとえば、『人間』,『猿』の2つの概念の最小の
共通上位概念は『動物』であり、距離は1/3となる。
したがって、概念『人間』を持つ単語「彼女」と、概念
『猿』を持つ単語「チンパンジー」の距離は1/3とな
る。図5において、d(x,y)は単語(あるいは概
念)x,yの間の意味距離を表わす。
【0025】部分構造間意味距離は、各単語の距離に重
みをかけたものの総和として計算する。入力部分構造I
と用例部分構造Eがそれぞれn個の単語Ik とEk の列
からなるとすると、部分構造間意味距離d(I,E)は
次式で計算される。
【0026】
【数1】
【0027】重みwk は正解率が高くなるように調整す
る必要があるが、ここでは簡単のためにwk =1とす
る。
【0028】次に、入力構造全体の尤度について説明す
る。ここでは、まず、入力文中に前置詞句が1つしかな
い単純な場合を考えると、構造全体の尤度と部分尤度と
が一致する。選択部4がこの比較を行なう。
【0029】次に、具体的な処理について説明する。係
り先の候補数をnとし、係り先の候補(動詞または名
詞)をxi (1<=i<=n)とし、前置詞をpとし、
pの目的語(名詞)をyとする。問題は入力「x1
…,xn ,p,y」に対して「p,y」の最尤の係り先
「xk 」を選ぶことである。例文では、入力は「pres
ent ,a paper ,at,the conference」であり、正解は
「present 」である。 [処理手順] (ステップ1) 次の処理を繰返す(1<=i<=
n)。
【0030】「xi p y」との部分用例間意味距離
を前述の第(1)式に従って計算し、最小距離の用例を
用例記憶部6から検索する。最小距離di と同一距離の
用例の頻度fi を記憶する。
【0031】(ステップ2)di が最小になるxi が1
つしか存在しないならば、xi を係り先として返し終了
する。
【0032】(ステップ3)di が最小になるxi のう
ちでfi が最大になるxi が1つしか存在しないなら
ば、xi を係り先として返し終了する。
【0033】(ステップ4)di が最小になるxi すべ
てを係り先として返し終了する。 具体例1 ステップ2で終了する場合。
【0034】 I present a paper at the conferenc
e. 「present ,at,the conference」の最短距離は0.0
0であり、「a paper,at,the conference」の最短距
離は0.33である。したがって、前者に決定する。 具体例2 ステップ3で終了する場合。
【0035】 We have the next conference at the
hotel. この場合、「have,at,the hotel 」「the next confe
rence ,at,the hotel」の両候補の最短距離は、とも
に0.17となった。前者の最短距離の用例は「hold,
at,hotel 」でその頻度は92件であり、後者の最短距
離の用例は「meeting 、at、hotel 」であり、その頻度
は15件であったので、「at,the hotel」の係り先
は、「have」と判定する。
【0036】上述の手続は、部分用例間意味距離di
同一距離の用例の頻度fi とから計算できる複合尤度、
たとえばdi −fi /10m (mは用例記憶部6の規模
に依存するが、経験的にはm=6で十分である)を最小
にすることとほぼ等価である。
【0037】すべての前置詞の複合尤度の総和に従っ
て、最尤の係り先を決定する。次に、第2実施例につい
て説明する。第2実施例は基本的には第1実施例と同じ
である。相違するのは尤度および部分尤度の計算が、解
析部2に組込まれている点である。文法規則適用時に係
り先候補を抽出し、同時に、部分尤度計算を行なう。
【0038】文法規則は次のようなものが用意される。 (1)VP PP→VP (2)NP PP→NP 入力文は次の例文だとする。
【0039】 I present a paper at the conferenc
e. 文法規則(1)が適用されるときに部分構造「present
、at、the conference」が抽出でき、当該部分構造の
部分尤度計算を行なう。文法規則(2)が適用されると
きに部分構造「a paper 、at、the conference」が抽出
でき、当該部分構造の部分尤度計算を行なう。解析終了
時には、構造全体の尤度が求まる。これ以外の点は第1
実施例と同じである。
【0040】
【発明の効果】以上のように、この発明によれば、自然
言語の文を入力して入力構造に写像し、複数の入力構造
が得られたとき各構造の尤度を計算し、その尤度に従っ
て最尤の入力構造を選択して出力するようにしたの
で、、曖昧な入力文に対して用例を参照して最尤の構造
を出力することができる。しかも、シソーラスを利用す
ることで近似照合が実現でき、用例数が少なくて済む。
さらに、分野毎に用例を用意すれば、分野毎に簡単に調
整できる。また、この手法は任意の言語に適用でき、従
来の多くの解析手法(CFGやパターンマッチングな
ど)に容易に組込むことができる。
【図面の簡単な説明】
【図1】この発明の用例主導型自然言語解析装置の第1
実施例の概要を示すブロック図である。
【図2】図1に示した尤度計算部の概要を示すブロック
図である。、
【図3】曖昧な入力文「I present a paper at the con
ference.」に対する可能な入力構造を示した図である。
【図4】用例記憶部の一部を示す図であり、特に、
(a)は動詞に係る場合を示し、(b)は名詞に係る場
合を示す。
【図5】シソーラスの一部と単語間意味距離計算を説明
するための図である。
【符号の説明】
1 入力部 2 解析部 3 尤度計算部 4 選択部 5 出力部 6 用例記憶部 7 シソーラス
フロントページの続き (72)発明者 古瀬 蔵 京都府相楽郡精華町大字乾谷小字三平谷5 番地 株式会社エイ・ティ・アール自動翻 訳電話研究所内 (72)発明者 飯田 仁 京都府相楽郡精華町大字乾谷小字三平谷5 番地 株式会社エイ・ティ・アール自動翻 訳電話研究所内

Claims (7)

    【特許請求の範囲】
  1. 【請求項1】 自然言語の文を入力する入力手段と、 前記入力手段によって入力された入力文を入力構造に写
    像する解析手段と、 前記解析手段によって入力構造が複数得られたときに、
    各構造の尤度を計算する尤度計算手段と、 前記尤度計算手段によって計算された尤度に従って、最
    尤の入力構造を選択する選択手段と、 前記選択手段によって選択された最尤の構造を出力する
    出力手段とを備えたことを特徴とする、用例主導型自然
    言語解析装置。
  2. 【請求項2】 前記尤度計算手段は、当該自然言語文に
    おいて頻繁に出現する用例部分構造を記憶する用例記憶
    部と、 意味の類似性に基づいて単語を木の形に整理したシソー
    ラスとを含むことを特徴とする、請求項1の用例主導型
    自然言語解析装置。
  3. 【請求項3】 前記尤度計算手段は、前記入力構造の各
    部分構造毎に計算する部分尤度に基づいて全体の尤度を
    計算することを特徴とする、請求項1の用例主導型自然
    言語解析装置。
  4. 【請求項4】 前記部分尤度は、前記入力部分構造との
    部分構造間意味距離が最小になる用例部分構造を前記用
    例記憶手段から検索し、その部分構造間意味距離と検索
    された用例部分構造の個数とからなることを特徴とす
    る、請求項3の用例主導型自然言語解析装置。
  5. 【請求項5】 前記部分構造間意味距離は、前記入力部
    分構造および前記用例部分構造に含まれる単語の前記シ
    ソーラスに従って計算される単語間意味距離に基づいて
    決定することを特徴とする、請求項4の用例主導型自然
    言語解析装置。
  6. 【請求項6】 前記用例記憶部は、前記部分構造をキー
    としてアクセスできるようにしたことを特徴とする、請
    求項2の用例主導型自然言語解析装置。
  7. 【請求項7】 前記尤度および前記部分尤度の計算は、
    前記解析手段の後処理として実現する方法以外に前記解
    析手段に直接組込むことが可能であることを特徴とす
    る、請求項1の用例主導型自然言語解析装置。
JP5122442A 1993-05-25 1993-05-25 用例主導型自然言語解析装置 Expired - Fee Related JP2796690B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP5122442A JP2796690B2 (ja) 1993-05-25 1993-05-25 用例主導型自然言語解析装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP5122442A JP2796690B2 (ja) 1993-05-25 1993-05-25 用例主導型自然言語解析装置

Publications (2)

Publication Number Publication Date
JPH06332940A true JPH06332940A (ja) 1994-12-02
JP2796690B2 JP2796690B2 (ja) 1998-09-10

Family

ID=14835955

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5122442A Expired - Fee Related JP2796690B2 (ja) 1993-05-25 1993-05-25 用例主導型自然言語解析装置

Country Status (1)

Country Link
JP (1) JP2796690B2 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0447364A (ja) * 1990-06-15 1992-02-17 Internatl Business Mach Corp <Ibm> 自然言語解析装置及び方法並びに自然言語解析用知識ベース構築方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0447364A (ja) * 1990-06-15 1992-02-17 Internatl Business Mach Corp <Ibm> 自然言語解析装置及び方法並びに自然言語解析用知識ベース構築方法

Also Published As

Publication number Publication date
JP2796690B2 (ja) 1998-09-10

Similar Documents

Publication Publication Date Title
EP1475778B1 (en) Rules-based grammar for slots and statistical model for preterminals in natural language understanding system
Raymond et al. Generative and discriminative algorithms for spoken language understanding
Lee et al. Deep learning-based context-sensitive spelling typing error correction
Pereira et al. Weighted rational transductions and their application to human language processing
JP2003505778A (ja) 音声制御ユーザインタフェース用の認識文法作成の特定用途を有する句ベースの対話モデル化
WO1998000833A1 (en) Natural language parser with dictionary-based part-of-speech probabilities
EP1475779B1 (en) System with composite statistical and rules-based grammar model for speech recognition and natural language understanding
JP2609173B2 (ja) 用例主導型機械翻訳方法
Pargellis et al. Auto-induced semantic classes
JP3088364B2 (ja) 音声言語理解装置及び音声言語理解システム
JP2796690B2 (ja) 用例主導型自然言語解析装置
JP2000267693A (ja) 音声処理装置及び索引作成装置
Niimi et al. Extraction of the dialog act and the topic from utterances in a spoken dialog system
JP3181465B2 (ja) 言語処理装置
Jurafsky et al. Integrating experimental models of syntax, phonology, and accent/dialect in a speech recognizer
JP2765618B2 (ja) 言語解析装置
JP2779333B2 (ja) 言語解析装置
Lin et al. A hierarchical tag-graph search scheme with layered grammar rules for spontaneous speech understanding
Tomokiyo et al. An automatic method for learning a Japanese lexicon for recognition of spontaneous speech
JP2004280467A (ja) 翻訳装置、翻訳方法、及びそのプログラム
JPH07105213A (ja) 言語処理装置
JP3358100B2 (ja) 日本語質問メッセージ解析方法及び装置
El-Qawasmeh Word prediction using a clustered optimal binary search tree
JP2007102530A (ja) 特定言語の文法を生成する装置
Isotani et al. Speech Recognition Using Function-Word N-Grams and Content-Word N-Grams

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19980519

LAPS Cancellation because of no payment of annual fees