JPH05197712A - 共起辞書構築・更新方法と共起・意味解析方法 - Google Patents

共起辞書構築・更新方法と共起・意味解析方法

Info

Publication number
JPH05197712A
JPH05197712A JP4006454A JP645492A JPH05197712A JP H05197712 A JPH05197712 A JP H05197712A JP 4006454 A JP4006454 A JP 4006454A JP 645492 A JP645492 A JP 645492A JP H05197712 A JPH05197712 A JP H05197712A
Authority
JP
Japan
Prior art keywords
phrase
word
occurrence
group
real number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP4006454A
Other languages
English (en)
Other versions
JP2640793B2 (ja
Inventor
Yuji Sugano
野 祐 司 菅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP4006454A priority Critical patent/JP2640793B2/ja
Priority to US08/004,029 priority patent/US5406480A/en
Publication of JPH05197712A publication Critical patent/JPH05197712A/ja
Application granted granted Critical
Publication of JP2640793B2 publication Critical patent/JP2640793B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/247—Thesauruses; Synonyms
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)
  • Document Processing Apparatus (AREA)

Abstract

(57)【要約】 【目的】 系統的かつ高精度な共起辞書構築方法と、手
軽で整合性のとれた共起辞書更新方法と、高精度で共起
の度合を計算できる共起解析方法と、競合する解釈間の
優先順位付けが数値的に高精度で計算可能な意味解析方
法の提供。 【構成】 共起辞書構築のために３種の共起情報と個々
のカテゴリー対応させた実数ベクトルを算出する手段と
を有し、共起辞書更新のために追加共起情報のための共
起の相手側語句の選択手段と追加共起情報から追加語に
対応させた実数ベクトルを算出する手段とを有し、共起
解析のために共起関係を調べたい２つのカテゴリーに対
応させた実数ベクトルから共起の度合を実数で算出する
手段を有し、意味解析のために個々の共起の度合から解
釈の妥当性を数値で表す手段を有する。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、ワードプロセッサ、機
械翻訳、文書検索、対話システム等の計算機応用システ
ムに用いられる自然言語処理技術のうち、意味解析用共
起辞書の構築・更新方法および共起・意味解析方法に関
するものである。
【０００２】
【従来の技術】近年、自然言語処理の技術を応用した計
算機応用システムが多数研究開発され、その一部が商品
化されて、徐々に我々の言語文化に定着しつつある。特
に我が国においては、かな漢字変換技術の発達により、
永年の懸案であった漢字かな混じり文の平易な計算機入
力が実用化し、日本語ワードプロセッサーやパーソナル
コンピューター上の文書処理ソフトウエアの本格的な普
及期を迎えている。
【０００３】しかしながら、自然言語の文の意味に係わ
る処理、例えばかな漢字変換に、同音異議語の中から、
意味的に正しい語を選択する処理などは、語の意味や語
と語の意味的な関係をどのように表現し、どのように処
理するかという問題が解決されておらず、構文解析にお
ける文脈自由文法のような確固とした基礎理論がないの
が現状である。
【０００４】現在、実用に耐えうるものとして機械翻訳
等に広く用いられているのが、Ｃ．Ｊ．Ｆｉｌｌｍｏｒ
ｅによって創始された「格文法」を基本とした意味解析
方法であり、共起解析に「意味ラベル」を用いる方法で
ある。以下、この「意味ラベル」を用いる従来の共起解
析方法と、この従来の共起解析方法を用いた従来の意味
解析方法、ならびにこれらの解析に必要な共起辞書につ
いての共起辞書構築方法および従来の共起辞書更新方法
について説明する。
【０００５】図８は従来の意味解析方法を用いる日本語
文の文解析装置の一例を示すブロック図、図９は図８の
文解析方法によって「ＡがＢをＣにＶする」というタイ
プの文を意味解析する際の手順を示す流れ図、図１０は
図９の流れ図中で、「名詞ＮがＣ格として、動詞Ｖの格
パターンＰと共起するかどうか」を解析する手順を示す
流れ図、図１１は図１０の共起解析方法において用いる
意味ラベルの体系の一例を示す意味分類基準、図１２は
図１１の基準に従って名詞に意味ラベルを付与した名詞
意味辞書の内容の一部、図１３は動詞の格パターンを定
め、個々の格スロットに適合する体言の意味ラベルの集
合を図１１の基準に従って付与した動詞格辞書の内容の
一部である。
【０００６】図８において、７０１は解析すべき文を入
力する入力手段、７０２は入力手段７０１から入力され
た文を形態素の列に分割する形態素解析手段、７０３は
形態素解析手段７０２が形態素分割の際に検索する形態
素辞書、７０４は形態素解析手段７０２が形態素間の接
続検定に用いる接続規則、７０５は形態素解析手段７０
２が出力する形態素列を受け取って構文構造を分析し、
構文木を出力する構文解析手段、７０６は構文解析手段
７０５が構文構造の分析に用いる分脈自由文法規則、７
０７は構文解析手段７０６が出力する構文木を受け取っ
て格解析を行い、意味構造を出力する意味解析手段、７
０８は意味解析手段７０７が用いる動詞格辞書、７０９
は意味解析手段７０７が用いる名詞意味ラベル辞書、７
１０は意味解析手段７０７により作成された格フレーム
を中心とする意味構造を格納し、外部の装置が参照・操
作するための意味構造格納手段である。意味解析に用い
る名詞意味ラベル辞書７０９は、図１１に示す意味分類
基準に従って、形態素辞書７０３中の個々の名詞の意味
を１つ以上の意味ラベルで記述したもので、図１２のよ
うな内容をもつ。また、動詞格辞書７０８は、形態素辞
書７０３中の個々の動詞の持つ意味を１つ以上の格パタ
ーンに分割して記述したもので、図１３のような内容で
あり、個々の格スロットに共起する名詞の意味は、名詞
意味ラベル辞書７０９の場合と同じく、図１１に示す意
味分類基準に従った１つ以上の意味ラベルで記述する。
【０００７】以上のように構成された従来の文解析装置
について、その動作を「ＡがＢをＣにＶする」というタ
イプの文を解析する際の動作を例にとって説明する。ま
ず、入力手段７０１を通じて「ＡがＢをＣにＶした」と
いうタイプの文が文字列として形態素解析手段７０２に
送られる。形態素解析手段７０２は、文頭から文末へ向
かって形態素分割処理を進める。形態素辞書７０３を検
索して、入力文字列の一部分と一致する形態素が見つか
ると、見つけた部分の直前の形態素との接続可能性を接
続規則７０４によって調べ、接続が可能な場合は、見つ
けた部分の次の入力文字列について、さらに形態素分割
処理を続ける。形態素辞書７０３の検索結果が複数個あ
る場合には、「最長一致」や「文節数最小」などの発見
的方法によって、優先順位をつける。このようにして、
文末までの形態素の列、 「Ａ（名詞），が（格助詞），Ｂ（名詞），を（格助
詞），Ｃ（名詞），に（格助詞），Ｖ（動詞），し（動
詞語尾），た（過去の助動詞）」 が求まる。
【０００８】上記の形態素の列は構文解析手段７０５に
送られ、構文構造が分析され、図１４に示すような構文
木が求まる。この構文木から、３つの後置詞句「Ａ
が」，「Ｂを」，「Ｃに」のいずれもが動詞句「Ｖす
る」に「かかる」ことがわかる。
【０００９】図１４の構文木は、意味解析手段７０７に
渡され、図９に示す手順によって入力文の意味解析が実
行される。まず、動詞「Ｖ］の持つ格パターンが動詞格
辞書７０８を検索して求められ、また、名詞「Ａ」，
「Ｂ」，「Ｃ」のそれぞれの意味ラベルが、名詞意味ラ
ベル辞書７０９を検索して求められる（ステップ８０
１）。次に、動詞Ｖの個々の格パターンに対して、それ
ぞれの後置詞句の名詞の意味ラベルが対応する「格スロ
ット」と共起するかどうかを、図１０の共起解析の手順
によって調べる。すなわち、３つの名詞がすべて共起す
る格パターンだけに候補を絞り、さらに格パターン間の
優先順位や格スロットの埋まり具合いなどを基準にし
て、最良の格パターンを選んで、選んだ格パターンに時
制や態等の情報を付加して意味構造として出力する（ス
テップ８０２〜８１２）。
【００１０】共起解析の手順は、図１０に示すように、
まず格パターンＰの格にＣ格があるかどうか調べ（ステ
ップ９０１）、存在する場合には、格パターンＰのＣ格
の格スロット中の意味ラベル群と名詞Ｎの持つ意味ラベ
ル群の間に共通の意味ラベルがあるかどうか調べ（ステ
ップ９０２）、存在すれば共起すると判定し（ステップ
９０３）、存在しない場合には共起しないと判定する
（ステップ９０４）。また、格パターンＰの格にＣ格が
ない場合には、Ｃ格が時間や場所といった「任意格」に
なる格かどうか調べ（ステップ９０５）、任意格になり
得ない場合には共起しないと判定し（ステップ９０
４）、任意格になり得る場合には、動詞によらない任意
格の格スロット情報を検索して、任意格スロット中の意
味ラベル群と、名詞の意味ラベル群の間に共通の意味ラ
ベルがあるかどうか調べ（ステップ９０６）、存在すれ
ば共起すると判定し（ステップ９０３）、存在しない場
合には共起しないと判定する（ステップ９０３）。
【００１１】以上の文解析装置に用いる動詞格辞書７０
８および名詞意味ラベル辞書７０９は、対になって共起
辞書を構成する。従来、その構築は完全な人手により行
われてきた。以下、その典型的な手順を説明する。ま
ず、図１１のような意味分類基準を一人または数名の専
門家が、辞典類や過去のシステム等を参考にして定め
る。次に、この意味分類基準をもとにして、形態素辞書
７０３中の個々の名詞に、一人または複数の作業者が１
個以上の意味ラベルを付与する。また、形態素辞書７０
３中の個々の動詞について、一人または複数の作業者
が、格パターンや法、態、相などの統語情報が異なる１
種以上の「サブシート」に分類し、格サブシート毎に、
図１３のような格パターン情報とその他の統語情報を記
述してゆく。共起辞書の構築段階で意味分類基準に不備
が見つかった場合には、意味分類基準は随時追加・変更
されることがある。また、「かぜをひく」などの慣用的
で特殊な共起関係は、主として動詞格辞書中に「例外」
として直接記述され、上記の意味解析に先だって、ある
いは上記の意味解析が失敗した後で、例外処理を行って
解析される。
【００１２】共起辞書の更新も、共起辞書の構築メンバ
ーが、意味分類基準とそれまでに構築した共起辞書の内
容を総合的に考慮して、整合性がとれるように人手によ
って行う。大規模な更新では、意味分類基準の追加・変
更は行われることも多い。
【００１３】
【発明が解決しようとする課題】しかしながら、上記の
従来の方法では、共起辞書の構築・更新の面において、
系統的で客観的な方法がなく、言語学の専門家や各シス
テムの構造をよく知っている小数の開発メンバーのノウ
ハウと熟練に負うところが非常に大きく、さまざまな問
題を有していた。すなわち、まず意味ラベルの体系の構
築方法が明確でないため、専門家の経験と内省によっ
て、名詞意味辞書や動詞の格辞書の構築前に人手により
意味ラベルの種類と解釈とを設定する必要があり、実際
の辞書構築や文解析の際に、意味ラベルの「粗さ」や種
類の不足などの問題が生じて、体系の追加・変更が必要
になるという問題があった。また、個々の意味ラベルの
「解釈」が明確にできないため、大規模な辞書を複数の
人間で構築する場合、個々の単語にどの意味ラベルの集
合を付与すればよいのかがわからなかったり、個々の作
業者によって解釈に差異がでてしまったりするという問
題があった。また、意味解析機構を組み込んだ計算機応
用システムをエンドユーザが使用する際に、未知語（辞
書にない語）を登録しようとしても、そのシステムで使
用されている意味ラベルの体系をエンドユーザが理解し
て適切な意味ラベルを付与することは、非常に困難であ
り、エンドユーザによる手軽な共起辞書の更新が困難で
あるという問題があった。
【００１４】さらに、共起解析・意味解析の精度面でも
いくつかの問題を有していた。まず、精密な共起辞書の
構築が困難なため、意味ラベルが「甘く」、特に精密な
意味ラベルの付与が困難な抽象名詞とその格スロットと
の共起解析の精度が悪いという問題があった。例えば、
「かんしょう」という読みをもつ単語は２０種以上ある
がいずれも抽象名詞であり、従来の共起解析では高精度
な漢字表記への変換は困難であった。また、意味解析の
主要部である格フレームの決定・優先順序付けの際に
も、個々の共起分析結果が「共起する」あるいは「共起
しない」の２値であるため、「どの程度共起しやすいの
か」を数値として知ることができず、精密な格フレーム
の決定・優先順序付けができないという問題があった。
【００１５】本発明は、このような従来技術の課題を解
決するものであり、系統的かつ高精度な共起辞書構築方
法と、手軽で整合性のとれた共起辞書更新方法と、高精
度で共起の度合を計算できる共起解析方法と、競合する
解釈間の優先順位付けが数値的に高精度で計算可能な意
味解析方法とを提供することを目的とする。
【００１６】
【課題を解決するための手段】上記目的を達成するため
に、本発明は、共起辞書構築方法として、３種の共起情
報と、個々のカテゴリーに対応させた実数ベクトルを算
出する手段とを有し、共起辞書更新方法として、追加共
起情報のための共起の相手側語句の選択手段と、追加共
起情報から追加語に対応させた実数ベクトルを算出する
手段とを有し、共起解析方法として、共起関係を調べた
い２つのカテゴリーに対応させた実数ベクトルから共起
の度合を実数で算出する手段を有し、意味解析方法とし
て、個々の共起の度合から解釈の妥当性を数値で表す手
段を有している。
【００１７】より具体的には、図１に示すように、対象
とする自然言語の語句を収録した辞書中の２種類のカテ
ゴリーに属する各々の語句が１つの文中で共起するか否
かを記述する共起辞書を構築するために、辞書中の語句
で第１のカテゴリーに属する語句をすべて集めた語句群
１から一部の語句を選択して語句群１１とし、辞書中の
語句で第２のカテゴリーに属する語句をすべて集めた語
句群２から一部の語句を選択して語句群２１とし、語句
群１１に属する各々の語句と語句群２１に属する各々の
語句とが、対象とする言語の１つの文中で共起するか否
かを記述した第１の共起情報と、語句群１の語句で語句
群１１に属さないものをすべて集めた語句群１２に属す
る各々の語句と語句群２１に属する各々の語句とが、対
象とする言語の１つの文中で共起するか否かを記述した
第２の共起情報と、語句群２の語句で語句群２１に属さ
ないものをすべて集めた語句群２２に属する各々の語句
と語句群１１に属する各々の語句とが、対象とする言語
の１つの文中で共起するか否かを記述した第３の共起情
報からなる３種の共起情報を用意し、次に、語句群１１
に属する各々の語句に一定の最大次元を越えない次元の
実数ベクトルを対応させ、語句群２１に属する各々の語
句にも前記最大次元を越えない次元の実数ベクトルを対
応させた第１の共起情報において、語句群１１に属する
語句１と語句群２１に属する語句２とが１つの文中で共
起すると記述されている場合には、語句１に対応する実
数ベクトルと語句２に対応する実数ベクトルとの内積の
値が正になり、反対に語句群１１に属する語句１と語句
群２１に属する語句２とが１つの文中で共起しないと記
述されている場合には、語句１に対応する実数ベクトル
と語句２に対応する実数ベクトルとの内積の値が負にな
るような２つの語句の組の個数が、語句群１１に属する
語句と語句群２１に属する語句とからなるすべての組の
うちで最大になるように、語句群１１中の各々の語句に
対応させた実数ベクトルの値と語句群２１中の各々の語
句に対応させた実数ベクトルの値とを第１の共起情報を
もとにして算出し、次に、語句群１２に属する各々の語
句にも前記最大次元を越えない次元の実数ベクトルを対
応させた第２の共起情報において、語句群１２に属する
語句３と語句群２１に属する語句４とが１つの文中で共
起すると記述されている場合には、語句３に対応する実
数ベクトルと第１の共起情報をもとにして算出した語句
４に対応する実数ベクトルとの内積の値が正になり、反
対に語句群１２に属する語句３と語句群２１に属する語
句４とが１つの文中で共起しないと記述されている場合
には、語句３に対応する実数ベクトルと第１の共起情報
をもとにして算出した語句４に対応する実数ベクトルと
の内積の値が負になるような２つの語句の組の個数が、
語句群１２に属する語句と語句群２１に属する語句とか
らなるすべての組のうちで最大になるように、語句群１
２中の各々の語句に対応させた実数ベクトルの値を第２
の共起情報をもとにして算出し、次に、語句群２２に属
する各々の語句にも前記最大次元を越えない次元の実数
ベクトルを対応させた第３の共起情報において、語句群
１１に属する語句５と語句群２２に属する語句６とが１
つの文中で共起すると記述されている場合には、第１の
共起情報をもとにして算出した語句５に対応する実数ベ
クトルと語句６に対応する実数ベクトルとの内積の値が
正になり、反対に語句群１１に属する語句５と語句群２
２に属する語句６とが１つの文中で共起しないと記述さ
れている場合には、第１の共起情報をもとにして算出し
た語句５に対応する実数ベクトルと語句６に対応する実
数ベクトルとの内積の値が負になるような２つの語句の
組の個数が、語句群１１に属する語句と語句群２２に属
する語句とからなるすべての組のうちで最大になるよう
に、語句群２２中の各々の語句に対応させた実数ベクト
ルの値を第３の共起情報をもとにして算出することによ
り、語句群１および語句群２のすべての語句に対して実
数ベクトルの形式で共起情報を算出するようにしたもの
である。
【００１８】また、第１の共起情報から各語句に対応す
る実数ベクトルを算出する際、語句群１１に属する語句
１と語句群２１に属する語句２とが１つの文中で共起す
ると記述されている場合には、語句１に対応する実数ベ
クトルと語句２に対応する実数ベクトルとの内積の値が
正になり、反対に第１の共起情報において、語句群１１
に属する語句１と語句群２１に属する語句２とが１つの
文中で共起しないと記述されている場合には、語句１１
に対応する実数ベクトルと語句２に対応する実数ベクト
ルとの内積の値が負になるような２つの語句の組の個数
が、語句群１１に属する語句と語句群２１に属する語句
からなるすべての組のうちの一定以上の割合を占めるよ
うに、第１の共起情報の一部の情報を「例外」として共
起するか否かの判断を反転した修正された第１の共起情
報を作成し、この修正された第１の共起情報を改めて第
１の共起情報として用い、語句群１および語句群２のす
べての語句に対して実数ベクトルの形式で共起情報を算
出し、この実数ベクトルと前記の例外情報の形式で共起
情報を算出するようにしたものである。
【００１９】また、共起辞書を更新するために、対象と
する自然言語の語句を収録した辞書中の第１のカテゴリ
ーおよび第２のカテゴリーの２種類のカテゴリーに属す
る各々の語句が１つの文中で共起するか否かを記述した
上記の方法またはこれらに類似する方法によって構築さ
れ、個々の語句に対して実数ベクトルの形式で共起情報
を記述した共起辞書において、上記第１のカテゴリーに
属する新たな語句７を上記共起辞書に加える際、上記辞
書中の語句で第２のカテゴリーに属する語句のうちの対
応する実数ベクトルの最高次元以上のＮ個の語句で、Ｎ
個中のどの２つの語句に対応する実数ベクトルの内積の
絶対値もある一定値以下になるような語句群２３を選
び、このＮ個の語句と語句７が、対象とする言語の１つ
の文中で共起するか否かの追加共起情報を与え、語句７
に上記最大次元を越えない次元の実数ベクトルを対応さ
せるとともに、上記追加共起情報において、語句群２３
に属する語句８と語句７とが１つの文中で共起すると記
述されている場合には、語句７に対応する実数ベクトル
と語句８に対応する実数ベクトルとの内積の値が正にな
り、反対に上記追加共起情報において、語句群２３に属
する語句８と語句７とが１つの文中で共起しないと記述
されている場合には、語句７に対応する実数ベクトルと
語句８に対応する実数ベクトルとの内積の値が負になる
ような２つの語句の組の個数Ｍが最大になるように、語
句７に対応する実数ベクトルＶを算出して語句７の共起
情報として上記共起辞書に付加するようにしたものであ
る。
【００２０】また、個数Ｍが予め定めた個数Ｌ以下の場
合には、さらに一定個数の語句群２４を第２のカテゴリ
ーから選び、語句群２４と語句７とが対象とする言語の
１つの文中で共起するか否かの再追加共起情報を与え、
追加共起情報と再追加共起情報中の一部の情報を「例
外」として共起するか否かの判断を反転した修正された
追加共起情報を作成し、この修正された追加共起情報を
改めて追加共起情報として用いて、個数Ｍが予め定めた
個数Ｌ以上になるように語句７に対応する実数ベクトル
を算出し、語句７の共起情報として共起辞書に付加する
ようにしたものである。
【００２１】さらに、対象とする自然言語の語句を収録
した辞書中の２種類のカテゴリーに属する各々の語句が
１つの文中で共起するか否かを機械的に判定する共起解
析を行うために、上記の方法またはこれらに類似する方
法によって構築・更新され、個々の語句に対して実数ベ
クトルの形式で共起情報を記述した共起辞書を用い、解
析すべき文中に前記共起辞書中の第１のカテゴリーに含
まれる語句１と、上記共起辞書中の第２のカテゴリーに
含まれる語句２とが形態素および構文上許される位置に
現われた際、語句１に対応する実数ベクトルと語句２に
対応する実数ベクトルとの内積が正である場合には語句
１と語句２は共起すると判断し、反対に語句１に対応す
る実数ベクトルと語句２に対応する実数ベクトルとの内
積が負である場合には語句１と語句２は共起しないと判
断するようにしたものである。
【００２２】さらにまた、意味解析を行うために、解析
すべき文中に、語句１または語句２に関する形態素、構
文上の曖昧さがある場合には、上記の共起解析方法を用
いて算出した語句１に対応する実数ベクトルと語句２に
対応する実数ベクトルとの内積の絶対値が一番大きい解
釈または上記内積の絶対値が一定値以上の解釈群を採用
し、それ以外の解釈を棄却するようにしたものである。
【００２３】
【作用】本発明は、上記構成によって、カテゴリー間の
実際の共起関係を最もよく再現するように実数ベクトル
を算出して双方のカテゴリーに属する各語彙に対応させ
た共起辞書の構築と更新を実現し、共起解析・意味解析
の際には、共起辞書を検索して実数ベクトルを求め、そ
の内積を計算することにより、系統的かつ高精度な共起
辞書構築方法と、手軽で整合性のとれた共起辞書更新方
法と、高精度で共起の度合を計算できる共起解析方法
と、競合する解釈間の優先順位付けが数値的に高精度で
計算可能な意味解析方法とを実現することができる。
【００２４】
【実施例】以下、本発明の実施例について図面を参照し
ながら説明するが、対象とする自然言語は日本語であ
り、第１のカテゴリーが名詞、第２のカテゴリーが動詞
の格である。
【００２５】（実施例１）図２は本発明の第１の実施例
における日本語の動詞の格と名詞との共起辞書を構築お
よび更新するための装置のブロック図である。図２にお
いて、１０１は日本語の名詞の表記と読みなどを納めた
名詞辞書、１０２は日本語の動詞の表層格パターンと格
スロットに入り得る典型的な名詞を集めた動詞格パター
ン辞書、１０３は名詞辞書１０１および動詞格パターン
辞書１０２の要素中から軸となる要素を選別する軸要素
選別手段、１０４は軸要素選別手段１０３が選択した要
素から共起情報入力者へ提示する質問文を作成する質問
文生成手段、１０５は質問文生成手段１０４が作成した
質問文を共起情報入力者に提示するための質問文表示手
段、１０６は質問文表示手段１０５の表示を見て共起情
報入力者が共起情報を入力するための共起情報入力手
段、１０７は共起情報入力手段１０６からの共起情報と
軸要素選別手段１０３からの選別結果とから各要素に与
える特徴ベクトルを算出する特徴ベクトル算出手段、１
０８は特徴ベクトル算出手段１０７が出力した名詞の特
徴ベクトルを含めて名詞の辞書情報を格納する名詞意味
辞書、１０９は特徴ベクトル算出手段が出力した動詞の
格の特徴ベクトルを含めて動詞の格パターンの辞書情報
を格納する動詞意味辞書である。なお、動詞格パターン
辞書１０２には、 ［彼／特許課／ミルク］が ［被害／盗難］に 会う／
遭う の形式で各動詞の表層格パターンと、名詞の典型例が記
述されている。
【００２６】次に、以上のように構成された共起辞書構
築装置について、その動作を説明する。その前に以下の
説明で用いる公式について説明しておく。線形代数の知
識は、階数ｐのｎ行ｖ列の行列Ｃが、適切なｖ行ｐ列の
直交行列Ａと、ｎ行ｐ列の直交行列Ｂを用いて、（式
１）の形に表せることを教えてくれる。
【００２７】
【数１】
【００２８】従って、元の行列Ｃは、（式２）の形に変
形できる。
【００２９】
【数２】
【００３０】（式２）において、λは行列Ｃの特異値、
（式２）の右辺は、行列Ｃのスペクトル分解と呼ばれ
る。
【００３１】さて、行列Ｃのスペクトル分解は、次の注
目すべき性質を持つ。いま、階数ｐの行列Ｃを、ｐより
小さな階数ｑの行列Ｄで近似することを考える。近似の
悪さの尺度を、ユークリッド距離を用いて、（式３）で
計量すれば、この近似の悪さの尺度δを最小にする行列
Ｄは、行列Ｃのスペクトル分解の部分和を用いて、（式
４）で与えられる。
【００３２】
【数３】
【００３３】
【数４】
【００３４】しかも、一般に（式５）が成り立つことか
ら、（式６）が成り立つｋについては、（式４）におけ
る右辺第ｋ項からの寄与は小さい。
【００３５】
【数５】
【００３６】
【数６】
【００３７】以下、これらの基本公式を使用して説明を
進めて行く。はじめに、各変数の定義をおこなう。名詞
辞書１０１中の名詞の総数をＮとし、動詞格パターン辞
書中の個々の「格」の総数をＶとする。「格」は、動詞
の格パターンと、格パターン中の格の出現する順番を指
定すれば一意に定まる。そして、Ｎ個の名詞と、Ｖ個の
「格」のそれぞれに１から始まる通し番号をつけ、第ｉ
番目の名詞と、第ｊ番目の格が共起すれば、すなわち他
の格に適当な名詞を当てはめた時、第ｊ番目の格に第ｉ
番目の名詞を当てはめた文が日本語の文として意味的に
妥当であれば整数値Ｍを、日本語としてナンセンスであ
れば値０を、微妙な場合には、その妥当さに応じて１以
上Ｍ未満の整数値をとる変数を（式７）で表すことにす
る。ただし、Ｍは１以上とする。
【００３８】
【数７】
【００３９】変数（式７）はＮ個の名詞と、Ｖ個の格の
組合せ毎に１個ずつ考えることができるので、全体とし
てはＮ行Ｖ列の行列Ｃで与えられる。この行列Ｃのこと
を「共起データ」と呼ぶことにしよう。共起データは、
名詞、格の双方を固定しても、共起の判断を行う人が異
なれば完全には一致しないであろう。共起の判断を行う
人を固定したとしても、判断すべき文の使用される分野
や、判断する時の気分が異なれば、やはり微妙に異なる
であろう。ここでは、そのような因子は無視するか、ま
たは多数の人の判断あるいは多数回の判断の多数決また
は平均で共起データの値を定めるものとする。
【００４０】共起辞書構築の第１段階では、軸要素選択
手段１０３が、Ｎ個の名詞からＮ１個の名詞を、またＶ
個の格からＶ１個の格を、それぞれ無作意あるいは予め
与えた指示通りに選択する。
【００４１】共起辞書構築の第２段階では、第１段階で
選択したＮ１個の名詞の各々を、Ｖ１個の格のそれぞれ
に当てはめた文を質問文生成手段１０４が順に生成し、
質問文表示手段１０５を通じて共起情報入力者に次々に
提示する。例えば、名詞「水泳」と、格「［彼／特許課
／ミルク］が ？に 会う／遭う」の組合せからは、 「［彼／特許課／ミルク］が 水泳に 会う／遭う」 という文が生成される。共起情報入力者は、質問文表示
手段１０５に表示されたこのような文を見て、日本語と
して妥当かどうかを判断し、０からＭまでのいずれかの
整数値を共起情報入力手段１０６を通じて入力する。例
えば、上記の文の場合ならば、大部分の作業者は０を入
力するであろう。特徴ベクトル算出手段１０７は、共起
情報入力手段１０６からの入力を集計・蓄積し、Ｎ１行
Ｖ１列の共起データＣ１を作成する。このとき、先に、
注意した種々の要因による共起データの揺れが問題とな
る場合には、先に述べたような適切な補正を行うことは
言うまでもない。
【００４２】共起辞書構築の第３段階では、例外の抽出
を段階的に行って、徐々に共起データの階数を下げる。
まず、行列Ｃ１のスペクトル分解を行う。すると、ｉと
ｊによって定まる「共起の次元」を表すある整数ｋがと
れて、ｋ以上の整数ｍに対しては、第ｉ番目の名詞と、
第ｊ番目の格の共起を表す変数（式７）の値は、Ｃ１の
スペクトル分解の第１項から第ｍ項までの部分和が関係
式（式８）を満足するために、正確に再現することが可
能になる。
【００４３】
【数８】
【００４４】そこで、Ｎ１個の名詞とＶ１個の格の全て
の組合せの中から、上記の「共起の次元」が最大となる
組合せを選び、この共起は「例外」であるとして記憶
し、この組合せに対する「共起の次元」が最小になるよ
う、入力された共起情報を任意に変更する。この「例外
の抽出」と「共起データの変更」を繰り返して、共起デ
ータＣ１の階数を除々に下げていく。共起データＣ１の
階数が予め設定した値、例えば１６以下に下がるか、例
外の個数がある一定値に達したなら、この繰り返しを終
了する。
【００４５】共起辞書構築の第４段階では、個々の名
詞、格に与える実数ベクトルを算出する。すなわち、第
ｉ番目の名詞を固定した場合の「共起の次元」の最大値
Ｔｉを求めて、第ｉ番目の名詞にＴｉ次元のベクトル
（式９）を対応させる。
【００４６】
【数９】
【００４７】また、第ｊ番目の格を固定した場合の「共
起の次元」の最大値Ｕｊを求めて、第ｊ番目の格にＵｊ
次元のベクトル（式１０）を対応させる。
【００４８】
【数１０】
【００４９】これらのベクトル（式９）、（式１０）
は、個々の名詞および格の「共起の特徴」を表現したも
のになっている。そこで、（式９）を「第ｉ番目の名詞
の特徴ベクトル」と、（式１０）を「第ｊ番目の格の特
徴ベクトル」と、それぞれ呼ぶことにしよう。このよう
に、第４段階の終了時点において、Ｎ個の名詞のうちの
Ｎ１個、Ｖ個の格のうちのＶ１個について、それぞれ特
徴ベクトルが特徴ベクトル算出手段１０７によって定ま
り、その他の辞書情報と一緒に名詞意味辞書１０８、動
詞意味辞書１０９にそれぞれ格納する。
【００５０】共起辞書構築の第５段階では、先に第１段
階で選んだＮ１個の名詞およびＶ１個の格から、それぞ
れＮ０個の名詞およびＶ０個の格を「軸要素」として軸
要素選別手段１０３が選び出す。このとき、Ｎ０および
Ｖ０は、ともに共起データＣ１の階数より大きくなるよ
うにする。名詞の選別の基準は、選んだＮ０個の名詞の
特徴ベクトルが１次独立で各名詞の共起に「例外」が少
なく、特徴ベクトルの次元ができるだけ低く、しかも任
意の２つの特徴ベクトルの間の、ベクトル空間における
方位角ができるだけ大きくなることである。Ｖ１個の格
の選別の基準も名詞の選別基準と同様である。ただし、
特徴ベクトルの次元が共起データＣ１の階数より低い場
合には、ベクトルの後に０の列を補って、特徴ベクトル
の次元を共起データＣ１の階数まで「引き上げて」、一
次独立性、ベクトル空間における方位角を考察すること
とする。
【００５１】共起辞書構築の第６段階では、先に第１段
階で選んだＮ１個の名詞以外の残りのＮ２個の名詞の共
起情報を入力し、Ｎ２個の名詞の特徴ベクトルを求め
る。ただし、Ｎ１とＮ２を加えた個数は名詞全体の個数
Ｎに一致するものとする。
【００５２】まず、共起辞書構築の第２段階と同様にし
て、第５段階で選んだＶ０個の格に、Ｎ２個の名詞のそ
れぞれを当てはめた文を質問文生成手段１０４で順に生
成し、質問文表示手段１０５を通じて共起情報入力者に
次々に提示、共起情報入力者から日本語として妥当かど
うかの判断を、０からＭまでのいずれかの整数値の形で
共起情報入力手段１０６を通じて入力する。こうして得
られた共起データＣ２を最もよく再現するような名詞の
特徴ベクトルは、再現の悪さをユークリッド距離で計量
すれば、（式１１）なる変分方程式を解いて、通常の最
小二乗法によって、特徴ベクトル算出手段１０７が求め
ることができる。
【００５３】
【数１１】
【００５４】こうして求まったＮ２個の名詞の特徴ベク
トルは、その他の辞書情報と一緒に名詞意味辞書１０８
に格納する。これで、名詞意味辞書１０８が構築され
た。
【００５５】共起辞書構築の第７段階では、先に第１段
階で選んだＶ１個の格以外の残りのＶ２個の格の共起情
報を入力し、Ｖ２個の格の特徴ベクトルを求める。ただ
し、Ｖ１とＶ２を加えた個数は格全体の個数Ｖに一致す
るものとする。
【００５６】まず、共起辞書構築の第２段階と同様にし
て、第５段階で選んだＮ０個の名詞に、Ｖ２個の格のそ
れぞれを当てはめた文を質問文生成手段１０４で順に生
成し、質問文表示手段１０５を通じて共起情報入力者に
次々に提示、共起情報入力者から日本語として妥当かど
うかの判断を０からＭまでのいずれかの整数値の形で共
起情報入力手段１０６を通じて入力する。こうして得ら
れた共起データＣ３を最もよく再現するような格の特徴
ベクトルは、再現の悪さをユークリッド距離で計量すれ
ば、（式１２）なる変分方程式を解いて、通常の最小二
乗法によって、特徴ベクトル算出手段１０７が求めるこ
とができる。
【００５７】
【数１２】
【００５８】こうして求まったＶ２個の格の特徴ベクト
ルは、その他の辞書情報と一緒に動詞意味辞書１０９に
格納する。これで、動詞意味辞書１０９が構築され、共
起辞書の構築が終了する。
【００５９】共起辞書の更新の動作は、すでに意味辞書
にある語彙の変更の場合でも、新たな語彙の追加の場合
でも、名詞の更新の場合には共起辞書構築の第６段階
と、動詞の格の更新の場合には共起辞書構築の第７段階
と全く同一であり、共起辞書の構築と更新とを統一的に
行うことができる。
【００６０】また、特定の名詞と格の組合せについて、
共起解析で誤った判定を行うことが判明した場合には、
その組合せを「例外」に指定して、動詞意味辞書に追加
する「例外追加処理」も可能である。
【００６１】以上の説明では、共起辞書の対象を日本語
の名詞と動詞の格としたが、名詞と形容動詞の格、副詞
と助動詞など、その他のカテゴリー間の共起辞書や、英
語、フランス語、ドイツ語などその他の言語の共起辞書
の構築・更新にも上記と同様の方法が適用できることは
言うまでもない。
【００６２】（実施例２）次に、本発明の第２の実施例
について、図面を参照しながら説明する。図３は本発明
の意味解析方法および共起解析方法を用いる日本語文の
文解析装置の一実施例を示すブロック図、図４は図３の
文解析方法によって「ＡがＢをＣにＶする」というタイ
プの文を意味解析する際の手順を示す流れ図、図５は図
４の流れ図中で、「名詞ＮがＣ格として、動詞Ｖの格パ
ターンＰと共起するかどうか」を共起解析する手順を示
す流れ図、図６は図５の共起解析方法において用いる特
徴ベクトルを用いた名詞意味辞書の内容の一部、図７は
動詞の格パターンと格スロットの性質を特徴ベクトルで
記述した動詞意味辞書の内容の一部である。
【００６３】図３において、２０１は解析すべき文を入
力する入力手段、２０２は入力手段２０１から入力され
た文を形態素の列に分割する形態素解析手段、２０３は
形態素解析手段２０２が形態素分割の際に検索する形態
素辞書、２０４は形態素解析手段２０２が形態素間の接
続検定に用いる接続規則、２０５は形態素解析手段２０
２が出力する形態素列を受け取って構文構造を分析し、
構文木を出力する構文解析手段、２０６は構文解析手段
２０５が構文構造の分析に用いる分脈自由文法規則、２
０７は構文解析手段２０５が出力する構文木を受け取っ
て格解析を行い、意味構造を出力する意味解析手段、２
０８は意味解析手段２０７が用いる動詞意味辞書、２０
９は意味解析手段２０７が用いる名詞意味辞書、２１０
は意味解析手段２０７により作成された格フレームを中
心とする意味構造を格納し、外部の装置が参照・操作す
るための意味構造格納手段である。
【００６４】意味解析に用いる名詞意味辞書２０９は、
形態素辞書２０３中の個々の名詞の意味を、実施例１で
述べたような共起辞書構築・更新方法によって構築・更
新したもので、図６に示すように、各語彙の表記５０
１、読み５０２および特徴ベクトル５０３が各語彙に付
随している。また、動詞意味辞書２０８は、形態素辞書
２０３中の個々の動詞の持つ意味を、１つ以上の格パタ
ーンに分割して記述したもので、図７に示すように、個
々の格スロットに共起する名詞の性質を、表記６０１、
読み６０２、格パターン６０３および特徴ベクトルと例
外となる名詞の集合の組６０４で記述したものである。
【００６５】以上のように構成された本発明の文解析装
置について、その動作を「ＡがＢをＣにＶする」という
タイプの文を解析する際の動作を例にとって説明する。
まず、入力手段２０１を通じて「ＡがＢをＣにＶした」
というタイプの文が文字列として形態素解析手段２０２
に送られる。形態素解析手段２０２は、文頭から文末へ
向かって形態素分割処理を進める。形態素辞書２０３を
検索して、入力文字列の一部分と一致する形態素が見つ
かると、見つけた部分の直前の形態素との接続可能性を
接続規則２０４によって調べ、接続が可能な場合は、見
つけた部分の次の入力文字列について、さらに形態素分
割処理を続ける。形態素辞書２０３の検索結果が複数個
ある場合には、「最長一致」や「文節数最小」などの発
見的方法によって、優先順位をつける。このようにし
て、文末までの形態素の列、 「Ａ（名詞），が（格助詞），Ｂ（名詞），を（格助
詞），Ｃ（名詞），に（格助詞），Ｖ（動詞），し（動
詞語尾），た（過去の助動詞）」 が求まる。
【００６６】上記の形態素の列は構文解析手段２０５に
送られ、構文構造が分析され、従来例と同様に図１４の
構文木が求まる。この構文木から、３つの後置詞句「Ａ
が」，「Ｂを」，「Ｃに」がいずれも動詞句「Ｖする」
に「かかる」ことがわかる。
【００６７】図１４の構文木は、意味解析手段２０７に
渡され、図４に示す手順によって入力文の意味解析が実
行される。まず、動詞「Ｖ］の持つ格パターンと、それ
に付随した特徴ベクトルが動詞意味辞書２０８を検索し
て求められ、また、名詞「Ａ」，「Ｂ」，「Ｃ」のそれ
ぞれの特徴ベクトルが、名詞意味辞書２０９を検索して
求められる（ステップ３０１）。動詞Ｖの個々の格パタ
ーンに対して、それぞれの後置詞句の名詞の意味ラベル
が対応する「格スロット」との共起の度合を、図５の共
起解析の手順によって調べる（ステップ３０２〜３０
５）。３つの名詞の共起の度合を加算して（ステップ３
０６）、この格パターンの妥当性を数値化し、この数値
の大きな順に優先順位を付与し（ステップ３０７，３０
８）、最良の格パターンを選んで、選んだ格パターンに
時制や態等の情報を付加して意味構造として出力する
（ステップ３０９）。
【００６８】共起解析の手順は、図５に示すように、ま
ず格パターンＰの格にＣ格があるかどうか調べ（ステッ
プ４０１）、存在する場合には、格パターンＰのＣ格の
格スロット中の特徴ベクトルと名詞Ｎの持つ特徴ベクト
ルの内積を求め（ステップ４０２）、さらに動詞意味辞
書のＣ格に名詞Ｎが「例外」として記述されているかど
うかを調べ（ステップ４０３）、記述されていれば、実
施例１で述べた値Ｍからステップ４０２で計算した内積
の値を、そうでなければ内積の値そのものを、それぞれ
共起の度合として返却する（ステップ４０４，４０
５）。また、格パターンＰの格にＣ格がない場合には、
Ｃ格が時間や場所といった「任意格」になる格かどうか
調べ（ステップ４０６）、任意格になり得ない場合はＸ
を０とし（ステップ４０７）、任意格になり得る場合に
は、動詞によらない任意格の格スロット情報を検索し
て、任意格スロット中の特徴ベクトルと、名詞の特徴ベ
クトルの内積を求め（ステップ４０８）、さらに任意格
であるＣ格に名詞Ｎが「例外」として記述されているか
どうかを調べ（ステップ４０９）、記述されていれば、
実施例１で述べた値Ｍからステップ４０８で計算した内
積の値を、そうでなければ内積の値そのものを、それぞ
れ共起の度合として返却する（ステップ４０９，４１
０）。
【００６９】このように、共起解析・意味解析が共起ベ
クトルの内積という定量的な尺度で簡単に求まるため、
解釈間の比較や優先順位付けが極めて容易となる。
【００７０】また、抽象名詞などの直感では分類しづら
いカテゴリーでも、実際の共起データから算出した精密
な特徴ベクトルによって、共起の度合を正確に判定する
ことができる。
【００７１】以上の説明では、共起解析、意味解析の対
象を日本語の名詞と動詞の格としたが、名詞と形容動詞
の格、副詞と助動詞など、その他のカテゴリー間の共起
解析や、英語、フランス語、ドイツ語などその他の言語
の共起解析、意味解析にも上記と同様の方法が適用でき
ることは言うまでもない。
【００７２】
【発明の効果】以上のように本発明は、共起辞書構築の
ためには、３種の共起情報と、個々のカテゴリー対応さ
せた実数ベクトルを算出する手段とを設け、共起辞書更
新のためには、追加共起情報のための共起の相手側語句
の選択手段と、追加共起情報から追加語に対応させた実
数ベクトルを算出する手段とを設け、共起解析のために
は、共起関係を調べたい２つのカテゴリーに対応させた
実数ベクトルから共起の度合を実数で算出する手段を設
け、意味解析のためには、個々の共起の度合から解釈の
妥当性を数値で表す手段を設けたので、系統的かつ高精
度な共起辞書構築方法と、手軽で整合性のとれた共起辞
書更新方法と、高精度で共起の度合を計算できる共起解
析方法と、競合する解釈間の優先順位付けが数値的に高
精度で計算可能な意味解析方法とを実現することができ
る。
【００７３】特に、本発明を日本語の格解析に用いた場
合、従来に比べて抽象名詞を含む文の解析精度を格段に
向上させることが可能であり、その効果は非常に大き
い。
【図面の簡単な説明】
【図１】本発明による共起辞書構築・更新方法および共
起・意味解析方法を説明するための模式図
【図２】本発明の第１の実施例における日本語の動詞の
格と名詞との共起辞書の構築および更新装置のブロック
図
【図３】第２の実施例における日本語の文解析装置のブ
ロック図
【図４】第２の実施例における意味解析の動作を示す流
れ図
【図５】第２の実施例における共起解析の動作を示す流
れ図
【図６】第２の実施例における名詞意味辞書の内容の一
部を示す一覧図
【図７】第２の実施例における動詞意味辞書の内容の一
部を示す一覧図
【図８】従来の意味解析方法を用いる日本語の文解析装
置のブロック図
【図９】従来の意味解析の動作を示す流れ図
【図１０】従来の共起解析の動作を示す流れ図
【図１１】従来の意味ラベルの体系の一部を示す一覧図
【図１２】従来の名詞意味ラベル辞書の内容の一部を示
す一覧図
【図１３】従来の動詞格辞書の内容の一部を示す一覧図
【図１４】構文木の一例を示す模式図
【符号の説明】
１０１ 名詞辞書 １０２ 動詞格パターン辞書 １０３ 軸要素選別手段 １０４ 質問文生成手段 １０５ 質問文表示手段 １０６ 共起情報入力手段 １０７ 特徴ベクトル算出手段 １０８ 名詞意味辞書 １０９ 動詞意味辞書 ２０１ 入力手段 ２０２ 形態素解析手段 ２０３ 形態素辞書 ２０４ 接続規則 ２０５ 構文解析手段 ２０６ 文脈自由文法規則 ２０７ 意味解析手段 ２０８ 動詞意味辞書 ２０９ 名詞意味辞書 ２１０ 意味構造格納手段

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】 対象とする自然言語の語句を収録した辞
    書中の２種類のカテゴリーに属する各々の語句が１つの
    文中で共起するか否かを記述する共起辞書を構築する際
    に、 前記辞書中の語句で第１のカテゴリーに属する語句をす
    べて集めた語句群１から一部の語句を選択して語句群１
    １とし、 前記辞書中の語句で第２のカテゴリーに属する語句をす
    べて集めた語句群２から一部の語句を選択して語句群２
    １とし、 語句群１１に属する各々の語句と、語句群２１に属する
    各々の語句とが、対象とする言語の１つの文中で共起す
    るか否かを記述した第１の共起情報と、 語句群１の語句で語句群１１に属さないものをすべて集
    めた語句群１２に属する各々の語句と、語句群２１に属
    する各々の語句とが、対象とする言語の１つの文中で共
    起するか否かを記述した第２の共起情報と、 語句群２の語句で語句群２１に属さないものをすべて集
    めた語句群２２に属する各々の語句と、語句群１１に属
    する各々の語句とが、対象とする言語の１つの文中で共
    起するか否かを記述した第３の共起情報からなる３種の
    共起情報を用意し、 次に、語句群１１に属する各々の語句に一定の最大次元
    を越えない次元の実数ベクトルを対応させ、語句群２１
    に属する各々の語句にも前記最大次元を越えない次元の
    実数ベクトルを対応させた第１の共起情報において、語
    句群１１に属する語句１と語句群２１に属する語句２と
    が１つの文中で共起すると記述されている場合には、語
    句１に対応する実数ベクトルと語句２に対応する実数ベ
    クトルとの内積の値が正になり、反対に語句群１１に属
    する語句１と語句群２１に属する語句２とが１つの文中
    で共起しないと記述されている場合には、語句１に対応
    する実数ベクトルと語句２に対応する実数ベクトルとの
    内積の値が負になるような２つの語句の組の個数が、語
    句群１１に属する語句と語句群２１に属する語句とから
    なるすべての組のうちで最大になるように、語句群１１
    中の各々の語句に対応させた実数ベクトルの値と語句群
    ２１中の各々の語句に対応させた実数ベクトルの値とを
    第１の共起情報をもとにして算出し、 次に、語句群１２に属する各々の語句にも前記最大次元
    を越えない次元の実数ベクトルを対応させた第２の共起
    情報において、語句群１２に属する語句３と語句群２１
    に属する語句４とが１つの文中で共起すると記述されて
    いる場合には、語句３に対応する実数ベクトルと第１の
    共起情報をもとにして算出した語句４に対応する実数ベ
    クトルとの内積の値が正になり、反対に語句群１２に属
    する語句３と語句群２１に属する語句４とが１つの文中
    で共起しないと記述されている場合には、語句３に対応
    する実数ベクトルと第１の共起情報をもとにして算出し
    た語句４に対応する実数ベクトルとの内積の値が負にな
    るような２つの語句の組の個数が、語句群１２に属する
    語句と語句群２１に属する語句とからなるすべての組の
    うちで最大になるように、語句群１２中の各々の語句に
    対応させた実数ベクトルの値を第２の共起情報をもとに
    して算出し、 次に、語句群２２に属する各々の語句にも前記最大次元
    を越えない次元の実数ベクトルを対応させた第３の共起
    情報において、語句群１１に属する語句５と語句群２２
    に属する語句６とが１つの文中で共起すると記述されて
    いる場合には、第１の共起情報をもとにして算出した語
    句５に対応する実数ベクトルと語句６に対応する実数ベ
    クトルとの内積の値が正になり、反対に語句群１１に属
    する語句５と語句群２２に属する語句６とが１つの文中
    で共起しないと記述されている場合には、第１の共起情
    報をもとにして算出した語句５に対応する実数ベクトル
    と語句６に対応する実数ベクトルとの内積の値が負にな
    るような２つの語句の組の個数が、語句群１１に属する
    語句と語句群２２に属する語句とからなるすべての組の
    うちで最大になるように、語句群２２中の各々の語句に
    対応させた実数ベクトルの値を第３の共起情報をもとに
    して算出することにより、語句群１および語句群２のす
    べての語句に対して実数ベクトルの形式で共起情報を算
    出する共起辞書構築方法。
  2. 【請求項２】 第１の共起情報から各語句に対応する実
    数ベクトルを算出する際、語句群１１に属する語句１と
    語句群２１に属する語句２とが１つの文中で共起すると
    記述されている場合には、語句１に対応する実数ベクト
    ルと語句２に対応する実数ベクトルとの内積の値が正に
    なり、反対に第１の共起情報において、語句群１１に属
    する語句１と語句群２１に属する語句２とが１つの文中
    で共起しないと記述されている場合には、語句１１に対
    応する実数ベクトルと語句２に対応する実数ベクトルと
    の内積の値が負になるような２つの語句の組の個数が、
    語句群１１に属する語句と語句群２１に属する語句から
    なるすべての組のうちの一定以上の割合を占めるよう
    に、第１の共起情報の一部の情報を「例外」として共起
    するか否かの判断を反転した修正された第１の共起情報
    を作成し、この修正された第１の共起情報を改めて第１
    の共起情報として用い、語句群１および語句群２のすべ
    ての語句に対して実数ベクトルの形式で共起情報を算出
    し、この実数ベクトルと前記の例外情報の形式で共起情
    報を算出する請求項１記載の共起辞書構築方法。
  3. 【請求項３】 対象とする自然言語の語句を収録した辞
    書中の第１のカテゴリーおよび第２のカテゴリーの２種
    類のカテゴリーに属する各々の語句が１つの文中で共起
    するか否かを記述した請求項１または２またはこれらに
    類似する方法によって構築され、個々の語句に対して実
    数ベクトルの形式で共起情報を記述した共起辞書におい
    て、前記第１のカテゴリーに属する新たな語句７を前記
    共起辞書に加える際、前記辞書中の語句で第２のカテゴ
    リーに属する語句のうちの対応する実数ベクトルの最高
    次元以上のＮ個の語句で、Ｎ個中のどの２つの語句に対
    応する実数ベクトルの内積の絶対値もある一定値以下に
    なるような語句群２３を選び、このＮ個の語句と語句７
    が、対象とする言語の１つの文中で共起するか否かの追
    加共起情報を与え、語句７に前記最大次元を越えない次
    元の実数ベクトルを対応させるとともに、前記追加共起
    情報において、語句群２３に属する語句８と語句７とが
    １つの文中で共起すると記述されている場合には、語句
    ７に対応する実数ベクトルと語句８に対応する実数ベク
    トルとの内積の値が正になり、反対に前記追加共起情報
    において、語句群２３に属する語句８と語句７とが１つ
    の文中で共起しないと記述されている場合には、語句７
    に対応する実数ベクトルと語句８に対応する実数ベクト
    ルとの内積の値が負になるような２つの語句の組の個数
    Ｍが最大になるように、語句７に対応する実数ベクトル
    Ｖを算出して語句７の共起情報として前記共起辞書に付
    加する共起辞書更新方法。
  4. 【請求項４】 個数Ｍが予め定めた個数Ｌ以下の場合に
    は、さらに一定個数の語句群２４を第２のカテゴリーか
    ら選び、語句群２４と語句７とが対象とする言語の１つ
    の文中で共起するか否かの再追加共起情報を与え、追加
    共起情報と再追加共起情報中の一部の情報を「例外」と
    して共起するか否かの判断を反転した修正された追加共
    起情報を作成し、この修正された追加共起情報を改めて
    追加共起情報として用いて、個数Ｍが予め定めた個数Ｌ
    以上になるように語句７に対応する実数ベクトルを算出
    し、語句７の共起情報として共起辞書に付加する請求項
    ３記載の共起辞書更新方法。
  5. 【請求項５】 対象とする自然言語の語句を収録した辞
    書中の２種類のカテゴリーに属する各々の語句が１つの
    文中で共起するか否かを機械的に判定する共起解析を行
    う際、請求項１から４のいずれかに記載の方法またはこ
    れらに類似する方法によって構築・更新され、個々の語
    句に対して実数ベクトルの形式で共起情報を記述した共
    起辞書を用い、解析すべき文中に前記共起辞書中の第１
    のカテゴリーに含まれる語句１と、前記共起辞書中の第
    ２のカテゴリーに含まれる語句２とが形態素および構文
    上許される位置に現われた際、語句１に対応する実数ベ
    クトルと語句２に対応する実数ベクトルとの内積が正で
    ある場合には語句１と語句２は共起すると判断し、反対
    に語句１に対応する実数ベクトルと語句２に対応する実
    数ベクトルとの内積が負である場合には語句１と語句２
    は共起しないと判断する共起解析方法。
  6. 【請求項６】 解析すべき文中に、語句１または語句２
    に関する形態素、構文上の曖昧さがある場合には、請求
    項５の共起解析方法を用いて算出した語句１に対応する
    実数ベクトルと語句２に対応する実数ベクトルとの内積
    の絶対値が一番大きい解釈または前記内積の絶対値が一
    定値以上の解釈群を採用し、それ以外の解釈を棄却する
    意味解析方法。
  7. 【請求項７】 対象とする自然言語が日本語であり、第
    １のカテゴリーが名詞、第２のカテゴリーが用言の深層
    格である請求項１から６のいずれかに記載の方法。
  8. 【請求項８】 解析すべき文Ｓ中に現われる用言Ｖがも
    つ複数の深層格パターンに対し、個々の深層格パターン
    Ｐの適合度を、請求項７に記載の方法またはこれらに類
    似する方法によって構築・更新され、個々の語句に対し
    て実数ベクトルの形式で共起情報を記述した共起辞書を
    用い、前記深層格パターンＰ中の個々の深層格に対応す
    る実数ベクトルと、前記深層格パターンＰ中の個々の深
    層格に当てはまる文中の名詞に対応する実数ベクトルと
    の内積Ｑを算出し、前記深層格パターンＰ中の全ての深
    層格について、前記内積Ｑの値に各深層格に固有の重み
    を乗じた後、加算した値Ｅが最も大きい深層格パターン
    Ｐ、または前記内積Ｑの値に各深層格に固有の重みを乗
    じた後、加算した値Ｅがある一定値より大きい深層格パ
    ターンＰ全てをＳ中の用言Ｖの深層格パターンの解釈と
    して採用し、それ以外の解釈を棄却する意味解析方法。
JP4006454A 1992-01-17 1992-01-17 共起辞書構築装置及びこの共起辞書を用いた文解析装置 Expired - Fee Related JP2640793B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP4006454A JP2640793B2 (ja) 1992-01-17 1992-01-17 共起辞書構築装置及びこの共起辞書を用いた文解析装置
US08/004,029 US5406480A (en) 1992-01-17 1993-01-15 Building and updating of co-occurrence dictionary and analyzing of co-occurrence and meaning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP4006454A JP2640793B2 (ja) 1992-01-17 1992-01-17 共起辞書構築装置及びこの共起辞書を用いた文解析装置

Publications (2)

Publication Number Publication Date
JPH05197712A true JPH05197712A (ja) 1993-08-06
JP2640793B2 JP2640793B2 (ja) 1997-08-13

Family

ID=11638881

Family Applications (1)

Application Number Title Priority Date Filing Date
JP4006454A Expired - Fee Related JP2640793B2 (ja) 1992-01-17 1992-01-17 共起辞書構築装置及びこの共起辞書を用いた文解析装置

Country Status (2)

Country Link
US (1) US5406480A (ja)
JP (1) JP2640793B2 (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5404514A (en) * 1989-12-26 1995-04-04 Kageneck; Karl-Erbo G. Method of indexing and retrieval of electronically-stored documents
JP2994926B2 (ja) * 1993-10-29 1999-12-27 松下電器産業株式会社 有限状態機械作成方法とパターン照合機械作成方法とこれらを変形する方法および駆動方法
EP0645757B1 (en) * 1993-09-23 2000-04-05 Xerox Corporation Semantic co-occurrence filtering for speech recognition and signal transcription applications
US5724594A (en) * 1994-02-10 1998-03-03 Microsoft Corporation Method and system for automatically identifying morphological information from a machine-readable dictionary
JPH08153090A (ja) * 1994-11-29 1996-06-11 Internatl Business Mach Corp <Ibm> かな漢字変換システム及びその辞書作成方法
JP2817776B2 (ja) * 1995-05-25 1998-10-30 日本電気株式会社 単語変換装置
JPH09128396A (ja) * 1995-11-06 1997-05-16 Hitachi Ltd 対訳辞書作成方法
US5995922A (en) 1996-05-02 1999-11-30 Microsoft Corporation Identifying information related to an input word in an electronic dictionary
US5966686A (en) * 1996-06-28 1999-10-12 Microsoft Corporation Method and system for computing semantic logical forms from syntax trees
US6119114A (en) * 1996-09-17 2000-09-12 Smadja; Frank Method and apparatus for dynamic relevance ranking
US6173298B1 (en) 1996-09-17 2001-01-09 Asap, Ltd. Method and apparatus for implementing a dynamic collocation dictionary
GB2321117A (en) * 1997-01-09 1998-07-15 Sharp Kk Disambiguating syntactic word multiples
CN1204515C (zh) * 1997-04-22 2005-06-01 格雷格·赫瑟林顿 自由格式数据处理的方法和设备
US6260008B1 (en) 1998-01-08 2001-07-10 Sharp Kabushiki Kaisha Method of and system for disambiguating syntactic word multiples
US8938688B2 (en) 1998-12-04 2015-01-20 Nuance Communications, Inc. Contextual prediction of user words and user actions
US7712053B2 (en) 1998-12-04 2010-05-04 Tegic Communications, Inc. Explicit character filtering of ambiguous text entry
US6609087B1 (en) * 1999-04-28 2003-08-19 Genuity Inc. Fact recognition system
US20100122164A1 (en) * 1999-12-03 2010-05-13 Tegic Communications, Inc. Contextual prediction of user words and user actions
US7356416B2 (en) 2000-01-25 2008-04-08 Cellomics, Inc. Method and system for automated inference creation of physico-chemical interaction knowledge from databases of co-occurrence data
EP1252596A2 (en) * 2000-01-25 2002-10-30 Cellomics, Inc. Method and system for automated inference of physico-chemical interaction knowledge
JP2002269114A (ja) * 2001-03-14 2002-09-20 Kousaku Ookubo 知識データベース及び知識データベースの構築方法
US8744835B2 (en) * 2001-03-16 2014-06-03 Meaningful Machines Llc Content conversion method and apparatus
US7860706B2 (en) 2001-03-16 2010-12-28 Eli Abir Knowledge system method and appparatus
US8874431B2 (en) * 2001-03-16 2014-10-28 Meaningful Machines Llc Knowledge system method and apparatus
US6986106B2 (en) * 2002-05-13 2006-01-10 Microsoft Corporation Correction widget
US20030233237A1 (en) * 2002-06-17 2003-12-18 Microsoft Corporation Integration of speech and stylus input to provide an efficient natural input experience
US7137076B2 (en) * 2002-07-30 2006-11-14 Microsoft Corporation Correcting recognition results associated with user input
US20040243531A1 (en) * 2003-04-28 2004-12-02 Dean Michael Anthony Methods and systems for representing, using and displaying time-varying information on the Semantic Web
US7848573B2 (en) * 2003-12-03 2010-12-07 Microsoft Corporation Scaled text replacement of ink
US7506271B2 (en) * 2003-12-15 2009-03-17 Microsoft Corporation Multi-modal handwriting recognition correction
US7587307B2 (en) * 2003-12-18 2009-09-08 Xerox Corporation Method and apparatus for evaluating machine translation quality
WO2005101236A2 (en) * 2004-04-06 2005-10-27 Educational Testing Service Lexical association metric for knowledge-free extraction of phrasal terms
US8095364B2 (en) 2004-06-02 2012-01-10 Tegic Communications, Inc. Multimodal disambiguation of speech recognition
US8280719B2 (en) * 2005-05-05 2012-10-02 Ramp, Inc. Methods and systems relating to information extraction
JP4170325B2 (ja) * 2005-08-05 2008-10-22 インターナショナル・ビジネス・マシーンズ・コーポレーション 辞書の妥当性を評価する装置、方法およびプログラム
JP4734155B2 (ja) * 2006-03-24 2011-07-27 株式会社東芝 音声認識装置、音声認識方法および音声認識プログラム
US8849653B2 (en) * 2006-05-09 2014-09-30 International Business Machines Corporation Updating dictionary during application installation
US7865352B2 (en) * 2006-06-02 2011-01-04 Microsoft Corporation Generating grammatical elements in natural language sentences
US8209163B2 (en) * 2006-06-02 2012-06-26 Microsoft Corporation Grammatical element generation in machine translation
US7739255B2 (en) * 2006-09-01 2010-06-15 Ma Capital Lllp System for and method of visual representation and review of media files
US20080109845A1 (en) * 2006-11-08 2008-05-08 Ma Capital Lllp System and method for generating advertisements for use in broadcast media
US20080109409A1 (en) * 2006-11-08 2008-05-08 Ma Capital Lllp Brokering keywords in radio broadcasts
US20080109305A1 (en) * 2006-11-08 2008-05-08 Ma Capital Lllp Using internet advertising as a test bed for radio advertisements
US8131536B2 (en) * 2007-01-12 2012-03-06 Raytheon Bbn Technologies Corp. Extraction-empowered machine translation
US7890539B2 (en) * 2007-10-10 2011-02-15 Raytheon Bbn Technologies Corp. Semantic matching using predicate-argument structure
US8473279B2 (en) * 2008-05-30 2013-06-25 Eiman Al-Shammari Lemmatizing, stemming, and query expansion method and system
US9292490B2 (en) 2013-08-16 2016-03-22 International Business Machines Corporation Unsupervised learning of deep patterns for semantic parsing
CA3042293A1 (en) 2016-11-17 2018-05-24 Goldman Sachs & Co. LLC System and method for coupled detection of syntax and semantics for natural language understanding and generation
JP7095264B2 (ja) * 2017-11-13 2022-07-05 富士通株式会社 情報生成プログラム、単語抽出プログラム、情報処理装置、情報生成方法及び単語抽出方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55102072A (en) * 1979-01-29 1980-08-04 Nippon Telegr & Teleph Corp <Ntt> Kana-kanji conversion method for homophone
JPS63236167A (ja) * 1987-03-24 1988-10-03 Fujitsu Ltd 単語辞書登録方式
JPH0336662A (ja) * 1989-07-03 1991-02-18 Ricoh Co Ltd 自然言語処理方式
JPH0375865A (ja) * 1989-08-18 1991-03-29 Toshiba Corp かな漢字変換方法及び装置
JPH0392957A (ja) * 1989-09-06 1991-04-18 Matsushita Electric Ind Co Ltd 仮名漢字変換装置
JPH03244070A (ja) * 1990-02-22 1991-10-30 Casio Comput Co Ltd かな漢字変換装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4916614A (en) * 1986-11-25 1990-04-10 Hitachi, Ltd. Sentence translator using a thesaurus and a concept-organized co- occurrence dictionary to select from a plurality of equivalent target words
JPH01314373A (ja) * 1988-06-15 1989-12-19 Hitachi Ltd 機械翻訳システムにおける訳語選択方式
JPH0347547A (ja) * 1989-07-12 1991-02-28 Matsushita Refrig Co Ltd 空気清浄装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS55102072A (en) * 1979-01-29 1980-08-04 Nippon Telegr & Teleph Corp <Ntt> Kana-kanji conversion method for homophone
JPS63236167A (ja) * 1987-03-24 1988-10-03 Fujitsu Ltd 単語辞書登録方式
JPH0336662A (ja) * 1989-07-03 1991-02-18 Ricoh Co Ltd 自然言語処理方式
JPH0375865A (ja) * 1989-08-18 1991-03-29 Toshiba Corp かな漢字変換方法及び装置
JPH0392957A (ja) * 1989-09-06 1991-04-18 Matsushita Electric Ind Co Ltd 仮名漢字変換装置
JPH03244070A (ja) * 1990-02-22 1991-10-30 Casio Comput Co Ltd かな漢字変換装置

Also Published As

Publication number Publication date
US5406480A (en) 1995-04-11
JP2640793B2 (ja) 1997-08-13

Similar Documents

Publication Publication Date Title
JP2640793B2 (ja) 共起辞書構築装置及びこの共起辞書を用いた文解析装置
US5541836A (en) Word disambiguation apparatus and methods
JP3429184B2 (ja) テキスト構造解析装置および抄録装置、並びにプログラム記録媒体
CA2461777C (en) Linguistically informed statistical models of constituent structure for ordering in sentence realization for a natural language generation system
CN102799577B (zh) 一种中文实体间语义关系抽取方法
US20080221863A1 (en) Search-based word segmentation method and device for language without word boundary tag
JPH0447364A (ja) 自然言語解析装置及び方法並びに自然言語解析用知識ベース構築方法
Krizhanovsky et al. An approach to automated construction of a general-purpose lexical ontology based on Wiktionary
CN115062151B (zh) 一种文本特征提取方法、文本分类方法及可读存储介质
KR20080021017A (ko) 텍스트 기반의 문서 비교
Smadja et al. Translating collocations for use in bilingual lexicons
Cowie et al. Automatic Question Answering.
JP2003167898A (ja) 情報検索システム
JP4041876B2 (ja) 複数尺度の利用による言語変換処理システムおよびその処理プログラム
Velldal et al. Paraphrasing treebanks for stochastic realization ranking
Georgantopoulos MSc in Speech and Language Processing Dissertation: Automatic summarising based on sentence extraction: A statistical approach
JP5142897B2 (ja) 文検索装置，文検索プログラム，文検索方法
KR100376931B1 (ko) 정보 검색 기술을 이용한 한영번역 데이터베이스 시스템 구축 방법
KR100431190B1 (ko) 주제 적응 품사 태깅 시스템 및 방법
JP2005025555A (ja) シソーラス構築システム、シソーラス構築方法、この方法を実行するプログラム、およびこのプログラムを記憶した記憶媒体
CN113901203B (zh) 一种文本分类方法、装置、电子设备及存储介质
KR20040018008A (ko) 품사 태깅 장치 및 태깅 방법
Trouilleux A rule-based pronoun resolution system for French
Chakraborty et al. N-Gram based Assamese Question Pattern Extraction and Probabilistic Modelling
Ali et al. An indexing approach based on a hybrid model of terminology-extraction using a filtering by elimination terms

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090502

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100502

Year of fee payment: 13

LAPS Cancellation because of no payment of annual fees