JPH02224058A - 自然言語処理システム - Google Patents

自然言語処理システム

Info

Publication number
JPH02224058A
JPH02224058A JP1297176A JP29717689A JPH02224058A JP H02224058 A JPH02224058 A JP H02224058A JP 1297176 A JP1297176 A JP 1297176A JP 29717689 A JP29717689 A JP 29717689A JP H02224058 A JPH02224058 A JP H02224058A
Authority
JP
Japan
Prior art keywords
evaluation
words
candidate
likelihood
kana
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP1297176A
Other languages
English (en)
Inventor
Yoshitoshi Yamauchi
佐敏 山内
Masaru Nakajima
勝 中島
Kazuhiro Inoue
和博 井上
Nobuyuki Oro
大呂 延幸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP1297176A priority Critical patent/JPH02224058A/ja
Publication of JPH02224058A publication Critical patent/JPH02224058A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Document Processing Apparatus (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】
技諸づ遭 ワードプロセッサやD P Sの口木語入力などに用い
る仮名漢字変換処理方法および仮名漢字変換処理、装置
、音声認識装置11機械翻訳や校正支援や文字認識など
における自然言語解析装置などの自然言語処理システム
に関する。 始末−技−術− 従来の仮名漢字変換方式としては、2文節の読みを表わ
す仮名文字列(以下、単に読みという)の長さが最長に
なるように変換を行なう2文節最長一致法がよく知られ
ているが、2文節の長さだけをパラメータとしたのでは
正しく変換できない場合があり。変換機能の向上のため
には、より多くの情報を用いて仮名漢字変換を行なわな
ければならない。複数のパラメータを用いた方式とし゛
〔、読みの長さ、接続確率、頻度を用いた評価式による
変換方法がある(特開昭59−2217339公報ン。 従来方式では5個々のヤ語のJf価を積分・〕・・鴛二
とで候補を評価していノ;。91つで2個々の評価が一
致して1つの候補を支持(・ている場合には尤もらしい
候補が明確になるが、−・致していない場合には逆にど
の候補もほとんど同じ評価となり、尤もらしい候補を明
確にすることができないという問題があった。また、候
補の評価の範囲は文節ど関係なく単語数で行なわれてい
るため、出力される候補に文節として安定度が不足して
しまい、奇異な変換を行なってしまう場合があった。 また、他の)′(ラメータを新たに評価に利用し7よう
とする場合、そのパラメータによる評価も他のパラメー
タと同じように積分;!!tb Zhので、追加しよう
とするパラメータと他のパラメータの評価の比重を考慮
する必要がある。パラメータが増えると考慮すべき要素
が増えることになるので、評価結果の合成における比重
の設計が困類となる。これが多くの情報を用いた高性能
な仮名漢字変換処理を行なう上での問題となっていた。 旧−一一一カ 本発明は、上述のごとき欠点を解決す孔た2’> &、
−。 なされたもので、(1)候補の尤もら1,2さ(、、対
する複数の証拠を合成する手段を実現し、高性能な自然
言語処理を行なうこと、(2)文節の安定度を考慮した
高性能な仮名漢字変換処理を行なうこと、(3)文節の
安定度を損うことなく高速な仮名漢字変換を行なうこと
を目的とする。 構−一一裁一 本発明は、上記(1−)の目的を達成するために、■読
みを表わす仮名文字列に対応する表記用の単語の情報を
保持するl’−’3バ辞書と、変換すべき仮名文字列を
元に単語を検索する辞書検索手段と、検索された単語を
用いて表記文字列の候補を抽出する候補抽出手段と、抽
出された候補の尤もらしさの証拠を複数与える候補評価
手段と、評価の結果得られた複数の証拠の合成を行なう
合成演算手段と1合成結果より尤度または確度を計算し
、これに基づいて出力する表記文字列の候補を決定する
手段とを有して仮名漢字変換処理を行うこと(請求項第
17項に対応)、或いは、■読みを表わす仮名文字列に
対応する表記用の単語の情報を保持する単語辞書と、変
換すべき仮名文字列を元に単語を検索する辞書検索手段
と、検索された単語を用いて表記文字列の候補を抽出す
る候補抽出手段と、抽出された候補の尤もらしさの証拠
を複数与える候補評価手段と、評価の結果得られた複数
の証拠の合成を行なう合成演算手段と1合成結果より尤
度と確度を計算し、これに基づいて出力する表記文字列
の候補を決定する手段とを有して仮名漢字変換処理を行
うこと(請求項第2項に対応)、或いは、■読みを表わ
す仮名文字列に対応する表記用の単語とその品詞と頻度
の情報を保持するqj、語辞書と、変換すべき仮名文字
列を元に単語を検索する辞書検索手段と、検索された単
語を用いて0以上の接頭語と1以上の自立語と0以上の
接尾語とからなる自立部を抽出する自立部抽出手段と、
単語または自立語の接続のしやすさを示す接続確率認定
手段と、自立部を構成する各!114語について頻度と
読み長と接続確率とにより候補の尤もらしさを示す証拠
を与える評価手段と、評価の結果得られた証拠を合成す
る合成演算手段と、合成された結果より尤度と確度を計
算し、これに基づいて自立部の尤もらしさを示す評価を
与える手段とを有して仮名漢字変換処理を行うこと(請
求項第5項に対応)、或いは、■読みを表わす仮名文字
列に対応する表記用の単語とその品詞と頻度の情報を保
持する単語辞書と、変換すべき仮名文字列を元に単語を
検索する辞書検索手段と1.、頻度と読み長と単語の接
続のしやすさを示す接続確率とについて評価を行ない単
語の尤もらしさの証拠をそれぞ九与える候補評価手段と
、Mf価の結果得られた証拠を合成して出力すべき単語
の評価値を法定する法定手段とを有して仮名漢字変換処
理を行うこと(請求項第7項に対応)、或い(:j: 
、■読みを表わす仮名文字列に対応する表記用の一甲語
とその品詞と頻度の情報を保持する単語辞書と、変換す
べき仮名文字列を元に単語を検索する辞3検索手段と、
単語の接続のl、2やずさ♂・示ず接続確率認定手段と
、頻度と読み長と接続確率とにより評価を行ない単語の
尤もらしさについての証拠を与える評価手段と、複数の
単語の尤もらしさについての証拠を合成する合成演算手
段と、合成結果より尤度と確度を11算し1.17れに
基づいて出力する表記文字列の候補の仮確定を行なう範
囲を決定する決定手段どを有して仮名漢字変換処理を行
うこと(請求項第8項に対応)、或いは、■読みを表わ
す仮名文字列に対応する表記用の単語の情報を保持する
lti語辞書と、変換すべき仮名文字列を元に単語を検
索する辞書検索手段と、検索された単語を用いて表記文
字列の候補を抽出する候補抽出手段と、抽出された候補
の尤もらしさの証拠を複数与える候補評価手段と、複数
の評価結果の合成を行なう合成演算手段と、合成結果よ
り尤度と確J「をシ1算し、これに基づいて出力する表
記文字列の候補の仮確定を行なうか、あるいはさらに評
価を続けるかの判定を行なう判定手段とを有し、て仮名
漢字変換処理を行うこと(請求項第9項に対応)、或い
は、■読みを表わす仮名文字列に対応する表記用の単語
の情報を保持する単語辞書と、変換すべき仮名文字列を
元に1h語を検索する辞書検索手段と1、検索された単
語を用いて表記文字列の候補を抽出する候補抽出手段と
、抽出された候補の尤もら(、。 さの証拠を複数替λ、る候補評価手段と、複数の評価結
果の合成を行なう合成演算手段と、合成結果より尤度と
確度を計算し、これに基づいてさらに別の候補を抽出し
て評価を続けるかどうかの判定を行なう判定手段とを有
して仮名漢字変換処理を行うこと(請求項第10項に対
応)、或いは、■読みを表わす仮名文字列を入力する入
力装置と。 変換された表記文字列を表示する出力装置とを有し、請
求項1〜11のシステムの何れかあるいは任意数の組み
合せを用いて読みを表わす仮名文字列を漢字仮名交じり
の表記文字列に変換して仮名漢字変換処理を行うこと(
請求項第1−2項に対応)。 或いは、■音声により仮名文字列を入力する入力装置と
、単語の情報を保持する単語辞書と、変換すべき仮名文
字列を元に単語を検索する辞書検索手段と、検索された
単語の組み合わせの候補を抽出する候補抽出手段と、抽
出された候補の尤もらしさの証拠を複数与える候補評価
手段と、評価の結果得られた複数の証拠の合成を行なう
合成演算手段と、合成結果より尤度と確度を酎算し、:
、 lit。 1、二基づいて単語の判定割符なう判定手段とから成る
音声認識装置を備えたこと(請求項第13項に対応)、
或いは、[相]少なくと+i表記情報と品詞情報を持つ
単語辞書と、解析すべき文字列を元に単語を検索する辞
書検索手段と、単語の組み合わせの候補を抽出する候補
抽出手段と、抽出された候補の尤もらしさの証拠を複数
与える候補評価手段と、評価の結果得ら扛た複数の証拠
の合成を行なう合成演算゛手段と1合成結果より尤度と
確度を計算し、これに基づいて単語の区切り部分を判定
する判定手段とから成る自然言語解析装置を備えたこと
(請求項第1,4項に対応)を特徴としたものであり、
1−記[1的(2)を達成するために、()読みを表わ
す仮名文字列に対応する表記用の単語とその品詞と頻度
の情報を保持する単語辞−3と1、変換すべき仮名文字
列を元に単1語を検索する辞書検索手段と、検索された
Li2語を用いて0以上の接頭語と1以りの自立語と0
以上の接尾語とからなる自立部を抽出する自立部抽出手
段と。自立部の接続のしやすさを示を接続確率認定手段
と、自立部を構成する単語の頻度と読み長と自立部の接
続確率とから自立部の尤もらしさを示す評価値を与える
評価手段どを有して仮名漢字変換処理を行うこと(請求
項第3項に対応)、或いは、0読みを表わす仮名文字列
に対応する表記用のl!1.語とその品詞と頻度の情報
を保持する単語辞書と、変換すべき仮名文字列を元に単
語を検索する辞書検索手段と、検索された14i語を用
いてO以」二の接頭語と1以上の自立語とOJスス上接
尾語とからなる自立部を抽出する自立部抽出手段と、j
p−語の接続のしやすさを示す接続確率認定手段と、自
立部を構成する単語の頻度と読み長と接続確率とから自
立部の尤もらしさを示す評価値をケ、える評価手段とを
有して仮名漢字変換処理を行うこと(請求項第4項に対
応)、或いは、◎読みを表わす仮名文字列に対応する表
記用の単語とその品詞と頻度の情報を保持する単語辞書
と、変換すべき仮名文字列を元に単語を°検索する辞書
検索手段と、検索さシーbた甲語を堕い′〔Q以J二の
接頭語と1、以」二の自立”、・・)−0以上の接尾語
とからなる自立部を抽出する自立部抽出手段と1,11
語または自立語の接続の1.・やすさを示す接続確′F
4!−認定手段と、自立部を構成する各単語について頻
度と読み長と接読確率とにより候補の尤もらしさを示す
証拠を与える評価手段と、評価の結果9!)られた証拠
をか成する合成演算ト段と、合成された結果より尤度と
確度をM1算し、これに基づいて自立部の尤もらしさを
示す評価を与える手段とを有して仮名漢字変換処理を行
うこと(Si2求項第5項に対応)、或いは、0読みを
表わす仮名文字列に対応する表記用の一甲語とその品詞
と頻度の情報を保持する単語辞書と、変換すべき仮名文
字列を元に単語を検索する辞書検索手段と、検索された
11i、語を用いて第1文節と第2文節の自立部以上に
より構成される表記文字列の候補を抽出する候補抽出手
段と、抽出された候補の第1文節と第2文節の自立部と
に対して候補の尤もらしさをπず価して評価結果を与え
る候補評価手段と、評価の高い候補を決定し、その第1
文節だけを仮確定する手段を有して仮名漢字変換処理を
行うこと(請求項第6項に対Jδ)、或い;す、0読み
を表わす仮名文字列に対応する表′52用の甲1語とそ
の品詞と頻度の情報を保持する単語辞書と。 変換すべき仮名文字列を元に単語を検索する辞書検索手
段と、検索された単語を用いて第〕文節と第2文節によ
り構成される表記文字列の候補を抽出する手段と、抽出
された候補の第1文節と第2文節とに対して候補の尤も
らしさを評価して評価結果を与える候補評価手段と5評
価の高い候補を決定し、その第1文節だけを仮確定する
手段を有して仮名漢字変換処理を行うこと(請求項第1
1、項に対応)を特徴どしたものであり、また、−1−
裂目的(3)を達成するために、0読みを表わす仮名文
字列に対応する表記用の(れ語とその品詞と頻度の情報
を保持する単語辞書と、変換すべき仮名文字列を元に単
語を検索する辞書検索手段と、検索された単語を用いて
第J。文節と第2文節の自立部以」二により構成される
表記文字列の候補を抽出する候補抽出f−段と、抽出さ
れた候補の第1文節と第2文節の自立部とに対して候補
の尤もらしさを評価して評価結眼を与える候補評価手段
と、評価の高い候補を決定し、その第]文節だけを仮確
定する手段を有して仮名漢字変換処理を行うこと(請求
項第(1項に対応)、或いは、0読みを表わす仮名文字
列に対応する表記用の単語とその品詞と頻度の情報を保
持する単語辞書と、変換すべぎ仮名文字列を元に単語を
検索する辞書検索手段と、単語の接続のしやすさを示す
接続確率認定手段と、頻度と読み長と接続確率とにより
評価を行ない単語の尤もらしさについての証拠を与える
評価手段と、複数の!lj語の尤もらしさについての証
拠を合成する合成演算手段と、合成結果より尤度と確度
を計算し、これに基づいて出力する表記文字列の候補の
仮確定を行なう範囲を決定する決定手段どを有1−.て
仮名漢字変換処理を行うこと(請求項第8項に対応)、
或いは、0読みを表わす仮名文字列に対応する表記用の
単語の情報を保持する単語辞書と、変換すべき仮名文字
列を元に単語を検索する辞書検索手段と、検索され、た
単3を用い゛C表記文字列の候補を抽出する候補抽出手
段と、抽出きれた候補の尤もらし2さの証拠を複数υ7
える候補評価手段と、複数の評価結県の合成を行なう合
成演算手段と一合成結果より尤度と確度をz1算し、こ
れに基づいて出力する表;:[;文字列の候補の仮確定
を行なうか、あるいはさらに評価を続けるかの判定を行
なう’liJ定手段とを有して仮名漢字変換処理を行う
:と(請求項第91項に対応)。 或いは、O読みを表わす仮名1T、列に対応する表記用
の単語の情報を保持する単語辞書と、変換すべき仮名文
字列を元に単Jti&検索する辞書検索手段と、検索さ
れた中詰を用いて表記文字列のイ1カ補を抽出する候補
抽出′[段と、抽出された候補の尤もらしさの証拠を複
数−9える候補評価手段と。 複数の評価結果の合成を行なう合成演算手段と、合成結
果より尤度ど確度を計算I・、これに基づいてさらに別
の候補を抽出して評価′I!−続けるかどうかの判定を
行なう判定手段とを有して仮名漢字変換処理を行うこと
(請求項第10項に対応)を特徴としたものである。以
ト5本発明の実施例に基づいて具体的に説明する。 12の 本発明の特徴は、複数の評価をデンプスタ−シュ;・−
ファ・−の確率理論における証拠とみなし、個々の評価
の結果を基本確率とし゛(与え、デンプスタ−・の結合
規則S:適用した合成演算を行なうことによって複数の
評価の結果を合成することにある。 第1図は本発明の一実施例を説明するための図で、まず
、入力された読轟を元に辞kを検索12単語を抽出する
。次に抽出された甲1語を用いて7品詞を元にしたiB
t語間の接続の認定などを行ない、候補を抽出する。抽
出された候補に対して、共起情報による評価や読み長に
よる評価等を行なう3従来の方式では、複数の評価方法
がある場合、複数の評価による結果を積分していた。例
えば候補として候補a、候補b 、候補C2候補dの4
つがあった場合、従来方式では。 候補aの尤もらし7さ 候補すの尤もらし、さ 候補(:の尤もらし1、さ 蔗祁・1のNtちらし!S についてのみ評価値を与えていた0本発明では。 評価結果をデンプスターシエーファーの確率理論におL
′jる基本確率として与えるために、評価に曖昧さがあ
る場合は、 候補aまたは候補すの尤もらしさ 候補すまたは候補Cの尤もらしさ 候補aまたは候補l)または候補Cの尤もらしさ候補す
または候補すまたは候補dの尤もらしさに°ついても値
を与えることで評価の曖昧さを表現できる。すなわち、
評価処理自体の曖昧さも考慮した評価をすることになる
ゆ例として4つの候補a、b、○、dに対する評価の与
え方について説明する。 θ” (ay b@ (3,d) X= (AO,A、、A2.A、、、A4.A、、A、
、A7.A&A g A 16 g A X 1 y 
A □2 p A L 3 g A 14 g A z
 5 )ただし、A0=φ、A1= (a)、A、= 
(b)。 A、=  (c)、A、=  (d)、A、=  (a
。 b)p  A6=  (a +  C)*  Ai= 
 (a td)v  As=  (b+  G)*  
As−(btd)、Δ、。=  (c、d)、A工、=
(a。 b、c)、A、、=  (a、b、d)。 Ax3=(a 、c 、d )  −Ax*=(b −
c、d  ン  、  A、、〜8 とおく。θは候補の集合を表オ)しており、Xはθの部
分集合からなる集合である。評価の結果は基本確率mと
して与える。基本確率mはO・〜1の値をとり、 m(φ)〜0 Σ m (A、) 〜1 A□cx を満たずように与える。このような評価の与え方は非常
に大きな自由度をもっており、曖昧さや否定を含む評価
を表現することができる7たとえば。 ある評価によって 候補aである確からしさが0.4.候補l)である確か
らしさが0.4.候補Cである確がらしさが0.1.候
補dである確からしさが0.3である場合。 m((a))−”0.4.m((b))〜0.4゜m(
(c))〜0.1 、m((a))=o、iと与え、 候補aまたは候補すである確からしさが0.8゜候補C
である確からしさが0.1.候補dである確からしさが
Ool であるという場合、 m((a、b))〜0.8.m((c))〜0.1゜m
((d))〜0.1 と与え。 候補a、b、eの何れかである(すなわち候補d以外で
ある)確からしさが0.8.残りの0.2は候補a p
 b p Oの何れか判らないという場合、 m((at b+ e))〜0.8+ m((at b
、Q。 d))=o、z と与えることができる。、曖昧な評価が可能になったこ
とにより、本発明では経験的な知識を評価に用いること
も容易である。 共起情報による評価や読み長i、7よる評価は、候補の
尤もらしさの証拠どして合成演算が行われる。 ある評価により与えられた基本確率m、と別の評価によ
り与えられた基本確率m2を合成した基本確率mユ、を
計算するデンプスタ−・の結合規則は次の式で表わされ
る。 このように1−1で合成された評価結果は光度または確
度により評価される。尤度P1.確度B e ]は次の
式で示される。 Be1(Δt)=t−pi(人、) 尤度は候補が正解である可能性の最大値を示し、候補を
否定する評価の弱さを意味している。確度は候補が正が
である可能性の最小値を示し、候補を肯定する評価の強
さを意味する。曖昧な評価による証拠であってもそれを
合成することによりもつともらしい候補の尤度、確度が
高くなる。請求項〕、の発明では1、−のことを利用し
て、複数の証拠を合成し、その結果から光度または確度
を求めることで、多くの情報を用いた高性能な仮名漢字
変換処理を実現できる。 また、尤度と確度の差はぞの候補に対する評価の曖昧さ
(無知放ンを意味する。従って、あ?求項第2項の発明
である尤度と確度を計算して候補を決定する方式では候
補の尤もらしさだ番ブではなく評価の尤もらしさについ
ても評価できる6たどえば、第1自支部、第1文節、第
2自立部の3通りの評価によって出力候補を決定する場
合にJ′Eいて、第1自立部に対する評価111□、第
2文節1.こ対する評価i’n K H第2自立部に対
する評価m3が、 m、((e))     =o、i、m、((a、c)
)   =0.4゜Ill ((apbpc))   
=O−2+  mh ((alb?cId))  =0
−3tI1g((a、bpe))   =0−1.  
ma((a、c、d))   =0.2Fmz((a*
bpd))   =0−21  pqz((btc+a
))   =o。1f*1((a、b、e、d))  
=0.4゜11z((a>)=、0.2.  m、C(
a、、’>))=0.4゜m3((apbpc))=0
.2p  It’3((a+b*ctd))=0−2y
と与えられた時、m□とm、を合成した時点での確度、
尤度は次のようになる。 Bf31((a))40.08.  pi((a))≠
0.83Bel((b))’−0,00,PL((h)
)40.4113sl((c))40.12.  P]
、((c))”=0.82Bei((d))40.00
.  PL((d))40.29合成結果より、2つの
評価だけを合成した状態では、候補aと候補Cが尤もら
しいことと、曖昧さが大きく、どちらが尤もらしいかは
判断できないことがわかる。 また、mlとm2とm、とをすべて合成した時点での確
度、尤度は次のようになる。 nel((a))40.42.  pi((a))40
.90BeJ、((b))”Fo、02.  PL((
b))”Fo、36Bel((e))40.05.  
pi((r;))吋0.a6Bol((d))勾0.0
0.  pi((d))弓0.Oeこの合成結果より、
候補aが正解である可能性の最小値は、他の候補が正解
である可能性の最大値より大きいので、候補aが正解で
あると判断できる。 このように本発明では出力する候補を法定する場合に、
出力候補の尤もらしさ、確からしさの両面での評価が行
なうS゛と、Ilへ′cきる。従−)で、学習により優
先可能であるかどうかを、尤度がある閾値以上であるか
どうかにより判断する、二とにより。 学習の副作用による無念昧造語の発生を抑制するなどの
処理が可能になる。 また、無知歇がわかるので、変換に用いた評価方法によ
り候補の評価を行なうごとができたかどうかを知ること
かでさ”るい無知址が大きい堤合には評価により与λら
れ5た情報メバ不充分だったことを意味する、従って、
仮名漢字変!fA装置の開発では1、無知呈を調べるこ
とにより、十分な評価が行なわわているかどうかを知る
ことができる利点がある。 なお、以上の説明では、基本確率が0−1であるとして
説明を行な・ったが、本発明を実施する際には量子化を
行なって整数領域で4算を行なえば、実数演算を行なう
ごとなく本発明の合成方法を実現できる。また、上記実
施例ではθを候補の集合として処理しているが、θを正
解と不正解どして実現する、−ともできる。例えば、経
験的な知識とIJで第1表に示す様な共起情報が与えら
れており、「厚い人情」という候補があった場合、この
候補が正解である確からしさはO27であり、残りの0
゜3は正解か不正解かはいずれとも言えないどうことに
なるので、この評価による証拠として、nl((正M)
)=0.7.  m((正解、不正解))=0.3のよ
うに与える二ノ・で、それぞれの候補についての尤もら
しさを個別に評価することもできる。 第」請− 関しg−項J ;371の一光一明一 従来の読み長、頻度、接続確率を用いた評価は同じ単語
数分の評価を積分して評価値を与えていた。しかし、一
定単語数の範囲で評価を行なうことは文節の切れ目と関
係なく評価を行なうことになるため、文節の安定度の点
で問題がある。本発明では文節の安定度を与えるために
、自立部に対して読み長、頻度、接続確率を用いて評価
値を与える。 まず、接続確率について説明する。本発明でいう自立部
は、接頭部、自立語、接7S語により構成される。本発
明では、1以上の単語からなる自立部をあたかもJ、自
立語であるかのようにみなした時の品詞を求める。たと
えば自立語のみからなる自立部「効率」は明らかに名詞
であり、これに接尾語の゛)いた自立部「効率化」は接
尾語「化」よりす変名間とみなすことができる。このよ
うに自立部の品詞は、自立部を構成する最後の単語の品
詞と対応付けることにより判断できる。従って、自立部
の接続確率は、このようにして求めた自立部の品詞と、
直前の文節の最後のqj、語の品詞との間の接続確率と
して求めることができる0品詞と品詞の間の接続確率は
、従来方式と同様に接続しやすいもの程大きくなるよう
に与えておく。次に頻度であるが、これは自立部を構成
する各単語の頻度の合計を自立部の頻度として用いる。 単語の頻度はあらかじめ辞書に登録される甲1語の情報
として、よく利用されるもの程大きい値になるように与
えておく。 このようにして求めた接続確率と頻度および自立部の読
み長を使用して抽出された自立部の候補に対して評価値
を与える。自立部の読み長と自立部の頻度は、大きい方
が尤もらしいが、これは単語数が多い程大きくなってし
まう7また、抽出された候補を比較する場合に、各候補
を構成する単語の数は異なることになるが、一般に構成
単語数の少ないものの方が尤もらしい。従って、本発明
では抽出された候補の尤もらしさを表わず評価値を、自
立部の読み長さ14.頻度をfJ+接続確率をOf 、
自立部を構成する単語数をnとすると”’ (I J+
 fJ) + CJ !1 により求め、大きい値になるものほど尤もらしいとする
。なお、この式は一つの実施例であり、頻度や接続確率
の値の設定により別の式も考λ2られる。また、長さを
重視した評価式として’ (l J + f 、+ )
 + c J + I Jにより評価を求める実施例も
考えられる、請木−碩プレL項、の溌−明 従来の読み長、頻度、接続確率による評価では。 文節の安定度が不足していた。本発明では文節の安定度
を得るノtめに自立部の単位での評価を行なう。従来方
式では単語数の異なる候補の評価を比較することができ
なかったが、本発明では接頭語あるいは接尾語が存在し
ない場合に対して補正を行なうことで比較を可能にする
。 578の 自立部の尤もらしさについて、接頭語、自立語。 接尾語のそれぞれの評価値を自立部の尤もらしさに対す
る証拠としてデンプスタ−の結合規則によす合成し、自
立部の評価とする。証拠の与え方は。 上記請求項第1,2項の対応でも述べたように、複数の
候補のど拉が尤もらしいかに対してケえる実施例と、す
れぞれの候補についての正解、不正解の尤もらしさにつ
いて証拠を与える実施例などがある。評価の範囲を自立
部に限定しない請求項第7項では、従来方式の単語の評
価の積分を行なうかわりに、複数単語の評価結果をデン
プスタ−の結合規則により合成する。合成された結果よ
り尤度と確度を計ブすれば、従来方式の尤もらしさに加
えて確からしさについても評価を行なうことができる。 また、尤度と確度を求めることにより、請求項第8項の
評価の暖味さを考慮して仮確定を行なう範囲も・決定す
ること等が可能になる。 訂犯」、」」35− 本発明の特徴は3/2文節の評価による仮名漢字変換処
理を行なう点である。 まず3/2文節について説明する。日本語は文節の連続
によって構成されている。文節はさらに0以上の接頭語
と1以上の自立語と0以上の接尾語と0以上の付属語よ
り構成される。以下では文節の構成を2つに分け、接頭
語と自立語と接尾語で構成される部分を自立部、付属語
で構成される部分を付属部と呼ぶ。従来方式では、文節
の安定度を得るために2文節の評価を行なっていた。2
文節の評価において、第2文節の評価は第1友節の候補
を決定するために行なっている。しかし、文節の安定度
の大半が自立部にある点に注目すると、第1文節の候補
決定のための評価に用いる第2文節の情報は、自立部の
みの情報であっても、第2文節ずべ1:′を用いて第1
1文節を評価した場合とほぼ同等の文節の安定度を得る
ことができる。 従って5本発明では第]文節の候補を決定するために、
第1文節と第2文節の自立部の評価を用いる677本発
明は、第1文節(すへ・オ〕ち第】自立部と第」付属部
)と第2文節の自立部(すなわち第2自立部)をあわせ
て:3/2文節と呼ぶい一般番、−1評価に用いる範囲
を長くすると、候補の抽出に必要となる辞書検索の回数
は指数的に増加する。従って、本発明の37′2文節評
価によれば、従来方式の2文節評価に比べ大幅な処理速
度の向上が可能になる。 第2図は本発明の仮名漢字変換処理方式を用いた仮名漢
字変換処理装置の実施例における構成を示す図、第3図
は1本発明の実施例における処理手P!Iを説明するた
めの図で6図中、〕、は入力部、2は変換制御部、3は
出力部、4は候補抽出部、5は候補評価部、6は合成演
算部、7は辞書倹索部、8は辞書で、まず、与えられた
読みに一致する接頭語、自立語、接JL語を検索して、
活用形の処理や単語間の接続の認定を行なって第1自立
部の候補を抽出する6次に抽出された候補に対し5.て
評価を行なう、第1自立部の候補数が多い場合。 必要に応じて評価の低い候補の刈り込みを行なう。 次に第〕自立部の候補に苅しT:接続する付属部の検索
を行ない、第1文節の候補を抽出する。さらに第2自立
部の候補を抽出を行ない、第」5文節とそれに続く第2
自立部の情報を用いて第1文節の候補を法定する。 第4図は本発明の他の実施例を説明するためのフロ・−
チャー1′・で、第3図に示した実施例では第1文節の
抽出を行なっノー後にI゛−だちに第2自立部の抽出を
行なっていたのに対17、この実施例では抽出された第
1文節に対I、2で評価を行なった後に第2自立部の抽
出を行なう。第1文節の抽出後に評価を行なうことによ
り、第1文節の候補数が多い場合を、必要に応じて評価
の低い候補の刈り込みを行なうことができる。 自立部の尤もらしさの評価方法としては請求項第3項乃
至第5項などを用いることができる。 荀−其項第↓ユJL生発叫 本発明の特徴1j2文節の評価に、Jる仮名漢字変換処
理を行なう点である。 まず、2文節についで説明する8日本語it文節の連続
によって構成9’r il、ている6文節はさらに0以
上の接尾語と1以上の白q語と0以−にの接尾語と0以
上の付凋、語より構成される。以下では文節の構成を2
つに分け、接頭語と自立語と接尾語で構成される部分を
自ザ1語、付属語r!構成される部分を付属部と呼ぶ。 本発明では第1−文節の候補を決定するため&!、。 第1文節と第2文節の評価を用いる。 第6図は、本発明の実施例「おける処理手ITiを説明
するための図で、まず、与えられた読みに−敗り−る接
頭語、自立語、接尾語を検索して、活用形の処理や単語
間の接続の認識を行な1.Jて第1自立部の候補を抽出
する。次に抽出された候補に対して評価を行なう。第1
.自立部の候補数が多い場合、必要東、二hε・じて評
価の低い候補の刈り込みを行なう。次に第1自立部の候
補に対して接続するイー」前部の検素を行ない、第1文
節の候補を抽出する、さらに同様の処理で第2文節の候
補を抽出を行ない、第j、文節どぞれに続く第2文節の
情報を用いて第1文節の候補を決定“する。 第7図は本発明の他の実施例を説明するためのフローチ
ャー1・で、第6図に示した実施例では第1文節の抽出
を行なった後にただちに第2文節の抽出を行なっていた
のに対し、この実施例では抽出された第1文節に対して
評価を行なった後に第2文節の抽出を行なう。第1文節
の抽出後に評価を行なうことにより、第j文節の候補数
が多い場合を、必要に応じて評価の低い候補の刈り込み
を行なうことができる。 自立部の尤もらしさの評価方法としては請求項第3項乃
至第5項などを用いることができる。 9 10の 第5図は請求項第9項による仮名漢字変換処理の実施例
を示す図で、本実施例では、まず請求項第6項に対応で
述べた3/2文節評価を行なう。 他の実施例として、請求項11を用いた場合のフローチ
ャーl−を第8図に示す。始めに、第1自立部を抽出

2、抽出さil、た第1自立部に対して請求項第1項に
対応で述べた読み長、頻度、接続確率、自立部の単語数
を用いた評価を行ない、基本確率の形で候補の評価を与
える。この際、評価の著しく低い候補については刈り込
みを行なう。次に第1文節を抽出し、さらに第2自立部
を抽出する3第2自立部は、第1文節の各候補に対し、
尤も評価の高いものをそ汎ぞれ】、つだけを抽出して第
1文節候補の評価に用いる。第1文節と第2自立部を用
いた3/2文節評価では、第]自立部と同様な評価と、
第1文節の付属部と第2自立語の読み長を用いた評価と
を行ない、それぞれ基本確率の形で評価を与える。そし
て、3つの基本確率の合成をデンプスタ−の結合規則に
より行い、尤度と確度を求める。最大の確度をもつ候補
の確度よりも大きな尤度をもつ候補が他にない場合には
、出力候補をその候補に決定する。そうでなければ、共
起情較による評価を行ない、その結果を合成する。それ
でもなお候補が1つに定まらない場合は第2文節の抽出
を行なって、2文節を用いた評価を行ない、それを合成
しまたうえで出力候補を決定する。 例として読み「しようかいかくではこうかがすくない」
が与えられた時、第1自立部として、r紹介」、「消化
」、「商」、「書」、「小改革」、「小開化」、「小開
化図」、・・・・・・が抽出されるゆ 単語の頻度ば「紹介」が2.「消化」が3゜「商」が0
.「書」が1.「小」が5.「改革」が3.「開化」が
2.f区」が3.・・・と与えられている。また、自立
部としての品詞と接続確率は「紹介」、「消化」、「小
改革」、「小開化」。 ・・がす変名間で接続確率ば3.「商」、「書」。 ・・・が1文字の漢語名詞で接続確率は1.「小開化図
」、・・・が地名で接続確率は2などとなる。 これにより請求項第1項、第2項の発明の項で述べた方
法で評価値を計算すると、「紹介」が10゜「消化」が
10.「商」が4.「書」が4.「小改革」が9.「小
間化」が8.「小開化図」が6.3.・・・どなる。次
にこの結果を基本確率として与え、刈り込みを行なう。 本実施例では評価値の高い順に候補を並べ、次に高い候
補との差を尤も高い評価値で割った値を基本確率とし、
て与える。ここでは説明のため上位5つで基本確率への
変換を行なうものとしてこれを計算すると、第1自立部
の評価の結果は ml((r紹介」、「消化J))          
   =0.1゜m工((「紹介」、「消化」、[小改
革J))        =O91゜ml((’紹介」
、「消化」、「小改革」、「小開化J))   =0゜
17゜ml((r紹介」、「消化」、「小改革」、「小
開化」、「小間化区」))=0.63 となる、 次に第1自立部の候補に付属部を付加すると、第1文節
の候補として、「紹介」、「紹介か」。 「消化」、「小改革」、「小改革で」、1′小改革では
」、「小開化」、「小開化図」。 「小開化図で」、「小開化図では」が抽出される。この
それぞれに対し尤も評価の高い第2自立部を抽出すると
3/2文節として、「紹介」+r角」、1゛紹介か」+
「苦」、「消化」+r以下」、「小改革」十「出」、「
小改革で」十「撞こ」、「小改革では」+「効果」、「
小開化」+「苦」、「小開化図」+「出」、「小開化図
で」+「掃こ」、「小開化図では」+「効果」が抽出さ
れる。 第1自立部の評価結果を各第1文節に対する評価に変換
すると m工((「紹介」、「紹介か」、「消化」))=0.1
゜ mz((’紹介」、「紹介か」、「消化」、「小改革」
。 「小改革で」、「小改革では」)) 、=0.1゜ ml((「紹介」、「紹介か」、「消化」、「小改革」
。 「小改革で」、「小改革では」、1小開化」))=o、
i  7 m、((「紹介」、「紹介か」、「消化」、「小改革」
。 「小改革で」、「小改革では」、「小開化」。 「小開化床」、「小開化床で」、[小開化床ではJ))
         =O063となる。 また第2自立部について、第1自立部と同様にして評価
値を求めるとr角」が4.(「紹介か」+)「苦」が3
.r以下」が6.「出」が3゜「掃こ」が7.「効果」
が8.(r小間化」+)「苦」が2となる。第】、自立
語と同様にして基本確率を与えると、第2自立部の評価
の結果はm、((r小改革では」、「小開化床では」)
)=Q、125 mz((’小改革では」、「小開化床では」、「小改革
で」、「小開化床で1.「消化、1))= Q 、 2
5 ma((’小改革では」、「小開化床では」、「小改革
で」、「小開化床で」、「消化」、「紹介J)) =0.125 mxc(r小改革では」、「小開化床では」、「小改革
で」、「小開化床でjp’消化」))=0.25 m、((r小改革では」、「小開化床では」、「小改革
で」、「小開化床で」、「消化」、「紹介」)) =Q、125 m、((r小改革では」、「小開化床では2.「小改革
で」、「小開化床で」、「消化」、「紹介」、「紹介か
」、「小改革」、「小開化床」)) =0.125 mz((’小改革では」、[小開化床では、「小改革で
」、「小開化床で」、「消化」、「紹介」、「紹介か」
、「小改革」、「小開化床」、「小間化」)) =0.25 となる。また、第1文節の付属部と第2自立部との読み
長を評価とみなして同様に正規化するとm、((r小改
革では」、「小開化床では」))=0゜4 m、((r小改革では」、「小開化床では」、「小改革
で」、「小開化床で」)) =0.2 m、((r小改醍では」、「小開化床では、「小改革で
」、「小開化床で」、「紹介」、「紹介か」、「消化」
)) m、t(’(’小改革では」、「小 改革で」、「小開化 介か」、「消化」、「小 「小開化床」)) =0.2 開化区では、「小 区で」、「紹介」、「紹 改革」、「小間化」。 =0.2 ml、m、、m、1を請求項第1項の発明の項で述べた
方法で合成すると確度と尤度は次のようになる。 Be1((r紹介J))      =0.000.P
L((r紹介J))  =0.215nel((’紹介
かJ))     =0.OOO,円((「紹介かJ)
)=0.161Del((r消化J))      =
0.Oll、1)1((r消化J))  =0.323
Bel((r小改革J))     =0.000.P
L((’小改革J))=0.073[3e1.((r小
改革でJ))      、PL((r小改革で」))
=0.000.       =0.508[3el(
(r小改革では」))2円((「小改革では」))=0
.138.        =0゜968Bel((r
小開化J))     =0.000.r’l((’小
間化J))”0.043Del((r小開化区J)) 
     、PL((r小開化区」))=0.000.
        =0.051Del((r小開化区で
」))2円((「小開化床で」))=0.000   
     =0.356Bel((r小開化区では」)
)2円((「小開化床では」))=O,OOO,=0.
677 となる。 これより、「小改革」、「小開化Jt’小開化区」の尤
度は、「小改革では」の確度よりも低く、正解になるこ
とはないと考えられるので、刈り込むことができる。し
かし、他の候補については正解となる可能性が残されて
いるので、さらに次の共起+f3報を用いた評価処理に
移る。もし、ここまでの評価により候補を1つに決定で
きた場合には、次の評価を行なうことなく、出力候補を
法定し、仮確定の処理を行なう。なお、候補の刈り込み
に対して2尤度と最大の確度とを比較することにより、
出力候補となりえない候補を的確に判断することは本実
施例の特徴である。 共起情報を用いた評価では、共起関係にある単語を共起
情報辞書に登録しておき、該当する単語があるかどうか
を調べる。この例では共起関係にある単語はないので、
評価結果は変化しない。従って、さらに評価を行なうた
め、第2自立部に付属部を付加して第2文節′?!:抽
出する。2文節の候補として「紹介」+「角では」、「
紹介か」+「苦では」、「消化」÷「以ト」、「小改革
で」+「掃こ うか」。 「小改革では」+「効果が」、「小開北回で」+「掃こ
うか」、「小開北回では」+「効果が」が抽出される。 2文節の読み長を評価値として基本確率をケえると m+((’小改革では」、「小開北回では」))=0.
077 In4((r小改革では」、「小開北回では」、「小改
革で」、「小開北回で」)) =0.231 m、((’小改革では」9「小開北回では」、「小改革
で」、「小開北回で」、「紹介」、「紹介 か」)) =0.231 m*((’小改革では」、「小開北回では」、「小改革
で」、「小開北回で」、「紹介」、「紹介か」、「消化
」)) = 0.46 1 となる8これを合成すると確度と尤度は次のようになる
。 BeJ、((r紹介J))      =o、oot、
円((「紹介j))  =0.151Bal((r紹介
かJ))     =O,OOO,PL((r紹介かJ
))=0.113nel((r消化n)      =
0.005.Pi((rfi化J))  =0.151
Del((+’小改革で」))2円((「小改革で」)
)=o、ooo、        =o。475I3e
l((r小改革では、J))     、Pl、((「
小改革では」))=O91,52,=0.980 Bet((r小開化区でJ))     、pl((r
小開化区で」))=o、ooo         =0
.332BcJ、((1’小開化区ではJ))   、
PL((r小開化区では」))=0.000.    
    =0.68にれにより、「紹介」、「紹介か」
、「消化」は、「小改革では」の確度よりも低く、正解
となることはないと考えられる。この例では、すべての
評価がおわった後でもかなり大きな曖昧さがあることが
わかる。しかし、出力候補は確度、光度とももっとも高
い「小改革では」であると判断できる。 以上のように請求項9では確度を尤度により評価の深さ
を変更する。−・方、請求項10では確度と尤度により
評価する候補数を変更する。 なお、本発明はこの実施例の方式に限ったものではなく
、複数の処理レベルや複数の情報を用いるものであれば
、評価途中の確度と尤度を求めることにより本発明を変
形して利用できる。 また、単語の組合せは非常に多くなるのが普通であるの
で、抽出される組合せの数は一定の基準あるいは評価に
より制限されるのが一般的である6その場合5絞り込ま
れてしまった候補が正解である可能性に対しても証拠を
与えれば、抽出されていない候補に正解が含まれている
かどうかの評価を行なうことができる(請求項第10項
に対応)。 以」二に、各請求項に対応して水量の発明について説明
したが、J:、記以外に、更に、請求項第12項に記載
したように、読みを表わす仮名文字列を入力する入力装
置と、変換された表記文字列を表示する出力装置とを有
し、請求項第1項乃至第11項のシステムの何れかある
いは全部を用いて読みを表わす仮名文字列を漢字仮名交
じりの表記文字列に変換するようにすること、或いは、
請求項第13項に記載したように、音声により仮名文字
列を入力する人力装置と、単語の情報を保持する単語辞
書と、変換すべき仮名文字列を元に単語を検索する辞書
検索手段と、検索された単語の組み合わせの候補を抽出
する候補抽出手段と、抽出された候補の尤もらしさの証
拠を複数午える候補評価手段と、評価の結果得らJ−b
た複数の証拠の合成を行なう合成演算手段と1合成結果
より尤度と確度を計算し、これに基づいて単語の判定を
行なうようにすること、更には、請求項第14項に記載
したように、少なくとも表記情報と品詞情報を持つ単語
辞書と、解析すべき文字列を元に単語を検索する辞書検
索手段と、単語の組み合わせの候補を抽出する候補抽出
手段と、抽出された候補の尤もらしさの証拠を複数り・
える候補評価手段と、評価の結果得ら九た複数の証拠の
合成を行なう合成演算手段と、合成結果より尤度と確度
を計算し、これに基づいて単語の区切り部分を判定する
ようにすることも可能である7 効−一宋一 以上の説明から明らかなように、請求項第〕、項の発明
によると、候補の尤もらしさに対する複数の証拠を合成
して評価を行なうので、多くの情報を用いた高性能な仮
名漢字変換処理を実現できる。 また、請求項第2項の発明によると、候補の尤もらしさ
に対する複数の証拠を合成して評価を行なうので、多く
の情報を用いた高性能な仮名漢字変換処理を実現できる
。また、上限確率である光度と下限確率である確度によ
り、v:意味造語の抑制や学習の副作用抑制を行なうこ
とができる。候補の尤もらしさだけではなく評価結果の
曖昧さについても評価されるので、評価に用いる情報が
不足しているかどうかが判断でき、仮名漢字変換処理装
置の開発を容易にすることができる。 請求項第3項、第4項、第5項の発明によると。 自立部(文節)の安定度の高い高性能な評価を実現でき
る。また、自立部(文節)の安定度が高くなることによ
り奇異な変換を減らすことができる。 請求項第6項の発明によると、3/2文節の評価により
2文節の評価と同等の文節の安定度を得るので、高速な
仮名漢字変換処理を実現できる。 請求項第7項の発明によると、上限確率である尤度と下
限確率である確度により無意味造語の抑制や学習の副作
用抑制を行なうことができる。候補の尤もらしさだけで
はなく評価結果の曖昧さについても評価されるので、評
価に用いる情報が不足しているかどうかが判断でき、仮
名漢字変換処理装置aの開発を容易にすることができる
。読み長。 頻度、接続確率以外の証拠、例えば共起情を目1等によ
る評価との合成を行なうことが容易である。 請求項第8項、第9項の発明によると、上限確率である
先度と下限確率である確度により仮確定を行なう範囲を
決定することで、評価が曖昧な場合には広い範囲で評価
を行ない、曖昧さの少ない場合には不必要な評価を行な
うことなく仮確定を行なうことができるので、高性能で
かつ高速な仮名漢字変換処理を実現できる。 工a求項第10項の発明によると、抽出された候補に正
解が含まれているかどうかの判断を行なうので抽出する
候補の数を少なくすることができ、高性能でかつ高速な
仮名漢字変換処理を実現できる。 請求項第1】−項の発明によると1文節の安定度の高い
仮名漢字変換処理を実現できる。 請求項第12項の発明によると、高性能かつ高速な仮名
漢字変換処理により、日本語入力にかがる使用者の負担
を減少することができる。 j11求項第13項、第14項の発明によると、候補の
尤もらしさに対する複数の証拠を合成してiv価を行な
うので、多くの情報を用いた高性能な自然言語処理を実
現できる。また、上限確率である光度と下限確率である
確度により無意味造語の抑制や学習の副作用抑制を行な
うことができる。候補の尤もらしさだけではなく評価結
果の曖昧さについても評価されるので、評価に用いる情
報が不足しているかどうかが判断でき、自然言語処理装
置の開発を容易にすることができる。
【図面の簡単な説明】
第1図は、請求項第1項、第2項の発明の詳細な説明す
るためのフローチャート、第2図は、本発明の仮名漢字
変換処理方式を用いた仮名漢字変換処理装置の一実施例
における植成図、第3図は、その動作説明をするための
フO−チャート、第4図〜第8図は、それぞれ本発明の
他の実施例を説明するだめのフローチャートである。 1・・・入力部、2・・・変換制御部、3・・・出力部
、4・・・候補抽出部、5・・・候補評価部、6・・・
合成演算部。 7・・・辞書検索部、8・・・辞書。 第 図 第 図 第 図 第 図

Claims (1)

  1. 【特許請求の範囲】 1、読みを表わす仮名文字列に対応する表記用の単語の
    情報を保持する単語辞書と、変換すべき仮名文字列を元
    に単語を検索する辞書検索手段と、検索された単語を用
    いて表記文字列の候補を抽出する候補抽出手段と、抽出
    された候補の尤もらしさの証拠を複数与える候補評価手
    段と、評価の結果得られた複数の証拠の合成を行なう合
    成演算手段と、合成結果より尤度または確度を計算し、
    これに基づいて出力する表記文字列の候補を決定する手
    段とを有して仮名漢字変換処理を行うことを特徴とする
    自然言語処理システム。 2、読みを表わす仮名文字列に対応する表記用の単語の
    情報を保持する単語辞書と、変換すべき仮名文字列を元
    に単語を検索する辞書検索手段と、検索された単語を用
    いて表記文字列の候補を抽出する候補抽出手段と、抽出
    された候補の尤もらしさの証拠を複数与える候補評価手
    段と、評価の結果得られた複数の証拠の合成を行なう合
    成演算手段と、合成結果より尤度と確度を計算し、これ
    に基づいて出力する表記文字列の候補を決定する手段と
    を有して仮名漢字変換処理を行うことを特徴とする自然
    言語処理システム。 3、読みを表わす仮名文字列に対応する表記用の単語と
    その品詞と頻度の情報を保持する単語辞書と、変換すべ
    き仮名文字列を元に単語を検索する辞書検索手段と、検
    索された単語を用いて0以上の接頭語と1以上の自立語
    と0以上の接尾語とからなる自立部を抽出する自立部抽
    出手段と、自立部の接続のしやすさを示す接続確率認定
    手段と、自立部を構成する単語の頻度と読み長と自立部
    の接続確率とから自立部の尤もらしさを示す評価値を与
    える評価手段とを有して仮名漢字変換処理を行うことを
    特徴とする自然言語処理システム。 4、読みを表わす仮名文字列に対応する表記用の単語と
    その品詞と頻度の情報を保持する単語辞書と、変換すべ
    き仮名文字列を元に単語を検索する辞書検索手段と、検
    索された単語を用いて0以上の接頭語と1以上の自立語
    と0以上の接尾語とからなる自立部を抽出する自立部抽
    出手段と、単語の接続のしやすさを示す接続確率認定手
    段と、自立部を構成する単語の頻度と読み長と接続確率
    とから自立部の尤もらしさを示す評価値を与える評価手
    段とを有して仮名漢字変換処理を行うことを特徴とする
    自然言語処理システム。 5、読みを表わす仮名文字列に対応する表記用の単語と
    その品詞と頻度の情報を保持する単語辞書と、変換すべ
    き仮名文字列を元に単語を検索する辞書検索手段と、検
    索された単語を用いて0以上の接頭語と1以上の自立語
    と0以上の接尾語とからなる自立部を抽出する自立部抽
    出手段と、単語または自立部の接続のしやすさを示す接
    続確率認定手段と、自立部を構成する各単語について頻
    度と読み長と接続確率とにより候補の尤もらしさを示す
    証拠を与える評価手段と、評価の結果得られた証拠を合
    成する合成演算手段と、合成された結果より尤度と確度
    を計算し、これに基づいて自立部の尤もらしさを示す評
    価を与える手段とを有して仮名漢字変換処理を行うこと
    を特徴とする自然言語処理システム。 6、読みを表わす仮名文字列に対応する表記用の単語と
    その品詞と頻度の情報を保持する単語辞書と、変換すべ
    き仮名文字列を元に単語を検索する辞書検索手段と、検
    索された単語を用いて第1文節と第2文節の自立部以上
    により構成される表記文字列の候補を抽出する候補抽出
    手段と、抽出された候補の第1文節と第2文節の自立部
    とに対して候補の尤もらしさを評価して評価結果を与え
    る候補評価手段と、評価の高い候補を決定し、その第1
    文節だけを仮確定する手段を有して仮名漢字変換処理を
    行うことを特徴とする自然言語処理システム。 7、読みを表わす仮名文字列に対応する表記用の単語と
    その品詞と頻度の情報を保持する単語辞書と、変換すべ
    き仮名文字列を元に単語を検索する辞書検索手段と、頻
    度と読み長と単語の接続のしやすさを示す接続確率とに
    ついて評価を行ない単語の尤もらしさの証拠をそれぞれ
    与える候補評価手段と、評価の結果得られた証拠を合成
    して出力すべき単語の評価値を決定する決定手段とを有
    して仮名漢字変換処理を行うことを特徴とする自然言語
    処理システム。 8、読みを表わす仮名文字列に対応する表記用の単語と
    その品詞と頻度の情報を保持する単語辞書と、変換すべ
    き仮名文字列を元に単語を検索する辞書検索手段と、単
    語の接続のしやすさを示す接続確率認定手段と、頻度と
    読み長と接続確率とにより評価を行ない単語の尤もらし
    さについての証拠を与える評価手段と、複数の単語の尤
    もらしさについての証拠を合成する合成演算手段と、合
    成結果より尤度と確度を計算し、これに基づいて出力す
    る表記文字列の候補の仮確定を行なう範囲を決定する決
    定手段とを有して仮名漢字変換処理を行うことを特徴と
    する自然言語処理システム。 9、読みを表わす仮名文字列に対応する表記用の単語の
    情報を保持する単語辞書と、変換すべき仮名文字列を元
    に単語を検索する辞書検索手段と、検索された単語を用
    いて表記文字列の候補を抽出する候補抽出手段と、抽出
    された候補の尤もらしさの証拠を複数与える候補評価手
    段と、複数の評価結果の合成を行なう合成演算手段と、
    合成結果より尤度と確度を計算し、これに基づいて出力
    する表記文字列の候補の仮確定を行なうか、あるいはさ
    らに評価を続けるかの判定を行なう判定手段とを有して
    仮名漢字変換処理を行うことを特徴とする自然言語処理
    システム。 10、読みを表わす仮名文字列に対応する表記用の単語
    の情報を保持する単語辞書と、変換すべき仮名文字列を
    元に単語を検索する辞書検索手段と、検索された単語を
    用いて表記文字列の候補を抽出する候補抽出手段と、抽
    出された候補の尤もらしさの証拠を複数与える候補評価
    手段と、複数の評価結果の合成を行なう合成演算手段と
    、合成結果より尤度と確度を計算し、これに基づいてさ
    らに別の候補を抽出して評価を続けるかどうかの判定を
    行なう判定手段とを有して仮名漢字変換処理を行うこと
    を特徴とする自然言語処理システム。 11、読みを表わす仮名文字列に対応する表記用の単語
    とその品詞と頻度の情報を保持する単語辞書と、変換す
    べき仮名文字列を元に単語を検索する辞書検索手段と、
    検索された単語を用いて第1文節と第2文節により構成
    される表記文字列の候補を抽出する手段と、抽出された
    候補の第1文節と第2文節とに対して候補の尤もらしさ
    を評価して評価結果を与える候補評価手段と、評価の高
    い候補を決定し、その第1文節だけを仮確定する手段を
    有して仮名漢字変換処理を行うことを特徴とする自然言
    語処理システム。 12、読みを表わす仮名文字列を入力する入力装置と、
    変換された表記文字列を表示する出力装置とを有し、請
    求項1〜11のシステムの何れかあるいは任意数の組み
    合せを用いて読みを表わす仮名文字列を漢字仮名交じり
    の表記文字列に変換して仮名漢字変換処理を行うことを
    特徴とする自然言語処理システム。 13、音声により仮名文字列を入力する入力装置と、単
    語の情報を保持する単語辞書と、変換すべき仮名文字列
    を元に単語を検索する辞書検索手段と、検索された単語
    の組み合わせの候補を抽出する候補抽出手段と、抽出さ
    れた候補の尤もらしさの証拠を複数与える候補評価手段
    と、評価の結果得られた複数の証拠の合成を行なう合成
    演算手段と、合成結果より尤度と確度を計算し、これに
    基づいて単語の判定を行なう判定手段とから成る音声認
    識装置を備えたことを特徴とする自然言語処理システム
    。 14、少なくとも表記情報と品詞情報を持つ単語辞書と
    、解析すべき文字列を元に単語を検索する辞書検索手段
    と、単語の組み合わせの候補を抽出する候補抽出手段と
    、抽出された候補の尤もらしさの証拠を複数与える候補
    評価手段と、評価の結果得られた複数の証拠の合成を行
    なう合成演算手段と、合成結果より尤度と確度を計算し
    、これに基づいて単語の区切り部分を判定する判定手段
    とから成る自然言語解析装置を備えたことを特徴とする
    自然言語処理システム。
JP1297176A 1988-11-15 1989-11-15 自然言語処理システム Pending JPH02224058A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1297176A JPH02224058A (ja) 1988-11-15 1989-11-15 自然言語処理システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP28833888 1988-11-15
JP63-288338 1988-11-15
JP1297176A JPH02224058A (ja) 1988-11-15 1989-11-15 自然言語処理システム

Publications (1)

Publication Number Publication Date
JPH02224058A true JPH02224058A (ja) 1990-09-06

Family

ID=26557131

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1297176A Pending JPH02224058A (ja) 1988-11-15 1989-11-15 自然言語処理システム

Country Status (1)

Country Link
JP (1) JPH02224058A (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5714971A (en) * 1980-07-02 1982-01-26 Nec Corp Kana japanese syllabary kanji chinese character conversion device
JPS5990167A (ja) * 1982-11-12 1984-05-24 Fujitsu Ltd 文章解析装置
JPS59221733A (ja) * 1983-05-31 1984-12-13 Ricoh Co Ltd カナ漢字変換処理装置
JPS60189069A (ja) * 1984-03-08 1985-09-26 Matsushita Electric Ind Co Ltd かな漢字変換装置
JPS60196869A (ja) * 1984-03-19 1985-10-05 Comput Basic Mach Technol Res Assoc 音声入力式日本語文書処理装置
JPS61184678A (ja) * 1985-02-12 1986-08-18 Ricoh Co Ltd カナ漢字変換処理装置
JPS61184677A (ja) * 1985-02-12 1986-08-18 Ricoh Co Ltd カナ漢字変換方式
JPS61208162A (ja) * 1985-03-12 1986-09-16 Toshiba Corp かな漢字変換方式

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5714971A (en) * 1980-07-02 1982-01-26 Nec Corp Kana japanese syllabary kanji chinese character conversion device
JPS5990167A (ja) * 1982-11-12 1984-05-24 Fujitsu Ltd 文章解析装置
JPS59221733A (ja) * 1983-05-31 1984-12-13 Ricoh Co Ltd カナ漢字変換処理装置
JPS60189069A (ja) * 1984-03-08 1985-09-26 Matsushita Electric Ind Co Ltd かな漢字変換装置
JPS60196869A (ja) * 1984-03-19 1985-10-05 Comput Basic Mach Technol Res Assoc 音声入力式日本語文書処理装置
JPS61184678A (ja) * 1985-02-12 1986-08-18 Ricoh Co Ltd カナ漢字変換処理装置
JPS61184677A (ja) * 1985-02-12 1986-08-18 Ricoh Co Ltd カナ漢字変換方式
JPS61208162A (ja) * 1985-03-12 1986-09-16 Toshiba Corp かな漢字変換方式

Similar Documents

Publication Publication Date Title
Thet et al. Word segmentation for the Myanmar language
Ezeani et al. Lexical disambiguation of Igbo using diacritic restoration
JP5853595B2 (ja) 形態素解析装置、方法、プログラム、音声合成装置、方法、プログラム
JP3975825B2 (ja) 文字認識誤り訂正方法、装置及びプログラム
JP4266222B2 (ja) 単語翻訳装置およびそのプログラム並びにコンピュータ読み取り可能な記録媒体
JP6303508B2 (ja) 文書分析装置、文書分析システム、文書分析方法およびプログラム
JPH02224058A (ja) 自然言語処理システム
JP4084515B2 (ja) アルファベット文字・日本語読み対応付け装置と方法およびアルファベット単語音訳装置と方法ならびにその処理プログラムを記録した記録媒体
JPS584378B2 (ja) カナ漢字変換装置
US20190155902A1 (en) Information generation method, information processing device, and word extraction method
CN114861649B (zh) 一种面向专业领域的拼音与文字匹配方法
KR100484943B1 (ko) 한국어 텍스트 상의 개체명 인식 방법
Debbarma et al. Modeling a Hybrid Stemmer for Kokborok
JP5132430B2 (ja) 姓名候補を生成する情報処理装置、情報処理方法、およびプログラム
Khalil et al. Authorship authentication of political Arabic articles based on modified TF-IGF algorithm
Namly et al. An innovative Arabic light stemmer developed using a hybrid approach
JPS62251986A (ja) 誤読文字訂正処理装置
Okgetheng et al. Bantu Spell Checker and Corrector using Modified Edit Distance Algorithm (MEDA)
JP2006235916A (ja) テキスト解析装置およびテキスト解析方法ならびに音声合成装置
JP2008059389A (ja) 語彙候補出力システム、語彙候補出力方法及び語彙候補出力プログラム
JP2827066B2 (ja) 数字列混在文書の文字認識の後処理方法
JPS63228326A (ja) キ−ワ−ド自動抽出方式
JPH0810452B2 (ja) 日本語対象文固有用語抽出処理装置
WO2018203388A1 (ja) 読み推定装置
JP2001051992A (ja) 日本語統計データ作成装置および方法、並びにディクテーションシステム