JPH05108704A - 接続マトリクス作成方法およびその装置 - Google Patents
接続マトリクス作成方法およびその装置Info
- Publication number
- JPH05108704A JPH05108704A JP3270814A JP27081491A JPH05108704A JP H05108704 A JPH05108704 A JP H05108704A JP 3270814 A JP3270814 A JP 3270814A JP 27081491 A JP27081491 A JP 27081491A JP H05108704 A JPH05108704 A JP H05108704A
- Authority
- JP
- Japan
- Prior art keywords
- entropy
- heading
- likelihood
- symbol string
- transition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/183—Speech classification or search using natural language modelling using context dependencies, e.g. language models
- G10L15/19—Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
- G10L15/197—Probabilistic grammars, e.g. word n-grams
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
- G06V30/194—References adjustable by an adaptive method, e.g. learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Probability & Statistics with Applications (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
Abstract
(57)【要約】
【目的】 日本語処理装置などに用いられる接続マトリ
クスに関するもので、登録しておくべき尤度の個数を減
少させると共に、推定精度を高めた接続マトリクスを出
力する接続マトリクス作成装置を提供することを目的と
する。 【構成】 先行記号列から後続記号への遷移尤度を求め
る尤度計算部２と、先行記号列の見出しごとのエントロ
ピーを求めるエントロピー計算部４と、先行記号列の見
出しごとのエントロピーの中で最大のエントロピーを持
つ見出しの記号列の先頭に記号を挿入して新たな先行記
号列の見出しを作成して見出しを更新する見出し更新部
５とから構成される。
クスに関するもので、登録しておくべき尤度の個数を減
少させると共に、推定精度を高めた接続マトリクスを出
力する接続マトリクス作成装置を提供することを目的と
する。 【構成】 先行記号列から後続記号への遷移尤度を求め
る尤度計算部２と、先行記号列の見出しごとのエントロ
ピーを求めるエントロピー計算部４と、先行記号列の見
出しごとのエントロピーの中で最大のエントロピーを持
つ見出しの記号列の先頭に記号を挿入して新たな先行記
号列の見出しを作成して見出しを更新する見出し更新部
５とから構成される。
Description
【０００１】
【産業上の利用分野】本発明はワードプロセッサなどの
日本語情報処理装置に使用される接続マトリクスの作成
方法およびその装置に関するものである。
日本語情報処理装置に使用される接続マトリクスの作成
方法およびその装置に関するものである。
【０００２】
【従来の技術】近年、形態素解析技術などの日本語情報
処理技術を利用したワードプロセッサなどのシステムが
広く利用されている。
処理技術を利用したワードプロセッサなどのシステムが
広く利用されている。
【０００３】通常のワードプロセッサにおける形態素解
析部は、単語についての情報を記録する機能（辞書）、
キーボードなどから入力された仮名文字列を単語ごとに
分割（形態素解析）する機能、与えられた単語列の順列
が入力として正しいか否かを接続マトリクスを参照して
判定する機能などを有している。この接続マトリクスに
記録されている尤度の値を０〜１にすれば確率として求
めることができる。確率を尤度に用いれば接続マトリク
スの作成が容易となり、以下に示す従来例は、これに従
うものである。さて、記号列w(1),w(2),・・・,w(i-1)に記
号w(i)が後続する確率（これを尤度とする）はP｛w(i)|
w(1),w(2),・・・,w(i-1)｝であるが、記号がM種類存在す
る場合には記号列w(1),w(2),・・・,w(i-1)の異なり数はM
i-1も存在し、Mi-1種類の確率を登録せねばならず、す
べての確率を登録することはほぼ不可能である。しかし
（数１）のような近似を行うことにより、登録しておく
べき確率の個数は入力される記号列の長さに関わらずMN
個に制限させることができる。
析部は、単語についての情報を記録する機能（辞書）、
キーボードなどから入力された仮名文字列を単語ごとに
分割（形態素解析）する機能、与えられた単語列の順列
が入力として正しいか否かを接続マトリクスを参照して
判定する機能などを有している。この接続マトリクスに
記録されている尤度の値を０〜１にすれば確率として求
めることができる。確率を尤度に用いれば接続マトリク
スの作成が容易となり、以下に示す従来例は、これに従
うものである。さて、記号列w(1),w(2),・・・,w(i-1)に記
号w(i)が後続する確率（これを尤度とする）はP｛w(i)|
w(1),w(2),・・・,w(i-1)｝であるが、記号がM種類存在す
る場合には記号列w(1),w(2),・・・,w(i-1)の異なり数はM
i-1も存在し、Mi-1種類の確率を登録せねばならず、す
べての確率を登録することはほぼ不可能である。しかし
（数１）のような近似を行うことにより、登録しておく
べき確率の個数は入力される記号列の長さに関わらずMN
個に制限させることができる。
【０００４】
【数１】
【０００５】図７は従来の接続マトリクス作成装置の構
成図である。図中、１１１は学習用データ保管部で、数
多くの記号列をあらかじめ収集して作成しておく。１１
２は尤度計算部で、上記学習用データ保管部１１１のデ
ータを使って先行記号列w(i-N),・・・,w(i-1)に記号w(i)
が後続する遷移尤度（確率）P｛w(i)|w(i-N),・・・,w(i-
1)｝を求めるためのものである。１１３は接続マトリク
スで、尤度計算部１１２で得られた遷移尤度のことであ
り、これが本装置の出力となるものである。
成図である。図中、１１１は学習用データ保管部で、数
多くの記号列をあらかじめ収集して作成しておく。１１
２は尤度計算部で、上記学習用データ保管部１１１のデ
ータを使って先行記号列w(i-N),・・・,w(i-1)に記号w(i)
が後続する遷移尤度（確率）P｛w(i)|w(i-N),・・・,w(i-
1)｝を求めるためのものである。１１３は接続マトリク
スで、尤度計算部１１２で得られた遷移尤度のことであ
り、これが本装置の出力となるものである。
【０００６】前述のように構成された従来の接続マトリ
クス作成装置において、記号列w(i-N),・・・,w(i-1)から
記号w(i)への遷移尤度を（数２）のように求める。
クス作成装置において、記号列w(i-N),・・・,w(i-1)から
記号w(i)への遷移尤度を（数２）のように求める。
【０００７】
【数２】
【０００８】ここでn｛w(i-N),・・・,w(i-1),w(i)｝は学
習用データに含まれる記号列w(i-N),・・・,w(i-1),w(i)の
総数、n｛w(i-N),・・・,w(i-1)｝は学習用データに含まれ
る記号列w(i-N),・・・,w(i-1)の総数である。
習用データに含まれる記号列w(i-N),・・・,w(i-1),w(i)の
総数、n｛w(i-N),・・・,w(i-1)｝は学習用データに含まれ
る記号列w(i-N),・・・,w(i-1)の総数である。
【０００９】
【発明が解決しようとする課題】しかしながら、上記の
構成では登録しておくべき尤度の個数をMN個に減少させ
たとはいえ、その推定精度を上げるためにNの値を大き
くした場合ではMNも非常に大きな値となってしまい、限
られたメモリ容量では登録できないといった問題点があ
った。
構成では登録しておくべき尤度の個数をMN個に減少させ
たとはいえ、その推定精度を上げるためにNの値を大き
くした場合ではMNも非常に大きな値となってしまい、限
られたメモリ容量では登録できないといった問題点があ
った。
【００１０】本発明は、従来の接続マトリクス作成装置
が有していた上記の問題点に鑑み、登録しておくべき尤
度の個数を従来の個数以下に抑えながらも、その推定精
度は従来の精度より高い接続マトリクスが得られるマト
リクス作成装置を提供することを目的としたものであ
る。
が有していた上記の問題点に鑑み、登録しておくべき尤
度の個数を従来の個数以下に抑えながらも、その推定精
度は従来の精度より高い接続マトリクスが得られるマト
リクス作成装置を提供することを目的としたものであ
る。
【００１１】
【課題を解決するための手段】上記の目的を達成するた
めに本発明は、先行記号列から後続記号への接続マトリ
クスの作成において、遷移尤度を求める尤度計算部と、
上記遷移尤度から上記先行記号列の見出しごとのエント
ロピーを求めるエントロピー計算部と、上記先行記号列
の見出しごとのエントロピーの中で最大のエントロピー
を持つ見出しの記号列の先頭に記号を挿入して新たな先
行記号列の見出しを作成して見出しを更新する見出し更
新部と備えたことを特徴とする接続マトリクス作成装置
を構成する。
めに本発明は、先行記号列から後続記号への接続マトリ
クスの作成において、遷移尤度を求める尤度計算部と、
上記遷移尤度から上記先行記号列の見出しごとのエント
ロピーを求めるエントロピー計算部と、上記先行記号列
の見出しごとのエントロピーの中で最大のエントロピー
を持つ見出しの記号列の先頭に記号を挿入して新たな先
行記号列の見出しを作成して見出しを更新する見出し更
新部と備えたことを特徴とする接続マトリクス作成装置
を構成する。
【００１２】
【作用】前記した構成により本発明は、先行記号列から
後続記号への接続マトリクスの作成において、尤度計算
部で遷移尤度を求め、エントロピー計算部で上記遷移尤
度から上記先行記号列の見出しごとのエントロピーを求
め、見出し更新部で上記先行記号列の見出しごとのエン
トロピーの中で最大のエントロピーを持つ見出しの記号
列の先頭に記号を挿入して新たな先行記号列の見出しを
作成して見出しを更新し、再び上記計算部で新たな見出
しにおける遷移尤度を求め、これを接続マトリクスとし
て出力する。
後続記号への接続マトリクスの作成において、尤度計算
部で遷移尤度を求め、エントロピー計算部で上記遷移尤
度から上記先行記号列の見出しごとのエントロピーを求
め、見出し更新部で上記先行記号列の見出しごとのエン
トロピーの中で最大のエントロピーを持つ見出しの記号
列の先頭に記号を挿入して新たな先行記号列の見出しを
作成して見出しを更新し、再び上記計算部で新たな見出
しにおける遷移尤度を求め、これを接続マトリクスとし
て出力する。
【００１３】
【実施例】以下、本発明の接続マトリクス作成装置の一
実施例を図面を用いて説明する。
実施例を図面を用いて説明する。
【００１４】図１は本発明の請求項１の一実施例のマト
リクス作成装置の構成図である。図中、１は学習用デー
タ保管部で、学習用データとして使うための数多くの記
号列をあらかじめ収集して作成しておく。２は尤度計算
部で、上記学習用データ保管部１のデータを使って記号
列w(i-N),・・・,w(i-1)に記号w(i)が後続する遷移尤度を
求めるためのものである。ここで尤度には従来例と同様
に確率を使用するので、記号列w(i-N),・・・,w(i-1)に記
号w(i)が後続する確率P｛w(i)|w(i-N),・・・,w(i-1)｝が
遷移尤度となる。３は接続マトリクスで、尤度計算部２
で得られた遷移尤度のことであり、これが本装置の出力
となるものである。４はエントロピー計算部で、すべて
の異なり先行記号列の見出しごとのエントロピーを計算
するものである。５は見出し更新部で、エントロピー計
算部４で得られた見出しごとのエントロピーの中で最大
のエントロピーを持つ見出しの記号列の先頭に記号を挿
入して見出しを更新するものである。
リクス作成装置の構成図である。図中、１は学習用デー
タ保管部で、学習用データとして使うための数多くの記
号列をあらかじめ収集して作成しておく。２は尤度計算
部で、上記学習用データ保管部１のデータを使って記号
列w(i-N),・・・,w(i-1)に記号w(i)が後続する遷移尤度を
求めるためのものである。ここで尤度には従来例と同様
に確率を使用するので、記号列w(i-N),・・・,w(i-1)に記
号w(i)が後続する確率P｛w(i)|w(i-N),・・・,w(i-1)｝が
遷移尤度となる。３は接続マトリクスで、尤度計算部２
で得られた遷移尤度のことであり、これが本装置の出力
となるものである。４はエントロピー計算部で、すべて
の異なり先行記号列の見出しごとのエントロピーを計算
するものである。５は見出し更新部で、エントロピー計
算部４で得られた見出しごとのエントロピーの中で最大
のエントロピーを持つ見出しの記号列の先頭に記号を挿
入して見出しを更新するものである。
【００１５】前述のように構成された本発明の実施例を
示す接続マトリクス作成方法について図２を参照しなが
ら説明する。ただし、ここで先行記号列の見出しのカウ
ンタをj、見出しの上限数をj_maxとする（j=1,2,・・・,j_
max）。
示す接続マトリクス作成方法について図２を参照しなが
ら説明する。ただし、ここで先行記号列の見出しのカウ
ンタをj、見出しの上限数をj_maxとする（j=1,2,・・・,j_
max）。
【００１６】１．まず、すべての先行記号列の見出しの
記号列の長さNj=1（ただしj=1,2,・・・,jmax）とし、先行
記号列の見出しw(1-Nj),・・・,w(i-1)（すなわちw(i-1)、
∵Nj=1）として記号wk（ただしk=1,2,・・・,M）を登録す
る（見出しの初期化）。よって、現在の先行記号列の見
出し数j_curr=kとなる。このときの接続マトリクスを図
３に示す。
記号列の長さNj=1（ただしj=1,2,・・・,jmax）とし、先行
記号列の見出しw(1-Nj),・・・,w(i-1)（すなわちw(i-1)、
∵Nj=1）として記号wk（ただしk=1,2,・・・,M）を登録す
る（見出しの初期化）。よって、現在の先行記号列の見
出し数j_curr=kとなる。このときの接続マトリクスを図
３に示す。
【００１７】２．学習用データを使って、すべての先行
記号列w(1-Nj),・・・,w(i-1)から後続記号w(i)への遷移尤
度P｛w(i)|w(i-Nj),・・・,w(i-1)｝を（数３）に従って計
算する。
記号列w(1-Nj),・・・,w(i-1)から後続記号w(i)への遷移尤
度P｛w(i)|w(i-Nj),・・・,w(i-1)｝を（数３）に従って計
算する。
【００１８】
【数３】
【００１９】ここでn｛w(i-N),・・・,w(i-1),w(i)｝は学
習用データに含まれる記号列w(i-N),・・・,w(i-1),w(i)の
総数、n｛w(i-N),・・・,w(i-1)｝は学習用データに含まれ
る記号列w(i-N),・・・,w(i-1)の総数である。このときの
接続マトリクスを図４に示す。
習用データに含まれる記号列w(i-N),・・・,w(i-1),w(i)の
総数、n｛w(i-N),・・・,w(i-1)｝は学習用データに含まれ
る記号列w(i-N),・・・,w(i-1)の総数である。このときの
接続マトリクスを図４に示す。
【００２０】３．j_max＜j_currならば処理を終わり、
処理７に移る。 ４．見出しjごとのエントロピーＨ(j)（ただしj=1,2,・・
・,j_max）を（数４）に従って計算する。
処理７に移る。 ４．見出しjごとのエントロピーＨ(j)（ただしj=1,2,・・
・,j_max）を（数４）に従って計算する。
【００２１】
【数４】
【００２２】ただし、Ｗjは見出しjの記号列、wkは後続
記号(k=1,2,・・・,M)である。 ５．最大のエントロピーを持つ見出しを見つけ、その先
行記号列がＷmaxの長さがNjであれば、Nj=Nj+1と更新
し、新しい見出しwkＷmax（k=1,2,・・・,M）を追加し、古
い見出しＷmaxを消去して、処理２に戻る。
記号(k=1,2,・・・,M)である。 ５．最大のエントロピーを持つ見出しを見つけ、その先
行記号列がＷmaxの長さがNjであれば、Nj=Nj+1と更新
し、新しい見出しwkＷmax（k=1,2,・・・,M）を追加し、古
い見出しＷmaxを消去して、処理２に戻る。
【００２３】７．遷移尤度を接続マトリクスとして出力
する。 次に、図５は本発明の請求項２の一実施例のマトリクス
作成装置の構成図である。
する。 次に、図５は本発明の請求項２の一実施例のマトリクス
作成装置の構成図である。
【００２４】図中、５１は学習用データ保管部で、学習
用データとして使うための数多くの記号列をあらかじめ
収集して作成しておく。５２は初期尤度計算部で、上記
学習用データ保管部５１のデータを使って記号列w(i-
N),・・・,w(i-1)に記号w(i)が後続する遷移尤度P｛w(i)|w
(i-N),・・・,w(i-1)｝を求めるためのものである。５３は
初期エントロピー計算部で、見出しごとのエントロピー
を計算するものである。５４は尤度計算部で、上記学習
用データ保管部５１のデータを使って記号列w(i-N),・・
・,w(i-1)に記号w(i)が後続する遷移尤度P｛w(i)|w(i-
N),・・・,w(i-1)｝を求めるためのものである。５５は接
続マトリクスで、上記尤度計算部５４で得られた遷移尤
度のことであり、これが本装置の出力となるものであ
る。５６はエントロピー計算部で、見出しごとのエント
ロピーを計算するものである。５７は見出し更新部で、
エントロピー計算部５６で更新すべきであると決定され
た見出しを更新するためのものである。 前述のように
構成された本発明の実施例を示す接続マトリクス作成方
法について図６を参照しながら説明する。ただし、ここ
で先行記号列見出しのカウンタをj、見出しの上限数をj
_maxとする（j=1,2,・・・,j_max）。
用データとして使うための数多くの記号列をあらかじめ
収集して作成しておく。５２は初期尤度計算部で、上記
学習用データ保管部５１のデータを使って記号列w(i-
N),・・・,w(i-1)に記号w(i)が後続する遷移尤度P｛w(i)|w
(i-N),・・・,w(i-1)｝を求めるためのものである。５３は
初期エントロピー計算部で、見出しごとのエントロピー
を計算するものである。５４は尤度計算部で、上記学習
用データ保管部５１のデータを使って記号列w(i-N),・・
・,w(i-1)に記号w(i)が後続する遷移尤度P｛w(i)|w(i-
N),・・・,w(i-1)｝を求めるためのものである。５５は接
続マトリクスで、上記尤度計算部５４で得られた遷移尤
度のことであり、これが本装置の出力となるものであ
る。５６はエントロピー計算部で、見出しごとのエント
ロピーを計算するものである。５７は見出し更新部で、
エントロピー計算部５６で更新すべきであると決定され
た見出しを更新するためのものである。 前述のように
構成された本発明の実施例を示す接続マトリクス作成方
法について図６を参照しながら説明する。ただし、ここ
で先行記号列見出しのカウンタをj、見出しの上限数をj
_maxとする（j=1,2,・・・,j_max）。
【００２５】１．まず、すべての見出しの記号列の長さ
Nj=1（ただしj=1,2,・・・,j_max）とし、見出しw(1-Nj),・
・・,w(i-1)（すなわちw(i-1)、∵Nj=1）として記号w
k（ただしk=1,2,・・・,M）を登録する（見出しの初期
化）。よって、現在の先行記号列の見出し数j_curr=kと
なる。
Nj=1（ただしj=1,2,・・・,j_max）とし、見出しw(1-Nj),・
・・,w(i-1)（すなわちw(i-1)、∵Nj=1）として記号w
k（ただしk=1,2,・・・,M）を登録する（見出しの初期
化）。よって、現在の先行記号列の見出し数j_curr=kと
なる。
【００２６】２．学習用データを使って先行記号列w(1-
N),・・・,w(i-1)から後続記号w(i)への（初期）遷移尤度P
｛w(i)|w(i-Nj),・・・,w(i-1)｝を計算する。
N),・・・,w(i-1)から後続記号w(i)への（初期）遷移尤度P
｛w(i)|w(i-Nj),・・・,w(i-1)｝を計算する。
【００２７】
【数５】
【００２８】ここでn｛w(i-N),・・・,w(i-1),w(i)｝は学
習用データに含まれる記号列w(i-N),・・・,w(i-1),w(i)の
総数、n｛w(i-N),・・・,w(i-1)｝は学習用データに含まれ
る記号列w(i-N),・・・,w(i-1)の総数である。
習用データに含まれる記号列w(i-N),・・・,w(i-1),w(i)の
総数、n｛w(i-N),・・・,w(i-1)｝は学習用データに含まれ
る記号列w(i-N),・・・,w(i-1)の総数である。
【００２９】３．すべての先行記号列の見出しjごとの
エントロピーＨ(j)（ただしj=1,2,・・・,j_max）を（数
６）に従って計算する。
エントロピーＨ(j)（ただしj=1,2,・・・,j_max）を（数
６）に従って計算する。
【００３０】
【数６】
【００３１】ただし、Ｗjは見出しjの記号列、wkは後続
記号(k=1,2,・・・,M)である。 ４．全エントロピーＨallを（数７）に従って計算す
る。
記号(k=1,2,・・・,M)である。 ４．全エントロピーＨallを（数７）に従って計算す
る。
【００３２】
【数７】
【００３３】５．先行記号列の見出しのカウンタj=1と
する。 ６．先行記号列に先行する記号のカウンタj'=1とする。
する。 ６．先行記号列に先行する記号のカウンタj'=1とする。
【００３４】７．先行記号列の見出しjの記号列Ｗjの先
頭に記号wj'を挿入して仮に先行記号列の更新を行い、
新しい見出しwj'Ｗjを仮に追加する。
頭に記号wj'を挿入して仮に先行記号列の更新を行い、
新しい見出しwj'Ｗjを仮に追加する。
【００３５】８．先行記号列に先行する記号のカウンタ
j'=j'+1と更新する。 ９．もしj'≦Mならば処理７に戻る。そうでなければ、
処理１０に進む。
j'=j'+1と更新する。 ９．もしj'≦Mならば処理７に戻る。そうでなければ、
処理１０に進む。
【００３６】１０．仮に先行記号列Ｗjを削除し、仮更
新後の先行記号列の見出しjにおけるエントロピーを
（数８）に従って計算する。
新後の先行記号列の見出しjにおけるエントロピーを
（数８）に従って計算する。
【００３７】
【数８】
【００３８】ただし、Ｗjは見出しjの記号列、wkは後続
記号(k=1,2,・・・,M)である。 １１．見出しを処理７〜１０の仮更新の処理を行う前の
状態に戻す。
記号(k=1,2,・・・,M)である。 １１．見出しを処理７〜１０の仮更新の処理を行う前の
状態に戻す。
【００３９】１２．先行記号列の見出しのカウンタj=j+
1と更新する。 １３．もしj≦j_currならば処理６に戻る。そうでなけ
れば処理１４に進む。
1と更新する。 １３．もしj≦j_currならば処理６に戻る。そうでなけ
れば処理１４に進む。
【００４０】１４．仮更新前と仮更新後のエントロピー
の差dＨ(j)（数９）が最大であるような先行記号列の見
出しを見つけ、正式に見出しjの記号列Ｗjをwj'Ｗj（た
だしj'=1,2,・・・,M）に更新する。同時にj_currも更新
し、先行記号列Ｗjをもつ見出しjを消去する。
の差dＨ(j)（数９）が最大であるような先行記号列の見
出しを見つけ、正式に見出しjの記号列Ｗjをwj'Ｗj（た
だしj'=1,2,・・・,M）に更新する。同時にj_currも更新
し、先行記号列Ｗjをもつ見出しjを消去する。
【００４１】
【数９】
【００４２】１５．もしj_max＜j_currならば処理１６
に進む。そうでなければ処理５に戻る。
に進む。そうでなければ処理５に戻る。
【００４３】１６．遷移尤度を接続マトリクスとして出
力する。 また、上記実施例の処理１４の後に、以下の処理１４’
を行って、j_currを減少させることもできる。（請求項
３、７） １４’．見出しjにおける前向き遷移密度を（数１０）
に従って算出し、
力する。 また、上記実施例の処理１４の後に、以下の処理１４’
を行って、j_currを減少させることもできる。（請求項
３、７） １４’．見出しjにおける前向き遷移密度を（数１０）
に従って算出し、
【００４４】
【数１０】
【００４５】（ここでn（Ｗj）、n（Ｗjwk）はそれぞれ
学習用データに含まれる記号列Ｗj、Ｗjwkの総数であ
る。）そして、見出しj1とj2の距離（数１１）の近いも
のを１つの見出しにまとめる。
学習用データに含まれる記号列Ｗj、Ｗjwkの総数であ
る。）そして、見出しj1とj2の距離（数１１）の近いも
のを１つの見出しにまとめる。
【００４６】
【数１１】
【００４７】また、上記実施例の処理１４の後に、以下
の処理１４’’を行って、j_currを減少させることもで
きる。（請求項４、８） １４’’．見出しjにおける後向き遷移密度を（数１
２）に従って算出し、
の処理１４’’を行って、j_currを減少させることもで
きる。（請求項４、８） １４’’．見出しjにおける後向き遷移密度を（数１
２）に従って算出し、
【００４８】
【数１２】
【００４９】（ここでn（Ｗj）、n（wlＷj）はそれぞれ
学習用データに含まれる記号列Ｗj、w lＷjの総数であ
る。）そして、見出しj1とj2の距離（数１３）の近いも
のを１つの見出しにまとめる。
学習用データに含まれる記号列Ｗj、w lＷjの総数であ
る。）そして、見出しj1とj2の距離（数１３）の近いも
のを１つの見出しにまとめる。
【００５０】
【数１３】
【００５１】
【発明の効果】以上詳細に説明したように、本発明によ
れば、次のような効果を得ることができる。 （１）エントロピーの高い見出しから、見出しの生成を
行ってゆくので、見出しの数（登録しておくべき尤度の
個数）を抑えながらも高い精度を持つ接続マトリクスを
得ることができる。 （２）見出しの更新を行う場合、あらかじめ最もエント
ロピーの減少が得られるような見出しを見つけてから更
新を行うので、必ず、エントロピーの減少が得られるよ
うな更新だけを行うことができる。 （３）前向き、前後向き遷移密度の類似したものどうし
を１つの見出しにまとめる処理を行うので、見出しの数
が減少すると共に、１つの見出し当りのデータ量が増加
し、接続マトリクスの推定精度を上げることができる。
れば、次のような効果を得ることができる。 （１）エントロピーの高い見出しから、見出しの生成を
行ってゆくので、見出しの数（登録しておくべき尤度の
個数）を抑えながらも高い精度を持つ接続マトリクスを
得ることができる。 （２）見出しの更新を行う場合、あらかじめ最もエント
ロピーの減少が得られるような見出しを見つけてから更
新を行うので、必ず、エントロピーの減少が得られるよ
うな更新だけを行うことができる。 （３）前向き、前後向き遷移密度の類似したものどうし
を１つの見出しにまとめる処理を行うので、見出しの数
が減少すると共に、１つの見出し当りのデータ量が増加
し、接続マトリクスの推定精度を上げることができる。
【図１】本発明の一実施例における接続マトリクス作成
装置の構成を示すブロック図
装置の構成を示すブロック図
【図２】本発明の一実施例における接続マトリクス作成
フローチャート
フローチャート
【図３】本発明の一実施例における初期化後の接続マト
リクスの説明図
リクスの説明図
【図４】本発明の一実施例における先行記号列から後続
記号への遷移確率算出後の接続マトリクスの説明図
記号への遷移確率算出後の接続マトリクスの説明図
【図５】本発明の一実施例における接続マトリクス作成
装置の構成図
装置の構成図
【図６】本発明の一実施例における接続マトリクス作成
フローチャート
フローチャート
【図７】従来例における接続マトリクス作成装置の構成
図
図
１ 学習用データ保管部 ２ 尤度計算部 ３ 接続マトリクス ４ エントロピー計算部 ５ 見出し更新部 ５１ 学習用データ保管部 ５２ 初期尤度計算部 ５３ 初期エントロピー計算部 ５４ 尤度計算部 ５５ 接続マトリクス ５６ エントロピー計算部 ５７ 見出し更新部
Claims (8)
- 【請求項１】１個以上の記号からなる記号列（以下、先
行記号列）からそれらに後続する記号（以下、後続記
号）への接続マトリクスの作成において、すべての異な
り先行記号列の後にすべての異なり後続記号が出現する
尤度（以下、遷移尤度）を求める尤度計算部と、上記尤
度計算部により求められた遷移尤度から先行記号列の見
出しごとのエントロピーを求めるエントロピー計算部
と、上記エントロピー計算部により求められた先行記号
列の見出しごとのエントロピーの中で最大のエントロピ
ーを持つ見出しの記号列の先頭に記号を挿入して新たな
先行記号列の見出しを作成して見出しを更新する見出し
更新部とを備えたことを特徴とする接続マトリクス作成
装置。 - 【請求項２】先行記号列から後続記号への接続マトリク
スの作成において、すべての異なり先行記号列からすべ
ての異なり後続記号への遷移尤度を求める尤度計算部
と、上記尤度計算部により求められた遷移尤度から先行
記号列の見出しごとのエントロピーを求めるエントロピ
ー計算部と、上記エントロピー計算部により求められた
先行記号列の見出しごとのエントロピーから全体のエン
トロピーを求める全エントロピー計算部と、上記先行記
号列の見出しの記号列の先頭に記号を挿入して見出しを
仮に更新した場合の全エントロピー（以下、仮全エント
ロピー）を求める仮全エントロピー計算部と、上記全エ
ントロピー計算部から得られた上記全エントロピーおよ
びその先行記号列の見出し数と、上記仮全エントロピー
計算ステップから得られた上記仮全エントロピーおよび
その先行記号列の見出し数とから更新すべき先行単語列
の見出しを決定し、その先頭に記号列を挿入して新たな
先行記号列の見出しを作成して見出しを更新する見出し
更新部とを備えたことを特徴とする接続マトリクス作成
装置。 - 【請求項３】すべての異なり先行記号列からすべての異
なり後続記号への遷移尤度（以下、前向き遷移密度）を
求める密度計算部と、上記前向き遷移密度の類似した上
記見出しどうしを１つの見出しにまとめて見出しを更新
する見出し更新部とを備えたことを特徴とする請求項１
に記載の接続マトリクス作成装置。 - 【請求項４】すべての異なり先行記号列にすべての異な
り記号が先行する尤度（以下、後向き遷移密度）を求め
る密度計算部と、上記後向き遷移密度の類似した上記見
出しどうしを１つの見出しにまとめて見出しを更新する
見出し更新部とを備えたことを特徴とする請求項１に記
載の接続マトリクス作成装置。 - 【請求項５】先行記号列から後続記号への接続マトリク
スの作成において、遷移尤度を求める尤度計算ステップ
と、上記尤度計算ステップにより求められた遷移尤度か
ら上記先行記号列の見出しごとのエントロピーを求める
エントロピー計算ステップと、上記エントロピー計算ス
テップにより求められた先行記号列の見出しごとのエン
トロピーの中で最大のエントロピーを持つ見出しの記号
列の先頭に記号を挿入して新たな先行記号列の見出しを
作成して見出しを更新する見出し更新ステップと、再び
新たな見出しにおける遷移尤度を求める上記尤度計算ス
テップとを実行し、上記尤度計算ステップにより得られ
た遷移尤度を接続マトリクスとして出力することを特徴
とする接続マトリクス作成方法。 - 【請求項６】先行記号列から後続記号への接続マトリク
スの作成において、遷移尤度を求める尤度計算ステップ
と、上記尤度計算ステップにより求められた遷移尤度か
ら上記先行記号列の見出しごとのエントロピーを求める
エントロピー計算ステップと、上記エントロピー計算ス
テップにより求められた先行記号列の見出しごとエント
ロピーから接続マトリクス全体のエントロピーを求める
全エントロピー計算ステップと、仮全エントロピーを求
める仮全エントロピー計算ステップと、上記全エントロ
ピー計算ステップから得られた上記全エントロピーおよ
びその先行記号列の見出し数と、上記仮全エントロピー
計算ステップから得られた上記仮全エントロピーおよび
その先行記号列の見出し数とから更新すべき先行単語列
の見出しを決定し、その先頭に記号列を挿入して新たな
先行記号列の見出しを作成して見出しを更新する見出し
更新ステップとを実行し、上記尤度計算ステップにより
得られた遷移尤度を接続マトリクスとして出力すること
を特徴とする接続マトリクス作成方法。 - 【請求項７】前向き遷移密度を求める密度計算ステップ
と、上記密度計算ステップにより求められた前向き遷移
密度の類似した先行記号列の見出しどうしを１つの見出
しにまとめて見出しを更新する見出し更新ステップとを
実行することを特徴とした請求項５に記載の接続マトリ
クス作成方法。 - 【請求項８】後向き遷移密度を求める密度計算ステップ
と、上記密度計算ステップにより求められた後向き遷移
密度の類似した先行記号列の見出しどうしを１つの見出
しにまとめて見出しを更新する見出し更新ステップとを
実行することを特徴とした請求項５に記載の接続マトリ
クス作成方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3270814A JPH05108704A (ja) | 1991-10-18 | 1991-10-18 | 接続マトリクス作成方法およびその装置 |
| US07/961,507 US5355311A (en) | 1991-10-18 | 1992-10-15 | Method and apparatus for creating a connection matrix |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3270814A JPH05108704A (ja) | 1991-10-18 | 1991-10-18 | 接続マトリクス作成方法およびその装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05108704A true JPH05108704A (ja) | 1993-04-30 |
Family
ID=17491394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3270814A Pending JPH05108704A (ja) | 1991-10-18 | 1991-10-18 | 接続マトリクス作成方法およびその装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5355311A (ja) |
| JP (1) | JPH05108704A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103310388A (zh) * | 2013-05-28 | 2013-09-18 | 清华大学 | 基于信源熵的电网运行综合指数计算方法 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6950814B2 (en) * | 2000-06-24 | 2005-09-27 | International Business Machines Corporation | Natural language processing methods and systems |
| US20040267529A1 (en) * | 2003-06-24 | 2004-12-30 | Aurilab, Llc | N-gram spotting followed by matching continuation tree forward and backward from a spotted n-gram |
| US7739103B2 (en) * | 2004-04-06 | 2010-06-15 | Educational Testing Service | Lexical association metric for knowledge-free extraction of phrasal terms |
| US12008048B2 (en) | 2021-01-04 | 2024-06-11 | Oracle International Corporation | Drill back to original audio clip in virtual assistant initiated lists and reminders |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5033087A (en) * | 1989-03-14 | 1991-07-16 | International Business Machines Corp. | Method and apparatus for the automatic determination of phonological rules as for a continuous speech recognition system |
| JP3211241B2 (ja) * | 1990-07-27 | 2001-09-25 | オムロン株式会社 | 近似推論装置 |
-
1991
- 1991-10-18 JP JP3270814A patent/JPH05108704A/ja active Pending
-
1992
- 1992-10-15 US US07/961,507 patent/US5355311A/en not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103310388A (zh) * | 2013-05-28 | 2013-09-18 | 清华大学 | 基于信源熵的电网运行综合指数计算方法 |
| CN103310388B (zh) * | 2013-05-28 | 2016-06-01 | 清华大学 | 基于信源熵的电网运行综合指数计算方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US5355311A (en) | 1994-10-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4652737B2 (ja) | 単語境界確率推定装置及び方法、確率的言語モデル構築装置及び方法、仮名漢字変換装置及び方法、並びに、未知語モデルの構築方法、 | |
| JP4215418B2 (ja) | 単語予測方法、音声認識方法、その方法を用いた音声認識装置及びプログラム | |
| CN110750993A (zh) | 分词方法及分词器、命名实体识别方法及系统 | |
| CN111462751A (zh) | 解码语音数据的方法、装置、计算机设备和存储介质 | |
| KR100582968B1 (ko) | 문자열 입력 장치 및 방법 | |
| CN110603583A (zh) | 语音识别系统和用于语音识别的方法 | |
| CN100508024C (zh) | 基于hmm的文字-音素分析器及其训练方法 | |
| CN111626041B (zh) | 一种基于深度学习的音乐评论生成方法 | |
| CN110688450B (zh) | 一种基于蒙特卡洛树搜索的关键词生成方法、基于强化学习的关键词生成模型及电子设备 | |
| CN113574545A (zh) | 用于训练模型的训练数据修改 | |
| JP3992348B2 (ja) | 形態素解析方法および装置、並びに日本語形態素解析方法および装置 | |
| Heigold et al. | Neural morphological tagging from characters for morphologically rich languages | |
| JP6941494B2 (ja) | エンドツーエンド日本語音声認識モデル学習装置およびプログラム | |
| CN120745801A (zh) | 利用大语言模型生成文本的方法和装置 | |
| CN109284358B (zh) | 一种中文地址名词分层级的方法和装置 | |
| JPH05108704A (ja) | 接続マトリクス作成方法およびその装置 | |
| CN116129907A (zh) | 指令识别方法及装置、设备、计算机可读存储介质 | |
| CN116013278A (zh) | 基于拼音对齐算法的语音识别多模型结果合并方法及装置 | |
| CN118571236A (zh) | 一种基于音域范围的音频token化编码方法及装置 | |
| JP3080066B2 (ja) | 文字認識装置、方法及び記憶媒体 | |
| US20070055515A1 (en) | Method for automatically matching graphic elements and phonetic elements | |
| CN113836917B (zh) | 文本分词处理方法及其装置、设备与介质 | |
| JP2938865B1 (ja) | 音声認識装置 | |
| JP3953772B2 (ja) | 読みがな付与装置およびプログラム | |
| JP4226942B2 (ja) | アクセント位置推定方法、装置およびプログラム |