JPH071440B2 - 特徴パターン作成方式 - Google Patents
特徴パターン作成方式Info
- Publication number
- JPH071440B2 JPH071440B2 JP5053981A JP5398193A JPH071440B2 JP H071440 B2 JPH071440 B2 JP H071440B2 JP 5053981 A JP5053981 A JP 5053981A JP 5398193 A JP5398193 A JP 5398193A JP H071440 B2 JPH071440 B2 JP H071440B2
- Authority
- JP
- Japan
- Prior art keywords
- voice
- feature pattern
- teacher signal
- neural network
- sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 31
- 238000013528 artificial neural network Methods 0.000 claims description 51
- 108010076504 Protein Sorting Signals Proteins 0.000 claims description 19
- 239000013598 vector Substances 0.000 description 25
- 238000010586 diagram Methods 0.000 description 15
- 238000012545 processing Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 3
- 238000012886 linear function Methods 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
Description
【０００１】
【産業上の利用分野】この発明は特徴パターン作成方法
に関し、特に、入力音声を分析して音声特徴パターンを
抽出し、その特徴パターンを用いて未知話者音声の属す
るクラスを決定することによって認識結果となすような
音声認識用の特徴パターン作成方式に関する。
に関し、特に、入力音声を分析して音声特徴パターンを
抽出し、その特徴パターンを用いて未知話者音声の属す
るクラスを決定することによって認識結果となすような
音声認識用の特徴パターン作成方式に関する。
【０００２】
【従来の技術】まず、従来のニューラルネットワークを
用いた特徴パターン作成方法について説明する。音響分
析された音声データのベクトルをニューラルネットワー
クに入力すると、出力側では特徴パターンに変換された
ベクトルが得られる。ニューラルネットワークは自由に
変更できるウェイトパラメータを持っている。ネットワ
ークに、音響分析後の音声データスペクトルとそれに対
応する特徴パターンの教師信号とを用いてネットワーク
の出力が教師信号に近づくようにウェイトパラメータを
変更していく。このウェイトパラメータを変更していく
過程をニューラルネットワークの学習と呼び、この学習
には、通常 D. E.Rumelhart 他，PararellDistributed
Processing, MIT Press（１９８６）に詳細に説明され
ている誤差逆伝播法と呼ばれるアルゴリズムを用いる。
また、隠れマルコフモデル（ＨＭＭ：Hidden Markov Mo
del ）を用いて特徴パターンを作成するには、音響分析
後の音声データベクトルの分布をＨＭＭに推定させれば
よい。ＨＭＭも自由に変更できるパラメータを持ってお
り、このパラメータで音声データベクトルの分布を近似
する。このパラメータの推定のことをＨＭＭの学習と呼
び、通常、中川，「確率モデルによる音声認識」，電子
情報通信学会（１９８８）などに詳細に説明されている
Baum- Welch アルゴリズムを用いる。
用いた特徴パターン作成方法について説明する。音響分
析された音声データのベクトルをニューラルネットワー
クに入力すると、出力側では特徴パターンに変換された
ベクトルが得られる。ニューラルネットワークは自由に
変更できるウェイトパラメータを持っている。ネットワ
ークに、音響分析後の音声データスペクトルとそれに対
応する特徴パターンの教師信号とを用いてネットワーク
の出力が教師信号に近づくようにウェイトパラメータを
変更していく。このウェイトパラメータを変更していく
過程をニューラルネットワークの学習と呼び、この学習
には、通常 D. E.Rumelhart 他，PararellDistributed
Processing, MIT Press（１９８６）に詳細に説明され
ている誤差逆伝播法と呼ばれるアルゴリズムを用いる。
また、隠れマルコフモデル（ＨＭＭ：Hidden Markov Mo
del ）を用いて特徴パターンを作成するには、音響分析
後の音声データベクトルの分布をＨＭＭに推定させれば
よい。ＨＭＭも自由に変更できるパラメータを持ってお
り、このパラメータで音声データベクトルの分布を近似
する。このパラメータの推定のことをＨＭＭの学習と呼
び、通常、中川，「確率モデルによる音声認識」，電子
情報通信学会（１９８８）などに詳細に説明されている
Baum- Welch アルゴリズムを用いる。
【０００３】
【発明が解決しようとする課題】上述の従来の特徴パタ
ーン作成方法では、音声に付与された音素ラベル情報か
らニューラルネットワークの教師信号を得る。どこから
どこまでの音声区間をどのＨＭＭに学習させるかという
問題も同様である。ラベル情報とは、音声データ中の音
素記号とその音素の区間などを与える情報である。たと
えば、“もしもし”と発声された音声データがあった場
合には、／ｍ／／ｏ／／ｓｈ／／ｉ／／ｍ／／ｏ／／ｓ
ｈ／／ｉ／という音素を示す記号列と、各音素がその音
声データのどこからどこまで続いているのかを情報とし
て記録しておく。
ーン作成方法では、音声に付与された音素ラベル情報か
らニューラルネットワークの教師信号を得る。どこから
どこまでの音声区間をどのＨＭＭに学習させるかという
問題も同様である。ラベル情報とは、音声データ中の音
素記号とその音素の区間などを与える情報である。たと
えば、“もしもし”と発声された音声データがあった場
合には、／ｍ／／ｏ／／ｓｈ／／ｉ／／ｍ／／ｏ／／ｓ
ｈ／／ｉ／という音素を示す記号列と、各音素がその音
声データのどこからどこまで続いているのかを情報とし
て記録しておく。
【０００４】ニューラルネットワークの場合であれば、
音素クラスの数だけ出力を用意しておき、学習を行なう
ことにより、入力音声データに対する各音素帰属度に対
応するようなパターンを得ることができる。このパター
ンを用いて音声認識を実現する方法として、福沢他，
「ＴＤＮＮ−ＬＲ連続音声認識における不特定話者ＴＤ
ＮＮと話者適応ニューラルネットワークの性能比較」，
日本音響学会平成４年度春季研究発表会講演論文集，２
−Ｑ−２１，１９９頁〜２００頁（１９９２．０３）な
どがある。ＨＭＭの場合ならば、音素クラスの数だけＨ
ＭＭを用意し、ラベル情報によりわかった音素データを
用いて対応するＨＭＭを学習する。その結果、入力音声
データに対応する各ＨＭＭの尤度を特徴パターンとして
得ることができる。しかし、通常ラベル情報は音声スペ
クトルを観察できる熟練者によって付与されるものであ
り、その作成にはかなりの時間と労力を必要とするた
め、不特定多数の話者に対してこのような教師信号を用
いてニューラルネットワークやＨＭＭを学習することは
難しい。
音素クラスの数だけ出力を用意しておき、学習を行なう
ことにより、入力音声データに対する各音素帰属度に対
応するようなパターンを得ることができる。このパター
ンを用いて音声認識を実現する方法として、福沢他，
「ＴＤＮＮ−ＬＲ連続音声認識における不特定話者ＴＤ
ＮＮと話者適応ニューラルネットワークの性能比較」，
日本音響学会平成４年度春季研究発表会講演論文集，２
−Ｑ−２１，１９９頁〜２００頁（１９９２．０３）な
どがある。ＨＭＭの場合ならば、音素クラスの数だけＨ
ＭＭを用意し、ラベル情報によりわかった音素データを
用いて対応するＨＭＭを学習する。その結果、入力音声
データに対応する各ＨＭＭの尤度を特徴パターンとして
得ることができる。しかし、通常ラベル情報は音声スペ
クトルを観察できる熟練者によって付与されるものであ
り、その作成にはかなりの時間と労力を必要とするた
め、不特定多数の話者に対してこのような教師信号を用
いてニューラルネットワークやＨＭＭを学習することは
難しい。
【０００５】ラベル情報に頼らず、特徴パターンを作成
するには、福沢，他「ニューラルネットワークによる恒
等写像を用いた話者適応」，日本音響学会平成２年度秋
季研究発表会講演論文集，１−８−１６，３１頁〜３２
頁（１９９０．０９）に述べられているような未知話者
の特徴パターンと標準話者の特徴パターンとをＤＰマッ
チングを用いて整合をとり、話者適応の手段として、ニ
ューラルネットワークを学習する手法がある。しかし、
この手法による方法はネットワークの入力側，出力側と
もに音響分析後の音声データの数フレームを単位とする
セグメントを用いた学習を行なうため、ラベル情報を用
いて特徴パターンを得る方法に比べてパターンのサイズ
を小さくできないという欠点がある。
するには、福沢，他「ニューラルネットワークによる恒
等写像を用いた話者適応」，日本音響学会平成２年度秋
季研究発表会講演論文集，１−８−１６，３１頁〜３２
頁（１９９０．０９）に述べられているような未知話者
の特徴パターンと標準話者の特徴パターンとをＤＰマッ
チングを用いて整合をとり、話者適応の手段として、ニ
ューラルネットワークを学習する手法がある。しかし、
この手法による方法はネットワークの入力側，出力側と
もに音響分析後の音声データの数フレームを単位とする
セグメントを用いた学習を行なうため、ラベル情報を用
いて特徴パターンを得る方法に比べてパターンのサイズ
を小さくできないという欠点がある。
【０００６】それゆえに、この発明の主たる目的は、未
知話者に対するパターン作成用のニューラルネットワー
クの教師信号を自動的に生成することができ、不特定話
者に対する音声認識のためのパターン作成方法を提供す
ることである。
知話者に対するパターン作成用のニューラルネットワー
クの教師信号を自動的に生成することができ、不特定話
者に対する音声認識のためのパターン作成方法を提供す
ることである。
【０００７】
【課題を解決するための手段】請求項１に係る発明は、
入力音声を分析して音声特徴パターンを抽出し、その特
徴パターンを用いて未知話者音声の属するクラスを決定
することによって認識結果となす音声認識用の特徴パタ
ーン作成方式において、音素記号列により作成された教
師信号系列と入力音声に対するニューラルネットワーク
の出力系列との整合操作により、入力音声に教師信号を
与えることによってそのニューラルネットワークを追加
学習する。
入力音声を分析して音声特徴パターンを抽出し、その特
徴パターンを用いて未知話者音声の属するクラスを決定
することによって認識結果となす音声認識用の特徴パタ
ーン作成方式において、音素記号列により作成された教
師信号系列と入力音声に対するニューラルネットワーク
の出力系列との整合操作により、入力音声に教師信号を
与えることによってそのニューラルネットワークを追加
学習する。
【０００８】請求項３に係る発明は、音素クラスに依存
する標準パターンを用いて作成された音声の教師信号系
列と未知話者音声に対するニューラルネットワークの出
力系列との整合操作により、入力音声に教師信号を与え
ることによってそのニューラルネットワークを追加学習
する。
する標準パターンを用いて作成された音声の教師信号系
列と未知話者音声に対するニューラルネットワークの出
力系列との整合操作により、入力音声に教師信号を与え
ることによってそのニューラルネットワークを追加学習
する。
【０００９】請求項５に係る発明は、音素クラスに依存
しない標準パターンを用いて作成された音声の教師信号
系列と未知話者音声に対するニューラルネットワークの
出力系列との整合操作により、入力音声に教師信号を与
えることによってそのニューラルネットワークを追加学
習する。
しない標準パターンを用いて作成された音声の教師信号
系列と未知話者音声に対するニューラルネットワークの
出力系列との整合操作により、入力音声に教師信号を与
えることによってそのニューラルネットワークを追加学
習する。
【００１０】請求項７に係る発明は、学習データを音素
クラスに分類した後に、音素クラス当り複数の標準パタ
ーンを作成し、音素クラスに依存しない標準パターンを
用いて作成された音声の教師信号系列と未知話者音声に
対するニューラルネットワークの出力系列との整合操作
により、入力音声に教師信号を与えることによってその
入力ネットワークを追加学習する。
クラスに分類した後に、音素クラス当り複数の標準パタ
ーンを作成し、音素クラスに依存しない標準パターンを
用いて作成された音声の教師信号系列と未知話者音声に
対するニューラルネットワークの出力系列との整合操作
により、入力音声に教師信号を与えることによってその
入力ネットワークを追加学習する。
【００１１】請求項２，４，６，８に係る発明は、請求
項１，３，５および７において、音声の教師信号系列と
未知話者音声に対する複数の隠れマルコフモデルの出力
尤度系列との整合操作により、入力音声区間に対応する
ＨＭＭを追加学習する。
項１，３，５および７において、音声の教師信号系列と
未知話者音声に対する複数の隠れマルコフモデルの出力
尤度系列との整合操作により、入力音声区間に対応する
ＨＭＭを追加学習する。
【００１２】
【作用】この発明に係る特徴パターン作成方式は、音素
記号系列により作成された教師信号系列と入力音声に対
するニューラルネットワークの出力系列との整合操作、
または音素クラスに依存する表示パターンを用いて作成
された音声の教師信号系列と未知話者音声に対するニュ
ーラルネットワークの出力系列との整合操作、あるいは
音素クラスに依存しない標準パターンを用いて作成され
た音声の教師信号系列と未知話者音声に対するニューラ
ルネットワークの出力系列との整合操作により、入力音
声に教師信号を与えることによってそのニューラルネッ
トワークを追加学習する。
記号系列により作成された教師信号系列と入力音声に対
するニューラルネットワークの出力系列との整合操作、
または音素クラスに依存する表示パターンを用いて作成
された音声の教師信号系列と未知話者音声に対するニュ
ーラルネットワークの出力系列との整合操作、あるいは
音素クラスに依存しない標準パターンを用いて作成され
た音声の教師信号系列と未知話者音声に対するニューラ
ルネットワークの出力系列との整合操作により、入力音
声に教師信号を与えることによってそのニューラルネッ
トワークを追加学習する。
【００１３】
【実施例】図１はこの発明の一実施例の概略ブロック図
である。図１において、未知話者の音声は、周波数分析
するためにフィルタバンク１に入力される。フィルタバ
ンク１はいくつかあるバンドパスフィルタによって構成
されたものであり、通常は８〜３２個程度使用される。
次に、周波数分析されたベクトル列Ｓi （ｉ＝１，…，
Ｉ）がニューラルネットワーク２に入力され、特徴パタ
ーンＯi （ｉ＝１，…，Ｉ）が出力列として得られる。
ここで、Ｉは入力されたベクトルの数である。初期状態
のニューラルネットワーク２には、１〜数人程度で前述
の従来技術で説明したラベル情報から教師信号を生成
し、学習してあるものが用いられる。ここで、ニューラ
ルネットワーク２の入力ベクトルとして周波数分析され
たものを用いているが、新美「音声認識」共立出版（１
９７９）などで詳細に説明されているようなＬＰＣ分析
をはじめ、どのような音響分析手法を用いてもよい。
である。図１において、未知話者の音声は、周波数分析
するためにフィルタバンク１に入力される。フィルタバ
ンク１はいくつかあるバンドパスフィルタによって構成
されたものであり、通常は８〜３２個程度使用される。
次に、周波数分析されたベクトル列Ｓi （ｉ＝１，…，
Ｉ）がニューラルネットワーク２に入力され、特徴パタ
ーンＯi （ｉ＝１，…，Ｉ）が出力列として得られる。
ここで、Ｉは入力されたベクトルの数である。初期状態
のニューラルネットワーク２には、１〜数人程度で前述
の従来技術で説明したラベル情報から教師信号を生成
し、学習してあるものが用いられる。ここで、ニューラ
ルネットワーク２の入力ベクトルとして周波数分析され
たものを用いているが、新美「音声認識」共立出版（１
９７９）などで詳細に説明されているようなＬＰＣ分析
をはじめ、どのような音響分析手法を用いてもよい。
【００１４】また、周波数分析されたベクトル列は、通
常１フレーム当り３ｍｓｅｃから３０ｍｓｅｃ程度の間
隔でニューラルネットワーク２に入力されるが、認識精
度を向上させるために、数フレームを１つのベクトル
（セグメント）として入力してもよい。ここでは、フレ
ーム間隔１０ｍｓｅｃで分析した７フレームのセグメン
トを入力ベクトルとする。
常１フレーム当り３ｍｓｅｃから３０ｍｓｅｃ程度の間
隔でニューラルネットワーク２に入力されるが、認識精
度を向上させるために、数フレームを１つのベクトル
（セグメント）として入力してもよい。ここでは、フレ
ーム間隔１０ｍｓｅｃで分析した７フレームのセグメン
トを入力ベクトルとする。
【００１５】一方、教師信号計算部４は、追加学習用音
声の発声内容から音声信号の音素記号データベース５を
参照して、教師信号ベクトル列Ｔj （ｊ＝１，…，Ｊ）
を生成する。ここでＪは生成されたベクトルの数であ
る。
声の発声内容から音声信号の音素記号データベース５を
参照して、教師信号ベクトル列Ｔj （ｊ＝１，…，Ｊ）
を生成する。ここでＪは生成されたベクトルの数であ
る。
【００１６】図２は教師信号の一例を示す図である。図
２において、音素を音声記号とし、「もしもし」と発声
した場合の教師信号の例である。ここでは、音素クラス
数を２５個にしている。この記号列から該当する音素に
対応するベクトルの要素を「１」、ほかを「０」とする
ことにより、２５次元のラベルを生成する。ここで言う
音素記号データベースの内容は、従来技術で説明したラ
ベル情報とは異なり、音声記号のみを情報として持つデ
ータベースである。
２において、音素を音声記号とし、「もしもし」と発声
した場合の教師信号の例である。ここでは、音素クラス
数を２５個にしている。この記号列から該当する音素に
対応するベクトルの要素を「１」、ほかを「０」とする
ことにより、２５次元のラベルを生成する。ここで言う
音素記号データベースの内容は、従来技術で説明したラ
ベル情報とは異なり、音声記号のみを情報として持つデ
ータベースである。
【００１７】ＤＰマッチング部３は、ニューラルネット
ワーク２から与えられた特徴パターンＯi と教師信号計
算部６から与えられた教師信号ベクトル列Ｔj によりＤ
Ｐマッチングを行ない、非線形の関数σ（ｉ）をトレー
スバック処理部４に与える。トレースバック処理部４は
ＤＰマッチング部３から与えられた非線形の関数σ
（ｉ）を用いてトレースバック処理を行なうことによ
り、教師信号ベクトル列Ｔｊとニューラルネットワーク
２への入力ベクトル列との対（Ｔi ：Ｓj ），ｊ＝σ
（ｉ）を得る。ニューラルネットワーク２はこれらのベ
クトル対を用いて誤差伝播アルゴリズムにより、音声デ
ータに対する追加学習を行なう。このような処理を繰返
すことにより、新たに学習に用いる音声データに対して
も自動的に教師信号を生成できるため、ニューラルネッ
トワーク２の学習が可能となり、不特定話者に対する特
徴パターンを生成することができる。
ワーク２から与えられた特徴パターンＯi と教師信号計
算部６から与えられた教師信号ベクトル列Ｔj によりＤ
Ｐマッチングを行ない、非線形の関数σ（ｉ）をトレー
スバック処理部４に与える。トレースバック処理部４は
ＤＰマッチング部３から与えられた非線形の関数σ
（ｉ）を用いてトレースバック処理を行なうことによ
り、教師信号ベクトル列Ｔｊとニューラルネットワーク
２への入力ベクトル列との対（Ｔi ：Ｓj ），ｊ＝σ
（ｉ）を得る。ニューラルネットワーク２はこれらのベ
クトル対を用いて誤差伝播アルゴリズムにより、音声デ
ータに対する追加学習を行なう。このような処理を繰返
すことにより、新たに学習に用いる音声データに対して
も自動的に教師信号を生成できるため、ニューラルネッ
トワーク２の学習が可能となり、不特定話者に対する特
徴パターンを生成することができる。
【００１８】図３は上述の説明で得られた特徴パターン
に基づいて音声認識を行なう実施例の概略ブロック図で
ある。フィルタバンク１で周波数分析された未知話者音
声をニューラルネットワーク２に入力し、特徴パターン
を得ると、その特徴パターンはその成分が音素クラスの
帰属度を表わしているので、最大値検出器７を用いてパ
ターンの成分の最大値を検出することにより、認識結果
を得ることができる。
に基づいて音声認識を行なう実施例の概略ブロック図で
ある。フィルタバンク１で周波数分析された未知話者音
声をニューラルネットワーク２に入力し、特徴パターン
を得ると、その特徴パターンはその成分が音素クラスの
帰属度を表わしているので、最大値検出器７を用いてパ
ターンの成分の最大値を検出することにより、認識結果
を得ることができる。
【００１９】図４はこの発明の他の実施例の概略ブロッ
ク図である。この図４に示した実施例は、音素クラスに
依存する標準パターンを用いて作成された教師信号系列
と、未知話者音声に対するニューラルネットワーク２の
出力系列との整合作用により、入力音声に教師信号を与
えることによってニューラルネットワーク２を追加学習
するものである。この図４に示した実施例では、音素記
号付音声データベース８と音声データ分類部９と標準パ
ターン作成部１０とが設けられ、音声データ分類部９が
従来技術で説明したラベル情報を持つ１〜数人程度の音
素記号付音声データベース８を用いて、各データを音素
クラスごとに分類する。次に、標準パターン作成部１０
は各音素クラスごとに標準パターンを作成し、加藤，他
「ニューラネネットワークを用いた不特定話者の特徴抽
出について」日本音響学会平成４年度秋季研究発表会講
演論文集，２−Ｑ−２０，第２１１頁〜２１２頁（１９
９２−１０）に詳細に説明されているような関数を用い
て教師信号を作成する。この関数を用いることにより、
教師信号ベクトル値は各音素クラスへの帰属度を０〜１
の連続値で表わすことができる。初期状態のニューラル
ネットワーク２では、音素記号付音声データベース８に
あるデータと教師信号とにより学習したものを用いる。
ク図である。この図４に示した実施例は、音素クラスに
依存する標準パターンを用いて作成された教師信号系列
と、未知話者音声に対するニューラルネットワーク２の
出力系列との整合作用により、入力音声に教師信号を与
えることによってニューラルネットワーク２を追加学習
するものである。この図４に示した実施例では、音素記
号付音声データベース８と音声データ分類部９と標準パ
ターン作成部１０とが設けられ、音声データ分類部９が
従来技術で説明したラベル情報を持つ１〜数人程度の音
素記号付音声データベース８を用いて、各データを音素
クラスごとに分類する。次に、標準パターン作成部１０
は各音素クラスごとに標準パターンを作成し、加藤，他
「ニューラネネットワークを用いた不特定話者の特徴抽
出について」日本音響学会平成４年度秋季研究発表会講
演論文集，２−Ｑ−２０，第２１１頁〜２１２頁（１９
９２−１０）に詳細に説明されているような関数を用い
て教師信号を作成する。この関数を用いることにより、
教師信号ベクトル値は各音素クラスへの帰属度を０〜１
の連続値で表わすことができる。初期状態のニューラル
ネットワーク２では、音素記号付音声データベース８に
あるデータと教師信号とにより学習したものを用いる。
【００２０】次に、追加学習用音声と同一の発声内容
（たとえば「もしもし」）を持つ教師信号系列と追加学
習用音声のニューラルネットワーク２の出力との間で前
述の図１の実施例と同様の処理を行ない、教師信号のベ
クトル列とニューラルネットワーク２への入力ベクトル
列との対を生成し、追加学習を行なう。
（たとえば「もしもし」）を持つ教師信号系列と追加学
習用音声のニューラルネットワーク２の出力との間で前
述の図１の実施例と同様の処理を行ない、教師信号のベ
クトル列とニューラルネットワーク２への入力ベクトル
列との対を生成し、追加学習を行なう。
【００２１】上述の処理を繰返すことにより、新たに学
習に用いる音声データに対しても自動的にニューラルネ
ットワーク２の教師信号を生成できる。また、教師信号
の値を連続値とすることにより、精密な音素クラスへの
帰属度を表わす特徴パターンを生成できるようになるた
め、不特定話者に対する認識精度を上げることができ
る。
習に用いる音声データに対しても自動的にニューラルネ
ットワーク２の教師信号を生成できる。また、教師信号
の値を連続値とすることにより、精密な音素クラスへの
帰属度を表わす特徴パターンを生成できるようになるた
め、不特定話者に対する認識精度を上げることができ
る。
【００２２】この図４に示した実施例による特徴パター
ンも、図１に示した実施例と同様にして、その成分が各
音素クラスの帰属度を表わしているので、図３に示した
ようにパターンの成分の最大値を検出することにより、
認識結果を得ることができる。
ンも、図１に示した実施例と同様にして、その成分が各
音素クラスの帰属度を表わしているので、図３に示した
ようにパターンの成分の最大値を検出することにより、
認識結果を得ることができる。
【００２３】図５はこの発明のさらに他の実施例を示す
ブロック図である。この図５に示した実施例は、必要な
ラベル情報を持つ音声データベースが存在しない場合
に、音素クラスに依存しない標準パターンを用いて作成
された教師信号系列により、ニューラルネットワーク２
を学習するようにしたものである。すなわち、図５に示
す音声データベース１１は音素の情報を持っておらず、
標準パターン作成部１０は音声データベース１１の内容
に基づいて、標準パターンをｋ−ｍｅａｎｓアルゴリズ
ムなどによって直接作成する。標準パターンの数は音素
クラスに依存しないため、いくつにでも設定することが
できるが、ここでは２５としておく。それ以外の構成は
図４に示した実施例と同じであるため、省略する。
ブロック図である。この図５に示した実施例は、必要な
ラベル情報を持つ音声データベースが存在しない場合
に、音素クラスに依存しない標準パターンを用いて作成
された教師信号系列により、ニューラルネットワーク２
を学習するようにしたものである。すなわち、図５に示
す音声データベース１１は音素の情報を持っておらず、
標準パターン作成部１０は音声データベース１１の内容
に基づいて、標準パターンをｋ−ｍｅａｎｓアルゴリズ
ムなどによって直接作成する。標準パターンの数は音素
クラスに依存しないため、いくつにでも設定することが
できるが、ここでは２５としておく。それ以外の構成は
図４に示した実施例と同じであるため、省略する。
【００２４】この図５に示した実施例によって新たに学
習に用いる音声データに対しても自動的にニューラルネ
ットワーク２を追加学習できるだけでなく、表示パター
ンの大きさを音素クラスより小さくすることができ、認
識時の計算効率を上げることができる。
習に用いる音声データに対しても自動的にニューラルネ
ットワーク２を追加学習できるだけでなく、表示パター
ンの大きさを音素クラスより小さくすることができ、認
識時の計算効率を上げることができる。
【００２５】図６は図５に示した処理によって得られた
特徴パターンを用いて音声認識を行なう構成を示すブロ
ック図である。図６にいおて、まず、辞書作成用の音声
データから図５に示した実施例により学習されたニュー
ラルネットワーク２を用いて特徴パターンを作成し、ス
イッチ１１をパターン辞書１２側に切換え、特徴パター
ンをパターン辞書１２に登録する。次に、これらの辞書
パターンを用いて、未知音声特徴パターンと最も近いパ
ターンをパターンマッチング部１３でユークリッド距離
などを用いて求め、認識結果とすればよい。もちろん、
これらの辞書パターンを用いてＨＭＭのような確率モデ
ルを用いたり、ニューラルネットワークを用いて認識を
行なってもよい。
特徴パターンを用いて音声認識を行なう構成を示すブロ
ック図である。図６にいおて、まず、辞書作成用の音声
データから図５に示した実施例により学習されたニュー
ラルネットワーク２を用いて特徴パターンを作成し、ス
イッチ１１をパターン辞書１２側に切換え、特徴パター
ンをパターン辞書１２に登録する。次に、これらの辞書
パターンを用いて、未知音声特徴パターンと最も近いパ
ターンをパターンマッチング部１３でユークリッド距離
などを用いて求め、認識結果とすればよい。もちろん、
これらの辞書パターンを用いてＨＭＭのような確率モデ
ルを用いたり、ニューラルネットワークを用いて認識を
行なってもよい。
【００２６】さらに、より認識精度を上げるために、各
音素クラスごとに音声データを分類した後、図５に示し
た実施例のように音素クラス当り複数の標準パターンを
作成して、標準パターンを増やすことにより生成される
教師信号がより正確なものとなる。このようにして得ら
れた特徴パターンを用いて、図３に示すブロック図によ
り認識することができる。
音素クラスごとに音声データを分類した後、図５に示し
た実施例のように音素クラス当り複数の標準パターンを
作成して、標準パターンを増やすことにより生成される
教師信号がより正確なものとなる。このようにして得ら
れた特徴パターンを用いて、図３に示すブロック図によ
り認識することができる。
【００２７】図７はこの発明のさらに他の実施例を示す
ブロック図である。この図７に示した実施例は、図１に
示したニューラルネットワーク２に代えてＨＭＭ群１４
を用いたものである。すなわち、フィルタバンク１によ
って周波数分析されたベクトル列を２５個のＨＭＭ群１
４にそれぞれ入力し、２５個の尤度を特徴パターンとし
て得る。初期状態のＨＭＭ１４には１〜数人程度のラベ
ル情報から音素区間を検出し、予め学習しておく。教師
信号計算部６は追加学習用音声の発声内容から音素記号
データベース５を参照して教師信号ベクトル列を生成す
る。この記号列から該当する音声に対応するベクトルの
要素を「１」，ほかを「０」とすることにより２５次元
のベクトルを生成する。教師信号と特徴パターンとから
ＤＰマッチング３により非線形の関数が得られ、その関
数を用いてトレースバック処理部４によりトレースバッ
ク処理を行なうことにより、各音素記号に対応する入力
ベクトル列の範囲を自動的に検出できる。特定の音素に
対応する区間の音声データを当該音素に対応するＨＭＭ
にBaum- Welch アルゴリズムを適用し、ＨＭＭの追加学
習を行なう。
ブロック図である。この図７に示した実施例は、図１に
示したニューラルネットワーク２に代えてＨＭＭ群１４
を用いたものである。すなわち、フィルタバンク１によ
って周波数分析されたベクトル列を２５個のＨＭＭ群１
４にそれぞれ入力し、２５個の尤度を特徴パターンとし
て得る。初期状態のＨＭＭ１４には１〜数人程度のラベ
ル情報から音素区間を検出し、予め学習しておく。教師
信号計算部６は追加学習用音声の発声内容から音素記号
データベース５を参照して教師信号ベクトル列を生成す
る。この記号列から該当する音声に対応するベクトルの
要素を「１」，ほかを「０」とすることにより２５次元
のベクトルを生成する。教師信号と特徴パターンとから
ＤＰマッチング３により非線形の関数が得られ、その関
数を用いてトレースバック処理部４によりトレースバッ
ク処理を行なうことにより、各音素記号に対応する入力
ベクトル列の範囲を自動的に検出できる。特定の音素に
対応する区間の音声データを当該音素に対応するＨＭＭ
にBaum- Welch アルゴリズムを適用し、ＨＭＭの追加学
習を行なう。
【００２８】上述の処理を繰返すことにより、新たに学
習に用いる話者の音声データに対しても自動的にＨＭＭ
を追加学習することができ、不特定話者に対する特徴パ
ターンを生成できる。
習に用いる話者の音声データに対しても自動的にＨＭＭ
を追加学習することができ、不特定話者に対する特徴パ
ターンを生成できる。
【００２９】なお、図７に示したＨＭＭは図４，図５の
各実施例にも実現することができる。
各実施例にも実現することができる。
【００３０】
【発明の効果】以上のように、この発明によれば、音素
ラベル情報を持つ音声データベースを用いることなく、
不特定多数の話者に対するニューラルネットワークやＨ
ＭＭの追加学習が可能となる。その結果、話者に依存し
ない音声特徴量の抽出が可能となり、不特定話者のため
の音声認識を実現することができる。
ラベル情報を持つ音声データベースを用いることなく、
不特定多数の話者に対するニューラルネットワークやＨ
ＭＭの追加学習が可能となる。その結果、話者に依存し
ない音声特徴量の抽出が可能となり、不特定話者のため
の音声認識を実現することができる。
【図１】この発明の一実施例の概略ブロック図である。
【図２】音声を音声記号として「もしもし」を発声した
場合の教師信号の一例を示す図である。
場合の教師信号の一例を示す図である。
【図３】この発明の一実施例による音声認識の実現例を
示すブロック図である。
示すブロック図である。
【図４】この発明の他の実施例の概略ブロック図であ
る。
る。
【図５】この発明のその他の実施例の概略ブロック図で
ある。
ある。
【図６】図５に示した特徴パターンを用いて音声認識を
行なう一例を示すブロック図である。
行なう一例を示すブロック図である。
【図７】この発明のさらに他の実施例の概略ブロック図
である。
である。
１ フィルタバンク ２ ニューラルネットワーク ３ ＤＰマッチング ４ トレースバック処理部 ５ 音素記号データベース ６ 教師信号計算部 ７ 最大値検出器 ８ 音素記号付音声データベース ９ 音声データ分類部 １０ 標準パターン作成部 １１ 音声データベース １２ パターン辞書 １３ パターンマッチング １４ ＨＭＭ群
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ１０Ｌ 3/00 ５３５ 9379−5Ｈ
Claims (8)
- 【請求項１】 入力音声を分析して音声特徴パターンを
抽出し、当該音声特徴パターンを用いて未知話者音声の
属するクラスを決定することによって認識結果となす音
声認識用の特徴パターン作成方式において、 音素記号列により作成された教師信号系列と、前記入力
音声に対するニューラルネットワークの出力系列との整
合操作により、該入力音声に教師信号を与えることによ
って当該ニューラルネットワークを追加学習することを
特徴とする、特徴パターン作成方式。 - 【請求項２】 前記音声の教師信号系列と未知話者音声
に対する複数の隠れマルコフモデルの出力尤度系列との
整合操作により、入力音声区間に対応する特定の隠れマ
ルコフモデルを追加学習することを特徴とする、請求項
１の特徴パターン作成方式。 - 【請求項３】 入力音声を分析して音声特徴パターンを
抽出し、当該音声特徴パターンを用いて未知話者音声の
属するクラスを決定することによって認識結果となす音
声認識用の特徴パターン作成方式において、 音素クラスに依存する標準パターンを用いて作成された
音声の教師信号系列と、未知話者音声に対するニューラ
ルネットワークの出力系列との整合操作により、前記入
力音声に教師信号を与えることによって、当該ニューラ
ルネットワークを追加学習することを特徴とする、特徴
パターン作成方式。 - 【請求項４】 前記音声の教師信号系列と未知話者音声
に対する複数の隠れマルコフモデルの出力尤度系列との
整合操作により、入力音声区間に対応する特定の隠れモ
ルコフモデルを追加学習することを特徴とする、請求項
３の特徴パターン作成方式。 - 【請求項５】 入力音声を分析して音声特徴パターンを
抽出し、当該音声特徴パターンを用いて未知話者音声の
属するクラスを決定することによって認識結果となす音
声認識用の特徴パターン作成方式において、 音素クラスに依存しない標準パターンを用いて作成され
た音声の教師信号系列と、未知話者に対するニューラル
ネットワークの出力系列との整合操作により、前記入力
音声に教師信号を与えることによって当該ニューラルネ
ットワークを追加学習することを特徴とする、特徴パタ
ーン作成方式。 - 【請求項６】 前記音声の教師信号系列と未知話者音声
に対する複数の隠れマルコフモデルの出力尤度系列との
整合操作により、入力音声区間に対応する特定の隠れマ
ルコフモデルを追加学習することを特徴とする、請求項
５の特徴パターン作成方式。 - 【請求項７】 入力音声を分析して音声特徴パターンを
抽出し、当該特徴パターンを用いて未知音声の属するク
ラスを決定することによって認識結果となす音声認識用
の特徴パターン作成方式において、 学習データを音素クラスに分類した後に、音素クラス当
り複数の標準パターンを作成し、音素クラスに依存しな
い標準パターンを用いて作成された音声の教師信号系列
と、未知話者音声に対するニューラルネットワークの出
力系列との整合操作により、入力音声に教師信号を与え
ることによって当該ニューラルネットワークを追加学習
することを特徴とする、特徴パターン作成方式。 - 【請求項８】 前記音声の教師信号系列と前記未知話者
音声に対する複数の隠れマルコフモデルの出力尤度系列
との整合操作により、入力音声区間に対応する特定の隠
れマルコフモデルを追加学習することを特徴とする、請
求項７の特徴パターン作成方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5053981A JPH071440B2 (ja) | 1993-03-15 | 1993-03-15 | 特徴パターン作成方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5053981A JPH071440B2 (ja) | 1993-03-15 | 1993-03-15 | 特徴パターン作成方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06266397A JPH06266397A (ja) | 1994-09-22 |
| JPH071440B2 true JPH071440B2 (ja) | 1995-01-11 |
Family
ID=12957807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5053981A Expired - Fee Related JPH071440B2 (ja) | 1993-03-15 | 1993-03-15 | 特徴パターン作成方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH071440B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100908121B1 (ko) * | 2006-12-15 | 2009-07-16 | 삼성전자주식회사 | 음성 특징 벡터 변환 방법 및 장치 |
-
1993
- 1993-03-15 JP JP5053981A patent/JPH071440B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH06266397A (ja) | 1994-09-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2654917B2 (ja) | ニューラル・ネットワークを使用する話者独立孤立単語音声認識システム | |
| US5594834A (en) | Method and system for recognizing a boundary between sounds in continuous speech | |
| JP2002500779A (ja) | 識別訓練されたモデルを用いる音声認識システム | |
| US5734793A (en) | System for recognizing spoken sounds from continuous speech and method of using same | |
| US5794190A (en) | Speech pattern recognition using pattern recognizers and classifiers | |
| US20050228666A1 (en) | Method, apparatus, and system for building context dependent models for a large vocabulary continuous speech recognition (lvcsr) system | |
| JP2000099080A (ja) | 信頼性尺度の評価を用いる音声認識方法 | |
| KR20010102549A (ko) | 화자 인식 방법 및 장치 | |
| McDermott et al. | Prototype-based minimum classification error/generalized probabilistic descent training for various speech units | |
| Bahari | Speaker age estimation using Hidden Markov Model weight supervectors | |
| JP2000172295A (ja) | 低複雑性スピ―チ認識器の区分ベ―スの類似性方法 | |
| JPH09507921A (ja) | ニューラルネットワークを使用した音声認識システムおよびその使用方法 | |
| US5487129A (en) | Speech pattern matching in non-white noise | |
| Kumar et al. | Comparative analysis of different feature extraction and classifier techniques for speaker identification systems: A review | |
| JPH064097A (ja) | 話者認識方法 | |
| JP2001083986A (ja) | 統計モデル作成方法 | |
| JP2000194392A (ja) | 騒音適応型音声認識装置及び騒音適応型音声認識プログラムを記録した記録媒体 | |
| JPH0486899A (ja) | 標準パターン適応化方式 | |
| JPH071440B2 (ja) | 特徴パターン作成方式 | |
| Karanasou et al. | I-vectors and structured neural networks for rapid adaptation of acoustic models | |
| JPH03200999A (ja) | 標準パターン学習方法 | |
| Costantini et al. | NMF Based System for Speaker Identification | |
| JP3105708B2 (ja) | 音声認識装置 | |
| Ariff et al. | Malay speaker recognition system based on discrete HMM | |
| Gas et al. | Predictive Kohonen map for speech features extraction |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 19950711 |
|
| LAPS | Cancellation because of no payment of annual fees |