JPH01998A - スペクトログラムの正規化方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野コ この発明はスペクトログラムの正規化方式に関し、特に
、ベクトル量子化を用いて異話者間のスペクトログラム
の正規化を行ない、不特定話者認識のための話者適応化
や性質変換技術に適用できるようなスペクトログラムの
正規化方式に関する。

［従来の技術および発明が解決しようとする問題点］ 自動翻訳電話では、入力として音声が用（Ｓられるが、
その音声は不特定話者の音声であり、このような不特定
話者の音声を的確に認識する必要がある。不特定話者認
識のための１つの手段として、異話者間のスペクトログ
ラムの正規化を行なう方法があるが、従来の異話者間の
スペクトログラムの正規化手段は、主に母音区間の正規
化に関するものであり、決定論的なスペクトル周波数の
変化などの方法しかなかった。

そこで、ベクトル量子化を用いて異話者間のスペクトピ
グラムの正規化を行なう方法が考えられる。ところが、
従来のベクトル量子化では、計算量、メモリの増加を抑
えて認１性能を向上させるべくベクトル量子化に用いる
スペクトル歪み尺度の改良が行なわれてきた。そして、
種々の特徴の組合わせの複合スペクトル歪み尺度が用い
られてきたが、この方法ではスペクトル歪み尺度に多種
の特徴間を混在させ、それらの間の依存関係を拘束条件
として用い、より認識性能の良い空間へ特徴を写像する
ところに意味があった。しかし、この方法では、次のよ
うな問題点があった。

■　各特徴間間の依存関係がベクトル量子化のコードブ
ック内に統計的に妥当性を持つためには、非常に多くの
ラーニングサンプルとこのための膨大な計算時間が必要
である。

■　コードブックサイズで見た場合、各特徴に必要なコ
ードブックサイズは特徴間の依存関係を拘束条件にする
ことで減少する。しかし、それでも全体のコードブック
サイズは各特徴に必要なコードブックサイズの積になっ
て、非常に大きくなってしまい、膨大なメモリが必要で
あった。

■　複合スペクトル歪み尺度を用いてベクトル量子化の
コードブックを生成した場合、各種の特徴間の相関によ
り、スペクトルの再現能力が低下する。

それゆえに、この発明の主たる目的は、ベクトル量子化
を用いてスペクトルを個人ごとに有限のベクトルで表現
し、その後、異話者間のベクトルの対応を求めることに
より、異話者間のスペクトログラムを正規化し得るスペ
クトログラムの正規化方式を提供することである。

［問題点を関東するための手段］ この発明は音声をディジタル化し、その音声の特徴とし
てスペクトログラムを抽出し、この抽出されたスペクト
ログラムを異話者間で正規化するスペクトログラム正規
化方式であって、音声をベクトル量子化した後ベクトル
量子化のコードブックについて異話者間で対応づけを行
ない、この対応づけに基づいてスペクトログラムの正規
化を行なうように構成したものである。１ ［作用］ この発明に係るスペクトログラムの正規化方式は、音声
をベクトル量子化した後スペクトログラムを個人ごとに
有限のベクトルで表現し、その後異話者間のベクトルの
対応を求めることにより、コードブックサイズは各特徴
に必要なコードブックサイズの和となるので、全体のコ
ードブックサイズを低減できる。

［発明の実施例］ 以下に、図面を参照して、この発明の実施例についてよ
り詳細に説明する。

第１図はこの発明が適用される音声認識装置の概略ブロ
ック図である。

第１図において、音声認識装置はアンプ１とローパスフ
ィルタ２とＡ／Ｄ変換器３と処理装置４とから構成され
る。アンプ１は入力された音声信号を増幅するものであ
り、ローパスフィルタ２は増幅された音声信号から折返
し雑音を除去するものである。Ａ／Ｄ変換器３は音声信
号を１２ｋＨ２のサンプリング信号により、１６ビツト
のディジタル信号に変換するものである。処理装置５は
コンピュータ５と磁気ディスク６と端末類７とプリンタ
８とを含む。コンピュータ５はＡ／Ｄ変換器３から入力
された音声のディジタル信号に基づいて音声認識を行な
うものである。

第２図はこの発明の一実施例の音声の入力から正規化ス
ペクトログラムを出力するまでの全体の流れを示すフロ
ー図である。

次に、第１図ないし第３図を参照して、この発明の一実
施例の動作について説明する。入力された音声信号はア
ンプ１で増幅され、ローパスフィルタ２によって折返し
雑音が除去された後、第２図に示すステップ（図示では
ＳＰと略称する）ＳＰｌにおいて、Ａ／Ｄ変換器３が入
力された音声信号を１６ビツトのディジタル信号に変換
する。

処理装置４のコンピュータ５はステップＳＰ２において
、ディジタル信号に変換された音声の特徴抽出を行なう
。この特徴抽出では、たとえば線形分析（ＬＰＧ分析）
などの手法を用いて行なわれる。

ステップＳＰ３において、コードブックの生成であるか
否かが判別され、コードブックの生成であれば、ステッ
プＳＰ４において、抽出された音声の特徴に基づいて、
コードブック生成が行なわれる。このコードブック生成
としては、たとえばＬＢＧアルゴリズムが用いられ、特
徴ごとに生成されて、ステップＳＰ５において、磁気デ
ィスク６のセパレートコードブックに格納される。なお
、ＬＢＧアルゴリズムについては、Ｌｉｎｄｅ、Ｂｕｚ
ｏ、Ｇｒａｙ；　　Ａｎ　　ａｌｇｏｒｉｔｈｍｆｏｒ
　　Ｖｅｃｔｏｒ　　Ｑｕａｎｔｉｚａｔｉｏｎ　　Ｄ
ｅｓＬｇｎ’ＩＥＥＥ　　Ｃ０Ｍ−２８（１９８０−０
１）に詳細に記載されている。

量子化を行なうときには、ステップＳＰ３においてコー
ドブックの生成でないことが判別され、前述のステップ
ＳＰ２で求められた音声の特徴が、ステップＳＰ６にお
いて、セパレートコードブックを参照してセパレートベ
クトル量子化される。

そして、ステップＳＰ７において、変換ベクトルの学習
であるか否かが判別され、変換ベクトルの学習であれば
、ステップＳＰ８において、セパレートベクトル量子化
により生成された特徴ごとのコード列が標準話者の学習
用標準パターン系列とＤｏｕｂｌｅ　　５ｐｌｉｔによ
るＤＰ（Ｄｙｎａｍｉｃ　　Ｐｒｏｇｒａｍｍｉｎｇ：
動的計画法）マツチングされる。この学習用標準パター
ン系列はステップＳＰ９において予め磁気ディスク６に
登録されている。ステップ５Ｐ１０において、ＤＰマツ
チングの結果のベクトルの対応づけのヒストグラムを用
いて、変換ベクトルが生成される。

この変換ベクトルはステップ５Ｐ１１において、磁気デ
ィスク６に登録される。

前述のステップＳＰ７において、変換ベクトルの学習で
ないことを判別したとき、すなわち正規化であることを
判別したときには、ステップ５Ｐ１２において、セパレ
ートベクトル量子化により生成された特徴ごとのコード
列が、ステップ５Ｐ１１において既に格納されている変
換ベクトルを用いてフレームごとに置換えられ、正規化
スペクトログラムが生成されて出力される。

第３図はベクトル量子化を用いたスペクトログラム正規
化の動作を説明するためのフロー図であり、第４図はセ
パレートベクトル量子化の動作を説明するためのフロー
図であり、第５図は変換ベクトル学習のアルゴリズムを
説明するためのフロー図であり、第６図はスペクトログ
ラム正規化のアルゴリズムであり、第７図はマツチング
方式を説明するためのフロー図である。

次に、第３図を参照して、ベクトル量子化を用いたスペ
クトログラム正規化について説明する。

この発明におけるベクトル量子化を用いたスペクトログ
ラム正規化は大きく２つの機能から構成されている。１
つは、ステップ５Ｐ２３におけるベクトル量子化である
。このベクトル量子化は、特徴の種類ごとに別々にベク
トル量子化を行なうセパレートベクトル量子化であって
、ステップ５Ｐ２２において、特徴別に別々のコードブ
ックが生成される。

２つ目は、ステップ５Ｐ２４におけるスペクトルの変換
（正規化）であり、ステップ５Ｐ２４において、学習用
ｑｔ語を未知話者に発声させることにより、ベクトルの
対応づけを行なう。ここでは、全学習用単語について求
めた対応づけのヒストグラムを求め、これを重みとして
未知話者のコードブックの特徴ベクトルを標準話者のコ
ードブックの特徴ベクトルの線形結合で表わし、これを
変換コードブックとしてステップ５Ｐ２５において格納
しておき、正規化時には、入力されたスペクトルを入力
ごとに変換コードブックを用いて置換え、スペクトルの
正規化を行なう。

ここで、セパレートベクトル量子化について詳細に説明
する。この発明では、音声をパワーとスペクトル情報（
自己相関係数、ＬＰＣケプストラム係数）の２種類の特
徴に分割し、それぞれについて別々にベクトル量子化を
行なう。但し、パワーはスカラーであるため、不均一ス
カラー量子化となっている。第４図において、ステップ
５Ｐ３１において、１６ビツトのディジタル信号に変換
された音声信号に対して、１４次の自己相関分析による
ＬＰＧ分析を行ない、入力音声の特徴であるパワーと自
己相関係数、ＬＰＣケプストラム係数を抽出する。ステ
ップ５Ｐ３２において、パワーのコードブック生成であ
るか否かを判別し、パワーのコードブック生成であれば
、ステップ５Ｐ３３において、入力音声のパワーをスカ
ラー量子化する。スカラー量子化では、不均一量子化の
手法を用いて、ステップ５Ｐ３３においてパワーコード
ブックを生成し、ステップ５Ｐ３４において、生成した
パワーコードブックを磁気ディスク６に格納する。

パワーコードブックの生成でないとき、すなわち、量子
化時には、ステップ５Ｐ３４におけるパワーコードブッ
クを用いて、ステップ５Ｐ３５において量子化を行ない
、パワーに関するコード列を出力する。

一方、ステップ５Ｐ３６において、ＬＰＣ相関係数およ
びＬＰＣケプストラム係数のコードブック生成であるこ
とが判別されると、ステップ５Ｐ３７において、ＬＢＧ
アルゴリズムにより、ＷＬＲＲ度に基づいてコードブッ
クが生成され、ステップ５Ｐ３８におて、生成されたコ
ードブックが磁気ディスク６に格納される。こで、ＷＬ
Ｒ尺度は、音声の特徴を強調する尺度であり、単語音声
の認識において高い性能を示すものであり、村山。

鹿野による“ピークに重みをおいたＬＰＧスペクトルマ
ツチング尺度尺度子電子通信学会論文）　Ｊ６４−Ａ５
　（１９８−０５）に記載されている。

なお、ＬＰＧ相関係数およびＬＰＣケプストラム係数の
コードブック生成でないとき、すなわち、量子化時には
入力音声の自己相関係数とＬＰＣケプストラム係数に対
し、ステップＳＰ３ｇにおけるスペクトルコードブック
を用いて、ステップ５Ｐ３９においてベクトル量子化を
行ない、スペクトル情報に関するコード列を出力する。

ここで、コードブック生成、量子化に用いたスペクトル
歪み尺度は次のものである。

ｄ　　　　−Ｐ／Ｐ’　＋　Ｐ’　／Ｐ−２・・・（１
）ｏｗｅｒ ｄ　　　　−Σ　（Ｃ（ｎ）−Ｃ’　（ｎ））　（Ｒ（
ｎ）−Ｒ’　（ｎ））ｓｐｅｃｔｒｕｓ ・・・（２） ここで、 ｄ　　　　はパワー項の歪み尺度であり、ｏｗｅｒ ｄＳｐＯｅｔｒｔＪｌはスペクトル歪み尺度であり、Ｒ
（ｎ）はコードブックのｎ次の自己相関、係数であり、 Ｒ’　（ｎ）は人力のｎ次の自己相関係数であり、Ｃ（
ｎ）はコードブックのｎ次のＬＰＣケプストラム係数で
あり、 Ｃ’　（ｎ）は人力のｎ次のＬＰＣケプストラム係数で
ある。

次に、第５図を参照して、第、３図に示したステップ５
Ｐ２４．ステップ５Ｐ２５におけるスペクトルの正規化
および変換コードブ・ツクの生成について詳細に説明す
る。まず、変換コードブ・ツクを生成するにあたって、
学習用単語を未知話者に発声させる。この入力音声をス
テップ５Ｐ４１において、ステップ５Ｐ４２で既に格納
されているコードブックを用いてセパレートベクトル量
子化する。ステップ５Ｐ４３において、量子化されたコ
ード列は、ステップ５Ｐ４４において既に格納されてい
る標準話者の同一単語の学習用標準／く夕一ンとＤｏｕ
ｂｌｅ　　５ｐｌｉｔ法によりＤ　Ｐ　７　ツチングさ
れ、未知話者と標準話者が発声した同一学習単語でベク
トルの対応づけを求める。そして、すべての学習単語に
ついて対応づけを求め、ヒストグラムの形で格納する。

ステップ５Ｐ４５において、求めたヒストグラムを用い
て、未知話者の特徴ベクトルを、ステップ５Ｐ４６にお
いて格納されている標準話者のコードブックの特徴ベク
トルの対応づけのヒストグラムを重みとした荷重和で表
わす。この荷重和は次の式で表すことができる。

ａ′（ト）−Σｂ　　（ｋ）Ｅｌｋ／ｉ　ｈｎ　（ｋ）
ｎ ｋ：標準話者のコードブックのコード番号口：未知話者
のコードブックのコード番号ａ′：未知話者から標準話
者への変換ベクトルｂ　（ｋ）　　：標準話者のコード
ブックの特徴ベクトル ｈ　　（ｋ）：ＤＰマツチングによる対応付けで求めら
れた未知話者のコードｎに 対する標準話者のコードにのヒス トグラム つぎに、ステップ５Ｐ４８において　ａ　／の変換ベク
トルで未知話者のツー１ブ・ツクを入替え、ステップ５
Ｐ４３．５Ｐ４５および５Ｐ４７および５Ｐ４８を繰返
し行なう。この繰返しを一定回数または全学習単語に対
するＤＰ短距離収束するまで繰返し、ステップ５Ｐ４７
において収束したことを判別すると、最終的な未知話者
から標準話者への変換ベクトルが求められる。

次に、第６図を参照して、スペクトルの正規化について
説明する。ステップ５Ｐ５１において、未知話者の入力
音声を、コードブックを用いてセパレートベクトル量子
化する。ここで、未知話者のコードブックはステップ５
Ｐ５２において予め格納されている。そして、先程求め
たステップ５Ｐ５４における未知話者から標準話者への
変換ベクトルにより、ステップ５Ｐ５３において未知話
者のコードブックを入替え、フレームワイズにスペクト
ルの入替えを行なって正規化スペクトログラムを出力す
る。。

次に、第７図を参照して、対応づけを求めるマツチング
動作について説明する。マツチングはＤｏｕｂｌｅ　　
５ｐｌｉｔ法を用いて行なう。ステップ５Ｐ６１におい
て、セパレートベクトル量子化によりパワーとスペクト
ルと別々にベクトル量子化し生成されたコード列と、コ
ード列として格納されている標準パターンとをマツチン
グする。

標準パターンはステップ５Ｐ６２において、セパレート
ベクトル量子化によりコード化されたパワーおよびスペ
クトルの標準パターンが予め格納されている。そして、
ステップ５Ｐ６１におけるマツチングにおいては、コー
ド間の距離は予めステップ５Ｐ６３において距離マトリ
クスを作成しておき、この表びきを行なうことで求める
。このようにして、順番に標準パターンとマツチングし
て求めた人力音声と標準パターンのベクトルの対応をス
テップ５Ｐ６４におけるヒストグラム生成部に出力する
。そして、ヒストグラム生成部で求められたヒストグラ
ムを重みとして、未知話者の特徴ベクトルを標準話者の
特徴ベクトルの線形結合で表わして変換ベクトルとする
。

次に、マツチング方法について詳細に説明する。

従来のマツチングでは、入力も標準パターンも１つの特
徴列あるいはコード列であったが、セパレートベクトル
量子化では、一般に複数のコード列により構成される。

この発明では、パワーコード列とスペクトルコード列の
２系列のマツチング手法を例に掲げて説明する。パワー
とスペクトルの両方の情報を考えた場合の距離尺度とし
てＰＷＬＲ尺度がある。これは次式で示される。

ｄＰＶＬＲ−Σ（Ｃ（ｎ）−Ｃ’　（ｎ））Ｑ？（ｎ）
−Ｒ’　（ｎ））＋　ａ（Ｐ／Ｐ’　＋　Ｐ’　／Ｐ−
２）　　　、　　　−（３）ａ＝　０．０１ 従来のＤｏｕｂｌｅ　　５ｐｌｉｔ法によるコード列の
マツチングでは、前述のようにすべての空間がベクトル
量子化され、有限個の点で代表されていることを利用し
て、予めすべての代表点間の距離を求めて距離マトリク
スに格納しておく。したがって、 ｄ、ＷＬＲ（１，ｊ）　−ｏＬ（Ａ（＋）、Ｂ（ｊ））
ＤＬ（Ａ（１）、Ｂ（ｊ）） 一Σ（ＣＫ（ｎ）−ｃ、　（ｎ））（ＲＫ（ｎ）−ＲＬ
（ｎ））＋　ａ−（ＰＫ／ＰＬ＋　Ｐ、　／ＰＫ−２）
Ａ　（ｉ）は、入力音声のｉフレーム目のコード番号 Ｂ　（ｊ）は、標準パターンのｊフレーム目のコード番
号 ＤＬ　（Ｋ、Ｌ）は、コードに、Ｌ間の距離を距離マト
リクスから表びきで求めたもの に、　　Ｌは、Ａ　（ｊ）　、　　Ｂ　（ｊ）のコード
番号しかし、セパレートベクトル量子化では、２つの系
列を有するので次のようにして距離を求める。

ｄ［ｐ］［ＶＬＲ］”Ｊ） ＝ＤＬ　　　　（Ａ　　　　（＋）、Ｂ　　　　（ｊ）
）Ｓｐ８ｅＬ　　　５ｐｅｃｔ　　　　５ｐｅｃｔ＋　
ａ’　ＤＬ、ｏ、８．　（Ａｐｏ、、、　（１）、　Ｂ
、、、ｅ、　（ｊ））ここで、 ＤＬ　　　　（Ａ　　　　（１）、Ｂ　　　　（ｊ））
ｓｐｅｃｔ　　　５ｐｅｃｔ　　　　５ｐｅｃｔ−Σ（
ＣＫ（ｎ）−Ｃ，（ｎ）＞（ＲＫ（ｎ）−Ｒ，（ｎ））
ＤＬ　　　　（Ａ　　　　（１）、Ｂ　　　　（ｊ））
ｐｏｗｅｒ　　　　ｐｏｗｅｒ　　　　　　　ｐｏｗｅ
ｒ”　Ｐ　Ｋメ／ＰＬｌ＋ＰＬメ／Ｐ　Ｋ、　−２に、
Ｌは、Ａ　　　　（ｉ）、Ｂ　　　　（ｊ）のコード５
ｐｃｃｔ　　　　　　　５ｐｅｃｔ 番号 に’　、Ｌ’　は、Ａ　　　　（ｉ）、Ｂ　　　　（ｊ
）のｐｏｗｅｒ　　　　　　　　　ｐｏｗｅｒコード番
号である。

これは、ＰＷＬＲ尺度の第１項と第２項を別々にコード
化して距離を計算し、和を求めたものである。この局部
距離の尺度を用いて、ＤＰマツチングにより距離を求め
る。

以上のようにして、非常に高性能なベクトル量子化を用
いた正規化方式を達成できる。

［発明の効果］ 以上のように、このは発明によれば、音声をベクトル量
子化した後スペクトログラムを抽出し、ベクトル量子化
のコードブックについて異話者間で対応づけを行ない、
この対応づけに基づいてスペクトログラムの正規化を行
なうようにしたので、各特徴の依存項を無視でき、ラー
ニングサンプルを少なくてすみ、計算量が減少する。た
だし、セパレートすることにより、別のベクトル量子化
系を構成するので、この分計算量が多少増加するが、ラ
ーニングサンプルが少ないので十分計算量を減少できる
。コードブックサイズはセパレートベクトル量子化では
、各特徴に必要なコードブックサイズの和になるので、
全体のコードブックサイズを激減させることができる。

しかも、各特徴の依存項は無視するので、コードブック
の特徴内で最適な量子化をすることができ、このために
忠実にスペクトログラムを再現できる。

【図面の簡単な説明】

第１図はこの発明の一実施例が適用される音声認識装置
の概略ブロック図である。第２図は音声の入力から正規
化までの全体の処理の流れを示すフロー図である。第３
図はベクトル量子化を用いたスペクトログラム正規化の
動作を説明するためのフロー図である。第４図はセパレ
ートベクトル量子化の動作を説明するためのフロー図で
ある。 第５図は変換ベクトル学習のアルゴリズムを説明するた
めのフロー図である。第６図はスペクトログラム正規化
のアルゴリズムを示すフロー図である。第７図はマツチ
ング動作を説明するためのフロー図である。 図において、１はアンプ、１はローパスフィルタ、３は
Ａ／Ｄ変換器、４は処理装置、５はコンピュータを示す
。 特許出願人　エイ・ティ・アール自動翻訳電話研究所

Claims (5)

【特許請求の範囲】
1. （１）音声をディジタル化し、その音声の特徴としてス
   ペクトログラムを抽出し、その抽出されたスペクトログ
   ラムを異話者間で正規化するスペクトログラム正規化方
   式において、 音声をベクトル量子化した後、ベクトル量子化のコード
   ブックについて異話者間で対応づけを行ない、この対応
   づけに基づいてスペクトログラムの正規化を行なうよう
   にした、スペクトログラムの正規化方式。
2. （２）前記異話者間の対応づけの方法として、前記異話
   者のコードブックのベクトルの対応を一定の学習用単語
   の学習により求め、これに基づいて正規化を行なう、特
   許請求の範囲第１項記載のスペクトログラムの正規化方
   式。
3. （３）前記学習の際に動的計画法によるマッチングの対
   応づけのヒストグラムを作成し、これを重みとした基準
   話者の特徴ベクトルの線形結合で未知話者の特徴ベクト
   ルを書換えることにより、前記スペクトログラムの正規
   化を行なうようにした、特許請求の範囲第２項記載のス
   ペクトログラムの正規化方式。
4. （４）前記異話者間のコードブックの対応をとる際に、
   動的計画法によるマッチングの局部距離に各種の特徴の
   コード間距離の和を用いてコードづけの経路を拘束する
   ことにより対応づけの学習を行なうようにした、特許請
   求の範囲第３項記載のスペクトログラムの正規化方式。
5. （５）前記音声の特徴としてパワーおよび自己相関係数
   の２種類を用いてセパレートベクトル量子化を行ない、
   一定の学習単語の学習により、対応づけのヒストグラム
   を作成し、前記未知話者の各コードブックの特徴ベクト
   ルをヒストグラムを重みとした基準話者の特徴ベクトル
   の線形結合で置換えることにより正規化を行なうように
   した、特許請求の範囲第３項記載のスペクトログラムの
   正規化方式。