JPH071434B2 - 標準パタン作成方式 - Google Patents

Description

【発明の詳細な説明】 ［産業上の利用分野］ この発明は、音声認識における標準パタン作成方式の改
良に関する。

［従来の技術］ 話者による発声器官の形状の差や、発声習慣や癖などに
よる調音様態の差は、音声の個人差として、不特定話者
の音声を対象とした音声認識の実現を阻む要因となって
いる。これに対処する方法として、音声の個人差を正規
化する方法や、少量の学習サンプルにより認識システム
を話者に適応させる方法、音声から話者に依らない特徴
を抽出しそれを認識に用いる方法などが検討されてい
る。

少量の学習サンプルにより認識システムを話者に適応さ
せる方法の１つに、文献「中島、高橋、“大語彙音声認
識における話者適応化法”、日本音響学会講演論文集
昭和58年10月 1-1-6」で提案された方法がある。これ
は、未知入力話者が発声した学習用音声と標準話者が発
声した同カテゴリ音声とのDPマッチングにより得られる
２音声間のフレーム対応を用いて、擬音韻標準パタン型
（以下ではSPLIT型と称する）音声認識における標準話
者のベクトル量子化コードブック（以下ではVQコードブ
ックと称する）を未知入力話者に適応させるもので、大
語彙離散単語認識による評価でその有効生が確認されて
いる。前記SPLIT型音声認識において標準パタンは、VQ
コードブックによりベクトル量子化され、コードラベル
列として辞書に記憶されている。従来、この種の標準パ
タン作成法としては、音韻特徴パラメータ空間のクラス
タリング手法が用いられており、例えば文献「管村、箱
田、古井、“クラスタ化による音韻標準パタンを用いた
単語音声認識”、日本音響学会音声研究会資料 S80-61
昭和55年12月15日」において述べられた方法があり、第
２図はこの方法を構成図で示したものである。

図において、（１）は入力端、（２）は入力音声信号、
（３）は音響分析手段、（４）は特徴ベクトル時系列、
（５）は切り換えスイッチ、（６）はクラスタリング手
段、（７）はセントロイドベクトル、（８）はコードブ
ックメモリ、（９）はコードベクトル、（10）は量子化
手段、（11）はラベル列、（12）は辞書メモリである。

次に動作について説明する。

まずVQコードブックを作成するため、切り換えスイッチ
（５）をａ側にし、入力端（１）からVQコードブック作
成用の音声を入力する。入力端（１）から入ったＭフレ
ームの入力音声信号（２）は音響分析手段（３）で音響
分析され、特徴ベクトル時系列（４）｛Ｘ（１）,X
（２），…,X（Ｍ）｝に変換される。音響分析手段
（３）の出力である特徴ベクトル時系列（４）｛Ｘ
（１）,X（２），…,X（Ｍ）｝はクラスタリング手段
（６）に入力される。クラスタリング手段（６）は入力
された全ての特徴ベクトル時系列（４）の特徴ベクトル
をクラスタリングし、セントロイドベクトル（７）を出
力する。セントロイドベクトル（７）はVQコードブック
としてコードブックメモリ（８）に保存される。

VQコードブックが作成された後、認識時の標準パタンの
辞書を作成する。切換えスイッチ（５）をｂ側にし、入
力端（１）から標準パタン音声を入力する。入力端
（１）から入ったＭ′フレームの入力音声信号（２）は
音響分析手段（３）で音響分析され、特徴ベクトル時系
列（４）｛Ｘ（１）,X（２），…,X（Ｍ′）｝に変換さ
れる。音響分析手段（３）の出力である特徴ベクトル時
系列（４）｛Ｘ（１）,X（２），…,X（Ｍ′）｝は量子
化手段（10）に入力される。量子化手段（10）は、特徴
ベクトル時系列（４）｛Ｘ（１）,X（２），…,X
（Ｍ′）｝の中の特徴ベクトルＸ（ｍ）に対し尤度が最
大になるコードベクトル（９）をコードブックメモリ
（８）の中から探し、尤度最大となるコードのラベルＬ
（ｍ）を得る。これをｍ＝1,2,…,M′について行い、ラ
ベル列（11）｛Ｌ（１）,L（２），…,L（Ｍ′）｝を生
成し、辞書メモリ（12）に登録する。

［発明が解決しようとする課題］ 前記の、標準パタンを用いる話者適応化法において、上
述した従来技術による標準パタンを用いた場合には次の
ような問題がある。即ち、標準パタンが一人の標準話者
の音声から作成されているため、その標準話者の発声習
慣や癖による調音様態の個人性がそのまま保存されてお
り、そのゆえ未知入力話者の発声習慣や癖による調音様
態の個人性との食い違いが生じる場合があり、適応化の
効果が標準話者により異なったり、適応後の認識率が特
定話者並にならないという問題があった。標準話者を複
数にして種々の調音様態の個人性に対処するマルチテン
プレート法があるが、認識時の処理量の増大という問題
が生じる。又、複数の標準話者の音声を平均化する方法
もあるが、音韻特徴のぼけが生じ、認識率が低下する。

この発明は、上記のような問題点を解消するためになさ
れたもので、調音様態に関する個人差が少ない標準パタ
ンを作成することを目的とする。

［課題を解決するための手段］ この発明に係る標準パタン作成方式は、複数の標準話者
が発声した同カテゴリ音声の特徴ベクトル時系列を時間
軸について正規化する時間軸正規化手段と、この時間軸
正規化手段の出力である複数の時間軸正規化特徴ベクト
ル時系列を次元数を拡張した１つの次元拡張特徴ベクト
ル時系列に変換する次元拡張手段と、この次元拡張手段
の出力である次元拡張特徴ベクトル時系列を入力とし、
次元拡張特徴ベクトルに対しクラスタリングを行った
後、各クラスタのセントロイドベクトルを出力する次元
拡張クラスタリング手段と、該セントロイドベクトルを
次元拡張VQコードブックとして記憶するメモリと、該次
元拡張VQコードブックを用いて、次元拡張特徴ベクトル
時系列をベクトル量子化し、ラベル列を出力する次元拡
張量子化手段と、ラベル列を辞書として記憶する辞書メ
モリと、該次元拡張VQコードブックの各コードの次元拡
張特徴ベクトルの次元数を元の特徴ベクトルの次元数に
戻す次元縮小手段と、次元縮小された特徴ベクトルを記
憶するコードブックメモリとを備えたことを特徴とする
ものである。

［作用］ 時間軸正規化手段は、入力であるところの複数の標準話
者が発声した同カテゴリ音声の特徴ベクトル時系列に対
し、任意の標準話者の特徴ベクトル時系列を基準とした
時間軸正規化処理を行い、時間軸正規化特徴ベクトル時
系列を出力する。次元拡張手段は、同カテゴリである複
数の時間軸正規化特徴ベクトル時系列を用いて、１つの
次元拡張特徴ベクトル時系列を出力する。次元拡張クラ
スタリング手段は、入力された全ての次元拡張特徴ベク
トル時系列の次元拡張特徴ベクトルをクラスタリング
し、各クラスタについて次元拡張セントロイドベクトル
を求め、次元拡張コードブックメモリ上に記憶する。次
元拡張量子化手段は、次元拡張コードブックを参照し
て、次元拡張特徴ベクトル時系列のベクトル量子化を行
い、ラベル列を辞書メモリに記憶する。次元縮小手段
は、次元拡張コードブックメモリ上の各コードの次元拡
張特徴ベクトルの次元数を元の特徴ベクトルの次元数に
縮小し、この次元縮小特徴ベクトルをコードブックメモ
リに記憶する。

［実施例］ 第１図はこの発明の一実施例に係わる標準パタン作成方
式の構成を示すブロック図である。第１図において、第
２図に示す構成要素に対応するものには同一の符号を付
し、その説明を省略する。

第１図において、（13）は音響分析手段（３）の出力で
あるところの、複数の標準話者の同カテゴリ音声の特徴
ベクトル時系列（４）を、任意の標準話者の特徴ベクト
ル時系列を基準として、DTWによる時間軸正規化処理を
行い、時間軸正規化特徴ベクトル時系列（14）を出力す
る時間軸正規化手段、（15）は複数の標準話者の同カテ
ゴリ音声の時間軸正規化特徴ベクトル時系列（14）を、
１つの次元拡張特徴ベクトル時系列（16）に変換する次
元拡張手段、（17）は、次元拡張特徴ベクトル時系列を
入力とし、クラスタリング処理を行なって各クラスタの
次元拡張セントロイドベクトル（18）を出力する次元拡
張クラスタリング手段、（19）は次元拡張セントロイド
ベクトル（18）を次元拡張VQコードブックとして記憶す
る次元拡張コードブックメモリ、（21）は次元拡張コー
ドブックメモリ（19）上の次元拡張VQコードブックを用
いて、次元拡張特徴ベクトル時系列（16）をベクトル量
子化し、ラベル列（11）を出力する次元拡張量子化手
段、（22）は、次元拡張コードブックメモリ（19）上の
次元拡張VQコードブックの各コードの次元拡張コードベ
クトルの次元数を縮小し、次元縮小特徴ベクトル（23）
としてコードブックメモリ（８）に記憶する次元縮小手
段である。

複数（Ｎ人）の標準話者が発声した同カテゴリ音声は音
響分析手段（３）によりＮ群の特徴ベクトル時系列
（４）｛X⁽n⁾（１）,X⁽n⁾（２），…,X⁽n⁾（Mn）｝（ｎ
＝1,2,…,N）に変換される。ここでMnは話者ｎの特徴ベ
クトル時系列の系列数である。時間軸正規化手段（13）
は、Ｎ群の特徴ベクトル時系列（４）｛X⁽n⁾（１）,X⁽n
⁾（２），…,X⁽n⁾（Mn）｝（ｎ＝1,2,…,N）を入力と
し、標準話者ｎの特徴ベクトル時系列｛X⁽n⁾（１）,X⁽n
⁾（２），…,X⁽n⁾（Mn）｝を基準として、標準話者ｎ以
外の標準話者ｎ′の特徴ベクトル時系列に対しDTW（Dyn
amic Time Warping）を行うことで、Ｎ群の時間軸正規
化特徴ベクトル時系列（14）｛Ｘ′⁽n⁾（１）,X′⁽n
⁾（２），…,X′⁽n⁾（Ｍ）｝（ｎ＝1,2,…,N）を出力す
る。ここでＭは標準話者ｎの特徴ベクトル時系列の系列
数Mnと等しい。次元拡張手段（15）は、Ｎ群の時間軸正
規化特徴ベクトル時系列（14）｛Ｘ′⁽n⁾（１）,X′⁽n⁾
（２），…,X′⁽n⁾（Ｍ）｝（ｎ＝1,2,…,N）を用い、
次元拡張特徴ベクトル時系列（16）｛Ｙ（１）,Y
（２），…,Y（Ｍ）｝を次のように求める。

次元拡張特徴ベクトルＹ（ｍ）のｋ次元の要素をyk、話
者ｎの時間軸正規化特徴ベクトルＸ′⁽n⁾（ｍ）のｊ次
元の要素をｘ_n,jとすると、 yk＝ｘ_n,j（ｎ＝1,2,…,N,j＝1,2,…,J） ただし、ｋ＝ｆ（n,j）である。

ここで、Ｎは標準話者数、Ｊは特徴ベクトルの次元数で
ある。関数ｆはｎ＝1,2,…,N,j＝1,2,…,Jで定義され、
ｎとｊの全ての組合せとｋが１対１に対応する関数であ
る。例えば、 ｆ（n,j）＝（ｎ−１）＊Ｊ＋ｊの用な関数で、この場
合の次元拡張処理を第３図に示す。

これをｍ＝1,2,…,Mについて求めることで、Ｎ群の標準
話者の同カテゴリ音声の時間軸正規化特徴ベクトル時系
列（14）｛Ｘ′⁽n⁾（１）,X′⁽n⁾（２），…,X′⁽n
⁾（Ｍ）｝（ｎ＝1,2,…,N）は、各話者の調音様態の個
人性を保存したまま１つの次元拡張特徴ベクトル時系列
（16）｛Ｙ（１）,Y（２），…,Y（Ｍ）｝に変換され
る。

このようにして得られる次元拡張ベクトル時系列（16）
｛Ｙ（１）,Y（２），…,Y（Ｍ）｝を用いて、VQコード
ブック及び辞書を作成する。まずVQコードブックを作成
するため切り換えスイッチ（５）をａ側にする。次元拡
張クラスタリング手段（17）は、VQコードブック作成用
の音声から生成された系列数Ｍの次元拡張特徴ベクトル
時系列（16）｛Ｙ（１）,Y（２），…,Y（Ｍ）｝を入力
とし、クラスタリングを行い、各クラスタのセントロイ
ドの次元拡張特徴ベクトル（18）Zi|i＝1,2,…,I｝（Ｉ
はクラスタ数）を次元拡張コードブックメモリ（19）に
記憶する。次元縮小手段（22）は次元拡張コードブック
メモリ（19）に記憶されている次元拡張VQコードブック
の各コードの次元拡張コードベクトル（20）Ziを入力と
して、標準話者ｎに対する次元縮小特徴ベクトルZ⁽n⁾i
を次ように求める。

次元縮小特徴ベクトルZ⁽n⁾iのｊ次元の要素をｘ′ｊ、
次元拡張コードベクトルZiのｋ次元の要素をZkとする
と、 ｚ′ｊ＝zk（ｊ＝1,2,…,J） 但し、ｋはｊとｎが与えられることで、次元拡張に於て
用いた関数ｆ（前述の例の場合ｋ＝（ｎ−１）＊Ｊ＋ｊ
で、この場合の処理を第４図に示す）により、一意に求
められる。

これを、ｉ＝1,2,…,Iについて求め、各次元縮小特徴ベ
クトル（23）Z⁽n⁾iをコードブックメモリ（８）に記憶
する。

次に辞書を作成するために切り換えスイッチ（５）をｂ
側にする。次元拡張量子化手段（21）は、標準パタン音
声から作成された系列数Ｍ′の次元拡張特徴ベクトル時
系列（16）｛Ｙ（１）,Y（２），…,Y（Ｍ′）｝の各次
元拡張特徴ベクトルＹ（ｍ）に対し、尤度が最大となる
コードを次元拡張コードブックメモリ（19）上の次元拡
張VQコードブックから探し、ラベルＬ（ｍ）を得る。こ
れをｍ＝1,2,…,M′について求めることでラベル列（1
1）｛Ｌ（１）,L（２），…,L（Ｍ′）｝を生成する。
生成されたラベル列は辞書メモリ（12）に記憶される。

この様にして得られた辞書は、複数の標準話者音声の特
徴ベクトル時系列を次元拡張により多重化して生成した
１つの次元拡張特徴ベクトル時系列に対してベクトル量
子化を行いラベル列を作成しているので、各話者の発声
習慣や癖による調音様態の個人性が平滑化され、調音様
態の個人性が少なくなっている。そのため、話者適応化
処理に於て問題になっていた、標準話者と入力話者の調
音様態の個人差による適応効果の差異がなくなり、適応
後の認識率も従来法と比べて著しく向上する。

なお、本発明においてその実現方法は、専用のハードウ
ェアであっても、汎用の計算機や信号処理プロセッサに
おけるソフトウェア処理による実現であってもかまわな
い。

［発明の効果］ 以上のようにこの発明によれば、複数の標準話者の同カ
テゴリ音声の特徴ベクトル時系列の時間軸を正規化する
時間軸正規化手段、この時間軸正規化手段出力である複
数の標準話者の同カテゴリ音声であるところの時間軸正
規化特徴ベクトル時系列を、次元数を拡張して１つの次
元拡張特徴ベクトル時系列に変換する次元拡張手段と、
この次元拡張手段の出力である次元拡張特徴ベクトル時
系列を入力として、クラスタリングを行い、各クラスタ
のセントロイドの次元拡張特徴ベクトルを出力するクラ
スタリング手段と、この次元拡張特徴ベクトルを次元拡
張VQコードブックとして記憶するメモリと、この次元拡
張VQコードブックを用いて次元拡張特徴ベクトル時系列
を量子化し、対応するコードのラベル列に変換するベク
トル量子化手段と、このコードラベル列を辞書として記
憶するメモリと、次元拡張VQコードブックの各コードの
次元拡張特徴ベクトルを入力し、各コードの次元拡張特
徴ベクトルの次元数を縮小する次元縮小手段と、次元数
を縮小した次元縮小特徴ベクトルを記憶するメモリとで
構成したので、複数の標準話者の同カテゴリ音声を、各
話者の音韻特徴をぼかすことなく１つの次元拡張特徴ベ
クトル時系列に変換することができ、これに対してクラ
スタリング及びベクトル量子化を行なって作られたVQコ
ードブックと辞書は、調音様態の個人性が少ない標準パ
タンとなっておりこれを用いて話者適応化を行なった時
の認識率を大きく向上させるという効果が得られる。
又、複数の標準話者を用いる場合だけでなく、一人の話
者が複数回発声した同カデコリ音声を用いて標準パタン
を作成する場合にも本方式が適用できることは言うまで
もなく、同一話者内での発声ゆらぎの影響を受けない安
定した標準パタンが得られ、認識率向上の効果がある。

【図面の簡単な説明】

第１図は、この発明の一実施例に係わる標準パタン作成
装置の構成を示すブロック図、第２図は従来の標準パタ
ン作成装置の構成を示すブロック図、第３図は次元拡張
手段の処理例を示す図、第４図は次元縮小手段の処理例
を示す図である。 図中符号（８）……次元拡張コードブックメモリ、（1
3）……時間軸正規化手段、（15）……次元拡張手段、
（17）……次元拡張クラスタリング手段、（19）……次
元拡張コードブックメモリ、（21）……次元拡張量子化
手段、（22）……次元縮小手段。なお、図中同一符号は
同一または相当部分を示す。

Claims (1)

【特許請求の範囲】
1. 【請求項１】音声認識における標準話者の音声のベクト
   ル量子化コードブックを作成し、前記標準話者の音声を
   このベクトル量子化コードブックを用いてベクトル量子
   化を行うことで得られるコードラベル列を辞書として記
   憶する標準パタン作成方式に於て、複数の標準話者が発
   声した同カテゴリ音声の特徴ベクトル時系列を時間軸に
   ついて正規化する時間軸正規化手段と、この時間軸正規
   化手段で時間軸正規化された複数の特徴ベクトル時系列
   に対し、同一時点において標準話者数分存在する特徴ベ
   クトルを多重化して次元数を拡張した１つの次元拡張特
   徴ベクトル時系列に変換する次元拡張手段と、該次元拡
   張特徴ベクトル時系列内の次元拡張特徴ベクトルをクラ
   スタリングし、各クラスタのセントロイドの次元拡張特
   徴ベクトルを出力するクラスタリング手段と、このクラ
   スタリング手段から出力された次元拡張特徴ベクトルを
   次元拡張ベクトル量子化コードブックとして保存する次
   元拡張コードブックメモリと、このコードブックメモリ
   内の次元拡張ベクトル量子化コードブックを用いて、前
   記次元拡張手段の出力である次元拡張特徴ベクトル時系
   列をベクトル量子化し、コードラベル列を出力する量子
   化手段と、このコードラベル列を辞書として保存する辞
   書メモリと、該次元拡張ベクトル量子化コードブックの
   各コードの次元拡張特徴ベクトルから前記複数の標準話
   者の各話者に対応した特徴ベクトルを抽出することで次
   元数を拡張以前の数に縮小する次元縮小手段と、次元縮
   小された特徴ベクトルをベクトル量子化コードブックと
   して保存するコードブックメモリとで構成される標準パ
   タン作成方式。