JPH11338492A - 話者認識装置 - Google Patents

Abstract

(57)【要約】 【課題】 発声内容指定型の話者認識性能を向上させる
話者認識装置を提供することを目的とする。 【解決手段】 話者特徴重み係数付加部１−５と重み付
け類似度算出部１−８をテキスト指定型話者認識装置に
設ける。認識対象の話者と不特定多数話者の音韻モデル
間の距離を比較し、その値の大きいモデルは話者の特徴
が強く現れていると仮定し、距離の大小に比例した重み
係数を音韻モデルに付加する。認識時は重み付き音韻モ
デルを連結して発声指定単語のモデルを作成し、これと
発声音声の特徴ベクトル時系列との類似度を類似度計算
部で計算し、その値で話者認識の結果を判定する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、話者が発声した音
声を音響分析し、その音声特徴パターンをあらかじめ登
録してある話者特徴パターンと比較し、その結果から話
者が誰であるか、また話者が主張する本人であるか否か
を判定する話者認識装置に関するものである。

【０００２】

【従来の技術】話者認識では、特定の話者がパスワード
を発声した音声パターンを標準パターンとして保持して
おくテキスト依存型の方式が一般的である。この方式で
は認識時に入力音声と本人の標準パターンとの時間軸整
合後の距離を計算し、その値を一定のしきい値と比較す
る事により本人か否かを判断する。しかし、テキスト依
存型ではテープレコーダーなどによって本人の声を録音
し、認識装置の前でそれを再生すれば、装置がそれを受
理してしまう危険性がある。

【０００３】そこで近年、認識のたびに任意のテキスト
を装置側から指定する事が可能な、テキスト指定型の話
者認識方式が提案されている。この方式では、本人が指
定されたテキストを正しく発声したと判定できる時の
み、それを受理する。これにより、発声内容が毎回異な
るため、録音した音声による詐称を防ぐ事ができる。

【０００４】テキスト指定型では、本人が正しく指定さ
れたテキストを発声したか否かを判定するために、本人
がそのテキストを発声した場合の音声のモデルを生成す
る必要がある。システムの側が任意のテキストを指定で
きるためには、各話者ごとに全ての基本的な音韻モデル
を学習しておき、それを接続して、指定されたテキスト
の音声のモデルを生成する。

【０００５】各話者の音韻モデルの作成には、１人の話
者が非常に多量に発声した音声データ（数百文章）から
各音韻モデルのＨＭＭ（ヒドンマルコフモデル）パラメ
ータを直接切り出して学習するのが理想であるが、現実
的にはそのような多量の発声をユーザーに強いる事は不
可能である。そこで、多数話者のデータから作成した不
特定話者音韻モデルを初期モデルとし、各話者の１００
単語程度の学習データを用いて、その初期モデルをその
話者に適応化する。このようにして、話者の音韻モデル
を生成する。

【０００６】

【発明が解決しようとする課題】一般に、話者の音声の
特徴は全ての音声区間に渡って現れるわけではなく、例
えば母音部の平均ピッチの高低や鼻音スペクトルなど音
声区間の部分的な特徴として観測される。しかし、従来
の方法では、登録した話者の全ての音韻を等しく評価し
て単語の類似度を算出し、話者認識に用いていた。しか
し、この方法では前述の話者特徴を良く表現した部分と
そうでない部分が同等に評価されるため、必ずしも良好
な話者認識性能が得られるとは限らなかった。

【０００７】したがって本発明は、登録話者の特徴的な
発声部分を認識結果に大きく反映させることにより、話
者認識の向上を図れる話者認識装置を提供することを目
的とする。

【０００８】

【課題を解決するための手段】本発明は、装置が毎回指
定する単語を発声することにより、話者が本人であるか
否かを判定するテキスト指定型話者認識装置であって、
話者の発声を取り込む音声入力部と、音声信号の特徴ベ
クトル系列を算出する特徴ベクトル算出部と、不特定話
者の音韻モデルを格納している不特定話者音韻モデル格
納部と、話者登録動作時に不特定話者の音韻モデルを登
録話者に適応化する話者適応化部と、登録話者の音韻モ
デルを格納する登録話者音韻モデル格納部と、話者認識
動作時に指定テキストの単語モデルを合成する指定単語
モデル合成部と、話者音声と単語モデルとの類似度を判
定しきい値と比較して話者認識結果を判定する認識結果
判定部と、話者認識結果を出力する認識結果出力部とを
備えたテキスト指定型話者認識装置に、前記話者適応化
部で不特定話者音韻モデルを登録話者に適応化した時の
平均特徴ベクトルの移動量に比例した重み係数をその音
韻モデルに付加する話者特徴重み係数付加部と、入力音
声の特徴ベクトル系列と単語モデルとの類似度を、音韻
モデル単位の部分距離に重みづけした値を時系列方向に
累積した累積距離として算出する重み付け類似度算出部
を備えたことを特徴とする話者認識装置である。

【０００９】この構成により、登録話者の特徴的な発声
部分を認識結果に大きく反映させることにより、話者認
識の向上を図れる話者認識装置を実現できる。

【００１０】

【発明の実施の形態】請求項１記載の発明は、装置が毎
回指定する単語を発声することにより、話者が本人であ
るか否かを判定するテキスト指定型話者認識装置であっ
て、話者の発声を取り込む音声入力部と、音声信号の特
徴ベクトル系列を算出する特徴ベクトル算出部と、不特
定話者の音韻モデルを格納している不特定話者音韻モデ
ル格納部と、話者登録動作時に不特定話者の音韻モデル
を登録話者に適応化する話者適応化部と、登録話者の音
韻モデルを格納する登録話者音韻モデル格納部と、話者
認識動作時に指定テキストの単語モデルを合成する指定
単語モデル合成部と、話者音声と単語モデルとの類似度
を判定しきい値と比較して話者認識結果を判定する認識
結果判定部と、話者認識結果を出力する認識結果出力部
とを備えたテキスト指定型話者認識装置に、前記話者適
応化部で不特定話者音韻モデルを登録話者に適応化した
時の平均特徴ベクトルの移動量に比例した重み係数をそ
の音韻モデルに付加する話者特徴重み係数付加部と、入
力音声の特徴ベクトル系列と単語モデルとの類似度を、
音韻モデル単位の部分距離に重みづけした値を時系列方
向に累積した累積距離として算出する重み付け類似度算
出部を備えたことを特徴とする話者認識装置である。

【００１１】この構成において、話者適応化時の平均特
徴ベクトルの移動距離に比例する重み係数を音韻モデル
に付加して格納しておき、話者認識時には重み付き音韻
モデルを連結して指定テキストの単語モデルを作成し、
類似度計算において各音韻モデルの部分距離に前記の重
み係数による重みづけを行い、それを発声区間に渡って
加算した累積距離をその登録話者の判定しきい値と比較
することにより、話者認識結果を判定する。これによ
り、登録話者の特徴的な発声部分の類似度が話者認識に
強く反映されるため、話者認識精度の向上が期待出来
る。

【００１２】請求項２記載の発明は、特定話者の音声デ
ータが十分に得られ、不特定話者の音韻データを適応化
せずに、特定話者の音韻モデルを直接作成できる場合、
あるいは登録話者の音韻モデルがあらかじめ用意されて
いる場合に、不特定話者と登録話者の同一音韻モデルの
平均特徴ベクトル間の距離を算出し、その値に比例する
重みづけ係数を音韻モデルに付加する話者特徴重み係数
付加部を備えたものである。

【００１３】この構成により、特定話者の音声データが
十分に得られ、不特定話者の音韻データを適応化せず
に、特定話者の音韻モデルを直接作成できる場合、不特
定／登録話者の同一音韻の音韻モデルで平均特徴ベクト
ル間の距離を算出して登録話者の音韻モデルに重み係数
を付加する。そして、話者認識時には重みづけ類似度を
算出する。これにより、話者適応を行わない場合でも登
録話者の特徴的な音韻モデルに重み係数を付加できる。

【００１４】請求項３記載の発明は、テキスト依存型で
単語モデルを用いる場合、不特定話者と特定話者の単語
モデルの同一音韻部分の対応をとり、個々の平均ベクト
ル間の距離を求め、その値に比例した重みづけを単語モ
デルに部分的に加える話者特徴重み係数付加部を備えた
ものである。

【００１５】この構成により、話者認識に単語モデルを
用いる場合、不特定話者の単語モデルと特定話者の単語
モデルとの間で時間軸のマッチングを行い、対応する音
韻部分の平均ベクトルで距離を算出し、その値に比例し
た重み係数を単語モデルに音韻単位で付加する。これに
より重み付け音韻モデルを連結した場合と同様の単語モ
デルが得られる。話者認識時には重みづけ類似度を算出
する事により、登録話者の特徴的な音韻を強調した話者
認識を従来のテキスト固定型話者認識装置で実現でき
る。

【００１６】以下、本発明の一実施の形態について図面
を参照しながら説明する。図１は本発明の一実施の形態
における話者認識装置の構成ブロック図、図２は同話者
認識装置の回路ブロック図、図３は同話者認識装置の話
者特徴重みづけの概念図、図４は同話者認識装置の話者
登録動作時のフローチャート、図５は同話者認識装置の
話者認識動作時のフローチャートである。

【００１７】図１において、１−１は話者の発声を取り
込む音声入力部であり、１−２は音声信号の特徴ベクト
ル系列を算出する特徴ベクトル算出部であり、１−３は
不特定話者の音韻モデルを格納している不特定話者音韻
モデル格納部であり、１−４は話者登録動作時に不特定
話者の音韻モデルを登録話者に適応化する話者適応化部
であり、１−５は話者適応化部で不特定話者音韻モデル
を登録話者に適応化した時の平均特徴ベクトルの移動量
に比例した重み係数をその音韻モデルに付加する話者特
徴重み係数付加部であり、１−６は適応化した登録話者
の音韻モデルを格納する登録話者音韻モデル格納部であ
り、１−７は話者認識動作時に指定テキストの単語モデ
ルを合成する指定単語モデル合成部であり、１−８は入
力音声の特徴ベクトル系列と単語モデルとの類似度を、
音韻モデル単位の部分距離に重みづけした値を時系列方
向に累積した累積距離として算出する重み付け類似度算
出部であり、１−９は話者音声と単語モデルとの類似度
を判定しきい値と比較して話者認識結果を判定する認識
結果判定部であり、１−１０は話者認識結果を出力する
認識結果出力部である。

【００１８】図２は音声認識装置の回路ブロック図であ
り、２−１はマイク、２−２はスピーカー、２−３は中
央処理装置（ＣＰＵ）、２−４は書き込み可能メモリ
（ＲＡＭ）、２−５は読み出し専用メモリ（ＲＯＭ）で
ある。

【００１９】図１の構成ブロック図における音声入力部
１−１はマイク２−１により、不特定話者音韻モデル格
納部１−３はＲＯＭ２−５により、登録話者音韻モデル
格納部１−６はＲＡＭ２−４により、話者適応化部１−
４と話者特徴重み係数付加部１−５と指定単語モデル合
成部１−７と重み付け類似度算出部１−８と認識結果判
定部１−９はＣＰＵ２−３がＲＯＭ２−５に書かれたプ
ログラムを実行し、ＲＯＭ２−５とＲＡＭ２−４にアク
セスすることにより、認識結果判定部１−９はスピーカ
ー２−２又は他の出力手段により実行される。

【００２０】上記のように構成された話者認識装置の動
作について、話者登録動作時と、話者認識処理時とに分
けて説明する。

【００２１】１．話者登録動作時登録話者の重み付き音
韻モデル作成時の動作について、図４のフローチャート
により説明する。この処理は認識の対象となる話者が自
分の音声パターンを装置に登録する時に実行される。

【００２２】ｓｔｅｐ（１）：ユーザーが発声した音声
信号を音声入力部１−１より取り込む。

【００２３】ｓｔｅｐ（２）：音声信号を特徴ベクトル
算出部１−２によりデジタル信号に変換し、音声特徴ベ
クトルを算出する。

【００２４】ｓｔｅｐ（３）：ユーザーの音声特徴ベク
トルを用いて不特定話者の音韻モデルを特定話者（ユー
ザー）に適応化する。具体的には、話者適応化部１−４
において、不特定話者音韻モデル格納部１−３に格納さ
れている不特定話者の音韻モデルの平均特徴ベクトル
を、登録話者の同一音韻の平均特徴ベクトルの方向に移
動させることにより、登録話者の音韻モデルを作成す
る。

【００２５】ｓｔｅｐ（４）：不特定話者の音韻モデル
を登録話者に適応化した際の平均特徴ベクトルの移動距
離を話者特徴重み係数算出部により算出する。

【００２６】ｓｔｅｐ（５）：話者特徴重み係数付加部
１−５により、移動距離に一定数を掛けた距離比例の重
み係数を登録話者の音韻モデルに付加する。

【００２７】ｓｔｅｐ（６）：重み係数を付加した音韻
モデルを、登録話者音韻モデル格納部１−６に記録して
おく。

【００２８】請求項２では、話者適応を行わず、特定話
者の認識モデルが直接得られる場合、話者適応時のベク
トル移動距離を用いずに、登録話者と不特定話者の同一
音韻モデルの平均特徴ベクトル間のベクトル距離を算出
し、その値に比例した重み係数を算出する。そして重み
係数を付加した音韻モデルを登録話者音韻モデル格納部
１−６に記録しておく。

【００２９】請求項３では、音韻単位の認識モデルを用
いず、最初から単語単位の音声モデルが得られる場合、
両単語モデルの時間軸を正規化し、対応する同一音韻部
分の平均特徴ベクトル間の距離を算出し、その値に比例
する重み付け係数を登録話者の単語モデルの各音韻区間
に付加する。

【００３０】２．話者認識処理話者認識処理時の動作に
ついて、図５のフローチャートにより説明する。

【００３１】ｓｔｅｐ（１）：装置が発声単語を話者に
指定する。 ｓｔｅｐ（２）：話者の重み付き音韻モデルを辞書に従
って連結し、指定単語の単語モデルを作成する。

【００３２】ｓｔｅｐ（３）：話者が発声した単語の音
声信号を音声入力部１−１より取り込む。

【００３３】ｓｔｅｐ（４）：特徴ベクトル算出部１−
２により入力音声の特徴ベクトル時系列を算出する。

【００３４】ｓｔｅｐ（５）：重み付け類似度算出部１
−８により、音声特徴ベクトルの時系列と単語モデル間
で時間軸のマッチングを行い、特徴ベクトルの時系列と
単語モデルの各音韻との対応を求める。

【００３５】ｓｔｅｐ（６）：ｓｔｅｐ（５）で求めた
対応に沿って、重み付けした累積距離を算出する。

【００３６】具体的には、音声特徴ベクトルの時系列と
単語モデル間で対応する部分音韻モデルとの距離を算出
する。そして音韻単位のベクトル距離を発声区間に渡っ
て累積する。その際、距離にその音韻モデルの重み係数
を掛ける事により、話者特徴を強調する。

【００３７】累積距離＝（音韻単位の距離×重み係数）
の発声区間の和 あるいは、上記の累積距離を音韻モデルの重みづけ係数
にその出現回数を掛けた値の和で割る事により、累積距
離が正規化され、認識結果の判定しきい値を重みづけの
有無に関係なくそのまま用いる事ができる。

【００３８】正規化累積距離＝累積距離÷（（重み付け
係数×音韻モデルの累積回数）の発声区間の和） この重み付け処理により、その話者の話者特長を良く反
映している音韻部分が強調される。その結果、話者が本
人の時の累積距離はあまり影響を受けない一方、話者が
詐称者の時の累積距離は増大し、本人／詐称者のコント
ラストがより明確になり、話者認識精度の向上が期待で
きる。

【００３９】音韻モデルに離散分布のＨＭＭ（ヒドンマ
ルコフモデル）を用いる場合は、適応化前後の音韻モデ
ルの各状態の平均ベクトル距離から重み付け係数を算出
し、モデルに付加する。ＨＭＭモデル間の距離には、ｋ
ｕｌｌｂａｃｋ等の確率的な距離尺度を用いてもよい。
状態ｊの重み係数Ｚｊは（数１）による。

【００４０】

【数１】

【００４１】話者認識時には、一旦重み係数を無視して
ビタビアルゴリズムにより最適状態遷移系列を求め、そ
の経路上の出力尤度に重み付けをして累積する。特徴ベ
クトルの時系列ｙ１Ｔについて、重みづけされた累積尤
度Ｐ（ｙ）は（数２）による。上記の累積尤度を正規化
するには、最適状態遷移系列の各状態の継続時間と重み
係数の積和で割る。

【００４２】

【数２】

【００４３】以上によりＨＭＭ音韻モデルの場合の、正
規化した重みづけ尤度が得られる。 ｓｔｅｐ（７）：認識結果判定部１−９により、累積距
離をその話者が本人か否か判断するしきい値と比較し、
認識結果を決定する。

【００４４】

【発明の効果】本発明によれば、登録話者の音声特長を
良く表現している音韻の話者間距離が強調されるため、
登録話者の認識精度の向上が期待できる。そして、この
重みづけ処理には話者の特徴に関する音声学的予備知識
を利用しないので、話者の個人差に柔軟に対応できる。

【００４５】請求項２の発明によれば、特定話者の音声
データから音韻モデルを直接作成できる場合に、一般
（不特定）話者との比較から話者の特徴を分析し、音韻
モデルに重みづけを行うことにより、より高精度に話者
認識を行う事が出来る。

【００４６】請求項３の発明によれば、従来一般のテキ
スト依存型の話者認識装置においても、登録話者と一般
（不特定）話者間の単語モデルを比較し、話者に特徴的
な音韻部分に重みを付加する事により、話者特徴を強調
した高精度な話者認識を行うことが出来る。

【図面の簡単な説明】

【図１】本発明の一実施の形態における話者認識装置の
構成ブロック図

【図２】本発明の一実施の形態における話者認識装置の
回路ブロック図

【図３】本発明の一実施の形態における話者認識装置の
話者特徴重みづけの概念図

【図４】本発明の一実施の形態における話者認識装置の
話者登録動作時のフローチャート

【図５】本発明の一実施の形態における話者認識装置の
話者認識動作時のフローチャート

【符号の説明】

１−１ 音声入力部 １−２ 特徴ベクトル算出部 １−３ 不特定話者音韻モデル格納部 １−４ 話者適応化部 １−５ 話者特徴重み係数付加部 １−６ 登録話者音韻モデル格納部 １−７ 指定単語モデル合成部 １−８ 重み付け類似度算出部 １−９ 認識結果判定部 １−１０ 認識結果出力部 ２−１ マイク ２−２ スピーカー ２−３ 中央処理装置（ＣＰＵ） ２−４ 書き込み可能メモリ（ＲＡＭ） ２−５ 読み出し専用メモリ（ＲＯＭ）

Claims (3)

【特許請求の範囲】
1. 【請求項１】装置が毎回指定する単語を発声することに
   より、話者が本人であるか否かを判定するテキスト指定
   型話者認識装置であって、話者の発声を取り込む音声入
   力部と、音声信号の特徴ベクトル系列を算出する特徴ベ
   クトル算出部と、不特定話者の音韻モデルを格納してい
   る不特定話者音韻モデル格納部と、話者登録動作時に不
   特定話者の音韻モデルを登録話者に適応化する話者適応
   化部と、登録話者の音韻モデルを格納する登録話者音韻
   モデル格納部と、話者認識動作時に指定テキストの単語
   モデルを合成する指定単語モデル合成部と、話者音声と
   単語モデルとの類似度を判定しきい値と比較して話者認
   識結果を判定する認識結果判定部と、話者認識結果を出
   力する認識結果出力部とを備えたテキスト指定型話者認
   識装置に、前記話者適応化部で不特定話者音韻モデルを
   登録話者に適応化した時の平均特徴ベクトルの移動量に
   比例した重み係数をその音韻モデルに付加する話者特徴
   重み係数付加部と、入力音声の特徴ベクトル系列と単語
   モデルとの類似度を、音韻モデル単位の部分距離に重み
   づけした値を時系列方向に累積した累積距離として算出
   する重み付け類似度算出部を備えたことを特徴とする話
   者認識装置。
2. 【請求項２】特定話者の音声データが十分に得られ、不
   特定話者の音韻データを適応化せずに、特定話者の音韻
   モデルを直接作成できる場合、あるいは登録話者の音韻
   モデルがあらかじめ用意されている場合に、不特定話者
   と登録話者の同一音韻モデルの平均特徴ベクトル間の距
   離を算出し、その値に比例する重みづけ係数を音韻モデ
   ルに付加する話者特徴重み係数付加部を備えたことを特
   徴とする請求項１記載の話者認識装置。
3. 【請求項３】テキスト依存型で単語モデルを用いる場
   合、不特定話者と特定話者の単語モデルの同一音韻部分
   の対応をとり、個々の平均ベクトル間の距離を求め、そ
   の値に比例した重みづけを単語モデルに部分的に加える
   話者特徴重み係数付加部を備えたことを特徴とする請求
   項１記載の話者認識装置。