JPH0352086A - 自己組織化ネットワークを用いた話者照合方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 技五立夏 本発明は，音声により話者の同定を行う話者照合方式、
例えば、バンキングサービス、個人情報へのアクセス，
機密保管場所への入室管理等の音声キー（Ｋｅｙ）、玩
具等の応答装置の検出回路等に応用可能なものである。

従』ｑ紐擢 自己組織化ネットワークを用いた話者照合に関して、従
来、例えば、中村、その他１９８８電子情報通信学会全
国大会Ａ−１−１５　［自己組織化ネットワークを用い
た話者照合］　；中村、その他ｌ９８９電子情報通信学
会全国大会［自己組織化ネットワークを用いた話者照合
２］　；中村、その他１９８８　　東京電機大学工学部
研究報告　Ｐ１９〜［白己組織化ネットワークを用いた
話者照合］等の報告がある．これらの内容は、詳細（ス
ペクトルの分解能、実験等）を除き根本的に同じで、要
約すれば、まず、音声スペクトルを粗く量子化し、まず
（０，１，−１）のベクトル時系列として扱い、次に、
スペクトル時系列を類似するフレーム毎に数フレームづ
つまとめて１つの状態とし、スペクトル時系列をいくつ
かの時系列状態に分割する．この状態の遷移の様子を学
習によって組合せ、状態のネットワークを形或する．こ
れを自己組織化ネットワークと呼ぶ．話者照合において
は、このネットワークを話者ごとに作成し、未知話者の
音声と登録話者のネットワークとの対応づけを行ない、
この類似度が所定の閾値以下である時に本人であると照
合する． また、単語音声中の個人情報抽出に関して、例えば、千
本、篠田（東芝），昭和６０年電子通信学会情報システ
ム部門全国大会［単語音声中の個人情報抽出に関する一
検討］が提案されているが、この方式は、入力音声を数
ｒｎｓｅｅ毎のフレームに分割しそのフレーム毎に求ま
る音響パラメータを用いて、音声区間を複数のブロック
に分割し，ブロック毎に特徴量を計算することで、個人
性の情報量をも強調しテキスト依存型の話者照合を行う
ものである．ブロック分割は、ＤＰマッチングにて行な
い、ブロック毎の特徴量としては平均スペクトル等を用
いる．ＤＰマッチングを行ないブロックを分割するため
の基準点は目視により決める。

また、本出願人は、先に、（１）音声スペクトルを粗く
量子化し、まず（０，１，−１）のベクトル時系列とし
て扱い、次に、これを用いてスペクトル時系列を類似す
るフレームをいくつかまどめて１つの状態とし、スペク
トル時系列をいくつかの状態に分割し、この状態の遷移
の様子を学習によって組合せ、状態のネットワークを形
戒する（これを自己組織化ネットワークと呼ぶ）音声認
識装置について提案した．この音声認識においては、こ
のネットワークを単語ごとに作成し、未知音声と登録音
声のネットワークとの対応づけを行ない、この類似度が
最も大きい単語を該当単語として出力するようにしてい
る． 更に、本出願人は、先に、（２）入力音声を数ｍ　ｓｅ
ｃ毎のフレームに分割し，そのフレーム毎に求まる音響
パラメータを用いて、音声区間を複数のブロックに分割
し、ブロック毎に特徴量を計算することで、個人性の情
報量をも強調するテキスト依存型の話者照合を行う簡易
セグメンテーション法を用いた話者照合方式について提
案したが、この話者照合方式と前記｛［単語音声中の個
人情報抽出に関する一検討］千本，篠田（東芝）｝との
違いは，ブロック分割にＤＰマッチングを用いず、スペ
クトルの一次モーメントによる継続時間長制御型状態遷
移モデルを用いた点で、これにより演算量を大幅に削減
することができた。

上述のように，音声より個人を識別するためには、スペ
クトル包絡、平均ピッチ周波数といった音響パラメータ
を用いてＤＰマッチングを行なったり、母音定常部など
の音響パラメータの平均値、標準偏差等統計量を導入し
た方式などがある．例えば，入力音声を数ｍｓｅｃ毎の
フレームに分割しそのフレーム毎の音響パラメータを用
いて、音声区間を複数のブロックに分割し、ブロック毎
に特徴量を計算することで、個人性の情報量を強調しテ
キスト依存型の話者照合を行う前記（［単語音声中の個
人情報抽出に関する一検討］千本、篠田（東芝）昭和６
０年電子通信学会情報システム部門全国大会）における
方式や，さらに、このブロック分割をより簡単に行う方
式として前記（２）の簡易セグメンテーション法を用い
た話者照合などである．これらの方式は、特徴量として
、各ブロック内の音響パラメータ（特にスペクトル）の
加算または荷重平均値を用いており、個人の特徴を示す
とされるホルマントの時間変化は情報として扱えなかっ
た．一方、自己組織化ネットワークによる話者照合は、
音声中のホルマントとその遷移状態をうまく記述して、
ホルマント及びその遷移状態を話者照合に用いるもので
ある．この方式は、まず、入力音声を数ｍｓｅｃ毎のフ
レームに分割し、そのフレームごとにスペクトルに変換
する．次に、このスペクトルを所定閾値によって１、０
、−１の３値に粗く量子化する．これによってスペクト
ルパターンを時系列のベクトル列として扱い、辞書作成
時には、時間軸上で類似した数フレームをまとめて同一
の状態とする。この状態を用いて登録時に発声された複
数の入力音声との整合が取れるようにネットワークを作
成する（自己組織化ネットワーク）．照合時には、未知
話者の音声スペクトル０，１，−１時系列パターンを本
人のネットワークに入力して、入力音声の各フレームの
０，１，−１スペクトルパターンと本人の各状態との要
素間での内積を計算して，ネットワークと入力音声との
対応を調べ、内積値、ネットワークの遷移結果等を基に
未知音声が本人の音声であるか否かを判定するというも
のである。なお，辞書登録時に本人の音声の他に詐称者
の音声を用いて、本人の特徴（詐称者が通らない状態、
通りすらい状態）を強調する話者照合用のネットワーク
を構或することもできる．しかしながら、この方式では
、スペクトルの時系列を−１．０．１の３値に粗く量子
化してしまうために各フレーム中のスペクトル微細構造
に含まれる個人性を十分照合距離に反映することができ
ない．この方式は、ホルマントの遷移のみで個人性を識
別しているだけである。

したがって照合には限度が有ると考えられる。

豆一一匁 本発明は、上述のごとき状況に鑑み、各状態の情報とし
て−１．０．１のスペクトルパターン、継続するフレー
ム数のほかにその状態に割当てられたフレームの３値化
する前のデータ（生データ）より作成した平均値、分散
等，統計量を記憶しておき、照合時にはネットワークと
入力音声との内積値、ネットワークの遷移結果のほかに
、各状態ごとに記憶されている平均値等の統計量と入力
音声フレーム中各状態に対応づけられたフレーム（３値
化していない生データ［ベクトル量］）より計算される
統計量との間の距離を計算することで、これらの計算結
果を総合して未知音声が本人の音声であるか否かを判定
するもので、これによって照合率を上げるようにしたも
のである．欅一一玖 本発明は、上記目的を達成するために，入力音声を数ｍ
ｓｅｃ毎のフレームに分割し、そのフレームごとにスペ
クトルに変換する手段と、音声区間のスペクトルを所定
閾値によって１、０、−１の３値に粗く量子化する手段
と，この１、０、−１のスペクトルパターンを時系列の
ベクトル列として扱い、辞書作成時には，時間軸上で類
似した数フレームをまとめて同一の状態とする手段と，
この状態を用いて登録時に発声された複数の入力音声と
の整合が取れるようにネットワークを作成する手段（自
己組織化ネットワーク）と、照合時には，未知話者の音
声スペクトル０，１，−１時系列パターンを本人のネッ
トワークに入力して、入力音声の各フレームの０．１，
−１スペクトルパターンと本人の各状態との要素間での
内積を計算して、ネットワークと入力音声との対応を調
べ、内積値，ネットワークの遷移結果等を基に未知音声
が本人の音声であるか否かを判定する話者照合方式にお
いて、各状態の情報として−１．０．１のスペクトルパ
ターン、継続するフレーム数のほかにその状態に割当て
られたフレームの３値化する前のデータより作成した平
均値、分散等、統計量を記憶する手段と照合時にはネッ
トワークと入力音声との内積値、ネットワークの遷移結
果のほかに，各状態ごとに記憶されている平均値等の統
計量と各状態に対応付けられた入力音声フレーム（３値
化していない生データ［ベクトル量］）の統計量との距
離を計算する手段とを備え、これらの計算結果を総合し
て未知音声が本人の音声であるか否かを判定する自己組
織化ネットワークを用いたことを特徴としたものである
．以下、本発明の実施例に基づいて説明する。

第１、図は、本発明の一実施例を説明するための話者照
合システムのブ０ツク図で、図中、〕，はマイクロフォ
ン、２は特徴抽出部、３はネットワーク部、４は決定部
，５はバッファ一、６は統計量計算部，７は学習アルゴ
リズム部で、第２図に、上記特徴抽出部の詳細図，第３
図（ａ）〜（ｅ）にそれぞれ第２図のＡ−Ｃ部における
出力信号を示す． まず，マイク１から入力された音声信号は、特徴量抽出
部２にて，数ｍｓごεにフレームに分割されてスペクト
ルの時系列に変換される。この手段としては、スペクト
ルに関しては、例えば入力音声をローバスフィルタ（Ｌ
ＰＦ）によってサンプリング周波数の１７２以上の戒分
をカットした後Ａ／Ｄ変換器によって離散的な信号列に
量子化し、さらにこれを短時間の波形毎に切り出してハ
ミングウインドウ等を剰じ窓掛けを行い，スペクトルに
変換しても良いし、またはバンドバスフィルター群を用
いてスペクトルに変換しても良いし、またはバンドバス
フィルター群を用いてスベクトルに変換し時系列情報を
得ても良いいここでは８チャンネルのバンドバスフィル
ターを用いた例にて説明する．いま，時刻ｉにおけるフ
レームのスペクトルｆｉｊを求めるε、 ｆｉｊ＝（ｆｉｔ，　ｆｉｇ，　．．．　，ｆｉ８）　
　（ｊ”Ｌ２ｅ−−ｐ８）となるが、この音声スペクト
ルは、音声信号のパワースペクトルの時系列そのもので
ある．この音声スペクトルをまずバッファ５に格納する
．また同時に音声のローカルビークを強調したホルマン
トの抽出を容易にするために，このスペクトルの時系列
パターンを第２図に示す特徴抽出部２内部の空間フィル
ターによって処理する。この空間フィルターは、時間軸
方向にはローパスフィルター周波数軸方向にはハイパス
フィルターの特性をもつ．空間フィルターによって処理
されたスペクトル包絡よりネットワークを構成するが、
さらにホルマントの位置を明確にし，またネットワーク
化の際モデル化しやすいようにこのローカルピークパタ
ーンを３値に粗く量子化する．量子化の際の閾値として
は〇一カルパターンの正負それぞれの側の最大値の例え
ばｌ５％とし、これはｊ，フレームごとに行なう。この
ように粗く量子化を行なうと音声の変化の乏しい部分で
は，同じパターンのフレーム数が数フレームから十数フ
レーム連続することになる。そこで、同じ部分を圧縮し
て全体の情報量の削減を行なう。ここで圧縮したフレー
ム数は１つの情報ヒして残しておく．最終的にこの圧縮
した３値化ローカルピークパターンを用いてネットワー
クを構或する，ネットワークの作成は，以下の手順で行
なう．圧縮したローカルビークパターンの各フレームは
それぞれ１、０、−１の３値を持つ８次元のベクトルと
みなすことができる。そこでこの１フレームの３値のパ
ターンを状態遷移図における１，つの状態とみなしてネ
ットワークを構成する。この様子を第４図に示す．ネッ
トワークの１つ１つの状態はそれぞれ１、０、−１の３
値のパターンにより構成される．このことは，この状態
１つ１つが音声の短時間スペクトルのパターンを記憶し
ていることになるのは明らかである．また、各状態は、
その状態が何プレーム続いたかという情報も記慎してい
る。さらにこの状態に割当てられるフレームを先のバッ
ファより統計量計算部に入力し音声スペクトル（生デー
タ）の平均値，分散等を計算する．これを状態の情報と
して付加える。このことを同じ話者の他の発声について
行なうと、同じ言葉であればほぼ同じ様なネットワーク
（もちろん１回の発声で作成したネットワークはそのバ
スの数はｌ通リしかない）ができるが，音声には当然僅
かに変動がある．そこで，その変動を吸収し、ネットワ
ークに柔軟性を持たせるためにネットワークの学習を行
なう。

ネットワークの学習は、元のネットワークに新たなパス
を付加えていくことによって行なわれる．第５図にこの
ようすを示す，この時、元のネットワークと新たに付加
えるネットワークとの間で、一致している状態を見つけ
るためにこの２つのネットワーク間でＤＰマッチングを
行なう．元のネットワークが複雑な場合は、可能な全て
のバスについてＤＰマッチングを行ないその距離が最も
小さいバスに新しいパスを付加えてい《．これによって
複雑なネットワークに新しいネットワークを付加える時
に最も付け加えるネットワークに似ているパスを、元の
ネットワークから探すことができる．なお，状態中の統
計量の計算は，１回の発声でえられる平均値を各発声ご
とに計算してこれらをまとめて荷重平均などしてもとめ
てもよいし，まず状態に割当てられる各発声のフレーム
を求めておき，最後にこれらのフレームに対応する音声
データを用いて、これをまとめて総合的に平均値、分散
等を計算しても良い。

照合には前述のネットワークとローカルビークパターン
（空間フィルターを通過した後のスペクトル包絡パター
ン）を用いる．ローカルピークパターンはネットワーク
に入力される。ここで、ネットワークの各状態は、１、
０、−１の８次元のベクトルとみなせ、ローカルピーク
パターンの１フレームも８次元のベクトルとみなせるの
でこの両者の内積を取ることができる．この内積値を現
在の入力のローカルピークのフレームと状ａｈの類似度
として用い、その大小を状態遷移の判断条件として用い
る．第６図に具体例を示す。いまネットワークのＡの状
態からスタートする．このとき，入力のローカルビーク
パターンの現在の入力フレームが第６図に示したもので
あったとすると、Ａは８次元のベクトル、入力のフレー
ムも８次元のベクトルだから内積を取ることができる。

その値は、 工え　＝　　ｓＡ−ｐ（ｔ）　　　　　　　　Ｄ）■Ａ
　：　状ｓＡと入力フレームとの内積値ＳＡ　：　状態
を示すベクトル Ｐ（ｔ）：　　入力の１フレーム 但し，通常の内積の場合は ｏｘｏ＝ｏ となり、一ｅしているにも関わらず得点とならない。そ
こでこの場合には特別に ＯＸＯ＝１０ とする． 内積をとるのはＡだけでなく、Ａより遷移可能な２つの
状態Ｂ．Ｂ’　ともそれぞれ内積を取る。

この時それぞれの内積値が第６図の様にＩ　ｎ＞　Ｉ　
Ｐ＞　Ｉ　Ａ となった場合にＡよりＢに状態を遷移させる．また、 Ｉ　！ｌ＞　Ｉ　Ａ＞　Ｉ　， となった場合もＡよりＢに状態を遷移させ，Ｉ　ｒ　＞
　Ｉ　Ａ＞　Ｉ　ｎ の場合はＡよりＢ′に状態を遷移させる．もし、Ｉ　Ａ
＞　Ｉ　ｎ＞　Ｉ　，　　または　Ｉ　Ａ＞　Ｉ　１＞
　Ｉ　＊であったらＡに留る．ただし、Ａに留っていら
れる時間は制限されており、それはデータ圧縮時の圧縮
されたフレーム数によって決る．この制限時間を越えて
もまだＡより遷移できなければＡの発火は終了し、Ａよ
りＢ．Ｂ’　に遷移することはできなくなる．このよう
にして、入力に対して状態を遷移させていきネットワー
クの最後まで遷移が達した場合を本人として受理し、途
中でとぎれてしまったり最後まで遷移できなかった場合
は他人として棄却する．また、判断基準となる他のパラ
メータとして類似度をもちいる．これは、まず（１）式
を一般化し、 ただし、 Ｉ（ｔ）：　　時刻ｔの内積出力値 Ｗｉ　：　状態ベクトル Ｘｉｔ　　：　　時刻ｔの入力フレームベクトルｎ　　
：　ベクトル要素数 とする。ここで、状態と入力フレームの内積和，全入力
フレームに関する内積和を計算してこれを各々、 Ｎ Ｉｓｕｍ＝　　Σ（ｔ）　　　　　　　　　　　・（３
）１＝０ ｔ＝ｏ　　ｉ＝０ ただし、 Ｎ　：　総入力フレーム数 とする． ここで、類似度Ｓｉｍを次のようにして定義する．Ｓｉ
ｎ　　＝　　Ｉｓｕｍ／　Ｉｍａｘ　　　　　−　（５
）このＳｉｎは１に近いほど本人で有ることを示す。

さらに、各状態の統計量例えば、平均値と分散を用いて
各状態の距離を ただし、 Ｄｊ　：状態ｊの距離 Ｍｊｉ　＝状態ｊに辞書作成時に割当てられた音声スペ
クトルの平均値 Ｍｊｉ：状ｊｌｌｊに割当てられた入力音声の平均値 σｊｉ：状態ｊの音声スペクトルの分散値で定義し，こ
れらを状態数Ｍ分だけ足し合わせて，状態数で正規化し
総合的な距離Ｄとする．何 判定はこの距離を所定の閾値と比較することで行なう． また、上記３つのパラメータを組合せて、新たなる評価
基準Ｐを Ｐ　　　＝ＷＯ　・　Ｒｅ＋Ｗ１　・　Ｓ’ｉｍ＋Ｗ２
　・　Ｄ−　　（　７　）として導入し，Ｐが所定の閾
値θより大きければ本人と断定し、それ以下の時詐称者
としても良い．（７）式でＲｅは，遷移が最後までいっ
たかどうかを示す定数でＯかｌの値を取る．また，ＷＯ
．Ｗ１、Ｗ２は各パラメータへの重みである．第７＠に
別の状態ベクトルの作り方を示す．この例では、辞書作
成時に本人の音声の他に詐称者の音声を用いて，本人の
特徴（詐称者が通らない状態、通りすらい状ｊ！ｉ）を
強調する話者照合用のネットワークを構成するものであ
る．例えば、第７図（ａ）のように話者ＳＰＩのネット
ワークができ上がっているものとする。このネットワー
クに（ｂ）の様に遷移する話者ＳＰ２の音声を入力する
と、（ａ）のネットワークにおいてＢ′を通って最後ま
で遷移してしまう．このときは、Ｂ′を通っても最後ま
で状態が遷移してしまうためにＳＰ２を本人であると認
識してしまう．そこで、この不都合を無くすために、Ｂ
′を通った時の内積値の計算を以下で示すように変更し
、内積値が小さくなるように操作する． ここで、Ｗｅｉｇｈｔとしては，例えば−１，−０．５
、０．２，０．５などといった発火を抑制する形で与え
ればよい．これにより，遷移を抑制したり、類似度を小
さくしたりでき，これによって詐称者受理率を小さくで
きる．なお、ここでは本人の他に詐称者の音声も参照し
て状態の＋ｌｌｅｉｇｈｔを求めたが、本人が発声する
複数の音声サンプルを用いて，これによって形成される
ネットワーク中ほとんど通らない状態に関しても同様の
処置をしても良い．また、統計量を計算して距離を求め
る処理においても（６）式を と変形して用しても良い．ここで．ＷＷｊとしては、例
えば１．５等の距離が大きくなるような適当な定数を定
めてやれば良い． 豊一一果 以上の説明から明らかなように，本発明によると、ホル
マントの時間遷移情報を状態の遷移という形でとらえ、
これをうまく記述して話者照合を行なう自己組織化ネッ
トワークによ・る話者照合と、入力音声を数ｍ　ｓｅｃ
毎のフレームに分割しそのフレーム毎に求まる音響パラ
メータを用いて，音声区間を複数のブロックに分割し，
ブロック毎に特徴量を計算することで，個人性の情報量
をも強調しテキスト依存型の話者照合を行う方式とを組
合せることで，状態遷移および定常部に含まれる個人性
の情報を有効に使用することができ，これによって照合
率を上げることができる．また、ハード規模の小さな，
辞書容量の小さなシステムを作成することができる，ま
た，本発明は、人間の学習過程の状況を反映するように
記述できるため，学習に依るネットワークの増殖，切断
が行なえ汎用性のあるシステム構築ができる．

【図面の簡単な説明】

Claims (1)

【特許請求の範囲】
1. １、入力音声を数ｍｓｅｃ毎のフレームに分割し、その
   フレームごとにスペクトルに変換する手段と、音声区間
   のスペクトルを所定閾値によって１、０、−１の３値に
   粗く量子化する手段と、この１、０、−１のスペクトル
   パターンを時系列のベクトル列として扱い、辞書作成時
   には、時間軸上で類似した数フレームをまとめて同一の
   状態とする手段と、この状態を用いて登録時に発声され
   た複数の入力音声との整合が取れるようにネットワーク
   を作成する手段と、照合時には、未知話者の音声スペク
   トル０、１、−１時系列パターンを本人のネットワーク
   に入力して、入力音声の各フレームの０、１、−１スペ
   クトルパターンと本人の各状態との要素間での内積を計
   算して、ネットワークと入力音声との対応を調べ、内積
   値、ネットワークの遷移結果等を基に未知音声が本人の
   音声であるか否かを判定する話者照合方式において、各
   状態の情報として−１、０、１のスペクトルパターン、
   継続するフレーム数のほかにその状態に割当てられたフ
   レームの３値化する前のデータより作成した平均値、分
   散等、統計量を記憶する手段と照合時にはネットワーク
   と入力音声との内積値、ネットワークの遷移結果のほか
   に、各状態ごとに記憶されている平均値等の統計量と各
   状態に対応付けられた入力音声フレームの統計量との距
   離を計算する手段とを備え、これらの計算結果を総合し
   て未知音声が本人の音声であるか否かを判定することを
   特徴とする自己組織化ネットワークを用いた話者照合方
   式。