JPH01204172A - 学習機構を有するダイナミック・ニューラル・ネットワーク - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は音声等の時系列パターンの認識に用いるパター
ン学習機構を有するダイナミック・ニューラル・ネット
ワークに関する。

（従来の技術） ニューラル・ネットワークは生体の脳神経系が比較的単
純な動作特性を有する神経細胞とその間の多数の結合か
ら構成されている情報処理システムであることを参考に
して考案された情報処理モデルで、神経細胞に相当する
処理ユニｔ７　ト（以下ユニットと略す）とその間を結
ぶユニット間結合を有する。このユニット間結合の係数
を変えることによってシステムはさまざまな情報処理動
作を行なう。

このニューラル・ネットワーク・モデルは情報処理シス
テムとして特に画像や音声等のパターン認識処理に有効
であろうと期待されており、その詳細に関しては「日経
エレクトロニクス」誌、第４２７号の第１１５頁く昭和
６２年８月１０日発行）「ニューラル・ネットをパター
ン認識、信号処理、知識処理に使う」に解説されている
。（以下、文献１と称する。） 上記文献１によるとニューラル・ネットワークは第２図
に示すように、入力層、中間層、出力層と呼ばれる階層
構造を有しており、各層は複数のユニットから構成され
ている。またユニット間結合は隣接する層の間にだけ許
され、層内でのユニット間結合は禁止されている。認識
時にはネッワークは入力層の各ユニットの活性度として
入力データを与えられ、ユニット間結合を通じて順次隣
接する中間層へ情報を伝達し、最後に出力層にまで到達
する。こうして入力データに対するネットワークの応答
結果が出力層のユニットの活性度のパターンとして得ら
れる。

ネットワークが指定した動作を行なうようにユニット間
結合を定める為には教師付き学習と呼ばれる手法を用い
る。即ち、入力層に学習させたいパターンを提示し、出
力層には対応して出力すべき教師信号を提示して、出力
層での教師信号と実際の出力値との差異を小さくするよ
うに結合係数を決定する。上記のような構成のニューラ
ル・ネットワークの場合には、この出力誤差最小化学習
はパックプロパゲーション学習と呼ばれており、その詳
細なアルゴリズムに関しては文献１に詳しい。

（発明が解決しようとする問題点） このようなニューラル・ネットワークを音声認識に用い
ることができれば、音声パターンの有する多様性を学習
によって吸収して、良好な認識性能を実現できる可能性
があるが、実際に上記のニューラル・ネットワークを音
声認識に用いる為には、いくつかの解決しなければなら
ない問題が存在する。

第一に音声は同じカテゴリ（例えば単語〉のパターンで
も発声の度に、或は話者毎にその継続時間長が異なるの
で、長さの異なる音声パターンを同じニューラル・ネッ
トワークの入力層に提示する為の工夫が必要となる。

第二に長さの異なる音声パターンをニューラル・ネット
ワークの入力に提示できたときに、ネットワークが期待
する認識動作を行なうようにユニット間結合を定める学
習方法を確立しなければならない。

本発明は固定時間長の特徴パラメータ時系列を入力でき
る入力層を持つニューラル・ネットワークに長さの異な
る音声パターンを提示する為に認識時は出力層の出力が
最大になるように入力層の時間軸と入力音声時系列との
対応付けを行い、ユニット間結合係数を定める学習時に
は提示するパターンを固定継続時間長に正規化してネッ
トワークに提示して出力層での誤差を最小にする教師付
きの学習機構を有するダイナミック・ニューラル・ネッ
トワークを提供しようとするものである。

（問題点を解決するための手段） 本発明は音声等の時系列パターンを認識するニューラル
・ネットワークで、入力・出力層と複数の中間層から構
成される階層構造を有し、更に入力層と中間層が時間軸
に対応する時系列的構造を有し、認識時には動的計画法
によって入力時系列パターンの時間軸をニューラル・ネ
ットワークの出力が最大になるように入力層の持つ時間
軸と対応付けを行い、その時の出力層の出力を認識結果
とするダイナミック・ニューラル・ネットワークに於て
、その各階層間のユニット間結合係数を学習するに際し
て、入力層の時間長と同じ一定の継続時間長に線形伸縮
によって正規化して入力層に提示し、出力層には対応し
て出力すべき教師信号を提示して、出力層での教師信号
と実際の出力値の差異を小さくするように結合係数を決
定する教師付き学習を行なう機構を有することを特徴と
する。

（作用） 本発明の詳細な説明を簡単のために中間層を１層にした
３層構造のモデルを用いて行なう。中間層が２層以上の
場合にも同様に適用できることは言うまでもない。

モデルの入力層はＰ次元の特徴ベクトルの時系列（長さ
Ｊ）を受は取ることができるようにＪ×Ｐ個のユニッか
ら構成されている。この入カニニットの出力値をｙ　”
’Ｊ（Ｐ）　（ｊ＝１〜Ｊ、　ｐ・１〜Ｐ）とする。一
般には入力層の時間軸の長さＪと認識時に入力される入
力時系列パターンａｔ（ｐ＞（ｉ・１〜１．ｐ・１〜Ｐ
）の長さＩは異なるので、入力時系列の時間軸になんら
かの伸縮変換を施して長さＪに揃えなければならない。

入力層の時間軸ｊと入力時系列パターンの時間軸ｉで構
成される平面（ｉ、ｊ）上での対応関係を次式で表わす
。

ｃ（ｋ）　　・　（ｉ（ｋン、　　ｊ（ｋ））　　、　
　（ｋ４〜Ｋ）　　　　　＝１１１但し、 ｃ（１）　　・　（１，１）、　　ｃ（ｋ）　　＝　＜
１．Ｊ）ｉ（ｋ）≧１（ｋ−１＞、　ｊ（ｋ）≧ｊ（ｋ
−１）　　　　　・・・＋２１この関係を用いて入カニ
ニットの出力値ｙ（１）、。＋（ｐ）　　（Ｊ・１〜Ｊ
、　　ｐ＝ｌ〜Ｐ〉はｙ（１ゝｊｔ　ｋ＋（ｐ）　　　
”　　ａｚ　ｋ＋（＋））　　　　　　　　　　　　、
　　　　　　＝ｉ３）と表わされる。即ち、入カニニッ
トは時間軸を整合して入力されたデータをそのまま次の
層へ伝達することになる。

中間層はＪＸＭ個のユニット（隠れユニットと呼ぶ）か
ら構成され、各ユニットへの入力値Ｘ　”’Ｊ（１）　
　（ｊ・１〜Ｊ、　ｍ・１〜Ｍ）は入カニニットの出力
値ｙ　＋　１　）　ｊ（ｐ）と入カニニットと隠れユニ
ットの間の結合係数βＯｔ（ｍ、ｐ）、　　β’Ｊ（Ｉ
ＩＰ）を用いて次式のように与えられる。

Ｘ　　　　　Ｊ（鵬）：Σ　　くβ　　ｊくＬｐ）ｙ　
　　　ｊ（ｋ）（ｐ）＋β　　ｊＤ＋１ ＜ｊｐ）３””ｊ＋に−ｔ＋＜ｐ）ン ａｚｂ−ｔ＋（Ｐ））　　　　　　　　　　　　　　・
・・４）このようにｊ（ｋ）番目の隠れユニットは入力
層の１（ｋ）番目と１（ｋ−１）番目のユニットからだ
け情報を受は取るようにユニット間結合を制限したニュ
ーラル・ネットワークの構造を時系列構造と呼ぶことに
する。このようなネットワークの構造は音声パターン等
のようにデータ自体が時系列的な構造を持っている場合
には、完全結合くすべての入カニニットとすべての隠れ
ユニットを結ぶ）に比べて少ないユニット間結合でモデ
ルが構成できるので、認識・学習時の計算量を大幅に削
減することができる。４）式で与えられる入力に対する
隠れユニットの応答は次のようになる。

ｙ　　（２’＞（ｍ）・ｆ　　＜　　ｘ　　（２’ｔ（
ｍ）−θ　（２）、く■））　　　　　　　・・・（９
ｆ　（ｘ＞　　＝１ｚ’　（１＋ｅ−Ｘ）　　　　　　
　　＝１６１ここでθ（２１ｊ（１）は隠れユニット（
ｊ、ｍ）が持つ閾値である。式６から明らかなように隠
れユニットは一種の閾値論理の働きをしている。

出力層は認識対象となるＮ個のカテゴリに対応するＮ個
のユニットから構成されている。ｎ番目の出カニニット
への入力値ｘ　”’（ｎ＞（ｎ＝ｌ〜Ｎ）は隠れユニッ
トの出力値ｙ”’Ｊ（１）と隠れユニットと出カニニッ
トの間の結合係数α″（ｊ、ｉ＋）を用いて次式のよう
に与えられる。

出カニニットの入出力の応答間係は式２と同じである。

ｙ（３’（ｎ）”　ｆ　（ｘ　（３）（ｎ）−θ（３Ｊ
ｎ））　　　　　、、−Ｕここでθ（３′（ｎ）は出カ
ニニットｎの持つ同値である。

こうして得られるネットワークの出力値ｙ（３１（ｎ）
は式１で与えられている入力時系列の時間軸と入カニニ
ット層の時間軸の対応関係（Ｃ（ｋ））に依存している
。最終的なカテゴリｎのネットワークによる認識結果は
（ｃ　（ｋ＞　）に関して最適化された（最大化された
）出力値Ｏｎとして得られる。

ここで８式は単調関数なので（９）式は＋β１．〈曹）
ａｌ、−口））１　　　　　　　・−・（１ｏ）と置き
換えても同じである。ここでｆＮの中の特徴ベクトルの
成分ｐに関する和は省略した。

（１０）式の（）の中の式を ７　　　（ｃ（ｋ）、　　ｃ（ｋ−１））＝　（−）　
　　　　　　　　　　　　　　　　　＝・くｌｌ）と定
義すると、（１０）式は ｏ、＝ｍａｘ［Σγ（ｃ（ｋ）、　ｃ（ｋ−１＞）］　
　　　−（１２）ｌｃｆｋｌｌ　　　ｋ冨ｌ となり、この最適化は良く知られた動的計画法を用いて
解くことができることが分かる。即ち、γ（ｃ（ｋ）、
ｃ（ｋ−１））の累積和をｇ（ｋ）として、次の漸化式
を計算してｏ　、＝ｇ（ｋ）を求めればよい。

ｇ＜ｋ）＝　ｍａｘ［７（ｃ（ｋ＞、ｃ（ｋ−１））＋
ｇ（ｋ−１）］　　　　＝−（１３）ｃ（ｋ−１１ 次にニューラル・ネットワーク・モデルのパラメータで
あるユニット間結合係数（β０．（■、ｐ）。

β１．（―・ｐ）、α″（ｊ、ｍ）と閾値（θ（２１，
＜ＩＩ）ｌθ（３）＜ｎ））を決定する学習法について
説明する。

カテゴリｎの学習に用いる特徴ベクトルの時系列の組を
Ａ”’ｑ・　（ａ　’ｑ、　１（ｐ）　）とする。ここ
でｑは同じカテゴリ内の複数の時系列パターンを区別す
る添字、ｉは時系列の時間軸を表わす添字、ｐは各時刻
での特徴ベクトルの成分を表わす添字である。各添字の
範囲は ｎ　＝１〜Ｎ、　　ｑ　−１〜Ｑ”、　　ｉ　＝１〜Ｉ
’、　　ｐ＝１〜Ｐ　・＝＜１４）ネットワークにこの
データＡ　（ｎ　＋９を提示する為には時系列の長さＩ
Ｑをネッワークの入力層の時間軸の長さＪに正規化しな
ければならない。学習時にはモデルのパラメータが最適
化されていないので、認識時のように動的計画法を用い
ることは難しい。

そこで学習の為にはカテゴリｎのデータの集合Ａ３″″
、（ｑ・１〜Ｑ″）の中から代表となる時系列パターン
ＡＬｆｉｌｑｏを選び出し、それ以外のデータＡ（ＩＩ
）ｑ（ｑ≠ｑｏ）の時間軸をＤＰマツチングによって記
代表パターンの時間軸に対応付ける。その方法を次に示
す。代表パターンＡ＋Ｉ１１．ｏの時間をｊ（ｊ・１〜
Ｊ）、時間軸の対応付け（正規化）を行ないたいデータ
Ａ”’、（ｑ≠ｑｏ）の時間軸をｉ（ｉ・１〜■）とす
る。このとき２つのパターンをＤＰマツチングすること
によって２つのパターンの時間軸の間の対応関係（歪関
係）ｉ＝ｉりｊ）が得られる。

ＤＰマツチングと歪関数に関しては「日経エレクトロニ
クス」誌、第３２９号の第１７１頁（昭和５８年１１月
７日発光）に詳しく解説されている（以下、文献２と呼
ぶ）。この歪関数ｉ＜ｊ）によって代表パターンの時間
軸ｊには学習データの時間軸１＝ｉ（ｊ）のフレーム・
ベクトルａ’Ｑ、ｌｉ）を対応付ければ良いことが分か
る。この歪み関数はＤＰマツチングに用いる局所的な径
路の制限の仕方によっては１＝ｊ（ｉ）のような形にな
り、あるｊに対応するフレーム・ベクトルが複数存在す
ることが起こるが、このような場合にも対応するフレー
ム・ベクトルを平均化することによって同様の時間軸対
応付けが行える。

この結果、データ毎にばらついていた時間長ＩＱが一定
の長さＩ″。に正規化される。ネットワークの入力層の
時間長ＪはこのＩＱＯに等しく設定する。

ここでカテゴリーｎの代表パターンの選び方としては様
々な方法が考えられるが、例えばカテゴリｎのパターン
集合の中でパターン間のＤＰマツチングによる累積距離
ｄ　（Ａ、０．　Ａｑ＞をパターン間距離として、次式
で与えられる量Δ、を最小にするようなＱｏとする。こ
のｑ。はすべての９・１〜Ｑ″をＱｏと仮定してΔを計
算する総当たり法によって容易に求めることができる。

この池にも任意の１パターンを代表にすることも可能で
ある。

こうして時間軸を長さＪに正規化した入力学習データを
Ａ（ｆｉ’　ｑ＝　（α″ｑ、　＋（ｐ）　）　（ｉ・
１〜Ｊ）とする。また、同じ長さＪに正規化された他の
カテゴリの学習データをＢ（″’−・（ｂ　−ｒ、　＋
（ｐ）　）　（ｒ・１〜Ｒ）とする（以後このＢを反学
習データと呼ぶ）。

このときｑ番目の学習データに対するネットワークの出
力値をｙ＋ｓ＋、、（ｎ）、望ましい出力値をＺＱ（ｎ
）（・１．０）、ｒ番目の反学習データに対する第ｎユ
ニットの出力値をｙ（３’ｒ（ｎ）　、望ましい出力値
をｚ　、（ｎ）（・０．０）とすると、出カニニット層
に於ける出力値の誤差Ｅは Ｅ＝１／２Σ　［３’　　　　、＜ｎ）−ｚ　ｑ（ｎ）
］ｑ＝１ ＋１／２Σ　［３’　　　　　、（ｎ）−ｚ　　ｒ（ｎ
）］　　　　　　　　　　　　−・−（１６）ｒ＝１ で与えられる。この誤差量Ｅは学習によって決定しなけ
ればならないユニット間結合係数（β０」（ｍ、ｐ）、
β’＞（ｍ、ｐ）、α”（ｊ、ｍ））と閾値（θ（２１
，（■）。

θ”（ｎ））の関数と考えられるのでＥを評価関数とし
て最小化するようにこれらのパラメータを決定すればよ
い。またユニットの閾値は常に１を出力するユニットを
仮想的に考えて、そのユニットとの結合係数と考えれば
ユニット間結合と同じように学習することができる。そ
こで隣接する２層、第ｎ層のユニットｉと第ｎ＋１層の
ユニットｊを結ぶユニット間結合係数をω″′１とする
と、このωｎ、Ｊに関するＥの微係数を用いてとすれば
、必ず、 Ｅ　（ｔ＋１）≦Ｅ（ｔ）　　　　　　　　　　　　・
・・（１８）となる。ここでｔは繰り返し学習のステッ
プを表わす整数値、εは修正の程度を決める定数である
。結局、Ｅを小さくするようにωｆｌ。を繰り返し修正
することがパラメータの学習になるのである。ここでω
０目と前記モデルのユニット間結合係数（β０Ｊ（ｍ、
Ｐ）β’Ｊ（１，Ｐ）、α”（ｊ、ｌ）、θ（２１ｊ（
１）、θ”（ｎＮとは例えば次のように対応付ければよ
い。

Ｅの微係数は解析的な計算の結果次式のようになること
が分かる。

ここでδ″＋１ゝ１．Ｑはｑ番目の学習（または反学習
）データを入力層に提示した場合の第ｎ＋１層のユニツ
ｉの入力値に換算された誤差で、ｙ（ｎ）Ｉ、９はｑ番
目の学習データに対する第ｎ層のユニッ１−　ｊの出力
値である。δ（ｎ　ｌ　、　、ｑは次のような漸化式を
用いて計算することができる。

δ　３”ゝ３１．．　　・　　Σ　δ　（ｏ＋＋１．、
、Ｑω　’ｍｌ　　（ｄｆ／ｄｘ）、＝ｘ”′ｌここで
ｆ　（ｘ）は式６で与えられるユニットの入出力応答関
数で、ｘ３１１は第ｎ層のユニットｉへ人力値、Ｚｌは
第Ｎ層（出力層）のユニットｉがとるべき値で学習の時
には１．０で反学習の時には０．０である。この式２１
に基づいて、各ユニットに換算された誤差量δを求める
計算が出力層から入力層の方向に進むので、この学習法
は逆伝播学習法（バック・プロパゲーション学習法）と
呼ばれている（詳細は文献１を参照のこと）。

結局、ユニット間結合係数に任意の初期値を与えたモデ
ルから出発して、複数の学習・反学習データを提示して
、各ユニ・ソト間結合に関して上記の繰り返し訂正学習
を行なえば、出力層での誤差を極小化するユニ・ソト間
結合の組を得ることができる。

（実施例） 以下に式１３の漸化式計算の為の（ｉ、ｊ）平面上での
時間軸対応付は規則（ｃ（ｋ）とｃ（ｋ−１）の相対位
置関係）として第３図のような規則を用いた場合の本発
明の詳細な説明する。第３図の場合はｃ（ｋ）＝（ｉ、
ｊ）とするとｃ（ｋ−１）としては（ｉ−１，ｊ）　、
（ｉ−１，ｊ−１）　、（ｉ−１，ｊ−２＞の３点だけ
が可能になる。このような対応付は規則の場合にはニュ
ーラル・ネ・ソトワークの出力を決める（１２）、（１
３）式は次のように書ける。

γ”　　（ｉ、ｊ）　　・　Σ　　α　（ｊ、曹）ｆ　
　（β　ｉ＜ｍ）ａｔ＋β　。

＋！１為ｌ （ｍ）　　　ａｔ−１）　　　　　　　　　　　　　　
　　　　　−・・（２３）ｇ　”　＜ｉ、ｊ＞　＝７　
”（ｉ、ｊ）＋ｍａｘ　［ｇ　’（ｉ−１，ｊ）。

ｇ　’　（ｉ−１，ｊ−１）、　ｇ　ｆｌ（ｉ−１，ｊ
−２）］　　　　　　・・・（２４）第１図は（２２）
〜り２４）式に基づいて本発明を実現した一実施例を示
したブロック図である。分析部１０は入力された音声波
形データを分析して特徴ベクトルの時系列に変換して、
パターンバッファ部２０に記憶する。パターンバ・ソフ
ァ部２０には学習動作時には学習用時系列データが記憶
され、認識動作時には未知発声の分析データが記憶され
る。続く切り替えスイッチによって学習動作と認識動作
の切り替えを行なう。

時間軸整合部３０は学習データ群中の各カテゴリの代表
パターンを式１５に基づいて決定して、他の学習データ
の時間軸を代表パターンへＤＰマツチングすることによ
って整合し、すべての学習データの時間長を長さＪへ規
格化する。修正量計算部４０は時間軸整合部３０から送
られた学習データとユニット間結合係数記憶部５０に蓄
えられた結合係数を用いて、式１７．２０．２１に基づ
いて結合係数ω″１．の修正量Δω″’ＩＪを算出して
、結合係数修正部６０に送る。結合係数修正部６０はユ
ニット間結合係数記憶部５０に蓄えられた結合係数に前
記修正量Δω″。を加えて、書き戻す。修正量計算部４
０はすべての結合係数に対する修正量Δω″ＩＪが予め
定められた閾値より小さくなるまでか、あるいはＩＣ正
回数が予め定められた回数を越えるまで、この修正動作
を繰り返す。

格子点計算部７０はパターンバッファ部２０から送られ
た未知発声データとユニット間結合係数記憶部５０に蓄
えられた結合係数を用いて、式２３に基づいて格子点デ
ータγ’（ｉ、ｊ）（ｉ・１〜Ｉ、ｊ・１〜Ｊ、　ｎ・
１〜Ｎ）を計算する。計算された格子点データは格子点
記憶部８０に格納される。漸化式計算部９０は格子点記
憶部８０に蓄えられた格子点データを用いて、式２４に
基づく漸化式計算を行なって累積値ｇ　”（１，Ｊ）を
作業用記憶部１００に格納する。作業用記憶部１００は
漸化式計算途中にもｇ’（ｉ、ｊ＞の記憶に用いられる
。認識判定部１１０は作業用記憶部１００に格納された
累積値ｇ　’＜１゜Ｊ）の中から最大の累積値を与える
ｎの値を認識結果として出力する。

（発明の効果） 以上述べたように、本発明によれば認識動作時に未知音
声データの発声時間長の変動を動的計画法によって正規
化してニューラル・ネ・ソトワークに入力することがで
きる時間軸の正規化能力を有するニューラル・ネッワー
クを提供できる。

このように本発明のニューラル・ネットワークは認識動
作時に時間軸正規化能力を有するので、学習動作時には
音声データの発声毎の特徴パラメータの変動を少数の学
習データ（発声時間長の変動による多様性を持たなくて
よい）を用いて学習することによって、良好な認識装置
を提供することができる。

【図面の簡単な説明】

第１図は本発明の一実施例を示すブロック図、第２図は
ニューラル・ネッワークの階層構造を表わす図、第３図
は漸化式計算の為の（ｉ、ｎ平面上での時間軸整合部は
規則の例を表わす図である。 図に於いて、１０は分析部、２０はパターンバッファ部
、３０は時間軸整合部、４０は修正量計算部、５０はユ
ニッ１〜間結合係数記憶部、６０は結合係数修正部、７
０は格子点計算部、８０は格子点記憶部、９０は漸化式
計算部、１００は作業用記憶部、１１０は認識判定部で
ある。

Claims (3)

【特許請求の範囲】
1. （１）音声等の時系列パターンを認識するニューラル・
   ネットワークで、入力・出力層と複数の中間層から構成
   される階層構造を有し、更に入力層と中間層が時間軸に
   対応する時系列的構造を有し、認識時には動的計画法に
   よって入力時系列パターンの時間軸をニューラル・ネッ
   トワークの出力が最大になるように入力層の持つ時間軸
   と対応付けを行い、その時の出力層の出力を認識結果と
   するダイナミック・ニューラル・ネットワークに於て、
   その各階層間のユニット間結合係数を学習するに際して
   、入力層の時間長と同じ一定の継続時間長に正規化した
   学習用時系列パターンを入力層の時間長と同じ一定の継
   続時間長に正規化した学習用時系列パターンを入力層に
   提示し、出力層には対応して出力すべき教師信号を提示
   して、出力層での教師信号と実際の出力値との差異を小
   さくするように結合係数を決定する教師付き学習を行な
   う機構を有するダイナミック・ニューラル・ネットワー
   ク。
2. （２）上記学習用時系列パターンの継続時間長のバラツ
   キの正規化を、代表パターンへのＤＰマッチングによっ
   て行なうことを特徴とする特許請求範囲第（１）項記載
   のダイナミック・ニューラル・ネットワーク。
3. （３）上記ユニット間結合係数の教師付き学習を、バッ
   クプロパゲーション学習法によって実現することを特徴
   とする特許請求範囲第（１）項記載のダイナミック・ニ
   ューラル・ネットワーク。