JPH0512242A - ニユーラルネツトワークの学習方式 - Google Patents

Abstract

(57)【要約】 【目的】 ニューラルネットワークの学習を高速にかつ
効率良く行える。 【構成】 階層的なニューラルネットワークＮＷに対し
て、第１の学習手段１は、各カテゴリごとのサンプルの
平均を平均ベクトルとして求め、この平均ベクトルを正
規直交基底ベクトルに変換する行列の成分として階層の
前段階におけるユニット間の結合の重みを決定し、前段
階の学習を行う。また、第２の学習手段２は、最小二乗
法または最急降下法を用いて後段階の学習を行う。即
ち、階層の前段階では、各カテゴリごとに求めたサンプ
ルの平均に基づき学習が行われるので、階層の後段階で
例えばバックプロパゲーション法が用いられる場合であ
っても、出力層での誤差を入力層まで逆方向に伝播させ
ずに学習でき、従来に比べ学習を高速化できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、パターン認識，多変量
制御等に利用されるニューラルネットワークの学習方式
に関する。

【０００２】

【従来の技術】従来、ニューラルネットワークの学習ア
ルゴリズムとして、誤差逆伝播学習（バックプロパゲー
ション学習）が知られており、この学習方式の最大の特
徴は、ネットワークの中間層ユニットの学習を可能に
し、これにより、ネットワークの学習能力を大きく増大
させた点にある。

【０００３】このバックプロパゲーションによる学習方
式は、入力パターンに対して出力の誤まりを訂正する方
向にネットワークを構成するユニット間の結合の重みを
修正して学習を行なうものであり、この修正を二乗誤差
の評価関数に関する最急降下法により行なうようになっ
ている。すなわち、それぞれの入力パターンの組に関す
る二乗誤差を求めると、この二乗誤差はユニット間の結
合の重みの関数となっているので、結合の重みを変数と
して二乗誤差の評価関数に関し最急降下法を行なうこと
により、各入力パターンに関して二乗誤差を最も小さく
するような方向へユニット間の結合の重みを修正するこ
とができる。

【０００４】さらに、従来ではこれを発展させた確率的
降下法の理論（以下では、これをも含めて最急降下法と
呼ぶ）も知られている。

【０００５】

【発明が解決しようとする課題】しかしながら、バック
プロパゲーション学習では、出力層での誤差を出力層へ
の入力として、出力層から入力層の方向へ逆方向に伝播
させて学習がなされるので、学習に相当時間がかかり、
また二乗誤差が図４に示すように局所的な極小点ＭＰに
落ち込むとそれ以上学習が進まなくなり、さらには、認
識対象の次元が高くなると学習の効率が低下するなどの
欠点があった。

【０００６】また、現状では、ニューラルネットワーク
は、その認識能力が発揮される分野においても、専用の
ハードウェアがない限り、実用化は困難である。

【０００７】本発明は、ニューラルネットワークの学習
を高速にかつ効率良く行なうことができ、専用のハード
ウェアがなくとも実用的なニューラルネットワークシス
テムを構築可能なニューラルネットワークの学習方式を
提供することを目的としている。

【０００８】

【課題を解決するための手段】上記目的を達成するため
に本発明は、ニューラルネットワークが階層的な構造を
有している場合に、階層の前段階における学習を行なう
第１の学習手段と、階層の後段階における学習を行なう
第２の学習手段とを備え、前記第１の学習手段は、各カ
テゴリごとにサンプルの平均を求め、該平均に基づき、
階層の前段階の学習を行ない、前記第２の学習手段は、
前記第１の学習手段によって得られた前段階の学習結果
に基づき、最小二乗法または最急降下法を用いて、後段
階の学習を行なうようになっていることを特徴としてい
る。

【０００９】第１の学習手段は、、各カテゴリごとにサ
ンプルの平均を平均ベクトルとして求め、該平均ベクト
ルを正規直交基底ベクトルに変換する行列の成分として
階層の前段階におけるユニット間の結合の重みを決定す
るようになっていることを特徴としている。

【００１０】あるいは、第１の学習手段は、各カテゴリ
ごとにサンプルの平均を平均ベクトルとして求め、該平
均ベクトルそのものを階層の前段階におけるユニット間
の結合の重みとして決定するようになっていることを特
徴としている。

【００１１】

【作用】本発明では、各カテゴリごとにサンプルの平均
を求め、これに基づき階層の前段階の学習を行ない、前
段階の学習結果に基づき最小二乗法または最急降下法を
用いて階層の後段階の学習を行なう。

【００１２】

【実施例】以下、本発明の一実施例を図面に基づいて説
明する。図１は本発明の一実施例のブロック図である。
本実施例では、ニューラルネットワークが多層パーセプ
トロン型のネットワークＮＷとして構成されていると
し、与えられた入力データ（入力パターン）が望ましい
カテゴリ（種類）に識別されるようこのネットワークＮ
Ｗの学習を行なうようになっている。このため、本実施
例では、階層的なニューラルネットワークＮＷに対し
て、前段階，例えば初段の学習を行なう第１の学習手段
１と、後段階，例えば２段目以後の学習を行なう第２の
学習手段２とが設けられている。第１の学習手段１は、
各カテゴリごとのサンプルの平均値に基づきユニット間
の結合の重みを決定し、これにより例えば初段の学習を
行なうようになっている。また、第２の学習手段２は、
最小二乗法または最急降下法を用いて例えば２段目以後
の学習を行なうようになっている。

【００１３】いま、例えば図２に示すような３層パーセ
プトロンのニューラルネットワークＮＷを用いて音声，
画像，文字等の対象，すなわち入力データの識別を行な
うようとする場合を考える。この際、音声，画像，文字
等の対象はＮ次元ユークリッド空間Ｒ（Ｎ）に値をもつ
ベクトルであるとする。すなわち、音声，画像，文字等
のデータをユークリッド空間Ｒ（Ｎ）の元として取り扱
うものとする。また、識別したい種類，すなわちカテゴ
リの数をＫ個，第ｉ番目のカテゴリのサンプル数をＭ_i
個とし、第ｉ番目のカテゴリの第ｊ番目のサンプルをｘ
_i（ｊ）と書くと、この場合には、図２の３層パーセプ
トロンにおいて、入力層Ｐ₁がＮ個のユニット、中間層
Ｐ₂および出力層Ｐ₃がそれぞれＫ個のユニットからなる
ものとして構成する。

【００１４】なお、図２において、Ａ_ijは入力層Ｐ₁と
中間層Ｐ₂のユニット間の結合の重みであり、Ｂ_jiは中
間層Ｐ₂と出力層Ｐ₃のユニット間の結合の重みを表わし
ており、θ_kは中間層Ｐ₂の各ユニットのバイアス値、θ
_tは出力層Ｐ₃の各ユニットのバイアス値を表わしてい
る。

【００１５】図２のような３層パーセプトロンを用いて
対象がどのカテゴリに属するかを識別させようとする際
には、識別対象のカテゴリに合わせた形で３層パーセプ
トロンの学習が行なわれる。

【００１６】このような学習処理について図３のフロー
チャートにより説明する。なお、以下では、この３層パ
ーセプトロンにおいて、第１の学習手段１が初段の学習
を行ない、第２の学習手段２が２段目の学習を行なうも
のとする。本実施例では、先づ、初段の結合の重みＡ_ij
を決定するため、第１の学習手段１では、カテゴリｉに
属するサンプルの平均値，すなわち平均ベクトルａ
（ｉ）を次式により計算する（ステップＳ１）。

【００１７】

【数１】

【００１８】このような平均ベクトルａ（ｉ）を各カテ
ゴリごとに計算した後、これらを用いて、２つの行列
（Ｔ）（Ｋ行Ｋ列），（Ｑ）（Ｋ行Ｎ列）を次式のよう
に計算する（ステップＳ２）。

【００１９】

【数２】（Ｔ）＝（ａ（ｉ），ａ（ｊ）） （Ｑ）＝（ａ（ｉ））_j

【００２０】すなわち、行列（Ｔ）を２つの平均ベクト
ルａ（ｉ），ａ（ｊ）の内積として計算し、行列（Ｑ）
を平均ベクトルａ（ｉ）の第ｊ番目の成分として計算す
る。

【００２１】このようにして、行列（Ｔ），（Ｑ）を求
めた後、これら２つの行列を用いて、行列（Ａ）を次式
のように計算する。

【００２２】

【数３】（Ａ）＝（ｔ・（Ｔ））・（Ｑ）

【００２３】なお、数３において、（ｔ・（Ｔ））は行
列（Ｔ）の逆行列を意味し、行列（Ａ）は、行列（Ｔ）
の逆行列と行列（Ｑ）とのマトリックス積により計算さ
れ、次式の関係が成立する。なお、次式において、ｅ
（ｉ）は第ｉ番目の成分が“１”で、他の成分が“０”
の正規直交基底ベクトルである。

【００２４】

【数４】（Ａ）・ａ（ｉ）＝ｅ（ｉ） ｅ（ｉ）＝（０，０，０，…，０，１，０，…，０，
０）

【００２５】そこで、数３によって求める行列（Ａ）の
ｉｊ成分を初段の結合の重みＡ_ijとして決定する（ステ
ップＳ３）。このようにして、初段の結合の重みは、カ
テゴリｉに属するサンプルの平均ベクトル（平均値）ａ
（ｉ）を正規直交基底ベクトルｅ（ｉ）に変換する行列
（Ａ）の成分Ａ_ijとして求められる。

【００２６】なお、実用上は行列（Ａ）そのものではな
く、行列（Ａ）を定数λにより定数倍した行列λ・
（Ａ）を用いることにより、認識率の高いニューラルネ
ットワークを得ることができる。ここで、定数λは、使
用時において適宜決定され、例えば、これを“３．０”
等と簡単に設定しても良い。

【００２７】次に、中間層Ｐ₂の各ユニットのバイアス
値Ｑ_kを計算する（ステップＳ４）。この際、中間層Ｐ₂
の各ユニットのバイアス値Ｑ_kを例えば“−０．５”と
簡単に決めても良いし、あるいは、中間層Ｐ₂の第ｎ番
目のバイアス値Ｑ_n（ｋ＝ｎ）を２つの分布，すなわ
ち、平均が“１”となる分布｛（（Ａ）・ａ
（ｉ））_n｝と平均が“０”となる分布｛（（Ａ）・ａ
（ｉ））_n´｝（ｎ´≠ｎ）とが最も良く分離するよう
に決めても良い。後者の場合には、２つの分布の標準偏
差をそれぞれσ_n，σ_n´として計算し、バイアス値Ｑ_k
（ｋ＝ｎ）を次式により決めれば良い。

【００２８】

【数５】Ｑ_n＝−σ_n´／（σ_n＋σ_n´）

【００２９】なお、上記ステップＳ１乃至Ｓ４の処理で
は、初段の結合の重みＡ_ijが、各カテゴリごとのサンプ
ルの平均ベクトルを正規直交基底ベクトルに変換するよ
うなものとして決定されたが、これとは別に、結合の重
みＡ_ijを平均ベクトルそのものに決定しても良い。この
場合には、バイアス値Ｑ_kは、入力が平均ベクトルのと
きに総和が“０”となるように決定すれば良い。

【００３０】このようにして、初段の結合の重みＡ_ijと
中間層Ｐ₂のバイアス値Ｑ_kとが決定されると、これらを
用いて、各入力ベクトルに対する中間層Ｐ₂の出力ベク
トルを計算することができる（ステップＳ５）。すなわ
ち、入力ベクトルがｘのとき、中間層Ｐ₂の出力ベクト
ルｈの第ｉ成分ｈ（ｉ）は、実際のユニット，すなわち
ニューロンの特性を反映させたシグモイド関数ｆ〔ｘ〕
（＝１．０／（１．０＋ｅｘｐ（−ｘ）））を用いて、
次式のように表わされる。

【００３１】

【数６】ｈ（ｉ）＝ｆ〔（（Ａ）・ｘ）_i＋Ｑ_i〕

【００３２】いま、識別対象となる入力ベクトルｘ
_i（ｊ）が第ｉ番目のカテゴリに属するとき、それに対
する中間層Ｐ₂の望ましい出力ベクトルｈが、例えば次
式のように与えられるとする。

【００３３】

【数７】ｈ＝（０．０１，０．０１，…，０．０１，
０．９９，０．０１，…，０．０１）

【００３４】すなわち、第ｉ成分が“０．９９”で、そ
れ以外の成分が“０．０１”として与えられるとする。
このような出力ベクトルは、出力層Ｐ₃でシグモイド関
数ｆ（ｘ）を経た後での値となるので、シグモイド関数
ｆ（ｘ）を経る前の値として、次式のベクトルｙを求め
ておく。

【００３５】

【数８】ｙ＝（ｇ（０．０１），ｇ（０．０１）…，ｇ
（０．０１），ｇ（０．９９），ｇ（０．０１）…，ｇ
（０．０１））

【００３６】ここで、ｇ（ｘ）はシグモイド関数ｆ
（ｘ）の逆関数（＝ｌｏｇｘ−ｌｏｇ（１−ｘ））であ
る。このようなベクトルｙが求まると、２段目での結合
の重みＢ_jiとバイアス値Ｑ_tとを最小二乗法を使って求
めることができる。すなわち、出力層Ｐ₃での第ｍ番目
のバイアス値をＱ_m（ｔ＝ｍ）とするとき、次式Ｚが最
小となるように結合の重みの行列（Ｂ）とバイアス値Ｑ
_m（ｔ＝ｍ）とを求めることができる。

【００３７】

【数９】

【００３８】Ｚが最小となるような（Ｂ）とＱ_mとは、
次の行列方程式を満足することを数学的に示すことがで
きる。

【００３９】

【数１０】（Ｓ）・（Ｂ´）＝（Ｖ）

【００４０】ここで、（Ｓ）は（Ｋ＋１）行（Ｋ＋１）
列の行列、（Ｂ´）は（Ｋ＋１）行Ｋ列の行列、（Ｖ）
は（Ｋ＋１）行Ｋ列であって、それぞれ次式のように定
義される。

【００４１】

【数１１】

【００４２】

【数１２】

【００４３】

【数１３】

【００４４】なお、数１１，数１３における総和は、入
力サンプルをｘ_p（ｑ）で表わすとすると、入力サンプ
ルｘ_p（ｑ）のサフィックスｐ，ｑに対応する各成分
ｐ，ｑに対してとられる。

【００４５】数１１，数１３によって行列（Ｓ）と行列
（Ｖ）とを計算することができ（ステップＳ６）、行列
（Ｓ）と行列（Ｖ）とが求まると、行列（Ｂ´）は数１
０の行列方程式を解くことによって求まる（ステップＳ
７）。このようにして行列（Ｂ´）が求まると、数１２
に従って、２段目の結合の重み（Ｂ），すなわちＢ
_jiと、出力層Ｐ₃のバイアス値Ｑ_tとを求めることができ
る（ステップＳ８）。

【００４６】なお、上述の実施例では、ネットワークを
３層パーセプトロンとして構成した場合について述べた
が、ネットワークを４層以上のパーセプトロンで構成す
る場合には、３段目以後の学習に２段目と同様、最小二
乗法を用いれば良い。この際、最小二乗法を用いるとき
には、各段において望ましい出力ベクトルが必要となる
が、それには最終段での望ましい出力ベクトルを用いれ
ば良い。

【００４７】また、上述の実施例では、後段階での学
習，すなわち２段目以後の学習に最小二乗法を用いた
が、バックプロパゲーション法として既知の最急降下法
を用いて後段階の学習を行なっても良い。

【００４８】

【発明の効果】以上に説明したように本発明によれば、
階層の前段階，例えば初段において各カテゴリごとにサ
ンプルの平均を求め、この平均に基づき学習を行なうよ
うにしているので、階層の後段階で例えばバックプロパ
ゲーション法が用いられる場合であっても、出力層での
誤差を入力層まで逆方向に伝播させずに学習を行なうこ
とができて、これにより、従来に比べて学習を高速化す
ることができて、また、バックプロパゲーション法によ
り図４のように二乗誤差が局所的な極小点に落ち込み、
それ以上学習が進まなくなるといった事態を低減するこ
とができる。

【００４９】また、階層の前段階における学習が、各カ
テゴリごとのサンプルの平均を平均ベクトルとして求
め、該平均ベクトルを正規直交基底ベクトルに変換する
行列の成分として階層の前段階におけるユニット間の結
合の重みを決定するようになっている場合には、ベクト
ルの単純な変換処理だけで済むので、学習の高速化に加
えて、学習処理に必要なメモリ容量等を少なくすること
ができる。

【００５０】さらに、階層の前段階における学習が、各
カテゴリごとにサンプルの平均を平均ベクトルとして求
め、該平均ベクトルそのものを階層の前段階におけるユ
ニット間の結合の重みとして決定するようになっている
場合には、学習を一層高速化させ、学習処理に必要なメ
モリ容量等をより一層少なくすることができる。

【００５１】すなわち、本発明では、ニューラルネット
ワークの学習を従来の数１００倍以上も高速にかつ少な
いメモリ量で行なわせることができて、専用のハードウ
ェアなしでも学習を行なうことができる。この結果、実
用的なニューラルネットワークシステムを構築すること
が可能となる。

【図面の簡単な説明】

【図１】本発明の一実施例のブロック図である。

【図２】本発明が適用されるニューラルネットワークの
一例を示す図である。

【図３】本発明の学習処理を説明するためのフローチャ
ートである。

【図４】二乗誤差の局所的な極小点を説明するための図
である。

【符号の説明】

１ 第１の学習手段 ２ 第２の学習手段 ＮＷ ニューラルネットワーク Ｐ₁ 入力層 Ｐ₂ 中間層 Ｐ₃ 出力層 Ａ_ij 初段の結合の重み Ｂ_ji ２段目の結合の重み Ｑ_k 中間層のバイアス値 Ｑ_t 出力層のバイアス値

Claims (3)

【特許請求の範囲】
1. 【請求項１】 ニューラルネットワークが階層的な構造
   を有している場合に、階層の前段階における学習を行な
   う第１の学習手段と、階層の後段階における学習を行な
   う第２の学習手段とを備え、前記第１の学習手段は、各
   カテゴリごとにサンプルの平均を求め、該平均に基づ
   き、階層の前段階の学習を行ない、前記第２の学習手段
   は、前記第１の学習手段によって得られた前段階の学習
   結果に基づき、最小二乗法または最急降下法を用いて、
   後段階の学習を行なうようになっていることを特徴とす
   るニューラルネットワークの学習方式。
2. 【請求項２】 前記第１の学習手段は、各カテゴリごと
   にサンプルの平均を平均ベクトルとして求め、該平均ベ
   クトルを正規直交基底ベクトルに変換する行列の成分と
   して階層の前段階におけるユニット間の結合の重みを決
   定し、学習を行なうようになっていることを特徴とする
   ニューラルネットワークの学習方式。
3. 【請求項３】 前記第１の学習手段は、各カテゴリごと
   にサンプルの平均を平均ベクトルとして求め、該平均ベ
   クトルそのものを階層の前段階におけるユニット間の結
   合の重みとして決定し、学習を行なうようになっている
   ことを特徴とする請求項１記載のニューラルネットワー
   クの学習方式。