JP7010541B2

JP7010541B2 - パターン認識装置、学習方法及び学習プログラム

Info

Publication number: JP7010541B2
Application number: JP2020091429A
Authority: JP
Inventors: 健星野
Original assignee: NEC Platforms Ltd
Current assignee: NEC Platforms Ltd
Priority date: 2020-05-26
Filing date: 2020-05-26
Publication date: 2022-01-26
Anticipated expiration: 2040-05-26
Also published as: JP2021189532A

Description

本発明は、パターン認識装置、学習方法及び学習プログラムに関し、例えば、非巡回神経回路網の各ニューロンへ揺らぎノイズとして分散値を与えるパターン認識装置、学習方法及び学習プログラムに関する。

特許文献１には、非巡回神経回路網のための揺らぎ駆動学習法が記載されている。特許文献１の駆動学習法は、連続非線形ユニットと線形しきい値ユニットとが混在するような神経回路網に対して、微分処理や逆伝搬処理を用いることなく、簡単な相関処理のみを用いて学習を行なえるようにしている。具体的には、特許文献１の駆動学習法は、それぞれのユニットのしきい値に、互いに無相関で分散１のゆらぎを加えるステップと、教師データに対する出力誤差とユニットでのゆらぎとそのユニットへの入力との積の時間平均を求め、この時間平均からそのユニットについての重みの更新量を計算し、重みの修正を行なうステップと、を有している。

特開平８－２３５１４６号公報

特許文献１の揺らぎ駆動学習法では、各ニューロンの活性値に与える揺らぎノイズに、固定された分散値から生成される正規乱数を用いて学習を行っている。このような方法では、学習後の神経回路網の汎化能力が低いこと、収束までの学習時間が長時間になること等の課題がある。

本開示の目的は、このような課題を解決するためになされたものであり、汎化能力を向上させ、収束までの学習時間を短縮させることができるパターン認識装置、学習方法及び学習プログラムを提供することにある。

本開示にかかるパターン認識装置は、複数のパターンを含む入力データを複数回入力することによって学習させる非巡回神経回路網の各ニューロンへ揺らぎノイズとして与える正規乱数を生成する際の分散値を、前記非巡回神経回路網の学習中に変化させる処理部を備える。

また、本開示にかかる学習方法は、複数のパターンを含む入力データを複数回入力することによって学習させる非巡回神経回路網の各ニューロンへ揺らぎノイズとして与える正規乱数を生成する際の分散値を、前記非巡回神経回路網の学習中に変化させる。

さらに、本開示にかかる学習プログラムは、複数のパターンを含む入力データを複数回入力することによって学習させる非巡回神経回路網の各ニューロンへ揺らぎノイズとして与える正規乱数を生成する際の分散値を、前記非巡回神経回路網の学習中に変化させることをコンピュータに実行させる。

本開示によれば、汎化能力を向上させ、収束までの学習時間を短縮させることができるパターン認識装置、学習方法及び学習プログラムを提供する。

実施形態１に係るパターン認識装置において、非巡回神経回路網を例示した構成図である。実施形態１に係る非巡回神経回路網におけるニューロンの入出力を例示した図である。実施形態１に係る非巡回神経回路網に与えられる揺らぎノイズの正規乱数の分散値を例示したグラフであり、横軸は、入力データの入力回数を示し、縦軸は、分散値を示す。実施形態１に係るパターン認識装置を例示したブロック図である。実施形態１に係るパターン認識装置の学習方法を例示したフローチャート図である。

（実施形態１）
実施形態１に係るパターン認識装置を説明する。本実施形態のパターン認識装置は、例えば、パーソナルコンピュータ等の情報処理装置で構成されてもよい。具体的には、パターン認識装置は、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、インターフェイス部（Ｉ／Ｆ）等からなるハードウェアで構成されてもよい。

本実施形態のパターン認識装置は、複数のパターンを含む入力データを複数回入力することによって学習させるニューラルネットワークを備えている。パターン認識装置は、複数のパターンを含む入力データを用いてニューラルネットワークを学習する。具体的には、パターン認識装置は、パターン群を学習する問題において、パターンに一対一に対応した教師信号に近似した出力値となるように、ニューラルネットワークを揺らぎ駆動式学習法を用いて学習する。ニューラルネットワークは、例えば、非巡回階層型ニューラルネットワーク（以下、非巡回神経回路網と呼ぶ。）である。以下で、まず、本実施形態のパターン認識装置が備える＜非巡回神経回路網＞を説明する。その後、＜パターン認識装置の各構成＞を説明し、パターン認識装置の動作として、＜パターン認識装置の学習方法＞を説明する。

＜非巡回神経回路網＞
図１は、実施形態１に係るパターン認識装置において、非巡回神経回路網を例示した構成図である。図１に示すように、非巡回神経回路網ＦＮＮは、複数のニューロンＮＲを有している。なお、図が煩雑にならないように、いくつかの符号を省略している。以下の図面も同様である。

複数のニューロンＮＲは、階層に分かれている。非巡回神経回路網ＦＮＮの階層は、入力層ＩＬ、中間層ＭＬ及び出力層ＯＬを含む。例えば、入力層ＩＬは、４つのニューロンＮＲを含み、中間層ＭＬは、６つのニューロンＮＲを含み、出力層ＯＬは、２つのニューロンＮＲを含む。なお、各層が含むニューロンＮＲの個数は、これらに限らず、適宜、個数を選択してもよい。また、中間層ＭＬは１層に限らず、複数の中間層ＭＬを有してもよい。

図２は、実施形態１に係る非巡回神経回路網ＦＮＮにおけるニューロンＮＲの入出力を例示した図である。図２に示すように、ニューロンＮＲは、複数のニューロンＮＲから入力データが入力される。そして、ニューロンＮＲは、下記の（１）式に示すニューロン出力値ｒ（ｐ，ｔ）を出力する。ｐは、学習パターン番号を示し、ｔは、時刻を示す。

上記の（１）式において、右辺のｆ（ｖ（ｐ，ｔ））は、（２）式に示すシグモイド関数である。

ここで、ｖ（ｐ，ｔ）は、（３）式に示す活性値である。

ｕ（ｐ，ｔ）は、（４）式に示す膜電圧であり、ｎ（ｔ）は、（５）式に示す揺らぎノイズである。

下記の（６）式は、結合係数を示し、（７）式は、パターンｐの入力データを示し、（８）式は、時間を示す。

また、誤差関数ｅ（ｐ，ｔ）は、（９）式で示されるような２乗誤差とする。

上記の（９）式において、ｔ_ｋ（ｐ）は、入力パターンをパターンｐとしたときの、出力ニューロン集合Ｓｖの出力ニューロンｋに対応する教師信号を示す。

揺らぎノイズｎ（ｔ）が正規乱数であるとすると、（９）式の誤差を小さくするための結合係数ｗの更新式は、下記の（１０）式で示される。なお、（１０）式の［ｅ（ｐ，ｔ）・ｎ_ｋ（ｔ）・ｑ_ｋ（ｐ，ｔ）］_Ｔｐは、パターン入力継続期間Ｔ_ｐにおいて、ｅ（ｐ，ｔ）、ｎ_ｋ（ｔ）及びｑ_ｋ（ｐ，ｔ）の積の平均を示す。

上記の（１０）式で、逐次的に結合係数ｗを更新することで、（９）式の誤差を小さくすることができる。すなわち、パターンを含む入力データが入力されたときの非巡回神経回路網ＦＮＮの出力値を教師信号へ近付けることができ、入力データと教師信号の対を学習することができる。

例えば、特許文献１の学習方法では、揺らぎノイズｎ_ｋ（ｔ）に、下記の（１１）式のような確率密度関数の正規乱数を使用し、分散値σ_ｋ ^２は固定する。

本実施形態では、分散値σ_ｋ ^２を学習が進むにつれて、動的に変化させ、学習の高速化と汎化能力を向上させている。具体的には、本実施形態では、揺らぎノイズｎ_ｋ（ｔ）は、（１２）式及び（１３）式からなる確率密度関数を持つ正規乱数により生成される。

上記の（１３）式において、ｌは、０を初期値とする学習ループ回数、すなわち、全入力データの学習を１回と数えた場合の学習回数の最大である。ｄ_ｂは、下記の（１４）式で与えられる学習開始時の正規分布の分散値を示す。ｄ_ｅは、下記の（１５）式で与えられる学習終了時の正規分布の分散値を示す。

図３は、実施形態１に係る非巡回神経回路網に与えられる揺らぎノイズの正規乱数の分散値σ_ｋ ^２を例示したグラフであり、横軸は、入力データの入力回数を示し、縦軸は、分散値を示す。図中のＬＯＯＰ＿ＭＡＸ回は、全入力データの学習を１回と数えた場合の学習回数の最大である。図３に示すように、学習初期段階では、比較的大きな分散値を利用して学習を行い、徐々に、分散値を小さくする。これにより、本実施形態のパターン認識装置は、学習の最終段階において、学習するパターン群から少しずれた入力パターンについても正解を出力できるように頑強な非巡回神経回路網ＦＮＮとすることができる。よって、汎化能力を向上させることができる。

また、下記の（１６）式は、学習誤差の変化ａ_ｌを示す。（１６）式において、ｅ_ｌ（ｐ）は、学習ループｌ回目の（１８）式の誤差値を示す。

学習誤差の変化ａ_ｌが０に近い値となると、学習が進まなくなったことを示す。そのような場合には、（１７）式の様に、分散値ｄを少し大きくして学習を継続する。（１７）式のεは、正の値とする。

これにより、学習誤差を、極小値から抜け出させ、大局的な最小解へ収束させることが期待できる。ここで、（１６）式のｅ（ｐ）は、下記の（１８）式～（２２）式より算出される揺らぎノイズのないニューロン出力の学習誤差である。

＜パターン認識装置の構成＞
次に、本実施形態に係るパターン認識装置の構成を説明する。図４は、実施形態１に係るパターン認識装置を例示したブロック図である。図４に示すように、パターン認識装置１は、処理部１１、入力データ記憶部１２、ニューロン出力値算出部１３、ニューロン出力値記憶部１４、教師信号記憶部１５、学習誤差算出部１６、及び、正規乱数生成部１７を備えている。処理部１１、入力データ記憶部１２、ニューロン出力値算出部１３、ニューロン出力値記憶部１４、教師信号記憶部１５、学習誤差算出部１６、及び、正規乱数生成部１７は、処理手段、入力データ記憶手段、ニューロン出力値算出手段、ニューロン出力値記憶手段、教師信号記憶手段、学習誤差算出手段、及び、正規乱数生成手段としての機能を有している。パターン認識装置１は、単体として、機能する。

処理部１１は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｆ等からなるハードウェアで構成されてもよい。ＣＰＵは、複数のパターンを含む入力データを用いた学習の全般の制御処理等を行う。ＲＯＭは、ＣＰＵによって実行される学習プログラム及び制御プログラム等を記憶する。ＲＡＭは、入力データ、出力値、教師信号、学習誤差等を記憶する。Ｉ／Ｆは、パターン認識装置１を構成する他の各部と入力データ、出力値、教師信号、学習誤差等の入出力を行う。ＣＰＵ、ＲＯＭ、ＲＡＭ及びインターフェイス部は、データバスなどを介して相互に接続されている。

処理部１１は、複数のパターンを含む入力データを非巡回神経回路網ＦＮＮに対して入力することにより、非巡回神経回路網ＦＮＮを学習させる。処理部１１は、入力される学習パターンに一対一に対応した教師信号に近似する出力値を出力するように、揺らぎ駆動式学習法を用いて非巡回神経回路網ＦＮＮを学習させる。

また、処理部１１は、非巡回神経回路網ＦＮＮの各ニューロンＮＲへ、揺らぎノイズとして正規乱数を与える。そして、処理部１１は、正規乱数を生成する際の分散値σ_ｋ ^２を、非巡回神経回路網ＦＮＮの学習中に変化させる。具体的には、処理部１１は、入力データを入力する毎に、分散値σ_ｋ ^２を変化させる。例えば、処理部１１は、図３に示すように、入力データを入力する毎に、分散値σ_ｋ ^２を減少させる。また、処理部１１は、非巡回神経回路網ＦＮＮから出力された出力値と、パターンに対応した教師信号の出力と、の学習誤差に基づいて分散値σ_ｋ ^２を変化させる。

入力データ記憶部１２は、ＲＯＭ、ＲＡＭ等の記憶手段を含んでいる。入力データ記憶部１２は、学習に用いられる複数のパターンを含む入力データを記憶する。学習に用いられる複数のパターンは、例えば、複数のパターンを含むパターン群である。

ニューロン出力値算出部１３は、正規乱数を与えた非巡回神経回路網ＦＮＮに入力データを入力することによって非巡回神経回路網ＦＮＮの出力値を算出する。ニューロン出力値算出部１３は、ＲＯＭ、ＲＡＭ等の記憶手段を含んでもよい。また、ニューロン出力値算出部１３は、非巡回神経回路網ＦＮＮの出力値を算出するとともに、各ニューロンＮＲの結合係数ｗを更新する。

ニューロン出力値記憶部１４は、ニューロン出力値算出部１３によって算出された出力値を記憶する。ニューロン出力値記憶部１４は、ＲＯＭ、ＲＡＭ等の記憶手段を含んでいる。教師信号記憶部１５は、パターンに一対一に対応した教師信号を記憶する。教師信号記憶部１５は、ＲＯＭ、ＲＡＭ等の記憶手段を含んでいる。

学習誤差算出部１６は、学習誤差を算出する。学習誤差算出部１６は、非巡回神経回路網ＦＮＮから出力された出力値と、パターンに対応した教師信号の出力と、の学習誤差を算出する。非巡回神経回路網ＦＮＮを学習させる際に、入力データは、複数回入力される。入力データが入力される複数回は、例えばＬ回と、Ｌ回よりも前の（Ｌ－１）回、（Ｌ－２）回、（Ｌ－３）回等を含む。学習誤差算出部１６は、例えば、Ｌ回の学習誤差、（Ｌ－１）回の学習誤差、（Ｌ－２）回の学習誤差、（Ｌ－３）回の学習誤差等、入力データを入力する毎に学習誤差を算出する。学習誤差は、前述の（１８）式を用いて算出される。

正規乱数生成部１７は、非巡回神経回路網の各ニューロンへ揺らぎノイズとして入力される正規乱数を生成する。（３）式のｎ（ｔ）は、各ニューロンＮＲへ、パターン入力継続期間Ｔ_ｐ中に入力される揺らぎノイズである。

＜パターン認識装置の学習方法＞
次に、本実施形態のパターン認識装置の動作として、パターン認識装置の学習方法を説明する。図５は、実施形態１に係るパターン認識装置の学習方法を例示したフローチャート図である。

図５のステップＳ１に示すように、分散値σ_ｋ ^２を所定の初期値に初期化する。例えば、処理部１１は、図３及び式（１４）に示すように、分散値σ_ｋ ^２の初期値として、比較的大きな値に初期化する。

次に、ステップＳ２に示すように、結合係数ｗを初期化する。例えば、式（６）に示すように、結合係数ｗの初期値として、所定の結合係数ｗに設定する。

次に、ステップＳ３に示すように、パターン入力継続期間Ｔ_ｐ中の各ニューロンＮＲに入力する揺らぎノイズｎ（ｔ）を生成する。例えば、正規乱数生成部１７は、式（５）に示すように、揺らぎノイズｎ（ｔ）として、分散値σ_ｋ ^２を有する正規乱数を生成する。

次に、ステップＳ４に示すように、ニューロン出力値を算出するとともに、結合係数ｗを更新する。例えば、ニューロン出力値算出部１３は、（１）式～（８）式によって、ニューロン出力値を算出する。具体的には、ニューロン出力値算出部１３は、入力データを非巡回神経回路網ＦＮＮに入力した場合に、（３）式によって、ニューロンＮＲの活性値ｖ（ｐ，ｔ）を算出する。その際に、ニューロン出力値算出部１３は、結合係数ｗを用いた膜電圧ｗ^Ｔｑ（ｐ，ｔ）、正規乱数生成部１７によって生成された揺らぎノイズｎ（ｔ）によって、ニューロン出力値を算出する。

本実施形態において、（５）式の揺らぎノイズｎ（ｔ）は、パターン入力継続期間Ｔ_ｐ中に入力される揺らぎノイズであり、（１２）式及び（１３）式の確率密度関数を持つ正規乱数により生成される。前述したように、（１３）式において、ｄ_ｂは、（１４）式で与えられる学習開始時の正規分布の分散値σ_ｂｋ ^２を示し、ｄ_ｅは、（１５）式で与えられる学習終了時の正規分布の分散値σ_ｅｋ ^２を示す。

ニューロン出力値算出部１３は、計算したニューロン出力値を、ニューロン出力値記憶部１４に記憶させる。また、（９）式及び（１０）式を用いて結合係数ｗを更新する。

次に、ステップＳ５に示すように、（１８）式によって、ニューロン出力値算出部１３が算出した出力値と、パターンに対応した教師信号との学習誤差を算出する。例えば、学習誤差算出部１６は、ニューロン出力値記憶部１４に記憶された出力値と、教師信号記憶部１５に記憶された教師信号と、を用いて学習誤差を算出する。本実施形態において、入力データが入力される複数回は、例えば、Ｌ回と、Ｌ回よりも前の（Ｌ－１）回、（Ｌ－２）回、及び、（Ｌ－３）回等を含む。学習誤差算出部１６は、例えば、Ｌ回の学習誤差、（Ｌ－１）回の学習誤差、（Ｌ－２）回の学習誤差、（Ｌ－３）回の学習誤差等、入力データを入力する毎に学習誤差を算出する。

次に、ステップＳ６に示すように、学習誤差が変化しなくなったか判断する。学習誤差が変化しなくなったかどうかは、学習誤差の変化量ａが０に近くなったかどうかにより判断する。学習誤差の変化量ａが０に近くなったかどうかは、例えば、所定の値を設定して判断してもよい。すなわち、処理部１１は、Ｌ回の誤差と、（Ｌ－１）回の誤差と、の差を含む学習誤差の変化量ａが、所定の値よりも大きい場合には、学習誤差が変化していると判断する。一方、処理部１１は、学習誤差の変化量ａが、所定の値以下の場合には、学習誤差が変化しなくなったと判断する。処理部１１は、学習誤差の変化量ａを、例えば、（１６）式を用いて算出する。学習誤差の変化量ａは、Ｌ回の誤差と（Ｌ－１）回の誤差との差、Ｌ回の誤差と（Ｌ－２）回の誤差との差、Ｌ回の誤差と（Ｌ－３）回の誤差との差を含んでいる。

このように、処理部１１は、学習誤差の変化量ａが所定の値以下の場合に、学習誤差の変化ａが０に近くなり、学習誤差が変化しなくなったと判断する。一方、処理部１１は、学習誤差の変化量ａが所定の閾値よりも大きい場合に、学習誤差の変化量ａが０に近くならず、学習誤差が変化していると判断する。

ステップＳ６において、学習誤差が変化している場合には、ステップＳ７に示すように、分散値σ_ｋ ^２を（１３）～（１５）及び図４に従って小さくする。一方、ステップＳ６において、学習誤差が変化しなくなった場合には、ステップＳ８に示すように、分散値σ_ｋ ^２を（１７）式に従って大きくする。

次に、ステップＳ９に示すように、学習誤差が十分小さくなったか判断する。学習誤差が十分小さくなったかどうかは、例えば、所定の誤差を設定して判断してもよい。すなわち、処理部１１は、学習誤差が所定の誤差よりも大きい場合に、学習誤差が十分小さくなっていないと判断する。一方、処理部１１は、学習誤差が所定の誤差以下の場合に、学習誤差が十分小さくなったと判断する。

ステップＳ９において、学習誤差が十分小さくなっていないと判断した場合、すなわち、学習誤差が所定の誤差よりも大きい場合には、ステップＳ３に戻り、処理部１１は、次の回の入力データの入力に進む。そして、パターン入力継続期間Ｔ_ｐ中の全ニューロンに入力する揺らぎノイズｎ（ｔ）を生成し、ステップＳ３～ステップＳ９を繰り返す。一方、ステップＳ９において、学習誤差が十分小さくなったと判断した場合、すなわち、誤差が所定の誤差以下の場合には、処理部１１は、学習を終了する。

次に、本実施形態の効果を説明する。本実施形態のパターン認識装置１は、非巡回神経回路網ＦＮＮの各ニューロンＮＲへ揺らぎノイズとして与える正規乱数を生成する際の分散値σ_ｋ ^２を動的に変化させる。具体的には、正規乱数を生成する際の分散値σ_ｋ ^２を、非巡回神経回路網ＦＮＮの学習中に変化させる処理部１１を備える。例えば、学習が進むに従い、分散値σ_ｋ ^２を、大きな分散値から小さな分散値へ動的に変化させる。これにより、学習時間の短縮化、及び、学習後の非巡回神経回路網ＦＮＮの汎化能力を向上させることができる。

また、学習が停滞した場合は、意図的に大きな分散値σ_ｋ ^２に戻すことによって、極小値から抜け出す可能性を高める。すなわち、学習誤差が変化しなくなった場合のうち、極小解に陥り、学習の停滞が認められた際には、揺らぎノイズの分散値σ_ｋ ^２を大きくすることによって、極小解から抜け出すようにする。よって、学習の停滞状態から抜け出すことができ、学習時間を短縮することができる。

また、学習初期に、揺らぎノイズの分散値σ_ｋ ^２を大きくしている。これにより、学習用入力データに対して頑強となり、汎化能力を向上させることができる。

関連技術のバックプロパゲーション学習法では、入力データにノイズを付加し、汎化能力を向上する方法がある。本実施形態では、入力データにノイズを付加する必要がないので、入力データ用のノイズの生成を不要とすることができる。

（実施形態２）
次に、実施形態２に係るパターン認識装置を説明する。前述の実施形態１では、図５及び（１３）式で示したように、分散値をループ回数により線形に変化させている。本実施形態では、分散値σ_ｋ ^２をループ回数により非線形に変化させる。例えば、下記の（２３）式に示すように、分散値σ_ｋ ^２をループ回数により非線形に変化させてもよい。例えば、ループ回数が進むにつれて減少する割合が徐々に小さくなるように変化させてもよい。ここで、αは、０よりも大きい値である。

本実施形態においても、処理部１１は、学習初期に、揺らぎノイズの分散値σ_ｋ ^２を大きくすることができ、学習用入力データに対して頑強となり、汎化能力を向上させることができる。また、分散値σ_ｋ ^２をループ回数により非線形に変化させることで、入力データに適する分散値σ_ｋ ^２の変化傾向を選択することができる。よって、収束までの学習時間を短縮することができる。これ以外の構成、動作及び効果は、実施形態１の記載に含まれている。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本実施形態のパターン認識装置及び学習方法は、揺らぎ駆動学習を使ってパターンを学習する様々な分野で利用することができるが、ＰＯＳの物体認識装置やロボットの視覚処理にも利用することが可能である。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
複数のパターンを含む入力データを複数回入力することによって学習させる非巡回神経回路網の各ニューロンへ揺らぎノイズとして与える正規乱数を生成する際の分散値を、前記非巡回神経回路網の学習中に変化させる学習方法。

（付記２）
前記入力データを入力する毎に、前記分散値を変化させる、
付記１に記載の学習方法。

（付記３）
前記入力データを入力する毎に、前記分散値を減少させる、
付記１に記載の学習方法。

（付記４）
前記入力データを入力することによって前記非巡回神経回路網から出力された出力値と、前記パターンに対応した教師信号と、の学習誤差に基づいて前記分散値を変化させる、
付記１または２に記載の学習方法。

（付記５）
前記入力データが入力される前記複数回は、第１の回と、前記第１の回よりも前の第２の回と、を含み、
前記第１の回の前記学習誤差の第１誤差と、前記第２の回の前記学習誤差の第２誤差と、の差を含む学習誤差の変化量が、所定の値よりも大きい場合には、前記分散値を小さくし、
前記学習誤差の変化量が、前記所定の値以下の場合には、前記分散値を大きくする、
付記４に記載の学習方法。

（付記６）
前記正規乱数を生成し、
前記正規乱数を与えた前記非巡回神経回路網に前記入力データを入力することによって前記出力値を算出するとともに、前記各ニューロンの結合係数を更新し、
前記学習誤差を算出する、
付記５に記載の学習方法。

（付記７）
前記学習誤差が所定の誤差よりも大きい場合には、次の回の前記入力データの入力に進み、前記学習誤差が前記所定の誤差以下の場合には、学習を終了する、
付記４～６のいずれか１項に記載の学習方法。

（付記８）
複数のパターンを含む入力データを複数回入力することによって学習させる非巡回神経回路網の各ニューロンへ揺らぎノイズとして与える正規乱数を生成する際の分散値を、前記非巡回神経回路網の学習中に変化させることをコンピュータに実行させる学習プログラム。

（付記９）
前記入力データを入力する毎に、前記分散値を変化させる、
ことをコンピュータに実行させる付記８に記載の学習プログラム。

（付記１０）
前記入力データを入力する毎に、前記分散値を減少させる、
ことをコンピュータに実行させる付記８に記載の学習プログラム。

（付記１１）
前記入力データを入力することによって前記非巡回神経回路網から出力された出力値と、前記パターンに対応した教師信号と、の学習誤差に基づいて前記分散値を変化させる、
ことをコンピュータに実行させる付記８また９に記載の学習プログラム。

（付記１２）
前記入力データが入力される前記複数回は、第１の回と、前記第１の回よりも前の第２の回と、を含み、
前記第１の回の前記学習誤差の第１誤差と、前記第２の回の前記学習誤差の第２誤差と、の差を含む学習誤差の変化量が、所定の値よりも大きい場合には、前記分散値を小さくさせ、
前記学習誤差の変化量が、前記所定の値以下の場合には、前記分散値を大きくさせる、
ことをコンピュータに実行させる付記１１に記載の学習プログラム。

（付記１３）
前記正規乱数を生成させ、
前記正規乱数を与えた前記非巡回神経回路網に前記入力データを入力することによって前記出力値を算出させるとともに、前記各ニューロンの結合係数を更新させ、
前記学習誤差を算出させる、
ことをコンピュータに実行させる付記１２に記載の学習プログラム。

（付記１４）
前記学習誤差が所定の誤差よりも大きい場合には、次の回の前記入力データの入力に進ませ、前記学習誤差が前記所定の誤差以下の場合には、学習を終了させる、
ことをコンピュータに実行させる付記１１～１３のいずれか１項に記載の学習プログラム。

１パターン認識装置
１１処理部
１２入力データ記憶部
１３ニューロン出力値算出部
１４ニューロン出力値記憶部
１５教師信号記憶部
１６学習誤差算出部
１７正規乱数生成部
ＩＬ入力層
ＦＮＮ非巡回神経回路網
ＭＬ中間層
ＮＲニューロン
ＯＬ出力層

Claims

複数のパターンを含む入力データを複数回入力することによって学習させる非巡回神経回路網の各ニューロンへ揺らぎノイズとして与える正規乱数を生成する際の分散値を、前記非巡回神経回路網の学習中に変化させる処理部を備え、
前記入力データが入力される前記複数回は、第１の回と、前記第１の回よりも前の第２の回と、を含み、
前記処理部は、
前記入力データを入力する毎に、前記非巡回神経回路網から出力された出力値と、前記パターンに対応した教師信号と、の学習誤差に基づいて前記分散値を変化させ、
前記第１の回の前記学習誤差の第１誤差と、前記第２の回の前記学習誤差の第２誤差と、の差を含む学習誤差の変化量が、所定の値よりも大きい場合には、前記分散値を小さくし、
前記学習誤差の変化量が、前記所定の値以下の場合には、前記分散値を大きくする、
パターン認識装置。
前記正規乱数を生成する正規乱数生成部と、
前記正規乱数を与えた前記非巡回神経回路網に前記入力データを入力することによって前記出力値を算出するとともに、前記各ニューロンの結合係数を更新するニューロン出力値算出部と、
前記学習誤差を算出する学習誤差算出部と、
をさらに備えた、
請求項１に記載のパターン認識装置。
前記処理部は、
前記学習誤差が所定の誤差よりも大きい場合には、次の回の前記入力データの入力に進み、
前記学習誤差が前記所定の誤差以下の場合には、学習を終了する、
請求項１又は２に記載のパターン認識装置。
複数のパターンを含む入力データを複数回入力することによって学習させる非巡回神経回路網の各ニューロンへ揺らぎノイズとして与える正規乱数を生成する際の分散値を、前記非巡回神経回路網の学習中に変化させる学習方法であって、
前記入力データが入力される前記複数回は、第１の回と、前記第１の回よりも前の第２の回と、を含み、
前記入力データを入力する毎に、前記非巡回神経回路網から出力された出力値と、前記パターンに対応した教師信号と、の学習誤差に基づいて前記分散値を変化させ、
前記第１の回の前記学習誤差の第１誤差と、前記第２の回の前記学習誤差の第２誤差と、の差を含む学習誤差の変化量が、所定の値よりも大きい場合には、前記分散値を小さくし、
前記学習誤差の変化量が、前記所定の値以下の場合には、前記分散値を大きくする、
学習方法。
前記正規乱数を生成し、
前記正規乱数を与えた前記非巡回神経回路網に前記入力データを入力することによって前記出力値を算出するとともに、前記各ニューロンの結合係数を更新し、
前記学習誤差を算出する、
請求項４に記載の学習方法。
前記学習誤差が所定の誤差よりも大きい場合には、次の回の前記入力データの入力に進み、
前記学習誤差が前記所定の誤差以下の場合には、学習を終了する、
請求項４又は５に記載の学習方法。
コンピュータに請求項４～６のいずれか１項に記載の学習方法を実行させる学習プログラム。