JPH07509089A - ニューラル・ネットの設計方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 ニューラル・ネットの設計方法 本発明は請求の範囲１の前文によるニューラル・ネットを設計するための方法お よびこの方法により得られるニューラル・ネットに関する。

たとえば図書“ニューラル・ネット”、ニーベルハルト・ンエーネブルク、ニコ ラウス・ハンセンおよびアンドレアス・力へルチューク著、１９９０年、マルク ト・ラント・テヒニク出版から知られているようなニューラル・ネットはそのネ ットワーク構造に基づいて予め定められた入力／出力値により非線形のマツピン グ規則を学習し得る。しばしば使用される学習方法は上記図書の第９０〜９８真 に記載されているバックプロパゲーション法である。ニューラル・ネットの重み （パラメータ）時にランダム値により初期化される０次いで最初の入カバターン がネットに与えられる。これらの値によりネットが完全に計算される。ニューラ ル・ネットの計算された出力値はいま必要とされる出力値と比較される。偏差は 誤差値を生ずる。ニューラル・ネットの重みはいま、入力値に正しい出力値が近 似されるように補正される。このことは請求められた誤差を部分的に先行のニュ ーロンの重みに分配し、また誤差が最小になるように重みを相応に変更すること によって達成される。すなわち誤差はニューラル・ネットの出力端から入力端へ 戻し計！される。誤差の分配は重みの大きさにより行われる０重みの値が大きい ほど、誤差へのその寄与も強く、また相応に強くこの重みが変更される。この方 法がいま非常に多くの入力／出力値に対して実行される。すなわち出カバターン が与えられ、計算され、また誤差が重みに戻し計算される。開始時には偏差はま だ非常に大きく、また相応に大きい変化が重みに対して生ずる。しかし、値が安 定すれば、ニューラル・ネットは必要とされるマツピング規則を学習し終わって いる。それ故、バックプロパゲーション法によりサポート値に基づき２２トをト レーニングすることは反復法を形成する。その際に欠点は、反復法は緩慢にしか 収斂しないこと、またパラメータを反復してめるのに非常に長い計算時間を必要 とすることである。加えて、誤差の成分的分配が、ニューロンの非線形関数が常 に微分可能であるとき、また入力信号がニューロンのなかに線形に重畳するとき にしか可能でない、従って、バンクブロバゲーンヨン法は特殊なニューロン形式 に対してしか機能しない、また、バックプロパゲーション法により得られる解が −ＩＩに再現可能でないことも欠点である。乱数による最初の初期化およびニュ ーラル・ネットの非線形特性に基づいて、種々のシミュレーション過程で等しい 学習データに対して相異なる解が得られる。

本発明の課題は、ニューラル・ネットを設計するための方法であって、より一般 的なニューロン形式を存するニューラル・ネットを直接的にサポート値により決 定する方法を提供することである。。−この課題を解決するため、冒頭に記載し た形式の新しい方法は請求の範囲１の特徴部分に記載されている特徴を有する。

請求の範囲２ないし９には本方法の金利な構成があげられている。新しい方法に より請求の範囲１０により、ニューロンがほぼ任意に非線形の関数を存する新し い形式のニューラル・ネットが得られる。その際にニューラル・ネットは三層の ネットワーク、すなわち１つの入力層、１つの中間層および１つの出力層を有す るニューラル・ネットであってよい０本設計方法は任意の数の入力および出力ニ ューロンに応用可能である。ニューラル・ネットの設計は線形連立方程式をたて 、それを解くことにより行われる。ｎの未知のパラメータを有する方程式を解く ためには、二二−ラル・ネットの入力および出力信号に対する少なくともｎの線 形に独立した値対が必要とされる。これらの値対によりニューラル・ネットの未 知のパラメータをめるための連立方程式がたてられる。パラメータと同数の値対 が存在するならば、連立方程式の一義的な解が可能である。パラメータよりも多 い値対が存在するならば、パラメータが線形回帰を介してめられ得る冗長な連立 方程式が得られる。線形連立方程式の式は中間層のニューロンと出力ニューロン との間の接続により実現される。中間層のニューロンの重みおよびオフセットは 、ｎの値対からｎの線形の独立した式がたてられ、連立方程式が解かれ得るよう に予め設定されている。その場合、出力ニューロンの重みはこの連立方程式の解 に相当する。

新しい方法は、本質的により一般的なニューロン形式によりニューラル・ネット を構成し、また反復的な方法の応用なしにトレーニングすることを可能にすると いう利点を有する。論理演算の形式および非線形関数の形態は中間層の各ニュー ロンにおいて相異なっていてよい、このことはニューロンとして半導体構成要素 の使用の際の本質的な利点である。なぜならば、構成要素のパラメータ変動が許 され、さらに状況によって望ましくさえあるからである。計’Ｉｌｌにょるニュ ーラル・ネットの実現の際には比較的簡単な非線形関数がニューロンのなかに使 用され得るので、ニューラル・ネットの計算のために必要な計算時間が比較的短 くてすむ、非線形関数は値表としても記憶され得る。それによってその計算がこ の表の簡単な続出しに滅せられ得る。中間層のニューロンの重みおよびオフセッ トがランダム法により決定されるならば、連立方程式のマトリックスＭのデター ミナント Ｍ゛立−１ は非常に小さく、従ってまた出力ニューロンのなかの重みはがなり大きくなる。

このことは状況によっては、サポート値の間のニューラル・ネットの内挿特性に 不利に作用する。この作用を防止するため、既知のデターミナントを有するマト リックスＭの構造が提案される。続いて中間層のニューロンのなかの論理演算の パラメータが、人力信号のサポート値を有するマトリックスＭがこの構造をとる ように選ばれる。

以下、本発明の実施例を示す図面により本発明ならびに実施例および利点を一層 詳細に説明する。

第１図はプロセス環境のなかに埋込まれたニューラル・ネット、１１Ｅ２図は三 層のネット構造、 第３図は中間層のニューロン、 第４図は入力端および出方端を有するニューラル・不７）、第５図は２つの入力 端および１つの出方端を有するニューラル・ネット、第６図は四層のネット構造 を存する二二−ラル・ネット、第７図はシグモイド関数の定性的経過、第８図は 双曲線正接関数の定性的経過、第９図は鐘曲線の定性的経過、 第１Ｏ図は２つの入力端ををするニューラル・ネットのサポート値である。

第１図にはプロセス２からめられたプロセス量１の学習可能なマツチングのため の本発明による方法の応用が示されている。入力信号前処理のための装置！！３ において到来するプロセス量１が前処理される。これは最小／最大制限、微分、 積分、シフトレジスタ又は分類であってよく、また原理的には後で説明されるよ うな別のニューラル・ネットであってもよい、装置３は、最適化のための装Ｗ６ と共同作用して学習可能な関数に従ってマツチングされたプロセス量を出力デー タ７として発生するニューラル・ネット５に対する入力データ４を供給する。最 適化のための装置６は、ニューラル・ネット５に予め定められたサポート値によ りパラメータ８を供給する役割をする。サポート値とは１つまたは複数の入力信 号４および１つまたは複数の出力信号７の関連した値の組み合わせを意味する。

入力信号４と出力信号７との間に未知の線形または非線形の写像規則が存在する 。

最適化のための装置６は学習段階でニューラル・ネット５を、入力信号４に所望 の出力信号７を対応付けるようにパラメータ化する。その際に、ニューラル・ネ ット５がサポート値を内挿すべきか、または近似すべきかに応じて、２つの動作 の仕方が区別され得る。ニューラル・ネット５がサポート値を学習段階の後に再 現し、また学習されなかった出力信号を内挿する場合には、対応付けは正確に行 われなければならない、他の場合にはニューラル・ネット５は近似する。たとえ ばサポート値をもとにして線形回帰の方法により、計算された出力信号値と予め 定められたサポート値との間の二乗偏差が最小になる対応付は関数がめられ得る 。

第２図中のニューラル・ネットは三層に構成されている。それは網状に３つの層 のなかに相前後して配置されている個々のニューロン１１・・・１ｋ、２１・・ ・２ｎおよび３１・・・３ｐから成っている。１つの層のなかの各二ニーロンは その前の層のなかのすべてのニューロンの出力端と接続されている。各層のなか に少なくとも１つのニューロンが存在していなければならない、入力端Ｘ１・・ ・ｘｋの数にならびに出力端ｙｔ・・・ｙｐの数ｐは応用に応じて自由に選択可 能である。その際に出力端ｙｔ・・・ｙｐの数ｐは入力端ｘｉ・・・ｘｋのｌｉ ｌ［ｋと等しくてはならない、複数の入力端を有するニューラル・ネットでは入 力信号の個々の値が予め定められるのではなく、入カバターン、すなわち値の関 連する組み合わせが予め定められる。

出力端に対しても相応のことが当てはまる。

ニューラル・ネットの最初の応用は、画像または文字を認識する目的を有するパ ターン認識である。Ｓ像は個々の画素から成っている。その場合に各画素は１つ の入力ニューロンに相当する０文字では従って常に複数の画素、すなわち入力ニ ューロンが同時に呼びかけられる。

第３図は第２図からの中間層のニューロン２１を示す、それはｘｌ・・・ｘｋの 入力信号を与えられているｋの入力端と出力信号ｙを有する１つの出力端とを有 する。ニューロンは入れ子にされた関数を形成し得る。それらは１つの入力間数 ｇ（ｘ）および１つの出力関数ｆ　（ｇ　（ｘ）　）を有する。入力間数はｋの 入力端を存し、それらの信号ｘｉ・・・ｘｋは入力関数のなかで重み付けされ、 互いに演算される。さらに１つの一定のオフセントが加算され得る。入力関数の 結果は出力関数のなかでもう一変線形または非線形に評価される。１つのニュー ロンはただ１つの出力信号ｙを供給する。

第２図中の第１の層のなかの二ニーロン１１・・・１にはニューラル・ネットの 入力端を形成する。学習すべき各入力信号Ｘ１・・・ｘｋに対して入力ニューロ ン１１・・・ｌｋが存在していなければならない、場合によっては前段に接続さ れている入カイ３号前処理のための装置のなかで前処理された入力信号ｘｌ・・ ・χには入力ニューロン１１・・・１ｋを介して中間層のなかのニューロン２１ ・・・２ｎに伝達される。

第３の層のなかのニューロン３１・・・３ｐはニューラル・ネットの出方端を形 成する。学習すべき各出力信号ｙｌ・・・ｙｐに対して出力ニューロン３１・・ ・３ｐが存在していなければならない、中間層のなかには原理的に任意に多くの ニューロン２１・・・２ｎが配置されていてよい。内挿するニューラル・ネット に対しては中間層のなかにサポート値と同様に多くのニューロン２１・・・２ｎ が予め与えられなければならない、ニューロン２１・・・２ｎの数ｎがサポート 値の数よりも小さいならば、ニューラル・ネットは近倍する。

入力間数ｇのなかの数学的演算は加算、乗算または除算であってよい。出力関数 ｆからは、それが各入力値にただ１つの出力値を対応付けることが要求される。

それはどこでも連続的に微分可能でなくてもよい、すなわち、それは階段間数の 場合のように°゛跳躍個所”および゛屈曲”を含んでいてよい、それは区間ごと に線形であってもよい、入力間数ｇによる入力信号の重み付けおよび演算はニュ ーロンの入力部分を形成し、非線形の関数ｆは出力部分を形成する。演算の方式 および非線形性の形態は中間層の各ニューロンのなかで相異なっていてよい、中 間層のなかのニューロン２１・・・２ｎの出力信号は出力層のなかのニューロン ３１・・・３ｐに伝達される。各出カニニーロン３１・・・３ｐは中間層のすべ てのニューロン２１・・・２ｎと接続されている。信号は出カニニーロン３１・ ・・３ｐのなかで再び重み付けされ、また互いに演算される。しかし出力ニュー ロン３１・・・３ｐのなかではもはや演算のすべての方式は許されない０重み付 けされた信号は加算、乗算または除算のみをされ得る。加算の場合にはもう一つ の一定の値が加算または減算され得る。加算および乗算または加算および除算の 組み合わせはここでは許されない、この演算の結果は直接に出力されるか、もし くはもう一度線形または非線形関数により評価される。ニューロンの入力関数の なかの信号の演算および出力関数のなかの非線形性はニューラル・ネットの特性 である。ニューラル・ネットを設計するための方法は、信号を重み付けするファ クタおよび演算の際に加算される一定値のみを変更する。ニューラル・ネットは プログラムとしてソフトウェア的に、又はディスクリートもしくは集積構成要素 により回路技術的にも実現され得る。１つの場合にはたとえば非線形関数または 値テーブルが、また他の場合には構成部分（たとえばダイオード）の非線形特性 が出力関数ｒである。

第４図は入力信号Ｘおよび出力信号ｙを存するニューラル・ネットを示す、中間 層のなかに、重み付は間数ｅ１、ｅ２およびｅ３ならびにニューロンのなかで加 算される一定のオフセットに相当するパラメータｄ１．ｄ２およびｄ３によりそ れぞれパラメータ化可能な３つのニューロンが位置している。出力ニューロンの なかで重み付はファクタａ１、ａ２およびａ３が設定可能である。このニューラ ル・ネットによりいま設計方法を一層詳細に説明する。３つの固定的に設定され た非線形の関数ｆＬｆ２およびｆ３が設けられている。これらの３つの関数はい ま、それらが３つの予め与えられたサポート値を通って延びる出力信号ｙを形成 するように一括接続されるべきである。

出カニニーロン３１のなかでの加算による演算の際に出力信号ｙは中間層の３つ のニューロンの出力信号の重み付けされた和として得られる。下式が成り立つ。

ｙ＝ａ１．ｆｌ　（ｇ　（ｄｉ、ｅｌ、ｘ））＋ａ２．ｆ２　（ｇ　（ｄ２．ｅ ２．ｘ））＋ａ３．［３（ｇ　（ｄ３．ｅｊ、ｘ））この関数はいま３つのサポ ート値（ｘ　１．　ｙ　１）、（ｘ２．ｙ２）および（Ｘ３、ｙ３）を学習すべ きである。サポート値を上式に入れると、出力信号ｙの値ｙ１、ｙ２およびｙ３ に対してマトリックス表現でＭ゛互＝工 で表される３つの式の連立方程式が得られる。

その際にマトリックスＭの要素は種々の入力値に対するニューロンの出力値であ る。それは入れ子にされた関数の出力値である。

ｍ１ｊ−ｆｊ　（ｇｊ　（ｄｊ、ｅｊ、ｘｊ））変数ｉ＝１・・・３はマトリッ クスＭの行インデックス、また変数ｊ＝−・・・３番よ列インデックスである。

ベクトル立は１つの列ベクトルであり、また重み付は係数ａ１、ａ２およびａ３ から成っており、他方において列ベクトルＬは出力信号ｙの価ｙ１、ｙ２および ｙ３から成っている。この連立方程式のなかで／＜ラメータｄＬｄ２、ｄ３、ｅ ｌ−ｅ２、ｅｊ、ａｌ、ａ２およびａ３は自由なノ々ラメータである。すなわち ３つの式および９つの未知数がある。この場合、マトリックス鼠が反転可能であ れば、連立方程式は一義的に解くことができる。この場合、マトリックス琶のデ クーミナントは零と異なっている。パラメータｄ１、ｄ２、ｄ３およびｅｌ、ｅ ２、ｅｊは、この条件が満足されているように予め与えられている。連立方程式 の解彫出力層のニューロンのなかの重みである。線形連立方程式を解くためには マトリックスＭが反転されなければならない、なぜならばａ−Ｍ”・ヱ が成り立つからである。

その場合、連立方程式の解はめられるパラメータａ１、ａ２およびａ３に相当す る。デターミナントの計算のためには３つのサポート値に対する入れ子にされた 関数の出力値しか必要とされない。従って、どの方式および仕方で入力間数ｇが 形成されるか、またどの経過を中間層のなかのニューロンの出力量ｊＱｆが存す るかは重要ではない、同しく、マトリックス琶をたてるために出力関数ｆの連続 性または微分可能性は重要ではない、しかしながら、非線形の出力間数ｆの連続 性は、学習されたニューラル・ネットがサポート値の学習されなかった中間値を 内挿すべきであれば、ニューラル・ネットのその後の使用に対して意義がある。

その場合に連続性はいわゆる“°一般化”のための重要な条件である。中間層の なかの並列に接続されているニューロンの数が学習すべきサポート値の数に等し いならば、連立方程式は正確に解かれ得る。この場合、ネットワークは内挿する 。

サポート値の数がニューロンの数よりも大きいならば、オーバー決定される連立 方程式が得られる。この場合、ネットワークは近似のみをし得る。

ニューロンよりも多くのサポート値が存在するならば、オーバー決定される連立 方程式が得られる。この場合、マトリックスは下記のマトリックス積を介して得 られる。

Ｍｌ−瓦７　・Ｍ ここでＭＴはＭの置換である。鼠はｎＸｑマトリックスである。すなわち中間層 のなかのｎのニューロンおよびｑのサポート値が存在し、その際にｑはｎよりも 大きい０Ｍ土は再びｎＸｎマトリックスである。

係数はその場合に線形回帰を介して近くすされ得る。

見＝（ｙ７　・ｙ）−“・ＭＴ　、ｚ この場合、計算された出力値と予め与えられた出力値との間の二乗偏差が最小化 される。

出力関数としてはたとえば式 ％式％） によるングモイド関数が使用され得る。

複数の出力端を有するニューラル・ネットでは各出力ニューロンに対して別々に 連立方程式をたて、かつ解かなければならない、２つの出力端を有するネットで はただ１つのマトリックスが反転されなければならならず、出力重み付けが２回 計算される。中間層のなかの重み付けおよびオフセットは変化しない。

第５図による２つの入力端および１つの出力端を有するニューラル・ネットの１ つの応用はたとえばモータの性能グラフである。ここでニューラル・ネットの設 計は第４図によるニューラル・ネットの際と類似に行われ得る。単に入力関数が いま単一の入力信号Ｘの代わりに２つの入力信号ｘ１およびＸ２を重み付け、ま た演算する。それらの重み付は係数は第５図中には図面を見易くするため示され ておらず、単に加蒐すべき値ｄ１・・ｄｉが示されている。ニューラル・ネット は中間層のなかに４つのニューロンを有し、それらの出力信号は出力ニューロン のなかで重み付は係数ａ１、ａ２、ａ３およびａ４を乗算され、また互いに重畳 される。すなわち、４つのサポート値が予め与えられるならば、設計はここでは これらの重み付は係数に対する４つの式を有する連立方程式に通ずる。そのこと から、入力端の数がニューラル・ネットの設計の際の計算費用に影響を有さない ことは明らかである。

強くオーバー決定されたニューラル・ネットでは、すなわちサポート値の数９が 中間層のなかのニューロンの数ｎよりも十分大きいならば、ｑ・の独立したサポ ート値を発生するために、中間層のなかの重みの数ｎがもはや十分でない場合が 生じ得る。その場合、自由なパラメータ（重み）の数が増されなければならない 。

このことは一方では中間層のなかのニューロンの数ｎを増すことにより、また他 方では中間層のニューロンのなかに多くのパラメータを存する複雑な入力関数を 使用することにより可能である。

第１の変形例では独立したサポート値の数が増される。それによって線形連立方 程式を解く際の計算費用が上昇する。第２の変形例は、入力層と中間層との間に 口されたニューロンを有する別の中間層を組み込むことによって、すなわちたと えば第６図による４Ｎのニューラル・ネットを使用することによって実現される 。いま第１の中間層のニューロンに対していま第２の中間層のニューロンと等し いことが当てはまる。形式はこれらの両層を区別しない、第２の中間層の各ニュ ーロンは新しい第１の中間層のすべての二ニーロンと接続されている。この追加 的な中間層は、第２の中間層のなかのニューロンの入力関数が本質的に複雑にな るようにする。それによって規格化に対する追加的な自由度が得られる。

原理的に中間層のなかのニューロンのパラメータは適切な試みにより、または最 適化アルゴリズムによっても任官にめられ得る。目的関数は連立方程式を解くた めのマトリックスのデターミナントである。

以下では、マトリックスＭのデターミナントが過小にならないように、また出力 ニューロンの重みが過大にならないように、どのように中間層のなかのニューロ ンの重みおよびオフセットが予め定められ得るかを説明する。このことは、マト リックスＭに対して容易に反転可能な構造を予め与えることによって、また中間 層のなかのニューロンのめられる重みおよびオフセットが入力信号のサポート値 に関係してこの構造を発生ずるための係数比較により計算されることによって達 成される。その際にサポート値の数ｑは中間層のなかのニューロンの数ｎに等し く選ぶ必要がある。３つの金利な構造をここに示す。

型土■檀遣： 対角線およびその上の要素は値１を有する。対角線の下の要素は（ｌＩＩＯを有 する。

デターミナントは値：ｄｅｔ　（Ｍｌ）＝１を有する。

反転は下記のように表される。

連立方程式の正確な解は下記のように表される。

皐λ■膿遺： 対角線およびその上の要素は値１を存する。対角線の下の要素は（ト１を有する 。

デターミナントは（１：　ｄ　ｅ　ｔ　（Ｍ２）　＝２　（Ｑ−”　を有する。

反転は下記のように表される。

連立方程式の正確な解は下記のように表される。

第３の構造（単位マトリックス）： 対角線上の要素は値ｌを存する。その他の要素は値０を存する。

デターミナントは値：ｄｅＬ　（Ｍ３）＝１を有する。

反転は下記のように表される。

連立式の正確な解は下記のように表される。

これらの構造に対してそれらに付属の反転が直接に示され得る。それから次いで 出力重みも直接に計算され得る。

出力重みが値零を有するならば、中間層のそれに付属のニューロンは省略され得 る。なぜならば、それは出力ニューロンと接続されていないからである。この場 合、ニューラル・ネットは間引かれる。

第１の構造は、中間層のニューロンのなかの非線形要素がシグモイド関数に類（ すしているニューラル・ネットにおいて有利に応用可能であり、他方において第 ２の構造は特に双曲線正接関数に相応する挙動を有する非線形要素に対して適し ている。

第７図にはシグモイド関数 ｙ＝Ｉ／　ｉｌ＋ｅｘｐ　（−ｚ）１ の原理的経過が示されている。人力関数ｇ　（ｘ）の値はここでは２として示さ れている。２の大きい正の値の際には関数は漸近的に限界値１に接近し、大きい 負の値の際には限界値０に接近する。その間にシグモイド関数はＳ字状の経過を 有する。それは点（ｚ、ｙ）　−（０，０，５）に関して点対称である。すなわ ちｙ（ｚｌ　−１ｙ　（−ｚ）である。

第８図は双曲線正接関数 ｙ＝　ｆｅｘｐ　（２ｚ）　−１１／　（ｅｘｐ　（２ｚ）＋１！の定性的経過 を示し、その関数値は大きい正の値の際には漸近的に限界［１に接近し、大きい 負の値の際には限界値−１に接近する。双曲線正接関数はその間で同しくＳ字状 の経過を存する。それは座標原点に関して、壱対称である。すなわちｙ　（ｚ） 　”−ｙ　（−ｚ）である。

山間−のなかのニューロンの等しい重みｅｉおよびオフセットｄ１の際にはマト リックスＭの列は線形に依存性であろう、連立方程式を解き得るように、列は重 みｅｉおよびオフセットｄｉの適切な選定により線形に非依存性にならなければ ならない、加えて乱数が使用されるならば、連立方程式は確かに一般に数値的に 解かれ得るが、出力重みがいくつかの場合に非常に大きい、このことは列の線形 依存性がその際にまだ非常に大きかったことの１つの標識である。

入力信号Ｘは値範囲−１≦Ｘ≦１に正規化される。さらに補助的にマトリックス ｙをたてるために、重みｅｉおよびオフセットｄｉを存意義に予め与え得るよう に、サポート値Ｘ！が存在する値範囲から均等に分布して到来することから出発 される。すなわち補助量ｘｉ゛が入力信号ｘｉに対して式％式％） に相応して導入される６強調すべきこととして、補助量ｘｉ゛は単に重みｅｉお よびオフセットｄｉをめるために使用される。それに対して連立方程式を解くた めにはサポート値（ｘｉ、ｙｉ）が利用される。

Ｍの第１の行はこうしてｘｉ’（＝１、均等分布のため）に対する中間層のニュ ーロンの出力信号を、第２の行はｘ２’に対する値を、・・・、また最後の行は Ｘｑ’（＝−１、均等分布のため）に対する値を含んでいる。

重みｅｉおよびオフセットｄｉを決定するためマトリックスＭの第１および第２ の構造から下記の規則が生ずる。

（１）対角線上およびその上側の要素は正の限界値の付近に位置しなけばならず 、また （２）対角線の下側の要素は下側の限界値の付近に位置しなけばならない（シグ モイド関数を存する非線形性の際には０、双曲線正接関数を有する非線形性の際 には−１）。

このことから下記の両式が導き出され得る。

ｆ　（ｄｉ＋ｅｉ−ｘｉ’）　＝１　およびｒ　（ｄｉ＋ｅｉ　・ｘ　（ｉ＋１ ）’）＝０　シグモイド関数に対してまたは ｆ　（ｄｉ＋ｅｉ・ｘ　（ｉ＋１）’）＝−１双曲線正接関数に対してこれらの 式を解くことにより下式が得られる。

ｄｉ＋ｅｉ　・ｘｉ’　＝ｆ−’　（１）　＝　ＧＷｄ　ｉ＋ｅ　ｉ・ｘ　（ｉ ＋１）’−ｆ−’　（０または−１）＝−ＧＷシグモイド関数および双曲線正接 関数は対称である。このことは、ｆ　（ＧＷ）における漸近的上側限界値への距 離がｆ　（−ＧＷ）における下側限界値への距離に等しいことを意味する０式の なかの［ＧＷは、距離が小さくなるように選ばれる。これはングモイド関数に対 してはＧＷ＝９の場合、また双曲線正接関数に対してはｃｗ−５の場合である。

上記の両式はｅｉおよびｄｉに関して解かれ得る。

ｅｉ＝ＧＷ・（ｑ−１）　および ｄｉ＝ＧＷ・　（２・１−９） 人ノＪ重みｅｉはすべて等しい値を存する。オフセットｄｌはニューロンのなか で相異なっている。入力信号χの値範囲は中間層のニューロンにより部分範囲に 分割される。どの値を入力信号Ｘがまさに有するかに応して、中間層のニューロ ンは正の限界値もしくは負の限界値の付近である。

（ａＧＷはニューラル・２．トの内挿特性に影響する。ｃｗ＝ｇ　（または５） の際には非常に鋭い移行を有する階段状の曲線経過が得られる。なぜならば、中 間層のニューロンの出力信号が上側限界値もしくは下側限界値に位置しているか らである。値ＧＷを減すると、このような鋭い移行はもはや存在せず、中間値を 存する滑らかな移行が生ずる。しかしながら、マトリックス琶はその場合もはや 予め与えられた理想的な構造に一致しない。出力重みはいま数値的にめられなけ ればならない。そのかわり曲線経過はより滑らかとなり、またニューラル・ネッ トの内挿特性が改善される。ングモイド関数を有する非線形要素では値範囲０゜ ５＜ＧＷ＜２が、また双曲線正接関数を存する非線形要素に対しては値範囲０゜ ２＜ＧＷ＜１が特に望ましいことが判明している。ＧＷがこれらの範囲から選ば れると、ニューラル・ネットは出力ニューロンの重みａｉの確実な計算の際に良 好な内挿能力を存する。

単位マトリックスに類（９のマトリックスＭの第３の構造に対しては、鐘曲線の 経過をイｆする非線形要素が中間層のニューロンのなかにを利に使用され得る。

鐘曲線の定性的な経過が第９図に示されている。このような鐘曲線の式は下式で 表される。

ｙ＝　ｅ−ｎ＋ｂ＋ｚ この関数は関数（ｉｆ（０）＝１を有する２＝０において際立った極大を有する 。

Ｚの大きい値に対しても小さい値に対しても関数は漸近的に値０に近づ＜、ｚ　 −ｂに対して関数値としてｙ　（ｂ）＝ｅｘｐ　（−１）＃０．３６Ｂが得られ る。すなわち、縦座標からの距離すにおいて関数の出力値は約１／３に低下して いる。

関数は縦座標に関して対称である。すなわちｙ　（ｚ）　＝ｙ　（−ｚ）である 。

中間層のニューロンのなかに非線形要素として鐘曲線を使用して第３の構造のマ トリックス鼠を得るためには、下記の規則が通用されなければならない。

（１）対角線上の要素は最大値１に一致しなければならず、また（２）対角線の 上側および下側では要素は限界値零の付近に位置していなければならない。

中間層のニューロンのなかでの入力演算ｚ＝ｅ　−ｘ＋ｄによりそれから下記の 式が導き出され得る。

ｄｉ＝−ｅｉ°ｘｉ’ 第２の規則から、対角線上に位置していない要素に対しては下記の計算式が成り 立つ。

ｅｘｐ（（（ｅｉ−ｘ（ｉ＋１）’＋ｄｉ）／ｂｌ”）”１．０ｅ−５０ｂ；　 ｔｅｉ−ｘ　（ｉ＋１）’＋ｄｉｌ／５ｑｒＬ　（−Ｉｎ　（１，０ｅ−５０） ｂ−±０．２・ｅｉ／（ｑ　ｌ） 鐘曲線の対称性のゆえにこの計算は対角線の上側の要素に対しても下側の要素に 対しても当てはまる。

入力重みはすべて値１にセットされ、その場合に下式が得られる。

　ｌ−１ ｄｉ＝−１＋２・（五−１）／（ｑ−１）＝−ｘｉ’ｂ＝０．２／（ｑ−１） このニューラル・ネットの曲線経過は一連の鐘曲線である。これらの曲線は非常 に狭く、エツジは急峻に零に向かって低下する。従って、曲線はむしろ゛°針状 パルス°゛に相応する０曲線の先端は学習されたサポート値に相応する。従って 、ニューラル・ネットは悪い内挿特性を存する。サポート値の間の入力信号の際 にはニューラル・ネットから近＜Ｕ的に零が出力される。しかじ内挿特性は係数 すにより変更可能である。ｂが大きくなるほど、個々の鐘曲線の幅は、それらが 重なりニューラル・ネットがサポート値の間でも通切な出力値を供給するまで、 広くなる。しかし、それによって同時に零から１への鋭い移行がマトリックスＹ の対角線の範囲内で失われ、マトリックスｙがその理想的な構造を失う、いま、 いわゆる゛°バンドマトリックス”が得られる。

ｂが大きくなるほど、“°バンド”は広（なる。

出カニニーロンのなかの重みａｉの確実な計算の際の特に良好な内挿特性は、ｂ に対して範囲１／　（ｑ−１）＜ｂ＜３　（ｑ−１）からの値が選ばれるならば 達７トのなかの中間層のニコーーロンの重みｅｉおよびオフセフ１−ｄｉに対す る解析的な設定規則が与えられる。しかしながら内挿特性はこの設定により最初 は望ましくない、しかしそれらは有利にただ１つのパラメータ（Ｃ，Ｗまたはｂ ）の変更により変更され得る。それによりマトリックスｙは予め与えられた理想 的な構造から偏差し、また出力重みａｌが数値的に計算されなければならない。

しかしその際に設定規則に基づいて数値的な問題は生しない。数値的な解はオー バー決定さ机る連立方程式の際にも、たとえば中間層のニューロンよりも多くの サポート値が存在するならば、存意前な結果を与える。ＧＷが過度に減ぜられ、 またはｂが過変に増されると、マトリックスＭの行は線形関係に近付き、また出 力層のニューロンのなかの出力重みａｉは大きくなる。

マトリックスＭが重みｅｉおよびオフセットｄｉの決定後に学習データに対する 等距離補助量を手掛りにしてたてられるなちば、これらの学習データが等間隔で ない場合には、理想的構造からの偏差が生し得る。しかしながら、この設定規則 の数値的に望ましい特性が引き続き保たれることが判明している。

一般には出力ニューロンのなかのオフセットは必要ではない、しかしそれでもな おオフセットｄが一緒に計算されるべきであれば、連立方程式は下記の仕方で拡 張されなければならない。

ｍ１１・ａｌ＋ｍ１２・ａ２＋ｍ１３−ａ３＋ｄ＝ｙ１ｍ２１ａｌ＋ｍ２２・ａ ２＋ｍ２３・ａ３＋ｄ−ｙ２ｍ３１　・ａｌ＋ｍ３２・ａ２＋ｍ３３・ａ３＋ｄ ＝ｙ３マトリックス記述では、 すなわちマトリックスｙは値“ｌ”を有する要素を有する列だけ、また解ベクト ルはめられるオフセットｄだけ拡張される。連立方程式はいまサポート値よりも 多くのパラメータを有するが、それはそれでもなお近似の方法により解かれ得る 。

いま２つの人力Ｘおよびｙを有するニューラル・ネットを考察する。学習データ は形式（ｘ、ｙ、ｚ）を有する。各入力は値範囲１・・・−１に正規化される。

この値範囲から再び入力信号Ｘまたはｙに対する均等に分配された補助ＩＸｉ’ およびｙｉ′が形成される。

ニューラル・ネットの人力信号に対するこうして補助的に導入される値対（Ｘｉ ’、ｙｉ’）は入力の補助ｔｘ　＋　’およびｙｉ′の組み合わせにより生ずる 。

各人力ｑから補助量が形成されると、ここでｑｔ−組み合わせが生ずる。これら の値対の各々は二次元の入力空間の部分範囲を覆っている。すなわちネットが非 常に大きくなる。なぜならば、ここでは、学習データの実際の分布と無関係に、 一括してすべての入力空間が覆われるからである。

これらの値対の各々は中間層のなかのニューロンを必要とする。このネットによ り次いでｎの学習データが学習されるべきであれば、マトリックス琶の大きさは ｎ　ｘｑ　２となる。こうして、正方形マトリックスＭに対してｎ　＝　ｑ　Ｚ の学習データが必要とされる。より多くの学習データの際にはオーバー決定され る連立方程式が得られる。その場合にニューラル・ネットは、二乗誤差が最小化 される補償機能を形成する。

たとえば２つの入力を有するニューラル・ネットでは各入力は５つの等間隔の補 助量により４つの部分区間に分割されるべきである。これらの補助量の組み合わ せは二次元の入力空間に対するサポート値を供給する。こうして第１０図による ２５のサポート値の格子が得られる。

連立方程式をたてるためには少なくとも２５の学習データが必要とされる。その 場合にマトリックスＭは２５Ｘ２５のデイメンシヨンを存する。多次元のニュー ラル・ネットでは非常に大きい連立方程式が解かれなければならない、いわゆる “ラジアル−ベース間数″　（下記参照）を有する“メキシコハツト”　（＝２ ＝８・５ｑｒｔ　（ｘ”＋）”）を存する５ｉｎ（ｚ）／ｚ）の学習の際には約 ｑ＝ｌＯを存するマトリックスが必要である。

二次元のニューラル・ネットにおけるサポート値の学習をいま非線形要素として のラジアル−ベース関数に対して説明する。ラジアル−ベース関数は式％式％） による鐘状経過を有する。

学習データ（ｘｉ、ｙｉ、ｚｉ）により再び連立方程式がたてられる。中間層の なかのニューロンと同数のサポート値が存在するならば、正方形マトリックスＭ が得られる。このマトリックスは対角線構造を有するべきである。すなわち対角 線要素のみが値１を存するべきである。対角線要素のなかでは１つの入力値対（ ｘｌ’、ｙｌ’）に対して下記の式が得られる。

ｅｘｐ（−（（ｘｉ’−ｘｏ’）”＋（ｙｌ’−ｙｏＩ”ｌ／ｂ”）＝１（ｘｉ ’−ｘＯ’）”＋（ｙｌ’−ｙＯ’）”−０これらの式から ｘＯ＝ｘｌ’　また　ｙｏ＝ｙｔ′ となる。

こうして各値対に対して中ｌＢ１層のなかのニューロンが必要とされる。その際 に１つの値対（ｘｊ′、ｙｊ’）に対して設定規則ｒ　（ｘ、ｙ）＝ｅｘｐ　（ −（（ｘ−ｘｊ’）”＋（ｙ−ｙｉ’）”ｌ／ｂ’）が得られる。

その際に係数すは再び中間値における内挿特性に影響する。入力−学習値が１つ のニューロンの値対からどのくらい離れているかに応して、ニューロンの出力は 零と１との間の値を有する。学習データの任意の分布の際には多かれ少なかれ際 立った対角線構造を有するいわゆる“まばらに埋められた”マトリックスが得ら れる。この挙動は、ネットを小さくするために利用され得る。マトリックスＭの なかで零または非常に小さい値のみを有する列を形成するニューロンは省略され 得る。

ｋの入力を有するニューラル・ネットでは各入力はｑの等間隔の補助量に分割さ れる。ニューラル・ネットに対する値−に−テユペルはこうして再び個々の入力 の補助量の組み合わせにより生ずる。それにより多次元のニューラル・ネットに 対するｑｋの値−に−テユペルが得られる。これらの値−に−テユペルの各々は に次元の入力空間の部分範囲を覆う、すなわち、２７トが非常に大きくなる。

なぜならば、ここでは、学習データの実際の分布と紐関係に、一括してすべての 入力空間が覆われるからである。

これらの値−に−テユペルの各々は中間層のなかのニューロンを必要とする。

このネットによりｎの学習データが学習されるべきであれば、マトリックスＭの 大きさはｎＸｑ’となる。こうして正方形マトリックＸＭに対してｎ　−ｑ　ｋ の学習データが必要とされる。より多くの学習データの際にはオーバー決定され る連立方程式が得られる。その場合にニューラル・ネットは、二乗誤差が最小化 される補償機能を形成する。

ラジアル−ベース関数の利点は再び、イトに一テユベルを最初に出力値に無関係 に定め得る°ことにある。数９はその際に分解能、従ってまた近４９の精度を決 定する。欠点は、ネットが非常に大きくなり得ることにある。

その他の非線形関数では入力関数のなかで入力信号が線形に重畳され、それによ り、計算を困難にする多義性が生ずる。

学習データかに次元の入力空間の１つの部分範囲のなかにのみ位！することから 出発されるならば、ラジアル−ベース関数を有するニューロンに対する下記の進 行の仕方によりより小さいネットが得られる。

−にの入力を有するニューラル・ネットでは各入力信号から、上記のように、所 望の分解能に応してｑの補助量が形成される。

−これらの補助量はすべて互いに組み合わされる。これらの組み合わせはに次元 の入力空間の値−に−テユペルを形成する。

−これらの値−に〜テユベルはラジアル−ベース関数のパラメータを供給する。

それによって最初に値−に−テユペルと同数の中間層のなかのニューロンが存在 する。

−いま次々と各人力−学習データセットに対してすべてのニューロンの出力値が 計算される。出力値が加算される。結果が零または非常に小さいならば、ニュー ロンは選び捨てられる。それによって、学習データが値−に−テユペルの付　。

近に位置しているニューロンのみが残留する。この仕方で重要な値−に−テユペ ルについての展望も付加的に得られる。

−これらのニューロンにより次いで連立方程式がたてられ、また解かれる。学習 データと同数のニューロンを使用するならば、学習データは正確に学習され得る 。

学習データよりも少数のニューロンを使用するならば、ニューラル・ネットは多 次元の補償多項式を形成する。

代替的に、重要な値−に−テユベルは、各入力に対して頻度分布をたてることに よってもめられ得る。そのために各入力が部分範囲に分割される。範囲の数は所 望の精度に応して定められる。いま、どれだけ多くの学習データがどの部分範囲 のなかに位置しているかがめられる。ここで個々の部分範囲が見出されると、こ れらの部分範囲の平均値がラノアルーヘース関数に対する値−に−テユペルとし て使用され得る。部分範囲の幅はｂの選択のためのヒントを与える。

さらに、学習データを存する非常に大きいデータセットをより小さい代表的なデ ータセットに減する学習データのもう一つの°゛前処理°゛が有利である。

この設計規則によりニューラル・ネットの大きさを学習すべき関数に適合させる ことができる。ネットはその際にその他の関数（シグモイド、ｔａｎｈＳＩＱ曲 線）を使用する際よりも常に大きいが、そのかわりに設計はより確実である。な ぜならば、ラジアル−ベース関数を有するニューラル・ネットでは入力値と出力 値との対応付けが少数のパラメータに関係しているからである。

本発明による設計方法によりバックプロパゲーション法の場合のような特殊なニ ューロン形式を有するニューラル・ネットにもはや制限されずに、より一般的な ニューロン形式を有するニューラル・ネットも使用することができる。

中間層のなかのニューロンは必ずしも入力関数として加算を形成し、また出力関 数として双曲線正接関数またはシグモイド関数を存していなくてよい、原理的に はニューロンにおいて任意の入力関数、すなわち乗夏および除算、また任意の出 力関数も可能である。有意義な設計に対するｍ−の要求は、ニューロンの出力値 が完全に線形に入力量に関係しないことである。非線形性はその際各人力値にた だ１つの出力値を対応付は得る。非線形性に対する条件が既に入力関数のなかで の演算により満足されているならば、出力関数は線形であってもよい、中間層の なのニューロンはいまもはや等しい入力および出力関数を有していな（でもよく 、関数はニューロンのなかで異なっていてよい。中間層のニューロンの入力関数 のなかの重み付は係数および非線形性のパラメータは、９のサポート値からｎの 線形に独立した方程式がたてられ得るように選ばれなければならない。

出力層のニューロンのなかの入力関数は、それぞれ１つの連立方程式がたてられ 得るように定められていなければならない、これらのニューロンの重み付けされ た人力信号は加算、乗算もしくは除算により演算されなければならない０乗算ま たは除算の場合には連立方程式が対数化により得られる。しかし、その場合、中 間層の出力信号の正規化されたサポート値および学習すべき出力値が正であるこ とに注意されなければならない、負の出力値の際には出力ニューロンのなかで、 負の出力値を内部の正の出力値に写像するもう一つの線形または罪線形の出力関 数が実行されなければならない、対数化により上記の前提のもとに１つの演實ｙ ＝ａｉｆｉａ２・ｆ２−ａ３１３−ａ４−ｆ４から式 ％式％） このような式により再び前記の仕方で線形連立方程式がたてられ、また解かれ得 る。

たとえば信号ｆｌ・・・ｒ３が与えられている３つの入力、重み付は係数８１・ ・ａ３およびシグモイド出力関数を存する出力層のなかのニューロンに対して連 立方程式が下記のように得られる。

１／（１＋ｅｘｐ　（−（ａｌｆｌ＋ａ２ｒ２＋ａ３ｆ３−ｄ）））＝ｙそれか ら両側の逆値形成、ｌの差し引きおよび対数化により式％式％） 学習データにより入力および出力値の種々の組み合わせが決定される。その際に （ａｆｌ、ｆ２およびｒ３は中間層のニューロンの出力値である０次いで対数化 により線形連立方程式がたてられ、またパラメータｄ、ａｌ、ａ２およびａ３が 前記の仕方でめられ得る。

ＩＧ　５ ＩＯ６

Claims (10)

【特許請求の範囲】
1. １．少なくとも１つの入力および少なくとも１つの出力ならびに複数の相前後し て配置された層のなかのニューロンを有するニューラル・ネットを設計するため の方法であって、１つの中間層のニューロンのなかで入力信号が最初に重み付け され、次いで互いに演算され、非線形要素により評価され、ニューラル・ネット の各出力に出力ニューロンが対応付けられており、それに中間層のニューロンの 信号が導かれており、またそのなかでこれらの信号の重み付けおよび演算により 出力信号が発生される方法において、 各出力ｑに対して人力信号および出力信号に対するサポート値（ｘｉ，ｙｉ）が 予め与えられ、その際にサポート値の数ｑが少なくとも中間層のなかのニューロ ンの数ｎに等しく、また １つの出力の出力ニューロンの重み（ａｉ）が、ｑのサポート値（ｘｉ，ｙｉ） の出力信号値に対するｑの式から成る線形連立方程式を解くことにより求められ 、そのなかで中間層から供給された信号（ｍｉｊ）の値がそれぞれ相応の重み（ ａｉ）を乗算され、また加算され、その際に中間層ニューロンのなかの重みおよ び非線形要素が、連立方程式が解かれ得るように予め与えられていることを特徴 とするニューラル・ネットの設計方法。
2. ２．連立方程式がー義的に解かれ得るように、サポート値（ｘｉ，ｙｉ）の数ｑ が中間層のなかのニューロンの数ｎに等しいことを特徴とする請求の範囲１に記 載の方法。
3. ３．サポート値（ｘｉ，ｙｉ）の数ｑが中間層のなかのニューロンの数ｎよりも 大きい場合に、サポート値が線形回帰により近似されることを特徴とする請求の 範囲１に記載の方法。
4. ４．線形連立方程式をたてるため乗算または除算による出力ニューロンのなかで の信号の演算の場合に信号値のかわりに信号値の対数が使用されることを特徴と する請求の範囲１ないし３の１つに記載の方法。
5. ５．入力信号（ｘ）の値範囲が求められ、またｑの補助量（ｘｉ′）が、それら が値範囲に均等に分配されているように決定され、マトリンクス（Ｍ）が線形連 立方程式Ｍ・ａ＝ｙを解くために、それが容易に反転可能であるように近似的に 予め与えられた構造を有し、また中間層のニューロンのなかの入力信号の演算の パラメータ（ｅｉ，ｄｉ）が、非線形要素による補助量（ｘｉ′）の評価が予め 与えられた構造のマトリックスを生ずるように決定される ことを特徴とする請求の範囲１に記載の方法。
6. ６．近似的に、マトリックス（Ｍ）の要素（ｍｉｊ）が対角線上およびその上側 では値１を有し、またその下側では値零を有するマトリックス構造が予め与えら れ、また 中間層のなかのニューロンの非線形要素が近似的にシグモイド関数の経過を有す る ことを特徴とする請求の範囲５に記載の方法。
7. ７．近似的に、マトリックス（Ｍ）の要素（ｍｉｊ）が対角線上およびその上側 では値１を有し、またその下側では値−１を有するマトリックス構造が予め与え られ、また 中間層のなかのニューロンの非線形要素が近似的に双曲線正接関数の経過を有す る ことを特徴とする請求の範囲５に記載の方法。
8. ８．近似的にマトリックス（Ｍ）が単位マトリックスに相応して予め与えられ、 また 中間層のなかのニューロンの非線形要素が近似的に鐘曲線の経過を有することを 特徴とする請求の範囲５に記載の方法。
9. ９．中間層のニューロンのなかでの演算のために、オフセット（ｘ０，ｙ０）を 重畳された入力信号（ｘ，ｙ）の二乗の和が形成されることを特徴とする請求の 範囲８に記載の方法。
10. １０．請求の範囲１ないし９の１つによる方法により得られるニューラル・ネッ ト。