JPH03230285A - 余剰ニューロン決定処理方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （概要〕 ニューロンの内部結合により構成されるネットワーク構
造に従ってデータ処理を実行するネットワーク構成デー
タ処理システムに関し、非活性な余剰ニューロンを決定
できるようにすることを目的とし、 入力若しくは出力の内部結合に割り付けられる内部状態
値のゼロ値からの距離がゼロ値に近いニューロンを余剰
ニューロンと決定する手段、あるいは、入出刃先が同じ
形態をとるニューロン群の内、入出力の内部結合に割り
付けられる内部状態値が概略同一値をとるニューロン群
の１つ以外のニューロンを余剰ニューロンと決定する手
段、あるいは、入力パターン群の提示に応答して出力す
る出力値の変化が小さいニューロンを余剰ニューロンと
して決定する手段を備えるよう構成する。

〔産業上の利用分野］ 本発明はニューロンの内部結合により構成されるネット
ワーク構造に従ってデータ処理を実行するネットワーク
構成データ処理装置においての、非活性な余剰ニューロ
ンを決定するための余剰ニューロン決定処理方式に関す
るものである。

従来の逐次処理コンピュータ（ノイマン型コンビニータ
）では、使用方法や環境の変化に応じてデータ処理機能
を調節することができないので、所定の演算処理を実行
するニューロンの内部結合により構成されるネットワー
ク構造のデータ変換機能を用いる並列分散処理方式の適
応的なデータ処理装置が提案されてきている。このネッ
トワーり構成のデータ処理装置では、明示的なプログラ
ムを作成することなく、学習用に用意された入力信号（
入力パターン）の捷示に対して出力されるネットワーク
構造からの出力信号（出力パターン）が、教師信号（教
師パターン）と一致するべく所定の学習アルゴリズムに
従ってネットワーク構造の内部結合の重み値を決定して
いく。そして、この学習処理により重み値が決定される
と、想定し。

ていなかった入力信号が入力されることになっても、こ
のネットワーク構造からそれらしい出力信号を出力する
という°“柔らかい゛データ処理機能が実現されること
になる。

このような構成のネットワーク構成データ処理装置にお
いて、ネットワーク構造の演算処理速度を速めたり、ネ
ットワーク構造のハードウェア量を削減していくために
も、ネットワーク構造中の活性化していない余剰的なニ
ューロンがどれなのかを特定できるための手段を用意し
ていく必要があるのである。

〔従来の技術〕

階層ネットワーク構成をとるネットワーク構成データ処
理装置に従って従来技術を説明する。

階層ネットワーク構成をとるデータ処理装置では、基本
ユニットにニューロンの一態様をなす）と呼ぶ一種のノ
ードと、内部状態値に相当する重み値を持つ内部結合と
から階層ネットワークを構成している。第１２図に、基
本ユニット１の基本構成を示す、この基本ユニット１は
、多大カー出力系となっており、複数の入力に対し夫々
の内部結合の重み値を乗算する乗算処理部２と、それら
の全乗算結果を加算する累算処理部３と、この累算値に
非線型の闇値処理を施して一つの最終出力を出力する闇
値処理部４とを備える。

ｈｌを前段層としｉＮを後段層とすると、この累算処理
部３では下記の（１）式の演算を実行し、閾値処理部４
では下記の（２）式の演算を実行する。

Ｘ□＝Σｙいｗ　＋、　　　　　　　　　　　（ｔ）式
）’　ｐｉ　””　１　／　（１＋　ｅｘｐ（ｘ　ｐｔ
十〇ｔ））　　（２）式但し、 ｈ　：ｈ層のユニット番号 ｉ　２１層のユニット番号 ｐ　；入力信号のパターン番号 θ、＝ｉ層の１番ユニットの閾値 Ｗ＋ｈ　Ｆ　ｈ　　ｉ層間の内部結合の重み値Ｘ　ｐｉ
　ｊ　ｈ層の各ユニットからｉ層の１番ユニットへの入
力の積和 ）’ｐｈ：Ｐ番目パターンの入力信号に対するｈ層の１
番ユニットからの出力 ｙｐ＋：Ｐ番目パターンの入力信号に対するｉ層の１番
ユニットからの出力 そして、階層ネットワーク構成データ処理機能では、こ
のような構成の多数の基本ユニットｌが、入力信号値を
そのまま分配して出力する入カニニット１゛を入力層と
して、第１３図に示すように階層的に接続されることで
階層ネットワーク部を構成して、入力パターンを対応す
る出力パターンに変換するという並列的なデータ処理機
能を発揮することになる。

ネットワーク構成のデータ処理装置では、データ変換機
能を規定するところのネットワーク構造の重み値を学習
処理により求めていく必要がある。

Ｐｌｔ層ネットワーク構成データ処理装置の重み値の学
習処理方式として、特に、バック・プロパゲーション法
と呼ばれる学習処理方式がその実用性の高さから注目さ
れている。

バック・プロパゲーション法では、階層ネットワークの
重み値Ｗｉ＋、と閾値θ８とを誤差のフィードバックに
より適応的に自動調節して学習することになる。　（１
）（２）式から明らかなように、重み値Ｗ１、と閾値θ
、との調節は同時に実行される必要があるが、この作業
は、相互に干渉する難しい作業となる。そこで、本出願
人は、先に出願の「特願昭６２−３３３４８４号（昭和
６２年１２月２８日出願、“ネットワーク構成データ処
理袋Ｎ“）」で開示したように、入力側のｈ層に常に“
ビを出力するとともにその出力に対して閾値θ１を重み
値として割り付けるユニットを設けることで、閾値θｉ
を重み値Ｗ８、の中に組み込んで閾値むを重み値として
扱うようにすることを提案した。このようにすることで
、上述の（１）　（２）式は、 Ｘｅ１−ΣｙいＷｉｈ　　　　　　　　　　（３）弐ｙ
ｐｉ　”　１　／　（１＋ｅｘｐ（−Ｘ　ｐｉ））　　
　　　（４）弐で表されることになる。

次に、この（３）　（４）式の記述形式のものに従って
、バック・プロパゲーション法による重み値の学習処理
方式について説明する。ここで、この説明は、階層ネッ
トワーク部が、第１３図に示すｈ層−１層−ｊＮという
３層構造の階層ネットワークをもつもので行う。

（３）（４）弐からの類推によって次の（５）　（６）
式が得られる。すなわち、 Ｘｐｊ電Σｙ、、Ｗハ　　　　　　　　　（５）式％式
％（６） ｊ　：３層のユニット番号 Ｗｊｉ：ｉ−ｊ層間の内部結合の重み値ｘ＃ｊ：ｔｊｉ
ｌの各ユニットから３層のｊ！ユニットへの入力の積和 ｙ□：２番目パターンの入力信号に対する３層の３番ユ
ニットからの出力 バック・プロパゲーション法では、学習用の入力パター
ンが提示されたときに出力される出力層からの出力パタ
ーンｙ１と、その出力パターンｙ２．のとるべき信号で
ある教師パターンｄｐｊ（２番目パターンの入力信号に
対するｊ層ｊ番目ユニットへの教師信号）とが定まると
、先ず最初に、出力パターンＹｐｊと教師パターンｄ□
との差分値（ｄｐ＝−ｙｐ＝）を算出し、次に、 α１＝ｙ、、（１−）’ｐ＝）（ｄ＋＋＝−３’ｐ＝）
を算出し、続いて、 ΔＷＨ（ｔ）＝εΣαｐｊ　）’　ｐｉ＋ζΔＷＪｉ（
ｔ−１）但し、ε：学習定数 ζ：モーメンタム ｔ：学習回数 に従って、１ＦＪ−ｊ層間の重み値の更新量ΔＷ７＋（
１）を算出する。ここで、［ζΔＷ、（ｔ−１）Ｊとい
う前回の更新サイクル時に決定された重み値の更新量に
係るものを加算するのは学習の高速化を図るためである
。

続いて、算出したα３．を用いて、先ず最初に、βｐｔ
＝ｙｔｔ（１−ｙｅｔ）Σα□Ｗ、、（ｔ−１）を算出
し、次に、 ΔＷｉｂ（ｔ）　＝　ｔΣβｐｉ　Ｖ　ｐｈ＋ζΔＷ、
ｋ（ｔ−１）に従って、ｈ層−ｊＮ間の重み値の更新量
ΔＷ、、（１）を算出する。

続いて、この算出した更新量に従って次の更新サイクル
のための重み値 Ｗｊｔ（ｔ）　−ＷＨ（ｔ−１）＋ΔＷ　ｊ　ｉ　（ｔ
）Ｗｉｂ（ｔ）　＝Ｗｒｈ（ｔ　　ｌ）＋ΔＷｒｈ（ｔ
）を決定していく方法を繰り返していくことで、学習用
の入力パターンを提示したときに出力される出力層から
の出力パターンｙｐｊと、その出力パターンｙ、Ｊのと
るべき信号である教師パターンｄ３、とが一致すること
になる重み値Ｗ、、、Ｗ、、（閾値θ８．θ、も含まれ
る）を学習するよう処理する。

そして、階層ネットワーク部が８層−ｈ層−ｉ層−ｊｌ
Ｗという４層構造の階層ネットワークをもつときには、
先ず最初に、 γ□−Ｙ　ａｈ（Ｉ　　Ｖ　、ｈ）Σβ、、ｗ、、（ｔ
−１）を算出し、次に、 ΔＷｂ、（ｔ）＝εΣＴ　ｐｈ　ｙ１１９＋ζΔＷｈ、
（ｔ−ｔ）に従って８層−ｈ層間の重み値の更新量ΔＷ
ｈｇ（ｔ）を算出するというように、前段側の眉間の重
み値の更新量ΔＷを、出力側の後段から求まる値とネッ
トワーク出力データとを使いながら決定していくことで
、すべての重み値と閾値を学習するよう処理している。

〔発明が解決しようとする課題〕

しかしながら、従来では、内部結合の重み値が学習され
ると、その重み値を用いてそのままデータ処理に入るよ
う処理していた。また、重み値の学習処理を大型計算機
で行ってその求められた重み値をネットワーク構造の実
ハードウェアに移植する方法をとる場合にあっては、学
習により求められた重み値をそのまま移植してデータ処
理に入るよう処理していた。

これから、従来技術では、データ処理に対して有効な働
きをしていないニューロンが存在していてもそのことを
全く考慮することなくデータ処理を実行することになる
。このような余剰なニューロンの存在は、ハードウェア
量を大きくするばかりか、演算速度の増加をもたらして
しまい何の利点ももたらさない。

本発明はかかる事情に鑑みてなされたものであって、ネ
ットワーク構成データ処理装置のネットワーク構造中の
活性化していない余剰的なニューロンがどれなのかを特
定できる手段を提供することで、ネットワーク構成デー
タ処理装置の演算処理速度の高速化とハードウェア量の
削減を実現できる途を与えることを目的とするものであ
る。

〔課題を解決するための手段］ 第１図は本発明の原理構成図である。

図中、１０はネットワーク構成データ処理装置であって
、ネットワーク構成に従って適応的なデータ処理を実行
するもの、１１はネットワーク構成データ処理装置１０
の備える名ントワーク構造部であって、１つ又は複数の
入力と該入力に対して乗算されるべき内部状態値とを受
け取って積和値を得るとともに、この積和値を所定の関
数によって変換して出力値を得るニューロンの内部結合
により構成されて、入力パターンに対応する出力パター
ンを算出して出力するもの、１２はネットワーク構成デ
ータ処理装置１０の備える内部状態値格納手段であって
、ネットワーク構造部１１がデータ変換処理の実行時に
必要とする内部状態値を管理するもの、２０は内部状態
値学習装置であって、内部状態値格納手段１２に格納さ
れる内部状態値を学習処理により求めるものである。

３０は余剰ニューロン決定装置であって、ネットワーク
構造情報管理手段３１と、内部状態ＩＩ読取手段３２と
、第１の余剰ニューロン特定手段３３と、ニューロン群
特定手段３４と、同一機能ニューロン特定手段３５と、
第２の余剰ニューロン特定手段３６と、出力範囲特定手
段３７と、第３の余剰ニューロン特定手段３８と、余剰
ニューロン出力手段３９とを備えるものである。

このネットワーク構造情報管理手段３１は、ネットワー
ク構造部１１のネットワーク構造情報を管理し、内部状
態値読取手段３２は、内部状態値格納手段１２に格納さ
れる内部状態値を読み取るよう処理し、第１の余剰ニュ
ーロン特定手段３３は、入力に割り付けられる内部状態
値の学習値のゼロ値からの距離と、出力に割り付けられ
る内部状態値の学習値のゼロ値からの距離のいずれか一
方の距離がゼロ値に近い値を持つニューロンを特定する
とともに、この特定されたニューロンを余剰ニューロン
として決定するよう処理し、ニューロン群特定手段３４
は、ネットワーク構造情報管理手段３１を検索すること
でネットワーク構造部１１のニューロンの内の入出刃先
が同じ形態をとるニューロン群を特定するよう処理し、
同一機能ニューロン特定手段３５は、ニューロン群特定
手段３４により特定されたニューロン群の内、入出力に
割り付けられる対応の内部状態値の学習値が概略同一値
をとるニューロン群を特定するよう処理し、第２の余剰
ニューロン特定手段３６は、同一機能ニューロン特定手
段３５により特定されるニューロン群の内の１つ以外の
ニューロンを余剰ニューロンとして決定するよう処理し
、出力範囲特定手段３７は、学習対象の入力パターン群
の提示に対して各ニューロンが出力する出力値の最大値
と最小値とを特定するよう処理し、第３の余剰ニューロ
ン特定手段３８は、出力範囲特定手段３７により特定さ
れた最大値と最小値との差分値がゼロ値に近い値を持つ
ニューロンを特定するとともに、この特定されたニュー
ロンを余剰ニューロンとして決定するよう処理し、余剰
ニューロン出力手段３９は、第１、第２、第３の余剰ニ
ューロン特定手段３３，３６．３８が決定した余剰ニュ
ーロンの識別子を出力するよう処理する。

〔作用］ 本発明では、内部状態値学習装置２０が学習対象の入力
パターン群をネットワーク構造部１１に提示するととも
に、この提示に従って出力されるネットワーク構造部１
１からの出力パターン群と、この出力パターン群のとる
べきパターンを示す教師パターン群との間の誤差値を算
出し、この誤差値に基づいて内部状態値格納手段１２の
内部状態値を順次更新していくことで、所望のデータ変
換処理を実現するネットワーク構造部１１の内部状態値
を学習して内部状態値格納手段１２に格納するよう処理
する。

このようにして、所望のデータ変換処理を実現するネッ
トワーク構造部１１の内部状態値が内部状態値格納手段
１２に格納されると、内部状態値読取手段３２は、ネッ
トワーク構造情報管理手段３１の管理情報を参照しつつ
順次１つのニューロンを選択して、その選択したニュー
ロンの入力側の内部結合に割り付けられる全内部状態値
を内部状態値格納手段１２から読み出すとともに、出力
側の内部結合に割り付けられる全内部状態値を内部状態
値格納手段１２から読み出すよう処理する。

そして、第１の余剰ニューロン特定手段３３は、この読
み出された入力側の内部結合の内部状態値のゼロ値から
の距離がゼロ値に近い値を持つときには、そのニューロ
ンは入力に応答しない非活性な余剰ニューロンであると
決定するとともに、この読み出された出力側の内部結合
の内部状態値のゼロ値からの距離がゼロ値に近い値を持
つときには、そのニューロンは出力を出さない非活性な
余剰ニューロンであると決定し、余剰ニューロン出力手
段３９は、その決定された余剰ニューロンの識別子を出
力する。

また、所望のデータ変換処理を実現するネットワーク構
造部１１の内部状態値が内部状態値格納手段１２に格納
されると、ニューロン群特定手段３４は、ネットワーク
構造情報管理手段３１の管理情報を参照することでネッ
トワーク構造部１１のニューロンの内の入出刃先が同じ
形態をとるニューロン群を特定する。続いて、内部状態
値読取手段３２は、この特定されたニューロン群の各ニ
ューロンの入出力の内部結合に割り付けられる全内部状
態値を内部状態値格納手段１２から読み出す。そして、
同一機能ニューロン特定手段３５は、この読み出された
内部状態値に従い、入出刃先が同じ形態をとるニューロ
ン群の内の入出力に割り付けられる各内部状態値が概略
同一の値をとるニューロン群を特定し、第２の余剰ニュ
ーロン特定手段３６は、この概略同一の値をとるニュー
ロン群は本来１つのニューロンにより代用できるもので
あって１つ以外のニューロンは非活性な余剰ニューロン
となるものであると決定し、余剰ニューロン出力手段３
９は、その決定された余剰ニューロンの識別子を出力す
る。

また、所望のデータ変換処理を実現するネットワーク構
造部１１の内部状態値が内部状態値格納手段１２に格納
されると、出力範囲特定手段３７は、ネットワーク構造
情報管理手段３１の管理情報を参照しつつ順次１つのニ
ューロンを選択し、学習対象の入力パターン群の提示に
対して出力されるネットワーク構造部１１のネットワー
ク出力データを参照することで、その選択したニューロ
ンが学習対象の入力パターン群の提示に対して出力する
出力値の最大値と最小値とを特定する。そして、第３の
余剰ニューロン特定手段３８は、この特定された最大値
と最小値との差分値がゼロ値に近い値を持つときには、
そのニューロンは有効な動作を行っていない非活性な余
剰ニューロンであると決定し、余剰ニューロン出力手段
３９は、その決定された余剰ニューロンの識別子を出力
する。

このように、本発明によれば、ネットワーク構成データ
処理装置１０のネットワーク構造部ｌｌ中の活性化して
いない余剰的なニューロンがとれなのかを特定できるよ
うになるのである。

〔実施例〕

以下、階層ネットワーク構成データ処理装置に適用した
実施例に従って本発明の詳細な説明する。

第２図に、本発明の一実施例を図示する。図中、第１図
、第１２図及び第１３図で説明したちのき同じものにつ
いては同一の記号で示しである。１０ａは階層ネットワ
ーク構成に従って適応的なデータ処理を実行する階層ネ
ットワーク構成データ処理装置、ｌｌａは第１３図で説
明したような構造をもつ階層ネットワーク構造部、１２
ａは第１図の内部状態値格納手段１２に相当する重み値
格納手段、２０．ａはバック・プロパゲーション法に従
って階層ネットワーク構造部１１ａの重み値の学習を実
行する重み値学習装置、３０ａは第１図の余剰ニューロ
ン決定装置３０に相当する余剰ユニット決定装置である
。

重み値学習装置２０ａは、学習信号格納手段２１と学習
信号提示手段２２と学習収束判定手段２３と重み値学習
手段２４とを備える。この学習信号格納手段２１は、重
み値の学習のために用いられる学習信号を格納し、学習
信号提示手段２２は、学習信号格納手段２１から学習信
号を読み出して、その内の学習提示信号を階層ネットワ
ーク構造部１１ａに提示するとともに、対をなすもう一
方の学習教師信号を学習収束判定手段２３及び重み値学
習手段２４に提示するよう処理し、学習収束判定手段２
３は、階層ネットワーク構造部１１ａから出力される出
力信号と学習信号提示手段２２からの学習教師信号とを
受けて、階層ネットワーク構造部１１ａのデータ処理機
能の誤差が許容範囲に入ったか否かを判定してその判定
結果を学習信号提示手段２２に通知するよう処理し、重
み値学習手段２４は、学習信号提示手段２２からの学習
教師信号と階層ネットワーク構造部１１ａのネットワー
ク出力データとを受けて、バック・プロパゲーション法
に従って重み値の更新量を算出し、該更新量に従って重
み値を更新していくことで重み値を収束させるべく学習
するよう処理する。

そして、本発明に特徴的な余剰ユニット決定袋Ｍ　３０
　ａは、重み値学習装置２０ａにより重み値の学習が完
了すると、プログラム手段で構成されて、階層ネットワ
ーク構造部１１ａ中の非活性な基本ユニット１を特定す
べく処理する第１の余剰ユニット特定手段３０１、第２
の余剰ユニット特定手段３０２、第３の余剰ユニット特
定手段３０３及び第４の余剰ユニット特定手段３０４を
備えるとともに、これらの余剰ユニット特定手段３０１
．３０２，３０３．３０４が必要とする判断値Ｔ及び距
離関数ｆ（α、）を管理する判断データ格納手段３０５
と、これらの余剰ユニット特定手段３０１．３０２，３
０３，３０４の処理結果を外部機器に出力する結果出力
手段３０６とを備えるよう構成される。第３図に、第１
の余剰ユニット特定手段３０１が実行するフローチャー
ト、第４図に、第２の余剰ユニット特定手段３０２が実
行するフローチャート、第５図に、第３の余剰ユニ７ト
特定手段３０３が実行するフローチャート、第６図に、
第４の余剰ユニット特定手段３０４が実行するフローチ
ャートを図示する。

次に、この第３図ないし第６図に示すフローチャートに
従って、重み値学習装置２０ａにより重み値の学習が完
了することを条件にし°て実行されることになる余剰な
基本ユニット１の特定処理について詳細に説明する。

第１の余剰ユニット特定手段３０１は、第３図のフロー
チャートに示すように、ステップ３０で活性か非活性か
の決定をしていない基本ユニット１を１つ選択し、次に
、ステップ３１で、その基本ユニットｌから出力される
すべての内部結合に割り付けられる重み値の学習値α＋
（１≦ｉ≦ｎ）を重み値格納手段１２ａから読み取る。

続いて、ステップ３２で、その基本ユニント１に割り付
けられている判断値γと距離関数ｒ（α、）（基本ユニ
ッ）１毎や階層構造の段数を単位にして設定することが
可能である）とを判断データ格納手段３０５から読み出
す、続いて、ステップ３３で、ステップ３１で読み取っ
た重み値（ｎ次元空間をなす）をこの読み出した距離関
数ｆ（α、）に代入することで、読み取った重み値の原
点からの距離Ｋを算出する。ここで、距離関数ｒ（α、
）は様々に定義することが可能であって、例えば、ｆ（
αＩ）＝（Σα、Ｊ　ｌ／！ や ｆ　（α＋）＝ＭＡＸ　ｌ　ａ、　ｌ　　但し、ｌ≦ｉ
≦ｎや ｒ（α、）＝Σ　　α、 の関数式に従って算出されることになる。

このようにして、選択された基本ユニット１の出力側の
内部結合に割り付けられる重み値のｎ次元重み空間にお
ける原点からの距ＭＫが求まると、続くステップ３４で
、この距離Ｋがステップ３２で読み出した判断値γより
も小さいか否かを判断する。そして、判断値Ｔよりも小
さいと判断するときには、ステップ３５に進んで選択し
た基本ユニット１が余剰ユニットであると決定するとと
もに、判断値Ｔよりも大きいと判断するときには、ステ
ップ３６に進んで選択した基本ユニットｌが余剰ユニッ
トではないと決定し、次のステップ３７で、その決定結
果を結果出力手段３０６に通知する。そして、ステップ
３８で、すべての基本ユニット１に対して活性か非活性
かの決定をしていないことを検出するときには、ステッ
プ３０に戻るよう処理することで、階層ネットワーク構
造部１１ａのすべての基本ユニソ）ｌに対して活性か非
活性かの決定を実行する。

このように、第１の余剰ユニ・ント特定手段３０１は、
基本ユニットｌの出力側の内部結合の全内部状態値の学
習値がゼロ値に近い値を持つときには、その基本ユニッ
トｌは出力を出さない非活性な余剰ユニットであると決
定していくよう処理するものである。

これに対して、第２の余剰ユニット特定手段３０２は、
第４図のフローチャートを実行することで、基本ユニッ
ト１の入力端の内部結合の全内部状態値の学習値がゼロ
値に近い値を持つときには、その基本ユニットｌは入力
を受け付けない非活性な余剰ユニットであると決定して
いくよう処理するものである。第４図のフローチャート
と第３図のフローチャートとの違いは、第３図のフロー
チャートのステップ３１では、選択された基本ユニット
ｌから“出力“されるすべての内部結合に割り付けられ
る重み値の学習値α１を読み取るのに対して、第４図の
フローチャートのステップ４１では、選択された基本ユ
ニット１に“入力°゛されるすべての内部結合に割り付
けられる重み値の学習値α、を読み取る点にあるだけで
ある。なお、基本ユニッ）１の閾値の学習値は、この読
み取る重み値の学習値に含めることを要しない。

第３の余剰ユニット特定手段３０３は、第５図のフロー
チャートに示すように、ステップ５０で第２段目の中間
層の基本ユニット１のグループといったように、同じ重
み空間を持つ基本ユニットｌのグループ（同一の基本ユ
ニット１群との間に内部結合するグループ）の中の１つ
のグループを選択する。次に、ステップ５１で、そのグ
ループに割り付けられている判断値Ｔと距離関数ｆ（α
、。

α°、）（グループ毎に設定することが可能である）と
を判断データ格納手段３０５から読み出す。続いて、ス
テップ５２で、選択したグループの基本ユニット１の中
から１つの基本ユニットｌを基準ユニットとして選択し
、続くステップ５３で、その選択した基準ユニットを活
性化された余剰でないユニットと決定する。

次に、ステップ５４で、未決定未選択の基本ユニット１
の中から基本ユニット１を１つ選択し、続くステップ５
５で、重み値格納手段１２ａから読み取られる基準ユニ
ットの重み値αｉ（ｎ次元空間をなす）とこの選択され
た基本ユニットｌの重み値α°、（ｎ次元空間をなす）
とを読み出した距離関数ｆ（α４．α°、）に代入する
ことで、基準ユニットとステップ５４で選択された基本
ユニット１との間の距ＲＫを算出する。ここで、閾値に
ついては重み値に含めることが好ましいが、寄与度が小
さいことから含めないようにするものであってもよい。

また、距離関数ｆ（α正、α“ｉ）は様々に定義するこ
とが可能であって、例えば、ｆ（α８．α　、）＝［Σ
（α、−α　、）ｇ］　Ｉ／！や ｒ　（（ｒｔ、ｌｒ’ｉ）　　＝ＭＡＸ　Ｉ　α１−ｒ
ｘ’、　１但し、１≦ｉ≦ｎ や ｆ（α３．α　、）＝Σ　　α、−α　。

の関数式に従って算出されることになる。

基準ユニットとステップ５４で選択された基本ユニット
１との間の距離Ｋが求まると、続くステップ５６で、こ
の距離Ｋがステップ５１で読み出した判断値γよりも小
さいか否かを判断する。そして、判断値Ｔよりも小さい
と判断するときには、ステップ５７に進んで、選択した
基本ユニット１が基準ユニットと同一の機能（基準ユニ
・・・トの重み値を増加すれば省略できる機能である）
を果たすものに過ぎないことから非活性化な余剰のユニ
ットであると決定し、一方、判断値Ｔよりも大きいと判
断するときには、何も決定せずに未決定のままにしてお
く。そして、続くステップ５８で、未決定の基本ユニッ
ト１のすべてを選択したか否かを判断して、選択されて
いないものがあるときにはステップ５４に戻るよう処理
する。

ステップ５日の判断ですべて選択したと判断するときに
は、続くステップ５９で、ステップ５０で選択したグル
ープの基本ユニットｌの内に未決定の基本ユニ７）１が
残されているか否かを判断して、残されているときには
、ステップ５２に戻って、その残されているものの中か
ら基準ユニットを選択して、その残されているものの中
でその選ｉＲされた基準ユニットと同一の機能を果たす
余剰の基本ユニットｌがあるか否かを調べていくよう処
理する。そして、ステップ５９の判断で未決定の基本ユ
ニット１が残されていないことを判断するときには、ス
テップ６０に進んで　同し重み空間を持つ基本ユニット
１のグループのすベテヲ処理したのかを判断して、処理
していないことを検出するときには、ステップ５０に戻
るよう処理することで、階層ネットワーク構造部１１ａ
のすべての基本ユニットｌに対して活性か非活性かの決
定を実行して、ステップ６１でその決定結果を結果出力
手段３０６に通知する。

このように、第３の余剰ユニット特定手段３０３は、階
層ネットワーク構造部１１ａの基本ユニット１に対して
同一の機能を果たすもの同士をグルーピングして、その
グルーピングした基本ユニットｌの内の１つのみを余剰
ユニットでないものとして決定するとともに、残りの基
本ユニット１を余剰ユニットであると決定していくよう
処理するものである。この第３の余剰ユニット特定手段
３０３により余剰であると判断される基本ユニット１に
ついては、代表して選んだ余剰でない基本ユニン）１の
重み値をその分大きく設定することで省略することが可
能となる。

第４の余剰ユニット特定手段３０４は、第６図のフロー
チャートに示すように、ステップ７０で活性か非活性か
の決定をしていない基本ユニット１を１つ選択し、次に
、ステップ７１で、その基本ユニ７）１に割り付けられ
ている判断値Ｔ（基本ユニットｌ毎や階層構造の段数を
単位にして設定することが可能である）を判断データ格
納手段３０５から読み出す。続いて、ステップ７２で、
学習信号提示手段２２に対して階層ネットワーク構造部
１１ａへの学習提示信号の提示を指示するとともに、こ
の指示に応答して出力される選択した基本ユニット１か
らの出力値の最大値と最小値とを求めるよう処理する。

そして、続くステップ７３で、この求めた最大値と最小
値の差分値がステ、７プ７１で読み取った判断値Ｔより
小さいか否かを判断して、判断値γより小さいと判断す
るときには、ステップ７４に進んで選択した基本ユニッ
トｌが余剰ユニットであると決定するとともに、判断（
！ｒよりも大きいと判断するときには、ステップ７５に
進んで選択した基本ユニット１が余剰ユニットではない
と決定し、次のステップ７６で、その決定結果を結果出
力手段３０６に通知する。

そして、ステップ１′７で、すべての基本ユニット１に
対して活性か非活性かの決定をしていないことを検出す
るときには、ステップ７０に戻るよう処理することで、
階層ネットワーク構造部１１ａのすべての基本ユニット
１に対して活性か非活性かの決定を実行する。

このように、第４の余剰ユニット特定手段３０４は、階
層ネットワーク構造部１１ａに入力される入力パターン
に対して殆ど出力値を変化させない基本ユニット１はデ
ータ処理に寄与していない非活性な余剰のユニットであ
ると決定していくよう処理するものである。

次に、シミュレーションに従って、余剰ユニットの特定
処理について具体的に説明する。このシミュレーション
は、階層ネットワーク構造部１１ａが、第７図に示すよ
うに、２ユニツトの入力層・９ユニツトの１段構成の中
間層・１ユニツトの出力層という階層ネットワーク構造
を持ち、重み値学習装置２０ａが、第８図に示す２０個
の学習信号を使用し、学習定数εを５．０．モーメンタ
ムζを０．４に設定し、重み値と闇値を−０，５から０
．５までの乱数で初期化し、学習信号を５４９０回提示
（このとき、学習教師信号と出力信号との差は０．０２
５以下になる）することで行った。

第９図（ａ）に、このシミュレーションにより得られた
重み値の学習値、第９図（ｂ）に、このシミュレーショ
ンにより得られた闇値の学習値を図示する。ここで、第
９図（ａ）中、“０．５４８７５０°。

ハｒ　ｉ　Ｏユニット」と「ｈＯユニット」との間の内
部結合に割り付けられる重み値を示しており、また、第
９図（ｂ）中、”　０　、０４９６５８　”はｒｉＯユ
ニットＪの闇値を示している。

このような重み値が得られると、第１の余剰ユニント特
定手段３０１は、中間層の「ｉ４ユニット」の出力側の
内部結合に割り付けられる重み値が“−０，０１４５１
３°°とゼロ（直に近いことから、この基本ユニ・ント
ｌを余剰ユニットと特定することになる。そして、他の
中間層の基本ユニット１の出力側の内部結合に割り付け
られる重み値は比較的大きいことから、余剰でない活性
化したユニットであると特定することになる。

第１Ｏ図に１、この第９図（ａ）の中間層の基本ユニッ
トｌの入力側の内部結合に割り付けられる重み値（２次
元の重み空間をなす）をプロ・ントしたものを図示する
。

このような重み空間が得られると、第２の余剰ユニット
特定手段３０２は、中間層のｒｉ４ユニット」とｒｉ８
ユニット」の入力側の内部結合に割り付けられる重み値
の原点からの距離が小さいことから、これらの基本ユニ
ット１を余剰ユニットと特定することになる。そして、
他の中間層の基本ユニット１の入力側の内部結合に割り
付けられる重み値の原点からの距離は比較的大きいこと
から、余剰でない活性化したユニットであると特定する
ことになる。

また、第３の余剰ユニント特定手段３０３は、この第１
０図からも分かるように、闇値を考慮しない場合におい
て、中間層のｒｉ２ユニット」とｒｉ６ユニソト」とが
概略同一の機能を果たし、ｒｉ４ユニット」とｒｉ３ユ
ニット」とが概略同一の機能を果たすことから、ｒｉ５
ユニット」と「１８ユニツトＪとを余剰ユニットと特定
することになる。

第１１図に、学習された重み値及び闇値を設定したとき
に、２０個の各学習信号に対して出力する中間層の各基
本ユニノ）ｌの出力値を図示する。

この第１１図からも分かるように、中間層の「１２ユニ
ツト」と「ｉ４ユニットＪとｒｉ６ユニツト」とｒ７Ｂ
ユニント」とが出力値を変化させないことから、第４の
余剰ユニット特定手段３０４はこれらの基本ユニットｌ
を余剰ユニットと特定することになる。

以上図示実施例について説明したが、本発明はこれに限
定されるものでない０例えば、本発明は階層ネットワー
ク構成データ処理装置に限られることなく、他のネット
ワーク構成データ処理装置に対してもそのまま適用でき
るのである。また、本発明の適用を受けるニューロンは
、実施例で説明したような閾値変換処理を行う基本ユニ
ットに限られるものではなく、他の関数変換処理を行う
ものであってもよいのである。

〔発明の効果〕

以上説明したように、本発明によれば、ネットワーク構
成データ処理装置において、ネットワーク構造中の活性
化していない余剰的なニューロンがどれなのかを特定で
きるようになることから、ネットワーク構造のハードウ
ェア量を不要に大きく用意しておく必要がなくなる。こ
れから、ネットワーク構成データ処理装置の演算処理速
度を速められるようになるとともに、ハードウェア量を
削減できるようになるのである。

【図面の簡単な説明】

第１図は本発明の原理構成図、 第２図は本発明の一実施例、 第３図は第１の余剰ユニット特定手段の実行するフロー
チャート、 第４図は第２の余剰ユニット特定手段の実行するフロー
チャート、 第５図は第３の余剰ユニット特定手段の実行するフロー
チャート、 第６図は第４の余剰ユニット特定手段の実行するフロー
チャート、 第７図はシミュレーションに用いた階層ネットワーク構
造部の説明図、 第８図はシミュレーションに用いた学習信号の説明図、 第９図、第１０図及び第１１図はシミュレーション結果
の説明図、 第１２図は基本ユニットの基本構成図、第１３図は階層
ネットワーク部ｄ杢１ｉｍｆｉｌＱである。 図中、１は基本ユニット、１０はネットワーク構成デー
タ処理装置、ｌｏａは階層ネットワーク構成データ処理
装置、１１はネットワーク構造部、１１ａは階層ネット
ワーク構造部、１２は内部状態値格納手段、１２ａは重
み値格納手段、２０は内部状態値学習装置、２０ａは重
み値学習装置、３０は余剰ニューロン決定装置、３０ａ
は余剰ユニット決定装置である。

Claims (3)

【特許請求の範囲】
1. （１）１つ又は複数の入力と該入力に対して乗算される
   べき内部状態値とを受け取って積和値を得るとともに、
   該積和値を所定の関数によって変換して出力値を得るニ
   ューロンの内部結合により構成されるネットワーク構造
   部（１１）を備え、該ネットワーク構造部（１１）に従
   って入力パターンに対応する出力パターンを算出して出
   力するネットワーク構成データ処理装置（１０）と、 学習対象の入力パターン群を上記ネットワーク構造部（
   １１）に提示するとともに、該提示に従って出力される
   上記ネットワーク構造部（１１）からの出力パターン群
   と、該出力パターン群のとるべきパターンを示す教師パ
   ターン群との間の誤差値を算出し、該誤差値に基づいて
   内部状態値を順次更新していくことで該誤差値が許容範
   囲となる内部状態値を学習する内部状態値学習装置（２
   ０）とを備えるネットワーク構成データ処理システムに
   おいて、入力に割り付けられる内部状態値の学習値のゼ
   ロ値からの距離と、出力に割り付けられる内部状態値の
   学習値のゼロ値からの距離のいずれか一方の距離がゼロ
   値に近い値を持つ上記ニューロンを特定するとともに、
   該特定されたニューロンを余剰ニューロンとして決定す
   る余剰ニューロン特定手段（３３）を備えることを、 特徴とする余剰ニューロン決定処理方式。
2. （２）１つ又は複数の入力と該入力に対して乗算される
   べき内部状態値とを受け取って積和値を得るとともに、
   該積和値を所定の関数によって変換して出力値を得るニ
   ューロンの内部結合により構成されるネットワーク構造
   部（１１）を備え、該ネットワーク構造部（１１）に従
   って入力パターンに対応する出力パターンを算出して出
   力するネットワーク構成データ処理装置（１０）と、 学習対象の入力パターン群を上記ネットワーク構造部（
   １１）に提示するとともに、該提示に従って出力される
   上記ネットワーク構造部（１１）からの出力パターン群
   と、該出力パターン群のとるべきパターンを示す教師パ
   ターン群との間の誤差値を算出し、該誤差値に基づいて
   内部状態値を順次更新していくことで該誤差値が許容範
   囲となる内部状態値を学習する内部状態値学習装置（２
   ０）とを備えるネットワーク構成データ処理システムに
   おいて、上記ニューロンの内の入出刃先が同じ形態をと
   るニューロン群を特定するニューロン群特定手段（３４
   ）と、 該ニューロン群特定手段（３４）により特定されたニュ
   ーロン群の内、入出力に割り付けられる対応の内部状態
   値の学習値が概略同一値をとるニューロン群を特定する
   同一機能ニューロン特定手段（３５）と、 該同一機能ニューロン特定手段（３５）により特定され
   るニューロン群の内の１つ以外のニューロンを余剰ニュ
   ーロンとして決定する余剰ニューロン特定手段（３６）
   とを備えることを、 特徴とする余剰ニューロン決定処理方式。
3. （３）１つ又は複数の入力と該入力に対して乗算される
   べき内部状態値とを受け取って積和値を得るとともに、
   該積和値を所定の関数によって変換して出力値を得るニ
   ューロンの内部結合により構成されるネットワーク構造
   部（１１）を備え、該ネットワーク構造部（１１）に従
   って入力パターンに対応する出力パターンを算出して出
   力するネットワーク構成データ処理装置（１０）と、 学習対象の入力パターン群を上記ネットワーク構造部（
   １１）に提示するとともに、該提示に従って出力される
   上記ネットワーク構造部（１１）からの出力パターン群
   と、該出力パターン群のとるべきパターンを示す教師パ
   ターン群との間の誤差値を算出し、該誤差値に基づいて
   内部状態値を順次更新していくことで該誤差値が許容範
   囲となる内部状態値を学習する内部状態値学習装置（２
   ０）とを備えるネットワーク構成データ処理システムに
   おいて、学習された内部状態値に従い、学習対象の入力
   パターン群の提示に対して各ニューロンが出力する出力
   値の最大値と最小値とを特定する出力範囲特定手段（３
   ７）と、 該出力範囲特定手段（３７）により特定された最大値と
   最小値との差分値がゼロ値に近い値を持つ上記ニューロ
   ンを特定するとともに、該特定されたニューロンを余剰
   ニューロンとして決定する余剰ニューロン特定手段（３
   ６）を備えることを、特徴とする余剰ニューロン決定処
   理方式。