JP2877413B2

JP2877413B2 - 余剰ニューロン決定処理方式

Info

Publication number: JP2877413B2
Application number: JP2026277A
Authority: JP
Inventors: 竜介益岡; 信雄渡部; 旭川村; 有理大和田; 和雄浅川
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1990-02-06
Filing date: 1990-02-06
Publication date: 1999-03-31
Anticipated expiration: 2014-03-31
Also published as: JPH03230285A

Description

【発明の詳細な説明】〔産業上の利用分野〕本発明はニューロンの内部結合により構成されるネッ
トワーク構造に従ってデータ処理を実行するネットワー
ク構成データ処理装置においての、非活性な余剰ニュー
ロンを決定するための余剰ニューロン決定処理方式に関
するものである。

従来の逐次処理コンピュータ（ノイマン型コンピュー
タ）では、使用方法や環境の変化に応じてデータ処理機
能を調節することができないので、所定の演算処理を実
行するニューロンの内部結合により構成されるネットワ
ーク構造のデータ変換機能を用いる並列分散処理方式の
適応的なデータ処理装置が提案されてきている。このネ
ットワーク構成のデータ処理装置では、明示的なプログ
ラムを作成することなく、学習用に用意された入力信号
（入力パターン）の提示に対して出力されるネットワー
ク構造からの出力信号（出力パターン）が、教師信号
（教師パターン）と一致するべく所定の学習アルゴリズ
ムに従ってネットワーク構造の内部結合の重み値を決定
していく。そして、この学習処理により重み値が決定さ
れると、想定していなかった入力信号が入力されること
になっても、このネットワーク構造からそれらしい出力
信号を出力するという“柔らかい”データ処理機能が実
現されることになる。

このような構造のネットワーク構成データ処理装置に
おいて、ネットワーク構造の演算処理速度を速めたり、
ネットワーク構造のハードウェア量を削減していくため
にも、ネットワーク構造中の活性化していない余剰的な
ニューロンがどれなのかを特定できるための手段を用意
していく必要があるのである。

〔従来の技術〕

階層ネットワーク構成をとるネットワーク構成データ
処理装置に従って従来技術を説明する。

階層ネットワーク構成をとるデータ処理装置では、基
本ユニット（ニューロンの一態様をなす）と呼ぶ一種の
ノードと、内部状態値に相当する重み値を持つ内部結合
とから階層ネットワークを構成している。第12図に、基
本ユニット１の基本構成を示す。この基本ユニット１
は、多入力一出力系となっており、複数の入力に対し夫
々の内部結合の重み値を乗算する乗算処理部２と、それ
らの全乗算結果を加算する累算処理部３と、この累算値
に非線型の閾値処理を施して一つの最終出力を出力する
閾値処理部４とを備える。

ｈ層を前段層としｉ層を後段層とすると、この累算処
理部３では下記の（１）式の演算を実行し、閾値処理部
４では下記の（２）式の演算を実行する。

但し、 h :h層のユニット番号 i :i層のユニット番号 p :入力信号のパターン番号 θ_i:i層のｉ番ユニットの閾値 W_ih:h−ｉ層間の内部結合の重み値 x_pi:h層の各ユニットからｉ層のｉ番ユニットへの入力
の積和 y_ph:p番目パターンの入力信号に対するｈ層のｈ番ユニ
ットからの出力 y_pi:p番目パターンの入力信号に対するｉ層のｉ番ユニ
ットからの出力そして、階層ネットワーク構成データ処理装置では、
このような構成の多数の基本ユニット１が、入力信号値
をそのまま分配して出力する入力ユニット１′を入力層
として、第13図に示すように階層的に接続されることで
階層ネットワーク部を構成して、入力パターンを対応す
る出力パターンに変換するという並列的なデータ処理機
能を発揮することになる。

ネットワーク構成のデータ処理装置では、データ変換
機能を規定するところのネットワーク構造の重み値を学
習処理により求めていく必要がある。階層ネットワーク
構成データ処理装置の重み値の学習処理方式として、特
に、バック・プロパゲーション法と呼ばれる学習処理方
式がその実用性の高さから注目されている。

バック・プロパゲーション法では、階層ネットワーク
の重み値W_ihと閾値θ_ｉとを誤差のフィードバックによ
り適応的に自動調節して学習することになる。（１）
（２）式から明らかなように、重み値W_ihと閾値θ_ｉと
の調節は同時に実行される必要があるが、この作業は、
相互に干渉する難しい作業となる。そこで、本出願人
は、先に出願の「特願昭62−333484号（昭和62年12月28
日出願、“ネットワーク構成データ処理装置”）」で開
示したように、入力側のｈ層に常に“1"を出力するとと
もにその出力に対して閾値θ_ｉを重み値として割り付け
るユニットを設けることで、閾値θ_ｉを重み値W_ihの中
に組み込んで閾値θ_ｉを重み値として扱うようにするこ
とを提案した。このようにすることで、上述の（１）
（２）式は、で表されることになる。

次に、この（３）（４）式の記述形式のものに従っ
て、バック・プロパゲージョン法による重み値の学習処
理方式について説明する。ここで、この説明は、階層ネ
ットワーク部が、第13図に示すｈ層−ｉ層−ｊ層という
３層構造の階層ネットワークをもつもので行う。

（３）（４）式からの類推によって次の（５）（６）
式が得られる。すなわち、但し、 j :j層のユニット番号 W_ji:i−ｊ層間の内部結合の重み値 x_pj:i層の各ユニットからｊ層のｊ番ユニットへの入力
の積和 y_pj:p番目パターンの入力信号に対するｊ層のｊ番ユニ
ットからの出力バック・プロパゲージョン法では、学習用の入力パタ
ーンが提示されたときに出力される出力層からの出力パ
ターンy_pjと、その出力パターンy_piのとるべき信号であ
る教師パターンd_pj（ｐ番目パターンの入力信号に対す
るｊ層ｊ番目ユニットへの教師信号）とが定まると、先
ず最初に、出力パターンy_pjと教師パターンd_pjとの差分
値〔d_pj−y_pj〕を算出し、次に、 α_pj＝y_pj（１−y_pj）（d_pj−y_pj）を算出して、続いて、但し、ε：学習定数 ζ：モーメンタム t:学習回数に従って、ｉ層−ｊ層間の重み値の更新量ΔW_ij（ｔ）
を算出する。ここで、「ζΔW_ji（ｔ−１）」という前
回の更新サイクル時に決定された重み値の更新量に係る
ものを加算するのは学習の高速化を図るためである。

続いて、算出したα_pjを用いて、先ず最初に、を算出し、次に、に従って、ｈ層−ｉ層間の重み値の更新量ΔW_ih（ｔ）
を算出する。

続いて、この算出した更新量に従って次の更新サイク
ルのための重み値 W_ji（ｔ）＝W_ji（ｔ−１）＋ΔW_ji（ｔ） W_ih（ｔ）＝W_ih（ｔ−１）＋ΔW_ih（ｔ）を決定していく方法を繰り返していくことで、学習用の
入力パターンを提示したときに出力される出力層からの
出力パターンy_pjと、その出力パターンy_pjのとるべき信
号である教師パターンd_pjとが一致することになる重み
値W_ji,W_ih（閾値θ_i,θ_ｊも含まれる）を学習するよう
処理する。

そして、階層ネットワーク部がｇ層−ｈ層−ｉ層−ｊ
層という４層構造の階層ネットワークをもつときには、
先ず最初に、を算出し、次に、に従ってｇ層−ｈ層間の重み値の更新量ΔW_hg（ｔ）を
算出するというように、前段側の層間の重み値の更新量
ΔＷを、出力側の後段から求まる値とネットワーク出力
データとを使いながら決定していくことで、すべての重
み値と閾値を学習するよう処理している。

〔発明が解決しようとする課題〕

しかしながら、従来では、内部結合の重み値が学習さ
れると、その重み値を用いてそのままデータ処理に入る
よう処理していた。また、重み値の学習処理を大型計算
機で行ってその求められた重み値をネットワーク構造の
実ハードウェアに移植する方法をとる場合にあっては、
学習により求められた重み値をそのまま移植してデータ
処理に入るよう処理していた。

これから、従来技術では、データ処理に対して有効な
働きをしていないニューロンが存在していてもそのこと
を全く考慮することなくデータ処理を実行することにな
る。このような余剰なニューロンの存在は、ハードウェ
ア量を大きくするばかりか、演算速度の増加をもたらし
てしまい何の利点ももたらさない。

本発明はかかる事情に鑑みてなされたものであって、
ネットワーク構成データ処理装置のネットワーク構造中
の活性化していない余剰的なニューロンがどれなのかを
特定できる手段を提供することで、ネットワーク構成デ
ータ処理装置の演算処理速度の高速化とハードウェア量
の削減を実現できる途を与えることを目的とするもので
ある。

〔課題を解決するための手段〕

第１図は本発明の原理構成図である。

図中、10はネットワーク構成データ処理装置であっ
て、ネットワーク構成に従って適応的なデータ処理を実
行するもの、11はネットワーク構成データ処理装置10の
備えるネットワーク構造部であって、１つ又は複数の入
力と該入力に対して乗算されるべき内部状態値とを受け
取って積和値を得るとともに、この積和値を所定の関数
によって変換して出力値を得るニューロンの内部結合に
より構成されて、入力パターンに対応する出力パターン
を算出して出力するもの、12はネットワーク構成データ
処理装置10の備える内部状態値格納手段であって、ネッ
トワーク構造部11がデータ変換処理の実行時に必要とす
る内部状態値を管理するもの、20は内部状態値学習装置
であって、内部状態値格納手段12に格納される内部状態
値を学習処理により求めるものである。

30は余剰ニューロン決定装置であって、ネットワーク
構造情報管理手段31と、内部状態値読取手段32と、第１
の余剰ニューロン特定手段33と、ニューロン群特定手段
34と、同一機能ニューロン特定手段35と、第２の余剰ニ
ューロン特定手段36と、出力範囲特定手段37と、第３の
余剰ニューロン特定手段38と、余剰ニューロン出力手段
39とを備えるものである。

このネットワーク構造情報管理手段31は、ネットワー
ク構造部11のネットワーク構造情報を管理し、内部状態
値読取手段32は、内部状態値格納手段12に格納される内
部状態値を読み取るよう処理し、第１の余剰ニューロン
特定手段33は、入力に割り付けられる内部状態値の学習
値のゼロ値からの距離と、出力に割り付けられる内部状
態値の学習値のゼロ値からの距離のいずれか一方の距離
がゼロ値に近い値を持つニューロンを特定するととも
に、この特定されたニューロンを余剰ニューロンとして
決定するよう処理し、ニューロン群特定手段34は、ネッ
トワーク構造情報管理手段31を検索することでネットワ
ーク構造部11のニューロンの内の入出力先が同じ形態を
とるニューロン群を特定するよう処理し、同一機能ニュ
ーロン特定手段35は、ニューロン群特定手段34により特
定されたニューロン群の内、入出力に割り付けられる対
応の内部状態値の学習値が概略同一値をとるニューロン
群を特定するよう処理し、第２の余剰ニューロン特定手
段36は、同一機能ニューロン特定手段35により特定され
るニューロン群の内の１つ以外のニューロンを余剰ニュ
ーロンとして決定するよう処理し、出力範囲特定手段37
は、学習対象の入力パターン群の提示に対して各ニュー
ロンが出力する出力値の最大値と最小値とを特定するよ
う処理し、第３の余剰ニューロン特定手段38は、出力範
囲特定手段37により特定された最大値と最小値との差分
値がゼロ値に近い値を持つニューロンを特定するととも
に、この特定されたニューロンを余剰ニューロンとして
決定するよう処理し、余剰ニューロン出力手段39は、第
１、第２、第３の余剰ニューロン特定手段33,36,38が決
定した余剰ニューロンの識別子を出力するよう処理す
る。

〔作用〕

本発明では、内部状態値学習装置20が学習対象の入力
パターン群をネットワーク構造部11に提示するととも
に、この提示に従って出力されるネットワーク構造部11
からの出力パターン群と、この出力パターン群のとるべ
きパターンを示す教師パターン群との間の誤差値を算出
し、この誤差値に基づいて内部状態値格納手段12の内部
状態値を順次更新していくことで、所望のデータ変換処
理を実験するネットワーク構造部11の内部状態値を学習
して内部状態値格納手段12に格納するよう処理する。

このようにして、所望のデータ変換処理を実現するネ
ットワーク構造部11の内部状態値が内部状態値格納手段
12に格納されると、内部状態値読取手段32は、ネットワ
ーク構造情報管理手段31の管理情報を参照しつつ順次１
つのニューロンを選択して、その選択したニューロンの
入力側の内部結合に割り付けられる全内部状態値を内部
状態値格納手段12から読み出すとともに、出力側の内部
結合に割り付けられる全内部状態値を内部状態値格納手
段12から読み出すよう処理する。そして、第１の余剰ニ
ューロン特定手段33は、この読み出された入力側の内部
結合の内部状態値のゼロ値からの距離がゼロ値に近い値
を持つときには、そのニューロンは入力に応答しない非
活性な余剰ニューロンであると決定するとともに、この
読み出された出力側の内部結合の内部状態値のゼロ値か
らの距離がゼロ値に近い値を持つときには、そのニュー
ロンは出力を出さない非活性な余剰ニューロンであると
決定し、余剰ニューロン出力手段39は、その決定された
余剰ニューロンの識別子を出力する。

また、所望のデータ変換処理を実現するネットワーク
構造部11の内部状態値が内部状態値格納手段12に格納さ
れると、ニューロン群特定手段34は、ネットワーク構造
情報管理手段31の管理情報を参照することでネットワー
ク構造部11のニューロンの内の入出力先が同じ形態をと
るニューロン群を特定する。続いて、内部状態値読取手
段32は、この特定されたニューロン群の各ニューロンの
入出力の内部結合に割り付けられる全内部状態値を内部
状態値格納手段12から読み出す。そして、同一機能ニュ
ーロン特定手段35は、この読み出された内部状態値に従
い、入出力先が同じ形態をとるニューロン群の内の入出
力に割り付けられる各内部状態値が概略同一の値をとる
ニューロン群を特定し、第２の余剰ニューロン特定手段
36は、この概略同一の値をとるニューロン群は本来１つ
のニューロンにより代用できるものであって１つ以外の
ニューロンは非活性な余剰ニューロンとなるものである
と決定し、余剰ニューロン出力手段39は、その決定され
た余剰ニューロンの識別子を出力する。

また、所望のデータ変換処理を実現するネットワーク
構造部11の内部状態値が内部状態値格納手段12に格納さ
れると、出力範囲特定手段37は、ネットワーク構造情報
管理手段31の管理情報を参照しつつ順次１つのニューロ
ンを選択し、学習対象の入力パターン群の提示に対して
出力されるネットワーク構造部11のネットワーク出力デ
ータを参照することで、その選択したニューロンが学習
対象の入力パターン群の提示に対して出力する出力値の
最大値と最小値とを特定する。そして、第３の余剰ニュ
ーロン特定手段38は、この特定された最大値と最小値と
の差分値がゼロ値に近い値を持つときには、そのニュー
ロンは有効な動作を行っていない非活性な余剰ニューロ
ンであると決定し、余剰ニューロン出力手段39は、その
決定された余剰ニューロンの識別子を出力する。

このように、本発明によれば、ネットワーク構成デー
タ処理装置10のネットワーク構造部11中の活性化してい
ない余剰的なニューロンがとれなのかを特定できるよう
になるのである。

〔実施例〕

以下、階層ネットワーク構成データ処理装置に適用し
た実施例に従って本発明を詳細に説明する。

第２図に、本発明の一実施例を図示する。図中、第１
図、第12図及び第13図で説明したものと同じものについ
ては同一の記号で示してある。10aは階層ネットワーク
構成に従って適応的なデータ処理を実行する階層ネット
ワーク構成データ処理装置、11aは第13図で説明したよ
うな構造をもつ階層ネットワーク構造部、12aは第１図
の内部状態値格納手段12に相当する重み値格納手段、20
aはバック・プロパゲーション法に従って階層ネットワ
ーク構造部11aの重み値の学習を実行する重み値学習装
置、30aは第１図の余剰ニューロン決定装置30に相当す
る余剰ニューロン決定装置である。

重み値学習装置20aは、学習信号格納手段21と学習信
号提示手段22と学習収束判定手段23と重み値学習手段24
とを備える。この学習信号格納手段21は、重み値の学習
のために用いられる学習信号を格納し、学習信号提示手
段22は、学習信号格納手段21から学習信号を読み出し
て、その内の学習提示信号を階層ネットワーク構造部11
aに提示するとともに、対をなすもう一方の学習教師信
号を学習収束判定手段23及び重み値学習手段24に提示す
るよう処理し、学習収束判定手段23は、階層ネットワー
ク構造部11aから出力される出力信号と学習信号提示手
段22からの学習教師信号とを受けて、階層ネットワーク
構造部11aのデータ処理機能の誤差が許容範囲に入った
か否かを判定してその判定結果を学習信号提示手段22に
通知するように処理し、重み値学習手段24は、学習信号
提示手段22からの学習教師信号と階層ネットワーク構造
部11aのネットワーク出力データとを受けて、バック・
プロパゲーション法に従って重み値の更新量を算出し、
該更新量に従って重み値を更新していくことで重み値を
収束させるべく学習するよう処理する。

そして、本発明に特徴的な余剰ユニット決定装置30a
は、重み値学習装置20aにより重み値の学習が完了する
と、プログラム手段で構成されて、階層ネットワーク構
造部11a中の非活性な基本ユニット１を特定すべく処理
する第１の余剰ユニット特定手段301、第２の余剰ユニ
ット特定手段302、第３の余剰ユニット特定手段303及び
第４の余剰ユニット特定手段304を備えるとともに、こ
れらの余剰ユニット特定手段301,302,303,304が必要と
する判断値γ及び距離関数ｆ（α_ｉ）を管理する判断デ
ータ格納手段305と、これらの余剰ユニット特定手段30
1,302,303,304の処理結果を外部機器に出力する結果出
力手段306とを備えるよう構成される。第３図に、第１
の余剰ユニット特定手段301が実行するフローチャー
ト、第４図に、第２の余剰ユニット特定手段302が実行
するフローチャート、第５図に、第３の余剰ユニット特
定手段303が実行するフローチャート、第６図に、第４
の余剰ユニット特定手段304が実行するフローチャート
を図示する。

次に、この第３図ないし第６図に示すフローチャート
に従って、重み値学習装置20aにより重み値の学習が完
了することを条件にして実行されることになる余剰な基
本ユニット１の特定処理について詳細に説明する。

第１の余剰ユニット特定手段301は、第３図のフロー
チャートに示すように、ステップ30で活性か非活性かの
決定をしていない基本ユニット１を１つ選択し、次に、
ステップ31で、その基本ユニット１から出力されるすべ
ての内部結合に割り付けられる重み値の学習値α_ｉ（１
≦ｉ≦ｎ）を重み値格納手段12aから読み取る。続い
て、ステップ32で、その基本ユニット１に割り付けられ
ている判断値γと距離関数ｆ（α_ｉ）（基本ユニット１
毎や階層構造の段数を単位にして設定することが可能で
ある）とを判断データ格納手段305から読み出す。続い
て、ステップ33で、ステップ31で読み取った重み値（ｎ
次元空間をなす）をこの読み出した距離関数ｆ（α_ｉ）
に代入することで、読み取った重み値の原点からの距離
Ｋを算出する。ここで、距離関数ｆ（α_ｉ）は様々に定
義することが可能であって、例えば、やｆ（α_ｉ）＝MAX|α_i|但し、１≦ｉ≦ｎやの関数式に従って算出されることになる。

このようにして、選択された基本ユニット１の出力側
の内部結合に割り付けられる重み値のｎ次元重み空間に
おける原点からの距離Ｋが求まると、続くステップ34
で、この距離Ｋがステップ32で読み出した判断値γより
も小さいか否かを判断する。そして、判断値γよりも小
さいと判断するときには、ステップ35に進んで選択した
基本ユニット１が余剰ユニットであると決定するととも
に、判断値γよりも大きいと判断するときには、ステッ
プ36に進んで選択した基本ユニット１が余剰ユニットで
はないと決定し、次のステップ37で、その決定結果を結
果出力手段306に通知する。そして、ステップ38で、す
べての基本ユニット１に対して活性か非活性かの決定を
していないことを検出するときには、ステップ30に戻る
よう処理することで、階層ネットワーク構造部11aのす
べての基本ユニット１に対して活性か非活性かの決定を
実行する。

このように、第１の余剰ユニット特定手段301は、基
本ユニット１の出力側の内部結合の全内部状態値の学習
値がゼロ値に近い値を持つときには、その基本ユニット
１は出力を出さない非活性な余剰ユニットであると決定
していくよう処理するものである。

これに対して、第２の余剰ユニット特定手段302は、
第４図のフローチャートを実行することで、基本ユニッ
ト１の入力側の内部結合の全内部状態値の学習値がゼロ
値に近い値を持つときには、その基本ユニット１は入力
を受け付けない非活性な余剰ユニットであると決定して
いくよう処理するものである。第４図のフローチャート
と第３図のフローチャートとの違いは、第３図のフロー
チャートのステップ31では、選択された基本ユニット１
から“出力”されるすべての内部結合に割り付けられる
重み値の学習値α_ｉを読み取るのに対して、第４図のフ
ローチャートのステップ41では、選択された基本ユニッ
ト１に“入力”されるすべての内部結合に割り付けられ
る重み値の学習値α_ｉを読み取る点にあるだけである。
なお、基本ユニット１の閾値の学習値は、この読み取る
重み値の学習値に含めることを要しない。

第３の余剰ユニット特定手段303は、第５図のフロー
チャートに示すように、ステップ50で第２段目の中間層
の基本ユニット１のグループといったように、同じ重み
空間を持つ基本ユニット１のグループ（同一の基本ユニ
ット１群との間に内部結合するグループ）の中の１つの
グループを選択する。次に、ステップ51で、そのグルー
プに割り付けられている判断値γと距離関数ｆ（α_i,
α′_ｉ）（グループ毎に設定することが可能である）と
を判断データ格納手段305から読み出す。続いて、ステ
ップ52で、選択したグループの基本ユニット１の中から
１つの基本ユニット１を基準ユニットとして選択し、続
くステップ53で、その選択した基準ユニットを活性化さ
れた余剰でないユニットと決定する。

次に、ステップ54で、未決定未選択の基本ユニット１
の中から基本ユニット１を１つ選択し、続くステップ55
で、重み値格納手段12aから読み取られる基準ユニット
の重み値α_ｉ（ｎ次元空間をなす）とこの選択された基
本ユニット１の重み値α′_ｉ（ｎ次元空間をなす）とを
読み出した距離関数ｆ（α_i,α′_ｉ）に代入すること
で、基準ユニットとステップ54で選択された基本ユニッ
ト１との間の距離Ｋを算出する。ここで、閾値について
は重み値に含めることが好ましいが、寄与度が小さいこ
とから含めないようにするものであってもよい。また、
距離関数ｆ（α_i,α′_ｉ）は様々に定義することが可能
であって、例えば、やｆ（α_i,α′_ｉ）＝MAX|α_i,α′_i| 但し、１≦ｉ≦ｎやの関数式に従って算出されることになる。

基準ユニットとステップ54で選択された基本ユニット
１との間の距離Ｋが求まると、続くステップ56で、この
距離Ｋがステップ51で読み出した判断値γよりも小さい
か否かを判断する。そして、判断値γよりも小さいと判
断するときには、ステップ57に進んで、選択した基本ユ
ニット１が基準ユニットと同一の機能（基準ユニットの
重み値を増加すれば省略できる機能である）を果たすも
のに過ぎないことから非活性化な余剰のユニットである
と決定し、一方、判断値γよりも大きいと判断するとき
には、何も決定せずに未決定のままにしておく。そし
て、続くステップ58で、未決定の基本ユニット１のすべ
てを選択したか否かを判断して、選択されていないもの
があるときにはステップ54に戻るよう処理する。

ステップ58の判断ですべて選択したと判断するときに
は、続くステップ59で、ステップ50で選択したグループ
の基本ユニット１の内に未決定の基本ユニット１が残さ
れているか否かを判断して、残されているときには、ス
テップ52に戻って、その残されているものの中から基準
ユニットを選択して、その残されているものの中でその
選択された基準ユニットと同一の機能を果たす余剰の基
本ユニット１があるか否かを調べていくよう処理する。
そして、ステップ59の判断で未決定の基本ユニット１が
残されていないことを判断するときには、ステップ60に
進んで、同じ重み空間を持つ基本ユニット１のグループ
のすべてを処理したのかを判断して、処理していないこ
とを検出するときには、ステップ50に戻るよう処理する
ことで、階層ネットワーク構造部11aのすべての基本ユ
ニット１に対して活性か非活性かの決定を実行して、ス
テップ61でその決定結果を結果出力手段306に通知す
る。

このように、第３の余剰ユニット特定手段303は、階
層ネットワーク構造部11aの基本ユニット１に対して同
一の機能を果たすもの同士をグルーピングして、そのグ
ルーピングした基本ユニット１の内の１つのみを余剰ユ
ニットでないものとして決定するとともに、残りの基本
ユニット１を余剰ユニットであると決定していくよう処
理するものである。この第３の余剰ユニット特定手段30
3により余剰であると判断される基本ユニット１につい
ては、代表して選んだ余剰でない基本ユニット１の重み
値をその分大きく設定することで省略することが可能と
なる。

第４の余剰ユニット特定手段304は、第６図のフロー
チャートに示すように、ステップ70で活性か非活性かの
決定をしていない基本ユニット１を１つ選択し、次に、
ステップ71で、その基本ユニット１に割り付けられてい
る判断値γ（基本ユニット１毎や階層構造の段数を単位
にして設定することが可能である）を判断データ格納手
段305から読み出す。続いて、ステップ72で、学習信号
提示手段22に対して階層ネットワーク構造部11aへの学
習提示信号の提示を指示するとともに、この指示に応答
して出力される選択した基本ユニット１からの出力値の
最大値と最小値とを求めるよう処理する。そして、続く
ステップ73で、この求めた最大値と最小値の差分値がス
テップ71で読み取った判断値γより小さいか否かを判断
して、判断値γより小さいと判断するときには、ステッ
プ74に進んで選択した基本ユニット１が余剰ユニットで
あると決定するとともに、判断値γよりも大きいと判断
するときには、ステップ75に進んで選択した基本ユニッ
ト１が余剰ユニットではないと決定し、次のステップ76
で、その決定結果を結果出力手段306に通知する。そし
て、ステップ77で、すべての基本ユニット１に対して活
性か非活性かの決定をしていないことを検出するときに
は、ステップ70に戻るように処理することで、階層ネッ
トワーク構造部11aのすべての基本ユニット１に対して
活性か非活性かの決定を実行する。

このように、第４の余剰ユニット特定手段304は、階
層ネットワーク構造部11aに入力される入力パターンに
対して殆ど出力値を変化させない基本ユニット１はデー
タ処理に寄与していない非活性な余剰のユニットである
と決定していくよう処理するものである。

次に、シミュレーションに従って、余剰ユニットの特
定処理について具体的に説明する。このシミュレーショ
ンは、階層ネットワーク構造部11aが、第７図に示すよ
うに、２ユニットの入力層・９ユニットの１段構成の中
間層・１ユニットの出力層という階層ネットワーク構造
を持ち、重み値学習装置20aが、第８図に示す20個の学
習信号を使用し、学習定数εを5.0、モーメンタムζを
0.4に設定し、重み値と閾値を−0.5から0.5までの乱数
で初期化し、学習信号を5490回提示（このとき、学習教
師信号と出力信号との差は0.025以下になる）すること
で行った。

第９図（ａ）に、このシミュレーションにより得られ
た重み値の学習値、第９図（ｂ）に、このシミュレーシ
ョンにより得られた閾値の学習値を図示する。ここで、
第９図（ａ）中、“0.548750"は「i0ユニット」と「h0
ユニット」との間の内部結合に割り付けられる重み値を
示しており、また、第９図（ｂ）中、“0.049658"は「i
0ユニット」の閾値を示している。

このような重み値が得られると、第１の余剰ユニット
特定手段301は、中間層の「i4ユニット」の出力側の内
部結合に割り付けられる重み値が“−0.014513"とゼロ
値に近いことから、この基本ユニット１を余剰ユニット
と特定することになる。そして、他の中間層の基本ユニ
ット１の出力側の内部結合に割り付けられる重み値は比
較的大きいことから、余剰でない活性化したユニットで
あると特定することになる。

第10図に、、この第９図（ａ）の中間層の基本ユニッ
ト１の入力側の内部結合に割り付けられる重み値（２次
元の重み空間をなす）をプロットしたものを図示する。

このような重み空間が得られると、第２の余剰ユニッ
ト特定手段302は、中間層の「i4ユニット」と「i8ユニ
ット」の入力側の内部結合に割り付けられる重み値の原
点からの距離が小さいことから、これらの基本ユニット
１を余剰ユニットと特定することになる。そして、他の
中間層の基本ユニット１の入力側の内部結合に割り付け
られる重み値の原点からの距離は比較的大きいことか
ら、余剰でない活性化したユニットであると特定するこ
とになる。

また、第３の余剰ユニット特定手段303は、この第10
図からも分かるように、閾値を考慮しない場合におい
て、中間層の「i2ユニット」と「i6ユニット」とが概略
同一の機能を果たし、「i4ユニット」と「i8ユニット」
とが概略同一の機能を果たすことから、「i6ユニット」
と「i8ユニット」とを余剰ユニットと特定することにな
る。

第11図に、学習された重み値及び閾値を設定したとき
に、20個の各学習信号に対して出力する中間層の各基本
ユニット１の出力値を図示する。この第11図からも分か
るように、中間層の「i2ユニット」と「i4ユニット」と
「i6ユニット」と「i8ユニット」とが出力値を変化させ
ないことから、第４の余剰ユニット特定手段304はこれ
らの基本ユニット１を余剰ユニットと特定することにな
る。

以上図示実施例について説明したが、本発明はこれに
限定されるものでない。例えば、本発明は階層ネットワ
ーク構成データ処理装置に限られることなく、他のネッ
トワーク構成データ処理装置に対してもそのまま適用で
きるのである。また、本発明の適用を受けるニューロン
は、実施例で説明したような閾値変換処理を行う基本ユ
ニットに限られるものではなく、他の関数変換処理を行
うものであってもよいのである。

〔発明の効果〕

以上説明したように、本発明によれば、ネットワーク
構成データ処理装置において、ネットワーク構造中の活
性化していない余剰的なニューロンがどれなのかを特定
できるようになることから、ネットワーク構造のハード
ウェア量を不要に大きく用意しておく必要がなくなる。
これから、ネットワーク構成データ処理装置の演算処理
速度を速められるようになるとともに、ハードウェア量
を削減できるようになるのである。

【図面の簡単な説明】

第１図は本発明の原理構成図、第２図は本発明の一実施例、第３図は第１の余剰ユニット特定手段の実行するフロー
チャート、第４図は第２の余剰ユニット特定手段の実行するフロー
チャート、第５図は第３の余剰ユニット特定手段の実行するフロー
チャート、第６図は第４の余剰ユニット特定手段の実行するフロー
チャート、第７図はシミュレーションに用いた階層ネットワーク構
造部の説明図、第８図はシミュレーションに用いた学習信号の説明図、第９図、第10図及び第11図はシミュレーション結果の説
明図、第12図は基本ユニットの基本構成図、第13図は階層ネットワーク部の基本構成図である。図中、１は基本ユニット、10はネットワーク構成データ
処理装置、10aは階層ネットワーク構成データ処理装
置、11はネットワーク構造部、11aは階層ネットワーク
構造部、12は内部状態値格納手段、12aは重み値格納手
段、20は内部状態値学習装置、20aは重み値学習装置、3
0は余剰ニューロン決定装置、30aは余剰ユニット決定装
置である。

フロントページの続き (72)発明者大和田有理神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者浅川和雄神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (56)参考文献特開平２−231670（ＪＰ，Ａ) 特開平３−83157（ＪＰ，Ａ) 特開平３−83156（ＪＰ，Ａ) 萩原将文，中川正雄，「淘汰機能を有するバックプロパゲーション−ＬｏｃａｌＭｉｎｉｍｕｍからの回避アルゴリズム−」，電子情報通信学会春季全国大会（1989年），Ｐ．７−19 (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 15/18 G06G 7/00 ＪＩＣＳＴファイル（ＪＯＩＳ)

Claims

(57)【特許請求の範囲】

【請求項１】１つ又は複数の入力と該入力に対して乗算
されるべき内部状態値とを受け取って積和値を得るとと
もに、該積和値を所定の関数によって変換して出力値を
得るニューロンの内部結合により構成されるネットワー
ク構造部を学習対象として、学習対象の入力パターン群
の提示に応答して該ネットワーク構造部から出力される
出力パターン群と、該出力パターン群のとるべきパター
ンを示す教師パターン群との間の誤差値を算出し、該誤
差値に基づいて内部状態値を更新していくことで内部状
態値を学習する学習処理システムで用いられる余剰ニュ
ーロン決定処理方式であって、学習された内部状態値に従い、学習対象の入力パターン
群の提示に対して各ニューロンが出力する出力値の最大
値と最小値とを特定する出力範囲特定手段と、上記出力範囲特定手段により特定された最大値と最小値
との差分値がゼロ値に近い値を持つニューロンを特定す
ることで、余剰ニューロンを特定する余剰ニューロン特
定手段とを備えることを、特徴とする余剰ニューロン決定処理方式。