JPH04364565A - ニューラルネットワーク装置 - Google Patents
ニューラルネットワーク装置Info
- Publication number
- JPH04364565A JPH04364565A JP3140042A JP14004291A JPH04364565A JP H04364565 A JPH04364565 A JP H04364565A JP 3140042 A JP3140042 A JP 3140042A JP 14004291 A JP14004291 A JP 14004291A JP H04364565 A JPH04364565 A JP H04364565A
- Authority
- JP
- Japan
- Prior art keywords
- cluster
- clusters
- neural network
- evaluation function
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 60
- 238000011156 evaluation Methods 0.000 claims abstract description 23
- 239000013598 vector Substances 0.000 abstract description 3
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000000694 effects Effects 0.000 description 2
- 101000582320 Homo sapiens Neurogenic differentiation factor 6 Proteins 0.000 description 1
- 102100030589 Neurogenic differentiation factor 6 Human genes 0.000 description 1
- 238000000034 method Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【０００１】
【産業上の利用分野】本発明は、認識対象に応じたニュ
ーラルネットワークを構成するニューラルネットワーク
装置に関する。
ーラルネットワークを構成するニューラルネットワーク
装置に関する。
【０００２】
【従来の技術】ニューラルネットワークとして入力層、
中間層、出力層の階層より構成し、期待値（教師信号）
と出力との誤差をフィードバックして出力層、中間層の
重みを変えてゆくバックプロパゲーションモデル（誤差
逆伝播モデル）が多く用いられている。これは図８に示
すように、比較回路で出力層の出力と教師信号との誤差
を検出し、この誤差を少なくするよう出力層、中間層の
重みを変更してゆくことにより、入力に対して教師信号
に近い出力をするよう学習を行う。各層のニューロ素子
はそれぞれ一定の数ｌ，ｍ，ｎで構成されるのが普通で
ある。
中間層、出力層の階層より構成し、期待値（教師信号）
と出力との誤差をフィードバックして出力層、中間層の
重みを変えてゆくバックプロパゲーションモデル（誤差
逆伝播モデル）が多く用いられている。これは図８に示
すように、比較回路で出力層の出力と教師信号との誤差
を検出し、この誤差を少なくするよう出力層、中間層の
重みを変更してゆくことにより、入力に対して教師信号
に近い出力をするよう学習を行う。各層のニューロ素子
はそれぞれ一定の数ｌ，ｍ，ｎで構成されるのが普通で
ある。
【０００３】
【発明が解決しようとする課題】このようなニューラル
ネットワークで学習する場合、対象となる全ての入出力
関係を図８に示すような１つのニューラルネットワーク
で学習させるのが普通である。このため、多くの入出力
関係を学習するので、必然的に大きなニューラルネット
ワーク（つまり図８に示すｌ，ｍ，ｎの数が大きいニュ
ーラルネットワーク）が必要となり、この結果、学習時
間がかかる（学習回数が多くなる）ようになってくる。 また、追加的に学習をすると、ニューラルネットワーク
全体の重みが変更され、今まで正しく学習されていた入
出力関係まで変更が及ぶことが多かった。またニューラ
ルネットワークの規模が大きいと、ある特徴を共有する
データの集まりであるクラスタに、正しく空間分離でき
ず、狙った入出力の対応関係だけを学習してしまうこと
もあった。図９はこの一例を示したもので、クラスタ１
０のようなクラスタ認識することが望ましいが、ニュー
ラルネットワークの規模が大きくなるとクラスタを細か
く区切り、クラスタ１１のようにする場合が発生する。 点線で示すクラスタ１２は望ましいクラスタ分けを示す
。
ネットワークで学習する場合、対象となる全ての入出力
関係を図８に示すような１つのニューラルネットワーク
で学習させるのが普通である。このため、多くの入出力
関係を学習するので、必然的に大きなニューラルネット
ワーク（つまり図８に示すｌ，ｍ，ｎの数が大きいニュ
ーラルネットワーク）が必要となり、この結果、学習時
間がかかる（学習回数が多くなる）ようになってくる。 また、追加的に学習をすると、ニューラルネットワーク
全体の重みが変更され、今まで正しく学習されていた入
出力関係まで変更が及ぶことが多かった。またニューラ
ルネットワークの規模が大きいと、ある特徴を共有する
データの集まりであるクラスタに、正しく空間分離でき
ず、狙った入出力の対応関係だけを学習してしまうこと
もあった。図９はこの一例を示したもので、クラスタ１
０のようなクラスタ認識することが望ましいが、ニュー
ラルネットワークの規模が大きくなるとクラスタを細か
く区切り、クラスタ１１のようにする場合が発生する。 点線で示すクラスタ１２は望ましいクラスタ分けを示す
。
【０００４】本発明は、上述の問題点に鑑みてなされた
もので、ニューラルネットワークを入力データのクラス
タ数に応じて設けることにより認識能力の向上を図った
ニューラルネットワーク装置を提供することを目的とす
る。
もので、ニューラルネットワークを入力データのクラス
タ数に応じて設けることにより認識能力の向上を図った
ニューラルネットワーク装置を提供することを目的とす
る。
【０００５】
【課題を解決するための手段】上記目的を達成するため
、認識対象データの特徴を抽出してクラスタ分けし、各
クラスタ内の各データ間の距離の和であるクラスタ距離
を求め、全てのクラスタの前記クラスタ距離の和を評価
関数とし、クラスタ数とこの評価関数との関係から最適
クラスタ分けを定め、この最適クラスタ分けした各クラ
スタ毎に対応するクラスタを認識するニューラルネット
を設ける。
、認識対象データの特徴を抽出してクラスタ分けし、各
クラスタ内の各データ間の距離の和であるクラスタ距離
を求め、全てのクラスタの前記クラスタ距離の和を評価
関数とし、クラスタ数とこの評価関数との関係から最適
クラスタ分けを定め、この最適クラスタ分けした各クラ
スタ毎に対応するクラスタを認識するニューラルネット
を設ける。
【０００６】また、前記最適クラスタ分けとして、クラ
スタ数を一方の座標軸にとり、前記評価関数を他方の座
標軸にとった評価関数曲線の変曲点におけるクラスタ数
の、クラスタ分けをする。
スタ数を一方の座標軸にとり、前記評価関数を他方の座
標軸にとった評価関数曲線の変曲点におけるクラスタ数
の、クラスタ分けをする。
【０００７】また、前記変曲点におけるクラスタ数でク
ラスタ分けした後、クラスタ内のデータの内容に応じて
、さらにクラスタ分けを行い、このクラスタ分けしたク
ラスタごとにニューラルネットを設ける。
ラスタ分けした後、クラスタ内のデータの内容に応じて
、さらにクラスタ分けを行い、このクラスタ分けしたク
ラスタごとにニューラルネットを設ける。
【０００８】
【作用】データ毎にそのデータを認識するニューラルネ
ットワークを設ければ認識精度は向上するがニューラル
ネットワークの数が多くなりすぎる。そこで評価関数と
クラスタ数との関係から最適のクラスタ数を求め、この
クラスタ数のニューラルネットワークを設け、対応する
クラスタを認識するようにし、認識精度を向上すると共
にニューラルネットワークの数を押さえる。
ットワークを設ければ認識精度は向上するがニューラル
ネットワークの数が多くなりすぎる。そこで評価関数と
クラスタ数との関係から最適のクラスタ数を求め、この
クラスタ数のニューラルネットワークを設け、対応する
クラスタを認識するようにし、認識精度を向上すると共
にニューラルネットワークの数を押さえる。
【０００９】この最適のクラスタ数として、例えば、ク
ラスタ数をＸ軸にとり、評価関数をＹ軸にとると図４に
示すように変曲点が生じる場合が多く、この変曲点とな
るクラスタ数と同じ数のニューラルネットワークを設け
ると認識精度とニューラルネットワークの数との総合的
評価が向上する。
ラスタ数をＸ軸にとり、評価関数をＹ軸にとると図４に
示すように変曲点が生じる場合が多く、この変曲点とな
るクラスタ数と同じ数のニューラルネットワークを設け
ると認識精度とニューラルネットワークの数との総合的
評価が向上する。
【００１０】また、このようにして求めたニューラルネ
ットワークを、クラスタ内のデータに応じてさらにクラ
スタ分けを行った方がよい場合は、この分けたクラスタ
ごとにニューラルネットワークを設けると認識精度が向
上する。
ットワークを、クラスタ内のデータに応じてさらにクラ
スタ分けを行った方がよい場合は、この分けたクラスタ
ごとにニューラルネットワークを設けると認識精度が向
上する。
【００１１】
【実施例】以下、本発明の実施例を図面を参照して説明
する。
する。
【００１２】図１は本実施例の構成を示すブロック図で
ある。１はニューラルネットワークで認識するクラスタ
毎に設けられる。図２はニューラルネットワーク１の詳
細図で、（ａ）はクラスタを示し、（ｂ）は（ａ）に示
すクラスタを認識するニューラルネットワーク１を示す
。（ａ）は１つのクラスタに○，×，△のカテゴリが含
まれていることを示す。（ｂ）は（ａ）のクラスタに対
応したニューラルネットワーク１で出力ユニットはカテ
ゴリ数と同じ３個よりなる。
ある。１はニューラルネットワークで認識するクラスタ
毎に設けられる。図２はニューラルネットワーク１の詳
細図で、（ａ）はクラスタを示し、（ｂ）は（ａ）に示
すクラスタを認識するニューラルネットワーク１を示す
。（ａ）は１つのクラスタに○，×，△のカテゴリが含
まれていることを示す。（ｂ）は（ａ）のクラスタに対
応したニューラルネットワーク１で出力ユニットはカテ
ゴリ数と同じ３個よりなる。
【００１３】２はニューラルネットワークの出力を制御
する出力部で図３に詳細を示す。この出力部２は後述す
る評価関数部４により制御され、ニューラルネットワー
クＮ・Ｎｋの出力ベクトルＫに重みＷｋを掛けたＷｋ・
Ｋを出力する。３は加算器で全ての出力層の出力ユニッ
トの出力を加算する。４は評価関数部で、各ニューラル
ネットワーク１の出力を出力部２を制御する。
する出力部で図３に詳細を示す。この出力部２は後述す
る評価関数部４により制御され、ニューラルネットワー
クＮ・Ｎｋの出力ベクトルＫに重みＷｋを掛けたＷｋ・
Ｋを出力する。３は加算器で全ての出力層の出力ユニッ
トの出力を加算する。４は評価関数部で、各ニューラル
ネットワーク１の出力を出力部２を制御する。
【００１４】次にニューラルネットワークの構成方法に
ついて説明する。入力データがＮ個あるとする。 入力データ：ｘｉ ， １≦ｉ≦Ｎ クラスタ評価関数Ｂを次のように定義する。
ついて説明する。入力データがＮ個あるとする。 入力データ：ｘｉ ， １≦ｉ≦Ｎ クラスタ評価関数Ｂを次のように定義する。
【００１５】
【数１】
【００１６】ここで、 ｑｘｉ はクラスタｑに属する
ベクトルのｉ番目の値で、次式で表される。
ベクトルのｉ番目の値で、次式で表される。
【００１７】
【数２】
【００１８】また、ｌｅｎ（ ｑｘｉ ， ｑｘｉ ）
は ｑｘｉ と ｑｘｊ の距離を表し次式で表される
。
は ｑｘｉ と ｑｘｊ の距離を表し次式で表される
。
【００１９】
【数３】
【００２０】Ｐｑ はクラスタｑに属するデータ数であ
り、Ｑはクラスタの数である。
り、Ｑはクラスタの数である。
【００２１】まず、クラスタ数ＱをＮ、全てのＰｑ （
ｑ＝１，２，……Ｎ）を１に設定して、クラスタ評価関
数Ｂを求め、次にＱを１づつ減少させ、ＱをＸ軸にとり
、ＢをＹ軸にとって評価関数曲線を求める。図４はこの
状態を示す。この評価関数曲線は、図４において、Ｑｃ
に示すように、あるクラスタの数において変曲点を有す
る場合が多い。
ｑ＝１，２，……Ｎ）を１に設定して、クラスタ評価関
数Ｂを求め、次にＱを１づつ減少させ、ＱをＸ軸にとり
、ＢをＹ軸にとって評価関数曲線を求める。図４はこの
状態を示す。この評価関数曲線は、図４において、Ｑｃ
に示すように、あるクラスタの数において変曲点を有す
る場合が多い。
【００２２】次にＱｃ個のニューラルネットワークを作
成する。図５は説明を簡単にするためＱｃ＝２の場合を
示したもので、クラスタ１と、クラスタ２に分けた場合
、このクラスタに対応したニューラルネットワーク１と
２を作成する。
成する。図５は説明を簡単にするためＱｃ＝２の場合を
示したもので、クラスタ１と、クラスタ２に分けた場合
、このクラスタに対応したニューラルネットワーク１と
２を作成する。
【００２３】図６は図５に示すニューラルネットワーク
装置の認識精度を向上したもので、図５に示したクラス
タ２が○，×，△から成っており、かつ図６に示すよう
に○よりなる新たなクラスタ２と、×と△からなるクラ
スタ３に分割した方がよいので、このように３つのクラ
スタにし、これに対応してニューラルネットワーク１，
２，３を作成した状況を示す。ニューラルネットワーク
１はクラスタ１を認識し、ニューラルネットワーク２は
、クラスタ２を、ニューラルネットワーク３はクラスタ
３を認識する。
装置の認識精度を向上したもので、図５に示したクラス
タ２が○，×，△から成っており、かつ図６に示すよう
に○よりなる新たなクラスタ２と、×と△からなるクラ
スタ３に分割した方がよいので、このように３つのクラ
スタにし、これに対応してニューラルネットワーク１，
２，３を作成した状況を示す。ニューラルネットワーク
１はクラスタ１を認識し、ニューラルネットワーク２は
、クラスタ２を、ニューラルネットワーク３はクラスタ
３を認識する。
【００２４】図７は入力データＮ個が０〜９の１０個の
カテゴリを含み、６個のクラスタに分類された状態を２
次元平面上にイメージした図である。ニューラルネット
ワークは６個作成され、各ニューラルネットワークはそ
れぞれのクラスタに対応し、そのクラスタ内に含まれた
カテゴリを認識すればよいので、各ニューラルネットワ
ークは小さくてすみ、認識精度は向上する。
カテゴリを含み、６個のクラスタに分類された状態を２
次元平面上にイメージした図である。ニューラルネット
ワークは６個作成され、各ニューラルネットワークはそ
れぞれのクラスタに対応し、そのクラスタ内に含まれた
カテゴリを認識すればよいので、各ニューラルネットワ
ークは小さくてすみ、認識精度は向上する。
【００２５】
【発明の効果】以上の説明から明らかなように、本発明
の効果を列記すると次のようになる。■各ニューラルネ
ットワークの規模を小さくすることができる。このこと
は汎化能力の向上を伴う。■各ニューラルネットワーク
の出力を統計的な意味においてコントロールできる。こ
れにより認識誤りを最小化できる。■追加学習を必要と
する場合は、該当するニューラルネットワークだけ学習
すればよいので、他のニューラルネットワークの重みは
変化しない。■必要に応じてニューラルネットワークの
追加、削除ができる。
の効果を列記すると次のようになる。■各ニューラルネ
ットワークの規模を小さくすることができる。このこと
は汎化能力の向上を伴う。■各ニューラルネットワーク
の出力を統計的な意味においてコントロールできる。こ
れにより認識誤りを最小化できる。■追加学習を必要と
する場合は、該当するニューラルネットワークだけ学習
すればよいので、他のニューラルネットワークの重みは
変化しない。■必要に応じてニューラルネットワークの
追加、削除ができる。
【図１】本発明の実施例の構成を示す図
【図２】ニュー
ラルネットワークの出力ユニット数とクラスタ内のカテ
ゴリ数の関係を説明する図
ラルネットワークの出力ユニット数とクラスタ内のカテ
ゴリ数の関係を説明する図
【図３】ニューラルネットワ
ークの出力部の説明図
ークの出力部の説明図
【図４】評価関数曲線の変曲点を
説明する図
説明する図
【図５】変曲点が２の場合のクラスタとニュ
ーラルネットワークの関係を説明する図
ーラルネットワークの関係を説明する図
【図６】図５に示すクラスタ２を２つに分割して新たな
ニューラルネットワークを作成する説明図
ニューラルネットワークを作成する説明図
【図７】Ｎ個
のデータに０〜９の１０個のカテゴリを含み、６個のク
ラスタに分けた状態を２次元平面にイメージした図
のデータに０〜９の１０個のカテゴリを含み、６個のク
ラスタに分けた状態を２次元平面にイメージした図
【図８】バックプロパゲーションモデルを示す図
【図９
】大規模なニューラルネットワークで生じることのある
望ましくないクラスタ分けの一例を示す図
】大規模なニューラルネットワークで生じることのある
望ましくないクラスタ分けの一例を示す図
１ ニューラルネットワーク
２ 出力部
３ 加算器
４ 評価関数部
Claims (3)
- 【請求項１】 認識対象データの特徴を抽出してクラ
スタ分けし、各クラスタ内の各データ間の距離の和であ
るクラスタ距離を求め、全てのクラスタの前記クラスタ
距離の和を評価関数とし、クラスタ数とこの評価関数と
の関係から最適クラスタ分けを定め、この最適クラスタ
分けした各クラスタ毎に対応するクラスタを認識するニ
ューラルネットを設けたことを特徴とするニューラルネ
ットワーク装置。 - 【請求項２】 前記最適クラスタ分けとして、クラス
タ数を一方の座標軸にとり、前記評価関数を他方の座標
軸にとった評価関数曲線の変曲点におけるクラスタ数の
クラスタ分けしたことを特徴とする請求項１記載のニュ
ーラルネットワーク装置。 - 【請求項３】 前記変曲点におけるクラスタ数でクラ
スタ分けした後、クラスタ内のデータの内容に応じて、
さらにクラスタ分けを行い、このクラスタ分けしたクラ
スタごとにニューラルネットを設けたことを特徴とする
請求項２記載のニューラルネットワーク装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3140042A JPH04364565A (ja) | 1991-06-12 | 1991-06-12 | ニューラルネットワーク装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP3140042A JPH04364565A (ja) | 1991-06-12 | 1991-06-12 | ニューラルネットワーク装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH04364565A true JPH04364565A (ja) | 1992-12-16 |
Family
ID=15259622
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3140042A Pending JPH04364565A (ja) | 1991-06-12 | 1991-06-12 | ニューラルネットワーク装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH04364565A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530689A (zh) * | 2013-10-31 | 2014-01-22 | 中国科学院自动化研究所 | 一种基于深度学习的聚类方法 |
-
1991
- 1991-06-12 JP JP3140042A patent/JPH04364565A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103530689A (zh) * | 2013-10-31 | 2014-01-22 | 中国科学院自动化研究所 | 一种基于深度学习的聚类方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102555057B1 (ko) | 웨이트 매트릭스를 포맷하는 방법, 포맷된 데이터를 사용하는 가속기 및 이를 포함하는 시스템 | |
| JPH04229384A (ja) | パターン認識用ニューラルネットワーク装置及び方法 | |
| US12079717B2 (en) | Data processing apparatus, training apparatus, method of detecting an object, method of training, and medium | |
| CN112183491A (zh) | 表情识别模型及训练方法、识别方法、装置和计算设备 | |
| JPH08227408A (ja) | ニューラルネットワーク | |
| EP0384709A2 (en) | Learning Machine | |
| US20240143886A1 (en) | Method of correcting layout for semiconductor process using machine learning, method of manufacturing semiconductor device using the same, and layout correction system performing the same | |
| EP3859611B1 (en) | Method, apparatus and device for updating convolutional neural network using gpu cluster | |
| Simard et al. | Reverse TDNN: an architecture for trajectory generation | |
| US5708727A (en) | Neuroprocessing service | |
| US5259039A (en) | Method of separating specific patterns from pattern space and apparatus therefor | |
| JPH04364565A (ja) | ニューラルネットワーク装置 | |
| CN113156473B (zh) | 信息融合定位系统卫星信号环境的自适应判别方法 | |
| JPH05101028A (ja) | 複数特徴量の統合判定方法 | |
| Artemov et al. | Subsystem for simple dynamic gesture recognition using 3DCNNLSTM | |
| Chuang et al. | Adaptive fuzzy regression clustering algorithm for TSK fuzzy modeling | |
| JPH01114899A (ja) | ダイナミックなニューラルネットワーク | |
| JP2588499B2 (ja) | ニューラルネットワークトレーニング方法及びその装置 | |
| CN114565078A (zh) | 模型剪枝方法、装置、计算设备及存储介质 | |
| CN118607594B (zh) | 一种基于互信息的空洞卷积自适应调节方法 | |
| JPH0535710A (ja) | ニユーラルネツトワークの学習方法および学習装置 | |
| JPH08263660A (ja) | 信号認識方法、信号認識装置、信号認識装置の学習方法及び信号認識装置の学習装置 | |
| CN120952094A (zh) | 一种基于经验分位排序的离线强化学习策略优化方法及系统 | |
| JPH04360291A (ja) | ニューラルネットの学習方法 | |
| Montvilas et al. | Discriminant analysis of random processes |