JPH0736181B2 - Neural network circuit - Google Patents
Neural network circuitInfo
- Publication number
- JPH0736181B2 JPH0736181B2 JP63158536A JP15853688A JPH0736181B2 JP H0736181 B2 JPH0736181 B2 JP H0736181B2 JP 63158536 A JP63158536 A JP 63158536A JP 15853688 A JP15853688 A JP 15853688A JP H0736181 B2 JPH0736181 B2 JP H0736181B2
- Authority
- JP
- Japan
- Prior art keywords
- layer
- input
- unit neural
- layers
- output
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000013528 artificial neural network Methods 0.000 title claims description 22
- 230000001537 neural effect Effects 0.000 claims description 69
- 230000013016 learning Effects 0.000 description 27
- 238000000034 method Methods 0.000 description 14
- 230000008878 coupling Effects 0.000 description 7
- 238000010168 coupling process Methods 0.000 description 7
- 238000005859 coupling reaction Methods 0.000 description 7
- 210000002569 neuron Anatomy 0.000 description 7
- 210000004556 brain Anatomy 0.000 description 5
- 238000003909 pattern recognition Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 210000000653 nervous system Anatomy 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 229910021417 amorphous silicon Inorganic materials 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 210000000225 synapse Anatomy 0.000 description 2
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 239000004642 Polyimide Substances 0.000 description 1
- 229910052581 Si3N4 Inorganic materials 0.000 description 1
- VYPSYNLAJGMNEJ-UHFFFAOYSA-N Silicium dioxide Chemical compound O=[Si]=O VYPSYNLAJGMNEJ-UHFFFAOYSA-N 0.000 description 1
- 229910006404 SnO 2 Inorganic materials 0.000 description 1
- LEVVHYCKPQWKOP-UHFFFAOYSA-N [Si].[Ge] Chemical compound [Si].[Ge] LEVVHYCKPQWKOP-UHFFFAOYSA-N 0.000 description 1
- XAGFODPZIPBFFR-UHFFFAOYSA-N aluminium Chemical compound [Al] XAGFODPZIPBFFR-UHFFFAOYSA-N 0.000 description 1
- 229910052782 aluminium Inorganic materials 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000005056 cell body Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 229910052804 chromium Inorganic materials 0.000 description 1
- 239000011651 chromium Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 239000010931 gold Substances 0.000 description 1
- 229910052737 gold Inorganic materials 0.000 description 1
- 239000011810 insulating material Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 229920001721 polyimide Polymers 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- HQVNEWCFYHHQES-UHFFFAOYSA-N silicon nitride Chemical compound N12[Si]34N5[Si]62N3[Si]51N64 HQVNEWCFYHHQES-UHFFFAOYSA-N 0.000 description 1
- 229910052814 silicon oxide Inorganic materials 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000000946 synaptic effect Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
Landscapes
- Image Analysis (AREA)
Description
【発明の詳細な説明】 産業上の利用分野 本発明は、神経系と類似な入出力動作、例えばパターン
認識，音声認識，連想記憶，並列演算処理などを行う神
経ネットワーク回路に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a neural network circuit that performs input / output operations similar to those of the nervous system, such as pattern recognition, voice recognition, associative memory, and parallel arithmetic processing.
従来の技術 現在使用されている計算機はフォン・ノイマン型計算機
であり、アルゴリズムに沿って直列的に情報を処理して
いく。つまり、一時に１つの命令しか実行しないのが原
則であるため、効率のよい計算法や解法が分からない問
題では、可能性をしらみつぶしに調べて行くことに成り
かねない。直列的な情報処理では、扱える問題に限界が
あることは明かである。2. Description of the Related Art The currently used computer is a von Neumann computer, which processes information serially according to an algorithm. In other words, the principle is that only one instruction is executed at a time, so in a problem in which an efficient calculation method or solution method is not known, the possibility may be exhaustively investigated. Clearly, there is a limit to the problems that can be dealt with in serial information processing.
このような計算機に対し、生物の脳は情報を処理するた
めに神経細胞からなるネットワークを作り、外界からの
多量の情報を処理するに当たって、神経細胞間の相互作
用を用いて並列に処理を行っている。この方法は、大量
の機械計算や高度の論理演算を余り得意としないが、複
雑かつ曖昧な状況に柔軟に対処し、適切な解を素早く出
す点で高い能力を発揮できる。つまり、計算機を使って
パターン認識や音声認識を行うには、処理時間がかかり
すぎる，融通性が無いなどの問題があり大変困難である
が、脳はなんの苦もなく簡単に行うことができる。ま
た、脳は、計算機がプログラムを取り替えることによる
万能性をもつのに対し、学習と自己組織により自己の性
能を改善し環境の情報構造に自己を適合させる特徴を持
つ。In response to such a computer, the brain of a living organism creates a network of nerve cells to process information, and in processing a large amount of information from the outside world, it processes in parallel using the interaction between nerve cells. ing. Although this method is not very good at a large amount of machine calculation and high-level logical operation, it can flexibly deal with complicated and ambiguous situations, and can demonstrate its high capability in quickly providing an appropriate solution. In other words, it is very difficult to perform pattern recognition and voice recognition using a computer due to problems such as too long processing time and lack of flexibility, but the brain can do it easily without any difficulty. . In addition, the brain has the versatility of replacing programs by a computer, while the learning and self-organization improve its own performance and adapt itself to the information structure of the environment.
このような脳の持つ特徴を人工的に獲得するためには、
脳と同じような並列情報処理原理を技術的に実現する必
要がある。このような要求の中から、第５図に示すよう
な階層的な構造を持つパーセプトロンが提案されてい
る。In order to artificially acquire such characteristics of the brain,
It is necessary to technically realize the parallel information processing principle similar to that of the brain. From such requirements, a perceptron having a hierarchical structure as shown in FIG. 5 has been proposed.
第５図のような３層構造のパーセプトロンに対する教師
つき学習法として、誤差逆伝搬学習法が現在のところ最
も有効である。誤差逆伝搬学習法は、入力層50に入力パ
ターンが与えられるたびに教師が出力層51の細胞の出力
を検査し、もし誤っていたら正しい出力を出せるように
中間層52の細胞との結合係数を修正する学習方法であ
る。この学習法の有効性については、ジョーンズ・ホプ
キンス大学（Johns Hopkins）のセノースキー博士（T.
J.Sejnowski）とプリンストン大学のローゼンベルグ博
士（C.R.Rosenberg）が研究した文章の音読を学習する
ネットワークシステム、ネットワーク（NET talk）で実
証されている。The error backpropagation learning method is currently the most effective as a supervised learning method for a three-layer perceptron as shown in FIG. The error backpropagation learning method uses a coupling coefficient with the cells of the intermediate layer 52 so that the teacher inspects the output of the cells of the output layer 51 every time an input pattern is given to the input layer 50 and outputs a correct output if an error is made. Is a learning method to correct. To see the effectiveness of this learning method, see Dr. Senowski of Johns Hopkins University (T.
J. Sejnowski) and Dr. Rosenberg (Princeton University) have been proved in the network system (NET talk) that learns reading aloud of sentences.
発明が解決しようとする課題 誤差逆伝搬学習法を使ってパターン認識や音声認識を行
わせる場合、中間層に含まれる神経細胞の数を幾つにす
ると、あるいは中間層の神経細胞のうちどれくらいの割
合で出力細胞と結合させたら、認識できるパターンの数
および認識率を低下させることなく最も効率よく学習で
きるかという問題については、まだ明らかにされていな
かった。Problems to be Solved by the Invention When pattern recognition or speech recognition is performed using the error backpropagation learning method, the number of nerve cells included in the middle layer is set to a certain number, or the proportion of the nerve cells in the middle layer. It has not been clarified yet whether the number of recognizable patterns and the efficiency of learning can be most efficiently learned without reducing the recognition rate.
本発明は以上のような従来の問題点を解決するもので、
効率よく学習でき、しかも認識率の高い神経ネットワー
ク回路を提供するものである。The present invention solves the above conventional problems,
It provides a neural network circuit that can learn efficiently and has a high recognition rate.
課題を解決するための手段 本発明の神経ネットワーク回路は、少なくとも１つの入
力層および少なくとも１つの中間層および少なくとも１
つの出力層からなり、全ての入力層に属する単位神経素
子の総数が100個以上であり、全ての入力層に属する全
ての各々の単位神経素子からの出力が、１つ以上の各々
の中間層において該中間層に属する少なくとも１個の単
位神経素子を経由し、少なくとも１つの出力層に属する
１個以上の単位神経素子の入力として与えられるように
接続した階層状のネットワークを構成し、かつ各々の中
間層に属する単位神経素子の数（これをxkとする、ただ
しｋ＝1,2,3,…,n、ｎは中間層の数）と全ての入力層に
属する単位神経素子の総数（これをｙとする）と全ての
出力層に属する単位神経素子の総数（これをｚとする）
との関係が、y0.5≦xk≦2y（ｋ＝1,2,3,…,n）およびｚ
≦ｙを満足することを特徴とするものである。The neural network circuit of the present invention comprises at least one input layer and at least one intermediate layer and at least one.
The total number of unit neural elements belonging to all input layers is 100 or more, and the output from each unit neural element belonging to all input layers is one or more intermediate layers. A hierarchical network connected via at least one unit neural element belonging to the intermediate layer so as to be supplied as an input to one or more unit neural elements belonging to at least one output layer, and The number of unit neural elements belonging to the intermediate layer (where x is k , where k = 1,2,3, ..., n, n is the number of intermediate layers) and the total number of unit neural elements belonging to all input layers (This is y) and the total number of unit neural elements belonging to all output layers (this is z)
And y 0.5 ≤x k ≤2y (k = 1,2,3, ..., n) and z
It is characterized by satisfying ≦ y.
作用 本発明者らは、入力層、１つ以上の中間層、出力層の階
層的な神経ネットワーク回路において、神経系と類似な
入出力動作の一例としてパターン認識の問題を適用さ
せ、各層に含まれる単位神経素子の数と学習の効果およ
び認識率との関連について調べた。その結果、学習アル
ゴリズムとして誤差逆伝搬学習法を用いた場合には、入
力層に含まれる単位神経素子の数を100個以上にした
時、中間層に含まれる単位神経素子の数（ｘ）と入力層
に含まれる単位神経素子の数（ｙ）及び出力層に含まれ
る単位神経素子の数（ｚ）との関係にy0.5≦ｘ≦2yおよ
びｚ≦ｙを満足させると、学習の際に収束し易く、学習
回数を少なくでき、しかも未学習入力に対する認識率を
余り減少することなく最もよい状態を得ることができ
た。また、中間層が複数個（ｎ）ある場合でも何れの中
間層において各層に含まれる単位神経素子の数（xk,k＝
1,2,3,…,n）について上記の条件を満足させると同様の
効果を得ることができた。なぜ、上記の条件を満足する
ときに最もよい状態を得ることができるかについて、現
在のところ数学的に解析できていないが、以下のように
概ね考えている。Function The present inventors applied the problem of pattern recognition as an example of input / output operation similar to the nervous system in a hierarchical neural network circuit of an input layer, one or more intermediate layers, and an output layer, and included in each layer. We examined the relationship between the number of unit neural elements and the effect of learning and the recognition rate. As a result, when the error backpropagation learning method is used as the learning algorithm, when the number of unit neural elements included in the input layer is 100 or more, the number of unit neural elements included in the intermediate layer (x) is If y 0.5 ≦ x ≦ 2y and z ≦ y are satisfied in the relationship between the number of unit neural elements included in the input layer (y) and the number of unit neural elements included in the output layer (z), learning It was easy to converge, the number of times of learning could be reduced, and the best state could be obtained without significantly reducing the recognition rate for unlearned inputs. In addition, even when there are a plurality of (n) intermediate layers, the number of unit neural elements included in each layer (x k , k =
Similar effects could be obtained by satisfying the above conditions for 1,2,3, ..., n). The reason why the best condition can be obtained when the above conditions are satisfied has not been mathematically analyzed so far, but it is generally considered as follows.
入力層に含まれる単位神経素子数が100個以上であるよ
うな、神経素子数の比較的多いネットワーク回路におい
て、中間層または出力層の単位神経素子数および結合数
をあまり多くするとネットワーク回路のエネルギーの極
小値の深さの浅いものが増える。その結果、回路の状態
がこのような浅い極小値に捕らわれ、安定な深さの深い
極小値に落ち着き難くなる。従って、学習の際収束しに
くくなり、未学習入力に対する認識率も余り向上しなく
なってしまう。一方、中間層の単位神経素子数および結
合数を少なくし過ぎると認識できるパターンの数を増や
すことができない。In a network circuit with a relatively large number of neural elements such as 100 or more neural elements included in the input layer, if the number of unit neural elements and the number of coupling elements in the output layer are too large, the energy of the network circuit will increase. The depth of the minimum value of is increased. As a result, the state of the circuit is trapped in such a shallow minimum value, and it becomes difficult to settle into a deep minimum value with a stable depth. Therefore, it becomes difficult to converge during learning, and the recognition rate for unlearned inputs does not improve much. On the other hand, the number of patterns that can be recognized cannot be increased if the number of unit neural elements and the number of connections in the intermediate layer are too small.
以上のことから、上記の条件を満足する場合において、
認識率を余り減少させることなく、学習の収束度を高
め、学習回数を減少させることができたものと思われ
る。From the above, when the above conditions are satisfied,
It is considered that the degree of convergence of learning could be increased and the number of times of learning could be reduced without significantly reducing the recognition rate.
実施例 本発明の実施例について、図面を参照しながら説明す
る。Embodiments Embodiments of the present invention will be described with reference to the drawings.
第１図に本発明の神経ネットワーク回路の一例を示す。
この図に示すように神経ネットワーク回路は、入力層1
1,中間層12,出力層13の３層からなり、各層間で単位神
経素子14どうしが結合した階層型ネットワークである。
この階層型ネットワークを、別な表現で説明すれば、入
力層11に属する各々の単位神経素子14からの出力が、中
間層12に属する少なくとも１個の単位神経素子14を経由
し、出力層13に属する１個以上の単位神経素子14の入力
として与えられる様に接続されたものである。各層間の
単位神経素子14の結合15は、神経細胞のシナプスに相当
し、ある結合強度が割り当てられており、この結合を通
過する情報量に対してこの結合強度に応じた重み付けを
行う。神経ネットワーク回路の学習とは、結合15におけ
る結合強度の変更に相当する。単位神経素子14は神経細
胞の細胞体に相当し、実際の神経細胞がそうであるよう
に、結合15（シナプス）において重み付けされた入力を
受取り、該入力の総和に対する出力値が非線形の関係に
あるものである。この非線形の入出力関係とは、例え
ば、第２（ａ）および（ｂ）に示すように、入力が無限
大に近づくにつれて出力の微係数が零に収束するＳ字状
の特性を持ち（あるいは、横軸に対して対称移動した逆
Ｓ字状でも良い）、しきい値の値に従って曲線が横軸方
向に平行移動するものである。また、他の入出力特性と
しては、第２図（ｃ）および（ｄ）に示すような右上が
りの階段状の特性（あるいは、横軸に対して対称移動し
た右下がりの階段状の特性）があげられる。但し、入力
層11の単位神経素子14は第１図に示すように入力側に結
合15を持たないため、各単位神経素子14は外部から与え
られた情報を重み付けしないでそのまま受け入れ、自分
の持つ入出力特性に従って出力を中間層12の単位神経素
子14に与える。また、入力層11に含まれる単位神経素子
14は、中間層12の単位神経素子14に外部から与えられた
情報をそのまま供給しても問題無い。FIG. 1 shows an example of the neural network circuit of the present invention.
Neural network circuit as shown in this figure, input layer 1
It is a hierarchical network composed of three layers, ie, an intermediate layer 12 and an output layer 13, and unit neural elements 14 are connected to each other between the layers.
To explain this hierarchical network in another way, the output from each unit neural element 14 belonging to the input layer 11 passes through at least one unit neural element 14 belonging to the intermediate layer 12, and the output layer 13 Are connected so as to be given as an input to one or more unit neural elements 14 belonging to. The connection 15 of the unit neural element 14 between the layers corresponds to the synapse of the nerve cell and is assigned a certain connection strength, and the amount of information passing through this connection is weighted according to this connection strength. The learning of the neural network circuit corresponds to the change of the connection strength in the connection 15. The unit neural element 14 corresponds to the cell body of a nerve cell, receives a weighted input at a connection 15 (synapse), and has a non-linear relationship in the output value with respect to the sum of the inputs, as an actual nerve cell does. There is something. This non-linear input-output relationship has, for example, an S-shaped characteristic in which the differential coefficient of the output converges to zero as the input approaches infinity, as shown in the second (a) and (b) (or , A reverse S-shape symmetrically moved with respect to the horizontal axis may be used), and the curve moves in parallel with the horizontal axis according to the threshold value. Further, as other input / output characteristics, a rightwardly stepped characteristic as shown in FIGS. 2C and 2D (or a rightwardly stepped characteristic symmetrically moved with respect to the horizontal axis). Can be given. However, since the unit neural element 14 of the input layer 11 does not have the coupling 15 on the input side as shown in FIG. 1, each unit neural element 14 accepts information given from the outside as it is without weighting, and owns it. The output is given to the unit neural element 14 of the intermediate layer 12 according to the input / output characteristics. Also, the unit neural element included in the input layer 11
There is no problem in supplying the unit neural element 14 of the intermediate layer 12 with information given from the outside as it is.
入力層11に含まれる単位神経素子14は、100個以上に設
定されている。中間層12に含まれる単位神経素子14の数
（これをｘとする）は、入力層11に含まれる単位神経素
子14の数（これをｙとする）に対して、y0.5≦ｘ≦2yの
関係を満足しており、かつ、出力層13に含まれる単位神
経素子14の数（これをｚとする）とｙに対してはｚ≦ｙ
を満足している。The number of unit neural elements 14 included in the input layer 11 is set to 100 or more. The number of unit neural elements 14 included in the intermediate layer 12 (denoted as x) is y 0.5 ≦ x ≦ 2y with respect to the number of unit neural elements 14 included in the input layer 11 (denoted as y). Is satisfied, and z ≦ y for the number of unit neural elements 14 included in the output layer 13 (this is z) and y.
Are satisfied.
第１図に示した例では中間層12は１層であるが、処理を
行う問題の複雑さに合わせて２層以上にしてもよい。た
だし、各中間層に含まれる単位神経素子の数は常に上記
の条件を満足していなければならない。さらにこの場
合、入力層11と結合している中間層に含まれる単位神経
素子の数を、入力層11とは結合していない他の中間層に
属している単位神経素子の数が越えないように設定する
と学習の際の収束度はより向上する。また、入力層11お
よび出力層13が複数になる場合は、上記の条件におい
て、全ての入力層に含まれる単位神経素子の総数がｙに
対応し、全ての出力層に含まれる単位神経素子の総数が
ｚに対応する。In the example shown in FIG. 1, the intermediate layer 12 is one layer, but it may be two or more layers depending on the complexity of the problem of processing. However, the number of unit neural elements included in each intermediate layer must always satisfy the above condition. Furthermore, in this case, the number of unit neural elements included in the intermediate layer connected to the input layer 11 should not exceed the number of unit neural elements belonging to other intermediate layers not connected to the input layer 11. When set to, the degree of convergence during learning is further improved. Also, when there are a plurality of input layers 11 and output layers 13, under the above conditions, the total number of unit neural elements included in all input layers corresponds to y, and the number of unit neural elements included in all output layers is The total number corresponds to z.
また、中間層あるいは出力層に属するある１つの単位神
経素子が受け取る入力の数（これをｐとする）の、これ
らの入力を出力している単位神経素子を含む層に属する
単位神経素子の総数（これをｑとする）に対する割合
（p/q）の平均値を30％以上85％以下にすることによ
り、認識率をあまり低下させることなく学習時の回路の
収束度を高めることができる。このp/qは、言い替えれ
ば１つの単位神経素子が前段の層に属する全単位神経素
子（ｑ個）のうち幾つの単位神経素子（ｐ個）から入力
を受けているかを表す割合である。また、p/qの平均値
は、好適には45％以上80％以下であり、最適には55％以
上80％以下である。In addition, the total number of unit neural elements belonging to a layer including a unit neural element that outputs these inputs, which is the number of inputs received by one unit neural element belonging to the intermediate layer or the output layer (this is p) By setting the average value of the ratio (p / q) to (this is q) to 30% or more and 85% or less, the degree of convergence of the circuit at the time of learning can be increased without significantly reducing the recognition rate. In other words, this p / q is a ratio representing how many unit neural elements (p) out of all the unit neural elements (q) that belong to the preceding layer a unit neural element receives input. The average value of p / q is preferably 45% or more and 80% or less, and optimally 55% or more and 80% or less.
以下に、具体的な実施例を述べる。Specific examples will be described below.
実施例１ 本発明の一実施例として、第３図に示すような神経ネッ
トワーク回路を作製した。第３図（ａ），（ｂ）および
（ｃ）は、それぞれ回路全体の構造，神経素子間の結合
部分の平面図およびその断面図である。増幅器30は第１
図の単位神経素子14に相当し、第２図（ａ）または
（ｂ）の入出力特性を持つ。増幅器30の数はそれぞれ、
入力層31では256個、中間層32では120個、出力層33では
80個である。Example 1 As an example of the present invention, a neural network circuit as shown in FIG. 3 was produced. FIGS. 3 (a), (b) and (c) are a plan view and a cross-sectional view of the structure of the entire circuit and the coupling portion between neural elements, respectively. Amplifier 30 is the first
It corresponds to the unit neural element 14 in the figure and has the input / output characteristics of FIG. 2 (a) or (b). The number of amplifiers 30 is
256 in the input layer 31, 120 in the middle layer 32, and in the output layer 33
80 pieces.
このネットワーク回路の作製方法を以下に示す。絶縁性
基板34上にアルミニウム，クロムなどでの導電性配線パ
ターン35を形成し、酸化シリコン，窒化シリコン、ポリ
イミドなどの絶縁材料からなる絶縁層36を積層する。シ
ナプス結合を形成する部分だけ絶縁層36を除去し、この
部分に光導電層37として非晶質シリコンまたは非晶質シ
リコンゲルマニウムなどの光導電材料の薄膜を埋め込
む。この部分は、第１図において結合15に相当する。続
いてSnO2、ITOまたは金などの透明導電性配線パターン3
8を交差させて形成し、第３図（ａ）〜（ｃ）に示すよ
うな神経ネットワーク回路Ａを作製した。但し、入力層
31の増幅器30の総数に対する、中間層32の１つの増幅器
30が結合している入力層31の増幅器30の数の割合の平均
値は85％であり、中間層32の増幅器30の総数に対する、
出力層33の１つの増幅器30が結合している中間層32の増
幅器30の数の割合の平均値は70％となるように設計し
た。The method for producing this network circuit will be described below. A conductive wiring pattern 35 made of aluminum, chromium or the like is formed on an insulating substrate 34, and an insulating layer 36 made of an insulating material such as silicon oxide, silicon nitride or polyimide is laminated. The insulating layer 36 is removed only in the portion where the synaptic bond is formed, and a thin film of a photoconductive material such as amorphous silicon or amorphous silicon germanium is embedded as a photoconductive layer 37 in this portion. This part corresponds to the connection 15 in FIG. Followed by a transparent conductive wiring pattern 3 such as SnO 2 , ITO or gold.
8 were crossed to form a neural network circuit A as shown in FIGS. 3 (a) to (c). However, input layer
One amplifier in the middle layer 32 for a total of 31 amplifiers 30
The average value of the ratio of the number of the amplifiers 30 of the input layer 31 to which 30 are coupled is 85%, and the average value of the total number of the amplifiers 30 of the intermediate layer 32 is
The average ratio of the number of the amplifiers 30 of the intermediate layer 32 to which one amplifier 30 of the output layer 33 is coupled is designed to be 70%.
また、この神経ネットワーク回路Ａとは別に、中間層32
の数を550個、出力層33の数を320個とし、他の条件は上
記と同一の神経ネットワーク回路Ｂも作製した。In addition to the neural network circuit A, the intermediate layer 32
And the number of output layers 33 was 320, and a neural network circuit B identical to the above under other conditions was also manufactured.
これらの神経ネットワーク回路A,Bを神経系と類似な入
出力動作の一例として、0,1の２値で表される30ないし4
0個のパターンを用いてパターン認識に応用した。認識
のための学習方法としては、結合部分の光導電層37に照
射する光39の強度を変化させて結合強度に相当する抵抗
値を制御する方法を用いた。回路Ａの場合、学習の際の
収束の度合は優れており、学習回数はパターン数で多少
変化するが平均して４〜５回であった。また、認識率は
95％以上であった。一方、回路Ｂの場合、学習の際回路
の収束はあまり良くなく、学習回数は平均して2000回以
上を要した。またハミング距離10以内の不完全パターン
に対する認識率も85％程度であった。These neural network circuits A and B are represented by binary values of 0 and 1 as an example of input / output operation similar to the nervous system.
It was applied to pattern recognition using 0 patterns. As a learning method for recognition, a method of changing the intensity of the light 39 applied to the photoconductive layer 37 at the coupling portion and controlling the resistance value corresponding to the coupling strength was used. In the case of the circuit A, the degree of convergence at the time of learning was excellent, and the number of times of learning was 4 to 5 on average, although it varied somewhat depending on the number of patterns. The recognition rate is
It was over 95%. On the other hand, in the case of the circuit B, the convergence of the circuit at the time of learning was not so good, and the number of times of learning required 2000 times or more on average. The recognition rate for incomplete patterns within a Hamming distance of 10 was about 85%.
実施例２ 第４図に示すように入力層40、第１中間層41、第２中間
層42、出力層43の４層からなる神経ネットワーク回路を
計算機によりシュミレーションで動作認識した。但し、
入力層40の単位神経素子44の数ｙは100〜10000個変化さ
せ、第１中間層41の単位神経素子44の数x1は30〜20000
個変化させ、第２中間層42の単位神経素子44の数x2は20
〜15000個変化させ、出力層43の単位神経素子44の数ｚ
は50〜5000個変化させた。また、単位神経素子44の入出
力特性は次式で表わした。Example 2 As shown in FIG. 4, a neural network circuit composed of four layers of an input layer 40, a first intermediate layer 41, a second intermediate layer 42 and an output layer 43 was recognized by a computer by a simulation. However,
The number y of the unit neural elements 44 of the input layer 40 is changed from 100 to 10,000, and the number x 1 of the unit neural elements 44 of the first intermediate layer 41 is 30 to 20000.
Number is changed, the number x 2 of unit neural elements 44 of the second intermediate layer 42 is 20
The number z of the unit neural elements 44 of the output layer 43 is changed by changing up to 15,000.
Changed from 50 to 5000 pieces. The input / output characteristic of the unit neural element 44 is expressed by the following equation.
ｖ＝（tanh（ku）＋１）/2 但し、u:入力、v:出力、k:定数。v = (tanh (ku) +1) / 2 where u: input, v: output, k: constant.
第１中間層41、第２中間層42および出力層43のそれぞれ
に含まれる単位神経素子44の１個と結合している前段の
層に含まれる単位神経素子の平均の数は前段の層に含ま
れる単位神経素子の総数に対して、30〜85％ととした。The average number of the unit neural elements included in the preceding layer connected to one of the unit neural elements 44 included in each of the first intermediate layer 41, the second intermediate layer 42 and the output layer 43 is It was set to 30 to 85% with respect to the total number of unit neural elements included.
この回路に、0,1の２値からなる100個のパターンを使っ
て学習させてみたところ、y0.5≦xn≦2y（ｎ＝1,2）お
よびｚ≦ｙを満足するとき、満足しない場合に比べて約
1/100少ない学習回数で収束し、特にx2≦x1を同時に満
足させることによりさらに学習回数が減少することが確
認できた。This circuit was trained using 100 binary patterns of 0 and 1, and when y 0.5 ≤x n ≤2y (n = 1,2) and z≤y were satisfied, it was not satisfied. About compared to the case
It was confirmed that the number of learnings converged by 1/100 less, and that the number of learnings further decreased by satisfying x 2 ≤ x 1 at the same time.
発明の効果 以上のように本発明による神経ネットワーク回路は、効
率よく学習でき、しかも認識率が高い。EFFECTS OF THE INVENTION As described above, the neural network circuit according to the present invention enables efficient learning and has a high recognition rate.
第１図は本発明における神経ネットワーク回路の一実施
例を示す模式図、第２図（ａ），（ｂ），（ｃ）および
（ｄ）は各々単位神経素子の入出力特性の一例を示す特
性図、第３図（ａ），（ｂ）および（ｃ）は各々本発明
における神経ネットワーク回路の一実施例の全体の構造
を示す回路図、神経素子間の結合部分の平面図およびそ
の断面図、第４図は本発明の他の実施例における神経ネ
ットワーク回路の模式図、第５図は従来例の神経ネット
ワーク回路を示す模式図である。 11…入力層、12…中間層、13…出力層、14…単位神経素
子、15…結合、30…増幅器、31…入力層、32…中間層、
33…出力層、40…入力層、41…第１中間層、42…第２中
間層、43…出力層、44…単位神経素子。FIG. 1 is a schematic diagram showing an embodiment of a neural network circuit according to the present invention, and FIGS. 2 (a), (b), (c) and (d) show examples of input / output characteristics of a unit neural element. FIG. 3 (a), (b) and (c) is a circuit diagram showing the overall structure of an embodiment of a neural network circuit according to the present invention, a plan view of a connecting portion between neural elements and its cross section. 4 and 5 are schematic diagrams of a neural network circuit according to another embodiment of the present invention, and FIG. 5 is a schematic diagram showing a conventional neural network circuit. 11 ... Input layer, 12 ... Intermediate layer, 13 ... Output layer, 14 ... Unit neural element, 15 ... Coupling, 30 ... Amplifier, 31 ... Input layer, 32 ... Intermediate layer,
33 ... Output layer, 40 ... Input layer, 41 ... First intermediate layer, 42 ... Second intermediate layer, 43 ... Output layer, 44 ... Unit neural element.
Claims (3)
１つの中間層および少なくとも１つの出力層からなり、
全ての前記入力層に属する単位神経素子の総数が100個
以上であり、全ての前記入力層に属する全ての単位神経
素子からの各々の出力が、１つ以上の各々の前記中間層
において該中間層に属する少なくとも１個の単位神経素
子を経由し、少なくとも１つの前記出力層に属する１個
以上の単位神経素子の入力として与えられるように接続
した階層状のネットワークを構成し、かつ各々の前記中
間層に属する単位神経素子の数（これをxkとする、ただ
しｋ＝1,2,3,…,n、ｎは中間層の数）と全ての前記入力
層に属する単位神経素子の総数（これをｙとする）と全
ての前記出力層に属する単位神経素子の総数（これをｚ
とする）との関係が、y0.5≦xk≦2y（ｋ＝1,2,3,…,n）
およびｚ≦ｙを満足することを特徴とする神経ネットワ
ーク回路。1. At least one input layer and at least one intermediate layer and at least one output layer,
The total number of unit neural elements belonging to all the input layers is 100 or more, and the outputs from all the unit neural elements belonging to all the input layers are the intermediate values in one or more respective intermediate layers. Forming a hierarchical network connected via at least one unit neural element belonging to a layer so as to be supplied as an input of at least one unit neural element belonging to at least one of the output layers, and The number of unit neural elements belonging to the intermediate layer (where x is k , where k = 1,2,3, ..., n, n is the number of intermediate layers) and the total number of unit neural elements belonging to all the input layers (This is y) and the total number of unit neural elements belonging to all the output layers (this is z
, Y 0.5 ≤x k ≤2y (k = 1,2,3, ..., n)
And a neural network circuit characterized by satisfying z ≦ y.
る中間層に属する単位神経素子の数に対し、他の中間層
に属する単位神経素子の数が多くならないことを特徴と
する請求項１に記載の神経ネットワーク回路。2. The number of unit neural elements belonging to another intermediate layer does not increase with respect to the number of unit neural elements belonging to an intermediate layer having a plurality of intermediate layers and coupled to the input layer. The neural network circuit according to claim 1.
が受け取る入力の数（これをｐとする）の、前記入力を
出力している単位神経素子を含む層に属する単位神経素
子の総数（これをｑとする）に対する割合（p/q）の平
均値を30％以上85％以下としたことを特徴とする請求項
１に記載の神経ネットワーク回路。3. The total number of unit neural elements belonging to a layer including a unit neural element outputting the input (the number of inputs received by a unit neural element belonging to the intermediate layer or the output layer (this is p)) The neural network circuit according to claim 1, wherein an average value of a ratio (p / q) with respect to (q) is 30% or more and 85% or less.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63158536A JPH0736181B2 (en) | 1988-06-27 | 1988-06-27 | Neural network circuit |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP63158536A JPH0736181B2 (en) | 1988-06-27 | 1988-06-27 | Neural network circuit |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH027154A JPH027154A (en) | 1990-01-11 |
| JPH0736181B2 true JPH0736181B2 (en) | 1995-04-19 |
Family
ID=15673863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP63158536A Expired - Fee Related JPH0736181B2 (en) | 1988-06-27 | 1988-06-27 | Neural network circuit |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0736181B2 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0581227A (en) * | 1990-03-16 | 1993-04-02 | Hughes Aircraft Co | Neural network signal processing apparatus and signal processing method |
| DE19647660B4 (en) * | 1996-11-19 | 2005-09-01 | Daimlerchrysler Ag | Tripping device for occupant restraint systems in a vehicle |
-
1988
- 1988-06-27 JP JP63158536A patent/JPH0736181B2/en not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH027154A (en) | 1990-01-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Psaltis et al. | A multilayered neural network controller | |
| Sheu et al. | Neural information processing and VLSI | |
| Sivanandam et al. | Introduction to artificial neural networks | |
| Maclin et al. | Combining the predictions of multiple classifiers: Using competitive learning to initialize neural networks | |
| Gupta | Fuzzy logic and neural networks | |
| Moon | Forming part-machine families for cellular manufacturing: A neural-network approach | |
| Zilouchian | Fundamentals of neural networks | |
| JPH0736181B2 (en) | Neural network circuit | |
| JPH03250243A (en) | Neural circuit network arithmetic unit | |
| Kwon et al. | KWTA networks and their applications | |
| JPH04237388A (en) | Neuro processor | |
| Luger | An Introduction to Neural Networks | |
| Lara | Artificial neural networks: An introduction | |
| Shankar | Neural networks | |
| Wan et al. | Introducing cost-sensitive neural networks | |
| Babri et al. | Deep feedforward networks: application to pattern recognition | |
| Van der Spiegel et al. | Artificial neural networks: principles and VLSI implementation | |
| Poon et al. | Hebbian learning in parallel and modular memories | |
| Ding | Application of artificial neural synapses in soft robots | |
| Lakra et al. | The future of neural networks | |
| Hartono et al. | An interpretable neural network ensemble | |
| Tang et al. | A model of neurons with unidirectional linear response | |
| JPH0934858A (en) | Artificial neuron | |
| Barua et al. | Fundamentals of Soft Computing | |
| JP3343626B2 (en) | Neural networks for fuzzy inference |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |