JPH03194648A - ニューロコンピュータ - Google Patents
ニューロコンピュータInfo
- Publication number
- JPH03194648A JPH03194648A JP1333895A JP33389589A JPH03194648A JP H03194648 A JPH03194648 A JP H03194648A JP 1333895 A JP1333895 A JP 1333895A JP 33389589 A JP33389589 A JP 33389589A JP H03194648 A JPH03194648 A JP H03194648A
- Authority
- JP
- Japan
- Prior art keywords
- processor
- processors
- weight
- column
- basic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/10—Interfaces, programming languages or software development kits, e.g. for simulating neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Software Systems (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Multi Processors (AREA)
- Debugging And Monitoring (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
本発明は、神経回路素子モデルによって構成された大規
模な神経回路網を多数のプロセッサを用いてシミュレー
ションするニューロコンピュータに関するものである。
模な神経回路網を多数のプロセッサを用いてシミュレー
ションするニューロコンピュータに関するものである。
従来、大規模な神経回路網のシミュレーションは、多数
提案されている神経回路素子モデルの内の1種類から構
成された神経回路網に関して行われる場合が多く、各神
経回路素子モデルに対して並列計算処理を行い得る汎用
の並列コンピュータにより実行される。
提案されている神経回路素子モデルの内の1種類から構
成された神経回路網に関して行われる場合が多く、各神
経回路素子モデルに対して並列計算処理を行い得る汎用
の並列コンピュータにより実行される。
大規模な神経回路網では神経回路素子間の結合が非常に
多いため、多数のプロセッサでシミュレーションする場
合、各プロセッサ間の結合方式として、メツシュ型(格
子型)結合、クロスバ−結合、トリー型結合、多段クロ
ス型結合、キューブ型結合などの方式が提案されている
。
多いため、多数のプロセッサでシミュレーションする場
合、各プロセッサ間の結合方式として、メツシュ型(格
子型)結合、クロスバ−結合、トリー型結合、多段クロ
ス型結合、キューブ型結合などの方式が提案されている
。
特に、神経回路素子モデルのシミュレーションには、ト
リー型結合、多段クロスバ−型結合、キューブ型結合な
どが適しているが、これらの結合方式では、プロセッサ
の数が増えると多数の切換え回路を必要としたり、伝送
路の容量が不足したり、配線の交差が非常に多くなって
実装が非常に複雑になるなどの種々の問題を含んでいた
が、本発明者による格子状円環体結合(出願番号63−
330971)および格子状矩形面結合(出願番号平1
−24307 )により解決されており、これらの結合
方式は、式(1)及び式(2) ’J+=Σw、x1 ・・1団・ (1)】=1 z+ =F (y+ ) ・・・・
・・・・・ (2)で示される神経回路素子モデルによ
って構成される大規模な神経回路網をシミュレーション
する並列処理の構成法を提案している。
リー型結合、多段クロスバ−型結合、キューブ型結合な
どが適しているが、これらの結合方式では、プロセッサ
の数が増えると多数の切換え回路を必要としたり、伝送
路の容量が不足したり、配線の交差が非常に多くなって
実装が非常に複雑になるなどの種々の問題を含んでいた
が、本発明者による格子状円環体結合(出願番号63−
330971)および格子状矩形面結合(出願番号平1
−24307 )により解決されており、これらの結合
方式は、式(1)及び式(2) ’J+=Σw、x1 ・・1団・ (1)】=1 z+ =F (y+ ) ・・・・
・・・・・ (2)で示される神経回路素子モデルによ
って構成される大規模な神経回路網をシミュレーション
する並列処理の構成法を提案している。
前述の格子状円環体結合および格子状矩形面結合の並列
型ニューロコンピュータでは、第1θ図に示す神経回路
素子モデルをシミュレーションの対象としてきた。
型ニューロコンピュータでは、第1θ図に示す神経回路
素子モデルをシミュレーションの対象としてきた。
この神経回路素子モデルは式(1)及び式(2)の計算
式によって表される多くの種類の神経回路素子モデルを
包含しているが、神経回路素子モデルには式(1)およ
び式(2)だけでは表わせない、教師なし自己学習を行
い得る神経回路素子モデルがある。
式によって表される多くの種類の神経回路素子モデルを
包含しているが、神経回路素子モデルには式(1)およ
び式(2)だけでは表わせない、教師なし自己学習を行
い得る神経回路素子モデルがある。
[発明が解決しようとする課題]
従来の格子状円環体結合および格子状矩形面結合を用い
たニューロコンピュータには、教師なし自己学習を行う
神経回路素子モデルに対してシミュレーションを行う方
法が示されていなかった。
たニューロコンピュータには、教師なし自己学習を行う
神経回路素子モデルに対してシミュレーションを行う方
法が示されていなかった。
本発明の目的は、格子状円環体結合および格子状矩形面
結合を用いたニューロコンピュータにおいて教師なし自
己学習を行う神経回路素子モデルに対してシミュレーシ
ョンを行なう方法を提供することにある。
結合を用いたニューロコンピュータにおいて教師なし自
己学習を行う神経回路素子モデルに対してシミュレーシ
ョンを行なう方法を提供することにある。
[課題を解決するための手段]
本発明によれば、前記目的は、複数の行及び複数の列に
よって規定された位置に神経回路素子の機能を有する基
本プロセッサが配置されており、該基本プロセッサの一
部が外部装置に接続されているニューロコンピュータで
あって、前記外部装置に接続されていない基本プロセッ
サは、同行上の隣接する2つの基本プロセッサ及び同列
上の隣接する2つの基本プロセッサに夫々接続されてお
り、前記外部装置に接続されていない基本プロセッサは
少なくとも2種類あり、一方の種類の前記基本プロセッ
サは、隣接した基本プロセッサの1つから伝送された出
力値と隣接した基本プロセッサの他の1つから伝送され
た出力値とを比較し、大きい方の出力値を極大値として
、前記出力値を出力した基本プロセッサ以外の隣接した
基本プロセッサに出力するように構成されており、他方
の種類の前記基本プロセッサは、隣接した基本プロセッ
サの1つから伝送された極大値と隣接した基本プロセッ
サの他の1つから伝送された出力値とを比較し、当該比
較の結果によって前記極大値又は前記出力値を出力した
基本プロセッサ以外の隣接した基本プロセッサに所定の
値を出力するように構成されていることを特徴とするニ
ューロコンピュータによって達成される。
よって規定された位置に神経回路素子の機能を有する基
本プロセッサが配置されており、該基本プロセッサの一
部が外部装置に接続されているニューロコンピュータで
あって、前記外部装置に接続されていない基本プロセッ
サは、同行上の隣接する2つの基本プロセッサ及び同列
上の隣接する2つの基本プロセッサに夫々接続されてお
り、前記外部装置に接続されていない基本プロセッサは
少なくとも2種類あり、一方の種類の前記基本プロセッ
サは、隣接した基本プロセッサの1つから伝送された出
力値と隣接した基本プロセッサの他の1つから伝送され
た出力値とを比較し、大きい方の出力値を極大値として
、前記出力値を出力した基本プロセッサ以外の隣接した
基本プロセッサに出力するように構成されており、他方
の種類の前記基本プロセッサは、隣接した基本プロセッ
サの1つから伝送された極大値と隣接した基本プロセッ
サの他の1つから伝送された出力値とを比較し、当該比
較の結果によって前記極大値又は前記出力値を出力した
基本プロセッサ以外の隣接した基本プロセッサに所定の
値を出力するように構成されていることを特徴とするニ
ューロコンピュータによって達成される。
[作 用]
本発明のニューロコンピュータによれば、外部装置に接
続されていない基本プロセッサは少なくとも2種類あり
、一方の種類の基本プロセッサが、隣接した基本プロセ
ッサの1つから伝送された出力値と隣接した基本プロセ
ッサの他の1つから伝送された出力値とを比較して大き
い方の出力値を極大値として、出力値を出力した基本プ
ロセッサ以外の隣接した基本プロセッサに出力し、他方
の種類の基本プロセッサは、隣接した基本プロセッサの
1つから伝送された極大値と隣接した基本プロセッサの
他の1つから伝送された出力値とを比較し、比較の結果
によって極大値又は出力値を出力した基本プロセッサ以
外の隣接した基本プロセッサに所定の値を出力する。
続されていない基本プロセッサは少なくとも2種類あり
、一方の種類の基本プロセッサが、隣接した基本プロセ
ッサの1つから伝送された出力値と隣接した基本プロセ
ッサの他の1つから伝送された出力値とを比較して大き
い方の出力値を極大値として、出力値を出力した基本プ
ロセッサ以外の隣接した基本プロセッサに出力し、他方
の種類の基本プロセッサは、隣接した基本プロセッサの
1つから伝送された極大値と隣接した基本プロセッサの
他の1つから伝送された出力値とを比較し、比較の結果
によって極大値又は出力値を出力した基本プロセッサ以
外の隣接した基本プロセッサに所定の値を出力する。
本発明のニューロコンピュータとしては、複数に分割さ
れた矩形領域に少くとも1つの実プロセッサが各々配置
されており、各実プロセッサは、配置された矩形領域に
含まれる複数の基本プロセッサの全ての機能を有してお
り、同行上の隣接する2つの他の実プロセッサ及び同列
上の隣接する2つの他の実プロセッサに夫々接続されて
いてもよい。
れた矩形領域に少くとも1つの実プロセッサが各々配置
されており、各実プロセッサは、配置された矩形領域に
含まれる複数の基本プロセッサの全ての機能を有してお
り、同行上の隣接する2つの他の実プロセッサ及び同列
上の隣接する2つの他の実プロセッサに夫々接続されて
いてもよい。
以下、本発明のニューロコンピュータを図面に示す一実
施例を用いて詳述する。
施例を用いて詳述する。
自己学習機能を有しており、5つの層からなるカウンタ
ー・プロパゲーション・ネットワーク(以下、CPNと
略称)の構成を第3図に示す。
ー・プロパゲーション・ネットワーク(以下、CPNと
略称)の構成を第3図に示す。
CPNのシミュレーションにおいては、第1層、第5層
は入力層であり、第3層はコホーネン(Kohonen
)の自己組織化処理を行う中間層であり、第2層、第4
層は、グロスバーブ(Grossbetg)の学習処理
を行う層である。コホーネンの自己組織モデルおよびC
PNモデルを以下に詳述する。
は入力層であり、第3層はコホーネン(Kohonen
)の自己組織化処理を行う中間層であり、第2層、第4
層は、グロスバーブ(Grossbetg)の学習処理
を行う層である。コホーネンの自己組織モデルおよびC
PNモデルを以下に詳述する。
コホーネンの自己組織ネットワークは、第2図に示すよ
うな構成をしており、入力信号をx=[x、、x2 、
・・・、xNコ、係数としての重み係数をWi =
’ [w、□、W1□、・・・、WIN]とすると、そ
の機能は以下の式で表される。
うな構成をしており、入力信号をx=[x、、x2 、
・・・、xNコ、係数としての重み係数をWi =
’ [w、□、W1□、・・・、WIN]とすると、そ
の機能は以下の式で表される。
まず、各ユニットの出力は
7+=ΣV1.’ X H=VIl’ X” ”””
(3)i=1 で表される。学習はユニットの集合 5=(1,2,・・・、s)の中で出力として最大値を
持つユニットに0とその周辺のユニットiεr(ko)
に対して次式で行われる。
(3)i=1 で表される。学習はユニットの集合 5=(1,2,・・・、s)の中で出力として最大値を
持つユニットに0とその周辺のユニットiεr(ko)
に対して次式で行われる。
kO= I k l Yi =ma x Iy+ 1
1−・・(4)iεS Wi (t) +αx (t) w lft + I) = 11WI (1) +αx(j) If[但し
iεr(ko)コ ・・・・・・・・・ (5)
〔ヘクト−ニールセン(Hecht−Nielsen)
のCPNモデル〕 CPNモデルは第1図に示すように5層のネットワーク
構成を持っている。入力ベクトルをx=(X l +
x2 + ・・・、x7)、V” (3’+ 、
72 、 ・・・、y、)とすると、第1層と第5層に
はベクトルの対(x、 y)が入力として与えられる
。そして第2層と第4層からはベクトルxSyの近似と
してベクトル X =(X’l + X 2 + ”’+ X′n
)、y’= (y’+ l y’21 ・・・+
y’ゆ)が出力される。
1−・・(4)iεS Wi (t) +αx (t) w lft + I) = 11WI (1) +αx(j) If[但し
iεr(ko)コ ・・・・・・・・・ (5)
〔ヘクト−ニールセン(Hecht−Nielsen)
のCPNモデル〕 CPNモデルは第1図に示すように5層のネットワーク
構成を持っている。入力ベクトルをx=(X l +
x2 + ・・・、x7)、V” (3’+ 、
72 、 ・・・、y、)とすると、第1層と第5層に
はベクトルの対(x、 y)が入力として与えられる
。そして第2層と第4層からはベクトルxSyの近似と
してベクトル X =(X’l + X 2 + ”’+ X′n
)、y’= (y’+ l y’21 ・・・+
y’ゆ)が出力される。
第3層の出力はベクトル
Z” (Zt + 22 + ”・+ zN )で
表すと、CPNモデルの伝達関数と学習規則は、以下の
式で表される。
表すと、CPNモデルの伝達関数と学習規則は、以下の
式で表される。
第1層と第5層二人力層
第2層と第4層:
y′1=Σwll’z、 ・・・・・・・
・・・・・ (6)i=1 ΔW’ +1= (aW’ x+bV+ )’ Zr
・・’ (7)x′1=Σ wljz。
・・・・・ (6)i=1 ΔW’ +1= (aW’ x+bV+ )’ Zr
・・’ (7)x′1=Σ wljz。
j:l
・・・・・・・・・・・・ (8)
ΔW” l+= (CW” □+dx、)Z H・・・
・・・・・・・・・ (9) 第3層: mn ωi =Σ uIJX、+Σ V j・1 j・1 =u+ IIX+V+ d y −−°1l
O)Δu+ =a (x−Lll ) i −旧−
・−(12)ΔV1 =β (y v + )
z + −・”−(13)ここで、as bz
C5dsα、βは定数を表し、Sは第3層のユニット
の集合5=(1,2、・・・、N)を表す。
・・・・・・・・・ (9) 第3層: mn ωi =Σ uIJX、+Σ V j・1 j・1 =u+ IIX+V+ d y −−°1l
O)Δu+ =a (x−Lll ) i −旧−
・−(12)ΔV1 =β (y v + )
z + −・”−(13)ここで、as bz
C5dsα、βは定数を表し、Sは第3層のユニット
の集合5=(1,2、・・・、N)を表す。
以上、2つのモデルの記述において、次式で定義される
最大値を検出する関数Φ(ωj、 S)が使われてい
る。
最大値を検出する関数Φ(ωj、 S)が使われてい
る。
この最大値検出関数Φ(ω6.S)を用いるとコホーネ
ンの自己組織モデルの式(4)およびCPNモデルの式
(11)はそれぞれ式(15)、式(16)のように書
き換えられる。
ンの自己組織モデルの式(4)およびCPNモデルの式
(11)はそれぞれ式(15)、式(16)のように書
き換えられる。
k’ = (k lΦ(ω、、5)=1)・旧・・(I
5]z、=Φ(ω3.S) ・旧・・・・・(
16)このように式(14)で示される最大値検出関数
の(ω1.S)を格子状円環体結合および格子状矩形面
結合の並列型プロセッサーによって効率的に処理するこ
とによって、コホーネンの自己組織モデル、ヘクト−ニ
ールセンのCPNモデル、グロスバーブのART (A
daptive Re5onanceTheor7)モ
デルなど広範な神経回路素子モデルをシミュレーション
し得る。
5]z、=Φ(ω3.S) ・旧・・・・・(
16)このように式(14)で示される最大値検出関数
の(ω1.S)を格子状円環体結合および格子状矩形面
結合の並列型プロセッサーによって効率的に処理するこ
とによって、コホーネンの自己組織モデル、ヘクト−ニ
ールセンのCPNモデル、グロスバーブのART (A
daptive Re5onanceTheor7)モ
デルなど広範な神経回路素子モデルをシミュレーション
し得る。
格子状円環体に接続された基本プロセッサであって、外
部装置に接続されている基本プロセッサとしての入力プ
ロセッサ、出力プロセッサ、及び入出カプロセッサ、外
部装置に接続されていない一方の種類の基本プロセッサ
としての重みプロセッサ、及び外部装置に接続されてい
ない他方の種類の基本プロセッサとしての細胞プロセッ
サによって構成されたCPNの並列処理システムを第1
図に示す。
部装置に接続されている基本プロセッサとしての入力プ
ロセッサ、出力プロセッサ、及び入出カプロセッサ、外
部装置に接続されていない一方の種類の基本プロセッサ
としての重みプロセッサ、及び外部装置に接続されてい
ない他方の種類の基本プロセッサとしての細胞プロセッ
サによって構成されたCPNの並列処理システムを第1
図に示す。
神経回路網の入力ベクトルXの入力の数と出力ベクトル
X′の出力の数とをそれぞれm1人入力ベクトルの入力
の数と出力ベクトルy′の出力の数とをそれぞれn1第
3層の神経回路素子の出力の数をNとして、前述のプロ
セッサを(N+m+n+1)行、(2m+2n+N)列
の格子状に配列する。
X′の出力の数とをそれぞれm1人入力ベクトルの入力
の数と出力ベクトルy′の出力の数とをそれぞれn1第
3層の神経回路素子の出力の数をNとして、前述のプロ
セッサを(N+m+n+1)行、(2m+2n+N)列
の格子状に配列する。
第0行目には、第1列目から第m+n列目までは、(+
n+n)個の入力プロセッサー、第m+n+ 1列目か
ら第m+n+N列目までは、N個の出力プロセッサ、第
m+n+N+I列目から第2m+2n十N列目までは、
(m + n )個の入出カプロセッサー、第1行目か
ら第(N+m+n)行目までは各行毎に(2m+2n+
N−1)個の重みプロセッサ、第1行、第(n+m+I
J列目から第ト(m+nJ行、第(2m+2n+N)列
目まで対角線上に各列に1つ細胞プロセッサが、それぞ
れ配置されている。以下、各層におけるプロセッサの配
置を詳述する。
n+n)個の入力プロセッサー、第m+n+ 1列目か
ら第m+n+N列目までは、N個の出力プロセッサ、第
m+n+N+I列目から第2m+2n十N列目までは、
(m + n )個の入出カプロセッサー、第1行目か
ら第(N+m+n)行目までは各行毎に(2m+2n+
N−1)個の重みプロセッサ、第1行、第(n+m+I
J列目から第ト(m+nJ行、第(2m+2n+N)列
目まで対角線上に各列に1つ細胞プロセッサが、それぞ
れ配置されている。以下、各層におけるプロセッサの配
置を詳述する。
第1層[第1列目〜第m列目コ
第0行目に入力プロセッサ5001〜5003、第1行
目に重みプロセッサ5101〜5103、第i行目に重
みプロセッサ5131〜5135、第N行目に重みプロ
セッサ5I6!〜5I63、第N41行目に重みプロセ
ッサ5201〜5203、第11行目に重みプロセッサ
5231〜5233、第N+m行目に重みプロセッサ5
261〜5263、第N+m+1行目に重みプロセッサ
5301〜53θ3、第jy行目に重みプロセッサ53
31〜5333、第N+H+n行目に重みプロセッサ5
361〜5363がそれぞれ配置されている。
目に重みプロセッサ5101〜5103、第i行目に重
みプロセッサ5131〜5135、第N行目に重みプロ
セッサ5I6!〜5I63、第N41行目に重みプロセ
ッサ5201〜5203、第11行目に重みプロセッサ
5231〜5233、第N+m行目に重みプロセッサ5
261〜5263、第N+m+1行目に重みプロセッサ
5301〜53θ3、第jy行目に重みプロセッサ53
31〜5333、第N+H+n行目に重みプロセッサ5
361〜5363がそれぞれ配置されている。
第5層[第m+1列目〜第m+n列目]第0行目に入力
プロセッサ5004〜5005、第1行目に重みプロセ
ッサ5104〜5105、第i行目に重みプロセッサ5
136〜5137、第N行目に重みプロセッサ5164
〜5165、第N+1行目に重みプロセッサ5204〜
5205、第11行目に重みプロセッサ5234〜52
35、第N+m行目に重みプロセッサ5264〜526
5、第N十m+1行目に重みプロセッサ5304〜53
05、第iy行目に重みプロセッサ5334〜5335
、第N+m+n行目に重みプロセッサ5364〜536
5がそれぞれ配置されている。
プロセッサ5004〜5005、第1行目に重みプロセ
ッサ5104〜5105、第i行目に重みプロセッサ5
136〜5137、第N行目に重みプロセッサ5164
〜5165、第N+1行目に重みプロセッサ5204〜
5205、第11行目に重みプロセッサ5234〜52
35、第N+m行目に重みプロセッサ5264〜526
5、第N十m+1行目に重みプロセッサ5304〜53
05、第iy行目に重みプロセッサ5334〜5335
、第N+m+n行目に重みプロセッサ5364〜536
5がそれぞれ配置されている。
第3層[第m+n+I列目〜第m+n十N列目]第0行
目に出力プロセッサ5006〜5008、第1行目、第
m十n+1列目に細胞プロセッサ5106、それ以外の
第1行目に重みプロセッサ5107〜5108、第行目
、第m+n+i列目に細胞プロセッサ5140、それ以
外の第1行目に重みプロセッサ5138.5139.5
141、及び5142、第N行目、第m+n+N列目に
細胞プロセッサ5168、それ以外の第N行目に重みプ
ロセッサ5166〜5167、第N+1行目に重みプロ
セッサ52(16〜52(ill、第jx行目に重みプ
ロセッサ5236〜5240、第N+m行目に重みプロ
セッサ5266〜5268、第N+m+1行目に重みプ
ロセッサ5306〜5308、第11行目に重みプロセ
ッサ5336〜5338、第N+m+n行目に重みプロ
セッサ5366〜5368がそれぞれ配置されている。
目に出力プロセッサ5006〜5008、第1行目、第
m十n+1列目に細胞プロセッサ5106、それ以外の
第1行目に重みプロセッサ5107〜5108、第行目
、第m+n+i列目に細胞プロセッサ5140、それ以
外の第1行目に重みプロセッサ5138.5139.5
141、及び5142、第N行目、第m+n+N列目に
細胞プロセッサ5168、それ以外の第N行目に重みプ
ロセッサ5166〜5167、第N+1行目に重みプロ
セッサ52(16〜52(ill、第jx行目に重みプ
ロセッサ5236〜5240、第N+m行目に重みプロ
セッサ5266〜5268、第N+m+1行目に重みプ
ロセッサ5306〜5308、第11行目に重みプロセ
ッサ5336〜5338、第N+m+n行目に重みプロ
セッサ5366〜5368がそれぞれ配置されている。
第4層[第m+n+NfI列目〜第2m+n+N列目]
0行目に入出カプロセッサ5009〜5011、第1行
目に重みプロセッサ5109〜5111.第1行目に重
みプロセッサ5143〜5145、第N行目に重みプロ
セッサ5169〜5171、第N+1行目、第m+n+
N+1列目に細胞プロセッサ5209、それ以外の第N
+1行目に重みプロセッサ5210〜5211、第it
行目、第m+n+N+ix列目に細胞プロセッサ524
2、それ以外の第jx行目に重みプロセッサ5241及
び5243、第N+m行目、第2m+n+N列目に細胞
プロセッサ5271、それ以外の第N+m行目に重みプ
ロセッサ5269〜5270、第N+m+1行目に重み
プロセッサ5309〜5311、第iy行目に重みプロ
セッサ5339〜5341、第N+m+n行目に重みプ
ロセッサ5369〜5371がそれぞれ配置されている
。
0行目に入出カプロセッサ5009〜5011、第1行
目に重みプロセッサ5109〜5111.第1行目に重
みプロセッサ5143〜5145、第N行目に重みプロ
セッサ5169〜5171、第N+1行目、第m+n+
N+1列目に細胞プロセッサ5209、それ以外の第N
+1行目に重みプロセッサ5210〜5211、第it
行目、第m+n+N+ix列目に細胞プロセッサ524
2、それ以外の第jx行目に重みプロセッサ5241及
び5243、第N+m行目、第2m+n+N列目に細胞
プロセッサ5271、それ以外の第N+m行目に重みプ
ロセッサ5269〜5270、第N+m+1行目に重み
プロセッサ5309〜5311、第iy行目に重みプロ
セッサ5339〜5341、第N+m+n行目に重みプ
ロセッサ5369〜5371がそれぞれ配置されている
。
第2層[第2m+2nN+1列目〜第2m+2n+N列
目コ第0行目に入出カプロセッサ5012〜5014、
第1行目に重みプロセッサ5112〜5114、第1行
目に重みプロセッサ5146〜514B、第8行目に重
みプロセッサ5172〜5174、第N+1行目に重み
プロセッサ5212〜5214、第11行目に重みプロ
セッサ5244〜5246、第N+m行目に重みプロセ
ッサ5272〜5274、第N+m+1行目、第2m+
2nN+1列目に細胞プロセッサ5312、それ以外の
第N+m+1行目に重みプロセッサ5313〜5314
、第11行目、第2tn+n+N+ry列目に細胞プロ
セッサ5344、それ以外の第11行目に重みプロセッ
サ5342.5343.5345及び5346、第N+
m+n行目、第2m+2n十N列目に細胞プロセッサ5
374、それ以外の第N+m+n行目に重みプロセッサ
5372〜5373がそれぞれ配置されている。各層に
おける個々の重みプロセッサおよび細胞プロセッサは上
、下、左、右の重みプロセッサあるいは細胞プロセッサ
と格子状に接続されている。
目コ第0行目に入出カプロセッサ5012〜5014、
第1行目に重みプロセッサ5112〜5114、第1行
目に重みプロセッサ5146〜514B、第8行目に重
みプロセッサ5172〜5174、第N+1行目に重み
プロセッサ5212〜5214、第11行目に重みプロ
セッサ5244〜5246、第N+m行目に重みプロセ
ッサ5272〜5274、第N+m+1行目、第2m+
2nN+1列目に細胞プロセッサ5312、それ以外の
第N+m+1行目に重みプロセッサ5313〜5314
、第11行目、第2tn+n+N+ry列目に細胞プロ
セッサ5344、それ以外の第11行目に重みプロセッ
サ5342.5343.5345及び5346、第N+
m+n行目、第2m+2n十N列目に細胞プロセッサ5
374、それ以外の第N+m+n行目に重みプロセッサ
5372〜5373がそれぞれ配置されている。各層に
おける個々の重みプロセッサおよび細胞プロセッサは上
、下、左、右の重みプロセッサあるいは細胞プロセッサ
と格子状に接続されている。
最右端の重みプロセッサ5114.5148.5174
.5214.5246.5274.5314.5346
および細胞プロセッサ5374は同じ行の最左端の重み
プロセッサ5101.5131、5161.5201.
5231.5261.5301.5331゜5361に
信号線5401〜5409によって各々接続されて、同
時に最下端の重みプロセッサ536I〜5373および
細胞プロセッサ5374はそれぞれ同じ列の入力プロセ
ッサ5001〜5005、出力プロセッサ5006〜5
008または入出カプロセッサ5009〜5014に信
号線5411〜5424によって各々接続されている。
.5214.5246.5274.5314.5346
および細胞プロセッサ5374は同じ行の最左端の重み
プロセッサ5101.5131、5161.5201.
5231.5261.5301.5331゜5361に
信号線5401〜5409によって各々接続されて、同
時に最下端の重みプロセッサ536I〜5373および
細胞プロセッサ5374はそれぞれ同じ列の入力プロセ
ッサ5001〜5005、出力プロセッサ5006〜5
008または入出カプロセッサ5009〜5014に信
号線5411〜5424によって各々接続されている。
入力プロセッサ5001〜5005、出力プロセッサ5
006〜5008および入出カプロセッサ5009〜5
014は外部装置と信号線5021〜5034によって
各々接続されている。
006〜5008および入出カプロセッサ5009〜5
014は外部装置と信号線5021〜5034によって
各々接続されている。
カウンター・プロパゲーション・ネットワーク(CPN
)モデルは第3図に示すように5層のネットワーク構成
を持っている。第1層と第5層には第ρ番目(j)=1
.2.3・・・・・・ L)のベクトルの対(x(1)
、y(ρ))が入力として与えられる。
)モデルは第3図に示すように5層のネットワーク構成
を持っている。第1層と第5層には第ρ番目(j)=1
.2.3・・・・・・ L)のベクトルの対(x(1)
、y(ρ))が入力として与えられる。
ここで、
x (j))= (xl (i))、x2 (N)。
−−−−、x、−(j) ) 、 x、 (j)
) )、y (1)) = (y+ (j)、
72 C1>。
) )、y (1)) = (y+ (j)、
72 C1>。
yれ−s (j)、y−(ρ))である。
そして第2層と第4層からはベクトルx(1)、y(1
)の近似としてベクトルx(1)、y(1)が出力され
る。中間層の出力はベクトルz(!l)で表すと、CP
Nモデルの伝達関数と学習規則は、以下の式で表される
。
)の近似としてベクトルx(1)、y(1)が出力され
る。中間層の出力はベクトルz(!l)で表すと、CP
Nモデルの伝達関数と学習規則は、以下の式で表される
。
第1層と第5層二人力層
第2層と第4層:
x、(j)=Σ w81I(1)・zl (Il)1゛
1 ・・・・・・(21)6w”’
(ρ) (cw” 1+Q’)+dx、 (i’))Zi
(+2)・・・・・・(22) w” z(1+l)”w” z CR) +6w
” 11 (j’ )・・・・・・(23) y’+(1)=Σ w’ j=1 (Il) ・Z、(j) ・・・・・(24) ΔWy (fり (−aw’ z (2)+by、 (1))Zi
(1)・・・・・・(25) ”’ ++(1+l)・Wy 1I(1)+ΔW’
、、 (、fl )・・・・・・(26) 第3層: (ρ)=Σ u、I(j) ・x、 (1)j=1 +Σ V、、Q)) ・y+(i’)j”l
・・・・・・(27)z、(1)=Φ(ω、CI
) 、 S) ・・・・・128)Δu、、(1)
= a (X+ (j)) −uni (j)) )
zl(i)) ・(29)u++ (j +1)
=lllI(fり+Δu1 (Il)・・・・・・(3
0) Δ v、、(j))= β (y+ (j ) V、+ (fり )
zl(fl) −(31)■、(1+1)=vlI(1
)+ΔV、、Q))・・・・・・(32) ここで t(1)) = [x (fl)、 y Q))、 z
Q))。
1 ・・・・・・(21)6w”’
(ρ) (cw” 1+Q’)+dx、 (i’))Zi
(+2)・・・・・・(22) w” z(1+l)”w” z CR) +6w
” 11 (j’ )・・・・・・(23) y’+(1)=Σ w’ j=1 (Il) ・Z、(j) ・・・・・(24) ΔWy (fり (−aw’ z (2)+by、 (1))Zi
(1)・・・・・・(25) ”’ ++(1+l)・Wy 1I(1)+ΔW’
、、 (、fl )・・・・・・(26) 第3層: (ρ)=Σ u、I(j) ・x、 (1)j=1 +Σ V、、Q)) ・y+(i’)j”l
・・・・・・(27)z、(1)=Φ(ω、CI
) 、 S) ・・・・・128)Δu、、(1)
= a (X+ (j)) −uni (j)) )
zl(i)) ・(29)u++ (j +1)
=lllI(fり+Δu1 (Il)・・・・・・(3
0) Δ v、、(j))= β (y+ (j ) V、+ (fり )
zl(fl) −(31)■、(1+1)=vlI(1
)+ΔV、、Q))・・・・・・(32) ここで t(1)) = [x (fl)、 y Q))、 z
Q))。
x’(I)、y’Q))]
=(x、 (j)、x2 (i))、 ・・・・・
・x、 Q))、7+ (j)、y+ (j))
。
・x、 Q))、7+ (j)、y+ (j))
。
y2 (fり、・・・・・・y、 (ρ)。
Zi (ρ)、 z2 (1)、 ・・・・・
・z、(Il)、x′、(j)、 x′2 (2)
・・・・・・、 x’、6(j’)、 y’+
(ρ)。
・z、(Il)、x′、(j)、 x′2 (2)
・・・・・・、 x’、6(j’)、 y’+
(ρ)。
y’+ (#)、 Y’2 (1)。
y’、 (ρ))
とし、策9図に示すように
・・・・・・(33)
・・・・・・(34)
とすると、式(21)、式(24)は既出願の特許(原
本=「ニューロコンピュータ」出願番号63−3309
71および原本: 「ニューロコンピュータ」出願番号
平1−24307)に示されているように、次の漸化式
に分解される。
本=「ニューロコンピュータ」出願番号63−3309
71および原本: 「ニューロコンピュータ」出願番号
平1−24307)に示されているように、次の漸化式
に分解される。
x’、(1) =x’、 ’−’ (j2 )+W1
.□ (!り・tk(1)) 1≦i≦n ・・・・・・(35)Y’+ (
j ) =y’+ k−’ (fり+w、、、、(1
) ・th(Il)1≦i≦m ・・・・・・(
36)同様に式(27)も漸化式に分解することが出来
る。
.□ (!り・tk(1)) 1≦i≦n ・・・・・・(35)Y’+ (
j ) =y’+ k−’ (fり+w、、、、(1
) ・th(Il)1≦i≦m ・・・・・・(
36)同様に式(27)も漸化式に分解することが出来
る。
ω、(j)=ω、’−”(L)
+Wg(h+E C1) ・th(t))1≦i≦N
・・・・・・(37)また、式(28)で表され
る最大値検出関数は、次の漸化式と判別式に分解される
。
・・・・・・(37)また、式(28)で表され
る最大値検出関数は、次の漸化式と判別式に分解される
。
φ、+(ρ)=
maI(Φ、’−’ (j)、 ω1 (ft))e
S Φ(ω+(1)、5)= CPNの学習は、第4図に示すように、入力データの設
定、第3層の計算処理、最大値の検出、第3層の学習処
理、第2層、第4層の計算処理及び第2層、第4層の学
習処理を繰り返し行うことにより実行される。
S Φ(ω+(1)、5)= CPNの学習は、第4図に示すように、入力データの設
定、第3層の計算処理、最大値の検出、第3層の学習処
理、第2層、第4層の計算処理及び第2層、第4層の学
習処理を繰り返し行うことにより実行される。
以下、第4図の順序に従って第3図に示されたCPNに
おけるコホーネンの自己組織化処理、グロスバーブの学
習処理を、第1図に示す格子状円環体に接続された前述
のプロセッサの動作に基づいて詳述する。
おけるコホーネンの自己組織化処理、グロスバーブの学
習処理を、第1図に示す格子状円環体に接続された前述
のプロセッサの動作に基づいて詳述する。
(^)重み係数の初期設定
第1層の重みプロセッサ、5101〜5103.513
1〜5135.5161〜5163.5201〜520
3.5231〜5233.5261〜5263.530
1〜5303.5331〜5333.5361〜536
3、第5層の重みプロセッサ、5104〜5105.5
136〜5137.5164〜5165.5204〜5
205.5234〜5235.5264〜5265.5
304〜5305.5334〜5335.5364〜5
365、第3層の重みプロセッサ、5107〜5108
.5138〜5139.5141〜5142.5166
〜5167.5206〜5208.5236〜5240
.5266〜5268.5306〜5308.5336
〜5338.5366〜5368、第4層の重みプロセ
ッサ、5109〜5111.5143〜5145.51
69〜5171.521O〜5211.5241.52
43.5269〜5270.5309〜5311.53
39〜5341.5369〜537L第2層の重みプロ
セッサ、5112〜5114.5146〜5148.5
172〜5174.5212〜5214.5244〜5
246.5272〜5274.5313〜5314.5
342〜5343.5345〜5346.5351.5
372〜5373の中で、使われている状態、即ち結合
フラグ=1の状態の重みプロセッサが記憶している重み
係数w1+(0)を乱数により初期化する。
1〜5135.5161〜5163.5201〜520
3.5231〜5233.5261〜5263.530
1〜5303.5331〜5333.5361〜536
3、第5層の重みプロセッサ、5104〜5105.5
136〜5137.5164〜5165.5204〜5
205.5234〜5235.5264〜5265.5
304〜5305.5334〜5335.5364〜5
365、第3層の重みプロセッサ、5107〜5108
.5138〜5139.5141〜5142.5166
〜5167.5206〜5208.5236〜5240
.5266〜5268.5306〜5308.5336
〜5338.5366〜5368、第4層の重みプロセ
ッサ、5109〜5111.5143〜5145.51
69〜5171.521O〜5211.5241.52
43.5269〜5270.5309〜5311.53
39〜5341.5369〜537L第2層の重みプロ
セッサ、5112〜5114.5146〜5148.5
172〜5174.5212〜5214.5244〜5
246.5272〜5274.5313〜5314.5
342〜5343.5345〜5346.5351.5
372〜5373の中で、使われている状態、即ち結合
フラグ=1の状態の重みプロセッサが記憶している重み
係数w1+(0)を乱数により初期化する。
(B)入力データの設定
第1層の入力プロセッサ5001〜5003は外部の処
理装置から信号線5021〜5023を介して夫々1番
目の入力データX+ (j’ ) 、l =0,1.
2.−Lを受は取り、第5層の入力プロセッサ500
4.5005は信号線5024.5025を介して夫々
入力データy+(A’)を受は取ると共に、各入力プロ
セッサは夫々の入力データを保持すると同時に下行の重
みプロセッサに入力データx、(I)及びyI(A’)
の夫々をth(1)として転送する。
理装置から信号線5021〜5023を介して夫々1番
目の入力データX+ (j’ ) 、l =0,1.
2.−Lを受は取り、第5層の入力プロセッサ500
4.5005は信号線5024.5025を介して夫々
入力データy+(A’)を受は取ると共に、各入力プロ
セッサは夫々の入力データを保持すると同時に下行の重
みプロセッサに入力データx、(I)及びyI(A’)
の夫々をth(1)として転送する。
(C)第3層の計算処理
まず第3層の細胞プロセッサ5106.5140.51
68の出力値Zl(j’)、第4層の細胞プロセッサ5
209.5242.5271の出力値X’l(A’)、
第2層の細胞プロセッサ5312.5344.5374
の出力値y’+(j’)の夫々の出力値を零に設定する
。
68の出力値Zl(j’)、第4層の細胞プロセッサ5
209.5242.5271の出力値X’l(A’)、
第2層の細胞プロセッサ5312.5344.5374
の出力値y’+(j’)の夫々の出力値を零に設定する
。
以下、各重みプロセッサ、各細胞プロセッサの夫々の代
表例として、第i行、第h (h≦m+n)列目の第1
層の重みプロセッサ5133と第i行、第k (k=m
+n+iJ列目(1〈i≦N)の第3層の細胞プロセッ
サ5140とによりその計算処理を述べる。
表例として、第i行、第h (h≦m+n)列目の第1
層の重みプロセッサ5133と第i行、第k (k=m
+n+iJ列目(1〈i≦N)の第3層の細胞プロセッ
サ5140とによりその計算処理を述べる。
[第i行、第り列目の重みプロセッサ5133]■ 上
の重みプロセッサ5121から転送されて来た信号th
(1)を受は取り、下の重みプロセッサ5151に転送
する。
の重みプロセッサ5121から転送されて来た信号th
(1)を受は取り、下の重みプロセッサ5151に転送
する。
■(a)結合フラグ=1の場合
式(37)に示すように、左の重みプロセッサ5132
から送られて来た部分和ωlh−’(A’)に信号1、
(1)と記憶している重み係数”g(hlk (1)
を表わすu+h(1)又はv+h(1)のいずれか−方
との積を加えて新しい部分和ω1 (1)を計算し、
新しい部分和ωl (1)を右の重みプロセッサ51
34に伝送する。
から送られて来た部分和ωlh−’(A’)に信号1、
(1)と記憶している重み係数”g(hlk (1)
を表わすu+h(1)又はv+h(1)のいずれか−方
との積を加えて新しい部分和ω1 (1)を計算し、
新しい部分和ωl (1)を右の重みプロセッサ51
34に伝送する。
(b)結合フラグ=0の場合
左の重みプロセッサ5132から送られてきた部分和ω
五h−1(1)をωl (At)として右の重みプ
ロセッサ5134に転送する。
五h−1(1)をωl (At)として右の重みプ
ロセッサ5134に転送する。
[第i行、第k (k=m+n+iJ列目の細胞プロセ
ッサ5L40コ ■ 細胞プロセッサの出力z、(A’)をt、。、(1
)として下の重みプロセッサ5152に伝送する。
ッサ5L40コ ■ 細胞プロセッサの出力z、(A’)をt、。、(1
)として下の重みプロセッサ5152に伝送する。
■ 部分和ω+ (2)=0として右の重みプロセ
ッサ5141に伝送する。
ッサ5141に伝送する。
■ 結合フラグ−〇なので、左の重みプロセッサ513
9から送られて来た部分和ω、に−1(1)を最終の積
和結果すなわち累積値ωl(Aり=ω1に′−1(1)
とする。
9から送られて来た部分和ω、に−1(1)を最終の積
和結果すなわち累積値ωl(Aり=ω1に′−1(1)
とする。
上述の計算処理において、出力プロセッサ、入出カプロ
セッサは、同列の最下行の重みプロセッサまたは細胞プ
ロセッサからth(1)を受は取ると、直ちにすぐ下の
重みプロセッサまたは細胞プロセッサに転送する。
セッサは、同列の最下行の重みプロセッサまたは細胞プ
ロセッサからth(1)を受は取ると、直ちにすぐ下の
重みプロセッサまたは細胞プロセッサに転送する。
(DJ最大値検出処理
第3層の全ての細胞プロセッサ5106.5140.5
168で最終の積和結果が得られたら第3層の各細胞プ
ロセッサの出力の中で最大値を求める。最大値検出処理
では、まず、第2層と第4層の細胞プロセッサ5209
.5242.5271.5312.5344.5374
は、それぞれ最小値−(1)を右の重みプロセッサに出
力する。そして、各重みプロセッサは左の重みプロセッ
サまたは細胞プロセッサから送られて来た値をそのまま
右の重みプロセッサに転送する。
168で最終の積和結果が得られたら第3層の各細胞プ
ロセッサの出力の中で最大値を求める。最大値検出処理
では、まず、第2層と第4層の細胞プロセッサ5209
.5242.5271.5312.5344.5374
は、それぞれ最小値−(1)を右の重みプロセッサに出
力する。そして、各重みプロセッサは左の重みプロセッ
サまたは細胞プロセッサから送られて来た値をそのまま
右の重みプロセッサに転送する。
第3図の第k (k=m+n+i)列の最大値検出処理
を、第5図に示す。
を、第5図に示す。
第5図において、第り行、第k (k=m+n+i)列
目(l<1≦N)の重みプロセッサ703と第i行、第
k (k=m+n+i)列目(1<i≦N)の細胞プロ
セッサ706の計算処理を代表例として示す。
目(l<1≦N)の重みプロセッサ703と第i行、第
k (k=m+n+i)列目(1<i≦N)の細胞プロ
セッサ706の計算処理を代表例として示す。
[第り行、第k (k=m+n+i)列目の重みプロセ
ッサ703] ■ 左の重みプロセッサ721から転送されて来た累積
値ω、(A’)を受は取り、右の重みプロセッサ722
に転送する。
ッサ703] ■ 左の重みプロセッサ721から転送されて来た累積
値ω、(A’)を受は取り、右の重みプロセッサ722
に転送する。
■ 上の重みプロセッサ702から送られて来た極大値
φ h−1(1)と、左の重みプロセッサ21から送ら
れてきた累積値ωh(1)とを比較して、式(38)に
より、大きい方の値を、重みプロセッサ703における
極大値φ1 (1)として、下の重みプロセッサ70
4に伝送する。
φ h−1(1)と、左の重みプロセッサ21から送ら
れてきた累積値ωh(1)とを比較して、式(38)に
より、大きい方の値を、重みプロセッサ703における
極大値φ1 (1)として、下の重みプロセッサ70
4に伝送する。
[第i行、第k (k=m+n+iJ列目の細胞プロセ
ッサ706] ■ 左の重みプロセッサ731から送られて来た累積値
ω、(1)を受は取り、右の重みプロセッサ732に伝
送する。
ッサ706] ■ 左の重みプロセッサ731から送られて来た累積値
ω、(1)を受は取り、右の重みプロセッサ732に伝
送する。
■ 細胞プロセッサ706の初期極大値φ、’(j’)
を−ψとして下の重みプロセッサ707に伝送する。
を−ψとして下の重みプロセッサ707に伝送する。
■ 式(39)に基づいて、上の重みプロセッサ705
から送られて来た極大値φl’−’(1)と、細胞プロ
セッサ706の累積値ωl (I)とを大小比較する。
から送られて来た極大値φl’−’(1)と、細胞プロ
セッサ706の累積値ωl (I)とを大小比較する。
(り ω+(1)>φl’−’(A’)の場合最大値
検出関数Φ(ω、(1)、5)=1を細胞プロセッサ7
06の出力とする。
検出関数Φ(ω、(1)、5)=1を細胞プロセッサ7
06の出力とする。
(b) その他の場合
最大値検出関数Φ(ω、 (A’)、 S) =0
を細胞プロセッサ706の出力とする。
を細胞プロセッサ706の出力とする。
(E)第3層の学習処理
教師なしの自己学習を行うCPNモデルでは、入力ベク
トルx(7)、y(1)が教師データとなる。
トルx(7)、y(1)が教師データとなる。
教師データx(1)、y(1)は、入力プロセッサから
同列に配置された重みプロセッサを通して上から下へ伝
送され、同列の各重みプロセッサに供給される。各細胞
プロセッサの出力は、同じ行の重みプロセッサを通して
伝送され、同行の各重みプロセッサに供給される。
同列に配置された重みプロセッサを通して上から下へ伝
送され、同列の各重みプロセッサに供給される。各細胞
プロセッサの出力は、同じ行の重みプロセッサを通して
伝送され、同行の各重みプロセッサに供給される。
自己学習によって変化する重み係数は、上述の最大値検
出関数Φ(ωt (z)、5)=tを出力した第3層
の細胞プロセッサと同じ行で結合フラグが1の重みプロ
セッサの重み係数だけである。
出関数Φ(ωt (z)、5)=tを出力した第3層
の細胞プロセッサと同じ行で結合フラグが1の重みプロ
セッサの重み係数だけである。
重み係数の変化量は、式(29L (31)によって表
される。
される。
以下、第1行、第k (k=m+n+i)列目(1くi
≦N)の第3層の細胞プロセッサ5140と第i行、第
h(h≦m+n)列目の第1層の重みプロセッサ513
3の計算処理を代表例として示す。
≦N)の第3層の細胞プロセッサ5140と第i行、第
h(h≦m+n)列目の第1層の重みプロセッサ513
3の計算処理を代表例として示す。
[第1行、第k (k=m+n+i)列目の第3層の細
胞プロセッサ5140] ■ 同行の右側の列の重みプロセッサ5141に、式(
28)により計算された最大値検出の結果z+(1)を
出力する。
胞プロセッサ5140] ■ 同行の右側の列の重みプロセッサ5141に、式(
28)により計算された最大値検出の結果z+(1)を
出力する。
■ 同時に、0(零)を同列の下の重みプロセッサ51
52に出力する。
52に出力する。
[第i行、第り列目の重みプロセッサ5133]■ 同
列の上の重みプロセッサ5121から転送されて来た信
号[教師入力データ]xh(J)を受は取り、同列の下
の重みプロセッサ5151に転送する。
列の上の重みプロセッサ5121から転送されて来た信
号[教師入力データ]xh(J)を受は取り、同列の下
の重みプロセッサ5151に転送する。
■ 同行の左の列の重みプロセッサ5132から転送さ
れて来た信号z+(1)を受は取り、受は取った信号z
、(jりを同行の右の列の重みプロセッサ5134に転
送する。
れて来た信号z+(1)を受は取り、受は取った信号z
、(jりを同行の右の列の重みプロセッサ5134に転
送する。
■ (a)結合フラグ=1の場合
式(29)、(31)に従って、同列の上の重みプロセ
ッサ5121から送られて来た教師データxh(J)(
またはyh(1))と記憶している重み係数u+h(I
l)(またはVlh(A’))との差に左の重みプロセ
ッサから送られて来た細胞プロセッサの出力z、(1)
と学習係数α(またはβ)を掛けて重み係数の変化量Δ
u、h(1)(またはΔVlh(1))を計算して、式
(30)および式(32)に従って、重み係数の値を更
新する。
ッサ5121から送られて来た教師データxh(J)(
またはyh(1))と記憶している重み係数u+h(I
l)(またはVlh(A’))との差に左の重みプロセ
ッサから送られて来た細胞プロセッサの出力z、(1)
と学習係数α(またはβ)を掛けて重み係数の変化量Δ
u、h(1)(またはΔVlh(1))を計算して、式
(30)および式(32)に従って、重み係数の値を更
新する。
(b) 結合フラグ=0の場合
上述の重み係数の変更はない。
最古列の重みプロセッサは最左列の重みプロセッサに信
号z、(1)を転送する。
号z、(1)を転送する。
(F)第2層、第4層の計算処理
第2層、第4層の計算処理では、まず、第3層の細胞プ
ロセッサ5106.5140.5168の出力値Zl(
1)は同じ列の重みプロセッサを通して同列の各重みプ
ロセッサに配られる。
ロセッサ5106.5140.5168の出力値Zl(
1)は同じ列の重みプロセッサを通して同列の各重みプ
ロセッサに配られる。
各重みプロセッサ及び各細胞プロセッサは、式(21)
及び式(24)の計算処理を以下に示す代表例のように
行う。
及び式(24)の計算処理を以下に示す代表例のように
行う。
ここでは、第1行、第k (k=m+n+i)列目(1
〈l ≦N)の第3層の細胞プロセッサ5140と第1
1行、第k (k=m+n+i1列目の第3層目の重み
プロセッサ5238と第iy 行、第b (k=2m
+n+N+iy)列目(1<i ≦lI)の第2層の細
胞プロセッサ5344の計算処理を代表例として示す。
〈l ≦N)の第3層の細胞プロセッサ5140と第1
1行、第k (k=m+n+i1列目の第3層目の重み
プロセッサ5238と第iy 行、第b (k=2m
+n+N+iy)列目(1<i ≦lI)の第2層の細
胞プロセッサ5344の計算処理を代表例として示す。
出力プロセ・ソサ、入出カプロセッサは、同列の最下行
の重みプロセ・ソサまたは細胞プロセッサからth(I
りを受は取ると、直ちにすぐ下の重みプロセッサまたは
細胞プロセッサに転送する。
の重みプロセ・ソサまたは細胞プロセッサからth(I
りを受は取ると、直ちにすぐ下の重みプロセッサまたは
細胞プロセッサに転送する。
[第1行、第k (k=m+n+i)列目の第3層の細
胞プロセッサ5140] ■ 細胞プロセッサ5140の出力2+(1)をth(
Iりとして同列の下の重みプロセッサ5152に伝送す
る。
胞プロセッサ5140] ■ 細胞プロセッサ5140の出力2+(1)をth(
Iりとして同列の下の重みプロセッサ5152に伝送す
る。
[第jx行、第k (k=m++++i)列目の第3層
の重みプロセッサ5238] ■ 同列の上の重みプロセッサ5221から転送されて
来た信号th(1)を受は取り、同列の下の重みプロセ
ッサ5251に転送する。
の重みプロセッサ5238] ■ 同列の上の重みプロセッサ5221から転送されて
来た信号th(1)を受は取り、同列の下の重みプロセ
ッサ5251に転送する。
■(a) 結合フラグ=1の場合
式(35)又は式(36)に従って、左の重みプロセッ
サ5237から送られて来た部分和X+”−’(1)(
またはy+ K−’ CI ) )に信号1.(1)
と記憶している重み係数 u+h(1)(またはV+h(A’))との積を加えて
新しい部分和x+(1)(またはy/、 (1)
)として右の重みプロセッサ5239に伝送する。
サ5237から送られて来た部分和X+”−’(1)(
またはy+ K−’ CI ) )に信号1.(1)
と記憶している重み係数 u+h(1)(またはV+h(A’))との積を加えて
新しい部分和x+(1)(またはy/、 (1)
)として右の重みプロセッサ5239に伝送する。
(b)結合フラグ=0の場合
左の重みプロセッサ5237から送られて来た部分和X
’+ ’−’ (1) (まりt;t y/、 ’
−’ (1) ’jt新りい部分和X′1″ (1)
(またはy/、 (1) )として右の重みプロセ
ッサ5239に転送する。
’+ ’−’ (1) (まりt;t y/、 ’
−’ (1) ’jt新りい部分和X′1″ (1)
(またはy/、 (1) )として右の重みプロセ
ッサ5239に転送する。
[第iy行、第k(k =2m+n+N+i7)列目(
1く1≦n)の第2層の細胞プロセッサ5344]■
細胞プロセッサ5344の出力y’+(A’)(または
x’+(1))を1.(1)として同列の下の重みプロ
セッサ5351に伝送する。
1く1≦n)の第2層の細胞プロセッサ5344]■
細胞プロセッサ5344の出力y’+(A’)(または
x’+(1))を1.(1)として同列の下の重みプロ
セッサ5351に伝送する。
■ 部分和y+ ’−’ CI ) =O(またはx
、 k−’ CI ) =0 )として同行の右の重
みプロセッサ5345に伝送する。
、 k−’ CI ) =0 )として同行の右の重
みプロセッサ5345に伝送する。
■ 結合フラグ=0なので、同行の左の重みプロセッサ
5343から送られて来た部分和y+’−’(1)(ま
たはX’l ’−’ CI ) )を最終の積和結果
y′、 (I) =7’、 ト’ (A’ )
(またはX’1(1)=X’l ’−’ CI ”)
)とする。
5343から送られて来た部分和y+’−’(1)(ま
たはX’l ’−’ CI ) )を最終の積和結果
y′、 (I) =7’、 ト’ (A’ )
(またはX’1(1)=X’l ’−’ CI ”)
)とする。
(G)第2層、第4層の学習処理
第2層、第4層の学習においても第3層の学習と同様、
教師なしの自己学習なので、入力ベクトルX(Il)、
y(1)が教師データとなる。第2層、第4層の場合に
は、教師データは入出カプロセッサから供給され、同じ
列上の重みプロセッサを通して各列に配置された第2層
、第4層の各細胞プロセッサに一旦格納され、これらの
細胞プロセッサから同じ行の重みプロセッサを経て同じ
行の各重みプロセッサに配られる。
教師なしの自己学習なので、入力ベクトルX(Il)、
y(1)が教師データとなる。第2層、第4層の場合に
は、教師データは入出カプロセッサから供給され、同じ
列上の重みプロセッサを通して各列に配置された第2層
、第4層の各細胞プロセッサに一旦格納され、これらの
細胞プロセッサから同じ行の重みプロセッサを経て同じ
行の各重みプロセッサに配られる。
第3層の細胞プロセッサの出力は同じ列の重みプロセッ
サを通して伝搬され、同列の各重みプロセッサに配られ
る。
サを通して伝搬され、同列の各重みプロセッサに配られ
る。
自己学習によって変化する重み係数は、最大値検出関数
Φ(ω、(1)、5)=1を出力している第3層の細胞
プロセッサの出力に接続されている重みプロセッサの重
み係数だけである。
Φ(ω、(1)、5)=1を出力している第3層の細胞
プロセッサの出力に接続されている重みプロセッサの重
み係数だけである。
重み係数の変化量は式(22)及び式(25)によって
表される。
表される。
以下、第1行、第k (k=m+n+i)列目(1〈i
≦N)の第3層の細胞プロセッサ5140と第11行、
k (k=m+n+)列目の第3層の重みプロセッサ5
238と第jy行、第k (k=2m+n+N+iり列
目(1<i≦n)の第2層の細胞プロセッサ5344の
計算処理を代表例として示す。
≦N)の第3層の細胞プロセッサ5140と第11行、
k (k=m+n+)列目の第3層の重みプロセッサ5
238と第jy行、第k (k=2m+n+N+iり列
目(1<i≦n)の第2層の細胞プロセッサ5344の
計算処理を代表例として示す。
出力プロセッサ、入出カプロセッサは、同列の最下行の
重みプロセッサまたは細胞プロセッサからth(1)を
受は取ると、直ちにすぐ下の重みプロセッサまたは細胞
プロセッサに転送する。
重みプロセッサまたは細胞プロセッサからth(1)を
受は取ると、直ちにすぐ下の重みプロセッサまたは細胞
プロセッサに転送する。
[第1行、第k (k=m+n+iJ列目の第3層の細
胞プロセッサ5140コ ■ 細胞プロセッサ5140の出力Zl(A’)をt、
(1)として同列の下の重みプロセッサ5I52に伝送
する。
胞プロセッサ5140コ ■ 細胞プロセッサ5140の出力Zl(A’)をt、
(1)として同列の下の重みプロセッサ5I52に伝送
する。
[第jx行、第k (k=m+n+i1列目の第3層の
重みプロセッサ5238] ■ 同列の上の重みプロセッサ522Iから転送されて
来た信号th(1)を受は取り、同列の下の重みプロセ
ッサ5251に転送する。
重みプロセッサ5238] ■ 同列の上の重みプロセッサ522Iから転送されて
来た信号th(1)を受は取り、同列の下の重みプロセ
ッサ5251に転送する。
■ 同行の左の重みプロセッサ5237から転送されて
来た教師データXI (jり (またはy+(1)
)を受は取り、同行の右の重みプロセッサ5239に転
送する。
来た教師データXI (jり (またはy+(1)
)を受は取り、同行の右の重みプロセッサ5239に転
送する。
■(a)結合フラグ=1の場合
式(22) (または式(25))に示すように、同行
の左の重みプロセッサ5237から送られて来た教師デ
ータXI (1)(またはy+(Il))に係数d(
または係数b)を掛け、記憶している重み係数W”1l
(1)(またはw’ B C1) ) ニ係数−C(ま
たは係数−a)を掛けたものを加算し、これに第3層の
細胞プロセッサの出力z、(1)を掛けて重みの変化量
Δw1□(Il] (またはΔW!(A’))を計算し
て、式(23)および式(2G)に従って、重み係数の
値を更新する。
の左の重みプロセッサ5237から送られて来た教師デ
ータXI (1)(またはy+(Il))に係数d(
または係数b)を掛け、記憶している重み係数W”1l
(1)(またはw’ B C1) ) ニ係数−C(ま
たは係数−a)を掛けたものを加算し、これに第3層の
細胞プロセッサの出力z、(1)を掛けて重みの変化量
Δw1□(Il] (またはΔW!(A’))を計算し
て、式(23)および式(2G)に従って、重み係数の
値を更新する。
(b) 結合フラグ−〇の場合
重み係数の変更は、行わない。
C第iy行、第k(k = 2m+n十N+77)列目
(I〈1≦n)の第2層の細胞プロセッサ5344]■
入出カプロセッサ5013より事前に受は取っていた
教師データy+y(1)(またはXI、(1))を同行
の右の重みプロセッサ5345に伝送する。
(I〈1≦n)の第2層の細胞プロセッサ5344]■
入出カプロセッサ5013より事前に受は取っていた
教師データy+y(1)(またはXI、(1))を同行
の右の重みプロセッサ5345に伝送する。
(H)学習の収束判定
学習の収束判定では、学習による重みの変化量の平均値
又は最大値が、所定の値より小さくなったかどうかを調
べて、このCPNが安定状態に入ったか否かを判定する
。安定状態に入ったならば、学習を終了する。一方、ま
だ不安定な場合には、(B)の処理にもどって、入力デ
ータを繰り返し与えることにより学習を継続する。
又は最大値が、所定の値より小さくなったかどうかを調
べて、このCPNが安定状態に入ったか否かを判定する
。安定状態に入ったならば、学習を終了する。一方、ま
だ不安定な場合には、(B)の処理にもどって、入力デ
ータを繰り返し与えることにより学習を継続する。
以上、最大値検出処理を含むCPNの計算処理を格子状
円環体結合の基本プロセッサ上で行なうことについて述
べたが、これらの計算処理は格子状矩形面結合の基本プ
ロセッサ上でも同様に行なうことができる。
円環体結合の基本プロセッサ上で行なうことについて述
べたが、これらの計算処理は格子状矩形面結合の基本プ
ロセッサ上でも同様に行なうことができる。
次に、重みプロセッサ、細胞プロセッサ、入力プロセッ
サ、出力プロセッサ、入出カプロセッサをすべて仮想プ
ロセッサと考え、PxQ個の格子状円環体結合の実プロ
セッサを備えたニューロコンビコータについて述べる。
サ、出力プロセッサ、入出カプロセッサをすべて仮想プ
ロセッサと考え、PxQ個の格子状円環体結合の実プロ
セッサを備えたニューロコンビコータについて述べる。
前記の重みプロセッサ、細胞プロセッサ、入力プロセッ
サ、出力プロセッサ、入出カプロセッサを全て仮想プロ
セッサと考え、第6図に示すように、(N+a++n+
1)行、(N+2m+2n)列の格子状に配列された仮
想プロセッサ群を縦方向にP (P< N+m+n+1)分割、横方向にQ (Q<
N+2m+2n)分割する。
サ、出力プロセッサ、入出カプロセッサを全て仮想プロ
セッサと考え、第6図に示すように、(N+a++n+
1)行、(N+2m+2n)列の格子状に配列された仮
想プロセッサ群を縦方向にP (P< N+m+n+1)分割、横方向にQ (Q<
N+2m+2n)分割する。
次に、第7図(a)に示すように分割された矩形領域に
夫々1つの実プロセッサ(実際のプロセッサ)91O〜
934を割り当てることにより、P行、Q列の格子状に
実プロセッサの配列を構成する。
夫々1つの実プロセッサ(実際のプロセッサ)91O〜
934を割り当てることにより、P行、Q列の格子状に
実プロセッサの配列を構成する。
各実プロセッサは、上、下、左、右の実プロセッサと格
子状に接続し、最右端の実プロセッサ914.919.
924.929.934は信号線940〜944によっ
て、それぞれ同じ行の最左端の実プロセッサ910.9
15.920.925.930に接続する。
子状に接続し、最右端の実プロセッサ914.919.
924.929.934は信号線940〜944によっ
て、それぞれ同じ行の最左端の実プロセッサ910.9
15.920.925.930に接続する。
最下端の実プロセッサ930〜934は信号線935〜
939によって、それぞれ同じ列の最上端の実プロセッ
サ910〜914に接続する。さらに、最下行の実プロ
セッサ910〜914に入出力機能を持たせるために、
信号線901〜905によって、ホストコンピュータ9
00のパスライン906に実プロセッサ910〜914
のそれぞれを接続する。
939によって、それぞれ同じ列の最上端の実プロセッ
サ910〜914に接続する。さらに、最下行の実プロ
セッサ910〜914に入出力機能を持たせるために、
信号線901〜905によって、ホストコンピュータ9
00のパスライン906に実プロセッサ910〜914
のそれぞれを接続する。
ただし、入出力機能を持たせる実プロセッサは必ずしも
最上行である必要はなく、各列に少なくとも1つ配置さ
れていれば良い。
最上行である必要はなく、各列に少なくとも1つ配置さ
れていれば良い。
入出力機能をもった実プロセッサは第7図(b)に示す
ように、割り当てられた矩形領域に含まれる入力プロセ
ッサ、出力プロセッサ、入出カプロセッサ、重みプロセ
ッサおよび細胞プロセッサの演算機能および記憶機能を
分担する。
ように、割り当てられた矩形領域に含まれる入力プロセ
ッサ、出力プロセッサ、入出カプロセッサ、重みプロセ
ッサおよび細胞プロセッサの演算機能および記憶機能を
分担する。
他の実プロセッサは第7図(e)に示すように、割り当
てられた矩形領域に含まれる重みプロセッサおよび細胞
プロセッサの演算機能および記憶機能を分担する。
てられた矩形領域に含まれる重みプロセッサおよび細胞
プロセッサの演算機能および記憶機能を分担する。
以上のように構成された実プロセッサ群は格子状円環体
に結合された実プロセッサ群を形成する。
に結合された実プロセッサ群を形成する。
各実プロセッサは格子の接点(交差点)に位置するので
、これをノードプロセッサと呼ぶことにする。
、これをノードプロセッサと呼ぶことにする。
ノードプロセッサは、重みプロセッサの重み係数、細胞
プロセッサの出力値および学習の中間値を記憶するデー
タメモリと4方向の接続ができる入出力機能とを持った
通常のマイクロプロセッサで良く、高速の積和演算機能
を持っていることが好ましい。
プロセッサの出力値および学習の中間値を記憶するデー
タメモリと4方向の接続ができる入出力機能とを持った
通常のマイクロプロセッサで良く、高速の積和演算機能
を持っていることが好ましい。
適切な行の値Pと列の値Qを選んで、格子状円環体に結
合されたノードプロセッサ群を用いれば、現実的な数の
プロセッサで大規模な神経回路網の計算を並列に行うニ
ューロコンピュータを実現することができる。
合されたノードプロセッサ群を用いれば、現実的な数の
プロセッサで大規模な神経回路網の計算を並列に行うニ
ューロコンピュータを実現することができる。
仮想プロセッサを矩形領域に分割してノードプロセッサ
に割り当てる場合には、式(21)、式(24)、式(
27)、式(40)、式(42)、式(44)の部分和
の式と式(41)、式(43)、式(45)の漸化式で
表される。
に割り当てる場合には、式(21)、式(24)、式(
27)、式(40)、式(42)、式(44)の部分和
の式と式(41)、式(43)、式(45)の漸化式で
表される。
uq
A、 (1=Σ Wgu+h (j’ )
・tm (!りk″” ql ≦i ≦n −・・
・・・(40)X+ (fi ) =)(’、 q
−’ (1) +Al (1)1≦i≦n ・・
・・・・(41) uq BI Q (1=Σ Wifl)k (j)−tm
(1)”lq1≦j≦m −=142) V’+’(ρ) =y’、 q−’ (1) +BI
Q(fり1≦j≦m ・・・・・・(43) uq Chq (j)=Σ Jilk G+ ) −t
kQ) )k=IIq 1≦l≦N ・・団・(4
4)ω、°(ρ)=ωh q−’ (1)+Ch q
(11≦h≦N ・・・・・・(45) また、式(28)を次に示す式(46)の極大値検出と
式(47)の漸化式と式(48)の判別式に書き換える
事が出来る。
・tm (!りk″” ql ≦i ≦n −・・
・・・(40)X+ (fi ) =)(’、 q
−’ (1) +Al (1)1≦i≦n ・・
・・・・(41) uq BI Q (1=Σ Wifl)k (j)−tm
(1)”lq1≦j≦m −=142) V’+’(ρ) =y’、 q−’ (1) +BI
Q(fり1≦j≦m ・・・・・・(43) uq Chq (j)=Σ Jilk G+ ) −t
kQ) )k=IIq 1≦l≦N ・・団・(4
4)ω、°(ρ)=ωh q−’ (1)+Ch q
(11≦h≦N ・・・・・・(45) また、式(28)を次に示す式(46)の極大値検出と
式(47)の漸化式と式(48)の判別式に書き換える
事が出来る。
E+ ’ Q) ) =mariωu、 (1)
。
。
ωljp。1 (1)・・・・・・、ω1゜、−、(!
り。
り。
ω1゜、(ρ)) ・・・・・・(4
G)φ+ ’ (i) ) =mxz[φ1’−’
CI ) 。
G)φ+ ’ (i) ) =mxz[φ1’−’
CI ) 。
El’(!りl ・・・・・・(47)Φ (
ω+(j)、S)= 以上の式の変形からも分かるように各ノードプロセッサ
は逐次処理を行うが、PX3台のノードプロセッサが並
列に処理を行う。特に、非常に時間のかかる積和演算に
ついては、重みプロセッサが個々に行っていた部分和の
計算を、分担する矩形領域の中での部分和の計算として
各ノードプロセッサが独立に行う。
ω+(j)、S)= 以上の式の変形からも分かるように各ノードプロセッサ
は逐次処理を行うが、PX3台のノードプロセッサが並
列に処理を行う。特に、非常に時間のかかる積和演算に
ついては、重みプロセッサが個々に行っていた部分和の
計算を、分担する矩形領域の中での部分和の計算として
各ノードプロセッサが独立に行う。
以下、第7図(a)、第7図(b)および第7図(C)
を参照して、CPNのシミュレーションを第4図の処理
フローに沿って説明する。
を参照して、CPNのシミュレーションを第4図の処理
フローに沿って説明する。
(A)重み係数の初期設定
ノードプロセッサ910〜934の夫々は、分担してい
る重みプロセッサが記憶している重み係数の中で結合フ
ラグ=1の重み係数を、逐次、乱数によって初期化する
。各ノードプロセッサは、同時にかつ並列に初期化を行
う。
る重みプロセッサが記憶している重み係数の中で結合フ
ラグ=1の重み係数を、逐次、乱数によって初期化する
。各ノードプロセッサは、同時にかつ並列に初期化を行
う。
(B)入力データの設定
入出力機能を有するノードプロセッサ910〜914の
夫々は、分担している各入力プロセッサに対応する入力
データを逐次ホストコンピュータ900から受は取り、
受は取った入力データを入力プロセッサのバッファ94
5.946に保持する。同時に、分担している各入出カ
プロセッサに対してもホストコンピュータ900から入
力データを受は取り、受は取った入力データを教師デー
タとして入出カプロセッサのバッファ948〜950に
保持する。
夫々は、分担している各入力プロセッサに対応する入力
データを逐次ホストコンピュータ900から受は取り、
受は取った入力データを入力プロセッサのバッファ94
5.946に保持する。同時に、分担している各入出カ
プロセッサに対してもホストコンピュータ900から入
力データを受は取り、受は取った入力データを教師デー
タとして入出カプロセッサのバッファ948〜950に
保持する。
(C)第3層の計算処理
第3層の計算処理では、まず、細胞プロセッサを分担し
ている各ノードプロセッサは細胞プロセッサの出力値z
I (1)、xl (1)、y′I (1)をすべて零
−にする。次に各重みプロセッサおよび細胞プロセッサ
の計算処理について、第9行、第9列目のノードプロセ
ッサ922の計算処理を例に説明するが、これらの処理
は各ノードプロセッサで同時にかつ並列に実行される。
ている各ノードプロセッサは細胞プロセッサの出力値z
I (1)、xl (1)、y′I (1)をすべて零
−にする。次に各重みプロセッサおよび細胞プロセッサ
の計算処理について、第9行、第9列目のノードプロセ
ッサ922の計算処理を例に説明するが、これらの処理
は各ノードプロセッサで同時にかつ並列に実行される。
■ 第9行、第9列目のノードプロセッサ922のノー
ドプロセッサが分担している矩形領域内に入力プロセッ
サが存在する列りがあれば、th (j7)=xh
(1)またはyh(j’)として、th(1)を列番
号りと一緒に下のノードプロセッサ927に逐次転送す
る。
ドプロセッサが分担している矩形領域内に入力プロセッ
サが存在する列りがあれば、th (j7)=xh
(1)またはyh(j’)として、th(1)を列番
号りと一緒に下のノードプロセッサ927に逐次転送す
る。
矩形領域内に細胞プロセッサが存在する列に=g (i
)があれば、th (1)=z、(I)、X’l(A
’)またはy’+(Il)とし、tk (A’、)を
列番号にと一緒に同列の下のノードプロセッサ927に
逐次転送する。
)があれば、th (1)=z、(I)、X’l(A
’)またはy’+(Il)とし、tk (A’、)を
列番号にと一緒に同列の下のノードプロセッサ927に
逐次転送する。
細胞プロセッサ、入力プロセッサが存在していない列に
ついては、同列の上のノードプロセッサ917から転送
されて来た信号t+ (1)(ie(LlqS 11
q+1、・・・、Iuq −1、luq ) ]を逐次
受は取り、各列毎に入出カプロセッサ948またはバッ
ファ970.973.974に保持すると同時に、1.
(1)を列番号iと一緒に同列の下のノードプロセッサ
927に逐次転送する。
ついては、同列の上のノードプロセッサ917から転送
されて来た信号t+ (1)(ie(LlqS 11
q+1、・・・、Iuq −1、luq ) ]を逐次
受は取り、各列毎に入出カプロセッサ948またはバッ
ファ970.973.974に保持すると同時に、1.
(1)を列番号iと一緒に同列の下のノードプロセッサ
927に逐次転送する。
p=p、すなわち、最下行のノードプロセッサ932の
場合には、t、(I)を列番号iと一緒に最上端のノー
ドプロセッサ912に信号線937により逐次転送する
。
場合には、t、(I)を列番号iと一緒に最上端のノー
ドプロセッサ912に信号線937により逐次転送する
。
■ 第9行、第9列目のノードプロセッサ922が分担
している仮想プロセッサの中に第3層の細胞プロセッサ
が含まれていたならば、含まれている第3層の細胞プロ
セッサに対して、その位置する行番号jと一緒に部分和
の初期値ωl (1)=0を右のノードプロセッサ
923に逐次転送する。
している仮想プロセッサの中に第3層の細胞プロセッサ
が含まれていたならば、含まれている第3層の細胞プロ
セッサに対して、その位置する行番号jと一緒に部分和
の初期値ωl (1)=0を右のノードプロセッサ
923に逐次転送する。
■ 第9行、第9列目のノードプロセッサ922が分担
している矩形領域内の重みプロセッサについて各行毎に
式(44)によって矩形領域内の部分和C1(J)を計
算し、計算の結果をバッファ956〜960及び988
〜993に格納しておく。
している矩形領域内の重みプロセッサについて各行毎に
式(44)によって矩形領域内の部分和C1(J)を計
算し、計算の結果をバッファ956〜960及び988
〜993に格納しておく。
■ 左のノードプロセッサ921から部分和ω1°−’
(Iりが行番号jと一緒に送られて来たならば、矩形領
域内の部分和c、 (7)の計算が済んでいるか否
かを調べる。
(Iりが行番号jと一緒に送られて来たならば、矩形領
域内の部分和c、 (7)の計算が済んでいるか否
かを調べる。
(a)部分和の計算が済んでいる場合
式(45)によって新しい部分和ωr (jりを計
算する。
算する。
(b)矩形領域内の部分和の計算が済んでいない場合
部分和ωrQ−’Ci)を−旦行番号jと一緒にバッフ
ァ956〜960及び988〜992の対応する場所に
格納しておき、矩形領域内の部分和C6(1)の計算が
済むのを待つ。矩形領域内の部分和C,(1)の計算が
終了すれば直ちに式(45)によって、新しい部分和ω
1 (1)を計算する。
ァ956〜960及び988〜992の対応する場所に
格納しておき、矩形領域内の部分和C6(1)の計算が
済むのを待つ。矩形領域内の部分和C,(1)の計算が
終了すれば直ちに式(45)によって、新しい部分和ω
1 (1)を計算する。
ここで、矩形領域内のj行目に細胞プロセッサが含まれ
ているかを調べる。
ているかを調べる。
(c) j行目に細胞プロセッサが含まれていない場合
新しい部分和ω、 (I)を番号jと一緒に右のノー
ドプロセッサ923に転送する。
ドプロセッサ923に転送する。
(d)j行目に細胞プロセッサが含まれている場合
新しい部分和ω、 (1)を積和演算結果ωI(A’
)とする。
)とする。
最右端に位置する場合、即ち、q=Qの場合には、新し
い部分和ω+。(1)=ωIQ U’)を番号jと一緒
に最左端のノードプロセッサ920に転送する。
い部分和ω+。(1)=ωIQ U’)を番号jと一緒
に最左端のノードプロセッサ920に転送する。
(D)最大値検出処理
第3層の全ての細胞プロセッサに最終の積和結果が得ら
れた後、第3層の各細胞プロセッサの出力の中で最大値
を求める。
れた後、第3層の各細胞プロセッサの出力の中で最大値
を求める。
■ 第p行、第9列目のノードプロセッサ922のノー
ドプロセッサが分担している矩形領域内に第3層の細胞
プロセッサが存在する行に=g(i)があれば、ωI(
A’)を行番号にと一緒に右のノードプロセッサ923
に逐次転送する。
ドプロセッサが分担している矩形領域内に第3層の細胞
プロセッサが存在する行に=g(i)があれば、ωI(
A’)を行番号にと一緒に右のノードプロセッサ923
に逐次転送する。
矩形領域内に第2層または第4層の細胞プロセッサが存
在する行k =g(i)があれば、−(1)を行番号に
と一緒に右のノードプロセッサ923に逐次転送する。
在する行k =g(i)があれば、−(1)を行番号に
と一緒に右のノードプロセッサ923に逐次転送する。
細胞プロセッサが存在していない行については、左のノ
ードプロセッサ921から行番号jと一緒に転送されて
来た信号ωI(A’)又は−(1)〔j(JlpSIl
p +1、・・・、Jup −I 5Jul+ ) ]
を逐次受は取り、各行毎にバッファ951〜955及び
976〜981に保持すると同時に、ω、(1)または
−■を行番号jと一緒に右のノードプロセッサ923に
逐次転送する。
ードプロセッサ921から行番号jと一緒に転送されて
来た信号ωI(A’)又は−(1)〔j(JlpSIl
p +1、・・・、Jup −I 5Jul+ ) ]
を逐次受は取り、各行毎にバッファ951〜955及び
976〜981に保持すると同時に、ω、(1)または
−■を行番号jと一緒に右のノードプロセッサ923に
逐次転送する。
最右端に位置する場合、即ちq=Qの場合にはω、(り
または一■を行番号jと一緒に最左端のノードプロセッ
サに逐次転送する。
または一■を行番号jと一緒に最左端のノードプロセッ
サに逐次転送する。
■ 第p行、第9列目のノードプロセッサ922が分担
している矩形領域の重みプロセッサについて各列毎に式
(46)によって矩形領域内の部分極大値El (
1)を計算する。計算が終われば、バッファ961〜9
66及び982〜987に格納しておく。
している矩形領域の重みプロセッサについて各列毎に式
(46)によって矩形領域内の部分極大値El (
1)を計算する。計算が終われば、バッファ961〜9
66及び982〜987に格納しておく。
■ 上のノードプロセッサ917から極大値φI’−’
(j’)が列番号jと一緒に送られて来たならば、矩形
領域内の部分極大値El (A’)の計算が済んで
いるか否かを調べる。
(j’)が列番号jと一緒に送られて来たならば、矩形
領域内の部分極大値El (A’)の計算が済んで
いるか否かを調べる。
(a)計算が済んでいる場合
式(47)によって新しい極大値φ、 (1)を計算
する。
する。
(b)計算がまだ済んでいない場合
極大値φ+’−’(1)を−旦列番号jと一緒にバッフ
ァ961〜966及び982〜987の対応する場所に
格納しておき、矩形領域内の部分極大値El (1
)の計算が済むのを待つ。矩形領域内の部分極大値El
(1)の計算が終了すれば直ちに式(47)によ
って、新しい極大値φ1 (1)を計算する。
ァ961〜966及び982〜987の対応する場所に
格納しておき、矩形領域内の部分極大値El (1
)の計算が済むのを待つ。矩形領域内の部分極大値El
(1)の計算が終了すれば直ちに式(47)によ
って、新しい極大値φ1 (1)を計算する。
ここで、矩形領域内のj列目に細胞プロセッサが含まれ
ているかを調べる。
ているかを調べる。
(c)含まれていない場合
新しい極大値φ、 (1)を列番号jと一緒に下のノ
ードプロセッサ927に転送する。
ードプロセッサ927に転送する。
(d)含まれている場合
式(48)によって、新しい極大値φ、 (1)と細
胞プロセッサの累積値ω、(1)と大小比較を行う。
胞プロセッサの累積値ω、(1)と大小比較を行う。
累積値ω、(I)が極大値φ、 (1)より大きい場
合には、最大値検出関数Φ(ωI(A’)。
合には、最大値検出関数Φ(ωI(A’)。
5)=1を細胞プロセッサの出力とする。
その他の場合には、最大値検出関数の
(ωI (j’)、 S) =0を細胞プロセッサ
の出力とする。 最下行、即ち、p=pのノードプロセ
ッサ932の場合には、新しい極大値φI’(り=φ、
(りを列番号jと一緒に最上端のノードプロセッサ90
3に転送する。
の出力とする。 最下行、即ち、p=pのノードプロセ
ッサ932の場合には、新しい極大値φI’(り=φ、
(りを列番号jと一緒に最上端のノードプロセッサ90
3に転送する。
(E)第3層の学習処理
教師データの設定において、入出力機能を有するノード
プロセッサ910〜914 は、各ノードプロセッサが
分担している矩形領域内の各入力プロセッサに保持され
ている入力データxh(1)またはyh(A’)を教師
データとして供給する。
プロセッサ910〜914 は、各ノードプロセッサが
分担している矩形領域内の各入力プロセッサに保持され
ている入力データxh(1)またはyh(A’)を教師
データとして供給する。
以下、最下行の入出力機能をもつノードプロセッサ91
0〜914と第p行、第9列目のノードプロセッサ92
2の計算処理を例に説明するが、これらの処理は各ノー
ドプロセッサで同時にかつ並列に実行される。
0〜914と第p行、第9列目のノードプロセッサ92
2の計算処理を例に説明するが、これらの処理は各ノー
ドプロセッサで同時にかつ並列に実行される。
■ 入出力機能を持つノードプロセッサ910〜914
はそのノードプロセッサが分担している矩形領域内の各
入力プロセッサが保持している入力データxh(J)ま
たはyh(1)を教師データとしてその列番号りと一緒
に各列毎に下のノードプロセッサに出力する。
はそのノードプロセッサが分担している矩形領域内の各
入力プロセッサが保持している入力データxh(J)ま
たはyh(1)を教師データとしてその列番号りと一緒
に各列毎に下のノードプロセッサに出力する。
これらの各ノードプロセッサはこの教師データを上のノ
ードプロセッサから受は取り、下のノードプロセッサに
転送する。
ードプロセッサから受は取り、下のノードプロセッサに
転送する。
■ 第3層の細胞プロセッサを含むノードプロセッサは
、第3層の細胞プロセッサの各出力値z+(j’)を行
番号iと一緒に右のノードプロセッサに出力する。
、第3層の細胞プロセッサの各出力値z+(j’)を行
番号iと一緒に右のノードプロセッサに出力する。
第2.4層の細胞プロセッサを含むノードプロセッサは
、夫々出力X+ (1) 、y′、 (1)として
0を行番号iと一緒に右のノードプロセッサに出力する
。
、夫々出力X+ (1) 、y′、 (1)として
0を行番号iと一緒に右のノードプロセッサに出力する
。
各ノードプロセッサは左のノードプロセッサから送られ
て来た出力値を受は取りこれをバッファに保持すると同
時に行番号iと一緒に右のノードプロセッサの入出カプ
ロセッサに転送する。
て来た出力値を受は取りこれをバッファに保持すると同
時に行番号iと一緒に右のノードプロセッサの入出カプ
ロセッサに転送する。
■ 第3層の重みプロセッサを含むノードプロセッサは
、式(29)〜(32)に基づいて、上のノードプロセ
ッサから送られて来た入力データと左のノードプロセッ
サから送られて来た出力値z+(Aりおよび夫々保持し
ている重み係数U++(Z)、Vll(j)から変化分
Δu、(1)、ΔVll(1)を計算し、各重み係数の
更新を行う。
、式(29)〜(32)に基づいて、上のノードプロセ
ッサから送られて来た入力データと左のノードプロセッ
サから送られて来た出力値z+(Aりおよび夫々保持し
ている重み係数U++(Z)、Vll(j)から変化分
Δu、(1)、ΔVll(1)を計算し、各重み係数の
更新を行う。
(F)第2層、第4層の計算処理
第2層、第4層の計算処理では、まず、細胞プロセッサ
を分担している各ノードプロセッサは第3層の細胞プロ
セッサを除いて細胞プロセッサの出力値x′1 (1)
、y′1 (1)をすべて零にする。
を分担している各ノードプロセッサは第3層の細胞プロ
セッサを除いて細胞プロセッサの出力値x′1 (1)
、y′1 (1)をすべて零にする。
次に各重みプロセッサおよび細胞プロセッサの計算処理
について、第p行、第9列目のノードプロセッサ922
の計算処理を例に説明するが、これらの処理は各ノード
プロセッサで同時にかつ並列に実行される。
について、第p行、第9列目のノードプロセッサ922
の計算処理を例に説明するが、これらの処理は各ノード
プロセッサで同時にかつ並列に実行される。
■ 第p行、第q列目のノードプロセッサ922のノー
ドプロセッサが分担している矩形領域内に入力プロセッ
サが存在する列りがあれば、t h (J ) =
Xh (1)またはyh(1)として、th(J)を
列番号りと一緒に下のノードプロセッサ927に逐次転
送する。
ドプロセッサが分担している矩形領域内に入力プロセッ
サが存在する列りがあれば、t h (J ) =
Xh (1)またはyh(1)として、th(J)を
列番号りと一緒に下のノードプロセッサ927に逐次転
送する。
矩形領域内に細胞プロセッサが存在する列k =g(i
)があれば、tm (j)=zt (j)、x’+
(1)またはy’+(A’)とし、t、(z)を列番号
lと一緒に下のノードプロセッサ927に逐次転送する
。
)があれば、tm (j)=zt (j)、x’+
(1)またはy’+(A’)とし、t、(z)を列番号
lと一緒に下のノードプロセッサ927に逐次転送する
。
細胞プロセッサ、入力プロセッサが存在していない列に
ついては、上のノードプロセッサ917から転送されて
来た信号t+ (jり[i6 (Ijq。
ついては、上のノードプロセッサ917から転送されて
来た信号t+ (jり[i6 (Ijq。
If q +l 、 ・・・、IIIQ −1、III
(l ) Eを逐次骨は取り、各列毎に入出カプロセッ
サ948またはバッファ97(1,973,974に保
持すると同時に、1+(1)を列番号iと一緒に下のノ
ードプロセッサー927に逐次転送する。
(l ) Eを逐次骨は取り、各列毎に入出カプロセッ
サ948またはバッファ97(1,973,974に保
持すると同時に、1+(1)を列番号iと一緒に下のノ
ードプロセッサー927に逐次転送する。
最下行、即ち、p=pのノードプロセッサ932の場合
には、tl(71’)を列番号iと一緒に最上端のノー
ドプロセッサ912に逐次転送する。
には、tl(71’)を列番号iと一緒に最上端のノー
ドプロセッサ912に逐次転送する。
■ 第p行、第q列目のノードプロセッサ922が分担
している仮想プロセッサの中に第2層、第4層の細胞プ
ロセッサが含まれていたならば、含まれている細胞プロ
セッサの全てに対して、その位置する行番号jと一緒に
部分和の初期値x/、 (j)=0.または7’+
@CI ) =Oを右のノードプロセッサ923に逐
次転送する。
している仮想プロセッサの中に第2層、第4層の細胞プ
ロセッサが含まれていたならば、含まれている細胞プロ
セッサの全てに対して、その位置する行番号jと一緒に
部分和の初期値x/、 (j)=0.または7’+
@CI ) =Oを右のノードプロセッサ923に逐
次転送する。
■ 第p行、第q列目のノードプロセッサ922が分担
している矩形領域の重みプロセッサについて各行毎に式
(40)または式(42)によって矩形領域内の部分和
AI (1)またはBl (4)を計算する。
している矩形領域の重みプロセッサについて各行毎に式
(40)または式(42)によって矩形領域内の部分和
AI (1)またはBl (4)を計算する。
計算が終われば、バッファ956〜9IiO及び988
〜993に格納してお(。
〜993に格納してお(。
■ 左のノードプロセッサ921から部分和x/、 ’
−’ CI ’)またはy’+ ”−’ (1)が
行番号jと一緒に送られて来たならば、矩形領域内の部
分和 AI (1)またはBl (jl)の計
算が済んでいるか否かを調べる。
−’ CI ’)またはy’+ ”−’ (1)が
行番号jと一緒に送られて来たならば、矩形領域内の部
分和 AI (1)またはBl (jl)の計
算が済んでいるか否かを調べる。
(1)計算が済んでいる場合
式(41)または式(43)によって新しい部分和X’
t”(A’)または7’+ (j’)を計算する。
t”(A’)または7’+ (j’)を計算する。
(b)計算がまだ済んでいない場合
部分和x/、 a−1(1)またはy’+ ’−’
(j’ )を−旦行番号iまたは1と一緒にバッファ9
56〜96G 、988〜992の対応する場所に格納
しておき、矩形領域内の部分和Al (A’)また
はBl (A’)の計算が済むのを待つ。矩形領域
内の部分和AI (1)またはBl (j’)
の計算が終了すれば直ちに式(41)または式(43)
によって、新しい部分和x/、 (1)またはy’
+ CI )を計算する。
(j’ )を−旦行番号iまたは1と一緒にバッファ9
56〜96G 、988〜992の対応する場所に格納
しておき、矩形領域内の部分和Al (A’)また
はBl (A’)の計算が済むのを待つ。矩形領域
内の部分和AI (1)またはBl (j’)
の計算が終了すれば直ちに式(41)または式(43)
によって、新しい部分和x/、 (1)またはy’
+ CI )を計算する。
ここで、矩形領域内のj行目に細胞プロセッサが含まれ
ているか否かを調べる。
ているか否かを調べる。
(c)含まれていない場合
新しい部分和xi、 CI)またはy’+ (
1)を行番号jと一緒に右のノードプロセッサ923に
転送する。
1)を行番号jと一緒に右のノードプロセッサ923に
転送する。
(d)含まれている場合
新しい部分和xi (A’)またはy’+q(Aり
を積和演算結果X’1(J)またはy’+(A’)とす
る。
を積和演算結果X’1(J)またはy’+(A’)とす
る。
最右端に位置する場合、即ちq=Qの場合には、新しい
部分和x/、 。CI ) =X’I Q(/ )また
はy’+ (1) =y’+ ’ CI )を行
番号jと一緒に最左端のノードプロセッサ920に転送
する。
部分和x/、 。CI ) =X’I Q(/ )また
はy’+ (1) =y’+ ’ CI )を行
番号jと一緒に最左端のノードプロセッサ920に転送
する。
最後に、積和結果X’l(j’)またはy’+(J)を
細胞プロセッサに対応する記憶領域に格納する。
細胞プロセッサに対応する記憶領域に格納する。
(G)第2層、第4層の学習処理
第2層、第4層の学習処理では、教師なしの自己学習な
ので、入力データx(1)またはy(J)が教師データ
となり、入出カプロセッサを経由して各細胞プロセッサ
に供給される。この学習処理における各ノードプロセッ
サは以下の処理を行う。
ので、入力データx(1)またはy(J)が教師データ
となり、入出カプロセッサを経由して各細胞プロセッサ
に供給される。この学習処理における各ノードプロセッ
サは以下の処理を行う。
各ノードプロセッサが分担する入出カプロセッサ、重み
プロセッサおよび細胞プロセッサの計算処理について、
第1行目の入出力機能を持つノードプロセッサ910〜
914と第1行、第9列目のノードプロセッサ922の
計算処理を例に説明するが、これらの処理は各ノードプ
ロセッサで同時にかつ並列に実行される。
プロセッサおよび細胞プロセッサの計算処理について、
第1行目の入出力機能を持つノードプロセッサ910〜
914と第1行、第9列目のノードプロセッサ922の
計算処理を例に説明するが、これらの処理は各ノードプ
ロセッサで同時にかつ並列に実行される。
■ 第1行目のノードプロセッサ910〜914が分担
している矩形領域の仮想プロセッサ群の中に入出カプロ
セッサを含んでいれば、対応する入力データxh(7)
またはyh(1)をパスライン906を通してホストコ
ンピュータから受は取り、下のノードプロセッサに転送
する。
している矩形領域の仮想プロセッサ群の中に入出カプロ
セッサを含んでいれば、対応する入力データxh(7)
またはyh(1)をパスライン906を通してホストコ
ンピュータから受は取り、下のノードプロセッサに転送
する。
各ノードプロセッサは上のノードプロセッサから送られ
て来た入力データxh(1)またはyh (1)に対応
する第り列の細胞プロセッサを含んでいれば、その入力
データをその細胞プロセッサに格納する。
て来た入力データxh(1)またはyh (1)に対応
する第り列の細胞プロセッサを含んでいれば、その入力
データをその細胞プロセッサに格納する。
■ 第1行、第9列目のノードプロセッサ922が分担
している矩形領域の仮想プロセッサ群の中に第j行、第
i =g(j)列に第2層または第4層の細胞プロセッ
サを含んでいれば、先に受は取った入力データx、(A
’)またはy+(1)を行番号jと一緒に右のノードプ
ロセッサ923に転送する。
している矩形領域の仮想プロセッサ群の中に第j行、第
i =g(j)列に第2層または第4層の細胞プロセッ
サを含んでいれば、先に受は取った入力データx、(A
’)またはy+(1)を行番号jと一緒に右のノードプ
ロセッサ923に転送する。
第j行、第i =g(i)列に第3層の細胞プロセッサ
を含んでいれば、細胞プロセッサの出力z、(n)を列
番号1と一緒に下のノードプロセッサーに転送する。
を含んでいれば、細胞プロセッサの出力z、(n)を列
番号1と一緒に下のノードプロセッサーに転送する。
細胞プロセッサおよび入力プロセッサの含まれていない
行については、左のノードプロセッサ921から転送さ
れて来た入力データX (りまたはy+(n)を列番号
iと一緒に下のノードプロセッサーに転送する。
行については、左のノードプロセッサ921から転送さ
れて来た入力データX (りまたはy+(n)を列番号
iと一緒に下のノードプロセッサーに転送する。
細胞プロセッサおよび入力プロセッサの含まれていない
行については、左のノードプロセッサ921から転送さ
れて来た入力データXI(A’)または3’+ (1
)(j (J!!q、Jjq+1、・・・JOQ −
1、Juq ) )を逐次受は取り、列毎にバッファ9
52.955.978.980.981に保持すると同
時に、入力データx、(J)またはy+(1)を行番号
jと一緒に右のノードプロセッサ923に転送する。
行については、左のノードプロセッサ921から転送さ
れて来た入力データXI(A’)または3’+ (1
)(j (J!!q、Jjq+1、・・・JOQ −
1、Juq ) )を逐次受は取り、列毎にバッファ9
52.955.978.980.981に保持すると同
時に、入力データx、(J)またはy+(1)を行番号
jと一緒に右のノードプロセッサ923に転送する。
細胞プロセッサおよび入力プロセッサの含まれていない
列については、上のノードプロセッサ917から転送さ
れて来た出力データz+(J)(i (Jj)q、
Ji)q+1.・・・、Juq −I 5Juq))を
逐次受は取り、列毎にバッファ970.973.974
に保持すると同時に、出力データ2゜(j’)を列番号
jと一緒に下のノードプロセッサ927に転送する。
列については、上のノードプロセッサ917から転送さ
れて来た出力データz+(J)(i (Jj)q、
Ji)q+1.・・・、Juq −I 5Juq))を
逐次受は取り、列毎にバッファ970.973.974
に保持すると同時に、出力データ2゜(j’)を列番号
jと一緒に下のノードプロセッサ927に転送する。
最右端に位置している場合、即ちq=Qの場合のノード
プロセッサは、最左端のノードプロセッサーヘデータを
伝送し、最下端に位置している場合、即ちp=Pの場合
のノードプロセッサは、最上端のノードプロセッサへデ
ータを伝送する。
プロセッサは、最左端のノードプロセッサーヘデータを
伝送し、最下端に位置している場合、即ちp=Pの場合
のノードプロセッサは、最上端のノードプロセッサへデ
ータを伝送する。
■ 第1行、第9列目のノードプロセッサ922が分担
している矩形領域の中の個々の重みプロセッサについて
、下記の選択を行なう。
している矩形領域の中の個々の重みプロセッサについて
、下記の選択を行なう。
(1)結合フラグ=1の場合
左のノードプロセッサ921から送られて来た入力デー
タXI(1)またはy+(1)と上のノードプロセッサ
から送られて来た出力信号z (n) とから式(2
2)または式(25)に従って、重み係数w” 、、
(n)またはw II’ (n)の変更量Δw”、
、(1)またはΔw’ B(n)を計算し、式(23)
または式(26)に従って重み係数W”1l(ll)ま
たはw’ 、、(1)を更新する。
タXI(1)またはy+(1)と上のノードプロセッサ
から送られて来た出力信号z (n) とから式(2
2)または式(25)に従って、重み係数w” 、、
(n)またはw II’ (n)の変更量Δw”、
、(1)またはΔw’ B(n)を計算し、式(23)
または式(26)に従って重み係数W”1l(ll)ま
たはw’ 、、(1)を更新する。
(b)結合フラグ=0の場合
何も行わない。
(H)学習の収束判定
学習の収束判定では、学習による重みの変化量の平均値
または最大値が、所定の値より小さくなったかどうかを
調べて、このCPNが安定状態に入ったか否かを判定す
る。安定状態に入ったならば、学習を終了する。一方、
まだ不安定な場合には、(B)の処理にもどって、入力
データを繰り返し与えることにより学習を継続する。
または最大値が、所定の値より小さくなったかどうかを
調べて、このCPNが安定状態に入ったか否かを判定す
る。安定状態に入ったならば、学習を終了する。一方、
まだ不安定な場合には、(B)の処理にもどって、入力
データを繰り返し与えることにより学習を継続する。
以上、最大値検出処理を含むCPNの計算処理を格子状
円環体結合のノードプロセッサを備えるニューロコンピ
ュータでシミュレーションする方法について述べたが、
これらのシミュレーションの方法は格子状矩形面結合の
ノードプロセッサを備えるニューロコンピュータにおい
ても同様である。 次に第8図(りおよび第8図(b)
にCPNモデルの負荷バランスの一実施例を示す。
円環体結合のノードプロセッサを備えるニューロコンピ
ュータでシミュレーションする方法について述べたが、
これらのシミュレーションの方法は格子状矩形面結合の
ノードプロセッサを備えるニューロコンピュータにおい
ても同様である。 次に第8図(りおよび第8図(b)
にCPNモデルの負荷バランスの一実施例を示す。
第8図(りは、第9図の重みプロセッサおよび細胞プロ
セッサの処理を2行、3列の6台のノードプロセッサで
並列処理する場合、負荷バランスのために、仮想プロセ
ッサの行あるいは列の置換(Petmlajion)を
行うための矩形領域の分割を示したものである。この分
割毎に行および列の置換を順次行うことにより、第8図
(b)のような配列に変換することができる。ここで、
式(21)、式(24)、式(27)の積和演算は、加
算の順序には全く影響されないので、行と行、列と列の
置換を行っても全く同じ計算結果を得ることができる。
セッサの処理を2行、3列の6台のノードプロセッサで
並列処理する場合、負荷バランスのために、仮想プロセ
ッサの行あるいは列の置換(Petmlajion)を
行うための矩形領域の分割を示したものである。この分
割毎に行および列の置換を順次行うことにより、第8図
(b)のような配列に変換することができる。ここで、
式(21)、式(24)、式(27)の積和演算は、加
算の順序には全く影響されないので、行と行、列と列の
置換を行っても全く同じ計算結果を得ることができる。
同様に、式(28)の最大値検出処理もその演算の順序
には影響されないので、行と行、列と列の置換を行って
も全く同じ計算結果を得ることができる。
には影響されないので、行と行、列と列の置換を行って
も全く同じ計算結果を得ることができる。
第8図(b)は6台のノードプロセッサによる並列処理
のための負荷の分割を示しており、仮想プロセッサの行
数、列数がノードプロセッサの行数、列数でそれぞれ割
り切れないため、1行あるいは1列分の負荷の違いが生
じる。しかし負荷バランスは維持されている。
のための負荷の分割を示しており、仮想プロセッサの行
数、列数がノードプロセッサの行数、列数でそれぞれ割
り切れないため、1行あるいは1列分の負荷の違いが生
じる。しかし負荷バランスは維持されている。
本実施例では、最大値検出処理を説明したが、交換体の
成り立つ演算であれば、同様に格子状円環体結合のノー
ドプロセッサで並列処理を行うことができる。
成り立つ演算であれば、同様に格子状円環体結合のノー
ドプロセッサで並列処理を行うことができる。
また、本実施例では、格子状円環体結合の仮想プロセッ
サおよびノードプロセッサにおける最大値検出処理につ
いて述べたが、格子状矩形面結合の仮想プロセッサおよ
びノードプロセッサにおいても同様に最大値検出処理の
並列処理を行うことができる。
サおよびノードプロセッサにおける最大値検出処理につ
いて述べたが、格子状矩形面結合の仮想プロセッサおよ
びノードプロセッサにおいても同様に最大値検出処理の
並列処理を行うことができる。
[発明の効果]
本発明のニューロコンピュータによれば、教師なし自己
学習を行い得る神経回路素子モデルに対して各神経回路
素子の出力間の最大値を検出し得、その結果、教師なし
自己学習を行う神経回路素子モデルに対してもシミュレ
ーションを行い得る。
学習を行い得る神経回路素子モデルに対して各神経回路
素子の出力間の最大値を検出し得、その結果、教師なし
自己学習を行う神経回路素子モデルに対してもシミュレ
ーションを行い得る。
第1図は、重みプロセッサ、細胞プロセッサ、入力プロ
セッサ、出力プロセッサ、及び入出カプロセッサから成
る格子状円環体結合の構成を示す図、第2図はコホーネ
ンの自己組織モデルの構成を示す図、第3図はCPNの
構成を示す図、第4図はCPNのシミュレーションの手
順を示すフロー図、第5図は最大値検出処理の処理方法
を示す図、第6図は格子状円環体結合の仮想プロセッサ
を実プロセッサにマツピングするための分割を示す図、
第7図は格子状円環体に結合されたノードプロセッサか
ら成るニューロコンピュータシステムの構成と各ノード
プロセッサの仮想的な内部構成を示す図、第8図は、行
及び列の置換によって、負荷の不均衡を解消する様子を
示す図、第9図はCPNによって対応する重みプロセッ
サ、細胞プロセッサの配列を示す図、第10図は神経回
路素子のモデルを示す図である。 900・・・ホストコンピュータ、901〜906.9
40〜944.5021〜5034.5401〜540
9・・・信号線、910〜914人出力機能付ノードプ
ロセッサ、915〜934ノードプロセッサ、945〜
946.5001〜5005・・・入力プロセッサ、9
47.5006〜5008・・・出力プロセッサ、94
8〜950.5009〜5014・・・入出カプロセッ
サ、951〜966.970〜993・・・バッファメ
モリ、967〜969.993〜995.5106.5
140.5168.5209.5242.5271.5
312.5344.5374・・・細胞プロセッサ、5
101〜5105.5107〜5114.5121〜5
122.5131〜5139.5141〜5148.5
151〜5152.5161〜5167.5169〜5
174.5201〜5208.5210〜5214.5
221.5231〜5241.5243〜5246.5
251.5261〜5270.5272〜5274.5
301〜5311゜5321.5331〜5343.5
345〜5346.5373・・・重みプロセッサ。 5313〜5314. 535k 5361〜 叡 (5041シヤ一プ体式会社
セッサ、出力プロセッサ、及び入出カプロセッサから成
る格子状円環体結合の構成を示す図、第2図はコホーネ
ンの自己組織モデルの構成を示す図、第3図はCPNの
構成を示す図、第4図はCPNのシミュレーションの手
順を示すフロー図、第5図は最大値検出処理の処理方法
を示す図、第6図は格子状円環体結合の仮想プロセッサ
を実プロセッサにマツピングするための分割を示す図、
第7図は格子状円環体に結合されたノードプロセッサか
ら成るニューロコンピュータシステムの構成と各ノード
プロセッサの仮想的な内部構成を示す図、第8図は、行
及び列の置換によって、負荷の不均衡を解消する様子を
示す図、第9図はCPNによって対応する重みプロセッ
サ、細胞プロセッサの配列を示す図、第10図は神経回
路素子のモデルを示す図である。 900・・・ホストコンピュータ、901〜906.9
40〜944.5021〜5034.5401〜540
9・・・信号線、910〜914人出力機能付ノードプ
ロセッサ、915〜934ノードプロセッサ、945〜
946.5001〜5005・・・入力プロセッサ、9
47.5006〜5008・・・出力プロセッサ、94
8〜950.5009〜5014・・・入出カプロセッ
サ、951〜966.970〜993・・・バッファメ
モリ、967〜969.993〜995.5106.5
140.5168.5209.5242.5271.5
312.5344.5374・・・細胞プロセッサ、5
101〜5105.5107〜5114.5121〜5
122.5131〜5139.5141〜5148.5
151〜5152.5161〜5167.5169〜5
174.5201〜5208.5210〜5214.5
221.5231〜5241.5243〜5246.5
251.5261〜5270.5272〜5274.5
301〜5311゜5321.5331〜5343.5
345〜5346.5373・・・重みプロセッサ。 5313〜5314. 535k 5361〜 叡 (5041シヤ一プ体式会社
Claims (2)
- (1)複数の行及び複数の列によって規定された位置に
神経回路素子の機能を有する基本プロセッサが配置され
ており、該基本プロセッサの一部が外部装置に接続され
ているニューロコンピュータであって、前記外部装置に
接続されていない基本プロセッサは、同行上の隣接する
2つの基本プロセッサ及び同列上の隣接する2つの基本
プロセッサに夫々接続されており、前記外部装置に接続
されていない基本プロセッサは少なくとも2種類あり、
一方の種類の前記基本プロセッサは、隣接した基本プロ
セッサの1つから伝送された出力値と隣接した基本プロ
セッサの他の1つから伝送された出力値とを比較し、大
きい方の出力値を極大値として、前記出力値を出力した
基本プロセッサ以外の隣接した基本プロセッサに出力す
る機能を持っており、他方の種類の前記基本プロセッサ
は、隣接した基本プロセッサの1つから伝送された極大
値と隣接した基本プロセッサの他の1つから伝送された
出力値とを比較し、当該比較の結果によって前記極大値
又は前記出力値を出力した基本プロセッサ以外の隣接し
た基本プロセッサに所定の値を出力するように構成され
ていることを特徴とするニューロコンピュータ。 - (2)全ての前記基本プロセッサを複数の矩形領域に分
割し、当該分割された矩形領域に少くとも1つの実プロ
セッサが各々配置されており、該各実プロセッサは、同
行上の隣接する2つの他の前記実プロセッサ及び同列上
の隣接する2つの他の前記実プロセッサに夫々接続され
ており、前記実プロセッサは、当該実プロセッサが配置
された矩形領域に含まれる複数の基本プロセッサの全て
の機能を有している請求項1に記載のニューロコンピュ
ータ。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1333895A JPH03194648A (ja) | 1989-12-22 | 1989-12-22 | ニューロコンピュータ |
| DE69026052T DE69026052T2 (de) | 1989-12-22 | 1990-12-21 | Neurorechner |
| EP90125141A EP0435208B1 (en) | 1989-12-22 | 1990-12-21 | Neuro-computer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1333895A JPH03194648A (ja) | 1989-12-22 | 1989-12-22 | ニューロコンピュータ |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH03194648A true JPH03194648A (ja) | 1991-08-26 |
Family
ID=18271158
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1333895A Pending JPH03194648A (ja) | 1989-12-22 | 1989-12-22 | ニューロコンピュータ |
Country Status (3)
| Country | Link |
|---|---|
| EP (1) | EP0435208B1 (ja) |
| JP (1) | JPH03194648A (ja) |
| DE (1) | DE69026052T2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017219960A (ja) * | 2016-06-06 | 2017-12-14 | 株式会社デンソー | 演算処理装置 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4065808A (en) * | 1975-01-25 | 1977-12-27 | U.S. Philips Corporation | Network computer system |
-
1989
- 1989-12-22 JP JP1333895A patent/JPH03194648A/ja active Pending
-
1990
- 1990-12-21 EP EP90125141A patent/EP0435208B1/en not_active Expired - Lifetime
- 1990-12-21 DE DE69026052T patent/DE69026052T2/de not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017219960A (ja) * | 2016-06-06 | 2017-12-14 | 株式会社デンソー | 演算処理装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| DE69026052D1 (de) | 1996-04-25 |
| DE69026052T2 (de) | 1996-10-17 |
| EP0435208A2 (en) | 1991-07-03 |
| EP0435208B1 (en) | 1996-03-20 |
| EP0435208A3 (en) | 1992-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101686827B1 (ko) | 인공 신경망의 뉴로모픽 하드웨어 구현 방법 | |
| US6389404B1 (en) | Neural processing module with input architectures that make maximal use of a weighted synapse array | |
| Lehmann et al. | A generic systolic array building block for neural networks with on-chip learning | |
| Atlas et al. | Digital systems for artificial neural networks | |
| JPH04505824A (ja) | ニューラル・ネットワーク用の仮想ニューロコンピュータ・アーキテクチュア | |
| EP0459222A2 (en) | Neural network | |
| Lin et al. | Selection of learning parameters for CMAC-based adaptive critic learning | |
| US5640586A (en) | Scalable parallel group partitioned diagonal-fold switching tree computing apparatus | |
| JP3374476B2 (ja) | ニューラルネットワーク構築方法 | |
| Chung et al. | A systolic array exploiting the inherent parallelisms of artificial neural networks | |
| JPH03194648A (ja) | ニューロコンピュータ | |
| JPH07191951A (ja) | ニューラルネットワーク回路 | |
| Dedeakayogullari et al. | The determination of mean and/or variance shifts with artificial neural networks | |
| JP2001117900A (ja) | ニューラルネットワーク演算装置 | |
| JPH04182769A (ja) | デジタル・ニューロプロセッサ | |
| Viredaz et al. | MANTRA I: A systolic neuro-computer | |
| Lee et al. | Finding knight's tours on an M/spl times/N chessboard with O (MN) hysteresis McCulloch-Pitts neurons | |
| JPH0736182B2 (ja) | ニューロコンピュータ | |
| JPH02178757A (ja) | ニューロコンピュータ | |
| JPH0355658A (ja) | 半導体情報処理装置 | |
| Parikh et al. | Improving the performance of multi-layer perceptrons where limited training data are available for some classes | |
| JP3082530B2 (ja) | ニューラルネットワーク回路 | |
| KUMAR | Efficient Mapping of Backpropagation Model | |
| JP2766858B2 (ja) | ニューラルネットワーク並列シミュレーション方法及びそれに用いる装置 | |
| JPH03287098A (ja) | 神経回路網原子力プラント診断装置 |