JPH076146A

JPH076146A - 並列データ処理システム

Info

Publication number: JPH076146A
Application number: JP5148017A
Authority: JP
Inventors: Katsuto Fujimoto; 克仁藤本; Hideki Yoshizawa; 英樹吉沢; Tatsushi Ootsuka; 竜志大塚
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1993-06-18
Filing date: 1993-06-18
Publication date: 1995-01-10
Also published as: US5627944A; DE4417932B4; DE4417932A1

Abstract

(57)【要約】【目的】学習時間を短縮する為に十分な並列度を持た
せる事の出来る並列学習方式を有する並列データ処理シ
ステムを提供する。【構成】複数のデータ処理手段１、該データ処理手段
に接続する複数の転送データ保持手段２を有するデータ
転送手段３とからなり、データ処理手段１のそれぞれに
は、実行パラメータ保持手段１２と部分標本データ保持
手段１１とが設けられ、部分標本データ保持手段１１内
の部分標本データと実行パラメータ保持手段１２内の実
行パラメータとから、該部分標本データについての調整
量を演算処理する調整量演算手段１４と、全ての標本デ
ータについての実行パラメータの調整量の総和を演算す
るに際し、所定の演算結果を、前記データ転送手段の転
送データ保持手段を介して他のデータ処理手段に於ける
演算結果とを加累積算する累積手段１５とから構成され
ている並列データ処理システム。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は並列データ処理方式に係
り、更に詳しくは、複数個のデータ処理ユニットを同期
的に用いてデータを処理する並列データ処理システムに
関する。

【０００２】

【従来の技術】近年、電子計算機或いはデジタル信号処
理装置等のシステムにおいて、データ処理の適用分野の
拡大に伴い、処理されるデータの量が膨大になり、特に
画像処理或いは音声処理等の分野では高速なデータ処理
を行う必要があり、そのため、複数個のデータ処理ユニ
ットを同期的に用いてデータを処理するデータ処理の並
列性の利用が重要となる。一般に、複数の処理ユニット
を用いた処理において重要な概念に台数効果がある。こ
れは用意されたデータ処理ユニットの台数に比例したデ
ータ処理速度の向上が得られることを意味するが、並列
処理方式においては良好な台数効果を得ることが非常に
重要となる。

【０００３】台数効果が悪化する主要な原因は、問題そ
のものの並列度による限界を別にすれば、データ処理に
伴うデータ転送に要する時間が本来のデータ処理に要す
る時間に加算されてトータルとしての処理時間が引き延
ばされることにある。従って、台数効果の向上にはデー
タ伝送路の容量をフルに活用することが有効であるが、
これはなかなか難しい。

【０００４】しかし、処理が規則的な場合には、この規
則性を利用して台数効果を上げることが可能となる。デ
ータをシストリックアレイ、すなわち、巡回的にデータ
を流し、２つのデータがその流れにおいてそろったとこ
ろで演算を行うようにする。処理が規則的なことを利用
する並列処理がシストリックアレイ方式であり、この中
でリングシストリックアレイ方式と呼ばれる１次元のシ
ストリックアレイ方式は、複数個のデータ処理ユニット
を周期的に用いてシストリックなデータを処理する並列
データ処理方式であって実現が比較的容易である。規則
性のある処理として、ベクトルの内積演算を基本とした
行列演算や、ニューラルネットの積和演算に非線形関数
を介して出力する並列処理がある。かかるデータの並列
処理方式としては例えば図９に示す様な共通バス結合型
並列演算方式がある。

【０００５】即ち、図９において９１はプロセッサエレ
メント、４はメモリ、９３は共通バス、９２は共通バス
に接続されるバス、９４は各プロセッサエレメントと、
それに対応して接続されるメモリ４を接続する内部バス
である。この共通バス結合型並列方式においては、プロ
セッサエレメント（以下ＰＥと称す）間の通信が共通バ
ス９３を介して行われる。特定な時間区域には共通バス
に乗せるデータは１つであるため、共通バスによる通信
は共通バス全体にわたって同期をとる必要がある。又、
別の方式としては図１０に示す様なリングシストリック
方式も知られている。即ち同図において９１はプロセッ
サエレメント（ＰＥ）である。各ＰＥは巡回バス９５に
よって接続されている。また、９６は係数Ｗ_ijを格納す
るメモリである。Ｗ₁₁，Ｗ₁₂，…，Ｗ_xyなどは係数行列
の要素であり、一般にＷ_ijは行列のｉｊ成分である。こ
の係数行列Ｗと、ベクトルｘ＝（Ｘ₁，Ｘ₂，Ｘ₃)を掛
ける動作をこのリングシストリック方式で行う場合、次
のようにして行われる。

【０００６】図１１は９１で示すプロセッサエレメント
（ＰＥ）の第ｉ番目の内部構造である。同図において１
３１は乗算器、１３２は加算器、１３５はアキュムレー
タ（ＡＣＣ）、９６は係数の要素Ｗ_ijを格納するレジス
タ群である。このレジスタ群はいわゆるＦＩＦＯであっ
て、係数行列の第ｉ行目に関する係数としてＷ_ij、すな
わちｊ番目の列の要素が出力されようとしている状態で
ある。このＦＩＦＯは出力された次のクロックでは巡回
し、バス９５を介して後ろ側からまた入力される。従っ
て図に示すように、Ｗ_ij，…，Ｗ_i，_j-1はすでに巡回
されて後側に格納されている状態となっている。

【０００７】一方、ベクトルの各要素はバス９５を介し
て入力される。現在、要素Ｘ_jが入力されている状態で
ある。すでにアキュムレータ１３５にはＷ₁₁×Ｘ₁＋…
＋Ｗ _{i j-1}×Ｘ_j-1の内積結果が格納されている。これ
が今アキュムレータ１３５から出力され、加算器１３２
の一方の入力に入力されている。外部からのＸ_jとＦＩ
ＦＯから出力されるＷ_ijの積が乗算器１３１によって乗
算され、その結果が加算器１３２の他方の入力に入力さ
れ、現在のアキュムレータ１３５の内容とが加えられ、
次のクロックで同じアキュムレータ１３５に加算され
る。この繰り返しによって、係数行列Ｗの第ｉ行目の行
ベクトルと外部から与えらる列ベクトルとの内積演算が
実行される。なお、スイッチ（Ｓｗｉｔｃｈ）はデータ
Ｘ_iをスルーに外部に出すか、あるいは内部に取り込
み、アキュムレータ１３５にセットする場合との選択を
行うためのものである。このようなＰＥで、行列×ベク
トルの積を行う場合、図１０に示すように、ＰＥ−１は
まず、Ｗ₁₁とＸ₁を掛け、次のクロック周期に、Ｘ₂が
右側のＰＥ−２から流れ込み、Ｗ₁₂がメモリ９６から出
力されるので、Ｗ₁₂×Ｘ₂が演算される。同様に次のク
ロックではＷ₁₃とＸ₃との積が実行され、このことによ
り係数行列の第１列目とベクトルｘとの積がＰＥ−１に
おいて可能となる。また、第２列目とベクトルとの積は
ＰＥ−２において行われる。すなわち、Ｗ₂₂とＸ₂を掛
け、次のクロック周期に、Ｗ₂₃とＸ₃を掛け、次のクロ
ック周期においてＷ₂₁と巡回的にもどってきたＸ₁との
積を行うことになる。同様に、第３行目とベクトルとの
積はＷ₃₃とＸ₃を掛け、Ｗ₃₁と巡回してくるＸ₁とを掛
け、Ｗ₃₂と巡回して戻ってくるＸ₂との積をとって内積
演算を実行することによって可能となる。従って、この
動作において、Ｗ₁₁とＸ₁との積、及びＷ₂₂とＸ₂、Ｗ
₃₃とＸ₃との積は同時に行えることになる。しかし、図
に示すように、この同時性を実行するためには係数行列
の要素の並べ方にねじれが生じている。このようなリン
グシストリックアレイ方式においては、各ＰＥ間のデー
タ転送と、各ＰＥでのデータ処理を同期して実行するこ
とで、データ転送路を有効に利用でき、従って良好な台
数効果を得ることができる。

【０００８】図１２は、図１０のリングシストリック方
式の構成を多段に組み合わせたものであり、この構成に
より、連続する行列とベクトルの積を行うことが可能と
なる。このようなシストリックアレイ方式は処理が規則
的であるため、データ伝送路の容量をフルに活用するこ
とが可能であり、従って台数効果の向上が計れる。然し
ながら上記した従来の共通バス結合の並列方式において
は、プロセッシングエレメント、すなわちＰＥ間の結合
が共通バスによっているため、一時には１つのデータし
か転送できない。また、共通バスによる結合は共通バス
全体にわたる同期をとらなければならない。従って、従
来の共通バス結合型並列方式においては良好な台数効果
を得られる処理の種類が少ないという問題が生じ、さら
に共通バスによる結合は、結合されるＰＥの個数の増加
とともに共通バスが長くなり、共通バス全体にわたる同
期をとるのが難しくなるという問題、そして、大規模並
列には適さないという問題が生じていた。また、図１０
〜図１２のような従来のリングシストリックアレイ方式
においては、各ＰＥ間のデータ転送とＰＥでのデータ処
理を同期して実行することにより、台数効果を得ること
ができるが、この方式では、各ＰＥ間でのデータ転送
と、各ＰＥ間でのデータ処理のタイミングを合わせねば
ならない。また、この方式では、例えば長方形の行列と
ベクトルとの積を求める場合等のようにデータ処理ユニ
ットとデータ保持ユニットのそれぞれの最適な個数が等
しくない場合には、実際のデータ処理に係わらないＰＥ
が必要となり、すなわち、遊ぶＰＥが多くなり、そのた
め台数効果が悪化するという問題がある。言い換えれ
ば、効率よくとける問題と回路構成とが固く対応し、問
題の大きさが最適な値と異なると台数効果が悪化してし
まう。逆にいうと、良好な台数効果が得られる問題が特
定されてしまい、広範な処理に適用できず、柔軟性、或
いは汎用性に欠け、結果として、ある程度広い範囲の処
理に適用できる高速なデータ処理系を実現することが困
難であった。上記した従来技術の欠点を改良するため更
に図１３に示す様なデータの並列処理システムが例えば
特開平３−１０５５８４号等に提案されている。即ち図
１３に示されるデータの並列処理装置においては、デー
タ処理ユニット９１、データの保持及び転送を行うトレ
イ１５１、各トレイの相互接続により構成されるシフト
レジスタ１５２、データ処理ユニットの第１の入力１５
３、データ処理ユニットの第２の入力１５４、トレイ１
５１の第１の入力１５５、トレイの第１の出力１５６、
トレイ２の第２の出力１５７とで構成されたものであ
る。

【０００９】該データ処理ユニット９１はデータの処理
を行い、トレイ１５１は転送の動作を行うものでシフト
レジスタ１５2 を構成して、データの巡回シフトを行
う。このシステムでは、ｍ×ｎ行列Ａと要素数のベクト
ルｘとの積を求める場合、行列Ａの行数ｍが列数ｎより
小さい場合であっても、或いはｍがｎより大きい場合で
あっても、ｍ個のデータ処理ユニットとｎ個のトレイを
用いてｎに比例する処理時間でその積が実行可能とな
り、従って、良好な台数効果を得ることができる。すな
わち、図１３に示すように、それぞれ２つの入力を持
ち、その入力間の乗算機能とその乗算結果の累積機能、
すなわち内積演算を実行するｍ個のデータ処理ユニット
９１と、ｎ個のトレイ１５１とからなる構成において、
ユニット内の累積レジスタをＹとした場合に、データ処
理ユニットは１５３からの入力と１５４からの入力を掛
け合わせ、積を累積Ｙに足し込み、その後、シフトレジ
スタ１５２内の隣接するトレイ間でベクトルｘの要素を
シフトする。この動作をｎ回繰り返すことにより、ｍ×
ｎの行列Ａと、ｎ次元ベクトルとの乗算がｍ個のデータ
処理ユニットを用いてｎに比例する処理時間で実行可能
となる。すなわち、このシステムでは、データ処理ユニ
ット９１とデータ保持機能を有するトレイ１５１とを分
離することにより、それぞれｍとｎが異なっている場合
であっても、タイミングを合わせるための処理を必要と
せずに良好な台数効果を得ることが可能となる。さら
に、トレイ１５１間のデータ転送とデータ処理ユニット
９１によるデータ処理とを同時並列的に行い、一般的に
はデータ処理ユニットがデータ処理に有する時間よりも
データ転送時間を短くすることが期待できる。

【００１０】

【発明が解決しようとする課題】処で、上記従来の並列
データ処理システムに於いては、当該システムで使用さ
れる複数個のデータ処理手段９１のそれぞれに、演算処
理の対象と成っている複数の標本データ全てを記憶させ
ておき、当該演算処理に必要とされる実行パラメータ
は、その全ての実行パラメータを当該データ処理手段９
１の数に適宜に分割して、その分割されたそれぞれの部
分実行パラメータを、当該データ処理手段９１のそれぞ
れに記憶させるものである。

【００１１】従って、係る従来の並列データ処理システ
ムに於いて、例えばニューロコンピューター演算を行う
場合を考えると、当該並列データ処理システム内の各デ
ータ処理手段９１は、それぞれニューロンを構成するも
のであり、又それぞれのニューロンと接続しているシナ
プスに与えられる、例えばシグモイド関数で表される重
み付け係数の調整値である調整量を演算する場合、基本
的には、当該データ処理手段９１に格納されている上記
両データに基づいて求めることであるが、係る調整量を
求める場合には、当該演算処理を実行する直前の調整量
データを使用する事、及び演算しようとする所定の標本
データの周辺の標本データに関する当該調整量も同時に
演算処理する必要があると言う原則から、当該データ処
理手段９１が格納していない標本データに関する調整量
データを使用したい場合には、隣もしくは離れて配置さ
れた他のデータ処理手段９１から、当該必要とされる調
整量データを読みだす必要があり、その為に、通信手段
を用いて、かかる必要なデータを獲得する必要がある。

【００１２】その為、上記した係る従来の並列データ処
理システムに於いては、かなりの頻度で、通信手段を使
用する必要があるが、トレイ間のデータ転送とデータ処
理ユニットによるデータ処理とを同時並列的に行う事に
より見掛けの通信時間を０にできる。然しながら、かか
る手段処理システムに於いては、標本データの量に比例
して学習時間が増加する為、実行パラメータの量と比較
して大量の標本データを用いて学習する場合に、実行パ
ラメータの分割数に限りが有るために、標本データの量
を吸収するほどの並列度を持たせることが出来ず、膨大
な学習時間が必要で有った。

【００１３】本発明の目的は、係る従来技術に於ける問
題を解決し、学習時間を短縮する為に十分な並列度を持
たせる事の出来る並列学習方式を有する並列データ処理
システムを提供するものである。

【００１４】

【課題を解決するための手段】本発明は、上記した目的
を達成する為に、基本的には、以下に示す様な技術構成
を採用するものである。即ち、複数個のデータ処理手段
と、データ転送手段とからなり、且つ該データ処理手段
のそれぞれは、該データ転送手段に接続されている並列
データ処理装置に於いて、該データ処理手段のそれぞれ
には、データ処理に必要な実行パラメータ保持手段と所
定のデータ処理に必要とされる全標本データの少なくと
も一部を保持する部分標本データ保持手段とが設けられ
ており、該それぞれのデータ処理手段に於いて、当該デ
ータ処理手段に設けられている該部分標本データ保持手
段に保持されている部分標本データと該データ処理手段
に設けられている該実行パラメータ保持手段に保持され
ている実行パラメータとから、当該部分標本データにつ
いての当該実行パラメータに関する調整量を演算処理す
る調整量演算手段と、全ての標本データについての実行
パラメータの調整量の総和を演算して求めるに際し、所
定の該データ処理手段に於ける部分標本データについて
の当該実行パラメータに関する調整量を、前記データ転
送手段を介して他の当該データ処理手段に於ける部分標
本データについての当該実行パラメータに関する調整量
とを累積演算する累積手段とから構成されている並列デ
ータ処理システムである。

【００１５】

【作用】本発明に係る並列データ処理システムは、上記
したような技術構成を採用しているので、前記した従来
の並列データ処理システムとは異なり、当該並列データ
処理システムを構成している複数個のデータ処理手段の
それぞれに、当該演算処理の対象と成っている全ての実
行パラメータを記憶させておき、当該演算処理に必要と
される、標本データの全てを当該データ処理手段の数に
適宜に分割して、その分割されたそれぞれの部分標本デ
ータを、当該データ処理手段のそれぞれに記憶させるも
のである。

【００１６】つまり、本発明に係る該並列データ処理シ
ステムに於いては、前記した従来の並列データ処理シス
テムに於ける標本データと実行パラメータの格納方法及
び演算処理方法が異なるものであって、本発明に於いて
は、一つのデータ処理手段に格納されている部分標本デ
ータに付いては、当該データ処理手段に既に格納されて
いる全実行パラメータを用いて重み付け量の調整量に関
する演算処理を完結させる事が出来るので、係る演算処
理を実行する範囲に於いては、従来例の様に他のデータ
処理手段から必要な情報を獲得もしくは読出する為に、
通信手段を介してデータのやり取りを行う必要は全くな
く、当該演算処理の最後の工程に於いて、全体の調整量
を求めるに際して、各データ処理手段に於いて演算処理
した調整量の情報を累積する工程に於いてのみ、通信手
段を利用して各データ処理手段のデータを一回転送させ
る必要はあるが、係る工程に於いて必要とされる通信時
間は極めて僅かであり、従って、本発明に於ける演算処
理時間は従来の方式に比べて大幅に短縮出来る事にな
る。

【００１７】つまり、本発明に於いては、標本データの
数の増加に応じて並列度を上げる事が可能となり、適応
システムの実行パラメータの数と比較して、標本データ
の数が多い場合に、従来技術と比較して学習時間の大幅
な短縮が可能となる。

【００１８】

【実施例】以下に、本発明に係る並列データ処理システ
ムの具体例を図面を。参照しながら詳細に説明する。図
１は、本発明に係る並列データ処理システム１０の構成
例の概略を示すブロックダイアグラムであり、図中、複
数個のデータ処理手段１、複数個の転送データ保持手段
２を内蔵するデータ転送手段３とからなり、且つ該デー
タ処理手段１のそれぞれは、該データ転送手段３内に設
けられた該転送データ保持手段２の一つに接続されてお
り、且つ、該並列データ処理装置１０に於いて、該デー
タ処理手段１のそれぞれには、データ処理に必要な実行
パラメータ保持手段１２と所定のデータ処理に必要とさ
れる全標本データの少なくとも一部を保持する部分標本
データ保持手段１１とが設けられており、該それぞれの
データ処理手段１に於いて、当該データ処理手段１に設
けられている該部分標本データ保持手段１１に保持され
ている部分標本データと該データ処理手段１に設けられ
ている該実行パラメータ保持手段１２に保持されている
実行パラメータとから、当該部分標本データについての
当該実行パラメータに関する調整量を演算処理する調整
量演算手段１４と、全ての標本データについての実行パ
ラメータの調整量の総和を演算して求めるに際し、所定
の該データ処理手段１に於ける演算結果を、前記データ
転送手段３内に設けられた前記転送データ保持手段２を
介して他の当該データ処理手段１に於ける演算結果と加
算演算する加算手段１５とから構成されている並列デー
タ処理システムが示されている。

【００１９】処で、上記した本発明に係るデータの並列
処理システムは、複数個の部分学習手段を同期的に用い
て学習を実行する、並列学習方式に関するものであり、
認識、予測、運動制御などに利用する学習処理を実時間
で実行することを主たる目的とする。そしてその基本的
構成は、実行パラメータと部分標本データを保持する１
つ以上の部分学習手段と、部分学習手段に入出力バスを
用いて接続された１つ以上の転送データ保持手段と、転
送データ保持手段に保持されているデータの転送を行な
うデータ転送手段を具備し、部分標本データについての
実行パラメータの調整量を通信することなしに計算し、
かつすべての標本データについての実行パラメータの調
整量の総和を求めるためにデータ転送手段を用いること
により、認識、予測、運動制御などに利用する学習処理
を高速に実行するように構成されているものである。

【００２０】ここで、学習手段は、前記した本発明の基
本構成におけるデータ処理手段に相当するものである。
ここで、本発明に係るデータの並列処理システムにおい
て特にニューラルネットワークを用いて、特に複数個の
行列データを所定のアルゴリズムに従って演算処理する
場合の基本的処理方法について説明しておく。

【００２１】つまり、一般的には、本発明のような認
識、予測、運動制御などを行なうシステムを実現するた
めには、システムの動作を明確に記述することが不可能
であったり、動作環境が変化するため、システムの動作
を規定する実行パラメータを、システムの実行前あるい
は実行中に調整する必要がある。

【００２２】実行前あるいは実行中に実行パラメータの
調整を行なうシステムを適応システムと呼ぶ。かかる適
応システムの実行パラメータの調整手段としては、期待
されるシステムの入出力関係の標本データをもとに実行
パラメータを学習する手法が、有力であるために広く用
いられており、様々な学習方式が提案されている。

【００２３】さらに、適応システムが、より柔軟で実世
界と対応したものになるためには、より大きなデータ量
を扱える必要があり、学習のための計算量は増大する方
向にある。また一方で、実世界と実時間で対応できる即
応性のあるシステムが望まれているために、増大する学
習計算量をより短い時間で処理する必要がある。

【００２４】このため、適応システムにとって学習時間
の短縮は非常に重要な課題である。学習時間の短縮を実
現するための有力な技術として、学習処理の高速化を行
なう並列学習方式は重要な役割を果たしている。ここ
で、図２、及び図３を参照しながら、３層の階層型ニュ
ーラルネットワークの誤差逆伝播学習アルゴリズムにつ
いて簡単に説明しておく。

【００２５】図２において、３層の階層型ニューラルネ
ットワークの入力層の状態をＩ、隠れ層の状態をＨ、出
力層の状態をＯとする。入力層のニューロン数をＮ_i、
隠れ層のニューロン数をＮ_h、出力層のニューロン数を
Ｎ_oとすると、

【００２６】

【数１】

【００２７】上記の関係をより詳しく説明すると、図２
はニューロンモデルの複数を用いて入力層Ｉ、かくれ層
Ｈ、出力層Ｏの３層構造でニューロコンピュータを形成
する階層型のニューラルネットワークの概念図である。
第１層の入力層Ｉは入力信号Ｉ₁，Ｉ₂，…，Ｉ_N(1)を
入力する。第２層のかくれ層Ｈは各々のユニット、すな
わち、各々のニューロンモデルが第１層のすべてのニュ
ーロンモデルに接続され、その結合枝がシナプス結合で
あって、重み値Ｗ_ijが与えられている。第３層の出力層
Ｏは同様にかくれ層Ｈの各ニューロンモデルの全てに各
々のユニットが接続されている。その出力は外部に出さ
れる。このニューラルネットにおいては学習時において
入力層Ｉに与えられる入力パターンの信号に対応する教
師データと出力層からの出力信号との誤差を求め、この
差が非常に小さくなるようにかくれ層Ｈと出力層との間
の重み及び第１層と第２層の間の重みを定めるようにす
る。このアルゴリズムがバックプロパゲーション法則、
すなわち逆伝播学習則と呼ばれるものである。逆伝播学
習則によって定められた重み値を保存し、例えばパター
ン認識等の連想処理を行う場合には、第１層の入力にて
認識するべきパターンからややずれた不完全なパターン
を与えると、出力層からそのパターンに対応した出力信
号が出力され、その信号は学習時に与えたそのパターン
に対応する教師データと非常に似たような信号が出てく
る。教師データとの差が非常に小さければ、その不完全
なパターンを認識したことになる。

【００２８】図１のニューロコンピュータを用いてこの
ニューラルネットワークの動作を工学的に実現できる。
尚上記具体例において、それぞれのシナプスに与えられ
る重みは例えば図３に示す様にして予め求めておく。即
ち図３はニューロコンピュータにおいて処理の計算にお
ける基本素子であるニューロンモデルの例図である。ニ
ューロンモデルは入力Ｘ₁，Ｘ₂，…，Ｘ_nの各々にシ
ナプス結合としての重み時Ｗ₁，Ｗ₂，…，Ｗ_nをそれ
ぞれ掛け、その総和を求め、これを内部値Ｕとする。こ
のＵに非線形関数ｆを施し、出力Ｙとする。ここで非線
形関数ｆは図に示すようなＳ型のシグモイド関数が一般
に使われる。上記した構成において、入力層Ｉのｐ番目
のニューロンと隠れ層Ｈのｑ番目のニューロンを接続す
るシナプスの重みをｗ_pq ^(ih)とし、隠れ層Ｈのｑ番目の
ニューロンと出力層Ｏのｒ番目のニューロンを接続する
シナプスの重みをｗ_qr ^(ho)とする。

【００２９】重み行列を、Ｗ^(ih)，Ｗ^(ho)とすると、

【００３０】

【数２】

【００３１】と書ける。又、入力層Ｉに入力データＩが
入力されたときに、出力層Ｏの状態Ｏは次のように計算
される。Ｈ＝ｆ（Ｗ^TＩ）Ｏ＝ｆ（Ｗ^TＨ）ここで、ｆは、ベクトルの各要素に前記したシグモイド
関数ｆを適用することを意味する。

【００３２】シグモイド関数ｆは、例えば次のような関
数である。

【００３３】

【数３】

【００３４】ここで、Ｇはシグモイド関数のゲインを表
す。更に一般に、各標本データＳ^(k)は、入力データＩ
^(k)と、教師データＴ^(k)の組として与えられる。

【００３５】

【数４】

【００３６】ここで、Ｎ_Pは標本データの数を、Ｎ_iは
入力データの次元を、Ｎ_oは出力データあるいは教師デ
ータの次元を表す。本発明におけるデータ処理方法にお
いて学習の目的は、与えられた全ての標本データにたい
して、入力データから計算される出力データと教師デー
タの誤差が許容範囲内であるような、重みＷ^(ih)，Ｗ
^(ho)を求めることである。

【００３７】この様な重みを求める方法の例は前述した
特開平３−１０５５８４等に開示されている様なアルゴ
リズムを用いることにより、入力データから積和演算と
シグモイド関数を用いた計算とによって重みＷ^(ih)，Ｗ
^(ho)が求められる。これを前向き処理と称している。一
方上述の方法で求めた重みに関して出力データと教師デ
ータとの誤差を最も小さくするために、かかる重みの調
整量ΔＷ^{(ih kh)}，ΔＷ^(ho)(k)を求めることになるが
かかる演算には一般に知られている最急降下法を用いて
演算処理することによって求めることが可能である。か
かる重みの調整量ΔＷを求める処理を前記処理とは異り
後向き処理（バックプロパゲーション）と称する。

【００３８】即ち、ニューロコンピュータにおける学習
とはネットワークが所望の入出力関数を満たすようにな
るまで各ニューロンの重みを修正することである。学習
方法は所望の入力信号ベクトルと教師データベクトルと
の対を複数個、すなわち教師データの集合分だけ用意
し、その中から１対を選び、その入力信号Ｉ_pを学習対
象ネットワークに入力し、入力に対するネットワークの
出力と正しい出力信号、すなわちその入力信号に対応し
た教師データＯ_pとを比較する。この差を誤差ｅと称す
るが、その誤差ｅ、及びこの時の入出力信号の値を基
に、各ニューロンの重みを修正することになる。この過
程を教師データの集合中の全要素にわたり学習が収束す
るまで繰り返すものである。すなわち、入力パターンの
数の分だけ、すべて重み値として分布的に記憶すること
になる。この後ろ向き処理と呼ばれる重みの修正過程に
おいて出力層で得られた誤差を途中で変形しながら入力
層に向け通常の信号の流れる向きとは逆方向に伝播させ
る。これがバックプロパゲーションのアルゴリズムであ
る。このバックプロパゲーションに関する具体的演算例
も上記した特開平３−１０５５８４に詳細に説明されて
いる。

【００３９】上記の各手法を用いることによって、標本
データＳ^(k)＝（Ｉ^(k)，Ｔ^(k)）に対する重みの調整
量ΔＷ^(ih)(k)，ΔＷ^(ho)(k)は、次のように計算され
る。

【００４０】

【数５】

【００４１】ここで、ｅ_r ^(o)(k)はｋ番目の標本データ
に対する出力層のｒ番目のニューロンの誤差を表し、ｅ
_q ^(h)(k)はｋ番目の標本データに対する隠れ層のｑ番目
のニューロンの誤差を表している。また、ε^(ih)，ε
^(ho)は、それぞれ入力層−隠れ層の重みの学習定数、隠
れ層−出力層の重みの学習定数を表している。学習は、
全ての標本データの出力層の誤差がある許容範囲内に収
まった時に完了する。すなわち、｜Ｏ_r ^(k)−ｔ_r ^(k)｜＜ａｌｌｏｗａｎｃｅを満足した時に学習が完了する。ここで、ａｌｌｏｗａ
ｎｃｅは許容範囲を表す定数である。

【００４２】又、Ｏ_r ^(k)はｋ番目の標本データの入力
に対するｒ番目の出力層のニューロンの出力値であり、
ｔ_r ^(k)は、ｋ番目の標本データのｒ番目の出力層のニ
ューロンの出力の期待値である。標本データの出力層Ｏ
の誤差がある許容範囲内に収まっていない時には、重み
を調整して、学習を再開する。重みの調整は次の式で表
わされる。

【００４３】つまり、従来における並列データ処理システムにおけ
る、アルゴリズムは、図４に示される様なものであって
ステップ４１においてデータ転送手段２を絶えず用いな
がら入力データから出力データを計算する前向き処理を
実行し、ステップ４２において、その結果得られた出力
データにもとづいて教師データと該出力データとの誤差
を演算する。次でステップ４３において後向き処理を行
い、データ転送手段を用いながら前記で得られた誤差を
もとに実行パラメータの調整分ΔＷを累積する。その後
ステップ４４に進みすべての標本データについて、上記
各ステップにおける演算をくり返したのちステップ４５
に進み実行パラメータに前記ステップで得られた調整分
を加算する。

【００４４】そしてこのステップをステップ４６におい
て全ての標本データについて誤差が許容範囲内に収まる
まで繰り返すことになる。次に、ニューラルネットワー
クにおいて上記した複数のデータの並列演算処理を行う
場合の基本的な技術ベースにもとづいて、図５に示され
るデータ処理装置を用いて本発明に係るデータ処理シス
テムを実行する具体例を以下に説明する。図６は、図５
に示す本発明の並列データ処理システムを用いて本発明
の目的とする演算処理を行う手順の一例を示すフローチ
ャートである。尚図５中１６は誤差の許容範囲設定手段
であり、１７は学習定数を示すものとする。先ずスター
ト後、ステップ５０で初期化を行う。このステップにお
いては、重みの調整量変数と誤差の最大値変数を初期化
する。

【００４５】

【数６】

【００４６】尚上記の式及び以下の各式において∀とΣ
はループ変数を用いて実現すると考える。次いでステッ
プ５１において最初の標本データ（Ｓ）を選択するため
Ｓ＝１と設定し、ステップ５２に進んで前向き処理の演
算を開始する。即ちｓ番目の標本データ中の入力値と重
みから、以下の式により隠れ層Ｈおよび出力層Ｏのニュ
ーロンの出力値∀ｊｈ_j，∀ｋ，ｏ_kと出力誤差∀ｋ，
ｅ_k ^outを計算する。

【００４７】

【数７】

【００４８】ここで、本具体例に使用されている各記号
の定義を以下に改めて示しておく。（１）ニューロン間の接続の重み（実行パラメータ）：
実行パラメータはＷ_ij ^IH ｉ＝１…Ｎ_iｊ＝１…Ｎ_h Ｗ_jk ^HO ｊ＝１…Ｎ_hｋ＝１…Ｎ_o と表示され、ここでｉは、入力層のニューロンのインデ
ックス（１からＮ_i) ｊは、隠れ層のニューロンのインデックス（１から
Ｎ_h) ｋは、出力層のニューロンのインデックス（１から
Ｎ_o) Ｗ_ij ^IHは、入力層のニューロンｉから隠れ層のニューロ
ンｊへの接続の重みの大きさを表す。Ｗ_jk ^HO は、隠れ
層のニューロンｊから出力層のニューロンｋへの接続の
重みの大きさを表す。

【００４９】プログラム実行前に、重みの初期値を設定
しておく。学習により、これらの重みを更新する。（２）部分標本データ〔入力〕：各プロセッサに対し
て、ｐを固定した次のデータを設定する。ｘ_i ^(s)(p) ｉ＝１…Ｎ_i,s ＝１…Ｎ_s ｔ_k ^(s)(p) ｋ＝１…Ｎ_o,s ＝１…Ｎ_s ｉは、入力層のニューロンのインデックス（１から
Ｎ_i) ｋは、出力層のニューロンのインデックス（１から
Ｎ_o) ｓは、部分標本データ中の１つの標本データに対するイ
ンデックスを表す。（１からＮ_s) ｐは、プロセッサ（部分学習手段）に対するインデック
スを表す。（１からＮ _p) ｘ_i ^(s)(p)は、ｐ番目のプロセッサに設定する部分標本
データのうち、ｓ番目の標本データの、入力層のニュー
ロンｉへの入力値を表す。

【００５０】ｔ_k ^(s)(p)は、ｐ番目のプロセッサに設定
する部分標本データのうち、ｓ番目の標本データの、出
力層のニューロンｋからの期待出力値を表す教師データ
である。プログラム実行前に、部分標本データを設定し
ておく。各プロセッサごとに、設定する部分標本データ
は異なる。

【００５１】各プロセッサごとにＮ_s個の標本データを
設定する。全プロセッサ数はＮ_p個であるから、標本デ
ータ総数はＮ_pＮ_s個である。（３）学習定数〔入力〕 ε^IH，ε^HO ε^IHは、入力層と隠れ層の間の接続の重みの学習定数で
あり、後向き処理における重みの調整量の更新の時に用
いる。

【００５２】ε^HOは、隠れ層と出力層の間の接続の重み
の学習定数であり、後向き処理における重みの調整量の
更新の時に用いる。（４）隠れ層Ｈのニューロンの出力値〔中間変数〕ｈ_jｊ＝１…Ｎ_h ｊは、隠れ層のニューロンのインデックス（１から
Ｎ_h) ｈ_jは、隠れ層のニューロンｊの出力の大きさを表す。（５）出力層Ｏのニューロンの出力値〔中間変数〕ｏ_kｋ＝１…Ｎ_o ｋは、出力層のニューロンのインデックス（１から
Ｎ_o) ｏ_kは、出力層のニューロンｋの出力の大きさを表す。（６）重みの調整量〔中間変数〕 ΔＷ_ij ^IH ｉ＝１…Ｎ_iｊ＝１…Ｎ_h ΔＷ_jk ^HO ｊ＝１…Ｎ_hｋ＝１…Ｎ_o ｉは、入力層Ｉのニューロンのインデックス（１からＮ
_i) ｊは、隠れ層Ｈのニューロンのインデックス（１からＮ
_h) ｋは、出力層Ｏのニューロンのインデックス（１からＮ
_o) ΔＷ_ij ^IHは、入力層Ｉのニューロンｉから隠れ層Ｈのニ
ューロンｊへの接続の重みの調整量を表す。

【００５３】ΔＷ_jk ^HOは、隠れ層Ｈのニューロンｊから
出力層Ｏのニューロンｋへの接続の重みの調整量を表
す。学習により、全ての標本データについての重みの調
整量を累積する。調整量の総和を重みに加えることによ
り、重みを更新する。（７）出力誤差〔中間変数〕ｅ_k ^out ｋは、出力層Ｉのニューロンのインデックス（１からＮ
_o) ｅ_k ^outは、出力層Ｏのニューロンの出力誤差、すなわ
ち実際の出力と期待出力値つまり教師データの差を表
し、重みの調整量の計算に用いる。（８）誤差の最大値〔中間変数〕ｅ_max 出力層のニューロンの出力値と期待出力値（教師デー
タ）の誤差の最大値を格納するための変数。

【００５４】学習を終了するかどうかの判定に用いる。（９）出力層Ｏのニューロンの中間誤差〔中間変数〕ｅ_k ^o ｋは、出力層Ｏのニューロンのインデックス（１からＮ
_o) ｅ_k ^oは、後向き処理において出力層Ｏのニューロンに
ついての中間誤差を表し、重みの調整量の計算に用い
る。（１０）隠れ層Ｈのニューロンの中間誤差〔中間変数〕ｅ_j ^H ｊは、隠れ層Ｈのニューロンのインデックス（１からＮ
_h) ｅ_j ^Hは、後向き処理において隠れ層Ｈのニューロンに
ついての中間誤差を表し、重みの調整量の計算に用い
る。

【００５５】かかるステップ５２の前向き処理において
は、前述した様に、複数個の各データ処理手段１のそれ
ぞれに、全部の実行パラメータを格納させる一方、標本
データについては、データ処理手段１の個数に応じて、
その数と等しい数に分割された部分標本データの１つを
格納させるものである。ここで部分標本データは必ずし
も同一数に分割されている必要はない。

【００５６】次にステップ５３に進み、ステップ５２に
おいて得られた出力値に関し教師データと該出力値との
誤差∀ｋ，ｅ_k ^out（＝ｏｋ−ｔ_k ^(s)(p)）の最大値を
記憶する。即ち、このステップでは出力誤差の最大のも
のを常に記憶しておく。

【００５７】

【数８】

【００５８】次にステップ５４に進み、前記した後向き
処理を実行する。即ち、前工程において得られた誤差を
もとに重みの調整分ΔＷを例えば最急降下法を用いて演
算しその結果を累積する。

【００５９】

【数９】

【００６０】上記各式は前述したΔＷを求める基本的演
算方法と実質的に同一のものである。続いてステップ５
５に進み標本サンプル番号を１だけ歩進させ別の標本サ
ンプル番号Ｓを選択する。ステップ５６で、選択された
標本サンプル番号Ｓが、部分標本サンプル数Ｎ_sより小
であれば、ステップ５２に戻り上記した各ステップの演
算処理がくり返されるがステップ５６でＮＯの場合、つ
まり部分標本サンプル数Ｎ_s個の全てについての上記処
理が終了した場合にはステップ５７に進み、調整量を求
めるの演算処理を終了させるかどうかを判定するための
演算処理に入る。つまり、ステップ５７では、先ず各デ
ータ処理手段１が持っているそれぞれの部分標本データ
について、前記した出力誤差が許容範囲（ａｌｌｏｗａ
ｎｃｅ）内にあるかどうかを判断し、全ての部分標本デ
ータについての誤差が、この許容範囲以内である場合
に、当該データ処理手段１における学習を終了する。

【００６１】この場合、該データ処理手段１のエンドフ
ラグ（ｅｎｄｆｌａｇ）を例えば“ＴＲＵＥ”とする。
そして各プロセッサの持つ部分標本データについての出
力誤差がａｌｌｏｗａｎｃｅ以下である場合に、そのプ
ロセッサ（データ処理手段１）のｅｎｄｆｌａｇがＴＲ
ＵＥになる。

【００６２】全てのプロセッサのエンドフラグ（ｅｎｄ
ｆｌａｇ）がＴＲＵＥとなっている場合に本発明におけ
る学習は終了する。つづいて各プロセッサは自分のｅｎ
ｄｆｌａｇをドレイ２にセットして、バケツリレー式に
シフトして読み出すことにより、学習の終了条件オール
エンドフラグ（ａｌｌｅｎｄｆｌａｇ）を計算する。

【００６３】本ステップの演算処理アルゴリズムの例を
示すと次の様になる。即ち if e_max＜allowance then endflag：＝TRUE else endf
lag ：＝FALSE allendflag：＝endflag tray：＝endflag shift tray, allendflag：＝allendflag AND tray …こ
れを（ｐ−１）回繰り返すここで“ｔｒａｙ”とはデータ転送手段３を構成する転
送データ保持手段２を表わしておりプロセッサ間の通信
はこのトレイを介して行なう。トレイへの書き込み、読
み出し、シフトの３つの動作が行なえる。つまりステッ
プ５７においては、全てのデータ処理手段１における部
分標本データに関する重みの累積分を、データ転送手段
３のシフトレジスタ機能を有する転送データ保持手段２
を作動させて全データを一回巡回させることにより、そ
の累積分の総和を計算する。

【００６４】そしてステップ５８に進み、演算結果が当
該演算処理操作を終了させる条件を満足するか否かが判
断される。即ち本発明における上記具体例においては、
学習の終了条件におけるａｌｌｅｎｄｆｌａｇがＴＲＵ
Ｅである場合に学習を終了する。つまり if allendflag ＝＝TRUE then goto END である。

【００６５】上記ステップ５８においてＹＥＳである場
合、即ち上記終了条件が満足された場合には上記演算処
理は終了し、本ルーチンはＥＮＤとなる。一方、ステッ
プ５８においてＮＯである場合には、ステップ５９に進
み調整量の共有化処理を行ったのちステップ５０に戻り
上述した全てのステップを繰り返すことになる。尚、ス
テップ５９においては、各プロセッサの計算した、それ
ぞれの持つ部分標本データによる重みの調整量を、トレ
イ２を用いて共有化することにより、全標本データに対
する重みの調整量の総和を元の重みに加える。

【００６６】これにより、全ての標本データに対する重
みの更新（学習）を行なったことになる。アルゴリズム
は∀_i，∀_jについて、以下を実行する。 tray：＝ΔＷ_ij ^IH shift tray，Ｗ_ij ^IH：＝Ｗ_ij ^IH＋tray…これをｐ回繰り
返す又∀_j，∀_kについて、以下を実行する。

【００６７】tray：＝ΔＷ_jk ^HO shift tray，Ｗ_ij ^HO：＝Ｗ_jk ^HO＋tray…これをｐ回繰り
返す上記本発明に係るデータの並列処理システムにおける具
体例の演算処理速度と、前記した従来例（例えば特開平
−３−１０５５８４号に記載の方法）における演算処理
速度とを比較してみる。

【００６８】ここで、３層の階層型ニューラルネットワ
ークについて、従来技術と本実施例１の学習性能の簡単
な評価をしてみる。全ての標本データについての重みの
調整量を求めるための時間Ｔを計算し、比較してみる。
従来技術の場合、部分実行パラメータの部分学習手段間
の通信時間は、積和演算と同時に行なうので、０と考え
ることができる。

【００６９】Ｔ＝Ｔ_f＋Ｔ_b ここで、Ｔ_fは前向き処理にかかる時間、Ｔ_bは後向き
処理にかかる時間である。並列度を上げるための部分学
習手段の数Ｎ_lは充分にあるものとすると、Ｎ_l＝ｍａｘ（Ｎ_i，Ｎ_h，Ｎ_o）の時に、データ転送手段による並列積和演算を行なうこ
とから、Ｔ_f＝ｃ_fＮ_p（Ｎ_i＋Ｎ_h）Ｔ_b＝ｃ_bＮ_p（Ｎ_h＋Ｎ_o）ここで、ｃ_fは前向き処理での１つの重み当たりの平均
計算時間、ｃ_bは後向き処理での１つの重み当たりの平
均計算時間である。

【００７０】本実施例の場合、重みの調整量を部分標本
データについて計算する間は、部分学習手段のなかで処
理が閉じているので通信時間は０である。ただし全ての
標本データについての１回分の処理の最後に１回だけ、
全体の重みの調整量を求めるために部分標本データによ
る部分的な重み調整量を全ての部分学習手段間で共有す
るために通信する必要がある。

【００７１】従って、学習時間は、Ｔ＝Ｔ_f’＋Ｔ_b’＋Ｔ_comm ここで、Ｔ_f’は部分標本データによる前向き処理の計
算時間、Ｔ_b’は部分標本データによる後向き処理の計
算時間、Ｔ_commは全体の重みの調整量の総和を通信によ
り求めるための通信時間である。

【００７２】さらに、

【００７３】

【数１０】

【００７４】となる。ここで、比較を簡単にするため
に、全ての層のニューロン数が等しい。すなわち、Ｎ_i＝Ｎ_h＝Ｎ_o＝Ｎの場合の学習時間を比較してみる。

【００７５】従来技術の学習時間は、Ｔ_old＝２Ｎ_pＮ（ｃ_f＋ｃ_b）∝Ｎ_pＮとなり、標本データの数と１層当たりのニューロン数に
比例する。この時の部分学習手段の数Ｎ_optは、Ｎ_opt＝Ｎで与えられる。

【００７６】本実施例の学習時間は、

【００７７】

【数１１】

【００７８】上記の式の等号は、部分学習手段の最適な
数Ｎ_optの時に成立する。

【００７９】

【数１２】

【００８０】部分学習手段の数がＮ_optである時には、
本実施例の学習時間は、標本データの数の平方根と１層
当たりのニューロン数の２乗に比例する。従って、標本
データの数Ｎ_pと１層当たりのニューロン数Ｎの間に、
関係

【００８１】

【数１３】

【００８２】が成立している場合には、Ｔ_old≧Ｔ_new が成立する。一般に、実行パラメータの数、この場合は
１層当たりのニューロン数の２乗、に比べて、標本デー
タの数のほうがはるかに多いので、本発明の具体例の方
が従来にくらべて有効性があることが示された。

【００８３】次に本発明に係る並列データ処理システム
における他の具体例（第２実施例）について説明する。
図７は本発明の第２の実施例の説明図であり、誤差逆伝
播学習を行なうニューロコンピュータを表している。図
中、図５で示したものと同一のものは同一の記号で示し
ている。

【００８４】即ち本具体例（第２の実施例）と図５に示
す本発明の前記具体例（第１の実施例）との相異は、デ
ータ処理手段１に末尾標本データ保持手段１８及び部分
標本データを調整量の更新に使用するかしないかを判断
する判定機構１９が付加されているものでありその他の
構成は図５に示すものとほぼ同一である。つまり本発明
に係る第２の実施例では、基本的な演算処理手順は第１
の実施例と実質的に同じであるが、本実施例２では、部
分学習手段におのおのの標本データを調整分の累積に使
用するかどうかの判断機構を持たせることにより、標本
データの数Ｎ_pが部分学習手段の数Ｎ_lの倍数でない場
合にも問題なく学習できる並列学習方式を実現してい
る。

【００８５】つまり、第１の実施例では、部分標本デー
タＮ_pの数が部分学習手段つまりデータ処理手段Ｎ_lの
倍数と等しい場合を想定したものであるが、第２の実施
例では、部分標本データＮ_pの数がデータ処理手段Ｎ_l
の数の倍数に一致しない場合の演算処理を行うことを想
定したものである。かかる状態においては、例えば部分
標本データＮ_pの数がデータ処理手段Ｎ_lよりも小さい
場合には、かかるデータ処理手段のうちどれを使用し、
それを遊ばせておくかの判断が必要となる。

【００８６】かかる演算処理のアルゴリズムは次の様に
なる。即ち、標本データの数Ｎ_pは、部分学習手段の数
Ｎ_lの倍数とはならないから、Ｎ_p＝ｋＮ_l−ｒｋ：整数０≦ｒ＜Ｎ_l が成立する。

【００８７】ｋが部分標本データの数に対応すると考え
ると、実行パラメータ（重み）の調整分の累積時に、ｒ
個の部分学習手段がそれぞれ１つのダミーの標本データ
を処理して、その時には調整分の累積を行なわないよう
にすれば、標本データの数Ｎ _pが部分学習手段の数Ｎ_l
の倍数でない場合でも、調整分を正しく計算することが
できる。具体的には、末尾標本データ使用フラグ（ｅｎ
ｄｕｓｅｆｌａｇ）を導入するものであって、このフラ
グは、部分標本データのうち最後の標本データを学習に
使用するかどうかを示すフラグである。

【００８８】末尾標本データ使用フラグは誤差の計算の
時に用い、もしｅｎｄｕｓｅｆｌａｇ＝ＦＡＬＳＥなら
ば誤差を強制的に０に設定する。実際の演算処理におい
ては、部分標本データのうち最後の標本データについ
て、末尾標本データ使用フラグｅｎｄｕｓｅｆｌａｇを
参照して、下記のアルゴリズムによりその標本データを
学習に使用するかどうかを判断して、使用しない場合は
誤差を強制的に０にする。

【００８９】if（s ＝＝Ns）AN（Denduseflag ＝＝FALS
E ） then ∀ｋ，ｅ_k ^out＝０かかる演算処理の手順を示すフローチャートも図８に示
すように基本的には図６のフローチャートとほぼ同一で
あるが、異る点はステップ５２がステップ５２−Ａとス
テップ５２−Ｂに分けられており、まずステップ５２−
Ａでは、前述したと同じ前向き処理が行われる。次にス
テップ５２−Ｂに進み、今対象となっている標本データ
を重みの調整に用いるかどうかを判断し、使用するので
あれば、そのままステップ５３に進み、使用しないので
あれば誤差データを０としてステップ５３に進むことに
なる。

【００９０】

【発明の効果】以上説明したように、本発明によれば、
実行パラメータの量と比較して大量の標本データを用い
て学習させる場合に、従来の方法より大きな並列度を持
たせることができ、より短い時間で学習を実行できるた
め、適応システムの学習性能の向上に寄与するところが
大きい。

【図面の簡単な説明】

【図１】図１は、本発明に係る並列データ処理システム
の構成の一例を示すブロックダイアグラムである。

【図２】図２は、本発明に係る並列データ処理システム
で使用されるデータ処理手段の一態様であるニューロン
モデルの一例を示す図である。

【図３】図３は、図２に示されるニューロンモデルに於
ける入力と出力との関係を説明する図である。

【図４】図４は、従来に於ける並列データ処理システム
の演算処理手順の例を示すフローチャートである。

【図５】図５は、本発明に於ける並列データ処理システ
ムに係る第１の具体例の構成を示すブロックダイアグラ
ムである。

【図６】図６は、図５に示される本発明に係る並列デー
タ処理システムの演算処理手順の例を示すフローチャー
トである。

【図７】図７は、本発明に於ける並列データ処理システ
ムに係る第２の具体例の構成を示すブロックダイアグラ
ムである。

【図８】図８は、図７に示される本発明に係る並列デー
タ処理システムの演算処理手順の例を示すフローチャー
トである。

【図９】図９は、従来に於ける共通バス方式によるデー
タ処理システムの構成例を示すブロックダイアグラムで
ある。

【図１０】図１０は、従来に於けるリングシストリック
方式によるデータ処理システムの構成例を示すブロック
ダイアグラムである。

【図１１】図１１は、図１０に示されるリングシストリ
ック方式によるデータ処理システムを実現させるための
回路構成例を示すブロックダイアグラムである。

【図１２】図１２は、従来に於けるリングシストリック
方式による他のデータ処理システムの構成例を示すブロ
ックダイアグラムである。

【図１３】図１３は、従来の別のデータ処理システムの
構成例を示すブロックダイアグラムである。

【符号の説明】

１…データ処理手段、部分学習手段２…転送データ保持手段３…データ転送手段１１…部分標本データ保持手段１２…実行パラメータ保持手段１３…入出力バス１４…調整量演算手段１５…加算手段１６…誤差許容範囲設定手段１７…学習定数１８…末尾標本データ保持手段１９…判断機構

Claims

【特許請求の範囲】

【請求項１】複数個のデータ処理手段と、データ転送
手段とからなり、且つ該データ処理手段のそれぞれは、
該データ転送手段に接続されている並列データ処理装置
に於いて、該データ処理手段のそれぞれには、データ処
理に必要な実行パラメータ保持手段と所定のデータ処理
に必要とされる全標本データの少なくとも一部を保持す
る部分標本データ保持手段とが設けられており、該それ
ぞれのデータ処理手段に於いて、当該データ処理手段に
設けられている該部分標本データ保持手段に保持されて
いる部分標本データと該データ処理手段に設けられてい
る該実行パラメータ保持手段に保持されている実行パラ
メータとから、当該部分標本データについての当該実行
パラメータに関する調整量を演算処理する調整量演算手
段と、全ての標本データについての実行パラメータの調
整量の総和を演算して求めるに際し、所定の該データ処
理手段に於ける部分標本データについての当該実行パラ
メータに関する調整量を、前記データ転送手段を介して
他の当該データ処理手段に於ける部分標本データについ
ての当該実行パラメータに関する調整量とを累積演算す
る累積手段とから構成されている事を特徴とする並列デ
ータ処理システム。
【請求項２】該複数個のデータ処理手段は、ニューラ
ルネットワークを構成しているものである事を特徴とす
る請求項１記載の並列データ処理システム。
【請求項３】該各データ処理手段のそれぞれが、部分
標本データについての当該実行パラメータの調整量を演
算するに際して、それぞれのデータ処理手段が持ってい
る部分標本データを、当該調整量の更新処理時に使用す
るか否かを判断する判定機構が設けられている事を特徴
とする請求項１及び２記載の並列データ処理システム。