JPH05307624A

JPH05307624A - 信号処理装置

Info

Publication number: JPH05307624A
Application number: JP4225034A
Authority: JP
Inventors: Sugitaka Otegi; 杉高樗木; Tokuo Hashimoto; 篤男橋本
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1991-09-05
Filing date: 1992-08-01
Publication date: 1993-11-19

Abstract

(57)【要約】【目的】信号処理装置に関し、ニューラルネットワー
クをハード化する場合に高速処理が可能な信号処理装置
を提供することを目的とする。【構成】神経細胞模倣素子により構成された神経細胞
回路網による信号処理装置において、当該神経細胞回路
網を構成する各神経細胞模倣素子は、フォワードプロセ
ス時に入力される入力信号を保持する手段と、額時化を
ぷろせす時ににをけたょくされる誤差信号を保持する手
段を有し、フォワードプロセスと学習プロセスを並列に
行う構成とする。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、文字や図形認識、ロ
ボットなどの運動制御、連想記憶などに応用される神経
細胞回路網を模倣したニューラルコンピュータ等の信号
処理装置に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣し、さらに、この
「神経細胞模倣素子」（神経細胞ユニット）をネットワ
ークに構成することで情報の並列処理を目指したのが、
いわゆるニューラルネットワークである。文字認識や連
想記憶、運動制御等、生体ではいとも簡単に行われてい
ても従来のノイマン型コンピュータではなかなか達成で
きないものが多い。

【０００３】生体の神経系、特に生体特有の機能、すな
わち並列処理や自己学習等を模倣して、これらの問題を
解決しよとする試みが、計算機シミュレーションを中心
として、盛んに行われている。

【０００４】図１は、１つのニューロンモデルを表す模
式図で、他のニューロンから入力を受ける部分と、入力
を一定の規則で変換する部分と、結果を出力する部分と
からなり、他のニューロンとの結合部分には、それぞれ
結合係数と呼ばれる可変の重み”Ｔij”を付け、結合の
強さを表している。学習とはこの値を変えることであっ
て、これによりネットワークの構造が変えられる。

【０００５】図２は、これを階層型ネットワークにした
ものを例示する模式図であり、このネットワークは、入
力層Ａ１、中間層Ａ２及び出力層Ａ３からなり、１つの
ニューロンは他の多数のニューロンと結合しているが、
各層内でのニューロンどうしの結合はなく、また、出力
層Ａ３から入力層Ａ２に向かう結合もない。なお、図２
においては１層の中間層を持つ３層ネットワークである
が、複数の中間層を持つ多層ネットワークも利用されて
いる。

【０００６】フォワードプロセスにおいては、図２のネ
ットワークの場合、入力層Ａ１に入力されたしんごヴ
は、中間層Ａ２に伝播し、中間層にてフォワード処理を
実行する。中間層の処理結果は、出力層に伝播し、出力
層にてフォワード処理を実行し、最終的にニューラルネ
ットワークの出力が得られる。ここで、ニューロン間の
結合の度合いを表すのが、結合係数と呼ばれるものであ
り、一般にｉ番目のニューロンとｊ番目のニューロンと
の結合度合いをＴijで表す。結合には、相手方のニュー
ロンの信号が大きいほど自分の出力が大きくなる興奮性
結合と、逆に、相手方のニューロンの信号が大きいほど
自分の出力が小さくなる抑制性結合とがあり、Ｔij＞０
のとき興奮性結合を表し、Ｔij＜０のとき抑制性結合を
表す。

【０００７】今、自分のニューロンがｉ番目であると
し、ｊ番目のニューロンの出力をｙjとすると、これに
結合係数Ｔijを掛けたＴij・ｙj が自分のユニットへの
入力となる。各ニューロンは多数のニューロンと結合し
ているので、それらのニューロンに対するＴij・ｙj を
足し合わせた結果であるΣＴij・ｙj を足し合わせたも
の、すなわち、ΣＴij・ｙj が、自分のニューロンへの
入力となる。これを内部電位と言い、次の数式１で表さ
れる。

【０００８】

【数１】ｕi ＝ΣＴij・ｙi

【０００９】次に、この入力に対して非線形処理をし
て、その神経細胞ユニットの出力とする。ここで用いる
非線形関数を神経細胞応答関数と呼び、例えば次の数式
２及び図３に示すようなシグモイド関数ｆ（ｕi ）を用
いる。

【００１０】

【数２】ｆ（ｕi ）＝１／（１＋ｅ-^x）

【００１１】以上より、ニューロンｉの出力ｙi 次の数
式３で示される。

【００１２】

【数３】ｙi ＝ｆi （ｕi ）＝ｆi （ΣＴij・ｙi ）

【００１３】以下、学習プロセスとして、一般的なバッ
クプロパゲーションアルゴリズム（以下ＢＰアルゴリズ
ムと略記する。）について簡単に述べる。学習パターン
では、ある入力パターンｐを与えたとき、実際の出力値
と望ましい出力値の誤差を小さくするように結合係数を
変更していく。この変更量を求めるアルゴりズムがＢＰ
アルゴリズムである。

【００１４】今、ある入力パターンＰを与えた時、ユニ
ットｉの実際の出力値（ｙpi）と望ましい出力値（ｔp
i）の差を数式４のように定義する。

【００１５】

【数４】Ｅp ＝（ｔpi−ｙpi）² ／２

【００１６】これは出力層ユニットｉの誤差を表し、ｔ
piは人間が与える教師データである。学習ではこの誤差
を減らすように全ての結合の強さを変えていく。実際に
は、パターンｐを与えたときの結合係数Ｔijの変化量を
次の数式５を用いて変化させる。また、数式４より、結
果的に数式６が得られる。

【００１７】

【数５】ΔｐＴij∝−ΞＥ／ΞＴij

【００１８】

【数６】ΔｐＴij＝ηδpiｙpj

【００１９】ここで、ｙpjは、ユニットｊからユニット
ｉへの入力値であり、誤差δpiは、ユニットｉが出力層
Ａ３か、中間層Ａ２かによって異なり、出力層Ａ３にお
ける誤差信号δpiは数式７で、中間層Ａ２における誤差
信号δpiは数式８でそれぞれ表される。ただし、これら
の数式においてｆi'（ｕi ）はｆi （ｕi ）の一階微分
である。

【００２０】

【数７】δpi＝（ｔpi−ｙpi）・ｆi'（ｕi ）

【００２１】

【数８】δpi＝ｆi'（ｕi ）・ΣδpkＴki

【００２２】以上より、ΔＴijを一般的に定式化したの
が数式９であり、故に数式１０が導かれる。ここで、ｎ
は学習の順位、ηは学習定数、αは安定化係数である。

【００２３】

【数９】 ΔＴij（ｎ＋１）＝ηΔpiｙpj＋αΔＴij（ｎ）

【００２４】

【数１０】Ｔij（ｎ＋１）＝Ｔij（ｎ）＋ΔＴij（ｎ＋１）

【００２５】数式９の右辺第１項は、数式６で求めた結
合係数の変化量ΔＴ、第２項はエラーの振動を減らし、
収束を早めるために加えている。

【００２６】このように結合係数の変化量ΔＴの計算
は、出力層Ａ３のユニットから始めて、中間層Ａ２のユ
ニットに移り、学習は荷を毛力データの処理とは逆方
向、つまり、後ろ向きに進む。したがって、バックプロ
パーゲーションによる学習は、まず、学習用のデータを
入力して出力させること（前向き）と、結果のエラーを
減らすように全ての結合の強さを変えること（後ろ向
き）とを、これらが収束するまで繰り返すことになる。

【００２７】図４は、一つのニューロンのフォワード処
理を数値演算で行う場合の一般的な回路を示すブロック
図であり、シナプスの結合係数を格納したメモリ２とマ
ルチプライヤ３を含む領域４はニューロンのシナプスの
働きを行うところで、入力信号とシナプス係数の積を演
算する。細胞体８は、シナプスにより計算された結合係
数と入力信号との積を加算器５により累積加算し、この
値に変換テーブル７によりシグモイド関数による処理を
施し、出力する。これは、ニューロンの細胞体の働きに
対応する。以上が一つのニューロンのフォワードプロセ
スの内容である。

【００２８】従来の階層型神経細胞回路網は、図２に示
すようなネットワークを形成し、この３層階層型ネット
ワークのフォワードプロセスのデータの流れは、図５に
示すように、入力層Ａ１に入力信号ａ１〜ａ４を与え
て、出力層Ａ３より出力信号ｂ１〜ｂ４を得るようにし
てある。

【００２９】図７に示すように、入力層Ａ、複数の中間
層Ｂ1 〜Ｂn-1 及び出力層Ｃを備える多層ニューラルネ
ットワークにおいても同様にデータは入力層から順に各
中間層を経て出力層に流れる。

【００３０】次に、３層構成のフォワード処理の実行例
を図９の回路図及び図１０のタイミングチャートに基づ
いて説明する。ここで、図９は、図４に示す１つのニュ
ーロンのフォワード処理を実行する回路によって３層階
層型ネットワークを構成し、実行する回路の回路図であ
り、図１０はそのフォワード処理のタイミングチャート
である。

【００３１】まず、図１０のステートＳ１で入力層の入
力信号１０を中間層のフォワード処理実行回路１１に入
力するとともに、コントロール回路１５の中間層用フォ
ワード処理開始信号ＦＷＤＳ１をアクティブにする。こ
れによって、最初の入力信号によるフォワード処理が実
行され、この結果をレジスタ１２に保持する。そして、
次のステートＳ２でレジスタ１２の値を出力層のフォワ
ード処理実行回路１３に入力するとともに、コントロー
ル回路１５の出力層用フォワード処理開始信号ＦＷＤＳ
２をアクティブにして、出力層におけるフォワード処理
を実行し、出力１４が得られる。このように次々に与え
られる入力信号１０に対して図１０に示すようにパイプ
ライン方式でフォワード処理が実行される。

【００３２】多数の中間層を有する多層ネットワークに
おいても、図１１の回路図及び図１２のタイミングチャ
ートに示すように、前述の３層ネットワークと同様にパ
イプライン方式でフォワード処理が実行される。

【００３３】なお、学習プロセスによる処理は、今のと
ころ多くの場合が外部の汎用コンピュータによって実行
している。

【００３４】図３３は、上記ネットワークを電気回路で
実現したものの一例を示す図で（特開昭６２−２９５１
８８号公報参照）、基本的には、Ｓ字形の伝達関数を有
する複数の増幅器１０３と、各増幅器１０３の出力を他
の層の増幅器の入力に一点鎖線で示すように接続する抵
抗性フィードバック回路網１０１とが設けられている。
各増幅器１０３の入力側には接地されたコンデンサＣと
接地された抵抗ＲとによるＣＲ時定数回路１０２が個別
に接続されている。そして、入力電流Ｉ1 、Ｉ2 〜ＩN
が各増幅器１０３の入力に供給され、出力はこれらの増
幅器１０３の出力電圧の集合から得られる。

【００３５】ここに、入力や出力の信号の強度を電圧で
表し、神経細胞の結合の強さは、各細胞間の入出力ライ
ンを結ぶ抵抗１００（抵抗性フィードバック回路網１０
１中の格子点）の抵抗値で表され、神経細胞応答係数は
各増幅器１０３の伝達関数で表される。また、神経細胞
間の結合には前述のように興奮性と抑制性とがあり、数
学的には結合係数の正負符号により表される。しかし、
回路上の定数で正負を実現するのは困難であるので、こ
こでは、増幅器１０３の出力を２つに分け、一方の出力
を反転させることにより、正負の２つの信号１０３ａ、
１０３ｂを生成し、これを適当に選択することにより実
現するようにしている。また、図６に示したシグモイド
関数に相当するものとしては増幅器が用いられている。

【００３６】図３４〜図３６は、前記ニューラルネット
ワークをデジタル回路で実現した例を示す図である。図
３４は、単一神経細胞の回路構成例を示す図であり、１
１０はシナプス回路、１１１は樹状突起回路、１１２は
細胞体回路を示す。図３５は、図３４に示したシナプス
回路１１０の構成例を示す図であり、係数回路１１０ａ
を介して入力パルスｆに倍率ａ（フィードバック信号に
掛ける倍率で１または２）を掛けた値が入力されるレー
トマルチプライヤ１１０ｂを設けてなり、レートマルチ
プライヤ１１０ｂには重み付けの値ｗを記憶したシナプ
ス荷重レジスタ１１０ｃが接続されている。また、図３
６は細胞体回路１１２の構成例を示す図であり、制御回
路１１３、アップ／ダウンカウンタ１１４、レートマル
チプライヤ１１５及びゲート１１６を順に接続してな
り、さらに、アップ／ダウンメモリ１１７が設けられて
いる。

【００３７】これは、神経細胞ユニットの入出力をパル
ス列で表現し、そのパルス密度で信号の量を表してい
る。結合係数は２進数で取り扱い、シナプス荷重レジス
タ１１０ｃに保存している。信号演算処理は次のように
行われる。

【００３８】まず、入力信号をレートマルチプライヤ１
１０ｂへ入力し、結合係数をレート値へ入力することに
よって、入力信号のパルス密度をレート値に応じて減ら
している。これは、前述のＢＰモデルの数式１のＴijｙ
i の部分に相当する。また、ΣＴijｙi のΣの部分は、
樹状突起回路１１１によって示されるＯＲ回路で実現し
ている。結合には興奮性、抑制性があるので、あらかじ
めグループ分けしておき、それぞれのグループ別にＯＲ
をとる。図３４において、Ｆ1 は興奮性出力、Ｆ2 は抑
制性出力を示す。

【００３９】この２つの出力を、図３６に示したカウン
タ１１４のアップ側、ダウン側にそれぞれ入力してカウ
ントすることで出力が得られる。この出力は２進数であ
るので、再びレートマルチプライヤ１１５を用いて、パ
ルス密度に変換する。この神経細胞ユニットを複数個用
いてネットワークを構成することによって、ニューラル
ネットワークが実現できる。

【００４０】学習機能は、ネットワークの最終出力を外
部のコンピュータに入力して、コンピュータ内部で数値
計算を行い、その結果を結合係数を保存するシナプス荷
重レジスタ１１０ｃに書き込むことによって実現してい
る。

【００４１】本出願人は、神経細胞模倣素子より構成さ
れた神経細胞回路網による信号処理装置を既に開発し、
特許出願している（特願平１−３４３８９１号）。この
発明では、その信号処理装置を一実施例の例題として取
り扱っている。以下、本出願人が既に開発した信号処理
装置について述べる。

【００４２】この信号処理装置においては、神経回路網
の一例として、ディジタル論理回路を用いた神経細胞ユ
ニットとこれを用いて構成したネットワーク回路による
信号処理について提案している。

【００４３】ここで基本的な考え方は、 1．神経細胞ユニットに関する入出力信号、中間信号、
結合係数、教師信号などは、すべて、「０」、「１」の
２値で表されたパルス列で表現する。 2．ネットワーク内部での信号の値は、パルス密度で表
す（ある一定時間内の「１」の数）。 3．神経細胞ユニット内での計算は、パルス列同士の論
理演算で行う。 4．結合係数のパルス列は、神経細胞ユニット内のメモ
リに格納する。 5．学習においては、与えられた教師信号パルス列を基
に誤差を掲載し、これに基づいて結合係数を変化させる
このとき、誤差の計算、結合係数の変化分の計算もすべ
て、「０」、「１」のパルス列の論理演算で行う。というものであり、以下詳細に説明する。

【００４４】図１３は、パルス密度方式において１つの
ニューロン素子のフォワード処理の様子を示したもの
で、ネットワークの構成は、図２に示した階層型ニュー
ラルネットワークを考える。

【００４５】まず、神経細胞ユニットの入出力は、すべ
て、「０」、「１」に２値化され、パルス密度で表現さ
れた入力ｙi と結合係数Ｔijとの論理積（ＡＮＤ）をシ
ナプスごとに求める。これは数式１のＴij・ｙj に相当
する。このＡＮＤ回路の出力パルス密度は、確率的に入
力信号のパルス密度と結合係数のパルス密度との積とな
る。

【００４６】前述したように、ニューロン側の結合には
興奮性結合と抑制性結合がある。数値演算の場合は、結
合係数の符号、例えば興奮性のときプラス、抑制性のと
きマイナスというようにして演算を行う。

【００４７】パルス密度方式の場合は、結合係数Ｔijの
正負により、各結合を興奮性結合と抑制性結合との２つ
のグループに分け、このグループ別にＯＲ操作による論
理和をとる。これは、数式３のΣの処理と非線型飽和関
数ｆi の処理に相当する。

【００４８】すなわち、パルス密度による演算において
は、パルス密度が低い場合、ＯＲ処理を行った結果のパ
ルス密度はＯＲ入力のパルス密度の和似近似できる。パ
ルス密度が高くなるにつれて、ＯＲ回路の出力は徐々に
飽和して来るので、パルス密度の和とは結果が一致せ
ず、非線形性が出てくることになる。

【００４９】このＯＲ操作の場合、パルス密度の値Ｐは
０≦Ｐ≦１となり、さらに入力の大きさに対して、単調
増加関数となるので、数式２あるいは図３のジグモイド
関数による処理と同様になる。

【００５０】パルス密度方式による神経細胞素子の出力
は、上記により求められた興奮性グループのＯＲ出力ａ
が”１” で、かつ、抑制性グループのＯＲ出力ｂが”
〇”のときのみ、”１”を出力する。すなわち、次のよ
うに表される。

【００５１】

【数１１】ａ＝∪（ｙi ∩Ｔij）（０＜Ｔ＝興奮性）

【００５２】

【数１２】ｂ＝∪（ｙi ∩Ｔij）（０＞Ｔ＝抑制性）

【００５３】

【数１３】ｙi ＝ｇ（ａ、ｂ）＝ａ∩＊ｂ

【００５４】以下、パルス密度方式における学習プロセ
スについて述べる。学習が行われていないニューラルネ
ットワークにおいては、あるパターンを入力したときの
ネットワークの出力は必ずしも望ましい出力とはならな
い。したがって、前述したバックプロパーゲーションア
ルゴリズムと同様に学習プロセスによって、実際の出力
値と望ましい出力値との誤差を小さくするように結合係
数を変更していく。

【００５５】（出力層における信号誤差）最初に、出力
層における誤差信号について述べる。ここで誤差を数値
で表すと正負両方の値を取り得るが、パルス密度方式で
は、そのような表現ができないため、プラス成分を表す
信号とマイナス成分を表す信号の２つを使って、出力層
における誤差を次のように定義する。

【００５６】

【００５７】

【００５８】

【数１４】

【００５９】

【数１５】

【００６０】つまり、誤差信号の＋成分（δ+ ）は、出
力結果が”０”で教師信号が”１”の時”１”となり、
それ以外は”０”となる。

【００６１】他方、誤差信号の−成分（δ- ）は、出力
結果が”１”で教師信号が”０”のとき”１”となり、
それ以外は”０”となる。

【００６２】これらの誤差信号δ+ 、δ- は前述のバッ
クプロパーゲーションアルゴリズムでは出力層の誤差信
号を求める数式７に対応する。

【００６３】（中間層における誤差信号）パルス密度方
式による中間層における誤差信号も前述のＢＰアルゴリ
ズムによる数式８を参考にして求める。すなわち、出力
層における誤差信号を集めてきて、自己の誤差信号とす
る。ここで、結合を興奮性が抑制性かにより２つのグル
ープに分け、積の部分は∩（ＡＮＤ）、和（Σ）の部分
は∪（ＯＲ）で表現する。さらに、中間層における誤差
信号を求める場合、結合係数Ｔijの正負、誤差信号δの
正負の４つに場合分けする。

【００６４】まず、興奮性結合の場合、出力層の誤差信
号プラス成分δ+ とその結合係数のＡＮＤをとったもの
（δ+i∩Ｔij）をすべての出力層のニュートロンについ
て求め、これらのＯＲをとる。これが中間層ニューロン
の誤差信号プラス成分δ+ となる。

【００６５】

【数１６】δ+ ＝∪（δ+i∩Ｔ+ij ）

【００６６】同様に、出力層の誤差マイナス成分δ- と
その結合係数のＡＮＤをとったもの（δ-i∩Ｔij）をす
べての出力層のニュートロンについて求め、これらのＯ
Ｒをとる。これが中間層ニューロンの誤差信号マイナス
成分δ- となる。

【００６７】

【数１７】δ- ＝∪（δ-i∩Ｔ+ij ）

【００６８】次に、抑制性結合の場合について述べる。
出力層の誤差信号マイナス成分δ-と、その結合係数と
のＡＮＤをとったもの（δ-i∩Ｔ-ij ）をすべての出力
層のニューロンについて求め、これらのＯＲをとる。こ
れが中間層ニューロンの誤差信号プラス成分となる。

【００６９】

【数１８】δ+ ＝∪（δ-i∩Ｔ-ij ）

【００７０】同様に、出力層の誤差信号プラス成分δ+
とその結合係数のＡＮＤをとったもの（δ+i∩Ｔ-ij ）
をすべての出力層のニューロンについて求め、これらの
ＯＲをとる。これが中間層ニューロンの誤差信号マイナ
ス成分となる。

【００７１】

【数１９】δ- ＝∪（δ+i∩Ｔ-ij ）

【００７２】ある中間層のニューロンとこれに結合され
た出力層のニューロンとの結合には、興奮性結合と抑制
性結合がある。したがって、中間層の誤差信号プラス成
分としては、数式１６の興奮性結合のδ+ と数式１８の
抑制性結合のδ+ との論理和をとる。同様に、中間層の
誤差信号マイナス成分としては、数式１７の興奮性結合
のδ- と数式１９の抑制性結合のδ- との論理和をと
る。すなわち、数式２０、数式２１となり、これらはＢ
Ｐアルゴリズムによる数式８に対応する。

【００７３】

【数２０】δ+ ＝｛∪（δ+i∩Ｔ+ij ）｝∪｛∪（δ-i
∩Ｔ-ij ）｝

【００７４】

【数２１】δ- ＝｛∪（δ-i∩Ｔ+ij ）｝∪｛∪（δ+i
∩Ｔ-ij ）｝

【００７５】（学習定数ηによる処理）ＢＰアルゴリズ
ムにおいて、結合係数の修正量ΔＴを求める数式６にあ
る額時化を定数ηの処理について述べる。数値演算にお
いては、数式６にあるように、単純に学習定数ηを乗算
すればよいが、パルス密度方式野場合は、学習定数ηの
値に応じて、下に示すようにパルス列を間引くことで実
現する。

【００７６】

【００７７】

【数２２】

【００７８】

【数２３】

【００７９】

【数２４】

【００８０】次に、学習による結合係数の修正量ΔＴを
求める方法について述べる。まず、前述した出力層ある
いは中間層の誤差信号（δ+ 、δ- ）に学習定数ηによ
る処理を施し、さらにニューロンへの入力信号との論理
積をとる（δ∩ｙ）。ただし、誤差信号はδ+ とδ- と
があるので、次の数式２５、数式２６に示すようにそれ
ぞれ演算してＴ+ 、Ｔ- とする。これらは、ＢＰアルゴ
リズムにおけるΔＴを求める数式６に対応する。

【００８１】

【数２５】ΔＴ+ ＝δ+ ∩ｙ

【００８２】

【数２６】ΔＴ- ＝δ- ∩ｙ

【００８３】これらを基にして新しい結合係数Ｎｅｗ
Ｔijを求めるが、結合係数Ｔijが興奮性か抑制性かによ
り場合分けする。

【００８４】まず、興奮性の場合には、元のＴ+ に対し
てΔＴ+ の成分を減らす。

【００８５】

【数２７】Ｎｅｗ＿Ｔij⁺＝Ｔij⁺∪ΔＴ⁺ ∩Δ＊Ｔ-

【００８６】次に、抑制性の場合には、元のＴ^-に対し
て、ΔＴ⁺の成分を減らし、ΔＴ^-の成分を増やす。

【００８７】

【数２８】Ｎｅｗ＿Ｔij^-＝Ｔij^-∪ΔＴ^-∩＊ΔＴ⁺

【００８８】以上がパルス密度方式による学習アルゴリ
ズムである。

【００８９】ここで、図２の階層型ネットワークにおい
て、パルス密度方式におけるフォワードフロセス及び学
習プロセスの処理の流れについて簡単に述べる。

【００９０】まず、フォワードプロセスであるが、最初
に入力層に入力信号を与えると、この入力信号が中間層
に伝播していき、中間層の信号処理はとして前述の数式
１１ないし数式１３を行い、その結果を出力層に伝播さ
せる。出力層では、これらの伝播してきた信号に対し
て、同様に数式１１ないし数式１３の処理を実行し、こ
れらの結果として出力信号が得られ、フォワードプロセ
スを終了する。

【００９１】学習プロセスでは、以上のフォワードプロ
セスを行った後、さらに出力層に教師信号を与える。出
力層では数式１４、数式１５により、出力数における誤
差信号を求め中間層に送る。同時に、この誤差信号に数
式２２ないし数式２４の学習定数ηによる処理を施し、
数式２５、数式２６により中間層からの入力信号との論
理積をとった後、数式２７、数式２８により出力層と中
間層との結合強度を変更する。

【００９２】次に、中間層における処理として、出力層
から送られた誤差信号をもとに、数式２０、数式２１に
よって中間層における誤差を求め、この誤差信号に数式
２２ないし数式２４の額時化を定数ηによる処理を施
し、数式２５、数式２６により中間層と入力層との結合
強度を変更し、学習プロセスを終了する。以降、収束す
るまで学習プロセスを繰り返す。

【００９３】次に、図１４〜図１６を参照して、以上の
アルゴリズムに基づく実際の回路構成を説明する。ニュ
ーラルネットワークの構成は図２と同様である。図１４
は、ニューロンのシナプスに相当する部分の回路を示す
図で、図１５は、ニューロンの細胞体に相当する部分の
回路を示す図である。また、図１６は、出力層の出力と
教師信号から出力層における誤差信号を求める部分の回
路を示す図である。これらの３つの回路を図２のように
ネットワークにすることによって、自己学習が可能なデ
ィジタル式のニューラルネットワーク回路が実現でき
る。

【００９４】まず、図１４について説明する。２０は神
経細胞ユニットへの入力信号である。シナプスの結合係
数はシフトレジスタ２７に保存しておく。端子２７Ａが
データの取り出し口で、端子２７Ｂがデータの入り口で
ある。これはシフトレジスタと同様の機能をもつもので
あれば、その他のもの、例えば、ＲＡＭとアドレスコン
トローラとからなるもの等を用いてもよい。

【００９５】回路２８は上記数式１０、数式１２の（ｙ
i ∩Ｔij）を実行する回路で、入力信号と結合係数との
ＡＮＤをとっている。この出力は結合が興奮性か抑制性
かによってグループ分けしなければならないが、あらか
じめ各々のグループへの出力２３、２４を用意し、どち
らのグループに出すのかを切り換えるようにした方が汎
用性が高い。このため、結合が興奮性か抑制性かを表す
ビットをメモリ３３に保存しておき、その情報を用いて
切り換えゲート回路３２により信号を切り換える。

【００９６】また、図１５に示すように各入力を処理す
る数式１１、数式１２の論理和に相当する複数のＯＲゲ
ート構成のゲート回路３４が設けられている。さらに同
図に示すように数式１３で示した、興奮性グループが
「１」で、かつ、抑制性グループが「０」の時のみ出力
を出すＡＮＤゲートとインバータとによるゲート回路３
５が設けられている。

【００９７】次に、誤差信号について説明する。図１４
は、出力層での誤差信号を生成する回路を示す図で、Ａ
ＮＤ、インバータの組み合わせによる論理回路であり、
数式１４、数式１５に相当する。すなわち、出力層から
の出力３８及び教師信号３９より誤差信号４０、４１を
生成する。また、中間層における誤差信号を求める数式
１６ないし数式１９は、図１４中に示すＡＮＤゲート構
成のゲート回路２９より行われ、＋、−に応じた出力２
１、２２が得られる。

【００９８】このように結合が興奮性か抑制性かで用い
る誤差信号が異なるので、その場合分けを行う必要があ
るが、この場合分けはメモリ３３に記憶された興奮性か
抑制性かの情報と、誤差信号+ 、−信号２５、２６とに
応じて、ＡＮＤ、ＯＲゲート構成のゲート回路３１によ
り行われる。また、誤差信号を集める数式２０、数式２
１は、図１５に示すＯＲゲート構成のゲート回路３６で
行われる。また学習レートに相当する数式２２ないし数
式２４は、図１５に示す分周回路３７により行われる。

【００９９】最後に、誤差信号より新たな結合係数を計
算する部分について説明する。これは数式２５ないし数
式２８で表され、これらの演算は図１４に示すＡＮＤ、
インバータ、ＯＲゲート構成のゲート回路３０により行
われる。このゲート回路３０も結合の興奮性・抑制性に
よって場合分けしなければならないが、これは図１４に
示すゲート回路３１により行われる。

【０１００】

【発明が解決しようとする課題】前述の階層型神経回路
網は、図２に示すようなネットワークを形成する。ここ
で、図５に示すように、入力層（図５の左側の層Ａ１）
に入力信号を与えて、出力層（図５の右側の層Ａ３）よ
り、出力信号を得るフォワードプロセス、及び図６に示
すように、入力層に入力信号を与えた状態で、出力層に
教師信号を与え、出力層と中間層との結合係数を変更
し、さらに中間層と入力層との結合係数を変更する学習
プロセスを考える。

【０１０１】まず、フォーワードプロセスであるが、最
初に入力層に入力信号を与えると、この入力信号が中間
層に伝播していき、中間層の信号処理として、上記数式
１、数式２の演算を行い、その結果を出力層に伝播させ
る。出力層では、これらの伝播してきた信号に対して、
同様に上記数式１、数式２の演算を実行し、これらの結
果として、出力信号を得ることになる。

【０１０２】学習プロセスでは、以上のフォワードプロ
セスを行った後、さらに出力層に教師信号を与える。出
力層では、上記数式５によって、出力層における誤差を
求め、この誤差を中間層に伝播させるとともに、出力層
の神経細胞ユニットと中間層の神経細胞ユニットとの間
の結線の強度、すなわち結合係数を数式９、数式１０に
より変更する。

【０１０３】次に、中間層における処理として、数式７
によって、中間層における誤差を求め、この誤差によ
り、中間層の神経細胞ユニットと入力層の神経細胞ユニ
ットとの間の結線の強度（結合係数）を上記数式９、数
式１０により変更し、学習プロセスを完了する。

【０１０４】フォワードプロセス及び学習プロセスは、
以上のような複雑な処理、膨大な量の数値演算を必要と
するので、かなり時間がかかる。特に、学習プロセスで
は、フォワードプロセスに比べて処理内容も多く、また
一般に学習プロセスは一回だけでなく、数百、数千回も
の学習が必要なため、この演算時間は、膨大なもので、
高速化のため専用ハード化してもまだ不十分である。

【０１０５】また、階層型神経回路モデルでは、図５お
よび図６に示すような、３層構成だけでなく、図７およ
び図８に示すように、中間層の総数は、様々である。こ
のように、層数が増えると、前述したようなフォワード
プロセス、学習プロセスにかかる時間はかなり多くな
る。

【０１０６】図３７は、図２に示す３層構成のニューラ
ルネットワークにおける従来の信号の流れを示してい
る。

【０１０７】ＦＷＤ回路４、５は、図２における中間層
Ａ２と出力層Ａ３のフォワードプロセスを実行する回路
で、図１４の２８、３２及び図１５の３４、３５に相当
する。学習回路ＬＲＮ６、７は、図２における中間層Ａ
２と出力層Ａ３の学習プロセスを実行する回路で、図１
４の２９、３０、３１及び図１５の３６、３７に相当す
る。誤差生成回路ＥＲＲ８は出力層における誤差信号を
求めるもので、図１６の回路で示される。

【０１０８】図３７において、一回の学習プロセスの処
理過程を説明すると、まず、入力層に入力信号１を与え
ると、この信号が中間層に伝播していき、中間層のＦＷ
Ｄ回路４によって、中間層におけるフォワードプロセス
を実行する。

【０１０９】次に、この結果が出力層のＦＷＤ回路５に
伝播していき、ここで出力層のフォワードプロセスを実
行し、フォワードプロセスが完了する。学習プロセスの
場合はさらに、出力層に教師信号３を与え、誤差生成回
路８により、出力層における誤差信号を生成し、これが
出力層の学習回路ＬＲＮ７に伝播していき、この出力層
の誤差信号と、ＦＷＤ回路５への入力信号より、出力層
における学習プロセスを実行する。ここで生成された中
間層の誤差信号は、中間層の学習回路ＬＲＮ６に伝播し
ていき、この中間層の誤差信号と、ＦＷＤ回路４への入
力信号より、中間層における学習プロセスを実行し、学
習プロセスが完了することになる。

【０１１０】このように、特に学習プロセスでは、処理
経路が長いため、専用の回路により高速化を図っても十
分に処理速度を高められないという問題点がある。さら
に、図７、図８に示すように中間層の層数が増えた場合
には、それに応じてますます処理時間がかかることにな
る。

【０１１１】この発明は、ニューラルネットワークをハ
ード化する場合に、高速処理が可能な信号処理装置を提
供することを目的とする。

【０１１２】

【課題を解決するための手段】この発明による第１の信
号処理装置は、神経細胞模倣素子により構成された神経
細胞回路網による信号処理装置において、当該神経細胞
回路網を構成する各神経細胞模倣素子は、フォワードプ
ロセス時に入力される入力信号を保持する手段と、学習
プロセス時に入力される誤差信号を保持する手段を有
し、フォワードプロセスと学習プロセスを並列に行なう
ことを特徴とする。

【０１１３】この発明による第２の信号処理装置は、神
経細胞模倣素子により構成された階層型神経細胞回路網
による信号処理装置において、入力層、中間層及び出力
層よりなる神経回路網のフォワードプロセスをいくつか
の処理に分割し、分割された各処理をパイプライン処理
することを特徴とする。

【０１１４】この発明による第３の信号処理装置は、神
経細胞模倣素子により構成された階層神経細胞回路網に
よる信号処理装置において、入力層、中間層及び出力層
よりなる神経回路網のフォワードプロセス及び学習プロ
セスをいくつかの処理に分割し、分割された各処理をパ
イプライン処理することを特徴とする。

【０１１５】この発明による第４の信号処理装置は、神
経細胞模倣素子により構成された階層神経細胞回路網に
よる信号処理装置において、入力層、中間層及び出力層
の各層ごとに設けられた初期値を設定可能なカウンタ
と、フォワードプロセス移行前に各層のカウンタに初期
値を設定し、フォワードプロセス実行時に各層のカウン
タに共通のフォワードプロセス実行信号を与える手段と
を備え、各層のカウンタはこのフォワードプロセス実行
信号をカウントして、その層のフォワードプロセスを実
行させる所定の値のフォワードプロセス実行信号を生成
するものであることを特徴とする。

【０１１６】この発明による第５の信号処理装置は、神
経細胞模倣素子により構成された階層神経細胞回路網に
よる信号処理装置において、入力層、中間層及び出力層
の各層ごとに設けられたカウンタ、フォワードプロセス
開始ステートを記憶するレジスタ及び上記カウンタの値
と上記レジスタの値を比較する比較器と、フォワードプ
ロセス移行前に各層の上記レジスタにその層のフォワー
ドプロセスを開始するステートを記憶させ、フォワード
プロセス実行時に各層に共通のフォワードプロセス実行
信号を与える手段とを有するフォワードプロセス実行手
段を備え、各層のカウンタはこのフォワードプロセス実
行信号によりカウント動作するものであり、各層の比較
器はその層のカウンタの値がレジスタの値以上である時
に各層にフォワードプロセスを実行させるフォワードプ
ロセス実行信号を生成するものであることを特徴とす
る。

【０１１７】この発明による第６の信号処理装置は、神
経細胞模倣素子により構成された階層神経細胞回路網に
よる信号処理装置において、入力層、中間層及び出力層
の各層ごとに設けられた初期値を設定可能なカウンタ
と、学習プロセス移行前に各層のカウンタに初期値を設
定し、学習プロセス実行時に各層のカウンタに共通の学
習プロセス実行信号を与える手段とを備え、各層のカウ
ンタはこの学習プロセス実行信号をカウントして、その
層の学習プロセスを実行させる所定の値の学習プロセス
実行信号を生成するものであることを特徴とする。

【０１１８】この発明による第７の信号処理装置は、神
経細胞模倣素子により構成された階層神経細胞回路網に
よる信号処理装置において、入力層、中間層及び出力層
の各層ごとに設けられたカウンタ、学習プロセス開始ス
テートを記憶するレジスタ及び上記カウンタの値と上記
レジスタの値を比較する比較器と、学習プロセス移行前
に各層の上記レジスタにその層の学習プロセスを開始す
るステートを記憶させ、学習プロセス実行時に各層に共
通の学習プロセス実行信号を与える手段とを有する学習
プロセス実行手段を備え、各層のカウンタはこの学習プ
ロセス実行信号によりカウント動作するものであり、各
層の比較器はその層のカウンタの値がレジスタの値以上
の時に各層に学習プロセスを実行させる学習プロセス実
行信号を生成するものであることを特徴とする。

【０１１９】この発明による第８の信号処理装置は、神
経細胞模倣素子により構成された階層神経細胞回路網に
よる信号処理装置において、この発明による第４または
第５の信号処理装置のフォワードプロセス実行手段と、
これのフォワードプロセスから独立して学習プロセスを
実行できるこの発明による第６または第７の信号処理装
置の学習プロセス実行手段とを備えることを特徴とす
る。

【０１２０】この発明による第９の信号処理装置は、神
経細胞模倣素子により構成された階層神経細胞回路網に
よる信号処理装置において、入力層、中間層及び出力層
の各層ごとに、フォワードプロセス及び学習プロセスを
制御するために設けられたプロセスカウンタと、フォワ
ードプロセス開始ステートを記憶するレジスタと、該レ
ジスタの値とプロセスカウンタの値とを比較するフォワ
ードプロセス用比較器と、学習プロセス開始ステートを
記憶するレジスタと、このレジスタの値と上記プロセス
カウンタの値とを比較する学習プロセス用比較器とを備
えるとともに、プロセス移行前に、各層のフォワードプ
ロセス開始ステートを記憶するレジスタにその層のフォ
ワードプロセスを開始するステートを記憶させ、また、
各層の学習プロセス開始ステートを記憶するレジスタに
その層の学習プロセスを開始するステートを記憶させ、
プロセス実行時に各層に共通のプロセス実行信号を与え
る手段とを備え、上記各層のプロセスカウンタはこのプ
ロセス信号をカウントするものであり、上記フォワード
プロセス用比較器はプロセスカウンタの値がその層のフ
ォワードプロセス開始ステートを記憶するレジスタ値以
上の時にフォワードプロセスを開始するフォワードプロ
セス実行信号を生成するものであり、上記学習プロセス
用比較器はプロセスカウンタの値がその層の学習プロセ
ス開始ステートを記憶するレジスタ値以上の時に学習プ
ロセスを開始する学習プロセス実行信号を生成するもの
であることを特徴とする。

【０１２１】

【作用】この発明による第１の信号処理装置では、フォ
ワードプロセス時に入力される入力信号と学習プロセス
時に入力される誤差信号を保持する手段を持つことによ
り、フォワードプロセスと学習プロセスをパラレルに実
行できるため、フォワードプロセスと学習プロセスをシ
リアルに実行するのに比べ、処理速度を高めることがで
きる。

【０１２２】この発明による第２の信号処理装置では、
入力層、中間層及び出力層よりなる神経回路網のフォワ
ードプロセスを細分化し、各処理をパイプライン処理さ
せるため、フォワードプロセスを一連の処理で行う場合
より、高速に処理することができる。また、中間層を１
層でなく、多層にした場合において、各処理をパイプラ
イン化しない場合には、それだけフォワードプロセスの
処理時間は増えることになるが、この発明によれば、処
理速度は中間層１層の場合と同じになり、高速処理が可
能となる。

【０１２３】この発明による第３の信号処理装置では、
入力層、中間層及び出力層よりなる神経回路網のフォワ
ードプロセス及び学習プロセスを細分化し、各処理をパ
イプライン処理させるため、フォワードプロセス及び学
習プロセスを一連の処理で行う場合より、高速に処理す
ることができる。また、中間層を１層でなく、多層にし
た場合において、各処理をパイプライン化しない場合に
は、それだけフォワードプロセス及び学習プロセスの処
理時間は増えることになるが、この発明によれば、処理
速度は中間層１層の場合と同じになり、高速処理が可能
となる。

【０１２４】この発明による第４の信号処理装置および
第５の信号処理装置では、ニューラルネットワークの層
数にかかわらず、フォワードプロセス移行前に各層のカ
ウンタに初期値を設定し、１本の制御信号、すなわち、
共通のフォワードプロセス実行信号を与えることによっ
て、異なるタイミングで各層のフォワードプロセス実行
信号を生成するので、各層のフォワード処理を異なるタ
イミングで開始できるようになる。

【０１２５】この発明による第６の信号処理装置および
第７の信号処理装置では、ニューラルネットワークの層
数にかかわらず、学習プロセス移行前に各層のカウンタ
に初期値を設定し、１本の制御信号、すなわち、共通の
学習プロセス実行信号を与えることによって、異なるタ
イミングで各層の学習プロセス実行信号を生成するの
で、各層の学習処理を異なるタイミングで開始できるよ
うになる。

【０１２６】この発明による第８の信号処理装置では、
ニューラルネットワークの層数にかかわらず、フォワー
ドプロセス移行前に各層のカウンタに初期値を設定し、
１本の制御信号、すなわち、共通のフォワードプロセス
実行信号を与えることによって、異なるタイミングで各
層のフォワードプロセス実行信号を生成するので、各層
のフォワード処理を異なるタイミングで開始できるよう
になるとともに、学習プロセス移行前に各層のカウンタ
に初期値を設定し、１本の制御信号、すなわち、共通の
学習プロセス実行信号を与えることによって、異なるタ
イミングで各層の学習プロセス実行信号を生成するの
で、各層の学習処理を異なるタイミングで開始できるよ
うになる。

【０１２７】この発明による第９の信号処理装置では、
ニューラルネットワークの層数にかかわらず、プロセス
移行前に各層のプロセスカウンタ、フォワードプロセス
用レジスタ及び学習プロセス用レジスタにそれぞれ初期
値を設定し、１本の制御信号、すなわち、共通のプロセ
ス実行信号を与えることにより、異なるタイミングで各
層のフォワード処理を開始できるとともに、異なるタイ
ミングで各層の学習処理を開始できるようになる。

【０１２８】

【実施例】以下、前述のディジタル回路でニューラルネ
ットワークを実現したものに対して、この発明を適用し
た実施例について述べる。

【０１２９】前述したように、図２に示すような神経回
路網において、フォワードプロセス及び学習プロセスを
実行させる場合、専用ハード化しても処理速度の点では
不十分である。

【０１３０】そこで、図２に示す神経回路網モデルにお
ける信号処理を高速化する方法として考えられるのが並
列処理すなわちパイプライン処理である。これを図２に
示す３層構成のネットワークにおける学習プロセスの場
合で説明すると、 1．中間層におけるフォワードプロセス 2．出力層におけるフォワードプロセス 3．出力層における学習プロセス 4．中間層における学習プロセスの４つの処理プロセスを並列に行うものである。

【０１３１】しかしながら、 3、 4の学習プロセスにお
いては、 1、 2のフォワードプロセスにおける入力信号
が必要となるため、フォワードプロセスにおける入力信
号を保持しておき、学習プロセス実行時に保持していた
入力信号を使用するという工夫が必要である。

【０１３２】図１７は、以上の点を考慮し、上記 1〜 4
の処理を完全にパラレルに実行できるようにした信号処
理回路を示している。図１７において、図３７と異なる
点は、プロセス中間データを保持するためのレジスタ１
２、１７〜１９、及びフォワードプロセスの入力信号を
特定期間保持できるようにしたレジスタ４２〜４４を付
加した点である。入力信号１０は入力信号２０１に、出
力１４は出力２０２に、ＬＲＮ回路４６はＬＲＮ回路２
０６に、ＬＲＮ回路４７はＬＲＮ回路２０７に、ＥＲＲ
回路４８はＥＲＲ回路２０８に、ＦＷＤ回路１１はＦＷ
Ｄ回路２０４に、ＦＷＤ回路１３はＦＷＤ回路２０５に
それぞれ対応する。

【０１３３】以下、パラレルに実行される各処理につい
て説明する。

【０１３４】（１）入力信号１を与えてＦＷＤ回路１１
により、中間層におけるフォワードプロセスを実行し、
この結果をレジスタ１２に取り込む。また、入力信号１
０をレジスタ４２に取り込む。

【０１３５】（２）中間層におけるフォワードプロセス
の結果をレジスタ１２より読み出し、ＦＷＤ回路１３に
より、出力層におけるフォワードプロセスを実行する。
この結果とレジスタ１７より読み出された教師信号より
出力層における誤差信号を誤差生成回路４８で求め、レ
ジスタ１８に格納する。また、出力層のフォワードプロ
セス回路１３への入力信号をレジスタ４５に格納する。
また、このとき中間層への入力信号は、レジスタ４２か
らレジスタ４３に転送される。

【０１３６】（３）出力層における誤差信号をレジスタ
１８より、また出力層への入力信号をレジスタ４５より
読み出し、ＬＲＮ回路４７により出力層における学習プ
ロセスを実行する。このとき生成される中間層における
誤差信号をレジスタ１９に格納する。またこのとき、中
間層への入力信号は、レジスタ４３からレジスタ４４に
転送される。

【０１３７】（４）中間層における誤差信号をレジスタ
１９より読み出し、また中間層への入力信号をレジスタ
４４より読み出し、ＬＲＮ回路４６により中間層におけ
る学習プロセスを実行する。

【０１３８】以上のように、中間層及び出力層における
入力信号、各中間データを格納するレジスタを付加し、
必要なデータを必要なときに読み出せるようにしたこと
で、上記（１）〜（４）の４つのプロセスを並列に実行
することが可能となる。このときのタイミングチャート
を図１８に示す。この例からもわかるように、３層構成
の場合、一連の処理を４つに分割し、各処理をパイプラ
イン化することで実行速度を従来の４倍に上げることが
できる。

【０１３９】また、図７、図８に示すように、ニューラ
ルネットワークの層数が増えた場合でも同様に、フォワ
ードプロセスと学習プロセスを並列に処理させること
で、パイプライン処理が可能となる。並列処理を行わな
い場合は、層数が増えると、フォワードプロセス及び学
習プロセスに要する時間は長くなるが、前述したような
パラレル処理を行うと、３層構成のときと処理速度は同
じになり、すなわち、処理速度は層数には関係なくな
り、速度処理が可能となる。なお、層数が増えた場合の
レジスタ４２〜４５の段数は、パイプライン処理の段数
より調整すればよい。

【０１４０】図１９に示す信号処理装置もまた、前述の
処理を完全にパラレルに実行できるようにしたものであ
り、ＦＷＤ回路５１、５３は図２における中間層Ａ２と
出力層Ａ３のフォワードプロセスを実行する回路で、パ
ルス密度方式にといては図１４の２８、３２及び図１５
の３４、３５にあたる。ＬＲＮ回路６０、５８は図２に
おける中間層Ａ２と出力層Ａ３の学習プロセスを実行す
る回路で図１４の２９、３０、３１及び図１５の３６、
３７にあたる。ＥＲＲ回路５６は、出力層における誤差
信号を求めるもので、図１６の回路で示される。以下、
図１９、図２０において、パラレルに実行される学習プ
ロセスの処理過程を説明する。

【０１４１】（１）入力層に入力信号５０を与えると同
時に図２０に示すようにステートＳ１でコントロール回
路６２の中間層用フォワード処理開始信号ＦＷＤＳ１を
アクティブにする。これにより、中間層のＦＥＤ回路５
１によって、中間層におけるフォワードプロセスを実行
し、この結果をレジスタ５２に格納する。なお、このス
テートＳ１で入力信号５０はレジスタ６１に格納され
る。

【０１４２】（２）ステートＳ２でコントロール回路６
２の出力層用フォワード処理開始信号ＦＷＤＳ２をアク
ティブにすると、レジスタ５２に格納された中間層のフ
ォワード処理結果が出力層のＦＷＤ回路５３に伝播して
いき、ここで出力層のフォワードプロセスを実行し、出
力５４を得てフォワードプロセスが完了する。学習プロ
セスの場合は、さらに出力層に教師信号５５を与え、こ
の教師信号５５により、出力層における誤差信号を生成
し、これがレジスタ５７に格納される。

【０１４３】（３）ステートＳ３でコントロール回路６
２の出力層用学習プロセス開始信号ＬＲＮＳ２をアクテ
ィブにし、レジスタ５７に格納された出力層における誤
差信号とレジスタ５２に格納された中間層のフォワード
プロセスの実行結果とにより、出力層における学習プロ
セスをＬＲＮ５８で実行する。そして、ここで生成され
た中間層の誤差信号がレジスタ５９に格納される。

【０１４４】（４）ステートＳ４でコントロール回路６
２の中間層の学習プロセス開始信号ＬＲＮＳ１をアクテ
ィブにし、レジスタ５９に格納された中間層における誤
差信号が中間層の学習回路ＬＲＮ６０に伝播していき、
中間層における学習プロセスを実行し、学習プロセスが
完了することになる。

【０１４５】以上が３層階層型ネットワークの処理過程
であるが、図７、図８に示すように、ニューラルネット
ワークの総数が増えた場合でも同様に、フォワードプロ
セスと学習プロセスとを並列に処理することで、パイプ
ライン処理が可能となる。なお、この多層ニューラルネ
ットワークの処理速度は、パイプライン処理を行うた
め、３層構成の時と同じになり、高速処理が可能であ
る。

【０１４６】本発明の又他の実施例は、中間層あるいは
出力層のフォワード処理の開始タイミングを自由に設定
できるようにしたものであり、中間層及び出力層に、図
２１のブロック図に示すように、フォワードプロセスカ
ウンタ（ＦＷＤＣＮＴ）７０と、フォワード処理を実
行する回路（ＦＷＤ）７１とを有するフォワード処理回
路７６を備える。

【０１４７】ＦＷＤＣＮＴ７０は、フォワード処理の
開始信号ＦＷＤＳを発生し、ＦＷＤ７１に出力する。具
体的には、フォワード処理移行前に、ＦＷＤＣＮＴ７
０にカウンタ初期値をロードしておく。そして、フォワ
ード処理開始時にカウンタへのフォワード処理開始信号
ＦＷＤＳＴをアクティブにすると、カウンタが動作し始
め、例えばカウンタの値が”０”になったとき、その層
のＦＷＤ７１へフォワード処理開始信号ＦＷＤＳを出力
する。以上のフォワード処理回路７６により３層階層型
ネットワークを構成したときの回路図を図２３に示す。

【０１４８】この３層階層型ネットワークのフォワード
処理は、図２２のタイミングチャートに示すように、ま
ず、フォワード処理移行前のステートＳ０、ステートＳ
１に中間層のＦＷＤＣＮＴ７０に初期値として、例え
ば８ビットバイナリ表示でＦＦｈ（１０進数で−１）、
出力層のＦＷＤＣＮＴ７０に初期値として、同様にＦ
Ｅｈ（１０進数で−２）を格納しておく。この状態か
ら、ニューラルネットワークのコントロール回路７７の
フォワードプロセス開始信号ＦＷＤＳＴをアクティブに
すると中間層及び出力層のＦＷＤＣＮＴ７０が動作し
始め、フォワードプロセスが開始される。

【０１４９】この後、ステートＳ２で中間層のＦＷＤ
ＣＮＴ７０の値が００ｈとなり、中間層のフォワードプ
ロセス開始信号ＦＷＤＳがアクティブになり、中間層の
フォワードプロセスが開始される。さらに、ステートＳ
３で出力層ＦＷＤＣＮＴ７０の値が００ｈとなり、出
力層のフォワードプロセス開始信号ＦＷＤＳがアクティ
ブになり、出力層のフォワードプロセスが開始される。

【０１５０】以上のように、この３層階層型ネットワー
クでは、図２３のように、中間層と出力層のフォワード
プロセス開始信号を１本で共有することができ、図９に
示す従来例に比べて制御しやすくなる。また、中間層を
複数持つような多層ネットワーク（図７参照）において
も同様に、従来例の図１１に比べて図２４のように制御
線を共有でき、制御性がよくなる。

【０１５１】本発明の更に他の実施例は、図２１に示す
前例と同様に、中間層あるいは出力層のフォワード処理
のタイミングを自由に設定できるようにしてあり、中間
層及び出力層に、図２５のブロック図に示すように、プ
ロセスカウンタ（ＰＲＯＣＮＴ）７２、フォワードプ
ロセス開始ステートセットレジスタ（ＦＲＥＧ）７３、
コンパレータ（ＣＭＰ）７４及びフォワード処理を実行
する回路（ＦＷＤ）７５とからなるフォワード処理回路
７６を備える。

【０１５２】ＦＲＥＧ７３はフォワード処理移行前にフ
ォワードプロセス開始ステートがロードされる。ＰＲＯ
ＣＮＴ７２はフォワード処理移行前にリセットされ、
フォワードプロセス開始信号ＦＷＤＳＴをアクティブに
すると動作し始めるようにしている。ＣＭＰ７４は、Ｆ
ＲＥＧ７３の値とＰＲＯＣＮＴ７２の値とを入力し、
これらが等しくなったときにＦＷＤ７５にフォワード処
理開始信号ＦＷＤＳを出力するように構成している。

【０１５３】図２５のフォワード処理回路７６により構
成された３層階層型ネットワークは図２３に示す通りで
あり、図２６のタイミングチャートに示すように、ま
ず、フォワード処理移行前のステートＳ０、ステートＳ
１に、例えば中間層のＦＲＥＧ７３に８ビットバイナリ
表示で０１ｈを格納する。また、出力層のＦＲＥＧ７３
には、同様に０２ｈを格納する。そして、フォワード処
理移行時に、ＰＲＯＣＮＴ７２をリセットし、フォワ
ード処理開始信号ＦＷＤＳＴをアクティブにすることに
より、ＰＲＯＣＮＴ７２が動作し始め、フォワードプ
ロセスが開始される。

【０１５４】中間層では、ＰＲＯＣＮＴ７２の値が０
１ｈになったとき、すなわち、ステートＳ２でフォワー
ドプロセス開始信号ＦＷＤＳがアクティブになり、フォ
ワード処理が始まる。また、出力層では、ＰＲＯＣＮ
Ｔ７２の値が０２ｈになったとき、すなわち、ステート
Ｓ３でフォワードプロセス開始信号ＦＷＤＳがアクティ
ブになり、フォワード処理が始まる。

【０１５５】以上のようにして、３階層型ネットワーク
によるパイプライン処理でフォワード処理が実行される
ことになる。

【０１５６】この３層階層型ネットワークは、図２３に
示すように、中間層と出力層のフォワードプロセス開始
信号を１本で共有することができ、図９に示す従来例に
比べて制御し易くなる。また、中間層を複数持つような
多層ネットワーク（図７参照）においても同様に、図１
１に示す従来例に比べて、図２６に示すように制御線を
共有でき、制御性がよくなる。

【０１５７】本発明の又さらに他の実施例は、中間層あ
るいは出力層のフォワードプロセス及び学習プロセスの
開始タイミングを自由に設定できるようにしたものであ
り、考え方としては、図２１のフォワードプロセスの開
始方法をフォワード処理だけでなく、学習プロセスにも
適用したものである。

【０１５８】この実施例の中間層及び出力層には図２７
のブロック図に示すように、フォワード処理回路７６と
学習処理回路８０とが設けられ、フォワード処理回路７
６は図２１に示すフォワード処理回路７６と同じように
構成されるので、その説明は重複を避けるために省略す
る。

【０１５９】学習処理回路８０は、ラーンカウンタ（Ｌ
ＲＮＣＮＴ）７８と学習プロセスを実行する回路（Ｌ
ＲＮ）７９とを備え、ＬＲＮＣＮＴ７８は、プロセス
移行前に学習プロセス開始ステートがロードされ、コン
トロール回路８１から与えられる学習プロセス開始信号
ＬＲＮＳＴがアクティブになると学習プロセス開始信号
ＬＲＮＳをＬＲＮ７９に出力するように構成される。

【０１６０】この３層階層型ネットワークにおいては、
図２８のタイミングチャートに示すように、プロセス移
行前のステートＳ０及びステートＳ１に、例えば中間層
のＦＷＤＣＮＴ７０に初期値として８ビットバイナリ
表示でＦＦｈ（１０進数で−１）、出力層のＦＷＤＣ
ＮＴ７０に同様にＦＥｈ（１０進数で−２）、出力層の
ＬＲＮＣＮＴ７８にＦＦｈ（１０進数で−１）、中間
層のＬＲＮＣＮＴ７８にＦＥｈ（１０進数で−２）を
セットする。

【０１６１】次に、ステートＳ１でコントロール回路８
１のフォワード開始信号ＦＷＤＳＴをアクティブにする
と、中間層と出力層とのＦＷＤＣＮＴ７０が起動し始
め、ステートＳ２で中間層のフォワード処理が開始さ
れ、ステートＳ３で出力層のフォワード処理が開始され
る。ここまでは、図２１〜２６に示す前述のフォワード
処理だけの各実施例と同様である。

【０１６２】ここで、さらに、ステートＳ３で、今度は
コントロール回路８１の学習プロセス始動信号ＬＲＮＳ
Ｔをアクティブにすると、出力層と中間層とのＬＲＮ
ＣＮＴ７８が起動し、出力層のＬＲＮＣＮＴ７８が０
０ｈになるとき、すなわち、ステートＳ４で出力層のＬ
ＲＮＣＮＴ７８から出力層のＬＮＲ７９に学習プロセ
ス開始信号ＬＲＮＳが出力され、出力層の学習プロセス
が開始される。また、中間層のＬＲＮＣＮＴ７８が０
０ｈになるとき、すなわち、ステートＳ５で中間層のＬ
ＲＮＣＮＴ７８から中間層のＬＮＲ７９に学習プロセ
ス開始信号ＬＲＮＳが出力され、中間層の学習プロセス
が開始されることになる。

【０１６３】このようにして、中間層と出力層のフォワ
ードプロセスと学習プロセスとがパイプライン処理によ
って実行される。また、この３層階層型ネットワーク
は、図１７の従来例に比べて中間層と出力層とのフォワ
ードプロセス開始信号ＦＷＤＳＴ及び中間層と出力層と
の学習プロセス開始信号ＬＲＮＳＴをそれぞれ共有化で
き、制御性がよくなる。このことは多層ネットワークの
場合も同様である。

【０１６４】本発明のもう一つの実施例は、図２７に示
すニューロンどは違った方式で中間層及び出力層のフォ
ワードプロセス及び学習フロセスの開始タイミングを自
由に設定できるようにしたものであり、考え方としては
図２５ないし図２６に示す実施例のフォワード処理の開
始方法をフォワード処理だけでなく、学習プロセスにも
適用したものである。

【０１６５】この実施例の中間層及び出力層には、図３
０に示すように、図２５に示すフォワード処理回路７６
と同様に構成されたフォワード処理回路８６と、学習処
理回路９０とが設けられる。

【０１６６】このフォワード処理回路８６は、プロセス
カウンタ（ＰＲＯＣＮＴ）８２、フォワードプロセス
開始ステートセットレジスタ（ＦＲＥＧ）８３、コンパ
レータ（ＣＭＰ）８４及びフォワード処理を実行する回
路（ＦＷＤ）８５とを有し、学習処理回路９０は、学習
プロセス開始ステートセットレジスタ（ＬＲＥＧ）８
７、コンパレータ（ＣＭＰ）８８及び学習プロセスを実
行する回路（ＬＲＮ）８９とを有している。

【０１６７】ＦＲＥＧ８３はフォワード処理移行前にフ
ォワードプロセス開始ステートがロードされる。ＰＲＯ
ＣＮＴ８２はプロセス移行前にリセットされ、フォワ
ードプロセス開始信号ＦＷＤＳＴをアクティブにすると
動作し始める。ＣＭＰ８４は、ＦＲＥＧ８３の値とＰＲ
ＯＣＮＴ８２の値とを入力し、これらが等しくなった
ときにＦＷＤ８５にフォワード処理開始信号ＦＷＤＳを
出力するように構成している。

【０１６８】ＬＲＥＧ８７は学習処理移行前に学習プロ
セス開始ステートがロードされる。ＣＭＰ８４は、ＬＲ
ＥＧ８７の値とＰＲＯＣＮＴ８２の値とを入力し、こ
れらが等しくなったときにＬＲＮ８９に学習処理開始信
号ＬＲＮＳを出力するように構成している。

【０１６９】このフォワード処理回路８６及び学習処理
回路９０を用いて３層階層型ネットワークを構成した場
合の回路構成は、例えば図３２のブロック図に示す通り
であり、図３１のタイミング図に示すように動作する。

【０１７０】すなわち、まず、プロセス移行前のステー
トＳ０、ステートＳ１に、中間層のＦＲＥＧ８３に８ビ
ットバイナリ表示で０１ｈを、出力層のＦＲＥＧ８３に
０２ｈを、出力層のＬＲＥＧ８７に０３ｈを、中間層の
ＬＲＥＧ８７に０４ｈをそれぞれ格納する。この状態
で、コントロール回路９１のプロセス開始信号ＰＲＯＳ
ＴをアクティブにするとＰＲＯＣＮＴ８２が起動し、
プロセスが開始される。この後、ステートＳ１で中間層
のフォワード処理が実行され、ステート２で出力層のフ
ォワード処理が実行され、ステートＳ３で出力層の学習
処理が実行され、ステートＳ４で中間層の学習処理が実
行され、中間層のフォワード処理から中間層の学習処理
までがパイプライン処理にて実行されることになる。

【０１７１】このようにして、フォワードプロセス及び
学習プロセス開始信号を共有でき、図１７に示す従来例
に比べて、システムの制御性が良くなる。まだ、図７ニ
示すような多層ネットワークについても同様である。

【０１７２】

【発明の効果】この発明による第１の信号処理装置によ
れば、フォワードプロセスと学習プロセスをパラレルに
実行できるため、フォワードプロセスと学習プロセスを
シリアルに実行するのに比べ、処理速度を高めることが
できる。

【０１７３】この発明による第２の信号処理装置によれ
ば、入力層、中間層及び出力層よりなる神経回路網のフ
ォワードプロセスを細分化し、各処理をパイプライン処
理させるため、フォワードプロセスを一連の処理で行う
場合より、高速に処理することができる。また、中間層
を１層でなく、多層にした場合において、各処理をパイ
プライン化しない場合には、それだけフォワードプロセ
スの処理時間は増えることになるが、この発明によれ
ば、処理速度は中間層１層の場合と同じになり、高速処
理が可能となる。

【０１７４】この発明による第３の信号処理装置によれ
ば、入力層、中間層及び出力層よりなる神経回路網のフ
ォワードプロセス及び学習プロセスを細分化し、各処理
をパイプライン処理させるため、フォワードプロセス及
び学習プロセスを一連の処理で行う場合より、高速に処
理することができる。また、中間層を１層でなく、多層
にした場合において、各処理をパイプライン化しない場
合には、それだけフォワードプロセス及び学習プロセス
の処理時間は増えることになるが、この発明によれば、
処理速度は中間層１層の場合と同じになり、高速処理が
可能となる。

【０１７５】この発明による第４の信号処理装置によれ
ば、ネットワーク全体を制御するコントロールブロック
で各層ごとにフォワードプロセスの開始信号を生成する
必要がなくなるため、ネットワークの層数にかかわりな
く、コントロールブロックの回路の単純化と、回路規模
の縮小とを図ることができる。

【０１７６】また、各層のフォワードプロセス開始信号
が１本ですむため、ネットワークにおける配線数を減少
でき、これにより、ノイズの伝播やスキューによる誤動
作が起こり難くなり、信頼性が高くなる。

【０１７７】更に、プリント基板上に回路を制作する場
合、制御信号を共有】できるので、ニューラルネットワ
ークの層数を変えることが容易になる。

【０１７８】この発明による第５の信号処理装置によれ
ば、ネットワーク全体を制御するコントロールブロック
で各層ごとにフォワードプロセスの開始信号を生成する
必要がなくなるため、ネットワークの層数にかかわりな
く、コントロールブロックの回路の単純化と、回路規模
の縮小とを図ることができる。

【０１７９】また、各層のフォワードプロセス開始信号
が１本ですむため、ネットワークにおける配線数を減少
でき、これにより、ノイズの伝播やスキューによる誤動
作が起こり難くなり、信頼性が高くなる。

【０１８０】更に、プリント基板上に回路を制作する場
合、制御信号を共有化できるので、ニューラルネットワ
ークの層数を変えることが容易になる。

【０１８１】この発明による第６の信号処理装置によれ
ば、ネットワーク全体を制御するコントロールブロック
で各層ごとに学習プロセスの開始信号を生成する必要が
なくなるため、ネットワークの層数にかかわりなく、コ
ントロールブロックの回路の単純化と、回路規模の縮小
とを図ることができる。

【０１８２】また、各層の学習プロセス開始信号が１本
ですむため、ネットワークにおける配線数を減少でき、
これにより、ノイズの伝播やスキューによる誤動作が起
こり難くなり、信頼性が高くなる。

【０１８３】更に、プリント基板上に回路を制作する場
合、制御信号を共有化できるので、ニューラルネットワ
ークの層数を変えることが容易になる。

【０１８４】この発明による第７の信号処理装置によれ
ば、ネットワーク全体を制御するコントロールブロック
で各層ごとに学習プロセスの開始信号を生成する必要が
なくなるため、ネットワークの層数にかかわりなく、コ
ントロールブロックの回路の単純化と、回路規模の縮小
とを図ることができる。

【０１８５】また、各層の学習プロセス開始信号が１本
ですむため、ネットワークにおける配線数を減少でき、
これにより、ノイズの伝播やスキューによる誤動作が起
こり難くなり、信頼性が高くなる。

【０１８６】更に、プリント基板上に回路を制作する場
合、制御信号を共有化できるので、ニューラルネットワ
ークの層数を変えることが容易になる。

【０１８７】この発明による第８の信号処理装置によれ
ば、ネットワーク全体を制御するコントロールブロック
で各層ごとにフォワードプロセス及び学習プロセスの開
始信号を生成する必要がなくなるため、ネットワークの
層数にかかわりなく、コントロールブロックの回路の単
純化と、回路規模の縮小とを図ることができる。

【０１８８】また、各層のフォワードプロセス開始信号
と学習プロセス開始信号とがそれぞれ１本ですむため、
ネットワークにおける配線数を減少でき、これにより、
ノイズの伝播やスキューによる誤動作が起こり難くな
り、信頼性が高くなる。

【０１８９】更に、プリント基板上に回路を制作する場
合、制御信号を共有化できるので、ニューラルネットワ
ークの層数を変えることが容易になる。

【０１９０】加えて、フォワード処理回路あるいは学習
処理回路を簡単な初期設定を行うことによりどの層にで
も配置できるようになるため、回路上の制約がなくな
り、制御性がよくなる。

【０１９１】この発明による第９の信号処理回路によれ
ば、ネットワーク全体を制御するコントロールブロック
で各層ごとにフォワードプロセス及び学習プロセスの開
始信号を生成する必要がなくなるため、ネットワークの
層数にかかわりなく、コントロールブロックの回路の単
純化と、回路規模の縮小とを図ることができる。

【０１９２】また、各層のフォワードプロセス開始信号
及び学習プロセス開始信号とがプロセス信号１本ですむ
ため、ネットワークにおける配線数を減少でき、これに
より、ノイズの伝播やスキューによる誤動作が一層起こ
り難くなり、一層信頼性が高くなる。

【０１９３】更に、プリント基板上に回路を制作する場
合、制御信号を共有化できるので、ニューラルネットワ
ークの層数を変えることが容易になる。

【０１９４】加えて、フォワード処理回路あるいは学習
処理回路を簡単な初期設定を行うことによりどの層にで
も配置できるようになるため、回路上の制約がなくな
り、制御性がよくなる。

【図面の簡単な説明】

【図１】ニュートラルネットワークの神経細胞ユニット
の模式図である。

【図２】図１の神経細胞ユニットをネットワークに構成
した模式図である。

【図３】シグモイド関数を示すグラフである。

【図４】一つのニューロンのフォワード処理を数値演算
で行う場合の一般的な回路を示すブロック図である。

【図５】３層階層型ネットワークのフォワードプロセス
の説明図である。

【図６】３層階層型ネットワークの学習プロセスの説明
図である。

【図７】多層階層型ネットワークのフォワードプロセス
の説明図である。

【図８】多層階層型ネットワークの学習プロセスの説明
図である。

【図９】３層階層型ネットワークのフォワード処理を実
行する回路の回路図である。

【図１０】３層階層型ネットワークのフォワード処理の
タイミングチャートである。

【図１１】多層階層型ネットワークのフォワード処理を
実行する回路の回路図である。

【図１２】多層階層型ネットワークのフォワード処理の
タイミングチャートである。

【図１３】神経細胞模倣回路を示す回路図である。

【図１４】図２の線（結線）に相当する回路を示す回路
図である。

【図１５】図２の丸（神経細胞ユニット）に相当する回
路を示す回路図である。

【図１６】出力層の出力と教師信号から出力層における
誤差信号を求める回路を示す回路図である。

【図１７】この発明の一実施例に係る３層階層型ネット
ワークのブロック図である。

【図１８】この発明の一実施例の動作のタイミングチャ
ートである。

【図１９】この発明の他の実施例に係る３層階層型ネッ
トワークのブロック図である。

【図２０】この発明の他の実施例の動作のタイミングチ
ャートである。

【図２１】この発明の又他の実施例の要部のブロック図
である。

【図２２】この発明の又他の実施例の動作のタイミング
チャートである。

【図２３】この発明の又他の実施例に係る３層階層型ネ
ットワークのブロック図である。

【図２４】この発明の又他の実施例に係る多層階層型ネ
ットワークのブロック図である。

【図２５】この発明のさらに他の実施例の要部のブロッ
ク図である。

【図２６】この発明のさらに他の実施例の動作のタイミ
ングチャートである。

【図２７】この発明の又さらに他の実施例の要部ブロッ
ク図である。

【図２８】この発明の又さらに他の実施例の動作のタイ
ミングチャートである。

【図２９】この発明の又さらに他の実施例に係る３層階
層型ネットワークのブロック図である。

【図３０】この発明のもう一つの実施例の要部のブロッ
ク図である。

【図３１】この発明のもう一つの実施例の動作のタイミ
ングチャートである。

【図３２】この発明のもう一つの実施例に係る３層階層
型ネットワークのブロック図である。

【図３３】ニューラルネットワークを電気回路で実現し
た例を示す回路図である。

【図３４】単一神経細胞の回路構成を示すブロック図で
ある。

【図３５】シナプス回路を示すブロック図である。

【図３６】細胞体回路を示すブロック図である。

【図３７】従来の信号処理回路のブロック図である。

【符号の説明】

Ａ入力層Ａ１入力層Ａ２中間層Ａ３出力層Ｂ1 〜Ｂn-1 中間層Ｃ出力層１１フォワード処理実行回路（ＦＷＤ）１２レジスタ１３フォワード処理実行回路（ＦＷＤ）１５コントロール回路１７〜１９レジスタ４２〜４５レジスタ４６学習処理実行回路（ＬＲＮ）４７学習処理実行回路（ＬＲＮ）４８誤差生成回路５１フォワード処理実行回路（ＦＷＤ）５２レジスタ５３フォワード処理実行回路（ＦＷＤ）５６誤差生成回路５７レジスタ５８学習処理実行回路５９レジスタ６０学習処理実行回路６１レジスタ６２コントロール回路７０フォワードプロセスカウンタ（ＦＷＤＣＮＴ）７１フォワード処理実行回路（ＦＷＤ）７２プロセスカウンタ（ＰＲＯＣＮＴ）７３フォワードプロセス開始ステートセットレジスタ
（ＦＲＥＧ）７４コンパレータ（ＣＭＰ）７５フォワード処理を実行する回路（ＦＷＤ）７６フォワード処理回路７７コントロール回路７８ラーンカウンタ（ＬＲＮＣＮＴ）７９学習プロセスを実行する回路（ＬＲＮ）８０学習処理回路８１コントロール回路８２プロセスカウンタ（ＰＲＯＣＮＴ）８３フォワードプロセス開始ステートセットレジスタ
（ＦＲＥＧ）８４コンパレータ（ＣＭＰ）８５フォワード処理を実行する回路（ＦＷＤ）８６フォワード処理回路８７学習プロセス開始ステートセットレジスタ（ＬＲ
ＥＧ）８８コンパレータ（ＣＭＰ）８９学習プロセスを実行する回路（ＬＲＮ）９０学習処理回路９１コントロール回路

Claims

【特許請求の範囲】

【請求項１】神経細胞模倣素子により構成された神経
細胞回路網による信号処理装置において、当該神経細胞
回路網を構成する各神経細胞模倣素子は、フォワードプ
ロセス時に入力される入力信号を保持する手段と、学習
プロセス時に入力される誤差信号を保持する手段を有
し、フォワードプロセスと学習プロセスを並列に行なう
ことを特徴とする信号処理装置。
【請求項２】神経細胞模倣素子により構成された階層
型神経細胞回路網による信号処理装置において、入力
層、中間層及び出力層よりなる神経回路網のフォワード
プロセスをいくつかの処理に分割し、分割された各処理
をパイプライン処理することを特徴とする信号処理装
置。
【請求項３】神経細胞模倣素子により構成された階層
神経細胞回路網による信号処理装置において、入力層、
中間層及び出力層よりなる神経回路網のフォワードプロ
セス及び学習プロセスをいくつかの処理に分割し、分割
された各処理をパイプライン処理することを特徴とする
信号処理装置。
【請求項４】神経細胞模倣素子により構成された階層
神経細胞回路網による信号処理装置において、入力層、
中間層及び出力層の各層ごとに設けられた初期値を設定
可能なカウンタと、フォワードプロセス移行前に各層の
カウンタに初期値を設定し、フォワードプロセス実行時
に各層のカウンタに共通のフォワードプロセス実行信号
を与える手段とを備え、各層のカウンタはこのフォワー
ドプロセス実行信号をカウントして、その層のフォワー
ドプロセスを実行させる所定の値のフォワードプロセス
実行信号を生成するものであることを特徴とする信号処
理装置。
【請求項５】神経細胞模倣素子により構成された階層
神経細胞回路網による信号処理装置において、入力層、
中間層及び出力層の各層ごとに設けられたカウンタ、フ
ォワードプロセス開始ステートを記憶するレジスタ及び
上記カウンタの値と上記レジスタの値を比較する比較器
と、フォワードプロセス移行前に各層の上記レジスタに
その層のフォワードプロセスを開始するステートを記憶
させ、フォワードプロセス実行時に各層に共通のフォワ
ードプロセス実行信号を与える手段とを有するフォワー
ドプロセス実行手段を備え、各層のカウンタはこのフォ
ワードプロセス実行信号によりカウント動作するもので
あり、各層の比較器はその層のカウンタの値がレジスタ
の値以上である時に各層にフォワードプロセスを実行さ
せるフォワードプロセス実行信号を生成するものである
ことを特徴とする信号処理装置。
【請求項６】神経細胞模倣素子により構成された階層
神経細胞回路網による信号処理装置において、入力層、
中間層及び出力層の各層ごとに設けられた初期値を設定
可能なカウンタと、学習プロセス移行前に各層のカウン
タに初期値を設定し、学習プロセス実行時に各層のカウ
ンタに共通の学習プロセス実行信号を与える手段とを備
え、各層のカウンタはこの学習プロセス実行信号をカウ
ントして、その層の学習プロセスを実行させる所定の値
の学習プロセス実行信号を生成するものであることを特
徴とする信号処理装置。
【請求項７】神経細胞模倣素子により構成された階層
神経細胞回路網による信号処理装置において、入力層、
中間層及び出力層の各層ごとに設けられたカウンタ、学
習プロセス開始ステートを記憶するレジスタ及び上記カ
ウンタの値と上記レジスタの値を比較する比較器と、学
習プロセス移行前に各層の上記レジスタにその層の学習
プロセスを開始するステートを記憶させ、学習プロセス
実行時に各層に共通の学習プロセス実行信号を与える手
段とを有する学習プロセス実行手段を備え、各層のカウ
ンタはこの学習プロセス実行信号によりカウント動作す
るものであり、各層の比較器はその層のカウンタの値が
レジスタの値以上の時に各層に学習プロセスを実行させ
る学習プロセス実行信号を生成するものであることを特
徴とする信号処理装置。
【請求項８】神経細胞模倣素子により構成された階層
神経細胞回路網による信号処理装置において、請求項４
あるいは請求項５のフォワードプロセス実行手段と、こ
れのフォワードプロセスから独立して学習プロセスを実
行できる請求項６あるいは請求項７の学習プロセス実行
手段とを備えることを特徴とする信号処理装置。
【請求項９】神経細胞模倣素子により構成された階層
神経細胞回路網による信号処理装置において、入力層、
中間層及び出力層の各層ごとに、フォワードプロセス及
び学習プロセスを制御するために設けられたプロセスカ
ウンタと、フォワードプロセス開始ステートを記憶する
フォワードプロセス用レジスタと、該レジスタの値とプ
ロセスカウンタの値とを比較するフォワードプロセス用
比較器と、学習プロセス開始ステートを記憶する学習プ
ロセス用レジスタと、このレジスタの値と上記プロセス
カウンタの値とを比較する学習プロセス用比較器とを備
えるとともに、プロセス移行前に、各層のフォワードプ
ロセス開始ステートを記憶するレジスタにその層のフォ
ワードプロセスを開始するステートを記憶させ、また、
各層の学習プロセス開始ステートを記憶するレジスタに
その層の学習プロセスを開始するステートを記憶させ、
プロセス実行時に各層に共通のプロセス実行信号を与え
る手段とを備え、上記各層のプロセスカウンタはこのプ
ロセス信号をカウントするものであり、上記フォワード
プロセス用比較器はプロセスカウンタの値がその層のフ
ォワードプロセス開始ステートを記憶するレジスタ値以
上の時にフォワードプロセスを開始するフォワードプロ
セス実行信号を生成するものであり、上記学習プロセス
用比較器はプロセスカウンタの値がその層の学習プロセ
ス開始ステートを記憶するレジスタ値以上の時に学習プ
ロセスを開始する学習プロセス実行信号を生成するもの
であることを特徴とする信号処理回路。