JP2612640B2 - 信号処理回路、信号処理回路網、信号処理装置及び信号処理方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、神経細胞回路網を模倣
したニューラルコンピュータ等に適用可能な信号処理回
路、信号処理回路網、信号処理装置及び信号処理方法に
関するものである。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣し、さらに、この
「神経細胞模倣素子」をネットワークにし、情報の並列
処理を目指したのが、いわゆるニューラルネットワーク
である。文字認識や連想記憶、運動制御等、生体ではい
とも簡単に行われていても、従来のノイマン型コンピュ
ータではなかなか達成しないものが多い。生体の神経
系、特に生体特有の機能、即ち並列処理、自己学習等を
模倣して、これらの問題を解決しようとする試みが盛ん
に行われている。これらの試みは、計算機シミュレーシ
ョンで行われているものが多く、本来の機能を発揮する
には、並列処理が必要であり、そのためにはニューラル
ネットワークのハードウエア化が必要である。一部で
は、既にハードウエア化の試みも行われているが、ニュ
ーラルネットワークの特徴の一つである自己学習機能が
実現できず、大きなネックとなっている。また、殆どの
ものがアナログ回路で実現されており、後述するように
動作の点で問題がある。

【０００３】以下、従来方式を順に検討する。まず、従
来のニューラルネットワークのモデルについて説明す
る。図３４はある１つの神経細胞ユニット１を表す図で
あり、図３３はこれをネットワークにしたものである。
１つの神経細胞ユニットは多数の他の神経細胞ユニット
と結合し信号を受け、それを処理して出力を出す。図３
３の場合、ネットワークは階層型であり、１つ前（左
側）の層のユニットより信号を受け、１つ後（右側）の
層のユニットへ出力する。

【０００４】より詳細に説明する。まず、図３４の神経
細胞ユニット１において、他の神経細胞ユニットと自分
のユニットとの結合の度合いを表すのが結合係数と呼ば
れるもので、ｉ番目のユニットとｊ番目のユニットの結
合係数を、一般にＴ_ijで表す。結合には、相手のニュー
ロンからの信号が大きいほど自分の出力が大きくなる興
奮性結合と、逆に、相手のニューロンからの信号が大き
いほど自分の出力が小さくなる抑制性結合があるが、Ｔ
_ij＞０が興奮性結合、Ｔ_ij＜０が抑制性結合を表す。い
ま、自分のユニットがｊ番目のユニットであるとし、ｉ
番目のユニットの出力をｙ_i とするとこれに結合係数Ｔ
_ijを掛けたＴ_ijｙ_i が、自分のユニットへの入力とな
る。前述したように、各ユニットは多数のユニットと結
合しているので、それらのユニットに対するＴ_ijｙ_i を
足し合わせた結果なるΣＴ_ijｙ_i が、自分のユニットへ
の入力となる。これを内部電位といい、ｕ_j で表す。

【０００５】 ｕ_j ＝ΣＴ_ijｙ_i …………………………………
(１)

【０００６】次に、この入力に対して、非線形な処理を
して出力とする。この時の関数を神経細胞応答関数と呼
び、非線形関数として、(２)式及び図３５に示すような
シグモイド関数を用いる。

【０００７】

【数１】 ｆ（ｘ）＝１／（１＋ｅ^-x） ………………(２)

【０００８】図３３に示すようにネットワークにした時
には、各結合定数Ｔ_ijを与え、(１)(２)式を次々と計算
することにより、最終的な出力が得られるものである。

【０００９】一方、このようなネットワークを電気回路
により実現したものの一例として、図３６に示すような
ものがある。これは、特開昭６２−２９５１８８号公報
中に示されるもので、基本的には、Ｓ字形伝達関数を有
する複数の増幅器２と、各増幅器２の出力を他の層の増
幅器の入力に一点鎖線で示すように接続する抵抗性フィ
ードバック回路網３とが設けられている。各増幅器２の
入力側には接地されたコンデンサと接地された抵抗とに
よるＣＲ時定数回路４が個別に接続されている。そし
て、入力電流Ｉ₁，Ｉ₂，〜，Ｉ_Nが各増幅器２の入力に
供給され、出力はこれらの増幅器２の出力電圧の集合か
ら得られる。

【００１０】ここに、入力や出力の信号の強度を電圧で
表し、神経細胞間の結合の強さは、各細胞間の入出力ラ
インを結ぶ抵抗５（抵抗性フィードバック回路網３中の
格子点）の抵抗値で表され、神経細胞応答関数は各増幅
器２の伝達関数で表される。また、神経細胞間の結合に
は、前述のように興奮性と抑制性とがあり数学的には結
合係数の正負符号により表される。しかし、回路上の定
数で正負を実現するのは困難であるので、ここでは、増
幅器２の出力を２つに分け、一方の出力を反転させるこ
とにより、正負の２つの信号を生成し、これを適当に選
択することにより実現するようにしている。また、図３
５に示したシグモイド関数に相当するものとしては増幅
器が用いられている。

【００１１】しかしながら、これらの回路には、次のよ
うな問題点がある。 結合定数Ｔ_ijが固定であり、予めシミュレーション
などの他の方法で学習させた値を使うしかなく、自己学
習ができない。 信号の強度を電位や電流などのアナログ値で表し、
内部の演算もアナログ的に行わせる場合、温度特性や電
源投入直後のドリフト等により、その値が変化する。 ネットワークであるので、素子の数も多く必要とす
るが、各々の特性を揃えることは困難である。 １つの素子の精度や安定性が問題となったとき、そ
れをネットワークにしたとき、新たな問題を生ずる可能
性があり、ネットワーク全体で見たときの動きが予想で
きない。

【００１２】一方、数値計算で用いられる学習法則とし
ては、バックプロパゲーションと呼ばれる下記のような
ものがある。

【００１３】まず、各結合係数は最初にランダムに与え
ておく。この状態で、入力を与えると、出力結果は必ず
しも望ましいものではない。例えば、文字認識の場合、
手書きの「１」の文字を与えたとすると、出力結果とし
て「この文字は『１』である」と出るのが望ましい結果
であるが、結合係数がランダムであると必ずしも望まし
い結果とはならない。そこで、このネットワークに正解
（教師信号）を与えて、再び、同じ入力があったとき正
解となるように各結合係数を変化させる。このとき、結
合係数を変化させる量を求めるアルゴリズムが、バック
プロパゲーションと呼ばれているものである。

【００１４】例えば、図３３に示したような階層型のネ
ットワークにおいて、最終層のｊ番目のニューロン出力
をｙ_j とし、そのニューロンに対する教師信号をｄ_j と
すると、 Ｅ＝Σ（ｄ_j −ｙ_j )² …………………………(３) で表されるＥが最小となるように、 ΔＴ_ij＝∂Ｅ／∂Ｔ_ij …………………………(４) を用いて、結合係数Ｔ_ijを変化させる。さらに具体的に
は、まず、出力層と、その１つ前の層との結合係数を求
める場合には、 δ_j＝（ｄ_j−ｙ_j）×ｆ′(ｕ_j) ……………………(５) を用いて、δ（誤差信号）を求め、それよりさらに前の
層同士の結合係数を求める場合には、 δ_j＝Σδ_jＴ_ij×ｆ′(ｕ_j) ……………………(６) を用いて、δ（誤差信号）を求め、 ΔＴ_ij＝η(δjｙj)＋αΔＴ_ij（前回の学習時） Ｔ_ij＝Ｔ_ij（前回の学習時）＋ΔＴ_ij…(７) を求めて、Ｔ_ijを変化させる。ここに、ηは学習定数、
αは安定化定数と呼ばれるものである。各々論理的には
求められないので、経験的に求める。一般的には、これ
らの数値が小さいほど収束が遅く、また、大きいと振動
してしまう傾向にある。オーダ的には１程度のものであ
る。また、ｆ′はシグモイド関数ｆの１階微分関数であ
る。

【００１５】このようにして学習をし、その後、再び入
力を与えて出力を計算し、学習をする。この操作を何回
も繰返すうちに、やがて、与えられた入力に対して望ま
しい結果が得られるような結合係数Ｔ_ijが決定される。

【００１６】さて、このような学習方法を何んらかの方
法でハードウエア化しようとした場合、学習には、多量
の四則演算が必要であり、実現が困難である。学習方法
そのものもハードウエア化に対しては不向きである。

【００１７】一方、デジタル回路でニューラルネットを
実現したものの例を図３７ないし図３９を参照して説明
する。図３７は単一の神経細胞の回路構成を示し、各シ
ナプス回路６を樹状突起回路７を介して細胞体回路８に
接続してなる。図３８はその内のシナプス回路６の構成
例を示し、係数回路９を介して入力パルスｆに倍率ａ
（フィードバック信号に掛ける倍率で１又は２）を掛け
た値が入力されるレートマルチプライヤ１０を設けてな
り、レートマルチプライヤ１０には重み付けの値ｗを記
憶したシナプス荷重レジスタ１１が接続されている。ま
た、図３９は細胞体回路８の構成例を示し、制御回路１
２、アップ／ダウンカウンタ１３、レートマルチプライ
ヤ１４及びゲート１５を順に接続してなり、さらに、ア
ップ／ダウンメモリ１６が設けられている。

【００１８】これは、神経細胞ユニットの入出力をパル
ス列で表し、そのパルス密度で信号の量を表している。
結合係数は２進数で表し、メモリ１６上に保存してお
く。入力信号をレートマルチプライヤ１４のクロックへ
入力し、結合係数をレート値へ入力することによって、
入力信号のパルス密度をレート値に応じて減らしてい
る。これは、バックプロパゲーションモデルの式のＴ_ij
ｙ_iの部分に相当する。次に、ΣＴ_ijｙ_i のΣの部分
は、樹状突起回路７によって示されるＯＲ回路で実現し
ている。結合には興奮性、抑制性があるので、予めグル
ープ分けしておき、各々のグループ別にＯＲをとる。こ
の２つの出力をカウンタ１３のアップ側、ダウン側に入
力しカウントすることで出力が得られる。この出力は２
進数であるので、再びレートマルチプライヤ１４を用い
て、パルス密度に変換する。このユニットをネットワー
クにすることによって、ニューラルネットワークが実現
できる。学習については、最終出力を外部のコンピュー
タに入力して、コンピュータ内部で数値計算を行い、そ
の結果を結合係数のメモリ１６に書込むことにより実現
している。従って、自己学習機能は全くない。また、回
路構成もパルス密度の信号をカウンタを用いて一旦数値
に直し、その後、再びパルス密度に直しており、複雑な
ものになっている。

【００１９】

【発明が解決しようとする課題】このように従来技術に
よる場合、ハードウエア上で自己学習ができないという
欠点がある。

【００２０】また、アナログ回路は動作に確実性がな
く、数値計算による学習方法も計算が複雑であり、ハー
ドウエア化に適さない。一方、動作が確実なデジタル方
式のものは回路構成が複雑である。

【００２１】

【００２２】

【００２３】

【００２４】

【課題を解決するための手段】請求項１記載の信号処理
装置は、入力信号を受信するための入力手段と、論理回
路で形成されて結合係数を供給するための供給手段及び
結合係数と入力信号との各々に論理演算処理を行いその
演算処理結果を出力する論理演算手段を備えて前記入力
手段に結合されたフォワードプロセス手段と、前記論理
演算手段の出力信号と教師信号とから生成される誤差信
号に基づき新しい結合係数を生成する結合係数生成手段
及び前記供給手段により供給される結合係数を前記結合
係数生成手段によって生成された新しい結合係数に変更
する結合係数変更手段を備えて前記フォワードプロセス
手段に結合された自己学習手段とからなる神経細胞模倣
回路を用いたものである。ここに、請求項２記載の信号
処理装置は、請求項１記載の信号処理装置における自己
学習手段中の結合係数生成手段を、誤差信号と学習定数
に基づいて新しい結合係数を生成する手段としたもので
ある。

【００２５】請求項３記載の信号処理装置は、請求項１
記載の信号処理装置の構成に関して、入力手段が、第１
の２進数入力信号を受信するための複数の第１の入力ラ
インと、第２の２進数入力信号を受信するための複数の
第２の入力ラインとからなり、供給手段が、結合係数を
格納するための第１のメモリ手段と第２のメモリ手段と
を含み、論理演算手段が、前記第１の入力ラインから受
信した前記第１の２進数入力信号の一つと前記第１のメ
モリ手段から読み出されたその入力ラインに対応する結
合係数との論理積を前記第１の２進数入力信号の各々に
ついて得るための第１のゲート手段と、前記第２の入力
ラインから受信した前記第２の２進数入力信号の一つと
前記第２のメモリ手段から読み出されたその入力ライン
に対応する結合係数との論理積を前記第２の２進数入力
信号の各々について得るための第２のゲート手段と、前
記第１のゲート手段の論理積出力同士の論理和を得るた
めの第３のゲート手段と、前記第２のゲート手段の論理
積出力同士の論理和を得るための第４のゲート手段と、
前記第４のゲート手段の論理和出力を反転させるインバ
ータと、前記第３のゲート手段の論理和出力とこのイン
バータにより反転された論理和出力との論理積及び論理
和を得るためのゲートを含む出力手段とを備えたもので
ある。ここに、請求項４記載の信号処理装置は、請求項
３記載の信号処理装置において、第１の入力ライン、第
１のメモリ手段、第１のゲート手段及び第３のゲート手
段が興奮性結合グループを形成し、第２の入力ライン、
第２のメモリ手段、第２のゲート手段、第４のゲート手
段及びインバータが抑制性結合グループを形成し、前記
第３のゲート手段、第４のゲート手段、インバータ及び
出力手段が、前記興奮性結合グループから得られる出力
と前記抑制性結合グループから得られる出力とについて
多数決に基づいてニューロンユニットの出力信号を決定
するための多数決決定手段を形成したものである。

【００２６】請求項５記載の信号処理装置は、各々論理
演算手段を有する複数の集合体からなる階層型の信号処
理装置において、前記論理演算手段から出力される最終
出力信号とこの論理演算手段に対応する教師信号とを比
較してこの教師信号のみに存在する信号を正の誤差信
号、前記最終出力信号のみに存在する信号を負の誤差信
号とするこの論理演算手段における誤差信号を生成する
比較出力手段と、他の集合体を構成する演算手段にその
出力信号を与えるある集合体内の論理演算手段において
前記他の集合体を構成する演算手段との結合状態を表す
興奮性の結合係数信号と抑制性の結合係数信号との少な
くとも一方の信号からなる結合係数信号と、前記他の集
合体を構成する演算手段における正の誤差信号と負の誤
差信号とからなる誤差信号とを用い、前記結合係数信号
のうちで興奮性の結合係数信号と前記正の誤差信号、及
び、前記結合係数信号のうちで抑制性の結合係数信号と
前記負の誤差信号とに基づいて論理演算して前記ある集
合体内の論理演算手段における正の誤差信号を生成し、
前記結合係数信号のうちで抑制性の結合係数信号と他の
集合体における前記正の誤差信号、及び、前記結合係数
信号のうちで興奮性の結合係数信号と前記負の誤差信号
とに基づいて論理演算して前記ある集合体内の論理演算
手段における負の誤差信号を生成する誤差信号生成手段
と、前記他の集合体を構成する論理演算手段に入力され
る全ての入力信号とこの論理演算手段における正の誤差
信号と負の誤差信号と、この論理演算手段にその出力信
号を与える前記ある集合体を構成する演算手段との結合
状態を表す結合係数信号とに基づいてこの結合係数信号
を制御する結合係数制御手段とを設けたものである。請
求項６記載の信号処理装置は、各々論理演算手段を有す
る第１の集合体、最終集合体及び前記第１の集合体から
の出力信号を受けて前記最終集合体に出力信号を供給す
る中間集合体からなり、前記集合体内である集合体内の
論理演算手段と別の集合体内の論理演算手段との間で相
互に信号の送受信を行なって前記第１の集合体に入力信
号が与えられたときに前記最終集合体から出力される最
終出力信号と特定の教師信号とを比較し、この比較結果
に基づいて前記論理演算手段間の全ての結合係数を制御
することにより、与えられた前記入力信号に対して得ら
れる最終集合体内の論理演算手段からの前記最終出力信
号を前記教師信号に収束させるようにした階層型の信号
処理装置において、前記最終集合体内の論理演算手段か
ら出力される前記最終出力信号とこの論理演算手段に対
応する教師信号とを比較してこの教師信号のみに存在す
る信号を正の誤差信号、前記最終出力信号のみに存在す
る信号を負の誤差信号とするこの論理演算手段における
誤差信号を生成する比較出力手段と、他の集合体を構成
する演算手段にその出力信号を与えるある集合体内の論
理演算手段において前記他の集合体を構成する演算手段
との結合状態を表す興奮性の結合係数信号と抑制性の結
合係数信号との少なくとも一方の信号からなる結合係数
信号と、前記他の集合体を構成する演算手段における正
の誤差信号と負の誤差信号とからなる誤差信号とを用
い、前記結合係数信号のうちで興奮性の結合係数信号と
前記正の誤差信号、及び、前記結合係数信号のうちで抑
制性の結合係数信号と前記負の誤差信号とに基づいて論
理演算して前記ある集合体内の論理演算手段における正
の誤差信号を生成し、前記結合係数信号のうちで抑制性
の結合係数信号と他の集合体における前記正の誤差信
号、及び、前記結合係数信号のうちで興奮性の結合係数
信号と前記負の誤差信号とに基づいて論理演算して前記
ある集合体内の論理演算手段における負の誤差信号を生
成する誤差信号生成手段と、前記他の集合体を構成する
論理演算手段に入力される全ての入力信号とこの論理演
算手段における正の誤差信号と負の誤差信号と、この論
理演算手段にその出力信号を与える前記ある集合体を構
成する演算手段との結合状態を表す結合係数信号とに基
づいてこの結合係数信号を制御する結合係数制御手段と
を設けたものである。

【００２７】請求項７記載の信号処理装置は、請求項１
記載の信号処理装置における神経細胞模倣回路が、この
神経細胞模倣回路の外部から学習定数を任意に設定する
ための学習定数設定手段を有するものとしたものであ
る。請求項８記載の信号処理装置は、請求項１記載の信
号処理装置の構成に関して、入力手段が、２進数入力信
号を受信するための複数の入力ラインからなり、供給手
段が、結合係数が属している興奮性結合グループ又は抑
制性結合グループの一つを示し前記結合係数と対応する
グルーピング情報を格納するためのメモリ手段を有し、
論理演算手段が、前記入力ラインから受信した前記２進
数入力信号の一つと前記メモリ手段から読み出されたそ
の入力ラインに対応する結合係数との論理積を前記２進
数入力信号の各々について得るための第１のゲート手段
と、前記メモリ手段から読み出された前記グルーピング
情報の一つと前記第１のゲート手段から出力される対応
する論理積出力との論理積を得るための第２のゲート手
段と、前記メモリ手段から読み出された前記グルーピン
グ情報の一つの反転情報と前記第１のゲート手段から出
力される対応する論理積出力との論理積を得るための第
３のゲート手段と、前記第２のゲート手段の論理積出力
同士の論理和を得るための第４のゲート手段と、前記第
３のゲート手段の論理積出力同士の論理和を得るための
第５のゲート手段と、この第５のゲート手段の論理和出
力を反転させるインバータと、前記第４のゲート手段の
論理和出力とこのインバータにより反転された論理和出
力との論理積又は論理和を得るためのゲート手段を含む
出力手段とを備えたものである。請求項９記載の信号処
理装置は、請求項１記載の信号処理装置の構成に関し
て、入力手段が、２進数入力信号を受信するための複数
の入力ラインからなり、供給手段が、結合係数を格納す
る第１のメモリ手段と第２のメモリ手段とを有し、論理
演算手段が、前記入力ラインから受信した前記２進数入
力信号の一つと前記第１のメモリ手段から読み出された
その入力ラインに対応する結合係数との論理積を前記２
進数入力信号の各々について得るための第１のゲート手
段と、前記入力ラインから受信した前記２進数入力信号
の一つと前記第２のメモリ手段から読み出されたその入
力ラインに対応する結合係数との論理積を前記２進数入
力信号の各々について得るための第２のゲート手段と、
前記第１のゲート手段の論理積出力同士の論理和を得る
ための第３のゲート手段と、前記第２のゲート手段の論
理積出力同士の論理和を得るための第４のゲート手段
と、この第４のゲート手段の論理和出力を反転させるイ
ンバータと、前記第３のゲート手段の論理和出力とこの
インバータにより反転された論理和出力との論理積又は
論理和を得るためのゲートを含む出力手段とを備えたも
のである。請求項１０記載の信号処理装置は、請求項９
記載の信号処理装置において、第１のメモリ手段、第１
のゲート手段及び第３のゲート手段が興奮性結合グルー
プを形成し、第２のメモリ手段、第２のゲート手段、第
４のゲート手段及びインバータが抑制性結合グループを
形成し、前記第３のゲート手段、第４のゲート手段、イ
ンバータ及び出力手段が、前記興奮性結合グループから
得られる出力と前記抑制性結合グループから得られる出
力とについて多数決に基づいてニューロンユニットの出
力信号を決定するための多数決決定手段を形成したもの
である。

【００２８】請求項１１記載の信号処理装置は、ニュー
ロンユニットへの複数の入力信号を処理し、その処理結
果を出力信号として出力する信号処理装置において、複
数の結合係数とこれらの結合係数に対応する入力信号と
の各々の演算処理を行い、その演算結果を出力信号とし
て出力するフォワードプロセス手段と、このフォワード
プロセス手段により得られる出力信号と教師信号との差
を表す誤差信号に基づき前記結合係数を制御して学習を
行う自己学習手段とからなる神経細胞模倣回路を備え、
前記差を、教師信号と出力信号とが異なったときに教師
信号側に存在するパルスからなる第１の誤差成分と出力
信号側に存在するパルスからなる第２の誤差成分とした
ものである。請求項１２記載の信号処理装置は、ニュー
ロンユニットへの複数の入力信号を処理し、その処理結
果を出力信号として出力する信号処理装置において、複
数の結合係数とこれらの結合係数に対応する入力信号と
の各々の演算処理を行い、その演算結果を出力信号とし
て出力するフォワードプロセス手段と、このフォワード
プロセス手段により得られる出力信号と教師信号との差
を表す誤差信号に基づき前記結合係数を制御して学習を
行う自己学習手段とからなる神経細胞模倣回路を備え、
前記差が、負値でない値をとる第１の誤差成分と第２の
誤差成分とよりなり、前記フォワードプロセス手段によ
り得られる出力信号と教師信号との差が前記第１の誤差
成分と前記第２の誤差成分との差に等しくしたものであ
る。請求項１３記載の信号処理装置は、請求項１２記載
の信号処理装置に関して、第１の誤差信号は、フォワー
ドプロセス手段から出力される出力信号と教師信号を論
理否定した信号との論理積により算出し、第２の誤差信
号は、フォワードプロセス手段から出力される出力信号
を論理否定した信号と教師信号との論理積により算出す
るようにしたものである。また、請求項１４記載の信号
処理装置は、請求項１２記載の信号処理装置に関して、
フォワードプロセス手段によって処理される信号と、自
己学習手段によって処理される信号との同期をとるよう
にしたものである。さらに、請求項１５記載の信号処理
装置は、請求項１，５，６，１１，１２又は１４記載の
信号処理装置に関して、少なくとも、入力信号、出力信
号、結合係数信号、教師信号及び誤差信号を、パルス密
度を表すパルス列により表される信号としたものであ
る。

【００２９】請求項１６記載の信号処理方法は、ニュー
ロンユニットへの複数の入力信号を処理し、その処理結
果を出力信号として出力する信号処理方法において、複
数の結合係数とこれらの係合係数に対応する入力信号と
の各々の演算処理を行い、その演算結果を出力信号とし
て出力するフォワードプロセスを実行するステップと、
このフォワードプロセスにより得られる出力信号と教師
信号との差を表す誤差信号に基づき前記結合係数を制御
して自己学習プロセスを実行するステップとからなり、
前記差を、教師信号と出力信号とが異なったときに教師
信号側に存在するパルスからなる第１の誤差成分と出力
信号側に存在するパルスからなる第２の誤差成分とした
ものである。請求項１７記載の信号処理方法は、ニュー
ロンユニットへの複数の入力信号を処理し、その処理結
果を出力信号として出力する信号処理方法において、複
数の結合係数とこれらの結合係数に対応する入力信号と
の各々の演算処理を行い、その演算結果を出力信号とし
て出力するフォワードプロセスを実行するステップと、
このフォワードプロセスにより得られる出力信号と教師
信号との差を表す誤差信号に基づき前記結合係数を制御
して自己学習プロセスを実行するステップとからなり、
前記差が、負値でない値をとる第１の誤差成分と第２の
誤差成分とよりなり、前記フォワードプロセスにより得
られる出力信号と教師信号との差が前記第１の誤差成分
と前記第２の誤差成分との差に等しくしたものである。
請求項１８記載の信号処理方法は、請求項１６又は１７
記載の信号処理方法に関して、第１の誤差信号は、フォ
ワードプロセスから出力される出力信号と教師信号を論
理否定した信号との論理積により算出し、第２の誤差信
号は、フォワードプロセスから出力される出力信号を論
理否定した信号と教師信号との論理積により算出するよ
うにしたものである。また、請求項１９記載の信号処理
方法は、請求項１６又は１７記載の信号処理方法に関し
て、フォワードプロセスによって処理される信号と、自
己学習プロセスによって処理される信号との同期をとる
ようにしたものである。さらに、請求項２０記載の信号
処理方法は、請求項１６又は１７記載の信号処理方法に
関して、少なくとも、入力信号、出力信号、結合係数信
号、教師信号及び誤差信号を、パルス密度を表すパルス
列により表される信号としたものである。

【００３０】

【作用】これらの信号処理回路、信号処理回路網、信号
処理装置ないしは信号処理方法によれば、自己学習機能
を含めて神経細胞網の機能をハードウエア上で並列的に
行わせることができ、自己学習機能が発揮され、従来の
コンピュータシミュレーションのシリアル処理による計
算に比べ処理速度が著しく向上する。このとき、デジタ
ル回路構成により動作は確実なものとなる。特に、全て
をパルス密度表現によるデジタル的な信号処理としたの
で、増幅器の温度特性等の影響を受ける等のアナログ方
式のような不都合は生じない。

【００３１】特に、請求項５又は６記載の発明のように
構成すれば、ニューロンの機能をソフトウエアで実現す
ることも可能であり、ソフトウエアの変更だけでネット
ワークの構成の変更も可能となり、柔軟性及び汎用性に
富んだネットワークの構築が可能となる。

【００３２】このとき、結合には興奮性と抑制性との２
種類があるが、請求項８，９又は１０記載の発明のよう
に、結合係数の正負により２グループに分けてグループ
毎に処理した後で、一方の否定結果と他方の結果との論
理積又は論理和をとる処理、又は、両者の割合による多
数決論理により決定する柔軟な処理でよく、よって、論
理回路なるデジタル回路で実現できる。

【００３３】また、結合係数についてもメモリ上に用意
されており、抵抗等による場合と異なり、書換え可能で
汎用性を持つものとなる。

【００３４】さらには、学習係数を可変としたので、実
際の応用環境に即した、効率的で使いやすいものとな
る。

【００３５】

【実施例】本発明の第一の実施例を図１ないし図１２に
基づいて説明する。本実施例は、自己学習機能を持たせ
るものであり、自己学習を可能とするには、結合係数を
可変としなければならない。このための結合係数可変回
路２０の回路構成を図２に示す。即ち、結合係数を表す
抵抗２１を多数用意しておき、これを切換え回路２２に
より適宜切換えることにより結合係数を可変とする。切
換え回路２２は外部コントローラより２進数を入力させ
ることにより切換え可能な市販されているものでよい。
ここでは、例えば電圧値のような外部コントローラから
のアナログ値を２進数に変換するＡ／Ｄ変換器２３が用
いられている。また、Ａ／Ｄ変換器２３のサインビット
を用いて切換え回路２４をも切換え制御し、反転増幅器
２５を通すか通さないかの選択により興奮性出力と抑制
性出力との切換えが行われる。これにより外部信号Ｓに
応じて結合係数が可変となり、入力信号に対して任意の
結合係数を掛けた出力が得られる。

【００３６】図３はこのような結合係数可変回路２０を
用いて、(１)(２)式を表すものである。ここでは、結合
係数可変回路２０は１つ前の層からの入力に対して各々
の結合係数を掛け合わせる機能を持ち、加算回路２６に
入力されて加算される。加算回路２６は例えば図４に示
すように市販のオペアンプ２７を用いることにより容易
に実現できる。ここに、オペアンプ２７は加算用である
が反転増幅器構成であるので、さらにアンプ２８を用い
て再度反転させて出力させるように構成されている。加
算回路２６の出力側には(２)式のような入出力関係を持
つ非線形のアンプ２９が接続されている。その入力信号
は(１)式の内部電位に相当する。

【００３７】次に、結合係数を決定するための外部信号
Ｓを作成する方法について説明する。これは、(５)〜
(７)式に相当するもので、これを実現するための回路が
必要となる。まず、(５)(６)式中のｆ′は、図３５に示
したシグモイド関数ｆの１階微分関数であり、図５に示
すような特性のものである。これを実現するｆ′信号作
成回路３０は例えば図６に示すように複数のアンプ３１
〜３５を多段に接続し、非線形の山型特性を持つ回路に
より構成される。このｆ′信号作成回路３０の入出力特
性は図７に示すようなものとなる。この回路３０は必ず
しも図５のような特性を正確に実現するものではない
が、近似的には成り立つといえる。また、ｆ′信号作成
回路３０に対して入力する前に予め非線形の入出力特性
を持つアンプ（図示せず）を設ければ、例えば図８に示
すような入出力特性となり、より図５の特性に近づくこ
とになる。

【００３８】(５)式に相当する誤差信号発生回路３６の
例を図９に示す。図中の回路３０は図６に示したもの
で、内部電位（図３中のアンプ２９に対する入力）に図
７又は図８に示したような関数処理を施す。一方、出力
層のニューロンユニット出力と教師信号との差をとる減
算回路３７が設けられている。この減算回路３７は図４
に示したような回路を用い、片方の入力を予めアンプで
反転させておけばよい。これらの回路３０，３７の出力
は乗算回路３８に入力されて積がとられ、(５)式と同様
な結果が得られる。

【００３９】一方、(６)式に相当する誤差信号発生回路
３９の例を図１０に示す。即ち、前述したような回路構
成の結合係数可変回路２０、加算回路２６、ｆ′信号作
成回路３０とともに、これらの回路２６，３０の出力の
積をとる乗算回路４０を設けてなる。このような構成は
(６)式と等価となる。よって、これに予め図９に示した
ような回路３６又は別の層における図１０に示すような
回路３９により作成された誤差信号と内部電圧とを入力
させることにより、最終的には(６)式と同様な出力が得
られる。さらに、(７)式に相当する結合係数生成回路４
１は乗算回路により実現できる。図１１はこれを示し、
まず、乗算回路４２が設けられている。これは種々市販
されているものでよく、ある層のニューロンの出力と前
述した回路で作成した誤差信号と定数ηとの積をとる。
この乗算回路４２の出力は加算回路４３に入力され、遅
延回路４４を用いて、ＴとΔＴとから新しいＴを生成す
る。よって、加算回路４３からの出力は(７)式に相当す
るものとなる。

【００４０】しかして、図１はこれらの回路をまとめて
構成した神経細胞模倣回路４５の例を示す。即ち、この
図１の回路４５はネットワーク上では図３３中に破線で
囲んで示す部分に相当する。ブロックＢ１は、図３に示
した回路に相当し、その演算出力は１つ先の各ニューロ
ンヘ送出される。また、ブロックＢ２は図１０に示した
誤差信号発生回路３９に相当する。即ち、１つ先の層の
ブロックＢ２−１とこの図に示す当該ニューロンのブロ
ックＢ２−２とで丁度図１０の構成と同じとなり、同様
に、当該ニューロンのブロックＢ２−１と１つ前のブロ
ックＢ２−２とで丁度図１０の構成と同じとなる。ネッ
トワーク全体は図３３のように多層構造となっているの
で、誤差信号発生回路３９のブロックを真ん中で切って
２つに分けても等価となる。また、ブロックＢ３−１，
Ｂ３−２，〜，Ｂ３−Ｎは図１１に示した結合係数生成
回路４１及びＡ／Ｄ変換器２３に相当する（なお、図１
では遅延回路４４は図示を省略してある）。このブロッ
クＢ３−１，Ｂ３−２，〜，Ｂ３−Ｎで新たに求められ
た結合係数Ｔを用いて、図２に示した結合係数可変回路
２０で各結合係数を変化させる。同じ結合係数をブロッ
クＢ１，Ｂ２−１の２個所で使用するので、図１に示す
ように２つを連動可変させる。即ち、図１でブロックＢ
２−１，Ｂ３の回路及びブロックＢ１中の結合係数可変
回路２０部分が自己学習回路に相当し、ブロックＢ１の
残りの部分及びブロックＢ２−２の部分が神経細胞模倣
素子に相当する。つまり、図１に示す神経細胞模倣回路
４５の構成例は、請求項１記載の発明の信号処理回路構
成例を示すものである。

【００４１】図１に示すように構成されたブロックを図
３３のように網状に接続してネットワークとし、さら
に、最終出力層の出力部分に図９で示したような誤差信
号発生回路３６を取付ければ、ニューラルネットワーク
が実現できる。

【００４２】上記回路構成について、具体例を用いて説
明する。まず、前述した各ブロックの加算回路等には全
て市販の汎用オペアンプを用いて構成し、２５６入力２
５６出力の図１のような神経細胞模倣回路４５及び図１
１のような結合係数生成回路４１を多数作製した。次
に、これらの回路４５，４１の各々の入出力線を接続し
てネットワークとした。ネットワーク構成は、３層構成
とし、第１層は２５６個、第２層は４個、第３層は５個
の神経細胞模倣回路ユニットからなるようにした。さら
に、第３層の出力を図９に示したような誤差信号発生回
路３６に接続した。このようなネットワークの第１層の
各ユニットに何んらかの入力を与えると、最初は出力結
果が必ずしも所望のものとはならないが、自己学習回路
を持つため、やがて、出力結果は所望のもの、即ち、教
師信号となる。

【００４３】このネットワークを用いて、さらに自己学
習式文字認識装置について応用した例を説明する。ま
ず、図１２に示すような手書き文字をスキャナで読取
り、１６×１６のメッシュに分け、各メッシュをネット
ワークの第１層の各ニューロンヘの入力とした。文字部
分のあるメッシュを１Ｖ、ないメッシュを０Ｖの入力と
した。出力は電圧計と結び、出力結果を直接表示するよ
うにした。５つあるユニットのうちで一番大きい出力の
ものの位置が、認識結果となるようにし、そのため、
「１」〜「５」の数字を入力したときその数字に対応す
る番号の出力が一番大きくなるように学習させた。十分
学習させた文字に対しては認識率１００％となったもの
である。

【００４４】つづいて、本発明の第二の実施例を図１３
ないし図１７により説明する。本実施例は、デジタル化
を図ったもので、基本的には、 神経細胞ユニットに関する入出力信号、中間信号、
結合係数、教師信号など、は全て、「０」「１」の２値
で表されたパルス列で表す。 ネットワーク内部での信号の量は、パルス密度で表
す（ある一定時間内の「１」の数）。 神経細胞ユニット内での計算は、パルス列同士の論
理演算で表す。 結合係数のパルス列はメモリ上に置く。 学習は、このパルス列を書換えることで実現する。 学習については、与えられた教師信号をパルス列を
元に誤差を計算し、これに基づいて、結合係数パルス列
を変化させる。このとき、誤差の計算、結合係数の変化
分の計算も、全て、「０」「１」のパルス列の論理演算
で行う。 ようにしたものである。

【００４５】以下、この思想を具体化した例に基づき説
明する。まず、信号演算部分の構成を図１３を参照して
説明する。図１３は１つの神経細胞模倣回路５０に相当
する部分を示し、ネットワーク構成したものは図３３の
場合のように階層型とされる。入出力は、全て、「１」
「０」に２値化され、かつ、同期化されたものが用いら
れる。入力ｙ_i の信号の強度はパルス密度で表現し、例
えば次に示すパルス列のように、ある一定時間内にあ
る、「１」の状態数で表す。即ち、

【数２】 の例は、４／６を表す式であり、同期パルス６個中に信
号は「１」が４個、「０」が２個である。このとき、
「１」と「０」の並び方は、後述するようにランダムで
あることが望ましい。

【００４６】一方、結合係数Ｔ_ijも同様にパルス密度で
表現し、「０」と「１」とのパルス列として予めメモリ
上に用意しておく。

【００４７】

【数３】 の例は、「１０１０１０」＝３／６を表す式である。こ
の場合も、「１」と「０」の並び方はランダムであるこ
とが望ましい。具体的にどのように決定するかは後述す
る。

【００４８】そして、このパルス列を同期クロックに応
じてメモリ上より順次読出し、図１３に示すように各々
ＡＮＤゲート５１により入力信号パルス列との論理積を
とる（ｙ_i ∩Ｔ_ij)。これを、神経細胞ｊへの入力とす
る。上例の場合で説明すると、入力信号が「１０１１０
１」として入力されたとき、これと同期してメモリ上よ
りパルス列を呼出し、順次ＡＮＤをとることにより、

【数４】 に示すような「１０１０００」が得られ、これは入力ｙ
_i が結合係数Ｔ_ijにより変換されパルス密度が２／６と
なることを示している。

【００４９】ＡＮＤゲート５１の出力のパルス密度は、
近似的には入力信号のパルス密度と結合係数とのパルス
密度との積となり、アナログ方式の結合係数と同様の機
能を有する。これは、信号の列が長いほど、また、
「１」と「０」との並び方がランダムであるほど、積に
近い機能を持つことになる。なお、入力パルス列に比べ
て結合係数のパルス列が短く、読出すべきデータがなく
なったら、再びデータの先頭に戻って読出しを繰返えせ
ばよい。

【００５０】１つの神経細胞ユニットは多入力であるの
で、前述した「入力信号と結合係数とのＡＮＤ」も多数
あり、次に論理回路となるＯＲ回路５２によりこれらの
論理和をとる。入力は同期化されているので、例えば１
番目のデータが「１０１０００」、２番目のデータが
「０１００００」の場合、両者のＯＲをとると、「１１
１０００」となる。これを多入力同時に計算し出力とす
る。即ち、入力数をｍ個とすると、

【数５】 のようになる。これは、アナログ計算における和の計算
及び非線形関数（シグモイド関数）の部分に対応してい
る。

【００５１】パルス密度が低い場合、そのＯＲをとった
もののパルス密度は、各々のパルス密度の和に近似的に
一致する。パルス密度が高くなるにつれ、ＯＲ回路５２
の出力は段々飽和してくるので、パルス密度の和とは一
致せず、非線形性が出てくる。ＯＲの場合、パルス密度
は１よりも大きくなることがなく、かつ、０より小さく
なることもなく、さらには、単調増加関数であり、シグ
モイド関数と近似的に同様となる。

【００５２】ところで、結合には興奮性と抑制性があ
り、数値計算の場合には、結合係数の符号で表し、アナ
ログ回路の場合は前述の如くＴ_ijが負となる場合（抑制
性結合）は増幅器を用いて出力を反転させてＴ_ijに相当
する抵抗値で他の神経細胞に結合させる。この点、デジ
タル方式の本実施例にあっては、まず、Ｔ_ijの正負によ
り各結合を興奮性結合と抑制性結合との２つのグループ
に分け、次いで、「入力信号と結合係数のパルス列のＡ
ＮＤ」同士のＯＲをこのグループ別に計算する。そし
て、興奮性結合グループの出力のみが「１」のとき、
「１」を出力し、抑制性結合グループの出力のみが
「１」のとき、「０」を出力する。両方とも「１」のと
き、又は「０」のときは「１」「０」の何れを出力して
もよく、或いは、確率１／２程度で「１」を出力しても
よい。本例では、興奮性結合グループの出力が「１」で
抑制性結合グループの出力が「０」のときのみ出力
「１」を出すようにする。この機能を実現するために
は、（抑制性結合グループの出力のＮＯＴ）と（興奮性
結合グループの出力）とのＡＮＤをとればよい。即ち、

【数６】 となる。

【００５３】論理式で表現すると、

【数７】 で示される。神経細胞ユニットのネットワークは、バッ
クプロパゲーションと同様な階層型（即ち、図３３）と
する。そして、ネットワーク全体を同期させておけば、
各層とも上述した機能により計算できる。

【００５４】一方、Ｔ_ijの正負により各結合を興奮性結
合と抑制性結合との２つのグループに分け、次いで、
「入力信号と結合係数のパルス列のＡＮＤ」同士のＯＲ
をこのグループ別に計算し、その後、興奮性結合グルー
プの出力が「０」で抑制性結合グループの出力が「１」
のとき以外出力を出すようにする場合であれば、（抑制
性結合グループの出力のＮＯＴ）と（興奮性結合グルー
プの出力）とのＯＲをとればよい。即ち、

【数８】 となる。

【００５５】論理式で表現すると、

【数９】 で示される。

【００５６】次に、学習時の処理について説明する。 ａ．最終層における誤差信号 最終層で各ニューロンにおける誤差信号を計算し、それ
を元にそのニューロンに関わる結合係数を変化させる。
そのための、誤差信号の計算法について述べる。ここ
に、本実施例では、「誤差信号」を以下のように定義す
る。誤差を数値で表すと、一般には＋，−の両方をとり
得るが、パルス密度の場合には、正、負の両方を同時に
表現できないので、＋成分を表す信号と、−成分を表す
信号との２種類を用いて誤差信号を表現する。即ち、ｊ
番目のニューロンの誤差信号は、

【数１０】 で示される。つまり、誤差信号の＋成分は教師信号パル
スと出力パルスとの違っている部分（１，０）又は
（０，１）の内、教師信号側に存在するパルス、他方、
−成分は同様に出力側に存在するパルスである。換言す
れば、出力パルスに誤差信号＋パルスを付け加え、誤差
信号−パルスを取り除くと、教師パルスとなることにな
る。このような誤差信号パルスを元に結合係数を後述す
るように変化させることになる。

【００５７】ｂ．中間層における誤差信号 さらに、誤差信号を逆伝播させ、最終層とその１つ前の
層との結合係数だけでなく、さらにその前の層の結合係
数も変化する。そのため、中間層における各ニューロン
での誤差信号を計算する必要がある。中間層のあるニュ
ーロンから、さらに１つ先の層の各ニューロンへ信号を
伝播させたのとは、丁度逆の要領で１つ先の層の各ニュ
ーロンにおける誤差信号を集めてきて、自己の誤差信号
とする。このことは、神経細胞ユニット内での演算式
(７)〜(10)と同じような要領で行うことができる。即
ち、まず、結合を興奮性か抑制性かにより２つのグルー
プに分け、乗算の部分はＡＮＤ、Σの部分はＯＲで表現
する。ただし、神経細胞ユニット内での(７)〜(10)式と
異なるのは、ｙは１つの信号であるのに対して、δは
正、負を表す信号として２つの信号を持ち、その両方の
信号を考慮する必要がある。従って、Ｔの正負、δの正
負に応じて４つの場合に分ける必要がある。

【００５８】まず、興奮性結合の場合を説明する。この
場合、１つ先の層のｋ番目のニューロンでの誤差信号＋
とそのニューロンと自己（ｊ番目とする）との結合係数
のＡＮＤをとったもの（δ_k(+)∩Ｔ_ik）をニューロンに
ついて求め、さらにこれら同士のＯＲをとる｛∪（δ
_k(+)∩Ｔ_ik）｝。これを、この層の誤差信号＋（＝δ
_j(+)）とする。即ち、１つ先の層のニューロン数をｎ個
とすると、

【数１１】 となる。

【００５９】また、１つ先の誤差信号−と結合係数との
ＡＮＤをとり、さらにこれら同士のＯＲをとることによ
り、同様に、この層の誤差信号−（＝δ_j(-)）とする。
即ち、

【数１２】 となる。

【００６０】次に、抑制性結合の場合を説明する。この
場合、１つ先の層のニューロンでの誤差信号−とそのニ
ューロンと自己との結合係数のＡＮＤをとり、さらにこ
れら同士のＯＲをとる。これを、この層の誤差信号＋
（＝δ_j(+)）とする。即ち、

【数１３】 となる。

【００６１】また、１つ先の誤差信号＋と結合係数との
ＡＮＤをとり、さらにこれら同士のＯＲをとることによ
り、同様に、この層の誤差信号−（＝δ_j(-)）とする。
即ち、

【数１４】 となる。

【００６２】１つのニューロンから別のニューロンへは
興奮性で結合しているものもあれば、抑制性で結合して
いるものもあるので、(20)式で求めた誤差信号δ_j(+)と
(22)式で求めた誤差信号δ_j(+)とのＯＲをとり、それを
自分のニューロンの誤差信号δ_j(+)とする。同様に、(2
1)式で求めた誤差信号δ_j(-)と(23)式で求めた誤差信号
δ_j(-)とのＯＲをとり、それを自分のニューロンの誤差
信号δ_j(-)とする。

【００６３】以上をまとめると、

【数１５】 となる。

【００６４】さらに、学習のレート（学習定数）に相当
する機能を設けてもよい。数値計算でレートが１以下の
とき、さらに学習能力が高まる。これはパルス列の演算
ではパルス列を間引くことによって実現できる。これは
カウンタ的な考え方をし、次の例１），例２）のような
ものとした。例えば、η＝０．５では元の信号のパルス
列を１つ置きに間引く。元の信号のパルスが等間隔でな
くても、元のパルス列に対して１つ置きに間引く方式
（＜例２）＞の方式）とした。

【００６５】

【数１６】

【００６６】このようにして、誤差信号を間引くことに
より学習レートの機能を持たせる。このような誤差信号
の間引きは、通常市販されているカウンタの出力を論理
演算することやフリップフロップを用いることにより容
易に実現できる。特に、カウンタを用いた場合、学習定
数ηの値を任意、かつ、容易に設定できるので、ネット
ワークの特性を制御することも可能となる。

【００６７】ところで、誤差信号には、常に学習定数を
かけておく必要はなく、例えば次に述べる結合係数を求
める演算にのみ用いてもよい。また、誤差信号を逆向き
に伝播させるときの学習定数と、結合係数を求める演算
で用いる学習定数とは、異なっていてもよい。このこと
は、ネットワーク上におかれた神経細胞ユニットの特性
を個々に設定できることを意味し、極めて汎用性の高い
システムを構築できる。従って、ネットワークの持つ性
能を適宜調整することが可能となる。

【００６８】ｃ．誤差信号より各結合係数を変化 上述した方法により誤差信号を求め、各結合係数を変化
させるが、その変化のさせ方について説明する。変化さ
せたい結合係数が属しているラインを流れる信号と誤差
信号のＡＮＤをとる（δ_j ∩ｙ_i ）。ただし、本実施例
では誤差信号には＋，−の２つの信号があるので、各々
計算する。

【００６９】

【数１７】

【００７０】このようにして得られた２つの信号をΔＴ
_ij(+) ，ΔＴ_ij(-) とする。

【００７１】ついで、今度はこのΔＴ_ijを元に新しいＴ
_ijを求めるが、本実施例のＴ_ijは、絶対値成分であるの
で、元のＴ_ijが興奮性か抑制性かで場合分けする。興奮
性の場合、元のＴ_ijに対してΔＴ_ij(+)の成分を増や
し、ΔＴ_ij(-)の成分を減らす。即ち、

【数１８】 となる。抑制性の場合は元のＴ_ijに対しΔＴ_ij(+)の成
分を減らし、ΔＴ_ij(-)の成分を増やす。即ち、

【数１９】 となる。

【００７２】以上の学習則に基づいてネットワークの計
算をする。

【００７３】次に、以上のアルゴリズムに基づく実際の
回路構成を説明する。図１４ないし図１６にその回路例
を示す。ネットワーク全体は図３３の場合と同様であ
る。図１４は図３３中の線（結線）に相当する部分の回
路を示し、図１５は図３３中の丸（神経細胞ユニット
１）に相当する部分の回路を示す。また、図１６は、最
終層の出力と教師信号から最終層における誤差信号を求
める部分の回路を示す。これらの図１４ないし図１６構
成を図３３のようにネットワークにすることにより、自
己学習可能なデジタル式のニューラルネットワークが実
現できる。

【００７４】まず、図１４から説明する。図中、５５は
ニューロンへの入力信号であり、(８)式に相当する。
(９)式の結合係数の値はシフトレジスタ５６に保存して
おく。このシフトレジスタ５６は取出し口５６ａと入口
５６ｂとを有するが、通常のシフトレジスタと同様の機
能を持つものであればよく、例えば、ＲＡＭとアドレス
コントローラとの組合せによるもの等であってもよい。
入力信号５５とシフトレジスタ５６内の結合係数とはＡ
ＮＤゲート５７を備えて(10)式に相当する論理回路５８
によりＡＮＤがとられる。この論理回路５８の出力は結
合が興奮性か抑制性かによってグループ分けしなければ
ならないが、予め各々のグループへの出力５９，６０を
用意し、何れに出力するのかを切換えるようにした方が
汎用性の高いものとなる。このため、本実施例では結合
が興奮性か抑制性かを表すビットをグループ分け用メモ
リ６１に保存しておき、その情報を用いて切換えゲート
回路６２により切換える。切換えゲート回路６２は２つ
のＡＮＤゲート６２ａ，６２ｂと一方の入力に介在され
たインバータ６２ｃとよりなる。

【００７５】また、図１５に示すように各入力を処理す
る(11)式に相当する複数のＯＲゲート構成のゲート回路
６３ａ，６３ｂが設けられている。さらに、同図に示す
ように(12)式の興奮性結合グループが「１」で、抑制性
結合グループが「０」のときにのみ出力「１」を出すＡ
ＮＤゲート６４ａとインバータ６４ｂとによるゲート回
路６４が設けられている。

【００７６】次に、誤差信号について説明する。最終層
での誤差信号を生成するのが図１６に示すＡＮＤ，排他
的ＯＲの組合せによる論理回路６５であり、(16)〜(19)
式に相当する。即ち、最終層からの出力６６及び教師信
号６７により誤差信号６８，６９を作るものである。中
間層における誤差信号を計算する(20)〜(23)式は、図１
４中に示すＡＮＤゲート構成のゲート回路７２により行
われ、＋，−に応じた出力７３，７４が得られる。この
ように結合が興奮性か抑制性かにより場合分けする必要
があるが、この場合分けはメモリ６１に記憶された興奮
性か抑制性かの情報と、誤差信号の＋，−信号７５，７
６とに応じて、ＡＮＤ，ＯＲゲート構成のゲート回路７
７により行われる。また、誤差信号を集める計算式(24)
は図１５に示すＯＲゲート構成のゲート回路７８により
行われる。さらに、学習レートに相当する(25)式は同図
中に示す分周回路７９により行われる。最後に、誤差信
号より新たな結合係数を計算する部分、即ち、(26)〜(2
9)式に相当する部分は、図１４中に示すＡＮＤ，インバ
ータ、ＯＲゲート構成のゲート回路８０により行われ、
シフトレジスタ５６の内容、即ち、結合係数の値が書換
えられる。このゲート回路８０も結合の興奮性、抑制性
によって場合分けが必要であるが、ゲート回路７７によ
り行われる。

【００７７】ここに、図１４及び図１５に示したグルー
プ分け方式及び出力決定方式を抽出して示すと、図１７
のようになる。即ち、請求項１２記載の発明に対応する
ものであり、入力段階ではグループ分けしておらず、各
入力（入力手段）５５ijに対して結合係数を記憶したメ
モリ手段としてのシフトレジスタ５６ijが個別に設けら
れ、ＡＮＤゲート（第１のゲート手段）５７ijによる論
理結果をグループ分け用メモリ（メモリ手段）６１ijの
内容に応じてＡＮＤゲート（第２のゲート手段）６２ai
j 、インバータ６２cij 、ＡＮＤゲート（第３のゲート
手段）６２bij による切換え回路６２を経て、２つのグ
ループに分け、興奮性結合グループであればＯＲゲート
（第４のゲート手段）６３ａ側で論理和を求め、抑制性
結合グループであればＯＲゲート（第５のゲート手段）
６３ｂ側で論理和を求める。この後、ゲート回路（出力
手段）６４による論理積処理により出力を決定するとい
うものである。

【００７８】今、前述したネットワークを用いた自己学
習式文字認識装置の場合により、具体例について説明す
る。まず、手書き文字をスキャナで読取り、１６×１６
のメッシュに分け、文字部分のあるメッシュを「１」、
ないメッシュを「０」とした（図１２の場合と同じ）。
このデータ（２５６個）をネットワークに入力し、出力
は５つあるユニットの内で一番大きい出力のものの位置
が、認識結果となるように学習させた。次に、ネットワ
ークの構成は、第１層目が２５６個、第２層目が２０
個、第３層目が５個の神経細胞ユニットからなる。この
とき、接続されない入力部はグランドに接続する。最
初、各結合係数はランダムとしておくと、出力結果は必
ずしも所望のものとはならない。そこで、この回路の自
己学習機能を用いて、各結合係数を新たに求め、これを
何回か繰返すことにより、所望の結果が得られるように
する。本実施例では、入力が「０」か「１」であるの
で、入力パルス列は常にＬレベル又はＨレベルの単純な
ものである。また、出力はトランジスタを介してＬＥＤ
と結び、Ｌレベルのときに消灯、Ｈレベルのときに点灯
とした。同期クロックを１０００ｋＨｚとしたので、パ
ルス密度に応じて、人間の目にはＬＥＤの明るさが変
り、従って、１番明るいＬＥＤ部分が答えになる。十分
学習させた文字に対しては認識率１００％を得たもので
ある。

【００７９】なお、興奮性結合と抑制性結合とのグルー
プ分け方式については、例えば図１８に示すように構成
してもよい。これは、請求項１３記載の発明に相当する
ものであり、入力段階で予め興奮性結合のグループａと
抑制性結合のグループｂとにグループ分けしておき、各
入力（入力手段）５５aij，５５bijに対して結合係数Ｔ
ijを記憶した少なくとも２ビット以上の第１，２のメモ
リ手段としてのシフトレジスタ８１ai，８１bjを設け、
さらに、ＡＮＤゲート（第１のゲート手段）８２aj，Ａ
ＮＤゲート（第２のゲート手段）８２bjを設けたもので
ある。以後は、グループ毎にＯＲゲート（第３のゲート
手段）６３ａ，ＯＲゲート（第４のゲート手段）６３ｂ
等を通して同様に処理される。

【００８０】また、ゲート回路（出力手段）６４につい
ては図１９に示すようにＡＮＤゲート６４ａに代えてＯ
Ｒゲート６４ｃを用いた構成として論理和処理を行うよ
うにしてもよい。これが、前述した(12′)〜(15′)式の
処理となる。

【００８１】つづいて、本発明の第三の実施例を図２０
により説明する。本実施例は、請求項７記載の発明に相
当するもので、結合係数可変回路で用いる学習係数を外
部から任意に可変設定させる学習定数設定手段８２を設
けたものである。即ち、前記実施例で〜に示した基
本的な考えに、 で示した学習時に用いる学習定数（学習レート）
を可変とし、応用面に即した性能のネットワーク回路を
得る。 の機能を付加するようにしたものである。

【００８２】即ち、この学習定数設定手段８２は第１５
図中に示した分周回路７９に代えて設けられるもので、
誤差信号が入力されるカウンタ８３と、このカウンタ８
３の出力を論理演算して学習定数の処理を行うＯＲゲー
ト８４〜８７及び１つのＡＮＤゲート８８とよりなる。
より詳細には、カウンタ８３のバイナリ出力Ａ〜Ｄに接
続されたＯＲゲート８４〜８７の各々の入力側に設けた
スイッチＳａ〜Ｓｄを全てＨレベル側にするとη＝１．
０となり、スイッチＳａ〜Ｓｄを全てＬレベル側にする
とη＝１／１６となる。よって、Ｈレベル側になってい
るスイッチの数をＮとすると、η＝（２のＮ乗）／１６
となる。従って、スイッチ（或いは、スイッチに代えた
外部信号）を用いることにより、学習定数を任意に設定
することができる。なお、パルス密度をカウンタ８３の
クロック入力として用いる場合、誤差信号の入力に対し
てＡＮＤゲート８９を適宜設けてもよい。学習定数設定
手段８２はこのような回路構成に限らない。また、この
ような学習定数設定手段８２を複数備えるか、又は、外
部信号により適宜制御することにより、結合定数の演算
に用いる学習定数の値と、誤差信号の逆伝播に用いる学
習定数の値とを異ならせることも可能となる。

【００８３】さらに、本発明の第四の実施例を図２１な
いし図２３により説明する。本実施例は、請求項８記載
の発明に相当するものである。即ち、前記第二の実施例
で〜に示した基本的な考えに、 結合係数を、興奮性と抑制性との２種類用意してお
き、入力信号に対する演算結果を、各々の結合係数を用
いた結果の割合から多数決で決定し、ネットワークの柔
軟性を高める。 の機能を付加するようにしたものである。

【００８４】即ち、１つの神経細胞ユニットは、興奮性
と抑制性との２つの結合係数を備えているが、「入力信
号と結合係数とのＡＮＤ」による出力結果を、興奮性結
合の場合と抑制性結合の場合との割合で処理するように
したものである。ここに、割合で処理するとは、同期し
て演算される複数の入力信号について、興奮性の結合係
数を用いて得られた出力結果が「１」である場合の数
と、抑制性の結合係数を用いて得られた出力結果が
「１」である場合の数とを比較し、後者が前者より多い
場合は「０」、それ以外の場合は「１」を、その神経細
胞ユニットが出力することを意味する。或いは、両者が
等しい場合は「０」を出力するようにしてもよい。

【００８５】図２１及び図２２はこのための回路構成例
を示すものである。まず、各入力５５に対しては個別に
１組ずつのメモリとしてのシフトレジスタ９０ａ，９０
ｂが設けられている。これらのシフトレジスタ９０ａ，
９０ｂはシフトレジスタ５６と同様にデータ取出し口と
データ入口とを有するものであるが、一方のシフトレジ
スタ９０ａは興奮性結合係数を記憶し、他方のシフトレ
ジスタ９０ｂは抑制性結合係数を記憶したものである。
これらのシフトレジスタ９０ａ，９０ｂから読出し手段
（図示せず）により順次読出された内容は入力５５とと
もに対応するＡＮＤゲート９１ａ，９１ｂに入力され論
理積がとられる。このような論理結果は、結合が興奮性
のものと抑制性のものと２通りあるが、ここでは、多数
決回路９２に入力されて出力が決定される。即ち、シフ
トレジスタ９０ａに基づく興奮性結合係数を用いた演算
グループはそのデジタル信号が増幅器９３ａにより加算
処理され、同様にシフトレジスタ９０ｂに基づく抑制性
結合係数を用いた演算グループはそのデジタル信号が増
幅器９３ｂにより加算処理され、両者の大小が比較器９
４により多数決決定される。なお、多数決回路９２は図
示例に限らず、一般的な多数決回路であってもよい。

【００８６】ここに、図２１に示したグループ分け方式
を抽出して示すと、図２３のようになる。即ち、請求項
１０記載の発明に対応するものであり、各入力毎に興奮
性結合と抑制性結合との結合係数を記憶した１組のメモ
リ（シフトレジスタ）を用意して、メモリの組別に分け
られたグループ別に論理積を求めるまでの処理を行わせ
るものである。

【００８７】なお、図２３図示例では多数決回路９２に
代えて、図１７や図１８の場合と同じく、グループ別に
論理和をとるＯＲゲート６３ａ，６３ｂ以下が示されて
いる。この場合のゲート回路６４も図１８又は図１９の
ようにしてもよい。

【００８８】ところで、本実施例にあっては各入力５５
毎に１組のシフトレジスタ９０ａ，９０ｂを持つため、
自己学習機能による結合係数の書換えも各々のシフトレ
ジスタ９０ａ，９０ｂについて行われる。このため、図
２１中に示すように＋，−の誤差信号を用いて、新たな
結合係数を計算する(21)〜(24)式の処理を行う自己学習
回路９５が設けられ、各シフトレジスタ９０ａ，９０ｂ
のデータ入口側に接続されている。

【００８９】本実施例によれば、神経細胞ユニットの結
合が、興奮性か抑制性かに限定されないため、ネットワ
ークが柔軟性を持ち、実際の応用において汎用性を持つ
ことになる。

【００９０】図２２の場合の分周回路７９も図２０に示
したような学習定数設定手段８２に代えてもよい。

【００９１】また、多数決回路９２による出力決定方式
は、図２１に示したように各入力毎に２つのメモリ（シ
フトレジスタ９０ａ，９０ｂ）を持つ方式のものに限ら
ず、各入力毎に１つのメモリ５６を持つものにも同様に
適用できる。即ち、図１４と図１５との組合せに代え
て、図１４と図２２との組合せとしてもよい。

【００９２】また、本発明の第五の実施例を図２４ない
し図２８により説明する。前述した第二の実施例は、図
１３ないし図２３に示したような回路（以下、ニューロ
ン回路）によって構成される神経細胞模倣素子及びその
ネットワーク（回路網）であるが、より上位概念で考え
た場合、これらの全てを回路で構成しなくても(８)〜(2
9)で説明した手順に従ったソフトウエアにより信号処理
するようにしてもよい。本実施例は、その一つの例であ
る。

【００９３】即ち、本実施例は、ネットワークを構成す
るニューロンの機能をソフトウエアで実現するようにし
たものである。まず、図３３に示したようなネットワー
クの場合、このネットワークを構成する任意のニューロ
ンにおいてソフトウエアにより信号処理を行なう。ソフ
トウエアを利用するニューロンは、１つでも全てであっ
てもよく、或いは、ネットワークを形成する各層毎に決
定してもよい。ニューロン回路による信号処理を行なわ
ないニューロンの構成を図２４に示す。ここで、入出力
装置１０１はニューロン回路を用いた他のニューロン或
いはネットワークへ信号を入力／出力する装置に接続
し、信号の授受を行なう。メモリ１０２にはＣＰＵ１０
３を制御するソフトウエアやデータが格納されており、
信号はＣＰＵ１０３で処理される。信号処理の手順は前
述した通りであるが、改めて示すと図２５及び図２６の
ようになる。図２５はフォワードプロセスにおけるアル
ゴリズムを示し、デジタル回路内又はコンピュータ内で
このような信号演算処理が行なわれる。図２５に示す処
理中のニューロンの前後関係を示すと図２７のようにな
る。図２６は学習演算プロセスにおけるアルゴリズムを
示し、デジタル回路内又はコンピュータ内でこのような
信号演算処理が行なわれる。図２６に示す処理中のニュ
ーロンの前後関係を示すと図２８のようになる。このよ
うな図２５及び図２６に示した手順に従ってソフトウエ
アを作成し、メモリ１０２に格納しておく。ここに、ソ
フトウエアにより図２４のニューロンの１つを複数のニ
ューロン分として機能させることも可能である。もっと
も、信号を時分割して処理する必要がある。

【００９４】このような構成をとることにより、ハード
ウエアによる変更を行なわず、メモリ１０２を書換える
だけで、ネットワーク構成を変更させることができ、柔
軟性及び汎用性に富んだネットワークを構築することが
できる。

【００９５】さらに、本発明の第六の実施例を図２９に
より説明する。本実施例は、１つのニューロンにおいて
機能の一部をソフトウエアで実行するようにしたもので
ある。図２４に示した構成において、図２５に示した信
号処理手順を基にしたソフトウエアをメモリ１０２に格
納することでフォワードプロセスの実行が可能なソフト
ウエアを利用したニューロンを実現することができる。
学習機能を持つニューロンを実現するには、入出力装置
１０１に図１４又は図２１に示したような回路を付加す
ればよい。何れの場合も、図１５の右半分と図１６に示
した回路部分は必要である。図２０に示した回路は適宜
設ければよい。図２９はこのような学習機能を持たせる
ための回路を学習回路１０４として示したものである。

【００９６】本実施例によっても、前記第五の実施例の
場合と同様に、ソフトウエアの変更だけでネットワーク
構成の変更が可能となり、柔軟性及び汎用性に富むネッ
トワークの構築が可能となる。

【００９７】また、実際的に考えた場合、通常の電子機
器にはＣＰＵが予め搭載されている場合が多いので、図
２４に示すような構成要素を新規に設けなくてもよいと
いえる。さらに、学習機能が不要なシステムであれば、
ハードウエアの量を大幅に減らすこともできる。

【００９８】また、本発明の第七の実施例を図３０によ
り説明する。本実施例は、学習プロセス機能をソフトウ
エアで実現するようにしたものである。図２４に示した
構成において、図２６に示した信号処理手順を基にした
ソフトウエアをメモリ１０２に格納することで学習プロ
セスの実行が可能なソフトウエアを利用したニューロン
を実現することができる。フォワードプロセス機能を持
つニューロンを実現するには、入出力装置１０１に図１
４及び図１５に示した回路、或いは、図１４及び図２２
に示したような回路を付加すればよい。図１９に示した
回路は適宜設ければよい。図３０はこのようなフォワー
ドプロセス機能を持たせるための回路をフォワード回路
１０５として示したものである。

【００９９】本実施例によっても、前記第五、六の実施
例の場合と同様に、ソフトウエアの変更だけでネットワ
ーク構成の変更が可能となり、柔軟性及び汎用性に富む
ネットワークの構築が可能となる。特に、学習則の変更
に対する対応も容易なものとなる。また、この場合も、
通常の電子機器ではＣＰＵが予め搭載されている場合が
多い点に着目すれば、図２４に示すような構成要素を新
規に設けなくてもよいといえる。さらに、学習機能が不
要なシステムであれば、ハードウエアの量を大幅に減ら
すこともできる。

【０１００】これらのソフトウエアを利用した実施例
（請求項２０ないし２４記載の発明に相当する）によれ
ば、信号処理方式としてデジタル論理演算のみで実行で
きるため、必要とするソフトウエアも低水準の言語によ
るものでよく、かつ、ソフトウエアの高速実行も可能と
なる。

【０１０１】ところで、ニューロンのネットワーク構造
としては、図３３に示したようなものの他、例えば図３
１や図３２に示すような構造のものでもよい。図３１は
請求項９ないしは請求項１０記載の発明に相当する概念
的な構造図であり、入力側から順に第１の集合体１１
０、中間集合体１１１、最終集合体１１２としたとき
（図３３にあってもこのように集合体を分類できる）、
ある集合体に含まれる神経細胞ユニット１（○は各々論
理演算手段を示す）が他の集合体に含まれる神経細胞ユ
ニット１の全てとは接続されていない状態を示す。図３
３においてはある集合体内の全ての神経細胞ユニット１
は別の集合体内の全ての神経細胞ユニットとの間で相互
に信号の送受信を行なうものであるが、図３１に示すよ
うに集合体間は各々の集合体内の神経細胞ユニット１を
全結合しなくてもよい。

【０１０２】図３２は請求項５記載の発明について、第
１の集合体１１０と最終集合体１１２との間に２層の中
間集合体１１３，１１４を用いて４層構造としてネット
ワーク構成したものである。一般的には、中間集合体を
適宜の数だけ設けてもよい。

【０１０３】また、これらの図３１，図３２及び図３３
では、何れも各集合体に含まれる神経細胞ユニット１の
数が４個として図示されているが、これらの数は実施例
中の具体例で説明したごとく、任意であり、各集合体毎
に神経細胞ユニット数が異なってもよい。

【０１０４】

【発明の効果】本発明は、信号処理回路、信号処理回路
網、信号処理装置及び信号処理方法に関して、上述した
ように構成したので、自己学習機能を含めて神経細胞網
の機能をハードウエア上で並列的に行わせることがで
き、自己学習機能を発揮させ、従来のコンピュータシミ
ュレーションのシリアル処理による計算に比べ処理速度
を著しく向上させることができ、このとき、デジタル回
路構成により動作は確実なものとなり、特に、全てをパ
ルス密度表現によるデジタル的な信号処理としたので、
増幅器の温度特性等の影響を受ける等のアナログ方式の
ような不都合も生じないものである。

【０１０５】特に、請求項５又は６記載の発明のように
構成すれば、ニューロンの機能をソフトウエアで実現す
ることも可能であり、ハードウエアの変更を要せず、ソ
フトウエアの変更だけでネットワークの構成の変更も可
能となり、柔軟性及び汎用性に富んだネットワークの構
築も可能となるものである。

【０１０６】また、結合には興奮性と抑制性との２種類
があるが、請求項８，９又は１０記載の発明などのよう
に、結合係数の正負により２グループに分けてグループ
毎に処理した後で、一方の否定結果と他方の結果との論
理積又は論理和をとる処理、又は、両者の割合による多
数決論理により決定する柔軟な処理でよく、よって、論
理回路なるデジタル回路で実現できるものである。

【０１０７】また、結合係数についてもメモリ上に用意
されており、抵抗等による場合と異なり、書換え可能で
汎用性を持つものとなる。

【０１０８】さらには、請求項７記載の発明によれば、
学習係数を可変としたので、実際の応用環境に即した、
効率的で使いやすいものとすることができる。

【図面の簡単な説明】

【図１】本発明の第一の実施例における１つの神経細胞
模倣回路を示すブロック図である。

【図２】結合係数可変回路を示す回路図である。

【図３】この可変回路を用いた結合係数掛け合わせ回路
の回路図である。

【図４】その加算回路の一例を示す回路図である。

【図５】シグモイド関数の一階微分特性を示すグラフで
ある。

【図６】ｆ′信号作成回路の回路図である。

【図７】その入出力特性を示すグラフである。

【図８】異なる入出力特性例を示すグラフである。

【図９】誤差信号発生回路の回路図である。

【図１０】誤差信号発生回路の回路図である。

【図１１】結合係数作成回路の回路図である。

【図１２】説明図である。

【図１３】本発明の第二の実施例を示す信号演算部分の
構成例の論理回路図である。

【図１４】各部の構成例を示す論理回路図である。

【図１５】各部の構成例を示す論理回路図である。

【図１６】各部の構成例を示す論理回路図である。

【図１７】各部の構成例を示す論理回路図である。

【図１８】変形例を示す論理回路図である。

【図１９】変形例を示す論理回路図である。

【図２０】本発明の第三の実施例を示す回路図である。

【図２１】本発明の第四の実施例を示す回路図である。

【図２２】回路図である。

【図２３】回路図である。

【図２４】本発明の第五の実施例を示すブロック図であ
る。

【図２５】フォワードプロセスにおける処理を示すフロ
ーチヤートである。

【図２６】学習プロセスにおける処理を示すフローチヤ
ートである。

【図２７】ニユーロンの前後関係を示す模式図である。

【図２８】ニユーロンの前後関係を示す模式図である。

【図２９】本発明の第六の実施例を示すブロック図であ
る。

【図３０】本発明の第七の実施例を示すブロック図であ
る。

【図３１】ネットワーク構造の変形例を示す概念図であ
る。

【図３２】ネットワーク構造の異なる変形例を示す概念
図である。

【図３３】従来例を示すニューラルネットワークの概念
図である。

【図３４】その１つのユニット構成を示す概念図であ
る。

【図３５】シグモイド関数を示すグラフである。

【図３６】１つのユニットの具体的回路図である。

【図３７】デジタル構成例を示すブロック図である。

【図３８】その一部の回路図である。

【図３９】その一部の他の回路図である。

【符号の説明】

１ 論理演算手段 ２０ 結合係数可変回路 ４１，８０，９５ 結合係数生成回路 ４５，５０ 神経細胞模倣回路 ５１，５２，５８，６２〜６５，７２，７７〜８０
デジタル論理回路 ５６，８１，９０ａ，９０ｂ メモリ ６１ グループ分け用メモリ ８２ 学習定数設定手段 ９２ 多数決回路 １１０〜１１４ 集合体

───────────────────────────────────────────────────── フロントページの続き (31)優先権主張番号 特願平2−272827 (32)優先日 平２(1990)10月11日 (33)優先権主張国 日本（ＪＰ） (56)参考文献 特開 平１−173257（ＪＰ，Ａ) 特開 平１−204171（ＪＰ，Ａ) 特開 平１−244567（ＪＰ，Ａ) 特開 平１−193982（ＪＰ，Ａ)

Claims (20)

(57)【特許請求の範囲】
1. 【請求項１】入力信号を受信するための入力手段と、 論理回路で形成されて結合係数を供給するための供給手
   段と、結合係数と入力信号との各々に論理演算処理を行
   いその演算処理結果を出力する論理演算手段とを備えて
   前記入力手段に結合されたフォワードプロセス手段と、 前記論理演算手段の出力信号と教師信号とから生成され
   る誤差信号に基づき新しい結合係数を生成する結合係数
   生成手段と、前記供給手段により供給される結合係数を
   前記結合係数生成手段によって生成された新しい結合係
   数に変更する結合係数変更手段とを備えて前記フォワー
   ドプロセス手段に結合された自己学習手段と からなる神経細胞模倣回路を有することを特徴とする信
   号処理装置。
2. 【請求項２】自己学習手段中の結合係数生成手段を、誤
   差信号と学習定数に基づいて新しい結合係数を生成する
   手段としたことを特徴とする請求項１記載の信号処理装
   置。
3. 【請求項３】入力手段が、第１の２進数入力信号を受信
   するための複数の第１の入力ラインと、第２の２進数入
   力信号を受信するための複数の第２の入力ラインとから
   なり、 供給手段が、結合係数を格納するための第１のメモリ手
   段と第２のメモリ手段とを含み、 論理演算手段が、 前記第１の入力ラインから受信した前記第１の２進数入
   力信号の一つと前記第１のメモリ手段から読み出された
   その入力ラインに対応する結合係数との論理積を前記第
   １の２進数入力信号の各々について得るための第１のゲ
   ート手段と、 前記第２の入力ラインから受信した前記第２の２進数入
   力信号の一つと前記第２のメモリ手段から読み出された
   その入力ラインに対応する結合係数との論理積を前記第
   ２の２進数入力信号の各々について得るための第２のゲ
   ート手段と、 前記第１のゲート手段の論理積出力同士の論理和を得る
   ための第３のゲート手段と、 前記第２のゲート手段の論理積出力同士の論理和を得る
   ための第４のゲート手段と、 前記第４のゲート手段の論理和出力を反転させるインバ
   ータと、 前記第３のゲート手段の論理和出力とこのインバータに
   より反転された論理和出力との論理積及び論理和を得る
   ためのゲートを含む出力手段と を備えてなることを特徴とする請求項１記載の信号処理
   装置。
4. 【請求項４】第１の入力ライン、第１のメモリ手段、第
   １のゲート手段及び第３のゲート手段が興奮性結合グル
   ープを形成し、 第２の入力ライン、第２のメモリ手段、第２のゲート手
   段、第４のゲート手段及びインバータが抑制性結合グル
   ープを形成し、 前記第３のゲート手段、第４のゲート手段、インバータ
   及び出力手段が、前記興奮性結合グループから得られる
   出力と前記抑制性結合グループから得られる出力とにつ
   いて多数決に基づいてニューロンユニットの出力信号を
   決定するための多数決決定手段を形成した ことを特徴とする請求項３記載の信号処理装置。
5. 【請求項５】各々論理演算手段を有する複数の集合体か
   らなる階層型の信号処理装置において、 前記論理演算手段から出力される最終出力信号とこの論
   理演算手段に対応する教師信号とを比較してこの教師信
   号のみに存在する信号を正の誤差信号、前記最終出力信
   号のみに存在する信号を負の誤差信号とするこの論理演
   算手段における誤差信号を生成する比較出力手段と、 他の集合体を構成する演算手段にその出力信号を与える
   ある集合体内の論理演算手段において前記他の集合体を
   構成する演算手段との結合状態を表す興奮性の結合係数
   信号と抑制性の結合係数信号との少なくとも一方の信号
   からなる結合係数信号と、前記他の集合体を構成する演
   算手段における正の誤差信号と負の誤差信号とからなる
   誤差信号とを用い、前記結合係数信号のうちで興奮性の
   結合係数信号と前記正の誤差信号、及び、前記結合係数
   信号のうちで抑制性の結合係数信号と前記負の誤差信号
   とに基づいて論理演算して前記ある集合体内の論理演算
   手段における正の誤差信号を生成し、前記結合係数信号
   のうちで抑制性の結合係数信号と他の集合体における前
   記正の誤差信号、及び、前記結合係数信号のうちで興奮
   性の結合係数信号と前記負の誤差信号とに基づいて論理
   演算して前記ある集合体内の論理演算手段における負の
   誤差信号を生成する誤差信号生成手段と、 前記他の集合体を構成する論理演算手段に入力される全
   ての入力信号とこの論理演算手段における正の誤差信号
   と負の誤差信号と、この論理演算手段にその出力信号を
   与える前記ある集合体を構成する演算手段との結合状態
   を表す結合係数信号とに基づいてこの結合係数信号を制
   御する結合係数制御手段と を設けたことを特徴とする信号処理装置。
6. 【請求項６】各々論理演算手段を有する第１の集合体、
   最終集合体及び前記第１の集合体からの出力信号を受け
   て前記最終集合体に出力信号を供給する中間集合体から
   なり、前記集合体内である集合体内の論理演算手段と別
   の集合体内の論理演算手段との間で相互に信号の送受信
   を行なって前記第１の集合体に入力信号が与えられたと
   きに前記最終集合体から出力される最終出力信号と特定
   の教師信号とを比較し、この比較結果に基づいて前記論
   理演算手段間の全ての結合係数を制御することにより、
   与えられた前記入力信号に対して得られる最終集合体内
   の論理演算手段からの前記最終出力信号を前記教師信号
   に収束させるようにした階層型の信号処理装置におい
   て、 前記最終集合体内の論理演算手段から出力される前記最
   終出力信号とこの論理演算手段に対応する教師信号とを
   比較してこの教師信号のみに存在する信号を正の誤差信
   号、前記最終出力信号のみに存在する信号を負の誤差信
   号とするこの論理演算手段における誤差信号を生成する
   比較出力手段と、他の集合体を構成する演算手段にその
   出力信号を与えるある集合体内の論理演算手段において
   前記他の集合体を構成する演算手段との結合状態を表す
   興奮性の結合係数信号と抑制性の結合係数信号との少な
   くとも一方の信号からなる結合係数信号と、前記他の集
   合体を構成する演算手段における正の誤差信号と負の誤
   差信号とからなる誤差信号とを用い、前記結合係数信号
   のうちで興奮性の結合係数信号と前記正の誤差信号、及
   び、前記結合係数信号のうちで抑制性の結合係数信号と
   前記負の誤差信号とに基づいて論理演算して前記ある集
   合体内の論理演算手段における正の誤差信号を生成し、
   前記結合係数信号のうちで抑制性の結合係数信号と他の
   集合体における前記正の誤差信号、及び、前記結合係数
   信号のうちで興奮性の結合係数信号と前記負の誤差信号
   とに基づいて論理演算して前記ある集合体内の論理演算
   手段における負の誤差信号を生成する誤差信号生成手段
   と、 前記他の集合体を構成する論理演算手段に入力される全
   ての入力信号とこの論理演算手段における正の誤差信号
   と負の誤差信号と、この論理演算手段にその出力信号を
   与える前記ある集合体を構成する演算手段との結合状態
   を表す結合係数信号とに基づいてこの結合係数信号を制
   御する結合係数制御手段と を設けたことを特徴とする信号処理装置。
7. 【請求項７】神経細胞模倣回路が、この神経細胞模倣回
   路の外部から学習定数を任意に設定するための学習定数
   設定手段を有することを特徴とする請求項１記載の信号
   処理装置。
8. 【請求項８】入力手段が、２進数入力信号を受信するた
   めの複数の入力ラインからなり、 供給手段が、結合係数が属している興奮性結合グループ
   又は抑制性結合グループの一つを示し前記結合係数と対
   応するグルーピング情報を格納するためのメモリ手段を
   有し、 論理演算手段が、 前記入力ラインから受信した前記２進数入力信号の一つ
   と前記メモリ手段から読み出されたその入力ラインに対
   応する結合係数との論理積を前記２進数入力信号の各々
   について得るための第１のゲート手段と、 前記メモリ手段から読み出された前記グルーピング情報
   の一つと前記第１のゲート手段から出力される対応する
   論理積出力との論理積を得るための第２のゲート手段
   と、 前記メモリ手段から読み出された前記グルーピング情報
   の一つの反転情報と前記第１のゲート手段から出力され
   る対応する論理積出力との論理積を得るための第３のゲ
   ート手段と、 前記第２のゲート手段の論理積出力同士の論理和を得る
   ための第４のゲート手段と、 前記第３のゲート手段の論理積出力同士の論理和を得る
   ための第５のゲート手段と、 この第５のゲート手段の論理和出力を反転させるインバ
   ータと、 前記第４のゲート手段の論理和出力とこのインバータに
   より反転された論理和出力との論理積又は論理和を得る
   ためのゲート手段を含む出力手段と を備えてなることを特徴とする請求項１記載の信号処理
   装置。
9. 【請求項９】入力手段が、２進数入力信号を受信するた
   めの複数の入力ラインからなり、 供給手段が、結合係数を格納する第１のメモリ手段と第
   ２のメモリ手段とを有し、 論理演算手段が、 前記入力ラインから受信した前記２進数入力信号の一つ
   と前記第１のメモリ手段から読み出されたその入力ライ
   ンに対応する結合係数との論理積を前記２進数入力信号
   の各々について得るための第１のゲート手段と、 前記入力ラインから受信した前記２進数入力信号の一つ
   と前記第２のメモリ手段から読み出されたその入力ライ
   ンに対応する結合係数との論理積を前記２進数入力信号
   の各々について得るための第２のゲート手段と、 前記第１のゲート手段の論理積出力同士の論理和を得る
   ための第３のゲート手段と、 前記第２のゲート手段の論理積出力同士の論理和を得る
   ための第４のゲート手段と、 この第４のゲート手段の論理和出力を反転させるインバ
   ータと、 前記第３のゲート手段の論理和出力とこのインバータに
   より反転された論理和出力との論理積又は論理和を得る
   ためのゲートを含む出力手段と を備えてなることを特徴とする請求項１記載の信号処理
   装置。
10. 【請求項１０】第１のメモリ手段、第１のゲート手段及
    び第３のゲート手段が興奮性結合グループを形成し、 第２のメモリ手段、第２のゲート手段、第４のゲート手
    段及びインバータが抑制性結合グループを形成し、 前記第３のゲート手段、第４のゲート手段、インバータ
    及び出力手段が、前記興奮性結合グループから得られる
    出力と前記抑制性結合グループから得られる出力とにつ
    いて多数決に基づいてニューロンユニットの出力信号を
    決定するための多数決決定手段を形成した ことを特徴とする請求項９記載の信号処理装置。
11. 【請求項１１】ニューロンユニットへの複数の入力信号
    を処理し、その処理結果を出力信号として出力する信号
    処理装置において、 複数の結合係数とこれらの結合係数に対応する入力信号
    との各々の演算処理を行い、その演算結果を出力信号と
    して出力するフォワードプロセス手段と、 このフォワードプロセス手段により得られる出力信号と
    教師信号との差を表す誤差信号に基づき前記結合係数を
    制御して学習を行う自己学習手段と からなる神経細胞模倣回路を備え、 前記差が、教師信号と出力信号とが異なったときに教師
    信号側に存在するパルスからなる第１の誤差成分と出力
    信号側に存在するパルスからなる第２の誤差成分とより
    なることを特徴とする信号処理装置。
12. 【請求項１２】ニューロンユニットへの複数の入力信号
    を処理し、その処理結果を出力信号として出力する信号
    処理装置において、 複数の結合係数とこれらの結合係数に対応する入力信号
    との各々の演算処理を行い、その演算結果を出力信号と
    して出力するフォワードプロセス手段と、 このフォワードプロセス手段により得られる出力信号と
    教師信号との差を表す誤差信号に基づき前記結合係数を
    制御して学習を行う自己学習手段と からなる神経細胞模倣回路を備え、 前記差が、負値でない値をとる第１の誤差成分と第２の
    誤差成分とよりなり、前記フォワードプロセス手段によ
    り得られる出力信号と教師信号との差が前記第１の誤差
    成分と前記第２の誤差成分との差に等しいことを特徴と
    する信号処理装置。
13. 【請求項１３】第１の誤差信号は、フォワードプロセス
    手段から出力される出力信号と教師信号を論理否定した
    信号との論理積により算出し、 第２の誤差信号は、フォワードプロセス手段から出力さ
    れる出力信号を論理否定した信号と教師信号との論理積
    により算出するようにしたことを特徴とする請求項１２
    記載の信号処理装置。
14. 【請求項１４】フォワードプロセス手段によって処理さ
    れる信号と、自己学習手段によって処理される信号との
    同期をとるようにしたことを特徴とする請求項１２記載
    の信号処理装置。
15. 【請求項１５】少なくとも、入力信号、出力信号、結合
    係数信号、教師信号及び誤差信号を、パルス密度を表す
    パルス列により表される信号としたことを特徴とする請
    求項１，５，６，１１，１２又は１４記載の信号処理装
    置。
16. 【請求項１６】ニューロンユニットへの複数の入力信号
    を処理し、その処理結果を出力信号として出力する信号
    処理方法において、 複数の結合係数とこれらの結合係数に対応する入力信号
    との各々の演算処理を行い、その演算結果を出力信号と
    して出力するフォワードプロセスを実行するステップ
    と、 このフォワードプロセスにより得られる出力信号と教師
    信号との差を表す誤差信号に基づき前記結合係数を制御
    して自己学習プロセスを実行するステップと からなり、 前記差が、教師信号と出力信号とが異なったときに教師
    信号側に存在するパルスからなる第１の誤差成分と出力
    信号側に存在するパルスからなる第２の誤差成分とより
    なることを特徴とする信号処理方法。
17. 【請求項１７】ニューロンユニットへの複数の入力信号
    を処理し、その処理結果を出力信号として出力する信号
    処理方法において、 複数の結合係数とこれらの結合係数に対応する入力信号
    との各々の演算処理を行い、その演算結果を出力信号と
    して出力するフォワードプロセスを実行するステップ
    と、 このフォワードプロセスにより得られる出力信号と教師
    信号との差を表す誤差信号に基づき前記結合係数を制御
    して自己学習プロセスを実行するステップと からなり、 前記差が、負値でない値をとる第１の誤差成分と第２の
    誤差成分とよりなり、前記フォワードプロセスにより得
    られる出力信号と教師信号との差が前記第１の誤差成分
    と前記第２の誤差成分との差に等しいことを特徴とする
    信号処理方法。
18. 【請求項１８】第１の誤差信号は、フォワードプロセス
    から出力される出力信号と教師信号を論理否定した信号
    との論理積により算出し、 第２の誤差信号は、フォワードプロセスから出力される
    出力信号を論理否定した信号と教師信号との論理積によ
    り算出するようにしたことを特徴とする請求項１６又１
    ７記載の信号処理方法。
19. 【請求項１９】フォワードプロセスによって処理される
    信号と、自己学習プロセスによって処理される信号との
    同期をとるようにしたことを特徴とする請求項１６又は
    １７記載の信号処理方法。
20. 【請求項２０】少なくとも、入力信号、出力信号、結合
    係数信号、教師信号及び誤差信号を、パルス密度を表す
    パルス列により表される信号としたことを特徴とする請
    求項１６又は１７記載の信号処理方法。