JPH05108594A

JPH05108594A - 信号処理装置

Info

Publication number: JPH05108594A
Application number: JP3266628A
Authority: JP
Inventors: Takashi Kitaguchi; 貴史北口; Toshiyuki Furuta; 俊之古田; Hirotoshi Eguchi; 裕俊江口; Shuji Motomura; 修二本村
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1991-10-16
Filing date: 1991-10-16
Publication date: 1993-04-30

Abstract

(57)【要約】【目的】動作が確実でハードウエア化が容易なデジタ
ル構成にして、ニューロンの汎用性を高め、効率的で使
いやすいものとする。【構成】複数の入力信号２５に対して各々興奮性結合
と抑制性結合との２つの結合係数の組を保持するメモリ
２６ａ，２６ｂを設けて、ニューロン間の結合が興奮
性、抑制性の何れかに限定されないよう汎用性を持た
せ、入力信号２５と各結合係数との論理積を論理積演算
手段２７ａ，２７ｂにより演算した後、これらの論理積
演算手段２７ａ，２７ｂによる演算結果を第１論理演算
手段２８ａ，２８ｂにより同じ組同士で論理演算を行な
うことにより、両方の結合を同時に持たない結果となる
ように興奮性結合グループと抑制性結合グループとに適
正にグループ分けし、後はグループ別に論理和演算及び
その演算結果について所定の演算処理を行なうようにし
た。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、例えば画像や音声の認
識、ロボット等の位置制御、エアコンの温度制御、ロケ
ットの軌道制御等のような各種運動の制御に適用可能
な、神経細胞を模倣したニューラルコンピュータ等の信
号処理装置に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣し、さらに、この
「神経細胞模倣素子」（神経細胞ユニット）をネットワ
ークにし、情報の並列処理を目指したのが、いわゆるニ
ューラルネットワークである。文字認識や連想記憶、運
動制御等、生体ではいとも簡単に行われていても、従来
のノイマン型コンピュータではなかなか達成しないもの
が多い。生体の神経系、特に生体特有の機能、即ち並列
処理、自己学習等をニューラルネットワークにより模倣
して、これらの問題を解決しようとする試みが盛んに行
われている。

【０００３】まず、従来のニューラルネットワークのモ
デルについて説明する。図２１はある１つの神経細胞ユ
ニットＡを表す図であり、図２２はこれをネットワーク
にしたものである。Ａ₁，Ａ₂，Ａ₃ は各々神経細胞ユニ
ットを表す。１つの神経細胞ユニットは多数の他の神経
細胞ユニットと結合しており、それらから受けた信号を
処理して出力を出す。図２２の場合、ネットワークは階
層型であり、神経細胞ユニットＡ₂ は１つ前（左側）の
層の神経細胞ユニットＡ₁ より信号を受け、１つ後（右
側）の層の神経細胞ユニットＡ₃ へ出力する。

【０００４】より詳細に説明する。まず、図２１の神経
細胞ユニットＡにおいて、他の神経細胞ユニットと自分
のユニットとの結合の度合いを表すのが結合係数と呼ば
れるもので、ｉ番目の神経細胞ユニットとｊ番目の神経
細胞ユニットの結合係数を一般にＴ_ijで表す。結合に
は、相手のユニット（自己のユニットに信号を送ってく
るユニット）からの信号が大きい程自己のユニット出力
が大きくなる興奮性結合と、相手のユニットからの信号
が大きい程自己のユニット出力が小さくなる抑制性結合
とがあり、Ｔ_ij＞０が興奮性結合、Ｔ_ij＜０が抑制性結
合を表す。今、自分の神経細胞ユニットがｊ番目のユニ
ットであるとし、ｉ番目の神経細胞ユニットの出力をｙ
_i とするとこれに結合係数Ｔ_ijを掛けたＴ_ijｙ_i が、自
分のユニットへの入力となる。前述したように、１つの
神経細胞ユニットは多数の神経細胞ユニットと結合して
いるので、それらのユニットに対するＴ_ijｙ_i を足し合
わせた結果なるΣＴ_ijｙ_i が、ネットワーク内における
自分の神経細胞ユニットへの入力となる。これを内部電
位といい、ｕ_j で表す。

【０００５】

【数１】

【０００６】次に、この入力（内部電位）に対して閾値
を加えて非線形な処理をすることで、その神経細胞ユニ
ットの出力とする。この時に用いる関数を神経細胞応答
関数と呼び、非線形関数として、(２)式及び図２３に示
すようなシグモイド関数を用いる。

【０００７】

【数２】

【０００８】このような神経細胞ユニットを図２２に示
すようにネットワークに構成した時には、各結合係数Ｔ
_ijを与え、(１)(２)式を次々と計算することにより、情
報の並列処理が可能となり、最終的な出力が得られるも
のである。

【０００９】このような階層型ニューラルネットワーク
において、ある入力に対して望ましい結果が出力される
ように、結合係数Ｔ_ijを更新していくような学習を行な
うことにより、所望のニューラルネットワークを構築す
る。このような学習方法として最も広く用いられている
のは誤差逆伝搬法、いわゆるバックプロパゲーション法
である。

【００１０】このようなネットワークを電気回路により
実現したものの一例として、図２４に示すようなものが
ある。これは、特開昭６２−２９５１８８号公報中に示
されるもので、基本的には、Ｓ字形伝達関数を有する複
数の増幅器１と、各増幅器１の出力を他の層の増幅器の
入力に一点鎖線で示すように接続する抵抗性フィードバ
ック回路網２とが設けられている。各増幅器１の入力側
には接地されたコンデンサと接地された抵抗とによるＣ
Ｒ時定数回路３が個別に接続されている。そして、入力
電流Ｉ₁，Ｉ₂，〜，Ｉ_nが各増幅器１の入力に供給さ
れ、出力はこれらの増幅器１の出力電圧の集合から得ら
れる。

【００１１】ここに、ネットワークへの入力や出力の信
号強度を電圧で表し、神経細胞ユニット間の結合の強さ
は、各細胞間の入出力ラインを結ぶ抵抗４（抵抗性フィ
ードバック回路網２中の格子点）の抵抗値で表され、神
経細胞応答関数は各増幅器１の伝達関数で表される。即
ち、図２４において複数の増幅器１は反転出力及び非反
転出力を有し、かつ、各増幅器１の入力には入力電流供
給手段なるＣＲ時定数回路３を有しており、予め選定さ
れた第１の値、又は予め選定された第２の値である抵抗
４（Ｔ_ij）で増幅器３の各々の出力を入力に接続するフ
ィードバック回路網２とされている。抵抗４はｉ番目の
増幅器出力とｊ番目の増幅器入力との間の相互コンダク
タンスを表し、回路網が平衡する複数の極小値を作るよ
うに選定され、複数の極小値を持ったエネルギー関数を
最小にするようにしている。また、神経細胞間の結合に
は、興奮性と抑制性とがあり数学的には結合係数の正負
符号により表されるが、回路上の定数で正負を実現する
のは困難であるので、ここでは、増幅器１の出力を２つ
に分け、一方の出力を反転させることにより、正負の２
つの信号を生成し、これを適当に選択することにより実
現するようにしている。また、図２３に示したシグモイ
ド関数に相当するものとしては増幅器が用いられてい
る。

【００１２】一方、デジタル回路でニューラルネットを
実現したものの例を図２５ないし図２７を参照して説明
する。図２５は単一の神経細胞の回路構成を示し、各シ
ナプス回路６を樹状突起回路７を介して細胞体回路８に
接続してなる。図２６はその内のシナプス回路６の構成
例を示し、係数回路９を介して入力パルスｆに倍率ａ
（フィードバック信号に掛ける倍率で１又は２）を掛け
た値が入力されるレートマルチプライヤ１０を設けてな
り、レートマルチプライヤ１０には重み付けの値ｗを記
憶したシナプス荷重レジスタ１１が接続されている。ま
た、図２７は細胞体回路８の構成例を示し、制御回路１
２、アップ／ダウンカウンタ１３、レートマルチプライ
ヤ１４及びゲート１５を順に接続してなり、さらに、ア
ップ／ダウンメモリ１６が設けられている。

【００１３】これは、神経細胞ユニットの入出力をパル
ス列で表し、そのパルス密度で信号の量を表している。
結合係数は２進数で表し、メモリ１６上に保存してお
く。入力信号をレートマルチプライヤ１４のクロックへ
入力し、結合係数をレート値へ入力することによって、
入力信号のパルス密度をレート値に応じて減らしてい
る。これは、バックプロパゲーションモデルの式のＴ_ij
ｙ_i の部分に相当する。次に、ΣＴ_ijｙ_i のΣの部分
は、樹状突起回路７によって示されるＯＲ回路で実現し
ている。結合には興奮性、抑制性があるので、予めグル
ープ分けしておき、各々のグループ別にＯＲをとる。こ
の２つの出力をカウンタ１３のアップ側、ダウン側に入
力しカウントすることで出力が得られる。この出力は２
進数であるので、再びレートマルチプライヤ１４を用い
て、パルス密度に変換する。このユニットをネットワー
クにすることによって、ニューラルネットワークが実現
できる。

【００１４】

【発明が解決しようとする課題】しかしながら、前者の
アナログ回路方式には、次のような問題点がある。信号の強度を電位や電流などのアナログ値で表し、
内部の演算もアナログ的に行わせる場合、温度特性や電
源投入直後のドリフト等により、その値が変化する。ネットワークであるので、素子の数も多く必要とす
るが、各々の特性を揃えることは困難である。１つの素子の精度や安定性が問題となったとき、そ
れをネットワークにしたとき、新たな問題を生ずる可能
性があり、ネットワーク全体で見たときの動きが予想で
きない。結合係数Ｔ_ijが固定であり、予めシミュレーション
などの他の方法で学習させた値を使うしかなく、自己学
習ができない。

【００１５】また、後者のデジタル回路によるネットワ
ーク構成の場合も、現実にはアップダウンカウンタ１
３、レートマルチプライヤ１４を用いる等、非常に複雑
で大規模な回路となってしまう。

【００１６】このように従来技術による場合、アナログ
回路方式では動作に確実性がなく、数値計算による学習
方法も計算が複雑であり、ハードウエア化に適さず、動
作が確実なデジタル方式のものは回路構成が大規模で複
雑である。

【００１７】このような欠点を解消するため、ネットワ
ーク内部の演算を動作が確実なデジタル回路構成により
行ない、かつ、ハードウエア化を容易としたシンプルな
信号処理方法ないしは装置が、特願平２−４１２４４８
号、特願平３−２９３４２号等として本出願人により提
案されている。さらには、あるニューロンと他のニュー
ロンとの間の結合に対して興奮性と抑制性との２つの結
合係数を同時に持つことにより、ニューロンの柔軟性を
高める提案もなされているが、その場合のより適切な演
算処理については言及されていない。

【００１８】

【課題を解決するための手段】請求項１記載の発明で
は、複数の入力信号に対して各々興奮性結合と抑制性結
合との２つの結合係数の組を保持するメモリと、前記入
力信号と前記各結合係数との論理積を演算する論理積演
算手段と、これらの論理積演算手段による演算結果を同
じ組同士で論理演算を行なう第１論理演算手段と、これ
らの第１論理演算手段による演算結果を興奮性結合グル
ープと抑制性結合グループとに２分して各々のグループ
で論理和を演算する論理和演算手段と、これらの論理和
演算手段の演算結果の論理演算を行ない出力信号を得る
う第２演算手段とを有する信号処理手段を設け、請求項
２記載の発明では、信号処理手段が、メモリに格納され
た各結合係数を可変させる結合係数可変手段を有するも
のとし、さらに、請求項３記載の発明では、複数の信号
処理手段を網状に接続した。

【００１９】

【作用】結合には興奮性結合と抑制性結合とがあるの
で、各入力信号毎に興奮性結合と抑制性結合との結合係
数の組を持つことにより、柔軟性を持たせるが、この
際、第１論理演算手段により各々の結合係数と入力信号
との論理積処理結果を処理して両方の結合を同時に持つ
ことのない結果となるように興奮性結合グループと抑制
性結合グループとに適正にグループ分けし、後はグルー
プ別に論理和演算及びその演算結果について所定の演算
処理を行なうことにより、論理処理のみによる簡単なデ
ジタル回路構成にして適正な出力信号が得られるものと
なる。この際、メモリに格納された各結合係数を結合係
数可変手段により可変させることにより、自己学習機能
を持たせることが可能となり、柔軟性向上及び能力の向
上を図れるものとなる。このような機能を持つ信号処理
手段を網状に接続することにより、柔軟性の高いニュー
ラルネットワークシステムを構築し得るものとなる。

【００２０】

【実施例】本発明の一実施例を図１ないし図２０に基づ
いて説明する。まず、自己学習機能を持つデジタル論理
回路を用いた神経細胞ユニット（ニューロン素子）及び
ニューラルネットワークについて説明する。

【００２１】まず、本実施例のニューロン及びニューラ
ルネットワークはデジタル構成によりハードウエア化し
たものであるが、基本的な考え方としては、神経細胞ユニットに関する入出力信号、中間信号、
結合係数、教師信号などは全て、「０」「１」の２値で
表されたパルス列で表す。ネットワーク内部での信号の量は、パルス密度で表
す（ある一定時間内の「１」の数）。神経細胞ユニット内での計算は、パルス列同士の論
理演算で表す。結合係数のパルス列はメモリ上に置く。学習は、このパルス列を書換えることで実現する。学習については、与えられた教師信号パルス列を元
に誤差を計算し、これに基づいて、結合係数パルス列を
変化させる。このとき、誤差の計算、結合係数の変化分
の計算も、全て、「０」「１」のパルス列の論理演算で
行う。ようにしたものである。

【００２２】以下、この思想について説明する。まず、
デジタル論理回路による信号処理に関し、フォワードプ
ロセスにおける信号処理を説明する。図２は１つの神経
細胞ユニット（神経細胞模倣素子）２０に相当する部分
を示し、ニューラルネットワーク全体としては例えば図
３に示すように階層型とされる。入出力は、全て、
「１」「０」に２値化され、かつ、同期化されたものが
用いられる。入力信号ｙ_iの値（強度）はパルス密度で
表現し、例えば図４に示すパルス列のようにある一定時
間内にある「１」の状態数で表す。即ち、図４の例は、
４／６を表し、同期パルス６個中に信号は「１」が４
個、「０」が２個である。このとき、「１」と「０」の
並び方は、ランダムであることが望ましい。

【００２３】一方、各神経細胞ユニット２０間の結合の
度合を示す結合係数Ｔ_ijも同様にパルス密度で表現し、
「０」と「１」とのパルス列として予めメモリ上に用意
しておく。図５の例は、「１０１０１０」＝３／６を表
す式である。この場合も、「１」と「０」の並び方はラ
ンダムであることが望ましい。

【００２４】そして、この結合係数パルス列を同期クロ
ックに応じてメモリ上より順次読出し、図２に示すよう
に各々ＡＮＤゲート２１により入力信号パルス列との論
理積をとる（ｙ_i ∩ Ｔ_ij)。これを、神経細胞ｊへの入
力とする。上例の場合で説明すると、入力信号が「１０
１１０１」として入力されたとき、これと同期してメモ
リ上よりパルス列を呼出し、順次ＡＮＤをとることによ
り、図６に示すような「１０１０００」が得られ、これ
は入力ｙ_i が結合係数Ｔ_ijにより変換されパルス密度が
２／６となることを示している。

【００２５】ＡＮＤゲート２１の出力のパルス密度は、
近似的には入力信号のパルス密度と結合係数のパルス密
度との積となり、アナログ方式の結合係数と同様の機能
を有する。これは、信号の列が長いほど、また、「１」
と「０」との並び方がランダムであるほど、数値の積に
近い機能を持つことになる。なお、入力パルス列に比べ
て結合係数のパルス列が短く、読出すべきデータがなく
なったら、再びデータの先頭に戻って読出しを繰返えせ
ばよい。

【００２６】１つの神経細胞ユニット２０は多入力であ
るので、前述した「入力信号と結合係数とのＡＮＤ」も
多数あり、次にＯＲ回路２２によりこれらの論理和をと
る。入力は同期化されているので、例えば１番目のデー
タが「１０１０００」、２番目のデータが「０１０００
０」の場合、両者のＯＲをとると、「１１１０００」と
なる。これを多入力（ｍ個）同時に計算し出力とする
と、例えば図７に示すようになる。これは、アナログ計
算における和の計算及び非線形関数（シグモイド関数）
の部分に対応している。

【００２７】パルス密度が低い場合、そのＯＲをとった
もののパルス密度は、各々のパルス密度の和に近似的に
一致する。パルス密度が高くなるにつれ、ＯＲ回路２２
の出力は段々飽和してくるので、パルス密度の和とは一
致せず、非線形性が出てくる。ＯＲの場合、パルス密度
は１よりも大きくなることがなく、かつ、０より小さく
なることもなく、さらには、単調増加関数であり、シグ
モイド関数と近似的に同等となる。

【００２８】ところで、結合には興奮性と抑制性がある
が、パルス密度では負を表現できないので、本実施例で
は、まず、各ニューロン間の結合において興奮性結合係
数と抑制性結合係数との両方を同時に持つものとする。
即ち、１つの結合に対して正の結合係数Ｔ_ij(+) と負の
結合係数Ｔ_ij(-) との組が同時に存在するものとする。
そして、入力信号と各々の結合係数Ｔ_ij(+) ，Ｔ_ij(-)
とのＡＮＤ出力結果を、その組同士で比較演算して、各
組からの出力を興奮性結合グループと抑制性結合グルー
プとに２分する。具体的には、興奮性結合側からの出力
が「１」で、抑制性結合側の出力が「０」のときには興
奮性結合グループに対する出力を「１」とし抑制性結合
グループに対する出力を「０」とする。また、逆に、興
奮性結合側からの出力が「０」で、抑制性結合側の出力
が「１」のときには興奮性結合グループに対する出力を
「０」とし抑制性結合グループに対する出力を「１」と
する。それ以外の場合には興奮性、抑制性結合の両グル
ープへの出力をともに「０」とする。即ち、仮に興奮性
結合側、抑制性結合側がともに「１」になるようなこと
があってもグループ分けに際しては相殺され、悪影響の
度合いが減少するものとなる。

【００２９】このようにグループ分けした後は、各グル
ープ内でＯＲ演算し、ＯＲ演算結果について所定の論理
演算処理を施してそのニューロンの出力信号を決定す
る。例えば、興奮性結合グループのＯＲ結果が「１」で
抑制性結合グループのＯＲ結果が「０」の場合にのみ
「１」を出力し、それ以外の場合には「０」を出力す
る。

【００３０】論理式で表現すると、次の(３)〜(５)式で
示される。

【００３１】

【数３】

【００３２】神経細胞ユニット２０のネットワークは、
バックプロパゲーションと同様な階層型（即ち、図３）
とする。そして、ネットワーク全体を同期させておけ
ば、各層とも上述した機能により計算できる。

【００３３】次に、学習（バックプロパゲーション）に
おける信号演算処理について説明する。基本的には、以
下のａ又はｂにより誤差信号を求め、次いで、ｃの方法
により結合係数の値を変化させるようにすればよい。

【００３４】まず、ａとして最終層における誤差信号に
ついて説明する。最終層で各神経細胞ユニットにおける
誤差信号を出力信号と教師信号とにより計算する。ここ
に、そのときの入力に対して望ましい出力を、教師信号
としてパルス列で与える。一般に、誤差を数値で表すと
正、負の両方をとり得るが、パルス密度ではそれを同時
に表現できないので、＋成分を表す信号と、−成分を表
す信号との２種類を用いて誤差信号を表現する。即ち、
ｊ番目の神経細胞ユニットの誤差信号は、図９のように
示される。つまり、誤差信号の＋成分は教師信号パルス
と出力パルスとの違っている部分（１，０）又は（０，
１）の内、教師信号側に存在するパルス、他方、−成分
は同様に出力側に存在するパルスである。換言すれば、
出力パルスに誤差信号＋パルスを付け加え、誤差信号−
パルスを取り除くと、教師パルスとなることになる。即
ち、これらの正負の誤差信号δ_j(+)，δ_j(-)を論理式で
表現すると、各々(６)(７)式のようになる。このような
誤差信号パルスを元に結合係数を後述するように変化さ
せることになる。

【００３５】

【数４】

【００３６】次に、ｂとして中間層における誤差信号を
求める方法を説明する。まず、上記の誤差信号を逆伝播
させ、最終層とその１つ前の層との結合係数だけでな
く、さらにその前の層の結合係数も変化する。そのた
め、中間層における各神経細胞ユニットでの誤差信号を
計算する必要がある。中間層のある神経細胞ユニットか
ら、さらに１つ先の層の各神経細胞ユニットへ信号を伝
播させたのとは、丁度逆の要領で１つ先の層の各神経細
胞ユニットにおける誤差信号を集めてきて、自己の誤差
信号とする。このことは、神経細胞ユニット内での前述
した演算式(３)〜(５)や図４〜図８に示した場合と同じ
ような要領で行うことができる。ただし、神経細胞ユニ
ット内での前述した処理と異なるのは、ｙは１つの信号
であるのに対して、δは正、負を表す信号として２つの
信号を持ち、その両方の信号を考慮する必要があること
である。従って、結合係数Ｔの正負に応じて２つの場合
に分ける必要がある。

【００３７】まず、興奮性結合の場合を説明する。この
場合、中間層のある神経細胞ユニットについて、１つ先
の層（図３における最終層）のｊ番目の神経細胞ユニッ
トでの誤差信号＋と、その神経細胞ユニットと自己（図
３における中間層のある神経細胞ユニット）との結合係
数のＡＮＤをとったもの（δ_j(+) ∩ Ｔ_ij）を各神経細
胞ユニットについて求め、さらに、これら同士のＯＲを
とる｛∪（δ_j(+) ∩Ｔ_ij）｝。これを自己の神経細胞
ユニットの誤差信号＋とする。即ち、図１０に示すよう
になる。

【００３８】同様に、１つ先の層の神経細胞ユニットで
の誤差信号−と結合係数とのＡＮＤをとり、さらにこれ
ら同士のＯＲをとることにより、自己の神経細胞ユニッ
トの誤差信号−とする。即ち、図１１に示すようにな
る。

【００３９】次に、抑制性結合の場合を説明する。この
場合、１つ先の層の神経細胞ユニットでの誤差信号−と
その神経細胞ユニットと自己との結合係数のＡＮＤをと
り、さらにこれら同士のＯＲをとる。これを、自己の神
経細胞ユニットの誤差信号＋とする。即ち、図１２に示
すようになる。

【００４０】また、１つ先の誤差信号＋と結合係数との
ＡＮＤをとり、さらにこれら同士のＯＲをとることによ
り、同様に、自己の神経細胞ユニットの誤差信号−とす
る。即ち、図１３に示すようになる。

【００４１】さらに、この神経細胞ユニットの、興奮性
結合の誤差信号＋と抑制性結合の誤差信号＋とのＯＲを
とり、これをこのユニットの誤差信号δ_i(+)とする。同
様に、興奮性結合の誤差信号−と抑制性結合の誤差信号
−とのＯＲをとり、これをこのユニットの誤差信号δ
_i(-)とする。

【００４２】以上をまとめると、(８)式に示すようにな
る。

【００４３】

【数５】

【００４４】さらに、学習のレート（学習定数）に相当
する機能を設けてもよい。数値計算でレートが１以下の
とき、さらに学習能力が高まる。これはパルス列の演算
ではパルス列を間引くことによって実現できる。本実施
例では、カウンタ的な考え方をし、図１４、図１５に示
すようなものとした。例えば、学習レートη＝０．５で
は元の信号のパルス列を１つ置きに間引くが、元の信号
のパルスが等間隔でなくても、元のパルス列に対して間
引くことができる。図１４，図１５中、η＝０．５の場
合はパルスを１つ置きに間引き、η＝０．３３の場合は
パルスを２つ置きに残し、η＝０．６７の場合はパルス
を２つ置きに１回間引くことを示す。

【００４５】このようにして、誤差信号を間引くことに
より学習レートの機能を持たせる。このような誤差信号
の間引きは、通常市販されているカウンタの出力を論理
演算することやフリップフロップを用いることにより容
易に実現できる。特に、カウンタを用いた場合、学習定
数ηの値を任意、かつ、容易に設定できるので、ネット
ワークの特性を制御することも可能となる。

【００４６】さらに、ｃとして、このような誤差信号に
より各結合係数を変化させる方法について説明する。変
化させたい結合係数が属しているライン（図３参照）に
対応する、１つ前の神経細胞ユニットからの出力ｙ_iと
自己の神経細胞ユニットの誤差信号δ_j(+)又はδ_j(-)と
のＡＮＤをとる（δ_j∩ｙ_i）（図１６，図１７参照）。
このようにして得られた２つの信号を各々ΔＴ_ij(+)，
ΔＴ_ij(-)とする。

【００４７】そして、今度はこのΔＴ_ijを元に新しいＴ
_ijを求めるが、このＴ_ijは絶対値成分であるので、元の
Ｔ_ijが興奮性か抑制性かで場合分けする。興奮性の場
合、元のＴ_ijに対してΔＴ_ij(+)の成分を増やし、ΔＴ
_ij(-)の成分を減らす。即ち、図１８に示すようにな
る。逆に、抑制性の場合は元のＴ_ijに対しΔＴ_ij(+) の
成分を減らし、ΔＴ_ij(-)の成分を増やす。即ち、図１
９に示すようになる。

【００４８】以上をまとめると、(９)式のようになる。

【００４９】

【数６】

【００５０】以上の学習則に基づいてネットワークの計
算をする。

【００５１】次に、以上のアルゴリズムに基づく実際の
回路構成を説明する。図１及び図２０にその回路構成例
を示すが、ネットワーク全体の構成は図３と同様であ
る。図１は図３中のライン（結線）に相当する部分の回
路を示し、図２０は図３中の丸（各神経細胞ユニット２
０）に相当する部分の回路を示す。これらの図１及び図
２０構成の回路を図３のようにネットワークにすること
により、自己学習可能なデジタル式のニューラルネット
ワークが実現できる。

【００５２】まず、図１から説明する。図中、２５は神
経細胞ユニットへの入力信号であり、図４に相当する。
図５に示したような結合係数の値は個別に１組ずつのメ
モリ、具体的にはシストレジスタ２６ａ，２６ｂに格納
しておく。これらのシフトレジスタ２６ａ，２６ｂは、
通常のシフトレジスタと同様の機能を持つものであれば
よく、例えば、ＲＡＭとアドレスコントローラとの組合
せによるもの等であってもよい。ここに、一方のシフト
レジスタ２６ａは興奮性結合係数を記憶し、他方のシフ
トレジスタ２６ｂは抑制性結合係数を記憶したものであ
る。これらのシフトレジスタ２６ａ，２６ｂから順次読
出された内容は入力信号２５とともに各々論理積演算手
段となるＡＮＤゲート２７ａ，２７ｂに入力されて論理
積がとられる。このような論理積結果は、結合が興奮性
のものと抑制性のものとがあるが、各々第１論理演算手
段となる片側インバータ付きのＡＮＤゲート２８ａ，２
８ｂにより演算処理され、興奮性結合グループへの出力
２９と抑制性結合グループへの出力３０とにグループ分
けされる。即ち、ＡＮＤゲート２８ａにおいては興奮性
側のＡＮＤゲート２７ａ出力から抑制性側のＡＮＤゲー
ト２７ｂ出力の影響を取り除く処理をして興奮性結合グ
ループに対する出力２９を得るものであり、同様に、Ａ
ＮＤゲート２８ｂにおいては抑制性側のＡＮＤゲート２
７ｂ出力から興奮性側のＡＮＤゲート２７ａ出力の影響
を取り除く処理をして抑制性結合グループに対する出力
３０を得るものである。

【００５３】また、図２０に示すように各入力処理（図
７に相当）をする複数のＯＲゲート構成で論理和演算手
段となるゲート回路３３ａ，３３ｂが設けられている。
さらに、同図に示すように図８に示した興奮性結合グル
ープが「１」で、抑制性結合グループが「０」のときに
のみ出力「１」を出し、それ以外の場合には出力「０」
を出すＡＮＤゲート３４ａとインバータ３４ｂとによる
第２論理演算手段としてのゲート回路３４が設けられて
いる。

【００５４】次に、誤差信号について説明する。図２０
に示す回路には誤差信号３５，３６が入力される。これ
らの誤差信号３５，３６は複数のＯＲゲート構成のゲー
ト回路３７で各々集められた後（(８)式の処理）、学習
レートに相当する処理（図１４及び図１５の処理）を分
周回路３８で受けて、１つ前の層に対する誤差信号３
９，４０として出力される。ここに、中間層における誤
差信号を計算するため図１０〜図１３に示したような処
理は、図１中に示すＡＮＤゲート、ＯＲゲート構成のゲ
ート回路４１により行われ、＋，−に応じて、１つ前の
層の神経細胞ユニットへ出力するための誤差信号４２，
４３が得られる。

【００５５】さらに、本実施例では、各入力２５毎に１
組のシフトレジスタ２６ａ，２６ｂを持つため、自己学
習機能による結合係数の書換えも各々のシフトレジスタ
２６ａ，２６ｂについて行われる。このため、図１中に
示すように＋，−の誤差信号３９，４０を用いて、新た
な結合係数を計算するための図１０〜図１３及び(８)式
の処理を行うＡＮＤゲート、インバータ、ＯＲゲート構
成の結合係数可変回路４５が設けられ、各シフトレジス
タ２６ａ，２６ｂのデータ入口側に接続されている。こ
の方式によれば、神経細胞ユニットの結合が、興奮性か
抑制性かに限定されないため、ネットワークが柔軟性を
持ち、実際の応用において汎用性を持つことになる。

【００５６】なお、本発明を構成する上では、上記の構
成例に限らず、同等の機能を有するものであればよく、
さらには、全てをハードウエア構成することなく、その
一部又は全部をソフトウエアで実現するようにしてもよ
い。

【００５７】

【発明の効果】本発明は、上述したように構成したの
で、請求項１記載の発明によれば、結合には興奮性結合
と抑制性結合とがあるので、各入力信号毎に興奮性結合
と抑制性結合との結合係数の組を持つことにより、各ニ
ューロン間の結合が、興奮性か抑制性かに限定されない
ため、ネットワークが柔軟性を持ち、実際の応用におい
て汎用性を持たせることができ、この際、第１論理演算
手段により各々の結合係数と入力信号との論理積処理結
果を処理して両方の結合を同時に持つことのない結果と
なるように興奮性結合グループと抑制性結合グループと
に適正にグループ分けし、後はグループ別に論理和演算
及びその演算結果について所定の演算処理を行なうの
で、論理処理のみによる簡単なデジタル回路構成にして
適正な出力信号を得ることができ、また、請求項２記載
の発明によれば、メモリに格納された各結合係数を結合
係数可変手段により可変させ得るようにしたので、自己
学習機能を持たせることが可能となり、より一層の柔軟
性向上及び能力の向上を図れるものとなり、請求項３記
載の発明によれば、このような機能を持つ信号処理手段
を網状に接続することにより、柔軟性の高いニューラル
ネットワークシステムを構築できるものとなる。

【図面の簡単な説明】

【図１】本発明の一実施例の要部を示すロジック回路図
である。

【図２】基本的な信号処理を行なうための論理回路図で
ある。

【図３】ネットワーク構成例を示す模式図である。

【図４】論理演算例を示すタイミングチャートである。

【図５】論理演算例を示すタイミングチャートである。

【図６】論理演算例を示すタイミングチャートである。

【図７】論理演算例を示すタイミングチャートである。

【図８】論理演算例を示すタイミングチャートである。

【図９】論理演算例を示すタイミングチャートである。

【図１０】論理演算例を示すタイミングチャートであ
る。

【図１１】論理演算例を示すタイミングチャートであ
る。

【図１２】論理演算例を示すタイミングチャートであ
る。

【図１３】論理演算例を示すタイミングチャートであ
る。

【図１４】論理演算例を示すタイミングチャートであ
る。

【図１５】論理演算例を示すタイミングチャートであ
る。

【図１６】論理演算例を示すタイミングチャートであ
る。

【図１７】論理演算例を示すタイミングチャートであ
る。

【図１８】論理演算例を示すタイミングチャートであ
る。

【図１９】論理演算例を示すタイミングチャートであ
る。

【図２０】各部の構成例を示す論理回路図である。

【図２１】従来例を示す１つのユニット構成を示す概念
図である。

【図２２】そのニューラルネットワーク構成の概念図で
ある。

【図２３】シグモイド関数を示すグラフである。

【図２４】１つのユニットの具体的構成を示す回路図で
ある。

【図２５】デジタル構成例を示すブロック図である。

【図２６】その一部の回路図である。

【図２７】異なる一部の回路図である。

【符号の説明】

２０信号処理手段２６ａ，２６ｂメモリ２７ａ，２７ｂ論理積演算手段２８ａ，２８ｂ第１論理演算手段３３ａ，３３ｂ論理和演算手段３４第２論理演算手段４５結合係数可変手段

───────────────────────────────────────────────────── フロントページの続き (72)発明者本村修二東京都大田区中馬込１丁目３番６号株式会社リコー内

Claims

【特許請求の範囲】

【請求項１】複数の入力信号に対して各々興奮性結合
と抑制性結合との２つの結合係数の組を保持するメモリ
と、前記入力信号と前記各結合係数との論理積を演算す
る論理積演算手段と、これらの論理積演算手段による演
算結果を同じ組同士で論理演算を行なう第１論理演算手
段と、これらの第１論理演算手段による演算結果を興奮
性結合グループと抑制性結合グループとに２分して各々
のグループで論理和を演算する論理和演算手段と、これ
らの論理和演算手段の演算結果の論理演算を行ない出力
信号を得る第２演算手段とを有する信号処理手段を設け
たことを特徴とする信号処理装置。
【請求項２】信号処理手段が、メモリに格納された各
結合係数を可変させる結合係数可変手段を有することを
特徴とする請求項１記載の信号処理装置。
【請求項３】複数の信号処理手段を網状に接続したこ
とを特徴とする請求項１又は２記載の信号処理装置。