JPH03260759A - 信号処理方法及び装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 妓１じＬ訪 本発明は、信号処理方法及びその装置、より詳細には、
神経回路網を模倣したニューラルコンピュータに関し、
例えば、文字や図形認識、ロボットなどの運動制御、連
想記憶等に応用して好適なものである。

災米長生 生体の情報処理の基本的な単位である神経細胞にューロ
ン）の機能を模倣し、さらに、このｒ神経細胞模倣素子
」　（神経細胞ユニット）をネットワークに構成するこ
とで情報の並列処理をめざしたものが、いわゆるニュー
ラルネットワークである。文字認識や、連想記憶、運動
制御等、生体ではいとも簡単に行われていても、従来の
ノイマン型コンピュータではなかなか達成できないもの
が多い。生体の神経系、特に生体特有の機能、すなわち
並列処理、自己学習等を模倣して、これらの問題を解決
しようとする試みが、計算機シミュレーションを中心と
して、盛んに行われている。

第５図は、従来のニューラルネットワークのモデルにつ
いて説明するための図で、図中、Ａは、１つの神経細胞
ユニットを表し、第６図は、それをネットワークに構成
したもので、Ａ　１　ＨＡ　２１Ａ、は、それぞれ神経
細胞ユニットを表わす。１つの神経細胞ユニットは、多
数の他の神経細胞ユニットと結合しており、それらから
受けた信号を処理して出力する。第６図の場合、ネット
ワークは階層型であり、神経細胞ユニットＡ２は、１つ
前の層の神経細胞ユニットＡ工より信号を受け、１つ先
の層（図中右側）の神経細胞ユニットＡ。

へ出力する。

最初に、第５図に示した神経細胞ユニットＡについて説
明すると、１つの神経細胞ユニットと他の神経細胞ユニ
ットとの結合の度合を表すのが、結合係数（Ｔ）と呼ば
れているものであり、ｉ番目の神経細胞ユニットとｊ番
目の神経細胞ユニットの結合係数を、一般に、Ｔ、Ｊで
表す。結合には、相手のニューロンからの信号が大きい
ほど自分の出力が大きくなる興奮性結合と、相手の信号
が大きいほど自分の出力が小さくなる抑制性結合があり
、ＴｔＪ＞Ｏが興奮性結合、Ｔ　１ａ　＜　Ｏが抑制性
結合である。ｊ番目の神経細胞ユニットへの入力は、ｉ
番目の神経細胞ユニットの出力をｙｌとすると、これに
ＴＩＪをかけたＴ１４ｙｔとして求められる。

前述のように、１つの神経細胞ユニットは多数の神経細
胞ユニットと結合しているので、それらのユニットに対
するＴＬｊｙＩを足し合わせたもの、すなわち、ΣＴＬ
ＪｙＩが、ネットワーク内における１つの神経細胞ユニ
ットへの入力となる。これを内部電位と言い、ｕＪで表
す。

ｕ、１＝ΣＴＩＪｙ１　　　　　　　　　　　　（１）
次に、この入力を非線形処理することで、その神経細胞
ユニットの出力とする。ここで用いる非線形関数を神経
細胞応答関数と呼び、次に示すような、シグモイド関数
ｆ（ｘ）を用いる。

ｆ　　（ｘ）＝１／　（１＋ｅ−”）　　　　　　　　
（２）第７図は、このシグモイド関数を示す図である。

上記神経細胞ユニットを、第６図に示すような、ネット
ワークに構成し、各結合係数を与え、式（１）、（２）
を次々と計算することにより、情報の並列処理が可能と
なり最終的な出力が得られる。

第８図は、上記ネットワークを電気回路で実現したもの
の一例を示す図で（特開昭６２−２９５１８８号公報）
これは、ネットワークへの入力や出力の信号強度を電圧
で表し、上記神経細胞ユニット間の結合係数Ｔｔｊの値
を抵抗値で実現したものである。すなわち、第８図にお
いて、複数の増幅器２３は、反転出力２３ａ及び非反転
出力２３ｂとを有し、かつ、各増幅器２３の入力には入
力電流を供給する手段２２を有しており、予め選ばれた
第１の値又は予め選ばれた第２の値であるコンダクタン
ス（ＴｔＪ）で前記増幅器の各々の出力を前記入力に接
続する相互接続マトリックス２１を有している。前記の
ＴｔＪはｉ番目の増幅器の出力とｊ番目の増幅器との入
力との間の相互コンダクタンスを表わし、前記ＴｌＪコ
ンダクタンスは、回路網が平衡する複数の極小値を作る
ように選ばれ、複数の極小値を持ったエネルギー関数を
最小にするようにしている。結合係数ＴｔＪ場合、負の
抵抗値は実現できないので、増幅器２３を用いて出力を
反転させることでこれを実現している。

また、第７図で示したシグモイド関数に相当するものと
して、増幅器２３を用いている。

次に、ネットワークの学習機能について説明する。数値
計算で用いられている学習法則としては、パックプロパ
ゲーションと呼ばれる次のようなものがある。

まず、各神経細胞ユニット間の結合係数をランダムな値
に設定しておく。この状態でネットワークに入力を与え
ると、その出力結果は必ずしも望ましいものではない。

そこで、このネットワークに正解（教師信号）を与えて
、再び同じ入力があったとき出力結果が正解となるよう
に、各結合係数を変化させる。例えば、第６図に示した
ような階層型のネットワークにおいて、最終層（図の右
の層Ａ３）のｊ番目の神経細胞ユニットの出力をｙ」と
し、その神経細胞ユニットに対する教師信号をｄＪとす
ると、 Ｅ＝Σ（ｄｊ　　ｙａ）２　　　　　　　　　　　（３
）で表されるＥが最小となるように、 △ＴＩＪ＝　ａ　Ｅ　／　ａ　ＴｔＪ（４）髪用いてＴ
４．を変化させる。具体的には、まず、次のように誤差
信号δを求める。

δｂ＝　（ｄＪ　　Ｙ、＋）Ｘｆ’（＋、ｚ）　　　　
　　　（５）（出力層Ａ３） δ、＝Σδ１ＴｔｊＸ　ｆ　’（ｕｔ）（Ａ３より前の
層の中間ＭＡ２）　　　　（６）ただし、ｆ′はｆの一
階微分である。これを用いて、　ΔＴｔＪ＝η（δ、ｙ
□）＋αΔＴ。

Ｔｌｊ＝Ｔｌｊ′十Ｔ□、　　　　　　　（７）とする
ことで、ＴｌＪを変化させる。ただし、ΔＴＬＪ″、Ｔ
ｌ’はそれぞれ前回の学習時の値である。また、ηは学
習定数、αは安定化定数と呼ばれているものであり、各
々、理論的には求められないので経験的に求める。この
ような方法で結合係数を変化させる量を求めるアルゴリ
ズムを、パックプロパゲーションと呼んでいる。

このような学習を繰り返すことで、やがて、与えられた
入力に対して望ましい結果が得られるようなＴｔ、が決
定される。

第９図〜第１１図は、このようなニューラルネットワー
クをデジタル回路で実現した例を示す図で、第９図は、
単一神経細胞の回路構成例を示す図で、４０はシナプス
回路、４１は樹状突起回路、４２は細胞体回路を示す、
第１０図は、第９図に示したシナプス回路４０の構成例
、第１１図は、第９図に示した細胞体回路４２の構成例
を示す図で、第１０図中のｆは入力信号、Ｗは重み付け
の値、ａはフィードバック信号に掛ける倍率（１または
２）である。これは、神経細胞ユニットの入出力をパル
ス列で表現し、そのパルス密度で信号の値を表している
。結合係数は２進数で取扱い、メモリ上に保存している
。入力信号をレートマルチプライヤ−のクロックへ入力
し、結合係数をレート値へ入力することによって、入力
信号のパルス密度をレート値に応じて減らしている。こ
れは。

パックプロパゲーションモデルの式の’ｒ１ＪｙＬの部
分に相当する・ 次にΣＴ□、＋ｙｉのΣの部分は、樹状突起回路４１に
よって示されるＯＲ回路で実現している。

結合には興奮性、抑制性があるので、あらかじめグルー
プ分けしておき、それぞれのグループ別にＯＲをとる。

第９図において、Ｆｌは興奮性、Ｆ２は抑制性出力を示
す。この２つの出力を、第１１図に示したカウンター４
２のアップ側、ダウン側にそれぞれ入力してカウントす
ることで、出力が得られる。この出力は２進数であるの
でレートマルチプライヤ−を用いて、パルス密度に変換
する。

この神経細胞ユニットをネットワークにすることによっ
て、ニューラルネットワークが実現できる。

学習機能は、ネットワークの最終出力を外部のコンピュ
ータに入力して、コンピュータ内部で数値計算を行い、
その結果を結合係数のメモリに書き込むことによって実
現している。

しかしながら、ニューラルネトワークの試みは、計算機
シミュレーションで行われているものが多く、本来の機
能を発揮するには、並列処理が必要であり、ネットワー
クのハードウェア化が必要である。

ハードウェア化の試みは、はとんどの場合アナログ回路
で行われており、これらの回路には以下ような問題点が
ある。

■信号の強度を電圧や電流などのアナログ値で表し、内
部の演算もアナログ的に行うため、温度特性や、電源投
入直後のドリフト等により、その値が変化する。

■ネットワークを構成するために多くの素子を必要とす
るが、それぞれの特性を揃えることは困難である。

■１つの素子の精度や安定性が問題になると、それをネ
ットワークにした場合に新たな問題が起きる可能性があ
り、ネットワーク全体における動きが予想できない。

■結合係数の値が固定であり、あらかしめシミュレーシ
ョンなど他の方法で学習させた値を使わざるを得す、自
己学習ができない。

一方、パックプロパゲーションを用いた学習方法を何ら
かの手段でハードウェア化しようとした場合、学習は多
産の四則演算が必要であり、実現が困難である。また、
学習方法そのものもハードウェア化に対しては不向きで
ある。

従来のデジタル回路によるネットワークも、学習は外部
のコンピュータで行っており、従って、自己学習機能は
全くない。そのうえ、パルス密度の信号をカウンターを
用いて一旦数値に変換し、その後再びパルス密度に変換
するため、回路の構成が複雑なものになっている。

以上をまとめると、従来技術では次の欠点を有する。

■アナログ回路は動作に確実性がない。

■数値計算による学習方法も計算が複雑であり、ハード
ウェア化に適さない。

■デジタル方式の回路では、回路構成が複雑である。

■ハードウェア上で自己学習ができない。

■−−枚 上述のごとき実情に鑑みて、本出願人は、先に動作が確
実なデジタル回路を採用し、かつ、ハードウェア化が容
易でシンプルな信号処理、学習方法を提供し、かつ、実
際にハードウェア上で自己学習を実現することが可能な
信号処理回路を提案した。本発明は、その信号処理回路
において、結合係数のデータ長（パルス列長）を可変と
することで、ネットワークの演算精度をより向上させる
ことを目的としてなされたものである。

肌−一裟 本発明は、上記目的を達成するために、（１）結合係数
可変手段と、この結合係数可変手段の可変結合係数値を
教師信号に対する誤差信号に基づいて生成する結合係数
生成手段とにより自己学習手段を形成し、該自己学習手
段をデジタル論理を用いて神経細胞模倣ユニットに結合
した信号処理方法において、前記結合係数値のデータ長
を可変にしたこと、或いは、上記信号処理方法をハード
ウェア化した信号処理装置、すなわち、（２）結合係数
可変手段と、この結合係数可変手段の可変結合係数値を
教師信号に対する誤差信号に基づいて生成する結合係数
生成手段とにより自己学習手段を構成し、該自己学習手
段をデジタル論理回路を用いて神経細胞模倣ユニットに
結合して信号処理回路網を構成した信号処理装置におい
て、前記結合係数値のデータ長を可変にする手段を有す
ることを特徴としたものである。以下、本発明の実施例
に基いて説明する。

最初に、本発明の基本的な考え方について説明すると、
本発明の基本的な考え方は、 ■入出力、中間信号、結合係数、教師信号などはすべて
、Ｏｌｌの２値で表されたパルス列で表す。

■信号の量は、パルス密度で表す（ある一定時間内の「
１」の数）。

■神経細胞ユニット内での計算はパルス列同士の論理演
算で表す。

■結合係数のパルス列はメモリ上に置く。

■学習は、このパルス列を書き換えることで実現する。

■与えられた教師信号パルス列に基いて誤差を計算し、
これに基づいて、結合係数パルス列を変化させる。この
とき、誤差の計算、結合係数の変化分の計算もすべて、
Ｏｌｌのパルス列の論理、演算で行う。

■結合係数を表すデータ長（パルス列長）を可変とする
ことで、ネットワークの演算精度を向上させる。

というものであり、以下実施例に基づき詳細に説明する
。

［フォーワードプロセスにおける信号演算］第１図は、
１つの神経細胞ユニットに相当する部分を示す図で、ネ
ットワークの構成は、第６図に示したような従来と同じ
階層型を用いる。入出力はすべて０．１に２値化され、
さらに同期化されたものを用いる。入力信号ｊの強度は
、パルス密度で表現し、例えば次に示すパルス列のよう
に、ある一定時間内にある、１の状態の数で表す。

同期信号　　」」」」−ＬＬ これは４／６を表す信号を示しており、同期パルス６個
中に入力信号は１が４個、０が２個であることを表わし
ている。このとき、１と０の並び方は後述するようにラ
ンダムであることが望ましい。

一方、結合係数Ｔ１．も同様にパルス密度で表現し、Ｏ
と１のパルス列としてあらしめメモリ上に用意しておく
。

結合係数　　−＝３７６　　（９） 同期信号　　−ＬＬＬＩ−上」− これは３／６を表し、このときもＯと１の並び方はラン
ダムである方が望ましい。具体的な決め方は後述する。

そして、このパルス列を同期クロックに応じてメモリ上
より順次読みだし、第１図のＡＮＤ回路により入力パル
ス列とのＡＮＤをとる（ｙｔｎＴｔｊ）。これを神経細
胞ユニットｊへの入力とする。上記の例を用いて説明す
ると、信号ｒｌｏ１１０１Ｊが入力された場合、これと
同期してメモリ上より結合係数パルス列を呼び出し、順
次ＡＮＤをとることによって、 入力信号　−ニーｍ　　＝４７６ 結合係数　−＝３／６ （１０） に示すようなパルス列（ビット列）ｒｌｏｌｏｏｏＪが
得られ、これは入力’／ｌがＴＬＪにより変換され、パ
ルス密度が２／６となることを示している。

ＡＮＤ回路の出力のパルス密度は、近似的には入力信号
のパルス密度と結合係数のパルス密度の積となり、アナ
ログ方式における場合の信号の積と同様の機能を有する
。これは、信号の列（パルス列）が長いほど、また、１
とＯの並び方がランダムであるほど、数値の積に近い機
能になる。ランダムでないとは、１（またはＯ）が密集
（密接）していることを表す。従って、結合係数のデー
タ長（パルス列置）を可変にしておき、実施する状態に
応じて設定しておくことで、１（またはＯ）の並びのラ
ンダム性を増大させることができる。

特に、入力パルス列と比較して、結合係数のパルス列が
短く、読み出すべきデータがなくなってしまった場合に
は、再び結合係数のパルス列の先頭に戻って、読み出し
を繰り返す。この場合の例を次に示す。

入力信号のパルス列置＝１２ 結合係数のパルス列置＝６８９０１．。

結合係数のパルス列置＝８．．．．．．．。

結合係数のパルス列置＝１２ 上記の例では、１２のパルス列置を持つ入力信号を演算
するために、パルス列置が６の結合係数は１回、パルス
列置が８の結合係数は０．５回多く全体をシフトしてい
る。この結果、同じ６／１２の結合係数でも、パルス列
置が１２のものよりもランダム性が増しており、従って
、ネットワーク全体の演算精度を向上することができる
。

１つの神経細胞ユニットは多入力であるので。

先に説明した「入力信号と結合係数とのＡＮＤＪも多数
あり、次に、これらのＯＲをとる。入力は同期化されて
いるので、１番目のデータが「１０１０００Ｊ、２番目
ノデータがｒｏｌｏｏｏｏＪの場合、両者のＯＲはｒｌ
ｌｌｏｏＯＪとなる。

これを多入力同時に計算し出力とすると１次のようにな
る。

ァ、　ｎ　Ｔｏ、　　ユーユーーー− ｙ、ｎＴ、、　　−ユー−−ｍ− Ｕ　（ｙ＋　ｎ　Ｔ　＋ｊ）止上りｍ−−（１１）この
部分はアナログ方式における場合の信号の和の計算及び
非線形関数（シグモイド関数）の部分に対応している。

パルス密度の和が低い場合、そのＯＲをとったもののパ
ルス密度は、それぞれのパルス密度の和に近似的に一致
する。パルス密度が高くなるにつれて、ＯＲの出方は徐
々に飽和してくるので、パルス密度の和とは結果が一致
せず、非線形性がでてくる。ＯＲの場合、パルス密度は
１より大きくなることがなく、０より小さくなることも
なく、また単調増加関数であるので、シグモイド関数と
近似的に同等となる。

さて、結合には興奮性と抑制性があり、数値計算の場合
には、結合係数の符号で表し、アナログ回路の場合、前
述したように、ＴｉＪが負となる場合（抑制性結合）に
は増幅器を用いて出方を反転させ、ＴＩＪに相当する抵
抗値で他の神経細胞ユ二ットヘ結合させている。一方、
本発明では各結合を、ＴｉＪの正負により興奮性結合と
抑制性結合の２つのグループに分け、ついで、［入力信
号と結合係数のパルス列のＡＮＤＪ同士のＯＲをこのグ
ループ別に演算し、［興奮性グループの出力」が１で「
抑制性グループの出力」がＯのときのみ１を出力する。

この機能を実現するためには、「抑制性グループの出力
のＮ０ＴＪと「興奮性グループの出力」とのＡＮＤをと
ればよい。すなわち、興奮性グループの出力 抑制性グループの出力　−」−［−ニー神経細胞ユニッ
トの出力　　　　　　　（□２）となり、論理式で表現
すると、 ａ＝Ｕ（ｙｔｎＴｔｊ）　　（Ｔ＝興奮性）　　　（１
３）ｂ＝Ｕ（ｙｔｎＴｔｊ）　　（Ｔ＝抑制性）　　　
（１４）ｙｔ＝ａｎ丁　　　　　　　　　　　　　（１
５）と表される。

神経細胞ユニットのネットワークは、パックプロパゲー
ションと同様な階層型（第６図）とする。

ネットワーク全体を同期させておけば、各層とも上述の
通りの機能で並列的に演算することが可能である。

［学習（パックプロパゲーション）における信号演算】 以下の■または■により誤差信号を求め、ついで■で述
べる方法により結合係数の値を変化させる。

■最終層における誤差信号 最終層の各神経細胞ユニットにおける誤差信号を求める
方法について説明する。本発明では誤差信号を以下のよ
うに定義する。すなわち、誤差を数値で表すと、一般に
は正負両方の値を取りうるが、パルス密度ではそのよう
な表現はできないので、十戒分を表す信号と、−成分を
表す信号の２つを使って誤差信号を表現する。

つまり教師信号パルスと出力信号パルスの違っている部
分のうち、誤差信号１パルスは、教師信号側に存在する
パルスであり、誤差信号−パルスは、逆に出力信号側に
存在するパルスである。換言すれば、出力信号パルスに
誤差信号１パルスを付は加え、誤差信号−パルスを取り
除くと、教師信号パルスになる。

■中間層における誤差信号 中間層の各神経細胞ユニットにおける誤差信号は次のよ
うに求める。すなわち、１つ先の層（第６図における最
終層Ａ３）の各神経細胞ユニットにおける誤差信号を集
め、それを誤差信号とする。このことは、神経細胞ユニ
ット内での演算式（８）〜（１５）と同様な要領で行う
ことができる。ただし１式（８）〜（］５）と異なり、
ｙは１つの信号であるのに対して、δは正、負を表すた
めに２つの信号を持ち、その両方の信号を考慮しなけれ
ばならない。従って、Ｔ（結合係数）の正負、δの正負
の４つの場合に分ける必要がある。

まず、興奮性結合の場合を説明する。中間層のある神経
細胞ユニットについて、１つ先のＪＰＪ（第６図におけ
る最終層）の神経細胞ユニットでの誤差信号“と、その
神経細胞ユニットと自分（第６図における中間層のある
神経細胞ユニット）との結合係数のＡＮＤをとったもの
（δ＋＋ｎＴ＋、＋）を１つ先の層の各神経細胞ユニッ
トについて求め、さらにこれら同士のＯＲをとる（ＬＪ
（δ’　ｒ　１１　Ｔ　ＩＪ））。

その結果を、この層の誤差信号“とする。すなわち次の
ように表される。

δ“、ｎＴ、、　　　　　　　。

δ＋ｊｎ　Ｔ　ｔ　Ｊ δ・　　　　　　　　　　　　　　　　　　　　（２ｏ
）同様に、１つ先の層の神経細胞ユニットでの誤差信号
−を用いることで、この層の誤差信号−を求めることが
できる。

δ−，ｎ’ｒ、、 δ−ｒ　ｎ　Ｔ　ｔ　ｊ ５−　　　　　　　　　　　　　　　　（２１）次に、
抑制性結合の場合を説明する。１つ先の層の神経細胞ユ
ニットでの誤差信号−と、その神経細胞ユニットと自分
との結合係数のＡＮＤをとり、さらにこれら同士のＯＲ
をとった結果を、この層の誤差信号“とする。すなわち
、 δ−□ｎ　Ｔ　ｔ　− δ−Ｊ　ｎ　Ｔ　ｔ　Ｊ δ＋　　　　　　　　　　　　　　　　　　　　（２２
）同様に、１つ先の層の神経細胞ユニットでの誤差信号
“を用いることで、この層の誤差信号−を求めることが
できる。

δ“、ＩＩＴ、１ δへｎＴ、ｊ δ−（２３） １つの神経細胞ユニットから別の神経細胞二ニットへの
結合は、興奮性の場合と抑制性の場合をとりうるので、
式（２０）で求めたδ１と式（２２）で求めたδ１のＯ
Ｒをとり、この神経細胞ユニットのδ１とする。同様に
、式（２１）で求めたδ−と式（２３）で求めたδ−の
ＯＲをとり、この神経細胞ユニットのδ−とする。

以上をまとめると、 ８”＝ＣＵＣδ”　ａｎ’ｒ、））Ｕ（Ｕ（δ−ｊｎ’
ｒ、＋））ｉＥ興奮性　　　　ＩＣ抑制性 δ−＝（Ｕ（δ−、ｎ’１Ｊ））Ｕ（Ｕ（δ”　、ｎＴ
ＩＪ））ｉＥ興奮性　　　　ｉＥ抑制性 （２４） となる。

さらに、学習のレートに相当する機能を設けてもよく、
学習レートが１以下のとき、さらに学習能力が高まる。

これは、パルス列の演算では、パルス列を間引くことで
実現できる。本実施例では、カウンター的な考え方をと
り、次のようなものにした。例えば、学習レート（η）
＝　（０，５）では、元の信号のパルス列を１つおきに
間引くものであるが、元の信号のパルスが等間隔でなく
ても、元のパルス列に対して、間引くことができる。以
下の（例１）及び（例２）は、間引きの例を示す図で、
共に、η＝０．５の場合は、パルスを１つおきに間引く
もの、η＝０．３３の場合は、パルスを２つおきに残す
もの、η＝０．６７の場合は、パルスを２つおきに１回
引くものである。

（例１） 元の信号 −η＝０．５の場合 η＝０．３３の場合 η＝０．６７の場合 （例２） 元の信号 η＝０．５の場合 η＝０．３３の場合 η＝０．６７の場合 （２５） このようにして、誤差信号を間引くことによって、学習
レートの機能を実現する。

■誤差信号より各結合係数を変化 次に、上記■または■により求めた誤差信号を用いて、
各結合係数を変化させる方法を説明する。

変化させたい結合係数が属している線（第６図参照）を
流れる信号と誤差信号のＡＮＤをとる（δｓ　ｎ　ｙ　
Ｌ）。ただし、本実施例では誤差信号は十と−の２つの
信号があるので、それぞれを演算して求める。

δ＋Ｊ　ｎ　ｙｔ　　　　　　　　　　　　　　→ΔＴ
＋、。

（２６） δ−ｊｎｙ＋　　　　　　　　　　　　　　　ΔＴ−Ｌ
ｊ（２７） このようにして得られた２つの信号をそれぞれΔＴ＋１
４、ΔＴ−、Ｊとする。

これらを元にして新しい結合係数ＴＬＪを求めるのであ
るが、本実施例におけるＴＬ、の値は絶対値なので、元
のＴｉＪが興奮性か、抑制性かで場合分けをする。

寒蟇作例豐金 元のＴｌＪに対して、ΔＴ＋Ｌｊの成分を増やし、ΔＴ
−１，の成分を減らす。

元のＴＬＪ ΔＴ 元のＴｌｊに対して、ΔＴ＋□、の成分を減らし、ΔＴ
−ｒｓの成分を増やす。

ΔＴ−１ 以上の学習側に基づいて、ネットワーク全体の計算を行
う。

（回路例１ 第２図〜第４図に、以上のアルゴリズムを基に、これを
構成した回路を示すが、ネットワーク全体の構成は第６
図と同様である。第６図の線に相当する部分の回路を第
２図に示し、第６図の丸（神経細胞ユニットＡ）に相当
する部分の回路を第３図に示す。また、最終層の出力と
教師信号から最終層における誤差信号を求める部分の回
路を第４図に示す。これらの３つの図を第６図のように
ネットワークにすることによって、自己学習が可能なデ
ジタル方式のニューラルネットワークが実現できる。

まず、第２図を説明する。１は神経細胞ユニットへの入
力信号で式（８）に相当する。式（９）の結合係数はシ
フトレジスタ８に保存しておく。

８Ａがデータの取り出し口で、８Ｂがデータの入口であ
る。このシフトレジスタの制御信号８Ｃ（例えばクリア
信号）を、図示しない外部の制御回路からコントロール
することで、データのシフトするビット長を変化させる
ことができる。これはシフトレジスタと同様の機能を持
つものであれば、そのほかのもの、例えば、ＲＡＭ＋ア
ドレスコントローラ等を用いた場合においても、アドレ
スのカウント値を適宜制御することで、同様の動作が行
える。これにより、結合係数のデータ長（パルス列置）
を可変にすることができる。９は式（１０）に相当する
回路で、入力信号と結合係数とのＡＮＤをとっている。

この出力は結合が興奮性か抑制性かによってグループ分
けしなければならないが、あらかじめそれぞれのグルー
プへの出力４．５を用意し、どちらに出すのかを切り替
えるようにした方が汎用性が高い。このため、結合が興
奮性か抑制性かを表すビットをメモリ１４に保存してお
き、回路１３で切り替える。各人力を処理する式（１１
）に相当するＯＲ回路が第３図の回路１６である。さら
に式（１２）で示した、興奮性グループが１で抑制性グ
ループがＯの時のみ１を出力する回路が第３図の回路１
７である。

次に、誤差信号について説明する。最終層での誤差信号
を作る回路を第４図に示す。これは式（１６）〜（１９
）に相当する。最終層からの出力１及び教師信号２０よ
り誤差信号６．７を生成する。また中間層における誤差
信号を求める式（２ｏ）〜（２３）を実現する回路を、
第２図の回路１０に示す。結合が興奮性か抑制性かで用
いる誤差信号が異なるので、その場合分けを行うのが第
２図の回路１２である。これは、あらかじめメモリ１４
にセットしたビットにより切り替える。

また、誤差信号を集める計算（式（２４））は、第３図
の回路１８で行われる。また学習レートに相当する式（
２５）は、第３図の分周回路１９で行われる。

次に、誤差信号より新たな結合係数をＨ１算する部分に
ついて説明する。これは式（２６）〜（２９）で表され
、第２図の回路１１により行われるが、結合の興奮性、
抑制性によって場合分けしなければならないので、第２
図の回路］２でこれを実現している。

なお、第２図乃至第４図に１本発明をハード化した場合
の一例について説明したが、これらは全体が１つのコン
ピュータ内に組み込まれていても、あるいは、一部のみ
が組み込まれていてもよく、更にはそれぞれが単独の機
能をもって別個に構成されているものを組み合せて全体
を構成してもよいことは容易に理解できよう。

勉−來 以上の説明から明らかなように、本発明によると、結合
係数の値を表すデータ長（パルス列置）を可変にしたた
め、ネットワークの持つ演算精度を、各々の目的に合わ
せて向上することができる。

【図面の簡単な説明】

第１図は、神経回路ユニットの１つを示す図、第２図乃
至第４図は、各部の回路構成例を示す図、第５図乃至第
７図は、神経回路ユニットの動作原理を説明するための
図、第８図乃至第１１図は、従来の回路構成例を示す図
である。 １・入力信号、２．３．６．７・・・誤差信号、４・・
興奮性信号、５・・・抑制性信号、８・・・シフトレジ
スタ、２０・・・教師信号。 代　理　人　　高　野　明　近（ばか１名）・て第 図 第 図 一−−−−−−−ゝ７！ 第　６　区 ２ 〜５Ｑ 第 ８ 区 第 図 出力 第 ０ 図 第 １ 区 ０

Claims (1)

1. 【特許請求の範囲】 １、結合係数可変手段と、この結合係数可変手段の可変
   結合係数値を教師信号に対する誤差信号に基づいて生成
   する結合係数生成手段とにより自己学習手段を形成し、
   該自己学習手段をデジタル論理を用いて神経細胞模倣ユ
   ニットに結合した信号処理方法において、前記結合係数
   値のデータ長を可変にしたことを特徴とする信号処理方
   法。 ２、結合係数可変手段と、この結合係数可変手段の可変
   結合係数値を教師信号に対する誤差信号に基づいて生成
   する結合係数生成手段とにより自己学習手段を構成し、
   該自己学習手段をデジタル論理回路を用いて神経細胞模
   倣ユニットに結合して信号処理回路網を構成した信号処
   理装置において、前記結合係数値のデータ長を可変にす
   る手段を有することを特徴とする信号処理装置。