JPH03260785A - 信号処理方法及びその回路網 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

捉１ｒ腎 本発明は、信号処理回路方法及びその回路網、より詳細
には、神経回路網を模倣したニューラルコンピュータに
関して、例えば、文字や図形認識、ロボットなどの運動
制御、連想記憶に適用して好適な信号処理方法及びその
方法を実施するための回路網に関するものである。 従迷韮豊 生体の情報処理の基本的な単位である神経細胞にューロ
ン）の機能を模倣し、さらに、この「神経細胞模倣素子
」をネットワークにし、情報の並列処理をめざしたのが
、いわゆるニューラルネットワークである。文字認識や
、連想記憶、運動制御等、生体ではいとも簡単に行われ
ていても、従来のノイマン型コンピュータではながなか
達成しないものが多い。生体の神経系、特に生体特有の
機能、即ち並列処理、自己学習等を模倣して、これらの
問題を解決しようとする試みが盛んに行われている。し
かしながら、これらの試みは、計算機シミュレーション
で行われているものが多く、本来の機能を発揮するには
、並列処理が必要であり、そのためにはニューラルネッ
トワークのハードウェア化が必要である。一部では、既
にハードウェア化の試みも行われているが、ニューラル
ネットワークの特徴の１つである自己学習機能が実現で
きず、大きなネックになっている。また、はとんどのも
のはアナログ回路で実現されており、動作の点で問題が
ある。 第９図は、従来のニューラルネットワークのモデルにつ
いて説明するための図で、図中、Ａは、１つの神経細胞
ユニットを表し、第１０図は、それをネットワークに構
成したもので、Ａ工、Ａ２、Ａ３は、それぞれ神経細胞
ユニットを表わす。１つの神経細胞は、多数の他の神経
細胞ユニットと結合し信号を受け、それを処理して出力
を出す。 第１０図の場合、ネットワークは階層型であり、ユニッ
トＡ２は、１つ前の層のユニッｈＡ１より信号を受け、
１つ先の層のユニットＡ３へ出力する。 最初に、第９図の神経細胞ユニットＡについて説明する
と、他の神経細胞ユニットと、自分の神経細胞ユニット
との、結合の度合を表すのが、結合係数Ｔと呼ばれてい
るもので、１番目のユニットとｊ番目のユニットの結合
係数を、一般にＴＩ４で表す。結合には、相手のニュー
ロンからの信号が大きいほど、自分の出力が大きくなる
興奮性結合と、逆に、相手の信号が大きいほど、自分の
出力が小さくなる抑制性結合があるが、Ｔｔｐ＞Ｏが興
奮性結合、Ｔ　Ｉ　Ｊ　＜　Ｏが抑制性結合を表す。自
分がｊ番目のユニットの時、ｊ番目のユニットからの入
力をｙ、とするとこれにＴｉＪをかけた’ｒＩＪｙ。 が、自分のユニットへの入力となる。先に述べたように
、各ユニットは他の多数のユニットと結合しているので
、それらのユニットに対するＴｔａ３’１を足し合わせ
たもの、つまり、ΣＴｌ、ｙｌが自分のユニットへの入
力となる。これを内部電位と言い、ｕｊで表す。 ｕｊ＝ΣＴｔｊ３／＋　　　　　　　　　　　　（１）
次に、この入力に対して、非線形な処理をして、出力と
する。このときの関数を神経細胞応答関数と呼び、非線
形関数として次に示すような、シグモイド関数を用いる
。 ｆ　　（ｘ）＝　　　　　　　　　　　　　　　　　　
　（２）１＋ｅ 第１１図は、上記シグモイド関数を示す。 上記各ユニットを接続してネットワークにしたときは、
各結合係数を与え、式（１〜２）を次々と計算すること
によって、最終的な出力が得られる。 第１２図は、上記ネットワークを電気回路で実現したも
のの一例を示す図で（特開昭６２−２９５１８８号公報
）、これは、ネットワークへの入力や出力の信号強度を
電圧で表し、上記神経細胞ユニット間の結合係数ＴＩＪ
の値を抵抗値で実現したものである。すなわち、第１２
図において、複数の増幅器５３は、反転出力５３ａ及び
非反転出力５２ｂとを有し、かつ、各増幅器５３の入力
には入力電流を供給する手段５２を有しており、予め選
ばれた第１の値又は予め選ばれた第２の値であるコンダ
クタンス（Ｔ　Ｉ　Ｊ　）で前記増幅器の各々の出力を
前記入力に接続する相互接続マトリックス５１を構成し
ている。前記のＴｉｊはｊ番目の増幅器の出力とｊ番目
の増幅器との入力との間の相互コンダクタンスを表わし
、前記Ｔ、Ｊコンダクタンスは、回路網が平衡する複数
の極小値を作るように選ばれ、複数の極小値を持ったエ
ネルギー関数を最小化するようにしている。結合係数Ｔ
ＬＪの場合、負の抵抗値は実現できないので、増幅器５
３を用いて出力を反転させることでこれを実現している
。また、第１１図で示したシグモイド関数に相当するも
のとして、増幅器５３を用いている。しかしながらこれ
らの回路には以下のような問題点がある。 ■信号の強度を電位や電流などのアナログ値で表し、内
部の演算もアナログ的に行わせる場合、温度特性や、電
源投入直後のドリフト等により、その値が変化する。 ■ネットワークであるから、素子の数も多く必要である
が、それぞれの特性を揃えることは困難である。 ■１つの素子の精度や安定性が問題になったとき、それ
をネットワークにしたとき、新たな問題が起きる可能性
があり、ネットワーク全体でみたときの動きが予想でき
ない。 ■Ｔ、ｊが固定であり、あらかじめシミュレーションな
どの他の方法で学習させた値を使うしがなく、自己学習
ができない。 一方、数値計算で用いられている学習法則としては、パ
ックプロパゲーションと呼ばれる次のようなものがある
。 まず、各結合係数は、最初は、ランダムに与えておくが
、この状態で、入力を与えると、出方結果は、必ずしも
望ましいものではない。例えば、文字認識の場合、手書
きの「１」の文字を与えた場合、出力結果として、「こ
の文字は「１」である、、！ｌとでるのが、望ましい結
果であるが、結合係数が、ランダムであると、必ずしも
望ましい結果とはならない。そこで、このネットワーク
に正解（教師信号）を与えて、再び、同じ入力があった
とき正解になるように、各結合係数を変化させる。この
とき、結合係数を変化させる量を求めるアルゴリズムが
、パックプロパゲーションと呼ばれているものである。 まず、最終層のｊ番目のニューロンの出力をｙ、とし、
そのニューロンに対する教師信号をｄ。 とすると、 Ｅ＝Σ（ａｐ−ｙ、＋）　２　　　　　　　　　　（３
）で表されるＥが最小となるように、 を用いて、Ｔｉ３を変化させる。さらに具体的に説明す
ると、ます、出力層と、その１つ前の層との結合係数を
求める場合には。 δＪ＝　（ｄＪ　　）＃）Ｘ　ｆ’（ｕａ）　　　　　
　　（５）を用いてδ（誤差信号）を求める（ただし、
ｆ′はｆの一階微分である）。それよりさらに前の層同
士の結合係数を求める場合には、 δ３＝ΣδＩＴｌｊｘｆ’（ｕｔ）　　　　　　　（６
）を用いて、δ　（誤差信号）を求め、 Δ゛Ｉ”１．＝η（δ、ｙ１）十αΔＴ工、（前回の学
習時）Ｔ、Ｊ＝Ｔ１ｊ＋ΔＴＬＪ　　　　　　　　　（
７）を求めて、ＴＬ、を変化させる。ここで、ηは学習
定数、αは安定化定数と呼ばれているものである。 それぞれ、理論的には求めることができないもので、経
験的に求める。 この学習を何回も繰り返すうちに、やがて、与えられた
入力に対して、望ましい結果が得られるようにＴ、が決
定される。 さて、この学習方法を何らかの方法でハードウェア化し
ようとした場合、学習には、多量の四則演算が必要であ
り、実現が困難である。学習方法そのものもハードウェ
ア化に対しては不向きである。 第１３図〜第１５図は、このようなニューラルネットワ
ークをデジタル回路で実現した例を示す図で、第１３図
は、単一神経細胞の回路構成例を示す図で、６０はシナ
プス回路、６１は樹状突起回路、６２は細胞体回路を示
す。第１４図は、第１３図に示したシナプス回路６０の
構成例、第１５図は、第１３図に示した細胞体回路６２
の構成例を示す図で、第１４図中のｆは入力信号、Ｗは
重み付けの値、ａはフィートバラ９４ｎ号に掛ける倍率
（１又は２）である。これは、神経細胞ユニットの入出
力をパルス列で表し、そのパルス密度で信号の量を表し
ている。結合係数は２進数で表し、メモリ上に保存して
おく。入力信号をレートマルチプライヤ−のクロックへ
入力し、結合係数をレート値へ入力するにことによって
、入力信号のパルス密度をレート値に応じて減らしてい
る。 これは、ＢＰ（パックプロパゲーション）モデルの式の
Ｔ、ｙ、の部分に相当する。 次に、ΣＴ、、ｙＬのΣの部分は、樹状突起回路６１に
よって示されるＯＲ回路で実現している。 結合には興奮性、抑制性があるので、予めグループわけ
しておき、それぞれのグループ別に○Ｒをとる。第１３
図において、Ｆｏは興奮性、Ｆ２は抑制性出力を示す。 この２つの出力を第１５図に示したカウンター６２のア
ップ側、ダウン側に入力してカウントすることで出力が
得られる。この出力は２進数であるので再びレートマル
チプライヤ−を用いて、パルス密度に変換する。この神
経細胞ユニットをネットワークにすることによって、ニ
ューラルネットワークが実現できる。学習については、
最終出力を外部のコンピュータに入力して、コンピュー
タ内部で数値計算を行い、その結果を結合係数のメモリ
に書き込むことによって実現している。従って、自己学
習機能は全くない。 又、回路構成も、パルス密度の信号をカウンターを用い
て一旦数値に直し、その後再びパルス密度に直しており
、複雑なものになっている。 上述のように、従来技術では、 ■アナログ回路は動作に確実性がない。 ■数値計算による学習方法も計算が複雑であり、ハード
ウェア化に適さない。 ■デジタル方式の回路では、回路構成が複雑である。 ■ハードウェア上で自己学習ができない。 等の欠点があった。 且−一匁 本発明は、上述のごとき実情に鑑みてなされたもので、
特に、動作が確実なデジタル回路の採用を可能にし、か
つ、ハードウェア化が容易なシンプルな信号処理、学習
方法を提供し、かつ、実際にハードウェア上で自己学習
を含めて実現することを目的としてなされたものである
。 監−一裟 本発明は、上記目的を達成するために、結合係数可変手
段と、この結合係数可変手段の可変結合係数値と教師信
号に対する誤差信号に基づいて生成する結合係数生成手
段とによって自己学習手段を形成し、この自己学習手段
を神経細胞模倣素子に付設して神経細胞模倣ユニットを
形成し、これら自己学習手段と神経細胞模倣素子とを網
状に形成して複数の神経細胞模倣手段を形成してデジタ
ル論理によって信号の処理を行う信号処理方法において
、前記結合係数を外部より読み書き可能としたこと、或
いは、上記方法をハードウェア化した信号処理回路、す
なわち、結合係数可変回路と、この結合係数可変回路の
可変結合係数値を教師信号に対する誤差信号に基づいて
生成する結合係数生成回路により自己学習回路と構成す
るとともに、この自己学習回路を神経細胞模倣素子に付
設して神経細胞模倣回路を構成し、これら自己学習回路
と神経細胞模倣素子とをデジタル論理回路により網状に
接続して複数の神経細胞模倣回路網を構成した信号処理
回路網において、前記結合係数を外部より読み書き可能
な回路を有することを特徴としたものである。以下、本
発明の実施例に基づいて説明する。 最初に、本発明の基本的な考え方について説明すると、
本発明の基本的な考え方は、 ■入出力、中間信号、結合係数、教師信号などはスヘて
、０．１の２値で表されたパルス列で表す。 ■信号の量は、パルス密度で表す（ある一定時間内の［
１」の数）。 ■神経細胞ユニット内での計算はパルス列同士の論理演
算で表す。 ■結合係数のパルス列はメモリ上に置く。 ■学習は、このパルス列を書き換えることで実現する。 ■学習については、与えられた教師信号パルス列を元に
誤差を計算し、これに基づいて、結合係数パルス列を変
化させる。このとき、誤差の計算、結合係数の変化分の
計算もすへて、０．１のパルス列の論理演算で行う。 ことにある。 以下、上記本発明の考え方を具体化した実施例について
説明する。 ［信号演算］ 第１図は、１つの神経細胞に相当する部分を示す図で、
それをネットワークにしたものは、第１０図に示したよ
うに、従来と同じ階層型を用いる。入出力はすへて１．
０に２値化され、さらに同期化されたものを用いる。入
力信号ｙＩの強度は、パルス密度で表現し、例えば、あ
る一定時間内にある、１の状態数で表わし、次の（８）
式のように表わす。 入力信号　Ｌ−−１”−”−＝　４　／　Ｇ　　　（８
）同期信号　１」−上」−土」− これは４／６を表す信号を示したもので、同期パルス６
個中、信号は１が４個、０が２個である。 このとき、１とＯの並び方は後述するようにランダムで
あることが望ましい。 一方、結合係数ＴＩＪも同様にパルス密度で表現し、次
の（９）式に示すようにＯと１のビット列として表わし
、あらかじめメモリ上に用意しておく。 結合係数　　　　　　　　＝３／６　　　（９）同期信
号　Ｌ」−上」−土」− これはｒｌｏｌｏｌｏＪ　＝３／６を表し、このときも
０と１の並び方はランダムである方が望ましい。具体的
にどうやって決めるかは後述する。そして、このビット
列を同期クロックに応じてメモリ上より順次読みだし、
第１図のＡＮＤ回路により入力パルス列とのＡＮＤをと
る（ｙｔｎＴｔＪ）。 これを神経細胞ｊへの入力とする。上記（８）、（９）
式の例を用いて説明すると、入力信号がｒｌｏｌｌｏｌ
Ｊと入力したとき、これと同期してメモリ上よりビット
列を呼び出し、順次ＡＮＤをとることによって。 入力信号　Ｌ−一１ｍ　　＝４／６ 結合係数　　　　　　　　　＝３／６ （１０） ３／　ｔ　ｎＴ　ｔ　ｂ　　　　　　　　　＝　２　／
　６に示すような、ｒｌｏｌｏｏｏＪが得られ、これは
入力ｙ工がＴＩＪにより変換されパルス密度が２７６と
なることを示している。ＡＮＤ回路の出力のパルス密度
は、近似的には入力信号のパルス密度と結合係数のパル
ス密度の積となり、アナログ方式の結合係数と同様の機
能を有する。これは、信号の列が長いほど、また、１と
０の並び方がランダムであるほど、積に近い機能になる
。尚、入力パルス列に較べて、結合係数のパルス列が短
く、読み出すべきデータがなくなってしまったら、再び
データの先頭に戻って、読みだしをくりがえせばよい。 １つの神経細胞ユニットは多入力であるので、先に説明
した「入力信号と結合係数とのＡＮＤＪも多数あり、次
にこれらのＯＲをとる。入力は同期化されているので、
１番目のデータが「１ｏ１０００Ｊ、２番目ノテ′−夕
がｒｏｌｏｏｏｏ」（７）場合、両者のＯＲはｒｌｌｌ
ｏｏｏＪとなる。これを、（１１）式に示すようにして
多入力同時に計算して出力とする。 ッ、ｎ１’０、　Ｌ−ニー一一一一 ：ｊ　＋　ｎ　Ｔ　ｔ、　−ニー一一一一（１１） Ｕ　（ｙ　Ｌ　ｎ　ＴＩｊ）ＬＬＬ−一一一この部分は
アナログ計算における和の計算及び非線関数（シグモイ
ド関数）の部分に対応している。 パルス密度が低い場合、そのＯＲをとったもののパルス
密度は、それぞれのパルス密度の和に近似的に一致する
。パルス密度が高くなるにつれて。 ＯＲの出力はだんだん飽和してくるので、パルス密度の
和とは結果が一致せず、非線形性がでてくる。ＯＲの場
合、パルス密度は１より大きくなることがなく、Ｏより
小さくなることもなく、また単調増加関数であり、シグ
モイド関数と近似的に同様となる。 さて、結合には興奮性と抑制性があり、数値計算の場合
には、結合係数の符号で表し、アナログ回路の場合、先
に述べたように、ＴＩＪが負となる場合（抑制性結合）
には増幅器を用いて出力を反転させＴＩＪに相当する抵
抗値で他の神経細胞へ結合させている。一方、本発明で
は、まず、Ｔ、ｊの正負により各結合を興奮性結合と抑
制性結合の２つのグループに分け、ついで、「入力信号
と結合係数のパルス列のＡＮＤＪ同士のＯＲを、このグ
ループ別に計算する。その後、興奮性グループの出力が
１で抑制性グループの出力がＯのとき出力を１とし、興
奮性グループの出力がＯで抑制性グループの出力が１の
時出力を０とする。両方とも１のとき又は両方ともＯの
ときは出力はＯでも１でもどちらでもよい、又、確率１
／２程度で出力を１としてもよい、たとえば、興奮性グ
ループの出力が１で抑制性グループの出力がＯの時のみ
出力を出す、あるいは、興奮性グループの出力がＯで抑
制性グループの出力が１のとき以外出力を出す、この機
能を実現するためには、前者の場合、興奮性グループの
出力と（抑制性グループの出力のＮ０Ｔ）とのＡＮＤを
とればよく（式（１２）〜（１５））、後者の場合（抑
制性グループの出力のＮ０Ｔ）と興奮性グループの出力
とのＯＲをとればよい（式（１６）〜（１９））。 興奮性グループの出力　ＬＬ−−ＬＬ−抑制性グループ
の出力　−ＬＬ−−Ｌ−（１２） ａ”　Ｕ　（Ｙ　ｔ　ｎ　Ｔ　ｔ　Ｊ）　　（Ｔ　＝興
奮性）　　（１３）ｉＥ興奮性 ｂ”Ｕ　（ｙｉｎＴｔ、＋）（Ｔ＝抑制性）ｉＣ抑制性 （１４） ｙ４＝ａｎｂ （１５） 興奮性グループの出力　１１−−１」−抑制性グループ
の出力　−ＬＬ−一り−（１６） ａ　＝Ｕ　（３／１ｎＴｔｊ）　　（Ｔ＝＝興奮性　　
（１７）ｉＥ興奮性 ｂ＝ＬＪ　（’：Ｉ　ｔ　ｎ　Ｔ　ｔ　ｓ　）　　（Ｔ
　＝抑制性）　　（１８）ｉＥ抑制性 ｙ　ｊ＝　ａ　Ｕ　ｂ　　　　　　　　　　　　　　　
　　（１９）神経細胞ユニットのネットワークは、ＢＰ
（パックパロゲーション）と同様な階層型（第１０図）
とする。ネットワーク全体を同期させおけば、各層とも
いままで述べてきた機能で計算することが可能である。

【学　　習］ ■最終層における誤差信号 まず、最終層での各ニューロンにおける誤差信号を計算
する。 本発明では誤差信号を以下のように定義する。誤差を数
値で表すと、一般には＋−の両方を取り得るが、パルス
密度では、正、負の両方を同時に表現できないので、十
戒分を表す信号と、−成分を表す信号の２つを使って誤
差信号を表現する。 δ’、Ｅ　　（ｙＪ　ＸＯＲｄ、）ＡＮＤ　　ｄ。 誤差信号−’　　　（２３） δ゛、＝（ｙａ　ＸＯＲｄ、）ＡＮＤ　　ｙ。 つまり誤差信号十は教師信号パルスと出力パルスの違っ
ている部分（１，０又は０５１）の内、教師信号側に存
在するパルス、誤差信号−は同様に出力側に存在するパ
ルスである。つまり、圧力パルスに誤差信号十パルスを
付は加え、誤差信号−パルスを取り除くと、教師信号パ
ルスになるようになっている。この誤差信号パルスをも
とに結合係数を変化させるのであるが、これについては
後に述べる。 ■中間層における誤差信号 さらに誤差信号を逆伝播させ、最終層とその１つ前の層
との結合係数でけでなく、更にその前のＲ９の結合係数
も変化する。そのため、中間層における各ニューロンで
の誤差信号を計算する必要がある。中間層のあるニュー
ロンから、さらに１つ先の暦の各ニューロンへ信号を伝
播させたのとは、ちょうど逆の要領で１つ先の層の各ニ
ューロンにおける誤差信号を集めてきて、自分の誤差信
号とする。このことは、神経細胞ユニット内での演算の
式（８）〜（１９）と同じ様な要領で行うことができる
。すなわち、まず、結合を興奮性か抑制性かによって、
２つのグループに分け、かけ算の部分はＡＮＤで、Σの
部分はＯＲで表現する。但し、神経細胞ユニット内での
式（８）〜（１９）と違うのは、ｙは１つの信号である
のに対して、δは正、負を表す信号として２つの信号を
持ち、その両方の信号を考慮する必要がある。したがっ
て、Ｔの正負、δの正負の４つの場合分けをする必要が
ある。まず、興奮性結合の場合を説明すると、１つ先の
層のに番目のニューロンでの誤差信号＋（δ°、）とそ
のニューロンと自分との結合係数（Ｔ　、＋ｋ）　（７
）　Ａ　Ｎ　Ｄを取ったもの（δ’ｍｎＴｔｉ）を各ニ
ューロンについて求め、さらにこれら同士のＯＲをとる
（Ｕ　（δ’ｈｎＴｔｉ））。そしてこれを、この層の
誤差信号十とする。 δ・、ｎＴ、、止上−１−１ δ・＊　ｎ　Ｔ　Ｊ、−」ニー−ニー 又、一つ先の誤差信号−と結合係数のＡＮＤをとり、さ
らにこれら同士のＯＲをとることによって、同様に、こ
の層の誤差信号−とする。 δ−□ｎＴＪ□ δ−ｈ　ｎ　Ｔ　Ｊ、ニーーー−１− （２５） δ−１−一口」− 次に、抑制性結合の場合の説明すると、１つ先の誤差信
号−と結合係数のＡＮＤを取り、さらにこれら同士のＯ
Ｒをとる。 δ−０ｎＴ、、−ＬＬ−Ｌ−」− δ−＊　ｎ　Ｔ　Ｊ　ｋ−ＬＬ−」− 又、１つ先の誤差信号十と結合係数のＡＮＤを取り、さ
らにこれら同士のＯＲをとる。そしてこれをこの層の誤
差信号とする。 δ＋　、ｎＴ、１ δ“　ｈｎ　Ｔ　Ｊｋ １つのニューロンから別のニューロンへは興奮性で結合
しているものもあれば、抑制性で結合しているものもあ
るので、（２４）式で求めたδ“と（２６）式で求めて
δ“のＯＲをとり、このニューロンの６１とする。 同様に、（２５）式で求めたδ−と（２７）式で求めた
δ−のＯＲをとり、このニューロンのδとする。 以上をまとめると。 δ’ｔ＝（Ｌｌ（δ”　ｋｎＴ、＋ｋ））Ｕ（ＩＪ（δ
−ｈｎＴｊｋ））ｋＥ興奮性　　　　　ｋＥ抑制性 δ−ａ＝（Ｕ（δ−ｈｎＴ、＋ｍ））ｕ（ｕ（δ”　ｈ
ｎＴｇ））ｋＥ興奮性　　　　　ｋＥ抑制性 （２８） となる。 さらに、学習のレートに相当する機能を設けてもよい。 数値計算に於いてレートが１以下のとき、さらに学習能
力か高まる。これは、パルス列の演算では、パルス列を
間引くことで実現できる。これは、カウンター的な考え
方をし、次のようなものにした。例えばη＝０．５では
、元の信号のパルス列を１つおきに間引く、ｙ＝０．３
３では、２つおきに残す、ｙ＝０．６７では２つおきに
間引く。なお、元の信号のパルスが等間隔でなくても、
元のパルス列に対して、例（２）に示すようにして間引
くことができる。 例１） 元の信号 η＝０．５の場合 η＝０．３３の場合 η＝ｏ、６７の場合 例２） η＝０．６７の場合 （２９） このようにして、誤差信号を間引くことによって、学習
レー１〜の機能をもたせることかできる。 ■誤差信号より各結合係数を変化 以上に説明した方法により誤差信号を求め、各結合係数
を変化させるのであるが、以下それについて次に述べる
。 変化させたい結合係数が属しているラインを流れる信号
と誤差信号のＡＮＤをとる（δｎｙ）。 但し、本発明では誤差信号は＋と−の２つの信号がある
ので、それぞれ計算をする。 δ’　ｊｎ　’ｊ　１ ΔＴ　Ｌｊ δ’　３　ｎ　’／　ｔ　　　　　　　　　　　　　　
　ΔＴ°、。 この様にして得られた２つの信号をΔＴｉ、とする。本
発明に於けるＴｌｊは、絶対値成分であるので、元のＴ
ＬＪが興奮性か、抑制性かで場合分けをし、あらたなＴ
ｉ、を求める。 昇棗炸列員育 元のＴＬｊに対して、八Ｔ’ｔｊの成分を増やし、八Ｔ
″９．の成分を減らす。 ＴＩＪ ΔＴ　　１ｊ Δ’ｌ”　Ｉ　Ｊ 「−」−一ユー−［− 一一一一一一一一り− （３２） 学習後の’Ｉ’ｒｓ　　［Ｌ北−１１−一迎１１］υ屹
金 元のＴＩＪに対して、Δ−１−＋　、の成分を減らし、
Δ゛ｒ−１の成分を増やす。 Ｔｌｊ ΔＴ・Ｉｊ　　　　Ｌ−一」−ｍ− ΔＴ”ｌｊ　　　　−一一一」−」 （３３） 学習後のＴｌｌ　　−Ｌ−一−１１“−以上の学習側に
もとづいて、ネットワークの計算をする。 【回路構成】 以上のアルゴリズムを基に、これを実際の回路にしたも
のを第２図〜第４図に示す。ネットワーク全体は第１０
図と同様で、第１０図の線Ｂに相当する部分の回路を第
２図に、また第１０図のＡ１−Ａ３に相当する部分を第
３図に刀（ず。又、最終層の出力と教師信号から最終ノ
ーにおける誤差信号を求める部分を第４図に示す。これ
らの第２図乃至第４図を第１０図に示したようにネット
ワークにすることによって、自己学習が可能なテジタル
方式のニューラルネットワークか実現できる。 ます、第２図から説明すると、■は、ニューロンへの人
力信号で式（８）に相当する。式（９）の結合係数は、
シフトレジスタ８に保存しておく。 ８Ａが取り出し口で、８Ｂが入口である。この場合、シ
フトレジスタと同様の機能を持つものであ才しば、その
ほかのもの、例えば、ＲＡＭ＋アドレスコントローラ等
でもよい。また、シフトレジスタあるいはアドレスコン
トローラ等には、図示しないが式（９）の同期信号が与
えられている。９は式（１０）に相当する回路で、入力
信号と結合係数とのＡＮＤを取っている。この出力は結
合が興ｉ！ｌＩｉ性か抑制性かによってグループ分けし
なければいけないが、あらかじめそれぞれのグループへ
の出力４．５を用意し、どちらに出力するのかを切り替
えるようにした方が汎用性が高い。このため、結合が興
奮性か抑制性かを表すピッ１へをメモリ１４に保存して
おき、回路１３で切り替える。 各入力を処理する式（］−１）に相当するＯＲ回路が第
２図の１１である。さらに式（１２）の！）ｌ［′＃ｉ
性タループか↓で、抑制性クループかＯの時のみ出力を
出す回路が第３図の回路１７である。また、式（１６）
の場合に於いても同様に論理回路で容易に実現できる。 次に、誤差信号について説明する。最終層での誤差信号
を作るのが第４図である。これは式（２０）〜（２３）
に相当する。最終層からの出力２０　（ｙｊ）及び教師
信号２１　（Ｄｊ）より誤差信号２２（Ｇｐｊ）、（Ｇ
Ｍｊ）を作る。中間ｊ−における誤羨４Ｂ号をｄ１算す
る式（２４）〜（２７）を回路にしたのか、第２図の１
０である。 結合が興奮性か抑制性かで場合分けをするので。 それを行うのが回路１２である９あらかしめ回路１４に
セットされたビットにより切り替える。又、誤差信号を
集めてくる計算式（２８）の部分が、第３図の１８であ
る。又、学習レートに相当する式（２９）の部分が第３
図の１９の分周回路である。これはフリップフロップ等
を用いることにより、容易に実現できる。 最後に誤差信号より新たな結合係数を計算する部分につ
いて説明する。式では（３０）〜（３３）で表されるが
、この部分は第２図の１１である。 これも前記と同様、結合の興奮性、抑制性によって、場
合分けしなければならないので、第２図の回路１２でこ
れを実現している。 さて、この回路では結合係数及び、その符号はメモリに
保存しである。ところがメモリの内容は電源を切ってし
まうと失われてしまうので、この内容を他の記録媒体に
保存する必要がある。また、既に学習済みの結合係数や
その符号が用意されている場合、これをメモリに書き込
むことで最初から学習しなおす必要がなくなる。そこで
、このメモリの内容を外部から自由にアクセスできると
非常に便利である。そこで、本発明では、さらに、結合
係数及びその符号を保存しであるメモリの内容を外部か
らアクセスロゴ能な機能を付加した。これは、第６図、
第７図に示すように、シフトレジスタ８の出口（第２図
の８Ａ）、及び入り口（第２図の８Ｂ）を外部へ引き出
せは良い。出口８Ａはそのまま引き出せば良いか、入り
口８Ｂは外部より読み書きするときは外部からの信号３
３を、読み書きしないときは内部からの４ｉ１号３３′
を用いるので、外部から読み書きをするかどうかの（Ｊ
。 号３４を用いて、セレクタ３１で切り替える。このとき
シフトレジスタ８の内容をシフトさせるためにクロック
３６が必要であるが、これは、この信号処理回路を動作
させる除用いる内部クロック３５式（９）の同期信号を
そのまま用い、さらに、このタロツク３５を外部へ引き
出しく３５″）、外部でこのタロツクに同期させて、シ
フトレジスタ８の内容を読み書きさせても良いしく第６
図の場合）、或いは、第７図に示すように、外部よりタ
ロツタ３７を与λて、これに同期させて読み書きさせて
も良い。但し、外部よりタロツク３７を与えるときは、
シフトレジスタ８に与えるクロック３６を内部のクロッ
ク３５と切り替える必要がある。これはシフ１〜レジス
タ８への入力信号を切り替えたのと同し要領でセレクタ
３１ａを用いて切り替えれば良い。また、シフトレジス
タ８の変わりにＲＡ　Ｍ＋アトレステコータを用いてい
る場合は、アドレスバス、データバス及び読み書きのた
めの制御信号線を外部へ引き出すことにより、外部より
ランダムアクセスが可能になる。２つ以上のポートを持
つメモリの場合、１つを外部読み書き用に、もう１つを
内部処理用に用いれば良い。 ポートが１つのメモリの場合、外部からアクセスすると
きはアドレスバス等を内部のアトレステコーダからの線
と切り替えれはよい。これは第６図、第７図におけるタ
ロツク３５．３６．３７をアドレスバス、読み書きのた
めの制御信号線に置き換えれば良い。 次に、第８図を用いて、複数のメモリを共通のバスで読
み書きする場合について説明する。第８図は第６図及び
第７図において説明に必要な部分のみを取り出して示し
たもので、ます、あらかじめ各メモリに固有のアドレス
を設定し、さらに外部より与えられたアドレスと自分の
持つ固有のアドレスとが一致するかどうかの判定回路４
２を備え付け、この判定結果でチップがセレクトされる
ようにしておく（４４）。外部より読み書きするときは
このアドレス４０を外部より与えることにより、唯１つ
のメモリがセレクトされ、任意のメモリが読み書き可能
となる。また、メモリのポートが１つしかないものを用
いるときは、外部より読み書きするしないの４ｉ号４１
を用い、しないときは全部のメモリかセレン１〜される
よっにし、さらに、外部読み書き用の共通バスへデータ
が流れないようにしておけば（４３）、この信号処理回
路の持つ本来の並列処理力輸Ｉ能となる。 なお、以上に、本発明をハート化した場合の一例につい
て説明したが、これらは全体が１つのコンピュータ内に
組み込まれていても、あるいは、一部のみか組み込まれ
ていてもよく、更にはそれぞれが単独の機能をもって別
個に構成されているものに組み合せて全体を構成しても
よいことは容易に理解できよう。 失−Ｊ「−忽 以上に説明したネットワークを用いた自己学習式文字認
識装置について説明する。まず、手書き文字をスキャナ
ーで読み取り、１６Ｘ１６のメツシュにわけ、第５図に
示すように、文字部分のあるメツシュを１、ないメツシ
ュをＯとしたうこのデータ（２５６個）をネットワーク
に入力し、出力は５つあるユニットのうちで一番大きい
出力のものの位置が、認識結果となるようにした。その
ため、「１」〜「５」までの数字を入力したとき、その
数字に対応する番号の出力が一番大きくなるように学習
させた。次に、ネットワークの構成は、第１層目が２５
６個、第２層目が２０個、第３層目が５個の神経細胞ユ
ニットからなるように構成した。最初、各結合係数はラ
ンダムとしておくと、出力結果は必ずしも所望のもので
はない。この回路の自己学習機能を用いて、各結合係数
を新たに求め、これを何回か繰り返すことによって、所
望の出力が得られるようにする。この実施例では、入力
は０か１であるので、入力パルス列は常にＬＯＷレベル
、又はＨＩ　Ｇ　Ｈレベルの単純なものである。又、出
力はトランジスタを介して、ＬＥＤと結び、ＬＯＷレベ
ルのとき４〕幻、ＨＩＧＨレベルのとき点灯とした。同
期クロック１０００　ｋ　Ｈｚとしたので、パルス密度
に応して、人間の目にはＬＥＤの明るさか変わり、した
がって、１番明るいＬＥＤの部分が答えになる。十用学
習させた文字に対しては認識率］、　Ｏ０％を得た。 劾−緻 以上の説明から明らかなように、従来のニューラルネッ
トワークはほとんとコンピュータシミュレーションに頼
っており、一部で、このネットワークを回路化する試み
も行われている力１、それでも尚、学習機能については
コンピュータシミュレーションによるシリアル処理が行
われている。これに対して、本発明によると、学習機能
も含めて、ニューラルネタ１−ワークの機能をハードウ
ェア上で並列的に行うことができ、従って、従来のコン
ピュータシミュレーションのシリアル処理に比べて、処
理速度が著しく向上する。 さらに、結合係数及びその符号を外部より自由にアクセ
スできるため、既に学習済のデータを書き込んだり、ハ
ードウェアで学習させたデータをとり出して保存したり
、あるいは学習過程を外部より監視したりすることか可
能となり利便性が向上する。 笠の利点がある。

【図面の簡単な説明】

第１図は、神経回路ユニットの１つを示す図、第２図乃
至第４図は、回路構成例を示す図、第５図は、自己学習
式文字認識の一例を示す図、第６図及び第７図は、読み
書の実施例を説明するための図、第８図は、共通のバス
を用いて読み書する場合の実施例を説明するための図、
第９図は、神経細胞ユニッ１〜の一例を示す図、第１０
図は、階層型ニューラルネットワークの例を説明するた
めの図、第１１図は、シグモイド曲線を示す図、第１２
図乃至第１５図は、従来のニューラルネット回路の例を
説明するための図である。 １・・・入力信号、２．３．６．７・・・誤差信号、４
・・・興に性信号、５・・・抑制性信号、８・シフトレ
ジスタ、２０・・・入力信号、２１・・・教師信号。 ２２．２；３誤差信号。

Claims (1)

1. 【特許請求の範囲】 １、結合係数可変手段と、この結合係数可変手段の可変
   結合係数値と教師信号に対する誤差信号に基づいて生成
   する結合係数生成手段とによって自己学習手段を形成し
   、この自己学習手段を神経細胞模倣素子に付設して神経
   細胞模倣ユニットを形成し、これら自己学習手段と神径
   細胞模倣素子手段とを網状に形成して複数の神経細胞模
   倣ユニットを形成してデジタル論理によって信号の処理
   を行う信号処理方法において、前記結合係数を外部より
   読み書き可能としたことを特徴とする信号処理方法。 ２、結合係数可変回路と、この結合係数可変回路の可変
   結合係数値を教師信号に対する誤差信号に基づいて生成
   する結合係数生成回路により自己学習回路と構成すると
   ともに、この自己学習回路を神経細胞模倣素子に付設し
   て神経細胞模倣回路を構成し、これら自己学習回路と神
   経細胞模倣素子とをデジタル論理回路により網状に接続
   して複数の神経細胞模倣回路網を構成した信号処理回路
   網において、前記結合係数を外部より読み書き可能とし
   た回路を有することを特徴とする信号処理回路網。