JPH056351A - 信号処理装置 - Google Patents

Abstract

(57)【要約】 【目的】 デジタル方式の自己学習機能付きのニューラ
ルネットワークにおいて、最終出力段で２値データを得
るための処理を高速化させる。 【構成】 デジタル方式の自己学習機能付きのニューラ
ルネットワークの最終出力段に、最終出力結果を保存す
る保存手段５６と、この保存手段５６に保存された結果
を所定の時間経過後に取出す信号取出し手段と、現在の
最終出力結果とこの信号取出し手段により前記保存手段
から取出された以前の出力結果とに基づきアップ／ダウ
ン及びイネーブルの動作決定がされて２値データを出力
するアップダウンカウンタ５８とを設け、基本クロック
の複数個入力間隔待つことなく、順次アップダウンカウ
ンタ５８から２値データが得られるようにした。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、神経細胞を模倣したニ
ューラルコンピュータ等の信号処理装置に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣し、さらに、この
「神経細胞模倣素子」をネットワークにし、情報の並列
処理を目指したのが、いわゆるニューラルネットワーク
である。文字認識や、連想記憶、運動制御等、生体では
いとも簡単に行われていても、従来のノイマン型コンピ
ュータではなかなか達成しないものが多い。そこで、生
体の神経系、特に生体特有の機能、即ち、並列処理、自
己学習等を模倣して、これらの問題を解決しようとする
試みが盛んに行われている。しかしながら、これらの試
みは計算機シミュレーションで行われているものが多
く、本来の機能を発揮させるためには、並列処理が必要
であり、そのためにはニューラルネットワークのハード
ウエア化が必要である。一部では、既にハードウエア化
の試みもなされているが、ニューラルネットワークの特
徴の一つである自己学習機能が実現できず、大きなネッ
クとなっている。また、殆どのものはアナログ回路で実
現されており、動作の点で問題がある。

【０００３】これらの点について、さらに詳細に検討す
る。まず、従来のニューラルネットワークのモデルにつ
いて説明する。図３１はある１つの神経細胞ユニット
（神経細胞模倣素子）１を表すもので、図３２はこれを
ネットワークにしたものである。即ち、１つの神経細胞
ユニット１は多数の他の神経細胞ユニット１と結合し信
号を受け、それを処理して出力を出す。図３２の場合、
ネットワークは階層型であり、１つ前（左側）の層のユ
ニットより信号を受け、１つ先（右側）の層のユニット
へ出力する。

【０００４】ここで、図３１の神経細胞ユニット１にお
いて、他の神経細胞ユニットと自分の神経細胞ユニット
との結合の度合いを表すのが結合係数と呼ばれるもの
で、ｉ番目のユニットとｊ番目のユニットとの結合計数
を、一般にＴ_ijで表す。結合には、相手のユニットから
の信号が大きいほど自分の出力が大きくなる興奮性結合
と、逆に、相手のユニットの信号が大きいほど自分の出
力が小さくなる抑制性結合とがあるが、Ｔ_ij＞０が興奮
性結合、Ｔ_ij＜０が抑制性結合を表す。自分がｊ番目の
ユニットの時、ｉ番目のユニットからの入力をｙ_i とす
ると、これに結合係数Ｔ_ijを掛けたＴ_ijｙ_i が自分のユ
ニットへの入力となる。前述したように、各ユニットは
多数のユニットと結合しているので、それらのユニット
に対するＴ_ijｙ_i を足し合わせた結果なるΣＴ_ijｙ
_i が、自分のユニットへの入力となる。これを内部電位
といい、(１)式のようにｕ_j で表す。

【０００５】

【数１】

【０００６】次に、この入力に対して、非線形な処理を
して出力とする。この時の関数を神経細胞応答関数と呼
び、非線形関数として、(２)式及び図３３に示すような
シグモイド関数を用いる。

【０００７】

【数２】

【０００８】図３２に示すようにネットワークにした時
には、各結合係数Ｔ_ijを与え、(１)(２)式を次々と計算
することにより、最終的な出力が得られるものである。

【０００９】一方、このようなネットワークを電気回路
で実現したものの一例として、図３４に示すようなもの
がある。これは、特開昭６２−２９５１８８号公報中に
示されるもので、基本的には、Ｓ字形伝達関数を有する
複数の増幅器２と、各増幅器２の出力を他の層の増幅器
の入力に一点鎖線で示すように接続する抵抗性フィード
バック回路網３とを設けたものである。各増幅器２の入
力側には接地されたコンデンサと接地された抵抗とによ
るＣＲ時定数回路４が個別に接続されている。そして、
入力電流Ｉ₁，Ｉ₂，〜，Ｉ_N が各増幅器２の入力に供給
され、出力はこれらの増幅器２の出力電圧の集合から得
られる。

【００１０】ここに、入力や出力の信号の強度を電圧で
表し、神経細胞間の結合の強さは、各細胞間の入出力ラ
インを結ぶ抵抗５（抵抗性フィードバック回路網３中の
格子点）の抵抗値で表され、神経細胞応答関数は各増幅
器２の伝達関数で表される。また、神経細胞間の結合に
は、前述のように興奮性結合と抑制性結合とがあり数学
的には結合係数の正負符号により表される。しかし、回
路上の定数で正負を実現するのは困難であるので、ここ
では、増幅器２の出力を２つに分け、一方の出力を反転
させることにより、正負の２つの信号を生成し、これを
適当に選択することにより実現するようにしている。ま
た、図３３に示したシグモイド関数に相当するものとし
ては増幅器が用いられている。

【００１１】しかし、これらの回路には、 ネットワ
ーク内部での信号の強度を電位や電流などのアナログ値
で表し、内部の演算もアナログ的に行わせるため、温度
特性や電源投入直後のドリフト等により、その値が変化
してしまう。 ネットワークであるので、素子の数も
多く必要とするが、各々の特性を揃えることは困難であ
る。 １つの素子の精度や安定性が問題となったと
き、それをネットワークにした場合、新たな問題を生ず
る可能性があり、ネットワーク全体で見たときの動きが
予想できない。 結合係数Ｔ_ijの値が固定であり、予
めシミュレーションなどの他の方法で学習させた値を使
うしかなく、自己学習ができない。といった問題点があ
る。

【００１２】一方、数値計算で用いられている学習法則
としては、バックプロパゲーションと呼ばれる下記のよ
うなものがある。

【００１３】まず、各結合係数は最初にランダムに与え
ておく。この状態で、入力を与えると、出力結果は必ず
しも望ましいものとはならない。例えば、文字認識の場
合、手書きの「１」の文字を与えたとすると、出力結果
として「この文字は『１』である」と出るのが望ましい
結果であるが、結合係数がランダムであると必ずしも望
ましい結果とはならない。そこで、このネットワークに
正解（教師信号）を与えて、再び、同じ入力があったと
き正解となるように各結合係数を変化させる。このと
き、結合係数を変化させる量を求めるアルゴリズムが、
バックプロパゲーションと呼ばれているものである。

【００１４】例えば、図３２に示した階層型のネットワ
ークにおいて、最終層のｊ番目の神経細胞ユニットの出
力をｙ_jとし、その神経細胞ユニットに対する教師信号
をｄ_jとすると、(３)式

【数３】 で表されるＥが最小となるように、(４)式

【数４】 を用いて、結合係数Ｔ_ijを変化させる。

【００１５】さらに具体的には、まず、出力層と、その
１つ前の層との結合係数を求める場合には、(５)式

【数５】 を用いて誤差信号δを求め、それよりさらに前の層同士
の結合係数を求める場合には、(６)式

【数６】 を用いて誤差信号δを求め、(７)式

【数７】 を求めて、Ｔ_ijを変化させる。ここに、ηは学習定数、
αは安定化定数と呼ばれるものである。各々論理的には
求められないので、経験的に求める。また、ｆ′はシグ
モイド関数ｆの１階微分関数、ΔＴ_ij′，Ｔ_ij′は前回
学習時の値である。

【００１６】このようにして学習をし、その後、再び入
力を与えて出力を計算し、学習をする。この操作を何回
も繰返す内に、やがて、与えられた入力に対して望まし
い結果が得られるような結合係数Ｔ_ijが決定される。

【００１７】ところが、このような学習方法を何らかの
方法でハードウエア化しようとした場合、学習には、多
量の四則演算が必要であり、実現が困難である。学習方
法そのものもハードウエア化に対しては不向きである。

【００１８】一方、デジタル回路でニューラルネットワ
ークを実現したものの例を図３５ないし図３７を参照し
て説明する。図３５は単一の神経細胞の回路構成を示
し、各シナプス回路６を樹状突起回路７を介して細胞体
回路８に接続してなる。図３６はその内のシナプス回路
６の構成例を示し、係数回路９を介して入力パルスｆに
倍率ａ（フィードバック信号に掛ける倍率で、１又は
２）を掛けた値が入力されるレートマルチプライヤ１０
を設けてなり、レートマルチプライヤ１０には重み付け
の値ｗを記憶したシナプス荷重レジスタ１１が接続され
ている。また、図３７は細胞体回路８の構成例を示し、
制御回路１２、アップ／ダウンカウンタ１３、レートマ
ルチプライヤ１４及びゲート１５を順に接続してなり、
さらに、アップ／ダウンメモリ１６が設けられている。

【００１９】これは、神経細胞ユニットの入出力をパル
ス列で表し、そのパルス密度で信号の量を表している。
結合係数は２進数で表し、メモリ１６上に保存してお
く。入力信号をレートマルチプライヤ１４のクロックへ
入力し、結合計数をレート値へ入力することによって、
入力信号のパルス密度をレート値に応じて減らしてい
る。これは、バックプロパゲーションモデルの式のＴ_ij
ｙ_i の部分に相当する。次に、ΣＴ_ijｙ_i のΣの部分
は、樹状突起回路７によって示されるＯＲ回路で実現し
ている。結合には興奮性、抑制性があるので、予めグル
ープ分けしておき、各々のグループ別にＯＲをとる。こ
の２つの出力をカウンタ１３のアップ側、ダウン側に入
力しカウントすることで出力が得られる。この出力は２
進数であるので、再びレートマルチプライヤ１４を用い
て、パルス密度に変換する。このユニットをネットワー
クにすることによって、ニューラルネットワークが実現
できる。学習については、最終出力を外部のコンピュー
タに入力してコンピュータ内部で数値計算を行い、その
結果を結合係数のメモリ１６に書込むことにより実現し
ている。従って、自己学習機能は全くない。また、回路
構成もパルス密度の信号をカウンタを用いて一旦数値
（２進数）に変換し、その後、再びパルス密度に変換し
ており、複雑なものとなっている。

【００２０】

【発明が解決しようとする課題】このように従来技術に
よる場合、アナログ回路方式では動作に確実性がなく、
数値計算による学習方法も計算が複雑であり、ハードウ
エア化に適さず、動作が確実なデジタル方式のものは回
路構成が複雑である。また、ハードウエア上で自己学習
ができないという欠点もある。

【００２１】このような欠点を解消するため、パルス密
度型の学習機能付きニューロンモデルが特願平２−４１
２４４８号により提案され、さらには、特願平２−６７
９４２号によりこのようなニューロンを用いてデジタル
又はアナログ信号を得るようにした方法が提案されてい
る。しかしながら、提案例に示される方式では、デジタ
ル又はアナログ信号に変換するのに時間を要し、運動制
御等のように高速性が要求される用途では問題となる。

【００２２】この点を明らかにするため、本発明の前提
として提案例の構成・作用等について図２ないし図３０
を参照して説明する。まず、提案例におけるニューラル
ネットワークはデジタル構成によりハードウエア化した
ものであるが、提案例の基本的な考え方としては、
神経細胞ユニットに関する入出力信号、中間信号、結合
係数、教師信号などは全て、「０」「１」の２値で表さ
れたパルス列で表す。 ネットワーク内部での信号の
量は、パルス密度で表す（ある一定時間内の「１」の
数）。 神経細胞ユニット内での計算は、パルス列同
士の論理演算で表す。 結合係数のパルス列はメモリ
上に置く。 学習は、このパルス列を書換えることで
実現する。 学習については、与えられた教師信号パ
ルス列を元に誤差を計算し、これに基づいて、結合係数
パルス列を変化させる。このとき、誤差の計算、結合係
数の変化分の計算も、全て、「０」「１」のパルス列の
論理演算で行う。ようにしたものである。

【００２３】以下、この思想について説明する。最初
に、デジタル論理回路による信号処理に関し、フォワー
ドプロセスにおける信号処理を説明する。図２は１つの
神経細胞ユニット（神経細胞模倣素子）２０に相当する
部分を示し、ニューラルネットワーク全体としては例え
ば図３２に示した場合と同様に階層型とされる。入出力
は、全て、「１」「０」に２値化され、かつ、同期化さ
れたものが用いられる。入力信号ｙ_i の強度はパルス密
度で表現し、例えば図３に示すパルス列のようにある一
定時間内にある「１」の状態数で表す。即ち、図３の例
は、４／６を表し、同期パルス６個中に信号は「１」が
４個、「０」が２個である。このとき、「１」と「０」
の並び方は、ランダムであることが望ましい。

【００２４】一方、各神経細胞ユニット２０間の結合の
度合を示す結合係数Ｔ_ijも同様にパルス密度で表現し、
「０」と「１」とのビット列として予めメモリ上に用意
しておく。図４の例は、「１０１０１０」＝３／６を表
す式である。この場合も、「１」と「０」の並び方はラ
ンダムであることが望ましい。

【００２５】そして、このビット列を同期クロックに応
じてメモリ上より順次読出し、図２に示すように各々Ａ
ＮＤゲート２１により入力信号パルス列との論理積をと
る（ｙ_i ∩ Ｔ_ij)。これを、神経細胞ｊへの入力とす
る。上例の場合で説明すると、入力信号が「１０１１０
１」として入力されたとき、これと同期してメモリ上よ
りパルス列を呼出し、順次ＡＮＤをとることにより、図
５に示すような「１０１０００」が得られ、これは入力
ｙ_i が結合係数Ｔ_ijにより変換されパルス密度が２／６
となることを示している。

【００２６】ＡＮＤゲート２１の出力のパルス密度は、
近似的には入力信号のパルス密度と結合係数のパルス密
度との積となり、アナログ方式の結合係数と同様の機能
を有する。これは、信号の列が長いほど、また、「１」
と「０」との並び方がランダムであるほど、数値の積に
近い機能を持つことになる。なお、入力パルス列に比べ
て結合係数のパルス列が短く、読出すべきデータがなく
なったら、再びデータの先頭に戻って読出しを繰返えせ
ばよい。

【００２７】１つの神経細胞ユニット２０は多入力であ
るので、前述した「入力信号と結合係数とのＡＮＤ」も
多数あり、次にＯＲ回路２２によりこれらの論理和をと
る。入力は同期化されているので、例えば１番目のデー
タが「１０１０００」、２番目のデータが「０１０００
０」の場合、両者のＯＲをとると、「１１１０００」と
なる。これをｍ個分について多入力同時に計算し出力と
すると、例えば図６に示すようになる。これは、アナロ
グ計算における和の計算及び非線形関数（シグモイド関
数）の部分に対応している。

【００２８】パルス密度が低い場合、そのＯＲをとった
もののパルス密度は、各々のパルス密度の和に近似的に
一致する。パルス密度が高くなるにつれ、ＯＲ回路２２
の出力は段々飽和してくるので、パルス密度の和とは一
致せず、非線形性が出てくる。ＯＲの場合、パルス密度
は１よりも大きくなることがなく、かつ、０より小さく
なることもなく、さらには、単調増加関数であり、シグ
モイド関数と近似的に同等となる。

【００２９】ところで、結合には興奮性と抑制性があ
り、数値計算の場合には、結合係数の符号で表し、アナ
ログ回路の場合はＴ_ijが負となる場合（抑制性結合）は
増幅器を用いて出力を反転させてＴ_ijに相当する抵抗値
で他の神経細胞ユニットに結合させている。この点、デ
ジタル方式の提案例にあっては、まず、Ｔ_ijの正負によ
り各結合を興奮性結合と抑制性結合との２つのグループ
に分け、次いで、「入力信号と結合係数のパルス列のＡ
ＮＤ」同士のＯＲをこのグループ別に計算する。このよ
うにして得られた興奮性グループの結果と抑制性グルー
プの結果が、不一致であれば興奮性グループの結果を出
力する。即ち、興奮性グループの結果が「０」で抑制性
グループの結果が「１」であれば、「０」を出力し、興
奮性グループの結果が「１」で抑制性グループの結果が
「０」であれば、「１」を出力する。興奮性グループの
結果と抑制性グループの結果が一致したときには、
「０」を出力しても「１」を出力してもよく、或いは、
別個に用意された第２の入力信号を出力させてもよく、
又は、このような第２の入力信号とこの第２の入力信号
に対して設けたメモリの内容との論理積を演算したもの
を出力させるようにしてもよい。

【００３０】この機能を実現するため、まず、「０」を
出力させる例の場合であれば、興奮性グループの出力と
抑制性グループの出力の否定とのＡＮＤをとればよい。
図７はこの例を示すもので、数式で示すと、(８)〜(10)
式のようになる。

【００３１】

【数８】

【００３２】また、「１」を出力させる例の場合であれ
ば、興奮性グループの出力の否定と抑制性グループの出
力とのＡＮＤをとればよい。図８はこの例を示すもの
で、数式で示すと、(11)〜(13)式のようになる。

【００３３】

【数９】

【００３４】第２の入力信号を出力させる例の場合であ
れば、第２の入力信号をＥとすると図９に示すようにな
り、数式で示すと、(14)〜(16)式のようになる。

【００３５】

【数１０】

【００３６】さらに、第４の方式の例であれば、第２の
入力信号Ｅに対して設けられたメモリの内容（係数）を
Ｔ′とすると、図１０に示すようになり、数式で示す
と、(17)〜(19)式のようになる。

【００３７】

【数１１】

【００３８】神経細胞ユニット２０のネットワークは、
バックプロパゲーションと同様な階層型（即ち、図３
２）とする。そして、ネットワーク全体を同期させてお
けば、各層とも上述した機能により計算できる。

【００３９】次に、学習（バックプロパゲーション）に
おける信号演算処理について説明する。基本的には、以
下のａ又はｂにより誤差信号を求め、次いで、ｃの方法
により結合係数の値を変化させるようにすればよい。

【００４０】まず、ａとして最終層における誤差信号に
ついて説明する。最終層で各神経細胞ユニットにおける
誤差信号を計算し、それを基にその神経細胞ユニットに
関わる結合係数を変化させる。そのための、誤差信号の
計算法について述べる。ここに、「誤差信号」を以下の
ように定義する。誤差を数値で表すと、一般には＋，−
の両方をとり得るが、パルス密度の場合には、正、負の
両方を同時に表現できないので、＋成分を表す信号と、
−成分を表す信号との２種類を用いて誤差信号を表現す
る。即ち、ｊ番目の神経細胞ユニットの誤差信号は、図
１１のように示される。つまり、誤差信号の＋成分は教
師信号パルスと出力パルスとの違っている部分（１，
０）又は（０，１）の内、教師信号側に存在するパルス
であり、−成分は同様に出力側に存在するパルスであ
る。換言すれば、出力信号ｙ_j に誤差信号＋パルスを付
け加え、誤差信号−パルスを取り除くと、教師信号ｄ_j
となることになる。即ち、これらの正負の誤差信号δ
_j(+)，δ_j(-)を論理式で表現すると、各々(20)(21)式の
ようになる。式中、ＸＯＲは排他的論理和を表す。この
ような誤差信号パルスを元に結合係数を後述するように
変化させることになる。

【００４１】

【数１２】

【００４２】次に、ｂとして中間層における誤差信号を
求める方法を説明する。まず、上記の誤差信号を逆伝播
させ、最終層とその１つ前の層との結合係数だけでな
く、さらにその前の層の結合係数も変化する。そのた
め、中間層における各神経細胞ユニットでの誤差信号を
計算する必要がある。中間層のある神経細胞ユニットか
ら、さらに１つ先の層の各神経細胞ユニットへ信号を伝
播させたのとは、丁度逆の要領で１つ先の層の各神経細
胞ユニットにおける誤差信号を集めてきて、自己の誤差
信号とする。このことは、神経細胞ユニット内での前述
した演算式(８)〜(10)や図３〜図８に示した場合と同じ
ような要領で行うことができる。ただし、神経細胞ユニ
ット内での前述した処理と異なるのは、ｙ_j が常に正な
る１つの信号であるのに対して、δ_j は正、負を表す信
号として２つの信号を持ち、その両方の信号を考慮する
必要があることである。従って、結合係数Ｔ_ijの正負、
誤差信号δ_j の正負に応じて４つの場合に分ける必要が
ある。

【００４３】まず、興奮性結合の場合を説明する。この
場合、中間層のある神経細胞ユニットについて、１つ先
の層のｋ番目の神経細胞ユニットでの誤差信号δ
_k(+)と、その神経細胞ユニットと自己との結合係数Ｔ_jk
のＡＮＤをとったもの（δ_k(+) ∩Ｔ_jk）を各神経細胞
ユニットについて求め、さらに、これら同士のＯＲをと
る｛∪（δ_k(+) ∩ Ｔ_jk）｝。これをこの中間層の誤差
信号δ_j(+)とする。即ち、１つ先の層の神経細胞ユニッ
トをｎ個とすると、図１２に示すようになる。これらを
順に数式で示すと、(22)〜(24)式のようになる。

【００４４】

【数１３】

【００４５】同様に、１つ先の層の神経細胞ユニットで
の誤差信号δ_k(-)と結合係数Ｔ_jkとのＡＮＤをとり、さ
らにこれら同士のＯＲをとることにより、この中間層の
誤差信号δ_j(-)とする。即ち、図１３に示すようにな
り、これらを順に数式で示すと、(25)〜(27)式のように
なる。

【００４６】

【数１４】

【００４７】次に、抑制性結合の場合を説明する。この
場合、１つ先の層の神経細胞ユニットでの誤差信号δ
_k(-)とその神経細胞ユニットと自己との結合係数Ｔ_jkの
ＡＮＤをとり、さらにこれら同士のＯＲをとる。これ
を、この中間層の誤差信号δ_j(+)とする。即ち、図１４
に示すようになり、これらを順に数式で示すと、(28)〜
(30)式のようになる。

【００４８】

【数１５】

【００４９】また、１つ先の誤差信号δ_k(+)と結合係数
Ｔ_jkとのＡＮＤをとり、さらにこれら同士のＯＲをとる
ことにより、同様に、この層の誤差信号δ_j(-)とする。
即ち、図１５に示すようになり、これらを順に数式で示
すと、(31)〜(33)式のようになる。

【００５０】

【数１６】

【００５１】１つの神経細胞ユニットから別の神経細胞
ユニットへは興奮性で結合しているものもあれば、抑制
性で結合しているものもあるので、図１２のように求め
た誤差信号δ_j(+)と図１４のように求めた誤差信号δ
_j(+)とのＯＲをとり、それを自分の神経細胞ユニットの
誤差信号δ_j(+)とする。同様に、図１３のように求めた
誤差信号δ_j(-)と図１５のように求めた誤差信号δ_j(-)
とのＯＲをとり、それを自分の神経細胞ユニットの誤差
信号δ_j(-)とする。

【００５２】以上をまとめると、(34)式

【数１７】 に示すようになる。

【００５３】或いは、(35)式に示すようになる。

【００５４】

【数１８】

【００５５】さらに、学習のレート（学習定数）に相当
する機能を設けてもよい。数値計算でレートが１以下の
とき、さらに学習能力が高まる。これはパルス列の演算
ではパルス列を間引くことによって実現できる。ここで
は、カウンタ的な考え方をし、図１６、図１７に示すよ
うなものとした。例えば、学習レートη＝０．５では元
の信号のパルス列を１つ置きに間引くが、元の信号のパ
ルスが等間隔でなくても、元のパルス列に対して間引く
ことができる。図１６，１７中、η＝０．５の場合はパ
ルスを１つ置きに間引き、η＝０．３３の場合はパルス
を２つ置きに残し、η＝０．６７の場合はパルスを２つ
置きに１回間引くことを示す。

【００５６】このようにして、誤差信号を間引くことに
より学習レートの機能を持たせる。このような誤差信号
の間引きは、通常市販されているカウンタの出力を論理
演算することやフリップフロップを用いることにより容
易に実現できる。特に、カウンタを用いた場合、学習定
数ηの値を任意、かつ、容易に設定できるので、ネット
ワークの特性を制御することも可能となる。

【００５７】さらに、ｃとして、このような誤差信号に
より各結合係数を変化させる方法について説明する。変
化させたい結合係数が属しているライン（図３２参照）
を流れる信号と誤差信号のＡＮＤをとる（δ_j∩ｙ_j）。
ただし、ここでは誤差信号には＋，−の２つの信号があ
るので、各々演算して図１８，図１９に示すように求め
る。

【００５８】このようにして得られた２つの信号を各々
ΔＴ_ij(+)，ΔＴ_ij(-)とする。ついで、今度はこのΔＴ
_ijを元に新しいＴ_ijを求めるが、このＴ_ijは絶対値成分
であるので、元のＴ_ijが興奮性か抑制性かで場合分けす
る。興奮性の場合、元のＴ_ijに対してΔＴ_ij(+)の成分
を増やし、ΔＴ_ij(-)の成分を減らす。即ち、図２０に
示すようになる。逆に、抑制性の場合は元のＴ_ijに対し
ΔＴ_ij(+) の成分を減らし、ΔＴ_ij(-)の成分を増や
す。即ち、図２１に示すようになる。

【００５９】これらの図２０，図２１の内容を数式で示
すと、(36)(37)式のようになる。

【００６０】

【数１９】

【００６１】以上の学習則に基づいてネットワークの計
算をする。

【００６２】次に、以上のアルゴリズムに基づく実際の
回路構成を説明する。図２２ないし図２７にその回路構
成例を示すが、ネットワーク２全体の構成は図３２と同
様である。図２２〜図２５は図３２のような階層型ネッ
トワーク中のライン（結線）に相当する部分の回路を示
し、図２６は図３２中の丸（提案例では、各神経細胞ユ
ニット２０）に相当する部分の回路を示す。また、図２
７は最終層の出力と教師信号から最終層における誤差信
号を求める部分の回路を示す。これらの図２２ないし図
２４構成の３つの回路を図３２の場合のようにネットワ
ークにすることにより、自己学習可能なデジタル式のニ
ューラルネットワークが実現できる。

【００６３】まず、図２２から説明する。図中、２５は
図４に示したような神経細胞ユニットへの入力信号であ
る。図５に示したような結合係数の値はシフトレジスタ
２６に保存しておく。このシフトレジスタ２６は取出し
口２６ａと入口２６ｂとを有するが、通常のシフトレジ
スタと同様の機能を持つものであればよく、例えば、Ｒ
ＡＭとアドレスコントローラとの組合せによるもの等で
あってもよい。入力信号２５とシフトレジスタ２６内の
結合係数とはＡＮＤゲート２７を備えて図６に示した処
理を行なう論理回路２８によりＡＮＤがとられる。この
論理回路２８の出力は結合が興奮性か抑制性かによって
グループ分けしなければならないが、予め各々のグルー
プへの出力２９，３０を用意し、何れに出力するのかを
切換えるようにした方が汎用性の高いものとなる。この
ため、提案例では結合が興奮性か抑制性かを表すビット
をグループ分け用メモリ３１に保存しておき、その情報
を用いて切換えゲート回路３２により切換える。切換え
ゲート回路３２は２つのＡＮＤゲート３２ａ，３２ｂと
一方の入力に介在されたインバータ３２ｃとよりなる。

【００６４】切換える必要のない場合には、各々固定し
ても構わない。例えば、興奮性の場合を図２３、抑制性
の場合を図２４に示す。また、１つの入力に対して、興
奮性を表すビットに対するメモリと、抑制性を表すビッ
トに対するメモリとの両方を用意してもよい。図２５は
この例を示す。図中、２６Ａが興奮性を表す結合係数に
対するビットのメモリ、２６Ｂが抑制性を表す結合係数
に対するビットのメモリである。

【００６５】また、図２６に示すように各入力処理（図
６に相当）をする複数のＯＲゲート構成のゲート回路３
３ａ，３３ｂが設けられている。さらに、同図に示すよ
うに図７に示した興奮性結合グループが「１」で、抑制
性結合グループが「０」のときにのみ出力「１」を出す
ＡＮＤゲート３４ａとインバータ３４ｂとによるゲート
回路３４が設けられている。図８ないし図１０に例示し
たような処理結果とする場合にも同様に論理回路で容易
に実現できる。

【００６６】次に、誤差信号について説明する。最終層
での誤差信号を生成するのが図２７に示すＡＮＤ，排他
的ＯＲの組合せによる論理回路３５であり、(６)(７)式
に相当する。即ち、最終層からの出力３６及び教師信号
３７により誤差信号３８，３９を作るものである。中間
層における誤差信号を計算する(35)式の内、Ｅ_j(+)，Ｅ
_j(-)を求める処理は、図２２中に示すＡＮＤゲート構成
のゲート回路４２により行われ、＋，−に応じた出力４
３，４４が得られる。このように結合が興奮性か抑制性
かにより場合分けする必要があるが、この場合分けはメ
モリ３１に記憶された興奮性か抑制性かの情報と、誤差
信号の＋，−信号４５，４６とに応じて、ＡＮＤ，ＯＲ
ゲート構成のゲート回路４７により行われる。また、誤
差信号を集める計算式(８)、即ち、(35)式の残りの部分
は図２６に示すＯＲゲート構成のゲート回路４８により
行われる。さらに、学習レートに相当する図１６，１７
の処理は図２６中に示す分周回路４９により行われる。
これは、フリップフロップ等を用いることにより容易に
実現できる。

【００６７】最後に、誤差信号より新たな結合係数を計
算する部分、即ち、図１８〜図２１の処理に相当する部
分は、図２２中に示すＡＮＤ，インバータ、ＯＲゲート
構成のゲート回路５０により行われ、シフトレジスタ２
６の内容、即ち、結合係数の値が書換えられる。このゲ
ート回路５０も結合の興奮性、抑制性によって場合分け
が必要であるが、ゲート回路４７により行われる。図２
３，図２４の場合には、興奮性、抑制性が固定であるの
で、ゲート回路４７に相当する回路は不要である。図２
５の方式の場合は、１つの入力に対して興奮性、抑制性
の両方を持つので、ゲート回路５０Ａが興奮性の場合、
ゲート回路５０Ｂが抑制性の場合に相当する。

【００６８】以上、説明したように信号をパルス密度で
表現する手法は、実際の回路のみならず、計算機上でシ
ミュレートする場合にも有用である。計算機上では、演
算は直列的に行われるが、アナログ値を用いて計算させ
るのに比べて、「０」「１」の２値の論理演算のみであ
るので、計算速度が著しく向上する。一般に、実数値の
四則演算は、１回の計算に多くのマシンサイクルを必要
とするが、論理演算では少なくて済む。また、論理演算
のみであると、高速処理向けの低水準言語が使用しやす
いといった特徴も持つ。

【００６９】ところで、上述した処理方法を実施する上
で全部を回路化する必要はなく、一部又は全部をソフト
ウエアで行わせるようにしてもよい。また、回路自体も
論理が等価な別の回路に置換えてもよく、論理を負論理
に置換えてもよい。

【００７０】このようなニューラルネットワークを用い
た自己学習式文字認識装置の場合を例にとり、実測例を
説明する。まず、手書き文字をスキャナで読取り、図２
８に示すように１６×１６のメッシュに分け、文字部分
のあるメッシュを「１」、ないメッシュを「０」とし
た。このような２５６個のデータをネットワークに入力
させ、出力は５つあるユニットの内で一番大きい出力の
ものの位置が、認識結果となるようにした。そのため、
「１」〜「５」までの数字を入力したとき、その数字に
対応する番号の出力が一番大きくなるように学習させ
た。次に、ネットワークの構成は、第１層目が２５６
個、第２層目が２０個、第３層目が５個の神経細胞ユニ
ット２０からなるものとした。最初、各結合係数をラン
ダムに与えておくと、出力結果は必ずしも所望のものと
はならない。そこで、この回路の自己学習機能を用い
て、各結合係数を新たに求め、これを何回か繰返すこと
により、所望の出力が得られるようにする。提案例で
は、入力は「０」か「１」であるので、入力パルス列は
常にＬレベル又はＨレベルの単純なものとなる。また、
出力はトランジスタを介してＬＥＤと結び、Ｌレベルの
時には消灯、Ｈレベルの時には点灯するようにした。同
期クロックを１０００ｋＨｚとしたので、パルス密度に
応じて人間の目にはＬＥＤの明るさが変わるので、一番
明るいＬＥＤの部分が答えになる。十分学習させた文字
に対しては認識率１００％が得られたものである。

【００７１】しかして、最終出力もパルス列で得られる
ので、場合によっては、これをバイナリデータに直した
り、アナログ信号に直す必要がある。この点、提案例方
式では、図２９及び図３０に示すように、出力のパルス
列をある一定時間カウントして、バイナリデータを得る
ようにしている。これは、基本クロック５個分の間、出
力のパルス列を同期式のカウンタ５５でカウントするよ
うにしたものである。即ち、パルス列６個置きにクリア
信号を発生させ、カウンタ５５のクリア端子（Ｌレベル
でクリア）に入力してクリアする。このシステムの基本
クロックをカウンタ５５のクロック端子に入力させ、出
力のパルス列をカウンタ５５のイネーブル端子（Ｈレベ
ルでイネーブル）へ入力させると、カウントされたバイ
ナリデータが得られる。この方法の場合、バイナリーデ
ータが得られるタイミングは、図３０中に示すようにな
り基本クロックが複数個入力する毎（図３０中に示すタ
イミングＡ，Ｂ、例えばタイミングＢでは区間の間で
のカウント値が得られる）にしか、データが得られな
い。よって、運動制御等、特に高速性が要求される用途
では対応できないものとなる。

【００７２】

【課題を解決するための手段】結合係数可変手段と、こ
の結合係数可変手段の可変結合係数値を教師信号に対す
る誤差信号に基づいて生成する結合係数生成手段と、結
合係数値を変化状態と固定状態とに切換える切換え手段
とを有する自己学習手段を神経細胞模倣素子に付設した
複数の神経細胞模倣手段を網状に接続した信号処理手段
を設け、最終出力段に、最終出力結果を保存する保存手
段と、この保存手段に保存された結果を所定の時間経過
後に取出す信号取出し手段と、前記最終出力結果とこの
信号取出し手段により前記保存手段から取出された出力
結果とに基づき動作決定されて２値データを出力するア
ップダウンカウンタとを設けた。

【００７３】

【作用】最終出力結果を保存手段に保存して所定時間後
に取出すということは、ある時点では、それ以前の最終
出力結果も得られることを意味し、この出力結果と現在
の最終出力結果との双方を用いてアップダウンカウンタ
のカウント動作を決定して、最終出力結果をアップカウ
ントし、又は、ダウンカウントし、或いは、カウントし
ないことにより、基本クロックの複数個入力を待つこと
なく、順次アップダウンカウンタから２値データが得ら
れるものとなり、高速対応性のよいものとなる。

【００７４】

【実施例】本発明の一実施例を図１に基づいて説明す
る。本実施例は、前述した提案例をベースとするもので
あり、図２ないし図２７で示した部分はそのまま用いる
ものとし、説明を省略する。まず、最終出力結果（出力
信号）を一旦保存する保存手段としてメモリ５６が設け
られている。このメモリ５６としてはシフトレジスタや
ＦＩＦＯ（ファーストイン・ファーストアウト）メモ
リ、或いは、ＲＡＭとアドレスコントローラとを組合せ
たものなどを用いればよい。このメモリ５６には所定時
間後に保存された出力信号を取出すための信号取出し手
段（図示せず）が付設されている。この信号取出し手段
が出力信号を取出す所定時間を、例えば、システムの基
本クロックがある個数入力された後取出させるようにす
ればよい。この時の、基本クロックの個数（＝所定時
間）は、予め固定された数値としてもよく、スイッチ等
により外部から任意に設定された数値としてもよく、或
いは、メモリ５６等に書込まれた数値としてもよい。

【００７５】このようなメモリ５６から取出された出力
信号と現在の最終出力信号とを入力とする排他的ＯＲゲ
ート５７が設けられ、この排他的ＯＲゲート５７の排他
的論理和出力がイネーブル端子（Ｈレベルでイネーブ
ル）に入力され、かつ、現在の最終出力信号がアップ／
ダウン端子（Ｈレベルでアップ動作、Ｌレベルでダウン
動作）に入力された同期式のアップダウンカウンタ５８
が設けられている。また、クロック端子には基本クロッ
クが入力されている。よって、このアップダウンカウン
タ５８の動作は、表１に示すように決定される。

【００７６】

【表１】

【００７７】このように、メモリ５６を用いて出力信号
をある一定時間経過後に取出すということは、ある時点
（現時点）では、以前の出力信号が得られるということ
であり、この以前の出力信号と現在の出力信号との排他
的論理和により、アップダウンカウンタ５８がイネーブ
ル制御される。よって、一定時間を基本クロック１個分
とした場合の動作を見ると、図１(ｂ)のタイミングチャ
ートに示すように、システムの基本クロックに合わせて
各タイミングＣ，Ｄ，Ｅ，〜で各々区間〜のバイ
ナリーデータが順次得られるものとなる。これにより、
高速動作が要求されるような場合であっても対応でき
る。

【００７８】なお、回路構成は図１(ａ)に示すようなも
のに限らず、表１に示したような論理関係・機能が確保
されるものであれば、他の構成であってもよい。また、
アナログ信号を必要とする場合には、アップダウンカウ
ンタ５８のバイナリーデータをＤ／Ａ変換器により変換
すればよい。

【００７９】

【発明の効果】本発明は、上述したように、学習機能を
含めてニューラルネットワークの機能をハードウエア上
で並列的に行えるようにしたものにおいて、最終出力段
に、最終出力結果を保存する保存手段とこの保存手段に
保存された結果を所定の時間経過後に取出す信号取出し
手段と、前記最終出力結果とこの信号取出し手段により
前記保存手段から取出された出力結果とに基づき動作決
定されて２値データを出力するアップダウンカウンタを
設けたので、基本クロックが複数個入力される時間間隔
を待つことなく、順次アップダウンカウンタから２値デ
ータを得ることができ、高速対応性のよい処理能力の高
いものとなり、この際、保存手段から信号を取出す所定
の時間を保存手段の内容や外部からの指示により決定す
ることにより、用途に応じた処理速度の設定が可能とな
る。

【図面の簡単な説明】

【図１】本発明の一実施例を示すもので、(ａ)はブロッ
ク図、(ｂ)はタイミングチャートである。

【図２】既提案例における基本的な信号処理を行なうた
めの論理回路図である。

【図３】論理演算例を示すタイミングチャートである。

【図４】論理演算例を示すタイミングチャートである。

【図５】論理演算例を示すタイミングチャートである。

【図６】論理演算例を示すタイミングチャートである。

【図７】論理演算例を示すタイミングチャートである。

【図８】論理演算例を示すタイミングチャートである。

【図９】論理演算例を示すタイミングチャートである。

【図１０】論理演算例を示すタイミングチャートであ
る。

【図１１】論理演算例を示すタイミングチャートであ
る。

【図１２】論理演算例を示すタイミングチャートであ
る。

【図１３】論理演算例を示すタイミングチャートであ
る。

【図１４】論理演算例を示すタイミングチャートであ
る。

【図１５】論理演算例を示すタイミングチャートであ
る。

【図１６】論理演算例を示すタイミングチャートであ
る。

【図１７】論理演算例を示すタイミングチャートであ
る。

【図１８】論理演算例を示すタイミングチャートであ
る。

【図１９】論理演算例を示すタイミングチャートであ
る。

【図２０】論理演算例を示すタイミングチャートであ
る。

【図２１】論理演算例を示すタイミングチャートであ
る。

【図２２】各部の構成例を示す論理回路図である。

【図２３】その変形例の構成例を示す論理回路図であ
る。

【図２４】その変形例の構成例を示す論理回路図であ
る。

【図２５】その変形例の構成例を示す論理回路図であ
る。

【図２６】各部の構成例を示す論理回路図である。

【図２７】各部の構成例を示す論理回路図である。

【図２８】画像読取り例を示す説明図である。

【図２９】最終出力段処理のための回路図である。

【図３０】その動作を示すタイミングチャートである。

【図３１】従来例の１つのユニット構成を示す概念図で
ある。

【図３２】そのニューラルネットワーク構成の概念図で
ある。

【図３３】シグモイド関数を示すグラフである。

【図３４】１つのユニットの具体的構成を示す回路図で
ある。

【図３５】デジタル構成例を示すブロック図である。

【図３６】その一部の回路図である。

【図３７】異なる一部の回路図である。

【符号の説明】

２０ 神経細胞模倣素子 ５６ 保存手段 ５８ アップダウンカウンタ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 竹平 修 東京都大田区中馬込１丁目３番６号 株式 会社リコー内 (72)発明者 本村 修二 東京都大田区中馬込１丁目３番６号 株式 会社リコー内

Claims (3)

【特許請求の範囲】
1. 【請求項１】 結合係数可変手段と、この結合係数可変
   手段の可変結合係数値を教師信号に対する誤差信号に基
   づいて生成する結合係数生成手段と、結合係数値を変化
   状態と固定状態とに切換える切換え手段とを有する自己
   学習手段を神経細胞模倣素子に付設した複数の神経細胞
   模倣手段を網状に接続した信号処理手段を設け、最終出
   力段に、最終出力結果を保存する保存手段と、この保存
   手段に保存された結果を所定の時間経過後に取出す信号
   取出し手段と、前記最終出力結果とこの信号取出し手段
   により前記保存手段から取出された出力結果とに基づき
   動作決定されて２値データを出力するアップダウンカウ
   ンタとを設けたことを特徴とする信号処理装置。
2. 【請求項２】 信号取出し手段が取出す所定の時間を、
   保存手段の内容で定められた時間としたことを特徴とす
   る請求項１記載の信号処理装置。
3. 【請求項３】 信号取出し手段が取出す所定の時間を、
   外部より与えられる時間としたことを特徴とする請求項
   １記載の信号処理装置。