JPH07114524A

JPH07114524A - 信号処理装置

Info

Publication number: JPH07114524A
Application number: JP5257348A
Authority: JP
Inventors: Sugitaka Otegi; 杉高樗木
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 1993-10-14
Filing date: 1993-10-14
Publication date: 1995-05-02
Also published as: US5630023A

Abstract

(57)【要約】【目的】この発明は、学習性能のよいパルス密度方式
のニューラルネットワークを実現することを目的とす
る。【構成】教師信号と神経細胞模倣素子出力とにより、
生成される正の誤差信号と負の誤差信号に基づいて結合
係数値を更新する結合更新手段を備え、この結合更新手
段を神経細胞模倣素子に付設して、複数の神経細胞模倣
素子を網状に接続した信号処理装置において、神経細胞
模倣素子出力をｍサイクル遅延させるシフトレジスタ３
３と、神経細胞模倣素子出力をｍとは異なるｎサイクル
遅延させるシフトレジスタ３８と、シフトレジスタ３３
の出力とシフトレジスタ３８の出力の否定との論理積を
とる論理積回路３９と、シフトレジスタ３３の出力の否
定とシフトレジスタ３８の出力との論理積をとる論理積
回路４０と、両論理回路３９、４０の出力と教師信号に
基づき誤差信号を算出する回路４１と、からなる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明は、文字や図形認識，ロ
ボット等の運動制御，連想記憶等に応用される神経細胞
回路網を模倣したニューラルコンピュータ等の信号処理
装置に関する。

【０００２】

【従来の技術】生体の情報処理の基本的な単位である神
経細胞（ニューロン）の機能を模倣した神経細胞模倣素
子をネットワークに構成し、情報の並列処理を目指した
のが、いわゆる神経細胞回路ネットワーク（ニューラル
ネットワーク）である。文字認識や連想記憶、運動制御
等は、生体においてはいとも簡単に行われていても、従
来のノイマン型コンピュータではなかなか達成できない
ものが多い。

【０００３】そこで、生体の神経系、特に生体特有の機
能、すなわち並列処理や自己学習等を模倣して、これら
の問題を解決しようとする試みが、計算機シュミレーシ
ョンや専用ハードウェアの試作等によって、盛んに行わ
れている。

【０００４】図１は、一つのニューロンのモデル（神経
細胞ユニット）を表すもので、他のニューロンから入力
を受ける部分、入力を一定の規則で変換する部分、結果
を出力する部分からなる。他のニューロンとの結合部に
はそれぞれ可変の重み“Ｗｉｊ”を付け、結合の強さを
表している。この値を変えるとネットワークの構造が変
わる。ネットワークの学習とはこの値を変えることであ
る。

【０００５】図２は、これをネットワークにし、階層型
ニューラルネットワークを形成した場合である。図中、
Ａ１，Ａ２，Ａ３はそれぞれニューロンを表している。
各ニューロンＡ１，Ａ２，Ａ３は図１の模式図に示すニ
ューロンと同様に多数のニューロンと結合され、それか
ら受けた信号を処理して出力する。階層型ネットワーク
は、入力層、中間層、出力層から成り、各層内での結合
はなく、また出力層から入力層に向かう結合もない。一
つのニューロンは他の多数のニューロンと結合してい
る。

【０００６】なお、図２は、入力層、中間層、出力層の
三層ネットワークであるが、中間層を複数持つ多層ネッ
トワークも利用される。

【０００７】図１に示すニューロンを例にとり、図２の
各ニューロンＡ１，Ａ２，Ａ３の動作について説明す
る。まず、フォワードプロセスについて説明する。

【０００８】図２のニューラルネットワークにおいて、
入力層Ａ１に入力された信号は、中間層Ａ２に伝播し、
中間層Ａ２にてフォワード処理を実行する。中間層Ａ２
の処理結果は、出力層Ａ３に伝播し、出力層Ａ３にて、
フォワード処理を実行し、最終的にニューラルネットワ
ークの出力が得られる。

【０００９】ここで、ニューロン間の結合の度合いを表
すのが、結合係数と呼ばれるもので、ｊ番目のニューロ
ンとｉ番目のニューロンとの結合係数をＷｊｉで表す。
結合には、相手のニューロンからの信号が大きいほど自
分の出力が大きくなる興奮性結合と、逆に相手のニュー
ロンからの信号が大きいほど自分の出力が小さくなる抑
制性結合があり、Ｗｊｉ＞０のとき興奮性結合、Ｗｊｉ
＜０のとき抑制性結合を表す。

【００１０】今、自分のニューロンがｊ番目であると
し、ｉ番目のニューロンの出力をＯｊとすると、これに
結合係数Ｗｊｉを掛けＷｊｉ・Ｏｉが自分のニューロン
への入力となる。各ニューロンは多数のニューロンと結
合しているので、それらのニューロンに対するＷｊｉ・
Ｏｉを足し合わせた結果であるΣＷｊｉ・Ｏｉが、自分
のニューロンへの入力となる。これを内部電位と言い、
次式で示される。

【００１１】

【数１】ｎｅｔ_j ＝ΣＷｊｉ・Ｏｊ … （１）

【００１２】次に、この入力に対して非線形処理を施
し、出力をする。この時の関数を神経細胞応答関数と呼
び、例えば次の式（２）に示されるようなシグモイド関
数が用いられる。

【００１３】

【数２】ｆ（ｎｅｔ_j ）＝１／｛１＋ｅｘｐ（−ｎｅｔ_j ）｝ … （２）

【００１４】この関数を図３に示す。値域は“０〜１”
で、入力値が大きくなるにつれ“１”に、小さくなるに
つれ“０”に近づく。以上より、ニューロンｊの出力Ｏ
ｊは次の式（３）で示される。

【００１５】

【数３】Ｏｊ＝ｆ（ｎｅｔ_j ）＝ｆ（ΣＷｊｉ・Ｏｊ） … （３）

【００１６】次に、上記ニューラルネットワークの学習
機能について説明する。数値計算で用いられる学習プロ
セスとして、一般的なバックプロパゲーションアルゴリ
ズム（以後、略してＢＰアルゴリズムと呼ぶ。）につい
て簡単に述べる。

【００１７】学習プロセスでは、ある入力パターンｐを
与えたとき、実際の出力値と望ましい出力値の誤差を小
さくするように結合係数を変更していく。この変更量を
求めるアルゴリズムがＢＰアルゴリズムである。

【００１８】今、ある入力パターンｐを与えたとき、ユ
ニットｋの実際の出力値（Ｏｐｋ）と望ましい出力値
（ｔｐｋ）の差を次の式（４）のように定義する。

【００１９】

【数４】Ｅｐ＝（ｔｐｋ−Ｏｐｋ）²／２ … （４）

【００２０】これは出力層のユニットｋの誤差を表し、
ｔｐｋは人間が与える教師データである。学習ではこの
誤差を減らすようにすべての結合の強さを変えていく。
実際には、パターンｐを与えた時のＷｋｊの変化量を次
の式（５）で表す。

【００２１】

【数５】ΔｐＷｋｊ∞−ЭＥ／ЭＷｋｊ … （５）

【００２２】これを用いて、結合係数Ｗｋｊを変化させ
る。上記式（４）より、結果的に次の式（６）が得られ
る。

【００２３】

【数６】ΔｐＷｋｊ＝η・δｐｋ・Ｏｐｊ … （６）

【００２４】ここで、Ｏｐｊは、ユニットｊからユニッ
トｋへの入力値である。誤差δｐｋは、ユニットｋが出
力層か、中間層で異なる。まず、出力層における誤差信
号δｐｋは、次の式（７）となる。

【００２５】

【数７】 δｐｋ＝（ｔｐｋ−Ｏｐｋ）・ｆ´（ｎｅｔ_k ） … （７）

【００２６】一方、中間層における誤差信号δｐｊは次
の式（８）に示す通りである。

【００２７】

【数８】 δｐｊ＝ｆ´（ｎｅｔ_j ）・ΣδｐｋＷｋｊ … （８）

【００２８】但し、ｆ´（ｎｅｔ_j ）はｆ（ｎｅｔ_j ）
の一階微分で、詳細は後述する。以上よりΔＷｊｉを一
般的に定式化したのが次の式（９）である。

【００２９】

【数９】 ΔＷｊｉ（ｔ＋１）＝η・δｐｊ・Ｏｐｊ＋α・ΔＷｊｉ（ｔ） … （９）

【００３０】故に式（１０）に示す通りである。ここで
ｔは学習の順位、ηは学習定数、αは安定化係数と呼ば
れる。上記式（９）の右辺第１項は、上記式（６）で求
めたΔＷｊｉ、第２項はエラーの振動を減らし、収束を
早めるために加えている。

【００３１】

【数１０】Ｗｊｉ（ｔ＋１）＝Ｗｊｉ（ｔ）＋ΔＷｊｉ（ｔ＋１） … （１０）

【００３２】このように結合係数の変化量ΔＷｊｉの計
算は、出力層のユニットから始めて中間層のユニットに
移る。学習は、入力データの処理とは逆方向、つまり後
ろ向きに進む。従って、バックプロパゲーションによる
学習は、まず、学習用のデータを入力し、結果を出力す
る（前向き）。結果のエラーを減らすようにすべての結
合の強さを変える（後ろ向き）。再び、学習用データを
入力する。これを収束するまで繰り返すことになる。

【００３３】従来の階層型ニューラルネットワークは、
図２に示すようなネットワークを形成する。このネット
ワークにおいて、フォワードプロセスのデータの流れを
示したのが図４である。これは３層階層型ネットワーク
における場合で、フォワードプロセスでは、入力層（図
４の左側の層）に入力信号Ｏｉ1 〜Ｏｉ4 を与えて、出
力層（図４の右側の層）より出力信号Ｏｋ1 〜Ｏｋ4 を
得る。

【００３４】一方、学習プロセスのデータの流れを示し
たのが図５である。学習プロセスでは、出力層（図５の
右側の層）に教師信号ｔｋ1 〜ｔｋ4 を与えて、各ニュ
ーロン間の結合強度を更新し、ニューラルネットワーク
の出力が教師信号に一致するように学習する。なお、こ
の学習プロセスによる処理は、今のところ多くの場合、
外部の汎用のコンピュータによって実行している。

【００３５】前記ネットワークを電気回路で実現したも
のの一例を図６に示す（特開昭６２−２９５１８８号公
報）。この回路は、基本的にはＳ字型の伝達関数を有す
る複数の増幅器４と、各増幅器４の出力を他の層の増幅
器の入力に一点鎖線で示すように接続する抵抗性フィー
ドバック回路網２とが設けられている。各増幅器４の入
力側には接地させたコンデンサＣと接地された抵抗Ｒと
によるＣＲ時定数回路３が個別に接続されている。そし
て、入力電流Ｉ₁ ，Ｉ₂ 〜Ｉ_N が各増幅器４の入力に供
給され、出力はこれらの増幅器４の出力電圧の集合から
得られる。

【００３６】ここに、入力や出力の信号の強度を電圧で
表し、神経細胞の結合の強さは、各細胞間の入出力ライ
ンを結ぶ抵抗１（抵抗性フィードバック回路網２中の格
子点）の抵抗値で表され、神経細胞応答関数は各増幅器
４の伝達関数で表される。また、神経細胞間の結合には
前述のように興奮性と抑制性があり、数学的には結合関
数の正負符号により表される。しかし、回路上の定数で
正負を実現するのは困難であるので、ここでは、増幅器
４の出力を２つに分け（４ａ，４ｂ）、一方の出力を反
転させることにより、正負の２つの信号を生成し、これ
を選択することにより実現するようにしている。また、
図３に示したシグモイド関数ｆ（ｎｅｔ）に相当するも
のとしては増幅器が用いられている。

【００３７】一般に、ニューラルネットワークをアナロ
グ回路により構成すると、単一神経回路素子の面積を小
さくできるため、ニューラルネットワークの集積度を大
きくできたり、或いは実行スピードが速いといった利点
を持っている。しかしながらその反面、各信号の値を電
位や電流等のアナログ量で表し、各演算も増幅器等のア
ナログ素子により実行するため、温度特性によるばらつ
きが存在し、また素子形成上のプロセスのばらつきのた
め、各素子の応答特性を同一にすることができず、出力
値が不安定になるといった問題もある。

【００３８】また、ニューラルネットワークの結合係数
の値を学習によって任意に変更するということも難し
く、外部のコンピュータで学習を行い、学習後の各結合
係数の値をハードウェア上にダウンロードするといった
こともよく行われる。このような学習方法では、学習に
コンピュータを必要としたり、学習処理が著しく遅くな
るといった問題がある。

【００３９】次に、デジタル回路によりニューラルネッ
トワークを構成した例を示す。図７〜図９は、前記ニュ
ーラルネットワークをデジタル回路で実現した例を示す
図で、図７は、単一神経細胞の回路構成例を示す。これ
らにおいて図で、１１はシナプス回路、１２は樹状突起
回路、１３は細胞体回路を示す。

【００４０】図８は、図７に示したシナプス回路１１の
構成例を示す図で、係数回路１１ａを介して入力パルス
ｆに倍率ａ（フィードバック信号に掛ける倍率で１また
は２）を掛けた値が入力されるレートマルチプライヤ１
１ｂを設けてなり、レートマルチプライヤ１１ｂには重
み付けの値ｗを記憶したシナプス荷重レジスタ１１ｃが
接続されている。また、図９は細胞体回路１３の構成例
を示す図で、制御回路１４、アップ／ダウンカウンタ１
５、レートマルチプライヤ１６及びゲート１７を順に接
続してなり、さらに、アップ／ダウンメモリ１８が設け
られている。

【００４１】これは、神経細胞ユニットの入出力をパル
ス列で表現し、そのパルス密度で信号の量を表してい
る。結合係数は２進数で取り扱い、シナプス荷重レジス
タ１１ｃに保存している。

【００４２】信号演算処理は次のように行う。まず、入
力信号をレートマルチプライヤ１１ｂへ入力し、結合係
数をレート値へ入力することによって、入力信号のパル
ス密度をレート値に応じて減らしている。これは、前述
のバックプロパゲーションモデルの式のＷｊｉ・Ｏｉの
部分に相当する。またΣＷｊｉ・ＯｉのΣの部分は、樹
状突起回路１２によって示されるＯＲ回路で実現してい
る。結合には、興奮性、抑制性があるので、あらかじめ
グループ分けしておき、それぞれのグループ別に論理和
（ＯＲ）をとる。図７において、Ｆ1 は興奮性、Ｆ2 は
抑制性出力を示す。この２つの出力を図９に示したカウ
ンタ１５のアップ側、ダウン側にそれぞれ入力してカウ
ントすることで出力が得られる。この出力は２進数であ
るので、再びレートマルチプライヤ１６を用いてパルス
密度に変換する。この神経細胞ユニットを複数個用いて
ネットワークを構成することによって、ニューラルネッ
トワークが実現できる。学習機能はネットワークの最終
出力を外部のコンピュータに入力して、コンピュータ内
部で数値計算を行い、その結果を結合係数を保存するシ
ナプス荷重レジスタ１１ｃに書き込むことによって実現
している。

【００４３】以上のように、ニューラルネットワークを
デジタル回路により構成すると、単一神経回路素子の面
積がアナログ回路に比べ大きくなるため、ニューラルネ
ットワークの集積度を上げられないといった難点がある
が、アナログ回路の欠点であった、温度特性や素子形成
上のプロセスのばらつきによる影響を受けず、回路を形
成することも比較的容易で、神経細胞素子（ニューロ
ン）の出力も安定し、信頼性が高いといった利点があ
る。

【００４４】しかし、図７〜９に示した例では、ニュー
ラルネットワークの学習は、外部のコンピュータに頼っ
ているため、学習用のコンピュータを必要とし、また学
習時間が大きいといった問題は存在する。

【００４５】本出願人は、ニューロンより構成されたニ
ューラルネットワークによる信号処理装置をすでに提案
している（例えば、特願平５−１１８０８７号に詳し
い。）。この発明では、この先願に係る信号処理装置を
一実施例の例題として取り扱うので、以下この先願に係
る信号処理装置について述べる。

【００４６】この先願に係る信号処理装置においては、
神経回路網の一例として、デジタル論理回路を用いた神
経細胞ユニットとこれを用いて構成したネットワーク回
路による信号処理について提案している。

【００４７】ここで基本的な考え方は、以下のようなも
のである。１．神経細胞ユニットにおける入出力信号、中間信号、
教師信号は、すべて、「０」，「１」の２値で表された
パルス列で表現する。２．ネットワーク内部での信号の値は、パルス密度（あ
る一定時間内の「１」の数）で表す。３．神経細胞ユニット内での演算は、パルス列同士の論
理演算で行う。４．結合係数のパルス列は神経細胞ユニット内のメモリ
に格納する。５．学習においては、与えられた教師信号パルス列を元
に誤差を計算し、これに基づいて、結合係数を変化させ
る。この時、誤差の計算、結合係数の変化分の計算もす
べて「０」，「１」のパルス列の論理演算で行う。

【００４８】図１０は、パルス密度方式において、一つ
のニューロン素子のフォワード処理の様子を示したもの
で、ネットワークの構成は、図２に示した階層型ニュー
ラルネットワークを考える。

【００４９】まず、「０」，「１」に２値化され、パル
ス密度で表現された入力Ｏｊと結合係数Ｗｊｉとの論理
積（ＡＮＤ）をシナプスごとに求める。これは、前記式
（１）のＷｊｉ・Ｏｊに相当する。このＡＮＤ回路の出
力のパルス密度は、確率的に入力信号のパルス密度と結
合係数のパルス密度との積となる。

【００５０】前述したように、ニューロン間の結合には
興奮性結合と抑制性結合がある。数値演算の場合は、結
合係数の符号、例えば、興奮性の時プラス、抑制性の時
マイナスというようにして演算を行う。

【００５１】パルス密度方式の場合は、結合係数Ｗｊｉ
の正負により、各結合を興奮性結合と抑制性結合との２
つのグループに分け、このグループ別にＯＲ操作による
論理和をとる。これは、式３のΣの処理と非線形飽和関
数ｆ（ｎｅｔ）の処理に相当する。

【００５２】即ち、パルス密度による演算においては、
パルス密度が低い場合、ＯＲ処理を行った結果のパルス
密度は、ＯＲ入力のパルス密度の和に近似できる。

【００５３】パルス密度が高くなるにつれて、ＯＲ回路
の出力は徐々に飽和してくるので、パルス密度の和と
は、結果が一致せず、非線形性が出てくることになる。

【００５４】このＯＲ操作の場合、パルス密度の値Ｐは
０≦Ｐ≦１となり、さらに入力の大きさに対して、単調
増加関数となるので、式（２）或いは図３のシグモイド
関数による処理と同様になる。

【００５５】パルス密度方式による神経細胞素子の出力
は、上記の演算により求められた興奮性グループのＯＲ
出力ｎｅｔ_j ⁺が“１”でかつ、抑制性グループのＯＲ出
力ｎｅｔ_j ^-が“０”の時のみ“１”を出力する。即ち、
次の式（１１）〜（１３）に示すように表す。

【００５６】

【数１１】

【００５７】次に、パルス密度方式における学習プロセ
スについて述べる。学習が行われていないニューラルネ
ットワークにおいては、あるパターンを入力したときの
ネットワークの出力は必ずしも望ましい出力とはならな
い。従って、前述したＢＰアルゴリズムと同様に学習プ
ロセスによって、実際の出力値と望ましい出力値の誤差
を小さくするように結合係数を変更していく。

【００５８】（出力層における誤差信号）最初に出力層
における誤差信号について述べる。ここで、誤差を数値
で表すと正負両方の値を取り得るが、パルス密度方式で
は、そのような表現ができないため、プラス成分を表す
信号δｋ⁺ とマイナス成分を表すδｋ^- 信号の２つを使
って、出力層における誤差信号を次の式（１４），（１
５）のように定義する。

【００５９】

【数１２】

【００６０】誤差信号プラス成分δｋ⁺ は、出力結果Ｏ
ｋが“０”で、教師信号ｔｋが“１”の時、“１”とな
り、それ以外は“０”となる。

【００６１】他方、誤差信号マイナス成分δｋ^- は、出
力結果Ｏｋが“１”で、教師信号ｔｋが“０”の時、
“１”となり、それ以外は“０”となる。

【００６２】この誤差信号δｋ⁺ ，δｋ^- は、前述のＢ
Ｐアルゴリズムでは出力層の誤差信号を求める前記式
（７）の教師信号と実際の出力信号との差（ｔ_pk−
Ｏ_pk）に対応する。

【００６３】次に、式（７）に示すように、これらの誤
差信号と出力関数ｆ（ｎｅｔ）の一階微分であるｆ´
（ｎｅｔ）との積を求め、出力層における誤差信号を求
める。一般に、学習時における誤差信号の演算には、出
力信号を内部電極で微分した微係数が必要となる。前述
のＢＰアルゴリズムでは出力関数ｆ（ｎｅｔ）として、
シグモイド関数を用いた場合、その一階微分ｆ´（ｎｅ
ｔ）は式（１６）で示される。

【００６４】

【数１３】ｆ´（ｎｅｔ）＝ｄｆ（ｎｅｔ）／ｄｎｅｔ＝ｆ（ｎｅｔ）・｛１−ｆ（ｎｅｔ）｝ … （１６）

【００６５】パルス密度方式では、式（１６）を参考に
して、一階微分ｆ´（ｎｅｔ）のプラス成分ｆ´（ｎｅ
ｔ）⁺ 及びマイナス成分ｆ´（ｎｅｔ）^- からなる微
係数を式（１７），（１８）のように定義する。

【００６６】

【数１４】

【００６７】ここで、Ｏｋ（ｔ−１）は、出力信号Ｏｋ
の１パルスディレイ値である。従って、出力層における
最終的な誤差信号は、次の式（１９），（２０）で示さ
れる。これは、前述のＢＰアルゴリズムでは、出力層の
誤差信号を求める式（７）に対応する。

【００６８】

【数１５】

【００６９】（中間層における誤差信号）パルス密度方
式による中間層における誤差信号も前述のＢＰアルゴリ
ズムによる前記式（８）を参考にして求める。即ち、出
力層における誤差信号を集めてきて中間層の誤差信号と
する。ここで、結合を興奮性か抑制性かにより２つのグ
ループに分け、積の部分は∩（ＡＮＤ），和（Σ）の部
分は∪（ＯＲ）で表現する。

【００７０】さらに、中間層における誤差信号を求める
場合、結合係数Ｗｋｊの正負，誤差信号δｋの正負の４
つに場合分けする。まず、興奮性結合の場合、出力層の
誤差信号プラス成分δｋ⁺ と、その結合係数のＡＮＤを
とったもの（δｋ⁺ ∩Ｗｋｊ⁺ ）をすべての出力層のニ
ューロンについて求め、これらのＯＲをとる。これが中
間層ニューロンの誤差信号プラス成分δｊ⁺ となる（式
（２１））。

【００７１】

【数１６】 δｊ⁺ ＝∪（δｋ⁺ ∩Ｗｋｊ⁺ ） … （２１）

【００７２】同様に、出力層の誤差信号マイナス成分δ
ｋ^- と、その結合係数のＡＮＤをとったもの（δｋ^- ∩
Ｗｋｊ⁺ ）をすべての出力層のニューロンについて求
め、これらのＯＲをとる。これが中間層ニューロンの誤
差信号マイナス成分となる（式（２２））。

【００７３】

【数１７】 δｊ^- ＝∪（δｋ^- ∩Ｗｋｊ⁺ ） … （２２）

【００７４】次に、抑制性結合の場合について述べる。
出力層の誤差信号マイナス成分δｋ^- と、その結合係数
とのＡＮＤをとったもの（δｋ^- ∩Ｗｋｊ^- ）をすべて
の出力層のニューロンについて求め、これらのＯＲをと
る。これが中間層の誤差信号プラス成分となる（式（２
３））。

【００７５】

【数１８】 δｊ⁺ ＝∪（δｋ^- ∩Ｗｋｊ^- ） … （２３）

【００７６】同様に、出力層の誤差信号プラス成分δｋ
⁺ とその結合係数とのＡＮＤをとったもの（δｋ⁺ ∩Ｗ
ｋｊ^- ）をすべての出力層のニューロンについて求め、
これらのＯＲをとる。これが中間層ニューロンの誤差信
号マイナス成分となる。

【００７７】

【数１９】 δｊ^- ＝∪（δｋ⁺ ∩Ｗｋｊ^- ） … （２４）

【００７８】ある中間層のニューロンとこれと結合され
た出力層のニューロンとの結合には、興奮性結合と抑制
性結合がある。従って、中間層の誤差信号プラス成分と
しては、式（２１）の興奮性結合のδｊ⁺ と式（２３）
の抑制性結合のδｊ⁺ の論理和をとる。同様に、中間層
の誤差信号マイナス成分としては、式（２２）の興奮性
結合δｊ^- と式（２４）の抑制性結合のδｊ^- との論理
和をとる。即ち、次の式（２５），（２６）のようにな
る。これは、ＢＰアルゴリズムによる前記式（８）のΣ
δｐｋＷｋｊに対応する。

【００７９】

【数２０】 δｊ⁺＝｛∪（δｋ⁺∩Ｗｋｊ⁺）｝∪｛∪（δｋ^-∩Ｗｋｊ^-）｝ …（２５） δｊ^-＝｛∪（δｋ^-∩Ｗｋｊ⁺）｝∪｛∪（δｋ⁺∩Ｗｋｊ^-）｝ …（２６）

【００８０】次に、式（８）のＢＰアルゴリズムと同様
に、式（２５），（２６）で求めたδｊ⁺ ，δｊ^- に式
（１７），（１８）の微係数（ｆ´（ｎｅｔ））による
処理を施す。従って、中間層における誤差信号（δｊ
⁺ ，δｊ^- ）は次の式（２７），（２８）で求められ
る。

【００８１】

【数２１】

【００８２】（学習定数ηによる処理）ＢＰアルゴリズ
ムにおいて、結合係数の修正量ΔＷを求める前記式
（６）にある学習定数ηの処理について述べる。数値演
算においては、式（６）にあるように、単純に学習定数
ηを乗算すればよいが、パルス密度方式の場合は、学習
定数ηの値に応じて、下に示すようにパルス列を間引く
ことで実現する。

【００８３】

【数２２】

【００８４】次に、学習による結合係数の修正量ΔＷを
求める方法について述べる。まず、前述した出力層或い
は中間層の誤差信号（δ+ ，δ- ）に学習定数ηによる
処理を施し、さらにニューロンへの入力信号との論理積
をとる（δη∩Ｏ）。但し、誤差信号はδ⁺ とδ^- があ
るので、次式に示すようにそれぞれを演算してΔＷ⁺，
ΔＷ^- とする。

【００８５】

【数２３】ΔＷ⁺ ＝δη⁺ ∩Ｏ … （３２） ΔＷ^- ＝δη^- ∩Ｏ … （３３）

【００８６】これは、ＢＰアルゴリズムにおけるΔＷを
求める前記式（６）に対応する。これらを元にして新し
い結合係数Ｎｅｗ＿Ｗを求めるが、結合係数Ｗが興奮性
か抑制性かにより場合分けをする。まず、興奮性の場合
には、元のＷ⁺ に対して、ΔＷ⁺ の成分を増やし、ΔＷ
^- の成分を減らす。即ち式（３４）となる。

【００８７】

【数２４】

【００８８】次に抑制性の場合には、元のＷ^- に対し
て、ΔＷ⁺ の成分を減らし、ΔＷ^- の成分を増やす。即
ち式（３５）となる。

【００８９】

【数２５】

【００９０】以上がパルス密度方式による学習アルゴリ
ズムである。ここで、図２の階層型ネットワークにおい
て、パルス密度方式におけるフォワードプロセス及び学
習プロセスの処理の流れについて簡単に述べる。まず、
フォワードプロセスであるが、最初に入力層に信号を与
えると、この入力信号が中間層に伝播していき、中間層
の信号処理として、前述の式（１１）〜（１３）を行
い、その結果を出力層に伝播させる。

【００９１】出力層では、これらの伝播してきた信号に
対して、同様に式（１１）〜（１３）の処理を実行し、
これらの結果として出力信号が得られ、フォワードプロ
セスを終了する。

【００９２】学習プロセスでは、以上のフォワードプロ
セスを行った後、更に出力層に教師信号を与える。出力
層では、式（１９），（２０）により出力層における誤
差信号を求め中間層に送る。同時にこの誤差信号に式
（２９）〜（３１）の学習定数ηによる処理を施し、式
（３２），（３３）により中間層からの入力信号との論
理積をとった後、式（３４），（３５）により出力層と
中間層との結合強度を変更する。

【００９３】次に中間層における処理として、出力層か
ら送られた誤差信号を元に、式（２７），（２８）によ
って中間層における誤差を求め、この誤差信号に式（２
９）〜（３１）の学習定数ηによる処理を施し、式（３
２），（３３）により入力層からの入力信号との論理積
をとった後、式（３４），（３５）により中間層と入力
層との結合強度を変更し、学習プロセスを終了する。以
降、収束するまで学習プロセスを繰り返す。

【００９４】次に図１１ないし図１３を参照して、以上
のアルゴリズムに基づく実際の回路構成を説明する。ニ
ューラルネットワークの構成は図２と同様である。図１
１は、ニューロンのシナプスに相当する部分の回路を示
す図で、図１２は、出力層のニューロンの細胞体と出力
層の出力と教師信号から出力層における誤差信号を求め
る回路を示す図である。また、図１３は、中間層のニュ
ーロンの細胞帯と出力層における誤差信号を集め、中間
層における誤差信号を求める部分の回路を示す図であ
る。これらの３つの回路を図２のようにネットワークに
することによって、自己学習が可能なデジタル式のニュ
ーラルネットワーク回路が実現できる。

【００９５】まず、図１１について説明する。シナプス
の結合係数はシフトレジスタ２１に保存しておく。端子
２１Ａがデータの取り出し口で、端子２１Ｂがデータの
入り口である。これはシフトレジスタと同様の機能を持
つものであれば、その他のもの、例えば、ＲＡＭとアド
レスジュネレータ等を用いてもよい。シフトレミスタ２
１を備えた回路２２は、前記の式（１１），（１２）の
（Ｏｉ∩Ｗｊｉ）を実行する回路で、入力信号と結合係
数とのＡＮＤをとっている。この出力は結合が興奮性か
抑制性かによってグループ分けしなければならないが、
あらかじめ各々のグループへの出力Ｏ⁺ ，Ｏ^- を用意
し、どちらのグループに出すのかを切り換えるようにし
た方が汎用性が高い。このため、結合が興奮性か抑制性
かを表すビットをメモリ２３に保存しておき、その情報
を用いて切り換えゲート回路２４により信号を切り換え
る。また、図１２，１３に示すように各入力を処理する
前記の式（１１），（１２）の論理和に相当する複数の
ＯＲゲート構成のゲート回路３１が設けられている。更
に同図に示すように式（１３）で示した興奮性グループ
が「１」でかつ、抑制性グループが「０」の時のみ出力
を出すＡＮＤゲートとインバータによるゲート回路３２
が設けられている。

【００９６】次に、誤差信号について説明する。図１２
における符号３４は、出力層での誤差信号を生成する回
路を示す図で、ＡＮＤ（論理積），インバータの組み合
わせによる論理回路であり、前記式（１９），（２０）
に相当する。即ち、出力層からの出力Ｏｋ、教師信号ｔ
ｋ、及びシフトレジスタ３３により出力層出力Ｏｋをデ
ィレイさせた信号Ｏｋ（ｔ−１）により出力層における
誤差信号δｋ⁺ ，δｋ^- を生成する。また、中間層にお
ける誤差信号を求める前記の式（２１）〜（２４）は、
図１１中に示すＡＮＤゲート構成のゲート回路２６によ
り行われ、プラス成分、マイナス成分に応じた出力δ
⁺ ，δ^- が得られる。このように結合が興奮性か抑制性
かで用いる誤差信号が異なるので、その場合分けを行う
必要があるが、この場合分けはメモリ２３に記憶された
興奮性か抑制性かの情報と、誤差信号のδ⁺ ，δ^- 信号
に応じて、ＡＮＤ，ＯＲゲート構成のゲート回路２５に
より行われる。また、誤差信号を集める前記の演算式
（２５），（２６）は図１３に示すＯＲゲート構成のゲ
ート回路３６で行われる。中間層における誤差信号δｊ
⁺ ，δｊ^- を求める式（２７），（２８）を実行する回
路が図１３における符号３７で中間出力Ｏｊ、シフトレ
ジスタ３３により中間層出力Ｏｊをディレイさせた信号
Ｏｊ（ｔ−１）及びＯＲ回路３６の出力である出力層か
らの誤差信号により、誤差信号δｊ⁺ ，δｊ^- が生成さ
れる。また、学習レートに相当する式（２９）〜（３
１）は、図１２，１３に示す学習定数用のη回路３５に
より行われる。

【００９７】最後に、誤差信号より新たな結合係数を計
算する部分について説明する。これは前記の式（３２）
〜（３５）で表せられ、図１１に示すＡＮＤ，インバー
タ，ＯＲゲート構成のゲート回路２２により行われる。
このゲート回路２２も結合の興奮性・抑制性によって場
合分けしなければならないが、これは図１１に示すゲー
ト回路２５により行われる。

【００９８】

【発明が解決しようとする課題】先願のパルス密度方式
によるニューラルネットワーク回路において、結合係数
を更新する学習プロセスにおける出力層誤差信号を求め
る式（１９），（２０）及びその実行回路（図１２）で
は、出力関数の微係数を求める方法が適切ではないと考
えられる。

【００９９】それは、出力層の誤差信号δｋ´、δｋ^-
を求める式（１９），（２０）において、δｋ´を求め
る式（１９）では、式中に示すように、Ｏｋ成分が重複
し、“ＯｋとＯｋの論理積”が“Ｏｋ”と省略され、δ
ｋ^- を求める式（２０）では、式中に示すようにＯｋ成
分が重複し、“Ｏｋの否定とＯｋの否定の論理積”が
“Ｏｋの否定”と省略されている。ニューラルネットワ
ークの学習においては、この影響により学習がうまくい
かず、収束率が低いといった問題を含んでいる。

【０１００】この発明では、以上の問題を解決するため
になされたもので、出力層の誤差信号を求める際に、改
良した微係数の演算方式を提案し、学習性能のよいパル
ス密度方式のニューラルネットワークを実現する。

【０１０１】

【課題を解決するための手段】この発明の信号処理装置
は、教師信号と神経細胞模倣素子出力とにより、生成さ
れる正の誤差信号と負の誤差信号に基づいて結合係数値
を更新する結合更新手段を備え、この結合更新手段を神
経細胞模倣素子に付設して、複数の神経細胞模倣素子を
網状に接続した信号処理装置において、神経細胞模倣素
子出力をｍサイクル遅延させる第１の遅延手段と、神経
細胞模倣素子出力をｍとは異なるｎサイクル遅延させる
第２の遅延手段と、上記第１の遅延手段の出力と第２の
遅延手段の出力の否定との論理積をとる第１の論理積手
段と、上記第１の遅延手段の出力の否定と第２の遅延手
段の出力との論理積をとる第２の論理積手段と、を備
え、上記第１の論理積手段の出力を神経細胞応答関数の
一方の微係数とし、上記第２の論理積手段の出力を神経
細胞応答関数の他方の微係数とし、これら両値に基づき
結合係数の更新を行うことを特徴とする。

【０１０２】また、この発明の信号処理装置は、教師信
号と神経細胞模倣素子出力とにより、生成される正の誤
差信号と負の誤差信号に基づいて結合係数値を更新する
結合更新手段を備え、この結合更新手段を神経細胞模倣
素子に付設して、複数の神経細胞模倣素子を網状に接続
した信号処理装置において、神経細胞模倣素子出力をｍ
サイクル遅延させる第１の遅延手段と、神経細胞模倣素
子出力をｍとは異なるｎサイクル遅延させる第２の遅延
手段と、上記第１の遅延手段の出力と第２の遅延手段の
出力の否定との論理積をとる手段とを備え、この出力を
神経細胞応答関数の微係数として結合係数の更新を行う
ことを特徴とする。

【０１０３】

【作用】この発明によれば誤差信号を求めるために、結
合係数を更新する際に微係数の演算項の省略がなくな
り、誤差信号を正規に演算することにより、学習収束率
を高くすることができる。

【０１０４】

【実施例】以下、この発明の実施例につき説明する。こ
の発明は、前述した先願における問題点を解決するため
に、先願のニューラルネットワークの出力層における微
係数を求める式（１７），（１８）を次の式（３６）、
（３７）に示すアルゴリズムに基づき微係数を求め、こ
の微係数を用いて誤差信号を求めるものである。

【０１０５】まず、この発明に関するアルゴリズムにつ
き説明する。この発明の出力層における微係数は上記の
ように次の式（３６）、（３７）により求める。

【０１０６】

【数２６】

【０１０７】ここで、Ｏｋ（ｔ−ｍ）は、出力層出力の
サイクルディレイ値であり、Ｏｋ（ｔ−ｎ）は、出力層
出力Ｏｋのｎサイクルディレイ値である。但し、ｍとｎ
は等しくないとする。これにより、出力層の誤差信号を
求める前述の式（１９），（２０）は、次の式のように
なる。

【０１０８】

【数２７】

【０１０９】以上により、前述した先願の式（１９），
（２０）における“ＯｋとＯｋの論理積”が“Ｏｋ”と
なる、および“Ｏｋの否定とＯｋの否定の論理積”が
“Ｏｋの否定”となる演算項の省略がなくなり、従っ
て、出力層の誤差信号が正規に演算されることになる。

【０１１０】これを実行するこの発明の第１の実施例の
回路を図１４に示す。この実施例が、前述した先願の図
１２に示す回路と相違する点は、新たに、出力層出力の
ディレイ値を得るためのシフトレジスタ３８を追加し、
先願の図１２の誤差生成部３４を図１４の回路３９〜４
１に変更したことである。これ以外の機能は同じで、同
一部分には同じ番号を付している。

【０１１１】図１４に示すように、前記式（１１）、
（１２）の論理和に相当する複数のＯＲゲート構成のゲ
ート回路３１からの出力がＡＮＤゲートとインバータに
よるゲート回路３２に与えられる。このゲート回路３２
は前述した式（１３）で示した興奮性グループが「１」
でかつ、抑制性グループが「０」の時に出力Ｏｋが出力
される。この出力層の出力Ｏｋがシフトレジスタ３３，
３８にそれぞれ当てられる。そして、シフトレジスタ３
３は出力層の出力Ｏｋをｍサイクルディレイさせた信号
Ｏｋ（ｔ−ｍ）を生成し、同じくシフトレジスタ３８は
ｎサイクルディレイさせた信号Ｏｋ（ｔ−ｎ）を生成す
る。

【０１１２】式（３６）の微係数のプラス成分ｆ´（ｎ
ｅｔ）⁺ をＡＮＤとインバータによる論理積回路３９で
生成する。式（３７）の微係数のマイナス成分ｆ´（ｎ
ｅｔ）^- をＡＮＤとインバータによる論理積回路４０で
生成する。これらの微分係数と教師信号ｔｋを入力と
し、ＡＮＤとインバータによるゲート回路４１により式
（３８），（３９）に示す演算が行われ、出力信号の誤
差信号δｋ⁺ ，δｋ^- を生成する。

【０１１３】この発明の第２の実施例を図１５に示す。
この第２の実施例では、出力層における微係数を次の式
（４０）とし、出力層の誤差信号を式（４１），（４
２）にて求めている。

【０１１４】

【数２８】

【０１１５】これは、微係数のプラス成分ｆ´（ｎｅ
ｔ）⁺ とマイナス成分ｆ´（ｎｅｔ）^-を等しいものと
して取り扱い、ＡＮＤとインバータによる論理積回路３
９の１つで微係数を生成する。この微分係数と教師信号
ｔｋを入力とし、ＡＮＤとインバータによるゲート回路
４２により式（４１），（４２）に示す演算が行われ、
出力信号の誤差信号δｋ⁺ ，δｋ^- を生成する。

【０１１６】この図１５に示す第２の実施例は、図１４
に示す第１の実施例に比べて回路が少し減少できている
が、このようにして求めた出力層誤差信号δｋ⁺ ，δｋ
^- は、前述の第１の実施例と確率的に等しくなり、同じ
機能を有することになる。

【０１１７】次に、先願（従来方式）とこの発明の特性
との改良の効果を確認するため、簡単な数字認識シミュ
レーションを行った。

【０１１８】これは、数字認識問題を対象とし、数字パ
ターン‘１’〜‘５’を５種、トータルで２５パターン
を学習させる。なお、使用した数字パターンを図１６に
示す。この数字パターンについてもう少し詳しくみてみ
る。各数字パターン間の画素パターン相違数を図１８に
示す。これは、各パターン間の違いを数量的に表したも
ので、似たパターン間では、小さい値となり、異なった
パターン間では大きい値をとる。例えば、図１８の第１
行のパターン番号０、即ち図１６の‘１’という数字パ
ターンは、列のパターン番号［５］，［１０］，［１
５］，［２０］では、同じ‘１’のパターンであるた
め、パターンは似ており、値も小さい。ところが、これ
らの列以外の‘２’〜‘５’のパターンとはパターンが
異なるため、大きな値を持っている。

【０１１９】数字認識をニューラルネットワークで実行
させると、先ずこれらの各パターン間の特徴をニューラ
ルネットワークが学習し、ニューラルネットワーク内に
取り込むことによって、少々のノイズ等の外乱があって
も、‘１’〜‘５’のパターンを正しく認識できるよう
になることになる。

【０１２０】使用したニューラルネットワーク構成は、
３層階層型ニューラルネットワークとし、、入力階層は
６４ニューロンで、これは数字パターン８×８画素に対
応する。各画素と入力ニューロンナンバーの対応を図１
７に示す。中間層は、４〜３２ニューロン、出力層は、
５ニューロンとし、これは数字パターン‘１’〜‘５’
に対応する。試行回数は１００回とする。

【０１２１】シミュレーション結果として、試行回数１
００回のうち、学習が収束したすなわち数字２５パター
ンを全て、‘１’〜‘５’に正しく認識した試行回数を
図１９及び図２０に示す。なお、ここでは、試行回数を
１００回としているので、成功回数がそのまま収束率
（％）となる。

【０１２２】図１９及び図２０において、微分項を正し
く演算していると考えられるこの発明の方式では、従来
方式よりかなり学習収束率が高くなっており、誤差生成
方式の効果が顕著に表れている。また、両方式は、中間
層ニューロン数が多くなるほど収束率は高い。これは、
このような中間層ニューロン数では、ニューロンが多く
なるほど、即ち、ニューロン間の結合数が増えるにつ
れ、ニューラルネットワークに取り込む情報の量が多く
なるため、より性能よくパターン認識が行えるためと考
えられる。次に、以上のシミュレーション結果をニュー
ロ特性から考察してみる。

【０１２３】ニューラルネットワークのニューロンの出
力関数として、一般的なシグモイド関数（ｎｅｔ）とそ
の微分係数ｆ´（ｎｅｔ）は図３に示した通りである。
図３よりｆ（ｎｅｔ）はｎｅｔ＝０でｆ（ｎｅｔ）＝
０．５をとり、ｎｅｔ値が大きくなるにつれ、増加する
ような関数である。その微分ｆ´（ｎｅｔ）はｎｅｔ＝
０でＭａｘ．値ｆ´（ｎｅｔ）＝０．２５をとり、ｎｅ
ｔが０から大きく或いは小さくなるにつれ小さくなるよ
うな曲線となる。

【０１２４】パルス密度ニューロの出力特性と微分特性
を図２１に示す。これは、興奮性入力４、抑制性入力２
のパルスニューロ特性を示しており、このときｎｅｔ値
は、増加関数ではあるが、図３のシグモイド関数とは形
状が異なる。

【０１２５】図２１には、従来例の出力関数の微係数ｆ
´（ｎｅｔ）⁺ 及びｆ´（ｎｅｔ）^- を示す。これは、
従来方式の出力層の誤差信号を求める式（１９），（２
０）から微分項プラス成分はｆ´（ｎｅｔ）⁺ ＝ｆ（ｎ
ｅｔ）で右下がり曲線で、一方、微分項マイナス成分は
ｆ´（ｎｅｔ）^- ＝｛１−ｆ（ｎｅｔ）｝とみなされ、
右下がり曲線となる。

【０１２６】これに比べ、従来方式を改良したこの発明
による方式では、式（３８），（３９）及び式（４
１），（４２）より、ｆ´（ｎｅｔ）⁺ ＝ｆ´（ｎｅ
ｔ）^- ＝ｆ（ｎｅｔ）・｛１−ｆ（ｎｅｔ）｝とみなせ
るため、図２１に示すように凸形となり、シグモイド曲
線の場合の微分特性と近似していることがわかる。従っ
て、これにより数字認識のシミュレーション結果もこの
発明による方式の方が学習収束率が高く、有効であるこ
とがわかる。

【０１２７】

【発明の効果】以上説明したように、この発明によれ
ば、結合係数を更新する際に微係数の演算項の省略がな
くなり、誤差信号が正規に演算され、学習収束率を高く
することができる。

【図面の簡単な説明】

【図１】神経細胞ユニットの模式図である。

【図２】ニューラルネットワークの模式図である。

【図３】シグモイド関数を示すグラフである。

【図４】フォワードプロセスを説明する模式図である。

【図５】学習プロセスを説明する模式図である。

【図６】ニューラルネットワークに相当する電気回路図
である。

【図７】単一神経細胞に相当する電気回路図である。

【図８】シナプス回路のブロック回路図である。

【図９】細胞体回路のブロック図である。

【図１０】パルス密度方式における１つのニューロン素
子のフォワード処理の様子を示す模式図である。

【図１１】ニューロンのシナプスに相当する部分の回路
示すブロック図である。

【図１２】出力層での誤差信号を生成する回路の論理回
路図である。

【図１３】中間層での誤差信号を生成する回路の論理回
路図である。

【図１４】この発明の第１の実施例を示すブロック回路
図である。

【図１５】この発明の第２の実施例を示すブロック回路
図である。

【図１６】数字認識シミュレーションに用いる数字パタ
ーン例を示す模式図である。

【図１７】各画素とニューロンナンバーの対応を示す図
である。

【図１８】各数字パターン間の画素パターン相違数を示
す図である。

【図１９】中間層ニューロン数と収束率との関係を示す
図である。

【図２０】中間層ニューロン数と収束率との関係を示す
図である。

【図２１】出力関数の微係数を示す図である。

【符号の説明】

３１ゲート回路３２ゲート回路３３シフトレジスタ（遅延手段）３８シフトレジスタ（遅延手段）３９論理積回路４０論理積回路４１ゲート回路４２ゲート回路

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成５年１１月１７日

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】０００４

【補正方法】変更

【補正内容】

【０００４】図１は、一つのニューロンのモデル（神経
細胞ユニット）を表すもので、他のニューロンから入力
を受ける部分、入力を一定の規則で変換する部分、結果
を出力する部分からなる。他のニューロンとの結合部に
はそれぞれ可変の重み“Ｗｊｉ”を付け、結合の強さを
表している。この値を変えるとネットワークの構造が変
わる。ネットワークの学習とはこの値を変えることであ
る。

【手続補正２】

【補正対象書類名】明細書

【補正対象項目名】００１０

【補正方法】変更

【補正内容】

【００１０】今、自分のニューロンがｊ番目であると
し、ｉ番目のニューロンの出力をＯｉとすると、これに
結合係数Ｗｊｉを掛けＷｊｉ・Ｏｉが自分のニューロン
への入力となる。各ニューロンは多数のニューロンと結
合しているので、それらのニューロンに対するＷｊｉ・
Ｏｉを足し合わせた結果であるΣＷｊｉ・Ｏｉが、自分
のニューロンへの入力となる。これを内部電位と言い、
次式で示される。

【手続補正３】

【補正対象書類名】明細書

【補正対象項目名】００１１

【補正方法】変更

【補正内容】

【００１１】

【数１】ｎｅｔ_j ＝ΣＷｊｉ・Ｏｉ … （１）

【手続補正４】

【補正対象書類名】明細書

【補正対象項目名】００１５

【補正方法】変更

【補正内容】

【００１５】

【数３】Ｏｊ＝ｆ（ｎｅｔ_j ）＝ｆ（ΣＷｊｉ・Ｏｉ） … （３）

【手続補正５】

【補正対象書類名】明細書

【補正対象項目名】００２１

【補正方法】変更

【補正内容】

【００２１】

【数５】ΔｐＷｋｊ∝−ЭＥ／ЭＷｋｊ … （５）

【手続補正６】

【補正対象書類名】明細書

【補正対象項目名】００２９

【補正方法】変更

【補正内容】

【００２９】

【数９】 ΔＷｊｉ（ｔ＋１）＝η・δｐｊ・Ｏｐｉ＋α・ΔＷｊｉ（ｔ） … （９）

【手続補正７】

【補正対象書類名】明細書

【補正対象項目名】００４９

【補正方法】変更

【補正内容】

【００４９】まず、「０」，「１」に２値化され、パル
ス密度で表現された入力Ｏｉと結合係数Ｗｊｉとの論理
積（ＡＮＤ）をシナプスごとに求める。これは、前記式
（１）のＷｊｉ・Ｏｉに相当する。このＡＮＤ回路の出
力のパルス密度は、確率的に入力信号のパルス密度と結
合係数のパルス密度との積となる。

【手続補正８】

【補正対象書類名】明細書

【補正対象項目名】００６３

【補正方法】変更

【補正内容】

【００６３】次に、式（７）に示すように、これらの誤
差信号と出力関数ｆ（ｎｅｔ）の一階微分であるｆ´
（ｎｅｔ）との積を求め、出力層における誤差信号を求
める。一般に、学習時における誤差信号の演算には、出
力信号を内部電位で微分した微係数が必要となる。前述
のＢＰアルゴリズムでは出力関数ｆ（ｎｅｔ）として、
シグモイド関数を用いた場合、その一階微分ｆ´（ｎｅ
ｔ）は式（１６）で示される。

【手続補正９】

【補正対象書類名】明細書

【補正対象項目名】００６８

【補正方法】変更

【補正内容】

【００６８】

【数１５】

【手続補正１０】

【補正対象書類名】明細書

【補正対象項目名】００９４

【補正方法】変更

【補正内容】

【００９４】次に図１１ないし図１３を参照して、以上
のアルゴリズムに基づく実際の回路構成を説明する。ニ
ューラルネットワークの構成は図２と同様である。図１
１は、ニューロンのシナプスに相当する部分の回路を示
す図で、図１２は、出力層のニューロンの細胞体と出力
層の出力と教師信号から出力層における誤差信号を求め
る回路を示す図である。また、図１３は、中間層のニュ
ーロンの細胞体と出力層における誤差信号を集め、中間
層における誤差信号を求める部分の回路を示す図であ
る。これらの３つの回路を図２のようにネットワークに
することによって、自己学習が可能なデジタル式のニュ
ーラルネットワーク回路が実現できる。

【手続補正１１】

【補正対象書類名】明細書

【補正対象項目名】００９５

【補正方法】変更

【補正内容】

【００９５】まず、図１１について説明する。シナプス
の結合係数はシフトレジスタ２１に保存しておく。端子
２１Ａがデータの取り出し口で、端子２１Ｂがデータの
入り口である。これはシフトレジスタと同様の機能を持
つものであれば、その他のもの、例えば、ＲＡＭとアド
レスジュネレータ等を用いてもよい。シフトレジスタ２
１を備えた回路２２は、前記の式（１１），（１２）の
（Ｏｉ∩Ｗｊｉ）を実行する回路で、入力信号と結合係
数とのＡＮＤをとっている。この出力は結合が興奮性か
抑制性かによってグループ分けしなければならないが、
あらかじめ各々のグループへの出力Ｏ⁺，Ｏ^-を用意
し、どちらのグループに出すのかを切り換えるようにし
た方が汎用性が高い。このため、結合が興奮性か抑制性
かを表すビットをメモリ２３に保存しておき、その情報
を用いて切り換えゲート回路２４により信号を切り換え
る。また、図１２，１３に示すように各入力を処理する
前記の式（１１），（１２）の論理和に相当する複数の
ＯＲゲート構成のゲート回路３１が設けられている。更
に同図に示すように式（１３）で示した興奮性グループ
が「１」でかつ、抑制性グループが「０」の時のみ出力
を出すＡＮＤゲートとインバータによるゲート回路３２
が設けられている。

【手続補正１２】

【補正対象書類名】明細書

【補正対象項目名】００９６

【補正方法】変更

【補正内容】

【００９６】次に、誤差信号について説明する。図１２
における回路３４は、出力層での誤差信号を生成する回
路を示す図で、ＡＮＤ（論理積），インバータの組み合
わせによる論理回路であり、前記式（１９），（２０）
に相当する。即ち、出力層からの出力Ｏｋ、教師信号ｔ
ｋ、及びシフトレジスタ３３により出力層出力Ｏｋをデ
ィレイさせた信号Ｏｋ（ｔ−１）により出力層における
誤差信号δｋ⁺ ，δｋ^- を生成する。また、中間層にお
ける誤差信号を求める前記の式（２１）〜（２４）は、
図１１中に示すＡＮＤゲート構成のゲート回路２６によ
り行われ、プラス成分、マイナス成分に応じた出力δ
⁺ ，δ^- が得られる。このように結合が興奮性か抑制性
かで用いる誤差信号が異なるので、その場合分けを行う
必要があるが、この場合分けはメモリ２３に記憶された
興奮性か抑制性かの情報と、誤差信号のδ⁺ ，δ^- 信号
に応じて、ＡＮＤ，ＯＲゲート構成のゲート回路２５に
より行われる。また、誤差信号を集める前記の演算式
（２５），（２６）は図１３に示すＯＲゲート構成のゲ
ート回路３６で行われる。中間層における誤差信号δｊ
⁺ ，δｊ^- を求める式（２７），（２８）を実行する回
路が図１３における回路３７で中間出力Ｏｊ、シフトレ
ジスタ３３により中間層出力Ｏｊをディレイさせた信号
Ｏｊ（ｔ−１）及びＯＲ回路３６の出力である出力層か
らの誤差信号により、誤差信号δｊ⁺ ，δｊ^- が生成さ
れる。また、学習レートに相当する式（２９）〜（３
１）は、図１２，１３に示す学習定数用のη回路３５に
より行われる。

【手続補正１３】

【補正対象書類名】明細書

【補正対象項目名】００９７

【補正方法】変更

【補正内容】

【００９７】最後に、誤差信号より新たな結合係数を計
算する部分について説明する。これは前記の式（３２）
〜（３５）で表せられ、図１１に示すＡＮＤ，インバー
タ，ＯＲゲート構成のゲート回路２７により行われる。
このゲート回路２７も結合の興奮性・抑制性によって場
合分けしなければならないが、これは図１１に示すゲー
ト回路２５により行われる。

【手続補正１４】

【補正対象書類名】明細書

【補正対象項目名】００９９

【補正方法】変更

【補正内容】

【００９９】それは、出力層の誤差信号δｋ⁺、δｋ^-
を求める式（１９），（２０）において、δｋ⁺を求め
る式（１９）では、式中に示すように、Ｏｋの否定成分
が重複し、“Ｏｋの否定とＯｋの否定の論理積”が“Ｏ
ｋの否定”と省略され、δｋ^-を求める式（２０）で
は、式中に示すようにＯｋ成分が重複し、“ＯｋとＯｋ
の論理積”が“Ｏｋ”と省略されている。ニューラルネ
ットワークの学習においては、この影響により学習がう
まくいかず、収束率が低いといった問題を含んでいる。

【手続補正１５】

【補正対象書類名】明細書

【補正対象項目名】０１０７

【補正方法】変更

【補正内容】

【０１０７】ここで、Ｏｋ（ｔ−ｍ）は、出力層出力Ｏ
ｋのｍサイクルディレイ値であり、Ｏｋ（ｔ−ｎ）は、
出力層出力Ｏｋのｎサイクルディレイ値である。但し、
ｍとｎは等しくないとする。これにより、出力層の誤差
信号を求める前述の式（１９），（２０）は、次の式の
ようになる。

【手続補正１６】

【補正対象書類名】明細書

【補正対象項目名】０１０９

【補正方法】変更

【補正内容】

【０１０９】以上により、前述した先願の式（１９），
（２０）における“Ｏｋの否定とＯｋの否定の論理積”
が“Ｏｋの否定”となる、および“ＯｋとＯｋの論理
積”が“Ｏｋ”となる演算項の省略がなくなり、従っ
て、出力層の誤差信号が正規に演算されることになる。

【手続補正１７】

【補正対象書類名】明細書

【補正対象項目名】０１２１

【補正方法】変更

【補正内容】

【０１２１】シミュレーション結果として、試行回数１
００回のうち、学習が収束したすなわち数字２５パター
ンを全て、‘１’〜‘５’に正しく認識した成功回数を
図１９及び図２０に示す。なお、ここでは、試行回数を
１００回としているので、成功回数がそのまま収束率
（％）となる。

【手続補正１８】

【補正対象書類名】明細書

【補正対象項目名】０１２４

【補正方法】変更

【補正内容】

【０１２４】パルス密度ニューロの出力特性と微分特性
を図２１に示す。これは、興奮性入力４、抑制性入力２
のパルスニューロ特性を示しており、このときｎｅｔ値
は、−２≦ｎｅｔ≦４の値をとる。このとき出力値ｆ
（ｎｅｔ）は、増加関数ではあるが、図３のシグモイド
関数とは形状が異なる。

【手続補正１９】

【補正対象書類名】明細書

【補正対象項目名】０１２５

【補正方法】変更

【補正内容】

【０１２５】図２１には、従来例の出力関数の微係数ｆ
´（ｎｅｔ）⁺及びｆ´（ｎｅｔ）^-を示す。これは、
従来方式の出力層の誤差信号を求める式（１９），（２
０）から微分項プラス成分はｆ´（ｎｅｔ）⁺＝ｆ（ｎ
ｅｔ）で右上がり曲線で、一方、微分項マイナス成分は
ｆ´（ｎｅｔ）^-＝｛１−ｆ（ｎｅｔ）｝とみなされ、
右下がり曲線となる。

Claims

【特許請求の範囲】

【請求項１】教師信号と神経細胞模倣素子出力とによ
り、生成される正の誤差信号と負の誤差信号に基づいて
結合係数値を更新する結合更新手段を備え、この結合更
新手段を神経細胞模倣素子に付設して、複数の神経細胞
模倣素子を網状に接続した信号処理装置において、神経
細胞模倣素子出力をｍサイクル遅延させる第１の遅延手
段と、神経細胞模倣素子出力をｍとは異なるｎサイクル
遅延させる第２の遅延手段と、上記第１の遅延手段の出
力と第２の遅延手段の出力の否定との論理積をとる第１
の論理積手段と、上記第１の遅延手段の出力の否定と第
２の遅延手段の出力との論理積をとる第２の論理積手段
と、を備え、上記第１の論理積手段の出力を神経細胞応
答関数の一方の微係数とし、上記第２の論理積手段の出
力を神経細胞応答関数の他方の微係数とし、これら両値
に基づき結合係数の更新を行うことを特徴とする信号処
理装置。
【請求項２】教師信号と神経細胞模倣素子出力とによ
り、生成される正の誤差信号と負の誤差信号に基づいて
結合係数値を更新する結合更新手段を備え、この結合更
新手段を神経細胞模倣素子に付設して、複数の神経細胞
模倣素子を網状に接続した信号処理装置において、神経
細胞模倣素子出力をｍサイクル遅延させる第１の遅延手
段と、神経細胞模倣素子出力をｍとは異なるｎサイクル
遅延させる第２の遅延手段と、上記第１の遅延手段の出
力と第２の遅延手段の出力の否定との論理積をとる手段
とを備え、この出力を神経細胞応答関数の微係数として
結合係数の更新を行うことを特徴とする信号処理装置。