JP3260357B2 - 情報処理装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、大規模かつ高速な並列分散処理を実現する
ためのメモリ回路を内蔵した情報処理装置に関するもの
である。特にニューラルネットワーク情報処理を行なう
情報処理装置に関するものである。

〔従来の技術〕

ニューロコンピューティングとよばれるニューラルネ
ットワークを用いた並列分散型情報処理（以下ニューラ
ルネットワーク情報処理）は、コンプレックスシステム
ズ１（1987年）第145頁から第168頁（Sejnowski,T.J.,a
nd Rosenberg,C.R.1987.Parallel networks that learn
to pronounce English text.Complex Systems 1,pp.14
5−168）あるいはニューラルネットワーク情報処理（産
業図書、麻生英樹著）などに述べられているように音声
あるいは画像処理などの分野において注目を集めてい
る。ニューラルネットワーク情報処理では、ネットワー
ク状に結合した多数のニューロンと呼ばれる演算要素
が、結合と呼ばれる伝達線を通じて情報をやりとりして
高度な情報処理を行なう。各々のニューロンでは他のニ
ューロンから送られてきた情報（ニューロン出力値）に
対して積あるいは和などの単純な演算が行なわれる。各
々のニューロン内の演算、さらには、異なるニューロン
の演算も並列に行なうことが可能なため、原理的には、
高速に情報処理を行なうことができる特長を持ってい
る。また、ネイチャー323−９、（1986年ａ）第533頁か
ら第535頁（Rumelhart,D.E.,Hinton,G.E.,and William
s,R.J.1986a.Learning representations by back−prop
agation errors.Nature 323−9,pp.533−536）、あるい
はニューラルネットワーク情報処理（産業図書、麻生英
樹著）第２章などに述べられているように、望ましい情
報処理を行なわせるためにニューロン同志をつなぐ結合
の重み値を設定するアルゴリズム（学習）も提案されて
いるため、目的に応じた様々な情報処理をさせることが
できる。

〔発明が解決しようとする課題】

まず、ニューラルネットワークの動作原理を２種類の
代表的なネットワークである階層型ネットワークとホッ
プフィールド型ネットワークについて説明する。第２図
（ａ）は、階層型ネットワーク、第３図（ａ）は、ホッ
プフィールド型ネットワークの構造を示したものであ
る。これらは、どちらもニューロンとニューロン同土を
つなぐ結合から構成されている。ここでは、ニューロン
という用語を用いるが、場合によってはノード、あるい
は演算要素などと呼ばれることもある。結合の矢印の向
きは、ニューロン出力値の伝わる方向を示している。階
層型ネットワークは、第２図（ａ）に示したように、ニ
ューロンが複数の階層をなすように並び、入力層から出
力層へ向かう方向にのみニューロン出力値が伝わるもの
である。一方、ホップフィールド型ネットワークは、第
３図（ａ）に示したように、同じニューロンにニューロ
ン出力値がフィードバックされるほか、任意の２つのニ
ューロン間で両方向にニューロン出力値が伝わるもので
ある。

第２図（ｂ），第３図（ｂ）にニューロン内で行なわ
れる演算の原理を示した。演算の原理はどちらのネット
ワークでも同様なので、第２図（ｂ）を用いて階層型ネ
ットワークについて説明する。第２図（ｂ）は、Ｓ＋１
番目の層内のｊ番目のニューロンを拡大して示したもの
である。このニューロン内には結合を通じて前層、すな
わちＳ番目の層内のニューロンの出力値V_1S,…,V_iS,…,
Vn_{S S}が入力される。ここで、n_SはＳ番目の層内のニュ
ーロンの数を示している。ニューロン内では入力された
ニューロンの出力値V_1S,…,V_iS,…,Vn_{S S}と結合重み値T
^S _{j 1},…,T^S _{j i},…,T^S _j n_Sとの積V_1ST^S _{j 1},…,V_iST^S _{j i},
…,Vn_{S S}T^S _j n_Sが乗算機MTにより計算される。つぎに、
これらの積とオフセットΘ_jS+1との和を加算機ADDによ
り計算する。オフセットΘ_jS+1は場合によっては、省略
してもよい。さらに、その結果を非線形関数回路Ｄに入
力してニューロンの出力値V_jS+1を得る。非線形関数回
路Ｄは第２図（ｃ）あるいは、（ｄ）に示したような特
性を持ち、入力ｘに対して出力ｇ（ｘ）を出力する。第
２図（ｃ）は、入力ｘがあるしきい値xthを越えるか否
かにより２値の出力g1あるいはg2を出力する非線形関数
の例であり、第２図（ｄ）は、シグモイド関数を用いた
例で連続的な出力を出す。非線形関数回路Ｄには、必要
に応じてこの他の特性を持たせることもある。また、場
合によっては、線形の特性を持たせてもよい。

上記の演算の原理は、第３図（ｂ）に示したようにホ
ップフィールド型ネットワークでも同様である。ただ
し、ポップフィールド型ネットワークでは、１つのニュ
ーロンに１層前のニューロンだけでなく、すべてのニュ
ーロンの出力値が入力される。

第２図（ａ），（ｂ）より判るように、階層型ネット
ワークでは、まず、入力層のニューロンの出力値を与え
たあと次の層内のニューロンの出力値が更新され、さら
に次の層内のニューロンの出力値が更新されて１つの処
理が終了する。一方、第３図（ａ）のようにホップフィ
ールド型ネットワークでは、層というものがないため、
それぞれのニューロンは、適当なタイミングで出力値を
更新することができる。このホップフィールド型ネット
ワークでは、すべてのニューロン出力値を適当に与え、
ニューロン出力値が平衡状態となるまでニューロン出力
値の更新を続ける。すべてのニューロンの出力値を同時
に更新するものを同期的なホップフィールド型ネットワ
ーク、それぞれのニューロンが、勝手なタイミングで出
力値を更新するものを非同期的なホップフィールド型ネ
ットワークと呼んで区別する。

上記のようなニューラルネットワークの演算を行なう
ためにソフトウエアを用いる方法とハードウエアを用い
る方法とが用いられてきた。ソフトウエアを用いる方法
では、計算機言語で書かれたプログラムによりニューロ
ンの演算を行なうので目的に応じてニューロンの数を変
えたりネットワークの構造を容易に変えることができ
る。しかし、演算を逐次的に行なうためニューロンの数
を増やすと情報処理時間が急激に増加するという欠点が
あった。たとえば、ｎ個のニューロンを用いたホップフ
ィールド型ネットワークでは、１つのニューロンの出力
値を更新するのにｎ回の積を計算しなければならない。
したがって、すべてのニューロンの出力値を少なくとも
１回更新するためには、n²回の積を計算する必要があ
る。すなわち、ニューロン数ｎの増大とともに計算量は
n²のオーダーで増加する。その結果、乗算を逐次的に行
なうと情報処理時間もn²のオーダーで増加してしまう。

ハードウエアを用いる方法では、乗算などの演算を行
なうニューロンをハードウエア化することによって、演
算の時間を短縮できる。さらに、ハードウエア化したニ
ューロンを多数用いることによって演算を並列に行ない
さらに高速化を図る試みもなされてきた。しかし、ニュ
ーロンの数を増やすとニューロン間の信号線にあたる配
線の本数がn²のオーダーで増加するため、大規模なネッ
トワークを実現するのが困難であった。

配線の問題を解決する方法の一例として日経マイクロ
デバイス1989年３月号p.123−129に記載されたものの原
理を第４図に示す。第４図はアナログニューロプロセッ
サANPとSRAMとを用いて３層で各層に３つのニューロン
を用いた階層型ネットワークを構成した例を示してい
る。ANPは、第２図（ｂ）における乗算機MTと加算機ADD
が１つずつと非線形関数回路Ｄなどが１チップに集積さ
れてものである。別のチップであるSRAMには、各ニュー
ロンに属する結合重み値が記憶されている。異なる層の
ニューロンとは、アナログコモンバスと呼ばれる１本の
信号線を使って結合されている。入力層のニューロン出
力値は外部から入力するため、入力層のニューロンに相
当するANPとSRAMは省略されている。

動作は次のようになる。まず、所望の情報処理に必要
な各ANP用の結合重み値を外部から、それぞれのSRAMに
読み込む。次に入力信号線から、入力層内の１つのニュ
ーロンの出力値にあたる入力アナログ信号を入力する。
入力信号は、中間層のニューロンに相当するANPに直
接、並列に入る。入力信号に同期させて、重みデータを
SRAMから各ANPにデータを読出す。次に２つの信号の積
を計算しその結果を各ANPに記憶する。つづいて、入力
層の別のニューロンの出力値にあたる入力アナログ信号
を入力して同様に積を計算しその結果を中間層の各ANP
に記憶されている値に足し合わせる。入力層の最後のニ
ューロンの出力値にあたる入力アナログ信号について同
様の演算を行なった後に、中間層のニューロン出力値V
₁₂,V₂₂,V₃₂をANP内の非線形関数回路により順番に中間
層アナログコモンバスに出力し上記と同様の演算を続け
る。最後に出力層のANP内の非線形関数回路により出力
層のニューロン出力値V₁₃,V₂₃,V₃₃を出力層アナログコ
モンバスに順番に出力する。

上記のように第４図に示した従来例に依れば、コモン
バスを時分割で駆動することにより配線の問題を回避す
ることができる。また、１層内のニューロンの数だけの
乗算を並列に行なうことができるので、ハードウエア化
による演算スピードの高速化とあいまって情報処理速度
をソフトウエアによる方法と比べて大幅に上げることが
できる。

しかし、ANPとSRAMとを別々のチップとしているため
大規模なネットワークを高密度に実現するのは、困難で
ある。上記の日経マイクロデバイス1989年３月号p.129
に記載されているように10mm角のチップ上に32ニューロ
ンを集積することが可能だとしても１つのニューロンに
ついて加算器，乗算器，非線形関数回路を１つずつ用意
する必要があるため、数百，数千のニューロンを１つの
チップ上に集積することは困難である。

また、上記従来例では、実際の問題に適用する際に次
のような問題がある。階層型ネットワークの応用例とし
て３層のネットワークに英文字を入力してその発音、ア
クセントを出力する例がコンプレックスシステムズ１
（1987年）第145頁から第168頁（Sejnowski,T.J.,and R
osenberg,C.R.1987.Parallel networks that learn to
pronounce English text.Complex Systems 1,pp.145−1
68）に述べられている。第１層のニューロン出力値とし
て英文字７文字のコードが設定され、第３層の26個のニ
ューロンの出力値として上記７文字の中央の文字の発
音、アクセントに対応するコードを出力するというもの
である。このような例では、入力によっては、出力層の
ニューロンの出力値が、あらかじめ定義しておいた発
音，アクセントのコードに一致せずあいまいな値が得ら
れることがある。したがって、得られた出力と、すべて
の発音，アクセントのコードを比較して最も近いコード
を見つけてそれを正解とする必要がある。このような出
力値と出力の期待値（上記例では発音，アクセントのコ
ード）との比較は、ニューラルネットワークによるパタ
ーン認識などでも同様に必要となる。上記の従来例では
この点が考慮されおらず、実際の問題に適用する際に不
便であった。

さらに上記従来例では所望の情報処理に必要な結合重
み値を外部のコンピュータで求めてその結果を第４図の
SRAMに書き込んでいる。従って学習をソフトウエアです
べて行うため、学習を高速に行うことは困難であった。

本発明の目的は、多数のニューロンを含むネットワー
クにおいてニューロン出力値の計算を、少数の回路を用
いて高速に行なう装置を提供することにある。また、本
発明の他の目的は、ニューロン出力値と期待値を高速に
比較する機能を上記装置に持たせることにある。さら
に、本発明の更に他の目的は学習に必要な演算の少なく
とも１部を処理する機能を上記装置に持たせることにあ
る。本発明の他の目的は以下の説明及び図面によって、
明らかにされる。

〔課題を解決するための手段〕

上記課題を解決するために、本発明では、ニューロン
出力値，結合重み値，出力の期待値ならびに学習に必要
なデータなどを記憶するメモリ回路、該メモリ回路に情
報を書き込んだり、該メモリ回路より情報を読出したり
するための入出力回路、該メモリ回路に記憶されている
情報を用いて積和および非線形変換等ニューロン出力値
を求めるための演算ならびに出力値とその期待値の比
較，学習に必要な演算などを行なう演算回路，上記メモ
リ回路，入出力回路，演算回路の動作を制御するための
制御回路を設けた。上記演算回路は加算器，乗算器，非
線形関数回路，比較器などのいずれかを少なくとも１つ
以上含んで構成され、積和等ニューロン出力値を求める
ために必要な演算の少なくとも１部を並列に行なえるよ
うにした。しかも、これらの回路を複数のニューロンで
共用させ、時分割で動作させることによって、複数のニ
ューロン出力値を求めるようにした。また、上記比較器
は、求めたニューロン出力値と出力の期待値とを並列に
比較するようにした。

〔作用〕 上記のように演算回路に含まれる加算器、乗算器、非
線形関数回路を複数のニューロンについて共用したた
め、多数のニューロンを用いたニューラルネットワーク
においてニューロン出力値を計算する装置を少数の回路
で実現することができる。また、上記演算回路で積和等
ニューロン演算の少なくとも１部を並列に行なうため、
情報処理を高速に行なうことができる。また、上記比較
器により、得られた出力値と出力の期待値とを並列に比
較することができるため、得られた出力値と期待値との
距離（得られた出力値と期待値との一致度、いわゆるハ
ミング距離）を高速に求めることができる。さらに、学
習に必要な演算の少なくとも１部を装置のハードウエア
で行うため学習の高速化を図ることができる。

〔実施例〕

第１図は、本発明による情報処理装置を半導体チップ
上に集積化した場合の１実施例である。

情報を記憶するメモリ回路、該メモリ回路に情報を書
き込み、及び、該メモリ回路より情報を読出す動作の少
なくとも一方を行なう入出力回路，ニューロン出力値を
求めるための演算，出力値と期待値との比較（得られた
出力値と期待値との一致度、いわゆるハミング距離の算
定）、あるいは学習に必要な演算などを該メモリ回路に
記憶されている情報を用いて行う演算回路，上記メモリ
回路，入出力回路，演算回路の動作を制御するための制
御回路を半導体チップ上に集積してある。各ブロックを
結ぶバスは１本の配線とは限らず必要な複数の配線で構
成される。上記メモリ回路には、ニューラルネットワー
ク情報処理に必要な結合重み値，ニューロン出力値，出
力の期待値あるいは学習に必要なデータなどを記憶する
ことができる。本実施例により次のようにしてニューロ
ン出力値の計算、出力値と期待値との比較、あるいは学
習に必要な計算などニューラルネットワーク情報処理を
行なうことができる。

初めにニューロン出力値を計算する方法について述べ
る。まず、制御回路により、メモリ回路から演算回路に
バス１を通じてニューラルネットワーク情報処理のため
の演算を行うのに必要な結合重み値ならびにニューロン
出力値あるいは、オフセットなどを並列に読出す。次に
演算回路によりニューロン出力値を求めるのに必要な積
和，非線形変換などの演算を並列に行ない、得られた結
果を入出力回路を通じてメモリ回路へ書込む。以上の動
作を必要な回数続けてニューロン出力値を求めていく。
演算回路では１回の動作で１つあるいは複数のニューロ
ン出力値を同時に求めてもよいし、あるいはニューロン
出力値を求める計算の１部を行ってもよい。このように
すれば、階層型ネットワーク、あるいは同期型，非同期
型のホップフィールド型ネットワークなど様々なニュー
ラルネットワークによる情報処理を行なうことができ
る。なお同期型のホップフィールド型ネットワークで
は、すべてのニューロンの出力値を同期的に更新するた
め、すべてのニューロンの出力値の更新が終わるまで前
回のすべてのニューロンの出力値を記憶しておく必要が
ある。この場合には、前回のすべてのニューロンの出力
値をメモリ回路に記憶しておいてニューロンの出力値の
更新に使用すればよい。

本実施例によれば、ニューロン出力値を計算するのに
必要な乗算器，加算器，非線形関数回路を必要な個数だ
け演算回路に設けて反復使用すればよいため各ニューロ
ン毎にこれらの回路を用意する場合に比べて大幅に回路
数を削減できる。例えば、各層が100個のニューロンか
らなる３層の階層型ネットワークを実現するのに第６図
の従来例では、乗算器と加算器ならびに非線形関数回路
を200個ずつ用意しなくてはならないのに対して本実施
例では、最低１つの乗算器と１つの加算器ならびに１つ
の非線形関数回路を用意すればよい。速度を上げるため
に１つのニューロン出力値を更新するのに必要な乗算を
並列に行なうとしても100個の乗算器と１つの加算器な
らびに１つの非線形関数回路を用意すればよい。したが
って本実施例に依れば従来例に比べて回路数を削減でき
る。なお、上記の差はネットワークが大規模になるほど
大きくなる。ホップフィールド型等他のネットワークで
も事情は同じである。

ニューロン出力値を求める場合の情報処理速度は、乗
算等の演算速度の他に並列に行なう演算の量が大きく寄
与する。前記したように、たとえば、ｎ個のニューロン
を用いたホップフィールド型ネットワークは、すべての
ニューロンの出力値を更新するのにn²回の積を計算しな
くてはならない。したがって、乗算を逐次的に行なうと
すべてのニューロンの出力値を更新するのに少なくとも
１回の乗算に要する時間のn²倍の時間を要してしまう。
その結果、乗算に要する時間がニューロン数の増大と共
にニューロン数の２乗のオーダーで急速に増加してしま
う。階層型ネットワークでも事情は同じである。従って
数多くの乗算を並列に計算することが望ましい。以下で
は、第１図の実施例においてニューロン出力値を求める
ために乗算を並列化して情報処理速度を上げるための演
算方式の実施例について説明する。

第５図は演算を並列に行なう１方式について、階層型
ネットワーク（ａ）とホップフィールド型ネットワーク
（ｂ）について説明したものである。本実施例では、図
に示したように１つのニューロン出力値を求めるために
必要な積を並列に計算する。つまり、１つのニューロン
に入力されるニューロン出力値と結合重み値とを並列に
メモリ回路から読出し、それらの積を並列に計算する。
このため、乗算に要する時間はニューロン数の増大と共
にニューロン数の１乗のオーダーで増加する。したがっ
て、乗算を逐次的に行なう場合に比べて情報処理時間を
大幅に短縮できる。第５図では１つのニューロンの出力
値の更新に必要な乗算のみを並列に行なうとしたが、第
１図の実施例は、これに限定されるものではなく、集積
度が許容される範囲で演算回路を追加して複数のニュー
ロンの出力値の更新を並列に行なってもよいことはもち
ろんである。その場合は、より高速に情報処理を行なう
ことができる。その他第６図に示したように他の方式で
並列に演算を行なうこともできる。第６図は、階層型ネ
ットワーク（ａ）とホップフィールド型ネットワーク
（ｂ）について１つのニューロンの出力値が入力される
複数のニューロンについて乗算を並列に行なう１実施例
を示したものである。この方法では、ニューロン出力値
と結合重み値を並列にメモリ回路から読出し，ニューロ
ン出力値の更新に必要な演算を複数のニューロンについ
て少しずつ行なうことになる。そのため、非同期型のホ
ップフィールド型ネットワークを実現することはできな
いが、第５図の方式と同様に乗算に要する時間はニュー
ロン数の増大と共にニューロン数のおよそ１乗のオーダ
ーで増加するため乗算を逐次的に行なう場合に比べて情
報処理時間を大幅に短縮できる。

第４図の従来例でもこの方式で演算を並列に行なって
いるが、以下に述べるように、第１図の構成によれば従
来例に比べてより少数の回路で実現することができる。
第６図に示した方式においては、図中に斜線で示したよ
うに各ニューロンにおいて１つの乗算器だけが並列に動
作する。したがって、第１図の実施例では１度に演算を
行なうニューロンの数だけの乗算器を演算回路に設けれ
ばよく、従来例のようにニューロン毎にすべての乗算器
を設ける場合に比べて少数の回路でこの方式を実現する
ことができる。例えば、３層で各層に３つのニューロン
をもつ階層型ネットワークでは、乗算器，加算器，非線
形関数回路を６個ずつ設ける従来例に比べて第１図の実
施例を用いると例えば乗算器、加算器、非線形関数回路
を３個ずつ用いるだけで同様の並列化を実現できる。

このように第１図に示した実施例に依れば、演算回路
に含まれる加算器、乗算器、非線形関数回路を複数のニ
ューロンについて共用することにより、多数のニューロ
ンを用いたニューラルネットワークと同様な情報処理を
行なう装置を必要最小限の回路で実現することができ
る。また、上記演算回路で積和等の演算を並列に行なう
ことにより、情報処理を高速に行なうことができる。な
お、演算を並列化するとメモリ回路と演算回路の間のバ
スの配線本数を増加して１度に多くのデータを演算回路
に送る必要が生じるが、第１図では、同一のチップ上に
メモリと演算器を配置しているため、バスの配線本数を
増加することは容易にできる。

これまではニューロン出力値を計算する方法について
述べたが、第１図の実施例によれば、ニューロン出力値
とその期待値との比較を行うこともできる。そのために
は、あらかじめ期待値をメモリ回路に記憶しておき、上
記の方法で得られた出力値との距離の計算を演算回路で
行えばよい。この計算は、期待値と計算値の一致度を計
算するものである。このとき、バス１の本数を増加する
ことにより、多数のビットからなる期待値と出力値とを
同時に演算回路に読出して並列に処理することは容易に
できる。このように第１図の実施例によれば外部のコン
ピュータを用いて１ビットずつシリアルに比較を行う場
合に比べてパターン認識などの情報処理を高速に行うこ
とができる。

さらに、第１図の実施例によれば学習に必要な演算を
演算回路で行うことにより、ソフトウエアで行う場合に
比べて高速に学習を行うことができる。具体的な実施例
については、後述する。

ニューラルネットワーク情報処理は、結合重み値を換
えることにより様々な情報処理を行なうことができると
いう利点を持つ。第１図に示した実施例に依ればメモリ
回路に記憶した結合重み値を書き換えることにより容易
にこの利点を活かすことができる。また、メモリ回路の
容量をニューロン出力値の計算に必要な量より大きくし
ておくことにより、異なる情報処理に必要な何種類かの
結合重み値をあらかじめ記憶しておくこともできる。そ
の場合には結合重み値を書き替える時間を失うことなく
連続して異なる種類の情報処理を行うことができるとい
うメリットがある。その他、続けて数多くの入力データ
について情報処理を行なう場合には、あらかじめ必要な
入力データや、得られたデータをメモリ回路の１部に記
憶しておくこともできる。このようにすれば、１つの入
力データ毎にメモリ回路にデータを読み込み、演算を行
ってその結果を装置外へ出力するという動作を繰り返す
場合に比べて読み込み、演算、出力の動作モードを切り
替える回数が少なく処理時間を短縮することができる。

次に、第１図の実施例を基にしたより具体的な実施例
について説明する。説明を簡単にするため、まず、演算
回路にニューロン出力値を計算する機能を持たせる場合
について説明し、最後に比較、あるいは学習の機能を持
たせる方法について述べる。

第７図（ａ）は、第１図の実施例においてメモリ回路
に格子状のメモリセルアレーを有するものを用いた場合
の１実施例である。第７図（ａ）においてＡは、メモリ
セルアレーで、複数のデータ線とそれと交差するように
配置した複数のワード線とそれらの所望の交差部に配置
されたメモリセルを有し、上記ワード線の１本を選択す
ることにより、上記異なる複数のメモリセルの信号を複
数のデータ線上に読みだすことができる。12は、演算回
路である。10,11,13,14,15,16は、第１図の制御回路に
相当するものである。10,15は、それぞれＸ系アドレ
ス、Ｙ系アドレス用のアドレスバッファ、11,14は、そ
れぞれＸ系アドレス,Y系アドレス用のデコーダ，ドライ
バである。13は、メモリセルアレーを制御するためのア
レー制御回路、16はクロック発生回路であり、外部から
入力される信号をもとにメモリの動作を制御するための
クロックを発生する。OUTとWRは、それぞれ読出し回
路，書込み回路である。チップセレクト/CSは、このチ
ップの選択信号である。書込み制御信号/WEは、書込
み、読出し動作の切り換え用信号であり、低レベルで書
込み動作、高レベルで読出し動作となる。/NEは、演算
回路制御信号であり、低レベルで演算回路が起動され、
高レベルで演算回路が停止して通常のメモリとして動作
する。以下では、/NEを高レベルとした状態をメモリモ
ード，低レベルとしたときを演算モードということにす
る。メモリモードでは、Ｘ系アドレス,Y系アドレスによ
り所望のメモリセルを選択し、そのセルに対して書込み
データDIを書き込んだり、セルから情報を読出して読出
しデータDOとして出力することができる。演算モードで
は、メモリセルに記憶されている情報を演算回路12へ読
出し、演算回路12の演算の結果もしくは演算の結果に応
じたデータを入力回路を通じてメモリセルへ書き込むこ
とができる。本実施例によれば、ワード線の１本を選択
することにより、そのワード線上のすべてのメモリセル
の情報がデータ線に出力される。したがって、容易に多
数の情報を演算回路12に取り込むことができ、多くの演
算を並列に行なうことができる。本実施例によりニュー
ロン出力値の計算を行うには、まず、メモリモードとし
て演算回路を停止し、必要な結合重み値，ニューロン出
力値，オフセットなどをメモリ回路に書き込んでおく。
つぎに演算モードとして演算回路を起動し、１本のワー
ド線を選択することにより必要な情報を演算回路に読出
す。次にその結果をメモリ回路に書き込む。さらに演算
に必要な情報の読出しと結果の書込みを必要な回数だけ
続ければ、ニューラルネットワーク情報処理を高速に容
易に行なうことができる。上記のように第７図（ａ）に
示した実施例によれば１度に多くの情報を演算回路に読
み込むことができるので、例えば、第５図あるいは第６
図に示したような方式の並列演算を行なうのに適してい
る。このように、本実施例によれば並列に演算を行なう
ため高速にニューラルネットワーク情報処理を行なうこ
とができる。さらに、演算回路12を反復使用することに
より複数のニューロンで出力値の計算回路を共用するこ
とができ、容易に高集積化できる。

また、複数のワード線上のメモリセルに蓄えた情報を
使って並列に演算を行なう場合には、演算回路内に１次
記憶のためのレジスタを設けておきワード線を持ち上げ
て得た情報を１度レジスタに収納して、別のワード線を
立ち上げてその結果読出した情報と合わせて演算を行な
うこともできる。

さらに、第７図（ｂ）に示した実施例のようにメモリ
回路をA,Bの２つ設けることもできる。第７図（ｂ）に
おいて13A,13BはそれぞれメモリセルアレーA,Bを制御す
るアレー制御回路である。デコーダなど他の回路は、図
には示していない。第７図（ｂ）の構成によればメモリ
セルアレーＡとＢにおいてワード線を１本ずつ選択する
ことにより両方のワード線上のメモリセルの情報を演算
回路に読み込むことができる。第７図（ｂ）の構成を用
いれば、メモリセルアレーＡにはニューロン出力値，メ
モリセルアレーＢには結合重み値を収納するなど情報の
種類によりメモリアレーを使いわけることもできるの
で、読出し、書込みなどの制御を簡単化することができ
る。なお、第７図（ａ），（ｂ）の実施例においては、
書き込みデータDIと読出しデータDOを並列に複数扱える
ようにしたり、アレーＡとＢとで別々に読出し回路OUT
と書込み回路WRを設けてもよい。

第７図（ａ），（ｂ）の実施例においてはワード線あ
るいは、特定のメモリセルの選択はアドレスにより通常
のメモリと同様に行なうことができる。したがって、ア
ドレスの選択順を変えることによりさまざまな型のネッ
トワークあるいは様々な並列演算の方式などに柔軟に対
応できる。

第７図（ａ），（ｂ）の実施例においてメモリ回路と
してDARMあるいは、SRAMなどの高集積半導体メモリを用
いることができる。この場合にはメモリ回路に多くの情
報を蓄えることができるので、規模の大きいネットワー
クを１チップに集積化できる。

次に、第７図（ｂ）の構成を用いて階層型ネットワー
クを実現する方法について詳細に述べる。並列演算の方
式としては、第５図（ａ）の方式を例にとる。層の数は
ｍ層で各層のニューロンの数はｎ個とする。なお、説明
を簡単にするために第２図（ｂ）あるいは第３図（ｂ）
に示した各ニューロンのオフセットΘについては、ここ
では省略する。しかし、第２図（ｂ）あるいは第３図
（ｂ）より明らかなように、各ニューロンのオフセット
Θは、各ニューロン毎に入力されるニューロン出力値を
１つ増やしてその値を各ニューロンのオフセットΘ、対
応する結合重み値を１と置き、その積を他のニューロン
出力値と結合重み値の積の総和に足すことによって通常
の他のニューロンからの出力値と同様に扱うことができ
る。

第８図（ａ）はメモリセルと、結合重み値およびニュ
ーロン出力値との対応の１実施例を示したものである。
Ｄは非線形関数回路であり、c1,c2,…cnは加算器、m1,m
2,…mnは乗算器である。c1,c2,…cnは合わせて第２図
（ｂ）における多入力の加算器ADDを構成している。メ
モリセルアレーＡにはニューロン出力値、メモリセルア
レーＢには結合重み値を収納する。図にはニューロン出
力値，結合重み値を収納する分のメモリセルのみしか示
していないが各ニューロンのオフセットΘや学習に必要
なデータなどその他のデータを収納する分のメモリセル
を必要に応じて設けてもよいのはもちろんである。図に
示したように、メモリセルアレーＡ内のワード線ｓとデ
ータ線ｉの交差部にあるメモリセルにニューロン出力値
V_iSを収納する。すなわち同じワード線には、同じ層の
ニューロン出力値が配置される。メモリセルアレーＢで
は、ワード線（s,j）とデータ線ｉの交差部にあるメモ
リセルに結合重み値T^S _ijを収納する。第８図（ｂ），
（ｃ）には、非線形関数回路Ｄの入出力特性の１実施例
を示してある。第８図（ｂ）は、g1とg2の２値の出力を
持つ実施例である。x1,x2はそれぞれ入力ｘの下限値お
よび上限値を表している。第８図（ｂ）では、入力ｘが
xthを越えると出力がg2でそれ以下だとg1になるので、
メモリセルとして２値のものを使うときに適している。
第８図（ｃ）は、g1とg2の間にgaとgbの出力を持つ４値
の実施例である。本実施例は、メモリセルとして４値の
ものを使うときに適した例である。g1,ga,gb,g2の間隔
は、図では等間隔としたが必要に応じて間隔を変えても
よいことはもちろんである。メモリセルとして連続値の
情報、所謂アナログ値を記憶できるようなものを使う場
合には非線形関数回路Ｄとして第２図（ｄ）のような特
性を持つものを使用してもよい。第８図（ｄ）には、第
８図（ａ）の実施例において入力層のニューロン出力値
から最終層のニューロン出力値を求めるためのワード線
の選択法および書込み先のアドレスの対応の１実施例を
示してある。以下、第８図（ａ）の動作を第８図（ｄ）
を用いて説明する。まず、アレーＡのｓ＝１のワード線
とアレーＢの（s,j）＝（1,1）のワード線を同時に立ち
上げる。するとアレーＡのデータ線ｉ＝1,2,…,nには、
入力層のニューロン出力値V₁₁,V₂₁,…,V_n1が出力され
る。一方アレーＢのデータ線ｉ＝1,2,…,nには、結合重
み値T¹ ₁₁,T¹ ₁₂,…,T¹ _1nが出力される。それらが乗算器m
1,m2,…,mnに入力されてT¹ ₁₁V₁₁,T¹ ₁₂V₂₁,…,T¹ _1nV_n1と
なりこれらが加算器c1,c2,…,cnに入力される。その結
果（T¹ ₁₁V₁₁＋T¹ ₁₂V₂₁＋…＋T¹ _1nV_n1）が非線形関数回
路Ｄに入力される。非線形関数の出力は書込み回路WR
（図では省略）を通じてアレーＡ内の書込み先アドレス
（s,i）＝（2,1）に対応するメモリセルに書き込まれ
る。このようにして２層目の１番目のニューロン出力値
V₂₁の値が計算される。次に、アレーＡのｓ＝１のワー
ド線とアレーＢの（s,j）＝（1,2）のワード線を同時に
立ち上げる。するとアレーＡのデータ線ｉ＝1,2,…,nに
は、入力層のニューロン出力値V₁₁,V₂₁,…,V_n1が出力さ
れる。一方アレーＢのデータ線ｉ＝1,2,…,nには、結合
重み値T¹ ₂₁,T¹ ₂₂,…,T¹ _2nが出力される。それらが乗算
器m1,m2,…,mnに入力されてT¹ ₂₁V₁₁,T¹ ₂₂V₂₁,…,T¹ _2nV
_n1となりこれらが加算器c1,c2,…,cnに入力される。そ
の結果（T¹ ₂₁V₁₁＋T¹ ₂₂V₂₁＋…＋T¹ _2nV_n1）が非線形関
数回路Ｄに入力される。非線形関数回路の出力は書込み
回路（図では省略）を通じてアレーＡ内の書込み先アド
レス（s,i）＝（2,2）に対応するメモリセルに書き込ま
れる。こうして２層目の２番目のニューロン出力値V₂₂
の値が計算される。以上のような動作を第８図（ｄ）に
従って続けていくことによりすべてのニューロン出力値
を求めることができる。本実施例によれば、演算モード
において読出しと書込み動作を１回ずつ行なうことによ
り１つのニューロン出力値を求めることができるため高
速にニューラルネットワーク情報処理を行なうことがで
きる。また、演算回路をすべてのニューロンで共用でき
るため高集積化が可能である。なお、第８図（ｄ）はメ
モリセルの割当ての１例を示したものであり、これに限
定されることなく種々の変形が可能である。例えば、前
記したように複数の入力データを連続して処理すること
もできる。この場合には、入力層のニューロン出力値は
複数組必要である。このため、アレーＡの異なる複数の
ワード線上に複数の入力データに相当する入力層のニュ
ーロン出力値をあらかじめ書き込んでおいて、順番に使
用してもよい。このようにすれば情報処理の度に入力層
のニューロン出力値を読み込まなくてよいため、連続し
て高速に情報処理を行なうことができる。

ここではニューロン出力値，結合重み値を蓄えるのに
１つのメモリセルを使用した。したがって、２値のメモ
リセルを使用した場合にはニューロン出力値，結合重み
値として２値の値しか取れないことになる。前記したよ
うに多値のメモリセルを使用することによって、ニュー
ロン出力値，結合重み値の値を増やすこともできるが、
多値のメモリセルでは、S/N比の問題などにより信頼性
にかける場合もあり得る。そのような場合には、次に述
べるように、ニューロン出力値，結合重み値を蓄えるの
に複数のメモリセルを使用することもできる。

第９図（ａ）は、１つのニューロン出力値を蓄えるの
にｐ個のメモリセル、１つの結合重み値を蓄えるのにｑ
個のメモリセルを使用した場合の１実施例である。図中
のi,j,sなどのニューロン出力値，結合重み値を示す添
字は第８図に示した実施例における添字と対応してい
る。第９図（ａ）の実施例ではアレーＡ内の１本のワー
ド線上の連続するｐ個のメモリセルで１つのニューロン
出力値を表し、アレーＢ内の１本のワード線上の連続す
るｑ個のメモリセルで１つの結合重み値を表す。ニュー
ロン出力値の計算は次のように行なわれる。まず、第８
図の実施例と同様に、アレーＡのｓ＝１のワード線とア
レーＢの（s,j）＝（1,1）のワード線を同時に立ち上げ
る。するとアレーＡのｐ本のデータ線よりなるデータ線
群ｉ＝1,2,…,nには、入力層のニューロン出力値V₁₁,V
₂₁,…,V_n1を表す情報が出力され、それらが群ごとに加
算器a1,a2,…,anに入力される。一方アレーＢのｑ本の
データ線よりなるデータ線群ｉ＝1,2,…,nには、結合重
み値T¹ ₁₁,T¹ ₁₂,…,T¹ _1nを表す情報が出力され、それら
が群ごとに加算器b1,b2,…,bnに入力される。上記した
加算器a1,a2,…,an、b1,b2,…,bnにより、ニューロン出
力値V₁₁,V₂₁,…,V_n1、結合重み値T¹ ₁₁,T¹ ₁₂,…,T¹ _1nが
合成され図示したように乗算器m1,m2,…,mnに入力され
てT¹ ₁₁V₁₁,T¹ ₁₂V₂₁,…,T¹ _1nV_n1を得る。これらが加算器
c1,c2,…,cnに入力され、その結果、（T¹ ₁₁V₁₁＋T¹ ₁₂V
₂₁＋…＋T¹ _1nV_n1）が非線形関数回路Ｄに入力される。
非線形関数回路の出力は書込み回路WR（図では省略）を
通じてアレーＡ内の書込み先アドレス（s,i）＝（2,1）
に対応するｐ個のメモリセル群に書き込まれる。同様な
動作を第８図（ｄ）と同じアドレスを用いて続けること
によりすべてのニューロンの出力値を求めることができ
る。上記の実施例によればアレーＡ内の１本のワード線
上の連続するｐ個のメモリセルで１つのニューロン出力
値を表し、アレーＢ内の１本のワード線上の連続するｑ
個のメモリセルで１つの結合重み値を表すことにより２
値のメモリセルを使用して多値の値のニューロン出力
値、結合重み値を表現できることになる。このため、ニ
ューロン出力値，結合重み値として多値の値を用いる場
合でも２値のメモリセルを用いて実現することができ
る。また、上記の実施例においては、アドレスの切り換
えの回数は第８図の実施例と同じであるため第８図の実
施例と同様に高速に情報処理を行なうことができる。な
お、非線形関数回路の結果をニューロン出力値を表すｐ
個のメモリセルへ書込むには、ｐ回の書込み動作を連続
して行なってもよいが、書込み回路をｐ個設けることに
より並列に行なうことも容易にできる。この場合には、
複数のメモリセルへ書込むことによる時間の損失をさけ
ることができる。また、読出し回路を複数設けることに
より読出し動作の速度を上げることもできるのはもちろ
んである。なお、第９図（ａ）の実施例において、乗算
器m1,…,mnとして多入力の回路を用いれば加算器a1,…,
an,b1,…,bnを設けることなく同様の回路を実現でき
る。その他、演算回路の構成は、種々の変形が可能であ
る。

第９図（ａ）の実施例では、ニューロン出力値を蓄え
るのにｐ個のメモリセル、結合重み値を蓄えるのにｑ個
のメモリセルを使用した。つまり、ニューロン出力値を
ｐビット、結合重み値をｑビットで表していることにな
る。複数のビットで情報を表現する方法はいろいろある
ので必要に応じて表現方法を選び、それにあわせて加算
器、乗算器、あるいは、非線形関数回路の特性を設計す
ればよい。例えば、ニューロン出力値を表すｐビットの
メモリセルのうちその内容が１であるメモリセルの数に
よってニューロン出力値を表すこともできる。第９図
（ｂ）の実施例は、そのような場合に適した非線形関数
回路Ｄの入出力特性の１実施例である。第９図（ｂ）に
おいてg1,g2,…,gpは、非線形関数回路Ｄのｐ本の出力
を示している。それぞれの出力は、０または１の値を取
り、書込み回路WR（図では、省略）を通じて対応するｐ
個のメモリセルに０または１を書き込む。g1,g2,…,gp
は、それぞれ入力がxth1,xth2,…,xthpを越えたときに
１それ以外では０となる。xth1,xth2,…,xthpは、入力
の上限x1,下限x2の間で等間隔に設定してもよいしある
いは任意の間隔で設定してもよい。たとえばxthkとxthk
＋１（ｋ＝1,…,p−１）の間隔を第９図（ｃ）のように
すれば非線形関数回路ｇとしてシグモイド状の特性を持
つものを実現できる。本実施例によれば、ｐ個のメモリ
セルによって１つのニューロン出力値にｐ個の値を持た
せることができる。本実施例では、ニューロン出力値を
表すｐ個のメモリセルは、等価に扱われる。すなわち、
ｐ個のうちどのメモリセルの情報が反転あるいは固定さ
れたとしてもニューロン出力値への影響は等しい。した
がって、一般的な２進表現と較べて１つのメモリセルの
情報の破壊によるニューロン出力値への影響を小さくす
ることができる。以下では、このような表現法を等価的
な表現と記すことにする。ここでは、ニューロン出力値
についてのべたが、結合重み値についても上記の等価的
な表現を使えるのはもちろんである。

もちろん、２進表現を使うこともできる。この場合に
は、ｐビットで2^P個の値を表現できるので少ないメモリ
セルで多くの値を表現するのに適している。第10図
（ａ）は、ニューロン出力値と結合重み値に２進表現を
使った場合の１実施例を示したものである。アレーＡで
は、ｉ＝ｈ（ｈ＝1,2,…ｎ）であるデータ線上のメモリ
セルのみ，アレーＢでは、ｉ＝ｈであるデータ線とｓ＝
ｆ（ｆ＝1,2,…,m−１）であるワード線上のメモリセル
のみを示してある．第10図（ａ）においてWTは重み付け
回路であり、メモリセルの信号を重み付けして加算器a
h,bhに伝える。ここで重み付けの係数は図示したように
ニューロン出力値については１から2^Pまで結合重み値に
ついては１から2^qまでメモリセル毎に変えてある。これ
により乗算器mhに入力されるニューロン出力値と結合重
み値は、それぞれ2^P個、2^q個の値を取ることができる。
ニューロン出力値を計算するためのアドレスの選択法
は、第９図の実施例と同じように第８図（ｄ）に従えば
よい。第10図（ｂ）は、第10図（ａ）の実施例における
非線形関数回路Ｄの特性の１実施例である。g1は、（x2
−x1）/2^Pだけ入力が変化する毎に０と１を交互に繰り
返し、g2は、g1の２倍の周期で０と１を交互に繰り返
す。以下同様に周期を倍ずつ変えてgpでは、（x2−x1）
/2を境として０から１になるように設定する。すなわ
ち、A/Dコンバータとして動作するように非線形関数回
路Ｄを設計すればよい。なお、本実施例においても入力
にたいしてニューロン出力値が非線形に増加するように
非線形関数回路Ｄを設計することもできる。例えば、入
力に対してシグモイド関数状にニューロン出力値を増加
させるには、異なるｇの間の周期の比を一定にしたま
ま、各出力が変化する周期を入力の増加にともなって減
少させ、入力が（x2−x1）/2を越えたところから入力の
増加にともなって周期を増加させてやればよい。以上説
明したように第10図（ａ），（ｂ）に示した実施例によ
れば、ニューロン出力値と結合重み値を表現するのに、
それぞれｐ個とｑ個のメモリセルを用いて、ニューロン
出力値と結合重み値にそれぞれ2^P個、2^q個の値を持たせ
ることができる。したがって、少ないメモリセルでニュ
ーロン出力値と結合重み値に多数の値を持たせるのに適
している。なお、本実施例においても、乗算器m1,…,mn
として多入力の回路を用いて、重み回路WT,加算器a1,
…,an,b1,…,bnの機能を乗算器に持たせるなど種種の変
形が可能なのは、もちろんである。ここでは、等価的な
表現と２進数表示による実施例を示したが、この他にも
たとえば、符号ビットを用いて負の数を表現したり、複
数のビットで情報を表現する方法はいろいろあるので必
要に応じて使いわけることができる。

次に１つのMOSトランジスタおよび１つの容量より構
成されるダイナミックメモリセル（DRAMセル）をメモリ
回路に用いた実施例を示す。

第11図は、第８図（ａ）に示した実施例をDRAMセルを
用いて構成した実施例である。第11図においてアレーA,
アレーＢは、互いに交差する複数のデータ線対DA1,/DA
1,…,DAn,/DAn,DB1,/DB1,…DBn,/DBnと複数のワード線W
A1,WA2,…,WAm,WB1,1,WB1,2,…,WB1,n,WB2,1,WB2,2,…,
WBm−1,nおよび、それらの交差部に設けられたメモリセ
ルMCより構成されている。メモリセルMCは対をなすデー
タ線とワード線との交差部のいずれか一方に設けられて
いる。図においてPR,SA,RSA,WSは、プリチャージ回路，
センスアンプ，読出しセンスアンプ，書込みスイッチで
あり、第７図（ｂ）のアレー制御回路13A,13Bに相当す
る。演算回路の中のMTは、乗算回路である。16は、クロ
ック発生回路で、チップ外部より与えるアドレスADDA,A
DDBおよび、チップセレクト信号/CSA,/CSBなどより、他
の回路を制御するためのクロックΦ_A,Φ_Ｂなどを発生す
る。

以下では、上記第11図の実施例の動作を第12図，第13
図（ａ），（ｂ）を用いて説明する。第12図は、動作モ
ードと外部信号との関係の一実施例を示したものであ
る。前記したように、演算モード前半では、メモリセル
アレーA,Bのワード線を１本ずつ立ち上げ、後半では、
メモリセルアレーＡのワード線を１本立ち上げる。ま
た、メモリモードでは、メモリセルアレーＡとＢとで独
立に読出し、書き込みを行なう。第12図では、これらの
制御を、容易に行なうために、動作モードをさらに細分
した。メモリモード中のAR,AW,BR,BWは、それぞれ、ア
レーＡからの読出し、アレーＡへの書き込み、アレーＢ
からの読出し、アレーＢへの書き込みを行なうモードで
ある。また、演算モード中のNR,NWは、それぞれデータ
を読出して演算するまでの前半部分と、演算結果を書き
込む後半部分である。本実施例では、これら６つのモー
ドを切り替えるために、チップセレクト信号/CSA,/CSB,
書き込み制御信号/WE,演算回路制御信号/NEの４つの外
部入力信号を用いた。チップセレクト信号/CSA,/CSB
は、チップの選択及び、アレーA,Bの選択を指定する。/
CSA,/CSBが両方Ｈ（高レベル）で、チップが非選択とな
り、/CSAがＬ（低レベル）でアレーＡが、/CSBがＬ（低
レベル）でアレーＢが、選択状態となる。書き込み制御
信号/WEは、前記したように書き込み、読みだしを切り
替える信号で、Ｈで読出し、Ｌで書き込み動作となる。
/NEについても、前記したとおりで、Ｈでメモリモー
ド、Ｌで演算モードとなる。したがって、例えば/CSA,/
CSBが共にＬ、/WEがＨ、/NEをＬとすれば、アレーＡと
Ｂ両方から読みだしを行なう演算モード前半のモードNR
となる。アドレス信号については、チップセレクト信号
でアレーA,Bの切り替えを指定したため、アレーＡのメ
モリセルを選択するアドレス群ADDAとアレーＢのメモリ
セルを選択するアドレス群ADDBとに分けることができ
る。ここで、アドレス群ADDAはアレーＡのワード線を選
択するためのＸ系アドレスとアレーＡのデータ線を選択
するためのＹ系アドレスの集まりを総称したものであ
る。同様に、アドレス群ADDBはアレーＢのワード線を選
択するためのＸ系アドレスとアレーＢのデータ線を選択
するためのＹ系アドレスの集まりを総称したものであ
る。各動作モードにおいては、第12図に従ってこれらの
アドレス群をアドレスピンへ印加する。以上説明した第
12図の実施例によれば、チップセレクト信号を２つ設け
てアレーA,Bの切り替えを行ない、アドレスをアレーＡ
とＢとで分離した。このため、アレーＡとＢを独立に選
択できるため、アレーＡとＢの両方、あるいは片方を選
択する必要のある各動作モードを容易に制御できる。な
お、第12図以外にも、動作モードと外部信号の関係は種
々変形して実現可能であるのはもちろんである。たとえ
ば、チップセレクト信号を/CSのみとして、アレーＡと
Ｂの切り替え用のアドレスを加えるあるいは、アドレス
をアレーＡとＢで分けずにアレーＡまたはＢのどちらか
のみを選択するようにしておいて、モードNRにおけるア
レーＢのワード線を選択するＸアドレスは、チップ内部
に設けたカウンタにより発生してもよい。

第13図（ａ）はメモリモードにおける第11図の波形、
第13図（ｂ）は演算モードにおける第11図の波形の実施
例である。

メモリモードの動作は通常のDRAMの読出し、書き込み
動作と同様である。第13図（ａ）には、メモリモードに
おいてアレーＡ内のワード線WA1とデータ線DA1の交差部
にあるメモリセルに対して読出し動作（モードAR）と書
込み動作（モードAW）を続けて行なう場合の電圧波形を
示してある。図においてVccは、正電位を示している。
メモリモードであるため演算回路制御信号/NEが高レベ
ルであり、これにより演算回路起動信号Φ_Ｎは、低電位
に固定され演算回路12はオフしている。読出し動作を始
める前には、PPAとPNAがVcc/2に設定されており、この
ためセンスアンプSAは、オフしている。また、プリチャ
ージ信号Φp_Aが高電位にあるため、プリチャージ回路PR
がオンしてDA1,/DA1,…,DAn,/DAnのデータ線対は短絡さ
れると共にプリチャージ電位VHに電位が設定される。VH
は、Vcc/2に設定しておく。チップセレクト信号/CSAが
低電位になると、プリチャージ信号Φp_Aを立ち下げ、プ
リチャージ回路PRをオフして、アドレス信号ADDAによっ
て選択されたワード線WA1と読出しＹ選択信号YRA1を高
電位に遷移させる。その結果ワード線WA1に接続された
すべてのメモリセルMCのMOSトランジスタが導通し、容
量に蓄積された電荷に応じて、データ線対DA1,/DA1,…,
DAn,/DAnにそれぞれ微妙な電位差が生じる。この電位差
を読出しＹ選択信号YRA1の入力された読出しセンスアン
プRSAで検出して読出し線OA,/OAのインピーダンスの差
に変換する。入出力回路では、これを電圧差に変換後、
増幅してメモリセルの内容である１もしくは０に対応す
る電位を読出しデータDOとして出力する。これらの動作
と並行して次のようにして所謂再書込み動作が行なわれ
る。データ線対DA1,/DA1,…,DAn,/DAnにそれぞれ微妙な
電位差が生じたのち、PPAを高電位に、PNAを低電位に遷
移させてセンスアンプSAを起動させる。そのためデータ
線対に生じた微妙な電位差が増幅されて、高電位側のデ
ータ線をVccに低電位側のデータ線を0Vに遷移する。そ
の結果、ワード線WA1に接続されたすべてのメモリセルM
Cの容量に読出し前の情報に対応する電位が再び書き込
まれる。再書込み動作の終了後、チップセレクト信号/C
SAが高電位になると、選択されたワード線WA1と読出し
Ｙ選択信号YRA1を低電位に遷移し、その後PPA,PNAをVcc
/2に遷移させ、センスアンプSAをオフさせるとともにプ
リチャージ信号Φp_Aを高電位に遷移させる。この結果、
データ線対は短絡されると共にプリチャージ電位VHに電
位が設定されて再びもとの状態に戻る。以上が読出し動
作である。

続いて同じセルへの書込み動作（モードAW）に移る。
書込み動作では、チップセレクト信号/CSAが低電位とな
りさらに書込み制御入力/WEが低電位となることによっ
て、書込みデータDIに与えられた情報がアレーＡ内の選
択されたメモリセルに書き込まれる。書込み動作でもま
ず、チップセレクト信号/CSAが低電位になると、プリチ
ャージ信号Φ_PAを立ち下げ、プリチャージ回路PRをオフ
する。次に、アドレス信号ADDAによって選択されたワー
ド線WA1と読出しＹ選択信号YRA1が高電位に遷移する。
その結果、ワード線WA1に接続されたすべてのメモリセ
ルMCのMOSトランジスタが導通し、容量に蓄積された電
荷に応じて、データ線対DA1,/DA1,…,DAn,/DAnにそれぞ
れ微妙な電位差が生じる。データ線対に生じた微妙な電
位差は、センスアンプSAによって増幅されていく。つづ
いて書込み制御入力/WEが低電位に遷移したことにより
発生された入力回路起動信号Φ_WRAが高電位に遷移す
る。これによって書込みデータDIに与えられた情報が、
書込み線対IA,/IAへ差動信号として伝えられる。また、
書込みＹ選択信号YWA1が高電位に遷移して書込み先のメ
モリセルが接続された書込みスイッチWSがオンする。こ
れにより書込み線対IA,/IAはそれぞれデータ線対DA1,/D
A1と導通する。この結果データ線対DA1,/DA1は書込みデ
ータDIに与えられた情報に対応した電位に設定される。
その後入力回路起動信号Φ_WRAは低電位に遷移するがデ
ータ線対の電位はセンスアンプSAによって保たれる。書
込みスイッチWSがオンしなかったデータ線体では初めに
読出した信号がそのままセンスアンプにより増幅されて
再書込みが行なわれる。再書込み動作の終了後、チップ
セレクト信号/CSAが高電位になると、選択されたワード
線WA1と書込みＹ選択信号YWA1が低電位に遷移し、その
後PPA,PNAをVcc/2に遷移させセンスアンプSAをオフさせ
るとともにプリチャージ信号Φp_Aを高電位に遷移させ
る。この結果、データ線対は短絡されると共にプリチャ
ージ電位VHに電位が設定されて再びもとの状態に戻る。
以上が書込み動作である。

ここでは、アレーＡ内の同一のメモリセルに続けて読
出し動作と書込み動作を行なう場合について説明した
が、読出し動作あるいは書込み動作をそれぞれ続けて行
なうこともできるし、また、モードAR,AW,BR,BWを切り
換えることにより読出し動作あるいは書込み動作の度に
異なるメモリアレー内の所望の位置にあるメモリセルに
ついて読出し動作あるいは書込み動作を行なうことがで
きるのは、もちろんである。

次に演算モードの動作について説明する。第13図
（ｂ）は、ニューロン出力値V₁₂を得るための動作波形
を示したものである。すでにメモリモードにおける書込
み動作により必要な結合重み値、ニューロン出力値等は
書き込まれているものとする。まず、モードNRとするた
めにチップセレクト信号/CSAと/CSBを低レベルとし、書
き込み制御信号/WEを高レベル，演算回路制御信号/NEを
低レベルとする。アドレスADDA,ADDBは、アレーＡのワ
ード線WA1とアレーＢのワード線WB1を選択するように設
定する。/CSAと/CSBが低レベルになることによりプリチ
ャージ信号Φ_PA,Φ_PBが低レベルに、/NEが低レベルにな
ることにより演算回路起動信号Φ_Ｎが高レベルに遷移す
る。続いてワード線WA1とWB1とが立ち上がりWA1上のメ
モリセルに蓄えられていたニューロン出力値V₁₁,V₂₁,
…,V_n1と結合重み値T¹ ₁₁,T¹ ₁₂,…,T¹ _1nがデータ線上に
読み出される。こうして、アレーＡから読出されたニュ
ーロン出力値とアレーＢから読出された結合重み値は、
第11図に示したように演算回路起動信号Φ_Ｎにより起動
されている乗算回路MTに入力される。乗算回路MTでは、
アレーＡ側のデータ線とアレーＢ側のデータ線は、MOS
トランジスタのゲートにつながれており、それらのMOS
トランジスタは演算回路起動信号Φ_Ｎが入力されている
スイッチ用のMOSトランジスタを通じて積和出力線NOと
ダミー線DMとにつながれている。積和出力線NOの一端は
負荷RM1を通じて電源VMに接続されており、ダミー線DM
の一端は接地されている。データ線に読出された信号が
センスアンプSAによってVcc,あるいは、0Vに増幅される
とニューロン出力値と結合重み値の積が１である乗算器
では、負荷RM1を通じて電源VMより接地電極へ電流が流
れる。したがってニューロン出力値と結合重み値の積が
１であるような組合せの数に比例して積和出力線NOの電
位は下降する。積和出力線NOは、非線形関数回路Ｄに入
力されている。非線形関数回路Ｄではニューロン出力値
と結合重み値の積の合計が大きく積和出力線NOの電位が
参照電圧VRより下がるかどうか検知して結果をNVへ出力
する。第13図（ｂ）に示した積和出力線NOの波形のうち
実線が積和の結果が小さかった場合であり破線が積和の
結果が大きかった場合である。入出力回路では非線形関
数回路Ｄの結果を検知して書込み線対IA,/IAに次にメモ
リセルに書き込むべきニューロン出力値V₁₂を出力す
る。第13図（ｂ）にはIAの波形を示した。IAは、積和が
大きい場合には破線のように高レベルに、積和が小さい
場合には実線のように低レベルになる。/IAはIAと逆相
となる。書込み線対IA,/IAにニューロン出力値が出力さ
れた時点でラッチ信号Φ_Ｌを高電位に遷移する。この結
果、書込み線対IA,/IAに出力された電位は、入出力回路
IO内に設けたラッチ回路によりラッチされる。ラッチ信
号Φ_Ｌは、演算回路起動信号/NEの立ち下がりを受けてI
A,/IAに信号がでるまで遅延させて立ち上げればよい。
つづいて、演算回路起動信号Φ_Ｎが低電位に遷移して演
算回路をオフし、ワード線が立ち下がった後にメモリモ
ード時と同様にデータ線のプリチャージを行なう。この
ときラッチ信号Φ_Ｌは高電位のままにして、書込み線対
IA,/IAに出力されたニューロン出力値を保っておく。

次に演算モードの後半であるモードNWに移る。まず、
チップセレクト信号/CSAおよび書込み制御信号/WEを低
レベル，チップセレクト信号/CSBを高レベルとしてアレ
ーＡ内のニューロン出力値を書込むべきメモリセルが選
択されるようにアドレスADDAを切り換える。演算回路起
動信号/NEは低レベルのままにしておく。/CSAを立ち下
げた結果、プリチャージ信号Φ_PAが低レベルとなりアレ
ーＡに書き込みができる状態となる。つづいて、選択さ
れたワード線WA2,書込みＹ選択信号YWA1が立ち上がる。
これにより、書込み線対IA,/IAに出力されたニューロン
出力値V₁₂は、ワード線WA2とデータ線DA1とに接続され
たメモリセルに書き込まれる。最後にワード線をすべて
立ち下げてプリチャージを行なう。また、演算回路制御
信号/NEを立ち上げることにより、ラッチ信号Φ_Ｌが立
ち下がりラッチがはずれる。こうして、次の動作に備え
る。以上が演算モードの動作である。同様の動作を第８
図（ｄ）に従ってアドレスを変えて続けることによりす
べてのニューロン出力値を計算できる。

以上において乗算器MTのうちダミー線DMに接続された
側の回路は、省いてもよいが乗算器MTのMOSトランジス
タのゲート容量等が片方のデータ線のみに付くとデータ
線容量がアンバランスとなり場合によってはセンスアン
プの動作などに支障を来すこともある。そのような場合
には第11図のようにしておけばデータ線容量がアンバラ
ンスとなることによる悪影響を避けることができる。

次に、第11図に用いるのに好適な回路の実施例を示
す。第14図（ａ）は、非線形関数回路Ｄの１実施例であ
る。本実施例は、バイポーラトランジスタQ720,Q719,抵
抗R72およびMOSトランジスタQ721よりなる差動アンプ
と、インバータINV75およびMOSトランジスタQ715,Q716,
Q717,Q718,抵抗R71,ダイオードD71よりなるインバータ
により構成される。本回路は信号Φ_Ｎが高電位になるこ
とにより起動される。第14図（ｂ）に非線形関数回路Ｄ
の入力である積和出力線NOの電位と出力NVの電位の関係
を示す。積和出力線NOの電位が参照電位VRより低いと出
力NVが高電位にNOの電位が参照電位VRより高いと出力NV
が低電位となる。本実施例によれば差動アンプにバイポ
ーラトランジスタを用いているため入力の変化にたいし
て立上りの急峻な特性を持つ非線形回路を実現できる。
また、参照電位VRを所望の値に設定することにより容易
に非線形関数回路Ｄの特性を変えることができる。な
お、差動アンプの出力はバイポーラトランジスタQ719の
飽和を避けるためにあまり大きくとることができない。
そのため後段のインバータに直接差動アンプの出力を接
続するとインバータが動作しないことがありうる。そこ
で、抵抗R71,ダイオードD71を設けてMOSトランジスタQ7
17に入力される電位を降下させている。

第14図（ｃ）は入出力回路IOの１実施例である。第14
図（ｃ）に示したように書込み回路WRは入力バッファIN
BUF,書込み切り替えスイッチSWA,SWB,ラッチ回路LATお
よびインバータINVIA,INVIBより構成されている。書込
み切り替えスイッチSWA,SWBは、書き込みデータDIをア
レーＡあるいは、アレーＢのどちらのメモリセルに書き
込むか切り替えるためのものである。切り替え信号Φ
_WRAが高電位のときには、書き込みデータDIは入力バッ
ファINBUFを通じて書き込み線対IA,/IAよりアレーＡ内
のメモリセルに書き込まれる。切り替え信号Φ_WRBが高
電位のときには、書き込みデータDIは入力バッファINBU
Fを通じて書き込み線対IB,/IBよりアレーＢ内のメモリ
セルに書き込まれる。ラッチ回路LATは、演算モードに
おいて非線形回路Ｄの出力NVに出力された情報をラッチ
して、書き込み線対IA,/IAよりアレーＡ内のメモリセル
に書き込むためのものである。図より明らかなように、
非線形回路Ｄの出力NVと書き込み線対IA,/IAの電位関係
は同相関係になるので、非線形関数回路Ｄの積和出力線
NOと入力コモン線IAの電位の関係は、第14図（ｄ）に示
したように反転関係となる。前記したように第11図の実
施例では積和出力線NOの電位はニューロン出力値と結合
重み値との積和が大きいほど低下するので、積和出力線
NOと入力コモン線IAの電位の関係が反転関係となるよう
に回路を構成した。積和出力線NOの電位がニューロン出
力値と結合重み値との積和が大きいほど上昇するように
設計した場合には積和出力線NOと入力コモン線IAの電位
の関係を同相関係となるように回路を構成すればよいの
はもちろんである。

第14図（ｅ）は読出し回路OUTの１実施例である。読
出し回路OUTは電流電圧変換回路IVOUT1,レベルシフト回
路LS,読出しラッチ回路OUTLTおよび出力バッファBUFOUT
により構成される。電流電圧変換回路IVOUT1では、読出
し線OA,/OAあるいは読出し線OB,/OBにインピーダンスの
差として読出された情報をそれぞれ、OA′,/OA′あるい
は読出し線OB′,/OB′の電圧の差に変換する。レベルシ
フト回路LSでは、電流電圧変換回路IVOUT1より読出され
た情報の電圧を後段の読出しラッチ回路OUTLT内のバイ
ポーラトランジスタが飽和しないレベルにシフトして読
出しラッチ回路OUTLTに伝達する。

読出しラッチ回路OUTLTの詳細な実施例を第14図
（ｆ）に示した。読出しラッチ回路OUTLT内の読出し差
動アンプAMPA,AMPBは、アレーＡのメモリセルから読出
し線OA,/OAを通じてL1,L2に読出された情報とアレーＢ
のメモリセルから読出し線OB,/OBを通じてL3,L4に読出
された情報のどちらを読出しデータDOとして読出すか切
り替えるためのものである。切り替え信号Φ_Ａが高電位
のときには、アレーＡのメモリセルから読出された情報
が、切り替え信号Φ_Ｂが高電位のときには、アレーＢの
メモリセルから読出された情報が読出しデータDOとして
出力される。読出しラッチ回路OUTLTでは、読出しラッ
チ信号Φ_LRを電圧V_B2より高電位に遷移するとバイポー
ラトランジスタQ1Aがオフし、Q1Bがオンする。そのた
め、差動アンプAMPA,AMPBがオフし、AMPCがオンする。
その結果差動アンプAMPCとレベルシフト回路LSCによ
り、読出し情報がラッチされる。すなわち、本実施例に
よれば、読出し情報が確定した後、読出しラッチ信号Φ
_LRを電圧V_B2より高電位に遷移することによって所望の
期間だけ読出しデータDOをラッチして出力しつづけるこ
とができる。

なお、第11図に示した乗算機MTの実施例では、アレー
Ａのデータ線対がアレーＢのデータ線対より接地電極か
ら遠い方のMOSトランジスタのゲートに接続されてい
る。このため、積をとるときにニューロン出力値と結合
重み値とは等価に扱われない。このことが問題となると
きには、第15図の実施例を用いればよい。第15図では、
データ線DAiはMOSトランジスタQ7C3とQ7C6,DBiはQ7C5と
Q7C4のゲートに接続されている。両者共、接地電極に近
い方のMOSトランジスタと遠い方のMOSトランジスタに接
続されているので、積をとるときに、ニューロン出力値
と結合重み値とが等価に扱われることになる。

以上説明したように第11図に示した実施例によれば１
つのMOSトランジスタおよび１つの容量より構成されるD
RAMセルを用いて第８図（ａ）に示した実施例を実現で
きる。DRAMセルは、占有面積を非常に小さくできるので
チップ上に高集積に実現できるというメリットがある。

なお、以上の説明では触れなかったが、よく知られて
いるように１トランジスタ,1キャパシタを用いたDRAMセ
ルでは、キャパシタの電流リークによる蓄積電荷の減少
を補償するために一定時間内にリフレッシュ動作が必要
である。本発明においても、メモリモード，演算モード
にかかわらず必要に応じてリフレッシュ動作を行うこと
は通常のDRAMと同様にして容易にできる。

上記の実施例では、メモリセルとしてDRAMセルを用い
たがこれに限定されることはなく、他のメモリセルを用
いても同様の情報処理装置を実現できる。次にSRAMセル
を用いた実施例を示す。第16図（ａ），（ｂ）は、SRAM
セルの実施例であり、両者共DRAMセルと異なり再書込み
あるいはリフレッシュ動作が不要なためDRAMセルを用い
た場合に比べて制御が容易にできるという利点がある。
第16図（ｃ）は、第16図（ａ）あるいは（ｂ）等のSRAM
セルを用いて第８図（ａ）の実施例を実現するための１
実施例である。第16図（ｃ）において、MCSはSRAMセ
ル、LDは、データ線負荷である。第17図（ａ），（ｂ）
に動作波形の例を示す。第17図（ａ）は、メモリモード
においてデータ線DA1,/DA1とワード線WA1に接続された
セルに対して読出し動作と書込み動作を連続して行なう
場合の例であり，第17図（ｂ）は演算モードにおいてワ
ード線WA1上のメモリセルに記憶されたニューロン出力
値V₁₁,V₂₁,…,V_n1とワード線WB1上のメモリセルに記憶
された結合重み値T¹ ₁₁,T¹ ₂₁,…,T¹ _n1からニューロン出
力値V₁₂を計算する場合の動作波形の例である。基本的
な動作は前記のDRAMセルの場合と同様であるので説明は
省略する。SRAMセルは、再書込み動作，リフレッシュ動
作が不要なためDRAMセルに比べて制御が簡単であるとい
うメリットがある。さらに、再書込み動作が不要なた
め、メモリモードにおける読出し，書込みの速度および
演算モードのサイクルを高速にできるというメリットが
ある。

以上、DRAMセルとSRAMセルを用いて第８図（ａ）の実
施例を実現するための回路構成例を説明してきた。次に
ニューロン出力値、結合重み値を複数のメモリセルを用
いて表現するためのを回路構成例につき説明する。以下
では、DRAMセルを用いた実施例を示すが、SRAMセルを用
いても同様に実現できることはもちろんである。

次に、DRAMセルを用いてニューロン出力値，結合重み
値を複数のメモリセルを用いて表現するための回路構成
例について説明する。

第18図（ａ）において、アレーＡ内のデータ線対DA1
1,/DA11,DA12,/DA12,…,DA1P,/DA1Pは、第９図（ａ）に
おいて加算器a1に入力されるアレーＡ内のデータ線対に
対応している。また、アレーＡ内のデータ線対DAn1,/DA
n1,DAn2,/DAn2,…,DAnP,/DAnPは、第９図（ａ）におい
て加算器anに入力されるアレーＡ内のデータ線対に対応
している。アレーＢについても同様である。入出力回路
DIO10に示したように入力端子をDO1,…,DOrのｒ本、出
力端子をDI1,…,DIrのｒ本設けて（ここでｒはｐまたは
ｑのどちらか大きい方の数）メモリモード時にニューロ
ン出力値または結合重み値を表すｐビットあるいはｑビ
ットの情報を同時に読出し、あるいは書込みできるよう
にしている。演算モードにおいてアレーＡでは、ワード
線を立ち上げることによってデータ線に読出されたｐビ
ット毎の情報が加算器ADDによって合成され、ニューロ
ン出力値出力線VO1,VO2,…,VOnにニューロン出力値が出
力される。また、アレーＢでも、ワード線を立ち上げる
ことによってデータ線に読出されたｑビットの情報が加
算器ADDによって合成されて、結合重み値出力線TO1,TO
2,…,TOnに結合重み値が出力される。これらはBLK2に入
力され、積和演算が行なわれて非線形関数回路D10に入
力される。ニューロン出力値に相当する非線形関数回路
D10の出力は入出力回路DIO10へ伝えられてラッチ信号Θ
_Ｌによってラッチされる。つづいて、求めたニューロン
出力値を書き込むべきｐ個のセルを選択するようにアド
レスを切り換えて、書き込みＹ選択信号YWAiを立ち上
げ、ラッチしておいたニューロン出力値を選択したｐ個
のセルへ並列に書き込む。このような動作を続けること
により第11図（ａ）の実施例と同様にしてニューロン出
力値を更新していくことができる。本実施例によれば、
加算器ADDに入力された複数のメモリセルの情報を等価
に加算することによって第９図（ａ）の実施例を実現す
ることができる。また、加算器ADDに入力された複数の
メモリセルの情報をビット毎に重み付けして加算するこ
とによってニューロン出力値，結合重み値を複数のビッ
トによる２進数によって表す第10図（ａ）の実施例も実
現することができる。この他ニューロン出力値，結合重
み値を他の方法で複数のビットで表す場合にも容易に対
処できるので目的に応じて多様な情報処理を行なうこと
ができる。本実施例では、DRAMセルを用いているので高
集積化を図ることができる。さらに、メモリモード、あ
るいは演算モードともに複数のメモリセルの情報を並列
に扱っているためニューロン出力値、結合重み値を複数
のビットで表しているにもかかわらず、１ビットで表し
た場合と同様の高速な情報処理を行なうことができる。
ここでは、BLK1において加算器により複数のメモリセル
の信号を合成し、その結果を積和回路であるBLK2に入力
するようにした。しかし、BLK1における加算を省略して
ニューロン出力値あるいは、結合重み値をあらわす複数
のメモリセルの情報を並列に積和回路BLK2へ入力して積
和演算を行なうなど種々の変形も可能である。

以下では、まず、第18図（ａ）に示した実施例により
ニューロン出力値、結合重み値を複数の等価的なビット
で表す第９図の実施例を実現する方法についてのべる。
第18図（ｂ）は、第18図（ａ）のBLK1の１実施例であ
る。ここでは、アレーＡのデータ線DA11,…DA1Pに接続
されたBLK1を示した。アレーＡの他のBLK1にも同じ回路
が使える。アレーＢでもデータ線対，読出し線対、ある
いは書込み線対の本数をｐ本からｑ本に変更しプリチャ
ージ回路PRなどｐ個設けた回路をｑ個にすれば、本実施
例の回路を使うことができる。本実施例では、並列にｐ
個のメモリセルへの書込み、あるいは読出しができるよ
うに、ｐ対の読出し線対OA1,/OA1,…,OAp,/OApおよびｐ
対の書込み線対IA1,/IA1,……,IAp,/IApを設けた。読出
しセンスアンプRSAと書込みスイッチWSは、図に示した
ように同一のBLK1内では順番に読出し線対OA1,/OA1,…,
OAp,/OApおよびｐ対の書込み線対IA1,/IA1,…,IAp,/IAp
に接続されている。すなわち１対の読出し線あるいは書
込み線についてみるとｐ対毎にデータ線対に接続されて
いることになる。加算回路ADDは、負荷回路LD103および
ｐ個の電圧電流変換器VIより構成されている。電圧電流
変換器VIでは、データ線DA11,DA12,…,DA1pがMOSトラン
ジスタのゲートに接続されており、上記MOSトランジス
タは、演算回路起動信号Φ_Ｎがゲートに入力されている
MOSトランジスタと直列に接続されて接地電極とニュー
ロン出力値出力線VO1とを結んでいる。ニューロン出力
値出力線VO1は負荷回路において抵抗を通じて電源VM01
につながっている。したがって、演算回路起動信号Φ_Ｎ
により起動された状態でデータ線電位の増幅が終了する
と、ニューロン出力値出力線VO1の電位は、高電位つま
りVccとなったデータ線の本数に比例した電圧だけ低下
する。したがって、本実施例によれば、ニューロン出力
値出力線VO1の電位低下によってニューロン出力値を表
すことができる。なお、データ線の片側、/DA11,…,/DA
1pにも同様の回路を設けたのは、第11図（ａ）の乗算器
MTと同様の理由でデータ線容量のアンバランスを避ける
ためである。上記の実施例によれば複数のメモリセルに
よって表したニューロン出力値あるいは、結合重み値を
ニューロン出力値出力線あるいは結合重み値出力線に読
みだすことができる。

第18図（ｃ）はニューロン出力値と結合重み値の積和
を計算するためのブロックBLK2と非線形関数回路D10の
１実施例を示したものである。第18図（ｃ）においてブ
ロックBLK2は、負荷回路LD102と乗算器MT10より構成さ
れている。ニューロン出力値出力線VO1,VO2,…,VOおよ
び結合重み値出力線TO1,TO2,…,TOnはMT10内のMOSトラ
ンジスタM16c1,M16c2のゲートに接続されており、上記M
OSトランジスタは、演算回路起動信号Φ_Ｎがゲートに入
力されているMOSトランジスタM16c3と直列に接続されて
接地電極と積和出力線NOとを結んでいる。一方、積和出
力線NOは負荷回路LD102において抵抗R02を通じて電源VM
02につながっている。したがって、演算回路起動信号Φ
_Ｎが高レベルになり、本回路が起動された状態では、対
応するニューロン出力値出力線VO1,VO2,…,VOと結合重
み値出力線TO1,TO2,…,TOnの電位の積の総和が大きいほ
ど積和出力線NOの電位が低下する。前記したようにニュ
ーロン出力値出力線VO1,VO2,…,VOと結合重み値出力線T
O1,TO2,…,TOnの電位は、ニューロン出力値と結合重み
値の大きさにほぼ比例して低下するため、ニューロン出
力値と結合重み値の積和が、大きいほど積和出力線NOの
電位は高電位となる。積和出力線NOは非線形関数回路D1
0に入力される。非線形関数回路D10は、第18図（ｄ）に
示したような回路をｎ個並列に接続して構成することが
できる。第18図（ｄ）の回路は、第14図（ａ）の非線形
関数回路Ｄと同じように差動アンプとインバータを組合
せたものである。ただし、積和出力線NOとニューロン出
力値と結合重み値の積和との極性が第11図と第18図
（ａ），（ｂ），（ｃ）の実施例では異なるので、第18
図（ｄ）では差動アンプの抵抗Rxを第14図（ａ）の抵抗
R72とは、逆の位置に付けている。このため、第18図
（ｄ）では積和出力線NOが参照電圧VRx（ｘ＝1,2,…,
p）を越えると出力NVxが高電位に遷移する。このような
非線形関数回路DSxをｐ個設けておき第18図（ｅ）のよ
うに参照電圧VRxを変えておけばｐ本の出力NVxのうち高
電位になっているものの本数で積和出力線NOの変化量を
示すことができる。本実施例によれば参照電圧VRxの値
を変えることによって非線形関数回路の特性を容易に変
化させることができる。なお、第18図（ｃ）に示したの
回路を乗算器MT10として用いる場合などにはMOSトラン
ジスタの特性などにより積和出力線NOの電位変化はニュ
ーロン出力値と結合重み値の積和の大きさに対して一般
的には線形にはならない。したがって、非線形関数回路
の特性が所望の形状になるように、乗算器あるいは、加
算器の特性も考慮してVRxの値を設定すればよい。場合
によっては、製造条件の変動などにより個々のチップの
特性を精度よく知ることが困難な場合もある。そのよう
な場合には、実際にアレーA,Bに既知のニューロン出力
値と結合重み値を書込み、演算モードで動作させて積和
出力線NOの電位を計測しその結果に応じてVRxの値をト
リミングして所望の特性に合わせればよい。

なお、ここでは第18図（ａ）における入出力回路DIO1
0の詳細については省略するが、第14図（ｃ），
（ｅ），（ｆ）に示した読出し回路OUT,あるいは書き込
み回路WRと同様な回路を複数用いることにより複数のメ
モリセルへ並列に読出しあるいは書き込みを行なう回路
は容易に実現できる。また、クロック発生回路16の構成
についても省略するが、通常のメモリに用いる回路と同
様にして容易に実現できる。

次に、第18図（ａ）の実施例を用いて、ニューロン出
力値、結合重み値を複数のビットによる２進表示によっ
て表す第10図の実施例を実現するための方法について説
明する。第10図（ａ）に示したように複数のビットによ
る２進表示で表された情報を加算するには複数のメモリ
セルの情報をビット毎に重み付けして加算する必要があ
る。このためには第18図（ｂ）において電圧電流変換器
VI1,VI2,…,VIp内のデータ線に接続されたMOSトランジ
スタのゲート幅の比を1:2:4:…:2^Pとすれば、ニューロ
ン出力値出力線VO1の電位は、２進表示によるニューロ
ン出力値の大きさに比例して降下する。したがって、同
様の回路を他のニューロン出力値、あるいは結合重み値
に対して使用すれば第10図（ａ）に示したような重み付
けした加算を実現できる。乗算器については、第18図
（ｃ）に示したブロックBLK2をそのまま用いることがで
きる。非線形関数回路については、積和出力線NOに出力
された演算結果を再び２進表示にして複数のメモリセル
へ書き込むためにADコンバータの機能を持たせる必要が
ある。そのためには、第19図（ａ）に示したような実施
例を用いることができる。第19図（ａ）の実施例は、ｚ
個（以下ｚ＝2^Pとする。）の非線形関数回路DS1,DS2,
…,DSzとエンコーダとを組合せたものである。非線形関
数回路DS1,DS2,…,DSzには第18図（ｄ）の回路を使用し
参照電圧VRxを調整することにより第19図（ｂ）に示し
たような特性を持たせておく。すると、第18図（ｃ）実
施例と同様に出力NA1,NA2,…,NAzのうち高電位であるも
のの本数によりニューロン出力値と結合重み値の積和の
大きさを知ることができる。このままでは、ｚビットの
等価表示であるためエンコーダによりｐビットの２進表
示にしてｐ本の出力線NV1,NV2,…,NVpにより書き込み回
路へ伝達する必要がある。したがって、第19図（ａ）の
エンコーダには第19図（ｃ）に示したような入出力関係
を持たせればよい。このようなエンコーダは、容易に実
現できる。ｐ＝３のときの構成例を第19図（ｄ）に示
す。本実施例は、ｐ＝３以外のときにも容易に拡張する
ことができる。

以上では、階層型のニューラルネットワークを例にと
って説明してきた。しかし本発明は、階層型のニューラ
ルネットワークに限定されるものではなく、これまで述
べてきた実施例を用いて他のタイプのネットワークにも
適用できる。第20図（ａ），（ｂ）および、第21図
（ａ），（ｂ）の実施例は、第５図（ｂ）のアルゴリズ
ムによってホップフィールド型のネットワークによる情
報処理を実現するための実施例である。第20図（ａ）は
ニューロン出力値，結合重み値を表現するのに１つづつ
のメモリセルを用いて非同期型のホップフィールド型の
ネットワークを実現するための実施例である。第２図，
第３図を用いて説明したように階層型のニューラルネッ
トワークでもホップフィールド型のネットワークでも基
本的な演算法は同じである。ただし、ホップフィールド
型のネットワークでは自身を含めてすべてのニューロン
からのニューロン出力値を用いて演算を行なう。そこ
で、第20図（ａ）では、アレーＡ内の１本のワード線に
すべてのニューロン出力値を収納する。図に示したよう
にアレーＢには、１つのニューロン出力値を計算するの
に必要な結合重み値が同じワード線上に並ぶように収納
する。ニューロン出力値の更新は、次のようにして行な
うことができる。例えば、ニューロン出力値V₁を更新す
るには、アレーＡのワード線WAとアレーＢのｊ＝１のワ
ード線を立ち上げる。この結果、新しいV₁であるｇ（T
₁₁V₁＋T₁₂V₂＋…＋T_1nV_n）が計算される。これをアレー
Ａのワード線WA上のｉ＝１の位置にあるメモリセルに書
き込めばよい。その他のニューロン出力値の更新も同様
であり、例えば、V₄を更新するには、アレーＡのワード
線WAとアレーＢのｊ＝４のワード線を立ち上げる。この
結果、新しいV₄であるｇ（T₄₁V₁＋T₄₂V₂＋…＋T_4nV_n）
が計算される。これをアレーＡのワード線WA上のｉ＝４
の位置にあるメモリセルに書き込めばよい。このように
して所望の順番でニューロン出力値V_iを更新していくこ
とによって非同期型のホップフィールド型ネットワーク
の演算を行なうことができる。同期型のホップフィール
ド型ネットワークの演算を行なうには、第20図（ｂ）の
ようにアレーＡにおいてワード線WA1上のメモルセルを
現在のニューロン出力値を記憶するために用いて、ワー
ド線WA2上のメモルセルを新しいニューロン出力値を記
憶するために用いれば容易に実現できる。まず、アレー
Ａのワード線WA1とアレーＢのｊ＝１のワード線を立ち
上げる。この結果、新しいV₁であるｇ（T₁₁V₁＋T₁₂V₂＋
…＋T_1nV_n）が計算される。これをアレーＡのワード線W
A2上のｉ＝１の位置にあるメモリセルに書き込めばよ
い。つづいて、ニューロン出力値V₂,V₃,…,V_nを更新し
てアレーＡのワード線WA2上のメモリセルに書き込む。
すべてのニューロン出力値の更新が終わったところで今
度は、アレーＡのワード線WA1とWA2の役割を変えて、ニ
ューロン出力値の計算時には、ワード線WA2を立ち上
げ、ニューロン出力値を収納するときにはワード線WA1
を立ち上げるようにしてニューロン出力値の更新を続け
る。以下、同様にしてアレーＡのワード線WA1とWA2の役
割を変えながら処理を進める。このように第20図（ｂ）
の実施例によれば、同期型のホップフィールド型ネット
ワークの演算を行なうことができる。

同様にしてニューロン出力値，結合重み値を表現する
のに複数のメモリセルを用いてホップフィールド型のネ
ットワークを実現することもできる。第21図（ａ）はニ
ューロン出力値，結合重み値を表現するのにそれぞれｐ
個,q個づつのメモリセルを等価に用いて非同期型のホッ
プフィールド型のネットワークを実現するための実施例
である。第20図（ａ）と同様に、アレーＡ内の１本のワ
ード線にすべてのニューロン出力値を収納する。ただ
し、ｐ個のセルで１つのニューロン出力値を表してい
る。アレーＢには、１つのニューロン出力値を計算する
のに必要な結合重み値がｑ個のセル毎に同じワード線上
に並ぶように収納する。ニューロン出力値の更新は、第
20図（ａ）の実施例と同様にすればよい。ただし、ニュ
ーロン出力値を表現するのにそれぞれｐ個づつのメモリ
セルを用いているので演算結果をｐ個のセルに並列に書
き込めるように、非線形関数回路Ｄの出力線をｐ本設け
てある。同期型ホップフィールドネットワークについて
も第20図（ｂ）と同様にアレーＡの２本のワード線を用
いれば第21図（ｂ）のようにして容易に実現できる。同
様にして第10図（ａ）のようにニューロン出力値，結合
重み値を表現するのにそれぞれｐ個,q個づつのメモリセ
ルによる２進表現を用いて同期型、非同期型のホップフ
ィールド型のネットワークを実現することもできること
はもちろんである。

第８図（ａ）と第20図（ａ），（ｂ）ならびに第９図
（ａ）と第21図（ａ），（ｂ）とは基本的な構成は同一
である。したがって、第11図から第19図までの実施例を
用いれば、第20図（ａ），（ｂ）および、第21図
（ａ），（ｂ）の実施例による情報処理を容易に実現す
ることができる。なお、ホップフィールド型のネットワ
ークにおいては、ニューロン出力値の更新を続ける過程
において、エネルギーを最小とする状態でなく極小とす
る状態、所謂ローカルミニマムに落ちこんでニューロン
出力値が変化しなくなってしまうことがありうる。それ
を避けるにはよく知られている擬似焼き鈍し法を用いる
ことができる。ニューラルネットワーク情報処理（産業
図書、麻生英樹著）122ページに述べられているよう
に、擬似焼き鈍し法を実現するために非線形関数の形を
徐々に変えるという方法が、知られている。本発明によ
れば特性の異なる非線形関数回路Ｄを複数設けて切り替
えたり、あるいは、外部より非線形関数回路Ｄの特性を
コントロールするなどによって容易に上記の方法が実現
できる。

これまでは、主に階層型、あるいはホップフィールド
型ネットワークにおいてニューロン出力値，結合重み値
を正の数として扱う例を述べてきたが、応用対象によっ
てはこれらの両方あるいは片方が正の値も負の値も取り
得るとした方が便利な場合もある。そのような場合にも
本発明は容易に適用できる。第22図はニューロン出力
値、結合重み値ともに正，負の値を取ることができるよ
うに構成した本発明の１実施例である。第22図において
ニューロン出力値はメモリセルアレーA,結合重み値はメ
モリセルアレーＢに蓄えられている。それぞれの値は絶
対値の大きさを表すｐあるいはｑビットと符号を表す１
ビットにより表されている。符号を表す（以下、符号ビ
ット）は、“1"で正“0"で負を表す。これまで述べてき
たのと同様の方法で読出されたニューロン出力値と結合
重み値のうち絶対値の大きさを表すｐあるいはｑビット
の部分は加算器、a1,…,anおよびb1,…,bnに入力され、
アナログ値となって乗算器m1,…,mnに入力される。な
お、ニューロン出力値、結合重み値を２進表現で表すと
きには、上記の加算器a1,…,anおよびb1,…,bnに入力さ
れる各々p,qビットのデータを第10図に示したのと同じ
ように重み付けして入力すればよい。一方、符号ビット
は、第22図に示したように排他的OR（エクスクルーシブ
オア）回路EOR1,…,EORnに入力される。符号ビットが一
致しない場合、すなわち乗算の結果が負のときには上記
排他的OR回路の出力は高レベルとなり、一致した場合す
なわち、乗算の結果が正のときには上記排他的OR回路の
出力は低レベルとなる。スイッチSW1,…,SWnは、排他的
OR回路の出力が低レベルの時には乗算器の出力を加算器
c1,…,cnに、高レベルのときには乗算器の出力を加算器
c1′，…,cn′に伝えるように動作する。この結果、積
和出力線NOには、乗算の結果が正のものの総計が、積和
出力線NO′には、乗算の結果が負のものの総計が出力さ
れる。非線形回路Ｄでは積和出力線NOと積和出力線NO′
との信号の差をｐビットのデジタル値に変換してバスAB
Sに、積和出力線NOと積和出力線NO′との信号の大小で
符号ビットを決定してバスSIGNへ出力する。なお、ニュ
ーロン出力値の表現にあわせて第９図、あるいは第10図
に示したような非線形特性を持たせることは、これまで
述べたのと同様な方法で容易に実現できる。本実施例に
よれば、ニューロン出力値、結合重み値ともに正，負の
値をとることができる。したがって、情報処理の適用範
囲が広がるという利点がある。ここでは、ニューロン出
力値，結合重み値ともに正，負の値をとるようにした
が、どちらか片方のみを正の値に限るなどの変形は容易
に実現できる。

これまでは、演算回路としてニューロン出力値を計算
するのに必要な積和機能と非線形関数回路を実現する実
施例を説明してきた。しかし、演算回路にさらに他の演
算を行なう回路を追加することもできる。たとえば、本
発明による情報処理装置は階層型ネットワークを用いた
音声認識，文字認識など入力されたパターンをいくつか
の組に分けるような所謂クラス分け問題に適用すること
ができる。このような場合には前記したように演算回路
内に比較器があると便利である。クラス分け問題では、
入力されたパターンが、明らかにあるクラスに分類され
る場合には、出力としてクラスに対応する期待値を得る
ことができる。しかし、入力されたパターンが、複数の
いずれかのクラスに分類されるか微妙な場合には、複数
のクラスの期待値の中間的なものとなることがある。例
えば、音声認識において入力された音声が‘K'のときに
は、符号化して入力層に与えた音声波形に対して出力層
に1111というニューロン出力値（期待値）が得られるよ
うに、また、入力が‘C'のときには、0000という出力値
（期待値）を出すように結合重み値を設定した場合に、
‘K'、‘C'の中間的な音声波形が与えられると出力層の
ニューロン出力値は、0001とか1110など中間的な値を出
すことがある。このような場合には出力層のニューロン
出力値と‘K'に対する期待値1111あるいは‘C'に対する
期待値0000との距離が入力音声の‘K'あるいは‘C'に対
する近さを与える尺度と解釈することができる。したが
って、演算回路に出力層のニューロン出力値とクラスの
期待値を比較する回路を設けて出力結果と期待値の距離
を求める機能がある便利である。

第23図は１つの半導体チップにニューロン出力値と期
待値の比較を行なう演算回路12aと、ニューロン出力値
を計算するための演算回路12bとを集積した１実施例で
ある。第23図において、期待値はメモリ回路TGに、ニュ
ーロン出力値はメモリ回路Ａに結合重み値はメモリ回路
Ｂに記憶されている。ニューロン出力値を計算するに
は、これまで述べてきたのと同様な方法でメモリ回路Ａ
からニューロン出力値をメモリ回路Ｂから結合重み値を
読出して演算回路12bによってニューロン出力値を計算
し、その結果をメモリ回路Ａに書き込めば良い。比較を
行うには、メモリ回路Ａからニューロン出力値をメモリ
回路TGから期待値を読出して演算回路12bにより並列に
距離を求めてその結果をメモリ回路TGに書き込むかある
いは、入出力装置を通じて出力する。本実施例ではメモ
リ回路TG,Aならびに演算回路12aともに同一チップ上に
あるため、バス1,2の本数を容易に増やすことができ、
多数のビットを並列に処理できる。このため高速に距離
の計算ができるという利点がある。なお、このような構
成においては、演算モードをニューロン出力値を計算す
るニューロン出力値計算モードとニューロン出力値と期
待値を比較して距離を求める比較モードとに分けると便
利である。演算モードの切り換えは、例えば２つの演算
回路制御信号/NE1と/NE2とにより容易に行なうことがで
きる。すなわち、/NE1,/NE2ともに高レベルのときには
メモリモード,/NE1が低レベル、/NE2が高レベルでニュ
ーロン出力値計算モード,/NE1が高レベル,/NE2が低レベ
ルで比較モードなどとすればよい。なお、第23図では、
メモリ回路を３つに、演算回路を２つに分けたが、これ
らはチップ上に混在して構成しても良いことはもちろん
である。以上述べたように本実施例によればニューロン
出力値と期待値との距離を高速に求めることができる。
このため、階層型ネットワークを用いたパターン認識な
どのようにニューロン出力値と各期待値とを比較してそ
の距離を求める必要がある場合に情報処理速度を上げる
ことができる。

第24図は、第23図の演算回路12aの１実施例であり、
出力層のニューロン出力値と期待値を比較してそのハミ
ング距離の大きさを計算する回路である。以下では第23
図のメモリ回路TG,Aは第11図，第16図あるいは第18図の
ようにデータ線対にメモリセルの情報が読出される形式
のものであり、それぞれアレーTG,アレーＡを有してい
るとする。第24図は、比較器CMPと比較結果変換回路COM
POUTより構成されている。比較器CMPは並列に設けた比
較回路CMPUと負荷抵抗R_CMPより構成され比較結果変換回
路COMPOUTは差動アンプAMP211,AMP212,…,AMP21Zより構
成されている。比較器CMPには、アレーTGのデータ線DTG
1,/DTG1,…,DTGr,/DTGrおよびアレーＡのデータ線DA1,/
DA1,…,DAr,/DArが入力されている。ここでｒは１本の
ワード線上のメモリセルの数で、ニューロン出力値を１
ビットで表すときにはn,pビットで表すときにはｎとｐ
の積に等しい。本実施例によれば、アレーTGのデータ線
DTG1,/DTG1,…,DTGr,/DTGr上に読出した情報とアレーＡ
のデータ線DA1,/DA1,…,DAr,/DAr上に読出した情報との
ハミング距離を計算することができる。本実施例の動作
は、以下の通りである。まず、あらかじめクリア信号Φ
_Ｃを立ち上げMOSトランジスタQ216をオンさせて、MOSト
ランジスタQ215のゲート電圧を立ち下げておく。クリア
信号Φ_Ｃを立ち下げてデータ線に信号が読出されデータ
線電位がVccあるいは0Vになった後、比較器起動信号Φ
_CMPにより比較器を起動する。すると比較回路に入力さ
れたデータ線（DTG1,DA1），（DTG2,DA2），…，（DTG
r,DAr）のそれぞれの組で排他的オア（EXCLUSIVE−OR）
の論理がとられる。その結果、アレーTG側のデータ線と
Ａ側のデータ線とで情報が一致している場合にはMOSト
ランジスタQ215のゲートが低電位のままであるが、一致
していない場合には高電位に遷移する。このため、アレ
ーTG側のデータ線とＡ側のデータ線とで情報が一致しな
い比較器CMPUではMOSトランジスタQ215がオンする。こ
の結果、データ線（DTG1,DA1），（DTG2,DA2），…，
（DTGr,DAr）のそれぞれの組で不一致の数が多いほど電
源VCMPから負荷抵抗RCMPを通じて接地電極へ向けて電流
が流れる。そのため、比較線COの電位は一致しないもの
が多いほど低下する。比較線COは、比較結果変換回路CO
MPOUTに設けられた差動アンプAMP211,AMP212,…,AMP21Z
に接続されている。これらの差動アンプの参照電圧VRC
1,VRC2,…,VRCZを適当な値に設定しておけば、比較線CO
の電位低下が大きいほど比較結果出力線DCO1,DCO2,…,D
COZのうち高電位になる本数が増加する。すなわち、比
較結果変換回路COMPOUTは１種のAD変換器として動作す
る。このように第24図の実施例によればアレーTGの複数
のデータ線に読出された情報とアレーＡの複数のデータ
線に読出された情報を比較してそのハミング距離の大き
さを求めることができる。したがって、アレーTGとアレ
ーＡで１本ずつワード線を選択すれば、選択されたワー
ド線上のメモリセルに記憶された情報同土を比較するこ
とができる。このため各期待値をそれぞれアレーTGのワ
ード線上のメモリセルに記憶しておけば、アレーＡの１
本のワード線上のメモリセルに記憶されたニューロン出
力値と比較して、そのニューロン出力値がどの期待値に
どのくらい近いのか知ることができる。したがって、得
られたニューロン出力値がクラスに対応する期待値と一
致しないような場合でも高速にどのクラスにどのくらい
近いのか知ることができる。

なお、第24図の実施例において比較結果出力線に出力
された結果は、比較の度に入出力回路を通じてチップ外
へ出力してもよいし、メモリ回路TGの容量を期待値を記
憶するのに必要な量よりも大きくとっておき、そこに書
き込んでおいて、まとめて出力してもよい。

最後にレジスタを用いて本発明の装置をさらに高速化
する実施例について述べる。これまで述べてきたように
本発明では、ニューロン出力値を計算するのに、必要な
データをメモリ回路から読出し、演算回路でニューロン
出力値を求め、その結果を再びメモリ回路へ書き込むと
いう動作を続ける。すなわち、１回の演算モード（ニュ
ーロン出力値演算モード）サイクルは読出し動作と書込
み動作よりなり、書込み動作中には演算回路が休止して
いることになる。したがって、演算回路が休止している
時間を短くすれば、より一層の演算モードの高速化を図
ることができる。第25図は上記の観点に基づいて演算モ
ードの高速化を図った１実施例である。第25図は第７図
の実施例にレジスタ14とスイッチSW1,…,SWrとを付加し
たものである。第25図の実施例によれば第５図のアルゴ
リズムを用いて高速にニューロ出力値を計算することが
出来る。以下では、階層型のネットワークを例にとって
説明を行うが、ホップフィールド型ネットワークにおい
ても同様の効果がある。第25図の実施例では第ｓ層の第
１ニューロンの出力値を計算するにのに、メモリセルア
レーＡのワード線を１本立ち上げて第ｓ−１層のニュー
ロン出力値を読出し、スイッチSW1,…,SWrを閉じて第ｓ
−１層のニューロン出力値をレジスタ14に書き込み、ス
イッチSW1,…,SWrを開ける。次に、メモリセルアレーＢ
のワード線を１本立ち上げて第ｓ−１層のニューロンと
第ｓ層の第１ニューロンの間の結合重み値を読出すとと
もにレジスタ14より、第ｓ−１層のニューロン出力値を
読出して演算回路12により第ｓ層の第１ニューロンの出
力値を計算する。その結果をメモリセルアレーＡへ書き
込む。このとき同時にセルアレーＢのワード線を１本立
ち上げて第ｓ−１層のニューロンと第ｓ層の第２ニュー
ロンの間の結合重み値を読出すとともにレジスタ14よ
り、第ｓ−１層のニューロン出力値を読出して演演算回
路12により第ｓ層の第２ニューロンの出力値を計算す
る。以下同様にして第ｓ層のニューロンの出力値を計算
していく。次に第ｓ＋１層のニューロンの出力値を計算
するにはメモリセルアレーＡのワード線を１本立ち上げ
て先に求めた第ｓ層のニューロン出力値を読出し、スイ
ッチSW1,…,SWrを閉じて第ｓ層のニューロン出力値をレ
ジスタ14に書き込み、以下同様にして計算を進める。以
上のように本実施例によれば、レジスタ14を設けたこと
により書込みと読出しとを同時に行う事ができるため、
高速の動作を実現する。

これまでは、本発明を用いておもにニューロン出力値
を計算する方法について説明し、必要な結合重み値は、
すでに与えられていると仮定してきた。必要な結合重み
値は、課題によっては、初めから容易に与えられること
もあるが、所謂学習によって求める必要のあることもあ
る。たとえば、バックプロパゲーションとよばれる階層
型のネットワークのための学習では、あらかじめ入力層
のニューロン出力値（テストパターン）をいくつか用意
しておき、そのテストパターンに対して所望のニューロ
ン出力値が出力層に得られるような結合重み値を求める
ことができる。また、ニューラルネットワーク情報処理
（産業図書、麻生英樹著）第２章に記載されているよう
にホップフィールド型のネットワークでもニューロン出
力値の平衡状態が所望の状態になるように結合重み値を
設定する学習アルゴリズムが知られている。そのような
学習を本発明に応用するには、次のように３つの方法が
ある。第１の方法は、外部の計算機を用いて学習を行
い、得られた結合重み値を本発明による情報処理装置に
書込む方法である。この方法では、学習をソフトウエア
で行うこともできるため学習アルゴリズムの変更が容易
にできるという利点があるが、学習速度を上げることが
困難である。第２の方法は本発明による装置の演算回路
に学習のための演算機能を設けておき、オンチップで学
習を行う方法である。この方法では、高速に学習を行う
ことができるが学習に必要な回路をすべて同一チップ上
に集積するのは困難な場合がある。第３の方法は第１の
方法と第２の方法の中間的なもので、学習に必要な演算
の１部を本発明の装置で行い、外部の計算機で学習に必
要な演算の残りの部分を行う方法である。この方法は、
第１の方法に比べて学習速度を上げることができ、本発
明の装置の演算回路を単純に構成できるという利点があ
る。以下では、この第３の方法について具体的に述べ
る。なお、学習法としては階層型ネットワークにおける
バックプロパゲーション法を例に採る。バックプロパゲ
ーション法（以下、BP法と記す。）では、以下の式にし
たがって結合重み値の更新を行う。

T^S _{i j}＝T^S _{i j}＋εd_jSV_iS-1 …（１） d_jm＝（t_j−V_jm）ｇ′（U_jm） …（２） d_jS＝ｇ′（U_jS）Σ_ｉ（T^S+1 _{i j}d_iS+1） …（３） （ｓ＝ｍ−1,…,2） ここで、εは小さな正の数、t_jは最終層のニューロン
出力値V_jmの目標値、ｇ′は非線形関数ｇの導関数、U_jS
は第ｓ層第ｊニューロンにおいて非線形関数ｇを通す前
の量で次式で定義される。

U_jS＝Σ_ｉ（T^S-1 _{j i}V_iS-1＋Θ_jS） …（４） 結合重み値の更新は、学習用の入力データ毎に上記の
式（１）から（４）により更新量を求めて更新してもよ
いし、学習用の入力データのすべてについて更新量を総
計してそれを用いて更新を行ってもよい。また、（１）
式に慣性項といわれる次項を足して更新を行ってもよ
い。

μΔT^S _{i j}′ …（５） ここで、μは小さな正の定数、ΔT^S _{i j}′は前回の更
新時の修正量である。学習は、最終層のニューロン出力
値とその目標値との誤差が十分小さくなるまで続ける。

上記の学習は以下のようにして第23図に示した実施例
と外部の計算機とにより実行することができる。以下で
は、入力データすべての更新量の総計により更新する場
合にについて説明するが、入力データ毎に結合重みを更
新する場合についてについても同様である。なお、以下
では、３層のネットワークについて説明を行うが３層以
上の場合についても同様である。

まず、すべての学習用の入力データとその目標値とを
それぞれメモリ回路ＡならびにTGへ書込む。次に絶対値
の小さな乱数を結合重み値の初期値としてメモリ回路Ｂ
へ書込む。さらに、第１の入力データを第１層のニュー
ロン出力値とみなして演算回路12bへ読出し、同じに第
１層，第２層間の結合重み値をメモリ回路Ｂより演算回
路12bへ読出す。前記した方法により並列に乗算を行い
第２層のニューロン出力値を計算してメモリ回路Ａへ書
き込む。続けて第３層のニューロン出力値を計算しメモ
リ回路Ａへ書き込む。上記の計算を学習用入力データ全
てについて行なって、各入力データに対する各層のニュ
ーロン出力値，各入力データに対する期待値，結合重み
値をチップ外のメモリへ読出す。次に外部の計算機で結
合重み値の更新量を計算し、更新した結合重み値を本発
明による装置のメモリ回路Ｂへ書き込む。なお、
（２），（３）式におけるｇ′（U_jS）についても本発
明による装置内でニューロン出力値V_jSを計算する際に
非線形関数回路Ｄに入力するU_jSより計算してもよいし
あるいは外部計算機でV_jSより逆に ｇ′（U_jS）＝ｇ′（g^-1（V_jS）） …（６） として計算することもできる。また、（５）式の慣性工
を加えるには、更新の度に結合重み値の修正量をチップ
外のメモリに蓄えておいて新しく求めた修正量に（５）
式に従って加算すればよい。

上記の更新を繰返し行なって学習を進めることができ
る。学習の進み具合を知るには、各入力データに対する
最終層のニューロン出力値とその期待値との距離を目安
にすることができる。この距離は第24図の実施例を用い
れば高速に計算することができる。このため、学習時に
その進行具合を確かめることが容易にできる。

以上説明したように、本発明によれば、学習用の入力
データに対するニューロン出力値の計算を本発明の装置
内で高速に行なうことができる。また、本発明ではメモ
リ回路TG,A,Bにメモリアレーよりなるメモリ装置を用い
ているので。すべての入力データ，期待値，前層のニュ
ーロン出力値などを容易に収納できまた、ワード線を立
ち上げることにより並列に多数のビットを読みだすこと
ができる。このため、外部メモリへの情報の転送をまと
めて高速に行なうことができる。このため、学習を高速
に進めることができる。

本発明ではメモリ回路の容量を十分に大きくしておけ
ば、ニューロン数を用途に応じて変えることも容易にで
きる。この場合、ニューロン数を大きく変えると非線形
関数回路のダイナミックレンジを変える必要が生じるこ
とがある。この場合には特性の異なる非線形関数回路を
複数設けて切り替えて使ったり、あるいは、非線形関数
回路内のアンプの参照電圧を切り替えて使うこともでき
る。階層型ネットワークで層ごとのニューロン数が異な
る場合にも層ごとに非線形関数回路のダイナミックレン
ジを変える必要が生じることがある。この場合にも同様
の方法で対処できる。

なお、これまでは、主にいわゆる１トランジスタ１キ
ャパシタのDRAMセルや第16図（ａ），（ｂ）に示したよ
うなSRAMセルを用いた実施例を示したが、その他のメモ
リセルを本発明に用いることももちろんできる。たとえ
ば、結合重み値を記憶する部分などは情報処理時には頻
繁に書き替える必要がないので不揮発性のメモリセル
を、ニューロン出力値を記憶する部分にはDRAMセルやSR
AMセルを用いるなどメモリの内容によりセルの種類を変
えることもできる。

１トランジスタ１キャパシタのDRAMセルなどの微小な
メモリセルを用いてメモリ回路を高集積化すると、微小
な配線を用いるためにときには１部のメモリセルが動作
しないことがある。ニューラルネットワークは、結合重
み値を多少変えても機能への影響が少ないという特長を
持つが、ニューロン出力値を蓄えるメモリセルが動作し
ないような場合には情報処理に支障を来すことがある。
このような問題を避けるには、通常の高集積半導体メモ
リで使われているような冗長ワード線あるいは、データ
線を設けておいて欠陥のあるセルを使わないようにする
こともできる。

また、第14図（ａ），（ｅ），（ｆ），第18図（ｄ）
などでは、バイポーラトランジスタを用いたがCMOSでも
実現できる。さらに、バイポーラトランジスタ,MOSトラ
ンジスタに限らず本発明を他のデバイスで実現してもよ
いことはもちろんである。

これまで、主に階層型とホップフィールド型のネット
ワークを例にとり説明してきたが、本発明はこれらに限
定されることなく様々な型のネットワークによるニュー
ラルネットワーク情報処理に適用できる。たとえば、ボ
ルツマンマシンのようなニューロン出力値の更新が確率
的に行なわれるようなネットワークも実現できる。ニュ
ーラルネットワーク情報処理（産業図書、麻生英樹著）
第27ページに説明されているように、ボルツマンマシン
は、ネットワークの形状はホップフィールド型のネット
ワークと同様であるが、ニューロン出力値（０または
１）が、ニューロンに入力されるニューロン出力値と結
合重み値の他の積和によって一意に決まらず、確率的に
決まるという特長を持っている。ニューロン出力値が１
となる確率Ｐは、 Ｐ＝1/（１＋exp（−I/T）） と表せられる。ここで、Ｉはニューロンに入力されるニ
ューロン出力値と結合重み値の積和で、Ｔは温度とよば
れるパラメータである。本発明により上記のボルツマン
マシンは容易に実現できる。例えば、第18図（ｄ）に示
した非線形回路Ｄの参照電圧VRxを定常値でなく積和出
力線NOの変動範囲で時間的に変化させればよい。このよ
うにするとニューロン出力値を確率的に決めることがで
きる。変化の速度を変えることにより温度Ｔを変化する
のと同様の効果を得ることができる。

さらに、第８図（ａ）と第20図（ａ），（ｂ）とを較
べると明らかなようにメモリ回路の容量が十分あればニ
ューロン出力値，結合重み値を記憶するメモリセルのア
ドレスを変更するだけで様々な型のネットワークを同一
の装置で実現できる。したがって、本発明は、高い汎用
性を持つ。

以上では、ニューラルネットワーク情報処理への応用
について説明したが、本発明はそれに限定されることは
なく、同様の演算機能を持つ多数の演算要素をネットワ
ーク状に接続して情報処理を行なうような装置ならば高
い集積度で実現することができることはもちろんであ
る。

これまで示した実施例においては、演算回路としてア
ナログ演算を行なうものを主に示してきた。アナログ演
算回路は、高速で、回路規模も小さいという利点をも
つ。しかし、本発明は、これに限定されることなく、発
明の主旨を変えることなくデジタル演算回路を用いるこ
ともできる。その場合にはデジタル演算回路のため、高
精度の計算を行なうことができる。

〔発明の効果〕

以上述べてきたように、本発明によればメモリ回路と
演算回路を組合せ、演算回路により並列演算を行なうこ
とにより、比較的単純な演算を行なう演算器が多数ネッ
トワーク状に接続されたニューラルネットワークなどの
並列分散処理装置と同様な情報処理を行なう装置を速度
の犠牲を大きくすることなく、高集積に実現することが
できる。

【図面の簡単な説明】

第１図は本発明による情報処理装置を半導体チップ上に
実現する場合の構成を示した１実施例。 第２図（ａ），（ｂ）は、階層型ニューラルネットワー
クの原理を示した図。 第２図（ｃ），（ｄ）は、非線形関数回路Ｄの特性の例
を示した図。 第３図（ａ），（ｂ）は、ホップフィールド型ニューラ
ルネットワークの原理を示した図。 第４図は複数のチップを用いた従来のニューラルネット
ワーク情報処理装置の例。 第５図（ａ），（ｂ）は、それぞれ階層型ニューラルネ
ットワークとホップフィールド型ニューラルネットワー
クについて演算を並列に行なう方法の１実施例。 第６図（ａ），（ｂ）は、それぞれ階層型ニューラルネ
ットワークとホップフィールド型ニューラルネットワー
クについて演算を並列に行なう方法の第２の実施例。 第７図（ａ）は１本のワード線を選択することにより多
数の情報をデータ線上に読み出すことのできるメモリア
レーを用いて本発明による情報処理装置を実現する場合
の構成を示した１実施例。 第７図（ｂ）は１本のワード線を選択することにより多
数の情報をデータ線上に読み出すことのできるメモリア
レーを２つ用いて本発明による情報処理装置を実現する
場合の構成を示した１実施例。 第８図（ａ）は第７図（ｂ）の実施例を用いて階層型ニ
ューラルネットワークを実現する場合のニューロン出力
値，結合重み値とメモリセルとの対応関係を示した１実
施例でニューロン出力値，結合重み値を１つづつのメモ
リセルで表現した実施例。 第８図（ｂ）は第８図（ａ）の実施例においてメモリセ
ルに２値のものを用いる場合に好適な非線形関数回路Ｄ
の特性を示した１実施例。 第８図（ｃ）は第８図（ａ）の実施例においてメモリセ
ルに４値のものを用いる場合に好適な非線形関数回路Ｄ
の特性を示した１実施例。 第８図（ｄ）は第８図（ａ）の実施例において演算モー
ドでのワード線およびメモリセルの選択の方法を示した
１実施例。 第９図（ａ）は第７図（ｂ）の実施例を用いて階層型ニ
ューラルネットワークを実現する場合のニューロン出力
値，結合重み値とメモリセルとの対応関係を示した第２
の実施例でありニューロン出力値，結合重み値を複数の
メモリセルで表現した実施例。 第９図（ｂ）は第９図（ａ）の実施例においてニューロ
ン出力値，結合重み値を複数のメモリセルで等価的に表
現する場合に好適な非線形関数回路Ｄの特性を示した１
実施例。 第９図（ｃ）は非線形関数回路Ｄにシグモイド状の特性
を持たせるための第９図（ｂ）のXth1,…,Xthpの設定法
を示した１実施例。 第10図（ａ）は第７図（ｂ）の実施例を用いる階層型ニ
ューラルネットワークを実現する場合のニューロン出力
値，結合重み値とメモリセルとの対応関係を示した第３
の実施例でありニューロン出力値、結合重み値を複数の
メモリセルで２進表示により表現した実施例。 第10図（ｂ）は第10図（ａ）の実施例においてニューロ
ン出力値，結合重み値を複数のメモリセルで２進表示に
より表現した場合に好適な非線形関数回路Ｄの特性を示
した１実施例。 第11図は第８図（ａ）の実施例においてメモリセルにDR
AMセルを用いた場合の１実施例。 第12図は動作モードと外部信号との関係を示した１実施
例。 第13図（ａ）は第11図の実施例のメモリモードにおける
動作波形の１実施例。 第13図（ｂ）は第11図の実施例の演算モードにおける動
作波形の１実施例。 第14図（ａ）は第11図などの実施例に好適な非線形関数
回路Ｄの１実施例。 第14図（ｂ）は第14図（ａ）の非線形関数回路Ｄの特性
を示した１実施例。 第14図（ｃ）は第11図などの実施例に好適な入出力回路
IOの１実施例。 第14図（ｄ）は第14図（ａ）の非線形関数回路と第14図
（ｃ）の書き込み回路を用いた場合の積和出力線NOと書
込み線IAの電位関係を示した１実施例。 第14図（ｅ）は第11図などの実施例に好適な読出し回路
OUTの１実施例。 第14図（ｆ）は第14図（ｅ）の読出し回路OUTの実施例
に好適な読出しラッチ回路OUTLTの１実施例。 第15図は、第11図内の乗算回路MTの第２の実施例。 第16図（ａ），（ｂ）はSRAMセルの例。 第16図（ｃ）は第８図（ａ）の実施例においてメモリセ
ルに第16図（ａ），（ｂ）などのSRAMセルを用いた場合
の１実施例。 第17図（ａ）は第16図（ｃ）の実施例のメモリモードに
おける動作波形の１実施例。 第17図（ｂ）は第16図（ｃ）の実施例の演算モードにお
ける動作波形の１実施例。 第18図（ａ）は第９図（ａ）の実施例あるいは第10図
（ａ）の実施例においてメモリセルにDRAMセルを用いた
場合の１実施例。 第18図（ｂ）は第18図（ａ）の実施例におけるブロック
BLK1構成の１実施例。 第18図（ｃ）は第18図（ａ）の実施例におけるブロック
BLK2と非線形関数回路D10の構成の１実施例。 第18図（ｄ）は第18図（ｃ）の実施例における非線形
関数回路D10を構成する個々の非線形関数回路DSx（ｘ＝
1,2,…,p）の構成の１実施例。 第18図（ｅ）は第18図（ｃ）の実施例における非線形関
数回路D10を構成する個々の非線形関数回路DSx（ｘ＝1,
2,…,p）の特性の１実施例。 第19図（ａ）は第18図（ａ）の実施例においてニューロ
ン出力値，結合重み値を複数のメモリセルで２進表示に
より表現した場合に好適な非線形関数回路D10の構成を
示す１実施例。 第19図（ｂ）は第18図（ａ）の実施例における非線形関
数回路DSx（ｘ＝1,2,…,z）の特性の１実施例。 第19図（ｃ）は第19図（ａ）の実施例におけるエンコー
ダの特性の１実施例。 第19図（ｄ）は第19図（ａ）の実施例におけるエンコー
ダの構成の１実施例。 第20図（ａ）は第７図（ｂ）の実施例を用いて非同期的
なホップフィールド型ニューラルネットワークを実現す
る場合のニューロン出力値，結合重み値とメモリセルと
の対応関係を示した１実施例で、ニューロン出力値，結
合重み値を１つづつのメモリセルで表現した実施例。 第20図（ｂ）は第７図（ｂ）の実施例を用いて同期的な
ホップフィールド型ニューラルネットワークを実現する
場合のニューロン出力値，結合重み値とメモリセルとの
対応関係を示した１実施例で、ニューロン出力値，結合
重み値を１つづつのメモリセルで表現した実施例。 第21図（ａ）は第７図（ｂ）の実施例を用いて非同期的
なホップフィールド型ニューラルネットワークを実現す
る場合のニューロン出力値，結合重み値とメモリセルと
の対応関係を示した１実施例で、ニューロン出力値，結
合重み値を複数のメモリセルで表現した実施例。 第21図（ｂ）は第７図（ｂ）の実施例を用いて同期的な
ホップフィールド型ニューラルネットワークを実現する
場合のニューロン出力値，結合重み値とメモリセルとの
対応関係を示した１実施例で、ニューロン出力値，結合
重み値を複数のメモリセルで表現した実施例。 第22図は符号ビット用いてニューロン出力値，結合重み
値に正負両方の値を取ることができるようにする場合の
１実施例。 第23図はニューロン出力値と期待値の比較を行なう機能
を本発明による装置に持たせた場合の１実施例。 第24図はメモリセルアレーTGとメモリセルアレーＡの複
数のデータ線対に読出された情報を比較してその一致の
程度を計算する比較回路の１実施例。 第25図はレジスタを設けてニューロン出力値の更新の高
速化を図った１実施例。 A,B,TG……メモリ回路、Ｄ……非線形関数回路、12,12
a,12b……演算回路、OUT……読みだし回路、m1,m2,……
乗算器、a1,a2,……加算器、b1,b2,……加算器、c1,c2,
……加算器、c1′,c2′，……加算器、SW1,SW2,……ス
イッチ、WR……書き込み回路、NE……演算回路制御信
号、V_iS,V_i……ニューロン出力値、T_ij,T_i ^l _j……結合重
み値、PR……プリチャージ回路、SA……センスアンプ、
RSA……読み出しセンスアンプ、WS……書き込みスイッ
チ、MT……乗算器、LAT……ラッチ回路、OUTLT……読み
出しラッチ回路、NO……積和出力線、NV……非線形関数
回路出力線、WAi,WBi,j……ワード線、DAi,/DAi……デ
ータ線、DBi,/DBi……データ線、DTGi,/DTGi……データ
線、IA,IA……書込み線、IB,IB……書込み線、OA,OA…
…読み出し線、OB,OB……読み出し線、DI……書込みデ
ータ、DO……読み出しデータ、Φ_Ｌ……ラッチ信号。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 川尻 良樹 東京都国分寺市東恋ケ窪１丁目280番地 株式会社日立製作所中央研究所内 (56)参考文献 特開 平１−128296（ＪＰ，Ａ) 特開 昭62−46486（ＪＰ，Ａ) 特開 平１−159890（ＪＰ，Ａ) 特開 平１−271888（ＪＰ，Ａ) 特開 昭58−215813（ＪＰ，Ａ) 特開 昭63−244268（ＪＰ，Ａ) 特開 昭61−39157（ＪＰ，Ａ) 特開 昭62−172431（ＪＰ，Ａ) 特開 昭62−271185（ＪＰ，Ａ) Ｐａｕｌｏｓ，Ｊ．Ｊ．；Ｈｏｌｌｉ ｓ，Ｐ．Ｗ．，Ｎｅｕｒａｌ ｎｅｔｗ ｏｒｋｓ ｕｓｉｎｇ ａｎａｌｏｇ ｍｕｌｔｉｐｌｉｅｒｓ，Ｐｒｏｃ．ｏ ｆ ＩＥＥＥ Ｉｎｔ．Ｓｙｍｐ．ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔ ｅｍｓ，米国，1988年，ｖｏｌ．１，ｐ ｐ．499−502，ＩＮＳＰＥＣ Ａｃｃｅ ｓｓｉｏｎ Ｎｕｍｂｅｒ：3317043 (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06N 1/00 - 7/00 G06F 17/10 G06F 17/16 G11C 5/00 - 27/00 G06F 12/00 G06F 12/16 G06F 11/10 G06F 7/60 - 7/62 G06G 7/14 - 7/16 G06J 1/00 - 3/00 ＣＳＤＢ（日本国特許庁) ＪＩＣＳＴファイル（ＪＯＩＳ) Ｉｅｅｅｘｐｌｏｒｅ（ｈｔｔｐ：／／ｉ ｅｅｅｘｐｌｏｒｅ．ｉｅｅｅ．ｏｒｇ ／)

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】ｎ個の第１データ線群と複数の第１ワード
   線の交点に設けられた複数の第１メモリセルを含む第１
   メモリセルアレーと、 ｎ個の第２データ線群に交差するｎ本の第２ワード線の
   交点に設けられた複数の第２メモリセルを含み、前記複
   数の第２メモリセルにｎ行ｎ列の重み値を記憶するため
   の第２メモリセルアレーと、 前記第１データ線群は複数の第１データ線を含むもので
   あって、それぞれが前記ｎ個の第１データ線群の１つと
   結合され、１個の当該第１データ線群内において複数の
   第１データ線から出力される複数のデータを加算してそ
   の加算結果を出力するためのｎ個の第１加算器と、 前記第２データ線群は複数の第２データ線を含むもので
   あって、それぞれが前記ｎ個の第２データ線群の１つと
   結合され、１個の当該第２データ線群内において複数の
   第２データ線から出力される複数のデータを加算してそ
   の加算結果を出力するためのｎ個の第２加算器と、 それぞれが前記ｎ個の第１加算器の一つと前記ｎ個の第
   ２加算器の一つと結合され、前記ｎ個の第１加算器の一
   つから出力される加算結果と前記ｎ個の第２加算器の一
   つから出力される加算結果との積をそれぞれに計算する
   ためのｎ個の乗算器と、 前記ｎ個の乗算器から出力されるｎ個の乗算結果の和を
   計算するための第３加算器と、 前記第３加算器の計算結果を受けて、その計算結果に基
   づく値を前記第１メモリセルアレーの前記複数のワード
   線の１つと前記ｎ個の第１データ線群の１つによって選
   ばれる前記複数の第１メモリセルに書き込むための手段
   とを有することを特徴とする情報処理装置。
2. 【請求項２】請求項１において、 前記情報処理装置は、前記第３加算器の計算結果を受け
   て、前記第１メモリセルアレーの前記複数の第１ワード
   線の１つと前記ｎ個の第１データ線群の１つによって選
   ばれる前記複数の第１メモリセルのビット数で表される
   値に変換するための手段を更に有することを特徴とする
   情報処理装置。
3. 【請求項３】請求項１または２において、 上記第１メモリセルアレーの前記複数の第１ワード線の
   一つと上記第２メモリセルアレーの前記複数の第２ワー
   ド線の一つとは重複して選択される期間を有し、前記ｎ
   個の第１加算器の計算結果と、ｎ個の第２加算器の計算
   結果とが前記ｎ個の乗算器に並列して供給される期間を
   有することを特徴とする情報処理装置。
4. 【請求項４】請求項１から３のいずれかににおいて、 前記第１メモリセルアレーと第２メモリセルアレーと
   は、前記ｎ個の第１加算機、前記ｎ個の前記ｎ個の乗算
   器、及び前記ｎ個の第２加算器を挟んで配置されること
   を特徴とする情報処理装置。
5. 【請求項５】請求項１から４のいずれかにおいて、 前記複数の第１及び第２メモリセルのそれぞれは一つの
   MOSトランジスタと一つの容量を含み、０または１の１
   ビットを記憶するものであることを特徴とする情報処理
   装置。
6. 【請求項６】請求項１から５のいずれかにおいて、 上記情報処理装置は１つの半導体チップ上に形成される
   ことを特徴とする情報処理装置。