JPH0451382A - 情報処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［産業上の利用分野］ 本発明は、大規模かつ高速な並列分散処理を実現するた
めの情報処理装置に係り、特にニューラルネットワーク
情報処理に好適な情報処理装置に関する。

［従来の技術］ ニューロコンピユーテイングとよばれるニュラルネット
ワークを用いた並列分１１ケ型情報処理（以下ニューラ
ルネットワーク情報処理）は、コンプレックスシステム
ズ１（１，９８７年）第１４５頁から第１６８頁（Ｓｅ
ｊｎｏｗｓｋｉ、　Ｔ、　Ｊ、。

ａｎｄ　Ｉｌｏｓｅｎｂｅｒｇ、　Ｃ，Ｒ０１９８７，
Ｐａｒａｌｌｅｌｎｃｃｗｏｒｋｓ　ｔｈａｔ　１ｅａ
ｒｎ　ｔｏ　ｐｒｏｎｏｕｎｃｅ　Ｅｎｇｌｉ８ｈｔ、
ｅｘ＋、、Ｃｏｍｐｌｅｘ　Ｓｙｓｔｅｍｓ　ｌ、　ｐ
ｐ、］］４５−１６８あるいはニューラルネットワーク
情報処理（産業図書、麻生英樹著）などに述べられてい
るように音声あるいは画像処理などの分野において注目
を集めている。ニューラルネットワーク情報処理では、
ネットワーク状に結合した多数のニューロンと呼ばれる
演算要素が、結合と呼ばれる伝達線を通じて情報をやり
とりして高度な情報処理を行なう。各々のニューロンで
は他のニー−ロンから送られてきた情報にニーロン出力
値）に対して積あるいは和などの単純な演算が行なわれ
る。各々の二二−ロン内の演算、さらには、異なるニュ
ーロンの演算も並列に行なうことか可能なため、原理的
には、高速に情報処理を行なうことができる特長を持っ
ている。また、ネイチャー３２３−９、（１９８６年８
）第５３３頁から第５３５頁（Ｒｕｍｅｌｂａｒｔ、　
Ｄ、　Ｅ、　。

ｉｎｉ、ｏｎ、　Ｇ、　Ｅ、、　ａｎｄ　Ｗｉｌｌｉａ
ｍｓ、　Ｒ，Ｊ、　１９８６ａ。

Ｌｅａｒｎｉｎｇ　ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ　
ｂｙ　ｂａｃｋｐｒｏｐａｇａｔｉｏｎ　ｅｒｒｏｒｓ
、　Ｎａｔｕｒｅ３２３−９．　ｐｐ、５３３５３６）
　、あるいはニューラルネットワーク情報処理（産業図
書、麻生英樹著）第２章などに述べられているように、
望ましい情報処理を行なわせるためにニューロン同志を
つなぐ結合の重み値を設定するアルゴリズム（学習）も
提案されているため、目的に応じた様々な情報処理をさ
せることができる。

ニューラルネットワークの動作原理を２種類の代表的な
ネットワークである階層型ネットワークとホップフィー
ルド型ネットワークについて説明する。第２図（ａ）は
、階層型ネットワーク、第３図＜ａ）は、ホップフィー
ルド型ネットワークの構造を示したものである。これら
は、どちらもニューロンとニューロン同上をつなぐ結合
から構成されている。ここでは、ニューロンという用語
を用いるか、場合によってはノード、あるいは１ｆｌｉ
算要素などと呼ばれることもある。結合の矢印の向きは
、ニューロン出力値の伝わる方向を示している。階層型
ネットワークは、第２図（ａ）に示したように、ニュー
ロンが複数の階層をなすように並び、入力層から出力層
へ向かう方向にのみニューロン出力値が伝わるものであ
る。一方、ホップフィールド型ネットワークは、第３図
（ａ）に示したように、同じニューロンにニューロン出
力値がフィードバックされるほか、任意の２つのニュー
ロン間で両方向にニューロン出力値が伝わるものである
。

第２図（ｂ）、第３図（ｂ）にニューロン内で行なわれ
る演算の原理を汀くじた。演算の原理はどちらのネット
ワークでも同様なので、第２図（ｂ）を用いて階層型ネ
ットワークについて説明する。

第２図（ｂ）は、Ｓ＋１番目の層内の、１番目のニニー
ロンを拡大して示したものである。このニュロン内には
結合を通じて前層、すなわち８番１１の層内のニューロ
ンの出力値　Ｖ・Ｓ１１．・ＶＩ′−・、、、Ｖｎｓｓ
が入力される。ここで、ｎｓは８番１」の層内のニュー
ロンの数を示している３、ニュロン内では入力されたニ
ューロンの出力値Ｖ、Ｓ、。

１．Ｖ’ｓ、、　、、Ｖｎｓ　ｓと結合重み値ゴ””ｌ
ｌ。

＋　１．”’ＪＩ、　、　、　、　　’１”’ａ　ＩＩ
ｓとの積Ｖ　、　！、Ｔ　’　Ａ、　、、ＶＩＳＴＳＪ
　＋、、、、　　　Ｖｎｓ　５ＴＳＪ　　ｎｓか乗算機
ＭＴにより計算される。つぎに、これらの積と一〇昌＋
１との和を加算機ＡＤＤにより計算する。ここで、ＯＪ
Ｓ＋１はオフセットと呼ばれる量で場合によっては、省
略してもよい。さらに、その結果を非線形関数回路りに
入力してニューロンの出力値ＶＪＳ＋１を得る。非線形
関数回路りは第２図（Ｃ）あるいは、（ｄ）に示したよ
うな特性を持ち、入力Ｘに対して出力ｇ（ｘ）を出力す
る。１第２図（ｃ）は、入力Ｘかあるしきい値×１、ｌ
］を越えるか否かにより２値の出力ｇ１あるいはｇ２を
出力する非線形関数の例であり、第２図（ｄ）は、シグ
モイド関数を用いた例で連続的な出力を出す。

非線形関数回路１つには、必要に応じてこの他の特性を
持たせることもある。また、場合によっては、線形の特
性を持たせてもよい。

」１記の演算の原理は、第３図（ｌ〕）に示したように
ホップフィールド型ネットワークでも同様である。ただ
し、ホップフィールド型ネットワークでは、］つのニュ
ーロンに１層１１１ｊのニューロンたけでなく、自分自
身を除くすべてのニューロンの出力値が入力される、３ 第２図（ａ）、（ｂ）から判るように、階層型ネットワ
ークでは、まず、入力層のニューロンの出力値を設定し
、それをもとに次々に隠れ層のニューロンの出力値が更
新されて、最後に出力層のニューロンの出力値が更新さ
れる。一方、第３図（ａ）のようにホップフィールド型
ネットワークでは、層というものかないため、それぞれ
のニュロンは、適当なタイミングで出力値を更新するこ
とができる。このホップフィールド型ネットワクでは、
すべてのニューロン出力値の初期値を適当に与え、ニュ
ーロン出力値か平衡状態となるまでニューロン出力値の
更新を続ける。ニューロンの出力値が平衡状態となるま
でには、ふつう全てのニューロンについて出力値の更新
を何度か行なう必要かある。すべてのニューロンの出力
値を同時に更新するものを同期的なホップフィールド型
ネットワーク、それぞれのニューロンが、勝手なタイミ
ングで出力値を更新するものを非同期的なホップフィー
ルド型ネットワークと呼ふ。

」−記のようなニューラルネットワークの演算を行なう
ためにソフトウェアを用いる方法とハードウェアを用い
る方法とが用いられてきた。ソフトウェアを用いる方法
では、計算機言語で書かれたプログラムによりニューロ
ンの演算を行なうので目的に応じてニューロンの数を変
えたリネットワクの構造を容易に変えることができる。

しかし、演算を逐次的に行なうためニューロンの数を増
やすと情報処理時間が急激に増加するという欠点かあっ
た。たとえば、ｎ個のニューロンを用いたホップフィー
ルド型ネットワークでは、１つの二ニーロンの出力値を
更新するのにｎ回の積を泪算しなければならない。した
がって、すべてのニュロンの出力値を少なくとも１回更
新するためには、［）′回の積を計算する必要かある。

すなわち、ニューロン数口の増大とともに計算量はＩＩ
’のオダーで増加する。その結果、乗算を逐次的に行な
うと情報処理時間もｎ２のオーダーで増加してし−まう
。

ハードウェアを用いる方法では、演算を逐次的に行なう
としてもソフトウェアによる方法と較べて個々の演算の
時Ｉ＋Ｊ］を短縮できるため高速化が期待できる。演算
を並列に行なうことにより、さらに高速化を図る試みも
なされてきた。

たとえば、アイ、イー、イー、イー、ジャーナル　オブ
　ソリッド　ステート　サーキッツ　第２５巻、ナンバ
ー］　　（１９９０年２月）第２０７頁から第２１４頁
（Ｉ　Ｆト〕Ｅ、　　、１０１１　ｒ　ｎ　）ｌ　ｌｏ
ｉ’　　５ｏｌｉｄ　　５ｔａｔｅ Ｃｉｒｃｕｉ１．Ｓ、ｖｏｌ、２５．　　Ｎｏ、］。

（Ｆｅｂ、］、　９９０　）　ｐ　ｐ　２０７−２１．
４　）などに述べられているように２次元アレーを用い
たベクトル・行列乗算器によりニュ〜ラルネットワクの
演算を高速に行なうことができる。

第４図（ａ）、（ｂ）は」１記文献の第１図に示されて
いるベクトル・行列乗算器の原理を示したものである。

第４図（ａ）に示したベクトル・行列乗算器ＶＭＭは水
平方向の入力線と垂直方向の総和線、それらを結合する
抵抗Ｒ１ｌ、　、、。

Ｒｍ　ｎ、および電流電圧変換アンプａｐｌ。

ａｐ２．１．、ａｐｍより構成されている。入力線に入
力電圧ＶＩ　ｌ、、　、、Ｖｌｎを同時に印加すると抵
抗Ｒ１１，０，、Ｒｍｎを通じて電流か総和線に流れ込
む。このとき総和線に流れる電流Ｉｊは ■　Ｊ　−Σ、ＶＴｉ　　・ （１／Ｒｊｉ）　　　　　（］） と表される。ここで、Ｊ−’＋　　２＋　、、、ｍであ
り和はｉ＝１からｎまでとる。出力電圧ＶＯＩ、。

、、ＶＯｍは、総和線の末端に設けた電流電圧変換を行
なうアンプａｐｌ、、、、ａｐｍの特性ＦＩ　Ｉ、　０
．、　２１ｒｎに応じて決まり、ＶＯｊ　　＝　　ａｊ
　　（Ｉｊ） と表される。なお、（１，）式かられかるように入力端
子と出力電流との関係は、第４図（１））の（ｂ−１）
式のようなベクトルと行列の積で表現できる。このため
、第４図（ａ）の回路はベクトル・行列乗算器と呼ばれ
る。

」−記（１）、　　（２）式および第２図（ｂ）に示し
た式より、第４図（ａ）において抵抗Ｒｊｉを結合重み
　　Ｔ　Ｊ”ｌに反比例した値に設定し、アンプの特性
ａ１．，１．．ａ、ｍの入出力特性を第２図の非線形関
数ｇに合わせた上で、入力電圧Ｖｌｌ、、、、Ｖｌｎと
して第Ｓ層のニューロン出力値に比例した電圧をｌｊ、
えれば、出力電圧ＶＯＩ、、、、ＶＯ＋ｎとして第ｓ＋
１層のニューロン出力値に比例した電圧か得られること
がわかる。なお、オフセットθＪ！、＋＋については、
各アンプの特性を、θＪ５＋１に対応する値だけシフト
するように設定することにより容易に実現できる。

ここでは階層型ネットワークについて述べたが同期型ホ
ップフィールド型についても同様に応用できる。すなわ
ち、入力線の本数ｎと総和線の本数ｍとを等しく置き、
抵抗ＲＪｌを結合重み′」Ｊゞ、に反比例した値とした
上で入力電圧Ｖｌ　ｌ、、　。

、Ｖｌｎをニューロン出力値Ｖｌ、、、、Ｖｎに比例し
た値に設定すれば出力電圧ＶＯＩ、、、。

ＶＯｍとして各ニューロンの出力値の更新値が得られる
。なお、通常のホップフィールド型においては自分自身
への結合を設けないので、その場合には行列の対角成分
に相当する抵抗Ｒｉｊを省けば良い。

以上のことから、２次元アレーを用いたベクトル・行列
乗算器を用いれば階層型ニューラルネッＩ・ワークにお
ける１層分のニューロン出力値、あるいはホップフィー
ルド型ニューラルネットワクにおける全ニューロンの出
力値の更新値をそれぞれ同時にもとめることができるこ
とがわかる。

なお、ここでは説明を簡単にするために結合重みを固定
抵抗で表現した例を引用したが、これ以外にも−１−記
したアイ、イー、イー、イー、ジャナル　オブ　ソリッ
ド　ステート　サーキッツ第２５巻、ナンバー１　　（
１９９０年２月）第２０７頁から第２１４頁（ｉＥＥＥ
。

、Ｊｏｕｒｎａｌ　　ｏｆ　　５ｏｌｉｄＳｔａｔＣＣ
１ｒｃｕｉ１．ｓ、ｖ○Ｊ、２５゜Ｎｏ、］、　　　（
Ｆｅｂ、１９９０）ｐｐ２０７２１４）にはキャパシタ
に電圧として結合重みを蓄える方法が述べられている。

この方法によれば必要に応じて結合重みを書き換えるこ
とができる。また、その他にも種々変形した構成法がこ
れまでに報告されている。

［発明が解決しようとする課題］ このようにベクトル・行列乗算器は非常に多くのニュー
ロン出ツノ値を同時にもとめることができるという利点
を持つ。しかし従来は比較的小規模のニューラルネット
ワークを対象としていたので配線の縮小容易化を果たす
ための配置上の配慮が＝１１ なく、したがって特に大規模化をしようとすると次のよ
うな問題が生じることになった。

例として各層が１０００ニユーロンよりなる３層のネッ
トワークを構成する場合を考える。３層なので２つのベ
クトル・行列乗算器が必要になる１、これらを別々のパ
ッケージに収納した場合には、片方のベクトル・行列乗
算器で得られた１　０００個の第２層のニューロン出力
値をもう一方のベクトル・行列乗算器に伝達しなくては
ならない。したがって、並列処理をするには、少くなく
とも１０００本以上の配線をパッケージ間に設けなけれ
ばならない。しかし、１つのパッケージに１０００本の
ビンを設けることは通常できない。

したがって、１つ１つのベクトル、行列乗算機を別々の
チップに収納した場合にはビン数がネックとなり大規模
なネットワークを構成することは困つ）１［となる。こ
れに対して、１つのチップに枚数のベクトル・行列乗算
器を設けることも考えられる。

たとえば、アイ、ニス、ニス、シー、シー、ダイジェス
ト　９０　の第１４２．１４３．２８４頁（ＩＳＳＣＣ
，Ｄｉｇｅｓｔ：　　　ｏｆ゛Ｉ″Ｃｃｈｎｉｃａｌ　
　　ＰａｐＣｒｓ（ＦＯｂ。

１９９０）ｐｐ１４２．　１４３．　　ａｎｄ　　　２
８４）に第１層が３２ニユーロン第２．３層が１６ニユ
ロンの３層ネットワークを１チツプに集積して実現した
例が記載されている。この従来例ではニューロンの数が
少ないのでベクトル・行列乗算器以外の領域を配線領域
として比較的自由に使用することができる。したがって
、複数のベクトル・行列乗算器を容易に１チツプに集積
することができる。しかし、数１００．数１０００とい
った規模のニューロン出力値を計算するベクトル・行列
乗算器を１チツプに集積する場合には数１００、数１０
００本の配線が必要となり、そのレイアウトは大変困難
となる。たとえできたとしても、チップ面積の増大、雑
音の増加、配線の抵抗成分による信号電圧の低下、ある
いは配線による信号遅延による問題などが生じることが
予想される。別の解決策としてアイ、ニス、ニス、シー
、シダイジェスト　９０　の第１４４．１４５、２８５
頁（ＩＳＳＣＣ，Ｄｉｇｅｓｔ　　ｏｆ’Ｔｅｃｈｎｉ
ｃａｌ　　　Ｐａｐｅｒｓ（Ｆｅｂ。

］　　９９０　）　　ｐＹ）１４４　、　１４５　、　
　＋−１，ｒｌｄ　　　２８５　）に記載されているよ
うに、ベクトル・行列乗算オ（）間の配線の本数を制限
（Ｉ−２例では１２８本）してしまう力ｌ去もある。し
かしこれではニューロン同士の結合の１部を省略するこ
とになるのでネツｉ・ワークの能力を十分に活かせない
恐れかある。

一方、ホップフィールド型のネットワークは、ベクトル
・行列乗算器の入力部と出力部とを配線すれば、原理的
には、単１のベグトル・行列乗算器で構成できる。しか
し、ニューロンの数か多い場合には、階層型と同様な問
題が生じる。すなわち、ニューロン数が多くなると入力
部から出力部まで配線を引き回すために配線領域の占め
る面積が増大してしまう。さらに、配線長も長くなるた
めに雑音の増加、配線の抵抗成分による信じ電圧の低１
・゛、あるいは配線による信８・遅延などが問題となる
。前記したように、ホップフィールド型のネットワーク
では定常状態となるまでにニューロン出力値の更新を何
度も行なう必要かある。したかって、−回当りの信号遅
延が太きいと定常状態になるまでの時間かかなり増大し
てしまう。

以」二のようにベクトル・行列乗算器を用いて大規模な
ニューラルネットワーク情報処理装置を実現するには配
線の問題を解決する必要かあった。

本発明の［二１的は、このように大規模な１１２列演算
処理を行う情報処理装置、あるいは特にニューラルネッ
トワーク情報処理装置において、演算器あるいは特にベ
クトル・行列乗算器の相互間の配線を容易にすることに
ある。

［課題を解決するための手段］ に記の目的を達成するための本発明の情報処理装置は、
複数の入力線と複数の出力線を持ち、上記複数の入力線
から情報を入ノＪし、上記複数の出力線に並列に出力を
得る演算器を複数個用いて構成した情報処理装置であっ
て、少なくとも２つの’ｅｌ　’Ｊ器は、片方の演算器
の入力ｆｆ１ｊともう一力の演算器の出力部とを対向す
るように配置することを特徴とする。

一１に こで、−Ｉ−２演算器は、ニューラルネットワク情報処
理に必要な積和演算を行なうものであってもよい。

［作　用］ 上記のように、連続して演算処理を行なう２つの演算器
あるいはベクトル・行列乗算器を入力部と出力ｆｆｌ＋
とか対向するように配置すれば、演算器あるいはベクト
ル・行列乗算器の間の配線が容易になる。このことか、
演算器あるいはベクトル・行列乗算器の間で、Ｊ１常に
多くの信号を並列に伝達することをｉＪ能にし、ニュー
ラルネットワークのような大規模な演算を実現すること
が可能になる。

なお、前にも述べたように、大規模なニューラルネット
ワークにおいてはベクトル・行列乗算器の相互間の配線
数は数１０００にもなる。そしてこの配線数は制御部な
どとベクＩ・ル・行列乗算器との間のものよりはるかに
大きい。そこで本発明は、ベクトル・行列乗算器の相互
間の配線を優先させてこれを縮小容易化する着眼により
、ベクトル・行列乗算器の入力部と出力部を対向配置ｉ
ｔさせたものである３、このことが大規模な集積化にお
いて、面積の低減、雑？ぶの減少、（ｉ３　シ：’遅延
のＩＩＱ！減を招くことはいうまでもない。

Ｕ実施例コ 第１図は、本発明の１実施例であり、３層からなる階層
型のニューラルネットワークを半導体チップＬ−に集積
した情報処理装置である３、第１層のニューロン数はｎ
ｌ、第２層のニューロン数はｎ２、第３層のニューロン
数はｎ３とする。第１層のニューロン出力値から第２層
のニューロン出力値を計算するための、ベクトル・行列
乗算器ＶＭＭｌ、第２層のニューロン出力値から第３層
のニューロン出力値を計算するための、ベクＩ・ル・行
列乗算器ＶＭＭ２を図示しである。

本実施例では、まず、ｎ１個の第１層のニュロン出力値
をベクトル・行列乗算器ＶＭＭ　］に並列に入力する。

ベクＩ・ル・行列乗算器ＶＭＭＩＱ）出力として得られ
たｎ２個の第２層のニューロン出力値は、ｎ２本の配線
を通じてベク］・ル・行列乗算器ＶＭＭ２の入力線へ伝
達される。続いてベクトル・行列乗算器ＶＭＭ２より得
られたｎ　’、３個の第；３層のニューロン出力値が出
力される。本実施例では、ベクトル・行列乗算器Ｖ　Ｍ
　Ｍ　ｌとＶＭＭ　２　トが、ＶＭＭＩの出力部とＶ　
Ｍ　Ｍ　２０’）　入力部が対向するように配置されて
いる４、このため、それぞれの間を短い距離で容易に配
線することかでき、雑音の増加、配線の抵抗成分による
イ、）壮電圧の低ド、あるいは配線による信８′遅延に
よる問題などを回避することかできる。また、配線の占
める面積も小さくすることかできるので、チップ面積の
増大も抑えることができる。従って、多くのニューロン
からなる３層のニューラルネットワークを半導体チップ
上に集積することができる。

上記実施例は３層のニューラルネットワークのためのも
のであったが、本発明は容易に任意の層数のネットワー
クに拡張できる４、第５図は、５層のニューラルネット
ワークを構成するための本発明の第２の実施例である。

本実施例では４つのベクトル・行列乗算器を互いに入力
部と出力部とか対向するように配置している。図におい
て配線の本数ｎｌ、ｎ２．ｎ３．ｎ／ｌ、ｎ５はそれぞ
れ、第１層、第２層、第３層、第７１１・、゛ツ、第５
層のニュロン数に等しい２、本実施例においてもベクト
ル・行列乗算器ＶＭＭ　ｌとＶＭＭ２、ＶＭＭ２とＶ　
Ｍ　Ｍ　：３、ＶＭＭ３とＶＭＭ４の間を短い配線で容
易に配線することかできる。従って、配線の本数を増加
することかでき、多くのニューロンからなるニューラル
ネットワークを゛１′−導体チツブ１−に集積すること
ができる。このように、ベグ［・ル・行列乗算器を互い
に入力部と出力部とが対向するように配置していくこと
により任意の層数のネットワークが実現できる。

第６図は、本発明の第３の実施例で、ホップフィールド
型のニューラルネッ］・ワークを構成した例である。本
実施例では４つのベクトル・行列乗算器を互いに入力部
と出力部とが対向するように配置し、ベグトル・行列乗
算器ＶＭＭ４の出力線をＶＭＭＩの入力線に接続した。

ベクトル・行列乗算器ＶＭＭＩ、ＶＭＭ２．ＶＭＭ３．
ＶＭＭ４には同一のものを使用し、全ニューロン数ｎに
等しい配線で接続する。

本実施例では、まず、ｎ個の全ニューロンの出力値の初
期値をベクトル・行列乗算器ＶＭＭ　ｌに−１［口列に
入力する。次に入力信シシとベクトル・行列乗算器ＶＭ
Ｍ］との接続を切ると、ニューロン出力値は４つのベク
トル・行列乗算器の間に伝わるうちに定常値に落ち着く
３、その後、ニューロン出力値の定常値をチップ外部へ
読みだせば良い１１本実施例では、４つのベクトル・行
列乗算器を互いに入力部と出力部とが対向するように配
置したため、その間の配線長を短くできる。このため、
従来のようにベクトル・行列乗算器１つを用いてその入
力と出力とを長い配線で接続する場合に比べて雑音、配
線の抵抗成分による信号電圧の低下、あるいは信号遅延
の問題などが軽減される。

以」−説明してきた第１、第５、第６図の実施例におい
て連続して処理を行なうベグＩ・ル・行列乗算器の入力
線と出力線の本数は一致する。このため、入力線と出力
線の配線ピッチが同じ場合にはそのまま直線的に接続す
ることができる。たとえ、ピッチか異なる場合でも入力
１１１１と出力部が対向しているため、配線は容易であ
る。

なお、第１、第５、第６図の実施例においてはベクトル
、行列乗算として第４図のように結合（トみ値を固定抵
抗で表したものを用いても良いし、あるいは、結合重み
値を書き換えられるようなベクトル・行列乗算器を用い
てることもできる。結合重み値を書き換えられるような
ベクトル・行列乗算器は例えば、アイ、イー、イー、イ
ー、ジャナル　オブ　ソリッド　ステート　サーキッッ
第２５巻、ナンバー１（１，９９０年２月）第２０７頁
から第２１４頁（ＩＥＥＥ。

Ｊｏｕｒｎａｌ　　ｏｆ　　５ｏｌｉｄＳｔａｔｅ　　
　　Ｃｉ、ｒｃｕｉｔｓ、　　　ｖｏｗ　　、　　２５
゜Ｎｏ、］、、　　　（Ｆｅｂ、１９９０）ｐｐ２０７
２１／Ｉ）に記載されている１、このような、結合重み
値を書き換えられるようなベグＩ・ル・行列乗０器を用
れば１つの情報処理装置で様々な用途に対応することか
できる。

続いて、半導体チップト、に集積された本発明による情
報処理装置と、チップ外の装置との信号Ｊの授受（イン
ターフェース）に関する実施例について説明する。

第７図は第１図を例題に、チップ外とのインタフェース
のための構成を示したｌ実施例である。

ベクトル・行列乗算器ＶＭＭＩ、ＶＭＭ２の他、チップ
外とのインターフェースのための入力信号処理回路１、
出力信号処理回路２を図示しである。

本実施例では、ｎ１個の第１層のニューロン出力値はチ
ップ外から入力信号処理回路１を通じてベクトル・行列
乗算器ＶＭＭ　ｌに入力される。また、ＶＭＭ２の出力
として得られた第３層のニューロン出力値は出力信号処
理回路２を通じてチップ外へ出力される。チップ外と入
力信号処理回路ｌおよび、出力信号処理回路２とチップ
外との間の信号配線の本数ｎｉｎ、ｎｏｕｌは、パッケ
ージのビン数の制約により通常あまり人きくすることは
できない。そこで、本実施例では、ｎ　ｉ　ｎ　。

ｎｏｕｔをそれぞれｎｌ、ｎ３より少なくして、チップ
外との信１３の授受を時分割で行なうようにした。した
かって、本実施例によれば、パツケジのビン数の制約を
受けることなく大規模なニュラルネットワークを実現で
きる。

上記第７図の実施例では、ｎ　１ｎ、ｎｏｕ　ｔ、に較
べてニューロン数が非常に大きい場合には、チップ外と
のインターフェースに時間がかかり、チップ内部での並
列処理による高速化のメリットが薄れてしまう場合があ
る。特に、続けて細組かのニューロン出力値の処理を続
けて行なう場合にこの問題は深刻となる。そのような場
合には、入力信号処理回路１に０１個のニューロン出力
値を一時的に記憶するためのバッファメモリを２重に設
ければ良い。まず、チップ外より０１個のニュロン出力
値を第１のバッファメモリへ時分割で書き込み第２のバ
ッファメモリへまとめて転送する。

つついて次のｎ　１個のニューロン出力値を時分割で第
１のバッファメモリへ時分割で書き込みながら、第２の
バッファメモリよりＶＭＭｌへ０１個のニューロン出力
値を並列に入力して演算を行なう。このようにすればチ
ップ外より時分割でニュロン出力値を読み込むことによ
る処理時間の増大を抑えることができる。もちろん、出
力信号処理回路２にも必要に応じてバッファメモリを２
屯に設けることができる。

に記第７図の実施例では７３層のニューラルネットワー
クを例にとったか、第５図、第６図のような他の階層型
、あるいはホップフィールド型についても適用できるこ
とはもちろんである。

本発明による情報処理装置は、信号３の人出力をアナロ
グ信号で行なうこともできるか、外部の装置がデジタル
信号を扱う装置である場合には人出力信号をデジタル値
とした方が便利である。また、デジタル信号の方が雑音
に強いという利点もあり、信頼性を向上することが容易
である。

そこで、次に入出力をデジタル信号で行なうための入力
信号処理回路１、および出力信号）処理回路２の実施例
について述べる。第８図（ａ）はｒ゛ピツＩのデジタル
信号で表された０１個のニュロン出力値をｎｉｎビット
ずつ時分割でチップ外より取り込んで、０１個のアナロ
グ信号としてベグトル・行列乗算器へ並列に入力するた
めの入力信じ処理回路１の実施例である、１ ます、チップ外からｒビットずつのデジタル信号＋で表
されたニューロンの出力値が時分割で入力されデジタル
メモリ［）Ｍｌに訃き込まれて記憶される。チップ外か
らデジタルメモリ１〕Ｍ１ヘニュロンの出力値を、（）
き込むための配線の本数ｎ　ｉ　ｎはパッケージのビン
数を考慮して設泪する。

次にデジタルメモリＤＭＩから読出されたニュロンの出
力値に対応するデジタル信号はｒビット毎にＤＡコンバ
ータＤΔ１．ＤΔ２９．。

ＤＡｎｌに入力され、その出力としてアナログ値に変換
されたｎ１個のニューロンの出力値が同時にベクトル・
行列乗算器ＶＭＭ１へ入力される。

本実施例によれば、入出力をデジタル信号で行なうため
、チップ外部と信頼性の高いインターフニスを容易にと
ることができる。また、チップ外部からの信号の配線数
ｎ　ｉ　ｎを入力信号処理回路ｌの出力信号の個数ｎ　
１と独立に設甜できるので、パッケージなどの制約によ
りピン数をあまり多くてきないような場合にも大規模な
ニューラルネットワークを構成できる。

ニューロン出力値を時分割で書き込むために処理時間が
増加するという点を敗訴したい場合には、１）；ｊ記し
たようにバッファメモリを２重に設ければよい。第８図
（ｂ）はト記バッファメモリとしてデジタルメモリ１．
）　Ｍ　Ｉ　Ａとｌ−）　Ｍ　ｌ　ｌ：３とを使用した
実施例である。デジタルメモリｉ）ＭＩＡとＩ）　Ｍ　
］　１３との間は一度にｍ１個の情報か転送できるよう
にする。本実施例ではチップ外からデジタルメモリＤＭ
ＩＡへ０１個のニューロンの出力値を何度かに分けて書
き込んだ後にそれらをまとめてＤＭ］、Ｂへ転送する。

−に記ｍ１をｒとｎｌとの積に等しくしておけば、Ｄ　
Ｍ　Ｉ　Ｂへｎ１個のニュロンの出力値を同時に転送で
きる。本実施例によれば、Ｄ　Ｍ　ｌ　１３からＩ〕△
コンバータを通じてベクトル・行列乗算器に情報が転送
され演算が行なわれている間にデジタルメモリＤＭＩΔ
へ次の情報処理に必要な０１個のニューロンの出力値を
何度かに分けて書き込んでおくことができる。このよう
にすれば、オ°、すて細組かのニューロンの出力値を連
続して処理する場合にチップ外部からの１１：き込みに
よる時間の損失を小さく抑えることができる４゜ 以Ｉ−述べた第８図の実施例は、ニューロンの出力値が
ｒビットで表される場合に適したものである４、場合に
よってはニューロンの出力値をＯとｌのｌヒツトで表す
場合もある。そのような場合には、Ｉ）Δコンバータは
不「易となるので第９図の実施例のようにデジタルメモ
リから直接ベクトル・行列乗算器に情報を入力すれば良
い。第９図の実施例ではＤＡコンバータを用いないため
ノイズなどの影響を受けにくく安定した性能を得やすい
という利点がある。

つぎに出力信号処理回路２の実施例について説明する３
６第１０図はΔｌ）コンバータΔＩ）　ｌとスイッチ索
子ＳＷＩ、ＳＷ２．１．．５Ｗｎ３により構成した出カ
イｔ１号処理回路２の１実施例である３、ベクトル・行
列乗算器によって０３個のニューロン出力値が得られた
後にスイッチＳ〜Ｖ】からＳ〜Ｖｎ３のうち１つを導通
させ他を非導通とすると一つのニューロン出力値に相当
するアナログ伝号がＡ　１．）コンバータＡＩ）Ｉに入
力されその出力としてデジタル値で表されたニューロン
出力値が出力される。スイッチを切り換えることにより
所望のニューロン出力値を得ることができる。本実施例
では所望のニューロン出力値をデジタル値として得るこ
とかできるため、チップ外のデジタルＬ　Ｓ　Ｉとのイ
ンターフェースを取るのに便利である。なお、必要に応
じてＡＤコンバータの数を増やして−・度に複数のニュ
ーロン出力値を得るようにすることも容易にできる。

第１１図に示した出力信号処理回路２の実施例は０３個
のＡＤコンバータとデジタルメモリとを組合せたもので
ある。本実施例では、０３個のニューロン出力値を同時
にＳピッＩ・のデジタル値に変換してデジタルメモリＩ
）　Ｍ　２八−；き込むことかできる。チップ外にはｎ
　Ｏ　１１　を本の信号線を用いて何度かに分けてニュ
ーロン出力値を読出す．、このようにすればニューロン
出力値をデジタルメモリｌ）Ｍ２へ１１）き込んだ後に
はベクトル、行列乗算機は次のニューロン出力値の計算
を開始することかできる。したがって、本実施例を出力
信号処理回路２に用いて、第８図（１））の回路を入力
信シ」・処理回路１に用いれば、チップ外との信シ３，
線の本数ｎ　ｉ　ｎ，　ｎ　Ｏ　ＩＪ　１．に制限され
ずに高速に情報処理を行なうことができる。

これまで述べた出力信号処理回路２の実施例ではニュー
ロン出力値をＳピッＩ・のデジタル値に変換するために
ＡＤコンバータを用いた。しかし、ニューロン出力値を
１ビツトのデジタル値，すなわちＯ，または１で表す場
合にはＡＤコンバータを省略して構成できることは入力
信号処理回路の場合と同じである。

第１２図は、結合重み値を書き換えられるようなベクト
ル・行列乗算器を用いて階層型のネットワークにもホッ
プフィールド型のニューラルネットワークにも適用でき
るように構成した実施例である，、本実施例は必要に応
じて３層のネツＩ・ワ２！（ り、５層のネットワーク、あるいはホップフィルド型の
ニューラルネットワークとして使用できる４、第１２図
においてｌΔ、　　１１．３は入力信じ処理回路であり
２Δ、２Ｂは出力信シ」処理回路である。。

また、８〜ＩＡ、５Ｗ１３はスイッチである。。

ます、３層のネットワークとして使用する場合について
説明する。本実施例によれば、２種類の３層のネットワ
ークを同時にチップ１″、に構成てきる。説明の便宜−
］二それぞれのネットワークをＸ、Ｙと呼ふことにする
１、ネットワークＸの第１層と第２層の間の結合重みを
ベクトル・行列乗算器ＶＭＭＩに、第２層と第３層の間
の結合重みをＶＭＭ２にセットし、スイッチＳＷＡ、Ｓ
ＷＢにより上記回路ＩＡと２Ａおよび２ＢとＩＢとをそ
れぞれ電気的に切り離す。さらにネッＩ・ワークＹの第
１層と第２層の間の結合重みをベクトル・行列乗算器Ｖ
ＭＭ３に、第２層と第：３層の間の３，１１合重みをＶ
ＭＭ４にセットする。この状態でネットワークＸ、Ｙの
第１層のニューロン出力値をそれぞれ入力信号処理回路
１Δ、ＩＩ３を通じてベクトル・行列乗算器ＶＭＭＩ、
ＶＭＭ３に入力すると出力信シ」−処理回路２Ａ、２Ｂ
を通じてネットワクＸ、Ｙの第；３層のニューロン出力
値を読みたずことができる。

次に第１２図の実施例を５層のネットワークとして使用
する場合について説明する。この場合には、ネットワー
クの第１層と第２層の間の結合重（ｂをベクトル・行列
乗算器ＶＭＭ　Ｉに、第２層と第３層の間の結合重みを
ＶＭＭ２に、第３層と第４層の間の元２１合重みをＶＭ
Ｍ３に、第４層と第５層の間の＃ｉ’ｉ合重みをＶＭＭ
４にセラｌ−して、スイッチ回路ＳＷＡ、ＳＷＢにより
」１記回路ＩＡと２Ａおよび２　＋３と１Ｂとをそれぞ
れ電気的に非接続、接続とする。この状態でネットワー
クの第１層のニューロン出力値を入力信号処理回路ＩＡ
を通じてベクトル・行列乗算器ＶＭＭ１に入力すると出
力伯シュー処理回路２Ａを通じてネットワークの第５層
のニューロン出力値を読みだすことかできる。

最後に第１２図の実施例を同期型ホップフィルド型のネ
ッＩ・ワークとして使用する場合について説明する。こ
の場合には、第６図と同様に同期型ホップフィールド型
のネットワークの全てのニューロンの結合重み値をＶＭ
Ｍ　ＩからＶＭＭ４それぞれにセットする。また、スイ
ッチ回路Ｓ　Ｗ　Ａ　。

ＳＷＢにより上記回路ＩＡと２Ａおよび２［３と１　Ｂ
とをそれぞれ電気的に接続する７、この状態でネットワ
ークの全てのニューロン出力値の初期値を入力信号処理
回路ＩＡを通じてベクトル・行列乗算器ＶＭＭｌに入力
するとＶＭＭ　ｌの出力信号として全てのニューロン出
力値の更新値が得られる。続いて、その信号がベクトル
・行列乗算器ＶＭＭ２、ＶＭＭ３、ＶＭＭ４に入力され
て全てのニューロン出力値の更新が続けられる。さらに
、ベグＩ・ル・行列乗算器ＶＭＭ４の出力値を入力信号
処理回路１Ａを通じてベクトル・行列乗算器ＶＭＭＩに
入力して処理を続けることにより任意の回数だけ更新を
続けることができる。−１゛分更新を繰り返した後に、
出力信号処理回路２１３または２Ａよりニューロン出力
値を読出す。なお、ベクトル・行列乗算器ＶＭＭ４から
ＶＭＭｌへおよびＶＭＭ２からＶＭＭ３へのデータの転
送をメモリを通さずにスイッチのみを通して直接できる
ように配線を多重に設けて高速化を図ることも可能であ
る。　以」二述べた第１２図の実施例によれば１つの装
置で階層型、ホップフィールド型など様々なネットワー
クを実現できるという利点がある。

第１３図は、第１２図において入出力をデジタル信号で
行なう場合の信号処理回路ＩＡと出力信号処理回路２Ａ
の構成を示した１実施例である。

第８図（ａ）、（ｂ）あるいは第１１図のようにＤＡコ
ンバータあるいはＡＤコンバータとデジタルメモリより
構成されている。スイッチ回路ＳＷＡはデジタルメモリ
ＤＭ２ＡからＤＭＩＡへの信号配線の接続、非接続を制
御するものである。

ベクトル・行列乗算器ＶＭＭ４の出力として得られた０
７個のニューロン出力値に対応するアナログ電圧がＡＤ
コンバータＡＤＩ、、、、ＡＤｎ７に入力されＳＡビッ
トのデジタル値に変換されてデジタルメモリＤＭ２Ａに
書き込まれる。書き込まれた情報は、必要に応じてスイ
ッチ回路ＳＷＡを通じてデジタルメモリＩ）ＭＩＡに書
き込まれるか、あるいはチップ外部へ読出される。ベク
トル・行列乗算器ＶＭＭｌの入力値をチップ外部がら入
力する場合には、スイッチ回路ＳＷＡを非接続状態にし
ておいて、デジタルメモリＤＭＩＡにチップ外部からｎ
１ｎＡ本の配線を通じてデジタル情報を書き込めば良い
。その後ＤＡコンバータＤＡ　１．ＤＡ２．、　、、Ｄ
Ａｎ　Ｉによりアナログ信号に変換してベクトル・行列
乗算器ＶＭＭｌに入力する。

なお、入力信号処理回路１Ｂ、出力信号処理回路２Ｂに
ついても、第１３図と同様に構成できる。

以上の第１３図に示した実施例によれば第１２図の実施
例において入出力をデジタル信号とすることが容易にで
きる。なお、第１３図に示した実施例においても第８図
（ｂ）と同様に出力信号処理回路内のデジタルメモリを
２重に設けてチップ外との信号線の本数に制限されずに
高速に情報処理を行なうこともできる。またニューロン
出力値をＯまたは１の１ビツトで表す場合には、もちろ
んＤＡ、Ａ、Ｄコンバータを省略することができる。

以」−１実施例を用いて本発明を説明してきたか、本発
明に用いるベクトル・行列乗算器は、これまで述べたも
のに限定されることなく様々なものを使用することがで
きる。

また、本発明において、ベクトル・行列乗算器の入力線
と出力線のピッチが同一になるように設ｄ１すると、ベ
クトル・行列乗算器間の配線を直線的に行なうことがで
きるので、配線長を短くでき、ノイズ、あるいは遅延の
影響を小さくできる。

しかし、入力線と出力線のピッチが同一にできない場合
においても入力線と出ノＪ線が対向するようにベクトル
・行列乗算器を配置することによって、配線長を長くす
ることなく配線を行なうことができることはもちろんで
ある。

これまで、ベクトル・行列乗算器を用いたニューラルネ
ットワーク情報処理装置について述べてきたが本発明は
これに限定されることなく他にも適用できる。特に多数
の入出力線をもつ並列演算器を■チップ上に複数集積し
、それらの間で信号の伝達を行なうような場合には本発
明と同様に連続して信号処理を行なう並列演算器の入力
部と出力部を対向させて配置することにより配線を容易
にできる。

［発明の効果］ 以上述べてきたように、本発明によれば多数の入力線と
出力線をもつベクトル・行列乗算器を入力線と出力線と
が対向するように半導体チップ」二に配置することによ
り、ベグトル・行列乗算器間の配線が容易となる。この
ため、大規模な並列演算が可能となり数多くのニューロ
ンよりなるニュラルネットワークを構成することができ
る。

【図面の簡単な説明】

第１図は半導体チップ上に３層の階層型ニューラルネッ
トワークを構成した１実施例。 第２図（ａ）、（ｂ）は、階層型ニューラルネットワー
クの原理を示した図。 第２図（ｃ）、（ｄ）は、第２図（ｂ）における非線形
関数回路りの特性の例を示した図。 第３図（ａ）、（ｂ）は、ホップフィールド型ニューラ
ルネットワークの原理を示した図。 第４図（ａ）、（ｂ）は抵抗素子を用いた従来のべりト
ル・行列乗算器の原理を示した図。 第５図は、半導体チップ」二に５層の階層型ニュラルネ
ットワークを構成した１実施例。 第６図は、半導体チップ上にホップフィールド型ニュー
ラルネットワークを構成した１実施例。 第７図は、３層の階層型ニューラルネットワークを１チ
ツプ上に構成した場合の入出力信号処理回路の１実施例
。 第８図（ａ）は入力信号処理回路の構成を示す１実施例
。 第８図（ｂ）は入力信号処理回路の構成を示す第２の１
実施例。 第９図（ａ）は第８図（ａ）の実施例においてニューロ
ン出ノＪ値を１ビツトで表す場合に適した実施例。 第９図（ｂ）は第８図（ｂ）の実施例においてニューロ
ン出力値を■ビットで表す場合に適した実施例。 第１０図は出力信号処理回路の構成を示す１実施例。 第１１図は出力信号処理回路の構成を示す第２の実施例
。 第１２図はベクトル・行列乗算器を４つ組合せて、３層
の階層型ニューラルネットワーク、５層の階層型ニュー
ラルネットワークあるいは、ホップフィールド型ニュー
ラルネットワークなと必要に応じて様々なネットワーク
として用いることのできる本発明の１実施例。 第１３図は第１２図の構成に適した入力信号処理回路、
出力信号処理回路の構成を示す実施例。 符号の説明 ＶＭＭＩ、ＶＭＭ２゜ ＶＭＭ３．ＶＭＭ４・・・・・・・・・・・ベクトル・
行列乗算器 ］、ＩＡ、ＩＢ・・・・・・・・・　・・・・・・入力
信号処理回路２．２Ａ、２Ｂ・・・・・・・・・・・・
出力信号処理回路ＤＭＩ、ＤＭ］Ａ。 ＤＭｌ、Ｂ、ＤＭ２゜ ＤＭ２Ａ、ＤＭ２Ｂ・・・・・・・・・デジタルメモリ
ＤＡ］、、Ｉ）Ａ２゜ 、、、１）Ａｎｌ。 、ＤＡＩ、ＤＡ２゜ 、、、ＤＡｎ５・・・・・・・・・・・・・・・・・Ｄ
ＡコンバータＡＤ１．、ＡＤ２゜ 、　　、、ＡＤｎ３゜ Ａ１０１．ＡＤ２゜ 、、、ＡＤｎ７・・・・・・・・・・・・・・・・・・
ＡＤコンバータＳＷＩ、　　ＳＷ２゜ 、、、　　ＳＷｎ　３゜

Claims (2)

【特許請求の範囲】
1. １．複数の入力線と複数の出力線を有して上記複数の入
   力線から情報を入力し、上記複数の出力線に並列に出力
   を得る演算器を複数個用いて構成した情報処理装置にお
   いて、少なくとも２つの演算器は、片方の演算器の入力
   部ともう一方の演算器の出力部とを対向するように配置
   することを特徴とする情報処理装置。
2. ２．上記演算器はニューラルネットワーク情報処理に必
   要な積和演算を行なうものであることを特徴とする請求
   項１記載の情報処理装置。