JPH03214373A - ニューロコンピュータ - Google Patents

ニューロコンピュータ

Info

Publication number
JPH03214373A
JPH03214373A JP2009911A JP991190A JPH03214373A JP H03214373 A JPH03214373 A JP H03214373A JP 2009911 A JP2009911 A JP 2009911A JP 991190 A JP991190 A JP 991190A JP H03214373 A JPH03214373 A JP H03214373A
Authority
JP
Japan
Prior art keywords
capacitor
weight
output
neuron
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2009911A
Other languages
English (en)
Other versions
JP2831076B2 (ja
Inventor
Tadayuki Morishita
森下 賢幸
Yoichi Tamura
洋一 田村
Yukio Saito
斎藤 幸男
Tatsuo Otsuki
達男 大槻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP2009911A priority Critical patent/JP2831076B2/ja
Publication of JPH03214373A publication Critical patent/JPH03214373A/ja
Application granted granted Critical
Publication of JP2831076B2 publication Critical patent/JP2831076B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Feedback Control In General (AREA)
  • Complex Calculations (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は、パターン認識、音声認ム、信号の符号化など
に利用されるニューラル不ットワークをta成するため
のハードウエアであるニューロコンピュータに関するも
のである。
従来の技術 ニューラルネットワークは、多数の入力を1出力に変換
して出力するニューロンと、前段のニューロン出力に重
み付けを行い後段のニューロンに出力するシナプスから
構成されていろ。このようなニューラルネットワークに
おいては、たとえばOX, 10などのある入力に対す
る出力が、入力に対応した期待値に等しくなるようにシ
ナプス中の重みを変化させる学習という操作を行う。し
たがって、学習を実現するためには、重みを自由に変更
できろようにする必要がある。従来は、第5図に示すよ
うなMOS }ランジスタ1で構成されたかけ算回路2
からなるシナプスが用いられ、重みに対応するMOSト
ランジスタ1のゲート電圧は、MOSトランジスタ1の
ゲート容量やゲートに接続した容重3に竃荷として保持
される。学習時には重みに対応した容量上の電荷量を適
切な鑓だけ変化させろ。この容礒は、ニューラルネット
ワークを集積化する場合のtlIi&上のル}1約から
数pFの小さな値となる。4はオペアンプでゐろ。
また、シナプスに゛用いるかけ算回路2やニューロンに
用いるシグモイド関数(f=1/(1+aXp(x))
1  発生回路(図示せず)には従来のVLSI技術と
の整合性が艮く、集積化が谷易なことからNlos ト
ランジスタが使用されている。
発明が解決しようとする課題 上記従米の構成のものでは、Δ・10S }ランジスタ
1の容量に蓄えられる電荷は数十mllee以内で放電
するので、このニューラル不ツトワークは定常的には勤
作せず、重み電荷の放電に伴い不ツトワークの出力も変
化して入力に対する期待されるような出力が維持されな
い。また、MOS }−ランジスタで槙成したかけ算器
やシグモイド関数発生回路は精度が悪く、学習に時間が
かかる。
本発明は上記従釆の問題を解決するもので、疋常的に動
作し、学習効率の高いニューロコンピュータを提供する
ことを目的とするものである。
課題を解決するための手段 上記課題を解決するために本発明のニューロコンピュー
タは、重みを保持するデイジタルメモリと、このデイジ
タル値をアナログ値に変換するディジタルーアナログ変
換器と、変換されたアナログ値を保持するコンデンサと
、ニューロンかラ出力されるシグモイド関数に前記コン
デンサのアナログ値を用いて重み付けを行うシナプス部
とを備え、ニューロンの出力に対応して前記コンデンサ
のアナログ値を一足期間内に書ぎ換えるように構成した
ものである。
さらに、本発明のニューロコンピュータは、上記構成に
加えて、演算用のバイポーラトランジスタと入力用のM
OSトランジスタで構成されたかけ算器よりなるシナプ
ス部と、バイホーラトランジスタで構成されたシグモイ
ド関数発生回路を有するニューロンとを備えたものであ
る。
作用 上記構成により、重みを保持するデイジタルメモリとそ
の値をアナログ伯に変換するD/A変換器を有する回路
を使用して、シナプス部に入力されろコンデンサに畜え
られた重み電荷量を一定期間円に更新し、また、シナプ
ス部とニューロンに演Itu度の高いバイボ・−ラトラ
ンジスタで構成したかけ算器とシグモイド関数発生回路
を使用するので、コンデンサに蓄えられた電荷、すなわ
ち重みの時間変化が低減されて重み保持容量が定常的に
保持され、しかも、演算精度か晶〈、したがって学習効
率の良いニューラルネットワークが構成できることにな
る。
実施例 以下、本発明の一実施例について図面を参照しながら説
明する。
第1図は本発明の一実施例のニューロコンピュータpこ
おける構成を示丁ブロック図である。第1図において、
3個のニューロン11からなる階層型のニューラルネッ
トワークが構成されており、重みは学習制I御回路12
により決定されて、RAMまたはEPROM, EEP
ROMなどのデイジタルメモリ131に保存される。一
方、アドレス発生回路l4によって選択されたアドレス
に対応するデイジタルメモリ13内の重みは、D/A変
換器15でD/A変換された後、アドレス発生回路14
によってデコーダ16を介してトランスファーゲート1
7を制圓し、トランスファーゲート17を通して対応す
るシナプス部18のコンデンサである容量19に電荷と
して与えられろ。従来例で示したようにこの電荷は放電
するが、放m量が10%程度以下と少ないうちに、重み
を再びトランスフたゲート17を通して容量19に書き
込み、電荷の放電を阻止する。こうして、シナプス部1
8の容量19に蓄えられた電荷によってシナプス部18
のの 入方用のMOS }−ランジスタのゲート戸圧がほぼ一
定値になる。
また、第2図に示すように、シナプス部18を2次元の
マトリクス状に配置する。このとき、デイジタルメモリ
13の後段のD/A変換器15からの信号を時系列化す
ると、配線は1本でよい。また、アドレス線もシナプス
部18をマトリクス状に配曾することにより、行と列の
アドレスのみの配線ですむために著しく削減される。こ
うして,Xデコーダ16&およびYデコーダ16bでト
ランスファーゲート17a.17bを制御し、容量】9
に電荷を与えて重み電荷敬の更新が容易におこなわれる
。この方法は、重み電荷の保持時間を延ばす1こめに容
量部の面積を大きくすることか不要であり、配線数も抑
えられろことから、回路の集積化にも有効である。
初期状態では重みはランダム番こ与えられており、ある
入力に対する出力は期待値よりもずれろ。出力が期待値
に近づくように重みを修正するバックブロハケーション
とよはれろ学習アルゴリズムなどにしたがって、学習i
dJ C4回路12で重みを変化させる。こうして得ら
れた重みをデイジタルメモリ13中の値と置き換えろ。
この学習は1回では出力と期待値を一致させることがで
きず、重みの修正を多数回繰り返す。したがって、重み
保持用容量19への@ぎ込みに要する時間が短いことも
重要であるが、本発朋の方法によれば、書き込みの時定
数は、トランスファーゲート17のオン抵抗と重み保持
用容量19との積で決まり、通常10秒以下の1息とな
り非常に高速である。
次に、バイポーラトランジスタとMOSトランジスタで
構成されたシナプス部18を構成才ろかけ算器の回路を
第3図に示す。かけ算器は従呆から使用される−Gil
ber&”の回路を用いているが、重み入力線20に接
続さi%、入力電圧を保持している重み保持用容量19
からの電荷の放電を防ぐために、入力用の差動増幅器2
1には入力インビーグンスの高いJv]OS トランジ
スタを使用している。また、22はニューロン11から
の信号入力端子であり、biosトランジスタに接続さ
れている。さらに、かけ算回路23の部分にはバイポー
ラトランジスタをモチいていろためにかけ算の誤差は数
%以下に抑えろことができる。24はバツファアンブ2
5の出力端に接続される、シナプス部18の出力端子で
ある。
第4図は、ニューロンの回路図であり、パイボーラトラ
ンジスタで構成したシグモイド関数発生回路26を有し
ている。バイポーラトランジスタの差動増幅器の特性が
シグモイド関数型(]/(]+sxp (qx/kT)
 ) )になることを利用している。
ここで、Xは入力電圧、qは電荷素量、kはボルツマン
定数、Tは温度(0K)を表す。エミツ々批抗rl.r
2は、シグモイド関数発生回路26への入力レンジを拡
大するために挿入している。この回路は単純でありニュ
ー,ロン11の集積数を向上させるには非常に有効であ
る。27はニューロン11の人力端子であり、28は出
力端子である。まTこ、29はオペアンプである。
このように、第3図および第4図で示された回路は、い
ずれも誤差が5%以内と精度が扁い。階層型ニューラル
不ツトワークの学習を行う場合、重み値の決定には、最
急降下法の一種であるバックブロバゲーションと呼ばれ
る最適化のアJL7 −i 1Jズムか用いられる。こ
れは、出力と期待値との誤差にシグモイド関数の徽分を
かけて誤差の重みについての偏鍮分を計算する。誤差が
小さくなるように重みを偏微分の値に比例して変化させ
る。通常、このような計算はコンピュータ上で行い、計
算サれた重みの値をニューラルネットワークのハードウ
エアに与えて処理を行う。このようにすれは、計算され
た重みを老ットするtごC寸で学習済みの多数のニュー
ラル不ツトワークを作製できろ。
ところが、ニューラノレネットワークのハードウエア内
の回路精度が悪く、計算に用いたシグモイド関数の形と
差異があるとか、シナプス部のかけ算精度が悪い場合に
は計算された重みの値では、ハードウエアの出力が変化
し期待値には一致しない。
また、ニューラルネットワークのハードウエアがコンピ
ュータよりも高速で動作できる場合には、学習自体もハ
ードウエアを用いて行う。この場合はニューラルネット
ワークに入力を与え、ソノネットワークからの出力を測
定して、コンピュータで出力が期待値に近くなるような
重みを計算する。
再度、この重みを使用してニューラルネットワークの出
力を測定し、この過程を繰り返す。出力が期待値に収束
するまでこれを繰り返すが、回路精度が悪い場合には収
束するまでの回数が非常に多くなる。
以上のようtこ、回路精度が良いとニューラルネットワ
ークの学習効率は良くなる。しtこがって、木発明では
回路精度の高いバイポーラトランジスタを基本とした回
路設計を行っていろ。
発明の効果 以上のように本発明によれは、重みをコンデンサの重み
保持用容量・にほぼ定常的に保持することができ、しか
も、学習効率の高いニューラルネットワークを構成する
ことができるものである。
【図面の簡単な説明】
第1図は本発明の一実施例のニューロコンピュータlこ
おける繍成を示すブロック図、第2図は同ニューロコン
ピュータのシナプス部の配Δ図、第3図は同ニューロコ
ンピュータのシナプス部の回路図、第4図は同ニューロ
コンピュータのニューロンの回路図、第5図は従来のニ
ューロコンピュータのシナプス部の回路図である。 11・゜・ニューロン、12−・・学習制御回路、13
・−・デイジタルメモリ、14・・・アドレス発生回路
、l5・・・D/A変換器、l6・−・デコーダ− 1
6m・・・Xデコーダ、16b・・・Yデコーダ、17
 . 17m . 17b・−・トランスファーゲート
、18・・・シナプス部、19・・・容量、21・・・
入力用差動増幅器、23・・・かけ算回路、26・−・
シグモイド関数発生回路。

Claims (1)

  1. 【特許請求の範囲】 1、重みを保持するデイジタルメモリと、このディジタ
    ル値をアナログ値に変換するディジタル−アナログ変換
    器と、変換されたアナログ値を保持するコンデンサと、
    ニューロンから出力されるシグモイド関数に前記コンデ
    ンサのアナログ値を用いて重み付けを行うシナプス部と
    を備え、ニューロンの出力に対応して前記コンデンサの
    アナログ値を一定期間内に書き換えるように構成したニ
    ューロコンピュータ。 2、演算用のバイポーラトランジスタと入力用のMOS
    トランジスタで構成されたかけ算器よりなるシナプス部
    と、バイポーラトランジスタで構成されたシグモイド関
    数発生回路を有するニューロンとを備えた請求項1記載
    のニューロコンピュータ。
JP2009911A 1990-01-19 1990-01-19 ニューロコンピュータ Expired - Fee Related JP2831076B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009911A JP2831076B2 (ja) 1990-01-19 1990-01-19 ニューロコンピュータ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009911A JP2831076B2 (ja) 1990-01-19 1990-01-19 ニューロコンピュータ

Publications (2)

Publication Number Publication Date
JPH03214373A true JPH03214373A (ja) 1991-09-19
JP2831076B2 JP2831076B2 (ja) 1998-12-02

Family

ID=11733292

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009911A Expired - Fee Related JP2831076B2 (ja) 1990-01-19 1990-01-19 ニューロコンピュータ

Country Status (1)

Country Link
JP (1) JP2831076B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024532008A (ja) * 2021-08-02 2024-09-04 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の入力回路

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01237754A (ja) * 1987-12-23 1989-09-22 Philips Gloeilampenfab:Nv 人工神経回路網

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01237754A (ja) * 1987-12-23 1989-09-22 Philips Gloeilampenfab:Nv 人工神経回路網

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024532008A (ja) * 2021-08-02 2024-09-04 シリコン ストーリッジ テクノロージー インコーポレイテッド 深層学習人工ニューラルネットワークにおけるアナログニューラルメモリ用の入力回路

Also Published As

Publication number Publication date
JP2831076B2 (ja) 1998-12-02

Similar Documents

Publication Publication Date Title
JP3260357B2 (ja) 情報処理装置
US11915132B2 (en) Synaptic weight transfer between conductance pairs with polarity inversion for reducing fixed device asymmetries
Choi et al. A Gaussian synapse circuit for analog VLSI neural networks
Dolenko et al. Tolerance to analog hardware of on-chip learning in backpropagation networks
US10453527B1 (en) In-cell differential read-out circuitry for reading signed weight values in resistive processing unit architecture
JPH0467259A (ja) 情報処理装置
JPH01237754A (ja) 人工神経回路網
Hsu et al. Competitive learning with floating-gate circuits
Gi et al. A ReRAM-based convolutional neural network accelerator using the analog layer normalization technique
Saraswat et al. Hardware-friendly synaptic orders and timescales in liquid state machines for speech classification
JP3353786B2 (ja) 情報処理装置
Oshio et al. A memcapacitive spiking neural network with circuit nonlinearity-aware training
Vohra et al. CMOS circuit implementation of spiking neural network for pattern recognition using on-chip unsupervised STDP learning
JPH0318985A (ja) 情報処理装置
Cairns et al. Learning with analogue VLSP MLPs
JP2831076B2 (ja) ニューロコンピュータ
Lu et al. NVMLearn: a simulation platform for non-volatile-memory-based deep learning hardware
Bo et al. A circuit architecture for analog on-chip back propagation learning with local learning rate adaptation
JPH06187472A (ja) アナログニューラルネットワーク
Narayanan et al. Neuromorphic technologies for next-generation cognitive computing
Zhang et al. Memristor-Based Circuit Implementation and Circuitry Optimized Algorithm for Mamba Language Network
JP2004157757A (ja) アナログ演算回路
Lehmann A hardware efficient cascadable chip set for ANN's with on-chip backpropagation
JP3095798B2 (ja) アナログ逆伝搬学習回路とその駆動方法
da Porciuncula Estrela et al. Development of an analog topology for a multi-layer neuronal network

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees