JPH06266868A - ニューロン素子 - Google Patents
ニューロン素子Info
- Publication number
- JPH06266868A JPH06266868A JP5253138A JP25313893A JPH06266868A JP H06266868 A JPH06266868 A JP H06266868A JP 5253138 A JP5253138 A JP 5253138A JP 25313893 A JP25313893 A JP 25313893A JP H06266868 A JPH06266868 A JP H06266868A
- Authority
- JP
- Japan
- Prior art keywords
- neuron
- synapse
- learning
- neuron element
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
- G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Neurology (AREA)
- Feedback Control In General (AREA)
- Complex Calculations (AREA)
Abstract
(57)【要約】
【目的】本発明は、シナプス結合強度及び／若しくは内
部閾値を外部入力の大きさに依存して可変化すること
で、ニューロン素子の写像能力を向上させ、少数のニュ
ーロン素子数で高能力、高速処理が実現できるニューラ
ルネットワークを構成するニューロン素子を提供するこ
とを目的とする。 【構成】本発明は、乗算器１３，外部からの入力ｘk に
応じて変化するシナプス結合強度ｗk が１又は複数個格
納されるメモリ１４及び前記メモリ１４からのシナプス
結合強度ｗを補間するための補間処理部１８とからなる
シナプス部１１と、加算器１５，シグモイド関数回路１
６及び内部閾値θを格納したメモリ１７とからなるニュ
ーロン部１２により構成されるニューロン素子である。
部閾値を外部入力の大きさに依存して可変化すること
で、ニューロン素子の写像能力を向上させ、少数のニュ
ーロン素子数で高能力、高速処理が実現できるニューラ
ルネットワークを構成するニューロン素子を提供するこ
とを目的とする。 【構成】本発明は、乗算器１３，外部からの入力ｘk に
応じて変化するシナプス結合強度ｗk が１又は複数個格
納されるメモリ１４及び前記メモリ１４からのシナプス
結合強度ｗを補間するための補間処理部１８とからなる
シナプス部１１と、加算器１５，シグモイド関数回路１
６及び内部閾値θを格納したメモリ１７とからなるニュ
ーロン部１２により構成されるニューロン素子である。
Description
【０００１】
【産業上の利用分野】本発明は、学習機能、自己組織化
機能及び最適化機能を有し、パターン認識、パターン変
換、制御、連想メモリに好適するニューロン素子に関す
る。
機能及び最適化機能を有し、パターン認識、パターン変
換、制御、連想メモリに好適するニューロン素子に関す
る。
【０００２】
【従来の技術】図１６には、従来から用いられているニ
ューロン素子の例を示し説明する。このニューロン素子
は、McCulloch-Pitts のニューロンモデルと称されてお
り、階層型ニューラルネットワークにおいては、パーセ
プトロンやバックプロパゲーションネットワーク、また
相互接続型ニューラルネットワークにおいては、ホップ
フィールドネットワーク、ボルツマンマシン等の殆どの
ニューラルネットワークの基本素子として利用されてい
る。
ューロン素子の例を示し説明する。このニューロン素子
は、McCulloch-Pitts のニューロンモデルと称されてお
り、階層型ニューラルネットワークにおいては、パーセ
プトロンやバックプロパゲーションネットワーク、また
相互接続型ニューラルネットワークにおいては、ホップ
フィールドネットワーク、ボルツマンマシン等の殆どの
ニューラルネットワークの基本素子として利用されてい
る。
【０００３】図１６に示す従来のニューロン素子は、シ
ナプス部１とニューロン部２に大別され、前記シナプス
部１は、乗算器３とシナプス結合強度を格納したメモリ
４とにより構成され、また前記ニューロン部２は、加算
器５とシグモイド関数回路６と内部閾値θを格納したメ
モリ７とにより構成されている。
ナプス部１とニューロン部２に大別され、前記シナプス
部１は、乗算器３とシナプス結合強度を格納したメモリ
４とにより構成され、また前記ニューロン部２は、加算
器５とシグモイド関数回路６と内部閾値θを格納したメ
モリ７とにより構成されている。
【０００４】まず、前記ｋ番目の乗算器３に、外部から
の入力ｘk 及び前記メモリ４から読出されたシナプス結
合強度ｗk が入力され、積ｘk ・ｗk なる演算が行われ
る。前記シナプス部１では、この乗算演算のみを行い、
その結果をニューロン部２へ出力する。そして、前記ニ
ューロン部２の加算器５には、前記シナプス部１からの
出力ｘk ・ｗk と、前記メモリ７から読出された内部閾
値θが入力されて、
の入力ｘk 及び前記メモリ４から読出されたシナプス結
合強度ｗk が入力され、積ｘk ・ｗk なる演算が行われ
る。前記シナプス部１では、この乗算演算のみを行い、
その結果をニューロン部２へ出力する。そして、前記ニ
ューロン部２の加算器５には、前記シナプス部１からの
出力ｘk ・ｗk と、前記メモリ７から読出された内部閾
値θが入力されて、
【０００５】
【数１】 なる演算が行われる。ここでｎは外部からの入力の個数
である。この結果は、シグモイド関数回路６において、
非線形変換されて外部に出力される。なお、上記シグモ
イド関数処理部６においては、作用させる関数型はシグ
モイド関数に限定されるのではなく、他の非線形関数ま
たは線形関数を用いることもできる。
である。この結果は、シグモイド関数回路６において、
非線形変換されて外部に出力される。なお、上記シグモ
イド関数処理部６においては、作用させる関数型はシグ
モイド関数に限定されるのではなく、他の非線形関数ま
たは線形関数を用いることもできる。
【０００６】図１７には、非線形の入力−出力の関係を
持つシグモイド関数の一例を示す。前述したように、ニ
ューロン素子は、入力ｘ＝（ｘ1 ，ｘ2 ，…，ｘn ）に
対して、
持つシグモイド関数の一例を示す。前述したように、ニ
ューロン素子は、入力ｘ＝（ｘ1 ，ｘ2 ，…，ｘn ）に
対して、
【０００７】
【数２】 を求めるというだけの単純な演算素子ではある。しか
し、多数のニューロン素子を図１８（ａ）に示すように
階層状に接続したり、図１８（ｂ）に示すように相互接
続することにより、パターン認識や制御などの高度な処
理が実現される。
し、多数のニューロン素子を図１８（ａ）に示すように
階層状に接続したり、図１８（ｂ）に示すように相互接
続することにより、パターン認識や制御などの高度な処
理が実現される。
【０００８】
【発明が解決しようとする課題】前述した従来のMcCull
och-Pitts 型ニューロン素子を階層状に接続したニュー
ラルネットークには、バックプロパゲーション学習法と
いう有用な学習アルゴリズムがあり、種々のアプリケー
ションに応用されている。
och-Pitts 型ニューロン素子を階層状に接続したニュー
ラルネットークには、バックプロパゲーション学習法と
いう有用な学習アルゴリズムがあり、種々のアプリケー
ションに応用されている。
【０００９】しかし、このバックプロパゲーションネッ
トワークは、学習の収束時間が長く、極小解（ローカル
ミニマム）に落ち入り易い。学習終了後に新規データを
追加学習するのが困難といった欠点がある。
トワークは、学習の収束時間が長く、極小解（ローカル
ミニマム）に落ち入り易い。学習終了後に新規データを
追加学習するのが困難といった欠点がある。
【００１０】この原因として、ニューロン素子の処理能
力の不足、ネットワーク構造の処理能力不足、バックプ
ロパゲーション学習法の能力不足等が考えられる。つま
り、従来のMcCulloch-Pitts 型ニューロン素子は、人間
の神経細胞（ニューロン）の構成を模倣しているが、構
成上あまりにも単純化し過ぎたため、本来有しているべ
き処理能力を失わせ、前述した多くの欠点が生じる原因
の１つになったものと推測される。
力の不足、ネットワーク構造の処理能力不足、バックプ
ロパゲーション学習法の能力不足等が考えられる。つま
り、従来のMcCulloch-Pitts 型ニューロン素子は、人間
の神経細胞（ニューロン）の構成を模倣しているが、構
成上あまりにも単純化し過ぎたため、本来有しているべ
き処理能力を失わせ、前述した多くの欠点が生じる原因
の１つになったものと推測される。
【００１１】そこで本発明は、シナプス結合強度及び／
若しくは内部閾値を外部入力の大きさに依存して可変化
することで、ニューロン素子の写像能力を向上させ、少
数のニューロン素子数で高能力、高速処理が実現できる
ニューラルネットワークを構成するニューロン素子を提
供することを目的とする。
若しくは内部閾値を外部入力の大きさに依存して可変化
することで、ニューロン素子の写像能力を向上させ、少
数のニューロン素子数で高能力、高速処理が実現できる
ニューラルネットワークを構成するニューロン素子を提
供することを目的とする。
【００１２】
【課題を解決するための手段】本発明は上記目的を達成
するために、外部の入力手段または他のニューロン素子
からの入力に対して、シナプス結合強度との乗算処理を
行うシナプス部と、該シナプス部からの出力を加算、閾
値処理し、さらに線形または非線形変換した結果を外部
に出力するニューロン部とを含むニューロン素子におい
て、前記シナプス部のシナプス結合強度及び／若しくは
ニューロン部の閾値を、予め学習された入力の大きさ毎
に異なるシナプス結合強度を用いて、外部からの入力の
大きさに応じて補間演算して求めるニューロン素子を提
供する。
するために、外部の入力手段または他のニューロン素子
からの入力に対して、シナプス結合強度との乗算処理を
行うシナプス部と、該シナプス部からの出力を加算、閾
値処理し、さらに線形または非線形変換した結果を外部
に出力するニューロン部とを含むニューロン素子におい
て、前記シナプス部のシナプス結合強度及び／若しくは
ニューロン部の閾値を、予め学習された入力の大きさ毎
に異なるシナプス結合強度を用いて、外部からの入力の
大きさに応じて補間演算して求めるニューロン素子を提
供する。
【００１３】また、外部の入力手段または他のニューロ
ン素子からの入力に対して、シナプス結合強度との乗算
処理を行うシナプス部と、該シナプス部からの出力を加
算、閾値処理し、さらに線形または非線形変換した結果
を外部に出力するニューロン部とを含むニューロン素子
において、前記シナプス部のシナプス結合強度及び／若
しくはニューロン部の閾値を、予め設定された関数式を
用いて外部からの入力の関数として関数演算して求める
ニューロン素子を提供する。
ン素子からの入力に対して、シナプス結合強度との乗算
処理を行うシナプス部と、該シナプス部からの出力を加
算、閾値処理し、さらに線形または非線形変換した結果
を外部に出力するニューロン部とを含むニューロン素子
において、前記シナプス部のシナプス結合強度及び／若
しくはニューロン部の閾値を、予め設定された関数式を
用いて外部からの入力の関数として関数演算して求める
ニューロン素子を提供する。
【００１４】
【作用】以上のような構成のニューロン素子は、外部入
力若しくは他のニューロン素子から供給された入力と、
予め学習して格納された入力の大きさ毎に異なるシナプ
ス結合強度が記憶手段から読み出されて前記外部入力の
大きさに依存した補間処理が施されたシナプス結合強度
との積が計算される。その積に予め記憶された内部閾値
との演算が行われ、さらに非線形変換されて外部に出力
される。
力若しくは他のニューロン素子から供給された入力と、
予め学習して格納された入力の大きさ毎に異なるシナプ
ス結合強度が記憶手段から読み出されて前記外部入力の
大きさに依存した補間処理が施されたシナプス結合強度
との積が計算される。その積に予め記憶された内部閾値
との演算が行われ、さらに非線形変換されて外部に出力
される。
【００１５】また、本発明のニューロン素子は、シナプ
ス結合強度を下記のような関数演算処理にて求めた後、
外部の入力手段または他のニューロン素子からの入力と
乗算処理を行う。さらに、内部閾値は同様な関数演算処
理して求めたのち、シナプス部からの出力の総和と加算
処理する。たとえば、あらかじめ設定されたシナプス結
合強度の関数型をシナプス部への入力ｘk の一次関数、
そして、その一次関数の係数をｗk1，ｗk2と仮定する
と、シナプス結合強度ｗk はｗk ＝ｗk1ｘk ＋ｗk2のよ
うな演算処理によって求められる。その後、シナプス部
への入力ｘk との積ｘk ，ｗk が求められ、これをニュ
ーロン部に出力する。なお、上記係数ｗk1，ｗk2はニュ
ーラル・ネットワークの学習により獲得され、シナプス
部のメモリに格納されている。また、ここでは、使用し
た関数型（以下、シナプス結合強度関数と呼ぶ）をｘk
の一次関数としたが、他の入力ｘj を用いたり、多項式
や三角関数、指数関数等も設定することができる。さら
に、内部閾値の場合も、同様に、適当な（閾値）関数型
が設定され、該関数演算により求められる。
ス結合強度を下記のような関数演算処理にて求めた後、
外部の入力手段または他のニューロン素子からの入力と
乗算処理を行う。さらに、内部閾値は同様な関数演算処
理して求めたのち、シナプス部からの出力の総和と加算
処理する。たとえば、あらかじめ設定されたシナプス結
合強度の関数型をシナプス部への入力ｘk の一次関数、
そして、その一次関数の係数をｗk1，ｗk2と仮定する
と、シナプス結合強度ｗk はｗk ＝ｗk1ｘk ＋ｗk2のよ
うな演算処理によって求められる。その後、シナプス部
への入力ｘk との積ｘk ，ｗk が求められ、これをニュ
ーロン部に出力する。なお、上記係数ｗk1，ｗk2はニュ
ーラル・ネットワークの学習により獲得され、シナプス
部のメモリに格納されている。また、ここでは、使用し
た関数型（以下、シナプス結合強度関数と呼ぶ）をｘk
の一次関数としたが、他の入力ｘj を用いたり、多項式
や三角関数、指数関数等も設定することができる。さら
に、内部閾値の場合も、同様に、適当な（閾値）関数型
が設定され、該関数演算により求められる。
【００１６】
【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。まず、図２に本発明のニューロン素子の概
念を示し説明する。この図２は、ニューロン素子のシナ
プス部に関わり、外部又は他のニューロン素子からの入
力ｘに対するシナプス結合強度ｗの関係を表わしたもの
である。図中、点線で示す従来のMcCulloch-Pitts 型ニ
ューロン素子は、外部又は他のニューロン素子からの入
力ｘの大きさに関係なく、一定のシナプス結合強度ｗを
保持する。
に説明する。まず、図２に本発明のニューロン素子の概
念を示し説明する。この図２は、ニューロン素子のシナ
プス部に関わり、外部又は他のニューロン素子からの入
力ｘに対するシナプス結合強度ｗの関係を表わしたもの
である。図中、点線で示す従来のMcCulloch-Pitts 型ニ
ューロン素子は、外部又は他のニューロン素子からの入
力ｘの大きさに関係なく、一定のシナプス結合強度ｗを
保持する。
【００１７】しかし、図中、実線で示す本発明によるシ
ナプス結合強度においては、外部又は他のニューロン素
子からの入力ｘの大きさに依存して変化するシナプス結
合強度ｗ(x) を持つ。すなわち、このシナプス結合強度
ｗ(x) は、入力ｘの関数として表わされる。
ナプス結合強度においては、外部又は他のニューロン素
子からの入力ｘの大きさに依存して変化するシナプス結
合強度ｗ(x) を持つ。すなわち、このシナプス結合強度
ｗ(x) は、入力ｘの関数として表わされる。
【００１８】なお、シナプス結合強度ｗ(x) として、意
地的に関数式が設定されない方式（第１実施例〜第５実
施例）と、予め関数式が設定される方式（第６実施例〜
第１０実施例）がある。
地的に関数式が設定されない方式（第１実施例〜第５実
施例）と、予め関数式が設定される方式（第６実施例〜
第１０実施例）がある。
【００１９】まず、明示的に関数式が設定されない本発
明によるシナプス結合強度ｗ(x) は、従来と同様に、学
習により獲得しているが、通常、学習データが離散値で
あるため、図２の×印に示すように入力ｘ軸上に離散的
に異なるシナプス結合強度ｗ(x) が求まる。そこで、本
発明では学習により求められた各シナプス結合強度ｗ
(x) 間を入力ｘ軸上において補間する処理部が設けられ
ている。また予め関数式が設定される本発明によるシナ
プス結合強度ｗ(x) は、前記シナプス結合強度関数の係
数の学習により求めることができる。 本発明は、前述
したシナプス結合強度を持つニューロン素子を一部分又
は全部に使用して、階層状に接続又は相互接続してなる
ニューラルネットワークを構成する。
明によるシナプス結合強度ｗ(x) は、従来と同様に、学
習により獲得しているが、通常、学習データが離散値で
あるため、図２の×印に示すように入力ｘ軸上に離散的
に異なるシナプス結合強度ｗ(x) が求まる。そこで、本
発明では学習により求められた各シナプス結合強度ｗ
(x) 間を入力ｘ軸上において補間する処理部が設けられ
ている。また予め関数式が設定される本発明によるシナ
プス結合強度ｗ(x) は、前記シナプス結合強度関数の係
数の学習により求めることができる。 本発明は、前述
したシナプス結合強度を持つニューロン素子を一部分又
は全部に使用して、階層状に接続又は相互接続してなる
ニューラルネットワークを構成する。
【００２０】次に図１には、本発明による第１実施例と
してのニューロン素子の構成を示し説明する。本発明の
ニューロン素子は、図１６に示したような、外部からの
入力ｘk の大きさに依らず一定の値ｗk のみがメモリに
格納されている従来のニューロン素子とは、シナプス部
の構成が異なるものである。
してのニューロン素子の構成を示し説明する。本発明の
ニューロン素子は、図１６に示したような、外部からの
入力ｘk の大きさに依らず一定の値ｗk のみがメモリに
格納されている従来のニューロン素子とは、シナプス部
の構成が異なるものである。
【００２１】図１に示すニューロン素子は、シナプス部
１１とニューロン部１２に大別される。前記シナプス部
１１は、乗算器１３とシナプス結合強度を格納したメモ
リ１４と、前記メモリ１４からのシナプス結合強度ｗを
補間するための補間処理部１８とで構成される。また前
記メモリ１４には、外部からの入力ｘk に作用するシナ
プス結合強度ｗk が１又は複数個格納される。このシナ
プス結合強度は、ｗk（ｘk ）として表わされ、外部か
らの入力ｘk に依存して可変な大きさを持つ。
１１とニューロン部１２に大別される。前記シナプス部
１１は、乗算器１３とシナプス結合強度を格納したメモ
リ１４と、前記メモリ１４からのシナプス結合強度ｗを
補間するための補間処理部１８とで構成される。また前
記メモリ１４には、外部からの入力ｘk に作用するシナ
プス結合強度ｗk が１又は複数個格納される。このシナ
プス結合強度は、ｗk（ｘk ）として表わされ、外部か
らの入力ｘk に依存して可変な大きさを持つ。
【００２２】また前記ニューロン部１２は、加算器１５
とシグモイド関数回路１６と内部閾値θを格納したメモ
リ１７とにより構成されている。次に、このように構成
されたニューロン素子の動作について説明する。
とシグモイド関数回路１６と内部閾値θを格納したメモ
リ１７とにより構成されている。次に、このように構成
されたニューロン素子の動作について説明する。
【００２３】まず、外部からの入力ｘk は、乗算器１３
と補間処理部１８に供給され、該補間処理部１８では、
予め学習させて格納されるシナプス結合強度ｗk （ｘ
k ' ），ｗk （ｘk ''），…をメモリ１４から読み出
し、入力ｘk とこのシナプス結合強度ｗk （ｘk ' ），
ｗk （ｘk ''），…とにより、シナプス結合強度ｗk
（ｘk ）を適当な補間処理により求める。この補間処理
としては、
と補間処理部１８に供給され、該補間処理部１８では、
予め学習させて格納されるシナプス結合強度ｗk （ｘ
k ' ），ｗk （ｘk ''），…をメモリ１４から読み出
し、入力ｘk とこのシナプス結合強度ｗk （ｘk ' ），
ｗk （ｘk ''），…とにより、シナプス結合強度ｗk
（ｘk ）を適当な補間処理により求める。この補間処理
としては、
【００２４】
【数３】 やラグランジュ補間やスプライン補間等の多項式補間処
理が用いられる。
理が用いられる。
【００２５】前記補間処理部１８により、求められたシ
ナプス結合強度ｗk （ｘk ）は、前記乗算器１３におい
て、入力ｘk との積ｘk ・ｗk （ｘk ）が計算されて、
ニューロン部１２の加算器１５に送られる。以後は、従
来のニューロン素子と同様に、メモリ１７からの内部閾
値θと
ナプス結合強度ｗk （ｘk ）は、前記乗算器１３におい
て、入力ｘk との積ｘk ・ｗk （ｘk ）が計算されて、
ニューロン部１２の加算器１５に送られる。以後は、従
来のニューロン素子と同様に、メモリ１７からの内部閾
値θと
【００２６】
【数４】 なる演算が前記加算器１５により行われ、その結果、シ
グモイド関数回路１６において、非線形変換されて外部
に出力される。
グモイド関数回路１６において、非線形変換されて外部
に出力される。
【００２７】次に図３には、本発明による第２実施例と
してのニューロン素子の構成を示し説明する。このニュ
ーロン素子は、第１実施例のニューロン素子のシナプス
部１１に外部からの入力ｘk の量子化を行う量子化部１
９が付加された構成である。以下、このようなニューロ
ン素子の動作について説明する。
してのニューロン素子の構成を示し説明する。このニュ
ーロン素子は、第１実施例のニューロン素子のシナプス
部１１に外部からの入力ｘk の量子化を行う量子化部１
９が付加された構成である。以下、このようなニューロ
ン素子の動作について説明する。
【００２８】まず、外部からの入力ｘk が、乗算器１３
と量子化部１９とに供給され、該量子化部１９では、適
当な量子化ステップで入力ｘk を量子化値ｘk ' に変換
し、補間処理部１８に出力する。
と量子化部１９とに供給され、該量子化部１９では、適
当な量子化ステップで入力ｘk を量子化値ｘk ' に変換
し、補間処理部１８に出力する。
【００２９】前記補間処理部１８では、メモリ１４から
予め所定学習して格納されているシナプス結合強度ｗk
（ｘk ''），ｗk （ｘk ''' ），…を読み出し、第１実
施例と同様な補間処理を行う。
予め所定学習して格納されているシナプス結合強度ｗk
（ｘk ''），ｗk （ｘk ''' ），…を読み出し、第１実
施例と同様な補間処理を行う。
【００３０】この第２実施例のニューロン素子では、量
子化ステップ幅をアプリケーションの難易度等により変
化させることができる。すなわち、量子化ステップ幅を
最大限に設定すると、従来のニューロン素子と等価にな
り、前記メモリ１４のサイズを最小限にすることができ
る。また、量子化ステップ幅を前記メモリ１４のサイズ
に合わせて適当にとり、該メモリ１４には量子化値毎の
シナプス結合強度を格納するようにすると、前記補間処
理部１８では、ルックアップテーブル式にシナプス結合
強度ｗk （ｘk ' ）を、より高速に求めることができ
る。
子化ステップ幅をアプリケーションの難易度等により変
化させることができる。すなわち、量子化ステップ幅を
最大限に設定すると、従来のニューロン素子と等価にな
り、前記メモリ１４のサイズを最小限にすることができ
る。また、量子化ステップ幅を前記メモリ１４のサイズ
に合わせて適当にとり、該メモリ１４には量子化値毎の
シナプス結合強度を格納するようにすると、前記補間処
理部１８では、ルックアップテーブル式にシナプス結合
強度ｗk （ｘk ' ）を、より高速に求めることができ
る。
【００３１】次に本発明の第３実施例としてのニューロ
ン素子の構成を説明する。図４は、ニューロン素子にお
けるメモリの内部閾値θとシナプス結合強度の学習を行
うための回路構成である。ここで、第３実施例の構成部
材で図１に示す構成部材と同等の部材には同じ参照符号
を付してその説明を省略する。
ン素子の構成を説明する。図４は、ニューロン素子にお
けるメモリの内部閾値θとシナプス結合強度の学習を行
うための回路構成である。ここで、第３実施例の構成部
材で図１に示す構成部材と同等の部材には同じ参照符号
を付してその説明を省略する。
【００３２】このニューロン素子は、前述した図１の第
１実施例に対して、補間処理部１８に換って、学習回路
２０と乱数発生器２１そして量子化部１９が追加され、
教師データ２２が外部より供給される。以下に、バック
プロパゲーション学習を例として学習動作を説明する。
１実施例に対して、補間処理部１８に換って、学習回路
２０と乱数発生器２１そして量子化部１９が追加され、
教師データ２２が外部より供給される。以下に、バック
プロパゲーション学習を例として学習動作を説明する。
【００３３】まず、学習回路２０は、乱数発生器２１に
より発生させた微小な乱数をメモリ１４，１７のシナプ
ス結合強度ｗk ＝（ｗk (s) ，ｗk (2s)，…，ｗk (m
s)) と、内部閾値θの初期値として設定する。ただしｍ
は量子化個数、ｓは量子化ステップとする。
より発生させた微小な乱数をメモリ１４，１７のシナプ
ス結合強度ｗk ＝（ｗk (s) ，ｗk (2s)，…，ｗk (m
s)) と、内部閾値θの初期値として設定する。ただしｍ
は量子化個数、ｓは量子化ステップとする。
【００３４】そして、学習データｘ＝（ｘ1 ，ｘ2 ，
…，ｘk ，…，ｘn ）は、外部よりニューロン部１１の
乗算器１３と量子化部１９に供給され、量子化部１９で
は適当な量子化ステップｓで入力ｘk を量子化値ｘs '
とし、そのｘs ' に対応するシナプス結合強度ｗk （ｘ
s ' ）を読み出し、乗算器１３に供給する。
…，ｘk ，…，ｘn ）は、外部よりニューロン部１１の
乗算器１３と量子化部１９に供給され、量子化部１９で
は適当な量子化ステップｓで入力ｘk を量子化値ｘs '
とし、そのｘs ' に対応するシナプス結合強度ｗk （ｘ
s ' ）を読み出し、乗算器１３に供給する。
【００３５】前記乗算器１３では、入力ｘk とシナプス
結合強度ｗk （ｘs ' ）の積ｘk ・ｗk （ｘs ' ）が計
算されてニューロン部１２の加算器１５に送られ、メモ
リ１７の内部閾値θとの和、
結合強度ｗk （ｘs ' ）の積ｘk ・ｗk （ｘs ' ）が計
算されてニューロン部１２の加算器１５に送られ、メモ
リ１７の内部閾値θとの和、
【００３６】
【数５】 が計算され、シグモイド関数回路１６にて非線形変換ｆ
（・）を受ける。次に学習回路２０では、
（・）を受ける。次に学習回路２０では、
【００３７】
【数６】 を最急降下法をもちいて最小化する。ここで、
【００３８】
【数７】 但し、ｄはｙに対応する教師データ２２である。最急降
下法では誤差関数Ｅをシナプス結合強度ｗk 及び内部閾
値θで偏微分した値に比例して、それぞれのｗk 及びθ
を修正していく。すなわち、
下法では誤差関数Ｅをシナプス結合強度ｗk 及び内部閾
値θで偏微分した値に比例して、それぞれのｗk 及びθ
を修正していく。すなわち、
【００３９】
【数８】 となり、計算に必要となる値ｘ，ｗ，θ，ｙをそれぞ
れ、外部からの入力、前記メモリ１４、メモリ１７及び
シグモイド関数回路１６から受けとる。ここで、εは学
習率を定める係数で、ｔは学習ステップ（時間）を表わ
す。
れ、外部からの入力、前記メモリ１４、メモリ１７及び
シグモイド関数回路１６から受けとる。ここで、εは学
習率を定める係数で、ｔは学習ステップ（時間）を表わ
す。
【００４０】そして学習回路２０で新たに求められたシ
ナプス結合強度ｗk 及び内部閾値θを用いて、量子化部
１９で求められた量子化値ｘs ' に対応するメモリ１
４、１７上のシナプス結合強度ｗk と内部閾値θを修正
する。前述した乱数発生器２１によるメモリ初期化より
以降の処理を学習データ全てについて、誤差関数Ｅが許
容値以下になるまでくり返す。
ナプス結合強度ｗk 及び内部閾値θを用いて、量子化部
１９で求められた量子化値ｘs ' に対応するメモリ１
４、１７上のシナプス結合強度ｗk と内部閾値θを修正
する。前述した乱数発生器２１によるメモリ初期化より
以降の処理を学習データ全てについて、誤差関数Ｅが許
容値以下になるまでくり返す。
【００４１】一般に学習データは、離散値として与えら
れるため、学習させるシナプス結合強度ｗk も入力ｘ軸
上で離散的になる。そこで、未知データの入力に対処す
るため、学習終了後の実行時には、学習済みシナプス結
合強度ｗk を用いて前記補間処理を行う。なお、前述し
た学習例では、シナプス結合強度ｗの量子化個数ｍを一
定としているが、学習途中で変更することも可能であ
る。
れるため、学習させるシナプス結合強度ｗk も入力ｘ軸
上で離散的になる。そこで、未知データの入力に対処す
るため、学習終了後の実行時には、学習済みシナプス結
合強度ｗk を用いて前記補間処理を行う。なお、前述し
た学習例では、シナプス結合強度ｗの量子化個数ｍを一
定としているが、学習途中で変更することも可能であ
る。
【００４２】例えば、学習の初期には量子化個数ｍを１
としておき、学習が進むにしたがって量子化個数ｍを大
きくしていく。すなわち、学習の初期には、従来のニュ
ーロン素子を用いたバックプロパゲーション学習が進行
し、大まかな写像関係が学習でき、学習の後期では本発
明のニューロン素子により、詳細な写像関係が獲得でき
るようになる。なお、量子化個数ｍが１の場合は、従来
のニューロン素子と等価であるため、本発明のニューロ
ン素子は、従来のニューロン素子を特別な一例として包
含するものとなっている。
としておき、学習が進むにしたがって量子化個数ｍを大
きくしていく。すなわち、学習の初期には、従来のニュ
ーロン素子を用いたバックプロパゲーション学習が進行
し、大まかな写像関係が学習でき、学習の後期では本発
明のニューロン素子により、詳細な写像関係が獲得でき
るようになる。なお、量子化個数ｍが１の場合は、従来
のニューロン素子と等価であるため、本発明のニューロ
ン素子は、従来のニューロン素子を特別な一例として包
含するものとなっている。
【００４３】また、ここでは、学習方法として、バック
プロパゲーション学習を用いたが、従来から提案されて
いる他の学習方法、たとえば、パーセプトロン学習、Ｈ
ｅｂｂ学習、直交学習、相関学習、自己組織化学習等を
用いることも容易である。
プロパゲーション学習を用いたが、従来から提案されて
いる他の学習方法、たとえば、パーセプトロン学習、Ｈ
ｅｂｂ学習、直交学習、相関学習、自己組織化学習等を
用いることも容易である。
【００４４】シナプス結合強度ｗ(x) として明示的に関
数式が設定されない本発明によるニューロン素子を用い
て学習を行う場合、シナプス結合強度ｗが入力ｘ軸上に
離散的に獲得されることは、前述した通りだが、これに
より、学習データに対するシナプス結合強度ｗの修正が
局所的になる。そのため、学習の収束時間が短くなり、
しかも、学習後の新規データの追加学習が容易にできる
ようになる。
数式が設定されない本発明によるニューロン素子を用い
て学習を行う場合、シナプス結合強度ｗが入力ｘ軸上に
離散的に獲得されることは、前述した通りだが、これに
より、学習データに対するシナプス結合強度ｗの修正が
局所的になる。そのため、学習の収束時間が短くなり、
しかも、学習後の新規データの追加学習が容易にできる
ようになる。
【００４５】さらに極小解（ローカルミニマム）への落
ち込みが減少するという結果がコンピュータュミレーシ
ョンで得られている。また、ニューロン素子の写像能力
が、この局所的学習により向上しているため、従来のニ
ューロン素子を用いた場合と比較して、少ない数のニュ
ーロン素子で同等の写像能力を持つニューラルネットワ
ークが構成できる。よって従来から問題となっているネ
ットワーク間の膨大な配線数が削減され、ＬＳＩ化も容
易になる。
ち込みが減少するという結果がコンピュータュミレーシ
ョンで得られている。また、ニューロン素子の写像能力
が、この局所的学習により向上しているため、従来のニ
ューロン素子を用いた場合と比較して、少ない数のニュ
ーロン素子で同等の写像能力を持つニューラルネットワ
ークが構成できる。よって従来から問題となっているネ
ットワーク間の膨大な配線数が削減され、ＬＳＩ化も容
易になる。
【００４６】なお、パリティ問題において、コンピュー
タシミュレーションした結果、従来のニューロン素子に
比べて、学習収束速度が１０〜１００倍程度に高速化さ
れていることが確認されている。
タシミュレーションした結果、従来のニューロン素子に
比べて、学習収束速度が１０〜１００倍程度に高速化さ
れていることが確認されている。
【００４７】次に図５には、本発明の第４実施例として
のニューロン素子の構成を示し説明する。本実施例は、
第１実施例が多入力−１出力のニューロン素子であった
のに対して、１入力−１出力の構成となっている。この
ニューロン素子では入力を時分割で受けとることで、第
１実施例と同様の機能をもつ。第１実施例と比較して、
シナプス部１１の乗算器１３が１個になり、ニューロン
部１２に積和データー時保存用のラッチ回路２３とカウ
ンタ２４が新たに追加されている。以下にその動作を具
体的に述べる。
のニューロン素子の構成を示し説明する。本実施例は、
第１実施例が多入力−１出力のニューロン素子であった
のに対して、１入力−１出力の構成となっている。この
ニューロン素子では入力を時分割で受けとることで、第
１実施例と同様の機能をもつ。第１実施例と比較して、
シナプス部１１の乗算器１３が１個になり、ニューロン
部１２に積和データー時保存用のラッチ回路２３とカウ
ンタ２４が新たに追加されている。以下にその動作を具
体的に述べる。
【００４８】外部からの入力ｘ＝（ｘ1 ，ｘ2 ，…，ｘ
k ，…ｘn ）を時系列データとみなして、入力ｘk がシ
ナプス部１１の乗算器１３と補間処理部１８に供給され
ると、補間処理部１８ではメモリ１４より格納済みのシ
ナプス結合強度ｗk （ｘk '），ｗk （ｘk ''），…を
読み出し、第１実施例と同様な補間処理を行う。補間処
理部１８で得られたシナプス結合強度ｗk （ｘk ）を用
いて、乗算器１３では積ｘk ・ｗk （ｘk ）を計算し、
ニューロン部１２の加算器１５に送る。加算器１５で
は、ラッチ回路２３からの
k ，…ｘn ）を時系列データとみなして、入力ｘk がシ
ナプス部１１の乗算器１３と補間処理部１８に供給され
ると、補間処理部１８ではメモリ１４より格納済みのシ
ナプス結合強度ｗk （ｘk '），ｗk （ｘk ''），…を
読み出し、第１実施例と同様な補間処理を行う。補間処
理部１８で得られたシナプス結合強度ｗk （ｘk ）を用
いて、乗算器１３では積ｘk ・ｗk （ｘk ）を計算し、
ニューロン部１２の加算器１５に送る。加算器１５で
は、ラッチ回路２３からの
【００４９】
【数９】 が計算されてラッチ回路２３に送られる。カウンタ２４
にてラッチ回数が計測され、入力ｘ＝（ｘ1 ，ｘ2 ，
…，ｘn ）の全てについて加算処理が終了すると、前記
メモリ１７の内部閾値θと加算され、ラッチ回路２３に
送られる。ラッチ回路２３のデータはシグモイド関数回
路１６に出力されて、非線形変換ｆ（・）されて外部に
出力される。
にてラッチ回数が計測され、入力ｘ＝（ｘ1 ，ｘ2 ，
…，ｘn ）の全てについて加算処理が終了すると、前記
メモリ１７の内部閾値θと加算され、ラッチ回路２３に
送られる。ラッチ回路２３のデータはシグモイド関数回
路１６に出力されて、非線形変換ｆ（・）されて外部に
出力される。
【００５０】このように本実施例のニューロン素子を用
いると、ネットワーク化した場合の配線数が大幅に削減
され、配線数と同数必要となるシナプス部１１の乗算器
１３を１個にすることができ、ハード量を大幅に削減す
ることが可能となる。但し、入力ｘが時分割で供給され
るため、処理速度がやや低下する。
いると、ネットワーク化した場合の配線数が大幅に削減
され、配線数と同数必要となるシナプス部１１の乗算器
１３を１個にすることができ、ハード量を大幅に削減す
ることが可能となる。但し、入力ｘが時分割で供給され
るため、処理速度がやや低下する。
【００５１】次に図６には、本発明の第５実施例として
のニューロン素子の構成を示し説明する。このニューロ
ン素子は、前述した第１実施例のニューロン素子が外部
からの入力ｘ＝（ｘ1 ，ｘ2 ，…，ｘk ，…ｘn ）のｘ
k に作用するシナプス結合強度ｗk を１以上に分割して
保持していたのに対して、メモリ１７に格納されている
内部閾値θを１以上に分割して保持することを特徴とし
ている。
のニューロン素子の構成を示し説明する。このニューロ
ン素子は、前述した第１実施例のニューロン素子が外部
からの入力ｘ＝（ｘ1 ，ｘ2 ，…，ｘk ，…ｘn ）のｘ
k に作用するシナプス結合強度ｗk を１以上に分割して
保持していたのに対して、メモリ１７に格納されている
内部閾値θを１以上に分割して保持することを特徴とし
ている。
【００５２】この構成は、シナプス部１１においては、
従来のニューロン素子と同様で、ニューロン部１２に内
部閾値θの補間処理部１８と加算器２５が新たに付加さ
れ、メモリ１７には複数の内部閾値θが格納できるよう
に拡張されている。以下に、前記ニューロン素子の動作
について説明する。
従来のニューロン素子と同様で、ニューロン部１２に内
部閾値θの補間処理部１８と加算器２５が新たに付加さ
れ、メモリ１７には複数の内部閾値θが格納できるよう
に拡張されている。以下に、前記ニューロン素子の動作
について説明する。
【００５３】まず、前記シナプス部１１においては、従
来のニューロン素子と同様に、ｘk・ｗk なる演算が行
われ、ニューロン部１２に送られる。前記ニューロン部
１２では加算器１５において、和
来のニューロン素子と同様に、ｘk・ｗk なる演算が行
われ、ニューロン部１２に送られる。前記ニューロン部
１２では加算器１５において、和
【００５４】
【数１０】 がとられ、その結果が、前記補間処理部１８及び加算器
２５に供給される。
２５に供給される。
【００５５】前記補間処理部１８では、学習等によりす
でに格納済みの内部閾値θ（ｙ′），θ（ｙ″），…を
メモリ１７より読み出し、和ｙとこの内部閾値θ
（ｙ′），θ（ｙ″），…とから、内部閾値θ（ｙ）を
適当な補間処理により求める。この補間処理は、第１実
施例と同様な手法が使用できる。そして、前記加算器２
５において、ｙ＋θ（ｙ）なる計算がなされ、シグモイ
ド関数回路１６にて非線形演算ｆ（・）が行われ、外部
に出力される。
でに格納済みの内部閾値θ（ｙ′），θ（ｙ″），…を
メモリ１７より読み出し、和ｙとこの内部閾値θ
（ｙ′），θ（ｙ″），…とから、内部閾値θ（ｙ）を
適当な補間処理により求める。この補間処理は、第１実
施例と同様な手法が使用できる。そして、前記加算器２
５において、ｙ＋θ（ｙ）なる計算がなされ、シグモイ
ド関数回路１６にて非線形演算ｆ（・）が行われ、外部
に出力される。
【００５６】この第５実施例のニューロン素子は、第１
実施例に比べて、メモリサイズを小さくすることができ
る。それは、メモリ１４に格納されるシナプス結合強度
ｗが、入力ｘ＝（ｘ1 ，ｘ2 ，…，ｘn ）の次元数ｎに
比例するが、メモリ１７に格納される内部閾値θが次元
数１であるため、一般に、前記メモリ１７の増加分が小
さくなるためである。
実施例に比べて、メモリサイズを小さくすることができ
る。それは、メモリ１４に格納されるシナプス結合強度
ｗが、入力ｘ＝（ｘ1 ，ｘ2 ，…，ｘn ）の次元数ｎに
比例するが、メモリ１７に格納される内部閾値θが次元
数１であるため、一般に、前記メモリ１７の増加分が小
さくなるためである。
【００５７】また、入力データが線形分離可能でない排
他的論理和（ＸＯＲ）等では、従来のニューロン素子や
第１実施例のニューロン素子の場合、階層型ニューラル
ネットワークを用いて分離するには、中間層が必ず必要
となる。
他的論理和（ＸＯＲ）等では、従来のニューロン素子や
第１実施例のニューロン素子の場合、階層型ニューラル
ネットワークを用いて分離するには、中間層が必ず必要
となる。
【００５８】しかし本実施例では、図７（ａ）に示すよ
うな中間層を持たないニューラルネットワークでも分離
可能である。図７（ｂ）はシナプス結合強度ｗが、＋
１．０と−０．５の場合のＸＯＲにおける出力層のニュ
ーロン素子の積和値Σｘｗであるが、これが分離可能と
なるには、θ（０）＜０， θ（−０．５）＞０．
５， θ（１．０）＞−１．０，θ（０．５）＜−
０．５であればよい。
うな中間層を持たないニューラルネットワークでも分離
可能である。図７（ｂ）はシナプス結合強度ｗが、＋
１．０と−０．５の場合のＸＯＲにおける出力層のニュ
ーロン素子の積和値Σｘｗであるが、これが分離可能と
なるには、θ（０）＜０， θ（−０．５）＞０．
５， θ（１．０）＞−１．０，θ（０．５）＜−
０．５であればよい。
【００５９】すなわち、図８に示すように内部閾値θが
積和値Σｘｗに依存して設定される。なお、内部閾値θ
は図４と同様な学習回路を用いて、バックプロパゲーシ
ョン学習やパーセプトロン学習等により獲得できる。ま
た、本実施例でも、シナプス部の構成を第１実施例とし
て同様な構成にできる。
積和値Σｘｗに依存して設定される。なお、内部閾値θ
は図４と同様な学習回路を用いて、バックプロパゲーシ
ョン学習やパーセプトロン学習等により獲得できる。ま
た、本実施例でも、シナプス部の構成を第１実施例とし
て同様な構成にできる。
【００６０】次にシナプス結合強度ｗ(x) として明示的
に関数式を与える実施例を以下に示す。図９には、本発
明による第６実施例としてのニューロン素子の構成を示
し説明する。このニューロン素子は、図１６に示したよ
うな、外部からの入力ｘ1 ，ｘ2 ，…，ｘk ，…，ｘn
に依存しない一定のシナプス結合強度ｗ1 ，ｗ2 ，…，
ｗk ，…，ｗn のみがメモリに格納されている従来のニ
ューロン素子とは、シナプス部の構成が異なるものであ
る。
に関数式を与える実施例を以下に示す。図９には、本発
明による第６実施例としてのニューロン素子の構成を示
し説明する。このニューロン素子は、図１６に示したよ
うな、外部からの入力ｘ1 ，ｘ2 ，…，ｘk ，…，ｘn
に依存しない一定のシナプス結合強度ｗ1 ，ｗ2 ，…，
ｗk ，…，ｗn のみがメモリに格納されている従来のニ
ューロン素子とは、シナプス部の構成が異なるものであ
る。
【００６１】図９に示すニューロン素子は、シナプス部
１１とニューロン部１２に大別される。前記シナプス部
１１は、乗算器１３とシナプス結合強度関数の係数を格
納したメモリ１４と、前記メモリ１４からの係数を用い
てシナプス結合強度ｗ1 ，ｗ2 ，…，ｗk ，…，ｗn を
算出するためのシナプス結合強度関数処理部２８とで構
成される。また、前記メモリ１４には、上記シナプス結
合強度ｗk を求めるためのシナプス結合強度関数の係数
が、各乗算器ｋ毎に１または複数個づつ格納される。こ
の係数の個数は、シナプス結合強度関数の種類に依存し
て設定される。また、前記ニューロン部１２は、加算器
１５とシグモイド関数回路１６と内部閾値θを格納した
メモリ１７とにより構成されている。
１１とニューロン部１２に大別される。前記シナプス部
１１は、乗算器１３とシナプス結合強度関数の係数を格
納したメモリ１４と、前記メモリ１４からの係数を用い
てシナプス結合強度ｗ1 ，ｗ2 ，…，ｗk ，…，ｗn を
算出するためのシナプス結合強度関数処理部２８とで構
成される。また、前記メモリ１４には、上記シナプス結
合強度ｗk を求めるためのシナプス結合強度関数の係数
が、各乗算器ｋ毎に１または複数個づつ格納される。こ
の係数の個数は、シナプス結合強度関数の種類に依存し
て設定される。また、前記ニューロン部１２は、加算器
１５とシグモイド関数回路１６と内部閾値θを格納した
メモリ１７とにより構成されている。
【００６２】次に、このように構成されたニューロン素
子の動作について説明する。まず、外部からの入力ｘ
1 ，ｘ2 ，…，ｘk ，ｘn は、乗算器１３とシナプス結
合強度関数処理部２８に供給される。該シナプス結合強
度関数処理部２８では、予め学習させて格納されるシナ
プス結合強度関数の係数ｗk1，ｗk2，…，ｗkm（ただ
し、ｍは該係数の個数）をメモリ１４から読み出し、予
め設定されたシナプス結合強度関数により、シナプス結
合強度ｗk を算出する。例えば、前記シナプス結合強度
関数が、外部からの入力ｘk の２次関数として設定され
ると、そのシナプス結合強度ｗk は、ｗk ＝ｗk1・ｘk
2 ＋ｗk2・ｘk ＋ｗk3となり、３個の係数ｗk1，ｗk2，
ｗk3がメモリ１４から読み出される。
子の動作について説明する。まず、外部からの入力ｘ
1 ，ｘ2 ，…，ｘk ，ｘn は、乗算器１３とシナプス結
合強度関数処理部２８に供給される。該シナプス結合強
度関数処理部２８では、予め学習させて格納されるシナ
プス結合強度関数の係数ｗk1，ｗk2，…，ｗkm（ただ
し、ｍは該係数の個数）をメモリ１４から読み出し、予
め設定されたシナプス結合強度関数により、シナプス結
合強度ｗk を算出する。例えば、前記シナプス結合強度
関数が、外部からの入力ｘk の２次関数として設定され
ると、そのシナプス結合強度ｗk は、ｗk ＝ｗk1・ｘk
2 ＋ｗk2・ｘk ＋ｗk3となり、３個の係数ｗk1，ｗk2，
ｗk3がメモリ１４から読み出される。
【００６３】この係数の値がｗk1＝０．５、ｗk2＝１．
５、ｗk3＝１．０とすると、シナプス結合強度関数は図
１０に示すようにグラフ化されるが、ｘk ＝１．５のと
き、ｗk ＝−０．１２５、ｘk ＝３のときは、ｗk ＝
１．０というように、シナプス結合強度ｗk が算出でき
るのがわかる。なお、該係数は、後に詳述する学習処理
により獲得される。このように、シナプス結合強度関数
処理部２８により、求められたシナプス結合強度ｗk
は、前記ｋ番目の乗算器１３において、入力ｘk との積
ｘk ・ｗk が計算されて、ニューロン部１２の加算器１
５に送られる。以後は、従来のニューロン素子と同様
に、メモリ１７からの閾値θと、
５、ｗk3＝１．０とすると、シナプス結合強度関数は図
１０に示すようにグラフ化されるが、ｘk ＝１．５のと
き、ｗk ＝−０．１２５、ｘk ＝３のときは、ｗk ＝
１．０というように、シナプス結合強度ｗk が算出でき
るのがわかる。なお、該係数は、後に詳述する学習処理
により獲得される。このように、シナプス結合強度関数
処理部２８により、求められたシナプス結合強度ｗk
は、前記ｋ番目の乗算器１３において、入力ｘk との積
ｘk ・ｗk が計算されて、ニューロン部１２の加算器１
５に送られる。以後は、従来のニューロン素子と同様
に、メモリ１７からの閾値θと、
【００６４】
【数１１】 なる演算が前記加算器１５により行われ、次いで、シグ
モイド関数回路１６において、非線形変換されて外部に
出力される。
モイド関数回路１６において、非線形変換されて外部に
出力される。
【００６５】本実施例は、第１実施例に比べて、パラメ
ータ量すなわちメモリサイズを一般的に削減（縮少）可
能である。また、本実施例では、該シナプス結合強度関
数が、外部からの入力ｘk の２次関数であるとしたが、
他の入力ｘj の他の関数たとえば、三角関数や指数関数
等であってもかまわない。さらに、各シナプス結合強度
関数の種類が、それぞれのｗk 毎に異なっていてもかま
わない。すなわち、
ータ量すなわちメモリサイズを一般的に削減（縮少）可
能である。また、本実施例では、該シナプス結合強度関
数が、外部からの入力ｘk の２次関数であるとしたが、
他の入力ｘj の他の関数たとえば、三角関数や指数関数
等であってもかまわない。さらに、各シナプス結合強度
関数の種類が、それぞれのｗk 毎に異なっていてもかま
わない。すなわち、
【００６６】
【数１２】 でもよい。なお、前記シグモイド関数回路１６において
作用させる関数型はシグモイド関数に限定されるもので
はなく、他の非線形関数または線形関数を用いることも
できる。
作用させる関数型はシグモイド関数に限定されるもので
はなく、他の非線形関数または線形関数を用いることも
できる。
【００６７】以上のように、第６実施例のニューロン素
子は、シナプス部において、その入力に対して非線形応
答性をもつため、従来のニューロン素子よりも、高度な
情報処理能力を持つことが可能である。
子は、シナプス部において、その入力に対して非線形応
答性をもつため、従来のニューロン素子よりも、高度な
情報処理能力を持つことが可能である。
【００６８】次に図１１には、本発明による第７実施例
としてのニューロン素子の構成を示し、説明する。この
ニューロン素子は、前述した第６実施例のニューロン素
子のシナプス部１１に、信号遅延器２９を付加した構成
である。
としてのニューロン素子の構成を示し、説明する。この
ニューロン素子は、前述した第６実施例のニューロン素
子のシナプス部１１に、信号遅延器２９を付加した構成
である。
【００６９】以下、このようなニューロン素子の動作に
ついて説明する。まず外部からの入力ｘk t （ここでｔ
は時間を表す）が、乗算器１３とシナプス結合強度関数
処理部２８および信号遅延器２９とに供給されるが、該
シナプス結合強度関数処理部２８には、信号遅延器２９
を経由した１時刻前の外部からの入力ｘk t-1 が同時に
供給される。該シナプス結合強度関数処理部２８では、
予め学習させて格納されるシナプス結合強度関数の係数
ｗk1，ｗk2，…，ｗkmをメモリ１４から読み出し、遅延
入力ｘk t-1 を包含したシナプス結合強度関数により、
シナプス結合強度ｗk を算出する。例えば、前記シナプ
ス結合強度関数が、外部からの入力ｘk t ，ｘk t-1 の
１次関数として設定されていると、そのシナプス結合強
度ｗk は、
ついて説明する。まず外部からの入力ｘk t （ここでｔ
は時間を表す）が、乗算器１３とシナプス結合強度関数
処理部２８および信号遅延器２９とに供給されるが、該
シナプス結合強度関数処理部２８には、信号遅延器２９
を経由した１時刻前の外部からの入力ｘk t-1 が同時に
供給される。該シナプス結合強度関数処理部２８では、
予め学習させて格納されるシナプス結合強度関数の係数
ｗk1，ｗk2，…，ｗkmをメモリ１４から読み出し、遅延
入力ｘk t-1 を包含したシナプス結合強度関数により、
シナプス結合強度ｗk を算出する。例えば、前記シナプ
ス結合強度関数が、外部からの入力ｘk t ，ｘk t-1 の
１次関数として設定されていると、そのシナプス結合強
度ｗk は、
【００７０】
【数１３】 により求められる。該シナプス結合強度関数処理部２８
で算出されたシナプス結合強度ｗk は、ｋ番目の乗算器
１３において、入力ｘk との積ｘk ・ｗk が計算され
て、ニューロン部１２の加算器１５に送出される。以後
は、従来のニューロン素子と同様に処理が行われる。こ
の第２実施例は、シナプス結合強度関数に、遅延信号を
含むため時系列信号たとえば音声信号等を直接処理する
ことができる。また、信号遅延器２９を多段に接続し、
複数時刻前の遅延信号をシナプス結合強度関数処理部２
８に入力することも可能であり、時系列信号処理を、よ
り高精度に行うことができる。
で算出されたシナプス結合強度ｗk は、ｋ番目の乗算器
１３において、入力ｘk との積ｘk ・ｗk が計算され
て、ニューロン部１２の加算器１５に送出される。以後
は、従来のニューロン素子と同様に処理が行われる。こ
の第２実施例は、シナプス結合強度関数に、遅延信号を
含むため時系列信号たとえば音声信号等を直接処理する
ことができる。また、信号遅延器２９を多段に接続し、
複数時刻前の遅延信号をシナプス結合強度関数処理部２
８に入力することも可能であり、時系列信号処理を、よ
り高精度に行うことができる。
【００７１】次に図１２には、第８実施例として、前述
した第７実施例の変形例を示し説明する。前述した第７
実施例では、信号遅延器２９に外部からの入力ｘk t が
入力されていたが、本第８実施例では、ニューロン部の
出力ｙt が入力されるところが異なる。
した第７実施例の変形例を示し説明する。前述した第７
実施例では、信号遅延器２９に外部からの入力ｘk t が
入力されていたが、本第８実施例では、ニューロン部の
出力ｙt が入力されるところが異なる。
【００７２】このニューロン素子の動作は、まず、外部
からの入力ｘk t が、乗算器１３とシナプス結合強度関
数処理部２８とに供給されるが、該シナプス結合強度関
数処理部２８には、前記信号遅延器２９を経由した１時
刻前のニューロン部の出力ｙt-1 が同時に供給されてい
る。該シナプス結合強度関数処理部２８では、予め学習
させて格納されるシナプス結合強度関数の係数ｗk1，ｗ
k2，…，ｗkmをメモリ１４から読み出し、前記遅延信号
ｙt-1 を包含したシナプス結合強度関数により、シナプ
ス結合強度ｗk を算出する。以後は第７実施例と同様に
処理が行われる。 この第８実施例では、ニューロン部
の出力ｙt を、次の出力ｙt+1 の演算のためにフィード
バックする形になるため、理論的には、無限遠の遅延信
号を保持することになる。これは、第７実施例におい
て、信号遅延器２９を多段に接続し、複数時刻前の遅延
入力ｘk t-1 ，ｘk t-2 ，…を用いることと同等の処理
となり、結果として、本変形例では信号遅延器２９の削
減が可能となる。
からの入力ｘk t が、乗算器１３とシナプス結合強度関
数処理部２８とに供給されるが、該シナプス結合強度関
数処理部２８には、前記信号遅延器２９を経由した１時
刻前のニューロン部の出力ｙt-1 が同時に供給されてい
る。該シナプス結合強度関数処理部２８では、予め学習
させて格納されるシナプス結合強度関数の係数ｗk1，ｗ
k2，…，ｗkmをメモリ１４から読み出し、前記遅延信号
ｙt-1 を包含したシナプス結合強度関数により、シナプ
ス結合強度ｗk を算出する。以後は第７実施例と同様に
処理が行われる。 この第８実施例では、ニューロン部
の出力ｙt を、次の出力ｙt+1 の演算のためにフィード
バックする形になるため、理論的には、無限遠の遅延信
号を保持することになる。これは、第７実施例におい
て、信号遅延器２９を多段に接続し、複数時刻前の遅延
入力ｘk t-1 ，ｘk t-2 ，…を用いることと同等の処理
となり、結果として、本変形例では信号遅延器２９の削
減が可能となる。
【００７３】次に図１３には、本発明による第９実施例
としてのニューロン素子の構成を示し、説明する。この
ニューロン素子は、前述した第６実施例のニューロン素
子が、シナプス部１１において、外部からの入力ｘ1 ，
ｘ2 ，…，ｘk ，…，ｘn に関してシナプス結合強度関
数を算出していたのに対して、ニューロン部１２の加算
器１５からの出力
としてのニューロン素子の構成を示し、説明する。この
ニューロン素子は、前述した第６実施例のニューロン素
子が、シナプス部１１において、外部からの入力ｘ1 ，
ｘ2 ，…，ｘk ，…，ｘn に関してシナプス結合強度関
数を算出していたのに対して、ニューロン部１２の加算
器１５からの出力
【００７４】
【数１４】 に関する閾値関数を計算して内部閾値を求めることを特
徴としている。
徴としている。
【００７５】この構成は、シナプス部１１においては、
従来のニューロン素子と同じで、ニューロン部１２にお
いて、新たに、内部閾値θを算出するための閾値関数処
理部３０と加算器３１が追加されている。また、メモリ
１４には、閾値関数の係数が格納される。以下、このよ
うに構成されたニューロン素子の動作について説明す
る。 まず、前記シナプス部１１においては、従来のニ
ューロン素子と同様に外部からの入力ｘk とシナプス結
合強度ｗk との積ｘk ・ｗk が計算され、ニューロン部
１２に送られる。前記ニューロン部１２では加算器１５
において、
従来のニューロン素子と同じで、ニューロン部１２にお
いて、新たに、内部閾値θを算出するための閾値関数処
理部３０と加算器３１が追加されている。また、メモリ
１４には、閾値関数の係数が格納される。以下、このよ
うに構成されたニューロン素子の動作について説明す
る。 まず、前記シナプス部１１においては、従来のニ
ューロン素子と同様に外部からの入力ｘk とシナプス結
合強度ｗk との積ｘk ・ｗk が計算され、ニューロン部
１２に送られる。前記ニューロン部１２では加算器１５
において、
【００７６】
【数１５】 が計算され、その結果が、前記閾値関数処理部３０およ
び加算器３１に供給される。該閾値関数処理部３０で
は、予め学習させて格納される閾値関数の係数θ1，θ2
，…，θm （ただし、ｍは該係数の個数）をメモリ１
７から読み出し、予め設定された閾値関数により、内部
閾値θを算出する。例えば、前記閾値関数が、ｓｉｎ関
数として設定されていると、その内部閾値θは、例え
ば、
び加算器３１に供給される。該閾値関数処理部３０で
は、予め学習させて格納される閾値関数の係数θ1，θ2
，…，θm （ただし、ｍは該係数の個数）をメモリ１
７から読み出し、予め設定された閾値関数により、内部
閾値θを算出する。例えば、前記閾値関数が、ｓｉｎ関
数として設定されていると、その内部閾値θは、例え
ば、
【００７７】
【数１６】 となり４個の係数θ1 ，θ2 ，θ3 ，θ4 がメモリ１７
から読み出される。なお、該係数は、後に述べる学習処
理により獲得される。このように、閾値関数処理部３０
により、求められた内部閾値θは、前記加算器３１にお
いてシナプス部１１からの出力の総和
から読み出される。なお、該係数は、後に述べる学習処
理により獲得される。このように、閾値関数処理部３０
により、求められた内部閾値θは、前記加算器３１にお
いてシナプス部１１からの出力の総和
【００７８】
【数１７】 と加算され、
【００７９】
【数１８】 が得られる。その結果はシグモイド関数回路１６におい
て、非線形変換されて、外部に出力される。
て、非線形変換されて、外部に出力される。
【００８０】従って、この第９実施例のニューロン素子
は、第６実施例に比べて、メモリサイズを小さくするこ
とができる。それは、第６実施例のメモリ１４に格納さ
れるシナプス結合強度関数の係数の量が、外部からの入
力ｘ1 ，ｘ2 ，…，ｘk ，…，ｘn の次元数ｎに比例し
て増大するが、第９実施例のメモリ１７に格納される閾
値関数の係数は１次元分であるため、一般に前記メモリ
１７の増加分が小さくなるためである。
は、第６実施例に比べて、メモリサイズを小さくするこ
とができる。それは、第６実施例のメモリ１４に格納さ
れるシナプス結合強度関数の係数の量が、外部からの入
力ｘ1 ，ｘ2 ，…，ｘk ，…，ｘn の次元数ｎに比例し
て増大するが、第９実施例のメモリ１７に格納される閾
値関数の係数は１次元分であるため、一般に前記メモリ
１７の増加分が小さくなるためである。
【００８１】次に図１４には、本発明による第１０実施
例としてのニューロン素子の構成を示し説明する。図１
４は、前述した第６実施例におけるシナプス部１１のシ
ナプス結合強度関数の係数ｗkmとニューロン部１２の内
部閾値θの学習を行うための回路構成である。このニュ
ーロン素子は、第６実施例に対して、学習処理部３２と
乱数発生器３３が追加され、教師データ３４とシナプス
結合強度関数型３５が外部より供給される。以下に、学
習方法としてバックプロパゲーション学習を例として学
習動作を説明する。
例としてのニューロン素子の構成を示し説明する。図１
４は、前述した第６実施例におけるシナプス部１１のシ
ナプス結合強度関数の係数ｗkmとニューロン部１２の内
部閾値θの学習を行うための回路構成である。このニュ
ーロン素子は、第６実施例に対して、学習処理部３２と
乱数発生器３３が追加され、教師データ３４とシナプス
結合強度関数型３５が外部より供給される。以下に、学
習方法としてバックプロパゲーション学習を例として学
習動作を説明する。
【００８２】まず、使用するシナプス結合強度関数型
を、外部から学習処理部３２に指示し、学習処理部３２
は、その情報によりシナプス結合強度関数処理部２８を
初期化し、設定された特定の関数を処理可能とする。ま
た、該学習処理部３２は、乱数発生器３３により発生さ
せた微小な乱数を用いて、メモリ１４および１７のシナ
プス結合強度関数の係数ｗk1，ｗk2，…，ｗkmと、内部
閾値θの初期値として設定する。
を、外部から学習処理部３２に指示し、学習処理部３２
は、その情報によりシナプス結合強度関数処理部２８を
初期化し、設定された特定の関数を処理可能とする。ま
た、該学習処理部３２は、乱数発生器３３により発生さ
せた微小な乱数を用いて、メモリ１４および１７のシナ
プス結合強度関数の係数ｗk1，ｗk2，…，ｗkmと、内部
閾値θの初期値として設定する。
【００８３】学習データｘ1 ，ｘ2 ，…，ｘk ，…，ｘ
n は、外部よりニューロン部１１の乗算器１３とシナプ
ス結合強度関数処理部２８及び学習処理部３２に供給さ
れる。シナプス結合強度関数処理部２８では、学習デー
タｘ1 ，ｘ2 ，…，ｘk ，…，ｘn とメモリ１４から読
み出したシナプス結合強度関数の係数とを用いて設定さ
れた関数演算を行い、シナプス結合強度ｗk を求める。
前記乗算器１３では、入力ｘk と上で求めたシナプス結
合強度ｗk の積ｘk ・ｗk が計算され、次にニューロン
部１２の加算器１５において、メモリ１７の内部閾値θ
との和
n は、外部よりニューロン部１１の乗算器１３とシナプ
ス結合強度関数処理部２８及び学習処理部３２に供給さ
れる。シナプス結合強度関数処理部２８では、学習デー
タｘ1 ，ｘ2 ，…，ｘk ，…，ｘn とメモリ１４から読
み出したシナプス結合強度関数の係数とを用いて設定さ
れた関数演算を行い、シナプス結合強度ｗk を求める。
前記乗算器１３では、入力ｘk と上で求めたシナプス結
合強度ｗk の積ｘk ・ｗk が計算され、次にニューロン
部１２の加算器１５において、メモリ１７の内部閾値θ
との和
【００８４】
【数１９】 が計算され、シグモイド関数回路１６にて非線形変換
【００８５】
【数２０】 を受け、出力
【００８６】
【数２１】 が求まる。次に、学習処理部３２では、誤差関数
【００８７】
【数２２】 を最急降下法を用いて、最小化する。ここで、ｄは出力
ｙに対応する教師データ３４である。最急降下法では、
誤差関数Ｅをシナプス結合強度の係数ｗkmおよび内部閾
値θで偏微分した値に比例して、それぞれのｗkmおよび
θを修正していく。すなわち、
ｙに対応する教師データ３４である。最急降下法では、
誤差関数Ｅをシナプス結合強度の係数ｗkmおよび内部閾
値θで偏微分した値に比例して、それぞれのｗkmおよび
θを修正していく。すなわち、
【００８８】
【数２３】 なる学習計算を行う。詳細は、文献（Ｄ．Ｅ．Ｒｕｍｅ
ｌｈａｒｔ ｅｔｃ．，“Ｌｅａｒｎｉｎｇ Ｉｎｔｅ
ｒｎａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｂｙ ｅ
ｒｒｏｒ ｐｒｏｐａｇａｔｉｏｎ”，Ｐａｒａｌｌｅ
ｌ Ｄｉｓｔｒｉｂｕｔｅｄ Ｐｒｏｃｅｓｓｉｎｇ，
Ｖｏｌ．１，ｃｈａｐ．８， '８６，ＭＩＴ Ｐｒｅｓ
ｓ）を参照のこと。ここで、η1 ，η2 は学習率を定め
る係数で、ｔは学習ステップ（時間）である。該学習処
理部３２で新たに求められたシナプス結合強度関数の係
数および内部閾値θを用いて、メモリ１４，１７中の値
を設定しなおす。前述したメモリ１４およびメモリ１７
の内容の初期値設定より後の処理を学習データ全てにつ
いて前記誤差関数Ｅが許容値以下になるまでくり返した
時点で学習は完了する。なお、前述した第９実施例にお
ける閾値関数の係数も、同様に最急降下法を用いて学習
できる。すなわち、
ｌｈａｒｔ ｅｔｃ．，“Ｌｅａｒｎｉｎｇ Ｉｎｔｅ
ｒｎａｌ ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ ｂｙ ｅ
ｒｒｏｒ ｐｒｏｐａｇａｔｉｏｎ”，Ｐａｒａｌｌｅ
ｌ Ｄｉｓｔｒｉｂｕｔｅｄ Ｐｒｏｃｅｓｓｉｎｇ，
Ｖｏｌ．１，ｃｈａｐ．８， '８６，ＭＩＴ Ｐｒｅｓ
ｓ）を参照のこと。ここで、η1 ，η2 は学習率を定め
る係数で、ｔは学習ステップ（時間）である。該学習処
理部３２で新たに求められたシナプス結合強度関数の係
数および内部閾値θを用いて、メモリ１４，１７中の値
を設定しなおす。前述したメモリ１４およびメモリ１７
の内容の初期値設定より後の処理を学習データ全てにつ
いて前記誤差関数Ｅが許容値以下になるまでくり返した
時点で学習は完了する。なお、前述した第９実施例にお
ける閾値関数の係数も、同様に最急降下法を用いて学習
できる。すなわち、
【００８９】
【数２４】 のように学習する。
【００９０】なお、前記実施例では、学習方法として、
バックプロパゲーション学習を用いたが、従来から提案
されている他の学習方法、たとえば、パーセプトロン学
習、Ｈｅｂｂ学習、直交学習、相関学習、自己組織化学
習等を用いることも容易である。
バックプロパゲーション学習を用いたが、従来から提案
されている他の学習方法、たとえば、パーセプトロン学
習、Ｈｅｂｂ学習、直交学習、相関学習、自己組織化学
習等を用いることも容易である。
【００９１】また、前述した学習例では、シナプス結合
強度関数の係数を一律に学習修正しているが、学習初期
には、一部の該係数を不変固定化しておき学習後期に、
徐々に該係数を学習修正可能とする方法がある。
強度関数の係数を一律に学習修正しているが、学習初期
には、一部の該係数を不変固定化しておき学習後期に、
徐々に該係数を学習修正可能とする方法がある。
【００９２】図１５に、この学習方法のフローチャート
を示す。まず、学習時の初期設定として、学習回数ｔ
と、シナプス結合強度関数の係数の内、学習修正しない
該係数（固定化係数）及びその個数ｍを設定する（ステ
ップＳ１）。次いで、学習回数ｔを更新した後（ステッ
プＳ２）、該固定化係数以外の係数について、前述した
学習処理を行う（ステップＳ３）。その学習の結果、誤
差関数Ｅ（ｔ）と許容誤差α（＞０）を比較し（ステッ
プＳ４）、誤差関数Ｅ（ｔ）が許容誤差α（＞０）以内
になった時点（ＹＥＳ）で学習は完了する。しかし、許
容誤差α（＞０）以内でない場合（ＮＯ）、誤差の減少
の度合
を示す。まず、学習時の初期設定として、学習回数ｔ
と、シナプス結合強度関数の係数の内、学習修正しない
該係数（固定化係数）及びその個数ｍを設定する（ステ
ップＳ１）。次いで、学習回数ｔを更新した後（ステッ
プＳ２）、該固定化係数以外の係数について、前述した
学習処理を行う（ステップＳ３）。その学習の結果、誤
差関数Ｅ（ｔ）と許容誤差α（＞０）を比較し（ステッ
プＳ４）、誤差関数Ｅ（ｔ）が許容誤差α（＞０）以内
になった時点（ＹＥＳ）で学習は完了する。しかし、許
容誤差α（＞０）以内でない場合（ＮＯ）、誤差の減少
の度合
【００９３】
【数２５】 と、設定値β（＞０）と比較する（ステップＳ５）。こ
の判定で設定値β以内ならば（ＹＥＳ）、固定化係数の
個数チェックを行い、そうでない場合には（ＮＯ）、ス
テップＳ２に戻り学習処理をくり返す。また、固定化係
数の個数ｍのチェック（ステップＳ６）で、すでに固定
化係数が使用されつくされている場合（ｍ＝０の場合）
にも、前記学習処理をくり返す。なお、固定化係数が存
在する場合（ｍ＞０）には（ＹＥＳ）、固定化されてい
る係数を一個、学習可能とし、固定化係数の個数ｍを１
だけ減算する（ステップＳ７）。このような処理を、誤
差関数Ｅ（ｔ）が、許容誤差以内になるまでくり返す。
これは、まず、大まかな写像関係を学習し、次いで、詳
細な写像関係を学習するようなものになる。この方法を
応用して、学習後の新規データの追加学習を行うことも
容易になる。
の判定で設定値β以内ならば（ＹＥＳ）、固定化係数の
個数チェックを行い、そうでない場合には（ＮＯ）、ス
テップＳ２に戻り学習処理をくり返す。また、固定化係
数の個数ｍのチェック（ステップＳ６）で、すでに固定
化係数が使用されつくされている場合（ｍ＝０の場合）
にも、前記学習処理をくり返す。なお、固定化係数が存
在する場合（ｍ＞０）には（ＹＥＳ）、固定化されてい
る係数を一個、学習可能とし、固定化係数の個数ｍを１
だけ減算する（ステップＳ７）。このような処理を、誤
差関数Ｅ（ｔ）が、許容誤差以内になるまでくり返す。
これは、まず、大まかな写像関係を学習し、次いで、詳
細な写像関係を学習するようなものになる。この方法を
応用して、学習後の新規データの追加学習を行うことも
容易になる。
【００９４】なお、図１４に示すこの実施例では、学習
処理部３２や乱数発生器３３をニューロン素子内に持
ち、オンライン学習を可能にしているため、通常の動作
中に得られた誤動作入力データを用いて、リアルタイム
の学習処理および性能向上が可能となる。また、ニュー
ロン素子外に学習処理部を持ち、オフライン学習するも
のに比べて、前述した誤動作入力データを格納するデー
タ領域を最少限にすることが可能となる。該学習処理部
や乱数発生器は複数のニューロン素子で共有、使用する
構成も可能である。
処理部３２や乱数発生器３３をニューロン素子内に持
ち、オンライン学習を可能にしているため、通常の動作
中に得られた誤動作入力データを用いて、リアルタイム
の学習処理および性能向上が可能となる。また、ニュー
ロン素子外に学習処理部を持ち、オフライン学習するも
のに比べて、前述した誤動作入力データを格納するデー
タ領域を最少限にすることが可能となる。該学習処理部
や乱数発生器は複数のニューロン素子で共有、使用する
構成も可能である。
【００９５】以上説明したように本発明によるニューロ
ン素子は、シナプス部がその入力に対して非線形応答性
をもつため、従来のニューロン素子に比べて写像能力が
向上する。そのため、従来よりも少ないニューロン素子
で同等の能力を持つニューラル・ネットワークが実現で
き、しかも、学習の収束時間の短縮、極小解への収束回
避、新規データの追加学習が容易となる。また本発明
は、前述した実施例に限定されるものではなく、他にも
発明の要旨を逸脱しない範囲で種々の変形や応用が可能
であることは勿論である。
ン素子は、シナプス部がその入力に対して非線形応答性
をもつため、従来のニューロン素子に比べて写像能力が
向上する。そのため、従来よりも少ないニューロン素子
で同等の能力を持つニューラル・ネットワークが実現で
き、しかも、学習の収束時間の短縮、極小解への収束回
避、新規データの追加学習が容易となる。また本発明
は、前述した実施例に限定されるものではなく、他にも
発明の要旨を逸脱しない範囲で種々の変形や応用が可能
であることは勿論である。
【００９６】
【発明の効果】以上詳述したように本発明によれば、シ
ナプス結合強度及び／若しくは内部閾値を外部入力の大
きさに依存して可変化することで、ニューロン素子の写
像能力を向上させ、少数のニューロン素子数で高能力、
高速処理が実現できるニューラルネットワークを構成す
るニューロン素子を提供することができる。
ナプス結合強度及び／若しくは内部閾値を外部入力の大
きさに依存して可変化することで、ニューロン素子の写
像能力を向上させ、少数のニューロン素子数で高能力、
高速処理が実現できるニューラルネットワークを構成す
るニューロン素子を提供することができる。
【図１】本発明による第１実施例としてのニューロン素
子の構成を示す図である。
子の構成を示す図である。
【図２】本発明のニューロン素子の概念を示す図であ
る。
る。
【図３】本発明による第２実施例としてのニューロン素
子の構成を示す図である。
子の構成を示す図である。
【図４】ニューロン素子におけるメモリの内部閾値θと
シナプス結合強度の学習を行う第３実施例としての回路
構成を示す図である。
シナプス結合強度の学習を行う第３実施例としての回路
構成を示す図である。
【図５】本発明の第４実施例としてのニューロン素子の
構成を示す図である。
構成を示す図である。
【図６】本発明の第５実施例としてのニューロン素子の
構成を示す図である。
構成を示す図である。
【図７】中間層を持たないニューラルネットワークの構
成と、所定のシナプス結合強度の時のＸＯＲにおける出
力層のニューロン素子の積和値を示す図である。
成と、所定のシナプス結合強度の時のＸＯＲにおける出
力層のニューロン素子の積和値を示す図である。
【図８】内部閾値θと積和値Σｘｗとの関係を示す図で
ある。
ある。
【図９】本発明による第６実施例としてのニューロン素
子の構成を示す図である。
子の構成を示す図である。
【図１０】シナプス結合強度関数をグラフとして示した
図である。
図である。
【図１１】本発明による第７実施例としてのニューロン
素子の構成を示す図である。
素子の構成を示す図である。
【図１２】本発明による第８実施例としてのニューロン
素子の構成を示す図である。
素子の構成を示す図である。
【図１３】本発明による第９実施例としてのニューロン
素子の構成を示す図である。
素子の構成を示す図である。
【図１４】本発明による第１０実施例としてのニューロ
ン素子の構成を示す図である。
ン素子の構成を示す図である。
【図１５】第１０実施例のニューロン素子における学習
方法を示すフローチャートである。
方法を示すフローチャートである。
【図１６】従来のニューロン素子の構成例を示す図であ
る。
る。
【図１７】非線形の入力−出力の関係を持つシグモイド
関数の一例を示す図である。
関数の一例を示す図である。
【図１８】従来のニューラルネットワークの構成を示す
図である。
図である。
１，１１…シナプス部、２，１２…ニューロン部、３，
１３…乗算器、４，７，１４，１７…メモリ、５，１
５，２５，３１…加算器、６，１６…シグモイド関数回
路、１８…補間処理部、１９…量子化部、２０…学習回
路、２１，３３…乱数発生器、２２，３４…教師デー
タ、２３…ラッチ回路、２４…カウンタ、２８…シナプ
ス結合強度関数処理部、２９…信号遅延器、３０…閾値
関数処理部、３２…学習処理部、３５…シナプス結合強
度関数型。
１３…乗算器、４，７，１４，１７…メモリ、５，１
５，２５，３１…加算器、６，１６…シグモイド関数回
路、１８…補間処理部、１９…量子化部、２０…学習回
路、２１，３３…乱数発生器、２２，３４…教師デー
タ、２３…ラッチ回路、２４…カウンタ、２８…シナプ
ス結合強度関数処理部、２９…信号遅延器、３０…閾値
関数処理部、３２…学習処理部、３５…シナプス結合強
度関数型。
Claims (2)
- 【請求項１】 外部の入力手段または他のニューロン素
子からの入力に対して、シナプス結合強度との乗算処理
を行うシナプス部と、該シナプス部からの出力を加算、
閾値処理し、さらに線形または非線形変換した結果を外
部に出力するニューロン部とを含むニューロン素子にお
いて、 前記シナプス部のシナプス結合強度及び／若しくはニュ
ーロン部の閾値を、予め学習された入力の大きさ毎に異
なるシナプス結合強度を用いて、外部からの入力の大き
さに応じて補間演算し、求めることを特徴とするニュー
ロン素子。 - 【請求項２】 外部の入力手段または他のニューロン素
子からの入力に対して、シナプス結合強度との乗算処理
を行うシナプス部と、該シナプス部からの出力を加算、
閾値処理し、さらに線形または非線形変換した結果を外
部に出力するニューロン部とを含むニューロン素子にお
いて、 前記シナプス部のシナプス結合強度及び／若しくはニュ
ーロン部の閾値を、予め設定された関数式を用いて外部
からの入力の関数として関数演算し、求めることを特徴
とするニューロン素子。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5253138A JPH06266868A (ja) | 1992-12-24 | 1993-10-08 | ニューロン素子 |
| US08/171,013 US5671337A (en) | 1992-12-24 | 1993-12-21 | Neuron unit |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP34460292 | 1992-12-24 | ||
| JP4-344602 | 1992-12-24 | ||
| JP5253138A JPH06266868A (ja) | 1992-12-24 | 1993-10-08 | ニューロン素子 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06266868A true JPH06266868A (ja) | 1994-09-22 |
Family
ID=26541053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5253138A Withdrawn JPH06266868A (ja) | 1992-12-24 | 1993-10-08 | ニューロン素子 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5671337A (ja) |
| JP (1) | JPH06266868A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100292067B1 (ko) * | 1997-12-26 | 2001-07-12 | 전주범 | 이산시간셀룰러신경회로망용셀 |
| WO2008072994A1 (fr) * | 2006-12-13 | 2008-06-19 | Evgeny Nikolaevich Zakharov | Élément neuronal |
| RU2744361C1 (ru) * | 2020-04-10 | 2021-03-05 | Евгений Николаевич Захаров | Нейроподобный элемент |
| CN113168574A (zh) * | 2018-12-12 | 2021-07-23 | 日立安斯泰莫株式会社 | 信息处理装置、车载控制装置、车辆控制系统 |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6754645B2 (en) * | 2001-03-20 | 2004-06-22 | Winbond Electronics Corp. | Voltage-mode pulse width modulation VLSI implementation of neural networks |
| US20040022202A1 (en) * | 2002-08-05 | 2004-02-05 | Chih-Lung Yang | Method and apparatus for continuously receiving images from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual images containing information concerning each of said video channels |
| US7492387B2 (en) * | 2002-08-05 | 2009-02-17 | Chih-Lung Yang | Implementation of MPCP MCU technology for the H.264 video standard |
| US6963788B2 (en) * | 2003-03-04 | 2005-11-08 | Norbert Abels | Holography-aided orthodontic archwire bending |
| US7904398B1 (en) | 2005-10-26 | 2011-03-08 | Dominic John Repici | Artificial synapse component using multiple distinct learning means with distinct predetermined learning acquisition times |
| US9129220B2 (en) * | 2010-07-07 | 2015-09-08 | Qualcomm Incorporated | Methods and systems for digital neural processing with discrete-level synapes and probabilistic STDP |
| US9619749B2 (en) | 2014-03-06 | 2017-04-11 | Progress, Inc. | Neural network and method of neural network training |
| US10423694B2 (en) | 2014-03-06 | 2019-09-24 | Progress, Inc. | Neural network and method of neural network training |
| CA2941352C (en) | 2014-03-06 | 2022-09-20 | Progress, Inc. | Neural network and method of neural network training |
| RU2579958C1 (ru) * | 2014-12-25 | 2016-04-10 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Донской государственный технический университет" | Искусственный нейрон |
| US10509999B2 (en) | 2015-12-30 | 2019-12-17 | SK Hynix Inc. | Neuromorphic device including post-synaptic neurons having a comparator for deciding quasi- learned synapses |
| US10459876B2 (en) * | 2018-01-31 | 2019-10-29 | Amazon Technologies, Inc. | Performing concurrent operations in a processing element |
| US11742901B2 (en) * | 2020-07-27 | 2023-08-29 | Electronics And Telecommunications Research Institute | Deep learning based beamforming method and apparatus |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1990002381A1 (fr) * | 1988-08-31 | 1990-03-08 | Fujitsu Limited | Ordinateur neuronal |
| US5319737A (en) * | 1991-01-15 | 1994-06-07 | Smiths Industries Aerospace & Defense Systems, Inc. | Network structure for path generation |
| JPH06509670A (ja) * | 1991-04-29 | 1994-10-27 | インテル・コーポレーション | 差分ニューロンを包含したニューラルネットワーク |
| US5261035A (en) * | 1991-05-31 | 1993-11-09 | Institute Of Advanced Study | Neural network architecture based on summation of phase-coherent alternating current signals |
| US5467428A (en) * | 1991-06-06 | 1995-11-14 | Ulug; Mehmet E. | Artificial neural network method and architecture adaptive signal filtering |
| US5253329A (en) * | 1991-12-26 | 1993-10-12 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Neural network for processing both spatial and temporal data with time based back-propagation |
| US5278945A (en) * | 1992-01-10 | 1994-01-11 | American Neuralogical, Inc. | Neural processor apparatus |
| US5256911A (en) * | 1992-06-10 | 1993-10-26 | Intel Corporation | Neural network with multiplexed snyaptic processing |
| US5355436A (en) * | 1992-10-05 | 1994-10-11 | The Research Foundation, State University Of New York At Buffalo | Single layer neural network circuit for performing linearly separable and non-linearly separable logical operations |
-
1993
- 1993-10-08 JP JP5253138A patent/JPH06266868A/ja not_active Withdrawn
- 1993-12-21 US US08/171,013 patent/US5671337A/en not_active Expired - Lifetime
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100292067B1 (ko) * | 1997-12-26 | 2001-07-12 | 전주범 | 이산시간셀룰러신경회로망용셀 |
| WO2008072994A1 (fr) * | 2006-12-13 | 2008-06-19 | Evgeny Nikolaevich Zakharov | Élément neuronal |
| CN113168574A (zh) * | 2018-12-12 | 2021-07-23 | 日立安斯泰莫株式会社 | 信息处理装置、车载控制装置、车辆控制系统 |
| RU2744361C1 (ru) * | 2020-04-10 | 2021-03-05 | Евгений Николаевич Захаров | Нейроподобный элемент |
Also Published As
| Publication number | Publication date |
|---|---|
| US5671337A (en) | 1997-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH06266868A (ja) | ニューロン素子 | |
| US5519647A (en) | Apparatus for and method of generating an approximation function | |
| US5781701A (en) | Neural network and method of using same | |
| Foster et al. | Neural network forecasting of short, noisy time series | |
| CN112529166A (zh) | 融合神经元模型、神经网络结构及训练、推理方法、存储介质和设备 | |
| Amrutha et al. | Performance analysis of backpropagation algorithm of artificial neural networks in verilog | |
| JPH0713950A (ja) | 人工ニューロンおよびその使用方法 | |
| CN110223785A (zh) | 一种基于深度学习的传染病传播网络重构方法 | |
| CN117670586B (zh) | 一种基于图神经网络的电网节点碳因子预测方法及系统 | |
| Bodyanskiy et al. | Multilayer radial-basis function network and its learning | |
| KR0170505B1 (ko) | 다층퍼셉트론 신경회로망의 n비트 데이타 표현에 의한 학습방법 | |
| Solazzi et al. | Regularising neural networks using flexible multivariate activation function | |
| CN109670582A (zh) | 一种全定点化神经网络的设计方法 | |
| JPH04182769A (ja) | デジタル・ニューロプロセッサ | |
| JPH076146A (ja) | 並列データ処理システム | |
| Mahapatra et al. | Mapping of neural network models onto systolic arrays | |
| Vega et al. | Fuzzy modeling using LSTM cells for nonlinear systems | |
| Munavalli et al. | Pattern recognition for data retrieval using artificial neural network | |
| HU | Neural Network Signal Processing | |
| JP3328953B2 (ja) | 非線形シナプスニューロン、そのデバイス及びそれを用いた予測方法 | |
| JPH03167655A (ja) | ニューラルネットワーク | |
| JPH07210542A (ja) | ニューロン回路 | |
| JPH06131482A (ja) | アナログニューラルネットワーク回路 | |
| WO2007096954A1 (ja) | ニューラルネットワーク装置及びその方法 | |
| Matsuoka | A novel model of autoassociative memory and its self-organization |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20001226 |