JPH0589266A - ニユーロン素子及びニユーラルネツトワーク回路 - Google Patents

Abstract

(57)【要約】 【目的】 配線量の大幅な削減を図りながら、汎用性が
高く柔軟性を持ったニュ−ロン素子及びニュ−ラルネッ
トワ−ク回路を提供する。 【構成】 少なくとも１つ以上の入力端子ｘ₁ ，ｘ₂ 、
ｘ₃ と少なくとも１つ以上の出力端子ｆ（ｕ）と、入力
端子と同数の結合係数を受信する結合係数入力端子
ｗ₁₁，ｗ₁₂，ｗ₁₃とを有したニュ−ロン素子において、
入力端子ｘ₁ ，ｘ₂、ｘ₃ への入力デ−タがパルス密度
変調信号であり、結合係数入力端子ｗ₁₁，ｗ₁₂，ｗ₁₃へ
の入力デ−タがパルス幅変調信号である。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はニューロン素子及びニュ
ーラルネットワーク回路網に関するものである。

【０００２】

【従来技術】ニューロン素子並びにニューラルネットワ
ーク回路の実現に関しては、ニューロ・チップ開発を前
提として近年多くの研究開発がなされている。大別すれ
ば、それをアナログ回路で構成するものとディジタル回
路で構成するものであり、最近になって、アナログ回路
とディジタル回路を混合した回路方式もいくつか発表さ
れつつある。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
アナログ回路方式においては、ハードウェア量が少なく
てすむという長所を有するが、精度や再現性を高めるの
が困難であるという欠点を有し、また雑音にも弱いとい
う問題点がある。

【０００４】一方ディジタル回路方式においては、制御
が容易で精度も高いことから汎用性が高く柔軟性を持つ
こと、ディジタル装置とのインターフェースがとりやす
い等の長所を持つが、ハードウェア量が非常に大きくな
ってしまうという問題点を有している。

【０００５】ところで、例えば文献、ＶＬＳＩニューロ
プロセッサ（「情報処理」，Ｖｏｌ．３１，No．４，
（１９９０．４），ｐｐ．４９２−４９９）で指摘され
ているように、いずれの方式でも、特にニューロ・チッ
プ開発を念頭においた場合の最大の問題点が多数のニュ
ーロン間の接続技術であることは異論の余地のないとこ
ろである。

【０００６】以下、図を用いてこのことを説明する。図
３０は、ｊ番めの１個のニューロン素子であり、図示し
ない他のｎ個のニューロン素子からの出力ｘ₁ ，ｘ₂ ，
ｘ₃，ｘ₄ ，…、ｘ_n を入力端子への入力とする。ニュ
ーロン素子１００は予め結合係数Ｗ_j1，Ｗ_j2，Ｗ_j3，Ｗ
_j4，…，Ｗ_jnを有し、その内部エネルギｕを個々のシナ
プス結合の和として以下の（１）式のように算出する。

【０００７】

【数１】 この内部エネルギｕを用いて、ニューロン素子１００の
出力端子の出力ｙは、飽和型単調増加関数ｆ（ｕ）によ
り算出するが、一般にはシグモイド関数、 ｙ＝ｆ（ｕ）＝１／｛１＋ｅｘｐ（−ｕ）｝ …（２） で求められる。その特性を図３１に示す。

【０００８】このようなニューロン素子１００を階層型
に接続したニューラルネットワーク回路を図３２に示
す。該ニューラルネットワーク回路は入力（Ｉ）層、中
間（Ｊ）層、出力（Ｋ）層の３層よりなり、中間層ニュ
ーロン素子と出力層ニューロン素子ではシナプス部１０
３ａ，１０３ｂ，１０３ｃあるいは１０５ａ，１０５
ｂ，１０５ｃで上記（１）式の各シナプス入力の積演算
を行い、ニューロン部１０２ａ，１０２ｂ，１０２ｃあ
るいは１０４ａ，１０４ｂ，１０４ｃで上記（１）、
（２）式に基づき和演算とシグモイド演算を行いその結
果を出力端子から出力する。入力層ニューロン素子は入
力信号ｘ_n を出力端子からそのまま出力する。

【０００９】図３３はこのようなニューラルネットワー
ク回路の中間層または出力層の１個のニューロン素子を
実現するディジタル回路であり、図３４にその要所の信
号状態をあらわすタイムチャートを示す。図３４に付し
た記号Ａ〜Ｊは、図３３中のａ〜ｊの入出力に各々対応
するものである。いま、図３２のニューロン部１０２ａ
とシナプス部１０３ａからなる１個の中間層ニューロン
素子のディジタル回路モデルの動作を考える。

【００１０】図３３において、入力データはそれぞれ８
ｂｉｔのデータ列、ｘ₁ ，ｘ₂ ，ｘ₃ ，ｘ₄ ，…、ｘ_n
であり、該入力データに対応するそれぞれ８ｂｉｔの結
合係数、Ｗ_j1，Ｗ_j2，Ｗ_j3，Ｗ_j4，…，Ｗ_jnは、ｘのデ
ータ転送クロックに同期して動作するアドレスカウンタ
１１３によりアドレスされるメモリ１０６より得て、ｘ
_i とｘ_jiの乗算を乗算器１０７で行う。

【００１１】ここまでの処理は上記ニューロン素子のシ
ナプス部１０３ａの働きに相当するものである。ラッチ
１０８，１１０と加算器１０９は乗算器１０７で計算し
たｘ_i ｗ_jiの総和をとるための回路で、これによりニュ
ーロン素子の内部エネルギｕを算出する。すなわち、ラ
ッチ１１０は最初０にクリアされており、乗算器１０７
の最初の出力ｘ_i ｗ_jiはラッチ１０８にラッチされた
後、ラッチ１１０の出力０と加算器１０９によって加算
され、加算結果ｘ₁ ｗ_j1はラッチ１１０にラッチされ
る。

【００１２】次にｘ₂ ｗ_j2がラッチ１０８にラッチされ
ると、ラッチ１１０の出力ｘ₁ ｗ_j1と加算され、加算結
果ｘ₁ ｗ_j1＋ｘ₂ ｗ_j2がラッチ１１０にラッチされる。
以下同様にラッチ１０８にｘ_n ｗ_jnがラッチされたとき
には加算器１０９の出力はΣｘ_i ｗ_ji（但し、ｉ＝１〜
ｎ）となる。

【００１３】その結果をＲＯＭなどで構成したシグモイ
ド変換回路１１１に転送して上記（２）式のような変換
を行いニューロン素子の出力とする。この出力はラッチ
１１２にラッチされる。これは上記ニューロン素子のニ
ューロン部１０２ａの働きに相当する。

【００１４】ここで、入力データｘ_i と結合係数ｗ_jiは
一般的にどちらも８ビット程度で量子化されることが多
いため、乗算器１０７の出力は１６ビット、加算器１０
９の出力は２０ビットをそれぞれ要する。従って、図３
３のような回路を全ての中間層ニューロン素子と出力層
ニューロン素子に独立して準備しようとすれば、入力デ
ータｘ_i と結合係数データｗ_jiの部分の配線本数のみを
とっても（８＋８）本／１ニューロンであり、ニューロ
ン素子数をＮとすれば１６Ｎだけの配線数が（入力デー
タｘ_i と結合係数データｗ_jiの部分のみで）必要となる
ように、その配線量は前記ニューロン素子Ｎ（実用上は
数１００個以上のニューロン素子数を必要とする場合が
多い）に比例して大きくなる。

【００１５】このような配線量の爆発を防止するため
に、ニューロン素子の入力信号または出力信号をあるい
はこれら両者をパルス密度変調信号とする方式が考慮さ
れている（例えば、平井、ＰＤＭディジタルニューラル
ネットワークシステム、「電子情報通信学会論文誌」´
９１．５ Ｖｏｌ．Ｊ７４−Ｃ−II，No．５，ｐｐ．２
６７−２８０）が、ニューロン素子間の結合係数は依然
として量子化したディジタル信号（前述の例の場合には
６ビット）でニューロン素子へ供給されており、配線量
の大幅な削減を実現するには至っていない。

【００１６】尚、図３３に示したディジタル回路の入力
部にＡ／Ｄコンバータ、出力部にＤ／Ａコンバータを接
続し、各ニューロン素子間の伝送をアナログ信号で行う
ようにすれば配線数は少なくてすむが、先に述べたよう
にアナログ信号の授受は特に雑音の影響を極めて受け易
く、汎用性を著しく低下させることになり、しかも精度
の良いＡ／ＤコンバータやＤ／Ａコンバータは高価であ
り、チップ化に際しても広面積を要するなどの問題点を
有している。

【００１７】本発明のニュ−ロン素子及びニュ−ラルネ
ットワ−ク回路はこのような課題に着目してなされたも
のであり、その目的とするところは、配線量の大幅な削
減を図りながら、汎用性が高く柔軟性を持ったニューロ
ン素子及びニューラルネットワーク回路を提供すること
にある。

【００１８】

【課題を解決するための手段】上記の目的を達成するた
めに、本発明においては、ニューロン素子の入力信号を
あるいは入力信号と出力信号を共にパルス密度変調信号
とし、また各ニューロン素子間の結合係数ｗ_ji，ｗ_kjは
各々のニューロン素子には保有せずに結合係数供給回路
からパルス幅変調信号としてニューロン素子に伝送・供
給することによって、あるいはまた、ニューロン素子の
入力信号あるいは入力信号と出力信号を共にパルス幅変
調信号とし、また各ニューロン素子間の結合係数ｗ_ji，
ｗ_kjは各々のニューロン素子には保有せずに結合係数供
給回路からパルス密度変調信号としてニューロン素子に
伝送・供給する。また、これらのニューロン素子をニュ
ーラルネットワーク回路の一部または全部のニューロン
素子とするものである。

【００１９】

【作用】すなわち、本発明においては、入力信号が、最
小１ビットのパルス密度変調信号で表される入力データ
と最小１ビットのパルス幅変調信号で表される結合係数
データであるようなニューロン素子とし、あるいはま
た、入力信号が、最小１ビットのパルス幅変調信号で表
される入力データと最小１ビットのパルス密度変調信号
で表される結合係数データであるようなニューロン素子
とし、これらのニューロン素子をニューラルネットワー
ク回路の一部または全部のニューロン素子とし、さら
に、前記結合係数データを保有し適宜ニューロン素子へ
供給する結合係数供給手段を具備する。

【００２０】

【実施例】以下に図面を参照して本発明の第１の実施例
を説明する。

【００２１】図１は、本発明の基本的要素となるニュー
ロン素子のモデルであって説明の便宜上ニューロン部１
とシナプス部２ａ，２ｂ，２ｃに分ける。該シナプス部
２ａ，２ｂ，２ｃは各々前段の図示しないニューロン素
子の出力ｘ₁，ｘ₂ ，ｘ₃ と結合係数ｗ₁₁，ｗ₁₂，ｗ₁₃
を受け、先に（１）式で示した積和演算 ｕ＝ｘ₁ ｗ₁₁＋ｘ₂ ｗ₁₂＋ｘ₃ ｗ₁₃ …（３）

【００２２】によりニューロン部１の内部エネルギｕを
求め、ついで先に（２）式で示したシグモイド関数ｆ
（ｕ）に変換した値をニューロン素子の出力端子から出
力する。ここで、結合係数、ｗ₁₁，ｗ₁₂，ｗ₁₃…はニュ
ーロン部１またはシナプス部２のいずれにも保持せず、
外部よりパルス幅変調信号で供給される。

【００２３】図２は、上述したようなニューロン素子を
中間（Ｊ）層及び出力（Ｋ）層のニューロン素子として
用いた場合の３層構造ニューラルネットワーク回路であ
り、ニューロン数はいずれの層でも３個、従ってニュー
ロン数の合計は９個である。このような回路は一般的に
多層パーセプトロン回路と呼ばれているものであり、入
力（Ｉ）層のニューロン３ａ，３ｂ，３ｃは中間のニュ
ーロン４ａ，４ｂ，４ｃと、また中間層のニューロン４
ａ，４ｂ，４ｃは出力層のニューロン６ａ，６ｂ，６ｃ
と各々全結合されている。

【００２４】これらの結合は、結合係数供給手段として
の結合係数供給回路８及び結合係数供給回路９から各々
中間層の個々のニューロンに供給される結合係数ｗ_ji及
び出力層の個々のニューロンに供給される結合係数ｗ_kj
により重みづけされる。ここで、ｗ_ji，ｗ_kj（ｗ_ji≠ｗ
_kj）はいずれも、（４）式のマトリックスで表される各
々合計９つの信号であり、いずれも１ビットのパルス幅
変調信号である。

【００２５】

【数２】

【００２６】尚、入力層のニューロン３ａ，３ｂ，３ｃ
は上述した（３）式と（２）式のような変換は行わず、
いずれも単に入力された電圧値Ｖ₁ ，Ｖ₂ ，Ｖ₃ に基づ
きパルス密度変調信号に変換するニューロンであって、
例えば簡単なＶ／Ｆコンバータからなる。以下の説明で
は、入力される電圧値Ｖ₁ ，Ｖ₂ ，Ｖ₃ は図示しない前
段の回路によって正規化されそのとり得る電圧値の範囲
は０〜１［Ｖ］とする。

【００２７】図３は各層のニューロン出力ｘ_n ，ｙ_n ，
ｚ_n （図３中ｘ）としてのパルス密度変調信号と結合係
数ｗ₁₁，…（図３中ｗ）としてのパルス幅変調信号の例
である。入力層ニューロンの入力電圧値の範囲は上述し
たように０〜１［Ｖ］であり、ＣＬＫは入力データｘが
入力される毎に発生する信号であり、Ｃｌｏｃｋはパル
ス密度変調された入力ｘおよびパルス幅変調された結合
係数ｗの同期をとるための信号である。中間層、出力層
のニューロンの出力信号の取り得る範囲は（２）式より
０＜ｆ（ｕ）＜１であるから、例えば、 ・入力層ニューロンの入力電圧値Ｖ_n ＝１のとき入力層
ニューロンの出力Ｘ_n のパルス数２５５ ・入力層ニューロンの入力電圧値Ｖ_n ＝０のとき入力層
ニューロンの出力ｘ_n のパルス数０ ・中間層／出力層ニューロン内部の演算値ｆ（ｕ）がほ
ぼ１のとき出力ｙ_n，ｚ_n のパルス数２５５ ・中間層／出力層ニューロン内部の演算値ｆ（ｕ）がほ
ぼ０のとき出力ｙ_n，ｚ_n のパルス数０ となるように出力されるものとし、パルス数はいずれも
ニューロン内部の演算値に比例して変化するものとす
る。

【００２８】また結合係数ｗ_jiを表すパルス幅変調信号
は図３中のｗに示すようにclock 信号の最初の数クロッ
ク分（ｔ_s ）のところにデータの正負を表すサイン信号
を、ついでｗ_ji，ｗ_kjの値に比例した幅ｔ_w だけのハイ
レベルパルスを出力するものとする。このときｗ_ji，ｗ
_kjの値に対するパルス幅ｔ_wはそれを一義的に関係づけ
るよりもニューラルネットワークを適応するアプリケー
ションに依存させることが望ましい。

【００２９】すなわち、実際上用いられるアプリケーシ
ョン上でニューラルネットワーク回路と入力データ及び
出力として望ましいデータによって、又は、これと同一
の条件の手段により例えばバックプロパゲーション法な
どの学習アルゴリズムにより予め学習を行い決定し、結
合係数ｗ_ji，ｗ_kjの絶対値の最大値を概ね図３中のＣＬ
Ｋパルス周期Ｔに近いｔ_w （max)だけの幅とし、またｗ
_jiあるいはｗ_kj＝０の時はｔ_w ＝０とするのが適当であ
る。

【００３０】図４は図１に示したニューロン素子を実現
するニューロンモデルである。以下図４に沿って最初に
図１に示した本発明のニューロン素子の動作について詳
述する。尚、以下の説明では、中間層における演算すな
わち入力信号ｘ_i と結合係数ｗ_jiの演算についてのみ記
述し出力層での演算すなわちｙ_j とｗ_kjについては記述
しないが、その演算方法は中間層の場合と何ら変わると
ころがない。

【００３１】図４においては、１０はＡＮＤ回路であ
り、入力信号ｘ_i であるパルス密度変調信号と結合係数
ｗ_jiであるパルス幅変調信号のＡＮＤ信号をパルス−電
圧変換回路１１に伝送する。該パルス−電圧変換回路１
１の出力電圧ｖ［Ｖ］の値は後述する回路構成のため常
に非負である。１２はアンプ回路でありその出力は、上
記したパルス幅変調信号のｔ_s 部から極性判断回路１３
により検出された結合係数ｗ_jiの正または負の符号に基
づき、 ｗ_ji＞０ならば、ｖ₁ ＝ｖ …（５ａ） ｗ_ji＜０ならば、ｖ₁ ＝−ｖ …（５ｂ） と制御されるものである。

【００３２】以上のＡＮＤ回路１０〜極性判断回路１３
までが図１で示したシナプス部２に相当し、ニューロン
部１に必要なシナプス部２の数、即ち前段のニューロン
数分だけ必要となる。加算器１４はオペアンプや抵抗な
どで構成される一般的な加算回路とアナログ電圧ホール
ド回路からなり、各シナプス部２ａ，２ｂ，２ｃで算出
されたｘ_i ｗ_jiに基づく出力電圧ｖ₁ ，ｖ₂ ，ｖ₃ を加
算しその結果をオペアンプ等で構成されるシグモイド関
数変換器１５に送り、最終的にＶ／Ｆコンバータ１６で
再びパルス密度変調出力される。

【００３３】図５は前記パルス−電圧変換回路１１の最
も簡単な具体例であり抵抗１７とコンデンサ１８からな
る積分回路で構成される。トランジスタ１９は、ＣＬＫ
パルスに同期してオンしコンデンサ１８にチャージされ
た電荷を短時間で放電するものであり、これによりＣＬ
Ｋパルスが入力される毎に新しい入力パルス数−電圧変
換が可能となるようになされているものである。

【００３４】図６は該パルス−電圧変換回路１１の動作
を示すタイムチャートであり、ｔ＝０でトランジスタが
瞬間的にオンしてコンデンサ１８の両端の電荷が放電さ
れ、該コンデンサ１８の両端の電圧ｖ＝０［Ｖ］となっ
たものとする。次いで、図６（ａ）（ｃ）に示すような
パルスを入力すれば最初のパルスによりその出力電圧ｖ
は、 ｖ＝ｅ｛１−ｅｘｐ（−ｔ_h ／ＣＲ）｝［Ｖ］ …（６） ｅ：パルス波高値 ｔ_h ：パルスのハイレベル幅 Ｃ：コンデンサ１８の容量 Ｒ ：抵抗１７の抵抗値

【００３５】となる。ここでＡＮＤ回路１０の出力イン
ピーダンスとアンプ回路１２の入力インピーダンスがき
わめて高く、しかもコンデンサ１８とトランジスタ１９
のリーク電流が小さければ放電はほとんどないから、パ
ルスが連続的に入力すると電圧ｖはパルス数Ｎに比例し
て上昇する。

【００３６】すなわち、図６（ａ）のようなパルス入力
があれば電圧ｖは同図（ｂ）のように、また同図（ｃ）
のようなパルス入力があれば電圧ｖは同図（ｄ）のよう
にそれぞれパルス密度に比例して変化する。なお必要に
よっては、パルス−電圧変換回路１１の出力に、ＣＬＫ
信号で常にリセットされるアナログ電圧ホールド回路を
設けてもよい。図１０は図４のニューロン回路の動作を
示すタイムチャートであり、符号Ａ〜Ｊは図４のａ〜ｊ
の入出力信号に各々対応するものである。

【００３７】いま例えば、図１０に示すような入力デー
タｘ₁ （同図の信号Ａ）と結合係数ｗ₁₁（同図の信号
Ｂ）（結合係数ｗ_jiの作り方については後述する）が与
えられるとすると、ＡＮＤ回路１０の出力は入力データ
ｘ₁ と結合係数ｗ₁₁の論理積信号（同図の信号Ｃ）とな
る。この信号Ｃに基づきパルス−電圧変換回路１１には
電圧ｖ₁［Ｖ］（同図の信号Ｄ）が発生する。

【００３８】ここで、極性判定回路１３はパルス幅変調
信号の結合係数ｗ₁₁のｔ_s 部から正の値であることを検
出してその出力をロウレベル（負の時はハイレベルとな
る）とするため、（５ａ）式よりアンプ回路１２の出力
電圧ｖ₁ ＝ｖ［Ｖ］（同図の信号Ｆ）となる。他の入力
データｘ₂ ，ｘ₃ と結合係数ｗ₁₂，ｗ₁₃が同様に与えら
れたとき、図示しないシナプス部の回路により加算器１
４の入力電圧がそれぞれｖ₂ ，ｖ₃ ［Ｖ］と得られる。

【００３９】加算器１４はこれらの電圧値の全加算値ｖ
₁ ＋ｖ₂＋ｖ₃ ［Ｖ］を出力（図１０の信号Ｇ）し後段
のシグモイド関数変換回路１５に送る。該シグモイド関
数変換回路１５では、上記した（２）式に従いアナログ
電圧のままシグモイド関数への変換を行い、その出力電
圧値（図１０の信号Ｈ）に基づいて最終的にパルス密度
変調信号がＶ／Ｆコンバータ１６から出力される。次段
すなわち出力層のニューロンはこの出力信号（図１０の
信号Ｊ）を受けて同様の演算処理を行う。

【００４０】尚、図１０ではｔ＝Ｔ，Ｔ＋１，Ｔ＋２，
Ｔ＋３…と連続する演算処理例を示しているが、これは
ニューラルネットワーク回路を適用するアプリケーショ
ンに依存し、例えばｔ＝Ｔのみで終了する場合ももちろ
んありうる。

【００４１】図７は、前述した結合係数供給回路８，９
の一構成例である。２０はＣＬＫ信号によりリセットさ
れｃｌｏｃｋ信号が加えられるごとにその出力が１づつ
インクリメントされるようなアドレスカウンタであり、
その出力はＲＯＭ２１をアドレスする。該ＲＯＭ２１に
は予め図８に示すような９ビットデータがストアされて
おり、そのデータ出力はラッチ２２に接続されている。

【００４２】前記９ビットデータは、実際上用いられる
アプリケーション上でニューラルネットワーク回路と入
力データ及び出力として望ましいデータによってバック
プロパゲーション法などの学習アルゴリズムにより予め
学習を行い決定した結合係数ｗ_jiである。

【００４３】図９は図７の動作を説明するためのタイム
チャートであり、信号Ａ，Ｂは各々図７中の出力信号
ａ，ｂに対応するものであり、しかもＢについては各ビ
ットＤ₈ 〜Ｄ₀ について細かく示している。ここでＤ₈
〜Ｄ₀ は例えば結合係数ｗ_jiに相当しているものであり
各々、 Ｄ₈ …ｗ₃₃ Ｄ₇ …ｗ₃₂ Ｄ₆ …ｗ₃₁ Ｄ₅ …ｗ₂₃ Ｄ₄ …ｗ₂₂ Ｄ₃ …ｗ₂₁ Ｄ₂ …ｗ₁₃ Ｄ₁ …ｗ₁₂ Ｄ₀ …ｗ₁₁

【００４４】と対応している。アドレス０のときのデー
タのＤ₈ 〜Ｄ₀ の値（０または１）は前述した結合係数
ｗ_jiの正負を表すサインビットであり、パルス幅変調で
表される結合係数ｗ_ji信号のｔ_s 部となり、極性判定回
路１３によりこのｔ_s 部から図１０中の信号Ｅが得られ
る。例えばＤ₄ は、アドレス０の時の値が０であるから
結合係数ｗ₂₂は正であり、そのパルス幅ｔ_w＝５ｃｌｏ
ｃｋであるためｗ₂₂は小さな値であることを、同様にし
てＤ₃ はｗ₂₁が負でありその絶対値はかなり大きいこと
を示している。

【００４５】以上説明したようなニューロン並びにニュ
ーラルネットワークの構成法により、特にニューロンの
入力信号である入力データｘ_i と結合係数ｗ_jiは各々１
ビットのパルス密度変調信号とパルス幅変調信号で表さ
れるため、配線量の大幅な低減を図ることができる。

【００４６】尚、図４で示したニューロンモデルのう
ち、特に出力層ニューロンをなすものにおいてはその出
力に接続される制御対象や装置等のインターフェイスに
適合させるべく、例えばアナログ電圧値出力や、量子化
された適当な数ビットのディジタル信号であってもよ
い。例えばアナログ出力をするならばＶ／Ｆコンバータ
１６を削除しシグモイド関数変換回路１５の出力信号を
そのまま伝送するか、あるいはＶ／Ｆコンバータ１６を
増幅回路で置換し、また、ディジタル出力をするのであ
ればＶ／Ｆコンバータ１６を適当なＡ／Ｄコンバータで
置換すればよい。

【００４７】以上の説明では、ニュートラルネットワー
クの構成を図２に従って入力層、中間層、出力層のニュ
ーロン数を各々３個づつとしたがこれらのニューロン数
は何等限定を受けるものではない。すなわち、入力層、
中間層、出力層のニューロン数を各々ｐ，ｑ，ｒとすれ
ば、結合係数ｗ_ji，ｗ_kjをそれぞれ、（７）式として同
様の演算処理を行えばよい。

【００４８】

【数３】

【００４９】このときは、各ニューロンのシナプス部２
に相当するアンプ回路１２の出力電圧が中間層ではｖ₁
ｖ₂ ，ｖ₃ ，…ｖ_p ［Ｖ］であり、出力層ではｖ
₁ ｖ₂ ，ｖ₃ ，…ｖ_q ［Ｖ］である。さらに、ニューラ
ルネットワークの層数についても３層に限定されるもの
でないことは言うまでもない。

【００５０】つぎに上記第１実施例の変形例について説
明する。図１１は、図１に示したニューロン素子を実現
するもう１つのニューロンモデルであり、図１２は図１
１の動作を説明するためのタイムチャートである。図１
２中に付された記号Ａ〜Ｋは、各々図１１中のａ〜ｋの
入出力信号の状態に対応している。

【００５１】図１１においては、ＡＮＤ回路２４による
入力データｘ₁ （図１２信号Ａ）と結合係数ｗ₁₁（同図
の信号Ｂ）の論理積信号（図１２には図示せず）と該結
合係数ｗ₁₁をカウンタ２８に送出する。該カウンタ２８
は、結合係数ｗ₁₁の正負を判断するサイン信号検出回路
を内蔵しており、計数動作によりｘ₁ ｗ₁₁に相当する値
を出力する。同様にしてｘ₂ ｗ₁₂に相当する値はＡＮＤ
回路２５とカウンタ２９により、ｘ₃ ｗ₁₃に相当する値
はＡＮＤ回路２６とカウンタ３０によりそれぞれ出力さ
れる。これらの値は加算器３２，３３，３４によって全
加算され、ラッチ３５とＲＯＭなどで構成されたシグモ
イド関数変換回路３６（図１２の信号Ｈ）を経てＤ／Ａ
コンバータ３７（図１２の信号Ｊ）へ送られ、Ｖ／Ｆコ
ンバータ３８により再び入力データｘ₁ ，ｘ₂ …と同様
なパルス密度変調信号に変換される（図１２の信号
Ｋ）。

【００５２】ラッチ３５のクロック信号ｇは、図１２の
信号Ｇに示すようにＣＬＫ信号の位相を若干進めたよう
な信号であり、これによりロスのない連続した演算が可
能となっている。尚、図１１の加算回路の構成法におい
ては、入力データＸ_n のベクトル数ｎに対して（ｎ−
１）個の加算器を要することから、ｎが大きいときには
そのハードウェア規模も大きくなる。この不具合を防止
するためには図３３で示したような積和演算回路の構成
とすればよい。

【００５３】最終的な出力信号が必ずしも図１２中の信
号Ｋに示したようなパルス密度変調信号にとらわれる必
要がないことは第１実施例の場合と全く同様で、適宜Ｖ
／Ｆコンバータ３８を削除したりこれを増幅回路で置換
しても本発明の本質的なところはなんら変わるものでは
ない。次に、本発明の第２実施例について図面を参照し
ながら説明する。

【００５４】図１３は、本発明の基本的要素となるニュ
ーロン素子のモデルであって、説明の便宜上ニューロン
部４１とシナプス部４２ａ，４２ｂ，４２ｃに分ける。
該シナプス部４２ａ，４２ｂ，４２ｃは各々前段のニュ
ーロン素子の出力ｘ₁ ，ｘ₂，ｘ₃ と結合係数ｗ₁₁，ｗ
₁₂，ｗ₁₃を受け、先に（１）式で示した積和演算 ｕ＝ｘ₁ ｗ₁₁＋ｘ₂ ｗ₁₂＋ｘ₃ ｗ₁₃ …（８）

【００５５】によりニューロン部４１の内部エネルギｕ
を求め、ついで先に（２）式で示したシグモイド関数ｆ
（ｕ）に変換した値をニューロン素子の出力端子から出
力する。ここで、結合係数ｗ₁₁，ｗ₁₂，ｗ₁₃…はニュー
ロン部４１またはシナプス部４２のいずれにも保持せ
ず、外部よりパルス密度変調信号で供給される。

【００５６】図１４は、上述したようなニューロン素子
を中間（Ｊ）層及び出力（Ｋ）層のニューロン素子とし
て用いた場合の３層構造のニューラルネットワーク回路
であり、ニューロン数はいずれの層でも３個、従ってニ
ューロン数の合計は９個であって、入力（Ｉ）層のニュ
ーロン４３ａ，４３ｂ，４３ｃは中間のニューロン４４
ａ，４４ｂ，４４ｃと、また中間層のニューロン４４
ａ，４４ｂ，４４ｃは出力層のニューロン４６ａ，４６
ｂ，４６ｃと各々全結合されている。これらの結合は、
結合係数供給手段としての結合係数供給回路４８及び結
合係数供給回路４９から各々中間層の個々のニューロン
に供給される結合係数ｗ_ji及び出力層の個々のニューロ
ンに供給される結合係数ｗ_kjにより重みづけされる。こ
こで、ｗ_ji，ｗ_kj（ｗ_ji≠ｗ_kj）はいずれも、（９）式
のマトリックスで表される各々合計９つの信号であり、
上述したようにいずれも１ビットのパルス密度変調信号
である。

【００５７】

【数４】

【００５８】尚、入力層のニューロン４３ａ，４３ｂ，
４３ｃは上述した（８）式と（２）式のような変換は行
わず、いずれも単に入力された電圧値Ｖ₁ ，Ｖ₂ ，Ｖ₃
に基づきパルス幅変調信号に変化するニューロンである
（例は後述する）。以下の説明では、入力される電圧値
Ｖ₁，Ｖ₂ ，Ｖ₃ は図示しない前段の回路によって正規
化されそのとり得る電圧値の範囲は０〜１［Ｖ］とす
る。

【００５９】図１５は各層のニューロン出力ｘ_n ，
ｙ_n ，ｚ_n （図１５中のｘ）としてのパルス幅変調信号
と結合係数ｗ₁₁，…（図１５中のｗ）としてのパルス密
度変調信号の例である。入力層ニューロンの入力電圧値
の範囲は上述したように０〜１［Ｖ］であり、中間層、
出力層のニューロンの出力信号のとり得る範囲（２）式
より０＜ｆ（ｕ）＜１であるから、例えば、 ・入力層ニューロンの入力電圧値Ｖ_n ＝１のとき入力層
ニューロンの出力Ｘ_n のパルス幅〜Ｔ ・入力層ニューロンの入力電圧値Ｖ_n ＝０のとき入力値
ニューロンの出力ｘ_n のパルス幅〜０ ・中間層／出力層ニューロン内部の演算値ｆ（ｕ）〜１
のとき出力ｙ_n ，ｚ_n のパルス幅〜Ｔ ・中間層／出力層ニューロン内部の演算値ｆ（ｕ）〜０
のとき出力ｙ_n ，ｚ_n のパルス幅〜０

【００６０】となるように出力されるものとし、パルス
幅はいずれもニューロン内部の演算値ｆ（ｕ）に比例し
て変化するものとする。また結合係数ｗ_jiを表すパルス
密度変調信号は図１５中のｗに示すように信号の最初の
２クロック目（ｔ_s ）のところにデータの正負を表すサ
イン信号を、ついでｗ_ji，ｗ_kjの値に相当するパルス密
度出力を行うものとする。ｔ_s 部のサイン信号は、図１
５中のｗ（例１）ではｔ_s 部＝ハイレベルでありこれは
ｗ_ji＜０であることを、ｗ（例２）ではｔ_s 部＝ロウレ
ベルでありこれはｗ_ji＞０であることを表すものとす
る。ｗ_ji，ｗ_kjの絶対値に対するパルス密度はそれを一
義的に関係づけるよりも、ニューラルネットワークを適
応するアプリケーションに依存させることが望ましい。

【００６１】すなわち、実際上用いられるアプリケーシ
ョン上でニューラルネットワーク回路と入力データ及び
出力として望ましいデータによってまたこれと同一の条
件の手段により例えばバックプロパゲーション法などの
学習アリゴリズムにより予め学習を行い決定し、結合係
数ｗ_ji，ｗ_kjの絶対値の最大値を概ね図１５中のＣＬＫ
パルス周期Ｔに該当するクロック数５１２の約１／２弱
（例えば２５０）のパルス数／１ＣＬＫとし、またｗ_ji
あるいはｗ_kj＝０の時はパルス数／１ＣＬＫ＝０とする
のが適当である。

【００６２】図１６は図１３に示したニューロン素子を
実現するニューロンモデルである。以下図１６に沿って
最初に図１３に示した本発明のニューロン素子の動作に
ついて詳述する。尚、以下の説明では、中間層における
演算すなわち入力信号ｘ_i と結合係数ｗ_jiの演算につい
てのみ記述し出力層での演算即ちｙ_j とｗ_kjについては
記述しないが、その演算方法は中間層の場合と何ら変わ
るところがない。

【００６３】図１６においては、５０はＡＮＤ回路であ
り、入力信号ｘ_i であるパルス幅変調信号と結合係数ｗ
_jiであるパルス密度変調信号のＡＮＤ信号をパルス−電
圧変換回路５１に伝送する。該パルス−電圧変換回路５
１は先に示した第６図と同一の構成とする。このため出
力電圧ｖ［Ｖ］の値は常に非負である。５２はアンプ回
路でありその出力は、上記したパルス密度変調信号のｔ
_s 部から極性判断回路５３により検出された結合係数ｗ
_jiの正または負の符号に基づき、 ・ｗ_ji＞０ならば、ｖ₁ ＝ｖ …（１０ａ） ・ｗ_ji＜０ならば、ｖ₁ ＝−ｖ …（１０ｂ）

【００６４】と制御されるものである。以上のＡＮＤ回
路５０〜極性判断回路５３までが図１３で示したシナプ
ス部４２に相当し、ニューロン部４１に必要なシナプス
部４２の数、即ち前段のニューロン数分だけ必要とな
る。加算器５４はオペアンプや抵抗などで構成される一
般的な加算回路とアナログ電圧ホールド回路からなり、
各シナプス部４２ａ，４２ｂ，４２ｃで算出されたｘ_i
ｗ_jiに基づく出力電圧ｖ₁，ｖ₂ ，ｖ₃ を加算しその結
果をオペアンプ等で構成したシグモイド関数変換器５５
に送り、最終的に電圧−パルス幅変換回路５６で再びパ
ルス幅変調出力される。

【００６５】図１７は、図１６中のＡＮＤ回路５０及び
極性判定回路５３の一具体例で、Ｄ−フリップフロップ
６０，６１とＡＮＤゲート６２，６３，６４とインバー
タ回路６５とＪ−Ｋフリップフロップ６６から構成され
ている。この回路の機能は、結合係数ｗ_jiを表すパルス
密度変調信号のｔ_s 部から該結合係数ｗ_jiの正負を表す
ステータス信号と、このパルス密度変調信号のｔ_s 部を
除去した信号と入力データｘの論理積信号を求めるもの
である。

【００６６】図１８はこの回路の動作を示すタイムチャ
ートであり、図中に付された記号Ａ，Ｂは各々図１７中
の出力信号ａ，ｂに対応するものである。図１６中のパ
ルス数−電圧変換回路５１に入力されるパルス列信号は
図１７中のＡＮＤゲート６３の出力（図１８中信号Ｂ）
であり、ｔ_s 部の影響は受けない。またＪ−Ｋフリップ
フロップ６６の出力ａは結合係数ｗ_jiの正負を表すステ
ータス信号であり、図１６中のｅ信号に該当するもので
ある。

【００６７】図１９は、図１６中の電圧−パルス幅変換
回路５６の一構成例であり、シグモイド関数変換回路５
５の出力電圧ｖ₀ を受ける増幅回路６７と抵抗値Ｒ_j の
抵抗６８、出力抵抗値Ｒ_c （可変）なるＣｄＳフォトセ
ル６９、抵抗値Ｒ_t の抵抗７０、タイマー回路７１、容
量Ｃ_t のコンデンサ７２よりなる。なお、タイマー回路
７１はクロック信号ＣＬＫでトリガされ、そのワンショ
ット出力パルス幅Ｔ_yを Ｔ_y ＝Ｋ₂ Ｒ_c Ｒ_t Ｃ_t ／（Ｒ_c ＋Ｒ_t ）［Sec ］ …（１１） Ｋ₂ ：比例定数とする。ＣｄＳフォトセル６９のダイオ
ードに流れる順電流Ｉ_d は、 Ｉ_d ＝（Ｖ_cc−Ｋ₁ ｖ₀ ）／Ｒ_j ［Ａ］ …（１２） Ｋ₁ ｖ₀ ：増幅回路６７の出力電圧（Ｋ₁ ｖ₀ ≦Ｖ_cc）
である。よってシグモイド関数変換回路５５の出力電圧
ｖ₀ により、 （１）ｖ₀ ＝大 → Ｉ_d ＝小 → Ｒ_c ＝大 → Ｔ_y ＝大 （２）ｖ₀ ＝小 → Ｉ_d ＝大 → Ｒ_c ＝小 → Ｔ_y ＝小

【００６８】となる。このことを図２０に示す。ここ
で、出力電圧ｖ₀ と出力パルス幅Ｔ_y は回路構成法によ
り必ずしも線形の関係になるとは限らないが、その関係
を明確に規定しておけば何ら支障となるものではない。
先に述べた入力層ニューロンは、このような電圧−パル
ス幅変換回路であればよい。図２４は図１６のニューロ
ン回路の動作を示す全体のタイムチャートであり、符号
Ａ〜Ｊは図１６のａ〜ｊの入出力信号に各々対応するも
のである。

【００６９】いま例えば、図２４に示すような入力デー
タｘ₁ （同図の信号Ａ）と結合係数ｗ₁₁（同図の信号
Ｂ）（結合係数ｗ_jiの作り方について後述する）が与え
られるとすると、ＡＮＤ回路５０の出力は入力データｘ
₁ と結合係数ｗ₁₁の論理積信号（図２４の信号Ｃ）とな
る。この信号Ｃに基づきパルス−電圧変換回路５１には
電圧ｖ₁［Ｖ］が発生する。ここで、極性判定回路５３
はパルス幅変調信号の結合係数ｗ₁₁を表すパルス密度変
調信号のｔ_s 部から正の値であることを検出してその出
力をロウレベル（負の時はハイレベル）とするため、
（１０ａ）式よりアンプ回路５２の出力電圧ｖ₁ ＝ｖ
［Ｖ］となる。

【００７０】他の入力データｘ₂ ，ｘ₃ と結合係数
ｗ₁₂，ｗ₁₃が同様に与えられたとき、図示しないシナプ
ス部の回路により加算器５４の入力電圧がそれぞれ
ｖ₂ ，ｖ₃ ［Ｖ］と得られる。加算器５４はこれらの電
圧値の全加算値ｖ₁ ＋ｖ₂ ＋ｖ₃ ［Ｖ］を出力（図２４
信号Ｇ）し後段のシグモイド関数変換回路５５に送る。
該シグモイド関数変換回路５５では、上記した（２）式
に従いアナログ電圧のままシグモイド関数への変換を行
い、その出力電圧値（図２４の信号Ｈ）に基づいて最終
的にパルス幅変調信号が電圧−パルス幅変換回路５６か
ら出力される。次段すなわち出力層のニューロンはこの
出力信号（図２４の信号Ｊ）を受けて同様の演算処理を
行う。尚、図２４ではｔ＝Ｔ，Ｔ＋１，…と連続する演
算処理例を示しているが、これはニューラルネットワー
ク回路を適用するアプリケーションに依存し、例えばｔ
＝Ｔのみで終了する場合ももちろんありうる。

【００７１】図２１は、前述した結合係数供給回路４
８，４９の一構成例である。７３はＣＬＫ信号によりリ
セットされｃｌｏｃｋ信号によりその出力が１つずつイ
ンクリメントされるアドレスカウンタであり、その出力
はＲＯＭ７４をアドレスする。該ＲＯＭ７４には予め図
２２に示すような９ビットデータがストアされており、
そのデータ出力はラッチ７５に接続されている。前記９
ビットデータは、実際上用いられるアプリケーション上
でニューラルネットワーク回路と入力データ及び出力と
して望ましいデータによってバックプロパゲーション法
などの学習アルゴリズムにより予め学習を行い決定した
結合係数ｗ_jiである。

【００７２】図２３は図２１の動作を説明するためのタ
イムチャートであり、信号Ａ，Ｂは各々図２１中の出力
信号ａ，ｂに対応するものであり、しかもＢについては
各ビットＤ₈ 〜Ｄ₀ について細かく示している。ここで
Ｄ₈ 〜Ｄ₀ は例えば結合係数ｗ_jiに相当しているもので
あり各々、 Ｄ₈ …ｗ₃₃ Ｄ₇ …ｗ₃₂ Ｄ₆ …ｗ₃₁ Ｄ₅ …ｗ₂₃ Ｄ₄ …ｗ₂₂ Ｄ₃ …ｗ₂₁ Ｄ₂ …ｗ₁₃ Ｄ₁ …ｗ₁₂ Ｄ₀ …ｗ₁₁

【００７３】と対応している。アドレス０のときのデー
タのＤ₈ 〜Ｄ₀ の値（０または１）は前述した結合係数
ｗ_jiの正負を表すサインビットであり、パルス密度変調
で表される結合係数ｗ_ji信号のｔ_s 部となり、極性判定
回路５３によりこのｔ_s 部から図２４中の信号Ｅが得ら
れる。例えばＤ₀ のアドレス０の時の値が１であること
とパルス密度が最大であるため、ｗ₁₁は結合係数ｗ_jiが
とりうる負の最大値であることを、同様にしてＤ₁ はｗ
₁₂が正でありその値はｗ_jiの最大値のほぼ１／３程度あ
ることを示している。

【００７４】以上説明したようなニューロン並びにニュ
ーラルネットワークの構成法により、特にニューロンの
入力信号である入力データｘ_i と結合係数ｗ_jiは各々１
ビットのパルス幅変調信号とパルス密度変調信号で表さ
れるため配線量の大幅な低減を図ることができ、しかも
これらはアナログ信号ではないため雑音の影響を受けに
くく再現性も高まる。また、簡単な回路構成でニューラ
ルネットワークを実現できることになる。尚、図１６で
示したニューロンモデルのうち、特に出力層ニューロン
をなすものにおいてはその出力に接続される制御対象や
装置等のインターフェイスに適合させるべく、例えばア
ナログ電圧値出力や、量子化された適当な数ビットのデ
ィジタル信号であってもよい。例えばアナログ出力をす
るならば電圧−パルス幅変換回路５６を削除しシグモイ
ド関数変換回路５５の出力信号をそのまま伝送するか、
あるいは電圧−パルス幅変換回路５６を増幅回路で置換
し、また、ディジタル出力するのであれば電圧−パルス
幅変換回路５６を適当なＡ／Ｄコンバータで置換すれば
よい。

【００７５】以上の説明では、ニュートラルネットワー
クの構成を図１４に従って３層の多層パーセプトロン型
とし、入力層、中間層、出力層のニューロン数を各々３
個づつとしたがこれらの層数とニューロン数は何等限定
を受けるものではない。

【００７６】つぎに上記第２実施例の変形例について説
明する。図２５は、図１３に示したニューロン素子を実
現するもう一つのニューロンモデルであり、図２６は図
２５の動作を説明するためのタイムチャートである。図
２６中に付された記号Ａ〜Ｊは、各々図２５中のａ〜ｊ
の入出力信号の状態に対応している。

【００７７】図２５においては、ＡＮＤ回路７７による
入力データｘ₁ （図２６の信号Ａ）と結合係数ｗ₁₁（同
図の信号Ｂ）の論理積信号（図２６には図示せず）と該
結合係数ｗ₁₁をカウンタ８１に送出する。該カウンタ８
１は、結合係数ｗ₁₁の正負を判断するサイン信号検出回
路を内蔵しており、計数動作によりｘ₁ ｗ₁₁に相当する
値を出力する。

【００７８】同様にしてｘ₂ ｗ₁₂に相当する値はＡＮＤ
回路７８とカウンタ８２により、ｘ₃ ｗ₁₃に相当する値
はＡＮＤ回路７９とカウンタ８３によりそれぞれ同時に
出力される。これらの値は加算器８５，８６，８７によ
って全加算され、ラッチ８８とＲＯＭなどで構成された
シグモイド関数変換回路８９（図２６の信号Ｇ）を経て
Ｄ／Ａコンバータ９０（図２６信号Ｈ）へ送られ、電圧
−パルス幅変換回路９１により再び入力データｘ₁ ，ｘ
₂ …と同様なパルス幅変調信号に変換される（図２６の
信号Ｊ）。

【００７９】ラッチ８８のクロック信号ｇは、図２７の
信号ＣＬＫ２に示すようにＣＬＫ信号の位相を若干進め
たような信号であり、これによりロスのない連続した演
算結果を１ＣＬＫだけの遅延で後段のニューロンへ伝送
することができるので時間的にロスのない連続した演算
が可能となっている。

【００８０】尚、図２５の加算回路の構成法において
は、入力データＸ_n のベクトル数ｎに対して（ｎ−１）
個の加算器を要することから、ｎが大きいときにはその
ハードウェア規模も大きくなる。この不具合を防止する
ためには第３３図で示したような積和演算回路の構成と
すればよい。

【００８１】最終的な出力信号が必ずしも図２６中の信
号Ｊに示したようなパルス幅変調信号にとらわれる必要
がないことは前記の実施例の場合と全く同様で、適宜電
圧−パルス幅変換回路９１を削除したりこれを増幅回路
で置換しても本発明の本質的なところはなんら変わるも
のではない。

【００８２】さらに上記第２実施例の変形例について説
明する。図２７は、図１３に示したニューロン素子を実
現する前記実施例とは異なるもう一つのニューロンモデ
ルであり、図２８、図２９は図２７の動作を説明するた
めのタイムチャートである。図２８、図２９中に付され
た記号Ａ〜Ｇは、各々図２７中のａ〜ｇの入出力信号の
状態に対応している。これまでは、入力データｘ₁ と結
合係数ｗ_jiが同時に入力される場合を説明したが、この
実施例ではＣＬＫパルスを３等分した図２８、図２９中
のＣＬＫ３信号により、ｔ＝Ｔでｘ₁ ，ｗ₁₁が、ｔ＝Ｔ
＋１でｘ₂ ，ｗ₁₂が、ｔ＝Ｔ＋２でｘ₃ ，ｗ₁₃が順次入
力されるものとする。よって、ＣＬＫ３信号で動作する
マルチプレクサ切換信号発生器９３により出力が選択さ
れるマルチプレクサ９２が順次切り換えられ、ＡＮＤ回
路９４を経てカウンタ回路９５にはｔ＝Ｔでｘ₁ ｗ
₁₁が、ｔ＝Ｔ＋１でｘ₂ ｗ₁₂が、ｔ＝Ｔ＋２でｘ₃ ｗ₁₃
に相当する値がそれぞれ出力される。

【００８３】後段の加算器９６とラッチ９７によりこれ
らの値の全加算値がｔ＝Ｔ＋３の直前で得られ、シグモ
イド関数変換回路９８によりｆ（ｘ₁ ｗ₁₁＋ｘ₂ ｗ₁₂＋
ｘ₃ｗ₁₃）の値がディジタル出力される。この出力デー
タに基づきディジタルデータ−パルス幅変換回路９９で
は、図２９中Ｇ信号のような出力が得られる。このディ
ジタルデータ−パルス幅変換回路９９は、図１９に示し
たタイマー回路７１に接続される抵抗を並列にいくつか
並べ、それをシグモイド関数変換回路９８のディジタル
出力で駆動するトランジスタにより適当に選択してその
合成抵抗値によりワンショット出力パルス幅Ｔ_y を可変
にするように構成すればよい。

【００８４】以上、本発明についての実施例を階層型ニ
ューラルネットワークを例にとって説明してきたが、こ
の適用範囲は階層型ニューラルネットワークに限定され
るものではなく、例えばホップフィールド型のような相
互結合型などあらゆるニューラルネットワークに適用可
能である。

【００８５】

【発明の効果】以上詳述したように、本発明によれば、
配線量の大幅な削減を図りながら、汎用性が高く柔軟性
を持ったニュ−ロン素子及びニュ−ラルネットワ−ク回
路を提供することができる。

【図面の簡単な説明】

【図１】本発明の第１の実施例に係る基本的要素となる
ニュ−ロン素子のモデルを示す図である。

【図２】図１のニュ−ロン素子を中間層及び出力層のニ
ュ−ロン素子として用いた場合の３層構造ニュ−ラルネ
ットワ−ク回路を示す図である。

【図３】各層のニュ−ロン出力としてのパルス密度変調
信号と結合係数としてのパルス幅変調信号の例を示す図
である。

【図４】図１に示したニュ−ロン素子を実現するための
ニュ−ロンモデルを示す図である。

【図５】パルス−電圧変換回路の具体例を示す図であ
る。

【図６】図６（ａ）〜（ｄ）はパルス−電圧変換回路の
動作を示すタイムチャ−トである。

【図７】結合係数供給回路の一構成例を示す図である。

【図８】ＲＯＭにストアされた９ビットデ−タの一例を
示す図である。

【図９】図７の動作を説明するためのタイムチャ−トで
ある。

【図１０】図４のニュ−ロン回路の動作を示すタイムチ
ャ−トである。

【図１１】図１に示すニュ−ロン素子を実現する他の構
成のニュ−ロンモデルを示す図である。

【図１２】図１１の動作を説明するためのタイムチャ−
トである。

【図１３】本発明の第２の実施例に係る基本的要素とな
るニュ−ロン素子のモデルを示す図である。

【図１４】図１３のニュ−ロン素子を中間層及び出力層
のニュ−ロン素子として用いた場合の３層構造ニュ−ラ
ルネットワ−ク回路を示す図である。

【図１５】ニュ−ロン出力としてのパルス幅変調信号と
結合係数としてのパルス密度変調信号の例を示す図であ
る。

【図１６】図１３に示したニュ−ロン素子を実現するた
めのニュ−ロンモデルを示す図である。

【図１７】図１６中のＡＮＤ回路及び極性判定回路の一
具体例を示す図である。

【図１８】図１７の回路の動作を示すタイムチャ−トで
ある。

【図１９】電圧−パルス幅変換回路の一構成例を示す図
である。

【図２０】シグモイド関数変換回路の出力電圧に応じて
タイマ−回路のワンショット出力パルス幅が変化するよ
うすを示す図である。

【図２１】結合係数供給回路の一構成例を示す図であ
る。

【図２２】ＲＯＭにストアされる９ビットデ−タの一例
を示す図である。

【図２３】図２１の動作を説明するためのタイムチャ−
トである。

【図２４】図１６のニュ−ロン回路の動作を示す全体の
タイムチャ−トである。

【図２５】図１３に示すニュ−ロン素子を実現するため
の他の構成のニュ−ロンモデルを示す図である。

【図２６】図２５の動作を説明するためのタイムチャ−
トである。

【図２７】図１３に示したニュ−ロン素子を実現するた
めの他の構成のニュ−ロンモデルを示す図である。

【図２８】図２７の動作を説明するためのタイムチャ−
トである。

【図２９】図２７の動作を説明するためのタイムチャ−
トである。

【図３０】従来のニュ−ロン素子の一例を示す図であ
る。

【図３１】シグモイド関数の特性を示す図である。

【図３２】ニュ−ロン素子を階層型に接続したニュ−ラ
ルネットワ−クを示す図である。

【図３３】図３２のニュ−ラルネットワ−ク回路の中間
層または出力層の１個のニュ−ロン素子を実現するため
のディジタル回路を示す図である。

【図３４】図３３の要所の信号状態を表わすタイムチャ
−トである。

【符号の説明】

１…ニュ−ロン部、２ａ，２ｂ，２ｃ…シナプス部、１
０…ＡＮＤ回路、１１…パルス−電圧変換回路、１２…
アンプ回路、１３…極性判断回路、１４…加算器、１５
…シグモイド関数変換器、１６…Ｖ／Ｆコンバ−タ。

Claims (4)

【特許請求の範囲】
1. 【請求項１】 少なくとも１つ以上の入力端子と、少な
   くとも１つ以上の出力端子と、前記入力端子と同数の結
   合係数を受信する結合係数入力端子とを有したニューロ
   ン素子において、前記入力端子への入力データがパルス
   密度変調信号であり、前記結合係数入力端子への結合係
   数入力データがパルス幅変調信号であることを特徴とす
   るニューロン素子。
2. 【請求項２】 上記ニューロン素子がニューラルネット
   ワーク回路を構成するニューロン素子のいずれか１つ以
   上のニューロン素子として用いられ、前記結合係数入力
   デ−タとしてのパルス幅変調信号が結合係数供給手段か
   ら供給されることを特徴とする請求項１記載のニュ−ロ
   ン素子を含むニュ−ラルネットワ−ク回路。
3. 【請求項３】 少なくとも１つ以上の入力端子と、少な
   くとも１つ以上の出力端子と、前記入力端子と同数の結
   合係数を受信する結合係数入力端子とを有したニューロ
   ン素子において、前記入力端子への入力データがパルス
   幅変調信号であり、前記結合係数入力端子への結合係数
   入力データがパルス密度変調信号であることを特徴とす
   るニューロン素子。
4. 【請求項４】 前記ニューロン素子がニューラルネット
   ワーク回路を構成するニューロン素子のいずれか１つ以
   上のニューロン素子として用いられ、前記結合係数入力
   デ−タとしてのパルス密度変調信号が結合係数供給手段
   から供給されることを特徴とする請求項３記載のニュ−
   ロン素子を含むニュ−ラルネットワ−ク回路。