JPH0589075A - ニユーロンの結合方法及びニユーラルネツトワーク - Google Patents

Abstract

(57)【要約】 電子出願以前の出願であるので 要約・選択図及び出願人の識別番号は存在しない。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、ニューラルネットワークを構成する ニューロンの結合方法及びニューラルネットワー クそれ自体に関するものである。

（従来の技術） 従来より、逐次処理方式のノイマン型コンピュ ータが不得手とするパターン認識や連想記憶等の 数学的にランダムな問題を処理する装置として、 人間の脳の情報処理様式を規範とするニューラル ネットワーク（コンピュータ）が提案されている。

第２図はニューラルネットワークの基本単位で あるニューロンを示すもので、ニューロン１はｎ 個の入力信号ｘ_１，ｘ_２，……ｘ_ｉ，……ｘ_ｎに 対してそれぞれシナプス結合荷重ｗ_１，ｗ_２，… …ｗ_ｉ，……ｗ_ｎを乗じてその総和を取り、これ に固有の閾値ｈを加え、さらにこれを非線形関数 に通すことにより出力信号ｙを得る如くなってお り、下記式で近似される。

ここで、シナプス結合荷重ｗ_ｉが正の場合は興奮 性のシナプス結合に、また、負の場合は抑制性の シナプス結合に対応する。

前記ニューロンを数式でモデル化し、シュミレ ーションを行なう場合には非線形関数として下記 式に示すシグモイド関数を使用する。

第３図は前記ニューロンの機能をブロック的に 示したもので、各入力信号ｘ_ｉに対してシナプス 結合荷重ｗ_ｉを乗じてその総和を取る積和演算部 ２と、該総和に固有の閾値ｈを加え、非線形関数 に通す非線形演算部３とを備えている。なお、シ ナプス結合荷重ｗ_ｉの値はこれを制御する学習機 能部（図示せず）により、バックプロパゲーショ ン等の手法を用いて決定される。

第４図はニューラルネットワークの一例を示す もので、図中、４_１，４_２，……４_ｉ，……４_ｌ は入力端子、５_１，５_２，……５_ｊ，……５_ｍは 一段目のニューロン、６_１，６_２，……６_ｋ，… …６_ｎは二段目のニューロン、７_１，７_２，…… ７_ｋ，……７_ｎは出力端子である。

前記入力端子４_１，４_２，……４_ｉ，……４_ｌ にはｌ個の入力信号ａ_１，ａ_２，……ａ_ｉ，…… ａ_ｌがそれぞれ入力されているが、これらはそれ ぞれｍ個のニューロン５_１，５_２，……５_ｊ，… …５_ｍに分配して入力される。各ニューロン５_１， ５_２，……５_ｊ，……５_ｍはそれぞれ前述した積 和演算及び非線形演算処理を行なう。さらに、各 ニューロン５_１，５_２，……５_ｊ，……５_ｍの出 力信号はそれぞれｎ個のニューロン６_１，６_２， ……６_ｋ，……６_ｎに分配して入力される。各ニ ューロン６_１，６_２，……６_ｋ，……６_ｎもそれ ぞれ前述した積和演算及び非線形演算処理を行な い、その各出力信号ｂ_１，ｂ_２，……ｂ_ｋ，…… ｂ_ｎはそれぞれｎ個の出力端子７_１，７_２，…… ７_ｋ，……７_ｎより出力される。

なお、各ニューロン５_１〜５_ｍ及び６_１〜６_ｎ におけるシナプス結合荷重の値は、前記同様にこ れを制御する学習機能部（図示せず）により、予 め出力信号ｂ_１〜ｂ_ｎが既知な入力信号ａ_１〜 ａ_ｌを入力した時に該出力信号ｂ_１〜ｂ_ｎから、 バックプロパゲーション等の手法を用いて修正を 行ない、これを入力信号と出力信号の複数の組合 わせについて適当な回数繰返すことによって決定 される。

前述したニューラルネットワークでは学習機能 部における学習によって自ら正しい出力信号が得 られる如く構成（組織化）するため、入力信号 ａ_１〜ａ_ｌから出力信号ｂ_１〜ｂ_ｎを得るための アルゴリズムやプログラムが不要であり、また、 多量のデータを並列的に同時処理できるため、パ ターン認識や連想記憶等の数学的にランダムな問 題を高速に処理できるという特徴がある。

ところで、前述したニューラルネットワークの 性能はニューロンの数に依存し、該ニューロンの 数が多くなるほど性能が向上するが、同時に入力 端子とニューロンとの間及びニューロン同士の間 の結合数も増大する。一般に、ニューロンの数が ｎ倍に増加するとその結合数はｎの二乗のオーダ ーで増加する。

現在、確立されている集積回路技術は２次元平 面上に限られており、積層（交差）可能なパター ン数に限界があるため、第４図に示すようなニュ ーラルネットワークをそのまま集積回路で実現し ようとすると、ニューロンの数が著しく制限され てしまうという問題があった。

これまで試作されたニューラルネットワークと しては、入力端子とニューロンとの間及びニュー ロン同士の間の結合を構成するパターンを複数の 入力端子又はニューロンで時分割的に共有するよ うにして実際の結合数を削減したものがあった。

また、他のニューラルネットワークとしては、発 光素子、受光素子、光ファイバ及び空間光空調器 等を利用し、空間的な結合を可能とする光信号を 用いて入力端子とニューロンとの間及びニューロ ン同士の間を結合するとともに結合荷重を変える ようになしたものがあった。

（発明が解決しようとする課題） しかしながら、前者の場合は完全な並列処理が 不可能であり、また、後者の場合は技術的に未成 熟で装置の小形化等が困難であるとともに結合荷 重を学習結果に従って連続的に変化させることが 困難であり、いずれもニューラルネットワークの 本来の特徴が損なわれてしまうという欠点があっ た。

本発明は前記問題点に鑑み、成熟した技術を用 いて装置全体を大型化させることなく、入力端子 とニューロンとの間又はニューロン同士の間を全 て並列に結合し得るニューロンの結合方法及びニ ューラルネットワークを提供することを目的とす る。

（課題を解決するための手段） 本発明では前記目的を達成するため、請求項 (1)入力端子とニューロンとの間又はニューロン 同士の間を磁界又は電界あるいは電極界を介して 結合するようになしたニューロンの結合方法と、 請求項(2)入力端子とニューロンとの間又はニュ ーロン同士の間を磁界又は電界あるいは電極界を 介して結合する素子もしくは回路を用いて結合し たニューラルネットワークと、請求項(3)磁界を 介して結合する素子として、磁気的に結合する少 なくとも２つのインダクタンス素子を用いた請求 項(2)記載のニューラルネットワークと、請求項 (4)インダクタンス素子としてコイルを用いた請 求項(3)記載のニューラルネットワークと、請求 項(5)インダクタンス素子として磁気抵抗素子を 用いた請求項(3)又は(4)記載のニューラルネッ トワークと、請求項(6)電界を介して結合する素 子として、少なくとも１つのコンデンサを用いた 請求項(2)記載のニューラルネットワークと、請 求項(7)電磁界を介して結合する回路として、少 なくとも１つの共振回路を用いた請求項(2)記載 のニューラルネットワークと、請求項(8)複数の 入力端子又は複数のニューロンの出力を互いに磁 気的に結合する複数のコイルにそれぞれ接続し、 該複数のコイルと磁気的に結合する他のコイルに 他のニューロンの入力を接続したニューラルネッ トワークと、請求項(9)複数の入力端子又は複数 のニューロンの出力をそれぞれ多数のコイルに接 続し、該各複数の入力端子又は各複数のニューロ ンの出力に対応した多数のコイルのうちのそれぞ れ異なる一つのみと共通に磁気的に結合する多数 の他のコイルに多数の他のニューロンの入力をそ れぞれ接続したニューラルネットワークと、請求 項(10)コイルの一部又は全部を共振回路に置換え た請求項(8)又は(9)記載のニューラルネットワ ークと、請求項(11)コイル又は共振回路と直列あ るいは並列にこれとともにもしくは単独でシナプ ス結合荷重を構成するインピーダンス素子を接続 した請求項(8)乃至(10)いずれか記載のニューラ ルネットワークと、請求項(12)インピーダンス素 子のインピーダンスを変えることによりシナプス 結合荷重を変えるようになした請求項(11)記載の ニューラルネットワークとを提案する。

（作 用） 請求項(1)によれば、入力端子とニューロンと の間又はニューロン同士の間を磁界又は電界ある いは電極界を介して結合するようになしたため、 多数の入力端子とニューロンとの間又は多数のニ ューロン同士の間を成熟した技術により空間的に 結合する、即ち互いに全て並列に結合することが 可能となる。

請求項(2)によれば、入力端子とニューロンと の間又はニューロン同士の間を磁界又は電界ある いは電極界を介して結合する素子もしくは回路を 用いて結合したため、多数の入力端子とニューロ ンとの間又は多数のニューロン同士の間を成熟し た技術により空間的に結合した、即ち互いに並列 に結合したニューラルネットワークが構成される。

請求項(3)によれば、磁界を介して結合する素 子として、磁気的に結合する少なくとも２つのイ ンダクタンス素子を用いたため、回路の設計等が 容易となる。

請求項(4)によれば、インダクタンス素子とし てコイルを用いたため、入力端子とニューロン又 はニューロン同士の間の結合が安価に且つ少ない スペースで構成される。

請求項(5)によれば、インダクタンス素子とし て磁気抵抗素子を用いたため、交流磁界の外、直 流磁界を介して結合することができる。

請求項(6)によれば、電界を介して結合する素 子として、少なくとも１つのコンデンサを用いた ため、回路の設計等が容易になり、入力端子とニ ューロン又はニューロン同士の間の結合が安価に 且つ少ないスペースで構成されるとともに、交流 電界の外、直流電界を介して結合することができ る。

請求項(7)によれば、電磁界を介して結合する 回路として、少なくとも１つの共振回路を用いた ため、入力端子とニューロン又はニューロン同士 の間を空間的にしかも効率良く結合することがで きる。

請求項(8)によれば、複数の入力端子又は複数 のニューロンの出力を互いに磁気的に結合する複 数のコイルにそれぞれ接続し、該複数のコイルと 磁気的に結合する他のコイルに他のニューロンの 入力を接続したため、複数の入力端子又は複数の ニューロンと他のニューロンとの間を互いに並列 に結合することができる。

請求項(9)によれば、複数の入力端子又は複数 のニューロンの出力をそれぞれ多数のコイルに接 続し、該各複数の入力端子又は各複数のニューロ ンの出力に対応した多数のコイルのうちのそれぞ れ異なる一つのみと共通に磁気的に結合する多数 の他のコイルに多数の他のニューロンの入力をそ れぞれ接続したため、複数の入力端子又は複数の ニューロンと多数の他のニューロンとの間を全て 互いに並列に結合することができる。

請求項(10)によれば、コイルの一部又は全部を 共振回路に置換えたため、複数の入力端子又は複 数のニューロンと他のニューロンとの間や複数の 入力端子又は複数のニューロンと多数の他のニュ ーロンとの間を全て互いに並列にしかも効率良く 結合することができる。

請求項(11)によれば、コイル又は共振回路と直 列あるいは並列にこれとともにもしくは単独でシ ナプス結合荷重を構成するインピーダンス素子を 接続したため、複数の入力端子又は複数のニュー ロンと他のニューロンとの間や複数の入力端子又 は複数のニューロンと多数の他のニューロンとの 間を結合できるとともに、他のニューロン又は多 数の他のニューロンにおける積和演算を行なうこ とができる。

請求項(12)によれば、インピーダンス素子のイ ンピーダンスを変えることによりシナプス結合荷 重を変えるようになしたため、他のニューロン又 は多数の他のニューロンにおける積和演算を制御 性良く行なうことができる。

（実施例） 第１図は本発明の第１の実施例を示すもので、 ここでは交流磁界を用いて結合する例を示す。図 中、１０，１１はニューロン、１２は交流電流源、 １３，１４はコイルである。

前記交流電流源１２の出力電流はニューロン １０の出力により制御される。コイル１３及び １４は交流電流源１２及びニューロン１１の入力 にそれぞれ接続されるとともに、互いに磁気的に 結合する如く配置される。

前記構成によれば、ニューロン１０の出力値に 対応した交流電流が交流電流源１２よりコイル １３に流れ、交流磁界が発生する。該交流磁界は コイル１４にニューロン１０の出力値に比例した 誘導電圧を発生させ、該電圧はニューロン１１に 入力される。

第５図は本発明の第２の実施例を示すもので、 ここでは直流磁界を用いて結合する例を示す。図 中、１０，１１はニューロン、１３はコイル、 １５は直流電流源、１６は磁気抵抗素子、１７は 定電圧源、１８は抵抗である。

前記直流電流源１５の出力電流はニューロン １０の出力により制御される。コイル１３は直流 電流源１５に接続される。磁気抵抗素子１６の一 端は定電圧源１７に接続され、また、他端は抵抗 を介して接地されるとともにニューロン１１の入 力に接続される。また、コイル１３及び磁気抵抗 素子１６は互いに磁気的に結合する如く配置され る。

前記構成によれば、ニューロン１０の出力値に 対応した直流電流が直流電流源１５よりコイル １３に流れ、直流磁界が発生する。該直流磁界は 磁気抵抗素子１６の抵抗値をニューロン１０の出 力値に比例して変化させるが、該抵抗値の変化は 定電圧源１７より磁気抵抗素子１６を介して抵抗 １８に流れる電流を変化させる。該電流が流れる ことにより抵抗１８に発生する電圧降下がニュー ロン１１に入力されるため、ニューロン１１には ニューロン１０の出力値に比例した変化を有する 電圧が入力される。

第６図は本発明の第３の実施例を示すもので、 ここでは交流電界を用いて結合する例を示す。図 中、１０，１１はニューロン、１９は交流電圧源、 ２０，２１はコンデンサである。

前記交流電圧源１９はニューロン１０の出力に より制御される。コンデンサ２０の一端は交流電 圧源１９に接続され、また、他端はニューロン １１の入力に接続されるとともにコンデンサ２１ の一端に接続される。また、コンデンサ２１の他 端は接地されている。

前記構成によれば、ニューロン１０の出力値に 対応した交流電圧が交流電圧源１９よりコンデン サ２０の一端に加えられ、交流電界が発生する。

該交流電界はコンデンサ２０の他端にニューロン １０の出力値に比例した電圧を発生させ、該電圧 はニューロン１１に入力される。

第７図は本発明の第４の実施例を示すもので、 ここでは直流電界を用いて結合する例を示す。図 中、１０，１１はニューロン、２０，２１はコン デンサ、２２は直流電圧源である。

前記直流電圧源２２はニューロン１０の出力に より制御される。コンデンサ２０の一端は直流電 圧源２２に接続され、また、他端はニューロン １１の入力に接続されるとともにコンデンサ２１ の一端に接続される。また、コンデンサ２１の他 端は接地されている。

前記構成によれば、ニューロン１０の出力値に 対応した直流電圧が直流電圧源２２よりコンデン サ２０の一端に加えられ、直流電界が発生する。

該直流電界はコンデンサ２０の他端にニューロン １０の出力値に比例した電圧を発生させ、該電圧 はニューロン１１に入力される。

第８図は本発明の第５の実施例を示すもので、 ここでは交流磁界を用いて結合するとともに積和 演算を同時に行なうようになした例を示す。図中、 ２３，２４，２５，２６はニューロン、２７， ２８，２９は抵抗、３０，３１，３２，３３はコ イル、３４は非線形演算部である。

ニューロン２３は抵抗２７，２８，２９、コイ ル３０，３１，３２，３３、非線形演算部３４及 び学習機能部（図示せず）からなっている。抵抗 ２７，２８，２９はコイル３０，３１，３２， ３３とともにシナプス結合荷重を構成するもので、 その値は学習機能部により制御される。該抵抗 ２７，２８，２９の一端はニューロン２４，２５， ２６の出力にそれぞれ接続され、また、その他端 はコイル３０，３１，３２にそれぞれ接続される。

コイル３３は非線形演算部３４に接続される。ま た、コイル３０，３１，３２及び３３は互いに磁 気的に結合する如く配置される。なお、ニューロ ン２４，２５，２６はそれぞれ交流電圧信号を出 力する。

前記構成によれば、ニューロン２４，２５， ２６の出力電圧値、抵抗２７，２８，２９の抵抗 値及びコイル３０，３１，３２，３３のリアクタ ンスに依存する交流電流がコイル３０，３１， ３２にそれぞれ流れ、交流磁界が発生する。該交 流磁界は互いに合成され、コイル３３にニューロ ン２４，２５，２６の出力値と、抵抗２７，２８， ２９及びコイル３０，３１，３２，３３によるシ ナプス結合荷重とに比例した誘導電圧を発生させ る。該電圧は非線形演算部３４に入力され、非線 形処理される。

なお、ここでは交流磁界の形成及び検出にコイ ルを用いたが、必ずしもコイルである必要はない。

また、シナプス結合荷重の構成に抵抗を用いたが、 任意のインピーダンス素子を用いても良い。また、 同様に直流磁界又は交流電界あるいは直流電界を 用いて結合するとともに積和演算を同時に行なう ことも可能である。

第９図は本発明の第６の実施例を示すもので、 ここでは電磁界を用いて結合するとともに積和演 算を同時に行なうようになした例を示す。

同図において、４１_１，４１_２，……４１_ｌは 入力端子、４２_１１，４２_１２，……４２_１ｌ，４２
_２１， ４２_２２，……４２_２ｌ，……４２_ｍ１，４２_ｍ２，…
… ４２_ｍｌはシナプス結合荷重制御端子、４３_１， ４３_２，……４３_ｌはトランジスタ（ＦＥＴ）、 ４４_１１，４４_１２，……４４_１ｌ，４４_２１，４４
_２２， ……４４_２ｌ，……４４_ｍ１，４４_ｍ２，……４４_ｍｌ
は コイル及びコンデンサよりなる共振回路、４５_１１， ４５_１２，……４５_１ｌ，４５_２１，４５_２２，…… ４５_２ｌ，……４５_ｍ１，４５_ｍ２，……４５_ｍｌはイ
ン ピーダンス素子、４６_１，４６_２，……４６_ｌは オペアンプ，トランジスタ，抵抗等よりなる定電 流回路、４７は直流電源、４８は交流電源であり、 これらは第１のユニット４０を構成する。

また、５１_１，５１_２，……５１_ｍはコイル及 びコンデンサよりなる共振回路、５２_１，５２_２， ……５２_ｍは差動増幅器、５３_１，５３_２，…… ５３_ｍはコンパレータ、５４_１，５４_２，…… ５４_ｍは閾値入力端子であり、これらは第２のユ ニット５０を構成する。

また、６１_１，６１_２，……６１_ｍは中間出力 端子、６２_１１，６２_１２，……６２_１ｍ，６２_２１， ６２_２２，……６２_２ｍ，……６２_ｎ１，６２_ｎ２，…
… ６２_ｎｍはシナプス結合荷重制御端子、６３_１， ６３_２，……６３_ｍはトランジスタ（ＦＥＴ）、 ６４_１１，６４_１２，……６４_１ｍ，６４_２１，６４
_２２， ……６４_２ｍ，……６４_ｎ１，６４_ｎ２，……６４_ｎｍ
は コイル及びコンデンサよりなる共振回路、６５_１１， ６５_１２，……６５_１ｍ，６５_２１，６５_２２，…… ６５_２ｍ，……６５_ｎ１，６５_ｎ２，……６５_ｎｍはイ
ン ピーダンス素子、６６_１，６６_２，……６６_ｍは オペアンプ，トランジスタ，抵抗等よりなる定電 流回路、６７は直流電源、６８は交流電源であり、 これらは第３のユニット６０を構成する。

また、７１_１，７１_２，……７１_ｎはコイル及 びコンデンサよりなる共振回路、７２_１，７２_２， ……７２_ｎは差動増幅器、７３_１，７３_２，…… ７３_ｎはコンパレータ、７４_１，７４_２，…… ７４_ｎは閾値入力端子、７５_１，７５_２，…… ７５_ｎは出力端子であり、これらは第４のユニッ ト７０を構成する。

前記第１のユニット４０及び第４のユニット ７０は基板Ａ上に図示の如く形成され、また、第 ２のユニット５０及び第３のユニット６０は基板 Ｂ上に図示の如く形成される。さらに該基板Ａ及 びＢは、第１のユニット４０と第２のユニット ５０が重なり、第３のユニット６０と第４のユニ ット７０が重なる如く組合わされて使用される。

この際、第１のユニット４０及び第２のユニッ ト５０において、共振回路４４_１１，４４_１２，…… ４４_１ｌと共振回路５１_１、また、共振回路４４_２１， ４４_２２，……４４_２ｌと共振回路５１_２、また、… …、また、共振回路４４_ｍ１，４４_ｍ２，……４４_ｍｌ と共振回路５１_ｍが電磁気的に結合する如くなる。

また、同様に第３のユニット６０及び第４のユニ ット７０において、共振回路６４_１１，６４_１２，… …６４_１ｍと共振回路７１_１、また、共振回路 ６４_２１，６４_２２，……６４_２ｍと共振回路７１_２、 また、……、また、共振回路６４_ｎ１，６４_ｎ２，… …６４_ｎｍと共振回路７１_ｎが電磁気的に結合する 如くなる。

前記装置における信号の流れを簡単に説明する と、第１のユニット４０の入力端子４１_１， ４１_２，……４１_ｌに入力されたｌ個の入力信号 Ｘ_１，Ｘ_２，……Ｘ_ｌはそれぞれトランジスタ ４３_１，４３_２，……４３_ｌを介して共振回路 ４４_１１，４４_１２，……４４_１ｌ，４４_２１，４４
_２２， ……４４_２ｌ，……４４_ｍ１，４４_ｍ２，……４４_ｍｌ
に 分配され、該各共振回路より前記電磁気的な結合 関係にある第２のユニット５０のｍ個の共振回路 ５１_１，５１_２，……５１_ｍに電磁波によって伝 送・合成される。

ここで、各共振回路４４_１１〜４４_ｍｌには並列に インピーダンス素子４５_１１〜４５_ｍｌが接続されて おり、該インピーダンス素子４５_１１〜４５_ｍｌ、共 振回路４４_１１〜４４_ｍｌ及び共振回路５１_１〜 ５１_ｍのインピーダンスに対応するシナプス結合 荷重をもって合成される。このシナプス結合荷重 はシナプス結合荷重制御端子４２_１１〜４２_ｍｌを介 して接続される学習機能部（図示せず）の制御に より、インピーダンス素子４５_１１〜４５_ｍｌのイン ピーダンスを変えることによって後述する如く変更され
る。

前記共振回路５１_１，５１_２，……５１_ｍの出 力信号はそれぞれ差動増幅器５２_１，５２_２，… …５２_ｍで増幅され、さらにコンパレータ５３_１， ５３_２，……５３_ｍで閾値入力端子５４_１， ５４_２，……５４_ｍより別途入力される閾値Ｔ_１， Ｔ_２，……Ｔ_ｍと比較されてｍ個の中間出力信号 Ｙ_１，Ｙ_２，……Ｙ_ｍとなる。

該中間出力信号Ｙ_１，Ｙ_２，……Ｙ_ｍはそれぞ れ第３のユニット６０の中間出力端子６１_１， ６１_２，……６１_ｍより外部へ出力されるととも に、トランジスタ６３_１，６３_２，……６３_ｍを 介して共振回路６４_１１，６４_１２，……６４_１ｍ， ６４_２１，６４_２２，……６４_２ｍ，……６４_ｎ１， ６４_ｎ２，……６４_ｎｍに分配され、該各共振回路よ り前記電磁気的な結合関係にある第４のユニット ７０のｎ個の共振回路７１_１，７１_２，…… ７１_ｎに電磁波によって伝送・合成される。

ここで、各共振回路６４_１１〜６４_ｎｍには並列に インピーダンス素子６５_１１〜６５_ｎｍが接続されて おり、該インピーダンス素子６５_１１〜６５_ｎｍ、共 振回路６４_１１〜６４_ｎｍ及び共振回路７１_１〜 ７１_ｎのインピーダンスに対応するシナプス結合 荷重をもって合成される。このシナプス結合荷重 はシナプス結合荷重制御端子６２_１１〜６２_ｎｍを介 して接続される学習機能部（図示せず）の制御に より、インピーダンス素子６５_１１〜６５_ｎｍのイン ピーダンスを変えることによって後述する如く変 更される。

前記共振回路７１_１，７１_２，……７１_ｎの出 力信号はそれぞれ差動増幅器７２_１，７２_２，… …７２_ｎで増幅され、さらにコンパレータ７３_１， ７３_２，……７３_ｎで閾値入力端子７４_１， ７４_２，……７４_ｎより別途入力される閾値Ｓ_１， Ｓ_２，……Ｓ_ｎと比較されてｎ個の出力信号Ｚ_１， Ｚ_２，……Ｚ_ｎとなり、最終的にｎ個の出力端子 ７５_１，７５_２，……７５_ｎより出力される。

なお、第９図の装置では２枚の基板上に形成さ れた４つのユニットを２つずつ重ねて構成してい るが、複数枚の基板上に形成された多数のユニッ トを重ねて多層構造とすることもできる。

次に、電磁気的に結合した回路における動作を 第１０図に従って説明する。図中、８０，８１は コイル、８２，８３はコンデンサ、８４は抵抗、 ８５は交流電流源である。一次側の共振回路はコ イル８０とコンデンサ８２によって構成され、さ らに抵抗８４及び交流電流源８５が並列に接続さ れている。また、二次側の共振回路はコイル８１ とコンデンサ８３によって構成されている。

ここで、コイル８０，８１のインダクタンスを Ｌ_１，Ｌ_２、コンデンサ８２，８３のキャパシタ ンスをＣ_１，Ｃ_２、抵抗８４の抵抗値Ｒを、交流 電流源８５の出力電流をＩ_ｓ＝Ｉ_０ｓｉｎωｔと すると、一次側の共振回路は共振状態であるので、 を満たす。

一方、コイル８０，８１の相互誘導作用によっ て二次側の共振回路には誘導電圧が発生する。コ ンデンサ８３の両端に発生する電圧をＶ_０とする と、 となる。ここで、Ｍはコイル８０，８１間の相互 インダクタンスであり、Ｋを結合係数とすると、 Ｍ^２＝Ｋ^２Ｌ_１Ｌ_２である。

前記(4)式によれば、二次側の共振回路に誘起 する電圧Ｖ_０は一次側の共振回路における電流 Ｉ_ｓと抵抗値Ｒの積に比例するので、該抵抗値Ｒ を変えることにより、電圧Ｖ_０を変えることがで きる。なお、ここで抵抗値Ｒを変えるということ は共振回路の選択度を変えることに相当する。

次に、第９図の装置における動作を第１１図に 従って詳細に説明するが、ここでは第１のユニッ ト４０中の一つの回路を例にとって説明する。図 中、４１_ｊは入力端子、４２_ｉｊはシナプス結合荷 重制御端子、４３_ｊはトランジスタ（ＦＥＴ）、 ４４_ｉｊは共振回路、４５_ｉｊはインピーダンス素子、 ４６_ｊはオペアンプ，トランジスタ，抵抗等より なる定電流回路、４７は直流電源、４８は交流電 源である（なお、ｊ＝１，２，……ｌ、ｉ＝１， ２，……ｍ）。

前記入力端子４１_ｊにはハイレベル又はローレ ベルの入力（信号）電圧Ｘ_ｊが入力されるが、該 入力電圧Ｘ_ｊがトランジスタ４３_ｊの閾値よりも 高い場合、ｊ列成分の回路全体に電流Ｉ_ｊが流れ る。

ここで、共振回路４４_ｉｊ及びこれに対応する第 ２のユニット５０の共振回路５１_ｉのコイルのイ ンダクタンスをＬ_１，Ｌ_２、相互インダクタンス をＭ、コンデンサのキャパシタンスをＣ_１，Ｃ_２ とし、インピーダンス素子４５_ｉｊのインピーダン スをＲ_ｉｊとすると、共振回路４４_ｉｊのコイルに流 れる電流Ｉ_Ｌは、 となる。

第１のユニット４０の共振回路４４_ｉｊから発生 する電磁波はそのコイルに流れる電流Ｉ_Ｌに比例 し、これは前記(5)式からわかるようにＲ_ｉｊＩ_ｊ に比例する。前述したように第１のユニット４０ の全てのｉ行成分の共振回路４４_ｉｊと、第２のユ ニット５０のｉ番目の共振回路５１_ｉとは電磁気 的に結合しているから、第２のユニット５０の共 振回路５１_ｉには第１のユニット４０の全てのｉ 行成分の共振回路４４_ｉｊのコイルに流れる電流の 和に比例した電圧が発生する。

第２のユニット５０ではこの電圧をｉ番目の差 動増幅器５２_ｉで増幅した後、ｉ番目のコンパレ ータ５３_ｉによって検出しているので、該ｉ番目 のコンパレータ５３_ｉの出力電圧Ｙ_ｉは、 となる。ここで、αは比例定数である。前記(6) 式によれば、第２のユニット５０の出力（信号） 電圧Ｙ_ｉはインピーダンスＲ_ｉｊと電流Ｉ_ｊの行列 ・ベクトル積、即ち積和演算となる。

なお、第３のユニット６０の各共振回路と第４ のユニット７０の各共振回路との間の動作につい ても前記同様であり、その出力（信号）電圧Ｚ_ｋ （ｋ＝１，２，……ｎ）はインピーダンス素子 ６５_ｋｉのインピーダンスＱ_ｋｉと電流Ｉ_ｉの行列・ ベクトル積、即ち積和演算となる。

インピーダンスＲ_ｉｊ，Ｑ_ｋｉはそれぞれシナプス 結合荷重制御端子４２_ｉｊ，６２_ｋｉを介して接続さ れる学習機能部によって制御される。この際、イ ンピーダンスＲ_ｉｊ，Ｑ_ｋｉが純粋な抵抗値であれば、 共振回路４４_ｉｊ，６４_ｋｉにおける選択度が変更さ れることに相当し、各共振回路から発生する電磁 波の位相は変化しないため、その合成時の位相差 を考慮する必要はない。

また、電流Ｉ_ｊ及びＩ_ｉはトランジスタ４３_ｊ 及び６３_ｉの入力電圧Ｘ_ｊ及びＸ_ｉによってそれ ぞれ制御されるため、該電流Ｉ_ｊ及びＩ_ｉは入力 電圧Ｘ_ｊ及びＸ_ｉの関数、即ちＩ_ｊ＝ｆ（Ｘ_ｊ） 及びＩ_ｉ＝ｆ（Ｙ_ｉ）となる。この関数はトラン ジスタ４３_ｊ及び６３_ｉの特性によって決定され るが、後述するシュミレーションではシグモイド 関数によって近似する。なお、前述した電圧Ｘ_ｊ， Ｙ_ｉ及びＺ_ｋは、実際にはシグモイド関数等の非 線形関数に通す前の加算値である。

また、第９図及び第１１図では省略したが、実 際の装置では正及び負のシナプス結合荷重を実現 するため、前記共振回路４４_ｉｊ，６４_ｋｉとはコイ ルの巻き方を逆方向となした他の共振回路並びに これに対応した他のインピーダンス素子及び他の シナプス結合荷重制御端子が付加されている。

インピーダンス素子４５_ｉｊ，６５_ｋｉとしては、 例えばＭＯＳ−ＦＥＴが使用される。即ち、ＭＯ Ｓ−ＦＥＴのソース及びドレーンを共振回路の両 端に接続し、ゲートをシナプス結合荷重制御端子 に接続し、そのゲート電圧をシナプス結合荷重制 御端子を介して学習機能部により制御することに よって、ソース及びドレーン間の抵抗値、即ちシ ナプス結合荷重を変更することができる。

また、電子同調回路等に用いられる電圧制御型 の可変コンデンサを利用してシナプス結合荷重を 変更することもできる。即ち、前記共振回路 ４４_ｉｊ，６４_ｋｉを前記可変コンデンサを用いて構 成し、該可変コンデンサのキャパシタンスを前記 同様に学習機能部より入力される電圧で制御する ことによって変化させると、共振回路４４_ｉｊ， ６４_ｋｉに流れる電流が変化し、共振回路５１_ｉ， ７１_ｋに誘起する電圧も変化する。

なお、第１のユニット４０中のｊ列成分の回路 に流れる電流Ｉ_ｊ及び第３のユニット６０中のｉ 列成分の回路に流れる電流Ｉ_ｉはそれぞれ定電流 回路４６_ｊ及び定電流回路６６_ｉの定電流駆動を 受けるので、前述したインピーダンス変化の影響 を受けることはない。

前述した第９図の装置の動作を評価するために 次のようなシュミレーションを行なった。

即ち、第１のユニット４０の入力端子の数を ８１個とし、第２のユニット５０の出力数、即ち 第３のユニット６０の中間出力端子の数を２０個 とし、第４のユニット７０の出力端子の数を２６ 個とする。また、入力電圧Ｘ_ｊを±５［Ｖ］とし、 第１のユニット４０及び第３のユニット６０にお ける共振回路のコイルのインダクタンスを１０ ［ｎＨ］、コンデンサのキャパシタンスを2.533 ［ｐＦ］とし、電源の周波数は１［ＧＨｚ］とし、 該共振回路は共振状態で用いるものとする。また、 インピーダンス素子のインピーダンスＲ_ｉｊにはリ ミッタを適用し、正及び負の値に対して０〜１ ［ｋΩ］とする。従って、学習によるインピーダ ンスＲ_ｉｊの修正量が１［ｋΩ］を越える場合は１ ［ｋΩ］とする。また、定電流回路から供給され る電流Ｉ_ｊ，Ｉ_ｉの振幅の変化幅を０〜１０［ｍ Ａ］とする。また、第２のユニット５０及び第４ のユニット７０における共振回路のコイルのイン ダクタンスを２０［ｎＨ］、コンデンサのキャパ シタンスを2.533［ｐＦ］とし、第１のユニット ４０及び第３のユニット６０の共振回路のコイル と第２のユニット５０及び第４のユニット７０の 共振回路のコイルとの結合係数Ｋを０．１とする。

また、学習則にはバック・プロパゲーションを適 用する。

このような条件でアルファベットの大文字２６ 字を認識させたところ、２７７回の学習で収束し た。

また、第１２図は入力データ中のノイズの数と 認識の正答率との関係を示すもので、図中、実線 ９０は入力データ数が８×８＝６４個の場合、ま た、破線９１は入力データ数が４０×４０＝1600 個の場合をそれぞれ示す。

本発明の実施に際して、問題となるのは集積回 路内でコイル及びコンデンサを構成する点である が、金メッキ膜のスパイラル状のコイル及びシリ コン窒化膜Ｓｉ_３Ｎ_４を絶縁膜とした１〜２０ ［ｐＦ］のコンデンサ等を平板構造の集積回路で 作成した高周波増幅器が既に製品化されている。

また、ガリウム砒素のＦＥＴを用いた集積回路は ４０［ＧＨｚ］以上の高周波帯域まで使用可能で あり、使用周波数を高くすれば共振回路のインダ クタンス及びキャパシタンスを小さくなし得るの で、既存の技術の範囲内で充分、実現可能である。

なお、本発明では磁界又は電界あるいは電磁界を 介してアナログ信号により信号伝送がなされるた め、製造過程において発生するコイルのインダク タンスやコンデンサのキャパシタンス等の回路パ ラメータのばらつきの影響が懸念されるが、ニュ ーラルネットワークでは学習機能部の制御により 各シナプス結合荷重の値を最適な結果が得られる 如く制御するため、前述したばらつきも同時に吸 収されることになる。

（発明の効果） 以上説明したように本発明の請求項(1)によれ ば、入力端子とニューロンとの間又はニューロン 同士の間を磁界又は電界あるいは電極界を介して 結合するようになしたため、多数の入力端子とニ ューロンとの間又は多数のニューロン同士の間を 成熟した技術により空間的に結合する、即ち互い に全て並列に結合することが可能となる。

請求項(2)によれば、入力端子とニューロンと の間又はニューロン同士の間を磁界又は電界ある いは電極界を介して結合する素子もしくは回路を 用いて結合したため、多数の入力端子とニューロ ンとの間又は多数のニューロン同士の間を成熟し た技術により空間的に結合した、即ち互いに並列 に結合したニューラルネットワークを実現できる。

請求項(3)によれば、磁界を介して結合する素 子として、磁気的に結合する少なくとも２つのイ ンダクタンス素子を用いたため、回路の設計等が 容易となり、実用的なニューラルネットワークの 実現を早めることができる。

請求項(4)によれば、インダクタンス素子とし てコイルを用いたため、入力端子とニューロン又 はニューロン同士の間の結合が安価に且つ少ない スペースで実現できる。

請求項(5)によれば、インダクタンス素子とし て磁気抵抗素子を用いたため、交流磁界の外、直 流磁界を介して結合することができ、設計の自由 度が大きくなる。

請求項(6)によれば、電界を介して結合する素 子として、少なくとも１つのコンデンサを用いた ため、回路の設計等が容易になり、入力端子とニ ューロン又はニューロン同士の間の結合が安価に 且つ少ないスペースで実現できるとともに、交流 電界の外、直流電界を介して結合することができ、 設計の自由度が大きくなる。

請求項(7)によれば、電磁界を介して結合する 回路として、少なくとも１つの共振回路を用いた ため、入力端子とニューロン又はニューロン同士 の間を空間的にしかも効率良く結合することがで きる。

請求項(8)によれば、複数の入力端子又は複数 のニューロンの出力を互いに磁気的に結合する複 数のコイルにそれぞれ接続し、該複数のコイルと 磁気的に結合する他のコイルに他のニューロンの 入力を接続したため、複数の入力端子又は複数の ニューロンと他のニューロンとの間を互いに並列 に結合することができ、ニューラルネットワーク 全体の小形化を図ることができる。

請求項(9)によれば、複数の入力端子又は複数 のニューロンの出力をそれぞれ多数のコイルに接 続し、該各複数の入力端子又は各複数のニューロ ンの出力に対応した多数のコイルのうちのそれぞ れ異なる一つのみと共通に磁気的に結合する多数 の他のコイルに多数の他のニューロンの入力をそ れぞれ接続したため、複数の入力端子又は複数の ニューロンと多数の他のニューロンとの間を全て 互いに並列に結合することができ、ニューラルネ ットワーク全体のさらなる小形化を図ることがで きる。

請求項(10)によれば、コイルの一部又は全部を 共振回路に置換えたため、複数の入力端子又は複 数のニューロンと他のニューロンとの間や複数の 入力端子又は複数のニューロンと多数の他のニュ ーロンとの間を全て互いに並列にしかも効率良く 結合することができる。

請求項(11)によれば、コイル又は共振回路と直 列あるいは並列にこれとともにもしくは単独でシ ナプス結合荷重を構成するインピーダンス素子を 接続したため、複数の入力端子又は複数のニュー ロンと他のニューロンとの間や複数の入力端子又 は複数のニューロンと多数の他のニューロンとの 間を結合できるとともに、他のニューロン又は多 数の他のニューロンにおける積和演算を行なうこ とができ、その分、小型でニューロン数の大きな ニューラルネットワークを実現できる。

請求項(12)によれば、インピーダンス素子のイ ンピーダンスを変えることによりシナプス結合荷 重を変えるようになしたため、他のニューロン又 は多数の他のニューロンにおける積和演算を制御 性良く行なうことができ、その分、小型でニュー ロン数が大きく且つ性能の良いニューラルネット ワークを実現できる等の利点がある。

【図面の簡単な説明】

第１図は本発明の第１の実施例を示す回路図、 第２図はニューラルネットワークを構成するニュ ーロンを示す概要図、第３図はニューロンの機能 を示すブロック図、第４図はニューラルネットワ ークの一例を示す構成図、第５図は本発明の第２ の実施例を示す回路図、第６図は本発明の第３の 実施例を示す回路図、第７図は本発明の第４の実 施例を示す回路図、第８図は本発明の第５の実施 例を示す回路図、第９図は本発明の第６の実施例 を示す回路図、第１０図は電磁気的に結合した回 路における動作を示す説明図、第１１図は第９図 の装置における動作を詳細に示す説明図、第１２ 図は入力データ中のノイズの数と認識の正答率と の関係を示すグラフである。 １０，１１，２３，２４，２５，２６…ニュー ロン、１３，１４，３０，３１，３２，３３… コイル、１６…磁気抵抗素子、２０，２１…コ ンデンサ、４１_１〜４１_ｌ…入力端子、４４_１１ 〜４４_ｍｌ，５１_１〜５１_ｍ，６４_１１〜６４_ｎｍ， ７１_１〜７１_ｎ…共振回路、４５_１１〜４５_ｍｌ， ６５_１１〜６５_ｎｍ…インピーダンス素子、７５_１ 〜７５_ｎ…出力端子。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 山根 龍一 埼玉県北葛飾郡鷲宮町桜田５丁目23番４ 株式会社ワコム内 (72)発明者 福崎 康弘 埼玉県北葛飾郡鷲宮町桜田５丁目23番４ 株式会社ワコム内 (72)発明者 山本 定雄 埼玉県北葛飾郡鷲宮町桜田５丁目23番４ 株式会社ワコム内

Claims (12)

【特許請求の範囲】
1. 【請求項１】 入力端子とニューロンとの間又はニュー
   ロン 同士の間を磁界又は電界あるいは電極界を介して 結合するようになしたことを特徴とするニューロ ンの結合方法。
2. 【請求項２】 入力端子とニューロンとの間又はニュー
   ロン 同士の間を磁界又は電界あるいは電極界を介して 結合する素子もしくは回路を用いて結合したこと を特徴とするニューラルネットワーク。
3. 【請求項３】 磁界を介して結合する素子として、磁気
   的に 結合する少なくとも２つのインダクタンス素子を 用いたことを特徴とする請求項(2)記載のニュー ラルネットワーク。
4. 【請求項４】 インダクタンス素子としてコイルを用い
   たこ とを特徴とする請求項(3)記載のニューラルネッ トワーク。
5. 【請求項５】 インダクタンス素子として磁気抵抗素子
   を用 いたことを特徴とする請求項(3)又は(4)記載の ニューラルネットワーク。
6. 【請求項６】 電界を介して結合する素子として、少な
   くと も１つのコンデンサを用いたことを特徴とする請 求項(2)記載のニューラルネットワーク。
7. 【請求項７】 電磁界を介して結合する回路として、少
   なく とも１つの共振回路を用いたことを特徴とする請 求項(2)記載のニューラルネットワーク。
8. 【請求項８】 複数の入力端子又は複数のニューロンの
   出力 を互いに磁気的に結合する複数のコイルにそれぞ れ接続し、該複数のコイルと磁気的に結合する他 のコイルに他のニューロンの入力を接続したこと を特徴とするニューラルネットワーク。
9. 【請求項９】 複数の入力端子又は複数のニューロンの
   出力 をそれぞれ多数のコイルに接続し、該各複数の入 力端子又は各複数のニューロンの出力に対応した 多数のコイルのうちのそれぞれ異なる一つのみと 共通に磁気的に結合する多数の他のコイルに多数 の他のニューロンの入力をそれぞれ接続したこと を特徴とするニューラルネットワーク。
10. 【請求項１０】 コイルの一部又は全部を共振回路に置
    換えた ことを特徴とする請求項(8)又は(9)記載のニュ ーラルネットワーク。
11. 【請求項１１】 コイル又は共振回路と直列あるいは並
    列にこ れとともにもしくは単独でシナプス結合荷重を構 成するインピーダンス素子を接続したことを特徴 とする請求項(8)乃至(10)いずれか記載のニュー ラルネットワーク。
12. 【請求項１２】 インピーダンス素子のインピーダンス
    を変え ることによりシナプス結合荷重を変えるようにな したことを特徴とする請求項(11)記載のニューラ ルネットワーク。