JPH06511096A - ニューロン処理に使用されるデバイス - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 ニューロン処理に使用されるデバイス 本発明はニューロン処理に使用される人工ニューロン状デバイス（下記において 単に「ニューロン」と呼ぶ）に関するものである。

実際にニューロンを製造する公知手法の１つはランダムアクセスメモリ（ＲＡＭ ）を使用するにある。この目的でのＲＡＭの使用は相当以前にさかのぼる。与え られた記憶場所によって与えられた出力、例えば「１」が（通常の場合のように ０または１の確率ではなく）０と１の間の確率をもって発生されるＲＡＭを製造 する事ができるならば、このようなＲＡＭは従来のＲＡＭ以上に生理学的回路の 挙動を模倣したニューロンを形成する可能性を持つであろうと指摘されている（ ゴース、Ｄｌ、およびティラー、Ｊ、Ｇ、　、１９８８、Ｐｈｙｓ、Ｌｅｔｔｅ ｒ、Ａ。

１３１．３２６−３３２　、およびティラー、Ｊ、Ｇ、　、１９８９、Ｐｈｙｓ ｉｃａ　Ｄ、　３４．９０−１１４　参照）。本明細書に使用されるｒｐＲＡＭ Ｊとは「確率ＲＡＭＪの略称であって、これらの文献およびこの明細書において 、ＲＡＭ中の特定の記憶場所にアドレシングされた時に通常のＲＡＭのようにＯ または１の確率ではなく０と１の間の与えられた確率をもって出力を発生するよ うに成されたＲＡＭを言う。

国際特願第ＷＯ９２１００５７２号および第ＷＯ９２１００５７３号、および１ ９８９年、人工ニューロンに関する第１回ＩＥＥ国際会議の議事録において公表 された論文、＋Ｈａｒｄｗａｒｅ　ｒｅａｌｉｓａｂｌｅ　ｍｏｄｅｌｓ　ｏｆ 　ｎｅｕｒａｌｐｒｏｃｅｓｓｉｎｇ“の中にｐＲＡＭの製造法の記載がある。

これらの文献には、それぞれ確率を代表する数値が記憶された複数の記憶場所を 有するメモリと、それぞれの記憶場所を選択的にアドレシングしてその場所の内 容を比較器の入力において読ませる手段と、ノイズを代表するランダム数を比較 器に入力するためのノイズ発生器と、前記アドレシングされた記憶場所と前記ノ イズ発生器とから受けた数値に対応して第１値お−よび第２値を有する出力信号 を比較器の出力に出現させる手段とを含み、前記出力信号が前記第１値と前記第 ２値のいずれかを有する確率は前記アドレシング場所の数値によって決定される ように成されたニューロン処理回路において使用されるデバイスが記載されてい る。

本発明の目的は、推計学的特性を保持しながら、出力における時間効果が生物学 的ニューロンの場合について現在理解されているものに少なくとも近似する形で 統合されるように成された新規なニューロンを提供するにある。

本発明によれば、確率を代表する数値がそれぞれ記憶された複数の記憶場所を有 するメモリをそれぞれ有する複数のニューロン素子と、前記記憶場所をアドレシ ングする手段と、前記記憶場所がアドレシングされた時に前記各ニューロン素子 の出力にニューロン出力信号を出現させる手段とを含むニューロンデバイスにお いて、前記ニューロン素子の出力信号が第１値または第２値のいずれかを有する 確率がアドレシングされた場所の数値によって決定され、前記ニューロン素子は 、その出力において共通に、ニューロン素子の出力信号を累積して累積結果を減 衰させる手段と、入力において減衰結果を受けて、前記減衰結果が所定レベルを 超える時に出力に出力信号を発生するしきい値手段とに接続される事を特徴とす るニューロンデバイスが提供される。

前記ｐＲＡＭはｌ−ｐＲＡＭとする事ができる。すなわち、単一のアドレス入力 伝送路と従って２つのアドレスとを有し、これらのアドレスは、入力アドレスと してそれぞれＯおよび１に枚重応し、また各アドレスに対して１つづつの２記憶 場所を有する。あるいはｐＲＡＭは複数のアドレス伝送路を有する事ができる。

すなわち、各ｐＲＡＭが２つのアドレス伝送路を有する事ができる。

生物学的ニューロンの時間的モデル化は原則的に、ホトギン＆ハックスレーによ る漏れ積分器モデルに基づいている（ｌｌｏｄｇｌｎ　Ａ、Ｌ、　ａｎｄ　ｌ１ ｕｘｌｅｙ　Ａ、Ｆ、、　Ｊ、　Ｐｈｙｓｉｏｌ（Ｌｏｎｄｏｎ）　１１７，５ ００．１９５２　）　、前記のデバイスにおいて、漏れ積分器モデルの中にｐＲ ＡＭを付加すればシナプスノイズをモデル化する利点が得られる。

付図において、 第１図は１−ｐＲＡＭを使用する本発明の実施態様を示し、 第２図は２つのグラフから成り、上グラフは第１図のしきい値デバイスの入力に おける電圧と時間のプロット、下グラフは発射しているｐＲＡＭの数と時間のプ ロット、第３図は生理学ニューロンの動作の１アスペクトの図解、 第４図は２−ｐＲＡＭを使用する本発明の第２実施態様のブロックダイヤグラム 、 第５図と第６図は不応期をモデル化する事のできる他の２種類の回路図である。

第１図に図示の本発明による実施態様は４個の１−ｐＲＡＭＩＯを含むが、４個 使用する事は特別の意味はな（，４個以上または４個以下を使用する事ができる 。各ｐＲＡＭは２つの記憶場所を有し、各記憶場所は確率αを代表する数値を保 持する。２つの数値は下記においてα０およびα１と呼ばれる。各ｐＲＡＭ中の 数値αＯとα１はそれぞれ他のｐＲＡＭの数値α０およびαｌとは独立である。

前記のＩＥＥ論文および国際特願において説明したように、与えられた記憶場所 がアドレシングされた時にｐＲＡＭの出力に１が表われる確率はその場所に記憶 されたαの値に等しい。従って例えば、与えられた記憶場所がα−０，７の値を 保持するとすれば、その場所がアドレシングされた時にｐＲＡＭの出力に１が表 われる確率は０．７であり、０の確率は０．３である。

各ｐＲＡＭは単一のアドレス人力１１を有し、従って４人力がパルス列を受ける 。実数ｎ　−［０，１１、すなわちＯから１までの数を表わすために各パルス列 を使用する事ができる。この場合、０ではなく１が存在する確率は数ｎに等しい 。

各ｐＲＡＭの出力１２、すなわち０または１がそれぞれのダイオード１３と抵抗 Ｒ１とを通して伝送路１４に達する。ダイオード１３は電圧減衰（下記を参照） に際してｐＲＡＭを通して逆漏れする電流を防止するためにそこに配置されるが 、他の手段、例えばｐＲＡＭ出力に瞬間パルスが生じた時にのみ開く固体スイッ チを使用する事もできる。抵抗器Ｒ１は望ましくはすべて同一値とするが、これ は不可欠ではない。抵抗Ｒ１の代わりに、他の手段、例えばコンデンサまたは伝 送路を使用する事ができる。

伝送路１４の前後に電圧減衰回路１５が接続されている。この回路は好ましくは 抵抗器ＲとコンデンサＣとを含む。さらに伝送路はしきい値デバイス１７の入力 に対して接続される。このしきい値デバイスは、その人力１６の電圧が所定のし きい値以下の値からしきい値以上の値に移行するたびに、その出力１８に１を代 表するパルスを発生する。このデバイス１７は例えば固定幅のパルスを発生する シュミットトリガ・プラス・単安定素子とする事ができる。このデバイス１７の 出力のパルスは他のニューロンの入力または外部デバイスに対して加える事がで きる。

例えば、１を代表する出力１２のパルスが１ボルトの振幅の電圧パルスであると 仮定しよう。従ってデバイス１７の入力に対してｐＲＡＭが加える事のできる初 電流は、いくつのｐＲＡＭがその出力において１を有しまた０を有するかに従っ て、０．１／Ｒ１，２／Ｒ１，３／Ｒ１または４／Ｒ１アンペアを有する。この 電流は、減衰回路１５の結果として時間と共に減衰する電圧を生じるが、後続の 電圧パルスが入力１６に達するに従って増大されまたはさらにゆっくりと減衰さ れる。その１つの例を第２図に図示する。第２図の上グラフは入力１６の電圧と 時間とのプロットであり、下グラフはこのような結果を生じるため発射中の、言 い替えれば、その出力において１を有するｐＲＡＭの数を示す。

前記のニューロンは学習のためのメカニズムを有しない。しかしこの学習は、各 ｐＲＡＭ中の値α０と値α１に対する訓練によって実現する事ができる。また抵 抗Ｒ■はシナプス後の重みに対応し、従って訓練中に変更されうる。ｐＲＡＭメ モリの内容またはシナプス後効果、Ｒ１を訓練する方法は、強化訓練、勾配下降 、後方伝播、コホーネン・トポグラフィ−マツプ、およびヘビアン学習を含み、 これらすべての学習はニューロン分野において確立された技術である。

ＲとＣは、適当な減衰レートを生じるように、例えば１／ＲＣの値がｐＲＡＭの 入力に加えられるパルスのクロックレートの１０−１００倍のオーダとなるよう に選定される。これは、生物学的ニューロン中の漏出膜において生じると思われ る効果と大体同等の効果である。しかしそれぞれの特定の目的に適しているなら 、その他の減衰レートを使用する事ができる。すでに述べたように、抵抗Ｒ１は 生物学的ニューロン中のシナプス後重りと同等物を成す。値α０およびαｌは生 物学的ニューロン中のシナプス前重りと同等物を成す。

本発明のニューロンが生物学的ニューロンと正確に同様に機能すると断言する訳 ではなく、実際に生物学的ニューロンの完全な理解には程遠い。しかし生物学的 ニューロンがデジタル方式およびアナログ方式で機能する事は知られている。神 経インパルスはニューロン間に伝送されるデジタル形式の情報に対応するが、符 号化された情報はアナログ値、すなわちインパルス密度である。シナプスは興奮 性または抑制性である。生物学的ニューロンが興奮性シナプスまたは抑制性シナ プスを使用する態様を第３図に図示する。この場合、シナプス２１のシナプス後 ポテンシャル２３がシナプス２２によって抑制されまたは振幅減少されて、結合 シナプス後ポテンシャル２４が減少される。刺激作用の場合、シナプス２１のシ ナプス後ポテンシャル２３がシナプス２２によって増進または増大されて、結合 シナプス後ポテンシャル２４が強化される。

同様の作用が第４図に示す人工ニューロンの実施態様によって実施される。この 実施態様は非線形をさらに追加するために２−ｐＲＡＭを使用する。しかしこの 場合、２−ＲＡＭが使用されているが、非線形度を増大するために各ｐＲＡＭに ついて任意数の入力を使用する事ができる。シナプスの発射確率を決定するｐＲ ＡＭの４メモリ内容の１つを選定するために、２つの入力３５と３６とを使用す る。表１において、入力３５が活動状態（”１１論理レベル）にある時のｐＲＡ Ｍの発射確率は、入力３６の活動のある時に低下する。これは抑制作用に対応す る。表２において、人力３５が活動状態（”１”論理レベル）にある時のｐＲＡ Ｍの発射確率は、入力３６の活動のある時に増大する。これは刺激作用に対応す る。

第４図のｐＲＡＭシナプスのいずれかが発射する時、そのシナプス後ポテンシャ ルが抵抗３８（Ｒ１）を通る。

この抵抗Ｒ１は前述のように、シナプス後重りに対応し、ｐＲＡＭメモリ内容と 同様に訓練中に変更できる。

第４図における結合シナプス後ポテンシャル３９がしきい値レベル４０を超える と、比較器４１が論理「１」出力を発生する。さもなければ比較器４１の出力は ゼロである。ニューロンの発射レートおよびニューロンに使用される回路中の全 体活性を低下させるため、ニューロンが発射するたびに、すなわちニューロン出 力４４において論理「１」を発生するたびに、不応期４２が開始される。この不 応期中に、ニューロンの再発射が防止される。不応期が経過すると、シナプス後 ポテンシャル３９がしきい値以上にある場合にニューロンが再び発射される。

短い不応期の場合、この不応期は第５図に図示のようにシフトレジスタを使用し てモデル化される。結合シナプス後ポテンシャル３９がしきい値以上である場合 （すなわち、Ａ≧Ｂ）、常に比較器出力５０は高い。この信号がゲート５１にと られて、次にシフトレジスタ５２に送られる。シフトレジスタの桁数は、クロッ ク入力５３の単位クロック期間で表わされた不応期の長さに等しい。

従って出力５０が高く不応期が作動していない時、この出力５０はゲート５１を 通ってシフトレジスタ５２の中に通過させられる。この時点においてニューロン 出力５４にパルスが発生される。シフトレジスタ５２の任意桁の中に論理”１” レベルが存在する時に常に抑制信号５６を発生するため、ＯＲゲート５５が使用 される。この抑制信号はその後の信号５０がニューロン出力５４に達する事を防 止する。論理「１」レベルが完全にシフトレジスタ５２を通過してしまうまで、 ゲート５１は抑制状態にとどまる。従って不応期は、使用されるシフトレジスタ 桁数にクロック入力５３の期間を乗じた積である。

不応期を可変にするため、シフトレジスタの長さを効果的に減少させるように回 路に対してマスクビット５７が加えられる。例えば、もし最上位の３マスクビッ ト５７全部が「０」レベルにあれば、このシフトレジスタ５２は有効に３ビツト 短縮される。

不応期が非常に長い場合、長いシフトレジスタが必要なのでシフトレジスタアプ ローチは不適当である。このような場合、第６図に図示のようにカウンターを使 用する事ができる。抑制ゲート５１に対してカウンター６０が使用されている事 以外、回路動作は第５図の回路動作と同様である。従って出力５０が高く不応期 が作動していない場合、出力５０はゲート５１を通してニューロン出力５４まで 通過させられる。同時にカウンター６０の事前設定入力が活性化されて不応期カ ウント６１がカウンター６０の中にロードされる。カウンター６１はダウンカウ ンタ−として作用し、不応期クロック５３の各サイクル中にこのカウンターが逓 減される。カウンターが非ゼロ数を含む時、出力６２は低く、これがゲート５１ を抑制する。カウンター６２がゼロカウントに達する時、出力６２は高くなり、 出力５０がもう一度高くなるまで高状態にとどまる。出力６２が高くなると、不 応期が終了したのでゲート５１が再び可能にされる。

入力６が活動状態の時、発射確率は減少する。

入力６は抑制入力である。

入力６が活動状態の時、発射確率は増大する。

入力６は刺激入力である。

’ａｌｕＵＭｌｊｌ（ＭＶＨ％Ｍ ＦｉＧ　４゜ １１．雪、１．１，１１９１１１．■■ム、、、−Ｈ−，ｐｃＴ／ＧＢ９２１０ １０８６

Claims (10)

【特許請求の範囲】
1. １．確率を代表する数値がそれぞれ記憶された複数の記憶場所を有するメモリを それぞれ有する複数のニューロン素子と、前記記憶場所をアドレシングする手段 と、前記記憶場所がアドレシングされた時に前記各ニューロン素子の出力にニュ ーロン出力信号を出現させる手段とを含むニューロンデバイスにおいて、前記ニ ューロン素子の出力信号が第１値または第２値のいずれかを有する確率がアドレ シングされた場所の数値によって決定され、前記ニューロン素子は、その出力に おいて共通に、ニューロン素子の出力信号を累積して累積結果を減衰させる手段 と、入力において減衰結果を受けて、前記減衰結果が所定レベルを超える時に出 力に出力信号を発生するしきい値手段とに接続される事を特徴とするニューロン デバイス。
2. ２．前記減衰手段は電圧減衰回路を含むことを特徴とする請求項１に記載のデバ イス。
3. ３．各ニューロン素子の出力はそれぞれ抵抗器を介して減衰手段に接続されてい ることを特徴とする請求項１または２のいずれかに記載のデバイス。
4. ４．前記抵抗器は可変抵抗器であることを特徴とする請求項３に記載のデバイス 。
5. ５．前記ニューロン素子の少なくとも一部のアドレシング手段は複数のアドレス 伝送路を含むことを特徴とする請求項１乃至４のいずれかに記載のデバイス。
6. ６．先行のデバイス出力信号の発生後の不応期中にデバイス出力からの出力信号 の発生を抑制する手段を含むことを特徴とする請求項１乃至５のいずれかに記載 のデバイス。
7. ７．前記抑制手段はシフトレジスタを含み、各デバイス出力信号はシフトレジス タを通してデバイス出力に達することを特徴とする請求項６に記載のデバイス。
8. ８．前記シフトレジスタは、その有効長さを変動させるためのマスクビットを備 えることを特徴とする請求項７に記載のデバイス。
9. ９．前記抑制手段はクロックパルス発生器と前記クロックパルスを計数するため のカウンターとを含み、前記カウンターは、所定のパルス数を計数するに必要な 期間によって決定される期間、デバイスの出力信号を抑制することを特徴とする 請求項６に記載のデバイス。
10. １０．前記しきい値手段は、前記減衰結果が所定レベル以下の値から所定レベル 以上の値に移行する時に出力パルスを発生することを特徴とする請求項１乃至９ のいずれかに記載のデバイス。