JPH02259958A - ニューラル集積回路 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、−シナプス結合係数ｃＩＪ用メモリＭと： ニューロン状態用のメモリと； 一人カニューロンｊの状態に基いて出力ニューロン１の
状態を決定する分枝手段と； −局所学習工程を実行することにより薪規のシナプス結
合係数を決定する学習手段；とを具えているニューラル
集積回路に関するものである。

本発明は斯種のニューラル回路と共働させる処理装置を
具えているニューラル・ネットワークシステムにも関す
るものである。

〔従来の技術〕

斯種の回路は１９８８年４月６日〜９日に米国ユタ州ス
ノーバードで開催された「計算用二二−ラル・ネットワ
ーク」についての会合でＭ、　Ｗｅｉｎｆｅｌｄ。

Ｇ、　Ｄｒｅｙｂｕｓ、＾、Ｊｏｈａｎｎｅｔ、　Ｌ、
Ｐｅｒｓｏｎｎａｚにより発表された論文「学習処置を
含む完全ディジタルＣＭＯ３集積帰還ネットワーク」か
ら既知である。

〔発明が解決しようとする課題〕

上記論文はウィドロー・ホッフ（１’ｌｉｄｒｏｗ−Ｈ
ｏｆｆ）学習法則に基づいて分析工程及び学習工程を実
行する集積回路に関するものである。この回路には出力
ニューロンｌの状態に関する並列性が存在し、又この回
路は入カニ：−ロンＪの状態のインデックスｊに適用さ
れるデータ循環用の機構も有している。このことからし
て、成る所定のニューロンに対して特定の処置を分離さ
せることができない。

従って、斯かる回路は限られた数の学習法則でしか作動
させることができない。

本発明の目的は処理装置を具えているニューラル・ネッ
トワークシステムに使用するのが好適で、所定の出力ニ
ューロンｉの全てのシナプス結合係数を同時に修正する
のに高速度で演算することができ、しかも多数の学習法
則を実行することもできるため、ニューラル・ネットワ
ークシステムにて処理すべき多数の問題を解決するに用
いることのできるニューラル集積回路を提供することに
ある。

〔課題を解決するための手段〕

本発明は、所定の出力ニューロンｉに対し前記学習手段
が、前記メモリに記憶されると共に出力ニューロンｉの
方へと集中スる入力ニューロンＪを結合するシナプスを
特徴付ける各シナプス結合係数で並列に同時に作動する
ようにするために、前記学習手段がニ ー各シナプス結合係数に対して修正を行なうべきか、否
かを決定すると共に、この修正値の符号も決定するため
に、ニス−ロンの状態Ｖ１と、各出力ニューロンｌに関
連する補正成分乳とにより形成されるパラメータで学習
機能をさせる手段；及び 一前記修正値の符号と、該当する出力ニューロンｉに関
連すると共に該出力ニューロンの方へと集中する全入力
ニューロンＪに共通の補正値Δｉにも基いて新規のシナ
プス結合係数Ｃｉｊを並列に決定する増分／減分素子； を具え、ここにΔｉは入力ニューロンｊの状態か、出力
ニューロンの状態か、これら両タイプの状態を組合せ、
且つ回路そのものにより決定されるか、或いは回路以外
から供給される関数のいずれかに関連する補正値とし、
Ｓｌが入力ニューロンｊの状態か、所定の出力ニューロ
ンｌの状態か、或いはこれら両タイプの状態の関数であ
り、しかも回路以外から供給される状態のいずれかを表
わすようにしたことを特徴とする。

「分析Ｊ　　（ｒｅｓｏｌｖｉｎｇ）工程中にニューラ
ル回路は、メモリＭにおける所定出力ニューロン１に関
する全シナプス結合係数Ｃｉｊを選択し、これらの係数
に入力ニューロンＪの状態Ｖ１を掛は合せ、これらの全
ての積の和を次式、即ちΣＣｉｊ−Ｖ、ｉ のように求める。ここにＮは出力ニューロンｌに影響を
及ぼす入力ニューロンの総数である。

シナプス結合係数ＣｉｊはメモリＭによって並列に出力
されて、増分／減分素子に達し、この素子の出力信号は
例えば乗算器と加算器トリーによって形成される計算部
材に供給される。回路の出力結果は処理装置に供給され
、この装置は斯かる結果に応じて非線形機能を果す。こ
の非線形機能は、計算部材そのものによる結果が処理装
置に供給される前に、その計算部材にて実行させること
もできる。処理すべき入力ニューロンｊの状態に関する
信号は処理装置が、周辺装置によって供給することがで
きる。「学習」工程の期間中には、増分／減分素子が制
御信号を受信して、該当するシナプス結合係数を増大さ
せるか、減小させるか、或いは不変のままとする。これ
らの制御信号は各増分／減分素子に以前のコマンドを符
号化するための２ビット信号を供給することにより学習
機能を行わせる手段から到来する。

学習機能は入力ニューロンＪの状態Ｖ１及び各出力ニュ
ーロンｌに関連する補正成分Ｓｉを考慮する。学習機能
を実行する手段は学習素子により形成し、これらの学習
素子の数は増分／減分素子の数、従って同時に処理すべ
きシナプス結合係数Ｃｉｊの数に等しくする。これらの
各学習素子は状態Ｖｊ　　（に関する信号）及び補正成
分Ｓｉの信号を受信し、これらの信号はいずれも１ビッ
ト以上にコード化される。これらの学習素子は論理ＡＮ
Ｄゲートか、排他的ＯＲ論理ゲートか、複雑な機能を実
行する組合せゲートによって形成することができる。学
習素子は論理値ｌか、論理値０か、補正ｉ分ｓｉのニュ
ーロン状態Ｖ１の少なくとも１ビットか、これらの補数
のいずれかを選択する多数入力マルチプレクサにより形
成することもできる。

増分／減分素子は上記制御信号並びに補正値Δｉを受信
し、この補正値は全ての素子に共通であり、しかも所定
瞬時に処理された出力ニューロン１に特有のものである
。従って、各増分／減分素子はシナプス結合係数を値Δ
ｉだけ独立して大きくするか、或いはそのシナプス結合
係数を値△ｌだけ小さくするか、或いはその係数を不変
のままとする。この補正値Δｉは外部処理装置によって
回路に与えることができる。しかし、斯かる補正値は補
正回路にて回路そのもので決定することもできる。この
補正値Δｉは、シナプス結合係数を所定の精度とするた
めに整数とするのが好適である。

増分／減分素子での演算は数ビットにコード化されるニ
ューロン状態で演算可能とするために数回の連続サイク
ルで行なうことができる。実際上、各学習素子は入力ニ
ューロンの状％３　ｖｊ及び数ビットにコード化された
補正素子の信号を受信することができる。数回の連続サ
イクルを実行することによって、各サイクル中に供給さ
れる値Δｉを適切に選定して乗算演算Ｖｊ−３ｉを行な
うこともできる。補正成分には入力ニューロンｊの状態
か、所定出力ニューロンｌの状態か、これら２つのタイ
プの状態の関数であり、しかも例えば外部処理装置によ
って供給される状態のいずれかを表わすものを与えるこ
とができる。

各増分／減分素子には記憶機能も持たせて、他のタスク
のためにシナプス結合係数メモリをフリーにすることも
できる。

〔実施例〕

以下実施例について図面を参照して説明するに、ニュー
ラル回路１０はニューラル・ネットワークシステムを形
成するために処理装置５０に接続する。

シナプス結合係数Ｃｉｊ用のメモリ１１は入力ニューロ
ンＪと同じ所定の出力ニューロンｌに関するシナプス結
合係数ＣＬｊを（バス１９、〜１９にに）並列に出力す
る。これらのシナプス結合係数は、これらの係数を計算
部材１３に適用させる増分／減分素子１２に達する。計
算部材１３は、例えばＣｉｊ−Ｖｊの乗算を行なう乗算
器及び全ての乗算結果の和を求める加算器トリーを具え
ている。計算部材で処理した結果はライン１４により処
理装置５０に供給され、この処理装置は斯かる結果に基
づいて非線形機能をする。この機能は計算部材１３その
もので行なうこともできる。

入力ニューロンＪの状態ｖ１はニューロン状態メモリ１
５に記憶され、メモリ１５はこれらの状態（に関する信
号）を処理装置５０から、又は周辺装置（ライン２５を
経て）から受信し、これらの状態を計算部材１３に供給
する。ニューロン状態メモリ１５は学習工程の期間中に
処理装置５０から入力ニューロンの補正状態を受信する
ことができる。学習機能を実行する手段１６は、処理す
べき入力ニューロンＪがＮ個ある場合にはＮ個の学習素
子１６１゜１６２、、−１６．によって形成する。各学
習素子は入力ニューロンの状態ｖＪ　及び補正レジスタ
１７によって供給される補正エレメント（成分）　Ｓｌ
を受信する。各学習素子は２ビットのデータを各増分／
減分素子１２に供給して、これら後者の素子がシナプス
結合係数を増大させるか、減少させるか、或いは全く変
更させないようにする。補正レジスタ１７には幾つかの
基点を有することのできる補正成分Ｓｉ　をロードさせ
る。このレジスタ１７には入カニ：−ロンＪの状態ｖ１
の内の１つ・か、出力ニューロンｉの状態ｖ１の１つか
、或いは処理装置５０から到来するこれら２つのタイプ
の状態の関数のいずれかをロードさせることができる。

全ての増分／減分素子１２は同じ補正値Δ盈も受信し、
この補正値は次式、即ち Ｃｉ、ｉ（新規）　−Ｃｉｊ　（旧）十Δｉ−Ｆ（Ｓｉ
）に従って新規の値Ｃｉｊを決定するために旧の値Ｃｉ
ｊを変更する（又は変更しない）のに用いられる。

斯かる補正値Δｉは処理装置５０から、又は補正成分Ｓ
１に補正関数Ｆを課する補正回路１８からのいずれかか
ら発生させることができる。

学習素子１６．．１６．は、例えば論理ＡＮＤゲートか
、排他的ＯＲゲートか、複雑な機能を実行する組合せゲ
ートのいずれかにより形成する。第２図に示すように、
学習機能そのものは入力ニューロンの各状態を処理する
マルチプレクサに共通のコマンドを供給する共通回路に
よって行わせにこともできる。この場合には種々の学習
素子　１６．。

１６、が回路２０を共有する。

例えば、第１図の学習素子１６１　は第２図のマルチプ
レクサ２１．２２及び２３によって形成する。マルチプ
レクサ２３はメモリ１５における入力ニューロンの状態
ｖ１のビットを読取る。マルチプレクサ２３はコマンド
Ｓの制御下にて状態Ｖ１の全ビットを連続的に送給する
。Ｖｌが１ビットにコード化される場合には、マルチプ
レクサ２３は不要となる。

マルチプレクサ２１及び２２は状態Ｖ１を（ライン２４
を経て１ビットづつ受信する。これらのマルチプレクサ
は論理状態１か、論理状態０か、状態Ｖ１か、（インバ
ータ２６を経て）状態Ｖ１の相補状態のいずれかを選択
することができる。マルチプレクサ２１及び２２の制御
は、選択学習機能、例えばＡＮＤ機能、排他的機能又は
複雑な機能を実行する回路２０により行なう。この制御
回路２０は例えばプログラム化した論理アレイ（ＰＩ、
＾）又はＲＡＭにより形成する。マルチプレクサ２２及
び２１は個別の制御信号を受信して結合係数増分／減分
用の信号子／−及び演算を実行させるか、否かを決める
ための信号［ＩＰ／ＮＯＰをそれぞれ出力する。増分／
減分素子には演算処理中にオーバーフローをなくす手段
を設けることができる。例えばオーバーフローがある場
合には、シナプス結合係数が回路により許容される最大
値か、又は最小値のいずれかであると想定することがで
きる。

増分／減分素子は発生ビット数に符号化されるシナプス
結合係数を利用するために一方の回路から他方の回路へ
と縦続配置することができる。このために、各増分／減
分素子には入力桁上げ用の入力端子及び出力桁上げ用の
出力端子を設け、ニューロンの発生数に対する処理能力
を拡張させるために回路を再編成するか、幾つかの回路
を縦続配置することができる。

例えば、本発明による回路によって実行することのでき
る学習アルゴリズムは「プロトタイプの最小再生アルゴ
リズム」と称されており、この点についてはＷ、　Ｋｒ
ａｕｔｈ及びＭ、　Ｍｅｚａｒｄによるｊ。

ｐｈｙｓ、八２０　（１９８７）、　Ｌ７４５−Ｌ７５
２に詳細に説明されている。このアルゴリズムの目的は
連、１メモリを実現することにあり、このメモリの出力
端子にはネットワークを関連付け、メモリの入力端子に
プロトタイプを与えるようにする。これは誤り補正に適
用することができる。学習機能は繰り返し行われ、出力
ニューロンと共に独立して進行する。

所定の出力ニューロンｌに対しては、回路の入力端子に
プロトタイプε二が与えられ、ここにμは、プロトタイ
プのインデックスであり、」はニューロンのインデック
スであり、この場合に回路は分析モードで作動する。

回路は次式の計算をする。即ち ！１＋　＝Ｔ−３Ｃｉｊ・ε。

全てのプロトタイプが与えられると、 インデックスジのプロトタイプが選定されて、ｈｌ、は
全ての　μ−νに対してり、よりも小さくなる。

この場合に回路は次式に従って出力ニューロンｌに関連
するシナプス結合係数を変更しながら学習モードで作動
する。

Ｃｉｊ　（新）＝Ｃｉｊ　（旧）＋ε、・ε。

従って、補正成分は次式によって与えられ、ＳＪ　＝ε
。

この補正成分の増分量は次式によって与えられる。

Δ！　＝εｉ この処置は総和り、が全で全プロトタイプμ及び全ニュ
ーロンｌに対して基準値２以上となるまで繰り返す。

なお、このアルゴリズムは斯かるタイプのネットワーク
に対して最適の効果を呈することを確めた。

【図面の簡単な説明】

第１図は本発明によるニューラル集積回路の一例を示す
ブロック図； 第２図は学習機能を実行させる他の方法の実施例の構成
を示すブロック図である。 ＩＯ・・・ニューラル回路 １１・・・シナプス結合係数用メモリ １２・・・シナプス結合係数増分／減分素子１３・・・
計算部材 １５・・・ニ：−ロン状態メモリ １６・・・学習機能実行手段　　１６．〜１６８・・・
学習素子１７・・・補正レジスタ　　　　１８・・・補
正回路２０・・・制御回路 ２１、２２．２３・・・マルチプレクサ５０・・・処理
装置。

Claims (10)

【特許請求の範囲】
1. １．　−シナプス結合係数Ｃｉｊ用メモリＭと；−ニュ
   ーロン状態用のメモリと； −入力ニューロンｊの状態に基いて出力ニ ューロンｉの状態を決定する分析手段と； −局所学習工程を実行することにより新規 のシナプス結合係数を決定する学習手段； とを具えているニューラル・ネットワークシステム用の
   ニューラル集積回路において、所定の出力ニューロンｉ
   に対し前記学習手段が、前記メモリに記憶されると共に
   出力ニューロンｉの方へと集中する入力ニューロンｊを
   結合するシナプスを特徴付ける各シナプス結合係数で並
   列に同時に作動するようにするために、前記学習手段が
   ： −各シナプス結合係数に対して修正を行な うべきか、否かを決定すると共に、この修正値の符号も
   決定するために、ニューロンの状態Ｖｊと、各出力ニュ
   ーロンｉに関連する補正成分Ｓｉとにより形成されるパ
   ラメータで学習機能をさせる手段；及び −前記修正値の符号と、該当する出力ニュ ーロンｉに関連すると共に該出力ニューロンの方へと集
   中する全入力ニューロンｊに共通の補正値Δｉにも基い
   て新規のシナプス結合係数Ｃｉｊを並列に決定する増分
   ／減分素子；を具え、ここにΔｉは入力ニューロンｊの
   状態か、出力ニューロンの状態か、これら両タイプの状
   態を組合せ、且つ回路そのものにより決定されるか、或
   いは回路以外から供給される関数のいずれかに関連する
   補正値とし、Ｓｉが入力ニューロンｊの状態か、所定の
   出力ニューロンｉの状態か、或いはこれら両タイプの状
   態の関数であり、しかも回路以外から供給される状態の
   いずれかを表わすようにしたことを特徴とするニューラ
   ル集積回路。
2. ２．　前記学習機能をさせる手段を、論理ＡＮＤゲート
   か、論理排他的ＯＲゲートか、複雑な機能を実行する組
   合せゲートのいずれかとしたことを特徴とする請求項１
   記載のニューラル集積回路。
3. ３．　前記学習機能を実行させる手段が、論理値１か、
   論理値０か、ニューロンの状態Ｖｊ又は補正成分Ｓｉの
   少なくとも１ビットか、これらの補数のいずれかを選択
   する多数入力マルチプレクサを具えていることを特徴と
   する請求項１記載のニューラル集積回路。
4. ４．　前記増分／減分素子による演算を各々が数ビット
   にコード化されるニューロン状態での数回の繰返し演算
   サイクルで実行するようにしたことを特徴とする請求項
   １〜３のいずれかに記載のニューラル集積回路。
5. ５．　前記演算を乗算演算とすることを特徴とする請求
   項４に記載のニューラル集積回路。
6. ６．　前記増分／減分素子の各々が記憶機能を有するこ
   とを特徴とする請求項１〜５のいずれかに記載のニュー
   ラル集積回路。
7. ７．　補正成分Ｓｉを受信する補正レジスタも具えてい
   ることを特徴とする請求項１〜６のいずれかに記載のニ
   ューラル集積回路。
8. ８．　前記補正値Δｉを発生させるために補正成分Ｓｉ
   で補正機能Ｆを実行させる補正回路も具えていることを
   特徴とする請求項１〜７のいずれかに記載のニューラル
   集積回路。
9. ９．　前記各増分／減分素子が入力桁上げ用入力端子及
   び出力桁上げ用の出力端子を具え、ニューロンの発生数
   に対する処理能力を拡張するために回路を再編成するか
   、又は数個の回路を縦続配置し得るようにしたことを特
   徴とする請求項１〜８のいずれかに記載のニューラル集
   積回路。
10. １０．　請求項１〜９のいずれかに記載のニューラル集
    積回路及び処理装置も具えていることを特徴とするニュ
    ーラル・ネットワークシステム。