JPH04229384A - パターン認識用ニューラルネットワーク装置及び方法 - Google Patents
パターン認識用ニューラルネットワーク装置及び方法Info
- Publication number
- JPH04229384A JPH04229384A JP3191318A JP19131891A JPH04229384A JP H04229384 A JPH04229384 A JP H04229384A JP 3191318 A JP3191318 A JP 3191318A JP 19131891 A JP19131891 A JP 19131891A JP H04229384 A JPH04229384 A JP H04229384A
- Authority
- JP
- Japan
- Prior art keywords
- pattern
- vigilance
- neural network
- parameter
- calculated
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/23—Clustering techniques
- G06F18/232—Non-hierarchical techniques
- G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
- G06F18/23211—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with adaptive number of clusters
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/10—Character recognition
- G06V30/19—Recognition using electronic means
- G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
- G06V30/19107—Clustering techniques
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Computational Linguistics (AREA)
- Mathematical Physics (AREA)
- Molecular Biology (AREA)
- Multimedia (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Image Analysis (AREA)
- Character Discrimination (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【０００１】
【産業上の利用分野】本発明は信号処理に関するもので
あって、更に詳細には、パターン認識用の信号プロセサ
において使用されるニューラルネットワーク（神経回路
網）に関するものである。
あって、更に詳細には、パターン認識用の信号プロセサ
において使用されるニューラルネットワーク（神経回路
網）に関するものである。
【０００２】
【従来の技術】最近の信号プロセサの実施化においてニ
ューラルネットワーク（神経回路網）がより重要となっ
ている。事実上全ての処理が逐次的に実施される一つの
中心的な専用処理装置を有する従来のデジタルコンピュ
ータと異なり、ニューラルネットワークは、多数の簡単
な処理モジュールを有しており、該モジュールの間にお
いて、処理が分散され且つ同時的に実行される。処理モ
ジュール間の多数の相互接続はニューラルネットワーク
に対するメモリとして作用する。
ューラルネットワーク（神経回路網）がより重要となっ
ている。事実上全ての処理が逐次的に実施される一つの
中心的な専用処理装置を有する従来のデジタルコンピュ
ータと異なり、ニューラルネットワークは、多数の簡単
な処理モジュールを有しており、該モジュールの間にお
いて、処理が分散され且つ同時的に実行される。処理モ
ジュール間の多数の相互接続はニューラルネットワーク
に対するメモリとして作用する。
【０００３】ニューラルネットワークの重要性は、特に
、パターン認識の分野において顕著であり、更により特
定的には、手書き数字の認識の分野において顕著である
。パターン認識、及び特に手書き数字の認識は、多数の
分野において重要なものである。一つの非常に重要な例
としては、アメリカ合衆国の郵便事業は、郵便物上の手
書きされた郵便番号を自動的に認識するための高速且つ
高度に正確な手書き数字認識装置乃至は方法に対する必
要性を有している。ニューラルネットワークは、それが
自己組織型、即ち学習能力を有するので、この分野にお
いて特に魅力のある技術である。
、パターン認識の分野において顕著であり、更により特
定的には、手書き数字の認識の分野において顕著である
。パターン認識、及び特に手書き数字の認識は、多数の
分野において重要なものである。一つの非常に重要な例
としては、アメリカ合衆国の郵便事業は、郵便物上の手
書きされた郵便番号を自動的に認識するための高速且つ
高度に正確な手書き数字認識装置乃至は方法に対する必
要性を有している。ニューラルネットワークは、それが
自己組織型、即ち学習能力を有するので、この分野にお
いて特に魅力のある技術である。
【０００４】適応パターン認識ネットワークを実現する
場合に有用なニューラルネットワークの一つは、「競争
的学習モデル（ＣＬＭ）」に従って構成され且つ図１に
示してある。このＣＬＭネットワーク１０は、二組のノ
ード、即ち「ニューロン（神経単位）」を有しており、
それらは適応重みマトリクスを介して結合されている。 第一組１２のニューロンは、「Ｆ１層」と呼ばれ且つ入
力ニューロン１４ａ−１４ｍを有している。第二組１３
のニューロンは「Ｆ２層」と呼ばれ且つ出力ニューロン
２２ａ−２２ｎを有している。入力ニューロン１４ａ−
１４ｍの各々は、夫々、入力信号Ｉ１−ＩＭを受取る。 これらの入力信号Ｉ１−ＩＭは、認識されるべき画像乃
至はパターン情報を表わしている。例えば、入力信号Ｉ
１−ＩＭは、認識することを所望される画像乃至はパタ
ーンからの個々の画素を表わす信号とすることが可能で
ある（尚、Ｍ＝画素数）。
場合に有用なニューラルネットワークの一つは、「競争
的学習モデル（ＣＬＭ）」に従って構成され且つ図１に
示してある。このＣＬＭネットワーク１０は、二組のノ
ード、即ち「ニューロン（神経単位）」を有しており、
それらは適応重みマトリクスを介して結合されている。 第一組１２のニューロンは、「Ｆ１層」と呼ばれ且つ入
力ニューロン１４ａ−１４ｍを有している。第二組１３
のニューロンは「Ｆ２層」と呼ばれ且つ出力ニューロン
２２ａ−２２ｎを有している。入力ニューロン１４ａ−
１４ｍの各々は、夫々、入力信号Ｉ１−ＩＭを受取る。 これらの入力信号Ｉ１−ＩＭは、認識されるべき画像乃
至はパターン情報を表わしている。例えば、入力信号Ｉ
１−ＩＭは、認識することを所望される画像乃至はパタ
ーンからの個々の画素を表わす信号とすることが可能で
ある（尚、Ｍ＝画素数）。
【０００５】入力主題パターン情報Ｉｉは典型的に画素
マップ型情報である。認識することを所望される主題パ
ターンは、典型的に、最初に従来のビデオカメラ及びフ
レームグラバ（不図示）によってビデオ画像として採取
され、尚その場合に、任意のグレイレベル情報を黒又は
白の情報に適応させるために信号スレッシュホールドが
使用される。この黒白情報は、水平方向及び垂直方向の
両方において、予め選択した寸法のビデオフレーム内に
フィットすべくスケーリング、即ち拡縮される。このビ
デオフレームは、事実上任意の寸法のものとすることが
可能であり、一般的な寸法としては１６×１６又は８×
８画素である。水平方向のスケーリングは、該パターン
情報の左側を揃え、且つ垂直スケーリングに対して比例
的な割合とされて、スケールされた画素マップ型主題パ
ターン情報が過剰に歪みを発生することを防止する。
マップ型情報である。認識することを所望される主題パ
ターンは、典型的に、最初に従来のビデオカメラ及びフ
レームグラバ（不図示）によってビデオ画像として採取
され、尚その場合に、任意のグレイレベル情報を黒又は
白の情報に適応させるために信号スレッシュホールドが
使用される。この黒白情報は、水平方向及び垂直方向の
両方において、予め選択した寸法のビデオフレーム内に
フィットすべくスケーリング、即ち拡縮される。このビ
デオフレームは、事実上任意の寸法のものとすることが
可能であり、一般的な寸法としては１６×１６又は８×
８画素である。水平方向のスケーリングは、該パターン
情報の左側を揃え、且つ垂直スケーリングに対して比例
的な割合とされて、スケールされた画素マップ型主題パ
ターン情報が過剰に歪みを発生することを防止する。
【０００６】このスケールされた画素マップ型主題パタ
ーン情報は、絶対的に必要な主題パターンのライン、即
ちその「スケルトン（骨格）」のみが残存する迄、該主
題パターン内の不必要な画素を除去するために「スケル
トン操作」を行なう。これにより、幅広のライン乃至は
ストロークは細いライン乃至ストロークへ還元させる。 このスケルトン化された画素マップ型主題パターン情報
はパターン情報Ｉｉとして出力される。
ーン情報は、絶対的に必要な主題パターンのライン、即
ちその「スケルトン（骨格）」のみが残存する迄、該主
題パターン内の不必要な画素を除去するために「スケル
トン操作」を行なう。これにより、幅広のライン乃至は
ストロークは細いライン乃至ストロークへ還元させる。 このスケルトン化された画素マップ型主題パターン情報
はパターン情報Ｉｉとして出力される。
【０００７】第一入力ニューロン１４ａは、適応重みマ
トリクス１８へ供給するために、その入力信号Ｉ１を複
数個のパターン信号１６ａａ−１６ａｎへ分割乃至は複
製する。各パターン信号１６ａａ−１６ａｎは、個別的
に、それ自身の夫々のマトリクス要素、即ち「重み（ウ
エイト）」１８ａａ−１８ａｎへ供給される。各パター
ン信号１６ａａ−１６ａｎはその夫々のマトリクス要素
１８ａａ−１８ａｎによって重み付け、例えば乗算され
て、重み付けされたパターン信号２０ａａ−２０ａｎを
発生する。これらの重み付けされたパターン信号２０ａ
ａ−２０ａｎは、夫々、出力ニューロン２２ａ−２２ｎ
へ供給される。
トリクス１８へ供給するために、その入力信号Ｉ１を複
数個のパターン信号１６ａａ−１６ａｎへ分割乃至は複
製する。各パターン信号１６ａａ−１６ａｎは、個別的
に、それ自身の夫々のマトリクス要素、即ち「重み（ウ
エイト）」１８ａａ−１８ａｎへ供給される。各パター
ン信号１６ａａ−１６ａｎはその夫々のマトリクス要素
１８ａａ−１８ａｎによって重み付け、例えば乗算され
て、重み付けされたパターン信号２０ａａ−２０ａｎを
発生する。これらの重み付けされたパターン信号２０ａ
ａ−２０ａｎは、夫々、出力ニューロン２２ａ−２２ｎ
へ供給される。
【０００８】入力信号Ｉ１は、アナログ電圧乃至は電流
とすることが可能であり、パターン信号１６ａａ−１６
ａｎもアナログ電圧乃至は電流とすることが可能である
。アナログパターン信号１６ａａ−１６ａｎの各々はス
ケールしていないものとすることが可能であり、即ち入
力信号Ｉ１の値と等しいものとすることが可能であり（
例えば、マトリクス要素１８ａａ−１８ａｎ内において
電圧ホロワ乃至は電流ミラーを使用することにより）、
又は各々がスケールされたものとすることが可能であり
、例えば入力信号Ｉ１をＫで割算した値と等しい値を有
するものが可能であり、その場合Ｋはスケーリングファ
クタとして任意に選択可能な数である。一方、入力信号
Ｉ１はデジタル信号（例えば、単一の２進ビット）とす
ることが可能であり、パターン信号１６ａａ−１６ａｎ
の各々は同一の値としたデジタル信号とすることが可能
である。
とすることが可能であり、パターン信号１６ａａ−１６
ａｎもアナログ電圧乃至は電流とすることが可能である
。アナログパターン信号１６ａａ−１６ａｎの各々はス
ケールしていないものとすることが可能であり、即ち入
力信号Ｉ１の値と等しいものとすることが可能であり（
例えば、マトリクス要素１８ａａ−１８ａｎ内において
電圧ホロワ乃至は電流ミラーを使用することにより）、
又は各々がスケールされたものとすることが可能であり
、例えば入力信号Ｉ１をＫで割算した値と等しい値を有
するものが可能であり、その場合Ｋはスケーリングファ
クタとして任意に選択可能な数である。一方、入力信号
Ｉ１はデジタル信号（例えば、単一の２進ビット）とす
ることが可能であり、パターン信号１６ａａ−１６ａｎ
の各々は同一の値としたデジタル信号とすることが可能
である。
【０００９】当業者にとって明らかな如く、入力信号Ｉ
１及びパターン信号１６ａａ−１６ａｎがアナログ電圧
乃至は電流である場合、マトリクス要素１８ａａ−１８
ａｎは、抵抗、又は適宜バイアスされたトランジスタ、
又はそれらの組合わせから構成することが可能である。 このような構成要素は、公知の手段によって一体的に結
合させて、前述した如く、パターン信号１６ａａ−１６
ａｎの重み付けのために電圧乃至は電流の増幅又は減衰
を行なわせることが可能である。
１及びパターン信号１６ａａ−１６ａｎがアナログ電圧
乃至は電流である場合、マトリクス要素１８ａａ−１８
ａｎは、抵抗、又は適宜バイアスされたトランジスタ、
又はそれらの組合わせから構成することが可能である。 このような構成要素は、公知の手段によって一体的に結
合させて、前述した如く、パターン信号１６ａａ−１６
ａｎの重み付けのために電圧乃至は電流の増幅又は減衰
を行なわせることが可能である。
【００１０】当業者により理解される如く、入力信号Ｉ
１及びパターン信号１６ａａ−１６ａｎがデジタル信号
である場合には、マトリクス要素１８ａａ−１８ａｎは
適宜のデジタル論理回路（例えば、デジタル加算器、デ
ジタル割算器）から構成することが可能である。このよ
うな構成要素は、公知の手段によって一体的に結合させ
て、上述した如く、パターン信号１６ａａ−１６ａｎの
重み付けのためにデジタル信号の乗算又は割算を実施す
ることが可能である。
１及びパターン信号１６ａａ−１６ａｎがデジタル信号
である場合には、マトリクス要素１８ａａ−１８ａｎは
適宜のデジタル論理回路（例えば、デジタル加算器、デ
ジタル割算器）から構成することが可能である。このよ
うな構成要素は、公知の手段によって一体的に結合させ
て、上述した如く、パターン信号１６ａａ−１６ａｎの
重み付けのためにデジタル信号の乗算又は割算を実施す
ることが可能である。
【００１１】第一出力ニューロン２２ａは、その重み付
けされたパターン信号２０ａａ−２０ｍａを受取り且つ
それらを加算して一つの出力信号Ｖ１を発生する。これ
らの重み付けされたパターン信号２０ａａ−２０ｍａが
アナログ電流である場合には、出力ニューロン２２ａは
、単に、電流加算ノードから構成することが可能である
。重み付けしたパターン信号２０ａａ−２０ｍａがデジ
タルビットである場合には、出力ニューロン２２ａは、
デジタル加算回路とすることがが可能であり、出力信号
Ｖ１はその加算値を表わすデジタル信号である。
けされたパターン信号２０ａａ−２０ｍａを受取り且つ
それらを加算して一つの出力信号Ｖ１を発生する。これ
らの重み付けされたパターン信号２０ａａ−２０ｍａが
アナログ電流である場合には、出力ニューロン２２ａは
、単に、電流加算ノードから構成することが可能である
。重み付けしたパターン信号２０ａａ−２０ｍａがデジ
タルビットである場合には、出力ニューロン２２ａは、
デジタル加算回路とすることがが可能であり、出力信号
Ｖ１はその加算値を表わすデジタル信号である。
【００１２】前述した信号処理は、同様に、残りの入力
ニューロン１４ｂ−１４ｍ、適応重みマトリクス１８内
のマトリクス要素１８ｂａ−１８ｍｎ及び出力ニューロ
ン２２ｂ−２２ｎについても実施される。ＣＬＭネット
ワーク１０において、出力ニューロン出力信号Ｖ１−Ｖ
Ｍのうちの最も大きなもののみが使用され、従って「競
争的学習（コンペチチ ブラーニング）」と呼ばれる
。 出力ニューロン２２ａ−２２ｎは競争して、入力パター
ン信号Ｉ１−ＩＭによって表わされる入力パターン情報
を分類する場合に使用すべく選択される出力信号Ｖｊを
発生する。
ニューロン１４ｂ−１４ｍ、適応重みマトリクス１８内
のマトリクス要素１８ｂａ−１８ｍｎ及び出力ニューロ
ン２２ｂ−２２ｎについても実施される。ＣＬＭネット
ワーク１０において、出力ニューロン出力信号Ｖ１−Ｖ
Ｍのうちの最も大きなもののみが使用され、従って「競
争的学習（コンペチチ ブラーニング）」と呼ばれる
。 出力ニューロン２２ａ−２２ｎは競争して、入力パター
ン信号Ｉ１−ＩＭによって表わされる入力パターン情報
を分類する場合に使用すべく選択される出力信号Ｖｊを
発生する。
【００１３】勝残りの出力ニューロンに隣接する適応重
みマトリクス１８内のマトリクス要素乃至は適応重みは
修正され、即ちそれらは「学習」する。例えば、「ｊ番
目」の出力ニューロン２２ｊが勝残りノードであるとす
ると、勝残りノード２２ｊに隣接する適応重みマトリク
ス１８内の適応重みを表わす適応重みベクトルＺｊ＝（
Ｚ１ｊ，Ｚ２ｊ，．．．，ＺＭｊ）が修正される。この
修正は、それ自身と入力パターン情報信号Ｉ１−ＩＭ（
即ち、パターン信号１６ａｊ−１６ｍｊ）との間のエラ
ーを減少させるために行なわれる。例えば、各マトリク
ス要素に対するこの修正は、次式 尚、ε＝適応重みベクトルＺｊとパターン信号ベクトル
Ｘｊとの間のエラー、Ｘｉ＝パターン信号１６ａａ−１
６ａｎがスケールされていない場合にはＩｉであり、一
方パターン信号１６ａａ−１６ａｎがスケールされてい
る場合にはＩｉ／Ｋである。によって表わすことが可能
である。
みマトリクス１８内のマトリクス要素乃至は適応重みは
修正され、即ちそれらは「学習」する。例えば、「ｊ番
目」の出力ニューロン２２ｊが勝残りノードであるとす
ると、勝残りノード２２ｊに隣接する適応重みマトリク
ス１８内の適応重みを表わす適応重みベクトルＺｊ＝（
Ｚ１ｊ，Ｚ２ｊ，．．．，ＺＭｊ）が修正される。この
修正は、それ自身と入力パターン情報信号Ｉ１−ＩＭ（
即ち、パターン信号１６ａｊ−１６ｍｊ）との間のエラ
ーを減少させるために行なわれる。例えば、各マトリク
ス要素に対するこの修正は、次式 尚、ε＝適応重みベクトルＺｊとパターン信号ベクトル
Ｘｊとの間のエラー、Ｘｉ＝パターン信号１６ａａ−１
６ａｎがスケールされていない場合にはＩｉであり、一
方パターン信号１６ａａ−１６ａｎがスケールされてい
る場合にはＩｉ／Ｋである。によって表わすことが可能
である。
【００１４】ＣＬＭネットワーク１０は良好に動作して
、入力パターンがＦ２層１３内における出力ニューロン
２２ａ−２２ｎの数と相対的に余り多くのクラスタを形
成しない場合には、入力パターンを分類し、即ち「クラ
スタ」させる。クラスタの数が出力ニューロン２２ａ−
２２ｎの数を超えない場合には、適応重みマトリクス１
８が、その学習プロセスに関して究極的に安定化し、且
つ入力パターンを分類するための適応重みベクトルの良
好な分布を発生する。
、入力パターンがＦ２層１３内における出力ニューロン
２２ａ−２２ｎの数と相対的に余り多くのクラスタを形
成しない場合には、入力パターンを分類し、即ち「クラ
スタ」させる。クラスタの数が出力ニューロン２２ａ−
２２ｎの数を超えない場合には、適応重みマトリクス１
８が、その学習プロセスに関して究極的に安定化し、且
つ入力パターンを分類するための適応重みベクトルの良
好な分布を発生する。
【００１５】しかしながら、ＣＬＭネットワーク１０は
常に学習を行ない且つ一時的に安定な適応重みマトリク
ス１８を維持するわけではない。入力パターンの確率に
おいて又は入力パターンのシーケンス動作においての時
間に亘っての変化が適応重みマトリクス１８によって以
前の学習を「洗い流す」ことが可能であり、その際にメ
モリのウォッシュアウトを発生する。
常に学習を行ない且つ一時的に安定な適応重みマトリク
ス１８を維持するわけではない。入力パターンの確率に
おいて又は入力パターンのシーケンス動作においての時
間に亘っての変化が適応重みマトリクス１８によって以
前の学習を「洗い流す」ことが可能であり、その際にメ
モリのウォッシュアウトを発生する。
【００１６】ＣＬＭネットワークのこれらの制限を解消
するために、「適応共振理論（ａｄａｐｔｉｖｅ ｒ
ｅｓｏｎａｎｃｅ ｔｈｅｏｒｙ）」と呼称され、「
ＡＲＴ」と簡略化されて呼ばれる理論によって提案され
るモデルに従って別のネットワークが開発されている。 このようなネットワークの一実施例を図２に示してある
。ＡＲＴネットワーク４０は、ＣＬＭネットワーク１０
と類似しており、適応重みマトリクス４６を介して結合
しされたＦ１層４２とＦ２層４４とを有している。この
適応重みマトリクス４６は、マトリクス係数Ｚｉｊを有
しており、「ボトムアップ」適応重みマトリクスと呼ば
れる。入力パターン情報Ｉｉは、Ｆ１層４２によって受
取られ、且つパターン情報信号Ｘｉ５０へ変換され、該
信号は、ボトムアップ適応重みマトリクス４６、トップ
ダウン適応重みマトリクス５２（係数Ｚｊｉを有してい
る）及びパターン信号加算器５４ヘ供給される。Ｆ２層
４４は、重み付けされたパターン信号５６を受取り且つ
それらを、図１におけるＣＬＭネットワーク１０に関し
て上述した如く、出力信号Ｖｊ５８へ変換する。これら
の出力信号５８は、パターン分類器６０へ供給され、そ
こで、最も高い値の出力信号Ｖｊｍが選択され且つパタ
ーンメモリ６２内に格納されるそれに対応するパターン
データを選択するために使用される（この点については
、後に詳述する）。
するために、「適応共振理論（ａｄａｐｔｉｖｅ ｒ
ｅｓｏｎａｎｃｅ ｔｈｅｏｒｙ）」と呼称され、「
ＡＲＴ」と簡略化されて呼ばれる理論によって提案され
るモデルに従って別のネットワークが開発されている。 このようなネットワークの一実施例を図２に示してある
。ＡＲＴネットワーク４０は、ＣＬＭネットワーク１０
と類似しており、適応重みマトリクス４６を介して結合
しされたＦ１層４２とＦ２層４４とを有している。この
適応重みマトリクス４６は、マトリクス係数Ｚｉｊを有
しており、「ボトムアップ」適応重みマトリクスと呼ば
れる。入力パターン情報Ｉｉは、Ｆ１層４２によって受
取られ、且つパターン情報信号Ｘｉ５０へ変換され、該
信号は、ボトムアップ適応重みマトリクス４６、トップ
ダウン適応重みマトリクス５２（係数Ｚｊｉを有してい
る）及びパターン信号加算器５４ヘ供給される。Ｆ２層
４４は、重み付けされたパターン信号５６を受取り且つ
それらを、図１におけるＣＬＭネットワーク１０に関し
て上述した如く、出力信号Ｖｊ５８へ変換する。これら
の出力信号５８は、パターン分類器６０へ供給され、そ
こで、最も高い値の出力信号Ｖｊｍが選択され且つパタ
ーンメモリ６２内に格納されるそれに対応するパターン
データを選択するために使用される（この点については
、後に詳述する）。
【００１７】パターン信号Ｘｉ５０は、トップダウン適
応重みマトリクス５２の係数Ｚｊｉによって乗算され且
つトップダウン加算器６４によって加算される。この加
算の結果６６及びパターン信号加算器５４によるパター
ン信号Ｘｉ５０の加算の結果６８は、ビジランス（警戒
）テスタ７０へ供給される。ビジランステスタ７０は、
トップダウン加算器６４によって発生された結果６６を
、パターン信号加算器５４によって発生された結果６８
によって割算し、計算済ビジランスパラメータＰｃｊｍ
を発生する（ビジランステスタ７０に対して内部的に）
。この計算済ビジランスパラメータＰｃｊｍは、最高の
値の出力信号Ｖｊｍを発生するＦ２層４４内の出力ニュ
ーロンに対応している。このことは、インターフェース
７２を介して、最大出力信号Ｖｊｍを発生する出力ニュ
ーロンに対応する係数Ｖｊｉが使用されることをパター
ン分類器６０が支配するので確保される。
応重みマトリクス５２の係数Ｚｊｉによって乗算され且
つトップダウン加算器６４によって加算される。この加
算の結果６６及びパターン信号加算器５４によるパター
ン信号Ｘｉ５０の加算の結果６８は、ビジランス（警戒
）テスタ７０へ供給される。ビジランステスタ７０は、
トップダウン加算器６４によって発生された結果６６を
、パターン信号加算器５４によって発生された結果６８
によって割算し、計算済ビジランスパラメータＰｃｊｍ
を発生する（ビジランステスタ７０に対して内部的に）
。この計算済ビジランスパラメータＰｃｊｍは、最高の
値の出力信号Ｖｊｍを発生するＦ２層４４内の出力ニュ
ーロンに対応している。このことは、インターフェース
７２を介して、最大出力信号Ｖｊｍを発生する出力ニュ
ーロンに対応する係数Ｖｊｉが使用されることをパター
ン分類器６０が支配するので確保される。
【００１８】ビジランステスタ７０は、計算済ビジラン
スパラメータＰｃｊｍを基準ビジランスパラメータＰｒ
と比較する。計算済ビジランスパラメータＰｃｊｍが基
準ビジランスパラメータＰｒと等しくないか又はそれを
超えるものではない場合に、ビジランステスタ７０はそ
のＦ２層インターフェース信号７４としてディスエーブ
ル命令を出力し、その特定の計算済ビジランスパラメー
タＰｃｊｍに対応するＦ２層４４内の出力ニューロンを
ディスエーブルさせる。次いで、２番目に高い出力信号
Ｖｊがパターン分類器６０によって選択され、且つトッ
プダウン適応重みマトリクス５２の適宜の係数Ｚｊｉを
使用して、新たな計算済ビジランスパラメータＰｃｊｍ
が計算される。
スパラメータＰｃｊｍを基準ビジランスパラメータＰｒ
と比較する。計算済ビジランスパラメータＰｃｊｍが基
準ビジランスパラメータＰｒと等しくないか又はそれを
超えるものではない場合に、ビジランステスタ７０はそ
のＦ２層インターフェース信号７４としてディスエーブ
ル命令を出力し、その特定の計算済ビジランスパラメー
タＰｃｊｍに対応するＦ２層４４内の出力ニューロンを
ディスエーブルさせる。次いで、２番目に高い出力信号
Ｖｊがパターン分類器６０によって選択され、且つトッ
プダウン適応重みマトリクス５２の適宜の係数Ｚｊｉを
使用して、新たな計算済ビジランスパラメータＰｃｊｍ
が計算される。
【００１９】基準ビジランスパラメータＰｒと等しいか
又はそれを超える計算済ビジランスパラメータＰｃｊｍ
が発生する場合には、ビジランステスタ７０が、ボトム
アップ適応重みマトリクス４６の係数Ｚｉｊ及びトップ
ダウン適応重みマトリクス５２の係数Ｚｊｉを、パター
ン情報信号Ｘｉ５０に従って変化させ、即ち「学習」さ
せる（以下に更に詳細に説明する）。この「学習」動作
は、ボトムアップ４６及びトップダウン５２の適応重み
マトリクスへビジランステスタ７０によって出力される
学習イネーブル信号７６，７８を介して実行される。
又はそれを超える計算済ビジランスパラメータＰｃｊｍ
が発生する場合には、ビジランステスタ７０が、ボトム
アップ適応重みマトリクス４６の係数Ｚｉｊ及びトップ
ダウン適応重みマトリクス５２の係数Ｚｊｉを、パター
ン情報信号Ｘｉ５０に従って変化させ、即ち「学習」さ
せる（以下に更に詳細に説明する）。この「学習」動作
は、ボトムアップ４６及びトップダウン５２の適応重み
マトリクスへビジランステスタ７０によって出力される
学習イネーブル信号７６，７８を介して実行される。
【００２０】基準ビジランスパラメータＰｒと等しいか
又はそれを超える計算済ビジランスパラメータＰｃｊｍ
が上述した如くに計算された場合、それに対応する出力
信号Ｖｊｍがパターン分類器６０によって選択され、且
つそれから出力するためにパターンメモリ６２からのパ
ターンデータを選択するために使用される。この選択さ
れたパターンデータは、入力パターン情報Ｉｉに対応す
るものとして認識されたパターンを表わす。次いで、ビ
ジランステスタ７０は、そのＦ２層インターフェース信
号７４としてイネーブル命令を出力し、以前にディスエ
ーブルされたＦ２層４４内の出力ニューロンを再度イネ
ーブルさせ且つ前述したプロセスを次のパターンに対し
て繰返し行なう。
又はそれを超える計算済ビジランスパラメータＰｃｊｍ
が上述した如くに計算された場合、それに対応する出力
信号Ｖｊｍがパターン分類器６０によって選択され、且
つそれから出力するためにパターンメモリ６２からのパ
ターンデータを選択するために使用される。この選択さ
れたパターンデータは、入力パターン情報Ｉｉに対応す
るものとして認識されたパターンを表わす。次いで、ビ
ジランステスタ７０は、そのＦ２層インターフェース信
号７４としてイネーブル命令を出力し、以前にディスエ
ーブルされたＦ２層４４内の出力ニューロンを再度イネ
ーブルさせ且つ前述したプロセスを次のパターンに対し
て繰返し行なう。
【００２１】ＡＲＴネットワーク４０の前述した動作説
明を示す簡単化したフローチャートを図３に示してある
。最初のステップ８０は、Ｌ（予め選択した収束パラメ
ータ、後述する）、Ｍ（入力ニューロンの数及び入力パ
ターンを表わす画素数に等しい）、Ｎ（出力ニューロン
の数及び認識されることを所望するパターン数に等しい
）、Ｐｒ（基準ビジランスパラメータ）、Ｚｉｊ（０）
（時間ｔ＝０におけるボトムアップマトリクス係数）、
Ｚｊｉ（０）（時間ｔ＝０におけるトップダウンマトリ
クス係数）の値を初期化させる。
明を示す簡単化したフローチャートを図３に示してある
。最初のステップ８０は、Ｌ（予め選択した収束パラメ
ータ、後述する）、Ｍ（入力ニューロンの数及び入力パ
ターンを表わす画素数に等しい）、Ｎ（出力ニューロン
の数及び認識されることを所望するパターン数に等しい
）、Ｐｒ（基準ビジランスパラメータ）、Ｚｉｊ（０）
（時間ｔ＝０におけるボトムアップマトリクス係数）、
Ｚｊｉ（０）（時間ｔ＝０におけるトップダウンマトリ
クス係数）の値を初期化させる。
【００２２】Ｌに対する値は、１より大きな任意の値と
することが可能であり（即ち、Ｌ＞１）、しかしながら
、それは、通常、最適な収束率（更に詳細に後で説明す
る）のために２の値（即ち、Ｌ＝２）を有するべく予め
選択される。Ｍ及びＮに対する値は、夫々、入力パター
ン及び認識されることを所望するパターン（例えば、ク
ラスタ）を表わす画素数に依存し且つ該数に等しく選択
される。基準ビジランスパラメータＰｒに対する値は、
後により詳細に説明する如く、０と１との間の値を有す
るべく初期化される（即ち、０＜Ｐｒ＜１）。トップダ
ウンマトリクス係数Ｚｊｉ（０）に対する値は、全て、
１の値を有するべく初期化される（即ち、Ｚｊｉ（０）
＝１）。ボトムアップマトリクス係数Ｚｉｊ（０）に対
する値は、０と分数Ｌ／（Ｌ−１＋Ｍ）との間の値を有
するべく初期化される。即ち、０＜Ｚｉｊ（０）＜Ｌ／
（Ｌ−１＋Ｍ）の不等式の関係に従う。
することが可能であり（即ち、Ｌ＞１）、しかしながら
、それは、通常、最適な収束率（更に詳細に後で説明す
る）のために２の値（即ち、Ｌ＝２）を有するべく予め
選択される。Ｍ及びＮに対する値は、夫々、入力パター
ン及び認識されることを所望するパターン（例えば、ク
ラスタ）を表わす画素数に依存し且つ該数に等しく選択
される。基準ビジランスパラメータＰｒに対する値は、
後により詳細に説明する如く、０と１との間の値を有す
るべく初期化される（即ち、０＜Ｐｒ＜１）。トップダ
ウンマトリクス係数Ｚｊｉ（０）に対する値は、全て、
１の値を有するべく初期化される（即ち、Ｚｊｉ（０）
＝１）。ボトムアップマトリクス係数Ｚｉｊ（０）に対
する値は、０と分数Ｌ／（Ｌ−１＋Ｍ）との間の値を有
するべく初期化される。即ち、０＜Ｚｉｊ（０）＜Ｌ／
（Ｌ−１＋Ｍ）の不等式の関係に従う。
【００２３】次のステップ８２は、入力パターン情報Ｉ
ｉを入力するものである。これらの値Ｉｉは、前述した
如く、Ｆ１層４２内に入力される。次のステップ８４は
、マッチング、即ち一致するスコアを計算するものであ
り、即ち、出力ニューロンによって出力される信号Ｖｊ
に対する値である。前述した如く、夫々の出力Ｖｊに対
する値は、夫々の入力を出力ニューロンの各々の中に加
算することによって計算される。数学的には、この動作
ステップ８４は次式、 に従って書込むことが可能である。
ｉを入力するものである。これらの値Ｉｉは、前述した
如く、Ｆ１層４２内に入力される。次のステップ８４は
、マッチング、即ち一致するスコアを計算するものであ
り、即ち、出力ニューロンによって出力される信号Ｖｊ
に対する値である。前述した如く、夫々の出力Ｖｊに対
する値は、夫々の入力を出力ニューロンの各々の中に加
算することによって計算される。数学的には、この動作
ステップ８４は次式、 に従って書込むことが可能である。
【００２４】次のステップ８６は、ベストマッチ（即ち
、最も良く一致する）例を選択するものであり、即ち出
力ニューロンからの最も高い値の出力信号Ｖｊｍを選択
する。数学的には、このステップは、次式に従って要約
することが可能である。次のステップ８８は、ビジラン
スパラメータＰｃｊｍを計算するものである。この計算
は、パターン信号Ｘｉと対応するトップダウンマトリク
ス係数Ｚｊｉとの積を加算し且つその結果をパターン信
号Ｘｉの和によって割算することにより実行することが
可能である。数学的には、この動作ステップは、次式 に従って要約することが可能である。
、最も良く一致する）例を選択するものであり、即ち出
力ニューロンからの最も高い値の出力信号Ｖｊｍを選択
する。数学的には、このステップは、次式に従って要約
することが可能である。次のステップ８８は、ビジラン
スパラメータＰｃｊｍを計算するものである。この計算
は、パターン信号Ｘｉと対応するトップダウンマトリク
ス係数Ｚｊｉとの積を加算し且つその結果をパターン信
号Ｘｉの和によって割算することにより実行することが
可能である。数学的には、この動作ステップは、次式 に従って要約することが可能である。
【００２５】次のステップ９０は、計算済ビジランスパ
ラメータＰｃｊｍを基準ビジランスパラメータＰｒと比
較することである。計算済ビジランスパラメータＰｃｊ
ｍが基準ビジランスパラメータＰｒと等しくないか又は
それを超えるものではない場合に、計算済ビジランスパ
ラメータＰｃｊｍに対応する出力ニューロンがディスエ
ーブルされ、即ちその出力信号Ｖｊｍは一時的に０にセ
ットされ（即ち、Ｖｊｍ＝０）、且つ前述したステップ
の幾つかを繰返すことによって該動作が再開する。
ラメータＰｃｊｍを基準ビジランスパラメータＰｒと比
較することである。計算済ビジランスパラメータＰｃｊ
ｍが基準ビジランスパラメータＰｒと等しくないか又は
それを超えるものではない場合に、計算済ビジランスパ
ラメータＰｃｊｍに対応する出力ニューロンがディスエ
ーブルされ、即ちその出力信号Ｖｊｍは一時的に０にセ
ットされ（即ち、Ｖｊｍ＝０）、且つ前述したステップ
の幾つかを繰返すことによって該動作が再開する。
【００２６】計算済マッチングスコアＶｊが格納されて
いる場合、次に最も良く一致する例を選択するステップ
８６で動作が再開する。計算済マッチングスコアＶｊが
保存されなかった場合には、ディスエーブルステップ９
２においてディスエーブルされた出力ニューロンから出
力Ｖｊを脱落させる一方、マッチングスコアＶｊを再計
算するステップ８４で動作が再開する。
いる場合、次に最も良く一致する例を選択するステップ
８６で動作が再開する。計算済マッチングスコアＶｊが
保存されなかった場合には、ディスエーブルステップ９
２においてディスエーブルされた出力ニューロンから出
力Ｖｊを脱落させる一方、マッチングスコアＶｊを再計
算するステップ８４で動作が再開する。
【００２７】計算済ビジランスパラメータＰｃｊｍが基
準ビジランスパラメータＰｒと等しいか又はそれを超え
る場合には、次のステップ９４において最も良くマッチ
ングする例を適応させる。このことは、入力パターンを
表わすパターン信号Ｘｉに従ってボトムアップＺｉｊ及
びトップダウンＺｊｉマトリクス係数を修正することに
よって行なわれる。この修正（即ち、「学習」）は、次
式 に従って実行される。最後のステップ９６は、計算済ビ
ジランスパラメータをＰｃｊｍを基準ビジランスパラメ
ータＰｒと比較するステップ９０に続くディスエーブル
ステップ９２においてディスエーブルされた出力ニュー
ロンを再度イネーブルさせる。ディスエーブルされた全
ての出力ニューロンが再度イネーブルされると、新たな
パターン情報Ｉｉを入力するステップ８２から動作が再
開する。
準ビジランスパラメータＰｒと等しいか又はそれを超え
る場合には、次のステップ９４において最も良くマッチ
ングする例を適応させる。このことは、入力パターンを
表わすパターン信号Ｘｉに従ってボトムアップＺｉｊ及
びトップダウンＺｊｉマトリクス係数を修正することに
よって行なわれる。この修正（即ち、「学習」）は、次
式 に従って実行される。最後のステップ９６は、計算済ビ
ジランスパラメータをＰｃｊｍを基準ビジランスパラメ
ータＰｒと比較するステップ９０に続くディスエーブル
ステップ９２においてディスエーブルされた出力ニュー
ロンを再度イネーブルさせる。ディスエーブルされた全
ての出力ニューロンが再度イネーブルされると、新たな
パターン情報Ｉｉを入力するステップ８２から動作が再
開する。
【００２８】要約すると、入力パターン情報ＩｉがＦ１
層４２を活性化させる。Ｆ１層４２によって発生された
情報乃至は信号ＸｉがＦ２層４４を活性化させ、前述し
た如く、Ｆ１層４２から最大の全体的信号を受取るその
中の出力ニューロンに対応する出力信号Ｖｊを発生する
。この出力ニューロンに対応するトップダウンマトリク
ス係数Ｚｊｉは、入力パターン情報Ｉｉに関する学習済
「例外」を表わす。計算済ビジランスパラメータＰｃｊ
ｍによって表わされる如く、この例外が充足されない場
合、即ち基準ビジランスパラメータＰｒと等しくないか
又はそれを超えない場合、その特定の出力ニューロンの
信号は無視され、且つマッチ、即ち一致が存在するか否
かを判別するために、残りの出力ニューロンの信号が検
査される。該例外が充足される場合、即ち計算済ビジラ
ンスパラメータＰｃｊｍが基準ビジランスパラメータＰ
ｒと等しいか又はそれを超える場合、対応するボトムア
ップＺｉｊ及びトップダウンＺｊｉマトリクス係数は、
トップダウンマトリクス係数Ｚｊｉによって表わされる
例外と密接にマッチすることが判別されているパターン
信号Ｘｉによって表わされる如く、入力情報Ｉｉに従っ
て調節される。
層４２を活性化させる。Ｆ１層４２によって発生された
情報乃至は信号ＸｉがＦ２層４４を活性化させ、前述し
た如く、Ｆ１層４２から最大の全体的信号を受取るその
中の出力ニューロンに対応する出力信号Ｖｊを発生する
。この出力ニューロンに対応するトップダウンマトリク
ス係数Ｚｊｉは、入力パターン情報Ｉｉに関する学習済
「例外」を表わす。計算済ビジランスパラメータＰｃｊ
ｍによって表わされる如く、この例外が充足されない場
合、即ち基準ビジランスパラメータＰｒと等しくないか
又はそれを超えない場合、その特定の出力ニューロンの
信号は無視され、且つマッチ、即ち一致が存在するか否
かを判別するために、残りの出力ニューロンの信号が検
査される。該例外が充足される場合、即ち計算済ビジラ
ンスパラメータＰｃｊｍが基準ビジランスパラメータＰ
ｒと等しいか又はそれを超える場合、対応するボトムア
ップＺｉｊ及びトップダウンＺｊｉマトリクス係数は、
トップダウンマトリクス係数Ｚｊｉによって表わされる
例外と密接にマッチすることが判別されているパターン
信号Ｘｉによって表わされる如く、入力情報Ｉｉに従っ
て調節される。
【００２９】従って、ＡＲＴネットワーク４０は、入力
パターン情報Ｉｉがその学習した予測の何れかと充分に
類似している場合にのみ、「学習」を発生することを許
容する（即ち、その適応重みマトリクスの係数の変更を
許容する）。入力情報Ｉｉが充分に類似していない場合
には、「学習」は行なわれない。しかしながら、入力情
報Ｉｉの検査の結果（即ち、相次ぎより小さな出力信号
Ｖｊを有する出力ニューロンに対応するビジランスパラ
メータＰｃｊｍの計算）、Ｆ２層４４内においてコミッ
トされていない出力ニューロンを選択すると、この以前
にコミットされていない出力ニューロンに対応するボト
ムアップＺｉｊ及びトップダウンＺｊｉマトリクス係数
が、上述した如くに、「学習」を行なう。しかしながら
、更に、ＡＲＴネットワーク４０の全体の容量が使い尽
くされると、即ちＦ２層４４内に最早コミットされてい
ない出力ニューロンが存在せず且つ何れのコミットして
いる出力ニューロンとのマッチ（一致）が存在しない場
合には、学習動作は禁止される。
パターン情報Ｉｉがその学習した予測の何れかと充分に
類似している場合にのみ、「学習」を発生することを許
容する（即ち、その適応重みマトリクスの係数の変更を
許容する）。入力情報Ｉｉが充分に類似していない場合
には、「学習」は行なわれない。しかしながら、入力情
報Ｉｉの検査の結果（即ち、相次ぎより小さな出力信号
Ｖｊを有する出力ニューロンに対応するビジランスパラ
メータＰｃｊｍの計算）、Ｆ２層４４内においてコミッ
トされていない出力ニューロンを選択すると、この以前
にコミットされていない出力ニューロンに対応するボト
ムアップＺｉｊ及びトップダウンＺｊｉマトリクス係数
が、上述した如くに、「学習」を行なう。しかしながら
、更に、ＡＲＴネットワーク４０の全体の容量が使い尽
くされると、即ちＦ２層４４内に最早コミットされてい
ない出力ニューロンが存在せず且つ何れのコミットして
いる出力ニューロンとのマッチ（一致）が存在しない場
合には、学習動作は禁止される。
【００３０】従って、ＡＲＴネットワーク４０は、入力
パターン情報が学習済予測と密接してマッチしない限り
、その適応重みマトリクスを変更することを許容しない
ことによって、メモリウォッシュアウトを防止する。 しかしながら、ＡＲＴネットワーク４０は固定した基準
ビジランスパラメータを有しているので、「完全な」入
力パターン情報のみ、即ち基準ビジランスパラメータと
等しいか又はそれを超える計算済ビジランスパラメータ
を発生する入力パターン情報が認識され且つ適応重みマ
トリクスによる更なる学習動作を先導することが許容さ
れる。「完全」未満の入力パターン情報は、最早コミッ
トされていない出力ニューロンが存在しなくなる迄、新
たな以前にコミットされていない出力ニューロンを介し
てクラスタされる。パターンのクラスタ乃至は「典型」
を発生するＡＲＴネットワーク４０のこの動作の一つの
例を図４に示してある。認識を行なうために入力された
三つのパターン（「Ｃ」、「Ｅ」、「Ｆ」）が左側の欄
に示されている。各入力パターンを印加した後に得られ
る出力パターンを右側の欄に示してある。８×８ビデオ
フレーム（即ち、６４画素）を基準ビジランスパラメー
タＰｒの０．９と共に使用した場合にこれらの出力パタ
ーンが得られる。これは、各文字に対し別々の典型パタ
ーンを形成するのに充分であった。
パターン情報が学習済予測と密接してマッチしない限り
、その適応重みマトリクスを変更することを許容しない
ことによって、メモリウォッシュアウトを防止する。 しかしながら、ＡＲＴネットワーク４０は固定した基準
ビジランスパラメータを有しているので、「完全な」入
力パターン情報のみ、即ち基準ビジランスパラメータと
等しいか又はそれを超える計算済ビジランスパラメータ
を発生する入力パターン情報が認識され且つ適応重みマ
トリクスによる更なる学習動作を先導することが許容さ
れる。「完全」未満の入力パターン情報は、最早コミッ
トされていない出力ニューロンが存在しなくなる迄、新
たな以前にコミットされていない出力ニューロンを介し
てクラスタされる。パターンのクラスタ乃至は「典型」
を発生するＡＲＴネットワーク４０のこの動作の一つの
例を図４に示してある。認識を行なうために入力された
三つのパターン（「Ｃ」、「Ｅ」、「Ｆ」）が左側の欄
に示されている。各入力パターンを印加した後に得られ
る出力パターンを右側の欄に示してある。８×８ビデオ
フレーム（即ち、６４画素）を基準ビジランスパラメー
タＰｒの０．９と共に使用した場合にこれらの出力パタ
ーンが得られる。これは、各文字に対し別々の典型パタ
ーンを形成するのに充分であった。
【００３１】ネットワーク４０は、「Ｃ」、「Ｅ」、「
Ｆ」を逐次的に入力した場合には正確に認識を行なった
。４番目の入力パターン、即ちその上部ライン内におい
て画素が欠落している「雑音」のある「Ｆ」は「Ｆ」と
して正確に分類された。しかしながら、５番目の入力パ
ターン、即ち左側のライン内において画素が欠落してい
る別の雑音が存在する「Ｆ」は異なったものであると考
えられ且つ新たな典型が形成された。雑音のある「Ｆ」
入力に対しては更なる典型が形成され、雑音のある「Ｆ
」典型が成長することとなる。
Ｆ」を逐次的に入力した場合には正確に認識を行なった
。４番目の入力パターン、即ちその上部ライン内におい
て画素が欠落している「雑音」のある「Ｆ」は「Ｆ」と
して正確に分類された。しかしながら、５番目の入力パ
ターン、即ち左側のライン内において画素が欠落してい
る別の雑音が存在する「Ｆ」は異なったものであると考
えられ且つ新たな典型が形成された。雑音のある「Ｆ」
入力に対しては更なる典型が形成され、雑音のある「Ｆ
」典型が成長することとなる。
【００３２】従って、ＡＲＴネットワーク４０はＣＬＭ
ネットワークと関連するメモリウォッシュアウトを防止
するものであるが、それと関連する問題は、「完全な」
パターンのみの認識及び完全未満の入力パターンの過剰
なクラスタ動作によるシステムのオーバーロードを包含
している。図４の例に示される如く、例え小さな量のノ
イズ（雑音）であっても深刻な問題を発生することが可
能であり、且つノイズが存在しない場合であっても、最
も類似する二つのパターンが異なったものとして「認識
される」ように基準ビジランスパラメータＰｒをセット
することが可能である。
ネットワークと関連するメモリウォッシュアウトを防止
するものであるが、それと関連する問題は、「完全な」
パターンのみの認識及び完全未満の入力パターンの過剰
なクラスタ動作によるシステムのオーバーロードを包含
している。図４の例に示される如く、例え小さな量のノ
イズ（雑音）であっても深刻な問題を発生することが可
能であり、且つノイズが存在しない場合であっても、最
も類似する二つのパターンが異なったものとして「認識
される」ように基準ビジランスパラメータＰｒをセット
することが可能である。
【００３３】
【発明が解決しようとする課題】従って、メモリウォッ
シュアウトを防止することが可能であり、完全なもので
ない場合であっても入力パターン情報を密接にマッチさ
せる認識を行なうことを可能とし、且つ完全でない入力
パターン情報の過剰なクラスタ発生によるシステムをオ
ーバーロードすることを防止することが可能なニューラ
ルネットワークを提供することが所望されている。尚、
適用共振理論によって提案されているニューラルネット
ワークに関する更に詳細な情報は、Ｓｔｅｐｈｅｎ
Ｄｒｏｓｓｂｅｒｇ及びＧａｉｌ Ａ． Ｃａｒｐ
ｅｎｔｅｒ著「ニューラルネットワーク及びナチュラル
インテリゼンス（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ
ａｎｄ Ｎａｔｕｒａｌ Ｉｎｔｅｌｌｉｇｅｎ
ｃｅ）」、ライブラリ・オブ・コングレス、１９８８年
、２５１−３１２頁、及びＧａｉｌ Ａ． Ｃａｒ
ｐｅｎｔｅｒ及びＳｔｅｐｈｅｎ Ｇｒｏｓｓｂｅｒ
ｇ著「自己組織型ニューラルネットワークによる適応パ
ターン認識のＡＲＴ（Ｔｈｅ ＡＲＴｏｆ Ａｄａ
ｐｔｉｖｅ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｙｔｉ
ｏｎ Ｂｙ ａＳｅｌｆ−Ｏｒｇａｎｉｚｉｎｇ
Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）」、ＩＥＥＥ・コ
ンピュータ・マガジン、１９８８年３月、７７−８８頁
、及びＲ． Ｐ．Ｌｉｐｐｍａｎｎ著「ニューラルネ
ットでの計算の初歩（Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏ
ｎ ｔｏ Ｃｏｍｐｕｔｉｎｇ Ｗｉｔｈ Ｎ
ｅｕｒａｌ Ｎｅｔｓ）」、ＩＥＥＥ・ＡＳＳＰ・マ
ガジン、１９８７年４月、４−２２頁の文献を参照する
と良い。
シュアウトを防止することが可能であり、完全なもので
ない場合であっても入力パターン情報を密接にマッチさ
せる認識を行なうことを可能とし、且つ完全でない入力
パターン情報の過剰なクラスタ発生によるシステムをオ
ーバーロードすることを防止することが可能なニューラ
ルネットワークを提供することが所望されている。尚、
適用共振理論によって提案されているニューラルネット
ワークに関する更に詳細な情報は、Ｓｔｅｐｈｅｎ
Ｄｒｏｓｓｂｅｒｇ及びＧａｉｌ Ａ． Ｃａｒｐ
ｅｎｔｅｒ著「ニューラルネットワーク及びナチュラル
インテリゼンス（Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ
ａｎｄ Ｎａｔｕｒａｌ Ｉｎｔｅｌｌｉｇｅｎ
ｃｅ）」、ライブラリ・オブ・コングレス、１９８８年
、２５１−３１２頁、及びＧａｉｌ Ａ． Ｃａｒ
ｐｅｎｔｅｒ及びＳｔｅｐｈｅｎ Ｇｒｏｓｓｂｅｒ
ｇ著「自己組織型ニューラルネットワークによる適応パ
ターン認識のＡＲＴ（Ｔｈｅ ＡＲＴｏｆ Ａｄａ
ｐｔｉｖｅ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｙｔｉ
ｏｎ Ｂｙ ａＳｅｌｆ−Ｏｒｇａｎｉｚｉｎｇ
Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）」、ＩＥＥＥ・コ
ンピュータ・マガジン、１９８８年３月、７７−８８頁
、及びＲ． Ｐ．Ｌｉｐｐｍａｎｎ著「ニューラルネ
ットでの計算の初歩（Ａｎ Ｉｎｔｒｏｄｕｃｔｉｏ
ｎ ｔｏ Ｃｏｍｐｕｔｉｎｇ Ｗｉｔｈ Ｎ
ｅｕｒａｌ Ｎｅｔｓ）」、ＩＥＥＥ・ＡＳＳＰ・マ
ガジン、１９８７年４月、４−２２頁の文献を参照する
と良い。
【００３４】
【課題を解決するための手段】本発明に基づくニューラ
ルネットワークはメモリウォッシュアウトを防止し、密
接してマッチしているが完全なものでない入力パターン
情報の認識を行なうことを可能とし、且つ入力パターン
情報の過剰はクラスタによって発生されるシステムのオ
ーバーロードを防止している。本発明に基づくニューラ
ルネットワークは、可視パターンを表わす入力パターン
データを受付けるべく結合されている複数個の入力ニュ
ーロンを具備するＦ１層と、複数個の出力ニューロンを
具備するＦ２層と、Ｆ１層の入力ニューロンをＦ２層の
出力ニューロンへ結合させるボトムアップ適応重みマト
リクスと、Ｆ２層の出力ニューロンをＦ１層の入力ニュ
ーロンへ結合させるトップダウン適応重みマトリクスと
を有している。
ルネットワークはメモリウォッシュアウトを防止し、密
接してマッチしているが完全なものでない入力パターン
情報の認識を行なうことを可能とし、且つ入力パターン
情報の過剰はクラスタによって発生されるシステムのオ
ーバーロードを防止している。本発明に基づくニューラ
ルネットワークは、可視パターンを表わす入力パターン
データを受付けるべく結合されている複数個の入力ニュ
ーロンを具備するＦ１層と、複数個の出力ニューロンを
具備するＦ２層と、Ｆ１層の入力ニューロンをＦ２層の
出力ニューロンへ結合させるボトムアップ適応重みマト
リクスと、Ｆ２層の出力ニューロンをＦ１層の入力ニュ
ーロンへ結合させるトップダウン適応重みマトリクスと
を有している。
【００３５】本ネットワークは、Ｆ２層内でのクラスタ
のためにＦ１層内へ基準パターン情報信号を入力するこ
とにより適応共振理論に従って初期的にトレーニングさ
れる。初期化した後に、ボトムアップ及びトップダウン
適応重みマトリクスが、ビジランスパラメータテスト動
作に従ってトレーニングされ、その際にビジランスパラ
メータが、入力する基準パターン情報及びトップダウン
適応重みマトリクスの係数に基づいて計算され、且つ予
め選択された基準ビジランスパラメータと比較される。 本ネットワークが一組の基準パターンを認識すべくトレ
ーニングされると、認識されることを所望している主題
パターンを表わすパターン情報がＦ１層内へ入力される
。
のためにＦ１層内へ基準パターン情報信号を入力するこ
とにより適応共振理論に従って初期的にトレーニングさ
れる。初期化した後に、ボトムアップ及びトップダウン
適応重みマトリクスが、ビジランスパラメータテスト動
作に従ってトレーニングされ、その際にビジランスパラ
メータが、入力する基準パターン情報及びトップダウン
適応重みマトリクスの係数に基づいて計算され、且つ予
め選択された基準ビジランスパラメータと比較される。 本ネットワークが一組の基準パターンを認識すべくトレ
ーニングされると、認識されることを所望している主題
パターンを表わすパターン情報がＦ１層内へ入力される
。
【００３６】本発明に基づくニューラルネットワークの
好適実施例は、主題パターン情報を解析する場合に調節
可能な基準ビジランスパラメータを支持して固定した基
準ビジランスパラメータを除去することにより適応共振
理論に従って構成されたニューラルネットワークを改善
している。本ネットワークは、Ｆ２層内の各出力ニュー
ロンに対応するビジランスパラメータを計算し且つそれ
を基準ビジランスパラメータと比較する。計算したビジ
ランスパラメータが基準ビジランスパラメータと等しい
か又はそれを超える場合には、基準ビジランスパラメー
タがメモリ内に連想的に格納される。計算済ビジランス
パラメータが基準ビジランスパラメータ未満である場合
には、基準ビジランスパラメータが、計算済ビジランス
パラメータがこの調節済基準ビジランスパラメータと等
しいか又はそれを超える迄、小さなインクリメント（増
分）だけ選択的に調節され、即ち減少され、その場合に
、この調節済基準ビジランスパラメータがメモリ内に連
想的に格納される。ビジランスパラメータ（基準乃至は
調節済基準）が各出力ニューロンと対応すべく連想的に
格納されると、主題パターンは最も高いビジランスパラ
メータ（基準又は調節済基準）に関連する出力ニューロ
ンに従って分類される。
好適実施例は、主題パターン情報を解析する場合に調節
可能な基準ビジランスパラメータを支持して固定した基
準ビジランスパラメータを除去することにより適応共振
理論に従って構成されたニューラルネットワークを改善
している。本ネットワークは、Ｆ２層内の各出力ニュー
ロンに対応するビジランスパラメータを計算し且つそれ
を基準ビジランスパラメータと比較する。計算したビジ
ランスパラメータが基準ビジランスパラメータと等しい
か又はそれを超える場合には、基準ビジランスパラメー
タがメモリ内に連想的に格納される。計算済ビジランス
パラメータが基準ビジランスパラメータ未満である場合
には、基準ビジランスパラメータが、計算済ビジランス
パラメータがこの調節済基準ビジランスパラメータと等
しいか又はそれを超える迄、小さなインクリメント（増
分）だけ選択的に調節され、即ち減少され、その場合に
、この調節済基準ビジランスパラメータがメモリ内に連
想的に格納される。ビジランスパラメータ（基準乃至は
調節済基準）が各出力ニューロンと対応すべく連想的に
格納されると、主題パターンは最も高いビジランスパラ
メータ（基準又は調節済基準）に関連する出力ニューロ
ンに従って分類される。
【００３７】本発明に基づくニューラルネットワークの
別の好適実施例では、計算済ビジランスパラメータを直
接的に使用し、即ち主題パターンは、最も高い計算済ビ
ジランスパラメータに関連する出力ニューロンに従って
分類される。
別の好適実施例では、計算済ビジランスパラメータを直
接的に使用し、即ち主題パターンは、最も高い計算済ビ
ジランスパラメータに関連する出力ニューロンに従って
分類される。
【００３８】従って、本発明に基づくニューラルネット
ワークは、一度トレーニングされると、そのボトムアッ
プ又はトップダウン適応重みマトリクスの係数を変化さ
せないことによってメモリウォッシュアウトを防止する
。その代わりに、本ネットワークは、入力された主題パ
ターン情報に基づいて計算済ビジランスパラメータに従
ってその基準ビジランスパラメータを調節するか、又は
どの学習済パターンが主題パターン情報と最も良くマッ
チするかを決定する場合に、計算済ビジランスパラメー
タを直接的に使用する。
ワークは、一度トレーニングされると、そのボトムアッ
プ又はトップダウン適応重みマトリクスの係数を変化さ
せないことによってメモリウォッシュアウトを防止する
。その代わりに、本ネットワークは、入力された主題パ
ターン情報に基づいて計算済ビジランスパラメータに従
ってその基準ビジランスパラメータを調節するか、又は
どの学習済パターンが主題パターン情報と最も良くマッ
チするかを決定する場合に、計算済ビジランスパラメー
タを直接的に使用する。
【００３９】更に、本発明に基づくニューラルネットワ
ークは、完全なものでないパターンを認識することが可
能である。その適応重みマトリクス係数を変化させない
ことにより、その代わりにその学習済パターンの各々に
対応する通過中の基準ビジランスパラメータを計算し且
つ比較し、又は計算済ビジランスパラメータを直接的に
比較することにより、本ネットワークはその前に学習し
たパターンのどれが入力主題パターン情報と最も良くマ
ッチするかをより柔軟性を持って仮定することが可能で
ある。
ークは、完全なものでないパターンを認識することが可
能である。その適応重みマトリクス係数を変化させない
ことにより、その代わりにその学習済パターンの各々に
対応する通過中の基準ビジランスパラメータを計算し且
つ比較し、又は計算済ビジランスパラメータを直接的に
比較することにより、本ネットワークはその前に学習し
たパターンのどれが入力主題パターン情報と最も良くマ
ッチするかをより柔軟性を持って仮定することが可能で
ある。
【００４０】更に、本発明に基づくニューラルネットワ
ークは、学習済パターンの過剰なクラスタ動作を開始し
、一方同時にそのＦ２層内により少ない出力ニューロン
を必要とすることにより、そのＦ２層のオーバーロード
を防止している。その学習済適応重みマトリクスの係数
を変化させないことにより、しかしその代わりに各以前
に学習したパターンに対応する通過中の基準ビジランス
パラメータを計算し且つ比較し、又は計算済ビジランス
パラメータを直接的に比較することにより、入力主題パ
ターン情報が、クラスタ動作をして継続的に新たな学習
済パターンを形成する代わりに、以前に学習したパター
ンとマッチされる。
ークは、学習済パターンの過剰なクラスタ動作を開始し
、一方同時にそのＦ２層内により少ない出力ニューロン
を必要とすることにより、そのＦ２層のオーバーロード
を防止している。その学習済適応重みマトリクスの係数
を変化させないことにより、しかしその代わりに各以前
に学習したパターンに対応する通過中の基準ビジランス
パラメータを計算し且つ比較し、又は計算済ビジランス
パラメータを直接的に比較することにより、入力主題パ
ターン情報が、クラスタ動作をして継続的に新たな学習
済パターンを形成する代わりに、以前に学習したパター
ンとマッチされる。
【００４１】
【実施例】図５を参照すると、本発明に基づくニューラ
ルネットワーク１００の好適実施例が最初に、前述した
如く、適応共振理論ネットワークに基づいて基準パター
ン情報信号とトレーニングされる。入力パターン情報信
号Ｉｉが、Ｆ１層１０２内の入力ニューロン内に入力さ
れる。Ｆ１層１０２内の入力ニューロンによって発生さ
れるパターン信号Ｘｉが、ビジランステスタ１０４、パ
ターン信号加算器１０６、トップダウン適応重みマトリ
クス乗算器１０８及びボトムアップ適応重みマトリクス
乗算器１１０内に供給される。
ルネットワーク１００の好適実施例が最初に、前述した
如く、適応共振理論ネットワークに基づいて基準パター
ン情報信号とトレーニングされる。入力パターン情報信
号Ｉｉが、Ｆ１層１０２内の入力ニューロン内に入力さ
れる。Ｆ１層１０２内の入力ニューロンによって発生さ
れるパターン信号Ｘｉが、ビジランステスタ１０４、パ
ターン信号加算器１０６、トップダウン適応重みマトリ
クス乗算器１０８及びボトムアップ適応重みマトリクス
乗算器１１０内に供給される。
【００４２】ネットワーク１００は、適応共振理論ネッ
トワークに基づいて初期化される。収束パラメータＬは
２の値で初期化される（即ち、Ｌ＝２）。当業者によっ
て理解される如く、収束パラメータ６は、事実上任意の
その他のより高い値にプリセットすることが可能である
。しかしながら、サーチの順番が異なる場合があり、且
つボトムアップマトリクス係数の適応の収束（図３にお
けるステップ９４）がより長い時間がかかる場合がある
。Ｍ及びＮに対する値は、夫々、入力ニューロン及び出
力ニューロンの数が等しいようにプリセットされる。 好適実施例においては、Ｍが入力主題パターン情報Ｉｉ
を発生するために使用される８×８画素ビデオフレーム
と一致すべく６４にプリセットされている。Ｎに対する
値は、認識されることが消耗される主題デジットパター
ンの数（即ち、「０」−「９」）と等しいように１０に
セットされる。
トワークに基づいて初期化される。収束パラメータＬは
２の値で初期化される（即ち、Ｌ＝２）。当業者によっ
て理解される如く、収束パラメータ６は、事実上任意の
その他のより高い値にプリセットすることが可能である
。しかしながら、サーチの順番が異なる場合があり、且
つボトムアップマトリクス係数の適応の収束（図３にお
けるステップ９４）がより長い時間がかかる場合がある
。Ｍ及びＮに対する値は、夫々、入力ニューロン及び出
力ニューロンの数が等しいようにプリセットされる。 好適実施例においては、Ｍが入力主題パターン情報Ｉｉ
を発生するために使用される８×８画素ビデオフレーム
と一致すべく６４にプリセットされている。Ｎに対する
値は、認識されることが消耗される主題デジットパター
ンの数（即ち、「０」−「９」）と等しいように１０に
セットされる。
【００４３】上述した如く、ニューラルネットワーク１
００が初期化された後に、認識されることが所望される
主題パターン情報ＩｉがＦ１層１０２内に入力される。 Ｆ１層１０２内の入力ニューロンによって発生されるパ
ターン信号Ｘｉは、トップダウン適応重みマトリクス乗
算器１０８内のそれらと関連するトップダウン適応重み
マトリクス係数Ｚｊｉによって乗算され、且つその夫々
の積はトップダウン加算器１１２内において加算される
。その結果得られる和１１４はビジランステスタ１０４
へ転送される。この加算即ち和１１４は、パターン信号
加算器１０６によって発生されるパターン信号Ｘｉの加
算（和）１１６によって割算される。その商は計算済ビ
ジランスパラメータＰｃｊである。
００が初期化された後に、認識されることが所望される
主題パターン情報ＩｉがＦ１層１０２内に入力される。 Ｆ１層１０２内の入力ニューロンによって発生されるパ
ターン信号Ｘｉは、トップダウン適応重みマトリクス乗
算器１０８内のそれらと関連するトップダウン適応重み
マトリクス係数Ｚｊｉによって乗算され、且つその夫々
の積はトップダウン加算器１１２内において加算される
。その結果得られる和１１４はビジランステスタ１０４
へ転送される。この加算即ち和１１４は、パターン信号
加算器１０６によって発生されるパターン信号Ｘｉの加
算（和）１１６によって割算される。その商は計算済ビ
ジランスパラメータＰｃｊである。
【００４４】この計算済ビジランスパラメータＰｃｊは
、１の値に初期化された（即ち、Ｐｒｊ＝１）それの関
連する基準ビジランスパラメータＰｒｊに対して比較さ
れる。計算済ビジランスパラメータＰｃｊが基準ビジラ
ンスパラメータＰｒｊ未満である場合には、減少された
基準ビジランスパラメータＰｒｒｊが、元の基準ビジラ
ンスパラメータＰｒｊを小さな選択可能なインクリメン
ト、即ち増分Δ（例えば、Δ＝０．０２）だけ減少させ
ることによって発生される。この減少された基準ビジラ
ンスパラメータＰｒｒｊは、それが計算済ビジランスパ
ラメータＰｃｊと等しいか又はそれによって超される迄
、増分的に減少され、その時点において、減少された基
準ビジランスパラメータＰｒｒｊは調整済基準ビジラン
スパラメータＰａｒｊとしてビジランスパラメータメモ
リ１１８内に格納される。
、１の値に初期化された（即ち、Ｐｒｊ＝１）それの関
連する基準ビジランスパラメータＰｒｊに対して比較さ
れる。計算済ビジランスパラメータＰｃｊが基準ビジラ
ンスパラメータＰｒｊ未満である場合には、減少された
基準ビジランスパラメータＰｒｒｊが、元の基準ビジラ
ンスパラメータＰｒｊを小さな選択可能なインクリメン
ト、即ち増分Δ（例えば、Δ＝０．０２）だけ減少させ
ることによって発生される。この減少された基準ビジラ
ンスパラメータＰｒｒｊは、それが計算済ビジランスパ
ラメータＰｃｊと等しいか又はそれによって超される迄
、増分的に減少され、その時点において、減少された基
準ビジランスパラメータＰｒｒｊは調整済基準ビジラン
スパラメータＰａｒｊとしてビジランスパラメータメモ
リ１１８内に格納される。
【００４５】計算済ビジランスパラメータＰｃｊが初期
的に元の基準ビジランスパラメータＰｒｊと等しいか又
はそれを超えていた場合には、元の基準ビジランスパラ
メータＰｒｊがビジランスパラメータメモリ１１８内に
調節済基準ビジランスパラメータＰａｒｊとして減少な
しで格納される。ビジランスパラメータＰｃｊの前述し
た計算及びそれらの関連する基準ビジランスパラメータ
Ｐｒｊとの比較は繰返され従って個々の及び別個の調節
済基準ビジランスパラメータＰａｒｊがビジランスパラ
メータメモリ１１８内に格納され、夫々、Ｆ２層１２０
内の各出力ニューロンと対応する。
的に元の基準ビジランスパラメータＰｒｊと等しいか又
はそれを超えていた場合には、元の基準ビジランスパラ
メータＰｒｊがビジランスパラメータメモリ１１８内に
調節済基準ビジランスパラメータＰａｒｊとして減少な
しで格納される。ビジランスパラメータＰｃｊの前述し
た計算及びそれらの関連する基準ビジランスパラメータ
Ｐｒｊとの比較は繰返され従って個々の及び別個の調節
済基準ビジランスパラメータＰａｒｊがビジランスパラ
メータメモリ１１８内に格納され、夫々、Ｆ２層１２０
内の各出力ニューロンと対応する。
【００４６】全ての調節済基準ビジランスＰａｒｊが計
算され且つビジランスパラメータメモリ１１８内に格納
されると、最も高い値を有する格納され調節された基準
ビジランスパラメータＰａｒｊが使用されて、入力主題
パターン情報Ｉ１に最も密接してマッチするパターンと
して指定される学習済パターンを選択する。パターンメ
モリ１２２内に格納されているこの選択され学習された
パターンを表わすパターンデータ１２４がそれから出力
される。
算され且つビジランスパラメータメモリ１１８内に格納
されると、最も高い値を有する格納され調節された基準
ビジランスパラメータＰａｒｊが使用されて、入力主題
パターン情報Ｉ１に最も密接してマッチするパターンと
して指定される学習済パターンを選択する。パターンメ
モリ１２２内に格納されているこの選択され学習された
パターンを表わすパターンデータ１２４がそれから出力
される。
【００４７】本発明に基づくニューラルネットワーク１
００の別の好適実施例においては、Ｆ２層１２０内の各
出力ニューロンと夫々対応する計算済ビジランスパラメ
ータＰｃｊがビジランスパラメータメモリ１１８内に格
納される。全ての計算済ビジランスパラメータＰｃｊが
計算され且つビジランスパラメータメモリ１１８内に格
納されると、最も高い値を有する格納され計算されたビ
ジランスパラメータＰｃｊが使用されて、入力主題パタ
ーン情報Ｉ１と最も密接してマッチするパターンとして
指定されるべき学習済パターンを選択する。パターンメ
モリ１２２内に格納されているこの選択され学習された
パターンを表わすパターンデータ１２４がそれから出力
される。
００の別の好適実施例においては、Ｆ２層１２０内の各
出力ニューロンと夫々対応する計算済ビジランスパラメ
ータＰｃｊがビジランスパラメータメモリ１１８内に格
納される。全ての計算済ビジランスパラメータＰｃｊが
計算され且つビジランスパラメータメモリ１１８内に格
納されると、最も高い値を有する格納され計算されたビ
ジランスパラメータＰｃｊが使用されて、入力主題パタ
ーン情報Ｉ１と最も密接してマッチするパターンとして
指定されるべき学習済パターンを選択する。パターンメ
モリ１２２内に格納されているこの選択され学習された
パターンを表わすパターンデータ１２４がそれから出力
される。
【００４８】従って、当業者によって理解される如く、
本発明に基づくニューラルネットワーク１００は、新た
な主題パターン情報をＩ１を解析する場合に、そのボト
ムアップＺｉｊ又はトップダウンＺｊｉ適応重みマトリ
クス係数を変化させないことによってメモリウォッシュ
アウトを防止している。本発明では、計算済ビジランス
パラメータＰｃｊを基準ビジランスパラメータＰｒｊと
比較し、且つ最も高い計算済ビジランスパラメータＰｃ
ｊに対応する学習済パターンが、認識されることを所望
する主題パターンに最も密接にマッチする学習済パター
ンとして選択されることとなる。
本発明に基づくニューラルネットワーク１００は、新た
な主題パターン情報をＩ１を解析する場合に、そのボト
ムアップＺｉｊ又はトップダウンＺｊｉ適応重みマトリ
クス係数を変化させないことによってメモリウォッシュ
アウトを防止している。本発明では、計算済ビジランス
パラメータＰｃｊを基準ビジランスパラメータＰｒｊと
比較し、且つ最も高い計算済ビジランスパラメータＰｃ
ｊに対応する学習済パターンが、認識されることを所望
する主題パターンに最も密接にマッチする学習済パター
ンとして選択されることとなる。
【００４９】更に、本発明に基づくニューラルネットワ
ーク１００はパターンの過剰なクラスタリングを防止し
ている。主題パターン情報を固定した基準ビジランスパ
ターンと比較し且つ主題パターン情報が固定した基準ビ
ジランスパラメータとのビジランスパラメータテストを
パスしない場合に新たなパターンのクラスタを形成する
代わりに、本発明に基づくニューラルネットワーク１０
０は最も高い計算済ビジランスパラメータに対応する既
存の、即ち以前に「学習した」パターンクラスタを、主
題パターン情報とマッチさせる。
ーク１００はパターンの過剰なクラスタリングを防止し
ている。主題パターン情報を固定した基準ビジランスパ
ターンと比較し且つ主題パターン情報が固定した基準ビ
ジランスパラメータとのビジランスパラメータテストを
パスしない場合に新たなパターンのクラスタを形成する
代わりに、本発明に基づくニューラルネットワーク１０
０は最も高い計算済ビジランスパラメータに対応する既
存の、即ち以前に「学習した」パターンクラスタを、主
題パターン情報とマッチさせる。
【００５０】図６を参照すると、本発明に基づくニュー
ラルネットワーク１００の好適実施例に対する動作ステ
ップを要約してある。最初のステップ１５０はネットワ
ーク１００のトレーニングである。これは、図３に示し
てあり且つ上述した如く、適応共振理論ネットワークに
基づいて行なわれる。次のステップ１５２は、基準ビジ
ランスパラメータベクトルＰｒを初期化することである
。これは、基準ビジランスパラメータＰｒｊを１と等し
くセットすることにより行なわれる（即ち、Ｐｒ＝１）
。次のステップ１５４は、認識されることが所望される
主題パターン情報Ｉ１をＦ１層１０２内に入力すること
である。次のステップ１５６は、Ｆ２層１２０内の出力
ニューロンの各々に対応するビジランスパラメータＰｃ
ｊを計算することである。数学的にいえば、このことは
、次式に従って行なわれる。
ラルネットワーク１００の好適実施例に対する動作ステ
ップを要約してある。最初のステップ１５０はネットワ
ーク１００のトレーニングである。これは、図３に示し
てあり且つ上述した如く、適応共振理論ネットワークに
基づいて行なわれる。次のステップ１５２は、基準ビジ
ランスパラメータベクトルＰｒを初期化することである
。これは、基準ビジランスパラメータＰｒｊを１と等し
くセットすることにより行なわれる（即ち、Ｐｒ＝１）
。次のステップ１５４は、認識されることが所望される
主題パターン情報Ｉ１をＦ１層１０２内に入力すること
である。次のステップ１５６は、Ｆ２層１２０内の出力
ニューロンの各々に対応するビジランスパラメータＰｃ
ｊを計算することである。数学的にいえば、このことは
、次式に従って行なわれる。
【００５１】次のステップ１５８は、計算済ビジランス
パラメータＰｃｊをそれらの関連する基準ビジランスパ
ラメータＰｒｊと比較することである。計算済ビジラン
スパラメータＰｃｊがその関連する基準ビジランスパラ
メータＰｒｊ未満である場合には、次のステップ１６０
は、基準ビジランスパラメータＰｒの値を、小さな選択
可能なインクリメント（増分）Δだけ減少させる。この
減少された基準ビジランスパラメータＰｒｒｊは、次の
ステップ１６２において、計算済ビジランスパラメータ
Ｐｃｊと比較される。減少された基準ビジランスパラメ
ータＰｒｒｊが計算済ビジランスパラメータＰｃｊより
も今だに大きい場合には、減少された基準ビジランスパ
ラメータＰｒｒｊを更に減少するステップ１６３が、そ
れが計算済ビジランスパラメータＰｃｊ未満となる迄実
行される。
パラメータＰｃｊをそれらの関連する基準ビジランスパ
ラメータＰｒｊと比較することである。計算済ビジラン
スパラメータＰｃｊがその関連する基準ビジランスパラ
メータＰｒｊ未満である場合には、次のステップ１６０
は、基準ビジランスパラメータＰｒの値を、小さな選択
可能なインクリメント（増分）Δだけ減少させる。この
減少された基準ビジランスパラメータＰｒｒｊは、次の
ステップ１６２において、計算済ビジランスパラメータ
Ｐｃｊと比較される。減少された基準ビジランスパラメ
ータＰｒｒｊが計算済ビジランスパラメータＰｃｊより
も今だに大きい場合には、減少された基準ビジランスパ
ラメータＰｒｒｊを更に減少するステップ１６３が、そ
れが計算済ビジランスパラメータＰｃｊ未満となる迄実
行される。
【００５２】計算済ビジランスパラメータＰｃｊが減少
された基準ビジランスパラメータＰｒｒｊと等しいか又
はそれを超えると、次のステップ１６４が、この減少さ
れた基準ビジランスパラメータＰｒｒｊの値を、調節済
基準ビジランスパラメータＰａｒｊとしてビジランスパ
ラメータメモリ内に格納する。計算済ビジランスパラメ
ータＰｃｊを元の減少されていない基準ビジランスパラ
メータＰｒｊと比較するステップ１５８を実行する場合
に、計算済ビジランスパラメータＰｃｊが基準ビジラン
スパラメータＰｒｊと等しいか又はそれを超えていた場
合には、基準ビジランスパラメータＰｒｊの値を減少さ
せるステップ１６０は不必要である。この場合に、次の
ステップ１６６は、基準ビジランスパラメータＰｒｊの
既存の値を調節済基準ビジランスパラメータＰａｒｊと
して格納する。
された基準ビジランスパラメータＰｒｒｊと等しいか又
はそれを超えると、次のステップ１６４が、この減少さ
れた基準ビジランスパラメータＰｒｒｊの値を、調節済
基準ビジランスパラメータＰａｒｊとしてビジランスパ
ラメータメモリ内に格納する。計算済ビジランスパラメ
ータＰｃｊを元の減少されていない基準ビジランスパラ
メータＰｒｊと比較するステップ１５８を実行する場合
に、計算済ビジランスパラメータＰｃｊが基準ビジラン
スパラメータＰｒｊと等しいか又はそれを超えていた場
合には、基準ビジランスパラメータＰｒｊの値を減少さ
せるステップ１６０は不必要である。この場合に、次の
ステップ１６６は、基準ビジランスパラメータＰｒｊの
既存の値を調節済基準ビジランスパラメータＰａｒｊと
して格納する。
【００５３】次のステップ１６８は、前述したビジラン
スパラメータテストステップがＦ２層１２０内の出力ニ
ューロンに対応する全ての潜在的な学習済パターンに対
して完了されたか否かを決定する。完了していない場合
には、基準ビジランスパラメータＰｒｊに対する上述し
た比較に対して計算済ビジランスパラメータＰｃｊが格
納されたか否かに依存して、ニューラルネットワーク１
００の動作が、ビジランスパラメータＰｃｊを計算する
ステップ１５６又は計算済ビジランスパラメータＰｃｊ
の格納した値を基準ビジランスパラメータＰｒｊと比較
するステップ１５８から再開する。
スパラメータテストステップがＦ２層１２０内の出力ニ
ューロンに対応する全ての潜在的な学習済パターンに対
して完了されたか否かを決定する。完了していない場合
には、基準ビジランスパラメータＰｒｊに対する上述し
た比較に対して計算済ビジランスパラメータＰｃｊが格
納されたか否かに依存して、ニューラルネットワーク１
００の動作が、ビジランスパラメータＰｃｊを計算する
ステップ１５６又は計算済ビジランスパラメータＰｃｊ
の格納した値を基準ビジランスパラメータＰｒｊと比較
するステップ１５８から再開する。
【００５４】全ての調節済基準ビジランスパラメータＰ
ａｒｊが計算され且つ格納されると、次のステップ１７
０が、学習済パターンを主題パターンとマッチさせる。 このことは、調節済基準ビジランスパラメータＰａｒｊ
の中から、ビジランスパラメータメモリ１１８内の最大
値の調節済基準ビジランスパラメータＰａｒｊｍを選択
し、且つパターンメモリ１２２からそれに対応する学習
済パターンを選択することによって行なわれる。
ａｒｊが計算され且つ格納されると、次のステップ１７
０が、学習済パターンを主題パターンとマッチさせる。 このことは、調節済基準ビジランスパラメータＰａｒｊ
の中から、ビジランスパラメータメモリ１１８内の最大
値の調節済基準ビジランスパラメータＰａｒｊｍを選択
し、且つパターンメモリ１２２からそれに対応する学習
済パターンを選択することによって行なわれる。
【００５５】図７を参照すると、本発明に基づくニュー
ラルネットワーク１００の別の好適実施例に対する動作
ステップが要約されている。最初のステップ１７２はネ
ットワーク１００のトレーニングである。これは、図３
に示し且つ前述した如く、適応共振理論ネットワークに
基づいて行なわれる。次のステップ１７４は、認識され
ることを所望する主題パターン情報Ｉ１をＦ１層１０２
内に入力することである。次のステップ１７６は、Ｆ２
層１２０内の出力ニューロンの各々に対応するビジラン
スパラメータＰｃｊを計算することである。数学的には
、このことは次式に従って行なわれる。
ラルネットワーク１００の別の好適実施例に対する動作
ステップが要約されている。最初のステップ１７２はネ
ットワーク１００のトレーニングである。これは、図３
に示し且つ前述した如く、適応共振理論ネットワークに
基づいて行なわれる。次のステップ１７４は、認識され
ることを所望する主題パターン情報Ｉ１をＦ１層１０２
内に入力することである。次のステップ１７６は、Ｆ２
層１２０内の出力ニューロンの各々に対応するビジラン
スパラメータＰｃｊを計算することである。数学的には
、このことは次式に従って行なわれる。
【００５６】次のステップ１７８は、計算済ビジランス
パラメータＰｃｊを格納するものであり、次いでステッ
プ１８０は、前述したビジランスパラメータ計算ステッ
プが、Ｆ２層１２０内の出力ニューロンに対応する全て
の潜在的な学習済パターンに対して完了したか否かを決
定する。完了していない場合には、ニューラルネットワ
ーク１００の動作は、ビジランスパラメータＰｃｊを計
算するステップ１７６から再開される。全ての計算済ビ
ジランスパラメータＰｃｊが計算され且つ格納されると
、次のステップ１８２は、学習済パターンと主題パター
ンとマッチさせることである。このことは、計算済ビジ
ランスパターンＰｃｊの中から、ビジランスパラメータ
メモリ１１８内の最大値の計算済ビジランスパラメータ
Ｐｃｊｍを選択し、且つパターンメモリ１２２からそれ
に対応する学習済パターンを選択することによって行な
われる。
パラメータＰｃｊを格納するものであり、次いでステッ
プ１８０は、前述したビジランスパラメータ計算ステッ
プが、Ｆ２層１２０内の出力ニューロンに対応する全て
の潜在的な学習済パターンに対して完了したか否かを決
定する。完了していない場合には、ニューラルネットワ
ーク１００の動作は、ビジランスパラメータＰｃｊを計
算するステップ１７６から再開される。全ての計算済ビ
ジランスパラメータＰｃｊが計算され且つ格納されると
、次のステップ１８２は、学習済パターンと主題パター
ンとマッチさせることである。このことは、計算済ビジ
ランスパターンＰｃｊの中から、ビジランスパラメータ
メモリ１１８内の最大値の計算済ビジランスパラメータ
Ｐｃｊｍを選択し、且つパターンメモリ１２２からそれ
に対応する学習済パターンを選択することによって行な
われる。
【００５７】図８に示した如く、ニューラルネットワー
クシステムは、認識されることを所望する主題パターン
情報との爾後のマッチングのために格納されるべき基準
パターンの幾つかの変形例を学習する目的のために、本
発明に基づく複数個のニューラルネットワーク２００，
２０２，２０４を使用して構成することが可能である。 例えば、１０個のデジット（数字）「０」−「９」を表
わすスタンダードなパターンに対応するニューラルネッ
トワーク２００に加えて、二つの付加的なニューラルネ
ットワーク２０２，２０４を使用することが可能であり
、即ち選択的に時計方向に回転される（右回転）デジッ
ト「０」−「９」を表わすパターンを学習するネットワ
ーク２０２と、選択的に半時計方向に回転される（左回
転）デジット「０」−「９」を表わすパターンを学習す
る別のネットワーク２０４である。
クシステムは、認識されることを所望する主題パターン
情報との爾後のマッチングのために格納されるべき基準
パターンの幾つかの変形例を学習する目的のために、本
発明に基づく複数個のニューラルネットワーク２００，
２０２，２０４を使用して構成することが可能である。 例えば、１０個のデジット（数字）「０」−「９」を表
わすスタンダードなパターンに対応するニューラルネッ
トワーク２００に加えて、二つの付加的なニューラルネ
ットワーク２０２，２０４を使用することが可能であり
、即ち選択的に時計方向に回転される（右回転）デジッ
ト「０」−「９」を表わすパターンを学習するネットワ
ーク２０２と、選択的に半時計方向に回転される（左回
転）デジット「０」−「９」を表わすパターンを学習す
る別のネットワーク２０４である。
【００５８】本発明に基づくニューラルネットワークの
好適実施例に関して上述した如く、調節済基準ビジラン
スパラメータＰａｒｊはこれら三つのニューラルネット
ワーク２００，２０２，２０４の各々に対し計算し且つ
格納することが可能である。次いで、最大の調節済基準
ビジランスパラメータＰａｒｊｍを、認識されることを
所望する主題パターンに最も良くマッチする学習済デジ
ットパターン（例えば、右回転型又は左回転型）を選択
するために三つのネットワーク２００，２０２，２０４
内の夫々のビジランスパラメータメモリの中から選択す
ることが可能である。
好適実施例に関して上述した如く、調節済基準ビジラン
スパラメータＰａｒｊはこれら三つのニューラルネット
ワーク２００，２０２，２０４の各々に対し計算し且つ
格納することが可能である。次いで、最大の調節済基準
ビジランスパラメータＰａｒｊｍを、認識されることを
所望する主題パターンに最も良くマッチする学習済デジ
ットパターン（例えば、右回転型又は左回転型）を選択
するために三つのネットワーク２００，２０２，２０４
内の夫々のビジランスパラメータメモリの中から選択す
ることが可能である。
【００５９】上述した如く、本発明の好適実施例に基づ
く三つのニューラルネットワーク２００，２０２，２０
４を使用するニューラルネットワークシステムに対する
サンプル入力パターン及び認識結果を図９に示してある
。入力パターングループ「Ａ」及び「Ｂ」は、夫々、「
１」及び「２」の四つのバージョンから構成されている
。本発明の好適実施例に基づいて構成され且つ動作する
三つのニューラルネットワーク２００，２０２，２０４
が、図示した如く最大の調節済基準ビジランスパラメー
タＰａｒｊｍに基づいて、調節済基準ビジランスパラメ
ータＰａｒｊ及び認識結果を発生した。
く三つのニューラルネットワーク２００，２０２，２０
４を使用するニューラルネットワークシステムに対する
サンプル入力パターン及び認識結果を図９に示してある
。入力パターングループ「Ａ」及び「Ｂ」は、夫々、「
１」及び「２」の四つのバージョンから構成されている
。本発明の好適実施例に基づいて構成され且つ動作する
三つのニューラルネットワーク２００，２０２，２０４
が、図示した如く最大の調節済基準ビジランスパラメー
タＰａｒｊｍに基づいて、調節済基準ビジランスパラメ
ータＰａｒｊ及び認識結果を発生した。
【００６０】一方、本発明に基づくニューラルネットワ
ークの別の好適実施例に対して上述した如く、計算済ビ
ジランスパラメータＰｃｊは、これら三つのニューラル
ネットワーク２００，２０２，２０４の各々に対して格
納することが可能である、次いで、最大計算済ビジラン
スパラメータＰｃｊｍを、認識されることを所望する主
題パターンと最も良くマッチする学習済デジットパター
ン（例えば、スタンダード、右回転型又は左回転型）を
選択するために三つのネットワーク２００，２０２，２
０４内の夫々のビジランスパラメータメモリの中から選
択することが可能である。
ークの別の好適実施例に対して上述した如く、計算済ビ
ジランスパラメータＰｃｊは、これら三つのニューラル
ネットワーク２００，２０２，２０４の各々に対して格
納することが可能である、次いで、最大計算済ビジラン
スパラメータＰｃｊｍを、認識されることを所望する主
題パターンと最も良くマッチする学習済デジットパター
ン（例えば、スタンダード、右回転型又は左回転型）を
選択するために三つのネットワーク２００，２０２，２
０４内の夫々のビジランスパラメータメモリの中から選
択することが可能である。
【００６１】当業者によって理解される如く、別の主題
パターン変形例を学習し且つ認識するために本発明に基
づいて任意の数のニューラルネットワークを使用するこ
とが可能である。例えば、前もって知られているか又は
予測される事実上如何なるパターン変形又は歪みを有す
る主題パターンを学習し且つ認識するために複数個のネ
ットワークを使用することが可能である。
パターン変形例を学習し且つ認識するために本発明に基
づいて任意の数のニューラルネットワークを使用するこ
とが可能である。例えば、前もって知られているか又は
予測される事実上如何なるパターン変形又は歪みを有す
る主題パターンを学習し且つ認識するために複数個のネ
ットワークを使用することが可能である。
【００６２】以上、本発明の具体的実施の態様について
詳細に説明したが、本発明は、これら具体例にのみ限定
されるべきものではなく、本発明の技術的範囲を逸脱す
ることなしに種々の変形が可能であることは勿論である
。
詳細に説明したが、本発明は、これら具体例にのみ限定
されるべきものではなく、本発明の技術的範囲を逸脱す
ることなしに種々の変形が可能であることは勿論である
。
【図１】 競争的学習モデルに基づいて構成されたニ
ューラルネットワークの簡単化した機能ブロック図。
ューラルネットワークの簡単化した機能ブロック図。
【図２】 適応共振理論ネットワークモデルに基づい
て構成されたニューラルネットワークの簡単化した機能
ブロック図。
て構成されたニューラルネットワークの簡単化した機能
ブロック図。
【図３】 適応共振理論に基づいて構成したニューラ
ルネットワークの動作ステップを示したフローチャート
図。
ルネットワークの動作ステップを示したフローチャート
図。
【図４】 適応共振理論に基づいて構成したニューラ
ルネットワークによって発生される出力パターン典型を
示した説明図。
ルネットワークによって発生される出力パターン典型を
示した説明図。
【図５】 本発明に基づくニューラルネットワークの
好適実施例を示した機能ブロック図。
好適実施例を示した機能ブロック図。
【図６】 本発明に基づくニューラルネットワークの
好適実施例の動作ステップを示したフローチャート図。
好適実施例の動作ステップを示したフローチャート図。
【図７】 本発明に基づくニューラルネットワークの
別の好適実施例の動作ステップを示したフローチャート
図。
別の好適実施例の動作ステップを示したフローチャート
図。
【図８】 本発明に基づく複数個のニューラルネット
ワークを使用するニューラルネットワークシステムを示
した機能ブロック図。
ワークを使用するニューラルネットワークシステムを示
した機能ブロック図。
【図９】 本発明に基づく複数個のニューラルネット
ワークを使用したニューラルネットワークシステムに対
するサンプルテストパターン及び結果的に得られるパタ
ーン認識データを示した説明図。
ワークを使用したニューラルネットワークシステムに対
するサンプルテストパターン及び結果的に得られるパタ
ーン認識データを示した説明図。
１００ ニューラルネットワーク
１０２ Ｆ１層
１０４ ビジランステスタ
１０６ パターン信号加算器
１０８ トップダウン適応重みマトリクス乗算器１１
０ ボトムアップ適応重みマトリクス乗算器１１８
ビジランスパラメータメモリ１２０ Ｆ２層 １２２ パターンメモリ
０ ボトムアップ適応重みマトリクス乗算器１１８
ビジランスパラメータメモリ１２０ Ｆ２層 １２２ パターンメモリ
Claims (33)
- 【請求項１】 適応共振理論に従って適応パターン認
識を実施すべく結合されている自己組織型ニューラルネ
ットワークにおいて、可視パターンを表わす入力パター
ンデータを受付けるべく結合されている複数個の入力ニ
ューロンが設けられており、複数個の出力ニューロンが
設けられており、前記入力ニューロンを前記出力ニュー
ロンへ結合させるボトムアップ適応重みマトリクスが設
けられており、前記出力ニューロンを前記入力ニューロ
ンへ結合させるトップダウン適応重みマトリクスが設け
られており、実質的に前記入力パターンデータに基づい
て複数個のビジランスパラメータを計算するビジランス
パラメータ計算手段が設けられており、前記複数個の計
算したビジランスパラメータを格納するメモリ手段が設
けられており、前記複数個の計算したビジランスパラメ
ータの中で最大の計算したビジランスパラメータに従っ
て前記パターンを分類するパターン分類手段が設けられ
ていることを特徴とするニューラルネットワーク。 - 【請求項２】 適応共振理論に従って適応パターン認
識を実施すべく結合されている自己組織型ニューラルネ
ットワークにおいて、可視パターンを表わす入力パター
ンデータを受付けるべく結合されている複数個の入力ニ
ューロンが設けられており、複数個の出力ニューロンが
設けられており、前記入力ニューロンを前記出力ニュー
ロンへ結合させるボトムアップ適応重みマトリクスが設
けられており、前記出力ニューロンを前記入力ニューロ
ンへ結合させるトップダウン適応重みマトリクスが設け
られており、実質的に前記入力パターンデータに基づい
て複数個のビジランスパラメータを計算するビジランス
パラメータ計算手段が設けられており、前記複数個の計
算したビジランスパラメータを所定の基準ビジランスパ
ラメータと個々に比較するビジランスパラメータ比較器
手段が設けられており、前記複数個の計算したビジラン
スパラメータとの比較に応答して前記所定の基準ビジラ
ンスパラメータを選択的に調節するビジランスパラメー
タ調節手段が設けられており、前記調節により複数個の
調節された基準ビジランスパラメータが発生され、前記
複数個の調節した基準ビジランスパラメータを格納する
メモリ手段が設けられており、前記複数個の調節した基
準ビジランスパラメータの中で最大の調節した基準ビジ
ランスパラメータに従って前記パターンを分類するパタ
ーン分類手段が設けられていることを特徴とするニュー
ラルネットワーク。 - 【請求項３】 適応パターン認識を実施すべく結合さ
れているニューラルネットワークにおいて、可視パター
ンを表わす入力パターンデータに実質的に基づいて複数
個のビジランスパラメータを計算するビジランスパラメ
ータ計算手段が設けられており、前記複数個の計算した
ビジランスパラメータを格納するメモリ手段が設けられ
ており、前記複数個の計算したビジランスパラメータの
中で最大の計算したビジランスパラメータに従って前記
パターンを分類するパターン分類手段が設けられている
ことを特徴とするニューラルネットワーク。 - 【請求項４】 適応パターン認識を実施すべく結合さ
れているニューラルネットワークにおいて、可視パター
ンを表わす入力パターンデータに基づいて複数個の計算
済ビジランスパラメータとの比較に応答して所定の基準
ビジランスパラメータを選択的に調節するビジランスパ
ラメータ調節手段が設けられており、前記調節により複
数個の調節済基準ビジランスパラメータが発生され、前
記複数個の調節済基準ビジランスパラメータを格納する
メモリ手段が設けられており、前記複数個の調節済基準
ビジランスパラメータの中で最大の調節済基準ビジラン
スパラメータに従って前記パターンを分類するパターン
分類手段が設けられていることを特徴とするニューラル
ネットワーク。 - 【請求項５】 適応パターン認識を実施すべく結合さ
れているニューラルネットワークにおいて、複数個の入
力パターン信号をＩｉを受取り且つ複数個の対応するパ
ターン信号Ｘｉ（ｉ＝１，２，３．．．，Ｍ）を出力す
る入力手段が設けられており、前記入力パターン信号を
Ｉｉの各々は一つのパターンの一部を表わすものであり
、複数個の中間パターン信号Ｖｊ（ｊ＝１，２，３．．
．，Ｎ）を与えるパターン認識手段が設けられており、
前記中間パターン信号Ｖｊの各々は前記パターンを表わ
しており、前記複数個のパターン信号Ｘｉを前記パター
ン認識手段へ結合させるボトムアップ結合手段が設けら
れており、前記ボトムアップ結合手段は結合係数Ｚｉｊ
を有しており、前記入力手段へ結合されており実質的に
前記複数個のパターン信号Ｘｉに基づいて複数個のビジ
ランスパラメータＰｃｊを計算する計算手段が設けられ
ており、前記パターン信号Ｘｉを前記計算手段へ結合さ
せるトップダウン結合手段が設けられており、前記トッ
プダウン結合手段は結合係数Ｚｊｉを有しており、前記
複数個のビジランスパラメータを選択的に格納すべく結
合されている複数個のメモリ回路が設けられており、前
記格納された複数個のビジランスパラメータに基づいて
前記パターンを表わす出力パターン信号を発生すべく結
合されているパターン分類回路が設けられていることを
特徴とするニューラルネットワーク。 - 【請求項６】 請求項５において、更に、所定の基準
ビジランスパラメータＰｒを受取り且つ前記複数個の計
算済ビジランスパラメータＰｃｊの各々と比較するため
の比較器手段が設けられており、且つ前記複数個の計算
済ビジランスパラメータＰｃｊとの各比較に応答して前
記基準ビジランスパラメータＰｒを選択的に調節する調
節手段が設けられていることを特徴とするニューラルネ
ットワーク。 - 【請求項７】 請求項５において、前記入力手段がＭ
複数個のノードを有しており、且つ前記入力パターン信
号Ｉｉがアナログ信号を有することを特徴とするニュー
ラルネットワーク。 - 【請求項８】 請求項５において、前記入力手段がＭ
複数個のデジタルレジスタを有しており、且つ前記入力
パターン信号Ｉｉがデジタル信号を有することを特徴と
するニューラルネットワーク。 - 【請求項９】 請求項５において、前記パターン認識
手段がＮ複数個のノードを有しており、且つ前記中間パ
ターン信号Ｖｊがアナログ信号を有することを特徴とす
るニューラルネットワーク。 - 【請求項１０】 請求項５において、前記パターン認
識手段がＮ複数個のデジタルレジスタを有しており、且
つ前記中間パターン信号Ｖｊがデジタル信号を有するこ
とを特徴とするニューラルネットワーク。 - 【請求項１１】 請求項５において、前記ボトムアッ
プ結合手段が、前記複数個のパターン信号Ｘｉを選択的
に重み付けすべく結合されている複数個のトランジスタ
を具備するボトムアップ適応重みマトリクスを有してお
り、前記複数個のパターン信号Ｘｉの対応するものに対
する前記重み付けしたパターン信号の夫々の比が前記結
合係数Ｚｉｊを表わすことを特徴とするニューラルネッ
トワーク。 - 【請求項１２】 請求項５において、前記ボトムアッ
プ結合手段が、前記複数個のパターン信号Ｘｉを選択的
に重み付けすべく結合された複数個のレジスタを具備す
るボトムアップ適応重みマトリクスを有しており、前記
複数個のパターン信号Ｘｉの対応するものに対する前記
重み付けしたパターン信号の夫々の比が前記結合係数Ｚ
ｉｊを表わすことを特徴とするニューラルネットワーク
。 - 【請求項１３】 請求項５において、前記ボトムアッ
プ結合手段が、前記複数個のパターン信号Ｘｉを選択的
に重み付けすべく結合されている複数個のデジタル回路
を具備するボトムアップ適応重みマトリクスを有してお
り、前記複数個のパターン信号Ｘｉの対応するものに対
する前記重み付けしたパターン信号の夫々の比が前記結
合係数Ｚｉｊを表わすことを特徴とするニューラルネッ
トワーク。 - 【請求項１４】 請求項５において、前記ボトムダウ
ン結合手段が前記複数個のパターン信号Ｘｉを選択的に
重み付けすべく結合されている複数個のトランジスタを
具備するトップダウン適応重みマトリクスを有しており
、前記複数個のパターン信号Ｘｉの対応するものに対す
る前記重み付けしたパターン信号の夫々の比が前記結合
係数Ｚｊｉを表わすことを特徴とするニューラルネット
ワーク。 - 【請求項１５】 請求項５において、前記トップダウ
ン結合手段が前記複数個のパターン信号Ｘｉを選択的に
重み付けすべく結合された複数個の抵抗を具備するトッ
プダウン適応重みマトリクスを有しており、前記複数個
のパターン信号Ｘｉの対応するものに対する前記重み付
けしたパターン信号の夫々の比が前記結合係数Ｚｊｉを
表わすことを特徴とするニューラルネットワーク。 - 【請求項１６】 請求項５において、前記トップダウ
ン結合手段が前記複数個のパターン信号Ｘｉを選択的に
重み付けすべく結合された複数個のデジタル回路を具備
するトップダウン適応重みマトリクスを有しており、前
記複数個のパターン信号Ｘｉの対応するものに対する前
記重み付けしたパターン信号の夫々の比が前記結合係数
Ｚｊｉを表わすことを特徴とするニューラルネットワー
ク。 - 【請求項１７】 請求項５において、前記計算手段が
アナログ信号加算回路を有しており、且つ前記パターン
信号Ｘｉがアナログ信号を有しており、前記アナログ信
号加算回路が次式、 に従って動作することを特徴とするニューラルネットワ
ーク。 - 【請求項１８】 請求項５において、前記計算手段が
デジタル加算回路を有しており、前記パターン信号Ｘｉ
がデジタル信号を有しており、前記デジタル加算回路が
次式、 に従って動作することを特徴とするニューラルネットワ
ーク。 - 【請求項１９】 請求項６において、前記比較器手段
がアナログ比較器回路を有しており、且つ前記計算済ビ
ジランスパラメータＰｃｊ及び前記所定の基準ビジラン
スパラメータＰｒが電圧を有しており、前記アナログ比
較器回路が前記計算済ビジランスパラメータＰｃｊが前
記所定の基準ビジランスパラメータＰｒと等しいか又は
それを超えるか否かを決定すべく結合されており、且つ
次式、 に従って動作することを特徴とするニューラルネットワ
ーク。 - 【請求項２０】 請求項６において、前記比較器手段
がデジタル比較器回路を有しており、且つ前記計算済ビ
ジランスパラメータＰｃｊ及び前記所定の基準ビジラン
スパラメータＰｒがデジタル信号を有しており、前記デ
ジタル比較器回路が前記計算済ビジランスパラメータＰ
ｃｊが前記所定の基準ビジランスパラメータＰｒと等し
いか又はそれを超えるか否かを決定すべく結合されてお
り、且つ次式、 に従って動作することを特徴とするニューラルネットワ
ーク。 - 【請求項２１】 請求項６において、前記調節手段が
アナログ信号加算回路を有しており、且つ前記基準ビジ
ランスパラメータＰｒ及び前記計算済ビジランスパラメ
ータＰｃｊがアナログ信号を有することを特徴とするニ
ューラルネットワーク。 - 【請求項２２】 請求項６において、前記調節手段が
デジタル加算回路を有しており、且つ前記基準ビジラン
スパラメータＰｒ及び前記計算済ビジランスパラメータ
Ｐｃｊがデジタル信号を有することを特徴とするニュー
ラルネットワーク。 - 【請求項２３】 自己組織型ニューラルネットワーク
を使用して適応パターン認識を実施する方法において、
前記ニューラルネットワークは、可視パターンを表わす
入力パターンデータ信号Ｉｉ（ｉ＝１，２，３．．．，
Ｍ）を受付けるべく結合されているＭ複数個の入力ニュ
ーロンを有すると共に、前記可視パターンに対応するパ
ターン出力信号Ｖｊ（ｊ＝１，２，３．．．，Ｎ）を与
えるべく結合されているＮ複数個の出力ニューロンを有
しており、前記ニューラルネットワークは、更に、係数
Ｚｉｊを有しており且つ前記入力ニューロンを前記出力
ニューロンへ結合させるボトムアップ適応重みマトリク
スを有すると共に、係数Ｚｊｉを有しており且つ前記出
力ニューロンを前記入力ニューロンへ結合させるトップ
ダウン適応重みマトリクスを有しており、前記ニューラ
ルネットワークは、更に、実質的に前記入力パターンデ
ータ信号Ｉｉ及び前記ボトムアップ適応重みマトリクス
係数Ｚｉｊに基づいて複数個のビジランスパラメータＰ
ｃｊを計算するビジランスパラメータ計算手段を有する
と共に、前記複数個の計算済ビジランスパラメータＰｃ
ｊを所定の基準ビジランスパラメータＰｒと個別的に比
較するビジランスパラメータ比較器手段を有しており、
複数個の基準パターンを表わす複数個の基準パターンデ
ータ信号Ｉｉｒを前記Ｍ複数個の入力ニューロン内に入
力することにより前記ニューラルネットワークをトレー
ニングし、対応するパターンデータ信号Ｉｉを前記Ｍ複
数個の入力ニューロン内に入力することにより主題パタ
ーンを解析し、複数個の関連するビジランスパラメータ
Ｐａｊの中で最大値を有する関連するビジランスパラメ
ータＰａｊｍに対応する前記Ｎ複数個の出力ニューロン
のうちの一つからのパターン出力信号Ｖｊｍに従って前
記主題パターンを分類し、尚前記分類するステップが前
記主題パターンを表わすべくエンコードされている出力
パターン信号を出力することを包含する、上記各ステッ
プを有することを特徴とする方法。 - 【請求項２４】 請求項２３に記載した自己組織型ニ
ューラルネットワークを使用して適応パターン認識を実
施する方法において、前記ニューラルネットワークをト
レーニングするステップが、前記ボトムアップ適応重み
マトリクスの係数Ｚｉｊ、前記トップダウン適応重みマ
トリクスの係数Ｚｊｉ、及び前記基準ビジランスパラメ
ータの値Ｐｒを初期化させ、基準可視パターンを表わす
前記基準入力パターンデータ信号Ｉｉｒを前記Ｍ複数個
の入力ニューロンへ付与し、所定のスケーリングファク
タによって前記基準入力パターンデータ信号をＩｉｒを
選択的にスケーリングし、且つ対応する基準パターン信
号Ｘｉｒを発生し、前記基準可視パターンに対応する複
数個の基準パターン出力信号Ｖｊｒ（ｊ＝１，２，３．
．．，Ｎ）を前記出力ニューロンの各々において発生さ
せ、基準パターン出力信号Ｖｊｒｍを選択し、尚前記選
択した基準パターン出力信号Ｖｊｒｍは前記基準可視パ
ターンを最も良く表わす前記出力ニューロンのうちの一
つに対応しており、ビジランスパラメータＰｃｊｍを計
算し、尚前記計算したビジランスパラメータをＰｃｊｍ
は前記選択した基準パターン出力信号Ｖｊｒｍに対応す
る出力ニューロンに関連しており、前記計算済ビジラン
スパラメータＰｃｊｍを前記基準ビジランスパラメータ
Ｐｒと比較し、Ｐｃｊｍ＜Ｐｒの場合には、前記選択し
た基準パターン出力信号Ｖｊｒｍに対応する前記出力ニ
ューロンを一時的にディスエーブルさせ、新たな基準パ
ターン出力信号Ｖｊｒｍを選択し、且つビジランスパラ
メータＰｃｊｍを計算する前記ステップから開始して前
述したステップを繰返し行ない、Ｐｃｊｍ≧Ｐｒである
場合には、前記ボトムアップ及びトップダウン適応重み
マトリクスの係数Ｚｉｊ，Ｚｊｉの対応するものを適応
させ、前述したディスエーブルさせるステップにおいて
以前にディスエーブルされている出力ニューロンをイネ
ーブルさせ且つ基準入力パターンデータ信号Ｉｉｒを付
与する前記ステップから開始して前述したステップを繰
返し行なう、上記各ステップを有することを特徴とする
方法。 - 【請求項２５】 請求項２４に記載した自己組織型ニ
ューラルネットワークを使用して適応パターン認識を実
施する方法において、前記初期化ステップにおいて、次
式に従って、前記ボトムアップ適応重みマトリクスの係
数Ｚｉｊを選択的に初期化し、 尚、Ｚｉｊ（ｔ）＝時間ｔにおけるボトムアップ重みマ
トリクスの係数、Ｌ（予め選択した定数）＞１次式に従
って前記トップダウン適応重みマトリクスの係数Ｚｊｉ
を初期化し、 尚、Ｚｊｉ（ｔ）＝時間ｔにおけるトップダウン重みマ
トリクスの係数、０＜Ｐｒ＜１の不等式に従って前記基
準ビジランスパラメータの値Ｐｒを選択的に初期化する
、上記各ステップを有することを特徴とする方法。 - 【請求項２６】 請求項２４に記載した自己組織型ニ
ューラルネットワークを使用して適応パターン認識を実
施する方法において、前記複数個の基準パターン出力信
号Ｖｊｒを発生するステップが、次式 尚、Ｚｉｊ（ｔ）＝時間ｔにおけるボトムアップ重みマ
トリクスの係数、に従って実行することを特徴とする方
法。 - 【請求項２７】 請求項２４に記載した自己組織型ニ
ューラルネットワークを使用して適応パターン認識を実
施する方法において、前記基準パターン出力信号Ｖｊｒ
ｍを選択するステップにおいて、対応しないその他の全
ての出力ニューロンを禁止することにより、次式に従っ
て前記基準パターン出力信号Ｖｊｒの全ての中で最大値
を有する基準パターン出力信号Ｖｊｒｍを選択すること
を特徴とする方法。 - 【請求項２８】 請求項２４に記載した自己組織型ニ
ューラルネットワークを使用して適応パターン認識を実
施する方法において、前記計算済ビジランスパラメータ
Ｐｃｊｍを計算するステップが、次式 に従って実施することを特徴とする方法。 - 【請求項２９】 請求項２４に記載した自己組織型ニ
ューラルネットワークを使用して適応パターン認識を実
施する方法において、前記ボトムアップ及びトップダウ
ン適応重みマトリクスの係数Ｚｉｊ，Ｚｊｉを適応させ
るステップが、次式 尚、Ｌ（予め選択した定数）＞１ に従って実施することを特徴とする方法。 - 【請求項３０】 請求項２３に記載した自己組織型ニ
ューラルネットワークを使用して適応パターン認識を実
施する方法において、前記主題パターンを解析するステ
ップにおいて、主題パターンを表わす前記入力パターン
データ信号Ｉｉを前記Ｍ複数個の入力ニューロンへ印加
し、前記入力パターンデータ信号Ｉｉを所定のスケーリ
ングファクタで選択的にスケーリングし、且つ対応する
パターン信号Ｘｉを発生し、前記複数個の計算済ビジラ
ンスパラメータＰｃｊを計算し、尚前記複数個の計算済
ビジランスパラメータＰｃｊの各々は夫々前記Ｎ複数個
の出力ニューロンの一つと関連しており、前記複数個の
関連したビジランスパラメータＰａｊとしてランダムア
クセスメモリ内に前記複数個の計算済ビジランスパラメ
ータＰｃｊを選択的に格納する、上記各ステップを有す
ることを特徴とする方法。 - 【請求項３１】 請求項３０に記載した自己組織型ニ
ューラルネットワークを使用して適応パターン認識を実
施する方法において、前記複数個の計算済ビジランスパ
ラメータＰｃｊを計算するパラメータが、次式に従って
実施することを特徴とする方法。 - 【請求項３２】 請求項３０に記載した自己組織型ニ
ューラルネットワークを使用して適応パターン認識を実
施する方法において、更に、Ｐｒ＝１の式に従って前記
基準ビジランスパラメータの値Ｐｒを再度初期化し、前
記複数個の計算済ビジランスパラメータＰｃｊを前記基
準ビジランスパラメータＰｒと比較し、Ｐｃｊ＜Ｐｒで
ある場合に、前記基準ビジランスパラメータの値Ｐｒを
選択可能な量Δだけ減少させ、前記計算済ビジランスパ
ラメータＰｃｊを前記減少させた基準ビジランスパラメ
ータＰｒｒｊ（尚、Ｐｒｒｊ＝Ｐｒ−Δ）と再度比較し
、且つＰｃｊ≧Ｐｒｒｊとなる迄、前記減少させた基準
ビジランスパラメータＰｒｒｊを継続的に減少させ、Ｐ
ｃｊ≧Ｐｒである場合に、前記関連したビジランスパラ
メータＰａｊとしてランダムアクセスメモリ内に前記基
準ビジランスパラメータＰｒを格納し、Ｐｃｊ≧Ｐｒｒ
ｊである場合に、ランダムアクセルメモリ内に前記関連
したビジランスパラメータＰａｊとして前記減少した基
準ビジランスパラメータＰｒｒｊを格納し、前記Ｎ複数
個の出力ニューロンの各々が夫々関連するビジランスパ
ラメータＰａｊと関連する迄前述したステップを繰返し
行なう、上記各ステップを有することを特徴とする方法
。 - 【請求項３３】 請求項３２に記載した自己組織型ニ
ューラルネットワークを使用して適応パターン認識を実
施する方法において、前記複数個の計算済ビジランスパ
ラメータＰｃｊを計算するステップが、次式に従って実
施することを特徴とする方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US07/516,753 US5058180A (en) | 1990-04-30 | 1990-04-30 | Neural network apparatus and method for pattern recognition |
| US516753 | 2000-03-01 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH04229384A true JPH04229384A (ja) | 1992-08-18 |
Family
ID=24056952
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3191318A Pending JPH04229384A (ja) | 1990-04-30 | 1991-04-30 | パターン認識用ニューラルネットワーク装置及び方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5058180A (ja) |
| EP (1) | EP0464327A3 (ja) |
| JP (1) | JPH04229384A (ja) |
| KR (1) | KR910018941A (ja) |
Families Citing this family (69)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5588091A (en) * | 1989-05-17 | 1996-12-24 | Environmental Research Institute Of Michigan | Dynamically stable associative learning neural network system |
| JP2940042B2 (ja) * | 1990-01-23 | 1999-08-25 | 日産自動車株式会社 | 車両の制御戦略装置 |
| FR2662526B1 (fr) * | 1990-05-22 | 1994-12-09 | Thomson Csf | Procede de reconnaissance rapide d'objets susceptibles de faire partie d'une collection comportant un grand nombre d'objets a caracteristiques differentes. |
| JPH0438587A (ja) * | 1990-06-04 | 1992-02-07 | Nec Corp | 入力領域適応型ニューラルネットワーク文字認識装置 |
| US5796410A (en) * | 1990-06-12 | 1998-08-18 | Lucent Technologies Inc. | Generation and use of defective images in image analysis |
| US5309525A (en) * | 1990-06-14 | 1994-05-03 | Canon Kabushiki Kaisha | Image processing apparatus using neural network |
| US5214715A (en) * | 1991-01-31 | 1993-05-25 | Trustees Of Boston University | Predictive self-organizing neural network |
| US5440651A (en) * | 1991-06-12 | 1995-08-08 | Microelectronics And Computer Technology Corp. | Pattern recognition neural network |
| US5500905A (en) * | 1991-06-12 | 1996-03-19 | Microelectronics And Computer Technology Corporation | Pattern recognition neural network with saccade-like operation |
| US5493688A (en) * | 1991-07-05 | 1996-02-20 | Booz, Allen & Hamilton, Inc. | Pattern categoritzation system having self-organizing analog fields |
| US5179596A (en) * | 1991-07-05 | 1993-01-12 | Booz, Allen & Hamilton, Inc. | Analog pattern categorization system having dual weighted connectivity between nodes |
| US5159644A (en) * | 1991-08-30 | 1992-10-27 | Eastman Kodak Company | Character recognition method using statistically weighted correlation |
| US5521823A (en) * | 1991-09-03 | 1996-05-28 | Mazda Motor Corporation | Learning control vehicle |
| WO1993010500A1 (en) * | 1991-11-13 | 1993-05-27 | Iowa State University Research Foundation, Inc. | Improved memory capacity neural network |
| US5299269A (en) * | 1991-12-20 | 1994-03-29 | Eastman Kodak Company | Character segmentation using an associative memory for optical character recognition |
| US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| US10361802B1 (en) | 1999-02-01 | 2019-07-23 | Blanding Hovenweep, Llc | Adaptive pattern recognition based control system and method |
| DE4207595A1 (de) * | 1992-03-10 | 1993-09-16 | Siemens Ag | Verfahren zur vorklassifikation von hochdimensionalen merkmalsvektoren fuer zwecke der signalverarbeitung |
| US5448681A (en) * | 1992-03-27 | 1995-09-05 | National Semiconductor Corporation | Intelligent controller with neural network and reinforcement learning |
| US5422961A (en) * | 1992-04-03 | 1995-06-06 | At&T Corp. | Apparatus and method for improving recognition of patterns by prototype transformation |
| US5452371A (en) * | 1992-05-27 | 1995-09-19 | Apple Computer, Inc. | Method of aligning shapes on a display of a computer system |
| EP0574937B1 (en) * | 1992-06-19 | 2000-08-16 | United Parcel Service Of America, Inc. | Method and apparatus for input classification using a neural network |
| US5438629A (en) * | 1992-06-19 | 1995-08-01 | United Parcel Service Of America, Inc. | Method and apparatus for input classification using non-spherical neurons |
| US5555317A (en) * | 1992-08-18 | 1996-09-10 | Eastman Kodak Company | Supervised training augmented polynomial method and apparatus for character recognition |
| US5384895A (en) * | 1992-08-28 | 1995-01-24 | The United States Of America As Represented By The Secretary Of The Navy | Self-organizing neural network for classifying pattern signatures with `a posteriori` conditional class probability |
| JP2723118B2 (ja) * | 1992-08-31 | 1998-03-09 | インターナショナル・ビジネス・マシーンズ・コーポレイション | ２次元オブジェクトの認識に用いるためのニューラル・ネットワーク及び光学式文字認識装置 |
| US5966302A (en) * | 1992-10-16 | 1999-10-12 | Pitney Bowes Inc. | Sheet processing system with neural network control |
| US5412670A (en) * | 1992-11-30 | 1995-05-02 | Ricoh Corporation | N-bit parity neural network encoder |
| WO1994027251A1 (en) * | 1993-05-18 | 1994-11-24 | Massachusetts Institute Of Technology | Automated reading system and method |
| US5517667A (en) * | 1993-06-14 | 1996-05-14 | Motorola, Inc. | Neural network that does not require repetitive training |
| JP2673871B2 (ja) * | 1993-08-26 | 1997-11-05 | 日本アイ・ビー・エム株式会社 | ニューラル・ネットワークによるパターン認識方法及び装置 |
| US5488425A (en) * | 1993-12-22 | 1996-01-30 | At&T Corp. | Apparatus for storing video information by recognizing video frames |
| US5566273A (en) * | 1993-12-30 | 1996-10-15 | Caterpillar Inc. | Supervised training of a neural network |
| US5675711A (en) * | 1994-05-13 | 1997-10-07 | International Business Machines Corporation | Adaptive statistical regression and classification of data strings, with application to the generic detection of computer viruses |
| IT1275766B1 (it) * | 1994-07-16 | 1997-10-17 | Kiekert Ag | Procedimento per il controllo dell'abitacolo in un autoveicolo |
| AUPN431595A0 (en) * | 1995-07-24 | 1995-08-17 | Co-Operative Research Centre For Sensor Signal And Information Processing | Selective attention adaptive resonance theory |
| US5903884A (en) * | 1995-08-08 | 1999-05-11 | Apple Computer, Inc. | Method for training a statistical classifier with reduced tendency for overfitting |
| US6549899B1 (en) * | 1997-11-14 | 2003-04-15 | Mitsubishi Electric Research Laboratories, Inc. | System for analyzing and synthesis of multi-factor data |
| US6256619B1 (en) * | 1997-12-23 | 2001-07-03 | Caterpillar Inc. | Self optimizing neural network analog data processing system |
| US6272250B1 (en) * | 1999-01-20 | 2001-08-07 | University Of Washington | Color clustering for scene change detection and object tracking in video sequences |
| US7966078B2 (en) | 1999-02-01 | 2011-06-21 | Steven Hoffberg | Network media appliance system and method |
| US6456991B1 (en) | 1999-09-01 | 2002-09-24 | Hrl Laboratories, Llc | Classification method and apparatus based on boosting and pruning of multiple classifiers |
| US20040042665A1 (en) * | 2002-08-30 | 2004-03-04 | Lockheed Martin Corporation | Method and computer program product for automatically establishing a classifiction system architecture |
| US7263511B2 (en) * | 2003-10-23 | 2007-08-28 | International Business Machines Corporation | Creating user metric patterns including user notification |
| US8127235B2 (en) | 2007-11-30 | 2012-02-28 | International Business Machines Corporation | Automatic increasing of capacity of a virtual space in a virtual world |
| US20090164919A1 (en) | 2007-12-24 | 2009-06-25 | Cary Lee Bates | Generating data for managing encounters in a virtual world environment |
| US8416296B2 (en) * | 2009-04-14 | 2013-04-09 | Behavioral Recognition Systems, Inc. | Mapper component for multiple art networks in a video analysis system |
| US9205328B2 (en) | 2010-02-18 | 2015-12-08 | Activision Publishing, Inc. | Videogame system and method that enables characters to earn virtual fans by completing secondary objectives |
| US9682324B2 (en) | 2010-05-12 | 2017-06-20 | Activision Publishing, Inc. | System and method for enabling players to participate in asynchronous, competitive challenges |
| US9665822B2 (en) | 2010-06-30 | 2017-05-30 | International Business Machines Corporation | Canonical spiking neuron network for spatiotemporal associative memory |
| US10322351B2 (en) | 2014-07-03 | 2019-06-18 | Activision Publishing, Inc. | Matchmaking system and method for multiplayer video games |
| US9324320B1 (en) * | 2014-10-02 | 2016-04-26 | Microsoft Technology Licensing, Llc | Neural network-based speech processing |
| US10118099B2 (en) | 2014-12-16 | 2018-11-06 | Activision Publishing, Inc. | System and method for transparently styling non-player characters in a multiplayer video game |
| US10315113B2 (en) | 2015-05-14 | 2019-06-11 | Activision Publishing, Inc. | System and method for simulating gameplay of nonplayer characters distributed across networked end user devices |
| US10471348B2 (en) | 2015-07-24 | 2019-11-12 | Activision Publishing, Inc. | System and method for creating and sharing customized video game weapon configurations in multiplayer video games via one or more social networks |
| US10500498B2 (en) | 2016-11-29 | 2019-12-10 | Activision Publishing, Inc. | System and method for optimizing virtual games |
| KR20190117584A (ko) | 2017-02-09 | 2019-10-16 | 페인티드 도그, 인크. | 스트리밍 비디오 내의 객체를 검출하고, 필터링하고 식별하기 위한 방법 및 장치 |
| CN111052153B (zh) * | 2017-09-07 | 2023-07-14 | 松下控股株式会社 | 使用半导体存储元件的神经网络运算电路及动作方法 |
| US11040286B2 (en) | 2017-09-27 | 2021-06-22 | Activision Publishing, Inc. | Methods and systems for improved content generation in multiplayer gaming environments |
| US10561945B2 (en) | 2017-09-27 | 2020-02-18 | Activision Publishing, Inc. | Methods and systems for incentivizing team cooperation in multiplayer gaming environments |
| US10974150B2 (en) | 2017-09-27 | 2021-04-13 | Activision Publishing, Inc. | Methods and systems for improved content customization in multiplayer gaming environments |
| US10765948B2 (en) | 2017-12-22 | 2020-09-08 | Activision Publishing, Inc. | Video game content aggregation, normalization, and publication systems and methods |
| DE102018100424A1 (de) | 2018-01-10 | 2019-07-11 | Schuler Pressen Gmbh | Verfahren und Vorrichtung zur Steuerung und/oder Überwachung eines sich wiederholenden Prozessablaufs |
| US11679330B2 (en) | 2018-12-18 | 2023-06-20 | Activision Publishing, Inc. | Systems and methods for generating improved non-player characters |
| US11097193B2 (en) | 2019-09-11 | 2021-08-24 | Activision Publishing, Inc. | Methods and systems for increasing player engagement in multiplayer gaming environments |
| US11712627B2 (en) | 2019-11-08 | 2023-08-01 | Activision Publishing, Inc. | System and method for providing conditional access to virtual gaming items |
| US11351459B2 (en) | 2020-08-18 | 2022-06-07 | Activision Publishing, Inc. | Multiplayer video games with virtual characters having dynamically generated attribute profiles unconstrained by predefined discrete values |
| US11524234B2 (en) | 2020-08-18 | 2022-12-13 | Activision Publishing, Inc. | Multiplayer video games with virtual characters having dynamically modified fields of view |
| DE102021130482A1 (de) | 2021-11-22 | 2023-05-25 | Schuler Pressen Gmbh | Verfahren und Vorrichtung zur Überwachung eines zyklischen Arbeitsprozesses |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4914708A (en) * | 1987-06-19 | 1990-04-03 | Boston University | System for self-organization of stable category recognition codes for analog input patterns |
| US4876731A (en) * | 1988-02-19 | 1989-10-24 | Nynex Corporation | Neural network model in pattern recognition using probabilistic contextual information |
-
1990
- 1990-04-30 US US07/516,753 patent/US5058180A/en not_active Expired - Lifetime
-
1991
- 1991-04-16 EP EP19910106018 patent/EP0464327A3/en not_active Ceased
- 1991-04-29 KR KR1019910006846A patent/KR910018941A/ko not_active Abandoned
- 1991-04-30 JP JP3191318A patent/JPH04229384A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| EP0464327A2 (en) | 1992-01-08 |
| US5058180A (en) | 1991-10-15 |
| KR910018941A (ko) | 1991-11-30 |
| EP0464327A3 (en) | 1994-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH04229384A (ja) | パターン認識用ニューラルネットワーク装置及び方法 | |
| US12265904B2 (en) | Apparatus and method for neural network computation | |
| US12079717B2 (en) | Data processing apparatus, training apparatus, method of detecting an object, method of training, and medium | |
| Adamczak et al. | New developments in the feature space mapping model | |
| CN112633340B (zh) | 目标检测模型训练、检测方法、设备及存储介质 | |
| US20240161245A1 (en) | Image optimization | |
| JPH0744514A (ja) | ニューラルネットの学習用データ縮約化方法 | |
| AU753822B2 (en) | N-tuple or ram based neural network classification system and method | |
| Duch et al. | Initialization and optimization of multilayered perceptrons | |
| WO1991004546A1 (en) | Memory modification of artificial neural networks | |
| Widrow et al. | Adaptive neural networks and their applications | |
| CN112668455A (zh) | 人脸年龄识别方法、装置、终端设备及存储介质 | |
| Cai et al. | An optimal construction and training of second order RBF network for approximation and illumination invariant image segmentation | |
| US20200372363A1 (en) | Method of Training Artificial Neural Network Using Sparse Connectivity Learning | |
| EP0935212A1 (en) | N-Tuple or ram based neural network classification system and method | |
| den Bout | TInMANN: The integer Markovian artificial neural network | |
| Zhu et al. | Lagrange neural networks for linear programming | |
| CN118736324A (zh) | 一种基于重要参数约束的连续学习的图像分类方法 | |
| Bodyanskiy et al. | Evolving hybrid GMDH-Neuro-Fuzzy network and its applications | |
| Malinowski et al. | Capabilities and limitations of feedforward neural networks with multilevel neurons | |
| KR20250001695A (ko) | 소수 데이터의 점진적 학습을 위한 태스크 적응형 출력 시스템 및 학습 방법 및 알고리즘 | |
| Sánchez et al. | Learning fuzzy linguistic models from low quality data by genetic algorithms | |
| CN119295896B (zh) | 一种计算机视觉处理方法、装置、设备和存储介质 | |
| Brouwer | Using the Hopfield neural network as a classifier by storing class representatives | |
| CN113516184B (zh) | 一种图像特征点匹配的误匹配剔除方法及系统 |