JPH04213751A - ハイアラーキー ニューラル ネットワークに用いる分類方法及びネットワーク - Google Patents
ハイアラーキー ニューラル ネットワークに用いる分類方法及びネットワークInfo
- Publication number
- JPH04213751A JPH04213751A JP3039051A JP3905191A JPH04213751A JP H04213751 A JPH04213751 A JP H04213751A JP 3039051 A JP3039051 A JP 3039051A JP 3905191 A JP3905191 A JP 3905191A JP H04213751 A JPH04213751 A JP H04213751A
- Authority
- JP
- Japan
- Prior art keywords
- class
- neuron
- neurons
- classes
- sample
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Machine Translation (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
【０００１】
【技術分野】本発明はツリー状ニューラル ネットワ
ーク内に用いる分類方法であり、学習ステップを有し、
このステップ中において、ニューラル ネットワーク
は、数クラスに分割される標本（エクザンプル）群を分
類するため、シナプス係数を決定するツリー状ニューラ
ル ネットワーク内に用いる分類方法に関するもので
ある。 さらに本発明は、かかる方法を実施するニューラル
ネットワークに関するものである。 【０００２】ニューラル ネットワークは、とくに文
字及びパターン認識、音声信号プロセシング、画像プロ
セシング、情報比較等において分類（ｃｌａｓｓｉｆｉ
ｃａｔｉｏｎ）を行う用途に使用される。 【０００３】ニューラル ネットワークは非直線オー
トマトン（ａｕｔｏｍａｔｏｎ ）で、一般にシナプス
（ｓｙｎａｐｓｅ ）によって相互連結されたオートマ
トンにより構成され、これらシナプスにはシナプス係数
が割当られている。かかるネットワークは従来の逐次処
理型コンピュータでは処理が困難であった問題のプロセ
スを可能とする。 【０００４】 【従来の技術】ネットワークの最も広く普及している２
つのタイプというのは： − いわゆるホーップフィールド・ネットワーク（Ｈ
ｏｐｆｉｅｌｄ ｎｅｔｗｏｒｋｓ ）と呼ばれる完全
に結合している（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ）
ネットワーク、と− 層化された（ｌａｙｅｒｅｄ
）ネットワーク：すなわちニューロンは順次の層にグル
ープ化され、各ニューロンはそれに続く層のすべてのニ
ューロンに結合するの、とである。 最も一般的な構造では、情報は（受動的−ｐａｓｓｉｖ
ｅ ）入力端子から（能動的−ａｃｔｉｖｅ）入力層へ
、次いで逐次各隠された（能動的）層へ、そして（能動
的）出力層に至るルートで供給される。最も簡略化され
た構造では、情報は、（受動的）入力端子から単一の（
能動的）層へと供給される。入力情報は数個の成分を有
するベクトルのシーケンスで形成される。 【０００５】これらのシステムは、標本によるか又は自
己組織（ｓｅｌｆ−ｏｒｇａｎｉｚｉｎｇ ）による学
習の能力がある。 逐次型コンピュータ（ｓｅｑｕｅｎｔｉａｌ ｃｏｍｐ
ｕｔｅｒｓ）の計算時間は、学習相（ｌｅａｒｎｉｎｇ
ｐｈａｓｅｓ ）と解答相（ｓｏｌｕｔｉｏｎ ｐｈ
ａｓｅｓ）とを有する操作を並列に実行することにより
相当軽減することができる。 【０００６】所与の操作（ｐｒｏｃｅｓｓｉｎｇ）を実
行するためには、ニューラル・ネットワークは第１にそ
れを実行する学習をしなければならない。学習相と呼ば
れるこの相では、標本（ｅｘａｍｐｌｅ ）を用いる。 多数のアルゴリズムに対してこれらの標本の出力に得ら
れる結果は予め既知である。意図された課題を未だ採り
上げていないニューラル・ネットワークは、最初は誤っ
た結果を出すことがある。そこで、得られた結果と得ら
るべきであった結果との間の誤りが明らかにされ、ニュ
ーラル・ネットワークに選定された標本を学習すること
を許すために、変更した判定基準に基づいてシナプス係
数が変形される。この段階は、ニューラル・ネットワー
クが満足な学習をするのに必要と考えられる一団の標本
に対して何度でも繰り返される。 【０００７】学習アルゴリズムは２つの階級（ｃｌａｓ
ｓｅｓ ）に分割される： − 局所学習（ｌｏｃａｌ ｌｅａｒｎｉｎｇ）、す
なわちニューロンｊをニューロンｉに結合するシナプス
係数 Ｃｉｊの変形が、ニューロンｉ及びニューロンｊ
上に限定されている情報にのみ依存するもの、と − 非局所学習（ｎｏｎ−ｌｏｃａｌ ｌｅａｒｎｉ
ｎｇ）、すなわちネットワーク全体に所在する情報に依
存するものである。後者の公知の例としては層化された
ネットワーク内で誤りがフィード バックされるもの
である。 【０００８】種々のタイプのニューラル・ネットワーク
に関する情報は、ＩＥＥＥ ＡＳＳＰ Ｍａｇａｚｉｎ
ｅ誌 １９８７ 年４月号第４−２２頁に所載のアール
・ピー・リップマン（Ｒ． Ｐ． ＬＩＰＰＭＡＮＮ）
による“Ａｎ ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ ｃｏ
ｍｐｕｔｉｎｇ ｗｉｔｈ ｎｅｕｒａｌ ｎｅｔｓ
”という論文に記載されている。これらのニューラル・
ネットワークでは、構造の組織は（層化されているか又
は完全に結合しているかに）固定されている、そしてニ
ューロン間の結合は前以て固定されている。 【０００９】その時実行される学習の目的は、種々のア
ーキテクチャ（構造）を実施し、次で帰納的な選択（ｐ
ｏｓｔｅｒｉｏｒｉ ｃｈｉｃｅ）をなすことにより、
最適構造を見出すことである。 【００１０】学習の過程でアーキテクチャが決定できる
ようなアルゴリズムが、Ｊ．Ｐｈｙｓ．Ａ：Ｍａｔｈ．
Ｇｅｎ． 誌 ２２（１９８９年）第２１９１−２２０
３頁に所載の“ｌｅａｒｎｉｎｇ ｉｎ Ｆｅｅｄｆｏ
ｒｗａｒｄＬａｙｅｒｅｄ Ｎｅｔｗｏｒｋｓ：ｔｈｅ
ｔｉｌｉｎｇ ａｌｇｏｒｉｔｈｍ”という文献中で
既に、エム．メツアード（Ｍ． ＭＥＺＡＲＤ ）及び
ジェー．ピー．ナダル（Ｊ． Ｐ． ＮＡＤＡＬ ）に
より提案されている。 【００１１】この目的のために、該学習はある層中に割
当られた１番目のニューロンのシナプス係数を最適化す
ることにより初期化され、もしこのニューロンが分類の
課題を完成するのに十分でなければ、さらにもう１つの
ニューロンが当該の層に、又は同じく初期化されたその
次の層に追加される。この手法（ａｐｐｒｏａｃｈ）に
よって、アーキテクチャの学習及び、出力を２つの階級
に分離して、層化されたネットワークのパラメータ（多
層パーセプトロン）の学習ができる。 【００１２】しかしこれらは何れも、理論的なニューロ
ンの数よりも遙に多数のニューロンを使用しなければな
らないので、小形化（ｃｏｍｐａｃｔｎｅｓｓ）の点で
最適ではない。さらにこれに加えて、展開的な問題（ｅ
ｖｏｌｕｔｉｏｎａｒｙ ｐｒｏｂｌｅｍ）の場合には
、入力パラメータが極く僅か変化したようなとき、例え
ば分類の問題で、既に学習したクラスに追加のクラスを
付加するようなときでも全部の学習を再開始する必要が
ある。 【００１３】さらに、１９８８年７月 カリフォニル
ア州 サン ディエゴで開催されたニューラル
ネットワークに関するＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏ
ｎａｌ Ｃｏｎｆｅｒｅｎｃｅ において、シー・コウ
ツオジエラス（Ｃ． ＫＯＵＴＳＯＵＧＥＲＡＳ ）及
びシー・エー・パパクリストウ（Ｃ． Ａ． ＰＡＰＡ
ＣＨＲＩＳＴＯＵ）が、Ｐ−１−２４７ 〜１−２５４
に“Ｔｒａｉｎｉｎｇ ｏｆ ａ ｎｅｕｒａｌ ｎ
ｅｔｗｏｒｋ ｆｏｒｐａｔｔｅｒｎ ｃｌａｓｓｉｆ
ｉｃａｔｉｏｎ ｂａｓｅｄ ｏｎ ａｎ ｅｎｔｒｏ
ｐｙ ｍｅａｓｕｒｅ ”として発表したツリー状ニュ
ーラルネットワークが既知である。 【００１４】この構造は入力データ内の２つのクラスを
識別する分類の遂行に適している。ニューロンは、入力
と２つの相補的出力と、有効化（ｖａｌｉｄａｔｉｏｎ
）入力Ｅとを有するセル（シナプス係数と非直線機能を
有する）によって構成されている。設定（ｃｒｅａｔｅ
）された第１のニューロンが、２つのクラスの完全な分
離を遂行し得ないときは、２つの後続ニューロンがシス
テム的に形成され、これらの有効化入力Ｅは、それぞれ
第１ニューロンの２つの相補出力によって制御される。 ニューラル ネットワークはこれらニューロンの行（
ｒｏｗ ）を順次付加してゆくことによって構成される
。実際上前述の文献は次のことを特定している。各ユニ
ット（ニューロン）の各出力は、次の行の他のユニット
（ニューロン）の入力Ｅに接続される。第１ニューロン
（父ニューロン）によって構成される第１ランク（段階
）に対し、すべての息子ニューロンによって第２ランク
が形成され、さらにすべての孫ニューロンによって第３
ランクが形成され、以下同様となってゆく。従ってｋ次
の層は、２ｋ−１ 個のニューロンを有する。この構成
によって完全２進ツリーが創成される。また一方このニ
ューラル ネットワークは２つのクラス間のみの分類
を遂行する目的を有している。このニューラル ネッ
トワークは、その入力のスペース（空間）において、位
相数学的あるいは地勢学的（ｔｏｐｏｌｏｇｉｃａｌ
）な課題の解を求めるものである。すなわちこのニュー
ラル ネットワークは、１つのクラスに属しているス
ペースのゾーンを他方のクラスに属しているゾーンより
識別する。前記文献は、２つより多いクラスに分割でき
る入力データを分類する為には如何にして動作したら良
いかについては教示していない。 【００１５】 【発明が解決しようとする課題】従って本発明の課題は
、多クラス分類の問題に対処でき、かつ既知の層化構造
よりもより小形のニューラル ネットワークの構造を
提供するにある。この構造（ａｒｃｈｉｔｅｃｔｕｒｅ
）は極めて急速に動作するを要する。さらに本構造は既
知の構造よりもより柔軟（適応）性があり、発展が容易
であるを要する。 【００１６】２クラスより多いクラスの分類を行う本発
明による分類方法は、学習が次のステップを有すること
を特徴とする。 Ａ−クラス分けすべき標本をクラスの２つのサブグルー
プに従ってクラス分けするステップ、 Ｂ−標本群より、近似の標本の２つのサブグループを識
別しこれら２つのクラスのサブグループによって分割が
可能なようにするため、ニューロンのシナプス係数を計
算するステップ、 Ｃ−サブグループが単一のクラスを含んでいるか否かを
決定するため、識別された標本の均一性をテストするス
テップ、 Ｄ−ニューロンが単一クラスを識別したとき、このニュ
ーロンのアドレスを記憶蓄積し、この単一クラスを記録
するステップ、 Ｅ−ニューロンが不均一（非斉次）のサブグループを識
別したときは、ステップＡの工程を再スタートすること
によってクラスの２つの新しいサブグループに標本を各
均一のサブグループに分割し、次で標本の各不均一サブ
グループに対し、後位ニューロンを形成し、標本の新規
なサブグループが後位ニューロンによってすべてが均一
なクラスのサブグループであると識別される迄この工程
を反復するステップ。 【００１７】この方法（ｐｒｏｃｅｄｕｒｅ ）は、ハ
イアラーキー ニューラル ネットワークと称され
、ニューロンの相互接続並びにシナプス係数のアップデ
ート（更新）は、デシジョン ツリーの通路に従って
行われる。ツリーの形状に構成されたニューラル ネ
ットワークにおいて、すべてのニューロンは入力の空間
（スペース）で動作する。（形成されたすべてのニュー
ロンは入力ベクトル成分のすべてを受信する。）これに
より得られる構造は極めて小形となる。学習期間は遙に
短縮される。その理由は、ネットワーク構造が、ニュー
ロンによってプロセスされる所望の所定サブクラスの選
択に対する最適の構造に極めて近似しているからである
。とくに第１ニューロン（父ニューロン）により形成さ
れる第１ランクに対し、第２ランクはすべての子（ｓｏ
ｎ ）ニューロンを包含せず、同様に他のランクにもこ
れが当てはまり、すなわち、クラスの分離に実際に役に
立たないニューロンは形成されない。 【００１８】実行（ｅｘｅｃｕｔｉｏｎ ）フェースに
おいて、実行時間も遙に短縮される。その理由は、ある
所定のクラスに対し、当該クラスの識別に必要なニュー
ロンのみを使用（ｉｍｐｌｅｍｅｎｔ ）するからであ
る。実際上あるニューロンにより得られた結果（ｒｅｓ
ｕｌｔ）によって、動作させるべき後位のニューロンの
アドレスを決定する。このアドレスは学習中に記憶され
る。これはジー・コウツオウジエラス（Ｇ． ＫＯＵＴ
ＳＯＵＧＥＲＡＳ ）他の文献の処理とは異なる点であ
る。該文献では、ニューロンのアドレスは記憶されない
。それは方式的にいって、ランクｋに対して、全体で２
ｋ−１ のニューロンが創成される。 【００１９】学習を行うには、父ニューロンのシナプス
係数を計算し、標本のグループＭ内に、複数のクラスＰ
のサブグループを識別する。 【００２０】例えば標本グループ（群）Ｍが、クラスＡ
，Ｂ，Ｃ，Ｄをカバーしているとすると、識別は、これ
ら各クラスのうちの１つのクラス、例えばクラスＢを隔
離（ｉｓｏｌａｔｅ）するサブグループＭ＋１ を識別
することにより行われる。この場合、相補的（Ｃｏｍｐ
ｌｅｍｅｎｔａｒｙ）サブグループＭ−１ は、他のク
ラスＡ，Ｃ，Ｄにより構成される。 【００２１】ニューロンがクラスＡ，Ｂ，Ｃ，Ｄのおの
おのを分離する能力に、予め定めた誤差基準（ｅｒｒｏ
ｒ ｃｒｉｔｅｒｉｏｎ）を割り当て、上述の手順を行
うに際し最小の誤差基準のものを選択することも可能て
ある。 【００２２】ニューロンによって行われる標本の２つの
サブグループの識別は、標本の分布の重心に関して２群
への分割を行うことにより、標本の分布の主成分の分析
によるクラス分けの傾向に見合うようにしても行うこと
ができる。 【００２３】ニューロンが識別すべき特殊のクラスは、
層化ネットワークによって予め行われる学習によっても
決定することができる。この状況において、層化ニュー
ラルネットワークは、そのシナプス係数に多クラス標本
の基本を割当てる。入力ポテンシャルによって動作する
第１層は、クラスのセパレータとして動作する。従って
、所望の分割に最も近似した識別を行うニューロンは第
１層内より選択される。この場合、ニューロンの初期シ
ナプス係数は、層化ニューラル ネットワークより前
記ととくていのクラスをもっとも良く近似してクラス識
別を行うニューロンのシナプス係数を選択して決定する
。 【００２４】所定のクラスを離隔する代りに、他の態様
の分割が望まれるときもある。例えば２グループ内の標
本の数（ｐｏｐｕｌａｔｉｏｎ） を平衡させて、セパ
レータによって分離することである。このような場合に
は、層化ニューラル ネットワークのもっとも適当な
セパレータ ニューロンのシナプス係数を関連のツリ
ー状ニューロンの学習に使用する。 【００２５】この場合前位の構造内の満足な結果を利用
すると有利であり、これを用いてより小形で、より急速
で、かつパワーの大なツリー状構造を構成し得る。 【００２６】ニューロンによって、分離しようとする特
定のクラスＰをＭ＋１ のグループ内で行う分離は、標
本のクラスが直線分離不能なときは不完全にしか行い得
ない。従って特定のクラスＰと同クラスの標本は、第１
ニューロンによって識別した後、相補的サブ グルー
プＭ−１ 内にも見出される。 【００２７】次でグループＭ＋１ 及び相補グループＭ
−１ に斉次テストを行い、これらが単一のクラスを包
含しているかを決定する。これらの１つまたは他方が斉
次（均一、ｈｏｍｏｇｅｎｅｏｕｓ）であると、このグ
ループの識別は完結する。これらグループの一方または
他方が、不均一であると、これらのグループ各々に対し
次位ニューロンを形成し、次位ニューロンは非斉次（ｉ
ｎｈｏｍｏｇｅｎｅｏｕｓ） グループ内に２つの新
しいグループを識別する。この目的に対する手続では、
２分割（ｄｉｃｈｏｔｏｍｙｃｒｉｔｅｒｉｏｎ）によ
って識別を行うこの後続ニューロンに対するシナプス係
数を計算する。この識別動作は、入力標本（ベクトル）
に対し行い、この標本は関連非斉次グループを形成した
ものである。標本の二分プロセジュア及び後続ニューロ
ンの生成は、各順次の世代にわたって反復して行う。 【００２８】２つのサブ グループにわたる分離を行
う各ニューロンの訓練にはいくつかの変形がある。エム
．メメザード（Ｍ．ＭＥＺＡＲＯ） 及びジェー・ピー
・ナダル （Ｊ．Ｐ．ＮＡＤＡＬ）によって使用された
ポケットアルゴリズム（Ｐｏｃｋｅｔ ａｌｇｏｒｉｔ
ｈｍ） で、エス・ギヤラント （Ｓ．ＧＡＬＬＡＮＴ
）が、ｐｒｏｃ， ８ｔｈ ｃｏｎｆ． “Ｐａｔｔｅ
ｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ”パリ、１９８６に発
表したＩＥＥＥ“Ｏｐｔｉｍａｌ Ｌｉｎｅａｒ Ｄｉ
ｓｃｒｉｍｉａｎｔｓ ”に発表したポケットアルゴリ
ズムを使用すると好都合である。このポケット アル
ゴリズムは各ニューロンにより行われる分離の遂行に使
用することができる。 【００２９】各ニューロンに対し、「パーセプトロン
（Ｐｅｒｃｅｐｔｒｏｎ） 」という訓練判定基準を用
いることも可能で、これは任意の標本に対して、ニュー
ラル ネットワークの出力で得られた結果と期待され
る結果との差異を特徴付ける誤りに基づいてシナプス係
数を再更新するものである。これらの訓練判定基準は、
当業者にとって既知である。 【００３０】どのニューロンの訓練でもこれを成し遂げ
るためには、そのシナプス係数の計算は、「ポケット」
アルゴリズム（“Ｐｏｃｋｅｔ”ａｌｇｏｒｉｔｈｍ）
か、「パーセプトロン」型 （“Ｐｅｒｃｅｐｔｏｎ
”ｔｙｐｅ） の学習規則か、又はヘップ型（Ｈｅｂｂ
ｔｙｐｅ） の学習規則かのいずれかを実行すること
になる。（前掲のアール・ピー・リップマン （Ｒ．Ｐ
．ＬＩＰＰＭＡＮＮ） の文献、及びＰｈｙｓ．Ｒｅｖ
．Ａ誌、第３７巻第７号（１９８８年） 第２６６０頁
所載アール・メイヤ（Ｒ．ＭＥＩＲ）とイー・ドマニー
（Ｅ．ＤＯＭＡＮＹ）による“Ｉｎｔｅｇｒａｔｅｄ
Ｌｅａｒｎｉｎｇ ｉｎ ａ Ｉａｙｅｒｅｄ Ｆｅ
ｅｄ−Ｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎａｔｗｏｒ
ｋ ”という文献参照） 【００３１】本発明はまた、この方法を実行するニュー
ラル・ネットワークにも関する。 【００３２】ニューラル・ネットワークがツリー状構造
でまず初めに構築され、然る後に分類のタスクを実施す
るに用いられる。このときはツリーのブランチ（枝）が
構造のフアンクションに従って追跡され、後継ニューロ
ンのアドレスが学習（ｔｒａｉｎｉｎｇ） のコースで
記憶される。後継ニューロンは前位ニューロンによりも
たらされた結果によって定まる。従って各ニューロンの
出力に得られた結果の関数としてツリーを追跡しうるよ
うなメモリが必要である。この目的に対し、本ニューラ
ルネットワークには、任意のニューロンによって得られ
た結果にもとづいて、ツリー状構造による後継ニューロ
ンを指定するアドレスのディレクトリー（帳簿）を記憶
するメモリを配置する。各ニューロンによってプロセス
された標本を選定することにより、各ニューロンは前位
ニューロンの結果の関数として各ニューロン毎に互に相
異なり得るので、ニューラル ネットワークは、各後
継ニューロンによってプロセスされるべき標本を選択す
る手段を具える。 【００３３】各ニューロン ネットワークはそれ自体
は学習を行わず、分類の任務のみを行うようにすること
も可能であり、この分類の仕事自体（ｔａｓｋ ｐｒｏ
ｐｅｒ）はこのネットワークが指定されたかプログラム
されたものてある。この目的に対し、ニューロンの番号
、シナプス係数、連続順序、及びクラスのタイプ及び数
を規定（ｆｉｘ） するを要する。 【００３４】本発明はさらにニューラル ネットワー
クに関するものである。本ニューラル ネットワーク
は、分類すべきデータ ワードのベクトルを受信する
入力端子と、この入力端子にリンクしているニューロン
と、ニューロン間のリンク力を規定するシナプス係数と
を有し、これらニューロンはツリー状の構成に相互接続
されており、ニューロンは２状態の結果を送出し、これ
らの結果はマルチクラス データ ワードの分類を
遂行するニューラル ネットワークでっあって、ニュ
ーロン数、シナプス係数、ニューロンの連続順序、識別
すべきクラス、及び番号は、遂行すべき分類に特殊の学
習方法によって予め規定されており、前記連続順序は、
前記ニューロンがもたらす状態によってアドレスされる
第１記憶媒体内に記憶され、識別すべき前記クラスは第
２記憶媒体内に記憶され、各ニューロンにより送出され
る結果の均一性をホスト コンピュータによりテスト
し、均一（斉次）性が満足されるときは、ホスト コ
ンピュータは第２記憶媒体をアドレスして、識別したク
ラスを送出し、均一性が満足されないときは、ホスト
コンピュータは第１記憶媒体をアドレスし、これによ
って次のニューロンのアドレスが与えられる如くしたこ
とを特徴とする。 【００３５】 【実施例】以下図面により本発明を説明する。図１Ａは
、セパレータの行動のモードの入力の空間内の表現であ
る。取り扱う状態というのは、標本のグループを３つに
分割した３つのクラスＡ，Ｂ，Ｃを有するものである。 この図では、セパレータ１は、空間を次の２つの部分す
なわち ─ 標本の１番目のサブグループ（クラスＡ，Ｂ）を
有する上部、と ─ 標本の２番目のサブグループ（クラスＡ，Ｂ，Ｃ
）を有する下部とに分割している。 【００３６】後継のセパレータ２は、一方ではクラスＡ
を孤立させ、他方では標本のサブグループ（クラスＡ，
Ｂ）を孤立させている。 【００３７】次にはセパレータ４が、そしてそれからセ
パレータ６が、クラスＡとクラスＢとの完全な分離を実
行するために、標本の１番目のサブグループに付加され
なければならない。 【００３８】同様に、標本の２番目のサブグループに対
しても、セパレータ１の行動の後に、もしシンボルＸで
表される標本（クラスＣ）を分離したいならば、例えば
セパレータ３、セパレータ５、セパレータ７、セパレー
タ９をこの順序で導入しなければならない。 【００３９】これらと同一の結果が図１Ｂにツリー形式
で表されており、ここでは同じ数字が分離を実行するニ
ューロン（セパレータ）を表す。父ニューロンはニュー
ロン１であり、その他は後継ニューロンである。こうし
て茲に表される状態では、３つのクラスの完全な分離は
、９個のニューロンを必要とする。クラスＣのシンボル
Ｘを孤立させるためのツリーの横断線は図１Ｂでは太線
で表される。すべてのニューロンが、入力ベクトルの構
成要素を受け取る入力端子に結合している。各ニューロ
ンは、それに先行するニューロンの結果で定まる標本又
はデータのグループ又はサブグループ上に作用する。 【００４０】図２は、手順の様々なステップが出現する
ツリー状の構造に関するフローチャートを表す。この手
順は、ニューラル・ネットワークの学習訓練を実行し、
定義されたタスクにそれを適合させるために選ばれた、
標本のグループＭからの選出（ステップ２００）で始ま
る。 この標本のグループＭは、その定義により非斉次（ｉｎ
ｈｏｍｏｇｅｎｅｏｕｓ） である。訓練は茲では広い
意味に理解されなければならない、その訳は、それは必
要とされるシナプス係数（ニューラル・ネットワークを
教示する）を決定するだけではなく、このタスクを完成
するのに必要とされるニューロンの数を同時に決定する
ものだからである。従ってそれはまたニューラル・ネッ
トワークが持っていなければならないサイズを決定する
問題でもある。 【００４１】標本のグループＭはｋ個の異なるクラスか
らの標本に対して形成される。ステップ２０２ では最
初に、ｋ個のクラスをクラスＧ＋１とクラスＧ−１の２
サブグループに分割し、これによってｋ個のクラスの分
類問題をクラスＧ＋１とクラスＧ−１との２つのサブグ
ループの問題に縮小する。ステップ２０３ では該手順
は、標本のグループＭの集合に亙って作用する父ニュー
ロンＮ１ のシナプス係数を決定する。これらのシナプ
ス係数は、ニューラル・ネットワークが、標本のグルー
プＭ中で２つのサブグループＭ＋１とＭ−１との識別を
、最初に分割したクラスのサブグループＧ＋１とＧ−１
とを最も良く包含するように実行することを指向するよ
うに、決定される。シナプス係数を決定することを許す
この訓練のメカニズムは、以下に述べるポケット・アル
ゴリズム（Ｐｏｃｋｅｔ ａｌｇｏｒｉｔｈｍ）により
実行されるのを好適とする。これらの条件下では、該訓
練は実行時間に関してもこの訓練を行うために所要のハ
ードウェアに関しても最適であることが判明する。ニュ
ーラル・ネットワークからの出力は、正確に割当てられ
たか或いは各クラスを意図したサブグループにその他の
やり方で割当てられたかが分析される。考え方を固定す
るために、例えばいくつかのクラスＡ，Ｂ，Ｃ，Ｄを有
する標本のグループの中で、クラスＣ（Ｇ＋１＝Ｃ）を
孤立させることを探究することもできる。そうするとク
ラスのサブグループＧ−１は標本のグループＭからクラ
スのサブグループＧ＋１を取り去ることにより形成され
る。こうして父ニューロンの学習はＭ＋１をＧ＋１に符
合させ、またＭ−１をＧ−１に符合させるようになるで
あろう。 【００４２】先験的に線形に分離されないクラスＡ，Ｂ
，Ｃ，Ｄでは、こうして分離されたサブグループＭ−１
それ自体がクラスＣの構成要素をも有するかも知れない
。後述するように、他の更に複雑な分割が父ニューロン
の行動の対象になり得る。 【００４３】標本のサブグループＭ＋１とＭ−１とを生
成する標本がその次に別々に処理される。ステップ２２
０ 及びステップ２１０ で、Ｍ＋１及びＭ−１の斉次
性が検査される。 【００４４】実際には、父ニューロンは前以て定義され
たクラスのサブグループを識別するというタスクを持つ
。もし標本のグループＭ＋１（またはＭ−１）が斉次な
らば、すなわち同一のクラスの標本のみを含むならば、
これらの標本はステップ２２２（またはステップ２１２
）で識別される（階級Ｋ０，Ｋ１）。 【００４５】もし標本のサブグループＭ＋１（またはＭ
−１）が非斉次ならば、換言すれば異なるクラスの標本
を含むならば、この非斉次の標本のグループの区別を、
ステップ２２４（またはステップ２１４）で続けること
が必要である。 【００４６】この目的のために、標本のサブグループＭ
＋１を２つのクラスのサブグループに分割することが、
ステップ２０２ で述べたのと同じ分割メカニズムに従
って、標本のサブグループＭ＋１中の残りのクラスの数
について行うことにより実行される。次いで、後継ニュ
ーロンＮ２（又はＮ３）が付加され、類似の二分法メカ
ニズムが実行される。後継ニューロン、例えばＮ２ の
出力ではこうして標本のサブグループＭ＋２及びＭ−２
が得られ、これらはその斉次性について自身で検査され
て （ステップ２４０，ステップ２６０）、それにより
それらが標本のクラス （クラスＫ２，クラスＫ４）を
孤立させるか否かを決定する （ステップ２４２，ステ
ップ２６２）。全く同一の過程が後継ニューロンＮ３
の出力で行われる （ステップ２５０，ステップ２３０
，ステップ２５２，ステップ２３２）。本発明によるこ
の手順は、グループＭのすべての標本がこうして処理さ
れ、各孤立した標本のサブグループが同じクラスに属す
る標本のみを含むようになったときに完成する。従って
、ニューロンの数及びそれらのシナプス係数はこの手順
自体によって決定され、この標本のグループに対する学
習訓練動作は完了する。然る後に、ニューラル・ネット
ワークは分類タスクを実行するために利用できる。 【００４７】図３は本発明による手順で実行される分離
ステップのもう１つの表現である。標本の非斉次のグル
ープＭ上では、父ニューロンＮ１（太線で表す） は、
標本のサブグループＭ＋１とＭ−１とによる識別を実行
する。この表現では、標本のサブグループＭ１＋は斉次
で単一のクラスを含むと仮定する。さらにまた、標本の
サブグループＭ１−は非斉次とすることも仮定する。後
継ニューロンＮ３（太線で表す） は、Ｍ−１を２つの
標本のサブグループＭ＋３とＭ−３とに分離する。サブ
グループＭ−３は斉次であり、サブグループＭ＋３は非
斉次である。後者は後継ニューロンＮ５（太線で表す）
で標本のサブグループＭ＋５とＭ−５とに分離され、
それらは茲に表されている状態では斉次である。分類の
手順はこれで終わり、ツリー状のニューラル・ネットワ
ークは他のデータのグループに分類を実行するのに使う
ことができる。図３ではその縦の列Ｉは、関係の後継ニ
ューロンにより実行された識別がそこで行われた標本の
グループＭか又は標本のサブグループＭ−１，Ｍ＋３を
示す、すなわち換言すれば先行のサブグループ又はグル
ープにより識別された斉次のサブグループ又はグループ
が取り出された後の標本のグループＭか又は標本のサブ
グループＭ−１，Ｍ＋３を示すのである。 【００４８】標本から、父ニューロンは予め定められた
分割に近い２つの標本のサブグループに区分することを
指向するのである。 【００４９】２つの標本のサブグループにクラスを分割
する１番目の例示は既に記述したが、これはある特定の
クラスを他のクラスから孤立させてそれら自身の間で標
本のクラスの集合を形成するものである。 【００５０】図４Ａは、クラスＣ１，クラスＣ２，クラ
スＣ３ から形成される標本４０のグループＭを表す。 クラスＣ１ の境界は曲線３０で形成される。ニューロ
ンのシナプス係数の計算はクラスＣ１ を最良に孤立さ
せることであり、茲で形成されたセパレータは直線３１
とされる。 【００５１】分割の２番目の例示は、標本のクラスの各
々に対して誤り判定基準を前以て計算することである。 次いで、最良の分割を評価する誤り判定基準が定義され
る。この最良の分割によりこうして孤立させられた特定
のクラスは、そのシナプス係数を決定するように各ニュ
ーロンの学習を実行すべく選定されたものである。 【００５２】分割の１番目及び２番目の例示は、大きな
サイズ（多数のニューロン）と大きな深さ（多数の更新
すべきニューロン）を持つツリーを導く可能性があり、
これはハンディキャップとなり得る。この理由によって
、それらにとって他の型の分割が好適となり得る。 【００５３】ニューロンが指向しなければならない３番
目の分割の例示は、標本の分布の主要構成要素分析（ａ
ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔｓａｎａｌ
ｙｓｉｓ） を用いることである。 該主要構成要素分析というのは統計的な方法で、それは
Ｎ個のベクトル外１ 【外１】 （ｄ次元空間の点）のグループが、ｄ個の主要方向とｄ
個の対応する分散σ２ を持つ平均ベクトル数１【数１
】 を援用して書き表すことを許すものである。この方法の
詳細は、１９８２年 Ｄｕｎｏｄ社発行のＥ．ＤＩＤＡ
Ｙ， Ｊ．ＬＥＭＡＩＲＥ， Ｊ．ＰＯＵＧＥＴ， Ｅ
．ＴＥＳＴＵ による”Ｅｌｅｍｅｎｔｓ ｄ’Ａｎａ
ｌｙｓｅ ｄｅＤｏｎｎｅｅｓ” という文献の第 １
６７頁に記載されている。 【００５４】図４Ｂの単純な場合では、標準偏差比σ１
／σ２ がほぼ３に等しい２次元空間の分布４０が示さ
れている。この分布に対しては、平均外２ 【外２】 及び固有の方向Ｄ１，Ｄ２ に沿った主要構成要素外３
【外３】 が定義されている。もし主要構成要素が減少する分散に
よって分類されるならば、第１の固有の方向は外４【外
４】 のノルムが標本μで最も変動する方向を示す。クラスＣ
１，Ｃ２，… ，Ｃｋ に割り当てられた標本の集合外
５【外５】 があり、それに対してｋ個のクラスの分類を進めるため
に線形セパレータ（ニューロン）を適用することが望ま
しい時には、次のようにしてｋ個のクラスを２つの別々
のグループＧ＋／Ｇ− に分離することが好適である：
ｉ） 一組の標本外６ 【外６】 の平均外７ 【外７】 及び最初の主要構成要素外８ 【外８】 が、例えば共分散行列を計算し対角化し、続いて最大分
散を選択することによる完全な主要構成要素分析を実行
することによって計算される、 ｉｉ） Σを、クラスがＣの標本の総和とし、ＮＣ を
クラスＣ中の標本の数とするとき、各クラスＣに対応す
る重心が次式数２ 【数２】 によって計算される、 ｉｉｉ） その重心が次の関係数３ 【数３】 を満足するクラスをＧ＋ とし、その他のクラスをＧ−
とすることによってグループ化が実行される。 【００５５】主要構成要素分析の方法が、３つのクラス
を持つ２次元の分布に対して、図４Ｃに示される。分布
４０は３つのクラスＣ１，Ｃ２，Ｃ３ を持ち、これら
の各クラスのそれぞれに対し平均値を＜ｙ＞１，＜ｙ＞
２，＜ｙ＞３ 、重心をＨ１，Ｈ２，Ｈ３ とする。上
記 ｉ） に従っての平均の計算及び最初の主要ベクト
ルの計算によって、＜ｙ＞及び外９ 【外９】 が決定される。上記ｉｉ） に従っての各クラスに付随
する重心の計算によってＨ１，Ｈ２，Ｈ３ が決定され
る。上記 ｉｉｉ） に従ってのクラスのグループ化は
、セパレータ４１を援用して、３つのクラスを２つのク
ラスのサブグループ上に分布させることを可能にする。 【００５６】この場合、２つのクラスのサブグループへ
の標本の分割は、該標本の分布の重心を通り主方向に垂
直な軸に関する分割を実行するもので、該重心及び該主
方向は主要構成要素分析中に決定される。他の選択（例
えばクラスの選択）に関するこの方法の本質的利点は、
線形セパレータが更によくバランスするであろうこと、
すなわちそれは標本を、母集団がより僅かにしか異なら
ない２つの部分集合に分離するであろうことである。 【００５７】分割の４番目の例示は、層化されたニュー
ラル・ネットワーク上の既知の結果を使うものである。 実際に、同一又は類似のタスクに適合するように既に訓
練を経たこのようなニューラル・ネットワークは、すで
に決定されたシナプス係数を保有している。そのような
層化されたニューラル・ネットワークの入力層は、セパ
レータ機能をも行うニューロンを有している。従って、
処理されるべき標本のグループＭでは、所望の分割に最
も近い２つのサブグループへの分割をこの入力層の中で
行うことが可能である。 【００５８】ニューロンにより実行される分割の以上４
つの例示は、これだけに限定されるものではなく、本発
明による他の選択も用いることが出来る。 【００５９】所望のクラスのサブグループへの最善の近
似となるようにニューロンがそのシナプス係数を決定す
るために実行する学習は、Ｊ．Ｐｈｙｓ．Ａ：Ｍａｔｈ
． Ｇｅｎ．誌 ２２（１９８９年） 第２１９１−２
２０３頁に所載の”Ｌｅａｒｎｉｎｇ ｉｎ Ｆｅｅｄ
ｆｏｒｗａｒｄ Ｌａｙｅｒｅｄ ｎｅｔｗｏｒｋｓ：
ｔｈｅｔｉｌｉｎｇ ａｌｇｏｒｉｔｈｍ” という文
献中で Ｍ．ＭＥＺＡＲＤ 及びＪ．Ｐ．ＮＡＤＡＬ
により用いられ、Ｐａｒｉｓ（１９８６年） の ８ｔ
ｈ Ｃｏｎｆ． ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎ
ｉｔｉｏｎ におけるＩＥＥＥ ｐｒｏｃ．に所載のＳ
．ＧＡＬＡＮＴによる”Ｏｐｔｉｍａｌ Ｌｉｎｅａｒ
Ｄｉｓｃｒｉｍｉｎａｎｔｓ”という文献に記載され
ているポケット・アルゴリズムにより実行されるのを好
適とする。 【００６０】この目的で、無作為に選ばれた各標本に対
して、ニューロンの出力のポテンシャルが計算される。 もしこのポテンシャルが安定性判定基準（Ｓ≧０）を満
足させるならば、また別の標本が選ばれる。もしこのポ
テンシャルが安定性判定基準を満足させない（Ｓ＜０）
ならば、新しいシナプス係数が計算され、その新しいシ
ナプス係数はそれらが最小の誤り判定基準を満足させる
時に限り以前のシナプス係数を更新するために用いられ
る。すべての標本がこうして当該のニューロンのシナプ
ス係数を決定するのに用いられ、「ポケット」アルゴリ
ズムは非斉次のクラスの二分法を行わせるために最適の
シナプス係数に向かって収束する。 【００６１】このアルゴリズム（ｔｉｌｉｎｇ）は、現
在の層のユニットにより表される符号（＋／−；１／０
）が信頼できるよう（ｒｅｌｉａｂｌｅ）になるまで、
すなわち換言すれば、２つの異なるクラスの標本が当面
問題の層の集合に亙って同一の符号を持たなくなるまで
、ニューロンを付加することによって多層ニューラル・
ネットワークを構築するために設計されたものである。 各層は、単一のニューロンを持つ層が得られるに至るま
で、先行の層の標本からこうして構築される。 【００６２】図５はポケット・アルゴリズムのフローチ
ャートを示し、これは標本のグループを２つのグループ
に分離することを実行するものである。 【００６３】所与のニューロンに対してそのシナプス係
数Ｃｉｊは０に初期化される、また最大誤り判定基準Ｃ
Ｒｍ は非常に大きい値で初期化される （ステップ４
００）。１つの標本ＥＸが無作為に採られ （ステップ
４０２）、それに対して安定値Ｓが ｉを目下分析の対象とされているるニューロンの指標と
し、ｊをそれに接続されるニューロン又は入力の指標と
し、外１０ 【外１０】 をニューロンｉの入力に存在するμ標本のｊ番目の構成
要素とする時数４ 【数４】 によって決定される （ステップ４０４）。 【００６４】この安定値Ｓが検査される （ステップ４
０６）。もしそれが正ならば安定性は十分で、また別の
標本が選ばれる。 【００６５】もしこの安定値Ｓが負又は０ならば、シナ
プス係数Ｃ’ ｉｊは次の式 Ｃ’ ｉｊ（新）＝Ｃ’ ｉｊ（旧）＋ｙｊにより決定
される （ステップ４０８）。 【００６６】こうして決定された各新シナプス係数Ｃ’
ｉｊは、例えば安定性が間違った符号を持つ標本の数
を算定するところの誤り判定基準ＣＲを満足させなけれ
ばならない （ステップ４１０）。もしこの判定基準Ｃ
Ｒが判定基準の最大値ＣＲｍ よりも小さければ （ス
テップ４１２）、決定されたシナプス係数Ｃ’ ｉｊは
、以前に記憶されていたシナプス係数Ｃｉｊを更新する
のに使われる （ステップ４１４）。 【００６７】同様に、最大値ＣＲｍ も更新される。こ
うしてすべての標本が計算のため及び恐らくはその次に
このニューロンｉのシナプス係数の更新のために逐次使
われる。この学習の最後に、このニューロンｉによって
行われた分離が、所与のグループの標本に対して得られ
た結果 （２つのクラスのグループ：＋／−；１／０）
を算定することにより、検査される。もし該分離が斉次
なクラスのグループを供給しないならば、また別のニュ
ーロンが層に付加され、ポケット・アルゴリズムが再び
同じやり方で実行される。 【００６８】このアルゴリズムはニューロンの出力で得
られたクラスのグループの２つのタイプ ＋／− （又
は１／０）しか区別することができない。それ故、それ
はもっと多くの数のクラスＡ，Ｂ，Ｃ，Ｄ等に分割する
学習中の標本に対して、直接作用することはできない。 【００６９】本発明はまた、図６に図式的に示したツリ
ー状に組織されたニューラル・ネットワークにも関する
。該ネットワークは計算ユニット５００ を有し、これ
は出力状態Ｖｉ を入力ポテンシャルＶｊ から、Ｃｉ
ｊはニューロンｉを入力ｊ（又はニューロンｊ）に接続
するシナプス係数であるとすると、次式 Ｖｉ ＝ΣＣｉｊ・Ｖｊ によって算定する。 【００７０】この計算ユニット５００ は、当業者にと
って既知のメカニズムによって動作し、それは例えば上
掲のＲ．Ｐ．ＬＩＰＰＭＡＮＮの文献に記載されている
。 【００７１】任意のニューロンの学習中に、その後継ニ
ューロンはこの任意のニューロンのもたらす結果によっ
て異なるであろう。従って、ニューラル・ネットワーク
を使用するためには、該任意のニューロンのもたらす結
果による後継ニューロンを確定することが必要である。 この目的のために、アドレス・メモリ５０４ が上記結
果に対応するアドレスを受け取り、逆に後継ニューロン
のアドレスを送り出す。 【００７２】以前に定義したようにしてニューロンが創
造される学習の過程で、後継ニューロンの継起の順序は
このようにして決定され、メモリ５０４ に搭載される
。こうしてニューラル・ネットワークはアドレスの一覧
表を記憶するメモリを具備することになり、この一覧表
には任意のニューロン上で得られた結果によるツリー状
の組織をもつ後続ニューロンに関する情報が含まれる。 ツリーのすべての分枝へアドレスすることはこうして僅
かのハードウェアだけで速やかに実行される。クラス・
メモリ５０６ はニューロンのツリーによって分離され
たクラスを記憶する。 【００７３】ツリー状のニューラル・ネットワークを利
用するステップ中に、メモリはニューロンの与える結果
によってアドレスされ、その返しとしてＮ個の後継ニュ
ーロンのアドレスを供給する。この交換はホスト・コン
ピュータ５０２を通して実行され、このホスト・コンピ
ュータは、種々のユニットのそれら自身の間の交換の集
合、特に各ニューロンが受け取らなければならない各グ
ループ又はサブグループの交換を管理する。 【００７４】ツリーの分枝の終端に到達すると、クラス
・メモリ（５０６） から対応するクラスが読み出され
る。このことは斉次の標本のクラスの決定が速やかに実
行されることを好適に許容する。標本は標本メモリ５０
８ に記憶される。標本を割り付けるためのメモリ５１
０ が、ある特定のニューロンにより処理されなければ
ならない標本のサブグループの選択を許容する。ニュー
ラル・ネットワークは、学習方法がツリーを構成するニ
ューロンをそれによって決定するところのある一定数の
ニューロンを備えていることが可能である。しかしなが
ら学習方法は、ニューロンの数、そのシナプス係数、ニ
ューロンの継起の順序、識別すべきクラス及びその数を
決定するために別々のハードウェア内で実施されること
もまた可能である。そのとき、これらのパラメータはす
べて、習得した分類のタスクに役立たせるニューラル・
ネットワークを構築するのに用いられる。その場合には
、このニューラル・ネットワークは、学習のオプション
を保有せず、専ら分類用のニューラル・ネットワーク（
習得した方法の繰り返し）でしかない。この種のツリー
状のネットワークが別の訓練方法で更に多く決定される
かもしれない。
ーク内に用いる分類方法であり、学習ステップを有し、
このステップ中において、ニューラル ネットワーク
は、数クラスに分割される標本（エクザンプル）群を分
類するため、シナプス係数を決定するツリー状ニューラ
ル ネットワーク内に用いる分類方法に関するもので
ある。 さらに本発明は、かかる方法を実施するニューラル
ネットワークに関するものである。 【０００２】ニューラル ネットワークは、とくに文
字及びパターン認識、音声信号プロセシング、画像プロ
セシング、情報比較等において分類（ｃｌａｓｓｉｆｉ
ｃａｔｉｏｎ）を行う用途に使用される。 【０００３】ニューラル ネットワークは非直線オー
トマトン（ａｕｔｏｍａｔｏｎ ）で、一般にシナプス
（ｓｙｎａｐｓｅ ）によって相互連結されたオートマ
トンにより構成され、これらシナプスにはシナプス係数
が割当られている。かかるネットワークは従来の逐次処
理型コンピュータでは処理が困難であった問題のプロセ
スを可能とする。 【０００４】 【従来の技術】ネットワークの最も広く普及している２
つのタイプというのは： − いわゆるホーップフィールド・ネットワーク（Ｈ
ｏｐｆｉｅｌｄ ｎｅｔｗｏｒｋｓ ）と呼ばれる完全
に結合している（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ ）
ネットワーク、と− 層化された（ｌａｙｅｒｅｄ
）ネットワーク：すなわちニューロンは順次の層にグル
ープ化され、各ニューロンはそれに続く層のすべてのニ
ューロンに結合するの、とである。 最も一般的な構造では、情報は（受動的−ｐａｓｓｉｖ
ｅ ）入力端子から（能動的−ａｃｔｉｖｅ）入力層へ
、次いで逐次各隠された（能動的）層へ、そして（能動
的）出力層に至るルートで供給される。最も簡略化され
た構造では、情報は、（受動的）入力端子から単一の（
能動的）層へと供給される。入力情報は数個の成分を有
するベクトルのシーケンスで形成される。 【０００５】これらのシステムは、標本によるか又は自
己組織（ｓｅｌｆ−ｏｒｇａｎｉｚｉｎｇ ）による学
習の能力がある。 逐次型コンピュータ（ｓｅｑｕｅｎｔｉａｌ ｃｏｍｐ
ｕｔｅｒｓ）の計算時間は、学習相（ｌｅａｒｎｉｎｇ
ｐｈａｓｅｓ ）と解答相（ｓｏｌｕｔｉｏｎ ｐｈ
ａｓｅｓ）とを有する操作を並列に実行することにより
相当軽減することができる。 【０００６】所与の操作（ｐｒｏｃｅｓｓｉｎｇ）を実
行するためには、ニューラル・ネットワークは第１にそ
れを実行する学習をしなければならない。学習相と呼ば
れるこの相では、標本（ｅｘａｍｐｌｅ ）を用いる。 多数のアルゴリズムに対してこれらの標本の出力に得ら
れる結果は予め既知である。意図された課題を未だ採り
上げていないニューラル・ネットワークは、最初は誤っ
た結果を出すことがある。そこで、得られた結果と得ら
るべきであった結果との間の誤りが明らかにされ、ニュ
ーラル・ネットワークに選定された標本を学習すること
を許すために、変更した判定基準に基づいてシナプス係
数が変形される。この段階は、ニューラル・ネットワー
クが満足な学習をするのに必要と考えられる一団の標本
に対して何度でも繰り返される。 【０００７】学習アルゴリズムは２つの階級（ｃｌａｓ
ｓｅｓ ）に分割される： − 局所学習（ｌｏｃａｌ ｌｅａｒｎｉｎｇ）、す
なわちニューロンｊをニューロンｉに結合するシナプス
係数 Ｃｉｊの変形が、ニューロンｉ及びニューロンｊ
上に限定されている情報にのみ依存するもの、と − 非局所学習（ｎｏｎ−ｌｏｃａｌ ｌｅａｒｎｉ
ｎｇ）、すなわちネットワーク全体に所在する情報に依
存するものである。後者の公知の例としては層化された
ネットワーク内で誤りがフィード バックされるもの
である。 【０００８】種々のタイプのニューラル・ネットワーク
に関する情報は、ＩＥＥＥ ＡＳＳＰ Ｍａｇａｚｉｎ
ｅ誌 １９８７ 年４月号第４−２２頁に所載のアール
・ピー・リップマン（Ｒ． Ｐ． ＬＩＰＰＭＡＮＮ）
による“Ａｎ ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ ｃｏ
ｍｐｕｔｉｎｇ ｗｉｔｈ ｎｅｕｒａｌ ｎｅｔｓ
”という論文に記載されている。これらのニューラル・
ネットワークでは、構造の組織は（層化されているか又
は完全に結合しているかに）固定されている、そしてニ
ューロン間の結合は前以て固定されている。 【０００９】その時実行される学習の目的は、種々のア
ーキテクチャ（構造）を実施し、次で帰納的な選択（ｐ
ｏｓｔｅｒｉｏｒｉ ｃｈｉｃｅ）をなすことにより、
最適構造を見出すことである。 【００１０】学習の過程でアーキテクチャが決定できる
ようなアルゴリズムが、Ｊ．Ｐｈｙｓ．Ａ：Ｍａｔｈ．
Ｇｅｎ． 誌 ２２（１９８９年）第２１９１−２２０
３頁に所載の“ｌｅａｒｎｉｎｇ ｉｎ Ｆｅｅｄｆｏ
ｒｗａｒｄＬａｙｅｒｅｄ Ｎｅｔｗｏｒｋｓ：ｔｈｅ
ｔｉｌｉｎｇ ａｌｇｏｒｉｔｈｍ”という文献中で
既に、エム．メツアード（Ｍ． ＭＥＺＡＲＤ ）及び
ジェー．ピー．ナダル（Ｊ． Ｐ． ＮＡＤＡＬ ）に
より提案されている。 【００１１】この目的のために、該学習はある層中に割
当られた１番目のニューロンのシナプス係数を最適化す
ることにより初期化され、もしこのニューロンが分類の
課題を完成するのに十分でなければ、さらにもう１つの
ニューロンが当該の層に、又は同じく初期化されたその
次の層に追加される。この手法（ａｐｐｒｏａｃｈ）に
よって、アーキテクチャの学習及び、出力を２つの階級
に分離して、層化されたネットワークのパラメータ（多
層パーセプトロン）の学習ができる。 【００１２】しかしこれらは何れも、理論的なニューロ
ンの数よりも遙に多数のニューロンを使用しなければな
らないので、小形化（ｃｏｍｐａｃｔｎｅｓｓ）の点で
最適ではない。さらにこれに加えて、展開的な問題（ｅ
ｖｏｌｕｔｉｏｎａｒｙ ｐｒｏｂｌｅｍ）の場合には
、入力パラメータが極く僅か変化したようなとき、例え
ば分類の問題で、既に学習したクラスに追加のクラスを
付加するようなときでも全部の学習を再開始する必要が
ある。 【００１３】さらに、１９８８年７月 カリフォニル
ア州 サン ディエゴで開催されたニューラル
ネットワークに関するＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏ
ｎａｌ Ｃｏｎｆｅｒｅｎｃｅ において、シー・コウ
ツオジエラス（Ｃ． ＫＯＵＴＳＯＵＧＥＲＡＳ ）及
びシー・エー・パパクリストウ（Ｃ． Ａ． ＰＡＰＡ
ＣＨＲＩＳＴＯＵ）が、Ｐ−１−２４７ 〜１−２５４
に“Ｔｒａｉｎｉｎｇ ｏｆ ａ ｎｅｕｒａｌ ｎ
ｅｔｗｏｒｋ ｆｏｒｐａｔｔｅｒｎ ｃｌａｓｓｉｆ
ｉｃａｔｉｏｎ ｂａｓｅｄ ｏｎ ａｎ ｅｎｔｒｏ
ｐｙ ｍｅａｓｕｒｅ ”として発表したツリー状ニュ
ーラルネットワークが既知である。 【００１４】この構造は入力データ内の２つのクラスを
識別する分類の遂行に適している。ニューロンは、入力
と２つの相補的出力と、有効化（ｖａｌｉｄａｔｉｏｎ
）入力Ｅとを有するセル（シナプス係数と非直線機能を
有する）によって構成されている。設定（ｃｒｅａｔｅ
）された第１のニューロンが、２つのクラスの完全な分
離を遂行し得ないときは、２つの後続ニューロンがシス
テム的に形成され、これらの有効化入力Ｅは、それぞれ
第１ニューロンの２つの相補出力によって制御される。 ニューラル ネットワークはこれらニューロンの行（
ｒｏｗ ）を順次付加してゆくことによって構成される
。実際上前述の文献は次のことを特定している。各ユニ
ット（ニューロン）の各出力は、次の行の他のユニット
（ニューロン）の入力Ｅに接続される。第１ニューロン
（父ニューロン）によって構成される第１ランク（段階
）に対し、すべての息子ニューロンによって第２ランク
が形成され、さらにすべての孫ニューロンによって第３
ランクが形成され、以下同様となってゆく。従ってｋ次
の層は、２ｋ−１ 個のニューロンを有する。この構成
によって完全２進ツリーが創成される。また一方このニ
ューラル ネットワークは２つのクラス間のみの分類
を遂行する目的を有している。このニューラル ネッ
トワークは、その入力のスペース（空間）において、位
相数学的あるいは地勢学的（ｔｏｐｏｌｏｇｉｃａｌ
）な課題の解を求めるものである。すなわちこのニュー
ラル ネットワークは、１つのクラスに属しているス
ペースのゾーンを他方のクラスに属しているゾーンより
識別する。前記文献は、２つより多いクラスに分割でき
る入力データを分類する為には如何にして動作したら良
いかについては教示していない。 【００１５】 【発明が解決しようとする課題】従って本発明の課題は
、多クラス分類の問題に対処でき、かつ既知の層化構造
よりもより小形のニューラル ネットワークの構造を
提供するにある。この構造（ａｒｃｈｉｔｅｃｔｕｒｅ
）は極めて急速に動作するを要する。さらに本構造は既
知の構造よりもより柔軟（適応）性があり、発展が容易
であるを要する。 【００１６】２クラスより多いクラスの分類を行う本発
明による分類方法は、学習が次のステップを有すること
を特徴とする。 Ａ−クラス分けすべき標本をクラスの２つのサブグルー
プに従ってクラス分けするステップ、 Ｂ−標本群より、近似の標本の２つのサブグループを識
別しこれら２つのクラスのサブグループによって分割が
可能なようにするため、ニューロンのシナプス係数を計
算するステップ、 Ｃ−サブグループが単一のクラスを含んでいるか否かを
決定するため、識別された標本の均一性をテストするス
テップ、 Ｄ−ニューロンが単一クラスを識別したとき、このニュ
ーロンのアドレスを記憶蓄積し、この単一クラスを記録
するステップ、 Ｅ−ニューロンが不均一（非斉次）のサブグループを識
別したときは、ステップＡの工程を再スタートすること
によってクラスの２つの新しいサブグループに標本を各
均一のサブグループに分割し、次で標本の各不均一サブ
グループに対し、後位ニューロンを形成し、標本の新規
なサブグループが後位ニューロンによってすべてが均一
なクラスのサブグループであると識別される迄この工程
を反復するステップ。 【００１７】この方法（ｐｒｏｃｅｄｕｒｅ ）は、ハ
イアラーキー ニューラル ネットワークと称され
、ニューロンの相互接続並びにシナプス係数のアップデ
ート（更新）は、デシジョン ツリーの通路に従って
行われる。ツリーの形状に構成されたニューラル ネ
ットワークにおいて、すべてのニューロンは入力の空間
（スペース）で動作する。（形成されたすべてのニュー
ロンは入力ベクトル成分のすべてを受信する。）これに
より得られる構造は極めて小形となる。学習期間は遙に
短縮される。その理由は、ネットワーク構造が、ニュー
ロンによってプロセスされる所望の所定サブクラスの選
択に対する最適の構造に極めて近似しているからである
。とくに第１ニューロン（父ニューロン）により形成さ
れる第１ランクに対し、第２ランクはすべての子（ｓｏ
ｎ ）ニューロンを包含せず、同様に他のランクにもこ
れが当てはまり、すなわち、クラスの分離に実際に役に
立たないニューロンは形成されない。 【００１８】実行（ｅｘｅｃｕｔｉｏｎ ）フェースに
おいて、実行時間も遙に短縮される。その理由は、ある
所定のクラスに対し、当該クラスの識別に必要なニュー
ロンのみを使用（ｉｍｐｌｅｍｅｎｔ ）するからであ
る。実際上あるニューロンにより得られた結果（ｒｅｓ
ｕｌｔ）によって、動作させるべき後位のニューロンの
アドレスを決定する。このアドレスは学習中に記憶され
る。これはジー・コウツオウジエラス（Ｇ． ＫＯＵＴ
ＳＯＵＧＥＲＡＳ ）他の文献の処理とは異なる点であ
る。該文献では、ニューロンのアドレスは記憶されない
。それは方式的にいって、ランクｋに対して、全体で２
ｋ−１ のニューロンが創成される。 【００１９】学習を行うには、父ニューロンのシナプス
係数を計算し、標本のグループＭ内に、複数のクラスＰ
のサブグループを識別する。 【００２０】例えば標本グループ（群）Ｍが、クラスＡ
，Ｂ，Ｃ，Ｄをカバーしているとすると、識別は、これ
ら各クラスのうちの１つのクラス、例えばクラスＢを隔
離（ｉｓｏｌａｔｅ）するサブグループＭ＋１ を識別
することにより行われる。この場合、相補的（Ｃｏｍｐ
ｌｅｍｅｎｔａｒｙ）サブグループＭ−１ は、他のク
ラスＡ，Ｃ，Ｄにより構成される。 【００２１】ニューロンがクラスＡ，Ｂ，Ｃ，Ｄのおの
おのを分離する能力に、予め定めた誤差基準（ｅｒｒｏ
ｒ ｃｒｉｔｅｒｉｏｎ）を割り当て、上述の手順を行
うに際し最小の誤差基準のものを選択することも可能て
ある。 【００２２】ニューロンによって行われる標本の２つの
サブグループの識別は、標本の分布の重心に関して２群
への分割を行うことにより、標本の分布の主成分の分析
によるクラス分けの傾向に見合うようにしても行うこと
ができる。 【００２３】ニューロンが識別すべき特殊のクラスは、
層化ネットワークによって予め行われる学習によっても
決定することができる。この状況において、層化ニュー
ラルネットワークは、そのシナプス係数に多クラス標本
の基本を割当てる。入力ポテンシャルによって動作する
第１層は、クラスのセパレータとして動作する。従って
、所望の分割に最も近似した識別を行うニューロンは第
１層内より選択される。この場合、ニューロンの初期シ
ナプス係数は、層化ニューラル ネットワークより前
記ととくていのクラスをもっとも良く近似してクラス識
別を行うニューロンのシナプス係数を選択して決定する
。 【００２４】所定のクラスを離隔する代りに、他の態様
の分割が望まれるときもある。例えば２グループ内の標
本の数（ｐｏｐｕｌａｔｉｏｎ） を平衡させて、セパ
レータによって分離することである。このような場合に
は、層化ニューラル ネットワークのもっとも適当な
セパレータ ニューロンのシナプス係数を関連のツリ
ー状ニューロンの学習に使用する。 【００２５】この場合前位の構造内の満足な結果を利用
すると有利であり、これを用いてより小形で、より急速
で、かつパワーの大なツリー状構造を構成し得る。 【００２６】ニューロンによって、分離しようとする特
定のクラスＰをＭ＋１ のグループ内で行う分離は、標
本のクラスが直線分離不能なときは不完全にしか行い得
ない。従って特定のクラスＰと同クラスの標本は、第１
ニューロンによって識別した後、相補的サブ グルー
プＭ−１ 内にも見出される。 【００２７】次でグループＭ＋１ 及び相補グループＭ
−１ に斉次テストを行い、これらが単一のクラスを包
含しているかを決定する。これらの１つまたは他方が斉
次（均一、ｈｏｍｏｇｅｎｅｏｕｓ）であると、このグ
ループの識別は完結する。これらグループの一方または
他方が、不均一であると、これらのグループ各々に対し
次位ニューロンを形成し、次位ニューロンは非斉次（ｉ
ｎｈｏｍｏｇｅｎｅｏｕｓ） グループ内に２つの新
しいグループを識別する。この目的に対する手続では、
２分割（ｄｉｃｈｏｔｏｍｙｃｒｉｔｅｒｉｏｎ）によ
って識別を行うこの後続ニューロンに対するシナプス係
数を計算する。この識別動作は、入力標本（ベクトル）
に対し行い、この標本は関連非斉次グループを形成した
ものである。標本の二分プロセジュア及び後続ニューロ
ンの生成は、各順次の世代にわたって反復して行う。 【００２８】２つのサブ グループにわたる分離を行
う各ニューロンの訓練にはいくつかの変形がある。エム
．メメザード（Ｍ．ＭＥＺＡＲＯ） 及びジェー・ピー
・ナダル （Ｊ．Ｐ．ＮＡＤＡＬ）によって使用された
ポケットアルゴリズム（Ｐｏｃｋｅｔ ａｌｇｏｒｉｔ
ｈｍ） で、エス・ギヤラント （Ｓ．ＧＡＬＬＡＮＴ
）が、ｐｒｏｃ， ８ｔｈ ｃｏｎｆ． “Ｐａｔｔｅ
ｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ ”パリ、１９８６に発
表したＩＥＥＥ“Ｏｐｔｉｍａｌ Ｌｉｎｅａｒ Ｄｉ
ｓｃｒｉｍｉａｎｔｓ ”に発表したポケットアルゴリ
ズムを使用すると好都合である。このポケット アル
ゴリズムは各ニューロンにより行われる分離の遂行に使
用することができる。 【００２９】各ニューロンに対し、「パーセプトロン
（Ｐｅｒｃｅｐｔｒｏｎ） 」という訓練判定基準を用
いることも可能で、これは任意の標本に対して、ニュー
ラル ネットワークの出力で得られた結果と期待され
る結果との差異を特徴付ける誤りに基づいてシナプス係
数を再更新するものである。これらの訓練判定基準は、
当業者にとって既知である。 【００３０】どのニューロンの訓練でもこれを成し遂げ
るためには、そのシナプス係数の計算は、「ポケット」
アルゴリズム（“Ｐｏｃｋｅｔ”ａｌｇｏｒｉｔｈｍ）
か、「パーセプトロン」型 （“Ｐｅｒｃｅｐｔｏｎ
”ｔｙｐｅ） の学習規則か、又はヘップ型（Ｈｅｂｂ
ｔｙｐｅ） の学習規則かのいずれかを実行すること
になる。（前掲のアール・ピー・リップマン （Ｒ．Ｐ
．ＬＩＰＰＭＡＮＮ） の文献、及びＰｈｙｓ．Ｒｅｖ
．Ａ誌、第３７巻第７号（１９８８年） 第２６６０頁
所載アール・メイヤ（Ｒ．ＭＥＩＲ）とイー・ドマニー
（Ｅ．ＤＯＭＡＮＹ）による“Ｉｎｔｅｇｒａｔｅｄ
Ｌｅａｒｎｉｎｇ ｉｎ ａ Ｉａｙｅｒｅｄ Ｆｅ
ｅｄ−Ｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎａｔｗｏｒ
ｋ ”という文献参照） 【００３１】本発明はまた、この方法を実行するニュー
ラル・ネットワークにも関する。 【００３２】ニューラル・ネットワークがツリー状構造
でまず初めに構築され、然る後に分類のタスクを実施す
るに用いられる。このときはツリーのブランチ（枝）が
構造のフアンクションに従って追跡され、後継ニューロ
ンのアドレスが学習（ｔｒａｉｎｉｎｇ） のコースで
記憶される。後継ニューロンは前位ニューロンによりも
たらされた結果によって定まる。従って各ニューロンの
出力に得られた結果の関数としてツリーを追跡しうるよ
うなメモリが必要である。この目的に対し、本ニューラ
ルネットワークには、任意のニューロンによって得られ
た結果にもとづいて、ツリー状構造による後継ニューロ
ンを指定するアドレスのディレクトリー（帳簿）を記憶
するメモリを配置する。各ニューロンによってプロセス
された標本を選定することにより、各ニューロンは前位
ニューロンの結果の関数として各ニューロン毎に互に相
異なり得るので、ニューラル ネットワークは、各後
継ニューロンによってプロセスされるべき標本を選択す
る手段を具える。 【００３３】各ニューロン ネットワークはそれ自体
は学習を行わず、分類の任務のみを行うようにすること
も可能であり、この分類の仕事自体（ｔａｓｋ ｐｒｏ
ｐｅｒ）はこのネットワークが指定されたかプログラム
されたものてある。この目的に対し、ニューロンの番号
、シナプス係数、連続順序、及びクラスのタイプ及び数
を規定（ｆｉｘ） するを要する。 【００３４】本発明はさらにニューラル ネットワー
クに関するものである。本ニューラル ネットワーク
は、分類すべきデータ ワードのベクトルを受信する
入力端子と、この入力端子にリンクしているニューロン
と、ニューロン間のリンク力を規定するシナプス係数と
を有し、これらニューロンはツリー状の構成に相互接続
されており、ニューロンは２状態の結果を送出し、これ
らの結果はマルチクラス データ ワードの分類を
遂行するニューラル ネットワークでっあって、ニュ
ーロン数、シナプス係数、ニューロンの連続順序、識別
すべきクラス、及び番号は、遂行すべき分類に特殊の学
習方法によって予め規定されており、前記連続順序は、
前記ニューロンがもたらす状態によってアドレスされる
第１記憶媒体内に記憶され、識別すべき前記クラスは第
２記憶媒体内に記憶され、各ニューロンにより送出され
る結果の均一性をホスト コンピュータによりテスト
し、均一（斉次）性が満足されるときは、ホスト コ
ンピュータは第２記憶媒体をアドレスして、識別したク
ラスを送出し、均一性が満足されないときは、ホスト
コンピュータは第１記憶媒体をアドレスし、これによ
って次のニューロンのアドレスが与えられる如くしたこ
とを特徴とする。 【００３５】 【実施例】以下図面により本発明を説明する。図１Ａは
、セパレータの行動のモードの入力の空間内の表現であ
る。取り扱う状態というのは、標本のグループを３つに
分割した３つのクラスＡ，Ｂ，Ｃを有するものである。 この図では、セパレータ１は、空間を次の２つの部分す
なわち ─ 標本の１番目のサブグループ（クラスＡ，Ｂ）を
有する上部、と ─ 標本の２番目のサブグループ（クラスＡ，Ｂ，Ｃ
）を有する下部とに分割している。 【００３６】後継のセパレータ２は、一方ではクラスＡ
を孤立させ、他方では標本のサブグループ（クラスＡ，
Ｂ）を孤立させている。 【００３７】次にはセパレータ４が、そしてそれからセ
パレータ６が、クラスＡとクラスＢとの完全な分離を実
行するために、標本の１番目のサブグループに付加され
なければならない。 【００３８】同様に、標本の２番目のサブグループに対
しても、セパレータ１の行動の後に、もしシンボルＸで
表される標本（クラスＣ）を分離したいならば、例えば
セパレータ３、セパレータ５、セパレータ７、セパレー
タ９をこの順序で導入しなければならない。 【００３９】これらと同一の結果が図１Ｂにツリー形式
で表されており、ここでは同じ数字が分離を実行するニ
ューロン（セパレータ）を表す。父ニューロンはニュー
ロン１であり、その他は後継ニューロンである。こうし
て茲に表される状態では、３つのクラスの完全な分離は
、９個のニューロンを必要とする。クラスＣのシンボル
Ｘを孤立させるためのツリーの横断線は図１Ｂでは太線
で表される。すべてのニューロンが、入力ベクトルの構
成要素を受け取る入力端子に結合している。各ニューロ
ンは、それに先行するニューロンの結果で定まる標本又
はデータのグループ又はサブグループ上に作用する。 【００４０】図２は、手順の様々なステップが出現する
ツリー状の構造に関するフローチャートを表す。この手
順は、ニューラル・ネットワークの学習訓練を実行し、
定義されたタスクにそれを適合させるために選ばれた、
標本のグループＭからの選出（ステップ２００）で始ま
る。 この標本のグループＭは、その定義により非斉次（ｉｎ
ｈｏｍｏｇｅｎｅｏｕｓ） である。訓練は茲では広い
意味に理解されなければならない、その訳は、それは必
要とされるシナプス係数（ニューラル・ネットワークを
教示する）を決定するだけではなく、このタスクを完成
するのに必要とされるニューロンの数を同時に決定する
ものだからである。従ってそれはまたニューラル・ネッ
トワークが持っていなければならないサイズを決定する
問題でもある。 【００４１】標本のグループＭはｋ個の異なるクラスか
らの標本に対して形成される。ステップ２０２ では最
初に、ｋ個のクラスをクラスＧ＋１とクラスＧ−１の２
サブグループに分割し、これによってｋ個のクラスの分
類問題をクラスＧ＋１とクラスＧ−１との２つのサブグ
ループの問題に縮小する。ステップ２０３ では該手順
は、標本のグループＭの集合に亙って作用する父ニュー
ロンＮ１ のシナプス係数を決定する。これらのシナプ
ス係数は、ニューラル・ネットワークが、標本のグルー
プＭ中で２つのサブグループＭ＋１とＭ−１との識別を
、最初に分割したクラスのサブグループＧ＋１とＧ−１
とを最も良く包含するように実行することを指向するよ
うに、決定される。シナプス係数を決定することを許す
この訓練のメカニズムは、以下に述べるポケット・アル
ゴリズム（Ｐｏｃｋｅｔ ａｌｇｏｒｉｔｈｍ）により
実行されるのを好適とする。これらの条件下では、該訓
練は実行時間に関してもこの訓練を行うために所要のハ
ードウェアに関しても最適であることが判明する。ニュ
ーラル・ネットワークからの出力は、正確に割当てられ
たか或いは各クラスを意図したサブグループにその他の
やり方で割当てられたかが分析される。考え方を固定す
るために、例えばいくつかのクラスＡ，Ｂ，Ｃ，Ｄを有
する標本のグループの中で、クラスＣ（Ｇ＋１＝Ｃ）を
孤立させることを探究することもできる。そうするとク
ラスのサブグループＧ−１は標本のグループＭからクラ
スのサブグループＧ＋１を取り去ることにより形成され
る。こうして父ニューロンの学習はＭ＋１をＧ＋１に符
合させ、またＭ−１をＧ−１に符合させるようになるで
あろう。 【００４２】先験的に線形に分離されないクラスＡ，Ｂ
，Ｃ，Ｄでは、こうして分離されたサブグループＭ−１
それ自体がクラスＣの構成要素をも有するかも知れない
。後述するように、他の更に複雑な分割が父ニューロン
の行動の対象になり得る。 【００４３】標本のサブグループＭ＋１とＭ−１とを生
成する標本がその次に別々に処理される。ステップ２２
０ 及びステップ２１０ で、Ｍ＋１及びＭ−１の斉次
性が検査される。 【００４４】実際には、父ニューロンは前以て定義され
たクラスのサブグループを識別するというタスクを持つ
。もし標本のグループＭ＋１（またはＭ−１）が斉次な
らば、すなわち同一のクラスの標本のみを含むならば、
これらの標本はステップ２２２（またはステップ２１２
）で識別される（階級Ｋ０，Ｋ１）。 【００４５】もし標本のサブグループＭ＋１（またはＭ
−１）が非斉次ならば、換言すれば異なるクラスの標本
を含むならば、この非斉次の標本のグループの区別を、
ステップ２２４（またはステップ２１４）で続けること
が必要である。 【００４６】この目的のために、標本のサブグループＭ
＋１を２つのクラスのサブグループに分割することが、
ステップ２０２ で述べたのと同じ分割メカニズムに従
って、標本のサブグループＭ＋１中の残りのクラスの数
について行うことにより実行される。次いで、後継ニュ
ーロンＮ２（又はＮ３）が付加され、類似の二分法メカ
ニズムが実行される。後継ニューロン、例えばＮ２ の
出力ではこうして標本のサブグループＭ＋２及びＭ−２
が得られ、これらはその斉次性について自身で検査され
て （ステップ２４０，ステップ２６０）、それにより
それらが標本のクラス （クラスＫ２，クラスＫ４）を
孤立させるか否かを決定する （ステップ２４２，ステ
ップ２６２）。全く同一の過程が後継ニューロンＮ３
の出力で行われる （ステップ２５０，ステップ２３０
，ステップ２５２，ステップ２３２）。本発明によるこ
の手順は、グループＭのすべての標本がこうして処理さ
れ、各孤立した標本のサブグループが同じクラスに属す
る標本のみを含むようになったときに完成する。従って
、ニューロンの数及びそれらのシナプス係数はこの手順
自体によって決定され、この標本のグループに対する学
習訓練動作は完了する。然る後に、ニューラル・ネット
ワークは分類タスクを実行するために利用できる。 【００４７】図３は本発明による手順で実行される分離
ステップのもう１つの表現である。標本の非斉次のグル
ープＭ上では、父ニューロンＮ１（太線で表す） は、
標本のサブグループＭ＋１とＭ−１とによる識別を実行
する。この表現では、標本のサブグループＭ１＋は斉次
で単一のクラスを含むと仮定する。さらにまた、標本の
サブグループＭ１−は非斉次とすることも仮定する。後
継ニューロンＮ３（太線で表す） は、Ｍ−１を２つの
標本のサブグループＭ＋３とＭ−３とに分離する。サブ
グループＭ−３は斉次であり、サブグループＭ＋３は非
斉次である。後者は後継ニューロンＮ５（太線で表す）
で標本のサブグループＭ＋５とＭ−５とに分離され、
それらは茲に表されている状態では斉次である。分類の
手順はこれで終わり、ツリー状のニューラル・ネットワ
ークは他のデータのグループに分類を実行するのに使う
ことができる。図３ではその縦の列Ｉは、関係の後継ニ
ューロンにより実行された識別がそこで行われた標本の
グループＭか又は標本のサブグループＭ−１，Ｍ＋３を
示す、すなわち換言すれば先行のサブグループ又はグル
ープにより識別された斉次のサブグループ又はグループ
が取り出された後の標本のグループＭか又は標本のサブ
グループＭ−１，Ｍ＋３を示すのである。 【００４８】標本から、父ニューロンは予め定められた
分割に近い２つの標本のサブグループに区分することを
指向するのである。 【００４９】２つの標本のサブグループにクラスを分割
する１番目の例示は既に記述したが、これはある特定の
クラスを他のクラスから孤立させてそれら自身の間で標
本のクラスの集合を形成するものである。 【００５０】図４Ａは、クラスＣ１，クラスＣ２，クラ
スＣ３ から形成される標本４０のグループＭを表す。 クラスＣ１ の境界は曲線３０で形成される。ニューロ
ンのシナプス係数の計算はクラスＣ１ を最良に孤立さ
せることであり、茲で形成されたセパレータは直線３１
とされる。 【００５１】分割の２番目の例示は、標本のクラスの各
々に対して誤り判定基準を前以て計算することである。 次いで、最良の分割を評価する誤り判定基準が定義され
る。この最良の分割によりこうして孤立させられた特定
のクラスは、そのシナプス係数を決定するように各ニュ
ーロンの学習を実行すべく選定されたものである。 【００５２】分割の１番目及び２番目の例示は、大きな
サイズ（多数のニューロン）と大きな深さ（多数の更新
すべきニューロン）を持つツリーを導く可能性があり、
これはハンディキャップとなり得る。この理由によって
、それらにとって他の型の分割が好適となり得る。 【００５３】ニューロンが指向しなければならない３番
目の分割の例示は、標本の分布の主要構成要素分析（ａ
ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔｓａｎａｌ
ｙｓｉｓ） を用いることである。 該主要構成要素分析というのは統計的な方法で、それは
Ｎ個のベクトル外１ 【外１】 （ｄ次元空間の点）のグループが、ｄ個の主要方向とｄ
個の対応する分散σ２ を持つ平均ベクトル数１【数１
】 を援用して書き表すことを許すものである。この方法の
詳細は、１９８２年 Ｄｕｎｏｄ社発行のＥ．ＤＩＤＡ
Ｙ， Ｊ．ＬＥＭＡＩＲＥ， Ｊ．ＰＯＵＧＥＴ， Ｅ
．ＴＥＳＴＵ による”Ｅｌｅｍｅｎｔｓ ｄ’Ａｎａ
ｌｙｓｅ ｄｅＤｏｎｎｅｅｓ” という文献の第 １
６７頁に記載されている。 【００５４】図４Ｂの単純な場合では、標準偏差比σ１
／σ２ がほぼ３に等しい２次元空間の分布４０が示さ
れている。この分布に対しては、平均外２ 【外２】 及び固有の方向Ｄ１，Ｄ２ に沿った主要構成要素外３
【外３】 が定義されている。もし主要構成要素が減少する分散に
よって分類されるならば、第１の固有の方向は外４【外
４】 のノルムが標本μで最も変動する方向を示す。クラスＣ
１，Ｃ２，… ，Ｃｋ に割り当てられた標本の集合外
５【外５】 があり、それに対してｋ個のクラスの分類を進めるため
に線形セパレータ（ニューロン）を適用することが望ま
しい時には、次のようにしてｋ個のクラスを２つの別々
のグループＧ＋／Ｇ− に分離することが好適である：
ｉ） 一組の標本外６ 【外６】 の平均外７ 【外７】 及び最初の主要構成要素外８ 【外８】 が、例えば共分散行列を計算し対角化し、続いて最大分
散を選択することによる完全な主要構成要素分析を実行
することによって計算される、 ｉｉ） Σを、クラスがＣの標本の総和とし、ＮＣ を
クラスＣ中の標本の数とするとき、各クラスＣに対応す
る重心が次式数２ 【数２】 によって計算される、 ｉｉｉ） その重心が次の関係数３ 【数３】 を満足するクラスをＧ＋ とし、その他のクラスをＧ−
とすることによってグループ化が実行される。 【００５５】主要構成要素分析の方法が、３つのクラス
を持つ２次元の分布に対して、図４Ｃに示される。分布
４０は３つのクラスＣ１，Ｃ２，Ｃ３ を持ち、これら
の各クラスのそれぞれに対し平均値を＜ｙ＞１，＜ｙ＞
２，＜ｙ＞３ 、重心をＨ１，Ｈ２，Ｈ３ とする。上
記 ｉ） に従っての平均の計算及び最初の主要ベクト
ルの計算によって、＜ｙ＞及び外９ 【外９】 が決定される。上記ｉｉ） に従っての各クラスに付随
する重心の計算によってＨ１，Ｈ２，Ｈ３ が決定され
る。上記 ｉｉｉ） に従ってのクラスのグループ化は
、セパレータ４１を援用して、３つのクラスを２つのク
ラスのサブグループ上に分布させることを可能にする。 【００５６】この場合、２つのクラスのサブグループへ
の標本の分割は、該標本の分布の重心を通り主方向に垂
直な軸に関する分割を実行するもので、該重心及び該主
方向は主要構成要素分析中に決定される。他の選択（例
えばクラスの選択）に関するこの方法の本質的利点は、
線形セパレータが更によくバランスするであろうこと、
すなわちそれは標本を、母集団がより僅かにしか異なら
ない２つの部分集合に分離するであろうことである。 【００５７】分割の４番目の例示は、層化されたニュー
ラル・ネットワーク上の既知の結果を使うものである。 実際に、同一又は類似のタスクに適合するように既に訓
練を経たこのようなニューラル・ネットワークは、すで
に決定されたシナプス係数を保有している。そのような
層化されたニューラル・ネットワークの入力層は、セパ
レータ機能をも行うニューロンを有している。従って、
処理されるべき標本のグループＭでは、所望の分割に最
も近い２つのサブグループへの分割をこの入力層の中で
行うことが可能である。 【００５８】ニューロンにより実行される分割の以上４
つの例示は、これだけに限定されるものではなく、本発
明による他の選択も用いることが出来る。 【００５９】所望のクラスのサブグループへの最善の近
似となるようにニューロンがそのシナプス係数を決定す
るために実行する学習は、Ｊ．Ｐｈｙｓ．Ａ：Ｍａｔｈ
． Ｇｅｎ．誌 ２２（１９８９年） 第２１９１−２
２０３頁に所載の”Ｌｅａｒｎｉｎｇ ｉｎ Ｆｅｅｄ
ｆｏｒｗａｒｄ Ｌａｙｅｒｅｄ ｎｅｔｗｏｒｋｓ：
ｔｈｅｔｉｌｉｎｇ ａｌｇｏｒｉｔｈｍ” という文
献中で Ｍ．ＭＥＺＡＲＤ 及びＪ．Ｐ．ＮＡＤＡＬ
により用いられ、Ｐａｒｉｓ（１９８６年） の ８ｔ
ｈ Ｃｏｎｆ． ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎ
ｉｔｉｏｎ におけるＩＥＥＥ ｐｒｏｃ．に所載のＳ
．ＧＡＬＡＮＴによる”Ｏｐｔｉｍａｌ Ｌｉｎｅａｒ
Ｄｉｓｃｒｉｍｉｎａｎｔｓ”という文献に記載され
ているポケット・アルゴリズムにより実行されるのを好
適とする。 【００６０】この目的で、無作為に選ばれた各標本に対
して、ニューロンの出力のポテンシャルが計算される。 もしこのポテンシャルが安定性判定基準（Ｓ≧０）を満
足させるならば、また別の標本が選ばれる。もしこのポ
テンシャルが安定性判定基準を満足させない（Ｓ＜０）
ならば、新しいシナプス係数が計算され、その新しいシ
ナプス係数はそれらが最小の誤り判定基準を満足させる
時に限り以前のシナプス係数を更新するために用いられ
る。すべての標本がこうして当該のニューロンのシナプ
ス係数を決定するのに用いられ、「ポケット」アルゴリ
ズムは非斉次のクラスの二分法を行わせるために最適の
シナプス係数に向かって収束する。 【００６１】このアルゴリズム（ｔｉｌｉｎｇ）は、現
在の層のユニットにより表される符号（＋／−；１／０
）が信頼できるよう（ｒｅｌｉａｂｌｅ）になるまで、
すなわち換言すれば、２つの異なるクラスの標本が当面
問題の層の集合に亙って同一の符号を持たなくなるまで
、ニューロンを付加することによって多層ニューラル・
ネットワークを構築するために設計されたものである。 各層は、単一のニューロンを持つ層が得られるに至るま
で、先行の層の標本からこうして構築される。 【００６２】図５はポケット・アルゴリズムのフローチ
ャートを示し、これは標本のグループを２つのグループ
に分離することを実行するものである。 【００６３】所与のニューロンに対してそのシナプス係
数Ｃｉｊは０に初期化される、また最大誤り判定基準Ｃ
Ｒｍ は非常に大きい値で初期化される （ステップ４
００）。１つの標本ＥＸが無作為に採られ （ステップ
４０２）、それに対して安定値Ｓが ｉを目下分析の対象とされているるニューロンの指標と
し、ｊをそれに接続されるニューロン又は入力の指標と
し、外１０ 【外１０】 をニューロンｉの入力に存在するμ標本のｊ番目の構成
要素とする時数４ 【数４】 によって決定される （ステップ４０４）。 【００６４】この安定値Ｓが検査される （ステップ４
０６）。もしそれが正ならば安定性は十分で、また別の
標本が選ばれる。 【００６５】もしこの安定値Ｓが負又は０ならば、シナ
プス係数Ｃ’ ｉｊは次の式 Ｃ’ ｉｊ（新）＝Ｃ’ ｉｊ（旧）＋ｙｊにより決定
される （ステップ４０８）。 【００６６】こうして決定された各新シナプス係数Ｃ’
ｉｊは、例えば安定性が間違った符号を持つ標本の数
を算定するところの誤り判定基準ＣＲを満足させなけれ
ばならない （ステップ４１０）。もしこの判定基準Ｃ
Ｒが判定基準の最大値ＣＲｍ よりも小さければ （ス
テップ４１２）、決定されたシナプス係数Ｃ’ ｉｊは
、以前に記憶されていたシナプス係数Ｃｉｊを更新する
のに使われる （ステップ４１４）。 【００６７】同様に、最大値ＣＲｍ も更新される。こ
うしてすべての標本が計算のため及び恐らくはその次に
このニューロンｉのシナプス係数の更新のために逐次使
われる。この学習の最後に、このニューロンｉによって
行われた分離が、所与のグループの標本に対して得られ
た結果 （２つのクラスのグループ：＋／−；１／０）
を算定することにより、検査される。もし該分離が斉次
なクラスのグループを供給しないならば、また別のニュ
ーロンが層に付加され、ポケット・アルゴリズムが再び
同じやり方で実行される。 【００６８】このアルゴリズムはニューロンの出力で得
られたクラスのグループの２つのタイプ ＋／− （又
は１／０）しか区別することができない。それ故、それ
はもっと多くの数のクラスＡ，Ｂ，Ｃ，Ｄ等に分割する
学習中の標本に対して、直接作用することはできない。 【００６９】本発明はまた、図６に図式的に示したツリ
ー状に組織されたニューラル・ネットワークにも関する
。該ネットワークは計算ユニット５００ を有し、これ
は出力状態Ｖｉ を入力ポテンシャルＶｊ から、Ｃｉ
ｊはニューロンｉを入力ｊ（又はニューロンｊ）に接続
するシナプス係数であるとすると、次式 Ｖｉ ＝ΣＣｉｊ・Ｖｊ によって算定する。 【００７０】この計算ユニット５００ は、当業者にと
って既知のメカニズムによって動作し、それは例えば上
掲のＲ．Ｐ．ＬＩＰＰＭＡＮＮの文献に記載されている
。 【００７１】任意のニューロンの学習中に、その後継ニ
ューロンはこの任意のニューロンのもたらす結果によっ
て異なるであろう。従って、ニューラル・ネットワーク
を使用するためには、該任意のニューロンのもたらす結
果による後継ニューロンを確定することが必要である。 この目的のために、アドレス・メモリ５０４ が上記結
果に対応するアドレスを受け取り、逆に後継ニューロン
のアドレスを送り出す。 【００７２】以前に定義したようにしてニューロンが創
造される学習の過程で、後継ニューロンの継起の順序は
このようにして決定され、メモリ５０４ に搭載される
。こうしてニューラル・ネットワークはアドレスの一覧
表を記憶するメモリを具備することになり、この一覧表
には任意のニューロン上で得られた結果によるツリー状
の組織をもつ後続ニューロンに関する情報が含まれる。 ツリーのすべての分枝へアドレスすることはこうして僅
かのハードウェアだけで速やかに実行される。クラス・
メモリ５０６ はニューロンのツリーによって分離され
たクラスを記憶する。 【００７３】ツリー状のニューラル・ネットワークを利
用するステップ中に、メモリはニューロンの与える結果
によってアドレスされ、その返しとしてＮ個の後継ニュ
ーロンのアドレスを供給する。この交換はホスト・コン
ピュータ５０２を通して実行され、このホスト・コンピ
ュータは、種々のユニットのそれら自身の間の交換の集
合、特に各ニューロンが受け取らなければならない各グ
ループ又はサブグループの交換を管理する。 【００７４】ツリーの分枝の終端に到達すると、クラス
・メモリ（５０６） から対応するクラスが読み出され
る。このことは斉次の標本のクラスの決定が速やかに実
行されることを好適に許容する。標本は標本メモリ５０
８ に記憶される。標本を割り付けるためのメモリ５１
０ が、ある特定のニューロンにより処理されなければ
ならない標本のサブグループの選択を許容する。ニュー
ラル・ネットワークは、学習方法がツリーを構成するニ
ューロンをそれによって決定するところのある一定数の
ニューロンを備えていることが可能である。しかしなが
ら学習方法は、ニューロンの数、そのシナプス係数、ニ
ューロンの継起の順序、識別すべきクラス及びその数を
決定するために別々のハードウェア内で実施されること
もまた可能である。そのとき、これらのパラメータはす
べて、習得した分類のタスクに役立たせるニューラル・
ネットワークを構築するのに用いられる。その場合には
、このニューラル・ネットワークは、学習のオプション
を保有せず、専ら分類用のニューラル・ネットワーク（
習得した方法の繰り返し）でしかない。この種のツリー
状のネットワークが別の訓練方法で更に多く決定される
かもしれない。
【図１】図１Ａ及び図１Ｂは、３つのクラスＡ，Ｂ，Ｃ
の標本をベースとするときの入力空間におけるセパレー
タの行動モードの説明図、並びに対応のツリー構造を示
す図である。
の標本をベースとするときの入力空間におけるセパレー
タの行動モードの説明図、並びに対応のツリー構造を示
す図である。
【図２】図２は、クラスの識別のメカニズム及び関連の
標本のサブグループの識別のメカニズムを示すニューラ
ル・ツリーのフローチャートを示す図である。
標本のサブグループの識別のメカニズムを示すニューラ
ル・ツリーのフローチャートを示す図である。
【図３】図３は、標本の分離を示す図である。
【図４】図４Ａ及び４Ｃは、クラスの分離における２つ
の標本を示す図であり、図４Ｂは、分布の主成分を示す
図である。
の標本を示す図であり、図４Ｂは、分布の主成分を示す
図である。
【図５】図５は、２つのクラスのグループ間の分離の遂
行を可能とするポケット・アルゴリズムで構成されたア
ルゴリズムの一例を示す図である。
行を可能とするポケット・アルゴリズムで構成されたア
ルゴリズムの一例を示す図である。
【図６】図６は、ニューラル・ツリー状に構成されたニ
ューラル・ネットワークを示す図である。
ューラル・ネットワークを示す図である。
【符号の説明】
１〜９，３１，４１ セパレータ
３０ クラス間の境界の曲線
４０ 標本
２００ 〜 ２６２ 図２のフローチャートの各ステ
ップの番号４００ 〜 ４１４ 図５のフローチャー
トの各ステップの番号５００ 計算ユニット ５０２ ホスト・コンピュータ ５０４ アドレス・メモリ ５０６ クラス・メモリ ５０８ 標本メモリ
ップの番号４００ 〜 ４１４ 図５のフローチャー
トの各ステップの番号５００ 計算ユニット ５０２ ホスト・コンピュータ ５０４ アドレス・メモリ ５０６ クラス・メモリ ５０８ 標本メモリ
Claims (9)
- 【請求項１】ツリー状ニューラル ネットワーク内に
用いる分類方法であり、学習ステップを有し、このステ
ップ中において、ニューラル ネットワークは、数ク
ラスに分割される標本（エクザンプル）群を分類するた
め、シナプス係数を決定するツリー状ニューラル ネ
ットワーク内に用いる分類方法において、２クラス以上
の分類を行うため、学習ステップは次のステップを有す
ること、 Ａ−クラス分けすべき標本をクラスの２つのサブグルー
プに従ってクラス分けするステップ、 Ｂ−標本群より、近似の標本の２つのサブグループを識
別しこれら２つのクラスのサブグループによって分割が
可能なようにするため、ニューロンのシナプス係数を計
算するステップ、 Ｃ−サブグループが単一のクラスを含んでいるか否かを
決定するため、識別された標本の均一性をテストするス
テップ、 Ｄ−ニューロンが単一クラスを識別したとき、このニュ
ーロンのアドレスを記憶蓄積し、この単一クラスを記録
するステップ、 Ｅ−ニューロンが不均一（非斉次）のサブグループを識
別したときは、ステップＡの工程を再スタートすること
によってクラスの２つの新しいサブグループに標本を各
均一のサブグループに分割し、次で標本の各不均一サブ
グループに対し、後位ニューロンを形成し、標本の新規
なサブグループが後位ニューロンによってすべてが均一
なクラスのサブグループであると識別される迄この工程
を反復するステップ、を特徴とするツリー状ハイアラー
キー ニューラル ネットワークに用いる分類方法
。 - 【請求項２】ステップＡの各反復において、クラスを２
つのサブグループとするクラスの分割は、特殊のクラス
を他のクラスより隔離する工程を有し、この工程は標本
のクラスのセットの各クラス中に形成するステップより
成る請求項１記載の方法。 - 【請求項３】前記特殊クラスは、初め標本の各クラスに
対するエラー基準を計算し、最小エラー判定基準を有す
るクラスを選択することによって決定する請求項２記載
の方法。 - 【請求項４】ステップＡの各反復において、層化したニ
ューロン ネットワークにより既に遂行されている分
割を選択することによりクラスの分割を行う請求項１記
載の方法。 - 【請求項５】ステップＡの各反復において、標本の２つ
のサブグループ クラスへの分割は、標本の分布の重
心の中心を通過する軸で、主方向に直角な軸に関して行
われ、該中心と該主方向は、主要構成成分の分析によっ
て決定される如くした請求項１記載の方法。 - 【請求項６】ニューロンの初期シナプス係数は、層とし
たニューロン ネットワークより、前記特殊クラスを
最良の近似でクラス分けするニューロンのシナプス係数
を選択することにより決定される請求項４記載の方法。 - 【請求項７】シナプス係数の計算は、“ポケット”アル
ゴリズムまたは“予知”型学習ルール、または“ヘブ”
型学習ルールの何れかを実施する請求項１ないし５のい
ずれかに記載の方法。 - 【請求項８】分類すべきデータ ワードのベクトルを
受信する入力端子と、この入力端子にリンクしているニ
ューロンと、ニューロン間のリンク力を規定するシナプ
ス係数とを有し、これらニューロンはツリー状の構成に
相互接続されており、ニューロンは２状態の結果を送出
し、これらの結果はマルチ クラス データワード
の分類を遂行するニューラル ネットワークにおいて
、ニューロン数、シナプス係数、ニューロンの連続順序
、識別すべきクラス、及び番号は、遂行すべき分類に特
殊の学習方法によって予め規定されており、前記連続順
序は、前記ニューロンがもたらす状態によってアドレス
される第１記憶媒体内に記憶され、識別すべき前記クラ
スは第２記憶媒体内に記憶され、各ニューロンにより送
出される結果の均一性をホスト コンピュータにより
テストし、均一（斉次）性が満足されるときは、ホスト
コンピュータは第２記憶媒体をアドレスして、識別
したクラスを送出し、均一性が満足されないときは、ホ
スト コンピュータは第１記憶媒体をアドレスし、こ
れによって次のニューロンのアドレスが与えられる如く
したことを特徴とするニューラル ネットワーク。 - 【請求項９】学習方法は請求項１ないし７の１つにより
行われる請求項８記載のニューラルネットワーク。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9001529 | 1990-02-09 | ||
| FR9001529A FR2658337A1 (fr) | 1990-02-09 | 1990-02-09 | Procede d'apprentissage d'un reseau de neurones hierarchise et reseau de neurones hierarchise. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH04213751A true JPH04213751A (ja) | 1992-08-04 |
| JP3088766B2 JP3088766B2 (ja) | 2000-09-18 |
Family
ID=9393541
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03039051A Expired - Fee Related JP3088766B2 (ja) | 1990-02-09 | 1991-02-12 | ハイアラーキー ニューラル ネットワークに用いる分類方法及びネットワーク |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5218646A (ja) |
| EP (1) | EP0446084B1 (ja) |
| JP (1) | JP3088766B2 (ja) |
| DE (1) | DE69126555T2 (ja) |
| FR (1) | FR2658337A1 (ja) |
Families Citing this family (44)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR930009066B1 (ko) * | 1990-08-18 | 1993-09-22 | 정호선 | 다층신경회로망 및 그 회로설계방법 |
| US5371809A (en) * | 1992-03-30 | 1994-12-06 | Desieno; Duane D. | Neural network for improved classification of patterns which adds a best performing trial branch node to the network |
| US5438629A (en) * | 1992-06-19 | 1995-08-01 | United Parcel Service Of America, Inc. | Method and apparatus for input classification using non-spherical neurons |
| DE69329218T2 (de) * | 1992-06-19 | 2001-04-05 | United Parcel Service Of America, Inc. | Verfahren und Vorrichtung zur Eingabeklassifizierung mit einem neuronalen Netzwerk |
| FR2695743A1 (fr) * | 1992-09-16 | 1994-03-18 | Philips Electronique Lab | Système de traitement d'images texturées, analyseur de textures et synthétiseur de textures. |
| FR2703804A1 (fr) * | 1993-04-07 | 1994-10-14 | Philips Electronique Lab | Méthode et appareil de classification de configurations de signaux. |
| JP3170095B2 (ja) * | 1993-04-14 | 2001-05-28 | 富士通株式会社 | 情報検索システム |
| JPH072063U (ja) * | 1993-06-07 | 1995-01-13 | 綾子 阿部 | 多数の印面を有する押し印具 |
| US5461699A (en) * | 1993-10-25 | 1995-10-24 | International Business Machines Corporation | Forecasting using a neural network and a statistical forecast |
| GB2307582A (en) * | 1994-09-07 | 1997-05-28 | Motorola Inc | System for recognizing spoken sounds from continuous speech and method of using same |
| JP3630734B2 (ja) * | 1994-10-28 | 2005-03-23 | キヤノン株式会社 | 情報処理方法 |
| WO1997029437A1 (en) * | 1996-02-09 | 1997-08-14 | Sarnoff Corporation | Method and apparatus for training a neural network to detect and classify objects with uncertain training data |
| US5995651A (en) * | 1996-07-11 | 1999-11-30 | Duke University | Image content classification methods, systems and computer programs using texture patterns |
| US6101275A (en) * | 1998-01-26 | 2000-08-08 | International Business Machines Corporation | Method for finding a best test for a nominal attribute for generating a binary decision tree |
| DE69802372T4 (de) | 1998-02-05 | 2003-01-23 | Intellix A/S, Frederiksberg | Klassifizierungssystem und -verfahren mit N-Tuple- oder RAM-basiertem neuronalem Netzwerk |
| US7039856B2 (en) * | 1998-09-30 | 2006-05-02 | Ricoh Co., Ltd. | Automatic document classification using text and images |
| US7236623B2 (en) * | 2000-04-24 | 2007-06-26 | International Remote Imaging Systems, Inc. | Analyte recognition for urinalysis diagnostic system |
| FR2827414B1 (fr) * | 2001-07-13 | 2003-12-05 | Somfy | Procede d'appariement d'emetteur et de recepteur |
| US7844476B2 (en) | 2001-12-31 | 2010-11-30 | Genworth Financial, Inc. | Process for case-based insurance underwriting suitable for use by an automated system |
| US7818186B2 (en) | 2001-12-31 | 2010-10-19 | Genworth Financial, Inc. | System for determining a confidence factor for insurance underwriting suitable for use by an automated system |
| US8793146B2 (en) * | 2001-12-31 | 2014-07-29 | Genworth Holdings, Inc. | System for rule-based insurance underwriting suitable for use by an automated system |
| US7899688B2 (en) | 2001-12-31 | 2011-03-01 | Genworth Financial, Inc. | Process for optimization of insurance underwriting suitable for use by an automated system |
| US7630910B2 (en) | 2001-12-31 | 2009-12-08 | Genworth Financial, Inc. | System for case-based insurance underwriting suitable for use by an automated system |
| US7844477B2 (en) * | 2001-12-31 | 2010-11-30 | Genworth Financial, Inc. | Process for rule-based insurance underwriting suitable for use by an automated system |
| US7895062B2 (en) | 2001-12-31 | 2011-02-22 | Genworth Financial, Inc. | System for optimization of insurance underwriting suitable for use by an automated system |
| US8005693B2 (en) | 2001-12-31 | 2011-08-23 | Genworth Financial, Inc. | Process for determining a confidence factor for insurance underwriting suitable for use by an automated system |
| US7383239B2 (en) | 2003-04-30 | 2008-06-03 | Genworth Financial, Inc. | System and process for a fusion classification for insurance underwriting suitable for use by an automated system |
| US7567914B2 (en) | 2003-04-30 | 2009-07-28 | Genworth Financial, Inc. | System and process for dominance classification for insurance underwriting suitable for use by an automated system |
| US7801748B2 (en) | 2003-04-30 | 2010-09-21 | Genworth Financial, Inc. | System and process for detecting outliers for insurance underwriting suitable for use by an automated system |
| US7813945B2 (en) | 2003-04-30 | 2010-10-12 | Genworth Financial, Inc. | System and process for multivariate adaptive regression splines classification for insurance underwriting suitable for use by an automated system |
| US7698159B2 (en) | 2004-02-13 | 2010-04-13 | Genworth Financial Inc. | Systems and methods for performing data collection |
| US7945627B1 (en) | 2006-09-28 | 2011-05-17 | Bitdefender IPR Management Ltd. | Layout-based electronic communication filtering systems and methods |
| US8572184B1 (en) | 2007-10-04 | 2013-10-29 | Bitdefender IPR Management Ltd. | Systems and methods for dynamically integrating heterogeneous anti-spam filters |
| US8010614B1 (en) | 2007-11-01 | 2011-08-30 | Bitdefender IPR Management Ltd. | Systems and methods for generating signatures for electronic communication classification |
| US8131655B1 (en) | 2008-05-30 | 2012-03-06 | Bitdefender IPR Management Ltd. | Spam filtering using feature relevance assignment in neural networks |
| EP2429644B1 (en) * | 2009-04-30 | 2017-05-31 | Medtronic, Inc. | Patient state detection based on support vector machine based algorithm |
| US8775341B1 (en) | 2010-10-26 | 2014-07-08 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| US9015093B1 (en) | 2010-10-26 | 2015-04-21 | Michael Lamport Commons | Intelligent control with hierarchical stacked neural networks |
| KR102143225B1 (ko) * | 2013-05-06 | 2020-08-11 | 삼성전자주식회사 | 뉴로모픽 칩의 스파이크 이벤트 정보 전송 방법 및 장치, 및 뉴로모픽 칩 |
| FR3012895B1 (fr) | 2013-11-05 | 2015-12-25 | Commissariat Energie Atomique | Procede et programme d'ordinateur pour l'execution deportee de taches informatiques d'un equipement sans fil |
| US20200012930A1 (en) * | 2018-07-06 | 2020-01-09 | Global Elmeast Inc. | Techniques for knowledge neuron enhancements |
| US11610107B2 (en) | 2018-07-06 | 2023-03-21 | Global Elmeast Inc. | Methodology to automatically incorporate feedback to enable self learning in neural learning artifactories |
| US10395169B1 (en) | 2018-07-06 | 2019-08-27 | Global Elmeast Inc. | Self learning neural knowledge artifactory for autonomous decision making |
| US10311058B1 (en) | 2018-07-06 | 2019-06-04 | Global Elmeast Inc. | Techniques for processing neural queries |
-
1990
- 1990-02-09 FR FR9001529A patent/FR2658337A1/fr not_active Withdrawn
-
1991
- 1991-02-08 DE DE69126555T patent/DE69126555T2/de not_active Expired - Fee Related
- 1991-02-08 US US07/653,595 patent/US5218646A/en not_active Expired - Fee Related
- 1991-02-08 EP EP91400303A patent/EP0446084B1/fr not_active Expired - Lifetime
- 1991-02-12 JP JP03039051A patent/JP3088766B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US5218646A (en) | 1993-06-08 |
| DE69126555D1 (de) | 1997-07-24 |
| FR2658337A1 (fr) | 1991-08-16 |
| EP0446084A1 (fr) | 1991-09-11 |
| DE69126555T2 (de) | 1998-01-02 |
| EP0446084B1 (fr) | 1997-06-18 |
| JP3088766B2 (ja) | 2000-09-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH04213751A (ja) | ハイアラーキー ニューラル ネットワークに用いる分類方法及びネットワーク | |
| Woodward et al. | Active one-shot learning | |
| Giles et al. | Constructive learning of recurrent neural networks: limitations of recurrent cascade correlation and a simple solution | |
| EP0724750B1 (en) | Method for unsupervised neural network classification with back propagation | |
| Anderson et al. | Artificial neural networks technology | |
| US5255348A (en) | Neural network for learning, recognition and recall of pattern sequences | |
| WO1990011568A1 (en) | Genetic synthesis of neural networks | |
| US12347530B2 (en) | Expert-in-the-loop AI for materials generation | |
| CN114372496A (zh) | 用于决策树计算的具有模拟内容可寻址存储器(a-cam)的硬件加速器 | |
| US5220618A (en) | Classification method implemented in a layered neural network for multiclass classification and layered neural network | |
| Petridis et al. | Predictive modular neural networks: applications to time series | |
| US5438646A (en) | Feed-forward neural network | |
| EP0636991A2 (en) | Information processing apparatus for implementing neural network | |
| CN113470740A (zh) | 基于全连接网络集成深度学习模型的药物推荐系统、计算机设备、存储介质 | |
| Cantú-Paz et al. | Evolving neural networks for the classification of galaxies | |
| Chiu et al. | Multi-objective evolutionary algorithm based optimization of neural network ensemble classifier | |
| Bera et al. | Enhancing biologically inspired hierarchical temporal memory with hardware-accelerated reflex memory | |
| Baten et al. | Biological sequence data preprocessing for classification: A case study in splice site identification | |
| Vai et al. | Representing knowledge by neural networks for qualitative analysis and reasoning | |
| Lis | The synthesis of the ranked neural networks applying genetic algorithm with the dynamic probability of mutation | |
| Alexandre et al. | Compu-search methodologies II: scheduling using genetic algorithms and artificial neural networks | |
| EP0393571A1 (en) | Computing network with nodes, procedures machines to configure it, and relative uses | |
| Cherkauer et al. | Rapidly estimating the quality of input representations for neural networks | |
| Santana et al. | A Parallel Strategy for Generation of Fuzzy Rule Bases in Big Data Problems Using the NSGA-DO | |
| Mayer et al. | Simultaneous evolution of structure and activation function types in generalized multi-layer perceptrons |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| LAPS | Cancellation because of no payment of annual fees |