JPH04213750A - 層化されたニューラル・ネットワークでの分類方法 - Google Patents
層化されたニューラル・ネットワークでの分類方法Info
- Publication number
- JPH04213750A JPH04213750A JP3039043A JP3904391A JPH04213750A JP H04213750 A JPH04213750 A JP H04213750A JP 3039043 A JP3039043 A JP 3039043A JP 3904391 A JP3904391 A JP 3904391A JP H04213750 A JPH04213750 A JP H04213750A
- Authority
- JP
- Japan
- Prior art keywords
- subgroups
- samples
- neuron
- class
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
- G06F18/24133—Distances to prototypes
- G06F18/24137—Distances to cluster centroïds
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0499—Feedforward networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【０００１】
【産業上の利用分野】本発明は、階級別に分割される標
本の分類を継起的な二分法（ｄｉｃｈｏｔｏｍｉｅｓ）
により実行するのに必要とされる継起的なニューロン
（ｎｅｕｒｏｎ）の追加によって少なくとも１つの層（
ｌａｙｅｒ） が構築される学習段階（ｌｅａｒｎｉｎ
ｇ ｓｔｅｐｓ）を有するところの、層化されたニュー
ラル・ネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）
中で遂行される分類方法（ｃｌａｓｓｉｆｉｃａｔｉｏ
ｎ ｍｅｔｈｏｄ） に関する。本発明はまた、この方
法を遂行するニューラル・ネットワークにも関する。
本の分類を継起的な二分法（ｄｉｃｈｏｔｏｍｉｅｓ）
により実行するのに必要とされる継起的なニューロン
（ｎｅｕｒｏｎ）の追加によって少なくとも１つの層（
ｌａｙｅｒ） が構築される学習段階（ｌｅａｒｎｉｎ
ｇ ｓｔｅｐｓ）を有するところの、層化されたニュー
ラル・ネットワーク（ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）
中で遂行される分類方法（ｃｌａｓｓｉｆｉｃａｔｉｏ
ｎ ｍｅｔｈｏｄ） に関する。本発明はまた、この方
法を遂行するニューラル・ネットワークにも関する。
【０００２】ニューラル・ネットワークは分類問題に応
用され、特に、形状及び文字の認識、音声信号の処理、
画像処理、データ圧縮等に応用される。
用され、特に、形状及び文字の認識、音声信号の処理、
画像処理、データ圧縮等に応用される。
【０００３】ニューラル・ネットワークは、シナプス係
数（ｓｙｎａｐｔｉｃｃｏｅｆｆｉｃｉｅｎｔ）を持つ
シナプス（ｓｙｎａｐｓｅｓ）により一般的に相互に結
合している非線形のオートマトンで構成される。それは
、在来の逐次処理型コンピュータで扱うことの困難な問
題の処理を可能なものとする。
数（ｓｙｎａｐｔｉｃｃｏｅｆｆｉｃｉｅｎｔ）を持つ
シナプス（ｓｙｎａｐｓｅｓ）により一般的に相互に結
合している非線形のオートマトンで構成される。それは
、在来の逐次処理型コンピュータで扱うことの困難な問
題の処理を可能なものとする。
【０００４】
【従来の技術】ネットワークの最も普通の２つのタイプ
というのは： ─ いわゆるホップフィールド・ネットワーク（Ｈｏ
ｐｆｉｅｌｄ ｎｅｔｗｏｒｋｓ） と呼ばれる完全に
結合している（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ） ネ
ットワーク、と ─ 層化された（ｌａｙｅｒｅｄ） ネットワーク：
すなわちニューロンは継起的な層にグループ化され、
各ニューロンはそれに続く層のすべてのニューロンに結
合するものとである。
というのは： ─ いわゆるホップフィールド・ネットワーク（Ｈｏ
ｐｆｉｅｌｄ ｎｅｔｗｏｒｋｓ） と呼ばれる完全に
結合している（ｆｕｌｌｙ ｃｏｎｎｅｃｔｅｄ） ネ
ットワーク、と ─ 層化された（ｌａｙｅｒｅｄ） ネットワーク：
すなわちニューロンは継起的な層にグループ化され、
各ニューロンはそれに続く層のすべてのニューロンに結
合するものとである。
【０００５】最も一般的な構造では、情報は入力端子（
受動的−ｐａｓｓｉｖｅ− な）から入力層（能動的−
ａｃｔｉｖｅ−な）へ、次いで逐次各隠された層（能動
的な）へ、そして出力層（能動的な）に至るまで、前向
きに供給される。最も簡略化された構造では、情報は入
力端子（受動的な）から単一の（＝出力）層（能動的な
）へと前向きに供給される。
受動的−ｐａｓｓｉｖｅ− な）から入力層（能動的−
ａｃｔｉｖｅ−な）へ、次いで逐次各隠された層（能動
的な）へ、そして出力層（能動的な）に至るまで、前向
きに供給される。最も簡略化された構造では、情報は入
力端子（受動的な）から単一の（＝出力）層（能動的な
）へと前向きに供給される。
【０００６】これらのシステムは、標本によるか又は自
己組織（ｓｅｌｆ−ｏｒｇａｎｉｚｉｎｇ） による学
習の能力がある。逐次型コンピュータ（ｓｅｑｕｅｎｔ
ｉａｌ ｃｏｍｐｕｔｅｒｓ）の長い計算時間は、学習
相（ｌｅａｒｎｉｎｇ ｐｈａｓｅｓ） と分解相（ｒ
ｅｓｏｌｕｔｉｏｎ ｐｈａｓｅｓ） とを有する操作
を並列に実行することにより相当軽減することができる
。
己組織（ｓｅｌｆ−ｏｒｇａｎｉｚｉｎｇ） による学
習の能力がある。逐次型コンピュータ（ｓｅｑｕｅｎｔ
ｉａｌ ｃｏｍｐｕｔｅｒｓ）の長い計算時間は、学習
相（ｌｅａｒｎｉｎｇ ｐｈａｓｅｓ） と分解相（ｒ
ｅｓｏｌｕｔｉｏｎ ｐｈａｓｅｓ） とを有する操作
を並列に実行することにより相当軽減することができる
。
【０００７】所与の操作を実行するためには、ニューラ
ル・ネットワークはそれを実行する学習を前以てして置
かなければならない。学習相と呼ばれるこの相では、標
本を用いる。多数のアルゴリズムに対してこれらの標本
で得られる出力結果は予め既知である。意図されたタス
クを未だ採り上げていないニューラル・ネットワークは
、最初は誤った結果を出すであろう。そこで、得られた
結果と得らるべきであった結果との間の誤りが明らかに
され、ニューラル・ネットワークに選定された標本を学
習することを許すために、適合判定基準に基づいてシナ
プス係数が変形される。この段階は、ニューラル・ネッ
トワークが満足な学習をするのに必要と考えられる一団
の標本に対して何度でも繰り返される。
ル・ネットワークはそれを実行する学習を前以てして置
かなければならない。学習相と呼ばれるこの相では、標
本を用いる。多数のアルゴリズムに対してこれらの標本
で得られる出力結果は予め既知である。意図されたタス
クを未だ採り上げていないニューラル・ネットワークは
、最初は誤った結果を出すであろう。そこで、得られた
結果と得らるべきであった結果との間の誤りが明らかに
され、ニューラル・ネットワークに選定された標本を学
習することを許すために、適合判定基準に基づいてシナ
プス係数が変形される。この段階は、ニューラル・ネッ
トワークが満足な学習をするのに必要と考えられる一団
の標本に対して何度でも繰り返される。
【０００８】学習アルゴリズムは２つの階級（ｃｌａｓ
ｓｅｓ） に分割される： ─ 局所学習（ｌｏｃａｌ ｌｅａｒｎｉｎｇ）、す
なわちニューロンｊをニューロンｉに結合するシナプス
係数Ｃｉｊの変形が、ニューロンｉ及びニューロンｊ上
に限定されている情報にのみ依存するもの、と ─ 非局所学習（ｎｏｎ−ｌｏｃａｌ ｌｅａｒｎｉ
ｎｇ）、すなわち該変形が、ネットワーク全体に所在す
る情報に依存するもの、その公知の例としては層化され
たネットワーク内で誤りが後ろ向きに伝播されるもの とである。
ｓｅｓ） に分割される： ─ 局所学習（ｌｏｃａｌ ｌｅａｒｎｉｎｇ）、す
なわちニューロンｊをニューロンｉに結合するシナプス
係数Ｃｉｊの変形が、ニューロンｉ及びニューロンｊ上
に限定されている情報にのみ依存するもの、と ─ 非局所学習（ｎｏｎ−ｌｏｃａｌ ｌｅａｒｎｉ
ｎｇ）、すなわち該変形が、ネットワーク全体に所在す
る情報に依存するもの、その公知の例としては層化され
たネットワーク内で誤りが後ろ向きに伝播されるもの とである。
【０００９】種々のタイプのニューラル・ネットワーク
が既に、ＩＥＥＥ ＡＳＳＰ Ｍａｇａｚｉｎｅ誌１９
８７年４月号第４−２２頁に所載のＲ．Ｐ．ＬＩＰＰＭ
ＡＮＮによる”Ａｎ ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ
ｃｏｍｐｕｔｉｎｇｗｉｔｈ ｎｅｕｒａｌ ｎｅｔ
ｓ” という論文に記載されている。 これらのニューラル・ネットワークでは、構造の組織は
（層化されているか又は完全に結合しているかに）固定
されている、そしてニューロン間の結合は前以て固定さ
れている。
が既に、ＩＥＥＥ ＡＳＳＰ Ｍａｇａｚｉｎｅ誌１９
８７年４月号第４−２２頁に所載のＲ．Ｐ．ＬＩＰＰＭ
ＡＮＮによる”Ａｎ ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ
ｃｏｍｐｕｔｉｎｇｗｉｔｈ ｎｅｕｒａｌ ｎｅｔ
ｓ” という論文に記載されている。 これらのニューラル・ネットワークでは、構造の組織は
（層化されているか又は完全に結合しているかに）固定
されている、そしてニューロン間の結合は前以て固定さ
れている。
【００１０】その時実行される学習の目的は、異なるア
ーキテクチャを提案し然る後に処理結果に基づき帰納的
な選択をなすことにより、最適構造を見出すことである
。
ーキテクチャを提案し然る後に処理結果に基づき帰納的
な選択をなすことにより、最適構造を見出すことである
。
【００１１】学習の過程でアーキテクチャが決定できる
ようなアルゴリズムが、Ｊ．Ｐｈｙｓ．Ａ ：Ｍａｔｈ
． Ｇｅｎ． 誌 ２２（１９８９年） 第２１９１−
２２０３頁に所載の”Ｌｅａｒｎｉｎｇ ｉｎ Ｆｅｅ
ｄｆｏｒｗａｒｄＬａｙｅｒｅｄ Ｎｅｔｗｏｒｋｓ：
ｔｈｅ ｔｉｌｉｎｇ ａｌｇｏｒｉｔｈｍ” という
文献中で既に、Ｍ．ＭＥＺＡＲＤ及びＪ．Ｐ．ＮＡＤＡ
Ｌ により提案されている。この目的のために、該学習
はある層中に存在する１番目のニューロンのシナプス係
数を最適化することにより初期化され、もしこのニュー
ロンが分類のタスクを完成するのに十分でなければ、更
にもう１つのニューロンが当該の層に、又は同じく初期
化されたその次の層に追加される。このやり方によって
、アーキテクチャの学習及び、出力を２つの階級に分離
して、層化されたネットワークのパラメータ（多層パー
セプトロン）の学習ができる。
ようなアルゴリズムが、Ｊ．Ｐｈｙｓ．Ａ ：Ｍａｔｈ
． Ｇｅｎ． 誌 ２２（１９８９年） 第２１９１−
２２０３頁に所載の”Ｌｅａｒｎｉｎｇ ｉｎ Ｆｅｅ
ｄｆｏｒｗａｒｄＬａｙｅｒｅｄ Ｎｅｔｗｏｒｋｓ：
ｔｈｅ ｔｉｌｉｎｇ ａｌｇｏｒｉｔｈｍ” という
文献中で既に、Ｍ．ＭＥＺＡＲＤ及びＪ．Ｐ．ＮＡＤＡ
Ｌ により提案されている。この目的のために、該学習
はある層中に存在する１番目のニューロンのシナプス係
数を最適化することにより初期化され、もしこのニュー
ロンが分類のタスクを完成するのに十分でなければ、更
にもう１つのニューロンが当該の層に、又は同じく初期
化されたその次の層に追加される。このやり方によって
、アーキテクチャの学習及び、出力を２つの階級に分離
して、層化されたネットワークのパラメータ（多層パー
セプトロン）の学習ができる。
【００１２】しかしながら、そのようなニューラル・ネ
ットワークの構造は、いくつかの階級に分布している標
本の分類の問題を遂行することができるものではない。
ットワークの構造は、いくつかの階級に分布している標
本の分類の問題を遂行することができるものではない。
【００１３】
【発明が解決しようとする課題】それ故、提起されてい
る課題は、学習中にアーキテクチャの決定を維持しなが
ら、そのような問題を処理することを可能ならしめると
いうことである。
る課題は、学習中にアーキテクチャの決定を維持しなが
ら、そのような問題を処理することを可能ならしめると
いうことである。
【００１４】
【課題を解決するための手段】その解答は、少なくとも
１つの層を創造するために、２つより多い階級に分割さ
れた標本のグループから出発して、各継起的なニューロ
ンは入力データを、当面問題の層のニューロンの学習の
対象となる上記入力データの分布の主要構成要素分析に
従って、該ニューロンに特有の予め定められた階級のサ
ブグループにより、識別することを指向して成るもので
ある。
１つの層を創造するために、２つより多い階級に分割さ
れた標本のグループから出発して、各継起的なニューロ
ンは入力データを、当面問題の層のニューロンの学習の
対象となる上記入力データの分布の主要構成要素分析に
従って、該ニューロンに特有の予め定められた階級のサ
ブグループにより、識別することを指向して成るもので
ある。
【００１５】それ故その方法は、父ニューロンと然る後
に後継ニューロンとを使用し、それらは共に、いくつか
の階級に分布している標本のグループの、各々が単一の
階級を形成する標本のサブグループへの分離を許すもの
となるであろう。従って、学習を行うために、各ニュー
ロンは次のいくつかの継起的なステップすなわち：Ａ─
標本の非斉次のグループの投入、 Ｂ─非斉次のグループの標本の主要構成要素分析に基づ
く２つの階級のサブグループへの分割、Ｃ─標本のグル
ープを、２つの階級のサブグループへの最初の分割に対
し可能な限り近くに接近する２つの標本のサブグループ
に区別することを指向するように、父ニューロンがその
シナプス係数を計算することによって行う学習、 Ｄ─２つの標本のサブグループが単一の標本の階級を含
んでいるか否かを判定するための、該２つの標本のサブ
グループの各々の斉次性の検査、 Ｅ─上記標本のサブグループからの、単一の非斉次サブ
グループの選出、 Ｆ─非斉次サブグループの標本の、主要構成要素分析に
基づく２つの階級のサブグループへの分割、Ｇ─選出さ
れた標本の非斉次サブグループを、２つの階級のサブグ
ループへの後続の分割に対し可能な限り近くに接近する
２つの標本のサブグループに区別することを指向するよ
うに、後続ニューロンがそのシナプス係数を計算するこ
とによって行う学習、 Ｈ─新しい標本のサブグループを生成するために、先行
ニューロンにより識別された標本の非斉次サブグループ
のすべてに対して執られる上記後続ニューロンの行動、
Ｉ─新しく生成された標本のサブグループの各々の斉次
性の検査、 Ｊ─標本の非斉次サブグループに属する標本の抽出、Ｋ
─残りの非斉次標本のサブグループに対する、単一の階
級で形成される斉次サブグループが得られるに至までの
、段階Ｅで始まる処理の続行、の各ステップを実行する
ものとなるであろう。
に後継ニューロンとを使用し、それらは共に、いくつか
の階級に分布している標本のグループの、各々が単一の
階級を形成する標本のサブグループへの分離を許すもの
となるであろう。従って、学習を行うために、各ニュー
ロンは次のいくつかの継起的なステップすなわち：Ａ─
標本の非斉次のグループの投入、 Ｂ─非斉次のグループの標本の主要構成要素分析に基づ
く２つの階級のサブグループへの分割、Ｃ─標本のグル
ープを、２つの階級のサブグループへの最初の分割に対
し可能な限り近くに接近する２つの標本のサブグループ
に区別することを指向するように、父ニューロンがその
シナプス係数を計算することによって行う学習、 Ｄ─２つの標本のサブグループが単一の標本の階級を含
んでいるか否かを判定するための、該２つの標本のサブ
グループの各々の斉次性の検査、 Ｅ─上記標本のサブグループからの、単一の非斉次サブ
グループの選出、 Ｆ─非斉次サブグループの標本の、主要構成要素分析に
基づく２つの階級のサブグループへの分割、Ｇ─選出さ
れた標本の非斉次サブグループを、２つの階級のサブグ
ループへの後続の分割に対し可能な限り近くに接近する
２つの標本のサブグループに区別することを指向するよ
うに、後続ニューロンがそのシナプス係数を計算するこ
とによって行う学習、 Ｈ─新しい標本のサブグループを生成するために、先行
ニューロンにより識別された標本の非斉次サブグループ
のすべてに対して執られる上記後続ニューロンの行動、
Ｉ─新しく生成された標本のサブグループの各々の斉次
性の検査、 Ｊ─標本の非斉次サブグループに属する標本の抽出、Ｋ
─残りの非斉次標本のサブグループに対する、単一の階
級で形成される斉次サブグループが得られるに至までの
、段階Ｅで始まる処理の続行、の各ステップを実行する
ものとなるであろう。
【００１６】ニューロンにより行われる２つの標本のサ
ブグループへのこの標本の分離は、標本の分布の重心に
関する２つの階級のサブグループへの分割を行うことに
よる、標本の分布の主要構成要素分析によって実行され
る階級の分割に合致することを指向する。
ブグループへのこの標本の分離は、標本の分布の重心に
関する２つの階級のサブグループへの分割を行うことに
よる、標本の分布の主要構成要素分析によって実行され
る階級の分割に合致することを指向する。
【００１７】主要構成要素分析というのは統計的な方法
で、それはベクトルの集合がｄ個の主要方向とそれに対
応する分散とを持つ平均ベクトルを援用して書き表され
ることを許すものである。この方法は後述する。
で、それはベクトルの集合がｄ個の主要方向とそれに対
応する分散とを持つ平均ベクトルを援用して書き表され
ることを許すものである。この方法は後述する。
【００１８】学習を実行するために、父ニューロンのシ
ナプス係数が階級Ｐのある特定のサブグループを標本の
グループＭから識別するために計算される。この区分は
サブグループＭ１＋中でサブグループＰを識別するもの
であり得る。
ナプス係数が階級Ｐのある特定のサブグループを標本の
グループＭから識別するために計算される。この区分は
サブグループＭ１＋中でサブグループＰを識別するもの
であり得る。
【００１９】ニューロンを援用して実行するのが望まし
い該特定の階級ＰのグループＭ１＋の区分は、標本の階
級が線形に分離できるものでない時には、不完全にしか
得ることができない。従って該特定の階級Ｐと同じ階級
を持つ標本は最初のニューロンによる区分の後で相補的
なサブグループＭ１−中に見出すことができる。
い該特定の階級ＰのグループＭ１＋の区分は、標本の階
級が線形に分離できるものでない時には、不完全にしか
得ることができない。従って該特定の階級Ｐと同じ階級
を持つ標本は最初のニューロンによる区分の後で相補的
なサブグループＭ１−中に見出すことができる。
【００２０】その次に、グループＭ１＋及びその相補グ
ループＭ１−が、単一の階級を含むか否かを判定するた
めに斉次性が検査される。これらのグループが共に斉次
であるならば、これらのサブグループの区分は完了する
。もしこれらのグループのどちらかが非斉次であるなら
ば、非斉次のサブグループが選出され、非斉次グループ
を２つの新しいグループに区別する後継ニューロンが生
成される。これをするために、該方法は、先ずサブグル
ープ中に存在する階級を主要構成要素分析によって２つ
の階級のサブグループに区別し、次いで２つの階級のサ
ブグループによる二分法の判定基準によって区分を行う
この後継ニューロンのためのシナプス係数を計算する。 それから、後継ニューロンは、こうして定められたシナ
プス係数を用いて、先行ニューロンの生成したすべての
非斉次グループ（１グループ又は２グループ）に対して
行動を執らされる。この標本の二分法の手順及び後継ニ
ューロンの生成は、後続の世代で逐次繰り返される。
ループＭ１−が、単一の階級を含むか否かを判定するた
めに斉次性が検査される。これらのグループが共に斉次
であるならば、これらのサブグループの区分は完了する
。もしこれらのグループのどちらかが非斉次であるなら
ば、非斉次のサブグループが選出され、非斉次グループ
を２つの新しいグループに区別する後継ニューロンが生
成される。これをするために、該方法は、先ずサブグル
ープ中に存在する階級を主要構成要素分析によって２つ
の階級のサブグループに区別し、次いで２つの階級のサ
ブグループによる二分法の判定基準によって区分を行う
この後継ニューロンのためのシナプス係数を計算する。 それから、後継ニューロンは、こうして定められたシナ
プス係数を用いて、先行ニューロンの生成したすべての
非斉次グループ（１グループ又は２グループ）に対して
行動を執らされる。この標本の二分法の手順及び後継ニ
ューロンの生成は、後続の世代で逐次繰り返される。
【００２１】すべての階級がこうして識別されたとき、
学習相は完了してニューラル・ネットワークは分類を実
行するための完全動作モードで使用できる。
学習相は完了してニューラル・ネットワークは分類を実
行するための完全動作モードで使用できる。
【００２２】階級の２つのサブグループへの区分の後で
、２つのサブグループ上での区分を行う各ニューラル・
ネットワークの学習には、いくつかの変形がある。優先
的に使用されるのはポケット・アルゴリズムで、これは
Ｍ．ＭＥＺＡＲＤ 及びＪ．Ｐ．ＮＡＤＡＬ により
用いられ、Ｐａｒｉｓ（１９８６年） の ８ｔｈ Ｃ
ｏｎｆ． ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉ
ｏｎ におけるＩＥＥＥ ｐｒｏｃ．に所載のＳ．ＧＡ
ＬＡＮＴによる”Ｏｐｔｉｍａｌ Ｌｉｎｅａｒ Ｄｉ
ｓｃｒｉｍｉｎａｎｔｓ”という文献に記載されている
。このポケット・アルゴリズムは各ニューロンが実行す
る区分の動作のために使用することができる。
、２つのサブグループ上での区分を行う各ニューラル・
ネットワークの学習には、いくつかの変形がある。優先
的に使用されるのはポケット・アルゴリズムで、これは
Ｍ．ＭＥＺＡＲＤ 及びＪ．Ｐ．ＮＡＤＡＬ により
用いられ、Ｐａｒｉｓ（１９８６年） の ８ｔｈ Ｃ
ｏｎｆ． ｏｎ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉ
ｏｎ におけるＩＥＥＥ ｐｒｏｃ．に所載のＳ．ＧＡ
ＬＡＮＴによる”Ｏｐｔｉｍａｌ Ｌｉｎｅａｒ Ｄｉ
ｓｃｒｉｍｉｎａｎｔｓ”という文献に記載されている
。このポケット・アルゴリズムは各ニューロンが実行す
る区分の動作のために使用することができる。
【００２３】各ニューロンにとって、「パーセプトロン
（Ｐｅｒｃｅｐｔｒｏｎ）」という学習判定基準を用い
ることも可能で、これはどの標本に対してもニューラル
・ネットワークの出力で得られた結果と期待される結果
との差異を特徴付ける誤りに基づいてシナプス係数を再
更新するものである。これらの学習判定基準は、当業者
にとって既知である。
（Ｐｅｒｃｅｐｔｒｏｎ）」という学習判定基準を用い
ることも可能で、これはどの標本に対してもニューラル
・ネットワークの出力で得られた結果と期待される結果
との差異を特徴付ける誤りに基づいてシナプス係数を再
更新するものである。これらの学習判定基準は、当業者
にとって既知である。
【００２４】ニューロンのシナプス係数の計算というの
はすべて、入力層のニューロンの行動の対象となる入力
標本のグループか、或いはそれぞれ後続層のニューロン
の行動の対象となる選出された非斉次グループかを、そ
の都度２つの予め定められた階級のグループによって、
当面問題のニューロンに識別させることを意図するもの
である。
はすべて、入力層のニューロンの行動の対象となる入力
標本のグループか、或いはそれぞれ後続層のニューロン
の行動の対象となる選出された非斉次グループかを、そ
の都度２つの予め定められた階級のグループによって、
当面問題のニューロンに識別させることを意図するもの
である。
【００２５】どのニューロンの学習でもこれを成し遂げ
るためには、そのシナプス係数の計算は、「ポケット」
アルゴリズム（”Ｐｏｃｋｅｔ” ａｌｇｏｒｉｔｈｍ
）か、「パーセプトロン」型（”Ｐｅｒｃｅｐｔｒｏｎ
” ｔｙｐｅ） の学習規則か、又はヘッブ型（Ｈｅｂ
ｂ ｔｙｐｅ） の学習規則かのいずれかを実行するこ
とになる。（前掲の Ｒ．Ｐ．ＬＩＰＰＭＡＮＮ の文
献、及び Ｐｈｙｓ．Ｒｅｖ． Ａ 誌、第３７巻第７
号 （１９８８年） 第２６６０頁所載 Ｒ．ＭＥＩＲ
と Ｅ．ＤＯＭＡＮＹ による”Ｉｎｔｅｇｒａｔｅ
ｄ Ｌｅａｒｎｉｎｇ ｉｎ ａ ｌａｙｅｒｅｄ Ｆ
ｅｅｄ−Ｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒ
ｋ”という文献参照）
るためには、そのシナプス係数の計算は、「ポケット」
アルゴリズム（”Ｐｏｃｋｅｔ” ａｌｇｏｒｉｔｈｍ
）か、「パーセプトロン」型（”Ｐｅｒｃｅｐｔｒｏｎ
” ｔｙｐｅ） の学習規則か、又はヘッブ型（Ｈｅｂ
ｂ ｔｙｐｅ） の学習規則かのいずれかを実行するこ
とになる。（前掲の Ｒ．Ｐ．ＬＩＰＰＭＡＮＮ の文
献、及び Ｐｈｙｓ．Ｒｅｖ． Ａ 誌、第３７巻第７
号 （１９８８年） 第２６６０頁所載 Ｒ．ＭＥＩＲ
と Ｅ．ＤＯＭＡＮＹ による”Ｉｎｔｅｇｒａｔｅ
ｄ Ｌｅａｒｎｉｎｇ ｉｎ ａ ｌａｙｅｒｅｄ Ｆ
ｅｅｄ−Ｆｏｒｗａｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒ
ｋ”という文献参照）
【００２６】本発明はまた、この
方法を実行するニューラル・ネットワークにも関する。 ニューラル・ネットワークがまず初めに構築され、然る
後に学習された分類のタスクを実施する。最初の層を形
成するニューロンは入力データ空間を分離する機能を持
つ。従ってその各々は出力上に２進状態（ｂｉｎａｒｙ
ｓｔａｔｅ）を供給する。その２進状態の集合が後続
の層のための入力データを構成する。 これらの２進状態の集合は、ニューラル・ネットワーク
を形成する継起的な層を援用して復号化することができ
る。それはまた、標本の階級を最初の層のニューロンの
２進状態の関数として記憶するメモリを援用して復号化
することもできる。動作モードでは、このメモリがこれ
らの２進状態によりアドレスされ、それから実行される
分類を供給するために読み出される。
方法を実行するニューラル・ネットワークにも関する。 ニューラル・ネットワークがまず初めに構築され、然る
後に学習された分類のタスクを実施する。最初の層を形
成するニューロンは入力データ空間を分離する機能を持
つ。従ってその各々は出力上に２進状態（ｂｉｎａｒｙ
ｓｔａｔｅ）を供給する。その２進状態の集合が後続
の層のための入力データを構成する。 これらの２進状態の集合は、ニューラル・ネットワーク
を形成する継起的な層を援用して復号化することができ
る。それはまた、標本の階級を最初の層のニューロンの
２進状態の関数として記憶するメモリを援用して復号化
することもできる。動作モードでは、このメモリがこれ
らの２進状態によりアドレスされ、それから実行される
分類を供給するために読み出される。
【００２７】
【実施例】図１は抽象的な２次元空間の２５個の標本を
示し、各標本はそれぞれのパラメータ値により与えられ
る所在場所に位置し、又それらが属する特定の階級に対
応する文字ａ，ｂ，ｃ，ｄ，ｅで表されている。該標本
はそれぞれグループ又はサブグループＳＧ１，ＳＧ２，
ＳＧ３ にグループ化され、グループＳＧ１ は使われ
る総ての標本を事実上含んでいる。各グループ又はサブ
グループはそれぞれの主軸ＡＰ１，ＡＰ２，ＡＰ３ を
持ち、その決め方の詳細は後述するが、これら主軸の用
途は当該グループ又はサブグループの一般的な空間的方
向付けを示すものである。各サブグループに対しては、
それぞれの二分ライン（ｄｉｃｈｏｔｏｍｙ ｌｉｎｅ
）が示されている、それは一般的に該サブグループの主
軸を横切って走り、該サブグループを２つの部分に分割
する。二分法はそれぞれＮ１，Ｎ２，Ｎ３で示されるそ
れぞれの単一ニューロンによって実行される。
示し、各標本はそれぞれのパラメータ値により与えられ
る所在場所に位置し、又それらが属する特定の階級に対
応する文字ａ，ｂ，ｃ，ｄ，ｅで表されている。該標本
はそれぞれグループ又はサブグループＳＧ１，ＳＧ２，
ＳＧ３ にグループ化され、グループＳＧ１ は使われ
る総ての標本を事実上含んでいる。各グループ又はサブ
グループはそれぞれの主軸ＡＰ１，ＡＰ２，ＡＰ３ を
持ち、その決め方の詳細は後述するが、これら主軸の用
途は当該グループ又はサブグループの一般的な空間的方
向付けを示すものである。各サブグループに対しては、
それぞれの二分ライン（ｄｉｃｈｏｔｏｍｙ ｌｉｎｅ
）が示されている、それは一般的に該サブグループの主
軸を横切って走り、該サブグループを２つの部分に分割
する。二分法はそれぞれＮ１，Ｎ２，Ｎ３で示されるそ
れぞれの単一ニューロンによって実行される。
【００２８】図２は層化されたニューラル・ネットワー
クに関するフローチャートで、本発明の方法のステップ
を示すものである。該方法は、定められたタスクに適合
するようにニューラル・ネットワークによる学習操作を
実行するために与えられたところの、選択された標本の
グループＭに基づいて行われる （ステップ２００）。 この標本のグループＭは定義により非斉次（ｎｏｎ−ｈ
ｏｍｏｇｅｎｅｏｕｓ） である、という意味はそれら
の標本は１つより多い階級に属している。学習は茲では
広い意味に理解され、それは必要とされるシナプス係数
を決定するだけではなく、このタスクを完成するのに必
要とされるニューロンの数を同時に決定するものである
。従ってそれはまたニューラル・ネットワークのサイズ
をも決定する。
クに関するフローチャートで、本発明の方法のステップ
を示すものである。該方法は、定められたタスクに適合
するようにニューラル・ネットワークによる学習操作を
実行するために与えられたところの、選択された標本の
グループＭに基づいて行われる （ステップ２００）。 この標本のグループＭは定義により非斉次（ｎｏｎ−ｈ
ｏｍｏｇｅｎｅｏｕｓ） である、という意味はそれら
の標本は１つより多い階級に属している。学習は茲では
広い意味に理解され、それは必要とされるシナプス係数
を決定するだけではなく、このタスクを完成するのに必
要とされるニューロンの数を同時に決定するものである
。従ってそれはまたニューラル・ネットワークのサイズ
をも決定する。
【００２９】標本のグループＭはｋ個の異なる階級の標
本に対して形成される。ステップ２０２ ではｋ個の階
級を、階級Ｇ１＋と階級Ｇ１−の２サブグループに分割
し、これによって分類問題を階級Ｇ１＋と階級Ｇ１−と
の２つのサブグループの分類問題に縮小する。ステップ
２０３ では該方法は、標本のグループＭの全体に亙っ
て動作するある特定の父ニューロン（ｆａｔｈｅｒ ｎ
ｅｕｒｏｎ） のシナプス係数を決定する。これらのシ
ナプス係数は、ニューラル・ネットワークが既知の階級
のサブグループＧ１＋とＧ１−とにそれぞれ従って標本
のグループＭを標本のサブグループＭ１＋とＭ１−とに
出来るだけ正確に分離するように決定される。この学習
過程は以下に述べるポケット・アルゴリズム（Ｐｏｃｋ
ｅｔ ａｌｇｏｒｉｔｈｍ）により実行されるのを好適
とする。これらの条件下で該学習は実行時間に関しても
所要のハードウェアに関しても最適であることが判明す
る。 ニューラル・ネットワークの出力は各階級が意図したサ
ブグループに正確に割当てられたか非正確に割当てられ
たかについて分析される。物事を明確にするために、例
えば、標本のグループＭから階級のサブグループＧ１＋
を孤立させるように試みることが可能である。
本に対して形成される。ステップ２０２ ではｋ個の階
級を、階級Ｇ１＋と階級Ｇ１−の２サブグループに分割
し、これによって分類問題を階級Ｇ１＋と階級Ｇ１−と
の２つのサブグループの分類問題に縮小する。ステップ
２０３ では該方法は、標本のグループＭの全体に亙っ
て動作するある特定の父ニューロン（ｆａｔｈｅｒ ｎ
ｅｕｒｏｎ） のシナプス係数を決定する。これらのシ
ナプス係数は、ニューラル・ネットワークが既知の階級
のサブグループＧ１＋とＧ１−とにそれぞれ従って標本
のグループＭを標本のサブグループＭ１＋とＭ１−とに
出来るだけ正確に分離するように決定される。この学習
過程は以下に述べるポケット・アルゴリズム（Ｐｏｃｋ
ｅｔ ａｌｇｏｒｉｔｈｍ）により実行されるのを好適
とする。これらの条件下で該学習は実行時間に関しても
所要のハードウェアに関しても最適であることが判明す
る。 ニューラル・ネットワークの出力は各階級が意図したサ
ブグループに正確に割当てられたか非正確に割当てられ
たかについて分析される。物事を明確にするために、例
えば、標本のグループＭから階級のサブグループＧ１＋
を孤立させるように試みることが可能である。
【００３０】そうすると階級のサブグループＧ１−は標
本のグループＭから階級のサブグループＧ１＋を取り去
ることにより形成される。こうして父ニューロンの学習
はＭ１＋をＧ１＋に符合させ、Ｍ１−をＧ１−に符合さ
せるようになるであろう。
本のグループＭから階級のサブグループＧ１＋を取り去
ることにより形成される。こうして父ニューロンの学習
はＭ１＋をＧ１＋に符合させ、Ｍ１−をＧ１−に符合さ
せるようになるであろう。
【００３１】階級のサブグループＧ１＋は、斉次でも非
斉次でもどちらでもよい。階級は先験的に線形に分離さ
れるものではないから、こうして分離されたサブグルー
プＭ１−はそれ自体階級のサブグループＧ１−のエレメ
ントを含むことができる。
斉次でもどちらでもよい。階級は先験的に線形に分離さ
れるものではないから、こうして分離されたサブグルー
プＭ１−はそれ自体階級のサブグループＧ１−のエレメ
ントを含むことができる。
【００３２】標本のサブグループＭ１＋とＭ１−とを構
成する標本は最初に別々に処理される。ステップ２２０
及びステップ２１０ で、Ｍ１＋及びＭ１−の斉次性
が検査される。
成する標本は最初に別々に処理される。ステップ２２０
及びステップ２１０ で、Ｍ１＋及びＭ１−の斉次性
が検査される。
【００３３】実際には、父ニューロンは前以て定義され
た階級のサブグループを識別するというタスクを持つ。 もし標本のグループＭ１＋（またはＭ１−）が斉次なら
ば、すなわち同一の階級の標本のみを含むならば、これ
らの標本はステップ２２２（またはステップ２１２）で
識別される（階級Ｋ０，Ｋ１）。
た階級のサブグループを識別するというタスクを持つ。 もし標本のグループＭ１＋（またはＭ１−）が斉次なら
ば、すなわち同一の階級の標本のみを含むならば、これ
らの標本はステップ２２２（またはステップ２１２）で
識別される（階級Ｋ０，Ｋ１）。
【００３４】もし標本のグループＭ１＋（またはＭ１−
）が非斉次ならば、すなわち異なる階級の標本を含むな
らば、区別を続けることが必要である。
）が非斉次ならば、すなわち異なる階級の標本を含むな
らば、区別を続けることが必要である。
【００３５】これを行うために、標本の非斉次サブグル
ープＭ１＋またはＭ１−が１つ（ステップ２２４ で）
選択される。この選択は、例えば最も数の多いサブグル
ープを、または含まれる階級の数が最小の（一般的に新
しいｋの値は前のものより小さい）サブグループを、或
いはその他の任意の判断基準で選ぶことができる。
ープＭ１＋またはＭ１−が１つ（ステップ２２４ で）
選択される。この選択は、例えば最も数の多いサブグル
ープを、または含まれる階級の数が最小の（一般的に新
しいｋの値は前のものより小さい）サブグループを、或
いはその他の任意の判断基準で選ぶことができる。
【００３６】こうして選択されたサブグループＭ１＋ま
たはＭ１−は、ステップ２０２ で行ったのと同様な、
選択されたサブグループのｋ個の階級を僅かに２個の階
級のサブグループに分割する操作 （ステップ２２６）
で階級別に分割される。このことはｋ個の階級への分類
の問題を２つの階級への分類の繰り返しに還元する。ニ
ューロンＮ２ の学習（ステップ２２８）とは、２つの
新しい標本のグループを予め定められた階級の２つのサ
ブグループに対応させるようにするところの、選択され
た標本のグループの２つのサブグループへの１番目の区
分を実行することである。ニューロンＮ２ のシナプス
係数はこうして決定される。それらはその時不変のまま
であり、ニューロンＮ２ は、先行のニューロンにより
生成された標本のサブグループＭ１＋及びＭ１−の全体
に亙って２番目の区分を実行する。この目的のために命
令２３１ が与えられて、それがニューロンＮ２ によ
るＭ１＋の処理（ステップ２３０）及びＭ１−の処理（
ステップ２４０）を実行させる。
たはＭ１−は、ステップ２０２ で行ったのと同様な、
選択されたサブグループのｋ個の階級を僅かに２個の階
級のサブグループに分割する操作 （ステップ２２６）
で階級別に分割される。このことはｋ個の階級への分類
の問題を２つの階級への分類の繰り返しに還元する。ニ
ューロンＮ２ の学習（ステップ２２８）とは、２つの
新しい標本のグループを予め定められた階級の２つのサ
ブグループに対応させるようにするところの、選択され
た標本のグループの２つのサブグループへの１番目の区
分を実行することである。ニューロンＮ２ のシナプス
係数はこうして決定される。それらはその時不変のまま
であり、ニューロンＮ２ は、先行のニューロンにより
生成された標本のサブグループＭ１＋及びＭ１−の全体
に亙って２番目の区分を実行する。この目的のために命
令２３１ が与えられて、それがニューロンＮ２ によ
るＭ１＋の処理（ステップ２３０）及びＭ１−の処理（
ステップ２４０）を実行させる。
【００３７】最後の２つの段階の終わりに、ニューロン
Ｎ２ はサブグループＭ１＋及びＭ１−の標本を、それ
ぞれ２つの新しい標本のサブグループＭ２＋／Ｍ２−及
びＭ３＋／Ｍ３−にそれぞれ分割した。
Ｎ２ はサブグループＭ１＋及びＭ１−の標本を、それ
ぞれ２つの新しい標本のサブグループＭ２＋／Ｍ２−及
びＭ３＋／Ｍ３−にそれぞれ分割した。
【００３８】それからこれら４つのサブグループは同様
のメカニズムで処理ニューロンＮ３ （チャートには示
されていない）により処理される。（図２の）鎖線 Ａ
−ＡとＢ−Ｂ の間に所在する一連のステップが、２つ
のサブグループに対してではなく４つのサブグループに
対して全く同じように繰り返される。
のメカニズムで処理ニューロンＮ３ （チャートには示
されていない）により処理される。（図２の）鎖線 Ａ
−ＡとＢ−Ｂ の間に所在する一連のステップが、２つ
のサブグループに対してではなく４つのサブグループに
対して全く同じように繰り返される。
【００３９】当面の層の構築は、グループＭのすべての
標本がこうして処理され終わり、各孤立したサブグルー
プが単一の階級に属する標本のみを含む時に完成する。 該方法はこの時点で完了したと考えてよいが、或いはも
し必要と考えられれば更にもう１つの層を構築すること
も可能であろう。
標本がこうして処理され終わり、各孤立したサブグルー
プが単一の階級に属する標本のみを含む時に完成する。 該方法はこの時点で完了したと考えてよいが、或いはも
し必要と考えられれば更にもう１つの層を構築すること
も可能であろう。
【００４０】第１の層の構築の終わりに、多階級データ
語間の区分を行うことができる。しかし出力状態の配置
は余りに多いことのあり得る出力の数に亙って分布して
いる。従って出力の数を減らすトランスコーディング（
ｔｒａｎｓｃｏｄｉｎｇ） を行うことが望まれること
もあり得る。それ故、次の層が最初の能動ニューロン層
について既に述べたのと同じ方法で構築される。この最
初の層の出力は２番目の層の入力として用いられる。同
じ過程が他の層に対して繰り返されることができる。最
後の層の出力で、出力状態の配置は減らされた出力数に
亙り分布したものが得られる。これらの配置は入力上に
導入されたデータ語のいくつかの階級を識別することを
許す。ニューロンの数及びそのシナプス係数はこうして
方法そのものによって決定され、学習動作はこの標本の
グループに対して完了する。それからニューラル・ネッ
トワークは分類の課題を実行するのに用いることができ
る。
語間の区分を行うことができる。しかし出力状態の配置
は余りに多いことのあり得る出力の数に亙って分布して
いる。従って出力の数を減らすトランスコーディング（
ｔｒａｎｓｃｏｄｉｎｇ） を行うことが望まれること
もあり得る。それ故、次の層が最初の能動ニューロン層
について既に述べたのと同じ方法で構築される。この最
初の層の出力は２番目の層の入力として用いられる。同
じ過程が他の層に対して繰り返されることができる。最
後の層の出力で、出力状態の配置は減らされた出力数に
亙り分布したものが得られる。これらの配置は入力上に
導入されたデータ語のいくつかの階級を識別することを
許す。ニューロンの数及びそのシナプス係数はこうして
方法そのものによって決定され、学習動作はこの標本の
グループに対して完了する。それからニューラル・ネッ
トワークは分類の課題を実行するのに用いることができ
る。
【００４１】図３は本発明による方法で操作される分離
ステップのもう１つの表現である。父ニューロンＮ１（
太線で表す） は、標本のサブグループＭ１＋とＭ１−
とへの分離を実行するために標本の非斉次のグループＭ
上で動作する。
ステップのもう１つの表現である。父ニューロンＮ１（
太線で表す） は、標本のサブグループＭ１＋とＭ１−
とへの分離を実行するために標本の非斉次のグループＭ
上で動作する。
【００４２】この表現では、標本のサブグループＭ１＋
とＭ１−とは共に非斉次と仮定する。シナプス係数を計
算することによって後継ニューロンＮ２ による学習を
遂行するために、サブグループの１つ、例えばＭ１＋が
選定されるのである。この学習が完了すると、ニューロ
ンＮ２ はそのシナプス係数を保持して、グループＭ１
＋及びＭ１−上での分割を行い、Ｍ１＋及びＭ１−はそ
れぞれＭ２＋／Ｍ２−及びＭ３＋／Ｍ３−に分離される
。Ｍ２−及びＭ３＋は斉次と仮定すると、該方法は残っ
た非斉次のサブグループＭ２＋及びＭ３−に対して続け
られる。後継ニューロンＮ３ のシナプス係数を計算す
るために、例えばサブグループＭ２＋が選定される。そ
れからニューロンＮ３ は、サブグループＭ２＋及びＭ
３−をそれぞれＭ４＋／Ｍ４−及びＭ５＋／Ｍ５−に分
割する。もし例えばＭ４−及びＭ５＋のみが非斉次なら
ば、後継ニューロンＮ４ が前と同様に動作し、それら
をＭ６＋／Ｍ６−及びＭ７＋／Ｍ７−に分離して斉次に
なるようにする。 その時この分類のタスクに対するニューロン・ネットワ
ークの学習は完成して、その他の標本にこの種のタスク
を行うための全動作モードで使用することができる。
とＭ１−とは共に非斉次と仮定する。シナプス係数を計
算することによって後継ニューロンＮ２ による学習を
遂行するために、サブグループの１つ、例えばＭ１＋が
選定されるのである。この学習が完了すると、ニューロ
ンＮ２ はそのシナプス係数を保持して、グループＭ１
＋及びＭ１−上での分割を行い、Ｍ１＋及びＭ１−はそ
れぞれＭ２＋／Ｍ２−及びＭ３＋／Ｍ３−に分離される
。Ｍ２−及びＭ３＋は斉次と仮定すると、該方法は残っ
た非斉次のサブグループＭ２＋及びＭ３−に対して続け
られる。後継ニューロンＮ３ のシナプス係数を計算す
るために、例えばサブグループＭ２＋が選定される。そ
れからニューロンＮ３ は、サブグループＭ２＋及びＭ
３−をそれぞれＭ４＋／Ｍ４−及びＭ５＋／Ｍ５−に分
割する。もし例えばＭ４−及びＭ５＋のみが非斉次なら
ば、後継ニューロンＮ４ が前と同様に動作し、それら
をＭ６＋／Ｍ６−及びＭ７＋／Ｍ７−に分離して斉次に
なるようにする。 その時この分類のタスクに対するニューロン・ネットワ
ークの学習は完成して、その他の標本にこの種のタスク
を行うための全動作モードで使用することができる。
【００４３】図３の右側の部分は、その縦の列Ｉに、ニ
ューロンのシナプス係数を計算するために同じ横の行に
置かれた該ニューロンにより使用される標本のグループ
が示される。また、縦の列ＩＩには、同じ横の行に置か
れたニューロンがその次に標本のサブグループの区分を
実行する標本のグループが示される。さらに、縦の列Ｉ
ＩＩ には、上記ニューロンの各々に対し斉次の標本の
サブグループが示され、これらはそのとき後継ニューロ
ンの行動の前に抜き出される。
ューロンのシナプス係数を計算するために同じ横の行に
置かれた該ニューロンにより使用される標本のグループ
が示される。また、縦の列ＩＩには、同じ横の行に置か
れたニューロンがその次に標本のサブグループの区分を
実行する標本のグループが示される。さらに、縦の列Ｉ
ＩＩ には、上記ニューロンの各々に対し斉次の標本の
サブグループが示され、これらはそのとき後継ニューロ
ンの行動の前に抜き出される。
【００４４】本発明によれば、ニューロンの指向すべき
分割は標本の分布の主要構成要素分析（ａ ｐｒｉｎｃ
ｉｐａｌ ｃｏｍｐｏｎｅｎｔｓ ａｎａｌｙｓｉｓ）
を使用することにある。該主要構成要素分析というの
は統計的な方法で、それはＮ個のベクトル外１
分割は標本の分布の主要構成要素分析（ａ ｐｒｉｎｃ
ｉｐａｌ ｃｏｍｐｏｎｅｎｔｓ ａｎａｌｙｓｉｓ）
を使用することにある。該主要構成要素分析というの
は統計的な方法で、それはＮ個のベクトル外１
【外１】
（ｄ次元空間の点）のグループが、ｄ個の主要方向とｄ
個の対応する分散σ２ を持つ平均ベクトル数１
個の対応する分散σ２ を持つ平均ベクトル数１
【数１
】 を援用して書き表すことを許すものである。この方法の
詳細は、１９８２年 Ｄｕｎｏｄ社発行のＥ．ＤＩＤＡ
Ｙ， Ｊ．ＬＥＭＡＩＲＥ， Ｊ．ＰＯＵＧＥＴ， Ｅ
．ＴＥＳＴＵ による”Ｅｌｅｍｅｎｔｓ ｄ’Ａｎａ
ｌｙｓｅ ｄｅＤｏｎｎｅｅｓ” という文献の第 １
６７頁に記載されている。
】 を援用して書き表すことを許すものである。この方法の
詳細は、１９８２年 Ｄｕｎｏｄ社発行のＥ．ＤＩＤＡ
Ｙ， Ｊ．ＬＥＭＡＩＲＥ， Ｊ．ＰＯＵＧＥＴ， Ｅ
．ＴＥＳＴＵ による”Ｅｌｅｍｅｎｔｓ ｄ’Ａｎａ
ｌｙｓｅ ｄｅＤｏｎｎｅｅｓ” という文献の第 １
６７頁に記載されている。
【００４５】図４Ａの単純な場合では、標準偏差比σ１
／σ２ がほぼ３に等しい２次元空間の分布４０が示さ
れている。この分布に対しては、平均外２
／σ２ がほぼ３に等しい２次元空間の分布４０が示さ
れている。この分布に対しては、平均外２
【外２】
及び特性方向Ｄ１，Ｄ２ に沿った主要構成要素外３
【
外３】 が定義されている。もし主要構成要素が減少する分散に
よって分類されるならば、第１の特性方向は外４
外３】 が定義されている。もし主要構成要素が減少する分散に
よって分類されるならば、第１の特性方向は外４
【外４
】 のノルムが標本μで最も変動する方向を示す。階級Ｃ１
，Ｃ２，… ，Ｃｋ に割り当てられた標本のグループ
があり、それに対してｋ階級の分類を進めるために線形
セパレータ（ニューロン）を適用することが望ましい時
には、次のようにしてｋ個の階級を２つの別々のグルー
プＧ＋／Ｇ− に分離することが好適である： ｉ） 外５
】 のノルムが標本μで最も変動する方向を示す。階級Ｃ１
，Ｃ２，… ，Ｃｋ に割り当てられた標本のグループ
があり、それに対してｋ階級の分類を進めるために線形
セパレータ（ニューロン）を適用することが望ましい時
には、次のようにしてｋ個の階級を２つの別々のグルー
プＧ＋／Ｇ− に分離することが好適である： ｉ） 外５
【外５】
例えば共分散行列を計算し対角化し、続いて最大分散を
選択することによる完全な主要構成要素分析を実行する
ことによって計算される、 ｉｉ） ΣＣ を階級がＣの標本の総和とし、ＮＣ を
階級Ｃ中の標本の数とするとき、各階級Ｃに対応する重
心が次式数２
選択することによる完全な主要構成要素分析を実行する
ことによって計算される、 ｉｉ） ΣＣ を階級がＣの標本の総和とし、ＮＣ を
階級Ｃ中の標本の数とするとき、各階級Ｃに対応する重
心が次式数２
【数２】
によって計算される、
ｉｉｉ） その重心が次の関係数３
【数３】
を満足する階級をＧ＋ とし、その他の階級をＧ− と
することによってグループ化が実行される。
することによってグループ化が実行される。
【００４６】主要構成要素分析の方法が、３つの階級を
持つ２次元の分布に対して、図４Ｂに示される。分布４
０は３つの階級Ｃ１，Ｃ２，Ｃ３ を持ち、これらの各
階級の平均値をそれぞれ＜ｙ＞１，＜ｙ＞２，＜ｙ＞３
、重心をそれぞれＨ１，Ｈ２，Ｈ３ とする。上記ｉ
） に従っての平均の計算及び最初の主要ベクトルの計
算によって、＜ｙ＞及び外６
持つ２次元の分布に対して、図４Ｂに示される。分布４
０は３つの階級Ｃ１，Ｃ２，Ｃ３ を持ち、これらの各
階級の平均値をそれぞれ＜ｙ＞１，＜ｙ＞２，＜ｙ＞３
、重心をそれぞれＨ１，Ｈ２，Ｈ３ とする。上記ｉ
） に従っての平均の計算及び最初の主要ベクトルの計
算によって、＜ｙ＞及び外６
【外６】
が決定される。上記ｉｉ） に従っての各階級に付随す
る重心の計算によって、Ｈ１，Ｈ２，Ｈ３ が決定され
る。上記 ｉｉｉ） に従っての階級のグループ化は、
セパレータ４１を援用して、３つの階級を２つの階級の
サブグループ上に分布させることを可能にする。
る重心の計算によって、Ｈ１，Ｈ２，Ｈ３ が決定され
る。上記 ｉｉｉ） に従っての階級のグループ化は、
セパレータ４１を援用して、３つの階級を２つの階級の
サブグループ上に分布させることを可能にする。
【００４７】この場合、２つの階級のサブグループへの
標本の分布は、該標本の分布の重心を通り主方向に垂直
な軸に関する分布を実行するもので、該重心は主要構成
要素分析による処理中に決定される。他の選択（例えば
階級の選択）に関するこの方法の本質的利点は、線形セ
パレータが更によくバランスするであろうこと、すなわ
ちそれは標本を、母集団がより僅かにしか異ならない２
つの部分集合に、分離するであろうことである。
標本の分布は、該標本の分布の重心を通り主方向に垂直
な軸に関する分布を実行するもので、該重心は主要構成
要素分析による処理中に決定される。他の選択（例えば
階級の選択）に関するこの方法の本質的利点は、線形セ
パレータが更によくバランスするであろうこと、すなわ
ちそれは標本を、母集団がより僅かにしか異ならない２
つの部分集合に、分離するであろうことである。
【００４８】所望の階級のサブグループへの可能な限り
最善のアプローチをなすべくニューロンがそのシナプス
係数を決定するために実行する学習は、 Ｊ．Ｐｈｙｓ
．Ａ ： Ｍａｔｈ．Ｇｅｎ．誌 ２２（１９８９年）
第２１９１−２２０３頁に所載の”Ｌｅａｒｎｉｎｇ
ｉｎ Ｆｅｅｄｆｏｒｗａｒｄ Ｌａｙｅｒｅｄｎｅ
ｔｗｏｒｋｓ：ｔｈｅ ｔｉｌｉｎｇ ａｌｇｏｒｉｔ
ｈｍ” という文献中で Ｍ．ＭＥＺＡＲＤ 及びＪ．
Ｐ．ＮＡＤＡＬ により用いられ、Ｐａｒｉｓ（１９８
６年） の ８ｔｈ Ｃｏｎｆ． ｏｎ Ｐａｔｔｅｒ
ｎ Ｒｅｃｏｇｎｉｔｉｏｎ におけるＩＥＥＥ ｐｒ
ｏｃ．に所載のＳ．ＧＡＬＡＮＴによる”Ｏｐｔｉｍａ
ｌ Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔｓ”とい
う文献に記載されているポケット・アルゴリズムにより
実行されるのを好適とする。
最善のアプローチをなすべくニューロンがそのシナプス
係数を決定するために実行する学習は、 Ｊ．Ｐｈｙｓ
．Ａ ： Ｍａｔｈ．Ｇｅｎ．誌 ２２（１９８９年）
第２１９１−２２０３頁に所載の”Ｌｅａｒｎｉｎｇ
ｉｎ Ｆｅｅｄｆｏｒｗａｒｄ Ｌａｙｅｒｅｄｎｅ
ｔｗｏｒｋｓ：ｔｈｅ ｔｉｌｉｎｇ ａｌｇｏｒｉｔ
ｈｍ” という文献中で Ｍ．ＭＥＺＡＲＤ 及びＪ．
Ｐ．ＮＡＤＡＬ により用いられ、Ｐａｒｉｓ（１９８
６年） の ８ｔｈ Ｃｏｎｆ． ｏｎ Ｐａｔｔｅｒ
ｎ Ｒｅｃｏｇｎｉｔｉｏｎ におけるＩＥＥＥ ｐｒ
ｏｃ．に所載のＳ．ＧＡＬＡＮＴによる”Ｏｐｔｉｍａ
ｌ Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔｓ”とい
う文献に記載されているポケット・アルゴリズムにより
実行されるのを好適とする。
【００４９】無作為に選ばれた各標本に対してこれをす
るために、ニューロンの出力ポテンシャルが計算される
。もしこのポテンシャルが安定性判定基準 Ｓ≧０ を
満足させるならば、別の標本が選ばれる。もしこのポテ
ンシャルが安定性判定基準を満足させない（Ｓ＜０）な
らば、新しいシナプス係数が計算され、その新しいシナ
プス係数はそれらが最小の誤り判定基準を満足させる時
に限り以前のシナプス係数を更新するために用いられる
。すべての標本が当面問題のニューロンのシナプス係数
を決定するのに用いられ、「ポケット」アルゴリズムは
非斉次の階級の二分法を行わせるために最適のシナプス
係数に向かって収束する。
るために、ニューロンの出力ポテンシャルが計算される
。もしこのポテンシャルが安定性判定基準 Ｓ≧０ を
満足させるならば、別の標本が選ばれる。もしこのポテ
ンシャルが安定性判定基準を満足させない（Ｓ＜０）な
らば、新しいシナプス係数が計算され、その新しいシナ
プス係数はそれらが最小の誤り判定基準を満足させる時
に限り以前のシナプス係数を更新するために用いられる
。すべての標本が当面問題のニューロンのシナプス係数
を決定するのに用いられ、「ポケット」アルゴリズムは
非斉次の階級の二分法を行わせるために最適のシナプス
係数に向かって収束する。
【００５０】このアルゴリズム（ｔｉｌｉｎｇ）は、進
行中の層のユニットにより表される符号（＋／−；１／
０）が忠実（ｆａｉｔｈｆｕｌ）となるまで、すなわち
２つの異なる階級の標本が当面問題の層の全体に亙って
同一の符号を持たなくなるまで、ニューロンを付加する
ことによって多層ニューラル・ネットワークを構築する
ために設計されたものである。各層は先行の層の標本に
基づいてこうして構築される。
行中の層のユニットにより表される符号（＋／−；１／
０）が忠実（ｆａｉｔｈｆｕｌ）となるまで、すなわち
２つの異なる階級の標本が当面問題の層の全体に亙って
同一の符号を持たなくなるまで、ニューロンを付加する
ことによって多層ニューラル・ネットワークを構築する
ために設計されたものである。各層は先行の層の標本に
基づいてこうして構築される。
【００５１】図５は、標本のグループの２つのグループ
への分離を行うポケット・アルゴリズムのフローチャー
トを示す。
への分離を行うポケット・アルゴリズムのフローチャー
トを示す。
【００５２】所与のニューロンに対してそのシナプス係
数Ｃｉｊは０で初期化される、また最大誤り判定基準Ｃ
ｒｍは非常に大きい値で初期化される （ステップ４０
０）。無作為標本ＥＸが採られ （ステップ４０２）、
それに対して安定値Ｓがｉを分析されるニューロンの指
標とし、ｊをそれに接続されるニューロン又は入力の指
標とし、外７
数Ｃｉｊは０で初期化される、また最大誤り判定基準Ｃ
ｒｍは非常に大きい値で初期化される （ステップ４０
０）。無作為標本ＥＸが採られ （ステップ４０２）、
それに対して安定値Ｓがｉを分析されるニューロンの指
標とし、ｊをそれに接続されるニューロン又は入力の指
標とし、外７
【外７】
をニューロンｉの入力に存在する標本μのｊ番目の構成
要素とする時数４
要素とする時数４
【数４】
によって決定される （ステップ４０４）。
【００５３】この安定値Ｓが検査される （ステップ４
０６）。もし正ならば安定性は十分で、他の標本が選ば
れる。もし安定値Ｓが負又は０ならば、シナプス係数Ｃ
’ ｉｊは次の式 Ｃ’ ｉｊ（新）＝Ｃ’ ｉｊ（旧）＋ｙｊにより決定
される （ステップ４０８）。
０６）。もし正ならば安定性は十分で、他の標本が選ば
れる。もし安定値Ｓが負又は０ならば、シナプス係数Ｃ
’ ｉｊは次の式 Ｃ’ ｉｊ（新）＝Ｃ’ ｉｊ（旧）＋ｙｊにより決定
される （ステップ４０８）。
【００５４】こうして決定された各新シナプス係数Ｃ’
ｉｊは、例えば安定性が間違った符号を持つ標本の数
を算定する誤り判定基準Ｃｒを満足させなければならな
い （ステップ４１０）。もしこの判定基準Ｃｒ が判
定基準の最大値Ｃｒｍよりも小さければ （ステップ４
１２）、決定されたシナプス係数Ｃ’ ｉｊは、以前に
記憶されていたシナプス係数Ｃｉｊを更新するのに使わ
れる（ステップ４１４）。
ｉｊは、例えば安定性が間違った符号を持つ標本の数
を算定する誤り判定基準Ｃｒを満足させなければならな
い （ステップ４１０）。もしこの判定基準Ｃｒ が判
定基準の最大値Ｃｒｍよりも小さければ （ステップ４
１２）、決定されたシナプス係数Ｃ’ ｉｊは、以前に
記憶されていたシナプス係数Ｃｉｊを更新するのに使わ
れる（ステップ４１４）。
【００５５】同様に、最大値Ｃｒｍも更新される。こう
してすべての標本が計算のため及びそれから恐らくはニ
ューロンｉのシナプス係数の更新のために逐次使われる
。 この学習の最後に、このニューロンｉによって行われた
分離が、所与のグループの標本に対して得られた結果
（２つの階級のグループ：＋／−；１／０）を算定する
ことにより、検査される。もし該分離が斉次な階級のグ
ループを供給しないならば、また別のニューロンが層に
付加され、ポケット・アルゴリズムが再び同じやり方で
用いられる。
してすべての標本が計算のため及びそれから恐らくはニ
ューロンｉのシナプス係数の更新のために逐次使われる
。 この学習の最後に、このニューロンｉによって行われた
分離が、所与のグループの標本に対して得られた結果
（２つの階級のグループ：＋／−；１／０）を算定する
ことにより、検査される。もし該分離が斉次な階級のグ
ループを供給しないならば、また別のニューロンが層に
付加され、ポケット・アルゴリズムが再び同じやり方で
用いられる。
【００５６】本発明はまた、該方法を実行する手段を具
えたニューラル・ネットワークにも関する。該ネットワ
ークは計算ユニットを有し、これは出力状態Ｖｉ を、
入力ポテンシャルＶｊ に基づき次式 Ｖｉ ＝ΣＣｉｊ・Ｖｊ によって算定する。但し茲でＣｉｊはニューロンｉを入
力ｊ（又はニューロンｊ）に接続するシナプス係数であ
る。そのために、各入力ベクトルのコンポネントは入力
端子に接続される。入力ベクトルＶｊ は該方法により
逐次入力端子に到達する。最初のニューロン（父ニュー
ロン）が創造される。それは入力端子に到達するすべて
の入力ベクトル・コンポネントを受け取る。もし最初の
ニューロンが階級を識別するのに十分でなければ、２番
目のニューロンが生成され、これもやはり入力端子に到
達するすべての入力ベクトル・コンポネントを受け取る
。 ニューラル・ネットの生成は、必要な総てのニューロン
に対して同じやり方で実現する。
えたニューラル・ネットワークにも関する。該ネットワ
ークは計算ユニットを有し、これは出力状態Ｖｉ を、
入力ポテンシャルＶｊ に基づき次式 Ｖｉ ＝ΣＣｉｊ・Ｖｊ によって算定する。但し茲でＣｉｊはニューロンｉを入
力ｊ（又はニューロンｊ）に接続するシナプス係数であ
る。そのために、各入力ベクトルのコンポネントは入力
端子に接続される。入力ベクトルＶｊ は該方法により
逐次入力端子に到達する。最初のニューロン（父ニュー
ロン）が創造される。それは入力端子に到達するすべて
の入力ベクトル・コンポネントを受け取る。もし最初の
ニューロンが階級を識別するのに十分でなければ、２番
目のニューロンが生成され、これもやはり入力端子に到
達するすべての入力ベクトル・コンポネントを受け取る
。 ニューラル・ネットの生成は、必要な総てのニューロン
に対して同じやり方で実現する。
【００５７】この計算ユニットは、当業者にとって既知
のメカニズムによって動作し、それは例えば上掲のＲ．
Ｐ．ＬＩＰＰＭＡＮＮの文献に記載されている。ホスト
・コンピュータがすべての動作を管理する。
のメカニズムによって動作し、それは例えば上掲のＲ．
Ｐ．ＬＩＰＰＭＡＮＮの文献に記載されている。ホスト
・コンピュータがすべての動作を管理する。
【００５８】層化されたニューラル・ネットワークは、
上述の方法で学習を実行したニューロンを持つ継起的な
層により形成することができる。それはまた、上述の方
法で得られてそのニューロンが入力空間でセパレータと
して行動する単一の層から形成されたニューラル・ネッ
トワークとすることもできる。その時、この層のニュー
ロンの出力の状態は、標本の階級を上記の層のニューロ
ンの２進状態（ｂｉｎａｒｙｓｔａｔｅｓ） の関数と
して記憶しているメモリにより、直接処理することがで
きる。
上述の方法で学習を実行したニューロンを持つ継起的な
層により形成することができる。それはまた、上述の方
法で得られてそのニューロンが入力空間でセパレータと
して行動する単一の層から形成されたニューラル・ネッ
トワークとすることもできる。その時、この層のニュー
ロンの出力の状態は、標本の階級を上記の層のニューロ
ンの２進状態（ｂｉｎａｒｙｓｔａｔｅｓ） の関数と
して記憶しているメモリにより、直接処理することがで
きる。
【図１】図１は、Ｋ個の階級に分けられた標本に基づく
セパレータの行動のモードの入力の空間中の表現を示す
図である。
セパレータの行動のモードの入力の空間中の表現を示す
図である。
【図２】図２は、階級の分離のメカニズム及び層化され
たニューラル・ネットワークの学習に関係する標本のサ
ブグループを示すフローチャートを示す図である。
たニューラル・ネットワークの学習に関係する標本のサ
ブグループを示すフローチャートを示す図である。
【図３】図３は、標本の分離の表現を示す図である。
【図４】図４Ａ及び図４Ｂは、分布の主要構成要素の表
現及び階級への分割の一例を示す図である。
現及び階級への分割の一例を示す図である。
【図５】図５は、操作される２つの階級のサブグループ
間の分離を許すポケット・アルゴリズムにより構成され
るアルゴリズムの一例を示す図である。
間の分離を許すポケット・アルゴリズムにより構成され
るアルゴリズムの一例を示す図である。
ＡＰ１，ＡＰ２，ＡＰ３ グループ又はサブグルー
プの主軸Ｎ１，Ｎ２，Ｎ３ 二分法を実行する単一ニ
ューロンＳＧ１，ＳＧ２，ＳＧ３ 標本のグループ
又はサブグループ４０ ２次元空間の分布 ４１ セパレータ
プの主軸Ｎ１，Ｎ２，Ｎ３ 二分法を実行する単一ニ
ューロンＳＧ１，ＳＧ２，ＳＧ３ 標本のグループ
又はサブグループ４０ ２次元空間の分布 ４１ セパレータ
Claims (5)
- 【請求項１】 階級別に分割される標本の分類を継起
的な二分法により実行するのに必要とされる継起的なニ
ューロンの追加によって、少なくとも１つの層が構築さ
れる学習段階を有するところの、層化されたニューラル
・ネットワーク中で遂行される分類方法において、少な
くとも１つの層を創造するために、２つより多い階級に
分割された標本のグループから出発して、各継起的なニ
ューロンは入力データを、当面問題の層のニューロンの
学習の対象となる上記入力データの分布の主要構成要素
分析に従って、該ニューロンに特有の予め定められた階
級のサブグループにより、識別することを指向して成る
ことを特徴とする分類方法。 - 【請求項２】 標本の非斉次のグループを分離するた
めに、学習は次のステップすなわち Ａ─標本の非斉次のグループの投入、 Ｂ─非斉次のグループの標本の主要構成要素分析に基づ
く２つの階級のサブグループへの分割、Ｃ─標本のグル
ープを、２つの階級のサブグループへの最初の分割に対
し可能な限り近くに接近する２つの標本のサブグループ
に区別することを指向するように、父ニューロンがその
シナプス係数を計算することによって行う学習、 Ｄ─２つの標本のサブグループが単一の標本の階級を含
んでいるか否かを判定するための、該２つの標本のサブ
グループの各々の斉次性の検査、 Ｅ─上記標本のサブグループからの、単一の非斉次サブ
グループの選出、 Ｆ─非斉次サブグループの標本の、主要構成要素分析に
基づく２つの階級のサブグループへの分割、Ｇ─選出さ
れた標本の非斉次サブグループを、２つの階級のサブグ
ループへの後続の分割に対し可能な限り近くに接近する
２つの標本のサブグループに区別することを指向するよ
うに、後続ニューロンがそのシナプス係数を計算するこ
とによって行う学習、 Ｈ─新しい標本のサブグループを生成するために、先行
ニューロンにより識別された標本の非斉次サブグループ
のすべてに対して執られる上記後続ニューロンの行動、
Ｉ─新しく生成された標本のサブグループの各々の斉次
性の検査、 Ｊ─標本の非斉次サブグループに属する標本の抽出、Ｋ
─残りの非斉次標本のサブグループに対する、単一の階
級で形成される斉次サブグループが得られるに至までの
、段階Ｅで始まる処理の続行、の各ステップを有するこ
とを特徴とする請求項１に記載の分類方法。 - 【請求項３】 シナプス係数の計算は、「ポケット」
アルゴリズムか、「パーセプトロン」型の学習規則か、
又は「ヘッブ」型の学習規則かのいずれかを実行するも
のであることを特徴とする請求項２に記載の分類方法。 - 【請求項４】 請求項１ないし３のうちのいずれか１
項に記載の方法を実行するための手段を有することを特
徴とする学習手段を具えたニューラル・ネットワーク。 - 【請求項５】 標本の階級を、最初の層のニューロン
の２進状態の関数として記憶するメモリを有することを
特徴とする請求項４に記載のニューラル・ネットワーク
。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FR9001528A FR2658336A1 (fr) | 1990-02-09 | 1990-02-09 | Procede d'apprentissage d'un reseau de neurones en couches pour classification multiclasses et reseau de neurones en couches. |
| FR9001528 | 1990-02-09 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH04213750A true JPH04213750A (ja) | 1992-08-04 |
Family
ID=9393540
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP3039043A Pending JPH04213750A (ja) | 1990-02-09 | 1991-02-12 | 層化されたニューラル・ネットワークでの分類方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5220618A (ja) |
| EP (1) | EP0446974A1 (ja) |
| JP (1) | JPH04213750A (ja) |
| FR (1) | FR2658336A1 (ja) |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5497253A (en) * | 1988-07-18 | 1996-03-05 | Northrop Grumman Corporation | Multi-layer opto-electronic neural network |
| KR930009066B1 (ko) * | 1990-08-18 | 1993-09-22 | 정호선 | 다층신경회로망 및 그 회로설계방법 |
| JP2727257B2 (ja) * | 1991-04-16 | 1998-03-11 | 富士写真フイルム株式会社 | ニューラルネットワークを用いた放射線画像処理方法 |
| DE4207595A1 (de) * | 1992-03-10 | 1993-09-16 | Siemens Ag | Verfahren zur vorklassifikation von hochdimensionalen merkmalsvektoren fuer zwecke der signalverarbeitung |
| US5371809A (en) * | 1992-03-30 | 1994-12-06 | Desieno; Duane D. | Neural network for improved classification of patterns which adds a best performing trial branch node to the network |
| DE69329218T2 (de) * | 1992-06-19 | 2001-04-05 | United Parcel Service Of America, Inc. | Verfahren und Vorrichtung zur Eingabeklassifizierung mit einem neuronalen Netzwerk |
| EP0582885A3 (en) * | 1992-08-05 | 1997-07-02 | Siemens Ag | Procedure to classify field patterns |
| DE69330021T2 (de) * | 1992-12-18 | 2001-10-31 | Raytheon Co., El Segundo | Verbessertes System zur Mustererkennung für Sonar und andere Anwendungen |
| DE19509186A1 (de) * | 1995-03-14 | 1996-09-19 | Siemens Ag | Einrichtung zum Entwurf eines neuronalen Netzes sowie neuronales Netz |
| US5790758A (en) * | 1995-07-07 | 1998-08-04 | The United States Of America As Represented By The Secretary Of The Navy | Neural network architecture for gaussian components of a mixture density function |
| DE19649618A1 (de) * | 1996-11-29 | 1998-06-04 | Alsthom Cge Alcatel | Verfahren und Vorrichtung zur automatischen Klassifikation von Objekten |
| DE19649563A1 (de) * | 1996-11-29 | 1998-06-04 | Alsthom Cge Alcatel | Vorrichtung und Verfahren zur automatischen Klassifikation von Objekten |
| CN109948742B (zh) * | 2019-03-25 | 2022-12-02 | 西安电子科技大学 | 基于量子神经网络的手写体图片分类方法 |
| US12256179B2 (en) | 2022-11-14 | 2025-03-18 | Samsung Electronics Co., Ltd. | Color reconstruction using homogeneous neural network |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS60262290A (ja) * | 1984-06-08 | 1985-12-25 | Hitachi Ltd | 情報認識システム |
| JP2940933B2 (ja) * | 1989-05-20 | 1999-08-25 | 株式会社リコー | パターン認識方式 |
-
1990
- 1990-02-09 FR FR9001528A patent/FR2658336A1/fr not_active Withdrawn
-
1991
- 1991-02-06 EP EP91200248A patent/EP0446974A1/fr not_active Withdrawn
- 1991-02-08 US US07/653,592 patent/US5220618A/en not_active Expired - Fee Related
- 1991-02-12 JP JP3039043A patent/JPH04213750A/ja active Pending
Also Published As
| Publication number | Publication date |
|---|---|
| FR2658336A1 (fr) | 1991-08-16 |
| EP0446974A1 (fr) | 1991-09-18 |
| US5220618A (en) | 1993-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3088766B2 (ja) | ハイアラーキー ニューラル ネットワークに用いる分類方法及びネットワーク | |
| Baldominos et al. | Evolutionary convolutional neural networks: An application to handwriting recognition | |
| Woodward et al. | Active one-shot learning | |
| EP0724750B1 (en) | Method for unsupervised neural network classification with back propagation | |
| CN112288086A (zh) | 一种神经网络的训练方法、装置以及计算机设备 | |
| JPH04213750A (ja) | 層化されたニューラル・ネットワークでの分類方法 | |
| EP0465489A1 (en) | GENETIC SYNTHESIS OF NEURONAL NETWORKS. | |
| CN113627471A (zh) | 一种数据分类方法、系统、设备及信息数据处理终端 | |
| CN114503122A (zh) | 深度神经网络的结构学习和简化方法 | |
| CN117765334A (zh) | 基于深度二值神经网络模型的图像分类方法、系统、设备及介质 | |
| CN118052999A (zh) | 一种多任务大模型的训练方法及装置 | |
| Singh et al. | Two phase learning technique in modular neural network for pattern classification of handwritten Hindi alphabets | |
| KR102788433B1 (ko) | 심층 신경망 구조 학습 및 경량화 방법 | |
| JP3169635B2 (ja) | ニューラルネットワーク及びその学習方法 | |
| Babatunde et al. | Comparative analysis of genetic algorithm and particle swam optimization: An application in precision agriculture | |
| CN113470740A (zh) | 基于全连接网络集成深度学习模型的药物推荐系统、计算机设备、存储介质 | |
| CN117274692A (zh) | 一种基于新遗传编程结构及基因修饰的图像分类方法 | |
| Goswami | Deep learning–a state-of-the-art approach to artificial intelligence | |
| Chen et al. | Static correlative filter based convolutional neural network for visual question answering | |
| Shiri et al. | DeepCaps+: A Light Variant of DeepCaps. | |
| JPH08263660A (ja) | 信号認識方法、信号認識装置、信号認識装置の学習方法及び信号認識装置の学習装置 | |
| Njah et al. | A Constrained Multi-Objective Learning Algorithm for Feed-Forward Neural Network Classifiers | |
| Lis | The synthesis of the ranked neural networks applying genetic algorithm with the dynamic probability of mutation | |
| Nishida et al. | An online learning algorithm with dimension selection using minimal hyper basis function networks | |
| Brady | Neural networks: an overview |