JPH0423088A - ニューラルネットワークの前処理装置 - Google Patents
ニューラルネットワークの前処理装置Info
- Publication number
- JPH0423088A JPH0423088A JP2127701A JP12770190A JPH0423088A JP H0423088 A JPH0423088 A JP H0423088A JP 2127701 A JP2127701 A JP 2127701A JP 12770190 A JP12770190 A JP 12770190A JP H0423088 A JPH0423088 A JP H0423088A
- Authority
- JP
- Japan
- Prior art keywords
- category
- vector
- value
- input
- variance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
この発明は、ニューラルネットワークの識別能力を高め
るために入力ベクトルに前処理を施すニューラルネット
ワークの前処理装置に関する。
るために入力ベクトルに前処理を施すニューラルネット
ワークの前処理装置に関する。
従来、パターン情報が属するカテゴリの識別に用いられ
るニューラルネットワークの一つとしてコホーネン型ニ
ューラルネットワークがある。そして、そのコホーネン
型ニューラルネットワークの代表的な学習方法としては
学習ベクトル量子化２（ＬＶＱ２）がある。 第４図は上記コホーネン型ニューラルネットワークの概
念図である。このコホーネン型ニューラルネットワーク
の構造は、出力層Ｉを構成する総ての出力ノード３，３
．・・・の夫々が、入力層２を構成するＩ。個の入力ノ
ード４．・・、４に対して結合されに構造なっている。 出力ノート３．３．・・・は複数個毎に識別対象物のカ
テゴリのいずれかに割り付けられている。出力ノート３
は、この出力ノード３が割り付けられたカテゴリの番号
ｊとそのカテゴリ内に含まれる複数の出力ノード３，３
．・・・の番号にとで表すことにする。例えば、出力ノ
ード３ｊｋはｊ番目のカテゴリに割り付けられたに番目
の出力ノードを表す。 上記Ｉ。個の入力ノード４．・・・、４には例えば音声
信号や画像信号等のパターンの特徴量を表すＩｏ次元の
入力ベクトルＩの各要素値Ｉｉが人力される。そうする
と、入力ベクトル■とウェイトベクトルＷとに基づいて
、後に詳述するようなアルゴリズムに従って出力値Ｏが
各結合毎に算出され、この算出された出力値Ｏが各出力
ノード３から出力される。その結果、最大値を出力して
いる出力ノード３が割り付けられているカテゴリを、入
力ベクトル■が属するカテゴリであると識別するのであ
る。ここで、上記ウェイトベクトルＷは出力ノード３と
入力ノート４．・・、４との結合に付加されて設けられ
ており、出力ノート３ｊｋに対応するウェイトベクトル
は“Ｗｊｋ”と表し、そのウェイトベクトルＷｊｋにお
ける入力ベクトル■の要素値Ｉｉに対応する各要素値を
Ｗｉｊｋと表すことにする。 上記コホーネン型ニューラル・ネットワークの出力値算
出アルゴリズムは次のようなアルゴリズムである。 ウェイトベクトルＷの初期値の設定方法は種々あるが、
以下に述べる各実施例においては入力ベクトルＩの値を
そのままウェイトベクトルＷの初期値とする。そうする
と、入力ノード４．４．・に入力ベクトル■が入力され
た場合における出力ノード３ｊｋからの出力値Ｏｊｋは
式（１）によって求められる。 ｔ。 ０ｊｋ＝ Σ Ｗｉｊｌ”ｌｉ ・・・（＋）ｉ
：１ ここで、Ｏｊｋ： ｊ番目のカテゴリに割り付けられた
に番目の出力ノートからの 出力値 １ｉ：ｉ＃目の入力ノードに人力され る入力ベクトルＩの要素値 Ｗｉｊｋ： ｊ番目の入力ノードと出力ノードＩｊｋと
の結合に付加された結 合の重み この場合、出力値ＯｊｋはウェイトベクトルＷ３にと入
力ベクトルＩとの類似度の一種であると見なすことがで
きる。 上記コホーネン型ニューラルネットワークにおけるＬＶ
Ｑ２による学習は、学習パターンを表す入力ベクトル■
を入力した際に最大値を出力している出力ノードが、入
力ベクトルＩが属するカテゴリと異なるカテゴリに割り
付けられた出力ノード（以下、誤った出力ノードと言う
）であり、がっ、２番目に大きな値を出力している出力
ノードが、入力ベクトル１が属するカテゴリと同じカテ
ゴリに割り付けられた出力ノード（以下、正しい出力ノ
ートと言う）である場合に実施さイーろ学習てゐる。こ
のＬＶＱ２による学習のアルゴリズム：ｉ（２）式によ
ってウェイトベクトルＷの値を更新することによって行
イつわる。 入力へクトルＩを入力しｆ５際の出ツノノート３３、−
からの出力値の一′Ｉら、最大出力値をＯｊｌにとし、
２番目に大きな出力値をＯＪ２に２としにときに、 ｊ１≠入力／＼クトルＩが属するカテゴリの番号かっ、 ｊ２−人力ベクトル■か属するカテゴリの番号ならば、
ライエイトベクトルＶ１’Ｊ＋に＋、Ｗｊ、に、の各要
素値（以下、単にウェイトと言う）ＷＢＩｋｌＪＩｊＪ
ｔの値を、夫々（２）式のように更新する。 ここで、Ｗｉｊｌに＋：最大値を出力している誤っ１こ
出力ノートに対するウェイト ＷＩＪ２に２２番目に大きな値を出力している正しい出
力ノードに対す るウェイト Ｉｉ 入力ベクトルの要素値 に：定数 すなわち、Ｌ Ｖ Ｑ ２による学習は、最大値を出力
している出力ノートか誤っん出力ノートであり、かつ、
２番目に大きな値を出力している出力ノードか正しい出
力ノードである場合に、上記最大値を出力している誤っ
Ｌ出力ノード３ｊ＋ｋＩに対応するウェイトベクトルＷ
ｊ 、 ｋ 、のウェイトＷｉｊ＋に＋の値を（ＩＩ
ＷＢ＋Ｌ）のに倍だけ入力ベクトルＩの要素値１ｉ
から遠ざけ、２番目に大きな値を出力している正しい出
力ノードＩｊ２に、に対応するウェイトベクトルＷｊ、
に、のウェイトＷｉｊ２に２の値を（Ｉｉ ＷｉＪＪ
ｔ）のに倍だけ入力ベクトルＩの要素値ｒｉに近付ける
のである。 こうすることによって、やがて、２番目に大きな値を出
力している正しい出力ノードからの出力値が最大値とな
り、こうして学習されたニューラルネットワークによっ
て入力ベクトル■の属するカテゴリを正しく識別できる
ようになるのである。
るニューラルネットワークの一つとしてコホーネン型ニ
ューラルネットワークがある。そして、そのコホーネン
型ニューラルネットワークの代表的な学習方法としては
学習ベクトル量子化２（ＬＶＱ２）がある。 第４図は上記コホーネン型ニューラルネットワークの概
念図である。このコホーネン型ニューラルネットワーク
の構造は、出力層Ｉを構成する総ての出力ノード３，３
．・・・の夫々が、入力層２を構成するＩ。個の入力ノ
ード４．・・、４に対して結合されに構造なっている。 出力ノート３．３．・・・は複数個毎に識別対象物のカ
テゴリのいずれかに割り付けられている。出力ノート３
は、この出力ノード３が割り付けられたカテゴリの番号
ｊとそのカテゴリ内に含まれる複数の出力ノード３，３
．・・・の番号にとで表すことにする。例えば、出力ノ
ード３ｊｋはｊ番目のカテゴリに割り付けられたに番目
の出力ノードを表す。 上記Ｉ。個の入力ノード４．・・・、４には例えば音声
信号や画像信号等のパターンの特徴量を表すＩｏ次元の
入力ベクトルＩの各要素値Ｉｉが人力される。そうする
と、入力ベクトル■とウェイトベクトルＷとに基づいて
、後に詳述するようなアルゴリズムに従って出力値Ｏが
各結合毎に算出され、この算出された出力値Ｏが各出力
ノード３から出力される。その結果、最大値を出力して
いる出力ノード３が割り付けられているカテゴリを、入
力ベクトル■が属するカテゴリであると識別するのであ
る。ここで、上記ウェイトベクトルＷは出力ノード３と
入力ノート４．・・、４との結合に付加されて設けられ
ており、出力ノート３ｊｋに対応するウェイトベクトル
は“Ｗｊｋ”と表し、そのウェイトベクトルＷｊｋにお
ける入力ベクトル■の要素値Ｉｉに対応する各要素値を
Ｗｉｊｋと表すことにする。 上記コホーネン型ニューラル・ネットワークの出力値算
出アルゴリズムは次のようなアルゴリズムである。 ウェイトベクトルＷの初期値の設定方法は種々あるが、
以下に述べる各実施例においては入力ベクトルＩの値を
そのままウェイトベクトルＷの初期値とする。そうする
と、入力ノード４．４．・に入力ベクトル■が入力され
た場合における出力ノード３ｊｋからの出力値Ｏｊｋは
式（１）によって求められる。 ｔ。 ０ｊｋ＝ Σ Ｗｉｊｌ”ｌｉ ・・・（＋）ｉ
：１ ここで、Ｏｊｋ： ｊ番目のカテゴリに割り付けられた
に番目の出力ノートからの 出力値 １ｉ：ｉ＃目の入力ノードに人力され る入力ベクトルＩの要素値 Ｗｉｊｋ： ｊ番目の入力ノードと出力ノードＩｊｋと
の結合に付加された結 合の重み この場合、出力値ＯｊｋはウェイトベクトルＷ３にと入
力ベクトルＩとの類似度の一種であると見なすことがで
きる。 上記コホーネン型ニューラルネットワークにおけるＬＶ
Ｑ２による学習は、学習パターンを表す入力ベクトル■
を入力した際に最大値を出力している出力ノードが、入
力ベクトルＩが属するカテゴリと異なるカテゴリに割り
付けられた出力ノード（以下、誤った出力ノードと言う
）であり、がっ、２番目に大きな値を出力している出力
ノードが、入力ベクトル１が属するカテゴリと同じカテ
ゴリに割り付けられた出力ノード（以下、正しい出力ノ
ートと言う）である場合に実施さイーろ学習てゐる。こ
のＬＶＱ２による学習のアルゴリズム：ｉ（２）式によ
ってウェイトベクトルＷの値を更新することによって行
イつわる。 入力へクトルＩを入力しｆ５際の出ツノノート３３、−
からの出力値の一′Ｉら、最大出力値をＯｊｌにとし、
２番目に大きな出力値をＯＪ２に２としにときに、 ｊ１≠入力／＼クトルＩが属するカテゴリの番号かっ、 ｊ２−人力ベクトル■か属するカテゴリの番号ならば、
ライエイトベクトルＶ１’Ｊ＋に＋、Ｗｊ、に、の各要
素値（以下、単にウェイトと言う）ＷＢＩｋｌＪＩｊＪ
ｔの値を、夫々（２）式のように更新する。 ここで、Ｗｉｊｌに＋：最大値を出力している誤っ１こ
出力ノートに対するウェイト ＷＩＪ２に２２番目に大きな値を出力している正しい出
力ノードに対す るウェイト Ｉｉ 入力ベクトルの要素値 に：定数 すなわち、Ｌ Ｖ Ｑ ２による学習は、最大値を出力
している出力ノートか誤っん出力ノートであり、かつ、
２番目に大きな値を出力している出力ノードか正しい出
力ノードである場合に、上記最大値を出力している誤っ
Ｌ出力ノード３ｊ＋ｋＩに対応するウェイトベクトルＷ
ｊ 、 ｋ 、のウェイトＷｉｊ＋に＋の値を（ＩＩ
ＷＢ＋Ｌ）のに倍だけ入力ベクトルＩの要素値１ｉ
から遠ざけ、２番目に大きな値を出力している正しい出
力ノードＩｊ２に、に対応するウェイトベクトルＷｊ、
に、のウェイトＷｉｊ２に２の値を（Ｉｉ ＷｉＪＪ
ｔ）のに倍だけ入力ベクトルＩの要素値ｒｉに近付ける
のである。 こうすることによって、やがて、２番目に大きな値を出
力している正しい出力ノードからの出力値が最大値とな
り、こうして学習されたニューラルネットワークによっ
て入力ベクトル■の属するカテゴリを正しく識別できる
ようになるのである。
しかしながら、上記Ｌ Ｖ Ｑ ２によって正しく識別
できるように学習されたコホーネン型ニューラルネット
ワークであっても、カテゴリ空間におけるカテゴリ識別
境界付近に在るような入力ベクトルか属するカテゴリを
識別する際に、正しい識別結果が得られない場合がめる
という問題がある。 そこで、この発明の目的は、ニューラルネットワークに
入力される入力ベクトルに予め前処理を施すことによっ
て、ニューラルネットワークの識別能力を向上さ什るニ
ューラルネットワークの前処理装置を提供することにあ
る。
できるように学習されたコホーネン型ニューラルネット
ワークであっても、カテゴリ空間におけるカテゴリ識別
境界付近に在るような入力ベクトルか属するカテゴリを
識別する際に、正しい識別結果が得られない場合がめる
という問題がある。 そこで、この発明の目的は、ニューラルネットワークに
入力される入力ベクトルに予め前処理を施すことによっ
て、ニューラルネットワークの識別能力を向上さ什るニ
ューラルネットワークの前処理装置を提供することにあ
る。
上記目的を達成するため、この発明は、学習ベクトルと
その学習ベクトルが属するカテゴリとを同時に呈示して
学習を行なうニューラルネットワークにおいて、属する
カテゴリか既知の複数のサンプルベクトルおよびそのサ
ンプルベクトルが属するカテゴリを表すカテゴリデータ
が入力されて、上記複数のサンプルベクトルにおける各
対応する要素値のカテゴリ内分散およびカテゴリ間分散
を算出する分散算出部と、上記分散算出部によって算出
された上記複数のサンプルベクトルにおｊする対応する
要素値のカテゴリ内分散の値とカテゴリ間分散の値とに
基づいて、上記カテゴリ内分散の値に対するカテゴリ間
分散の値の比を上記要素値毎に算出してその算出値に基
づく値を要素値とする入力重みベクトルを生成する比算
出部と、上記ニューラルネットワークの学習あるいは上
記ニューラルネットワークによる識別に際して、ニュー
ラルネットワークに入力される学習ベクトルあるいは識
別対象ベクトルと上記比算出部によって生成された上記
入力重みベクトルとの積ベクトルを算出し、得られた積
ベクトルを上記ニューラルネットワークに入力する乗算
器を備え１こことを特徴としている。
その学習ベクトルが属するカテゴリとを同時に呈示して
学習を行なうニューラルネットワークにおいて、属する
カテゴリか既知の複数のサンプルベクトルおよびそのサ
ンプルベクトルが属するカテゴリを表すカテゴリデータ
が入力されて、上記複数のサンプルベクトルにおける各
対応する要素値のカテゴリ内分散およびカテゴリ間分散
を算出する分散算出部と、上記分散算出部によって算出
された上記複数のサンプルベクトルにおｊする対応する
要素値のカテゴリ内分散の値とカテゴリ間分散の値とに
基づいて、上記カテゴリ内分散の値に対するカテゴリ間
分散の値の比を上記要素値毎に算出してその算出値に基
づく値を要素値とする入力重みベクトルを生成する比算
出部と、上記ニューラルネットワークの学習あるいは上
記ニューラルネットワークによる識別に際して、ニュー
ラルネットワークに入力される学習ベクトルあるいは識
別対象ベクトルと上記比算出部によって生成された上記
入力重みベクトルとの積ベクトルを算出し、得られた積
ベクトルを上記ニューラルネットワークに入力する乗算
器を備え１こことを特徴としている。
属するカテゴリが既知の複数のサンプルベクトルおよび
そのサンプルベクトルが属するカテゴリを表すカテゴリ
データが分散算出部に入力されると、この分散算出部に
よって、上記複数のサンプルベクトルにお；する各対応
する要素値のカテゴリ内分数およびカテゴリ間分散か算
出される。そうすると、この分散算出部によって算出さ
れｆコ上記複数のサンプルベクトルにおける各対応する
要素値のカテゴリ内分散の値に対するカテゴリ間分散の
値の比が比算出部によって上記要素値毎に算出され、そ
の算出値に基づく値を要素値とする入力重みベクトルか
生成される。 そして、上記ニューラルネットワークの学Ｍあるいは上
記ニューラルネットワークによる識別に際しては、上記
ニューラルネットワークに人力される学習ベクトルある
いは識別対象ベクトルと上記比算出部によって生成され
た上記入力重みベクトルとの積ベクトルか乗算器によっ
て算出され、得られた積ベクトルが上記ニューラルネッ
トワークに入力される。 したかって、学習や識別に際して上記ニューラルネット
ワークに入力される学どベクトルあるいは識別対象ベク
トルにおいては、カテゴリ内分散に比較してカテゴリ間
分散の大きい要素値におけるカテゴリ間分散の値か更に
拡大される。そして、このカテゴリ間分散の値が更に拡
大された要素値から成る学習ベクトルあるいは識別対象
ベクトルに基づいて学習あるいは識別が実行されて、よ
り正しく識別できるニューラルネットワークの構築、あ
るいは、学旨済みのニューラルネットワークによる正し
い識別が実施される。
そのサンプルベクトルが属するカテゴリを表すカテゴリ
データが分散算出部に入力されると、この分散算出部に
よって、上記複数のサンプルベクトルにお；する各対応
する要素値のカテゴリ内分数およびカテゴリ間分散か算
出される。そうすると、この分散算出部によって算出さ
れｆコ上記複数のサンプルベクトルにおける各対応する
要素値のカテゴリ内分散の値に対するカテゴリ間分散の
値の比が比算出部によって上記要素値毎に算出され、そ
の算出値に基づく値を要素値とする入力重みベクトルか
生成される。 そして、上記ニューラルネットワークの学Ｍあるいは上
記ニューラルネットワークによる識別に際しては、上記
ニューラルネットワークに人力される学習ベクトルある
いは識別対象ベクトルと上記比算出部によって生成され
た上記入力重みベクトルとの積ベクトルか乗算器によっ
て算出され、得られた積ベクトルが上記ニューラルネッ
トワークに入力される。 したかって、学習や識別に際して上記ニューラルネット
ワークに入力される学どベクトルあるいは識別対象ベク
トルにおいては、カテゴリ内分散に比較してカテゴリ間
分散の大きい要素値におけるカテゴリ間分散の値か更に
拡大される。そして、このカテゴリ間分散の値が更に拡
大された要素値から成る学習ベクトルあるいは識別対象
ベクトルに基づいて学習あるいは識別が実行されて、よ
り正しく識別できるニューラルネットワークの構築、あ
るいは、学旨済みのニューラルネットワークによる正し
い識別が実施される。
以下、この発明を図示の実施例により詳細に説明する。
上述のように、第４図に示すコホーネン型ニューラルネ
ットワークにおける出力ノード３ｊｋからの出力値Ｏｊ
ｋは、ウェイトベクトルＷｊｋと入力ベクトルＩとの類
似度の一種であると見なすことかできる。一方、このよ
うな類似度を表すものとしてユークリッド距離がある。 ウェイトベクトルＷｊｋと人力ベクトルＩとのユークリ
ッド距ＭＤｊｋはさらに、このユークリッド距離に重み
付けを行なうことによって、ユークリッド距離より乙高
い人力ベクトルＩのパターン識別能力を得る二とかでき
る重み付きユークリッド距離かめる。ウェイトベクトル
Ｗｊｋと入力ベクトル■との重み付きユークリッド距離
ＦＤｊｋは（４）式のように表される。 ｉ。 ＦＤｊｋ−Σ Ｆｉ・（Ｉｉ−Ｗｉｊｋ）２ ・・・
（４）１：１ 但し、Ｆｉ：（入力ベクトル１の要素値Ｉｉのカテゴリ
間分散）、／（入力ベクトルＴ の要素値１ｉのカテゴリ内分散） ここで、Ｆｉの値は、複数の入力ベクトル■の要素値Ｉ
ｉにおける入力ベクトルが属しているカテゴリ毎の分布
曲線間の距離を表している。つまり、Ｆｉの値が大きい
場合には、例えばある２つのカテゴリに属する複数の入
力ベクトル群における夫々の入力ベクトルＩが属するカ
テゴリは、入力ベクトル■の要素値Ｉｉの値に基づいて
識別することが可能である。したがって、その場合には
入力ベクトルＩのｄ素値１１と対応するウェイトＷｉｊ
ｋとの距離をＦｉの値に応じて遠ざけることによって、
入力ベクトルＩか属するカテゴリの識別を更に容易にす
るのである。 二の発明は、上述のような重み付けによるユークリッド
距離の改良方法を、ニューラルネットワークの学習やニ
ューラルネットワークによる識別に応用することによっ
て、ニューラルネットワークのパターン識別能力をより
高めるものである。 第１図はこの発明のニューラルネットワークの前処理装
置を用いて、ニューラルネットワークに入力ベクトルを
入力している状態を示すブロック図である。本実施例に
おいて用いるニューラルネットワークはコホーネン型ニ
ューラルネットワークである。第１図においては、入力
ベクトルＩの要素値■ｉに係るコ示−ネン型ニューラル
ネットワークの構成部分で他の構成部分を代表して表現
している。こうして、各層内の各ノード、各ノード間の
結合、結合の重みＷｉｊｋ、入力ベクトルおよび出力値
を簡略化して表現しているのである。 以下、第１図および第４図に従って、本実施例詳細に説
明するっ本実施例において第４図に示すコホーネン型ニ
ューラルネットワークの入力層２に人力さシーる人力ベ
クトル（よ、前処理部としての入力重み決定部１２にお
いで決定され几入力重みベクトルＦを上記入力ベクトル
■に乗し几ベクトルてめろ。 上記入力重み決定部１２は、属するカテゴリか既知のＮ
個のサンプルベクトルＳとこのＮ個のサンプルベクトル
Ｓの夫々か属するカテゴリを表すＮ個のカテゴリデータ
Ｄとに基ついて、後に詳述するようにして上記入力重み
ベクトルＦを生成する。上記サンプルベクトルＳは上記
ニューラルネットワークによって識別しようとするパタ
ーンを代表するようなベクトルである。したがって、ニ
ューラルネットワークの学習の際に用いる学習ベクトル
をサンプルベクトルＳとして利用し、教師データをカテ
ゴリデータＤとして利用してもよい。 上記ニューラルネットワークに対する学Ｅや上記ニュー
ラルネットワークによる評価が開始されての入力ベクト
ルＩの要素値■ｉが乗算器ＩＩに入力さイーる。そうす
ると、乗算器１１は上記要素値Ｉｉと入力重み決定部１
２からの入力重みベクトルＦの対応する要素値Ｆｉとを
乗じ、得らｒ、、几値（Ｉｉ４ｉ）を上記ニューラルネ
ットワークにおけろ入力層２を構成するｉ番目の入力ノ
ート４に入力する。以下同様にして、入力ベクトル■の
他の要素値に対してら入力重みベクトルＦの対応する要
素値が乗じられて、入力層２を構成する他の入力ノート
に入力される。 そして、入力層２の各入力ノート４．・・、４に入力さ
れた入力ベクトルＩと入力重みベクトルＦとの積ベクト
ル（Ｉ ＸＦ）の要素値（Ｉ ｉ−Ｆ ｉＸ１≦ｉ≦Ｉ
、）と、各人力ノード４．・・、４と出力ノードＯｊｋ
との各結合に付加されたウェイトＷｉｊｋ（１≦ｉ≦Ｌ
）とに基ついて、上記（＋）式に従って出力値Ｑｊｋが
算出されて出力ノード３ｊｋから出力される。 こうして、総てのカテゴリｊ内における総ての番号にの
出力ノード３において出力値Ｏｊｋｃ Ｉ≦ｊ≦Ｊ Ｊ
：カテゴリ数、１≦に≦ＫＫ、カテゴリ内ノド数）か算
出されて出力される。そうすると、上述のようにして算
出されｆ５総での出力値Ｏｊｋに基ついて、学習の際に
おけろウェイト＼〜’ｉｊｋの更新や評価時におけるカ
テゴリの判定か行われるのである。 このようにして、入力層２に人力される人力ベクトルの
要素値に予め重み付けを行なうような前処理を実施する
ことによって、後に詳述するように人力ベクトル■が属
するカテゴリの識別に有効な入力ベクトルＩの要素値Ｉ
ｉを強調して、識別能力を高めるようにするのである。 第２図は上記入力重み決定部Ｉ２の更に詳細なブロック
図である。この入力重み決定部１２は、分散算出部１４
とＦ比算出部１５とから構成されている。上記分散算出
部１４は、入力されるＮ個のサンプルベクトルＳとこの
サンプルベクトルＳが属するカテゴリを表すカテゴリデ
ータＤとから、Ｎ個のサンプルベクトルＳにおけるＮ個
の要素値Ｓｉのカテゴリ間分散とカテゴリ内分散とを算
出する。また、上記Ｆ比算出部１５は、分散算出部Ｊ４
から入力される１番目の要素値に係るカテゴリ間分散の
値Ａｉとカテゴリ内分散の値Ｂｉとに基ついて、ｉ番目
の要素値に係るカテゴリ間分散の値Ａｉをカテゴリ内分
散の値Ｂｉで除し几値Ｆｉｏを求め、このＦｉｏ値を所
定の条件式で変換しＬ値Ｆ１を算出する。 上記変換は、例えば次のような変換である。 Ｆ １＝ｓｑ（Ｆ １ｏ）＝ に こで、５ｑ（ｘ）： ｘの平方根を求める開数Ｃ：定数 こうして、入力ベクトルＩの要素値１ｉに乗じられる入
力重みベクトルＦの要素値Ｆ１か得られるのである。 第３図は上記分散算出部Ｉ４によって実施される入力ベ
クトル■のｉ番目の要素値■ｉに係る分散算出動作のフ
ローチャートである。以下、第３図に従って分散算出動
作について詳細に説明する。 なお、説明を簡単にするために、識別対象となるカテゴ
リはカテゴリ番号１０＝１）とカテゴリ番号２（ｊ＝２
）の２つであるとする。 ここで、 Ｒ（ｊ） ｃ（ｊ） Ｓｉ（ｎ）・ Ｄ（ｎ）： Ｍｉ（ｊ）、 Ｖ ａ（Ｄ ： ｖ ｂ（ｊ）： ｊ番目のカテゴリに属する総てのサン プルベクトルの１番目の要素値り累積 値 ｊ番目のカテゴリに属する総てのサン プルベクトルの１番目の要素値、）数 ｎ番目のサンプルベクトルにお：する１番目の要素値 ｎ番目のサンプルベクトルに係るカテ ゴリデータ （カテゴリ番号ｌあるいはカテゴリ番 号２を表すデータ） サンプルベクトル総数 ｊ番目のカテゴリに属する総てのサン プルベクトルにおける１番目の要素値 の平均値 ｉ番目の要素値のカテゴリＪにおける カテゴリ間偏差の二乗の累積値 ｉ番目の要素値のカテゴリｊにおける カテゴリ内偏差の二乗の累積値 Ａｉ 総でのサンプルベクトルにおける１番目の要素
値に係るカテゴリ間分散 Ｂｉ 総てのサンプルベクトルにおけるｉ番目の要素
値に係るカテゴリ内分散 とする。 ステップＳ１て、ｊ番目のカテゴリに属するサンプルベ
クトルの１番目の要素値の累積値Ｒ（Ｄおよびｊ番目の
カテゴリに属するサンプルベクトルのｉ番目の要素値の
数Ｃ（」）の初期値が以下のように設定される。 Ｒ（１）＝０、Ｒ（２）−〇 ｃ（１）＝Ｏ１ｃ（２）＝０ ステップＳ２で、サンプルベクトルの番号ｎが初期値“
ビに設定される。 ステップＳ３て、′ｎ”番目のサンプルベクトルにおけ
る“ｉ”番目の要素値５ｉ（ｎ）、および、“ｎ′番目
のカテゴリデータＤ （ｎ）が読み込まれる。 ステップＳ４で、“ｎ”番目のカテゴリデータＤ （ｎ
）に基づいて、“ｎ”番目のサンプルベクトルが属する
カテゴリはカテゴリＩであるか否かが判別される。その
結果、カテゴリ１であればステップＳ５に進む。一方、
そうでなければステップＳ６に進ステップＳ５で、カテ
ゴリｌに属するサンプルベクトルの要素値５ｉ（ｎ）の
累積値Ｒ（１）およびカテゴリ１に属するサンプルベク
トルの要素値５１（ｎ）の数ｃ（１）か、次式によって
算出され、ステップＳ７に進む。 Ｒ（１）−Ｒ（１） −Ｓ １（ｎ） ｃ（１）＝ ｃ（１） ＋ １ ステップＳ６で、カテゴリ２に属するサンプルベクトル
の要素値５ｉ（ｎ）の累積値Ｒ（２）およびカテゴリ２
に属するサンプルベクトルの要素値５ｉ（ｎ）の数ｃ（
２）が、次式によって算出される。 Ｒ（２）−Ｒ（２）＋ Ｓ １（ｎ） ｃ（２）＝ｃ（２）＋ １ ステップＳ７で、サンプルベクトル番号ｎはサンプルベ
クトル総数“Ｎ”であるか否かが判別される。 その結果“Ｎ”であればステップＳ９に進み、そうでな
ければステップＳ８に進む。 ステップＳ８て、サンプルベクトル番号ｎの内容かイン
クリメントされて、ステップＳ３に戻って次のサンプル
ベクトル番号のサンプルベクトルの１番目の要素値の処
理か実行されろ。 ステップＳ９て、カテゴリｌに属する総てのサンプルベ
クトルのｉ番目の要素値５ｉ（ｎ）の平均値Ｍｉ（１）
およびカテゴリ２に属する総てのサンプルベクトルの１
番目の要素値５ｉ（ｎ）の平均値Ｍｉ（２）が、次式に
よって算出される。 Ｍ １（１） −Ｒ（１）／ｃ（１） Ｍｉ（２）−Ｒ（２）／ｃ（２） ステップＳ１０で、ｉ番目の要素値のカテゴリｊにおけ
るカテゴリ間偏差の二乗の累積値Ｖ ａ（ｊ）とカテゴ
リ内偏差の二乗の累積値Ｖ ｂ（Ｄとの初期値が次のよ
うに設定される。 Ｖａ（１）＝０、Ｖｂ（１）＝Ｏ Ｖａ（２）＝０、Ｖｂ（２）＝０ ステップＳｌｌで、サンプルベクトルの番号ｎが初期値
“ビに再設定される。 ステップＳ１２で、“ｎ”番目のサンプルベクトルの“
Ｊ”番目のデータＳ １（ｎ）、および、“ｎ′番目の
カテゴリデータＤ （ｎ）が読み込まれる。 ステップ５１３でごｎ”番目のカテゴリデータＤ （ｎ
）に基づいて、“ｎ”番目のサンプルベクトルか属する
カテゴリはカテゴリｌであるか否かが判別５り−る。そ
の結果、カテゴリ１てあればステップＳＩ４に進む。一
方、そうでなければステップＳ１５に進Ｃ゛。 ステップ５１４て、カテゴリ１に属するサンプルベクト
ルの１番目の要素値５ｉ（ｎ）およびその平均値Ｍｉ（
１）と、カテゴリ２に属するサンプルベクトルの１番目
の要素値５ｉ（ｎ）およびその平均値Ｍｉ（２）とに基
づいて、カテゴリ１におけるカテゴリ内偏差の二乗の累
積値Ｖ ｂ（１）およびカテゴリ間偏差の二乗の累積値
Ｖａ（１）が次式によって算出され、ステップＳ１６に
進む。 Ｖｂ（１）−Ｖｂ（１）”、 （Ｓ ｉ（ｎ）−Ｍｉ（
１））’Ｖａ（１）＝ Ｖａ（１）＋ （Ｓ ｉ（ｎ）
−Ｍｉ（２））’ステップＳ１５で、カテゴリ２に属す
るサンプルベクトルのｉ番目の要素値Ｓ １（ｎ）およ
びその平均値Ｍｉ（２）と、カテゴリ１に属するサンプ
ルベクトルのｉ番目の要素値５ｉ（ｎ）およびその平均
値Ｍｉ（１）とに基づいて、カテゴリ２におけるカテゴ
リ内偏差の二乗の累積値〜’ ｂ（２）およびカテゴリ
間偏差の二乗の累積値Ｖａ（２）が次式によって算出さ
れる。 Ｖｂ（２）−Ｖｂ（２）−（Ｓ １（ｎ） −Ｍｉ（２
））２Ｖａ（２）−Ｖａ（２）〒（Ｓ １（ｎ） −Ｍ
ｉ（１））”ステップ５１６で、サンプルベクトル番号
ｎはサンプルベクトル総数“Ｎ”であるか否かが判別さ
れる。その結果“Ｎ”であればステップＳ１８に進み、
そうでなければステップＳ１７に進む。 ステップＳ１７て、サンプルベクトル番号ｎの内容がイ
ンクリメントされて、ステップＳ１２に戻って次のサン
プルベクトル番号のサンプルベクトルのｉ番目の要素値
の処理が実行される。 ステップ８１８で、上記ステップ５１４において算出さ
れたカテゴリ１における要素値５ｉ（ｎ）のカテゴリ内
偏差の二乗の累積値Ｖ ｂ（１）およびカテゴリ間偏差
の二乗の累積値Ｖａ（１）と、上記ステップＳ１５にお
いて算出されたカテゴリ２における要素値５ｉ（ｎ）の
カテゴリ内偏差の二乗の累積値Ｖ ｂ（２）およびカテ
ゴリ間偏差の二乗の累積値Ｖ ａ（２）とに基づいて、
総てのサンプルベクトルの要素値Ｓｉ（：ｎ＞のカテゴ
リ間分散Ａｉとカテゴリ内分散Ｂｉか次式によって算出
され、分散算出動作を終了する。 Ａ ｉ −（Ｖａ（１）−Ｖａ（２）ル′ＮＢ ｊ−（
Ｖ ｂ（１） −Ｖ ｂ（２））／ Ｎ以後、この算出
されたカテゴリ間分散の値Ａｉとカテゴリ内分散の値Ｂ
ｉとを用いて、上記Ｆ比算出部１５によって重みベクト
ルＦの要素値Ｐｉ（−Ａ ｉ／Ｂ ｉ）が算出されるの
である。 以上の説明は、総てのサンプルベクトルＳにおけるｉ番
目の要素値Ｓｉに基づいて実施される入力重みベクトル
Ｆの一つの要素値Ｆｉの算出に関する。したがって、上
記重みベクトルＦを求める場合には、第３図におけるス
テップＳ１からステップＳ１ｇまでの各ステップとＦ比
算出とを、総てのｉについて繰り返すことによって得ら
れるのである。こうして算出された入力重みベクトルＦ
の値はＦ比算出部１５の内部メモリに格納されて、ニュ
ーラルネットワークの学習時やニューラルネットワーク
による評価時に使用される。 上記コホー不ン型ニューラルネットワークを用いて、入
力ベクトルＩが属するカテゴリかカテゴリｌであるかカ
テゴリ２である力＼を識別するということは、次のよう
なことである。すなわち、例えばカテゴリＩに割り付け
られｆこ出力ノード３１ｋに対応するウェイトベクトル
Ｗｌｋと入力ベクトルＩとの類似度（ＩＸＷｌｋ）を算
出し、その値がカテゴリ２に割り付けられＬ出力ノート
３２ｋに対応するウェイトベクトルＷ２にとの類似１ｆ
（Ｉ ＸＷ２ｋ）より高ければ、人力ベクトルＩはカテ
ゴリ１に属していると識別することである。 したがって、コホーネン型ニューラルネットワークによ
って精度よくカテゴリ■とカテゴリ２とを識別するため
には、カテゴリＩに割り付けられた出力ノード３１ｋに
対応するウェイトベクトルＷ１にとカテゴリ２に割り付
けられｆこ出力ノート３２ｋに対応するウェイトベクト
ルＷ２にとの各要素値（ＷｉｌｋとＷｉ２ｋ）が明らか
に異なる値を有することか望ましいのである。 一方、上述のようにＬＶＱ２によるコポーネン型ニュー
ラルネットワークの学習は、カテゴリＩに属する入力ベ
クトルＩ（１）とカテゴリ２に属する入ツノベクトル■
（２）とをニューラルネットワークに人力して、カテゴ
リ１に割り付：すらシーｆ二いずれかの出力ノード３１
ｋに対応オろウェイトベクトルＷｌｋの内容をカテゴリ
１に属する入力ｌ＼クトル１ （１）の内容に近付ける
一方、カテゴリ２に割す付けられたいずれかの出力ノー
ド３２ｋに対応するウェイトベクトルＷ２にの内容をカ
テゴリ２に属する人力ベクトル■（２）の内容に近付け
ることを意味する。 したがって、カテゴリ１に属する人力ベクトル１ （１
）の内容とカテゴリ２に属する入力ベクトル■（２）の
内容とが明らかに異なる（すなわち、パターンが明らか
に異なる）ような入力ベクトルを用いてコホーネン型ニ
ューラルネットワークの学習を実施した場合には、上記
ウェイトベクトルＷｌｋとＷ２にとの内容が明らかに異
なるようになる。しｆ二がって、学習済みのニューラル
ネットワークにおけろカテゴリ■とカテゴリ２との識別
精度はよくなる。 ところか、評価時において、入力されるカテゴリ１に属
する入力ベクトルの内容とカテゴリ２に属する入力ベク
トルの内容とは必ずしも明らかに異なるとは限らない。 すなわち、カテゴリ空間におけるカテゴリＩとカテゴリ
２とのカテゴリ識別境界付近に在る入力ベクトルのうち
、カテゴリｌに属する入力ベクトル■（１）の要素値１
１（１）とカテゴリ２に属する入力ベクトル■（２）の
要素値１ｉ（２）とは非常に近い値を有するのである。 したがって、パターンが明らかに異なる入力ベクトルを
用いて学習されたコホーネン型ニューラルネットワーク
の場合には、カテゴリ識別境界付近に在る入力ベクトル
に対する識別能力は低くなってしまうのである。 そこで、本実施例においては、カテゴリ１に属する入力
ベクトルＩ（１）の各要素値１１（１）をよりカテゴリ
Ｉ側に、カテゴリ２に属する入力ベクトル■（２）の各
要素値１ｉ（２）をよりカテゴリ２側に近付けることに
よって、近い値の要素から成る２つの入力ベクトルの内
容を明らかに異なるようにするのである。こうして、ニ
ューラルネットワークの識別能力を上げるのである。 その場合に、人力ベクトル
ットワークにおける出力ノード３ｊｋからの出力値Ｏｊ
ｋは、ウェイトベクトルＷｊｋと入力ベクトルＩとの類
似度の一種であると見なすことかできる。一方、このよ
うな類似度を表すものとしてユークリッド距離がある。 ウェイトベクトルＷｊｋと人力ベクトルＩとのユークリ
ッド距ＭＤｊｋはさらに、このユークリッド距離に重み
付けを行なうことによって、ユークリッド距離より乙高
い人力ベクトルＩのパターン識別能力を得る二とかでき
る重み付きユークリッド距離かめる。ウェイトベクトル
Ｗｊｋと入力ベクトル■との重み付きユークリッド距離
ＦＤｊｋは（４）式のように表される。 ｉ。 ＦＤｊｋ−Σ Ｆｉ・（Ｉｉ−Ｗｉｊｋ）２ ・・・
（４）１：１ 但し、Ｆｉ：（入力ベクトル１の要素値Ｉｉのカテゴリ
間分散）、／（入力ベクトルＴ の要素値１ｉのカテゴリ内分散） ここで、Ｆｉの値は、複数の入力ベクトル■の要素値Ｉ
ｉにおける入力ベクトルが属しているカテゴリ毎の分布
曲線間の距離を表している。つまり、Ｆｉの値が大きい
場合には、例えばある２つのカテゴリに属する複数の入
力ベクトル群における夫々の入力ベクトルＩが属するカ
テゴリは、入力ベクトル■の要素値Ｉｉの値に基づいて
識別することが可能である。したがって、その場合には
入力ベクトルＩのｄ素値１１と対応するウェイトＷｉｊ
ｋとの距離をＦｉの値に応じて遠ざけることによって、
入力ベクトルＩか属するカテゴリの識別を更に容易にす
るのである。 二の発明は、上述のような重み付けによるユークリッド
距離の改良方法を、ニューラルネットワークの学習やニ
ューラルネットワークによる識別に応用することによっ
て、ニューラルネットワークのパターン識別能力をより
高めるものである。 第１図はこの発明のニューラルネットワークの前処理装
置を用いて、ニューラルネットワークに入力ベクトルを
入力している状態を示すブロック図である。本実施例に
おいて用いるニューラルネットワークはコホーネン型ニ
ューラルネットワークである。第１図においては、入力
ベクトルＩの要素値■ｉに係るコ示−ネン型ニューラル
ネットワークの構成部分で他の構成部分を代表して表現
している。こうして、各層内の各ノード、各ノード間の
結合、結合の重みＷｉｊｋ、入力ベクトルおよび出力値
を簡略化して表現しているのである。 以下、第１図および第４図に従って、本実施例詳細に説
明するっ本実施例において第４図に示すコホーネン型ニ
ューラルネットワークの入力層２に人力さシーる人力ベ
クトル（よ、前処理部としての入力重み決定部１２にお
いで決定され几入力重みベクトルＦを上記入力ベクトル
■に乗し几ベクトルてめろ。 上記入力重み決定部１２は、属するカテゴリか既知のＮ
個のサンプルベクトルＳとこのＮ個のサンプルベクトル
Ｓの夫々か属するカテゴリを表すＮ個のカテゴリデータ
Ｄとに基ついて、後に詳述するようにして上記入力重み
ベクトルＦを生成する。上記サンプルベクトルＳは上記
ニューラルネットワークによって識別しようとするパタ
ーンを代表するようなベクトルである。したがって、ニ
ューラルネットワークの学習の際に用いる学習ベクトル
をサンプルベクトルＳとして利用し、教師データをカテ
ゴリデータＤとして利用してもよい。 上記ニューラルネットワークに対する学Ｅや上記ニュー
ラルネットワークによる評価が開始されての入力ベクト
ルＩの要素値■ｉが乗算器ＩＩに入力さイーる。そうす
ると、乗算器１１は上記要素値Ｉｉと入力重み決定部１
２からの入力重みベクトルＦの対応する要素値Ｆｉとを
乗じ、得らｒ、、几値（Ｉｉ４ｉ）を上記ニューラルネ
ットワークにおけろ入力層２を構成するｉ番目の入力ノ
ート４に入力する。以下同様にして、入力ベクトル■の
他の要素値に対してら入力重みベクトルＦの対応する要
素値が乗じられて、入力層２を構成する他の入力ノート
に入力される。 そして、入力層２の各入力ノート４．・・、４に入力さ
れた入力ベクトルＩと入力重みベクトルＦとの積ベクト
ル（Ｉ ＸＦ）の要素値（Ｉ ｉ−Ｆ ｉＸ１≦ｉ≦Ｉ
、）と、各人力ノード４．・・、４と出力ノードＯｊｋ
との各結合に付加されたウェイトＷｉｊｋ（１≦ｉ≦Ｌ
）とに基ついて、上記（＋）式に従って出力値Ｑｊｋが
算出されて出力ノード３ｊｋから出力される。 こうして、総てのカテゴリｊ内における総ての番号にの
出力ノード３において出力値Ｏｊｋｃ Ｉ≦ｊ≦Ｊ Ｊ
：カテゴリ数、１≦に≦ＫＫ、カテゴリ内ノド数）か算
出されて出力される。そうすると、上述のようにして算
出されｆ５総での出力値Ｏｊｋに基ついて、学習の際に
おけろウェイト＼〜’ｉｊｋの更新や評価時におけるカ
テゴリの判定か行われるのである。 このようにして、入力層２に人力される人力ベクトルの
要素値に予め重み付けを行なうような前処理を実施する
ことによって、後に詳述するように人力ベクトル■が属
するカテゴリの識別に有効な入力ベクトルＩの要素値Ｉ
ｉを強調して、識別能力を高めるようにするのである。 第２図は上記入力重み決定部Ｉ２の更に詳細なブロック
図である。この入力重み決定部１２は、分散算出部１４
とＦ比算出部１５とから構成されている。上記分散算出
部１４は、入力されるＮ個のサンプルベクトルＳとこの
サンプルベクトルＳが属するカテゴリを表すカテゴリデ
ータＤとから、Ｎ個のサンプルベクトルＳにおけるＮ個
の要素値Ｓｉのカテゴリ間分散とカテゴリ内分散とを算
出する。また、上記Ｆ比算出部１５は、分散算出部Ｊ４
から入力される１番目の要素値に係るカテゴリ間分散の
値Ａｉとカテゴリ内分散の値Ｂｉとに基ついて、ｉ番目
の要素値に係るカテゴリ間分散の値Ａｉをカテゴリ内分
散の値Ｂｉで除し几値Ｆｉｏを求め、このＦｉｏ値を所
定の条件式で変換しＬ値Ｆ１を算出する。 上記変換は、例えば次のような変換である。 Ｆ １＝ｓｑ（Ｆ １ｏ）＝ に こで、５ｑ（ｘ）： ｘの平方根を求める開数Ｃ：定数 こうして、入力ベクトルＩの要素値１ｉに乗じられる入
力重みベクトルＦの要素値Ｆ１か得られるのである。 第３図は上記分散算出部Ｉ４によって実施される入力ベ
クトル■のｉ番目の要素値■ｉに係る分散算出動作のフ
ローチャートである。以下、第３図に従って分散算出動
作について詳細に説明する。 なお、説明を簡単にするために、識別対象となるカテゴ
リはカテゴリ番号１０＝１）とカテゴリ番号２（ｊ＝２
）の２つであるとする。 ここで、 Ｒ（ｊ） ｃ（ｊ） Ｓｉ（ｎ）・ Ｄ（ｎ）： Ｍｉ（ｊ）、 Ｖ ａ（Ｄ ： ｖ ｂ（ｊ）： ｊ番目のカテゴリに属する総てのサン プルベクトルの１番目の要素値り累積 値 ｊ番目のカテゴリに属する総てのサン プルベクトルの１番目の要素値、）数 ｎ番目のサンプルベクトルにお：する１番目の要素値 ｎ番目のサンプルベクトルに係るカテ ゴリデータ （カテゴリ番号ｌあるいはカテゴリ番 号２を表すデータ） サンプルベクトル総数 ｊ番目のカテゴリに属する総てのサン プルベクトルにおける１番目の要素値 の平均値 ｉ番目の要素値のカテゴリＪにおける カテゴリ間偏差の二乗の累積値 ｉ番目の要素値のカテゴリｊにおける カテゴリ内偏差の二乗の累積値 Ａｉ 総でのサンプルベクトルにおける１番目の要素
値に係るカテゴリ間分散 Ｂｉ 総てのサンプルベクトルにおけるｉ番目の要素
値に係るカテゴリ内分散 とする。 ステップＳ１て、ｊ番目のカテゴリに属するサンプルベ
クトルの１番目の要素値の累積値Ｒ（Ｄおよびｊ番目の
カテゴリに属するサンプルベクトルのｉ番目の要素値の
数Ｃ（」）の初期値が以下のように設定される。 Ｒ（１）＝０、Ｒ（２）−〇 ｃ（１）＝Ｏ１ｃ（２）＝０ ステップＳ２で、サンプルベクトルの番号ｎが初期値“
ビに設定される。 ステップＳ３て、′ｎ”番目のサンプルベクトルにおけ
る“ｉ”番目の要素値５ｉ（ｎ）、および、“ｎ′番目
のカテゴリデータＤ （ｎ）が読み込まれる。 ステップＳ４で、“ｎ”番目のカテゴリデータＤ （ｎ
）に基づいて、“ｎ”番目のサンプルベクトルが属する
カテゴリはカテゴリＩであるか否かが判別される。その
結果、カテゴリ１であればステップＳ５に進む。一方、
そうでなければステップＳ６に進ステップＳ５で、カテ
ゴリｌに属するサンプルベクトルの要素値５ｉ（ｎ）の
累積値Ｒ（１）およびカテゴリ１に属するサンプルベク
トルの要素値５１（ｎ）の数ｃ（１）か、次式によって
算出され、ステップＳ７に進む。 Ｒ（１）−Ｒ（１） −Ｓ １（ｎ） ｃ（１）＝ ｃ（１） ＋ １ ステップＳ６で、カテゴリ２に属するサンプルベクトル
の要素値５ｉ（ｎ）の累積値Ｒ（２）およびカテゴリ２
に属するサンプルベクトルの要素値５ｉ（ｎ）の数ｃ（
２）が、次式によって算出される。 Ｒ（２）−Ｒ（２）＋ Ｓ １（ｎ） ｃ（２）＝ｃ（２）＋ １ ステップＳ７で、サンプルベクトル番号ｎはサンプルベ
クトル総数“Ｎ”であるか否かが判別される。 その結果“Ｎ”であればステップＳ９に進み、そうでな
ければステップＳ８に進む。 ステップＳ８て、サンプルベクトル番号ｎの内容かイン
クリメントされて、ステップＳ３に戻って次のサンプル
ベクトル番号のサンプルベクトルの１番目の要素値の処
理か実行されろ。 ステップＳ９て、カテゴリｌに属する総てのサンプルベ
クトルのｉ番目の要素値５ｉ（ｎ）の平均値Ｍｉ（１）
およびカテゴリ２に属する総てのサンプルベクトルの１
番目の要素値５ｉ（ｎ）の平均値Ｍｉ（２）が、次式に
よって算出される。 Ｍ １（１） −Ｒ（１）／ｃ（１） Ｍｉ（２）−Ｒ（２）／ｃ（２） ステップＳ１０で、ｉ番目の要素値のカテゴリｊにおけ
るカテゴリ間偏差の二乗の累積値Ｖ ａ（ｊ）とカテゴ
リ内偏差の二乗の累積値Ｖ ｂ（Ｄとの初期値が次のよ
うに設定される。 Ｖａ（１）＝０、Ｖｂ（１）＝Ｏ Ｖａ（２）＝０、Ｖｂ（２）＝０ ステップＳｌｌで、サンプルベクトルの番号ｎが初期値
“ビに再設定される。 ステップＳ１２で、“ｎ”番目のサンプルベクトルの“
Ｊ”番目のデータＳ １（ｎ）、および、“ｎ′番目の
カテゴリデータＤ （ｎ）が読み込まれる。 ステップ５１３でごｎ”番目のカテゴリデータＤ （ｎ
）に基づいて、“ｎ”番目のサンプルベクトルか属する
カテゴリはカテゴリｌであるか否かが判別５り−る。そ
の結果、カテゴリ１てあればステップＳＩ４に進む。一
方、そうでなければステップＳ１５に進Ｃ゛。 ステップ５１４て、カテゴリ１に属するサンプルベクト
ルの１番目の要素値５ｉ（ｎ）およびその平均値Ｍｉ（
１）と、カテゴリ２に属するサンプルベクトルの１番目
の要素値５ｉ（ｎ）およびその平均値Ｍｉ（２）とに基
づいて、カテゴリ１におけるカテゴリ内偏差の二乗の累
積値Ｖ ｂ（１）およびカテゴリ間偏差の二乗の累積値
Ｖａ（１）が次式によって算出され、ステップＳ１６に
進む。 Ｖｂ（１）−Ｖｂ（１）”、 （Ｓ ｉ（ｎ）−Ｍｉ（
１））’Ｖａ（１）＝ Ｖａ（１）＋ （Ｓ ｉ（ｎ）
−Ｍｉ（２））’ステップＳ１５で、カテゴリ２に属す
るサンプルベクトルのｉ番目の要素値Ｓ １（ｎ）およ
びその平均値Ｍｉ（２）と、カテゴリ１に属するサンプ
ルベクトルのｉ番目の要素値５ｉ（ｎ）およびその平均
値Ｍｉ（１）とに基づいて、カテゴリ２におけるカテゴ
リ内偏差の二乗の累積値〜’ ｂ（２）およびカテゴリ
間偏差の二乗の累積値Ｖａ（２）が次式によって算出さ
れる。 Ｖｂ（２）−Ｖｂ（２）−（Ｓ １（ｎ） −Ｍｉ（２
））２Ｖａ（２）−Ｖａ（２）〒（Ｓ １（ｎ） −Ｍ
ｉ（１））”ステップ５１６で、サンプルベクトル番号
ｎはサンプルベクトル総数“Ｎ”であるか否かが判別さ
れる。その結果“Ｎ”であればステップＳ１８に進み、
そうでなければステップＳ１７に進む。 ステップＳ１７て、サンプルベクトル番号ｎの内容がイ
ンクリメントされて、ステップＳ１２に戻って次のサン
プルベクトル番号のサンプルベクトルのｉ番目の要素値
の処理が実行される。 ステップ８１８で、上記ステップ５１４において算出さ
れたカテゴリ１における要素値５ｉ（ｎ）のカテゴリ内
偏差の二乗の累積値Ｖ ｂ（１）およびカテゴリ間偏差
の二乗の累積値Ｖａ（１）と、上記ステップＳ１５にお
いて算出されたカテゴリ２における要素値５ｉ（ｎ）の
カテゴリ内偏差の二乗の累積値Ｖ ｂ（２）およびカテ
ゴリ間偏差の二乗の累積値Ｖ ａ（２）とに基づいて、
総てのサンプルベクトルの要素値Ｓｉ（：ｎ＞のカテゴ
リ間分散Ａｉとカテゴリ内分散Ｂｉか次式によって算出
され、分散算出動作を終了する。 Ａ ｉ −（Ｖａ（１）−Ｖａ（２）ル′ＮＢ ｊ−（
Ｖ ｂ（１） −Ｖ ｂ（２））／ Ｎ以後、この算出
されたカテゴリ間分散の値Ａｉとカテゴリ内分散の値Ｂ
ｉとを用いて、上記Ｆ比算出部１５によって重みベクト
ルＦの要素値Ｐｉ（−Ａ ｉ／Ｂ ｉ）が算出されるの
である。 以上の説明は、総てのサンプルベクトルＳにおけるｉ番
目の要素値Ｓｉに基づいて実施される入力重みベクトル
Ｆの一つの要素値Ｆｉの算出に関する。したがって、上
記重みベクトルＦを求める場合には、第３図におけるス
テップＳ１からステップＳ１ｇまでの各ステップとＦ比
算出とを、総てのｉについて繰り返すことによって得ら
れるのである。こうして算出された入力重みベクトルＦ
の値はＦ比算出部１５の内部メモリに格納されて、ニュ
ーラルネットワークの学習時やニューラルネットワーク
による評価時に使用される。 上記コホー不ン型ニューラルネットワークを用いて、入
力ベクトルＩが属するカテゴリかカテゴリｌであるかカ
テゴリ２である力＼を識別するということは、次のよう
なことである。すなわち、例えばカテゴリＩに割り付け
られｆこ出力ノード３１ｋに対応するウェイトベクトル
Ｗｌｋと入力ベクトルＩとの類似度（ＩＸＷｌｋ）を算
出し、その値がカテゴリ２に割り付けられＬ出力ノート
３２ｋに対応するウェイトベクトルＷ２にとの類似１ｆ
（Ｉ ＸＷ２ｋ）より高ければ、人力ベクトルＩはカテ
ゴリ１に属していると識別することである。 したがって、コホーネン型ニューラルネットワークによ
って精度よくカテゴリ■とカテゴリ２とを識別するため
には、カテゴリＩに割り付けられた出力ノード３１ｋに
対応するウェイトベクトルＷ１にとカテゴリ２に割り付
けられｆこ出力ノート３２ｋに対応するウェイトベクト
ルＷ２にとの各要素値（ＷｉｌｋとＷｉ２ｋ）が明らか
に異なる値を有することか望ましいのである。 一方、上述のようにＬＶＱ２によるコポーネン型ニュー
ラルネットワークの学習は、カテゴリＩに属する入力ベ
クトルＩ（１）とカテゴリ２に属する入ツノベクトル■
（２）とをニューラルネットワークに人力して、カテゴ
リ１に割り付：すらシーｆ二いずれかの出力ノード３１
ｋに対応オろウェイトベクトルＷｌｋの内容をカテゴリ
１に属する入力ｌ＼クトル１ （１）の内容に近付ける
一方、カテゴリ２に割す付けられたいずれかの出力ノー
ド３２ｋに対応するウェイトベクトルＷ２にの内容をカ
テゴリ２に属する人力ベクトル■（２）の内容に近付け
ることを意味する。 したがって、カテゴリ１に属する人力ベクトル１ （１
）の内容とカテゴリ２に属する入力ベクトル■（２）の
内容とが明らかに異なる（すなわち、パターンが明らか
に異なる）ような入力ベクトルを用いてコホーネン型ニ
ューラルネットワークの学習を実施した場合には、上記
ウェイトベクトルＷｌｋとＷ２にとの内容が明らかに異
なるようになる。しｆ二がって、学習済みのニューラル
ネットワークにおけろカテゴリ■とカテゴリ２との識別
精度はよくなる。 ところか、評価時において、入力されるカテゴリ１に属
する入力ベクトルの内容とカテゴリ２に属する入力ベク
トルの内容とは必ずしも明らかに異なるとは限らない。 すなわち、カテゴリ空間におけるカテゴリＩとカテゴリ
２とのカテゴリ識別境界付近に在る入力ベクトルのうち
、カテゴリｌに属する入力ベクトル■（１）の要素値１
１（１）とカテゴリ２に属する入力ベクトル■（２）の
要素値１ｉ（２）とは非常に近い値を有するのである。 したがって、パターンが明らかに異なる入力ベクトルを
用いて学習されたコホーネン型ニューラルネットワーク
の場合には、カテゴリ識別境界付近に在る入力ベクトル
に対する識別能力は低くなってしまうのである。 そこで、本実施例においては、カテゴリ１に属する入力
ベクトルＩ（１）の各要素値１１（１）をよりカテゴリ
Ｉ側に、カテゴリ２に属する入力ベクトル■（２）の各
要素値１ｉ（２）をよりカテゴリ２側に近付けることに
よって、近い値の要素から成る２つの入力ベクトルの内
容を明らかに異なるようにするのである。こうして、ニ
ューラルネットワークの識別能力を上げるのである。 その場合に、人力ベクトル
【の総ての要素値■１を一律
に変化させることは入力ベクトル■が有するパターン情
報を損なう恐れかめる。そこで、本実施例においては、
予めカテゴリ既知の複数のサンプルベクトルＳにおける
各要素値Ｓｉのカテゴリ内分散Ｂｉに対するカテゴリ間
分散Ａ１の比の値（Ｐｉ値）を算出しておく。そして、
カテゴリ１に属する入力ベクトルｒ （ｉ）の要素値１
ｉ（１）とカテゴリ２に属する入力ベクトル■（２）の
要素値１１（２）との距離を上記Ｐｉ値に応して遠ざけ
、要素値が互いに遠ざけられた人力ベクトルＩ （１）
と入力ベクトルＩ（２）とによって、上記コホーネン型
ニューラルネットワークを学習するのである。その結果
、カテゴリＩに割り付けられた出力ノード３１ｋに対応
するウェイトベクトルＷｌｋの内容とカテゴリ２に割り
付けられた出力ノード３２ｋに対応するウェイトベクト
ル〜Ｖ２にの内容とが、学習によって明らかに異なる値
に設定され、学１みのニューラルネットワークの識別精
度が向上するのてめろ。 こうすることによって、カテゴリｌとカテゴリ２とのカ
テゴリ識別境界付近に在る入力ベクトル■の中に一つで
もカテゴリ間分散か大きな要素値か在れば、その要素値
におけるカテゴリ間分散か強調されて学習および評価が
実施されるようになる。しｆ二かって、カテゴリ識別境
界付近に在る人力ベクトルが属するカテゴリが正しく識
別でさるようになるのである。すなわち、ニューラルネ
ットワークの識別能力が向上するのである。 以下、上記入力重み決定部１２によって求められた入力
重みベクトルＦを用いたコホーネン型ニューラルネット
ワークの学習およびコホーネン型ニューラルネットワー
クによる評価について説明する。 学習においては、上述のように人力ベクトル■と入力重
みベクトルＦとの積が第１図における乗算器１１で算出
され、得られた積ベクトル（ｌｘＦ）かコホー不ン型ニ
ューラルネットワークの入力層２に人力される。そうす
ると、出力層Ｉにお；Ｌる出カッ−Ｆ’３ｊｋに対応す
るウェイトへクトノＬＷｊｋと上記積ベクトル（ＩＸＦ
）とに基っ〔１て、出力ノード３ｊｋからの出力値Ｏｊ
ｋか（５）式によって算出される。 ０ｊｋ＝、Σ Ｗｉｊｋ−１ｉ−Ｆ ｉ −（５）＋１ こうして算出さ５ｊ二総での出力ノートからの出力値Ｏ
ｊｋに基ついて、最大値ＯＪ＋に１を出力している出カ
ッニドは誤った出力ノートであり、がっ、２番目に大き
な値０Ｊｔｋ２を出力している出力ノートは正しい出力
ノートであるようなウェイト更新条件が成立するかが調
べられる。このウェイト更新条件の調査は、図示しない
外部装置またはオペレータによって実施される。その結
果、上述のウェイト更新条件か成立している場合には、
ウェイト更新条件が成立していることを表す教師データ
がウェイト更新部（図示せず）に入力される。そうする
と、ウェイト更新部は、（６）式によって上記ウェイト
Ｗ ｉ ｊ ｋの値を更新するのである。 ＷｉｊｚＬ＝Ｗｉｊ、ｋｔ −Ｋ（Ｉ ｉ−Ｆ １−Ｗ
ｉｊ２に２）その結果、ウェイトベクトルＷＪ ＋ ｋ
＋の内容は入力へクトル■と入力重みベクトルＦとの
積ベクトル（Ｉ ＸＦ）に近付けられる。 その際に、積ベクトル（Ｉ ｘＦ）の各要素値（Ｉｉ・
Ｆｉ）は、入力ベクトル■の各要素値Ｉｉにおけるカテ
ゴリ間分散を更に強調している。しＬがって、積ベクト
ル（Ｉ ＸＦ）を用いた学習によって設定されるウェイ
トベクトルＷｊｋにおけるウェイトＷｉｊｋのカテゴリ
間分散も大きくなり、上記入力ベクトル■が属するカテ
ゴリを精度よく識別できるコホーネン型ニューラルネッ
トワークが構築される。 次に、評価時においては、学習時と同様に、入力ベクト
ル■と入力重みベクトルＦとの積が乗算器１１て算出さ
れる。そして、得られた積ベクトル（ＩｘＦ）かコホー
ネン型ニューラルネットワークの入力層２に入力される
。その際に、学習時と評価時に用いる入力重みベクトル
Ｆは当然同じ値である。出力層Ｉにおける出力ノード３
ｊｋに対応するウェイトベクトルＷｊｋと上記積ベクト
ル（ＩＸＦ）とに基づいて出力ノード３ｊｋからの出力
値Ｏｊｋか上記（５）式によって算出される。こうして
算出された総ての出力ノード３ｊｋからの出力値Ｏｊｋ
のうち最大値を出力している出力ノートか割り付けられ
ているカテゴリを人力ベクトルｒか属しているカテゴリ
であると識別するのである。 その際に、上述のように、学習によってウェイトベクト
ルＷｊｋの各要素値Ｗｉｊｋにおけるカテゴリ間分散が
強調されており、さらに、人力ベクトルＩの各要素値Ｉ
ｉにおけるカテゴリ間分散も強調されるので、カテゴリ
識別境界付近に在るような入力ベクトルであってもカテ
ゴリ間分散が大きな要素値を一つでも有していれば、そ
の要素値のカテゴリ間分散が更に強調されることになり
、カテゴリ識別境界付近に在る入力ベクトルが属するカ
テゴリが精度よく識別できるのである。 このように、本実施例においては、予め用意されたカテ
ゴリ既知の総てのサンプルベクトルＳとそのサンプルベ
クトルＳが属するカテゴリを表すカテゴリデータＤとに
基ついて、分散算出部１４によって、上記総てのサンプ
ルベクトルＳにお、する各要素値Ｓｉのカテゴリ間分散
の値・λｌおよびカテゴリ内分散の値Ｂｉを求める。そ
して、さらにＦ比算出部１５によって、上記カテゴリ聞
分？ＡＩとカテゴリ内分散Ｂｉとの比の値Ｐ １（−Ａ
ｉ、／Ｂ ｉ）を要素値とする入力重みベクトルＦを
求める。 そして、コホー不ン型ニューラルネットワークに対して
ＬＶＱ２によって学習する場合や、学習済みのニューラ
ルネットワークによって識別対象の入力ベクトルが属す
るカテゴリを識別する場合には、上述のようにして求め
られて保持されている入力重みベクトルＦと学習ベクト
ルあるいは識別対象ベクトルとしての入力ベクトル■と
の積ベクトル（ＩＸＦ）を乗算器１１によって求め、こ
の積ベクトル（ＩＸＦ）をニューラルネットワークの入
力層２に入力するのである。 こうすることによって、入力ベクトルＩにおけるカテゴ
リ間分散の大きい要素値【ｉのカテゴリ間分散の値か更
に拡大される。したがって、通常のＬＶＱ２によって学
習されたコホーネン型ニューラルネットワークによるカ
テゴリの識別においては、カテゴリｌに属ずろかカテゴ
リ２に嘱するかが容易に識別できないようζ入力ｌ＼ク
トルであって乙、その入力ベクトル中にカテゴリ間分散
の値か大きい要素値１ｉか−ってしあればその要素値１
ｉのカテゴリ間分散の値か強調されるので、容易に識別
可能になるのてめろ。 上記実施例におけるコホーネン型ニューラルネットワー
クの学習方法はＬ Ｖ Ｑ ２を用いている。しかしな
から、この発明はこれに限定されるものではない。要は
、学習ベクトルとその学どベクトルか属するカテゴリと
を同時に呈示して学習を行なう学習方法であればよい。 この発明Ｉこおける分散算出動作のアルゴリズムは上記
実施例のアルゴリズムｊこ限定されるのではない。 【発明の効果】 以上より明らかなように、この発明のニューラルネット
ワークの前処理装置は、属するカテゴリが既知の複数の
サンプルベクトルにおける各対応する要素値のカテゴリ
内分散およびカテゴリ間分散を分散算出部で算出し、ざ
らに、上記カテゴリ内分散の値に対するカテゴリ間分散
の値の比を上記要素値毎に比算出部で算出して、その算
出値に基づく値を要素値とする入力重みベクトルを生成
する。そして、上記ニューラルネットワークの学習ある
いは上記ニューラルネットワークによる識別に際しては
、ニューラルネットワークに入力される学習ベクトルあ
る゛いは層別対象ベクトルと上記比算出部で算出されん
入力重みベクトルとを乗算器で乗じて積ベクトルを得、
この得られに積ベクトルを上記ニューラルネットワーク
に入力して学習あるいは識別を実施するようにしたので
、学習ベクトルあるいは識別対象ベクトルにおけるカテ
ゴリ間分散が大きい要素値のカテゴリ間分散を更に大き
くしてニューラルネットワークの学習やニューラルネッ
トワークによる識別を実施できる。 したがって、この学習ベクトルの要素値のカテゴリ問分
散を更に大きくして学習されたニューラルネットワーク
によれば、カテゴリ識別境界付近に在る識別対象ベクト
ルであっても、その識別対象ベクトル中？こカテゴリ間
分散の値か大きい要素値か−ってら在ればその要素値の
カテゴリ間分散か更に拡大されて識別処理か実行され、
その識別対象ベクトルが属するカテゴリか正しく識別さ
れる。すなわち、この発明によれば、ニューラルネット
ワークの識別能力を向上できるのである。
に変化させることは入力ベクトル■が有するパターン情
報を損なう恐れかめる。そこで、本実施例においては、
予めカテゴリ既知の複数のサンプルベクトルＳにおける
各要素値Ｓｉのカテゴリ内分散Ｂｉに対するカテゴリ間
分散Ａ１の比の値（Ｐｉ値）を算出しておく。そして、
カテゴリ１に属する入力ベクトルｒ （ｉ）の要素値１
ｉ（１）とカテゴリ２に属する入力ベクトル■（２）の
要素値１１（２）との距離を上記Ｐｉ値に応して遠ざけ
、要素値が互いに遠ざけられた人力ベクトルＩ （１）
と入力ベクトルＩ（２）とによって、上記コホーネン型
ニューラルネットワークを学習するのである。その結果
、カテゴリＩに割り付けられた出力ノード３１ｋに対応
するウェイトベクトルＷｌｋの内容とカテゴリ２に割り
付けられた出力ノード３２ｋに対応するウェイトベクト
ル〜Ｖ２にの内容とが、学習によって明らかに異なる値
に設定され、学１みのニューラルネットワークの識別精
度が向上するのてめろ。 こうすることによって、カテゴリｌとカテゴリ２とのカ
テゴリ識別境界付近に在る入力ベクトル■の中に一つで
もカテゴリ間分散か大きな要素値か在れば、その要素値
におけるカテゴリ間分散か強調されて学習および評価が
実施されるようになる。しｆ二かって、カテゴリ識別境
界付近に在る人力ベクトルが属するカテゴリが正しく識
別でさるようになるのである。すなわち、ニューラルネ
ットワークの識別能力が向上するのである。 以下、上記入力重み決定部１２によって求められた入力
重みベクトルＦを用いたコホーネン型ニューラルネット
ワークの学習およびコホーネン型ニューラルネットワー
クによる評価について説明する。 学習においては、上述のように人力ベクトル■と入力重
みベクトルＦとの積が第１図における乗算器１１で算出
され、得られた積ベクトル（ｌｘＦ）かコホー不ン型ニ
ューラルネットワークの入力層２に人力される。そうす
ると、出力層Ｉにお；Ｌる出カッ−Ｆ’３ｊｋに対応す
るウェイトへクトノＬＷｊｋと上記積ベクトル（ＩＸＦ
）とに基っ〔１て、出力ノード３ｊｋからの出力値Ｏｊ
ｋか（５）式によって算出される。 ０ｊｋ＝、Σ Ｗｉｊｋ−１ｉ−Ｆ ｉ −（５）＋１ こうして算出さ５ｊ二総での出力ノートからの出力値Ｏ
ｊｋに基ついて、最大値ＯＪ＋に１を出力している出カ
ッニドは誤った出力ノートであり、がっ、２番目に大き
な値０Ｊｔｋ２を出力している出力ノートは正しい出力
ノートであるようなウェイト更新条件が成立するかが調
べられる。このウェイト更新条件の調査は、図示しない
外部装置またはオペレータによって実施される。その結
果、上述のウェイト更新条件か成立している場合には、
ウェイト更新条件が成立していることを表す教師データ
がウェイト更新部（図示せず）に入力される。そうする
と、ウェイト更新部は、（６）式によって上記ウェイト
Ｗ ｉ ｊ ｋの値を更新するのである。 ＷｉｊｚＬ＝Ｗｉｊ、ｋｔ −Ｋ（Ｉ ｉ−Ｆ １−Ｗ
ｉｊ２に２）その結果、ウェイトベクトルＷＪ ＋ ｋ
＋の内容は入力へクトル■と入力重みベクトルＦとの
積ベクトル（Ｉ ＸＦ）に近付けられる。 その際に、積ベクトル（Ｉ ｘＦ）の各要素値（Ｉｉ・
Ｆｉ）は、入力ベクトル■の各要素値Ｉｉにおけるカテ
ゴリ間分散を更に強調している。しＬがって、積ベクト
ル（Ｉ ＸＦ）を用いた学習によって設定されるウェイ
トベクトルＷｊｋにおけるウェイトＷｉｊｋのカテゴリ
間分散も大きくなり、上記入力ベクトル■が属するカテ
ゴリを精度よく識別できるコホーネン型ニューラルネッ
トワークが構築される。 次に、評価時においては、学習時と同様に、入力ベクト
ル■と入力重みベクトルＦとの積が乗算器１１て算出さ
れる。そして、得られた積ベクトル（ＩｘＦ）かコホー
ネン型ニューラルネットワークの入力層２に入力される
。その際に、学習時と評価時に用いる入力重みベクトル
Ｆは当然同じ値である。出力層Ｉにおける出力ノード３
ｊｋに対応するウェイトベクトルＷｊｋと上記積ベクト
ル（ＩＸＦ）とに基づいて出力ノード３ｊｋからの出力
値Ｏｊｋか上記（５）式によって算出される。こうして
算出された総ての出力ノード３ｊｋからの出力値Ｏｊｋ
のうち最大値を出力している出力ノートか割り付けられ
ているカテゴリを人力ベクトルｒか属しているカテゴリ
であると識別するのである。 その際に、上述のように、学習によってウェイトベクト
ルＷｊｋの各要素値Ｗｉｊｋにおけるカテゴリ間分散が
強調されており、さらに、人力ベクトルＩの各要素値Ｉ
ｉにおけるカテゴリ間分散も強調されるので、カテゴリ
識別境界付近に在るような入力ベクトルであってもカテ
ゴリ間分散が大きな要素値を一つでも有していれば、そ
の要素値のカテゴリ間分散が更に強調されることになり
、カテゴリ識別境界付近に在る入力ベクトルが属するカ
テゴリが精度よく識別できるのである。 このように、本実施例においては、予め用意されたカテ
ゴリ既知の総てのサンプルベクトルＳとそのサンプルベ
クトルＳが属するカテゴリを表すカテゴリデータＤとに
基ついて、分散算出部１４によって、上記総てのサンプ
ルベクトルＳにお、する各要素値Ｓｉのカテゴリ間分散
の値・λｌおよびカテゴリ内分散の値Ｂｉを求める。そ
して、さらにＦ比算出部１５によって、上記カテゴリ聞
分？ＡＩとカテゴリ内分散Ｂｉとの比の値Ｐ １（−Ａ
ｉ、／Ｂ ｉ）を要素値とする入力重みベクトルＦを
求める。 そして、コホー不ン型ニューラルネットワークに対して
ＬＶＱ２によって学習する場合や、学習済みのニューラ
ルネットワークによって識別対象の入力ベクトルが属す
るカテゴリを識別する場合には、上述のようにして求め
られて保持されている入力重みベクトルＦと学習ベクト
ルあるいは識別対象ベクトルとしての入力ベクトル■と
の積ベクトル（ＩＸＦ）を乗算器１１によって求め、こ
の積ベクトル（ＩＸＦ）をニューラルネットワークの入
力層２に入力するのである。 こうすることによって、入力ベクトルＩにおけるカテゴ
リ間分散の大きい要素値【ｉのカテゴリ間分散の値か更
に拡大される。したがって、通常のＬＶＱ２によって学
習されたコホーネン型ニューラルネットワークによるカ
テゴリの識別においては、カテゴリｌに属ずろかカテゴ
リ２に嘱するかが容易に識別できないようζ入力ｌ＼ク
トルであって乙、その入力ベクトル中にカテゴリ間分散
の値か大きい要素値１ｉか−ってしあればその要素値１
ｉのカテゴリ間分散の値か強調されるので、容易に識別
可能になるのてめろ。 上記実施例におけるコホーネン型ニューラルネットワー
クの学習方法はＬ Ｖ Ｑ ２を用いている。しかしな
から、この発明はこれに限定されるものではない。要は
、学習ベクトルとその学どベクトルか属するカテゴリと
を同時に呈示して学習を行なう学習方法であればよい。 この発明Ｉこおける分散算出動作のアルゴリズムは上記
実施例のアルゴリズムｊこ限定されるのではない。 【発明の効果】 以上より明らかなように、この発明のニューラルネット
ワークの前処理装置は、属するカテゴリが既知の複数の
サンプルベクトルにおける各対応する要素値のカテゴリ
内分散およびカテゴリ間分散を分散算出部で算出し、ざ
らに、上記カテゴリ内分散の値に対するカテゴリ間分散
の値の比を上記要素値毎に比算出部で算出して、その算
出値に基づく値を要素値とする入力重みベクトルを生成
する。そして、上記ニューラルネットワークの学習ある
いは上記ニューラルネットワークによる識別に際しては
、ニューラルネットワークに入力される学習ベクトルあ
る゛いは層別対象ベクトルと上記比算出部で算出されん
入力重みベクトルとを乗算器で乗じて積ベクトルを得、
この得られに積ベクトルを上記ニューラルネットワーク
に入力して学習あるいは識別を実施するようにしたので
、学習ベクトルあるいは識別対象ベクトルにおけるカテ
ゴリ間分散が大きい要素値のカテゴリ間分散を更に大き
くしてニューラルネットワークの学習やニューラルネッ
トワークによる識別を実施できる。 したがって、この学習ベクトルの要素値のカテゴリ問分
散を更に大きくして学習されたニューラルネットワーク
によれば、カテゴリ識別境界付近に在る識別対象ベクト
ルであっても、その識別対象ベクトル中？こカテゴリ間
分散の値か大きい要素値か−ってら在ればその要素値の
カテゴリ間分散か更に拡大されて識別処理か実行され、
その識別対象ベクトルが属するカテゴリか正しく識別さ
れる。すなわち、この発明によれば、ニューラルネット
ワークの識別能力を向上できるのである。
第１図はこの発明のニューラルネットワークの前処理装
置におけろ一実施例のブロック図、第２図は第１図にお
ける入力重み決定部の詳細なブロック図、第３図は第２
−図における分散算出部による分散算出動作のフローチ
ャート、第４図はコホーネン型ニューラルネットワーク
の概念図である。 ｌ・・・出力層、 ２・・人力層、３・・出力
ノード、 ４・・・入力ノード、１１・・・乗算器
、 Ｉ２・・・入力重み決定部、１４・・分散算
出部、 １５・・・Ｆ比算出部。 第 図 第２図 総てのサンプル ベクトル カテゴリデータ 第 図（ａ） 第３図（ｂ） 第４図 入力ベクトル■
置におけろ一実施例のブロック図、第２図は第１図にお
ける入力重み決定部の詳細なブロック図、第３図は第２
−図における分散算出部による分散算出動作のフローチ
ャート、第４図はコホーネン型ニューラルネットワーク
の概念図である。 ｌ・・・出力層、 ２・・人力層、３・・出力
ノード、 ４・・・入力ノード、１１・・・乗算器
、 Ｉ２・・・入力重み決定部、１４・・分散算
出部、 １５・・・Ｆ比算出部。 第 図 第２図 総てのサンプル ベクトル カテゴリデータ 第 図（ａ） 第３図（ｂ） 第４図 入力ベクトル■
Claims (1)
- （１）学習ベクトルとその学習ベクトルが属するカテゴ
リとを同時に呈示して学習を行なうニューラルネットワ
ークにおいて、 属するカテゴリが既知の複数のサンプルベクトルおよび
そのサンプルベクトルが属するカテゴリを表すカテゴリ
データが入力されて、上記複数のサンプルベクトルにお
ける各対応する要素値のカテゴリ内分散およびカテゴリ
間分散を算出する分散算出部と、 上記分散算出部によって算出された上記複数のサンプル
ベクトルにおける対応する要素値のカテゴリ内分散の値
とカテゴリ間分散の値とに基づいて、上記カテゴリ内分
散の値に対するカテゴリ間分散の値の比を上記要素値毎
に算出してその算出値に基づく値を要素値とする入力重
みベクトルを生成する比算出部と、 上記ニューラルネットワークの学習あるいは上記ニュー
ラルネットワークによる識別に際して、ニューラルネッ
トワークに入力される学習ベクトルあるいは識別対象ベ
クトルと上記比算出部によって生成された上記入力重み
ベクトルとの積ベクトルを算出し、得られた積ベクトル
を上記ニューラルネットワークに入力する乗算器を備え
たことを特徴とするニューラルネットワークの前処理装
置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2127701A JPH0423088A (ja) | 1990-05-17 | 1990-05-17 | ニューラルネットワークの前処理装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2127701A JPH0423088A (ja) | 1990-05-17 | 1990-05-17 | ニューラルネットワークの前処理装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0423088A true JPH0423088A (ja) | 1992-01-27 |
Family
ID=14966568
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2127701A Pending JPH0423088A (ja) | 1990-05-17 | 1990-05-17 | ニューラルネットワークの前処理装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0423088A (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001236339A (ja) * | 2000-02-23 | 2001-08-31 | Olympus Optical Co Ltd | クラス分類装置 |
| JP2022029167A (ja) * | 2020-08-04 | 2022-02-17 | 株式会社豊田自動織機 | 箱選定装置、情報処理方法、及び情報処理プログラム |
-
1990
- 1990-05-17 JP JP2127701A patent/JPH0423088A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001236339A (ja) * | 2000-02-23 | 2001-08-31 | Olympus Optical Co Ltd | クラス分類装置 |
| JP2022029167A (ja) * | 2020-08-04 | 2022-02-17 | 株式会社豊田自動織機 | 箱選定装置、情報処理方法、及び情報処理プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110929697B (zh) | 一种基于残差结构的神经网络目标识别方法及系统 | |
| EP0591921B1 (en) | Learning and recognition machine | |
| EP3819827A1 (en) | Machine learning device and method | |
| Paris et al. | Applying boosting techniques to genetic programming | |
| US20120109865A1 (en) | Using affinity measures with supervised classifiers | |
| US5181256A (en) | Pattern recognition device using a neural network | |
| CN112634057A (zh) | 基金相似度计算方法、平台、设备及可读存储介质 | |
| JPH08227408A (ja) | ニューラルネットワーク | |
| CN111626098A (zh) | 模型的参数值更新方法、装置、设备及介质 | |
| CN113962327A (zh) | 数据分类方法、装置及电子设备 | |
| JPH0540497A (ja) | 話者適応音声認識装置 | |
| JPH0423088A (ja) | ニューラルネットワークの前処理装置 | |
| CN112949599B (zh) | 基于大数据的候选内容推送方法 | |
| Sharma et al. | Software effort estimation using neuro fuzzy inference system: Past and present | |
| JPH04112391A (ja) | パターン識別方法 | |
| JP2736361B2 (ja) | ニューラルネット構成方法 | |
| JPH0535710A (ja) | ニユーラルネツトワークの学習方法および学習装置 | |
| JPH08263660A (ja) | 信号認識方法、信号認識装置、信号認識装置の学習方法及び信号認識装置の学習装置 | |
| JP3303253B2 (ja) | パターンマッチング方法および装置 | |
| JP2674167B2 (ja) | 神経回路網モデルを用いたプロセス制御方法 | |
| JPH0785277A (ja) | データ分類方式 | |
| JP3859884B2 (ja) | 話者認識方法および話者認識装置 | |
| JP4267726B2 (ja) | 制御装置における動作信号と操作量との関係を決定する装置、制御装置、データ生成装置、入出力特性決定装置及び相関関係評価装置 | |
| JPH0452221A (ja) | 鉄鋼製品の製造可否判定装置 | |
| Redondo et al. | Input selection by Multilayer Feedforward trained networks |