JPH07234855A - 写像決定方法および装置 - Google Patents

Abstract

(57)【要約】 【目的】 短時間に、確実に、評価関数を最小にする係
数を演算することができるようにする。 【構成】 ４次元のベクトル（ｘ₀，ｘ₁，ｘ₂，ｘ₃）
を、１次元のベクトルｙに変換する写像を決定するに際
し、写像を関数ｇ_i（Ｘ）と係数ｃ_iとの積の線形和によ
り表現する。学習サンプルと教師ベクトルを与えて、評
価関数を得、その偏微分値が０となる連立一次方程式を
解くことで、写像の係数ｃ_iを求める。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、パターン認識、パター
ン生成、産業用ロボット等の制御系、経済問題等の予測
処理系等の多岐にわたる分野において要求される写像決
定方法および写像装置に関し、特に写像の特性付けを学
習によって決定する場合に、任意の連続写像を必要な精
度で表現することができ、かつ評価関数が極小値に陥る
ことを防止し、所望の写像を効果的、かつ効率的に実現
することができる写像決定方法および写像装置に関す
る。

【０００２】

【従来の技術】音声認識や画像認識等のパターン認識、
音声合成やコンピュータ・グラフィック等のパターン生
成、景気予測や株価予測等の予測処理系、産業用ロボッ
トの制御系等の多くの分野において、所定の次元の入力
ベクトルに対して、所定の次元の出力ベクトルを生成、
出力する写像の構成をした処理系が用いられている。

【０００３】例えば、音声認識や画像認識では、入力デ
ータからデジタル信号処理により得られた特徴ベクトル
を、さらに圧縮された特徴ベクトルとする等の目的で、
線形写像或いは非線形写像が用いられている。

【０００４】例えば、数学的な変換を利用した写像とし
ては、線形の写像として、ＤＦＴ（離散フーリエ変換）
等の直交変換があり、また非線形の写像として、対数変
換等がある。しかしながら、これらは既に決まった写像
であり、任意の入力ベクトルに対して、任意の出力ベク
トルを得る系に応用することは困難である。

【０００５】そこで、所定の目的の写像を学習により決
定する方法が検討されている。例えば、線形なものでは
ＫＬ変換、非線形なものでは階層型ニューラルネット等
が、この学習によって決定される写像の代表例である。
特に、階層型ニューラルネットは、中間層の数を増やし
ていくことによって、原理的には任意の連続写像を表現
することができるため、従来より、多くの分野に適用さ
れてきている。

【０００６】この階層型ニューラルネットは、各層の基
本ユニット（ニューロン素子）の出力が、次の層の基本
ユニットへの入力となるように、入力層から出力層へ向
かって結線されたネットワークで、例えば図１５に示す
ように構成される。この例においては、入力層が４素子
（１乃至４）、中間層が３素子（５乃至７）、出力層が
１素子（８）で構成され、３層ニューラルネットとされ
ている。

【０００７】ここで、入力層がＮ素子、中間層がＬ素
子、出力層がＭ素子の一般的な３層ニューラルネットに
おいて、入力層の入力を、入力ベクトルＸ＝（ｘ₀，
ｘ₁，ｘ₂，・・・，ｘ_N-1）とし、対応した出力層から
出力される出力を、出力ベクトルＹ＝（ｙ₀，ｙ₁，
ｙ₂，・・・，ｙ_M-1）とした場合のネットワークの具体
的な処理内容について説明する。

【０００８】入力層のＮ個の素子からの出力は、単純に
それぞれの入力ｘ_i（ｉ＝０，１，２，・・・，Ｎ−
１）そのものであり、それらの出力が、そのまま次の中
間層のＬ個の素子に入力される。中間層では次式を演算
し、出力する。尚、ω_ijは、結合重み係数であり、ｓ
（ｘ）は、シグモイド関数である。

【０００９】

【数４】

【００１０】中間層のＬ個の素子からの出力ｘ’_j（ｊ
＝０，１，２，・・・，Ｌ−１）は、出力層のＭ個の素
子の入力となり、出力層では次式が演算される。

【００１１】

【数５】

【００１２】４階層以上の場合にも、入出力の関係の段
数が増えること以外には、基本的には同様のネットワー
ク構造となる。

【００１３】ニューラルネットにおいては、写像をこの
ような構造に限定し、写像の特性付けのため（結合重み
係数ωの設定のため）、入力層に学習サンプルを与え、
各学習サンプルの写像からの出力（ニューラルネットの
出力）を得る。そして、この写像出力に対応して教師ベ
クトルを与え、写像出力と教師ベクトルとの二乗誤差の
総和を評価関数として設定し、バックプロパゲーション
により、結合重み係数ωを決定する。

【００１４】このバックプロパゲーションのアルゴリズ
ムは、データ毎の最急降下法（確率降下法）をニューラ
ルネットに対し、具現化したものである。

【００１５】

【発明が解決しようとする課題】ところで、この最急降
下法においては、その結果が、一般的に、評価関数の形
によっては、評価関数に対する初期値の与え方に依存
し、最小値（グローバルミニマム）に対応した最適解
（演算値）が求まらないで、極小値（ローカルミニマ
ム）が求められる場合がある。

【００１６】ニューラルネットの場合の評価関数は、正
にこの場合に相当しており、バックプロパゲーションに
よって求まった解が、最小の誤差に対応するものである
保証は何もない。つまり、初期値の与え方によっては、
教師ベクトルと大きく異なる出力を出す写像が求まって
しまう可能性がある。

【００１７】このため、例えば初期値を乱数で振って、
繰り返し学習を行なう等の方法で、可能な限り準最適解
を得るような方策が講じられる。

【００１８】しかしながら、このような対処療法的な方
法では、基本的に、最適解（最小値）に辿り着く保証は
何もなく、準最適解と言っているものも、最適解の最小
誤差と比較すると、誤差が大きなものである可能性が残
る。しかも、そのような準最適解を求めることさえ、多
大な学習時間を必要とする。

【００１９】さらに、ニューラルネットが任意の連続写
像を表現できるのは、中間層のニューロン素子の数を無
限に設定した、理想化した場合であり、現実には、与え
られた有限個の数の中間層で、所望の写像を構成するこ
とになる。言い換えれば、中間層の素子数を現実的な数
に限定した場合に、理想的な写像を何処まで近似できる
かが、ニューラルネットの性能となる。

【００２０】しかしながら、ニューラルネットの構造的
自由度としては、結合重み係数の他には、階層の段数と
素子数という、ネットワークの規模に影響を与えるもの
以外残されていない。従って、ニューラルネットは、現
実的な規模の制約下では、近似能力が不十分な場合が生
じる。

【００２１】以上のように、従来の学習型の写像装置で
あるニューラルネットは、学習時において、以下の３点
で問題を有している。 （１）誤差最小が保証されず、極小値に陥ってしまう可
能性がある。 （２）最適解に少しでも近い解を得ようとすれば、多大
な学習時間を必要とする。 （３）現実的規模では所望の写像の近似能力が不十分な
場合がある。

【００２２】本発明はこのような状況に鑑みてなされた
ものであり、短時間に、確実に、最適解を得ることがで
きるようにするとともに、より近似能力の高い写像を得
ることができるようにするものである。

【００２３】また、処理のためにデータを記憶する場合
の容量が少なくて済み、追加学習も可能にするばかりで
なく、識別能力を有するようにするものである。

【００２４】

【課題を解決するための手段】本発明の写像決定方法
は、Ｎ次元計量ベクトル空間Ω_NからＭ次元計量ベクト
ル空間Ω_Mへの写像Ｆを求める写像決定方法において、
写像Ｆの第ｍ成分の関数ｆ_m（Ｘ）を、Ｌ_m個の関数ｇ_lm
（Ｘ）と係数ｃ_lmとの積の線形和

【数６】 により表すことを特徴とする。

【００２５】この場合、Ｑ個のカテゴリＣ_q（ｑ＝０，
１，２，・・・，Ｑ−１）に分類されているＮ次元計量
ベクトル空間Ω_N上の学習サンプルＳ_q（＝（Ｓ_q0，
Ｓ_q1，・・・，Ｓ_q(N-1)））と、カテゴリＣ_qに対する
Ｍ次元計量ベクトル空間Ω_M上のＱ個の教師ベクトルＴ_q
（＝（ｔ_q0，ｔ_q1，ｔ_q2，・・・，ｔ_q(M-1)））とを与
えて、所定の評価関数Ｊを演算し、評価関数Ｊを最小に
する係数ｃ_lmを求めるようにすることができる。

【００２６】この評価関数Ｊは、Ｅ｛Ｘ∈Ｓ_q｝｛ｆ
（Ｘ）｝を、学習サンプルＳ_qの全要素にわたって関数
ｆ（Ｘ）の期待値を求める演算とするとき、

【数７】 で表されるようにすることができる。

【００２７】また、関数ｇ_lm（Ｘ）は、Ｎ変数関数空間
上の完備な関数系に属するものとし、Ｌ_mの値は、教師
ベクトルＴ_qとの誤差が充分小さくなる値に設定するこ
とができる。

【００２８】従って、関数ｇ_lm（Ｘ）は、Ｎ変数の単項
式とすることができる。

【００２９】また、係数ｃ_lmは、各ｍに対して、 α_qmij＝Ｅ｛Ｘ∈Ｓ_q｝｛ｇ_im（Ｘ）ｇ_jm（Ｘ）｝ β_qmi ＝Ｅ｛Ｘ∈Ｓ_q｝｛ｇ_im（Ｘ）｝ とするとき、

【数８】 の線形方程式を解くことにより求めることができる。

【００３０】あるいは、係数ｃ_lmは、評価関数Ｊに対し
て最急降下法を適用して求めることができる。

【００３１】また、関数ｆ_m（Ｘ）を求めた後、さらに
シグモイド関数による演算を行うようにしてもよい。

【００３２】係数ｃ_lmは、逐次的に決定することができ
る。この場合、ｔ＋１回目の学習データをｘ、ｔ＋１回
目の写像の係数をｃ_kn（ｔ＋１）、ｔ回目の写像の係数
をｃ_kn（ｔ）、修正関数をＤ_nq、所定の定数をεとする
とき、ｔ＋１回目の係数ｃ_kn（ｔ＋１）は、次式 ｃ_kn（ｔ＋１）＝ｃ_kn（ｔ）−εＤ_nq（ｘ，ｔ）ｇ
_nk（ｘ） より演算することができる。

【００３３】また係数ｃ_lmを逐次的に決定する前に、係
数ｃ_lmに所定の値を初期設定することができる。さらに
学習データは、カテゴリＣ_q毎に設定することができ
る。

【００３４】これらの方法を適用して、写像装置を実現
することができる。

【００３５】この装置には、評価関数Ｊを最小にする係
数ｃ_lmを記憶する記憶手段（例えば図３の係数格納部３
２）と、数６の式に基づいて関数ｆ_m（Ｘ）を演算する
演算手段（例えば図３のＧＧＭ計算部３１）とを設ける
ことができる。

【００３６】

【作用】上記構成の写像決定方法および装置において
は、写像Ｆの第ｍ成分の関数ｆ_m（Ｘ）が、Ｌ_m個の関数
ｇ_lm（Ｘ）と係数ｃ_lmとの積の線形和により表される。
従って、極小値に陥ることなく、最適解（最小値）を得
ることが可能になる。

【００３７】

【実施例】本発明においては、Ｎ次元計量ベクトル空間
Ω_NからＭ次元計量ベクトル空間Ω_Mへの写像Ｆを決定す
るに際し、写像Ｆの第ｍ成分の関数ｆ_m（Ｘ）が、Ｌ_m個
の関数ｇ_lm（Ｘ）の線形和として、次に示すように定義
される。

【００３８】

【数９】

【００３９】ここで、Ｘ＝（ｘ₀，ｘ₁，ｘ₂，・・・，
ｘ_N-1）であり、ｃ_lmは所定の係数である。

【００４０】即ち、本発明においては、関数ｇ_lm（Ｘ）
として、Ｎ変数関数空間上の完備な関数系が採用され
る。関数解析における「任意の関数は完備な関数系の線
形結合で表現することができる」という定理から、個数
Ｌ_mの大きさを充分大きくすることにより、原理的に
は、任意の連続写像を、この関数ｇ_lm（Ｘ）により表現
することができることが判る。

【００４１】このことは、階層型ニューラルネットにお
ける中間層のニューロン素子の数が充分大きければ、原
理的には、任意の連続写像を表現することができること
に対応する。

【００４２】図１５に示す従来のニューラルネットワー
クとの比較のために、本発明の写像をネットワークで表
現すると、図１に示すようになる。

【００４３】即ち、素子１１乃至１４には、それぞれ入
力ｘ₀乃至ｘ₃が入力される。これらの入力は、それぞれ
中間層の素子１５乃至１７にそのまま出力される。

【００４４】中間層の素子１５においては、次式で表さ
れるような演算が行われる。

【００４５】

【数１０】

【００４６】即ち、変数ｘ₀，ｘ₁，ｘ₂，ｘ₃から関数ｇ
₀（Ｘ）（＝ｇ₀（ｘ₀，ｘ₁，ｘ₂，ｘ₃））の関数値を計
算した後、係数ｃ₀が乗算される。同様に、素子１６と
素子１７においては、それぞれ次式で表すような演算が
行われる。

【００４７】

【数１１】

【００４８】

【数１２】

【００４９】そして、出力層の素子１８において、中間
層の素子１５乃至１７の出力ｘ’₀，ｘ’₁，ｘ’₂が加
算され、出力ｙが得られる。

【００５０】従って、関数ｇ_i（Ｘ）を所定のものに選
択、設定すれば、その後、学習により、係数ｃ_iを所定
のものに設定することで、写像Ｆが得られることにな
る。

【００５１】この係数ｃ_iを決定するため、Ｑ個のカテ
ゴリＣ_q（ｑ＝０，１，２，・・・，Ｑ−１）に分類さ
れているＮ次元（計量）ベクトル空間Ω_N上の学習サン
プル（カテゴリＣ_qの学習サンプルの集合をＳ_q（＝（Ｓ
_q0，Ｓ_q1，・・・，Ｓ_q(N-1)））とする）を用い、それ
ぞれのカテゴリＣ_qに対するＭ次元（計量）ベクトル空
間Ω_M上のＱ個の教師ベクトルＴ_q（＝（ｔ_q0，ｔ_q1，ｔ
_q2，・・・，ｔ_q(M-1)））を与え、次式で表される評価
関数Ｊを演算する。

【００５２】

【数１３】

【００５３】尚、上式におけるＥ｛Ｘ∈Ｓ_q｝｛ ｝
は、｛ ｝内において、学習用サンプルの集合Ｓ_qの全
要素にわたって、平均値（期待値）を演算することを意
味する。従って、評価関数Ｊは、学習サンプルに対する
写像出力と教師ベクトルとの自乗誤差のアンサンブル平
均を意味している。

【００５４】（３）式を、（７）式に代入すると、次式
が得られる。

【００５５】

【数１４】

【００５６】ここで、 α_qmij＝Ｅ｛Ｘ∈Ｓ_q｝｛ｇ_im（Ｘ）ｇ_jm（Ｘ）｝ （９） β_qmi ＝Ｅ｛Ｘ∈Ｓ_q｝｛ｇ_im（Ｘ）｝ （１０） とおくと、上記（８）式は、次のように表すことができ
る。

【００５７】

【数１５】

【００５８】ここで、評価関数Ｊの極値を求めるため、
（１１）式を、次式で表すように、ｃ_imで偏微分し、そ
の値を０とする。

【００５９】

【数１６】

【００６０】（１１）式を、（１２）式に示すように演
算することにより、次式が得られる。

【００６１】

【数１７】

【００６２】この（１３）式は、各ｍに関し、Ｌ_m個の
未知数（係数）ｃ_im（ｉ＝０，１，・・・，Ｌ_m-1）に
関する連立一次方程式となる。

【００６３】この（１３）式を、さらに、次の（１４）
式と（１５）式のようにおくと、（１６）式に示すよう
な簡潔な形となる。

【００６４】

【数１８】

【００６５】

【数１９】

【００６６】

【数２０】

【００６７】（１３）式または（１６）式は、一次方程
式であるから、不定あるいは不能となる特殊な場合を除
き、一意に解が得られる。

【００６８】このことは、（８）式で表される評価関数
Ｊの最小値に対応するｃ_imが、（１３）式の方程式また
は（１６）式の方程式を解くことにより、求めることが
できることを意味する。

【００６９】この解が一意に決まるという特性は、ニュ
ーラルネットにおけるような準最適解を求めるために、
初期値を変更して繰り返し学習する処理を不要にする。
また、（３）式に示すように写像を表現するようにした
ため、係数ｃ_imの値の自由度と、関数ｇ_lm（Ｘ）とし
て、どのような関数を採用するかの自由度があることに
なる（即ち、大きくは自由度が２種類となる）。

【００７０】このため、同程度の規模で考えれば、写像
の潜在的表現能力は、上述した本発明による写像決定方
法（ＧＧＭ（Guaranteed Global minimum Mapping））
の方が、ニューラルネットよりも大きくなる。なぜなら
ば、ニューラルネットの場合には、規模が固定されれ
ば、残る表現の自由度は、結合重み係数の値の取り得る
自由度だけとなるからである。

【００７１】次に、本発明を、２次元データの２カテゴ
リへの判別を行なう判別装置に適用した実施例について
説明する。

【００７２】この実施例においては、入力空間の次元数
Ｎ＝２、出力空間の次元数Ｍ＝１、カテゴリの数Ｑ＝２
（そのカテゴリをＣ₀，Ｃ₁とする）とされる。また、各
カテゴリに学習用データ（人工データ）が２３サンプル
与えられ、カテゴリＣ₀，Ｃ₁の教師ベクトルが、それぞ
れＴ₀＝（０），Ｔ₁＝（１）（この場合は、Ｍ＝１であ
るから、スカラー）とされる。

【００７３】尚、本実施例ではＭ＝１であるから、今後
ｍに関する添字は省略する。従って、例えばＬ_mは、Ｌ
と略記する。

【００７４】表１は、この実施例におけるカテゴリ
Ｃ₀，Ｃ₁のそれぞれ２３サンプルの２次元データ（学習
サンプル）の一覧表である。

【００７５】

【表１】

【００７６】カテゴリＣ₀のデータＮｏ．２１からデー
タＮｏ．２３のデータは、カテゴリＣ₁のデータＮｏ．
４４からデータＮｏ．４６のデータとコンフュージョン
するように与えられている（同一のデータとされてい
る）。

【００７７】図２は、これらのデータを２次元に配置し
た状態を示す図である。同図において、縦軸は、表１に
示す、左右１対の値よりなる各サンプルデータのうち
の、左側の値を、また、横軸は、右側の値を、それぞれ
表している。

【００７８】図３は、以上の２次元データを処理する判
別装置の構成例を示している。上述した２次元データ
は、ＧＧＭ（Guaranteed Global minimum Mapping）計
算部３１に入力され、所定の演算が行われるようになさ
れている。係数格納部３２には、所定の係数ｃ_iが記憶
されており、ＧＧＭ計算部３１は、この係数格納部３２
に記憶されている係数ｃ_iを適宜参照し、所定の演算を
行うようになされている。ＧＧＭ計算部３１の出力ｙ
は、判別部３３に供給され、所定の判別が行われるよう
になされている。

【００７９】すべての単項式からなる系は完備であるか
ら、単項式ｇ_iを適宜選択することにより、これらの単
項式の線形結合により生成される写像によって、任意の
連続写像を表現することができる。そこで、このＧＧＭ
計算部３１においては、関数ｇ_i（Ｘ）として、２変数
の単項式の５次までの全ての項を採用する。即ち、ＧＧ
Ｍ計算部３１においては、写像Ｆの関数ｆ_m（Ｘ）を次
式のように定義する。 ｆ_m（Ｘ）＝ｃ₂₀ｘ₀ ³ｘ₁ ²＋ｃ₁₉ｘ₀ ²ｘ₁ ³＋ｃ₁₈ｘ₀ ²ｘ₁ ² ＋ｃ₁₇ｘ₀ｘ₁ ⁴＋ｃ₁₆ｘ₀ｘ₁ ³＋ｃ₁₅ｘ₀ｘ₁ ²＋ｃ₁₄ｘ₀ ⁴ｘ₁ ＋ｃ₁₃ｘ₀ ³ｘ₁＋ｃ₁₂ｘ₀ ²ｘ₁＋ｃ₁₁ｘ₀ｘ₁＋ｃ₁₀ｘ₁ ⁵＋ｃ₉ｘ₁ ⁴ ＋ｃ₈ｘ₁ ³＋ｃ₇ｘ₁ ²＋ｃ₆ｘ₁＋ｃ₅ｘ₀ ⁵＋ｃ₄ｘ₀ ⁴＋ｃ₃ｘ₀ ³ ＋ｃ₂ｘ₀ ²＋ｃ₁ｘ₀＋ｃ₀ （１７）

【００８０】この実施例は、（３）式におけるＬ＝２１
の場合に対応する。

【００８１】このＧＧＭ計算部３１は、図４のフローチ
ャートに示す処理に従って、最初に係数ｃ_iを演算す
る。

【００８２】図４のステップＳ１においては、各カテゴ
リＣ₀，Ｃ₁のそれぞれＬ_m個のサンプル値を、（９）式
と（１０）式に全て代入し、α_qijとβ_qi（期待値）を
求める。

【００８３】例えば、（１０）式のＥ｛Ｘ∈Ｓ_q｝
｛ ｝における｛ ｝内の関数が定数の１であるとき、
期待値（平均値）も１となる。このため、β₀＝１とな
る。同様にして、各関数に、各カテゴリのサンプルデー
タの値を全て代入し、平均値の演算を行うことで、β_qi
を求めることができる。

【００８４】また、（９）式のα_qijも、Ｅ｛Ｘ∈Ｓ_q｝
｛ ｝の｛ ｝内が、ｇ_i（Ｘ）とｇ_j（Ｘ）の積である
から、その積に、各カテゴリのサンプルデータの値を代
入し、平均演算を行うことにより求めることができる。

【００８５】次にステップＳ２に進み、ステップＳ１で
求めたα_qij，β_qiを、（１４）式と（１５）式に代入
し、α_ijとβ_iを求める。

【００８６】さらにステップＳ３に進み、（１６）式の
方程式から、一次方程式の解法プログラムなどを用い、
６個の未知数ｃ_iを求める。

【００８７】以上のようにして求められた係数ｃ_iは、
係数格納部３２に格納される。

【００８８】以上のようにして、係数ｃ_iが求められる
と、次に、ＧＧＭ計算部３１は、入力される２次元デー
タ（学習サンプル）に対して、図５のフローチャートに
示すような処理を実行する。

【００８９】最初にステップＳ１１において、カウンタ
ｉを０に、また、出力値ｙを０に初期設定する。次にス
テップＳ１２に進み、入力ベクトル（ｘ₀，ｘ₁）から、
関数ｇ_i（ｘ₀，ｘ₁）を演算する。いまの場合、ｉ＝０
であるから、関数ｇ₀（ｘ₀，ｘ₁）を演算する。

【００９０】次にステップＳ１３に進み、係数格納部３
２に記憶されている係数ｃ_iを読み込み、ｃ_iｇ_i（ｘ₀，
ｘ₁）を演算し、この演算して得られた結果に対し、出
力値ｙを加算し、これを新たな出力値ｙとする。いまの
場合、ｙ＝０であるから、新たな出力値ｙは、ｙ＝ｃ₀
ｇ₀（ｘ₀，ｘ₁）＝ｃ₀となる。

【００９１】次にステップＳ１４に進み、カウンタの値
ｉが２０に等しいか否かが判定され、ｉが２０に達して
いないとき、ステップＳ１５に進み、ｉを１だけインク
リメントし（ｉ＝１とし）、ステップＳ１２に戻る。そ
して、ステップＳ１２においては、関数ｇ₁（ｘ₀，
ｘ₁）を演算する。そしてステップＳ１３において、係
数格納部３２から係数ｃ₁を読み込み、ｃ₁ｇ₁（ｘ₀，ｘ
₁）に、それまでの出力値ｙ（＝ｃ₀）を加算し、新たな
出力値ｙ＝ｃ₁ｘ₀＋ｃ₀を得る。

【００９２】以下、同様の処理を繰り返し、（１７）式
により表される演算を実行し、出力値ｙを求める。

【００９３】以上の図５の処理をブロック図に表すと、
図６に示すようになる。この例においては、乗算回路５
１乃至５４に、入力ｘ₀が入力されている。乗算器５１
には、他の入力端子からも入力ｘ₀が入力されており、
乗算器５１は、この２つの入力ｘ₀を乗算し、出力ｘ₀ ²
を出力する。

【００９４】乗算器５１の出力ｘ₀ ²は、乗算器５２に入
力され、乗算器５２は、入力ｘ₀と入力ｘ₀ ²を乗算し、
出力ｘ₀ ³を出力する。

【００９５】乗算器５２の出力ｘ₀ ³は、乗算器５３に入
力され、乗算器５３は、入力ｘ₀と入力ｘ₀ ³を乗算し、
出力ｘ₀ ⁴を出力する。

【００９６】乗算器５３の出力ｘ₀ ⁴は、乗算器５４に入
力され、乗算器５４は、入力ｘ₀と入力ｘ₀ ⁴を乗算し、
出力ｘ₀ ⁵を出力する。

【００９７】同様にして、乗算器５６乃至５９が、入力
ｘ₁から出力ｘ₁ ²乃至ｘ₁ ⁵を生成し、出力している。

【００９８】また、乗算器６０乃至６３は、入力ｘ₀と
入力ｘ₁とを乗算し、出力ｘ₀ｘ₁，ｘ₀ ²ｘ₁，ｘ₀ ³ｘ₁，
ｘ₀ ⁴ｘ₁を生成し、出力している。

【００９９】また、乗算器６４乃至６９は、入力ｘ₁，
ｘ₀を演算し、出力ｘ₀ｘ₁ ²，ｘ₀ｘ₁ ³，ｘ₀ｘ₁ ⁴，ｘ₀ ²ｘ
₁ ²，ｘ₀ ²ｘ₁ ³，ｘ₀ ³ｘ₁ ²を出力している。

【０１００】さらに、乗算器７０乃至９０は、入力１，
ｘ₀，ｘ₀ ²，ｘ₀ ³，ｘ₀ ⁴，ｘ₀ ⁵，ｘ₁，ｘ₁ ²，ｘ₁ ³，
ｘ₁ ⁴，ｘ₁ ⁵，ｘ₀ｘ₁，ｘ₀ ²ｘ₁，ｘ₀ ³ｘ₁，ｘ₀ ⁴ｘ₁，ｘ₀
ｘ₁ ²，ｘ₀ｘ₁ ³，ｘ₀ｘ₁ ⁴，ｘ₀ ²ｘ₁ ²，ｘ₀ ²ｘ₁ ³，ｘ₀ ³ｘ
₁ ²に対して、それぞれ係数ｃ₀乃至ｃ₂₀を乗算し、出力
している。

【０１０１】加算器９１は、これら乗算器７０乃至９０
の出力を加算し、出力ｙとして出力している。

【０１０２】以上のようにして、出力値ｙが求められる
と、この出力値ｙは、図３の判別部３３に供給される。
判別部３３は、図７のフローチャートに示すような処理
を実行する。

【０１０３】即ち、最初にステップＳ２１において、入
力された値ｙを所定の閾値０．４および０．６と比較す
る。そしてステップＳ２２とステップＳ２３において、
値ｙが０．４より小さいか、あるいは０．６より大きい
か否かをそれぞれ判定する。

【０１０４】ステップＳ２２において、演算値ｙが０．
４より小さいと判定された場合、ステップＳ２５に進
み、入力されたデータ（ｘ₀，ｘ₁）はカテゴリ０に属す
るものと判定する。

【０１０５】一方、ステップＳ２３において、演算値ｙ
が０．６より大きいと判定された場合、ステップＳ２６
に進み、入力されたデータ（ｘ₀，ｘ₁）はカテゴリ１に
属するものと判定する。

【０１０６】ステップＳ２２とステップＳ２３におい
て、演算値ｙが０．４以上、０．６以下であると判定さ
れた場合、ステップＳ２７に進み、入力（ｘ₀，ｘ₁）
は、カテゴリ０とカテゴリ１のいずれにも属さないもの
（不定）として判定する。

【０１０７】表１と図２に示した４６個のサンプルを、
ＧＧＭ計算部３１において演算し、得られた出力値ｙを
図に表すと、図８に示すようになる。図８において、横
軸は、４６個のサンプルの番号に対応し、縦軸は、各サ
ンプルの出力値ｙを表している。

【０１０８】図８から明かなように、カテゴリＣ₀の２
０個のサンプルは、教師ベクトル０に近づき、カテゴリ
Ｃ₁の２０個のサンプルは、教師ベクトル１に近づいて
いる。そして、コンフュージョンが存在する３個のサン
プルは、０と１の中間的な値に変換されていることが判
る。

【０１０９】ここで、従来の写像決定方式であるニュー
ラルネットと比較するために、学習により決定すべきパ
ラメータ（結合重み係数ω_i）の個数が、上記実施例と
同様に２１個である中間層が５個の３層ニューラルネッ
トを用いて、同一の学習サンプルと教師ベクトルで処理
した結果を、図９と図１０に示す。図９は、ニューラル
ネットによる変換の成功例を表し、図１０は、失敗例を
表している。

【０１１０】ニューラルネットの場合、初期値を乱数で
変え、１０回学習を実行した結果、うち８回が図９のよ
うな結果を得、うち２回が図１０のような結果が得られ
た。この後者の２回は、明らかに、ローカルミニマムに
陥った場合と考えられる。

【０１１１】図９のニューラルネットの成功例と、図８
の本実施例（ＧＧＭ）の結果とを比較すると、一見、ニ
ューラルネットの場合（図９）の方が、教師ベクトルと
の誤差が小さくなっているように思われる。しかしなが
ら、これは、ニューラルネットの場合は、出力層にシグ
モイド関数が入っているので、両端が０と１に張り付く
傾向があることに起因する。

【０１１２】つまり、写像の優劣を正確に評価するため
には、ニューラルネットの出力にシグモイド関数の逆関
数を施して、本発明の写像（ＧＧＭ）の出力と比較する
か、または逆に、図１１に示すように、本発明による写
像（ＧＧＭ）の出力に、シグモイド関数計算部４１によ
りシグモイド関数を施して、ニューラルネットの出力と
比較する必要がある。

【０１１３】以後、図１１に示すように、ＧＧＭの出力
にシグモイド関数を施した写像を、ＧＧＭＳ（Guarante
ed Global minimum Mapping with Sigmoid）と呼ぶこと
にする。

【０１１４】図１２は、図８の結果に、シグモイド関数
を施した結果を示す。この図１２の結果は、ＧＧＭが、
誤差の点でも、ニューラルネット（図９）に比較し、何
ら見劣りのしない結果を導くことを示している。

【０１１５】シグモイド関数は、ｓ（ｘ）＝１／（１＋
ｅｘｐ（−ｘ））なる形の１変数の単調関数であり、ｌ
ｏｇ（ｘ／（１−ｘ））（０＜ｘ＜１）なる逆関数が存
在するため、ＧＧＭの結果とＧＧＭＳの結果には、本質
的な差異はない。従って、出力がニューラルネットのよ
うに、０または１に張り付いた結果が好ましい場合に
は、ＧＧＭＳを用い、その他の場合には、ＧＧＭを用い
ればよい。

【０１１６】本実施例では関数ｇ₁（Ｘ）として単項式
を採用したが、本発明の基本的な構成は、与えられた学
習サンプルの分布状態の特質等を考慮した、より最適な
関数を選べる自由度があるため、より誤差の少ない写像
を決定できることになる。

【０１１７】このように決定された係数により構成され
た判別装置であることから、従来のニューラルネットに
よる判別装置に比較し、性能の優れた判別装置が実現で
きる。

【０１１８】以上のＧＧＭとニューラルネットの特性を
比較すると、表２に示すようになる。

【０１１９】

【表２】

【０１２０】この表に示すように、ニューラルネットに
おいては、中間層のニューロン素子の数を増加すること
で、任意の連続写像を記述することができるが、ＧＧＭ
においては、関数ｇ_i（Ｘ）を適宜選択することで、任
意の連続写像を記述することができる。

【０１２１】また、フリーパラメータは、ニューラルネ
ットにおいては、結合重み係数ω_iであるのに対し、Ｇ
ＧＭにおいては、係数ｃ_iである。しかしながら、ＧＧ
Ｍの場合は、さらにｇ_i（Ｘ）の関数形の選択の自由度
がある。従って、ＧＧＭにおいては、写像の表現能力に
関係する自由度が、大きく２種類存在することになる。

【０１２２】また、ニューラルネットにおいては、評価
関数の誤差を最小にすることは、初期値の問題があるた
め補償されないが、ＧＧＭにおいては、初期値の問題が
存在せず、確実に評価関数の誤差を最小にすることが可
能となる。

【０１２３】さらに、ニューラルネットにおける学習法
はバックプロパゲーションであるが、ＧＧＭにおける学
習は、線形方程式を解くことにより行われる。

【０１２４】さらに、写像の構造が、ニューラルネット
においては、シグモイド関数が内部に組み込まれた複雑
な構造となるのに対して、ＧＧＭにおいては、関数と係
数の積の和という単純な構造となる。

【０１２５】その他、写像の特性付けは、ニューラルネ
ットとＧＧＭ、いずれの場合においても、教師ベクトル
により行われ、評価関数は、いずれの場合も、出力と教
師ベクトルとの自乗誤差を最小にする関数が用いられ
る。

【０１２６】尚、本実施例においては、ＧＧＭを判別装
置に適用した例を、２次元の学習内データに対する判別
を行う場合で示したが、より多次元データの判別装置
や、入力パラメータからコントロール信号を出力する形
態の制御装置等で用いられる写像形態の計算部において
も、全く同様の構成の写像装置を実現することができ
る。

【０１２７】上記実施例では、写像Ｆ、つまり係数ｃ_lm
を求めるために、上記（７）式で表される評価関数Ｊ
を、係数ｃ_lmによって偏微分して得られる（１３）式ま
たは（１６）式の連立方程式（正規方程式）を解くよう
にした。このようにして決定された解は、その連立方程
式のヤコビ行列が特異（ランク落ち）でない限り、まさ
にＪの最小値を与える。この意味で、上記実施例は、最
も素朴かつ優れた方法であると言える。

【０１２８】しかしながら、このような係数の決定方法
では、（９）式と（１０）式における演算を行うため
に、各データを全て一旦メモリに記憶する必要があり、
写像の各成分関数の基底関数ｇ_lmを増やすと、（９）式
と（１０）式で示すα_qmij，β_qmiの数が増大する。こ
れにより、次の問題が発生する。 （１）α_qmij，β_qmiの決定に長い時間を費やさなけれ
ばならない。 （２）演算のために十分な記憶領域を必要とする。 （３）必要に応じて、追加学習（写像を修正）すること
が困難である（もう一度、Ｅ｛Ｘ∈Ｓ_q｝｛ｇ_im（Ｘ）
ｇ_jm（Ｘ）｝，Ｅ｛Ｘ∈Ｓ_q｝｛ｇ_im（Ｘ）｝を求め
て、正規方程式を解くことが必要である）。

【０１２９】そこで、データを入力する毎に逐次的に写
像を決定していく方法を考える。このために、写像の決
定を、写像の開折の力学系の軌道決定として定式化す
る。

【０１３０】上述したように、評価関数Ｊは（７）式で
表され、この（７）式は、次のように書き換えることが
できる。

【０１３１】

【数２１】

【０１３２】ここで、写像Ｆの次のような１パラメータ
開折Ｕを考える。 Ｕ：Ｒ^N×Ｒ→Ｒ^M Ｕ（ｘ，ｔ）＝（ｆ₀（ｘ，ｔ），・・・，ｆ_M-1（ｘ，ｔ）） （１９） 即ち、Ｒ^Mは、Ｒ^Nの要素ｘと、Ｒの要素ｔの組み合わせ
（直積）で表される。

【０１３３】尚、（１９）式において、ｆ_m（ｘ，ｔ）
は、次式で表される。

【０１３４】

【数２２】

【０１３５】この開折Ｕに対して、次式よりＪ（ｔの関
数）を求める。

【０１３６】

【数２３】

【０１３７】そして、次の力学系を考える。但し、簡単
のため、以後、（１／２）Ｊを、Ｊとする。

【０１３８】

【数２４】

【０１３９】この力学系に従い、Ｕ（即ち、係数ｃ
（ｔ））が動くとき、Ｊは非増加である。つまり、次式
が成立する。

【０１４０】

【数２５】

【０１４１】この（２３）式の等号成立の必要充分条件
は、次の通りである。

【０１４２】

【数２６】

【０１４３】実際、計算してみると、次式が成立する。

【０１４４】

【数２７】

【０１４５】従って、等号成立の必要充分条件は、上式
より明らかに次の通りとなる。

【０１４６】

【数２８】

【０１４７】これより、十分大なるｔに対して、ＵはＪ
の最小値になる。つまり、Ｊを最小にする写像（その係
数）を、次のようにして決定することができる。

【０１４８】

【数２９】

【０１４９】このように、写像を決定するために、この
力学系（微分方程式）の軌道（解曲線）を決定すればよ
い。

【０１５０】上記の力学系（微分方程式）の軌道（解曲
線）を、直接解析的に求めるのではなく、データ毎に逐
次的に導いていく。

【０１５１】

【数３０】

【０１５２】そこで、上記力学系の式におけるｄｃ_kn／
ｄｔを、（ｃ_kn（ｔ＋ｈ）−ｃ_kn（ｔ））で近似するこ
とにより、次式が得られる。

【０１５３】

【数３１】

【０１５４】また、次式が成立している。

【０１５５】

【数３２】

【０１５６】そこで、次式を定義する。 Ｄ_nq（ｘ，ｔ）≡ｆ_n（ｘ，ｔ）−ｔ_nq （３１）

【０１５７】これにより、次の逐次的学習規則が導かれ
る。

【０１５８】

【数３３】

【０１５９】この式は、次のように変形することができ
る。

【０１６０】

【数３４】

【０１６１】いま、 Ｓ_q∋ｘ（ｑ）：ｉ回目データ とするとき、次式が成立する。 ｃ_kn（ｔ＋（ｉ／Ｎ）ｈ）＝ｃ_kn（ｔ＋（（ｉ−１）／Ｎ）ｈ） −（ｈ／Ｃ_q）Ｄ_nq（ｘ（ｑ），ｔ）ｇ_nk（ｘ（ｑ）） （３４） （ｉ＝０，１，２，・・・） （１≦ｍ≦Ｍ−１，１≦ｌ≦Ｌ_m−１）

【０１６２】従って、次のように写像（係数）を更新す
ることができる。 ｃ_kn（ｔ＋１）＝ｃ_kn（ｔ）−εＤ_nq（ｘ，ｔ）ｇ_nk（ｘ） （３５） （ｔ＝０，１，・・・） （εは小なる定数）

【０１６３】即ち、（ｔ＋１）回目の学習データｘ（こ
れが、ｘ∈Ｓ_qであったとする）とするとき、各ｋ，ｎ
に対して、写像の係数ｃ_knを、（３５）式に従って更新
していく。この方式を使うことにより、所望の写像を決
定することができる。また、この方式は、一度得られた
写像（データを一旦全て記憶した後、まとめて処理する
方法により得られた写像であれ、データを逐次的に処理
する方法により得られた写像であれ）に対し、必要に応
じてその写像の係数を、この方法より更新することで、
写像を容易に修正することができる。

【０１６４】以上の原理に従って、逐次的にデータを処
理して写像Ｆを決定する（係数ｃ_lmを決定する）より詳
細な方法について、図１３のフローチャートを参照して
説明する。

【０１６５】いま、Ｆ（ｉ）を、ｉ回目に更新された設
定写像とし、Ｆ（ｉ）（ｘ）を、次式で定義する。 Ｆ（ｉ）（ｘ）＝（ｆ₀（ｉ）（ｘ），・・・，ｆ_M-1（ｉ）（ｘ）） （３６）

【０１６６】さらに、１≦ｍ≦Ｍ−１に対して、ｆ
_m（ｘ）を次式で表す。

【０１６７】

【数３５】

【０１６８】また、学習データ（特徴ベクトル）全体
を、次式で表す。 Ｄ＝｛ｄ_j｜ｊ＝１，・・・，Ｎ｝⊂Ｒ^N （３８）

【０１６９】さらに、各カテゴリｑ（ｑ＝１，・・・，
Ｑ−１）に対応する教師ベクトルＴを、 Ｔ＝（ｔ_q0，・・・，ｔ_qM-1） と表す。学習繰り返し制限回数をＳとする。

【０１７０】最初にステップＳ４１で、係数の初期化処
理を実行する。即ち、変数を、それぞれ、ｉ＝０，ｊ＝
０，ｓ＝０とするとともに、係数ｃ_lm（０）（１≦ｍ≦
Ｍ−１，０≦ｌ≦Ｌ_m−１）を小さい値の乱数で初期化
する。

【０１７１】次にステップＳ４２で、学習データのセッ
トを行う。即ち、ｄ_j∈Ｓ_q（いまの場合、ｄ₀）を学習
データとする。

【０１７２】さらにステップＳ４３に進み、写像値の計
算を行う。即ち、 Ｆ（ｉ）（ｄ_j）＝（ｆ₀（ｉ）（ｄ_j），・・・，ｆ_M-1（ｉ）（ｄ_j）） （３９） の値を計算する。

【０１７３】次にステップＳ４４で、誤差の計算を行
う。即ち、各ｍに対して、次式を計算する。 Ｄ_mｑ（ｉ）（ｄ_j）＝ｆ_m（ｉ）（ｄ_j）−ｔ_mq （４０）

【０１７４】ステップＳ４５では、係数の更新を行う。
即ち、次式を計算する。 ｃ_lm（ｉ＋１）＝ｃ_lm（ｉ）−εＤ_qm（ｄ_j）ｇ_lm（ｄ_j） （４１）

【０１７５】次にステップＳ４６で、学習データの更新
を行う。即ち、次データｄ_j+1をｄ_jとする。

【０１７６】さらにステップＳ４７に進み、学習データ
数ｊと、学習データ総数Ｎとを比較し、ｊ＜Ｎならステ
ップＳ４２に戻り、それ以降の処理を繰り返す。

【０１７７】ｊ＝Ｎの場合、ステップＳ４７からステッ
プＳ４８に進み、学習繰り返し数の更新を行う（インク
リメントする）。即ち、ｓ＝ｓ＋１とする。

【０１７８】次にステップＳ４９において、学習繰り返
し数ｓと、制限回数Ｓとを比較し、ｓ＜Ｓなら、ステッ
プＳ５０において、ｊ＝０とした後、ステップＳ４２に
戻り、それ以降の処理を繰り返す。ｓ＝Ｓの場合、処理
を終了する。

【０１７９】写像を修正する場合においては、ステップ
Ｓ４１において、係数ｃ_lmを小さい値の乱数で初期化す
る代わりに、先に決定された写像の所定の係数（値）を
ｃ_lm（０）（１≦ｍ≦Ｍ−１，０≦ｌ≦Ｌ_m−１）に代
入すればよい。

【０１８０】ところで、この写像決定方法を利用する
際、設定写像の決定が重要である。上記した最初の実施
例では、全学習データ（特徴ベクトル）を用いて相関係
数を計算することにより、成分関数の基底をなす単項式
を求めた。そして、この単項式により生成される（線形
結合として表される）多項式を各成分が持つように写像
を設定した。

【０１８１】これに対して、最初の実施例および後の実
施例のいずれにおいても、全学習データ（特徴ベクト
ル）を用いるのではなく、カテゴリに分けた学習データ
を使い、それらの相関係数より決定された単項式により
生成される多項式を、そのカテゴリに対応する成分関数
として設定し、これにより、設定写像自体に識別性を込
めるようにすることができる。

【０１８２】次に、図１４のフローチャートを参照し
て、その処理例について説明する。最初にステップＳ６
１で、各カテゴリｑ（０≦ｑ≦Ｑ−１）のベクトルをｘ
_q（＝（ｘ_q0，・・・，ｘ_qN-1））に対して、次式で表
される相関係数ρ_q,k,l（０≧ｋ≧ｌ≧Ｎ−１）を計算
する。

【０１８３】

【数３６】

【０１８４】次にステップＳ６２において、（０≦ｋ≦
ｌ≦Ｎ−１）なるｋ，ｌに対し、次の対応関係を考え
る。

【０１８５】

【数３７】

【０１８６】そして、さらに、これから次のような組み
合わせを作成する。

【０１８７】

【数３８】

【０１８８】また、ステップＳ６３では、ｄ＝３からｄ
＝Ｄ_qまで、以下の処理を繰り返す。即ち、（ｄ＋１）
個の組（ｃ_q1，ｃ_q2，・・・，ｃ_qd；ｖ）から、次のよ
うな（ｄ＋２）個の組を作る（ここで、Ｄ_qは、パター
ン集合の規模、処理時間の現実性にあわせて予め決定す
る）。

【０１８９】

【数３９】

【０１９０】ステップＳ６４では、ステップＳ６２，Ｓ
６３で作った組および、（１），（ｋ_q，ｌ），（０≦
ｋ≦Ｎ）を加えたリストを、右端値（（・・・；ｖ）に
おけるｖの値）について大きい順に、かつ、組数の小さ
い順に並べ、パターン集合の規模、処理時間の現実性に
あわせてＷ個選択する。このＷは、成分関数毎に変えて
も構わない。

【０１９１】ステップＳ６５では、選択したＷ個の組に
対して、次のように単項式を決定する。 （ｃ_qi(1)，ｃ_qi(2)，・・・，ｃ_qi(l)）→ｘ_i(1)ｘ
_i(2)・・・ｘ_i(l) ここで、 ０≦ｌ≦Ｎ−１，１≦ｉ（１）≦ｉ（２），・・・，≦
ｉ（ｌ） である。そして、これらにより生成される次のような多
項式を成分関数ｆ_qとして決定する（１≦ｑ≦Ｑ−１な
る全てのカテゴリに対して、上記のように対応する成分
関数を決定する）。

【０１９２】

【数４０】

【０１９３】次にステップＳ６６で、これらの成分関数
より設定写像を決定し、さらにステップＳ６７で、上述
した先のまたは後の写像決定法に従って、写像を決定す
る。

【０１９４】このように、カテゴリに対応して成分関数
を設定することにより、各カテゴリのデータの特質を、
より効果的に関数に反映することができ、より正確な判
別結果を得ることができる。即ち、識別性をより向上さ
せることができる。

【０１９５】

【発明の効果】以上説明したように、本発明によれば次
の効果が得られる。 （１）誤差最小（グローバルミニマム）を保証できる。 （２）関数ｇ_lm（Ｘ）の選択の自由度がある。 （３）代数的方法（方程式を解く方法）による場合にお
いては、初期値問題が無いため、繰り返し学習が不要と
なり、高速学習が可能となる。

【０１９６】従って、同程度のニューラルネットと比較
し、所望の写像をより正確に近似した写像を実現するこ
とができ、目的に対して、より効果的な写像装置を実現
することが可能になる。

【０１９７】また、係数を逐次的に決定するようにした
場合においては、より短い時間で、かつ、処理のために
データを記憶するための容量を大きくすることなく、係
数を決定することができる。さらに、写像を容易に修正
することが可能となる。

【０１９８】また、カテゴリ毎に学習データを設定する
ようにした場合においては、写像自体に識別性を込める
ことが可能になる。

【図面の簡単な説明】

【図１】本発明の写像決定方法を用いたネットワークの
構成を示す図である。

【図２】図３の実施例において処理する学習サンプルを
２次元に配置した状態を示す図である。

【図３】本発明の写像決定方法を応用した判別装置の構
成例を示すブロック図である。

【図４】図３のＧＧＭ計算部３１の動作を説明するフロ
ーチャートである。

【図５】図３のＧＧＭ計算部３１の他の動作を説明する
フローチャートである。

【図６】図５の処理の構成例を示すブロック図である。

【図７】図３の判別部３３の動作を説明するフローチャ
ートである。

【図８】図３のＧＧＭ計算部３１の演算結果を示す図で
ある。

【図９】ニューラルネットにおける処理の成功例を示す
図である。

【図１０】ニューラルネットにおける処理の失敗例を示
す図である。

【図１１】本発明の写像決定方法を応用した他の判別装
置の構成例を示す図である。

【図１２】図１１の処理結果を示す図である。

【図１３】データを逐次的に処理する場合の処理例を示
すフローチャートである。

【図１４】学習データをカテゴリ毎に設定する場合の処
理例を示すフローチャートである。

【図１５】従来のニューラルネットの構成例を示す図で
ある。

【符号の説明】

１乃至８ ニューロン素子 １１乃至１８ 素子 ３１ ＧＧＭ計算部 ３２ 係数格納部 ３３ 判別部

フロントページの続き (72)発明者 石井 和夫 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 加藤 靖彦 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 表 雅則 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内 (72)発明者 南野 活樹 東京都品川区北品川６丁目７番35号 ソニ ー株式会社内

Claims (14)

【特許請求の範囲】
1. 【請求項１】 Ｎ次元計量ベクトル空間Ω_NからＭ次元
   計量ベクトル空間Ω_Mへの写像Ｆを求める写像決定方法
   において、 前記写像Ｆの第ｍ成分の関数ｆ_m（Ｘ）を、Ｌ_m個の関数
   ｇ_lm（Ｘ）と係数ｃ_lmとの積の線形和 【数１】 により表すことを特徴とする写像決定方法。
2. 【請求項２】 Ｑ個のカテゴリＣ_q（ｑ＝０，１，２，
   ・・・，Ｑ−１）に分類されているＮ次元計量ベクトル
   空間Ω_N上の学習サンプルＳ_q（＝（Ｓ_q0，Ｓ_q1，・・
   ・，Ｓ_q(N-1)））と、前記カテゴリＣ_qに対するＭ次元
   計量ベクトル空間Ω_M上のＱ個の教師ベクトルＴ_q（＝
   （ｔ_q0，ｔ_q1，ｔ_q2，・・・，ｔ_q(M-1)））とを与え
   て、所定の評価関数Ｊを演算し、 前記評価関数Ｊを最小にする前記係数ｃ_lmを求めること
   を特徴とする請求項１に記載の写像決定方法。
3. 【請求項３】 前記評価関数Ｊは、Ｅ｛Ｘ∈Ｓ_q｝｛ｆ
   （Ｘ）｝を、学習サンプルＳ_qの全要素にわたって前記
   関数ｆ（Ｘ）の期待値を求める演算とするとき、 【数２】 で表されることを特徴とする請求項２に記載の写像決定
   方法。
4. 【請求項４】 前記関数ｇ_lm（Ｘ）は、Ｎ変数関数空間
   上の完備な関数系に属し、 前記Ｌ_mの値を、教師ベクトルＴ_qとの誤差が充分小さく
   なる値に設定することを特徴とする請求項２または３に
   記載の写像決定方法。
5. 【請求項５】 前記関数ｇ_lm（Ｘ）は、Ｎ変数の単項式
   であることを特徴とする請求項４に記載の写像決定方
   法。
6. 【請求項６】 前記係数ｃ_lmは、各ｍに対して、 α_qmij＝Ｅ｛Ｘ∈Ｓ_q｝｛ｇ_im（Ｘ）ｇ_jm（Ｘ）｝ β_qmi ＝Ｅ｛Ｘ∈Ｓ_q｝｛ｇ_im（Ｘ）｝ とするとき、 【数３】 の線形方程式を解くことにより求めることを特徴とする
   請求項３乃至５のいずれかに記載の写像決定方法。
7. 【請求項７】 前記係数ｃ_lmは、前記評価関数Ｊに対し
   て最急降下法を適用して求めることを特徴とする請求項
   ２または３に記載の写像決定方法。
8. 【請求項８】 前記関数ｆ_m（Ｘ）を求めた後、さらに
   シグモイド関数による演算を行うことを特徴とする請求
   項１乃至７のいずれかに記載の写像決定方法。
9. 【請求項９】 前記係数ｃ_lmは、逐次的に決定すること
   を特徴とする請求項１または２に記載の写像決定方法。
10. 【請求項１０】 ｔ＋１回目の学習データをｘ、ｔ＋１
    回目の写像の係数をｃ_kn（ｔ＋１）、ｔ回目の写像の係
    数をｃ_kn（ｔ）、修正関数をＤ_nq、所定の定数をεとす
    るとき、ｔ＋１回目の係数ｃ_kn（ｔ＋１）は、次式 ｃ_kn（ｔ＋１）＝ｃ_kn（ｔ）−εＤ_nq（ｘ，ｔ）ｇ
    _nk（ｘ） より演算することを特徴とする請求項９に記載の写像決
    定方法。
11. 【請求項１１】 前記係数ｃ_lmを逐次的に決定する前
    に、前記係数ｃ_lmに所定の値を初期設定することを特徴
    とする請求項９または１０に記載の写像決定方法。
12. 【請求項１２】 前記学習データは、前記カテゴリＣ_q
    毎に設定されることを特徴とする請求項１乃至１１のい
    ずれかに記載の写像決定方法。
13. 【請求項１３】 請求項１乃至１２のいずれかに記載の
    方法を適用したことを特徴とする写像装置。
14. 【請求項１４】 請求項２に記載の方法を適用した写像
    装置であって、 前記評価関数Ｊを最小にする係数ｃ_lmを記憶する記憶手
    段と、 請求項１に記載の式に基づいて前記関数ｆ_m（Ｘ）を演
    算する演算手段とを備えることを特徴とする写像装置。