JPH06325009A - 学習機械およびそれを用いたデータ分析装置 - Google Patents

Abstract

(57)【要約】 【目的】 リジェクトを発生させるための最適な基準を
生成し、該基準に基づいてリジェクトを常に信頼性良く
出力させることが可能である。 【構成】 学習データ発生部１は、所定の離散確率分布
｛ｑ_j｝に従って、Ｎ個の学習データを発生させる。条
件付き確率推定部２では、有限個または可算個の元から
なる離散的な入力空間Ｘ＝（｛ｘ_j｝）上の入力点ｘ_jに
対して出力空間Ｙ＝｛“０”，“１”｝のうち、“１”
の出力が出る条件付き確率，すなわちBayes事後確率の
推定値＜ｆ_j＞をＮ個の学習データを用いて得る。ま
た、入力確率推定部３は、入力空間Ｘ（＝｛ｘ_j｝）上
の各入力点への入力確率の推定量＜ｑ_j＞をＮ個の学習
データを用いて得る。推定誤差算出部４は、このように
して得られたBayes事後確率の推定値＜ｆ_j＞と入力確率
の推定量＜ｑ_j＞とを用いて、Bayes事後確率の推定値＜
ｆ_j＞の誤差の推定値Ｅ_jを得る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、文字認識，音声認識，
画像認識などの認識装置、あるいは、運動制御，機械動
作制御などの制御装置等に利用可能な学習機械およびそ
れを用いたデータ分析装置に関する。

【０００２】一般に、例えばパターン認識装置などにお
いては、入力が与えられたときに、この入力を分析し、
この入力が各種の出力のうちのどの出力に対応するかを
判定し、この入力に対応した出力を得るようにしてい
る。この際、入力がどの出力に対応するのかが判定不可
能である場合には、リジェクトとして出力する必要があ
る。

【０００３】

【発明が解決しようとする課題】しかしながら、従来に
おいては、リジェクトを出力させるための基準としてど
のような基準が正しいかが明確ではなく、最適な基準に
基づいてリジェクトが出力されているとは限らなかっ
た。

【０００４】本発明は、リジェクトを発生させるための
最適な基準を生成し、該基準に基づいてリジェクトを常
に信頼性良く出力させることの可能な学習機械およびそ
れを用いたデータ分析装置を提供することを目的として
いる。

【０００５】

【課題を解決するための手段および作用】上記目的を達
成するために、請求項１，請求項２記載の発明は、所定
の離散確率分布｛ｑ_j｝に従って、所定個数Ｎの学習デ
ータを発生させる学習データ発生手段と、所定個数Ｎの
学習データを用いて、有限個または可算個の元からなる
離散的な入力空間Ｘ＝｛ｘ_j｝上の入力点ｘ_jに対して出
力空間Ｙ＝｛“０”，“１”｝のうち“１”の出力が出
る条件付き確率ｆ（１｜ｘ_j）を推定する条件付き確率
推定手段と、前記所定個数Ｎの学習データを用いて、入
力空間上の各入力点への入力確率を推定する入力確率推
定手段と、条件付き確率の推定値と学習データ数Ｎと入
力確率の推定値とを用いて各入力点ごとの誤差を推定す
る推定誤差算出手段とを有しており、前記条件付き確率
推定手段によって推定された各入力点ごとの条件付き確
率の推定値および前記推定誤差算出手段によって推定さ
れた各入力点ごとの誤差の推定値を学習結果として保持
するようになっていることを特徴としている。このと
き、各入力点ごとの誤差の推定値がリジェクト発生の最
適な基準となる。

【０００６】また、請求項３，請求項４記載の発明は、
請求項１記載の学習機械を用いたデータ分析装置であっ
て、未知入力を受取る入力手段と、入力手段から入力さ
れた未知入力に対応した条件付き確率の推定値および誤
差の推定値を前記学習機械による学習結果に基づいて割
り出す割出手段と、割出手段によって割り出された誤差
の推定値が所定の閾値以下であるかを判定する判定手段
と、判定の結果、誤差の推定値が所定の閾値以下である
場合には、割出手段によって割り出された条件付き確率
の推定値を出力する一方、誤差の推定値が所定の閾値以
下でない場合には、リジェクトを出力する出力手段とを
備えていることを特徴としている。これにより、最適な
基準に基づきリジェクトを常に信頼性良く出力させるこ
とができる。

【０００７】また、請求項５，請求項６記載の発明は、
所定の確率密度関数ｑ（ｘ）に従って、所定個数Ｎの学
習データを発生させる学習データ発生手段と、学習デー
タの個数Ｎに応じて可変な個数の等間隔の小区間に入力
空間Ｘを分割し、前記所定個数Ｎの学習データを用い
て、有界な区間である入力空間Ｘ＝〔Ａ，Ｂ〕上の入力
点ｘに対して出力空間Ｙ＝｛“０”，“１”｝のうち
“１”の出力が出る条件付き確率ｆ（１｜ｘ_j）をヒス
トグラム法により推定する条件付き確率推定手段と、前
記所定個数Ｎの学習データを用いて、入力空間Ｘ上の各
入力点ｘへの入力確率を推定する入力確率推定手段と、
条件付き確率の推定値と学習データ数と入力確率の推定
値とを用いて、各入力点に対する誤差を推定する推定誤
差算出手段とを有しており、前記条件付き確率推定手段
によって推定された各入力点についての条件付き確率の
推定値および誤差の推定値を学習結果として保持するよ
うになっていることを特徴としている。このとき、各入
力点ごとの誤差の推定値がリジェクト発生の最適な基準
となる。

【０００８】また、請求項７，請求項８記載の発明は、
請求項５記載の学習機械を用いたデータ分析装置であっ
て、未知入力を受取る入力手段と、入力手段から入力さ
れた未知入力に対応した条件付き確率の推定値および誤
差の推定値を前記学習機械による学習結果に基づいて割
り出す割出手段と、割出手段によって割り出された誤差
の推定値が所定の閾値以下であるかを判定する判定手段
と、判定の結果、誤差の推定値が所定の閾値以下である
場合には、割出手段によって割り出された条件付き確率
の推定値を出力する一方、誤差の推定値が所定の閾値以
下でない場合には、リジェクトを出力する出力手段とを
備えていることを特徴としている。これにより、最適な
基準に基づきリジェクトを常に信頼性良く出力させるこ
とができる。

【０００９】また、請求項９，請求項１０，請求項１１
記載の発明は、所定の確率密度関数ｑ(ｘ)に従って、所
定個数Ｎの学習データを発生させる学習データ発生手段
と、可変な幅をもつ小区間に入力空間Ｘを分割し、前記
所定個数Ｎの学習データを用いて、有界な区間である入
力空間Ｘ＝〔Ａ，Ｂ〕上の入力ｘに対して出力空間Ｙ＝
｛“０”，“１”｝のうち“１”が出る条件付き確率を
ヒストグラム法により推定する条件付き確率推定手段
と、前記所定個数Ｎの学習データを用いて、入力空間上
の各入力点ｘへの入力確率を推定する入力確率推定手段
と、条件付き確率の推定値と学習データ数と入力確率の
推定値とを用いて、各入力点に対する誤差を推定する推
定誤差算出手段とを有しており、前記条件付き確率推定
手段によって推定された各入力点に対する条件付き確率
の推定値および誤差の推定値を学習結果として保持する
ようになっていることを特徴としている。このとき、各
入力点ごとの誤差の推定値がリジェクト発生の最適な基
準となる。

【００１０】また、請求項１２，請求項１３記載の発明
は、請求項９記載の学習機械を用いたデータ分析装置で
あって、未知入力を受取る入力手段と、入力手段から入
力された未知入力に対応した条件付き確率の推定値およ
び誤差の推定値を前記学習機械による学習結果に基づい
て割り出す割出手段と、割出手段によって割り出された
誤差の推定値が所定の閾値以下であるかを判定する判定
手段と、判定の結果、誤差の推定値が所定の閾値以下で
ある場合には、割出手段によって割り出された条件付き
確率の推定値を出力する一方、誤差の推定値が所定の閾
値以下でない場合には、リジェクトを出力する出力手段
とを備えていることを特徴としている。これにより、最
適な基準に基づきリジェクトを常に信頼性良く出力させ
ることができる。

【００１１】

【実施例】以下、本発明の実施例を図面に基づいて説明
する。図１は本発明に係る学習機械の第１の実施例の構
成図である。図１を参照すると、第１の実施例の学習機
械は、所定の離散確率分布｛ｑ_j｝に従って、所定個数
Ｎの学習データ｛（ｘ^(ν)，ｙ^(ν)）｜１≦ν≦Ｎ｝＝
｛（ｘ⁽¹⁾，ｙ⁽¹⁾），（ｘ⁽²⁾，ｙ⁽²⁾），…，
（ｘ^(N)，ｙ^(N)）｝を発生させる学習データ発生部１
と、有限個または可算個の元からなる離散的な入力空間
Ｘ＝（｛ｘ_j｝）上の入力点ｘ_jに対して“０”と“１”
との２種類の元からなる出力空間Ｙ＝｛“０”，
“１”｝のうち、“１”の出力が出る条件付き確率，す
なわちBayes事後確率ｆ_j（＝ｆ（１｜ｘ_j））を所定個
数Ｎの学習データを用いて推定し、その推定値＜ｆ_j＞
を得る条件付き確率推定部２と、入力空間Ｘ（＝
｛ｘ_j｝）上の各入力点への入力確率を所定個数Ｎの学
習データを用いて推定し、その推定量＜ｑ_j＞を得る入
力確率推定部３と、条件付き確率推定部２で得られたBa
yes事後確率の推定値＜ｆ_j＞と入力確率推定部３で得ら
れた入力確率の推定量＜ｑ_j＞とを用いて、Bayes事後確
率の推定値＜ｆ_j＞の誤差の推定値Ｅ_jを得る推定誤差算
出部４とを有し、｛＜ｆ_j＞｝と｛Ｅ_j｝とを学習結果と
して保持するようになっている。

【００１２】ここで、上記Ｎ個の学習データは、具体的
には、例えば、所定の離散確率分布｛ｑ_j｝に従って入
力空間Ｘ上の一点ｘ_jを発生させ、このｘ_jに対して条件
付き確率ｆ（ｙ｜ｘ_j）に従う２値の出力を発生させる
試行をＮ回繰り返すことによって得られるようになって
いる。

【００１３】なお、上記離散確率分布としては、次式を
満たす分布，例えば、離散正規分布を用いることができ
る。

【００１４】

【数１】

【００１５】上記のように発生させたＮ個の学習データ
のうち入力がｘ_jに一致するものの個数をｎ_jとし、入力
がｘ_jに一致しかつ出力ｙが“１”であるものの個数を
ｎ_j,+とすると、Bayes事後確率の推定値＜ｆ_j＞は、最
尤推定法を用いて次式によって得られる。

【００１６】

【数２】

【００１７】なお、ｎ_j＝０の場合には、推定値につい
て自然な決め方がないため、上式では、これを定数αに
設定している。

【００１８】また、入力確率推定部３は、入力点ｘ_jへ
の入力確率の推定量＜ｑ_j＞を、この入力点ｘ_jへの学習
デ−タの入力確率の推定量として、例えば最尤推定法を
用いて、次式によって算出するようになっている。

【００１９】

【数３】＜ｑ_j＞＝ｎ_j／Ｎ

【００２０】また、推定誤差算出部４は、Bayes事後確
率の推定値＜ｆ_j＞の誤差推定量（すなわち、ｘ_jにおけ
るBayes事後確率ｆ_jの推定精度の評価）Ｅ_jを、次式に
より得るようになっている。

【００２１】

【数４】Ｅ_j≒＜ｆ_j＞(１−＜ｆ_j＞）／(＜ｑ_j＞・Ｎ）

【００２２】なお、この誤差推定量Ｅ_jは、Bayes事後確
率の推定値＜ｆ_j＞の２乗誤差のＮ個の学習データに関
する平均（平均２乗誤差推定値）として、本願の発明者
により、以下のように導き出されたものである。

【００２３】すなわち、Bayes事後確率の推定値＜ｆ_j＞
の理論的な平均２乗誤差推定値Ｅ_jは、次式により定義
される。

【００２４】

【数５】Ｅ_j＝Ｅ_s〔(＜ｆ_j＞−ｆ_j)²〕

【００２５】ここで、Ｓは、Ｎ個の学習データ｛（ｘ
^(ν)，ｙ^(ν)）｜１≦ν≦Ｎ｝，すなわちサンプルの出
かたに関する平均を意味する添字である。また、ｆ
_jは、与えられた入力点ｘ_jに関して出力が“１”になる
真の条件付き確率，すなわち真のBayes事後確率であ
る。図２は出力空間Ｙが“０”と“１”との元だけから
なる場合に、入力空間Ｘの各入力点｛ｘ_j｝について、
出力“１”が生起する真の確率，すなわち真のBayes事
後確率｛ｆ_j｝の一例を示す図である。特に、図２に
は、ある１つの入力点ｘ_jを与えたときに、この入力点
ｘ_jについての真のBayes事後確率ｆ_jが示されている。
数５は、１つの入力点ｘ_jが与えられたときに、この入
力点ｘ_jに関して出力が“１”になる条件付き確率，す
なわち数１によって得られるBayes事後確率の推定値＜
ｆ_j＞が真のBayes事後確率ｆ_jからどの程度ずれている
かの指標を与えるものであって、次式のように展開する
ことができる。

【００２６】

【数６】

【００２７】なお、ここで、Ｑは、Ｎ個の学習データか
らなるサンプル空間Ｓにおいて、ｘ_jに一致する入力が
ｎ_j個である確率（すなわち、入力がｘ_jに一致するか一
致しないかの２つの状態をもつと考えたときの２項分
布）であり、Ｆは、入力がｘ_jに一致するｎ_j個の標本空
間において、ｘ_jに一致した入力が出力“１”となる確
率（すなわち、ｘ_jに一致した入力が出力“１”となる
か出力“０”となるかの２つの状態をもつと考えたとき
の２項分布）であって、ＱとＦはそれぞれ次式によって
与えられる。

【００２８】

【数７】

【００２９】これにより、離散空間上で推定されたBaye
s事後確率の平均二乗誤差は、入力空間上の頻度ｑ_jとサ
ンプル数Ｎを用いて、次式のように漸近近似される。

【００３０】

【数８】

【００３１】数８から、数４を誤差推定値として設定す
ることができる。なお、数８すなわち数４によって設定
される平均二乗誤差Ｅ_jは、学習データ数Ｎが有限の場
合でも、入力の頻度ｑ_jに関する減少関数になってお
り、学習サンプル数が多く与えられた入力点ほど（すな
わちｑ_jが大きい入力点ほど）、入出力関係が精度良く
推定できるという直感的事実を良好に表わしている。

【００３２】このような構成の学習機械では、所定の離
散的確率分布｛ｑ_j｝に従って入力空間Ｘ上の一点ｘ_jを
発生させ、このｘ_jに対して条件付き確率ｆ（ｙ｜ｘ_j）
に従う２値の出力を発生させる試行によって、Ｎ個の学
習データ｛（ｘ^(ν)，ｙ^(ν)）｝を得て、このＮ個の学
習データを用いて、Bayes事後確率｛ｆ_j｝の推定値｛＜
ｆ_j＞｝とともに、この推定値｛＜ｆ_j＞｝の平均二乗誤
差推定値Ｅ_jを得る。

【００３３】すなわち、条件付き確率推定部２は、有限
個または可算個の元からなる入力空間Ｘ＝｛ｘ_j｝上の
入力点ｘ_jに対して、出力空間Ｙ＝｛“０”，“１”｝
のうち出力が“１”になる条件付き確率の推定値，すな
わちBayes事後確率ｆ_jの推定値＜ｆ_j＞を、Ｎ個の学習
データを用いて数２から得る。

【００３４】また、入力確率推定部３は、入力確率の推
定量＜ｑ_j＞を数３に基づいて算出する。次いで、推定
誤差算出部４では、学習データの個数Ｎと、条件付き確
率推定部２で得られたBayes事後確率の推定値＜ｆ_j＞
と、入力確率推定部３で算出された入力確率の推定量＜
ｑ_j＞とを用いて、数４により、Bayes事後確率ｆ_jの推
定値＜ｆ_j＞の平均二乗誤差推定値Ｅ_jを得る。

【００３５】このようにして、この学習機械では、ある
１つの入力点ｘ_jについて、Bayes事後確率ｆ_jの推定値
＜ｆ_j＞のみならず、この推定値＜ｆ_j＞の平均二乗誤差
推定値Ｅ_jをも得ることができ、この平均二乗誤差推定
値Ｅ_jが出力されることにより、１つの入力点ｘ_jにおけ
るBayes事後確率の推定値＜ｆ_j＞がどれだけの精度をも
つかを得ることができる。また、各入力点｛ｘ_j｝につ
いてのBayes事後確率ｆ_jの推定値｛＜ｆ_j＞｝，平均二
乗誤差推定値｛Ｅ_j｝を学習結果として保持し、実際の
使用時に（すなわち、後述のようなデータ分析装置にお
いて）、これらを用いることができる。すなわち、数４
の誤差推定値Ｅ_jをリジェクトを発生させるための最適
な基準として用いることができる。

【００３６】以上のように各入力点｛ｘ_j｝についてBay
es事後確率｛ｆ_j｝の推定値｛＜ｆ_j＞｝，平均二乗誤差
推定値Ｅ_jを求めた後、この学習機械を用いて、未知の
入力について、この未知入力に対応したBayes事後学習
の推定値と、この推定値の平均二乗誤差推定値Ｅ_jとを
得て、これに基づき所定の出力結果を得ることができ
る。

【００３７】なお、本願の発明者は、上述した理論的な
誤差推定値を実際のシミュレーションにより確認するた
めに、以下のような実験を行なった。

【００３８】すなわち、入力空間を５０点からなる離散
集合Χ＝｛ｘ_j＝ｊ／５０ ∈〔０，１〕｜０≦ｊ＜５
０｝とし、Ｙ＝｛０，１｝とする。入力空間の分布を平
均０．５，分散０．３²の正規分布から作られる次式の
ｑ_jとする。

【００３９】

【数９】

【００４０】また、推定すべき条件付き確率を次式によ
り定める。

【００４１】

【数１０】ｆ_j＝０．２＋０．６×ｘ_j

【００４２】図３には、この分布により発生させた学習
データから、前述の方法によりｘ_j＝０．５（ｊ＝２
５）に対するｆ_jを推定したときの、学習データ数Ｎに
対する平均二乗誤差Ｅ_jの推移が示されている。ここ
で、データ数は１０万個までとし、異なるデータセット
を１００種類用意してその平均値をとることにより、二
乗誤差の平均とした。なお、この図は対数によって描か
れている。図中、ｆ_j（１−ｆ_j）／（ｑ_jＮ）を示す直
線が破線で示されている。

【００４３】この結果から、学習曲線はｆ_j（１−ｆ_j）
／（ｑ_jＮ）の直線と非常によい一致を示しており、前
述した理論解析が正しいことがシミュレーションによっ
ても確認できた。

【００４４】図４は図１の学習機械を用いたデータ分析
装置の構成例を示す図である。図４のデータ分析装置
は、未知入力ｘ_kを受取る入力部５と、未知入力ｘ_kに対
応した条件付き確率の推定値＜ｆ_k＞および誤差の推定
値Ｅ_kを図１の学習機械に保持されている学習結果｛＜
ｆ_j＞，Ｅ_j｝に基づいて割り出す割出部６と、割出部６
によって割り出された誤差の推定値Ｅ_kがある定数以下
であるか否かを判定する判定部７と、判定の結果、誤差
の推定値Ｅ_kがある定数以下でない場合には、この未知
入力ｘ_kに対してリジェクトを出力する一方、誤差の推
定値Ｅ_kがある定数以下の場合には、未知入力に対し
て、そのBayes事後確率の推定値＜ｆ_k＞を出力する出力
部８とを有している。

【００４５】図４のデータ分析装置では、未知入力ｘ_k
が入力部５から入力すると、割出部６は、図１の学習機
械に保持されている学習結果｛＜ｆ_j＞，Ｅ_j｝からこの
未知入力ｘ_kに対応したBayes事後確率の推定値＜ｆ_k＞
と誤差の推定値Ｅ_kを割り出す。判定部７は、この未知
入力ｘ_kに対応した誤差の推定値Ｅ_kが予め設定されてい
る所定定数以下か否かを判断する。この結果、誤差の推
定値Ｅ_kが所定定数以下でないときには、Bayes事後確率
推定値の誤差が大きく、精度（信頼性）が低いと判定
し、その旨を出力部８に与える。この場合、出力部８
は、この未知入力ｘ_kについて、Bayes事後確率の推定値
＜ｆ_k＞を出力せずに、リジェクトを出力する。

【００４６】これに対し、判定部７において、未知入力
ｘ_kに対応した誤差の推定値が予め設定されている所定
定数以下のときには、Bayes事後確率推定値の誤差が小
さく、精度（信頼性）が高いと判定し、その旨を出力部
８に与える。この場合には、出力部８は、この未知入力
に対して割出部６で割り出されたBayes事後確率の推定
値＜ｆ_k＞を出力する。

【００４７】なお、数４によって得られた理論的な平均
二乗誤差推定値は、数４からわかるように、学習におい
てｘ_jへの入力確率ｑ_jが小さいと大きくなる。このこと
から、この平均二乗誤差推定値は、学習時に入力ｘ_jの
生起確率が非常に小さいと、この入力ｘ_jが本来予想し
ていないもの（すなわち正規の入力データとして本来扱
われるべきでないもの）である蓋然性が高く、正規の出
力値（Bayes事後確率推定値）を与えるべきでないとい
う指標を与え、この意味で、リジェクトを発生させる上
で最適な基準となる。

【００４８】このように、図４のデータ分析装置では、
未知入力に対応したBayes事後確率の推定値が信頼性の
あるものか否かを数４によって得られた平均二乗誤差推
定値に基づき判定するようにしており、数４によって得
られた理論的な平均二乗誤差推定値がリジェクトを発生
させる上で最適な基準となることから、パターン認識や
制御を行なう際に、意味のあるリジェクトを発生させ、
システムの安全性を保証することができる。

【００４９】図５は図４のデータ分析装置において出力
クラス分別機構９がさらに設けられたデータ分析装置の
構成例を示す図である。出力クラス分別機構９は、判定
部７で誤差推定値が所定定数以下であった入力，すなわ
ちリジェクトされない入力に関して出力のクラス分別を
行なうようになっている。具体的には、出力クラス分別
機構９は、割出部６で割り出されたBayes事後確率の推
定値が“０．５”以上であれば“１”をとり、“０．
５”未満であれば“０”をとるようにクラス分類を行な
う。これにより、リジェクトされなかったデータに関し
てはBayes識別が達成されることになり、確信度の高い
識別が可能となる。

【００５０】図６は本発明に係る学習機械の第２の実施
例の構成図である。図６を参照すると、第２の実施例の
学習機械は、所定の確率密度関数ｑ(ｘ)に従って所定個
数Ｎ個の学習データ｛（ｘ^(ν)，ｙ^(ν)）｜１≦ν≦
Ｎ｝を発生させる学習データ発生部１１と、有界な入力
空間Ｘ＝〔Ａ，Ｂ〕上の入力点ｘに対して、“０”と
“１”との２種類の元からなる出力空間Ｙ＝｛“０”，
“１”｝のうち、出力が“１”になる条件付き確率，す
なわちBayes事後確率ｆ(ｘ)（＝ｆ（１｜ｘ））を所定
個数Ｎの学習データを用いて推定し、その推定値＜ｆ
(ｘ)＞を得る条件付き確率推定部１２と、入力空間Ｘ＝
〔Ａ，Ｂ〕上の各入力点ｘへの入力確率を所定個数Ｎの
学習データを用いて推定し、その推定量＜ｑ(ｘ)＞を得
る入力確率推定部１３と、Bayes事後確率ｆ(ｘ)の微分
ｆ’(ｘ)の推定値＜ｆ’(ｘ)＞を得る推定微分値算出部
２０と、条件付き確率推定部１２で得られたBayes事後
確率ｆ(ｘ)の推定値＜ｆ(ｘ)＞と入力確率推定部１３で
得られた入力確率の推定量＜ｑ(ｘ)＞と推定微分値算出
部２０で得られた推定値＜ｆ’(ｘ)＞とを用いて、Baye
s事後確率の推定値＜ｆ(ｘ)＞の誤差の推定値Ｅ(ｘ)を
得る推定誤差算出部１４とを有している。

【００５１】ここで、上記Ｎ個の学習データは、具体的
には、例えば、所定の確率密度関数ｑ(ｘ)に従って入力
空間Ｘ上の一点ｘを発生させ、このｘに対して、条件付
き確率ｆ（ｙ｜ｘ）に従う２値の出力を発生させる試行
をＮ回繰り返すことによって得られるようになってい
る。

【００５２】また、この第２の実施例では、入力空間Ｘ
（＝〔Ａ，Ｂ〕）の元ｘが連続的なものであるので、真
のBayes事後確率を推定するのに、条件付き確率推定部
１２は、この入力空間Ｘを所定幅の区間に分割するよう
になっている。すなわち、条件付き確率推定部１２は、
入力空間Ｘ＝〔Ａ，Ｂ〕が例えば〔０，１〕である場合
に、学習データの個数Ｎに応じて、上記区間〔０，１〕
を分割の幅をＮ^-1/3として、総数Ｎ^1/3（≡Ｍ(Ｎ)）の
小区間に等間隔に分割する。このように、区間〔０，
１〕をＭ(Ｎ)個の等しい幅の小区間Ｉ_j＝〔（ｊ−１）
／Ｍ(Ｎ)，ｊ／Ｍ(Ｎ)〕（１≦ｊ≦Ｍ(Ｎ)）に分割し、
学習データであるＮ個のサンプルのうち小区間Ｉ_jに含
まれるものの個数をｎ_jとし、そのうち、出力が“１”
であるものの個数をｎ_j,+で表し、さらに、＜ｆ_j＞を次
式のように定義するとき、

【００５３】

【数１１】

【００５４】推定量＜ｆ(ｘ)＞は、次式のように（ヒス
トグラム推定法により）求められる。

【００５５】

【数１２】

【００５６】数１２において、χ_Ij(ｘ)はｘ∈Ｉ_jであ
る場合に“１”をとり、ｘ∈Ｉ_jでない場合には“０”
をとる関数である。図７は出力空間Ｙが“０”と“１”
との元だけからなる場合に、入力空間Ｘの入力ｘについ
て出力“１”が生起する真の確率，すなわち真のBayes
事後確率ｆ(ｘ)の一例を示す図であり、図７には、さら
に、入力空間Ｘを小区間Ｉ_jに分割する場合が示されて
いる。

【００５７】また、入力確率推定部１３は入力確率の推
定量＜ｑ(ｘ)＞を例えば最尤推定量を用いて、次式のよ
うに算出するようになっている。

【００５８】

【数１３】＜ｑ(ｘ)＞＝（ｎ_j／Ｎ）・Ｎ^1/3χ_Ij(ｘ)

【００５９】また、推定微分値算出部２０は、Bayes事
後確率ｆ(ｘ)の微分ｆ’(ｘ)の推定値＜ｆ’(ｘ)＞を次
式により得るようになっている。

【００６０】

【数１４】

【００６１】また、推定誤差算出部１４は、Bayes事後
確率の推定値＜ｆ(ｘ)＞の誤差推定値Ｅ(ｘ)を次式によ
り得るようになっている。

【００６２】

【数１５】 Ｅ(ｘ)＝〔{＜ｆ(ｘ)＞(１−＜ｆ(ｘ)＞）／＜ｑ(ｘ)＞｝ ＋(１／１２)・(＜ｆ’(ｘ)＞)²〕・Ｎ^-2/3

【００６３】なお、この誤差推定量Ｅ（ｘ）は、Bayes
事後確率の推定値＜ｆ(ｘ)＞の２乗誤差のＮ個の学習デ
ータに関する平均（平均二乗誤差推定値）として、本願
の発明者により、以下のように導き出されたものであ
る。

【００６４】すなわち、Bayes事後確率の推定値＜ｆ
(ｘ)＞の理論的な平均二乗誤差推定値Ｅ(ｘ)は、次式に
より定義される。

【００６５】

【数１６】Ｅ(ｘ)＝Ｅ_s〔(ｆ(ｘ)−＜ｆ(ｘ)＞)²〕

【００６６】ここで、Ｓは、Ｎ個の学習データ｛（ｘ
^(ν)，ｙ^(ν)）｜１≦ν≦Ｎ｝のサンプルの出かたに関
する平均を意味する添字である。また、ｆ(ｘ)は、与え
られた入力Ｘに関して出力が“１”になる真の条件つき
確率，すなわち真のBayes事後確率である。

【００６７】上記数１６の平均二乗誤差推定値Ｅ(ｘ)を
計算するため、各小区間Ｉ_j内でのｆ(ｘ)の平均ｆ_jを次
式のように定める。

【００６８】

【数１７】

【００６９】このように小区間Ｉ_jにおいて、平均化さ
れたｆ(ｘ)，すなわちｆ_jは、小区間Ｉ_jにｘが存在する
ときのｙ＝１となる条件つき確率であり、このｆ_jを用
いることにより、数１６は次式のように変形される。

【００７０】

【数１８】 Ｅ(ｘ)＝Ｅ_s〔{(ｆ(ｘ)−ｆ_j)＋(ｆ_j−＜ｆ_j＞)}²〕 ＝Ｅ〔(＜ｆ_j＞−ｆ_j)²〕＋Ｅ〔(ｆ_j−ｆ(ｘ))²〕 ＋２Ｅ〔(＜ｆ_j＞−ｆ_j)(ｆ_j−ｆ(ｘ))〕 ＝Ｅ〔(＜ｆ_j＞−ｆ_j)²〕＋(ｆ_j−ｆ(ｘ))² ＋(ｆ_j−ｆ(ｘ))(α−ｆ_j)(１−ｑ_j)^N

【００７１】ここで、任意のＣ²級Bayes事後確率ｆ(ｘ)
に対し、任意のｘ∈〔０，１〕でlim_N→∞Ｅ(ｘ)＝０と
なるための分割数Ｍ（Ｎ）に関する条件（すなわちヒス
トグラム法の収束条件）は、次式のようになる。

【００７２】

【数１９】

【００７３】また、上記収束条件を満足する分割数Ｍ
（Ｎ）を１つ定めるとき、任意のｘ∈（０，１）に対し
て、次式を満たす関数φ^(N)(ｘ)，Ψ^(N)(ｘ)が存在す
る。

【００７４】

【数２０】

【００７５】この関数φ^(N)(ｘ)，Ψ^(N)(ｘ)を用いて、
数１８を次式のように漸近展開することができる。

【００７６】

【数２１】 Ｅ(ｘ)≒{ｆ(ｘ)(１−ｆ(ｘ))／ｑ(ｘ)}・Ｍ(Ｎ)／Ｎ ＋{(１／２)・ｆ’(ｘ)・(ａ＋ｂ−２ｘ)} ＋φ^(N)(ｘ)＋Ψ^(N)(ｘ)

【００７７】ここで、ａ，ｂは、〔・〕をガウス記号と
して、ａ＝〔Ｍ(Ｎ)ｘ〕／Ｍ(Ｎ)，ｂ＝（〔Ｍ(Ｎ)ｘ〕
＋１）／Ｍ(Ｎ)として与えられる。

【００７８】ｘが小区間Ｉ_j内に一様分布すると見なす
と、（ａ＋ｂ−２ｘ)²の期待値は、（１／３）Ｍ(Ｎ)²
であるので、数２１は最終的に次式のようになる。

【００７９】

【数２２】 Ｅ(ｘ)≒〔{ｆ(ｘ)(１−ｆ(ｘ))／ｑ(ｘ)}・(Ｍ(Ｎ)／Ｎ)〕 ＋(１／１２)・(ｆ’(ｘ))²・(１／Ｍ(Ｎ)²）

【００８０】ここで、前述のように、分割の幅をＮ^-1/3
に設定するときには区間の総数Ｍ(Ｎ)はＮ^1/3であるの
で、数２２から数１５が導き出される。

【００８１】数１５によって規定される平均二乗誤差Ｅ
(ｘ)も、数４の平均二乗誤差Ｅ_j同様に、入力の頻度ｑ
(ｘ)に関する減少関数となっており、学習データ数が多
く与えられた入力点ほど（すなわちｑ(ｘ)が大きい入力
点ほど）、入出力関係が精度良く推定できるという直感
的事実を良好に表わしている。

【００８２】このような構成の学習機械では、所定の確
率密度関数ｑ(ｘ)に従って入力空間Ｘ上の一点ｘを発生
させ、このｘに対して条件つき確率ｆ（ｙ｜ｘ）に従う
２値の出力を発生させる試行によって、Ｎ個の学習デー
タ｛（ｘ^(ν)，ｙ^(ν)）｜１≦ν≦Ｎ｝を得て、このＮ
個の学習データを用いて、Bayes事後確率ｆ(ｘ)の推定
値＜ｆ(ｘ)＞とともに、この推定値＜ｆ(ｘ)＞の平均二
乗誤差推定値Ｅ(ｘ)を得る。

【００８３】すなわち、条件つき確率推定部１２は、有
界な入力空間Ｘ＝〔０，１〕上の入力点ｘに対して出力
空間Ｙ＝｛０，１｝のうち出力が“１”になる条件付き
確率の推定値，すなわちBayes事後確率ｆ(ｘ)の推定値
＜ｆ(ｘ)＞を、Ｎ個の学習データを用い数１１，数１２
から得る。

【００８４】また、入力確率推定部１３は、入力確率の
推定量＜ｑ(ｘ)＞を数１３に基づき算出する。さらに、
推定微分値算出部１８は、Bayes事後確率ｆ(ｘ)の微分
ｆ’(ｘ)の推定値＜ｆ’(ｘ)＞を数１４によって得る。

【００８５】次いで、推定誤差算出部１４では、学習デ
ータの個数Ｎと、条件付き確率推定部１２で得られたBa
yes事後確率の推定値＜ｆ(ｘ)＞と、入力確率推定部１
３で算出された入力確率の推定量＜ｑ(ｘ)＞とを用い
て、数１５により、Bayes事後確率ｆ(ｘ)の推定値＜ｆ
(ｘ)＞の平均二乗誤差推定値Ｅ(ｘ)を得る。

【００８６】このようにして、この第２の実施例の学習
機械においても、第１の実施例の学習機械と同様に、入
力点ｘについて、Bayes事後確率ｆ(ｘ)の推定値＜ｆ
(ｘ)＞のみならず、この推定値＜ｆ(ｘ)＞の平均二乗誤
差推定値Ｅ(ｘ)をも得ることができる。この平均二乗誤
差推定値Ｅ(ｘ)が出力されることにより、Bayes事後確
率の推定値＜ｆ(ｘ)＞がどれだけの精度をもつかを得る
ことができる。すなわち、入力点ｘについて、Bayes事
後確率の推定値＜ｆ(ｘ)＞，平均二乗誤差推定値Ｅ(ｘ)
を保持し、実際の使用時に（すなわち、データ分析装置
において）、これらを用いることができる。すなわち、
数１５の誤差推定値Ｅ(ｘ)をリジェクトを発生させるた
めの最適な基準として用いることができる。

【００８７】ところで、上記第２の実施例においては、
入力空間Ｘ＝〔０，１〕を幅Ｎ^-1/3の等間隔の小区間Ｉ
_jにアプリオリに分割したが、この区間幅を最適なもの
に決定する機構を備えた学習機械を構築することも可能
である。

【００８８】図８は図６の学習機械を用いたデータ分析
装置の構成例を示す図である。図８のデータ分析装置
は、未知入力ｘを受取る入力部１５と、未知入力ｘに対
応した条件付き確率の推定値＜ｆ(ｘ)＞および誤差の推
定値Ｅ(ｘ)を図６の学習機械に保持されている学習結果
｛＜ｆ(ｘ)＞，Ｅ(ｘ)｝に基づいて割り出す割出部１６
と、割出部１６によって割り出された誤差の推定値Ｅ
(ｘ)がある定数以下であるか否かを判定する判定部１７
と、判定の結果、誤差の推定値Ｅ(ｘ)がある定数以下で
ない場合には、この未知入力ｘに対してリジェクトを出
力する一方、誤差の推定値Ｅ(ｘ)がある定数以下の場合
には、未知入力に対して、そのBayes事後確率の推定値
＜ｆ(ｘ)＞を出力する出力部１８とを有している。

【００８９】図８のデータ分析装置では、未知入力ｘが
入力部１５から入力すると、割出部１６は、図６の学習
機械に保持されている学習結果｛＜ｆ(ｘ)＞），Ｅ
(ｘ)｝からこの未知入力ｘに対応したBayes事後確率の
推定値＜ｆ(ｘ)＞と誤差の推定値Ｅ(ｘ)を割り出す。判
定部１７は、この未知入力ｘに対応した誤差の推定値Ｅ
(ｘ)が予め設定されている所定定数以下か否かを判断す
る。この結果、誤差の推定値Ｅ(ｘ)が所定定数以下でな
いときには、Bayes事後確率推定値の誤差が大きく、精
度（信頼性）が低いと判定し、その旨を出力部１８に与
える。この場合、出力部１８は、この未知入力ｘについ
て、Bayes事後確率の推定値＜ｆ(ｘ)＞を出力せずに、
リジェクトを出力する。

【００９０】これに対し、判定部１７において、未知入
力ｘに対応した誤差の推定値が予め設定されている所定
定数以下のときには、Bayes事後確率推定値の誤差が小
さく、精度（信頼性）が高いと判定し、その旨を出力部
１８に与える。この場合には、出力部１８は、この未知
入力に対して割出部１６で割り出されたBayes事後確率
の推定値＜ｆ(ｘ)＞を出力する。

【００９１】なお、数１５によって得られた理論的な平
均二乗誤差推定値は、数１５からわかるように、学習に
おいてｘへの入力確率ｑ(ｘ)が小さいと大きくなる。こ
のことから、この平均二乗誤差推定値は、学習時に入力
ｘの生起確率が非常に小さいと、この入力ｘが本来予想
していないもの（すなわち正規の入力データとして本来
扱われるべきでないもの）である蓋然性が高く、正規の
出力値（Bayes事後確率推定値）を与えるべきでないと
いう指標を与え、この意味で、リジェクトを発生させる
上で最適な基準となる。

【００９２】このように、図８のデータ分析装置では、
未知入力に対応したBayes事後確率の推定値が信頼性の
あるものか否かを数１５によって得られた平均二乗誤差
推定値に基づき判定するようにしており、数１５によっ
て得られた理論的な平均二乗誤差推定値がリジェクトを
発生させる上で最適な基準となることから、パターン認
識や制御を行なう際に、意味のあるリジェクトを発生さ
せ、システムの安全性を保証することができる。

【００９３】図９は図８のデータ分析装置において出力
クラス分別機構１９がさらに設けられたデータ分析装置
の構成例を示す図である。出力クラス分別機構１９は、
判定部１７で誤差推定値が所定定数以下であった入力，
すなわちリジェクトされない入力に関して出力のクラス
分別を行なうようになっている。具体的には、出力クラ
ス分別機構１９は、割出部１６で割り出されたBayes事
後確率の推定値が“０．５”以上であれば“１”をと
り、“０．５”未満であれば“０”をとるようにクラス
分類を行なう。これにより、リジェクトされなかったデ
ータに関してはBayes識別が達成されることになり、確
信度の高い識別が可能となる。

【００９４】図１０は本発明に係る学習機械の第３の実
施例の構成図であって、この学習機械は、図６に示した
第２の実施例の学習機械において、さらに区間幅決定機
構４０が設けられた構成のものとなっている。

【００９５】ここで、区間幅決定機構４０は、入力空間
Ｘ＝〔Ａ，Ｂ〕，例えば〔０，１〕を分割する区間の幅
を最適なものに決定するようになっている。具体的に
は、区間幅決定機構４０は、数２２の右辺を最小にする
Ｍ(Ｎ)（∂Ｅ(ｘ)／∂Ｍ(Ｎ)＝０となるＭ(Ｎ)）を区間
の最適な分割数として、次式のように求めるようになっ
ている。

【００９６】

【数２３】 Ｍ(Ｎ)＝〔ｑ(ｘ)ｆ'(ｘ)²・Ｎ／{６ｆ(ｘ)(１−ｆ(ｘ))}〕^1/3

【００９７】これにより、区間幅δ(ｘ)は、次式のよう
にして求められる。

【００９８】

【数２４】 δ(ｘ)＝〔ｑ(ｘ)ｆ'(ｘ)²・Ｎ／{６ｆ(ｘ)(１−ｆ(ｘ))}〕^-1/3

【００９９】なお、上記δ(ｘ)は、ｘについて局所的な
ものであり、このδ(ｘ)が各ｘでの最適な区間幅とな
る。ｘ毎に最適な区間幅δ(ｘ)を用いることで、等間隔
の分割に比べて誤差を小さくすることができる（区間幅
可変のヒストグラム法における最適モデルの選択基準を
得ることができる）。

【０１００】次にこのような構成の第３の実施例の学習
機械の動作について説明する。入力確率推定部２３，条
件付き確率推定部２２，推定微分値算出部３０は、先
ず、第２の実施例の学習機械と全く同一の方法により、
入力空間Ｘ＝〔Ａ，Ｂ〕を幅Ｎ^-1/3の等間隔の小区間Ｉ
_jに分割し、＜ｑ(ｘ)＞，＜ｆ(ｘ)＞，＜ｆ'(ｘ)＞を推
定し、こららをそれぞれ＜ｑ⁽¹⁾(ｘ)＞，＜ｆ⁽¹⁾(ｘ)
＞，＜ｆ'⁽¹⁾(ｘ)＞とおく。

【０１０１】次いで、ｘを含む小区間の幅が数２４を近
似するように、小区間の分割の仕方を変更していく。す
なわち、ｋ回目の小区間の設定の下での推定量を、＜ｑ
^(k)(ｘ)＞，＜ｆ^(k)(ｘ)＞，＜ｆ'^(k)(ｘ)＞とおくと
き、(ｋ＋１)回目の区間の設定を以下のように行なう。
先ず、区間〔Ａ，Ｂ〕の左端ｘ₀＝Ａに対して、区間幅
δ^(k)(ｘ)を次式のように算出する。

【０１０２】

【数２５】 δ^(k)(ｘ)＝〔＜δ^(k)(ｘ)＞＜ｆ'^(k)(ｘ)²＞・Ｎ ／{６＜ｆ^(k)(ｘ)＞(１−＜ｆ^(k)(ｘ)＞)}〕^-1/3

【０１０３】このδ^(k)(ｘ)を用いて、区間〔Ａ，Ｂ〕
の次の点ｘ₁をｘ₁＝ｘ₀＋δ^(k)(ｘ₀）に設定する。以下
同様に、ｘ_j＝ｘ_j-1＋δ^(k)(ｘ_j-1）と設定していき、
ｘ_j＞Ｂとなれば終了する。そして、小区間Ｉ_j ^(k+1)を
〔ｘ_j-1，ｘ_j〕によって定める。小区間が設定された
後、（ｋ＋１）回目の推定量を次式によって計算する。

【０１０４】

【数２６】

【０１０５】なお、上式において、ｎ_j ^(k)は、学習デー
タであるＮ個のサンプルのうち区間Ｉ_j ^(k)に含まれるも
のの個数であり、ｎ_j,+ ^(k)は、ｎ_j ^(k)のなかで出力が
“１”であるものの個数であり、｜Ｉ_j ^(k+1)｜は小区間
の幅であり、さらに、＜ｆ_j ^(k)＞を次式のように定め
た。

【０１０６】

【数２７】

【０１０７】以上の手続きを決められた回数Ｋ回繰り返
して、入力確率推定部２３の出力を＜ｑ^(k)(ｘ)＞、条
件付き確率出力部２２の出力を＜ｆ^(k)(ｘ)＞とする。

【０１０８】ここで得られた＜ｑ^(K)(ｘ)＞，＜ｆ
^(K)(ｘ)＞，＜ｆ'^(K)(ｘ)＞を用いて、推定誤差算出部
２４は、＜ｆ(ｘ)＞の平均２乗誤差の推定値として、 （３／２）・〔｛＜ｆ(ｘ)＞（１−＜ｆ(ｘ)＞）＜ｆ'
(ｘ)＞｝／（６＜ｑ(ｘ)＞Ｎ）〕^2/3 という値を算出する。この値は、数２４を満たす区間幅
がとられた時の理論的な平均２乗誤差Ｅ(ｘ)が、Ｎが大
きい時、近似的に次式によって与えられることに基づい
ている。

【０１０９】

【数２８】 Ｅ(ｘ)≒(３／２)・〔{ｆ(ｘ)(１−ｆ(ｘ))ｆ'(ｘ)}／(６ｑ(ｘ)Ｎ)〕^2/3

【０１１０】従ってこの学習機械は、Bayes事後確率の
推定値を出力するだけでなく、その推定値がどれだけの
精度を持つかをも出力することができる。

【０１１１】図１０の学習機械を用いて、図８，図９に
示したと同様のデータ分析装置を構成することができ、
この場合も数２８の誤差の推定値Ｅ(ｘ)に基づいてリジ
ェクト判定を同様に行なうことができる。また、クラス
分類を同様に行なうことができる。

【０１１２】

【発明の効果】以上に説明したように、請求項１乃至請
求項４記載の発明によれば、離散空間上のBayes事後確
率を推定する学習を行なって、パターン識別や制御を行
なう際に、意味のあるリジェクトを発生させ、システム
の安全性を保証することができる。

【０１１３】また、請求項５乃至請求項８記載の発明に
よれば、連続空間上のBayes事後確率を推定する際に、
意味のあるリジェクトを発生させることができ、システ
ムの安全性を保証することができる。

【０１１４】請求項９乃至請求項１３記載の発明によれ
ば、連続空間上のBayes事後確率の推定をヒストグラム
法で行なう際に、区間の幅を低い計算コストで自動的か
つ適切に決定することができ、推定精度の向上が図れる
とともに、意味のあるリジェクトを発生させることによ
りシステムの安全性を保証することができる。

【図面の簡単な説明】

【図１】本発明に係る学習機械の第１の実施例の構成図
である。

【図２】入力空間の各入力点に対する真のBayes事後確
率の一例を示す図である。

【図３】二乗誤差の学習曲線と理論曲線とを示す図であ
る。

【図４】図１の学習機械を用いたデータ分析装置の構成
例を示す図である。

【図５】図１の学習機械を用いたデータ分析装置の構成
例を示す図である。

【図６】本発明に係る学習機械の第２の実施例の構成図
である。

【図７】入力空間の各入力点に対する真のBayes事後確
率の一例を示す図である。

【図８】図１の学習機械を用いたデータ分析装置の構成
例を示す図である。

【図９】図１の学習機械を用いたデータ分析装置の構成
例を示す図である。

【図１０】本発明に係る学習機械の第３の実施例の構成
図である。

【符号の説明】

１，１１ 学習データ発生部 ２，１２，２２ 条件付き確率推定部 ３，１３，２３ 入力確率推定部 ４，１４，２４ 推定誤差算出部 ５，１５ 入力部 ６，１６ 割出部 ７，１７ 判定部 ８，１８ 出力部 ９，１９ 出力クラス分別機構

Claims (13)

【特許請求の範囲】
1. 【請求項１】 所定の離散確率分布｛ｑ_j｝に従って、
   所定個数Ｎの学習データを発生させる学習データ発生手
   段と、所定個数Ｎの学習データを用いて、有限個または
   可算個の元からなる離散的な入力空間Ｘ＝｛ｘ_j｝上の
   入力点ｘ_jに対して出力空間Ｙ＝｛“０”，“１”｝の
   うち“１”の出力が出る条件付き確率ｆ（１｜ｘ_j）を
   推定する条件付き確率推定手段と、前記所定個数Ｎの学
   習データを用いて、入力空間上の各入力点への入力確率
   を推定する入力確率推定手段と、条件付き確率の推定値
   と学習データ数Ｎと入力確率の推定値とを用いて各入力
   点ごとの誤差を推定する推定誤差算出手段とを有してお
   り、前記条件付き確率推定手段によって推定された各入
   力点ごとの条件付き確率の推定値および前記推定誤差算
   出手段によって推定された各入力点ごとの誤差の推定値
   を学習結果として保持するようになっていることを特徴
   とする学習機械。
2. 【請求項２】 請求項１記載の学習機械において、前記
   推定誤差算出手段は、入力空間上の入力点ｘ_jの誤差の
   推定値を、ｘ_jへの入力確率の推定値＜ｑ_j＞と、条件付
   き確率の推定値＜ｆ_j＞と、学習データ数Ｎとを用い
   て、 ＜ｆ_j＞（１−＜ｆ_j＞）／（＜ｑ_j＞・Ｎ） として算出することを特徴とする学習機械。
3. 【請求項３】 請求項１記載の学習機械を用いたデータ
   分析装置であって、未知入力を受取る入力手段と、入力
   手段から入力された未知入力に対応した条件付き確率の
   推定値および誤差の推定値を前記学習機械による学習結
   果に基づいて割り出す割出手段と、割出手段によって割
   り出された誤差の推定値が所定の閾値以下であるかを判
   定する判定手段と、判定の結果、誤差の推定値が所定の
   閾値以下である場合には、割出手段によって割り出され
   た条件付き確率の推定値を出力する一方、誤差の推定値
   が所定の閾値以下でない場合には、リジェクトを出力す
   る出力手段とを備えていることを特徴とするデータ分析
   装置。
4. 【請求項４】 請求項３記載のデータ分析装置におい
   て、前記判定手段において、誤差の推定値が所定の閾値
   以下であるときに、前記出力手段は、条件付き確率の推
   定値が“０．５”以上ならば“１”を出力し、“０．
   ５”未満ならば“０”を出力するようになっていること
   を特徴とするデータ分析装置。
5. 【請求項５】 所定の確率密度関数ｑ（ｘ）に従って、
   所定個数Ｎの学習データを発生させる学習データ発生手
   段と、学習データの個数Ｎに応じて可変な個数の等間隔
   の小区間に入力空間Ｘを分割し、前記所定個数Ｎの学習
   データを用いて、有界な区間である入力空間Ｘ＝〔Ａ，
   Ｂ〕上の入力点ｘに対して出力空間Ｙ＝｛“０”，
   “１”｝のうち“１”の出力が出る条件付き確率ｆ（１
   ｜ｘ_j）をヒストグラム法により推定する条件付き確率
   推定手段と、前記所定個数Ｎの学習データを用いて、入
   力空間Ｘ上の各入力点ｘへの入力確率を推定する入力確
   率推定手段と、条件付き確率の推定値と学習データ数と
   入力確率の推定値とを用いて、各入力点に対する誤差を
   推定する推定誤差算出手段とを有しており、前記条件付
   き確率推定手段によって推定された各入力点についての
   条件付き確率の推定値および誤差の推定値を学習結果と
   して保持するようになっていることを特徴とする学習機
   械。
6. 【請求項６】 請求項５記載の学習機械において、前記
   条件付き確率推定手段は、入力区間をＮ^-1/3の幅の小区
   間に分割し、前記推定誤差算出手段は、入力空間上の点
   ｘの誤差の推定値を、入力確率の推定値＜ｑ(ｘ)＞と、
   条件付き確率の推定値＜ｆ(ｘ)＞と、＜ｆ(ｘ)＞の差分
   を用いて得たｆ(ｘ)の微分ｆ’(ｘ)の推定値＜ｆ’(ｘ)
   ＞と、学習データ数Ｎとを用いて、 〔｛＜ｆ(ｘ)＞（１−＜ｆ(ｘ)＞）／＜ｑ(ｘ)＞｝＋
   （１／１２）・（＜ｆ’(ｘ)＞)²〕・Ｎ^-2/3 として算出することを特徴とする学習機械。
7. 【請求項７】 請求項５記載の学習機械を用いたデータ
   分析装置であって、未知入力を受取る入力手段と、入力
   手段から入力された未知入力に対応した条件付き確率の
   推定値および誤差の推定値を前記学習機械による学習結
   果に基づいて割り出す割出手段と、割出手段によって割
   り出された誤差の推定値が所定の閾値以下であるかを判
   定する判定手段と、判定の結果、誤差の推定値が所定の
   閾値以下である場合には、割出手段によって割り出され
   た条件付き確率の推定値を出力する一方、誤差の推定値
   が所定の閾値以下でない場合には、リジェクトを出力す
   る出力手段とを備えていることを特徴とするデータ分析
   装置。
8. 【請求項８】 請求項７記載のデータ分析装置におい
   て、前記判定手段において、誤差の推定値が所定の閾値
   以下であるときに、前記出力手段は、条件付き確率の推
   定値が“０．５”以上ならば“１”を出力し、“０．
   ５”未満ならば“０”を出力するようになっていること
   を特徴とするデータ分析装置。
9. 【請求項９】 所定の確率密度関数ｑ(ｘ)に従って、所
   定個数Ｎの学習データを発生させる学習データ発生手段
   と、可変な幅をもつ小区間に入力空間Ｘを分割し、前記
   所定個数Ｎの学習データを用いて、有界な区間である入
   力空間Ｘ＝〔Ａ，Ｂ〕上の入力ｘに対して出力空間Ｙ＝
   ｛“０”，“１”｝のうち“１”が出る条件付き確率を
   ヒストグラム法により推定する条件付き確率推定手段
   と、前記所定個数Ｎの学習データを用いて、入力空間上
   の各入力点ｘへの入力確率を推定する入力確率推定手段
   と、条件付き確率の推定値と学習データ数と入力確率の
   推定値とを用いて、各入力点に対する誤差を推定する推
   定誤差算出手段とを有しており、前記条件付き確率推定
   手段によって推定された各入力点に対する条件付き確率
   の推定値および誤差の推定値を学習結果として保持する
   ようになっていることを特徴とする学習機械。
10. 【請求項１０】 請求項９記載の学習機械において、さ
    らに、前記入力確率の推定値＜ｑ(ｘ)＞と、条件付き確
    率の推定値＜ｆ(ｘ)＞と、＜ｆ(ｘ)＞の差分により求め
    られたｆ(ｘ)の微分ｆ’(ｘ)の推定値＜ｆ’(ｘ)＞と、
    学習データ数Ｎとを用いて、ｘを含む小区間の幅が、 〔ｑ(ｘ)ｆ’(ｘ)²・Ｎ／｛６ｆ(ｘ)（１−ｆ
    (ｘ)）｝〕^-1/3 を近似するよう区間分割を定める区間分割手段が設けら
    れており、該区間分割手段によって定められた小区間に
    入力空間を分割してヒストグラム法による確率推定がな
    されることを特徴とする学習機械。
11. 【請求項１１】 請求項９記載の学習機械において、前
    記推定誤差算出手段は、入力空間上の点ｘの誤差の推定
    値を、入力確率の推定値＜ｑ(ｘ)＞と、条件付き確率の
    推定値＜ｆ(ｘ)＞と、学習データ数Ｎとを用いて、 （３／２）・｛＜ｆ(ｘ)＞（１−＜ｆ(ｘ)＞）＜ｆ’
    (ｘ)＞／（６＜ｑ(ｘ)＞Ｎ）｝^2/3 として算出することを特徴とする学習機械。
12. 【請求項１２】 請求項９記載の学習機械を用いたデー
    タ分析装置であって、未知入力を受取る入力手段と、入
    力手段から入力された未知入力に対応した条件付き確率
    の推定値および誤差の推定値を前記学習機械による学習
    結果に基づいて割り出す割出手段と、割出手段によって
    割り出された誤差の推定値が所定の閾値以下であるかを
    判定する判定手段と、判定の結果、誤差の推定値が所定
    の閾値以下である場合には、割出手段によって割り出さ
    れた条件付き確率の推定値を出力する一方、誤差の推定
    値が所定の閾値以下でない場合には、リジェクトを出力
    する出力手段とを備えていることを特徴とするデータ分
    析装置。
13. 【請求項１３】 請求項３記載のデータ分析装置におい
    て、前記判定手段において、誤差の推定値が所定の閾値
    以下であるときに、前記出力手段は、条件付き確率の推
    定値が“０．５”以上ならば“１”を出力し、“０．
    ５”未満ならば“０”を出力するようになっていること
    を特徴とするデータ分析装置。