JPH0973438A - 統計的学習装置及び統計的学習方法、情報記憶媒体 - Google Patents
統計的学習装置及び統計的学習方法、情報記憶媒体Info
- Publication number
- JPH0973438A JPH0973438A JP8099740A JP9974096A JPH0973438A JP H0973438 A JPH0973438 A JP H0973438A JP 8099740 A JP8099740 A JP 8099740A JP 9974096 A JP9974096 A JP 9974096A JP H0973438 A JPH0973438 A JP H0973438A
- Authority
- JP
- Japan
- Prior art keywords
- data
- learning
- unit
- input
- error
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Complex Calculations (AREA)
Abstract
(57)【要約】
【課題】 データｘの入力に対して関数の演算とガウス
ノイズの加算とによりデータｙを出力する未知システム
を、学習データ(ｘ，ｙ)の入力に対してＭ次元のパラメ
ータθを有する線形モデルｆ(ｘ；θ)により回帰曲線推
定部が推定する場合に、その推定の学習誤差が最小とな
るデータｘを学習データ(ｘ，ｙ)用に作成する。 【解決手段】 回帰曲線推定部３の学習誤差が最小とな
るデータｘを学習データ作成部６に作成させ、このデー
タｘを未知システム７に入力してデータｙを出力させ、
これらの組み合わせからなる学習データ(ｘ，ｙ)を学習
データ出力部５から回帰曲線推定部３に出力させ、回帰
曲線推定部３に未知システム７を最小の学習誤差で推定
させる。
ノイズの加算とによりデータｙを出力する未知システム
を、学習データ(ｘ，ｙ)の入力に対してＭ次元のパラメ
ータθを有する線形モデルｆ(ｘ；θ)により回帰曲線推
定部が推定する場合に、その推定の学習誤差が最小とな
るデータｘを学習データ(ｘ，ｙ)用に作成する。 【解決手段】 回帰曲線推定部３の学習誤差が最小とな
るデータｘを学習データ作成部６に作成させ、このデー
タｘを未知システム７に入力してデータｙを出力させ、
これらの組み合わせからなる学習データ(ｘ，ｙ)を学習
データ出力部５から回帰曲線推定部３に出力させ、回帰
曲線推定部３に未知システム７を最小の学習誤差で推定
させる。
Description
【０００１】
【発明の属する技術分野】本発明は、統計的学習装置及
び統計的学習方法、情報記憶媒体に関する。
び統計的学習方法、情報記憶媒体に関する。
【０００２】
【従来の技術】現在、ブラックボックスとして機能する
未知システムを外部から推定する統計的学習装置が研究
されている。このような統計的学習装置は、例えば、回
帰曲線推定部と学習データ出力部とを有し、この学習デ
ータ出力部が出力する学習データにより回帰曲線推定部
が未知システムを推定する。
未知システムを外部から推定する統計的学習装置が研究
されている。このような統計的学習装置は、例えば、回
帰曲線推定部と学習データ出力部とを有し、この学習デ
ータ出力部が出力する学習データにより回帰曲線推定部
が未知システムを推定する。
【０００３】より詳細には、未知システムが、データｘ
の入力に対して関数の演算とガウスノイズの加算とによ
りデータｙを出力するとき、この未知システムを推定す
る回帰曲線推定部に、Ｍ個の線形モデル“ｆ(ｘ；θ)＝
Σiθiｆi(ｘ）”を設定する。学習データ出力部は、未
知システムにデータｘを入力して出力されるデータｙを
採取し、これらのデータｘ，ｙの組み合わせを学習デー
タとして回帰曲線推定部に出力する。この回帰曲線推定
部は、学習データ(ｘ，ｙ)の入力に対して線形モデルを
利用した最尤推定法などを実行し、未知システムを回帰
曲線“Ｅ[ｐ(ｙ｜ｘ)]”として推定する。
の入力に対して関数の演算とガウスノイズの加算とによ
りデータｙを出力するとき、この未知システムを推定す
る回帰曲線推定部に、Ｍ個の線形モデル“ｆ(ｘ；θ)＝
Σiθiｆi(ｘ）”を設定する。学習データ出力部は、未
知システムにデータｘを入力して出力されるデータｙを
採取し、これらのデータｘ，ｙの組み合わせを学習デー
タとして回帰曲線推定部に出力する。この回帰曲線推定
部は、学習データ(ｘ，ｙ)の入力に対して線形モデルを
利用した最尤推定法などを実行し、未知システムを回帰
曲線“Ｅ[ｐ(ｙ｜ｘ)]”として推定する。
【０００４】また、未知システムに一次元の実数直線か
らデータｘが入力される場合は、平均推定部にＭ次元の
パラメータθを有する多項式を設定し、この多項式によ
り未知システムを推定することも可能である。このよう
な多項式は、例えば、下記のように設定される。
らデータｘが入力される場合は、平均推定部にＭ次元の
パラメータθを有する多項式を設定し、この多項式によ
り未知システムを推定することも可能である。このよう
な多項式は、例えば、下記のように設定される。
【０００５】
【数７】
【０００６】
【発明が解決しようとする課題】上述のような統計的学
習装置では、推定部に学習データを的確に入力すること
により、未知システムを良好に推定することができる。
習装置では、推定部に学習データを的確に入力すること
により、未知システムを良好に推定することができる。
【０００７】しかし、学習データを的確に作成すること
ができないため、未知システムを充分に推定するために
は、膨大な学習データを入力する必要があった。
ができないため、未知システムを充分に推定するために
は、膨大な学習データを入力する必要があった。
【０００８】
【課題を解決するための手段】請求項１記載の発明の統
計的学習装置は、未知システムがデータｘの入力に対し
て関数の演算とガウスノイズの加算とによりデータｙを
出力するとき、この未知システムに入力するデータｘと
出力されたデータｙとを学習データ(ｘ，ｙ)として出力
する学習データ出力部を設け、学習データ(ｘ，ｙ)の入
力に対してＭ次元のパラメータθを有する線形モデル
“ｆ(ｘ；θ)＝Σiθiｆi(ｘ）”により前記未知システ
ムを回帰曲線“Ｅ[ｐ(ｙ｜ｘ)]”として推定する回帰曲
線推定部を設けた統計的学習装置において、前記回帰曲
線推定部の学習誤差が最小となるデータｘを作成して前
記学習データ出力部に設定する学習データ作成部を設け
た。
計的学習装置は、未知システムがデータｘの入力に対し
て関数の演算とガウスノイズの加算とによりデータｙを
出力するとき、この未知システムに入力するデータｘと
出力されたデータｙとを学習データ(ｘ，ｙ)として出力
する学習データ出力部を設け、学習データ(ｘ，ｙ)の入
力に対してＭ次元のパラメータθを有する線形モデル
“ｆ(ｘ；θ)＝Σiθiｆi(ｘ）”により前記未知システ
ムを回帰曲線“Ｅ[ｐ(ｙ｜ｘ)]”として推定する回帰曲
線推定部を設けた統計的学習装置において、前記回帰曲
線推定部の学習誤差が最小となるデータｘを作成して前
記学習データ出力部に設定する学習データ作成部を設け
た。
【０００９】なお、本発明で云うデータｘやデータｙな
どは、ベクトルやスカラーなどの数値を示すデータであ
る。
どは、ベクトルやスカラーなどの数値を示すデータであ
る。
【００１０】請求項２記載の発明の統計的学習装置で
は、請求項１記載の発明の統計的学習装置において、学
習データ作成部は、パラメータｖを有して学習データ
(ｘ，ｙ)のデータｘを発生させる確率密度関数“ｒ
(ｘ；ｖ)”を保持した入力分布保持部と、外部から入力
されるデータｘの分布の密度関数の推定量“ハットｑ
(ｘ)”を保持した推定量保持部と、密度関数の推定量
“ハットｑ(ｘ)”を用いて確率密度関数“ｒ(ｘ；ｖ)”
に従って学習データ(ｘ，ｙ)のデータｘを発生させた場
合に回帰曲線推定部の学習誤差の推定値Ｅ(ｖ)が小さく
なるパラメータｖを算出する誤差最小化部とを有し、こ
の算出されたパラメータｖを確率密度関数“ｒ(ｘ；
ｖ)”に設定して学習データ(ｘ，ｙ)のデータｘを発生
させる。
は、請求項１記載の発明の統計的学習装置において、学
習データ作成部は、パラメータｖを有して学習データ
(ｘ，ｙ)のデータｘを発生させる確率密度関数“ｒ
(ｘ；ｖ)”を保持した入力分布保持部と、外部から入力
されるデータｘの分布の密度関数の推定量“ハットｑ
(ｘ)”を保持した推定量保持部と、密度関数の推定量
“ハットｑ(ｘ)”を用いて確率密度関数“ｒ(ｘ；ｖ)”
に従って学習データ(ｘ，ｙ)のデータｘを発生させた場
合に回帰曲線推定部の学習誤差の推定値Ｅ(ｖ)が小さく
なるパラメータｖを算出する誤差最小化部とを有し、こ
の算出されたパラメータｖを確率密度関数“ｒ(ｘ；
ｖ)”に設定して学習データ(ｘ，ｙ)のデータｘを発生
させる。
【００１１】なお、本明細書の文章中の“ハットＡ”と
は、“＾”が付加された“Ａ”をコード表現したもので
あり、これはイメージ入力した数式では通常通りに記載
している。
は、“＾”が付加された“Ａ”をコード表現したもので
あり、これはイメージ入力した数式では通常通りに記載
している。
【００１２】請求項３記載の発明の統計的学習装置で
は、請求項２記載の発明の統計的学習装置において、密
度関数の推定量“ハットｑ(ｘ)”を用いて
は、請求項２記載の発明の統計的学習装置において、密
度関数の推定量“ハットｑ(ｘ)”を用いて
【００１３】
【数８】
【００１４】を計算する第一行列計算部を設け、確率密
度関数“ｒ(ｘ；ｖ)”を用いて
度関数“ｒ(ｘ；ｖ)”を用いて
【００１５】
【数９】
【００１６】を計算する第二行列計算部を設け、誤差最
小化部は、学習誤差の推定値Ｅ(ｖ)を
小化部は、学習誤差の推定値Ｅ(ｖ)を
【００１７】
【数１０】
【００１８】として計算する。
【００１９】請求項４記載の発明の統計的学習装置で
は、請求項３記載の発明の統計的学習装置において、誤
差最小化部は、学習誤差の推定値Ｅ(ｖ)を最小化するパ
ラメータｖを勾配方向を利用した逐次的手法により計算
する。
は、請求項３記載の発明の統計的学習装置において、誤
差最小化部は、学習誤差の推定値Ｅ(ｖ)を最小化するパ
ラメータｖを勾配方向を利用した逐次的手法により計算
する。
【００２０】請求項５記載の発明の統計的学習装置で
は、請求項４記載の発明の統計的学習装置において、入
力分布保持部は、確率密度関数“ｒ(ｘ；ｖ)”が“Ｍ
(Ｍ＋１)／２”以下の個数の離散分布として設定されて
いる。
は、請求項４記載の発明の統計的学習装置において、入
力分布保持部は、確率密度関数“ｒ(ｘ；ｖ)”が“Ｍ
(Ｍ＋１)／２”以下の個数の離散分布として設定されて
いる。
【００２１】請求項６記載の発明の統計的学習装置で
は、請求項４記載の発明の統計的学習装置において、入
力分布保持部は、確率密度関数“ｒ(ｘ；ｖ)”が
は、請求項４記載の発明の統計的学習装置において、入
力分布保持部は、確率密度関数“ｒ(ｘ；ｖ)”が
【００２２】
【数１１】
【００２３】なる関数で一次独立の実数の個数の離散分
布として設定されている。
布として設定されている。
【００２４】請求項７記載の発明の統計的学習装置は、
未知システムが一次元の実数直線からのデータｘの入力
に対して関数の演算とガウスノイズの加算とによりデー
タｙを出力するとき、この未知システムに入力するデー
タｘと出力されたデータｙとを学習データ(ｘ，ｙ)とし
て出力する学習データ出力部を設け、学習データ(ｘ，
ｙ)の入力に対してＭ次元のパラメータθを有する多項
式
未知システムが一次元の実数直線からのデータｘの入力
に対して関数の演算とガウスノイズの加算とによりデー
タｙを出力するとき、この未知システムに入力するデー
タｘと出力されたデータｙとを学習データ(ｘ，ｙ)とし
て出力する学習データ出力部を設け、学習データ(ｘ，
ｙ)の入力に対してＭ次元のパラメータθを有する多項
式
【００２５】
【数１２】
【００２６】により前記未知システムを推定する平均推
定部を設けた統計的学習装置において、予め設定された
二つの分布の混合分布に従って前記平均推定部の学習誤
差が最小となるデータｘを作成して前記学習データ出力
部に設定する学習データ作成部を設けた。
定部を設けた統計的学習装置において、予め設定された
二つの分布の混合分布に従って前記平均推定部の学習誤
差が最小となるデータｘを作成して前記学習データ出力
部に設定する学習データ作成部を設けた。
【００２７】請求項８記載の発明の統計的学習方法は、
未知システムがデータｘの入力に対して関数の演算とガ
ウスノイズの加算とによりデータｙを出力するとき、こ
の未知システムに入力するデータｘと出力されたデータ
ｙとを学習データ(ｘ，ｙ)として学習データ出力部に出
力させ、この学習データ(ｘ，ｙ)の入力に対してＭ次元
のパラメータθを有する線形モデル“ｆ(ｘ；θ)＝Σi
θiｆi(ｘ）”により回帰曲線推定部が前記未知システ
ムを回帰曲線“Ｅ[ｐ(ｙ｜ｘ)]”として推定するように
した統計的学習方法において、前記回帰曲線推定部の学
習誤差が最小となるデータｘを学習データ作成部が作成
して前記学習データ出力部に設定するようにした。
未知システムがデータｘの入力に対して関数の演算とガ
ウスノイズの加算とによりデータｙを出力するとき、こ
の未知システムに入力するデータｘと出力されたデータ
ｙとを学習データ(ｘ，ｙ)として学習データ出力部に出
力させ、この学習データ(ｘ，ｙ)の入力に対してＭ次元
のパラメータθを有する線形モデル“ｆ(ｘ；θ)＝Σi
θiｆi(ｘ）”により回帰曲線推定部が前記未知システ
ムを回帰曲線“Ｅ[ｐ(ｙ｜ｘ)]”として推定するように
した統計的学習方法において、前記回帰曲線推定部の学
習誤差が最小となるデータｘを学習データ作成部が作成
して前記学習データ出力部に設定するようにした。
【００２８】請求項９記載の発明の統計的学習方法は、
未知システムが一次元の実数直線からのデータｘの入力
に対して関数の演算とガウスノイズの加算とによりデー
タｙを出力するとき、この未知システムに入力するデー
タｘと出力されたデータｙとを学習データ(ｘ，ｙ)とし
て学習データ出力部に出力させ、この学習データ(ｘ，
ｙ)の入力に対してＭ次元のパラメータθを有する多項
式
未知システムが一次元の実数直線からのデータｘの入力
に対して関数の演算とガウスノイズの加算とによりデー
タｙを出力するとき、この未知システムに入力するデー
タｘと出力されたデータｙとを学習データ(ｘ，ｙ)とし
て学習データ出力部に出力させ、この学習データ(ｘ，
ｙ)の入力に対してＭ次元のパラメータθを有する多項
式
【００２９】
【数１３】
【００３０】により平均推定部が前記未知システムを推
定するようにした統計的学習方法において、学習データ
作成部が予め設定された二つの分布の混合分布に従って
前記平均推定部の学習誤差が最小となるデータｘを作成
して前記学習データ出力部に設定するようにした。
定するようにした統計的学習方法において、学習データ
作成部が予め設定された二つの分布の混合分布に従って
前記平均推定部の学習誤差が最小となるデータｘを作成
して前記学習データ出力部に設定するようにした。
【００３１】請求項１０記載の発明の情報記憶媒体は、
マイクロコンピュータを動作させるソフトウェアが書き
込まれた情報記憶媒体において、請求項１，２，３，
４，５，６又は７記載の統計的学習装置の各種機能がソ
フトウェアとして書き込まれている。
マイクロコンピュータを動作させるソフトウェアが書き
込まれた情報記憶媒体において、請求項１，２，３，
４，５，６又は７記載の統計的学習装置の各種機能がソ
フトウェアとして書き込まれている。
【００３２】請求項１及び８記載の発明では、未知シス
テムがデータｘの入力に対して関数の演算とガウスノイ
ズの加算とによりデータｙを出力するとき、この未知シ
ステムに入力するデータｘと出力されたデータｙとを学
習データ(ｘ，ｙ)として学習データ出力部に出力させ、
この学習データ(ｘ，ｙ)の入力に対してＭ次元のパラメ
ータθを有する線形モデル“ｆ(ｘ；θ)＝Σiθiｆ
i(ｘ）”により回帰曲線推定部が未知システムを回帰曲
線“Ｅ[ｐ(ｙ｜ｘ)]”として推定する。この時、回帰曲
線推定部の学習誤差が最小となるデータｘを学習データ
作成部が作成して学習データ出力部に設定するので、回
帰曲線推定部が少数の学習データで未知システムを良好
に推定する。
テムがデータｘの入力に対して関数の演算とガウスノイ
ズの加算とによりデータｙを出力するとき、この未知シ
ステムに入力するデータｘと出力されたデータｙとを学
習データ(ｘ，ｙ)として学習データ出力部に出力させ、
この学習データ(ｘ，ｙ)の入力に対してＭ次元のパラメ
ータθを有する線形モデル“ｆ(ｘ；θ)＝Σiθiｆ
i(ｘ）”により回帰曲線推定部が未知システムを回帰曲
線“Ｅ[ｐ(ｙ｜ｘ)]”として推定する。この時、回帰曲
線推定部の学習誤差が最小となるデータｘを学習データ
作成部が作成して学習データ出力部に設定するので、回
帰曲線推定部が少数の学習データで未知システムを良好
に推定する。
【００３３】請求項２記載の発明では、パラメータｖを
有して学習データ(ｘ，ｙ)のデータｘを発生させる確率
密度関数“ｒ(ｘ；ｖ)”が入力分布保持部に保持されて
おり、外部から入力されるデータｘの分布の密度関数の
推定量“ハットｑ(ｘ)”が推定量保持部に保持されてい
る。密度関数の推定量“ハットｑ(ｘ)”を用いて確率密
度関数“ｒ(ｘ；ｖ)”に従って学習データ(ｘ，ｙ)のデ
ータｘを発生させた場合に回帰曲線推定部の学習誤差の
推定値Ｅ(ｖ)が小さくなるパラメータｖを誤差最小化部
が算出すると、この算出されたパラメータｖを確率密度
関数“ｒ(ｘ；ｖ)”に設定して学習データ(ｘ，ｙ)のデ
ータｘを発生させるので、回帰曲線推定部の学習誤差が
最小となるデータｘが簡易に作成される。
有して学習データ(ｘ，ｙ)のデータｘを発生させる確率
密度関数“ｒ(ｘ；ｖ)”が入力分布保持部に保持されて
おり、外部から入力されるデータｘの分布の密度関数の
推定量“ハットｑ(ｘ)”が推定量保持部に保持されてい
る。密度関数の推定量“ハットｑ(ｘ)”を用いて確率密
度関数“ｒ(ｘ；ｖ)”に従って学習データ(ｘ，ｙ)のデ
ータｘを発生させた場合に回帰曲線推定部の学習誤差の
推定値Ｅ(ｖ)が小さくなるパラメータｖを誤差最小化部
が算出すると、この算出されたパラメータｖを確率密度
関数“ｒ(ｘ；ｖ)”に設定して学習データ(ｘ，ｙ)のデ
ータｘを発生させるので、回帰曲線推定部の学習誤差が
最小となるデータｘが簡易に作成される。
【００３４】請求項３記載の発明では、密度関数の推定
量“ハットｑ(ｘ)”を用いて第一行列計算部が下記の行
列を計算し、
量“ハットｑ(ｘ)”を用いて第一行列計算部が下記の行
列を計算し、
【００３５】
【数１４】
【００３６】確率密度関数“ｒ(ｘ；ｖ)”を用いて第二
行列計算部が下記の行列を計算し、
行列計算部が下記の行列を計算し、
【００３７】
【数１５】
【００３８】学習誤差の推定値Ｅ(ｖ)を誤差最小化部が
下記のように計算する。
下記のように計算する。
【００３９】
【数１６】
【００４０】従って、回帰曲線推定部の学習誤差の推定
値Ｅ(ｖ)が二つの行列から簡易に計算される。
値Ｅ(ｖ)が二つの行列から簡易に計算される。
【００４１】請求項４記載の発明では、誤差最小化部が
学習誤差の推定値Ｅ(ｖ)を最小化するパラメータｖを勾
配方向を利用した逐次的手法により計算するので、推定
値Ｅ(ｖ)を最小化するパラメータｖが簡易に計算され
る。
学習誤差の推定値Ｅ(ｖ)を最小化するパラメータｖを勾
配方向を利用した逐次的手法により計算するので、推定
値Ｅ(ｖ)を最小化するパラメータｖが簡易に計算され
る。
【００４２】請求項５記載の発明では、入力分布保持部
の確率密度関数“ｒ(ｘ；ｖ)”が“Ｍ(Ｍ＋１)／２”以
下の個数の離散分布として設定されているので、学習デ
ータの個数が削減される。
の確率密度関数“ｒ(ｘ；ｖ)”が“Ｍ(Ｍ＋１)／２”以
下の個数の離散分布として設定されているので、学習デ
ータの個数が削減される。
【００４３】請求項６記載の発明では、入力分布保持部
の確率密度関数“ｒ(ｘ；ｖ)”が下記の関数で一次独立
の実数の個数の離散分布として設定されているので、学
習データの個数が必要最小限に制限される。
の確率密度関数“ｒ(ｘ；ｖ)”が下記の関数で一次独立
の実数の個数の離散分布として設定されているので、学
習データの個数が必要最小限に制限される。
【００４４】
【数１７】
【００４５】請求項７及び９記載の発明では、未知シス
テムが一次元の実数直線からのデータｘの入力に対して
関数の演算とガウスノイズの加算とによりデータｙを出
力するとき、この未知システムに入力するデータｘと出
力されたデータｙとを学習データ(ｘ，ｙ)として学習デ
ータ出力部に出力させ、この学習データ(ｘ，ｙ)の入力
に対してＭ次元のパラメータθを有する下記の多項式に
より平均推定部が未知システムを推定する。
テムが一次元の実数直線からのデータｘの入力に対して
関数の演算とガウスノイズの加算とによりデータｙを出
力するとき、この未知システムに入力するデータｘと出
力されたデータｙとを学習データ(ｘ，ｙ)として学習デ
ータ出力部に出力させ、この学習データ(ｘ，ｙ)の入力
に対してＭ次元のパラメータθを有する下記の多項式に
より平均推定部が未知システムを推定する。
【００４６】
【数１８】
【００４７】この時、平均推定部の学習誤差が最小とな
るデータｘを学習データ作成部が予め設定された二つの
分布の混合分布に従って作成して学習データ出力部に設
定するので、回帰曲線推定部が少数の学習データで未知
システムを良好に推定する。
るデータｘを学習データ作成部が予め設定された二つの
分布の混合分布に従って作成して学習データ出力部に設
定するので、回帰曲線推定部が少数の学習データで未知
システムを良好に推定する。
【００４８】請求項１０記載の発明では、請求項１，
２，３，４，５，６又は７記載の統計的学習装置の各種
機能がソフトウェアとして書き込まれているので、この
情報記憶媒体のソフトウェアにより動作するマイクロコ
ンピュータは、請求項１，２，３，４，５，６又は７記
載の統計的学習装置として機能する。
２，３，４，５，６又は７記載の統計的学習装置の各種
機能がソフトウェアとして書き込まれているので、この
情報記憶媒体のソフトウェアにより動作するマイクロコ
ンピュータは、請求項１，２，３，４，５，６又は７記
載の統計的学習装置として機能する。
【００４９】
【発明の実施の形態】本発明の実施の第一の形態を図１
に基づいて以下に説明する。まず、本実施の形態の統計
的学習装置１は、外部データ入力部２、回帰曲線推定部
３、外部データ出力部４、学習データ出力部５、学習デ
ータ作成部６、を有しており、未知システム７に接続さ
れている。
に基づいて以下に説明する。まず、本実施の形態の統計
的学習装置１は、外部データ入力部２、回帰曲線推定部
３、外部データ出力部４、学習データ出力部５、学習デ
ータ作成部６、を有しており、未知システム７に接続さ
れている。
【００５０】この未知システム７は、外部のベクトル空
間からデータｘとしてＬ次元のベクトルｘが入力される
と、所定の関数の演算とガウスノイズの加算とを実行
し、データｙとしてＫ次元のベクトルｙを外部に出力す
る。前記外部データ入力部２は、外部から入力されるベ
クトルｘを前記回帰曲線推定部３に入力し、前記外部デ
ータ出力部４は、前記回帰曲線推定部３が出力するベク
トルｙを外部に出力する。
間からデータｘとしてＬ次元のベクトルｘが入力される
と、所定の関数の演算とガウスノイズの加算とを実行
し、データｙとしてＫ次元のベクトルｙを外部に出力す
る。前記外部データ入力部２は、外部から入力されるベ
クトルｘを前記回帰曲線推定部３に入力し、前記外部デ
ータ出力部４は、前記回帰曲線推定部３が出力するベク
トルｙを外部に出力する。
【００５１】前記回帰曲線推定部３は、前記未知システ
ム７を回帰曲線“Ｅ[ｐ(ｙ｜ｘ)]”として推定するた
め、Ｍ次元のパラメータθを有する線形モデル“ｆ
(ｘ；θ)＝Σiθiｆi(ｘ）”がモデル記憶部８に予め設
定されており、線形モデルのＭ次元のパラメータθを推
定するパラメータ推定部９を有している。
ム７を回帰曲線“Ｅ[ｐ(ｙ｜ｘ)]”として推定するた
め、Ｍ次元のパラメータθを有する線形モデル“ｆ
(ｘ；θ)＝Σiθiｆi(ｘ）”がモデル記憶部８に予め設
定されており、線形モデルのＭ次元のパラメータθを推
定するパラメータ推定部９を有している。
【００５２】前記学習データ出力部５は、前記未知シス
テム７に入力するベクトルｘと出力されたベクトルｙと
を学習データ(ｘ，ｙ)前記回帰曲線推定部３に出力し、
前記学習データ作成部６は、前記回帰曲線推定部３の学
習誤差が最小となるベクトルｘを作成して前記学習デー
タ出力部５に設定する。
テム７に入力するベクトルｘと出力されたベクトルｙと
を学習データ(ｘ，ｙ)前記回帰曲線推定部３に出力し、
前記学習データ作成部６は、前記回帰曲線推定部３の学
習誤差が最小となるベクトルｘを作成して前記学習デー
タ出力部５に設定する。
【００５３】このような構成において、未知システム７
は、関数の演算とガウスノイズの加算とにより、Ｌ次元
のベクトルｘの入力に対してＫ次元のベクトルｙを出力
するので、本実施の形態の統計的学習装置１は、回帰曲
線推定部３が未知システム７の未知の関数を推定する。
は、関数の演算とガウスノイズの加算とにより、Ｌ次元
のベクトルｘの入力に対してＫ次元のベクトルｙを出力
するので、本実施の形態の統計的学習装置１は、回帰曲
線推定部３が未知システム７の未知の関数を推定する。
【００５４】より詳細には、学習データ出力部５が、未
知システム７に入力するベクトルｘと出力されたベクト
ルｙとを学習データ(ｘ，ｙ)として回帰曲線推定部３に
出力するので、この回帰曲線推定部３は、例えば、線形
モデル“ｆ(ｘ；θ)＝Σiθiｆi(ｘ）”を利用した最尤
推定法である最小自乗誤差推定法により、下記の演算が
最小となるθを求めることにより、未知システム７の関
数を回帰曲線“Ｅ[ｐ(ｙ｜ｘ)]”として推定する。
知システム７に入力するベクトルｘと出力されたベクト
ルｙとを学習データ(ｘ，ｙ)として回帰曲線推定部３に
出力するので、この回帰曲線推定部３は、例えば、線形
モデル“ｆ(ｘ；θ)＝Σiθiｆi(ｘ）”を利用した最尤
推定法である最小自乗誤差推定法により、下記の演算が
最小となるθを求めることにより、未知システム７の関
数を回帰曲線“Ｅ[ｐ(ｙ｜ｘ)]”として推定する。
【００５５】
【数１９】
【００５６】この時、学習データ作成部６が、回帰曲線
推定部３の学習誤差が最小となるベクトルｘを作成して
学習データ出力部５に設定するので、学習データ出力部
５は、学習データ作成部６により設定されたベクトルｘ
で学習データ(ｘ，ｙ)を採取して回帰曲線推定部３に出
力する。このため、回帰曲線推定部３は、的確な学習デ
ータ(ｘ，ｙ)が必要かつ充分に入力されることになり、
膨大な学習を要することなく最小の誤差で未知システム
７を良好に推定することができる。
推定部３の学習誤差が最小となるベクトルｘを作成して
学習データ出力部５に設定するので、学習データ出力部
５は、学習データ作成部６により設定されたベクトルｘ
で学習データ(ｘ，ｙ)を採取して回帰曲線推定部３に出
力する。このため、回帰曲線推定部３は、的確な学習デ
ータ(ｘ，ｙ)が必要かつ充分に入力されることになり、
膨大な学習を要することなく最小の誤差で未知システム
７を良好に推定することができる。
【００５７】このように未知システム７を推定した回帰
曲線推定部３は、ベクトルｘの入力に対して未知システ
ム７と同様にベクトルｙを出力することができるので、
未知システム７が出力するベクトルｙを直接に採取しな
くとも、これを推定して未知システム７を制御するよう
なことができる。
曲線推定部３は、ベクトルｘの入力に対して未知システ
ム７と同様にベクトルｙを出力することができるので、
未知システム７が出力するベクトルｙを直接に採取しな
くとも、これを推定して未知システム７を制御するよう
なことができる。
【００５８】このような統計的学習装置１の具体的な利
用方法としては、カラースキャナの特性同定が想定でき
る。例えば、ある原稿の実際のカラーの物理量であるＬ
*ａ*ｂ* 値から、これに対してカラースキャナが出力す
るＹＭＣ(Yellow,Magenta,Cyanide)値への変換関数を未
知システム７として、これに回帰曲線推定部３を同定す
る統計的学習装置１が想定できる。
用方法としては、カラースキャナの特性同定が想定でき
る。例えば、ある原稿の実際のカラーの物理量であるＬ
*ａ*ｂ* 値から、これに対してカラースキャナが出力す
るＹＭＣ(Yellow,Magenta,Cyanide)値への変換関数を未
知システム７として、これに回帰曲線推定部３を同定す
る統計的学習装置１が想定できる。
【００５９】このような場合、必要な範囲を充分に微細
な単位でＬ*ａ*ｂ* 値を変化させた標準原稿を用意して
おき、学習データ作成部６により与えられた学習データ
を観測するための入力ベクトルｘに最も近いＬ*ａ*ｂ*
値の原稿をカラースキャナで読み取り、これが出力する
ＹＭＣ値をベクトルｙとして一個の学習データ(ｘ，ｙ)
を作成する。このような作業をＮ回まで繰り返すことに
より、本発明の手法によるＮ個の学習データを作成する
ことができ、これに基づいて回帰曲線推定部３がパラメ
ータθを推定してカラースキャナの特性を同定すること
ができる。
な単位でＬ*ａ*ｂ* 値を変化させた標準原稿を用意して
おき、学習データ作成部６により与えられた学習データ
を観測するための入力ベクトルｘに最も近いＬ*ａ*ｂ*
値の原稿をカラースキャナで読み取り、これが出力する
ＹＭＣ値をベクトルｙとして一個の学習データ(ｘ，ｙ)
を作成する。このような作業をＮ回まで繰り返すことに
より、本発明の手法によるＮ個の学習データを作成する
ことができ、これに基づいて回帰曲線推定部３がパラメ
ータθを推定してカラースキャナの特性を同定すること
ができる。
【００６０】なお、製品として出荷するカラースキャナ
の最終調整において、未知システム７であるカラースキ
ャナに回帰曲線推定部３を同定させれば、学習データ出
力部５や学習データ作成部６は製品であるカラースキャ
ナに搭載する必要はない。
の最終調整において、未知システム７であるカラースキ
ャナに回帰曲線推定部３を同定させれば、学習データ出
力部５や学習データ作成部６は製品であるカラースキャ
ナに搭載する必要はない。
【００６１】また、上述のような統計的学習装置１は、
その各部２〜６の各々を固有のハードウェアとして製作
することでも実現できるが、各部２〜６の機能をソフト
ウェアとして情報記憶媒体に書き込み、これでマイクロ
コンピュータを動作させることでも統計的学習装置１を
実現することができる。同様に、各部２〜６の一部をハ
ードウェアで製作し、他の一部をソフトウェアとして情
報記憶媒体に書き込むことも可能である。
その各部２〜６の各々を固有のハードウェアとして製作
することでも実現できるが、各部２〜６の機能をソフト
ウェアとして情報記憶媒体に書き込み、これでマイクロ
コンピュータを動作させることでも統計的学習装置１を
実現することができる。同様に、各部２〜６の一部をハ
ードウェアで製作し、他の一部をソフトウェアとして情
報記憶媒体に書き込むことも可能である。
【００６２】より具体的には、情報記憶媒体に、未知シ
ステムに入力するデータｘと出力されたデータｙとを学
習データ(ｘ，ｙ)として出力すること、学習データ
(ｘ，ｙ)の入力に対してＭ次元のパラメータθを有する
線形モデル“ｆ(ｘ；θ)＝Σiθiｆi(ｘ）”により未知
システム７を回帰曲線“Ｅ[ｐ(ｙ｜ｘ)]”として推定す
ること、この学習誤差が最小となるデータｘを作成して
設定すること、等をソフトウェアとして書き込む。この
ように統計的学習装置１の各種機能をソフトウェアとし
て書き込んだ情報記憶媒体は、単体の製品として取り扱
うことも可能であり、例えば、ＲＡＭ(Random Access M
emory)、ＲＯＭ(Read Only Memory)、ＣＤ−ＲＯＭ(Com
pact Disk-ROM)、ＦＤ(Floppy Disk）等の形態で供給す
ることができる。
ステムに入力するデータｘと出力されたデータｙとを学
習データ(ｘ，ｙ)として出力すること、学習データ
(ｘ，ｙ)の入力に対してＭ次元のパラメータθを有する
線形モデル“ｆ(ｘ；θ)＝Σiθiｆi(ｘ）”により未知
システム７を回帰曲線“Ｅ[ｐ(ｙ｜ｘ)]”として推定す
ること、この学習誤差が最小となるデータｘを作成して
設定すること、等をソフトウェアとして書き込む。この
ように統計的学習装置１の各種機能をソフトウェアとし
て書き込んだ情報記憶媒体は、単体の製品として取り扱
うことも可能であり、例えば、ＲＡＭ(Random Access M
emory)、ＲＯＭ(Read Only Memory)、ＣＤ−ＲＯＭ(Com
pact Disk-ROM)、ＦＤ(Floppy Disk）等の形態で供給す
ることができる。
【００６３】つぎに、本発明の実施の第二の形態を図２
および図３に基づいて以下に説明する。なお、この実施
の第二の形態の統計的学習装置１１に関し、上述した実
施の第一の形態の統計的学習装置１と同一の部分は、同
一の名称と符号とを利用して詳細な説明は省略する。
および図３に基づいて以下に説明する。なお、この実施
の第二の形態の統計的学習装置１１に関し、上述した実
施の第一の形態の統計的学習装置１と同一の部分は、同
一の名称と符号とを利用して詳細な説明は省略する。
【００６４】本実施の形態の統計的学習装置１１は、学
習データ作成部１２の構成と作用とを具体的に説明する
ものであり、図２に示すように、学習データ作成部１２
が、推定量保持部１３、入力分布保持部１４、第一行列
計算部１５、第二行列計算部１６、誤差最小化部１７、
を有している。
習データ作成部１２の構成と作用とを具体的に説明する
ものであり、図２に示すように、学習データ作成部１２
が、推定量保持部１３、入力分布保持部１４、第一行列
計算部１５、第二行列計算部１６、誤差最小化部１７、
を有している。
【００６５】前記推定量保持部１３は、外部から入力さ
れるベクトルｘの分布の密度関数の推定量“ハットｑ
(ｘ)”を保持しており、前記第一行列計算部１５は、密
度関数の推定量“ハットｑ(ｘ)”を用いて下記の行列を
計算する。なお、このように“ハット”が付加された記
号は、本案では推定であることを意味している。
れるベクトルｘの分布の密度関数の推定量“ハットｑ
(ｘ)”を保持しており、前記第一行列計算部１５は、密
度関数の推定量“ハットｑ(ｘ)”を用いて下記の行列を
計算する。なお、このように“ハット”が付加された記
号は、本案では推定であることを意味している。
【００６６】
【数２０】
【００６７】前記入力分布保持部１４は、パラメータｖ
を有して学習データ(ｘ，ｙ)のベクトルｘを発生させる
確率密度関数“ｒ(ｘ；ｖ)”を保持しており、前記第二
行列計算部１６は、確率密度関数“ｒ(ｘ；ｖ)”を用い
て下記の行列を計算する。
を有して学習データ(ｘ，ｙ)のベクトルｘを発生させる
確率密度関数“ｒ(ｘ；ｖ)”を保持しており、前記第二
行列計算部１６は、確率密度関数“ｒ(ｘ；ｖ)”を用い
て下記の行列を計算する。
【００６８】
【数２１】
【００６９】前記誤差最小化部１７は、密度関数の推定
量“ハットｑ(ｘ)”を用いて確率密度関数“ｒ(ｘ；
ｖ)”に従って学習データ(ｘ，ｙ)のベクトルｘを発生
させた場合に、回帰曲線推定部３の学習誤差の推定値Ｅ
(ｖ)が小さくなるパラメータｖを算出する。このため、
学習誤差の推定値Ｅ(ｖ)を下記のように計算し、この学
習誤差の推定値Ｅ(ｖ)を最小化するパラメータｖを、山
下り法のような勾配方向を利用した逐次的手法により計
算する。
量“ハットｑ(ｘ)”を用いて確率密度関数“ｒ(ｘ；
ｖ)”に従って学習データ(ｘ，ｙ)のベクトルｘを発生
させた場合に、回帰曲線推定部３の学習誤差の推定値Ｅ
(ｖ)が小さくなるパラメータｖを算出する。このため、
学習誤差の推定値Ｅ(ｖ)を下記のように計算し、この学
習誤差の推定値Ｅ(ｖ)を最小化するパラメータｖを、山
下り法のような勾配方向を利用した逐次的手法により計
算する。
【００７０】
【数２２】
【００７１】そこで、前記学習データ作成部１２は、前
記誤差最小化部１７により算出されたパラメータｖを、
前記入力分布保持部１４に保持されている確率密度関数
“ｒ(ｘ；ｖ)”に設定し、学習データ(ｘ，ｙ)のベクト
ルｘを発生させる。
記誤差最小化部１７により算出されたパラメータｖを、
前記入力分布保持部１４に保持されている確率密度関数
“ｒ(ｘ；ｖ)”に設定し、学習データ(ｘ，ｙ)のベクト
ルｘを発生させる。
【００７２】このような構成において、本実施の形態の
統計的学習装置１１は、前述した統計的学習装置１と同
様に、学習データ作成部１２がベクトルｘを作成して学
習データ出力部５に設定すると、この学習データ出力部
５は、設定されたベクトルｘで学習データ(ｘ，ｙ)を採
取して回帰曲線推定部３に出力するので、この回帰曲線
推定部３は、入力された学習データ(ｘ，ｙ)に従って未
知システム７の関数を推定する。
統計的学習装置１１は、前述した統計的学習装置１と同
様に、学習データ作成部１２がベクトルｘを作成して学
習データ出力部５に設定すると、この学習データ出力部
５は、設定されたベクトルｘで学習データ(ｘ，ｙ)を採
取して回帰曲線推定部３に出力するので、この回帰曲線
推定部３は、入力された学習データ(ｘ，ｙ)に従って未
知システム７の関数を推定する。
【００７３】ここで、学習データ作成部１２が、学習デ
ータ(ｘ，ｙ)のベクトルｘを発生させる過程を以下に順
次詳述する。まず、入力分布保持部１４には、学習デー
タ(ｘ，ｙ)のベクトルｘを発生させる確率密度関数“ｒ
(ｘ；ｖ)”が予め保持されているので、そのパラメータ
ｖが決定されるとベクトルｘも確定する。
ータ(ｘ，ｙ)のベクトルｘを発生させる過程を以下に順
次詳述する。まず、入力分布保持部１４には、学習デー
タ(ｘ，ｙ)のベクトルｘを発生させる確率密度関数“ｒ
(ｘ；ｖ)”が予め保持されているので、そのパラメータ
ｖが決定されるとベクトルｘも確定する。
【００７４】そこで、第一行列計算部１５は、推定量保
持部１３に予め設定されている密度関数の推定量“ハッ
トｑ(ｘ)”を用いて下記の行列を計算し、
持部１３に予め設定されている密度関数の推定量“ハッ
トｑ(ｘ)”を用いて下記の行列を計算し、
【００７５】
【数２３】
【００７６】第二行列計算部１６は、確率密度関数“ｒ
(ｘ；ｖ)”を用いて下記の行列を計算する。
(ｘ；ｖ)”を用いて下記の行列を計算する。
【００７７】
【数２４】
【００７８】誤差最小化部１７は、学習誤差の推定値Ｅ
(ｖ)を下記のように計算し、この学習誤差の推定値Ｅ
(ｖ)を最小化するパラメータｖを、勾配方向を利用した
逐次的手法により計算する。
(ｖ)を下記のように計算し、この学習誤差の推定値Ｅ
(ｖ)を最小化するパラメータｖを、勾配方向を利用した
逐次的手法により計算する。
【００７９】
【数２５】
【００８０】そして、学習データ作成部１２は、上述の
ように計算されたパラメータｖを確率密度関数“ｒ
(ｘ；ｖ)”に設定してベクトルｘを発生させるので、こ
のベクトルｘによる学習データ(ｘ，ｙ)は、回帰曲線推
定部３の学習誤差を最小化することができる。
ように計算されたパラメータｖを確率密度関数“ｒ
(ｘ；ｖ)”に設定してベクトルｘを発生させるので、こ
のベクトルｘによる学習データ(ｘ，ｙ)は、回帰曲線推
定部３の学習誤差を最小化することができる。
【００８１】ここで、本実施の形態の統計的学習装置１
１の有効性を以下に検証する。まず、推定する未知シス
テム７の真の回帰曲線ｆ(ｘ)が、回帰曲線推定部３に設
定したＭ個の線形モデルｆ(ｘ；θ)に含まれると仮定
し、ｆ(ｘ)＝ｆ(ｘ；θ0）とする。つぎに、入力分布保
持部１４に設定した密度関数をｒ(ｘ)とし、これから作
成した学習データ(ｘ，ｙ)から回帰曲線推定部３が最小
自乗誤差推定により獲得したパラメータθを“ハット
θ”とする。このような状態の平均的な学習誤差は、下
記のように計算することができる。
１の有効性を以下に検証する。まず、推定する未知シス
テム７の真の回帰曲線ｆ(ｘ)が、回帰曲線推定部３に設
定したＭ個の線形モデルｆ(ｘ；θ)に含まれると仮定
し、ｆ(ｘ)＝ｆ(ｘ；θ0）とする。つぎに、入力分布保
持部１４に設定した密度関数をｒ(ｘ)とし、これから作
成した学習データ(ｘ，ｙ)から回帰曲線推定部３が最小
自乗誤差推定により獲得したパラメータθを“ハット
θ”とする。このような状態の平均的な学習誤差は、下
記のように計算することができる。
【００８２】
【数２６】
【００８３】この学習誤差の学習データの出方に対応し
た期待値をＥ0 とすると、これは近似的に下記のように
表現される。
た期待値をＥ0 とすると、これは近似的に下記のように
表現される。
【００８４】
【数２７】
【００８５】この場合、統計的推定で一般的な計算方法
により、下記のことが成立する。
により、下記のことが成立する。
【００８６】
【数２８】
【００８７】従って、学習誤差の期待値Ｅ0 は、下記の
ようになる。
ようになる。
【００８８】
【数２９】
【００８９】この学習誤差の期待値Ｅ0 を最小にできれ
ば、回帰曲線推定部３の学習誤差を最小にすることがで
きるので、本実施の形態の統計的学習装置１１は、上述
のようなことを満足するよう学習データ作成部１２を形
成している。
ば、回帰曲線推定部３の学習誤差を最小にすることがで
きるので、本実施の形態の統計的学習装置１１は、上述
のようなことを満足するよう学習データ作成部１２を形
成している。
【００９０】なお、本実施の形態の統計的学習装置１１
では、上述のように誤差最小化部１７が逐次的手法によ
り学習誤差の推定値Ｅ(ｖ)のパラメータｖを計算するの
で、適正なパラメータｖを解析的に計算できない場合で
も、適正なパラメータｖを獲得することができる。
では、上述のように誤差最小化部１７が逐次的手法によ
り学習誤差の推定値Ｅ(ｖ)のパラメータｖを計算するの
で、適正なパラメータｖを解析的に計算できない場合で
も、適正なパラメータｖを獲得することができる。
【００９１】また、このように誤差最小化部１７が逐次
的手法によりパラメータｖを計算する場合、入力分布保
持部１４に、確率密度関数“ｒ(ｘ；ｖ)”が“Ｍ(Ｍ＋
１)／２”以下の個数の離散分布として設定されていれ
ば、誤差最小化部１７のトレースＴr の計算コストを削
減することができる。さらに、確率密度関数“ｒ(ｘ；
ｖ)”を下記のような関数で一次独立の実数の個数の離
散分布として設定することができれば、誤差最小化部１
７の計算コストを必要最小限まで削減することができ
る。
的手法によりパラメータｖを計算する場合、入力分布保
持部１４に、確率密度関数“ｒ(ｘ；ｖ)”が“Ｍ(Ｍ＋
１)／２”以下の個数の離散分布として設定されていれ
ば、誤差最小化部１７のトレースＴr の計算コストを削
減することができる。さらに、確率密度関数“ｒ(ｘ；
ｖ)”を下記のような関数で一次独立の実数の個数の離
散分布として設定することができれば、誤差最小化部１
７の計算コストを必要最小限まで削減することができ
る。
【００９２】
【数３０】
【００９３】ここで、上述のような統計的学習装置１１
による統計的学習方法の一具体例を図３に基づいて以下
に簡単に説明する。まず、前述のように、第一行列計算
部１５が、推定量保持部１３に予め設定されている密度
関数の推定量“ハットｑ(ｘ)”を用いて第一の行列“ハ
ットＩ”を計算する（ステップＳ１）。つぎに、第二行
列計算部１６が、入力分布保持部１４に予め保持されて
いる確率密度関数“ｒ(ｘ；ｖ)”を用いて第二の行列
“Ｊab(ｖ)”を計算し（ステップＳ４）、誤差最小化部
１７が、学習誤差の推定値Ｅ(ｖ)を計算する（ステップ
Ｓ５）。
による統計的学習方法の一具体例を図３に基づいて以下
に簡単に説明する。まず、前述のように、第一行列計算
部１５が、推定量保持部１３に予め設定されている密度
関数の推定量“ハットｑ(ｘ)”を用いて第一の行列“ハ
ットＩ”を計算する（ステップＳ１）。つぎに、第二行
列計算部１６が、入力分布保持部１４に予め保持されて
いる確率密度関数“ｒ(ｘ；ｖ)”を用いて第二の行列
“Ｊab(ｖ)”を計算し（ステップＳ４）、誤差最小化部
１７が、学習誤差の推定値Ｅ(ｖ)を計算する（ステップ
Ｓ５）。
【００９４】このとき、この学習誤差の推定値Ｅ(ｖ)を
最小化するパラメータｖを、勾配方向を利用した逐次的
手法により計算するため（ステップＳ６）、最初にパラ
メータｖが乱数により初期化されるとともに（ステップ
Ｓ２）、逐次的手法である最急降下法の繰り返し回数ｋ
が“０”に初期化され（ステップＳ３）、これが繰り返
し回数ｋend となるまで第二の行列“Ｊab(ｖ)”と学習
誤差の推定値Ｅ(ｖ)とによりパラメータｖが計算される
（ステップＳ４〜Ｓ８）。なお、図中の“α”は収束係
数である。
最小化するパラメータｖを、勾配方向を利用した逐次的
手法により計算するため（ステップＳ６）、最初にパラ
メータｖが乱数により初期化されるとともに（ステップ
Ｓ２）、逐次的手法である最急降下法の繰り返し回数ｋ
が“０”に初期化され（ステップＳ３）、これが繰り返
し回数ｋend となるまで第二の行列“Ｊab(ｖ)”と学習
誤差の推定値Ｅ(ｖ)とによりパラメータｖが計算される
（ステップＳ４〜Ｓ８）。なお、図中の“α”は収束係
数である。
【００９５】このように学習誤差の推定値Ｅ(ｖ)を最小
化するパラメータｖが計算されると、学習データ作成部
１２が、パラメータｖを確率密度関数“ｒ(ｘ；ｖ)”に
設定して“Ｎ−１”個のベクトルｘを発生させ（ステッ
プＳ９）、同時に未知システム７が実際に出力する“Ｎ
−１”個のベクトルｙを取得するので（ステップＳ１
０）、これらの“Ｎ−１”個の学習データ(ｘ，ｙ)によ
り、未知システム７の線形モデルｆ(ｘ；θ)のパラメー
タθが推定される（ステップＳ１１）。
化するパラメータｖが計算されると、学習データ作成部
１２が、パラメータｖを確率密度関数“ｒ(ｘ；ｖ)”に
設定して“Ｎ−１”個のベクトルｘを発生させ（ステッ
プＳ９）、同時に未知システム７が実際に出力する“Ｎ
−１”個のベクトルｙを取得するので（ステップＳ１
０）、これらの“Ｎ−１”個の学習データ(ｘ，ｙ)によ
り、未知システム７の線形モデルｆ(ｘ；θ)のパラメー
タθが推定される（ステップＳ１１）。
【００９６】つぎに、本発明の実施の第三の形態を図４
に基づいて以下に説明する。なお、この実施の第三の形
態の統計的学習装置２１に関し、上述した実施の第二の
形態の統計的学習装置１１と同一の部分は、同一の名称
と符号とを利用して詳細な説明は省略する。
に基づいて以下に説明する。なお、この実施の第三の形
態の統計的学習装置２１に関し、上述した実施の第二の
形態の統計的学習装置１１と同一の部分は、同一の名称
と符号とを利用して詳細な説明は省略する。
【００９７】本実施の形態の統計的学習装置２１は、学
習データ作成部２２の推定量保持部２３を具体的に説明
するもので、この推定量保持部２３は、パラメータｕを
有するパラメトリックモデル“ｑ(ｘ；ｕ)”が予め設定
されており、外部データ入力部２に接続されている。そ
こで、前記推定量保持部２３は、外部から外部データ入
力部２に実際に入力される(Ｎ−１)次元のベクトルｘを
採取し、その分布の密度関数の推定量“ハットｑ(ｘ)”
をパラメトリックモデル“ｑ(ｘ；ｕ)”によりパラメト
リック推定して保持する。
習データ作成部２２の推定量保持部２３を具体的に説明
するもので、この推定量保持部２３は、パラメータｕを
有するパラメトリックモデル“ｑ(ｘ；ｕ)”が予め設定
されており、外部データ入力部２に接続されている。そ
こで、前記推定量保持部２３は、外部から外部データ入
力部２に実際に入力される(Ｎ−１)次元のベクトルｘを
採取し、その分布の密度関数の推定量“ハットｑ(ｘ)”
をパラメトリックモデル“ｑ(ｘ；ｕ)”によりパラメト
リック推定して保持する。
【００９８】なお、このパラメトリックモデル“ｑ
(ｘ；ｕ)”としては、パラメトリック推定を実現する各
種モデルが利用できるが、例えば、正規分布からなる混
合分布により、下記のように設定されている。
(ｘ；ｕ)”としては、パラメトリック推定を実現する各
種モデルが利用できるが、例えば、正規分布からなる混
合分布により、下記のように設定されている。
【００９９】
【数３１】
【０１００】この数式の“ｎ(ｘ；ｍ,ｓ2)”は、平均ｍ
と分散ｓ2 との正規分布の確率密度関数であり、これは
下記のように表されるので、パラメトリックモデル“ｑ
(ｘ；ｕ)”のパラメータｕは、“ｕ＝(ｍt，ｓt)”であ
る。
と分散ｓ2 との正規分布の確率密度関数であり、これは
下記のように表されるので、パラメトリックモデル“ｑ
(ｘ；ｕ)”のパラメータｕは、“ｕ＝(ｍt，ｓt)”であ
る。
【０１０１】
【数３２】
【０１０２】このような構成において、本実施の形態の
統計的学習装置２１も、前述した統計的学習装置１１と
同様に、学習データ作成部２２が推定量保持部２３に保
持されているベクトルｘの分布の密度関数の推定量“ハ
ットｑ(ｘ)”を用いて学習データ(ｘ，ｙ)のベクトルｘ
を作成する。
統計的学習装置２１も、前述した統計的学習装置１１と
同様に、学習データ作成部２２が推定量保持部２３に保
持されているベクトルｘの分布の密度関数の推定量“ハ
ットｑ(ｘ)”を用いて学習データ(ｘ，ｙ)のベクトルｘ
を作成する。
【０１０３】この推定量保持部２３は、外部から入力さ
れるベクトルｘから推定量“ハットｑ(ｘ)”をパラメト
リック推定して保持するため、このパラメトリック推定
の時点で回帰曲線推定部３の使用状況と同等なベクトル
ｘを外部データ入力部２に入力する。すると、推定量保
持部２３は、外部から外部データ入力部２に入力される
ベクトルｘを採取し、予め設定されているパラメトリッ
クモデル“ｑ(ｘ；ｕ)”のパラメータｕを最尤推定法な
どによりパラメトリック推定することにより、ベクトル
ｘの分布の密度関数の推定量“ハットｑ(ｘ)”を推定し
て保持する。
れるベクトルｘから推定量“ハットｑ(ｘ)”をパラメト
リック推定して保持するため、このパラメトリック推定
の時点で回帰曲線推定部３の使用状況と同等なベクトル
ｘを外部データ入力部２に入力する。すると、推定量保
持部２３は、外部から外部データ入力部２に入力される
ベクトルｘを採取し、予め設定されているパラメトリッ
クモデル“ｑ(ｘ；ｕ)”のパラメータｕを最尤推定法な
どによりパラメトリック推定することにより、ベクトル
ｘの分布の密度関数の推定量“ハットｑ(ｘ)”を推定し
て保持する。
【０１０４】本実施の形態の統計的学習装置２１は、上
述のように実際の使用状況と同等なベクトルｘに基づい
て、学習データ作成部２２の推定量保持部２３にベクト
ルｘの分布の密度関数の推定量“ハットｑ(ｘ)”を設定
することができる。
述のように実際の使用状況と同等なベクトルｘに基づい
て、学習データ作成部２２の推定量保持部２３にベクト
ルｘの分布の密度関数の推定量“ハットｑ(ｘ)”を設定
することができる。
【０１０５】つぎに、本発明の実施の第四の形態を図５
に基づいて以下に説明する。なお、この実施の第四の形
態の統計的学習装置３１に関し、上述した実施の第三の
形態の統計的学習装置２１と同一の部分は、同一の名称
と符号とを利用して詳細な説明は省略する。
に基づいて以下に説明する。なお、この実施の第四の形
態の統計的学習装置３１に関し、上述した実施の第三の
形態の統計的学習装置２１と同一の部分は、同一の名称
と符号とを利用して詳細な説明は省略する。
【０１０６】本実施の形態の統計的学習装置３１も、学
習データ作成部３２の推定量保持部３３を具体的に説明
するもので、この推定量保持部３３は、ノンパラメトリ
ックモデル“ｑ(ｘ)”が予め設定されており、外部から
外部データ入力部２に実際に入力されるベクトルｘを採
取し、その分布の密度関数の推定量“ハットｑ(ｘ)”を
ノンパラメトリック推定して保持する。
習データ作成部３２の推定量保持部３３を具体的に説明
するもので、この推定量保持部３３は、ノンパラメトリ
ックモデル“ｑ(ｘ)”が予め設定されており、外部から
外部データ入力部２に実際に入力されるベクトルｘを採
取し、その分布の密度関数の推定量“ハットｑ(ｘ)”を
ノンパラメトリック推定して保持する。
【０１０７】なお、このノンパラメトリックモデル“ｑ
(ｘ)”としては、ノンパラメトリック推定を実現する各
種モデルが利用できる。ベクトルｘは、下記のように入
力される。
(ｘ)”としては、ノンパラメトリック推定を実現する各
種モデルが利用できる。ベクトルｘは、下記のように入
力される。
【０１０８】
【数３３】
【０１０９】この場合、ノンパラメトリックモデル“ｑ
(ｘ)”は、例えば、正規分布により下記のように設定さ
れる。
(ｘ)”は、例えば、正規分布により下記のように設定さ
れる。
【０１１０】
【数３４】
【０１１１】このような構成において、本実施の形態の
統計的学習装置３１も、前述した統計的学習装置２１と
同様に、実際の使用状況と同等なベクトルｘに基づい
て、学習データ作成部３２の推定量保持部３３にベクト
ルｘの分布の密度関数の推定量“ハットｑ(ｘ)”を設定
する。この推定量保持部３３は、外部から外部データ入
力部２に入力されるベクトルｘを採取し、ベクトルｘの
分布の密度関数の推定量“ハットｑ(ｘ)”をノンパラメ
トリック推定して保持する。
統計的学習装置３１も、前述した統計的学習装置２１と
同様に、実際の使用状況と同等なベクトルｘに基づい
て、学習データ作成部３２の推定量保持部３３にベクト
ルｘの分布の密度関数の推定量“ハットｑ(ｘ)”を設定
する。この推定量保持部３３は、外部から外部データ入
力部２に入力されるベクトルｘを採取し、ベクトルｘの
分布の密度関数の推定量“ハットｑ(ｘ)”をノンパラメ
トリック推定して保持する。
【０１１２】なお、本実施の形態の統計的学習装置３１
では、推定量保持部３３に正規分布を利用したノンパラ
メトリックモデル“ｑ(ｘ)を設定することを例示した
が、本発明は上記形態に限定されるものではなく、この
ようなノンパラメトリックモデル“ｑ(ｘ)”としては、
矩形関数などの各種のカーネル関数も利用でき、例え
ば、カーネル関数にデルタ関数を用いた下記のような演
算なども利用可能である。
では、推定量保持部３３に正規分布を利用したノンパラ
メトリックモデル“ｑ(ｘ)を設定することを例示した
が、本発明は上記形態に限定されるものではなく、この
ようなノンパラメトリックモデル“ｑ(ｘ)”としては、
矩形関数などの各種のカーネル関数も利用でき、例え
ば、カーネル関数にデルタ関数を用いた下記のような演
算なども利用可能である。
【０１１３】
【数３５】
【０１１４】つぎに、本発明の実施の第五の形態を図６
に基づいて以下に説明する。なお、この実施の第五の形
態の統計的学習装置４１に関し、前述した実施の第二の
形態の統計的学習装置１１と同一の部分は、同一の名称
と符号とを利用して詳細な説明は省略する。
に基づいて以下に説明する。なお、この実施の第五の形
態の統計的学習装置４１に関し、前述した実施の第二の
形態の統計的学習装置１１と同一の部分は、同一の名称
と符号とを利用して詳細な説明は省略する。
【０１１５】本実施の形態の統計的学習装置４１は、学
習データ作成部４２を具体的に説明するもので、この学
習データ作成部４２は、推定量保持部１３を有しておら
ず、第一行列計算部４３が外部データ入力部２に接続さ
れている。この第一行列計算部４３は、外部から外部デ
ータ入力部２に実際に入力される(Ｎ′−１)次元のベク
トルｘを採取して下記のような計算を実行する。
習データ作成部４２を具体的に説明するもので、この学
習データ作成部４２は、推定量保持部１３を有しておら
ず、第一行列計算部４３が外部データ入力部２に接続さ
れている。この第一行列計算部４３は、外部から外部デ
ータ入力部２に実際に入力される(Ｎ′−１)次元のベク
トルｘを採取して下記のような計算を実行する。
【０１１６】
【数３６】
【０１１７】このような構成において、本実施の形態の
統計的学習装置４１も、前述した統計的学習装置１１と
同様に、学習データ作成部４２は第一行列計算部４３の
計算結果を利用して学習データ(ｘ，ｙ)のベクトルｘを
作成する。この第一行列計算部４３は、外部から入力さ
れるベクトルｘを利用して、積分を実行することなく加
算により計算を実行するので、計算の負担を軽減して時
間を短縮することができる。このような手法は、カーネ
ル関数にデルタ関数を用いた場合に相当する。
統計的学習装置４１も、前述した統計的学習装置１１と
同様に、学習データ作成部４２は第一行列計算部４３の
計算結果を利用して学習データ(ｘ，ｙ)のベクトルｘを
作成する。この第一行列計算部４３は、外部から入力さ
れるベクトルｘを利用して、積分を実行することなく加
算により計算を実行するので、計算の負担を軽減して時
間を短縮することができる。このような手法は、カーネ
ル関数にデルタ関数を用いた場合に相当する。
【０１１８】つぎに、本発明の実施の第六の形態を図７
ないし図９に基づいて以下に説明する。なお、この実施
の第六の形態の統計的学習装置５１に関し、前述した実
施の第一の形態の統計的学習装置１と同一の部分は、同
一の名称と符号とを利用して詳細な説明は省略する。
ないし図９に基づいて以下に説明する。なお、この実施
の第六の形態の統計的学習装置５１に関し、前述した実
施の第一の形態の統計的学習装置１と同一の部分は、同
一の名称と符号とを利用して詳細な説明は省略する。
【０１１９】本実施の形態の統計的学習装置５１は、図
７に示すように、一次元の実数直線からのベクトルｘの
入力に対してデータｙを出力する未知システム５２に対
応したものであり、これを推定する平均推定部５３のモ
デル記憶部５４には、Ｍ次元のパラメータθを有する多
項式が下記のように設定されている。
７に示すように、一次元の実数直線からのベクトルｘの
入力に対してデータｙを出力する未知システム５２に対
応したものであり、これを推定する平均推定部５３のモ
デル記憶部５４には、Ｍ次元のパラメータθを有する多
項式が下記のように設定されている。
【０１２０】
【数３７】
【０１２１】そして、このような平均推定部５３の学習
データ(ｘ，ｙ)のベクトルｘを作成する学習データ作成
部５５は、予め設定された二つの分布の混合分布“ｒ
(ｘ：ｖ)”に従って前記平均推定部５３の学習誤差Ｅ
(ｖ)が最小となるベクトルｘを作成して学習データ出力
部５に設定する。
データ(ｘ，ｙ)のベクトルｘを作成する学習データ作成
部５５は、予め設定された二つの分布の混合分布“ｒ
(ｘ：ｖ)”に従って前記平均推定部５３の学習誤差Ｅ
(ｖ)が最小となるベクトルｘを作成して学習データ出力
部５に設定する。
【０１２２】なお、このような混合分布“ｒ(ｘ：ｖ)”
は、二つの各種分布により形成されるが、ここでは“０
＜ａ＜１”なる実数ａにより表現される二つの正規分布
により“ａｎ(ｘ；０，τ1 2)＋(１−ａ)ｎ(ｘ；０，τ2
2)”として予め設定されている。この場合、二つの正規
分布は、各々の線形結合係数を“ａ，１−ａ”とし、各
々の分散を“τ1 2，τ2 2”とすると、“０＜ａ＜0.1”
を満足する微小なａと“τ1 2＞10”を満足するτ1 とが
“ａτ1 2＞10”を満足するよう設定されている。
は、二つの各種分布により形成されるが、ここでは“０
＜ａ＜１”なる実数ａにより表現される二つの正規分布
により“ａｎ(ｘ；０，τ1 2)＋(１−ａ)ｎ(ｘ；０，τ2
2)”として予め設定されている。この場合、二つの正規
分布は、各々の線形結合係数を“ａ，１−ａ”とし、各
々の分散を“τ1 2，τ2 2”とすると、“０＜ａ＜0.1”
を満足する微小なａと“τ1 2＞10”を満足するτ1 とが
“ａτ1 2＞10”を満足するよう設定されている。
【０１２３】このような構成において、本実施の形態の
統計的学習装置５１の統計的学習方法では、図８に示す
ように、学習データ作成部５５が、予め設定された二つ
の分布の混合分布“ｒ(ｘ：ｖ)”に従って学習誤差Ｅ
(ｖ)が最小となるベクトルｘを作成するので（ステップ
Ｔ１）、平均推定部５３は、学習データ(ｘ，ｙ)により
多項式ｆ(ｙ；θ)を利用して未知システム５２を良好に
推定することができる（ステップＴ２〜Ｔ４）。
統計的学習装置５１の統計的学習方法では、図８に示す
ように、学習データ作成部５５が、予め設定された二つ
の分布の混合分布“ｒ(ｘ：ｖ)”に従って学習誤差Ｅ
(ｖ)が最小となるベクトルｘを作成するので（ステップ
Ｔ１）、平均推定部５３は、学習データ(ｘ，ｙ)により
多項式ｆ(ｙ；θ)を利用して未知システム５２を良好に
推定することができる（ステップＴ２〜Ｔ４）。
【０１２４】ここで、本実施の形態の統計的学習装置５
１の有効性を以下に検証する。まず、平均ｍ、分散τ2
の正規分布の密度関数を、
１の有効性を以下に検証する。まず、平均ｍ、分散τ2
の正規分布の密度関数を、
【０１２５】
【数３８】
【０１２６】とし、平均推定部５３に設定された二つの
正規分布の混合分布“ｒ(ｘ：ｖ)”を“ａｎ(ｘ；０，
τ1 2)＋(１−ａ)ｎ(ｘ；０，τ2 2)”とする。そして、
τ2 を有界な値とし、“ａτ1 2→∞”が維持されるよう
に“ａ→０”“τ1 →∞”と極限を設定すると、学習誤
差Ｅ(ｖ)のトレース値は下記のようになる。
正規分布の混合分布“ｒ(ｘ：ｖ)”を“ａｎ(ｘ；０，
τ1 2)＋(１−ａ)ｎ(ｘ；０，τ2 2)”とする。そして、
τ2 を有界な値とし、“ａτ1 2→∞”が維持されるよう
に“ａ→０”“τ1 →∞”と極限を設定すると、学習誤
差Ｅ(ｖ)のトレース値は下記のようになる。
【０１２７】
【数３９】
【０１２８】上述のように極限操作を実行すると、
“１”より大きい学習誤差Ｅ(ｖ)のトレース値が最小の
“１”に無限に近付くので、最適な入力分布を獲得する
ことができる。しかし、実際には無限に操作を行なうこ
とはできないので、具体的な数値を設定する必要があ
る。
“１”より大きい学習誤差Ｅ(ｖ)のトレース値が最小の
“１”に無限に近付くので、最適な入力分布を獲得する
ことができる。しかし、実際には無限に操作を行なうこ
とはできないので、具体的な数値を設定する必要があ
る。
【０１２９】これを確認するため、本実施の形態の統計
的学習装置５１を以下のようにシミュレートしたとこ
ろ、充分な効果が確認された。まず、[−１，１]上の一
様分布をＵ、平均０分散１の正規分布に従う独立な確率
変数をＺとし、ｑ(ｘ)による実システムの入力分布を
“Ｕ＋ 0.3Ｚ”に設定した。そして、未知システム５２
の真の関数を“ｆ(ｘ)＝ｘ＋２”としたところ、“ａ＝
0.1，τ1＝30，τ2＝１ ”で充分な効果が確認された。
的学習装置５１を以下のようにシミュレートしたとこ
ろ、充分な効果が確認された。まず、[−１，１]上の一
様分布をＵ、平均０分散１の正規分布に従う独立な確率
変数をＺとし、ｑ(ｘ)による実システムの入力分布を
“Ｕ＋ 0.3Ｚ”に設定した。そして、未知システム５２
の真の関数を“ｆ(ｘ)＝ｘ＋２”としたところ、“ａ＝
0.1，τ1＝30，τ2＝１ ”で充分な効果が確認された。
【０１３０】そこで、これらの数値を統計的学習装置５
１に設定し、推定のモデルを一次から五次まで変化さ
せ、前述した二つの密度関数“ｒ(ｘ：ｖ)，ｑ(ｘ)”に
より1000個の学習データ(ｘ，ｙ)を採取してパラメータ
の推定量“ハットθ”を計算し、その学習後の推定誤差
を以下の数式による平均二乗誤差により評価した。
１に設定し、推定のモデルを一次から五次まで変化さ
せ、前述した二つの密度関数“ｒ(ｘ：ｖ)，ｑ(ｘ)”に
より1000個の学習データ(ｘ，ｙ)を採取してパラメータ
の推定量“ハットθ”を計算し、その学習後の推定誤差
を以下の数式による平均二乗誤差により評価した。
【０１３１】
【数４０】
【０１３２】このような二つの密度関数“ｒ(ｘ：ｖ)，
ｑ(ｘ)”で 500回ずつ実行したところ、図９に示すよう
に、密度関数“ｑ(ｘ)”の場合にはモデルの次数の増加
に比例して誤差が増加したが、密度関数“ｒ(ｘ：ｖ)”
の場合にはモデルの次数が増加しても誤差が増加しなか
った。しかも、密度関数“ｒ(ｘ：ｖ)”の誤差は密度関
数“ｑ(ｘ)”の最小の誤差（次数が０次の場合）に同等
であり、上述のように二つの分布の混合分布“ｒ(ｘ：
ｖ)”を利用してベクトルｘを作成すれば学習誤差Ｅ
(ｖ)が最小となることが確認された。
ｑ(ｘ)”で 500回ずつ実行したところ、図９に示すよう
に、密度関数“ｑ(ｘ)”の場合にはモデルの次数の増加
に比例して誤差が増加したが、密度関数“ｒ(ｘ：ｖ)”
の場合にはモデルの次数が増加しても誤差が増加しなか
った。しかも、密度関数“ｒ(ｘ：ｖ)”の誤差は密度関
数“ｑ(ｘ)”の最小の誤差（次数が０次の場合）に同等
であり、上述のように二つの分布の混合分布“ｒ(ｘ：
ｖ)”を利用してベクトルｘを作成すれば学習誤差Ｅ
(ｖ)が最小となることが確認された。
【０１３３】なお、本実施の形態の統計的学習装置５１
は、前述のようにベクトルｘの入力空間が一次元の実数
直線の場合に対応しているが、このような入力空間が有
界な区間[−Ａ，Ｂ]に制限できる場合もある。このよう
な場合、その両端で学習データ(ｘ，ｙ)を割合“ａ／
２”ずつ採取し、残りの“１−ａ”の割合を“（Ａ＋
Ｂ)2／４”より小さい分散の分布から発生させることが
好ましい。このようにすることで、近似的に実数直線の
最適分布に近い採取が可能となるので、より良好な学習
データを作成することができる。
は、前述のようにベクトルｘの入力空間が一次元の実数
直線の場合に対応しているが、このような入力空間が有
界な区間[−Ａ，Ｂ]に制限できる場合もある。このよう
な場合、その両端で学習データ(ｘ，ｙ)を割合“ａ／
２”ずつ採取し、残りの“１−ａ”の割合を“（Ａ＋
Ｂ)2／４”より小さい分散の分布から発生させることが
好ましい。このようにすることで、近似的に実数直線の
最適分布に近い採取が可能となるので、より良好な学習
データを作成することができる。
【０１３４】
【発明の効果】請求項１及び８記載の発明では、未知シ
ステムがデータｘの入力に対して関数の演算とガウスノ
イズの加算とによりデータｙを出力するとき、この未知
システムに入力するデータｘと出力されたデータｙとを
学習データ(ｘ，ｙ)として学習データ出力部に出力さ
せ、この学習データ(ｘ，ｙ)の入力に対してＭ次元のパ
ラメータθを有する線形モデル“ｆ(ｘ；θ)＝Σiθiｆ
i(ｘ）”により回帰曲線推定部が未知システムを回帰曲
線“Ｅ[ｐ(ｙ｜ｘ)]”として推定する統計的学習装置及
び統計的学習方法において、回帰曲線推定部の学習誤差
が最小となるデータｘを学習データ作成部が作成して学
習データ出力部に設定するようにしたことにより、この
学習データ作成部が出力するデータｘに基づいて学習デ
ータ出力部が回帰曲線推定部に学習データ(ｘ，ｙ)を出
力するので、この回帰曲線推定部は未知システムを最小
誤差で推定することができる。
ステムがデータｘの入力に対して関数の演算とガウスノ
イズの加算とによりデータｙを出力するとき、この未知
システムに入力するデータｘと出力されたデータｙとを
学習データ(ｘ，ｙ)として学習データ出力部に出力さ
せ、この学習データ(ｘ，ｙ)の入力に対してＭ次元のパ
ラメータθを有する線形モデル“ｆ(ｘ；θ)＝Σiθiｆ
i(ｘ）”により回帰曲線推定部が未知システムを回帰曲
線“Ｅ[ｐ(ｙ｜ｘ)]”として推定する統計的学習装置及
び統計的学習方法において、回帰曲線推定部の学習誤差
が最小となるデータｘを学習データ作成部が作成して学
習データ出力部に設定するようにしたことにより、この
学習データ作成部が出力するデータｘに基づいて学習デ
ータ出力部が回帰曲線推定部に学習データ(ｘ，ｙ)を出
力するので、この回帰曲線推定部は未知システムを最小
誤差で推定することができる。
【０１３５】請求項２記載の発明では、学習データ作成
部は、パラメータｖを有して学習データ(ｘ，ｙ)のデー
タｘを発生させる確率密度関数“ｒ(ｘ；ｖ)”を保持し
た入力分布保持部と、外部から入力されるデータｘの分
布の密度関数の推定量“ハットｑ(ｘ)”を保持した推定
量保持部と、密度関数の推定量“ハットｑ(ｘ)”を用い
て確率密度関数“ｒ(ｘ；ｖ)”に従って学習データ
(ｘ，ｙ)のデータｘを発生させた場合に回帰曲線推定部
の学習誤差の推定値Ｅ(ｖ)が小さくなるパラメータｖを
算出する誤差最小化部とを有し、この算出されたパラメ
ータｖを確率密度関数“ｒ(ｘ；ｖ)”に設定して学習デ
ータ(ｘ，ｙ)のデータｘを発生させることにより、回帰
曲線推定部の学習誤差が最小となる学習データ(ｘ，ｙ)
のデータｘを簡易に作成することができる。
部は、パラメータｖを有して学習データ(ｘ，ｙ)のデー
タｘを発生させる確率密度関数“ｒ(ｘ；ｖ)”を保持し
た入力分布保持部と、外部から入力されるデータｘの分
布の密度関数の推定量“ハットｑ(ｘ)”を保持した推定
量保持部と、密度関数の推定量“ハットｑ(ｘ)”を用い
て確率密度関数“ｒ(ｘ；ｖ)”に従って学習データ
(ｘ，ｙ)のデータｘを発生させた場合に回帰曲線推定部
の学習誤差の推定値Ｅ(ｖ)が小さくなるパラメータｖを
算出する誤差最小化部とを有し、この算出されたパラメ
ータｖを確率密度関数“ｒ(ｘ；ｖ)”に設定して学習デ
ータ(ｘ，ｙ)のデータｘを発生させることにより、回帰
曲線推定部の学習誤差が最小となる学習データ(ｘ，ｙ)
のデータｘを簡易に作成することができる。
【０１３６】請求項３記載の発明では、密度関数の推定
量“ハットｑ(ｘ)”を用いて
量“ハットｑ(ｘ)”を用いて
【０１３７】
【数４１】
【０１３８】を計算する第一行列計算部を設け、確率密
度関数“ｒ(ｘ；ｖ)”を用いて
度関数“ｒ(ｘ；ｖ)”を用いて
【０１３９】
【数４２】
【０１４０】を計算する第二行列計算部を設け、誤差最
小化部は、学習誤差の推定値Ｅ(ｖ)を
小化部は、学習誤差の推定値Ｅ(ｖ)を
【０１４１】
【数４３】
【０１４２】として計算することにより、最適なデータ
ｘの作成に必要な学習誤差の推定値Ｅ(ｖ)を簡易に算出
することができる。
ｘの作成に必要な学習誤差の推定値Ｅ(ｖ)を簡易に算出
することができる。
【０１４３】請求項４記載の発明では、誤差最小化部
は、学習誤差の推定値Ｅ(ｖ)を最小化するパラメータｖ
を勾配方向を利用した逐次的手法により計算することに
より、学習誤差Ｅ(ｖ)を最小化するパラメータｖを簡易
に算出することができる。
は、学習誤差の推定値Ｅ(ｖ)を最小化するパラメータｖ
を勾配方向を利用した逐次的手法により計算することに
より、学習誤差Ｅ(ｖ)を最小化するパラメータｖを簡易
に算出することができる。
【０１４４】請求項５記載の発明では、入力分布保持部
は、確率密度関数“ｒ(ｘ；ｖ)”が“Ｍ(Ｍ＋１)／２”
以下の個数の離散分布として設定されていることによ
り、学習データの個数を削減することができる。
は、確率密度関数“ｒ(ｘ；ｖ)”が“Ｍ(Ｍ＋１)／２”
以下の個数の離散分布として設定されていることによ
り、学習データの個数を削減することができる。
【０１４５】請求項６記載の発明では、入力分布保持部
は、確率密度関数“ｒ(ｘ；ｖ)”が
は、確率密度関数“ｒ(ｘ；ｖ)”が
【０１４６】
【数４４】
【０１４７】なる関数で一次独立の実数の個数の離散分
布として設定されていることにより、学習データの個数
を必要最小限に制限することができる。
布として設定されていることにより、学習データの個数
を必要最小限に制限することができる。
【０１４８】請求項７及び９記載の発明では、未知シス
テムが一次元の実数直線からのデータｘの入力に対して
関数の演算とガウスノイズの加算とによりデータｙを出
力するとき、この未知システムに入力するデータｘと出
力されたデータｙとを学習データ(ｘ，ｙ)として学習デ
ータ出力部に出力させ、この学習データ(ｘ，ｙ)の入力
に対してＭ次元のパラメータθを有する多項式
テムが一次元の実数直線からのデータｘの入力に対して
関数の演算とガウスノイズの加算とによりデータｙを出
力するとき、この未知システムに入力するデータｘと出
力されたデータｙとを学習データ(ｘ，ｙ)として学習デ
ータ出力部に出力させ、この学習データ(ｘ，ｙ)の入力
に対してＭ次元のパラメータθを有する多項式
【０１４９】
【数４５】
【０１５０】により平均推定部が未知システムを推定す
る統計的学習装置及び統計的学習方法において、平均推
定部の学習誤差が最小となるデータｘを学習データ作成
部が作成して学習データ出力部に設定するようにしたこ
とにより、この学習データ作成部が出力するデータｘに
基づいて学習データ出力部が平均推定部に学習データ
(ｘ，ｙ)を出力するので、この平均推定部は未知システ
ムを最小誤差で推定することができる。
る統計的学習装置及び統計的学習方法において、平均推
定部の学習誤差が最小となるデータｘを学習データ作成
部が作成して学習データ出力部に設定するようにしたこ
とにより、この学習データ作成部が出力するデータｘに
基づいて学習データ出力部が平均推定部に学習データ
(ｘ，ｙ)を出力するので、この平均推定部は未知システ
ムを最小誤差で推定することができる。
【０１５１】請求項１０記載の発明の情報記憶媒体は、
マイクロコンピュータを動作させるソフトウェアが書き
込まれた情報記憶媒体において、請求項１，２，３，
４，５，６又は７記載の統計的学習装置の各種機能がソ
フトウェアとして書き込まれているので、このソフトウ
ェアによりマイクロコンピュータを動作させれば、請求
項１，２，３，４，５，６又は７記載の統計的学習装置
を簡易に実現することができる。
マイクロコンピュータを動作させるソフトウェアが書き
込まれた情報記憶媒体において、請求項１，２，３，
４，５，６又は７記載の統計的学習装置の各種機能がソ
フトウェアとして書き込まれているので、このソフトウ
ェアによりマイクロコンピュータを動作させれば、請求
項１，２，３，４，５，６又は７記載の統計的学習装置
を簡易に実現することができる。
【図１】本発明の実施の第一の形態の統計的学習装置を
示すブロック図である。
示すブロック図である。
【図２】本発明の実施の第二の形態の統計的学習装置を
示すブロック図である。
示すブロック図である。
【図３】その統計的学習方法を示すフローチャートであ
る。
る。
【図４】本発明の実施の第三の形態の統計的学習装置を
示すブロック図である。
示すブロック図である。
【図５】本発明の実施の第四の形態の統計的学習装置を
示すブロック図である。
示すブロック図である。
【図６】本発明の実施の第五の形態の統計的学習装置を
示すブロック図である。
示すブロック図である。
【図７】本発明の実施の第六の形態の統計的学習装置を
示すブロック図である。
示すブロック図である。
【図８】その統計的学習方法を示すフローチャートであ
る。
る。
【図９】その推定誤差の試験結果を示す特性図である。
１，１１，２１，３１，４１，５１ 統計的学習装置 ３ 回帰曲線推定部 ５，２２ 学習データ出力部 ６，１２，３２，４２ 学習データ作成部 ７，５２ 未知システム １３，２３，３３ 推定量保持部 １４ 入力分布保持部 １５ 第一行列計算部 １６ 第二行列計算部 １７ 誤差最小化部 ５３ 平均推定部 ５５ 学習データ作成部
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成８年６月１３日
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正内容】
【００８４】
【数２７】
Claims (10)
- 【請求項１】 未知システムがデータｘの入力に対して
関数の演算とガウスノイズの加算とによりデータｙを出
力するとき、この未知システムに入力するデータｘと出
力されたデータｙとを学習データ(ｘ，ｙ)として出力す
る学習データ出力部を設け、学習データ(ｘ，ｙ)の入力
に対してＭ次元のパラメータθを有する線形モデル“ｆ
(ｘ；θ)＝Σiθiｆi(ｘ）”により前記未知システムを
回帰曲線“Ｅ[ｐ(ｙ｜ｘ)]”として推定する回帰曲線推
定部を設けた統計的学習装置において、前記回帰曲線推
定部の学習誤差が最小となるデータｘを作成して前記学
習データ出力部に設定する学習データ作成部を設けたこ
とを特徴とする統計的学習装置。 - 【請求項２】 学習データ作成部は、パラメータｖを有
して学習データ(ｘ，ｙ)のデータｘを発生させる確率密
度関数“ｒ(ｘ；ｖ)”を保持した入力分布保持部と、外
部から入力されるデータｘの分布の密度関数の推定量
“ハットｑ(ｘ)”を保持した推定量保持部と、密度関数
の推定量“ハットｑ(ｘ)”を用いて確率密度関数“ｒ
(ｘ；ｖ)”に従って学習データ(ｘ，ｙ)のデータｘを発
生させた場合に回帰曲線推定部の学習誤差の推定値Ｅ
(ｖ)が小さくなるパラメータｖを算出する誤差最小化部
とを有し、この算出されたパラメータｖを確率密度関数
“ｒ(ｘ；ｖ)”に設定して学習データ(ｘ，ｙ)のデータ
ｘを発生させることを特徴とする請求項１記載の統計的
学習装置。 - 【請求項３】 密度関数の推定量“ハットｑ(ｘ)”を用
いて 【数１】 を計算する第一行列計算部を設け、確率密度関数“ｒ
(ｘ；ｖ)”を用いて 【数２】 を計算する第二行列計算部を設け、誤差最小化部は、学
習誤差の推定値Ｅ(ｖ)を 【数３】 として計算することを特徴とする請求項２記載の統計的
学習装置。 - 【請求項４】 誤差最小化部は、学習誤差の推定値Ｅ
(ｖ)を最小化するパラメータｖを勾配方向を利用した逐
次的手法により計算することを特徴とする請求項３記載
の統計的学習装置。 - 【請求項５】 入力分布保持部は、確率密度関数“ｒ
(ｘ；ｖ)”が“Ｍ(Ｍ＋１)／２”以下の個数の離散分布
として設定されていることを特徴とする請求項４記載の
統計的学習装置。 - 【請求項６】 入力分布保持部は、確率密度関数“ｒ
(ｘ；ｖ)”が 【数４】 なる関数で一次独立の実数の個数の離散分布として設定
されていることを特徴とする請求項４記載の統計的学習
装置。 - 【請求項７】 未知システムが一次元の実数直線からの
データｘの入力に対して関数の演算とガウスノイズの加
算とによりデータｙを出力するとき、この未知システム
に入力するデータｘと出力されたデータｙとを学習デー
タ(ｘ，ｙ)として出力する学習データ出力部を設け、学
習データ(ｘ，ｙ)の入力に対してＭ次元のパラメータθ
を有する多項式 【数５】 により前記未知システムを推定する平均推定部を設けた
統計的学習装置において、予め設定された二つの分布の
混合分布に従って前記平均推定部の学習誤差が最小とな
るデータｘを作成して前記学習データ出力部に設定する
学習データ作成部を設けたことを特徴とする統計的学習
装置。 - 【請求項８】 未知システムがデータｘの入力に対して
関数の演算とガウスノイズの加算とによりデータｙを出
力するとき、この未知システムに入力するデータｘと出
力されたデータｙとを学習データ(ｘ，ｙ)として学習デ
ータ出力部に出力させ、この学習データ(ｘ，ｙ)の入力
に対してＭ次元のパラメータθを有する線形モデル“ｆ
(ｘ；θ)＝Σiθiｆi(ｘ）”により回帰曲線推定部が前
記未知システムを回帰曲線“Ｅ[ｐ(ｙ｜ｘ)]”として推
定するようにした統計的学習方法において、前記回帰曲
線推定部の学習誤差が最小となるデータｘを学習データ
作成部が作成して前記学習データ出力部に設定するよう
にしたことを特徴とする統計的学習方法。 - 【請求項９】 未知システムが一次元の実数直線からの
データｘの入力に対して関数の演算とガウスノイズの加
算とによりデータｙを出力するとき、この未知システム
に入力するデータｘと出力されたデータｙとを学習デー
タ(ｘ，ｙ)として学習データ出力部に出力させ、この学
習データ(ｘ，ｙ)の入力に対してＭ次元のパラメータθ
を有する多項式 【数６】 により平均推定部が前記未知システムを推定するように
した統計的学習方法において、学習データ作成部が予め
設定された二つの分布の混合分布に従って前記平均推定
部の学習誤差が最小となるデータｘを作成して前記学習
データ出力部に設定するようにしたことを特徴とする統
計的学習方法。 - 【請求項１０】 マイクロコンピュータを動作させるソ
フトウェアが書き込まれた情報記憶媒体において、請求
項１，２，３，４，５，６又は７記載の統計的学習装置
の各種機能がソフトウェアとして書き込まれていること
を特徴とする情報記憶媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8099740A JPH0973438A (ja) | 1995-06-30 | 1996-04-22 | 統計的学習装置及び統計的学習方法、情報記憶媒体 |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP7-164940 | 1995-06-30 | ||
| JP16494095 | 1995-06-30 | ||
| JP8099740A JPH0973438A (ja) | 1995-06-30 | 1996-04-22 | 統計的学習装置及び統計的学習方法、情報記憶媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0973438A true JPH0973438A (ja) | 1997-03-18 |
Family
ID=26440850
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8099740A Pending JPH0973438A (ja) | 1995-06-30 | 1996-04-22 | 統計的学習装置及び統計的学習方法、情報記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0973438A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012053040A (ja) * | 2010-08-10 | 2012-03-15 | Astrium Gmbh | 局所的航法衛星システム又は全地球的航法衛星システムにおけるロバストで改善された空間信号の正確性パラメータの演算 |
-
1996
- 1996-04-22 JP JP8099740A patent/JPH0973438A/ja active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2012053040A (ja) * | 2010-08-10 | 2012-03-15 | Astrium Gmbh | 局所的航法衛星システム又は全地球的航法衛星システムにおけるロバストで改善された空間信号の正確性パラメータの演算 |
| US9121933B2 (en) | 2010-08-10 | 2015-09-01 | Astrium Gmbh | Computing of robust and improved signal-in-space accuracy parameters in a regional or global navigation satellite system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Sadjina et al. | Energy conservation and power bonds in co-simulations: non-iterative adaptive step size control and error estimation | |
| Schennach | Nonparametric regression in the presence of measurement error | |
| Giraldi et al. | To be or not to be intrusive? The solution of parametric and stochastic equations---the “plain vanilla” Galerkin case | |
| US20130226544A1 (en) | Method and system for identifying rare-event failure rates | |
| JP7512631B2 (ja) | イジングマシンデータ入力機器、及びイジングマシンにデータを入力する方法 | |
| Yu et al. | A new deterministic identification approach to Hammerstein systems | |
| Dong et al. | Specification testing driven by orthogonal series for nonlinear cointegration with endogeneity | |
| US6556954B1 (en) | Method and device for determining a fault in a technical system | |
| WO2022220077A1 (ja) | 常微分方程式の数値計算装置、計算装置において常微分方程式を解く演算の実行方法、及びプログラムを記憶した記憶媒体 | |
| Lee et al. | A proper generalized decomposition based Padé approximant for stochastic frequency response analysis | |
| JPH0973438A (ja) | 統計的学習装置及び統計的学習方法、情報記憶媒体 | |
| CN115496019A (zh) | 一种电路的仿真分析方法、系统、设备及存储介质 | |
| Amatya et al. | OrdNor: an R package for concurrent generation of correlated ordinal and normal data | |
| US12456065B2 (en) | Method for determining simulation data | |
| Gibson et al. | Statistically based parametric yield prediction for integrated circuits | |
| US6795840B1 (en) | Method for generating a sequence of random numbers of A 1/f-noise | |
| Soheili et al. | Strong approximation of stochastic differential equations with Runge–Kutta methods | |
| KR100650866B1 (ko) | 논리 셀 라이브러리 검증 시스템 및 방법 | |
| Phillips | A statistical perspective on nonlinear model reduction | |
| Domes et al. | A scaling algorithm for polynomial constraint satisfaction problems | |
| Hoferkamp et al. | Parameter estimation in linear models with heteroscedastic variances subject to order restrictions | |
| Koukoulas et al. | A cumulant based algorithm for the identification of input–output quadratic systems | |
| KR102860277B1 (ko) | 기술 장치의 개루프 제어 및 폐루프 제어를 위한 다차원 특성맵을 사용하고 생성하기 위한 방법 및 장치 | |
| Ikpan et al. | Variance exchange process: overcoming the problem of singular information matrices in quadratic three− variable response designs | |
| Sugiyama et al. | Reliable Characterization for Improving and Validating Accurate Quantum Operations |