JPH1097514A - 多価写像学習方法 - Google Patents
多価写像学習方法Info
- Publication number
- JPH1097514A JPH1097514A JP8251413A JP25141396A JPH1097514A JP H1097514 A JPH1097514 A JP H1097514A JP 8251413 A JP8251413 A JP 8251413A JP 25141396 A JP25141396 A JP 25141396A JP H1097514 A JPH1097514 A JP H1097514A
- Authority
- JP
- Japan
- Prior art keywords
- function
- multivalent
- equation
- mapping
- learning method
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/17—Function evaluation by approximation methods, e.g. inter- or extrapolation, smoothing, least mean square method
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Theoretical Computer Science (AREA)
- Pure & Applied Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Computational Mathematics (AREA)
- Mathematical Physics (AREA)
- Algebra (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Complex Calculations (AREA)
- Image Analysis (AREA)
- Feedback Control In General (AREA)
Abstract
(57)【要約】
【課題】 少数の例データから写像の学習が可能である
多価写像学習方法を提供する。 【解決手段】 多価関数をクロネッカーのテンソル積の
形で直接数学的に表現し、それを展開して、未知関数に
関して線形方程式となるように関数の置き換えを行い、
置き換えられた未知関数に局所的基底関数の線形結合と
多項式基底の線形結合の和を定義し、この線形化された
関数によって入出力空間内で定義される多様体を誤差お
よび滑らかさ拘束の最適化手続きを用いて例データから
学習あるいは構成することができるので、少数の例デー
タから写像の学習を行うことができる。
多価写像学習方法を提供する。 【解決手段】 多価関数をクロネッカーのテンソル積の
形で直接数学的に表現し、それを展開して、未知関数に
関して線形方程式となるように関数の置き換えを行い、
置き換えられた未知関数に局所的基底関数の線形結合と
多項式基底の線形結合の和を定義し、この線形化された
関数によって入出力空間内で定義される多様体を誤差お
よび滑らかさ拘束の最適化手続きを用いて例データから
学習あるいは構成することができるので、少数の例デー
タから写像の学習を行うことができる。
Description
【０００１】
【発明の属する技術分野】本発明は、一般に多価写像と
なる非線形写像の学習計算モジュールの構成法に係り、
特に、少数の例データから写像の大局的な多様体構造を
学習するとともに、局所的な変化をも学習することがで
きる関数近似による多価写像学習方法に関する。
なる非線形写像の学習計算モジュールの構成法に係り、
特に、少数の例データから写像の大局的な多様体構造を
学習するとともに、局所的な変化をも学習することがで
きる関数近似による多価写像学習方法に関する。
【０００２】
【従来の技術】既に、本願の発明者は、多価関数近似法
（特開平７−９３２９６号公報 「多価関数学習方法」
および電子情報通信学会論文誌Ａ、ｖｏｌ．Ｊ７８−
Ａ，Ｎｏ．３，ｐｐ．４２７−４３９（１９９５）「多
価正則化ネットワーク」）を提案している。
（特開平７−９３２９６号公報 「多価関数学習方法」
および電子情報通信学会論文誌Ａ、ｖｏｌ．Ｊ７８−
Ａ，Ｎｏ．３，ｐｐ．４２７−４３９（１９９５）「多
価正則化ネットワーク」）を提案している。
【０００３】その多価関数近似法においては、多価関数
を表現することはできるものの局所的に定義される基底
関数しか用いていなかった。すなわち、Ｆk としてｔP
↑（以下、本文中においてベトクルを表すときは↑を付
ける。ただし、数式において表示する場合には正規ベト
クルの表示をする。）を中心とする局所基底関数の線形
和である次の形の関数を用いた。
を表現することはできるものの局所的に定義される基底
関数しか用いていなかった。すなわち、Ｆk としてｔP
↑（以下、本文中においてベトクルを表すときは↑を付
ける。ただし、数式において表示する場合には正規ベト
クルの表示をする。）を中心とする局所基底関数の線形
和である次の形の関数を用いた。
【０００４】
【数３】
【０００５】なお、上記した特開平７−９３２９６号に
おいては、特に、中心ｔP ↑が、教師データの入力部分
ｘ↑(i) に一致する場合を実施例として説明している。
おいては、特に、中心ｔP ↑が、教師データの入力部分
ｘ↑(i) に一致する場合を実施例として説明している。
【０００６】
【発明が解決しようとする課題】しかしながら、上記し
た多価関数近似法では、基底関数が教師データまたは中
心ｔkp↑の近傍でしか定義されないため、教師データが
存在しない部分での関数形が定まらないという問題があ
った。また、入出力空間の次元（ｍ＋ｎ）が大きいほ
ど、必要とされる教師データの数が著しく多くなるとい
う問題もあった。
た多価関数近似法では、基底関数が教師データまたは中
心ｔkp↑の近傍でしか定義されないため、教師データが
存在しない部分での関数形が定まらないという問題があ
った。また、入出力空間の次元（ｍ＋ｎ）が大きいほ
ど、必要とされる教師データの数が著しく多くなるとい
う問題もあった。
【０００７】本発明は、上記のような問題を解決し、少
数の例データから写像の学習が可能である多価写像学習
方法を提供することを目的とする。
数の例データから写像の学習が可能である多価写像学習
方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】本発明に係わる多価写像
学習方法は、ｎ入力ｍ出力からなる写像計算モジュール
を表現する（ｎ＋ｍ）次元空間内の多様体の近似手法を
与えるものである。 〔１〕ｎ次元空間において与えられた多層をなすｍ次元
ベクトル値データを最適に近似するｎ次元入力空間から
ｍ次元出力空間への滑らかな関数を学習によって系の入
出力関数として求め、（ｎ＋ｍ）次元空間内の多様体の
近似手法を与える多価写像学習方法において、（ａ）多
価関数をクロネッカーのテンソル積の形で直接数学的に
表現するステップと、（ｂ）それを展開して、未知関数
に関して線形方程式となるように関数の置き換えを行う
ステップと、（ｃ）置き換えられた未知関数に局所的基
底関数の線形結合と多項式基底の線形結合の和を定義す
るステップと、（ｄ）この線形化された関数によって入
出力空間内で定義される多様体を誤差および滑らかさ拘
束の最適化手続きを用いて例データから学習するステッ
プとを有する。
学習方法は、ｎ入力ｍ出力からなる写像計算モジュール
を表現する（ｎ＋ｍ）次元空間内の多様体の近似手法を
与えるものである。 〔１〕ｎ次元空間において与えられた多層をなすｍ次元
ベクトル値データを最適に近似するｎ次元入力空間から
ｍ次元出力空間への滑らかな関数を学習によって系の入
出力関数として求め、（ｎ＋ｍ）次元空間内の多様体の
近似手法を与える多価写像学習方法において、（ａ）多
価関数をクロネッカーのテンソル積の形で直接数学的に
表現するステップと、（ｂ）それを展開して、未知関数
に関して線形方程式となるように関数の置き換えを行う
ステップと、（ｃ）置き換えられた未知関数に局所的基
底関数の線形結合と多項式基底の線形結合の和を定義す
るステップと、（ｄ）この線形化された関数によって入
出力空間内で定義される多様体を誤差および滑らかさ拘
束の最適化手続きを用いて例データから学習するステッ
プとを有する。
【０００９】〔２〕ｎ次元空間において与えられた多層
をなすｍ次元ベクトル値データを最適に近似するｎ次元
入力空間からｍ次元出力空間への滑らかな関数を学習に
よって系の入出力関数として求め、（ｎ＋ｍ）次元空間
内の多様体の近似手法を与える多価写像学習方法におい
て、（ａ）多様体を、ｎ次元空間におけるｍ次元ベクト
ル値関数ｈ個を合成した次の方程式で表現するステップ
と、
をなすｍ次元ベクトル値データを最適に近似するｎ次元
入力空間からｍ次元出力空間への滑らかな関数を学習に
よって系の入出力関数として求め、（ｎ＋ｍ）次元空間
内の多様体の近似手法を与える多価写像学習方法におい
て、（ａ）多様体を、ｎ次元空間におけるｍ次元ベクト
ル値関数ｈ個を合成した次の方程式で表現するステップ
と、
【００１０】
【数４】
【００１１】（ｂ）この方程式を展開して未知関数に関
する線形方程式に変換するステップと、（ｃ）各未知関
数を
する線形方程式に変換するステップと、（ｃ）各未知関
数を
【００１２】
【数５】
【００１３】なる形に表現するステップと、（ｄ）例デ
ータを用いて未知関数Ｆk を求めるために、前記式
（４）の左辺の誤差を求める誤差汎関数を定義するステ
ップと、（ｅ）必要に応じて、未知関数の滑らかさ拘束
を定義する正則化演算子を各未知関数に施した値の２乗
を正則化汎関数と定義するステップと、（ｆ）前記誤差
汎関数と正則化汎関数の最小化を達成し、未知関数Ｆk
を求める手順を導くステップと、（ｇ）未知関数Ｆk か
らｆj を求める変換関数を数式処理的または近似アルゴ
リズムとして求めるステップとを有することを特徴とす
る多価写像学習方法。
ータを用いて未知関数Ｆk を求めるために、前記式
（４）の左辺の誤差を求める誤差汎関数を定義するステ
ップと、（ｅ）必要に応じて、未知関数の滑らかさ拘束
を定義する正則化演算子を各未知関数に施した値の２乗
を正則化汎関数と定義するステップと、（ｆ）前記誤差
汎関数と正則化汎関数の最小化を達成し、未知関数Ｆk
を求める手順を導くステップと、（ｇ）未知関数Ｆk か
らｆj を求める変換関数を数式処理的または近似アルゴ
リズムとして求めるステップとを有することを特徴とす
る多価写像学習方法。
【００１４】〔３〕上記〔２〕記載の多価写像学習方法
において、ｍが１である。 〔４〕上記〔２〕記載の多価写像学習方法において、ｍ
が２である。 〔５〕上記〔２〕記載の多価写像学習方法において、ｔ
0p↑＝ｔ1p↑＝ｔ2p↑＝…＝ｔhp↑なる場合である。 〔６〕上記〔２〕記載の多価写像学習方法において、Ｎ
組の例データを〔ｘ(i) ↑，ｙ(i) ↑｜ｉ＝１，２，
…，Ｎ〕として、Ｍ＝Ｎ，ｔkp↑＝ｘ(p)↑（但しｐ＝
１，２，…，Ｎ）とした場合である。
において、ｍが１である。 〔４〕上記〔２〕記載の多価写像学習方法において、ｍ
が２である。 〔５〕上記〔２〕記載の多価写像学習方法において、ｔ
0p↑＝ｔ1p↑＝ｔ2p↑＝…＝ｔhp↑なる場合である。 〔６〕上記〔２〕記載の多価写像学習方法において、Ｎ
組の例データを〔ｘ(i) ↑，ｙ(i) ↑｜ｉ＝１，２，
…，Ｎ〕として、Ｍ＝Ｎ，ｔkp↑＝ｘ(p)↑（但しｐ＝
１，２，…，Ｎ）とした場合である。
【００１５】〔７〕上記〔２〕記載の多価写像学習方法
において、Ｋk1＝Ｋk2＝…＝ＫkM（但しｋ＝０，１，
２，…，ｈ）なる場合である。
において、Ｋk1＝Ｋk2＝…＝ＫkM（但しｋ＝０，１，
２，…，ｈ）なる場合である。
【００１６】
【発明の実施の形態】以下、本発明の実施の形態につい
て詳細に説明する。ここでは、与えられたｎ（ｎ＝１，
２，・・・）とｍ（ｍ＝１，２，・・・）に対し、ｎ次
元の実数値入力ｘ↑＝（ｘ1 ，ｘ2 ，・・・，ｘn ）と
ｍ次元の実数値出力ｙ↑（ｙ1 ，ｙ2 ，・・・，ｙm ）
を持つ写像計算モジュールを考える。
て詳細に説明する。ここでは、与えられたｎ（ｎ＝１，
２，・・・）とｍ（ｍ＝１，２，・・・）に対し、ｎ次
元の実数値入力ｘ↑＝（ｘ1 ，ｘ2 ，・・・，ｘn ）と
ｍ次元の実数値出力ｙ↑（ｙ1 ，ｙ2 ，・・・，ｙm ）
を持つ写像計算モジュールを考える。
【００１７】与えられた入出力値の組から、この写像計
算モジュールの内部パラメータを決定することを写像の
学習と呼ぶ。この計算モジュールの機能は、入力空間と
出力空間が結合された（ｎ＋ｍ）次元空間（ｘ1 ，
ｘ2 ，・・・，ｘn ，ｙ1 ，ｙ2，・・・，ｙm ）（以
下、この空間を入出力空間と呼ぶ）内の多様体（超曲面
体）で定義される。この多様体を少数組（Ｎ組）の例デ
ータ｛（ｘ(i) ↑，ｙ(i)↑｜ｉ＝１，２，・・・，
Ｎ｝から復元するプロセスは一般に多価写像の近似であ
る。
算モジュールの内部パラメータを決定することを写像の
学習と呼ぶ。この計算モジュールの機能は、入力空間と
出力空間が結合された（ｎ＋ｍ）次元空間（ｘ1 ，
ｘ2 ，・・・，ｘn ，ｙ1 ，ｙ2，・・・，ｙm ）（以
下、この空間を入出力空間と呼ぶ）内の多様体（超曲面
体）で定義される。この多様体を少数組（Ｎ組）の例デ
ータ｛（ｘ(i) ↑，ｙ(i)↑｜ｉ＝１，２，・・・，
Ｎ｝から復元するプロセスは一般に多価写像の近似であ
る。
【００１８】この多価写像の近似を実現するため、前記
した特開平７−９３２９６号「多価関数学習方法」およ
び電子情報通信学会論文誌Ａ、ｖｏｌ．Ｊ７８−Ａ，Ｎ
ｏ．３，ｐｐ．４２７−４３９（１９９５）「多価正則
化ネットワーク」において、発明者は多価関数を直接表
現するテンソル方程式と関数の滑らかさを拘束する正則
化演算子によって定義されるエネルギー汎関数の最適化
問題に帰着する方法を提案した。
した特開平７−９３２９６号「多価関数学習方法」およ
び電子情報通信学会論文誌Ａ、ｖｏｌ．Ｊ７８−Ａ，Ｎ
ｏ．３，ｐｐ．４２７−４３９（１９９５）「多価正則
化ネットワーク」において、発明者は多価関数を直接表
現するテンソル方程式と関数の滑らかさを拘束する正則
化演算子によって定義されるエネルギー汎関数の最適化
問題に帰着する方法を提案した。
【００１９】しかし、そこで導いたアルゴリズムでは、
各例データを中心とする局所的な近似は可能であるもの
の、入出力空間全体に渡る大局的な近似を実現できなか
った。そのため、例データが少数しかない場合に、入出
力空間全体に渡る大局的な近似が困難であった。一方、
１価関数を用いた近似において、多項式を基底として用
いた大局的な近似法は古くから知られている（例えば、
Ｌａｇｒａｎｇｅ補間法）ものの、局所的な近似能力が
弱く、例データが存在しない部分で関数が振動するとい
う不都合が指摘されている。さらに、従来の関数近似方
法では、多価関数を表現できないため、出力値に複数の
可能性を持たせることができないという欠点があった。
各例データを中心とする局所的な近似は可能であるもの
の、入出力空間全体に渡る大局的な近似を実現できなか
った。そのため、例データが少数しかない場合に、入出
力空間全体に渡る大局的な近似が困難であった。一方、
１価関数を用いた近似において、多項式を基底として用
いた大局的な近似法は古くから知られている（例えば、
Ｌａｇｒａｎｇｅ補間法）ものの、局所的な近似能力が
弱く、例データが存在しない部分で関数が振動するとい
う不都合が指摘されている。さらに、従来の関数近似方
法では、多価関数を表現できないため、出力値に複数の
可能性を持たせることができないという欠点があった。
【００２０】そこで、本発明は、大局的な近似と局所的
な近似を両方同時に実現する多価写像の近似法を実現す
るものである。以下、ｍ＝１の場合を述べる。出力変数
をｙとする。ｙが、最大ｈ通り（ｈ＝１，２，・・・）
の異なる実数値をとり得るものとする。つまり、写像は
ｈ価関数で表される。このとき拘束多様体は次式で表現
できる。
な近似を両方同時に実現する多価写像の近似法を実現す
るものである。以下、ｍ＝１の場合を述べる。出力変数
をｙとする。ｙが、最大ｈ通り（ｈ＝１，２，・・・）
の異なる実数値をとり得るものとする。つまり、写像は
ｈ価関数で表される。このとき拘束多様体は次式で表現
できる。
【００２１】
【数６】
【００２２】本発明では、（ｈ＋１）個の関数Ｆk （ｘ
↑）（ｋ＝０，１，・・・ｈ）を次式の形に表現する。
↑）（ｋ＝０，１，・・・ｈ）を次式の形に表現する。
【００２３】
【数７】
【００２４】Ｋkp（ｘ↑，ｔkp↑）（ｐ＝１，…，Ｍ）
はｔkp↑を中心とする局所基底関数である。φkj（ｘ
↑）は、ｘ↑を変数とする多変数多項式の基底である。
このように、Ｆk （ｘ↑）は、局所基底関数の線形和の
項と（大局的に定義される）多変数多項式の項を持つ。
このとき、写像計算モジュールは、基底関数Ｋkp（ｘ
↑，ｔkp↑）、基底関数の中心ｔkp↑、多項式項の次数
および基底の選択、係数ｒkp、ｓkjなるパラメータを持
つ。これらすべてを例データから計算するのは現実的で
ない。特に、例データがきわめて少数の場合は、多変数
多項式の項だけで大局的に近似するのが現実的である。
はｔkp↑を中心とする局所基底関数である。φkj（ｘ
↑）は、ｘ↑を変数とする多変数多項式の基底である。
このように、Ｆk （ｘ↑）は、局所基底関数の線形和の
項と（大局的に定義される）多変数多項式の項を持つ。
このとき、写像計算モジュールは、基底関数Ｋkp（ｘ
↑，ｔkp↑）、基底関数の中心ｔkp↑、多項式項の次数
および基底の選択、係数ｒkp、ｓkjなるパラメータを持
つ。これらすべてを例データから計算するのは現実的で
ない。特に、例データがきわめて少数の場合は、多変数
多項式の項だけで大局的に近似するのが現実的である。
【００２５】ｍ＞１の場合は、
【００２６】
【数８】
【００２７】を展開した式をもとに、ｍ＝１と同様の議
論ができる。また、ｍ＝２の場合も例示することができ
る（後述）。まず、本発明の第１実施例について、図１
のフローチャートを参照しながら説明する。この第１実
施例では、ｍ＝１、かつＫk1＝Ｋk2＝…＝ＫkM（ｋ＝
０，１，…，ｈ）、かつＭ＝Ｎ、かつｔkp↑＝ｘ(p) ↑
（ｐ＝１，２，…，Ｎ）の場合を述べる。
論ができる。また、ｍ＝２の場合も例示することができ
る（後述）。まず、本発明の第１実施例について、図１
のフローチャートを参照しながら説明する。この第１実
施例では、ｍ＝１、かつＫk1＝Ｋk2＝…＝ＫkM（ｋ＝
０，１，…，ｈ）、かつＭ＝Ｎ、かつｔkp↑＝ｘ(p) ↑
（ｐ＝１，２，…，Ｎ）の場合を述べる。
【００２８】（１）多様体の多価関数表現を構成する。
このときｈ価関数は、
このときｈ価関数は、
【００２９】
【数９】
【００３０】と表される（ステップＳ１）。 （２）上記方程式を展開し、すべての項の係数が関数項
になるように関数Ｆk（ｘ↑）〔ｋ＝１，２，・・・，
（ｈ＋１）〕を用いて、
になるように関数Ｆk（ｘ↑）〔ｋ＝１，２，・・・，
（ｈ＋１）〕を用いて、
【００３１】
【数１０】
【００３２】と表現する（ステップＳ２）。 （３）更に、（ｈ＋１）個の関数Ｆk （ｘ↑）（ｋ＝
１，２，・・・，ｈ）を次のように表す（ステップＳ
３）。
１，２，・・・，ｈ）を次のように表す（ステップＳ
３）。
【００３３】
【数１１】
【００３４】Ｋk （ｘ↑，ｘ(i) ↑）は、ｘ(i) ↑を中
心とする局所基底関数である。ここで、Ｋk ＝Ｋk1＝Ｋ
k2＝……＝ＫkMとおいた。φkj（ｘ↑）はｘ↑を変数と
する多変数多項式の基底である。 （４）誤差関数を次式で定義する（ステップＳ４）。
心とする局所基底関数である。ここで、Ｋk ＝Ｋk1＝Ｋ
k2＝……＝ＫkMとおいた。φkj（ｘ↑）はｘ↑を変数と
する多変数多項式の基底である。 （４）誤差関数を次式で定義する（ステップＳ４）。
【００３５】
【数１２】
【００３６】（５）正則化演算子Ｓk を、
【００３７】
【数１３】
【００３８】（６）例えば、汎関数
【００３９】
【数１４】
【００４０】を、
【００４１】
【数１５】
【００４２】のもとで最小化する手順を求める。この手
順は、条件付き最適化のためのラグランジュの未定乗数
法など通常の方法を用いて求められる。この他にも、最
適化の基準には多くの変種がありうる（ステップＳ
６）。 （７）Ｆk からｆj を求めるには、ｙに関するｈ次代数
方程式
順は、条件付き最適化のためのラグランジュの未定乗数
法など通常の方法を用いて求められる。この他にも、最
適化の基準には多くの変種がありうる（ステップＳ
６）。 （７）Ｆk からｆj を求めるには、ｙに関するｈ次代数
方程式
【００４３】
【数１６】
【００４４】を解くための種々の方法を用いることがで
きる（ステップＳ７）。この方程式の解を１個だけ求め
るには、ニュートン・ラプソン法による繰り返し計算
きる（ステップＳ７）。この方程式の解を１個だけ求め
るには、ニュートン・ラプソン法による繰り返し計算
【００４５】
【数１７】
【００４６】を用いることができる。ただし、ｋは繰り
返し回数を表す変数であり、
返し回数を表す変数であり、
【００４７】
【数１８】
【００４８】である。このほか、文献：「電子情報通信
学会論文誌Ａ、ｖｏｌ．Ｊ７８−Ａ，Ｎｏ．３，ｐｐ．
４２７−４３９（１９９５）」に記したアルゴリズムを
用いることができる。次に、本発明の第２実施例につい
て説明する。この第２実施例では、ｍ＝２、ｈ＝２、か
つＫk1＝Ｋk2＝…＝ＫkM（ｋ＝０，１，…，ｈ）、かつ
Ｍ＝Ｎ、かつｔkp↑＝ｘ(p) ↑ （ｐ＝１，２，…，
Ｎ）の場合を述べる。
学会論文誌Ａ、ｖｏｌ．Ｊ７８−Ａ，Ｎｏ．３，ｐｐ．
４２７−４３９（１９９５）」に記したアルゴリズムを
用いることができる。次に、本発明の第２実施例につい
て説明する。この第２実施例では、ｍ＝２、ｈ＝２、か
つＫk1＝Ｋk2＝…＝ＫkM（ｋ＝０，１，…，ｈ）、かつ
Ｍ＝Ｎ、かつｔkp↑＝ｘ(p) ↑ （ｐ＝１，２，…，
Ｎ）の場合を述べる。
【００４９】（１）まず、この多様体をｎ次元空間にお
ける２次元ベクトル値関数２個を合成した次の方程式で
表現する。
ける２次元ベクトル値関数２個を合成した次の方程式で
表現する。
【００５０】
【数１９】
【００５１】ここで、
【００５２】
【数２０】
【００５３】および
【００５４】
【数２１】
【００５５】である。これらの方程式を成分に分けて書
くと次のようになる。
くと次のようになる。
【００５６】
【数２２】
【００５７】更に、問題の意味から、ｆ1 とｆ2 を入れ
換えても式が変化してはいけないという条件を課し、次
の方程式に変形する。
換えても式が変化してはいけないという条件を課し、次
の方程式に変形する。
【００５８】
【数２３】
【００５９】とすると、次の、３個の方程式が導かれ
る。
る。
【００６０】
【数２４】
【００６１】（２）４個の未知関数ｆ1 ，1 （ｘ↑），
ｆ1 ，2 （ｘ↑），ｆ2 ，1 （ｘ↑），ｆ2 ，2 （ｘ
↑）の代わりに６個の未知関数Ｆk （ｋ＝０，１，２，
３，４，５）を次のように定義する。
ｆ1 ，2 （ｘ↑），ｆ2 ，1 （ｘ↑），ｆ2 ，2 （ｘ
↑）の代わりに６個の未知関数Ｆk （ｋ＝０，１，２，
３，４，５）を次のように定義する。
【００６２】
【数２５】
【００６３】すると、３個の方程式（２４）は、次のよ
うに未知関数（２５）に関してすべて線形になる。
うに未知関数（２５）に関してすべて線形になる。
【００６４】
【数２６】
【００６５】（３）各未知関数Ｆk （ｋ＝０，１，２，
３，４，５）を
３，４，５）を
【００６６】
【数２７】
【００６７】なる形に表現する。Ｋk （ｘ↑，ｘ
(i) ↑）は、ｘ(i) ↑を中心とする局所基底関数であ
る。φkj（ｘ↑）は、ｘ↑を変数とする多変数多項式の
基底である。 （４）誤差関数を次式で定義する。
(i) ↑）は、ｘ(i) ↑を中心とする局所基底関数であ
る。φkj（ｘ↑）は、ｘ↑を変数とする多変数多項式の
基底である。 （４）誤差関数を次式で定義する。
【００６８】
【数２８】
【００６９】（５）正則化演算子Ｓk は、
【００７０】
【数２９】
【００７１】（６）例えば、汎関数
【００７２】
【数３０】
【００７３】この手順は、条件付き最適化のためのラグ
ランジュの未定乗数法など通常の方法を用いて求められ
る。この他にも、最適化の基準には多くの変種があり得
る。 （７）Ｆk からｆi,j を求めるには、方程式（２５）を
ｆi,j について解けばよい。本実施例の場合には、簡単
に解くことができて、以下に述べる公式が得られる。
ランジュの未定乗数法など通常の方法を用いて求められ
る。この他にも、最適化の基準には多くの変種があり得
る。 （７）Ｆk からｆi,j を求めるには、方程式（２５）を
ｆi,j について解けばよい。本実施例の場合には、簡単
に解くことができて、以下に述べる公式が得られる。
【００７４】まず、次の関数を計算する。
【００７５】
【数３１】
【００７６】
【数３２】
【００７７】
【数３３】
【００７８】
【数３４】
【００７９】ここで、２組の解
【００８０】
【数３５】
【００８１】および
【００８２】
【数３６】
【００８３】のうちから、
【００８４】
【数３７】
【００８５】が小さくなる方を選ぶ。次に、本発明の第
３実施例について説明する。この第３実施例では、写像
計算モジュールが入力から出力を計算する手順を、図２
に示す写像計算モジュール及び図３に示す構成図を用い
て説明する。図３において、ユニットＧk は、
３実施例について説明する。この第３実施例では、写像
計算モジュールが入力から出力を計算する手順を、図２
に示す写像計算モジュール及び図３に示す構成図を用い
て説明する。図３において、ユニットＧk は、
【００８６】
【数３８】
【００８７】ユニットＨk は、
【００８８】
【数３９】
【００８９】ユニットＵは、ｈ次代数方程式
【００９０】
【数４０】
【００９１】の一つの解を計算するアルゴリズム、例え
ば、繰り返しアルゴリズム
ば、繰り返しアルゴリズム
【００９２】
【数４１】
【００９３】ただし、
【００９４】
【数４２】
【００９５】ユニットＶは、Ｕと同じだが、全ての解を
同時に計算するアルゴリズムである。例えば、繰り返し
アルゴリズム（Ｄｕｒａｎｄ−Ｋｅｒｎｅｒ法）
同時に計算するアルゴリズムである。例えば、繰り返し
アルゴリズム（Ｄｕｒａｎｄ−Ｋｅｒｎｅｒ法）
【００９６】
【数４３】
【００９７】ただし、ｊ＝１，２，・・・，ｈj ｙはｙのｊ番目の根i ｙはｙのｉ番目の根 そこで、ｎ入力、ｍ出力、ｈ価写像の場合の写像計算モ
ジュールは、入力ｘ↑に対して、まず、式
ジュールは、入力ｘ↑に対して、まず、式
【００９８】
【数４４】
【００９９】を用いて、図３に示すように、Ｆk （ｋ＝
０，１，・・・）を計算する。次に、スカラー値の場合
は、第１実施例の最後のステップで導いたアルゴリズム
（図３の説明のうちユニットＵとユニットＶに関する事
項）を用いて、ｈ個の関数値のうち一つか、または全て
を計算する。ベクトル値の場合は、第２実施例の最後の
ステップＳ７で説明したようなアルゴリズムを用いる。
０，１，・・・）を計算する。次に、スカラー値の場合
は、第１実施例の最後のステップで導いたアルゴリズム
（図３の説明のうちユニットＵとユニットＶに関する事
項）を用いて、ｈ個の関数値のうち一つか、または全て
を計算する。ベクトル値の場合は、第２実施例の最後の
ステップＳ７で説明したようなアルゴリズムを用いる。
【０１００】なお、本発明は上記実施例に限定されるも
のではなく、本発明の趣旨に基づいて種々の変形が可能
であり、これらを本発明の範囲から排除するものではな
い。
のではなく、本発明の趣旨に基づいて種々の変形が可能
であり、これらを本発明の範囲から排除するものではな
い。
【０１０１】
【発明の効果】以上、詳細に説明したように、本発明の
多価写像学習方法によれば、次のような効果を奏するこ
とができる。多価関数をクロネッカーのテンソル積の形
で直接数学的に表現し、それを展開して、未知関数に関
して線形方程式となるように関数の置き換えを行い、置
き換えられた未知関数に局所的基底関数の線形結合と多
項式基底の線形結合の和を定義し、この線形化された関
数によって入出力空間内で定義される多様体を誤差およ
び滑らかさ拘束の最適化手続きを用いて例データから学
習あるいは構成することができるので、少数の例データ
から写像の学習を行うことができる。
多価写像学習方法によれば、次のような効果を奏するこ
とができる。多価関数をクロネッカーのテンソル積の形
で直接数学的に表現し、それを展開して、未知関数に関
して線形方程式となるように関数の置き換えを行い、置
き換えられた未知関数に局所的基底関数の線形結合と多
項式基底の線形結合の和を定義し、この線形化された関
数によって入出力空間内で定義される多様体を誤差およ
び滑らかさ拘束の最適化手続きを用いて例データから学
習あるいは構成することができるので、少数の例データ
から写像の学習を行うことができる。
【０１０２】したがって、人工神経回路網、計算機によ
る視覚、聴覚などのパターン情報処理、ロボットアーム
などの運動制御処理を含む非線形問題の基本情報処理手
段としての役割を果たすことができる。
る視覚、聴覚などのパターン情報処理、ロボットアーム
などの運動制御処理を含む非線形問題の基本情報処理手
段としての役割を果たすことができる。
【図１】本発明の多価写像学習方法のフローチャートで
ある。
ある。
【図２】本発明の多価写像学習方法を説明する写像計算
モジュールを示す図である。
モジュールを示す図である。
【図３】本発明の多価写像学習方法を説明する写像計算
モジュールの構成図である。
モジュールの構成図である。
Claims (7)
- 【請求項１】 ｎ次元空間において与えられた多層をな
すｍ次元ベクトル値データを最適に近似するｎ次元入力
空間からｍ次元出力空間への滑らかな関数を学習によっ
て系の入出力関数として求め、（ｎ＋ｍ）次元空間内の
多様体の近似手法を与える多価写像学習方法において、 （ａ）多価関数をクロネッカーのテンソル積の形で直接
数学的に表現するステップと、 （ｂ）それを展開して、未知関数に関して線形方程式と
なるように関数の置き換えを行うステップと、 （ｃ）置き換えられた未知関数に局所的基底関数の線形
結合と多項式基底の線形結合の和を定義するステップ
と、 （ｄ）この線形化された関数によって入出力空間内で定
義される多様体を誤差および滑らかさ拘束の最適化手続
きを用いて例データから学習するステップとを有するこ
とを特徴とする多価写像学習方法。 - 【請求項２】 ｎ次元空間において与えられた多層をな
すｍ次元ベクトル値データを最適に近似するｎ次元入力
空間からｍ次元出力空間への滑らかな関数を学習によっ
て系の入出力関数として求め、（ｎ＋ｍ）次元空間内の
多様体の近似手法を与える多価写像学習方法において、 （ａ）多様体を、ｎ次元空間におけるｍ次元ベクトル値
関数ｈ個を合成した次の方程式で表現するステップと、 【数１】 （ｂ）この方程式を展開して未知関数に関する線形方程
式に変換するステップと、 （ｃ）各未知関数を 【数２】 なる形に表現するステップと、 （ｄ）例データを用いて未知関数Ｆk を求めるために、
前記式（１）の左辺の誤差を求める誤差汎関数を定義す
るステップと、 （ｅ）必要に応じて、未知関数の滑らかさ拘束を定義す
る正則化演算子を各未知関数に施した値の２乗を正則化
汎関数と定義するステップと、 （ｆ）前記誤差汎関数と正則化汎関数の最小化を達成
し、未知関数Ｆk を求める手順を導くステップと、 （ｇ）未知関数Ｆk からｆj を求める変換関数を数式処
理的または近似アルゴリズムとして求めるステップとを
有することを特徴とする多価写像学習方法。 - 【請求項３】 請求項２記載の多価写像学習方法におい
て、ｍが１である多価写像学習方法。 - 【請求項４】 請求項２記載の多価写像学習方法におい
て、ｍが２である多価写像学習方法。 - 【請求項５】 請求項２記載の多価写像学習方法におい
て、ｔ0p↑＝ｔ1p↑＝ｔ2p↑＝……＝ｔhp↑なる場合で
ある多価写像学習方法。 - 【請求項６】 請求項２記載の多価写像学習方法におい
て、Ｎ組の例データを〔ｘ(i) ↑，ｙ(i) ↑｜ｉ＝１，
２，…，Ｎ〕として、Ｍ＝Ｎ，ｔkp↑＝ｘ(p) ↑（但し
ｐ＝１，２，…，Ｎ）とした場合である多価写像学習方
法。 - 【請求項７】 請求項２記載の多価写像学習方法におい
て、Ｋk1＝Ｋk2＝…＝ＫkM（但しｋ＝０，１，２，…，
ｈ）なる場合である多価写像学習方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8251413A JPH1097514A (ja) | 1996-09-24 | 1996-09-24 | 多価写像学習方法 |
| US08/934,745 US6260032B1 (en) | 1996-09-24 | 1997-09-22 | Method for learning multivalued mapping |
| EP97116637A EP0831405A3 (en) | 1996-09-24 | 1997-09-24 | Function approximation method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP8251413A JPH1097514A (ja) | 1996-09-24 | 1996-09-24 | 多価写像学習方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1097514A true JPH1097514A (ja) | 1998-04-14 |
Family
ID=17222481
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP8251413A Pending JPH1097514A (ja) | 1996-09-24 | 1996-09-24 | 多価写像学習方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6260032B1 (ja) |
| EP (1) | EP0831405A3 (ja) |
| JP (1) | JPH1097514A (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6757667B1 (en) | 2000-04-12 | 2004-06-29 | Unilever Home & Personal Care Usa, Division Of Conopco, Inc. | Method for optimizing formulations |
| US6768973B1 (en) | 2000-04-12 | 2004-07-27 | Unilever Home & Personal Care Usa, Division Of Conopco, Inc. | Method for finding solutions |
| US7953675B2 (en) * | 2005-07-01 | 2011-05-31 | University Of Southern California | Tensor voting in N dimensional spaces |
| CN105654110A (zh) * | 2015-12-04 | 2016-06-08 | 深圳先进技术研究院 | 一种张量模式下的有监督学习优化方法及系统 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5083285A (en) * | 1988-10-11 | 1992-01-21 | Kabushiki Kaisha Toshiba | Matrix-structured neural network with learning circuitry |
| US5268834A (en) * | 1991-06-24 | 1993-12-07 | Massachusetts Institute Of Technology | Stable adaptive neural network controller |
| US5276771A (en) * | 1991-12-27 | 1994-01-04 | R & D Associates | Rapidly converging projective neural network |
| US5416899A (en) * | 1992-01-13 | 1995-05-16 | Massachusetts Institute Of Technology | Memory based method and apparatus for computer graphics |
| AU674227B2 (en) * | 1992-11-24 | 1996-12-12 | Pavilion Technologies, Inc. | Method and apparatus for operating a neural network with missing and/or incomplete data |
| US5446828A (en) * | 1993-03-18 | 1995-08-29 | The United States Of America As Represented By The Secretary Of The Navy | Nonlinear neural network oscillator |
| US5568590A (en) * | 1993-12-17 | 1996-10-22 | Xaos Tools | Image processing using genetic mutation of neural network parameters |
| US5729660A (en) * | 1994-05-03 | 1998-03-17 | Chiabrera; Alessandro | 3-D inverse scattering by artificial intelligence : apparatus and method |
| US5774631A (en) * | 1994-05-03 | 1998-06-30 | Chiabrera; Alessandro E. | 3-D reconstruction of objects by artificial intelligence: apparatus and method |
| US5987444A (en) * | 1997-09-23 | 1999-11-16 | Lo; James Ting-Ho | Robust neutral systems |
| US6173218B1 (en) * | 1997-10-15 | 2001-01-09 | The Boeing Company | Neurocomputing control distribution system |
-
1996
- 1996-09-24 JP JP8251413A patent/JPH1097514A/ja active Pending
-
1997
- 1997-09-22 US US08/934,745 patent/US6260032B1/en not_active Expired - Fee Related
- 1997-09-24 EP EP97116637A patent/EP0831405A3/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| EP0831405A3 (en) | 1999-10-27 |
| US6260032B1 (en) | 2001-07-10 |
| EP0831405A2 (en) | 1998-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Liu et al. | Investigating pose representations and motion contexts modeling for 3D motion prediction | |
| Poggio et al. | Networks for approximation and learning | |
| CN109063820A (zh) | 利用时频联合长时循环神经网络的数据处理方法 | |
| Wei et al. | Learning shape from shading by a multilayer network | |
| Shen et al. | Theoretically principled deep RL acceleration via nearest neighbor function approximation | |
| Zhao et al. | Variational dependent multi-output Gaussian process dynamical systems | |
| Bevanda et al. | Diffeomorphically learning stable Koopman operators | |
| Roh et al. | Fast quantum convolutional neural networks for low-complexity object detection in autonomous driving applications | |
| Meo et al. | Multimodal vae active inference controller | |
| Campello et al. | Hierarchical fuzzy relational models: linguistic interpretation and universal approximation | |
| CN114943182A (zh) | 基于图神经网络的机器人线缆形状控制方法及设备 | |
| CN108596865B (zh) | 一种用于卷积神经网络的特征图增强系统及方法 | |
| CN115601787B (zh) | 一种基于缩略表示的快速人体姿态估计方法 | |
| JPH1097514A (ja) | 多価写像学習方法 | |
| Martirosyan et al. | Inverse linear-quadratic nonzero-sum differential games | |
| CN110348406A (zh) | 参数推断方法及装置 | |
| CN117423164A (zh) | 基于全局拓扑结构信息学习的3d手部姿态估计方法 | |
| CN116935492A (zh) | 一种基于图关系交互学习的人体动作预测方法及装置 | |
| Flentge | Locally weighted interpolating growing neural gas | |
| Montes et al. | Interpretable Fuzzy Models from Data and Adaptive Fuzzy Control: A New Approach | |
| Chen et al. | CLEAR-MP: Clearance Learning-Based Efficient Motion Planning for Dual-Arm Robots under End-Effector Orientation Constraints | |
| Jnadi et al. | SCOPE: Smooth Convex Optimization for Planned Evolution of Deformable Linear Objects | |
| Busoniu et al. | Fuzzy approximation for convergent model-based reinforcement learning | |
| CN120408840B (zh) | 一种基于船型优化参数抽象特征表示的模型构建方法及装置 | |
| Zhang et al. | Designing fuzzy inference system based on improved gradient descent method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20031031 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20031118 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20031210 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060418 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060501 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060606 |