JP2004192584A

JP2004192584A - Network type information processing system using genetic algorithm, learning device and learning method for the same, and recording medium with program of learning method recorded

Info

Publication number: JP2004192584A
Application number: JP2002363168A
Authority: JP
Inventors: Takeshi Nakamura; 健中村; Keiko Shiozawa; 恵子塩沢
Original assignee: AdIn Research Inc
Current assignee: AdIn Research Inc
Priority date: 2002-12-13
Filing date: 2002-12-13
Publication date: 2004-07-08
Anticipated expiration: 2022-12-13
Also published as: JP3935425B2

Abstract

<P>PROBLEM TO BE SOLVED: To automate efficient learning and automate input selection by using a genetic algorithm in a network type information processing system and dynamically changing learning parameters in dependence on a learning state. <P>SOLUTION: A plurality of network type information processing systems are prepared. Learning parameters in each network type information processing system are set as GA parameters. An inference mechanism and the GA parameters in each network type information processing system are combined into an individual, which constitutes a population. On the population, a genetic algorithm including learning, evaluation inference, performance evaluation, and alternation of generations using the GA parameters is executed to select a population of high performance. <P>COPYRIGHT: (C)2004,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、制御システム、信号処理システムなどの離散値／連続値出力を伴う分野に有用なネットワーク構造を有する情報処理システムの学習システムに関する。特に、遺伝的アルゴリズムのパラメータに学習パラメータをコード化し、遺伝的アルゴリズムによりネットワーク型情報処理システムの学習を行う学習装置及び方法、並びにその方法をコンピュータに実行させるプログラムを記録した記録媒体に関する。さらに、本発明は、遺伝的アルゴリズムのパラメータに、入力元データを前処理して入力データを取得するための入力パラメータをコード化し、遺伝的アルゴリズムにより入力データを得る装置に関する。
【０００２】
【従来の技術】
【０００３】
【特許文献１】特開平５−１２８０８６号公報
【特許文献２】特開平５−３４２１８９号公報
【特許文献３】特開平６−１７６００１号公報
【非特許文献１】伊庭斉志、「遺伝的アルゴリズムの基礎」、株式会社オーム社、平成１０年１月第１版第５刷発行、ｐｐ８〜１６
【非特許文献２】石田良平・村瀬治比古・小山修平、「パソコンで学ぶ遺伝的アルゴリズムの基礎と応用」、森北出版 (１９９７−０７−１８出版)
【非特許文献３】北野宏明編著、「遺伝的アルゴリズム（１）」、産業図書
【０００４】
特許文献１の発明のネットワーク型情報処理システムは、複数のノードを有する出力層が方向性リンクを介して結合され、その方向性リンクは通過する情報の変換をする情報交換機能を有し、前記出力層のノードは方向性リンクを介して入力される情報に対して関数演算を行う機能を有するものである。このネットワーク型情報処理システムにおいて、上記の方向性リンクの情報交換機能として、帯域通過型あるいは帯域阻止型のような選択的な特性をもつファイルタ関数に従って情報交換を行うフィルタ関数演算部が設けられている。そのネットワーク型情報処理システムにおける学習方式は、前記ネットワーク型情報処理システムが入力情報から方向性リンクと計算ユニットを通して情報処理を行うのと平行して、同じ入力情報から正常な情報処理結果を得る手段を有し、その正常な結果を教師信号として、教師信号と上記の情報処理計算結果（計算ユニットの出力）との差異（誤差）を評価関数として求め、その差異の大小やベクトル値を算出し、学習パラメータの値を利用した学習関数を介して、方向性リンクのフィルタ関数を修正する手段を有するものである。
その後、特許文献１の発明における学習処理を改良するために、さらに特許文献２のシステムが提案された。
【０００５】
さらに、多連続入力に対して離散値出力の関係記述のみであった特許文献１の発明とその学習システムの改良をした特許文献２の発明をさらに拡張した発明が特許文献３により提案された。これは、多連続値入力に対して多連続値出力の関係記述をすることのできるネットワーク型情報処理システムとその学習方法である。
【０００６】
他方、多量のデータからの適応的学習の手法として遺伝的アルゴリズムが案出され、さまざまな分野で利用されている。遺伝的アルゴリズムの応用に関する文献は膨大な量に及んでいる。その遺伝的アルゴリズム（以下、「ＧＡ」とも略称する）の基本的な仕組みは、例えば、非特許文献１の１５ページに解説されている。これを引用すると、遺伝的アルゴリズムの仕組みは、▲１▼ランダムに初期世代の集団Ｍ（φ）を生成する、▲２▼現在の集団Ｍ（ｔ）内の各個体ｍに対して適合度ｕ（ｍ）を計算する（適合度計算）、▲３▼ｕ（ｍ）に比例する確率分布を用いて、Ｍ（ｔ）から個体ｍを選び出す（選択）、▲４▼選び出された個体にＧＡオペレータを作用させて、次の世代の集団Ｍ（ｔ＋１）を生成し（生殖）、ステップ▲２▼へ戻る手順からなっている。
なお、遺伝的アルゴリズムをネットワーク型情報処理システムに適用して、学習を行う試みは文献上見あたらない。
【０００７】
【発明が解決しようとする課題】
前記特許文献１〜３に記載されているような従来のネットワーク型情報処理システムの学習システムにおいて、その性能は、学習パラメータの設定値に依存する。従来のシステムでは、これらの学習パラメータの値は、システム毎に事前に設定された値であり、学習状況に応じた変更はなされないため、十分な学習性能を得ることができない。より効率的な学習を行うためには、システムが学習状況に応じて学習パラメータを動的に変更すべきである。つまり、学習パラメータの動的設定が可能になれば、学習を自動化することができる。しかし、従来は、学習パラメータを動的に変更する試みは実現されていなかった。
そこで、本発明は、ネットワーク型情報処理システムを複数用意し、各システムの持つ学習パラメータをＧＡパラメータとして設定し、遺伝的アルゴリズムを用いて性能評価の高いシステムを発見する。つまり、自動的に評価の高い学習パラメータを設定し、その値を用いた学習の自動化手段を持つネットワーク型情報処理システム学習装置及び方法を提供することを目的とするものである。
また、ネットワーク型情報処理システムでは、入力データの点数が増大するとその性能低下を引き起こす。今までは、入力データ数を低減するために、観測データ等の多数の原初のデータ（「入力元データ」と呼ぶ）に前処理を施し、有効な入力データの組合せである入力データを見つけることは、手動で行われてきた。そこで、入力データの設定方式として、遺伝的アルゴリズムを用いた自動前処理を行うことのできるネットワーク型情報処理システムの学習装置及び方法を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
本発明は、図１に示すような、複数の第１のノードと、複数の第２のノードと、前記の第１のノードと第２のノードを結合する非線形の選択的関数特性を持つ方向性リンクとを備え、多連続入力に対して離散値を出力し、その選択的関数特性を学習する機能をもつネットワーク型情報処理システムの学習装置であって、学習時に必要な各種パラメータである学習パラメータの値を遺伝的アルゴリズムを用いて動的に設定し、そのパラメータ値を用いて学習をする動的設定・自動学習手段を有するものである。
動的設定・自動学習手段は、ネットワーク型情報処理システムを複数用意し、各システムの持つ学習パラメータをＧＡパラメータとして設定し、各ネットワーク型情報処理システムの推論機構とＧＡパラメータを合わせたものを一個体とする個体群に対して、学習、評価推論、性能評価、世代交代を所定回数行い、性能の高い個体群を選択する。
すなわち、ネットワーク型情報処理システムを用意し、システムの推論系（パターンセットの集合系）とそのシステムの持つ学習パラメータを合体し、図３に示すような個体とし、これらの個体を複数用意して個体群とし、図５に示すように、各個体に所定回数のルール（推論機構）の学習、評価推論を行わせた後、その評価結果を元に、性能順に個体群をソートし、個体群にＧＡアルゴリズムの継承・交叉・突然変異等の操作を行う。これら一連の処理を含む全プロセスを図１０に示す。図１０に示すようなプロセスによって、性能評価の高い個体を発見すること、つまり学習状況に応じた性能の高い学習パラメータの値を動的に取得し、その値を用いて学習の自動化を行うことができるものである。
【０００９】
前記の複数の初期個体群で第一世代を構成する。表１に示すように、個体の学習パラメータは、ＧＡパラメータとしてコード化される。一世代内での各個体は、一定回数の入力を処理する。各入力には、教示出力（＝正解）が与えられ、所定回数分の入出力を用いて、ルールの学習、評価推論を実行した後、その推論結果を元に各個体の評価を行いその値に応じて個体を性能順にソートする。評価は、推論系の規模（フィルタ関数の総数）と評価推論の不正解率に基づいて求められる。
【００１０】
各個体の性能評価と、エリート個体数・淘汰残（生き残り）個体数の指定に基づいて、各個体をエリート、通常個体、死滅個体に分類した後、世代交代を行う。
世代交代では、エリートは、次世代にそのまま継承され、全く同じ次世代個体が生成され、死滅個体は次世代に継承させない。次世代個体は、まず、通常個体を母親とし、乱数によって父親となる個体（エリート又は通常個体）を選択する。次世代個体は、推論機構を母親から継承し、学習パラメータは母親と父親の交叉によって取得する。さらに個体数を満たす（保持する）ために、母親も父親も乱数によって選択される次世代個体も生成される。生成された次世代個体に不正な遺伝子（ＧＡパラメータ）の組合せがあった場合は、死滅個体として検出され、死滅個体にならない組合せができるまで交叉を繰り返し、個体数を保持する。交叉は、一点交叉で、Ｇｅｎｅ（遺伝子の略）境界のみで行われ、交叉位置は、乱数によって決定される。さらに一定確率で突然変異を行う。突然変異は、乱数による１ビットの反転で実現する。突然変異により不正な遺伝子の組合せになった個体は、死滅個体として処理対象外となるが、個体数保持のため次世代個体としては存在する。しかし、学習・評価推論・性能評価の処理からは除外される。
【００１１】
前記、学習・評価推論、性能評価、世代交代までの一連のプロセスを所定回数繰り返し、最後に、個体減少数分の下位個体群を除去する個体数圧縮を行う。これにより、処理速度が増す。ここまでのプロセスをステップと称す。このステップを所定回数繰り返すと、最終個体数分の上位の個体群が取得される。
【００１２】
前記プロセス中、上位個体では、性能の高い学習パラメータの値が自動的にセットされ、その値を利用して、学習・推論は自動的に行われる。
また、全プロセス終了後の最終個体数分の個体群を利用し、性能の高い推論が可能なネッ
【００１３】
本発明の他の態様は、複数の第１のノードと、複数の第２のノードと、前記の第１のノードと第２のノードを結合する非線形の選択的関数特性を持つ方向性リンクとを備えたネットワーク型情報処理システムに、その各第２のノードに対し定義される出力値を非線形の選択型関数として有し、前記定義される出力値と第２のノードの出力値を反映した連続値で表される１以上の合成出力値を得る機能を持つ第２のネットワーク型情報処理システムを付加した構成を備え、多連続入力に対して多連続値を出力するネットワーク型情報処理システムの学習装置であって、第１及び第２のネットワーク型情報処理システムの選択的関数特性を学習するために、学習時に必要な各種パラメータである学習パラメータの値を遺伝的アルゴリズムを用いて動的に設定し、その値を用いて自動学習をする動的設定・自動学習手段を有するものである。
動的設定・自動学習手段は、動的設定・自動学習手段は、ネットワーク型情報処理システムを複数用意し、各システムの持つ学習パラメータをＧＡパラメータとして設定し、各ネットワーク型情報処理システムの推論機構とＧＡパラメータを合わせたものを一個体（図４参照）とする個体群に対して、学習、評価推論、性能評価、世代交代からなる手順を所定回数行い、性能の高い個体群を選択する。
この遺伝的アルゴリズムを用いた有効な学習パラメータ値の動的設定によって、学習の自動化と高性能の推論を行うことができる。
【００１４】
本発明のさらに他の態様は、前記、離散値出力推論系ネットワーク型情報処理システムあるいは連続値出力推論系ネットワーク型情報処理システムの入力データの組合せについても、各々、前記個体に、入力パラメータをＧＡパラメータとして設定し、図１０に示すプロセスを行い、入力パラメータを動的に設定し入力データの自動選択を行うことのできるものである。
【００１５】前記プロセス中、上位個体では、性能の高い入力データが自動的に選択され、その値を利用して、学習・推論は自動的に行われる。また、全プロセス終了後の最終個体数分の個体群を利用し、性能の高い推論を行うネットワーク型情報処理システムを
実現することができる。
【００１６】
【発明の実施の形態】
ネットワーク型情報処理システムには、上記のように離散値出力の推論系と多連続値出力の推論系がある。離散値出力の推論系と連続値出力の推論系ついて、各々ＧＡを用いた有効学習パラメータ値の動的取得と自動学習、入力パラメータ値の動的取得と、その値による入力前処理について説明する。
【００１７】
（第１の実施の形態）
図１は、離散値出力推論系を持つネットワーク型情報処理装置の構成の一例を示す図である。
離散値出力推論系を持つネットワーク型情報処理装置は、図１に示すような、複数の第１ノード１１と複数の第２のノード１２と、前記の第１のノード１１と第２のノード１２を結合する非線形の選択型関数特性とその重みを持つ方向性リンク１３とを備えている。各第２のノード１２は複数のリンクの関数演算による合致度、重みの計算結果を加算する機能を有し、各ノード１２の出力はそれぞれしきい関数演算部１５により演算し、離散値が出力される。１つのノード１２とそれに接続された複数のリンクの集まりをパターンセットあるいはルールといい、すべてのパターンセット（ＰＳ０，ＰＳ１，ＰＳ２，・・・）からなる機能部を推論機構という。推論機構の学習では、学習用入力データとそれに対する正解データを与え、学習用入力データによる推論機構の演算結果が正解出力データに近づくように前記選択的関数特性や重みを修正する。これは特許文献１、特許文献２等に記載されている例を示すものである。
【００１８】
図２は、多連続値入力に対して多連続値を出力するネットワーク型情報処理装置の一例を示すもので、図１１はその機能をパターンテーブルの形式で示すものである。これは、特許文献３に記載されている例である。このネットワーク型情報処理装置は、複数の第１のノード２１と、複数の第２のノード２２と、前記の第１のノード２１と第２のノード２２を結合する非線形の選択的関数（メンバシップ関数ＭＦ_００〜ＭＦ_３３）特性とその重みＷ_００〜Ｗ_３３を持つ方向性リンク２３とを備えた前段推論部２８と、さらに、各第２のノードに対して定義される出力値を非線形の選択的関数特性として持つ方向性リンク２６を持つ後段出力合成部２９とを備え、多連続値入力に対して多連続値を出力し、前段推論部２８と後段出力合成部２９のそれぞれの選択的関数特性や重みを学習する機能をもつネットワーク型情報処理システムである。
【００１９】
本発明は、図１の離散値出力系のネットワーク型情報処理システムの学習の場合は、その離散値出力系のネットワーク型情報処理システムを複数用意し、システムの推論系（パターンセットの集合系）すなわち離散値出力処理系１０と、そのシステムの持つ学習パラメータ３を合体し、図３の概念図に示すような個体とする。
図２の多連続値出力系のネットワーク型情報処理システムの学習の場合には、多連続値出力系のネットワーク型情報処理システムを複数用意し、多連続値出力処理系の推論系２８とネットワーク型の出力合成部２９とそのシステムの各部の持つ学習パラメータを合体し、図４の概念図に示すような個体とする。
この学習パラメータはＧＡパラメータと関係づけてコード化される。
これらの個体を図５に示すように、複数用意して個体群とし、各個体に所定回数のルール（推論機構）の学習、評価推論を行わせた後、その評価結果を元に、性能順に個体群をソートし、個体群にＧＡアルゴリズムの継承・交叉・突然変異等の操作処理を施す。
これら一連の処理を含む全プロセスの概略を図１０に示す。本実施例のネットワーク型情報処理システムの学習システムは図１０に示すようなプロセスによって、性能評価の高い個体を発見すること、つまり学習状況に応じた性能の高い学習パラメータの値を動的に取得し、その値を用いて学習の自動化を行うことができる。
【００２０】
前記の複数の初期個体群で第一世代を構成する。
【００２１】
【表１】

【００２２】
表１に示すように、個体の学習パラメータは、ＧＡパラメータとしてビットコード化される。
離散値出力推論系では、遺伝子（以後、Ｇｅｎｅと称す。）は８つで、各Ｇｅｎｅは８ビットで構成される。
多連続値出力推論系は、前段推論部と後段出力合成部を持ち、それぞれに学習が必要なためＧｅｎｅ数は２セット、つまり１６Ｇｅｎｅとなる。
８Ｇｅｎｅが１染色体としてコード化される。したがって、前記離散値出力推論系では、一つの染色体、前記連続値出力推論系では、２つの染色体がコード化される。
【００２３】
学習パラメータは、表１に示すように、基本の８Ｇｅｎｅ（ＧｅｎｅＮｏ．０〜７）にコード化される。大別すると、学習モード（表２参照）、メンバーシップ関数（フィルタ関数）パラメータ、パターンセット拡張パラメータ、重み制御パラメータがある。
【００２４】
【表２】

【００２５】
学習モードパラメータは、ＧｅｎｅＮｏ．１の遺伝子としてコード化され、学習モード値は表２に示されているように、重み学習を行うか否かを設定する「ＷＥＩＧＨＴ」、メンバーシップ関数変更時に履歴バッファを消去するか否かを示す「ＮＯ＿ＣＬＲ＿Ｈ」、メンバーシップ関数変更時に底辺位置の変更を行うか否かを設定する「ＶＡＲＦＩＸ」、メンバーシップ関数変更時に分散値の縮小を行わないか否かを示す「ＶＡＲＥＸＴ」、及びパターンセット自動拡張を用いる「ＰＴ＿ＥＸＴ」か否か、少数データによるメンバーシップ関数の生成を行う「ＰＴ＿ＭＩＮ」か否かを選択する「ＥＸＴＥＮＤ」等があり、そのＯＮ／ＯＦＦを指定することにより学習のモードが設定される。これらは複数指定可能である。
【００２６】
フィルタ関数としてのメンバーシップ関数ＭＦのパラメータは、ＧｅｎｅＮｏ．２及びＮｏ．３の遺伝子のＧＡパラメータとして設定され、そのＧｅｎｅＮｏ．２のＢｉｔ１６〜１９に履歴バッファサイズ、Ｂｉｔ２０〜２３に左底辺ゲイン、右底辺ゲイン、左上辺ゲイン、右上辺ゲインが設定される。ＧｅｎｅＮｏ．３のＢｉｔ２４〜２７に分散値倍率が、同Ｂｉｔ２８〜３１に曖昧度倍率が設定される。なお、履歴バッフアサイズは教師信号の統計的処理を行うために使用するバッファの容量である。左底辺ゲイン、右底辺ゲイン、左上辺ゲインはメンバーシップ関数の形状を変えるために、底辺及び上辺の左右の長さを変更する程度を表すパラメータである。図６に示すような分散値倍率、曖昧度倍率は、関数の分散値及び曖昧度を変えるためのパラメータである。
【００２７】
パターンセット拡張に関するパラメータは、ＧｅｎｅＮｏ．４〜５の遺伝子のＧＡパラメータに対応づけられている。パターンセット拡張に関するパラメータとしては閾値よりも合致度が小さいとき学習をしないことを指示するための学習の閾値、閾値よりも合致度が大きいときそのパターンセットに対して学習をし、小さいとき新しくパターンセットを生成し学習することを示す拡張の閾値、及び少数学習時のメンバーシップ関数の形状を決めるための図８に示す初期分散値などがある。図７は実線で示すメンバーシップ関数７１に対する入力７２の合致度が拡張の閾値より小さいときには点線７３で示す新しいパターンを生成することを説明している。
【００２８】
重みを学習により変更するための重み制御パラメータは、ＧｅｎｅＮｏ．６〜７の遺伝子のＧＡパラメータにコード化されている。すなわち、ＧｅｎｅＮｏ．６のＢｉｔ４８〜５１に重み減少閾値が、同Ｂｉｔ５２〜５５に重み増加閾値が設定される。また、ＧｅｎｅＮｏ．７のＢｉｔ５６〜５９に重み減少率が、同Ｂｉｔ６０〜６３に重み増加率が設定される。
【００２９】
本実施例では、これら学習パラメータの他に、実行動作モード（表３参照）、連続値出力推論系のみに必要な出力合成モード（表４参照）と出力合成対象数を含むシミュレータモードも、動的に得ることができる。このシミュレータモードのパラメータは、ＧｅｎｅＮｏ．０に対応づけられている。
シミュレータモードとは実行動作モード、出力合成モード、出力合成対象数の３つを合わせた総称である出力。
出力合成モード、出力合成対象数は、連続値出力型において、出力値を生成する際の演算方法などを規定するパラメータ群である。
【００３０】
【表３】

【００３１】
実行動作モードとは、使用するルールや、ルールの合致度合成法などの学習、推論時の動作を規定するパラメータ群であり、これには、表３に示すようにルール内での合致度合成を総和平均とするか相乗平均とするかを指定する「ＡＤＤ」、Ｉｎａｃｔｉｖｅなルール（すなわち、学習が十分に行われていないルール）のメンバーシップ関数、パターンセットも推論に用いることを指定する「ＮＯ＿ＡＣＴ」、連続値出力型における線形補間モードにおいて複数のルール感での出力が線形に補間されるような演算を指示する「ＬＩＮＥＡＲ」、及び２乗誤差が最小となる線形式を用いて、学習時に与えられたデータ範囲外のデータでの推論を行うことを指示する「ＭＩＮＳＱＲ」等があり、ＧｅｎｅＮｏ．０のＢｉｔ０〜３に割り当てられる。
【００３２】
【表４】

【００３３】
多連続値出力推論系のみに必要な出力合成モードには、表４に示すように、合致度が上位の指定数パターンセット（ルール）を対象として、そのパターンセットに接続される出力パターンの中心値を合致度で加重平均する「ＰＳＷＡＭ」、その加重平均時に出力パターンの重みをも用いる「ＰＳＷＷＭ」、合致度が上位の指定数のパターンセットを対象として、そのパターンセットに接続される出力パターンの面積重心を合致度で加重平均する「ＡＰＷＡＭ」、及び出力値の算出に関与するパターンセットを上位Ｎ個から乱数によって決定する「乱数指定」等があり、ＧｅｎｅＮｏ．０のＢｉｔ４〜５にコード化される。
【００３４】
多連続値出力推論系のみに必要な出力合成対象数は、出力合成の対象とするパターンセット（パターンテーブル）の数を指定するパラメータであり、値は、３、４、５、９の４種類から選択可能である。これは、ＧｅｎｅＮｏ．０のＢｉｔ６〜７にコード化される。
なお、連続値出力推論系では、前記のように、２セットの染色体が必要であるが、シミュレータモードは一つの系に一つあればよいので２セット目のシミュレータモードは無視される。
【００３５】
【表５】

【００３６】
多連続値出力推論系の染色体の例を表５に示す。第１の染色体は前段推論部２８の学習用のパラメータとして用いられ、第２染色体は後段出力合成部２９の学習用のパラメータとして用いられる。離散値出力推論系の場合は、第１の染色体のみでよい。
遺伝的アルゴリズムによるネットワーク型情報処理システムの学習は、図１０に示すプロセスを行う。
最初に個体群を生成する（Ｓ１）。離散値出力処理系を対象とする学習では図３の個体を複数用意し、連続値出力処理系の学習の場合は図４の個体を複数用意してそれぞれ個体群を生成する。
個体数は通常２０〜１００個である。
ステップ数を０に設定する（Ｓ２）。
世代交代数を０に設定する（Ｓ３）。
各個体には、まず、所定回数の教示学習を行う（Ｓ４）。ＧＡパラメータ（学習パラメータ）は、個体が図１に示すような離散値出力推論系のものである場合には、表５の第１染色体が用いられる。学習処理は特許文献１、２に記載されている方法と基本的には同じである。個体が図２に示すような連続値出力推論系のものである場合には、表５の第１染色体と第２染色体にコード化された学習パラメータを用いて、例えば特許文献３に記載されているような学習方法により学習を行う。なお、遺伝的アルゴリズムにおける１世代の処理が終了する毎に、その処理により更新された学習パラメータが各個体の学習パラメータとして設定される。
所定回数としては、通常１０００〜２０００回が与えられる。
【００３７】
次に、学習が行われた結果の各個体に対し評価推論が所定回数行われる（Ｓ５）。評価推論は前記学習された推論機構に学習の際に用いたのと同等の入力データを与え、推論を実行して出力を求め、その推論出力と入力データに対する正解出力とを比較し、その誤差の大きさ又は不正解率を求める処理である。その比較の結果から得られる性能は、離散値出力推論系では誤報率と失報率を加算したもので、連続値出力推論系では２乗誤差平均である。なお、誤報率とは、例えば以上を検出する系において、全試行中で本来は正常である状態を異常と誤判断した率のことであり、失報率とは、全試行中で、本来は異常である状態を正常と誤判断した率のことである。
その性能評価として各個体の総合性能指標を求める。この各個体の総合性能指標の値は、性能（不正解率）と要求リソースを乗算したもので、その値が小さいほど性能が高いとしている。要求リソースは、各個体の推論系のフィルタ関数（メンバーシップ関数）の総数で決定される。このように個体の性能（誤りの少なさ）だけでなく、推論系の規模をも考慮して総合性能指標を求めるのは、必要なシステムの規模が小さければ小さいほど良いものであるという観点に立っている。
【００３８】
この総合性能指標を元に個体群を性能順にソートする（Ｓ６）。
【００３９】
システムで設定されたエリート個体数、淘汰残数（生き残り数）に応じて、評価値の高い個体から順に、エリート、通常個体、死滅個体が決定される（Ｓ７）。通常個体の数は、淘汰残数からエリート個体数を引いた値であり、死滅個体数は、個体数から淘汰残数を引いた値である。
【００４０】
エリート及び通常個体を対象として交叉処理を行う（Ｓ８）。
個体数１２、エリート数２、淘汰残数８の交叉処理の例を図９により説明する。ソート順の１、２番を得た、推論系ｒｕｌｅ１とｒｕｌｅ２を持つ２つの個体はエリート（ｅｌｉｔｅ１、ｅｌｉｔｅ２）となり、次世代個体は、エリートから推論系とＧｅｎｅのどちらも継承されエリートと全く同じ個体となる。
生き残りだがエリートではない６（８マイナス２）個の個体は、通常個体（ｎｏｒｍａｌ〜６）となる。次世代個体の推論系は、母親である通常個体から推論系を継承し（各々ｒｕｌｅ３〜ｒｕｌｅ８）、Ｇｅｎｅは、乱数によって選択された父親（エリート又は通常個体）との交叉によって導出される。
交叉は、本実施例ではＧｅｎｅ境界で行われる一点交叉で、交叉位置は、乱数によって決定される。死滅個体となった４つの個体（ｄｅａｄ１〜４）の替わりに、新たに４つの新しい次世代個体が交叉によって生成される。この新個体は、母親、父親共に乱数によって決定され、推論系とＧｅｎｅの継承は通常個体と同様の方式を取る。
【００４１】
生成された次世代個体に不正な遺伝子（ＧＡパラメータ）の組合せがあった場合は、死滅個体として検出され、除去される（Ｓ９）。不正な遺伝子とは、例えば、その値が取り得る範囲外のものであったり、他のパラメータと整合しなかったりものである。
個体数が設定した値になっているかを調べ（Ｓ１０）、個体数が設定した値に達していないときには、前記ステップ８へ戻り、死滅個体にならない組合せができるまで交叉を繰り返す。
【００４２】
さらに、エリート以外の次世代個体には、０＜＝ｘ＜＝１．０の突然変異率で突然変異が実行される（Ｓ１１）。この突然変異は、Ｇｅｎｅ内のビットを乱数でビット反転させることによって実現している。
そして死滅個体をチェックする（Ｓ１２）。上記突然変異の結果、不正な遺伝子の組合せとなった個体は、死滅個体ではあるが、個体数維持のため個体としては存在する。ただし、次サイクルの学習・評価推論・性能評価の処理対象からは除外される。
【００４３】
１回の世代交代処理が終了すると変数の世代交代数を１だけ増加させる（Ｓ１３）。
変数の世代交代数が１ステップ内世代交代数に等しくなったかをチェックし、Ｎｏであれば、次の世代の学習処理、世代交代処理を行う（Ｓ１４）。
性能評価・世代交代の処理の間に、学習パラメータは動的に設定され、それを利用して学習・評価推論は自動的に行われている。例えば、世代交代する毎に更新された学習パラメータが学習手段に設定される。
【００４４】
所定回数（通常５０回〜１００回）繰り返した後、処理速度をあげるために、下位の個体を処理対象外とするために個体数を減少させる（Ｓ１５）。
ここまでの処理をステップと称す。
ステップ数を１だけ増加し（Ｓ１６）、ステップ数が指定ステップ数に達しているかをチェックし（Ｓ１７）、指定ステップ数に達するまで、ステップを繰り返す。
例えば、ステップ数＝３（通常）、初期個体数＝５０、個体減少数＝１５とすると、１回目のステップ終了時で最終個体数＝３５，２回目のステップ終了で最終個体数＝２０，最終３回目のステップ終了で最終個体数＝５となり、最終的に５個の上位の個体を取得できる。
その最終的に取得した上位の個体はいずれも遺伝的アルゴリズムを用いた学習により性能の高い推論系を形成されたものであり、上位の個体のネットワーク型情報処理装置は利用において高い性能を有する。
【００４５】
（第２の実施形態）
特許文献１〜３に記載されているような従来のネットワーク型情報処理装置においては、学習のための入力データは、観測されたデータをそのまま使用するのではなく、例えば観測された複数のデータから選択したり、複数のデータを組み合わせたり、データに係数をかけたり等の前処理を施して、適切なデータになるよう工夫していた。しかし、この入力データに対する前処理は、作業者が経験や感に頼り、人手で行っていた。本発明は、この入力データの前処理を自動的に行うよう構成すると共に、遺伝的アルゴリズムを適用して、適切な入力データを得るものである。
なお、ネットワーク型処理装置への直接に入力されるデータを入力データ、その入力データを得るための前処理以前のデータを元入力データと呼ぶこととする。
【００４６】
【表６】

【００４７】
表６は、入力パラメータとＧＡパラメータの関係の一例を示す。入力パラメータとは、元入力データに基づいて入力データを作成するための処理に必要なパラメータのことである。Ｇｅｎｅは４つで、大別すると、制御コード、選択データＩＤ、次数、係数の４種類である。各Ｇｅｎｅは８ビットで構成される。１入力データに元入力データ組合せのバリエーションを持たせるために、１染色体に２セットのＧｅｎｅがコード化されている。入力パラメータは、学習パラメータ用の染色体の次にコード化される。そのため、離散値出力推論系では第２染色体以降に、連続値出力推論系では第３染色体以降にコード化される。
【００４８】
【表７】

【００４９】
表７に入力パラメータのコード化の例を示す。本例では、第１０染色体まで設定されているＧＡパラメータのうち、３つの染色体が有効、つまり、３つの入力データを持つ場合である。元入力データは、Ｄ［１０］で示されるように１０個存在する。１入力データを１染色体にコード化するようにしたため、第３〜第５染色体が有効となっている。第３染色体にコード化された１番目の元入力データの組合せである、Ｄ［２］＊−１．０＋（Ｄ［１０］，２．０）＊２．０というデータ、つまり、２番目の元入力データに−１．０を掛けた値と、１０番目の元入力データを二乗し２．０を掛けた値を足すという入力データのパラメータをコード化する場合、第１セット目のＧｅｎｅで前記式の前半部をコード化すると、制御コード＝“有効“、選択データ＝２（２番目の元データ）、次数＝１、係数＝−１となり、第２セット目のＧｅｎｅで前記式の後半部をコード化すると、制御コード＝“有効”、選択データ＝１０（１０番目の元データ）、次数＝２（二乗）、係数＝２となる。第３、第４染色体も同様にコード化される。第４染色体の制御コード＝“有効・終了”となっているのは、以降の染色体が無効を意味している。
【００５０】
入力パラメータも第１染色体、第２染色体（連続値出力推論系のみ）の学習パラメータ同様、学習・評価推論・性能評価・世代交代のサイクルが所定回数（通常：５０回〜１００回）行われた後、個体数圧縮が行われ、最終個体数になるまで所定回数ステップが繰り返される。
学習パラメータの世代交代との差異が一つある。入力パラメータの世代交代では、交叉によって得られた次世代個体の全入力パラメータ値が母親のパラメータ値と異なってしまった場合は、もはや母親とは関係無しとなるため、母親から継承される推論機構は無効となってしまい、推論機構を放棄することになる。推論機構を放棄した個体は、次の世代は未熟成個体となり、学習・評価推論・性能評価・世代交代には参加せず、２世代を過ごした後に世代交代に参加することになる。
性能評価・世代交代の処理の間に、より有効な入力データは動的に選択され、それを利用して学習・評価推論は自動的に行われることになる。
最終個体数分の上位個体を利用した推論は、性能の高いものとなる。
【００５１】
【発明の効果】
本発明のネットワーク型情報処理システムの学習装置及び方法は、遺伝的アルゴリズムのプロセスを利用することによって、性能評価の高い個体を発見することができる。つまり学習状況に応じた性能の高い学習パラメータの値を動的に取得し、その値を用いて学習の自動化を行うことができる。
【００５２】
又、本発明のネットワーク型情報処理システムの入力データの前処理に必要なパラメータをも遺伝的アルゴリズムを用いて動的に取得し、その値を用いてより有効な入力データを自動的に取得することができる。
【図面の簡単な説明】
【図１】離散値出力推論系のネットワーク構造の一例を示す図
【図２】連続値出力推論系のネットワーク構造の一例を示す図
【図３】離散値出力推論系の個体を概念的に示す図
【図４】連続値出力推論系の個体を概念的に示す図
【図５】個体の学習〜世代交代処理（離散値出力推論系）を示す図
【図６】分散値倍率、曖昧度倍率を示す図
【図７】拡張の閾値を示す図
【図８】初期分散値を示す図
【図９】世代交代の例を示す図
【図１０】ＧＡを利用したパラメータ自動取得・自動学習のプロセスを示す図
【図１１】図２に示す連続値出力推論系のネットワーク構造を、パターン形式のテーブルで表した図である。
【符号の説明】
１１，２１・・・第１のノード、
１２，２２・・・第２のノード、
１３，２３・・・方向性リンク、
２８・・・前段推論部、
２９・・・後段出力合成部。[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a learning system for an information processing system having a network structure useful in a field involving discrete / continuous value output such as a control system and a signal processing system. In particular, the present invention relates to a learning apparatus and method for coding a learning parameter into a parameter of a genetic algorithm and learning a network-type information processing system by the genetic algorithm, and a recording medium storing a program for causing a computer to execute the method. Further, the present invention relates to an apparatus for encoding input parameters for obtaining input data by preprocessing input source data, as parameters of the genetic algorithm, and obtaining input data by the genetic algorithm.
[0002]
[Prior art]
[0003]
[Patent Document 1] Japanese Patent Application Laid-Open No. 5-128086
[Patent Document 2] JP-A-5-342189
[Patent Document 3] JP-A-6-176001
[Non-Patent Document 1] Masashi Iba, "Basic of Genetic Algorithm", Ohm Co., Ltd., 1st edition, 5th printing, January 1998, pp8-16
[Non-Patent Document 2] Ryohei Ishida, Haruhiko Murase, Shuhei Koyama, "Basics and Application of Genetic Algorithms Learned on a Personal Computer", Morikita Publishing (1997-07-18 publication)
[Non-Patent Document 3] edited by Hiroaki Kitano, "Genetic Algorithm (1)", Industrial Books
[0004]
The network type information processing system according to the invention of Patent Document 1 has an information exchange function of converting an output layer having a plurality of nodes through a directional link, and the directional link converts information passing therethrough. The output layer node has a function of performing a function operation on information input via the directional link. In this network type information processing system, as the information exchange function of the above-mentioned directional link, a filter function operation unit for exchanging information according to a filter function having selective characteristics such as a band-pass type or a band rejection type is provided. ing. The learning method in the network type information processing system is a means for obtaining a normal information processing result from the same input information in parallel with the network type information processing system performing information processing from the input information through the directional link and the calculation unit. The normal result is used as a teacher signal, the difference (error) between the teacher signal and the above information processing calculation result (output of the calculation unit) is obtained as an evaluation function, and the magnitude of the difference and the vector value are calculated. And means for correcting the filter function of the directional link via a learning function using the value of the learning parameter.
Then, in order to improve the learning process in the invention of Patent Document 1, a system of Patent Document 2 was further proposed.
[0005]
Further, Patent Literature 3 proposes an invention which further extends the invention of Patent Literature 1 in which only a relational description of a discrete value output with respect to a multi-continuous input is provided and the invention of Patent Literature 2 in which the learning system is improved. This is a network type information processing system capable of describing a relation between a multi-continuous value input and a multi-continuous value output, and a learning method thereof.
[0006]
On the other hand, a genetic algorithm has been devised as a method of adaptive learning from a large amount of data, and is used in various fields. The literature on the application of genetic algorithms is vast. The basic mechanism of the genetic algorithm (hereinafter abbreviated as “GA”) is described, for example, on page 15 of Non-Patent Document 1. To quote this, the mechanism of the genetic algorithm is as follows: (1) randomly generate a population M (φ) of the initial generation; (2) a fitness u for each individual m in the current population M (t) (M) is calculated (fitness calculation), (3) an individual m is selected from M (t) using a probability distribution proportional to u (m) (selection), and (4) The procedure consists of generating a population M (t + 1) of the next generation by applying a GA operator (reproduction), and returning to step (2).
There is no attempt in the literature to apply a genetic algorithm to a network-type information processing system for learning.
[0007]
[Problems to be solved by the invention]
In the learning system of the conventional network-type information processing system described in Patent Documents 1 to 3, the performance depends on a set value of a learning parameter. In the conventional system, the values of these learning parameters are values set in advance for each system and are not changed according to the learning situation, so that sufficient learning performance cannot be obtained. For more efficient learning, the system should dynamically change the learning parameters according to the learning situation. That is, if the dynamic setting of the learning parameters becomes possible, the learning can be automated. However, conventionally, an attempt to dynamically change the learning parameter has not been realized.
Therefore, the present invention prepares a plurality of network-type information processing systems, sets learning parameters of each system as GA parameters, and finds a system with high performance evaluation using a genetic algorithm. That is, an object of the present invention is to provide a learning apparatus and method for a network-type information processing system which automatically sets a learning parameter having a high evaluation and has a learning automatic means using the value.
Further, in the network type information processing system, when the number of input data increases, the performance of the input data decreases. Until now, in order to reduce the number of input data, preprocessing is performed on a large number of original data such as observation data (referred to as "input source data") to find input data that is a valid combination of input data. Has been done manually. Accordingly, it is an object of the present invention to provide a learning device and a method for a network-type information processing system that can perform automatic preprocessing using a genetic algorithm as a setting method of input data.
[0008]
[Means for Solving the Problems]
The present invention provides a plurality of first nodes, a plurality of second nodes, and a direction having a non-linear selective function characteristic coupling the first and second nodes, as shown in FIG. A learning function of a network-type information processing system having a function of outputting a discrete value with respect to a multi-continuous input and learning a selective function characteristic thereof. It has a dynamic setting and automatic learning means for dynamically setting parameter values using a genetic algorithm and performing learning using the parameter values.
The dynamic setting / automatic learning means prepares a plurality of network-type information processing systems, sets learning parameters of each system as GA parameters, and integrates the inference mechanism of each network-type information processing system with GA parameters. Learning, evaluation inference, performance evaluation, and alternation of generations are performed a predetermined number of times for an individual group as an individual, and an individual group with high performance is selected.
That is, a network-type information processing system is prepared, and an inference system (a set of pattern sets) of the system is combined with learning parameters of the system to obtain individuals as shown in FIG. 3, and a plurality of these individuals are prepared. As shown in FIG. 5, each of the individuals is subjected to a predetermined number of rules (inference mechanism) learning and evaluation inference, and the individuals are sorted in order of performance based on the evaluation result, as shown in FIG. Then, operations such as inheritance, crossover, and mutation of the GA algorithm are performed. FIG. 10 shows the entire process including the series of processes. Finding individuals with high performance evaluation by the process shown in FIG. 10, that is, dynamically acquiring values of learning parameters with high performance according to the learning situation, and performing learning automation using the values. Can be done.
[0009]
The first generation comprises the plurality of initial populations. As shown in Table 1, individual learning parameters are coded as GA parameters. Each individual within a generation processes a certain number of inputs. A teaching output (= correct answer) is given to each input, learning and evaluation inference are performed using a predetermined number of inputs and outputs, and each individual is evaluated based on the inference result, and the value is calculated. Are sorted in order of performance according to. The evaluation is obtained based on the scale of the inference system (total number of filter functions) and the incorrect answer rate of the evaluation inference.
[0010]
Based on the performance evaluation of each individual and the designation of the number of elite individuals and the number of unselected (surviving) individuals, each individual is classified into elite, normal individuals, and dead individuals, and then generation alternation is performed.
In the generation change, the elite is inherited by the next generation as it is, the same next generation individual is generated, and the dead individual is not passed on to the next generation. The next-generation individual first selects a normal individual as a mother and selects an individual (elite or normal individual) to be a father by random numbers. The next generation individual inherits the inference mechanism from the mother, and acquires the learning parameters by crossing the mother and the father. In order to further satisfy (hold) the number of individuals, a next-generation individual in which both the mother and the father are selected by random numbers is generated. If the generated next-generation individual has an incorrect combination of genes (GA parameters), it is detected as a dead individual, and crossover is repeated until a combination that does not result in a dead individual is formed, and the number of individuals is retained. The crossover is a one-point crossover, which is performed only at the Gene (abbreviation of gene) boundary, and the crossover position is determined by a random number. Furthermore, mutation is performed with a certain probability. Mutation is realized by one-bit inversion by a random number. An individual having an incorrect combination of genes due to mutation is excluded from processing as a dead individual, but exists as a next-generation individual due to the maintenance of the number of individuals. However, it is excluded from the processing of learning, evaluation inference, and performance evaluation.
[0011]
A series of processes up to the learning / evaluation inference, performance evaluation, and alternation of generations is repeated a predetermined number of times, and finally, the number of individuals is reduced to remove lower-order individuals corresponding to the reduced number of individuals. This increases the processing speed. The process up to this point is called a step. When this step is repeated a predetermined number of times, a higher-order individual group corresponding to the final individual number is obtained.
[0012]
During the above process, the value of the high-performance learning parameter is automatically set in the high-ranking individual, and the learning / inference is automatically performed using the value.
In addition, using the population of the final number of individuals after the completion of all processes, a network capable of inference with high performance is used.
[0013]
Another aspect of the present invention is directed to a plurality of first nodes, a plurality of second nodes, and a directional link having a non-linear selective function characteristic coupling the first and second nodes. Has an output value defined for each second node as a non-linear selection type function, and reflects the defined output value and the output value of the second node. A network-type information processing system that includes a second network-type information processing system having a function of obtaining one or more combined output values represented by continuous values, and outputs a multi-continuous value in response to a multi-continuous input. A learning device for learning, using a genetic algorithm, values of learning parameters, which are various parameters necessary for learning, in order to learn selective function characteristics of first and second network-type information processing systems. To set and has a dynamic setting and automatic learning means for automatic learning by using the value.
The dynamic setting / automatic learning means prepares a plurality of network-type information processing systems, sets learning parameters of each system as GA parameters, and sets an inference mechanism of each network-type information processing system. A procedure including learning, evaluation and inference, performance evaluation, and alternation of generations is performed a predetermined number of times on a group of individuals each having the combination of the parameters and the GA parameters (see FIG. 4), and a group of individuals with high performance is selected.
By dynamically setting effective learning parameter values using the genetic algorithm, it is possible to automate learning and perform high-performance inference.
[0014]
According to still another aspect of the present invention, the combination of the input data of the discrete-value output inference system network type information processing system or the continuous value output inference system network type information processing system, By setting the parameters, the process shown in FIG. 10 is performed, the input parameters can be dynamically set, and the input data can be automatically selected.
During the above process, the high-order individual automatically selects high-performance input data, and automatically uses the value to perform learning and inference. In addition, a network-type information processing system that performs high-performance inference by using the population of the final number of individuals after completion of all processes
Can be realized.
[0016]
BEST MODE FOR CARRYING OUT THE INVENTION
As described above, network-type information processing systems include an inference system of discrete value output and an inference system of multiple continuous value output. For the inference system of discrete value output and the inference system of continuous value output, dynamic acquisition and automatic learning of effective learning parameter values using GA, dynamic acquisition of input parameter values, and input preprocessing based on the values will be described. .
[0017]
(First Embodiment)
FIG. 1 is a diagram illustrating an example of a configuration of a network type information processing apparatus having a discrete value output inference system.
A network-type information processing apparatus having a discrete value output inference system includes a plurality of first nodes 11 and a plurality of second nodes 12, and the first node 11 and the second node 12 as shown in FIG. Are provided, and a directional link 13 having a non-linear selective function characteristic and its weight. Each of the second nodes 12 has a function of adding the calculation results of the degree of matching and the weight by the function operation of a plurality of links. The output of each node 12 is operated by the threshold function operation unit 15, and the discrete value is output. Is done. A set of one node 12 and a plurality of links connected thereto is called a pattern set or a rule, and a functional unit including all pattern sets (PS0, PS1, PS2,...) Is called an inference mechanism. In the learning of the inference mechanism, input data for learning and correct data for the input data are provided, and the selective function characteristics and weights are corrected so that the calculation result of the inference mechanism based on the input data for learning approaches the correct output data. This shows an example described in Patent Literature 1, Patent Literature 2, and the like.
[0018]
FIG. 2 shows an example of a network type information processing apparatus which outputs a multi-continuous value in response to a multi-continuous value input, and FIG. 11 shows its function in the form of a pattern table. This is an example described in Patent Document 3. This network-type information processing apparatus includes a plurality of first nodes 21, a plurality of second nodes 22, and a non-linear selective function (membership) connecting the first node 21 and the second node 22. Function MF ₀₀ ~ MF ₃₃ ) Characteristics and their weights W ₀₀ ~ W ₃₃ A pre-stage inference unit 28 having a directional link 23 having a directional link 23, and a post-stage output synthesizing unit having a directional link 26 having an output value defined for each second node as a nonlinear selective function characteristic. A network-type information processing system having a function of outputting a multi-continuous value in response to a multi-continuous value input, and learning selective function characteristics and weights of the pre-inference unit and the post-output synthesis unit 29, respectively. is there.
[0019]
According to the present invention, in the case of learning the discrete-value output network type information processing system of FIG. 1, a plurality of the discrete-value output network type information processing systems are prepared, and the system inference system (pattern set collection system) is prepared. That is, the discrete value output processing system 10 and the learning parameters 3 of the system are combined to form an individual as shown in the conceptual diagram of FIG.
In the case of learning of the network-type information processing system of the multi-continuous value output system shown in FIG. 2, a plurality of network-type information processing systems of the multi-continuous value output system are prepared, and the inference system 28 of the multi-continuous value output processing system and the network type information processing system. The output synthesis unit 29 and the learning parameters of each unit of the system are combined into an individual as shown in the conceptual diagram of FIG.
This learning parameter is coded in association with the GA parameter.
As shown in FIG. 5, a plurality of these individuals are prepared to form an individual group. Each individual is trained a predetermined number of times by a rule (inference mechanism) and evaluated and inferred. The population is sorted, and operation processing such as inheritance, crossover, and mutation of the GA algorithm is performed on the population.
FIG. 10 shows an outline of the entire process including these series of processes. The learning system of the network-type information processing system according to the present embodiment uses a process as shown in FIG. 10 to find individuals with high performance evaluations, that is, to dynamically obtain high-performance learning parameter values according to the learning situation. Then, the learning can be automated using the value.
[0020]
The first generation comprises the plurality of initial populations.
[0021]
[Table 1]

[0022]
As shown in Table 1, individual learning parameters are bit-coded as GA parameters.
In the discrete value output inference system, there are eight genes (hereinafter, referred to as Genes), and each Gene is composed of 8 bits.
The multi-continuous value output inference system has a pre-stage inference unit and a post-stage output synthesis unit, and each requires learning, so that the number of Genes is two sets, that is, 16 Genes.
8Gene is encoded as one chromosome. Therefore, one chromosome is encoded in the discrete value output inference system, and two chromosomes are encoded in the continuous value output inference system.
[0023]
As shown in Table 1, the learning parameters are coded in the basic 8 Gene (Gene Nos. 0 to 7). When roughly classified, there are a learning mode (see Table 2), a membership function (filter function) parameter, a pattern set extension parameter, and a weight control parameter.
[0024]
[Table 2]

[0025]
The learning mode parameter is GeneNo. As shown in Table 2, the learning mode value is "WEIGHT" for setting whether or not to perform weight learning, and whether or not to erase the history buffer when the membership function is changed, as shown in Table 2. "NO_CLR_H", "VARFIX" for setting whether or not to change the bottom position when changing the membership function, "VAREXT" for indicating whether to reduce the variance value when changing the membership function, and a pattern set There is "EXTEND" for selecting whether or not "PT_EXT" using automatic extension or "PT_MIN" for generating a membership function using a small number of data, and the learning mode is set by specifying ON / OFF. Is set. A plurality of these can be specified.
[0026]
The parameters of the membership function MF as the filter function are described in GeneNo. 2 and No. 3 are set as GA parameters of the Gene No. 3 2, the history buffer size is set in Bits 16 to 19, and the lower left side gain, the lower right side gain, the upper left side gain, and the upper right side gain are set in Bits 20 to 23. GeneNo. The variance value magnification is set to Bits 24 to 27 of No. 3 and the ambiguity magnification is set to Bits 28 to 31 of Bits 3 to 27. Note that the history buffer size is the capacity of the buffer used for performing the statistical processing of the teacher signal. The left bottom gain, the right bottom gain, and the top left gain are parameters representing the degree to which the left and right lengths of the bottom and top sides are changed in order to change the shape of the membership function. The variance value magnification and the ambiguity magnification as shown in FIG. 6 are parameters for changing the variance value and the ambiguity of the function.
[0027]
Parameters relating to the pattern set extension are described in GeneNo. It is associated with GA parameters of 4 to 5 genes. As parameters related to pattern set expansion, a learning threshold for instructing that learning is not performed when the degree of matching is smaller than the threshold. There are an expansion threshold value indicating that a set is generated and learned, and an initial variance value illustrated in FIG. 8 for determining the shape of the membership function during minority learning. FIG. 7 illustrates that a new pattern indicated by a dotted line 73 is generated when the degree of matching of the input 72 with the membership function 71 indicated by the solid line is smaller than the expansion threshold.
[0028]
The weight control parameter for changing the weight by learning is GeneNo. It is encoded in GA parameters of 6-7 genes. That is, GeneNo. The weight reduction threshold is set to Bits 48 to 51 of No. 6 and the weight increase threshold is set to Bits 52 to 55 of No. 6. In addition, GeneNo. The weight reduction rate is set in Bits 56 to 59 of No. 7, and the weight increase rate is set in Bits 60 to 63 of Bit 7.
[0029]
In the present embodiment, in addition to these learning parameters, the execution operation mode (see Table 3), the output synthesis mode (see Table 4) necessary only for the continuous value output inference system, and the simulator mode including the number of output synthesis targets are also executed. Can be obtained. The parameters of this simulator mode are GeneNo. It is associated with 0.
Simulator mode is an output that is a collective term combining the three of the execution operation mode, the output synthesis mode, and the number of output synthesis targets.
The output synthesis mode and the number of output synthesis targets are a parameter group that defines a calculation method and the like when generating an output value in the continuous value output type.
[0030]
[Table 3]

[0031]
The execution operation mode is a parameter group that defines an operation at the time of learning and inference such as a rule to be used and a rule matching degree synthesis method. "ADD" that specifies whether to use a sum average or a geometric mean, a membership function of an inactive rule (that is, a rule where learning is not sufficiently performed), and a specification that a pattern set is also used for inference. "NO_ACT", "LINEAR" which instructs an operation such that outputs in a plurality of rules are linearly interpolated in a linear interpolation mode in a continuous value output type, and a linear form in which a square error is minimized. There is “MINSQR” or the like that instructs to perform inference with data outside the data range given at the time of GeneNo. 0 is assigned to Bits 0 to 3.
[0032]
[Table 4]

[0033]
As shown in Table 4, in the output synthesis mode necessary only for the multi-continuous value output inference system, the center of the output patterns connected to the specified number of pattern sets (rules) having a high degree of matching is set. "PSWAM" for weighting and averaging the values by the degree of matching, "PSWWM" for also using the weight of the output pattern at the time of weighted averaging, and an output pattern connected to that pattern set for a specified number of pattern sets with a high degree of matching “APWAM” for weighting and averaging the area centroids with the degree of matching, and “Random number designation” for determining a pattern set involved in the calculation of an output value from random numbers from the top N, and the like. 0 is encoded in Bits 4 to 5.
[0034]
The number of output compositing targets necessary only for the multi-continuous value output inference system is a parameter for specifying the number of pattern sets (pattern tables) to be subjected to output compositing, and has four values of 3, 4, 5, and 9. You can choose from. This is the GeneNo. 0 is encoded in Bits 6 and 7.
In the continuous value output inference system, as described above, two sets of chromosomes are required. However, since only one simulator mode is required for one system, the second set of simulator modes is ignored.
[0035]
[Table 5]

[0036]
Table 5 shows an example of a chromosome of the multiple continuous value output inference system. The first chromosome is used as a learning parameter of the first-stage inference unit 28, and the second chromosome is used as a learning parameter of the second-stage output synthesis unit 29. In the case of a discrete value output inference system, only the first chromosome may be used.
Learning of the network type information processing system by the genetic algorithm performs the process shown in FIG.
First, a population is generated (S1). In the learning for the discrete value output processing system, a plurality of individuals in FIG. 3 are prepared, and in the learning for the continuous value output processing system, a plurality of individuals in FIG.
The number of individuals is usually 20 to 100.
The number of steps is set to 0 (S2).
The number of generation alternations is set to 0 (S3).
First, a predetermined number of teaching learning is performed on each individual (S4). As the GA parameter (learning parameter), the first chromosome in Table 5 is used when the individual is a discrete value output inference system as shown in FIG. The learning process is basically the same as the methods described in Patent Documents 1 and 2. When the individual is of a continuous value output inference system as shown in FIG. 2, the learning parameters encoded on the first chromosome and the second chromosome in Table 5 are used, for example, as described in Patent Document 3. Learning is performed by the learning method as described. Each time one generation of processing in the genetic algorithm is completed, the learning parameters updated by the processing are set as the learning parameters of each individual.
As the predetermined number of times, usually 1000 to 2000 times are given.
[0037]
Next, evaluation inference is performed a predetermined number of times for each individual as a result of learning (S5). Evaluation inference provides the learned inference mechanism with input data equivalent to that used at the time of learning, executes inference to obtain an output, compares the inference output with the correct output for the input data, and calculates the error. This is a process for calculating the size of the error or the incorrect answer rate. The performance obtained from the result of the comparison is the sum of the false alarm rate and the unreporting rate in the discrete value output inference system, and is an average square error in the continuous value output inference system. The false alarm rate is, for example, a rate at which, in a system that detects the above, a state in which an originally normal state is erroneously determined to be abnormal during all trials. This is the rate at which an abnormal state is erroneously determined to be normal.
As the performance evaluation, an overall performance index of each individual is obtained. The value of the total performance index of each individual is obtained by multiplying the performance (incorrect answer rate) by the required resource, and the smaller the value is, the higher the performance is. The required resource is determined by the total number of filter functions (membership functions) of the inference system of each individual. As described above, it is better to calculate the overall performance index taking into account not only the performance of the individual (the number of errors) but also the scale of the inference system. The smaller the scale of the required system, the better. Is standing.
[0038]
The individuals are sorted in order of performance based on the comprehensive performance index (S6).
[0039]
According to the number of elite individuals and the number of remaining culling (survival number) set in the system, the elite, the normal individual, and the dead individual are determined in order from the individual with the highest evaluation value (S7). The number of normal individuals is a value obtained by subtracting the number of elite individuals from the remaining number of selections, and the number of dead individuals is a value obtained by subtracting the number of remaining selections from the number of individuals.
[0040]
Crossover processing is performed for the elite and the normal individual (S8).
An example of the crossover process of the number of individuals 12, the number of elites 2, and the number of remaining selections 8 will be described with reference to FIG. Two individuals having inference systems rule1 and rule2, which obtained the first and second in the sort order, are elites (elite1 and elite2), and the next-generation individuals have both the inference system and Gene inherited from the elite and are exactly the same as the elite Be an individual.
Six (8 minus 2) individuals that survive but are not elite will be normal individuals (normal-6). The inference system of the next generation individual inherits the inference system from the normal individual who is the mother (rule3 to rule8 respectively), and the Gene is derived by crossover with the father (elite or normal individual) selected by random numbers.
The crossover is a one-point crossover performed at the Gene boundary in the present embodiment, and the crossover position is determined by a random number. Instead of the four dead individuals (dead1 to dead4), four new next-generation individuals are generated by crossover. This new individual is determined by random numbers for both the mother and the father, and inheritance of the inference system and Gene follows the same method as that of a normal individual.
[0041]
If the generated next-generation individual has an incorrect combination of genes (GA parameters), it is detected as a dead individual and removed (S9). An incorrect gene is, for example, a gene whose value is out of a possible range, or which does not match another parameter.
It is checked whether or not the number of individuals has reached the set value (S10). If the number of individuals has not reached the set value, the process returns to step 8, and crossover is repeated until there is a combination that does not result in a dead individual.
[0042]
Further, the next-generation individual other than the elite is mutated at a mutation rate of 0 <= x <= 1.0 (S11). This mutation is realized by inverting the bits in the Gene with random numbers.
Then, the dead individuals are checked (S12). As a result of the mutation, an individual having an incorrect combination of genes is a dead individual but exists as an individual for maintaining the number of individuals. However, they are excluded from the processing target of learning, evaluation inference, and performance evaluation in the next cycle.
[0043]
When one generation alternation process is completed, the number of variable alternations is increased by one (S13).
It is checked whether the number of generation alternations of the variable has become equal to the number of generation alternations within one step. If No, learning processing and generation alternation processing for the next generation are performed (S14).
The learning parameters are dynamically set during the performance evaluation / generation change process, and the learning / evaluation inference is automatically performed using the learning parameters. For example, the learning parameters updated each time the generation is changed are set in the learning means.
[0044]
After repeating a predetermined number of times (usually 50 to 100 times), the number of individuals is reduced in order to increase the processing speed and exclude low-order individuals from processing (S15).
The processing up to this point is called a step.
The number of steps is increased by 1 (S16), it is checked whether the number of steps has reached the specified number of steps (S17), and the steps are repeated until the number of steps reaches the specified number of steps.
For example, assuming that the number of steps = 3 (normal), the initial number of individuals = 50, and the number of individuals decreased = 15, the final number of individuals = 35 at the end of the first step, the final individuals = 20 at the end of the second step, and the final individuals = 20. At the end of the third step, the final number of individuals = 5, and finally five higher individuals can be obtained.
Each of the finally obtained top individuals has formed a high-performance inference system by learning using a genetic algorithm, and the network-type information processing apparatus of the top individuals has high performance in use.
[0045]
(Second embodiment)
In the conventional network-type information processing apparatuses described in Patent Literatures 1 to 3, input data for learning does not use observed data as it is, for example, from a plurality of observed data. Pre-processing such as selection, combination of a plurality of data, multiplication of data, and the like has been performed so that appropriate data is obtained. However, the pre-processing for the input data is manually performed by the operator depending on his or her experience and feeling. The present invention is configured to automatically perform the pre-processing of the input data, and to obtain appropriate input data by applying a genetic algorithm.
Note that data directly input to the network-type processing apparatus is referred to as input data, and data before preprocessing for obtaining the input data is referred to as original input data.
[0046]
[Table 6]

[0047]
Table 6 shows an example of the relationship between input parameters and GA parameters. The input parameters are parameters required for processing for creating input data based on original input data. There are four Genes, which are roughly classified into four types: control codes, selection data IDs, orders, and coefficients. Each Gene is composed of 8 bits. Two sets of Genes are encoded on one chromosome so that one input data has a variation of the original input data combination. The input parameters are coded next to the chromosomes for the learning parameters. For this reason, the discrete value output inference system encodes the chromosome after chromosome 2, and the continuous value output inference system encodes the chromosome after chromosome 3.
[0048]
[Table 7]

[0049]
Table 7 shows an example of coding of input parameters. In this example, among the GA parameters set up to chromosome 10, three chromosomes are valid, that is, three GAs have input data. There are ten original input data as indicated by D [10]. Since one input data is encoded on one chromosome, the third to fifth chromosomes are effective. Data of D [2] *-1.0+ (D [10], 2.0) * 2.0, which is a combination of the first original input data encoded on chromosome 3, that is, the second data When coding a parameter of input data in which a value obtained by multiplying the original input data by −1.0 and a value obtained by squaring the 10th original input data and multiplying by 2.0 are coded, the first set of Gene When the first half of the above equation is coded, the control code = “valid”, the selected data = 2 (the second original data), the order = 1, and the coefficient = −1, and the second set of Gene sets the second half of the above equation. When the part is coded, the control code = “valid”, the selected data = 10 (the tenth original data), the order = 2 (square), and the coefficient = 2.

Chromosomes

3 and 4 are similarly encoded. The control code of chromosome 4 = “valid / finished” means that the subsequent chromosome is invalid.
[0050]
As for the input parameters, a cycle of learning, evaluation, inference, performance evaluation, and generation change was performed a predetermined number of times (usually: 50 to 100 times), similarly to the learning parameters of chromosome 1 and chromosome 2 (only continuous value output inference system). Thereafter, the number of individuals is reduced, and the steps are repeated a predetermined number of times until the number of individuals reaches the final number.
There is one difference from the generation change of the learning parameter. In the generation change of input parameters, if all input parameter values of the next generation individual obtained by crossover differ from the mother's parameter value, it is no longer related to the mother, so the inference mechanism inherited from the mother Will be invalid and will abandon the inference mechanism. The individual who abandons the inference mechanism becomes an immature individual in the next generation, and does not participate in learning, evaluation inference, performance evaluation, or generational change, but will participate in generational change after spending two generations.
During the performance evaluation / generation change processing, more effective input data is dynamically selected, and the learning / evaluation inference is automatically performed using the input data.
Inference using the top individuals for the final number of individuals has high performance.
[0051]
【The invention's effect】
ADVANTAGE OF THE INVENTION The learning apparatus and method of the network type information processing system of this invention can discover the individual with high performance evaluation by utilizing the process of a genetic algorithm. That is, it is possible to dynamically acquire a value of a learning parameter having a high performance according to a learning situation, and use the value to automate learning.
[0052]
Also, parameters required for preprocessing input data of the network-type information processing system of the present invention are dynamically obtained by using a genetic algorithm, and more effective input data is automatically obtained by using the values. be able to.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an example of a network structure of a discrete value output inference system.
FIG. 2 is a diagram showing an example of a network structure of a continuous value output inference system.
FIG. 3 is a diagram conceptually showing an individual of a discrete value output inference system.
FIG. 4 is a diagram conceptually showing an individual of a continuous value output inference system.
FIG. 5 is a diagram showing individual learning to generation alternation processing (discrete value output inference system).
FIG. 6 is a diagram illustrating a variance value magnification and an ambiguity magnification;
FIG. 7 is a diagram showing an expansion threshold value;
FIG. 8 is a diagram showing an initial dispersion value.
FIG. 9 is a diagram showing an example of generation change
FIG. 10 is a diagram showing a process of automatic parameter acquisition and automatic learning using GA.
11 is a diagram showing a network structure of the continuous value output inference system shown in FIG. 2 in a pattern format table.
[Explanation of symbols]
11, 21,... The first node,
12, 22,... The second node,
13, 23 ... directional link,
28: Preliminary inference unit,
29 ... post-stage output synthesizing unit.

Claims

A plurality of first nodes, a plurality of second nodes, and a directional link having a non-linear selective function characteristic coupling the first node and the second node; A learning device for a network-type information processing system having a function of learning discrete function values by learning discrete function values, and using a genetic algorithm to move learning parameter values, which are various parameters required for learning, using a genetic algorithm. A learning device for a network-type information processing system, comprising: a dynamic setting / automatic learning unit for performing learning by using a parameter value that is set dynamically.

The dynamic setting / automatic learning means prepares a plurality of network type information processing systems, sets learning parameters of each system as GA parameters, and combines the inference mechanism of each network type information processing system with the GA parameters. 2. The network type information processing system according to claim 1, wherein learning, evaluation inference, performance evaluation, and generation alternation are performed a predetermined number of times for an individual group, and an individual group with high performance is selected. Learning device.

3. The learning device for a network-type information processing system according to claim 2, wherein after the predetermined number of learning, evaluation inference, performance evaluation, and generation change, the number of individuals is reduced to improve processing speed.

After the learning, evaluation inference, performance evaluation, and generational change of the predetermined number of times, the process until the number of individuals is reduced to improve the processing speed is defined as one step, and the steps are performed until the number of individuals finally reaches the required number. The learning device for a network-type information processing system according to claim 3, wherein the learning is repeated a predetermined number of times.

An upper-level population obtained as a high-performance population as a result of learning by the dynamic setting / automatic learning means of the learning apparatus according to any one of claims 1 to 4. Network-type information processing system with an inference mechanism.

A network-type information processing system including a plurality of first nodes, a plurality of second nodes, and a directional link having a non-linear selective function characteristic for coupling the first node and the second node. Has at least one output value defined for each of the second nodes as a non-linear selectable function, and at least one represented by a continuous value reflecting the defined output value and the output value of the second node. A learning device for a network-type information processing system, comprising a configuration in which a second network-type information processing system having a function of obtaining a composite output value of In order to learn the selective function characteristics of the second network type information processing system, dynamically set the values of learning parameters, which are various parameters required at the time of learning, using a genetic algorithm, Learning devices in the network type information processing system characterized by having a dynamic setting and automatic learning means for the automatic learning using.

The dynamic setting / automatic learning means prepares a plurality of network type information processing systems, sets learning parameters of each system as GA parameters, and combines the inference mechanism of each network type information processing system with the GA parameters. 7. The network-type information processing system according to claim 6, wherein learning, evaluation inference, performance evaluation, and generation alternation are performed a predetermined number of times for an individual group, and an individual group with high performance is selected. Learning device.

8. The learning device for a network-type information processing system according to claim 7, wherein after the predetermined number of learning, evaluation inference, performance evaluation, and generation change, the number of individuals is reduced to improve processing speed.

After a predetermined number of learning, evaluation inference, performance evaluation, and generational change, the process until the number of individuals is reduced to improve the processing speed is defined as one step. 9. The learning device for a network-type information processing system according to claim 8, wherein the learning is repeated a predetermined number of times.

10. A high-order population obtained as a high-performance population as a result of learning by the dynamic setting / auto-learning means of the learning device according to any one of claims 6 to 9. Network-type information processing system with an inference mechanism.

A network having an inference mechanism comprising a plurality of first nodes, a plurality of second nodes, and a directional link having a non-linear selective function characteristic coupling the first nodes and the second nodes. A learning device for a type information processing system, comprising: an input preprocessing unit that performs a preprocessing operation on input source data to obtain input data; sets input parameters that are processing parameters of the input preprocessing unit as GA parameters; A genetic algorithm including learning, evaluation and inference, performance evaluation, and alternation of generations is performed on a group of individuals, each of which is a combination of an inference mechanism of a network-type information processing system and GA parameters set with the input parameters. A network-type information processing system comprising: means for dynamically setting input parameter values of an input preprocessing unit and obtaining input data. Learning equipment.

A network having an inference mechanism comprising a plurality of first nodes, a plurality of second nodes, and a directional link having a non-linear selective function characteristic coupling the first nodes and the second nodes. A learning device for a type information processing system, comprising: an input preprocessing unit for performing a preprocessing operation on input source data to obtain input data, wherein both input parameters and learning parameters, which are processing parameters of the input preprocessing unit, are GA parameters. For a group of individuals, each of which is a combination of the inference mechanism of each network type information processing system and the GA parameter, learning, evaluation inference, performance evaluation, and execution of a genetic algorithm including generation alternation. , Dynamically setting the values of the input parameters of the input preprocessor and the learning parameters of the inference mechanism to obtain input data and perform learning. Ttowaku-based learning apparatus of the information processing system.

After the predetermined number of learning, evaluation inference, performance evaluation / generation change, the number of individuals is reduced to improve the processing speed, and the process of learning / evaluation inference, performance evaluation, generation change, and reduction in the number of individuals is performed a predetermined number of times. 13. The learning device for a network-type information processing system according to claim 12, wherein is set as one step, and the step is repeated a predetermined number of times until the number of individuals finally reaches the required number.

The learning apparatus according to claim 12 or 13, wherein the learning is performed by the dynamic setting / automatic learning means, and the learning apparatus has an inference mechanism for a high-order population obtained as a high-performance population as a result of the learning. Network type information processing system.

A network having an inference mechanism comprising a plurality of first nodes, a plurality of second nodes, and a directional link having a non-linear selective function characteristic coupling the first nodes and the second nodes. A learning method for a network-type information processing system, comprising: preparing a plurality of the network-type information processing systems; setting learning parameters of each network-type information processing system as GA parameters; Generating an individual group having the combined parameters as one individual, and executing a genetic algorithm including learning, evaluation inference, performance evaluation, and generational alternation by the GA parameter on the individual group, and obtaining a high-performance individual A learning method for a network-type information processing system, comprising selecting a group.

A network having an inference mechanism comprising a plurality of first nodes, a plurality of second nodes, and a directional link having a non-linear selective function characteristic coupling the first nodes and the second nodes. A learning device for a network-type information processing system, wherein a plurality of the network-type information processing systems are prepared, learning parameters of each network-type information processing system are set as GA parameters, and an inference mechanism and a GA of each network-type information processing system are set. Means for generating an individual group having a combination of parameters as one individual; and performing a genetic algorithm including learning, evaluation inference, performance evaluation, and generation alternation by the GA parameter on the individual group. A learning device for a network-type information processing system, comprising: means for selecting a high population.

An inference mechanism comprising a computer having a plurality of first nodes, a plurality of second nodes, and a directional link having a non-linear selective function characteristic coupling the first and second nodes. Prepare multiple network-type information processing systems with the parameters, set the learning parameters of each network-type information processing system as GA parameters, and combine the inference mechanism and GA parameters of each network-type information processing system into one individual A learning method for generating a population, executing a genetic algorithm including learning, evaluation and inference, performance evaluation, and alternation of generations on the population using the GA parameter to select a high-performance population is performed by a computer. A computer-readable recording medium that records a program to be executed.