JP2004192584A

JP2004192584A - 遺伝的アルゴリズムを用いた、ネットワーク型情報処理システムとその学習装置、学習方法及び学習方法のプログラムを記録した記録媒体

Info

Publication number: JP2004192584A
Application number: JP2002363168A
Authority: JP
Inventors: Takeshi Nakamura; 健中村; Keiko Shiozawa; 恵子塩沢
Original assignee: AdIn Research Inc
Current assignee: AdIn Research Inc
Priority date: 2002-12-13
Filing date: 2002-12-13
Publication date: 2004-07-08
Anticipated expiration: 2022-12-13
Also published as: JP3935425B2

Abstract

【課題】ネットワーク型情報処理システムに遺伝的アルゴリズムを用いて、学習状況に応じて学習パラメータを動的に変更し、効率の良い学習を自動的に行うこと。入力を自動的に選択できるようにすること。
【解決手段】前記ネットワーク型情報処理システムを複数用意し、各ネットワーク型情報処理システムの持つ学習パラメータをＧＡパラメータとして設定し、各ネットワーク型情報処理システムの推論機構とＧＡパラメータを合わせたものを一個体とする個体群を生成し、その個体群に対して、前記ＧＡパラメータによる学習、評価推論、性能評価、世代交代を含む遺伝的アルゴリズムを実行し、性能の高い個体群を選択する。
【選択図】図１０

Description

【０００１】
【発明の属する技術分野】
本発明は、制御システム、信号処理システムなどの離散値／連続値出力を伴う分野に有用なネットワーク構造を有する情報処理システムの学習システムに関する。特に、遺伝的アルゴリズムのパラメータに学習パラメータをコード化し、遺伝的アルゴリズムによりネットワーク型情報処理システムの学習を行う学習装置及び方法、並びにその方法をコンピュータに実行させるプログラムを記録した記録媒体に関する。さらに、本発明は、遺伝的アルゴリズムのパラメータに、入力元データを前処理して入力データを取得するための入力パラメータをコード化し、遺伝的アルゴリズムにより入力データを得る装置に関する。
【０００２】
【従来の技術】
【０００３】
【特許文献１】特開平５−１２８０８６号公報
【特許文献２】特開平５−３４２１８９号公報
【特許文献３】特開平６−１７６００１号公報
【非特許文献１】伊庭斉志、「遺伝的アルゴリズムの基礎」、株式会社オーム社、平成１０年１月第１版第５刷発行、ｐｐ８〜１６
【非特許文献２】石田良平・村瀬治比古・小山修平、「パソコンで学ぶ遺伝的アルゴリズムの基礎と応用」、森北出版 (１９９７−０７−１８出版)
【非特許文献３】北野宏明編著、「遺伝的アルゴリズム（１）」、産業図書
【０００４】
特許文献１の発明のネットワーク型情報処理システムは、複数のノードを有する出力層が方向性リンクを介して結合され、その方向性リンクは通過する情報の変換をする情報交換機能を有し、前記出力層のノードは方向性リンクを介して入力される情報に対して関数演算を行う機能を有するものである。このネットワーク型情報処理システムにおいて、上記の方向性リンクの情報交換機能として、帯域通過型あるいは帯域阻止型のような選択的な特性をもつファイルタ関数に従って情報交換を行うフィルタ関数演算部が設けられている。そのネットワーク型情報処理システムにおける学習方式は、前記ネットワーク型情報処理システムが入力情報から方向性リンクと計算ユニットを通して情報処理を行うのと平行して、同じ入力情報から正常な情報処理結果を得る手段を有し、その正常な結果を教師信号として、教師信号と上記の情報処理計算結果（計算ユニットの出力）との差異（誤差）を評価関数として求め、その差異の大小やベクトル値を算出し、学習パラメータの値を利用した学習関数を介して、方向性リンクのフィルタ関数を修正する手段を有するものである。
その後、特許文献１の発明における学習処理を改良するために、さらに特許文献２のシステムが提案された。
【０００５】
さらに、多連続入力に対して離散値出力の関係記述のみであった特許文献１の発明とその学習システムの改良をした特許文献２の発明をさらに拡張した発明が特許文献３により提案された。これは、多連続値入力に対して多連続値出力の関係記述をすることのできるネットワーク型情報処理システムとその学習方法である。
【０００６】
他方、多量のデータからの適応的学習の手法として遺伝的アルゴリズムが案出され、さまざまな分野で利用されている。遺伝的アルゴリズムの応用に関する文献は膨大な量に及んでいる。その遺伝的アルゴリズム（以下、「ＧＡ」とも略称する）の基本的な仕組みは、例えば、非特許文献１の１５ページに解説されている。これを引用すると、遺伝的アルゴリズムの仕組みは、▲１▼ランダムに初期世代の集団Ｍ（φ）を生成する、▲２▼現在の集団Ｍ（ｔ）内の各個体ｍに対して適合度ｕ（ｍ）を計算する（適合度計算）、▲３▼ｕ（ｍ）に比例する確率分布を用いて、Ｍ（ｔ）から個体ｍを選び出す（選択）、▲４▼選び出された個体にＧＡオペレータを作用させて、次の世代の集団Ｍ（ｔ＋１）を生成し（生殖）、ステップ▲２▼へ戻る手順からなっている。
なお、遺伝的アルゴリズムをネットワーク型情報処理システムに適用して、学習を行う試みは文献上見あたらない。
【０００７】
【発明が解決しようとする課題】
前記特許文献１〜３に記載されているような従来のネットワーク型情報処理システムの学習システムにおいて、その性能は、学習パラメータの設定値に依存する。従来のシステムでは、これらの学習パラメータの値は、システム毎に事前に設定された値であり、学習状況に応じた変更はなされないため、十分な学習性能を得ることができない。より効率的な学習を行うためには、システムが学習状況に応じて学習パラメータを動的に変更すべきである。つまり、学習パラメータの動的設定が可能になれば、学習を自動化することができる。しかし、従来は、学習パラメータを動的に変更する試みは実現されていなかった。
そこで、本発明は、ネットワーク型情報処理システムを複数用意し、各システムの持つ学習パラメータをＧＡパラメータとして設定し、遺伝的アルゴリズムを用いて性能評価の高いシステムを発見する。つまり、自動的に評価の高い学習パラメータを設定し、その値を用いた学習の自動化手段を持つネットワーク型情報処理システム学習装置及び方法を提供することを目的とするものである。
また、ネットワーク型情報処理システムでは、入力データの点数が増大するとその性能低下を引き起こす。今までは、入力データ数を低減するために、観測データ等の多数の原初のデータ（「入力元データ」と呼ぶ）に前処理を施し、有効な入力データの組合せである入力データを見つけることは、手動で行われてきた。そこで、入力データの設定方式として、遺伝的アルゴリズムを用いた自動前処理を行うことのできるネットワーク型情報処理システムの学習装置及び方法を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
本発明は、図１に示すような、複数の第１のノードと、複数の第２のノードと、前記の第１のノードと第２のノードを結合する非線形の選択的関数特性を持つ方向性リンクとを備え、多連続入力に対して離散値を出力し、その選択的関数特性を学習する機能をもつネットワーク型情報処理システムの学習装置であって、学習時に必要な各種パラメータである学習パラメータの値を遺伝的アルゴリズムを用いて動的に設定し、そのパラメータ値を用いて学習をする動的設定・自動学習手段を有するものである。
動的設定・自動学習手段は、ネットワーク型情報処理システムを複数用意し、各システムの持つ学習パラメータをＧＡパラメータとして設定し、各ネットワーク型情報処理システムの推論機構とＧＡパラメータを合わせたものを一個体とする個体群に対して、学習、評価推論、性能評価、世代交代を所定回数行い、性能の高い個体群を選択する。
すなわち、ネットワーク型情報処理システムを用意し、システムの推論系（パターンセットの集合系）とそのシステムの持つ学習パラメータを合体し、図３に示すような個体とし、これらの個体を複数用意して個体群とし、図５に示すように、各個体に所定回数のルール（推論機構）の学習、評価推論を行わせた後、その評価結果を元に、性能順に個体群をソートし、個体群にＧＡアルゴリズムの継承・交叉・突然変異等の操作を行う。これら一連の処理を含む全プロセスを図１０に示す。図１０に示すようなプロセスによって、性能評価の高い個体を発見すること、つまり学習状況に応じた性能の高い学習パラメータの値を動的に取得し、その値を用いて学習の自動化を行うことができるものである。
【０００９】
前記の複数の初期個体群で第一世代を構成する。表１に示すように、個体の学習パラメータは、ＧＡパラメータとしてコード化される。一世代内での各個体は、一定回数の入力を処理する。各入力には、教示出力（＝正解）が与えられ、所定回数分の入出力を用いて、ルールの学習、評価推論を実行した後、その推論結果を元に各個体の評価を行いその値に応じて個体を性能順にソートする。評価は、推論系の規模（フィルタ関数の総数）と評価推論の不正解率に基づいて求められる。
【００１０】
各個体の性能評価と、エリート個体数・淘汰残（生き残り）個体数の指定に基づいて、各個体をエリート、通常個体、死滅個体に分類した後、世代交代を行う。
世代交代では、エリートは、次世代にそのまま継承され、全く同じ次世代個体が生成され、死滅個体は次世代に継承させない。次世代個体は、まず、通常個体を母親とし、乱数によって父親となる個体（エリート又は通常個体）を選択する。次世代個体は、推論機構を母親から継承し、学習パラメータは母親と父親の交叉によって取得する。さらに個体数を満たす（保持する）ために、母親も父親も乱数によって選択される次世代個体も生成される。生成された次世代個体に不正な遺伝子（ＧＡパラメータ）の組合せがあった場合は、死滅個体として検出され、死滅個体にならない組合せができるまで交叉を繰り返し、個体数を保持する。交叉は、一点交叉で、Ｇｅｎｅ（遺伝子の略）境界のみで行われ、交叉位置は、乱数によって決定される。さらに一定確率で突然変異を行う。突然変異は、乱数による１ビットの反転で実現する。突然変異により不正な遺伝子の組合せになった個体は、死滅個体として処理対象外となるが、個体数保持のため次世代個体としては存在する。しかし、学習・評価推論・性能評価の処理からは除外される。
【００１１】
前記、学習・評価推論、性能評価、世代交代までの一連のプロセスを所定回数繰り返し、最後に、個体減少数分の下位個体群を除去する個体数圧縮を行う。これにより、処理速度が増す。ここまでのプロセスをステップと称す。このステップを所定回数繰り返すと、最終個体数分の上位の個体群が取得される。
【００１２】
前記プロセス中、上位個体では、性能の高い学習パラメータの値が自動的にセットされ、その値を利用して、学習・推論は自動的に行われる。
また、全プロセス終了後の最終個体数分の個体群を利用し、性能の高い推論が可能なネッ
【００１３】
本発明の他の態様は、複数の第１のノードと、複数の第２のノードと、前記の第１のノードと第２のノードを結合する非線形の選択的関数特性を持つ方向性リンクとを備えたネットワーク型情報処理システムに、その各第２のノードに対し定義される出力値を非線形の選択型関数として有し、前記定義される出力値と第２のノードの出力値を反映した連続値で表される１以上の合成出力値を得る機能を持つ第２のネットワーク型情報処理システムを付加した構成を備え、多連続入力に対して多連続値を出力するネットワーク型情報処理システムの学習装置であって、第１及び第２のネットワーク型情報処理システムの選択的関数特性を学習するために、学習時に必要な各種パラメータである学習パラメータの値を遺伝的アルゴリズムを用いて動的に設定し、その値を用いて自動学習をする動的設定・自動学習手段を有するものである。
動的設定・自動学習手段は、動的設定・自動学習手段は、ネットワーク型情報処理システムを複数用意し、各システムの持つ学習パラメータをＧＡパラメータとして設定し、各ネットワーク型情報処理システムの推論機構とＧＡパラメータを合わせたものを一個体（図４参照）とする個体群に対して、学習、評価推論、性能評価、世代交代からなる手順を所定回数行い、性能の高い個体群を選択する。
この遺伝的アルゴリズムを用いた有効な学習パラメータ値の動的設定によって、学習の自動化と高性能の推論を行うことができる。
【００１４】
本発明のさらに他の態様は、前記、離散値出力推論系ネットワーク型情報処理システムあるいは連続値出力推論系ネットワーク型情報処理システムの入力データの組合せについても、各々、前記個体に、入力パラメータをＧＡパラメータとして設定し、図１０に示すプロセスを行い、入力パラメータを動的に設定し入力データの自動選択を行うことのできるものである。
【００１５】前記プロセス中、上位個体では、性能の高い入力データが自動的に選択され、その値を利用して、学習・推論は自動的に行われる。また、全プロセス終了後の最終個体数分の個体群を利用し、性能の高い推論を行うネットワーク型情報処理システムを
実現することができる。
【００１６】
【発明の実施の形態】
ネットワーク型情報処理システムには、上記のように離散値出力の推論系と多連続値出力の推論系がある。離散値出力の推論系と連続値出力の推論系ついて、各々ＧＡを用いた有効学習パラメータ値の動的取得と自動学習、入力パラメータ値の動的取得と、その値による入力前処理について説明する。
【００１７】
（第１の実施の形態）
図１は、離散値出力推論系を持つネットワーク型情報処理装置の構成の一例を示す図である。
離散値出力推論系を持つネットワーク型情報処理装置は、図１に示すような、複数の第１ノード１１と複数の第２のノード１２と、前記の第１のノード１１と第２のノード１２を結合する非線形の選択型関数特性とその重みを持つ方向性リンク１３とを備えている。各第２のノード１２は複数のリンクの関数演算による合致度、重みの計算結果を加算する機能を有し、各ノード１２の出力はそれぞれしきい関数演算部１５により演算し、離散値が出力される。１つのノード１２とそれに接続された複数のリンクの集まりをパターンセットあるいはルールといい、すべてのパターンセット（ＰＳ０，ＰＳ１，ＰＳ２，・・・）からなる機能部を推論機構という。推論機構の学習では、学習用入力データとそれに対する正解データを与え、学習用入力データによる推論機構の演算結果が正解出力データに近づくように前記選択的関数特性や重みを修正する。これは特許文献１、特許文献２等に記載されている例を示すものである。
【００１８】
図２は、多連続値入力に対して多連続値を出力するネットワーク型情報処理装置の一例を示すもので、図１１はその機能をパターンテーブルの形式で示すものである。これは、特許文献３に記載されている例である。このネットワーク型情報処理装置は、複数の第１のノード２１と、複数の第２のノード２２と、前記の第１のノード２１と第２のノード２２を結合する非線形の選択的関数（メンバシップ関数ＭＦ_００〜ＭＦ_３３）特性とその重みＷ_００〜Ｗ_３３を持つ方向性リンク２３とを備えた前段推論部２８と、さらに、各第２のノードに対して定義される出力値を非線形の選択的関数特性として持つ方向性リンク２６を持つ後段出力合成部２９とを備え、多連続値入力に対して多連続値を出力し、前段推論部２８と後段出力合成部２９のそれぞれの選択的関数特性や重みを学習する機能をもつネットワーク型情報処理システムである。
【００１９】
本発明は、図１の離散値出力系のネットワーク型情報処理システムの学習の場合は、その離散値出力系のネットワーク型情報処理システムを複数用意し、システムの推論系（パターンセットの集合系）すなわち離散値出力処理系１０と、そのシステムの持つ学習パラメータ３を合体し、図３の概念図に示すような個体とする。
図２の多連続値出力系のネットワーク型情報処理システムの学習の場合には、多連続値出力系のネットワーク型情報処理システムを複数用意し、多連続値出力処理系の推論系２８とネットワーク型の出力合成部２９とそのシステムの各部の持つ学習パラメータを合体し、図４の概念図に示すような個体とする。
この学習パラメータはＧＡパラメータと関係づけてコード化される。
これらの個体を図５に示すように、複数用意して個体群とし、各個体に所定回数のルール（推論機構）の学習、評価推論を行わせた後、その評価結果を元に、性能順に個体群をソートし、個体群にＧＡアルゴリズムの継承・交叉・突然変異等の操作処理を施す。
これら一連の処理を含む全プロセスの概略を図１０に示す。本実施例のネットワーク型情報処理システムの学習システムは図１０に示すようなプロセスによって、性能評価の高い個体を発見すること、つまり学習状況に応じた性能の高い学習パラメータの値を動的に取得し、その値を用いて学習の自動化を行うことができる。
【００２０】
前記の複数の初期個体群で第一世代を構成する。
【００２１】
【表１】

【００２２】
表１に示すように、個体の学習パラメータは、ＧＡパラメータとしてビットコード化される。
離散値出力推論系では、遺伝子（以後、Ｇｅｎｅと称す。）は８つで、各Ｇｅｎｅは８ビットで構成される。
多連続値出力推論系は、前段推論部と後段出力合成部を持ち、それぞれに学習が必要なためＧｅｎｅ数は２セット、つまり１６Ｇｅｎｅとなる。
８Ｇｅｎｅが１染色体としてコード化される。したがって、前記離散値出力推論系では、一つの染色体、前記連続値出力推論系では、２つの染色体がコード化される。
【００２３】
学習パラメータは、表１に示すように、基本の８Ｇｅｎｅ（ＧｅｎｅＮｏ．０〜７）にコード化される。大別すると、学習モード（表２参照）、メンバーシップ関数（フィルタ関数）パラメータ、パターンセット拡張パラメータ、重み制御パラメータがある。
【００２４】
【表２】

【００２５】
学習モードパラメータは、ＧｅｎｅＮｏ．１の遺伝子としてコード化され、学習モード値は表２に示されているように、重み学習を行うか否かを設定する「ＷＥＩＧＨＴ」、メンバーシップ関数変更時に履歴バッファを消去するか否かを示す「ＮＯ＿ＣＬＲ＿Ｈ」、メンバーシップ関数変更時に底辺位置の変更を行うか否かを設定する「ＶＡＲＦＩＸ」、メンバーシップ関数変更時に分散値の縮小を行わないか否かを示す「ＶＡＲＥＸＴ」、及びパターンセット自動拡張を用いる「ＰＴ＿ＥＸＴ」か否か、少数データによるメンバーシップ関数の生成を行う「ＰＴ＿ＭＩＮ」か否かを選択する「ＥＸＴＥＮＤ」等があり、そのＯＮ／ＯＦＦを指定することにより学習のモードが設定される。これらは複数指定可能である。
【００２６】
フィルタ関数としてのメンバーシップ関数ＭＦのパラメータは、ＧｅｎｅＮｏ．２及びＮｏ．３の遺伝子のＧＡパラメータとして設定され、そのＧｅｎｅＮｏ．２のＢｉｔ１６〜１９に履歴バッファサイズ、Ｂｉｔ２０〜２３に左底辺ゲイン、右底辺ゲイン、左上辺ゲイン、右上辺ゲインが設定される。ＧｅｎｅＮｏ．３のＢｉｔ２４〜２７に分散値倍率が、同Ｂｉｔ２８〜３１に曖昧度倍率が設定される。なお、履歴バッフアサイズは教師信号の統計的処理を行うために使用するバッファの容量である。左底辺ゲイン、右底辺ゲイン、左上辺ゲインはメンバーシップ関数の形状を変えるために、底辺及び上辺の左右の長さを変更する程度を表すパラメータである。図６に示すような分散値倍率、曖昧度倍率は、関数の分散値及び曖昧度を変えるためのパラメータである。
【００２７】
パターンセット拡張に関するパラメータは、ＧｅｎｅＮｏ．４〜５の遺伝子のＧＡパラメータに対応づけられている。パターンセット拡張に関するパラメータとしては閾値よりも合致度が小さいとき学習をしないことを指示するための学習の閾値、閾値よりも合致度が大きいときそのパターンセットに対して学習をし、小さいとき新しくパターンセットを生成し学習することを示す拡張の閾値、及び少数学習時のメンバーシップ関数の形状を決めるための図８に示す初期分散値などがある。図７は実線で示すメンバーシップ関数７１に対する入力７２の合致度が拡張の閾値より小さいときには点線７３で示す新しいパターンを生成することを説明している。
【００２８】
重みを学習により変更するための重み制御パラメータは、ＧｅｎｅＮｏ．６〜７の遺伝子のＧＡパラメータにコード化されている。すなわち、ＧｅｎｅＮｏ．６のＢｉｔ４８〜５１に重み減少閾値が、同Ｂｉｔ５２〜５５に重み増加閾値が設定される。また、ＧｅｎｅＮｏ．７のＢｉｔ５６〜５９に重み減少率が、同Ｂｉｔ６０〜６３に重み増加率が設定される。
【００２９】
本実施例では、これら学習パラメータの他に、実行動作モード（表３参照）、連続値出力推論系のみに必要な出力合成モード（表４参照）と出力合成対象数を含むシミュレータモードも、動的に得ることができる。このシミュレータモードのパラメータは、ＧｅｎｅＮｏ．０に対応づけられている。
シミュレータモードとは実行動作モード、出力合成モード、出力合成対象数の３つを合わせた総称である出力。
出力合成モード、出力合成対象数は、連続値出力型において、出力値を生成する際の演算方法などを規定するパラメータ群である。
【００３０】
【表３】

【００３１】
実行動作モードとは、使用するルールや、ルールの合致度合成法などの学習、推論時の動作を規定するパラメータ群であり、これには、表３に示すようにルール内での合致度合成を総和平均とするか相乗平均とするかを指定する「ＡＤＤ」、Ｉｎａｃｔｉｖｅなルール（すなわち、学習が十分に行われていないルール）のメンバーシップ関数、パターンセットも推論に用いることを指定する「ＮＯ＿ＡＣＴ」、連続値出力型における線形補間モードにおいて複数のルール感での出力が線形に補間されるような演算を指示する「ＬＩＮＥＡＲ」、及び２乗誤差が最小となる線形式を用いて、学習時に与えられたデータ範囲外のデータでの推論を行うことを指示する「ＭＩＮＳＱＲ」等があり、ＧｅｎｅＮｏ．０のＢｉｔ０〜３に割り当てられる。
【００３２】
【表４】

【００３３】
多連続値出力推論系のみに必要な出力合成モードには、表４に示すように、合致度が上位の指定数パターンセット（ルール）を対象として、そのパターンセットに接続される出力パターンの中心値を合致度で加重平均する「ＰＳＷＡＭ」、その加重平均時に出力パターンの重みをも用いる「ＰＳＷＷＭ」、合致度が上位の指定数のパターンセットを対象として、そのパターンセットに接続される出力パターンの面積重心を合致度で加重平均する「ＡＰＷＡＭ」、及び出力値の算出に関与するパターンセットを上位Ｎ個から乱数によって決定する「乱数指定」等があり、ＧｅｎｅＮｏ．０のＢｉｔ４〜５にコード化される。
【００３４】
多連続値出力推論系のみに必要な出力合成対象数は、出力合成の対象とするパターンセット（パターンテーブル）の数を指定するパラメータであり、値は、３、４、５、９の４種類から選択可能である。これは、ＧｅｎｅＮｏ．０のＢｉｔ６〜７にコード化される。
なお、連続値出力推論系では、前記のように、２セットの染色体が必要であるが、シミュレータモードは一つの系に一つあればよいので２セット目のシミュレータモードは無視される。
【００３５】
【表５】

【００３６】
多連続値出力推論系の染色体の例を表５に示す。第１の染色体は前段推論部２８の学習用のパラメータとして用いられ、第２染色体は後段出力合成部２９の学習用のパラメータとして用いられる。離散値出力推論系の場合は、第１の染色体のみでよい。
遺伝的アルゴリズムによるネットワーク型情報処理システムの学習は、図１０に示すプロセスを行う。
最初に個体群を生成する（Ｓ１）。離散値出力処理系を対象とする学習では図３の個体を複数用意し、連続値出力処理系の学習の場合は図４の個体を複数用意してそれぞれ個体群を生成する。
個体数は通常２０〜１００個である。
ステップ数を０に設定する（Ｓ２）。
世代交代数を０に設定する（Ｓ３）。
各個体には、まず、所定回数の教示学習を行う（Ｓ４）。ＧＡパラメータ（学習パラメータ）は、個体が図１に示すような離散値出力推論系のものである場合には、表５の第１染色体が用いられる。学習処理は特許文献１、２に記載されている方法と基本的には同じである。個体が図２に示すような連続値出力推論系のものである場合には、表５の第１染色体と第２染色体にコード化された学習パラメータを用いて、例えば特許文献３に記載されているような学習方法により学習を行う。なお、遺伝的アルゴリズムにおける１世代の処理が終了する毎に、その処理により更新された学習パラメータが各個体の学習パラメータとして設定される。
所定回数としては、通常１０００〜２０００回が与えられる。
【００３７】
次に、学習が行われた結果の各個体に対し評価推論が所定回数行われる（Ｓ５）。評価推論は前記学習された推論機構に学習の際に用いたのと同等の入力データを与え、推論を実行して出力を求め、その推論出力と入力データに対する正解出力とを比較し、その誤差の大きさ又は不正解率を求める処理である。その比較の結果から得られる性能は、離散値出力推論系では誤報率と失報率を加算したもので、連続値出力推論系では２乗誤差平均である。なお、誤報率とは、例えば以上を検出する系において、全試行中で本来は正常である状態を異常と誤判断した率のことであり、失報率とは、全試行中で、本来は異常である状態を正常と誤判断した率のことである。
その性能評価として各個体の総合性能指標を求める。この各個体の総合性能指標の値は、性能（不正解率）と要求リソースを乗算したもので、その値が小さいほど性能が高いとしている。要求リソースは、各個体の推論系のフィルタ関数（メンバーシップ関数）の総数で決定される。このように個体の性能（誤りの少なさ）だけでなく、推論系の規模をも考慮して総合性能指標を求めるのは、必要なシステムの規模が小さければ小さいほど良いものであるという観点に立っている。
【００３８】
この総合性能指標を元に個体群を性能順にソートする（Ｓ６）。
【００３９】
システムで設定されたエリート個体数、淘汰残数（生き残り数）に応じて、評価値の高い個体から順に、エリート、通常個体、死滅個体が決定される（Ｓ７）。通常個体の数は、淘汰残数からエリート個体数を引いた値であり、死滅個体数は、個体数から淘汰残数を引いた値である。
【００４０】
エリート及び通常個体を対象として交叉処理を行う（Ｓ８）。
個体数１２、エリート数２、淘汰残数８の交叉処理の例を図９により説明する。ソート順の１、２番を得た、推論系ｒｕｌｅ１とｒｕｌｅ２を持つ２つの個体はエリート（ｅｌｉｔｅ１、ｅｌｉｔｅ２）となり、次世代個体は、エリートから推論系とＧｅｎｅのどちらも継承されエリートと全く同じ個体となる。
生き残りだがエリートではない６（８マイナス２）個の個体は、通常個体（ｎｏｒｍａｌ〜６）となる。次世代個体の推論系は、母親である通常個体から推論系を継承し（各々ｒｕｌｅ３〜ｒｕｌｅ８）、Ｇｅｎｅは、乱数によって選択された父親（エリート又は通常個体）との交叉によって導出される。
交叉は、本実施例ではＧｅｎｅ境界で行われる一点交叉で、交叉位置は、乱数によって決定される。死滅個体となった４つの個体（ｄｅａｄ１〜４）の替わりに、新たに４つの新しい次世代個体が交叉によって生成される。この新個体は、母親、父親共に乱数によって決定され、推論系とＧｅｎｅの継承は通常個体と同様の方式を取る。
【００４１】
生成された次世代個体に不正な遺伝子（ＧＡパラメータ）の組合せがあった場合は、死滅個体として検出され、除去される（Ｓ９）。不正な遺伝子とは、例えば、その値が取り得る範囲外のものであったり、他のパラメータと整合しなかったりものである。
個体数が設定した値になっているかを調べ（Ｓ１０）、個体数が設定した値に達していないときには、前記ステップ８へ戻り、死滅個体にならない組合せができるまで交叉を繰り返す。
【００４２】
さらに、エリート以外の次世代個体には、０＜＝ｘ＜＝１．０の突然変異率で突然変異が実行される（Ｓ１１）。この突然変異は、Ｇｅｎｅ内のビットを乱数でビット反転させることによって実現している。
そして死滅個体をチェックする（Ｓ１２）。上記突然変異の結果、不正な遺伝子の組合せとなった個体は、死滅個体ではあるが、個体数維持のため個体としては存在する。ただし、次サイクルの学習・評価推論・性能評価の処理対象からは除外される。
【００４３】
１回の世代交代処理が終了すると変数の世代交代数を１だけ増加させる（Ｓ１３）。
変数の世代交代数が１ステップ内世代交代数に等しくなったかをチェックし、Ｎｏであれば、次の世代の学習処理、世代交代処理を行う（Ｓ１４）。
性能評価・世代交代の処理の間に、学習パラメータは動的に設定され、それを利用して学習・評価推論は自動的に行われている。例えば、世代交代する毎に更新された学習パラメータが学習手段に設定される。
【００４４】
所定回数（通常５０回〜１００回）繰り返した後、処理速度をあげるために、下位の個体を処理対象外とするために個体数を減少させる（Ｓ１５）。
ここまでの処理をステップと称す。
ステップ数を１だけ増加し（Ｓ１６）、ステップ数が指定ステップ数に達しているかをチェックし（Ｓ１７）、指定ステップ数に達するまで、ステップを繰り返す。
例えば、ステップ数＝３（通常）、初期個体数＝５０、個体減少数＝１５とすると、１回目のステップ終了時で最終個体数＝３５，２回目のステップ終了で最終個体数＝２０，最終３回目のステップ終了で最終個体数＝５となり、最終的に５個の上位の個体を取得できる。
その最終的に取得した上位の個体はいずれも遺伝的アルゴリズムを用いた学習により性能の高い推論系を形成されたものであり、上位の個体のネットワーク型情報処理装置は利用において高い性能を有する。
【００４５】
（第２の実施形態）
特許文献１〜３に記載されているような従来のネットワーク型情報処理装置においては、学習のための入力データは、観測されたデータをそのまま使用するのではなく、例えば観測された複数のデータから選択したり、複数のデータを組み合わせたり、データに係数をかけたり等の前処理を施して、適切なデータになるよう工夫していた。しかし、この入力データに対する前処理は、作業者が経験や感に頼り、人手で行っていた。本発明は、この入力データの前処理を自動的に行うよう構成すると共に、遺伝的アルゴリズムを適用して、適切な入力データを得るものである。
なお、ネットワーク型処理装置への直接に入力されるデータを入力データ、その入力データを得るための前処理以前のデータを元入力データと呼ぶこととする。
【００４６】
【表６】

【００４７】
表６は、入力パラメータとＧＡパラメータの関係の一例を示す。入力パラメータとは、元入力データに基づいて入力データを作成するための処理に必要なパラメータのことである。Ｇｅｎｅは４つで、大別すると、制御コード、選択データＩＤ、次数、係数の４種類である。各Ｇｅｎｅは８ビットで構成される。１入力データに元入力データ組合せのバリエーションを持たせるために、１染色体に２セットのＧｅｎｅがコード化されている。入力パラメータは、学習パラメータ用の染色体の次にコード化される。そのため、離散値出力推論系では第２染色体以降に、連続値出力推論系では第３染色体以降にコード化される。
【００４８】
【表７】

【００４９】
表７に入力パラメータのコード化の例を示す。本例では、第１０染色体まで設定されているＧＡパラメータのうち、３つの染色体が有効、つまり、３つの入力データを持つ場合である。元入力データは、Ｄ［１０］で示されるように１０個存在する。１入力データを１染色体にコード化するようにしたため、第３〜第５染色体が有効となっている。第３染色体にコード化された１番目の元入力データの組合せである、Ｄ［２］＊−１．０＋（Ｄ［１０］，２．０）＊２．０というデータ、つまり、２番目の元入力データに−１．０を掛けた値と、１０番目の元入力データを二乗し２．０を掛けた値を足すという入力データのパラメータをコード化する場合、第１セット目のＧｅｎｅで前記式の前半部をコード化すると、制御コード＝“有効“、選択データ＝２（２番目の元データ）、次数＝１、係数＝−１となり、第２セット目のＧｅｎｅで前記式の後半部をコード化すると、制御コード＝“有効”、選択データ＝１０（１０番目の元データ）、次数＝２（二乗）、係数＝２となる。第３、第４染色体も同様にコード化される。第４染色体の制御コード＝“有効・終了”となっているのは、以降の染色体が無効を意味している。
【００５０】
入力パラメータも第１染色体、第２染色体（連続値出力推論系のみ）の学習パラメータ同様、学習・評価推論・性能評価・世代交代のサイクルが所定回数（通常：５０回〜１００回）行われた後、個体数圧縮が行われ、最終個体数になるまで所定回数ステップが繰り返される。
学習パラメータの世代交代との差異が一つある。入力パラメータの世代交代では、交叉によって得られた次世代個体の全入力パラメータ値が母親のパラメータ値と異なってしまった場合は、もはや母親とは関係無しとなるため、母親から継承される推論機構は無効となってしまい、推論機構を放棄することになる。推論機構を放棄した個体は、次の世代は未熟成個体となり、学習・評価推論・性能評価・世代交代には参加せず、２世代を過ごした後に世代交代に参加することになる。
性能評価・世代交代の処理の間に、より有効な入力データは動的に選択され、それを利用して学習・評価推論は自動的に行われることになる。
最終個体数分の上位個体を利用した推論は、性能の高いものとなる。
【００５１】
【発明の効果】
本発明のネットワーク型情報処理システムの学習装置及び方法は、遺伝的アルゴリズムのプロセスを利用することによって、性能評価の高い個体を発見することができる。つまり学習状況に応じた性能の高い学習パラメータの値を動的に取得し、その値を用いて学習の自動化を行うことができる。
【００５２】
又、本発明のネットワーク型情報処理システムの入力データの前処理に必要なパラメータをも遺伝的アルゴリズムを用いて動的に取得し、その値を用いてより有効な入力データを自動的に取得することができる。
【図面の簡単な説明】
【図１】離散値出力推論系のネットワーク構造の一例を示す図
【図２】連続値出力推論系のネットワーク構造の一例を示す図
【図３】離散値出力推論系の個体を概念的に示す図
【図４】連続値出力推論系の個体を概念的に示す図
【図５】個体の学習〜世代交代処理（離散値出力推論系）を示す図
【図６】分散値倍率、曖昧度倍率を示す図
【図７】拡張の閾値を示す図
【図８】初期分散値を示す図
【図９】世代交代の例を示す図
【図１０】ＧＡを利用したパラメータ自動取得・自動学習のプロセスを示す図
【図１１】図２に示す連続値出力推論系のネットワーク構造を、パターン形式のテーブルで表した図である。
【符号の説明】
１１，２１・・・第１のノード、
１２，２２・・・第２のノード、
１３，２３・・・方向性リンク、
２８・・・前段推論部、
２９・・・後段出力合成部。

Claims

複数の第１のノードと、複数の第２のノードと、前記の第１のノードと第２のノードを結合する非線形の選択的関数特性を持つ方向性リンクとを備え、多連続入力に対して離散値を出力し、その選択的関数特性を学習する機能をもつネットワーク型情報処理システムの学習装置であって、学習時に必要な各種パラメータである学習パラメータの値を遺伝的アルゴリズムを用いて動的に設定し、そのパラメータ値を用いて学習をする動的設定・自動学習手段を有することを特徴とするネットワーク型情報処理システムの学習装置。
前記動的設定・自動学習手段は、ネットワーク型情報処理システムを複数用意し、各システムの持つ学習パラメータをＧＡパラメータとして設定し、各ネットワーク型情報処理システムの推論機構とＧＡパラメータを合わせたものを一個体とする個体群に対して、学習・評価推論・性能評価・世代交代を所定回数行い、性能の高い個体群を選択することを特徴とする請求項１に記載のネットワーク型情報処理システムの学習装置。
前記、所定回数の学習・評価推論・性能評価・世代交代の後、処理速度向上のための個体数減少を行うことを特徴とする請求項２記載のネットワーク型情報処理システムの学習装置。
前記、所定回数の学習・評価推論・性能評価・世代交代の後、処理速度向上のための個体数減少を行うまでのプロセスを１ステップとし、最終的に必要な個体数になるまで、ステップを所定回数繰り返すことを特徴とする請求項３記載のネットワーク型情報処理システムの学習装置。
前記請求項１〜請求項４のいずれか１項に記載された学習装置の前記動的設定・自動学習手段により学習が施され、学習の結果、性能の高い個体群として得られた上位個体群の推論機構を持つネットワーク型情報処理システム。
複数の第１のノードと、複数の第２のノードと、前記の第１のノードと第２のノードを結合する非線形の選択的関数特性を持つ方向性リンクとを備えたネットワーク型情報処理システムに、その各第２のノードに対し定義される出力値を非線形の選択型関数として有し、前記定義される出力値と第２のノードの出力値を反映した連続値で表される１以上の合成出力値を得る機能を持つ第２のネットワーク型情報処理システムを付加した構成を備え、多連続入力に対して多連続値を出力するネットワーク型情報処理システムの学習装置であって、第１及び第２のネットワーク型情報処理システムの選択的関数特性を学習するために、学習時に必要な各種パラメータである学習パラメータの値を遺伝的アルゴリズムを用いて動的に設定し、その値を用いて自動学習をする動的設定・自動学習手段を有することを特徴とするネットワーク型情報処理システムの学習装置。
前記動的設定・自動学習手段は、ネットワーク型情報処理システムを複数用意し、各システムの持つ学習パラメータをＧＡパラメータとして設定し、各ネットワーク型情報処理システムの推論機構とＧＡパラメータを合わせたものを一個体とする個体群に対して、学習・評価推論・性能評価・世代交代を所定回数行い、性能の高い個体群を選択することを特徴とする請求項６に記載のネットワーク型情報処理システムの学習装置。
前記、所定回数の学習・評価推論・性能評価・世代交代の後、処理速度向上のための個体数減少を行うことを特徴とする請求項７記載のネットワーク型情報処理システムの学習装置。
前記、所定回数の学習・評価推論・性能評価・世代交代の後、処理速度向上のための個体数減少を行うまでのプロセスを１ステップとし、最終的に必要な個体数になるまで、ステップを所定回数繰り返すことを特徴とする請求項８記載のネットワーク型情報処理システムの学習装置。
前記請求項６〜請求項９のいずれか１項に記載された学習装置の前記動的設定・自動学習手段により学習が施され、学習の結果、性能の高い個体群として得られた上位個体群の推論機構を持つネットワーク型情報処理システム。
複数の第１のノードと、複数の第２のノードと、前記の第１のノードと第２のノードを結合する非線形の選択的関数特性を持つ方向性リンクとを備えた推論機構をもつネットワーク型情報処理システムの学習装置であって、入力元データに前処理操作を施し入力データを得る入力前処理部を設け、入力前処理部の処理パラメータである入力パラメータをＧＡパラメータとして設定し、各ネットワーク型情報処理システムの推論機構と前記入力パラメータを設定したＧＡパラメータを合わせたものを一個体とする個体群に対して、学習、評価推論、性能評価、世代交代を含む遺伝的アルゴリズムを実行し、入力前処理部の入力パラメータの値を動的に設定し、入力データを得る手段を備えたことを特徴とするネットワーク型情報処理システムの学習装置。
複数の第１のノードと、複数の第２のノードと、前記の第１のノードと第２のノードを結合する非線形の選択的関数特性を持つ方向性リンクとを備えた推論機構をもつネットワーク型情報処理システムの学習装置であって、入力元データに前処理操作を施し入力データを得る入力前処理部を設け、入力前処理部の処理パラメータである入力パラメータと学習パラメータの両方をＧＡパラメータとして設定し、各ネットワーク型情報処理システムの推論機構と前記ＧＡパラメータを合わせたものを一個体とする個体群に対して、学習、評価推論、性能評価、世代交代を含む遺伝的アルゴリズムを実行し、入力前処理部の入力パラメータ及び推論機構の学習パラメータの値を動的に設定し、入力データを得ると共に、学習を行うことを特徴とするネットワーク型情報処理システムの学習装置。
前記、所定回数の学習、評価推論、性能評価・世代交代の後、処理速度向上のための個体数減少を行い、所定回数の学習・評価推論、性能評価、世代交代、個体数減少までのプロセスを１ステップとし、最終的に必要な個体数になるまで、ステップを所定回数繰り返すことを特徴とする請求項１２記載のネットワーク型情報処理システムの学習装置。
前記請求項１２又は請求項１３に記載された学習装置の前記動的設定・自動学習手段により学習が施され、学習の結果、性能の高い個体群として得られた上位個体群の推論機構を持つネットワーク型情報処理システム。
複数の第１のノードと、複数の第２のノードと、前記の第１のノードと第２のノードを結合する非線形の選択的関数特性を持つ方向性リンクとを備えた推論機構をもつネットワーク型情報処理システムの学習方法であって、前記ネットワーク型情報処理システムを複数用意し、各ネットワーク型情報処理システムの持つ学習パラメータをＧＡパラメータとして設定し、各ネットワーク型情報処理システムの推論機構とＧＡパラメータを合わせたものを一個体とする個体群を生成し、その個体群に対して、前記ＧＡパラメータによる学習、評価推論、性能評価、世代交代を含む遺伝的アルゴリズムを実行し、性能の高い個体群を選択することを特徴とするネットワーク型情報処理システムの学習方法。
複数の第１のノードと、複数の第２のノードと、前記の第１のノードと第２のノードを結合する非線形の選択的関数特性を持つ方向性リンクとを備えた推論機構をもつネットワーク型情報処理システムの学習装置であって、前記ネットワーク型情報処理システムを複数用意し、各ネットワーク型情報処理システムの持つ学習パラメータをＧＡパラメータとして設定し、各ネットワーク型情報処理システムの推論機構とＧＡパラメータを合わせたものを一個体とする個体群を生成する手段と、その個体群に対して、前記ＧＡパラメータによる学習、評価推論、性能評価、世代交代を含む遺伝的アルゴリズムを実行し、性能の高い個体群を選択する手段を有することを特徴とするネットワーク型情報処理システムの学習装置。
コンピュータに、複数の第１のノードと、複数の第２のノードと、前記の第１のノードと第２のノードを結合する非線形の選択的関数特性を持つ方向性リンクとを備えた推論機構をもつネットワーク型情報処理システムを複数用意し、各ネットワーク型情報処理システムの持つ学習パラメータをＧＡパラメータとして設定し、各ネットワーク型情報処理システムの推論機構とＧＡパラメータを合わせたものを一個体とする個体群を生成し、その個体群に対して、前記ＧＡパラメータによる学習、評価推論、性能評価、世代交代を含む遺伝的アルゴリズムを実行し、性能の高い個体群を選択する学習方法を、コンピュータで実行させるプログラムを記録した、コンピュータ読みとり可能な記録媒体。