JPH07334477A

JPH07334477A - 統合型学習システム

Info

Publication number: JPH07334477A
Application number: JP6128945A
Authority: JP
Inventors: Natsuki Oka; 夏樹岡; 邦夫 ▲吉▼田; Kunio Yoshida
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1994-06-10
Filing date: 1994-06-10
Publication date: 1995-12-22

Abstract

(57)【要約】【目的】本発明は、認識、診断、制御システム等の実
現に必要な入出力間の関係を、予め分かっている不完全
な知識とノイズを含む可能性がある入出力の例とに基づ
いて学習するシステムに関し、推論精度が高く、必要な
記憶容量が少なく、学習により得られた知識が人間にと
って理解しやすく、計算負荷が大きい規則に基づく推論
が学習後には不要になるシステムを提供することを目的
とする。【構成】規則に基づく学習と推論を行なう規則モジュ
ール１１０と、例の明示的な記憶に基づく学習と推論を
行なう例記憶モジュール１２０と、大域的な表現に基づ
く学習と推論を行なう分散表現モジュール１３０と、与
えられる訓練例のうち、以上３つのモジュールでそれぞ
れどの例を学習担するかを決定し、また本システムの最
終出力を決定する相互作用モジュール１４０とを備え
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、認識、診断、制御シス
テム等の実現に必要な入出力間の関係についての知識
を、あらかじめ分かっている不完全な知識とノイズを含
む可能性がある入出力の例とに基づいて学習する統合型
学習システムに関するものである。

【０００２】

【従来の技術】認識、診断、制御等を行なう高度なシス
テムを構築するにあたって、これらの実現に必要な入出
力間の関係についての知識を、あらかじめ分かっている
不完全な知識と入出力の例（訓練例と呼ぶ）から自動的
に獲得する学習システムの必要性が、近年認識されてい
る。

【０００３】以下に従来の学習システムについて説明す
る。あらかじめ分かっている知識を利用せず、訓練例だ
けから学習を行なうシステムとしては、例に基づく学習
を行なうシステムや、階層型ニューラルネットワークを
使用して誤差逆伝播学習を行なうシステムや、これらを
組み合わせたシステムなどが知られている。

【０００４】例に基づく学習を行なうシステム(たとえ
ば、Reilly,D.L.,Cooper,L.N.and Elbaum,C.,A Neural
Model Category Learning,Biol.Cybern.,Vol.45,pp.35-
41,1982.)では、与えられた訓練例（入力と出力のペ
ア）のすべて（もしくは、かなりの部分）をそのまま
（あるいは、いくつかの類似例の平均をとって）明示的
に記憶する（この記憶した例を以下では「記憶例」と呼
ぶ）。新しい入力に対しては、入力空間上でその新入力
に最も近い記憶例の出力そのものを出力する方法をとる
ことが多い。

【０００５】例に基づく学習を行なうシステムは、ノイ
ズを含む例を与えると、ノイズをもそのまま記憶してし
まうために、新しい入力に対して正しい出力が得られる
割合が低下するという欠点があった。これに対して、そ
れぞれの記憶例が各訓練例に対して正しい出力を推定す
ることに寄与したかどうかの統計的な記録を保持してお
き、この統計的な記録を利用して、記憶例の追加や消
去、出力の決定などを行なう方法が提案されている(た
とえば、Aha,D.W.and Kibler,D.,Noise-TolerantInstan
ce-Based Learning Algorithms,Proceedings of IJCAI-
89,pp.794-799,1989.)。

【０００６】一方、階層型ネットワークを用いて誤差逆
伝播学習(たとえば、McClelland,J.L.,Rumelhart,D.E.,
and the PDP Research Group,Parallel Distributed Pr
ocessing: Explorations in the Microstructure of Co
gnition,MIT Press,Chapter8,1986.)を行なうシステム
は、中間層に配置された中間ノードと、出力層に配置さ
れた出力ノードと、入力の各信号と各中間ノードを結ぶ
重み付きリンクと、各中間ノードと各出力ノードを結ぶ
重み付きリンクとから構成される。システムは入力が与
えられるとリンクの重みにしたがってまず各中間ノード
における出力を計算し、つづいて各出力ノードの出力、
すなわち、最終の出力を計算する。その入力に対応すべ
き最終出力がシステムに提示されると、各リンクの重み
を出力誤差に応じて少しづつ修正する。これを繰り返す
ことにより入力に対応するべき出力を計算できるように
なる。

【０００７】上記の例に基づく学習システムのうち主に
局所的な表現を使用するものと、誤差逆伝播学習を行な
う学習システムのうちシグモイド関数のような大域的な
性質の基底関数を使用するものとは、それぞれ相補的な
長所と短所を有しているため、これら２つの学習システ
ムを学習モジュールとして並列に組み合わせて統合型学
習システムを構成すると、それぞれ単独の学習システム
と比べて、学習精度、学習速度、必要な記憶容量、動作
の分かり易さ等の点で優れた性能が得られる(Oka,N.and
Yoshida,K.,Which Examples Form Default Knowledge
?: A Noise-Tolerant Hybrid Model of a Global and a
Local Learning Module,人工知能学会研究会資料,SIG-
PPAI-9301-5,pp.27-32,1993.また、Oka,N.and Yoshida,
K.,Learning Regular and Irregular Examples Separat
ely,Proceedings of 1993 International Joint Confer
ence on Neural Networks,pp.171-174,1993.)ことが知
られている。

【０００８】つぎに、あらかじめ分かっている知識と、
訓練例の両方を利用して学習を行なうシステムとして
は、つぎのようなシステムが知られている。

【０００９】Goldingらのシステム(Golding,A.R.and Ro
senbloom,P.S.,Improving Rule-Based Systems through
Case-Based Reasoning,Proceedings of AAAI-91,pp.22
-27,1991.)は、規則の形式のあらかじめ分かっている知
識を規則に基づく推論を行なうモジュールに持たせ、規
則を適用すると誤った出力を出してしまう例（すなわち
規則の例外）は、例に基づく学習を行なうモジュールで
明示的に記憶する。新しい入力に対しては、その入力が
記憶した例外に十分近く、かつ、その記憶した例外によ
り正しい判断ができる割合が高いことが統計的に確から
しいならば、その例外の記憶にしたがって出力を決定
し、そうでなければ規則モジュールで出力を決定する。

【００１０】Handelmanらのシステム(Handelman,D.A.,L
ane,S.H.and Gelfand,J.J.,Integrating Knowledge-Bas
ed System and Neural Network Techniques for Roboti
c Skill Acquisition,Proceedings of IJCAI-89,pp.193
-198,1989.)は、規則の形式のあらかじめ分かっている
正しい知識を規則に基づく推論を行なうモジュールに持
たせ、初めのうちはこのモジュールにより推論を行な
う。一方で、これと並行して、例に基づく学習を行なう
モジュールで例からの学習を進め、両モジュールで同じ
出力が出せるようになったら、例に基づく学習を行なう
モジュールにより推論を行なうように切り替える。

【００１１】

【発明が解決しようとする課題】しかしながら上記の従
来の諸技術では、以下のような課題を有していた。

【００１２】上記の局所的な表現を用いて例に基づく学
習を行なうシステムは、学習速度が速く例外に対処する
能力が高い等の長所を有するが、高い精度で学習するた
めには、膨大な記憶容量が必要になるという課題や汎化
能力が低いという課題を有していた。

【００１３】一方、上記の誤差逆伝播学習を行なう学習
システムのうちシグモイド関数のような大域的な性質の
基底関数を使用するものは、学習されるパラメータの数
を適切に設定してあれば、汎化能力が高く大域的な傾向
をとらえる能力が高い等の長所を有するが、学習が遅
い、いつもうまく学習できるとは限らない、動作が人間
にとって分かりにくい等の欠点を有していた。

【００１４】次に、例に基づく学習システムのうち局所
的な表現を使用するものと、誤差逆伝播学習を行なう学
習システムのうちシグモイド関数のような大域的な性質
の基底関数を使用するものとを２つの学習モジュールと
して並列に組み合わせて構成した上記の統合型学習シス
テムは、それぞれ単独の学習システムと比べて、学習精
度、学習速度、必要な記憶容量、動作の分かり易さ等の
点で優れた性能が得られるという長所を有するが、訓練
例からの情報だけを利用して学習するため、訓練例以外
にあらかじめ分かっている知識があっても利用できない
という課題を有していた。

【００１５】訓練例以外にあらかじめ分かっている知識
があっても利用できないという課題は、上記の例に基づ
く学習を行なうシステムや、上記の誤差逆伝播学習を行
なうシステムにおいても共通する課題であった。

【００１６】Goldingらのシステムは、あらかじめ分か
っている規則の形式の知識と訓練例の両方を利用して学
習することができるという長所や、例に基づく学習を行
なうモジュールでは規則の例外だけを記憶すればよいの
で、比較的少ない記憶容量ですむという長所等を有する
が、比較的計算処理の負荷が大きく、また、並列処理に
より計算の負荷を分散させることが難しい規則に基づく
推論が学習後にもそのまま残ってしまうという課題や、
あらかじめ分かっている規則の不正確さが大きい場合に
は、規則の例外が増加するので、例外の記憶に必要な記
憶容量が大きくなってしまうという課題を有していた。

【００１７】Handelmanらのシステムは、あらかじめ分
かっている規則の形式の知識と訓練例の両方を利用する
ことができるという長所や、比較的計算処理の負荷が大
きく、また、並列処理により計算の負荷を分散させるこ
とが難しい規則に基づく推論が学習後には不要になると
いう長所を有するが、例に基づく学習を行なうモジュー
ルにおいて膨大な記憶容量が必要になるという課題を有
していた。

【００１８】本発明は上記従来の課題を解決するもの
で、認識、診断、制御システム等の実現に必要な入出力
間の関係についての知識を、あらかじめ分かっている不
完全な知識とノイズを含む可能性がある入出力の例の両
方の情報を利用して学習することができ、学習過程のど
の時点においても従来の学習システムに比較して高い推
論精度を有し、必要な記憶容量が学習の全過程を通じて
比較的少なく、学習により得られた知識が人間にとって
理解しやすく、比較的計算処理の負荷が大きい規則に基
づく推論が学習後には不要になる可能性が大きい統合型
学習システムを提供することを目的とする。

【００１９】

【課題を解決するための手段】この目的を達成するため
に本発明の統合型学習システムは、規則に基づく学習と
推論を行なう規則モジュールと、例の明示的な記憶に基
づく学習と推論を行なう例記憶モジュールと、大域的な
表現に基づく学習と推論を行なう分散表現モジュール
と、与えられる訓練例のうち、以上３つのモジュールで
それぞれどの例を分担するかを決定し、また、統合型学
習システムの最終出力を決定する相互作用モジュールと
を備えた構成を有している。

【００２０】

【作用】この構成によって、あらかじめ分かっている不
完全な知識は、規則モジュールにおいて初めから推論に
利用でき、また、この知識は例記憶モジュールと分散表
現モジュールの学習にも間接的に利用される。また、訓
練例は、例記憶モジュールと分散表現モジュールの学習
に利用される。

【００２１】また、学習過程の最初には規則モジュール
の推論結果が最終出力となるため、あらかじめ分かって
いる規則の形式の知識を使って得られる推論精度と同じ
精度が得られ、つづいて、規則の例外が例記憶モジュー
ルで学習されるため、システム全体としての推論精度が
向上し、その後、規則モジュール中の規則については、
消去してもシステム全体としての推論精度がほとんど、
あるいは、まったく落ちないものだけを選んで消去する
ので、システム全体としての推論精度は、例記憶モジュ
ールと分散表現モジュール中での学習の進行に応じて、
ほぼ維持または向上する。

【００２２】また、規則モジュール中の規則は不要にな
れば消去されるし、例記憶モジュール中の記憶例は、学
習の初期の段階では、規則モジュール中の規則の例外だ
けに限られ、その後は、しだいに分散表現モジュール中
に学習された知識の例外だけに限られるようになるの
で、学習の全過程にわたって、統合システム全体で必要
とされる記憶容量は比較的小さくてすむ。

【００２３】また、分散表現モジュール中に学習される
知識は、初めに規則モジュール中に与えた規則を訓練例
に応じて若干修正したものになる傾向が強く、一方、例
記憶モジュールでは、学習の初期の段階では規則モジュ
ール中の規則の例外が、その後は分散表現モジュール中
に学習された知識の例外が記憶されることになるので、
学習により得られた知識が人間にとって理解しやすくな
る。

【００２４】また、規則モジュール中の規則は不要にな
れば消去されるので、比較的計算処理の負荷が大きい規
則に基づく推論が学習後には不要になる可能性が大き
い。

【００２５】

【実施例】

（実施例１）以下本発明の一実施例について、図面を参
照しながら説明する。図１において、１１０は規則モジ
ュール、１２０は例記憶モジュール、１３０は分散表現
モジュール、１４０は相互作用モジュールである。以上
のように構成された統合型学習システムについて、その
動作を説明する。

【００２６】まず、規則モジュール１１０の動作を説明
する。規則モジュール１１０には、統合型学習システム
が学習すべき入出力関係についてあらかじめ分かってい
る規則を最初に与える。この規則は完全に正しいもので
ある必要はなく、また、どの程度以上正しくなければ統
合型学習システムにおいてその後の学習が進まない、と
いった制限はない。しかし、この最初に与える規則が学
習すべき入出力関係の大きな特徴をとらえたものである
と、その後の学習によって、より速やかに統合型学習シ
ステムの推論の精度が向上する。

【００２７】規則モジュール１１０に与えられる規則は
「「条件部」ならば「行動部」」の形式であるとし、
「条件部」には入力が満たすべき条件が、「行動部」に
は出力の値が書かれる。なお、本実施例では条件部が競
合する複数個の規則は存在しないものと仮定している
が、もし存在する場合でも、プロダクションシステムに
おいて通常利用されるような、適当な競合解消の戦略を
導入すれば対処可能である。

【００２８】本実施例の統合型システムに与えられた入
力は、相互作用モジュール１４０を経由して規則モジュ
ール１１０に伝えられるが、規則モジュール１１０で
は、ある入力が与えられたとき、その入力が「条件部」
とマッチする規則が存在すれば、その「行動部」に書か
れた値が規則モジュール１１０の出力値となり、マッチ
する規則が存在しなければ、出力は「確定不能」と表示
するものとする。

【００２９】規則モジュール１１０中の各規則には印象
度と呼ぶ数値を合わせて記録してある。この印象度は最
初に所定の正の値ａ１に設定するが、時間の経過にした
がって時間あたり所定の正の値ｂ１だけ減少し、また、
ある訓練例に対してある規則に効用があった場合はその
規則の印象度は所定の正の値ｃ１だけ増加する。ただ
し、印象度の最大値を設定し、その最大値を越えては印
象度を増加させないようにすることもできる。「効用が
あった」とは、ある訓練例に対してマッチした規則の出
力が正しく、かつ、例記憶モジュール１２０と分散表現
モジュール１３０の２つのモジュールによってはその訓
練例に対して誤差が十分小さい（すなわち、誤差が所定
の値ｄ１以下である）出力が推測できなかったことを言
う。

【００３０】この例記憶モジュール１２０と分散表現モ
ジュール１３０の２つのモジュールによる出力の推測
は、相互作用モジュール１４０によってつぎのように行
なわれる。１）例記憶モジュール１２０、２）分散表現
モジュール１３０の優先順位で各モジュールの出力を調
べ、もっとも上位の確定的な出力（「確定不能」でない
出力）を出すモジュールの出力を選んでこの２つのモジ
ュールによる出力とする。この２つのモジュールにより
推測された出力は規則モジュール１１０に伝えられ、上
記の効用の判定に使われる。

【００３１】規則モジュール１１０中の規則のうちで、
印象度が所定の値ｅ１より小さくなったものは、相互作
用モジュール１４０により消去される。

【００３２】つぎに、例記憶モジュール１２０の動作を
説明する。本実施例の統合型システムに与えられた訓練
例はすべて、相互作用モジュール１４０により３つのモ
ジュール１１０、１２０、１３０に送られるが、次のよ
うに選択された訓練例だけが例記憶モジュール１２０で
学習される。この選択の基準は統合型システム全体から
見て例記憶モジュール１２０により学習することに効用
があるかどうかということである。すなわち、規則モジ
ュール１１０と分散表現モジュール１３０の２つのモジ
ュールによっては誤差が十分小さい（すなわち、誤差が
所定の値ｄ２以下である）出力が推測できなかった訓練
例だけを例記憶モジュール１２０で学習する。所定の値
ｄ２は、本実施例では前述の所定の値ｄ１と等しくとる
が、異なる値を使うこともできる。

【００３３】この規則モジュール１１０と分散表現モジ
ュール１３０の２つのモジュールによる出力の推測は、
相互作用モジュール１４０によってつぎのように行なわ
れる。入力を規則モジュール１１０と分散表現モジュー
ル１３０に送り、１）規則モジュール１１０、２）分散
表現モジュール１３０の優先順位で各モジュールの出力
を調べ、もっとも上位の確定的な出力を出すモジュール
の出力を選んでこの２つのモジュールによる出力とす
る。

【００３４】例記憶モジュール１２０は、このようにし
て相互作用モジュール１４０から送られてきた訓練例の
うち、例記憶モジュール１２０が誤った出力を生成する
か、または、出力が確定できなかった例だけを記憶す
る。

【００３５】例記憶モジュール１２０では、各記憶例
（学習システム内に明示的に記憶された訓練例）の影響
域（各記憶例が出力の決定に影響を及ぼす入力空間上の
領域）の大きさの情報も明示的に記憶される。本実施例
では影響域は局所的であるものとし、その形状は記憶例
を中心とする超球とする。影響域の大きさは記憶例が作
られる時に所定の値に初期化される。その後は、各々の
記憶例の影響域内部における正例（その記憶例の影響域
に属し、かつ、その記憶例と出力が同じである例）と負
例（その記憶例の影響域に属するが、その記憶例とは出
力が異なる例）の分布の記録と、各々の記憶例の正答率
（正例の数／（正例の数＋負例の数））とその統計的な
確からしさの記録を利用することにより以下のようにし
て「ノイズ」と「境界や例外」を区別し、各記憶例の影
響域を縮めるべきかどうかを以下のように適切に判断し
て、影響域を更新する。なお、本実施例では、正負例の
分布の記録は、各記憶例の影響域を内側影響域（体積が
各記憶例の影響域の体積の２分の１で、中心が各記憶例
の影響域の中心と一致した超球の内側）と外側影響域
（各記憶例の影響域から内側影響域を除いた領域）に分
割し、この内側影響域と外側影響域における負例の数を
記録する。

【００３６】正答率の記録と正負例の分布の記録からの
情報を利用することにより、記憶例における負例の生じ
た原因を次のように推測することができる。１）正答率
が所定の値より小さい場合は、その記憶例はノイズによ
り作られた可能性が大きい。２）正答率が所定の値より
大きく、かつ、影響域内で正例と負例が一様に分布して
いる場合は、負例はノイズにより生じた可能性が大き
い。３）正答率が所定の値より大きく、かつ、影響域内
で正例と負例の分布が一様でない場合は、その記憶例の
影響域が出力の変化する境界面を越えて広がっているこ
とにより負例が生じた可能性が大きい。したがって、次
のように影響域を更新するとよい。１）の場合は影響域
を小さくする。２）の場合は、影響域は更新しない。
３）の場合は影響域を小さくする。

【００３７】また、例記憶モジュール１２０では、相互
作用モジュール１４０を通じて統合型学習システムへの
入力が例記憶モジュール１２０への入力として伝えられ
ると、その入力から記憶例までの距離の情報と、記憶例
の影響域の大きさについての情報と、記憶例に付随して
記録された正答率とその確からしさについての情報とに
基づいて、与えられた入力に対する各記憶例の出力ポテ
ンシャル（正答率が０．５を越える記憶例の影響域内部
において、出力ポテンシャル＝（正答率−０．５）×
（入力から記憶例までの距離−影響域の半径）／影響域
の半径。その他の場合、その他の地点では出力ポテンシ
ャル＝０とする）とその統計的確からしさを計算する。
各記憶例の出力ポテンシャルとその確からしさに応じて
例記憶モジュール１２０の最終的な出力を決定する。

【００３８】本実施例では、粗い近似ではあるが、所定
の数以上の例がそれまでにその記憶例の正例または負例
として観測されたかどうかで、出力ポテンシャルの確か
らしさを判断する。すなわち、与えられた入力を影響域
内に含み、しかも、所定の数以上の例がそれまでにその
記憶例の正例または負例として観測された記憶例のうち
で、最小の出力ポテンシャルを持つものの出力を例記憶
モジュール１２０の出力とする。与えられた入力を影響
域内に含み、しかも、所定の数以上の例がそれまでにそ
の記憶例の正例または負例として観測された記憶例が存
在しない場合は出力は「確定不能」であると表示する。

【００３９】また、例記憶モジュール１２０では、訓練
例を記憶する場合は、印象度と呼ぶ数値を合わせて記憶
する。相互作用モジュール１４０から例記憶モジュール
１２０に送られる訓練例の割合（適当な期間内の平均）
がすべての訓練例を１としてｒ（０＜ｒ＜１）であると
すると、新しく与えられた例を新たに記憶する場合のそ
の記憶例の印象度の初期値を（ａ２）／ｒとする。ここ
にａ２は所定の正の値である。また、印象度は時間の経
過にしたがって時間あたり所定の正の値ｂ２だけ減少さ
せる。

【００４０】訓練例を記憶する必要がなければ、その例
を正例として影響域内に含む記憶例の印象度を（ｃ２）
／（ｎ×ｒ）だけ増大させる。ここに、ｃ２は所定の正
の値であり、ｎはその例を正例として影響域内に含む記
憶例の個数であり、相互作用モジュール１４０から例記
憶モジュール１２０に送られる訓練例の割合（適当な期
間内の平均）がすべての訓練例を１としてｒ（０＜ｒ＜
１）であるとする。ただし、印象度の最大値を設定し、
その最大値を越えては印象度を増加させないようにする
こともできる。

【００４１】以上のように、記憶例の印象度の初期設定
や増大分を（１／ｒ）倍することにしておくと、例記憶
モジュールで分担する訓練例の割合が少なければ、例記
憶モジュールではより頻度の少ない例まで記憶できるよ
うになる。印象度が所定の値ｅ２以下になった記憶例
は、相互作用モジュール１４０により消去される。

【００４２】つぎに、分散表現モジュール１３０の動作
を説明する。本実施例の統合型システムに与えられた訓
練例のうち、相互作用モジュール１４０により次のよう
に選択された訓練例だけが分散表現モジュール１３０で
学習される。すなわち、例記憶モジュール１２０におい
て正しい出力を推定できない訓練例と、分散表現モジュ
ール１３０において推定した出力の誤差が所定の値ｆ３
以下である訓練例とが選択されて分散表現モジュール１
３０で学習される。

【００４３】なお、本実施例では、例記憶モジュール１
２０において正しい出力を推定できない訓練例と、分散
表現モジュール１３０において推定した出力の誤差が所
定の値ｆ３以下である訓練例とを選択して分散表現モジ
ュール１３０で学習するとしたが、すべての訓練例を分
散表現モジュール１３０で学習するようにしてもよい。
また、例記憶モジュール１２０において正しい出力を推
定できない訓練例だけを選択して分散表現モジュール１
３０で学習するとしてもよい。

【００４４】分散表現モジュール１３０は、中間層に配
置された中間ノードと、出力層に配置された出力ノード
と、入力の各信号と各中間ノードを結ぶ重み付きリンク
と、各中間ノードと各出力ノードを結ぶ重み付きリンク
とから構成される階層型のニューラルネットワークであ
る。相互作用モジュール１４０を通じて統合型学習シス
テムへの入力が分散表現モジュール１３０への入力とし
て与えられると、分散表現モジュール１３０はリンクの
重みにしたがってまず各中間ノードにおける出力を計算
し、つづいて各出力ノードの出力、すなわち、分散表現
モジュール１３０の最終出力を計算する。学習は、以上
のように相互作用モジュール１４０により選択された訓
練例に対して、誤差逆伝播法により行なう。すなわち、
入力に対応すべき最終出力（教師信号と呼ぶ）が相互作
用モジュール１４０を通じて分散表現モジュール１３０
に提示されると、分散表現モジュール１３０の出力の教
師信号に対する誤差に応じて各リンクの重みを少しづつ
修正する。これを選択された各訓練例に対して繰り返す
ことにより、選択された訓練例について入力に対応する
べき出力を計算できるようになる。本実施例において
は、各中間ノードと各出力ノードの基底関数としては大
域的な性質を持ったシグモイド関数を使用する。

【００４５】つぎに、相互作用モジュール１４０の動作
を説明する。推論時には、相互作用モジュール１４０
は、統合型学習システムへの入力を規則モジュール１１
０と例記憶モジュール１２０と分散表現モジュール１３
０それぞれへの入力として伝え、１）例記憶モジュール
１２０、２）規則モジュール１１０、３）分散表現モジ
ュール１３０の優先順位で各モジュールの出力を調べ、
もっとも上位の確定的な出力を出すモジュールの出力を
選んで統合型学習システムの最終出力とする。

【００４６】また、学習時には、相互作用モジュール１
４０が、規則モジュール１１０と例記憶モジュール１２
０と分散表現モジュール１３０のそれぞれに、統合型学
習システムに対する多数の訓練例を送り、各モジュール
がそのうちどの訓練例を学習するかを選択するが、この
選択のしかたについてはすでに記した通りであるのでこ
こでは繰り返さない。

【００４７】本実施例による統合型学習システムの特性
を以下に示す。ここでは、図２に示す入出力関係を統合
型学習システムに学習させた場合における、訓練例の増
加に応じた各モジュールでの訓練例の分担の様子の変化
や、推論精度の変化を示す。本例題での入力は２次元平
面上の正方形内の点の直交座標ｘとｙ（０＜ｘ、ｙ＜
１）であり、出力は各点における色の区別（白または
黒）である。各色の領域の分布は図２にしめされている
通りであって、白い領域はその領域内の点における出力
が白であることを、網掛けした領域はその領域内の点に
おける出力が黒であることを示す。正方形の領域内で訓
練例がランダムに生成され統合型学習システムに与えら
れる。

【００４８】また、図２には、規則モジュール１１０に
初めに与えた規則が合わせて示されている。規則は４つ
あって、それぞれ、規則１は「入力が規則１と記した縦
長の長方形の領域に属するならば出力は白である」、規
則２は「入力が規則２と記した縦長の長方形の領域に属
するならば出力は黒である」、規則３は「入力が規則３
と記した長方形の領域に属するならば出力は白であ
る」、規則４は「入力が規則４と記した長方形の領域に
属するならば出力は黒である」であるとした。図２から
分かるようにそれぞれの規則はおおまかには正しいが、
例外的な領域を含んでいる。

【００４９】図３から図６までは、それぞれ、訓練例を
９００例、６０００例、１２０００例、３００００例与
えた時点での、等間隔のサンプル点における規則モジュ
ール１１０の出力を各図の（ａ）に、例記憶モジュール
１２０の出力を各図の（ｂ）に、分散表現モジュール１
３０の出力を各図の（ｃ）に、統合型学習システムの出
力を各図の（ｄ）に示した。各図の（ａ）から（ｄ）に
おいて、出力が白の領域と黒の領域の境界が何本かの線
分で示されている。各図の（ａ）と（ｂ）において、黒
丸と白丸はサンプル点における出力の黒白を表し、出力
が確定しないサンプル点では丸を表示していない。各図
の（ｃ）と（ｄ）において、黒丸と白丸はサンプル点に
おける出力の黒白を表し、丸の大きさは出力の大きさを
表す。

【００５０】図３の学習段階では、分散表現モジュール
１３０における学習はまだ十分に進んでいない（図３
（ｃ））ため、規則モジュール１１０中の規則は４つと
も保持されたままであることが図３（ａ）から分かる。
また、この時点では、例記憶モジュール１２０では、規
則モジュール１１０中の例外に相当する訓練例が記憶さ
れていることが図３（ｂ）から分かる。また、このよう
な学習初期の段階においても、初めに与えられたおおま
かには正しい規則を有効に利用しているために、統合型
学習システム全体としては高い精度で出力が推測できて
いることが図３（ｄ）から分かる。

【００５１】つづいて、図４の学習段階では、分散表現
モジュール１３０における学習がしだいに進み（図４
（ｃ））、規則モジュール１１０中の４つの規則のう
ち、２つが消去され、その領域で規則モジュール１１０
の出力が「確定不能」になっていることが図４（ａ）か
ら分かる。また、この時点では、例記憶モジュール１２
０では、分散表現モジュール１３０と規則モジュール１
１０の２つのモジュールによっては正しく出力が推測で
きない訓練例が記憶されていることが図４（ｂ）から分
かる。また、この学習段階においても、規則モジュール
１１０中のいくつかの規則が消去されたが、統合型学習
システム全体としては高い精度が保たれていることが図
４（ｄ）から分かる。

【００５２】つづいて、図５の学習段階では、分散表現
モジュール１３０における学習がさらに進み（図５
（ｃ））、規則モジュール１１０中のすべての規則が消
去され、すべての領域で規則モジュール１１０の出力が
「確定不能」になっていることが図５（ａ）から分か
る。このように、規則モジュール中の規則は不要になれ
ば消去されるので、比較的計算処理の負荷が大きい規則
に基づく推論が学習が進むと不要になる可能性が高い。
また、この時点では、例記憶モジュール１２０では、分
散表現モジュール１３０によっては正しく出力が推測で
きない訓練例が記憶されていることが図５（ｂ）から分
かる。また、この学習段階においても、規則モジュール
１１０中の規則がすべて消去されたが、統合型学習シス
テム全体としては高い精度が保たれていることが図５
（ｄ）から分かる。

【００５３】つづいて、図６の学習段階では、分散表現
モジュール１３０における学習がさらに進み（図６
（ｃ））、例記憶モジュール１２０では分散表現モジュ
ール１３０によっては正しく出力が推測できない訓練例
が記憶されており（図６（ｂ））、統合型学習システム
全体としては高い精度が実現されている（図６（ｄ））
ことが分かる。

【００５４】以上、図３から図６に示されているよう
に、学習過程の最初には規則モジュール１１０の推論結
果が最終出力となるため、あらかじめ分かっている規則
の形式の知識を使って得られる推論精度と同じ精度が得
られ、つぎに、規則の例外が例記憶モジュール１２０で
学習されるため、システム全体としての推論精度が向上
し、その後、規則モジュール１１０中の規則について
は、消去してもシステム全体としての推論精度がほとん
ど落ちないものだけを選んで消去するので、システム全
体としての推論精度は、例記憶モジュール１２０と分散
表現モジュール１３０中での学習の進行に応じて、維持
または向上する。

【００５５】また、規則モジュール１１０中の規則は不
要になれば消去されるし、例記憶モジュール１２０中の
記憶例は、学習の初期の段階では、規則の例外だけに限
られ、その後は、しだいに分散表現モジュール１３０中
に学習された知識の例外だけに限られるようになるし、
分散表現モジュール１３０ではおおづかみに規則的な入
出力関係だけを学習すればよいので必要な記憶容量（ノ
ードやリンクの数）は少くてよいので、学習の全過程に
わたって、統合型学習システム全体で必要とされる記憶
容量は比較的小さくてすむ。

【００５６】また、分散表現モジュール１３０中に学習
される知識は、初めに規則モジュール１１０中に与えた
規則を訓練例に応じて若干修正したものになっており
（すなわち、規則１と規則２の間の斜めの境界線や、規
則３と規則４の間の境界線のずれが修正されて学習され
ており）、一方、例記憶モジュール１２０では、学習の
初期の段階では規則の例外が、その後は分散表現モジュ
ール中に学習された知識の例外が記憶されることになる
ので、学習により得られた知識が人間にとって理解しや
すくなる。

【００５７】以上、図３から図６では、図２に示した学
習課題における、ある特定の条件での１回の実験結果を
示したが、別の学習課題を使ったり、別に生成した訓練
例を使ったり、統合型学習システム内のいくつかの設定
パラメータの値を変更したり、分散表現モジュール１３
０における学習パラメータの初期値を変更したりして
も、以上に示した結果と同様の統合型学習システムの特
長を示す実験結果が得られる。

【００５８】また、以上で示した実験では、ノイズが含
まれていない訓練例を使用したが、つぎに、図３から図
６の結果を得た時と同じ学習課題、同じ初期規則を使用
し、統合型学習システム内のいくつかの設定パラメータ
の値も全く同じとして（すなわち、ノイズに対処できる
ようにパラメータの設定を変更したりすることなく）、
ノイズを含む訓練例を本実施例の統合型学習システムに
学習させた場合についての実験結果を図７に示す。ここ
では、訓練例には５％のノイズが含まれている。すなわ
ち、ランダムに選んだ５％の訓練例については出力を白
黒反転させて与えた。また、正当率を評価するための例
（テスト例）は訓練例とは独立にランダムに生成した
が、テスト例にも同様に５％のノイズが含まれている。

【００５９】図７では、本実施例における統合型学習シ
ステムの学習曲線と、規則モジュール１１０の学習曲線
と、例記憶モジュール１２０の学習曲線と、分散表現モ
ジュール１３０の学習曲線を示した。グラフの横軸は学
習した訓練例の数、縦軸はテスト例に対する正答率であ
り、訓練例を５００例与えるごとに各時点でのテスト例
１０００例に対する正答率を計測した。この実験を、独
立に生成した１００通りの訓練例と分散表現モジュール
１３０における学習パラメータの初期値に対して行な
い、この１００回の実験で得られた正当率の平均値をプ
ロットした。この学習課題では、ランダムに出力を推測
すると、正当率は０．５となる。また、出力が「確定不
能」であれば、正当率が０．５となるように正当率を計
算している。

【００６０】図７における各モジュールの学習曲線は、
それぞれのモジュールの分担する入力空間上の領域の増
減を示しており、正当率０．５は分担する領域が無いこ
とを示す。規則モジュール１１０中の規則が順次消去さ
れていく様子や、分散表現モジュール１３０の学習がし
だいに進んでいく様子や、例記憶モジュールの分担する
領域が学習過程全体を通じて比較的小さいことが分か
る。

【００６１】この図７から明らかなように、本実施例の
統合型学習システムは、訓練例にノイズが含まれていて
も、あらかじめ分かっている不完全な知識と入出力の例
の両方の情報を利用して学習することができ、学習過程
の各時点において高い正当率を有し、必要な記憶容量が
学習の全過程を通じて比較的少なく、比較的計算処理の
負荷が大きい規則に基づく推論が学習後には不要になる
可能性が高いことが分かる。以上のように本実施例によ
れば、規則に基づく学習と推論を行なう規則モジュール
と、例の明示的な記憶に基づく学習と推論を行なう例記
憶モジュールと、大域的な表現に基づく学習と推論を行
なう分散表現モジュールと、与えられる訓練例のうち、
以上３つのモジュールでそれぞれどの例を分担して学習
するかを決定し、また、統合型学習システムの最終出力
を決定する相互作用モジュールとを設けることにより、
認識、診断、制御システム等の実現に必要な入出力間の
関係についての知識を、あらかじめ分かっている不完全
な知識とノイズを含む可能性がある入出力の例の両方の
情報を利用して学習することができ、学習過程のどの時
点においても従来の学習システムに比較して高い推論精
度を有し、必要な記憶容量が学習の全過程を通じて比較
的少なく、学習により得られた知識が人間にとって理解
しやすく、比較的計算処理の負荷が大きい規則に基づく
推論が学習後には不要になる可能性が大きい優れた統合
型学習システムを実現できる。

【００６２】（実施例２）以下本発明の第２の実施例に
ついて、図面を参照しながら説明する。図８において、
２２０は例記憶モジュール、２３０は分散表現モジュー
ル、２４０は相互作用モジュールで、以上は図１の構成
と同様なものである。図１の構成と異なるのは図１での
規則モジュール１１０の代わりに２１１の畳み込み規則
モジュールと２１２の展開規則モジュールが存在する点
である。以上のように構成された統合型学習システムに
ついて、以下その動作を説明する。

【００６３】本実施例においては、規則を扱うモジュー
ルは、あらかじめ与えられた畳み込まれた形式の規則
（完全に正しいものである必要はない）を保持する畳み
込み規則モジュール２１１と、展開された形式の規則を
保持する展開規則モジュール２１２の２つである。畳み
込み規則モジュール２１１中の規則は、訓練例のうち相
互作用モジュール２４０により以下の基準で選択されて
畳み込み規則モジュール２１１に送られた訓練例に応じ
て展開され、展開規則モジュール２１２中に保持され
る。これは説明に基づく学習(Mitchell,T.M.,Keller,R.
M.,and Kedar-Cabelli,S.T.,Explanation-Based Genera
lization:A Unifying View,Machine Learning,1,pp.47-
80,1986.)として知られている学習法であり、あらかじ
め与えられた畳み込まれた形式の規則だけを使用して推
論を行なう場合と比べて、訓練例に応じて展開された規
則も保持し利用する方が推論の速度が上がる場合が多い
ことが知られている。

【００６４】相互作用モジュール２４０による、畳み込
み規則モジュール２１１で学習する訓練例の上記の選択
の基準は、展開規則モジュール２１２でその訓練例に応
じて展開した規則を保持する効用が統合型学習システム
全体から見てあるかどうかである。すなわち、例記憶モ
ジュール２２０と分散表現モジュール２３０の２つのモ
ジュールによってはその訓練例に対して誤差が十分小さ
い（すなわち、誤差が所定の値ｄ１以下である）出力が
推測できず、かつ、展開規則モジュール２１２において
その訓練例に対して正しい出力を決定できる展開規則が
存在しなければ、その訓練例は畳み込み規則モジュール
２１１で学習する。

【００６５】この例記憶モジュール２２０と分散表現モ
ジュール２３０の２つのモジュールによる出力の推測
は、相互作用モジュール２４０によってつぎのように行
なわれる。１）例記憶モジュール２２０、２）分散表現
モジュール２３０の優先順位で各モジュールの出力を調
べ、もっとも上位の確定的な出力を出すモジュールの出
力を選んでこの２つのモジュールによる出力とする。

【００６６】畳み込み規則モジュール２１１に与えられ
る規則は「「条件部」ならば「行動部」」の形式である
とし、「条件部」には入力が満たすべき条件、または、
他の規則の「行動部」の項とマッチする項が書かれ、
「行動部」には他の規則の「条件部」の項とマッチする
項、または、出力の値、または、それらの並びが書かれ
るとする。

【００６７】本実施例の統合型システムに与えられた入
力は、相互作用モジュール２４０を経由して畳み込み規
則モジュール２１１に伝えられるが、畳み込み規則モジ
ュール２１１では、ある入力が与えられたとき、その入
力が「条件部」とマッチする規則が存在すれば、その
「行動部」に書かれた項とマッチする項を「条件部」に
持つ規則がさらに探されるか、または、「行動部」に書
かれた値が畳み込み規則モジュール２１１の出力値とな
り、「条件部」がマッチし、「行動部」に出力値が書か
れた規則が存在しなければ、出力は「確定不能」と表示
するものとする。畳み込み規則モジュール２１１におい
ては印象度の記録や、相互作用モジュール２４０による
規則の消去は行なわれない。

【００６８】本実施例における展開規則モジュール２１
２、例記憶モジュール２２０、分散表現モジュール２３
０の動作はそれぞれ、第１の実施例における規則モジュ
ール１１０、例記憶モジュール１２０、分散表現モジュ
ール１３０の動作と同様であるので、ここでは繰り返さ
ない。

【００６９】相互作用モジュール２４０は、統合型学習
システムへの入力を畳み込み規則モジュール２１１と展
開規則モジュール２１２と例記憶モジュール２２０と分
散表現モジュール２３０それぞれへの入力として伝え、
１）例記憶モジュール２２０、２）展開規則モジュール
２１２、３）分散表現モジュール２３０、４）畳み込み
規則モジュール２１１の優先順位で各モジュールの出力
を調べ、もっとも上位の確定的な出力を出すモジュール
の出力を選んで統合型学習システムの最終出力とする。

【００７０】また、相互作用モジュール２４０は、展開
規則モジュール２１２と例記憶モジュール２２０と分散
表現モジュール２３０のそれぞれが、統合型学習システ
ムに対する訓練例のうちどの訓練例を分担するかを選択
するが、展開規則モジュール２１２と分散表現モジュー
ル２３０が分担する訓練例の選択法については、それぞ
れ、第１の実施例における規則モジュール１１０と分散
表現モジュール１３０が分担する訓練例の選択法と同様
であるのでここでは繰り返さない。例記憶モジュール２
２０が分担する訓練例の選択法については以下の通りで
ある。

【００７１】本実施例の統合型システムに与えられた訓
練例のうち、相互作用モジュール２４０により次のよう
に選択された訓練例だけが例記憶モジュール２２０で学
習される。この選択の基準は統合型システム全体から見
て例記憶モジュール２２０により学習することに効用が
あるかどうかということである。すなわち、畳み込み規
則モジュール２１１と展開規則モジュール２１２と分散
表現モジュール２３０の３つのモジュールによっては誤
差が十分小さい（すなわち、誤差が所定の値ｄ２以下で
ある）出力が推測できなかった訓練例だけを例記憶モジ
ュール２２０で学習する。所定の値ｄ２は、本実施例で
は前述の所定の値ｄ１と等しくとるが、異なる値を使う
こともできる。

【００７２】この畳み込み規則モジュール２１１と展開
規則モジュール２１２と分散表現モジュール２３０の３
つのモジュールによる出力の推測は、相互作用モジュー
ル２４０によってつぎのように行なわれる。入力を畳み
込み規則モジュール２１１と展開規則モジュール２１２
と分散表現モジュール２３０の３つのモジュールに送
り、１）展開規則モジュール２１２、２）分散表現モジ
ュール１３０、３）畳み込み規則モジュール２１１の優
先順位で各モジュールの出力を調べ、もっとも上位の確
定的な出力を出すモジュールの出力を選んでこの３つの
モジュールによる出力とする。

【００７３】以上のように本実施例によれば、規則を扱
うモジュールとして、あらかじめ与えられた畳み込まれ
た形式の規則を保持する畳み込み規則モジュール２１１
と、展開された形式の規則を保持する展開規則モジュー
ル２１２の２つを設け、訓練例に応じて展開された規則
も保持し利用することにより、あらかじめ与えられた畳
み込まれた形式の規則だけを使用して推論を行なう場合
と比べて、多くの場合に推論にかかる時間を短くするこ
とができる。

【００７４】なお、第１および第２の実施例では分散表
現モジュール１３０および２３０は、大域的な性質を持
った基底関数を使った階層型ニューラルネットワークで
構成され、誤差逆伝播学習を行なうとしたが、記憶した
訓練例が出力の決定に影響を及ぼす入力空間上の領域が
大域的であることを特徴とする例の明示的な記憶に基づ
く学習を行なってもよい。

【００７５】

【発明の効果】以上のように本発明は、規則に基づく学
習と推論を行なう規則モジュールと、例の明示的な記憶
に基づく学習と推論を行なう例記憶モジュールと、大域
的な表現に基づく学習と推論を行なう分散表現モジュー
ルと、与えられる訓練例のうち、以上３つのモジュール
でそれぞれどの例を分担するかを決定し、また、統合型
学習システムの最終出力を決定する相互作用モジュール
とを設けることにより、認識、診断、制御システム等の
実現に必要な入出力間の関係についての知識を、あらか
じめ分かっている不完全な知識とノイズを含む可能性が
ある入出力の例の両方の情報を利用して学習することが
でき、学習過程のどの時点においても従来の学習システ
ムに比較して高い推論精度を有し、必要な記憶容量が学
習の全過程を通じて比較的少なく、学習により得られた
知識が人間にとって理解しやすく、比較的計算処理の負
荷が大きい規則に基づく推論が学習後には不要になる可
能性が大きい優れた統合型学習システムを実現できるも
のである。

【図面の簡単な説明】

【図１】本発明の第１の実施例における統合型学習シス
テムの構成図

【図２】同実施例における統合型学習システムに学習さ
せた入出力関係と、初めに統合型学習システムに与えた
規則を表示した図

【図３】同実施例における統合型学習システムに、訓練
例を９００例与えた時点での学習の進行状況を示す図

【図４】同実施例における統合型学習システムに、訓練
例を６０００例与えた時点での学習の進行状況を示す図

【図５】同実施例における統合型学習システムに、訓練
例を１２０００例与えた時点での学習の進行状況を示す
図

【図６】同実施例における統合型学習システムに、訓練
例を３００００例与えた時点での学習の進行状況を示す
図

【図７】同実施例における統合型学習システムの学習曲
線を示す図

【図８】本発明の第２の実施例における統合型学習シス
テムの構成図

【符号の説明】

１１０規則モジュール２１１畳み込み規則モジュール２１２展開規則モジュール１２０、２２０例記憶モジュール１３０、２３０分散表現モジュール１４０、２４０相互作用モジュール

Claims

【特許請求の範囲】

【請求項１】規則に基づく学習と推論を行なう規則モ
ジュールと、例の明示的な記憶に基づく学習と推論を行
なう例記憶モジュールと、大域的な表現に基づく学習と
推論を行なう分散表現モジュールと、与えられる複数の
入出力例（訓練例）のうち、上記３つのモジュールでそ
れぞれどの例を分担して学習するかを決定し、また、統
合型学習システムの最終出力を決定する相互作用モジュ
ールとを備えた統合型学習システム。
【請求項２】規則モジュールが、畳み込まれた形式の
規則を保持する畳み込み規則モジュールと、展開された
形式の規則を保持する展開規則モジュールとから構成さ
れ、畳み込み規則モジュール中の規則を訓練例に応じて
展開し、展開規則モジュール中に保持することを特徴と
する請求項１記載の統合型学習システム。
【請求項３】例記憶モジュールにおける、記憶した訓
練例が出力の決定に影響を及ぼす入力空間上の領域が局
所的であることを特徴とする請求項１記載の統合型学習
システム。
【請求項４】例記憶モジュールにおいて、それぞれの
記憶した訓練例が各訓練例に対して正しい出力を推定す
ることに寄与したかどうかの統計的な記録を保持し、こ
の統計的な記録を利用して、新しい記憶の追加、記憶の
消去、記憶した訓練例が出力の決定に影響を及ぼす入力
空間上の領域の大きさの変更、出力の決定のうちの少な
くとも１つを行なうことを特徴とする請求項１記載の統
合型学習システム。
【請求項５】分散表現モジュールが、大域的な性質を
持った基底関数を使った階層型ニューラルネットワーク
で構成され、誤差逆伝播学習を行なうことを特徴とする
請求項１記載の統合型学習システム。
【請求項６】相互作用モジュールにおいて、１）例記
憶モジュール、２）規則モジュール、３）分散表現モジ
ュールの優先順位で各モジュールの出力を調べ、もっと
も上位の確定的な出力を出すモジュールの出力を選んで
統合型学習システムの最終出力とすることを特徴とする
請求項１記載の統合型学習システム。
【請求項７】相互作用モジュールにおいて、１）例記
憶モジュール、２）展開規則モジュール、３）分散表現
モジュール、４）畳み込み規則モジュールの優先順位で
各モジュールの出力を調べ、もっとも上位の確定的な出
力を出すモジュールの出力を選んで統合型学習システム
の最終出力とすることを特徴とする請求項２記載の統合
型学習システム。
【請求項８】規則モジュール中に保持された各規則が
各訓練例に対して正しい出力を推定することに寄与した
度合を示す数値を記憶し、統合型学習システム全体から
見て効用の低い規則は消去することを特徴とする請求項
１記載の統合型学習システム。
【請求項９】展開規則モジュール中に保持された各規
則のうち統合型学習システム全体から見て効用の低い規
則は消去されることを特徴とする請求項２記載の統合型
学習システム。
【請求項１０】分散表現モジュールはすべての例を学
習することを特徴とする請求項１記載の統合型学習シス
テム。
【請求項１１】例記憶モジュールにおいて正しい出力
を推定できない例だけを分散表現モジュールで学習する
ことを特徴とする請求項１記載の統合型学習システム。
【請求項１２】例記憶モジュールにおいて正しい出力
を推定できない例と、分散表現モジュールにおいて推定
した出力の誤差が所定の値以下である例とを、分散表現
モジュールで学習することを特徴とする請求項１記載の
統合型学習システム。