JPH04662A - 学習機械 - Google Patents
学習機械Info
- Publication number
- JPH04662A JPH04662A JP2101937A JP10193790A JPH04662A JP H04662 A JPH04662 A JP H04662A JP 2101937 A JP2101937 A JP 2101937A JP 10193790 A JP10193790 A JP 10193790A JP H04662 A JPH04662 A JP H04662A
- Authority
- JP
- Japan
- Prior art keywords
- learning
- output signal
- unit
- error
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Analysis (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
産業上の利用分野
本発明はデータ処理装置の学習機械に関するものであム
従来の技術
従来へ 学習機械としては、 例えばり、 Ｅ、ルメル
ハート （Ｒｕｍｅｌｈａｒｔ）、 Ｇ、 Ｅ、
ヒントン （Ｈｉｎｔｏｎ） 及び ＲｌＪ、 ウ
ィリアムスゝ （Ｗｉｌｌｉａｍｓ） によ る″ラ
ーニンクａ １１７°リセ１ンテーシ逼ンスゝ へ′イ
ハゝツクー７′ロへ１ケゝ−ティンクゝ エラース”
（ＬｅａｒｎｉｎｇＲｅｐｒｅｓｅｎｔａｔｉｏｎｓ
ｂｙ Ｂａｃｋ−Ｐｒｏｐａｇａｔｉｎｇ Ｅｒ
ｒｏｒｓ）”ネイチｔ−（Ｎａｔｕｒｅ）、 ｖｏｌ
、３２３． ｐｐ、５３３−５３６． Ｏｃｔ。
ハート （Ｒｕｍｅｌｈａｒｔ）、 Ｇ、 Ｅ、
ヒントン （Ｈｉｎｔｏｎ） 及び ＲｌＪ、 ウ
ィリアムスゝ （Ｗｉｌｌｉａｍｓ） によ る″ラ
ーニンクａ １１７°リセ１ンテーシ逼ンスゝ へ′イ
ハゝツクー７′ロへ１ケゝ−ティンクゝ エラース”
（ＬｅａｒｎｉｎｇＲｅｐｒｅｓｅｎｔａｔｉｏｎｓ
ｂｙ Ｂａｃｋ−Ｐｒｏｐａｇａｔｉｎｇ Ｅｒ
ｒｏｒｓ）”ネイチｔ−（Ｎａｔｕｒｅ）、 ｖｏｌ
、３２３． ｐｐ、５３３−５３６． Ｏｃｔ。
９、１９８６）に示されていも この従来の学習機械は
第６図に示すように出力信号算出部と重み係数更新部
からなり、前記出力信号算出部は層構造をもち、 各層
内相互の結合がなく、上位層にのみ信号が伝搬するよう
にネットワーク接続された複数の多入力−出力信号処理
部６００から構成されも 各多入力−出力信号処理部６００はそれに接続されてい
る下層の多入力−出力信号処理部６００の出力とその接
続の度合である重み係数とを掛は合わせたものの総和を
しきい値開数で変換した後、その値を上層への出力とし
て伝達する働きをしてい４ 重み係数更新部は 前記出
力信号算出部の入力部６０１から入力される信号に応じ
て、教師信号発生部６０２が前記入力信号にたいする望
ましい出力信号を教師信号ｔｋとして発生Ｌ 誤差信号
算出部６０３において前記出力信号算出部から出力され
る実際の出力信号□ｂ（ｏｍ？；ｔ、、 出力信号算
出部における最上位層の第に番目の多入力−出力信号処
理部の出力を表す。）と前記教師信号との差から誤差 Ｅ＝０．５ （ｔｈ ｏｋ） ” が計算され この値で現在の結合状態（重み係数の大き
さ）でのネットワークの性能を評価す４このようにして
計算された誤差Ｅをもとに重み変更量算出部６０４は前
記出力信号算出部の重み係数の変更量△Ｗ ｌ １を次
式に基づいて計算すム△ｗ＋」＝ −ｔａＥ／＆ｗｘ ここで、 εは学習レートと呼ばれる正の定数であ４
以上のように重みの更新を繰り返すことにより、誤差を
小さくしてゆき、誤差が十分小さくなると、出力信号が
望ましい値に十分近くなったものとして、学習を終了す
ム 発明が解決しようとする課題 しかしながら上記のような構成では、 誤差の値が十分
小さくなっている多入力−出力信号処理部についても誤
差Ｅの値が減少すれば重みを更新するので学習効率が悪
く、学習に要する時間が長くなるという課題を有してい
た 本発明はかかる点に鑑へ 学習に要する時間の短い学習
機械を提供することを目的とすも課題を解決するための
手段 第１の発明ζよ 層構造をもち、 各層内相互の結合が
なく、上位層にのみ信号が伝搬するようにネットワーク
接続された複数の多入力−出力信号処理部からなる出力
信号算出部と、該出力信号算出部で得られた出力信号を
もとに前期出力信号算出部の重み係数の値を更新する重
み係数更新部を具備し 前記多入力−出力信号処理部は
、 複数の重み係数を保持するメモリと、複数のデータ
を入力する入力部と、前記メモリに貯えられた重み係数
で前記入力部からの人力データを重み付けする乗算手段
と、前記乗算手段で重み付けされた複数のデータを多数
加え合わせる加算手段と、該加算手段の出力を一定範囲
の値に制限するしきい値処理部を備え 前記重み係数更
新部は、 上記出力信号算出部の出力信号の望ましい値
として教師信号を与える教師信号発生部と、前記出力信
号と該教師信号との誤差を求める誤差信号算出部と、前
記誤差信号算出部の出力に応じて前記メモリに蓄えられ
た重み係数の変更量を計算する重み変更量算出部と、前
記誤差信号算出部の出力がしきい値以下であるかどうか
を判定する誤差信号判定部と、学習の進み具合いを判定
する学習進度判定部と、前記学習進度判定部の判定結果
に応じて前記しきい値の値を次第に減少させるしきい値
制御部と、前記誤差信号判定部において誤差の値がしき
い値以下と判定された場合には前記重み係数変更量を０
にする重み変更量制御部とを備えた学習機械であム また第２の発明は、 前期誤差信号判定部の出力を計数
し全ての出力信号が前記しきい値以下の場合に飛び越し
信号を出力する飛び越し判定部と、学習の進み具合いを
判定する学習進度判定部と、前記学習進度判定部の判定
結果に応じて前記しきい値の値を次第に減少させるしき
い値制御部と、前記飛び越し信号に応じて前記重み変更
量算出部における重み変更操作をとばす重み変更量制御
部とを備えた学習機械であも 作用 第１の発明によれば 前記した構成により誤差の大きさ
がしきい値以下の多入力−出力信号処理部については重
み変更はしないので、学習効率が向上し 学習に要する
時間を短縮することができるだけでなく、学習が進むに
つれてしきい値を小さくして行くことにより、出力信号
算出部の出力をより精度よく教師信号に一致させること
ができるので、学習の精度が向上する。
第６図に示すように出力信号算出部と重み係数更新部
からなり、前記出力信号算出部は層構造をもち、 各層
内相互の結合がなく、上位層にのみ信号が伝搬するよう
にネットワーク接続された複数の多入力−出力信号処理
部６００から構成されも 各多入力−出力信号処理部６００はそれに接続されてい
る下層の多入力−出力信号処理部６００の出力とその接
続の度合である重み係数とを掛は合わせたものの総和を
しきい値開数で変換した後、その値を上層への出力とし
て伝達する働きをしてい４ 重み係数更新部は 前記出
力信号算出部の入力部６０１から入力される信号に応じ
て、教師信号発生部６０２が前記入力信号にたいする望
ましい出力信号を教師信号ｔｋとして発生Ｌ 誤差信号
算出部６０３において前記出力信号算出部から出力され
る実際の出力信号□ｂ（ｏｍ？；ｔ、、 出力信号算
出部における最上位層の第に番目の多入力−出力信号処
理部の出力を表す。）と前記教師信号との差から誤差 Ｅ＝０．５ （ｔｈ ｏｋ） ” が計算され この値で現在の結合状態（重み係数の大き
さ）でのネットワークの性能を評価す４このようにして
計算された誤差Ｅをもとに重み変更量算出部６０４は前
記出力信号算出部の重み係数の変更量△Ｗ ｌ １を次
式に基づいて計算すム△ｗ＋」＝ −ｔａＥ／＆ｗｘ ここで、 εは学習レートと呼ばれる正の定数であ４
以上のように重みの更新を繰り返すことにより、誤差を
小さくしてゆき、誤差が十分小さくなると、出力信号が
望ましい値に十分近くなったものとして、学習を終了す
ム 発明が解決しようとする課題 しかしながら上記のような構成では、 誤差の値が十分
小さくなっている多入力−出力信号処理部についても誤
差Ｅの値が減少すれば重みを更新するので学習効率が悪
く、学習に要する時間が長くなるという課題を有してい
た 本発明はかかる点に鑑へ 学習に要する時間の短い学習
機械を提供することを目的とすも課題を解決するための
手段 第１の発明ζよ 層構造をもち、 各層内相互の結合が
なく、上位層にのみ信号が伝搬するようにネットワーク
接続された複数の多入力−出力信号処理部からなる出力
信号算出部と、該出力信号算出部で得られた出力信号を
もとに前期出力信号算出部の重み係数の値を更新する重
み係数更新部を具備し 前記多入力−出力信号処理部は
、 複数の重み係数を保持するメモリと、複数のデータ
を入力する入力部と、前記メモリに貯えられた重み係数
で前記入力部からの人力データを重み付けする乗算手段
と、前記乗算手段で重み付けされた複数のデータを多数
加え合わせる加算手段と、該加算手段の出力を一定範囲
の値に制限するしきい値処理部を備え 前記重み係数更
新部は、 上記出力信号算出部の出力信号の望ましい値
として教師信号を与える教師信号発生部と、前記出力信
号と該教師信号との誤差を求める誤差信号算出部と、前
記誤差信号算出部の出力に応じて前記メモリに蓄えられ
た重み係数の変更量を計算する重み変更量算出部と、前
記誤差信号算出部の出力がしきい値以下であるかどうか
を判定する誤差信号判定部と、学習の進み具合いを判定
する学習進度判定部と、前記学習進度判定部の判定結果
に応じて前記しきい値の値を次第に減少させるしきい値
制御部と、前記誤差信号判定部において誤差の値がしき
い値以下と判定された場合には前記重み係数変更量を０
にする重み変更量制御部とを備えた学習機械であム また第２の発明は、 前期誤差信号判定部の出力を計数
し全ての出力信号が前記しきい値以下の場合に飛び越し
信号を出力する飛び越し判定部と、学習の進み具合いを
判定する学習進度判定部と、前記学習進度判定部の判定
結果に応じて前記しきい値の値を次第に減少させるしき
い値制御部と、前記飛び越し信号に応じて前記重み変更
量算出部における重み変更操作をとばす重み変更量制御
部とを備えた学習機械であも 作用 第１の発明によれば 前記した構成により誤差の大きさ
がしきい値以下の多入力−出力信号処理部については重
み変更はしないので、学習効率が向上し 学習に要する
時間を短縮することができるだけでなく、学習が進むに
つれてしきい値を小さくして行くことにより、出力信号
算出部の出力をより精度よく教師信号に一致させること
ができるので、学習の精度が向上する。
まｆ；’８２の発明によれば 人力データに対して全て
の多入力−出力信号処理部の誤差がしきい値以下の場合
、重み変更操作をとばすので、学習効率が向上するだけ
でなく、演算量が大幅に削減できるので、学習に要する
時間が短縮できる。また 学習が進むにつれてしきい値
を小さくして行くことにより、出力信号算出部の出力を
より精度よく教師信号に一致させることができるので、
学習の精度が向上すム 実施例 第１図は第１の発明の実施例における学習機械の構成図
を示すものであも 第１図において、 １は出力信号算
出部 ２は該出力信号算出部１で得られた出力信号をも
とに前期出力信号算出部１の重み係数の値を更新する重
み係数更新部であａ出力信号算出部１ ｉ；ｔ、、
第２図に示すように多段の回路網的構成をしており、
３は多入力−出力信号処理区 ４は出力信号算出部１の
入力部であムこのような出力信号算出部ｌを構成する多
入力−出力信号処理部３の構成を具体的に示したものが
第３図であも ｊｇ３図において、 ５は多入力−出力
信号処理部３の入力部 ６は入力部５からの複数入力を
重み付ける重み係数を格納するメモリ、７はメモリ６の
重み係数と入力部５からの入力を各々掛は合わせる乗算
器 ８は乗算器７の各々の出力を足し合わせる加算器
９は加算器８の出力を一定範囲の値に制限するしきい値
処理部である。
の多入力−出力信号処理部の誤差がしきい値以下の場合
、重み変更操作をとばすので、学習効率が向上するだけ
でなく、演算量が大幅に削減できるので、学習に要する
時間が短縮できる。また 学習が進むにつれてしきい値
を小さくして行くことにより、出力信号算出部の出力を
より精度よく教師信号に一致させることができるので、
学習の精度が向上すム 実施例 第１図は第１の発明の実施例における学習機械の構成図
を示すものであも 第１図において、 １は出力信号算
出部 ２は該出力信号算出部１で得られた出力信号をも
とに前期出力信号算出部１の重み係数の値を更新する重
み係数更新部であａ出力信号算出部１ ｉ；ｔ、、
第２図に示すように多段の回路網的構成をしており、
３は多入力−出力信号処理区 ４は出力信号算出部１の
入力部であムこのような出力信号算出部ｌを構成する多
入力−出力信号処理部３の構成を具体的に示したものが
第３図であも ｊｇ３図において、 ５は多入力−出力
信号処理部３の入力部 ６は入力部５からの複数入力を
重み付ける重み係数を格納するメモリ、７はメモリ６の
重み係数と入力部５からの入力を各々掛は合わせる乗算
器 ８は乗算器７の各々の出力を足し合わせる加算器
９は加算器８の出力を一定範囲の値に制限するしきい値
処理部である。
しきい値処理部９の人出力特性を第４図に示す。
例えば 出力を（０，１）の範囲に制限するしきい値処
理部９の入出力特性は ｆ （Ｉ） ＝１／（１＋ ｅｘｐ（−
Ｉ 十 〇 ）） （１）と数式的に
表現できる。ここで、 ■はしきい値処理部９の入力で
あム な耘 しきい値処理部９の入出力特性としては上
記以外のしきい値開数でもよしも 重み係数更新部２の
構成図を第１図に示す。
理部９の入出力特性は ｆ （Ｉ） ＝１／（１＋ ｅｘｐ（−
Ｉ 十 〇 ）） （１）と数式的に
表現できる。ここで、 ■はしきい値処理部９の入力で
あム な耘 しきい値処理部９の入出力特性としては上
記以外のしきい値開数でもよしも 重み係数更新部２の
構成図を第１図に示す。
１０は教師信号発生部 １１は誤差信号算出部１２は重
み変更量算出部 １３は重み変更量制御部 １４は誤差
信号判定部 １５は学習進度判定部 １６はしきい値制
御部であム 以上のように構成された実施例の学習機械について、以
下その動作を説明すも 出力信号算出部１の入力部４に入力信号が入力されると
、各多入力−出力信号処理部３は、 該多入力−出力信
号処理部３に接続されている下層の多入力−出力信号処
理部３の出力とメモリ６に記憶されているその接続の度
合である重み係数とを乗算器７により掛は合わせ、前記
乗算器７の各々の出力の総和を加算器８で計算した丸
しきい値処理部９で変換しその値を上層の多入力−出力
信号処理部へ出力する。つまり、第３図に示す多入力−
出力信号処理部３（上 入力部５への入力値を０」（下
層のｊ番目の多入力−出力信号処理部の出力）、メモリ
６に格納されている重み係数をＷｌｌ」（ｉ番目の多入
力−出力信号処理部と下層のｊ番目の多入力−出力信号
処理部との結合重み）とすれ（瓜 ０１− ｆ （ΣＷＩｊ ＯＪ） （
２）を計算しているわけであム 重み係数更新部２１友 前記出力信号算出部１の入力部
４から入力される信号に応じて、教師信号発生部１０が
前記入力信号にたいする望ましい出力信号を教師信号ｔ
ｋとして発生Ｌ 誤差信号算出部１１において前記出
力信号算出部１から出力される実際の出力信号Ｑｋと前
記教師信号との差か収 最上位層におけるに番目の多入
力−出力信号処理部の誤差 Ｅ ＝０．５ （ｔ ｋ−ｏ ｈ） ”
（３）が計算され この値で現在の結合状態（重
み係数の大きさ）でのネットワークの性能を評価する。
み変更量算出部 １３は重み変更量制御部 １４は誤差
信号判定部 １５は学習進度判定部 １６はしきい値制
御部であム 以上のように構成された実施例の学習機械について、以
下その動作を説明すも 出力信号算出部１の入力部４に入力信号が入力されると
、各多入力−出力信号処理部３は、 該多入力−出力信
号処理部３に接続されている下層の多入力−出力信号処
理部３の出力とメモリ６に記憶されているその接続の度
合である重み係数とを乗算器７により掛は合わせ、前記
乗算器７の各々の出力の総和を加算器８で計算した丸
しきい値処理部９で変換しその値を上層の多入力−出力
信号処理部へ出力する。つまり、第３図に示す多入力−
出力信号処理部３（上 入力部５への入力値を０」（下
層のｊ番目の多入力−出力信号処理部の出力）、メモリ
６に格納されている重み係数をＷｌｌ」（ｉ番目の多入
力−出力信号処理部と下層のｊ番目の多入力−出力信号
処理部との結合重み）とすれ（瓜 ０１− ｆ （ΣＷＩｊ ＯＪ） （
２）を計算しているわけであム 重み係数更新部２１友 前記出力信号算出部１の入力部
４から入力される信号に応じて、教師信号発生部１０が
前記入力信号にたいする望ましい出力信号を教師信号ｔ
ｋとして発生Ｌ 誤差信号算出部１１において前記出
力信号算出部１から出力される実際の出力信号Ｑｋと前
記教師信号との差か収 最上位層におけるに番目の多入
力−出力信号処理部の誤差 Ｅ ＝０．５ （ｔ ｋ−ｏ ｈ） ”
（３）が計算され この値で現在の結合状態（重
み係数の大きさ）でのネットワークの性能を評価する。
このようにして計算された誤差Ｅをもとに重み変更量算
出部１２は前記出力信号算出部１のメモリ６に記憶され
ている重み係数の変更量△Ｗｌｌを次式に基づいて計算
すも △ｗａ」＝ −εａＥ／ａｗ１＋ （４
）ここで、 εは学習レートと呼ばれる正の定数であも
重み変更量制御部１３は、 誤差信号判定部１４にお
いて誤差１ｔｂ−○ｋｌがしきい値制御部１６により設
定されたしきい値Ｔより小さいと判定された場合圏 前
記出力信号算出部１における最上位層の重み係数変更量
をＯにすム この時しきい値制御部１６は、 学習進度
判定部１５の判定結果をもとに学習が進むにつれ 前記
しきい値Ｔを小さい値に切り換えて行く。また 前記学
習進度判定部１５における学習進度の判定（上 前記出
力信号算出部１の最上位層における多入力−出力信号処
理部３の誤差総和による判定 学習回数による判定 前
記出力信号算出部１の最上位層において、しきい値以上
の誤差を出力する多入力−出力信号処理部の個数による
判定 前記誤差信号算出部の一回の学習における最大出
力の値による判定の何れの方法を用いてもよ（を 以上のようにして、重みの更新を繰り返すことにより、
誤差を小さくしてゆき、誤差が十分小さくなると、出力
信号が望ましい値に十分近くなったものとして、学習を
終了すム このように本実施例によれは 誤差の大きさがしきい値
Ｔ以下の多入力−出力信号処理部については重み変更は
しないので、学習効率が向上し学習に要する時間を短縮
することができも しかＬ 学習が進むにつれしきい値
Ｔの値を小さくして行くことにより、出力信号算出部１
の出力Ｏｋをより精度よく教師信号ｔｍに一致させるこ
とができるので、学習の精度が向上すム 第５図は、 第２の発明の実施例における学習機械の構
成図を示すものであ、４ １０は教師信号発生部 １１
は誤差信号算出ｉ １２は重み変更量算出部 １４は
誤差信号判定部 １５は学習進度判定部 １６はしきい
値制御艮 ２３は重み変更量側＠仏 ２４は飛び越し判
定部であ４以上のように構成された第２の発明における
実施例の学習機械について、以下その動作を説明する。
出部１２は前記出力信号算出部１のメモリ６に記憶され
ている重み係数の変更量△Ｗｌｌを次式に基づいて計算
すも △ｗａ」＝ −εａＥ／ａｗ１＋ （４
）ここで、 εは学習レートと呼ばれる正の定数であも
重み変更量制御部１３は、 誤差信号判定部１４にお
いて誤差１ｔｂ−○ｋｌがしきい値制御部１６により設
定されたしきい値Ｔより小さいと判定された場合圏 前
記出力信号算出部１における最上位層の重み係数変更量
をＯにすム この時しきい値制御部１６は、 学習進度
判定部１５の判定結果をもとに学習が進むにつれ 前記
しきい値Ｔを小さい値に切り換えて行く。また 前記学
習進度判定部１５における学習進度の判定（上 前記出
力信号算出部１の最上位層における多入力−出力信号処
理部３の誤差総和による判定 学習回数による判定 前
記出力信号算出部１の最上位層において、しきい値以上
の誤差を出力する多入力−出力信号処理部の個数による
判定 前記誤差信号算出部の一回の学習における最大出
力の値による判定の何れの方法を用いてもよ（を 以上のようにして、重みの更新を繰り返すことにより、
誤差を小さくしてゆき、誤差が十分小さくなると、出力
信号が望ましい値に十分近くなったものとして、学習を
終了すム このように本実施例によれは 誤差の大きさがしきい値
Ｔ以下の多入力−出力信号処理部については重み変更は
しないので、学習効率が向上し学習に要する時間を短縮
することができも しかＬ 学習が進むにつれしきい値
Ｔの値を小さくして行くことにより、出力信号算出部１
の出力Ｏｋをより精度よく教師信号ｔｍに一致させるこ
とができるので、学習の精度が向上すム 第５図は、 第２の発明の実施例における学習機械の構
成図を示すものであ、４ １０は教師信号発生部 １１
は誤差信号算出ｉ １２は重み変更量算出部 １４は
誤差信号判定部 １５は学習進度判定部 １６はしきい
値制御艮 ２３は重み変更量側＠仏 ２４は飛び越し判
定部であ４以上のように構成された第２の発明における
実施例の学習機械について、以下その動作を説明する。
出力信号算出部１の入力部４に入力信号が入力されると
、各多入力−出力信号処理部３１戴 該多入力−出力
信号処理部３に接続されている下層の多入力−出力信号
処理部３の出力とメモリ６に記憶されているその接続の
度合である重み係数とを乗算器７により掛は合わせ、前
記乗算器７の各々の出力の総和を加算器８で計算した後
、しきい値処理部９で変換しその値を上層の多入力−出
力信号処理部へ出力すム つまり、第３図に示す多入力
−出力信号処理部３は、 入力部５への入力値をｏ＋（
下層のｊ番目の多入力−出力信号処理部の出力）、メモ
リ６に格納されている重み係数をＷｌｌ（ｉ番目の多入
力−出力信号処理部と下層のｊ番目の多入力−出力信号
処理部との結合重み）とすれ（戯 ０１ ＝ ｆ （Σｖ＋ｚｒ ｏＪ）
（２）を計算しているわけであム 重み係数更新部２（上 前記出力信号算出部１の入力部
４から人力される信号に応じて、教師信号発生部ｌＯが
前記入力信号にたいする望ましい出力信号を教師信号ｔ
ｂとして発生し 誤差信号算出部１１において前記出力
信号算出部１から出力される実際の出力信号Ｏｋと前記
教師信号との差か収 最上位層におけるに番目の多入力
−出力信号処理部の誤差 Ｅ＝０．５ （ｔｂ ｏｈ） ’ （３）
が計算され この値で現在の結合状態（重み係数の大き
さ）でのネットワークの性能を評価する。
、各多入力−出力信号処理部３１戴 該多入力−出力
信号処理部３に接続されている下層の多入力−出力信号
処理部３の出力とメモリ６に記憶されているその接続の
度合である重み係数とを乗算器７により掛は合わせ、前
記乗算器７の各々の出力の総和を加算器８で計算した後
、しきい値処理部９で変換しその値を上層の多入力−出
力信号処理部へ出力すム つまり、第３図に示す多入力
−出力信号処理部３は、 入力部５への入力値をｏ＋（
下層のｊ番目の多入力−出力信号処理部の出力）、メモ
リ６に格納されている重み係数をＷｌｌ（ｉ番目の多入
力−出力信号処理部と下層のｊ番目の多入力−出力信号
処理部との結合重み）とすれ（戯 ０１ ＝ ｆ （Σｖ＋ｚｒ ｏＪ）
（２）を計算しているわけであム 重み係数更新部２（上 前記出力信号算出部１の入力部
４から人力される信号に応じて、教師信号発生部ｌＯが
前記入力信号にたいする望ましい出力信号を教師信号ｔ
ｂとして発生し 誤差信号算出部１１において前記出力
信号算出部１から出力される実際の出力信号Ｏｋと前記
教師信号との差か収 最上位層におけるに番目の多入力
−出力信号処理部の誤差 Ｅ＝０．５ （ｔｂ ｏｈ） ’ （３）
が計算され この値で現在の結合状態（重み係数の大き
さ）でのネットワークの性能を評価する。
このようにして計算された誤差Ｅをもとに重み変更量算
出部１２は前記出力信号算出部１のメモリ６に記憶され
ている重み係数の変更量△Ｗ１１ を次式に基づいて計
算すも △ｗ＋＋ ＝ −ｔ ａ Ｅ ／ ａ ｗｚ
（４）ここで、 εは学習レートと呼ばれる正の
定数である。誤差信号判定部１４は、 誤差１ｔｋ−Ｏ
ｋｌがしきい値制御部１６により設定されたしきい値Ｔ
より小さいかどうかを調べ判定結果として誤差がしきい
値より大きい時は０を、小さいときは１を飛び越し判定
部２４に出力する。飛び越し判定部２４は、 前記判定
結果を計数し 最上位層の全ての多入力−出力信号処理
部の誤差１ｔｈ−□ｉｌｌがしきい値Ｔ以下の隊 飛び
越し信号を出力すも重み変更量制御部２３は、 飛び越
し判定部２４が飛び越し信号を発生した除 重み変更量
算出部１２における重み変更操作を飛ばすように制御す
ムこの時しきい値制御部１６ζ表 学習進度判定部１５
の判定結果をもとに学習が進むにつれ 前記しきい値Ｔ
を小さい値に切り換えて行く。また 前記学習進度判定
部１５における学習進度の判定は、前記出力信号算出部
１の最上位層における多入力−出力信号処理部３の誤差
総和による判定 学習回数による判定 前記出力信号算
出部１の最上位層において、しきい値以上の誤差を出力
する多入力−出力信号処理部の個数による判定 前記誤
差信号算出部の一回の学習における最大出力の値による
判定の何れの方法を用いてもよ（１１゜以上のようにし
て、重みの更新を繰り返すことにより、誤差を小さくし
てゆき、誤差が十分小さくなると、出力信号が望ましい
値に十分近くなったものとして、学習を終了すも このように本実施例によれば 入力データに対して全て
の多久カー出力信号処理部の誤差がしきい値Ｔ以下の場
合、重み変更量算出部における重み変更操作を飛ばすの
で、学習効率が向上するだけでなく、演算量が大幅に削
減できるので、学習に要する時間が短縮できも しかＬ
学習が進むにつれしきい値Ｔの値を小さ（して行くこ
とにより、出力信号算出部１の出力Ｏｋをより精度よく
教師信号ｔｉ＋に一致させることができるので、学習の
精度が向上すム 発明の効果 第１の発明によれば 誤差信号判定ａ 重み変更量算出
部 学習進度判定訊 しきい値制御部を設けることによ
り、誤差の大きさがしきい値以下の多入力−出力信号処
理部における重み変更はしないので、学習効率が向上し
学習に要する時間を短縮することができるだけでなく
、学習が進むにつれてしきい値を小さくして行くことに
より、出力信号算出部の出力をより精度よく教師信号に
一致させることができるので、学習の精度が向上すム また 第２の発明によれ１よ 飛び越し判定皿重み変更
量側＠撤 学習進度判定組 しきい値制御部を設けるこ
とにより、入力データに対して全ての多入力−出力信号
処理部の誤差の大きさがしきい値以下の場合、重み変更
量算出部における重み変更操作を飛ばすので、学習効率
が向上するだけでなく、演算量が大幅に削減できるので
学習に要する時間が短縮できも また 学習が進むにつ
れてしきい値を小さくして行くことにより、出力信号算
出部の出力をより精度よく教師信号に一致させることが
できるのて 学習の精度が向上する。
出部１２は前記出力信号算出部１のメモリ６に記憶され
ている重み係数の変更量△Ｗ１１ を次式に基づいて計
算すも △ｗ＋＋ ＝ −ｔ ａ Ｅ ／ ａ ｗｚ
（４）ここで、 εは学習レートと呼ばれる正の
定数である。誤差信号判定部１４は、 誤差１ｔｋ−Ｏ
ｋｌがしきい値制御部１６により設定されたしきい値Ｔ
より小さいかどうかを調べ判定結果として誤差がしきい
値より大きい時は０を、小さいときは１を飛び越し判定
部２４に出力する。飛び越し判定部２４は、 前記判定
結果を計数し 最上位層の全ての多入力−出力信号処理
部の誤差１ｔｈ−□ｉｌｌがしきい値Ｔ以下の隊 飛び
越し信号を出力すも重み変更量制御部２３は、 飛び越
し判定部２４が飛び越し信号を発生した除 重み変更量
算出部１２における重み変更操作を飛ばすように制御す
ムこの時しきい値制御部１６ζ表 学習進度判定部１５
の判定結果をもとに学習が進むにつれ 前記しきい値Ｔ
を小さい値に切り換えて行く。また 前記学習進度判定
部１５における学習進度の判定は、前記出力信号算出部
１の最上位層における多入力−出力信号処理部３の誤差
総和による判定 学習回数による判定 前記出力信号算
出部１の最上位層において、しきい値以上の誤差を出力
する多入力−出力信号処理部の個数による判定 前記誤
差信号算出部の一回の学習における最大出力の値による
判定の何れの方法を用いてもよ（１１゜以上のようにし
て、重みの更新を繰り返すことにより、誤差を小さくし
てゆき、誤差が十分小さくなると、出力信号が望ましい
値に十分近くなったものとして、学習を終了すも このように本実施例によれば 入力データに対して全て
の多久カー出力信号処理部の誤差がしきい値Ｔ以下の場
合、重み変更量算出部における重み変更操作を飛ばすの
で、学習効率が向上するだけでなく、演算量が大幅に削
減できるので、学習に要する時間が短縮できも しかＬ
学習が進むにつれしきい値Ｔの値を小さ（して行くこ
とにより、出力信号算出部１の出力Ｏｋをより精度よく
教師信号ｔｉ＋に一致させることができるので、学習の
精度が向上すム 発明の効果 第１の発明によれば 誤差信号判定ａ 重み変更量算出
部 学習進度判定訊 しきい値制御部を設けることによ
り、誤差の大きさがしきい値以下の多入力−出力信号処
理部における重み変更はしないので、学習効率が向上し
学習に要する時間を短縮することができるだけでなく
、学習が進むにつれてしきい値を小さくして行くことに
より、出力信号算出部の出力をより精度よく教師信号に
一致させることができるので、学習の精度が向上すム また 第２の発明によれ１よ 飛び越し判定皿重み変更
量側＠撤 学習進度判定組 しきい値制御部を設けるこ
とにより、入力データに対して全ての多入力−出力信号
処理部の誤差の大きさがしきい値以下の場合、重み変更
量算出部における重み変更操作を飛ばすので、学習効率
が向上するだけでなく、演算量が大幅に削減できるので
学習に要する時間が短縮できも また 学習が進むにつ
れてしきい値を小さくして行くことにより、出力信号算
出部の出力をより精度よく教師信号に一致させることが
できるのて 学習の精度が向上する。
第１図は第１の発明の実施例における学習機械の構成を
示すブロック医 第２図は同実施例における出力信号算
出部の構成図 第３図は同実施例における多入力−出力
信号処理部の構成は 第４図は同実施例におけるしきい
値処理部の入出力特性医 第５図は第２の発明の実施例
における学習機械の構成を示すブロックに 第６図は従
来の学習機械の構成を示すブロック図であム ト・・出力信号算出部 ２・・・重み変更量算出部３・
・・多入力−出力信号処理Ｎ１．４・・・出力信号算出
部の入力ａ ５・・・多入力−出力信号処理部の入力餓
６・・・メモリ、７・・・乗算器 ８・・・加算像
９・・・しきい値処理訊 １０・・・教師信号発生訊
１１・・・誤差信号算出部 １２・・・重み変更量算出
Ｋ １３・・・重み変更量算出部 １４・・・誤差信
号算出部 ２４・・・飛び越し判定糺 代理人の氏名 弁理士 粟野重孝 ほか１名第 図
示すブロック医 第２図は同実施例における出力信号算
出部の構成図 第３図は同実施例における多入力−出力
信号処理部の構成は 第４図は同実施例におけるしきい
値処理部の入出力特性医 第５図は第２の発明の実施例
における学習機械の構成を示すブロックに 第６図は従
来の学習機械の構成を示すブロック図であム ト・・出力信号算出部 ２・・・重み変更量算出部３・
・・多入力−出力信号処理Ｎ１．４・・・出力信号算出
部の入力ａ ５・・・多入力−出力信号処理部の入力餓
６・・・メモリ、７・・・乗算器 ８・・・加算像
９・・・しきい値処理訊 １０・・・教師信号発生訊
１１・・・誤差信号算出部 １２・・・重み変更量算出
Ｋ １３・・・重み変更量算出部 １４・・・誤差信
号算出部 ２４・・・飛び越し判定糺 代理人の氏名 弁理士 粟野重孝 ほか１名第 図
Claims (10)
- （１）層構造をもち、各層内相互の結合がなく、上位層
にのみ信号が伝搬するようにネットワーク接続された複
数の多入力−出力信号処理部からなる出力信号算出部と
、該出力信号算出部で得られた出力信号をもとに前期出
力信号算出部の重み係数の値を更新する重み係数更新部
を具備し、前記多入力−出力信号処理部は、複数の重み
係数を保持するメモリと、複数のデータを入力する入力
部と、前記メモリに貯えられた重み係数で前記入力部か
らの入力データを重み付けする乗算手段と、前記乗算手
段で重み付けされた複数のデータを多数加え合わせる加
算手段と、該加算手段の出力を一定範囲の値に制限する
しきい値処理部を備え、前記重み係数更新部は、上記出
力信号算出部の出力信号の望ましい値として教師信号を
与える教師信号発生部と、前記出力信号と該教師信号と
の誤差を求める誤差信号算出部と、前記誤差信号算出部
の出力に応じて前記メモリに蓄えられた重み係数の変更
量を計算する重み変更量算出部と、前記誤差信号算出部
の出力がしきい値以下であるかどうかを判定する誤差信
号判定部と、学習の進み具合いを判定する学習進度判定
部と、前記学習進度判定部の判定結果に応じて前記しき
い値の値を次第に減少させるしきい値制御部と、前記誤
差信号判定部において誤差の値がしきい値以下と判定さ
れた場合には前記重み係数変更量を０にする重み変更量
制御部とを備えたことを特徴とする学習機機。 - （２）前記学習進度判定部は、前記出力信号算出部の最
上位層における多入力−出力信号処理部の誤差総和で学
習の進み具合いを判定することを特徴とする請求項１記
載の学習機械。 - （３）前記学習進度判定部は、学習回数により学習進度
を判定することを特徴とする請求項１記載の学習機械。 - （４）前記学習進度判定部は、前記出力信号算出部の最
上位層において、しきい値以上の誤差を出力する多入力
−出力信号処理部の個数で学習進度を判定することを特
徴とする請求項１記載の学習機械。 - （５）前記学習進度判定部は、前記誤差信号算出部の一
回の学習における最大出力の値で学習進度を判定するこ
とを特徴とする請求項１記載の学習機械。 - （６）層構造をもち、各層内相互の結合がなく、上位層
にのみ信号が伝搬するようにネットワーク接続された複
数の多入力−出力信号処理部からなる出力信号算出部と
、該出力信号算出部で得られた出力信号をもとに前期出
力信号算出部の重み係数の値を更新する重み係数更新部
を具備し、前記多入力−出力信号処理部は、複数の重み
係数を保持するメモリと、複数のデータを入力する入力
部と、前記メモリに貯えられた重み係数で前記入力部か
らの入力データを重み付けする乗算手段と、前記乗算平
段で重み付けされた複数のデータを多数加え合わせる加
算手段と、該加算手段の出力を一定範囲の値に制限する
しきい値処理部を備え前記重み係数更新部は、上記出力
信号算出部の出力信号の望ましい値として教師信号を与
える教師信号発生部と、前記出力信号と該教師信号との
誤差を求める誤差信号算出部と、前記誤差信号算出部の
出力に応じて前記メモリに蓄えられた重み係数の変更量
を計算する重み変更量算出部と、前記誤差信号算出部の
出力がしきい値以下であるかどうかを判定する誤差信号
判定部と、前期誤差信号判定部の出力を計数し全ての出
力信号が前記しきい値以下の場合に飛び越し信号を出力
する飛び越し判定部と、学習の進み具合いを判定する学
習進度判定部と、前記学習進度判定部の判定結果に応じ
て前記しきい値の値を次第に減少させるしきい値制御部
と、前記飛び越し信号に応じて前記重み変更量算出部に
おける重み変更操作をとばす重み変更量制御部とを備え
たことを特徴とする学習機械。 - （７）前記学習進度判定部は、前記出力信号算出部の最
上位層における多入力−出力信号処理部の誤差総和で学
習の進み具合いを判定することを特徴とする請求項６記
載の学習機械。 - （８）前記学習進度判定部は、学習回数により学習進度
を判定することを特徴とする請求項６記載の学習機械。 - （９）前記学習進度判定部は、前記出力信号算出部の最
上位層において、しきい値以上の誤差を出力する多入力
−出力信号処理部の個数で学習進度を判定することを特
徴とする請求項６記載の学習機械。 - （１０）前記学習進度判定部は、前記誤差信号算出部の
一回の学習における最大出力の値で学習進度を判定する
ことを特徴とする請求項６記載の学習機械。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2101937A JPH04662A (ja) | 1990-04-18 | 1990-04-18 | 学習機械 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2101937A JPH04662A (ja) | 1990-04-18 | 1990-04-18 | 学習機械 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH04662A true JPH04662A (ja) | 1992-01-06 |
Family
ID=14313823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2101937A Pending JPH04662A (ja) | 1990-04-18 | 1990-04-18 | 学習機械 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH04662A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5521017A (en) * | 1990-11-30 | 1996-05-28 | Nec Corporation | Magnetic recording medium |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62104324A (ja) * | 1985-10-31 | 1987-05-14 | Toshiba Corp | 適応形自動等化器 |
| JPH01320565A (ja) * | 1988-06-22 | 1989-12-26 | A T R Jido Honyaku Denwa Kenkyusho:Kk | ニューラルネットの学習効率化方法 |
-
1990
- 1990-04-18 JP JP2101937A patent/JPH04662A/ja active Pending
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS62104324A (ja) * | 1985-10-31 | 1987-05-14 | Toshiba Corp | 適応形自動等化器 |
| JPH01320565A (ja) * | 1988-06-22 | 1989-12-26 | A T R Jido Honyaku Denwa Kenkyusho:Kk | ニューラルネットの学習効率化方法 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5521017A (en) * | 1990-11-30 | 1996-05-28 | Nec Corporation | Magnetic recording medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Wang et al. | Neural network based model predictive controllers for modular multilevel converters | |
| Papadrakakis et al. | Optimization of large-scale 3-D trusses using evolution strategies and neural networks | |
| JPH0738186B2 (ja) | 自己拡張形ニユーラル・ネットワーク | |
| JPH07262158A (ja) | 時系列学習神経回路素子およびそれを用いた時系列学習神経回路 | |
| CN117311188B (zh) | 用于固定场所的人群导流栏杆的控制方法、系统、设备 | |
| JPH04114263A (ja) | 学習機械 | |
| CN105981287A (zh) | 变换器控制的改进或与变换器控制有关的改进 | |
| WO1993003443A1 (fr) | Processeur de signaux et sa methode d'apprentissage | |
| US5129038A (en) | Neural network with selective error reduction to increase learning speed | |
| Tsai et al. | Structure-specified IIR filter and control design using real structured genetic algorithm | |
| JPH04662A (ja) | 学習機械 | |
| JPH0451384A (ja) | ニューラルネットワークの構築方法 | |
| JP7382633B2 (ja) | 学習モデル構築装置、学習モデル構築方法及びコンピュータプログラム | |
| JP2779119B2 (ja) | 学習認識装置 | |
| Kim et al. | Optimization of via formation in photosensitive dielectric layers using neural networks and genetic algorithms | |
| CN109981056B (zh) | 一种基于npc逆变器的数字功率放大器的输出控制方法 | |
| JPH02231670A (ja) | ニューラル・ネットワークの学習装置 | |
| JPH0462657A (ja) | 学習機械 | |
| JPH0367358A (ja) | 学習機械 | |
| JPH0713745A (ja) | 神経回路網型パターン学習方法およびパターン処理装置 | |
| JP3328953B2 (ja) | 非線形シナプスニューロン、そのデバイス及びそれを用いた予測方法 | |
| JPH0233655A (ja) | 神経回路網型パターン処理装置 | |
| Hwang et al. | Fast learning neural network with modified neurons | |
| JP3332414B2 (ja) | ニューラルネットワークの学習装置 | |
| JP3082530B2 (ja) | ニューラルネットワーク回路 |