JPH11134314A - 簡略化準ニュートン射影法演算システム、神経回路網学習システム、記録媒体および信号処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 デジタル式演算装置の固定小数点演算による
準ニュートン射影法にて神経回路網の学習等を行う場合
に、計算時間を短く、メモリの消費量も小さく、かつ計
算結果が正確になる簡略化準ニュートン射影法演算シス
テム等の提供。 【解決手段】 本学習処理では、計算上、４つの簡略化
を行っている。そして、この４つの簡略化は、神経回路
網のシナプス荷重ｗに上下限を設定するに際して、制約
条件の係数ベクトルａⁱが、第li要素が−１または１で
あり、他の要素が全て０の１行Ｍ列の行ベクトルである
との制約のもとに、初めて得られる。例えば、ステップ
Ｓ２４０にて式１に示すごとくで簡略化される。 【数１】

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、簡略化準ニュート
ン射影法演算システム、このシステムを利用した神経回
路網学習システム、これらのシステムをコンピュータシ
ステム上で実現するプログラムを記録した記録媒体、お
よび信号処理装置に関する。

【０００２】

【従来の技術】神経回路網（ニューラルネットワークと
も言う。）は、パターン認識やデータ処理等に広く応用
されている。この神経回路網は、繰り返し行われる学習
処理によりその処理能力を獲得するものであり、迅速な
学習と学習処理後に獲得される能力向上のために、シナ
プス荷重の変更方法がいくつか提案されている。

【０００３】神経回路網はユニットからなる入力層、中
間層、出力層と各層間を結合するシナプスから構成され
る。各シナプスはシナプス荷重という重みを持ち、この
シナプス荷重を学習により変えることで様々な入出力特
性を実現できる。以下シナプスの総数をＭとし、各シナ
プス荷重をｗ₁，ｗ₂，…ｗ_Mとする。また、ｗ＝［ｗ₁，
ｗ₂，…ｗ_M］^tで表す。

【０００４】神経回路網の学習は、教師入力信号を神経
回路網に入力したときの神経回路網出力信号を計算し、
この出力信号と教師出力信号と比較し、比較結果に基づ
いて各シナプス荷重ｗ₁，ｗ₂，…，ｗ_Mを変更して、教
師出力信号と神経回路網出力信号との誤差、例えば、自
乗誤差和Ｅ（ｗ）が最小になるようにする処理である。

【０００５】一般に最小値はたとえばバックプロパゲー
ション法（McClelland,J.L.,Rumelhart,D.E., and the
PDP Research Group, Parallel Distributed Processin
g: Explorations in the Microstructure of Cognitio
n, MIT Press, Chapter 8, 1986）などの降下法によっ
て計算する。

【０００６】このバックプロパゲーション法の計算ステ
ップを説明する。ここで、ｋは更新回数、ｋ_maxは更新
回数の上限である。また降下法の模式図を図８（ａ）に
示す。（厳密に言うと、以下のステップで求まるのは最
小値ではなく極小値であるが、以下の説明において本質
的な違いをもたらすものではない。） ステップ１：ｋ＝０として、神経回路網のシナプス荷重
に初期値ｗ^kを設定する。

【０００７】ステップ２：ｗ^kにおけるＥ（ｗ^k）の勾配
∇Ｅ（ｗ^k）を計算する。∇Ｅ（ｗ^k）＝０ならステップ
４に飛ぶ。 ステップ３：Ｅ（ｗ^k+1）＜Ｅ（ｗ^k）を満たす新たな点
ｗ^k+1を見つける。そしてｗ^kにｗ^k+1の値を設定して新
たなｗ^kとして、ｋ＜ｋ_maxならステップ２に戻る。ｋ＝
ｋ_maxなら、ステップ４に移る。

【０００８】ステップ４：ｗ^kを解とする。 図８（ａ）の例では誤差曲面３０１において、初期値ｗ
⁰を与えたときの学習の進行する様子を示す。ここでは
ｋ回更新後の値ｗ^kにおいて最小値に収束している。

【０００９】しかし適用事例によっては最小値が空間の
無限遠に存在するものがある。このような事例の学習を
行なうと、一部のシナプス荷重の絶対値がたとえば１０
００を超えて増大し続ける。その例を図８（ｂ）に示
す。このような神経回路網はシナプス荷重のダイナミッ
クレンジが大きく、デジタル式演算装置の浮動小数点演
算では正しい入出力特性が得られるが、固定小数点演算
では大きな量子化誤差が発生し所望の入出力特性が得ら
れない。民生品ではコスト削減等の理由で固定小数点Ｃ
ＰＵを用いるので、シナプス荷重が過大になるような神
経回路網を組み込んで使用することはできない。

【００１０】例えば、語長１６ビットの固定小数点演算
で神経回路網を計算する場合を考える。［ｓｘｘｘｘｘ
ｘｘ．ｘｘｘｘｘｘｘｘ］は小数部に８ビットを割り当
てたデータ型を示す。ｓは符号ビット、ｘは数値データ
を表すビットである。このデータ型で表現できる数の精
度は「１／２⁸＝０．００３９０６２５」であり、範囲
は［−２^16-1／２⁸，（２^16-1−１）／２⁸］＝［−１２
８，１２７．９９６０９３７５］である。

【００１１】神経回路網を固定小数点演算で実現する場
合、シナプス荷重ｗ＝［ｗ₁ ｗ₂… ｗ_M］^tを固定小数
点データ型で表現する。データ型は各シナプス荷重の絶
対値の最大値により決まる。たとえばその値が１０００
であるとすると、その格納のため整数部は１０ビット必
要となり、小数部は５ビットしか取れない。すなわち、
［ｓｘｘｘｘｘｘｘｘｘｘ．ｘｘｘｘｘ］となる。この
精度は「１／２⁵＝０．０３１２５」であり、範囲は
［−２^16-1／２⁵，（２^16-1−１）／２⁵］＝［−１０２
４，１０２３．９６８７５］である。これでは演算精度
を低下させ、量子化誤差が増大する原因となる。

【００１２】上述した量子化誤差を低減させる方法とし
て、バックプロパゲーション法にてシナプス荷重に上下
限を設けて、学習させる方法が知られている（特開平７
−１５２７１６号公報，特開平７−４４５１５号公報，
特開平２−１４３３８４号公報）が、バックプロパゲー
ション法の特質から計算速度を高める各種の工夫が困難
であり計算速度は不十分なものであった。

【００１３】この他に、シナプス荷重の絶対値増大を抑
制する方法としては、ペナルティ関数法がある（Michae
l A.Arbib, The Handbook of Brain Theory and Neural
Networks, MIT Press,p643,p992）。これはＧ（ｗ）＝
Ｅ（ｗ）＋μ×Ｆ（ｗ）で定義された自乗誤差和Ｅ
（ｗ）と各シナプスの自乗の関数であるペナルティ項Ｆ
（ｗ）の和で定義される関数Ｇ（ｗ）を最小化する方法
である。係数μはＥ（ｗ）とＦ（ｗ）との相対的な重要
度を決めるパラメーターである。

【００１４】しかしながらペナルティ関数法ではパラメ
ーターμを試行錯誤により設定しなければならないとい
う問題があり、適切な解が得られるまでに長時間を要し
た。

【００１５】

【発明が解決しようとする課題】上述した問題を生じな
い方法として、シナプス荷重の絶対値に上限を設定し、
その上限を超えない範囲で学習を行なうことが考えられ
る。その実現には準ニュートン射影法であるＧｏｌｄｆ
ａｒｂ（コールドファーブ）法が利用できる（たとえば
今野 浩、山下 浩、非線型計画法、日科技連、p.264-26
7）。

【００１６】しかしながらＧｏｌｄｆａｒｂ法は一般化
逆行列等の複雑な計算が必要なため、プログラミングが
困難であった。また一般化逆行列等の計算時間は長く、
計算に用いる作業用メモリ領域としてかなり大きなもの
が必要であった。別の問題として、一般化逆行列の計算
は桁落ち等の数値解析上の問題により、デジタル式演算
装置では正確な計算ができないことがあり、その現象が
生じた場合、計算結果が不正確になるという問題があっ
た。

【００１７】本発明は、デジタル式演算装置の固定小数
点演算による準ニュートン射影法にて神経回路網の学習
等を行う場合に、計算時間を短く、メモリの消費量も小
さく、かつ計算結果が正確になる簡略化準ニュートン射
影法演算システムを提供すること、更にこの簡略化準ニ
ュートン射影法演算システムを利用した神経回路網学習
システム、これらのシステムをコンピュータシステム上
で実現するプログラムを記録した記録媒体および前記神
経回路網学習システムによる学習処理により得られた神
経回路網を組み込んだ信号処理装置の提供を目的とする
ものである。

【００１８】

【課題を解決するための手段及び発明の効果】本発明の
簡略化準ニュートン射影法演算システムは、固定小数点
演算を行うデジタル式演算装置を用いて、式１にて表さ
れ式２の制約条件を満たすＭ個の変数ｗからなる関数Ｅ
（ｗ）が最小値となる変数ｗの解を求めるに際して、基
本的には前述した準ニュートン射影法を用いている。

【００１９】すなわち、直線探索を行って、関数Ｅ
（ｗ）の値を小さくする変数ｗの値を求める第１処理手
段と、前記第１処理手段の処理の次に行われ、新しい変
数ｗの値に基づく前記式２の新しい制約条件が有効にな
ったら、新たに有効になった制約条件の係数ベクトルａ
^rを、制約条件が有効である係数ベクトルから構成され
ている行列Ａ_qに加え、かつ前記関数Ｅ（ｗ）の勾配を
表す転置行列∇^tＥ（ｗ）から前記関数Ｅ（ｗ）の変化
方向を表すベクトルｄを求めるためのヘシアンＨを式３
により更新して処理を前記第１処理手段に戻し、新しい
変数ｗの値に基づく新しい制約条件が有効にならなかっ
たら、新しいヘシアンＨを作成するための公式にて、新
たなヘシアンＨを更新して処理を前記第１処理手段に戻
す第２処理手段と、前記第１処理手段にて、前記転置行
列∇^tＥ（ｗ）と前記ヘシアンＨとの積に基づいて得ら
れる前記関数Ｅ（ｗ）の変化方向を表すベクトルｄがゼ
ロとなった場合には、式４に基づいて行列で得られるラ
グランジュ乗数λの要素すべてが非負ならば、そのとき
のｗを解として得て全処理を終了し、前記ベクトルｄが
ゼロでない場合には、ラグランジュ乗数λの負の要素の
内、絶対値が最大のものに対応する制約条件の係数ベク
トルａ^sを、前記行列Ａ_qから除いて、式５に基づいてヘ
シアンＨを更新して処理を第１処理手段に戻す第３処理
手段と、を備えることにより、準ニュートン射影法によ
る演算を行っている。

【００２０】この準ニュートン射影法による処理におい
て、１〜Ｍの整数の内、相異なるｑ個の整数を要素とす
る集合Ｉ_cを式６に示すごとく表し、各ｌ_i（ｉ＝１，
２，…，ｑ）に対して１行Ｍ列のベクトルで、第ｌ_iの
要素がｃ_liであり他の要素がすべて０、かつｃ_liが＋１
または−１で定義されるベクトルを式７の記号で表し、
更にｑ行Ｍ列の行列Ａ_qを式８に示すごとく表した場合
に、前記式４の計算の内、式９にて表す行列の計算の代
わりに、ｍ∈Ｉ_cならばｂ_m＝１、ｍ∈Ｉ_cでないならば
ｂ_m＝０である関数ｂ_mを対角要素とする対角行列ｄｉａ
ｇ［ｂ₁ ｂ₂ …ｂ_M］の計算を用いることとして、準
ニュートン射影法を簡略化している。

【００２１】

【数６】

【００２２】この簡略化により、式９に示す一般化逆行
列の計算をしなくて済む。したがって、計算時間が長く
ならず、計算に用いる作業用メモリ領域も小さくて済
む。更に、桁落ち等の数値解析上の問題が生じないの
で、正確な計算ができる。また同様に、直線探索を行っ
て、関数Ｅ（ｗ）の値を小さくする変数ｗの値を求める
第１処理手段と、前記第１処理手段の処理の次に行わ
れ、新しい変数ｗの値に基づく前記式１２の新しい制約
条件が有効になったら、新たに有効になった制約条件の
係数ベクトルａ^rを、制約条件が有効である係数ベクト
ルから構成されている行列Ａ_qに加え、かつ前記関数Ｅ
（ｗ）の勾配を表す転置行列∇^tＥ（ｗ）から前記関数
Ｅ（ｗ）の変化方向を表すベクトルｄを求めるためのヘ
シアンＨを式１３により更新して処理を前記第１処理手
段に戻し、新しい変数ｗの値に基づく新しい制約条件が
有効にならなかったら、新しいヘシアンＨを作成するた
めの公式にて、新たなヘシアンＨを更新して処理を前記
第１処理手段に戻す第２処理手段と、前記第１処理手段
にて、前記転置行列∇^tＥ（ｗ）と前記ヘシアンＨとの
積に基づいて得られる前記関数Ｅ（ｗ）の変化方向を表
すベクトルｄがゼロとなった場合には、式１４に基づい
て行列で得られるラグランジュ乗数λの要素すべてが非
負ならば、そのときのｗを解として得て全処理を終了
し、前記ベクトルｄがゼロでない場合には、ラグランジ
ュ乗数λの負の要素の内、絶対値が最大のものに対応す
る制約条件の係数ベクトルａ^sを、前記行列Ａ_qから除い
て、式１５に基づいてヘシアンＨを更新して処理を第１
処理手段に戻す第３処理手段と、を備えることにより、
準ニュートン射影法による演算を行うに際して、次のよ
うな処理としても良い。

【００２３】すなわち、ヘシアンＨの第ｉ行第ｊ列の要
素をｈ_ijで表し、全ての制約条件における各係数ベクト
ルａ^rの第ｒ要素が＋１または−１であり、他の要素が
すべて０であるとして表すことで、前記式１３の計算の
内、式１６にて表す行列の計算の代わりに、第ｉ行第ｊ
列の要素が式１７で表されるＭ行Ｍ列の行列の計算を用
いることを特徴とするものである。

【００２４】

【数７】

【００２５】この簡略化により、５回の行列の乗算が必
要な式１６が、式１７のごとく簡略化される。したがっ
て、計算時間が長くならず、計算に用いる作業用メモリ
領域も小さくて済む。更に、桁落ち等の数値解析上の問
題が生じないので、正確な計算ができる。

【００２６】また同様に、直線探索を行って、関数Ｅ
（ｗ）の値を小さくする変数ｗの値を求める第１処理手
段と、前記第１処理手段の処理の次に行われ、新しい変
数ｗの値に基づく前記式２２の新しい制約条件が有効に
なったら、新たに有効になった制約条件の係数ベクトル
ａ^rを、制約条件が有効である係数ベクトルから構成さ
れている行列Ａ_qに加え、かつ前記関数Ｅ（ｗ）の勾配
を表す転置行列∇^tＥ（ｗ）から前記関数Ｅ（ｗ）の変
化方向を表すベクトルｄを求めるためのヘシアンＨを式
２３により更新して処理を前記第１処理手段に戻し、新
しい変数ｗの値に基づく新しい制約条件が有効にならな
かったら、新しいヘシアンＨを作成するための公式に
て、新たなヘシアンＨを更新して処理を前記第１処理手
段に戻す第２処理手段と、前記第１処理手段にて、前記
転置行列∇^tＥ（ｗ）と前記ヘシアンＨとの積に基づい
て得られる前記関数Ｅ（ｗ）の変化方向を表すベクトル
ｄがゼロとなった場合には、式２４に基づいて行列で得
られるラグランジュ乗数λの要素すべてが非負ならば、
そのときのｗを解として得て全処理を終了し、前記ベク
トルｄがゼロでない場合には、ラグランジュ乗数λの負
の要素の内、絶対値が最大のものに対応する制約条件の
係数ベクトルａ^sを、前記行列Ａ_qから除いて、式２５に
基づいてヘシアンＨを更新して処理を第１処理手段に戻
す第３処理手段と、を備えることにより、準ニュートン
射影法による演算を行うに際して、次のような処理とし
ても良い。

【００２７】すなわち、１〜Ｍの整数の内、相異なるｑ
個の整数を要素とする集合Ｉ_cを式２６に示すごとく表
し、集合Ｉ_cに含まれる各整数ｌ_i（ｉ＝１，２，…，
ｑ）に対して１行Ｍ列のベクトルで、第ｌ_iの要素がｃ
_liであり他の要素がすべて０、かつｃ_liが＋１または−
１で定義されるベクトルを式２７の記号で表し、更に前
記行列Ａ_qを式２８に示すごとくｑ行Ｍ列の行列で表
し、∇Ｅ（ｗ^k）を式２９に示すごとく表すことで、前
記式２４の計算の内、式３０にて表す行列の計算の代わ
りに、式３１にて表す計算を用いることを特徴とするも
のである。

【００２８】

【数８】

【００２９】この簡略化により、式３０に示す一般化逆
行列の計算をしなくて済む。したがって、計算時間が長
くならず、計算に用いる作業用メモリ領域も小さくて済
む。更に、桁落ち等の数値解析上の問題が生じないの
で、正確な計算ができる。また同様に、直線探索を行っ
て、関数Ｅ（ｗ）の値を小さくする変数ｗの値を求める
第１処理手段と、前記第１処理手段の処理の次に行わ
れ、新しい変数ｗの値に基づく前記式４２の新しい制約
条件が有効になったら、新たに有効になった制約条件の
係数ベクトルａ^rを、制約条件が有効である係数ベクト
ルから構成されている行列Ａ_qに加え、かつ前記関数Ｅ
（ｗ）の勾配を表す転置行列∇^tＥ（ｗ）から前記関数
Ｅ（ｗ）の変化方向を表すベクトルｄを求めるためのヘ
シアンＨを式４３により更新して処理を前記第１処理手
段に戻し、新しい変数ｗの値に基づく新しい制約条件が
有効にならなかったら、新しいヘシアンＨを作成するた
めの公式にて、新たなヘシアンＨを更新して処理を前記
第１処理手段に戻す第２処理手段と、前記第１処理手段
にて、前記転置行列∇^tＥ（ｗ）と前記ヘシアンＨとの
積に基づいて得られる前記関数Ｅ（ｗ）の変化方向を表
すベクトルｄがゼロとなった場合には、式４４に基づい
て行列で得られるラグランジュ乗数λの要素すべてが非
負ならば、そのときのｗを解として得て全処理を終了
し、前記ベクトルｄがゼロでない場合には、ラグランジ
ュ乗数λの負の要素の内、絶対値が最大のものに対応す
る制約条件の係数ベクトルａ^sを、前記行列Ａ_qから除い
て、式４５に基づいてヘシアンＨを更新して処理を第１
処理手段に戻す第３処理手段と、を備えることにより、
準ニュートン射影法による演算を行うに際して、次のよ
うな処理としても良い。

【００３０】すなわち、１〜Ｍの整数の内、相異なるｑ
個の整数を要素とする集合Ｉ_cを式４６に示すごとく表
し、集合Ｉ_cに含まれる各整数ｌ_i（ｉ＝１，２，…，
ｑ）に対して１行Ｍ列のベクトルで、第ｌ_iの要素がｃ
_liであり他の要素がすべて０、かつｃ_liが＋１または−
１で定義されるベクトルを式４７の記号で表し、更に前
記行列Ａ_qを式４８に示すごとくｑ行Ｍ列の行列で表す
ことで、前記式４５の計算の内、式４９にて表す行列の
計算の代わりに、第ｓ行ｓ列の要素が１で他の要素が全
て０であるＭ行Ｍ列の計算を用いることを特徴とするも
のである。

【００３１】

【数９】

【００３２】この簡略化により、行列の計算が不要とな
る。したがって、計算時間が長くならず、計算に用いる
作業用メモリ領域も小さくて済む。更に、桁落ち等の数
値解析上の問題が生じないので、正確な計算ができる。
また、これら全ての簡略化を用いたものであっても良
く、より一層効果的である。

【００３３】第２処理手段にて用いられる公式として
は、ＢＦＧＳ公式、ＤＦＰ公式あるいは対称ランク１公
式が挙げられる。前記Ｍ個の変数ｗは、神経回路網にお
ける入力層のユニットから出力層のユニットに至るユニ
ットを結合するＭ本のシナプスのシナプス荷重を表し、
関数Ｅ（ｗ）は前記神経回路網に与えられる教師信号と
前記神経回路網の出力との誤差を表し、第１処理手段、
第２処理手段および第３処理手段によって行われる関数
Ｅ（ｗ）が最小値となる変数ｗの解を求める処理は、前
記神経回路網に対する学習処理であるものとして、上述
した簡略化準ニュートン射影法演算システムを神経回路
網学習システムに適用しても良い。

【００３４】前述したごとく、メモリ不足を生じること
なく短時間に学習して、精度の高い神経回路網を作成す
ることができる。なお、このような簡略化準ニュートン
射影法演算システムや神経回路網学習システムの各手段
をコンピュータシステムにて実現する機能は、例えば、
コンピュータシステム側で起動するプログラムとして備
えることができる。このようなプログラムの場合、例え
ば、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯ
Ｍ、ハードディスク等のコンピュータ読み取り可能な記
録媒体に記録し、必要に応じてコンピュータシステムに
ロードして起動することにより用いることができる。こ
の他、ＲＯＭやバックアップＲＡＭをコンピュータ読み
取り可能な記録媒体として前記プログラムを記録してお
き、このＲＯＭあるいはバックアップＲＡＭをコンピュ
ータシステムに組み込んで用いても良い。

【００３５】上述した神経回路網学習システムによる学
習処理により得られた神経回路網は、信号処理装置に組
み込まれることにより、入力層のユニットから出力層の
ユニットへ、Ｍ本のシナプスのシナプス荷重に基づいて
信号を処理することができる。このような信号処理装置
に組み込むためには、例えば、処理される入力信号を、
神経回路網の入力層のユニットへ入力する入力手段と、
神経回路網の出力層のユニットの状態を読み取って信号
として出力する出力手段と、を備える。

【００３６】前記神経回路網学習システムによる学習処
理は、安価なデジタルコンピュータでも迅速に学習で
き、しかも正確な学習結果を得ることができるので、信
号処理装置においても精度の高い出力をなすことができ
る。

【００３７】

【発明の実施の形態】図１は、上述した発明が適用され
た神経回路網学習システム２の概略構成を表すブロック
図である。本神経回路網学習システム２は、神経回路網
１２、学習制御部１４、標準パターン格納部１８を備え
る。ここでは、神経回路網１２はＲＡＭやＥＥＰＲＯＭ
等の書換え可能なメモリが用いられる。更に、学習制御
部１４はコンピュータ装置として構成され、その中心と
なるＣＰＵはデジタル式演算装置を用いている。学習制
御部１４は、ハードディスクにて構成される標準パター
ン格納部１８に他のデータと共に記憶されているプログ
ラムをＲＡＭにロードして後述する神経回路網学習処理
を実行する。

【００３８】本神経回路網学習システム２は神経回路網
１２に対して学習処理を行う。この学習処理では、図２
に示すごとく、学習制御部１４は標準パターン格納部１
８内に備えられた教師パターンデータベース１８ａの標
準パターンから、標準入力信号１８ｂを形成して神経回
路網１２へ出力する。学習制御部１４は、標準入力信号
１８ｂの入力に伴う神経回路網１２からの出力信号１８
ｃを、教師パターンデータベース１８ａの標準パターン
から形成した教師信号１８ｄと比較する。この比較結果
に基づいて学習制御部１４は、シナプス荷重更新指令信
号１８ｅを神経回路網１２へ出力する。このシナプス荷
重更新指令信号１８ｅを受けて神経回路網１２ではユニ
ット１２ａのシナプス荷重、ここではＭ個のシナプス荷
重が調整される。この処理を繰り返すことにより、神経
回路網１２にて学習が行われる。

【００３９】このようにして学習される神経回路網１２
の一例として、図３に、オートカーエアコンの制御用途
に用いるための神経回路網１２の学習例を示す。標準入
力信号１８ｂとしてオートカーエアコンの運転状態を検
出するセンサからの信号、この神経回路網１２では、目
標吹出温度、日射量、内気温度および外気温度の信号が
入力され、出力信号として風量レベルを出力している。
この風量レベル出力信号が学習制御部１４にて教師信号
と比較されて、シナプス荷重を更新する指令がなされ
る。これを繰り返すことにより学習がなされる。

【００４０】このようにして学習された結果、適切なシ
ナプス荷重が得られれば、例えば自動車に搭載される電
子制御ユニット（ＥＣＵ）に組み込まれて、オートカー
エアコンのセンサから目標吹出温度、日射量、内気温度
および外気温度の信号を入力して、風量レベルを出力す
ることにより、オートカーエアコンの風量を制御するこ
とができる。

【００４１】上述した学習処理において、シナプス荷重
更新指令信号、すなわち、Ｍ個のシナプス荷重の変動量
は、簡略化準ニュートン射影法演算システムとして構成
されている神経回路網学習システム２により決定され
る。次に神経回路網学習システム２にておこなわれる神
経回路網学習処理について説明する。神経回路網学習処
理のフローチャートを図４〜図６に示す。この神経回路
網学習処理は、Ｇｏｌｄｆａｒｂ法（たとえば今野
浩、山下 浩、非線型計画法、日科技連、p.264-267）を
利用した簡略化準ニュートン射影法によるものである。

【００４２】なお、Ｇｏｌｄｆａｒｂ法は、線形制約条
件付き最適化問題を解く手法である。前述した神経回路
網１２に対して線形制約条件付き最適化問題は以下のよ
うに定式化される。すなわち、Ｍ個のシナプス荷重
ｗ₁，ｗ₂，…，ｗ_Mを変数として、前述した自乗誤差和
の関数Ｅ（ｗ）は式７１のごとく表され、この関数Ｅ
（ｗ）において、式７２で表すＫ個の不等式を満足する
最小値を求める手法である。ただし、ｗは式７３で定義
される。

【００４３】

【数１０】

【００４４】ここで、いくつか用語と記号を定義する。 （１）有効制約とＩ（ｗ） あるｗに対しａⁱｗ−ｂⁱ＝０となる制約条件を、制約条
件が有効である（以下、「有効制約」と称する。）と呼
ぶ。またその番号ｉの集合を式７４のごとくＩ（ｗ）で
表す。

【００４５】

【数１１】

【００４６】（２）すべての制約条件を満たす点の集合
を許容領域と呼び、式７５のごとく記号Ｓで表す。

【００４７】

【数１２】

【００４８】（３）ｗにおける有効制約の数をｑとし、
有効制約の係数ベクトルａⁱ（制約条件が有効である係
数ベクトルａⁱ）を行に持つｑ行Ｍ列の行列をＡ_qとし、
Ｉ（ｗ）が式７６で表されるとき、Ａ_qは式７７のごと
く表す。

【００４９】

【数１３】

【００５０】（４）Ｍ×Ｍの単位行列をＩ_Mで表記す
る。 （５）式７８によりＭ行Ｍ列の行列を定義する。第２項
に現れる式７９はＡ_qの一般化逆行列である。

【００５１】

【数１４】

【００５２】（６）Ｇｏｌｄｆａｒｂ法では式８０で表
される条件を満足する点ｗ^k+1を見つけるのにヘシアン
というＭ行Ｍ列の行列を使用する。ｋ回目の更新におけ
るヘシアンをＨ_kで示す。ヘシアンＨ_kは常に対称行列で
あり、式８１で表す関係が成立する。

【００５３】

【数１５】

【００５４】（７）式８２のごとく表される∇Ｅ
（ｗ^k）は、点ｗ^kにおける関数Ｅ（ｗ^k）の勾配を示
す。これは１行Ｍ列の行ベクトルである。∇Ｅ^t（ｗ^k）
はその転置であり、Ｍ行１列の列ベクトルである。

【００５５】

【数１６】

【００５６】（８）対角要素がａ₁ ａ₂ … ａ_Mであ
るＭ行Ｍ列の対角行列を式８３に示すごとく表記する。

【００５７】

【数１７】

【００５８】神経回路網学習処理が開始されると、ま
ず、ｋ＝０にｋが初期設定され、初期値としてｗ⁰∈Ｓ
を満足するシナプス荷重ｗ⁰が選択される（Ｓ１０
０）。次に、有効制約の番号の集合Ｉ（ｗ⁰）と、行列
Ａ_qとを求める（Ｓ１０２）。式８４により、Ｐ_qを求め
る（Ｓ１０４）。

【００５９】

【数１８】

【００６０】ここで、ｄｉａｇ［ｂ₁ ｂ₂ … ｂ_M］
は、ｍ∈Ｉ（ｗ⁰）ならｂ_m＝１、ｍ∈Ｉ（ｗ⁰）でない
ならｂ_m＝０である関数ｂ_mを対角成分とする対角行列を
表している。次に、ヘシアンＨの初期の内容として、Ｐ
_qをそのまま設定する（Ｓ１０６）。

【００６１】次に、学習制御部１４はシナプス荷重更新
指令信号１８ｅを神経回路網１２に出力して、神経回路
網１２の実際のシナプス荷重をｗ⁰の値に設定する（Ｓ
１１０）。次に、標準パターン格納部１８からの標準パ
ターンの内の標準入力信号１８ｂを、神経回路網１２の
入力層のユニット１２ａに入力し、同時に神経回路網１
２の出力層のユニット１２ａからの出力信号１８ｃを、
学習制御部１４内のメモリに記録する（Ｓ１２０）。

【００６２】次に、Ｅ（ｗ^k）が算出され（Ｓ１３
０）、更に∇Ｅ（ｗ^k）が算出される（Ｓ１３４）。Ｅ
（ｗ^k）は、式８５に示すごとく、ｔで表す標準パター
ンの教師信号１８ｄとｏで表す神経回路網１２の出力信
号１８ｃとの自乗誤差和に該当する。

【００６３】

【数１９】

【００６４】ここで、Ｎは出力層のユニット数、Ｐは標
準パターンの数である。∇Ｅ（ｗ^k）は、式８６に示す
ごとく定義される。

【００６５】

【数２０】

【００６６】次に、∇Ｅ（ｗ^k）を転置した∇^tＥ
（ｗ^k）をヘシアンＨ_kにより、式８７のごとくの計算に
より、Ｅ（ｗ^k）の変化方向を表すベクトルｄ^kを求める
（Ｓ１４０）。

【００６７】

【数２１】

【００６８】次に、ｄ^k＝０か否かが判定される（Ｓ１
５０）。ｄ^k＝０で無ければ（Ｓ１５０にて「Ｎ
Ｏ」）、次に直線探索により、新たなシナプス荷重ｗ
^k+1を設定する（Ｓ１９０）。ただし、直線探索は、式
８８に示す計算によって行われる。

【００６９】

【数２２】

【００７０】ここで、係数行列αkは、αk＞0 かつｗ
^k+1∈Ｓとなる範囲で設定する。次に、新たに設定され
たシナプス荷重ｗ^k+1を神経回路網１２のシナプス荷重
として設定して、標準入力信号１８ｂを神経回路網１２
の入力層のユニット１２ａに入力し、出力層のユニット
１２ａからの出力信号１８ｃと教師信号１８ｄとによ
る、式８５に示した計算を行って、Ｅ（ｗ^k+1）を算出
する（Ｓ２００）。そして、式８９を満足するか否かを
判定する（Ｓ２１０）。

【００７１】

【数２３】

【００７２】式８９を満足していなければ（Ｓ２１０で
「ＮＯ」）、再度、ステップＳ１９０に戻って、更に直
線探索を継続して、Ｅ（ｗ^k+1）を検討する。直線探索
の結果、式８９を満足すれば（Ｓ２１０で「ＹＥ
Ｓ」）、次に、式７２で示した制約条件の内、新たに有
効制約となったものがあるか否かが判定される（Ｓ２２
０）。新たに有効になった制約条件がなければ（Ｓ２２
０で「ＮＯ」）、ＢＦＧＳ公式によりＨ_kを更新する
（Ｓ２３０）。

【００７３】ＢＦＧＳ公式による計算は、式９０に示す
ごとくなされる。なお、ｓ^k＝ｗ^k+1−ｗ^k、ｒ^k＝∇^tＥ
（ｗ^k+1）−∇^tＥ（ｗ^k）とする。

【００７４】

【数２４】

【００７５】一方、新たに有効になった制約条件があれ
ば（Ｓ２２０で「ＹＥＳ」）、式９１にて新たなヘシア
ンＨ_k+1を算出する（Ｓ２４０）。

【００７６】

【数２５】

【００７７】ここで、Ｒ_kは、Ｈ_kの第ｉ行第ｊ列の要素
をｈ^k _ijとした場合に、式９２で示すごとく第ｉ行第ｊ
列の要素が表される行列である。

【００７８】

【数２６】

【００７９】次に、新たに有効になった制約条件を行列
Ａ_qに加えて、Ａ_q+1とし（Ｓ２５０）、有効制約の数を
表すカウンタｑをインクリメントする（Ｓ２６０）。そ
して、ｋをインクリメントする（Ｓ２７０）。ステップ
Ｓ２３０の処理が終了した場合もこのステップＳ２７０
の処理を行う。

【００８０】ステップＳ２７０の次にｋがｋの上限値ｋ
_maxを越えていないか判定し（Ｓ２７２）、越えていな
ければ（Ｓ２７２で「ＮＯ」）、新たな∇Ｅ（ｗ^k）を
算出し（Ｓ１３４）、新たなヘシアンＨ_kと∇^tＥ
（ｗ^k）とにより、式８７に示したごとく、ベクトルｄ^k
を求め（Ｓ１４０）、ｄ^k＝０でなければ（Ｓ１５０で
「ＮＯ」）、前述した処理が繰り返される。

【００８１】もし、ｄ^k＝０であった場合には（Ｓ１５
０で「ＹＥＳ」）、ラグランジュ乗数λを式９３のごと
く算出する（Ｓ２８０）。ここで、Ｉ（ｗ^k）は、式９
４、∇Ｅ（ｗ^k）は式９５のごとく定義されている。

【００８２】

【数２７】

【００８３】次にラグランジュ乗数λの全要素が非負、
すなわち、λの全要素≧０か否かが判定される（Ｓ２９
０）。ラグランジュ乗数λの全要素が非負でない場合
（Ｓ２９０で「ＮＯ」）は、現在のシナプス荷重ｗ^kは
解ではないので、ラグランジュ乗数λの要素の内、最も
小さい要素、すなわち負で絶対値が最大の要素（番号
ｓ）に対応する制約条件ａ^sをＡ_qから取り除き、Ａ_q-1
とする（Ｓ３００）。

【００８４】次にＩ（ｗ^k）から番号ｓを取り除く（Ｓ
３１０）。そして、式９６の計算にて、新たなヘシアン
Ｈ_k+1を算出する（Ｓ３２０）。

【００８５】

【数２８】

【００８６】ここでＤsは、第ｓ行第ｓ列の要素が１で
他は全て０のＭ行Ｍ列の行列である。次にｑがステップ
Ｓ３００でＡ_qから要素を１つ取り除いたことに対応し
て、１つ減算される（Ｓ３３０）。

【００８７】次にｋをインクリメントして（Ｓ３４
０）、ｋがｋの上限値ｋ_maxを越えていないか判定し
（Ｓ３４２）、越えていなければ（Ｓ３４２で「Ｎ
Ｏ」）、ベクトルｄ^kを求める処理（Ｓ１４０）に戻
る。以後、ステップＳ１５０またはステップＳ２９０に
て「ＮＯ」と判定される限り、前述した処理を繰り返
し、学習が継続される。

【００８８】ステップＳ２９０にてラグランジュ乗数λ
の全要素が非負であると判定された場合（Ｓ２９０にて
「ＹＥＳ」）、この時に設定されているｗ^kが解として
記録される（Ｓ３５０）。こうして学習処理は終了す
る。なお、ステップＳ２７２またはステップＳ３４２に
て、ｋ＞ｋ_maxと判定された場合も、この時に設定され
ているｗ^kが解として記録され（Ｓ３５０）、学習処理
を終了する。

【００８９】上述した学習処理では、計算上、４つの簡
略化を行っている。そして、この４つの簡略化は、神経
回路網１２のシナプス荷重ｗに上下限を設定するに際し
て、前記式７２にて示した制約条件の係数ベクトルａⁱ
が、第li要素が−１または１であり、他の要素が全て０
の１行Ｍ列の行ベクトルであるとの制約のもとに、初め
て得られる。ここで便宜上、ａⁱをｃで表すと、式９７
に示すごとくとなる。

【００９０】

【数２９】

【００９１】更に、式９７をＺ毎に区別して表すと、式
９８のごとくに表すことができる。

【００９２】

【数３０】

【００９３】このような係数ベクトルａⁱの制約による
簡略化について説明する。 ［第１の簡略化］ステップＳ１０４におけるＰ_qの算出
に際して、式９９に示す計算を行っている。

【００９４】

【数３１】

【００９５】従来知られているＰ_qの計算は、式１００
に示すごとくの一般化逆行列の計算である。

【００９６】

【数３２】

【００９７】簡単のため、１行Ｍ列で第ｍ番目の要素が
ｘで他の要素が全て０であるベクトルをｅ_M ^m（x）と表
記する。ｅ_M ^m（x）について、式１０１が成立する。

【００９８】

【数３３】

【００９９】なお、前記式９７のｃ_li ^Zは式１０２のよ
うに表記できる。

【０１００】

【数３４】

【０１０１】次に、ｉ，ｊ＝１，２，…，ｑとして、Ａ
_qＡ_q ^tの第ｉ行第ｊ列要素は、ｃ_li（ｃ_li）^tである。ｉ
＝ｊならｌ_i＝ｌ_j、ｉ≠ｊならｌ_i≠ｌ_jであるから、式
１０３が整成立する。

【０１０２】

【数３５】

【０１０３】したがって、Ａ_qＡ_q ^tはｑ行ｑ列の単位行
列Ｉ_qであり、（Ａ_qＡ_q ^t）^-1もｑ行ｑ列の式１０４で表
すごとく単位行列Ｉ_qとなる。

【０１０４】

【数３６】

【０１０５】式１０４から、式１０５が成立する。

【０１０６】

【数３７】

【０１０７】Ａ_qの第ｉ列ベクトル（ｉ＝１，２，…，
Ｍ）をｄⁱで表記する。これは、式１０６に示すごとく
である。

【０１０８】

【数３８】

【０１０９】すると、Ａ_q ^tＡ_qの第ｉ行第ｊ列要素は、
（ｄⁱ）^tｄ^jとなる。さて、式１０７が成立するならｄⁱ
＝０である。したがって式１０７または式１０８が成立
するなら（ｄⁱ）^tｄ^j＝０となる。

【０１１０】

【数３９】

【０１１１】一方、式１０９が成立するなら、ｉ＝
ｌ_u、ｊ＝ｌ_vとなる数ｕ，ｖが存在する。ｄⁱは第ｕ要
素がｃ_lu、他の要素は０のベクトルとなる。すなわち、
式１１０が成立し、同様に式１１１が成立する。

【０１１２】

【数４０】

【０１１３】ｉ＝ｊならｕ＝ｖ、ｉ≠ｊならｕ≠ｖであ
るので、式１１２が成立する。

【０１１４】

【数４１】

【０１１５】以上より、（ｄⁱ）^tｄ^j＝１となるのは、
ｉ＝ｊかつｉ∈Ｉ_c（ｗ^k）のときに限る。したがって、
ｂ_mを式１１３のごとく表すと、Ａ_q ^tＡ_qは、式１１４の
ごとく表される。

【０１１６】

【数４２】

【０１１７】すなわち式９９が証明された。したがっ
て、一般化逆行列の計算を実行しなくても、ステップＳ
１０４におけるＰ_qの算出が可能であり、この部分で計
算のための作業メモリを要したり、計算が不正確になる
のを防止できる。また、プログラム作成時も一般化逆行
列のプログラムを作成しなくても良いので、プログラム
作成作業が容易となる。

【０１１８】［第２の簡略化］ステップＳ２４０におけ
るＨ_k+1の算出に際して、Ｈ_k+1の各要素について、式１
１５に示す計算を行っている。

【０１１９】

【数４３】

【０１２０】従来知られているＨ_k+1の計算は、式１１
６に示すごとくの行列の計算である。

【０１２１】

【数４４】

【０１２２】ここで、ｗ^kをｗ^k+1に更新して、ｗ_r ^k+1＝
−Ｂまたはｗ_r ^k+1＝Ｂになったとする。すると、制約条
件ｃ_r ^Zｗ^k+1−Ｂが新たに有効制約となる。ａ^r＝ｃ_r ^Zと
おくと、前記式１１６は、式１１７のごとく表される。

【０１２３】

【数４５】

【０１２４】この内、前記式１１７の第２項の分母と分
子とに共通のＨ_k（ｃ_r ^Z）^tを計算すると式１１８のごと
くになる。

【０１２５】

【数４６】

【０１２６】したがって、前記式１１７の第２項の分母
は式１１９のように計算できる。

【０１２７】

【数４７】

【０１２８】次に、Ｈ_k ^t＝Ｈ_kの関係より、前記式１１
７の第２項の分子の一部であるｃ_r ^ZＨ_kは、式１２０の
計算式に示すごとく、分子の他の部分であるＨ
_k（ｃ_r ^Z）^tを転置したものに等しい。

【０１２９】

【数４８】

【０１３０】前記式１１８と前記式１２０とにより、前
記式１１７の第２項の分子は式１２１で表される。

【０１３１】

【数４９】

【０１３２】前記式１１９と前記式１２１との関係か
ら、前記式１１５の関係が得られる。したがって、５回
の行列の乗算が必要な式１１６が、式１１５のごとく簡
略化さえる。ステップＳ２４０におけるＨ_k+1の算出が
可能であり、この部分で計算のための作業メモリを要し
たり、計算が不正確になるのを防止できる。また、プロ
グラム作成作業が容易となる。

【０１３３】［第３の簡略化］ステップＳ２８０におけ
るラグランジュ乗数λの算出に際して、式１２２に示す
計算を行っている。

【０１３４】

【数５０】

【０１３５】従来知られているλの計算は、式１２３に
示すごとくの一般化逆行列を含む計算である。

【０１３６】

【数５１】

【０１３７】ここで、前記式１０４の関係から、式１２
４の関係が成立する。

【０１３８】

【数５２】

【０１３９】したがって、λのｉ番目の要素は式１２５
のように求められ、前記式１２２が証明された。

【０１４０】

【数５３】

【０１４１】したがって、一般化逆行列の計算を実行し
なくても、ステップＳ２８０におけるλの算出が可能で
あり、この部分で計算のための作業メモリを要したり、
計算が不正確になるのを防止できる。また、プログラム
作成時も一般化逆行列のプログラムを作成しなくても良
いので、プログラム作成作業が容易となる。

【０１４２】［第４の簡略化］ステップＳ３２０におけ
るＨ_k+1の算出に際して、式１２６に示す計算を行って
いる。

【０１４３】

【数５４】

【０１４４】ここでＤ_sは、第ｓ行第ｓ列の要素が１で
他は全て０のＭ行Ｍ列の行列である。従来知られている
Ｈ_k+1の計算は、式１２７に示すごとくの一般化逆行列
の計算である。

【０１４５】

【数５５】

【０１４６】ここで、制約条件ｃ_s ^Zｗ^k−Ｂ＝０を有効
制約から取り除くとする。式１２８の条件が成立するの
で、ｂ^s＝０となる。

【０１４７】

【数５６】

【０１４８】ａ^s＝ｃ_s ^Zとおくと、式１２７は、式１２
９のごとく表される。

【０１４９】

【数５７】

【０１５０】はじめに、前記式１２９の第２項の分母と
分子とに共通なＰ_q-1（ｃ_s ^Z）^tを計算する。前記式９９
の関係から式１３０の関係が存在する。

【０１５１】

【数５８】

【０１５２】ここで、ｂ^s＝０であるので、Ｐ_q-1の第ｓ
行第ｓ列の要素は１である。これにより、前記式１２９
の第２項の分母と分子とに共通なＰ_q-1（ｃ_s ^Z）^tは式１
３１に示すごとく（ｃ_s ^Z）^tに等しいことがわかる。

【０１５３】

【数５９】

【０１５４】したがって、第２項の分母は、式１３２に
示すごとく１となる。

【０１５５】

【数６０】

【０１５６】一方、Ｐ_q-1 ^t＝Ｐ_q-1であることにより第
２項の分子の一部であるｃ_s ^ZＰ_q-1は式１３３に示すご
とく、第２項の他の一部であるＰ_q-1（ｃ_s ^Z）^tを転置し
たｃ_s ^Zとなる。

【０１５７】

【数６１】

【０１５８】したがって、第２項の分子は、式１３４に
示すごとくとなり、第ｓ行第ｓ列の要素が１で、他の要
素は全て０のＭ行Ｍ列の行列となる。

【０１５９】

【数６２】

【０１６０】すなわち、第ｉ行第ｊ列の要素をｐ_ijとす
ると、式１３５のように表すことができる。

【０１６１】

【数６３】

【０１６２】したがって、一般化逆行列の計算を実行し
なくても、ステップＳ３２０におけるＨ_k+1の算出が可
能であり、この部分で計算のための作業メモリを要した
り、計算が不正確になるのを防止できる。また、プログ
ラム作成時も一般化逆行列のプログラムを作成しなくて
も良いので、プログラム作成作業が容易となる。

【０１６３】以上述べたように、固定小数点式デジタル
演算装置で実行する神経回路網１２のシナプス荷重のダ
イナミックレンジを抑制するために、シナプス荷重の絶
対値に上限値を設定し、その範囲内で学習を行なうＧｏ
ｌｄｆａｒｂ法を適用する際に、上述のごとく、前記式
７２にて示した制約条件の係数ベクトルａⁱが、第l_i要
素が−１または１であり、他の要素が全て０の１行Ｍ列
の行ベクトルであるとの制約のもとに、一般化逆行列の
複雑な計算を不要にできるため、神経回路網１２の学習
プログラムのプログラミングは容易となる。また計算時
間、メモリ使用量を削減できる。更に、別の効果とし
て、一般化逆行列の計算は桁落ち等の数値解析上の問題
により、正確な計算ができない場合があるが、上述した
簡略化によりその問題を回避でき、より正確な数値解が
得られるという利点もある。

【０１６４】なお、本実施の形態では各シナプス荷重ｗ
_i（ｉ＝１，２，…，Ｍ）の絶対値に共通の上限値Ｂを
設定した場合、すなわち｜ｗ_i｜≦Ｂについて簡略計算
式を導出し、証明した。しかしこれらの式は、各シナプ
ス荷重ｗ_iにそれぞれ別個に上限値Ｂ_i ^U、下限値Ｂ_i ^Lを
設定した場合、すなわちＢ_i ^L≦ｗ_i≦Ｂ_i ^Uとした場合に
も同様に有効である。また本実施の形態は階層型神経回
路網について説明したが、降下法により学習できる神経
回路網であれば、他のモデル（リカレントニューラルネ
ットワーク等）にも適用可能である。

【０１６５】［実験例］オートカーエアコン風量制御に
本発明を適用した効果を示す実験結果を以下に説明す
る。本実験では、前述した４つの簡略化を行った処理に
て学習した場合（「実施例」で表す。）と、従来の学習
法であるＢＦＧＳ公式を用いたＧｏｌｄｆａｒｂ法
（「従来法」で表す。）にて学習した場合との比較を行
ない、固定小数点演算での神経回路網出力の誤差を評価
した。

【０１６６】Ａ．要領 比較に用いた適用事例、神経回路網の構成等の条件を以
下に示す。オートカーエアコンをＡ／Ｃと略記する。 （ａ）適用事例 Ａ／Ｃ吹き出し口制御 （ＦＡＣＥ，Ｂ／Ｌ，ＦＯＯＴ
等の切り替え） （ｂ）入出力の仕様 入出力は、４入力１出力である。各入力の仕様を表１
に、各出力の仕様を表２に示す。入力センサー値範囲の
うち、単純なif-thenルールによりプログラム処理でき
る領域を除いた部分を神経回路網により処理する。神経
回路網へは、各センサー信号をセンサー値範囲で［０，
１］に正規化して入力する。

【０１６７】

【表１】

【０１６８】

【表２】

【０１６９】出力信号である吹出口モードにしたがい、
Ａ／Ｃは以下のようにモードを切り替えさせるものとす
る。

【０１７０】

【表３】

【０１７１】吹出口モードの許容誤差は±０．１である
が、モード切替点では確実にモードを切り替えるため、
誤差をできるだけ小さくする必要がある。 （ｃ）教師パターン数 ５９１５個 （うち３９４４個を学習に使用） （ｄ）神経回路網の構成 ４層型神経回路網 （入力層４ユニット、第１中間層８
ユニット、第２中間層８ユニット、出力層１ユニット）
入力ユニットは線形ユニット、中間、出力ユニットはシ
グモイドユニット （ｅ）評価方法 ステップ１．従来法、実施例（上限値Ｂ＝６４、１２
８）それぞれにつき、初期値を変えて２０回学習を行な
った。各神経回路網係数の初期値は（−１、１）の範囲
の乱数とする。学習サイクルは各試行とも１０００回と
する。

【０１７２】ステップ２．各神経回路網を浮動小数点演
算、固定小数点演算で計算し、式１３６に示すごとく全
パターンに対する自乗誤差和Ｅを算出して比較する。

【０１７３】

【数６４】

【０１７４】Ｂ．実験結果 自乗誤差和Ｅの計算結果を表４に示す。試行番号が同じ
神経回路網は同一の初期値から学習を開始している。
従来法は浮動小数点演算において最良の結果を示し、試
行３、１２、１３、１７で自乗誤差和Ｅはほぼ０となっ
た。しかしながら固定小数点演算では試行により演算精
度が低下し、自乗誤差和Ｅが異常に大きくなることがあ
った（試行３、１０等）。自乗誤差和Ｅの最大値を比較
すると、従来法で１８７．１となったのに対し、実施例
は上限値Ｂ＝６４、１２８それぞれで１．３７２、１．
０７９となった。これより固定小数点演算に関し、実施
例は、従来法より神経回路網の初期値依存性が低く、試
行による自乗誤差和Ｅのばらつきの少ないことが分か
る。

【０１７５】

【表４】

【０１７６】次に、従来法、実施例につき固定小数点演
算における自乗誤差和Ｅの最も小さいもの３つを選択
し、シナプス荷重の絶対値の最大値、教師出力と神経回
路網出力との絶対誤差の最大値を比較した。従来法の結
果を表５に、実施例の上限値Ｂ＝６４の場合の結果を表
６に、実施例の上限値Ｂ＝１２８の場合の結果を表７に
示す。

【０１７７】

【表５】

【０１７８】

【表６】

【０１７９】

【表７】

【０１８０】最小の自乗誤差和Ｅを比較すると、実施例
が２桁小さく、より正確な入出力関数が実現できた。絶
対誤差の最大値も本実施の形態が従来法より小さく、優
れた性能を示した。許容誤差は各学習法すべて±０．１
の範囲内であるが、従来法では出力値０．３、０．４、
０．５付近で大きな自乗誤差和Ｅが発生した。特に０．
３、０．５はモード切替点であり、この神経回路網を制
御に用いることはできない。一方、実施例では上限値Ｂ
＝６４、１２８いずれにおいても特定の出力値で大きな
自乗誤差和Ｅが発生する現象はなかった。

【０１８１】表８に演算方式の違いによる実施例と従来
例との自乗誤差和Ｅの比較を示す。

【０１８２】

【表８】

【０１８３】表８からわかるように、実施例では浮動小
数点演算でも、固定小数点演算でもほとんど自乗誤差和
Ｅに差はないが、従来法では極めて大きな差を生じる。
このことから、従来法は、ＥＣＵ等において一般的に用
いられている固定小数点演算を行う演算装置に用いるの
は不適であることがわかる。

【０１８４】図７に実施例と従来法とによる制御曲線の
比較を示す。図中の教師出力は実現すべき制御曲線を、
神経回路網出力は神経回路網の出力した制御曲線を示
す。（ａ）は実施例による結果、（ｂ）は従来法の結果
である。従来法では出力値０．３、０．４、０．５で大
きな自乗誤差和Ｅが発生したのに対し、実施例は教師出
力曲線、神経回路網出力曲線がほぼ一致したことが分か
る。これより実施例の効果を確認した。

【０１８５】

【その他】上述した実施の形態では、学習制御部１４
は、ハードディスクとして構成されている標準パターン
格納部１８に記憶されているプログラムをＲＡＭにロー
ドして神経回路網学習処理を実行したが、これ以外に、
例えば、フロッピーディスク、光磁気ディスク、ＣＤ−
ＲＯＭ等のコンピュータ読み取り可能な記録媒体に記録
し、必要に応じてコンピュータシステムにロードして起
動することにより用いても良い。この他、ＲＯＭやバッ
クアップＲＡＭをコンピュータ読み取り可能な記録媒体
として前記プログラムを記録しておき、このＲＯＭある
いはバックアップＲＡＭをコンピュータシステムに組み
込んで用いても良い。

【図面の簡単な説明】

【図１】 一実施の形態としての神経回路網学習システ
ムの概略構成を表すブロック図である。

【図２】 前記神経回路網学習システムによる神経回路
網に対する学習処理の説明図である。

【図３】 前記神経回路網学習システムによるオートカ
ーエアコン制御用の神経回路網に対する学習処理の説明
図である。

【図４】 前記神経回路網学習システムによる神経回路
網学習処理のフローチャートである。

【図５】 前記神経回路網学習システムによる神経回路
網学習処理のフローチャートである。

【図６】 前記神経回路網学習システムによる神経回路
網学習処理のフローチャートである。

【図７】 実施例と従来法との学習の効果を示す説明図
である。

【図８】 従来の学習における自乗誤差和Ｅの推移状態
説明図である。

【符号の説明】

２…神経回路網学習システム １２…神経回路網
１２ａ…ユニット １４…学習制御部 １８…標準パターン格納部 １８ａ…教師パターンデータベース １８ｂ…標準入
力信号 １８ｃ…出力信号 １８ｄ…教師信号 １８ｅ…シナプス荷重更新指令信号

Claims (12)

【特許請求の範囲】
1. 【請求項１】Ｍ本のシナプス（結合）を有し、各シナプ
   ス荷重w_i（i＝1,2,..,Ｍ）に上限値B_i ^U 、下限値B_i ^Lを
   設定し、B_i ^L≦w_i≦B_i ^Uを満たすよう学習を行う神経回路
   網に対し、学習準ニュートン射影法により実現すること
   を特徴とする神経回路網学習システム。
2. 【請求項２】デジタル式演算装置を用いて、式１にて表
   され式２の制約条件を満たすＭ個の変数ｗからなる関数
   Ｅ（ｗ）が最小値となる変数ｗの解を求めるに際して、 直線探索を行って、関数Ｅ（ｗ）の値を小さくする変数
   ｗの値を求める第１処理手段と、 前記第１処理手段の処理の次に行われ、新しい変数ｗの
   値に基づく前記式２の新しい制約条件が有効になった
   ら、新たに有効になった制約条件の係数ベクトルａ
   ^rを、制約条件が有効である係数ベクトルから構成され
   ている行列Ａ_qに加え、かつ前記関数Ｅ（ｗ）の勾配を
   表す転置行列∇^tＥ（ｗ）から前記関数Ｅ（ｗ）の変化
   方向を表すベクトルｄを求めるためのヘシアンＨを式３
   により更新して処理を前記第１処理手段に戻し、新しい
   変数ｗの値に基づく新しい制約条件が有効にならなかっ
   たら、新しいヘシアンＨを作成するための公式にて、新
   たなヘシアンＨを更新して処理を前記第１処理手段に戻
   す第２処理手段と、 前記第１処理手段にて、前記転置行列∇^tＥ（ｗ）と前
   記ヘシアンＨとの積に基づいて得られる前記関数Ｅ
   （ｗ）の変化方向を表すベクトルｄがゼロとなった場合
   には、式４に基づいて行列で得られるラグランジュ乗数
   λの要素すべてが非負ならば、そのときのｗを解として
   得て全処理を終了し、前記ベクトルｄがゼロでない場合
   には、ラグランジュ乗数λの負の要素の内、絶対値が最
   大のものに対応する制約条件の係数ベクトルａ^sを、前
   記行列Ａ_qから除いて、式５に基づいてヘシアンＨを更
   新して処理を第１処理手段に戻す第３処理手段と、 を備えて準ニュートン射影法による演算を行うと共に、 １〜Ｍの整数の内、相異なるｑ個の整数を要素とする集
   合Ｉ_cを式６に示すごとく表し、集合Ｉ_cに含まれる各整
   数ｌ_i（ｉ＝１，２，…，ｑ）に対して１行Ｍ列のベク
   トルで、第ｌ_iの要素がｃ_liであり他の要素がすべて
   ０、かつｃ_liが＋１または−１で定義されるベクトルを
   式７の記号で表し、更に前記行列Ａ_qを式８に示すごと
   くｑ行Ｍ列の行列で表すことで、前記式４の計算の内、
   式９にて表す行列の計算の代わりに、整数ｍ∈Ｉ_cなら
   ばｂ_m＝１、整数ｍ∈Ｉ_cでないならばｂ_m＝０である関
   数ｂ_mを対角要素とする対角行列ｄｉａｇ［ｂ₁ ｂ₂
   … ｂ _M］の計算を用いることを特徴とする簡略化準ニ
   ュートン射影法演算システム。 【数１】
3. 【請求項３】デジタル式演算装置を用いて、式１１にて
   表され式１２の制約条件を満たすＭ個の変数ｗからなる
   関数Ｅ（ｗ）が最小値となる変数ｗの解を求めるに際し
   て、 直線探索を行って、関数Ｅ（ｗ）の値を小さくする変数
   ｗの値を求める第１処理手段と、 前記第１処理手段の処理の次に行われ、新しい変数ｗの
   値に基づく前記式１２の新しい制約条件が有効になった
   ら、新たに有効になった制約条件の係数ベクトルａ
   ^rを、制約条件が有効である係数ベクトルから構成され
   ている行列Ａ_qに加え、かつ前記関数Ｅ（ｗ）の勾配を
   表す転置行列∇^tＥ（ｗ）から前記関数Ｅ（ｗ）の変化
   方向を表すベクトルｄを求めるためのヘシアンＨを式１
   ３により更新して処理を前記第１処理手段に戻し、新し
   い変数ｗの値に基づく新しい制約条件が有効にならなか
   ったら、新しいヘシアンＨを作成するための公式にて、
   新たなヘシアンＨを更新して処理を前記第１処理手段に
   戻す第２処理手段と、 前記第１処理手段にて、前記転置行列∇^tＥ（ｗ）と前
   記ヘシアンＨとの積に基づいて得られる前記関数Ｅ
   （ｗ）の変化方向を表すベクトルｄがゼロとなった場合
   には、式１４に基づいて行列で得られるラグランジュ乗
   数λの要素すべてが非負ならば、そのときのｗを解とし
   て得て全処理を終了し、前記ベクトルｄがゼロでない場
   合には、ラグランジュ乗数λの負の要素の内、絶対値が
   最大のものに対応する制約条件の係数ベクトルａ^sを、
   前記行列Ａ_qから除いて、式１５に基づいてヘシアンＨ
   を更新して処理を第１処理手段に戻す第３処理手段と、 を備えて準ニュートン射影法による演算を行うと共に、 ヘシアンＨの第ｉ行第ｊ列の要素をｈ_ijで表し、全ての
   制約条件における各係数ベクトルａ^rの第ｒ要素が＋１
   または−１であり、他の要素がすべて０であるとして表
   すことで、前記式１３の計算の内、式１６にて表す行列
   の計算の代わりに、第ｉ行第ｊ列の要素が式１７で表さ
   れるＭ行Ｍ列の行列の計算を用いることを特徴とする簡
   略化準ニュートン射影法演算システム。 【数２】
4. 【請求項４】デジタル式演算装置を用いて、式２１にて
   表され式２２の制約条件を満たすＭ個の変数ｗからなる
   関数Ｅ（ｗ）が最小値となる変数ｗの解を求めるに際し
   て、 直線探索を行って、関数Ｅ（ｗ）の値を小さくする変数
   ｗの値を求める第１処理手段と、 前記第１処理手段の処理の次に行われ、新しい変数ｗの
   値に基づく前記式２２の新しい制約条件が有効になった
   ら、新たに有効になった制約条件の係数ベクトルａ
   ^rを、制約条件が有効である係数ベクトルから構成され
   ている行列Ａ_qに加え、かつ前記関数Ｅ（ｗ）の勾配を
   表す転置行列∇^tＥ（ｗ）から前記関数Ｅ（ｗ）の変化
   方向を表すベクトルｄを求めるためのヘシアンＨを式２
   ３により更新して処理を前記第１処理手段に戻し、新し
   い変数ｗの値に基づく新しい制約条件が有効にならなか
   ったら、新しいヘシアンＨを作成するための公式にて、
   新たなヘシアンＨを更新して処理を前記第１処理手段に
   戻す第２処理手段と、 前記第１処理手段にて、前記転置行列∇^tＥ（ｗ）と前
   記ヘシアンＨとの積に基づいて得られる前記関数Ｅ
   （ｗ）の変化方向を表すベクトルｄがゼロとなった場合
   には、式２４に基づいて行列で得られるラグランジュ乗
   数λの要素すべてが非負ならば、そのときのｗを解とし
   て得て全処理を終了し、前記ベクトルｄがゼロでない場
   合には、ラグランジュ乗数λの負の要素の内、絶対値が
   最大のものに対応する制約条件の係数ベクトルａ^sを、
   前記行列Ａ_qから除いて、式２５に基づいてヘシアンＨ
   を更新して処理を第１処理手段に戻す第３処理手段と、 を備えて準ニュートン射影法による演算を行うと共に、 １〜Ｍの整数の内、相異なるｑ個の整数を要素とする集
   合Ｉ_cを式２６に示すごとく表し、集合Ｉ_cに含まれる各
   整数ｌ_i（ｉ＝１，２，…，ｑ）に対して１行Ｍ列のベ
   クトルで、第ｌ_iの要素がｃ_liであり他の要素がすべて
   ０、かつｃ_liが＋１または−１で定義されるベクトルを
   式２７の記号で表し、更に前記行列Ａ_qを式２８に示す
   ごとくｑ行Ｍ列の行列で表し、∇Ｅ（ｗk）を式２９に
   示すごとく表すことで、前記式２４の計算の内、式３０
   にて表す行列の計算の代わりに、式３１にて表す計算を
   用いることを特徴とする簡略化準ニュートン射影法演算
   システム。 【数３】
5. 【請求項５】デジタル式演算装置を用いて、式４１にて
   表され式４２の制約条件を満たすＭ個の変数ｗからなる
   関数Ｅ（ｗ）が最小値となる変数ｗの解を求めるに際し
   て、 直線探索を行って、関数Ｅ（ｗ）の値を小さくする変数
   ｗの値を求める第１処理手段と、 前記第１処理手段の処理の次に行われ、新しい変数ｗの
   値に基づく前記式４２の新しい制約条件が有効になった
   ら、新たに有効になった制約条件の係数ベクトルａ
   ^rを、制約条件が有効である係数ベクトルから構成され
   ている行列Ａ_qに加え、かつ前記関数Ｅ（ｗ）の勾配を
   表す転置行列∇^tＥ（ｗ）から前記関数Ｅ（ｗ）の変化
   方向を表すベクトルｄを求めるためのヘシアンＨを式４
   ３により更新して処理を前記第１処理手段に戻し、新し
   い変数ｗの値に基づく新しい制約条件が有効にならなか
   ったら、新しいヘシアンＨを作成するための公式にて、
   新たなヘシアンＨを更新して処理を前記第１処理手段に
   戻す第２処理手段と、 前記第１処理手段にて、前記転置行列∇^tＥ（ｗ）と前
   記ヘシアンＨとの積に基づいて得られる前記関数Ｅ
   （ｗ）の変化方向を表すベクトルｄがゼロとなった場合
   には、式４４に基づいて行列で得られるラグランジュ乗
   数λの要素すべてが非負ならば、そのときのｗを解とし
   て得て全処理を終了し、前記ベクトルｄがゼロでない場
   合には、ラグランジュ乗数λの負の要素の内、絶対値が
   最大のものに対応する制約条件の係数ベクトルａ^sを、
   前記行列Ａ_qから除いて、式４５に基づいてヘシアンＨ
   を更新して処理を第１処理手段に戻す第３処理手段と、 を備えて準ニュートン射影法による演算を行うと共に、 １〜Ｍの整数の内、相異なるｑ個の整数を要素とする集
   合Ｉ_cを式４６に示すごとく表し、集合Ｉ_cに含まれる各
   整数ｌ_i（ｉ＝１，２，…，ｑ）に対して１行Ｍ列のベ
   クトルで、第ｌ_iの要素がｃ_liであり他の要素がすべて
   ０、かつｃ_liが＋１または−１で定義されるベクトルを
   式４７の記号で表し、更に前記行列Ａ_qを式４８に示す
   ごとくｑ行Ｍ列の行列で表すことで、前記式４５の計算
   の内、式４９にて表す行列の計算の代わりに、第ｓ行ｓ
   列の要素が１で他の要素が全て０であるＭ行Ｍ列の計算
   を用いることを特徴とする簡略化準ニュートン射影法演
   算システム。 【数４】
6. 【請求項６】デジタル式演算装置を用いて、式５１にて
   表され式５２の制約条件を満たすＭ個の変数ｗからなる
   関数Ｅ（ｗ）が最小値となる変数ｗの解を求めるに際し
   て、 直線探索を行って、関数Ｅ（ｗ）の値を小さくする変数
   ｗの値を求める第１処理手段と、 前記第１処理手段の処理の次に行われ、新しい変数ｗの
   値に基づく前記式５２の新しい制約条件が有効になった
   ら、新たに有効になった制約条件の係数ベクトルａ
   ^rを、制約条件が有効である係数ベクトルから構成され
   ている行列Ａ_qに加え、かつ前記関数Ｅ（ｗ）の勾配を
   表す転置行列∇^tＥ（ｗ）から前記関数Ｅ（ｗ）の変化
   方向を表すベクトルｄを求めるためのヘシアンＨを式５
   ３により更新して処理を前記第１処理手段に戻し、新し
   い変数ｗの値に基づく新しい制約条件が有効にならなか
   ったら、新しいヘシアンＨを作成するための公式にて、
   新たなヘシアンＨを更新して処理を前記第１処理手段に
   戻す第２処理手段と、 前記第１処理手段にて、前記転置行列∇^tＥ（ｗ）と前
   記ヘシアンＨとの積に基づいて得られる前記関数Ｅ
   （ｗ）の変化方向を表すベクトルｄがゼロとなった場合
   には、式５４に基づいて行列で得られるラグランジュ乗
   数λの要素すべてが非負ならば、そのときのｗを解とし
   て得て全処理を終了し、前記ベクトルｄがゼロでない場
   合には、ラグランジュ乗数λの負の要素の内、絶対値が
   最大のものに対応する制約条件の係数ベクトルａ^sを、
   前記行列Ａ_qから除いて、式５５に基づいてヘシアンＨ
   を更新して処理を第１処理手段に戻す第３処理手段と、 を備えて準ニュートン射影法による演算を行うと共に、 １〜Ｍの整数の内、相異なるｑ個の整数を要素とする集
   合Ｉ_cを式５６に示すごとく表し、集合Ｉ_cに含まれる各
   整数ｌ_i（ｉ＝１，２，…，ｑ）に対して１行Ｍ列のベ
   クトルで、第ｌ_iの要素がｃ_liであり他の要素がすべて
   ０、かつｃ_liが＋１または−１で定義されるベクトルを
   式５７の記号で表し、更に前記行列Ａ_qを式５８に示す
   ごとくｑ行Ｍ列の行列で表すことで、前記式５４の計算
   の内、式５９にて表す行列の計算の代わりに、整数ｍ∈
   Ｉ_cならばｂ_m＝１、整数ｍ∈Ｉ_cでないならばｂ_m＝０で
   ある関数ｂ_mを対角要素とする対角行列ｄｉａｇ［ｂ₁ｂ
   ₂ … ｂ_M］の計算を用い、前記式５５の計算の内、式
   ６０にて表す行列の計算の代わりに、第ｓ行ｓ列の要素
   が１で他の要素が全て０であるＭ行Ｍ列の計算を用い、 更に、∇Ｅ（ｗk）を式６１に示すごとく表すことで、
   前記式５４の計算の内、式６２にて表す行列の計算の代
   わりに、式６３にて表す計算を用い、 更に、ヘシアンＨの第ｉ行第ｊ列の要素をｈ_ijで表し、
   全ての制約条件における各係数ベクトルａ^rの第ｒ要素
   が＋１または−１であり、他の要素がすべて０であると
   して表すことで、前記式５３の計算の内、式６４にて表
   す行列の計算の代わりに、第ｉ行第ｊ列の要素が式６５
   で表されるＭ行Ｍ列の行列の計算を用いることを特徴と
   する簡略化準ニュートン射影法演算システム。 【数５】
7. 【請求項７】第２処理手段にて用いられる公式は、ＢＦ
   ＧＳ公式、ＤＦＰ公式あるいは対称ランク１公式である
   ことを特徴とする請求項２〜６のいずれかに記載の簡略
   化準ニュートン射影法演算システム。
8. 【請求項８】前記Ｍ個の変数ｗは、神経回路網における
   入力層のユニットから出力層のユニットに至るユニット
   を結合するＭ本のシナプスのシナプス荷重を表し、関数
   Ｅ（ｗ）は前記神経回路網に与えられる教師信号と前記
   神経回路網の出力との誤差を表し、第１処理手段、第２
   処理手段および第３処理手段によって行われる関数Ｅ
   （ｗ）が最小値となる変数ｗの解を求める処理は、前記
   神経回路網に対する学習処理であることを特徴とする請
   求項２〜７のいずれか記載の神経回路網学習システム。
9. 【請求項９】請求項２〜７のいずれか記載の簡略化準ニ
   ュートン射影法演算システムの各手段としてコンピュー
   タシステムを機能させるためのプログラムを記録したコ
   ンピュータ読み取り可能な記録媒体。
10. 【請求項１０】請求項８記載の神経回路網学習システム
    の各手段としてコンピュータシステムを機能させるため
    のプログラムを記録したコンピュータ読み取り可能な記
    録媒体。
11. 【請求項１１】請求項８における神経回路網学習システ
    ムによる学習処理により得られた神経回路網を組み込ん
    だことを特徴とする信号処理装置。
12. 【請求項１２】請求項８における神経回路網学習システ
    ムによる学習処理により得られた神経回路網と、 処理される入力信号を、前記神経回路網の入力層のユニ
    ットへ入力する入力手段と、 前記神経回路網の出力層のユニットの状態を読み取って
    信号として出力する出力手段と、 を備えたことを特徴とする信号処理装置。