JPH06266692A

JPH06266692A - 神経回路網

Info

Publication number: JPH06266692A
Application number: JP5078657A
Authority: JP
Inventors: Masahiko Tateishi; 雅彦立石
Original assignee: NipponDenso Co Ltd
Current assignee: Denso Corp
Priority date: 1993-03-12
Filing date: 1993-03-12
Publication date: 1994-09-22

Abstract

(57)【要約】【目的】学習容易な変換を施す神経回路網の提供。【構成】図１は本発明の一例の神経回路網の構成図で、
入力層１はｎ個の入力ユニット、各ユニットにつきＮ個
の TLT層（閾値論理変換層）２がある。出力層４はｍ個
のデータで出力される。n=1,N=4 の時、入力が４倍さ
れ、１単位ごとにデータ値としたものが TLT各ユニット
の値となる。 TLT各ユニットの出力を上位の中間層３へ
入力する時、ｊ番目の中間層ユニットに結合される重み
（結合係数）をそれぞれｗ_jiとすると、本発明の変換は
最終出力を近似した形状を示す。n=1ではｗ_ji×Ｎがそ
れぞれの折れ線の傾きを示し、学習結果から重みｗ_jiを
見れば直ちに近似線が把握でき、変換の大雑把な把握が
効率的となる。また、各 TLT層ユニットは入力値の各部
分を分担することになり、各ユニットの果たす役割りも
よく把握できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は神経回路網の応用分野、
神経回路網（ニューラル・ネットワーク、ＮＮＷ）を応
用した制御やパターン認識等の分野に関する。

【０００２】

【従来の技術】神経回路網は、制御・認識等を行う場合
に回路網の設定値や定数（結合係数）を学習により変更
させることが可能なシステムであり、数式化しにくい経
験的な操作、形状の把握等を自動的に行わせるのに適し
ている。信号処理を行いながら状況を把握して信号処理
に反映していく知識処理機能を学習と呼ぶ。神経回路網
はいくつかのデータのみから得られた学習によって、そ
の関係を基に未学習領域部分で望ましい判定・出力がで
きるという補間能力、予測能力を持つ。入力層、中間
層、出力層というように階層化された神経回路網ではＢ
Ｐ学習（バックプロバケーション学習、逆伝播学習）が
一般に知られている。これはある系の入力値に対する出
力値が得られた時、その入力に対する望ましい出力値が
系から出力されるように、各層を結び付ける結合係数を
出力層側から変更していく学習アルゴリズムである。こ
の学習は場合によっては計算処理に大幅な時間をとって
しまい、目的である制御・認識等が効率的に行われない
場合があり、そのため学習を効率良く実行させる方法が
いくつか提案されてきた。

【０００３】ＢＰ学習効率化手段として例えば、特開平
1-320565号公報に示されるような学習パラメータ（学習
率、慣性項）を学習中に変化させる方法がある。この方
法では、学習の繰り返し計算ごと、計算何回かに一回ご
との割合で学習パラメータを変化させることで、より早
く学習させることを目的としている。

【０００４】また学習効率化の他の手段としては、入力
データを予め学習容易な形式に変換するという前処理を
施すやり方があり、入力データをファジイ理論でのメン
バーシップ関数で特徴抽出する方法（特開平3-134704号
公報）や、入力データをチェビシェフ関数により変換す
る方法（生天目、上田；情報処理学会論文誌 Vol.32No.
12, pp.1542-1550 ）がある。後者はこの前処理機能を
神経回路網の枠組みの中に組み込んでいる（図２(b) 、
チェビシェフネットワークと称する）が、機能的には学
習のための中間層より前で処理することで前者と同様な
形式となっている（図２(a) 参照）。しかし学習効率化
としては、前段でどのような処理を施すかが問題であ
り、言い換えれば変換に使用する数式がどのようになっ
ているかで大きく系の特徴が変化するため、前者と後者
では本質的に異なった別の方法となっている。いずれの
方法においても、データを学習し易く変換することで効
率化を図っている。

【０００５】

【発明が解決しようとする課題】しかし、メンバーシッ
プ関数で特徴抽出する前者の方法では、対処している問
題に対する外乱やプロセス状態量などの特徴量をメンバ
ーシップ関数で変換する際、どのような特徴量を選択し
て変換をどの程度にするのかなどを各問題ごとに決めな
ければならず、試行錯誤的で汎用性ではないという問題
がある。

【０００６】また、チェビシェフネットワークを利用す
る後者の方法は汎用性を備えた変換方式であるが、デー
タ変換にcos,arccos関数を用いており、そのための専用
回路を必要とすることや、その計算に時間がかかること
等の問題があり、その代わりとしてメモリーにマップを
もつようにする提案もあるが、その場合には多くのメモ
リーを必要とするなど汎用的に使用しにくいという問題
がある。

【０００７】従って発明者らは上記の問題を、前処理と
して複雑な関数を用いたため汎用性が妨げられていると
考え、前処理として汎用性があり、かつ処理関数が計算
容易な変換を提案することで、より学習の効率化を図っ
た神経回路網を提供することを本発明の目的とする。

【０００８】

【課題を解決するための手段】上記の課題を解決するた
め第一発明の構成は、入力層と中間層と出力層の少なく
とも３層を有し、各層はユニットを少なくとも一つ以上
含む多層構造な神経回路網において、第ｐ層と第ｑ層
（ｐ、ｑはｑ＝ｐ＋１の自然数）との間に、前記第ｐ層
のユニットについて少なくとも一つ以上閾値論理変換層
を有すること、その閾値論理変換層は前記第ｐ層の一つ
のユニットに関する入力データｘをＮ個のデータ（Ｎ≧
２）、つまり数１式に変換し、変換関数ψは、データｚ
に対して数２式で示される変換で構成される閾値論理変
換であること、前記Ｎ個のデータはそれぞれが前記第ｑ
層のｊ番目のユニットへ重みｗ_ji（i=0,1,2 ・・,N-1）
で出力されることで構成される閾値論理変換であること
を特徴とする。また第一発明の関連発明の構成として、
数２式の関数ｆが区間０≦ｚ≦１で入力データｚと一対
一対応の関数であることを特徴とする。あるいは数２式
の関数ｆが数３式、或いは数４式、或いは数５式で表さ
れることを特徴とする。また、前記第ｐ層が入力層であ
り、前記第ｑ層が中間層であることを特徴とする。

【０００９】

【作用】一つのユニットのデータｘが数１式、数２式に
よる閾値論理変換層（Threshold Logic Transform 層、
以下 TLT層）によりＮ個のデータになる。そのＮ個のデ
ータを基にそれぞれの結合係数ｗ_jiが掛かって次層へデ
ータが与えられる。次層が受け取るデータは、ｆ(z) ＝
ｚの例で言うと、一次元入力では丁度折れ線近似または
棒グラフ近似を、二次元入力では多平面近似を施したデ
ータとなる。そして学習時に以降の中間層で、誤差の二
乗和が最小になるように結合係数を変更していくという
周知のＢＰ学習が行われる。本方式は、従来のチェビシ
ェフネットワークによるチェビシェフ関数（Ｎ次多項式
に相当）の結合係数を決めて近似する方式とは異なっ
て、Ｎ個の線型近似または解析可能な関数でのＮ分割近
似を前段で施すことになり、そのためＮの数が増えれば
それだけ分解能が上がり近似の精度が上昇する。つま
り、チェビシェフネットワーク方式では区間内で連続の
関数を縦方向に重みをつけて望む出力波形を合成する方
式であるが、本発明では入力値を細かく横方向に分解し
て重みをつけて近似する方式であり、従来と全く異なっ
た新しい方法を用いている。

【００１０】

【発明の効果】本発明の構成による変換演算は、入力デ
ータに対して積算と和算を施すのみであり、また複雑な
関数を用いたとしても解析可能な演算であるため、数表
が不要で、規模の小さいマイクロコンピュータ等で十分
対応でき実現しやすい神経回路網を提供できる。 TLT層
により大雑把な近似が行われ、目標値からのずれは極め
て縮小されるため、中間層での学習量が大幅に減少す
る。即ち学習効率が大幅に上昇する。また、どのような
入力に対しても対応でき汎用性が高い。

【００１１】

【実施例】以下、本発明を具体的な実施例に基づいて説
明する。図１は本発明の一実施例を示す神経回路網の構
成図である。図１において、入力層１はｎ個の入力ユニ
ットからなり（ｎ次元データ、入力パターン）、各入力
ユニットについて数１、２式によるデータＮ個の TLT層
（閾値論理変換層）２が連なっている。従って当実施例
の TLT層２はＮ×ｎだけユニットが存在する。このＮを
変換定数と呼ぶことにする。この TLT層２が従来の中間
層３にネットワークとなってつながり、その結果が出力
層４に送られ、ｍ個のデータとなって出力される（ｍ次
元データ、出力パターン）。なお系によっては TLT層２
のすべてのユニットがＮ個である必要はなく、ユニット
ごとに個数を決めてもよい。

【００１２】TLT層２の作用を図３の例で説明する。図
３は一次元入力、一次元出力（図示していない）、変換
関数ψのｆ_i(z) ＝ｚ、Ｃ_i＝０、Ｄ_i＝１、変換定数
Ｎ＝４の場合の一例で、入力値ｘとして０．６が入力さ
れた場合の TLT各ユニットの出力値が示されている。こ
の場合の数１式は次式で示される。

【数６】Ｔｉ（ｘ）＝ ψ（４ｘ−ｉ）（i=0,1,2,3 ）図３から明らかなように、入力値０．６が変換定数倍
（４倍）されて２．４となり、その値の１単位ごとにデ
ータ値を分配したものが TLT各ユニットの値となってい
る。これは丁度、分解能を４倍にしたのと等価である。
図９に図３の例において主な４つの入力値に対する TLT
各ユニットの出力を示した。

【００１３】さて、図３における TLT各ユニットの値を
出力として上位の中間層３へ入力する場合、ｊ番目の中
間層ユニットに結合される重み（荷重）をそれぞれｗ_ji
とすると、ユニットｊに送られる重み付き入力ｆは以下
の次式で示されるＮ＋１個の点を通る折れ線で表現され
る。

【数７】（０，０），（１／Ｎ，ｗ_j0），（２／Ｎ，ｗ_j0＋ｗ_j1），（３／Ｎ，ｗ_j0＋ｗ_j1＋ｗ_j2），・・・・（Ｎ−１／Ｎ，ｗ_j0＋ｗ_j1＋ｗ_j2＋・・＋ｗ_jN-2），（１，^N-1Σ_i=0ｗ_ji ）この例における入力が TLT層の有無によって出力が変化
する様子を図５に示す。図５(a) で、 TLT層がある場合
（ただしＮ＝２、それぞれのユニットの重みをｐ、ｑと
した。）、入力はｘが０から１まで変化するとすると、
出力は例えば図５(b) のようになり、ｐ、ｑで決まる直
線二本の折れ線となる。従って TLT層がない場合に比べ
て出力をより近似できる。このことを図３の例で示した
のが図４で、各重みの値は図４に示す値としてある。図
４(a) は各ユニットの出力値Ｔｉに重みｗ_jiを掛けた出
力、図４(b) 〜(e) を合成したもので、この出力が中間
層のユニットｊの入力値となっていることを示す。図４
(a) の曲線は本来ユニットｊに送られるべきであろうと
予想されるデータ値である。但し図示した曲線値が最終
的な値ではなく、学習によって変化していくものであ
る。ユニットｊからの実際の直線の出力とこの曲線との
差が誤差である。このため、 TLT層で大きく近似がなさ
れると以降の中間層での誤差収拾の負担が軽くなり、計
算量なども減り効率的な結果が得られる。この図４の誤
差分を次段の中間層から出力層への重み（結合係数）に
よって補うようにＢＰ学習で決定していく。ＢＰ学習の
結果により TLT層から中間層ユニットへの結合係数ｗ_ji
も変化を受けるので図４のグラフも変化するわけであ
る。

【００１４】また、上記例の説明を別の表現ですると、
重みｗ_jiはそれぞれの折れ線の傾きに相当する値を示し
ており（正確にはｗ_ji×Ｎが傾き）、学習結果から重み
ｗ_jiを見れば直ちに各折れ線が図形として把握できる。
そのため望ましい変換の大雑把な把握が効率的になされ
ることになる。また、各 TLT層ユニットは入力値の各部
分を分担することになり、各ユニットの果たす役割りも
よく把握できる。例えば入力の小さいときにいつも出力
データが望ましくないとかおかしい現象を生じるような
場合、原因はハード上でのトラブルも考えられるが、入
力データの小さい領域は図４の例で言えばＴ₀のユニッ
トが受け持っているので、このＴ₀のユニットをチェッ
クすればよい、とすぐ対応がとれる。このように各 TLT
層ユニットは明確な意味をもつ特徴がある。

【００１５】なお多次元入力の場合、学習の結果 TLT層
が期待される出力を近似した形状・係数になるかならな
いかということはＢＰ学習の特性によっており、解析的
には今のところ解明できていない。ＢＰ学習がエネルギ
ー最小の原理で働くことから、当然の成り行きとして最
も近似する形状に落ちつく、という説明が最も確からし
いと言える。一般的なＮＮＷの特性として、中間層が必
ずしも出力を近似するという特徴抽出機能を発揮するわ
けではなく、一見無駄なものも含まれるということがあ
る。そのようなユニットでも何らかの信号を送っている
ため、削除する事は出来ない。しかしシミュレーション
の結果のほとんどはユニットの少なくとも一つが近似を
示しているという結果を得ている。

【００１６】上記の例では直線近似を施す場合を示した
が、変換関数ｆがステップ関数の場合は、一次元の場合
では丁度望むべき出力をヒストグラムで近似する。この
場合Ｎが増加するといわば関数のデジタルサンプリング
形状を TLT層が出力するようになる。そのため TLT層自
体がほとんど出力関数を担う形となる。当然結合係数ｗ
の意味は上記の直線近似の例とは全く異なり、ｗがその
まま出力関数値を意味するようになってくる。そこで、
収束性は見込めないが第二の TLT層を次段に設けて更に
近似を施すことも可能となる。このことは部分的に細か
い近似を施したい場合に有効な手段である。また別の変
換関数の場合は中間層でよく利用されるシグモイド関数
を兼用する場合であるが、定数ａにＮ／４を掛けた値は
グラフの最大の傾きを示すのでａは３〜１０が望まし
い。この関数の場合は計算が面倒になる可能性がある。

【００１７】しかしいずれの変換においても、各分割さ
れた区間で変換関数でもって出力関数を近似することに
なるから、誤差を少なくする処理を TLT層で施している
ことになり、当然中間層以降の負担は軽くなり学習効率
があがる効果がある。また、出力の周波数成分が高いま
たは変動が大きいような場合には、結合係数Ｎの数を増
やせばそれだけ近似の度合いが高まり、より効果的であ
るが、ただＮの増加に伴い TLT層での計算量も増加する
ので、対象とする系・問題により目的に応じた適切なＮ
を用いる必要がある。

【００１８】さらに、変換関数ｆ_i(z) はｉごとに別の
関数であっても出力関数を近似することに変わりはな
く、関数を複数用いることで入力ｘに対する特徴的区別
を図ることができる。ただこの場合は関数をそれだけ準
備しなければならないため、システムは複雑化の傾向を
示す。また重みも単純ではなくなり意味を把握しにくく
なる。そのほか、場合によっては出力がある入力特性に
依存しないことが明白であればその入力ユニットの TLT
層を設ける必要がなく、省略できた分、効率を上げるこ
とができる。

【００１９】TLT層の効果を調べるため、 TLT層ありの
神経回路網（以下TLT-NNW ）系と TLT層なしの通常の神
経回路網（以下N-NNW ）系とでパターン認識に相当する
シミュレーションを行った。シミュレーションは、二次
元または三次元入力、そして一次元出力で、 TLT層とし
て関数ｆ_i(z) ＝ｚ、Ｃ_i＝０、Ｄ_i＝１で変換させ
る。そして学習パターンデータを入力して、誤差をもと
に結合係数を変更していくＢＰ学習を計算させ、その学
習結果を基にテストパターンを各NNW に入力して得られ
る出力を調べた。変換定数Ｎ＝２、３、４、５で、学習
回数、テストパターンに対する誤差自乗和、収束率によ
り性能比較をした。TLT-NNW 系の構成は、入力層、 TLT
層、第一中間層、第二中間層、出力層の５層からなり、
隣接する層間は全結合させてある。第一及び第二中間層
のユニット数は例題に応じて変えている。N-NNW 系の構
成は、前記TLT-NNW 系のネットワーク構成から TLT層の
みを取り除き、入力層と第一中間層とを全結合させた４
層構造のものを用いた。

【００２０】学習は以下の条件で計算した。学習係数・・・・・・０．３モーメンタム・・・・０．９許容誤差・・・・・・±０．０５学習回数の上限・・・１００００回なお、上限値に達した場合は収束しなかったものとみな
した。シミュレーションは次の４つの例題で行った。

【００２１】１．シミュレーション問題例題Ａｓｉｎ曲線

【数８】０．５＋０．２・ｓｉｎ（４πｘ）を境界とするｘ−ｙ平面上の領域Ｃ１、Ｃ２の分離をデ
ータとして得る（図６（ａ））。Ｃ１、Ｃ２に属する点
にそれぞれ出力値０、１を割り当てる。学習パターン：図１１（ｂ）に示す白丸座標とその出
力データテストパターン：（ｘ，ｙ）＝（０．０５ｍ，０．０５
ｎ）の各点ｍ，ｎ＝０，１，・・・，２０の計４４１パターンユニット数：第一中間層８、第二中間層６例題Ｂｘ−ｙ平面上の点（０．５，０．５）を中心とする同心
円（図７）の白色と黒色領域それぞれに出力値０、１を
割り当てる。学習パターン：（ｘ，ｙ）＝（０．２ｍ，０．２ｎ）
の各点ｍ，ｎ＝０，１，・・・，５の計３６パターンテストパターン：（ｘ，ｙ）＝（０．１ｐ，０．１ｑ）
の各点でｐ，ｑ＝０，１，・・・，１０の計１２１パタ
ーンユニット数：第一中間層６、第二中間層６例題Ｃｘ、ｙの二次元データを入力とする関数g(x,y)のマッピ
ング（図８）。

【数９】g(x,y)=0.5 + 0.5*cos(2π* sqrt(2((x-0.5)²+
(y-0.5)²))) 学習パターン：（ｘ，ｙ）＝（０．２ｍ，０．２ｎ）
の各点ｍ，ｎ＝０，１，・・・，５の計３６パターンテストパターン：（ｘ，ｙ）＝（０．１ｐ，０．１ｑ）
の各点でｐ，ｑ＝０，１，・・・，１０の計１２１パタ
ーンユニット数：第一中間層６、第二中間層６（注；g(x,y)＜0.5 に出力値０、g(x,y)≧0.5 に出力値
１を割り当てると例題Ｂと同一となる。）例題Ｄｘ、ｙ、ｚの三次元空間におけるデータの分離。原点を
中心とする半径０．５の球内の点に対し出力値０、球外
の点に対し１を割り当てる。学習パターン：（x,y,z)＝（p/7, q/7, r/7)の各点 p,q,r ＝０，１，・・・，７の計５１２パターンテストパターン：（x,y,z)＝（p/9, q/9, r/9)の各点で p,q,r ＝０，１，・・・，９の計１０００パターンユニット数：第一中間層６、第二中間層４

【００２２】２．シミュレーション結果 TLT層あり、なしの両者についての比較結果を図１０、
１１に示す。各欄に記載したデータは神経回路網の初期
値を３回変えて試行を行った平均値を示す。結果とし
て、 TLT層を導入により、学習回数は大幅に減少し、例
題によっては１／２０の回数になっている。また学習結
果の信頼性を示す、テストパターンに対する誤差自乗和
は、例題によっては特定の変換定数で増加が認められる
が、最良の結果で見れば４割程度以上の減少を示してい
る。これは TLT層が学習回数の削減だけでなく、汎化能
力向上にも効果があることを意味している。

【００２３】TLT層は学習回数の削減、汎化能力改善の
他、収束性の向上にも著しい効果を示した。収束性を調
べるため、上述の例題について学習パターン数を以下の
ように増やし、同一条件でシミュレーションを行った。
その結果を図１２に示す。例題Ａ学習パターン数・・・６２ → １２２例題Ｂ学習パターン数・・・３６ → ６４例題Ｃ学習パターン数・・・３６ → ６４例題Ｄ学習パターン数・・・５１２ →１０００

【００２４】以上のシミュレーションにより TLT層の効
果が明確に示せ、本発明が高汎用性でかつ構築容易な神
経回路網であることが示せた。

【図面の簡単な説明】

【図１】本発明の一実施例を示す神経回路網の構成図。

【図２】前処理と神経回路網の関係を示す模式図。

【図３】閾値論理変換の作用の説明図。

【図４】図３の例の出力を示す説明図。

【図５】ＴＬＴ層あり、なしの比較図。

【図６】例題Ａの領域を示す説明図。

【図７】例題Ｂの領域を示す説明図。

【図８】例題Ｃの領域を示す説明図。

【図９】図３の例の変換定数Ｎ＝４の時のＴＬＴユニッ
トの出力一覧図。

【図１０】シミュレーション結果の学習回数のデータ比
較図。

【図１１】シミュレーション結果の誤差自乗和のデータ
比較図。

【図１２】シミュレーション結果の収束性のデータ比較
図。

【符号の説明】

１入力層２ＴＬＴ層３中間層４出力層

Claims

【特許請求の範囲】

【請求項１】入力層と中間層と出力層の少なくとも３層
を有し、各層はユニットを少なくとも一つ以上含む多層
構造な神経回路網において、第ｐ層と第ｑ層（ｐ、ｑはｑ＝ｐ＋１の自然数）との間
に、前記第ｐ層のユニットについて少なくとも一つ以上
閾値論理変換層を有すること、前記閾値論理変換層は前記第ｐ層の一つのユニットに関
する入力データｘをＮ個のデータ（Ｎ≧２）【数１】ｘ →〔ψ₀(Nx),ψ₁(Nx-1),ψ₂(Nx-2),・・
・, ψ_N-1(Nx-(N-1)) 〕に変換し、変換関数ψは、ある入力データｚに対して、【数２】ただし、Ｃ_i、Ｄ_iは実数定数、i=0,1,2 ・・,N-1、を
満たす関数であること、前記Ｎ個のデータはそれぞれが前記第ｑ層のｊ番目のユ
ニットへ重みｗ_jiで出力されることを特徴とする神経回
路網。
【請求項２】前記数２式の関数ｆ_i(z) （i=0,1,2 ・
・,N-1）は、区間０≦ｚ≦１でｚと一対一対応の関数であることを特
徴とする請求項１記載の神経回路網。
【請求項３】前記数２式の関数ｆ_i(z) （i=0,1,2 ・
・,N-1）は、【数３】ｆ_i(z) ＝ｚまたは、【数４】ｆ_i(z) ＝ｕ(z) ただし、関数ｕはユニットステップ関数または、【数５】ｆ_i(z) ＝１／（１＋ｅｘｐ( −ａ( ｚ−
０．５))) ただし、関数ｅｘｐは指数関数、ａは自然数の定数（ａ
≧１）のいずれかの関数であることを特徴とする請求項
１記載の神経回路網。
【請求項４】前記第ｐ層が入力層であり、前記第ｑ層
が中間層であることを特徴とする請求項１に記載の神経
回路網。