JPH02293799A - 音声認識システム - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は音声認識システムに関する。

〔従来の技術〕

従来の音声認識システムの手法としてはＤＰマッチング
が最も実用段階に近く、母音、子音を含めた音韻におい
て平均８５％の確率で認識を得たという報告がある。

〔発明が解決しようとする課題〕

ＤＰマッチングでは入力音声の周波数およびパワーの特
徴を抽出し、音韻標準パターンとのパターンマッチング
により認識を行っており、パターンマッチングのルール
は予め人為的に設定しておく必要がある。一般にこのル
ール設定はサンプリングデータに基づいて行わねばなら
ず、ルールの適用範囲には限界がある。

本発明はこのような従来の問題点を解消すべく創案され
たもので、多様な入力音声の認識が可能であり、かつ認
識率を高め得る音声認識システムを提供することを目的
とする。

〔課題を解決するための手段〕

本発明に係る音声認識システムは、入力音韻に対応した
デジタルデータパターンを生成する入力部と、この入力
部で生成されたデジタルデータパターンの特徴を抽出す
る特徴処理部と、入力されたデータに所定の重みを乗じ
たものの総和と闇値との比較結果に応じたデータを出力
するニューロンが並列的に設けられるとともに、上記特
徴処理部から得られた抽出データの抽象度に応じた層構
造のニューラルレイヤを有し、その抽出データに基づい
て音声認識を行う認識部とを備え、いわゆるニューラル
ネットワークにより主要な認識を行うものである。

〔作用〕

特徴抽出部により得られた入力音韻の特徴を示す抽出デ
ータは、認識部のニューラルレイヤのニューロンに入力
され、これにより音声認識が行われる。すなわち音声認
識は、音声の特徴データをニューラルネットワークによ
り処理することにより行われるので、このニューラルネ
ットワークの学習機能および連想機能により音声認識率
が高められる。

〔実施例〕

以下図示実施例に基づいて本発明を説明する。

第１図において、音声認識システムは、入力音韻に対応
したデジタルデータパターンを生成する人力部２００と
、特徴処理部３００と、認識部ｌ００と、システムメモ
リ４００とを備え、これらはシステムバスＢを通じて相
互に接続されるとともに、ＣＰＵ５００に接続されてい
る。入力部２００にはマイクロフォン等の入力機器とＩ
／Ｏとを含み、Ｉ／Ｏには適宜、データ圧縮手段、デー
タ保持のためのメモリ等が含まれる。特徴処理部３００
は特徴抽出を行う処理部３１０と、入力部２００で生成
されたデジタルデータパターンを保持するメモリ３３０
とを備え、所望により内部に人力部３４’Ｏが設けられ
る。認識部１００は、後に詳述するように、特徴処理部
３００で得られた抽出データに基づいて音声認識を行う
ものであり、ニューロンからなる複数層のニューラルレ
イヤが構築され、このニューラルレイヤの出力データを
記憶するメモリを備える。

第２図は特徴処理部３００における処理部３ｌＯを示す
ものである。処理部３１０は、メモリ３３０からマルチ
プレクサ３１１を介して選択的に取り込んだデータをロ
ーカルバスＬＢを通じてシリアル／パラレル変換部３１
２に転送している。

変換部３１２は所定バイト単位（例えば数ｌＯバイト）
でデータを保持し、これらのデータを並列に演算部３２
０に入力する。演算部３２０は数値演算部３２１および
状態演算部３２５を有し、シリアル／パラレル変換部３
１２の出力は数値演算部３２１に入力される。数値演算
部３２１は乗算部３２２、セレクタ３２３、統合部３２
４を順次接続してなり、微分その他のオペレータ処理は
数値演算部３２１において行われる。数値演算は例えば
入力音韻の各パワーレヘルに乗数を乗じた後にこれを数
値的に統合する処理を行うが、同一のデータには異なる
絶対値の乗数が掛けられることはないという発明者の知
見に基づき最前段に乗算部３２２が配置されている。こ
れによって乗算部のカーネル数は同時処理バイト数に等
しい最小値とすることができ、これにともなって後段の
セレクタ３２３、統合部３２４のゲート数も減少する。

したがって数値演算部３２１は小規模回路で最大限の機
能をもつことができ、処理速度も高速化される。

数値演算部３２１内のデータは状態演算部３２５に導か
れ、状態演算部３２５は所定時間内のデータに対し次の
ような判断または演算を行う。

ａ）パワーの急激な変化等セグメントに有効な特徴。

ｂ）周波数、パワーの極大値等音韻の中心フレーム検出
に有効な特徴。

Ｃ）その他。

このように数値演算とともに状態演算を並列的にしかも
別回路で行うことにより、各回路の効率化と高速化を図
ることができる。また状態演算部３２５の出力はそれ自
体が有効な特＠１であり、あるいは特徴量抽出のための
有効なデータである。

状態演算部３２５の出力は変換部３１３に入力され、さ
らに特徴抽出や、積算、比較などの処理により特徴量が
求められる。

変換部３１３はスタティックＲＡＭなどの高速メモリの
出力の分岐にフルアダーなとの軽演算部を接続し、この
軽演算部の出力を高速メモリのデータ入力にフィードバ
ックしてなるものである。

このような構成により、同一データに同一演算を繰り返
し施したり、データの積算、データの逐次比較等の複雑
な演算を小規模の回路において高速で行うことができる
。

演算部３２０、変換部３１３の出力は出力側のローカル
バスＬＢを通じてメモリ３３０のいずれかに戻されてい
る。

出力側のローカルバスＬＢにはさらに逐次処理部３１４
が接続され、フィードバック的な逐次処理はこの逐次処
理部で行われる。逐次処理部３１４はラインメモリとラ
ッチと論理部を備え、処理対象データ以前の一定時間内
の処理後データを参照しつつ、逐次処理を行う。

このような処理部においては、極めて多様な特徴量を高
速で求めることができ、認識部１００に貴重な特徴量を
供給し得る。なおメモリ３３０としてデュアルポートメ
モリを採用すれば、データの読出し、書込みを極めて高
速で行い得る。

次に認識部１００の構成を第３図に基づいて説明する。

認識部１００は、システムバスＢを介して、または認識
部１００に直接接続された入力系、すなわち特徴処理部
３００から入力されたデータを処理し、処理結果を最終
出力データとして、データメモリ１１０に出力する。

認識部１００にはニューラルネットワークが構築される
。ここでニューラルネットワークについて簡単に説明す
ると、ニューラルネットワークは、第４図に示すニュー
ロン１を、第５図に示すように並列に設けて層状に構成
するとともに、他の層あるいは同じ層のニューロンに接
続して構築される。ニューロン１は相互に接続されてデ
ータの授受を行い、最終段の層のニューロンから最終出
力データが得られる。ニューロン１におけるデータ処理
において、外部または他のニューロンから入力されるデ
ータＩＩＩ．、ＤＩｇ、Ｄｈ、・・・ＤＩｆｉにはそれ
ぞれ重みＷ，ＳＷ．、Ｗ３、・・・Ｗｌｌが掛けられ、
これらの総和と閾値θとが比較される。

一８ー この比較方法としては種々のものが可能であるが、例え
ば、この総和が閾値θ以上の時出力データＤＯが「１」
となり、またこの総和が閾値θより小さい時出力データ
ＤＯがｒＱＪとなるように定められる。すなわち、 ＤＯ＝ｆ｛（Σ（Ｗｉ　ＸＤＩｉ　）一θ｝　　（ｌ）
であり、ここでｆは正規化関数である。

認識部１００は、ニューラルネットワークにおける連想
の作用を為す出力データ生成部１２０を有し、出力デー
タ生成部１２０においては、各ニューロンについての線
型１値関数（ΣＷ，Ａ，θ）の演算が行われる。出力デ
ータ生成部１２０の各部はＣＰＵ５　０　０によって制
御される。

Ｗ．Ａ，の乗算は出力データ生成部１２０における乗算
回路１２１において実行される。１回毎のＷ，Ａ，の演
算結果は順次積算回路１２２に入力され、ΣＷ，Ａ．の
演算が行われる。積算回路１２２は、加算回路１０４に
フリップフロップ１０５を帰還的に接続してなり、加算
結果を一旦フリップフロップ１０５に保持したのち、次
のＷ，Ａ．の入力と保持された加算結果とを加算してい
くことにより積算を行う。ΣＷ，Ａえの演算結果は闇値
処理部１２３に入力され、（ΣＷよＡ，一〇）の演算が
行われる。さらに闇値処理部１２３においては、（ΣＷ
，Ａ．−θ）の演算結果を正規化する等の処理を行い、
出力データとする。（ΣＷ．Ａ＋−θ）の演算結果はバ
ッファ１０６を介してデータメモリ１１０に入力される
。

乗算回路１２１には重みのデータと、入力あるいは出力
データとが並列的に入力されるため、２系統の入力ライ
ンを有するが、バッファ１０６はそのうちの一方の入力
ラインに接続され、この入力ラインは入出力双方向のラ
インとして使用される。バッファ１０６は、データメモ
リ１１０から乗算回路１２１にデータが転送される際に
はハイインピーダンスとなる。

各二二一ラルレイヤのデータは、第１層については０次
入カデータおよび第１ニューラルレイヤの重みが入力さ
れ、第２層については１次出力データおよび第２ニュニ
ラルレイヤの重みが入力さ９一 れる。すなわち第ｎニューラルレイヤの出力（ｎ次出力
データ）は第（ｎ＋１）ニューラルレイヤの入力となる
。データメモリ１１０において、重みのデータはシナプ
ス重みエリア１１１に格納され、入出力データは入出力
データエリア１１２に格納される。また闇値処理部１２
３に設定すべき各ニューロンの闇値は、データメモリ１
１０またはシステムメモリ１０１に格納され、各ニュー
ロンについての演算を開始する前に闇値処理部ｌ２３に
転送される。

実際にニューラルネットワークによって実行される処理
内容は極めて複雑であるが、極めて単純な論理演算が実
行されると仮定して、本発明のニューラルネットワーク
の第１実施例を説明するとともに、本発明の第１の基本
理念を解説する。

第６図（ａ）、（ｂ）、（ｃ）は学習の結果、Ａ・（Ｂ
十Ｃ）　　　　　　　　　　（２）の論理演算が実行さ
れるに到ったニューラルネットワークを示すものである
。第６図（ａ）、（ｂ）は比較例を示し、第６図（Ｃ）
はニューラルネットワークの第１実施例を示す。

第６図（ａ）は、初段のニューラルレイヤ２０にデータ
群１０におけるＡ．．Ｂ，Ｃの３データの全ての組合せ
の数２３＝８個のニューロン２１〜２８が設けられ、第
２段のニューラルレイヤ３０に初段ニューロン２１〜２
８の出力のＯＲ（論理和）を演算する１個のニューロン
３１が設けられた構成を示している。図中、ニューロン
２１〜２８の上に付したｒｏｏＯＪなどの数値はデータ
Ａ、Ｂ，Ｃよりなるビットパターンを示し、これらのニ
ューロンはこのビットパターンが人力されるときに出力
「１」を出力する。このニューラルネットワークにおい
ては、ニューロン数が９、シナプス数が３２であり、ニ
ューロンおよびシナブスの効率が極めて低く、所要メモ
リ容量が大であるとともに、処理時間も大である。

第６図（ｂ）は（２）式を以下のように展開し、Ａ−Ｂ
　　＋　　Ａ−Ｃ　　　　　　　　　（３）演算の単純
化を図った例であり、初段ニューラルレイヤ２０は、Ａ
−Ｂの演算を処理するためのニ−１　２一 ューロン２１、Ａ−Ｃの演算を処理するためのニューロ
ン２２を備える。第２段のニューラルレイヤ３０はニュ
ーロン２１、２２の出力のＯＲを求めるニューロン３１
を有する。

ニューロン２１においては、データＡＳＢ，Ｃに対する
重みＷ１〜Ｗ３は、例えばＷ＋＝１、Ｗ２＝１、Ｗ３一
〇に設定され、 ＡＷ　ｌ＋ＢＷｔ　＋ＣＷ　３≧２　　　　（４）のと
きに出力「１」を出力する。したがってこの場合、閾値
θ＝２とされる。同様に、ニューロン２２では、Ｗ４＝
１、Ｗ，＝０、Ｗｂ　＝１　，　θ；２となる。一方ニ
ューロン３１では、ｗ７＝１、Ｗｌｌ冨１、θ＝１とな
る。

第６図（ｂ）のニューラルネットワークにおいて、ニュ
ーロン数は３、シナプス数は８であり、第６図（ａ）の
ニューラルネットワークに比較すれば、大幅にニューロ
ン効率、シナプス効率が向上している。しかし、次に述
べるように本発明によれば、さらにこれらの効率が向上
する。

第６図（Ｃ）は本発明のニューラルネットワ−クの第１
実施例を示すもので、この構成は、初段ニューラルレイ
ヤ２０および第２段ニューラルレイヤ３０を有し、初段
ニューラルレイヤ２０にはデータＢ，Ｃのみが入力され
、そして第２段ニューラルレイヤ３０には、データＡが
直接入力される。初段ニューラルレイヤ２０には、（Ｂ
＋Ｃ）の演算を行うための１個のニューロン２ｌが設ケ
られ、第２段ニューラルレイヤ３０には、Ａ・　（Ｂ＋
Ｃ）の演算を行うための１個のニューロン３１が設けら
れる。ニューロン２１は、例えば重みＷ１＝１、Ｗ２＝
１、θ−１に設定され、ＢＷＩ　＋ＣＷ，≧１　　　　
　　　　（５）のとき出力「ｌ」を出力する。一方ニュ
ーロン３１は、例えば、Ｗ３＝１、Ｗ４＝１、θ＝２に
設定され、ニューロン２ｌの出力をＹ１とすると、ＹＩ
Ｗ３　＋ＡＷ４≧２　　　　　　　（６）のとき、出力
「ｌ」を出力する。この実施例においては、ニューロン
数２、シナプス数４であり、第６図（ｂ）の比較例より
も大幅にニューロン効率、シナプス効率が向上している
。

ここで本発明の第１の基本理念を解説する。

再び（２）式に注目すると、データＢ，Ｃ、は１つの作
用素ｒ−１−　（ＯＲ）Ｊにより結合されており、デー
タＡは、その演算結果に対して作用素「×（ＡＮＤ），
で結合されている。したがって本来データＢ，Ｃとデー
タＡとは同一次元で評価すべきものではなく、それを敢
えて同一次元で評価しようとすると、第６図（ａ）、（
ｂ）の比較例のように効率の低下を招来する。

ここで、ニューロンの処理内容が下記（７）式の評価の
みであると仮定する。

ΣＷえＡ，−θ　　　　　　　　　　（７）（ただし、
Ｗｉ　：重み、Ａｉ　：入力、θ：閾値）そして、各デ
ータについてその抽象度を定義できると仮定し、その抽
象度を「次数」と呼ぶ。

この次数は、１個のニューロンにおける入力データに対
し、出力データが１次だけ次数が増加すると定義する。

また、１つの作用素により結合されたデータ相互は同一
次数であると定義する。

このような定義によると、（２）式の場合、データＢ，
Ｃは同一次数であり、データＡはそれよりも次数が１次
だけ高い。ここでデータＢ，Ｃの次数として「０」を与
えるとすると、データＡの次数は「１」である。

このデータの次数とニューラルレイヤの階層との関係を
考えると、第６図（Ｃ）において、ニューラルレイヤ２
０にはθ次のデータのみが入力され、ニューラルレイヤ
３０には１次のデータのみが入力されている。したがっ
て、ニューラルレイヤ２０、３０を入力データの次数に
対応づけ得ることが明らかであり、以後ニューラルレイ
ヤにも入力データと同一の次数を定義するものとする。

そして、ニューラルネットワークに入力すべきデータ群
をその次数に応じて分類し、各次数のデータをそれに対
応した次数のニューラルレイヤに入力することによって
、ニューロン効率、シナプス効率が最適化する。

また、第６図（ａ）、（ｂ）に関連して説明したように
、高次のデータを低次数化して処理することも可能であ
り、この場合にはニューロン効率、一１　５ー −１　６一 シナプス効率が低下する。したがって各データの次数は
、そのデータがとり得る最も高い次数を基準とすべきで
ある。

なお、（Ａ＋Ｂ）　・Ｂのように１つのデータが複数の
次数にわたって使用されることもあり、この場合、１つ
のデータを複数のニューラルレイヤに入力するよう多こ
してもよい。

第７図（ａ）はニューラルネットワークの第２実施例を
示し、この構成は、データ群ｌＯとニューラルレイヤ２
０、９０とを有し、レイヤ９０は出力データを外部に出
力する出力レイヤとなっている。

データ群１０は、第１グループのデータ１１、１２、１
３・・・と、第２グループのデータ１４、１５、１６・
・・とからなる。すなわちデータ群１０のデータは、そ
の次数に応じて第１および第２グループの２種類に分類
されている。

ニューラルレイヤ２０はニューロン２１、２２、２３・
・・を有し、また出力レイヤ９０はニューロン９１、９
２、９３・・・を有する。ニューラルレイヤ２０の各ニ
ューロンは出力レイヤ９０の各ニューロンに接続される
。第１グループのデータ１１、１２、ｌ３・・・はニュ
ーラルレイヤ２０の各ニューロンにそれぞれ入力され、
第２グループのデータ１４、ｌ５、１６・・・は出力レ
イヤ９０の各ニューロンにそれぞれ入力される。

ニューラルレイヤ２０の各ニューロンは、例えば上記（
１）式に示されるように、入力された各データに重みを
乗じたものの総和と闇値とを比較し、この比較結果に応
じて、出力データ「１」または「０」を出力する。出力
レイヤ９０の各ニューロンは、ニューラルレイヤ２０の
各ニューロンおよび第２グループのデータ１４、１５、
１６・・・にそれぞれ重みを乗じたものの総和を求め、
この総和と闇値との比較結果に応じて、ニューラルレイ
ヤ２０のニューロンと同様に「１」または「０」のデー
タを出力する。

しかして第２実施例において、第１グループのデータす
なわち低次のデータは、ニュ」ラルレイヤ２０のニュー
ロンに入力され、第２グループの一１８ データすなわち高次のデータは、出力レイヤ９０のニュ
ーロンに入力される。したがって、ニューラルレイヤ２
０のニューロンは、より低次の処理すなわち例えば入力
音韻のパワーレベルのデータに対する処理を行い、出力
レイヤ９０のニューロンは、より高次の処理すなわち例
えば入力音韻のパワーの持つ様々な性質等に対する処理
を行う。

このように、第２実施例においては、高次のデータが直
接出力レイヤ９０に入力され、ニューラルレイヤ２０に
は入力されないので、シナプス数すなわち入力要素とニ
ューロンあるいはニューロン同士の接続部の数は減少し
、またニューロン数も減少する。シナプス数が少なくな
ると、ニューロンにとって演算回数が減少するために、
演算速度が上昇し、また重みデータ数も減少するので、
メモリ容量も小さくてすむ。また、ニューロン数が少な
くなると、闇値の数も少なくてすみ、これによりメモリ
容量が小さくなるとともに、演算回数も少なくなり演算
速度が上昇する。しかして本実施例によれば、小さいメ
モリ容量でかつ高速の演算処理が可能になり、単純な回
路で効率の高いニューラルネットワークが得られる。

第７図（ｂ）はニューラルネットワークの第３実施例を
示し、この実施例は、３つのグループの入力データ群１
０と、ニューラルレイヤ２０、３０および出力レイヤ９
０を有する。

入力データ群１０は、第１グループのデータ１１、１２
、１３・・・と、第２グループのデータ１４、１５、１
６・・・と、第３グループのデータ１７、１８、１９・
・・とを備える。すなわち入力データ群は、第２実施例
と異なり、３種類に分類されている。第１のニューラル
レイヤ２０はニューロン２ｌ、２２、２３・・・を有し
、また第２のニューラルレイヤ３０はニューロン３１、
３２、３３・・・を有する。出力レイヤ９０は、ニュー
ロン９１、９２、９３・・・を有する。第１のニューラ
ルレイヤ２０の各ニューロンは、第２のニューラルレイ
ヤ３０の各ニューロンに、また第２のニューラルレイヤ
３０の各ニューロンは、出力レイヤ９０の各ニューロン
にそれぞれ接続される。

第１グループのデータ１１、１２、１３・・・は第１の
ニューラルレイヤ２０の各ニューロンに、第２グループ
のデータ１４、１５、１６・・・は第２のニューラルレ
イヤ３０の各ニューロンに、第３グループのデータ１７
、１８、１９・・・は出力レイヤ９０の各ニューロンに
それぞれ接続される。

各ニューロンは、第２実施例と同様に、例えば上記（１
）式に従い、入力された各データに応じて、出力データ
「１」または「０」を出力する。第１グループのデータ
１１、１２、１３・・・は０次データ、第２グループの
データｌ４、１５、１６・・・は１次データ，、第３グ
ループのデータｌ７、１８、１９・・・は２次データで
ある。すなわち第２のニューラルレイヤ３０には高次の
データが人力され、出力レイヤ９０にはさらに高次のデ
ータが入力される。

この第３実施例においても、第２実施例と同様に、シナ
プス数は減少し、またニューロン数も滅？する。したが
って、第２実施例と同様な効果が得られる。

第８図（ａ）、（ｂ）はニューラルネットワークの第４
実施例を比較例とともに表したものであり、この例は入
力データを論理演算 （Ａ６９Ｂ）　ｆｌｌＥｌ　（ＣｅＤ）に従って処理す
る場合を示す。なおここで、ｅは「排他的論理和」を示
し、またＡ，Ｂ，Ｃ，Ｄは「１」または「０」のデジタ
ル値であり、この論理演算の結果も「１」またはｒ■ｊ
のデジタル値として出力されるとして説明する。

第８図（ａ）は比較例を示し、この装置は入力デ．一夕
を通過させるための入・カデータ群１０と第１および第
２のニューラルレイヤ２０、３０と出力レイヤ９０とを
有する。入力データ群１０は入力データＡ，Ｂ，Ｃ，Ｄ
からなる。第１のニューラルレイヤ２０は４個のニュー
ロン２１、２２、２３、２４を有し、第２のニューラル
レイヤ３０は４個のニューロン３１、３２、３３、３４
を有する。各データ、へ〜Ｄは、それぞれ第１のニュー
ラルレイヤ２０の各ニューロンに入力され、第１のニュ
ーラルレイヤ２０の各ニューロンはそれぞれ第２のニュ
ーラルレイヤ３０の各ニューロンに接続される。一方、
出力レイヤ９０は１個のニューロ・ン９１を有し、この
ニューロン９１には、第２のニューラルレイヤ２０の各
ニューロンがそれぞれ接続される。

第１のニューラルレイヤ２０において、各ニューロン２
１は各入力データに対して乗じられる重みと闇値とを有
し、上記（１）式に従い、各入力データと重みの積の総
和が闇値以上の時出力データ「１」を出力し、この総和
が閾値θよりも小さい時出力データｒＱＪを出力する。

同様にニューロン２２、２３、２４も各入力データに応
じて、「１」または「０」を出力する。第２のニューラ
ルレイヤ３０においても同様に、各ニューロンは、入力
データに応じて「ｌ」または「０」を出力する。

出力レイヤ９０のニューロン９１も同様に、第２のニュ
ーラルレイヤ３０のニューロンからの出力データに応じ
て、「１」または「０」のデータを出力する。

さて論理演算（ＡｆＢＢ）ｅ　（ＣｅＤ）０）演算結果
は、データＡ，Ｂが不一致で、かっＣ，Ｄが一致すると
き、またＡ，Ｂが一致し、かっＣＳＤが不一致のとき、
「１」となる。それ以外の場合は「０」となる。このた
め、第８図（ａ）においては、各ニューロンは次のよう
に構成される。

第１のニューラルレイヤ２０において、ニューロン２１
、２２、２３、２４は、Ａ，　Ｂ，　Ｃ，Ｄを４ビット
パターンで表した場合、それぞれ「ＯＩＸＸＪ、ｒｌＯ
ｘｘ，１、「χＸ０１」、「χχ１０」の時「１」を出
力し、それ以外の場合「０」を出力する。ここで、ｒｘ
ＸＪはそのデータを無視することを意味する。一方、第
２のニューラルレイヤ３０において、ニューロン３１は
、第１のニューラルレイヤ２０のニューロン２ｌのみが
「１」を出力する時ｒ１，を出力し、それ以外の時「０
」を出力する。またニューロン３２は、第１のニューラ
ルレイヤ２０のニューロン２２のみが「１」を出力する
時「１」を出力し、それ以外の時「０」を出力する。同
様にして、ニューロン３３は、第１のニューラルレイヤ
２０のニューロン２３のみが「１」を出力する時「１」
を出力し、またニューロン３４は、第１のニューラルレ
イヤ２０のニューロン２４のみが「１」を出力する時ｒ
１，を出力する。一方、出力レイヤ９ｏのニューロン９
１は、第２のニューラルレイヤ３０のニューロンの少な
くともひとつが「１」を出力する時「１」を出力する。

したがって、Ａ，Ｂ，ＣＸＤの入カデータがビットパタ
ーンで「ＯＯＯ１」の場合、第１のニューラルレイヤ２
０においてニューロン２３のみが「１」を出力し、他の
ニューロン２１、２２、２４が「０」を出力する。この
結果、第２のニューラルレイヤ３０においてニューロン
３３がｒｌＪを出力することとなり、出力レイヤ９ｏの
ニューロン９１が「１」を出力する。同様にしてＡ，Ｂ
、Ｃ，Ｄが、ｒ００１０Ｊ、ｒ０　１　０　０Ｊ、ｒｌ
ｏ００」、「ｌ１１０」、ｒｌｌｏＩＪ、「１ｏ１１」
、ｒｏ　１　１　１，の場合、第２のニューラルレイヤ
３０において、いずれかのニューロンが「ｌ」を出力し
、出力レイヤ９０のニューロン９１が「１」を出力する
。

第８図（ｂ）はニューラルネットワークの第４の実施例
を示し、この装置は入力データ群１０と第１、第２およ
び第３のニューラルレイヤ２０、３０、４０と出力レイ
ヤ９０とを有する。入力データ群１０は、入力データＡ
，Ｂ，Ｃ，Ｄからなる。第１のニューラルレイヤ２０は
４個のニューロン２１、２２、２３、２４、第２のニュ
ーラルレイヤ３０は２個のニューロン３１、３２、第３
のニューラルレイヤ４０は２個のニューロン４１、４２
、出力レイヤ９０は１個のニューロン９ｌを有する。入
力データ群のデータＡ−Ｄは、それぞれ第１のニューラ
ルレイヤ２０の各ニューロンに入力され、第１のニュー
ラルレイヤ２０の各ニューロンはそれぞれ第２のニュー
ラルレイヤ３０の各ニューロンに接続される。第２のニ
ューラルレイヤ３０の各ニューロンは第３のニューラル
レイヤ４０の各ニューロンに接続され、第３のニュ−２
　５一 ラルレイヤ４０の各ニューロンは出力レイヤ９０のニュ
ーロンに接続される。

各ニューラルレイヤ２０、３０、４０および出力レイヤ
９０における各ニューロンは、第８図（ａ）の場合と同
様に、入力されるデータに応じて「１」または「０」を
出力する。

第１のニューラルレイヤ２０において、ニューロン２１
、２２、２３、２４は、Ａ，Ｂ，Ｃ，Ｄを４ビットパタ
ーンで表した場合、それぞれ「ＯＩＸＸＪ、’ＩＯＸＸ
Ｊ、ｒｘｘ０１，１、ｒｘｘ１０」の時「ｌ」を出力し
、それ以外の場合「０」を出力する。一方、第２のニュ
ーラルレイヤ３０において、ニューロン３１は、第１の
ニューラルレイヤ２０のニューロン２１または２２が「
１」を出力する時「１」を出力し、それ以外の時「０」
を出力する。またニューロン３２は、第１のニューラル
レイヤ２０のニューロン２３または２４が「１」を出力
する時「１」を出力し、それ以外の時「０』を出力する
。第３のニューラルレイヤ４０において、ニューロン４
１は、第２のニュ一ラルレイヤ３０のニューロン３２の
みが「１」を出力する時「１」を出力し、それ以外の時
「０」を出力する。またニューロン４２は、第２のニュ
ーラルレイヤ３０のニューロン３１のみが「１」を出力
する時「ｌ」を出力し、それ以外の時「Ｏ」を出力する
。一方、出力レイヤ９０のニューロン９１は、第３のニ
ューラルレイヤ４０のニューロンの少なくともひとつが
「１』を出力する時「１」を出力する。

したがって、Ａ，Ｂ，Ｃ，Ｄの入力データがビットパタ
ーンでｒｏ００１Ｊの場合、第１のニューラルレイヤ２
０においてニューロン２３のみが［ＩＪを出力し、他の
ニューロン２１、２２、２４が「０」を出力する。この
結果、第２のニューラルレイヤ３０においてニューロン
３２のみが「１」を出力し、第３のニューラルレイヤ４
０においてニューロン４２がｒｌＪを出力することとな
る。したがって出力レイヤ９０のニューロン９ｌが「１
」を出力する。同様にしてＡ，Ｂ，Ｃ，Ｄが、ｒ００１
０Ｊ、ｒ０　１　０　０，、ｒｌ０００Ｊ、ｒｌｌｌｏ
　　ノ　、　　ｒｌ　　１　　０　　１Ｊ　　、　　ｒ
ｌ０１１Ｊ　　、　　「０１１１Ｊの場合、第２のニュ
ーラルレイヤ３０において、いずれかのニューロンが「
１」を出力し、これにより第３のニューラルレイヤ４０
のいずれか一方のニューロンがｒｌＪを出力することと
なり、第４のニューラルレイヤ４０のいずれか一方のニ
ューロンが「１」を出力する。したがって、出力レイヤ
９０のニューロン９１が「１」を出力する。

第８図（ａ）から容易に理解されるように、比較例にお
いて、シナプス数は３６であり、ニューロン数は１０で
ある。これに対し本実施例においては、第８図（ｂ）か
ら理解されるようにシナプス数は３０であり、ニューロ
ン数は１０である。

しかして、論理演算（ＡｅＢ）　ｅ（ＣｅＤ）　によっ
て入力データを処理する場合、比較例において３６個の
シナブスが必要であったのに対し、本実施例によれば３
０個のシナプスですむことが理解される。

すなわち、本実施例によればシナプス数は約２割減少し
、上記各実施例において述べたのと同様な効果が得られ
る。つまり、ニューラルレイヤの数を増加させるととも
に、出力レイヤ９０側に構築されるニューラルレイヤの
ニューロン数をそれより前段のニューラルレイヤのニュ
ーロン数以下に定めることにより、シナプス数を減少さ
せることができ、ニューラルネットワークのメモリ容量
を削減するとともに演算速度を向上させることができる
。

第９図（ａ）、（ｂ）はニューラルネットワークの第５
実施例を比較例とともに表したものであり、この例は入
力データを論理演算 ｛　（ＡｅＢ）　ｅ（ＣΦＤ））　ｅＥ　　（８）に従
って処理する場合を示す。

第９図（ａ）は比較例を示し、入力データ群１０は５個
のデータＡ−Ｅ，初段のレイヤ２０は１５個のニューロ
ン、出力レイヤ９０は１個のニューロンをそれぞれ有す
る。比較例において、上記（８）式を展開して得られる
各項をニューラルレイヤ２０の各ニューロンへ入力して
いる。したがって、全てのデータはＯ次データとして処
理されている。

これに対し、第９図（ｂ）はニューラルネットワークの
第５実施例を示し、この装置は入力データ群１０と、第
１、第２、第３および第４のニヱーラルレイヤ２０、３
０、４０、５０と、出力レイヤ９０とを有する。第１の
ニューラルレイヤ２０と第２のニューラルレイヤ３０は
（ＡｅＢ）と（ＣｅＤ）に従った処理をそれぞれ行い、
第３の−−ユーラ／Ｌ／Ｉ／イヤ４０は＜　（Ａ６３Ｂ
）　ｅ（Ｃ６３Ｄ）｝に従った処理を行う。そして第４
のニューラルレイヤ５０および出力レイヤ９０により、
｛（ＡｅＢ）ｅ　（ＣΦＤ））ΦＥによる最終結果が求
められる。

第９図（ａ）および第９図（ｂ）の対比から理解される
ように、比較例において、シナプス数は８０，ニューロ
ン数は１６であり、これに対し本実施例においては、シ
ナブス数は３２であり、ニューロン数は１０である。し
かして、本実施例によればシナプス数は約４割に減少し
、またニューロン数は約６割に減少する。したがって本
実施例においても、上記各実施例において述べたのと同
様な効果が得られる。

以上の説明から理解されるように、本発明において、入
力データ群、ニューラルレイヤ、および出力レイヤから
なる層構造は、そのデータ処理において必要とする次数
、および入力データの次数に応じて最適に構成される必
要があり、また入力データはその層構造に応じて適当な
レイヤに入力される。なお、ここで次数とは、前述した
ように、データあるいは処理内容の抽象度を意味する。

さて、ニューロンが上述のような処理を行うには、重み
が学習により適当な値に定められなければならない。こ
のため本実施例においては、後述するように、重みが時
間的に指数関数的に変化せしめられる。なお、重みの修
正方法として、特願昭６３−２９７５４１号に開示され
ているように大別して３つの方法があり、これらをここ
ではそれぞれモードＩ、モード■、モード■と呼ぶこと
とする。

モードＩは第１０図に示すように、ニューロン−３　１
一 の重みがそのニューロンの出力に基づいて修正されるも
のである。この修正方法は、各レイヤの出力の目標値が
明らかになっている場合に有効である。さて、ある入力
に対してそのニューロンが出力を生じた場合その出力が
目標値に一致し、あるいは目標値に十分近かった時、そ
の時の入出力の関係は強化されるべきである。これは、
有意な入力が与えられたシナブスの重みを高めることに
相当する。モードＩにおいては、各ニューロンの出力の
目標値が予め分かっているので、各ニューロンの出力を
目標値と比較し、両者が一致あるいは十分近かった時、
例えば２値入力の場合ｒｌＪが入力されたシナブスの重
みが増加せしめられる。

モード■は第１１図に示すように、ニューロンの重みが
最終的な出力の評価結果に基づいて修正されるものであ
る。この修正方法は、データ処理装置の処理内容を大局
的に判断する場合に有効である。このモードにおける評
価方法としては、出力レイヤの最終出力と目標値とのハ
ミング距離、あるいはピタゴラス距離の評価、あるいは
感応的評価等が可能である。この評価の結果、出力が目
標値と一致あるいは十分近ければ、その時の入出力関係
は強化されるべきであり、その時、例えば「１」が入力
された各シナブスの重みが増加せしめられる。

モード■は、入力をそのまま記憶するタイプの学習の場
合の重みの修正方法であり、入力とその入力に対して最
初に生じた出力との関係を強化する。すなわち、第１０
図の構成において、その入力に対して「１」を出力した
ニューロンにおける、ｒｌＪが入力されたシナブスの重
みが増加せしめられる。

このような重みの修正において、発明者等は、まずニュ
ーロンの重みの変化を生体の神経細胞における膜電位の
変化と仮定した。つまり、重みが生体の神経細胞におけ
る膜電位と同様に設定されるならば、データ処理装置に
おける学習の効率は生体の脳細胞と同様に極めて高くな
ると、考えられる。そしてまた、重みが膜電位と同様な
変化を示すのであれば、その変化は、一般的なＲＬＣ回
３　４一 路と同様に指数関数で表現されると考えられる。

しかして重みＷは、第１２図に示すように、Ｗ一±ｅｘ
ｐ（ｔ）　　　　　　　　　　　　（　９　）で表され
る。ただし、Ｌは個々のニューロンにおける学習時間、
すなわち学習回数を表す。

（９）式において、シナプスが興奮型の場合には符号は
十になり、重みＷは、実線■で示すようにＯから始まっ
て最初は急速に大きくなり、学習開始から時間がたつほ
どその変化量は小さくなり最大値Ｗκに近づく。これに
対し、シナプスが抑制型の場合には符号はーになり、重
みＷは、実線Ｊで示すように０から始まって最初は急速
に小さくなり、学習開始から時間がたつほどその変化量
は小さくなり最小値Ｗ．に近づく。

学習の開始直後、そのシナブスについてあまりデータ相
関がないので、この時の重みＷは小さく定められるが、
その後、データ相関が大きくなっていくので、重みＷは
急速に大きくなり、これにより学習による収束が早めら
れる。これに対し、学習が進んで重みＷが既に大きくな
っている場合、そのシナプスはそれまでの学習において
十分データ相関がある。したがって、その重みＷをいた
ずらに変動させると、単に振動を起こすだけであり学習
における収束性を阻害することとなるが、重みＷはほと
んど変化しないように定められているので、十分な収束
性が得られる。

なお、従来、ニューロンの出力特性として抑制型および
興奮型ニューロンが考えられており、これをニューラル
ネットワークとして最適配置するには処理内容を考慮し
た詳細な検討が必要であり、抑制型ニューロンと興奮型
ニューロンの結合は複雑である。しかし本実施例によれ
ば、ひとつのシナブスの特性として重みＷの符号を＋ま
たは−に選択するだけで、抑制型、興奮型を任意に実現
でき、したがって回路構成が単純化され、回路の自由度
が高まる。なお、抑制型ニューロンの存在によって、デ
ータの分離性が向上することは、ローゼンプラット以来
よく知られたところである（１９５８年　Ｆ．Ｒｏｓｅ
ｎｂｌａｔｔ　　’　Ｔｈｅ　　ｐｅｒｃｅｐｔｒｏｎ
：　　ａ　ｐｒｏｂａｂｉｌｉｓｔｉｃ　　ｍｏｄｅｌ
　　ｆｏｒ　　ｉｎｆｏｒｍａｔｉｏｎｓｔｏｒａｇｅ
　　ａｎｄ　　ｏｒｇａｎｉｚａｔｉｏｎ　　ｉｎ　　
ｔｈｅ　　ｂｒａｉｎ″，Ｐｓｙｃｈｏｌｏｇｉｃａｌ
　　Ｒｅｖｉｅｗ　６５：　　３８６−４０８）。

しかして本実施例によれば、ニューラルネットワークに
おける学習の効率が向上し、最終出力データを早期に収
束かつ安定化させることができる。

また、上述のように、重みＷの正負の符号を変えるだけ
で抑制型および興奮型の特性が得られるので、データ処
理装置の回路の自由度が高まる。

なお、重みＷの時間的変化は、必ずしも正確に指数関数
に定める必要はなく、例えば折れ線等で近似してもよい
。

次に、ニューラルネットワークの第６〜８実施例を説明
するとともに、本発明の第２の基本理念を解説する。

第１３図（ａ）は本発明のニューラルネットワークの第
６実施例を示し，、この実施例は、学習の結果ＣＡ十Ｂ
）の論理演算を実行するに到ったニューラルネットワー
クを示すものである。

この構成は、１層のニューラルレイヤ２０を有し、この
ニューラルレイヤ２０には、データ数と同数、すなわち
２個のニューロン２１、２２が設けられる。各ニューロ
ン２１、２２にはデータＡおよびＢがそれぞれ入力され
る。各ニューロン２１、２２は、各データの入力経路と
の接続部分すなわちシナブスにおける重みＷ，と、閾値
θとを有する。学習により重みＷｉは変化し、ニューロ
ンは、所定の処理を行うようになる。本実施例では、学
習の結果、一方のニューロン２１のみが論理演算（Ａ＋
Ｂ）の処理を行い、他方のニューロン２２は実質的に作
用しない。すなわちニューロン２１は例えばＷ，＝１、
Ｗ２＝１、θ；ｌに設定され、 ＡＷ＋　＋ＢＷ２≧１ の時、出力データ「１」を出力する。一方ニューロン２
２は、例えば、Ｗ，Ｉ＝Ｏ、Ｗ４−０、θ一１に設定さ
れ、したがって常に、 Ａ　Ｗ　３　＋Ｂ　Ｗ　ａ　＜　１ であり、閾値θを越えることはなく、出力データ「０」
を出力する。

しかしてニューロン２１は、データＡ，Ｂの少なくとも
一方が「１」の時、出力データ「１」を出力し、本実施
例のニューラルネットワークは、論理演算（Ａ十Ｂ）を
実行する。

第１３図（ｂ）は第７実施例を示し、この実施例は、学
習の結果（ＡｅＢ）の論理演算を実行するに到ったニュ
ーラルネットワークを示すものである。この構成は２層
のニューラルレイヤ２０、３０を有し、初段のニューラ
ルレイヤ２０にはニューロン２１、２２が設けられ、ま
た後段のニューロン３０にはニューロン３１、３２が設
けられる。初段のニューラルレイヤ２０のニューロン２
ｌ、２２には、データＡおよびＢが入力される。

論理演算（ＡｅＢ）は、（ＡＢ＋ＡＢ）と展開され、ニ
ューラルレイヤ２０において、ニューロン２１が（ＡＢ
）の処理を行い、ニューロン２２が（ＡＥＯの処理を行
う。すなわちニューロン２１は、例えばＬ　一−Ｌ　Ｗ
２　＝ｉ、θ＝１に設定され、 ＡＷ＋　＋ＢＷ２≧１ の時、出力データ「１」を出力する。一方、ニューロン
２２は、例えばＷ３−１、Ｗ４＝−１、θ一１に設定さ
れ、 ＡＷ３　＋ＢＷ４≧１ の時、出力データ「１」を出力する。

ニューラルレイヤ３０のニューロン３１は、（ＸＢ＋Ａ
］ｌＴ）の処理を行い、例えばＷ５＝１、Ｗ６＝１、θ
＝１に設定され、ニューロン２１の出力をＹ１、ニュー
ロン２２の出力をＹ２とするとＹ，Ｗ，＋ｙ２　ｗ，≧
１ の時、出力「１」を出力する。一方ニューロン３２は実
質的に作用しない。

しかしてニューロン３１は、データＡ，Ｂの一方のみが
ｒＩＪの時出力データ「１」を出力し、両者が共に「１
」またはｒＱＪの時出力データ「０」を出力し、本実施
例のニューラルネットワークは、論理演算（ＡｅＢ）を
実行する。

第１３図（Ｃ）は第８実施例を示し、この実施例は、学
習の結果（Ａ＋Ｂ）Ｃの論理演算を実行するに到ったニ
ューラルネットワークを示すものである。この構成は２
層のニューラルレイヤ２０、ー４０一 ３０を有し、初段のニューラルレイヤ２０にはニューロ
ン２１、２２、２３が設けられ、また後段のニューロン
３０にはニューロン３１、３２、３３が設けられる。初
段のニューラルレイヤ２０のニューロン２１、２２、２
３には、データＡ，　ＢおよびＣが入力される。

ニューラルレイヤ２０において、ニューロン２１は（Ａ
＋Ｂ）の処理を行い、ニューロン２２は実質的に作用せ
ず、ニューロン２３は入力データＣをそのまま出力する
。すなわちニューロン２１は、例えばＷ＋−１、Ｗ２＝
１、Ｗ３−０、θ＝１に設定され、 ＡＷＩ　＋ＢＷ２　＋ＣＷｓ≧１ の時、出力データｒ１」を出力する。一方、ニューロン
２２は、例えば各重みＷ４、Ｗ，、Ｗ６が０に設定され
るとともに、閾値θが１に設定され、実質的に作用しな
い。またニューロン２３は、例えば重みＷ７＝０、Ｗ．
＝Ｏ、Ｗ，＝１、θ−１に設定され、 ＡＷ？　＋ＢＷ８＋ＣＷ，≧１ ？時、出力データ「１」を出力し、その他の時、出力デ
ータｒＱＪを出力する。

ニューラルレイヤ３０のニューロン３１は、ニューラル
レイヤ２０のニューロン２１、２３の出力データに基づ
いて（Ａ＋Ｂ）Ｃの処理を行い、例えばＷ＋＋＝１、Ｗ
１■＝０、Ｗ．．＝１、θ＝２に設定され、ニューロン
２ｌの出力をＹＩ、ニューロン２２の出力をＹ２、ニュ
ーロン２３の出力をＹ３とすると、 Ｙ　＋　Ｗ　Ｉｌ＋　Ｙ　２　Ｗ　＋　ｚ　＋Ｙ　３　
Ｗ　＋　３≧２の時、出力データ「１」を出力する。一
方ニューロン３２、３３は実質的に作用しない。

しかしてニューロン３１は、データＡ，Ｂの少なくとも
一方が「１」でありかつデータＣが「１」のとき出力デ
ータ「１」を出力し、本実施例のニューラルネットワー
クは、論理演算（Ａ＋Ｂ）Ｃを実行する。

ここで本発明の第２の基本理念を解説する。

第６実施例において、データＡ，Ｂは１つの作用素ｒ十
（ＯＲ）Ｊにより結合されており、この一４２ 論理演算（Ａ十Ｂ）は、１層のニューラルレイヤ２０に
よって実行される。

第７実施例においては、データＡ，Ｂは「Φ（ＥＸ−Ｏ
Ｒ）Ｊにより結合されており、この論理演算（ＡｅＢ）
は（λＢ＋／ｌ）と展開される。

そして初段のニューラルレイヤ２０においてＸＢと／ｌ
が実行され、すなわち作用素ｒＸ　（ＡＮＤ）Ｊについ
ての論理演算が実行される。次いで、２段目のニューラ
ルレイヤ３０において（ＡＢ＋ＡＢ）すなわち作用素ｒ
＋（ＯＲ）Ｊについての論理演算が実行される。しかし
て、第７実施例の論理演算は２層のニューラルレイヤに
よって実行される。

第８実施例において、データＡ，Ｂは１つの作用素ｒ＋
（ＯＲ）Ｊにより結合されており、この論理演算は初段
のニューラルレイヤ２０によって実行される。その論理
演算結果に対してデータＣが作用素「Ｘ　（ＡＮＤ）Ｊ
により結合されており、この論理演算（Ａ＋Ｂ）Ｃは２
段目のニューラルレイヤ３０によって゛実行される。し
かして第８実施例の論理演算は２層のニューラルレイヤ
によって実行される。

このように、ニューラルネットワークの処理内容を論理
演算子ｒＡＮＤＪ、ｒＯＲＪで表現した場合、論理演算
子の数、あるいは論理演算の構成に応じてニューラルレ
イヤの層数が増加している。

なお各データの次数は前述した通りであり、その定義に
よると、例えば、論理演算（ＡｅＢ）を行う第７実施例
において、データＡ，Ｂを０次とすると、初段のニュー
ラルレイヤ２０の各ニューロン２１、２２においてそれ
ぞれＸＢと／ｌの処理が実行され、１次の出力データが
２段目のニューラルレイヤ３０のニューロンに入力され
る。そして２段目のニューラルレイヤ３０において、（
ＸＢ＋ＡＥ）の処理が実行され、２次の出力データが出
力される。すなわち、最終出力データは２次であり、論
理演算（Ａ６３Ｂ）は、最終出力データの次数から入力
データの次数を引いた数すなわち２層のニューラルレイ
ヤによって処理されると考えられる。

発明者らは、入力データに対して最終出力データの次数
が何次高いかを判断することにより、ニューラルレイヤ
の層数を決定することができる、つまり、ニューラルレ
イヤの層数は、最終出力データの次数から入力データの
次数をひいた数であると推測した。これが本発明の第２
の基本的な思想である。次数は、前述のようにデータの
抽象度であり、そのデータの有する性質によって定まり
、例えば音声認識において、入力音韻のパワーレベルは
Ｏ次であり、パワーの有する様々な性質のデータはさら
に高次である。

第１４図はニューラルネットワークの第９実施例を示し
たものであり、この例は、学習の結果、入力データＡ，
Ｂ，Ｃ，Ｄを論理演算 （ＡｅＢ）６９　（ＣｅＤ） に従って処理するように到った場合を示す。なおＡ，Ｂ
，ＣおよびＤは「１」または「０」のデジタル値であり
、この論理演算の結果も「１」または「０」のデジタル
値として出力されるとして説明する。

この実施例は、４つのニューラルレイヤ２０、３０、４
０、９０とを有し、最終段のニューラルレイヤ９０は最
終出力データを出力する出力レイヤである。第１のニュ
ーラルレイヤ２０は４個のニューロン２１、２２、２３
、２４を゛有し、同様に、第２のニューラルレイヤ３０
は４個のニューロン３１、３２、３３、３４を、第３の
ニューラルレイヤ４０は４個のニューロン４１、４２、
４３、４４を、出力レイヤ９０は４個のニューロン９１
、９２、９３、９４を有する。各データＡ〜Ｄは、それ
ぞれ第１のニューラルレイヤ２０の各ニューロンに入力
される。なお、各ニューロンは隣のニューラルレイヤの
各ニューロンに接続されるが、簡単のため、実質的に作
用に関係しない部分の線は、図中省略されている。

各ニューロンは、入力されるデータに対して乗じられる
重みＷ五と閾値θとを有し、上記（１）式に従い、各入
力データと重みの積の総和が閾値以上の時出力データ「
１」を出力し、この総和が閾値θよりも小さい時出力デ
ータ「０』を出力す４６一 ？。

論理演算（Ａ６１１Ｂ）は、（ＡＢ十ＡＢ）　と展開さ
れ、ニューラルレイヤ２０において、ニューロン２１が
（ＸＢ）の処理を行い、ニューロン２２が（／ｌ）の処
理を行う。また論理演算（ＣｅＤ）は、（Ｃｐ＋ｃＤ）
と展開され、ニューロン２３が（ＣＤ）の処理を行い、
ニューロン２４が（ｃｒ５）の処理を行う。

すなわちニューロン２１は、例えばＷｚｌ＝　　１、Ｗ
２■＝　ｌ　，Ｗ２ｓ　＝　Ｏ、Ｗ．４＝Ｏ、θ＝１に
設定され、 Ａ　ＷｚＩ十Ｂ　Ｗｚｚ　＋　Ｃ　Ｗｔｚ　＋Ｄ　Ｗｚ
ａ≧１のとき出力データ「１」を出力する。ニューロン
２２は例えばＷｚｓ”１、Ｗ．．＝−１、Ｗ，＝Ｏ、Ｗ
ｚｅ＝Ｏ、θ＝１に設定され、 ＡＷｚｓ＋Ｂ”Ｎｚｂ＋ＣＶＬｔ＋ＤＷｚｓ≧１のとき
出力データ「１」を出力する。同様にしてニューロン２
３、２４の重みＷｉと閾値θが定められる。

ニューラルレイヤ３０のニューロン３１は、（？Ｂ＋Ａ
Ｅ）の処理を行い、例えばＷ！ｌ１＝１、Ｗ３■＝１、
Ｗ３，ｌ＝０、Ｗｓ４＝Ｏ、θ＝１に設定され、ニュー
ロン２１、２２、２３、２４の出力をそれぞれＫＳＬ，
Ｍ，Ｎとすると、 Ｋ　Ｗ３１　＋Ｌ　Ｗ３■＋ＭＷ３ｚ＋ＮＷｉ４≧１の
時、出力データ「１」を出力する。同様に、ニューロン
３３は、（ＣＤ＋ＣＩ５）の処理を行い、ニューロン２
３、２４の出力の少なくとも一方が「１」の時、出力デ
ータ「１」を出力する。なおニューロン３２、３４の各
重みＷｉはＯに定められ、これらのニューロンは実質的
に作用しない。

したがってニューロン３１は（ＡｆｌＥＩＢ）の結果を
出力し、ニューロン３３は（ＣｅＤ）の結果を出力する
。

ニューロン３１、３２、３３、３４の出力をそれぞれＥ
，ＦＳＧ，Ｈとすると、ニューラルレイヤ４０のニュー
ロン４ｌは（ＥＧ）の処理ヲ行い、またニューロン４３
は（ＥＣ）の処理を行う。すなわち、ニューロン４１に
おいて、例えばＷ４，一一１、Ｗ４■＝＝０、Ｗ４３＝
１、Ｗ．４＝Ｏ、θ＝１に？定され、 Ｅ　Ｗ　４　１　＋　Ｆ　Ｗ　ａ■＋Ｇ　Ｗ　４　３　
＋　Ｈ　Ｗ　ａ　ａ≧１のとき出力データ「１」を出力
する。同様に、ニューロン４３は、例えばＷ４ｓ＝１　
，Ｗａｂ＝Ｏ、Ｗ４，＝−１、Ｗ４１＝０、θ＝１に設
定され、ＥＷＡＳ＋ＦＷ４６＋ＧＷ４７　＋ＨＷ４８≧
１のとき出力データ「１」を出力する。ニューロン４２
、４４の各重みＷｉはＯに定められ、これらのニューロ
ンは実質的に作用しない。

出力レイヤ９０のニューロン９１は、（ＸＣ＋ＥＣ）の
処理を行い、例えばＷｑ＋＝１、Ｗ９Ｚ＝０、Ｗｑ＋＝
１、Ｗ　ｑ　ａ　＝　Ｏ、θＩ＝＝１に設定され、ニュ
ーロン４１−、４２、４３、４４の出力をそれぞれＰ、
Ｑ，Ｒ，Ｓとすると、 Ｐ　Ｗ　ｑ　ｌ十Ｑ　Ｗ　９　ｚ　＋Ｒ　Ｗ　９　ｓ　
＋　Ｓ　Ｗ　ｑ　ａ≧１の時、出力データ「１」を出力
する。ニューロン９２、９３、９４は実質的に作用しな
い。このように使用目的が限定され、出力データ数が明
確であるならば実質的に作用しないニューロンは省略可
能である。

したがってニューロン９ｌは、（Ｅ６３Ｇ）の結果、す
なわち（Ａ６３Ｂ）６９　（ＣｅＤ）（７）結果１１力
する。

論理演算（ＡｅＢ）および（Ｃ６３Ｄ）における出力デ
ータの次数は、上述したように作用素「ｅ（ＥＸ−ＯＲ
）Ｊが２つの作用素ｒＡＮＤＪと「ＯＲＪによって置き
換えられるので、それぞれ２である。したがって、論理
演算（ＡθＢ）　ｆｌｌＥｌ　（Ｃｅ９Ｄ）における出
力データの次数は、４であり、この論理演算は、入力デ
ータと同数（４個）のニューロンを有する４層のニュー
ラルレイヤにより確実に処理される。

上記第６〜第９実施例において、データの次数はそのデ
ータに施された処理内容の数であり、各処理はそれぞれ
のニューラルレイヤによって行われていた。ここで処理
内容の例としては、論理演算子のｒＡＮＤＪ、ｒＯＲ，
、ｒＮＡＮＤＪ、「ＮＯＲＪ　であり、ｒＦ，Ｘ−ＯＲ
ＪおよびｒＥＸ−ＮＯＲｊ等の場合にはｒＡＮＤＪある
いはｒＯＲ」に変換されなければならない。これは、ｒ
ＥＸＯＲＪ等はひとつのニューラルレイヤによっては処
理され得ないからである。

なお、処理内容は論理演算子によって表現されるものに
限定されず、出力データの性質によって定められる。

〔発明の効果〕

以上のように本発明は、特徴抽出部において抽出された
音声の特徴データをニューラルネットワークによって処
理し、音声認識を行うように構成されたものである。し
たがって、ニューラルネットワークの自己学習機能によ
り音声認識の性能が向上せしめられ、また連想機能によ
り音声認識の適用範囲が拡大する。しかして本発明によ
れば、多様な音声認識が可能であり、かつ認識率を高め
得る音声認識システムが得られるという効果が得られる
。

【図面の簡単な説明】

第１図は本発明の実施例を適用した音声認識システムを
示すブロック図、 第２図は特徴処理部を示すブロック図、第３図は認識部
を示すブロック図、 第４図は一般的なニューロンを示す概念図、第５図は一
般的なニューラルレイヤを示す概念図、 第６図（ａ）は比較例を示す概念図、 第６図（ｂ）は他の比較例を示す概念図、第６図（Ｃ）
はニューラルネットワークの第１実施例を示す概念図、 第７図（ａ）はニューラルネットワークの第２実施例を
示す概念図、 第７図（ｂ）はニューラルネットワークの第３実施例を
示す概念図、 第８図（ａ）は比較例を示す概念図、 第８図（ｂ）はニューラルネットワークの第４実施例を
示す概念図、 第９図（ａ）は比較例を示す概念図、 第９図（ｂ）はニューラルネットワークの第５実施例を
示す概念図、 第１０図はモードＩの学習を行うデータ処理装置の概念
図、 ５　１　一 第１１図はモード■の学習を行うデータ処理装置の概念
図、 第１２図は重みの時間的変化を示すグラフ、第１３図（
ａ）はニューラルネットワークの第６実施例を示す概念
図、 第１３図（ｂ）はニューラルネットワークの第７実施例
を示す概念図、 第１３図（Ｃ）はニューラルネットワークの第８実施例
を示す概念図、 第１４図はニューラルネットワークの第９実施例を示す
概念図である。 ２０，３０、４０、５０、９０ ・・ニューラルレイヤ ２１〜２４、３１〜３４、４１、４２ ９１〜９３・・・ニューロン １００・・・認識部 ２００・・・人力部 ３００・・・特徴処理部 第１図 ５　３一 第 図 （ａ） （Ｃ） （ｂ）

Claims (1)

【特許請求の範囲】
1. （１）入力音韻に対応したデジタルデータパターンを生
   成する入力部と、 この入力部で生成されたデジタルデータパターンの特徴
   を抽出する特徴処理部と、 入力されたデータに所定の重みを乗じたものの総和と閾
   値との比較結果に応じたデータを出力するニューロンが
   並列的に設けられるとともに、上記特徴処理部から得ら
   れた抽出データの抽象度に応じた層構造のニューラルレ
   イヤを有し、上記抽出データに基づいて音声認識を行う
   認識部とを備えた音声認識システム。