JPH0962644A - ニューラルネットワーク - Google Patents

Abstract

(57)【要約】 【課題】 高速で学習でき、学習内容を充分に記憶でき
るニューラルネットワークを提供する。 【解決手段】 ニューロン素子網２２の中間層Ｈｉは、
学習の各段階において適宜追加される。異なるカテゴリ
（△、□、○）の学習を開始する毎に新たな第Ｎ中間層
が確保され、既存中間層の結合重みＷ、ｈ、ｗを固定す
る（●で示す）。同一カテゴリ内の学習で学習不能とな
った場合に、新たに中間層ニューロン素子を追加し、そ
の中間層内の既存ニューロン素子の結合重みＷ、ｈを固
定する。追加したニューロン素子の結合重みＷ、ｈ、ｈ
と既存ニューロン素子の結合重みｗを調整する（○で示
す）ことで学習を継続する。学習済のカテゴリに属する
結合重みと、学習中のカテゴリの既存ニューロン素子の
結合重みを固定することで、学習内容が記憶され、結果
として高速に学習が行われる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ニューラルネット
ワークの学習方法、ニューラルネットワークおよびニュ
ーラルネットワークを利用した音声認識装置に関する。

【０００２】

【従来の技術】従来のニューラルネットワークでは、入
力層、中間層、出力層といった階層構造に構成され、学
習により各ニューロン素子相互間の結合重みを変化させ
るようになっている。学習は、一般にバックプロバゲー
ション法（誤差逆伝播法；…文献…）によっている。従
来のニューラルネットワークでは、入力層、中間層、出
力層の各層を構成するニューロン素子の数は、ニューラ
ルネットワークで検出や判定等の処理を行おうとする内
容により、予め決められている。例えば○、□、△の三
種類の各カテゴリに属する手書きの図形を認識する場
合、出力層のニューロン素子は３個となる。また、図形
を８×８に分割して入力データとする場合、入力層のニ
ューロン素子は６４個となる。一方、中間層のニューロ
ン素子は、経験から決める必要があるが、この数が少な
いと誤認識率が高くなり、一方、多いとバックプロバゲ
ーションによる学習時間が非常に長くなったり、学習過
程において最適解に至らず局所最小点（local minimum)
から抜け出せず、学習不可状態となる場合がある。な
お、本明細書において、学習不可状態とは、学習時間が
所定時間を越えて長くなった場合、および学習過程にお
いて最適解に至らない場合をいうものとする。また、従
来のニューラルネットワークでは、例えば、○の学習が
終了した後に□の学習をし、その後に△の学習を行うと
いうように、順次学習を行うため、ある段階での学習を
開始する場合、それ以前に行った学習による結合重みが
変化してしまうという欠点がある。

【０００３】そこで、中間層 (Hidden Unit) のニュー
ロン素子を学習の段階で最適な数まで適宜追加してい
く、カスケードコーリレーションによるニューラルネッ
トワーク（以下、ＣＣＮＮという）が、カーネギーメロ
ン大学１９９０年２月１４日発行、Scott E.Fahlman 著
の技術レポート♯CMU-CS-90-100 の“The Cascade-Corr
elation Learning Architecture ”で提案されている。
ＣＣＮＮは、初期の状態では入力層と出力層のみが存在
し、学習により局所最小点に入り込んだり収束しなかっ
た場合に、新たなニューロン素子を中間層に追加し、再
度学習を繰り返すようになっている。また、ＣＣＮＮ
は、入力層と中間層間の結合重み（Ｗで表す）を固定
し、入力層と出力層間の結合重み（ｋで表す）と、中間
層と出力層間の結合重み（ｗで表す）を調整すること
で、それ以前に学習した内容についてある程度記憶する
ようにしている。

【０００４】

【発明が解決しようとする課題】しかし、ＣＣＮＮは、
全入力データについての学習が終了するまで中間層のニ
ューロン素子を追加していくため、学習データの量が増
大するにしたがって学習時間も大幅に増加することにな
っていた。また、ＣＣＮＮは、入力層と中間層間の結合
重Ｗみのみ固定し、中間層と出力層間の結合重みｗは固
定されずに調整可能である。このため、例えば、図形認
識において図形○についての認識が終了したとしても、
次の図形□の学習により結合重みｗが変化してしまうた
め、○についての学習内容を充分に記憶しているとはい
えなかった。

【０００５】そこで、本発明は、学習を高速で行うこと
ができると共に、学習内容を充分に記憶することが可能
なニューラルネットワークを提供することを目的とす
る。

【０００６】

【課題を解決するための手段】請求項１に記載の発明で
は、入力層ニューロン素子を複数有する入力層と、出力
層ニューロン素子を複数有する出力層と、所定のカテゴ
リのうちのいずれか１のカテゴリに分類され、前記入力
層の入力層ニューロン素子と結合重みＷで結合すると共
に、前記出力層の出力層ニューロン素子と結合重みｗで
結合する中間層ニューロン素子を、複数有する中間層
と、あるカテゴリについての学習を行う場合に、他のカ
テゴリに属する中間層ニューロン素子と、入力層ニュー
ロン素子との結合重みＷ、および出力層ニューロン素子
との結合重みｗを固定し、学習対象となるカテゴリの中
間層ニューロン素子との結合重みＷ、ｗを調整すること
で学習を行う学習手段と、この学習手段による学習の際
に、あるカテゴリに属する学習用入力データに対して学
習不可状態になった場合に、その学習用入力データが属
するカテゴリの中間層ニューロン素子を追加する中間層
ニューロン素子追加手段と、をニューラルネットワーク
に具備させて前記目的を達成する。請求項２に記載の発
明では、請求項１に記載のニューラルネットワークにお
いて、前記学習手段は、さらに学習対象となっているカ
テゴリの既存の中間層と入力層との結合重みＷを固定
し、前記中間層ニューロン素子追加手段による追加され
た新たな中間層ニューロン素子の結合重みＷとｗ、およ
び学習対象となっているカテゴリの既存の中間層ニュー
ロン素子の結合重みｗを調整することで学習を行う。請
求項３に記載の発明では、それぞれ異なるカテゴリ毎に
別個独立して学習が行われた複数の中間層と、この複数
の中間層の各中間層ニューロン素子と結合重みＷで結合
した、入力層ニューロン素子を複数有する入力層と、前
記複数の中間層の各中間層ニューロン素子と結合重みｗ
で結合した、出力層ニューロン素子を複数有する出力層
と、前記入力層の入力層ニューロン素子と結合重みＷ′
で結合し、前記出力層の出力層ニューロン素子と結合荷
重ｗ′で結合した調整用中間層と、前記複数の中間層に
おける前記結合重みＷと結合重みｗを固定し、前記調整
用中間層の結合重みＷ′とｗ′を調整することで、前記
複数の中間層の学習に使用した学習用入力データによ
り、ネットワーク全体の学習を再度行う学習手段と、こ
の学習手段による学習の際に学習不可状態になった場合
に、前記調整用中間層の中間層ニューロン素子を追加す
る中間層ニューロン素子追加手段と、をニューラルネッ
トワークに具備させて前記目的を達成する。請求項４に
記載の発明では、請求項１、請求項２、または請求項３
に記載のニューラルネットワークにおいて、前記中間層
の中間層ニューロン素子と結合重みｖで結合した仮説出
力層ニューロン素子を複数有する仮説出力層を備え、前
記学習手段は、複数のベクトル列Ｆｎ（ｎ＝１、２、
３、…）の集合が特定のカテゴリに属する意味Ａを表す
データについて、ベクトル列Ｆｎを入力層に入力し、ベ
クトル列Ｆｎ＋１を第１教師信号として前記出力層に入
力し、特定の意味Ａを第２教師信号として前記仮説出力
層に入力することで、学習を行う。請求項５に記載の発
明では、請求項４に記載のニューラルネットワークにお
いて、前記中間層の中間層ニューロン素子と結合し、そ
の出力ベクトル列が前記中間層に供給される環帰層ニュ
ーロン素子を複数有する環帰層を備え、前記学習手段
は、複数のベクトル列Ｆｎの集合が特定のカテゴリに属
する意味Ａを表すデータについて、ベクトル列Ｆｎ−１
に対する前記中間層または前記出力層の出力ベクトル値
を前記環帰入力層に入力し、ベクトル列Ｆｎを前記入力
層に入力し、ベクトル列Ｆｎ＋１を第１教師信号として
前記出力層に入力し、特定の意味Ａを第２教師信号とし
て前記仮説出力層に入力することで、学習を行う。請求
項６に記載の発明では、請求項１から請求項５のうちの
いずれか１の請求項に記載されたニューラルネットワー
クにおいて、前記学習手段は、バックプロパゲーション
則により学習する。請求項７に記載の発明では、請求項
４または請求項５に記載のニューラルネットワークにお
いて、前記特定の意味Ａが音声を構成する音素であり、
複数のベクトル列Ｆｎが、時系列的に解析された特定の
意味Ａについての特徴量を表すベクトル列を使用する。
請求項８に記載の発明では、請求項７に記載のニューラ
ルネットワークにおいて、前記特定の意味Ａについての
特徴量を表すベクトルとして、音声のスペクトルデー
タ、ケプストラムデータ、または自己連想型ニューラル
ネットワークの中間層の出力値データを使用する。

【０００７】

【発明の実施の形態】以下本発明のニューラルネットワ
ークにおける好適な実施形態について、図１から図２６
を参照して詳細に説明する。図１は第１実施形態におけ
るニューラルネットワークのシステム構成を表したもの
である。このニューラルネットワークは、ニューロン素
子網に対する学習のためのベクトル列（入力データＤ）
の入力と出力層への教師信号（ベクトル列）の入力、学
習による各ニューロン素子間の結合重みの変更、および
ニューロン素子網からの出力信号に基づく図形認識、文
字認識、音声認識等の各種処理および制御を行うＣＰＵ
１１を備えている。このＣＰＵ１１は、データバス等の
バスライン１２を介して、ＲＯＭ１３、ＲＡＭ１４、通
信制御装置１５、プリンタ１６、表示装置１７、キーボ
ード１８、ニューロン素子網２２、および図形読取装置
２４が接続されている。

【０００８】ＲＯＭ１３は、ＣＰＵ１１が図形認識、文
字認識、ニューロン素子網の学習等の処理や制御を行う
ための各種プログラムやデータが格納されているリード
・オンリー・メモリである。このＲＯＭ１３には、例え
ば、ニューロン素子網の学習としてバックプロパゲーシ
ョン則による学習を行うためのプログラムが格納されて
いる。ＲＡＭ１４は、ＲＯＭ１３に格納された所定のプ
ログラムがダウンロードされ格納されると共に、ＣＰＵ
１１のワーキングメモリとして使用されるランダム・ア
クセス・メモリである。ＲＡＭ１４には、図形読取装置
２４で読み取られた画像データが格納される画像データ
格納エリアが確保されている。

【０００９】通信制御装置１５は、ニューラルネットワ
ークで認識された文字のコード情報等の各種データにつ
いて、電話回線網、ＬＡＮ、パーソナルコンピュータ通
信網等の各種の通信網２を介して他の通信制御装置との
間でデータ送受信を行う。プリンタ１６は、レーザプリ
ンタやドットプリンタ等を備えており、入力データや認
識した文字や図形等を印刷するようになっている。表示
装置１７は、ＣＲＴディスプレイや液晶ディスプレイ等
の画像表示部と表示制御部とを備えており、入力データ
や認識した文字や図形、および、必要な各種操作の指示
を画面表示するようになっている。

【００１０】キーボード１８は、パラメータの変更や設
定条件等を入力したり、文章の入力処理等を行うための
入力装置であり、数字を入力するテンキー、文字を入力
する文字キー、各種の機能を実現するための機能キー等
が配置されている。このキーボード１８には、ポインテ
ィングデバイスとしてのマウス１９が接続されている。
図形読取装置２４は、ＣＣＤ（Charge Coupled Device
）等の素子を備えており、用紙等に記録された画像を
読み取るための装置であり、この画像読取装置２４で読
み取られた画像データは、ＲＡＭ１４に格納されるよう
になっている。

【００１１】図２は、ニューロン素子網２の初期状態の
構成を表したものである。この図２に示すように、ニュ
ーロン素子網２２は、入力層Ｉｎと出力層Ｏｕを備えて
おり、初期状態においては中間層（Hidden層）を備えて
いない。中間層を構成するニューロン素子Ｈｉは、学習
の各段階において適宜追加されるようになっている。ニ
ューロン素子網２２は、初期状態および中間層のニュー
ロン素子が追加された各状態において、順伝播活性およ
び逆伝播学習が可能なように構成される。入力層Ｉｎ
は、Ｎ個のニューロン素子Ｉｎ１〜ＩｎＮ、およびバイ
アスｂで構成されている。入力層Ｉｎの各ニューロン素
子Ｉｎ１〜ＩｎＮには、入力データの値が入力され、バ
イアスｂには、常時“＋１”が入力されるようになって
いる。出力層ＯｕはＭ個のニューロン素子Ｏｕ１〜Ｏｕ
Ｍで構成されている。各出力層Ｏｕのニューロン素子Ｏ
ｕ１〜ＯｕＭ、および、追加された中間層Ｈｉのニュー
ロン素子Ｈｉ１１〜Ｈｉｍｐは、シグモイド関数および
閾値が設定されており、−１．０から＋１．０の範囲で
出力されるようになっている。

【００１２】入力層Ｉｎの各ニューロン素子Ｉｎ１〜Ｉ
ｎＮおよびバイアスｂと、出力層Ｏｕの各ニューロン素
子Ｏｕ１〜ＯｕＭとは、それぞれ結合重みｋ、ｑ、ｒで
結合されている。入力層Ｉｎと出力層Ｏｕ間の各結合重
みについては、学習段階において、調整可能である。図
２において、調整可能な結合重みについては、○で表す
ことにする。一方、図２では表されていないが、固定さ
れた結合重みについては●で表すこととする。

【００１３】ここで結合重みを表す文字について次のよ
うに定義する。入力層Ｉｎと出力層Ｏｕにおける結合重
みをｋで表し、入力層Ｉｎと中間層Ｈｉにおける結合重
みをＷで表し、中間層Ｈｉと出力層Ｏｕにおける結合重
みをｗで表し、中間層Ｈｉ間における結合重みをｈで表
す。そして、各結合重みの後に付したｑ，ｒを次のよう
に定義する。すなわち、ｑ、ｒに各ニューロン素子の番
号を使用し、信号が流れる順に並べる。例えば、ニュー
ロン素子Ｉｎ３０とニューロン素子Ｏｕ２５との結合重
みは、Ｉｎ３０からＯｕ２５に信号が流れるので、ｋ３
０，２５となる。また、ニューロン素子Ｉｎ１１とニュ
ーロン素子Ｈｉ２２との結合重みは、Ｉｎ１１からＨｉ
に信号が流れるので、Ｗ１１，２２となる。また中間層
Ｈｉ間の結合重みｈは、ｈｍ，（ｐ−１），ｐで表し、
第ｍ中間層Ｈｉｍにおけるニューロン素子Ｈｉｍ（ｐ−
１）とニューロン素子Ｈｉｍｐとの結合重みを表す。中
間層のニューロン素子は、学習の各段階で順次追加され
るが、ｍの値が同一である限り（この場合には、同一の
教師信号が供給されている）、追加される前後のニュー
ロン素子間でのみ結合している。

【００１４】ニューロン素子網２２は、これらの各結合
重みを格納する図示しないメモリを備えている。図３
は、このようなニューロン素子網２２の各ニューロン素
子間の結合重みを格納する結合重みテーブルを表したも
のである。この結合重みテーブルは、図２に対応した初
期状態における結合重みを表したものである。入力層Ｉ
ｎと中間層Ｈｉ間の結合重みＷ、中間層と出力層Ｏｕ間
の結合重みｗ、および中間層Ｈｉ間の結合重みｈについ
ては、学習の過程において、中間層Ｈｉのニューロン素
子が新たに追加される毎に、ＣＰＵ１１によって確保さ
れる。そして、各結合重みを調整することで学習が行わ
れる。各結合重みについては、結合重みｋを除き、結合
重みＷ、ｗ、およびｈについては、各学習の過程におい
所定の学習を行う間調整され、他の学習を行う際には固
定されるようになっている。

【００１５】次に、このように構成された実施形態につ
いて、○、□、△の三種類の図形についての学習動作に
ついて説明する。認識対象となる三種類の図形の各々を
特定するための符号として、それぞれ３ビットの符号で
表し、これを学習時の教師信号とする。すなわち、出力
層Ｏｕに供給される教師信号として、入力データが○の
場合Ｏｕ１〜Ｏｕ３の順に“１００”、□の場合“０１
０”、△の場合“００１”をそれぞれ供給する。学習に
使用する入力データとしては、各図形についてｇ個の図
形○１〜○ｇ、□１〜□ｇ、△１〜△ｇを使用する。ｇ
個の各図形については、手書きによるそれぞれ異なった
形状が使用される。

【００１６】図４は、学習データとしての図形○１を表
したものである。この図４に示すように、図形○１につ
いて縦１０×横１０＝１００個の領域に分割し、各領域
に図形○の線分が含まれている場合には“１”、含まれ
ていない場合には“０”を、それぞれ入力データＤ１〜
Ｄ１００の値とする。例えば、Ｄ１〜Ｄ１３等の領域に
は線分が含まれていないので“０”となり、Ｄ１４、Ｄ
１５等の領域には線分が含まれているので“１”とな
る。これらの各入力データＤ１〜Ｄ１００の値が、学習
時に、それぞれ入力層Ｉｎ１〜Ｉｎ１００に供給され
る。

【００１７】これらｇ個の図形○１〜ｇ、□１〜ｇ、△
１〜ｇのそれぞれについての入力データＤ１〜Ｄ１００
について、予めＲＯＭ１３に格納されたものを使用す
る。また、通信制御装置１２を介して他の装置から受信
し、これをてＲＡＭ１４に格納した後に使用するように
してもよい。更に、手書きした各図形について、読取装
置２４で読み取り、各図形毎に入力データＤ１〜Ｄ１０
０を作成してＲＡＭ１４に格納するようにしてもよい。

【００１８】図５は、３種類の図形認識についての学習
を行うためのニューロン素子網２２の構成表したもので
ある。この図５（ａ）に示すように、学習前の段階にお
いて中間層は未だ追加されていない。一方、入力層Ｉｎ
は、入力データＤ１〜Ｄ１００に対応して、１００個の
ニューロン素子Ｉｎ１〜Ｉｎ１００を有している。ま
た、入力層Ｉｎのバイアスｂには、常時“＋１”のバイ
アスが加えられている。そして、出力層Ｏｕは、認識対
象となる３種類の図形を３ビットの符号で表すことに対
応して、３個のニューロン素子Ｏｕ１〜Ｏｕ３を有して
いる。また、図５（ｂ）に示すように、結合重みテーブ
ルがニューロン素子網２２内に確保される。なお、図２
で説明したように、○印で表した入力層Ｉｎと出力層Ｏ
ｕ間の結合重みｋ１，１〜ｋｂ，３については、学習段
階において調整可能であり、●印で表される結合重みは
固定されており調整できない。

【００１９】図６は、学習動作の詳細を表したフローチ
ャートである。なお、図形○１〜○ｇをＺ＝１〜ｇで表
し、図形□１〜□ｇをＺ＝ｇ＋１〜２ｇで表し、図形△
１〜△ｇをＺ＝２ｇ＋１〜３ｇで表すものとする。まず
ニューラルネットワークについての学習を行う場合、ユ
ーザは、最初にキーボード１８を操作することにより、
または表示装置１７に表示された所定キーをマウスによ
り操作することにより、学習モードを指定する。

【００２０】学習モードが指定されると、ＣＰＵ１１
は、Ｚ、ｍ、ｐについて、Ｚ＝ｍ＝１、ｐ＝０に初期設
定を行う（ステップ１１）。次にＣＰＵ１１は、図形Ｚ
に対応する入力データＤ１〜Ｄ１００及び、図形Ｚに対
応する教師信号（Ｚ＝１の場合、図形○に対する教師信
号“１００”）を読み込む（ステップ１２）。

【００２１】そして、ＣＰＵ１１は、読み込んだ入力デ
ータ、バイアスｂ（＋１）、教師信号および、ニューロ
ン素子網２２の結合重みテーブルに格納されている結合
重みから、学習処理を行う（ステップ１３）。すなわ
ち、ＣＰＵ１１は、図形Ｚについての学習用入力データ
Ｄ１〜Ｄ１００及びバイアスｂを入力層Ｉｎの各ニュー
ロン素子Ｉｎ１〜Ｉｎ１００に入力した場合の出力層Ｏ
ｕの各ニューロン素子Ｏｕの出力値を求める。この出力
値と図形Ｚに対する教師信号との誤差δが最小値にな
る、調整可能な結合重み（ｐ＝０の場合にはｋのみ、ｐ
＝１の場合にはＷ、ｗおよびｋ、ｐ≧２の場合にはＷ、
ｈ、ｗおよびｋ）を、ＣＰＵ１１は求める。例えば、図
５（ｂ）に示すように、中間層Ｈｉがまだ追加されてい
ない場合（ｐ＝０）、調整可能な結合重みとして、結合
重ｋ１，１〜ｋｂ，３のみが求められる。

【００２２】ここで、本実施形態において、行われる学
習はバックプロパゲーション則による学習が行われる。
学習式は、δｗ（ｔ）＝〔Ｓ（ｔ）／〔Ｓ（ｔ−１）−
Ｓ（ｔ）〕〕×δｗ（ｔ−１）であり、式の詳細および
学習アルゴリズム（ＴｈｅＱｕｉｃｋｐｒｏｐ Ａｌｇ
ｏｒｉｔｈｍ）は、カーネギーメロン大学１９８８年９
月発行、Ｓｃｏｔｔ Ｅ．Ｆａｈｌｍａｎ著の技術レポ
ート♯ＣＭＵ−ＣＳ−８８−１６２の“Ａｎ Ｅｍｐｉ
ｒｉｃａｌ Ｓｔｕｄｙ ｏｆ Ｌｅａｒｎｉｎｇ Ｓ
ｐｅｅｄ ｉｎ Ｂａｃｋ−Ｐｒｏｐａｇａｔｉｏｎ
Ｎｅｔｗｏｒｋｓ”に記載されている。また、エルマン
（Ｊ．Ｌ．Ｅｌｍａｎ）による、Ｆｉｎｄｉｎｇ ｓｔ
ｒｕｃｔｕｒｅ ｉｎ ｔｉｍｅ，Ｃｏｇｎｉｔｉｖｅ
ｓｃｉｅｎｃｅ，１４，ｐｐ．１７９−２１１（１９
９０）に記載されている、離散時間のリカレントネット
ワークに、フィードフォワードネットワークのバックプ
ロパゲーション則を準用した学習則でもよい。また、学
習については以上の方法に限定されず、他の学習則によ
ってもよい。

【００２３】そして、ＣＰＵ１１は、学習処理により求
めた結合重みを用いた場合の誤差δの値が所定値以下に
なっているか否かについて判断する（ステップ１４）。
誤差δが所定値以下になっていない場合（ステップ１
４；Ｎ）、ＣＰＵ１１は、結合重みテーブルの値をステ
ップ１３で求めた結合重みＷ、ｈ、ｗ、ｋに更新するこ
となく、ｐに１を加えた後（ステップ１５）、中間層Ｈ
ｉの新しいニューロン素子Ｈｉｍｐを追加する（ステッ
プ１６）。この新しいニューロン素子Ｈｉｍｐは、第ｍ
中間層を構成する。新たなニューロン素子Ｈｉｍｐの追
加により、ニューロン素子網と結合重みテーブルには、
調整可能な結合重みＷ，ｈ，およびｗが新しく確保され
る。なお、ｐ＝１の場合には、中間層Ｈｉにおけるニュ
ーロン素子間の結合重みｈは確保されない。新しく追加
されたニューロン素子Ｈｉｍｐには、出力層Ｏｕのニュ
ーロン素子と同様に、シグモイド関数および閾値が設定
されており、−１．０から＋１．０の範囲で出力される
ようになっている。

【００２４】図７は、新しいニューロン素子Ｈｉｍｐ＝
Ｈｉ１１を追加したニューロン素子網（ａ）、および、
結合重みテーブル（ｂ）を表したものである。この図７
（ａ）に示すように、新たなニューロン素子Ｈｉ１１
は、図形○１についての第１中間層を構成する。そし
て、新しいニューロン素子Ｈｉ１１と、入力層Ｉｎのニ
ューロン素子Ｉｎ１〜Ｉｎ１００およびバイアスｂとの
結合重みＷ１，１１〜Ｗ１００，１１、Ｗｂ，１１がニ
ューロン素子網と結合重みテーブルに確保される。ま
た、ニューロン素子Ｈｉ１１と出力層Ｏｕのニューロン
素子Ｏｕ１〜Ｏｕ３との結合重みｗ１１，１〜ｗ１１，
３も確保される。図７（ａ）でも○印で示されるよう
に、これら新たな結合重みＷとｗは、共に調整可能な結
合重みである。

【００２５】ステップ１６において、新しいニューロン
素子Ｈｍｐが追加された後、ＣＰＵ１１は、既設のニュ
ーロン素子Ｈｉｍ（ｐ−１）についての結合重みＷ，ｈ
を固定（それ以後は更新できない状態）する（ステップ
１７）と共に、Ｚの値を１に戻した後（ステップ１
８）、ステップ１２に移行する。これにより、調整可能
な中間層のニューロン素子Ｈｉｍｐよって新たな構成と
なったニューロン素子網により、図形Ｚ＝１（最初の図
形○１）から再度の学習処理を行う。ただし、再度の学
習処理であっても、ニューロン素子網は、それまでに学
習した内容の一部について、固定された結合重みＷの値
として記憶している。従って、例えば、図形Ｚ＝８の学
習で誤差δが所定値以下にならなくなった場合でも、図
形Ｚ＝７までの学習内容の一部を、ニューロン素子Ｈｉ
ｍ（ｐ−１）についての結合重みＷとして記憶している
ので、再度の学習における図形Ｚ＝７までの学習処理
（ステップ１３）を容易に終了させることができる。

【００２６】一方、ステップ１４において誤差δが所定
値以下である場合（ステップ１４；Ｙ）、ＣＰＵ１１
は、結合重みテーブルの調整可能な結合重みをステップ
１３で求めた値に更新する（ステップ１９）。そして、
次の図形についての学習を行うためにＺに１を加える
（ステップ２０）。そして、次の図形が他の形状か否か
についてＺの値を確認する（ステップ２１）。すなわ
ち、Ｚ＝ｇ＋１（次の図形が□）、または、Ｚ＝２ｇ＋
１（次の図形が△）でない場合（ステップ２１；Ｎ）、
ＣＰＵ１１は、Ｚ＝３ｇ＋１であるか否かを判断する
（ステップ２２）。Ｚ≠３ｇ＋１であれば（ステップ２
２；Ｎ）、全図形についての学習がまだ終了していない
ので、ステップ１２に戻り、次の図形Ｚについての学習
処理を行う。

【００２７】図８、図９は、第１中間層のニューロン素
子が更に追加された状態を表したものである。図７に示
すように第１中間層のニューロン素子Ｈｉ１１が追加さ
れた後、ステップ１２、１３、１４、１９、２０、２
１、２２により、各図形Ｚについて順次学習が繰替えさ
れ、結合重みテーブルの内容について更新される。そし
て、ある図形Ｚ（図形○）についての学習において、誤
差δが所定値以下にならなくなると、図８に示すよう
に、次のニューロン素子Ｈｉ１２が新たに追加される。
すなわち、結合重みテーブルに、ニューロン素子Ｈｉ１
２についての調整可能な結合重みＷ１，１２〜Ｗ１０
０，１２、Ｗｂ，１２、ｈ１，１，２、および、ｗ１
２，１、〜ｗ１２，３が確保される。ここで、ｈｍ，ｐ
−１，ｐは、第ｍ中間層のニューロン素子Ｈｍ（ｐ−
１）とＨｍｐとの結合重みである。中間層間の結合重み
は、Ｈｍ（ｐ−１）とＨｍｐ間でのみ確保され、Ｈｍ
（ｐ−２）とＨｍｐ間や、ＨｍｐとＨ（ｍ＋１）１との
間では確保されない。新たなニューロン素子Ｈｉ１２の
追加によって、図８（ａ）の●で表されるように、既設
ニューロン素子Ｈｉ１１と入力層との結合重みＷ１，１
１〜Ｗ１００，１１、Ｗｂ，１１が固定される。なお、
既設ニューロン素子Ｈｉ１１と出力層との結合重みｗ１
１，１〜ｗ１１，３は○で表されるように固定されず、
調整可能な状態である。

【００２８】同様に、図８に示すように、入力層Ｉｎ、
第１中間層Ｈｉｍ、および出力層Ｏｕの各ニューロン素
子間の固定された結合重みと調整可能な結合重みを用
い、調整可能な結合重みの値を調整することで、以降の
図形Ｚ（≦ｇ）についての学習（ステップ１２、１３、
１４、１９、２０、２１、２２）を順次繰り返す。そし
て、ある図形Ｚの学習において再び誤差δが所定値以下
にならなくなると、第１中間層Ｈｉ１には、図９に示す
ように再びニューロン素子Ｈｉ１３が確保される。この
図９に示すように、ニューロン素子Ｈｉ１３の追加によ
り、ニューロン素子Ｈｉ１１とＨｉ１２間の結合重み
ｈ，１，２も固定される。すなわち、一般に、新たなニ
ューロン素子Ｈｉｍｐが追加された場合、ｐ≧３であれ
ば、ニューロン素子Ｈｉｍ（ｐ−２）とＨｉｍ（ｐ−
１）との間で確保された結合重みｈｍ，ｐ−２，ｐ−１
の値も固定される。

【００２９】図９に示すように、第１中間層Ｈｉ１に３
つめのニューロン素子Ｈｉ１３が追加されると、同様に
して、以降の図形Ｚ（≦ｇ）についての学習を順次繰替
えする。そして、図６のフローチャートにおけるステッ
プ２１においてＺ＝ｇ＋１（次の図形が□）、またはＺ
＝２ｇ＋１（次の図形が△）であると判断した場合（；
Ｙ）、ＣＰＵ１１は、ニューロン素子Ｈｉｍｐの結合重
みＷ，ｈを固定すると共に、第ｍ中間層Ｈｉｍのニュー
ロン素子Ｈｉｍ１〜Ｈｉｍｐと出力層Ｏｕとの全結合重
みｗを固定する（ステップ２３）。さらにＣＰＵ１１
は、ｍに１を加えると共に、ｐの値を再び１に設定した
後（ステップ２４）、新たな中間層Ｈｉｍについて新ニ
ューロン素子Ｈｉｍｐを追加し（ステップ２５）、ステ
ップ１２に移行する。

【００３０】このように、次に学習する図形が他の図形
に変わる場合、現時点での中間層Ｈｍｐでの学習が可能
であっても、第ｍ中間層Ｈｉｍについての結合重みＷ、
ｈ、ｗを固定し、第ｍ＋１中間層Ｈｉ（ｍ＋１）のニュ
ーロン素子Ｈｉ（ｍ＋１）１を追加する。図１０は、第
２中間層のニューロン素子Ｈｉ２１を新たに追加した状
態を表したものである。この図１０に示すように、第１
中間層Ｈｉ１のニューロン素子Ｈｉ１１、Ｈｉ１２、Ｈ
ｉ１３によるＺ＝ｇ（図形○ｇ）までの学習が完了する
と、更に、次のＺ＝ｇ＋１の図形（図形□１）について
の学習が可能であっても、第１中間層Ｈｉ１についての
全結合重みＷ、ｈおよび、出力層Ｏｕとの結合重みｗを
固定する。そして、第２中間層Ｈｉ２についてのニュー
ロン素子Ｈｉ２１を新たに追加し、次の図形□１〜□ｇ
までの学習を行う。

【００３１】このように、図形○についての学習が終了
した段階で、図形○に対応する第１中間層Ｈｉ１につい
ての全ての結合重みＷ１，１１〜Ｗ１００，１３、Ｗ
ｂ，１１〜Ｗｂ，Ｗ１３、ｈ１，１，２、ｈ１，２，
３、ｗ１１，１〜ｗ１３，３、を固定する（図１０にお
いて●で表す）ことで、図形○１〜○ｇについて学習し
た内容を完全に記憶させることができる。すなわち、図
形□についての学習により、図形○について学習した内
容が変化することがない。従って、図形○についての認
識率を高くすることができる。

【００３２】図１０において、新たに第２中間層Ｈｉ２
のニューロン素子Ｈｉ２１を追加することで、Ｚ＝ｇ＋
１以降の図形、すなわち図形□１以降の図形についての
学習を開始する。そして、図７〜図９で説明したと同様
に、ある図形Ｚ（ｇ＋１≦Ｚ≦ｇ）についての学習処理
により誤差δが所定値以下となったら、新たなニューロ
ン素子Ｈｉ２２、Ｈｉ２３、…、を追加してゆく。

【００３３】なお、図１０において、図形□１（Ｚ＝ｇ
＋１）の学習で入力データＤ１〜Ｄ１００を入力層Ｉｎ
に入力した場合、出力層Ｏｕへは、第２中間層Ｈｉ２か
ら出力値（結合重みｗを掛けた値）だけでなく、第１中
間層Ｈｉ１からの出力値（結合重みｗを掛けた値で、例
えばＰとする）も供給されることになる。従って、図形
□の学習では、図形□の認識と共に、各入力値に対する
第１中間層Ｈｉ１からの出力値Ｐを打ち消して“０”に
するための学習も行われる。すなわち、最初に図形□を
学習した場合、その中間層から出力される出力値に比べ
て、“−Ｐ”だけ小さい値が出力されるようになる。

【００３４】図形□１〜□ｇ（Ｚ＝ｇ＋１〜２ｇ）につ
いて、第１中間層Ｈｉ１についての固定した結合重み
Ｗ、ｈ、ｗと共に、第２中間層Ｈｉ２の各ニューロン素
子Ｈｉ２ｐについての固定した、および調整可能な結合
重みＷ、ｈ、ｗによって学習を行う。この図形□の学習
についても、図形○についての学習と同様に、ある図形
Ｚの学習で誤差δが所定値以下とならない場合に（ステ
ップ１４）新たなニューロン素子Ｈｉ２ｐを追加し（ス
テップ１５〜ステップ１８）、次の図形についての学習
を行う。そして、ステップ２１でＺ＝２ｇ＋１の場合、
既に固定されている第１中間層Ｈｉ１の全結合重みＷ、
ｈ、ｗと共に、第２中間層Ｈｉ２についての全結合重み
Ｗ、ｈ、ｗを固定する（ステップ２３）。そして、次の
図形△についての学習を行うための第３中間層Ｈｉ３の
ニューロン素子Ｈｉ３１を追加し（ステップ２５）、図
形△１〜△ｇ（Ｚ＝２ｇ＋１〜３ｇ）についての学習を
行う。この場合においても、図形△の入力データＤ１〜
Ｄ１００の入力により、第１中間層Ｈｉ１と第２中間層
Ｈｉ２からの出力値Ｐ′が出力されるため、これを打ち
消して“０”にするための学習も行われる。すなわち、
最初に△を学習した場合に比べて、“−Ｐ′”だけ小さ
い値が出力されるように、第三中間層Ｈｉ３の学習が行
われる。

【００３５】図６のステップ２２において、Ｚ＝３ｇ＋
１である場合（；Ｙ）、全ての図形○１〜○ｇ、□１〜
□ｇ、△１〜△ｇについての学習が完了したので、ＣＰ
Ｕ１１は、最後に追加したニューロン素子Ｈｉｍｐの結
合重みＷ，ｈを固定すると共に、第ｍ中間層Ｈｉｍのニ
ューロン素子Ｈｉｍ１〜Ｈｉｍｐと出力層Ｏｕとの全結
合重みｗを固定する（ステップ２６）。その後、入力層
Ｉｎと出力層Ｏｕ間の結合重みｋを固定して（ステップ
２７）、学習処理を終了する。図１１は、全図形につい
ての学習が終了後におけるニューロン素子網と結合重み
テーブルの状態を表したものである。この図１１におい
て●で示すように、全入力データについての学習が終了
すると、結合重みテーブルに格納されている各ニューロ
ン素子間の結合重みは全て固定された状態となる。

【００３６】このようにして三種類の図形○、□、△に
ついて各ｇ個のデータによる学習が終了すると、以後手
書き等による三種類の図形を認識することができる。ま
ず、図形が記載された用紙を図形読取装置２４で読み取
り、入力データＤ１〜Ｄ１００を作成しＲＡＭ１４に格
納する。ＣＰＵ１１は、入力データＤ１〜１００をニュ
ーロン素子網２２の入力層Ｉｎ１〜Ｉｎ１００に入力
し、結合重みテーブルに格納された結合重みを用いた順
伝播活性により出力層Ｏｕのニューロン素子Ｏｕ１〜Ｏ
ｕ３の出力値を求める。ＣＰＵ１１は、出力された３ビ
ットの値から、読み込んだ図形の認識を行う。すなわ
ち、ＣＰＵ１１は、３ビットの出力値の各々について、
所定の閾値を適用することで、各出力値を“０”または
“１”の２ビットで表し、これが教師信号と一致するか
否かを判断する。“１００”であれば図形○、“０１
０”であれば図形□、“００１”であれば図形△である
と認識し、認識した形状を表示装置１７の画面に、形状
名と図形形状で表示する。なお、出力がこれら教師信号
以外である場合には、表示装置１７に認識不能であるこ
とを表示する。

【００３７】次に、ニューラルネットワークを音声認識
システムに適用した第２実施形態について説明する。図
１２は、ニューラルネットワークを利用した音声認識装
置のシステム構成を表したものである。なお、第１実施
形態と同一または機能的に略同一である部分について
は、同一の符号を付して適宜その説明を省略し、または
異なる部分についてのみ説明することとする。

【００３８】この音声認識装置は、ＣＰＵ１１を備えて
おり、データバス等のバスライン１２を介して、ＲＯＭ
１３、ＲＡＭ１４、通信制御装置１５、プリンタ１６、
表示装置１７、キーボード１８、ＦＦＴ（高速フーリエ
変換）装置２１、およびニューロン素子網２２が接続さ
れている。

【００３９】第２実施形態におけるＲＯＭ１３には、さ
らに、ＣＰＵ１１が音声認識やニューロン素子網の学習
等の処理や制御を行うための各種プログラムやデータが
格納されている。また、ニューロン素子網の学習として
バックプロパゲーション則等による各種学習を行うため
のプログラムや、音声認識を行うための８０種類の音素
についての符号列が格納されている。この音素について
の符号列が第２教師信号として使用されると共に、ニュ
ーロン素子網の出力信号から音素を認識する場合に使用
される。またＲＯＭ１３には、認識した音素から音声を
認識すると共に、認識した音声を文字による文章に変換
する日本語変換システムのプログラムも格納されてい
る。

【００４０】第２実施形態におけるＲＡＭ１４では、さ
らに、ＦＦＴ装置２１で解析された音声信号について、
各時間と各周波数におけるパワーを一時格納するための
ベクトル列格納エリアが確保されている。なお、この各
周波数におけるパワーの値が、ニューロン素子網の音声
入力層Ｉｎに入力されるベクトル列になる。また、表示
装置１７は、入力データや認識した音声の内容、およ
び、音声認識に必要な操作の指示を画面表示するように
なっている。キーボード１８は、ＦＦＴ装置２１のパラ
メータの変更や設定条件等を入力したり、文章の入力処
理等も行うようになっている。

【００４１】ＦＦＴ装置２１には、マイク等の音声入力
装置２３が接続されている。このＦＦＴ装置２１は、音
声入力装置２３から入力されたアナログの音声データ
を、ディジタルデータに変換すると共に、離散的フーリ
エ変換によりスペクトル解析を行う。このＦＦＴ装置２
１におけるスペクトル解析により、各周波数毎のパワー
によるベクトル列が、各時間毎に出力され、この各時間
毎のベクトル列はＲＡＭ１４のベクトル列格納エリアに
格納されるようになっている。

【００４２】図１３はニューロン素子網２２の初期状態
の構成を表したものである。また、図１４は、音素
「ａ」の学習が終了し、音素「ｉ」の学習途中における
ニューロン素子網２２の状態を表したものである。図１
３に示すように、初期状態においてニューロン素子網２
２は、音声入力層Ｉｎと音声出力層Ｏｕおよび仮説出力
層（Hypothesis層）Ｈｙを備えている。また図１４に示
すように、第ｍ中間層Ｈｉｍを構成するニューロン素子
Ｈｉｍｐ、および、第ｍ環帰入力層Ｃｏｍを構成するニ
ューロン素子Ｃｏｍｐの１対が追加される。新たなニュ
ーロン素子ＨｉｍｐとＣｏｍｐは、学習の各段階におい
て誤差δが所定値以下にならない場合に追加されるよう
になっている。なお、第ｍ中間層Ｈｉｍと第ｍ環帰入力
層Ｃｏｍは、各音素毎に新たに確保され、その添字
“ｍ”の値は各音素毎に１が加えれらた値となる。

【００４３】ニューロン素子網２２は、初期状態およ
び、中間層Ｈｉと環帰入力層Ｃｏのニューロン素子が追
加された各状態において、順伝播活性および逆伝播学習
が可能なように構成される。

【００４４】中間層Ｈｉ、音声出力層Ｏｕ、および仮説
出力層Ｈｙの各ニューロン素子は、シグモイド関数およ
び閾値が設定されており、−１．０から＋１．０の範囲
で出力されるようになっている。一方、環帰入力層Ｃｏ
のニューロン素子Ｃｏｍｐは、対応する中間層Ｈｉのニ
ューロン素子Ｈｉｍｐの時刻ｔ−１に対する出力値を記
憶するようになっており、記憶した値を時刻ｔに対して
出力するようになっている。

【００４５】この実施形態の音声認識装置において、音
声入力層Ｉｎは、Ｉｎ１〜Ｉｎ３０の３０個のニューロ
ン素子およびバイアスｂを備えている。バイアスｂに
は、常時“＋１”が入力されるようになっている。音声
出力層Ｏｕは音声入力層Ｉｎと同数でＯｕ１〜Ｏｕ３０
の３０個のニューロン素子を備えている。仮説出力層Ｈ
ｙは、認識対象となる８０個の音素に対応する符号化が
可能な数として８個のニューロン素子Ｈｙ１〜Ｈｙ８を
有している。

【００４６】なお、仮説出力層Ｈｙのニューロン素子数
は、認識対象となる音声が日本語以外の外国語の場合
に、その言語に応じた音素数と、その音素数の符号化に
必要な数のニューロン素子が使用される。また、日本語
の音素として必ずしも８０に限定する必要はなく、他の
分類による音素数およびニューロン素子数を使用しても
よい。また、音素数と同一のニューロン素子を仮説出力
層５８に具備させてもよい。すなわち、音素数が８０個
の場合、ニューロン素子も各音素に対応してＨｙ１〜Ｈ
ｙ８０の８０個を仮説出力層Ｈｙに具備させる。そし
て、第２教師信号として、音素「ａ」の場合「１０００
０…０」、音素「ｉ」の場合「０１０００…０」という
ように、各音素に対応するビット（ニューロン素子）の
みを“１”とし他のビットを“０”とする。こうするこ
とで、学習処理の負担は増加するが、学習後の音声認識
において、他の音素との区別を容易に行うことができる
ようになる。

【００４７】図１４に示すように、音声入力層Ｉｎと音
声出力層Ｏｕは結合重みｋで結合され、音声入力層Ｉｎ
と仮説出力層Ｈｙは結合重みｕで結合されている。ま
た、音声入力層Ｉｎと中間層Ｈｉは結合重みＷで結合さ
れ、中間層Ｈｉと中間層Ｈｉは結合重みｈで結合され、
中間層Ｈｉと環帰入力層Ｃｏは結合重みｓで結合され、
中間層Ｈｉと音声出力層Ｏｕは結合重みｗで結合され、
中間層Ｈｉと仮説出力層Ｈｙは結合重みｖで結合されて
いる。環帰入力層Ｃｏと中間層Ｈｉとは、第ｍ環帰入力
層Ｃｏｍと第ｍ中間層Ｈｉｍとのニューロン素子間での
み結合している。中間層Ｈｉは、第１実施形態と同様
に、第ｍ中間層Ｈｉｍにおけるニューロン素子Ｈｉｍ
（ｐ−１）とニューロン素子Ｈｉｍｐとの間でのみ結合
している。

【００４８】これら各結合重みに付す番号については、
第１実施形態と同様に、信号が流れる順とする。環帰入
力層Ｃｏと中間層Ｈｉ間では前者から後者に信号が流れ
るので、例えば、ニューロン素子Ｃｏ１４とＨｉ１２間
の結合重みは、ｓ１４，１２となる。また、ｈ４，２，
３は、第４中間層Ｈｉ４のニューロン素子Ｈｉ４２とＨ
ｉ４３との結合重みである。

【００４９】結合重みｋとｕは、全学習過程において調
整可能である。結合重みＷ、ｈ、ｓについては、中間層
Ｈｉおよび環帰入力層Ｃｏのニューロン素子の新たな追
加に伴い確保された結合重みが調整可能であり、既設の
ニューロン素子についての結合重みが固定される。ま
た、異なる音素についての学習が開始される場合、すな
わち、第ｍ中間層Ｈｉｍ、第ｍ環帰入力層Ｃｏｍにおい
てｍ＝ｍ＋１となる場合、および、全学習が終了する場
合に、第ｍ中間層Ｈｉｍとの全結合重みｗ、ｖが固定さ
れる。ｍの値が変らず、ｐの値のみが変化している間
は、第ｍ中間層Ｈｉｍとの結合重みｗ、ｖは調整可能で
ある。図１４でも示されるように、第２実施形態のニュ
ーロン素子網２２を図示する場合、第１実施形態と同様
に、調整可能な結合重みについては○で表し、固定され
た結合重みについては●で表す。

【００５０】ニューロン素子網２２は、これらの各結合
重みを格納する図示しないメモリを備えている。図１５
は、図１４に示す状態のニューロン素子網２２における
結合重みテーブルを表したものである。図１４および図
１５に示すように、ニューロン素子網２２は、中間層Ｈ
ｉとして、第１中間層Ｈｉ１のニューロン素子Ｈｉ１１
〜Ｈｉ１４と、第２中間層Ｈｉ２のニューロン素子Ｈｉ
２１〜Ｈｉ２３までが追加された状態である。また、環
帰入力層Ｃｏとして、第１環帰入力層のニューロン素子
Ｃｏ１１〜Ｃｏ１４と第２環帰入力層Ｈｉ２のニューロ
ン素子Ｈｉ２１〜Ｈｉ２３までが追加された状態であ
る。ニューロン素子網２２は、ニューロン素子網２２
は、最初の音素、例えば「ａ」についての学習が４つの
ニューロン素子からなる第１中間層Ｈｉ１および第１環
帰入力層Ｃｏ１の追加によって完了し、更に、次の音
素、例えば「ｉ」についての学習を行っている途中であ
ることがわかる。

【００５１】このニューロン素子網の学習時において、
ＦＦＴ装置２１でスペクトル解析された時間ｔにおける
音声のベクトル列が順次音声入力層Ｉｎに入力される。
第ｍ環帰入力層Ｃｏｍの各ニューロン素子Ｃｏｍ１〜Ｃ
ｏｍｐは、第ｍ中間層の１つ前の出力値を記憶するよう
になっている。すなわち、１つ前の時間ｔ−１に対する
学習が終了して調整可能な結合重みが更新された後に、
時間ｔ−１のデータを音声入力層Ｉｎに入力することで
第ｍ中間層Ｈｉｍの各ニューロン素子Ｈｉｍ１〜Ｈｉｍ
ｐから出力される値が、それぞれ第ｍ環帰入力層Ｃｏｍ
の各ニューロン素子Ｃｏｍ１〜Ｃｏｍｐに記憶される。
この時間ｔ−１における第ｍ中間層Ｈｉｍの出力値が、
時刻ｔに対する学習において、第ｍ環帰入力層Ｃｏｍか
ら出力され、対応する結合重みｓを掛けた値が第ｍ中間
層に入力されるようになっている。

【００５２】一方、音声出力層Ｏｕには、次に音声入力
層Ｉｎに与えられることになる時間ｔ＋１のベクトル列
が第１教師信号として入力される。仮説出力層Ｈｙに
は、時間ｔにおける前後の時間間隔で音声入力層Ｉｎに
入力されるベクトル列が表す特定の意味Ａ（本実施形態
では、認識されるべき音素）を仮説する符号列が第２教
師信号として入力される。

【００５３】このように、第２実施形態では、音声入力
層Ｉｎに現在（時間ｔ）のベクトル列を入力し、中間層
Ｈｉにおける過去（時間ｔ−１）のベクトル値を環帰入
力層Ｃｏに入力すると共に、音声出力層Ｏｕに未来（時
間ｔ＋１）のベクトル列を入力している。このため、各
音素についてスペクトル解析された各パワーＰ（ｔｎ）
によるベクトル列についての時系列的な関係が学習され
ることになる。すなわち、音声入力層Ｉｎ、中間層Ｈ
ｉ、および音声出力層Ｏｕの各結合重みは、過去、現
在、未来にわたる時系列的な関係を含めた値に学習され
る。また、同一の音素についての各パワーＰ（ｔｎ）が
音声入力層Ｉｎに入力されて学習を行う際、仮説出力層
Ｈｙには常時同一の第２教師信号を入力して学習を行っ
ている。これによって、入力されるベクトル列の時系列
的な関係と共に、そ関係を有する音素（符号列）が仮説
的に学習される。このため、音声認識を行う場合に、ス
ペクトル解析された音声についてのベクトル列が音声入
力層Ｉｎに入力されると、そのベクトル列の時系列的な
関係をも考慮されたベクトル列が仮説出力層Ｈｙから出
力されることになる。

【００５４】さらに、第２実施形態においても第１実施
形態と同様に、学習の各段階において誤差δが所定値以
下にないない場合に、中間層のニューロン素子Ｈｉｍｐ
と環帰入力層のニューロン素子Ｃｏｍｐを追加すること
で学習を進めるので、音声認識のように学習すべき入力
データの量が非常に多い場合であっても、学習処理時間
を短くすることができる。また、各音素に対する学習が
終了する毎に、第ｍ中間層Ｈｉｍと第ｍ環帰入力層Ｃｏ
ｍに対する結合重みＷ、ｈ、ｖ、ｗが固定されるので、
次の音素に対する学習を行っても、それ以前の学習内容
を忘却することなく記憶させることができる。従って、
各音素に対する認識率を向上させることができる。

【００５５】図１６は、第２教師信号テーブルの内容を
表したものである。この図１６に示すように、第２教師
信号は、８０個の各音素に対応して、音素「ａ」が「１
００００００」、音素「ｉ」が「０１００００００」、
音素「ｕ」が「００１０００００」、…、というよう
に、各８ビットの符号列で規定されている。この第２教
師信号が表す符号の各ビットは、仮説出力層Ｈｙの各ニ
ューロン素子Ｈｙ１〜Ｈｙ８に供給される。この各音素
に対する第２教師信号は、ＲＯＭ１３に格納されてい
る。なお、図１６に示した第２教師信号の各符号列は、
本実施形態における例示であり、他の符号列を使用して
もよい。また、音素数に応じて仮説出力層Ｈｙのニュー
ロン素子数が決定されるが、そのニューロン素子数に応
じたビット数で表現するようにしてもよい。

【００５６】次に、このように構成された第２実施形態
における動作について説明する。 ニューラルネットワークの学習 まずニューラルネットワークについての学習を行う場
合、ユーザは、最初にキーボード１８を操作することに
より、または表示装置１７に表示された所定キーをマウ
スにより操作することにより、学習モードを指定する。
学習モードを指定した後、ユーザは、予め決められた８
０の音素に対応する文字を順次キーボード１８から入力
した後に、その音素についての音声を音声入力装置２３
に入力する。なお、入力すべき音素を表示装置１７に表
示することで、発声すべき音素を順次知らせるようにし
てもよい。音声入力装置２３では、例えば音素「ａ」に
ついて、図１７（ａ）に示すようなアナログ信号が入力
されると、これをＦＦＴ装置２１に供給する。ＦＦＴ装
置２１では、供給されたアナログ音声データを、例えば
２２ＫＨｚでサンプリングし、１６ビットのＰＣＭデー
タにＡ／Ｄ変換し、図示しない記憶部に格納する。

【００５７】次いでＦＦＴ装置２１では、方形窓、ハミ
ング（Ｈａｍｍｉｎｇ）窓、ハニング（Ｈａｎｎｉｇ）
窓等の時間窓の形や、ポイント数（例えば５１２ポイン
ト）等のパラメータに従って、各時間ｔｎ（ｎ＝１、
２、…）毎に、高速フーリエ変換（ＦＦＴ）処理により
ディジタル音声データ「ａ」についてのスペクトル解析
を行う。すなわち、ＦＦＴ装置２１は、図１７（ｂ）に
示すように、各時間ｔｎ毎における音声データの、各周
波数（Ｆ１〜Ｆ３０）に対するパワーＰ（ｔｎ）を算出
する。この各周波数のパワーＰ（ｔｎ）によるベクトル
列は、図１８に示すように、各時間毎に、ＲＡＭ１４の
ベクトル列格納エリアに格納される。

【００５８】入力された音素について、ＦＦＴ装置２１
によるスペクトル解析が終了すると、ＣＰＵ１１は、Ｒ
ＡＭ１４に格納したベクトル列に従ってニューロン素子
網２２の学習を行う。いま、最初の音素「ａ」の時間ｔ
ｎにおける学習について説明する。ＣＰＵ１１は、ま
ず、時間ｔｎの学習開始する前の第１中間層Ｈｉ１のニ
ューロン素子Ｈｉ１１〜Ｈｉ１ｐの状態、すなわち、時
間ｔｎ−１についての学習が終了した時点での第１中間
層Ｈｉ１におけるベクトル列を、第１環帰入力層Ｃｏ１
の対応するニューロン素子Ｃｏ１１〜Ｃｏ１ｐに入力す
る。そしてＣＰＵ１１は、音素「ａ」についての時間ｔ
ｎにおけるベクトル列Ｐ（ｔｎ）をＲＡＭ１４から読み
出し、音声入力層Ｉｎの各ニューロン素子Ｉｎ１〜Ｉｎ
３０に入力する。また、時間ｔｎの次の時間ｔｎ＋１に
つてのベクトル列Ｐ（ｔｎ＋１）を第１教師信号として
音声出力層Ｏｕのニューロン素子Ｏｕ１〜Ｏｕ３０に入
力すると共に、入力された音素「ａ」について、図１５
に示す符号列「１０００００００」を第２教師信号とし
て仮説出力層Ｈｙの各ニューロン素子Ｈｙ１〜Ｈｙ８に
入力する。

【００５９】音声入力層Ｉｎへのベクトル列の入力、お
よび音声出力層Ｏｕと仮説出力層Ｈｙへの教師信号の入
力が済むと、ＣＰＵ１１は、結合重みテーブルに格納さ
れている音声入力層Ｉｎ、中間層Ｈｉ、環帰入力層Ｃ
ｏ、音声出力層Ｏｕ、および仮説出力層Ｈｙの各ニュー
ロン素子間の結合重みＷ、ｈ、ｓ、ｗ、ｖ、ｋ、ｕを用
いて学習を行い、調整可能な結合重みを学習後の値に更
新する。なお、本実施形態において行われる学習は、第
１実施形態と同様に各種の学習則が使用可能である。

【００６０】時間ｔについての音素「ａ」の学習が終了
すると、次に時間ｔ＋１についての学習を行う。この場
合、時間ｔｎのときと同様にして、ｔｎについての学習
が終了した時点での第１中間層Ｈｉ１のベクトル列を第
１環帰入力層Ｃｏ１に記憶させ、時間ｔｎ＋１のベクト
ル列Ｐ（ｔｎ＋１）をＲＡＭ１４から読み出して音声入
力層Ｉｎに入力する。また、時刻ｔｎ＋２のベクトル列
Ｐ（ｔｎ＋２）を第１教師信号として音声出力層Ｏｕに
入力する。一方、仮説出力層Ｈｙには、入力された音素
「ａ」についての学習が行われている間、「ａ」につい
ての同一の符号「１０００００００」が継続的に第２教
師信号として入力される。

【００６１】この時刻ｔ＋１についての学習において誤
差δが所定値以下にならない場合、第１実施形態と同様
に、第１中間層Ｈｉ１と第１環帰入力層Ｃｏ１には、新
たなニューロン素子Ｈｉ１ｐとニューロン素子Ｃｏ１ｐ
が追加される。そして、既設のニューロン素子Ｈｉ１
（ｐ−１）とＣｏ１（ｐ−１）の結合重みＷ、ｈ、ｓを
固定し、ニューロン素子の追加により確保された調整可
能な結合重みＷ、ｈ、ｓ、および結合重みｗ、ｖ、ｋ、
ｕを調整することで、音素「ａ」についての学習を繰り
返す。

【００６２】音素「ａ」についての全ての学習が終了す
ると、音素「ａ」の学習で確保された第１中間層Ｈｉ１
と第１環帰入力層Ｃｏ１についての全結合重み、Ｗ、
ｈ、ｓ、およびｗ、ｖを固定する。そして、次の音素
「ｉ」の学習を行うために、第２中間層Ｈｉ２と第２環
帰入力層Ｃｏ２についてニューロン素子Ｈｉ２１とＣｏ
２ｐ１を追加し、以後、誤差δが所定値以下にならない
毎に新たなニューロン素子Ｈｉ２ｐ、Ｃｏ２ｐ（ｐ≦
２）を追加する。

【００６３】新たなニューロン素子Ｈｉ２ｐ、Ｃｏ２ｐ
におけるｐ＝３の状態が図１４で表したニューロン素子
網２２の状態である。図１４に示すように、新たなニュ
ーロン素子Ｈｉ２３、Ｃｏ２３の追加によって、既設の
ニューロン素子Ｈｉ２２とＣｏ２２に対する結合重みＷ
１，２２〜Ｗ３０，２２、Ｗｂ，２２、結合重みｈ２，
１，２、結合重みｓ２１，２２、ｓ２２，２２、ｓ２
２，２１が新たに固定される。そして、結合重みテーブ
ルには、新たに追加されたＨｉ２３とＣｏ２３に対する
結合重みＷ１，２３〜Ｗ３０，２３、Ｗｂ，２３、結合
重みｈ２，２，３、結合重みｓ２１，２３，ｓ２２，２
３、ｓ２３，２３、ｓ２３，２２、ｓ２３，２１が、調
整可能な結合重みとして確保される。また、結合重みｗ
２３，１〜ｗ２３，３０と、結合重みｖ２３，１〜ｖ２
３，８も調整可能な結合重みとして確保する。

【００６４】ここで、第２実施形態における学習も第１
実施形態と同様に、結合重みを固定した第１中間層Ｈｉ
１からの出力は、次の音素「ｉ」の学習において雑音と
して入力されるが、次の音素「ｉ」の学習において、こ
の雑音をマイナスすることも含めた結合重み（固定され
ていないもの）に調整され、更新される。同様に、次の
音素として「ｕ」を学習する場合には、結合重みを固定
した音素「ａ」の第１中間層Ｈｉ１と音素「ｉ」の第２
中間層Ｈｉ２からの雑音をマイナスすることも含めて学
習が行われる。このように第２実施形態におけるニュー
ロン素子網では、１対の第ｍ中間層Ｈｉｍと第ｍ環帰入
力層Ｃｏｍが各音素毎に設けられ、他の中間層や環帰入
力層と完全に切り離されると共に、学習が完了した音素
に対する全結合重みを固定しているので、各音素に対応
する学習を高速に行うことができる。

【００６５】以後同様にして、第ｍ中間層Ｈｉｍの各ニ
ューロン素子Ｈｉｍｐ、および第ｍ環帰入力層Ｃｏｍの
各ニューロン素子Ｃｏｍｐを順次追加しながら、
「ｉ」、「ｕ」、「ｅ」、「ｏ」等の全ての音素につい
ての学習を行う。８０個の全音素についての学習が完了
すると、ニューロン素子網２２は、中間層と環帰入力層
は、第１中間層Ｈｉ１〜第８０中間層Ｃｏ８０と、第１
環帰入力層Ｃｏ１〜第８０環帰入力層Ｃｏ８０が存在す
ることになる。各第ｍ中間層Ｈｉｍと各第ｍ環帰入力層
Ｃｏｍのニューロン素子の数は、各音素に対する学習段
階において、それぞれ必要個だけ追加される。

【００６６】入力音声の認識 以上の学習が終了した後、音声入力装置２３から、例え
ば音声「まえ」が入力されたものとする。すると、ＦＦ
Ｔ装置２１で入力音声についてのスペクトル解析が行わ
れる。そして、ＣＰＵ１１は、時間ｔｎ−１にける中間
層Ｈｉのベクトル列を環帰入力層Ｃｏに入力した後、現
在の時間ｔｎにおける各周波数のパワーから成るベクト
ル列Ｐ（ｔｎ）を音声入力層Ｉｎに入力する。ＣＰＵ１
１は、音声入力層Ｉｎと中間層Ｈｉとの各結合重み（図
４）をニューロン素子網２２のメモリから読み出し、各
結合重みと音声入力層Ｉｎの各入力値とから、中間層Ｈ
ｉの各ニューロン素子Ｈｉ〜Ｈｉ２００の出力値を算出
し、ニューロン素子網２２の図示しないメモリに格納さ
れる。この中間層Ｈｉのベクトル値は、次の時間ｔｎに
おけるベクトル列Ｐ（ｔｎ＋１）が入力される前に環帰
入力層Ｃｏに入力される。

【００６７】次に、ＣＰＵ１１は、ニューロン素子網２
２の図示しないメモリから、格納した中間層Ｈｉの出力
値と、中間層と仮説出力層Ｈｙとの結合重みとを読み出
し、両者の値から、仮説出力層Ｈｙの各ニューロン素子
Ｈｙ１〜Ｈｙ８の出力値を求める。そして、各ニューロ
ン素子Ｈｙ１〜Ｈｙ８の出力値と、ＲＯＭ１３に格納さ
れている第２教師信号テーブルの各符号列と照合するこ
とで、該当する音素を特定し、特定した音素をＲＡＭ１
４に格納する。

【００６８】この音素は、各音素について複数のベクト
ル列Ｐ（ｔｎ）に解析され、時系列的に音声入力層Ｉｎ
に入力されて特定されるため、複数の音素列となる。例
えば、音声「いろ」が入力された場合には、「ｉｉｉｉ
ｉｒｒｒｏｏｏｏｏ」となる。そこで、ＣＰＵ１１は、
このＲＡＭ１４に格納された音素列から、入力された音
声を「ｉｒｏ」と認識する。そしてＣＰＵ１１は、キー
ボード１８からの入力指示がある場合には、認識した音
声を日本語変換システムに従って、文字による文章に変
換する。変換した文章は、表示装置１７に表示されると
共にＲＡＭ１４に格納される。また、キーボード１８か
らの指示に応じて、通信制御装置５および通信網２を介
して、パーソナルコンピュータやワードプロセッサ等の
各種通信制御装置にデータ伝送を行う。

【００６９】図１９は、音声「まえ」についての各音素
の特定結果を表したものである。なお、学習段階におい
て、第２教師信号として仮説出力層Ｈｙに入力する各音
素の符号として図１６のベクトル列を採用したものとす
る。また、各ニューロン素子Ｈｙ１〜Ｈｙ８の出力は、
所定の閾値を越えた場合に出力され、閾値以下の場合に
は出力されず図１９では、記号「−」で示されている。
この図１９の最右欄に示すように、各時間ｔｎにおける
ベクトル列の入力に対応して音素「ｍ」、「ａ」、
「ｅ」を特定することができる。この音素から入力され
た音声が「まえ」であると認識することができる。

【００７０】この図１９に示したように、各時間ｔｎに
おけるニューロン素子Ｈｙ１〜Ｈ８の出力によって特定
された各音素列から、音声を特定する場合、同一の音素
が複数個以上、例えば４個以上連続的に特定されている
場合に、その音素を有効と見なして、音声認識を行う。
例えば、図１９において、時間ｔ１で特定された音素
「ｍ」と時間ｔ３５で特定された音素「ｅ」は、４個以
上連続していないため、音声認識を行う対象から除外さ
れる。なお、４子以上連続的に特定された場合だけでな
く、他に、２個、３個、５個、１０個等の他の数だけ連
続的に特定された場合にその音素が有効であると判断す
るようにしてよもい。更に、音素が有効であると判断す
るための個数を、利用者の選択により、キーボードから
指定することができるようにしてもよい。

【００７１】なお、図１９の最右欄の「？」で示すよう
に、音声を認識する場合、スペクトル分析されたベクト
ル列が入力された当初と、各音素から音素に変化する場
合において、音素を特定できない場合があるが、その後
継続的に特定される音素によって容易に音声を認識する
ことができる。スペクトル分析されたベクトル列が入力
された当初に音素を特定できない場合があるのは、学習
段階において、過去、現在、未来による時系列的な関係
を含めて学習しているのに対して、入力当初は過去の時
系列的関係を含む情報が充分でない為であると考えられ
る。また、各音素の変化時において音素を特定できない
のは、学習段階において、個々の音素単位での学習を行
っており、各音素同士の時系列的関係については学習の
対象になっていないためであると考えられる。

【００７２】第２実施形態によれば、各音素のスペクト
ルの時系列的な関係について学習されているため、学習
のための音素を発声する者と異なる者の音声も正確に認
識することができた。従って、不特定話者認識を行うこ
とができる。

【００７３】また、音素単位での音声認識を行う場合に
従来から認識すべき音素の開始点をどのようにして正確
に決定するかが問題であったが、第２実施形態によれ
ば、音素の開始点を特定する必要がない。また、音素単
位による連続音声認識を行う場合に、各個人差が大きい
各音素の発声時間に関係なく、音声を認識することがで
きる。例えば、音声として「はーる」というように、音
声「は」をのばして発声した場合であっても、「ｈｈｈ
ｈｈ…ａａａａａａａａａａａａａａ…ｒｒｒｒ…ｕｕ
ｕｕｕ…」というように、音素「ａ」が多く特定される
だけで、容易に音声「はる」と認識することができる。

【００７４】また、第２実施形態では、各音素に対し複
数の時間ｔｎにおける複数のベクトル列Ｐ（ｔｎ）が入
力され、各時間毎に音素を特定している。このため、連
続音声認識において、各音素状態が前に現れる音素の状
態により影響を受けていても、各音素から音素に変化す
る場合に音素の特定ができない状態、すなわち、図１９
の最右欄の「？」が多少増えるだけである。そして、そ
の後に同一の音素が継続的に特定されるため、連続音声
認識であっても容易に音声を認識することができる。

【００７５】以上説明した第２実施形態のニューロン素
子網２２では、図１４で示したように環帰入力層Ｃｏと
中間層Ｈｉとを結合重みｓで結合するようにしたが、図
２０示されるように、各環帰入力層Ｃｏのニューロン素
子の値を、対応する中間Ｈｉのニューロン素子に供給す
るようにしてもよい。すなわち、各中間層Ｈｉ１〜Ｈｉ
８０を構成する各ニューロン素子は、自己の値をフィー
ドバックして入力するように構成する。従って、時間ｔ
における入力を処理する場合、各中間層Ｈｉのニューロ
ン素子には、音声入力層Ｉｎからの時間ｔに対する入力
の他に、時間ｔ−１における自己の出力値も、環帰入力
層Ｃｏのニューロン素子からフィードバックして入力さ
れる。一方、環帰入力層Ｃｏには、時間ｔにおける各中
間層Ｈｉのニューロン素子からの出力値が入力される。
ニューロン素子網２２をこのように構成することで、時
間ｔ−１における過去の情報も考慮しつつ、環帰入力層
Ｃｏと中間層Ｈｉ間の結合重みｓの計算が不要となるの
で、処理を早くすることができる。

【００７６】更に、以上説明した第２実施形態では、中
間層Ｈｉのデータをフィードバックさせるリカレント型
のニューラルネットワークとしたが、本発明では、環帰
入力層Ｃｏのないニューロン素子網としてもよい。この
場合、時間ｔのベクトル列を音声入力層Ｉｎに入力し、
次の時間ｔ＋１のベクトル列を第１教師信号として音声
出力層Ｏｕに入力し、時間ｔｎの集合が表す特定の意味
Ａを第２教師信号として仮説出力層Ｈｙに入力する。環
帰入力層がない場合、過去（時間ｔ−１）の情報に基づ
く時系列的な関係までは学習されない。しかし、局所的
ではあるが、現在（時間ｔ）と未来（ｔ＋１）による時
系列的関係を学習しているため充分に音声を認識するこ
とができる。環帰入力層がない場合には、学習および音
声認識の処理が軽減され、処理速度を早くすることが可
能になる。

【００７７】第２実施形態では、入力されるベクトル列
の時系列的な関係と共に、その関係を有する音素（符号
列）を仮説的に学習することで、音声を認識するように
したが、本発明では、時系列的関係を有する音声に限定
されるものではなく、互いに所定の関係を有する複数の
ベクトル列Ｆｎ（ｎ＝１、２、３、…）の集合が表す特
定の意味についての学習とその認識や予測について利用
することができる。例えば、音声認識以外に、運動の時
系列パターン発生の学習とその予測を行うようにしても
よい。また、時系列的な場合だけでなく、空間的関係
や、周波数的関係を有する複数のベクトル列の集合が特
定の意味を有する場合の、学習と認識を行うようにして
もよい。例えば、文字が有する空間的関係について学習
することで、文字認識を行うようにしてもよい。

【００７８】さらに、第２実施形態では、音素単位の音
声認識について説明したが、単語単位で音声認識するよ
うにしてもよい。この場合、ベクトル列が表す特定の意
味としてその単語を表す符号列が第２教師信号として使
用される。

【００７９】また、本実施形態では、ＲＯＭ１３に格納
した学習プログラムに従ってＣＰＵ１１でニューロン素
子網２２の学習を行い、学習後のニューロン素子網２２
による音声認識を行うようにしたが、不特定話者の連続
音声認識を高い認識率で行うことが可能であるので、再
学習の必要が少ない。従って、音声認識装置としては、
必ずしも学習機能を有する必要がなく、他の装置の学習
で求めた結合重みを有する、音声入力層Ｉｎ、環帰入力
層Ｃｏ、中間層Ｈｉ、仮説出力層Ｈｙからなるニューロ
ン素子網を使用するようにしてもよい。この場合、ニュ
ーロン素子網を、学習済みの結合重みを有するハードウ
ェアで構成してもよい。

【００８０】また、以上説明した第２の施例では、ＦＦ
Ｔ装置における高速フーリエ変換によって、学習時の各
音素と音声認識時の音声についてのスペクトル解析を行
ったが、他のアルゴリズムによりスペクトル解析を行う
ようにしてもよい。例えば、ＤＣＴ（離散コサイン変
換）等によるスペクトル解析を行ってもよい。

【００８１】更に、以上説明した第２実施形態では、各
音素を学習する場合に、例えば母音である音素「ａ」に
ついて１種類の学習を行う場合について説明したが、本
発明では、複数種類について学習するようにしてもよ。
例えば、音素「ａ」について、母音の「ａ」の他に、
「ｍａ」、「ｎａ」、「ｋａ」等の各音声から音素
「ａ」の部分を切り出して音素「ａ」の学習を行うよう
にしてもよい。また、子音の場合も同様に、音素「ｍ」
であれば、「ｍａ」、「ｍｉ」、「ｍｕ」等の各音声か
ら音素「ｍ」を切り出し、それぞれについて学習を行
う。これにより、他の色々な音素と接続された場合につ
いて学習が行われ、認識率が向上する。

【００８２】以上説明した、第１および第２実施形態で
は、音声／入力層Ｉｎにバイアスｂを設け、音声／入力
層Ｉｎと音声／出力層Ｏｕとを結合重みｋで結合させ、
第２実施形態では、更に音声入力層Ｉｎと仮説出力層Ｈ
ｙとを結合重みｕで結合させる構成としたが、本発明で
は他の構成としてもよい。すなわち、バイアスｂが無い
構成としてもよい。また、音声／入力層Ｉｎと音声／出
力層Ｏｕとを結合させず、第２実施形態では、更に音声
入力層Ｉｎと仮説出力層Ｈｙとを結合させないようにし
てもよい。なお、バイアスｂと結合重みｋ、第２実施形
態の場合更に結合重みｕが無い場合、ニューロン素子網
２２は、初期状態において、第１中間層Ｈｉのニューロ
ン素子Ｈｉ１１、第２実施形態の場合更に第１環帰入力
層Ｃｏのニューロン素子Ｃｏ１１を学習可能な状態で具
備させておく。

【００８３】また、本実施形態では、学習過程におい
て、結合重み結合重みｋを他の結合重みとを同等に扱っ
たが、本発明では、結合重みｋの比重を他の結合重みよ
りも小さくするようにしてもよい。例えば、結合重みｋ
の範囲を他の結合重みの１／２、１／３、１／４、１／
５等にしてもよい。

【００８４】また、第１および第２実施形態において、
第ｍ中間層Ｈｉｍと、音声／出力層Ｏｕとの結合重み
ｗ、第２実施形態の場合更に仮説出力層Ｈｙとの結合重
みｖについては、異なる図形、音素についての学習を開
始する場合、すなわち、ｍの値がｍ＋１になる場合に、
一括して固定する構成としている。本発明では他に、第
ｍ中間層Ｈｉｍと音声／入力層Ｉｎとの結合重みＷの場
合と同様に、ｍの値が同一でも、新たなニューロン素子
Ｈｉｍｐが追加されるときに、既設のニューロン素子Ｈ
ｉｍ（ｐ−１）に対する結合重みｗｍ（ｐ−１），１〜
ｗｍ（ｐ−１），３０と、結合重みｖｍ（ｐ−１），１
〜ｖｍ（ｐ−１），８を固定するようにしてもよい。そ
して、追加した第ｍ中間層Ｈｉｍのニューロン素子Ｈｉ
ｍｐに対する結合重みｗｍｐ，１〜ｗｍｐ，３０と、結
合重みｖｍｐ，１〜ｖｍｐ，８を調整可能な結合重みと
する。

【００８５】第１および第２実施形態では、ＲＯＭ１３
に格納した学習プログラムに従ってＣＰＵ１１でニュー
ロン素子網２２の学習を行い、学習後のニューロン素子
網２２は、高い認識率で図形認識や音声認識等を行うこ
とが可能であるので、再学習の必要が少ない。特に、音
声認識の場合、不特定話者の連続音声認識を高い認識率
で行うことが可能であるり再学習の必要が少ない。従っ
て、図形認識装置や音声認識装置としては、必ずしも学
習機能を有する必要がなく、他の装置の学習で求めた結
合重みを有する、環帰入力層Ｃｏ、中間層Ｈｉ、仮説出
力層Ｈｙからなるニューロン素子網を使用するようにし
てもよい。この場合、ニューロン素子網を、学習済みの
結合重みを有するハードウェアで構成してもよい。

【００８６】第１および第２実施形態の変形例として、
各音素に対応する１対の中間層と環帰入力層毎の学習を
別々のコンピュータシステム等を使用して別個独立に行
い、各学習終了後に、各中間層と環帰入力層の対を組み
合わせて、ニューロン素子網２２を構成するようにして
もよい。この場合、例えば第２実施形態であれば、各中
間層は対応する音素についてだけ独立して学習している
ため、他の音素に対する中間層による雑音をマイナスす
ることも含めた学習が行われていない。そこで、各音素
の雑音をマイナスする信号が音声出力層Ｏｕと仮説出力
層Ｈｙに入力されるような、調整用中間層Ｈｉ８１（８
１個目の中間層）と調整用環帰入力層Ｃｏ８１（８１個
目の環帰入力層）を別個付加する必要がある。そして、
既に学習した各第１中間層Ｈｉ１〜第８０中間層Ｈｉ８
０（８０音素の場合）の結合重みを固定した状態で、全
ての音声について再度学習を行う。

【００８７】この場合、付加した調整用中間層Ｈｉ８１
からの出力は、雑音をマイナスする値となる。例えば、
音素「ａ」を再学習する場合、音素「ａ」に対応する第
１中間層Ｈｉ１を除いた他の中間層Ｈｉ２〜Ｈｉ８０
（各結合重みは固定されている。）からの出力の合計が
プラスマイナスゼロとなるような値が、調整用中間層Ｈ
ｉ８１から出力されるように、調整用中間層Ｈｉ８１と
調整用環帰入力層Ｃｏ８１の結合重みが学習される。こ
の学習においても、調整ができなくなった段階で、調整
用中間層Ｈｉ８１と調整用環帰入力層Ｃｏ８１のニュー
ロン素子Ｈｉ８１ｐ、Ｃｏ８１ｐを順次追加し、ニュー
ロン素子Ｈｉ８１（ｐ−１）の結合重みＷ、ｈを固定す
る。なお、各音素や図形等の学習を個別に行い、中間層
と環帰入力層の対を組み合わせてニューロン素子網２２
を構成する場合、調整用の環帰入力層Ｃｏ８１を設け
ず、調整用中間層Ｈｉ８１のみを設けるようにしてもよ
い。

【００８８】次に第３実施形態について説明する。第２
実施形態では音声認識においてＦＦＴ２１で解析された
スペクトルデータを入力層に入力するデータとしたのに
対して、この第３実施形態では、ケプストラムデータを
入力することで音声認識を行うようにしたものである。
図２１は、第３実施形態におけるニューラルネットワー
クのシステム構成を表したものである。この図に示すよ
うに、ニューラルネットワークでは、第２実施形態のシ
ステムに更にケプストラム装置２６を備えている。な
お、その他の部分については第２実施形態と同様なの
で、同一の番号を付してその説明を省略する。また、ニ
ューロン素子網２２については、第１実施形態および第
２実施形態で説明したニューロン素子網２２だけでな
く、さらに第１および第２実施形態の変形例として説明
したニューロン素子網２２の、いずれのニューロン素子
網２２を適用することも可能である。ケプストラム装置
２６は、ＦＦＴ装置２１におけるスペクトル解析された
波形の短時間振幅スペクトルの対数を逆フーリエ変換す
ることで、ケプストラムデータを得るものである。この
ケプストラム装置２６により、スペクトル包絡と微細構
造とを近似的に分離して抽出することができる。

【００８９】ここで、ケプストラムの原理について説明
する。いま、音源と音道のインパルス応答のフーリエ変
換をそれぞれ、Ｇ（ω）Ｈ（ω）で表すと、線型分離透
過回路モデルにより、 Ｘ（ω）＝Ｇ（ω）Ｈ（ω） の関係が得られる。この式の両辺の対数をとると、次の
数式（１）となる。 ｌｏｇ｜Ｘ（ω）｜＝ｌｏｇ｜Ｇ（ω）＋ｌｏｇ｜Ｈ（ω）｜…（１） さらに、この数式（１）の両辺の逆フーリエ変換をとる
と次の数式（２）になり、これがケプストラムである。 ｃ（τ）＝Ｆ^-1ｌｏｇ｜Ｘ（ω）｜ ＝Ｆ^-1ｌｏｇ｜Ｇ（ω）＋Ｆ^-1ｌｏｇ｜Ｈ（ω）｜…（２） ここでτの次元は、周波数領域からの逆変換であるから
時間になり、ケフレンシーとよばれる。

【００９０】次に基本周期と包絡線の抽出について説明
する。数式（１）の右辺第１項はスペクトル上の微細構
造であり、第２項はスペクトル包絡線である。両者の逆
フーリエ変換には大きな違いがあり、第１項は高ケフレ
ンシーのピークとなり、第２項は０から２〜４ｍｓ程度
の低ケフレンシー部に集中する。高ケフレンシー部を用
いてフーリエ変換することによって対数スペクトル包絡
線が求まり、更に、それを指数変換すればスペクトル包
絡線が求まる。求まるスペクトル包絡線の平滑さの度合
いは、低ケフレンシー部のどれだけの成分を用いるかに
よって変化する。ケフレンシー成分を分離する操作をリ
フタリングと呼ぶ。

【００９１】図２２は、ケプストラム装置２６の構成を
表したものである。このケプストラム装置２６は、対数
変換部２６１と、逆ＦＦＴ部２６２と、ケプストラム窓
２６３と、ピーク抽出部２６４と、ＦＦＴ部２６５とを
備えている。なお、ケプストラム窓２６３、ピーク抽出
部２６４と、ＦＦＴ部２６５は、ニューロン素子網２２
の入力層に供給するデータとして、逆ＦＦＴ部２６２で
求めたケプストラムデータを使用する場合には不要であ
り、スペクトル包絡をニューロン素子網２２の入力デー
タとして使用する場合に必要となる。また、ＦＦＴ部２
６５については、必ずしも必要ではなく、ＦＦＴ装置２
１を使用するようにしてもよい。

【００９２】対数変換部２６１は、ＦＦＴ２１から供給
されるスペクトルデータＸ（ω）から、数式（１）に従
って対数変換を行い、ｌｏｇ｜Ｘ（ω）｜を求め、逆Ｆ
ＦＴ部２６２に供給する。逆ＦＦＴ部２６２では、供給
された値について、更に逆ＦＦＴをとり、ｃ（τ）を算
出することで、ケプストラムデータを求める。逆ＦＦＴ
部２６２では、求めたケプストラムデータを、音声デー
タについての学習または音声認識を行う入力データＩｎ
として、第１実施形態または第２実施形態で説明したニ
ューロン素子網２２の入力層に供給するようになってい
る。ニューロン素子網２２に入力する入力データＩｎの
数については、音声認識に併せて任意に選択された入力
層のニューロン素子数と同数が選択される。すなわち、
図１３に示したニューロン素子網２２の場合、入力層Ｉ
ｎのニューロン素子が３０あるので、ケフレンシー
（τ）軸を３０分割し、各ケフレンシー毎のパワーの値
を入力データＩｎ１〜Ｉｎ３０として、入力層に供給す
る。この逆ＦＦＴ部２６２で求めたケプストラムデータ
を入力層に供給するのが、第３実施形態における第１例
である。

【００９３】次に、第３実施形態における第２例につい
て説明する。この第２例では、ケプストラム窓２６３に
おいて求めたケプストラムデータに対してリフタリング
を行うことで、ケフレンシー成分を高ケフレンシー部と
低ケフレンシー部に分離する。分離された低ケフレンシ
ー部は、ＦＦＴ部２６５において、フーリエ変換するこ
とによって対数スペクトル包絡線が求められ、更に、指
数変換することでスペクトル包絡線が求められる。この
スペクトル包絡データから、周波数軸軸をニューロン素
子の数に対応して分割し、各周波数毎のパワーの値を入
力層Ｉｎに供給する。

【００９４】なお、ケプストラム窓２６３で分離され
た、低ケフレンシー部のケプストラムデータを入力デー
タとして入力層Ｉｎに供給するようにしてよもい。ま
た、分離された高ケフレンシー部のケプストラムデータ
から、ピーク抽出部２６４で基本周期を抽出し、これ
を、ＦＦＴ部２６５で求めたスペクトル包絡のデータと
共に入力データの１つとして使用してもよい。こ場合、
入力層Ｉｎのニューロン素子数がＮ個とすると、スペク
トル包絡のデータから（Ｎ−１）の入力データＩｎ１〜
Ｉｎ（Ｎ−１）を入力層Ｉｎに入力し、基本周期のデー
タから入力データＩｎＮを入力層Ｉｎに入力する。

【００９５】以上説明したように、第３実施形態によれ
ば、音声データにいてのケプストラムデータを使用する
ことで、パワースペクトルよりも一層音声の特徴を捕ら
えたデータを認識対象とするので、認識率が向上する。
なお、第３実施形態では音声認識について説明したが、
画像データのケプストラムデータを使用して画像認識を
行うようにしてもよい。この場合の画像データは、画像
読取装置２４で読み取られた画像データ、および通信制
御装置１５で受信した画像データのいずれを用いてもよ
い。

【００９６】次に第４実施形態について説明する。第３
実施形態では、ニューロン素子網２２の入力層Ｉｎへの
入力データとしてケプストラムデータ用いたが、この第
４実施形態では、入力データとして、自己連想（オート
アソシエーション）型ニューラルネットワークにおける
中間層のデータを用いるものである。

【００９７】図２３は、第４実施形態における自己連想
型ＮＮ（ニューラルネットワーク）を用いたニューラル
ネットワークのシステム構成を表したものである。この
図に示すように、ニューラルネットワークでは、第２実
施形態のシステムに更に、自己連想型ＮＮ２７を備えて
いる。第４実施形態におけるＲＡＭ１４は、ニューロン
素子網２２用の入力データを格納するベクトル列格納エ
リアの外に、さらに自己連想ＮＮ用ベクトル列格納エリ
アが確保されている。なお、その他の部分については第
２実施形態と同様なので、同一の番号を付してその説明
を省略する。また、ニューロン素子網２２については、
第１実施形態および第２実施形態で説明したニューロン
素子網２２だけでなく、さらに第１および第２実施形態
の変形例として説明したニューロン素子網２２の、いず
れのニューロン素子網２２を適用することも可能であ
る。

【００９８】図２４は、自己連想型ＮＮの構成を表した
ものである。この図２４に示すように、自己連想型ＮＮ
は、入力層ＡＩと中間層ＡＨおよび出力層ＡＯの３層を
備えている。入力層ＡＩは、音声認識や、図形認識等の
各種処理に対応して任意に選択される入力データ数ｐに
応じた数ｐ個のニューロン素子ＡＩ１〜ＡＩｐを備えて
いる。中間層ＡＨは、入力層ＡＨのニューロン素子の数
ｐ個よりも少ない数ｐ個のニューロン素子ＡＨ１〜ＡＨ
ｑ（ｑ＜ｐ）を備えている。出力層ＡＯは、入力層ＡＨ
と同数ｐ個のニューロン素子ＡＯ１〜ＡＯｐを備えてい
る。

【００９９】中間層ＡＨの各ニューロン素子ＡＨ１〜Ａ
Ｈｑは、入力層ＡＩの全ニューロン素子との間で、学習
時に変更可能な結合重みＡＷ１１〜ＡＷｐｑで完全結合
している。また中間層ＡＨの各ニューロン素子ＡＨ１〜
ＡＨｑは、それぞれ学習段階で変更可能な閾値を備えて
いる。中間層ＡＨの各ニューロン素子ＡＨ１〜ＡＨｑ
は、入力層ＡＩに入力された入力データと、結合重みＡ
Ｗと、閾値に基づいて、順伝播活性による出力値を出力
するようになっている。このＡＨ１〜ＡＨｑの出力値
は、ニューロン素子網２２の入力層Ｉｎに入力する入力
データＳｔとして出力されるようになっている。また、
出力層ＡＯの各ニューロン素子ＡＯ１〜ＡＯｐは、中間
層ＡＨの全ニューロン素子ＡＨ１〜ＡＨｑとの間で、学
習時に可変な結合重みＡｗ１１〜Ａｗｑｐで完全結合し
ている。そして、各ニューロン素子ＡＯ１〜ＡＯｐは、
中間層ＡＨの出力値Ｓｔと結合重みＡｗとから、自己連
想型ＮＮの出力値を出力するようになっている。

【０１００】自己連想型ＮＮ２７は、図示しないメモリ
を備えており、このメモリに入力層ＡＩと中間層ＡＨと
の結合重みＡＷ、閾値、および中間層ＡＨと出力層ＡＯ
との結合重みを格納するようになっている。

【０１０１】次に、自己連想型ＮＮ２７による、ニュー
ロン素子網２２に入力する入力データＳｔの生成につい
て、音声認識の場合を例に説明する。いま音声認識の対
象となる各音素のうち、音素“あ”についての学習を行
う場合につてい説明する。学習対象となる音素「ａ」に
ついては、言葉の最初に発声場合の音素を“あ”で表
し、言葉の最後に発声される場合の音素を“ア”で表
し、言葉の途中に発声される場合の音素を“Ａ”で表す
ものとする。例えば、“あ”は、ａｋｉ（秋）からと
り、“ア”はｄｅｎｗａ（電話）からとり、“Ａ”はｔ
ｏｍａｒｉ（泊まり）からとる。なお、以下の説明にお
いては、音素「あ」について、“あ”、“ア”、“Ａ”
の３パターンによる音素「ａ」の学習を例に説明する
が、各音素について３〜３０パターン、好ましくは１０
０パターン程度による学習が行われる。

【０１０２】図２５は、これら３種類の“あ”、
“ア”、“Ａ”について、ＦＦＴ装置２１で各時間ｔ
（ｔ＝１、２、…）毎に、ＦＦＴ処理によりスペクトル
解析したデータを表したものである。ＦＦＴ装置２１
は、各音素“あ”、“ア”、“Ａ”について、それぞれ
図２５（ａ）、（ｂ）、（ｃ）に示すように、各時間ｔ
毎に音声データの、各周波数（周波数の分割数は、入力
層ＡＩのニューロン素子の数ｐに対応して、Ｆ１〜Ｆｐ
のｐ個である）に対するパワー（Ｐ）の値を算出する。
そして、各周波数のパワーＰ（ｔ）によるベクトル列
は、第２実施形態について図１８で説明したと同様に、
各時間毎に、ＲＡＭ１４の自己連想ＮＮ用ベクトル列格
納エリアに格納される。

【０１０３】いま、図２５（ａ）に示されるように、音
素“あ”についてスペクトル解析された、時刻ｔ＝１に
おけるパワーＰ（１）のベクトル列をあ１とし、時刻ｔ
＝２におけるパワーＰ（２）のベクトル列をあ２とし、
同様に、図示しないが、時刻ｔ＝ｎのベクトル列をあｎ
とする。また、図２５（ｂ）に示されるように、音素
“ア”についてスペクトル解析された、時刻ｔ＝１にお
けるパワーＰ（１）のベクトル列をア１とし、時刻ｔ＝
２におけるパワーＰ（２）のベクトル列をア２とし、同
様に、図示しないが、時刻ｔ＝ｎのベクトル列をあｎと
する。また、図２５（ｃ）に示されるように、音素
“Ａ”についてスペクトル解析された、時刻ｔ＝１にお
けるパワーＰ（１）のベクトル列をＡ１とし、時刻ｔ＝
２におけるパワーＰ（２）のベクトル列をＡ２とし、同
様に、図示しないが、時刻ｔ＝ｎのベクトル列をＡｎと
する。

【０１０４】これらの各音素についてスペクトル解析さ
れたパワーＰ（ｔ）の各時刻毎に、自己連想型ＮＮ２７
の学習と、ニューロン素子網２２にの入力層ＩＮに供給
する入力データの生成が行われる。すなわち、同一時
刻、例えばｔ＝１における各音素のベクトル列あ１、ア
１、Ａ、を自己連想型ＮＮ２７の入力層ＡＩの入力デー
タとする共に、出力層ＡＯの教師信号として使用するこ
とで、各時刻ｔのベクトル列毎に学習を行なう。そし
て、時刻ｔについての学習が終了した時点での中間層Ａ
Ｈからの一方の出力値Ｓｔを入力層ＩＮの入力データと
する。なお、自己連想型ＮＮ２７における学習は、例え
ばバックプロパゲーション則等による各種学習が適用さ
れる。

【０１０５】図２６は、自己連想型Ｎ２７の学習におけ
る入力データと教師信号、学習終了後の出力値Ｓｔにつ
いて表したものである。この図２６では、図２５に示し
た各音素に対するパワーのベクトル列に基づいて学習す
る場合を例に示している。この図２６に示されるよう
に、各時刻ｔ（ｔ＝１、２、…ｎ）を単位として学習が
行われ、入力データＳｔが生成される。例えば、時刻ｔ
１の場合であれば、教師信号をあ１として入力データあ
１とア１とＡ１について学習を行い、次に、教師信号を
ア１として、入力データあ１とア１とＡ１について学習
を行い、更に、教師信号をＡ１として、入力データあ１
とア１とＡ１について学習を行う。これら、全組み合わ
せについての学習が終了した後に、あ１、ア１、Ａ１の
いずれかのデータを入力層ＡＩに入力し、このときの中
間層ＡＨの出力値から、時刻ｔ＝１におけるニューロン
素子網２２の入力層Ｉｎへの入力データＳ１が生成され
る。同様にして、あ２、ア２、Ａ２による入力データと
教師信号の全組み合わせによる学習から、時刻ｔ＝２に
おける入力層Ｉｎへの入力データＳ２が生成され、さら
に、Ｓ３、Ｓ４、…、Ｓｎも同様にして生成される。

【０１０６】自己連想型ＮＮ２７によって生成された入
力データＳｔ（ｔ＝１、２、…、ｎ）に従って、ニュー
ロン素子網２２による学習が行われる。第２実施形態の
ニューロン素子網２２の場合、この入力データＳｔが、
音声入力層Ｉｎと音声出力層Ｏｕに入力される。すなわ
ち、時刻ｔ＝ｉのスペクトルデータについて学習を行う
場合、入力データＳｉのベクトル列が音声入力層Ｉｎに
入力され、入力データＳ（ｉ＋１）のベクトル列が教師
信号として音声出力層Ｏｕに入力される。なお、仮説出
力層Ｈｙへの教師信号（入力データＳｔ生成のための音
素を示す符号列）の入力、および、各中間層Ｈｉと各環
帰入力層Ｃｏの追加につては、第２実施形態で説明した
と同様に行われる。一方、第１実施形態のニューロン素
子網２２の場合、入力データＳｔが順次入力層Ｉｎに入
力される。出力層Ｏｕに入力される教師信号としては、
入力データＳｔ生成のための音素を示す符号列が入力さ
れる。

【０１０７】このようにして、自己連想型ＮＮ２７およ
びニューロン素子網２２の学習が終了すると、次のよう
にして、実際の音声認識が行われる。まず、認識対象と
なる音声が音声入力装置２３から入力されると、ＦＦＴ
装置２１でスペクトル解析が行われ、各時間ｔ毎の、各
周波数に対するパワーＰ（ｔ）のベクトル列が順次求ま
る。このベクトル列は、各時間毎に、ＲＡＭ１４の自己
連想ＮＮ用ベクトル列格納エリアに格納される。

【０１０８】ＣＰＵ１１は、ＦＦＴ装置２１による音声
のスペクトル解析が終了した後のベクトル列Ｐ（ｔ）
を、順次自己連想型ＮＮ２７の入力層ＡＩに入力する。
自己連想型ＮＮ２７では、入力されたベクトル列Ｐ
（ｔ）に対する中間層ＡＨの出力ベクトルを、その時刻
ｔにおける入力データＳｔとしてニューロン素子網２２
に出力する。この各時刻ｔ（ｔ＝１、２、…ｎ）毎の入
力データＳ（ｔ）が、第１実施形態のニューロン素子網
２２の場合には入力層Ｉｎに、第２実施形態のニューロ
ン素子網２２の場合には音声入力層Ｉｎに、それぞれ順
次入力される。そして、入力データに対応する出力値
が、第１実施形態のニューロン素子網２２では出力層Ｏ
ｕのニューロン素子から、第２実施形態のニューロン素
子網２２では仮説出力層Ｈｙのニューロン素子から、そ
れぞれ出力される。そして、各ニューロン素子からの出
力値と、ＲＯＭ１３に格納されている第２教師信号の各
符号列とを照合することで、ＣＰＵ１１は該当音素を特
定し、ＲＡＭ１４に格納する。

【０１０９】この音素は、第２実施形態でも説明したよ
うに、各音素について複数のベクトル列Ｐ（ｔｎ）に解
析され、時系列的に音声入力層Ｉｎに入力されて特定さ
れるため、複数の音素列となる。すなわち、音声「い
ろ」が入力された場合には、例えば「ｉｉｉｉｉｒｒｒ
ｏｏｏｏｏ」となる。そこで、ＣＰＵ１１は、このＲＡ
Ｍ１４に格納された音素列から、入力された音声を「ｉ
ｒｏ」と認識する。そしてＣＰＵ１１は、キーボード１
８からの入力指示に応じて、認識した音声を日本語変換
システムに従って文字による文章に変換し、また通信制
御装置５および通信網２を介して、パーソナルコンピュ
ータやワードプロセッサ等の各種通信制御装置にデータ
伝送を行う。

【０１１０】以上説明したように、第４実施形態による
自己連想型ＮＮ２７を使用することによって、ニューロ
ン素子網２２に入力するベクトル列が小さくなり、第１
実施形態の入力層Ｉｎや第２実施形態の音声入力層Ｉｎ
のニューロン素子数を少なくすることができる。従っ
て、ニューロン素子網２２の構成を小さくすることがで
きる。

【０１１１】以上説明した第４実施形態では、自己連想
型ＮＮ２７の学習において、音素の各パターンについて
の入力データと教師信号の全組み合わせを学習対象とし
ているため、中間層ＡＨは、その音素についての一般化
されたベクトル列Ｓｔ（ｔ＝１〜ｎ）を生成することが
できる。なお、全音素の各パターンについての組み合わ
せでなくても、入力層ＡＩの入力データおよび出力層Ａ
Ｏの教師信号として、同一のパターンを使用するように
してもよい。

【０１１２】なお、以上説明した第４実施形態では、学
習および認識の際に自己連想型ＮＮ２７の入力層ＡＩに
入力するデータとして、ＦＦＴ装置２１でスペクトル解
析されたデータを用いた。これに対して、第３実施形態
で説明した、ケプストラムデータを自己連想型ＮＮ２７
の入力層ＡＩに入力することで、ニューロン素子網２２
の入力データＳｔを生成するようにしてよもい。

【０１１３】以上説明した第４実施形態では、音声認識
を行う際に、ＦＦＴ装置２１でスペクトル解析されたベ
クトル列Ｐ（ｔ）を順次自己連想型ＮＮ２７の入力層Ａ
Ｉに入力し、中間層ＡＨの出力ベクトルを時刻ｔにおけ
る入力データＳｔとして直ちにニューロン素子網２２に
出力するようにした。これに対して、自己連想型ＮＮ２
７を、不特定話者用に学習したニューロン素子網２２に
よって、ある特定話者による音声の認識が可能か否かを
判定するフィルタとして使用することができる。すなわ
ち、ニューロン素子網２２の学習で使用された不特定話
者用のデータを使用した特定のキーワードについて、予
め自己連想型ＮＮ２７の不特定話者認識用の学習を行っ
ておく。そして、特定話者は、音声認識を行う際に、キ
ーワードを発声し音声入力装置２３に入力する。入力さ
れたキーワードは、ＦＦＴ装置２１でスペクトル解析さ
れて自己連想型ＮＮ２７の入力層ＡＩに入力され、中間
層ＡＨの出力値から、入力データＳｔが生成される。こ
の特定話者の入力データＳｔを、不特定話者用に学習し
た際のＳｔとを比較し、両者が大きく異なっている場合
には、その特定話者の音声を不特定話者用の入力ニュー
ロン素子網２２で認識することが困難であると判断する
ことができる。なお、不特定話者音声について学習済の
自己連想型ＮＮ２７に、特定話者による任意音声のスペ
クトルデータを入力し、出力層ＡＯからの出力データ
と、入力データとを比較し、自己連想が略できているか
否かを判断することで、その特定話者の音声についての
認識が可能か否かを判断するようにしてもよい。

【０１１４】

【発明の効果】本発明によれば、高速で学習を行うこと
が可能なニューラルネットワークを提供することができ
る。

【図面の簡単な説明】

【図１】本発明の第１実施形態におけるニューラルネッ
トワークのシステム構成図である。

【図２】第１実施形態におけるニューロン素子網の初期
状態を示す説明図である。

【図３】第１実施形態におけるニューロン素子網の各ニ
ューロン素子間の結合重みを格納する結合重みテーブル
を示す説明図である。

【図４】第１実施形態におけるニューラルネットワーク
により学習する図形○１を表した説明図である。

【図５】第１実施形態において、３種類の図形認識につ
いての学習を行うためのニューロン素子網の構成図であ
る。

【図６】第１実施形態における学習動作の詳細を表した
フローチャートである。

【図７】第１実施形態において、新しいニューロン素子
Ｈｉｍｐ＝Ｈｉ１１を追加したニューロン素子網と結合
重みテーブルを表した説明図である。

【図８】第１実施形態において、第１中間層のニューロ
ン素子が更に追加された状態を表した説明図である。

【図９】第１実施形態において、第１中間層のニューロ
ン素子が更に追加された状態を表した説明図である。

【図１０】第１実施形態において、第２中間層のニュー
ロン素子Ｈｉ２１を新たに追加した状態を表した説明図
である。

【図１１】第１実施形態において、全図形についての学
習が終了後におけるニューロン素子網と結合重みテーブ
ルの状態を表した説明図である。

【図１２】本発明の第２の実施形態におけるニューラル
ネットワークを利用した音声認識装置のシステム構成図
である。

【図１３】第２実施形態における音声認識装置のニュー
ロン素子網の初期状態を説明する説明図である。

【図１４】第２実施形態における音声認識装置のニュー
ロン素子網による学習途中を説明するための説明図であ
る。

【図１５】第２実施形態におけるニューロン素子網の各
ニューロン素子間の結合重みを格納する結合重みテーブ
ルを示す説明図である。

【図１６】第２実施形態におけるニューロン素子網に対
する第２教師信号テーブルの内容を示す説明図である。

【図１７】第２実施形態における音声認識装置による音
声のスペクトル解析の状態を説明する説明図である。

【図１８】第２実施形態における音声認識装置のＦＦＴ
装置によりスペクトル解析された音声についてのベクト
ル列を表す説明図である。

【図１９】第２実施形態における音声認識装置により特
定した音声「まえ」についての各音素の分布を示す説明
図である。

【図２０】第２実施形態における音声認識装置のニュー
ロン素子網の変形例を示すシステム構成である。

【図２１】本発明の第３実施形態におけるニューラルネ
ットワークのシステム構成図である。

【図２２】第３実施形態におけるケプストラム装置の構
成図である。

【図２３】本発明の、第４実施形態における自己連想型
ＮＮを用いたニューラルネットワークのシステム構成図
である。

【図２４】第４実施形態における自己連想型ＮＮの構成
図である。

【図２５】第４実施形態において、３種類の“あ”、
“ア”、“Ａ”のスペクトル解析したデータを示す説明
図である。

【図２６】第４実施形態における自己連想型Ｎ２７の学
習時の入力データと教師信号、入力データＳｔの関係を
表す説明図である。

【符号の説明】

１１ ＣＰＵ １２ バスライン １３ ＲＯＭ １４ ＲＡＭ １５ 通信制御装置 １６ プリンタ １７ 表示装置 １８ キーボード ２１ ＦＦＴ装置 ２２ ニューロン素子網 ２３ 音声入力装置 ２４ 図形読取装置 ２６ ケプストラム装置 Ｉｎ 入力層、音声入力層 Ｃｏ 環帰入力層 Ｈｉ 中間層 Ｏｕ 出力層、音声出力層 Ｈｙ 仮説出力層 Ｗ、ｈ、ｋ、ｗ、ｓ、ｕ、ｖ 結合重み

Claims (8)

【特許請求の範囲】
1. 【請求項１】 入力層ニューロン素子を複数有する入力
   層と、 出力層ニューロン素子を複数有する出力層と、 所定のカテゴリのうちのいずれか１のカテゴリに分類さ
   れ、前記入力層の入力層ニューロン素子と結合重みＷで
   結合すると共に、前記出力層の出力層ニューロン素子と
   結合重みｗで結合する中間層ニューロン素子を、複数有
   する中間層と、 あるカテゴリについての学習を行う場合に、他のカテゴ
   リに属する中間層ニューロン素子と、入力層ニューロン
   素子との結合重みＷ、および出力層ニューロン素子との
   結合重みｗを固定し、学習対象となるカテゴリの中間層
   ニューロン素子との結合重みＷ、ｗを調整することで学
   習を行う学習手段と、 この学習手段による学習の際に、あるカテゴリに属する
   学習用入力データに対して学習不可状態になった場合
   に、その学習用入力データが属するカテゴリの中間層ニ
   ューロン素子を追加する中間層ニューロン素子追加手段
   と、 を具備することを特徴とするニューラルネットワーク。
2. 【請求項２】 前記学習手段は、さらに学習対象となっ
   ているカテゴリの既存の中間層と入力層との結合重みＷ
   を固定し、 前記中間層ニューロン素子追加手段による追加された新
   たな中間層ニューロン素子の結合重みＷとｗ、および学
   習対象となっているカテゴリの既存の中間層ニューロン
   素子の結合重みｗを調整することで学習を行うことを特
   徴とする請求項１に記載のニューラルネットワーク。
3. 【請求項３】 それぞれ異なるカテゴリ毎に別個独立し
   て学習が行われた複数の中間層と、 この複数の中間層の各中間層ニューロン素子と結合重み
   Ｗで結合した、入力層ニューロン素子を複数有する入力
   層と、 前記複数の中間層の各中間層ニューロン素子と結合重み
   ｗで結合した、出力層ニューロン素子を複数有する出力
   層と、 前記入力層の入力層ニューロン素子と結合重みＷ′で結
   合し、前記出力層の出力層ニューロン素子と結合荷重
   ｗ′で結合した調整用中間層と、 前記複数の中間層における前記結合重みＷと結合重みｗ
   を固定し、前記調整用中間層の結合重みＷ′とｗ′を調
   整することで、前記複数の中間層の学習に使用した学習
   用入力データにより、ネットワーク全体の学習を再度行
   う学習手段と、 この学習手段による学習の際に学習不可状態になった場
   合に、前記調整用中間層の中間層ニューロン素子を追加
   する中間層ニューロン素子追加手段と、を具備すること
   を特徴とするニューラルネットワーク。
4. 【請求項４】 前記中間層の中間層ニューロン素子と結
   合重みｖで結合した仮説出力層ニューロン素子を複数有
   する仮説出力層を備え、 前記学習手段は、複数のベクトル列Ｆｎ（ｎ＝１、２、
   ３、…）の集合が特定のカテゴリに属する意味Ａを表す
   データについて、ベクトル列Ｆｎを入力層に入力し、ベ
   クトル列Ｆｎ＋１を第１教師信号として前記出力層に入
   力し、特定の意味Ａを第２教師信号として前記仮説出力
   層に入力することで、学習を行うことを特徴とする請求
   項１、請求項２、または請求項３に記載のニューラルネ
   ットワーク。
5. 【請求項５】 前記中間層の中間層ニューロン素子と結
   合し、その出力ベクトル列が前記中間層に供給される環
   帰層ニューロン素子を複数有する環帰層を備え、 前記学習手段は、複数のベクトル列Ｆｎの集合が特定の
   カテゴリに属する意味Ａを表すデータについて、ベクト
   ル列Ｆｎ−１に対する前記中間層または前記出力層の出
   力ベクトル値を前記環帰入力層に入力し、ベクトル列Ｆ
   ｎを前記入力層に入力し、ベクトル列Ｆｎ＋１を第１教
   師信号として前記出力層に入力し、特定の意味Ａを第２
   教師信号として前記仮説出力層に入力することで、学習
   を行うことを特徴とする請求項４に記載のニューラルネ
   ットワーク。
6. 【請求項６】 前記学習手段は、バックプロパゲーショ
   ン則により学習することを特徴とする請求項１から請求
   項５のうちのいずれか１の請求項に記載されたニューラ
   ルネットワーク。
7. 【請求項７】 前記特定の意味Ａが音声を構成する音素
   であり、複数のベクトル列Ｆｎが、時系列的に解析され
   た特定の意味Ａについての特徴量を表すベクトル列であ
   ることを特徴とする請求項４または請求項５に記載のニ
   ューラルネットワーク。
8. 【請求項８】 前記特定の意味Ａについての特徴量を表
   すベクトルとして、音声のスペクトルデータ、ケプスト
   ラムデータ、または自己連想型ニューラルネットワーク
   の中間層の出力値データを使用することを特徴とする請
   求項７に記載のニューラルネットワーク。