JPH0764941A

JPH0764941A - ニューラルネットワークトレーニング方法及びその装置

Info

Publication number: JPH0764941A
Application number: JP4223581A
Authority: JP
Inventors: John S Denker; スチュワートデンカージョン; Yann A Lecun; アンドレルクンヤン; Patrice Y Simard; ワイ．シマードパトリス
Original assignee: American Telephone and Telegraph Co Inc; AT&T Corp
Current assignee: AT&T Corp
Priority date: 1991-10-03
Filing date: 1992-07-31
Publication date: 1995-03-10
Anticipated expiration: 2012-03-05
Also published as: CA2069811A1; DE69228412T2; DE69228412D1; EP0535786A2; EP0535786A3; EP0535786B1; CA2069811C; JP2588499B2

Abstract

(57)【要約】【目的】文字及び数字の識別に係る有用な決定をニュ
ーラルネットワーク技術を用いて行なうために、多様な
形態及び大きさの各々の文字あるいは数字を正確に認識
することをニューラルネットワークに”学習”させるこ
と。【構成】多くの文字及び数字の認識における正確さは、
ニューラルネットワークが各々の文字あるいは数字の”
不変”なカテゴリーに属する性質を識別するように学習
されている場合には、ほとんど犠牲にならないというこ
とが了解されている。そこで、ニューラルネットワーク
に対して識別された不変性に係る形態、位置、大きさ等
の全ての段階を認識することを要求する代わりに、はる
かに少ない数のサンプルデータ入力及び未知の文字ある
いは数字に関連する情報のわずかの処理のみを要求する
ような、不変セグメントに係る一般化されかつ制限され
た記述が用いられる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は学習機械に関し、特に人
工的ニューラルネットワークをその入力の特定の変換に
対して敏感ではなくなるようにトレーニングする方法に
関する。

【０００２】

【従来の技術】種々のパターン認識機械は、その有用な
出力を”トレーニングデータ”に基づいて適応させる組
み込まれた能力を有している。この種のシステムの一例
が適応型ニューラルネットワークであり、文字及び音声
認識に関する応用例において次第に利用されつつある。

【０００３】パターン認識を扱う研究者は、ニューラル
ネットワークをトレーニングする際に”不変性”として
知られている特徴的なパターンを考慮することが有用で
あることを認識している。ここで用いられている”不変
性”という術語は、あるパターンの性質が、そのパター
ンについてのある変換に関して、人間の観察者に対して
は不変であることを指し示している。例えば、”３”と
いうパターンイメージの性質は、イメージの平行移動で
ある並進、という操作によっては不変である。すなわ
ち、イメージを平行することによってはそのイメージの
人間の観察者に対する意味は変化しない。他方、”６”
のイメージはその１８０度回転に対しては不変ではな
い：人間の観察者にとっては”９”になってしまうから
である。しかしながら、同一の観察者にとって、直立し
た”６”のイメージをわずかに回転することはそのイメ
ージの意味を変化させない。

【０００４】パターン認識機械の望ましい性質は、その
出力がその入力に対するある特定の変換に関して不変で
あるということである。英数字パターンの場合には、起
こり得る変換には、並進、回転、スケーリング、誇張に
よる変形（デフォルメ）、線の太さの変化、濃淡レベル
の変化等が含まれる。

【０００５】処理機械が適応して”学習する”ような種
々のシステムにおいては、生のトレーニングデータだけ
でなくそのトレーニングデータの入力パターンの不変性
に関するある量の高次情報を入力することが有用であ
る。例えば、自動化された英数文字認識においては、識
別機械によって生成された答えは、入力イメージの空間
的な少しの歪（並進、回転、スケール変換等）に関して
は不変でなければならない。音声認識システムにおいて
は、そのシステムはわずかの時間的歪や音高のシフトに
対して不変でなければならない。

【０００６】この種のシステムの一例は、郵便局の仕分
けセンターにおいて処理されているような封筒の宛名欄
内の文字及び数字の識別に関する正確な分類を行なうニ
ューラルネットワークに基づいた機械である。この場合
には、ニューラルネットワークは郵便利用者によって封
筒上に形成される各々の文字あるいは数字の様々な形態
や大きさを正確に認識するようにトレーニングされるこ
とが必要である。

【０００７】無制限の量のトレーニングデータ及びトレ
ーニング時間が与えられればこの種のシステムはそのデ
ータだけから関連する不変量を学び得るが、これはしば
しば実行不可能なことである。学習に関して制限された
量の入力データを用いることは認識の正確さを劣化させ
てしまう。

【０００８】後者の問題点は、従来技術において、オリ
ジナルデータに関する種々の歪（並進、回転、スケーリ
ング等）を含む人工的なデータを用いることによって取
り扱われてきた。”歪モデル”と呼称されるこの手続き
においては、信号と雑音とを識別することを学習するた
めの統計的な推論プロセスが可能となっている。このモ
デルは、”ＩＡＰＲ１９９０シンタクス的及び構造
的パターン認識に関するワークショップ”（１９９０
年）において公表されたヘンリー・ベアード（Ｈｅｎｒ
ｙＢａｉｒｄ）による”文書イメージ欠陥モデル”と
いう記事に記載されている。残念なことに、歪が小さい
場合には、この学習手続きは歪まされたパターンによっ
て供給される付加的情報をほとんど利用しない。その理
由は、２つのパターンの差異に含まれる情報がそれらが
共通に有している情報によってマスクされてしまうから
である。それ故、学習は極端にゆっくりしたものとな
る。しかしながら、歪がより大きくされた場合には、デ
ータベースのパターン分布が我々がそのシステムに対し
て実行することを望むような分布をもはや反映しないと
いう事実のため、学習効率がやはり低下する。

【０００９】この制限を克服するための従来技術におけ
る他のアプローチは、トレーニング手続きに、出力を不
変にするような入力に対する特定の変換（回転、並進
等）を特定することなくある種の一般的な不変性を組み
込むことである。この手続きは、ディー・イー・ルメル
ハート（Ｄ．Ｅ．Ｒｕｍｅｌｈａｒｔ）、ジー・イー・
ヒントン（Ｇ．Ｅ．Ｈｉｎｔｏｎ）、及びアール・ジェ
イ・ウィリアムス（Ｒ．Ｊ．Ｗｉｌｌｉａｍｓ）らによ
る”並列分散処理第１巻”（１９８７年）において公表
された”誤差伝播による内部表現の学習”という記事に
記載されている”重み付け減衰（ｗｅｉｇｈｔｄｅｃ
ａｙ）”の一例である。この手続きにおいては、ネット
ワーク入力のあらゆるバリエーションに対するネットワ
ークの感度を低下させることを試みる。しかしながら、
このモデルに関して得られた結果に係る一つの問題点
は、現実性の欠如である。いくつかの特定の変換に対す
る不変性が正確な出力分類と妥協しない一方、人間の観
測者にとっては変換された文字が他の文字と似ていると
思われるような変換に関する不変性がそれら２つの文字
の内の一方の不正確な分類を生ずることもまた事実であ
る。この選択性の欠如は”重み付け減衰”及び他の類似
のモデルの公知の限界である。

【００１０】よって、トレーニング時間、正確さ、及び
利用可能なデータに係るファクタは未だ満足がいくよう
には処理されておらず、封筒の住所欄の手書きの文字を
認識するためにニューラルネットワークを用いることに
関する問題として残存している。明らかに、郵便局を通
過する封筒上の文字／数字の全てを用いてトレーニング
を行なうことは不可能である。その代わりに、これらの
サンプルを用いてトレーニングすることは、通常、ネッ
トワークに有用な情報を雑音から分別することを教える
ために数千個以上のトレーニングデータを必要とする。
さらに、利用可能なトレーニングデータを最大限に活用
するために、ニューラルネットワークのトレーニング期
間は数日あるいは数週間必要となる。その結果、現在の
ニューラルネットワーク分類器は、従来技術に係る最良
の機械においても、清書されていない手書き文字のデー
タベースに関してはトレーニングの後でも９５パーセン
ト以上の正確さで分類を行なうことはほとんどない。

【００１１】

【発明が解決しようとする課題】よって、基本的には、
データベースに関する有用な情報を数千ものサンプルパ
ターンを数え上げることによって学習手続きに対して伝
達しなければならないことが従来技術における主たる不
効率である。

【００１２】従って、本発明の一つの目的は、認識デー
タベースをより効率的に形成することである。

【００１３】本発明の他の目的は、ニューラルネットワ
ークトレーニングデータベースに、入力データが如何に
変換されかに関する新しく有用な指示を組み込むことで
ある。

【００１４】

【課題を解決するための手段】簡潔に述べれば、本発明
は、認識すべき級（クラス）を記述する新しく有用な方
法であり、手書き文字の自動認識において用いられるよ
うになるニューラルネットワークをトレーニングするた
めにこの説明情報を用いるトレーニングアルゴリズムを
教えるものである。

【００１５】本発明に従って、ニューラルネットワーク
が不変性を的確に用いて英数字シンボル等のシンボルを
正確に認識するようトレーニングされる際に用いられる
処理のスピード及び正確さが、与えられたトレーニング
入力の各々に関する不変性を生成する演算子が近似され
るようなニューラルネットワーク入力−出力システムに
よって著しく増強される。

【００１６】英数字シンボルに対して適用された本発明
の真価を認識する一つの方法は、数字”３”のようなパ
ターンｐのこのパターン”３”に係る変換群Ｔに関する
不変性が、パターン”３”の群Ｔに属する変換によって
得られる全てのパターンの組Ｓとして翻訳され得ること
を考慮することである。この組は、通常、より高次元の
空間における非線型多次元表面となる。実際には、この
表面は解析的には表現され得ない；すなわち、それはニ
ューラルネットワークマシンが処理可能な解を有する便
利な数学的関数によって表現され得ない。本発明は、こ
の問題に対して方策を与える。

【００１７】詳細に述べれば、本発明に従って、データ
ポイントｐにおける多次元表面への接平面が解析的に表
現され、それは少なくともポイントｐの近傍、すなわち
自動英数字認識の分野における興味のあるポイントの近
傍、においては当該複素表面の有効な近似となってい
る。

【００１８】この接平面は、いくつかのベクトルによっ
て完全に規定されるという更なる利点を有している。例
えば、前記表面がｎ次元を有するものである場合には、
この接平面を規定するためには正確にｎ個のベクトルが
必要となるだけである。英数字等の２次元画像に関する
可能な全ての移動よりなる変換の組に関しては、例えば
その接平面を記述するために２つのベクトルが必要とな
るだけである。

【００１９】本発明の他の側面は、それによってニュー
ラルネットワークに対する不変性が識別されるような定
式化である。本発明の申請者は、所定の微小変換を生成
しかつそれを表現することに対するリー（Ｌｉｅ）群論
の適用性を示した。よって、興味がある微小変換は、こ
の変換を制御するパラメータに関する変換された画像の
導関数が計算されるプロセスによって”局所的に”表現
される。この、”Ｌｉｅ導関数”とも呼称される方向導
関数は、ニューラルネットワークマシンにおいてジェネ
レータとして用いられる。これらのジェネレータ自体
は、英数字シンボルを分類する実質的に増強された能力
を有するマシンを生成するニューラルネットワーク学習
プロセスに組み込まれる。

【００２０】よって、実施例に関する詳細な記述におい
て示されるように、学習プロセスにおける実質的な効率
は、入力シンボルデータの複数個の補足点に関してニュ
ーラルネットワークをサイクルさせる従来技術に係るプ
ロセスよりも勝っている。学習プロセスを学習さるべき
関数の方向導関数をも学習し得るように拡張することに
より、被トレーニングニューラルネットワークのより高
次の性能が達成され得る。

【００２１】重要な点は、本発明があらゆる特定のトレ
ーニングプロセスに対して全ての希望する個数の可能な
不変性を含ませることを許可する点である。より多くの
個数の不変性が比較的容易に接平面ベクトルによって表
現され、識別さるべき組に関するより多くの知識が導入
されるという利点を有している。よって、本発明は英数
字シンボル認識の分野を越えて音声パターン認識及びロ
ボット制御等の分野に対しても適用可能であると思われ
る。

【００２２】

【実施例】図１は、一変数関数を学習するニューラルネ
ットワークマシンを用いる場合の導関数に関する情報を
用いることの利点を簡略化して示した図である。この場
合には、入力は一次元であり、その方向導関数は全ての
方向において同一である。もちろん、二変数関数の場合
にはこの曲線は曲面となり、ある点における導関数（傾
斜）はそれを評価するために用いられる方向に依存す
る。図１においては、実線で示された曲線は学習さるべ
き関数Ｆを表現しており、（ｘ₁、Ｆ（ｘ₁））から（ｘ
₄、Ｆ（ｘ₄））までのデータポイントは学習マシンにと
って利用可能な情報を示している。

【００２３】この図から、アルゴリズムが全てのパター
ンの学習に完全に成功した場合においても、学習された
関数（点線）が所望の関数（実線）とは非常に異なった
ものになり得るということが容易に理解される。これ
は、Ｆに関する情報がトレーニングポイントの間に位置
する点においては全く得られないという事実によるもの
である。この問題は、トレーニングポイントにおいてよ
り多くの情報を供給することによって部分的には解決さ
れ得る。

【００２４】本発明において提案されている解決法は、
各々のトレーニングポイントにおいて、学習さるべき関
数の値のみならずその導関数をも規定するというもので
ある。学習プロセスによって最小化された全体として目
標とする関数は、各々のトレーニングポイントにおいて
Ｆと学習された関数との差異、及びＦの導関数とその所
定の値との差異を評価することになる。その結果はＦの
よりよい近似である。この様子は図２に点線で示されて
いる。この図に示された場合ではないが、導関数が規定
されるポイントは関数値が規定されるポイントとは異な
り得る。

【００２５】この問題は、関数Ｆが複数個の変数に依存
する場合にはビジュアルに表現することがむずかしくな
る。この場合には、各々の変数及びその組合せに関して
相異なった導関数が存在する。二変数関数（例えばＦ
（ｕ₁、ｕ₂））の場合には、ｕ₁に関するＦの導関数は
ｕ₂に関するＦの導関数とは異なる。前者に関しては、
ベクトル（１、０）によって特徴付けられるｕ₁軸方向
の方向導関数が計算され、後者に関しては、ベクトル
（０、１）によって特徴付けられるｕ₂軸方向のＦの導
関数が計算される。入力（ｕ₁、ｕ₂）がｕ₁及びｕ₂を共
に同一微小量だけ変化させることによって、すなわち
（１、１）方向に、修正される場合には、Ｆの対応する
変化量は対応する方向導関数を評価することによって計
算される。

【００２６】上述された解法は、方向導関数を用いて適
用され得る：各々のトレーニングポイントにおいて、関
数の値及びある適切に選択された（可能であれば全て
の）方向に沿った導関数の値が規定される。全体として
目標とする関数は、各々のトレーニングポイントにおい
てＦと学習された関数との差異、及びある方向に沿った
Ｆの導関数とその所定の値との差異を評価することにな
る。

【００２７】学習マシンにおける共通の問題点は、変換
の組に対して不変であることがアプリオリに知られてい
る関数を学習することである。その組の中の微小変換に
よって入力ベクトルを変換することは、入力ベクトルに
微小ベクトルＴを加算するすることと等価である。変換
が充分に微小な場合には、入力がこの微小変換によって
変化させられた場合に関数Ｆが変化する量は、Ｔの方向
におけるＦの方向導関数にＴのノルムを乗じたものに
（一次近似において）等しい。目的が学習マシンをこの
変換に対して局所的に不変にすることである場合には、
変換の方向に沿った導関数の希望する値が単に０に設定
される。導関数が規定される方向は、システムが局所的
に不変であることが望まれる全ての変換の方向である。

【００２８】以下、ポイントＵにおける方向Ｔに関する
Ｆの方向導関数をＦ’_T（Ｕ）とあらわす。本発明は、
まず、方向導関数を通じてデータに関する有用な情報が
いかにして表現され得るかを示すことによって説明され
る。その後、本発明をネットワークのトレーニングに適
用した例が分類作業に適応させたニューラルネットワー
クの分野における応用例に関連して説明される。

【００２９】接平面ベクトル：学習さるべき関数のあ
る方向における導関数を規定することは、学習システム
に対して高次の情報を提供することと見なされ得る。こ
のことは、ある方向の導関数がアプリオリに知られてい
る場合に特に興味深い。

【００３０】例えば、多くの場合、学習さるべき関数は
局所的に微分可能な変換の組に対して局所的に不変であ
ることが知られている。言い替えると、ポイントＵ及び
微小変換をＵに対して適用することによって得られるＵ
の近傍のポイントにおけるＦの値は等しくなければなら
ない。

【００３１】この場合には、変換の組に含まれる変換
（あるいはその組合せ）をＵに対して適用することによ
って得られる全てのパターンの組はＵを含む微分可能な
多様体である。Ｕにおいてこの多様体に接する超平面は
接平面と呼称される。この平面は、接平面ベクトルと呼
称される基底ベクトルの組（ただ一つではない）によっ
て記述され得る。この接平面ベクトルは、以下に示され
ているように計算され得る。

【００３２】接平面ベクトルＴ_iが知られると、考慮さ
れている変換の組によるＵにおけるＦの不変性を表わす
は、各々の接平面ベクトルＴ_iに沿った方向導関数Ｆ’_T
（Ｕ）が０に等しいことを表わすことと等価である。以
下に示されているのは、接平面ベクトルの計算手続きで
ある。

【００３３】第一のステップは変換の組のパラメタライ
ズである。このことは、パターンＵの全ての変換が、Ｕ
及びあるパラメータα（おそらく多次元）から関数ｓ
（α、Ｕ）を計算することにより得られ得るということ
を示している。ある種の正当な制限がｓに関して設けら
れている。特に、ｓ（０、Ｕ）＝Ｕが成立していなけれ
ばならず、ｓはα及びＵに関して微分可能でなければな
らない。この後者の制限は、データのある種の処理を必
要とし得る。例えば、変換がデジタル画像の回転である
場合には、原画像Ｕのピクセル間の値が回転させられた
画像を計算するために補間されなければならない。代表
的な方法は、コンボリューション、３次スプライン等の
滑らかな補間関数である。パラメータαの次元は、考慮
している変換空間の複雑さに依存する。

【００３４】入力が１６×１６のピクセル画像である場
合の接平面ベクトルの一例が図３に示されている。ここ
では数字”３”の特定の変換、すなわち”回転変換”、
が達成されている。Ｕで表わされる原ピクセル画像が、
原画像と角度α分の回転を受けているという点で異な
る、ｓ（α、Ｕ）で表わされる画像を生成するために用
いられる。図３に示されているように、接平面ベクトル
は、原画像から回転された画像ｓ（α、Ｕ）を減じたも
のをαで除算したものとして定義される。その結果、Ｔ
で表わされているピクセル画像が生成され、それは所望
のジェネレータすなわち接平面ベクトルの一つである。
減算、加算、及びスカラー倍という演算は、ピクセル値
からピクセル値を減ずること、加えること、及びスカラ
ー倍することとして規定される。リー群論の形式化にお
いては、αが０に漸近する際の接平面ベクトルの極限は
リー導関数と呼称され、δｓ（α、Ｕ）／δαで表わさ
れる。

【００３５】わずかの個数の接平面ベクトルが接平面全
体を完全に規定する理由をさらに図示するため、水平方
向及び垂直方向の並進に対するジェネレータが対角線方
向の並進を生成するためにどの様に用いられ得るかが図
４に示されている。垂直方向及び水平方向の並進に対す
るジェネレータは、前述されている回転の場合と同様に
して得られたものである。接平面ベクトルから対角線方
向の並進を得るためには、原画像の水平方向及び垂直方
向の並進に対応する接平面ベクトルを一次結合すること
で充分である。図５は６つの接平面ベクトルを示してお
り、これらは６次元の接平面を生成する。これらの６つ
の変換は、この平面内の全ての線型な座標変換を生成す
ることが可能である。あらゆる中心の回りの回転は、回
転と並進を組み合わせることによって得られる；あらゆ
る方向の歪曲は、変形、回転及びスケーリングを組み合
わせることによって得られる、等である。

【００３６】本発明の真価を正しく認識するためには、
デンカー（Ｄｅｎｋｅｒ）らによる特許出願によって例
示される従来技術を簡単に振り返ることが有用である。
この特許出願は、手書き文字の分類を行なうニューラル
ネットワークを記述するものである。その動作において
は、図６に示されているように、パターンＵがネットワ
ーク１０への入力１１として示されており、ネットワー
ク１０が学習の間に計算されたパラメータＷの組の関数
として１２で表わされている出力Ｇ_W（Ｕ）を計算す
る。このトレーニング手続きは、ネットワークに対する
重みと呼称されるパラメータＷの組を調節するためにパ
ターン−ラベル対（Ｕ_p、Ｆ（Ｕ_p））よりなる予め存在
しているデータベースを用いる段階を含んでいる。図７
に示された装置は、パラメータＷの組を生成する後方伝
播ニューラルネットワーク１４をトレーニングするため
にトレーニングデータ１３を用いる。このトレーニング
手続きは前掲の参照文献及び特許出願に示されている。

【００３７】本発明は、部分的には、Ｆの方向導関数に
関する情報をニューラルネットワーク学習マシン１７に
伝達するために入力１５及び１６で表わされた増強され
たデータベース（Ｕ_p、Ｆ（Ｕ_p）、Ｔp、Ｆ’
_Tp（Ｕ_p））を用いる新しいトレーニング手続きであ
る。この４つの引き数の内、Ｔ_pは入力空間における方
向であり、Ｆ’_Tp（Ｕ_p）はその方向に沿ったポイント
Ｕ_pにおけるＦの導関数の値である。図８に示されたこ
の新しいトレーニング手続きは、パラメータＷの組に対
するより良い値を見いだすために接平面トレーニングデ
ータの形態の付加的な情報を利用する。ここで用いられ
た術語は以下においてより詳細に記述される。

【００３８】本発明は、学習関数Ｇ_W（Ｕ）がＵ及びＷ
に関して微分可能である限りは、どの様なクラスの学習
関数に対しても適用され得る。にもかかわらず、本発明
は、図９に比較のために示されているように、”後方伝
播アルゴリズム”として知られている従来技術に係る学
習アルゴリズムに適用された場合が特に興味深い。本発
明に係るトレーニング手続きは、システムに対して入力
１８として（Ｕ_p、Ｆ（Ｕ_p））を提供し、システムはパ
ターンＵ_pにおいて学習された関数と所望の関数との誤
差を最小化するためにそのパラメータＷの組を調節す
る。

【００３９】ネットワーク関数モジュール１９は、従来
技術においては文献にみられるように多層後方伝播ネッ
トワークによって計算されていた特定の関数を表現して
いる。当業者が正しく認識できるように定式化すると以
下のようになる：

【数１】

【数２】ここで、ｗ_ij ^lは層ｌ−１におけるユニットｊから層ｌ
におけるユニットｉへの接続の重みであり、ｘ_i ^lは層ｌ
におけるユニットｉの活性化、ｘ_j ^l-1は層ｌ−１におけ
るユニットｊの活性化、ａ_i ^lは層ｌにおけるユニットｉ
の総入力、及びσは微分可能な関数である。これらの式
からは、式を見やすくするためにパターンインデックス
ｐは省略されている。入力層（ｌ＝０）においては、活
性化は入力パターンに設定されている、すなわちｘ_i ⁰＝
ｕ_p,iであり、それは前記モジュールへの入力である。
モジュールＧ_W（Ｕ_p）の出力は最終層（ｌ＝Ｌ）の活性
化であり、すなわち全てのｉに対するｘ_i ^Lである。

【００４０】図９の誤差モジュール２０はコスト関数を
計算する。コスト関数は通常、

【数３】の形式をしている。ここで、Ｇ_W（Ｕ_p）はパターンｐが
表わされた場合のネットワーク１９の出力、言い替えれ
ば出力層上のｘ_i ^lの値である。

【００４１】後方伝播グラディエントモジュール２１は
関数δＥ（Ｗ、Ｕ_p）／δＷを計算する。この関数につ
いては前掲のラメルハートによる論文に詳細に記述され
ている。参考のために、後方伝播アルゴリズムに係る式
を以下に示す：

【数４】

【数５】ここで、ｂ_i ^lは層ｌ中のユニットｉの状態ｘ_i ^lに関する
Ｅの導関数、ｙ_i ^lは同一のユニットの正味の入力ａ_i ^lに
関するＥの導関数、及びσ’（ａ_i ^l）はσのポイントａ
_i ^lにおける導関数である。出力層Ｌにおいては、ｙ_i ^L＝
σ’（ａ_i ^L）（ｘ_i ^L−Ｆ（Ｕ_p）_i）である。グラディエ
ントモジュール２１の出力は、全てのｌ、ｉ、及びｊに
対して

【数６】に等しい。ネットワーク関数モジュール１９及び後方伝
播グラディエントモジュール２１は、式（４）にａ_i ^lが
含まれていることが示しているように、緊密に結合され
ている。

【００４２】重み更新モジュール２２は、図に示された
ループの各々の反復毎にＷの新たな値（パラメータｗ_ij
^l全てからなる組）を計算する。この際に用いられる式
は、通常、

【数７】の形式をしている。ここで、ηは学習速度、及びｔは時
間を表わす反復指数である。モジュール２２の出力は各
々の重みの新たな値であり、その次の反復においてネッ
トワーク関数モジュール１９によって用いられる。

【００４３】この学習プロセスは、各々のパターンＵ_p
に対して、以下に示される反復の連続として要約され
る：第一に、各々のユニットの活性化ｘ_i ^lを式（１）及
び（２）に従って計算するために、第一層の活性化をパ
ターンＵ_pに設定する。このことはネットワーク関数モ
ジュール１９によって実現される。次に、誤差モジュー
ル２０内において式（３）に従って誤差が計算される。
その後、各々のユニットのユニットグラディエントｙ_i ^l
及び各々の重みの重みグラディエントδＥ（Ｗ、Ｕ_p）
／δｗ_ij ^lが後方伝播グラディエントモジュール２２内
で式（４）及び（６）に従って計算される。最後に、各
々の重みが式（７）に従って重み更新モジュール２２内
で更新される。このプロセスは、誤差が許容されるレベ
ルに到達するまで、全てのパターンにわたって複数回反
復される。

【００４４】上記従来技術においては、ある選択された
方向におけるネットワーク関数の導関数、Ｇ’_W（Ｕ）
を制限するような組み込み情報は提供されない。本発明
は、以下に示されているように、この問題に対する解を
与える。

【００４５】本発明は、図１０に示されているような装
置において実行される。このダイアグラムの上段部及び
下段部は図９に示された装置と同一であり、共通のコン
ポーネント及び名称によって示されている。装置の３つ
の新しい機能部分が、方向導関数に係る制限を組み込む
ように如何にしてパラメータＷの組を変化させるかを計
算する。その第一のモジュール、ネットワーク関数方向
導関数ジェネレータ２３、は、式（１）と同様の方法で
ネットワーク関数の方向導関数を計算する。この類似性
のため、同様の表記法が用いられる（但し、ローマ字の
シンボルａ及びｘが対応するギリシャ文字α及びξに置
換される）：

【数８】

【数９】ここで、ξ_i ^lは層ｌ内のユニットｉの接平面の活性化で
あり、α_i ^lはその接平面の正味の入力である。入力層に
おいて、接平面活性化は入力接平面ベクトルに設定され
る、すなわちξ_i ^l＝ｔ_p,i。

【００４６】このモジュールの出力は、出力層の接平面
活性化の組、ξ_i ^Lである。式（８）は式（１）と同様の
ものであり、同一のユニットによって実行され得る。

【００４７】ネットワーク関数方向導関数モジュール２
３は別の誤差モジュール２４に接続されており、図９に
おいて示されている誤差モジュールに対するものと同様
のコスト関数である。

【００４８】接平面グラディエントモジュール２５はモ
ジュール２４の出力を受容し、関数δＥ_r（Ｗ、Ｕ、
Ｔ）／δＷを計算する。ここで、Ｕは入力パターン、及
びＴは接平面ベクトルである。まず、モジュール２５は
ユニット接平面グラディエントを計算する。これは、Ｅ
_rのξ_i ^l及びα_i ^lに関する導関数である。ここで用いら
れる式は式（４）と同様のものである（但し、ローマ字
のシンボルｂ及びｙは対応するギリシャ文字β及びψに
よって置換される）：

【数１０】

【数１１】ここで、β_i ^lは層ｌ中のユニットｉの接平面状態ｘ_i ^lに
関するＥ_rの導関数、ψ_i ^lは同一のユニットの正味の接
平面入力α_i ^lに関するＥ_rの導関数である。出力層Ｌに
おいては、ψ_i ^L＝σ’（ａ_i ^L）（ξ_i ^L−Ｆ’
_T（Ｕ_p）_i）である。

【００４９】一般にネットワーク関数モジュール１９は
非線型であるため、付加的な項が計算される必要があ
る：

【数１２】

【数１３】ここで、σ’’（ａ_i ^l）はσのポイントａ_i ^lにおける２
次導関数である。出力層Ｌにおいては、全てのｉに対し
てｚ_i ^L＝である。

【００５０】図１０より明らかなように、接平面グラデ
ィエントモジュール２５の出力は、μに

【数１４】を乗じたものに等しい。ここで、μはＥ_r（Ｗ、Ｕ_p、Ｔ
_p）のＥ（Ｗ、Ｕ_p）に対する重要性を決定する学習係数
である。μ＝０の場合には、図９及び図１０のアルゴリ
ズムは同一である。

【００５１】上述された計算式の組の実現は、ｂ、ｙ、
ｃ及びｚの計算（式（４）及び（１２））を単一の演算
に融合し、図１０の２つのグラディエントモジュールを
実質的に単一のものに置換することにより最適化され得
る：

【数１５】

【数１６】ここで、出力層Ｌにおいてはｙ_i ^L＝σ’（ａ_i ^L）（ｘ_i ^L
−Ｆ（Ｕ_p）_i）である。このように簡略化を行なうこと
により、重みに関するＥ＋μＥ_rのグラディエントは

【数１７】のように表わされることになる。上述されかつ図１０に
示されている本発明に係る学習プロセスは、各々の入力
パターンＵ_pに対する以下の反復の連続として要約され
る：第一に、各々のユニットの正味の入力ａ_i ^l及び活性
化ｘ_i ^lが式（１）に従ってネットワーク関数モジュール
１９内で各々のパターンＵ_pに対して計算される。次
に、正味の接平面入力α_i ^l及び活性化ξ_i ^lがネットワー
ク関数方向導関数モジュール２３内で計算され、その後
に２つの誤差モジュール２０、２４内で誤差の値が計算
される。

【００５２】その後、接平面グラディエントモジュール
２５内で接平面グラディエントβ_i ^l及びψ_i ^lが、後方伝
播グラディエントモジュール２１内でｂ_i ^l及びｙ_i ^lが、
式（１０）及び（１５）に従って計算される。

【００５３】最後に、式（１７）に従って２つの重みの
グラディエントの総和が計算され、重みが

【数１８】に従って更新される。

【００５４】このプロセスは、誤差Ｅ（Ｗ、Ｕ_p）及び
Ｅ_r（Ｗ、Ｕ_p、Ｔ_p）の双方が許容されるレベルに到達
するまで全てのパターンにわたって複数回反復される。

【００５５】上述された計算段階は、ＳＰＡＲＣワーク
ステーション等の汎用コンピュータ上のシミュレーショ
ンによって実行され得る。

【００５６】あるいは、図１０に示されたモジュール１
９、２０、２１、２２、２３、２４、及び２５を具体化
するために、カスタムニューラルネットワークチップが
構成される。

【００５７】上述された式の組は他の（例えばニューラ
ルネットワークではない）型のＧ_W（Ｕ）関数に対して
一般化され得る。この際、ＧがＵ及びＷに関して微分可
能であることが必要である。

【００５８】図１１は、本発明を実現するために用いら
れる相異なった方法を示している。これは、導関数と有
限の差分との間の関係に基づいている。この本発明の第
二の実施例は標準的な技術によって実現することがより
容易になっているが、前述の方法とは相異なった数値的
な性質を有している。図１０においては、上段部のコン
ポーネント１９、２０、２１及び下段部のコンポーネン
ト２２は図９に示されたものと同一であり、従来技術に
おいて説明され得るものであった。図１１の中段におい
て、２９で示されている第一のモジュール、ネットワー
ク関数Ｂ、は、その直上のモジュール１９、ネットワー
ク関数Ａ、と正確に同一である；但し、この２つのモジ
ュールのパラメータＷは共有されている。２つの誤差モ
ジュール２０、２４は同一である。後方伝播グラディエ
ントＡモジュール２１は図１０における後方伝播モジュ
ール２１と同一である；しかし、後方伝播グラディエン
トＢモジュール３０は、２つのネットワーク関数モジュ
ール１９及び２９に関するグラディエントを計算する。
この計算は、共有された重みを有するネットワークに対
する、例えば前掲のラメルハートによる文献等の従来技
術によって説明され得る。

【００５９】図１１に示されたアルゴリズムは、各々の
反復において、２つのパターン対（Ｕ_p、Ｆ（Ｕ_p））及
び（Ｕ_p’、Ｆ（Ｕ_p’））を用いる。２つのネットワー
ク関数モジュール１９及び２９の出力が計算され、その
後に誤差が計算され、そして２つのグラディエントモジ
ュール２１、３０の出力が計算される。パラメータμが
Ｅ_r（Ｗ、Ｕ_p、Ｕ_p’）のＥ（Ｗ、Ｕ_p）に対する重要性
を制御するために用いられる。その後、２つの重みのグ
ラディエントが加算され、重みが式（１８）と同様の式
を用いて更新される。このプロセスは、誤差Ｅ（Ｗ、Ｕ
_p）及びＥ_r（Ｗ、Ｕ_p、Ｕ_p’）のｐにわたる平均が許容
されるレベルに到達するまで、全てのパターンにわたっ
て複数回反復される。

【００６０】上述されたアルゴリズムは、従来技術に係
るもの（上段の３つのモジュール）の場合と同様にＦ
（Ｕ_p）とＧ_W（Ｕ_p）との差を最小にするのみならず、
Ｇ_W（Ｕ_p）−Ｇ_W（Ｕ_p’）とＦ（Ｕ_p）−Ｆ（Ｕ_p’）と
の差も最小にする。Ｕ_p’がＵ_p＋εＴと設定され、μが
μ／εによって置換されると、図１０及び図１１によっ
て実行される計算は

【数１９】に漸近する。ここで、Ｔ及びμは図１０において定義さ
れたものである。

【００６１】この方法は、Ｆの２つのポイントＵ及び
Ｕ’間の変位がアプリオリに知られている場合に用いら
れ得る。この方法は、導関数に関する知見を必要とする
前述の第一の方法よりもより制限が少ない。図１１に示
された装置は、実現する際により単純であるという利点
も有している。この実施例の革新的な性質は、同一の重
みを共有している２つの同一のネットワーク間の出力の
差の間の誤差を最小化するために後方伝播アルゴリズム
を用いたことに起因する。

【００６２】図９、１０及び１１は後方伝播アルゴリズ
ムに関するものであるが、あらゆるグラディエント降下
アルゴリズムに対して容易に一般化され得る。

【００６３】トレーニングデータ入力は、図３から図５
に示されているような英数字シンボルであるかあるいは
音声パターンもしくはロボット制御システムにおける位
置指数である。図１０あるいは１１に関連して記述され
ているように、ニューラルネットワークが特定の入力に
対して学習させられると、このトレーニングされたニュ
ーラルネットワークは、例えば手書きの郵便番号を読み
とるために用いられ得る。その種のシステムが図１２に
示されている。

【００６４】封筒移動器４０が封筒４１をビデオピック
アップ４２の下に移動する。ビデオ画像はピクセルイメ
ージャ４３の内部で従来技術によってピクセルフォーマ
ットに変換される。この画像は、必要な場合には適切な
再フォーマットを経て、ニューラルネットワーク分類器
４４に提供される。このニューラルネットワーク分類器
４４は、図１０あるいは１１に示されているように、ト
レーニングが完了したものである。分類器４４の出力
は、例えば郵便番号である。その読み取り結果は、明示
ユニット４５の内部で機械読み取り可能なバーコードに
フォーマットされる。その後、このコードはアプリケー
タ４６によって封筒上にバーコードとして記される。当
業者は、上述された技術が、本発明に係る新たにトレー
ニングされたニューラルネットワーク分類器４４を用い
ていること以外は、従来技術に係るものであることを理
解するであろう。

【００６５】ニューラルネットワークを音声認識を実行
するようトレーニングする場合には、本発明は、当該ネ
ットワークの出力を、例えば高低の変化、時間スケーリ
ング、時間シフト、パスバンドフィルタ変形及び鼻音化
等の音声に関連する変換に対して不変にするために用い
られ得る。通常、当該ネットワークの入力は時間と周波
数との関係を表わすスペクトログラムであり、これは２
次元画像として見ることが可能なものである。

【００６６】時間に関する変形、パスバンドフィルタ変
形、及び高低の変化に対する接平面ベクトルは手書き文
字認識の場合と同様にして得られる。すなわち、スペク
トログラム及びその変換されたものの減算、及びそれに
引き続いてなされる、変換を制御するパラメータによる
除算によってである。これらの変換に対して不変である
ようにトレーニングされたニューラルネットワークは、
信号に対するこの種の歪とは独立に音声を認識すること
が可能であり、従来技術にかかる装置に対して優位性を
有している。

【００６７】ニューラルネットワークを、例えばロボッ
トを制御するために、軌跡を生成するようにトレーニン
グする場合には、ニューラルネットワークの出力は入力
の特定の変換を反映しなければならない。通常、ネット
ワークの入力は、ロボットの腕の種々のジョイントにお
ける角度、速度、及び加速度に対するセンサであり、一
方ネットワークの出力はこれらジョイントの各々に対す
るトルクの制御である。負荷、ある種の外部摂動、ある
いはワーキングスピードなどの変化に起因する入力の変
換は、制御トルクの適切な変化によって補償されなけれ
ばならない。

【００６８】接平面ベクトルは、入力及びその変換され
たものを減算し、変換を制御しているパラメータによっ
て除算することにより計算され得る。ニューラルネット
ワークを接平面ベクトルから直接これらの変換に対する
適切な振舞いを行なうようにトレーニングすることは、
ネットワークに適切な振舞いを膨大なデータベースから
推論させる方法と比較して、学習速度及び正確さの双方
の面で有利である。

【００６９】ネットワークの出力の変換に関する不変性
が望まれた（すなわち、変換の方向において方向導関数
がゼロに設定された）パターン認識の場合と異なり、ロ
ボットを制御するネットワークの出力は変換に従って変
化する。これは、方向導関数が必ずしもゼロではないよ
うな例である。

【００７０】以上の説明は、本発明の一実施例に関する
もので，この技術分野の当業者であれば、本発明の種々
の変形例が考え得るが、それらはいずれも本発明の技術
的範囲に包含される。

【００７１】

【発明の効果】以上述べたごとく、本発明によれば、認
識データベースをより効率的に形成する方法及びその装
置が提供される。

【図面の簡単な説明】

【図１】英数字画像で有り得る４つのデータポイント
を通る２つに関数を模式的に示したグラフ。

【図２】接平面ベクトルの概念を模式的に示した図１
と同様のグラフ。

【図３】接平面ベクトル画像の生成を示すピクセルチ
ャート方程式。

【図４】接平面ベクトル画像の生成を示すピクセルチ
ャート方程式。

【図５】具体的なシンボルの種々の変換による効果を
ピクセルスクリーンの形式で示したマルチピクセルチャ
ート。

【図６】調節可能なニューラルネットワークの基本的
な関数を示した入出力ダイアグラム。

【図７】入力パターンによってトレーニングされつつ
ある後方伝播ニューラルネットワーク学習マシンの高次
の入出力ダイアグラム。

【図８】 ”接平面”データ及び元の入力パターンデー
タの双方がトレーニングに際して用いられる後方伝播ニ
ューラルネットワーク学習マシンの高次の入出力ダイア
グラム。

【図９】従来技術に係る後方伝播ニューラルネットワ
ークのトレーニングプロセスを示す機能ブロック図。

【図１０】本発明に係る後方伝播ニューラルネットワ
ークマシンの機能ブロック図。

【図１１】本発明に係る後方伝播ニューラルネットワ
ークマシンの機能ブロック図。

【図１２】本発明に従って郵便番号すなわち封筒を読
みとるようにトレーニングされたニューラルネットワー
ク分類器が用いられる様子を示すブロック図。

【符号の説明】

１０ネットワーク関数１１パターン１２出力１３トレーニングデータ１４後方伝播学習マシン１５トレーニングデータ１６接平面トレーニングデータ１７接平面後方伝播学習マシン１８入力１９ネットワーク関数モジュール２０誤差モジュール２１後方伝播グラディエントモジュール２２重み更新モジュール２３ネットワーク関数方向導関数モジュール２４誤差モジュール２５接平面グラディエントモジュール２９ネットワーク関数モジュールＡ３０後方伝播グラディエントモジュールＢ４０封筒移動器４１封筒４２ビデオカメラピックアップ４３ピクセルイメージャ４４ニューラルネットワーク分類器４５郵便番号明示ユニット４６バーコードアプリケータ

フロントページの続き (72)発明者ヤンアンドレルクンアメリカ合衆国 07748 ニュージャージーミドルタウン、クラヴドンコート５ (72)発明者パトリスワイ．シマードアメリカ合衆国 07724 ニュージャージーイートンタウン、ウエッジウッドサークル 144

Claims

【特許請求の範囲】

【請求項１】調節可能なパラメータを有するニューラ
ルネットワークを、限定された数の既知の入力パターン
のネットワーク出力分類を前記入力パターンの各々を表
現している入力データ及び入力パターンの各々の変換を
表現している更なる入力データに基づいて計算するよう
に、トレーニングする方法において、前記入力パターンの各々を表現している前記ニューラル
ネットワークへの信号を受信するステップ；前記入力パ
ターン信号の各々から、前記入力パターン信号の各々の
選択された変換を表現している接平面ベクトルデータを
生成するステップ；前記ニューラルネットワークを前記
接平面ベクトルデータを用いて前記接平面ベクトルが前
記入力パターンに追加された場合に前記ネットワーク出
力分類が変化する量と前記ネットワーク出力分類が変化
すべき量との間の差異を計測する誤差関数を計算するこ
とによってトレーニングするステップ；及び、前記誤差関数の値を減少させるために前記ニューラルネ
ットワークパラメータを調節するステップ；を有するこ
とを特徴とするニューラルネットワークトレーニング方
法。
【請求項２】前記ニューラルネットワークに対する未
知の入力パターンを受信するステップ；及び、前記ネットワークを用いて前記未知のパターンに対する
前記ネットワーク内の出力分類を生成するステップ；を
更に有することを特徴とする請求項第１項に記載の方
法。
【請求項３】前記ニューラルネットワークに対する前
記受信された信号が前記入力パターンの各々のピクセル
画像を表現しており；及び、前記入力ピクセル画像の各々の前記選択された変換が、
変換されたピクセル画像であること；を特徴とする請求
項第２項に記載の方法。
【請求項４】調節可能なパラメータを有するニューラ
ルネットワークを、限定された数の既知の入力パターン
のネットワーク出力分類を前記入力パターンの各々を表
現している入力データ及び入力パターンの各々の変換を
表現している更なる入力データに基づいて計算するよう
に、トレーニングする装置において、前記入力パターンの各々を表現している前記ニューラル
ネットワークへの信号を受信する手段；前記入力パター
ン信号の各々から、前記入力パターン信号の各々の選択
された変換を表現している接平面ベクトルデータを生成
する手段；前記ニューラルネットワークを前記接平面ベ
クトルデータを用いて前記接平面ベクトルが前記入力パ
ターンに追加された場合に前記ネットワーク出力分類が
変化する量と前記ネットワーク出力分類が変化すべき量
との間の差異を計測する誤差関数を計算することによっ
てトレーニングする手段；及び、前記誤差関数の値を減少させるために前記ニューラルネ
ットワークパラメータを調節する手段；を有することを
特徴とするニューラルネットワークトレーニング装置。
【請求項５】前記ニューラルネットワークに対する未
知の入力パターンを受信する手段；及び、前記ネットワークを用いて前記未知のパターンに対する
前記ネットワーク内の出力分類を生成する手段；を更に
有することを特徴とする請求項第４項に記載の装置。
【請求項６】前記ニューラルネットワークに対する前
記受信された信号が前記入力パターンの各々のピクセル
画像を表現しており；及び、前記入力ピクセル画像の各々の前記選択された変換が、
変換されたピクセル画像であることを特徴とする請求項
第５項に記載の装置。
【請求項７】ニューラルネットワークを英数字シンボ
ルを分類するようトレーニングする方法において、前記
ニューラルネットワークは英数字トレーニングデータ入
力手段、トレーニング可能かつ調節可能なパラメータ、
及び出力分類手段を有しており、前記方法が、前記ネットワークに対する前記パラメータを前記既知の
英数字入力の個別の組の各々の要素を前記要素の各々を
表現するトレーニングデータを用いて分類するようトレ
ーニングするステップ；前記ネットワークに対する前記
パラメータを、前記要素の各々を選択的に変換するステ
ップ；前記変換された要素を用いて前記選択された特定
の変換を表現する接平面ベクトル情報を生成するステッ
プ；前記出力分類手段内に前記接平面ベクトル情報に基
づいた情報を含ませるよう前記ネットワークに対する前
記パラメータを調節するステップ；によって空間的に修
正された前記個別の組の中のある種の要素を分類するよ
うさらにトレーニングするステップ；を有することを特
徴とするニューラルネットワークトレーニング方法。
【請求項８】前記ネットワークに対する未知の英数字
入力を受信するステップ；及び前記未知の英数字入力を
識別する前記ネットワーク内の出力分類を生成するステ
ップ；を有することを特徴とする請求項第７項に記載の
方法。
【請求項９】前記英数字トレーニングデータ入力手段
が、手書きの文字及び数字のピクセル画像よりなり；及
び、前記要素の各々の前記選択された変換が、前記文字及び
数字のピクセル画像の変換よりなることを特徴とする請
求項第８項に記載の方法。
【請求項１０】英数字トレーニングデータ入力手段、
トレーニング可能かつ調節可能なパラメータ、及び出力
分類手段を有するニューラルネットワークにおいて、前
記ネットワークを英数字シンボルを分類するようトレー
ニングする装置が、前記ネットワークに対する前記パラメータを前記既知の
英数字入力の個別の組の各々の要素を前記要素の各々を
表現するトレーニングデータを用いて分類するようトレ
ーニングする手段；前記要素の各々を選択的に変換する
手段；前記変換された要素を用いて前記選択された特定
の変換を表現する接平面ベクトル情報を生成する手段；
前記出力分類手段内に前記接平面ベクトル情報に基づい
た情報を含ませるよう前記ネットワークに対する前記パ
ラメータを調節する手段；からなる、前記ネットワーク
に対する前記パラメータを空間的に修正された前記個別
の組の中のある種の要素を分類するようさらにトレーニ
ングする手段；を有することを特徴とするニューラルネ
ットワークトレーニング装置。
【請求項１１】前記ネットワークに対する未知の英数
字入力を受信する手段；及び、前記未知の英数字入力を識別する前記ネットワーク内の
出力分類を生成する手段；を更に有することを特徴とす
る請求項第１０項に記載の装置。
【請求項１２】前記英数字トレーニングデータ入力手
段が手書きの文字及び数字のピクセル画像よりなり；及
び、前記要素の各々の前記選択された変換が、前記文字及び
数字のピクセル画像の変換よりなることを特徴とする請
求項第１１項に記載の装置。
【請求項１３】前記変換が、線型並進、回転、スケー
リング、誇張された変形、線の太さの変化、及び／ある
いは濃淡レベルの変化：の内の一つあるいは複数からな
ることを特徴とする請求項第１−３項あるいは第７−９
項に記載の方法。
【請求項１４】前記変換が、線型並進、回転、スケ
ーリング、誇張された変形、線の太さの変化、及び／あ
るいは濃淡レベルの変化：の内の一つあるいは複数から
なることを特徴とする請求項第４−６項あるいは第１０
−１２項に記載の装置。
【請求項１５】英数字トレーニングデータ入力手段、
トレーニング可能かつ調節可能なパラメータ、及び出力
分類手段を有するニューラルネットワークを、各々のデ
ータポイントにおける入力トレーニングデータの限定さ
れた組に基づいて英数字シンボルの拡張された組を認識
するようトレーニングする方法において、当該方法は、分類を不変に保つ前記データポイントに係る変換の組を
規定することによって前記個別のデータポイントの各々
に関する利用可能な情報を増大するという改善点を有し
ており、前記個別のデータポイントの各々を特定の英数字シンボ
ルとして分類するよう前記ネットワークに対する前記パ
ラメータをトレーニングするステップ；前記入力パター
ンの各々に対して、前記変換の前記組の内の一つの変換
を表現する接平面ベクトルデータを、前記入力パターン
の変換されたものを生成するために前記入力パターンに
対して前記選択された変換を適切な微小量施すステッ
プ；前記入力パターンと前記入力パターンの変換された
ものとの差異をピクセル毎に計算するステップ；によっ
て生成するステップ；及び、前記接平面ベクトルデータを用いて、前記接平面ベクト
ルデータが前記入力パターンに対して追加された場合に
与えられた前記変換に対して不変である出力分類が如何
に変化するかを計測する誤差関数を計算することによっ
て、前記ニューラルネットワークをさらにトレーニング
するステップ；よりなることを特徴とするニューラルネ
ットワークトレーニング方法。
【請求項１６】前記英数字トレーニングデータ入力手
段が手書きの文字及び数字のピクセル画像よりなり；及
び、前記要素の各々の前記選択された変換が前記文字及
び数字のピクセル画像の変換よりなることを特徴とする
請求項第１５項に記載の方法。
【請求項１７】前記変換が、線型並進、回転、スケー
リング、誇張された変形、線の太さの変化、及び／ある
いは濃淡レベルの変化：の内の一つあるいは複数からな
ることを特徴とする請求項第１５項あるいは第１６項に
記載の方法。
【請求項１８】英数字トレーニングデータ入力手段、
トレーニング可能かつ調節可能なパラメータ、及び出力
分類手段を有するニューラルネットワークを、各々のデ
ータポイントにおける入力トレーニングデータの限定さ
れた組に基づいて英数字シンボルの拡張された組を認識
するようトレーニングする装置において、分類を不変に保つ前記データポイントに係る変換の組を
規定することによって前記個別のデータポイントの各々
に関する利用可能な情報を増大するという改善点を有し
ており、前記個別のデータポイントの各々を特定の英数字シンボ
ルとして分類するよう前記ネットワークに対する前記パ
ラメータをトレーニングする手段；前記入力パターンの
各々に対して、前記変換の前記組の内の一つの変換を表
現する接平面ベクトルデータを生成する、前記入力パタ
ーンの変換されたものを生成するために前記入力パター
ンに対して前記選択された変換を適切な微小量施す手
段；前記入力パターンと前記入力パターンの変換された
ものとの差異をピクセル毎に計算する手段；を有する手
段；及び、前記接平面ベクトルデータを用いて、前記接平面ベクト
ルデータが前記入力パターンに対して追加された場合に
与えられた前記変換に対して不変である出力分類が如何
に変化するかを計測する誤差関数を計算することによっ
て、前記ニューラルネットワークをさらにトレーニング
する手段；を有することを特徴とするニューラルネット
ワークトレーニング装置。
【請求項１９】前記英数字トレーニングデータ入力手
段が手書きの文字及び数字のピクセル画像よりなり；及
び、前記要素の各々の前記選択された変換が前記文字及び数
字のピクセル画像の変換よりなることを特徴とする請求
項第１８項に記載の装置。
【請求項２０】前記変換が、線型並進、回転、スケー
リング、誇張された変形、線の太さの変化、及び／ある
いは濃淡レベルの変化：の内の一つあるいは複数からな
ることを特徴とする請求項第１８項あるいは第１９項に
記載の装置。
【請求項２１】グラディエント降下法によって調節可
能なパラメータを有するニューラルネットワークを限定
された数の例の組からパターンを認識、分類あるいは生
成することを学習させるためにトレーニングする方法に
おいて、前記ニューラルネットワークは前記ネットワー
クの出力を計算するネットワーク関数モジュール、前記
ネットワークの分類と所望の分類との間の差異を計算す
る誤差モジュール、前記誤差モジュールの重みに関する
勾配（グラディエント）を計算するグラディエントモジ
ュール、及び前記調節可能なパラメータの新たな値を計
算する更新モジュールを有し、かつ前記方法は所定の変
換に関する出力変化に関連する高次情報を用いて前記ニ
ューラルネットワークをトレーニングするという改善点
を有しており、前記方法が、前記所定の変換の内の一つを前記入力パターンの変換さ
れたものを得るために前記入力パターンに対して微小量
適切に適用するステップ；前記入力パターンと前記変換
されたものとの間の差異を接平面ベクトルを得るために
計算するステップ；前記入力パターンと前記接平面ベク
トルとから前記ネットワーク出力が前記入力パターンの
みの代わりに前記入力パターンと前記接平面ベクトルと
の総和が供給された場合にどの位変化するかを計算する
ステップ、ここで前記変化はネットワークの方向導関数を与える；
前記入力パターンと前記接平面ベクトルとから前記ネッ
トワークの方向導関数が前記変換に関連する所定の条件
からどの位異なっているかを計算し、接平面誤差を得る
ステップ；及び、前記接平面誤差を減少させるために前記調節可能なパラ
メータの新たな値を計算するステップ；を有することを
特徴とするニューラルネットワークトレーニング方法。
【請求項２２】前記新たな値を計算する前記ステップ
が、前記調節可能なパラメータに関する前記接平面誤差
のグラディエントを計算するステップを有していること
を特徴とする請求項第２１項に記載の方法。
【請求項２３】前記ニューラルネットワークに対する
未知の入力パターンを受信するステップ；及び、前記ネットワークから前記未知のパターンを識別する出
力分類を生成するステップ；を更に有することを特徴と
する請求項第２２項に記載の方法。
【請求項２４】前記グラディエント計算ステップが、
前記グラディエント降下を実行するために後方伝播アル
ゴリズムを適用すること；を特徴とする請求項第２３項
に記載の方法。
【請求項２５】前記グラディエント計算ステップが、
前記グラディエント降下を実行するために根基底（ｒａ
ｄｉａｌｂａｓｉｓ）関数を適用すること；を特徴と
する請求項第２３項に記載の方法。
【請求項２６】グラディエント降下法によって調節可
能なパラメータを有するニューラルネットワークを限定
された数の例の組からパターンを認識、分類あるいは生
成することを学習させるためにトレーニングする方法に
おいて、前記ニューラルネットワークは前記ネットワークの出力
を計算するネットワーク関数モジュール、前記ネットワークの分類と所望の分類との間の差異を計
算する誤差モジュール、前記誤差モジュールの重みに関する勾配（グラディエン
ト）を計算するグラディエントモジュール、及び前記調
節可能なパラメータの新たな値を計算する更新モジュー
ルを有し、かつ前記方法は、所定の変換に関する出力変
化に関連する高次情報を用いて前記ニューラルネットワ
ークをトレーニングするという改善点を有しており、前
記方法が、前記所定の変換の内の一つを第二の入力パタ
ーンを得るために前記入力パターンに対して適切な微小
量適用するステップ；第二のネットワーク分類を得るた
めに前記第二の入力パターンのネットワーク分類を計算
するステップ；前記入力パターンと前記第二の入力パタ
ーンとに対する２つのネットワーク分類の間の差異を計
算するステップ；前記差異が所定の条件からどの位ずれ
ているかを計算し、分類差異誤差を得るステップ；及
び、前記分類差異誤差を減少させるために前記調節可能なパ
ラメータに対する新たな値を計算するステップ；を有す
ることを特徴とするニューラルネットワークトレーニン
グ方法。
【請求項２７】前記新たな値を計算する前記ステップ
が、前記調節可能なパラメータに関する前記接平面誤差
のグラディエントを計算するステップ、及び前記説平面
誤差を減少させるために前記調節可能なパラメータに対
する新たな値を計算するステップ；を有していることを
特徴とする請求項第２６項に記載の方法。
【請求項２８】前記第二の入力パターンが他のパター
ンあるいは他の手段から得られることを特徴とする請求
項第２６項あるいは第２７項に記載の方法。
【請求項２９】前記ニューラルネットワークに対する
未知の入力パターンを受信するステップ；及び、前記未知のパターンを識別する前記ネットワークに係る
出力分類を生成するステップ；を更に有することを特徴
とする請求項第２８項に記載の方法。