JPH06508948A - ニューラルネットワークにおける入力データの不確定性状態の処理方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 ニューラルネットワークにおける入 力データの不確定性状態の処理方法 当該文献から公知の人工ニューぞラルネットワークは当該入力データが或１つの ネットワークのノードに直接結合されているという特性を有する。この理由から 不確定性データと、既知の不確定性−係数のもとでも或１つのノードから切離す （減結合する）ことは可能でない。その代りに想定されるのは統計的に有意のト レーニングデータセットを以でのトレーニング（訓練）中白動的に零に近い値を 有する重み付は係数が、大きな不確定性（度）の伴う入力線路に対して調整セツ ティングされていることである。識別モードではそれらの小さなウェイト（重み 付けないし荷重）値によっては相応のデータのマスキングが生ぜしめられる。

上記手法の欠点とするところは一方では当該調整セツティングはスタチックであ り、換言すれば１度不確定性のあるものとして識別分類された入力接続路が常に それのウェイト係数のわずかな値を伴ない、以てネットワークの特性に対してた んにわずかな影響しか及ぼし得ず、他方では多くの適用上、実際に有意のトレー ニングデータセットをあらかじめ決定することが不可能なことである。ニューラ ルネットワークの多くの適用分野において、例えば、画像−及び通話処理ではた んに著しく制限された知識しか存在しないので、有意のトレーニングデータに対 する要求の意味することは極めて大きな抜き取りサンプルの採取と記憶、以て、 ニューラルネットワークに対する極めて長いトレーニング時間に対する要求を意 味する。

上述の状況があると大抵は、当該の事例、状況に適合した制限されたトレーニン グ抜き取りサンプルを使用しなければならず、それにより生成されるネットワー クが唯著しく特殊な状況しか表わし得ない。これらの場合において、トレーニン グフェーズのデータとは一致（整合）しないデータによっては識別フェーズ上の 問題を生じる。データの特性がシステマチックな（系統的な）理由を有する場合 は当該ネットワークを、より一層良好に適合したトレーニングデータであらため てトレーニングする外ない。但し、他方で矛盾するデータが識別可能なノイズに より生じたり、データの信頼性に対する評価（重み付け）基準を表わし得る場合 は当該識別をネットワークによりによる計算において考慮すると好適である。

本発明の課題の基礎を成すものは、当該ニューラルネットワークの特性をテスト フェーズにて改善するためにニューラルネットワークの入力データの既知の不確 定性（度）を考慮し得る方法を提供することにある。上記課題は請求の範囲１の 構成要件を備えたニューラルネットワークにおける入力データの不確定性の処理 方法により解決される。

当該方法の有利な発展形態は引用請求項に示されている。

図１は２つの入力側を有する１つのニューロンの可能な入力信号の空間を示し、 ここにおいては１次元の超平面（直線）により分離されたトレーニングデータの ２つのクラスが記入されている。

図２は当該の分散がトレーニングデータの分散を越えるテストデータについての 、図１と同じ状況を示す図３はテストデータの両クラスを適宜選別（分離）する １つの第２の超平面（直線）についての、図２と同じ状況を示す。

次ぎに、図を用いて本発明を実施例に即して詳述する。

当該出願において用いられている概念は一般慣用のものであり、下記の著書に説 明されている。著述者り。

１：、　１ｉｕｆｆ１６１１１Ｂｊ、　Ｊ、Ｌ、　Ｍａｃ　Ｃ１ｅｌｌａｎｄ（ 出版元）：　“Ｐａ−ｒａｌｌｅｌ　Ｄｉｓｔｒｉｂｕｔｅｄ　Ｐｒｏｃｅｓｓ ｉｎｇ、　Ｍｏ１．　ｌ　：Ｆｏｕｎｄ−ａｔｆｏｎｓ”　、ＭＩＴ　Ｐｒｅｓ ｓ、　Ｃａｍｂｒｉｄｇｅ　ＭＡ　（１９８６）、特に論文”Ｌｅａｒｎｉｎｇ 　Ｉｎｔｅｒｎａｌ　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓｂｙ　Ｅｒｒｏｒ　Ｂａ ｃｋ　Ｐｒｏｐａｇａｔｉｏｎ″　Ｄ、Ｅ、Ｒｕｍｅｌｈａｒｔ、Ｇ。

Ｅ、　Ｈｉｎｔｏｎ、　Ｒ，Ｊ、　Ｗｉｌｌｉａｍｓ著述中に記載。

著述−ラルネットワークは一般に多数のニューロンから構成されており、上記ニ ューロンは多数の入力から重み付は係数を用いて重み付は和を計算し、当該の重 み付けされた和に対して、有利にシグモイド伝達関数の使用下で閾値判定を行な う。それにより各ニューロンはそれの入力データの２つのクラスを区別でき、そ の際一方のクラスには出力アクティビティ“０”を使用し、他方のクラスには出 力アクティビティ“１”を使用する。当該入力とニューロンとの間の結合荷重な いし結合ウェイト（ウェイト係数）はトレーニングフェーズとして１つのトレー ニングデータセットへのウェイト係数の適合化により調整ないし学習される。

或１つの可能なトレーニング手法（Ｒｕｍｅｌｈａｒｔｌ　９８６）は欠陥（誤 差）表面に亙るグラディエンド（勾配）降下を実現する。シグモイド伝達関数の 使用により、両クラスの最良の可能な分離性が達成される。

より一層良好な理解のため一一般妥当性を制限せずに−に＝２の入力線路を有す るパーセプトロンモデルの単一のニュートロンの例に関連して、先ず、当該方法 は誘導され得る。当該ニュートロンは２つのクラスを区別でき、その際一方のク ラスに対してはニュートロンの出力アクティビティは０″であり、他方のクラス に対しては当該出力アクティビティは“１”である。さらに仮定しであることは 当該の例において、当該クラスは直線的平面により分離され得、そして、唯１つ の入力線路のみが、当該の区別のための所要の情報に寄与するということである 。第２の入力線路はここでは唯冗長（性のある）情報を導くものに過ぎない。図 １は直線的な超平面Ｈ１（直線）により分離され得るトレーニングデータの２つ のクラスに１ないしに２を示す。トレーニングデータの当該両クラスは水平方向 にも垂直方向にも延びている超平面により分離され得るので、当該側入力端１１ ないしＩ２のうちのどちらが両クラスの分離にとって規定的な情報を担持するか は当初からは確かでない。図２は図１におけると同じ状況を示すが、その際、勿 論、比較的大きなデータ量−同様にトレーニングデータを含むテストデーターが 使用されている。テストデータの両クラスＫｌｌないしに２１はもはや、水平方 向に延びる超平面により分離され得ず、たんに垂直方向に延びる超平面によって のみ分離され得る。図１及び図２に示す可視の対角線方向に延びる超平面Ｈ１は トレーニングデータを適当に２つのクラスに分は得るが、テストデータを分は得 ない。このことは以下のことに関連する、即ちテストデータが、トレーニングデ ータより大きな分散−生に入力信号Ｉ２において−を有するということに関連す る。テストデータクラスＫｌｌないしに２１の適当な分離のための情報を担持す るのは入力側■１である。多くの適用例におけるように、複数入力側のうちの１ つ、又は一般的に複数入力側が不確定性を伴ない、従ってテストデータの信頼性 のある分離が行なわれ得ないことが当初から既知である場合には図１のトレーニ ングデータ使用の際図３に示す超平面Ｈ２を導出させる方法を使用するのが好適 である。すなわち超平面Ｈ２はトレーニングデータとテストデータの双方を適当 に２つのクラスＫｌｌないしに２１に分離する。

そのような方法は入力側Ｉ２の情報の不確定性（度）についての知識を用いなけ ればならない。図１〜図３に示す情況は多くの適用例において、例えば画像及び 音声処理において生じる状況の著しい簡単化であり、上記の処理の適用例におい ては当該の個々の成分が著しい冗長性を有する高次元の入力ベクトルが生じるも のである。

上述の問題の本発明による一般的な解決策によればニューラルネットワークの１ つ又は複数のニューロンの入力値を直接重み付は係数と乗算しないで、ニューロ ンの入力信号から差当り修整変更された入力信号を計算し当該の修整変更された 入力信号によっては種々の入力信号の種々異なる不確定性（度）が適当に（適宜 ）考慮されるのである。

１）により出力値ａを計算する。

（１）　ａ＝ｆ　（Σに−１，＋、ｋ　ｗｋ　ｍ　ｉ　ｈ＋θ）但し、ａは出力 値にニューロンのアクティビティ）、Ｗ、はに番目のウェイト値（ウェイト係数 ）、ｉ、はに番目の入力値（入力信号）、θは限界値である。各人力値Ｉ＝（ｔ ｈ、・・・、ｉ、）に対して、当該確定値が０と１との間の値により与えられて いる場合、修整変更された入力値ｊ＊が下式（２）により算出され得る。

（２）　ｊ、＝３に−ｉｈ＋　（１−８’ｈ）　６　ｎｈここにおいてｎｈはニ ュートラルベクトルＮのに番目の値である。要するにニュートラルベクトルの成 分ｎｋは最大の不確定度（最小の確定度、５ｈ＝Ｑ）のとき変更修整された入力 信号がとる当該の値を与える。。

ニュートラルベクトルの成分に対する有利な値については後述する。

上記の修整変更された入力信号によってはニューロンアクティビティにューロン 活動性）を次のように計算し得る （３）　ａ＝ｆ　（Σに＋ｌ＋＋１ｗｋ　”　ｊ　ｈ＋　θ）これにより、ネッ トワーク特性の改善のためニューラルネットワークにおける入力信号の既知の不 確定度（不確実性）を使用するという本発明の基礎を成す課題が解決される。さ らに、各ニューロンがそれの出力値にニューロンアクティビティ）のほかに付加 的にそれの入力信号の平均的確定性（確実性）値を下式に従ってそれの入力信号 の確定性値（確定度値）ｓｈから計算すると有利である。

次いで上記の平均的確定性値はニューラルネットワークの後続段のニューロンへ 伝送され得、それにより、ニューロンによっても確定度値が同じ手法プロセスに 従って評価され得る。殊に、ニューラルネットワークの最終段のニューロンによ りそれの出力値の確実性（確定度）値が計算され得、このことは、ネットワーク 能力の判断のため、換言すれば分類の品質の判断のため使用され得る。ここで記 載されている方法は無造作に帰還結合付きのニューラルネットワークにおいても 使用され得る。この場合において、当該確実性（確定度）値の幾つか（或もの） はユーザにより設定されないで、ニューラルネットワークにおける他のニューロ ンにより計算される。要するに、ニューラルネットワークの概念は当該語の最も 一般的な形態で使用され得、ここにおいて、特にそれに適した計算装置上の相応 のコンピュータプログラムにより実現され得るニューラルネットワークを意味し 得る。他面では当該方法は回路技術上実現されるニューラルネットワークの枠内 で使用され得る。

ニュートラルベクトルＮはトレーニング手法（プロセス）によりセツティングさ れた超平面と、次のような超平面との交点として計算され得る、即ち、或１つの ニューロンの各１つの入力信号が考慮されない状態におかれる際生じる超平面と 、トレーニング手法プロセスによりセツティングされた超平面との交点とじて計 算され得る。ここにおいて、Ｋの入力側を有する各１つのニューロンに対してＫ の種々異なる超平面が得られる。すなわち、Ｋ次元の空間を細分化する１つの超 平面と、（Ｋ−１）次元のサブ空間を細分化する（Ｋ−１）のさらなる超平面と が得られる。そのような多重のトレーニング手法プロセスは同時に実施され得、 その際計算時間及びメモリロケーションのに倍の所要のものが必要となる。その ような多重トレーニング手法プロセスの終りにて、Ｋの直線的な方程式（関係式 ）を、すべての超平面の交点の決定のため解き得る当該の手法は著しく項線ない しコストを要し、トレーニングフェーズに対して当該方程式（関係式）の解を含 むさらなるフェーズを要するので、ニュートラルベクトルの反復的決定のためさ らなる特別の手法プロセスが提案される。当該手法は付加的計算ステップなしで 事足り、全体として比較的項線でなく、ないし、コストを要しない。当該のさら なる手法によれば、Ｋの超平面の交点の代わりに、トレーニングにて観測された 入力値の重心（当該の入力値は瞬時のウェイト係数により規定された分離平面Ｈ 上に投影されたものである）を代替する。このために、たんにＫの付加的パラメ ータが、ニュートラルベクトルの特徴付けのため記憶され、そして、新たなトレ ーニングデータＩの表示（プレゼンテーション）後ごとに適合化されねばならな い。当該値ＮＯによるニュートラルベクトルの適当な初期化の後、新たなトレー ニングデータＩの各プレゼンテーションに対して、ニュートラルベクトルの反復 検出のため当該手法プロセスは実質的に２つのステップを有する： １）　ＩからＨへの投影Ｉ′の決定 ２）　Ｉ′を用いてのＮ、、、（新）におけるＮ、、、（旧）の補正 ステップ■によってはＮのすべての修整変更がトレーニング平面内にて行なわれ 得るようになる。ステップ２によっては反復的にすべての投影の重心が計算さＩ からＨへの投影■′は下式により定まる但し、Ｗは分離平面Ｈを規定する、結合 荷重の列ベクトル Ｗ、＝　（Ｗ、、・・・Ｗｋ）を表わし、ＷＴは変換されたベクトルＷを表わし 、θは分離平面Ｈのオフセットを表わす。次いでＮの補正（適合化）は下記の規 定的関係式により行なわれる。

（６）　Ｎ、、、（新）＝Ｎ、、、（旧）＋γ・（Ｉ’−Ｎ、、、（旧））但し 、ＮａＩｒＣ旧）はニュートラルベクトルの先行値であり、Ｎ＊ｅｕ（新）はニ ュートラルベクトルの補正された値であり、γはニュートラルベクトルの補正の 速度を決める、０と１との間の係数である。γは一定に保持され得る（各クラス に対してほぼ等しい数の例が可用である場合には）。そうでない場合にはγは実 際のトレーニングパターンのクラス付属性に相応して当該のクラスの例の数に反 比例して選択されねばならない分離平面Ｈを規定するベクトルＨがＮの適合化プ ロセス過程中一定に保持される場合（即ち、トレーニング平面が先行の学習フェ ーズ中にセツティングされている場合）、及びＨに対し当該方程式（関係式）が 充足されるように初期化ＮＯが選定されている場合、Ｎの適合化の後でも上記の ことは成立つ。他面では両プロセス（分離平面Ｈのトレーニング及びニュートラ ルベクトルＮの適合化）が並列的に実施され得る。ここにおいて、Ｎｏは小さな 乱数（ランダム数）で事前占有される。この場合においても、（該場合において Ｎは連続的に変化する分離平面Ｈに追従する）、十分長い適合化の後所望のベク トルＮがセツティングされる１１−＋ 補正書の翻訳文提出書（特許法第１８４条の８）１２　国際出願番号 ＰＣＴ／ＤＥ９２１００４９４ の処理方法 名　称　シーメンス　アクチェンゲゼルシャフト請　求　の　範　囲 １、　ニューラルネットワークにおける入力信号の不確定性状態の処理方法にお いてニューロンの入力信号Ｉｋから修整変更された入力信号ｊｈが関係式％式％ ） に従って計算されるようにし、 ここにおいて、 Ｓｈは値０≦Ｓｋく１に対する入力信号の確定度値に対する尺度量であり、ｎ、 は最大の不確定度（ｓｈ＝０）のもとての修整変更された入力信号ｊ叡の値を表 わすニュートラル値であるようにしたことを特徴とするニューラルネットワーク における入力データの不確定性状態の処理方法。

２、　ニューロンによってはそれのアクティビティ（活動） ａ＝ｆ　（Σに−（、、、ｋＷ　ｋａ　ｊ　ｋ十〇）のほかに付加的に、 さらなる出力値 がめられ、上記のさらなる出力値はそれの入力信号の平均確定性（度）値に対す る尺度を成すものであるようにした請求の範囲１記載の方法。

３．　少なくとも１つのニューロンのニュートラル値は所定のニュートラルベク トルの成分であり、上記の所定ニュートラルベクトルはトレーニングデータセッ トを２つのクラスに細分化する超平面上の１つの点（個所）であるようにした請 求の範囲１又は２記載の方法。

４、　上記のニュートラルベクトルはすべての超平面の１つの共通の点（個所） であり、上記のすべての超平面は各１つの入力信号が考慮外におかれる際トレー ニングデータを２つのクラスに細分化するものであるようにした請求の範囲３記 載の方法。

５、　上記ニュートラルベクトルＮは関係式％式％（）） を用いて、反復的にトレーニングデータセットの入力信号Ｉから計算されるよう にし、 但し、Ｗは１つのニューロンのウェイト（荷重）のベクトル、 Ｗ７は上記ウェイトの変換されたベクトルθは当該ベクトルの限界値 Ｎ、＠、（新）はニュートラルベクトルの新たな値Ｎ、、、（旧）はニュートラ ルベクトルの古い（先行）値 γは０と１との間の定数であるようにした請求の範囲３記載の方法。

Claims (5)

【特許請求の範囲】
1. １．ニューラルネットワークにおける入力信号の不確定性状態の処理方法におい て、ニュートラル値と入力信号との線形結合の形の修整変形された入力信号が計 算されるようにし、上記線形結合の係数が、当該入力信号の確定性ないし確実性 に対する尺度と成すものであるようにしたことを特徴とするニューラルネットワ ークにおける入力データの不確実性状態の処理方法。
2. ２．ニューロンによってはそれのアクティビティのほかに付加的にさらなる出力 値が求められ、上記のさらなる出力値によってそれの入力信号の平均確定度値が 特徴付けられるようにした請求の範囲１記載の方法。
3. ３．少なくとも１つのニューロンのニュートラル値が或１つのニュートラルベク トルの成分を成しており、該ニュートラルベクトルはトレーニングデータセット と２つのクラスに細分化する超平面上の１つの点（個所）であるようにした請求 の範囲１又は２記載の方法。
4. ４．上記のニュートラルベクトルはすべての超平面の１つの共通の点（個所）で あり、上記のすべての超平面は各１つの入力信号が考慮外におかれる際トレーニ ングデータを２つのクラスに細分化するものであるようにした請求の範囲３記載 の方法。
5. ５．上記ニュートラルベクトルＮは下記の関係式を用いて反復的にトレーニング データセットの入力信号１から算出されるようにし、すなわち、（５） ▲数式、化学式、表等があります▼及び（６）Ｎｎｅｕ（新）＝ Ｎａｉｔ（旧）＋γ・（Ｉ′−Ｎａｉｔ（旧））但し、Ｗは１つのニューロンの ウェイト（荷重）のベクトル、 ＷＴは上記ウェイトの変換されたベクトル、θは当該ベクトルの限界値 Ｎｎｅｕ（新）はニュートラルベクトルの新たな値Ｎａｉｔ（旧）はニュートラ ルベクトルの古い（先行）値 γは０と１との間の定数であるようにした請求の範囲３記載の方法。