JP2000511307A - 同時学習およびパフォーマンス情報処理システム - Google Patents

Abstract

(57)【要約】 各タイムトライアルの始めに測定値のベクトルと測定曖昧度値のベクトルがシステム（１０）へ与えられ、学習重みがシステム（１０）へ与えられるかもしくはそこから発生される。次にシステム（１０）は各タイムトライアル中に次のオペレーションを実行する。測定値を特徴値へ変換する、測定曖昧度値を特徴バイアビリティ値へ変換する、各バイアビリティ値を使用して各特徴値の消失値状態を決定する、非消失特徴値を使用してパラメータ学習を更新する、非消失特徴値および／もしくは事前学習から各消失特徴値を転嫁する、転嫁した特徴値を出力転嫁測定値へ変換する、多様な特徴値および特徴機能監視および解釈統計を適用する。システム（１０）の並列実施例では並列特徴プロセッサ（３１）と、結合重みを含み特徴プロセッサを対として接続する、ジョイントアクセスメモリ（２３）の調整された使用によりこのようなオペレーションが全て並行的に実行される。

Description

【発明の詳細な説明】 同時学習およびパフォーマンス情報処理システム 発明の分野 一般的に、本発明は並列処理ニユーロコンピュータシステムに関し特に一連の 測定トライアル中に学習およびパフォーマンスが生じるリアルタイム並列処理に 関する。 背景 従来の統計学的ソフトウェアおよび従来の神経回路網ソフトウェアは学習フェ ーズ中に入出力関係を識別し、学習した入出力関係をパフォーマンスフェーズ中 に適用する。例えば学習フェーズ中に神経回路網は周知の入力値から周知の目標 出力値が発生されるまで結合重みを調整する。パフォーマンスフェーズ中に、神 経回路網は学習フェーズ中に識別された結合重みを使用して周知の入力値から未 知の出力値を引き出す。 従来の神経回路網は単純な相互結合された処理素子からなっている。各処理素 子の基本動作はその入力信号を有用な出力信号へ変換することである。各相互結 合が１つの素子から別の素子へ信号を送信し、出力信号への相対的影響は特定の 相互結合の重みによって決まる。従来の神経回路網は周知の入力値および出力値 を網へ与えて学習することができ、それにより相互結合の重みが変化する。 従来のさまざまな神経回路網学習方法およびモデルが大量並列処理のために開 発されてきている。その中で逆伝搬法は最も広く使用されている学習方法であり 多層パーセプトロンは最も広く使用されているモデルである。多層パーセプトロ ンは２つ以上の処理素子層を有し、最も一般的には入力層と、１つの隠蔽層と出 力層である。隠蔽層は従来の神経回路網が非線形入出力関係を識別できるように する処理素子を含んでいる。 従来の神経回路網の学習およびパフォーマンス動作は、神経回路網処理素子が 並列動作できるため、各段階中に迅速に実施することができる。従来の神経回路 網の精度は、層数および各層内の処理素子数を含む、ユーザが予め指定するデー タの予測可能性および網構造によって決まる。 従来の神経回路網の学習は１組の学習レコードが網へ付与される場合に生じ、 このような各レコードが固定入力値および出力値を含んでいる。網は各レコード を使用して最初に結合重みおよびその点までに学習されている他のパラメータと 共にレコード入力の関数として網出力を計算することにより網の学習を更新する 。次に計算された出力値と学習レコード出力値との近似性に応じて重みが調整さ れる。例えば、学習した出力値が１．０で網計算値が０．４であるとする。網誤 差は０．６（１．０−０．４＝０．６）であり、それは誤差を最小限に抑えるの に必要な重み調整を求めるのに使用される。このような学習レコードが使用され るまで同様に重みを調整することにより学習が行われ、その後全ての誤差が十分 に低減されるまでプロセスは繰り返される。 従来の神経回路網学習およびパフォーマンスフェーズは基本的に２つの点で異 なっている。重み値は学習中に変化して学習および計算出力間の誤差を減少させ るが、重み値はパフォーマンスフェーズ中は一定である。さらに、出力値は学習 フェーズ中は周知であるが、パフォーマンスフェーズ中は予測できるにすぎない 。予測される出力値はパフォーマンスフェーズ入力値および学習フェーズ中に学 習された結合重み値の関数である。 従来の統計学的解析および神経回路網解析による入出力関係識別はある応用に ついては満足のいくものではあるが、両方法共別の応用については有用性が制限 される。有効なマニュアルデータ解析を行うには、広範な学習および経験と、時 間を要する努力を必要とする。従来の神経回路網解析が必要とする学習および努 力はより少ないが、得られる結果は信頼度が低くマニュアルな結果よりも解釈が 困難である。 従来の統計学的方法および従来の神経回路網方法の欠陥は各方法により実施さ れる異なる学習およびパフォーマンスフェーズから生じるものである。２つの異 なるフェーズを必要とするためパフォーマンスを開始する前に相当な学習時間が 費やされる。マニュアルな統計学的方法では訓練されたエキスパートの解析であ っても相当な時間を要するために学習遅延が生じ、神経回路網方法では膨大な学 習レコードを通る多くの学習パスを必要とするために学習遅延が生じる。したが って、従来の統計学的解析は（ａ）学習発生時間と学習したモデルの使用時間と の間で遅延が許容され、（ｂ）時間学習解析の開始とパフォーマンス動作の開始 との間で入出力関係が安定である状況に限定される。 したがって、従来技術の情報処理システムには任意のタイムトライアル内で学 習やパフォーマンスやその両方を迅速に行うことに対するニーズがある。 発明の要約 一般的に、本発明はタイムトライアル中に変数の測定された入力値を受信しト ライアル毎に学習した関係を改善することにより変数間の関係を徐々に（学習す る）データ解析システムを提供するものである。さらに、任意の入力値が消失し た場合本発明は、タイムトライアル中に、解析した変数間の前に学習した関係に 基づいた消失値の予期（転嫁（ｉｍｐｕｔｅｄ））出力値を与える。 特に、本発明は入力値の所定の関数である数学的回帰解析特徴値を実行して転 嫁値を与える。回帰解析は結合重みのマトリクスを利用して各特徴値を他の特徴 値の重み付けされた和として予測することにより行われる。結合重み素子は各ト ライアル中にトライアル入力測定値からの新しい結合重み情報を反映するように 更新される。また前に受信したベクトルに及ぼす入力測定値ベクトルのインパク ト量を求めるコンポーネント学習重みも各トライアル中に利用される。実施例に 関して、本発明は入力値を並列処理するかもしくは逐次処理することができる。 さまざまな入力値をベクトル形式で与えることができる。入力特徴値ベクトルの 各値が前に学習したパラメータについて個別に演算される。並列実施例では、複 数のプロセッサが入力値を処理し、各プロセッサはベクトルからの特定の入力値 の受信専用である。すなわち、システムが１６の特徴値（すなわち、１６の長さ のベクトルに対応する）を受信するように設定されると、各入力特徴値を処理す るための１６台の処理装置が使用される。逐次処理の実施例では、各入力特徴値 を逐次処理する１台のプロセッサが使用される。 本発明の並列処理の実施例では、各処理装置は、タイムトライアル中に、入力 ベクトルからの個別の入力値を受信するように作動する。複数の導体により各処 理装置がシステムの１台置きの処理装置に接続される。導体は本発明のプロセス に従って各処理装置間で重み付けされた値を転送する。各処理装置は、前記タイ ムトライアル中に、重み付けされた値に基づいて転嫁する出力値を与える。また 、同じタイムトライアル中に、各処理装置は受信した入力値に基づいて重み付け された値を計算するための結合重みを更新する。 特定のプロセッサが駆動できる出力数が限定されるため、データ処理のために 多くの処理装置を並列に相互接続すると、１台の処理装置により相互接続すなわ ち駆動できる処理装置の数は実質的に制限される。しかしながら、本発明により 多くのプロセッサと連絡された１台のプロセッサに関連する問題を緩和するよう に相互接続する導体に沿った複数のスイッチングジャンクションが提供される。 スイッチングジャンクションは各プロセッサをシステムの１つおきのプロセッサ と一意的に対とするように作動する。本発明によりさらにスイッチングジャンク ションに接続されるメモリ素子が提供される。各メモリ素子は独立したスイッチ ングジャンクションへ個別に接続され１つの結合重み値を含んでいる。好ましく は、スイッチングジャンクションに配置された結合重みメモリ素子は出力値の計 算に使用するマトリクスの結合重み素子である。 スイッチングジャンクションは各プロセッサを一時に１つおきのプロセッサだ けに選択的に接続して、時間間隔中に重み値と連絡する多数組みのプロセッサ対 を形成するように作動することができる。好ましくは、スイッチングジャンクシ ョンは多数の時間間隔中に前記多数組みのプロセッサ対のさまざまな組を連続的 に接続することができる。また、好ましくはスイッチングジャンクションは多数 のプロセッサ対のさまざまな組を最小数のステップであり得る全ての組合せに接 続するように作動することができる。コントロールユニットはプロセッサ間の重 み付けされた値の転送を制御するためにスイッチングジャンクションへスイッチ ング信号を与えるように作動する。プロセッサ通信が行われる導体は好ましくは 第１の導体層および第２の導体層に設けられ、第１および第２の導体層はスイッ チングジャンクションで接続するように作動することができる。 本発明は逐次方式で実施することもできそこでは従来のコンピュータ記憶装置 と共に従来のコンピュータ処理装置を使用して入力値を処理することができる。 本発明の逐次処理実施例でも同様にタイムトライアル中に受信される入力値から 出力値が計算される。逐次方式では、処理装置は入力ベクトルから入力値を逐次 受信するように作動する。並列方式と異なり、結合重みマトリクスの要素はデー タ列として逐次記憶装置へ記憶される。 逐次方式の処理装置は、タイムトライアル中に、結合重みマトリクスの要素に 基づいて転嫁出力を与えるように作動しかつタイムトライアル中に結合重みマト リクスの要素を更新するように作動する。２次元アレイの素子として結合重みを 演算処理する従来の方式とは異なり、逐次方式では結合重みマトリクスの各要素 が特別に設計されたシーケンスで迅速に演算処理される。従来の方式ではマトリ クス乗算演算は一般的に入れ子型アクセスループであるため（ロー用とコラム用 に１つづつ）並行演算は本発明の逐次方式による方法よりも遅い。 本発明により早期トライアル中に結合重みマトリクスを更新するシステムも提 供される。結合重みマトリクスを更新するシステムにはタイムトライアル中に入 力特徴ベクトルから値を受信するように作動する処理装置と特徴変数間の関係を 識別する結合重み要素を含む記憶装置が含まれている。処理装置は受信する入力 ベクトルの非消失値に基づいて結合重み要素を更新するように作動する。他の方 式とは異なり、本発明の処理装置は受信する各入力ベクトルについて異なる学習 重みであるコンポーネント学習重みに基づいて結合重み要素を更新するように作 動する。コンポーネント学習重みを使用することにより、特徴変数間の正確な関 係を求めることができる。 さらに、本発明の並列処理実施例および逐次処理実施例の両方において、情報 処理システム内のコントローラユニットにより出力値および学習値を評価かつコ ントロールすることができる。各入力ベクトルが前の学習に及ぼす相対的影響を 一般的に調整するようにトライアル毎に学習重みを自動的に調整する学習重みコ ントローラを設けることができる。さらに、ユーザはシステムとインターフェイ スしてシステムから自動的に提供される学習重みとは異なる所望の学習重みを与 えることができる。また、最初にシステムにより受信された測定値をシステムが 転嫁および学習のために使用する入力特徴ベクトルへ変換するように作動する特 徴関数コントローラが本発明により提供される。特徴関数コントローラはデフォ ルト初期結合重みを与えるかもしくは結合重み要素を外部から受信してシステム のユーザが所望により初期重みを与えることができるように作動する。 さらに、学習重みコントローラは入力値の異常な偏差が生じる場合にコンピュ ータシステムの学習機能をディセーブルすることができる。また、特徴関数コン トローラは現在の測定値と前のトライアルから格納された対応する測定値との１ 次差等の多様な統計を生成して測定値の突然の変化を識別するように作動する。 入力値の突然の変化は入力値を受信する計器が故障していることを示すことがあ る。 本発明の物理的な実施例の他に、本発明によりいくつかのプロセスが実施され る。本発明のプロセスには、処理装置においてタイムトライアル中に入力ベクト ルｍ［ＩＮ］（ｆ）を受信し、タイムトライアル中に結合重み要素に基づいて入 力ベクトルの消失入力値から出力値を計算し、タイムトライアル中に入力ベクト ルの入力値に基づいて結合重み要素を更新することが含まれる。 本発明のプロセスにはさらに前記したコンポーネント学習重みに基づいて結合 重み要素を更新するステップを含むことができる。学習重み要素は、グローバル 学習重み１を受信し、各入力ベクトルの前の学習重みのインジケータである学習 履歴パラメータλを受信し、入力特徴ベクトルの消失程度を示すバイアビリティ （ｖｉａｂｉｌｉｔｙ）ベクトルν（ｆ）を受信し、これらの値を一緒に乗じて 学習コンポーネント重みを得て（すなわち、ｌ（Ｃ）（ｆ）＝ｌν（ｆ）ｌ（ｆ ））計算することができる。 本発明は同じトライアル中に結合重みマトリクスを迅速に更新できるようにさ れておりシステムは受信する全特徴ベクトルの平均ベクトルμ［ＯＵＴ］を結合 重み更新プロセスの一部として利用することによりある値を転嫁する。入力事前 平均ベクトルをさまざまな出力値およびシステムのパラメータの計算に利用する ことにより、迅速に更新を行うことができる。事前平均ベクトルμ［ＩＮ］は前 の測定トライアルからのμ［ＯＵＴ］に等しい。プロセスが最初のトライアルで あれば、μ［ＩＮ］はシステムデフォルト値、好ましくはユーザ提供値に対する 値１．０、に等しくすることができる。μ［ＯＵＴ］の要素は下記のプロセス式 により計算される。 本発明のプロセスには中間転嫁ベクトルｅ［ＩＮ］を使用して結合重み要素を 更新することも含まれる。ｅ［ＩＮ］ベクトルの要素は次式に従って計算するこ とができる。 結合重みマトリクスは下記のプロセス式を利用して更新することができる。 ここに、 かつ ｄ＝ｅ［ＩＮ］ω［ＩＮ］ｅ［ＩＮ］^T＝ｘｅ［ＩＮ］^T 更新プロセスにおいて、前のトライアルからω［ＩＮ］＝ω［ＯＵＴ］である。 現在のトライアルが最初のトライアルであれば、ω［ＩＮ］はシステムのデフォ ルト値、好ましくは恒等マトリクスもしくはユーザ提供値に等しくすることがで きる。 転嫁プロセス中に、次式に従って転嫁された出力ベクトルｍ［ＯＵＴ］の要素 が計算される。 ｍ［ＯＵＴ］（ｆ）＝μ［ＩＮ］（ｆ）＋ｅ［ＩＮ］（ｆ）（２−ν（ｆ））＋ ｘ（ｆ）（ν（ｆ）−１）／ω（ｆ，ｆ） 本発明のプロセスが使用する他の値については後記する。 さらに、本発明によりｘベクトルを計算するための多数のプロセッサ対へのア クセス方法が提供される。このプロセスにはタイムトライアル中に一意的に対と された多数組みのプロセッサへアクセスし、対とされたプロセッサユニットを接 続するスイッチングジャンクションに位置する各結合重み要素を検索し、各プロ セッサに位置するｅ［ＩＮ］（ｆ）をスイッチングジャンクションに接続された 他方のプロセッサヘ転送し、次にシステムの全プロセッサ対がｘの対応する値を 計算するまでｅ［ＩＮ］ω［ＩＮ］の移動和を計算することが含まれている。 本発明のプロセスにより結合重み要素を更新する各組のプロセッサをアクセス する方法も提供される。このプロセスにはタイムトライアル中に一意的に対とさ れた多数組みのプロセッサへアクセスし、スイッチングジャンクションに位置す る結合重み要素をスイッチングジャンクションに位置する１台のプロセッサによ り検索し、結合重み要素を検索したプロセッサにより検索重み要素を更新し、更 新された検索重み要素をスイッチングジャンクションのメモリ素子へ転送するこ とが含まれる。 したがって、受信する入力値に基づいて正確な学習を行う情報処理システムを 提供することが本発明の目的である。 単一のタイムトライアル中に入力測定値を入力特徴値へ変換することが本発明 のもう１つの目的である。 単一のタイムトライアル中に学習およびパフォーマンス（測定および特徴値転 嫁）を行うことが本発明のもう１つの目的である。 非消失値から消失値を転嫁することが本発明のもう１つの目的である。 異常な入力特徴偏差を識別することが本発明のもう１つの目的である。 単一のタイムトライアル中に迅速に学習およびパフォーマンスを行うシステム を提供することが本発明のもう１つの目的である。 入力特徴値の突然の変化を識別することが本発明のもう１つの目的である。 入力特徴値を迅速に並列処理するシステムを提供することが本発明のもう１つ の目的である。 入力特徴値を迅速に逐次処理するシステムを提供することが本発明のもう１つ の目的である。 多数の並列処理装置がシステムの各処理装置間で通信できるシステムを提供す ることが本発明のもう１つの目的である。 多数の並列処理装置を対としてアクセスすることができるシステムを提供する ことが本発明のもう１つの目的である。 最小数のステップで対とされたプロセッサ間の通信を行うことが本発明のもう １つの目的である。 前記目的を達成するプロセスを提供することが本発明のもう１つの目的である 。 本発明のこれらおよびその他の目的、および利点は添付図を参照して以下の説 明を読めば明白である。 図面の簡単な説明 第１図は本発明の実施例を示す図。 第２図は本発明の実施例の並列プロセッサの実施例を示すブロック図。 第３図は本発明の実施例の逐次コンピュータの実施例を示すブロック図。 第４図は本発明の実施例により演算処理することができるピクセル値アレイを 示す図。 第５図は本発明の並列実施例で使用するジョイントアクセスメモリおよびプロ セッサの回路レイアウト。 第６ａ図は本発明の実施例のジョイントアクセスメモリ内のノードのスイッチ ング詳細を示す図。 第６ｂ図は本発明の実施例のジョイントアクセスメモリ内のノードのスイッチ ング詳細の側面図。 第７図は並列実施例の中間マトリクス／ベクトル演算処理中のジョイントアク セスメモリコントロールのタイミング図。 第８図は本発明の実施例のジョイントアクセスメモリのスイッチングジャンク ションに関連する更新演算処理のジョイントアクセスメモリコントロールタイミ ングのタイミング図。 第９図は本発明の実施例の並列実施例の処理時間間隔調整を示す図。 第１０図は本発明の実施例の並列実施例として実施される全体システムのブロ ック図。 第１１図は本発明の実施例の逐次実施例として実施される全体システムのブロ ック図。 第１２図は本発明の実施例の並列実施例で使用されるコントローラの通信接続 を示す。 第１３図は本発明の実施例の逐次実施例で使用される別のコントローラの通信 接続を示す。 第１４図から第２２図は本発明の実施例で実施されるプロセスのステップを示 すフロー図。 詳細説明動作概観 次にいくつかの図面を通して同じ番号は同じ部品を表す図面を参照して、本発 明の実施例に従って作られる同時学習およびパフォーマンス情報処理（ＣＩＰ） ニューロコンピューティングシステムを示す。第１図を参照して、ＣＩＰシステ ム１０はディスプレイモニタ１４に接続されたコンピュータ１２により実現され ている。ＣＩＰシステム１０のコンピュータ１２はデータ取得装置（ＤＡＤ）１ ５から評価データを受信し、それは接続線１６を介してさまざまな時点で多数の 測定値を提供することができる。データ取得コンピュータボードおよび関連ソフ トウェア等のデータ取得装置はナショナルインスツルメンツ社等の会社から市販 されている。コンピュータ１２も入力線１８を介して従来のキーボード１７から 入力データおよび／もしくは動作仕様を受信することができる。ある時点で１組 の入力測定値を受信して応答することをここではトライアルと呼び、１組の入力 値を測定レコードと呼ぶ。 一般的に、ＣＩＰシステム１０が入力測定値レコードを受信すると、システム はトライアル中に受信される測定値間に存在する関係を決定（学習）する。トラ イアル中にある測定値が消失すると、ＣＩＰシステム１０は非消失現在測定値と 共に前の測定値間で前に学習した関係に基づいて予期される転嫁値を与える。 ＣＩＰシステム１０はデータ取得装置１５から測定レコードを受信して測定値 を特徴値へ変換する。測定値の特徴値への変換により学習すなわち転嫁に必要な 学習パラメータ数が減少する。特徴値およびそこから計算される他の値はある測 定値が消失していたりあるいはシステムの監視された測定値が前の測定値から異 常に外れていないかを確認する場合に値を予測すなわち転嫁するのに有用なデー タを提供する。 トライアルの開始に入力測定レコードを受信すると、ＣＩＰシステム１０は各 入力レコードが到来したらできるだけ速く（すなわち、システム１０は同時に実 施する）下記のオペレーションを実施する。到来する測定値から入力特徴値を引 き出し（同時データ簡約）、異常な入力特徴値もしくはトレンドを識別し（同時 監視）、消失特徴値を推定（すなわち、転嫁）し（同時判断）、学習した特徴お よび平均学習特徴分散および特徴間の学習相互結合重みを更新する（同時学習） 。 ＣＩＰシステムは（ａ）化学もしくは放射能環境における計器監視、（ｂ）衛 星搭載測定監視、（ｃ）予期せぬ襲撃中のミサイル追跡、（ｄ）入院患者治療監 視、および（ｅ）競争相手の値付け戦略の予測および監視等の、連続および適応 等の、多くの応用にとって有用である。ある応用では高速であることは他の応用 よりも重要ではない。その結果、ＣＩＰシステムは従来の（すなわち、逐次）コ ンピュータの実施例もしくは高速並列ハードウェアの実施例を提供する。 ある応用では速度は主要な関心事ではないが、ＣＩＰの高速は広範なユーティ リティにとって有利である。逐次ＣＩＰ実施例は２つの理由から従来の統計学的 なものよりも高速である。第１に、ＣＩＰシステムはオフライン学習ではなく並 行更新を使用し、第２にＣＩＰシステムは従来の統計学的方法のようにまず共変 マトリクスを計算し次にそれを反転させるのではなくある共変マトリクスの逆元 を直接更新する。並行マトリクス逆更新により高速ＣＩＰインプリメントが許さ れる。逐次プロセスを使用して実施すると、ＣＩＰの応答時間は利用するデータ 特徴数の二乗が増加するにつれて増加する。しかしながら、並列プロセスを使用 して実施すると、ＣＩＰ応答時間は利用する特徴数の増加につれて増加するにす ぎない。並列システムでは、各特徴についてプロセッサが提供される。その結果 、 並列ＣＩＰの応答時間は利用する特徴数倍だけ逐次ＣＩＰの応答時間よりも速く なる。並列システム概観 第２図を参照して、ＣＩＰシステム１０の基本的サブシステムの並列実施例を 示す。サブシステムについて詳細に検討する前に、第２図を参照して演算ＣＩＰ の概観を検討する。ＣＩＰサブシステムはシステムバス１９、トランスジューサ ２０、カーネル２１およびマネジャー２２を含んでいる。トランスジューサ２０ およびカーネル２１は前記したさまざまな同時オペレーションを遂行するために 連続的に作動する。入力測定値が最初にトランスジューサ２０により入力特徴値 へ変換される。次に入力特徴はカーネル２１により処理されて転嫁（すなわち、 出力）特徴、更新学習パラメータおよび監視統計が得られる。次に出力特徴値は トランスジューサ２０により転嫁（すなわち、出力）測定値へ変換される。マネ ジャー２２はトランスジューサ２０およびカーネル２１の並行オペレーションを 調整してシステムオペレーションを時々洗練する。 トランスジューサ２０の基本的な構成要素は最近特徴メモリ（ＲＦＭ）２５お よび出力プロセッサ２６を有する入力プロセッサ２４である。入力プロセッサ２ ４および出力プロセッサ２６は、それぞれ、入力および出力コントロールユニッ ト２７および２８によりコントロールされる。最近特徴メモリ２５は、前のトラ イアルから得られた、予め選定された数の入力特徴値ｍ［ＩＮ］を格納している （ここでは全ベクトルがローベクトルである）。前記したように、格納された最 近特徴を入力測定値ｊ［ＩＮ］と共に使用して現在のトライアルに対する同時入 力特徴値ｍ［ＩＮ］を計算することができる。各トライアルの始めに、入力プロ セッサ２４は入力測定値ベクトルｊ［ＩＮ］および対応する曖昧度ベクトルｐを 受信する。曖昧度ベクトル要素は入力測定値ベクトル要素を非消失もしくは消失 として識別する。 次に入力プロセッサ２４は（ａ）入力ベクトルｊ［ＩＮ］をある入力特徴へ変 換し変換されたこれらの入力特徴を最近特徴メモリ２５内の他の変換された特徴 と組み合わせて入力特徴ベクトルｍ［ＩＮ］を生じ、かつ（ｂ）曖昧度ベクトル ｐを対応するバイアビリティベクトルνへ変換する。曖昧度ベクトルと同様に、 バイアビリティベクトル要素は入力ベクトル要素を非消失および消失として識別 する。各トライアルの終りに、出力プロセッサ２６は出力特徴ベクトルｍ［ＯＵ Ｔ］を受信する。出力プロセッサ２６は出力特徴ベクトルｍ［ＯＵＴ］を対応す る出力測定値ベクトルｊ［ＯＵＴ］へ変換する。 トランスジューサ入力プロセッサ２４が受信する入力測定値ベクトルｊ［ＩＮ ］はＤＡＤ１５（第１図参照）からの入力測定値ベクトルの値を含んでいる。Ｄ ＡＤ１５により外部から与えられるかもしくはマネジャー２２により内部から与 えられる曖昧度値は測定値の曖昧度値が０であるか（消失）、１であるか（非消 失）あるいはある中間値であるか（後記する消失および非消失量値の組合せ）ど うかを示す。ｐの対応する要素が０であることによって決まるように、ｊ［ＩＮ ］の要素が消失しておれば、ｊ［ＩＮ］の非消失要素および／もしくは前に学習 した情報に基づいてｊ［ＯＵＴ］の対応する要素が転嫁される。転嫁プロセスは トランスジューサ入力プロセッサ２４内での測定値から特徴への変換、それに続 くカーネル内での消失特徴値の転嫁、それに続くトランスジューサ出力プロセッ サ２６内での転嫁特徴から転嫁測定値への変換を利用している。 同時オペレーションの前に、トランスジューサ入力プロセッサ２４はマネジャ ー２２により決定される関数に従って特徴値およびバイアビリティ値を計算する 。ｍ［ＩＮ］内の各特徴要素はｊ［ＩＮ］内の測定値要素の関数であり、νの各 バイアビリティ要素はｐ内の曖昧度要素の対応する関数である。例えば、ｍ［Ｉ Ｎ］内の最初の特徴関数は和、ｍ［ＩＮ］（１）＝ｊ［ＩＮ］（１）＋ｊ［ＩＮ ］（２）、とすることができ、ｍ［ＩＮ］内の第２の特徴関数は積、ｍ［ＩＮ］ （２）＝ｊ［ＩＮ］（１）ｊ［ＩＮ］（３）、とすることができる。各特徴バイ アビリティ値は特徴関数における独立変数である測定値の曖昧度値間の積である 。例えば、前記した３つの測定関数の曖昧度値がｐ（１）＝１．０，ｐ（２）＝ ０．５かつｐ（３）＝０．０であれば、前記した２つの特徴バイアビリティ値は ν（１）＝１．０ｘ０．５＝０．５，かつν（２）＝０．５ｘ０．０＝０．０と なる。 特徴バイアビリティ要素は対応する測定値曖昧度要素の積として計算される。 各ＣＩＰシステム入力測定値は大きい組からの非消失量測定値の平均として処理 され、そのいくつかは消失していることがある。各入力測定値の対応する曖昧度 値は大きい組内で非消失であるコンポーネント量の比率として処理される。確率 論から加法もしくは積合成特徴関数がこのようないくつかの入力測定値により構 成され消失量の分布が測定値間で独立であれば、全ての量測定値が非消失である 合成関数の項の予期された比率はコンポーネント測定曖昧度値の積である。ＣＩ Ｐシステム内の特徴バイアビリティ値はこの予期された比率の解釈を有するため 、特徴バイアビリティ値はコンポーネント測定曖昧度値の積として計算される。 入力測定値ｊ［ＩＮ］および曖昧度値ｐがトランスジューサ入力プロセッサ２ ４により入力特徴ベクトルｍ［ＩＮ］およびバイアビリティ値νへ変換された後 で、カーネル２１は次のトライアル内オペレーションを開始する。カーネル２１ への入力には結果的に得られるｍ［ＩＮ］内の特徴値、ν内の対応するバイアビ リティ値および入力学習重み１が含まれる。カーネル２１は、特徴１のプロセッ サ３１₁から特徴Ｆのプロセッサ３２_Fまで、カーネルコントロールモジュール３ ２、およびバス４５から４５_Fを介してプロセッサ３１からプロセッサ３１_Fへ接 続されているジョイントアクセスメモリ（ＪＡＭ）２３を含んでいる。カーネル ２１からの出力にはｍ［ＯＵＴ］内の転嫁された特徴値、接続４１₁から４２_Fお よび４１_JAMを介してマネジャーへ送られる特徴関数監視統計、および接続４０₁ から４０_Fを介してマネジャーへ送られる特徴値監視統計が含まれる。 好ましくはカーネルプロセッサ３３₁から３１_Fは、プロセッサ３１₁からプロセ ッサ３１_Fのコストおよびサイズを低減するために、基本的な算術機能を実施す る演算処理装置（ＡＬＵ）を使用する。当業者にはお判りのように、このような 基本的なプロセッサはメントールグラフィック社の製品であるＭｅｎｔｏｒ て設計することができる。 カーネルプロセッサ３１₁から３１_Fは、ｍ［ＩＮ］の非消失要素および／もし くは前に学習したカーネル２１パラメータに基づいて消失特徴値を転嫁し、各プ ロセッサおよびジョイントアクセスメモリ２３内に常駐する学習したパラメータ を更新し、マネジャー２２が使用する監視統計を作り出すように作動する。後記 するように、カーネルプロセッサ３１₁から３１_Fはプロセッサ間通信の２ス テップを利用して関係する値を各プロセッサから他の各プロセッサへ転送する。 またカーネルプロセッサはカーネル距離ＡＬＵ３４内で距離測度ｄを計算する。 距離ＡＬＵ３４と各カーネルプロセッサ間の通信は接続３５₁から３５_Fを介して 行われる。 カーネル入力学習重み１は非負数であり−入力曖昧度値およびバイアビリティ 値と同様に−量／確率測度である。各トライアルに対する学習重み１はＣＩＰシ ステムにより量カウントの比率として処理され、その分子は現在のトライアルに 対する量測定ベクトル数であり、その分母は前の学習で使用された量測定値の総 計である。したがって、現在の入力特徴ベクトルｍ［ＩＮ］は高い学習重み１値 を有する場合、低い学習重み１値を有する場合よりも学習パラメータの更新に及 ぼすインパクトが大きくなり、それは入力特徴ベクトルｍ［ＩＮ］が結果的に得 られる曖昧度量測定値の合計の高い比率を含むためである。通常、学習重み１は 各トライアル中に入力変数として与えられるが、後記するように学習重みは随意 ＣＩＰシステムマネジャー３２が発生することもできる。 カーネル転嫁、メモリ更新および監視オペレーションは非消失特徴値の加法的 関数として消失特徴を予測する統計学的回帰フレームワークに基づいている。回 帰フレームワーク内で、他の全てから各消失特徴値を転嫁する重みは良く知られ ている。転嫁に使用する重みの定式化はサンプル共変マトリクス逆元の関数であ る。従来の回帰方法では、学習サンプルに基づいて最初にＦｘＦ共変マトリクス が計算され、続いて共変マトリクスが反転され次に逆元の関数として回帰重みが 計算される。従来の方法には現在の入力トライアルまでに受信された全測定値を 含む学習セットを格納して演算処理することが含まれている。逆マトリクスを得 ることができる現在の共変量を最初に計算するために前の全測定値が必要である ため、典型的に従来のシステムでは全測定値が格納される。 従来の統計学的オペレーションとは異なり、ＣＩＰカーネル２１オペレーショ ンは（ａ）νの逆元およびそのトライアルまでに学習されている他のパラメータ 、（ｂ）到来する特徴値ｍ［ＩＮ］、および（ｃ）入力学習重み１のみに基づい て直接νの逆元を更新する。したがって、ＣＩＰオペレーションは学習データセ ットを格納かつ演算処理したり共変マトリクスを反転する必要なしに迅速に到来 す る情報と歩調を保つことができる。 νの逆要素を更新するプロセスはＣＩＰの従来の学習に対するものである。Ｃ ＩＰのトライアル毎の高速更新能力によりオフライン学習データからの従来の学 習に対する統計学的に適切な高速の改善がなされる。その結果、ＣＩＰシステム １０により従来技術は改良される。 引き続き第２図を参照して、ジョイントアクセスメモリ２３は考えられるＦｘ （Ｆ−１）／２対の特徴の各対に１つづつの特徴相互結合重みを含んでいる。特 徴結合重みν逆元の下位三角要素に対応している。ν逆元の主対角要素もカーネ ル転嫁および特徴機能監視中に使用され、並行学習中に修正される。ν逆元主対 角集合の個別要素はそれらの対応するカーネルプロセッサ内に常駐している。 カーネル２１はｍ［ＯＵＴ］内の特徴値を転嫁すると、転嫁した特徴ベクトル ｍ［ＯＵＴ］を線３３を介してトランスジューサ出力プロセッサ２４へ返送し、 そこでｍ［ＯＵＴ］内の転嫁した特徴値はｊ［ＯＵＴ］内の転嫁した測定値へ変 換されトランスジューサ出力プロセッサ２６によりシステム出力される。あるモ デリング状況では、単純な出力変換しか必要ではない。例えば、ＣＩＰシステム 特徴が元の測定値の積関数と共に元の測定値を含む場合には、出力プロセッサ２ ６は転嫁した測定値セットを除く全てを転嫁した特徴セットから除外することに より転嫁した特徴を転嫁した測定値へ変換する。別のモデリング状況では、より 精巧な変換を利用することができる。例えば、ＣＩＰシステム特徴はトランスジ ューサ入力処理中に１組の測定値をその平均値へ変換することができ、その場合 トランスジューサ出力プロセッサ２６は転嫁した全測定値をそれらの転嫁した共 通平均値へ設定する。 転嫁した測定値ｊ［ＯＵＴ］が出力として生じていると、（ａ）計器が故障す る期間等に測定値を直接置換する、（ｂ）計量経済学的予測オペレーション期間 等に測定を行う前に測定値を予測する、（ｃ）潜在的な故障製品分類オペレーシ ョン期間等に起こるはずの無い測定値を予測する、ことを含むいくつかの方法で 出力は有用となる。 マネジャー２２はＣＩＰシステムオペレーションを監視かつコントロールする 。マネジャー２２のサブシステムは、ＣＩＰシステムユーザインターフェイスを 提 供するコーディネータ３８と、全体システムコントロールを指令するエグゼクテ ィブ３９と、データ取得装置１５（第１図）から外部供給されるｌ値の替わりに １をカーネル２１へ与える学習重みコントローラ４０と、測定値−特徴機能関数 を確立して修正する特徴機能コントローラ４１を含んでいる。ＣＩＰシステム同 時オペレーションにおいて、カーネルおよびトランスジューサ２０は同時モード においてアクティブである。システムが同時モードで作動している時は、カーネ ル２１およびトランスジューサ２０はエグゼクティブ４８により設定されるシス テムコントロールパラメータに従って、入力測定値、曖昧度値および学習重みに 基づいて連続的に作動する。これらのパラメータには入力測定値仕様、特徴計算 仕様、モジュール間バッファリング仕様および出力測定仕様が含まれる。並行動 作中に、ＣＩＰシステムは転嫁した特徴値、特徴値監視統計、更新した学習カー ネルパラメータおよび入力された出力測定値を作り出す。 ＣＩＰシステムはカーネル２１、学習重みコントローラ４０およびコーディネ ータ４９により実施される特徴値監視動作を実施することもできる。特徴値監視 動作中に、各カーネルプロセッサ３１₁から３１_Fは監視統計を接続４０₁から４ ０_Fを介してマネジャー２２へ送る。各トライアル中にマネジャー２２内の学習 重みコントローラ４０は偏差監視統計を使用して、（ａ）その特徴に対する前の 学習から計算されている平均値、および（ｂ）特徴が消失していた場合に転嫁し た特徴値に対する各特徴の予期しない程度を評価する。各カーネルプロセッサか ら送られる特徴値統計は観察値、学習値、回帰値およびプロセッサの特徴に対す る学習分散値を含んでいる。学習重みコントローラ４０は特徴値監視統計を使用 して並行特徴分散測度を計算する。これらの分散測度は次に学習重みコントロー ラ４０からコーディネータ３８へ送られて監視グラフィクスが作り出され、シス テムバス１９を介してモニター１４へ送られる。 特徴転嫁、特徴値監視および学習パラメータ更新オペレーションを同時に指定 する他に、ＣＩＰマネジャー２２は特徴機能評価および割当てを時々指定し、あ るいはＣＩＰマネジャー２２は学習および割当てをコントロールする。特徴機能 評価および割当ては接続４１₁から４１_Fを介したプロセッサ１内の他の重みと共 に、並列ポート４１_JAMを介したジョイントアクセスメモリ２３内の相互結合 重みを同時にアクセスすることにより、マネジャー２２内の特徴機能コントロー ラ４１により実施される。特徴機能コントローラ４１は最初に相互結合重みを調 べて冗長もしくは不要な特徴、すなわち、学習および転嫁に有用な情報を提供し ない特徴を識別する。特徴機能コントローラ４０は次にトランスジューサ入力プ ロセッサ２４を指令して、コントロール線４３を介して、冗長特徴を結合し、不 要な特徴を除去しあるいは新しい特徴を加える。 ＣＩＰ転嫁および学習パラメータ更新オペレーションと同様に、ＣＩＰ機能監 視およびコントロールオペレーションは統計学的回帰フレームワークに基づいて いる。例えば、冗長もしくは不要な特徴を識別するのに必要な部分相関係数およ び重相関係数は全てジョイントアクセスメモリ２３内に常駐するν逆元の要素か ら計算することができ、このような洗練オペレーションを実施するのにカーネル ２１アーキテクチュアに極めて似たアーキテクチュアを使用することができる。 洗練オペレーションは並行カーネル２１オペレーションのように高速に実施する ことはできないが、後記する並列洗練プロセッサを使用すれば進行中のカーネル ２１オペレーションとほとんど同じ速さで調和して実施することができる。 学習重み解釈の確率／量基底により学習重みスケジュールを計算して、（ａ） 各入力特徴ベクトルがパラメータ学習に対して同じ全体インパクトを有する等イ ンパクト学習、（ｂ）より最近の入力特徴ベクトルよりも最近ではない入力特徴 ベクトルの方がパラメータ学習に対して高い全体インパクトを有する保守的学習 、および（ｃ）より最近の入力特徴ベクトルの方が全体インパクトが低いリベラ ル学習を生じるようにすることができる。学習重みコントローラ４０を使用して ベーシック形式でＣＩＰシステムへ学習重みを与える場合には、システムは同じ インパクト学習重みしか与えないようにプログラムされる。別の形式では、学習 重みコントローラ４０はＣＩＰシステム監視統計を使用して転嫁精度の異常なト レンドを識別することができる。転嫁精度が急激に低下する場合には、予め学習 したパラメータに与えるインパクトは少なくする必要がある新しい１組の状況に より転嫁精度が低下するという想定に基づいて、学習重みコントローラ４０は学 習重み計算スケジュールを変えてよりリベラルな学習を作り出す。特徴値監視が 変な測定挙動を示す場合には、学習重みは曖昧度ベクトルｐの要素を修正するこ と もできる。従来の逐次コンピュータシステム概観 第３図を参照して、１台の中央処理装置を有する従来のコンピュータのＣＩＰ システム１０の実施例をブロック図で示す。逐次ＣＩＰシステム１１の従来の逐 次コンピュータ実施例１２ａの基本的な構成要素として、トランスジューサ入力 ２４ａプロセス、カーネルプロセス２１ａ、トランスジューサ出力プロセス２６ ａ、コーディネータ４９ａ、エグゼクティブ３９ａ、学習重みコントローラ４０ ａ、および特徴機能コントローラ４１ａが含まれる。逐次ＣＩＰシステム１１は 並列ＣＩＰシステム１０と同じ基本的機能を実施する。しかしながら、従来のコ ンピュータシステムでは、１台の中央プロセッサしか利用されない。したがって 、カーネル３１ａオペレーションに１台のプロセッサしか利用しないため、入力 データの処理時間は並列ＣＩＰ計算システム１２よりも余計にかかる。 並列システム実施例と同様に、逐次システムは入力ベクトルｊ［ＩＮ］および 曖昧度ベクトルｐを受信する。並列システムと同様に、入力ベクトルｊ［ＩＮ］ はやはり入力特徴値ｍ［ＩＮ］へ変換される。前記したように、曖昧度値ｐはバ イアビリティνへ変換される。カーネルプロセス３１ａは特徴入力値ｍ［ＩＮ］ バイアビリティ値、および学習重み１をシステムから受信する。カーネル２１ａ プロセスはエグゼクティブ３９ａにより分配される従来のメモリ３０１に格納さ れた結合重みに基づいて出力特徴ベクトルｍ［ＯＵＴ］を作り出す。ＣＩＰシス テム１０について前記したように、出力特徴ベクトルｍ［ＯＵＴ］は出力トラン スジューサ２６ａへ転送され外部で使用するために出力測定値ｊ［ＯＵＴ］へ変 換される。 エグゼクティブブロック３９ａは逐次コンピュータ主機能を表し他のブロック はＣＩＰサブルーチンを表す。カーネルサブルーチン実施例のメモリ３０１は当 業者には周知の従来のデータアレイ形式を有し、全ての共有メモリは主エグゼク ティブ機能により分配され維持される。エグゼクティブ３９ａは最初にコーディ ネータ３９ａを呼び出すことによりＣＩＰシステムを初期化し、次にそれは測定 ベクトルｊ［ＩＮ］および特徴機能数等の、ユーザが提供するシステム仕様をキ ーボード１８を介して得る。次にエグゼクティブ３９ａはそれに従って学習パラ メータメモリおよび他の記憶装置を分配する。 各並行トライアル中に、エグゼクティブ３９ａプログラムはトランスジューサ 入力プロセッサ２４ａサブルーチンを呼び出し、続いてカーネル２１ａサブルー チンを呼び出し、その後トランスジューサ出力２６ａサブルーチンを呼び出す。 エグゼクティブプログラム３９ａが最初にそうするように設定されておれば、エ グゼクティブ３９ａは各トライアルの始めに学習重みコントローラ４０ａサブル ーチンを呼び出して入力学習重み１を受信し、エグゼクティブは各トライアルの 終りに特徴監視統計をコーディネータ３８ａへ与えてモニター１７上にグラフィ ック表示することもできる。並列実施例と同様に、逐次実施例の各トライアルに は入力測定値ベクトルｊ［ＩＮ］および曖昧度ベクトルｐを読み取り、続いて転 嫁した測定値ベクトルj［ＯＵＴ］を書き込むことが含まれている。しかしなが ら、従来の計算では、入出力オペレーションに入力ファイル１５および出力ファ イル１７が利用される。入力ファイルはＤＡＤ１５から入力値を受信する記憶媒 体から読み出される。出力ファイルはユーザが選択する任意の方法でＣＩＰシス テムの外部で利用される。 並行オペレーションの他に、並列システムについて前記したように、逐次実施 例は時々洗練オペレーションを利用することができる。逐次バージョンでは初期 化中にユーザが指定すると、エグゼクティブ３８ａは時々並行オペレーションに 割り込む。このような各割り込み中に、エグゼクティブ３９ａは特徴機能コント ローラ４１ａを呼び出し、それはその１入力として結合重みマトリクスを受信す る。次に特徴機能コントローラ４１ａは結合重みマトリクスを使用して冗長およ び不要特徴を識別し、その後新しい特徴仕様をエグゼクティブ３８ａへ戻す。次 にエグゼクティブ３８ａは、それに続く並行オペレーション中に、新しい仕様を トランスジューサ入力サブルーチン２４ａおよびトランスジューサ出力サブルー チン２６ａへ運ぶ。オペレーションおよびインプリメンテーションの詳細 ＣＩＰ転嫁の一例 以下の例はいくつかのＣＩＰオペレーションを示す。第４図を参照して、３つ の異なるＣＩＰ入力測定値ベクトルを表すことができる３つの２進ピクセルアレ イを示す。各アレイは９つの測定変数、ｘ（１，１）からｘ（３，３）を有して いる。黒い四角は入力２進値１を表すことができ、白い四角は２進入力値０を表 すことができる。したがって、３つのアレイは（１，０，０，０，１，０，０， ０，１），（０，０，１，１，１，０，０，０，０）および（１，０，１，０， ０，０，０）の値を有するＣＩＰ２進測定値ベクトルｊ［Ｂ］として表すことが できる。 前記したように、ＣＩＰシステムはｐの中の各曖昧度値を使用してｊ［ＩＮ］ 内のその対応する測定値の消失もしくは非消失の役割を確立する。したがって、 第４図の測定値に対応する９つ全てのｐの値が１であれば、ｊ［ＩＮ］の９つの 値全てが学習に使用される。しかしながら、２つのｐ要素が０であれば、２つの 対応するｊ［ＩＮ］値が消失していることを示し、１の対応するｐ値を有する他 の７つのｊ［ＩＮ］値から２つの対応するｊ［ＯＵＴ］値が転嫁される。 引き続き第４図を参照して、１０１番トライアルにおいてｐ＝（１，１，０， １，１，１，１，１，０）かつｊ［ＩＮ］＝（１，０，？，０，１，０，０，０ ，？）であり、２つの“？”記号は未知数を表すものとする。この例では、上の 左と中の２つのピクセルが黒であり、上の右と下の右のピクセルは消失しており 他の５つのピクセルは白である。したがって、ｊ［ＩＮ］内の７つの非消失値を 使用して学習が更新され、得られる結果はｊ［ＯＵＴ］＝（１，０，ｊ［ＯＵＴ ］（３），０，１，０，０，０，ｊ［ＯＵＴ］（９））となり、ｊ［ＯＵＴ］（ ３）およびｊ［ＯＵＴ］（９）は、前に学習したパラメータ値に基づいた回帰解 析を使用して、他の７つの既知数から転嫁される。したがって、前に学習したパ ラメータ値に応じて、出力パターンは７０ａもしくは７０ｃとなる。 ＣＩＰシステムが等インパクト学習オペレーションに対して設定されておれば 、前のトライアル１番から１００番で起こり得る７０ａおよび７０ｂパターン間 で最も生じたパターンが転嫁される。例えば、前のトライアル１番から１００番 においてこのような各トライアルについてｐの９つの値が全て１であり、このよ うな４０，１９および４１トライアルについてｊ［ＩＮ］値はタイプ７０ａ，７ ０ｂおよび７０ｃに対応したものとする。この例では、ＣＩＰシステムは他の唯 一の可能性７０ａよりも僅かに余計に７０ｃを予期するよう教示されているため 、 トライアル１０１中の未知の上右および下右ピクセルは、それぞれ７０ｃと調和 して、白および黒として転嫁される。トランスジューサ入力オペレーション 入力測定値は算術、２進およびカテゴリーと呼ぶことができる。高度、温度お よび１日の時間等の算術測定値は、加算、減算、乗算および除算の算術演算を介 して、順序だてて使用することができる割当て値を有している。測定値に起こり 得る状態が２つしかない場合には、測定値は２進と呼ぶことができ一般的に１も しくは０の値で表される。３つ以上の状態を有する非算術測定値はカテゴリーと 呼ぶことができる。したがって、ＣＩＰ測定値ベクトルｊは算術、２進およびカ テゴリーサブベクトル（ｊ［Ａ］，ｊ［Ｂ］，ｊ［Ｃ］）へ分類され、各サブベ クトルは任意の長さとすることができる。 オプションがどのように指定されるかに応じて、ＣＩＰシステムは（ａ）算術 および２進測定値をトランスジューサ入力プロセッサ２４において特徴値へ変換 するか、（ｂ）算術もしくは２進測定値を変換することなく直接ＣＩＰカーネル へ送る。これに対して、ＣＩＰシステムはカテゴリー測定値を等価２進特徴値へ 変換する。カテゴリー変数間の起こり得る全ての偶然性を表すために、ＣＩＰシ ステムは起こり得るＣの値の１つを有する各カテゴリー測定値ｊ［Ｃ］を、やは り起こり得るＣの値を有する、Ｃ−１要素を有する２進特徴ベクトルｍ［Ｃ］へ 変換する。例えば、カテゴリー変数が有する起こり得る値が１，２，３および４ であれば、得られるカテゴリー特徴ベクトルは対応する値（１，０，０），（０ ，１，０）および（０，０，０）を有する。 入力プロセッサ２４がカテゴリー測定値を２進特徴へ変換した後で、トランス ジューサは元の入力形式の算術測定値、元の入力形式の２進測定値もしくはカテ ゴリー測定値の２進等価値である特徴しか含んでいない。これらは全て算術特徴 として処理されてカーネルへ直接送られるか、もしくは入力プロセッサ２４によ り随意他の算術特徴へ変換することができる。限定はされないが、このようなオ プショナルな特徴として累乗した算術測定値、算術測定値、２進測定値もしくは 算術および２進測定値間の２次および高次クロス乗積、このような特徴の平均値 、主構成要素特徴、直交多項式特徴、およびこのような任意の特徴により構成さ れ 最近の測定値から計算されているＲＦＭ２５内のこのような他の特徴と結合され た合成値が含まれる。 最近の特徴は最近特徴メモリ２５内に格納された予め観察された特徴値の関数 として並行特徴値を監視および転嫁（もしくは予測）するのに使用することがで きる。例えば、科学プロセスからの測定値の異常値を監視してシステム故障を示 すことがある測定値の突然の変化を識別するものとする。ＣＩＰシステムは、各 各が並行トライアルに対する測定値と最近特徴メモリ２５内に格納されているす ぐ前のトライアルに対する同じ測定値との差である、ＣＩＰ１次差特徴を生成す ることにより突然の変化を識別する。１次差特徴を生成することにより、ＣＩＰ システムはこのような特徴の平均値および分散を迅速に学習することができ、そ れによりＣＩＰシステムは１次差特徴の異常値を突然変化の表示として識別する ことができる。最近特徴メモリを使用する第２の例として、連続プロセスの現在 値の予測を利用して並行値を実際に観察する前に予期することができる。ＣＩＰ システムは最近特徴メモリ２５を使用して最後の５つの測定値だけでなく各並行 特徴を並行測定値として生成することができる。次にＣＩＰシステムは最初の６ つの観察値を使用してトライアル６の間に最後の５つからどのように第６番目の 値を転嫁するかを学習し、次にＣＩＰシステムは第７番目の値が消失している時 にトライアル７の始めに第２番目から第６番目の値から第７番目の値を転嫁する ことができ、次に消失していない第７番目の値を受信した後でトライアル７の終 りにその学習したパラメータを更新することができ、次にＣＩＰシステムは第８ 番目の値が消失している時にトライアル８の始めに第３番目から第７番目の値か ら第８番目の値を転嫁することができ、以下同様である。曖昧度およびバイアビリティの詳細 第４図に関して検討したように２進曖昧度値で作動する他に、ＣＩＰシステム は曖昧度および０と１の間のバイアビリティ値で作動するように実施することが できる。０と１の間の値はＣＩＰシステム外部の前処理等のいくつかの状況にお いて自然に生じる。例えば、９つの測定値の替わりにアレイの１から２行の平均 値に対応する３つの測定値だけが第４図のデータに基づくＣＩＰシステムへ与え られるものとする。この例では、ＣＩＰシステムは（ａ）その３つのコンポーネ ントピクセルの全てが非消失であれば平均値に対する曖昧度値を１に設定し、（ ｂ）３つのピクセル全てが消失しておれば曖昧度値を０に設定し、（ｃ）３つの うちの１つもしくは２つが消失しておれば曖昧度をある中間値に設定する。１つ の値が消失しておれば、適切な測定値は非消失ピクセル値の平均値であり、適切 な曖昧度値は起こり得るピクセル値の総数の中で非消失であるピクセル値の比率 である。 ＣＩＰシステムのユーザが曖昧度値を客観的に計算するのではなく測定値の信 頼度を主観的に評価したい場合には０と１の間の曖昧度値を使用することもでき る。他の測定値の並行値だけでなくその測定値の前の値に対して、ＣＩＰシステ ムは０と１の間の曖昧度値を測定値学習のための重みとして処理する。曖昧度に 基づいた重みづけ方式のプロセスおよび定式化については後記する。カーネル学習オペレーション 前記したように、ＣＩＰシステムは１組の測定値に基づいた有用なデータを提 供するために、関連するパラメータを識別して多数の入力測定値間の関係を学習 するための正確なプロセスを実施する。ＣＩＰカーネルは学習したパラメータ推 定値を更新することにより各トライアル中に学習し、パラメータ推定値には、特 徴平均値のベクトルμ、結合重みのマトリクスω、分散推定値のベクトルν［Ｄ ］（前記した分散共変マトリクスνの対角要素）および学習履歴パラメータのベ クトルλが含まれる。学習パラメータの更新定式については後記するが、基本的 な性質を示すために最初にあるパラメータに対する単純なバージョンについて検 討する。 全ての先行および並行バイアビリティ値が１であれば平均更新式は次のような 単純な形となる。 μ［ＯＵＴ］項はそれまでの全ての測定値の平均値を表し並行測定値を含んでい る。 前記した学習重みの検討に従って、（１）式のμの値はｍ［ＩＮ］に向かって １の大きい値に対しては１の小さい値よりも余計変化する。しかしながら、（１ ）式はμ［ＩＮ］のさまざまな要素に対するさまざまな曖昧度の履歴を正確に反 映しないことがあるため、（１）式は好ましくは修正される。替わりに、（１） 式は将来の要素レベルで前の学習履歴を追跡する学習履歴パラメータλの要素に 従って、μ［ＩＮ］をｍ［ＩＮ］と結合するように修正される。 （１）式はＣＩＰシステムの量概念フレームワーク内で次のように正当化され 引き出される。学習重み１はｍ［ＩＮ］の並行量カウントと、ＣＩＰシステムが 行う、μ［ＩＮ］に関連する並行量カウントｑ［ＰＲＩＯＲ］との比率であるも のとし、さらにμ［ＩＮ］はｑ［ＩＮ］事前量カウントの平均値でありｍ［ＩＮ ］はｑ［ＰＲＩＯＲ］並行量カウントの平均値であるものとすると、代数により （１）式は全てのｑ［ＰＲＩＯＲ］並行カウントと共に全てのｑ［ＩＮ］事前カ ウントに基づく全体平均値となるように示すことができる。 （１）式は全てのバイアビリティ値が１である場合しか適用されない。μ［０ ＵＴ］要素のさまざまなバイアビリティ履歴に従ってμ［ＯＵＴ］の個別の要素 を適切に重み付けするために、ＣＩＰシステムは好ましくは（１）式よりも精密 な機能を使用する。μの任意の要素μ（ｆ）に対する平均更新式は次式で表され る。 （ｆ＝１，．．．，Ｆ−このような“ｆ”ラベルは本明細書の残りの部分ではア レイ要素を示すのに使用される）。トライアル中に全ての特徴ベクトルについて 使用される（１）式における単一の学習重み１が各コンポーネント特徴ベクトル 要素に対する異なる学習重み１［Ｃ］（ｆ）と置換される点を除けば、（２）式 は（１）式に似ている。したがって、各特徴ベクトル要素は（１）式のように同 じ重みを有するのではなく個別の重みを有する。これらのコンポーネント学習重 みは下記の形式の並行および事前学習バイアビリティ値によって決まる。 学習履歴パラメータλも更新され、特徴平均値の更新に使用された後で、次のよ うに各特徴について事前学習の実行レコードを維持する。 残りの学習パラメータν［Ｄ］およびωはそれぞれ共変マトリクスνおよびν 逆元の要素である。また、νも一般的に誤差として知られる特徴値だけでなく特 徴値の平均値からの偏差によって決まる。その結果、ν［Ｄ］およびωは特徴値 だけの関数としてではなく次の形式の誤差ベクトルの関数として更新することが できる。 ｅ＝ｍ［ＩＮ］−μ［ＯＵＴ］ （５） νの要素を更新する適切な公式は次式とすることができる。 （ここで使用する（６）式の沿え字Ｔはベクトル転置を示す）。（３）式は同じ ＣＩＰ量カウントフレームワークに基づいているため、（６）式の一般形は（３ ）式に類似している。（３）式が仮定した量カウント値の全体平均値μ［ＯＵＴ ］を生じるのと同じように、（６）式は平均ベクトルμ［ＯＵＴ］から二乗偏差 およびクロス乗積値の全体平均値ν［ＯＵＴ］を生じる。 （６）式に基づいてωの要素を更新する適切な公式は次式で示され、 ここに、 ｄ＝ｅω［ＩＮ］ｅ^T （８） （７）式は（６）式の第２項が判っている場合に、（６）式の形式を有するマト リクスの逆元を更新する標準式に基づいている。（７）式も（３）式および（６ ）式と同じ量カウント原理に基づいている。 （５）式から（８）式は好ましいＣＩＰ誤差および更新式の近似的バージョン にすぎない。しかしながら、４つの理由からさまざまな好ましい代替策が使用さ れる。第１に、ＣＩＰカーネルはμ［ＩＮ］を使用してより迅速に学習したパラ メータを更新して高速オペレーションを促進できるため、誤差ベクトル公式（５ ）に対応するＣＩＰシステムはμ［ＯＵＴ］の替わりにμ［ＩＮ］に基づいてい る。第２に、（５）式に好ましいＣＩＰ実施例方程式では対応する並行バイアビ リティν（ｆ）が１よりも小さければ誤差ベクトルｅの各要素が０へ向けて減少 される。この減少によりｅベクトルのｍ［ＩＮ］の対応する要素が低いバイアビ リティ値であってもｅベクトルの各要素にはν［Ｄ］およびωの要素の更新にお いて適切に小さい役割が与えられる。第３に、ＣＩＰカーネルはνの全要素は必 要とせずν［Ｄ］の要素を使用し［Ｄ］は対角要素を表す。最後に、（６）式お よび（７）式が正確なのは前のμ［ＯＵＴ］およびω［ＯＵＴ］値を計算するの に使用された前のμ値が現在のトライアルに対するμ［ＯＵＴ］と同じである場 合だけである。このようなμ値は全て（７）式の間に変化するため好ましいＣＩ Ｐ実施例ではＣＩＰシステムは（７）式を適切に修正して使用する。（５）式か ら（８）式の好ましい代替式は次のようになり、および ここに かつ ｄ＝ｅ［ＩＮ］ω［ＩＮ］ｅ［ＩＮ］^T＝ｘｅ［ＩＮ］^T （１４） ω［ＩＮ］，μ［ＩＮ］およびν［Ｄ，ＩＮ］の値は学習パラメータメモリ内に 格納された前のトライアルからの出力値を表す。カーネル転嫁オペレーション ＣＩＰ特徴転嫁式は線形回帰理論およびＣＩＰ記憶装置、速度、入出力フレキ シビリティおよび並列実施例に適合する定式化に基づいている。他の全ての特徴 から任意の特徴を転嫁する回帰重みは、ω内で利用できる、ν逆元の要素から容 易に計算できるため効率的なカーネルオペレーションが可能とされる。 ＣＩＰカーネルは各消失ｍ［ＩＮ］要素を全ての非消失要素の関数として転嫁 し、消失および非消失ｍ［ＩＮ］要素は、それぞれ、０および１の対応するバイ アビリティν要素値により示される。ＣＩＰアプリケーションが、０値である、 第１の要素以外は全て１の値を含むトライアルに対してＦ特徴およびバイアビリ ティベクトルを利用する場合、ＣＩＰカーネルは他の全ての関数として第１の特 徴値だけを転嫁する。その第１の要素を転嫁する回帰式を次式に示す。 ｍ［ＯＵＴ］（１）＝μ（１）−｛［ｍ［ＩＮ］（２）−μ（２）］ω（２，１ ）＋．．．＋［ｍ［ＩＮ］（Ｆ）−μ（Ｆ）］ω（Ｆ，１ ）］／ω（１，１） （１５） 転嫁されるｍ［ＩＮ］要素が消失している限り、他のｍ［ＩＮ］要素を転嫁する 公式は（１５）式と同じである。 ＣＩＰカーネルは（１５）式の改良式を使用して、ｍ［ＩＮ］要素の任意の組 合せが消失してもＣＩＰシステムが作動できるようにされる。任意の要素が消失 している場合、カーネルは消失していない他のｍ［ＩＮ］要素だけを使用して各 消失ｍ［ＩＮ］要素を転嫁する。カーネルはまたｍ［ＩＮ］が消失していない場 合は常に各ｍ［ＯＵＴ］要素を対応するｍ［ＩＮ］要素で置換する。ＣＩＰシス テムにより使用される回帰式はまた効率的なオペレーションだけでなく並列オペ レーションを行うよう設計されていて他のカーネル計算を最大限に使用する。例 えば、ｅ［ＩＮ］およびｘは学習にも使用されるため、カーネルは（９）式およ び（１４）式からのｅ［ＩＮ］およびｘの要素を転嫁に使用することにより時間 および記憶装置を節減する。カーネル転嫁式は次式で表される。 ｍ［ＯＵＴ］（ｆ）＝μ［ＩＮ］（ｆ）＋ｅ［ＩＮ］（ｆ）（２−ν（ｆ））＋ ｘ（ｆ）（ν（ｆ）−１）／ω（ｆ，ｆ） （１６）監視オペレーション カーネルは特徴値監視およびグラフィックデイスプレイのためのいくつかの統 計を作り出す。それには学習した特徴平均ベクトルμ［ＯＵＴ］、特徴分散ν［ Ｄ］および、マハラノビス距離と呼ばれる周知の統計監視測度である、（１５） 式からのｄが含まれる。カーネルはまたもう１組の回帰特徴値を作り出し、それ は特徴が消失されている場合に各特徴が有する転嫁した値である。これらの回帰 値は下記の形式を有する。 （１７） カーネルから前記した監視統計が与えられると、ＣＩＰシステムはユーザオプ ションにより指定されるさまざまな方法で統計を使用することができる。１つの 用途はマハラノビス距離ｄ、および学習した平均値からの標準二乗偏差を含むト ライアル数の関数として偏差測度をプロットすることであり、 ｄ［１］（ｆ）＝（ｍ［ＩＮ］−μ［ＯＵＴ］（ｆ））²／ν［Ｄ，ＯＵＴ］ （ｆ） （１８） 回帰値間の標準二乗偏差値は次式で表される。 （１９） マハラノビス距離測度ｄおよび（１７），（１８），（１９）式の３つの偏差測 度はマニュアル入力挙動の有力な指標である。マハラノビス距離ｄは観察した各 特徴ベクトルと特徴学習平均ベクトル間の二乗差の増加関数であるため、全特徴 ベクトルに対する有用なグローバル測度である。標準偏差測度ｄ［１］（ｆ）は グローバル測度に対するコンポーネント特徴であり、異常な特徴値を突き止める のを助けることができる。標準剰余測度ｄ［２］（ｆ）は予め学習した平均値だ けでなく他の非消失並行特徴値に基づいて、入力特徴がそれらの回帰値からどの ように逸脱しているかを示す。 ＣＩＰシステムはまたその監視統計と関連して特殊な特徴を使用して異常な特 徴傾向に関する有用な情報を作り出すことができる。例えば、関心のある任意の 特徴に対して、並行特徴値とすぐ先行するトライアルからの特徴値との差である 新しい特徴を計算することができる。（１７）式から求められる偏差測度により 異常な特徴値変化の有用な測度が得られる。ＣＩＰシステムはまた１次差ではな く２次差に基づく同様な方法を使用して通常の特徴変化からの異常な偏差を識別 することができる。したがって、ＣＩＰシステムはＣＩＰシステムの外部のマニ ュアルユーザ解析に対する多様なグラフィック偏差プロットを与えることができ る。 ＣＩＰシステムはまた偏差情報を内部で使用して学習重みをコントロールし特 徴修正オペレーションを計画することができる。例えば、システムはグローバル 距離測度ｄに対する予め選定されたカットオフ値を確立することができる。次に システムは予め選定されたカットオフ値を越えるｄの値をデータ入力装置問題の 証拠として処理することができ、システムは問題が定まるまで将来の学習重み値 を０に設定することができる。同様に、コンポーネント偏差測度ｄ［１］（ｆ） およびｄ［２］（ｆ）を使用してそれらが予め指定したカットオフ値を越えた後 で測定値曖昧度もしくは特徴バイアビリティ値を０へ設定することができる。学 習重みをゼロへ設定することにより入力問題が将来のＣＩＰオペレーションの精 度へ悪影響を及ぼすことを防止することができる。距離測度は多様な測定環境に おいてカイ二乗分布に従うため、ＣＩＰシステムの安定した統計的基礎によりＣ ＩＰシステムはこのような判断応用に有用なものとなる。その結果、公知のカイ 二乗累積確率値から距離カットオフ値を推論することができる。学習重みコントロールオペレーション ＣＩＰシステムは学習重み１をシステム学習の一部として使用する。学習重み ｌは事前パラメータ学習に関連する量カウントに対する並行特徴ベクトルに関連 する量カウントの比率である。このベースから、ＣＩＰシステムは等インパクト 学習重みシーケンス、すなわち、各トライアルに対する等しい数の量カウントに 基づいたシーケンス、を作り出す。学習重みシーケンスをｌ（１），ｌ（２）等 で表示すると、等インパクトスケジュールは下記のような形式を有する。 定数Ｒは初期量カウントに対するこのような全トライアルに対する共通量カウン トの比率である。この比率および初期量カウントの役割については後記する。 等インパクト学習重みシーケンスを提供する他に、ＣＩＰユーザやＣＩＰシス テムはリベラルもしくは保守的なシーケンスを発生することができる。リベラル なシーケンスはより最近のトライアルの特徴値へより多くのインパクトを与え、 保守的なシーケンスはより最近ではないトライアルの特徴値へより多くのインパ クトを与える。例えば、全ての学習重みが１に設定されている学習シーケンスは リベラルであり、最初の学習重みを除く全ての学習重みが０に設定されている学 習シーケンスは保守的である。リベラルなシーケンスは入力ＣＩＰデータが断続 的に変化するパラメータ値に従って発生される場合に適切であり、保守的なシー ケンスはより最近の情報がより最近ではない情報ほど信頼度が高くない場合適切 である。学習パラメータ初期化 ＣＩＰシステムは学習した回帰パラメータμ，ν［Ｄ］に対する初期値をそれ らが観察した特徴値から発生されたかのように処理する。最初のトライアル中に ＣＩＰカーネルは、（２），（１０）および（１１）式に従って、初期値を第１ の特徴ベクトルからの情報と結合して更新されたパラメータ値を発生し、第２の トライアル中にＣＩＰカーネルは初期値および第１のトライアル値を第２のベク トルからの情報と結合して新たに更新されたパラメータ値を発生する。このプロ セスは後続するトライアルについて繰り返される。 正の学習重み１を有する任意のトライアルの後で、全体学習に及ぼす初期パラ メータのインパクトはトライアルの前の初期パラメータのインパクトよりも小さ い。その結果、非常に保守的な学習重みシーケンスがカーネルへ与えられない限 り、特定の初期回帰パラメータ値による影響は少数の学習トライアルの後では小 さくなる。 ＣＩＰシステムによる正確な転嫁が最初のトライアルからずっと必要である応 用では、学習した回帰パラメータの初期値は重要となる。このような応用におい て正確な早期転嫁を行うために、ＣＩＰシステムは第１図に示したようにキーボ ード１７からユーザ提供初期回帰パラメータ値を受け取ることができる。 ＣＩＰシステムは学習した回帰パラメータに対して次のようにデフォルト初期 値を与える。平均ベクトルμの各要素のデフォルト値は０であり、結合重みマト リクスωのデフォルト値は恒等マトリクスであり、偏差ベクトルν［Ｄ］の各要 素のデフォルト値は１である。恒等マトリクスをωの初期デフォルト値として使 用して最初に他の特徴値に依存しない初期転嫁特徴値が作り出される。また初期 恒等マトリクスによりＣＩＰシステムは最初のトライアルからずっと特徴値を転 嫁することができる。これに対して、従来の統計的方法では任意の転嫁を行う前 に少なくともＦの学習トライアル（Ｆは特徴数）が必要である。 学習した回帰パラメータを初期化する他に、ＣＩＰシステムは学習履歴パラメ ータベクトルλの要素を初期化する。学習履歴パラメータベクトルは、前の学習 に対して、入力特徴ベクトル要素がどれだけ学習に影響を及ぼすかを指令する。 学習履歴ベクトルλの各要素に対するデフォルト初期値は１であり、それは最初 の学習トライアル中に各入力特徴ベクトル要素へ同じ学習インパクトを与える。特徴機能監視オペレーション ＣＩＰシステムはまたグラフィックデイスプレイに対する３種の特徴機能監視 統計を実施することができ、二乗特徴重相関χ［Ｍ］ベクトル、公差帯比率値ｒ および部分相関アレイχ［Ｐ］である。χ［Ｍ］の各要素χ［Ｍ］（ｆ）はｍの 他の要素からの対応する特徴ベクトル要素ｍ（ｆ）を転嫁する二乗重相関である 。ＣＩＰシステム内で随意実施する場合、二乗重相関は周知の統計的性質に従っ て解釈することができる。このような統計的性質は特徴の二乗相関が０の最小可 能値ではなく１の最大可能値に近ければ他の特徴により予測できることを暗示し ている。 各二乗重相関χ［Ｍ］（ｆ）は対応する公差帯比率要素ｒ（ｆ）を計算して与 えるのに随意使用することもできる。ｒの各要素は２つの標準偏差の比率として 表すことができる。分子標準偏差はν［Ｄ］（ｆ）の平方根であり、分母標準偏 ため各ｒ（ｆ）は、他の全てのｍ［ＩＮ］値が消失しておればｍ（ｆ）を転嫁す る公差帯幅であるのに対して、他の全てのｍ［ＩＮ］要素が消失していなければ ｍ(f)を転嫁する公差帯幅である。 部分相関アレイχ［Ｐ］は起こり得る各特徴対ｆおよびｇ（ｆ＝１，．．．， Ｆ−１；ｇ＝１，．．．Ｆ）に対する部分相関χ［Ｐ］（ｆ，ｇ）を含んでいる 。各部分相関は、他の全特徴との相関を調整した後で、２つの特徴の相関がどれ だけ高いかを示す指標である。その結果、ユーザは部分相関を調べて他の任意所 与の特徴を転嫁するのに任意所与の特徴が不要であるか判断することができる。 またユーザは部分相関マトリクスの行を調べて一対の特徴を、別々に使用するの ではなく、組み合わせて平均値を作り出すことができるかを識別することができ る。例えば、第３の特徴を転嫁するのに２つの特徴が必要であり第１の特徴に対 する各部分相関が第２の特徴に対する対応する部分相関と同じであるものとする 。次にこのような両方の特徴値は、転嫁精度を損なうことなく、第３の特徴値を 転嫁する平均値と置換することができる。 ＣＩＰシステムにより得られる利点はマネジャー２２により時々行われる特徴 機能評価と連係した並行オペレーションケーパビリティであり、並行オペレーシ ョンが非常に迅速に実施され特徴機能評価オペレーションが即座に実施される。 ＣＩＰシステムは下記の公式を使用して二乗重相関値を得ることができ、 χ［Ｍ］（ｆ）＝１−ν［Ｄ］［Ｄ］（ｆ）／ω（ｆ，ｆ）； （２３） システムは公差帯値に対する次式を使用することができ、 ｒ（ｆ）＝（１−χ［Ｍ］（ｆ））^1/2； （２４） システムは部分相関値に対する次式を使用することができる。 χ［Ｐ］（ｆ，ｇ）＝−ω（ｆ，ｇ）／（ω（ｆ，ｆ）ω（ｇ，ｇ））^1/2 （２５） 前記した特徴機能評価統計をユーザへ提供する他に、ＣＩＰシステムは結合重み マトリクスωをユーザへ供給してユーザが修正および解釈するようにできる。例 えば、ユーザはωからの主要なコンポーネント係数、直交多項式係数等を計算か つ評価してユーザのニーズに合った本質的な特徴を識別することができる。本質 的な特徴を識別したら、ユーザは入力トランスジューサ関数を再定式化するかも しくはＣＩＰシステムの外部へ特徴を供給することができる。特徴機能コントロールオペレーション 特徴評価統計およびマニュアル外部用途のためのω要素を供給する他に、ＣＩ Ｐシステムはその特徴機能コントローラ（第２図および第３図）を介して内部で 自動的に統計を使用することができる。例えば、特徴機能コントローラは部分相 関および二乗重相関値を所定のカットオフ値に対して照合することにより不要な 特徴を識別して除外することができる。同様に、特徴機能コントローラは部分相 関値間の二乗差を所定のカットオフ値と照合することにより冗長特徴対を識別す ることができる。このような不要もしくは冗長特徴が識別されると、特徴機能コ ントローラは特徴機能修正コマンドをトランスジューサ入力プロセッサおよびト ランスジューサ出力プロセッサへ送ることができる。 特徴機能の仕様変化中にトランスジューサの動作を修正する他に、ＣＩＰシス テムは結合重みマトリクスωの要素を修正することもできる。ωの要素は不要な 特徴、例えば、特徴ｆを除外して行および列が１つ下の新しい、調整された結合 重みマトリクス、例えばω｛ｆ，ｆ｝、を作り出すことができる。ｆ行およびｆ 列を除外するωのサブマトリクスをω＜ｆ，ｆ＞で表し削除したｆ行をω＜ｆ＞ で表すと、標準マトリクス代数関数に基づいた適切な調整式は次式で表される。 ω｛ｆ，ｆ｝＝ω＜ｆ，ｆ＞−ω＜ｆ＞^Tω＜ｆ＞／ω（ｆ，ｆ） （２６）並列カーネルオペレーション 第２図のＣＩＰシステムに関して前記したように、並列ＣＩＰカーネル２１は 並行転嫁、監視および学習パラメータメモリ更新オペレーション中に特徴プロセ ッサ間の結合重みを利用する。やはり前記したように、並行ＣＩＰカーネル２１ はトライアル毎にＦ個の特徴を処理し、マハラノビス距離プロセッサ３４と共に 、Ｆ台の並列特徴プロセッサ３１_lから３１_Fを使用する。 プロセッサは駆動できる出力数が制限されており特徴値を処理するのに使用さ れるため、多数の特徴を実施するとプロセッサが駆動できる出力数をあっさり越 えてしまう。並列ＣＩＰシステムは調整されたタイミング方式に従ってアクセス される特徴プロセッサ対を接続するスイッチングジャンクションを有するジョイ ントアクセスメモリ２３を提供することにより出力問題を解決する。スイッチン グジャンクションは各プロセッサが関連情報を交換して多数のプロセッサが並列 に作動できるようにする。後記するように、ＣＩＰ並列カーネル２１ではシステ ムではプロセッサ出力は任意所与の調整時間間隔で１つの出力を駆動するだけで ある。 第５図を参照して、Ｆ＝１６に対する、導体の回路レイアウトおよび並列カー ネルプロセッサ間の配線を示す。図示する回路により各特徴プロセッサは、Ｍで 示す円により識別される、ジョイントアクセスメモリ２３の素子に接続すること ができまた回路により各プロセッサは後記する系統立てた方式を介して１つおき のプロセッサと対とされる。各プロセッサ３１₁から３１₁₆も距離プロセッサ３ ４内のレジスタＤ₁からＤ₁₆に接続されている。 １６個の特徴プロセッサ３１₁から３１₁₆および距離プロセッサ３４の他に、 第５図にはプロセッサ３１₁から３１₁₆と距離プロセッサ３４間の導体バスのレ イアウトが図示されている。第５図にはプロセッサ３１₁から３１₁₆とジョイン トアクセスメモリ２３およびカーネルコントロールユニット３２との配線も図示 されている。第５図に示す回路は下部バス層、上部バス層、下部および上部バス 層間にあって両者を接続する１組の半導体層および他の全ての層の上にあるコン トロールバス層を含むシリコンチップレイアウトとして実施することができる。 第５図のライン４５Ｌ₁から４５Ｌ₁₆は下部バス層内のバスを表し、ライン４５ Ｕ₂から４５Ｕ₁₅は上部バス層内のバスを表し、ラインＥ₁からＥ₁₆はジョイン トアクセスメモリ素子により形成される対角縁に沿った下層バスおよび上層バス 間の延長接続を表し、横方向ライン３２₁から３２₂₉はジョイントアクセスメモ リ２３のスイッチングをコントロールするためにカーネルコントロールユニット ３２により作動されるジョイントアクセスメモリ２３コントロールバスを表す。 引き続き第５図を参照して、各円Ｍ（２，１），Ｍ（３，１）およびＭ（３， ２）からＭ（１６，１５）はＪＡＭメモリおよびスイッチングジャンクション、 スイッチング論理およびメモリレジスタを含むスイッチングノードを表し、それ らは全て下部バス層および上部バス層間で半導体層内に配置することができる。 特徴プロセッサ３１₁から３１₁₆内の円Ｍ（１６，１）からＭ（１６，５）は結 合重みマトリクスの主対角線を含むプロセッサ内の結合重みレジスタを表し、距 離プロセッサ３４内の円Ｄ₁からＤ₁₆は距離プロセッサ３４および対応する特徴 プロセッサ３１₁から３１₁₆間を連絡するレジスタを表す。 １６本の下部バス４５Ｌ₁から４５Ｌ₁₆は対応する特徴プロセッサ３１₁から３ １₁₆を距離プロセッサ３４内の対応するレジスタＤ₁からＤ₁₆に接続する。接続 延長Ｅ₁からＥ₁₆により各下部バス４５Ｌ₁から４５Ｌ₁₆はその対応する上部バス ４５Ｕ₁から４５Ｕ₁₆に接続される。 また各下部バス４５Ｌ₁から４５Ｌ₁₆により対応する特徴プロセッサ３１₁から ３１₁₆は次のように専用ジョイントアクセスメモリノードＭ（２，１），Ｍ（３ ，１）およびＭ（３，２）からＭ（１６，１６）に接続される。下部バス４５Ｌ₁ がＪＡＭノードＭ（２，１）およびＭ（３，１）の底部にＭ（１６，１）の底 部を介して接続され、下部バス４５Ｌ₂がノードＭ（３，２）からＭ（１６，２ ）の底部に接続されかつ上部バス４５Ｕへの接続延長Ｅ₂を介してノードＭ（２ ，１）の頂部に接続される。同様に、下部バス４５Ｌ₃から４５Ｌ₁₅は各下部バ スに沿って対応するジョイントアクセスメモリ２３ノードの底部に接続されかつ 、下部バス４５Ｌ₁から４５Ｌ₂および上部バス４５Ｕ₂およびＥ₂について前記し たように、対応する接続延長Ｅ₃からＥ₁₅を介して対応する上部バス４５Ｕ₃から ４５Ｕ₁₅に接続されている。上部バス４５Ｕ₃はノードＭ（３，２）およびＭ（ ３，１）の頂部に接続されている。 各上部バス４５Ｕ₂から４５Ｕ₁₆は上部バス４５Ｕ₃と同様に各上部バスに沿 って各ノードの頂部に接続されている。（多くの接続延長およびノードが図示さ れているので、判り易い図面とするために全ての延長Ｅ₃からＥ₁₅の参照番号は 図示されていない。当業者であれば接続延長およびノードは前に利用した規定を 使用して識別できるであろう）。下部バス４５Ｌ₁₆は全ての対応するノードＭ（ １６，１）からＭ（１６，１５）の頂部に接続されかつ対応する接続延長Ｅ₁₆を 介して対応する上部バス４５Ｕ₁₆に接続されている。 下部および上部バスおよび配線はＣＩＰカーネル２１により実施される各記憶 ビットに対して１線の導体を含んでいる。例えば、カーネルがχ，ωおよび他の 変数の要素を格納するために３２ビットを使用する場合、各バスラインは各ビッ トに１本づつの３２導体を表す。したがって、並列カーネル２１は特徴プロセッ サとアクセスＪＡＭ素子間を並列にかつ迅速に通信することができる。これに対 して、第７図の各コントロールバス３２₁から３２₃₀は３本の導体を表し、その 用途については後記する。 さらに第６ａ図および第６ｂ図を参照して、スイッチングジャンクションの詳 細を示しカーネル２１内のジョイントアクセスメモリノード、ジョイントアクセ スメモリノードＭ（１６，１５）の構成要素およびＭ（１６，１５）バス接続に ついてさらに説明する。ここで検討する構成要素および接続はシステムの他のノ ードおよびバスの接続にも適用される。第６ａ図はノードＭ（１６，１５）の平 面詳細図およびノードの関連するスイッチおよびバスを示し、第６ｂ図はＭ（１ ６，１５）の側面図およびノードの関連するスイッチおよびバスを示す。第６ａ 図はオフセット破線８０５で示すように、判り易い表現とするために幾分右へオ フセットさせた下部バス４５Ｌ₁₅およびプロセッサ１５を示す。第５図にはこの ようなオフセットはなく、そこでは下部バス４５Ｌ₁₅はノードＭ（１６，１５） の中心の下を直接通過している。第５図について検討したように、上部および下 部バス４５Ｌ₁₆および４５Ｌ₁₅は記憶精度の各ビットにつき１本の導体を含んで いる。同様に、後記する配線およびスイッチは、それぞれ、同数の導体およびス イッチ接点を含んでいる。 第６ａ図はジョイントアクセスメモリノードＭ（１６，１５）の詳細を示し、 下記のものを含んでいる。ω（１６，１５）を含むメモリセル、ω（１６，１５ ） を更新するメモリ入力スイッチＳ１、ω（１６，１５）をアクセスするメモリ出 力スイッチＳ２、およびＳ２の出力においてプロセッサ３１₁₆上部バス４５Ｌ₁₆ およびプロセッサ３１₁₅下部バス４５Ｌ₁₅を接合するデュアルスイッチＳ３。第 ８ａ図はメモリセルの側面図および第８ａ図と同じ３個のスイッチを示す。 第６ａ図はＳ２を介してω（１６，１５）を含むメモリセル用入力に接続され たプロセッサ３１₁₆上部バス４５Ｕ₁₆を示す。したがって、Ｓ２が閉じるとω（ １６，１５）を含むメモリセルはプロセッサ３１₁₆上部バス４５Ｕ₁₆の内容を含 むように更新される。プロセッサ３１₁₆上部バス４５Ｕ₁₆およびプロセッサ３１₁₅ 下部バス４５Ｕ₁₅はＳ３が閉じてＳ２が開く時に相互接続される。さらに、プ ロセッサ３１₁₆上部バス４５Ｕ₁₆およびプロセッサ３１₁₅下部バス４５Ｕ₁₅はＳ ２およびＳ３がともに閉じる時にω（１６，１５）を含むメモリセルの出力に接 続される。Ｓ２およびＳ３が共に閉じると、ω（１６，１５）を含むメモリセル の内容は両方のバス上に常駐する。 第８ａ図のスイッチＳ１，Ｓ２およびＳ３は、それぞれ、コントロールライン Ｃ１，Ｃ２およびＣ３上の信号によりコントロールされる。これら３本のコント ロールラインは第５図のコントロールバスラインを含んでいる。これらいずれか のコントロールライン上の信号が正であれば、対応するスイッチが閉じる。同様 に、第６ａ図のスイッチＳ４からＳ７は対応するコントロールラインＣ４からＣ ７上の信号によりコントロールされる。スイッチＳ４およびＳ５は、それぞれ、 プロセッサ３１₁₅用入力バス８０１および出力バス８０２に接続されておりスイ ッチＳ６およびＳ７は、それぞれ、入力バス８０３および出力バス８０４に接続 されている。 ５つの基本的なスイッチング動作（（ａ）−（ｅ））が行われジョイントアク セスメモリ２３内に示す回路を次のように実現する。（ａ）プロセッサ３１₁₅お よびプロセッサ３１₁₆によりω（１６，１５）をジョイントアクセスし、その場 合Ｓ１からＳ７は、それぞれ、開、閉、閉、閉、開、閉および開であり、（ｂ） プロセッサ１６からプロセッサ１５へ変数値を送り、その場合Ｓ１からＳ７は、 それぞれ、開、開、閉、閉、開、開および閉であり、（ｃ）プロセッサ３１₁₅か らプロセッサ３１₁₆へ変数値を送り、その場合Ｓ１からＳ７は、それぞれ、開、 開、閉、開、閉、閉および開であり、（ｄ）ω（１６，１５）値をプロセッサ３ １₁₆へ送り、その場合Ｓ１からＳ７は、それぞれ、開、閉、閉、開、開、閉およ び開であり、（ｅ）ω（１６，１５）値を含むメモリセルを更新し、その場合Ｓ １からＳ７は、それぞれ、閉、開、開、開、開、開および閉である。ジョイント アクセスメモリスイッチングのタイミングについては後記する。 並列カーネル２１オペレーションはコントロールユニット３２により調整され （ａ）各特徴プロセッサ３１₁から３１₁₆がトライアル中に連続的にビジーであ り、（ｂ）各ジョイントアクセスメモリバスは任意所与の時間に１つの変数値し か含まず、（ｃ）各メモリセルは任意所与の時間に１つの出力値しか送らず、（ ｄ）各特徴プロセッサは任意所与の時間にプロセッサの出力値を１つの入力にし か送らないようにされる。調整ステップは個別の特徴プロセッサへ送られる他の コントロール信号と共にコントロールバス３２₁から３２₂₉によりコントロール される。 引き続き第５図を参照して、Ｆ＝１６の時のχの計算において、χ（１）から χ（１６）は、それぞれ、特徴プロセッサ３１₁から３１₁₆により計算される。 各χ（１）からχ（１６）を計算する時に、（１３）式に従って、積項間の和が 計算され、ωの１行に沿った要素にｅ［ＩＮ］の対応する要素が乗じられる。χ を計算する時に、ｅ［ＩＮ］の要素は（後記するように）既に計算されているこ とがありｅ［ＩＮ］の要素は、それぞれ、特徴プロセッサ１から１６内に常駐し ていることがある。 各特徴プロセッサＦは最初にχの値を０に初期化し次に特徴プロセッサ下部お よび上部バスに沿ってジョイントアクセスメモリノードへアクセスすることによ りその特徴プロセッサのχ（Ｆ）値を計算する。各アクセス中に、各特徴プロセ ッサＦは次の動作シーケンスを実施する。第０に、格納されたω要素をそのノー ドに沿って取り込み、第２に、そのノードで得られるｅ［ＩＮ］要素を取り込み 、第３に、２つの要素を互いに乗じてクロス乗積を得、第４に、プロセッサのク ロス乗積をプロセッサで実施されるχ（Ｆ）の移動和に加算する。例えば、焦点 の特徴プロセッサはプロセッサ３１₁₆とすることができ、第５図について検討し たようにプロセッサ３１₁₆はＭ（１６，１５）へアクセスすることができる。そ の 時、プロセッサ３１₁₆はω（１６，１５）にｅ［ＩＮ］を乗じその積を移動χ（ １６）の値に加算することによりそれが計算しているχ（１６）の値を更新する 。また、プロセッサ３１₁₅はω（１６，１５）へアクセスし、ｅ［ＩＮ］（１６ ）へアクセスし、値を互いに乗じて積をプロセッサ３１₁₆の移動χ（１５）の値 に加算することによりプロセッサ３１₁₅内でχ（１５）の値の計算を更新してい る。 第６図は前記したχ更新ステップのコントロールユニットタイミングを示す。 最上部の信号は時間の関数としてのＣＩＰシステムクロックパルスを示し次の７ つのグラフは時間の関数としての線Ｃ１からＣ７に沿ったスイッチコントロール 値を示す。第１のパルスと第２のパルス間の時間ｔにおいて、スイッチは前記し たスイッチ動作（ａ）に従って設定され、特徴プロセッサ３１₁から３１₁₆へω （１６，１５）を送る。第２のパルスと第３のパルス間の時間ｔ＋１において、 スイッチは前記したスイッチ動作（ｂ）に従って設定され、特徴プロセッサ３１₁₆ へｅ［ＩＮ］（１５）を送りその後プロセッサ３１₁₆はω（１６，１５）とｅ ［ＩＮ］（１５）の積をχ（１６）の移動計算値へ加算する。第３のパルスと第 ４のパルス間の時間ｔ＋２において、スイッチは前記したスイッチ動作（ｃ）に 従って設定され、プロセッサ３１₁₅へｅ［ＩＮ］（１６）を送り、その後プロセ ッサ３１₁₅はω（１６，１５）とｅ［ＩＮ］（１６）の積をχ（１５）の移動計 算値へ加算する。第４のクロックパルスの後で、スイッチＳ２およびＳ３はそれ らの対応するＣ２およびＣ３コントロール値がローであることが示すように開放 され、プロセッサ３１₁₅バスおよびプロセッサ３１₁₆バスに沿った干渉無しに他 の更新オペレーションを行うことができる。χの計算は各プロセッサがクロス乗 積を計算していてクロス乗積をプロセッサの移動χ和へ加算し、他の各プロセッ サは別のクロス乗積を計算していて積をプロセッサのχ項へ加算するように進行 する。 ωの要素の更新に関して、（１１）式に従ってω（１６，１５）を更新する時 に、ω［ＩＮ］（１６，１５），χ（１５）およびχ（１６）は全て最初に１台 のプロセッサ内で得られる。次に１台のプロセッサが（１１）式に従ってω［Ｏ ＵＴ］（１６，１５）を計算し、その後プロセッサは更新した値をω（１６，１ ５）の記憶セルへ送る。 第８図を参照して、オペレーションの更新シーケンスのコントロールタイミン グを示す。システムクロックパルスは時間の関数として図示されておりクロック パルスの下の４つのグラフは時間の関数としてのＣ２，Ｃ３，Ｃ６およびＣ７線 に沿ったコントロール値を示す。第１のパルスと第２のパルス間の時間ｔにおい て、スイッチはスイッチ動作（ｄ）に関して前記したように設定され、特徴プロ セッサ１６へχ（１５）を送る。第２のパルスと第３のパルス間の時間ｔ＋１に おいて、スイッチはスイッチ動作（ｅ）に関して前記したように設定され、特徴 プロセッサ１６へω（１６，１５）を送り、その後プロセッサ３１₁₆はχ（１５ ）とω（１６，１５）の値を受信しているため、（１１）式の第２項を計算し、 またプロセッサ３１₁₆はχ（１６）の値を予め計算して内部に格納している。（ １１式を完成する他のプロセッサのオペレーションについては後記する）。第３ のクロックパルスの後で、スイッチＳ２およびＳ３はそれらの対応するＣ２およ びＣ３コントロール値がローであることが示すように開放され、プロセッサ３１₁₅ バスおよびプロセッサ３１₁₆バスに沿った干渉無しに他の更新オペレーション を行うことができる。 第９図を参照して、χおよびω更新プロセッサオペレーションの調整方式を示 す。第９図の各エントリは全体χもしくはω更新プロセスの各間隔においてプロ セッサがそれ自身もしくは他の１台の特徴プロセッサと一緒に実行している時間 間隔を示す。三角テーブル９１１ａはＵ₁からＵ₁₆ローおよびＬ₁からＬ₁₆カラム を有し、それらは第５図のジョイントアクセスメモリに示すローおよびカラムに 対応する。後記するように、エントリはコントロールタイミングを表す。ローテ ーブル９１１ｂは第５図の特徴プロセッサ３１₁から３１₁₆に対応するカラムを 有する。後記するように、エントリはコントロールタイミングを表す。同じ数値 を有するテーブル内のエントリはテーブルエントリにより示される時間間隔中に 一意的に対とされるプロセッサセットを表す。エントリ９１１ａはχ更新プロセ スの各間隔中にどのプロセッサが対とされるかを示す。 任意の時間間隔において対とされる特徴プロセッサは第９図においてプロセッ サバスに沿ってもしくはそのプロセッサ内で時間間隔を捜し出して決定される。 例えば、プロセッサ３１₁₆は第９図のポート９１１ａ内のボトムローに対応する 。そのローを調べれば時間間隔１の間に、特徴プロセッサ１６および特徴プロセ ッサ２は、ｅ［ＩＮ］（２）およびｅ［ＩＮ］（１６）と共にω（１６，２）を 使用して、それぞれχ（１６）およびχ（２）を更新していることが判る。この オペレーションのコントロールは第７図について前記したプロセッサ３１₁₅およ び３１₁₆のコントロールと同じである。同様に、特徴プロセッサ３１₁₆および特 徴プロセッサ３１₃は間隔２の間にχ（１６）およびχ（３）を更新しており、 特徴プロセッサ１５および特徴プロセッサ４は間隔２の間にχ（１５）およびχ （４）を更新しており、以下同様である。 第９図のエントリ９１１ｂはどのプロセッサがオペレーションを実行している かを示すがその特定の時間間隔の間に別のプロセッサと対とされることはない。 例えば、時間間隔１においてプロセッサ１はｅ［ＩＮ］（１）ｘω［ＩＮ］（１ ）をχ（１）のプロセッサ３１₁移動和へ加算することによりχ（１）を更新し ており、同時にプロセッサ９はｅ［ＩＮ］（９）ｘω［ＩＮ］（９）をχ（９） のプロセッサ３１₁移動和へ加算することによりχ（９）を更新している。プロ セッサをアクセスして前記したように更新することにより、並列ＣＩＰカーネル は全ての特徴プロセッサをχ更新プロセッサを通してビジー状態に維持すること ができる。 第９図の番号はχ計算中にプロセッサの動作ステップを識別するのに使用でき る体系的パターンを形成する。次式はカーネルステップ２（ｉ，ｆ，ｇ＝１，． ．．，Ｆ）期間中のマトリクス−ベクトル積χの計算の一部として、反復ｉの間 にプロセッサｆによりアクセスされるプロセッサｇを識別する。 ｇ（ｉ）＝［Ｆ−ｆ＋ｉ］ｍｏｄ（Ｆ）＋１ （２７） 例えば、Ｆ＝１であれば時間間隔２において（すなわち、ｉ＝２）、特徴プロセ ッサ３１₁₅（ｆ＝１５）はプロセッサ２とインタラクトしている（ｇ（ｉ）＝［ １６−１５＋２］ｍｏｄ（ｌ６）＋１＝［１］ｍｏｄ（１６）＋１＝２）。 第９図の番号パターンはχ計算中にプロセッサオペレーションを実行するのに 使用できるコントロールラインの体系的パターンも示している。例えば、１６の 特徴を使用する場合、シーケンス内の所与の各時間間隔番号は第９図の９１１ａ 値の左下境界から上右境界への線に沿って減少する。その結果、３本のコントロ ールラインが同じタイミングを共有するため、その線に沿った対応する全てのジ ョイントアクセスメモリノードが３本のコントロールラインの同じセットを共有 することができる。したがって、第９図に示す調整時間間隔パターンは第５図に 示すコントロールラインパターンを表している。 χを計算する（２７）式で表すものと同じ調整がＣＩＰシステムによりωの要 素を、１つを除いて、更新するのに使用される。χ更新が第７図に示すオペレー ションの計算を（２７）式の間隔ｉで実施する間に、ω更新は第８図に示すオペ レーションの計算を（２７）式の間隔ｉで実施する。 χが計算された後で、χ（１）からχ（Ｆ）およびｅ［ＩＮ］（１）からｅ［ ＩＮ］Ｆの値は、それぞれ、特徴プロセッサ１からＦの中に常駐している。次に （１４）式に従ってマハラノビス距離ｄが次のように計算される。第１に、積χ （１）ｘｅ［ＩＮ］（１）からχ（１）ｘｅ［ＩＮ］（Ｆ）がプロセッサ１から Ｆにより同時かつ並列に計算され、第２に、このような各積が第７図に示すよう に距離プロセッサレジスタＤ₁からＤ_Fへ同時かつ並列に送られ、第３に、距離プ ロセッサが（１４）式に従ってレジスタＤ₁からＤ_Fの内容を合計してｄを求め、 最後に、距離プロセッサがレジスタＤ₁からＤ_Fを介して各特徴プロセッサへｄを 戻し、プロセッサがそれを使用して（１０）式から（１２）式に従って更新した 分散および更新した結合重みマトリクスを計算する。 ジョイントアクセスメモリおよび接続されたプロセッサの設計は高度集積回路 としてコンパクトに実施するのに有利である。コンパトな実施例は各トライアル 中に最適な速度とするのに有利である。したがって、好ましくはカーネル２１は シングルチップ上に出来るだけ多くの特徴プロセッサおよびＪＡＭ素子により実 現される。さもなくば、並列処理速度の利点はチップ間のシリアル通信により取 り消される。また、内部コンポーネント間の距離が短いためコンポーネント間の 高速電気信号伝達が得られる。 ＣＩＰ並列カーネルは他の設計上の問題も満足させる。（ａ）信号劣化問題 （ファンアウトとして広く知られている）−ＪＡＭ素子の１台の特徴プロセッサ が任意所与の時間に供給する最大入力数を最小限に抑える、および（ｂ）スペー ス利用問題−特徴プロセッサとＪＡＭ素子間の通信に必要な導体数を最小限に抑 えらる。ＣＩＰ並列カーネルはこれらのさまざまな設計上の問題を、前記した並 列カーネル特徴処理調整と共に、ＪＡＭバスおよびスイッチング構造を介して満 足させる。 当業者であればカーネル２１はアナログ回路で実現できることがお判りであろ う。代替アナログ実施例は次のように実現される。（ａ）各アナログＪＡＭバス はデジタルビットワイヤの集まりではなく１本の導体であり、（ｂ）各デジタル ＪＡＭスイッチには１個の接点しかなく、（ｃ）各デジタルＪＡＭメモリ素子は 大きなデジタルメモリ素子ではなく小さな抵抗−容量網であり、（ｄ）算術演算 を実行するのに単純な（非逐次）アナログ回路が使用される。さらに、前記した ＪＡＭアナログオペレーションのいくつかはデジタルＡＬＵオペレーションと組 み合わせることにより一層コンパクトで高速でしかも容認できる精度のアナログ −デジタルハイブリッドを作り出すことができる。逐次カーネルオペレーション 逐次カーネルは並列カーネルに関して前記したベーシックカーネルオペレーシ ョンを利用する。したがって、両カーネルが同じ入力を受信する時は常に逐次カ ーネルオペレーションにより並列カーネルオペレーションと同じ出力が作り出さ れる。しかしながら、逐次オペレーションはＦ台のプロセッサではなく１台だけ のプロセッサを使用して得られるため、一般的に低速である。いくつかの逐次カ ーネルオペレーションは、並列カーネルオペレーションを全く同じようにシミュ レートするのではなく、効率のために異なる方法で実施される。 逐次カーネルオペレーションのχ計算ステップおよびω［ＯＵＴ］計算ステッ プはオプショナルな記憶装置および速度に対して実施される。両ステップ共ω（ １，１）を含み、ω（２，１）が続き、ω（２，２）が続き、ω（３，１）が続 き、ω（３，２）が続き、ω（３，３）が続き以下ω（Ｆ，Ｆ）まで続く連続し た記号列としてωの要素を格納することに基づいている。χ計算ステップおよび ω［ＯＵＴ］計算ステップはωの連続的に格納された要素へ最初の要素から最 後の要素までアクセスする。全体効果はこのような両ステップを入れ子型ループ を使用して従来の方法で実行される場合よりも遥かに高速とすることである。χ およびω更新ステップを計算するオペレーションのシーケンスについては、それ ぞれ、第１９図および第２０図に関連して検討する。並列システムオペレーション 第１０図を参照して、入力トランスジューサオペレーション５０４、カーネル 計算５０５、学習重みコントローラオペレーション５０８、特徴機能コントロー ラオペレーション５１１、トランスジューサ出力オペレーション５０６およびグ ラフィックディスプレイオペレーション５１７の別々のサブシステムを、システ ムレベルにおいて、同時に実行することができる。オペレーションは２種からな り、並行オペレーションおよび管理オペレーションである。並行処理オペレーシ ョンは５０３，５０４，５０５，５０６，および５０７に示され、時折の管理オ ペレーションは５０２，５０８，５１１，および５１７に示されている。 第１０図および第２図を参照して、各トライアル中に迅速に実行される、並行 オペレーションはトランスジューサ入力プロセッサ２４により実行されるトラン スジューサ入力オペレーション５０４、カーネルプロセッサ２４により実行され るカーネルオペレーション５０５およびトランスジューサ出力プロセッサ２６に より実行されるトランスジューサ出力オペレーション５０６を含んでいる。バッ ファ記憶装置は各デバイスからの出力値を次のデバイスへの入力値として利用し て両デバイスがさまざまなトライアルに対して同時にデータを処理できるように される。バッファリングを利用することにより、トランスジューサ入力オペレー ション５０４が次のトライアルのための入力特徴を作り出しておりかつトランス ジューサ出力オペレーション５０６が先行するトライアルから転嫁された測定値 を作り出している間に、カーネルオペレーション５０５は並行トライアルに対す るカーネル出力機能および学習パラメータ更新機能を作り出すことができる。 数トライアル期間にわたって時折実行することができる管理オペレーションは 学習重みコントローラ４０により実行される学習重みコントロールオペレーショ ン５０８、特徴機能コントローラ４１により実行される特徴機能コントロールオ ペレーション５１１、およびグラフィックディスプレイオペレーション５１７を 含んでいる。バッファリングにより並列管理オペレーションが可能となり、かつ バッファリングによりコーディネータ３８により実行される並列並行オペレーシ ョンが可能となる。管理オペレーション中に、カーネル２１からの出力情報はラ イン４０₁から４０_F，４０ｄを介した学習重みコントローラ４０への入力情報と して利用することができ、またカーネル２１からの出力情報はライン４１₁から ４１_Fを介して特徴機能コントローラが利用することができる。バッファは並行 オペレーションが継続している間に前のトライアル統計に基づいた管理オペレー ションをバッファ内で進行できるように使用される。 学習重みコントローラ４０内でオペレーション５１０中に監視された値は学習 重みコントロールオペレーション５０９へ送られる。特徴機能コントローラ４１ 内で、カーネルからの出力は特徴機能オペレーション５１３中に処理されオペレ ーション５１２中にコントロール特徴機能へ送られる。 カーネル２１出力値がバッファに受信された後で、特徴機能コントローラ４１ は（２３）式から（２５）式を実行することができかつ（１７）式から（１９） 式を実行することができる。特徴機能コントローラオペレーション５０８および 学習重みコントローラオペレーション５１１中に、カーネル２１はその並行オペ レーションを継続する。したがって、３つのオペレーション５０４，５０５，お よび５０６は同時に進行する。 並行転嫁、監視および学習オペレーションと共に、ＣＩＰシステムは時々特徴 機能を監視する。監視オペレーションには学習した結合重み値および学習した分 散値をカーネル２１から受信し、（２３）式に従って特徴重相関値を計算し、（ ２４）式に従って特徴公差帯比率値を計算し、（２５）式に従って部分相関値を 計算することが含まれる。特徴機能監視統計を計算した後で、統計により（ａ） ＣＩＰユーザにグラフィックディスプレイオペレーション５１７を介してマニュ アル解釈および洗練を提供するか、あるいは（ｂ）統計をＣＩＰの自動洗練５１ ２オペレーションに使用することができる。 監視特徴機能オペレーション５１３の結果修正スイッチングオペレーション５ ０７をコントロールして特徴仕様変更が実施される。スイッチオペレーション５ ０７をトリガすることによりＣＩＰシステム１０は前記したようにオペレーショ ン５０２を介して特徴仕様を再初期化する。 前記したように、ＣＩＰシステムは量カウント“ｅａｓｙ Ｂａｙｅｓ”を利 用するため、（２３）式から（２５）式を満たす特徴機能監視統計は、学習した 平均値および学習した結合重みと共に、直接解釈することができる。トライアル １からトライアルｔの各学習重み、ｌ（１）からｌ（ｔ）、が次のように前のト ライアルの量カウントに対する各トライアルの量カウントの比率であるものとす ると、初期パラメータ値に対する量カウントはトライアル１からｔからの特徴と 共にｑ（０）からｑ（ｔ）として表示され、次式が得られる。 さらに初期平均値ベクトルがｑ（０）量初期ベクトルの平均値であり、トライア ル１からｔに対する入力特徴ベクトルｍ［ＩＮ］が、それぞれ、トライアル１に 対するｑ（１）量ベクトルからトライアルｔに対するｑ（ｔ）量ベクトルの平均 値であるものとする。すると統計理論から並行学習した全ての回帰パラメータ値 および並行して利用出来る全ての洗練パラメータはｑ（０）＋ｑ（１）＋．．． ＋ｑ（ｔ）の全体サンプルサイズからの等しく重み付けされた量カウントに基づ く平均値統計として解釈することができる。 例えば、トライアル１０の終りの学習した特徴平均値ベクトルはｑ（０）＋ｑ （１）＋．．．＋ｑ（１０）の量値の平均値の解釈を有し、任意他のトライアル 数後の学習した特徴平均値ベクトルは同じ解釈を有している。 第２の例として、ｑ（１）＝ｑ（２）＝ｑ（３）＝Ｒ，ただし、Ｒは正の定数 、と設定することにより（２０）式から（２２）式を満たす等インパクトシーケ ン スを発生することができ、その場合、（２８）式に基づいた代数から（２０）式 から（２３）式のようにｌ（１）＝１／Ｒ，ｌ（２）＝１／（Ｒ＋１），ｌ（３ ）＝１／（Ｒ＋２）等となり、Ｒ＝ｑ（０）／Ｒ₁である。したがって、（２８ ）式から（２０）式から（２３）式を満たす等重要性ＣＩＰシーケンスの偏差だ けでなく、ＣＩＰシステムによる等重要性学習の量観察解釈が得られる。 ＣＩＰシステムにより使用される量カウント“Ｅａｓｙ Ｂａｙｅｓ”を使用 する結果、特徴回帰パラメータおよび特徴機能監視パラメータはトライアル毎に 並行的に評価することができ従来の統計手順や従来のニューロコンピューティン グ手順で得られるパラメータよりも一層容易に実施することができる。 前記したように、並列ＣＩＰシステムはバッファされた通信を使用してより迅 速に作動することができる。また、前記したように、できるだけ多くのＣＩＰオ ペレーションをワンチップ上で実施することによりチップ間通信時間ロスを著し く回避することができる。その結果、いくつかのＣＩＰサブシステムをシングル チップのさまざまな層上で実施しかつ並列バッファリングにより層間の通信を行 うことにより全体ＣＩＰ動作速度を最大とすることができる。 第１１図は学習重みコントローラ４０によりアクセスされる並列カーネル特徴 プロセッサ３１₁から３１_F内のメモリ位置３１１、学習重みコントローラバッフ ァ１１０１、および学習重みコントローラバッファ１１０１への対応するバス４ １_1aから４１_Fdを示す。第１１図に示すように、バッファ素子１１１はカーネル ２１メモリ位置と同様な幾何学構成とされ、各並列カーネルメモリ位置に対応し 図示するようにカーネルメモリ位置に並列に揃えることができる。バッファのカ ーネル２１メモリ位置に対する並列構造によりバッファは最小の配線で並列カー ネルの上もしくは下の層に設けることができる。 第１２図を参照して、特徴機能コントローラへのバッファリングを示す。第１ ２図には特徴機能コントローラ４１によりアクセスされる並列カーネル特徴プロ セッサ内のメモリ位置４１１、特徴機能コントローラバッファ１２０１、および 特徴機能コントローラバッファ１２０１への対応するバス４１_JAM(2,1)から４１_JAM(F,F) および４１₁から４１_Fが図示されている。第１１図に示すように、第１ ２図のバッファ素子はカーネル２１メモリ位置と同様に構成され、各並列カ ーネルメモリ位置に対応しカーネル２１メモリ位置に並列に揃えられている。バ ッファは最小の配線要求で並列カーネルの上もしくは下の層に設けることができ る。 第１１図および第１２図の幾何学に揃えられたバッファリングと、多層チップ 設計とが相俟って、ＣＩＰサブシステムはシングルチップもしくは揃えられたチ ップのシングルアレイ上に常駐することができる。その結果、システム内の無駄 な通信時間が最小限に抑えられる。逐次システムオペレーション 第１３図を参照して、逐次カーネルのサブシステムを示す。第１３図にはサブ システム間で転送されるベクトルおよびパラメータが第３図よりも詳しく図示さ れている。学習重みコントローラ４０ａ、特徴機能コントローラ４１ａおよびコ ーディネータ３８ａのさまざまな入力および出力が図示されている。監視される さまざまなパラメータや逐次システムにより実施されるコントロール機能は関連 するデータの転送が逐次行われる点を除けば並列システムと同じである。 １台の利用可能なプロセッサを使用して一時に１つのＣＩＰオペレーションし か実行されないため、ＣＩＰシステムは前記した並列システムに関連する全ての オペレーションを、それほど高速ではないが、実行することができる。また、カ ーネルオペレーションには１台のプロセッサしか利用出来ないため、サブシステ ムレベルでは並列カーネル実施例のような同時オペレーションは実施されない。 しかしながら、速度問題を除けば、ＣＩＰシステムは逐次的に実施した場合並 列プロセッサを使用して実施した場合と同じぐらい強力である。また逐次ＣＩＰ 実施例には並列実施例に較べて少なくとも２つの利点があり、逐次実施例は特殊 設計の並列回路ではなく従来のコンピュータ内で実施できるため一般的に費用が 少なくて済み、また並列コンピュータが特殊化された回路で供給するよりも多く のトライアル当たりの特徴を従来のコンピュータで供給することができる。その 結果、逐次ＣＩＰ実施例はトライアル発生レートがトライアル当たりの特徴数に 較べて低い応用において有用である。代替カーネル実施例 カーネルの代替オペレーションには、（１）デービッド−フェッチャー−パウ エル（ＤＦＰ）数値最適化アルゴリズムにより使用される係数マトリクスを更新 する、（２）対称マトリクスにベクトルを乗じる、（３）特徴機能コントロール 中に削除された特徴の結合重みマトリクスを調整する、および（４）カーネルを 学習して入力トランスジューサとなることが含まれる。以下に関連する４つの応 用の全てについてカーネル修正に基づいて検討する。 数値最適化応用から始めて、ＤＦＰ法はいくつかの変数の関数に対する最大（ もしくは最小）独立変数を見つけるためのいくつかの反復方法の１つである。数 値最適化方法は一般的に有用ではあるが一般的に低速である。例えば、数値最適 化方法は５日天気予報に関連する最適値を見つけるのに使用されるが、スーパー コンピュータであっても収束するのに一般的に何時間もかかる。数値最適値方法 の中で、ＤＦＰ法は容易には利用出来ない反復探索プロセス中に派生情報を学習 するため、多様な応用において特に有用である。 並列カーネルプロセスが高速並行情報処理システムを実施するのに使用される ように、その修正バージョンは新しい高速数値最適値システムに使用することが できる。特に、Ｆ個の独立変数に基づく逐次ＤＦＰ更新が最適解へ収束するのに ｓ秒かかる場合、並列ＤＦＰ更新は収束するのにおよそｓ／Ｆ秒しかかからない 。例えば、５日天気予報が２，０００個の変数の関数を最適化する必要があり、 従来の（逐次）ＤＦＰ法を使用すれば収束するのに２０時間かかるものとする。 同じ最適化問題を並列カーネルに似たＤＦＰ法に対応する並列処理により解決で きれば、およそ１８秒で収束する。 ＤＦＰ法ではマトリクスの逆元が正規動作の一部として連続的に更新される。 ＣＩＰシステムのように共変マトリクスの逆元を更新するのではなく、ＤＦＰア ルゴリズムは情報マトリクスと呼ばれる２次導関数の推定されたマトリクスの逆 元を更新する。ＤＦＰ逆元を更新する公式はＣＩＰ逆元を更新する公式とは異な るが、並列ＣＩＰカーネルアルゴリズムの拡張を使用してＤＦＰを更新すること ができる。ＤＦＰ情報マトリクス逆元更新式は、 ω［ＤＦＰ，ＯＵＴ］＝ω［ＤＦＰ，ＩＮ］−ｃ［ＤＦＰ］χ［ＤＦＰ］^T χ［ＤＦＰ］＋ｂ［ＤＦＰ］ｙ［ＤＦＰ］^Tｙ［ＤＦＰ ］ （２９） となり、ここに、 ｃ［ＤＦＰ］＝１／ｄ［ＤＦＰ］ （３０） χ［ＤＦＰ］＝ｅ［ＤＦＰ］ω［ＤＦＰ，ＩＮ］ （３１） ｄ［ＤＦＰ］＝ｅ［ＤＦＰ］ω［ＤＦＰ，ＩＮ］ｅ［ＤＦＰ］^T （３２） ｂ［ＤＦＰ］＝χ［ＤＦＰ］ｙ［ＤＦＰ］^T （３３） ＤＦＰ更新式（２９）から（３３）はＤＦＰ更新に適するように適応すること ができる。特に、カーネルプロセスに対応するＤＦＰは並列ＣＩＰカーネル２１ と同数のステップを利用し、並列ＣＩＰカーネルが（１１）式を計算するように （２９）式を計算し、並列ＣＩＰカーネルが（１４）式を満たす距離関数を計算 するように（３２）式を満たすその距離関数および（３３）式を満たすその内積 関数を計算し、並列ＣＩＰカーネル２１が（１３）式満たすそのマトリクス−ベ クトル積を計算するように（３１）式を満たすそのマトリクス−ベクトル積を計 算する。２つの並列方法間の違いは、（ａ）（２９）式のＤＦＰ定数がその対応 する並列ＣＩＰカーネル式（１２）よりも単純であり、カーネルプロセスに対応 するＤＦＰは（１４）式を計算するために１つの並列ＣＩＰカーネル内積を解く のではなく（３２）式および（３３）式を計算するために２つの内積を解き、（ １１）式の第２項を計算するために１つの対応する並列ＣＩＰカーネル外積を計 算するのではなく（２９）式の第２項および第３項を計算するために２つの外積 の項を計算することである。 ベクトルによる対称マトリクスの乗算が繰り返し迅速に実行されるより計算量 の少ない適応されたカーネルの実施例が得られる。カーネル実施例は、（１３） 式が一例である、積の計算をその計算に必要な演算だけを保存して他は全て除外 することにより単純化することができる。並列ＣＩＰカーネル実施例および他の 全ての適応されたバージョンにより、逐次処理の替わりに並列処理を使用してお よそＦ倍の高速で結果が得られる。 ＣＩＰシステム内の適応された対応するカーネルに関して、（ａ）（２６）式 の第２項の一定の係数は距離機能を利用せず、かつ（ｂ）（１３）式のように最 初にマトリクス−ベクトル積を必要とせずに、２つのベクトルの外積だけで（2 ６）式の第２項が計算される点において特徴除外調整式（２６）はカーネル更新 式（１１）の単純化されたバージョンである。その結果、並列ＣＩＰカーネルは 単純化して（２６）式を解くことができる。 特徴機能修正および入力トランスジューサ処理用適応された並列ＣＩＰカーネ ルオペレーションに関して、“生徒入力トランスジューサ”は最初に有用な特徴 だけを使用するよう“教示”され、その後特徴を作り出すためにオペレーション を使用することができる。例えば、ＣＩＰシステムは特徴１から１００のいくつ かの独立変数値の関数として１つの独立変数値特徴１を予測する必要があるもの とする。従来の一連の学習トライアル中にカーネルプロセスの修正により特徴２ から特徴１００までから特徴１を転嫁する９９の最適結合重みを識別するように 学習することができる。学習が行われた後で、特徴２から特徴１００に対応する ９９の入力および特徴１に対応する唯一の出力を有する入力トランスジューサの 替わりに学習したモジュールを使用することができる。入力トランスジューサと して使用される場合、モジュールはその学習および更新オペレーションがバイパ スされる点でカーネルとは異なっている。したがって、このようなモジュールを 実施するのに必要なカーネルの唯一の修正は、特徴転嫁オペレーション中に学習 をバイパスする少量の内部論理と共に、学習対特徴転嫁オペレーション用入力２ 進インジケータである。ＣＩＰシステムのプロセス 第１４図から第１７図を参照して、本発明で実施される並列ＣＩＰカーネルシ ステムの好ましいステップを示す。第１４図から第１７図に示すプロセスのステ ップは全てＣＩＰシステム１０の並列カーネル２１サブシステム内で行われる。 ステップ１４００において、前記したように、カーネル２１は初期処理を開始す る時に学習重みｌ、特徴ベクトルｍ［ＩＮ］およびバイアビリティベクトルνを 受信する。ステップ１４０１において、カーネルは平均ベクトルμ［ＩＮ］，ω ［ＩＮ］，ν［Ｄ，ＩＮ］，λ［ＩＮ］，およびμ［ＩＮ］の値を含む学習パラ メータメモリ素子へアクセスする。μ［ＩＮ］，ω［ＩＮ］，ν［ＩＮ］，およ び１［ＩＮ］の各値は前のトライアル中に学習パラメータメモリに格納された出 力として計算されている。しかしながら、これが初期ＣＩＰシステム反復であれ ば、μ［ＩＮ］値はゼロであり、ω［ＩＮ］値は恒等マトリクスに対応し、ν［ Ｄ，ＩＮ］値だけでなくμ［ＩＮ］値もゼロである。 ステップ１４０２において、カーネルは（３）式に従ってバイアビリティベク トルからのコンポーネント特徴学習重み、グローバル学習重み１および学習履歴 パラメータｌ［ＩＮ］値を計算する。次にプロセスはステップ１４０４へ進む。 ステップ１４０４において、（２）式に従って特徴平均ベクトルｍ［ＩＮ］が更 新される。ステップ１４０６において、（９）式に従って中間転嫁特徴ベクトル ｅ［ＩＮ］が更新される。ステップ１４０８において、（４）式に従って学習履 歴パラメータｌ［ＯＵＴ］が更新される。次にプロセスは第１５図のＢへ進む。 第１５図を参照して、本発明の好ましい実施例のプロセスの好ましいステップ の検討を続ける。第１５図は前記したように中間マトリクス／ベクトル積が計算 される好ましいプロセスを示す。ステップ１５００において、中間マトリクス／ ベクトル積の各要素χ（ｆ）がゼロへ初期化されプロセスはステップ１５０２へ 進む。ステップ１５０２において、カーネルは第９図に関して前記した調整時間 方式に従ってプロセッサ対へアクセス開始する。ステップ１５０４において、各 プロセッサ対ｆはジョイントアクセススイッチングノードにおいて適切な結合重 みω［ＩＮ］（ｆ，ｇ）を検索する。同様に、第７図に関して前記したように、 ステップ１５０６において適切な中間転嫁特徴値ｅ［ＩＮ］（ｇ）が検索される 。前記したように、ステップ１５０８において、要素χ（ｆ）はクロス乗積によ り増分される。 プロセスはステップ１５１０へ進みそこで調整時間方式の最終調整時間間隔に 達したかどうか確認される。最終調整時間間隔に達していなければ、プロセスは ステップ１５１２において次の時間間隔へ進みその後ステップ１５０２からステ ップ１５０８が再反復される。ステップ１５０２から１５０８の再反復によりχ （ｆ）の計算の移動和が得られる。ステップ１５１０において、最終接続時間間 隔に達しておれば、前記したようにステップ１５５２において計算値は距離プロ セッサに格納される。次にプロセスは第１６図のＣへ進む。 第１６図を参照して、カーネルサブシステム２１の出力値を計算する本発明の 好ましい実施例のステップを示す。ステップ１６０２において、（１７）式に従 って出力回帰特徴ベクトルｍ［ＩＮ］が計算される。 次にステップ１６０４において（１６）式に従って転嫁特徴ベクトルｍ［ＯＵ Ｔ］が計算される。次にプロセスはステップ１６０６へ進む。ステップ１６０６ において、距離プロセッサは距離ＡＬＵ３４において（８）式に従ってマハラノ ビス距離値を計算する。前記したように、各プロセッサは特定のプロセッサによ り計算された距離値クロス乗積を距離プロセッサに格納する。全てのプロセッサ から各クロス乗積値を受信した後で、距離プロセッサは特徴プロセッサから与え られた全ての距離値を合計して距離測度ｄを得る。次にプロセスは第１７図のＤ へ進む。 第１７図を参照して、本発明の好ましい実施例において結合重みマトリクス要 素ω（ｆ，ｇ）を更新するプロセスのステップを示す。ステップ１７０２におい て、（１０）式に従って分散ν［Ｄ］（ｆ）が計算される。次にプロセスはステ ップ１７０６へ進み、そこで第９図に関して前記した結合時間方式に従ってプロ セッサＦによりプロセッサｇがアクセスされる。ステップ１７１０において、プ ロセッサｇが下位バスラインによりアクセスされているかどうか確認される。（ 第８図参照）。プロセッサが下位バスを介してプロセッサｇにアクセスされてい る場合には、プロセッサｆのプロセスはステップ１７１２へ進む。ステップ１７ １２において、中間マトリクス／ベクトル積χ（ｇ）がプロセッサｆに対して検 索される。ステップ１７１４において、現在対とされているプロセッサのノード に位置するメモリ素子に対応する適切な結合重み要素が（１１）式に従ってプロ セッサｆにより更新される。 ステップ１７２０において、カーネルは調整時間方式の最終接続時間間隔に達 したかどうかを確認する。調整時間方式の最終間隔に達していなければ、ステッ プ１７２２においてカーネルは次の調整時間間隔へ進む。ステップ１７２２に続 いて、ステップ１７０６から１７２０が繰り返される。 ステップ１７１０において、プロセッサｇがその上位バスを介してアクセスさ れておれば、プロセッサｆは並行トライアル用出力を発生し次のトライアル用入 力を読み取る。プロセスはステップ１７１６からステップ１７２０へ進みそれに ついては前記した。ステップ１７２０において、調整時間方式の最終接続時間間 隔に達しておれば、カーネル機能は現在のトライアルについて終了する。 第１８図から第２１図を参照して、本発明において実施されるプロセスに対す る逐次ＣＩＰカーネル２１ａの好ましいステップを示す。第１８図から第２１図 に示すプロセスのステップは全てＣＩＰシステム１１の逐次カーネル２１ａサブ システムで行われる。前記したように、ステップ１８００において、逐次カーネ ル２１ａは初期処理を開始する時に学習重みｌ、特徴ベクトルｍ［ＩＮ］および バイアビリティ値νを受信する。ステップ１８０１において、カーネルはμ［Ｉ Ｎ］値、ω［ＩＮ］値、ν［Ｄ，ＩＮ］値およびλ［ＩＮ］を含む学習パラメー タメモリ素子へアクセスする。μ［ＩＮ］、ω［ＩＮ］、およびｌ［ＩＮ］の各 値は前のトライアル中に学習パラメータメモリに格納される出力として計算され ている。しかしながら、これが初期ＣＩＰシステム反復であれば、各μ［ＩＮ］ （ｆ）値はゼロに等しく、ω［ＩＮ］値は恒等マトリクスに対応し、ν［Ｄ，Ｉ Ｎ］値だけでなくλ［ＩＮ］値も１である。 ステップ１８０２において、カーネルは（３）式に従ってバイアビリティベク トルν、グローバル学習重みｌ、およびλ［ＩＮ］値からコンポーネント特徴学 習重みを計算する。ステップ１８０４において、（２）式に従って特徴平均ベク トルが更新される。ステップ１８０６において、（９）式に従って中間転嫁特徴 ベクトルｅ［ＩＮ］が計算される。ステップ１８０８において、（４）式に従っ て学習履歴パラメータλ［ＯＵＴ］が更新される。 第１９図を参照して、中間マトリクス／ベクトルχを計算するために本発明に おいて実施される逐次ＣＩＰカーネルプロセスの好ましいステップを示す。第１ ９図に関して検討するプロセスにより従来の二重ループ（すなわち、マトリクス の全てのロー値に対するループおよびマトリクスの全てのカラム値に対するルー プ）を実行せずに中間マトリクス／ベクトルχを計算する方法が提供される。マ トリクスω要素はω（１，１）からω（２，１）へω（２，２）へω（３，１） へω（３，２）へω（３，３）以下同様にω（Ｆ，Ｆ）へ対応する連続した順序 の記号列として格納される。ステップ１９０２において、最初のω要素の位置ｈ が１に初期化される。ステップ１９０４において、中間マトリクス／ベクトルχ はゼロに設定される。次にプロセスはステップ１９０６へ進みそこでマトリクス 形式で格納されたω要素に対応するロー値ｆがゼロに設定される。次にプロセス はステップ１９１２へ進みそこでロー値は１だけ増分される。ステップ１９０８ において、マトリクス形式で格納されたω要素に対応するカラム値ｇが次にゼロ に設定される。次にプロセスはステップ１９１４へ進みそこでカラム値ｇが１だ け増分される。次にプロセスはステップ１９１６へ進みそこで中間マトリクス／ ベクトル積ω（ｆ，ｇ）と対応するχ（ｆ）との積を計算する移動和がカラムｇ に対する現在の中間転嫁特徴ベクトルｅ［ＩＮ］（ｇ）だけ増分される。 ステップ１９２０において、カラム値ｇがロー値ｆよりも小さいかどうか確認 される。対応するカラム値ｇがロー値ｆよりも小さくなくて、ω（ｆ，ｇ）要素 が結合重みマトリクスの主対角線上にあることを示す場合、プロセスはステップ １９２４へ進みそこで要素の位置ｈがlだけ増分される。次にプロセスはステッ プ１９３０へ進みそこでロー値ｆがカラム値ｇに等しくω要素が結合重みマトリ クスω［ＩＮ］の主対角線上にあることを示しているかどうか確認される。ここ で、カラム値がロー値よりも小さくて、ωのより多くの要素が対応するローに含 まれていることを示す場合には、前記したように、プロセスはステップ１９１４ へ進みそこでカラム値ｇは１だけ増分されてプロセスはステップ１９１６へ進む 。 ステップ１９２０において、ロー値がカラム値に等しければ、ステップ１９２ ２において、中間マトリクス／ベクトル積χ（ｇ）を計算する移動和は現在のω （ｆ，ｇ）要素にカラムｆの中間転嫁特徴ベクトルｅ（ｆ）を乗じた量だけ増分 される。次にプロセスはステップ１９２４へ進みそこで次のω要素へアクセスす るためにω要素の位置hは１だけ増分される。ステップ１９３０においてロー値 がカラム値に等しければ、プロセスはステップ１９４０へ進む。ステップ１９４ ０において、ロー値がシステムの特徴の総数に等しいかどうか確認される。ロー 値が特徴の総数に等しくなく、全てのω値が評価されてはいないことを示す場合 には、プロセスはステップ１９１２へ進み前記したように続く。ステップ１９４ ０において、ロ値が特徴数に等しくなくて、全てのω値が評価されていることを 示す場合には、プロセスは第２０図のＦへ進む。 第２０図を参照して、逐次カーネルサブシステム２１ａの出力値を計算する本 発明の好ましい実施例のステップを示す。ステップ２００２において、（１７） 式に従って出力回帰特徴ベクトルが計算される。 次にステップ２００４において、転嫁特徴評価ｍ［ＯＵＴ］が計算される。次 にプロセスはステップ２００６へ進む。ステップ２００６において、距離ＡＬＵ は距離プロセッサにおいて（８）式に従ってマハラノビス距離を計算する。前記 したように、各プロセッサは特定のプロセッサが計算した距離を距離プロセッサ に格納する。全てのプロセッサから各クロス乗積を受信した後で、距離プロセッ サは特徴プロセッサから与えられる距離値を全て合計して距離測度ｄを得る。次 にプロセスは第２１図のＧへ進む。 第２１図を参照して、逐次カーネルプロセスに対するω更新プロセスのステッ プを示す。ステップ２１０２において、ω要素のシーケンスにおけるω要素の位 置が１に初期化される。ステップ２１０４において、記号列内のω要素に対応す るロー値がゼロに初期化される。次にプロセスはステップ２１０６へ進みそこで ロー値ｆは１だけ増分される。次にプロセスはステップ２１０８へ進みそこで分 散要素ν［Ｄ，ＯＵＴ］が現在のローｆ値に対して更新される。次にプロセスは ステップ２１１２へ進みそこでカラム値ｇがゼロへ初期化される。ステップ２１ １４において、カラム値ｇが１だけ増分される。次にプロセスはステップ２１１ ６へ進みそこで（１１）式に従ってωの結合重み要素が更新される。次にプロセ スはステップ２１１８へ進む。ステップ２１１８において、記号列内の次のω要 素へアクセスするためにω位置値ｈが１だけ増分される。ステップ２１２０にお いて、カラム値ｇがロー値ｆに等しいかどうか確認される。カラム値ｇがロー値 ｆに等しくなければ、そのローに対応するω要素はそれ以上は更新されず前記し たようにプロセスはステップ２１１４へ進みステップ２１１６および２１１８を 完結する。 ステップ２１２０においてカラム値ｇがロー値ｆに等しい場合には、主対角線 に対応するω要素に達していることを示しプロセスはステップ２１３０へ進む。 ステップ２１３０において、ロー値ｆが特徴数に等しいかどうか確認される。ロ ー値が特徴数に等しくなければ、プロセスはステップ２１０６へ進みそこでロー 値が増分されてプロセスは前のステップに関して前記したように進む。ステップ ２１３０においてロー値ｆが特徴数に等しくなければ、更新プロセスは終了して おり現在のトライアルに対するカーネル機能が終了する。 第２２図を参照して、システム監視のための本発明の好ましい実施例を示す。 ステップ２２０２において、学習特徴結合重みω［ＯＵＴ］および学習特徴分散 ν［Ｄ，ＯＵＴ］がカーネルから受信される。次にプロセスはステップ２２０３ へ進み（２３）式に従って特徴重相関ｃ［Ｍ］を計算する。ステップ２２０４に おいて、（２４）式に従って公差帯比率ｒが計算される。ステップ２２０６にお いて、（２５）式に従って部分相関が計算される。さらに、ＣＩＰシステムは入 力偏差を監視するため、前記したように、システム入力に異常偏差が検出される とステップ２２０８において学習をイネーブルすることができる。ステップ２２ １０において、マハラノビス距離を出力ディスプレイモニタ１４に描くことがで きまた（１８）および（１９）式に従って標準偏差測度を計算してディスプレイ することができる。ユーザ仕様に従って、ＣＩＰシステムの任意所望の出力をス テップ２２１２においてディスプレイしてユーザが評価することができる。 本発明の好ましい実施例について説明してきたが、請求の範囲に明記された発 明の範囲内でさまざまな変更を行うことができる。

【手続補正書】 【提出日】平成１１年７月７日（１９９９．７．７） 【補正内容】 1. 一連のタイムトライアル中に受信した入力値から出力値を計算する処理シ ステムであって 、 各タイムトライアルに対して複数の入力データ値を有する入力ベクトルを受信 するように動作する処理ユニットと 、 前記処理ユニットに接続され、前のタイムトライアル中に受信した入力データ 値に加えられる回帰分析に基づいた共分散マトリクスの逆行列である結合重みマ トリクスを定義する要素を格納する記憶ユニットとを備え、 前記処理ユニットが、各タイムトライアル中に、当該タイムトライアルに対す る入力データ値および前記結合重みマトリクスの要素の関数として計算される１ つ以上の出力値を与えるように動作し、 前記処理ユニットが、各タイムトライアル中に、当該タイムトライアル中に受 信した前記入力値間の共分散関係に基づいて、前記結合重みマトリクスの要素を 更新するように動作する処理システム 。 2. 請求項１に記載の処理システムにおいて、各タイムトライアルに対する前 記出力値が、当該タイムトライアルに対する入力データ値の重み付け和に対応し 、前記重みが前記結合重みマトリクスの要素によって定義されている処理システ ム 。 3. 請求項１および２のいずれかに記載の処理システムにおいて、前記処理ユ ニットが、逐次順序で前記結合重みマトリクスの各要素にアクセスするように動 作する処理システム 。 4. 請求項１および２のいずれかに記載の処理システムにおいて、前記処理ユ ニットが、並列に前記結合重みマトリクスの各要素にアクセスするように動作す る処理システム 。 5. 請求項１〜４のいずれかに記載の処理システムにおいて、前記処理ユニッ トが、各タイムトライアル中に、当該タイムトライアルに対する入力データ値お よび前記結合重みマトリクスの要素に基づいて、消失入力データ値に対応する出 力値を転嫁するように動作する処理システム 。 6. 請求項１〜５のいずれかに記載の処理システムにおいて、前記処理ユニッ トが、各タイムトライアル中に、当該タイムトライアルに対する入力データ値お よび前記結合重みマトリクスの要素に基づいて、偏差入力データ値に対応する出 力値を転嫁するように動作する処理システム 。 7. 請求項１〜６のいずれかに記載の処理システムにおいて、前記入力値は測 定値に対応し、前記出力値は前記測定値に対する予測値に対応する処理システム 。 8. 請求項１〜７のいずれかに記載の処理システムにおいて、前記処理ユニッ トは、各タイムトライアル毎に、以前のタイムトライアルに対する対応入力値に 与えられた重みに関連して当該タイムトライアルに対する入力値に与えられる重 みを反映している学習重みを用いて、前記結合重みマトリクスの各要素を更新す る処理システム 。 9. 請求項８に記載の処理システムにおいて、タイムトライアルからタイムト ライアルまでに前記結合重みマトリクスの各要素に対する学習重みを変更するよ うに動作する学習重みコントローラをさらに含む処理システム 。 10． 請求項９に記載の処理システムにおいて、前記学習重みコントローラは 、入力値の異常偏差の検出に応答して学習をディセーブルするように動作する処 理システム 。 11．請求項９および１０のいずれかに記載の処理システムにおいて、前記学習 重みコントローラは、前記学習重みの１つ以上を定義するユーザ入力を受信する ように動作する処理システム 。 12．請求項１〜１１のいずれかに記載の処理システムにおいて、測定値を受信 し、前記測定値に基づいて入力ベクトルを計算するための特徴機能コントローラ をさらに含む処理システム 。 13．請求項１２に記載の処理システムにおいて、前記特徴機能コントローラは 、前記結合重みマトリクスの要素に対する値を定義するユーザ入力を受信するよ うに動作する処理システム 。 14．請求項１３に記載の処理システムにおいて、前記結合重みマトリクスは、 前記結合重みマトリクスの要素に対するユーザ定義値を通して初期化される処理 システム 。 15．請求項１２〜１４のいずれかに記載の処理システムにおいて、前記特徴機 能コントローラは、前記処理ユニットから出力特徴値を受信し、前記出力特徴値 に基づいて前記出力値を計算するように動作する処理システム 。 16．請求項１２〜１５のいずれかに記載の処理システムにおいて、前記特徴機 能コントローラは、入力値における急激な変化を識別するために統計計算を行う ように動作する処理システム 。 17．請求項１２〜１６のいずれかに記載の処理システムにおいて、前記特徴機 能コントローラは、出力値における急激な変化を識別するために統計計算を行う ように動作する処理システム 。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＤＥ， ＤＫ，ＥＳ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，ＩＴ，ＬＵ，Ｍ Ｃ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ，ＣＦ，ＣＧ ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ，ＮＥ，ＳＮ， ＴＤ，ＴＧ)，ＡＰ(ＫＥ，ＬＳ，ＭＷ，ＳＤ，ＳＺ，Ｕ Ｇ)，ＡＬ，ＡＭ，ＡＴ，ＡＵ，ＢＢ，ＢＧ，ＢＲ，Ｂ Ｙ，ＣＡ，ＣＨ，ＣＮ，ＣＺ，ＤＥ，ＤＫ，ＥＥ，ＥＳ ，ＦＩ，ＧＢ，ＧＥ，ＨＵ，ＩＳ，ＪＰ，ＫＥ，ＫＧ， ＫＰ，ＫＲ，ＫＺ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，Ｌ Ｖ，ＭＤ，ＭＧ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ ，ＰＬ，ＰＴ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ， ＳＫ，ＴＪ，ＴＭ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，Ｖ Ｎ

Claims (1)

1. 【特許請求の範囲】 1. タイムトライアル中に受信した入力値から出力値を計算する並列処理シス テムであって、該システムは、 各々がタイムトライアル中に並列に入力ベクトルからの個別の入力値を受信す るように作動する複数の処理装置と、 前記各処理装置を前記システムの１台おきの処理装置に接続し前記プロセッサ 間で重み付けされた値を転送するように作動する複数の相互接続された導体とを 具備し、 前記各処理装置前記タイムトライアル中に前記重み付けされた値に基づいて予 期された出力値を与えるように作動しかつ前記タイムトライアル中に前記入力値 に基づいて前記重み付けされた値を更新するように作動する並列処理システム。 2. 請求項１記載の装置であって、さらに前記相互接続された導体に沿って配 置された複数のスイッチングジャンクションを具備し、前記スイッチングジャン クションは前記各プロセッサを前記システムの１台おきのプロセッサと一意的に 対とする装置。 3. 請求項２記載の装置であって、前記各スイッチングジャンクションはタイ ムトライアル中に前記各プロセッサを前記プロセッサの他の１台だけと選択的に 接続し、前記プロセッサの多数の対を形成して、時間間隔中に前記重み付けされ た値を伝達する装置。 4. 請求項３記載の装置であって、さらに複数のメモリ素子を具備し、前記各 メモリ素子は別々のスイッチングジャンクションに個別に接続されておりかつ重 み付けされたメモリ値を含む装置。 5. 請求項３記載の装置であって、前記スイッチングジャンクションは多数の タ時間間隔中に前記プロセッサの多数の対の中の異なる対を選択的に接続する装 置。 6. 請求項５記載の装置であって、前記スイッチングジャンクションは最小数 のステップで前記プロセッサの多数の対の中の前記異なる対の起こり得る全ての 組合せを選択的に接続する装置。 7. 請求項６記載の装置であって、さらに複数のメモリ素子を具備し、前記各 メモリ素子は別々のスイッチングジャンクションに個別に接続されておりかつ重 み付けされたメモリ値を含む装置。 8. 請求項３記載の装置であって、前記導体は第１の導体層および第２の導体 層を具備し、前記第１および第２の導体層は前記スイッチングジャンクションに おいて接続するように作動する装置。 9. 請求項８記載の装置であって、前記導体は第１の導体層および第２の導体 層を具備し、前記第１および第２の導体層は前記スイッチングジャンクションに おいて接続するように作動する装置。 10．請求項９記載の装置であって、前記スイッチングジャンクションは半導体 層内に配置され、前記第１および第２の導体層間に配置されている装置。 11．請求項１０記載の装置であって、さらに複数のメモリ素子を具備し、前記 各メモリ素子は別々のスイッチングジャンクションに個別に接続されておりかつ 重み付けされたメモリ値を含む装置。 12．請求項１１記載の装置であって、前記各スイッチングジャンクションは前 記各プロセッサを前記プロセッサの他の１台だけと選択的に接続し、前記プロセ ッサの多数の対を形成して、時間間隔中に重み付けされた値を伝達する装置。 13．請求項１記載の装置であって、さらに外部測定ベクトルを受信して前記入 力ベクトルへ変換するトランスジューサ入力プロセッサを具備し、前記トランス ジューサ入力プロセッサは時間順とされた予め選定された数の前記入力ベクトル を格納するように作動する装置。 14．タイムトライアル中に受信する入力値から出力値を計算する処理システム であって、該システムは、 入力ベクトルから、逐次、入力データ値を受信するように作動する処理装置と 、 データ列として逐次格納された結合重みマトリクスの要素を含む前記処理装置 に接続された記憶装置とを具備し、 前記処理装置は、前記タイムトライアル中に、前記結合重みマトリクスの前記 要素に基づいて予期された出力値を与えかつ、前記タイムトライアル中に、前記 入力データ値に基づいて前記結合重み値を更新するように作動する処理装置。 15．請求項１４記載の装置であって、前記プロセッサは前記結合重みマトリク スの各要素へ逐次アクセスするように作動する装置。 16．請求項１５記載の装置であって、前記プロセッサは前記列内で現在アクセ スされている結合重みに出会う時にそれに基づいて全ての転嫁オペレーションを 実行するように作動する装置。 17．請求項１６記載の装置であって、前記プロセッサは前記データ列内で現在 アクセスされている結合重みに出会う時にそれに基づいて全ての更新オペレーシ ョンを実行するように作動する装置。 18．多数のタイムトライアル中に与えられる入力データベクトルｍ［ＩＮ］内 に含まれる多数の入力値［解析入力データ］間の統計的関係を識別するコンピュ ータシステムであって、該コンピュータシステムは、 タイムトライアル中に入力ベクトルを受信するように作動する処理装置と、 受信した事前ｍ［ＩＮ］ベクトルに基づいて現在の入力ｍ［ＩＮ］要素間の関 係を表す結合重み要素を含む記憶装置とを具備し、 前記処理装置は前記受信した入力データベクトルの非消失値に基づいて前記結 合重み要素を更新しかつコンポーネント学習重みｌ［Ｃ］（ｆ）に基づいて前記 結合重み要素を更新するように作動し、前記ｌ［Ｃ］（ｆ）は受信した各ｍ［Ｉ Ｎ］（ｆ）データベクトルの異なる学習重みであって前記入力データベクトル要 素ｍ［ＩＮ］（ｆ）が受信した事前測定ベクトル要素ｍ［ＩＮ］（ｆ）に対して 行う前記結合重み要素の調整の量を決定するコンピュータシステム。 19．タイムトライアル中に受信する入力データベクトルから出力値を計算する 並列処理システムであって、該システムは、 タイムトライアル中に受信する前記入力データベクトルの別々の値を処理する 並列接続された複数の処理装置と、 前記各プロセッサに接続され要素のマトリクスの逆元である結合重みマトリク スを含む憶装置とを具備し、 前記各処理装置は、前記トライアル中に、前記結合重み要素を使用して数学回 帰解析を実施して消失入力データ値の予期された出力値を与えかつ、前記トライ アル中に、現在のトライアルからの入力データベクトル要素の関係を反映するよ うに前記各結合重み値を直接更新するように作動する並列処理装置。 20．複数の処理装置の各々間に通信経路を提供する装置であって、該装置は、 第１のプロセッサ、第２のプロセッサおよび第３のプロセッサと、 前記第１のプロセッサに接続された第１の導体と、 前記第２のプロセッサに接続された第２の導体と、 前記第３のプロセッサに接続された第３の導体と、 各々が前記第１の導体に沿った異なる点に接続された第１および第２のスイッ チングジャンクションとを具備し、 前記第２の導体経路は前記第２のプロセッサから前記第１のジャンクションへ 延在していて、前記第１のジャンクションは前記第２の導体経路および前記第１ の導体経路を介して前記第１のプロセッサを前記第２のプロセッサへ接続するよ うに作動し、 前記第３の導体経路は前記第３のプロセッサから前記第２のスイッチングジャ ンクションへ延在していて、前記第２のスイッチングジャンクションは前記第３ の導体経路および前記第１の導体経路を介して前記第１のプロセッサを前記第３ のプロセッサへ接続するように作動し、 第３のジャンクションは前記第３の導体経路および前記第２の導体経路に接続 されていて、前記第３の導体経路および前記第２の導体経路を介して前記第３の プロセッサを前記第２のプロセッサへ接続するように作動する装置。 21．請求項２０記載の装置であって、さらに複数のメモリ素子を具備し、前記 各スイッチングジャンクションに１個の前記メモリ素子が配置され、前記メモリ 素子は前記第１、第２および第３のスイッチングジャンクションに接続された前 記プロセッサによりアクセスすることができる装置。 22．請求項２１記載の装置であって、前記メモリ素子は重み値を含む装置。 23．請求項２２記載の装置であって、さらに前記スイッチングジャンクション のスイッチングをコントロールするように作動するコントロールプロセッサユニ ットを具備する装置。 24．請求項２３記載の装置であって、前記コントロールユニットは前記スイッ チングジャンクションへ第１の信号を与えて各処理装置を前記メモリ素子の選定 された素子へ選択的に接続するように作動する装置。 25．請求項２４記載の装置であって、前記コントロールユニットは前記各スイ ッチングジャンクションへ第２のコントロール信号を与えて前記各処理装置を前 記スイッチングジャンクションに接続された他方のプロセッサユニットに接続す るように作動する装置。 26．請求項２５記載の装置であって、前記コントロールユニットは前記スイッ チングジャンクションへ第３のコントロール信号を与えて前記スイッチングジャ ンクションに接続された前記プロセッサの１台を前記メモリ素子の選定された素 子へ選択的に接続するように作動する装置。 27．多数のタイムトライアル中に与えられる入力デー入力ベクトルｍ［ＩＮ］ を解析することにより多数の変数間の統計的関係を識別してｍ［ＩＮ］（ｆ）の 消失データ値の予期された出力、ｍ［ＯＵＴ］（ｆ）、を反映する出力ベクトル を与えるコンピュータシステムであって、該システムは、 タイムトライアル中に前記処理装置において入力データベクトルを受信するス テップと、 前記タイムトライアル中に、共変マトリクスの逆元ω［ＩＮ］を形成する結合 重み要素に基づいて前記データベクトルの消失入力値に対する出力値を転嫁する ステップと、 前記現在のタイムトライアル中に、受信した前記入力測定ベクトルの非消失値 に基づいて前記結合重み要素を更新し、更新した逆元共変マトリクスω［ＯＵＴ ］を形成するステップとを含むコンピュータシステム。 28．請求項２７記載の方法であって、さらにコンポーネント学習重みｌ［Ｃ］ （ｆ）に基づいて前記結合重み要素を更新するステップを含み、前記ｌ［Ｃ］（ ｆ）は受信した各測定ベクトルの異なる学習重みであって、前記更新ステップ中 に、前記入力データベクトルが受信した事前入力データベクトルに対して行う調 整の量を決定する方法。 29．請求項２７記載の方法であって、さらに受信した前記入力データベクトル を含む全ての事前データベクトルの事前平均ベクトルに基づいて前記結合重みマ トリクスを更新するステップを含む方法。 30．請求項２８記載の方法であって、さらに受信した全ての事前測定値ベクト ルベクトルの事前平均ベクトルに基づいて前記結合重みマトリクスを更新するス テップを含む方法。 31．請求項２８記載の方法であって、該方法はさらに、 前記更新ステップ中に前記入力データベクトルが受信した事前データベクトル に対して行う調整の量を決定するのに使用するグローバル学習重み１を受信する ステップと、 各入力データベクトルの事前該重みおよび消失値履歴のインジケータである学 習履歴パラメータベクトルλ［ＩＮ］を受信するステップと、 入力データベクトルの消失の程度を示すバイアビリティベクトルを受信するス テップと、 方程式１［Ｃ］（ｆ）＝ｌν（ｆ）λ［ＩＮ］に従って前記各コンポーネント 学習重み１［Ｃ］（ｆ）を計算するステップとを含む方法。 32．請求項３１記載の方法であって、該方法はさらに、コンポーネント学習重 みｌ［Ｃ］（ｆ）および事前学習履歴パラメータλ［ＩＮ］に基づいて前記学習 履歴パラメータベクトル要素を更新するステップを含み、 である方法。 33．請求項３１記載の方法であって、該方法はさらに、 受信した全ての事前測定値ベクトルの事前平均ベクトルμ［ＩＮ］に基づいて 前記結合重みマトリクスを更新するステップを含み、前記事前平均ベクトルμ［ ＩＮ］は前の測定トライアルからのμ［ＯＵＴ］に等しくかつｍ［ＯＵＴ］の各 要素は次式に従って計算され、ここに、μ［ＩＮ］（ｆ）は最初の測定トライアルに対しては１に等しい方法。 34．請求項３３記載の方法であって、該方法はさらに、中間転嫁ベクトルｅ［ ＩＮ］を利用して前記結合重み要素を更新するステップを含む方法。 35．請求項３４記載の方法であって、ｅ［ＩＮ］の各要素は次式に従って計算 される方法。 36．請求項３５記載の方法であって、該方法はさらに、下記の計算プロセスに 従って前記結合重みマトリクスを更新するステップを含み、 ここに、 かつ ｄ＝ｅ［ＩＮ］ω［ＩＮ］ｅ［ＩＮ］^T＝χｅ［ＩＮ］^T であり、前記ω［ＩＮ］は前の測定トライアルからのω［ＯＵＴ］に等しくかつ 最初のタイムトライアルの前の恒等マトリクスに等しい方法。 37．請求項３５記載の方法であって、該方法はさらに、消失値ｍ［ＩＮ］（ｆ ）を転嫁する前記ステップを含み、 ｍ［ＯＵＴ］（ｆ）＝μ［ＩＮ］（ｆ）＋ｅ［ＩＮ］（ｆ）（２−ν（ｆ）） ＋χ（ｆ）（ν（ｆ）−１）／ω（ｆ，ｆ） である方法。 38．請求項３５記載の方法であって、該方法はさらに、受信した全ての事前デ ータベクトルの事前平均ベクトルμ［ＩＮ］に基づいて分散ベクトルν［Ｄ，Ｏ ＵＴ］を計算するステップを含み、前記事前平均μ［ＩＮ］は前の測定トライア ルからのμ［ＯＵＴ］に等しくν［Ｄ，ＯＵＴ］の要素は次式に従って計算され 、 ここに、ν［Ｄ，ＩＮ］は前のトライアルからのν［Ｄ，ＯＵＴ］に等しく最初 のトライアルについては１に等しい方法。 39．請求項３８記載の方法であって、該方法はさらに、非消失学習平均値から 標準二乗偏差値ｄ［１］（ｆ）を計算するステップを含み、 ｄ［１］（ｆ）＝（ｍ［ＩＮ］−μ［ＯＵＴ］（ｆ））²／ν［Ｄ，ＯＵＴ］ （ｆ） である方法。 計算するステップを含み、ここに、 である方法。 41．請求項４０記載の方法であって、該方法はさらに、受信した全ての事前測 定値ベクトルの事前平均ベクトルμ［ＩＮ］（ｆ）に基づいて分散ベクトルν［ Ｄ，ＯＵＴ］（ｆ）を計算するステップを含み、前記事前平均μ［ＩＮ］（ｆ） は前の測定トライアルからのμ［ＯＵＴ］（ｆ）に等しく， であり、ν［Ｄ，ＩＮ］（ｆ）は前のトライアルからのν［Ｄ，ＯＵＴ］（ｆ） に等しく最初のトライアルについては１に等しい方法。 42．請求項４０記載の方法であって、該方法はさらに、回帰値ｄ［２］（ｆ） かんの標準二乗偏差値ｄ［２］（ｆ）を計算するステップを含み、ここに、 である方法。 43．請求項３６記載の方法であって、さらにχを計算するための１組のプロセ ッサ対をアクセスするステップを含み、 前記プロセッサ対はスイッチングジャンクションに接続されており、前記各ス イッチングジャンクションは１対のプロセッサにしか接続されずタイムトライア ルｉ中に前記各プロセッサｆを前記システムの１つおきのプロセッサｇと一意的 に対とするように作動し、前記各スイッチングジャンクションは前記結合重みマ トリクスω［ＩＮ］の１つの要素ω［ＩＮ］（ｆ，ｇ）に接続されており、該方 法は、 （ａ）時間間隔中に多数のプロセッサセットにアクセスするステップであって 、前記各プロセッサは前記時間間隔中に他の１台のプロセッサとしか対とされな い前記ステップと、 （ｂ）前記スイッチングジャンクションに位置する結合重み要素ω［ＩＮ］（ ｆ，ｇ）を各プロセッサにより検索するステップと、 （ｃ）前記スイッチングジャンクションに接続されたプロセッサｇにはｅ［Ｉ Ｎ］，（ｆ）をプロセッサ（ｆ）にはｅ［ＩＮ］（ｇ）を転送するステップと、 （ｄ）各プロセッサｆ内でｘ（ｆ）＝ｘ＋ｅ［ＩＮ］（ｇ）ω［ＩＮ］（ｆ， ｇ）を計算しプロセッサｇ内でｘ（ｇ）；＋ｅ［ＩＮ］（ｆ）ω［ＩＮ］（ｆ， ｇ）を計算するステップと、 （ｅ）全てのプロセッサが前記システムの１つおきのプロセッサと対とされる までステップ（ａ）から（ｄ）を繰り返すステップとを含む方法。 44．請求項３６記載の方法であって、さらにω［ＩＮ］の要素を更新するため の１組のプロセッサ対をアクセスするステップを含み、 前記プロセッサ対はスイッチングジャンクションに接続されており、前記各ス イッチングジャンクションは１対のプロセッサにしか接続されず選定された時間 間隔中に前記各プロセッサｆを前記システムの１つおきのプロセッサｇと一意的 に対とするように作動し、前記各スイッチングジャンクションは前記結合重みマ トリクスω［ＩＮ］の１つの要素ω［ＩＮ］（ｆ，ｇ）に接続されており、該方 法は、 （ａ）タイムトライアル中に多数のプロセッサセットにアクセスするステップ であって、前記各プロセッサは前記時間間隔中に他の１台のプロセッサとしか対 とされない前記ステップと、 （ｂ）前記スイッチングジャンクションに位置する結合重み要素ω［ＩＮ］を 各プロセッサにより検索するステップと、 （ｃ）前記スイッチングジャンクションに接続されたプロセッサｇにはｅ［Ｉ Ｎ］，（ｆ）をプロセッサ（ｆ）にはｅ［ＩＮ］（ｇ）を転送するステップと、 （ｄ）各プロセッサｆ内でｘ（ｆ）＝ｘ＋ｅ［ＩＮ］（ｇ）ω［ＩＮ］（ｆ， ｇ）を計算しプロセッサｇ内でｘ（ｇ）；＋ｅ［ＩＮ］（ｆ）ω［ＩＮ］（ｆ， ｇ）を計算するステップと、 （ｅ）全てのプロセッサが前記システムの１つおきのプロセッサと対とされる までステップ（ａ）から（ｄ）を繰り返すステップとを含む方法。 45．請求項３６記載の方法であって、さらに単一のプロセッサコンピュータシ ステムでχを計算するステップを含み、 前記単一のプロセッサはω［ＩＮ］の要素をその連続列としてデータ構造に格 納し、該方法は、 （ａ）データ列の結合重み要素ω［ＩＮ］にアクセスするステップと、 （ｂ）結合重みマトリクスからのω［ＩＮ］要素のロー値に対応するｘを更新 するステップと、 （ｃ）列内の次のω［ＩＮ］へアクセスするステップと、 （ｃ）現在のω［ＩＮ］要素が共変マトリクスの主対角線上にはなくかつ結合 重みマトリクスからのω［ＩＮ］要素のカラム値に対応するｘを更新する最後の ω［ＩＮ］ではない場合に、 （ｄ）ステップ（ａ）から（ｃ）を繰り返すステップを含む方法。 46．請求項３６記載の方法であって、さらに単一のプロセッサコンピュータシ ステムでω［ＩＮ］を更新するステップを含み、 前記単一のプロセッサはω［ＩＮ］の要素をその連続列としてデータ構造に格 納し、該方法は、 （ａ）データ列の第１の結合重み要素ω［ＩＮ］にアクセスするステップと、 （ｂ）ω［ＩＮ］を更新するステップと、 （ｃ）次のω［ＩＮ］へアクセスするステップと、 （ｃ）現在のω［ＩＮ］要素が共変マトリクスの主対角線上にありかつ最後の ω［ＩＮ］ではない場合にステップ（ｂ）へ進むステップを含む方法。 47．入力データを解析するコンピュータシステムにおいて、多数のタイムトラ イアル中に与えられる入力データベクトルｍ［ＩＮ］を解析することにより多数 の変数間の統計的関係を識別する方法であって、該方法は、 前記処理装置においてタイムトライアル中に入力データ装置から入力データベ クトルを受信するステップと、 共変マトリクスの逆元である結合重みマトリクスω［ＩＮ］の結合重み要素を 検索するステップと、 受信した前記入力データベクトルの非消失値に基づいて前記結合重みマトリク ス要素を更新しかつコンポーネント学習重みｌ［Ｃ］（ｆ）に基づいて前記結合 重み要素を更新するステップであって、前記ｌ［Ｃ］（ｆ）は受信した各測定ベ クトルに対する異なる学習重みであって前記測定ベクトルが受信した事前測定ベ クトルに対して行う調整の量を決定し、更新した逆元共変マトリクスω［ＯＵＴ ］を形成するステップとを含むコンピュータシステム。 48．請求項４７記載の方法であって、該方法はさらに、受信した前記入力デー タベクトルを含む全ての事前測定値ベクトルの事前平均ベクトルに基づいて前記 結合重みマトリクスを更新するステップを含む方法。 49．請求項４８記載の方法であって、該方法はさらに、受信した全ての事前デ ータベクトルの事前平均ベクトルに基づいて前記結合重みマトリクスを更新する ステップを含む方法。 50．請求項４７記載の方法であって、該方法はさらに、 前記更新ステップ中に前記データベクトルが受信した事前データベクトルに対 して行う調整の量を決定するのに使用するグローバル学習重み１を受信するステ ップと、 各入力データベクトルの事前学習重みのインジケータである学習履歴パラメー タλ［ＯＵＴ］（Ｆ）を受信するステップと、 入力測定ベクトルの消失程度を示すバイアビリティベクトルν（ｆ）を受信す るステップと、 式に従って前記コンポーネン 51．請求項５０記載の方法であって、該方法はさらに、コンポーネント学習重 学習履歴パラメータベクトルを更新するステップを含み、前記事前学習履歴パラ メータλ［ＩＮ］は前のトライアルからのλ［ＯＵＴ］に等しく、 である方法。 52．請求項５０記載の方法であって、該方法はさらに、 受信した全ての事前測定値ベクトルの事前平均ベクトルμ［ＩＮ］に基づいて 前記結合重みマトリクスを更新するステップを含み、前記事前平均μ［ＩＮ］は 前の測定トライアルからのμ［ＯＵＴ］に等しくμ［ＯＵＴ］の各要素は次式に 従って計算され、 ここに、μ［ＩＮ］は最初のタイムトライアルの前はゼロに等しい方法。 53．請求項５２記載の方法であって、該方法はさらに、中間転嫁ベクトルｅ［ ＩＮ］を利用して前記結合重み要素を更新するステップを含む方法。 54．請求項５３記載の方法であって、ｅ［ＩＮ］の各要素は次式に従って計算 される方法。 55．請求項５４記載の方法であって、該方法はさらに、下記の計算プロセスに 従って前記結合重みマトリクスを更新するステップを含み、 ここに、 かつ ｄ＝ｅ［ＩＮ］ω［ＩＮ］ｅ［ＩＮ］^T＝χｅ［ＩＮ］^T であり、前記ω［ＩＮ］は前の測定トライアルからのω［ＯＵＴ］に等しくかつ 最初のタイムトライアルの前の恒等マトリクスに等しい方法。 56．請求項５５記載の方法であって、さらにχを計算する１組のプロセッサ対 をアクセスするステップを含み、 前記プロセッサ対はスイッチングジャンクションに接続されており、前記各ス イッチングジャンクションは１対のプロセッサにしか接続されずタイムトライア ルｉ中に前記各プロセッサｆを前記システムの１つおきのプロセッサｇと一意的 に対とするように作動し、前記各スイッチングジャンクションは前記結合重みマ トリクスω［ＩＮ］の要素ω［ＩＮ］（ｆ，ｇ）に接続されており、該方法は、 （ａ）多数組みのプロセッサを時間間隔中にアクセスするステップであって、 前記各プロセッサは前記時間間隔中に他の１台のプロセッサとしか対とされない 、前記アクセスステップと、 （ｂ）前記スイッチングジャンクションに位置する結合重み要素ω［ＩＮ］（ ｆ，ｇ）を各プロセッサにより検索するステップと、 （ｃ）前記スイッチングジャンクションに接続されたｅ［ＩＮ］を転送するス テップと、 （ｄ）各プロセッサｆ内でｘ（ｆ）＝ｘ＋ｅ［ＩＮ］（ｇ）ω［ＩＮ］（ｆ， ｇ）を計算しプロセッサｇ内でｘ（ｇ）；＋ｅ［ＩＮ］（ｆ）ω［ＩＮ］（ｆ， ｇ）を計算するステップと、 （ｅ）全てのプロセッサが前記システムの１台おきのプロセッサと対とされる までステップ（ａ）から（ｄ）を繰り返すステップを含む方法。 57．請求項５５記載の方法であって、さらにω［ＩＮ］の要素を更新する１組 のプロセッサ対をアクセスするステップを含み、 前記プロセッサ対はスイッチングジャンクションに接続され、前記各スイッチ ングジャンクションは１対のプロセッサとしか接続されず選定された時間間隔中 に前記各プロセッサ（ｆ）を前記システムの１台おきのプロセッサ（ｇ）と一意 的に対とするように作動し、前記各スイッチングジャンクションは前記結合重み マトリクスω［ＩＮ］の要素ω［ＩＮ］（ｆ，ｇ）に接続されており、該方法は 、 （ａ）多数組みのプロセッサを時間間隔中にアクセスするステップであって、 前記各プロセッサは前記時間間隔中に他の１台のプロセッサとしか対とされない 、前記アクセスステップと、 （ｂ）前記スイッチングジャンクションに位置する結合重み要素ω［ＩＮ］ （ｆ，ｇ）を前記プロセッサの１台により検索するステップと、 （ｃ）前記結合重み要素ω［ＩＮ］（ｆ，ｇ）を更新するステップと、 （ｄ）前記結合重み要素ω［ＩＮ］（ｆ，ｇ）を転送するステップと、 （ｅ）全てのプロセッサが前記システムの１台おきのプロセッサと対とされる までステップ（ａ）から（ｄ）を繰り返すステップを含む方法。 58．請求項５５記載の方法であってさらに単一のプロセッサコンピュータシス テムでχを計算するステップを含み、 前記単一のプロセッサはω［ＩＮ］の要素をω［ＩＮ］要素の連続列としてデ ータ構造に格納し、該方法は、 （ａ）前記データ列のω［ＩＮ］の結合重み要素にアクセスするステップと、 （ｂ）結合重みマトリクスからのω［ＩＮ］要素のロー値に対応するｘ（ｆ） を更新するステップと、 （ｃ）列内の次のω［ＩＮ］へアクセスするステップと、 （ｄ）現在のω［ＩＮ］要素が共変マトリクスの主対角線上にはなくかつ結合 重みマトリクスからのω［ＩＮ］要素のカラム値に対応するｘ（ｇ）を更新する 最後のω［ＩＮ］ではない場合に、 （ｅ）ステップ（ａ）から（ｃ）を繰り返すステップを含む方法。 59．請求項５５記載の方法であってさらに単一のプロセッサコンピュータシス テムでω［ＩＮ］を更新するステップを含み、 前記単一のプロセッサはω［ＩＮ］の要素をその連続列としてデータ構造に格 納し、該方法は、 （ａ）データ列の最初の結合重み要素ω［ＩＮ］にアクセスするステップと、 （ｂ）ω［ＩＮ］を更新するステップと、 （ｃ）次のω［ＩＮ］要素へアクセスするステップと、 （ｃ）現在のω［ＩＮ］要素が共変マトリクスの主対角線上にありかつ最後の ω［ＩＮ］ではない場合に、ステップ（ｂ）へ進むステップを含む方法。 60．入力測定ベクトルから出力値を計算して前記システムの入力および出力測 定値を評価する情報処理システムであって、該システムは、 処理装置の第１のサブシステムであって初期入力測定値を受信し、入力変換関 数に従って、前記入力測定値を前記第１のサブシステムが使用する入力特徴値へ 変換して非消失入力特徴値および／もしくは入力学習回帰パラメータから出力特 徴値を転嫁し、前記第１のサブシステムは前記出力特徴値を最終出力測定値へ変 換するように作動し、学習および出力性能の基礎となる結合重みの記憶装置を含 む前記第１のサブシステムと、 前記第１のシステムに接続されてそこから出力データを受信してディスプレイ し評価する処理装置の第２のサブシステムとを具備する情報処理システム。 61．請求項６０記載の情報処理システムであって、前記第２のサブシステムは さらに前記第１のサブシステムの学習機能をコントロールするように作動する第 １のコントローラを具備する情報処理システム。 62．請求項６０記載の情報処理システムであって、前記第２のサブシステムは さらに入力変換機能および出力変換機能をコントロールするように作動する第２ のコントローラを具備する情報処理システム。 63．請求項６０記載の情報処理システムであって、前記第２のサブシステムは 前記メモリから前記結合重み要素を受信するように作動する情報処理システム。 64．請求項６３記載の情報処理システムであって、前記第２のサブシステムは 前記結合重みを受信して前記調整された重みを前記ディスプレイおよび評価のた めに転送するように作動する情報処理システム。 65．請求項６０記載の情報処理システムであって、前記第２のサブシステムは 入力値の異常な偏差が生じる場合に前記第１のサブシステムの学習機能をディセ ーブルするように作動する情報処理システム。 66．請求項６５記載の情報処理システムであって、前記第２のサブシステムは 現在の測定値と前のトライアルから格納された対応する測定値間の１次差を計算 して突然変化を識別する情報処理システム。