JPH05506953A - 人工ニューラル装置 - Google Patents
人工ニューラル装置Info
- Publication number
- JPH05506953A JPH05506953A JP91507792A JP50779291A JPH05506953A JP H05506953 A JPH05506953 A JP H05506953A JP 91507792 A JP91507792 A JP 91507792A JP 50779291 A JP50779291 A JP 50779291A JP H05506953 A JPH05506953 A JP H05506953A
- Authority
- JP
- Japan
- Prior art keywords
- stimulus
- response
- neural
- data
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0495—Quantised networks; Sparse networks; Compressed networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/098—Distributed learning, e.g. federated learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computing Systems (AREA)
- General Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Prostheses (AREA)
- Acyclic And Carbocyclic Compounds In Medicinal Compositions (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Feedback Control In General (AREA)
- Fats And Perfumes (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Abstract
(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。
Description
【発明の詳細な説明】
人工ニューラル装置
技術分野
この発明は、適応情報処理システムに関わるもので特に、信幀の伝達結合を利用
する連想記憶装置に関係があり、とりわけ意味が適切で同時に確実に根拠のある
習得反応上の、任意の動的マノビングインブッ]・に関する自動組織装置及びプ
ロセスから成るニューラル・ネットワーク・システムに関係がある。
発明の背景
概略を述べるならば、連想記憶装置システムとは、その中で、刺激パターンを導
入してメモリ誘発反応を呼び起こすような方法で、一対の刺激と反応を蓄積する
システムである。このタイプのメモリシステムは例えば、論理演算管理やパター
ン認識やイメージ書き込みを含む、非常に広範囲の可能性をもつアプリケーショ
ンを備える。
人工知能アプリケーションにしばしば使用されるような、従来の連想プロセスは
、あらかじめ明確に決められた一連の規則に依存しており、その規則は外面上連
想記憶装置上に留められる。エキスパート・システムは従来の設計の見本である
。このエキスパート・システムは、推測エンジンによる操作、という規則に基い
たパラダイムである。これは一連のプレデクレアード・リレーシ町ンシップ〔前
宣言関係〕及び、それぞれのインプットに伴って配列される順次命令に従うブタ
ミニスティック〔決定論的〕なソフトウェア−ハードウェア関係を供給する、伝
統的なフォノ・ノイマン・アプローチに従う、この連想“加重”は、システムの
連想記憶装置に蓄積されたデータを組み立てる。ニューラル・ネットワークのデ
ジダル・コンピューター実現は、デジタル算定環境に於て、加重されたインプッ
ト合計を通して望み通りの刺激に適する反応の連想召喚を認識するという、典型
的な数字方法論を使用する。この実際上のネットワークは一般に知られているフ
ォノ・ノイマン型の業務用の実用性を利用するものであり、それは、本質的に決
定論的であるにも拘らず、ニューラル・ネットワーク・ハードウェアの実現下に
おいては、推計学構造に付随する利点を模倣する方法で、インプット信号に使用
されるのにふされしい能力を有する。
現在ニューラル・ネットワークが実現されるかもしれないが、初期のモダン・ニ
ューラル ネットワークの先駆は、バーセブトロンとして知られる現行のハード
ウェア装!である。これは抽象的パターンと幾何学的パターンの両方を見分ける
事のできるパターン分類システムで、光電池グリッドが一層コイルの光学上の刺
激を受信するように配列されていた。この光電池は、ニューラル・ネットワーク
処理要素のインプット(又はノーシラナル・プントリンク・プロセス〔概念上の
樹木状過程〕)として現在認知される物の、フロントエンドと関連して機能する
複数の7ソシエーター要素と、順次に無作意に結合していた。光電池からアソシ
ェークー・ユニット迄の累積的な電子インプットがある閾を越えた時、アソシエ
ーター・ユニットに誘発されて反応が示されるのだが、これには本質的に大変な
限界があると判明した。これは既知の機能に対する実戦的な学習能力がない事に
関係しており、特にプール代数の“X、OR″Il能に関係している。このタイ
プのパリティ−機能を学習するためには、パーセプトロンパラダイムは、加重す
れる処理要素の複数の相互連結層構造か、代りとして2のN乗の隠処理要素を持
つシステムが必要であろう、バーセブトロンは一層以上の修正可能な加重を適切
に調整することができなかった故に、最初の案を除外する。2のN乗の隠処理ユ
ニットの代案は、三つの根本的問題を抱える。システムがそのうち学習しなけれ
ばならないかもしれない全ての機能の為に、システム中に2のN乗の隠処理ユニ
ットを有するべきとする(のば水晶占いによってシステム・デザインをするに等
しい)、このようなシステム中で必要とされる全ての処理要素の数は、指示され
た機能に解答を与える為に必要なインプットの数に伴って指数的に増加し、すぐ
にも10億に達してしまう、多数の隠処理要素を伴うシステムは、信頌すべき概
念を公式化する能力を失う、という実験に基く証拠がある。この本質的な限界に
より、このようなネットワークは人間の脳の機能や効率に匹敵する事も、まして
や近似する事さえできない事は明白であった。
処理要素のインプットに示されるように、新しい刺激の数値を決める加重連想メ
モリの基礎を作る後方伝播パップイムの出現は、バーセブトロンパラダイムに付
随するいくつかの問題を克服する為の重大な足掛りとなった0例えば後方伝播は
バーセプトロンに付随するいくつかの“線型分離可能分類”の限界を克服するエ
ラー処理機構を組み込む、後方伝播はネットワーク構造が何層で与えられようと
も、全ての処理要素がその層の反応に起因するエラーを、すぐ前の層から受けた
I11激に引き合わせるという処理仮説の基礎を作る。このエラーの責務は、下
方及びインプントからネットワークへ向かう前の層の処理要素インプントのそれ
ぞれの加重を通して、量化し分類される。この学習過程は本質的に時間が掛かり
、必要とされるエラー条項の一点集(例、情報エラーの“希釈”)をする前に、
数回の後方伝播の反復を必要とする。
現時点で最高とされているニューラル・ネットワークは一般的に、傾斜降下モデ
ルとして分類され得る物で、そこでネットワーク・データは前述の方法で“加重
゛として記憶される。
このネットワークは、処理要素が合計した加重済みスカラーインプット値によっ
て作用し、そこに生したアウトプット反応値の配列にある程度の安定性を保つ為
の標準化を行う、標準化は特有の、合計積の量化、又は縮尺を引き起こす、シグ
モイド機能の変形は通常この目的に使用される。
自然住物学システムをモデルとする研究が、ニューラル・ネットワーク科学を発
展させた0発展例の一つとして良く知られる物の中に、1980年代初期の、い
わゆる“ホップフィールド・ネフビがある。ホップフィールド型は最小エネルギ
ー機能を計夏する相互関連した処理要素間に、蓄積された情報と同様、特殊な量
化作用と図解されたメモリとしての神経単位の作用を示す、最初の物の一つであ
る。
傾斜降下モデルの一例はマトリックス代数学を基礎とした連想メモリ・モデルで
、それは、’naural Networks and Physical 5
ystevas with Esergent Co11■メ|
Ltve Computat4onal Abiltties″ 、J、J、R
opfield、Proc、Narl、Academy o■
Science、 U、S、A、 1982. Vol、 79. pp 25
54−2558.に詳述されている。このモデルは、アウトプットパターンがイ
ンプットパターンと最も一致したパターンとして記憶されるように、フィードバ
ックと非線型の量化を利用る。このモデルの重大な欠点は、ここで使用される連
想マトリックス・メモリの操作に本来必要とされる真人な記憶と算定の苦労であ
る。これは、本質的にコーエンーグロスバーグ・ネットワークの特徴をより一般
化した特別なケースであり、そこでは処理要素の活動値の限界を決める最小−最
大値間を往復するングモイドアウトプットM化機能が生みだす任意の実活動値を
、処理要素が採用した。外部からの刺激に対するネットワークの反応は、リアパ
ップ機能のエネルギーに基づく均衡の一点集中に表された。
ニューラル・7ノトワーク科学の発展に伴い、種々の多重階層設計によって、ネ
ットワークは更に価値を高めてきた。処理要素の加重は、標準化と競争を通して
かなりの欠点を改善してきたにも拘らず、ニューラル・ネットワークに誘発され
る。
一例とし、先に述べた他の欠点に加えて、このネットワークは、固有のインプッ
ト情報短縮フオームに煩わされているフォン・ノイマン型設計の遺産の一つであ
る。どのシステムでもそうであるように、情報損失は結果としてエラー率を高め
、エラー−矯正が次々に代償処理戦略の採用を必要とする。このアプローチは、
結果として、それに応える大きいメモリ記憶スペースを必要とする、真人な数の
算定とサンプリングの繰り返しで(サンプルのサイズを大きくする事によってエ
ラーを“f5Fi”にする事を期待し)、(学習、反応両方の)処理時間を増や
す。
更にこのような矯正は、せいぜい傾斜応答療法によって本質的に導入されるエラ
ーを減少させるだけであり、それがエラーを根絶する事はない、従って傾斜降下
ネットワークが絶対に必要である一方それはまた、インプットデータ情報値の副
次的低下を引き起こす、情報損失から起こり得る誤った規則に基づいた標準化制
作は、このような信転できるネットワーク・アプリケーションに、線型分離不可
能な刺激の制限を設ける事も注呂すべきだ。
この種の矯正問題の良い例は、時にはボルツマン型として解釈されるコネクショ
ニスト・ニューラル・ネットワーク構造と関連しており、後方伝播パップイムを
利用している。この型の機械は、ある創始者が“コンビニ−チーシボナル・ガン
グリーン〔電算機壊直〕”と呼んでいるものを処理する事を目的としている。
この問題は、問題解決に採り入れられる全ての決定論的アプローチに於て、その
進路中の誤った決定は、全ての下流での矯正の可能性を除外するかもしれず、そ
れによって、問題訂正に導く正しい解釈の道、あるいは、少なくとも最善とされ
る解釈を中断すると示唆している。ニューラル・ネットワークは、−i的にこの
問題の改善を助けるのであるが、問題は存在し続ける。
ボルツマン型は、処理要素のcオン−オフ)二者択一作用によってインプット刺
激に応答する、均衡探求結合機である。任意の与えられた状況下でのこのような
処理要素の応答は、隣接する処理要素から伝達される加重された信号と、確率論
信号の両方によって決定される故に、推計学的反応をする。このような機械の作
用は、ポルツマンの熱力学式によって、例え単一処理の反応状態ユニットが予想
できなくとも、全体に渡る均衡ネットワーク反応が識別可能と考えると言える。
もう一方では、ボルツマン型の一切の“ブイレフテッド・オブ・ノン−ランダム
[直接強制]“反応に貢献する単独処理要素反応状態の内部の“偶然性°は、“
部分的な魅カバに執着するのを防ぐ“総体的には補佐的゛な解答で、きわめて決
定論的なノイマン型が“コンビニ−チーシラナル・ガングリーン”が現れる危険
を回避する。しかしながら、ボルツマン型は、ノイマン設計の持つ可能性に比べ
て、現実問題であるノイズの難関に、より良い解決を見い出す確率が高い。理論
的には、もしその目的の為に無限の時間が与えられているならば、ボルツマン型
はすべての有限の特殊分類問題に対して、最善の解決に必然的に至るであろう。
しかしながらさし迫った現実は、重要な問題解決期間でも長時間かける事ができ
ないし、ボルツマン型が適当な期間内に、信鎖できる問題解決をなし得ない事が
、本質的にその実用性を狭めている。
従って現在のニューラル・ネットワーク・システム技術には依然二者択一の必要
性がある。
′ここに詳述された発明中、少なくとも良いと思われるも具体例、認められる最
小限の利点と特徴の概要を、以下に述べる。
l)この方法はノンーコネクテイビスト・モデルを形成し、その内部には、個々
の神経単位細胞内に複数組の独立した刺激−反応パターンを付加する能力及び、
きわめて、複雑な連想が存在する。言い替えれば、複数の刺激−反応パターンが
全く同一の記憶媒体の上に重ねられ、そこで従来の通常データ記憶装置や、認可
された方式よりはるかに優れた情報記憶密度を作り出すと言える。
j1〕ホログラフインク・ニューラル・プロセスは、ニューラル装置が前述の刺
激を受けた時、与えられた刺激に誘発される反応のデコーディングを容易にする
。
ここで利点として理解されることは、エンコーディング(学習)とデコーディン
グ(表現)双方の機能が一回(繰り返しの無い)変換を行う事である1次にニュ
ーラル装置内の同−記憶媒体上に、情報が付加される方法の結果によると、全て
の単−二エーラル要素上に果たされるデコーディング変換は、ここに述べたニュ
ーラル要素内に抽象的な形で記憶された刺激−反応連想を通じて、刺激インプン
トを同時に変換する。エンコーディング及びデコーディング変換の特性は、本来
非決定論的方法である重要な傾斜腎下技術に反して、完全に決定論的方法で作用
する。
DI)ホログラフィック・ニューラル装!は一般的な形態であり、事実上あらゆ
る形の刺激−反応パターン、又は連想のエンコーディングとデコーディング調節
に包括的な方法で適用される1例えば、刺激−反応パターンは任意の知覚様式、
物理的媒体変数、抽象的表現又は上記の装置の微積分機能を表現できる。ホログ
ラフィック・ニューラル装置は、ニューラル装置を刺激−反応パターンの複数セ
ットにさらす事により、包括的な方法でエンコーディングを行う、同様に、ホロ
グラフインク・ニューラル装置を、先にエンコード済みの刺激−反応パターンに
誘発される刺激に頻位したインプットパターンにさらす事によって、包括的な形
でデコーディングを促進する。
iv)ホログラフィック・ニューラル・プロセスは、スペース・マツピング・モ
ードの状態(概念的に通常の制限理論内に定義されたスペース表現に近い状!り
で作用すると言える。特に複合値インプットセット又は〒11激インプットは、
単一値の反応アウトプット上に写像されるが、それはリーマン又は位相範囲内に
於てである。先に述べたように、それぞれの刺激−反応連想に対するスペース・
マツピングの状態は、−回の変換で学習される。マツピングが起こるリーマン・
マニフォールドの特徴は木質的に、マンピング・プロセス内でのハイレベルな一
般原則を現す、言い替えれば、高度に歪んだか又はニューラル要素にごく部分的
にさらされる学習刺激パターンは、本質的に誤りの少ない学習反応を想起するだ
ろう。
■〕上記I)とiv)に列記した特徴の結果として、ホログラフィック・二、S
−ラル・要素は広範囲にわたる強力な連想能力を持つ。更にこの連想は感覚様相
、又は微積分機能のあらゆる形から順に引き出される種々の外部強度の形を潜在
的に表す、刺激−反応パターンに誘導される。内容アドレス可能メモリとして作
用するニューラル要素を引き合いに出すことができる。この内容アドレス可能メ
モリ・システムは、誘発された刺激メモリを伴う神経単位を呼び出す事によって
表現される、学習済み反応メモリの形で働く、マルチレベルの複合ニューラル・
システム内に於いて、この能力が連想のネットワークに沿った伝播やフィードバ
ック・ループ内の繰り返しを可能にするだろう、連想は、エンコードされた連想
とニューラル相互関連形態に依存する初歩的又は、高度に複雑化したシナプス配
置を取って、二股に別れ再結合するニューラル進路に沿って伝播する事ができる
。
■)ホログラフィック・ニューラル・プロセスは、擾乱のない規則に正確に従う
、それは、先に学習した刺激−反応連想は、結果としての学習や、エンコーディ
ングからは最小限の影響しか受けないという事である。この特徴は、学習又は、
エンコーディング作業中に、全てのトレーニング・セットがその場になければな
らない大多数の傾斜降下モデルとは異なっている。ホログラフィック・プロセス
の持つ擾乱が無いという特徴は、刺激−反応連想の学習及び表現の、一つおきの
配置か、規則的系列順又は優先権に沿っての作用を可能にする。
vi)表現上、先に述べたホログラフィック・ニューラル・プロセスは、アナロ
グ範囲内の学習済み情報値に関する、位相角度と大きさの両方をもつ、反応ベク
トルを住み出す、この大きさは統計学上、刺激パターンの認識程度に比例する。
この大きさの特徴は、生成済み反応が認識に対して信鯨できる計測を供給する事
により、大変重要な構成要素を与える。非線型作用は、限界の決った閾の近(で
、ニューラル要素が認識弁別器として機能できるように、生成された反応の大き
さに応じて働く、この作用の特徴は、ニューラル・システムの可能性を極めて高
め、そのシステムの中で、連想刺激が高度の認識を表現する時、複雑なアナログ
・スイッチとしてのニューラル要素機能が、アウトプット反応を(単一性の生成
及び大きさの生成に)変える。同様にニューラル要素に対して生成された反応が
、未学習又は未確認の刺激にさらされる時、電流をオフ(アウトプット量ゼロ)
にする。複数層又は、フィードバック・ネットワーク内で、この認識能力は、学
習済み刺激マツピングがニューラル・システム中の、後からできる層を通して、
次々と伝播する反応の生成を可能にするだろう、認識された?IJ激パターン上
の論理の転換を行う、という本質的な能力は、アナログ(位相情報)及び論理(
大/小規1)フレームワークの両方に於ける、神経単位の同時作用を可能にする
。
輔)前述の!lI激−反応パターンは二進値に限るという制■は受けないし、換
算尺(例、計夏尺)に象徴されるような記数法に限るという制限も受けない。前
述のホログラフィック・ニューラル装置は、刺激−反応パターンのエンコーディ
ング及びデコーディングを可能にし、更にその刺激−反応パターンの要素はアナ
ログ値の任意の限界内で絶え間無く変化する。
■)このホログラフィック・ニューラル装置は、与えられた刺激分野のサイズと
関連して、巨大な数の刺激−反応セントのエンコーディングとデコーディングの
調節を助けることができる。前述の刺激分野の大きさは、その刺激分野内での、
際だった要素の数(情報要素)に同じと定められる。ホログラフィック・ニュー
ラル装置内の刺激−反応連想の為の蓄積能力の増強は、刺激インプットデータ上
の限定されたプレ処理媒介を使用する、高秩序統計の生成によって行われ得る。
X)上記vi)項に言及された反応アウトプットは、不定量の決定論的エラーを
含む、この決定論的エラーが、生成された反応アウトプット内のファジー要因又
は分担の特徴となっている1反応アウトプット内でこの決定論的エラーの確率相
違は、ボログラフィック・ニューラル装置内にエンコードされた刺激−反応パタ
ーンの数に比例する0反応アウトプット内での決定論的エラーは、非常に大きな
セットの刺激−反応連想が、ホログラフィック・ニューラル装置上に、エンコー
ド又は付加されるのが可能な程度に、小量である。
xi)ボログラフィック・ニューラル・プロセスの効率は、前述のホログラフィ
ック・ニューラル装置内のデータ蓄積要素の数に対する、抽象的な数理形式にエ
ンコードされ得る刺激−反応連想形体中の、情報量の割合で表される。前述の装
置は、刺激フィールド内で、クリ激−反応パターンの蓄積効率が、分離情報要素
の数に比例するという特徴を持つ、それはエンコードされ得る独立刺激−反応連
想の数が直接、↑り激フィールド内の分離要素の数に比例するという事である。
xii)このプロセスは、学習済み刺激−反応連想に対する優位プロファイルを
、時間内に直接作り上げる能力を持つ故に、瞬間的な記憶から永続的な記憶上、
広範囲にわたるメモリ・プロファイルを提示する。
このボログラフィック・ニューラル・プロセス及び装置は、生物神経システムに
見られる構造的、機能的特徴を非常に多く備えている。情報は二次元または複合
ベクトルにより抽象的な形で示され、また一定の周波数と強度を持つパルス変調
波形に直接変換することができる。この波形は神経細胞間の情報伝達を行うと考
えられている電気化学的インパルスにしばしば見られるものだ、このホログラフ
ィック・ニューラル装置は、すでに定説となっているヘブ仮説と相似した様式で
情報を記憶する。ヘブ仮説は生物神経単位の情報記憶メカニズムについての理論
として一般に受け入れられているものである。ボログラフィック・ニューラル装
置の処理部分が、ある種の神経単位(!Ii!!神経単位)のように、インプッ
トされた↑り激をS字型関数に変換する。装置は生物神経システムと同様に、刺
激−反応間係として情報を処理し、難度が繰り返されるうちに、刺激−反応関係
をエンコードし学習するのである。ニューラル装置は生物神経システム同様に、
刺激をインプットされると即座に反応をアウトプットするようになる(単一変形
非反復メカニズム)。
ニューラル装置はファジー・メモリ及びファジー・ロジックを保持する。装置は
生物神経システムと同じ様に、大量の刺激−反応関係を記憶、認識し、エンコー
ド・学習された反応を示す能力を持つ、またこの能力を組み合わせてメモリ・プ
ロファイルを作る点でも物神経システムと同じである。
本発明の一側面は人工神経装置構成に関わる。データを刺激−反応パターンとし
て抽象的に記憶・処理する部分、記憶されたデータをエンコードすることで、刺
激−反応パターン中の各要素を角度・方向・強度の組み合わせからなる複数のベ
クトルに変換し、さらに複数の刺激−反応パターンをエンコードされたベクトル
や数値からなる行列に形成し、その結果として、それぞれの刺激−反応パターン
が記憶される装置、また、特定の記憶データ内でエンコードされた特定の行列が
特定の刺激信号による刺激を受けた際、ある刺激−反応パターンに関わる反応コ
ードをデコードする装置などである。
本発明には別の側面として、人工神経装置の記憶・計算能力を強化する方法も含
まれる。この方法は以下の段階を取る。複数の刺激−反応信号を角度と強度を持
つベクトルの形で示される数値に変換することでデータをエンコードする。それ
ぞれの刺激−反応信号について刺激−反応パターンを示す行列を作成し、その結
果、データ記憶・処理装置にそれぞれの刺激〜反応が収納される。データ記憶部
内のエンコードされた刺激−反応パターンに特定のff11激信号を照らし合わ
せることで、それぞれの刺激信号に対応する反応コードをデコードし、その結果
特定の刺激信号に対応する反応信号を生み出す。
本発明はまた、!?Il&信号に対応する反応信号を生むためのパターン認識装
置にも関連している。その中に含まれるものとして以下が挙げられる。刺激信号
を読み、インプットする装置、刺激信号の各要素を角度・方向・強度情報の組み
合わせからなる複数のベクトルや数値に変換する装置、変換された刺激信号を記
憶する装置1反応信号の各要素を角度・方向・強度情報の組み合わせからなる複
数のベクトルや装置に変換する装置、変換された反応信号を記憶する装置、変換
されたそれぞれのf11激、反応信号について刺激−反応パターンを示す行列を
形成・記憶し、記憶部にそれぞれの刺激−反応パターンを保管する装置。行列を
記憶しコードをデコードするための部分が、特定の反応信号に対応する特定の刺
激信号による刺激を受けた際、反応信号を形成する装置。
本発明のまた別の側面は、人工神経装置のパターン認識を強化する方法に関連す
る。その段階は以下の通り、刺激信号を生成する。処理部分で刺激信号を角度と
強度を持つベクトルによって示される複数の数値に変換する。変換された刺激信
号を記憶部に保管し、処理部では刺激信号に対応する反応信号を、角度と強度を
持つベクトルが示す複数の数値として形成する。処理部で反応信号を変換し、変
換された反応信号を記憶部に保管する。それぞれの刺激、反応信号に対応する刺
激−反応パターンを示す行列を形成し、各刺激−反応パターンを記憶部に保管す
る。特定の反応信号に対応する↑り激信号により特定の刺激〜反応パターンの行
列が↑1工激された際、反応信号を形成する。
本発明はさらに、視覚刺激信号に対する聴覚反応を生む視覚認識装置にも関連す
る。装置に含まれるものは以下の通り1作動することで刺激信号を形成する視覚
的インプット装置またはカメラ、データ保管のための記憶部。視覚的刺激信号の
各要素を、角度および強度の組み合わせからなるベクトル情報と複数の数値に変
換し、変換された視覚的刺激信号を記憶部に保管する装置、ある視覚的↑り激信
号に対応する聴覚的反応信号を解読し、インプットする装置、この聴覚的反応信
号を角度と強度情報の組み合わせからなる複数のベクトルまたは数値に変換し、
変換された文字反応信号を記憶部に保管する装置。視覚的刺激信号と聴覚的反応
信号の組み合わせに関する刺激−反応パターンを示す行列を作成し、この刺激−
反応パターンを記憶部に保管するための変換能力を持つ処理装置、エンコードさ
れた刺激−反応パターンが、特定の聴覚的反応信号に対応する特定の視覚的刺激
信号による刺激を受けた際、反応信号を生成するための変換能力を持つ処理装置
。
複数のベクトルや数値によって示される反応信号を聴覚的アウトプットに転換す
る装置。
本発明が関連するまた別の側面に、視覚的刺激信号に対応する聴覚的反応を人工
神経装置で生成する方法がある0手順は以下の通り、ビデオカメラにより視覚的
刺激信号を形成する。この視覚的刺激信号を角度と強度からなるベクトルが示す
複数の数値に置き換え、変換された視覚的刺激信号を記憶部に保管する。この視
覚的刺激信号に対応する聴覚的反応信号を装置で形成する。この聴覚的反応信号
を角度と強度からなるベクトルが示す複数の数値に置き換え、変換された聴覚的
反応信号を記憶部に保管する。それぞれの視覚的刺激信号及び聴覚的反応信号に
ついて、刺激−反応パターンを示す行列を形成・保存し、刺激−反応パターンを
記憶部に保管する。特定の聴覚的反応信号に対応する視覚的刺激信号により刺激
−反応パターンの行列が刺激された際、聴覚的反応を形成する。
本発明は、聴覚的言語刺激信号を文字またはローマ数字でエンコードし信号をア
ウトプットするための言語認識装置を含む、詳細は以下の通り0作動により聴覚
的刺激信号を形成するマイクロフォンまたは聴覚的インプット装置、データを保
管するための記憶部、聴覚的刺激信号の各要素を、角度と強度からなるベクトル
情報を伴った複数の数値に変換し、変換された刺激信号を記憶部に保管するため
の装置、聴覚的刺激信号に対応する文字反応信号をデコードまたはインプットす
る装置、この文字反応信号を、角度と強度からなるベクトルによる情報や複数の
数値に1き換え、変換された文字反応信号を記憶部に保管する装置、それぞれの
聴覚的刺激信号及び文字反応信号について刺激−反応パターンの行列を形成する
ための変換能力、またこの刺激−反応パターンを記憶部に保管する能力を有する
処理装置。特定の聴覚的反応信号に対応する視覚的刺激信号により、刺激−反応
パターンをエンコードした行列にアクセスする処理装置が?lI激を受けた際、
反応信号を形成するだめの変換能力を有する処理装置。ベクトルまたは複数の数
値で示される反応信号を文字に置き換える装置。
本発明はさらに、軸位置、運動の軸車、視覚的インプットに関するデータ、触角
的情報などをエンコードした刺激信号に対応して、軸位置、運動の軸車をエンコ
ードしたアウトプット信号を形成するロボット装置を含む、このシステムに含ま
れるものは以下の通り。刺激信号の位置及び運動率を出すための位置センサー装
置。視覚的刺激信号を形成する視覚的インプット装置、触角的刺激信号を形成す
るための圧力センサー装置。データを保管するための記憶部、特定の軸位置、運
動の軸車及び視覚的、触角的刺激信号の各要素を角度と強度からなるベクトル情
報による複数の#!i値に変換し、変換された刺激信号を記憶部に変換する装置
。
特定の(ロボット)軸位置、運動の軸車、視覚的及び触角的刺激信号に対応する
反応信号のロボット軸位置及び運動の軸車をデコード、インプットする装置、こ
のロボット反応信号を、角度と強度の組合わせによるベクトル情報または複数の
数値に置き換え、変換されたロボット反応信号を記憶部に保管する装置。それぞ
れのロボット刺激−反応信号について刺激−反応パターンを示す一つ以上の行列
を形成し、それぞれのロボット刺激−反応パターンを記憶部に保管するための変
換能力を有する処理装置、特定のロボット反応信号に対応するロボット刺激信号
により、エンコードされたロボット刺激−反応パターンの行列にアクセスする処
理装置が刺激を受けた際、ロボット反応信号を形成する変換能力を有する処理装
置、ベクトルまたは数値が示すロボット反応信号を実際のロボット軸運動または
運動率に置き換える装置。
本発明はまた、怒寛欅式、測定変数、具象・抽象概念など多様かつ固有な様式で
示される刺激信号に対応し、知的なアウトプットや決定を下すためのエキスパー
ト・システムまたは自動思考装置を含む0反応アウトプットは(視覚的、聴覚的
など)あらゆる怒寛祿式取り得るが、ここでは例として言語による反応を取り上
げる。このエキスパート・システムまたは自動思考装置は、以下の各部から成り
立つ、感覚様式、測定変数、具象・抽象概念など多様かつ固有の刺激信号を解読
、インブー/ 卜する装置、データを記憶する装置、前述の複数情報からなる刺
激信号の各要素を、角度と強度の組み合わせによるベクトル情報によって示され
る複数の数値に変換し、変換された視覚的刺激信号を記憶部に保管する装置。複
数情報からなる刺激信号に対応する聴覚的反応信号をデコード、インプットする
装置、この聴覚的反応信号を角度と強度の組み合わせによるベクトル情報が示す
複数の数値に置き換え、変換された文字反応信号を記憶部に保管する装置、それ
ぞれの複数情報による刺激、反応信号について刺激−反応パターンの行列(時に
より複数)を形成し、この刺激−反応パターンを記憶部に保管するための変換能
力を有する処理装置。特定の聴覚的反応信号に対応する複数情報刺激信号により
刺激−反応パターンをエンコードした行列にアクセスする処理装置が刺激された
際、反応信号を形成するための変換能力を有する処理装置、複数の数値またはベ
クトルで示される反応信号を、聴覚的アウトプットに変換する装置、この装置は
、最善の場合、数段階の変換グループと信号フィードバック・メカニズムからな
る。
変換グループは副次的行列の形でエンコードされた刺激−反応パターンの一群か
ら形成され、高レベルの変換グループから来る行列が低レベルへの刺激インプッ
トとなる。副次的行列のアウトプット反応は、更に低レベルの変換グループに直
接または間接的にフィードバックされる。このフィードバック・メカニズムは特
定環境内の聴覚的反応によって構成される。聴覚的反応は特定環境内に影響を及
ぼし、その影響は(音波伝播、外部装置・有機体への影響など)あらゆる形に現
れ得る。この環境的影響は、刺激信号としてエキスパート・システムまたは自動
思考装置にフィードバックされる。このフィードバック・システムにより、高レ
ベルの変換グループから来る反応アウトプットが刺激インプットとして、直接ま
たは間接的に同レベルまたは低レベルの変換グループにフィールバックされる。
本発明はさらに、ここで述べるプロセスに基づく人工神経装置の能力と記憶強化
にも関連する。方法としては以下のものが挙げられる。
(a)主要神経単位の刺激面サイズを拡大するため、Hermj tianなど
の前プロセス過程をインプット刺激面に用いる。こうした前プロセスを行う目的
は、刺激面のサイズを拡大するとともに、特定神経単位に保管し得る刺激−反応
パターンの数を増やすことである。このような前プロセスにより、統計的に類似
した、または静的間隔の少ない、または高度な非直線分化性を有する複数の刺激
−反応パターンを、微妙かつ明確に異なる反応に対してエンコードすることがで
きる。
(b)対称性をめるために、Hermitian 、 Sigma司または類似
したプロセスを刺激、反応面に用いる。情報保管率を最大にするためには、イン
プット面の対称性が重要な必要条件となる。ここで述べる対称性とは、二次元、
複合、Riema曲、様相面についての対照的ベクトル分布を指す、 Sigm
oidはGaussian分布を再分布することで対称性をめるものであり、こ
れは自然界で必要な対称性を得る際に多(起こるのと同様な過程である。さらに
統計的により高秩序なインプット分布が可能になる方法として、Hermiti
an行列の多重使用が挙げられる。!!に大阪に対称化された学習(エンコード
)と表現(デコード)のための漸近的アプローチである。
(c)神経単位に一定の制限を認識させるため反応アウトプットに非直線機能を
設ける。これにより神経単位が、認識された刺激に対し作動しく強度大)、認識
されない刺激については停止する(強度小)。
(d)神経単位の集団を組み合わせ、変換グループからなるシステムを作る。
変換グループは、それぞれの刺激パターンに対応する反応面内の情報価や要素の
複数性をエンコード及びデコードする。変換グループはまた、電子工学ベース、
ミクロ電子ベース、ソフトウェア・ベース、光学ベース、生物学ベースなどの単
一モジュール神経単位として構成することも可能である。
(e)変換グループからなる神経装置の集団を平行的に組み合わせることで、イ
ンプットされた刺激パターンをい(つかの変換グループに流し込む、その結果、
それぞれの変換グループから刺激パターンに対応する個別の反応面が得られる。
Cf>変換グループからなる装置集団を段階的に組み合わせる。これにより、低
レベルの変換グループのアウトプット反応面が同じ変換グループに属する高レベ
ルのインプット刺激面に流し込まれる。
(g)変換グループの集団を、定義可能なあらゆる組み方で、段階的かつ並行的
に組み合わせる。
(h)信号フィードバック・メカニズムの利用、高レベルの変換グループで形成
されたアウトプット反応面が、直接的もしくは外部環境を通じて間接的に、同レ
ベルか低レベルの変換グループのインプット刺激面にフィードバックされる。
(1)エンコードされ、相関行列〔x〕により抽象的に表されたシナプス情報の
動的逐次衰弱を利用する。この方法の目的は、永久もしくは長期的なものから非
常に短期的なものに至るあらゆるメモリに対するエンコード情報の優位性を決定
するメモリ・プロファイルを作り上げることにある。
(j)シナプスの包括的分類もしくはグループ分けを行い、対称性を強化する。
この分類は刺激面内のベクトル副次集団を変換することで行う。
(k)計算の単純化が必要とされる場合には、システムを一次元もしくはスカラ
ー・システムに簡略化することも可能である。これにより情報や様相は二元表示
に制限される。つまり様相要因は二元情報システムを表す0かπで定義される。
このプロセスに関わる他の側面の多くは(高秩序統計など)は、この様相範囲内
の情報が0かπに限られていることから、類似したものにとどまる。
この発明に関して、ここで述べられた人工神経装置は、以下を含む多数の応用が
可能である。
(a)この人工神経装置と、視覚的インプット刺激への認識もしくは反応を行う
あらゆるシステム、サブシステムとの合成。
(b)この人工神経装置と、聴覚的インプット刺激への認識もしくは反応を行う
あらゆるシステム、サブシステムとの合成。
(C)この人工神経装置と、あらゆる感覚もしくはその抽象表示への認識ないし
は反応を行うあらゆるシステム、サブシステムとの合成。
(d)この人工神経装置と、あらゆる物理的変数もしくはその抽象表示への認識
ないしは反応を行うあらゆるシステム、サブシステムとの合成。
(e)この人工神経装置と、あらゆるコントロール(制′a)システムまたはコ
ントロール・サブシステムとの合成、その応用範囲には、あらゆる種類のプロセ
ス・コントロール、機械的コントロール、電気的コントロール、生物学的コント
ロール、車両コントロール、ロボット・コントロールそのほかが含まれる。
(f)この人工神経装置と、データ伝達の信号/ノイズ比を強化し、個別のイン
プット刺激面号を対応する反応アウトプットやその代替に変換する(音声から文
書への変換など)ためのあらゆるコミュニケーション・システム、コミュニケー
ション・サブシステムとの合成。
(g)この人工神経装置と、人工知能関連の機能を持つあらゆるシステムとの合
成。その応用範囲には、インプット↑り激に知的な反応もしくは決定を下すエキ
スパート・システムや自動思考システムそのほがか含まれる。
(h)この人工神経システム及び装置と、コンピュータ効率を強化するだめのあ
らゆるコンピュータ装置との合成、こうした利用は、例え−よ′、一定の要素分
析範囲内で実現することができる。この場合、過去における一度もしくは複数の
増量に関するメンンユノードの外的及び内的変数が、結果的として現れる変数の
状態に対応する。
(1)この人工神経装置と、あらゆる神経生物学的もしくは生物プロステーゼ装
置との合成、義肢、補聴器、ペースメーカーなどがその応用範囲に含まれる。
発皿例概要
ここに述べるのは人工神経システム理論へのまったく新しいアプローチである。
発明について効率的に説明するため、まず一般的な概念を述べ、次に数学的解説
を行う。人工神経システム分野の主要目的は、多量の情報を一定のデータ保管媒
体にエンコードして記憶させるためのメカニズム及びプロセスの開発である。神
経システムは継続的な!1]激インプットをエンコードされた情報を通してデコ
ードし、それに対応する反応アウトプットを生成するための方法を利用しなけれ
ばならない。光学的ホログラムはこのデコード・プロセスと大力類似したシステ
ムを提供する。光学ホログラムの情報包括プロセスにより、三次元の物体が視覚
的に記憶され、二次元の写真状面から、空間次元と見えるものに効果的に復元す
ることができる。ホログラムのエンコードデコードメカニズムによって、二次元
面における情報密度が大幅に増加する。
これに類似した概念が、ここで述べるホログラフィック・ニューラル(神経)プ
ロセスも見られる。しかしこの神経プロセスは、情報を刺激−反応パターンとし
て扱い、その情報をある種の抽象的数学領域(Riemannもしくは様相空間
〕に保存する。これら刺激−反応パターンは、あらゆる感覚形態によって表示す
ることができ、外的な環境需要装!、または(マルチ・ニューロナル・システム
の場合)内神経のシナプスを通じて伝播することも可能である。ホログラフィク
・ニューラル・プロセスはこれらの刺激−反応パターンを一つの同じメモリ単位
、もしくは保管媒体に記憶させる。その理論的°根拠は、大言光学的ホログラム
と同様であるが、大きな例外として時間という次元が含まれるか瓦解するかがあ
る。
一つの中1激パターンをこのシステムで作動させると(デコード作業)、刺激は
蓄積された情報(全ての刺激−反応対応関係は相関一覧に含まれている)を通し
で処理され、はぼ即時的に反応を示す。反応アウトプントの特徴については、デ
コード過程の解説箇所で述べる。
物理的な比喰として、人が鎖を識別する際に行う一見簡単な作業を思い浮かべて
いただきたい。もし多様な変換や空間のローテーションによって複雑化されると
、この作業は今日のコンピュータ・システムを利用した現行の方法論によるコン
ピュータ能力の範囲を越えてしまう、しかし、ここで述べるタイプのホログラフ
ィック・ニューラル・システムは、様々な順番や転移の順列で、非常に大量な画
像を記憶することができ、記憶されたパターン対応の数に関わりなく請求められ
る反応をほぼ即時的に提供する。ここに述べる原理は多量の感覚的情報を保管し
、日常的な感覚形態にほぼ即時的に反応し、しかもその速度は蓄積された情報の
量(4歳でも40歳でもほとんど同し速さで反応する)の影響を受けないという
能力の解説となるべきものである。
ここで用いる「パターン」という用語は、データの組み合わせ、もしくは刺激−
反応の応関係を指し、本文中では同様の意味で使用する。
刺激及び反応パターンに含まれるデータ値は、あらゆる形式、種類の情報を表示
し得る0例えば、刺激もしくは反応パターンのデータは、視覚的には画像価を指
し、ロボット装置においては軸位置や運動率を示し、聴覚的インプットに関して
はフォーリエ変換要素を指す、同様に、刺激、反応の両面に感覚形態、測定変数
、またはその抽象的表記などあらゆる形態で示されるデータが含まれる。
刺激信号もしくは面を表すのに、下記のスカラー・データを使用する。(S。
= (S5.Sz、S! ・・・SM) )例えば、Soがりんごのような物体
を見る際、デジタルビデオが出す数的データを示すとすると、SlからS、Iま
では画像濃度を示す数的もしくはスカラー価の組み合わせということになる。同
様にこの刺激インプットに対応する反応面R゛は以下の様に示される。
R’ = (r++rz+rs+’ HH’ rx ]この場合、「、からr)
1までは現実の数値の組み合わせである0例えば、APPLEという言葉を表す
ASCr+表記や、一つの文字をこうした数値が表すのである。
このプロセスは、上記の両方のスカラーセット(刺激信号もしくはS“面と反応
信号もしくはR°面)が内包する情報を、角度と強度を持つベクトルの組み合わ
せに置き換える変換を経る。こうして情報は二次元、複合、もしくはリーマン相
でのベクトル方向によって示される。変換は下記に示す非直線マツピングでなさ
れる。ここでは上記の刺激−反応パターンの中でSm+rJとして示されたもの
が、2πから360度までの円内に対応する形で表される。この変換によって、
以下にθゞ、φ謙として示されるように、情報が比率的様相角度として表される
。
包括的対称性をめるために、主として刺激面変換においてシグモイド関数(Fs
)の一種を使用する。対称性の概念はホログラフィック・プロセスにとって非常
に重要である。その定義と影響を以下でta論する。リーマンもしくは様相領域
で定義された上記の変換データは以下のように表記される。
刺激について、
S−is(λ1.θ’)、s(λ”、e”)、s(λ1.θ’)、 、、、 )
l 、、eq、4反応について
R= (r(r’、e’)、r(r”、El”)、r(r’、e’)、、、、)
l 、、eq、5ただし
λ1−重量もしくは要素にへの影響要因を示すベクトル強度TI−反応面におけ
る」要素への影響要因もしくは重量を示すベクトル強度一定の時間軸について複
数の刺激−反応パターンを形成、エンコードすることができる。大ざっばな地鳴
として、上記スカラ一群(刺激パターン)から複合面の基点に関するベクトル集
団への変換を多い浮かべていただきたい。一定の時間内に数個のや1激パタ一ン
群が形成され、これらの面は円柱状幾何学空間を描きつつ軸に沿って分布するか
、あるいはり−マン領域内における重複面として表現される。そしてリーマン領
域における各ベクトルは情報の一要素を示す、この概念は数学的には複合指数記
法により最もよく表すことができる。刺激についての0般表記S(λ−、Qk)
と反応についてのr(r・、φJ)は、従って最も一般的な形としては以下のよ
うに表記される。
エンコード作業にはあるインプット刺激状態から様相空間内におけるある反応状
態へのマツピングが必要である。最も初歩的な形態では、刺激インプット面S内
の要素集団(またはその下部集団)とアウトプット反応面R内の要素集団(また
は下部集団)間の様相志向の差を確定することにより、エンコード作業がなされ
る。このエンコード変換には以下の相関値集団形成が含まれる。
x−((x(λ1.θ棗、γ■、Φ’)、x(λ2.θt、 7 !、Φす01
.)(x(λN43N、γ1.Φ’)、x(λ0.θ’L T ’+Φ”)、、
、x(λ6.θ’+ T ’+Φ”)))上記相関集団内の要素は複合形態であ
り、下記の非直線関数により確定される。
強度関数h(λ’+y’)は、上記のエンコード変換における刺激・反応面間の
対応プロファイルを確定する。この対応プロファイルは、相関集団要因の相対的
強度を決定する特徴に関連して定義される。対応プロファイルの特徴の簡単な例
として以下を挙げることができる。
h(λに、Tj)−λ’+r’、、、eq、9上記の等式(1)は、不連続瞬間
においてエンコードされたある刺激−反応パターンの変換を示している。このエ
ンコード変換は、相関集団内の同じベクトル集団に特定時間枠内に複数のパター
ンが含まれる際、多数の刺激−反応パターンにいて適応することができる。時間
枠の幅をtlからL2までと仮定すると、上記のエンコード変換は、行列記法を
使用することでより標準的に表記される。
時間tにおける任意の刺激パターンについて、複合ベクトル行列は等式4に近い
形で表記される。
このプロセスは複合価刺激インプット面から対応する反応面への変換として一般
かすることができる0反応行列は以下のように表記される。
同様に刺激−反応面間に形成されるマツピングは相関行列〔χ〕に含まれる。
この刺激−反応パターンに関するエンコード変換は、下記のベクトル行列内産物
によって行われる。
この相関行列はシナプスの数学的相似形であり、システム内でエンコードされた
すべての情報を含むメモリの基盤である。一般的に、この情報はインプット刺激
面のベクトル要素(θk)と反応ベクトル要素(φJ)間の様相角度差としてエ
ンコードされる。ホログラフインク・システムの効率と出力はこれらの対応関係
や複数刺激−反応パターンのマツピングを同一の保管媒体(相関行列要素もしく
はシナプス)に内包する能力による。この概念を説明するために、刺激−反応パ
ターンlからTまでのエンコード行列を以下のように表記する。
〔X)+、CX〕x、(XL、−、、、(X)t、、、、 eq、14[X]2
が二つ目の刺激−反応パターンのエンコード行列を示すのに対し、例えば〔S]
2
はデジタルビデオ機器が梨などの物体を観察する際に得られるデータを示す。ま
た〔R)2
2はPEAR(梨)という単語のASCII表記を数的に示す。
上記の刺激−反応対応関係またはマツピングは、各パターン集団の個別相関行列
要素を合わせることにより、全て同一の相関行列(X)にエンコードすることが
できる。1からTまでのパターン集団の例を取ると、以下のようになる。
(X〕−[X] + + 〔X)z + 〔X)、+、、、、÷〔χ)y、、、
eq、15このテクニックは情報の保存を促進し、高度な情報密度が達成される
。解読に関する部分で述べるように、複数の刺激−反応対応関係保管に関わる反
応形成で、決定的な剰余「エラー」が発生し、反応に多大なファズが生じる。し
かしながら、エラーの影響は充分小さなものであり、形成された反応に過度のフ
ァズが蓄積するまでに、非常に大量のパターンや対応関係をエンコードすること
が可能である。
刺激面は、横列に不連続の刺激インプットを置き、縦列に時間指標を置いたベク
トル指標による二次元の行列〔S〕として表される。
例えば
刺激要素
時間
単一神経単位の設計にあたり、反応面で情報を示すひとつのベクトル要素を仮定
する。長時間に渡るこの反応は、ベクトル要素(R,)の行列1によりNと表記
される。この場合も時間経過は縦軸で示される1等式13のエンコード変換で以
下の形の相関行列が生じる。
を−エンコード時間枠内の時間指標
θ−パータンもの刺激面要素内の情報を表すベクトル様相角度h(λ’、r、t
)−刺激要素にとパターンtの刺激反応対応関係についての強度要素
(eq、9の対応プロファイル参照)
上記のエンコード変換は、相関内の時間に関連した次元変数が内包されるか崩壊
するかのプロセスを定義する。
上記相関行列内の各要素(Xkなど)は、刺激面の要素にとそれに対応する反応
ベクトルの差をエンコードされた全ての刺激−反応パターンについて合計する。
例えば行列要素χ2は、1からTまでの全てのパターンについて、刺激面の要素
2と対応する反応価のベクトル差を合計する。上記の手続きによりエンコードさ
れたパターンに属する情報は、同一の数値、メモリ位置または保管空間にホログ
ラフィックに記憶されるわけである。
Lユニヱ
デコード作業とはエンコードされ、「学習」された反応の中から適切なものを呼
び出すことである。任意のインプット刺激に対応するデータを読み、この刺激を
相関図に従い変換する。現実的な例として、デジタルビデオi器がリンゴに焦点
を当て、視覚的イメージを表す数的画像データを作成する場合が考えられる。
設定された時間枠内にエンコードされたあるパターンに類似する任意の刺激を、
相関表Xを通じてデコード変換することにより、学習されたアウトプット反応が
められる。このデコード作業は、多くの点でエンコード変換に類似している。
すでに定義したように、刺激面はスカラー価の集団で表記できるa S” (5
1+3!+83+・・・]この刺激面は、スカラー量が様相角度指向で示される
ような複合ベクトルにマツピングされる。
ただし、Bk−刺激面内の要素にの重量もしくは影響を示す複合ベクトル強度を
定義
ζに一刺激面要素にの情報を示す複合ベクトル様相角度単一神経要素の作業例で
は、反応(r)のデコードないし表現は、刺激面Sと相関表Xを評価から導かれ
る。
ただし
C−アウトプット強度を指定範囲内(0−1)の比率価に随時調整N−刺激面内
の不連続ベクトル要素数
等式19を拡大指数形態の書き換え、tlからt2の時間内にエンコードされた
パターンに組み合わせると、
補足明細;
学習されたパターンの表現に関連した属性として、以下の限界定理が申請されて
いる。説明を簡潔にするため、全ての強度重量価は同一(全てのベクトル要素が
同重量)と仮定する0時間TにおいてエンコードされたパターンSに近づく任意
の刺激面Sについて、下記の等式が成り立つ。
刺激面S−が時間Tにエンコードされたパターン状態に近づく時に下記の限界を
適用すると
εに−Ot−1からNまで
等式21の時間要因を除くことで近似計算ができる。上記の限界の中でめた結果
が以下である。
上の解の第一項は、認識反応の中で上位的なベクトルを表す、この項は上位反応
様相情報に対応する様相角度θ7とNの強度比を示す。すでにエンコードされた
刺激パターンと同等か1!領した任意の刺激S−についての解読変換は以下のよ
うになされる。(学習期間t−1からTまでのS集団、)表現レベルでは、形成
された反応内の様相角度は、対応する刺激パターンについて、エンコードされた
反応様相角度に近づくが、上記の項Er()が示す決定的な「エラー」が含まれ
る。このエラー環は、変換空間内の複合ベクトルとして表現されるところの残り
のエンコードパターンと類似したものであり、下記の形態に拡大することもでき
よう。
この項は、エンコードされた刺激−反応パターンのうち残り全てからなる非相関
ユニットベクトルの総計を示す、理想的な形としては、これらベクトルは複合面
についての分布可能性を’14nLだ対称の属性を示し得る。結果的に起こるエ
ラーの影響は記憶されたパターンの数とベクトル和属性が増えるとともに増大し
、等式23が示すように、理想的対称の場合の不作為路程に近似する。繰り返す
と、時間Tにおいて記憶された反応パターンがNに相当する強度を持つ上位ベク
トルとして現れる際、不作為項Er()が反応にファズを起こす、このEr()
項の強度に関する統計的ばらつきはエンコードされたパターンの総数に比例し、
包含し得る刺激−反応対応の数を現実的に制限する可能性がある。この限界につ
いては(ブロー運動の特性描写などの)ランダムウオーク理論によって分析され
ている。経験的分析によれば多次元直角整合システムは、単位ステップを仮定し
た場合、nのランダムウオークの総計から起こる強度の平均は、Jτ ・・・
eq、24
形成されたアウトプット反応における上記のエラー影響の残余は決定的であり、
記憶されたパターンの数に比例する。この残余影響は、実のところ刺激面の要素
数(N)と記憶された不連続パターンの数(P)の関数なのである。形成された
反応における「ファズ」として現れる平均エラーは、P/N比が0.5未満の場
合、下記の方式で百分比としてその近似値をめることができる(2π欅相領域)
。
補足明wi:
上記により、理想的対称性を持つシステムを仮定した際の、反応の様相要素に関
する平均「エラー」の近(以が得られる。対称性とは、例えばOから2πの範囲
内における統一的可能分布を持つ不作為様相角度集団の中で起きるような様相面
やリーマン面上の基点についてのベクトル要素の統一的可能分布を指す、よりG
aussjaIl的な形態を示す自然分布は、発明の強化の箇所で詳細に検討す
るシグモイド・プレプロセス機能により、こうした理想的対称形態に変換するこ
とができる0重要な点として、エンコードされた刺激−反応パターンは独特で、
なおかつ完全な非直線もしくは独立集団により形成され得る。
デコード変換をより標準的に表現するために、行列が刺激情報を示すように定義
すると、
すでに述べたように、B1は刺激面情報を示すベクトル様相角とそれぞれのイン
プット要素につき上位要素を表す強度項である。このデコード作業は、下記によ
り行われる。
ただし、Cは形成された反応内の強度を復元するための変数補足明細:
デコード変換の特徴を拡大した形で以下に示す、ここではアウトプット・ベクト
ルが独自な反応ベクトル要素の合計として表される。これらベクトル要素混合の
それぞれは、相関行列〔X〕内に含まれるある刺激−反応パターンを通した刺激
変換の産物である。ある形成反応(1ニユーロン)の拡大を下記に公式化してみ
る。
ただし八、は、時間tにおいてエンコードされたある刺激−反応パターン対応を
通じある刺激変換に対応する開かれた反応ベクトルの強度要素である。
またφ−よ、時間tにおいてエンコードされたある刺激−反応対応を通じた刺激
変換の形成様相角度である。
説明として、刺激パターン変動項を参照刺激パターンと任意の結果的インプット
刺激パターン間の対応度として定義する。一般に現実数字領域舞にあるこれら刺
激パターンの要素を表すために、パターン変動を以下のように定義することがた
だしSkは、参照刺激の要素k
またSヶは、インプット刺激パターンの要素にホログラフィック・プロセスに戻
ると、あるインプット刺激(S)−を相関集団により変換することで得られる反
応は、形成反応のベクトル的合計となり、この場合公式28で示したように、そ
れぞれの反応は相関行列(X)に含まれる一つの刺激−反応パターンに対応する
。上記の開かれた反応ベクトル(例えばト刺激変換により生み出され、等式29
に定義されたような刺激パターン変動に反比例した強度を示す。
言い換えると、開かれた反応ベクトルのそれぞれは、インプット刺激パターン(
S)−への近さに統計的に比例する強度を持つ、その結果、インプット刺激〔S
〕に最も類似したエンコード刺激パターンが、形成反応内で相対的に上位の影響
を生む0等式20内の時間項を無視すると、反応形成を下記の総合形態に表すこ
とができる。
これを公式2Bの拡大合計に合わせると、開かれた反応内のベクトルはそれぞれ
以下のように決定される。
上記に従えば、強度と様相角度は直接評価できる。ただし、Φ、を主要角に合わ
せる。
さらに限界ll論を応用すると、刺激インプット面内の要素(ζk)が時間Tに
おいてエンコードされた刺激パターン〔S〕に近づくと、要素に−1からNの要
素として
刺激面の要素がエンコードされた刺激パターンに近づくに従い、すべてのkにつ
いて。
ε′呻O
ここから以下が導かれる。
価Δiは時間Tにおいてエンコードされた刺激−反応パターンを通じたインプッ
ト刺激面変換の強度要素を示し、緊密に相関する刺激パターン対応について最上
位の反応ベクトル様相角度を表す、形成された様相角度ΦT′は、このパターン
のエンコードされた反応様相価に対応する。
類似した例としてインプット刺激面(ζk)が時間Tにエンコードされたパター
ン[S)から不作為に発散する際の限界は、この様相面についての均一可能分布
が示されたものと仮定できる。非相関の総計もしくはインプット刺激面[51*
とエンコードされた刺激パターン(sir、間の不作為対応の限界において、公
式31に定義されたベクトル合計項は、形成反応強度が基点を中心とする標準可
能分布に近づく際の道筋に従う、この非相関反応により不作為でありつつ計算可
能な、もしくは決定的な様相角度指向が効果的に得られる。この反応ベクトルは
、基点を中心とする分布を統計的に示し、その際の平均強度の近似を以下にめる
ことができる。
ただしhは刺激要素の平均強度
このプロセスが作動するための方法をまとめる。すでにエンコードされた刺激パ
ターンを神経装置にインプットすることで、任意の記憶された↑す激−反応仮定
に対応する反応価を呼び起こすことができる。 (刺激パターンは画像、口頭言
語、またはその他の変数などの形を取り、形成反応は対応言語、コントロール動
作などである。)
等式13で学習に関する、また等式27で表現に関する標準的形態を示したこの
情報処理システムの数学的根拠を上記に示した。エンコードとデコードの作業は
、両プロセスを同時に効果的に行うことが可能であることを明記されたい。
主型Ω強化
ここで述べるホログラフインク・ニューラル装置は、作動能力を強化・向上する
目的でさまざまな変形が可能である。こうした強化を達成する方法として以下の
例がある。高度統計のエンコード、形成反応の非直線分別、シグモイダル・プレ
プロセス、ネットワークの階層化、神経単位の相互属性、メモリ・プロファイル
の方法設立、励起的、抑制的シナプスなどである。これらは当然ながら強化の可
能性の中に含まれるごく一部に過ぎない、その一般的な概念を以下に述べる。
補足明細:
非直線分別
非直線スカラー変換を形成反応に応用することで、ニューラル・システムの認識
差別に関する能力を強化することができる。すでに述べたように、解説の際の反
応強度は統計的に認識程度に比例する。形成反応は以下の形に表記できる。
作業の数学的根拠を定義することにより、反応(λ0)の強度要素に関する分岐
レベルが確立され、またニューロンは認識された(学習済の)刺激パターンに反
応する可能性を高く持つことも分かっている。この分岐はあらゆる階級の非直線
関数に適応できるが、通常はシグモイド関数の一種を使用する。従って、非直線
解読作業は、以下の関係に示すことができる。
ただしTrは分岐限界を設定する。
σはシグモイド関数の変動を特定する。
上記の非直線関数における低変動については、定義された分岐限界(Tr)に関
する差別装置として神経単位が機能する。この強化作用は、神経単位がアナログ
能力を持った高度なスイッチとして機能し、刺激が高度認識を伴う場合にのみア
ウトプットを出しく大きな強度を生む)で様相反応情報を伝播する点で、ニュー
ラル・システムの能力を大幅に向上させるものである。同様に、学習されていな
い、もしくは認識されない刺激に出会った場合、神経単位のスイッチはオフ状態
となる(アウトプット強度O)。
」五
数多くの階級の受容神経がインプット刺激をシグモイド関数で処理することが分
かっている。シグモイド関数は、分岐・計測変換に使用され、現行の神経モデル
の多くについての基盤となっている。ここで示す理論的根拠に関しても、シグモ
イド関数が重要な役割を果たすが、その概念的な理由はまったく異なる。シグモ
イド・プレプロセスもしくは変数は自然に発生する分布(Gaussian形を
示す分布など)を理想的な対称形に移すために使用できるのである。繰り返すが
、理想的対称性とは様相面の基点を指向するベクトルの均一的可能性分布を指す
。このシグモイド再分布は、Gaussianインプット分布を仮定した際にお
ける神経システムのエンコード能力を最大限にするために必要とされる6例えば
刺激信号は、パターン認識適応との関連において、画像明暗度を示す。この種の
インプットは、物理的に量を示すスカラー面の多くと同様、通常Gaussia
n分布の近似を下記の可能性分布関数(p、d、f)として示す。
ただし、σ−分布の標準的偏差
μ−分布の平均
X−スカラー面強度
このノグモイド関数または変数は、スカラー量を中11激面内でOから2πまで
の間に広がる近均−可能性分布に変換する際に使用できる。
シグモイド関数は普通コントロール理論適用の範囲内で使用される。しかしより
重要なのは、図4に表したように、網膜神経を含むある種の神経細胞のインプッ
ト刺激への反応の近似関数であることが経験的に示されていることである。
様相指向を怒覚情報またはスカラー面強度を示すために使用する際に起きるいく
つかの概念的問題も、シグモイド関数の属性により解決する。様相領域内で示さ
れた情報は、通常2πに対応する閉鎖領域内に広がる。一般に、外部面強度は非
定義でおそらく閉じていない実数領域に広がる。シグモイド関数により、任意の
外部刺激面を定義する閉じていない実数領域を、その様相面について広がる閉じ
た領域に直接変換する方法が得られる。このシグモイド・マツピングは、下記の
形に表し得る。
ただし、一般に (F(sb、σ、μ)−A CC5k−μ)/σ〕寥A、Bg
R
3k−インプット刺激要素
σ −刺激面分布の標準偏差
μ −刺激面分布の平均
R−実数グループ
様相領域への上記変換において、0/2π指向に非連続点が存在し、外部実数領
域内の一/十無限大での限界を示す、このベクトル指向により、+/−の無限非
連続を定義する様相境界の基準点が定まる。言い換えると、実数頭域の+及び−
無限における限界は、変換様相令頁域(0/2πなど)での単一不変境界におけ
る軌跡を形成する。
刺激面の当初対称性の大きさは、刺激面〔S〕−を定義するベクトル集団を総計
することにより得られる。結果として得られたベクトルは、インプット面分布特
性について二つの重要な分量を示す0強度要素は刺激面の対称度と反比例し、様
相角度は刺激インプット分布の平均に近似する主要角を定義する。シグモイド関
数は刺激面を主要角の回りに再分布し、必要な対称性をめる。当初対称性の計測
によりシグモイド及び直線変換の補間力呵能となり、あらゆる形態・種類の分布
を取る情報を理想に近い対称形態に示すことができる。上記の概念を最善の形で
プレプロセスに適応すると、Gauss ianまたは対称的な統計的分布領域
に渡る刺激−反応データの大多数を、効果的に神経単位に吸収させ得るようなシ
ステムが得られる。
高月255(たム
このシステムの限界特性は、特定サイズの刺激面でコード化し得るパターンの数
による。この限界は等式25に示した統計エラー関数により生じる。しかしなが
ら、パターン保管上の限界は、Hermitian行列作成などのプレプロセス
作業により克服できる。このプロセスには、〔S〕における任意の下部ベクトル
集団と〔S〕内の任意の他の下部集団を、両者の様相角度指向差により関連させ
る複合ベクトル集団の作成が必要である。正確なHer*i tian行列をめ
るためには、Sの一集団をN行列の1として示し、下記の外部産物を評価する。
また、このプロセスを一般化すれば、インプット刺激面の任意の下部集団により
構成される行列(刈が、CB)ε(S)などの他の定義滴下部集団の活性移項を
伴う外部産物を生むと言うこともできる。
・・・・ eq、44
例として、下記の下部集団を考えてみる。
・・・・ eq、45
(44)により定義された作業を行うと、下記に行列として示す↑り激要素の拡
大されたインプット面が得られる。
ただし、g(λ5.λj)は強度スケール関数0適常g(λ3.λ1)−λ1
、 λ−
上記のごとく拡大された刺激面が独自の産物集団を生む場合、シミュレーシッン
の結果は反応アウトプット内に生じる決定的エラーを示し、刺激面がNxM要素
を含むことを考慮すると、等式25で定義した関数に合致する。
補足明細:
上記は、初歩段階における高秩序統計の神経単位へのコード化プロセスを定義す
る。この方法を用いれば、第N項の秩序統計を神経単位に書き込む作業を大幅に
コントロールすることができる。第三項以上の秩序統計について拡大されたイン
プット集団は、下記の関数により得られる0等式17から拡大されたコード化変
換における例を示すと、
ただし、k (n)は例に示された秩序統計第四項に関する産物項の第N要素を
定義する。
上記産物(この例では4)内の刺激ベクトル要素数が統計の秩序を定義する。
反応エラー特性は、神経刺激インプット面に対し生成された産物項もしくは「グ
ループ」の拡大集団が独自のものである時、等式25に定義された関数に従う。
独自のものとは、この場合n個の刺激要素のあらゆる組み合わせの中で、同じ刺
激要素を持つものが二つ以上現れないことを指す、独自性により、あらゆる大き
さの刺激面についてグループ数の理論的な限界が設定される。「グループ」とは
、下記に定義する個別刺激要素の産物を指す。
ただし、N −統計秩序
k (n)−N秩序統計の第0項産物要素を定義するf (n)−nの任意の関
数として複合ベクトル活用を形成する作業ある統計についての拡大独自集団の最
大数は、統計の秩序においてパスカル三角として知られる分布に従う0表3は2
から20までの刺激面についてこの分布関数を示す、すべての高秩序統計を合わ
せた独自組み合わせの総数は、2′1
である、ただしnは刺激面内の要素数。
より高度な秩序統計の形成により、非常に大量の個別刺激−反応対応が一つの相
関図(神経細胞など)に含まれ得ることに注意されたい0例えば、32の情報か
らなる比較的小さな刺激面を考えると、4o億の独自な高度秩序産物が生み出さ
れ、相当する数の対応が神経細胞内に包含されるのである。
上記の産物拡大プロセスにより、第二次もしくはより高度な秩序統計が神経細胞
にマツピングされる。刺激インプット集団を高秩序項に拡大することは、ホログ
ラフィック・ニューラル・プロセスの特性であり、これにより一つの神経単位に
エンコードできる刺激−反応パターンもしくはマフピングの数が大幅に増大する
。また、この産物拡大プロセスにより、高度な重複もしくは非直線分離性を示す
刺激パターンを、別々もしくは不連続の反応に対しエンコードすることが可能に
なる。
上記のHermi tianプロセス・テクニフクを応用してパターン保管能力
を増大させる能力を示すために、例として4096画像(64*64画像の視覚
面)からなるインプット刺激面を考えてみる。アウトプット反応における決定的
「エラー」の平均を相対値5%とするためには不作為がっ非相関パターンを仮定
した場合、エンコードし得るパターンの数(角パターンは4096要素からなる
)は1000以下に制限される。もしインプット刺激面を二次秩序統計に拡大す
ると、エンコード可能な刺激−反応パターンの数は240万にまで増加するので
ある。
補足明細=
高度秩序統計生成に関するより重要な特徴として、あらゆるインプットベクトル
が内在的に直角で対称的になるという属性が挙げられる。漸次高度秩序項の拡大
について得られる複合ベクトル分布は、対称点において漸近線に近づく、これに
より、ホログラフィック・ニューラル・プロセスにおいて、あらゆる刺激インプ
ット分布は内在的に理想的対称形に変換されるという重要な事項が定義された。
11ermi tianブレプロセスは、傾斜降下法の隠れた層の機能に近い働
きをする。
こうしたモデルにあっては、特定の階級において分類されたパターン間で、隠れ
た層が高度秩序統計の判断をすると考えられている。ここで生じる問題は、高度
秩序統計のうち判断にさらされたのはどれであるが分析的に決定できないことで
ある。さらに、傾斜降下法で判読し得る高度秩序統計の数は大幅に制限されてい
る、従って、判断された以外の統計によりパターンが異なっている場合、パター
ン対応が正しく分類されない可能性がある。古典的な例を挙げる。ある研究者が
、男性と女性の顔を識別できるネットワークを開発したと発表した。しかし研究
成果を細かく調べたところ、傾斜降下ネットワークは、対象の頭の頂点から画面
の端までの距離を測定する機能を0触化したことが分かった。
ホログラフィック・ニューラル法に関して定義された神経マツピング統計の決定
的もしくは正確な分析的コントロールは、傾斜降下法や後方伝播テクニックにお
いては不可能なもである。
メモi・プロワ イル
このホログラフィック・システムの累積メモリ応用を観察すると、刺激−反応対
応の記憶能力をある点で超過し、形成された反応内にファズが目立つようになる
。メモリの飽和を防ぐために、いくつかの方策を取り得る。いずれもにおいても
、最終的には相関行列内のベクトル要素の平均強度を制限する必要が生しる。
最も明白かつ直接的な方法は〔X3行列内の強度要素に衰滅項を適用することで
ある。特定のメモリ・プロファイルに関する例を以下に示す、これは等式17が
ら引き出されるもので、エンコードされた要素X工についての指数衰滅を定義す
る。
T−現行の時間枠
t−メモリ衰滅定数
インプット刺激パターンが学習時間枠内で対象的分布を示すと仮定すると、相関
行列要素χ、の平均強度はランダム・ウオークの例に従い標準分布の支配を受け
る。定数率で抽出されたインプット・パターンに関し、特性的ランダム・ウオー
クの強度分布χの平均上昇が指数衰滅率と釣り合う時点で平衡状態が得られる。
−i的に言って、特定エンコード率の上記平衡点とメモリ衰滅率もが下記の関係
を満たす時、メモリ飽和を防ぐことが可能である。
(X)、、r <(N−h(λ、 r、 t))’ −eq、50動的メモリに
関するメモリ・プロファイルを定義するには、いくっがの項もしくは衰滅相関に
拡大することである。短期的メモリの特徴としては、エンコード率の速さまたは
相対的に速い衰滅率を定義するところの係数があり、反対に長期的メモリはエン
コードと衰滅率の遅さに特徴づけられる。このメモリ概念によりニューラル・シ
ステムの柔軟性が得られ、その結果、即時の短期的メモリから長期的かつ永久的
なメモリまでの連続領域に保管された情報の上位プロファイルが確定される。
補足明細:
励起的二押皿的迷桔
すでに示したように、あらゆる形態のインプット分布を理想的な対称分布に変換
することは重要な課題である。刺激インプット面下部集団の鏡像変換により対称
属性の強化を図ることができる。これは刺激面内のベクトル要素下部集団を基点
に交差するある定義された面について鏡像変換するプロセスである。これは以下
の作業によって得られる。
ただし、θゝは鏡状回転の軸
上記の変換により複合もしくは様相面内のベクトル指向の分布変動が大幅に削減
される。互いに相殺する二つの類似分布を重ね合わせる結果なだらかな分布が得
られ、インプット面の対称性が内在的に強化されるのである。この鏡状回転プロ
セスは、刺激面内の下部集団を励起的かつ抑制的にグループ化することであり、
ある階級内のインプット要素が(抑制的)、もう一つの階級内のインプット要素
について刺激を増加させるという(励起的)補完効果を生むのである。神経学の
研究によって生物神経には励起−抑制的グループ分は機構が儒わっていることが
分かっており、特定階級の神経はそのシナプス配列内に励起・抑制的連結を持つ
ことも知られている。この点は非常に重要である。
ニューロンの
ホログラフィック・ニューラル・プロセスは「相互」属性と呼ばれる性質を持ち
、これにより複数のニューロンからの反応アウトプット形成がベクトル領域内で
総合され、純反応が得られる。すべてのニューロンに対する刺激インプット面が
、独自のもしくは非重複的高度秩序統計から成り立っている時、ベクトル総計の
エラー関数は等式25に従い、Nはすべての神経細胞への刺激インプット要素の
総数を指す、このベクトル総計プロセスを一般化すると、以下の関係に示すこと
ができる。
(xlt (sat −丁 、 Σ (X)n (Sl。
ただし (X)、−[(χ) l+ (X] ffi+ 〔X) 、、・・・)
(S) T −[(S) l+ (Sl 2+ [313+・・暑また〔S〕、
から(S)アまでは高度秩序統計項の独自集団を形成する。
ここで示すのは、それぞれが10,000要素のインプット刺激面を持つ10,
000の神経細胞集団について合計されたベクトル反応における相互属性の例で
ある。
すべてのインプット刺激を表す高度秩序統計が、すべてのニューロンについて独
自のものであるとすると、反応合計の特性は、刺激面内に1億の要素を持つニュ
ーロンと同一であり、上記の相互特性によって数百万の刺激−反応対応が、この
細胞体内の同じ相関行列に記憶・包含される。こうした構成は特定の、明確に定
義された神経構成に匹敵し、ピラミッド型の細胞コンプレックスのような形で小
脳・皮質内に「スーパーニューロン」が存在する可能性を示す。
・ −の
図14は、TGがニューロン集団を示し、インプット刺激面(S)から対応する
アウトプット反応面[R)への単純変換作業を行う装置または装置集団を指すネ
ットワークの階層化を表している0階層化されたネットワークはTGl、TC2
゜TC,3といった変換群から成り立ち、あるグループまたは階層(TC,l)
からのアウトプット反応が高度階層(TC2)のインプット刺激面に送り込まれ
る。任意の数の階層を設けることで、より複雑な配列からなるネットワークを作
ることができる。
補足明細ニ
ー階雇内の細胞群は大量の刺激−反応対応を包含しており、ニューロン層は容量
規定メモリと類似した形で機能する。複数階層を通じて信号を伝播する際、低ニ
エーラル層の刺激により形成された反応は、高度層に対応を伝播する1図14の
例を用いれば、Aに送り込まれた刺激は第一層のB反応に対応し、Bは第二層の
C反応に対応するet、cとなる。こうした階層化構成にあっては相互連結機構
やエンコードされた刺激−反応対応によって、対応が別々のニューラル経路に従
い二分岐したり、また定義された手順に従い再び合わさったりし得る。
ネットワーク階層化の属性の二番目は反応ベクトル合計の存在である。ニューロ
ンの「相互」属性により複数二ニーロンの反応アウトプットが効果的に総計され
、刺激−反応パターンの保管能力が大幅に強化された「スーパーニューロン」が
生み出される。ここに復層化を適応すると、各層が前層の軸索プロセス(または
形成反応)の合計作業を行い、同し相関集団上にコード化 包含し得る刺激−反
応対応の数が大幅に増大する0階層沿いにニューロンを直列化することによる情
報保管密度の向上は、合計された反応ベクトルの数に比例する0例えば同サイズ
の神経細胞1000について複合もしくはリーマン(様相)面内でベクトル総計
を行うと、包含できるパターンの数は1000の因数により増加する。この属性
は、ニューロンの相互属性を解説した箇所で述べた独自属性に従い、すべての神
経細胞についての刺激面により変動する。
並行主ylJ−二1
図15に示された並行ネットワークは、ネットワーク内の層が、並行的に働く複
数のニューロンもしくは変換グループによって構成されるものである。この場合
、アウトプット反応面は、任意の相互連結・手順により、後に続(層のあらゆる
インブ7)刺激面に送り込むことができる0階層化と並行変換グループの各種組
み合わせにより、相互連結神経要素の高度複雑化配列が形成し得る。
補足明細:
神経層の並行化により得られる利点は、特定層内に並行配置された複数細胞から
のベクトルアウトプットが一つのベクトル空間で合計されることにより証明され
る。このベクトル総計により、「スーパーニューロン」が効果的に生み出され、
その特性は上記に定義したごとく、インプット配列内のすべてのニューロンにつ
いて合計された刺激面と同じ大きさを持つ一つの細胞と同一であり、極度に高度
秩序な情報密度を可能とするものである。
フィードバック・ネットワーク
図16が示すシステムは、高度層神経単位のアウトプット反応面がその結果を低
層もしくは前段階層の神経単位インプット刺激面に戻すものである。フィードバ
ックシステムをあらゆる形態で組み合わせまたは配置することができる。このニ
ューラル装置はあらゆる状況でフィードバックを提供し、アウトプット反応がイ
ンプット反応を出すことにより現場環境を操作・変形させる(環境を通じたフィ
ードバックなど)、この概念を視覚的に表した例として、インプット刺激が軸位
置と率センサーであり、アウトプットがモーター制御をコントロールするロボッ
ト制御システムを挙げることができる0反応アウトプットの任意の変化(軸運動
)がインプット刺激パターンを変形させ、順次その次に生み出される反応に影響
を与える。上記のフィードバック・メカニズムはホログラフィック・ニューラル
装置のほとんどの応用において制御能力を大幅に強化することが期待されている
。
補足明細:
スナブス相互連結により生み出される同時ループまたは内部フィードバックによ
り、包含された刺激−反応対応を通じて反射する信号ループが可能となる。こう
した同時ループは外部刺激による影響で同時ループの状態が変わらない限り、特
定の対応パターンに対して安定する(頃向を持つ。
の たは・)
すでに述べた等式は主として様相角度に関するものであり、刺激面内単位の強度
要素は均一と同じであると設定される。しかしながら、これら刺激単位のそれぞ
れに強度要素を割り当て得る。これにより「重量ファクター」が効果的に当ては
められ、アウトプット反応を形成する際の刺激面における同要素の上位性が決定
される。
散在行列テクニック
いくつかの適用においては、相関行列〔X〕 (等式17)内の変化要素のうち
からいくつかを除去することが好ましい、その結果求められる行列は、いくつか
の要素がnullもしくは0であり、散在行列と呼ばれる。このテクニックによ
り、形成された反応面における決定的エラーまたはファズの度合いが増加し、解
像度が低下する。利点としては、変換作業の数がその分少なくなる(実施時間が
減少する)ことを挙げられる。
補足明細:
二進法モデル
速度上の必要またはハードウェアの限界などの理由から計真上の簡潔性がめられ
る場合には、ホログラフィック・プロセスを低下・単純化させて二進法にするこ
ともできる6作業能力は大幅に低下するが、エンコード/デコード変換がすべて
単純スカラー数領域で行われることによる簡潔化が得られる。この単純化には様
相面内の一軸除去が伴い、その結果情報はOがπ様相指向で表現される。
上記のように二進法による単純化を行うと、二進法(−1/+1.0/1もしく
は0/π)による刺激−反応パターンのみがエンコード/デコードされる。ここ
で述べたすべての関連強化は、二進法システムにおいても、すでに定義した複合
システムの場合と同様に機能し、情報の表記について二種類の様相位置のみが可
能なことだけ注意する必要がある。
生物システムとの比較
この装置の作業特性ならびに適応を完全に理解するために、ここで述べるホログ
ラフィック・ニエーラル・プロセスと生物神経システムの重要な類位点をいくつ
か列挙する。
人間の脳は250億程度の神経単位を持つと考えられる。すべての動物細胞と同
様、それぞれの神経単位は細胞内容−すなわち細胞膜(細胞液)と細胞核−を閉
じ込める細胞膜に囲まれている。これら神経単位の大きさや形態はさまざまに異
なるが、常にいくつかの共通要素から構成されている(図2)、細胞体またば体
細胞、そしてこの細胞体の作用である軸索にューライト)と通常いくつかの樹枝
状突起である。軸索や樹枝状突起などこれら神経単位作用は機能により分類され
る。
軸索は神経細胞を他の細胞につなぐ、他の細胞の軸索は細胞樹枝状突起と体細胞
上で終結する。軸索と樹枝状突起は通常、体細胞から出た後、いくつかの枝に分
かれる。軸索端と他の神経単位細胞との結合部がシナプスである。
大部分の神経単位は他の神経単位とつながり、神経単位回路もしくはネットワー
クを構成する。少数の神経単位の軸索は綿状骨格筋肉、内臓のなめらかな筋肉な
らびに腺とつながり請求心性神経と呼ばれる2反対に、有機体内や環境のある種
の変化に反応する特殊な神経細胞は、これらの反応を中央神経システムに送り、
受容器と呼ばれる。受容器細胞のそれぞれは特定の刺激形態に反応し、これによ
り知覚形態という重要な概念が導かれる。視覚、聴覚、味覚はそれぞれ形態の一
種である。これら様々な知覚形態により受け止められた刺激は情報の基礎をなし
、神経システム内で情報が処理・記憶されるのである。
生物神経単位内の情報伝播は、通常以下の形で行われる。パルス変調波とじて送
られた信号を細胞樹枝状突起と体細胞が受け止め、シナプス連結を通じて結ぶ。
反対に、こうした信号への対応として、神経単位はパルス変調波を生成・アウト
プットし、軸索などを通じて次層の神経単位細胞に送る。信号経路に関する神経
単位の一般的構成は図4に示しである。
ここで述べる論理的基盤は、下記の説明において、生物神経単位内の情報処理シ
ステムの可能性として繰り返される0個別の神経単位細胞は刺激−反応対応の形
で大量の情報をそのシナプス連結部に包含する能力を持ち、それはここで定義す
るエンコード/デコードのメカニズムに匹敵するものであると考える。
すでに述べたように、神経単位の樹枝状突起構成内のそれぞれのシナプス連結は
、図4に示したパルス変調波を受信する。パルス周波数が情報を示し、ジーマン
もしくは様面上のベクトル指向を抽象的に定義するとして、この波を抽象的に表
すことができる。シナプス連結が受信する刺激波は、すでに定義したように、下
記の表記法に示すことができる。
同様に、上記の刺激に対応して細胞が学習した反応波もしくはアウトプットは、
jθ
複合要素γe として表せる。エンコードされた反応対応は樹枝状突起とは別の
経路、おそらくは軸索一体細胞連結によって読まれるのではないかとここで提案
する。ヘブ仮説に従えば、シナプス連結の生物学的構造は、情報保管のメカニズ
ムを示唆する刺激に反応して変形する。関係する生物学的メカニズムに関する説
明はなされていないが、刺激−反応対応は、上記に定義し下記に示したエンコー
ド変換のベクトル行列によって、一般的に学習されるのではないかと提案する。
生成された相関集団を、情報エンコードの時間軸を無視し、拡張して示す。単純
化するために、第一次秩序統計のみを以下の等式に表す。
この相関行列は、情報保管の高度抽象化表示を定義するシナプス連結の数学的類
似形をなす、学習された刺激−反応対応は様相領域内の同一の保管媒体、この場
合にはシナプス連結域の生構造に記憶・包含されるというメカニズムをこの理論
は提起する。
すでに指摘したように、学習された反応のエンコードまたはデコードは、エンコ
ード変換において同時に起こり得る。樹枝状突起シナプス連結を外部パルス変調
波で連続的に!fI激した時、細胞体内で、下記に示した複合ベクトル内産物変
換と生物学的に相当する事態が発生すると仮定できる。
複合(tl!Rは神経軸索やコラチラルを通じて次の神経単位層に伝わる形成反
応波を示す、このプロセスにより、高度知能的対応や制御行動のために必要な皮
質層は比較的少数であることが導かれる。
補足明細:
ごく一般的に言えば、神経構造の低段階皮質層は、シグモイド・プレプロセスや
高度秩序統計の生成と類似した機能を持つとまとめられる。大脳皮質と小脳に位
置する放射状の対応細胞の二分岐した樹枝状突起内で、多数の対応や学習プロセ
スが行われることを、この理論的基盤が示すのである(図5)。上記により非連
結アプローチの基礎が固められる。これは学習(情報包含)と表現のメカニズム
が個別の神経単位細胞でなされるとするものである。
このプロセスは、極度な複雑さや構造的多様性にも関わらず、神経単位細胞がご
く一般化した形で情報を処理することを示唆する0機能の特殊性は、成熟する生
物システムとして形作られるシナプス相互連結図によって決定される。理想的に
は支配的等式がこうした形で一般原則に合致し、演真によって無限に柔軟なシナ
プス連結行列が可能となる。神経要素の構造によっては、各種の知覚様態とモー
ター効果反応の間で交叉対応の順列が可能となる。さらに、この数学的基盤と生
物神経単位の0般的構造/外部信号プロセスの間に、非常に緊密な構造同一性が
見られることも指摘できるC図4)、このプロセスの別の作業特性として、最善
の場合、神経要素が完全に異時的に機能することが挙げられる。言い換えると、
非連続の神経単位細胞間で調整や時間要因を考える必要がないことを、作業の一
般原則とできる。ホログラフィック理論の外延シミニレ−シランにより、高度に
複雑な学習対応が、一層の通過により神経システムから引き出されることが明ら
かになっている。
すでに述べたように、中枢神経システム内神経単位細胞の異階級間には、大幅な
構造差が存在する(図3)、たとえば、大脳皮質の放射状もしくはマルチノツチ
細胞は、大きく分岐した樹枝状突起構造と、ホログラフィック・プロセスの原理
で定義されるエンコード/デコードメカニズムの可能性を示す内部ミクロ管状配
置を持つ、皮質の主要細胞であるピラミッド細胞が示す樹枝状突起の分岐は非常
に少ないが、これら樹枝状プロセスの表面に見られるシナプスを推は大量である
。こうした構造はまた、小脳の主要神経単位細胞、すなわちパーキンジー細胞の
特徴でもある。神経単位細胞第三グループのもう一つは、非常に異なった構造を
持つ、これらはを椎神経単位の特徴であり、定義された軸索プロセスが存在しな
い代わりに、細胞から伸びる複数の樹枝状突起様分岐が複数のインプットを受信
し、複数のアウトプットを生み出す。
定義されたホログラフィック・ニエーラル・プロセスは、神経単位細胞の上記種
類のそれぞれが果たすと考えられる役割を示すいくつかの重要な前兆と斬新な示
唆を伴う、主要要求の一つは、再び対称性の根本概念に関わる。高度秩序統計を
議論した項で述べたように理想的対称状態はインプット刺激面を高度秩序統計で
拡大することで達成できる。内臓や外部知覚インプットの多くは、皮質を推及び
を椎小脳経路を通じて伝達される。こうした変形されていない粗信号は、最も一
般的には高度に非対称的な分布特性を示す、を椎神経単位は図3に示された構造
を持ち、定義された軸索プロセスを持たない信号のインプットとアウトプットに
ついて多方面の分岐を示す、この神経単位構造により、あらゆる種類の知覚様態
が高度秩序産物に拡大され得るような総括的インプント刺激パターン変形が可能
となる(高度秩序統計が遠心性情報としてせき柱沿いに伝播される。)このタイ
プのプロセスは内在的に、刺激分布特性を皮質・小脳神経単位構造に伝える前に
、理想的対称性に変形する。
皮質には三種類の主要神経単位が含まれる。放射状細胞、マルチノツチ、そして
ピラミッド細胞である。これら細胞の相互連結を定義する皮質開回路の存在自体
は比較的よく知られているが、機能の詳細についてはあまり知られていない。
図5を参照すると、放射状細胞は皮質を椎系から来る信号を主として視床システ
ムを通じて受信する。放射状細胞シナプスからの軸索プロセスは大体において中
心部ピラミッド細胞上である。これらのピラミッド細胞はこのタイプの皮質の主
要細胞型であり、皮質のすべての段階で止まり、を椎コード沿いの運動神経単位
まで皮質を椎経路を下る軸索を持つ、マルチノツチ細胞は、主としてフィードバ
ック状態で機能する。ピラミッド細胞軸索からのインプットを受信し、形成する
アウトプット信号は、皮質のより表面に近い層沿いの放射状もしくはピラミッド
神経単位の樹枝状突起プロセスで停止する。ホログラフィック・プロセスの特性
と細胞型の一般構造により、これら細胞型それぞれの役割または区分を定義する
こともできよう。
ホログラフィック・ニューロンの「相互」属性を述べた部分に遡れば、複数のエ
ンコード/デコード神経単位に現れた反応アウトプットのベクトル総計をめるこ
とができ、格段に強化された情報保管能力を持つ「スーパーニューロン」が効果
的に生み出される。上記の構造及び放射状・マルチノツチ細胞に対応する皮質間
経路を調べると、こうした細胞型がホログラフィック理論の一般原理で定義され
たエンコード/デコード作業の遂行に理想的に適していることが明らかである。
ピラミッド細胞の構造及び皮質間連結は、中心部放射状・マルチノツチ細胞のベ
クトル総計遂行に適しており、「スーパーニューロン」プロセスに類似した作業
を行う、このホログラフィック・モデルにより次の事柄が示される。あるピラミ
ッド細胞とそれを支える中心部放射状/マルチノツチ神経単位によって、より相
当大きく、10偉に近い刺激−反応対応をその相関行列集団(中心部放射状/マ
ルチノツチ細胞のシナプス)に包含することができる。上記に20−40.00
0の放射状/マルチノツチ細胞が含まれ、一つのピラミッド細胞が細胞数総計の
非常に小さなパーセンデージを占めるに過ぎないと仮定すれば、ホログラフィ、
り・プロセスによって定義されるメカニズムは、中枢神経システムの性質に催た
構造により非常に高度な複雑性を伴う中で機能できることになる。
メモリ容量及び処理速度
下記において、モンテカルロ・シミュレーションで検証された小規模システムの
特性に億だホログラフィック理論を適用することにより、単一ピラミッド細胞複
合体の機能特性を確定する。皮質構造及び関連する保管/処理能力に関するこの
例は、運動皮質に位置するBe1zのピラミッド細胞を基礎としている。これら
ピラミッド細胞は特定運動神経単位の神経刺激伝達を直接コントロールする。最
新の研究によれば、この種のピラミッド神経単位には10万に上るシナプスを椎
が含まれ、中枢及び末梢放射状/マルチノツチ細胞の軸索プロセスからのインプ
ットを受信する。単一のピラミッド細胞複合体に包含し得る刺激−反応パターン
の数量を確定するため、下記の仮説を立てる。
(1)中枢放射状/マルチノツチ細胞は平均4万の軸−樹枝状突起シナプス・イ
ンプットを受信する。
(2)中枢神経単位細胞の↑り搬面インプットは、高度秩序統計への拡大により
、理想対称形に変換済みである。
(3)高度秩序統計集団またはインプット信号は、放射状/マルチノツチ細胞へ
の樹枝状突起インプットのすべてについて大きな独自性を持つ。
(4)包含された刺激−反応対応の数は以下の条件を満たす、学習刺激対応への
反応に現れる決定的「ファズ」は平均して全体値の±2%(絶対値)とする。
神経単位の相互属性、「スーパーニューロン」プロセスを遂行する構成を通用す
ると、示される属性は下記の数量のシナプス・インプットを持つ神経単位にほぼ
相当する。
ピラミッド細胞への樹枝状突起スプライン・インプット100,000*各放射
状/マルチノツチ細胞にシナプス・インプット40.000=ピラミッド細胞複
合体内に高度秩序統計40億モンテカルロ技術を利用した広範なコンピュータ・
シミュレーションによると、等式25のエラー係数は、神経単位もしくは神経単
位複合体に送り込まれた高度秩序統計の数にかかわらず不変である。このエラー
係数を適用すると、単一ピラミッド神経単位複合体に保管できる刺激−反応対応
の数は以下に示される。
P =N [tan(0,2πv 8 )= 7 !1000万〒す激−反応対
応 ・・・・・ eq、ss高度秩序統計の全集団について、それぞれの刺激−
反応対応が40億の情報単位(N)に対応するのであるから、この刺激−反応対
応内にエンコードされる情報量は、
=Pxχ−40億高度秩序項×7億1000万刺激・反応パターン−3X10”
情報単位 ・・・・・eq、57現実的には、情報の1要素が256レベルの解
像に分離されたアナログ価を表すと考えられる。この情報要素は通常のコンピュ
ータ・メモリの1バイトで表せる。ホログラフィック理論を適用すると、およそ
3X1019要素(バイト)の情報が刺激−反応対応の形で運動皮質のピラミッ
ド細胞に似た構造の1神経単位複合体の中にエンコードできる。樹枝状突起シナ
プスを通じて刺激すると、上記神経単位に次の特性が現れる。インプット刺激面
は上記の累積情報集団を通じて変換され、はぼ即時に反応を出す。
効果的処理速度の説明のために、標準直線検索テクニックとの比較を行う、すべ
ての直線検索法において、認識されるべき画像は個別に保管され、順次パターン
のプロトタイプと比較されなければならない9組み合せ演算が、最適アプローチ
でインプットを分類するのである。一般的に、パターン要素はN次元垂直空間内
に表し得る0代表的な直線検索演算は、インプットされたパターンと一つの参照
プロトタイプ間の差を次元軸沿いに計算する。N空間内の各軸沿いの距離合計は
、それぞれの要素項が下記のように計算されるパターン変数に比例する。
(ak−bkL)! ・・・=eq、58ただしam−インプット刺激面の要素
kb−−プロトタイプ・パターンもの要素に上記の作業によりそれぞれのパター
ン・プロトタイプについて変数項が生み出される。これら変数項をい(つかの間
数Ft ()に利用すると、好ましい反応または決定が導かれる。たとえば、
C6”1. 6”z、62s、”’) ””’ eQ、59ホログラフイツク・
プロセスは上記の直線検索とほぼ同じ作業を行うが、計算が圧倒的に効率的なこ
とがその作業特性である0等式5日に示したスカラー差分解の対応関数を導く要
素ベクトル変換は以下の通りである。
情報を複合ベクトル指向として示すことにより、下記の様相変換属性が得られる
。任意のインプット刺激要素が対応するプロトタイプ要素(ζ#θ″、)に近づ
くに従い、反応として形成される様相は好ましい、または学習された反応(Φ1
)に変換される。このベクトル置き換えから導かれる第二の属性により、すべて
の参照プロトタイプの各要素について上記指数項が一つの行列要素(X、)に含
まれる。ボログラフィック法による、相関要素を通じた単一変化は、以下に示さ
れる。
ピラミッド細胞の例を考えると、上記の変換により、直線検索演算の7.1×1
03比較と数学的に類似した機能が遂行される(等式5日)、生物学的には、既
存の処理法との比較として、神経単位の反応周期時開を100ミリ秒と、保守的
に見積もることができる。単一ピラミッド細胞複合体の効果的処理速度は、上記
に確定した通り情報保管容量を3X10”バイトと仮定して見積もられる。直線
検索を利用して100ミリ秒内に反応形成を行い、しかもデータを削減・除去し
ないためには、毎秒下記の数量の比較が必要となる。
3X10”データ要素/100++s反応期間−3X10”比較7秒
1台のスーパーコンビ二一夕が毎秒1億の比較を行う能力があると考えられる。
能力比較について上記の構造が示すのは1、単一神経単位複合体の情報処理能力
に近づくためには、約3X10”のスーパーコンピュータが直線検索し、ヒト大
脳皮質ピラミッド細胞に類似した構造の処理を行う必要があるということである
。
制御パッダイム
このニューラル・プロセスは新しい制御パッダイムと考えられる。この制御シス
テムは、複変数インプント、制御アウトプット、そして反応アラi・プント・プ
ロセスの形で慣例的に示し得る(図6)、こうしたブラックボックス的アプロー
チは根源的制御要素を定義する。あらゆる制御システムと同様、複数の要素が任
意の定義し得る方法で組み合わされ、特定の機能を遂行する。既存のプロセスと
の主要な差異は、制御要素がその機能を果たす際の能力と形態である。
空間制御理論の説明として、制御要素は複変数インプット状態を制御アウトプッ
トに直接エンコードまたはマツピングすることを可能にする。マツピングにはイ
ンプット状態とアウトプット間の直線依存は必要とされない、マツピングにはイ
ンプット状態とアウトプット制御偏量の直線依存も必要とされない、シミユレー
シヨンで確認されているように、このシステムはインプットの歪みに大きな免疫
性を示し、その結果マツピングされたインプット状態に隣接する空間が広範な領
域を持っていても、形成されたアウトプットの歪みは非常に僅かに押さえられる
。インプットのノイズに対する免疫性は、フィードバックのメカニズムを使用す
ることなしに達成される。
やや抽象的なレベルでは、こに刺激−反応マツピングはN次元空間内で影響範囲
もしくは「高楕円」を定義する。これらマンピング領域の幾何や大きさは、第N
項秩序統計(Hermi tianブレプロセス作業)と対応強度量を明確に定
義することで操作できる。こうした方法により、学習過程で形成される一般原則
を容易にコントロールできる。
反応マンピングや学習と同時に、システムは制御行動を取り、インプット状態の
蓄積状態空間マンピングを通じた変換を行い得る。インプット状態は、前記のよ
うに内在的な平行を保ちつつ、包含されたマツピングのすべてを通して変換され
る。それぞれのマツピングは反応ベクトルを出し、形成反応におけるベクトルの
支配度は、インプット状態への近接度に比例する。しかし、この状態空間比較は
従来の制御理論にそのまま適用できない、なぜなら次元軸はユークリッド空間の
実価としてではなく、多次元様相空間のベクトル指間として定義されているから
である。
制御要素が動的に状態空間マツピングを学習・変形し、メモリ・プロファイルや
学習速度なこの変数を利用できるシステムを想像していただきたい。そうした制
御要素は以下の形で環境フィードバックを行うだろう、刺激を生成する外部面の
下部集団が、制御要素を通して変換され、反応を出す、この反応行動は、直接的
または間接的に環境に影響を与え、その結果、制御要素にフィードバックされた
外部刺激を変形する。このフィードバック過程は、外部環境と制御要素の間で閉
鎖環状に繰り返される。上記の反復フィードバック過程が進むと同時に、外部環
境の変化に応じて、エンコードまたは解読変換が刺激−反応状態空間マツピング
を変形する。
制御要素マンピングは、外部環境とその環境内での影響を示す、環境フィードバ
ックを使用した上記システムの作動は、比較的単純な枠組みの中であっても、還
元分析を排除し得る上、無限に近く複雑な制御システムを発展させるとみられる
。
図の簡単な説明
ここでは、付録の図及び表に関し、例示のみによって発明内容を表す。
表1 反応内の可能標準偏差エラーをエンコードしたパターンの数の関数として
表示したもの
表2 音韻コードの一覧
表3 統計の1@序及びインプット刺激面サイズの相関としての高度秩序統計独
自集団数の一覧
図1 現行の傾斜降下モデル内標準としての神経単位要素の一般的構成を示す図
2 生物神経単位の構成を一般的に示す図3 各種生物神経単位細胞の一般的構
造を示す図4 生物神経単位の信号処理特性とシグモイド反応特性を一般的に示
す図5 大脳皮質内の内部神経単位ループと各種神経単位連結を示す図6 神経
単位制御要素を通じた環境フィードバックを示す図71神経単位要素向は人工神
経装置のハードウェア構成の単純例を示す図8 視覚から聴覚への人工神経装置
のハードウェア構成の一例を一般的に示す図9 視覚面のビクセルとして表され
たデジタル画像を示す図10 聴覚インプントのデジタル・ソノグラムを示す図
11 自動制御輸送機器内の人工神経装置応用を示す図12一定時間枠における
ロボットシステムの増加運動に対応するパターンを示す
図13 決定系図を示す
図14 多層神経単位ネットワークを示す図15 階層並行神経単位ネットワー
クを示す図16 フィードバック神経単位ネットワークを示す図17 単−処理
館内の人工神経装置のハードウェア構成の具体化を示す図18 処理節間連結コ
ミュニケーション用16節ハイパーキューブの具体化を示す
各図において、同じ番号は同じ部分を指す。
適正具体化解説
初歩モデル(図7)
ここで解説する神経単位プロセスについて、数え切れない種類の物理的構成もし
くはハードウェアが可能である。解説されたホログラフィック・ニューラル・プ
ロセスを利用した人工神経装置の物理的具体化を示すことが目的である。しかし
、この装置のハードウェアによる具体化は、特定タイプの装置構成や情報保管、
処理媒体に限られない。
図7はハードウェアによる具体化である。この例では、16の刺激インプットを
示した。アナログ信号多重送信技術を使用することで、刺激面(S)における要
素の数をめられる任意の数に増やすことができると考えられる。インプット信号
は、周波数によって表されるベクトル様相情報と信号振幅によって表されるベク
トル振幅を持つ振動波である。この信号波は一般に、生物神経学的に形成され情
報を伝達すると見られる衝撃に類似している。上記のメカニズムを情報伝達(振
動波もしくはパルス変調信号)に利用することにより、情報の様相角度と強度要
素の伝達が単一信号線で可能になる利点もある。
エンコード作業中に、インゲン(・↑11激面要素(1から16)は非変調回路
(A)を通じて様相角度と強度のデジタル表示に変換される。それぞれのインプ
ット刺激要素について別々の様相・強度成分が確定される。エンコードに対応す
るアウトプット反応が、非変調回路(E)を通じて読み込まれ、同様に様相角度
・強度成分のデジタル表示に変換される。デジタルコード化ユニット(F)は、
刺激−反応パターンを保管ユニット(C)にエンコードするため、等式13に定
義された複合ベクトル変換を行う、ユニット(C)はエンコードされた情報を保
管し、軸−樹枝状突起シナブス連結を示す。
デコード作業において、インプット刺激信号要素は非変調回路(A)を通じて様
相角度・強度のデジタル表示に変換される。上記と同様、それぞれのインプット
刺激面要素について、別々の様相・強度成分が決定される。解読ユニッ) (B
)はインプット刺激信号の二進法表示と、それに対応するコード化ベクトル要素
]χ1を、ユニット(C)から読み取る。〔X〕の適切な要素は、外部ロジック
に制御されたIN busを可能にするあて先を通じて確定される。ユニット(
B)は、ユニット(A)からインプット刺激要素(S)を、またユニット(C)
からエンコード要素(X)を利用し、等式27に定義したデコード作業を行う、
アウトプット反応は、周波数変調ユニット(D)に伝達される。このユニットは
、ベクトルもしくは複合数値の二進法表示を、ベクトル様相角度の周波数表示及
びベクトル強度の信号振幅表示を持つ波に変換する。
これら神経単位要素のいくつかは、任意の構成で連結し、同時もしくは広範囲な
並行様式で機能する神経単位要素の配列を形作る。下記は、前述したプロセスか
ら導かれるA、NS装′#L6つを表している。無限数の装置及び適用が考えら
れるが、ここでの目的はANS装置を利用できる通用の範囲を示すことである。
音声表記装置パターン(視覚認III)図8は上記に示した発明を具体化した視
覚認識装置を図解したものである。視覚認識装置は既存のハードウェアから成り
立ち、視覚的データをつかんで、エンコード/デコード神経単位システムにイン
プットする。この装置1は視覚から聴覚への変換に単一変換グループ(TG)を
使用している。
装置1のハードウェア必要条件を下記に示す。
(a) 標準的アナログビデオ・アウトプットを生むビデオカメラ二台(b)
アナログビデオ信号インプット受信能力を持つビデオ信号デジタル装置3のよう
なデジタル化装置、このデジタル装置3は、ビデオ走査線を「ビクセル」の配列
に分離する。適用例として64*64のピクセル面を考える。それぞれのピクセ
ルは、図9が示すようにピクセル面内で走査線の強度に比例する量を表す。
(C) データまたは信号情報の保管・処理能力を持つ神経単位プロセッサー、
この人工神経システムは、任意の物理的ハードウェア(特殊もしくは一般目的)
の組み合わせで具体化することができ、前記した必要プロセスを行う。
この例を単純化するために、アウトプット反応を構成する複数の音韻がエンコー
ドされ、ハードウェアが音韻から口頭アウトプットへの変換を扱うと仮定する。
各口頭単語は音韻の一覧を持つ、大部分の英語句を言語化するために必要な音韻
の数は約36である。ここで述べる人工神経システムを利用すると、ビデオ信号
デジタル化装置3によって生み出される視覚データ流(ビクセル価の集団)が、
スピーカー12で言語アウトプット(音韻の一覧)に翻訳される。
このプロセスで行われるエンコード/デコード手続きを下記に示す。
エンコード
ビデオ・デジタル化機器2は、たとえば視覚インプットについて64X64ビク
セルの面を表す4096バイトの列を生成する。ビクセル刺激インプット価は、
0から2πの間にあるベクトル様相角5に翻訳される。この視覚インプット面は
(Sl と表示される。
この視覚刺激に対応するアウトプット反応lOは、口答単語のスペクトル調和表
示か、これに相当するところの数表示によって個別に定義される音韻の一覧かの
どちらかである。単純化するため後者を例にとる。たとえば、ビデオカメラ2が
家の画像に焦点を当てるとすると、反応としてHOUSE C家〕という言葉が
発声される。この単語は、h、o、u、sの4音韻によって再構築できる。この
4音龍の表示はメモリと神経単位プロセッサーにコード化されなければならない
。
音構成のために合計36の音韻(表2参照)を選ぶことができるのであるから、
選択メカニズムの確定が必要である。簡便化するために、音韻選択を表すのに二
つの基数6を選んだ(62=36通りの可能性)、それぞれの基数6はアウトプ
ット反応面(R)で二要素により表示される。4音韻をエンコードする能力を持
つためにはアウトプット反応面[R)内で8要素必要である。
基数6を示すためには、複合面をそれぞれが60度に分割された六つの領域に分
ける必要がある。たとえば、tと定義された境界について、2−π
従って、h、o、u、sの反応について、エンコードされたアウトプットは下記
により構成される。
実際の音韻反応はキーボード13を通じてインプットされ、複合価集団(0から
2πまでの様相領域)への変換が行われる。インプット刺激(S)とエンコード
された反応(R)はユニット5と6によりベクトル配列に変換され、神経システ
ムのエンコード・プロセッサー9に送り込まれたデータを処理する。インプット
刺激データのシグモイド・プレプロセス及び高次項への拡張がなされる。相関行
列(X)が形成され、神経単位エンコード及びデコード・プロセッサー7と9に
アクセスできる不安定なメモリ8に保管される。刺激−反応パターンは、下記の
作業を行う神経単位プロセッサー9を通じて、相関行列〔X〕にエンコードされ
る。相関行列(X)内の各要素(Xl、*)について以下のステップがとられる
。
1、それぞれの要素(X、、、)について様相(Ph、)と強度(Mag)成分
を読み、現実部(Re)と想像部(1m)に変換する。変換価を神経単位エンコ
ードプロセンサー9内のデータ緩衝器に保管する。
2、要素(s j)の様相角度成分をインプント刺激配列(Slから、また要素
(rk)をエンコード反応配列(R1から読み取る。これらの値を神経単位エン
コード・プロセッサー9内の緩衝器に置く。
3、発明強化の項の定義に従い、シグモイド・プレプロセス及び高度秩序統計へ
の拡大を行う。
4、神経単位プロセッサー9で下記の作業を行う。
Re(x=、h) = CO3[Ph(rm)−Ph(sJ)l+ Re(x7
.++) ・・eq、631s(x=、m) −5IN [Ph(rv)−Ph
(sJ)l+ l5(xJ、++) ・・eq、645、下記の作業により[X
)のj、に要素の様相角度(Ph)と強度(Mag)を確定する。
P h (xJ、 k)は複合面内の正しい四分円に合わせる必要があることに
注意。
Mag(xJ、m) = [Re(xJ、*)” =I@(x=、++)”]”
” ・・・・eq、66(X)の上記要素の様相及び強度成分を不安定メモリ8
に戻して保管する。
プロセスのエンコードに間する部分を上に示した。このプロセスを繰り返すこと
により、複数の刺激/反応パターンを相関行列〔χ〕にエンコードすることがで
きる。理想的にはできるだけ並行な形で変換が行われるよう、神経単位プロセッ
サー9を構成する必要がある。従って、神経単位プロセッサー内に行列処理装置
または構成をもつことが望ましい、当然ながら上記の作業は、通常の汎用コンピ
ュータ装置と同様連続的に行うことができるが、処理時間のために困難になる可
能性がある。
デコード
デコードもしくは、結果的刺激インプットの反応対応についても同様の二ンコー
ド作業が行われる。ビデオカメラ2がビデオ信号を生成し、ビデオ信号デジタル
化装置にインプットを送り込んで、画像を64164のピクセル配列に分離する
。ビクセル値は灰色比または強度レベルに比例する。これらのビクセル値をベク
トル5(0から2πまでの様相角度指向によって示される情報)に変換する。こ
の刺激面は〔S]*と表され、様相角度に翻訳された(S〕*の要素は、神経単
位デコード・プロセッサー7に接続する不安定メモリに読み込まれる。相関行列
(X)内の複合要素と刺激面〔S]*内の要素について、下記の作業が行われる
。
1、相関行列(X)複合要素の様相(Ph)と強度(Mas)を読み取る。この
値を神経単位デコード・プロセッサー7内のデータ緩衝器に保管する。
2、刺激インプット面〔53本から要素(S″j)の様相角度成分を読み取り、
この値を神経単位デコード・プロセッサー7内のデータ緩衝器に保管する。
3、 エンコード過程のステップ3に定義されたと同様に、シグモイド・プレプ
ロセス及び高度秩序項への拡大を行う。
4、アウトプット反応面〔R〕*内のそれぞれの要素(r ”k)を、下記の作
業により、神経単位デコード・プロセッサー内で評価する。下記はxj、にとs
j*のj!lからN要素すべての合計であることに注意されたい。
反応面[R)内のアウトプット要素それぞれ(k−1から8)について、上記の
ステップ1から3を行う。
5、上記の合計作業に引き続き、アウトプット反応面(R)の各要素を、神経単
位プロセッサーを通じて、下記の対応様相と強度価に変換する。
主要角の調整が必要なことに注意。
Mag(r″M) −[1m(r”h)” + Re(rm)”]”” ・・・
・eq、70様相成分Ph (rk)はアウトプット情報(音n特定)を含み、
強度成分は認識の度合いに比例する値を示す。
アウトプットの策士段階で、〔R〕*の上記アウトプット反応要素が読み取られ
、下記の変換公式で各様相値Ph (r″k)を6を基数とする数に変換する。
スカラー刺激及び反応信号変換と様相角度からの翻訳に関連するこの説明は、特
殊適用によって完全に変形できる機能明細または特殊利用であることに注意され
たい、上記が示すのは、考え得る無限数の変換もしくは翻訳手順の一例に過ぎな
い。
7、アウトプット音韻を特定する6を基数とする数値は、それぞれ2字(アウト
プット要素)から成り立つ。これらの反応値は、聴覚口頭アウトプット11を形
成するため、通常のハードウェア装置を使用して変換される。
単一の変換グループを使用した神経単位装置の通用を、単純化して上記に示した
。この説明により、視覚的知覚態様インプットが聴覚反応器に変換された。これ
らの視覚パターンは、あらゆる度合い、複雑さくU、車、任意の物体)を持ち得
る。
エンコード及びデコードプロセスのステップ3でそれぞれ示したように、メモリ
保管能力に関する更なる具体化を行うには、エンコードとデコード両方における
インプット刺激面を高度秩序環(l(ern+i tian行列形式など)に拡
大することが必要である。下記の作業によりl(ermi ti an行列を神
経単位処理装置内で評価できる。
ただしくSl” は〔S〕の複合活用
上記作業の結果、刺激−反応保管能力は、超過分類エラーが発生する前に、数百
万対応にまで達し得る。この作業を理想的に行うには、神経単位処理装置内に専
用の行列処理ハードウェアが必要である。
音声・文書記録変換装置
音声から文書記録への変換は、一種類の知覚様態インプント(聴覚)から他種類
(文書)の反応への変換例である。神経単位装置への応用は、音声インプット刺
激を対応するASCIIアウトプットにエンコード・デコードすることでなされ
る。この場合、インプット刺激面はデジタル化されたソノダラムから成り立つ。
ソノダラムとは聴覚データを表現する一方法であり、一定の時間枠における調波
の強度を示す、その−例が図10である。デジタル化された視覚インプット面と
非常に似ており、ソノダラムも周波数を縦軸に、時間を横軸に取ったビクセル面
に分割できる。
この例では、周波数32、時間32の聴覚インプットの分解を仮定する。アウト
プット面は12要素から成り立つ、これらの反応要素なASCII文字を前例(
文字ごとに6を基数とする2数字)とII(luした形で表しうる。
刺激インプットは口頭単語であり、アウトプットはタイプで打ち出された反応で
ある。上記に特定した応用で、理想的と考えられる対称性分布を仮定すると、超
過分類エラーが発生する以前にエンコードできる刺激−反応パターンの数は、以
下により導かれる。
P=N (jan (Erz8) 2
−180 ・・・・eq、73
ただし、P−保管されたパターンの数
N−刺激面の要素数
Er−反応エラー(仮定総数の5%)
仮に第二次秩序総計への拡大がなされると(Hersitianブレプロセス)
、エンコードできる対称の数は20万を越える。これは英語の一般用語の数より
圧倒的に多い、従って、同じ単語の変種をそれぞれ異なる語調や抑揚でコード化
できることになり、複数のユーザーを対象とする音声認識システムとしての利点
が得られる。
現行の音声認識システムはユーザーの煩雑なトレーニング(音声サンプリングな
ど)を必要とするが、ここで述べる原理を利用したシステムは、一度十分な数の
サンプルをエンコードすれば、更なるプログラミングや個別の使用者へのトレー
ニングを必要としない。加えて情報が同一のデー・夕媒体にホログラフィックに
エンコードされるという性質により、処理時間が短縮される結果、発声された言
語を同時かつ連続的に認識できるシステムなのである。
ロボット装!
ロボットもしくはサイバネティクスへの利用は上記に示した装置のレベルを越え
る複雑性を要する。サイハネティクス制御においては、禄々なフィードバック制
御モードを利用した変換グループ(TG)の配列が必要になると考えられる。
図11は、フィードバックつき複数TG構成の一例である。ここに述べるボログ
ラフィック・プロセスに基づいた神経単位装置は、現在のテクノロジーの能力を
越えた制御システムとなり得る。ロボット制W領域から、神経単位装置の利用例
を二つ下記に示す。
ロボット腕
回転軸10と視覚インプットを持つロボット組立装置に神経単位制御システムを
利用できる。フィードバックのメカニズムは、視覚刺激と軸接続位置、運動セン
サー率による。概念構成の例としては、TGIとTG2の2神経単位変換グルー
プからなるロボット応用を考えられる。
変換グループ(TG 1 )は軸位置(10要素)と運動率(10要素)を示す
刺激インプットを受け取る。この変換グループは、パターン保管能力を増加する
ために、刺激面において高度秩序統計を利用できる(発明の強化の項参照)、第
六衣、第七次、第六衣の秩序統計に拡大することで、刺激インプット面は25万
要素にまで増大可能である。刺激面が拡大されたことで、第二次変換グループ(
TG2)にインプットが形成され、視覚面(64* 64ビクセル)からの二次
や1激を受け取る。第二次秩序統計で視覚面を25万要素にまで拡大すると、上
記のモデルにおいてTG2刺激面の要素は約50万となる(25万視覚と25万
軸位!/率)、エンコードされたパターン対応の数はNを刺激面の要素数とした
時にN/8で得られるから、これにより決定的「エラー」の絶対率を3%と確定
できる。ロボット制御システムが学習し得る個別刺激−反応パターンの数は、6
万を越え得る。ここに示したのは限られた数の神経単位細胞を持つ初歩的なサイ
バネティック制御システムのモデルであることに注意されたい、さらに、大多数
の制御′Bシステムは信号フィードバックを持つので、現実的なロボント制御シ
ステムを可能とするためには、ホログラフィック要素のより大きく、より複雑な
配列が必要である。
ロボット腕のコード化または学習時間動的運動を簡単に以下に示す、複雑な運動
は、視覚インプット、軸位置、運動率を表す連続パターンとして決定される。
これらのパターンは図12に大雑把に示したように、一定の時間枠における増加
連動のそれぞれに対応する。これらの刺激パターンは、ネットワーク内に、ロボ
ット装置の次(時間)の軸位置増加もしくは運動に対応するアウトプット反応パ
ターンとともにエンコードできる。
ロボット運動のエンコードもしくはシステムのトレーニングに関するこの比較的
単純なメカニズムにより、現在の制御装置やテクノロジーのレベルを大きく越え
たロボット制御パッダイムが可能になると考えられる。
自動操縦車両交通装置
より複雑な制御システムの例として、車両操縦へのニューラル・システム応用を
考えてみる。車両は厳密に言えばロボットではないが、分かりやすい例として述
べてみよう。
ニューラル・システムはインプットとして以下の働きを持つ。
1、人間オペレーターの肉声
2、視覚インプット
3、 レーダーによる軌道もしくは操縦4、車両制御変数(速度、加速、方向w
Rs、起動など)5、操縦のための緯度、経度、高度
アウトプット反応面は以下から成り立つ。
1、音声アウトプット
2、加速
3、方向調節
こうした応用はホログラフィック・ニューラル装置に理想的に適合する。なぜな
らインプット刺激の要素数が非常に多く、アウトプット反応要素が比較的少ない
からである。この程度の複雑性を持つ任務は、いくつかの変換グループを要する
と考えられる。たとえば、ひとつのTGが音声インプットに反応するためにエン
コードされ、二番目は視覚刺激、三番目は位置センサーやレイダー用という具合
である。これら変換グループは図11が示すように、次段階のTGに送り込まれ
、アウトプット神経単位層が制御行動を行う(加速や方向ml!I’1など)の
である。
!’II激デー少データ(視覚、レーダー、音声など)なだめ、インプット要素
の数は20万を越える。決定的なエラーを減らすために、ここで再びN/8の公
式を用いると、エンコードできる刺激−反応パターンの数は約2万5千である。
刺激面全体に第二次秩序統計を適用すれば、パターン保管能力は数10億を越え
得る。
これだけの保管能力があれば、どんな事故や防御行動にも十分反応できるだけの
反応制御をエンコードでき、現実的利用が可能になると考えられる。
エキスパートシステム(自動思考装置)現在、人工知能応用の主流は発見的テク
ニックに基づいている0発見的とは規則に基づいたプログラミングの概念を定義
する用語である。一般的に、このアプローチは、見たところ知的な反応を導くた
めに、インプット状態に複数の決定規則を適用する。もともと(チェスなど)ゲ
ーム用に使われたものであり、非常にすばらしい結果を示している。
規則に基づくプログラミングは、人工知能研究の主流となり、エキスパートシス
テムの領域でより現実的な利用法を築いてきた。この分野の研究は、主として規
則に基づく決定系を辿るためのより効果的な検索法と解剖メカニズムについてで
ある。従来の発見的アプローチの最も重大な欠点は、決まった反応もしくは結果
に辿り着く以前に、決定規則を順番に検査しなければならない点である。?31
雑な領域で機能するエキスパートシステムの場合だと、規則の数と検索時間が膨
大にふくれ上がり、規則に基づくアプローチの限界が明らかになってしまう。こ
こでホログラフィック・ニューラル・プロセスと発見的テクニックの機能面との
、単純で直接的な比較を行ってみよう0発見的アプローチの決定系についての一
般概念を下記に示す。
決定系の様式は図13に示した通りである。最上段の行動が可能なアウトプット
の一例を表し、その下に枝分かれして伸びるネットワークは最上段の行動に達す
るプール関数を示す、このプール系は、最上段の行動に至るまでの全ての条件を
ANDとORの形で(最も単純な場合)示す、あらゆるエキスパートシステムは
複数の決定系を使用する。この例においては、行動Aが起きるための条件は、
(B+ (C” D’ E)] +
[C,” CB+H) 〕+
CF+に十(I@J)] □ □ ・・ eq、74上記の決定系でプール逓減
を行うと、下記の結果が得られる。
1.8’G″″H@F+
2、C” D@E” G” H’ F+3.8’C’ ビF+
4、C@l)E’ C’ I@F+
5.8@G@H″’L+ −eq、7512.0” D” E” G” I”
J” k上記の各結果項(1から12)は[anded〕条件の連続からなる。
言い換えると、同時に起きる状況である。上記の最小区分もしくは「インプット
・パターン」は、論理系の最上段行動を反応または決定とすると、不連続の刺激
−反応対応として直接ホログラフィック・ニューラル装置内の相関行列にエンコ
ードできる。それぞれの項は個別の刺激−反応パターンを表すのであり、全ての
パターンは順番にニューラル・システムにエンコードされる。ここで述べるホロ
グラフィック・ニューラル装置は、刺激−反応パターンを保管するための膨大な
能力をもち、巨大かつ複雑な発見的規則基盤システムの構成メカニズムを可能と
する。
ホログラフィック・ニューラル装置ネットワークにおいては、データの書き込み
により情報が保管され、インプット刺激への最高度相関反応力状規模な平行の形
で導かれる。この内在的に並行なテクニックにより、処理速度と情報保管能力の
両方につき、現行の発見的手法を大幅に上回ると期待される。
発見的手法と比べた場合の利点として、さらに次の点も考えられる。ホログラフ
インク作業特性は論理的に二進法(可/不可)ではなく、アナログかつ連続領域
で定義される。またエンコードされたシナリオまたはパターンのそれぞれは、他
のエンコードされたパターンから完全に独立した独自のものであり、計算効率に
障害を与えない。この属性により、プール週減法や発見的手法による解析でiヨ
達成できないような巨大かつ複雑なエキスパートシステムが可能となり得るので
ある。
以下の平易な例は、上述の概念を説明する為に用いられる。1.000のインプ
ット媒介変数からなるエキスパート・ルールに基づいたシステムを想定してほし
い。このインプントはエキスパート・システムに基づく決定又はアウトプットを
引き起こすパ注目すべき”情報を供給する。第二の秩序項に発展させる事により
、生成されたインプット分野は50万要素のインプット刺激分野に応えるニュー
ラル装置を生み出す。平均絶対値5%のエラーに相当するN/4関係を用いて、
このシステムがエンコードできる完全な刺激−反応連想又はシナリオの数は、1
2万5千を越え得る。
従つてこのニューラルに基づくエキスパート・システムは、それぞれが1.00
0のインプットパラメーターからなる12万5千のシナリオに対する誘発された
反応を記憶する能力を持つとされる。この例では、アウトブー/ )反応を生成
する為に4番目の基礎システムが用いられるであろうから、25万個の異なった
シナリオを見分ける為に9桁(logs 125.000 )が必要とされる。
ベクトル相関マトリックス〔X〕内の要素の数(例、必要とされる変換)は以下
に示される。
刺激要素数×ニューロ数
5xio’ X loga(M)”4.5X10” ・・・・eq、7にの場合
のM−可能な結論の数C例125.000)ニューラル・プロセンサー内の基本
的なデコーディング変換は一秒につき100万の割合で行われると想定される。
(−秒につき2000万個が、現在のマイクロプロセッサ−の命令算定スピード
の許容範囲である。)故に、一つのマイクロ・プロセッサー使用するホログラフ
ィック・ニューラル・プロセスに基づ(エキスパート・システムは、各々が10
00の変数からなる12万5千の独立インプットシナリオに基づく最高の相関ア
ウトプット決定に、約1秒で到達すると考えられる。
この樟なニューラル@1のアプリケーションは、従来の神経方式を用いたエキス
パート・システムの実行能力をはるかにしのぐと期待される。
ニニーール・ ′
補綴術コントローの分野は、このニューラル装置アプリケーションからきわめて
大きな利益を得る。ここに繰り返し述べる事は、この装置が、生物学ニューラル
・システムの情報記憶及び処理による基礎メカニズムの模倣を通して、より効率
的な情報記憶と処理能力の供給を意図する事である。ここに詳述された特別なニ
ューラル・プロセスは、色々な神経単位中の情報処理の特徴形式を、模倣するよ
うに見られる。この類催点の概要は以下の通りである。
1) 生物学的に生成された神経パルス形式に類似する周波数変調パルス又は波
形。
ii) 刺激−反応連想を形をとる情報表現。
1ii) 巨大な情報記憶密度を示すホログラフインクの特性。
jv) 学習及び表現の害作用への瞬時に等しいシングル・パス変換。
ν) 同形の特徴を示す種々の生物神経に対する機能的類似。
vi) 刺激−反応信号の非同期伝達と処理。
vii) 可変のメモリ・プロファイル。
上記の生物学上の特徴を、厳密に模倣する合成システムは、必然的に神経生物学
回路につながる接触面補綴術装置コントロール分野に、大きな進歩をもたらすだ
ろう。
このホログラフィック・ニューラル装置は、人工肢コントロール分野に大きな進
歩をもたらし得るし、さらに高度な神経学的機能としてのニューラル補綴術に、
必然的に進歩をもたらすと期待されている。
補足明細:
適正具体化解説
モデル ゛ 、17 び18)
このハードウェアの具体化は、ここに詳述したホログラフィック・プロセスを使
用する次世代コンピューター・ブトロタイブ用の概念上の基盤を形成する。この
高等な装置の具体化は、ニエーロ・コンピューターとして注目を集めるだろう。
このニューロ・コンピューターは、プログラミング・ユーティリティによって、
作用上の特徴が容易になり汎用される事を意図する。プログラミングに用いられ
る方法論は、従来のプログラミング言語及び技術と著しく異なるであろう、ニュ
ーロ・コンピューターのプログラミング・ユーティリティ上必要な、修正可能又
はプログラム可能であるという特徴の基本的な種類を以下に示す。
1〕ニ工−ラル相似体間の染色体のシナプス的相互連結又は、相互連結マトリッ
クスの詳述。
2)ニューラル要素に対するインプントデータ前処理の詳述(例、シグモイド型
前処理、高秩序項の生成、非線形濃過特性、)3)シナプス相互連結の興奮−励
起状態の詳述。
4)相互関係マトリックス〔X〕内の知識又はエンコードされたデータの詳述(
シナプス的にエンコードされた情報の相領)。
5)相関マトリックス〔X〕内のベクトル要素の減衰率の詳述。このプログラム
可能な特性はメモリ・プロファイル(例、短期メモリ対長期メモリ)を作る。
6)エンコード率の詳述。このプログラム可能な特性は、学習率を効果的に修正
する。
7)外部環境へのインプット・アウトプットの詳述。外部装置上の反応アウトプ
ットのマフピングC図17の90)同様相位シナプスインプット上の外部刺激イ
ンプットのマツピングC図17の88〕を修正する。
上述の事項は、汎用ニューロ・コンピューター装置に必要とされるプログラム可
能な特徴の基本的なセントを形成し、さらにその能力を高める為の概念的に拡大
され得る。
この例において、二つの主なハードウェアの構成要素が示される。それはシング
ル・チップ・マイクロコンピュータ−70とメモリ記憶ユニット72である。
このシングル・チップ・マイクロコンピュータ−は、現在市場で人手できる構成
要素の代表的なもので、以下の特徴がある。
1)プロセッサー・ユニット
2〕複合順次データ転送リンク
3)メモリ・インタフェース・ユニット上記の機能ブロックは、任意の方法で相
互に影響し合う、しがしながら、図17に示された例は、上記のニューラルプロ
セスに関係し必要とされるデータ流出路のみを示す、プロセンサー・ユニット8
4は、解説目的の為の三つの機能ブロックに再分されている。この機能ブロック
についての記載は次の通りで、詳細はその下に述べる。
l)デコーディング74
2)エンコーディング76
3)その他の機能78
この例に於て、インプント刺激分野〔S〕のエレメントとアウトプット反応分野
(R)は、二進法で表示される実数及び虚数の部分を経由して伝達される。この
概念は、刺激分野(S)に内の要素S、の代表的なケースとして説明されている
。
8ビット分解能は、上記の実数及び虚数の各部分に用いられる。刺激要素及び反
応フィールドは順次データリンク80と82又は、外部メモリ装置上にマツプさ
れた物(88と90)のいずれかを経由して伝送される0図17は順次データリ
ンク82を経由する刺激パターンの一つの要素(S〕の伝送を説明する。
エンコーディング 7の
エンコーディング・オペレージジン中、刺激パターンの要素(Sl)は、四つの
順次インプットリンク中の一つか、メモリマツプ済みのインプットを供給する外
部メモリ装置(8日)を経由して読み取られる。同様に要素又は反応パターンの
要素は順次リンク経由か外部メモリ装置88経由のいずれかで、エンコーディン
グ・ユニット76の中に読み取る事ができる。それぞれの刺激要素と反応要素に
対、して、複合要素又はベクトル位相と大きさから誘導される。実数及び虚数構
成要素が、エンコーディングユニット(76)の中に読み取れる事に注目すべき
である。
相互関係マトリックス〔X〕に対する対応要素の実数及び虚数の構成要素〔XJ
〕は、外部メモリ・ユニット86から読み取れる。エンコーディング・ユニ、ド
ア6は以下のベクトル・マトリックス変数による定義に従って標準的な形式でエ
ンコーディング変換を行う。
上記の作用は相関マトリックス〔X)上に学習済みの刺激−反応パターンを付加
する。エンコーディング作用の詳細は発明の概要と題した部門に明示する。ここ
に述べられたハードウェア形態と汎用プロセッサーの作業上の特徴は規則的系列
に従って上記のマトリックス変換がなされる事を必要とする事に注目してほしい
、エンコードされた要素又は、相関マトリックスの要素〔X〕は主軸−樹枝状の
シナプス的接合に対して相似機能を持つメモリ記憶ユニット86に記憶し直され
る。
デ】:ヨ4Lzり1■411!lυ1化)デコーディング作業中刺激フィールド
の要素(S+)は、四つの順次インプットリンク82又は、メモリマツプ済みの
インプット用の外部メモリ装置88のいずれかを経由して、読み取られる。刺激
要素に対する複合要素か、ベクトル(S−、)の位相及び大きさの構成要素に誘
導される実数と虚数の構成要素は、デコーディング・ユニット74の中に読み取
れる。相関マトリックス(X)内の対応ベクトル要素の実数と虚数の構成要素は
、外部メモリ・ユニット86から読み取られる。デコーディング・ユニット74
は、以下に示すベクトル・マトリックス変換によって定義された標準的な形でデ
コーディング変換を行う。
ここに述べられたハードウェア形式と汎用プロセッサーは、規則的系列に従って
上記のマトリックス変換が成される事を必要とする事に注目してほしい、デコー
ディング作用の詳細は発明の概要と題した部分に明示する。
生成された反応(R)は、順次アウトプットリンク80又は、メモリマツプ済み
のアウトプット用の外部メモリ装置90のいずれかを経由してアウトプットされ
る。反応アウトプント信号は、先の方程式77で説明したように、実数又は、虚
数の構成要素によって表される事にも注目してほしい。
土Ω他Ω豊能ユ区二二)
プロセッサ・ブロック78に定められた第三の機能的ブロックは、他の機能やプ
ロセスの増強に関係する。この機能的ブロック78は、連続インプットとアウト
プントリンク80及び82の両方、更に外部メモリ72へのデータ・アクセスを
持つ、汎用プロセッサ内のニューラル・プロセスの具体化は、適応が簡単な基本
的ニューラル・プロセスに、広範囲な多様化又は強化という大きな利益をもたら
す。発明の強化の一部で述べたように、強化可能なサブセットは、エルミート式
又はシグモイド式刺激インプット分野の処理(S)−によって成り立つ、更にプ
ログラム可能な全ての機能は、高級モデルの適正具体化解説という見出しの下に
列挙した。
いくつかの処理ノードは、非同期式かつ並列式で稼働するニューラル要素の配列
フオームと任意の形態で連結される。考えられる並列形態のうちの一つは、図1
8に説明されており、これは16の処理ノードにより成り立つ、各処理ノード9
2は、図17に示した形態のハードウェアにより成り立つ、この相互連結の配置
は一般にプールのハイパーキューブと言われる。この配置に於て、それぞれの処
理ノードは、そのホログラフィック・ニューラルプロセスを用いる部分的なメモ
リにアクセスし、ハイ・スピードの二方向連続伝達を経て、四つの至近距離ノー
ドに伝達する。
上記の装置に適当な夏定能力を示す為に、現在使用されているハードウェア構成
要素の操作仕様書を用いてシステム(図17に表示)を評価する。構成要素であ
るハードウェアの仕様書は以下の通り。
部分メモリ/ノード−2メガバイト
伝達レイト/リンク−20メガバイト/秒処理スピード/ノード−2千万インス
トラクシッン/秒それぞれの処理ノードは、い(つかの際立った個々の神経細胞
を表す為に、内部に形成される。この場合刺激フィールド(例(S)−C3,S
t、、、、、s、、。。〕内で、各ニューラル細胞は8000ベクトル要素を受
信し、一つの反応アウトブットを作り出すと仮定される。5oooのシナプス的
インプット相似体に記憶された情報は、再び相関マトリックス(X)内のベクト
ル要素によって表される。
この場合(X)の各要素のメモリ必要量は4バイトである。相関マトリックス〔
X〕内の実数と虚数要素の分解は、16ビツトと仮定される。故に各処理ノー=
64 neurons / nodeモI−” 18の )
今までに述べたように、刺激−反応パターンは、同一メモリ媒体上に付加される
。パターンの数が増えるに従って、デコードされたアウトプット反応内の決定論
的エラーの平均規模は、非線型に増加する。刺激フィールド内(S)で(例、刺
激要素の数N=8000とエンコードされた刺激−反応連想の許容量はN/4又
は、2000)Nが要素数である場合、反応エラーを少なくする記憶許容量はN
/4と考えられる。
ここに述べた仮定に基づく単一ニューラル相位体内で、エンコードした刺激−反
応パターンのセットは、以下の情報内容(Ω)に一致する;Ω−2000パター
ンxs o o o要素/パターン ・・・ eq、79檀1600万パターン
要素(バイト)
上記の情報内容は事実上の記憶許容量とみなされる。全ての処理ノード90は6
4の神経相似体を含む故に、事実上の情報許容量は、以下に示すようにニューラ
ル要素の数に比例する。
一16x10i要素×64神経単位/ノード−1,0億要素(バイト)/ノード
ここに述べた16の処理ノードから成るニューラル・システムの場合、事実上の
情報記憶許容量は160億バイトに相当する。
几 スピード13のjL)
具体化に関する効果的な処理能力の説明をする為に、従来の処理方法論に関連し
て述べられた、ニューラル・プロセスに対する比較詳述を示す。
パターン識別と大規模な独立非線型パターンのセントを含む分野では、パターン
・マツチング又は、線型サーチの技術が最も摘要範囲が広い。
パターン・マツチング技術は、↑1j激フィールド要素と、それに対する各記憶
済み参考パターンの対応要素の比較を行う、このパターンは非圧縮形か又は使い
易いならば圧縮形(例、周波数分野に転換)のデータフオームで表される。
算定効率の強化を説明する為に、従来のパターン・マツチング技術について一般
的及びホログラフィック・ニューラル・プロセスとの使用上の比較を用いて述べ
る。一般線型サーチ技術は、以下に述べるそれぞれの参考パターンPに対して、
変動(σ、りを生む。
この場合 aj−刺激フィールドの要素jbj、p−参考パターンPの要素j
パターン変動項セントは以下に示すように、原型セット上に生成される。
Ca+’、 ttx”、 os’、・・・σ、り ・・・・aq、81そしてこ
の値は、ある種の方法でアウトプット反応の決定と生成に用いられる。
この例の場合、刺激分野内で各ニューラル相似体に対する要素の数は8000で
、エンコードされたパターンの想定数は2000.パターン・マツチング・プロ
セスは以下に示すような数の比較を必要とする。
8000要素/パターンx2000パターン−1600万比較 ・・=eq、8
0
各比較は、インプット刺激パターン内の要素と、蓄積済み参考パターン内の対応
要素の差異の算出と、相互関連値の調整(例、パターン変違又は標準偏差値の算
出)によって成り立つ、上述の基本的な比較作用の一連の段階は、仮鷹作里とみ
なされる。
ここに述べたニューラル プロセスは、だいたいにおいて、機能に近い働きをす
るが、極めて高度で効率的に算定を行うという作用上の特徴を有する。発明の概
要で述べたように、アウトプント反応はデコーディング変換から直接誘導され、
以下に定義するように、エンコード済み連想セント全体の機能となる。
この場合(Δ1/Δ2イ、、、、、AT)は仁王にエンコード′済みのパターン
に対する反応規模のセットt=ltoT
(Φτ、Φ;+−=−Φ7)はt上にエンコードされた生成法アウトプット反応
値のセット
−1toT
上述のホログラフィック・ニューラル・プロセスの本質として、アウトプット反
応はベクトル量として現れるが、このベクトル量はスカラー反応情報を示す位相
角度と、インプット刺激及び先にエンコード済みの刺激パターン間の対応度に統
計上比例する大きさを持つ。
ホログラフインク・ニューラル・デコーディング・プロセスによる単一の変換は
以下に示す通り。
上記の作用は従来のパターン・マツチング又は必要な反応アウトプットを計算す
る線型サーチ・プロセス内の2000の仮想作用の稼働に類似するという、保守
的傾向を示す。
方程式66に表される単独変換は、相関マトリックス〔X〕内に抽象的な形で付
加されるエンコード済みの全ての連想セット(この場合は2000)の対応要素
を通して、刺激フィールド内で1要素を変換する。従って反応決定を発する為に
必要な物理的行程の数は、比例値によって引き下げられる。(例、この場合は1
/2000の要因によって減少)
図18のニューラル具体化例の為の効果的な処理スピードを説明する為に、エン
コーディング・デコーディング変換の速度はニューラル・プロセンサ・スピード
の制限を受けると仮定される。
1回のエンコーディングがデコーディング変換に(ノン・ハードウェア複合の場
合)20MIPSのプロセッサ・スピードで少なく見積もっても40のインスト
ラクション・サイクルが必要とされる各処理ノード内で起こり得る変換数は1秒
間に50万回となる。前に述べたように、回りを取り囲まれた2000の刺激−
反応連想を通じて、−回のデコーディング変換は、デコーディング作用も同時に
行う、比較研究として、線型サーチ方式に於ける仮想作用の定義を通用すると、
ホログラフィック方式を用いる1処理ノードの効果的な処理率は、以下のように
計算される。
5000変換 X 2000 仮鷹作里秒 変換
一10億仮想作用/秒
図18中の16処理ノードから成るこのシステム用の効果的な処理率は、1秒間
に160億の仮想作用であると考えられている。
ここに述べたハードウェア例は、エンコードされた刺激〜反応連想の形で、16
0億の情報の仮想要素cバイト)を記憶できるようにし、更に1秒間につき16
0億の仮想作用をこなす割合で、蓄積された情報を通してインプット知覚刺激の
処理を可能にする6種々の知覚様相(例、視覚、聴覚、触覚)からの刺激を受け
たり、記憶や学習や表現の特性を利用するこのタイプのシステムは、適当な情報
処理基質が、極めて原始的な昆虫の生物神経システムが示すような、知能フオー
ムの意外な特徴を助長し呼び起こすように仕向けると期待されている。
このハードウェアの実現は可能性を秘めており、ハードウェア形態、メモリ許容
量、処理ノードの数、ノードごとのデータリンクの数、データ伝送(例、連続−
平行モード)のデータリンク伝送手順の速度、ノードごとの処理率等の分野に及
ぶ可能性がある。可能性が高まれば、より高度な潜在的能力を持つ知能を模倣す
る構成装置に利用され得る。
適正具体化例については作用や使用能力と同時に図を用いて特別に述べたが、具
体化例の変換に関しては、この分野の熟練者ならば、発明の真意からそれる事な
く、簡単に作れる事を理解してほしい、従って、この発明の場合、図中のフオー
ムと厳密に同じであるべきだとする制限は受けない。
1t(7ur121
浄書(内容に変更なし)
浄書(内容に変更なし)
1−外皮のピラミッド形細胞
3、小脳のプルキンエ細胞
4° 背柱神経単位
浄書(内容に変更なし)
浄書(内容に変更なし)
FiH1u+e [4
コントロール要素
Figure 9
表 1
0・56.9
表 2
List of f’honam 口odes表 3 刺激分野サイズ関数とし
ての高秩序計数統計秩序
浄書(内容に変更なし)
要約書
データ記憶装置上の刺激−反応パターンを表す抽象的形態にデータをエンコード
するデータ記憶処理装置から成る人工ニューラル装置であり、処理装置によって
データ記憶装置上に、複合刺激−反応パターンを付加する。データ記憶処理装置
が刺激を受ける時、その刺激に誘発された先にエンコード済みの反応をデコード
する装置。
手続補正書(方式) へ
5.3.11
平成 年 月 日
Claims (1)
- 【特許請求の範囲】 1.人工ニューラル装置の構成。データ記憶と処理媒介上に刺激−反応パターン を、抽象的な形のデータとしてエンコードするデータ記憶と処理媒介で、それに よってデータ記憶と処理媒介上に、刺激−反応パターンが付加される媒介。 更にデータ記憶と処理媒介内のエンコード済み刺激−反応パターンが刺激を受け る時に、その刺激に誘発されるデコーディング反応の為の媒介。 2.人工ニューラル装置の記憶及び算定能力の強化方法に含まれる段階。 (a)データ記憶と処理媒介上に刺激−反応パターンを抽象的な形のデータとし てエンコードし、それによって同一データ記憶媒介上に刺激−反応パターンが付 加される。 (b)刺激に誘発されて反応を生成する為に、データ記憶媒介中にエンコードさ れた刺激−反応パターン上の刺激に、誘発される反応のデコーディングを行う。 3.人工ニューラル装置の構成。 (a)データ記憶、処理媒介。 (b)セットになった連想刺激信号に、ベクトル位相角度と刺激−反応パターン を表す生成マトリックスからなる複素数に置き換えて、データ記憶と処理媒介上 にデータをエンコードする媒介で、それによってデータの記憶媒介上に刺激−反 応パターンが付加される。 (c)データ記憶媒介中にエンコードされた刺激−反応パターン・マトリックス が刺激信号を受ける時、それに誘発される反応をデコーディングする媒介。 4.人工ニューラル装置の記憶及び算定能力の強化方法に含まれる段階。 (a)セットの連想刺激−反応信号を、ベクトル位相角度によって表される複素 数に置き換えてデータをエンコードする。 (b)セットになった連想刺激パターンに対して、刺激−反応パターンを示すマ トリックスを生成し、それによってデータ記憶と処理媒介上に刺激−反応が付加 される。 (c)刺激信号に誘発された反応を生成する為に、データ記憶媒介中にエンコー ドされた刺激−反応パターン上に、刺激信号に誘発される反応信号をデコーディ ングする。 5.刺激信号に応えて反応信号を生成するパターン認識装置の構成。 (a)刺激信号を作り出す媒介。 (b)刺激信号を、ベクトル位相角度によって表される複素数に置き換えられる 媒介。 (c)置き換えられた刺激信号を記憶する媒介。 (d)刺激信号に誘発される反応信号を生成する媒介。 (e)反応信号を、ベクトル位相角度によって表される複素数に置き換える媒介 。 (f)置き換えられた反応信号を記憶する媒介。 (g)既に置き換えられた連想刺激と反応信号各セット用の刺激−反応パターン を示すマトリックスを生成し、記憶媒介上に刺激反応パターンを蓄積する媒介。 (h)刺激−反応パターンのマトリックスが反応信号に誘発された刺激信号を受 け取る時、反応信号を生成する媒介。 6.人工ニューラル装置中の、刺激パターン認識の強化方法に含まれる段階。 (a)刺激信号を生成する。 (b)処理媒介からの刺激信号をベクトル位相角度で表される複素数に置き換え る。 (c)記憶媒介に置き換えられた刺激信号を記憶する。 (d)ベクトル位相角度に表される複素数中に、処理媒介からの刺激信号に誘発 される反応信号を生成する。 (e)処理媒介からの反応信号を置き換え、それを記憶媒体上に蓄積する。 (f)関連した刺激と反応信号のセットに対し、刺激−反応パターンを表すマト リックスを生成し、それを記憶媒介上に蓄積する。 (g)刺激−反応パターンのマトリックスが、反応信号に誘発された刺激信号を 受け取る時に反応信号を生成する。 7.視覚刺激信号に応えて聴覚反応信号を生成する視覚認識装置の構成。 (a)稼働中に刺激信号を生成するビデオカメラ。 (b)データ処理用のプロセッサ。 (c)データ記憶用記憶媒介。 (d)視覚刺激信号をベクトル位相角度によって表される複素数に置き換え、そ れを記憶媒介上に蓄積する媒介。 (e)視覚刺激信号に誘発される視覚反応信号を生成する媒介。 (f)聴覚反応信号をベクトル位相角度に表される複素数に置き換え、それを記 憶媒介に蓄積する媒介。 (g)関連した視覚刺激と聴覚反応信号セットに対し、刺激−反応パターンを表 すマトリックスを生成し記憶する媒介及び、記憶媒介上に刺激−反応バターンを 記憶する媒介。 (h)刺激−反応パターンのマトリックスが、聴覚反応信号に誘発された視覚刺 激信号を受け取る時、聴覚反応信号を生成する媒介。 8.視覚刺激信号に応える人工ニューラル装置により、聴覚刺激反応を生成する 方法に含まれる段階。 (a)ビデオカメラ媒介を通して視覚刺激信号を生放する。次に(b)視覚刺激 信号を、ベクトル位相角度で表される複素数に置き換え、それを記憶媒介上に蓄 積する。 (c)視覚刺激信号に誘発される聴覚反応信号を生成する媒介。 (d)聴覚反応信号を、ベクトル位相角度に表される複素数に置き換え、それを 記憶媒介上に蓄積する。 (e)関連した刺激信号と聴覚反応信号セットに対し、刺激反応パターンを表す マトリックスを生成し記憶する媒介と、それを記憶媒介上に蓄積する媒介。 (f)刺激−反応パターンが聴覚反応信号に誘発された視覚信号を受け取る時、 聴覚反応を生成する。 9.この発明には、前記の過程に基づく人工ニューラル装置の記憶能力と許容量 を強化する側面もあり、次に述べる方法を利用する。 (a)データ及び処理ユニット上に刺激−反応バターンをエンコードする前と、 データ及び処理ユニットからの応答をデコーディングする前に、刺激−反応パタ ーンのエルミート式処理を利用する。 (b)ニューラル要素グループを結合し、変換グループを含むシステムを形成し 、それによってこの変換グループは、各インプット刺激パターンに誘発された反 応分野内で、一つ又はそれ以上の要素のエンコード及びデコードを行う。 変換グループは、単一モジュラーANS装置、電気機ベース、マイクロエレクト ロニックベース、光学ベース、生物学ベースやその他に形態を変え得る。 (c)インプット刺激パターンがいくつかの変換グループに送り込まれ、これに 従って独自の反応が変換グループから生成されるように、並列に配置された変換 グループ群を結合する。 (d)低い層のアウトプット反応が高いインプット刺激フィールドに送り込まれ るように、層を成して配置されている変換グループ群を結合する。 (e)層に別れているグループと並列のネットワークを他の形態に結合する。 (f)高い層の変換グループからのアウトプット反応要素が直接又は、回りを通 って、低い層の変換グループであるインプット刺激分野にフィードバックされる ような、信号フィードバック組織を利用する。 (g)効果的な加重要因を刺激又は反応要素に指定する為に、刺激分野と反応の 両分野内の大きさを変える方法を採る。 (h)マトリックス〔X〕に抽象的なフォームで示されるシナプス的結合を表す エンコード済みの情報内で希簿なマトリックス技術を用いる。 (i)マトリックス〔X〕の抽象フォームに示されるシナプス的結合を表すエン コード済みの情報の時間変化による力学的な減衰を利用する。この技術の目的は 永久もしくは長期的な記憶から非常に短期的な記憶までのあらゆる範囲にエンコ ードされた情報の優位を決定する、メモリ・プロファイルを確率する事である。 10.この発明には人工ニューラルシステムが、無数のアプリケーションを有す るという側面もあり、以下が含まれる。 (a)視覚インプット刺激を認識し、それに応える機能を持つシステムやサブシ ステムと人工ニューラルシステムの統合。 (b)聴覚インプット刺激を認識し、それに応える機能を持つシステムやサブシ ステムと人工ニューラルシステムの統合。 (c)知覚様相やその抽象描写を表すインプット刺激を認識し、それに応える機 能を持つシステムやサブシステムと人工ニューラルシステムの統合。 (d)物理的媒介変数やその抽象描写を表すインプット刺激を認識しそれに応え る機能を持つシステムやサブシステムと人工ニューラルシステムの統合。 (e)コントロール・システム又はコントロール・サブシステムと人工ニューラ ル・システムの統合。このアプリケーションは任意のプロセス・コントロール、 機械的コントロール、電気的コントロール、生物学的コントロール、自動車のコ ントロール、ロボットのコントロールを含むが、それだけに限らない。 (f)人工知能概念を使用するシステムと、人工ニューラル・システムの統合。 このアプリケーションは、エキスパート・システムと自動論証システムを含むが それだけに限らない。 (g)算定効率を高める為の算定装置と人工ニューラル・プロセス又は人工ニュ ーラル装置との統合。 (h)生物神経装置又は生物補綴装置と、人工ニューラル・システムの統合。こ のアプリケーションは、義肢、補聴器、ペースメーカーを含むが、それだけに限 らない。 11.対合的連結を模倣する人工ニューラル装置の構造。データ記憶と処理媒介 上の刺激−反応パターンを、抽象的な形のデータとしてエンコードするデータ記 憶と処理媒介で、それによってデータ記憶と処理媒介上に刺激−反応パターンが 付加される媒介。更にデータ記憶と処理媒介内にエンコードされた刺激−反応パ ターンが刺激を受ける時に、その刺激に誘発される反応をデコーディングする為 の媒介。 12.複合又はリーマン(位相)平面内に表されるベクトルのセット上に、複数 の刺激−反応連想が付加される事によって、先に学習済みの刺激−反応連想とイ ンプット刺激が関連する装置。刺激−反応連想をエンコード又は学習し、ある刺 激にさらされた時の反応をデコード又は表現する媒介を備える装置。二次元か複 合又はリーマン(位相)平面内で位相角度指向と定位された大きさの両方を備え たベクトルによって表される、刺激−反応連想内の刺激要素と反応要素。 実数変域が、位格平面内に表わされるベクトルに転換されて、刺激−反応連想の スカラー要素が表される方法で、学習機能は稼働する。複数の刺激反応マッピン グは、この後に説明する相関セットにエンコードされる。この相関セットも又、 二次元か複合又はリーマン(位相)平面内に定位されたベクトルのセットによっ て成り立つ。デコーディング作用上、一度位相表現に転換された刺激パターンが 、ニューラル要素又は相関セットを通して変換される。刺激パターンは変換と同 時に、連想反応を生成する相関セット内、回りを囲まれたエンコード済みの刺激 反応マッピングを通り抜けるが、この方法でデコーディング変換は稼働する。 13.主張12に定義した装置は更に、相関要素セット〔X〕上に、複合刺激反 応連想をエンコードする媒介を含む。二次元か複合又はリーマン(位相)平面内 で位相角度指向と定位された大きさの両方を備えたベクトルによって表される各 相関要素。同一の相関セット上にエンコード済みの刺激−反応連想が付加される 形でエンコード媒介は作用する。エンコードの方法は、刺激セット〔S〕と反応 ベクトルR上に、以下の作用に従った基本的な形で表され、刺激セットは主張1 2に述べたベクトル配列からなる。 〔X〕=〔S〕T・R エンコーディングは、一回の変換中、アウトプット反応R上にインプット刺激マ ッピング〔S〕を符号化する方法で作用する。これも又、二次元か複合又はリー マン(位相)平面内のベクトルである。エンコーディング作用は、アナログ範囲 内に要素を持つ複合刺激反応セットのマッピングを可能にする。刺激と反応の両 セット内の要素に対するベクトル位相角度指向は、アナログ又は連続の記進方法 に於る情報値を表す。アナログ情報値は、その媒介変数か抽象的描写を表す。エ ンコーディングされる刺激と反応の両セット内の、要素に対するベクトルの大き さは、マップ済みの刺激−反応連想の構成要素に対する優位や加重の測定を行う 。 14.主張12に定義した装置は更に、相関セット〔X〕が刺激セットにさらさ れた時、相関セットからの反応をデコーディングする媒介を含む。これも又、二 次元か複合又はリーマン(位相)平面に表される刺激と反応両セット内の要素で ある。デコーディング作用は、誘発された反応ベクトルが、既に学習済みの刺激 パターンに類似した刺激パターンインプットに対して、生成されるような形で作 用する。この場合の類似とは、既に学習済みの任意の刺激を意味し、重度の歪曲 を経験した物か、先に学習済み刺激の部分セットか、又はこの二つの組み合わせ を指す。デコーディングの方法は、相関セット〔X〕と刺激セット〔S〕上に以 下の作用に従った基本的なフォームで表され、各々は、複合ベクトルの配列によ って成り立つ。 R=1/c〔S〕1・〔X〕 デコーディングは一回の変換中に、インプット刺激セット〔S〕からのアウトプ ット反応を生成する方法で稼働する。主張13で述べたように、刺激と反応の両 セットに対するベクトルの位相角度指向は、アナログ情報値を表す。生成又は表 現された反応ベクトルに対するベクトルの大きさは、認識度か又は相関セット〔 X〕内の刺激セット〔S〕と、先にエンコード済みか回りを囲まれた任意の刺激 バターンの対応度に比例する。 15.主張12に定義した装置は更に、誘発された刺激−反応信号の外部セット を、二次元か複合又はリーマン(位相)平面内に限定されたベクトルセットから 成る必要とされる表現に置き換える媒介を含む。この変換は対称の属性を極めて 良く表す。この対称の属性は、複合又はリーマン(位相)平面中の原点に定位さ れた、転換済みのベクトルセットの、対称的配列に一致する。対称の属性は、強 化された刺激反応連想の蓄積能力を促進し、誘発された刺激にさらされた時に学 習済みの表現上に表れるエラーを最小限に抑える事によって、ホログラフィック ニューラル要素の作用上の特性を高める。 16.主張15に定義した、対称的配列中のインプットセットの変換方法に含ま れる段階。 1.刺激セットか反応パターンのいづれかを表すインプットの一般的なインプッ ト主類に対し、スカラー値の統計的配列を決定する。例えば視覚刺激同様に、一 般的な配列特徴やガウスの配列特徴に従って、最も自然に起こる配列。 2.最初のインプット配列を、複合又はリーマン(位相)平面中の原点に定位さ れたベクトル位相角度の対称的配列によって、特性を持つフォームに置き換える 機能を通し、刺激又は反応値のインプットセットを処理する。例えば、シグモイ ド前処理作用は上記のように、ガウス配布の理想的対称フォームの変換を利用す る。 3.置き換えられた刺激ベクトル要素各々の、大きさを決める。決められたベク トル構成要素は、刺激−反応連想の指定する、要素の優位を決定する。 17.主張12に定義した装置は更に、与えられた刺激から、高度秩序統計を生 成する媒介を含む。高度秩序統計の生成は、刺激−反応連想セットが、ホログラ フィックニューラル要素内の同一の相関セット上にエンコードされる事を可能に する。この刺激−反応セットは、大幅に強化された極めて大きなセットで、スペ ース状の刺激分野内に大規模な重複を示す。刺激フィールド内で、インプット要 素の数をそのままにして拡張をしていない、任意の下部集団の独特な組み合せの 積であるサブセットに展開する機能を持つ装置によって、高度秩序統計が稼働す る。高度秩序統計は、以下の一般的なフォームに示される通り。 ▲数式、化学式、表等があります▼ この場合N−秩序統計 K(n)−N秩序統計の第n項積要素を定義するK(n)−n項の積要素の大き さの構成要素K(n)−n項の積要素の位相構成要素f(n)−nの任意の関数 として、複合ベクトル活用をフォーム化する作用 この刺激インプット分野は、刺激−反応状態のマッピングの特徴を明確にコント ロールするように、任意の高秩序統計の下部集合を拡張する。 18.主張12に定義した装置は更に、生成された非線型変換反応アウトプット を用いる媒介を含む。増大又は減少のいずれかの形をとる反応規模に対する認識 度を作る為の断続的な段階、傾斜、シグモイド機能にいずれかよって非線型変換 がなされる。この装置はニューラル要素が、スイッチ式に作用する事を可能にし 、そこで認識分野の刺激アウトプットに対して、アウトプット反応を消すか、減 少させ(低規模生成)、更に逆に認識分野内の刺激に対する反応アウトプットを 、稼働させ増大させる(大規模生成)。 19.主張12に定義した装置は更に、相関セット〔X〕内のベクトル要素の大 きさの構成要素上の不変の比率か、動的時間変位減衰を用いる媒介を含む。この 規模減衰プロセスは、永久もしくは長期的な記憶から短期的な記憶まで、広範囲 にわたるエンコード済み情報優位の体制を直接作り上げる、エンコード済み刺激 反応連想上にメモリプロファイルを作り上げる。長期的な記憶は、減衰率がゆっ くりしているという特徴を表し、短期的な記憶は、それに比例した早い減衰率に 特徴付けられる。 20.主張12に定義した装置は更に、ニューラル要素への、刺激インプットの シナプス的連結表現に対する抑圧−励起を作り上げる媒介を含む。刺激又は反応 分野内のベクトルの下部集合上に、ベクトル転換作用をする事によって、抑圧− 励起構造を作る。主張15に述べたように、ベクトル転換作用は、対称的な属性 を高め、故にニューラル要素が多量の刺激−反応連想を最善の形でエソコードす る事を可能にする。 21.主張12に定義した装置は更に、複数の神経単位細胞上の反応アウトプッ トを合計する媒介を含む。ベクトル合計の特性は、反応ベクトルの合計上の神経 単位細胞群にとって極めて独特であるすべての刺激分野内に、要素を供給する情 報記憶密度を、大きく高めると言うようなプロセス作用する。独自性は、第一番 目か高秩序統計から成る要素セットの限界を決め、その中には、同一の刺激セッ トの積から構成される要素は、二つと存在しない。この反応ベクトル合計は、複 数の神経単位細胞上の任意の刺激分野の合計と等量の刺激分野に於て、多くの要 素を含む一つの神経単位に似通った特性を持つ“スーパーニューロン”と言われ るものを作り出す。 22.主張12から21に定義した装置は更に、任意の輪郭を決めることが出来 る形体内の、複数のホログラフィックニューロ要素の相互関連媒介を含む。これ は、任意の配置をとるニューラル要素の相互関連を促進又は修正する装置を含む 。ニューラル要素の相互関連は以下のように、任意の群形態や配置を取る。 (a)変換群から成るシステムを形成する複数のニューラル要素に、ある配置を 取らせると、刺激分野に誘発された反応分野内で、転換群は、任意の数の要素を エンコード及び(又は)デコード及び生成をする。変換群は、ソフトウェアベー ス、マイクロエレクトロニックベース、電気機械ベース、光学べース、生物学ベ ース等のモジュラーホログラフィックニューラル装置としての形態を取る。 (b)インプット刺激パターンが、並列の順次ニューラル要素に流れるように、 複数のホログラフィックニューラル要素は、並列形態に配置され、そこでインプ ット刺激パターンに対応するニューラル要素から分離反応ベクトルが生成される 。 (c)ニューラル要素の低位層からのアウトプット反応ベクトルが高位層の刺激 分野に流れ込むように、階層形態や順次配置中に、複数のニューラル要素や、並 列のニューラル要素を配置する。 (d)第二条で定義した並列のニューラル要素群及び(又は)、第三条で定義し た階層化されたニューラル要素を、任意の形態か相互関連配置にする。 (e)高位層のニューラル要素から生成されたアウトプット反応ベクトルが、同 一か低位層のニューラル要素の刺激分野にもどされるように、並列及び(又は) 階層化形態のニューラル要素にフィードバック機能を利用する。 23.主張12から21に定義した装置は更に、複数の神経単位要素が、任意に 輪郭を決められる形態内で、修正され相互関連出来るような、一般作用システム 環境方式を含む。作用システム環境は、ニューロコンピューターと言う包括的な 名称で表される汎用装置中で、模範的な具体化を遂げるだろう。ニューロコンピ ューターは、以下に述べる一般的な形の神経単位細胞を、プログラム出来るよう にするだろう。 1.与えられた刺激セットから、高秩序統計を生成する、神経単位細胞類型。 この細胞類型は、特定の脊柱神経単位機能を持つ情報を模倣すると考えられる。 2.エンコードーデコード又は、学習−表現作用を行う神経単位セット。この細 胞類型は、外皮中と小脳内の放射状細胞中にあるマルティノッティ細胞と星型の 機能を有する情報を模倣すると考えられる。 3.複数のエンコードーデコード神経単位上に、反応ベクトルを合計する神経単 位類型。この細胞は、外皮中のピラミッド型細胞の機能と、小脳のプルキンエ細 胞を有する情報を、模倣すると考えられる。 上記に加えこの作用システムは、細胞レベル内の媒介変数の修正を行う。この細 胞レベルは、メモリプロファイル、学習率、非線型反応の特徴、生成済みの高秩 序統計の特徴、抑圧励起の指示、対称の属性を高めるプレ処理作用の特性(シグ モイド型プレ処理)に関係している。作用システムは、神経単位間の信号進路や 相互連結するプログラムを可能にすると考えられる。このプログラム能力は、ユ ーザーが複数の神経単位細胞を並列形態、順次形態、フィードバック相互連結形 態や、これらの組み合わせによる構造等、柔軟性を持った相互関連構造を作るこ とが出来るようにする。 24.刺激分野〔S〕、反応分野〔R〕、0までの相関セット〔X〕とπ位相配 置、又は対応し合う−1と+1や0と1、その他全ての2進法指示の位相角度指 向を限定する段階的なホログラフィック・ニューラルシステム作用を単純化する 方法。この単純化は、アナログから2進法情報システムヘとプロセス上フォーム 、単純化するが、簡単なスカラー数優位内で起こるエンコーディング・デコーデ ィングの三角関数以外の換算法や変換も単純化する。主張12から21に述べた 更に高度な手段と機能強化については、ベクトル位相指向が0/π位相角度位置 に限定されるのが効率的という考えを取っている。 25.主張12から10に定義したホログラフィックニューラル装置用の組織は 、更に以下を含む。 (a)記憶とデータ処理の媒介。 (b)誘発された各々の刺激−反応パターンを示すベクトル位相角度によって表 される複素数中の反応信号に、連想刺激セットを置き換え、誘発された刺激セッ トと反応信号各々に対し、刺激パターンを表すマトリックスを生成する事によっ て、データ記憶と処理媒介上にデータをエンコードする媒介で、ここでは刺激− 反応パターンは、データ記憶媒介上に付加される。 (c)データ記憶媒介内にエンコードされた刺激−反応バターンのマトリックス が、刺激信号を受け取る時、それに誘発された反応をデコーディングする媒介。 26.主張25で定義したホログラフィックニューラル装置用の組織は、メモリ 媒介を含むデータ記憶媒介と、更に以下を含む装置である。 (a)上装置中の刺激信号セットをインプットする媒介。 (b)刺激信号セットに誘発される反応信号のインプットと生成媒介。 (c)データ記憶及び(又は)、複合ベクトルセットの蓄積媒介としてのメモリ 。 (d)このプロセス手段は以下を含む。 (i)刺激信号から処理媒介にデータを伝達するデータインプット媒介。 (ii)処理媒介からの反応信号を、それに応える連想刺激信号セットに伝達す るデータアウトプット媒介。 (iii)データ媒介からの刺激信号セットのベクトル要素の読み取り及び、刺 激信号に誘発される反応信号のベクトル構成要素の読み取り及び、ベクトル要素 から成る相関セットの生成をエンコーディングする媒介。相関セットは、連想刺 激−反応パターンのセットにマッピングされる刺激−反応連想を含みここでは刺 激−反応パターンはメモリ媒介上に付加される。 (iv)データインプット媒介からの刺激信号セットのベクトル構成要素の読み 取り、メモリ媒介からの相関ベクトル構成要素読み取り、処理媒介とデータアウ トプット媒介を通してのベクトル構成要素の反応信号の生成をデコーディングす る媒介。 (v)メモリ媒介と処理媒介の接触面を作るメモリインタフェイス媒介。 27.主張25で定義した水ログラフィックニューラル装置用の組織は、更に以 下を含む。 (a)視覚イメージを表す刺激信号を生成する視覚記録媒介。 (b)視覚イメージを表す刺激信号に誘発される聴覚反応信号生成媒介。 (c)データ媒介及び処理媒介上にデータをエンコードする媒介で、以下を含む 。 (i)視覚刺激信号を複素数のベクトル位相角度セットと大きさに置き換え、デ ータ記憶媒介上に置き換えられた視覚刺激反応信号を蓄積する。 (ii)聴覚刺激信号を複素数のベクトル位相角度セットと大きさに置き換え、 データ記憶媒介上に置き換えられた聴覚刺激−反応信号を蓄積する。 (iii)連想視覚刺激セットに対する刺激−反応連想マッピングと聴覚反応信 号を含む関係セットの生成と記憶、更にデータ記憶媒介上の刺激反応パターンを 記憶する媒介。 (d)刺激−反応パターンのマトリックスが、聴覚反応信号に誘発された視覚刺 激信号を受ける時、聴覚反応信号の生成媒介を含む刺激信号に誘発される反応を デコーディングする媒介。 そのために上記の装置は、誘発された視覚刺激信号に応える聴覚反応を生放する 。 28.主張12から21に定義した算定ノード中に具体化されるホログラフィッ クニューロ装置用の組織は、以下を含む。 (a)メモリ記憶媒介上のマッピング済み刺激反応連想を記憶する部分メモリ蓄 積媒介。 (b)電子工学または、マイクロ電子工学媒介は以下を含む。 (i)プロセッサ媒介。 (ii)インプット刺激信号を受ける複数のデータインプット媒介。 (iii)反応信号を伝達する複数のデータアウトプット媒介。 (iv)プロセッサ媒介と部分メモリ蓄積媒介の接触面を作るメモリインタフェ イス媒介。 (c)処理媒介は以下を含む。 (i)誘発された刺激と反応信号のセットを転換する事により、部分メモリ蓄積 媒介上に、刺激反応連想をエンコードする媒介。データインプット媒介で受け取 るか、部分メモリ蓄積媒介上にマップされる。ベクトル位相角度と大きさによっ て表される複素数中に転換される誘発された刺激反応信号のセットに対しマッピ ングされる刺激−反応を含む相関セットの生成。ここでは、部分メモリ蓄積媒介 内に含まれる相関セット上に、刺激−反応パターンが付加される。 (ii)部分メモリ蓄積媒介上のエンコード済み刺激反応マッピングを含む相関 セットが、データアウトプット媒介又は部分メモリ蓄積媒介を通して、刺激信号 と関連する反応信号を生成するために、刺激信号から刺激を受けるとき、データ インプット媒介又は部分メモリ蓄積上にマップ済みの媒介から受け取った刺激信 号に誘発される反応をデコーディングする媒介。 29.主張28で定義した複素数の算定ノードによって具体化されるホログラフ ィックニューラル装置用組織は、ここでは算定ノードがその部分メモリ蓄積媒介 にアクセスし、二方向性伝達媒介によって、複素数の算定ノードに伝達する。 30.人工ニューラルシステムの記憶能力や算定能力を強化する方法は、以下の 任意又は全ての段階を含む。 (a)スカラー値セットが定める外部媒介変数又は分野強度を示す刺激セットを 、主張15に定義した二次元か複合又はリーマン(位相)平面上の位相角度指向 に置き換える。主張15にこれも定義したようにこの転換は対称の属性を最適に 表す。 (b)主張17の定義に従って、インプット刺激値セットを高秩序統計用語に展 開する。刺激分野内の結果的な要素数の増加は、大幅に数を増した刺激−反応連 想がニューラル要素内にエンコードされることを可能にする。 (c)主張13の定義に従って、変換をエンコードする事により、ホログラフィ ックニューラル要素上に複合刺激−反応をエンコードする。この変換はマッピン グが一回の操り返しのない変換でエンコードされ、同一の相関セットに回りを囲 まれるマッピング方法で作用する。 (d)主張14の定義に従って、相関セットを通る刺激インプットプロセスによ って、反応をデコードする。刺激は、相関セット内で回りを囲まれた刺激反応セ ットを通って反応ベクトルを生成するように並列方式の変換をするが、この様な 方法で変換作用が成される。刺激の状態が、先にエンコードされた刺激の状態に 近い場合、反応ベクトルの一部の優位性は、エンコード済み刺激−反応マッピン グに向かう連想反応ベクトルに一致する。 (e)主張18に定義したように、輪郭が決った認識度に対する反応規模を、増 幅したり減少したりする非線型機能を通過する生成済み反応ベクトルの処理をす る。非線型機能を通過する反応アウトプット処理は、ニューラル要素に対し、認 識刺激にはスイッチをオンにし、逆に認識できない刺激に対してはスイッチをオ フにする能力を与える。 (f)主張19に定義した、相関セット内のベクトル要素の不変か又は時間変数 減衰の規模構成要素としての手段。規模構成要素の減衰は、永遠もしくは長期的 な記憶から短期的な記憶まで、記憶プロファイルを拡張する事により達成される 。 (g)主張20に定義した、ベクトル変換作用による刺激インプット要素が、反 応アウトプットに対して、抑圧励起を指示する手段。抑圧−励起変換は、対称の 属性を高める。 (h)主張21で示すように、反応アウトプットベクトルが刺激分野に供給され るような方法で、任意に限定可能な並列又は順次形態の複数のニューラル要素を 相互関連させる。又、任意のフィードバック形態中の複数のニューラル要素を相 互に関連させる。 31.メモリ内容がアドレス出来ると言う方法は、つまり主張13のエンコーデ ィング変換が、複合内容をアドレス出来る連想体を、ニューラル要素上に付加す る事である。内容アドレス可能システムは、刺激−反応と連想した神経単位をア ドレスする事によって、既に学習した事項のメモリを表すような形で作用する。 階層化かフィードバック配置内の複合神経単位システム形態において、内容をア ドレスできると言う特性は、連想体がネットワークに沿って伝播する事や、神経 単位の環の中で繰り返しを起こすことを可能にする。 32.主張11から21に示した組織は更に、視覚刺激データインプットと視覚 刺激に誘発される反応データインプットの組織を含む。視覚刺激データと誘発さ れた反応データを、複合又はリーマン(位相)平面内に向かうベクトルセットに 転換する装置。この反応データは、機械動機、分類、プロセス制御反応、又はそ の概要を表すデータから成る。 33.主張11から21に示した組織は更に、聴覚刺激データインプットと聴覚 刺激に誘発される反応データインプツトの組織を含む。聴覚刺激データと誘発さ れた反応データを、複合又はリーマン(位相)平面内に向かうベクトルセットに 転換する装置。この反応データは、機械動機、分類、プロセス制御反応又はその 概要を表すデータから成る。 34.主張11から21に示した組織は更に、感覚様相(例、嗅覚、接触、その 他)から生じる刺激データインプット及び、刺激に誘発される反応データインプ ットの組織を含む。装置は、刺激データと誘発された反応データを、複合又はリ ーマン(位相)平面内に向かうベクトルセットに転換する装置。この反応データ は、機械動機、分類、プロセス制御反応又はその概要を表すデータから成る。 35.主張11から21に示した組織は更に、感覚様相(例、嗅覚、接触、その 他)から生じる刺激データインプット及び、刺激に誘発される反応データインプ ットの組織を含む。装置は、刺激データと誘発された反応データを、複合又はリ ーマン(位相)平面内に向かうベクトルセットに転換する装置。この反応データ は、機械動機、分類、プロセス制御反応又はその概要を表すデータから成る。 36.主張11から21に示した組織は更に、物理学的測定、物理学的数量、外 部分野強度又はその抽象表現から生じる刺激データインプットの粗織を含む。刺 激に誘発される反応データインプット組織。装置は、刺激データと誘発された反 応データを、複合又はリーマン(位相)平面内に向かうベクトルセットに転換す る装置。この反応データは、機械動機、分類、プロセス制御反応又はその概要を 表すデータから成る。 37.主張11から21に示した組織は更に、制御システム又は制御下位部分の 統合組織を含む。このアプリケーションは、任意の形態のプロセス制御、機械制 御、電子制御、生物学制御、自動車制御、ロボット制御を含むが、これだけに限 定される事はない。 38.主張11から21に示した組織は更に、ヒューリスティック(自学自習) ルールのインプットを含む。これは、同一の相関セットかマトリックス上に、刺 激反応連想をエンコードし付加するルール。エキスパート・システムに於て、ヒ ューリスティック・システムは、与えられたシナリオのインプットが原因となっ て生成された反応を至近の学習済みアウトプットに連想させる機能を持つ。 ヒューリスティック・システムは、反応ベクトルの生成によって、認識済みイン プットシナリオと、認識できないインプットシナリオを見分ける機能を持ち、こ の場合反応ベクトルの規模は、認識の度合いに比例する。 39.主張11から21に示した組織は更に、処理媒介と、処理能力に関係する 数字やシュミレーションの強化を相互関連させる組織を含む。処理能力の強化は 、刺激反応行動や連想が優位な状態で、分析やシュミレーションの再編成をする プログラムセットとして認識されるだろう。例として、刺激分野内の要素から、 与えられたメッシュノードに対する媒介変数又は隣接変数及び、反応分野内の要 素からの内部媒介変数と条件による有限メッシュ分析。メッシュノードに対する 外部の媒介変数と、結果としての内部条件の関係は、ディスクリート(開集合) 刺激反応連想として構成される。この場合も又、物理的又は、抽象的な連想は、 同一の相関セットかマトリックス上に付加される。 40.主張11から21に示した組織は更に、ホログラフィック・ニューラルシ ステムと生物ニューラルシステムを相互に関連させる組織を含み、ここでは、生 物システムから生じた電気パルスが電気変換機を経由して、人工ニューラルシス テム内の刺激分野受容器に受け継がれる。これは刺激又は反応分野が、生物学的 システムから人工ニューラルシステムにマツプされる作用である。同様に、人工 ニューラルシステムによって生成又は伝播された刺激や反応分野は、電気変換器 又は電気化竿変換器を経由して、生物ニューラルシステムにマップされる。この 方法で、人工及び(又は)生物ニューラルシステムは接合作用を行い、そこで連 想及び(又は)データ又は情報分野が生物ニューラルシステムと人工ニューラル システム間で、両方向に伝播し移動する。連想又はデータ分野は、あらゆる形態 の感覚様相(例、聴覚、視覚、触覚、レーダー、ソナー他)又はその抽象から生 成された情報を表す。同様に、データ分野は、信号を制御する実行器反応(例、 内臓器官、筋肉伸長−屈伸その他)も含む。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CA2,575,483 | 1990-04-26 | ||
| PCT/CA1991/000139 WO1991016686A1 (en) | 1990-04-26 | 1991-04-26 | Artificial neural device |
| CA2575483A CA2575483C (en) | 2004-08-06 | 2005-08-03 | Stub out fluid quick connector with shut off valve interface |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH05506953A true JPH05506953A (ja) | 1993-10-07 |
Family
ID=4171293
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP91507792A Pending JPH05506953A (ja) | 1990-04-26 | 1991-04-26 | 人工ニューラル装置 |
Country Status (8)
| Country | Link |
|---|---|
| EP (1) | EP0526504B1 (ja) |
| JP (1) | JPH05506953A (ja) |
| AT (1) | ATE147873T1 (ja) |
| AU (2) | AU7691491A (ja) |
| DE (1) | DE69124231T2 (ja) |
| ES (1) | ES2103310T3 (ja) |
| RU (1) | RU2193797C2 (ja) |
| WO (1) | WO1991016686A1 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019124582A (ja) * | 2018-01-16 | 2019-07-25 | 株式会社Preferred Networks | 触覚情報推定装置、触覚情報推定方法及びプログラム |
| JP2020073871A (ja) * | 2019-08-28 | 2020-05-14 | 株式会社Preferred Networks | ロボットシステム、ロボット及び制御方法 |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101326384B1 (ko) * | 2005-06-30 | 2013-11-11 | 놀리텍 엘엘씨 | 모놀리식 이미지 인식 디바이스 및 방법 |
| US8478081B2 (en) | 2005-06-30 | 2013-07-02 | Agc Flat Glass North America, Inc. | Monolithic image perception device and method |
| US8341112B2 (en) | 2006-05-19 | 2012-12-25 | Microsoft Corporation | Annotation by search |
| JP5653621B2 (ja) * | 2006-11-17 | 2015-01-14 | クゥアルコム・インコーポレイテッドQualcomm Incorporated | 連想メモリ |
| RU2342702C2 (ru) * | 2006-12-20 | 2008-12-27 | Военная академия Ракетных войск стратегического назначения имени Петра Великого | Устройство ассоциативного распознавания |
| CN104407518B (zh) * | 2008-06-20 | 2017-05-31 | 因文西斯系统公司 | 对用于过程控制的实际和仿真设施进行交互的系统和方法 |
| JP5268595B2 (ja) * | 2008-11-28 | 2013-08-21 | ソニー株式会社 | 画像処理装置、画像表示方法及び画像表示プログラム |
| JP4735995B2 (ja) * | 2008-12-04 | 2011-07-27 | ソニー株式会社 | 画像処理装置、画像表示方法および画像表示プログラム |
| US8903798B2 (en) | 2010-05-28 | 2014-12-02 | Microsoft Corporation | Real-time annotation and enrichment of captured video |
| US9703782B2 (en) | 2010-05-28 | 2017-07-11 | Microsoft Technology Licensing, Llc | Associating media with metadata of near-duplicates |
| US8559682B2 (en) | 2010-11-09 | 2013-10-15 | Microsoft Corporation | Building a person profile database |
| BG66633B1 (bg) | 2011-03-28 | 2017-12-29 | Ивайло Попов | Адаптивен познавателен метод |
| US9678992B2 (en) | 2011-05-18 | 2017-06-13 | Microsoft Technology Licensing, Llc | Text to image translation |
| RU2485682C1 (ru) * | 2011-12-06 | 2013-06-20 | Федеральное государственное военное образовательное учреждение высшего профессионального образования Военная академия Ракетных войск стратегического назначения имени Петра Великого МО РФ | Устройство ассоциативного распознавания |
| US9239848B2 (en) | 2012-02-06 | 2016-01-19 | Microsoft Technology Licensing, Llc | System and method for semantically annotating images |
| US9664667B2 (en) | 2012-04-30 | 2017-05-30 | Trustees Of Tufts College | Digital quantification of single molecules |
| RU2724784C2 (ru) * | 2018-05-18 | 2020-06-25 | Федеральное государственное бюджетное образовательное учреждение высшего образования "Московский авиационный институт (национальный исследовательский университет)" | Способ управления реакцией нейропроцессора на входные сигналы |
| RU2706891C1 (ru) * | 2019-06-06 | 2019-11-21 | Самсунг Электроникс Ко., Лтд. | Способ формирования общей функции потерь для обучения сверточной нейронной сети для преобразования изображения в изображение с прорисованными деталями и система для преобразования изображения в изображение с прорисованными деталями |
| US11521011B2 (en) | 2019-06-06 | 2022-12-06 | Samsung Electronics Co., Ltd. | Method and apparatus for training neural network model for enhancing image detail |
| CN110598534B (zh) * | 2019-07-31 | 2022-12-09 | 中南大学 | 融合点线记忆信息的仿生视觉图像目标识别方法 |
| CN115617305A (zh) * | 2022-10-13 | 2023-01-17 | 兰州大学 | 一种基于事件驱动型电路设计的异步稀疏矩阵外积乘法器 |
| CN121499599A (zh) * | 2026-01-09 | 2026-02-10 | 中国科学院长春光学精密机械与物理研究所 | 气体识别的视-嗅觉融合的光电突触器件及其制备方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ATE165680T1 (de) * | 1988-08-23 | 1998-05-15 | John G Sutherland | Künstliche neuronenvorrichtung und entsprechende methode |
| RU2028670C1 (ru) * | 1992-08-10 | 1995-02-09 | Вадим Владимирович Борисов | Нейроподобная модель для анализа изображений |
-
1991
- 1991-04-26 EP EP91908022A patent/EP0526504B1/en not_active Expired - Lifetime
- 1991-04-26 WO PCT/CA1991/000139 patent/WO1991016686A1/en not_active Ceased
- 1991-04-26 ES ES91908022T patent/ES2103310T3/es not_active Expired - Lifetime
- 1991-04-26 RU RU92016491/14A patent/RU2193797C2/ru not_active IP Right Cessation
- 1991-04-26 JP JP91507792A patent/JPH05506953A/ja active Pending
- 1991-04-26 AT AT91908022T patent/ATE147873T1/de active
- 1991-04-26 DE DE69124231T patent/DE69124231T2/de not_active Expired - Fee Related
- 1991-04-26 AU AU76914/91A patent/AU7691491A/en not_active Abandoned
-
1995
- 1995-08-28 AU AU30317/95A patent/AU3031795A/en not_active Abandoned
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019124582A (ja) * | 2018-01-16 | 2019-07-25 | 株式会社Preferred Networks | 触覚情報推定装置、触覚情報推定方法及びプログラム |
| JP2020073871A (ja) * | 2019-08-28 | 2020-05-14 | 株式会社Preferred Networks | ロボットシステム、ロボット及び制御方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| AU7691491A (en) | 1991-11-11 |
| WO1991016686A1 (en) | 1991-10-31 |
| EP0526504A1 (en) | 1993-02-10 |
| AU3031795A (en) | 1995-11-23 |
| DE69124231D1 (de) | 1997-02-27 |
| ES2103310T3 (es) | 1997-09-16 |
| RU2193797C2 (ru) | 2002-11-27 |
| DE69124231T2 (de) | 1997-08-07 |
| ATE147873T1 (de) | 1997-02-15 |
| EP0526504B1 (en) | 1997-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH05506953A (ja) | 人工ニューラル装置 | |
| Medler | A brief history of connectionism | |
| Hertz | Introduction to the theory of neural computation | |
| Eluyode et al. | Comparative study of biological and artificial neural networks | |
| Serra et al. | Complex systems and cognitive processes | |
| Murre | Learning and categorization in modular neural networks | |
| Becker | Unsupervised learning procedures for neural networks | |
| Kuriscak et al. | Biological context of Hebb learning in artificial neural networks, a review | |
| Arbib | Brains, machines, and mathematics | |
| Mainzer | Thinking in complexity: the computional dynamics of matter, mind and mankind | |
| Gupta et al. | Static and dynamic neural networks: from fundamentals to advanced theory | |
| EP0357212B1 (en) | Artificial neural device and corresponding method | |
| Pollack | Connectionism: Past, present, and future | |
| Jutamulia et al. | Overview of hybrid optical neural networks | |
| Tripathi | High dimensional neurocomputing | |
| Paugam-Moisy | Spiking neuron networks a survey | |
| Dawson et al. | Autonomous processing in parallel distributed processing networks | |
| Evers | Connectionist modelling and education | |
| Yashchenko | From McCulloch to GPT-4: Stages of development of artificial intelligence | |
| Beyeler et al. | Sparse coding and dimensionality reduction in cortex | |
| Forrest et al. | Neural network models | |
| Yashchenko | Neural-like growing networks in the development of general intelligence. Neural-like growing networks (P. II) | |
| Oberlin | Machine learning, cognition, and big data | |
| Uhr | Increasing the power of connectionist networks (CN) by improving structures, processes, learning | |
| Padgett et al. | Computational intelligence standards: motivation, current activities and progress |