JP2000504135A - ニューラル回路網の中のデータ・フローを処理する方法およびニューラル回路網 - Google Patents

ニューラル回路網の中のデータ・フローを処理する方法およびニューラル回路網

Info

Publication number
JP2000504135A
JP2000504135A JP9527959A JP52795997A JP2000504135A JP 2000504135 A JP2000504135 A JP 2000504135A JP 9527959 A JP9527959 A JP 9527959A JP 52795997 A JP52795997 A JP 52795997A JP 2000504135 A JP2000504135 A JP 2000504135A
Authority
JP
Japan
Prior art keywords
input
output
neural network
neurons
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9527959A
Other languages
English (en)
Inventor
コッテリル,ロドニイ,マイケル,ジョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Publication of JP2000504135A publication Critical patent/JP2000504135A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • G06N3/092Reinforcement learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)
  • Financial Or Insurance-Related Operations Such As Payment And Settlement (AREA)
  • Peptides Or Proteins (AREA)
  • Nitrogen And Oxygen Or Sulfur-Condensed Heterocyclic Ring Systems (AREA)
  • Complex Calculations (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)

Abstract

(57)【要約】 ニューラル回路網は、環境からパラメータ表示を受け取るための外部センサ2を有する。このパラメータ表示は加重され、そしてマスタ・ノード1の入力に送られる。マスタ・ノード1は、付加的に加重された形式のパラメータ表示を外部効果器5の入力に転送する。外部効果器からの出力は、環境に関する影響の後に外部センサの入力にフィードバックされる。さらにこのパラメータ表示はマスタ・ノードのセンサから直接にフィードバックされ、そしてそこでフィードバックされたパラメータ表示の和が形成される。この結果、ニューラル回路網の高速でかつ非常に複雑な学習が得られる。このニューラル回路網は、学習の後、環境により影響されるフィードバック信号を用いることなくタスクを実行することができる。したがって本発明により、人間の意識と類似であるニューラル回路網が得られる。

Description

【発明の詳細な説明】 ニューラル回路網の中のデータ・フローを処理する方法およびニューラル回路網 本発明は (a) 環境からパラメータ表示を複数個の入力ニューロンの中に受け取る段階 と、 (b) 入力ニューロンの出力から内部層のニューロンの入力に加重されたパラ メータ表示を転送する段階と、 (c) 内部層の出力から複数個の出力ニューロンの入力に加重されたパラメー タ表示を転送する段階、および同時に内部層の出力から複数個の入力ニューロン の入力に加重されたパラメータ表示を転送する段階と、 (d) 環境に関する影響の後、出力ニューロンの出力から複数個の入力ニュー ロンの入力に加重されたパラメータ表示をフィードバックする段階と、 を有する、ニューラル回路網の中のデータ・フローを処理する方法に関する。 本発明はさらに、環境からパラメータ表示を受け取るために複数個の入力ニュ ーロンを備えた内部センサを有するニューラル回路網に関する。ここで、外部セ ンサの出力は複数個のニューロンを有する内部層の出力に接続され、そしてこの 内部層の出力は複数個の出力ニューロンを有する外部効果器(effector)の入力 に接続され、そして環境に関する出力ニューロンの影響のパラメータ表示が複数 個の入力ニューロンの入力にフィードバックされる。 このような方法と3種類のニューロンから成るニューラル回路網とは、これま でに開示されている、例えばEP 0 529 682A2 、WO 95 24 684A1 に開示さ れている。 これらの従来のニューラル回路網は、自覚の概念の古典的理解に基づいている 。さらに詳細にいえば、自覚および関連する筋肉は5つの異なる人間の感覚、す なわち味覚、臭覚、視覚、触覚および聴覚、からの入力により影響されるという 古典的理解に基づいている。出力は、入力から出力に直接に結合した反射である ことができる。 本発明は、2つの形式の感覚入力の間を識別する自覚のまた別の概念に基づい ている。これらはアフェレント(afferent)信号およびリアフェレント (reafferent)信号と呼ばれる。アフェレント信号は自分自身に原因のある信号 ではない。例えば、爆発音はアフェレント信号であるであろう。それは、この音 はわれわれがなにもしないでもわれわれに到達するからである。 リアフェレント信号は自分自身に原因のある信号である。例えば、接触の感覚 はリアフェレント信号の例である。このように、われわれの筋肉の運動が原因と なって例えば指を通して、われわれは信号を受け取る。換言すれば、リアフェレ ント信号を通して世界が探査される。 このように、運動機構体を通して実現される脳と体と環境との間の相互行動と して、自覚が認知されるべきである。その結果、2種類の基本的な認識過程、す なわち思考および運動、が存在する。これらはいずれも同じ制御ユニット、いわ ゆるマスタ・ノード、の支配下にある。 前記で説明した理論のさらに詳しい説明については、名称「自覚経験の統一に ついて(On the unity of conscious experience)」、デンマークの技術大学( Technical University)、物理研究所(Institute of Physics)、ビルディング 307、DK−2800、リングビイ(Lyngby)、から出版された本発明人の論文を参 照されたい。この論文は、本出願の受付日においては一般の人にとっては入手可 能ではなかった。 前記で説明した理論に基づき、本発明の目的は、前記で説明したようにマスタ ・ノード理論の原理に従って動作する方法および技術的ニューラル回路網を得る ことである。 本発明の目的は、マスタ・ノードであるニューロンの内部層の出力からのパラ メータ表示が、環境に関する出力ニュロンの結果からのパラメータ表示により訂 正されることで達成される。 その結果、ニューラル回路網の中のデータ・フローの処理において、マスタ・ ノードの出力ニューロン・パラメータ表示の間接結合のために、人工的意識がシ ュミレートされる。 請求項2に述べられているように、訂正が加算により実行される点で、この方 法は好都合である。 このことは好都合にベクトル的に生ずることができるので、このことによりパ ラメータ表示を訂正する極めて適切な方法が得られる。 この方法が請求項3に述べられているように実行される時、内部層からのパラ メータ表示だけが、学習後のニューラル回路網の中の信号の処理においてフィー ドバックされる。 その結果、ニューラル回路網はそのシュミレートされた意識に従って動作し、 そして環境に関する影響には依存しないであろう。 前記で説明したように本発明はまた、マスタ・ノードである内部層の出力から のパラメータ表示が、環境に関する出力ニューロンの影響の結果からのパラメー タ表示により訂正されることを特徴とする、ニューラル回路網に関する。 このことにより、組込まれ、シュミレートされた意識を有する技術的ニューラ ル回路網が得られる。 本発明の好ましい実施例は請求項5〜請求項7に定められている。 したがって、本発明に関連する本質的な部分は (a) 環境に対する出力の発生、 (b) 状態評価を含む、ニューラル回路網の中における内部作業、 (c) 環境からの入力の検出、 である。 回路網の環境はここでは、ニューラル回路網の任意の検出器またはすべての検 出器により検出することができる、ニューラル回路網の直接の環境または遠隔の 環境のすべてのこれらの物理的対象物および属性であると理解される。ニューラ ル回路網の直接の環境および遠隔の環境のすべてのこれらの物理的対象物および 属性は、ニューラル回路網の任意の出力またはすべての出力により影響されるこ とができる。 意識のコンピュータ・シュミレーションでは、前記で説明した環境はシュミレ ートされた環境であり、そして対象物および属性はシュミレートされた対象物お よび属性であるであろう。意識のコンピュータ・シュミレーションでは、ニュー ラル回路網の前記で説明した検出デバイスはシュミレートされた検出デバイスで あるであろう。意識のコンピュータ・シュミレーションでは、ニューラル回路網 の前記で説明した出力はシュミレートされた出力であるであろう。これらの出力 は、ニューラル回路網またはコンピュータの直接の環境または遠隔の環境のすべ ての物理的対象物および属性に影響を与えることができるすべての物理的過程を 含む。これらの過程は、すべての機械的過程、音響/オーディオ過程、熱的過程 、電気的過程、磁気的過程、(電磁波スペクトルの全領域の放射を含む)電磁気 的電気化学過程、化学的過程、生化学的過程(分子生物学的過程を含む)、光学 的過程および原子レベルより小さな粒子の過程を含む。前記過程は、個別にまた は任意の可能な組合わせまたはすべての可能な組合わせで行動する。 前記で説明した検出デバイス、内部作業および状態評価は、出力の説明のとこ ろで述べたのと同じ過程を有する。 さらに状態評価器は、与えられた任意の時刻において、ニューラル回路網また はコンピュータの要請および目標が実現されない程度または満たされない程度を 評価する、およびニューラル回路網に対する危険が回避できる程度または回避で きない程度を評価する、モニタである。ここで危険という用語は、前記で説明し た過程と同じことを意味するとされている。 ニューラル回路網の目標は、ニューラル回路網に提供されるおよびその機能に 関する外部のすべての事柄である。前記ニューラル回路網は、それ自身のために または人に代わってまたはオプションで他のコンピュータに代わって、タスクを 達成するために設計される。ニューラル回路網に要望されることは、ニューラル 回路網それ自身の中に含まれるまたはニューラル回路網それ自身に付随するすべ てのこれらの事柄である。 前記で説明したように、ニューラル回路網の人工意識の設計は、エフェレンス ・コピー(efference copy)を生成する、およびエフェレンス・コピーとリアフ ェレンス入力との間の適切な相互行動を設定する、およびニューラル回路網の相 互行動に対する結果を評価する、ことに基づいている。エフェレンス・コピーの 準備およびエフェレンス・コピーとリアフェレンス入力との間の適切な相互行動 の設定とこの相互行動の結果の評価のための機構体、および危険の回避を含むニ ューラル回路網の目標および要望されることに対するその意義は、本発明の特徴 である。したがって本発明により、人間の感覚(feeling)および感情 (emotion)に匹敵するまたは等価であるいくつかの性質をニューラル回路網に 本質的に与える評価機構体を得ることである。 本発明の前記回路網は多くの関連する事柄に用いることができる。その例を挙 げれば次の通りである。 −全体的な意識回路 −ゲームおよびビデオ −シュミレートされた意識ソフトウエア/ハードウエアに基づく相互に行動し合 うテレビジョン・ゲーム −軍事的応用 −教育プログラム −個人的友情のシュミレーション −翻訳プログラム −保安装置 −産業用制御 −認識過程 下記において、図面に示された実施例を参照しながら本発明をさらに詳細に説 明する。 図1は、ニューロンがどのように設計されるかを示した説明図。 図2は、本発明のニューラル回路網を実施するためのブロック線図。 図3〜図8は、図2のブロック線図に対する種々の作業状態図。 図1に示されているように、ニューロンは3つの群、すなわち、入力ニューロ ン、マスタ・ノード・ニューロンおよび出力ニューロン、から成る。入力ニュー ロンは、例えば、装置からの信号(図1のアフェレンス入力で示されている)を 選定することができる。さらに入力ニューロンは、その信号が装置からの応答の 信号を受け取ることができ、その信号(図のリアフェレンス入力で示されている )がニューラル回路網の中で処理される。最後に入力ニューロンは、マスタ・ノ ード・ニューロンからフィード・バックされた信号(図のエフェレンス・コピー で示されている)を直接に受け取ることができる。 すべてのニューロンが、他のニューロンからの信号、または装置を通して環境 から直接の信号、またはこのような両方の信号源からの信号、のいずれかを受け 取ることができるような設計を、このニューラル回路網が有する。 ニューロンの間の基本的な信号の伝達がどのようにして起こるかを示すために 、下記で数学的モデルが設定されるであろう。 図1において、入力ニューロンに対するベクトルがV1で示されており、一方 接続はマトリックスと呼ぶことができる。この接続は、入力ニューロンに関して 、2つのマトリックスEOIおよびSMIから成る。マトリックスEOIはリファレン ス・ルートを示す。このマトリックスEOIは、は環境に関する影響の後、出力ニ ューロンのベクトルの加重されたパラメータ表示に対応する。それに対応して、 マトリックスSMIは、マスタ・ノードからのベクトルVMの値に結果としての加 重されたデータ表示を示す。マスタ・ノード・ニューロンの加重パラメータ表示 は、マトリックスSIMからなる。マトリックスSIMは入力信号としてベクトル信 号VIを受け取り、そしてその出力において出力ニューロンに付随するマトリッ クスの中の加重された表示SMOにベクトル信号VMを放出する。 この実施例では、14個の入力ニューロンと、6個のマスタ・ノード・ニューロ ンと、10個の出力ニューロンとが存在することが仮定される。(けれども、図で は15個の入力ニューロンと5個のマスタ・ノード・ニューロンとが示されている 。) この実施例では、マトリックスSMOの個々のエレメントには初期値が与えられ る。これらの初期値は、0.0から1.0までの間隔の中に均一に分布している。この ことは、このシステムはマスタ・ノードと出力との間に既に接続路が発達してい る事実を表す。それとは異なって、SIMおよびSMIはすべて同じ値、すなわち0. 5、である。したがってこの最初の状態は、環境に関してなにも学習していない 場合に対応する。最後にマトリックスEOIは、環境が情報を含んでいる状態を示 すために、同じでないエレメントを表す。 この回路網の機能の第1の例は、回路網がその環境を探査する重要な場合を示 すであろう。初期の活性はマスタ・ノードの中に見られる。マスタ・ノードは内 部活性化システムから活性化を受け取る。マスタ・ノードの中のベクトルVMに より表される与えられた活性パターンに対し、出力に得られる結果としての活性 パターンは下記の式により与えられる。 VO =VM *SMO (1) ここで、記号*は乗算を示す。 マスタ・ノードはまた入力側に活性を送るが、しかしこの場合、受信ユニット に到達するのは第2種類の活性である、すなわち、リアフェレンス入力の形式で 環境からくる活性である。マスタ・ノードの入力に到達する正味の活性は、マス タ・ノードの中の活性の結果であり、したがって下記の式で与えられる。 VI =VM *SMI+Vo *EoI (2) 最後に、入力ニューロンはマスタ・ノードに信号を送り、それによりマスタ・ ノードの出力に到達する活性は下記の式で与えられるであろう。 VM =VI *SIM (3) 下記で説明される特定の実施例では、SMIおよびSIMのシナプス接続マトリッ クスのエレメントの寸法を変えることにより、ニューロンはそれらの環境につい て学習する。シナプス効率(これはまた通常シナプス加重として知られている) の中のこれらの変化の規則は、両方が同時に活性である2つのニューロンを結合 するすべてのシナプスはその効力を増大させ、一方これらの一方のみが活性であ るニューロンの対を結合するシナプスはその効力をわずかに減少させる、という ものである。これらの2つの場合は下記の方程式により支配される。 ΔSIM(i,j)=ε*(1−SIM)(i,j)) (4) および ΔSIM(i,j)= 0.5*ε*(SIM(i,j) (5) これらの方程式において、記号Δは入力ニューロン番号Iとマスタ・ノード・ ニューロン番号Jとの間のシナプス接続の効力率の変化の量を示す。量εは与え られた組の状況の下における学習の程度を表し、そしてこの実施例では値0.01が 割り当てられる。方程式(5)の中に現れる訂正因子0.5は必要である。その理 由は、ニューロンの活性の間の不整合(すなわち、+−と−+の両方)の確率の 大きさが整合(すなわち、++)の確率の大きさの2倍であるからである。 この実施例では、回路網は下記のエレメントを有する下記の初期マトリックス でもって機能する。0と異なる値を有するものはすべて、乱数発生器により決定 される。 ニューラル回路網がその環境に関して学習することを可能にするために、6個 のニューロンのちょうど半分(すなわち、3個のニューロン)が任意の瞬間に活 性である状態に対し、マスタ・ノードの中のあらゆる可能な活性の組み合わせが 順次に発生される。合計6個のニューロンから3個のニューロンが活性であり得 るには、20個の異なる方法がある。すなわち、111000、110100、1 10010、など、000111までである。マスタ・ノードの中のこれらの異 なる活性パターンは、前記の方程式(1)に従って、出力ユニットの中に活性パ ターンを生ずる。しかし、6個のニューロンの組の中よりも10個のニューロン の組の中にはさらに多数個の可能な活性パターンが存在するから、前記のマスタ ・ノードの活性により可能なすべての出力パターンが発生するわけではないこと は明らかである。 前記で説明したように、入力ユニットの中に発生した活性パターンは、エフェ レンス・コピー・ルートを通しての直接の活性化とリファレンス・ルートを通し ての間接の活性化との両方の結果であるであろう(前記の方程式(2)を見よ) 。さらに、14個の入力ニューロンが存在するから、入力パターンの可能な種類は マスタ・ノード・ユニットの出力に対するものよりも多くさえもある。したがっ て、すべての可能なパターンは観察されないであろう。下記において、すべての 可能なマスタ・ノード活性化シーケンスの活性化が、他のユニットの中に結果と し得られる活性パターンと共に、表に示されるであろう。3個の行の群のおのお のはシーケンスVM、VOおよびVIを表す。統計的に期待されるように、VIパタ ーンの中に繰り返しがほとんどなく、一方もしそれぞれのユニットの中にさらに 多数個のニューロンが存在するならば、このような冗長度は急速に消滅するであ ろうことが分かる。全体的にいって、シュミレートされたユニットは環境からの 種々の特徴の間を非常に良く識別する。 前記の方程式(4)および方程式(5)により回路網全体がいまは学習可能で ある。SIMおよびSMIの中のエレメントに対し結果として生ずる変化が下記の表 に示されている。 他のマトリックスは当然に不変のままである。訓練された回路網がエクサフェ レンス(exafference)にいまはどのように応答するかを示すために、このこと はニューラル回路網自身の環境の探査により誘発されなかった信号の入力ニュー ロンへの到達を意味するが、次の段階を行うことができる。マスタ・ノードの中 の与えられた活性パターンに対し、14個の入力ニューロンのおのおのに到達する 正味のリアフェレンス信号が計算され、そして記憶される。 例示のために、マスタ・ノード活性パターンは、前記で説明した20個のパター ンの中の第1のパターン、すなわち 111000 であるとする。このマスタ・ノード・パターンが生ずる14個の入力信号は、下記 の通りである。 入力ニューロンのおのおのに対する全感覚入力 2.34 2.35 1.64 2.78 2.13 2.00 1.59 3.51 2.05 2.74 2.64 3.59 2.20 2.77 もし同じ14個の信号がエクサフェレンス入力、すなわちマスタ・ノードの中に 事前活性のない入力、として用いられるならば、その場合にはマスタ・ノードの 中に発生する活性は(前記の方程式(3)を用いて)111000であると計算 されるであろう。 このことは、純粋なアフェレンス入力信号によりマスタ・ノードの中に発生す る活性は、あたかもマスタ・ノード活性が等価なリアフェレンス信号を発生した のと正確に同じであるであろう。換言すれば、訓練された回路網は、それ自身の 出力に関係する内部的にシュミレートされた活性によって応答するであろう。 最後に、シュミレートされた回路網の機能に関していくつかの点を考察しなけ ればならない。第1の点は、学習の期間中にマスタ・ノードから入力ユニットに 送られるエフェレンス・コピー信号は、SMIの中のすべてのエレメントが等しい ために、14個の入力ニューロンに一様な影響を及ぼすであろうことを断っておく 。もしさらに学習がその後も行われるならば、この均一性は厳密には保持されな いであろう。けれども、ここで例示のために用いられた回路網は非常に小型であ り、そして活性レベルは極めて高い(すなわち、任意に与えられたパターンの中 で、ニューロン全体の半分が活性である)ことを心に止めなければならない。実 際のは、回路網はもっと大型であり、そして任意に与えられたパターンの中の活 性ニューロンの割合は大幅に少ないであろう。それにより、エフェレンス・コピ ー信号の近似的な均一性が保持されるであろう。 第2の点は、この簡単な例示的実施例において、シナプス・マトリックスSMI およびSIMは対称的であることである。入力ユニットおよびマスタ・ノード・ユ ニットがニューロンの単純(ベクトル的)な組であるので、このことがあてはま る。その代わりにもしこれらのユニットのいずれかまたは両方が複合的であるな らば、すなわちニューロンの多くの異なる明確で独立な組で構成されるならば、 相互関係の対称性はもはや見られないであろう。 図2は、本発明を実施する際に用いることができるブロック線図である。図か ら分かるように、この回路は、外部センサ2と、内部アクチベータ3と、外部効 果器5と、セレクタおよびアクチベータ4と接続され、およびセレクタおよびア クチベータ4を通して内部状態センサ6とに接続された、マスタ・ノード1を有 する。内部状態センサ6は内部アクチベータ3にさらに接続される。 この回路が動作する方式が図3〜図8に示されている。図3は、ニューラル回 路網の中の内部センサが環境の内部的に剌激された探査に応答することを示して いる。この実施例では内部状態センサは、外部効果器の活性化に導く一連の出来 事を開始する目標または要望されるものを、この装置が発生したことを検出する 。このことは回路が環境を探査することを可能にし、そしてエフェレンス・コピ ー信号とリアフェレンス信号との間の相互行動が意識を生ずる。回路の外部探査 の結果は、その目的の達成のために、およびその要望されるものの充足のために 、および危険の回避のために、内部センサ・ユニットにフィード・バックされる 。外部センサと内部状態センサ・ユニットとの間の接続に付随するシナプスの中 に、これらの出来事のメモリが同時に記憶される。将来の入力信号の可能性の高 い結果を予測するために、これらのことが用いられる。 図4は、入力の内部的に剌激された知覚を伴う1つの動作モードを示した図で ある。この動作モードでは、入力が生じた時、内部状態センサはシステムを既に 剌激し、そして入力から明白な応答がなくても、このことはシステムが入力を知 覚することを可能にしそしてそれに選択的に注意を払うことを可能にする。 図5は、入力から内部的に剌激された応答に対する動作のモードを示した図で ある。このモードは図4のモードと同等であるが、しかしこの場合には、実際の 応答が引き出されるように刺激のレベルが十分に高い。 図6は、回路が受動反射応答で動作している場合のモードを示した図である。 内部剌激がない場合、入力がこれに積極的に注意していなくても、入力信号の到 着は反射応答を生ずることができる。 図7は、応答の内部的に刺激された内部シュミレーション(思考)のモードを 示した図である。このモードは実質的に、図6のモードの反対である。エフェレ ンス・コピーおよびアフェレンス・ルートにより共同して形成されたループを通 る循環する信号を設定するためにマスタ・ノードを誘発することにより、内部状 態センサは行動の特定のコースの結果の内部シュミレーションの中にマスタ・ノ ードを引き起こす。このことはまた、記憶している結果の信号からこのルート中 に行動を発生し、そしてこのことは最後に説明したルートに含まれるシナプス接 触体の調整に導くことができる。したがってこのシステムは行動をシュミレート し、そしてそれらに関しては何も行うことなく、それらの結果を評価する。これ が思考である。(この特定のモードの機能は、人間の夢の過程と共通の特徴を有 することが可能である。) 最後に、図8は外部的に駆動された覚醒および応答の動作のモードを示した図 である。この最後の例では、機械は最初は剌激されないが、しかし入力の期待さ れた結果がシステムを行動するようにし、そしてこの時、すべてのフィードバッ ク・ルートが活性であり、そして選択的注意が入力に払われて、回路が図5に示 されたのと類似の方式で機能するであろう。
【手続補正書】特許法第184条の8第1項 【提出日】1998年4月4日(1998.4.4) 【補正内容】 このような方法および3種類のニューロンから成るニューラル回路網は、これ までに開示されている、例えばEP 0 529 682A2、WO 95 24 684A1に開示さ れている。 さらに米国特許第 5 253 329号は、回路全体の事前の訓練により、回帰 (recurrent)接続が入力信号の中の時間シーケンスを認識する能力を回路全体 に与える、ニューラル回路網を開示している。入力信号のない場合、これらの回 帰接続の排他的活性化を含む回路の動作モードは米国出版物には存在しない。本 発明による回帰接続は全く異なる目的を果たす、すなわち外部出力の内部的に発 生したシュミレーションを生ずる。このことは思考の生成に等価であると述べら れる。下記を参照せよ。 これらの従来のニューラル回路網は、意識の概念の古典的理解に基づいている 。さらに詳細にいえば、意識および関連する筋肉は5つの異なる人間の感覚、す なわち味覚、臭覚、視覚、触覚および聴覚、からの入力により影響されるという 古典的理解に基づいている。出力は、入力から出力に直接に結合する反射である ことができる。 本発明は、2つの形式の感覚入力の間を識別する意識のまた別の概念に基づい ている。これらはアフェレント(afferent)信号およびリアフェレント (reafferent)信号と呼ばれる。アフェレント信号は自分自身に原因のある信号 ではない。例えば、爆発音はアフェレント信号であるであろう。それは、この音 はわれわれがなにもしないでもわれわれに到達するからである。 リアフェレント信号は自分自身に原因のある信号である。例えば、接触の感覚 はリアフェレント信号の例である。このように、われわれの筋肉の運動が原因と なって例えば指を通して、われわれは信号を受け取る。換言すれば、リアフェレ ント信号を通して世界が探査される。 このように、運動機構体を通して実現される脳と体と環境との間の相互行動と して、自覚が認知されるべきである。その結果、2種類の基本的な認識過程、す なわち思考および運動、が存在する。これらはいずれも同じ制御ユニット、いわ ゆるマスタ・ノード、の支配下にある。
───────────────────────────────────────────────────── フロントページの続き (81)指定国 EP(AT,BE,CH,DE, DK,ES,FI,FR,GB,GR,IE,IT,L U,MC,NL,PT,SE),OA(BF,BJ,CF ,CG,CI,CM,GA,GN,ML,MR,NE, SN,TD,TG),AP(KE,LS,MW,SD,S Z,UG),UA(AM,AZ,BY,KG,KZ,MD ,RU,TJ,TM),AL,AM,AT,AT,AU ,AZ,BA,BB,BG,BR,BY,CA,CH, CN,CU,CZ,CZ,DE,DE,DK,DK,E E,EE,ES,FI,FI,GB,GE,HU,IL ,IS,JP,KE,KG,KP,KR,KZ,LC, LK,LR,LS,LT,LU,LV,MD,MG,M K,MN,MW,MX,NO,NZ,PL,PT,RO ,RU,SD,SE,SG,SI,SK,SK,TJ, TM,TR,TT,UA,UG,US,UZ,VN,Y U

Claims (1)

  1. 【特許請求の範囲】 1.(a) 環境からパラメータ表示を複数個の入力ニューロンの中に受け取 る段階と、 (b) 入力ニューロンの出力からニューロンの内部層の入力に加重されたパラ メータ表示を転送する段階と、 (c) 内部層の出力から複数個の出力ニューロンの入力に加重されたパラメー タ表示を転送する段階、および同時に内部層の出力から複数個の入力ニューロン の入力にパラメータ表示を転送する段階と、 (d) 環境に関する影響の後、出力ニューロンの出力から複数個の入力ニュー ロンの入力に加重されたパラメータ表示をフィード・バックする段階と、 を有し、 (e) マスタ・ノードであるニューロンの内部層の出力からのパラメータ表示 が環境に及ぼす出力ニューロンの影響の結果からのパラメータ表示で訂正される ことを特徴とする、 ニューラル回路網の中のデータ・フローを処理する方法。 2. 請求項1記載の方法において、訂正が加算により実行されることを特徴 とする、前記方法。 3. 請求項1または請求項2に記載された方法において、学習の後のニュー アル回路網の中の信号の処理において、内部層からのパラメータ表示のみがフィ ードバックされることを特徴とする、前記方法。 4. 環境からパラメータ表示を受け取るために複数個の入力ニューロンを有 する外部センサを備えたニューラル回路網であって、ここで外部センサの出力が 複数個のニューロンを有する内部層に接続されおよび内部層の出力が複数個の出 力ニューロンを有する外部効果器の入力に接続されおよび環境に及ぼす出力ニュ ーロンの影響のパラメータ表示が複数個の入力ニューロンの入力にフィードバッ クされ、そしてマスタ・ノードである内部層の出力からのパラメータ表示が環境 に及ぼす出力ニューロンの影響の結果からのパラメータ表示により訂正されるこ とを特徴とする、前記ニューラル回路網。 5. 請求項4記載のニューラル回路網において、訂正が加算から成ることを 特徴とする、前記方法。 6. 請求項4または請求項5に記載されたニューラル回路網において、内部 アクチベータからの出力信号を受け取るための入力をマスタ・ノードが付加的に 有し、内部アクチベータの入力がセンサ・ユニットからの出力に接続され、セン サ・ユニットがニューラル回路網の最適状態からの偏差を表す信号および外部セ ンサからの信号を受け取る、ことを特徴とする前記方法。 7. 請求項4ないし請求項6に記載されたニューラル回路網において、マス タ・ノードに接続された出力を有するセレクタおよび内部アクチベータの入力に 接続される出力を内部アクチベータが有することを特徴とする、前記方法。
JP9527959A 1996-02-02 1997-02-03 ニューラル回路網の中のデータ・フローを処理する方法およびニューラル回路網 Pending JP2000504135A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DK0111/96 1996-02-02
DK11196 1996-02-02
PCT/DK1997/000043 WO1997030400A1 (en) 1996-02-02 1997-02-03 A method of processing data flows in a neural network, and a neural network

Publications (1)

Publication Number Publication Date
JP2000504135A true JP2000504135A (ja) 2000-04-04

Family

ID=8089870

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9527959A Pending JP2000504135A (ja) 1996-02-02 1997-02-03 ニューラル回路網の中のデータ・フローを処理する方法およびニューラル回路網

Country Status (8)

Country Link
EP (1) EP0877984B1 (ja)
JP (1) JP2000504135A (ja)
CN (1) CN1212772A (ja)
AT (1) ATE193388T1 (ja)
AU (1) AU707025B2 (ja)
DE (1) DE69702116T2 (ja)
NZ (1) NZ331511A (ja)
WO (1) WO1997030400A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2002031606A1 (en) * 2000-10-10 2002-04-18 Core A/S Expectation sampling and perception control
US8095480B2 (en) 2007-07-31 2012-01-10 Cornell Research Foundation, Inc. System and method to enable training a machine learning network in the presence of weak or absent training exemplars
US12406172B2 (en) * 2017-08-30 2025-09-02 International Business Machines Corporation Computational method for feedback in a hierarchical neural network

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4326259A (en) * 1980-03-27 1982-04-20 Nestor Associates Self organizing general pattern class separator and identifier
US5333239A (en) * 1988-09-12 1994-07-26 Fujitsu Limited Learning process system for use with a neural network structure data processing apparatus
JP3088171B2 (ja) * 1991-02-12 2000-09-18 三菱電機株式会社 自己組織型パタ−ン分類システム及び分類方法
US5253329A (en) * 1991-12-26 1993-10-12 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Neural network for processing both spatial and temporal data with time based back-propagation
US5517667A (en) * 1993-06-14 1996-05-14 Motorola, Inc. Neural network that does not require repetitive training
KR0185757B1 (ko) * 1994-02-14 1999-05-15 정호선 혼돈 순환 신경회로망의 학습방법

Also Published As

Publication number Publication date
EP0877984A1 (en) 1998-11-18
WO1997030400A1 (en) 1997-08-21
DE69702116D1 (de) 2000-06-29
CN1212772A (zh) 1999-03-31
ATE193388T1 (de) 2000-06-15
DE69702116T2 (de) 2000-09-28
AU1590897A (en) 1997-09-02
EP0877984B1 (en) 2000-05-24
NZ331511A (en) 1999-07-29
AU707025B2 (en) 1999-07-01

Similar Documents

Publication Publication Date Title
Graupe Principles of artificial neural networks: basic designs to deep learning
Eluyode et al. Comparative study of biological and artificial neural networks
KR20010013678A (ko) 신경망에서의 신호처리를 위한 다이내믹 시냅스
DE69124231T2 (de) Künstliche neuronale anlage
Das et al. Chaos in a three dimensional neural network
Wang et al. A modified error function for the backpropagation algorithm
Lee A transient-chaotic autoassociative network (TCAN) based on Lee oscillators
CN118860156A (zh) 一种基于元宇宙虚拟现实技术的vr交互方法及设备
Zins et al. Neuromorphic computing: A path to artificial intelligence through emulating human brains
JPH06506785A (ja) 視界の背景から動いている図を識別する装置
Kurbako et al. Spike-timing dependent plasticity learning of small spiking neural network for image recognition
Murray Novelty detection using products of simple experts—a potential architecture for embedded systems
Brosch et al. Event-based optical flow on neuromorphic hardware.
JP2000504135A (ja) ニューラル回路網の中のデータ・フローを処理する方法およびニューラル回路網
US11289175B1 (en) Method of modeling functions of orientation and adaptation on visual cortex
Zins et al. Reproducing fear conditioning of rats with unmanned ground vehicles and neuromorphic systems
Oliveira et al. Effects of the parameters on the oscillation frequency of Izhikevich spiking neural networks
Khalid et al. Cortico-hippocampal computational modeling using quantum-inspired neural networks
Zins et al. Implementation of Associative Memory Learning in Mobile Robots using Neuromorphic Computing
Carnell An analysis of the use of Hebbian and anti-Hebbian spike time dependent plasticity learning functions within the context of recurrent spiking neural networks
Remler Abstraction and the Explanatory Gap: Physicalism and Dualism Combined
Naveenraj et al. Spiking Neural Network-Based Digit Pattern Recognition in FPGA
Duan et al. A novel chaotic neural network for many-to-many associations and successive learning
Galiautdinov Artificial Intelligence Based on Biological Neurons: Constructing Neural Circuits for IoT
Hutchison The central role for behavior analysis in modern robotics, and vice versa