JPH0223324A - ニューロコンピュータ - Google Patents
ニューロコンピュータInfo
- Publication number
- JPH0223324A JPH0223324A JP17403388A JP17403388A JPH0223324A JP H0223324 A JPH0223324 A JP H0223324A JP 17403388 A JP17403388 A JP 17403388A JP 17403388 A JP17403388 A JP 17403388A JP H0223324 A JPH0223324 A JP H0223324A
- Authority
- JP
- Japan
- Prior art keywords
- matrix
- small
- correlation matrix
- state vector
- state
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
〔産業上の利用分野〕
この発明は、ニューロンの状態ベクトルと相関行列との
積和演算を行なうニューロコンピュータに関し、ニュー
ラルネットワークモデルに基づいたコンピュータ・アー
キテクチャに関するものである。
積和演算を行なうニューロコンピュータに関し、ニュー
ラルネットワークモデルに基づいたコンピュータ・アー
キテクチャに関するものである。
第2図は、例えば刊行物(Optics Letter
s誌、1988年、第13巻、第3号、248頁〜25
0頁)に示された従来の画像処理用光ニューロコンピュ
ータを示す構成概念図であり、図において、(8)は−
様な入射光、(11)は空間変調器、(121は相関行
列を蓄積したホログラム、Hは受光素子アレイ、(7)
は比較器である。
s誌、1988年、第13巻、第3号、248頁〜25
0頁)に示された従来の画像処理用光ニューロコンピュ
ータを示す構成概念図であり、図において、(8)は−
様な入射光、(11)は空間変調器、(121は相関行
列を蓄積したホログラム、Hは受光素子アレイ、(7)
は比較器である。
次に動作について説明する。本装置は、Hopfiel
dによυ提案された。ニューラルネットモデルに基づい
ており、例えば、文献(Proceedings of
NationalAcademy of 5cien
ce+ USA、 1982年、第77巻、2554頁
〜2558頁)に示されている。このモデルによれば、
あらかじめ蓄積しているM個のN次元ベクトル情報S1
cm)(+=1 + 2 + ”’ + Ns ITI
=1 + 2 + ”’ + Mssi”’E (11
−11)中から、入力ベクトル511m0)ニ最も類似
したものを選び出す連想メモリを構成することができる
。
dによυ提案された。ニューラルネットモデルに基づい
ており、例えば、文献(Proceedings of
NationalAcademy of 5cien
ce+ USA、 1982年、第77巻、2554頁
〜2558頁)に示されている。このモデルによれば、
あらかじめ蓄積しているM個のN次元ベクトル情報S1
cm)(+=1 + 2 + ”’ + Ns ITI
=1 + 2 + ”’ + Mssi”’E (11
−11)中から、入力ベクトル511m0)ニ最も類似
したものを選び出す連想メモリを構成することができる
。
蓄積情報は、次式に示す相関行列Tijによυ与えられ
る。
る。
Ti j=X 5i(rIll)Sj(ffi)(1”
F J )+ Ti j=Oil1m=1 ここで、蓄積情報ベクトル間には殆んど相関がないとす
ると、 今、s 、 (m)に近い不完全入力ベクトルをS i
(+″0)とすると、相関マトリクスとS、 の積は
X Ti j Sj c1″″)= Si”” + t
/ (〜1冴) (31となることが示され
る。ここで、θ(X)はX次の微少量である。
F J )+ Ti j=Oil1m=1 ここで、蓄積情報ベクトル間には殆んど相関がないとす
ると、 今、s 、 (m)に近い不完全入力ベクトルをS i
(+″0)とすると、相関マトリクスとS、 の積は
X Ti j Sj c1″″)= Si”” + t
/ (〜1冴) (31となることが示され
る。ここで、θ(X)はX次の微少量である。
従って、強い非線形作用を出力ΣTijS!Ul′n0
)に行ない、さらにこれを入力にフィードバックするこ
とで、入力ベクトルに最も近い蓄積情報ベクトルを出力
することができる。この時、蓄積情報数Mとニューロン
数Nとの関係は、 M: N/ (41ogN ) で表わされる。
)に行ない、さらにこれを入力にフィードバックするこ
とで、入力ベクトルに最も近い蓄積情報ベクトルを出力
することができる。この時、蓄積情報数Mとニューロン
数Nとの関係は、 M: N/ (41ogN ) で表わされる。
第2図の例では、2次元情報、例えば画像情報を取り扱
うことができるように、ニューロンのベクトル成分Si
を Vi = (Si + 1 )/2 として、単極化したベクトルViをL/r:fL列の行
列Xk/にするように式(6)で表わされる変換τを行
ない、行列状に並べたニューロンの状tixktを、空
(N=L2) 問責調器(1)の0N10FFで表現し、−様な入射光
(8)を変調している。
うことができるように、ニューロンのベクトル成分Si
を Vi = (Si + 1 )/2 として、単極化したベクトルViをL/r:fL列の行
列Xk/にするように式(6)で表わされる変換τを行
ない、行列状に並べたニューロンの状tixktを、空
(N=L2) 問責調器(1)の0N10FFで表現し、−様な入射光
(8)を変調している。
また、相関行列T1jは、各列の成分jごとに変換τを
行ないN個のL行り列の小行列群Ypqを作る。すなわ
ち、 (kl= 11.121・・・IL、 21.・・・、
LL )とする。式(3)のペクト、ル積和演算は次
式になる。
行ないN個のL行り列の小行列群Ypqを作る。すなわ
ち、 (kl= 11.121・・・IL、 21.・・・、
LL )とする。式(3)のペクト、ル積和演算は次
式になる。
X9.=Σ Yt、Hz)x、、
(81に/=11 第2図の例では、相関行列Y(、、H!>をホログラム
(2に記憶している。つ1す、空間変調器fllのXk
/の部分を透過した入射光(8)は、ホログラム(2)
の対応する小行列Y(k/)に照射される。照射された
光は、小行列Y(++′)の各成分Y(H/)ごとに回
折される方向が異なる。全行列からこの回折された光が
収束するところに、行列状に並べた受光素子アレイ(6
)を置いて、X9Qを出力として表現している。このX
PQを非線形作用として比較器(7)でしきい値処理し
、空間変調器(1)の入力Xk/としてフィードバック
している。即ち、 XI)Q = θ (xpq Xth
)
f9J但し、 θ(x)
= 1 x〉0Ox≦O 〔発明が解決しようとする課題〕 従来の光ニューロコンピュータは、以上のように構成さ
れているので、蓄積情報数Mを増やすため、また情報量
の大きな情報を処理するためには、ニューロン数Nを太
きくしなければならず、従って、相関マトリクスが大き
くなりシステム全体が大形化し、また、多数の光をホロ
グラムで回折するので、ホログラムの作成が困難になシ
、また、光学系のアジイメントが困難になる等の問題点
があった。
(81に/=11 第2図の例では、相関行列Y(、、H!>をホログラム
(2に記憶している。つ1す、空間変調器fllのXk
/の部分を透過した入射光(8)は、ホログラム(2)
の対応する小行列Y(k/)に照射される。照射された
光は、小行列Y(++′)の各成分Y(H/)ごとに回
折される方向が異なる。全行列からこの回折された光が
収束するところに、行列状に並べた受光素子アレイ(6
)を置いて、X9Qを出力として表現している。このX
PQを非線形作用として比較器(7)でしきい値処理し
、空間変調器(1)の入力Xk/としてフィードバック
している。即ち、 XI)Q = θ (xpq Xth
)
f9J但し、 θ(x)
= 1 x〉0Ox≦O 〔発明が解決しようとする課題〕 従来の光ニューロコンピュータは、以上のように構成さ
れているので、蓄積情報数Mを増やすため、また情報量
の大きな情報を処理するためには、ニューロン数Nを太
きくしなければならず、従って、相関マトリクスが大き
くなりシステム全体が大形化し、また、多数の光をホロ
グラムで回折するので、ホログラムの作成が困難になシ
、また、光学系のアジイメントが困難になる等の問題点
があった。
この発明は、上記のような問題点を解消するためになさ
れたもので、システム全体の大きさをほとんど変えずに
、実質的にニューロン数Nを増やし、蓄積情報数Mを増
やすことができ、また、光技術を用いてハードウェア化
した場合にも作成が容易で、光学系のアライメントも容
易なニューロコンピュータを得ることを目的とする。
れたもので、システム全体の大きさをほとんど変えずに
、実質的にニューロン数Nを増やし、蓄積情報数Mを増
やすことができ、また、光技術を用いてハードウェア化
した場合にも作成が容易で、光学系のアライメントも容
易なニューロコンピュータを得ることを目的とする。
この発明に係るニュー四コンピュータは、ニューロンの
状態ベクトルに応じた信号を発生する素子が行列状に並
べられた状態ベクトル発信体・相関行列を幾つかの小行
列に分けて時系列的に上記小行列を出現させると共に、
上記状態ベクトル発信体の信号を小行列状態で変調させ
て上記ニューロンの状態ベクトルと小行列との積信号群
を発生する相関行列体、および上記積信号群を一箇所で
まとめて受信し、それらの和を求める受信素子を備え、
時系列的に積和演算するようにしたものである。
状態ベクトルに応じた信号を発生する素子が行列状に並
べられた状態ベクトル発信体・相関行列を幾つかの小行
列に分けて時系列的に上記小行列を出現させると共に、
上記状態ベクトル発信体の信号を小行列状態で変調させ
て上記ニューロンの状態ベクトルと小行列との積信号群
を発生する相関行列体、および上記積信号群を一箇所で
まとめて受信し、それらの和を求める受信素子を備え、
時系列的に積和演算するようにしたものである。
この発明におけるニューロコンピュータは、ニューロン
の状態ベクトルを行列状に並べると共に、相関行列を幾
つかの小行列に分けて、ニューロンの状態ベクトルと小
行列との積和演算を時系列的に行なうので、小規模なシ
ステムでよシ火急な情報量の情報を容易に処理すること
ができる。
の状態ベクトルを行列状に並べると共に、相関行列を幾
つかの小行列に分けて、ニューロンの状態ベクトルと小
行列との積和演算を時系列的に行なうので、小規模なシ
ステムでよシ火急な情報量の情報を容易に処理すること
ができる。
また、光波術を用いてハードウェア化した場合にも、ホ
ログラムを用いなくてよいので作成が容易で、光学系の
アライメントも容易である。
ログラムを用いなくてよいので作成が容易で、光学系の
アライメントも容易である。
以下、この発明の一実施例を図をもとに説明する。第1
図においては、t1+はニューロンの状態ベクトルに応
じた信号を発生する素子(この例では発光素子)が行列
状に並べられた状態ベクトル発信体である。(2)は相
関行列Tijを幾つかの小行列に分けて時系列的に上記
小行列を出現させると共に、状態ベクトル発信体ill
の信号を小行列状態で変調させて、ニューロンの状態ベ
クトルと手行列との積信号群を発生する相関行列体であ
シ、この例では行列体の各位置の透過率を変え得る空間
変調器である。このような空間変調器については、例え
ば、刊行物(Appl ied Opt ics誌、1
986年、第25巻、第9号、1380頁〜1382頁
)に詳しく述べられている。(6)は相関行列体(2)
から発生する積信号群を一箇所でまとめて受信し、それ
らの和を求める、すなわちニューロン膜電位ベクトルの
一つの成分を時系列に受は取る受信素子であυ、例えば
、フォトダイオードなどの受光素子である。(7はしき
い値処理を行なう比較器である。
図においては、t1+はニューロンの状態ベクトルに応
じた信号を発生する素子(この例では発光素子)が行列
状に並べられた状態ベクトル発信体である。(2)は相
関行列Tijを幾つかの小行列に分けて時系列的に上記
小行列を出現させると共に、状態ベクトル発信体ill
の信号を小行列状態で変調させて、ニューロンの状態ベ
クトルと手行列との積信号群を発生する相関行列体であ
シ、この例では行列体の各位置の透過率を変え得る空間
変調器である。このような空間変調器については、例え
ば、刊行物(Appl ied Opt ics誌、1
986年、第25巻、第9号、1380頁〜1382頁
)に詳しく述べられている。(6)は相関行列体(2)
から発生する積信号群を一箇所でまとめて受信し、それ
らの和を求める、すなわちニューロン膜電位ベクトルの
一つの成分を時系列に受は取る受信素子であυ、例えば
、フォトダイオードなどの受光素子である。(7はしき
い値処理を行なう比較器である。
次に動作について説明する。
ニューロンaをNとし単極化した二ニーロンのベクトル
成分Viを、K行り列の行列Xklにするように変換τ
′を行なう。
成分Viを、K行り列の行列Xklにするように変換τ
′を行なう。
(N=KL)
また、相関行列Tijは各行の成分iごとに変換τ′を
行ない、N個のに行り列の小行列群Y付1を作る。すな
わち、 (pq=11.12.・・・、 IL、 21.・・・
、KL)この時、相関行列Tとニューロン状態ベクトル
Vとの積(膜電位)をZとすると、弐〇匂になる。
行ない、N個のに行り列の小行列群Y付1を作る。すな
わち、 (pq=11.12.・・・、 IL、 21.・・・
、KL)この時、相関行列Tとニューロン状態ベクトル
Vとの積(膜電位)をZとすると、弐〇匂になる。
KL/(pq)
Z −Σ Yyz Xk/
pqk/=11
第1図では、N=4、K=L=2の場合を示しである。
今、時刻t=11で相関行列体すなわちマトリクスプレ
ーン(2)上に小行列、(31)を表示し、また状態ベ
クトル発信体すなわち発光素子アレイillにij、
xk/を表示する。これにより行列の演算Σyz(、”
)xk。
ーン(2)上に小行列、(31)を表示し、また状態ベ
クトル発信体すなわち発光素子アレイillにij、
xk/を表示する。これにより行列の演算Σyz(、”
)xk。
k/=11
の結果が受光素子(6)の出力となる。この値を比較器
(7)でしきい値処理し、 xl、= θ(Zu )
(13)発光素子アレイfilのXllの入
力とする。
(7)でしきい値処理し、 xl、= θ(Zu )
(13)発光素子アレイfilのXllの入
力とする。
次の時刻【=12では、小行列(3)のYC↓2)と更
新されたXk/を表示し、同様に行列の演算Σ祇1,1
りx工、1?=12 しきい値処理を行ない、発光素子アレイ(1)のX12
の入力とし、フィードバックする。
新されたXk/を表示し、同様に行列の演算Σ祇1,1
りx工、1?=12 しきい値処理を行ない、発光素子アレイ(1)のX12
の入力とし、フィードバックする。
以上の過程(非同期)をt=KLまで行ない、ざらにt
=11からt=KLまでの過程を何度も繰り返すことに
より、相関行列Tijを一度に表示する場合と同じ動作
が実現できる。
=11からt=KLまでの過程を何度も繰り返すことに
より、相関行列Tijを一度に表示する場合と同じ動作
が実現できる。
なお、上記実施例では各時刻t=pqごとに二ニーロン
の状態 を更新した(非同期)が・メモpq υ等を用いて時刻t=11からt=KLまでのしきい値
処理後の出力Xktを更新しく同期)てもよい。
の状態 を更新した(非同期)が・メモpq υ等を用いて時刻t=11からt=KLまでのしきい値
処理後の出力Xktを更新しく同期)てもよい。
また、上記実施例ではニューロンの状態ベクトルをすべ
て一度に表示して演算を行なったが、実質的にニューロ
ン数Nをさらに増すために、ニューロンの状態ベクトル
を部分的に幾つかに分け、また、それに対応するように
相関行列の小行列をさらに幾つかの部分に分けてベクト
ルマトリクス演算を行ない、その演算結果を受光素子あ
るいは加算器で和算を行なってもよい。
て一度に表示して演算を行なったが、実質的にニューロ
ン数Nをさらに増すために、ニューロンの状態ベクトル
を部分的に幾つかに分け、また、それに対応するように
相関行列の小行列をさらに幾つかの部分に分けてベクト
ルマトリクス演算を行ない、その演算結果を受光素子あ
るいは加算器で和算を行なってもよい。
また、上記実施例では、発光素子アレイillでニュー
ロンの状態ベクトルを表示したが、空間変調器を用いて
も良い。
ロンの状態ベクトルを表示したが、空間変調器を用いて
も良い。
また、上記実施例では連想特性の場合について説明した
が、最適値問題の場合であっても良く、又、学習機能を
導入する場合であっても良く、上記実施例と同様の効果
を奏する。
が、最適値問題の場合であっても良く、又、学習機能を
導入する場合であっても良く、上記実施例と同様の効果
を奏する。
また、上記実施例では、Hopfield のニューラ
ルネットワークモデルの場合について説明したが、パッ
クプロハケ−シロンモデルのような他のニューラルネッ
トワークモデルであっても良く、上記実施例と同様の効
果を奏する。
ルネットワークモデルの場合について説明したが、パッ
クプロハケ−シロンモデルのような他のニューラルネッ
トワークモデルであっても良く、上記実施例と同様の効
果を奏する。
さらに、上記実施例では光技術を用いた場合について説
明したが、これに限るものではなく、例えばLSI技術
に代表される電子技術を用いて実現することも可能で6
))、上記実施例と同様の効果が得られる。
明したが、これに限るものではなく、例えばLSI技術
に代表される電子技術を用いて実現することも可能で6
))、上記実施例と同様の効果が得られる。
以上のように、この発明によれば、ニューロンの状態ベ
クトルに応じた信号を発生する素子が行列状に並べられ
た状態ベクトル発信体、相関行列を幾つかの小行列に分
けて時系列的に上記小行列を出現させると共に、上記状
態ベクトル発信体の信号を小行列状態で変調させて上記
ニューロンの状態ベクトルと小行列との積信号群を発生
する相関行列体、および上記積信号群を一箇所でまとめ
て受信し、それらの和を求める受信素子を備え、時系列
的に積和演算するようにしたので、小規模なシステムで
よシ大きな情報量の情報を容易に処理することができる
効果がある。
クトルに応じた信号を発生する素子が行列状に並べられ
た状態ベクトル発信体、相関行列を幾つかの小行列に分
けて時系列的に上記小行列を出現させると共に、上記状
態ベクトル発信体の信号を小行列状態で変調させて上記
ニューロンの状態ベクトルと小行列との積信号群を発生
する相関行列体、および上記積信号群を一箇所でまとめ
て受信し、それらの和を求める受信素子を備え、時系列
的に積和演算するようにしたので、小規模なシステムで
よシ大きな情報量の情報を容易に処理することができる
効果がある。
また、光技術を用いてハードウェア化した場合にも、ホ
ログラムを用いなくてよいので作成が容易で、光学系の
アライメントも容易である。
ログラムを用いなくてよいので作成が容易で、光学系の
アライメントも容易である。
第1図はこの発明の一実施例によるニューロフンピユー
タを示す構成概念図、第2図は従来のニューロコンピュ
ータを示す構成概念図である。 図において、(1)は状態ベクトル発信体、(2)は相
関行列体、(6)は受信素子、(7)は比較器、(8)
は入射光、(I+1は空間変調器、α4はホログラム、
川は受光素子アレイである。 なお、各図中同一符号は同一または相当部分を示すもの
とする。
タを示す構成概念図、第2図は従来のニューロコンピュ
ータを示す構成概念図である。 図において、(1)は状態ベクトル発信体、(2)は相
関行列体、(6)は受信素子、(7)は比較器、(8)
は入射光、(I+1は空間変調器、α4はホログラム、
川は受光素子アレイである。 なお、各図中同一符号は同一または相当部分を示すもの
とする。
Claims (2)
- (1)ニューロンの状態ベクトルと相関行列との積和演
算を行なうニューロコンピュータにおいて、上記ニュー
ロンの状態ベクトルに応じた信号を発生する素子が行列
状に並べられた状態ベクトル発生体、上記相関行列を幾
つかの小行列に分けて時系列的に上記小行列を出現させ
ると共に、上記状態ベクトル発信体の信号を小行列状態
で変調させて上記ニューロンの状態ベクトルと小行列と
の積信号群を発生する相関行列体、および上記積信号群
を一箇所でまとめて受信し、それらの和を求める受信素
子を備え、時系列的に積和演算するようにしたことを特
徴とするニューロコンピュータ。 - (2)相関行列体は空間変調器である特許請求の範囲第
1項記載のニューロコンピュータ。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17403388A JP2621378B2 (ja) | 1988-07-12 | 1988-07-12 | ニューロコンピュータ |
| GB8915308A GB2220780B (en) | 1988-07-05 | 1989-07-04 | Neurocomputer |
| US07/375,813 US5095459A (en) | 1988-07-05 | 1989-07-05 | Optical neural network |
| DE3922129A DE3922129C2 (de) | 1988-07-05 | 1989-07-05 | Neurocomputer |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17403388A JP2621378B2 (ja) | 1988-07-12 | 1988-07-12 | ニューロコンピュータ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0223324A true JPH0223324A (ja) | 1990-01-25 |
| JP2621378B2 JP2621378B2 (ja) | 1997-06-18 |
Family
ID=15971456
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17403388A Expired - Lifetime JP2621378B2 (ja) | 1988-07-05 | 1988-07-12 | ニューロコンピュータ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2621378B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06258138A (ja) * | 1992-12-12 | 1994-09-16 | Rwe Entsorgung Ag | 物体を識別する方法とこの方法を実行する装置 |
| US5731229A (en) * | 1994-06-28 | 1998-03-24 | Nissan Motor Co., Ltd. | Method of producing device having minute structure |
-
1988
- 1988-07-12 JP JP17403388A patent/JP2621378B2/ja not_active Expired - Lifetime
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06258138A (ja) * | 1992-12-12 | 1994-09-16 | Rwe Entsorgung Ag | 物体を識別する方法とこの方法を実行する装置 |
| US5731229A (en) * | 1994-06-28 | 1998-03-24 | Nissan Motor Co., Ltd. | Method of producing device having minute structure |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2621378B2 (ja) | 1997-06-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Lane et al. | Theory and development of higher-order CMAC neural networks | |
| US5095459A (en) | Optical neural network | |
| Girosi et al. | Networks and the best approximation property | |
| Agostinelli et al. | Learning activation functions to improve deep neural networks | |
| Becker | Unsupervised learning procedures for neural networks | |
| Valle-Lisboa et al. | Multiplicative processing in the modeling of cognitive activities in large neural networks | |
| CN117454949A (zh) | 全光学卷积神经网络装置 | |
| US5099434A (en) | Continuous-time optical neural network | |
| JPH0223324A (ja) | ニューロコンピュータ | |
| Athale et al. | Compact architectures for adaptive neural nets | |
| Athale et al. | Attentive associative architectures and their implications to optical computing | |
| Muramoto et al. | On processing three dimensional data by quaternionic neural networks | |
| Lee | Optical architectures for temporal signal processing | |
| Chao et al. | Optical implementation of a feature-based neural network with application to automatic target recognition | |
| US5132835A (en) | Continuous-time optical neural network process | |
| Bandman | Cellular-Neural computations. Formal model and possible applications | |
| Qian et al. | 3D neuromorphic photonics | |
| Wen et al. | Modified two-dimensional Hamming neural network and its optical implementation using Dammann gratings | |
| Johnson et al. | Pulse-coupled neural network sensor fusion | |
| Trexler | Contrastive Learning for Unsupervised Auditory Texture Models | |
| Ishikawa et al. | Experimental studies on adaptive optical associative memory | |
| JPH02125362A (ja) | ニューロコンピュータの演算方式 | |
| Casasent | Optical processing in neural networks | |
| Ramacher et al. | Systolic synthesis of neural networks | |
| Bolelli et al. | Modeling sequential cognitive states via population level cortical dynamics |