JPH02201427A - 光ニューロコンピュータ - Google Patents
光ニューロコンピュータInfo
- Publication number
- JPH02201427A JPH02201427A JP2112789A JP2112789A JPH02201427A JP H02201427 A JPH02201427 A JP H02201427A JP 2112789 A JP2112789 A JP 2112789A JP 2112789 A JP2112789 A JP 2112789A JP H02201427 A JPH02201427 A JP H02201427A
- Authority
- JP
- Japan
- Prior art keywords
- state vector
- neuron
- product
- matrix
- performs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
Ｃ産業上の利用分野）
との発明は、生物の神経回路網を模倣し、連想機能、パ
ターン認識機能などを有するコンピュータを光技術を用
いて達成する光ニューロコンビエータに関するものであ
る。
ターン認識機能などを有するコンピュータを光技術を用
いて達成する光ニューロコンビエータに関するものであ
る。
第４図は例えば、＾ｐｐＨｅｄ ０ｐｔｉｃｓ誌１９８
５年第２４巻第１０号１４６９頁〜１４７５頁に示され
た従来の光ニューロコンピュータ装置を示す構成概念図
であり、図において、（１］ は発光素子アレイ、（２
）は結合行列を表わす空間光変調器（ＳＬＭ） 、（３
）は受光素子アレイ、（４） は比較器等で構成される
し、きい値素子である。
５年第２４巻第１０号１４６９頁〜１４７５頁に示され
た従来の光ニューロコンピュータ装置を示す構成概念図
であり、図において、（１］ は発光素子アレイ、（２
）は結合行列を表わす空間光変調器（ＳＬＭ） 、（３
）は受光素子アレイ、（４） は比較器等で構成される
し、きい値素子である。
次に動作について説明する０本装置はＨｏｐｆｉｅｌｄ
により提案された二二一うルネットモデルに基づいてい
る。（例えば、「連想光ニューロコンピュータ」電子情
報通信学会０ＱＥ８７−１７４ （１９８８年））この
モデルによれば、予め蓄積しているＭ個のＮ次元ベクト
ル情報Ｓｔ”’ （１ｗ １．・”Ｎ、 ｍ＝ １．
”−Ｍ。
により提案された二二一うルネットモデルに基づいてい
る。（例えば、「連想光ニューロコンピュータ」電子情
報通信学会０ＱＥ８７−１７４ （１９８８年））この
モデルによれば、予め蓄積しているＭ個のＮ次元ベクト
ル情報Ｓｔ”’ （１ｗ １．・”Ｎ、 ｍ＝ １．
”−Ｍ。
Ｈａｍ） ε（１，−１） ＮｆｏｖＶ、 ）中から
、入力ベクトル５１１５ｍ°１にも最も類似したものを
選びだす連想メモリを構成することができる。
、入力ベクトル５１１５ｍ°１にも最も類似したものを
選びだす連想メモリを構成することができる。
蓄積情報は、空間光変調器（２）により与えられる。結
合行列をＴＩＪとするとＴｉＪは次式で与えられる。
合行列をＴＩＪとするとＴｉＪは次式で与えられる。
い、即ち、互いに直交しているものとする。っまり
ると、結合マトリックス５１ （＋ａ０１の積はΣ７
ｉ ｊ５ ｊＬ ｍ Ｏｌ〜５１”’ ＋ｏ（ｆ■丁
）（３）となることが示される。０（ｘ）はＸ次の微小
量である。
ｉ ｊ５ ｊＬ ｍ Ｏｌ〜５１”’ ＋ｏ（ｆ■丁
）（３）となることが示される。０（ｘ）はＸ次の微小
量である。
従フて、強い非線形作用を行い、更にこれを入力してフ
ィードバックすることで入力ベクトルに最も近い蓄積情
報ベクトルを出力することとなる。ここでは、非線形作
用としてしきい値素子（４）を用い、又 Ｖｉ＝ （Ｓ１＋ １）／２
（４）として、単極化したベクトルを用いて、発光
素子アレイ（１）の０Ｎ１０ＦＦでニューロン状態を表
現している。又このニューロン状態ベクトルと結合マト
リックスとの積Ｕｉ Ｕｉ＝ΣＴｉＪ ＶＪ （
５）」ｌｌ＋ は、受光素子アレイ（３）の出力として表現される。こ
の旧をしきい値処理し、入力してフィードバックする。
ィードバックすることで入力ベクトルに最も近い蓄積情
報ベクトルを出力することとなる。ここでは、非線形作
用としてしきい値素子（４）を用い、又 Ｖｉ＝ （Ｓ１＋ １）／２
（４）として、単極化したベクトルを用いて、発光
素子アレイ（１）の０Ｎ１０ＦＦでニューロン状態を表
現している。又このニューロン状態ベクトルと結合マト
リックスとの積Ｕｉ Ｕｉ＝ΣＴｉＪ ＶＪ （
５）」ｌｌ＋ は、受光素子アレイ（３）の出力として表現される。こ
の旧をしきい値処理し、入力してフィードバックする。
即ち
Ｖｉ＝θ （０１−ｔｌｔｈ）
は
Ｍ 〜Ｎ／（４ｌｏｇ Ｎ）
（７）で表される。
（７）で表される。
従来のニューラルコンピュータは以上のように構成され
ているので、結合行列の値がとりえる範囲（ＴＩＪの範
囲）が、ＳＬＭのコントラスト比（ＯＮ１０ＦＦ比）に
よって制限されてしまい、蓄積情報を増やすと連想精度
が劣化するという問題点があった。又、正確な連想の為
には、ＳＬＭ面内でコントラスト比を均一かつ安定にす
る必要があるという問題点があった。
ているので、結合行列の値がとりえる範囲（ＴＩＪの範
囲）が、ＳＬＭのコントラスト比（ＯＮ１０ＦＦ比）に
よって制限されてしまい、蓄積情報を増やすと連想精度
が劣化するという問題点があった。又、正確な連想の為
には、ＳＬＭ面内でコントラスト比を均一かつ安定にす
る必要があるという問題点があった。
この発明は上記のような問題点を解消するためになされ
たもので、結合行列値の表現範囲を拡大できるとともに
、ＳＬＭ全面にわたって均一かつ安定に結合行列の値を
表現できる光ニューロコンピュータを得ることを目的と
する。
たもので、結合行列値の表現範囲を拡大できるとともに
、ＳＬＭ全面にわたって均一かつ安定に結合行列の値を
表現できる光ニューロコンピュータを得ることを目的と
する。
この第１の発明に係る光ニューロコンピュータは、結合
行列の値のレベルを複数のレベルに分割し、時系列的に
各レベルの結合行列を発生させてニューロン状態ベクト
ルとの積演算を行い、その後全体として結合行列とニュ
ーロン状態ベクトルとの積演算を行なう制御部を設けた
ことを特徴としている。
行列の値のレベルを複数のレベルに分割し、時系列的に
各レベルの結合行列を発生させてニューロン状態ベクト
ルとの積演算を行い、その後全体として結合行列とニュ
ーロン状態ベクトルとの積演算を行なう制御部を設けた
ことを特徴としている。
また第２の発明に係る光ニューロコンピュータは、結合
行列の値のレベルを複数のレベルに分割し、各レベルの
結合行列を周波数変調して周波数多重化し、多重化した
状態で状態ベクトルと結合行列の積演算を行い、積演算
を行った後周波数分離して全体の状態ベクトルと結合行
列の積を得る制御部を設けたことを特徴としている。
行列の値のレベルを複数のレベルに分割し、各レベルの
結合行列を周波数変調して周波数多重化し、多重化した
状態で状態ベクトルと結合行列の積演算を行い、積演算
を行った後周波数分離して全体の状態ベクトルと結合行
列の積を得る制御部を設けたことを特徴としている。
第１の発明における制御部は、結合行列の値のレベルを
幾つかのレベルに分割し、時系列的に各レベルの結合行
列を発生させる。そして各レベルの結合行列とニューロ
ン状態ベクトルの積演算を行って、全体として結合行列
と状態ベクトルの積演算を行なう。
幾つかのレベルに分割し、時系列的に各レベルの結合行
列を発生させる。そして各レベルの結合行列とニューロ
ン状態ベクトルの積演算を行って、全体として結合行列
と状態ベクトルの積演算を行なう。
また、第２の発明における制御部は、結合行列の値のレ
ベルを幾つかのレベルに分割し、各レベルの結合行列を
異なる周波数を用いて変調ル、周波数多重化を行ない、
多重化した状態で状態ベクトルと結合行列の積演算を行
ない、積演算を行なった後、周波数分離を行い、全体と
して状態ベクトルと結合行列の積を得る。
ベルを幾つかのレベルに分割し、各レベルの結合行列を
異なる周波数を用いて変調ル、周波数多重化を行ない、
多重化した状態で状態ベクトルと結合行列の積演算を行
ない、積演算を行なった後、周波数分離を行い、全体と
して状態ベクトルと結合行列の積を得る。
（実施例）
以下、この発明の実施例を図について説明する。第１図
はこの第１の発明の一実施例を示す構成図で、図におい
て（５） はコンデンサを用いた積分回路によって構成
されるアキニームレータ、（８） は発光素子アレイ（
１）、結合行列を表現するＳＬＭ （２） 、受光素子
アレイ（３） を制御する制御部である。又第２図は、
光ニューロコンピュータに係る第２の発明を示す構成図
で、図において、（７） はバンドパスフィルタ、（８
） はピークホールド回路、（９）は結合行列を表現す
るＳＬＭ （２）の制御回路である。
はこの第１の発明の一実施例を示す構成図で、図におい
て（５） はコンデンサを用いた積分回路によって構成
されるアキニームレータ、（８） は発光素子アレイ（
１）、結合行列を表現するＳＬＭ （２） 、受光素子
アレイ（３） を制御する制御部である。又第２図は、
光ニューロコンピュータに係る第２の発明を示す構成図
で、図において、（７） はバンドパスフィルタ、（８
） はピークホールド回路、（９）は結合行列を表現す
るＳＬＭ （２）の制御回路である。
次に上記構成に基づき動作について説明する。
今、結合行列ＴＩＪ （ｉ＝１．２．・・−、Ｎ、Ｊ−
１，２，−・・、Ｎ）は、 ＩＴＩＪＩ ≦Ｓ ｆｏｒ Ｖｌ、Ｊなる整数で
あるとする。以下、正負は各チャンネルに分は非負数の
み考える。今、 ＴＩＪ −Ｐ （＜Ｓ） （ｐε非負整数）のとき
、ＴＩｊを次の様に分割する。
１，２，−・・、Ｎ）は、 ＩＴＩＪＩ ≦Ｓ ｆｏｒ Ｖｌ、Ｊなる整数で
あるとする。以下、正負は各チャンネルに分は非負数の
み考える。今、 ＴＩＪ −Ｐ （＜Ｓ） （ｐε非負整数）のとき
、ＴＩｊを次の様に分割する。
Ｔｉｊ −Σ ｂｉｊ（ｋ）
ｋｌｌｌ
そして、ＳＬＭ上にこのｋに対して分割した形の結合行
列ｂｉｊ （ｎ）を出現させ多重化させる。
列ｂｉｊ （ｎ）を出現させ多重化させる。
以下、時系列的な場合と周波数的な場合について順に述
べる。
べる。
今、時刻ｔ−１でＳＬＭ上にｂｉＪ （１）を出現させ
、ニューロン状態ベクトルｖｊとの積 ■（１）＝Σｂｉｊ （１）ＶＪ を受光素子アレイ上に得る。これをＴ−３から時系列に
行ない、アキニームレータで 旧雪Σ旧（ｋ） ｍｌ なる膜電位を得ることができる。その後、しきい値処理
を行い、ニューロン状態ベクトルの更新を行うことがで
きる。
、ニューロン状態ベクトルｖｊとの積 ■（１）＝Σｂｉｊ （１）ＶＪ を受光素子アレイ上に得る。これをＴ−３から時系列に
行ない、アキニームレータで 旧雪Σ旧（ｋ） ｍｌ なる膜電位を得ることができる。その後、しきい値処理
を行い、ニューロン状態ベクトルの更新を行うことがで
きる。
又、周波数的に行う場合は、各ｋについて周波数ω皺を
与え、ｂｉＪ（ｋ）をこのωにで変調して多重化してＳ
ＬＭ上に出現させる。即ち ｂｉＪ ＝Σ ｂＩｊ （ｋ） ｃｏｓ （ωｈｔ）ｆ
ｉｌ とする、受光側では ＝Σ Σ ｂｉＪ（ｋ）ＶＪ ｃｏｓ（ωｈｔ）ｊ
謔Ｉ ｋｌｌｌ の出力が得られる。この出力をフィルタを通して各周波
に成分に分離した後、各周波数成分の和をとる、即ち を行い、膜電位Ｏｆを得る。これをしきい値処理し、ニ
ューロン状態ベクトルの更新を行う。
与え、ｂｉＪ（ｋ）をこのωにで変調して多重化してＳ
ＬＭ上に出現させる。即ち ｂｉＪ ＝Σ ｂＩｊ （ｋ） ｃｏｓ （ωｈｔ）ｆ
ｉｌ とする、受光側では ＝Σ Σ ｂｉＪ（ｋ）ＶＪ ｃｏｓ（ωｈｔ）ｊ
謔Ｉ ｋｌｌｌ の出力が得られる。この出力をフィルタを通して各周波
に成分に分離した後、各周波数成分の和をとる、即ち を行い、膜電位Ｏｆを得る。これをしきい値処理し、ニ
ューロン状態ベクトルの更新を行う。
なお、上記実施例では連想特性の場合について説明した
が、最適値問題の場合でありても良く、又、学習機能を
導入する場合であっても良く、上記実施例と同様の効果
を奏する。
が、最適値問題の場合でありても良く、又、学習機能を
導入する場合であっても良く、上記実施例と同様の効果
を奏する。
又、上記実施例ではＨｏｐｆｉ＠ｌｄニューラルネット
ワークモデルの場合について説明したが、バックプロパ
ゲーションモデルの様な他の多層のニューラルネットワ
ークそデルであっても良く、上記実施例と同様の効果を
奥する。
ワークモデルの場合について説明したが、バックプロパ
ゲーションモデルの様な他の多層のニューラルネットワ
ークそデルであっても良く、上記実施例と同様の効果を
奥する。
第３図はこの多層ニューラルネットワークの構成図で、
図において、（ｌＯ）は入力層、（１１）は中間層、（
１２）は出力層を表わす。（１３）は入カニニット、（
１４）は中間層ユニット、（１５）は出カニニットであ
る。又、（１６）は入力層と中間層間の結合（ＳＬＭ）
、（１７）は中間層と出力層間の結合（ＳＬＭ）であ
る。各結合は一実施例と同じく、ｂｉＪ（ｋ）に分割さ
れ、ω、で変調されて多重化してＳＬＭ上に表現する。
図において、（ｌＯ）は入力層、（１１）は中間層、（
１２）は出力層を表わす。（１３）は入カニニット、（
１４）は中間層ユニット、（１５）は出カニニットであ
る。又、（１６）は入力層と中間層間の結合（ＳＬＭ）
、（１７）は中間層と出力層間の結合（ＳＬＭ）であ
る。各結合は一実施例と同じく、ｂｉＪ（ｋ）に分割さ
れ、ω、で変調されて多重化してＳＬＭ上に表現する。
これにより、各層間の結合を広範囲に表現することが可
能となる。
能となる。
（発明の効果）
以上の様に、この発明によれば、結合行列の値のレベル
を幾つかのレベルに分割し、各レベルの結合行列を多重
化した構成としたので、ＳＬＨのコントラスト°比に依
存することなく結合行列の値を表現でき、連想精度を向
上させることができる。
を幾つかのレベルに分割し、各レベルの結合行列を多重
化した構成としたので、ＳＬＨのコントラスト°比に依
存することなく結合行列の値を表現でき、連想精度を向
上させることができる。
第１図はこの発明の第１の発明の一実施例による光ニュ
ーロンコンピュータを表わす概念図、第２図はこの発明
の第２の発明の実施例による光ニューロンコンピュータ
を表わす概念図、第３図はこの発明による他の実施例を
示す概念図、第４図は従来の光ニューロンコンピュータ
を示す概念図である。 図において、（１）は発光素子アレイ、（２）は空間光
変調器（ＳＬＭ） 、（３）は受光素子アレイ、（６）
。 （９）は制御回路、（７）はバンドパスフィルタ。 なお、各図中同一符号は同一、又は相当部分を示す。
ーロンコンピュータを表わす概念図、第２図はこの発明
の第２の発明の実施例による光ニューロンコンピュータ
を表わす概念図、第３図はこの発明による他の実施例を
示す概念図、第４図は従来の光ニューロンコンピュータ
を示す概念図である。 図において、（１）は発光素子アレイ、（２）は空間光
変調器（ＳＬＭ） 、（３）は受光素子アレイ、（６）
。 （９）は制御回路、（７）はバンドパスフィルタ。 なお、各図中同一符号は同一、又は相当部分を示す。
Claims (2)
- （１）ニューロンの状態ベクトルと結合行列との積和演
算を行なう光ニューロコンピュータにおいて、上記結合
行列の値のレベルを複数のレベルに分割し、時系列的に
各レベルの結合行列を発生させてニューロン状態ベクト
ルとの積演算を行い、その後全体として結合行列とニュ
ーロン状態ベクトルとの積演算を行なう制御部を設けた
ことを特徴とする光ニューロコンピュータ。 - （２）ニューロンの状態ベクトルと結合行列との積和演
算を行なう光ニューロコンピュータにおいて、上記結合
行列の値のレベルを複数のレベルに分割し、各レベルの
結合行列を周波数変調して周波数多重化し、多重化した
状態で状態ベクトルと結合行列の積演算を行い、積演算
を行った後周波数分離して全体の状態ベクトルと結合行
列の積を得る制御部を設けたことを特徴とする光ニュー
ロコンピュータ。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1021127A JP2540200B2 (ja) | 1989-01-31 | 1989-01-31 | 光ニュ―ロコンピュ―タ |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP1021127A JP2540200B2 (ja) | 1989-01-31 | 1989-01-31 | 光ニュ―ロコンピュ―タ |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH02201427A true JPH02201427A (ja) | 1990-08-09 |
| JP2540200B2 JP2540200B2 (ja) | 1996-10-02 |
Family
ID=12046227
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP1021127A Expired - Lifetime JP2540200B2 (ja) | 1989-01-31 | 1989-01-31 | 光ニュ―ロコンピュ―タ |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2540200B2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AT402350B (de) * | 1992-10-15 | 1997-04-25 | Grabherr Manfred | Gerät, das nach dem prinzip neuronaler netzwerke arbeitet |
| CN112099565A (zh) * | 2020-09-16 | 2020-12-18 | 清华大学 | 通用线性光计算模块及其控制方法 |
| JP2023544144A (ja) * | 2020-09-29 | 2023-10-20 | マサチューセッツ インスティテュート オブ テクノロジー | Ｗｄｍ重みブロードキャストを介した光ニューラルネットワークによる低消費電力エッジコンピューティング |
-
1989
- 1989-01-31 JP JP1021127A patent/JP2540200B2/ja not_active Expired - Lifetime
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| AT402350B (de) * | 1992-10-15 | 1997-04-25 | Grabherr Manfred | Gerät, das nach dem prinzip neuronaler netzwerke arbeitet |
| CN112099565A (zh) * | 2020-09-16 | 2020-12-18 | 清华大学 | 通用线性光计算模块及其控制方法 |
| JP2023544144A (ja) * | 2020-09-29 | 2023-10-20 | マサチューセッツ インスティテュート オブ テクノロジー | Ｗｄｍ重みブロードキャストを介した光ニューラルネットワークによる低消費電力エッジコンピューティング |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2540200B2 (ja) | 1996-10-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kim et al. | Simple framework for constructing functional spiking recurrent neural networks | |
| Wang et al. | Once-for-all adversarial training: In-situ tradeoff between robustness and accuracy for free | |
| Ma et al. | Facial expression recognition using constructive feedforward neural networks | |
| Hwang et al. | Query-based learning applied to partially trained multilayer perceptrons | |
| Pearlmutter | A context-sensitive generalization of ICA | |
| Jiang et al. | Invariant and transportable representations for anti-causal domain shifts | |
| US7028271B2 (en) | Hierarchical processing apparatus | |
| Sidheekh et al. | Probabilistic flow circuits: Towards unified deep models for tractable probabilistic inference | |
| Yanai et al. | Auto-associative memory with two-stage dynamics of nonmonotonic neurons | |
| Elthakeb et al. | Divide and conquer: Leveraging intermediate feature representations for quantized training of neural networks | |
| Hafiz et al. | Classification of skeletal wireframe representation of hand gesture using complex-valued neural network | |
| Tsirigotis et al. | Unconventional integrated photonic accelerators for high-throughput convolutional neural networks | |
| Yao et al. | EPNet for chaotic time-series prediction | |
| Kiviluoto et al. | S-Map: A network with a simple self-organization algorithm for generative topographic mappings | |
| Gelfand et al. | On tree structured classifiers | |
| Belbahri et al. | Foothill: A quasiconvex regularization for edge computing of deep neural networks | |
| JP2540200B2 (ja) | 光ニュ―ロコンピュ―タ | |
| Tian | A theoretical framework for deep locally connected relu network | |
| US20250124265A1 (en) | Practical activation range restriction for neural network quantization | |
| Liu et al. | A novel graph kernel based on the Wasserstein distance and spectral signatures | |
| JP3171897B2 (ja) | 知識情報処理装置 | |
| US11636346B2 (en) | Recurrent neural circuits | |
| Gürel et al. | Functional identification of biological neural networks using reservoir adaptation for point processes | |
| Jiang et al. | Invariant meta learning for out-of-distribution generalization | |
| Jang et al. | Neural Networks with Activation Networks |