JPH0855176A

JPH0855176A - ニューラルネットワーク層

Info

Publication number: JPH0855176A
Application number: JP20422195A
Authority: JP
Inventors: Hooran Pooru; ポール・ホーラン
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1994-08-15
Filing date: 1995-08-10
Publication date: 1996-02-27
Also published as: EP0697643A1; IE940637A1

Abstract

(57)【要約】【目的】より簡単な構成を有する光ラテラル抑止ネット
ワークを提供するとともに、電力消費の要求を軽減す
る。【構成】ネットワーク層１において、各ノード２は、電
流ゲイン回路により相互に接続された変調器３および検
出器５を有する。変調器３は、検出器５の照度の増加に
伴って反射率が減少するタイプのものである。入力光
は、変調器３に作用を及ぼし、反射光は層出力と、近隣
ノードへのラテラル抑止信号とを発生する。よって、ラ
テラル抑止の増加に伴って出力信号が減少する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、複数のノードを有する
ニューラルネットワーク層に係り、各ノードが、光出力
手段と、この光出力をラテラル抑止(lateral inhibitio
n)信号として層の近隣ノードへ分配する手段と、関連す
る光検出器（光の検出時にノードを抑止する手段を有す
る）とを有するニューラルネットワーク層に関する。

【０００２】

【従来の技術】従来より、ネットワークにおけるラテラ
ル抑止は、それが自然の視覚のごとき生物学的機能をモ
デル化するのに役立つため、重要視されている。画像処
理において、得られる応答には、入力パターンに対する
空間的境界化クラスタリング（spatially boundedclust
ering)およびエッジ強調（edge enhancement)がある。

【０００３】ラテラル抑止を行うネットワークは、それ
らの稠密(dense)かつ回帰的(recurrent)な性質に起因し
て、シリアルコンピュータ上へのインプリメンテーショ
ンにはなじまず、特に光学的には、並列的インプリメン
テーションが望ましい。

【０００４】光学的ラテラル抑止を行うニューラルネッ
トワーク層については、Anonimous2224 Research Discl
osure Document (1991年）、９月、Ｎｏ．３２９、Emsw
orth, GB（英国）に記載されている。この文書には、電
気的入力がアクティブになるのをノードが受信するよう
なニューラルネットワーク層が開示されている。ラテラ
ル抑止は、伝達媒体および凸反射表面を介して光学的に
行われる。その出力は電気的に出力されるようである。
検出器（光感応デバイス）は、「光が検出されている間
は常にニューロンがアクティブになるのを抑止する」よ
う動作する。この構造は、きわめて概念的かつ曖昧な用
語で記載されているため、その有効性について言及する
のは困難であるが、抑止のためにだけ光信号を用いる、
および、光源を用いることからノード毎に局所的に高パ
ワー入力を必要とする、という欠点を有する。したがっ
て、大規模な並列処理(large parallelism)を行う稠密
なネットワークでの使用の可能性は制限されると考えら
れる。

【０００５】光学的ラテラル抑止については、Optics L
etters Vol. 16, No. 13, July 1,1991におけるダブリ
ュー・カワカミ（W. Kawakami）およびケイ・キタヤマ
（K.Kitayama）による論文"Lateral inhibitory action
in an optical neural network using an internal-li
ght-coupled optical device array（内部光結合光学デ
バイスアレイを用いた光ニューラルネットワークにおけ
るラテラル抑止作用）"、さらに、Tech. Digest of Opt
ical Computing '90 (OSA, 1990)におけるダブリュー・
カワカミ（W. Kawakami）およびケイ・キタヤマ（K. Ki
tayama）による論文"Two-dimensional optical lateral
inhibitory neural network（２次元光ラテラル抑止ニ
ューラルネットワーク）"にも開示されている。これら
の構成においては、層への入力は光学的なものである。
しかし、光出力手段は、やはり、ラテラル抑止に応じて
オンオフ切り替えされる光源である。これは、最近隣の
抑止を行うのみであり、かつ、その抑止は光源の状態を
オンオフさせるものであるので、その汎用性に限界があ
ると思われる。光出力手段は光源であるため、ノードに
おける局所電力消費および付随する熱拡散の程度により
ネットワーク密度の増大には限度があると思われる。

【０００６】

【発明が解決しようとする課題】本発明は、比較的簡単
に光学的ラテラル抑止を行うニューラルネットワーク層
を提供するものである。

【０００７】他の目的は、電力消費の問題を伴うことな
く数百のノードを設けることにより、従来よりニューラ
ルネットワーク層の大きさを格段に大きくできるように
することである。

【０００８】さらに他の目的は、ニューラルネットワー
ク層の動作特性に汎用性を持たせることである。

【０００９】

【課題を解決するための手段】本発明は次の特徴を有す
る。

【００１０】すなわち、光出力手段は、層に対する入力
符号化光信号を受信するよう配置された変調器を有し、
各変調器は、対応する検出器への入射光の増加に伴っ
て、出力光信号符号化パラメータ値（an output light
signal encoding parameter value）が、対応する検出
器への入射光の増加に伴って減少するような出力特性を
有し、光分配手段は、変調器から出力された光の一部を
近隣ノードの検出器に対してラテラル抑止信号として分
配するとともに、変調器から射出された光の一部を層出
力光信号として出力する手段を有することを特徴とす
る。

【００１１】したがって、この層は、各ノードに電源
（power source）を用いることはなく、電力消費は局所
的に限定される。変調器の使用によっても、ラテラル抑
止を広範囲にかつ事実上無限の調整が可能な汎用性がも
たらされる。この構成によれば、より遠くのノードまで
の抑止が容易に達成される。

【００１２】一つの実施例において、符号化パラメータ
は強度（intensity）である。

【００１３】好ましくは、前記変調器は反射性（reflec
tive）のものである。

【００１４】一つの実施例において、前記変調器は量子
井戸変調器(quantum well modulator)であり、好ましく
は共振光学的空洞（resonant optical cavity）内に存
するものである。

【００１５】他の実施例において、前記符号化パラメー
タは強度であり、前記変調器は、前記検出器への入射光
に比例した前記検出器からの電流を受けるよう接続さ
れ、電流の増加に伴って吸収が増加する特性を持つよう
自己直線化（self-linearised）波長で動作する手段を
有する。この実施例において、変調器は、高スループッ
トのために３０％を越える反射率を有するとともに１
０：１より大きなコントラスト比を有するファブリペロ
ー（Fabry Perot）型のものでよい。

【００１６】一つの実施例において、検出器と変調器の
電気的接続には、電流ゲイン手段を有する。

【００１７】好ましくは、この電流ゲイン手段は、電流
利得を変化させる手段からなる電流ミラー回路を有す
る。

【００１８】一つの実施例において、各ノードは、変調
器へ差動入力を供給するよう接続された１対の検出器を
有する。この実施例において、層は、光入力信号の一部
を１つの検出器へ送出する手段と、他の検出器へ抑止信
号を送出する光分配手段とを有する。

【００１９】一つの実施例において、各ノードは、差動
出力を生成するように接続された１対の変調器を有す
る。

【００２０】一つの実施例において、層は、さらに、そ
の出力光から入力光を減算する手段を有する。この実施
例において、減算手段は、入力光の一部を反射する部分
反射ミラーと、検出器・変調器の対とを有する。この検
出器は部分反射ミラーからの反射光を検出し、変調器
は、ノードの変調器からの出力光を検出する。最終的な
出力は、この追加した検出器／変調器対の出力端から得
られる。

【００２１】他の実施例において、出力の一部を入力に
フィードバックする手段を有する。この実施例におい
て、フィードバック手段は、入力光信号の経路中に設け
た入力変調器アレイと、出力信号経路中に設けた出力検
出器アレイとを有し、変調器に対して回帰的フィードバ
ックを与える。

【００２２】本発明は、添付の図面を参照した後述の実
施例説明（単に例として示した）からより一層明瞭に理
解されよう。

【００２３】

【実施例】図面を参照するに、まず、図１に、ニューラ
ルネットワーク層の全体構成を示し、参照番号１で総称
して示す。層１を任意の所望個数配列すれば、ニューラ
ルネットワークのフル構成を得ることができる。層１
は、光学的入力および出力を有するとともに、光学的ラ
テラル抑止を行い、光学的信号のみを用いてノード間で
抑止信号を伝達する。電気的信号はノード内でのみ使用
される。光学的ラテラル抑止は、層内の近くのノードだ
けでなく遠くのノードにまで及ぶ。これはノード内に光
源を必要とすることなく実現され、したがって、ノード
内での高電力消費も必要ない。

【００２４】層１のノード内において、光出力手段は変
調器３である。各ノードは、電気回路４により検出器５
に接続された変調器３と、光学的要素６とを有する。

【００２５】図１内の矢印付きの線は、光信号を示して
いる。符号化された入力光信号Ａは、変調器３に入力さ
れる。変調器３から出力された光信号Ｂは、対応する光
学的要素６に入力される。この要素において、屈折され
た光信号Ｃが層１の出力光信号となる。一方、反射光信
号Ｄは、回帰的ラテラル抑止信号として近隣ノード２へ
入力される。各変調器３は、その対応する検出器５から
受けた信号が増加するに伴って減少する出力信号を有す
る型のものである。したがって、検出器５で検出された
抑止信号の強度が大きいほど、その対応する変調器の出
力信号Ｂは低下する。よって、出力信号Ｃも低下する。

【００２６】この概念的な動作説明は、変調器／検出器
の対がＳＬ−ＳＥＥＤ構造となっている層１の特定の構
成について適用されるものであるが、他の多くの異なる
実施例に対しても適用される。このような代替実施例の
幾つかについては、最後に説明する。

【００２７】次に、図２〜図１０を参照して、層１をよ
り詳細に説明する。各変調器３は、自己直線化自己電気
光学効果構造（self-linearised self electro-optic e
ffect configuration）に配置された非対称ファブリ・
ペロー（AFPM）量子井戸型のものである。量子井戸変調
器は、良好な電子集積化が行え、標準のＶＬＳＩプロセ
スで製造することができる。さらに、その動作波長は、
多くの検出器およびレーザ光源の波長に適合する。その
上、各変調器３は、共振光学的空洞(resonantoptical c
avity)内に量子井戸を有するので、吸収変化を利用して
共振を変化させ、これにより極めて良好なコントラスト
をもたらす。

【００２８】図２にノード２をより詳細に示し、図３に
概略的な応答を示す。検出器５は、電圧依存電流源とし
て働くフォトダイオードである。検出器５は、回路４を
介して変調器３に直列に接続される。回路４は電流ゲイ
ン回路である。この構成における変調器３は、変調器吸
収(modulator absorption)および光電流(photocurrent)
が印加電界の増加に伴って増加する励起子バンデージ
（exciton bandedge)以下で動作する。変調器３は、３
０％を越えるＯＮ反射率(ON reflectivity)に起因し
て、比較的高いスループットを有する。さらに、変調器
３は、中程度のコントラスト比（１０：１から１００：
１の範囲内）を有する。変調器３で発生した光電流が検
出器５に照射される光により設定された光電流と異なる
場合には、変調器３に電圧が発生し、その光電流が等化
されるまでは吸収／反射を変化させる。図３に示すよう
に、低電流での平坦な応答は、初期的に充電に抵抗する
変調器内部ダイオードポテンシャルに起因する。一旦、
これが克服されると、反射率は、フォトダイオード電流
の増加とともに直線的に減少していく。最大吸収が達成
されたとき、変調器電流はさらに増加するであろう。光
学的パワーレベルが増加すると個々の曲線は右方へシフ
トするが、その傾きは一定であり、これにより、この効
果はパワーとは無関係であることが示されている。

【００２９】検出器５への入射光は変調器３への入射光
より低下している。なぜなら、光が出力へ取り出されて
損失が生じるからである。したがって、２つのデバイス
の間で両デバイスの電流が等しくなるように電流増幅を
行うのが有利である。このような電流ゲインの必要性
は、高反射率変調器３を用いることにより低減される。
実際、弱い抑止の場合には、回路４は必要ないと考えら
れる。この代わりに、変調器の応答性を、より小さい光
電流を生成するよう変更してもよい。

【００３０】変調器の反射率によって識別できる各ノー
ドの内部状態は、単に近隣ノードによってのみ決まり、
当該ノードの入力には依存しない（但し、最終出力は依
存する）。この信号経路の幾何的構造により、ラテラル
相互接続機能による入力のコンボルーション(convoluti
on)を効果的に得ることができる。図４のグラフは、±
３ノードにわたる平坦なラテラル抑止関数ｇ（ｘ）の典
型的なシミュレーションの結果を示す。図４において、
１０は入力信号、１１は抑止関数、１２は出力を示す。
エッジ効果(edge effects)を回避するために、周期的な
境界条件(periodic boundary condition)が課せられて
いる。この例では、出力信号１２から明らかなように、
層は、単純なエッジ強調作用を行うものである。

【００３１】次に、特に図５〜図９に、層１の構成をさ
らに詳細に示す。ここに示す例は実験室での設定であ
り、本発明を応用する際には他の広範囲な具現化が可能
である。量子井戸変調器３は、３０％という比較的高い
正面反射率を有する非対称ファブリ・ペロー光学的空洞
内に構成される。共振光学的空洞を用いることにより、
変調率を、典型的には１５より大きくすることができ
る。したがって、ＯＦＦ反射率は非常に小さく（理論的
には０であるが、典型的には５％未満に）することがで
きる。動作波長は８５７ｎｍであり、これはＧａＡｓ／
ＡｌＧａＡｓ帯に対応する波長より長い。これによっ
て、バイアス下で応答性を向上させて、自己直線化を行
うことができる。変調器および検出器の各リニアアレイ
は２１個の長方形デバイスからなる。

【００３２】図５および図６に示すように、回路４は、
可変抵抗Ｒｃを有するウィルソンの電流ミラー型のもの
であり、そのゲインを調整することができる。電流ミラ
ー４の動作を説明するために、図７に、種々のゲインレ
ベルにおける検出器−変調器伝達曲線を示す。電流増幅
をもたらすことに加えて、各ミラー回路は、検出器５を
一定の応答性に維持し、これによって、対となっている
変調器の電気的状態から検出器５を隔離するためにも用
いられている。電流ミラー４により解決される他の問題
は、変調器と検出器を直列に接続することの問題であ
る。すなわち、変調器と検出器は、本構成では、共通の
ｎドープされた基板で形成されているため、直接に直列
接続することが不可能であることである。図８は、回路
４での比Ｒｃ／ＲｍをＲｃ／Ｒｍ＝３５ｋ／１ｋとした
場合の応答性／制御電流の曲線と、変調器電流／制御電
流の曲線を表す。これにより、光電流の増加に伴って直
線的に応答性が低下する様子が示されている。

【００３３】再度、図５を参照するに、アレイ発生器(a
rray generator)Ｋ１は、入力端において均一な照明を
受けるために用いられている。アレイ発生器Ｋ１は、長
方形セル構造で１６レベルのキノフォーム(kinoform)を
有する。アレイ発生器Ｋ１の周期は１ｍｍであり、効率
の測定値は８１％、アレイの不均等性は＋／−７％であ
る。格子伝達率(grating transmission)（入射ビーム強
度に対する個々の伝達ビーム強度の比）の測定値は、
０．０２０から０．０３０の範囲内である。信号Ｄを検
出器アレイ５へ入力させるための相互接続要素Ｋ２も１
６キノフォーム構造である。ｋ２においては、約７２０
μｍの周期を有する格子設計を用いる。これは、１×３
９オーダー信号ウインドウ内に埋め込まれた６本のＯＮ
ビーム（すなわち、＋／−１，＋／−２および＋／−３
オーダー）を発生すると同時に、ＯＦＦオーダー０，＋
／−４，＋／−５，．．．＋／−１９をＯＮビームの５
％未満に抑制する。これによって、自己抑制が防止され
るとともに、直近の隣接接続セル個数が３に維持され
る。この場合のＯＮビームへの回折効率は、不均等率を
＋／−１％として、６０％である。要素Ｋ１，Ｋ２とも
に、溶融シリカ(fused silica)に、標準的な電子ビーム
およびフォトリソグラフ技術を用いて、さらにリアクテ
ィブエッチングを用いて製造される。

【００３４】入力パターンを含む入力マスクＭの両側
に、１対のレンズＬ１，Ｌ２が配置される。光信号Ａ
は、レンズＬ３により変調器３上へ射出される。変調器
３からの光学的信号の微小部分は、半波長プレートおよ
び偏光子により振り分けられる出力Ｃとして利用され
る。半波長プレートおよび偏光子は、可変減衰を行い、
層のスループットを調節して検出器アレイに対する損失
を制御できるようにしている。光学的要素６は、抑止信
号を分配する回折ファンアウト(fanout)デバイスＫ２に
よっても構成される。

【００３５】Ｌ１フーリエ平面(Fourier plane)におか
れた入力マスクＭは、入力パターンを選択して、強度に
より入力を符号化する。これは、レンズＬ２，Ｌ３によ
り、変調器３へ中継される。

【００３６】格子Ｋ２は、１ツー６のファンアウトをも
たらす。同一の検出器５にコヒーレントビームが当たる
ときの干渉効果を回避するために、各デバイスの長さを
拡張している。スポットが出力されるとき各スポットが
検出器アレイの異なる部分に当たるように、スポットは
変調器アレイの対角線に沿って入力される。デバイスの
両方のセットは同じ方向(orientation)を有するので、
変調器上へのスポットの間隔は検出器上のそれの√２倍
でとなる。６個の近隣セル上の信号により生成された電
流は各検出器により加算され、これによって、その対と
なる変調器の反射率が自己直線化伝達曲線にしたがう比
例量だけ低減される。一旦、電気的応答により決まる時
間ステールでシステムが安定すると、最終解を変調アレ
イから読み出すことができる。

【００３７】ゲインが２０未満であるとき、回路４内の
非線形性は、１μＡの検出器電流以下でのみ存在し無視
することができる。なぜなら、伝達曲線は低電流におい
て平坦だからである。したがって、直線性は保存され、
ゲインは抵抗値Ｒｃに比例する。高いゲイン値で急峻な
スレショールディング(thresholding)を行うことができ
る。

【００３８】第１のフーリエ平面（すなわちＬ１とＬ２
の間）におけるフォトグラフィックスライドマスクＭ
は、変調器アレイ上に直接投影される入力パターンを選
択する。これにより強度の符号化(intensity coding)が
設定される。このようなパターン２つと、それらの結果
としての、抑止フィードバックを伴う出力を図９
（ａ），（ｂ）に示す。図９（ａ）に示すように、入力
が７本の均一なビーム列である場合、中央のノードに最
大の抑止が見られ、ついでその直近の隣のノードがこれ
に続く。側端のノードの抑止が最も小さく、この場合に
は伝達曲線の閾値の性質によりその出力は低下していな
い。エッジ強調の大きさは、本質的には、変調器のコン
トラスト比により制限される。ステップ入力パターンに
よれば、予測されるとおり、当該ステップに最も近い変
調器の反射率が大幅に低下する。

【００３９】このシステムの時間応答は、個別回路の時
定数ＲＣにより制限される。特定のデバイスおよび回路
を使用した場合、抑止されるノードは、フィードバック
が働いてから１００μｓ未満内に安定出力に落ちつく。
この速度を最適化するための試みは行っていない。

【００４０】出力の強度依存性を調べるために、図９
（ａ）の平坦な入力パターンを用いた。本システムへの
総入力強度を増加させながら中央のノード（最大の抑止
を受ける）の強度を測定した。その結果を図１０
（ａ），（ｂ）に示す。図１０（ａ）は、エッジ強調出
力の強度依存性を示す。図１０（ｂ）は、フィードバッ
クなし(NFB)の出力をフィードバッ(FB)ありの出力で割
った結果を示す。図１０（ａ）において、低い強度で
は、光電流が変調器自体の場（modulator built-in fie
ld)を克服するには十分でないので、出力は入力に対し
て正比例する。入力レベルがより高くなると、減算効果
が現われ、出力パワーが直線的に減少する（この場合、
ゲイン値が例えば２０と高いためにこの減少が急峻であ
る）。一旦、変調器がその最大吸収に達すると、フィー
ドバックなしの入力強度ＩNFBの、フィードバックあり
の出力ＩFBに対する比は平坦になる。中央の両側のノー
ドもそれらの最低レベルに達するので、傾斜が僅かに変
動する。フィードバックなし出力のフィードバックあり
出力に対する比は、抑止されないままのエッジに対する
最中央ピクセルの低減係数(reduction factor)を表す。

【００４１】２１個のデバイスのアレイに対して、８５
７ｎｍで、２ｄＢの挿入損失と１０を越えるコントラス
ト比が達成された。これらのパラメータを変えれば、変
調効率および検出効率が変化する。個々のノードのゲイ
ン値を調整することによりこれを解決することができ
る。そのために、ファンアウト格子Ｋ２を除去して各ノ
ードがそれ自身を抑止するようにすることができる。均
一な入力ビームに対して、ゲイン値の僅かな変化により
出力を均一にすることができる。前述の結果において
は、全体のシステム均一性が高かったのでゲインの調整
は行わなかった。回折光学系について重要なパラメータ
は入力ビームの均一性であり、ファンアウト格子につい
ては、回折効率および側面オーダー抑止(side ordersup
pression)である。クロストークはラテラル抑止が基づ
く原理ではあるが、不要なクロストーク、例えば反射に
よるもの、あるいは不要な回折オーダーはデバイスのノ
イズの原因となる。好都合には、伝達曲線の平坦部がこ
れらの効果に対するシステムの感応性を比較的低くして
いる。

【００４２】次に、図１１に、代替構成のノード１６を
示す。このノード１６は、１対の検出器１８，１９に接
続された変調器１７を有する。この構成では、矢印付き
の線Ａ’で示した入力信号の一部は検出器１８に入力さ
れ、一方、ラテラル抑止信号Ｂは第２の検出器１９へ入
力される。変調器に対する差動信号は、両検出器の間か
ら取り出される。この構成では、ラテラル抑止信号は減
算を行うために入力により低減される。このようにし
て、変調器の反射率は入力に依存するとともに、近隣の
出力にも依存する。さらに複雑な数学的な関数も実現可
能である。この実施例では、検出器信号が変調器への逆
バイアスを維持するようにすることが肝要である。

【００４３】また、差動変調器構成を採用することも可
能である。その場合には、低コンスタントで、かつ、よ
り安価な変調器を用いることができる。

【００４４】図４のグラフに示した出力信号１２から、
次のことが分かる。すなわち、単一ステージ抑止の結果
は、基本的には、元の入力の縮小版であり、これに当該
処理を表す僅かな変化(pertuabations)が伴ったもので
ある。したがって、元の入力を出力から減算すれば、当
該処理を増進させることができる。

【００４５】次に図１２に、本効果を達成する層２０を
示す。この層２０は層１の構成要素を含み、先の図で説
明したものと同様の構成要素には同一の参照番号を付し
てある。但し、これに加えて、入力光信号の経路内に部
分反射ミラー２１を配置している。また、このミラー２
１と光学的に結合した検出器／変調器対２２の群を１組
有する。これらの要素は、各対２２の検出器２５が対応
ノード２の入力信号の反射光を検出する位置にくるよう
配置される。電流経路は、対応する変調器２３へつなが
る相互接続導体２４上にあり、この電流は、検出器２５
上の照度(illumination)に直線的に関係する。変調器２
３は、先の例での出力光信号の経路内に配置される。シ
ステム２０の出力光信号２６は、変調器２３からの反射
光である。このように、システム２０では、検出器／変
調器対２の動作の同一の原理を用いて、出力から入力を
減算した。ミラー２１から検出器２５への反射が大きい
ほど、出力信号２６は小さくなる。これにより、小さい
出力であればそれを拡大することができる。この出力
は、ウィナー・テイク・オール（winner-take-all：勝
者全獲得)層のようなさらに他の処理ステージへの入力
とすることができる。

【００４６】次に、図１３を参照し、出力の回帰的フィ
ードバックを入力に施してウィナー・テイク・オール動
作を得る層３０について説明する。層３０は、均一に照
明されて外部入力(external inputs)を提供する第２の
変調器アレイ３１を有する。この構成は、アレイ３１で
変調されたビームが、次に、前述したように変調器３へ
入射されるようになっている。但し、大きく異なる点
は、出力が、監視され、入力変調器３１（これは代替的
に光源であってもよい）を制御するために利用され、こ
れにより回帰ループを形成する点である。これは、入力
変調器アレイ３１へ制御信号を与えるように接続された
出力検出器アレイ３３を用いることにより達成される。
フィードバック信号は入力信号の信号源へ向けられても
よい。動作時には、フィードバックループが確立するた
めに足る時間だけ入力を与えればよく、その後は、入力
が除去され、システムは安定状態に収束する。

【００４７】光学的システムにおいて、単一ウィニング
・ノード(single winning node)をもたらす全体的（グ
ローバル）相互接続は実現できない。なぜなら、現実的
なサイズのネットワークにおいて利用できる光パワーは
有限であり、また、ラテラル相互接続は近隣ノードとの
間だけに存在するからである。したがって、相互接続の
範囲により定まるような近隣につき１つ、局所的なウィ
ナーが生じる。各近隣すなわちセルにおいて、そのエリ
ア内の入力が完全に均一であったとしても、１つのウィ
ナーが生じることが判明した。この理由は、反復処理中
に微小な偽変動が生じ、これが増幅されて最終的にウィ
ナーを作り出すためである。図１４に示したグラフは、
入力と、本シミュレーションが収束する結果の例を示し
ている。これから、局所的な最大点の位置が確認される
が、ノードＮ２２のあたりに偽ピークが生じていること
も分かる。このようなシステムは、おそらくヘビアン(H
ebbian)ネットワークの前段に配置されて、自己組織化
(self-organising)ネットワークの重要部を構成するこ
とができる。フィードバック内の正のゲインから生じる
偽ピークの問題は、非線形フィードバック関数を導入す
ることにより改善することができる。例えば、Ｓ字ゲイ
ン関数を用いれば、変曲値(inflection value)の点の信
号は減損し、そのため減衰する。その結果、当該変曲値
により定まる閾値より大きい信号のみが増大する。

【００４８】さらなる非線形性は、ラテラル抑止信号が
ノードの値により変調（乗算）される分路ネットワーク
(shunting networks)において導入される。抑止光信号
が、検出前にノード変調器から反射される光学的な具現
化が考えられる。これは、より複雑な光学的構成を必要
とする。この構成は、従来の分路ネットワークに直接的
に対応するものではない。なぜなら、本例の場合、抑止
信号は、一般的に使用される信号状態変数によってでは
なく、変調器の反射率により乗算されているからであ
る。

【００４９】本発明は、容易に入手できる部品のみを用
いて、広範囲な光学的ラテラル抑止を実現する極めて簡
単な方法を提供する。光源は使用せず、よって、ノード
での局所電力消費および付随する熱放射なく、大規模な
層を構成することができる。他の極めて重要な事項は、
層の動作に大きな汎用性があることである。これは、効
果的にかつ高度に可変な出力および抑止強度が可能だか
らである。

【００５０】本発明は、上述した実施例に限定されるも
のではない。例えば、変調器は反射性のものではなく透
過性のものであってもよい。但し、この場合、適当な光
透過性基板を用いる必要がある。このような変調器は、
上述した実施例をほとんど変更することなくＳＬ−ＳＥ
ＥＤ構造に用いることができる。しかし、前記変調器
は、例えばシリコン上の液晶、あるいはシリコン構成に
結合されたＧａＡｓフリップフロップのような他の構造
にも利用することができる。

【００５１】さらに、変調器は、前述のような強度によ
るのではなく、周波数パラメータあるいは偏光パラメー
タによって符号化された入力信号に応答するように駆動
してもよい。

【００５２】前述のように抑止は完全に光学的に行われ
るが、ある種の抑止に電子信号を用いてもよい。例え
ば、リセットのようなグローバルな抑止信号として電子
信号を用いたり、あるいは、遠くのノードに対する抑止
は光学的に行い近くのノードの抑止に電子信号を用いた
りすることができる。これによって、利用可能な光学的
パワーを最大限に活用できる。

【００５３】検出器信号の増加に伴って変調器出力が減
少する限り、変調器を検出器に接続するのに、任意の適
当な電子回路（おそらく非線形応答のもの）を利用する
ことができる。例えば、変調器にかかる電圧を変化させ
る従来の増幅トランジスタまたは回路（非線形応答のも
の）に対する電圧入力として、光検出器応答を利用する
ことができる。また、ＳＬ−ＳＥＥＤ構成に変わるもの
として、例えばシリコン上液晶のような代替技術を用い
ることができる。この場合、符号化パラメータ値は、偏
光である。このパラメータ値を偏光することは、２つの
直交方向の比を変えることを意味する。

【００５４】変調器と検出器の別個のリニアアレイの代
えて、両者を単一のユニット内に結合してもよい。さら
に、これらのユニットを、多分各ノード内に局所電子回
路を含めて、ユニットの２次元アレイ内に集積化するこ
とができる。さらにコンパクトな構成を得るためには、
集積化光学計を用いることができる。例えば、光学電子
デバイスアレイは、μｍからｍｍスケールのリソグラフ
ィー技術を用いて製作でき、また、同様の技術を用いて
相補的な集積化光学的要素を製作することができる。

【００５５】抑止信号を生成する光学的要素は、代替的
に、例えば、ホログラフィックなものであってもよい。

【００５６】

【発明の効果】本発明によれば、比較的簡単に、光学的
ラテラル抑止を行うニューラルネットワーク層を提供す
ることができる。また、電力消費の問題を伴うことなく
数百のノードを設けることにより、従来より層の大きさ
を格段に大きくできる。さらに、層の動作特性には汎用
性を持たせることができる。

【図面の簡単な説明】

【図１】本発明のニューラルネットワーク層の動作原理
を説明するための概略図である。

【図２】ＳＬ−ＳＥＥＤ構成に基づく本実施例における
層のノードの模式図である。

【図３】ノードにおけるラテラル抑止を表す伝達曲線を
示すグラフである。

【図４】単純なエッジ（境界）強調のためのノードにお
ける入力信号、抑止信号および出力信号を表す１組のグ
ラフである。

【図５】ニューラルネットワーク層の詳細な具現化を示
す平面図である。

【図６】層の電流ゲイン回路の回路図である。

【図７】層内の異なるゲイン回路設定に対する検出器光
電流(Photocurrent)の関数としての変調器反射信号(mod
ulator reflected signal)を表すグラフである。

【図８】層内の変調器電流と制御電流との関係、および
反射率と制御電流との関係を示すグラフである。

【図９】層の動作を説明するための図である。

【図１０】層の動作を説明するための図である。

【図１１】本発明のニューラルネットワーク層のノード
の代替構成の斜視図である。

【図１２】本発明の層の他の構成を示す斜視図である。

【図１３】本発明のさらに他の層を示す図である。

【図１４】入力に対する層の応答を示す図である。

【符号の説明】

１…ネットワーク層、２…ノード、３…変調器、４…導
体、５…検出器、６…光学的要素。

Claims

【特許請求の範囲】

【請求項１】複数のノードを有するニューラルネットワ
ーク層であって、各ノードは、光出力手段と、光の検出に応答してノードを抑止する手段を有する関連
の光検出器とを有し、前記出力手段からの光を回帰的ラテラル抑止信号として
当該層の近隣ノードの検出器へ分配する手段を備え、さ
らに、前記光出力手段は、当該層に対する入力符号化光信号を
受信するよう配置された変調器を有し、各変調器は、前記関連の検出器上に入射される光の増加
に伴って、出力光信号符号化パラメータ値が減少する出
力特性を有し、前記光分配手段は、前記変調器から出力された光の一部
を前記ラテラル抑止信号として近隣ノードの検出器へ分
配するとともに、該変調器から射出された光の一部を層
出力光信号として出力する手段を有することを特徴とす
るニューラルネットワーク層。
【請求項２】請求項１記載のニューラルネットワーク層
であって、前記符号化パラメータは強度(intensity)で
あるニューラルネットワーク層。
【請求項３】請求項１または２記載のニューラルネット
ワーク層であって、前記変調器は反射性のものであるニ
ューラルネットワーク層。
【請求項４】請求項１、２または３記載のニューラルネ
ットワーク層であって、前記変調器は量子井戸であるニ
ューラルネットワーク層。
【請求項５】請求項４記載のニューラルネットワーク層
であって、前記量子井戸は共振光学的空洞内にあるニュ
ーラルネットワーク層。
【請求項６】請求項３、４または５記載のニューラルネ
ットワーク層であって、前記符号化パラメータは強度で
あり、前記変調器は、前記検出器に入射される光に比例
して前記検出器からの電流を受けるよう接続され、電流
増加に伴い吸収が増加する特性をもつよう自己直線化波
長(self-linearised wavelength)で動作する手段を有す
るニューラルネットワーク層。
【請求項７】請求項５または６記載のニューラルネット
ワーク層であって、前記変調器は、高スループットおよ
び１０：１より大きい一定のコントラスト比のために、
３０％を越える反射率を有する非対称ファブリ・ペロー
型のものであるニューラルネットワーク層。
【請求項８】請求項４〜７のいずれかに記載のニューラ
ルネットワーク層であって、前記検出器と前記変調器と
の間の電気的接続は電流ゲイン手段を有するニューラル
ネットワーク層。
【請求項９】請求項８記載のニューラルネットワーク層
であって、前記電流ゲイン手段は、電流ゲインを変化さ
せる手段を備える電流ミラー回路を有するニューラルネ
ットワーク層。
【請求項１０】請求項１〜９のいずれかに記載のニュー
ラルネットワーク層であって、各ノードは、前記変調器
に対して差動入力を与えるよう接続された１対の検出器
を有するニューラルネットワーク層。
【請求項１１】請求項１０記載のニューラルネットワー
ク層であって、さらに、前記光入力信号の一部を一方の
検出器へ送出する手段を有し、前記光分配手段は他方の
検出器に対して前記抑止信号を送出するニューラルネッ
トワーク層。
【請求項１２】請求項１〜１１のいずれかに記載のニュ
ーラルネットワーク層であって、各ノードは、差動出力
を発生するよう接続された１対の変調器を有するニュー
ラルネットワーク層。
【請求項１３】請求項１〜１２のいずれかに記載のニュ
ーラルネットワーク層であって、さらに、当該ニューラ
ルネットワーク層の出力光から入力光を減算する手段を
有するニューラルネットワーク層。
【請求項１４】請求項１３記載のニューラルネットワー
ク層であって、前記減算手段は、入力光の一部を反射す
る部分反射ミラーと、検出器・変調器の対とを有し、該
検出器は部分反射ミラーからの反射光を検出するよう配
置されるとともにし、該変調器はノード変調器からの出
力光を検出するよう配置され、この追加した検出器／変
調器対の出力端に最終的な出力が得られるニューラルネ
ットワーク層。
【請求項１５】請求項１〜１４記載のニューラルネット
ワーク層であって、出力の一部を入力へフィードバック
する手段が設けられたニューラルネットワーク層。
【請求項１６】請求項１５記載のニューラルネットワー
ク層であって、前記フィードバック手段は、入力光信号
の経路中に入力変調器アレイを有するとともに、出力信
号の経路中に出力検出器アレイを有し、当該変調器に対
して回帰的フィードバック(recurrent feedback)を行う
ニューラルネットワーク層。