JP7657460B2 - イベント駆動型スパイキング畳み込みニューラルネットワーク - Google Patents

Description

本発明は、イベント駆動型スパイキング畳み込みニューラルネットワーク、前記イベント駆動型スパイキング畳み込みネットワークを制御するためのコンピュータプログラム、及び前記イベント駆動型畳み込みニューラルネットワークのためのメモリマッパーに関するものである。

畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、及びＣＮＮのタスクを効率的に実行するための対応するチップアーキテクチャは、当技術分野で知られている。

特定のクラスのＣＮＮには、スパイキング畳み込みネットワーク（ｓＣＮＮ：ｓｐｉｋｉｎｇ ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｔｗｏｒｋ）を含み、これはニューロンの特定の膜電位が達したときに生成される電気スパイクの形態の不連続な信号挙動に関して、生物学的ニューロンの機能を模倣し、ｓＣＮＮよりもエネルギー効率が低くなる任意の入力に対して連続出力を提供する従来のＣＮＮに対して対照的である。

次いで、ｓＣＮＮは数学的に十分に説明されているが、専用ハードウェアでの実装は知られていない。汎用プロセッサに実装されたｓＣＮＮは、データ処理の特定のモードの利点を失うため、比較的低速であるか、特に高いメモリ要件を伴うかである。

ただし、現時点では、ｓＣＮＮを動作するために特別に設計された専用の電子回路は存在しない。

一般的な（必ずしも畳み込みではない）ニューラルネットワークは、ニューラルネットワークの各ニューロンを互いにほぼ任意の方式で相互接続する能力を提供する、いわゆるクロスバーアーキテクチャに基づくＩＢＭらの「トゥルーノース（ｔｒｕｅ ｎｏｒｔｈ）」チップアーキテクチャ（米国特許第２０１４／００３２４６５ Ａ１号）により教示される。ただし、ニューロン間の各接続には関連付けられた重みを有しているため、これには非常に大きなメモリ要件がかかるようになる。したがって、各ニューロンが他のすべてのニューロンと相互接続されているため、すべての重みを含む重み行列のメモリ要件は、ニューロンの数の２乗にほぼ比例し、すぐに実行不可能になる。

さらに、トゥルーノースアーキテクチャーは別として、ＣＮＮ用の既知のプロセッサはフレームベース式で動作し、これはｓＣＮＮを扱うときに有利な信号処理のモードとは反対のものである（フレームベース対イベントベース）。

現在のところ、ｓＣＮＮを効率的かつ高速に実行するために特別に設計された電子回路アーキテクチャはない。

米国特許第２０１４／００３２４６５ Ａ１号

本発明の目的は、エネルギー及びメモリ効率の高い方法でスパイキング畳み込みネットワークを実行するためのシステムを提供することである。該目的は、請求項１の特徴を有する装置によって達成される。

有利な実施形態は、従属請求項に記載されている。

本発明によるｓＣＮＮの１つの層の模式的なレイアウトである。 複数の層を含むｓＣＮＮの模式的なレイアウトである。 メモリマッパーの模式的なデータフロー図である。 ニューロン座標と適用可能なカーネル値とがどのように決定されるかを示す模式図である。 ニューロンの更新処理を示す模式的なデータフロー図である。 並列化されたニューロンモジュールアーキテクチャの図である。

以下では、「スパイキング畳み込みニューラルネットワーク」という用語及び類似の用語は、別段の記載又は示唆がない場合、スパイキング畳み込みニューラルネットワークを動作させるために構成及び配置された少なくとも１つの電子回路を指す。

請求項１によれば、イベント駆動型スパイキング畳み込みニューラルネットワーク（ｓＣＮＮ）は、複数の層を備え、各層は以下を備える：
－ 少なくとも１つの畳み込みカーネルのカーネル値をイベント駆動方式で格納及び処理するように構成されたカーネルモジュール、
－ 前記ネットワークのニューロンのニューロン状態をイベント駆動方式で格納及び処理するように、特に更新し、かつ特に処理されたもの、例えば、更新されたニューロンから生成されたスパイクイベントを出力するように構成されたニューロンモジュール、
－ ソース層からの着信スパイクイベントが少なくとも１つの畳み込みカーネルとの畳み込みによって投影するニューロンを決定するように構成されたメモリマッパーであり、ここで前記決定されたニューロンのニューロン状態は、少なくとも１つの畳み込みカーネルの適用可能なカーネル値での更新されるようになり、前記メモリマッパーは、イベント駆動方式で着信スパイクイベントを処理するように構成されている、前記メモリマッパー。

イベント駆動型ｓＣＮＮは、特に、メモリマッパー、ニューロンモジュール、及びカーネルモジュールなどのコンポーネントを備える電子回路及び／又は少なくとも１つのコンピュータチップである。各コンポーネントは、特に、電子回路又は少なくとも１つのコンピュータチップに配線での通信を有する。

すなわち、ｓＣＮＮのいくつかのコンポーネントはプログラム可能であり得るが、前記コンポーネントは、例えば、一般的な多目的チップ上でその後実行されるコンピュータプログラム又はソフトウェアに反映又は実装されるだけでなく（すなわち、ｓＣＮＮの前記コンポーネントは、仮想ではなく、かつ一般的なコンピュータチップでは機能しない）、ｓＣＮＮの電子回路の物理的な実体である。

「層」という用語は、特に、ｓＣＮＮの層、特にＣＮＮの一般的な用語における層を表す少なくとも１つの電子回路を指す。

本発明によるイベント駆動型ｓＣＮＮは、特に、限定され、かつ所定の数の層を備える。

従来のＣＮＮとは異なり、イベント駆動型ｓＣＮＮのコンポーネントは、イベント駆動方式で情報を処理するように構成されている。

ｓＣＮＮを駆動するイベントは、特に、ｓＣＮＮの層の１つによって受信されるスパイクイベントによって与えられる。

スパイクイベントは、特に、そのイベントに関する構造化された情報を含むデジタルデータである。

したがって、他のＣＮＮとは対照的に、イベント駆動型ｓＣＮＮは、特にフレームベース又はクロックベースではなく動作するため、例えば、イベント生成ダイナミックビジョンカメラ及び他のイベント生成デバイスによって提供されるようなデータストリームに準拠することに適している。

カーネルモジュールは、すべての着信スパイクイベントに特に適用することができる、少なくとも単一の畳み込みカーネル（本明細書では「カーネル」だけで呼ばれることもある）のカーネル値を格納する。

これにより、カーネルモジュールが、少なくとも１つの畳み込みカーネルのカーネル値を格納するために、同程度の小さな関連付けられたカーネルメモリを保持できるようになる。

特に一般的なニューラルネットワークとは対照的に、少なくとも１つの畳み込みカーネルを設けることで、ｓＣＮＮのニューロン接続がより小さな重みのセットを特徴とするため、ｓＣＮＮのメモリ要件が軽減される。

イベント駆動型ｓＣＮＮでは、カーネルモジュールに複数の畳み込みカーネルが格納されているのが一般的である。

ニューロンモジュールは、本質的に層のすべてのニューロンを格納しており、前記ニューロンは層の出力特徴マップに特に関連付けられている。

各ニューロンは、特に出力特徴マップに含まれ、出力特徴マップにおける１つのニューロンの位置は、特にニューロン座標によって与えられる。

出力特徴マップは、特に値の２次元配列で、前記値はニューロンのニューロン状態に対応している。

「ニューロン」という用語は、特に、ｓＣＮＮが、調整可能なニューロンの状態を含むことを特徴とするｓＣＮＮの実体を指し、前記ニューロンの状態とは、ニューロンがいつ、どのようにスパイクイベントを出力するかを特徴づける機能を対象とする。

また、ニューロンモジュールは、イベント駆動方式で動作する。

特に、各着信スパイクイベントで、ニューロンモジュールの少なくともいくつかのニューロンが特定のカーネル値で更新（つまり処理）され、ニューロンの状態（当技術分野では膜電位と呼ばれることもある）に応じて、スパイクイベント自体が出力される。

前記更新プロセスは、特に、それぞれのニューロンアドレスに格納されているニューロン状態の、適用可能なカーネル値、及び特にバイアス値を含む計算値との加算又は減算を含む。

ニューロンモジュールは、ネットワークのニューロンのニューロン状態を格納及び処理するように構成され、更新されたニューロンの状態に応じて、ニューロンモジュールは、更新されたニューロンから生成された１つ又は複数のスパイクイベントを出力し得ることに留意されたい。

一般的に、更新された各ニューロンがスパイクイベントを出力するとは限らない。

本発明の別の実施形態によれば、カーネルモジュールは、関連付けられたカーネルメモリに接続されたカーネルインターフェースを備え、前記関連付けられたカーネルメモリは、少なくとも１つの畳み込みカーネルのカーネル値を、特に複数の畳み込みカーネルをカーネルアドレスに格納するように構成されており、前記カーネルモジュールは、ニューロンモジュールに電子的に接続されている。

関連付けられたカーネルメモリは、各層によって物理的に備えられる、例えば、各層上に配置されるメモリを備えるか、又は特にそれである。これは、各層は同一に製造することができ、そして自律的なユニットとして動作するという利点がある。

或いは、又はさらに、関連付けられたカーネルメモリは、前記層に割り当てられ、かつ接続されているメモリを備えるか、又はそれであるが、特に前記層によって備えられる必要はない。関連付けられたカーネルメモリは、前記層のカーネルモジュールに接続されるグローバルな、特に外部のカーネルメモリに備えることができる。

一実施形態では、ｓＣＮＮのすべての層がグローバルカーネルメモリに接続されており、前記グローバルカーネルメモリは、各層ごとに関連付けられたカーネルメモリを備える。

カーネルアドレスとは、特に、単一のカーネル値が格納されているカーネルメモリアドレスを指す。

本発明の別の実施形態によれば、ニューロンモジュールは、ニューロンメモリを備えており、前記ニューロンメモリは、ニューロンの状態をニューロンアドレスに格納するように構成されている。

別の実施形態によれば、ニューロンメモリは、並列方式にアクセス可能な複数のニューロンメモリユニットを備える。このようなニューロンメモリユニットは、本明細書では関連付けられたニューロンメモリとも呼ばれる。

ニューロンメモリ、特に関連付けられた各ニューロンメモリは、各層に物理的に備えられている、例えば、それに配置されているメモリストレージ、又は前記層に割り当てられ、かつ接続されているが、特に前記層によって備えられる必要のないメモリを備えるか、又は特にそれである。更に又は或いは、関連付けられたニューロンメモリは、層のニューロンモジュールに接続されたグローバルな、特に外部のニューロンメモリに備えられている場合もある。

一実施形態では、ｓＣＮＮのすべての層がグローバルニューロンメモリに接続されており、前記グローバルニューロンメモリは、各層ごとに関連付けられたニューロンメモリを備える。

また、グローバルカーネルメモリとグローバルニューロンメモリとを単一のメモリコンポーネントによって備えられることが可能である。

ニューロンアドレスは、特に、あるニューロンのニューロン状態が格納されているニューロンメモリのアドレスを指す。

本発明の別の実施形態によれば、メモリマッパーは、カーネルモジュール、特にカーネルインターフェースに電子的に接続されており、前記メモリマッパーは：
ａ）電子接続を介してｓＣＮＮのソース層からの着信の特に単一のスパイクイベントを受信し、ここで前記着信スパイクイベントは、ソース層内の特に単一のニューロンの座標に関する情報を含み、そして、前記受信したスパイクイベントに応答して、
ｂ）特に、前記受信した着信スパイクイベントと少なくとも１つの畳み込みカーネルとの畳み込みが投影する前記ニューロンの前記関連付けられたニューロンメモリにおいて、ニューロン座標及び対応するニューロンアドレスを決定し、
ｃ）前記決定されたニューロンアドレスの前記ニューロン状態に適用可能なカーネル値の対応するカーネルアドレスを用いてカーネル座標を決定し、ここで前記決定されたニューロンアドレスの前記ニューロン状態は、特に前記少なくとも１つの畳み込みカーネルから、又は前記複数の畳み込みカーネルからの前記適用可能なカーネル値で更新されるようになり、
ｄ）前記適用可能なカーネル値のための前記決定されたカーネルアドレス、及び特に前記決定されたニューロンアドレスを前記カーネルモジュールに、特に前記カーネルインターフェースに提供する、
ように構成及び配置されている。

メモリマッパーは、特に電子回路又は電子回路システムである。

特にメモリマッパーは、着信スパイクイベントがどこに投影するかを計算する。この計算は、メモリマッパーが更新すべきニューロンアドレス及び適切なカーネル値を有するカーネルアドレスを決定できるようにする特に完全にハードウェアに組み込まれている式（ｈａｒｄ－ｗｉｒｅｄ ｆｏｒｍｕｌａ）に特に基づいている。

ニューロンアドレス及びカーネルアドレスを決定するために、メモリマッパーは、前記決定のための式を指定するプログラム可能なレジスタ値が提供され得る。

メモリマッパーは、特にイベント駆動型、特に、少なくとも１つのスパイクイベントを一度に処理できるように、所定の帯域幅のパラレルインターフェースを備える非同期シリアルインターフェース回路である。

メモリマッパーは、特にＳＲＡＭモジュール、フラッシュメモリなどである。

ソース層は特にｓＣＮＮによって備えられる。ソース層は、例えば、ニューロンモジュールによって生成されたスパイクイベントが層のメモリマッパーに再ルーティングされる場合、現在層にすることもできる。

「投影する（ｐｒｏｊｅｃｔｓ ｔｏ）」という用語及び同様の用語は、特に、本質的にＣＮＮの受容野の逆元（ｉｎｖｅｒｓｅ）を指す。

ｓＣＮＮはイベント駆動型であるため、畳み込み演算は単一スパイクイベントに対して特に効率的に実行できる。

本発明の別の実施形態によれば、カーネルモジュールは、特に関連付けられたカーネルメモリからの決定されたカーネルアドレスを受信し、特に、決定されたカーネルアドレスに格納された適用可能なカーネル値を、特に決定されたニューロンアドレスと共に、ニューロンモジュールに出力するように構成及び配置される。

本発明の別の実施形態によれば、ニューロンモジュールは：
ａ） 決定されたニューロンアドレス及び適用可能なカーネル値を受信し、
ｂ） 受信した各ニューロンアドレスに対して、前記適用可能なカーネル値に基づくこのニューロンの更新されたニューロン状態を決定し、
ｃ） 特に前記ニューロン状態が更新された後に、更新されたニューロンが少なくとも１つの所定の閾値に到達する、すなわち、特にそれを超えるか、又は下回るかした場合に、発信スパイクイベントを出力する、
ように、構成かつ配置されている。

つまり、ニューロン状態が所定の閾値に達した場合、スパイクイベントが発生する。

前記ニューロン状態は、特に数字で表される。

「到達」という用語は、特に、ニューロン状態が閾値を下回ること、又は上回ることを指す。

本発明の別の実施形態によれば、メモリマッパーは、受信された着信スパイクイベントごとに、出力特徴マップに割り当てられたニューロンからなる少なくとも１つの出力特徴マップを決定するように構成及び配置され、前記出力特徴マップの数は、現在層の畳み込みカーネルの数に等しい。

特徴マップは、そのニューロン座標によってアドレス指定可能なニューロンの２次元配列として表すことができる。各ニューロンは、ニューロン状態を持っている。

着信スパイクイベントが、層内のカーネルと同じ数の特徴マップに投影する。

この実施形態によれば、各カーネルは、それに関連付けられる出力特徴マップを生じさせる。

本発明の別の実施形態によれば、ｓＣＮＮの各層は、宛先マッパーをさらに含み、前記宛先マッパーは、出力、特にニューロンモジュールのバスに接続され、ここで前記宛先マッパーは、発信スパイクイベントを放出（ｄｕｍｐ）し、及び／又は現在層のニューロンモジュールから受信した発信スパイクイベントの発信宛先情報を生成し、かつ、特に前記宛先情報を前記発信スパイクイベントに関連付けるように構成及び配置され、特にここで、前記発信宛先情報は、発信スパイクイベントが配信される複数の層によって備えられる少なくとも１つの宛先層の情報を含み、特に前記宛先情報は、スパイクイベントが生成される出力特徴マップの情報、出力特徴マップにおけるスパイクイベントのニューロン座標、及び／又は特徴マップの指標に関するオフセット値を含む。

本実施形態では、各層が、モジュール式にさらに層を追加してｓＣＮＮを拡張することができるように自律的に宛先情報を決定することができる。

本発明の別の実施形態によれば、ニューロンモジュールは、受信したニューロンアドレス及びカーネル値、及び特に受信したバイアス値を処理し、更新されたニューロン状態及びスパイクイベントを生成するように構成されている複数の並列動作ニューロンサブインターフェースを備え、ここで各ニューロンサブインターフェースは、受信したニューロンアドレスに対するニューロン状態を読み出し、かつ更新されたニューロン状態を関連付けられたニューロンメモリ内の受信したニューロンアドレスに書き込むための関連付けられたニューロンメモリを備え、前記ニューロンサブインターフェースとその関連付けられたニューロンメモリによってニューロン状態の並列処理が達成されるようになっている。

メモリ上での読み取り及び書き込み処理は通常、同等程度、低速で時間のかかる処理であるため、この実施形態は、該ネットワークの処理速度の潜在的なボトルネックを回避し、前の層からのスパイクイベントの効率的かつ高速な処理を可能にする。この実施形態によれば、決定されたニューロンアドレス及び適用可能なカーネル値は、並列方式で処理されるために複数のニューロンサブインターフェースに分配される。

本発明の別の実施形態によれば、ニューロンモジュールは、決定されたニューロンアドレス及び適用可能なカーネル値、及び特にバイアス値を、特にカーネルモジュール及び／又はバイアスモジュールから受信し、かつ受信したニューロンアドレス及びカーネル値、及び特にバイアス値を、受信したニューロンアドレス及びカーネル値、及び特にバイアス値を平行して処理するように構成された複数の並列動作ニューロンサブインターフェースへ送信するように構成、適合、及び接続されたルータモジュールを備え、ここで前記ニューロンモジュールは、複数のニューロンサブインターフェースから生成されたスパイクイベントを受信し、特にニューロンサブインターフェースよりもチャンネルが少ないバスにおいて、シリアル処理のためにスパイクイベントを送る（ｆｕｎｎｅｌ）ように構成及び適合されたマージモジュールをさらに備え、特にここで、前記バスは単一の伝送チャンネルのみを有する。

この実施形態は、ニューロンモジュールでは、並列処理を容易にしながら、ニューロンモジュールへのシリアルバス接続及びニューロンモジュールからのシリアルバス接続を適合することを可能にする。

本発明の別の実施形態によれば、各層は、関連付けられたバイアスメモリ、及び特に関連付けられたバイアスメモリに接続されたバイアスインターフェースを備えるバイアスモジュールをさらに備え、ここで前記関連付けられたバイアスメモリは、バイアスアドレスにバイアス値を格納するように構成され、前記バイアスモジュールはニューロンモジュールに接続され、かつ前記バイアスモジュールは、ニューロンモジュールに特に所定の時間間隔のバイアス値を提供するように構成され、前記ニューロンモジュールは、受信したバイアス値に基づく少なくとも１つの出力特徴マップにおいてすべてのニューロンのニューロン状態を更新するように構成される。

カーネルインターフェースと同様のバイアスインターフェースは、バイアス値を受信して特に処理するためにメモリをアドレス指定するように構成されている。

バイアスモジュールは、特にメモリマッパーに接続されるわけではない。したがって、バイアスメモリは、着信スパイクイベントに含まれる情報とは無関係に、ニューロンモジュール、及び特に少なくとも１つの出力特徴マップにバイアス値を提供する。

本発明の別の実施形態によれば、ニューロンモジュールは：
－ ニューロンアドレス及びカーネル値、及び特にバイアス値を、特にカーネルモジュール及び／又はバイアスモジュールから受信し、かつ特に前記ニューロンアドレス、前記カーネル値、及び前記バイアス値をニューロンサブインターフェースのうちの１つに分配し、
－ 特に関連付けられたニューロンメモリから、受信したニューロンアドレスのニューロン状態を読み取り、
－ 特に前記ニューロンサブインターフェースで、前記受信したカーネル値及び／又は特に前記受信したバイアス値で読み取ったニューロン状態を更新し、
－ 前記更新されたニューロン状態を、特に閾値レジスタに格納かつアクセス可能な少なくとも１つの閾値と比較し、特にここで前記レジスタは、少なくとも１つの閾値を有してプログラム可能であり、
－ 前記少なくとも１つの閾値に到達する場合、特にマージモジュールを介して宛先マッパーに特に提供されるスパイクイベントを生成し、かつ前記更新されたニューロン状態をリセットして、リセットされたニューロン状態にし、
－ 前記更新された、つまり特に前記リセットされたニューロン状態を、関連付けられたニューロンメモリの前記受信したニューロンアドレスに書き込む、
ように構成されている。

ｓＣＮＮは、各ニューロンに対して、例えば、下限閾値と上限閾値の２つの閾値を含むことができる。

ニューロンによりスパイクイベントが発生すると、前記ニューロン状態がリセットニューロン状態に設定される。リセットされたニューロン状態は、例えば、更新されたニューロン状態と閾値との差がゼロ又はそれに等しくなり得る。

したがって、ニューロンモジュール、特にニューロンサブインターフェースは、着信スパイクイベントが投影するニューロンのニューロン状態を、特に並列様式で適用可能なカーネル値で更新するために必要な計算を実行するように構成されている。したがって、ニューロンモジュールは、そのようなタスクを実行するために必要な電子回路を備える。

本発明の別の実施形態によれば、ニューロンモジュールは、決定されたニューロンアドレスに並列アクセスするための関連付けられたニューロンメモリを有する複数のニューロンサブインターフェースを備え、ここで前記ニューロンモジュールは、複数の受信ニューロンアドレスを、特にニューロンルータモジュールによって、複数のニューロンサブインターフェースへ分配するように構成され、その関連付けられたメモリのサブブロックと接続する各ニューロンサブインターフェースは、受信したニューロンアドレスとカーネル値とを処理するように構成されている。

この実施形態は、カーネル値で更新すべきニューロンの並列処理を可能にする。

特に関連付けられたニューロンメモリからの読み取り及び書き込みは同等程度の遅い処理であるため、例えばランダムアクセスメモリなどの従来のメモリストレージを使用する場合、この工程を並列化することで処理時間が短縮される。

この実施形態は、特に、データ速度が高い場合であっても、着信スパイクイベントのリアルタイム処理を可能にする。

本発明の別の実施形態によれば、カーネルインターフェースは、関連付けられたカーネルメモリに含まれるカーネルメモリのサブブロックに並列アクセスするための複数のカーネル読み取り／書き込みインターフェースを備え、ここで前記カーネルインターフェースは、受信されたカーネルアドレスを、特にカーネルインターフェースルーターシステムによって、複数のカーネル読み取り／書き込みインターフェースへ分配し、かつカーネルメモリのサブブロックから受信したカーネル値を収集するように構成されている。

この実施形態は、従来のメモリストレージにおける同等の低速の読み取り及び書き込み処理を加速する問題を解決し、ｓＣＮＮは、高いデータ速度であっても、特にリアルタイム処理が可能になる。

「リアルタイム」処理又は動作という用語は、ｓＣＮＮによる着信スパイクイベントの平均処理速度がｓＣＮＮの着信スパイクイベントの平均速度に等しく、メモリオーバーフローが回避されるようになることを特に特徴としている。

本発明の別の実施形態によれば、メモリマッパーは、スパイクイベントがメモリマッパーによって受信される場合に、適用可能なカーネル値のカーネルアドレス及び更新すべき対応するニューロンアドレスを有するニューロン座標を決定するために、以下の一連の動作を実行するように構成され、前記スパイクイベントは、ソース特徴マップ内の前記スパイクイベントの座標（ｘ，ｙ）、特にチャンネル識別子（ｃ）、特にｘ識別子とｙ識別子とを含むニューロン座標に関する情報を含むか、又はそれからなる：
－ 特に、レジスタによって提供及び格納される所定のオフセット（ｐ_ｘ，ｐ_ｙ）でスパイクイベントの前記座標（ｘ，ｙ）を、ゼロパディング（ｘ＋ｐ_ｘ，ｙ＋ｐ_ｙ）し、
－ 前記座標（ｘ，ｙ）から、特に前記ゼロパディングされた座標（ｘ＋ｐ_ｘ，ｙ＋ｐ_ｙ）から、スパイクイベントが投影するニューロンアンカー座標（ｘ_０，ｙ_０）と、対応する少なくとも１つのカーネル（ｆ）のカーネルアンカー座標（ｘ_０ ^ｋ，ｙ_０ ^ｋ）とを計算し、ここで、前記カーネルアンカー座標（ｘ_０ ^ｋ，ｙ_０ ^ｋ）は、少なくとも１つのカーネル（ｆ）のそれぞれのカーネル座標（ｆ，ｘ_０ ^ｋ，ｙ_０ ^ｋ）を示し、特に、前記ニューロンアンカー座標は、出力特徴マップに関連付けられており、
－ 前記ニューロンアンカー座標及び前記カーネルアンカー座標から開始して、更新すべきすべてのニューロン座標（ｆ，ｘ，ｙ）、及び適用可能なカーネル値のすべてのカーネル座標（ｃ，ｆ，ｘ^ｋ，ｙ^ｋ）を決定し、特に、レジスタによって提供される出力特徴マップサイズ（Ｈ、Ｗ）、ストライドサイズ（ｓ_ｘ，ｓ_ｙ）、及び／又はカーネルサイズ（Ｈ_ｋ，Ｗ_ｋ）において情報を処理することによって決定し、
－ 前記決定されたニューロン座標（ｆ，ｘ，ｙ）及び前記適用可能なカーネル値を有するカーネル座標から、特に圧縮されたニューロンアドレス及びカーネルアドレスを決定し、
－ 前記決定されたニューロンアドレス及びカーネルアドレスをカーネルモジュール及び／又はニューロンモジュールに提供すること。

ソース特徴マップは、特にスパイクイベントが受信されたｓＣＮＮの層の出力特徴マップである。

着信スパイクイベントから座標をパディングすると、特徴マップの境界でスパイクイベントが畳み込まれる問題が特に解決される。オフセット（ｐ_ｘ，ｐ_ｙ）は、特に、プログラム可能なレジスタに含まれる。

本明細書の文脈におけるレジスタとは、特に、ニューロンメモリ又はカーネルメモリなどのメモリと比較して、格納されたデータのより高速な読み取り及び書き込みを提供するメモリデバイスを指す。したがって、本発明によるｓＣＮＮは、特に頻繁にアクセスされる情報を格納するためのレジスタを備える。

オフセット値は、スパイクイベントが層によって受信されるたびにアクセスされる。そのため、前記オフセット値は、メモリマッパーに電子的に接続されるか、或いは、メモリマッパーによって備えられるレジスタに格納される。

ニューロンアンカー座標は、例えば、スパイクイベントが出力特徴マップで投影する投影ウィンドウの角に位置するニューロンに対応する。投影ウィンドウは、特にカーネルサイズ、例えばｘとｙの寸法、畳み込みのストライドサイズ及び可能な他の要因によって与えられる。ニューロンアンカー座標は、畳み込みのために、特にニューロンのニューロン状態を更新するための決定されたニューロンアドレスでカーネルをスイープするスイープ動作のために、出力特徴マップにおける開始点を定義する目的を果たす。出力特徴マップでのカーネルのスイープは、特に畳み込みのストライドサイズに依存する。

カーネルアンカー座標は、特にカーネルの角又は角の近くに位置するカーネル値の座標である。カーネルアンカー座標は、適用可能なすべてのカーネル値を決定するための開始点を定義する目的で果たす。これは、ストライドサイズが１より大きい場合に特に重要である。

カーネルアンカー座標は、特にストライドサイズ、カーネルサイズ、及び可能な他の要因に依存する。

ニューロンアンカー座標とカーネルアンカー座標とが決定されると、適用可能なカーネル値との畳み込みによって影響を受けるニューロンを計算するための開始点が生成される。

ニューロンアンカー座標とカーネルアンカー座標とによって定義された開始点から、更新すべきすべてのニューロン座標（ｆ，ｘ，ｙ）、つまりスパイクイベントが投影するすべてのニューロン、及び適用可能なカーネル値のすべてのカーネル座標（ｃ，ｆ，ｘ^ｋ，ｙ^ｋ）は、特にレジスタによって提供される出力特徴マップサイズ（Ｈ，Ｗ）、ストライドサイズ（ｓ_ｘ，ｓ_ｙ）、及び／又はカーネルサイズ（Ｈ_ｋ，Ｗ_ｋ）において情報を処理することによって決定される。

更新すべきニューロン座標を決定するために必要なパラメータは、特に、従来のメモリストレージと比較して高速の読み取り及び書き込み速度を提供するレジスタに格納されている。

出力特徴マップ内の位置を特に指すニューロン座標から、ニューロンアドレスが決定され、この後者は特にニューロンメモリ内のメモリアドレスを指す。

ニューロンアドレスとカーネルアドレスとがメモリマッパーによって決定されると、これらのアドレスはカーネルモジュール、特にカーネルインターフェースに提供され、そこで適用可能なカーネル値が受信され、ニューロンモジュールに送信され、そこで決定されたニューロンのニューロン状態は、適用可能なカーネル値で更新される。

メモリマッパーは、これらすべての動作を実行するように構成及び配置されている。この目的のために、メモリマッパーは、更新すべきニューロンアドレス及び適用可能なカーネル値のカーネルアドレスを計算する式を実行するように特に構成及び配置されている。この式は、メモリマッパーに特に組み込まれており、プログラム可能ではない。ただし、前記式へ、例えばストライドサイズ、カーネルサイズなどを提供するためにレジスタに格納されている値は、それぞれのレジスタを適切な値でプログラムすることによってプログラム及び調整することができる。

本発明の別の実施形態によれば、関連付けられたニューロンメモリは、すべてのニューロン状態が連続するニューロンアドレスに格納されるように組織され、特に、前記関連付けられたニューロンメモリは、動作中に連続するニューロンアドレスに格納されるすべてのニューロン状態を有し、前記メモリマッパーは、圧縮されたニューロンアドレスを生成することなど、すべてのニューロン座標に対して連続するニューロンアドレスを生成するように構成され、かつ前記メモリマッパーは、前記圧縮されたニューロンアドレスをニューロンモジュールに提供するように構成される。

本実施形態では、関連付けられたニューロンメモリのメモリ空間的効率のよい使用を可能にする。

本発明の別の実施形態によれば、関連付けられたカーネルメモリは、すべてのカーネル値が連続するカーネルアドレスに格納されるように組織され、特に、前記関連付けられたカーネルメモリは、動作中に連続するカーネルアドレスに格納されるすべてのカーネル値を有し、前記メモリマッパーは、圧縮されたカーネルアドレスを生成することなど、すべてのカーネル座標に対して連続するカーネルアドレスを生成するように構成され、かつ前記メモリマッパーは圧縮されたカーネルアドレスをカーネルモジュールに提供するように構成されている。

この実施形態は、関連付けられたカーネルメモリのメモリ空間効率のよい使用を可能にする。

本発明の別の実施形態によれば、イベント駆動型スパイキング畳み込みネットワークは、ソース層から受信した発信スパイクイベントを少なくとも１つの宛先層へ転送するように構成されるスパイクイベントルータと接続されている複数の層を含み、特に前記ルータは、発信スパイクイベントに関連付けられた宛先情報にアクセスし、前記宛先層は、前記ソース層であることが可能である。

この実施形態は、スパイクイベントルータによって電子的に接続及び組織された複数の層をｓＣＮＮに提供する。スパイクイベントルータは、様々なｓＣＮＮ構成とルーティングオプションとを可能にするようにプログラムすることができる。

イベント駆動型スパイクを生成するように構成されたダイナミックビジョンセンサは、スパイクイベントルータの入力又は第１のソース層として機能することができる。

本発明の別の実施形態によれば、イベント駆動型畳み込みニューラルネットワークは、イベント駆動型、特にスパイクイベントの非同期処理のために構成及び配置され、ここで、前記ｓＣＮＮは、非同期スパイクイベントを受信し、特に受信時に各スパイクイベントを処理するように構成され。特にここでメモリマッパーはイベント駆動型、特に非同期電子回路であり、特に関連付けられたメモリモジュールはイベント駆動型、特に非同期モジュールであり、特にカーネルモジュールは、イベント駆動型、特に非同期モジュールであり、特に宛先マッパーは、イベント駆動型、特に非同期電子回路である。

本発明の別の実施形態によれば、ｓＣＮＮは、ダイナミックビジョンセンサからスパイクイベントを受信かつ処理するように構成され、特にここで、前記ｓＣＮＮはダイナミックビジョンセンサを備える。

本発明による問題は、コンピュータプログラムによってさらに解決される。コンピュータプログラムは、特に、ｓＣＮＮ、より特に、本発明によるｓＣＮＮのコンポーネントを動作するように構成される。

ｓＣＮＮの実施形態の文脈で導入されるような用語及び定義は、コンピュータプログラムにも適用される。

コンピュータプログラムは、コンピュータプログラムを、メモリマッパー、ニューロンモジュール、カーネルモジュール、宛先マッパー、及び／又はスパイクイベントルータなどのｓＣＮＮの少なくとも１つのコンポーネント上で実行する命令、実行する場合の命令を含み、本発明によるイベント駆動型スパイキング畳み込みネットワークの前記コンピュータプログラムは、それぞれのコンポーネントに、着信スパイクイベントを特に非同期的に処理するために、コンポーネントが構成及び配置される工程を実行させる。

コンピュータプログラムは、特にｓＣＮＮのレジスタにプログラム可能なレジスタ値を提供する。

コンピュータプログラムの別の実施形態によれば、コンピュータプログラムは、メモリマッパーに：
ａ）電子接続を介してネットワークのソース層から着信する特に単一のスパイクイベントを受信し、前記着信スパイクイベントは、前記ソース層内の特に単一のニューロンの座標に関する情報を含み、そして受信したスパイクイベントに応答し、
ｂ）前記受信した着信スパイクイベントと少なくとも１つの畳み込みカーネルとの畳み込みが投影するニューロンの関連付けられたニューロンメモリのニューロン座標及び対応するニューロンアドレスを決定し、
ｃ）前記決定されたニューロンアドレスのニューロン状態に適用可能なカーネル値の対応するカーネルアドレスを有するカーネル座標を決定し、ここで前記決定されたニューロンアドレスのニューロン状態は、特に少なくとも１つの畳み込みカーネルから、又は複数の畳み込みカーネルから、前記適用可能なカーネル値で更新されるようになり、
ｄ）適用可能なカーネル値の前記決定されたカーネルアドレス、及び特に決定された前記ニューロンアドレスをカーネルモジュール、特にカーネルインターフェースに提供する、
ことをさせる。

コンピュータプログラムの別の実施形態によれば、コンピュータプログラムはニューロンモジュールに：
ａ）決定されたニューロンアドレスと適用可能なカーネル値とを、特にニューロンサブインターフェースの１つで受信し、
ｂ）受信した各ニューロンアドレスのために、適用可能なカーネル値に基づくニューロンのための更新されたニューロン状態を決定し、
ｃ）特に前記ニューロン状態が更新された後に、更新されたニューロンが少なくとも１つの所定の閾値に到達する、すなわち、特にそれを超えるか、又はそれを下回るかした場合に、発信スパイクイベントを出力する、
ことをさせる。

コンピュータプログラムの別の実施形態によれば、コンピュータプログラムは、宛先マッパーに発信スパイクイベントを放出させ、及び／又はニューロンモジュールから受信した発信スパイクイベントの発信宛先情報を生成させ、かつ前記宛先情報を発信スパイクイベントに関連させ、特にここで、前記発信宛先情報は、前記発信スパイクイベントが配信すべき少なくとも１つの宛先層に関する情報を含み、特にここで、前記宛先情報は、前記スパイクイベントが生成された出力特徴マップ、前記出力特徴マップにおける前記スパイクイベントのニューロン座標、及び／又は特徴マップインデックスに関するオフセット値において情報を含む。

コンピュータプログラムの別の実施形態によれば、コンピュータプログラムはニューロンサブインターフェースに：
－ ニューロンアドレス及びカーネル値、及び特にバイアス値を、カーネルモジュール及び／又はバイアスモジュールから受信し、
－ 前記受信したニューロンアドレスのニューロン状態を読み取り、
－ 前記受信したカーネル値及び／又は特に前記受信したバイアス値で前記読み取りニューロン状態を更新し、
－ 前記更新されたニューロン状態を、特に閾値レジスタに格納及びアクセス可能な少なくとも１つの閾値と比較し、特にここで前記レジスタは少なくとも１つの閾値でプログラム可能であり、
－ 前記少なくとも１つの閾値に達すると、宛先マッパーに特に提供されるスパイクイベントを生成し、前記更新された前記ニューロン状態をリセットして、リセットされたニューロン状態にし、
－ 前記更新された、つまり特に前記リセットされたニューロン状態を、関連付けられたニューロンメモリの前記受信した前記ニューロンアドレスに書き込む、
ことをさせる。

コンピュータプログラムの別の実施形態によれば、コンピュータプログラムは、ニューロンモジュールに、特にニューロンルータモジュールによって複数の受信ニューロンアドレスを複数のニューロンサブインターフェースに分配させ、ここで前記コンピュータプログラムはさらに関連付けられたメモリに接続している各ニューロンサブインターフェースに、受信したニューロンアドレスとカーネル値とを処理させる。

コンピュータプログラムの別の実施形態によれば、コンピュータプログラムは、カーネルインターフェースに、特にカーネルインターフェースルータシステムによって受信されたカーネルアドレスを複数のカーネル読み取り／書き込みインターフェースに分配させ、カーネルメモリのサブブロックから受信されたカーネル値を収集させる。

コンピュータプログラムの別の実施形態によれば、コンピュータプログラムは、スパイクイベントが、メモリマッパーによって受信される場合に、適用可能なカーネル値のカーネルアドレス及び更新される対応するニューロンアドレスとのニューロン座標を決定するために、メモリマッパーに以下の一連の動作を実行させ、ここで前記スパイクイベントは、ソース特徴マップ内のスパイクイベントの座標（ｘ，ｙ）、及び特にチャンネル識別子（ｃ）に関する情報を含むか、又はそれからなり、前記ニューロン座標は、特に、ｘ識別子とｙ識別子とを含み、前記以下の一連の動作は：
－ 特に、レジスタによって提供され、かつレジスタに格納される所定のオフセット（ｐ_ｘ，ｐ_ｙ）で前記スパイクイベントの前記座標（ｘ，ｙ）を、ゼロパディング（ｘ＋ｐ_ｘ，ｙ＋ｐ_ｙ）し、
－ 前記座標（ｘ，ｙ）から、特に前記ゼロパディングされた座標（ｘ＋ｐ_ｘ，ｙ＋ｐ_ｙ）から、前記スパイクイベントが投影するニューロンアンカー座標（ｘ_０，ｙ_０）と、対応する少なくとも１つのカーネル（ｆ）の対応するカーネルアンカー座標（ｘ_０ ^ｋ，ｙ_０ ^ｋ）を計算し、ここで、前記カーネルアンカー座標（ｘ_０ ^ｋ，ｙ_０ ^ｋ）は、少なくとも１つのカーネル（ｆ）のそれぞれのカーネル座標（ｆ，ｘ_０ ^ｋ，ｙ_０ ^ｋ）を示し、特に、前記ニューロンアンカー座標は、出力特徴マップに関連付けられており、
－ 前記ニューロンアンカー座標と前記カーネルアンカー座標から開始して、更新すべきすべてのニューロン座標（ｆ，ｘ，ｙ）（すなわち前記スパイクイベントがそれに投影する）、及び適用可能なカーネル値のすべてのカーネル座標（ｃ，ｆ，ｘ^ｋ，ｙ^ｋ）を決定し、特に、レジスタによって提供される出力特徴マップサイズ（Ｈ，Ｗ）、ストライドサイズ（ｓ_ｘ，ｓ_ｙ）、及び／又はカーネルサイズ（Ｈ_ｋ，Ｗ_ｋ）において情報を処理することによって決定し、
－ 決定された前記ニューロン座標（ｆ，ｘ，ｙ）及び適用可能なカーネル値を有するカーネル座標から、特に圧縮されたニューロンアドレス及びカーネルアドレスを決定し、
－ 前記決定されたニューロンアドレス及びカーネルアドレスをカーネルモジュール及び／又はニューロンモジュールに提供すること、
である。

コンピュータプログラムの別の実施形態によれば、コンピュータプログラムは、すべてのニューロン状態が連続するニューロンアドレスに格納されるように関連付けられたニューロンメモリを組織し、ここで前記コンピュータプログラムは、メモリマッパーに、圧縮されたニューロンアドレスを生成させるなど、連続するニューロンアドレスをすべてのニューロン座標に対して生成させ、かつここで前記コンピュータプログラムはさらに、前記メモリマッパーに前記圧縮されたニューロンアドレスをニューロンモジュールに提供させる。

コンピュータプログラムの別の実施形態によれば、コンピュータプログラムは、すべてのカーネル値が連続するカーネルアドレスに格納されるように関連付けられたカーネルメモリを組織し、ここで前記コンピュータプログラムは、メモリマッパーに、圧縮されたカーネルアドレスを生成させるなど、連続するカーネルアドレスをすべてのカーネル座標に対して生成させ、かつここで前記コンピュータプログラムはさらに、前記メモリマッパーに前記圧縮されたカーネルアドレスをカーネルモジュールに提供させる。

コンピュータプログラムの別の実施形態によれば、コンピュータプログラムは、スパイクイベントルータに、ソース層から受信した発信スパイクイベントを少なくとも１つの宛先層にルーティングさせ、特にここで前記ルータは、前記発信スパイクイベントに関連付けられた宛先情報にアクセスし、ここで前記宛先層は前記ソース層であることが可能である。

本発明による問題は、コンピュータ実行方法によってさらに解決される。前記コンピュータ実行方法は、特に、本発明によるｓＣＮＮ、より特に、ｓＣＮＮのコンポーネントを動作するように構成される。前記コンピュータ実行方法は、さらに、前記コンピュータプログラムについて開示されるような少なくともいくつかの特徴及び／又は方法の工程をさらに特に含む。

この問題は、イベント駆動型ｓＣＮＮのメモリマッパーによってさらに解決される。

ｓＣＮＮの実施形態の文脈で導入されるような用語及び定義は、メモリマッパーにも適用される。

本発明によるメモリマッパーは、スパイクイベントが前記メモリマッパーによって受信される場合に、イベント駆動方式で更新されるカーネルアドレス及びニューロンアドレスを決定するように構成されており、前記スパイクイベントは、スパイクイベントの座標（ｘ，ｙ）及び特にチャンネル識別子（ｃ）に関する情報を含むか、又はそれからなり、前記座標は、特にｘ－及びｙ－識別子を含み、前記メモリマッパーによってスパイクイベントが受信される場合、前記メモリマッパーは、以下の一連の動作を実行する：
－ 特に、レジスタによって提供かつ格納される所定のオフセット（ｐ_ｘ，ｐ_ｙ）で、スパイクイベントの座標（ｘ，ｙ）をゼロパディング（ｘ＋ｐ_ｘ，ｙ＋ｐ_ｙ）すること、
－ 前記座標（ｘ，ｙ）から、特に前記ゼロパディングされた座標（ｘ＋ｐ_ｘ，ｙ＋ｐ_ｙ）から、前記スパイクイベントが投影するニューロンアンカー座標（ｘ_０，ｙ_０）、及び対応する少なくとも１つのカーネル（ｆ）の対応するカーネルアンカー座標（ｘ_０ ^ｋ，ｙ_０ ^ｋ）を計算することであり、ここで、前記カーネルアンカー座標（ｘ_０ ^ｋ，ｙ_０ ^ｋ）は、少なくとも１つのカーネル（ｆ）のそれぞれのカーネル座標（ｆ，ｘ_０ ^ｋ，ｙ_０ ^ｋ）を示し、特に、前記ニューロンアンカー座標は、出力特徴マップに関連付けられている、
－ 前記ニューロンアンカー座標と前記カーネルアンカー座標とから開始して、更新すべきすべてのニューロン座標（ｆ，ｘ，ｙ）（すなわち前記スパイクイベントが投影する）、及び適用可能なカーネル値のすべてのカーネル座標（ｃ，ｆ，ｘ^ｋ，ｙ^ｋ）を、特に、レジスタによって提供される出力特徴マップサイズ（Ｈ、Ｗ）、ストライドサイズ（ｓ_ｘ，ｓ_ｙ）、及び／又はカーネルサイズ（Ｈ_ｋ，Ｗ_ｋ）において情報を処理することによって、決定すること、
－ 前記決定されたニューロン座標（ｆ，ｘ，ｙ）及び前記適用可能なカーネル値を有するカーネル座標から、特に圧縮されたニューロンアドレス及びカーネルアドレスを決定すること、
－ 決定された前記ニューロンアドレス及びカーネルアドレスを、前記ニューロンアドレス及びカーネルアドレスを処理するために、カーネルモジュール及び／又はニューロンモジュールに提供すること。

メモリマッパーの別の実施形態によれば、メモリマッパーは、すべてのニューロン座標に対して、圧縮されたニューロンアドレスを生成するなど、連続したニューロンアドレスを生成するように構成され、かつここで前記メモリマッパーは、前記圧縮されたニューロンアドレスをニューロンモジュールに提供するように構成されている。

メモリマッパーの別の実施形態によれば、メモリマッパーは、すべてのカーネル座標に対して、圧縮されたカーネルアドレスを生成するなど、連続したカーネルアドレスを生成するように構成され、かつここで前記メモリマッパーは、前記圧縮されたカーネルアドレスをカーネルモジュールに提供するように構成されている。

特に、例示的な実施形態について、図と併せて以下に説明する。図は、特許請求の範囲に添付され、示される本発明の実施形態及び態様の個々の特徴の説明テキストを伴っている。図に示された、及び／又は、図の前記テキストで言及された各個別の特徴は、本発明による装置に関する請求項に（分離した形でも）組み込むことができる。

図１は、本発明によるｓＣＮＮ １の１つの層１０の模式的図を示す。層１０は様々なコンポーネントを備える電子モジュールであり、かつｓＣＮＮ内の複数のコピーと典型的に統合される。

ボックスで囲まれた領域はユニット又はモジュールを表し、矢印はコンポーネント間の電子データ接続と関連付けられたデータフローの方向とを示す。

ｓＣＮＮ １は、｛ｃ，ｘ，ｙ｝で示される着信スパイクイベント１４０を受信するように構成されたメモリマッパー１３０を備えている。着信スパイクイベント１４０は、特に、着信スパイクイベント１４０が生成された位置に関する情報と、スパイクイベント１４０が関連付けられているチャンネルを示すチャンネルインデックスとを含むデジタルデータである。前記位置情報は、ｘとｙの識別子を持った、ソース層の出力特徴マップにおける座標、又はダイナミックビジョンセンサの座標（図２参照）の形態である。前記チャンネルには、例えば、ダイナミックビジョンセンサなどのスパイクイベント生成デバイスからのカラーチャンネルを示すことができる。しかし、他のチャンネルマーカーも可能である。

メモリマッパーのタスクは、（現在）層１０が畳み込み（複数可）を実行するための必要な情報をすべて決定することである。したがって、メモリマッパー１３０は、着信スパイクイベント１４０が投影するニューロンアドレス１４２ｎを決定する必要があり、すなわち、前記層内のどのニューロンがスパイクイベント１４０と少なくとも１つの畳み込みカーネル４１０との畳み込みによって影響を受けるかを決定する必要がある。

一旦、メモリマッパー１３０がスパイクイベント１４０を受信すると、メモリマッパー１３０はこのスパイクイベント１４０の処理を開始する。メモリマッパー１３０は、イベント駆動型のメモリマッパー１３０であり、例えば、複数のバッファステージを有する処理パイプライン、及びスパイクイベントｃ、ｘ、ｙの各種ビットを加算、乗算、多重化する電子コンビナートロジスティック回路を備える。

メモリマッパー１３０は、適用可能なカーネル値１４２ｋによって更新すべきニューロンアドレス１４２ｎを決定するように構成された、所定の式を実行するように配線されている。着信スパイクイベント１４０が入ってくる特徴マップの寸法、現在層１０における出力特徴マップの寸法と数、カーネルの数、畳み込みのストライドサイズなどのパラメータが変化する可能性があるため、メモリマッパー１３０が備える連結レジスタ又はレジスタ１３１によって、前記式にこれらの値が提供される。図１に示したすべてのレジスタ１３１、１６３、１２３は、高速な読み書き動作が可能なように構成された比較的高速なメモリ記憶装置である。

なお、本明細書では、すべてのレジスタがプログラム可能であり、特にｓＣＮＮのトレーニング可能でない又はトレーニングしないパラメータを格納するように構成されている。

次いで、カーネル値１４２ｋ及びバイアス値は、当技術分野でよく知られているように、通常、ｓＣＮＮ １の訓練手順の間に決定される。

メモリマッパー１３０に接続されたレジスタ１３１は、少なくとも１つのカーネルのカーネルサイズ、ストライド、ｘとｙのゼロパディング、カーネルｆの数、及び出力特徴マップ４３０の数に関する数値を格納する。

さらに、レジスタ１３１は、出力特徴マップ４３０のサイズ、例えばその高さ及び幅（例えばピクセル単位で測定される）の値を格納することができる。

メモリマッパー１３０の例示的な実施形態と、メモリマッパーによってニューロンアドレスとカーネル値とがどのように決定されるかを図３に示す。

決定されたニューロンのアドレスｎ_ｃｏｍｐ及びカーネルアドレスｋ_ｃｏｍｐは、無駄な関連付けられたニューロン及びカーネルメモリのメモリ空間はないように、特に圧縮されている。

メモリマッパー１３０は、ニューロン１４２ｎ及びカーネルアドレスを、カーネルインターフェース１１１及び関連付けられたカーネルメモリ１１２を備えるカーネルモジュール１１０に出力する。カーネルインターフェース１１１は、カーネルメモリインターフェースである。

カーネルインターフェース１１１では、カーネルアドレスが受信され、カーネルインターフェース１１１は、関連付けられたカーネルメモリ１１２からカーネルアドレスを読み出す。

カーネルメモリ１１２は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、フラッシュメモリなどの従来のメモリである。関連付けられたカーネルメモリ１１２は、層１０の他の部分と同じ回路基板上に配置することもでき、又は層１０に接続して外部メモリデバイスを構成することもできる。

スパイクイベント１４０ごとに、複数のカーネル値１４２ｋをカーネルメモリ１１２から読み出す必要があり、ＳＲＡＭなどの従来のメモリデバイスは比較的に遅いため、カーネルモジュール１１０は、関連付けられたカーネルメモリ１１２との間でカーネル値１４２ｋを並列に読み書きするように構成及び配置されている（図６参照）。

関連付けられたカーネル及び／又は関連付けられたニューロンメモリ１１２、１２２の読み取り及び書き込み動作を並列化することで、この問題に対処する例示的な実施形態を図６に示す。

現在層１０において、畳み込みカーネルの数がＮであるとすると、カーネルインターフェース１１１は、ニューロンアドレスに関連付けられたＮ個の畳み込みカーネルのカーネル重みを出力し、前記ニューロンアドレスは、Ｎ個の畳み込みカーネルの値で更新されることになる。

各畳み込みカーネル４１０（番号は図４を参照）は、関連付けられる出力特徴マップ４３０に投影するため、Ｎ個の畳み込みカーネル４１０は、現在層１０のＮ個の出力特徴マップ４３０に投影し、カーネルの寸法をＮ×Ｍ×Ｈ×Ｗであると仮定し、ここで、Ｍは入力チャンネルの数、Ｈは各カーネルの高さ、Ｗは幅である。したがって、各出力特徴マップ４３０は、適用可能なカーネル値（ｗ_ｋ）で更新すべきいくつかのニューロン４２０を含む。これらのニューロン４２０のニューロンアドレスは、適用可能なカーネル値１４２ｋに関連付けられた前記ニューロンアドレス１４２ｎを含む出力データセット内にカーネルインターフェース１１１によって提供される。更新すべきニューロンのニューロンアドレスは、カーネルインターフェース１１１によって提供されるが、上記のようにメモリマッパー１３０によって計算される。

カーネルモジュール１１０は、ニューロンのニューロン状態を処理するように構成及び配置されたニューロンモジュール１２０に電子的に接続されている。カーネルモジュール１１０からの出力データセットは、ニューロンモジュール１２０によって受信される。ニューロンモジュール１２０は、出力データセットを受信すると、前記データセットの処理を開始する。すなわち、ニューロンモジュール１２０は、イベント駆動型である。

出力特徴マップ４３０内のいくつかのニューロン４２０の更新に加えて、出力特徴マップ４３０内のすべてのニューロン４３１は、バイアス値１４２ｂを用いて繰り返される時間間隔で更新することができる。

この目的のために、各層１０、１０’、１０’’は、バイアスインターフェース１６１及び関連付けられたバイアスメモリ１６２を有するバイアスモジュール１６０を備える。関連付けられたバイアスメモリ１６２は、従来のメモリデバイスであり、ニューロン４３１に適用対象であるバイアス値を格納するように構成されている。

バイアスインターフェース１６１は、バイアス関連メモリ１６２に接続又は統合され、前記関連バイアスメモリ１６２からバイアス値を読み書きするように構成されている。さらに、バイアスインターフェース１６１は、前記バイアス値を出力し、前記バイアス値で更新されるニューロンアドレスと共にニューロンモジュール１２０に前記バイアス値を提供するように構成されている。

バイアス値１４２ｂは通常、特定の出力特徴マップ４３０内のすべてのニューロン４３１に拡張されるが、一方で、カーネル値１４２ｋで更新されるべきニューロン４２０は、メモリマッパー１３０が受信した特定のスパイクイベント１４０に依存することに注意することが重要である。

したがって、バイアスモジュール１６０は、データを交換するように、及び／又は同期的に動作するようにメモリマッパー１３０に接続されず、処理される入力イベントに対して独立して、かついずれのイベントと並行して動作するようになる。バイアスモジュールの動作は、クロッキングデバイスに基づくことができるが、ユーザーが選択した任意のトリガーによって動作することもできる。

バイアスモジュール１６０は、バイアスレジスタ１６３、すなわち、バイアス値１４２ｂで更新されるべき現在層１０内の出力特徴マップ４３０のために示す出力特徴マップインデックスを格納する高速読み取り／書き込みメモリコンポーネントを備える。

ニューロンモジュール１２０は、バイアスモジュール１６０及びカーネルモジュール１１０に接続され、前記モジュール１６０、１１０からの出力を受信するように構成されている。

ニューロンモジュール１２０は、ニューロンレジスタ１２３に接続されている。ニューロンモジュール１２０は、複数のニューロンサブインターフェース１２１ｓを含み、各ニューロンサブインターフェース１２１ｓは、ニューロン状態の読み取り、処理、及び書き込みのために、ニューロンのニューロン状態（図６を参照）を格納する関連付けられたニューロンメモリ５０６（図５を参照）を有する。ニューロンサブインターフェースの一実施形態を図５に示す。

ニューロンモジュール１２０がカーネルモジュール１１０から出力データセットを受信するか、バイアスモジュール１６０からバイアス値１４２ｂを受信するたびに、ニューロンモジュールは、前記出力データセットを、適用可能なカーネル値１４２ｋ及び／又はバイアス値１４２ｂで更新されるべきニューロンからニューロン状態を読み取る１つ又は複数のニューロンサブインターフェース６０１に分配する。

スパイクイベント１４０又は受信バイアス値１４２ｂに従って、複数のニューロン状態を関連付けられたニューロンメモリ５０６から読み取る必要があり、ＳＲＡＭなどの従来のメモリデバイスは比較的遅いため、ニューロンモジュール１２０は、並列化されたニューロンサブインターフェース１２１ｓ（複数）及びそれらの関連付けられたニューロンメモリ５０６（複数）を用いて、関連付けられたニューロンメモリ５０６（図６を参照）との間でニューロン状態を並列に読み取り及び書き込みするように構成及び配置される。

ニューロン状態は、例えば次式に従ってカーネル値１４２ｋで更新される：
ｓ（ｎ＋１）＝ｍｏｄ（ｓ（ｎ）＋ｗｂ，ｔｒ）
式中、ｓ（ｎ）は、関連付けられたニューロンメモリ５０６に格納されているニューロンのニューロン状態を表し、ｗｂは、適用可能なカーネル値１４２ｋ又はバイアス値１４２ｂのいずれかに対応する。新しいニューロンの状態ｓ（ｎ＋１）は、例えば、上限と下限の閾値ｔｒを用いたモジュロ演算によって与えられる。

ｓ（ｎ）＋ｗｂが閾値を超える場合、ニューロン状態は、前記モジュール演算によってリセットされたニューロン状態へリセットされ、発信スパイクイベント１５０が、ニューロンサブインターフェース１２１ｓ（複数）によって生成される。ニューロンサブインターフェース１２１ｓ（複数）は、新しいニューロン状態を、受信されたのと同じニューロンアドレスの下で、関連付けられたニューロンメモリ５０６に格納する。このプロセスは、図５にも示されており、詳細に説明されている。なお、図５は、ニューロンモジュール１２０についての機能的な図を提供し、図６は、ニューロンモジュール１２０の構造的な構成の概略図を提供することに留意されたい。

リセットされたニューロン状態を定義する他の方法が可能であり、図５の状況で詳しく説明されている。

下限又は上限の閾値５０２のいずれかに到達したすべてのニューロンについて、ニューロンインターフェース６０１は、発信スパイクイベント１５０を出力する。この発信スパイクイベント１５０は、前記ニューロンを含む出力特徴マップ内のニューロンの座標と、さらに、前記出力特徴マップを示すための出力特徴マップインデックスとを含むデータ構造である。このデータ構造は、本明細書の文脈では宛先マッパーとも呼ばれる宛先マッパー１７０（図１を参照）コンポーネントに電子的に送信される。

宛先マッパーは、例えば、宛先マッパーに接続されたレジスタ１７１及び発信スパイクイベント１５０から受信した情報をマージするためのマージバッファである。

宛先マッパー１７０は、本明細書の文脈において宛先層とも呼ばれる適切な層１０、１０’、１０’’にルーティングされることが可能なように、発信スパイクイベント１５０、５０３の情報を加えるように構成及び配置されている。

この目的のために、宛先マッパー１７０は、発信スパイクイベント１５０、５０３がルーティング対象である宛先層１０、１０’、１０”に関する情報を提供する関連付けられたレジスタ１７１を備える。

宛先マッパー１７０は、スパイキングニューロンが位置する出力特徴マップ４３０の座標のｘ，ｙ、及びインデックスを含むように、発信スパイクイベント１５０の情報を加える。さらに、出力特徴マップのインデックスは、スパイキングニューロンが位置する出力特徴マップを示す前記追加情報に含まれる。さらに、発信スパイクイベント１５０は、複数の宛先層１０’、１０’’にルーティングされることが可能である。したがって、宛先マッパー１７０は、発信スパイクイベントが宛先層において所定の出力特徴マップにマップされるように、ｓＣＮＮ １によって備えられる別の層１０’、１０’’を示す宛先層のインデックス、及び特徴マップインデックスに関するオフセット値を含むように、情報を加える。オフセット値を付加することで、ｓＣＮＮ １において層スタッキングが可能になる。

前述のように情報が付加された発信スパイクイベント１５０を、次いで、図２に描かれているように、ｓＣＮＮのスパイクイベントルータ２００に提供することができる。

図２は、本発明によるｓＣＮＮ １の一般的なレイアウトを示しており、スパイクイベントルータ２００と複数の層１０、１０’、１０’’（図１で説明した通り）とを備える。

スパイクイベントルータ２００は、層１０、１０’、１０’’から、又はダイナミックビジョンセンサなどのイベント発生装置２２０から、スパイクイベント２１０を受信する。

スパイクイベントルータ２００は、次いで、スパイクイベント２１０をさらに処理するために、その付加された宛先層１０’、１０’’の情報に基づくようなスパイクイベント２１０を提供する（２３０）。

スパイクイベントルータ２００は、例えば、ストリームマルチプレクサ／デマルチプレクサ回路である。

スパイクイベントルータ２００はプログラム可能で、かつスパイクイベントをバックワード方式、フォワード方式、又はリカレント方式で宛先層にルーティングするように構成されており、特に深層学習ネットワークの要件に関して、ｓＣＮＮ １に高いフレキシビリティを提供している。

スパイクイベントルータ２００は、複数のｓＣＮＮ １がネットワークとして協調して配置されている場合に、層間のデータフローを提供するとともに、チップ間の通信（「チップアウト」及び「チップイン」と示す）を行うように構成されている。

この目的のために、スパイクイベントルータ２００は、外部デバイス（第２のｓＣＮＮからのスパイクイベントルータであってもよい）からの信号及びデータをチップ間で受信するための入力ポート２４０を備える。スパイクイベントルータ２００はまた、スパイクイベントルータ２００に接続されたダイナミックビジョンセンサ２２０によって生成されたデータ、すなわちスパイクイベントを受信するように構成されている。ダイナミックビジョンセンサ２２０は、リカレント又はバックワードの伝搬ができないことを除いて、ｓＣＮＮ １のソース層として扱うことができる。

スパイクイベントルータ２００は、スパイクイベントを他のチップに出力、又は結果として出力するための出力ポート２５０を有している。

ｓＣＮＮ １は特に、ｓＣＮＮ １の層１０，１０’，１０’’及び出力特徴マップ４３０に割り当てられるプログラム可能な１００．０００個を超えるニューロンを備える。

層１０，１０’，１０’’、特に前記層１０，１０’，１０’’のレジスタ１３１，１６３，１２３，１７１は、各層１０，１０’，１０’’の特定のレイアウト、すなわち、各層に含まれる畳み込みカーネルの数、各層の出力特徴マップの寸法などを反映するために、適宜プログラムされている。

ダイナミックビジョンセンサ２２０は、例えば、アレイ状に配置された光受容性ピクセルを有するデバイスである。各ピクセルは、検出された光の強度が変化した場合にスパイクイベントを出力するように構成されている。つまり、ダイナミックビジョンセンサ２２０のピクセルは、検出された光束の変化に感受性がある。

ダイナミックビジョンセンサ２２０は、イベント駆動型デバイスであり、すなわち、ピクセルは、フレームベースのカメラの読み出しとは異なり、スパイクイベントが発生したときにそれらを出力する。このようなダイナミックビジョンセンサは、非常に高速な動的イメージングである利点を提供する。本発明によるｓＣＮＮ １と組み合わせると、リアルタイムの超高速データ処理の可能性を、ｓＣＮＮ １を利用することで最大限に引き出すことができる。

図３には、メモリマッパー１３０内のデータフローが概略的に示されている。メモリマッパー１３０の目的は、着信スパイクイベント１４０が投影するニューロン４２０を決定することである。これは、図４にも示されている。

着信スパイクイベント１４０は、メモリマッパー１３０によって以下のように処理される：

着信スパイクイベント１４０は、例えば、チャンネル及び座標｛ｃ，ｘ，ｙ｝の情報を有する。第１に、受信した着信スパイクイベント１４０のゼロパディング３００が実行され、ここでスパイクイベント１４０の座標がオフセット値ｐ_ｘ，ｐ_ｙによって変換される：
｛ｃ，ｘ，ｙ｝→｛ｃ，ｘ＋ｐ_ｘ，ｙ＋ｐ_ｙ｝

ゼロパディング３００は、座標が特徴マップ４３０の境界に近すぎる場合にエッジ効果を回避する目的を果たす。

オフセット値は、メモリマッパー１３０に関連付けられたレジスタ３００ｒ、１３１によって提供される。

次の工程では、カーネルマッパー３０１と呼ばれるモジュールによって、少なくとも１つのカーネルの適用可能なカーネル値のカーネルアドレスが決定される。カーネルマッパー３０１は、着信スパイクイベント１４０が投影する各特徴マップ４３０のニューロンアンカー座標を計算するように構成されている。

前記ニューロンアンカー座標は、例えば、イベントが投影するそれぞれの出力特徴マップ４３０内のアレイの右下隅に位置するニューロンによって与えられる。この工程には、出力特徴マップサイズ、畳み込みカーネルサイズ、及び畳み込みのストライドの処理が含まれる。さらに、前記ニューロンアンカー座標に対応するカーネルアンカー座標が計算される。ニューロンアンカー座標及びカーネルアンカー座標は、更新されるべき出力特徴マップ４３０内のすべてのニューロン４２０、及びカーネルメモリ１１２から受信する必要のあるすべての適用可能なカーネル値１４２ｋを決定するための開始点として機能する。

明らかに、前記２つのアンカー座標に基づく開始点は、右下隅にあるニューロンのニューロン座標である必要はないが、スパイクイベントの投影との関係がわかる限り、任意のニューロンにすることができる。

ニューロンアンカー座標及びカーネルアンカー座標は、次に、スパイクイベント１４０が投影するニューロン４２０及びそれらに関連付けられたニューロンアドレス１４２ｎの残りのニューロン座標を計算するように構成されるアドレススイープモジュール３０２に送信される。

さらに、適用可能なカーネル値１４２ｋのすべてのカーネルアドレスは、スイープモジュール３０２によって決定される。

ニューロン座標４２２及び適用可能なカーネル座標４１１の計算は、例えば図４に示すように、出力特徴マップ４３０上で、ストライドサイズ、及び決定されたアンカー座標に従って、畳み込みカーネル４１０を「スイープ」、すなわちシフトすることによって行われる。

ニューロン座標４２２及びカーネル座標４１１から、ニューロンアドレス１４２ｎ及びカーネルアドレスは、スイープモジュール３０２によって決定される。この目的のために、スイープモジュールはプログラム可能なレジスタ３０２ｒにアクセスし得る。

ニューロンアドレス及びカーネルアドレスは、メモリ空間がニューロンメモリ５０６及びカーネルメモリ１１２に最適に保存されるように、上記のとおり圧縮される。

次に、圧縮されたニューロンアドレス及びカーネルアドレスは、上で説明したとおり、メモリマッパー１３０からカーネルモジュール１１０に提供される。

図４には、着信スパイクイベント１４０が投影するニューロンアドレス及び適用可能なカーネル値１４２ｋを決定する手順が概略的に示されている。

スパイクイベント１４０は、ソース特徴マップ４４０、特に図４の左の列に示されている前記ソース層における出力特徴マップ４３０から来る。左の列のそれぞれの四角は、ソース層の特徴マップ４４０、ＳＦＭ内の関連付けられた座標｛ｘ，ｙ｝を有するニューロンを示し、ここでスパイクイベント１４０が発生したニューロン４２１は黒色に着色されている。例えば、図４のパネルＡに目を向けると、スパイクイベント１４０が受信される現在層１０は、２つのカーネル４１０Ｋ１、Ｋ２を含み、それぞれは、３×３のカーネル値（３×３の正方形を持つ行列）のカーネルサイズ（Ｈ_ｋ，Ｗ_ｋ）を有する。したがって、現在層１０はまた、２つの出力特徴マップ４３０ ＯＦＭ１、ＯＦＭ２を含む。この例では、出力特徴マップＯＦＭ１、ＯＦＭ２のサイズ（Ｈ，Ｗ）はそれぞれ３ｘ３のニューロンである（各ニューロンは正方形で示されている）。図４のパネルＢ～Ｈは、畳み込みの異なる処理工程での同じ状況を示している。

ストライドｓ_ｘ＝ｓ_ｙは、２方向のｘ方向とｙ方向とに設定されており、つまり、畳み込みカーネルＫ１、Ｋ２は、出力特徴マップＯＦＭ１及びＯＦＭ２上で２段階にシフトされる。

ニューロンアンカー座標ｘ_０，ｙ_０及び第１のカーネルＫ１に対応するカーネルアンカー座標は、図４のパネルＡに見られるとおり、前記ニューロンアンカー座標ｘ_０，ｙ_０が、スパイクイベント１４０／４２１が投影する投影部分の右下隅に位置するように決定される。続いて、スイープモジュールは、図４のパネルＢに示すように、出力特徴マップＯＦＭ１上のストライドサイズｓ_ｘに従って、第１の畳み込みカーネルＫ１を「スイープ」し、別のカーネル座標、及びスパイクイベント１４０が投影する別のニューロン座標（ニューロン４２１として示される）を決定する。前記スイープは、ソース特徴マップ４４０ ＳＦＭの９つのニューロンを含むボックス領域（及び常にニューロン４２１）によって示されている。

次の工程（パネルＣ）では、第１の畳み込みカーネルＫ１がｙ方向に沿ってスイープされ（ストライド２で）、第１の出力特徴マップＯＦＭ１のニューロン座標４２２及びカーネル座標が決定される。

図４のパネルＤでは、第１の畳み込みカーネルＫ１がｘに沿ってシフトされ、第１の出力特徴マップＯＦＭ１の４つのうちの最後のニューロン座標と第１の出力特徴マップＯＦＭ１のカーネル座標とが決定される。

次に、同じ手順（パネルＧとＨを比較）を第２のカーネルＫ２に対して行う。このようにして、２つの出力特徴マップＯＦＭ１及びＯＦＭ２における２つのカーネルＫ１、Ｋ２から、合計８つのニューロン座標と８つのカーネル座標がスイープモジュールによって決定される。

決定されたニューロン座標４２２及びカーネル座標４１１に対して、適用可能なカーネル値１４２ｋを有する対応する（８つの）ニューロンアドレス１４２ｎ及び（８つの）カーネルアドレスが決定され、ニューロンモジュール１２０によって畳み込みが実行されるようになる。

図５は、ニューロンモジュール１２０上で、特にニューロンサブインターフェース１２１ｓ（複数）上で、畳み込みがどのように実行されるかを詳細かつ模式的に示したものである。

ニューロンサブインターフェースがニューロンアドレス１４２ｎ及び適用可能なカーネル値１４２ｋを例えばニューロンルータモジュール６０１から受信すると、ニューロンサブインターフェース１２１ｓ（複数）は、関連付けられたニューロンメモリ５０６から受信したニューロンアドレス１４２ｎの下に格納されているニューロン状態を読み取る（５００）。適用可能なカーネル値１４２ｋがニューロン状態に追加される（５０１）。次に、結果として生じるニューロン状態が、少なくとも１つの閾値５０２、通常は２つの閾値、すなわち、下限及び上限の閾値５０２と比較される。

結果として生じるニューロン状態が閾値５０２の１つを超える場合（上限閾値を超えるか、又は下限閾値を下回るかのいずれか）、発信スパイクイベント１５０がニューロンサブインターフェース１２１ｓ（複数）によって生成され、ニューロン状態はリセットされたニューロン状態にリセットされる。この例では、リセットされたニューロン状態はゼロ又はモジュロ演算の余りのいずれかになり得る。

リセットされたニューロン状態は、ニューロンサブインターフェース１２１ｓ（複数）の関連付けられたニューロンメモリ５０６に書き戻される（５０５）。スパイクイベントが生成されない場合、結果として生じるニューロン状態は、関連付けられたニューロンメモリ５０６に書き戻される（５０５）。

図５の概略図は、バイアス値１４２ｂ及びニューロンサブインターフェース１２１ｓ（複数）で受信された対応するニューロンアドレスに同じ方法で適用され、ここでは適用可能なカーネル値１４２ｋの代わりに、バイアス値１４２ｂがニューロン状態に追加される。残りの処理は、カーネル値１４２ｋの受信について説明したのと同じように処理される。

図６は、関連付けられたカーネル１１２、又はニューロンメモリ５０６の並列アクセス及びパイプライン処理がどのように促進されるかを概略的に示している。図６では、ニューロンモジュール１２０が複数のニューロンサブインターフェース１２１ｓをアドレス指定するように構成され、ここで各ニューロンサブインターフェース１２１は、前述のとおりニューロンアドレス及びニューロン状態を読み取り、書き込み、及び処理するように構成されていることが示されている。この目的のために、ニューロンモジュール１２０は、適用可能なカーネル値及び決定された更新すべきニューロンアドレスを受信するニューロンルータモジュール６０１を備える。ニューロンモジュールは、決定されたニューロンアドレスに分配するためのバイアス値を受信することもある。ルータモジュール６０１は、受信したカーネル値及び適用可能なニューロンアドレスを、複数の並列に組織されたニューロンサブインターフェース１２１の対応するニューロンサブインターフェース１２１ｓ（複数）に送信する。ニューロンサブインターフェース１２１ｓ（複数）で、適用可能なニューロンアドレスが関連付けられたメモリ５０６から読み取られ、カーネル値１４２ｋ、特にバイアス値１４２で更新される（図５を参照）。一度、決定されたニューロンアドレスのニューロン状態が更新されると、更新されたニューロン状態が書き戻される、すなわち、関連付けられたメモリ５０６に格納される。更新されたニューロンの状態に応じて、ニューロンのサブインターフェースがスパイクイベントを生成し、そのスパイクイベントを出力する場合がある。ニューロンインターフェースは並列に動作するように構成されているため、処理速度が維持されるように、ニューロンメモリでの比較的遅い読み取り及び書き込みプロセスが補正される。ニューロンモジュールは、共通の特にシリアル接続でさらに処理するために、複数のニューロンサブインターフェース１２１ｓから生成されたスパイクイベントをマージするマージモジュール６０２をさらに備える。各ニューロンサブインターフェース１２１ｓがそれ自身のアクセス可能な関連メモリ５０６を有するニューロンモジュール１２０は、層１０の処理速度が、非並列処理と比較して増加するように、複数のニューロン状態の読み取り、書き込み、及び更新の効果的に並列化された処理を可能にする。

同様のアーキテクチャがカーネルモジュール１１０にも実装され得え、前記カーネルモジュールでのカーネル値の読み取り及び書き込みがそれに応じて並列化されるようになる。

したがって、カーネルモジュール１００は、カーネル値を読み書きするための関連付けられたカーネルメモリをそれぞれ備える複数のカーネルサブインターフェースを備える。複数のカーネルサブインターフェースは、カーネルアドレスをカーネルサブインターフェースに分配するように構成されたカーネルルーターモジュールに接続され、カーネルアドレスに関連付けられたカーネル値が関連付けられたカーネルメモリから読み取られるようになる。さらに、カーネルモジュールは、複数のカーネルサブインターフェースからシリアルバスに提供されたカーネル値を送る（ｆｕｎｎｅｌ）ように構成されたカーネルマージモジュールを備え得る。

本発明によるスパイキング畳み込みニューラルネットワークは、メモリ及びエネルギー効率の良い方法で最新のスパイキング畳み込みニューラルネットワークを動作するための専用の電子回路を提供する。

符号の一覧
１ イベント駆動型スパイキング畳み込みニューラルネットワーク
１０、１０’、１０’’ 層
１１０ カーネルモジュール
１１１ カーネルインターフェース
１１２ カーネルメモリ
１２０ ニューロンモジュール
１２１ｓ ニューロンサブインターフェース
１２３ ニューロンモジュールのレジスタ
１３０ メモリマッパー
１３１ メモリマッパーのレジスタ
１４０ 着信スパイクイベント
１４１ カーネルアドレス及びニューロンアドレス
１４２ｂ バイアス値
１４２ｎ 更新されるべきニューロンのアドレス（複数可）
１４２ｋ 適用可能なカーネル値
１５０ 発信スパイク
１６０ バイアスモジュール
１６１ バイアスインターフェース
１６２ バイアスメモリ
１６３ バイアスモジュールのレジスタ
１７０ 宛先マッパー
１７１ 宛先マッパーのレジスタ
２００ イベントルーター
２１０ 発信スパイクイベント
２２０ ＤＶＳセンサー
２３０ 入来スパイクイベント
２４０ 入力／チップ間入力ポート
２５０ 出力／チップ間出力ポート
３００ ゼロパディングモジュール／動作
３００ｒ 関連付けられたレジスタ
３０１ カーネルマッピングモジュール／動作
３０２ アドレススイープモジュール／動作
３０２ｒ 関連付けられたレジスタ
４１０ 畳み込みカーネル
４１１ カーネル座標、Ｋ１，Ｋ２
４２０ 決定／更新されたニューロン
４２１ ソース層のニューロン座標
４２２ 決定されたニューロンのニューロン座標
４３０ 出力特徴マップ、ＯＦＭ１，ＯＦＭ２
４３１ 出力特徴マップのニューロン
４４０，ＳＦＭ ソース特徴マップ
５００ ニューロン状態を読み取り
５０１ ニューロン状態を更新
５０２ 閾値
５０４ 閾値用レジスタ
５０５ ニューロン状態を書き込み
６０１ ニューロンルータモジュール
６０２ ニューロンマージモジュール

Claims (30)

1. イベント駆動型スパイキング畳み込みニューラルネットワーク（１）を動作させるために構成及び配置された電子回路であって、複数の層を備え、各層は：
   － 少なくとも１つの畳み込みカーネル（４１０）のカーネル値をイベント駆動方式で格納及び処理するように構成されたカーネルモジュール（１１０）、
   － 前記イベント駆動型スパイキング畳み込みニューラルネットワーク（１）のニューロンのニューロン状態をイベント駆動方式で格納及び更新し、かつ更新されたニューロン（４２０）から生成されたスパイクイベント（１５０）を出力するように構成されたニューロンモジュール（１２０）、
   － 現在層の前記ニューロンモジュール（１２０）から受信した発信スパイクイベント（１５０）の発信宛先情報を生成し、かつ、前記発信宛先情報を前記発信スパイクイベント（１５０）に追加するように構成された宛先マッパー（１７０）、
   － ソース層からの着信スパイクイベント（１４０）が少なくとも１つの畳み込みカーネル（４１０）との畳み込みによって投影するニューロン（４２０）を決定するように構成されたメモリマッパー（１３０）であり、前記決定されたニューロン（４２０）のニューロン状態は、前記少なくとも１つの畳み込みカーネル（４１０）の適用可能なカーネル値で更新されるようになり、前記メモリマッパー（１３０）は、イベント駆動方式で着信スパイクイベントを処理するように構成されている、前記メモリマッパー（１３０）、
   を備える、前記電子回路。
2. 前記カーネルモジュール（１１０）は、関連付けられたカーネルメモリ（１１２）に接続されたカーネルインターフェース（１１１）を備え、前記関連付けられたカーネルメモリ（１１２）は、カーネルアドレスに、前記少なくとも１つの畳み込みカーネルのカーネル値を格納するように構成され、前記カーネルモジュール（１１０）は、前記ニューロンモジュール（１２０）に電子的に接続されている、請求項１に記載の電子回路。
3. 前記メモリマッパー（１３０）は、前記カーネルモジュール（１１０）に電子的に接続され、前記メモリマッパー（１３０）は：
   ａ）前記イベント駆動型スパイキング畳み込みニューラルネットワーク（１）のソース層からの着信スパイクイベント（１４０）を受信し、前記着信スパイクイベント（１４０）は、前記ソース層においてニューロン座標（４２１）の情報を含み；
   そして前記受信したスパイクイベント（１４０）に応答して、
   ｂ）前記少なくとも１つの畳み込みカーネル（１１０）との前記受信したスパイクイベント（１４０）の畳み込みが投影するニューロン（４２０）のニューロン座標（４２２）及び対応するニューロンアドレスを決定し、
   ｃ）前記決定されたニューロンアドレスのニューロン状態に適用可能な前記カーネル値の対応するカーネル座標（４１１）を用いてカーネルアドレスを決定し、ここで前記決定されたニューロンアドレスの前記ニューロン状態は、前記適用可能なカーネル値で更新されるようになり、
   ｄ）前記決定されたニューロンアドレスを前記カーネルモジュールに提供するように、
   構成及び配置されている、請求項１に記載の電子回路。
4. 前記カーネルモジュール（１１０）は、前記決定されたカーネルアドレスを受信し、かつ前記決定されたカーネルアドレスに格納された前記適用可能なカーネル値を前記決定されたニューロンアドレスと共に前記ニューロンモジュール（１２０）へ提供するように構成及び配置されている、請求項３に記載の電子回路。
5. 前記ニューロンモジュール（１２０）は：
   ａ）前記決定されたニューロンアドレス（１４２ｎ）及び前記適用可能なカーネル値（１４２ｋ）を受信し、
   ｂ）受信したニューロンアドレス（１４２ｎ）ごとに、前記適用可能なカーネル値（１４２ｋ）に基づくニューロン（４２０）の更新されたニューロン状態を決定し、
   ｃ）少なくとも１つの所定の閾値（５０２）に到達する更新されたニューロン（４２０）の発信スパイクイベント（１５０）を出力するように、
   構成及び配置されている、請求項３に記載の電子回路。
6. 前記メモリマッパー（１３０）は、受信されたスパイクイベント（１４０）ごとに、出力特徴マップ（４３０）に割り当てられるニューロンからなる少なくとも１つの出力特徴マップ（４３０）を決定するように構成され、前記出力特徴マップ（４３０）の数は、現在層（１０）の畳み込みカーネル（４１０）の数に等しい、請求項１に記載の電子回路。
7. 各層（１０、１０’）は、関連付けられたバイアスメモリ（１６２）、及び前記関連付けられたバイアスメモリ（１６２）に接続されたバイアスインターフェース（１６１）を備えるバイアスモジュール（１６０）をさらに備え、前記関連付けられたバイアスメモリ（１６２）は、バイアスアドレスにバイアス値を格納するように構成され、前記バイアスモジュール（１６０）は、前記ニューロンモジュール（１２０）に接続され、かつ前記バイアスモジュール（１６０）は、前記ニューロンモジュール（１２０）に、所定の時間間隔でバイアス値を提供するように構成され、前記ニューロンモジュール（１２０）は、受信したバイアス値に基づく少なくとも１つの出力特徴マップ（４３０）内のすべてのニューロン（４３１）のニューロン状態を更新するように構成されている、請求項１に記載の電子回路。
8. 前記ニューロンモジュール（１２０）は、受信したニューロンアドレス（１４２ｎ）及びカーネル値（１４２ｋ）、及び受信したバイアス値（１４２ｂ）を処理し、かつ更新されたニューロン状態及びスパイクイベント（１５０）を生成する（５０１、５０２）ように構成された複数の並列動作ニューロンサブインターフェース（１２１ｓ）を備え、各ニューロンサブインターフェース（１２１ｓ）は、前記受信したニューロンアドレスのニューロン状態を読み取るため、及び更新されたニューロン状態を関連付けられたニューロンメモリ（５０６）の前記受信したニューロンアドレスに書き込むための関連付けられたニューロンメモリ（５０６）を有し、それにより前記ニューロンサブインターフェース及びそれらの関連付けられたニューロンメモリ（５０６）によってニューロン状態の並列処理が達成されるようになる、請求項１に記載の電子回路。
9. 前記ニューロンモジュール（１２０）は、決定されたニューロンアドレス（１４２ｎ）及びカーネル値（１４２ｋ）、及びバイアス値（１４２ｂ）を、前記カーネルモジュール（１１０）及び／又はバイアスモジュール（１６０）から受信し、かつ前記受信したニューロンアドレス（１４２ｎ）及びカーネル値（１４２ｋ）、及びバイアス値（１４２ｂ）を、前記受信したニューロンアドレス（１４２ｎ）及びカーネル値（１４２ｋ）、及びバイアス値（１４２ｂ）を並列に処理するように構成された前記複数の並列動作ニューロンサブインターフェース（１２１ｓ）に送信するように構成かつ適応されたルータモジュール（６０１）を備え、
   前記ニューロンモジュールは、前記複数の並列動作ニューロンサブインターフェース（１２１ｓ）から生成されたスパイクイベント（１５０）を受信し、かつニューロンサブインターフェースよりも少ないチャンネルを有するバスにシリアル処理のためにスパイクイベントを送るように構成及び適応されるマージモジュール（６０２）をさらに備え、ここで前記バスは、単一の伝送チャンネルのみを有している、請求項８に記載の電子回路。
10. 前記ニューロンモジュール（１２０）は：
    － ニューロンアドレス（１４２ｎ）及びカーネル値（１４２ｋ）、及びバイアス値（１４２ｂ）を、前記カーネルモジュール（１１０）及び／又はバイアスモジュール（１６０）から、ルータモジュール（６０１）にて受信し、
    － 前記受信したニューロンアドレス（１４２ｎ）のニューロン状態を、前記並列動作ニューロンサブインターフェース（複数）（１２１ｓ）のうちの１つにおいて前記関連付けられたニューロンメモリ（５０６）から読み取り（５００）、
    － 前記受信したカーネル値（１４２ｋ）及び／又は前記受信したバイアス値（１４２ｂ）で、前記読み取ったニューロン状態を、前記並列動作ニューロンサブインターフェース（複数）（１２１ｓ）上で更新し（５０１）、
    － 前記更新されたニューロン状態を少なくとも１つの閾値と、前記並列動作ニューロンサブインターフェース（複数）（１２１ｓ）上の閾値レジスタに格納され、かつそこからアクセス可能な、前記少なくとも１つの閾値と比較し（５０２）、
    － 前記少なくとも１つの閾値に到達する場合（５０２）、宛先マッパー（１７０）に提供されるスパイクイベントを生成し（５０３）、かつ前記更新されたニューロン状態をリセットして、リセットされたニューロン状態にし、
    － 前記更新されたニューロン状態を、前記関連付けられたニューロンメモリ（５０６）の前記受信したニューロンアドレス（１４２ｎ）に書き込む（５０５）、
    ように構成される、請求項９に記載の電子回路。
11. 前記メモリマッパー（１３０）は、前記メモリマッパー（１３０）によってスパイクイベント（１４０）が受信される場合に、前記適用可能なカーネル値（１４２ｋ）の前記カーネルアドレス、及び更新すべき対応するニューロンアドレス（１４２ｎ）を有するニューロン座標（４２１）を決定するために、以下の一連の動作を実行するように構成されており、ここで前記スパイクイベント（１４０）は、ソース特徴マップ（４４０）において前記スパイクイベント（１４０）を生成したニューロン（４２１）の座標（ｘ，ｙ）及びチャンネル識別子（ｃ）、ｘ識別子及びｙ識別子を含む座標（ｘ，ｙ）に関する情報を含むか、又はそれからなり、前記以下の一連の動作は：
    － レジスタによって提供及び格納される所定のオフセット（ｐ_ｘ，ｐ_ｙ）で前記スパイクイベント（１４０）の前記座標（ｘ，ｙ）を、ゼロパディング（ｘ＋ｐ_ｘ，ｙ＋ｐ_ｙ）し、
    － 前記座標（ｘ，ｙ）から、前記ゼロパディングされた座標（ｘ＋ｐ_ｘ，ｙ＋ｐ_ｙ）から、前記スパイクイベントが投影するニューロンアンカー座標（ｘ_０，ｙ_０）、及び少なくとも１つのカーネル（ｆ）の対応するカーネルアンカー座標（ｘ_０ ^ｋ，ｙ_０ ^ｋ）を計算し、ここで前記カーネルアンカー座標（ｘ_０ ^ｋ，ｙ_０ ^ｋ）は、前記少なくとも１つのカーネル（ｆ）のそれぞれのカーネル座標（ｆ，ｘ_０ ^ｋ，ｙ_０ ^ｋ）を示し、前記ニューロンアンカー座標（ｘ_０，ｙ_０）は、出力特徴マップ（４３０）に関連付けられており、
    － 前記ニューロンアンカー座標及び前記カーネルアンカー座標から開始して、更新すべきすべてのニューロン座標（ｆ，ｘ，ｙ）及び前記適用可能なカーネル値（１４２ｋ）のすべてのカーネル座標（ｃ，ｆ，ｘ^ｋ，ｙ^ｋ）を決定し、レジスタにより提供される出力特徴マップ（４３０）のサイズ、ストライドサイズ及び／又はカーネルサイズにおける情報を処理することによって決定し、
    － 前記決定されたすべてのニューロン座標（ｆ，ｘ，ｙ）及び前記適用可能なカーネル値（１４２ｋ）の前記すべてのカーネル座標（ｃ，ｆ，ｘ^ｋ，ｙ^ｋ）から、圧縮されたニューロンアドレス及び圧縮されたカーネルアドレスを決定し、
    － 前記決定され圧縮されたニューロンアドレス及び圧縮されたカーネルアドレスを、前記カーネルモジュール（１１０）及び／又は前記ニューロンモジュール（１２０）に提供すること、
    である、請求項３に記載の電子回路。
12. 前記関連付けられたニューロンメモリ（５０６）は、すべてのニューロン状態が連続するニューロンアドレスに格納されるように組織され、前記メモリマッパー（１３０）は、圧縮されたニューロンアドレスを生成するなど、すべてのニューロン座標（ｆ，ｘ，ｙ）のために、連続するニューロンアドレスに生成するように構成され、かつ前記メモリマッパー（１３０）は、前記圧縮されたニューロンアドレスを前記ニューロンモジュール（１２０）に提供するように構成される、請求項８に記載の電子回路。
13. 前記イベント駆動型スパイキング畳み込みニューラルネットワーク（１）は、ソース層から受信した発信スパイクイベントを少なくとも１つの宛先層にルーティングするように構成されたスパイクイベントルータ（２００）と接続される複数の層（１０、１０’、１０’’）を備え、前記スパイクイベントルータ（２００）は、前記発信スパイクイベント（１５０）に関連付けられた宛先情報にアクセスし、ここで、前記宛先層（１０’’）は前記ソース層（１０’）になり得る、請求項１に記載の電子回路。
14. 前記層は、前記スパイキング畳み込みニューラルネットワーク内の層を表す少なくとも１つの電子回路を指し、前記イベント駆動型スパイキング畳み込みニューラルネットワークは、フレーム又はクロックに基づかずに動作する、請求項１～１３のいずれか１項に記載の電子回路。
15. 前記メモリマッパー（１３０）、前記ニューロンモジュール（１２０）及び前記カーネルモジュール（１１０）は、前記電子回路において配線での通信を有する、請求項１～１４のいずれか１項に記載の電子回路。
16. 前記メモリマッパー（１３０）は、非同期電子回路である、請求項１～１４のいずれか１項に記載の電子回路。
17. 前記メモリマッパー（１３０）は、適用可能なカーネル値によって更新すべき前記ニューロンアドレスを決定するように構成される、所定の式を実行するように配線されている、請求項３に記載の電子回路。
18. 前記メモリマッパー（１３０）は、前記決定のための前記式を指定するプログラム可能なレジスタ値を提供することができる、請求項１７に記載の電子回路。
19. 前記メモリマッパー（１３０）は、少なくとも１つのスパイクイベントを一度に処理できるように、所定の帯域幅のパラレルインターフェースを備える非同期シリアルインターフェース回路である、請求項１６に記載の電子回路。
20. 前記スパイキング畳み込みニュートラルネットワークは、非同期スパイクイベントを受信し、受信時に各スパイクイベントを処理するように構成される、請求項１６に記載の電子回路。
21. 前記カーネルモジュール（１１０）は、非同期モジュールであり、前記宛先マッパー（１７０）は、非同期電子回路である、請求項２０に記載の電子回路。
22. 前記複数の層が、スパイクイベントルータによって電子的に接続及び組織され、スパイクイベントルータは、様々なスパイキング畳み込みニューラルネットワーク構成及びルーティングオプションを可能にするようにプログラムすることができる、請求項１～１４のいずれか１項に記載の電子回路。
23. 前記スパイキング畳み込みニューラルネットワークは、ダイナミックビジョンセンサからスパイクイベントを受信かつ処理するように構成され、イベント駆動型スパイクを生成するように構成された前記ダイナミックビジョンセンサは、前記スパイクイベントルータの入力又は第１のソース層として機能することができる、請求項２２に記載の電子回路。
24. 前記関連付けられたカーネルメモリ（１１２）は、各層によって物理的に備えられる、請求項２に記載の電子回路。
25. 関連付けられた各ニューロンメモリ（５０６）は、各層に物理的に配置されているメモリストレージであり、又は前記層に割り当てられ、かつ接続されているが、前記層に備わないメモリである、請求項８に記載の電子回路。
26. 前記メモリマッパー（１３０）は、前記着信スパイクイベント（１４０）が前記メモリマッパー（１３０）によって受信されると、前記着信スパイクイベント（１４０）の処理を開始し、前記メモリマッパー（１３０）はイベント駆動型であり、前記スパイクイベントｃ、ｘ、ｙの様々なビットを加算、乗算、多重化するための複数のバッファステージと電子コンビナートロジスティック回路とを備えた処理パイプラインを備え、前記着信スパイクイベント（１４０）は、座標（ｘ、ｙ）とチャネル識別子（ｃ）に関する情報を含む、請求項１～１４のいずれか１項に記載の電子回路。
27. 前記ニューロンアンカー座標（ｘ_ｏ，ｙ_ｏ）は、イベントが投影するそれぞれの出力特徴マップ（４３０）内のアレイの右下隅に位置するニューロンによって与えられ、
    前記ニューロンアンカー座標（ｘ_ｏ，ｙ_ｏ）に対応するカーネルアンカー座標（ｘ_０ ^ｋ，ｙ_０ ^ｋ）が計算され、
    前記ニューロンアンカー座標（ｘ_ｏ，ｙ_ｏ）及び前記カーネルアンカー座標（ｘ_０ ^ｋ，ｙ_０ ^ｋ）は、次に、着信スパイクイベント（１４０）が投影される前記ニューロン（４２０）の残りのニューロン座標及びそれらに関連するニューロンアドレス（１４２ｎ）を計算するように構成されたアドレススイープモジュール（３０２）に送信される、請求項１１に記載の電子回路。
28. 前記層のレジスタは、各層の特定のレイアウトを反映するためにプログラムされている、請求項１～１４のいずれか１項に記載の電子回路。
29. 前記バイアスモジュール（１６０）は、バイアス値で更新されるべき現在層内の出力特徴マップのために示す出力特徴マップインデックスを格納するバイアスレジスタ（１６１）を備える、請求項７に記載の電子回路。
30. 前記宛先マッパー（１７０）は、イベント駆動型であり、非同期電子回路である、請求項１～１４のいずれか１項に記載の電子回路。