JP7773234B2 - 光学画像認識および分類装置 - Google Patents

Description

特許法第３０条第２項適用 総合科学誌「Ｎａｔｕｒｅ」のウェブサイトに掲載された論文（ウェブサイトの掲載日：令和２年３月４日）（掲載アドレスは発明の新規性の喪失の例外の規定の適用を受けるための証明書に掲載）

本発明は、光学画像認識および分類のための改良装置に関する。

光学画像センサは、自律車両および自律ロボットを含むインテリジェントシステムのための様々なマシンビジョン装置の不可欠な要素である。フレームベースのカメラによって光学画像をキャプチャし、アナログ／デジタル変換器を使用してそれらを電子デジタル表現に変換し、例えば人工ニューラルネットワーク（ＡＮＮ）などの機械学習アルゴリズムを使用してそれを処理することが知られている。このようなＡＮＮは、典型的には、相互接続された計算ユニット（シナプス）のいくつかの層を備え、その接続を調整することができ、そのことによりネットワークが画像の分類などのタスクを実行するように訓練されることが可能になる。しかしながら、光学画像センサからＡＮＮの出力層までのいくつかの層を通過する大量のデータ（大部分は冗長データ）は、低速および高電力消費をもたらす。

本発明の目的は、一般的な光学画像センサの上記問題および他の問題を解決し、光学画像の高速、ロバスト、かつ効率的な認識および分類を可能にする装置を提供することである。

この目的および他の目的は、請求項１に記載の装置によって達成される。

本発明に係る装置は、光学画像をｎ＝１，２，…，Ｎ個の局所光パワー値Ｐ_ｎに分割する光学装置を備える。このような光学装置は、認識および分類される画像を検出器アレイ上に投影するためのミラー、レンズ、または偏光子を備え得る。また光学装置は、デジタルカメラ装置のような単純なレンズ構成であってもよい。

本発明に係る装置は、局所光パワー値Ｐ_ｎをピックアップするためにｎ＝１，２，…，Ｎ個の光活性ピクセルを備える検出器アレイをさらに備える。このような光活性ピクセルは、短絡条件下で操作される半導体フォトダイオードを含むことが好ましく、その結果、光照射下で測定可能な出力電流を送出する。ピクセル数Ｎは本質的に制限されず、例えば、典型的な用途では、典型的な光学センサ構成の分解能に匹敵する約１０，０００～１，０００，０００であり得る。ピクセルは、用途に応じて、円形、矩形、もしくは正方形の領域、または任意の他の形状に配置され得る。

本発明によれば、各ピクセルは、サブピクセル、好ましくはｍ＝１，２，…，Ｍ個のサブピクセルにセグメント化され、各サブピクセルは、光照射下で、その光応答度Ｒ_ｍｎおよびピクセルで受け取られた局所光パワーＰ_ｎに応じて光電流Ｉ_ｍｎを送出する光活性面積を有する半導体フォトダイオードを含む。１ピクセル当たりのサブピクセルの数は、２、３、４、５、６、またはそれ以上であり得、サブピクセルは、ピクセル内の異なる位置に、線、円、または任意の矩形もしくは正方形の配置で配置され得る。１ピクセル当たりのサブピクセルの数に固有の制限はない。用途に応じて、１ピクセル当たり２×２、２×３、またはそれ以上のサブピクセルのマトリクス配列が形成され得るが、サブピクセルの線形アレイまたは円形配置も同様に実現可能である。ピクセルは全て、同じ数または異なる数のサブピクセルを有し得る。

Ｐ_ｎで照射されると、各サブピクセルは、その固有の光応答度値Ｒ_ｍｎに応じて電流を送出する。本発明によれば、ピクセル内のサブピクセルの光応答度値Ｒ_ｍｎは同じではなく、したがって、Ｐ_ｎの値で表される光学画像を認識し分類するための人工ニューラルネットワークを構築するための重みとして使用され得る。このために、各ピクセルのサブピクセルの出力は、別個の出力線を形成するように並列に接続され、各出力線は、ピクセル内の異なるサブピクセルによって生成される光検出器電流を合計する。検出器電流Ｉ_ｍは、光応答度値Ｒ_ｍｎおよび局所光パワーＰ_ｎの関数として次のように表され得る。

Ｍ個の検出器電流は、次に、人工ニューラルネットワーク（ＡＮＮ）の外部または統合電子分類器回路内で光学画像を認識および分類するために使用され得る。したがって、検出器アレイ自体は、光パワーＰ_ｎ値と調整可能な光応答行列Ｒ_ｍｎとのリアルタイム乗算を実行する。次に、サブピクセルは人工ニューロンとして使用され、ネットワークのトレーニングは、各サブピクセルの光応答値Ｒ_ｍｎを重みとして個々に設定する必要がある。したがって、本発明に係る装置は、コンピュータ実装方法がＡＮＮとして該装置を使用して光学画像を認識および分類することを可能にする。最初の教師ありまたは教師なしトレーニングステップでは、所定の画像のセットを使用して、各サブピクセルの重みＲ_ｍｎを個別に設定または調整することができる。次の分類ステップにおいて、投影された光学画像は、検出器電流Ｉ_ｍに基づいて分類器回路によって分類され得る。このことにより、画像分類のための非常に高速なハードウェア実装ＡＮＮを実現することができる。

各ピクセルは、ｍ＝１，２，…，Ｍ個のサブピクセルにセグメント化され得、各ピクセルのサブピクセルの出力は、Ｍ本の出力線を形成するように接続され得る。各ピクセル内のサブピクセルの数は、いくつかの実施形態では、出力線の数Ｍと同じであり得るが、他の実施形態では、Ｍよりも少ない、または多い場合もある。サブピクセルはそれぞれ、ソースコンタクトおよびドレインコンタクトによって接触される半導体チャネルを有する半導体トランジスタとして実現されるフォトダイオードを備え得、ソースコンタクトは接地され、ドレインコンタクトはサブピクセルの出力線を形成する。チャネルは、Ｓｉ、ＧａＡｓ、または任意の他の半導体であり得る。チャネルとソースコンタクトおよびドレインコンタクトとの間にショットキーコンタクトが形成され得る。

本発明の一実施形態では、サブピクセルの光応答度値Ｒ_ｍｎは、動作中に調整されないが、トレーニング期間中に初期化され、動作中には固定されたままになる。これは、Ｒ_ｍｎの所望の値に対応して、各サブピクセルの光活性面積を異なるように設定することによって、フォトダイオードの製造時に実現可能である。ここで、光活性面積は、フォトダイオードの照射面積を示し、得られる光電流は、光活性面積に正比例する。この実施形態では、装置が電源電圧なしで動作することができ、Ｒ_ｍｎの値を能動的に設定する必要がないという利点がある。照射下で、フォトダイオードは、Ｐ_ｎおよびその光活性面積に正比例する電流を送出する。所与の単一用途のための光応答度値Ｒ_ｍｎを生成するために必要な光活性面積は、初期シミュレーションまたは実験によって、製造前に予め決定され得る。

代替形態では、サブピクセルの光応答度値Ｒ_ｍｎは、動作中に、好ましくは電気的手段によって能動的に調整可能である。これは、横方向ｐｎ接合がフォトダイオードのチャネル内に形成される場合に実現可能である。この接合のビルトイン電場は、２つの横方向に変位したゲート電極、ソースコンタクトの近くの第１のゲート電極、およびドレインコンタクトの近くの第２のゲート電極の影響を受ける可能性がある。ゲート電極における電圧は、ｐｎ接合に影響を及ぼし、したがって、サブピクセルの光応答度を能動的に設定または調整するために使用され得る。この実施形態では、各サブピクセルの光活性面積は同じであり得る。

第１のゲート電極および第２のゲート電極は、Ａｌ_２Ｏ_３の絶縁層に埋め込まれ得る。ゲート電極間のチャネルに沿った横方向の距離は、５００ｎｍ未満、特に約３００ｎｍであり得る。

本発明の一実施形態では、チャネルは、総厚が１０ｎｍ未満、好ましくは５ｎｍ未満となるように、５層未満の原子層を含む。チャネルは、遷移金属ジカルコゲナイドなどの光活性材料として層状２次元半導体を含み得る。遷移金属ジカルコゲナイド（ＴＭＤＣ）単層は、化学式ＰＸ_２を有する２次元材料群であり、式中、Ｐは、ＶＩ族、Ｖ族およびＶＩ族からの遷移金属を表し、Ｘは、硫黄、セレンまたはテルルなどのカルコゲンを表す。ＭｏＳ_２、ＭｏＳｅ_２、ＭｏＴｅ_２、ＷＳ_２およびＷＳｅ_２は、ＴＭＤＣである。ＴＭＤＣは、カルコゲン原子の２つの面の間に金属原子の面を有する層状構造を有する。各層は面では強く結合しているが、中間層での結合は弱い。したがって、ＴＭＤＣは、様々な方法によって原子的に薄い層に容易に剥離され得る。ＴＭＤＣは、層依存性の光学的および電気的特性を示す。ＴＭＤＣのバンドギャップは、間接バンドギャップから直接バンドギャップに変化し、このことは、ＴＭＤＣをオプトエレクトロニクスにおいて有用にする。このような２Ｄ半導体は、強い光物質相互作用および優れた光電子特性を示すだけでなく、マルチゲート電極を使用する静電ドーピングによって、デバイス内の電位プロファイルの外部調整可能性（ひいては、その光感受性）も提供する。

本発明の一実施形態では、装置は、画像分類器を実装するためのＡＮＮとして動作し、検出器電流Ｉ_ｍに従って光学画像をいくつかのｙ_１、ｙ_２、…、ｙ_Ｍの所定のカテゴリに分類するように適合された電子分類器回路を備える。これらの異なるカテゴリは、用途に依存し、トレーニング画像のセットを使用して分類器の初期トレーニング期間中に事前に準備される。分類器回路は、検出器電流Ｉ_ｍをデジタルデータに変換するＡ／Ｄ変換器と、デジタルデータを処理するＰＣなどの制御ユニットとを備え得る。

本発明の一実施形態では、装置は、光学画像Ｐ_ｎを類似の光学画像Ｐ_ｎ’に符号化および復号化するオートエンコーダを実装するＡＮＮとして動作し、光応答度値Ｒ_ｍｎが自動的に決定される。ここで、検出器アレイはエンコーダとして動作し、重みＷ_ｎｍを有する電子デコーダ回路が、Ｉ_ｍのＭ個の値をＰ_ｎ’のＮ個の値にデコードするために設けられる。この実施形態では、電子比較器ユニットは、Ｐ_ｎとＰ_ｎ’との間の誤差を最小にするようにＲ_ｍｎおよびＷ_ｎｍの値を調整するように適合される。

本発明の一実施形態では、装置は、必要な光応答度値Ｒ_ｍｎを各サブピクセルに個別に付与するように適合された電子制御回路、特に電子メモリを備える。これは、例えば、サブピクセルの第１ゲート電極に電圧Ｖ_ｍｎを設定し、第２ゲート電極に電圧－Ｖ_ｍｎを設定することで実現可能である。このために、制御回路はＤ／Ａ変換器を備え得る。Ｄ／Ａ変換器は、第１のゲート電極における電圧と第２のゲート電極における電圧を逆に設定する（すなわち、第１のゲート電極における電圧が＋Ｖ_Ｇに設定される場合に、第２のゲート電極における電圧が－Ｖ_Ｇに設定される）ように適合され得る。Ｖ_Ｇの値は、例えば、約１Ｖ～５Ｖであり得、この値は、光応答度値Ｒ_ｍｎの典型的な範囲（例えば、－１Ａ／Ｗ～＋１Ａ／Ｗ、または－６０ｍＡ／Ｗ～＋６０ｍＡ／Ｗ）をもたらし得る。しかしながら、これらの値のいずれかに明示的に限定することを意図するものではない。各サブピクセルの光応答度値Ｒ_ｍｎは、外部電子メモリに記憶され、ケーブリングを介して検出器アレイに供給されてもよい。

本発明の一実施形態では、サブピクセルはそれぞれ、２つの電気的に絶縁されたフローティングゲート電極を備え、第１のフローティングゲート電極は第１のゲート電極の近くに配置され、第２のフローティングゲート電極は第２のゲート電極の近くに配置される。フローティングゲート電極は、約２ｎｍ厚のＡｕ層であり得る。フローティングゲート電極は、六方晶窒化ホウ素（ｈＢＮ）の絶縁層に埋め込まれ得る。好ましくは、フローティングゲート電極とゲート電極との間の絶縁層は、例えば電子制御回路によって、割り当てられたゲート電極に電圧が印加されたときにフローティングゲートが帯電し、その後、十分に長い期間にわたってその電荷を保つことができるように、十分に薄い層である。サブピクセルは、トレーニング中に設定されると、それらの個々の光応答度値を保持し、調整可能な符号および大きさの光電流を送出する。

この実施形態は、全てのサブピクセルに常に適切な電圧を供給する必要がないという特定の利点を有する。その代わりに、トレーニング期間中、各サブピクセルは、列・行デコーダ（例えばデジタルピクセルカメラの標準構成要素である）を使用してアドレス指定することによって、一度帯電可能である。電荷はフローティングゲート上に保持され、十分に長い期間リセットされる必要はない。

一代替形態では、サブピクセルはそれぞれ、強誘電性ゲート誘電体を含む。

本発明はさらに、光学画像認識および分類のための人工ニューラルネットワークであって、本発明に係る装置を備え、サブピクセルが人工ニューロンとして使用され、サブピクセルの光応答度値Ｒ_ｍｎが人工ニューラルネットワークの重みとして使用される人工ニューラルネットワークに関する。一実施形態では、サブピクセルの値Ｒ_ｍｎは、ピクセル内の各サブピクセルの光活性面積によって最初に決定される。

本発明のさらなる特徴は、以下の特許請求の範囲、図面、および実施形態の説明から明らかになるであろう。本発明の特定の実施形態は、２０２０年３月４日に公開され、https://doi.org/10.1038/s41586-020-2038-xでダウンロード可能なＭｅｎｎｅｌらの論文「Ｕｌｔｒａｆａｓｔ ｍａｃｈｉｎｅ ｖｉｓｉｏｎ ｗｉｔｈ ２Ｄ ｍａｔｅｒｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｉｍａｇｅ ｓｅｎｓｏｒｓ」、Ｎａｔｕｒｅ ５７９、６２～６６（２０２０）に記載されている。この論文の内容は、参照により本願明細書に援用される。

本発明に係る検出器アレイの例示的な一実施形態の概略図である。 検出器アレイにおける単一ピクセルの概略回路図である。 検出器アレイのさらなる実施形態の概略回路図である。 本発明に係る単一サブピクセルフォトダイオードの異なる実施形態の概略図である。 本発明に係る単一サブピクセルフォトダイオードの異なる実施形態の概略図である。 分類器およびオートエンコーダを実装するＡＮＮとしての本発明に係る装置の概略的な適用例を示す図である。 分類器およびオートエンコーダを実装するＡＮＮとしての本発明に係る装置の概略的な適用例を示す図である。 本発明に従うＡＮＮのためのトレーニングアルゴリズムの簡略化されたフローチャートである。 本発明に係る装置を用いて光学画像を分類するための実験装置を示す図である。 本発明に係る検出器アレイのさらなる実施形態を示す図である。 本発明に係る検出器アレイのさらなる実施形態を示す図である。

図１ａは、本発明に係る装置の一実施形態のための検出器アレイ１の基本レイアウトの概略図である。検出器アレイは、２次元アレイに配置されたｎ＝１，２，…，Ｎ個の光活性ピクセル２、２’、２”からなり、各ピクセルはｍ＝１，２，…，Ｍ個のサブピクセル３に分割される。この実施形態では、Ｍ＝４であり、各ピクセルは４つのサブピクセルを含む。各サブピクセル３はフォトダイオードを含み、フォトダイオードは、短絡条件下で動作し、光照射下でＩ_ｍｎ＝Ｒ_ｍｎ・Ｅ_ｎ・Ａ＝Ｒ_ｍｎ・Ｐ_ｎの光電流を送出し、ここで、Ｒ_ｍｎはサブピクセル３の光応答度であり、Ｅ_ｎおよびＰ_ｎはそれぞれｎ番目のピクセルにおける局所放射照度および光パワーを示し、Ａはサブピクセルの光活性面積である。この実施形態では、各サブピクセルは同じ光活性面積を有する。数ｎ＝１，２，…，Ｎおよびｍ＝１，２，…，Ｍは、対応するように、ピクセルインデックスおよびサブピクセルインデックスを示す。全てのピクセル２、２’、２”のサブピクセル３を並列に相互接続することによって、統合されたニューラルネットワークおよび撮像装置が形成される。

Ｎ個のピクセルにわたってｍ番目のサブピクセルによって生成された全ての光電流Ｉ_ｍｎを合計すると、Ｍ個の検出器電流が得られる。

この動作は、全てのピクセル２、２’、２”のサブピクセル３の出力を並列に配線することによって行われる。これにより、行列ベクトル積演算Ｉ＝ＲＰが実行され、ここで、Ｒ＝（Ｒ_ｍｎ）は光応答度行列であり、Ｐ＝（Ｐ_１，Ｐ_２，…，Ｐ_Ｎ）^Ｔはチップ上に投影される光学画像を表すベクトルであり、Ｉ＝（Ｉ_１，Ｉ_２，…，Ｉ_Ｍ）^Ｔは出力ベクトルである。Ｒ_ｍｎが特定の正または負の値に設定され得るという条件で、画像処理のための様々なタイプの人工ニューラルネットワーク（ＡＮＮ）が実装され得、シナプス重みは光応答度行列Ｒ_ｍｎにおいて符号化される。

図１ｂは、Ｍ個のサブピクセル３を含む検出器アレイ内の単一ピクセル２の概略回路図である。各サブピクセル３は、短絡条件下で動作する半導体フォトダイオードを含む。各フォトダイオードのソースコンタクトは相互接続され、接地される。フォトダイオードは、２つのゲート電極８、８’を有するスプリットゲートを特徴とする。

外部電子制御回路（図示せず）は、電圧Ｖ_１ｎ、Ｖ_２ｎ、…、Ｖ_Ｍｎを供給し、これらの電圧は、ゲート電極８、８’に供給するためにピクセル２に導入され、各サブピクセル３の２つのゲート電極は、それぞれ正電圧および負電圧でバイアスされる。インバータのセットは、負電圧－Ｖ_１ｎ、－Ｖ_２ｎ、…－Ｖ_Ｍｎを生成するために設けられる。各サブピクセル３の光応答度は、２つのゲート電極８、８’に一対のＶ_Ｇ／－Ｖ_Ｇ電圧を供給することによって個別に設定され得る。各フォトダイオードのＭ個のドレインコンタクトは、サブピクセル３の出力線４として動作し、結果として生じる光電流Ｉ_１ｎ、Ｉ_２ｎ、…、Ｉ_Ｍｎを搬送する。

図１ｃは、２７個のサブピクセル３からなる検出器アレイ１の一実施形態のさらなる概略回路図である。デバイスは、約１７×１７μｍ^２のピクセルサイズを有し、１ピクセル当たり３つのサブピクセル（Ｍ＝３）を有する３×３撮像アレイ（ピクセル数Ｎ＝９）を形成するように配置される。光照射下で個々のデバイスによって生成される短絡光電流は、サブピクセルを並列に配線することによってキルヒホッフの法則に従って合計される。各サブピクセル３には、その応答度を個別に設定するために、一対のゲート電圧Ｖ_Ｇ、－Ｖ_Ｇが供給される。チップのトレーニングおよび試験のために、光学装置１０を使用して光学画像を投影した。６５０ｎｍの波長および約０．１Ｗｃｍ^－２の最大放射照度を有する光が使用される。サイズが小さいにもかかわらず、そのような３×３ピクセルを有するネットワークは、いくつかの機械学習アルゴリズムを適用するのに十分である。特に、様式化された文字「ｎ」、「ｖ」、および「ｚ」の分類、符号化、およびノイズ除去が実行可能である。

図２ａは、２Ｄ半導体チャネル５の２つの異なる領域に結合するスプリットゲート電極８、８’（約３００ｎｍ幅のギャップを有する）を使用して、横方向ｐｎ接合フォトダイオードを形成するために約４ｎｍの厚さを有する数層のＷＳｅ_２チャネル５を有するトランジスタ構造によって実現される、単一のサブピクセル３の一実施形態の概略図である。

半導体材料ＷＳｅ_２は、その両極性伝導挙動および優れた光電子特性のために選択された。一方のゲート電極８をＶ_Ｇでバイアスし、他方のゲート電極８’を－Ｖ_Ｇでバイアスすることにより、－６０ｍＡ／Ｗ～＋６０ｍＡ／Ｗで調整可能な（トレーニング可能な）応答度Ｒ_ｍｎが可能になる。

デバイス製造の可能な方法を簡単に説明する。サブピクセル３の基板としてシリコンウエハを使用してこれに２８０ｎｍ厚のＳｉＯ_２をコーティングする。まず、電子ビームリソグラフィ（ＥＢＬ）でデザインを描画し、Ｔｉ／Ａｕ（３ｎｍ／３０ｎｍ）を蒸着することにより、下部金属層を形成する。次に、原子層堆積法を使用して３０ｎｍ厚のＡｌ_２Ｏ_３ゲート酸化物を形成する。Ａｌ_２Ｏ_３アイソレータを貫通するビアホールをＥＢＬによって画定し、脱イオン水中のＫＯＨの３０％溶液でエッチングした。約７０×１２０μｍ２のＷＳｅ_２フレークをバルク結晶から機械的に剥離し、全ドライ粘弾性スタンピング法によって所望の位置に転写する。チャネル５の厚さは、約６単分子層ＷＳｅ_２、または約４ｎｍであり、光学顕微鏡下で推定可能である。ＥＢＬでマスクを画定し、Ａｒ／ＳＦ_６プラズマで反応性イオンエッチングすることによって、先に転写されたＷＳｅ_２シートから２７個のピクセルを分離した。反応性イオンエッチング酸素プラズマによる穏和な処理は、先行するエッチング工程の間に現れたポリマーマスクの表面からのクラストの除去を可能にした。次に、別のＥＢＬプロセスおよびＴｉ／Ａｕ（３ｎｍ／３２ｎｍ）蒸着によって上部金属層を追加する。最後に、サンプルを６８ピンチップキャリアにマウントし、ワイヤボンディングした。

図２ｂは、スプリットゲート電極８、８’およびフローティングゲート電極９、９’ を使用して、横方向ｐｎ接合フォトダイオードを形成するために約４ｎｍの厚さを有する数層のＷＳｅ_２チャネル５を有するトランジスタ構造によって実現される、単一のサブピクセル３の一代替形態の概略図である。

Ａｌ２Ｏ３と六方晶窒化ホウ素（ｈＢＮ）との間に挟まれた２ｎｍ厚のＡｕ層の追加は、ゲート電極８、８’にゲート電圧が印加されたときに、フローティングゲート９、９’上の電荷の蓄積を可能にする。以前の構成を「記憶する」デバイスの能力は、時間分解光電流測定値から検証可能である。ゲート電極８、８’の電圧をＶ_Ｇ１＝＋５ＶおよびＶ_Ｇ２＝－５Ｖに設定した後、切断する。フローティングゲート電極９、９’を有するフォトダイオードの使用は、各サブピクセル３のゲート電極８、８’を別々にアドレス指定することによって、サブピクセル３の光応答度値Ｒ_ｍｎを連続的に設定することを可能にし、そのことにより、電荷がフローティングゲート電極９、９’に転送され、そこで検出器の動作のために蓄積される。繰り返しリフレッシュサイクルが必要な場合もあるが、動作中に装置に電気エネルギーを常に供給する必要はない。

図３ａは、オフチップで実装される電子非線形分類器回路１１内の非線形活性化関数を使用して、光学画像を分類するための単層パーセプトロンとして動作する本発明に係る装置の実施形態の概略図である。このタイプのＡＮＮは、Ｐ_ｎで表される画像を異なるカテゴリｙ_ｍに分類することができる教師あり学習アルゴリズムを表す。

ＡＮＮの教師ありトレーニングのために、光学マトリクス上の文字、例えば、３×３マトリクス上の文字「ｎ」、「ｖ」、および「ｚ」などの所定の画像のセットが、光学装置１０を介して検出器アレイ１に光学的に投影される。入力データを増強するためにガウス雑音が加えられる。このような教師あり学習の例では、ワンホット（ｏｎｅ－ｈｏｔ）エンコーディングが適用され得、３つの文字の各々が単一の出力ノード／ニューロンを活性化させる。Ｍ個の光電流に対する活性化関数（ノードの入力と出力との間の非線形関数マッピング）として、ソフトマックス関数
が選択され得、式中、スケーリング係数 ξ＝１０^１０Ａ^－１ は、活性化関数の全値範囲がトレーニング中にアクセス可能であることを保証するために使用される。損失／コスト関数（トレーニング中に最小化される関数）として、クロスエントロピー
が使用され得、式中、ｙ_ｍはラベルであり、Ｍ＝３はクラス数である。出力ニューロンの活性化は、文字の各々に対する確率を表す。応答度の初期値は、ガウス分布からランダムに選択され、教師あり学習と教師なし学習とで異なっていた。応答度は、損失関数の勾配の逆伝播によってエポックごとに更新される。
ここで、学習率η＝０．１である。トレーニングアルゴリズムの可能な一実施形態の詳細なフローチャートを図３ｃに示す。

図３ｂは、オートエンコーダとして動作する本発明に係る装置の一実施形態の概略図である。このようなＡＮＮは、教師なしトレーニングプロセスにおいて、画像のセットＰ＝（Ｐ_１，Ｐ_２，…，Ｐ_ｎ）のための効率的な表現（符号化）を学習することができる。エンコーダと共に、電子非線形デコーダ回路１２は、その出力において、符号化データから元の画像Ｐ’≒Ｐを再現するようにトレーニングされる。ここで、エンコーダは検出器アレイ自体によって実現され、デコーダは外部電子デコーダ回路１２によって実現される。電子比較器ユニット１７は、Ｐ’をＰと比較して、感光度値Ｒ_ｍｎおよび重みＷ_ｍｎを調整する。コードニューロンに対して、ロジスティック（シグモイド）活性化関数を選択することができる。
同様に、スケーリング係数としてξ＝１０^１０Ａ^－１が使用され、出力ニューロンについても同様である。
式中、
およびＷ_ｎｍはデコーダの重み行列を表す。元の画像と再構成画像との間の差に依存する平均二乗損失関数が使用され得る。応答度は、σ＝０．１５のノイズレベルで、損失の逆伝播によって再びトレーニングされる。エンコーダの応答度と共に、デコーダの重みＷ_ｎｍも同様にトレーニングされ得る。画像検知および処理は共にアナログ領域で実行されるので、システムの動作速度は、光電流生成に関与する物理的プロセスによってのみ制限される。結果として、画像認識および符号化は、従来達成され得るものよりも数桁高いレートで、リアルタイムで行われる。

図３ｃは、本発明に係る装置を使用するＡＮＮのためのトレーニングアルゴリズムの簡略化されたフローチャートである。このトレーニングアルゴリズムは、図４に示すような装置によって適用され得る。

図４は、本発明に係る装置の高速能力を実証するための実験装置を示す。光学装置１０において、半導体レーザ（波長６５０ｎｍ）からの光は、強度変調モードで動作する空間光変調器（ＳＬＭ）に照射される前に直線偏光された。ＳＬＭ上では、異なる文字の形態の光学画像が表示され、光の偏光はピクセル値に応じて回転された。入射レーザー光の偏光方向に対して垂直に配向された光軸を有する直線偏光子は、検光子として機能した。生成された光学画像は、次に、光学装置１０によって検出器アレイ１上に投影された。合計５４個のＤ／Ａコンバータ１４を使用してサブピクセル３の各々に一対のゲート電圧が供給され、３つの出力電流がＡ／Ｄコンバータ１５で測定された。出力電流信号は増幅され、制御ユニット１６に供給された。約５０ｎｓ以内の正確なパターン分類を実証することができた。したがって、システムは、毎秒２０００万ビンのスループットで画像を処理することができる。この値は、使用される増幅器の帯域幅によってのみ制限され、実質的により高いレートが可能である。

図５ａおよび図５ｂは、本発明に係る検出器アレイ１のさらなる実施形態の顕微鏡上面図である。検出器アレイ１は、Ｎ＝７８４となるように、２８×２８ピクセル２、２’、２”のマトリクスを備える。各ピクセル２、２’、２”は、Ｍ＝１０となるように、１０個以下のサブピクセル３の線形配列にセグメント化される。この実施形態では、いくつかのピクセルはＭ個未満のサブピクセルを有する。各サブピクセル３は、詳細図５ｂに示すように、矩形光活性面積を有するＧａＡｓショットキーフォトダイオードを備える。各サブピクセル３は、光照射下で、その光応答度Ｒ_ｍｎおよびピクセルで受け取られた局所光パワーＰ_ｎに応じて光電流Ｉ_ｍｎを送出する。全てのピクセルにわたる各サブピクセル３の出力は、ｍ＝１，２，…，Ｍ個の出力線４を形成するように接続され、各出力線４は、全ての７８４個のピクセル２、２’、２”内のｍ番目のサブピクセル３によって生成された光検出器電流（もしあれば）を合計し、１０個の出力端子において、光学画像を認識および分類するために使用される検出器電流Ｉ_ｍを送出する。

ピクセル２、２’、２”内のサブピクセル３の光応答度値Ｒ_ｍｎは同じではなく、サブピクセル３の矩形光活性面積によって決定される。各ピクセル内の１０個のサブピクセルの異なる光活性面積が図５ｂに示されており、図５ｂは、図５ａの３×３ピクセルの詳細図である。サブピクセル３は、同じでない光活性面積を有し、その結果、各サブピクセル３に対して異なる光応答度値Ｒ_ｍｎが得られる。ピクセル２、２’、２”のいくつかは、１０個未満のサブピクセル３を有し、その結果、それぞれのサブピクセル３の光応答度値は０になる。この実施形態では、１０本の別個の出力線４に対応する１０個の手書き数字「０」～「９」を分類するために、検出器アレイ１の製造前に、好ましくはシミュレーションによって必要な面積が決定される。したがって、応答度値Ｒ_ｍｎは固定され、動作中に変更することはできない。この実施形態の検出器アレイは、電源を必要とせず、適切な照射下で、１０本の出力線４上に電流を直ちに送出する。数字「０」を投影すると、第１の出力端子上に電流が流れ、数字「１」を投影すると、第２の出力端子上に電流が流れるなど、以下同様の形で電流が流れる。

本発明に係る装置は、光学画像の超高速認識および符号化のために使用され得、容易に拡張可能であり、超高速分光法などの超高速マシンビジョン用途の様々な可能性を提供する。アナログディープラーニングネットワークの実装は、Ｍ個の光電流を電圧に変換し、次に、電圧をメモリスタクロスバーに供給することによって実現可能になる。オンチップトレーニングに加えて、ネットワークは、コンピュータシミュレーションを使用してオフラインでもトレーニング可能であり、その後、所定の光応答度行列がデバイスに転送される。

ＡＮＮにおける本発明に係る装置の使用は、例えば、事故予防の面において、または自律運転用途で、超高速マシンビジョンのための新たな機会を提供し得る。また、ＡＮＮにおける本発明に係る装置の使用は、スペクトル事象の検出および分類のための超高速分光法においても採用され得る。このような用途では、入射光をグリッドに通して多数の離散的な波長に分離することができ、その後、これらの波長を本発明に係る装置を使用して検出する。この場合、ピクセルの１次元アレイで十分である。本発明に係る装置の動作は、電気エネルギーがトレーニング中にのみ消費されるように、自己出力式であり得ることにさらに留意されたい。

本発明の実施形態は、デジタル電子回路において、有形に具現化されたコンピュータソフトウェアもしくはファームウェアにおいて、本明細書に開示される構造およびそれらの構造的均等物を含むコンピュータハードウェアにおいて、またはそれらのうちの１つまたは複数の組み合わせにおいて、実装され得る。本発明の実施形態は、専用の論理回路、例えば、ＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）、ＡＳＩＣ（特定用途向け集積回路）、またはＧＰＵ（汎用グラフィックス処理装置 ）によって実行され、装置はまた専用の論理回路、例えば、ＦＰＧＡ（フィールド・プログラマブル・ゲート・アレイ）、ＡＳＩＣ（特定用途向け集積回路）、またはＧＰＵ（汎用グラフィックス処理装置 ）として実装され得る。本発明に係る方法の実行に適したコンピュータは、汎用もしくは専用マイクロプロセッサ、または任意の他の種類の中央処理装置（ＣＰＵ）のいずれかに基づくコンピュータであり得る。そのような中央処理装置は、リード・オンリ・メモリまたはランダム・アクセス・メモリまたはその両方から命令およびデータを受信する。コンピュータの必須要素は、命令を実施または実行するための中央処理装置、ならびに命令およびデータを記憶するための１つまたは複数のメモリデバイスである。一般に、コンピュータはさらに、データを記憶するための１つまたは複数の大容量記憶装置（例えば、磁気ディスク、光磁気ディスク、または光ディスク）を含み得る、または大容量記憶装置からデータを受信するもしくは大容量記憶装置にデータを転送する、またはその両方のために大容量記憶装置に動作可能に結合され得る。しかしながら、コンピュータはこのようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、例として、半導体メモリデバイス（例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリデバイスなど）、磁気ディスク（例えば、内蔵ハードディスクまたは取り外し可能なディスク）、光磁気ディスク、およびＣＤ ＲＯＭディスクならびにＤＶＤ－ＲＯＭディスクを含む、あらゆる形態の不揮発性メモリ、媒体およびメモリデバイスを含む。プロセッサおよびメモリは、専用論理回路によって補完され得る、またが専用論理回路に組み込まれ得る。

本明細書は、多くの特定の実装詳細を含むが、これらは、任意の発明または特許請求され得るものの範囲を限定するものであると解釈すべきではなく、むしろ、本発明の特定の実施形態に特有であり得る特徴の説明として解釈すべきである。別々の実施形態の文脈において本明細書に記載されている特定の特徴は、１つの実施形態において組み合わせて実装されてもよい。他の実施形態は、以下の特許請求の範囲内に含まれる。

１ 検出器アレイ
２、２’、２” ピクセル
３ サブピクセル
４ 出力線
５ チャネル
６ ソースコンタクト
７ ドレインコンタクト
８、８’ ゲート電極
９、９’ フローティングゲート電極
１０ 光学装置
１１ 分類器回路
１２ デコーダ回路
１３ 制御回路
１４ Ｄ／Ａ変換器
１５ Ａ／Ｄ変換器
１６ 制御ユニット
１７ 比較器ユニット

Claims (19)

1. 光学画像認識および分類のための装置であり、
   前記光学画像をｎ＝１，２，…，Ｎ個の局所光パワー値Ｐｎに分割する光学装置（１０）と、
   前記局所光パワー値Ｐｎをピックアップするためにｎ＝１，２，…，Ｎ個の光活性ピクセル（２、２’、２”）を有する検出器アレイ（１）とを備え、
   各ピクセル（２、２’、２”）はサブピクセル（３）にセグメント化され、
   各サブピクセル（３）は、光照射下で、その光応答度値Ｒｍｎおよび前記ピクセル（２、２’、２”）で受け取られた前記局所光パワーＰｎに応じて光電流を送出する半導体フォトダイオードを含む、装置であって、
   ピクセル（２、２’、２”）内のサブピクセル（３）の前記光応答度値Ｒｍｎは同じでなく、
   各ピクセル（２、２’、２”）のサブピクセル（３）の出力は、いくつかの別個の出力線（４）を形成するように接続され、各出力線（４）は、各ピクセル（２、２’、２”）内の異なるサブピクセル（３）によって生成された光検出器電流を合計し、前記光学画像を認識および分類するために使用されるいくつかの検出器電流を送出し、
   各ピクセル（２、２’、２”）内のサブピクセル（３）の数は同じでないことを特徴とする、装置。
2. 各ピクセル（２、２’、２”）は、ｍ＝１，２，…，Ｍ個のサブピクセル（３）にセグメント化され、各ピクセル（２、２’、２”）のサブピクセル（３）の出力は、Ｍ本の出力線（４）を形成するように接続されることを特徴とする、請求項１に記載の装置。
3. 前記サブピクセル（３）の前記光応答度値Ｒｍｎは、前記サブピクセル（３）の光活性面積に依存し、ピクセル（２、２’、２”）内の各サブピクセル（３）の光活性面積は同じではないことを特徴とする、請求項１または請求項２に記載の装置。
4. 前記サブピクセル（３）の前記光応答度値Ｒｍｎは、動作中に、電気的手段によって調整可能であることを特徴とする、請求項１または請求項２に記載の装置。
5. 前記サブピクセル（３）はそれぞれ、ソースコンタクト（６）およびドレインコンタクト（７）によって接触される、Ｓｉ、ＧａＡｓ、または他の半導体材料の半導体チャネル（５）を備え、前記ソースコンタクト（６）は接地され、前記ドレインコンタクト（７）は前記サブピクセル（３）の出力を形成することを特徴とする、請求項１～請求項４のいずれかに記載の装置。
6. 横方向ｐｎ接合が前記チャネル（５）内に形成され、２つのゲート電極（８、８’）が設けられ、第１のゲート電極（８）が前記ソースコンタクト（６）の近くに配置され、第２のゲート電極（８’）が前記ドレインコンタクトの近くに配置され、その結果、前記ゲート電極に電圧を印加することによって前記ｐｎ接合上のビルトイン電場を調整することができることを特徴とする、請求項５に記載の装置。
7. 前記チャネル（５）は、層状２次元半導体を含み、総厚が１０ｎｍ未満であることを特徴とする、請求項５に記載の装置。
8. 画像分類器として動作し、検出器電流Ｉｍに従って前記光学画像をいくつかのｙ１、ｙ２、…、ｙＭの所定のカテゴリに分類するように適合された電子分類器回路（１１）を備えることを特徴とする、請求項１～請求項６のいずれかに記載の装置。
9. 前記装置は、ＰｎをＰｎ’に符号化／復号化するために、オートエンコーダとして、特にバイナリハッシュオートエンコーダとして動作し、前記検出器アレイ（１）は、エンコーダとして動作し、重みＷｎｍを有する電子デコーダ回路（１２）が、ＩｍのＭ個の値をＰｎ’のＮ個の値に復号化するために設けられ、電子比較器ユニット（１７）が、ＲｍｎおよびＷｎｍの値を調整してＰｎとＰｎ’との間の誤差を最小化するために設けられることを特徴とする、請求項１～請求項７のいずれかに記載の装置。
10. 前記第１のゲート電極（８）および前記第２のゲート電極（８’）において電圧Ｖｍｎおよび－Ｖｍｎを設定することによって、各サブピクセル（３）の光応答度Ｒｍｎを個々に提供するように適合された電子制御回路（１３）を備えることを特徴とする、請求項６に記載の装置。
11. 前記制御回路は、前記第１のゲート電極（８）における電圧を＋ＶＧに設定し、前記第２のゲート電極（８’）における電圧を－ＶＧ設定するように適合され、ＶＧは約１Ｖ～５Ｖであり、その結果、光応答度Ｒｍｎの範囲は、－１Ａ／Ｗ～＋１Ａ／Ｗになることを特徴とする、請求項１０に記載の装置。
12. 前記サブピクセル（３）はそれぞれ、２つの電気的に絶縁されたフローティングゲート電極（９、９’）を備え、第１のフローティングゲート電極（９）は前記第１のゲート電極（８）の近くに配置され、第２のフローティングゲート電極（９’）は前記第２のゲート電極（８’）の近くに配置され、前記フローティングゲート電極（９、９’）と前記ゲート電極（８、８’）との間の絶縁層は、電圧が前記ゲート電極（８、８’）に印加されたときに帯電し得るように十分に薄いことを特徴とする、請求項６または請求項１０のいずれかに記載の装置。
13. 前記ゲート電極（８、８’）は、Ａｌ２Ｏ３の絶縁層に埋め込まれ、前記フローティングゲート電極（９、９’）は、六方晶窒化ホウ素（ｈＢＮ）の絶縁層に埋め込まれることを特徴とする、請求項１２に記載の装置。
14. 前記フローティングゲート電極（９、９’）は、約２ｎｍ厚のＡｕ層であることを特徴とする、請求項１２に記載の装置。
15. 各ピクセル（２、２’、２”）は、線形アレイにセグメント化される、またはＭ個のサブピクセル（３）の矩形マトリクスであることを特徴とする、請求項１～請求項１４のいずれかに記載の装置。
16. 光学画像認識および分類のための人工ニューラルネットワークであって、請求項１～請求項１５のいずれかに記載の装置に、サブピクセル（３）を人工ニューロンとして使用させ、前記サブピクセル（３）の光応答度値Ｒｍｎを人工ニューラルネットワークの重みとして使用させるように構成されている、人工ニューラルネットワーク。
17. 前記サブピクセル（３）の値Ｒｍｎは、ピクセル（２、２’、２”）内の各サブピクセル（３）の光活性面積を所定の値に設計することによって、各サブピクセル（３）について所定の値Ｒｍｎが得られるように構成されている、請求項１６に記載の人工ニューラルネットワーク。
18. 電気的手段によって、ゲート電極（８、８’）に電圧が印加された場合に、前記サブピクセル（３）の値Ｒｍｎを動作中に調整可能に構成されている、請求項１７に記載の人工ニューラルネットワーク。
19. 電気的手段によって、ゲート電極（８、８’）に電圧が連続的に印加された場合に、前記サブピクセル（３）の値Ｒｍｎをトレーニング期間中に調整可能に構成され、そのことにより、前記ゲート電極（８、８’）に割り当てられたフローティングゲート電極（９、９’）に電荷を蓄積させるように構成されている、請求項１８に記載の人工ニューラルネットワーク。