JP2021534603A - 適応露光時間を有するピクセルセンサー - Google Patents

Abstract

一例では、方法が、第１の電荷を生成するために、第１のフォトダイオードを入射光に露光することと、第２の電荷を生成するために、第２のフォトダイオードを入射光に露光することと、第１の電荷検知ユニットによって、第１の電荷を第１の電圧に変換することと、第２の電荷検知ユニットによって、第２の電荷を第２の電圧に変換することと、第１の電圧に基づいて、第１の電荷の量が飽和しきい値に達したことを検出し、第１の電荷の量が飽和しきい値に達したときの飽和時間を測定するように、ＡＤＣを制御することと、第１の電荷の量が飽和しきい値に達したことを検出したことに基づいて、入射光への第１のフォトダイオードおよび第２のフォトダイオードの露光を停止することと、第２の電圧に基づいて、露光が終了する前に第２のフォトダイオードによって生成された第２の電荷の量を測定するように、ＡＤＣを制御することとを含む。【選択図】図１７

Description

関連出願
本特許出願は、２０１９年８月１９日に出願された米国出願第１６／５４４，１３６号および２０１８年８月２０日に出願された米国仮出願第６２／７１９，９５３号の優先権を主張する。米国出願第１６／５４４，１３６号および米国出願第６２／７１９，９５３号は、すべての目的のためにその全体が参照により本明細書に組み込まれる。

本開示は、一般に画像センサーに関し、より詳細には、画像生成のために光強度を決定するためのインターフェース回路要素を含むピクセルセル構造に関する。

画像センサー中の一般的なピクセルは、光子を電荷（たとえば、電子または正孔）に変換することによって入射光を検知するためのフォトダイオードを含む。入射光は、２Ｄ検知および３Ｄ検知など、異なる用途について異なる波長範囲の成分を含むことができる。その上、画像ひずみを低減するために、フォトダイオードのアレイの各フォトダイオードがグローバル露光期間において同時に入射光を検知して電荷を生成するグローバルシャッター動作が実施され得る。電荷は、電圧に変換するための電荷検知ユニット（たとえば、フローティングディフュージョン（ｆｌｏａｔｉｎｇ ｄｉｆｆｕｓｉｏｎ））によって変換され得る。ピクセルセルのアレイは、電荷検知ユニットによって変換される電圧に基づいて入射光の異なる成分を測定し、シーンの２Ｄ画像および３Ｄ画像の生成のために測定結果を提供することができる。

本開示は、画像センサーに関する。より詳細には、限定はしないが、本開示は、ピクセルセルに関する。本開示はまた、入射光の強度のデジタル表現を生成するためにピクセルセルの回路要素を動作させることに関する。

一例では、装置が提供される。本装置は、第１の電荷を生成するための第１のフォトダイオードと、第２の電荷を生成するための第２のフォトダイオードと、第１の電荷を第１の電圧に変換するための第１の電荷検知ユニットと、第２の電荷を第２の電圧に変換するための第２の電荷検知ユニットと、飽和時間と電荷の量とを測定することが可能なＡＤＣと、コントローラとを備え、コントローラは、第１のフォトダイオードおよび第２のフォトダイオードを入射光に露光して、第１の電荷および第２の電荷をそれぞれ生成させることと、第１の電圧に基づいて、第１の電荷の量が飽和しきい値に達したことを検出し、第１の電荷の量が飽和しきい値に達したときの飽和時間を測定するために、ＡＤＣを第１の電荷検知ユニットに接続することと、第１の電荷の量が飽和しきい値に達したことを検出したことに基づいて、入射光への第１のフォトダイオードおよび第２のフォトダイオードの露光を停止することと、第２の電圧に基づいて、露光が終了する前に第２のフォトダイオードによって生成された第２の電荷の量を測定するために、ＡＤＣを第２の電荷検知ユニットに接続することとを行うように構成される。

一態様では、本装置は、第１のフォトダイオードと第１の電荷シンクとの間に結合された第１のシャッタースイッチと、第２のフォトダイオードと第２の電荷シンクとの間に結合された第２のシャッタースイッチとをさらに備える。コントローラは、第１のシャッタースイッチおよび第２のシャッタースイッチを無効化することに基づいて、第１のフォトダイオードおよび第２のフォトダイオードを入射光に露光することと、第１のシャッタースイッチおよび第２のシャッタースイッチを有効化することに基づいて、入射光への第１のフォトダイオードおよび第２のフォトダイオードの露光を停止することとを行うように構成される。

一態様では、コントローラは、第１のフォトダイオードおよび第２のフォトダイオードのためのグローバルシャッタースイッチが第１の時間において開始し、第２の時間において終了するように、第１の時間において第１のシャッタースイッチおよび第２のシャッタースイッチを一緒に無効化し、第２の時間において第１のシャッタースイッチおよび第２のシャッタースイッチを一緒に有効化するように構成される。

一態様では、第１の電荷検知ユニットおよび第２の電荷検知ユニットの各々は、それぞれ、第１のキャパシタおよび第２のキャパシタを含む。本装置は、第１のフォトダイオードと第１の電荷検知ユニットとの間に結合された第１の転送スイッチと、第２のフォトダイオードと第２の電荷検知ユニットとの間に結合された第２の転送スイッチとをさらに備える。コントローラは、第１の電荷を第１の電荷検知ユニットの第１のキャパシタに転送するように第１の転送スイッチを制御することと、第１の電荷を第１の電荷検知ユニットの第２のキャパシタに転送するように第２の転送スイッチを制御することと、第１の電荷および第２の電荷の転送が完了した後に、入射光への第１のフォトダイオードおよび第２のフォトダイオードの露光を停止することとを行うように構成される。

一態様では、コントローラは、第１の時間において、第１の電荷の第１のオーバーフロー電荷を貯蔵のために第１のフォトダイオードから第１の電荷検知ユニットに転送するために、第１のバイアス電圧において第１の転送スイッチをバイアスすることと、第１の時間において、第２の電荷の第２のオーバーフロー電荷を貯蔵のために第２のフォトダイオードから第２の電荷検知ユニットに転送するために、第１のバイアス電圧において第２の転送スイッチをバイアスすることと、第２の時間において、第１の電荷の第１の残留電荷を貯蔵のために第１のフォトダイオードから第１の電荷検知ユニットに転送するために、第２のバイアス電圧において第１の転送スイッチをバイアスすることと、第２の時間において、第２の電荷の第２の残留電荷を貯蔵のために第２のフォトダイオードから第２の電荷検知ユニットに転送するために、第２のバイアス電圧において第２の転送スイッチをバイアスすることとを行うように構成される。入射光への第１のフォトダイオードおよび第２のフォトダイオードの露光は、第１の残留電荷の転送と第２の残留電荷の転送とが完了した後に停止される。

一態様では、第１の電荷検知ユニットは、第１のキャパシタとＡＤＣとの間に結合された第１の切替え可能バッファを含む。第２の電荷検知ユニットは、第１のキャパシタとＡＤＣとの間に結合された第２の切替え可能バッファを含む。コントローラは、第１の転送スイッチが第１のバイアス電圧においてバイアスされたとき、第１のオーバーフロー電荷の量が飽和しきい値を超えるかどうかを検出し、第１のオーバーフロー電荷の量が飽和しきい値に達したときの飽和時間を測定するように、ＡＤＣを制御するために、第１のスイッチバッファを有効化することと、入射光への第１のフォトダイオードおよび第２のフォトダイオードの露光が停止した後に、第２のキャパシタに貯蔵された第２の残留電荷の量を測定するようにＡＤＣを制御することとを行うように構成される。

一態様では、第１のキャパシタは、第１のオーバーフロー電荷が第１のキャパシタに転送されたときに第１の電圧を生じさせる。ＡＤＣは、第１の電圧を、飽和しきい値を表す第１の静的しきい値電圧と比較することに基づいて、飽和時間を測定するように構成される。

一態様では、第１のキャパシタは、第１の主キャパシタと第１の補助キャパシタとを含む。第１の残留電荷の転送より前に、コントローラは、第１の補助キャパシタを第１の主キャパシタから切断することと、第１の主キャパシタをリセットすることとを行うように構成される。第１の残留電荷は、第３の電圧を生成するために、第１の主キャパシタがリセットされた後に第１の主キャパシタに転送される。ＡＤＣは、第１の主キャパシタにおける第３の電圧を第１のランピングしきい値電圧と比較することに基づいて、第１の主キャパシタに貯蔵された第１の残留電荷の量を測定するように構成される。ＡＤＣは、第１の残留電荷の量を測定した後に、第４の電圧を生成するために、第１のオーバーフロー電荷の一部分を貯蔵する第１の補助キャパシタを第１の主キャパシタと接続することと、第４の電圧を第２のランピングしきい値電圧と比較することに基づいて第１のオーバーフロー電荷の量を測定することとを行うように構成される。コントローラは、第１の電圧、第３の電圧、または第４の電圧のうちの１つに基づいてＡＤＣによって生成された出力を選択するように構成される。選択は、第１の電圧が第１の静的しきい値電圧を越えるかどうかに基づき、第３の電圧が、第１のフォトダイオードの貯蔵容量を表す第２の静的しきい値電圧を越えるかどうかに基づく。コントローラは、第１のフォトダイオードによって受け取られた入射光の強度を表すために、選択された出力を提供するように構成される。

一態様では、第２のキャパシタは、第２の主キャパシタと第２の補助キャパシタとを含む。第２の残留電荷の転送より前に、コントローラは、第２の補助キャパシタを第２の主キャパシタから切断することと、第２の主キャパシタをリセットすることとを行うように構成される。第２の残留電荷は、第２の電圧を生成するために、第２の主キャパシタがリセットされた後に第２の主キャパシタに転送される。ＡＤＣは、第２の主キャパシタにおける第２の電圧を第１のランピングしきい値電圧と比較することに基づいて、第２の主キャパシタに貯蔵された第２の残留電荷の量を測定するように構成される。ＡＤＣは、第２の残留電荷の量を測定した後に、第３の電圧を生成するために、第２のオーバーフロー電荷の一部分を貯蔵する第２の補助キャパシタを第２の主キャパシタと接続することと、第３の電圧を第２のランピングしきい値電圧と比較することに基づいて第２のオーバーフロー電荷の量を測定することとを行うように構成される。コントローラは、第２の電圧または第３の電圧のうちの１つに基づいてＡＤＣによって生成された出力を選択するように構成される。選択は、第２の電圧が、第２のフォトダイオードの貯蔵容量を表す静的しきい値電圧を越えるかどうかに基づく。コントローラは、第２のフォトダイオードによって受け取られた入射光の強度を表すために、選択された出力を提供するように構成される。

一態様では、第１のフォトダイオードは、第１の波長範囲を有する入射光の第１の成分を検出するように構成される。第２のフォトダイオードは、第２の波長範囲を有する入射光の第２の成分を検出するように構成される。

一態様では、第１の波長範囲と第２の波長範囲とは同等である。

一態様では、第１のフォトダイオードと第２のフォトダイオードとはピクセルセルの一部である。

一態様では、第１のフォトダイオードおよび第２のフォトダイオードは、それぞれ、第１のピクセルセルおよび第２のピクセルセルの一部である。

一態様では、第１のピクセルセルと第２のピクセルセルとはピクセルセルアレイの一部である。第１のピクセルセルと第２のピクセルセルとは１つまたは複数のピクセルセルだけ離される。

一例では、方法が提供される。本方法は、第１の電荷を生成するために、第１のフォトダイオードを入射光に露光することと、第２の電荷を生成するために、第２のフォトダイオードを入射光に露光することと、第１の電荷検知ユニットによって、第１の電荷を第１の電圧に変換することと、第２の電荷検知ユニットによって、第２の電荷を第２の電圧に変換することと、第１の電圧に基づいて、第１の電荷の量が飽和しきい値に達したことを検出し、第１の電荷の量が飽和しきい値に達したときの飽和時間を測定するように、ＡＤＣを制御することと、第１の電荷の量が飽和しきい値に達したことを検出したことに基づいて、入射光への第１のフォトダイオードおよび第２のフォトダイオードの露光を停止することと、第２の電圧に基づいて、露光が終了する前に第２のフォトダイオードによって生成された第２の電荷の量を測定するように、ＡＤＣを制御することとを含む。

一態様では、第１の電荷は、第１の波長範囲を有する入射光の第１の成分を検出することに基づいて第１のフォトダイオードによって生成される。第２の電荷は、第２の波長範囲を有する入射光の第２の成分を検出することに基づいて第２のフォトダイオードによって生成される。第１の波長範囲と第２の波長範囲とは異なる。

以下の図を参照しながら、例示的な例が説明される。

ニアアイディスプレイ（ｎｅａｒ−ｅｙｅ ｄｉｓｐｌａｙ）の一例の図である。 ニアアイディスプレイ（ｎｅａｒ−ｅｙｅ ｄｉｓｐｌａｙ）の一例の図である。 ニアアイディスプレイの断面の一例の図である。 単一のソースアセンブリ（ｓｏｕｒｃｅ ａｓｓｅｍｂｌｙ）をもつ導波路ディスプレイ（ｗａｖｅｇｕｉｄｅ ｄｉｓｐｌａｙ）の一例の等角図である。 導波路ディスプレイの一例の断面を示す図である。 ニアアイディスプレイを含むシステムの一例のブロック図である。 画像センサーの一例のブロック図である。 図６の例示的な画像センサーによる、異なる範囲の光強度を決定するための動作を示す図である。 図６の例示的な画像センサーによる、異なる範囲の光強度を決定するための動作を示す図である。 図６の例示的な画像センサーによる、異なる範囲の光強度を決定するための動作を示す図である。 図６の例示的な画像センサーの例示的なピクセルセルの内部構成要素の例を示す図である。 図６の例示的な画像センサーの例示的なピクセルセルの内部構成要素の例を示す図である。 図６の例示的な画像センサーの例示的なピクセルセルの内部構成要素の例を示す図である。 図６の例示的な画像センサーの例示的なピクセルセルの内部構成要素の例を示す図である。 図８Ａ、図８Ｂ、図８Ｃ、および図８Ｄの例示的なピクセルセルの内部構成要素の例を示す図である。 図８Ａ、図８Ｂ、図８Ｃ、および図８Ｄの例示的なピクセルセルの内部構成要素の例を示す図である。 開示される技法によって測定されるべき光強度の範囲の一例を示す図である。 光強度を決定するための例示的な方法を示す図である。 光強度を決定するための例示的な方法を示す図である。 光強度を決定するための例示的な方法を示す図である。 光強度を決定するための例示的な方法を示す図である。 光強度測定を実施するための制御信号の例示的なシーケンスを示す図である。 マルチフォトダイオードピクセルセルおよびその動作の例を示す図である。 マルチフォトダイオードピクセルセルおよびその動作の例を示す図である。 マルチフォトダイオードピクセルセルおよびその動作の例を示す図である。 マルチフォトダイオードピクセルセルおよびその動作の別の例を示す図である。 マルチフォトダイオードピクセルセルおよびその動作の別の例を示す図である。 量子化リソースを共有すべきフォトダイオードの例示的なグループ化を示す図である。 量子化リソースを共有すべきフォトダイオードの例示的なグループ化を示す図である。 量子化リソースを共有すべきフォトダイオードの例示的なグループ化を示す図である。 量子化リソースを共有すべきフォトダイオードの別の例示的なグループ化を示す図である。 量子化リソースを共有すべきフォトダイオードの別の例示的なグループ化を示す図である。 光強度を測定するための例示的なプロセスのフローチャートである。

図は、単に例証の目的で本開示の例を図示する。本開示の原理またはうたわれている利益から逸脱することなく、示される構造および方法の代替例が採用され得ることを、当業者は以下の説明から容易に認識されよう。

添付の図において、同様の構成要素および／または特徴は、同じ参照ラベルを有し得る。さらに、同じタイプの様々な構成要素は、同様の構成要素間を区別するダッシュおよび第２のラベルを参照ラベルの後に続けることによって区別され得る。第１の参照ラベルのみが明細書において使用される場合、説明は、第２の参照ラベルには関係なく同じ第１の参照ラベルを有する同様の構成要素のいずれか１つに適用可能である。

以下の説明では、説明の目的で、いくつかの発明の例の完全な理解を提供するために、具体的な詳細が記載される。ただし、様々な例がこれらの具体的な詳細なしに実践され得ることは明らかであろう。図および説明は、限定するものではない。

一般的な画像センサーは、ピクセルセルのアレイを含む。各ピクセルセルは、光子を電荷（たとえば、電子または正孔）に変換することによって入射光の強度を測定するためのフォトダイオードを含む。フォトダイオードによって生成される電荷は、フローティングドレインノードを含むことができる電荷検知ユニットによって電圧に変換され得る。電圧は、アナログデジタル変換器（ＡＤＣ）によってデジタル値に量子化され得る。デジタル値は、ピクセルセルによって受け取られた光の強度を表すことができ、シーンのスポットから受け取られた光に対応することができるピクセルを形成することができる。ピクセルのアレイを備える画像が、ピクセルセルのアレイのデジタル出力から導出され得る。

２Ｄ検知および３Ｄ検知など、撮像の異なるモードを実施するために、画像センサーが使用され得る。２Ｄ検知および３Ｄ検知は、異なる波長範囲の光に基づいて実施され得る。たとえば、２Ｄ検知のために可視光が使用され得、３Ｄ検知のために不可視光（たとえば、赤外光）が使用され得る。画像センサーは、異なる光波長範囲および色（たとえば、赤、緑、青、単色など）の可視光を、２Ｄ検知のために割り当てられたピクセルセルの第１のセットに与え、不可視光を、３Ｄ検知のために割り当てられたピクセルセルの第２のセットに与えるための光学フィルタアレイを含み得る。

２Ｄ検知を実施するために、ピクセルセルにおけるフォトダイオードは、ピクセルセルに入射する可視光成分（たとえば、赤、緑、青、単色など）の強度に比例するレートで電荷を生成することができ、露光期間において蓄積された電荷の量は、可視光（または、可視光のある色成分）の強度を表すために使用され得る。電荷は、フォトダイオードにおいて一時的に貯蔵され、次いで、電圧を生じさせるために、キャパシタ（たとえば、フローティングディフュージョン）に転送され得る。電圧は、可視光の強度に対応する出力を生成するために、アナログデジタル変換器（ＡＤＣ）によってサンプリングおよび量子化され得る。可視光の異なる色成分（たとえば、赤色、緑色、および青色）を検知するように構成された複数のピクセルセルからの出力に基づいて、画像ピクセル値が生成され得る。

その上、３Ｄ検知を実施するために、異なる波長範囲の光（たとえば、赤外光）が物体上に投影され得、反射された光が、ピクセルセルによって検出され得る。光は、構造化光、光パルスなどを含むことができる。ピクセルセル出力は、たとえば、反射された構造化光のパターンを検出すること、光パルスの飛行時間を測定することなどに基づいて、深度検知動作を実施するために使用され得る。反射された構造化光のパターンを検出するために、露光時間中にピクセルセルによって生成された電荷の量の分布が決定され得、電荷の量に対応する電圧に基づいてピクセル値が生成され得る。飛行時間測定のために、ピクセルセルのフォトダイオードにおける電荷の生成のタイミングが、反射された光パルスがピクセルセルにおいて受け取られた時間を表すように決定され得る。光パルスが物体に投影されたときと、反射された光パルスがピクセルセルにおいて受け取られたときとの間の時間差が、飛行時間測定を提供するために使用され得る。

シーンの情報を生成するために、ピクセルセルアレイが使用され得る。いくつかの例では、アレイ内のピクセルセルのサブセット（たとえば、第１のセット）は、シーンの２Ｄ検知を実施するために光の可視成分を検出することができ、アレイ内のピクセルセルの別のサブセット（たとえば、第２のセット）は、シーンの３Ｄ検知を実施するために光の赤外線成分を検出することができる。２Ｄ撮像データと３Ｄ撮像データとの融合は、仮想現実（ＶＲ）体験、拡張現実（ＡＲ）体験および／または複合現実（ＭＲ）体験を提供する多くの用途に有用である。たとえば、ウェアラブルＶＲ／ＡＲ／ＭＲシステムは、システムのユーザが位置する環境のシーン再構築を実施し得る。再構築されたシーンに基づいて、ＶＲ／ＡＲ／ＭＲは、インタラクティブ体験を提供するための表示効果を生成することができる。シーンを再構築するために、ピクセルセルアレイ内のピクセルセルのサブセットは、たとえば、環境中の物理的物体のセットを識別し、物理的物体とユーザとの間の距離を決定するために、３Ｄ検知を実施することができる。ピクセルセルアレイ内のピクセルセルの別のサブセットは、たとえば、これらの物理的物体のテクスチャ、色、および反射率を含む視覚属性をキャプチャするために、２Ｄ検知を実施することができる。シーンの２Ｄ画像データおよび３Ｄ画像データは、次いで、たとえば、物体の視覚属性を含むシーンの３Ｄモデルを作り出すためにマージされ得る。別の例として、ウェアラブルＶＲ／ＡＲ／ＭＲシステムは、２Ｄ画像データと３Ｄ画像データとの融合に基づいて、頭部追跡動作をも実施することができる。たとえば、２Ｄ画像データに基づいて、ＶＲ／ＡＲ／ＭＲシステムは、物体を識別するために、いくつかの画像特徴を抽出することができる。３Ｄ画像データに基づいて、ＶＲ／ＡＲ／ＭＲシステムは、ユーザによって着用されるウェアラブルデバイスに対する識別された物体のロケーションを追跡することができる。ＶＲ／ＡＲ／ＭＲシステムは、たとえば、ユーザの頭部が移動するときの、ウェアラブルデバイスに対する識別された物体のロケーションの変化を追跡することに基づいて、頭部移動を追跡することができる。

２Ｄ画像データと３Ｄ画像データとの相関を改善するために、ピクセルセルのアレイは、シーンのスポットからの入射光の異なる成分のコロケート（ｃｏｌｌｏｃａｔｅｄ）撮像を提供するように構成され得る。詳細には、各ピクセルセルは、複数のフォトダイオードと、複数の対応する電荷検知ユニットとを含むことができる。複数のフォトダイオードの各フォトダイオードは、入射光の異なる光成分を電荷に変換するように構成される。フォトダイオードが入射光の異なる光成分を受け取ることを可能にするために、フォトダイオードは、異なるフォトダイオードについて入射光のための異なる吸収距離を提供するスタックにおいて形成され得るか、または、光学フィルタのアレイの下の平面上に形成され得る。各電荷検知ユニットは、電荷を電圧に変換することによって対応するフォトダイオードの電荷を検知するための１つまたは複数のキャパシタを含み、電圧は、各フォトダイオードによって変換される入射光成分の強度のデジタル表現を生成するために、ＡＤＣによって量子化され得る。ＡＤＣは比較器を含む。量子化動作の一部として、比較器は、電圧を基準と比較して判定を出力することができる。比較器の出力は、メモリが自走カウンタからの値をいつ記憶するかを制御することができる。値は、電圧を量子化したことの結果を提供することができる。

ＡＤＣは、光強度測定動作のダイナミックレンジを増加させることができる、異なる強度範囲に関連付けられた異なる量子化動作に基づいて電圧を量子化することができる。詳細には、各フォトダイオードは、露光期間内にある量の電荷を生成することができ、電荷の量は入射光強度を表す。各フォトダイオードは、電荷の少なくとも一部を残留電荷として貯蔵するための量子ウェル（ｑｕａｎｔｕｍ ｗｅｌｌ）をも有する。量子ウェル容量は、フォトダイオードと電荷検知ユニットとの間のスイッチ上のバイアス電圧に基づいて設定され得る。低光強度範囲では、フォトダイオードは、電荷の全体を残留電荷として量子ウェルに貯蔵することができる。ＰＤ ＡＤＣ量子化動作では、ＡＤＣは、低光強度のデジタル表現を提供するために、残留電荷の量を検知することから電荷検知ユニットによって生成された第１の電圧を量子化することができる。残留電荷は、一般的に、フォトダイオードにおける暗電流をはるかに受けにくいので、低光強度測定の雑音フロアは低下され得、これは、ダイナミックレンジの下限をさらに拡張することができる。

その上、中光強度範囲では、量子ウェルは残留電荷によって飽和され得、フォトダイオードは、残りの電荷をオーバーフロー電荷として電荷検知ユニットに転送することができ、電荷検知ユニットは、オーバーフロー電荷の量を検知することから第２の電圧を生成することができる。ＦＤ ＡＤＣ量子化動作では、ＡＤＣは、中光強度のデジタル表現を提供するために第２の電圧を量子化することができる。低光強度と中光強度の両方では、電荷検知ユニット中の１つまたは複数のキャパシタはまだ飽和されず、第１の電圧および第２の電圧の大きさは光強度と相関する。したがって、低光強度と中光強度の両方では、ＡＤＣの比較器は、第１の電圧または第２の電圧をランピング電圧と比較して判定を生成することができる。判定は、残留電荷またはオーバーフロー電荷の量を表すことができるカウンタ値を記憶するようにメモリを制御することができる。

高光強度範囲では、オーバーフロー電荷は、電荷検知ユニット中の１つまたは複数のキャパシタを飽和させることができる。その結果、第２の電圧の大きさはもはや光強度を追跡せず、光強度測定に非線形性が導入され得る。キャパシタの飽和によって引き起こされる非線形性を低減するために、ＡＤＣは、第２の電圧を静的しきい値と比較して判定を生成することによって、飽和までの時間（ＴＴＳ：ｔｉｍｅ−ｔｏ−ｓａｔｕｒａｔｉｏｎ）測定動作を実施することができ、判定は、カウンタ値を記憶するようにメモリを制御することができる。カウンタ値は、第２の電圧が飽和しきい値に達したときの時間を表すことができる。飽和までの時間は、電荷検知ユニットが飽和される範囲内の光の強度を表すことができ、第２の電圧の値は、もはや光の強度を反映しない。そのような仕組みにより、ダイナミックレンジの上限は拡張され得る。

ＡＤＣの比較器は、一般的に、特に上記で説明された複数の量子化動作を実施するとき、ピクセルセルのすべての他の構成要素の中で、最も大きい空間を占有し、最も多くの電力を消費する。したがって、電力とピクセルセルフットプリントとを低減するために、ピクセルセル内の複数の電荷検知ユニットの間で単一のＡＤＣが共有され得る。ピクセルセルのコントローラは、入射光の光成分の強度のデジタル表現を生成するために、ＴＴＳ動作、ＦＤ ＡＤＣ動作、およびＰＤ ＡＤＣ動作を実施するために単一のＡＤＣに接続することを交替で行うように、各電荷検知ユニットを制御することができる。しかしながら、そのような仕組みは、ピクセルセルの量子化動作の総時間ならびに画像フレームを生成するために必要とされるフレーム期間を実質的に増加させ得、これは、より低いフレームレートにつながり得る。これは、高速で変化する高速物体および／またはシーンの高解像度画像を提供する画像センサーの能力を劣化させ、画像センサーの用途を低減し得る。各フォトダイオードについての量子化動作の総時間を低減するために、コントローラは、ＴＴＳ動作、ＦＤ ＡＤＣ動作、およびＰＤ ＡＤＣ動作のサブセットのみを実施するように、フォトダイオードのうちのいくつかを構成することができる。たとえば、コントローラは、フォトダイオードのうちの１つの電荷検知ユニットをＡＤＣに接続し、ＴＴＳ動作、ＦＤ ＡＤＣ動作、およびＰＤ ＡＤＣ動作を実施するようにＡＤＣを制御することができる。コントローラは、次いで、他のフォトダイオードの他の電荷検知ユニットを連続的にＡＤＣに接続し、それらの電荷検知ユニットの出力についてＰＤ ＡＤＣ動作およびＦＤ ＡＤＣ動作を実施するにすぎないようにＡＤＣを制御することができる。フレーム期間を低減することに加えて、そのような仕組みはまた、ピクセルセル内のすべてのフォトダイオードが同じ露光期間を有することを保証することができ、これは、ローリングシャッター動作と同様に、明るい、高速に移動している物体を撮像するとき、シャッター効率を改善し、動きぼけおよびひずみを低減することができる。

ピクセルセルのフォトダイオードのサブセットの量子化動作を低減することは、ピクセルセルの量子化動作の総時間を低減し、フレームレートを増加させることができるが、そのような仕組みは、フォトダイオードのサブセットのダイナミックレンジの上限を低減し得る。詳細には、フォトダイオードのサブセットの電荷検知ユニットのキャパシタは、ピクセルセルが高強度光成分に露光されたとき、飽和し得る。しかし、それらのフォトダイオードについてＴＴＳ動作が実施されないので、ＡＤＣの量子化出力は、低光強度範囲および中光強度範囲についてのみ線形である。これは、それらのフォトダイオードについての光強度の測定可能な上限を低減し、それらのダイナミックレンジを低減する。その結果、ピクセルセルによる入射光の一部または全部の光成分の測定に非線形性が導入され得、これは、ピクセルセルアレイの、コレートされた２Ｄ／３Ｄ撮像動作だけでなく、グローバルシャッター動作をも劣化させる。

本開示は、上記の問題点のうちの少なくともいくつかに対処することによって、改善されたコロケート２Ｄおよび３Ｄ撮像動作、ならびに改善されたグローバルシャッター動作を提供することができる画像センサーに関する。詳細には、画像センサーは、第１のフォトダイオードと、第２のフォトダイオードと、第１の電荷検知ユニットと、第２の電荷検知ユニットと、コントローラとを含み得る。第１のフォトダイオードは、入射光の第１の成分に応答して第１の電荷を生成することができる。第２のフォトダイオードは、入射光の第２の成分に応答して第２の電荷を生成することができる。第１の電荷検知ユニットおよび第２の電荷検知ユニットの各々は、フォトダイオードによって生成された電荷を貯蔵するために、フローティングドレインによって形成され得るキャパシタを含む。第１の電荷検知ユニットは、ＡＤＣを第２の電荷検知ユニットと共有することができる。共有方式の下で、ＡＤＣは、第１の電荷の量が飽和しきい値に達する飽和時間を測定するために第１の電荷検知ユニットの出力に対してＴＴＳ動作を実施し、その後に、第１の電荷の量を測定するためにＰＤ ＡＤＣ動作および／またはＦＤ ＡＤＣ動作を実施することになる。その上、ＡＤＣは、第２の電荷検知ユニットの出力に対してＴＴＳ動作を実施せず、第２の電荷の量を測定するために第２の電荷検知ユニットの出力に対してＰＤ ＡＤＣ動作および／またはＦＤ ＡＤＣ動作を実施するにすぎないことになる。

コントローラは、それぞれ第１の電荷および第２の電荷を生成するために、第１のフォトダイオードおよび第２のフォトダイオードについての露光期間を開始することができる。画像センサーは、第１のフォトダイオードおよび第２のフォトダイオードの各々の間に結合されたシャッタースイッチと、第１の電荷および第２の電荷を排出することができる電荷シンクとを含み得る。露光期間は、シャッタースイッチを無効化することに基づいて開始され得る。コントローラは、飽和を検出し、飽和時間を測定するために、第１の電荷検知ユニットの出力に対してＴＴＳ動作を実施するように、ＡＤＣを制御することができる。飽和を検出すると、コントローラは、スイッチを有効化することに基づいて、第１のフォトダイオードおよび第２のフォトダイオードの露光期間を停止することができる。コントローラは、次いで、露光期間内に第２のフォトダイオードによって生成された第２の電荷の量を測定するために、第２の電荷検知ユニットの出力に対してＰＤ ＡＤＣ動作および／またはＦＤ ＡＤＣ動作を実施するように、ＡＤＣを制御することができる。コントローラはまた、ＴＴＳ動作の後に、露光期間内に第１のフォトダイオードによって生成された第１の電荷の量を測定するために、第１の検知ユニットの出力に対してＰＤ ＡＤＣ動作および／またはＦＤ ＡＤＣ動作を実施するように、ＡＤＣを制御することができる。第１のフォトダイオードからの量子化出力と第２のフォトダイオードからの量子化出力とは、同じ画像フレーム、または同じフレーム期間のフレームの同じセット（たとえば、２Ｄおよび３Ｄフレーム）を形成することができる。

いくつかの例では、第１のフォトダイオードと第２のフォトダイオードとはカーネルの一部であり得る。カーネルは、複数のピクセルセル、および／またはピクセルセルの複数のフォトダイオードを含むことができる。カーネルでは、フォトダイオードのグループがＡＤＣを共有することができる。マスタフォトダイオード（たとえば、第１のフォトダイオード）を除くグループ内のフォトダイオードのすべてが、ＰＤ ＡＤＣ動作および／またはＦＤ ＡＤＣ動作のみを実施するためにＡＤＣへのアクセスを有するが、マスタフォトダイオードは、ＴＴＳ動作、ならびにＰＤ ＡＤＣ動作および／またはＦＤ ＡＤＣ動作を実施するためにＡＤＣへのアクセスを有する。グループ内のすべてのフォトダイオードは、マスタフォトダイオードの電荷検知ユニットが飽和されたときに停止され得る同じ露光期間を有することができる。その結果、ＰＤ ＡＤＣ動作および／またはＦＤ ＡＤＣ動作に基づく、それらのフォトダイオードの電荷検知ユニットの量子化結果は、依然として、妥当な忠実度で光成分の強度を表すことができる。一方、マスタフォトダイオードからの飽和の指示がない場合、フォトダイオードは、低光強度および中光強度の測定についての最小信号対雑音比を維持するために、事前構成された露光期間内に少なくともしきい値量の電荷を生成することができ、これは、ダイナミックレンジの下限を設定し得る。

カーネルのフォトダイオードは、異なるピクセルセルからのものまたは同じピクセルセルからのものであり得、同じまたは異なる光成分を検出するように構成され得る。カーネル中のフォトダイオードのグループ化は、様々な方式に基づき得、用途固有であり得る。一例として、ピクセルのグループは、撮像されるべき所定の物体の輪郭／形状（たとえば、向きをもつ光源（ｐｏｉｎｔｅｄ ｌｉｇｈｔ ｓｏｕｒｃｅ））に基づいて画定され得、ピクセルの各グループがカーネルを形成することができる。別の例として、同様の強度の光成分を受け取る可能性があるピクセルセルがカーネルを形成することができる。その上、ピクセルセルアレイ内のカーネルのフォトダイオードの空間分布は、画像センサーの用途に基づき得る。たとえば、受け取られたＮＩＲ光が少数のピクセルセルに集光されるように、画像センサーがシーンの小さい部分を撮像する場合、カーネルは、隣接するピクセルセルのフォトダイオードを含むことができる。一方、ＮＩＲ光のパターンがピクセルセルにわたって疎に分布されるように、画像センサーがシーンの大きい部分を撮像する場合、カーネルは、離間されるピクセルセルのフォトダイオードを含むことができる。いくつかの例では、フォトダイオードのカーネルは、同じピクセルセルのフォトダイオードをも含むことができ、異なる波長範囲の光成分を検出するように構成され得る。そのような仕組みは、画像センサーが強い周辺光を伴う環境において動作するとき、およびピクセルセルの各フォトダイオードが高強度光成分を受け取ることができ、各フォトダイオードの電荷検知ユニットが飽和する可能性がある場合、有用であり得る。すべてのこれらのケースでは、カーネルのフォトダイオードは、同じ波長範囲または異なる波長範囲の光を検出するように構成され得る。

各ピクセルセルが同じ露光期間を有する、本開示の実施形態では、グローバルシャッター動作が提供され得、各ピクセルセルは、コレートされた２Ｄおよび３Ｄ撮像動作をサポートするためにシーンの同じスポットから光の異なる成分を検出するために、複数のフォトダイオードを含む。その上、ピクセルセルのフォトダイオードは、カーネルであるかまたはカーネルに編成され、フォトダイオードの各カーネルは、ピクセルセルのサイズおよび電力消費を低減するために量子化動作を実施するためにＡＤＣを共有し、各カーネルのフォトダイオードの露光期間は、測定動作の線形性ならびに画像センサーのダイナミックレンジを改善するように動的に調整され得る。これらのすべては、画像センサーの性能を改善することができる。

開示される技法は、人工現実システムを含むか、または人工現実システムに関連して実装され得る。人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされた（たとえば、現実世界の）コンテンツと組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。加えて、いくつかの例では、人工現実は、たとえば、人工現実におけるコンテンツを作り出すために使用される、および／または人工現実において別様に使用される（たとえば、人工現実におけるアクティビティを実施する）アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せにも関連付けられ得る。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、独立型ＨＭＤ、モバイルデバイスまたはコンピューティングシステム、あるいは、１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。

図１Ａは、ニアアイディスプレイ１００の一例の図である。ニアアイディスプレイ１００は、ユーザにメディアを提示する。ニアアイディスプレイ１００によって提示されるメディアの例は、１つまたは複数の画像、ビデオ、および／またはオーディオを含む。いくつかの例では、オーディオは、外部デバイス（たとえば、スピーカーおよび／またはヘッドフォン）を介して提示され、この外部デバイスは、ニアアイディスプレイ１００、コンソール、またはその両方からオーディオ情報を受け取り、そのオーディオ情報に基づいてオーディオデータを提示する。ニアアイディスプレイ１００は、概して、仮想現実（ＶＲ）ディスプレイとして動作するように構成される。いくつかの例では、ニアアイディスプレイ１００は、拡張現実（ＡＲ）ディスプレイおよび／または複合現実（ＭＲ）ディスプレイとして動作するように変更される。

ニアアイディスプレイ１００は、フレーム１０５とディスプレイ１１０とを含む。フレーム１０５は、１つまたは複数の光学要素に結合される。ディスプレイ１１０は、ユーザがニアアイディスプレイ１００によって提示されたコンテンツを見るように構成される。いくつかの例では、ディスプレイ１１０は、１つまたは複数の画像からの光をユーザの眼に向けるための導波路ディスプレイアセンブリを備える。

ニアアイディスプレイ１００は、画像センサー１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄをさらに含む。画像センサー１２０ａ、１２０ｂ、１２０ｃ、および１２０ｄの各々は、異なる方向に沿った異なる視野を表す画像データを生成するように構成されたピクセルアレイを含み得る。たとえば、センサー１２０ａおよび１２０ｂは、Ｚ軸に沿った方向Ａに向かう２つの視野を表す画像データを提供するように構成され得、センサー１２０ｃは、Ｘ軸に沿った方向Ｂに向かう視野を表す画像データを提供するように構成され得、センサー１２０ｄは、Ｘ軸に沿った方向Ｃに向かう視野を表す画像データを提供するように構成され得る。

いくつかの例では、センサー１２０ａ〜１２０ｄは、ニアアイディスプレイ１００を装着したユーザにインタラクティブＶＲ／ＡＲ／ＭＲ体験を提供するために、ニアアイディスプレイ１００のディスプレイコンテンツを制御するかまたはニアアイディスプレイ１００のディスプレイコンテンツに影響を与えるための入力デバイスとして構成され得る。たとえば、センサー１２０ａ〜１２０ｄは、ユーザが位置する物理的環境の物理的画像データを生成することができる。物理的画像データは、物理的環境におけるユーザのロケーションおよび／または移動の経路を追跡するためのロケーション追跡システムに提供され得る。システムは、次いで、インタラクティブ体験を提供するために、たとえば、ユーザのロケーションおよび向きに基づいて、ディスプレイ１１０に提供された画像データを更新することができる。いくつかの例では、ロケーション追跡システムは、ユーザが物理的環境内を移動するにつれて、物理的環境におけるおよびユーザの視野内の物体のセットを追跡するために、ＳＬＡＭアルゴリズムを動作させ得る。ロケーション追跡システムは、物体のセットに基づいて物理的環境のマップを構築および更新し、マップ内のユーザのロケーションを追跡することができる。複数の視野に対応する画像データを提供することによって、センサー１２０ａ〜１２０ｄは、ロケーション追跡システムに物理的環境のより全体的なビューを提供することができ、これは、より多くの物体がマップの構築および更新に含まれることにつながり得る。そのような仕組みにより、物理的環境内のユーザのロケーションを追跡することの正確さおよびロバストネスが改善され得る。

いくつかの例では、ニアアイディスプレイ１００は、物理的環境に光を投影するための１つまたは複数のアクティブ照明器１３０をさらに含み得る。投影された光は、異なる周波数スペクトル（たとえば、可視光、赤外光、紫外光など）に関連付けられ得、様々な目的を果たすことができる。たとえば、照明器１３０は、たとえば、ユーザのロケーション追跡を可能にするために、センサー１２０ａ〜１２０ｄが暗い環境内の異なる物体の画像をキャプチャするのを支援するために、暗い環境において（または、低強度の赤外光、紫外光などを伴う環境において）光を投影し得る。照明器１３０は、ロケーション追跡システムがマップ構築／更新のために物体を識別するのを支援するために、環境内の物体上にいくつかのマーカーを投影し得る。

いくつかの例では、照明器１３０は、立体撮像をも可能にし得る。たとえば、センサー１２０ａまたは１２０ｂのうちの１つまたは複数は、可視光検知のための第１のピクセルアレイと赤外（ＩＲ）光検知のための第２のピクセルアレイの両方を含むことができる。第１のピクセルアレイは、色フィルタ（たとえば、バイエルフィルタ）でオーバーレイされ得、第１のピクセルアレイの各ピクセルが、特定の色（たとえば、赤色、緑色または青色のうちの１つ）に関連付けられた光の強度を測定するように構成される。また、（ＩＲ光検知のための）第２のピクセルアレイは、ＩＲ光の通過のみを可能にするフィルタでオーバーレイされ得、第２のピクセルアレイの各ピクセルが、ＩＲ光の強度を測定するように構成される。ピクセルアレイは、物体のＲＧＢ画像およびＩＲ画像を生成することができ、ＩＲ画像の各ピクセルが、ＲＧＢ画像の各ピクセルにマッピングされる。照明器１３０は、物体上にＩＲマーカーのセットを投影し得、その画像は、ＩＲピクセルアレイによってキャプチャされ得る。画像に示されている物体のＩＲマーカーの分布に基づいて、システムは、ＩＲピクセルアレイからの物体の異なる部分の距離を推定し、その距離に基づいて物体の立体画像を生成することができる。物体の立体画像に基づいて、システムは、たとえば、ユーザに対する物体の相対位置を決定することができ、インタラクティブ体験を提供するために、相対位置情報に基づいて、ディスプレイ１００に提供された画像データを更新することができる。

上記で説明されたように、ニアアイディスプレイ１００は、極めて広範囲の光強度に関連する環境において動作され得る。たとえば、ニアアイディスプレイ１００は、屋内環境または屋外環境において、および／あるいは１日の異なる時間において動作され得る。ニアアイディスプレイ１００はまた、アクティブ照明器１３０がオンにされていてもいなくても動作し得る。その結果、画像センサー１２０ａ〜１２０ｄは、ニアアイディスプレイ１００のための異なる動作環境に関連する極めて広範囲の光強度にわたって適切に動作すること（たとえば、入射光の強度と相関する出力を生成すること）が可能であるために、広いダイナミックレンジを有する必要があり得る。

図１Ｂは、ニアアイディスプレイ１００の別の例の図である。図１Ｂは、ニアアイディスプレイ１００を装着したユーザの（１つまたは複数の）眼球１３５に面するニアアイディスプレイ１００の側面を示す。図１Ｂに示されているように、ニアアイディスプレイ１００は、複数の照明器１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ、および１４０ｆをさらに含み得る。ニアアイディスプレイ１００は、複数の画像センサー１５０ａおよび１５０ｂをさらに含む。照明器１４０ａ、１４０ｂ、および１４０ｃは、（図１Ａの方向Ａと反対である）方向Ｄに向かってある周波数範囲の光（たとえば、ＮＩＲ）を放出し得る。放出された光は、あるパターンに関連付けられ得、ユーザの左眼球によって反射され得る。センサー１５０ａは、反射された光を受け取り、反射パターンの画像を生成するためのピクセルアレイを含み得る。同様に、照明器１４０ｄ、１４０ｅ、および１４０ｆは、パターンを搬送するＮＩＲ光を放出し得る。ＮＩＲ光は、ユーザの右眼球によって反射され得、センサー１５０ｂによって受け取られ得る。センサー１５０ｂも、反射パターンの画像を生成するためのピクセルアレイを含み得る。センサー１５０ａおよび１５０ｂからの反射パターンの画像に基づいて、システムは、ユーザの注視点を決定し、ユーザにインタラクティブ体験を提供するために、決定された注視点に基づいて、ディスプレイ１００に提供された画像データを更新することができる。

上記で説明されたように、ユーザの眼球に損傷を与えることを回避するために、照明器１４０ａ、１４０ｂ、１４０ｃ、１４０ｄ、１４０ｅ、および１４０ｆは、一般的に、極めて低強度の光を出力するように構成される。画像センサー１５０ａおよび１５０ｂが図１Ａの画像センサー１２０ａ〜１２０ｄと同じセンサーデバイスを備える場合、画像センサー１２０ａ〜１２０ｄは、入射光の強度が極めて低いときに入射光の強度と相関する出力を生成することが可能である必要があり得、これは、画像センサーのダイナミックレンジ要件をさらに増加させ得る。

その上、画像センサー１２０ａ〜１２０ｄは、眼球の移動を追跡するために高速で出力を生成することが可能である必要があり得る。たとえば、ユーザの眼球は、ある眼球位置から別の眼球位置への素早いジャンプがあり得る極めて急速な移動（たとえば、サッカード運動（ｓａｃｃａｄｅ ｍｏｖｅｍｅｎｔ））を実施することができる。ユーザの眼球の急速な移動を追跡するために、画像センサー１２０ａ〜１２０ｄは、高速で眼球の画像を生成する必要がある。たとえば、画像センサーが画像フレームを生成するレート（フレームレート）は、少なくとも、眼球の移動の速度に一致する必要がある。高いフレームレートは、画像フレームを生成することに関与するピクセルセルのすべてについての短い総露光時間、ならびに、画像生成のためにセンサー出力をデジタル値に変換するための高い速度を必要とする。その上、上記で説明されたように、画像センサーは、低光強度を伴う環境において動作することが可能である必要もある。

図２は、図１に示されているニアアイディスプレイ１００の断面２００の一例である。ディスプレイ１１０が、少なくとも１つの導波路ディスプレイアセンブリ２１０を含む。射出瞳２３０は、ユーザがニアアイディスプレイ１００を装着したときにユーザの単一の眼球２２０がアイボックス（ｅｙｅｂｏｘ）領域中に配置されるロケーションである。例証の目的で、図２は、眼球２２０と単一の導波路ディスプレイアセンブリ２１０に関連する断面２００を示すが、第２の導波路ディスプレイがユーザの第２の眼のために使用される。

導波路ディスプレイアセンブリ２１０は、画像光を、射出瞳２３０に位置するアイボックスに、および眼球２２０に向けるように構成される。導波路ディスプレイアセンブリ２１０は、１つまたは複数の屈折率をもつ１つまたは複数の材料（たとえば、プラスチック、ガラスなど）から構成され得る。いくつかの例では、ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０と眼球２２０との間に１つまたは複数の光学要素を含む。

いくつかの例では、導波路ディスプレイアセンブリ２１０は、制限はしないが、積層導波路ディスプレイ、可変焦点導波路ディスプレイなどを含む、１つまたは複数の導波路ディスプレイのスタックを含む。積層導波路ディスプレイは、それぞれの単色ソースが異なる色のものである導波路ディスプレイを積層することによって作り出された多色ディスプレイ（たとえば、赤緑青（ＲＧＢ）ディスプレイ）である。積層導波路ディスプレイは、複数の平面上に投影され得る多色ディスプレイ（たとえば、多平面カラーディスプレイ）でもある。いくつかの構成では、積層導波路ディスプレイは、複数の平面上に投影され得る単色ディスプレイ（たとえば、多平面単色ディスプレイ）である。可変焦点導波路ディスプレイは、導波路ディスプレイから放出された画像光の焦点位置を調整することができるディスプレイである。代替例では、導波路ディスプレイアセンブリ２１０は、積層導波路ディスプレイと可変焦点導波路ディスプレイとを含み得る。

図３は、導波路ディスプレイ３００の一例の等角図を示す。いくつかの例では、導波路ディスプレイ３００は、ニアアイディスプレイ１００の構成要素（たとえば、導波路ディスプレイアセンブリ２１０）である。いくつかの例では、導波路ディスプレイ３００は、画像光を特定のロケーションに向ける何らかの他のニアアイディスプレイまたは他のシステムの一部である。

導波路ディスプレイ３００は、ソースアセンブリ３１０と、出力導波路３２０と、コントローラ３３０とを含む。例証の目的で、図３は、単一の眼球２２０に関連付けられた導波路ディスプレイ３００を示すが、いくつかの例では、導波路ディスプレイ３００とは別個の、または部分的に別個の別の導波路ディスプレイが、ユーザの別の眼に画像光を提供する。

ソースアセンブリ３１０は、画像光３５５を生成する。ソースアセンブリ３１０は、画像光３５５を生成し、出力導波路３２０の第１の側面３７０−１上に位置する結合要素３５０に出力する。出力導波路３２０は、拡大された画像光３４０をユーザの眼球２２０に出力する光導波路である。出力導波路３２０は、第１の側面３７０−１上に位置する１つまたは複数の結合要素３５０において画像光３５５を受け取り、受け取られた入力画像光３５５を方向付け要素３６０に導く。いくつかの例では、結合要素３５０は、ソースアセンブリ３１０からの画像光３５５を出力導波路３２０に結合する。結合要素３５０は、たとえば、回折格子、ホログラフィック格子、１つまたは複数のカスケード型反射器、１つまたは複数のプリズム表面要素、および／またはホログラフィック反射器のアレイであり得る。

方向付け要素３６０は、受け取られた入力画像光３５５が分離要素３６５を介して出力導波路３２０から分離されるように、受け取られた入力画像光３５５を分離要素３６５に向け直す。方向付け要素３６０は、出力導波路３２０の第１の側面３７０−１の一部であるか、または出力導波路３２０の第１の側面３７０−１に取り付けられる。分離要素３６５は、方向付け要素３６０が分離要素３６５に対向するように、出力導波路３２０の第２の側面３７０−２の一部であるか、または出力導波路３２０の第２の側面３７０−２に取り付けられる。方向付け要素３６０および／または分離要素３６５は、たとえば、回折格子、ホログラフィック格子、１つまたは複数のカスケード型反射器、１つまたは複数のプリズム表面要素、および／またはホログラフィック反射器のアレイであり得る。

第２の側面３７０−２は、ｘ次元およびｙ次元に沿った平面を表す。出力導波路３２０は、画像光３５５の内部全反射を促進する１つまたは複数の材料から構成され得る。出力導波路３２０は、たとえば、シリコン、プラスチック、ガラス、および／またはポリマーから構成され得る。出力導波路３２０は、比較的小さいフォームファクタを有する。たとえば、出力導波路３２０は、ｘ次元に沿って幅約５０ｍｍ、ｙ次元に沿って長さ約３０ｍｍ、およびｚ次元に沿って厚さ約０．５〜１ｍｍであり得る。

コントローラ３３０は、ソースアセンブリ３１０のスキャン動作を制御する。コントローラ３３０は、ソースアセンブリ３１０のためのスキャン命令を決定する。いくつかの例では、出力導波路３２０は、拡大された画像光３４０を大きい視野（ＦＯＶ）でユーザの眼球２２０に出力する。たとえば、拡大された画像光３４０は、６０度のおよび／またはそれよりも大きい、ならびに／あるいは１５０度のおよび／またはそれよりも小さい（ｘおよびｙにおける）対角ＦＯＶでユーザの眼球２２０に提供される。出力導波路３２０は、２０ｍｍ以上および／または５０ｍｍ以下の長さ、ならびに／あるいは１０ｍｍ以上および／または５０ｍｍ以下の幅をもつアイボックスを提供するように構成される。

その上、コントローラ３３０は、画像センサー３７０によって提供される画像データに基づいて、ソースアセンブリ３１０によって生成される画像光３５５をも制御する。画像センサー３７０は、第１の側面３７０−１上に位置し得、たとえば、（たとえば、ロケーション決定のための）ユーザの前にある物理的環境の画像データを生成するために図１Ａの画像センサー１２０ａ〜１２０ｄを含み得る。画像センサー３７０はまた、第２の側面３７０−２上に位置し得、ユーザの（たとえば、注視点決定のための）眼球２２０の画像データを生成するために図１Ｂの画像センサー１５０ａおよび１５０ｂを含み得る。画像センサー３７０は、導波路ディスプレイ３００内に位置しないリモートコンソールとインターフェースし得る。画像センサー３７０は、画像データをリモートコンソールに提供し得、リモートコンソールは、たとえば、ユーザのロケーション、ユーザの注視点などを決定し、ユーザに表示されるべき画像のコンテンツを決定し得る。リモートコンソールは、決定されたコンテンツに関係する命令をコントローラ３３０に伝送することができる。命令に基づいて、コントローラ３３０は、ソースアセンブリ３１０による画像光３５５の生成および出力を制御することができる。

図４は、導波路ディスプレイ３００の断面４００の一例を示す。断面４００は、ソースアセンブリ３１０と、出力導波路３２０と、画像センサー３７０とを含む。図４の例では、画像センサー３７０は、ユーザの前にある物理的環境の画像を生成するために、第１の側面３７０−１上に位置するピクセルセル４０２のセットを含み得る。いくつかの例では、ピクセルセル４０２のセットの露光を制御するために、ピクセルセル４０２のセットと物理的環境との間に挿入された機械的シャッター４０４があり得る。いくつかの例では、機械的シャッター４０４は、以下で説明されるように、電子シャッターゲートと置き換えられ得る。ピクセルセル４０２の各々は、画像の１つのピクセルに対応し得る。図４には示されていないが、ピクセルセル４０２の各々はまた、ピクセルセルによって検知されるべき光の周波数範囲を制御するために、フィルタでオーバーレイされ得ることを理解されたい。

リモートコンソールから命令を受け取った後に、機械的シャッター４０４は、露光期間において開き、ピクセルセル４０２のセットを露光することができる。露光期間中に、画像センサー３７０は、ピクセルセル４０２のセットに入射した光のサンプルを取得し、ピクセルセル４０２のセットによって検出された入射光サンプルの強度分布に基づいて画像データを生成することができる。画像センサー３７０は、次いで、画像データを、ディスプレイコンテンツを決定するリモートコンソールに提供し、ディスプレイコンテンツ情報をコントローラ３３０に提供することができる。コントローラ３３０は、次いで、ディスプレイコンテンツ情報に基づいて画像光３５５を決定することができる。

ソースアセンブリ３１０は、コントローラ３３０からの命令に従って画像光３５５を生成する。ソースアセンブリ３１０は、ソース４１０と光学システム４１５とを含む。ソース４１０は、コヒーレント光または部分的にコヒーレントな光を生成する光源である。ソース４１０は、たとえば、レーザーダイオード、垂直キャビティ面発光レーザー、および／または発光ダイオードであり得る。

光学システム４１５は、ソース４１０からの光を調節する１つまたは複数の光学的構成要素を含む。ソース４１０からの光を調節することは、たとえば、コントローラ３３０からの命令に従って拡大し、コリメートし、および／または向きを調整することを含み得る。１つまたは複数の光学的構成要素は、１つまたは複数のレンズ、液体レンズ、ミラー、開口、および／または格子を含み得る。いくつかの例では、光学システム４１５は、光ビームを液体レンズ外の領域にシフトするためにしきい値のスキャン角度を伴う光ビームのスキャンを可能にする複数の電極をもつ液体レンズを含む。光学システム４１５（同じくソースアセンブリ３１０）から放出される光は、画像光３５５と呼ばれる。

出力導波路３２０は、画像光３５５を受け取る。結合要素３５０は、ソースアセンブリ３１０からの画像光３５５を出力導波路３２０に結合する。結合要素３５０が回折格子である例では、内部全反射が出力導波路３２０中で発生し、画像光３５５が、分離要素３６５に向かって、（たとえば、内部全反射によって）出力導波路３２０中を内部的に伝搬するように、回折格子のピッチが選定される。

方向付け要素３６０は、出力導波路３２０から分離するために、画像光３５５を分離要素３６５のほうへ向け直す。方向付け要素３６０が回折格子である例では、回折格子のピッチは、入射画像光３５５が、分離要素３６５の表面に対して（１つまたは複数の）傾斜角において出力導波路３２０を出ることを引き起こすように選定される。

いくつかの例では、方向付け要素３６０および／または分離要素３６５は、構造的に同様である。出力導波路３２０を出た拡大された画像光３４０は、１つまたは複数の次元に沿って拡大される（たとえば、ｘ次元に沿って延長され得る）。いくつかの例では、導波路ディスプレイ３００は、複数のソースアセンブリ３１０と複数の出力導波路３２０とを含む。ソースアセンブリ３１０の各々は、原色（たとえば、赤、緑、または青）に対応する、波長の固有の帯域の単色画像光を放出する。出力導波路３２０の各々は、多色である拡大された画像光３４０を出力するために、離間距離を伴って一緒に積層され得る。

図５は、ニアアイディスプレイ１００を含むシステム５００の一例のブロック図である。システム５００は、各々制御回路要素５１０に結合された、ニアアイディスプレイ１００と、撮像デバイス５３５と、入出力インターフェース５４０と、画像センサー１２０ａ〜１２０ｄおよび１５０ａ〜１５０ｂとを備える。システム５００は、ヘッドマウントデバイス、ウェアラブルデバイスなどとして構成され得る。

ニアアイディスプレイ１００は、ユーザにメディアを提示するディスプレイである。ニアアイディスプレイ１００によって提示されるメディアの例は、１つまたは複数の画像、ビデオ、および／またはオーディオを含む。いくつかの例では、オーディオは、外部デバイス（たとえば、スピーカーおよび／またはヘッドフォン）を介して提示され、この外部デバイスは、ニアアイディスプレイ１００および／または制御回路要素５１０からオーディオ情報を受け取り、そのオーディオ情報に基づいてオーディオデータをユーザに提示する。いくつかの例では、ニアアイディスプレイ１００はまた、ＡＲアイウェアグラスとして働き得る。いくつかの例では、ニアアイディスプレイ１００は、コンピュータ生成された要素（たとえば、画像、ビデオ、音など）を用いて、物理的現実世界の環境のビューを増強する。

ニアアイディスプレイ１００は、導波路ディスプレイアセンブリ２１０、１つまたは複数の位置センサー５２５、および／または慣性測定ユニット（ＩＭＵ）５３０を含む。導波路ディスプレイアセンブリ２１０は、ソースアセンブリ３１０と、出力導波路３２０と、コントローラ３３０とを含む。

ＩＭＵ５３０は、位置センサー５２５のうちの１つまたは複数から受け取られた測定信号に基づいて、ニアアイディスプレイ１００の初期位置に対するニアアイディスプレイ１００の推定位置を指示する高速較正データを生成する電子デバイスである。

撮像デバイス５３５は、様々な用途のための画像データを生成し得る。たとえば、撮像デバイス５３５は、制御回路要素５１０から受け取られた較正パラメータに従って低速較正データを提供するために画像データを生成し得る。撮像デバイス５３５は、たとえば、ユーザのロケーション追跡を実施するために、ユーザが位置する物理的環境の画像データを生成するために図１Ａの画像センサー１２０ａ〜１２０ｄを含み得る。撮像デバイス５３５は、たとえば、ユーザの関心物体を識別するために、ユーザの注視点を決定するための画像データを生成するために、図１Ｂの画像センサー１５０ａ〜１５０ｂをさらに含み得る。

入出力インターフェース５４０は、ユーザが制御回路要素５１０にアクション要求を送信することを可能にするデバイスである。アクション要求は、特定のアクションを実施するための要求である。たとえば、アクション要求は、アプリケーションを開始または終了するためのものであるか、あるいはアプリケーション内で特定のアクションを実施するためのものであり得る。

制御回路要素５１０は、撮像デバイス５３５、ニアアイディスプレイ１００、および入出力インターフェース５４０のうちの１つまたは複数から受け取られた情報に従って、ユーザへの提示のためのメディアをニアアイディスプレイ１００に提供する。いくつかの例では、制御回路要素５１０は、ヘッドマウントデバイスとして構成されたシステム５００内に収容され得る。いくつかの例では、制御回路要素５１０は、システム５００の他の構成要素と通信可能に結合された独立型コンソールデバイスであり得る。図５に示されている例では、制御回路要素５１０は、アプリケーションストア５４５と、追跡モジュール５５０と、エンジン５５５とを含む。

アプリケーションストア５４５は、制御回路要素５１０が実行するための１つまたは複数のアプリケーションを記憶する。アプリケーションは、プロセッサによって実行されたとき、ユーザへの提示のためのコンテンツを生成する命令のグループである。アプリケーションの例は、ゲームアプリケーション、会議アプリケーション、ビデオ再生アプリケーション、または他の好適なアプリケーションを含む。

追跡モジュール５５０は、１つまたは複数の較正パラメータを使用してシステム５００を較正し、ニアアイディスプレイ１００の位置の決定における誤差を低減するために、１つまたは複数の較正パラメータを調整し得る。

追跡モジュール５５０は、撮像デバイス５３５からの低速較正情報を使用して、ニアアイディスプレイ１００の移動を追跡する。追跡モジュール５５０はまた、高速較正情報からの位置情報を使用して、ニアアイディスプレイ１００の基準点の位置を決定する。

エンジン５５５は、システム５００内でアプリケーションを実行し、追跡モジュール５５０から、ニアアイディスプレイ１００の位置情報、加速度情報、速度情報、および／または予測された将来の位置を受け取る。いくつかの例では、エンジン５５５によって受け取られた情報は、ユーザに提示されるコンテンツのタイプを決定する導波路ディスプレイアセンブリ２１０への信号（たとえば、ディスプレイ命令）をもたらすために使用され得る。たとえば、インタラクティブ体験を提供するために、エンジン５５５は、（たとえば、追跡モジュール５５０によって提供される）ユーザのロケーション、または（たとえば、撮像デバイス５３５によって提供される画像データに基づく）ユーザの注視点、（たとえば、撮像デバイス５３５によって提供される画像データに基づく）物体とユーザとの間の距離に基づいて、ユーザに提示されるべきコンテンツを決定し得る。

図６は、画像センサー６００の一例を示す。画像センサー６００は、ニアアイディスプレイ１００の一部であり得、ニアアイディスプレイ１００のディスプレイコンテンツを制御するために、図５の制御回路要素５１０に２Ｄ画像データおよび３Ｄ画像データを提供することができる。図６に示されているように、画像センサー６００は、ピクセルセル６０２ａを含むピクセルセルのアレイ６０２を含み得る。ピクセルセル６０２ａは、たとえば、フォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄを含む複数のフォトダイオード６１２と、１つまたは複数の電荷検知ユニット６１４と、１つまたは複数のアナログデジタル変換器６１６とを含むことができる。複数のフォトダイオード６１２は、入射光の異なる成分を電荷に変換することができる。たとえば、フォトダイオード６１２ａ〜６１２ｃは、異なる可視光チャネルに対応することができ、ここで、フォトダイオード６１２ａは、可視青色成分（たとえば、４５０〜４９０ナノメートル（ｎｍ）の波長範囲）を電荷に変換することができる。フォトダイオード６１２ｂは、可視緑色成分（たとえば、５２０〜５６０ｎｍの波長範囲）を電荷に変換することができる。フォトダイオード６１２ｃは、可視赤色成分（たとえば、６３５〜７００ｎｍの波長範囲）を電荷に変換することができる。その上、フォトダイオード６１２ｄは、赤外線成分（たとえば、７００〜１０００ｎｍ）を電荷に変換することができる。１つまたは複数の電荷検知ユニット６１４の各々は、フォトダイオード６１２ａ〜６１２ｄによって生成された電荷を電圧に変換するために、電荷貯蔵デバイスとバッファとを含むことができ、その電圧は、１つまたは複数のＡＤＣ６１６によってデジタル値に量子化され得る。フォトダイオード６１２ａ〜６１２ｃから生成されたデジタル値は、ピクセルの異なる可視光成分を表すことができ、各々は、特定の可視光チャネルにおける２Ｄ検知のために使用され得る。その上、フォトダイオード６１２ｄから生成されたデジタル値は、同じピクセルの赤外光成分を表すことができ、３Ｄ検知のために使用され得る。図６はピクセルセル６０２ａが４つのフォトダイオードを含むことを示すが、ピクセルセルが異なる数のフォトダイオード（たとえば、２つ、３つなど）を含むことができることを理解されたい。

さらに、画像センサー６００は、照明器６２２と、光学フィルタ６２４と、撮像モジュール６２８と、検知コントローラ６３０とをも含む。照明器６２２は、３Ｄ検知のために赤外光を投影することができる、レーザー、発光ダイオード（ＬＥＤ）など、赤外線照明器であり得る。投影された光は、たとえば、構造化光、光パルスなどを含み得る。光学フィルタ６２４は、ピクセルセル６０６ａを含む各ピクセルセルの複数のフォトダイオード６１２ａ〜６１２ｄ上にオーバーレイされるフィルタ要素のアレイを含み得る。各フィルタ要素は、ピクセルセル６０６ａの各フォトダイオードによって受け取られた入射光の波長範囲を設定することができる。たとえば、フォトダイオード６１２ａ上のフィルタ要素は、可視青色光成分を伝送する一方、他の成分を遮断し得、フォトダイオード６１２ｂ上のフィルタ要素は可視緑色光成分を伝送し得、フォトダイオード６１２ｃ上のフィルタ要素は可視赤色光成分を伝送し得、フォトダイオード６１２ｄ上のフィルタ要素は赤外光成分を伝送し得る。

画像センサー６００は、撮像モジュール６２８をさらに含む。撮像モジュール６２８は、２Ｄ撮像動作を実施するための２Ｄ撮像モジュール６３２と、３Ｄ撮像動作を実施するための３Ｄ撮像モジュール６３４とをさらに含み得る。それらの動作は、ＡＤＣ６１６によって提供されるデジタル値に基づき得る。たとえば、フォトダイオード６１２ａ〜６１２ｃの各々からのデジタル値に基づいて、２Ｄ撮像モジュール６３２は、各可視色チャネルについての入射光成分の強度を表すピクセル値のアレイを生成し、各可視色チャネルのための画像フレームを生成することができる。その上、３Ｄ撮像モジュール６３４は、フォトダイオード６１２ｄからのデジタル値に基づいて３Ｄ画像を生成することができる。いくつかの例では、デジタル値に基づいて、３Ｄ撮像モジュール６３４は、物体の表面によって反射された構造化光のパターンを検出し、検出されたパターンを、照明器６２２によって投影された構造化光のパターンと比較して、ピクセルセルアレイに対する表面の異なる点の深度を決定することができる。反射された光のパターンの検出のために、３Ｄ撮像モジュール６３４は、ピクセルセルにおいて受け取られた赤外光の強度に基づいてピクセル値を生成することができる。別の例として、３Ｄ撮像モジュール６３４は、照明器６２２によって伝送され、物体によって反射された赤外光の飛行時間に基づいて、ピクセル値を生成することができる。

画像センサー６００は、物体の２Ｄ撮像および３Ｄ撮像を実施するように画像センサー６００の異なる構成要素を制御するための検知コントローラ６４０をさらに含む。次に図７Ａ〜図７Ｃを参照すると、図７Ａ〜図７Ｃは、２Ｄ撮像および３Ｄ撮像のための画像センサー６００の動作の例を示す。図７Ａは、２Ｄ撮像のための動作の一例を示す。２Ｄ撮像では、ピクセルセルアレイ６０２が、物体から反射された可視光を含む、環境における可視光を検出することができる。たとえば、図７Ａを参照すると、可視光源７００（たとえば、電球、太陽、または周囲可視光の他のソース）が、物体７０４上に可視光７０２を投影することができる。可視光７０６が、物体７０４のスポット７０８から反射され得る。可視光７０６は、周囲赤外光成分をも含むことができる。可視光７０６は、波長範囲ｗ０、ｗ１、ｗ２、およびｗ３の可視光７０６の異なる成分を、それぞれ、ピクセルセル６０２ａのフォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄに通すように、光学フィルタアレイ６２４によってフィルタ処理され得る。波長範囲ｗ０、ｗ１、ｗ２、およびｗ３は、それぞれ、青、緑、赤、および赤外線に対応することができる。図７Ａに示されているように、赤外線照明器６２２がオンにされないとき、赤外線成分（ｗ３）の強度は、周囲赤外光によって与えられ、極めて低くなり得る。その上、可視光７０６の異なる可視成分は、異なる強度をも有することができる。電荷検知ユニット６１４は、フォトダイオードによって生成された電荷を電圧に変換することができ、電圧は、ＡＤＣ６１６によって、スポット７０８を表すピクセルの赤、青、および緑色成分を表すデジタル値に量子化され得る。図７Ｃを参照すると、デジタル値が生成された後に、検知コントローラ６４０は、デジタル値に基づいて、各々がフレーム期間７１４内のシーンの赤、青、または緑色画像のうちの１つを表す赤画像フレーム７１０ａ、青画像フレーム７１０ｂ、および緑画像フレーム７１０ｃを含む、画像のセット７１０を含む画像のセットを生成するように、２Ｄ撮像モジュール６３２を制御することができる。各、赤画像からのピクセル（たとえば、ピクセル７１２ａ）、青画像からのピクセル（たとえば、ピクセル７１２ｂ）、および緑画像からのピクセル（たとえば、ピクセル７１２ｃ）は、シーンの同じスポット（たとえば、スポット７０８）からの光の可視成分を表すことができる。画像の異なるセット７２０が、後続のフレーム期間７２４において２Ｄ撮像モジュール６３２によって生成され得る。赤画像（たとえば、赤画像７１０ａ、７２０ａなど）、青画像（たとえば、青画像７１０ｂ、７２０ｂなど）、および緑画像（たとえば、緑画像７１０ｃ、７２０ｃなど）の各々は、固有の色チャネルにおいて、および特定の時間においてキャプチャされたシーンの画像を表すことができ、たとえば、固有の色チャネルから画像特徴を抽出するためのアプリケーションに提供され得る。フレーム期間内にキャプチャされた各画像は同じシーンを表すことができ、画像の各対応するピクセルはシーンの同じスポットからの光を検出することに基づいて生成されるので、異なる色チャネル間の画像の対応が改善され得る。

さらに、画像センサー６００は、物体７０４の３Ｄ撮像をも実施することができる。図７Ｂを参照すると、検知コントローラ６１０は、物体７０４上に、光パルス、構造化光などを含むことができる赤外光７３２を投影するように、照明器６２２を制御することができる。赤外光７３２は、７００ナノメートル（ｎｍ）〜１ミリメートル（ｍｍ）の波長範囲を有することができる。赤外光７３４は、物体７０４のスポット７０８から反射することができ、ピクセルセルアレイ６０２のほうへ伝搬し、光学フィルタ６２４を通過することができ、光学フィルタ６２４は、電荷に変換するために（波長範囲ｗ３の）赤外線成分をフォトダイオード６１２ｄに提供することができる。電荷検知ユニット６１４が電荷を電圧に変換することができ、電圧は、ＡＤＣ６１６によってデジタル値に量子化され得る。図７Ｃを参照すると、デジタル値が生成された後に、検知コントローラ６４０は、デジタル値に基づいて、フレーム期間７１４内にキャプチャされた画像７１０の一部としてシーンの赤外線画像７１０ｄを生成するように、３Ｄ撮像モジュール６３４を制御することができる。その上、３Ｄ撮像モジュール６３４は、フレーム期間７２４内にキャプチャされた画像７２０の一部としてシーンの赤外線画像７２０ｄをも生成することができる。各赤外線画像は、異なるチャネル中であるが同じフレーム期間内にキャプチャされた他の画像と同じシーンを表すことができ（たとえば、赤外線画像７１０ｄ対赤画像７１０ａ、青画像７１０ｂ、および緑画像７１０ｃ、赤外線画像７２０ｄ対赤画像７２０ａ、青画像７２０ｂ、および緑画像７２０ｃなど）、赤外線画像の各ピクセルは、同じフレーム期間内の他の画像中の他の対応するピクセルと同じ、シーンのスポットから赤外光を検出することに基づいて生成されるので、２Ｄ撮像と３Ｄ撮像との間の対応が同様に改善され得る。

図８Ａ〜図８Ｄは、ピクセルセル中のフォトダイオード６１２の配置の例を示す。図８Ａに示されているように、ピクセルセル６０２ａ中のフォトダイオード６１２ａ〜６１２ｄは、ピクセルセル６０２ａがスポット８０４ａから入射光８０２を受け取る受光面８００に直角である軸に沿ってスタックを形成することができる。たとえば、フォトダイオード６１２ａ〜６１２ｄは、受光面８００がｘ軸およびｙ軸と平行であるとき、垂直軸（たとえば、ｚ軸）に沿ってスタックを形成することができる。各フォトダイオードは、受光面８００から異なる距離を有することができ、その距離は、入射光８０２の成分が各フォトダイオードによって吸収され、電荷に変換されるように設定することができる。たとえば、フォトダイオード６１２ａは、受光面８００に最も近く、青色成分を吸収し、電荷に変換することができ、青色成分は他の成分の中で最も短い波長範囲のものである。光８１２は、光８０２の残りの成分（たとえば、緑、赤、および赤外線）を含み、フォトダイオード６１２ｂに伝搬することができ、フォトダイオード６１２ｂは、緑色成分を吸収し、変換することができる。光８２２は、光８１２の残りの成分（たとえば、赤および赤外線）を含み、フォトダイオード６１２ｃに伝搬することができ、フォトダイオード６１２ｃは、赤色成分を吸収し、変換することができる。残りの赤外線成分８３２は、電荷に変換されるためにフォトダイオード６１２ｄに伝搬することができる。

各フォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄは、画像センサー６００を形成するために積層され得る別個の半導体基板中にあり得る。たとえば、フォトダイオード６１２ａは半導体基板８４０中にあり得、フォトダイオード６１２ｂは半導体基板８４２中にあり得、フォトダイオード６１２ｃは半導体基板８４４中にあり得、フォトダイオード６１２ｄは半導体基板８４６中にあり得る。各半導体基板は、スポット８０４ｂから光を受け取るためのピクセルセル６０２ｂなど、他のピクセルセルの他のフォトダイオードを含むことができる。画像センサー６００は、ピクセルセル処理回路８４９を含むことができる別の半導体基板８４８を含むことができ、ピクセルセル処理回路８４９は、たとえば、電荷検知ユニット６１４、ＡＤＣ６１６などを含むことができる。各半導体基板は、各フォトダイオードにおいて生成された電荷を処理回路８４９に転送するために、金属相互接続８５０、８５２、８５４、および８５６などの金属相互接続に接続され得る。

図８Ｂ〜図８Ｄは、フォトダイオード６１２の他の例示的な配置を示す。図８Ｂ〜図８Ｄに示されているように、複数のフォトダイオード６１２は、受光面８００と平行に横方向に配置され得る。図８Ｂの上の図表は、ピクセルセル６０２ａの一例の側面図を示し、図８Ｂの下の図表は、ピクセルセル６０２ａを含むピクセルアレイ６０２の上面図を示す。図８Ｂに示されているように、受光面８００がｘ軸およびｙ軸と平行であることで、フォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄは、半導体基板８４０中で同じくｘ軸およびｙ軸に沿って互いに隣接して配置され得る。ピクセルセル６０２ａは、フォトダイオード上にオーバーレイされる光学フィルタアレイ８６０をさらに含む。光学フィルタアレイ８６０は光学フィルタ６２４の一部であり得る。光学フィルタアレイ８６０は、フォトダイオード６１２ａ、６１２ｂ、６１２ｃ、および６１２ｄの各々によって受け取られた入射光成分の波長範囲を設定するためにそれぞれのフォトダイオード上にオーバーレイされたフィルタ要素を含むことができる。たとえば、フィルタ要素８６０ａは、フォトダイオード６１２ａ上にオーバーレイされ、可視青色光のみがフォトダイオード６１２ａに入ることを可能にすることができる。その上、フィルタ要素８６０ｂは、フォトダイオード６１２ｂ上にオーバーレイされ、可視緑色光のみがフォトダイオード６１２ｂに入ることを可能にすることができる。さらに、フィルタ要素８６０ｃは、フォトダイオード６１２ｃ上にオーバーレイされ、可視赤色光のみがフォトダイオード６１２ｃに入ることを可能にすることができる。フィルタ要素８６０ｄは、フォトダイオード６１２ｄ上にオーバーレイされ、赤外光のみがフォトダイオード６１２ｄに入ることを可能にすることができる。ピクセルセル６０２ａは、光学フィルタアレイ８６０を介して受光面８００の異なる横方向ロケーションにシーンのスポット（たとえば、スポット８０４ａ）からの光８６４を投影することができる１つまたは複数のマイクロレンズ８６２をさらに含み、これは、各フォトダイオードがピクセルセル６０２ａのサブピクセルになり、ピクセルに対応する同じスポットからの光の成分を受け取ることを可能にする。ピクセルセル６０２ａは、フォトダイオードによって生成された電荷からデジタル値を生成するための回路８４９（たとえば、電荷検知ユニット６１４、ＡＤＣ６１６など）を含むことができる半導体基板８４８をも含むことができる。半導体基板８４０および８４８は、スタックを形成することができ、相互接続８５６と接続され得る。

フォトダイオードが横方向に配置され、フォトダイオードによって受け取られた光成分を制御するために光学フィルタアレイが使用される、図８Ｂの配置は、多数の利点を与えることができる。たとえば、スタックの数および半導体基板の数が低減され得、これは、垂直高さだけでなく、半導体基板の間の相互接続をも低減する。その上、各フォトダイオードによって吸収される成分の波長範囲を設定するために光の伝搬距離ではなくフィルタ要素に依拠することは、波長範囲を選択する際のフレキシビリティを与えることができる。図８Ｃの上の図表に示されているように、ピクセルセルアレイ６０２は、異なるピクセルセルのための異なる光学フィルタアレイ８６０を含むことができる。たとえば、ピクセルセルアレイ６０２の各ピクセルセルは、フォトダイオード６１２ａおよび６１２ｂのための（「Ｍ」でラベリングされた）３８０〜７４０ｎｍの波長範囲の単色チャネルと、フォトダイオード６１２ｄのための（「ＮＩＲ」でラベリングされた）７００〜１０００ｎｍの波長範囲の赤外線チャネルとを提供する光学フィルタアレイを有することができる。しかし、光学フィルタアレイは、異なるピクセルセルについて異なる可視色チャネルをも提供し得る。たとえば、ピクセルセルアレイ６０２ａ、６０２ｂ、６０２ｃ、および６０２ｄのための光学フィルタアレイ８６０は、それぞれ、（「Ｇ」でラベリングされた）可視緑チャネルと、（「Ｒ」でラベリングされた）可視赤チャネルと、（「Ｂ」でラベリングされた）可視青チャネルと、ピクセルセルアレイのフォトダイオード６１２ｃのための可視緑チャネルとを提供し得る。別の例として、図８Ｃの下の図表に示されているように、各光学フィルタアレイ８６０は、各ピクセルセルアレイのフォトダイオード６１２ｂのための３８０〜１０００ｎｍの波長範囲に及ぶ（「Ｍ＋ＮＩＲ」とラベリングされた）単色および赤外線チャネルを提供することができる。

図８Ｄは、図８Ｃに示されている例示的なチャネルを提供するための光学フィルタアレイ８６０の例を示す。図８Ｄに示されているように、光学フィルタアレイ８６０は、ピクセルセルアレイ内の各フォトダイオードによって受け取られた光の波長範囲を選択するために光学フィルタのスタックを含むことができる。たとえば、図８Ｄの上の図表を参照すると、光学フィルタ８６０ａは、フォトダイオード６１２ａのための単色チャネルを提供するためにスタックを形成する、全通過要素（ａｌｌ−ｐａｓｓ ｅｌｅｍｅｎｔ）８７０（たとえば、可視光と赤外光の両方を通す透明ガラス）と赤外線遮断要素８７２とを含むことができる。光学フィルタ８６０ｂも、同じくフォトダイオード６１２ｂのための単色チャネルを提供するために、全通過要素８７４と赤外線遮断要素８７６とを含むことができる。さらに、光学フィルタ８６０ｃは、フォトダイオード６１２ｃのための緑チャネルを提供するために、緑色可視光を通す（ただし、他の可視光成分を拒否する）緑通過要素（ｇｒｅｅｎ−ｐａｓｓ ｅｌｅｍｅｎｔ）８７６と、赤外線遮断要素８７８とを含むことができる。最後に、光学フィルタ８６０ｄは、フォトダイオード６１２ｄのための赤外線チャネルを提供するために、全通過要素８８０と（可視光を遮断することができるが、赤外光が通り抜けることを可能にする）可視光遮断フィルタ８８２とを含むことができる。別の例では、図８Ｄの下の図表に示されているように、光学フィルタ８６０ｂは、フォトダイオード６１２ｂのための単色および赤外線チャネルを提供するために全通過要素８７２のみを含むことができる。

次に図９Ａおよび図９Ｂを参照すると、図９Ａおよび図９Ｂは、電荷検知ユニット６１４およびＡＤＣ６１６の一例を含む、ピクセルセル６０２ａの追加の構成要素を示す。図９Ａに示されているように、ピクセルセル６０２ａは、フォトダイオードＰＤ（たとえば、フォトダイオード６１２ａ）と、シャッタースイッチＭ０と、転送スイッチＭ１と、電荷貯蔵デバイス９０２および切替え可能バッファ９０４を備える電荷検知ユニット６１４と、ＣＣキャパシタ、比較器９０６、および出力論理回路９０８を備えるＡＤＣ６１６とを含むことができる。比較器９０６の出力は、出力論理回路９０８を介して、ピクセルセル６０２ａの内部または外部にあり得るメモリ９１２およびカウンタ９１４と結合される。ピクセルセル６０２は、スイッチ、電荷検知ユニット６１４、ならびにＡＤＣ６１６を制御するためのコントローラ９２０をさらに含む。以下で説明されるように、コントローラ９２０は、フォトダイオードＰＤが、事前構成された露光期間内に入射光に基づいて電荷を蓄積することを可能にすることができる。コントローラ９２０はまた、露光停止信号９２２に基づいて、事前構成されたよりも早く、露光期間を停止することができる。その上、露光期間内に、コントローラ９２０は、入射光の強度のデジタル表現を生成するために異なる光強度範囲に関連付けられた複数の量子化動作を実施するように、電荷検知ユニット６１４およびＡＤＣ６１６を制御することができる。コントローラ９２０は、複数の量子化動作のうちのどれが実施されるべきか（およびどれがスキップされるべきであるか）を選択するための選択信号９２４を受け取ることができる。選択は、入射光強度のデジタル表現を使用するアプリケーションをホストするホストデバイスからもたらされ得る。出力論理回路９０８は、どの量子化動作出力がメモリ９１２に記憶されるべきであり、および／またはピクセル値として出力されるべきであるかを決定することができる。コントローラ９２０は、ピクセルセル６０２ａの内部にあるか、または検知コントローラ６４０の一部であり得る。各スイッチは、たとえば、金属酸化物半導体電界効果トランジスタ（ＭＯＳＦＥＴ）、バイポーラ接合トランジスタ（ＢＪＴ）など、トランジスタであり得る。

詳細には、シャッタースイッチＭ０は、露光期間を開始するためにコントローラ９２０によって提供されるＡＢ信号によって無効化され得、露光期間において、フォトダイオードＰＤは、入射光に応答して電荷を生成および蓄積することができる。転送スイッチＭ１は、電荷の一部を電荷貯蔵デバイス９０２に転送するように、コントローラ９２０によって提供されるＴＧ信号によって制御され得る。１つの量子化動作では、転送スイッチＭ１は、フォトダイオードＰＤの量子ウェル容量を設定するために、部分的にオンの状態においてバイアスされ得、これはまた、フォトダイオードＰＤにおいて貯蔵される残留電荷の量を設定する。フォトダイオードＰＤが残留電荷によって飽和された後に、オーバーフロー電荷は、転送スイッチＭ１を通って電荷貯蔵デバイス９０２に流れることができる。別の量子化動作では、転送スイッチＭ１は、測定のために残留電荷をフォトダイオードＰＤから電荷貯蔵デバイスに転送するために、完全にオンにされ得る。

電荷貯蔵デバイス９０２は、構成可能な容量を有し、ＯＦノードにおいて、スイッチＭ１から転送された電荷を電圧に変換することができる。電荷貯蔵デバイス９０２は、Ｍ６スイッチによって接続された、Ｃ_ＦＤキャパシタ（たとえば、フローティングドレイン）とＣ_ＥＸＴキャパシタ（たとえば、ＭＯＳキャパシタ）とを含む。Ｍ６スイッチは、ＬＧ信号によって、Ｃ_ＦＤキャパシタとＣ_ＥＸＴキャパシタとを並列に接続することによって電荷貯蔵デバイス９０２の容量を拡大すること、またはそれらのキャパシタを互いから切断することによって容量を低減することを可能にされ得る。電荷貯蔵デバイス９０２の容量は、電荷−電圧利得を増加させ、量子化誤差を低減するために、残留電荷の測定のために低減され得る。その上、電荷貯蔵デバイス９０２の容量はまた、飽和の可能性を低減し、非線形性を改善するために、オーバーフロー電荷の測定のために増加され得る。以下で説明されるように、電荷貯蔵デバイス９０２の容量は、異なる光強度範囲の測定のために調整され得る。電荷貯蔵デバイス９０２はまた、異なる量子化動作間でＣ_ＦＤキャパシタおよびＣ_ＥＸＴキャパシタをリセットするための、コントローラ９２０によって提供されるリセット信号ＲＳＴによって制御され得るリセットスイッチＭ２と結合される。

切替え可能バッファ９０４は、ＯＦノードにおける電圧をバッファしてその駆動強度を改善するためのソースフォロワとして構成されたスイッチＭ３を含むことができる。バッファされた電圧は、ＡＤＣ６１６の入力ノードＰＩＸＥＬ＿ＯＵＴにおけるものであり得る。Ｍ４トランジスタは、切替え可能バッファ９０４のための電流源を提供し、ＶＢ信号によってバイアスされ得る。切替え可能バッファ９０４は、ＳＥＬ信号によって有効化または無効化されるスイッチＭ５をも含む。スイッチＭ５が無効化されたとき、ソースフォロワＭ３は、ＰＩＸＥＬ＿ＯＵＴノードから切断され得る。以下で説明されるように、ピクセルセル６０２ａは、切替え可能バッファ９０４を各々含む複数の電荷検知ユニット６１４を含み得、ＳＥＬ信号に基づいて、一度に、電荷検知ユニットのうちの１つがＰＩＸＥＬ＿ＯＵＴ（およびＡＤＣ６１６）と結合され得る。

上記で説明されたように、露光期間内にフォトダイオードＰＤによって生成された電荷は、電荷貯蔵デバイス９０２に一時的に貯蔵され、電圧に変換され得る。電圧は、電荷と入射光強度との間の所定の関係に基づいて入射光の強度を表すために量子化され得る。次に図１０を参照すると、図１０は、異なる光強度範囲についての時間に対する蓄積された電荷の量を示す。特定の時点において蓄積された電荷の総量は、露光期間内に図６のフォトダイオードＰＤに入射する光の強度を反映することができる。上記量は、露光期間が終了したときに測定され得る。入射光の強度についての低光強度範囲１００６、中光強度範囲１００８、および高光強度範囲１０１０を定義する電荷のしきい値の量について、しきい値１００２およびしきい値１００４が定義され得る。たとえば、総蓄積電荷（ｔｏｔａｌ ａｃｃｕｍｕｌａｔｅｄ ｃｈａｒｇｅ）がしきい値１００２未満である場合（たとえば、Ｑ１）、入射光強度は低光強度範囲１００６内にある。総蓄積電荷がしきい値１００４としきい値１００２との間にある場合（たとえば、Ｑ２）、入射光強度は中光強度範囲１００８内にある。総蓄積電荷がしきい値１００４を超える場合、入射光強度は高光強度範囲１０１０内にある。低光強度範囲および中光強度範囲についての、蓄積された電荷の量は、フォトダイオードが低光強度範囲１００６全体内で飽和せず、測定キャパシタが中光強度範囲１００８全体内で飽和しない場合、入射光の強度と相関することができる。

低光強度範囲１００６および中光強度範囲１００８、ならびにしきい値１００２および１００４の定義は、フォトダイオードＰＤのフルウェル容量および電荷貯蔵デバイス９０２の容量に基づき得る。たとえば、低光強度範囲７０６は、露光期間の終了時の、フォトダイオードＰＤに貯蔵された残留電荷の総量が、フォトダイオードの貯蔵容量を下回るかまたはそれに等しくなるように定義され得、しきい値１００２は、フォトダイオードＰＤのフルウェル容量に基づき得る。その上、中光強度範囲１００８は、露光期間の終了時の、電荷貯蔵デバイス９０２に貯蔵された電荷の総量が、測定キャパシタの貯蔵容量を下回るかまたはそれに等しくなるように定義され得、しきい値１００４は、電荷貯蔵デバイス９０２の貯蔵容量に基づき得る。一般的に、しきい値１００４は、電荷貯蔵デバイス９０２に貯蔵された電荷の量が強度決定のために測定されたとき、測定キャパシタが飽和せず、測定された量が同じく入射光強度に関係することを保証するために、電荷貯蔵デバイス９０２のスケーリングされた貯蔵容量に基づき得る。以下で説明されるように、しきい値１００２および１００４は、フォトダイオードＰＤおよび電荷貯蔵デバイス９０２が飽和したかどうかを検出するために使用され得、これは、入射光の強度範囲を決定することができる。

さらに、入射光強度が高光強度範囲１０１０内にある場合、電荷貯蔵デバイス９０２において蓄積された総オーバーフロー電荷は、露光期間が終了する前にしきい値１００４を超え得る。追加の電荷が蓄積されるにつれて、電荷貯蔵デバイス９０２は、露光期間の終了の前にフル容量に達し得、電荷漏洩が発生し得る。電荷貯蔵デバイス９０２がフル容量に達したことにより引き起こされる測定誤差を回避するために、電荷貯蔵デバイス９０２において蓄積された総オーバーフロー電荷がしきい値１００４に達するのにかかる持続時間を測定するために、飽和までの時間測定が実施され得る。電荷貯蔵デバイス９０２における電荷蓄積のレートは、しきい値１００４と飽和までの時間との間の比に基づいて決定され得、（キャパシタが無限の容量を有する場合に）露光期間の終了時に電荷貯蔵デバイス９０２において蓄積され得る電荷の仮定量（Ｑ３）は、電荷蓄積のレートに従って外挿法によって決定され得る。電荷の仮定量（Ｑ３）は、高光強度範囲１０１０内の入射光強度の合理的に正確な表現を提供することができる。

再び図９Ａを参照すると、高光強度範囲１０１０と中光強度範囲１００８とを測定するために、転送スイッチＭ１は、部分的にオンにされた状態においてＴＧ信号によってバイアスされ得る。たとえば、転送スイッチＭ１のゲート電圧（ＴＧ）は、フォトダイオードＰＤのフルウェル容量に対応する、フォトダイオードにおいて生じたターゲット電圧に基づいて設定され得る。そのような仕組みにより、（高光強度範囲１０１０について）飽和までの時間、および／または（中光強度範囲１００８について）電荷貯蔵デバイス９０２に貯蔵された電荷の量を測定するために、オーバーフロー電荷（たとえば、フォトダイオードが飽和した後にフォトダイオードによって生成された電荷）のみが、転送スイッチＭ１を通って移って電荷貯蔵デバイス９０２に達する。中光強度範囲および高光強度範囲の測定のために、（Ｃ_ＥＸＴとＣ_ＦＤとを接続することによる）電荷貯蔵デバイス９０２のキャパシタンスはまた、しきい値１００４を増加させるために最大化され得る。

その上、低光強度範囲１００６を測定するために、転送スイッチＭ１は、フォトダイオードＰＤに貯蔵された残留電荷を電荷貯蔵デバイス９０２に転送するように、完全にオンにされた状態において制御され得る。転送は、電荷貯蔵デバイス９０２において貯蔵されたオーバーフロー電荷の量子化動作が完了した後に、および電荷貯蔵デバイス９０２がリセットされた後に、行われ得る。その上、電荷貯蔵デバイス９０２のキャパシタンスは低減され得る。上記で説明されたように、電荷貯蔵デバイス９０２のキャパシタンスの低減は、ある量の貯蔵された電荷についてより高い電圧を生じさせることができるように、電荷貯蔵デバイス９０２における電荷−電圧変換比を増加させることができる。より高い電荷−電圧変換比は、低光強度決定の正確さに対する後続の量子化動作によって導入される測定誤差（たとえば、量子化誤差、比較器オフセットなど）の効果を低減することができる。測定誤差は、量子化動作によって検出および／または弁別され得る最小電圧差に対する限界を設定することができる。電荷−電圧変換比を増加させることによって、最小電圧差に対応する電荷の量は低減され得、これは、ピクセルセル６０２ａによる測定可能な光強度の下限を低減し、ダイナミックレンジを拡張する。

電荷貯蔵デバイス９０２において蓄積された電荷（残留電荷および／またはオーバーフロー電荷）は、ＯＦノードにおいてアナログ電圧を生じさせることができ、アナログ電圧は、ＰＩＸＥＬ＿ＯＵＴにおいて切替え可能バッファ９０４によってバッファされ、ＡＤＣ６１６によって量子化され得る。図９Ａに示されているように、ＡＤＣ６１６は、スイッチＭ８によってリセットされ得る比較器９０６と、出力論理回路９０８とを含む。ＡＤＣ６１６はまた、メモリ９１２およびカウンタ９１４と結合される。カウンタ９１４は、自走クロック信号に基づいてカウント値のセットを生成することができ、メモリ９１２は、カウンタ９１４によって生成されたカウント値（たとえば、最新のカウント値）を記憶するように、出力論理回路９０８を介して、比較器９０６によって制御され得る。メモリ９１２は、たとえば、以下で説明されるように、ローカルピクセル値に基づいてカウント値を記憶するためのラッチ回路であり得る。記憶されたカウント値は、入射光強度を表すために出力され得る。

比較器９０６は、ＣＣキャパシタによってＰＩＸＥＬ＿ＯＵＴから導出されるアナログ電圧ＣＯＭＰ＿ＩＮをしきい値ＶＲＥＦと比較し、比較結果に基づいて判定ＶＯＵＴを生成することができる。ＣＣキャパシタは、ＰＩＸＥＬ＿ＯＵＴ電圧におけるリセット雑音成分を相殺するために、ＣＯＭＰ＿ＩＮ電圧を生成するためにＰＩＸＥＬ＿ＯＵＴ電圧に追加され得る、ＶＣＣ電圧におけるリセット雑音および比較器オフセット情報を記憶するために、雑音／オフセット補償方式で使用され得る。オフセット成分は、ＣＯＭＰ＿ＩＮ電圧中に残り、比較器９０６がＣＯＭＰ＿ＩＮ電圧をしきい値ＶＲＥＦと比較して判定ＶＯＵＴを生成するとき、比較器９０６のオフセットによって相殺され得る。比較器９０６は、ＣＯＭＰ＿ＩＮ電圧がＶＲＥＦに等しいかまたはＶＲＥＦを超える場合、ＶＯＵＴについて論理１を生成することができる。比較器９０６はまた、ＣＯＭＰ＿ＩＮ電圧がＶＲＥＦを下回る場合、ＶＯＵＴについて論理０を生成することができる。ＶＯＵＴは、カウンタ９１４からのカウント値を記憶するようにメモリ９１２を制御するラッチ信号を制御することができる。

図１１Ａは、ＡＤＣ６１６による飽和までの時間測定の一例を示す。飽和までの時間測定を実施するために、（ピクセルセル６０２ａの外部にあり得る）しきい値生成器が、固定ＶＲＥＦを生成することができる。固定ＶＲＥＦは、電荷貯蔵デバイス９０２の飽和についての電荷量しきい値（たとえば、図１０のしきい値１００４）に対応する電圧に設定され得る。カウンタ９１４は、露光期間が開始した直後に（たとえば、シャッタースイッチＭ０が無効化された直後に）カウントすることを開始することができる。ＣＯＭＰ＿ＩＮ電圧が電荷貯蔵デバイス９０２におけるオーバーフロー電荷の蓄積によりランプダウンする（または実装形態に応じてランプアップする）とき、クロック信号は、カウンタ９１４におけるカウント値を更新するようにトグルし続ける。ＣＯＭＰ＿ＩＮ電圧は、ある時点において固定ＶＲＥＦしきい値に達し得、これは、ＶＯＵＴが低から高に反転することを引き起こす。ＶＯＵＴの変化はカウンタ９１４のカウンティングを停止し得、カウンタ９１４におけるカウント値は飽和までの時間を表し得る。

図１１Ｂは、電荷貯蔵デバイス９０２において貯蔵された電荷の量の測定の一例を示す。測定が開始した後に、しきい値生成器は、（図１１Ｂの例において）ランプアップするかまたは実装形態に応じてランプダウンすることができるランピングＶＲＥＦを生成することができる。ランピングのレートは、カウンタ９１４に供給されるクロック信号の周波数に基づき得る。オーバーフロー電荷が測定される場合、ランピングＶＲＥＦの電圧範囲は、しきい値１００４（電荷貯蔵デバイス９０２の飽和についての電荷量しきい値）としきい値１００２（フォトダイオードＰＤの飽和についての電荷量しきい値）との間にあり得、これは、中光強度範囲を定義することができる。残留電荷が測定される場合、ランピングＶＲＥＦの電圧範囲は、しきい値１００２に基づき、残留電荷測定のために電荷貯蔵デバイス９０２の低減された容量だけスケーリングされ得る。図１１Ｂの例では、量子化プロセスは、ＶＲＥＦが各クロックサイクルについて同じ量だけ増加（または減少）する、一様量子化ステップで実施され得る。ＶＲＥＦの増加（または減少）の量は量子化ステップに対応する。ＶＲＥＦがＣＯＭＰ＿ＩＮ電圧の１つの量子化ステップ内に達したとき、比較器９０６のＶＯＵＴが反転し、これは、カウンタ９１４のカウンティングを停止することができ、カウント値は、１つの量子化ステップ内でＣＯＭＰ＿ＩＮ電圧に一致するように蓄積された量子化ステップの総数に対応することができる。カウント値は、電荷貯蔵デバイス９０２において貯蔵された電荷の量のデジタル表現、ならびに入射光強度のデジタル表現になり得る。

上記で説明されたように、ＡＤＣ６１６は、（たとえば、量子化ステップの総数によって表される）ＡＤＣ６１６によって出力された量レベルによって表される電荷の量と、ＡＤＣ８０８による量レベルにマッピングされる電荷の実際の入力量との間に不一致があるとき、量子化誤差を導入することがある。量子化誤差は、より小さい量子化ステップサイズを使用することによって低減され得る。図１１Ｂの例では、量子化誤差は、クロックサイクルごとにＶＲＥＦの増加（または減少）の量だけ低減され得る。

量子化誤差は、より小さい量子化ステップサイズを使用することによって低減され得るが、エリアおよび実施速度は、量子化ステップがどの程度低減され得るかを限定し得る。より小さい量子化ステップサイズの場合、電荷量（および光強度）の特定の範囲を表すために必要とされる量子化ステップの総数は、増加し得る。増加された数の量子化ステップを表すためにより多数のデータビット（たとえば、２５５個のステップを表すために８ビット、１２７個のステップを表すために７ビットなど）が必要とされ得る。より多数のデータビットは、追加のバスがピクセル出力バス８１６に追加されることを必要とし得、これは、ピクセルセル６０１が、ヘッドマウントデバイスまたはごく限られたスペースをもつ他のウェアラブルデバイス上で使用される場合、実現可能でないことがある。その上、より多数の量子化ステップサイズの場合、ＡＤＣ８０８は、（１つの量子化ステップと）一致する量レベルを見つける前により多数の量子化ステップを循環する必要があり得、これは、処理電力消費量および時間の増加、ならびに画像データを生成するレートの低減につながる。レートの低減は、高いフレームレートを必要とするいくつかのアプリケーション（たとえば、眼球の移動を追跡するアプリケーション）にとって許容できないことがある。

量子化誤差を低減するための１つのやり方は、量子化ステップが入力範囲にわたって一様でない非一様量子化方式を採用することによるものである。図１１Ｃは、非一様量子化プロセスおよび一様量子化プロセスについてのＡＤＣコード（量子化プロセスの出力）と入力電荷量レベルとの間のマッピングの一例を示す。点線は、非一様量子化プロセスについてのマッピングを示し、実線は、一様量子化プロセスについてのマッピングを示す。一様量子化プロセスでは、（Δ_１によって示される）量子化ステップサイズは、入力電荷量の範囲全体について同等である。対照的に、非一様量子化プロセスでは、量子化ステップサイズは、入力電荷量に応じて異なる。たとえば、（Δ_Ｓによって示される）低入力電荷量についての量子化ステップサイズは、（Δ_Ｌによって示される）大きい入力電荷量についての量子化ステップサイズよりも小さい。その上、同じ低入力電荷量について、非一様量子化プロセスについての量子化ステップサイズ（Δ_Ｓ）は、一様量子化プロセスについての量子化ステップサイズ（Δ_１）よりも小さくされ得る。

非一様量子化方式を採用することの１つの利点は、低入力電荷量を量子化するための量子化ステップが低減され得、これが、低入力電荷量を量子化する際の量子化誤差を低減し、ＡＤＣ６１６によって弁別され得る最小入力電荷量が低減され得ることである。したがって、低減された量子化誤差は、画像センサーの測定可能な光強度の下限を押し下げることができ、ダイナミックレンジが増加され得る。その上、量子化誤差は高入力電荷量について増加されるが、量子化誤差は、高入力電荷量と比較して小さいままであり得る。したがって、電荷の測定に導入される全体的な量子化誤差は低減され得る。一方、入力電荷量の範囲全体をカバーする量子化ステップの総数は、同じ（さらには低減された）ままであり得、量子化ステップの数を増加させることに関連する上述の潜在的問題（たとえば、エリアの増加、処理速度の低減など）は、回避され得る。

図１１Ｄは、非一様量子化プロセスを使用してピクセルＡＤＣ８０８によってアナログ電圧を量子化することの一例を示す。（一様量子化プロセスを採用する）図１１Ｂと比較して、ＶＲＥＦは、最初により緩やかな傾きで、および後でより急な傾きで、各クロックサイクルに関して非線形様式で増加する。傾きの差は、不均一な量子化ステップサイズに起因する。（より低い入力量範囲に対応する）より低いカウンタカウント値では、量子化ステップはより小さくされ、したがって、ＶＲＥＦは、より遅いレートで増加する。（より高い入力量範囲に対応する）より高いカウンタカウント値では、量子化ステップはより大きくされ、したがって、ＶＲＥＦは、より高いレートで増加する。非一様なＶＲＥＦの傾きは、たとえば、カウンタ８１４のカウンティングの頻度を変更すること、ＶＲＥＦ電圧とカウンタ９１４のカウント値との間の関係を変更することなどに基づいて生成され得る。いくつかの例では、図１１Ｄの非一様量子化プロセスは、低光強度範囲１００６および中光強度範囲１００８についての光強度決定のために採用され得る。

次に図１２を参照すると、図１２は、入射光強度の測定のためのピクセルセル１１００の制御信号の例示的なシーケンスを示す。図１２に示されているように、時間Ｔ０と時間Ｔ１との間に、図１２の場合のように第１のリセット段階があり、第１のリセット段階では、電荷貯蔵デバイス６０８と比較器９０６の両方が、ＲＳＴ信号とＣＯＭＰ＿ＲＳＴ信号とをアサートすることによって、コントローラ１１１０によってリセット状態に入れられ得る。その上、ＬＧ信号がアサートされ、これは、Ｃ_ＦＤキャパシタとＣ_ＥＸＴキャパシタとがＲＳＴ信号によってリセットされることを可能にし、ＰＩＸＥＬ＿ＯＵＴ信号がリセットレベルで設定される。ＣＯＭＰ＿ＲＳＴ信号がアサートされ、比較器９０６の正端子がＶ_{ｒｅｆ＿ｈｉｇｈ}に接続される場合、ＣＯＭＰ＿ＩＮは、Ｖ_{ｒｅｆ＿ｈｉｇｈ}と比較器オフセットＶ_{ｃｏｍｐ＿ｏｆｆｓｅｔ}との和に設定され得る。その上、ＲＳＴ信号がアサートされる場合、ＰＩＸＥＬ＿ＯＵＴはリセット電圧Ｖ_{ｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔ}に設定され得、リセット雑音Ｖσ_ＫＴＣを含むことができる。第１のサンプリング動作が、以下のように、比較器オフセットと、リセット雑音と、リセットレベルでのＰＩＸＥＬ＿ＯＵＴ電圧との成分を含むＶ_ＣＣ電圧を貯蔵するためにＣＣキャップ（ＣＣ ｃａｐ）によって実施され得る。

Ｖ_ＣＣ（Ｔ１）＝（Ｖ_{ｒｅｆ＿ｈｉｇｈ}＋Ｖ_{ｃｏｍｐ＿ｏｆｆｓｅｔ}）−（Ｖ_{ｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔ}＋Ｖσ_ＫＴＣ） （式１）

その上、シャッター信号ＡＢが、フォトダイオードＰＤによって生成された電荷が電荷貯蔵デバイス６０８に達するのを防ぐためにアサートされ得る。

時間Ｔ１において、ＡＢ信号とＣＯＭＰ＿ＲＳＴ信号とＲＳＴ信号とが解放され、これは、フォトダイオードＰＤが電荷を蓄積および転送することができる（Ｔ_{ｅｘｐｏｓｕｒｅ}とラベリングされた）露光期間を開始する。ＴＧ信号は、ＰＤがオーバーフロー電荷を電荷貯蔵デバイス６０８に転送することを可能にするために、転送スイッチＭ１を、部分的にオンにされた状態に設定することができる。ＬＧ信号は、低利得モードで動作するためにアサートされたままであり得、ここで、Ｃ_ＦＤキャパシタとＣ_ＥＸＴキャパシタの両方が、オーバーフロー電荷を貯蔵するように電荷貯蔵デバイス６０８を形成するために並列に接続される。オーバーフロー電荷は新しいＰＩＸＥＬ＿ＯＵＴ電圧Ｖ_{ｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１}を生じさせる。ＣＣキャパシタは、ＣＯＭＰ＿ＩＮ電圧になるようにＰＩＸＥＬ＿ＯＵＴ電圧をＡＣ結合することができる。時間Ｔ１と時間Ｔ２との間のＣＯＭＰ＿ＩＮ電圧は、上記の式１に基づいて設定され得る。

時間Ｔ１と時間Ｔ２との間に、比較器９０６がＣＯＭＰ＿ＩＮ電圧を静的Ｖ_{ｒｅｆ＿ｌｏｗ}と比較してＶＯＵＴを生成することによって、飽和までの時間（ＴＴＳ）測定が実施され得る。時間Ｔ２において、コントローラ１１１０が比較器９０６のＶＯＵＴの状態を決定するとき。ＶＯＵＴの状態は出力論理回路９０８に提供され得、出力論理回路９０８は、ＣＯＭＰ＿ＩＮ電圧がＶ_{ｒｅｆ＿ｌｏｗ}に達したことをＶＯＵＴが指示し、これが、電荷貯蔵デバイス９０２が飽和されたことを指示する場合、カウンタ９１４からのカウント値を記憶するようにメモリ９１２を制御するためのラッチ信号を生成することができる。出力論理回路９０８はまた、後続のＰＤ ＡＤＣ動作およびＦＤ ＡＤＣ動作がメモリ９１２中のＴＴＳ出力を上書きするのを防ぐために、電荷貯蔵デバイス９０２が飽和されたことを、出力論理回路９０８の内部状態において記憶することができる。一方、電荷貯蔵デバイス９０２が飽和されない場合、カウント値は時間Ｔ２においてメモリ９１２に記憶されず、後続のＰＤ ＡＤＣ動作またはＦＤ ＡＤＣ動作からのカウント値がメモリ９１２に記憶され得る。

ＴＴＳ測定に続いて、時間Ｔ２と時間Ｔ５との間に、フォトダイオードＰＤに貯蔵された残留電荷を測定するためにＰＤ ＡＤＣ動作が実施され得る。ＬＧ信号は、上記で説明されたように、電荷−電圧変換比を増加させるためにＣ_ＥＸＴをＣ_ＦＤから切断するためにアサート解除される。（もしあれば）オーバーフロー電荷は、Ｃ_ＦＤがオーバーフロー電荷の第１の部分を貯蔵し、Ｃ_ＥＸＴがオーバーフロー電荷の第２の部分を貯蔵するように、Ｃ_ＦＤとＣ_ＥＸＴとの間のキャパシタンスの比に基づいてＣ_ＦＤとＣ_ＥＸＴとの間で分割される。Ｖ_{ｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１}は、Ｃ_ＦＤに貯蔵されたオーバーフロー電荷の第１の部分に対応することができる。

ＰＤ ＡＤＣ動作のために準備するために、時間Ｔ２と時間Ｔ３との間に、ＣＯＭＰ＿ＲＳＴ信号は、比較器９０６をリセットするために再びアサートされる。比較器９０６をリセットすることは、以下のように、Ｖ_{ｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１}とリセット状態における比較器９０６の出力との間の差に基づいて、ＣＣキャパシタの両端間の新しいＶ_ＣＣ電圧を設定することができる。

Ｖ_ＣＣ（Ｔ２）＝（Ｖ_{ｒｅｆ＿ｈｉｇｈ}＋Ｖ_{ｃｏｍｐ＿ｏｆｆｓｅｔ}）−（Ｖ_{ｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１}（Ｔ３）＋Ｖσ_ＫＴＣ） （式２）

随意に、ＲＳＴ信号は、残留電荷の転送より前に、Ｃ_ＦＤをリセットし、オーバーフロー電荷の第１の部分を除去するために、時間Ｔ２と時間Ｔ３との間にアサートされ得る。これは、後続のＰＤ ＡＤＣ動作が、残留電荷とオーバーフロー電荷の第１の部分との混合物ではなく残留電荷のみを量子化することを可能にする。そのような仕組みは、場合によっては追加の誤差を導入し得る、ＰＤ ＡＤＣ動作出力から（後続のＦＤ ＡＤＣ動作の結果に基づく）オーバーフロー電荷成分を除去する必要がないので、低光強度の測定の正確さを改善することができる。一方、時間Ｔ２と時間Ｔ３との間にＲＳＴ信号をアサートしないことは、そのような仕組みが、ＰＤ ＡＤＣ動作とＦＤ ＡＤＣ動作とが残留電荷とオーバーフロー電荷との混合物を測定するとき、両方の動作において冗長性を導入し、信号対雑音比を増加させ得るので、有利であり得る。

時間Ｔ３と時間Ｔ４との間に、ＣＯＭＰ＿ＲＳＴ信号が解放され、したがって、比較器９０６がリセット状態を出る。その上、ＴＧ信号は、残留電荷をＣ_ＦＤに転送するために、転送スイッチＭ１を、完全にオンにされた状態に設定することができる。残留電荷はＣ_ＦＤに転送され得、これは、ＰＩＸＥＬ＿ＯＵＴ電圧をＶ_{ｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ２}に変更する。新しいＰＩＸＥＬ＿ＯＵＴ電圧は、以下のように、時間Ｔ４において新しいＣＯＭＰ＿ＩＮ電圧にＡＣ結合され得る。

Ｖ_{ｃｏｍｐ＿ｉｎ}（Ｔ４）＝Ｖ_{ｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ２}−Ｖ_{ｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１}＋Ｖ_{ｒｅｆ＿ｈｉｇｈ}＋Ｖ_{ｃｏｍｐ＿ｏｆｆｓｅｔ} （式３）

式３では、Ｖ_{ｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ２}−Ｖ_{ｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１}の差は、時間Ｔ３と時間Ｔ４との間にフォトダイオードによって電荷貯蔵デバイス６０８に転送された残留電荷の量を表す。

ＴＧが時間Ｔ３と時間Ｔ４との間に完全にオンにされた後に、ＴＧは、フォトダイオードＰＤをＣ_ＦＤおよびＣ_ＥＸＴから切断するためにアサート解除される。その結果、次の露光期間の開始まで、時間Ｔ４の後に、Ｃ_ＦＤおよびＣ_ＥＸＴに追加の電荷が転送されない。

時間Ｔ４と時間Ｔ５との間に、コントローラ１１１０は、ＣＯＭＰ＿ＩＮ電圧を、Ｖ_{ｒｅｆ＿ｈｉｇｈ}から開始してＶ_{ｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎ}に至るＶＲＥＦランプと比較することによって、ＰＤ ＡＤＣ動作を実施することができる。ＰＤ ＡＤＣ段階では、Ｖ_{ｒｅｆ＿ｈｉｇｈ}は、フォトダイオードＰＤに貯蔵された残留電荷の最小の検出可能な量を表すことができ、Ｖ_{ｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎ}は、上記で説明されたように、暗電流を考慮するためのマージンをもつフォトダイオードＰＤの飽和しきい値を表すことができる。

時間Ｔ５において、コントローラ１１１０は、ＣＯＭＰ＿ＩＮ電圧がＶ_{ｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎ}を下回るかどうかを検査することができ、これは、フォトダイオードＰＤが飽和したかどうかを指示することができる。ＣＯＭＰ＿ＩＮ電圧がＶ_{ｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎ}を上回る（これは、フォトダイオードＰＤが飽和したことを指示する）場合、およびＴＴＳ出力が（出力論理回路９０８の内部状態に基づいて）メモリに記憶されない場合、出力論理回路９０８は、カウンタ９１４からのカウント値を記憶するようにメモリ９１２を制御するためのラッチ信号を生成することができる。出力論理回路９０８はまた、その内部状態の一部として、フォトダイオードＰＤが飽和したという指示を記憶することができ、したがって、後続のＦＤ ＡＤＣ動作が、メモリに記憶されたＰＤ ＡＤＣ出力（またはＴＴＳ出力）を上書きすることが可能でなくなる。ＣＯＭＰ＿ＩＮ電圧がＶ_{ｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎ}を下回る場合、カウント値は時間Ｔ５においてメモリ９１２に記憶されず、後続のＦＤ ＡＤＣ動作からのカウント値がメモリ９１２に記憶され得る。

時間Ｔ５と時間Ｔ８との間に、露光期間Ｔ_{ｅｘｐｏｓｕｒｅ}内にフォトダイオードＰＤによって転送されたオーバーフロー電荷を測定するために、ＦＤ ＡＤＣ動作が行われ得る。フォトダイオードＰＤがＣ_ＦＤおよびＣ_ＥＸＴから切断されたままであるので、Ｃ_ＦＤおよびＣ_ＥＸＴに追加の電荷が転送されず、Ｃ_ＦＤおよびＣ_ＥＸＴに貯蔵された総電荷は、大部分が、時間Ｔ３と時間Ｔ４との間にフォトダイオードによって生成された追加の電荷とともに、露光期間Ｔ_{ｅｘｐｏｓｕｒｅ}において生成される。そのような仕組みにより、ピクセルのＧＳＥ。

時間Ｔ５において、ＬＧ信号は、Ｃ_ＦＤをＣ_ＥＸＴと接続するためにアサートされ、これは、Ｃ_ＥＸＴに貯蔵されたオーバーフロー電荷の第２の部分（および、ＲＳＴが時間Ｔ２と時間Ｔ３との間にアサートされなかった場合はオーバーフロー電荷の第１の部分）が、Ｃ_ＦＤに貯蔵された残留電荷と組み合わさることを可能にし、新しいＰＩＸＥＬ＿ＯＵＴ電圧Ｖ_{ｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ３}が、Ｃ_ＦＤとＣ_ＥＸＴとの並列の組合せにおいて生じることができ、量子化されることになる。

時間Ｔ５と時間Ｔ７との間に、ＦＤ ＡＤＣ動作に対するリセット雑音および比較器オフセットの効果を緩和するために、雑音サンプリング動作が実施され得る。時間Ｔ５と時間Ｔ６との間に、比較器９０６は、第１のサンプリング動作の一部としてリセットされ得る。比較器９０６の正端子は、ＶＲＥＦの下端Ｖ_{ｒｅｆ＿ｌｏｗ}に接続される。Ｖ_ＣＣ電圧は、上記で説明されたようにリセット雑音および比較器オフセットの成分を含むことができる。Ｖ_ＣＣ電圧は、以下の通りであり得る。

Ｖ_ＣＣ（Ｔ５）＝（Ｖ_{ｒｅｆ＿ｌｏｗ}＋Ｖ_{ｃｏｍｐ＿ｏｆｆｓｅｔ}）−（Ｖ_{ｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ３}＋Ｖσ_ＫＴＣ１） （式４）

時間Ｔ６と時間Ｔ７との間に、第２のサンプリング動作の一部として、Ｃ_ＦＤとＣ_ＥＸＴの両方がリセットされ得、比較器９０６がリセット状態を出る。リセットしたことの結果として、ＰＩＸＥＬ＿ＯＵＴがリセット電圧Ｖ_{ｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔ}にリセットされ得る。その上、第２のリセット雑音電荷も、電荷貯蔵デバイス６０８に導入され、これは、Ｖσ_ＫＴＣ２によって表され得る。第２のリセット雑音電荷は、一般的に、第１のリセット雑音電荷を追跡する。時間Ｔ６において、第２のサンプリング動作の結果として、Ｖ_{ｐｉｘｅｌ＿ｏｕｔ}は以下の通りであり得る。

Ｖ_{ｐｉｘｅｌ＿ｏｕｔ}（Ｔ６）＝Ｖ_{ｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔ}＋Ｖσ_ＫＴＣ２ （式５）

時間Ｔ７において、ＣＯＭＰ＿ＲＳＴが解放され、比較器９０６がリセット状態を出る。ＡＣ結合を介して、ＣＯＭＰ＿ＩＮ電圧は、以下のようにＶ_ＣＣ（Ｔ５）に加えてＶ_{ｐｉｘｅｌ＿ｏｕｔ}（Ｔ６）を追跡することができる。

Ｖ_{ｃｏｍｐ＿ｉｎ}（Ｔ７）＝（Ｖ_{ｒｅｆ＿ｌｏｗ}＋Ｖ_{ｃｏｍｐ＿ｏｆｆｓｅｔ}）＋（Ｖ_{ｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔ}−Ｖ_{ｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ３}）＋（Ｖσ_ＫＴＣ２−Ｖσ_ＫＴＣ１） （式６）

第２のサンプリング動作に続いて、ＣＯＭＰ＿ＩＮ電圧は、時間Ｔ７と時間Ｔ８との間にＶＲＥＦランプと比較することによって量子化され得る。ＶＲＥＦランプは、Ｃ_ＥＸＴとＣ_ＦＤとを含む電荷貯蔵デバイス６０８において検出可能なオーバーフロー電荷の最小量を表すことができるＶ_{ｒｅｆ＿ｌｏｗ}と、電荷貯蔵デバイス６０８が飽和したときのオーバーフロー電荷の量を表すことができるＶ_{ｒｅｆ＿ｈｉｇｈ}とから開始することができる。露光期間において受け取られた光の強度を表すために、ＶＯＵＴがトリップしたときのカウンタ９１４からのカウント値がメモリ９１２に記憶され得る。時間Ｔ８の後に、メモリ９１２に記憶されたデジタル値は、時間Ｔ９において、露光期間Ｔ_{ｅｘｐｏｓｕｒｅ}内にフォトダイオードＰＤによって受け取られた光の強度を表すために読み出され得る。単一のフレーム期間において１つの画像フレームが生成される場合、フレーム期間は、時間Ｔ０から時間Ｔ８に及ぶことがある。

制御信号のシーケンス、ならびにそれらのタイミングは、コントローラ９２０によって、ならびに露光停止信号９２２および選択信号９２４によって制御される。詳細には、コントローラ９２０は、制御信号（たとえば、ＡＢ信号、ＲＳＴ信号、ＣＯＭＰ＿ＲＳＴ信号、ＴＧ信号、およびＬＧ信号）をアサートおよびアサート解除し、事前構成されたタイミングシーケンスに基づいてＶＲＥＦ信号を制御することができ、これは、露光停止信号９２２および／または選択信号９２４によって上書きされ得る。露光停止信号９２２は、事前構成されたタイミングシーケンスの時間Ｔ２よりも早い時間において開始するために、ＰＤ ＡＤＣ動作をトリガすることができ、ＰＤ ＡＤＣ動作は、ＲＳＴ信号およびＣＯＭＰ＿ＲＳＴ信号のアサーションと、ＬＧ信号のアサーション解除と、その後に続く、残留電荷を転送するためのＴＧ信号のアサーションと、次いで、露光期間を停止するためのＡＢ信号のアサーションとを含む。露光停止信号９２２は、事前構成されたタイミングシーケンスの時間Ｔ４よりも早く露光期間を停止させることができる。そのような仕組みは、電荷貯蔵デバイス９０２がオーバーフロー電荷によって飽和される可能性を低減することができる。その上、選択信号９２４は、ＴＴＳ動作、ＰＤ ＡＤＣ動作、およびＦＤ ＡＤＣ動作のうちの１つまたは複数をスキップするようにコントローラ９２０を構成することができる。以下で詳細に説明されるように、複数のフォトダイオードを備えるピクセルセルでは、選択信号９２４は、フレーム期間を低減するためにピクセルセルのすべてのフォトダイオードの量子化動作の総時間を低減するために複数のフォトダイオードのうちのいくつかについてＴＴＳ動作をスキップするようにコントローラ９２０を構成するために提供され得、露光停止信号９２２は、ＴＴＳ動作が実施されないフォトダイオードの露光期間を、それらのフォトダイオードがそれらのそれぞれの電荷貯蔵デバイス９０２を飽和させるのを防ぐために動的に低減するために提供され得、したがって、それらのフォトダイオードによって検出された光成分の強度は、ＰＤ ＡＤＣ動作および／またはＦＤ ＡＤＣ動作によって妥当な忠実度で測定され得る。

式３および式６に示されているように、Ｖ_{ｃｏｍｐ＿ｉｎ}がＶ_{ｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ２}−Ｖ_{ｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ１}を表すＰＤ ＡＤＣ動作における比較の極性は、Ｖ_{ｃｏｍｐ＿ｉｎ}がＶ_{ｐｉｘｅｌ＿ｏｕｔ＿ｒｓｔ}−Ｖ_{ｐｉｘｅｌ＿ｏｕｔ＿ｓｉｇ３}を表すＦＤ ＡＤＣ動作における比較の極性と反対である。ＰＤ ＡＤＣでは、図９Ａの比較器９０６のＶＯＵＴは、ＣＯＭＰ＿ＩＮ電圧がＶ_{ｒｅｆ＿ｌｏｗ＿ｍａｒｇｉｎ}よりも高いとき、論理０になり、これは、フォトダイオードＰＤが飽和しないことを指示する。しかし、残留電荷の測定値を表す、ＶＯＵＴがトリップしたときのデジタル値をメモリ９１２に記憶するために、メモリ９１２は、比較器９０６から正のＶＯＵＴを受け取る必要がある。対照的に、ＦＤ ＡＤＣでは、図９Ａの比較器９０６のＶＯＵＴは、ＣＯＭＰ＿ＩＮ電圧がＶ_{ｒｅｆ＿ｌｏｗ}よりも高いとき、論理１になり、これは、オーバーフロー電荷が最小の検出可能なレベルを超えることを指示する。ＦＤ ＡＤＣ動作とＴＴＳ動作との比較の極性も同等である。

再び図９Ａを参照すると、出力論理回路９０８は、ＰＤ ＡＤＣ動作、ＦＤ ＡＤＣ動作、およびＴＴＳ動作の間の比較の異なる極性を考慮し、メモリへのカウント値の記憶を制御するために内部状態を維持する回路を含む。図９Ｂは、出力論理回路９０８の内部構成要素の一例を含む。図９Ｂに示されているように、出力論理回路９０８は、インバータチェーン９４２と、マルチプレクサデバイス９４６と、フラグレジスタ９４８および９５０と、ＮＯＲゲート９５２とを含む。フラグレジスタ９４８および９５０は、それぞれ、ＦＬＡＧ＿１状態ビットおよびＦＬＡＧ＿２状態ビットを記憶することができる。ＦＬＡＧ＿２状態は、ＴＴＳ動作の終了時のＶＯＵＴの状態を指示することができ、ＦＬＡＧ＿１状態は、ＰＤ ＡＤＣ動作の終了時のＶＯＵＴの状態を指示することができる。ＦＬＡＧ＿２がＴＴＳ動作の後にアサートされ、これが、ＴＴＳ動作がメモリ９１２にカウント値を記憶したことを指示する場合、ＮＯＲゲート９５２は、メモリ９１２が後続のＰＤ ＡＤＣ動作によって上書きされるのをロックするために、ラッチ信号を低に保つことができる。その上、ＦＬＡＧ＿１がＰＤ ＡＤＣ動作の後にアサートされる場合、ＦＤ ＡＤＣは、メモリ９１２にカウント値を記憶するのを防がれ得る。インバータチェーン９４２とマルチプレクサデバイス９４６とは、ＰＤ ＡＤＣ動作、ＦＤ ＡＤＣ動作、およびＴＴＳ動作の間の比較の異なる極性を考慮するように、レジスタ９４８および９５０ならびにＮＯＲゲート９５２へのＬＧ信号に基づいてＶＯＵＴ状態の出力を制御することができる。詳細には、再び図１２を参照すると、ＴＴＳ動作およびＦＤ ＡＤＣ動作では、ＬＧ信号は、Ｃ_ＥＸＴをＣ_ＦＤと組み合わせるためにアサートされる。マルチプレクサデバイス９４６は、（ＦＬＡＧ＿２ビットのための）レジスタ９５０およびＮＯＲゲート９５２に出力すべき非反転ＶＯＵＴを選択するように、アサートされたＬＧ信号によって制御され得る。ＰＤ ＡＤＣ動作では、ＬＧ信号は、電荷−電圧変換比を増加させるために、Ｃ_ＥＸＴをＣ_ＦＤから切断するためにアサート解除される。マルチプレクサデバイス９４６は、（ＦＬＡＧ＿１ビットのための）レジスタ９４８およびＮＯＲゲート９５２に出力すべき反転ＶＯＵＴ（図９Ｂ中のＶＯＵＴｂ）を選択するように、アサート解除されたＬＧ信号によって制御され得る。

再び図８Ａおよび図８Ｂを参照すると、いくつかの例では、複数のフォトダイオードを有するピクセルセルが、フォトダイオードの各々について図１２で説明されるように多段量子化動作（ＴＴＳ、ＦＤ ＡＤＣ、およびＰＤ ＡＤＣ）を実施するために、フォトダイオードの各々について図９Ａの電荷検知ユニット６１４とＡＤＣ６１６とを含み得る。しかしながら、そのような仕組みは、ピクセルセルのフットプリントおよび電力消費を大幅に増加させ得る。詳細には、ＡＤＣ６１６の比較器９０６は、アナログ差動増幅器と、他のサポート回路要素（たとえば、バイアス回路、出力バッファなど）とを含み得、それらは、ピクセルセルの構成要素の中で最も大きい空間を占有し、最も多くの電力を消費し得る。複数のＡＤＣ６１６（および複数の比較器９０６）がピクセルセル中に含まれる場合、ピクセルセル、ならびにピクセルセルアレイのサイズおよび電力消費は、法外に大きくなり得る。

ピクセルセルのフットプリントおよび電力消費を低減するために、ピクセルセルのフォトダイオードの間で単一のＡＤＣ６１６が共有され得る。各フォトダイオードの電荷検知ユニット６１４は、量子化動作を実施し、メモリ９１２において出力を記憶するために、単一のＡＤＣ６１６と接続されることを交替で行うことができる。図１３Ａ〜図１３Ｃは、ピクセルセルの複数のフォトダイオードの間で共有される単一のＡＤＣ６１６を含むマルチフォトダイオードピクセルセルの一例を示す。図１３Ａに示されているように、ピクセルセル６０２ａは、単色チャネル（Ｍ）フォトダイオードと、単色＋近赤外線チャネル（Ｍ＋ＮＩＲ）フォトダイオードと、緑チャネル（Ｇ）フォトダイオードと、近赤外線チャネル（ＮＩＲ）フォトダイオードとの間で共有される単一のＡＤＣ６１６ａを含むことができる。その上、他のピクセルセル６０２ｂ、６０２ｃ、および６０２ｄの各々も、それぞれ、単一のＡＤＣ６１６ｂ、６１６ｃ、および６１６ｄを含む。

図１３Ｂは、複数のフォトダイオードを含むピクセルセル６０２ａの一例を示す。図１３Ｂに示されているように、ピクセルセル６０２ａは、ＰＤ０、ＰＤ１などを含む複数のフォトダイオード、ならびに、電荷検知ユニット６１４ａ、６１４ｂなどを含む複数の電荷検知ユニット６１４を含む。電荷検知ユニット６１４ａは、電荷貯蔵デバイス９０２ａと切替え可能バッファ９０４ａとを含み、フォトダイオードＰＤ０から転送された残留電荷およびオーバーフロー電荷を電圧に変換するように構成される。電荷検知ユニット６１４ｂは、電荷貯蔵デバイス９０２ｂと切替え可能バッファ９０４ｂとを含み、フォトダイオードＰＤ１から転送された残留電荷およびオーバーフロー電荷を電圧に変換するように構成される。各フォトダイオードは、それぞれのシャッタースイッチおよびそれぞれの転送スイッチと結合される。たとえば、フォトダイオードＰＤ０は、シャッタースイッチＭ０ａおよび転送スイッチＭ１ａと結合され、フォトダイオードＰＤ１は、シャッタースイッチＭ０ｂおよび転送スイッチＭ１ｂと結合される。コントローラ９２０は、各フォトダイオードが、残留電荷を生成／蓄積することと、オーバーフロー電荷をそれぞれの電荷検知ユニット６１４に転送することとを個々に可能にするように、（シャッタースイッチＭ０ａおよびＭ０ｂについての）制御信号ＡＢ０およびＡＢ１、（転送スイッチＭ１ａおよびＭ１ｂについての）制御信号ＴＧ０およびＴＧ１、ならびに制御信号ＲＳＴ０、ＬＧ０、ＲＳＴ１、およびＬＧ１のタイミングを制御することができる。さらに、コントローラ９２０は、選択信号９２４によって選択された量子化動作を実施するためにＡＤＣ６１６へのアクセスを各電荷検知ユニット６１４ａおよび６１４ｂに提供するように、制御信号ＳＥＬ０およびＳＥＬ１のタイミングを制御することもできる。

１つの例示的な構成では、選択信号９２４は、ＴＴＳ動作、ならびにＰＤ ＡＤＣ動作またはＦＤ ＡＤＣ動作のうちの少なくとも１つを実施するためにフォトダイオードのうちの１つ（たとえば、ＰＤ０）を選択し、ＰＤ ＡＤＣ動作またはＦＤ ＡＤＣ動作のうちの少なくとも１つを実施するためにフォトダイオードの残りを選択することができる。

図１３Ｃは、図１３Ｂのピクセルセル６０２ａの制御信号のうちのいくつかの例示的なシーケンス１３００を示す。例示的なシーケンスは、図１２で説明されたシーケンスに基づき、コントローラ９２０によって提供され得る。時間Ｔ０において、各フォトダイオードについてのＡＢ信号（ＡＢ０、ＡＢ１、ＡＢｎなど）が、各フォトダイオードについての露光期間を開始するためにアサート解除される。各フォトダイオードについてのＴＸ信号（ＴＸ０、ＴＸ１、ＴＸｎなど）が、（もしあれば）オーバーフロー電荷がそれぞれの電荷検知ユニットに流れることを可能にするようにバイアスされ、各フォトダイオードについてのＬＧ信号（ＬＧ０、ＬＧ１、ＬＧｎなど）が、オーバーフロー電荷を検知するためにＣ_ＥＸＴとＣ_ＦＤとを一緒に接続するためにアサートされる。時間Ｔ１において、ＳＥＬ０は、ＰＤ０によって生成された電荷を量子化するためにフォトダイオードＰＤ０の電荷検知ユニット６１４ａをＡＤＣ６１６に接続するためにアサートされる。

時間Ｔ１と時間Ｔ２との間に、選択信号９２４に基づいて、ＡＤＣ６１６は、フォトダイオードＰＤ０からのオーバーフロー電荷が電荷貯蔵デバイス９０２ａを飽和させたかどうかと、オーバーフロー電荷が電荷貯蔵デバイス９０２ａを飽和させるのにかかった時間（飽和時間）とを決定するために、ＴＴＳ動作を実施することができる。一方、ピクセルセル６０２ａの他の電荷貯蔵デバイス９０２（たとえば、９０２ｂ）は、時間Ｔ０と時間Ｔ２との間にそれぞれのフォトダイオードＰＤによって生成された電荷を蓄積し続けることができる。他の電荷貯蔵デバイスは、電荷貯蔵デバイス９０２ａが飽和したときに他の電荷貯蔵デバイスが不飽和のままであるように、電荷貯蔵デバイス９０２ａよりも大きい、Ｃ_ＥＸＴとＣ_ＦＤとの組み合わせられた容量を有することができる。

時間Ｔ２において、ＴＴＳ動作が完了した後に、各フォトダイオードについてのＬＧ信号（ＬＧ０、ＬＧ１、ＬＧｎなど）が、後続のＰＤ ＡＤＣ動作のために準備するために、Ｃ_ＥＸＴをＣ_ＦＤから切断するためにアサートされる。図１２で説明されたように、Ｃ_ＥＸＴは、後続のＦＤ ＡＤＣ動作のために（もしあれば）オーバーフロー電荷の一部分をＣ_ＥＸＴ中に保存するためにＣ_ＦＤから切断され得、Ｃ_ＦＤは、Ｃ_ＦＤがそれぞれのフォトダイオードから転送されるべき残留電荷のみを貯蔵するように、随意にリセットされ得る。時間Ｔ３において、各フォトダイオードについてのＴＧ信号（ＴＧ０、ＴＧ１、ＴＧｎなど）が、残留電荷をフォトダイオードからそれぞれの電荷貯蔵デバイス９０２のＣ_ＦＤに転送するためにアサートされる。時間Ｔ４において、各フォトダイオードについてのＡＢ信号（ＡＢ０、ＡＢ１、ＡＢｎなど）が、ピクセルセル中の各フォトダイオードの露光期間を停止するためにアサートされる。図１３Ｃ中の露光期間の持続時間は、Ｔ_{ｅｘｐｏｓｕｒｅ−ｇｌｏｂａｌ}であり、これは時間Ｔ０から時間Ｔ４の間に及ぶ。Ｔ_{ｅｘｐｏｓｕｒｅ−ｇｌｏｂａｌ}は、（たとえば、選択信号９２４または他のプログラミング情報に基づいて）事前構成され得、ピクセルセルアレイのすべてのピクセルセルについてのグローバル露光期間であり得る。

時間Ｔ４と時間Ｔ５との間に、選択信号９２４に基づいて、ＡＤＣ６１６は、Ｃ_ＦＤに貯蔵された残留電荷の量を測定するために電荷貯蔵デバイス９０２ａのＣ_ＦＤに対してＰＤ ＡＤＣ動作を実施することができる。ＰＤ ＡＤＣ動作からのカウント値は、ＴＴＳ動作がメモリ９１２にカウント値を記憶しない場合、フォトダイオードＰＤ０のためのメモリ９１２に記憶され得る。時間Ｔ５において、ＰＤ ＡＤＣ動作が完了した後に、電荷貯蔵デバイス９０２ａのＣ_ＦＤは、残留電荷を除去するためにリセットされ得、次いで、時間Ｔ６において、フォトダイオードＰＤ０のためのＬＧ０信号は、電荷貯蔵デバイス９０２ａ内のＣ_ＥＸＴに貯蔵されたオーバーフロー電荷の部分を再分配するために、再びＣ_ＥＸＴとＣ_ＦＤとを一緒に接続するためにアサートされ得る。次いで、フォトダイオードＰＤ０のための電荷貯蔵デバイス９０２ａに貯蔵されたオーバーフロー電荷を量子化するために、時間Ｔ６と時間Ｔ７との間にＦＤ ＡＤＣ動作が実施され得る。ＦＤ ＡＤＣ動作からのカウント値は、前のＴＴＳ動作もＰＤ ＡＤＣ動作もメモリにカウント値を記憶しない場合、フォトダイオードＰＤ０のためのメモリ９１２に記憶され得る。

時間Ｔ７において、フォトダイオードＰＤ０のための量子化動作が完了した後に、ＳＥＬ１が、フォトダイオードＰＤ１の電荷検知ユニット６１４ｂをＡＤＣ６１６に接続するためにアサートされ得る。時間Ｔ７と時間Ｔ８との間に、選択信号９２４に基づいて、ＡＤＣ６１６は、フォトダイオードＰＤ１のためのＣ_ＦＤに貯蔵された残留電荷の量を測定するために電荷貯蔵デバイス９０２ｂのＣ_ＦＤに対してＰＤ ＡＤＣ動作を実施することができる。ＰＤ ＡＤＣ動作の完了に続いて、電荷貯蔵デバイス９０２ｂのＣ_ＦＤは、時間Ｔ８においてリセットされ得、その後に、フォトダイオードＰＤ１のためのＬＧ１のアサーションが続き、次いで、ＦＤ ＡＤＣ動作が続く。コントローラ９２０はまた、他のフォトダイオードのためのカウント値を生成するために、シーケンス１３００においてピクセルセル６０２ａの他のフォトダイオードについてＰＤ ＡＤＣ動作およびＦＤ ＡＤＣ動作を実施するように、ＡＤＣ６１６を制御することができる。

量子化動作（たとえば、ＴＴＳ動作、ＰＤ ＡＤＣ動作、およびＦＤ ＡＤＣ動作）の同じシーケンスが各フォトダイオードについて繰り返される場合と比較して、図１３Ｃ中の仕組みは、１つのフォトダイオードを除くフォトダイオードのすべてについてＴＴＳ動作を選択的に無効化することによって、ピクセルセルの量子化動作の総時間を低減することができる。量子化動作の低減された総時間は、フレーム期間を低減し、フレームレートを増加させることができる。その上、ピクセルセルのすべてのフォトダイオードの露光期間は同じ時間（図１３Ｃ中のＴ４）において終了するので、ピクセルセルのすべてのフォトダイオードは一様な露光期間を有することができ、これはシャッター効率を改善することができる。これらのすべては、特に高速物体を撮像するために使用されるとき、画像センサーの性能を改善することができる。

一方、図１３Ｃ中の仕組みは、画像センサーのダイナミックレンジの上限を低減し得る。これは、飽和までの時間を測定して、測定可能な光強度の上限を、電荷検知ユニットを飽和させるレベルを越えて拡張するＴＴＳ動作が、１つのフォトダイオードのみについて実施されるからである。ＦＤ ＡＤＣ動作および／またはＰＤ ＡＤＣ動作のみが実施される他のフォトダイオードについて、ダイナミックレンジの上限は、依然として、それらのフォトダイオードの電荷検知ユニットの電荷貯蔵容量によって限定され、ＴＴＳ動作によって拡張されない。その結果、画像センサーのダイナミックレンジは、全体として低減され得る。

図１４Ａは、拡張されたダイナミックレンジを提供することができるマルチフォトダイオードピクセルセル１４００の一例を示す。図１４Ａに示されているように、出力論理回路９０８が、飽和の指示１４０２を露光停止信号９２２としてコントローラ９２０に出力することができる。飽和の指示１４０２は、電荷貯蔵デバイス９０２ａがオーバーフロー電荷によって飽和されたことを指示するためにＴＴＳ動作中に生成され得る。コントローラ９２０が露光停止信号９２２を受け取った後に、コントローラ９２０は、事前構成された終了時間の前にピクセルセルのすべてのフォトダイオードの露光期間を停止することができる。そのような仕組みは、所与の光強度について電荷貯蔵デバイスに転送される電荷の量を低減することができ、これは、ピクセルセルの電荷貯蔵デバイスが飽和する可能性を低減することができ、正確なＦＤ ＡＤＣ動作および／またはＰＤ ＡＤＣ動作をサポートすることができない。

図１４Ｂは、図１４Ａのピクセルセル１４００の制御信号のうちのいくつかの例示的なシーケンス１４１０を示す。時間Ｔ０および時間Ｔ１における動作は、図１３Ｃのシーケンス１３００と同等である。フォトダイオードＰＤ０のためのＴＴＳ動作が時間Ｔ１と時間Ｔ１ａとの間に実施される。時間Ｔ１’において、出力論理回路９０８は、ＣＯＭＰ＿ＩＮ電圧が静的ＶＲＥＦしきい値に達したことを指示する、ＶＯＵＴに基づく飽和の指示１４０２を出力する。飽和の指示に基づいて、コントローラ９２０は、時間Ｔ１ａにおいてすべてのフォトダイオードのＬＧ信号（たとえば、ＬＧ０、ＬＧ１、ＬＧｎなど）をアサート解除することができ、その後に、残留電荷を各フォトダイオードからそのそれぞれの電荷貯蔵ユニットに転送するために、時間Ｔ１ｂにおけるすべてのフォトダイオードのＴＧ信号（たとえば、ＴＧ０、ＴＧ１、ＴＧｎなど）のアサーションが続く。コントローラ９２０は、次いで、時間Ｔ２において露光期間を停止するためにＡＢ信号をアサートすることができる。露光期間が時間Ｔ４において終了するシーケンス１３００と比較して、シーケンス１４１０における露光期間は、時間Ｔ２において終了し、時間Ｔ０から時間Ｔ２の間に及ぶＴ_{ｅｘｐｏｓｕｒｅ−ｒｅｄｕｃｅｄ}の持続時間を有する。露光期間Ｔ_{ｅｘｐｏｓｕｒｅ−ｒｅｄｕｃｅｄ}は、時間Ｔ０から時間Ｔ４の間に及ぶグローバル露光期間Ｔ_{ｅｘｐｏｓｕｒｅ−ｇｌｏｂａｌ}に対して低減される。

フォトダイオードＰＤ０のＴＴＳ出力に基づいて露光期間を低減することによって、フォトダイオードＰＤ１および他のフォトダイオードの電荷貯蔵デバイスが飽和する可能性が低減され得る。飽和の可能性は、それらのフォトダイオードの電荷貯蔵デバイスの容量がフォトダイオードＰＤ０の容量よりも大きくされる場合、さらに低減される。その結果、ＡＤＣからの光強度測定の線形性がより線形になり得、これは、画像センサーのダイナミックレンジを改善することができる。その上、飽和を検出し、同じフレーム期間内に露光期間を調整することによって、露光期間は、変化する光強度により迅速に適応することができ、これは、特に高速物体およびシーンを撮像するとき、画像センサーの性能を改善することができる。

ＰＤ０のためのＰＤ ＡＤＣ動作は、露光期間が終了したときから開始することができる。いくつかの例では、露光期間が時間Ｔ２において終了した後に、コントローラ９２０およびピクセルセル１４００は、ＰＤ０のためのＰＤ ＡＤＣ動作がシーケンス１３００の場合と同じ事前構成された時間Ｔ４において開始することができるように、時間Ｔ４までアイドル状態に入ることができる。その上、量子化動作の残りも、シーケンス１３００と同じ事前構成された時間において実施される。そのような仕組みは、ピクセルセル１４００のフレーム期間が、事前構成された露光期間で動作する他のピクセルセルと同等のままであることを保証することができる。いくつかの例では、低減された露光時間を埋め合わせるためにアイドル状態に入るのではなく、コントローラ９２０はまた、ピクセルセル１４００およびピクセルセルアレイの他のピクセルセルについて同じフレーム期間を維持するために、ピクセル１４００の量子化動作が同じ時間において完了することを保証しながら、量子化分解能を増加させるために（たとえば、クロックレートを低減すること、電圧ランプの傾きを低減することなどによって）ＰＤ ＡＤＣ動作およびＦＤ ＡＤＣ動作の持続時間をスケールアップすることができる。

ピクセルセル１４００は、他のピクセルセルと比較して低減された露光期間を有することができるので、ピクセルセル１４００、および事前構成されたグローバル露光時間内の光への露光に基づいてカウント値を生成する他のピクセルセル／フォトダイオードからのカウント値を備える画像フレームを生成するとき、ピクセルセル１４００からのカウント値は、以下の式に基づいてスケーリングされ得る。

式７では、ＤＮ_ｒａｗは、グローバル露光期間Ｔ_{ｅｘｐｏｓｕｒｅ−ｇｌｏｂａｌ}から低減された露光期間Ｔ_{ｅｘｐｏｓｕｒｅ−ｒｅｄｕｃｅｄ}から取得された、ピクセル１４００のフォトダイオードからのＰＤ ＡＤＣまたはＦＤ ＡＤＣカウント出力を表す。（カウント値によって表される）電荷の量は露光期間に正比例するので、ＤＮ_ｒａｗは、すべてのフォトダイオードからのカウント値が同じ露光期間に基づいて取得され、同じスケールに従うように、Ｔ_{ｅｘｐｏｓｕｒｅ−ｇｌｏｂａｌ}とＴ_{ｅｘｐｏｓｕｒｅ−ｒｅｄｕｃｅｄ}との間の比に基づいて、正規化されたカウント値ＤＮ_ｎｏｒｍに外挿され得る。

図１４Ａの例では、ピクセルセル１４００のフォトダイオードは単一のＡＤＣを共有する。しかしながら、いくつかの例では、異なるピクセルセルのフォトダイオードが単一のＡＤＣを共有することができ、ピクセルセルのフォトダイオードのためのＴＴＳ動作は、異なるピクセルセルの別のフォトダイオードの露光期間を制御することができる。単一のＡＤＣを共有するフォトダイオードはカーネル中でグループ化され得、カーネルは、異なるピクセルセルからのまたは同じピクセルセルからのフォトダイオードを含むことができる。カーネル中のフォトダイオードの各グループは、同じまたは異なる光成分を検出するように構成され得る。カーネルのフォトダイオードのグループでは、マスタフォトダイオード（たとえば、第１のフォトダイオード）を除くフォトダイオードのすべてが、ＰＤ ＡＤＣ動作および／またはＦＤ ＡＤＣ動作のみを実施するためにＡＤＣへのアクセスを有するが、第１のフォトダイオードは、ＴＴＳ動作、ならびにＰＤ ＡＤＣ動作および／またはＦＤ ＡＤＣ動作を実施するためにＡＤＣへのアクセスを有する。グループ内のすべてのフォトダイオードは、マスタフォトダイオードの電荷検知ユニットが飽和されたときに停止され得る同じ露光期間を有することができる。その結果、ＰＤ ＡＤＣ動作および／またはＦＤ ＡＤＣ動作に基づく、それらのフォトダイオードの電荷検知ユニットの量子化結果は、依然として、妥当な忠実度で光成分の強度を表すことができる。一方、マスタフォトダイオードからの飽和の指示がない場合、フォトダイオードは、低光強度および中光強度の測定についての最小信号対雑音比を維持するために、事前構成された露光期間内に少なくともしきい値量の電荷を生成することができ、これは、ダイナミックレンジの下限を設定し得る。

カーネル中へのフォトダイオードのグループ化は、様々な方式に基づき得、用途固有であり得る。一例では、ピクセルのカーネルは、撮像されるべき所定の物体の輪郭／形状に基づいて画定され得る。図１５Ａ、図１５Ｂ、および図１５Ｃは、ターゲット物体の輪郭／形状に基づいて決定されたカーネルの例を示す。図１５Ａに示されているように、カーネルは、向きをもつ光源１５００からの光の放射を反射する形状に基づく５つのピクセルセルを含むことができ、１つのピクセルセルが中心にあり、４つのピクセルセルが４つの側（たとえば、北、南、左、および右）にある。図１５Ａでは、１５０２、１５０４、１５０６および１５０８を含むピクセルセルの４つのカーネルが示されている。カーネル１５０２は、カーネル１５０２のマスタフォトダイオードを含むピクセルセル１５０２ａ、ならびにピクセルセル１５０２ｂ、１５０２ｃ、および１５０２ｄを含む。カーネル１５０４は、カーネル１５０４のマスタフォトダイオードを含むピクセルセル１５０４ａ、ならびにピクセルセル１５０４ｂ、１５０４ｃ、および１５０４ｄを含む。カーネル１５０６は、カーネル１５０６のマスタフォトダイオードを含むピクセルセル１５０６ａ、ならびにピクセルセル１５０６ｂ、１５０６ｃ、および１５０６ｄを含む。その上、カーネル１５０８は、カーネル１５０８のマスタフォトダイオードを含むピクセルセル１５０８ａ、ならびにピクセルセル１５０８ｂ、１５０８ｃ、および１５０８ｄを含む。

図１５Ａに示されているカーネルでは、カーネルの中心にあるピクセルセルは、ＴＴＳ動作が実施され得るマスタフォトダイオードを含むことができ、飽和が検出された場合、上記で説明されたように、カーネルのすべてのフォトダイオードの露光期間は低減され得る。たとえば、ピクセルセルアレイが、向きをもつ光源１５００を撮像するために使用される場合、カーネルの中心にあるピクセルセルは、向きをもつ光源の最も明るい部分から光を受け取ることができ、電荷貯蔵デバイスを飽和させる。カーネル内のすべてのフォトダイオードについての露光期間は、飽和が検出されると停止され得、それにより、放射された光ならびにシーンの他の部分からの光を受け取り得る、カーネル内の他のピクセルセルは、飽和された出力ではなく、入射光に線形的に関係するデジタル出力を生成することができる。

カーネルの中心ピクセル中のフォトダイオードは、異なる光成分のためのマスタフォトダイオードとして構成され得る。各マスタフォトダイオードは、同じ光成分を検出する（カーネル内の）他のフォトダイオードとＡＤＣを共有することができ、他のフォトダイオードの露光期間を制御することができる。たとえば、図１５Ｂおよび図１５Ｃに示されているように、各ピクセルセル（たとえば、ピクセルセル１５０２ｃ）は、可視単色光を検出するための２つのフォトダイオード（Ｍ）と、近赤外線を検出するためのフォトダイオード（ＮＩＲ）と、緑色光を検出するためのフォトダイオード（Ｇ）とを含む。Ｍフォトダイオード、ＮＩＲフォトダイオード、およびＧフォトダイオードの各セットはＡＤＣを共有し、したがって、各カーネルについて４つのＡＤＣが提供され、各カーネルは、中心ピクセルセル（たとえば、ピクセルセル１５０４ａ）中に２つのマスタＭフォトダイオードと、マスタＮＩＲフォトダイオードと、マスタＧフォトダイオードとを有することができる。図１５Ｂでは、（円によって示される）マスタＭフォトダイオードは、同じカーネル中の他のＭフォトダイオードの露光期間を制御することができ、図１５Ｃでは、（円によって示される）マスタＮＩＲフォトダイオードは、同じカーネル中の他のＮＩＲフォトダイオードの露光期間を制御することができる。

別の例として、同様の強度の光成分を受け取る可能性があるピクセルセルがカーネルを形成することができる。ピクセルセルアレイ内のカーネルのフォトダイオードの空間分布は、画像センサーの用途に基づき得る。図１６Ａおよび図１６Ｂは、ピクセルセルアレイ内のフォトダイオードの異なる空間分布を有するカーネルの例を示す。図１６Ａに示されているように、画像センサー１６００は、シーンから（ドット１６０２ａ、ドット１６０２ｂなどを含む）パターン１６０２の構造化ＮＩＲ光を受け取るように構成され得る。この用途では、カーネル１６０４は、パターン１６０２に基づいて離間されたピクセルセル（たとえば、１６０４ａ、１６０４ｂ、１６０４ｃ、および１６０４ｄ）を含むことができ、カーネルのマスタピクセルセル（たとえば、１６０４ａ）が、カーネル内の他のピクセルセルのＮＩＲフォトダイオードの露光期間を制御するためのＮＩＲフォトダイオードを含む。

いくつかの例では、カーネルは、上記で説明されたように、同じピクセルセルのフォトダイオードをも含むことができる。そのような仕組みは、たとえば、画像センサーがシーンの小さい部分を撮像するために使用されるとき、および／または画像センサーが強い周辺光を伴う環境において動作するとき、ならびにピクセルセルの各フォトダイオードが高強度光成分を受け取ることができ、ピクセルセル内の各フォトダイオードの電荷検知ユニットが飽和する可能性がある場合、提供され得る。図１６Ｂに示されているように、各ピクセルセルは、他のまたは同じ光成分（たとえば、ＮＩＲ、Ｂ、Ｍなど）を検出する他のフォトダイオードの露光期間を制御することができる光成分（たとえば、円で囲まれている単色）を検出するためのマスタフォトダイオードを含むことができる。

図１７は、図１４ＡのＰＤ０およびＰＤ１など、第１のフォトダイオードおよび第２のフォトダイオードを備える複数のフォトダイオードによって光強度測定を実施するための方法１７００を示す。第１のフォトダイオードと第２のフォトダイオードとは、図１４Ａに示されているように、同じピクセルセル６０２ａの一部であり得るか、または、図１５Ａ〜図１６Ｂに示されているように、異なるピクセルセル中にあり得る。第１のフォトダイオードと第２のフォトダイオードとは、同じ波長範囲または異なる波長範囲の入射光成分を検出するように構成され得る。第１のフォトダイオードは、第１の電荷貯蔵デバイス（たとえば、電荷貯蔵デバイス９０２ａ）と第１の切替え可能バッファ（たとえば、バッファ９０４ａ）とを備える第１の電荷検知ユニット（たとえば、電荷検知ユニット６１４ａ）と結合され得、第２のフォトダイオードは、第２の電荷貯蔵デバイス（たとえば、電荷貯蔵デバイス９０２ｂ）と第２の切替え可能バッファ（たとえば、バッファ９０４ｂ）とを備える第２の電荷検知ユニット（たとえば、電荷検知ユニット６１４ｂ）と結合され得る。第１の電荷検知ユニットの出力および第２の電荷検知ユニットの出力は、第１の切替え可能バッファがオンに切り替えられたとき、第１の電荷貯蔵デバイスにおいて第１の電圧を量子化することができ、第２の切替え可能バッファがオンに切り替えられたとき、第２の電荷貯蔵デバイスにおいて第２の電圧を量子化することができる単一のＡＤＣ（たとえば、ＡＤＣ６１６）と結合される。第１の電荷貯蔵デバイスと第２の電荷デバイスの両方が、１次キャパシタと補助キャパシタとを含むことができる。

方法１７００はステップ１７０２から開始し、第１のフォトダイオードが、第１の電荷を生成するために入射光に露光される。いくつかの例では、第１のシャッタースイッチが第１のフォトダイオードと電荷シンクとの間に結合され、第１のシャッタースイッチは、第１の電荷を生成するために第１のフォトダイオードを入射光に露光するためにオフに切り替えられ得、第１のシャッタースイッチをオフに切り替えることは、露光期間であることができる。

ステップ１７０４において、第２のフォトダイオードは、第２の電荷を生成するために入射光に露光される。いくつかの例では、第２のシャッタースイッチが第２のフォトダイオードと電荷シンクとの間に結合され、第２のシャッタースイッチは、第２の電荷を生成するために第２のフォトダイオードを入射光に露光するためにオフに切り替えられ得る。いくつかの例では、第１のシャッタースイッチと第２のシャッタースイッチとは、露光期間が第１のフォトダイオードと第２のフォトダイオードの両方について同じ時間において開始するように、同じ時間においてオフに切り替えられ得る。

ステップ１７０６において、第１の電荷検知ユニットは、第１の電荷を第１の電圧に変換することができる。いくつかの例では、第１の電荷検知ユニットは、第１の転送スイッチを介して第１のフォトダイオードと結合され、第１の転送スイッチは、第１のフォトダイオードが、ある量の第１の残留電荷を第１の電荷の一部として貯蔵し、第１の電荷の残りを第１のオーバーフロー電荷として第１の電荷検知ユニットの第１の電荷貯蔵デバイスに転送することを可能にするように、バイアスされ得る。第１のオーバーフロー電荷は、第１の電荷貯蔵デバイスの１次キャパシタと補助キャパシタの両方に貯蔵され得る。ステップ１７０６において、露光期間中の第１の電荷貯蔵デバイス中の第１のオーバーフロー電荷の蓄積に基づいて、第１の電圧を生じさせることができる。その上、第１の切替え可能バッファは、ＴＴＳ動作を実施するために第１の電荷貯蔵デバイスをＡＤＣに接続するためにオンにされる。

ステップ１７０８において、第２の電荷検知ユニットは、第２の電荷を第１の電圧に変換することができる。いくつかの例では、第２の電荷検知ユニットは、第２の転送スイッチを介して第２のフォトダイオードと結合され、第２の転送スイッチは、第２のフォトダイオードが、ある量の第２の残留電荷を第２の電荷の一部として貯蔵し、第２の電荷の残りを第２のオーバーフロー電荷として第２の電荷検知ユニットの第２の電荷貯蔵デバイスに転送することを可能にするように、バイアスされ得る。第２のオーバーフロー電荷は、第２の電荷貯蔵デバイスの１次キャパシタと補助キャパシタの両方に貯蔵され得る。ステップ１７０８において、露光期間中の第２の電荷貯蔵デバイス中の第２のオーバーフロー電荷の蓄積に基づいて、第２の電圧を生じさせることができる。その上、第２の切替え可能バッファは、第２の電荷貯蔵デバイスをＡＤＣから切断するためにオフにされる。

ステップ１７１０において、ＴＴＳ動作の一部として、ＡＤＣは、第１の電圧に基づいて、第１の電荷の量が飽和しきい値に達したことを検出し、第１の電荷の量が飽和しきい値に達したときの飽和時間を測定するように制御される。詳細には、ステップ１７１０において、ＡＤＣは、第１の電圧を、第１の電荷貯蔵デバイスの飽和限界を表す静的しきい値電圧と比較することができる。第１の電圧が静的しきい値を越える場合、ＡＤＣは、第１の電荷貯蔵デバイスに貯蔵された（第１のオーバーフロー電荷によって表される）第１の電荷の量が飽和限界に達したという飽和の指示を出力することができる。その指示（たとえば、図１４ＡのＶＯＵＴ信号）は、自走カウンタ（たとえば、カウンタ９１４）からのカウント値を記憶するようにメモリ（たとえば、メモリ９１２）を制御することができ、カウント値は、第１のフォトダイオードによって受け取られた入射光成分の強度を表すことができる。

ステップ１７１２において、第１のフォトダイオードおよび第２のフォトダイオードの露光は、第１の電荷の量が飽和しきい値に達したことを検出したことに基づいて停止される。詳細には、ステップ１７１０からの（および第１のフォトダイオードのＴＴＳ動作からの）飽和の指示は、第１のフォトダイオードと第２のフォトダイオードの両方についての露光期間を停止するために第１および第２のシャッタースイッチを有効化するために、それらのスイッチの制御信号を却下することができる。

いくつかの例では、露光が終了した後に、ＡＤＣは、ＰＤ ＡＤＣ測定およびＦＤ ＡＤＣ測定を実施するように制御され得る。詳細には、露光が終了した後に、１次キャパシタは、それぞれ、第１および第２の電荷貯蔵デバイスの補助キャパシタにおいて第１のオーバーフロー電荷の一部および第２のオーバーフロー電荷の一部を保存するために、第１の電荷貯蔵デバイスと第２の電荷貯蔵デバイスの両方の補助キャパシタから切断され得る。ＰＤ ＡＤＣ動作の一部として、第１の電荷検知ユニットの１次キャパシタがリセットされ得、次いで、第１の転送スイッチは、第１の残留電荷を第１のフォトダイオードから１次キャパシタに転送するように制御され得る。ＡＤＣは、上記で説明されたように、第１の残留電荷を量子化するために、第１の電荷検知ユニットの１次キャパシタにおける第１の電圧を第１のランピング電圧と比較することができる。第１のフォトダイオードが第１の残留電荷によって飽和されたかどうかの決定が、ＰＤ ＡＤＣ動作中に行われる。ＦＤ ＡＤＣ動作では、１次キャパシタと補助キャパシタとが、１次キャパシタと補助キャパシタとの間で第１のオーバーフロー電荷の一部分と第１の残留電荷とを再分配するために、再び一緒に接続され得る。ＡＤＣは、第１のオーバーフロー電荷と第１の残留電荷との組合せを量子化するために、１次キャパシタおよび補助キャパシタにおける第１の電圧を第２の電圧ランプと比較することができ、量子化結果は、第１のオーバーフロー電荷の量を測定するために後処理され得る。ＴＴＳ動作、ＰＤ ＡＤＣ動作、またはＦＤ ＡＤＣ動作のうちの１つの結果は、第１の電荷貯蔵デバイスが第１のオーバーフロー電荷によって飽和されたかどうかと、第１のフォトダイオードが第１の残留電荷によって飽和されたかどうかとに基づいて第１のフォトダイオードによって受け取られた入射光成分の強度を表すために提供され得る。

ステップ１７１４において、ＡＤＣは、第２の電圧に基づいて、露光期間が終了する前に第２のフォトダイオードによって生成された第２の電荷の量を測定するように制御され得る。第１のフォトダイオードのためのＴＴＳ動作、ＰＤ ＡＤＣ動作およびＦＤ ＡＤＣ動作が完了した後に、ＡＤＣを第２の電荷貯蔵デバイスの出力に接続するために、第１の切替え可能バッファは無効化され得、第２の切替え可能バッファは有効化され得る。ＰＤ ＡＤＣ動作と、その後のＦＤ ＡＤＣ動作とは、ステップ１７１２において説明されたのと同様に、第２の電荷貯蔵デバイス上で実施され得る。ＰＤ ＡＤＣ動作またはＦＤ ＡＤＣ動作のうちの１つの結果は、第２のフォトダイオードが第２の残留電荷によって飽和されたかどうかに基づいて第２のフォトダイオードによって受け取られた入射光成分の強度を表すために提供され得る。

本明細書のいくつかの部分は、情報に関する動作のアルゴリズムおよび記号表現に関して本開示の例について説明する。これらのアルゴリズム説明および表現は、データ処理技術分野の当業者が、他の当業者に自身の仕事の本質を効果的に伝えるために通常使用される。これらの動作は、機能的に、計算量的に、または論理的に説明されるが、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されることが理解される。さらに、一般性の喪失なしに、動作のこれらの仕組みをモジュールと呼ぶことが時々好都合であることも証明された。説明される動作およびそれらの関連するモジュールは、ソフトウェア、ファームウェア、および／またはハードウェアにおいて具現され得る。

説明されるステップ、動作、またはプロセスは、１つまたは複数のハードウェアまたはソフトウェアモジュールで、単独でまたは他のデバイスとの組合せで実施または実装され得る。いくつかの例では、ソフトウェアモジュールは、コンピュータプログラムコードを含んでいるコンピュータ可読媒体を備えるコンピュータプログラム製品で実装され、コンピュータプログラムコードは、説明されるステップ、動作、またはプロセスのいずれかまたはすべてを実施するためにコンピュータプロセッサによって実行され得る。

本開示の例はまた、説明される動作を実施するための装置に関し得る。本装置は、必要とされる目的のために特別に構築され得、および／あるいは、本装置は、コンピュータに記憶されたコンピュータプログラムによって選択的にアクティブ化または再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、非一時的有形コンピュータ可読記憶媒体、または、コンピュータシステムバスに結合され得る、電子命令を記憶するのに好適な任意のタイプのメディアに記憶され得る。さらに、本明細書で言及される任意のコンピューティングシステムは、単一のプロセッサを含み得るか、または、増加された計算能力のために複数のプロセッサ設計を採用するアーキテクチャであり得る。

本開示の例はまた、本明細書で説明されるコンピューティングプロセスによって製造される製品に関し得る。そのような製品は、コンピューティングプロセスから生じる情報を備え得、その情報は、非一時的有形コンピュータ可読記憶媒体に記憶され、本明細書で説明されるコンピュータプログラム製品または他のデータ組合せの任意の例を含み得る。

本明細書で使用される言い回しは、主に読みやすさおよび教授の目的で選択されており、その言い回しは、本発明の主題を画定または制限するために選択されていないことがある。したがって、本開示の範囲はこの詳細な説明によって限定されるのではなく、むしろ、本明細書に基づく出願に関して生じる請求項によって限定されることが意図される。したがって、例の開示は、以下の特許請求の範囲に記載される本開示の範囲を例示するものであり、限定するものではない。

Claims (20)

1. 第１の電荷を生成するための第１のフォトダイオードと、
   第２の電荷を生成するための第２のフォトダイオードと、
   前記第１の電荷を第１の電圧に変換するための第１の電荷検知ユニットと、
   前記第２の電荷を第２の電圧に変換するための第２の電荷検知ユニットと、
   飽和時間と電荷の量とを測定することが可能なＡＤＣと、
   コントローラと
   を備える装置であって、前記コントローラは、
   前記第１のフォトダイオードおよび前記第２のフォトダイオードを入射光に露光して、前記第１の電荷および前記第２の電荷をそれぞれ生成させることと、
   前記第１の電圧に基づいて、前記第１の電荷の量が飽和しきい値に達したことを検出し、前記第１の電荷の前記量が前記飽和しきい値に達したときの前記飽和時間を測定するために、前記ＡＤＣを前記第１の電荷検知ユニットに接続することと、
   前記第１の電荷の前記量が前記飽和しきい値に達したことを検出したことに基づいて、前記入射光への前記第１のフォトダイオードおよび前記第２のフォトダイオードの前記露光を停止することと、
   前記第２の電圧に基づいて、前記露光が終了する前に前記第２のフォトダイオードによって生成された前記第２の電荷の量を測定するために、前記ＡＤＣを前記第２の電荷検知ユニットに接続することと
   を行うように構成された、装置。
2. 前記第１のフォトダイオードと第１の電荷シンクとの間に結合された第１のシャッタースイッチと、
   前記第２のフォトダイオードと第２の電荷シンクとの間に結合された第２のシャッタースイッチと
   をさらに備え、
   前記コントローラが、
   前記第１のシャッタースイッチおよび前記第２のシャッタースイッチを無効化することに基づいて、前記第１のフォトダイオードおよび前記第２のフォトダイオードを前記入射光に露光することと、
   前記第１のシャッタースイッチおよび前記第２のシャッタースイッチを有効化することに基づいて、前記入射光への前記第１のフォトダイオードおよび前記第２のフォトダイオードの前記露光を停止することと
   を行うように構成された、請求項１に記載の装置。
3. 前記コントローラは、前記第１のフォトダイオードおよび前記第２のフォトダイオードのためのグローバルシャッタースイッチが第１の時間において開始し、第２の時間において終了するように、前記第１の時間において前記第１のシャッタースイッチおよび前記第２のシャッタースイッチを一緒に無効化し、前記第２の時間において前記第１のシャッタースイッチおよび前記第２のシャッタースイッチを一緒に有効化するように構成された、請求項２に記載の装置。
4. 前記第１の電荷検知ユニットおよび前記第２の電荷検知ユニットの各々が、それぞれ、第１のキャパシタおよび第２のキャパシタを含み、
   前記装置が、
   前記第１のフォトダイオードと前記第１の電荷検知ユニットとの間に結合された第１の転送スイッチと、
   前記第２のフォトダイオードと前記第２の電荷検知ユニットとの間に結合された第２の転送スイッチと
   をさらに備え、
   前記コントローラが、
   前記第１の電荷を前記第１の電荷検知ユニットの前記第１のキャパシタに転送するように前記第１の転送スイッチを制御することと、
   前記第１の電荷を前記第１の電荷検知ユニットの前記第２のキャパシタに転送するように前記第２の転送スイッチを制御することと、
   前記第１の電荷および前記第２の電荷の前記転送が完了した後に、前記入射光への前記第１のフォトダイオードおよび前記第２のフォトダイオードの前記露光を停止することと
   を行うように構成された、請求項１に記載の装置。
5. 前記コントローラが、
   第１の時間において、前記第１の電荷の第１のオーバーフロー電荷を貯蔵のために前記第１のフォトダイオードから前記第１の電荷検知ユニットに転送するために、第１のバイアス電圧において前記第１の転送スイッチをバイアスすることと、
   前記第１の時間において、前記第２の電荷の第２のオーバーフロー電荷を貯蔵のために前記第２のフォトダイオードから前記第２の電荷検知ユニットに転送するために、前記第１のバイアス電圧において前記第２の転送スイッチをバイアスすることと、
   第２の時間において、前記第１の電荷の第１の残留電荷を貯蔵のために前記第１のフォトダイオードから前記第１の電荷検知ユニットに転送するために、第２のバイアス電圧において前記第１の転送スイッチをバイアスすることと、
   前記第２の時間において、前記第２の電荷の第２の残留電荷を貯蔵のために前記第２のフォトダイオードから前記第２の電荷検知ユニットに転送するために、前記第２のバイアス電圧において前記第２の転送スイッチをバイアスすることと
   を行うように構成され、
   前記入射光への前記第１のフォトダイオードおよび前記第２のフォトダイオードの前記露光は、前記第１の残留電荷の前記転送と前記第２の残留電荷の前記転送とが完了した後に停止される、
   請求項４に記載の装置。
6. 前記第１の電荷検知ユニットが、前記第１のキャパシタと前記ＡＤＣとの間に結合された第１の切替え可能バッファを含み、
   前記第２の電荷検知ユニットが、前記第１のキャパシタと前記ＡＤＣとの間に結合された第２の切替え可能バッファを含み、
   前記コントローラは、
   前記第１の転送スイッチが前記第１のバイアス電圧においてバイアスされたとき、前記第１のオーバーフロー電荷の量が前記飽和しきい値を超えるかどうかを検出し、前記第１のオーバーフロー電荷の前記量が前記飽和しきい値に達したときの前記飽和時間を測定するように、前記ＡＤＣを制御するために、前記第１のスイッチバッファを有効化することと、
   前記入射光への前記第１のフォトダイオードおよび前記第２のフォトダイオードの前記露光が停止した後に、
   前記第２のキャパシタに貯蔵された前記第２の残留電荷の量を測定するように前記ＡＤＣを制御することと
   を行うように構成された、請求項５に記載の装置。
7. 前記第１のキャパシタは、前記第１のオーバーフロー電荷が前記第１のキャパシタに転送されたときに前記第１の電圧を生じさせ、
   前記ＡＤＣが、前記第１の電圧を、前記飽和しきい値を表す第１の静的しきい値電圧と比較することに基づいて、前記飽和時間を測定するように構成された、
   請求項６に記載の装置。
8. 前記第１のキャパシタが、第１の主キャパシタと第１の補助キャパシタとを含み、
   前記第１の残留電荷の前記転送より前に、前記コントローラが、
   前記第１の補助キャパシタを前記第１の主キャパシタから切断することと、
   前記第１の主キャパシタをリセットすることと
   を行うように構成され、
   前記第１の残留電荷は、第３の電圧を生成するために、前記第１の主キャパシタがリセットされた後に前記第１の主キャパシタに転送され、
   前記ＡＤＣが、前記第１の主キャパシタにおける前記第３の電圧を第１のランピングしきい値電圧と比較することに基づいて、前記第１の主キャパシタに貯蔵された前記第１の残留電荷の量を測定するように構成された、
   請求項７に記載の装置。
9. 前記ＡＤＣが、前記第１の残留電荷の量を測定した後に、
   第４の電圧を生成するために、前記第１のオーバーフロー電荷の一部分を貯蔵する前記第１の補助キャパシタを前記第１の主キャパシタと接続することと、
   前記第４の電圧を第２のランピングしきい値電圧と比較することに基づいて前記第１のオーバーフロー電荷の量を測定することと
   を行うように構成された、請求項８に記載の装置。
10. 前記コントローラが、前記第１の電圧、前記第３の電圧、または前記第４の電圧のうちの１つに基づいて前記ＡＤＣによって生成された出力を選択するように構成され、
    前記選択は、前記第１の電圧が前記第１の静的しきい値電圧を越えるかどうかに基づき、前記第３の電圧が、前記第１のフォトダイオードの貯蔵容量を表す第２の静的しきい値電圧を越えるかどうかに基づき、
    前記コントローラが、前記第１のフォトダイオードによって受け取られた前記入射光の強度を表すために、前記選択された出力を提供するように構成された、
    請求項９に記載の装置。
11. 前記第２のキャパシタが、第２の主キャパシタと第２の補助キャパシタとを含み、
    前記第２の残留電荷の前記転送より前に、前記コントローラが、
    前記第２の補助キャパシタを前記第２の主キャパシタから切断することと、
    前記第２の主キャパシタをリセットすることと
    を行うように構成され、
    前記第２の残留電荷は、前記第２の電圧を生成するために、前記第２の主キャパシタがリセットされた後に前記第２の主キャパシタに転送され、
    前記ＡＤＣが、前記第２の主キャパシタにおける前記第２の電圧を第１のランピングしきい値電圧と比較することに基づいて、前記第２の主キャパシタに貯蔵された前記第２の残留電荷の前記量を測定するように構成された、
    請求項６に記載の装置。
12. 前記ＡＤＣが、前記第２の残留電荷の量を測定した後に、
    第３の電圧を生成するために、前記第２のオーバーフロー電荷の一部分を貯蔵する前記第２の補助キャパシタを前記第２の主キャパシタと接続することと、
    前記第３の電圧を第２のランピングしきい値電圧と比較することに基づいて前記第２のオーバーフロー電荷の量を測定することと
    を行うように構成された、請求項１１に記載の装置。
13. 前記コントローラが、前記第２の電圧または前記第３の電圧のうちの１つに基づいてＡＤＣによって生成された出力を選択するように構成され、
    前記選択は、前記第２の電圧が、前記第２のフォトダイオードの貯蔵容量を表す静的しきい値電圧を越えるかどうかに基づき、
    前記コントローラが、前記第２のフォトダイオードによって受け取られた前記入射光の強度を表すために、前記選択された出力を提供するように構成された、
    請求項１２に記載の装置。
14. 前記第１のフォトダイオードが、第１の波長範囲を有する前記入射光の第１の成分を検出するように構成され、
    前記第２のフォトダイオードが、第２の波長範囲を有する前記入射光の第２の成分を検出するように構成された、請求項１に記載の装置。
15. 前記第１の波長範囲と前記第２の波長範囲とが同等である、請求項１４に記載の装置。
16. 前記第１のフォトダイオードと前記第２のフォトダイオードとがピクセルセルの一部である、請求項１５に記載の装置。
17. 前記第１のフォトダイオードおよび前記第２のフォトダイオードが、それぞれ、第１のピクセルセルおよび第２のピクセルセルの一部である、請求項１５に記載の装置。
18. 前記第１のピクセルセルと前記第２のピクセルセルとがピクセルセルアレイの一部であり、
    前記第１のピクセルセルと前記第２のピクセルセルとが１つまたは複数のピクセルセルだけ離される、
    請求項１７に記載の装置。
19. 第１の電荷を生成するために、第１のフォトダイオードを入射光に露光することと、
    第２の電荷を生成するために、第２のフォトダイオードを前記入射光に露光することと、
    第１の電荷検知ユニットによって、前記第１の電荷を第１の電圧に変換することと、
    第２の電荷検知ユニットによって、前記第２の電荷を第２の電圧に変換することと、
    前記第１の電圧に基づいて、前記第１の電荷の量が飽和しきい値に達したことを検出し、前記第１の電荷の前記量が前記飽和しきい値に達したときの飽和時間を測定するように、ＡＤＣを制御することと、
    前記第１の電荷の前記量が前記飽和しきい値に達したことを検出したことに基づいて、前記入射光への前記第１のフォトダイオードおよび前記第２のフォトダイオードの前記露光を停止することと、
    前記第２の電圧に基づいて、前記露光が終了する前に前記第２のフォトダイオードによって生成された前記第２の電荷の量を測定するように、前記ＡＤＣを制御することと
    を含む、方法。
20. 前記第１の電荷が、第１の波長範囲を有する前記入射光の第１の成分を検出することに基づいて前記第１のフォトダイオードによって生成され、
    前記第２の電荷が、第２の波長範囲を有する前記入射光の第２の成分を検出することに基づいて前記第２のフォトダイオードによって生成され、
    前記第１の波長範囲と前記第２の波長範囲とが異なる、請求項１９に記載の方法。
    

Images