JP7760305B2 - 光電変換装置、撮像装置、制御方法、及びコンピュータプログラム - Google Patents

Description

本発明は、入射した光子に応じた信号を出力する光電変換部を備えた光電変換装置、撮像装置、制御方法、及びコンピュータプログラム等に関するものである。

近年、アバランシェフォトダイオードに入射する光子（フォトン）の数をデジタル的に計数し、計数値を光電変換されたデジタル信号として画素から出力する光電変換装置が提案されている。

米国特許公開２０１５／０１６３４２９明細書

特許文献１では、光子を数える光子カウンターに加え、時間を計測する時間カウンターを設けた構造が提案されている。時間カウンターは、光子カウンターの計測を開始してから、光子の数を所定の値になるまで時間を計測し、計測した時間から画素値を算出する。しかしながら特許文献１では、１画素毎に光子カウンターと時間カウンターを設けているために、回路規模が増大してしまう。

本発明は、このような問題に鑑みてなされたものであり、回路規模の増大を抑制しつつ好適に画素読出処理を行う技術を提供することを目的としている。

上記課題を解決する本発明にかかる光電変換装置は、入射した光子に応じて信号を出力する光電変換部を備えた画素を有する光電変換装置であって、前記画素に入射した前記光子の数を計測する第１の計測手段と、前記第１の計測手段が前記計測を開始してから前記第１の計測手段の計測値が第１の閾値に達するまでの時間を計測する第２の計測手段と、複数の前記第１の計測手段のうち、計測値が前記第１の閾値よりも小さい第２の閾値に最も速く達した第１の計測手段を選択して前記第２の計測手段と接続する選択手段と、前記選択手段によって前記第２の計測手段の接続を切り替えるタイミングを制御する制御手段と、を有する。

本発明は、回路規模の増大を抑制しつつ好適に画素読出処理を行う技術を提供する。

光電変換装置のハードウェア構成例を示す図 光電変換装置のセンサチップの一例を示す図 光電変換装置の回路チップの一例を示す図 光電変換装置における画素及び信号処理部の等価回路の一例を示す図 光電変換装置における画素及び信号処理部の等価回路の一例を示す図 光電変換装置による計測の一例を示す図 光電変換装置を含む撮像装置の機能構成例を示すブロック図 光電変換装置の動作の一例を説明するフローチャート

以下に、本発明を実施するための形態について詳細に説明する。なお、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。

＜実施形態１：基本形＞
図１は、本実施形態の光電変換装置の構成例を示す図である。光電変換装置１００は、センサチップ１１と、回路チップ２１の２枚のチップが積層され、且つ電気的に接続されることにより構成される。センサチップ１１は、画素領域１２を含む。回路チップ２１は、画素領域１２の各画素で検出された信号をそれぞれ並列に処理する画素回路領域２２と、画素回路領域２２から信号の読み出しや画素回路領域の２２の制御を行う周辺回路領域２３を含む。

＜画素基板＞
図２は、センサチップ１１の構成例を示す図である。センサチップ１１の画素領域１２は、複数行及び列方向に渡って二次元状に複数配置された画素２０１を含む。画素２０１は、入射した光子に応じて信号を出力するアバランシェフォトダイオード（以下、ＡＰＤ）を含む光電変換部２０２を備える。図２には、第０行から第５行までの６行と、第０列から第７列までの８列に配された４８個の画素２０１を、行番号及び列番号を示す符号とともに示している。例えば、第１行、第４列に配された単位画素１１には、「Ｐ１４」の符号を付している。なお、画素領域１２を成す画素アレイの行数及び列数は、特に限定されるものではない。

＜回路基板＞
図３は、回路チップ２１の構成例を示す図である。回路チップ２１は、画素回路領域２２と周辺回路領域２３とを含む。

＜画素回路領域＞
画素回路領域２２は、複数行及び列方向に渡って二次元状に複数配置され、センサチップの画素２０１に対応した、信号処理部３０１を含む。図３には、第０行から第２行までの３行と、第０列から第３列までの４列に配された１２個の信号処理部３０１を、行番号及び列番号を示す符号とともに示している。例えば、第２行、第２列に配された信号処理部３０１には、「Ｓ２２」の符号を付している。なお、画素回路領域２２を成す信号処理部アレイの行数及び列数は、特に限定されるものではない。信号処理部には、光子の数を数える光子カウンター４０３と、時間を計測する時間カウンター４０６が設けられている。本実施形態における光電変換装置では、光子カウンター４０３ａ～ｄは画素毎に設けるものの、時間カウンター４０６は複数画素で共有する構成となっている。すなわち、画素領域１２のうち、複数の画素の集合を１つの部分画素領域とみなし、光子カウンター４０３ａ、ｂ、ｃ、ｄは各画素に対して配置されるのに対して時間カウンター４０６は部分画素領域毎に配置される。このような構成とすることで、回路規模を削減することができる。詳細については後述する。

＜周辺回路領域＞
周辺回路領域２３は、垂直走査回路３０２と、列回路３０３と、水平走査回路３０４と、制御パルス生成部３０５と、信号復元部３０６と、信号出力回路３０７と、を含む。画素回路領域２２の信号処理部アレイの各行には、第１の方向（図３において横方向）に延在して、垂直選択線３１１ＶＳＥＬが配されている。垂直選択線３１１ＶＳＥＬは、第１の方向に並ぶ信号処理部３０１にそれぞれ接続され、信号線を成している。垂直選択線３１１ＶＳＥＬの延在する第１の方向は、行方向或いは水平方向と表記することがある。なお、図３には、制御線ＶＳＥＬを、行番号を示す符号とともに表している。例えば、第１行の制御線には、「ＶＳＥＬ［１］」の符号を付している。各行の垂直選択線３１１ＶＳＥＬは、垂直走査回路３０２に接続されている。垂直走査回路３０２は、信号処理部３０１を選択的に駆動するための垂直選択信号を、垂直選択線３１１ＶＳＥＬを介して信号処理部３０１に供給する。尚、本実施形態では、垂直選択線３１１は各行の複数の信号処理部３０１の信号を読出すための読出し用の垂直選択線と各行の複数の信号処理部３０１の信号をリセットするためのリセット用の垂直選択線とに分かれている。

画素回路領域２２の信号処理部アレイの各列には、第１の方向と交差する第２の方向（図３において縦方向）に延在して、垂直信号線３１０が配されている。垂直信号線３１０は、第２の方向に並ぶ信号処理部３０１にそれぞれ接続され、共通の信号線を成している。垂直信号線３１０の延在する第２の方向は、列方向或いは垂直方向と表記することがある。なお、図３には、垂直信号線３１０を、列番号を示す符号とともに表している。例えば、第３列の垂直信号線３１０には、「ＰＯＵＴ［３］」の符号を付している。各列の垂直信号線３１０は、ｎビットのデジタル信号を出力するためのｎ本の信号線を備えている。

水平走査回路３０４は、列回路３０３から信号を読み出すための水平選択信号を列回路３０３に供給する。水平走査回路３０４は、各列の列回路３０３に、水平選択線３１３ＨＳＥＬを介して制御信号を供給する。水平走査回路３０４から水平選択信号を受信した列回路３０３は、保持している信号を、信号線３１２ＨＳＩＧを介し、信号復元部３０６を介し、水平出力回路３０７に順次出力する。なお、図３には、水平選択線ＨＳＥＬを、列番号を示す符号とともに表している。例えば、第３列の水平選択線には、「ＨＳＥＬ［３］」の符号を付している。

制御パルス生成部３０５は、垂直走査回路３０２、水平走査回路３０４、列回路３０３の動作やそのタイミングを制御する制御パルス信号を供給する。なお、垂直走査回路３０２、水平走査回路３０４、列回路３０３の動作やそのタイミングを制御する制御パルス信号の少なくとも一部は、光電変換装置の外部から供給してもよい。信号復元部３０６は、時間カウンター４０６の計測値から、画素値を算出し、水平出力回路３０７に出力する。水平出力回路３０７は、信号復元部３０６で復元された画素値に応じた信号を光電変換装置の出力信号ＳＯＵＴとして出力する。なお、時間カウンターの値をそのまま出力する構成、すなわち、信号復元部３０６は光電変換装置の外部に設ける構成としてもよい。

＜画素回路＞
図４は、図２の画素２０１及び図３の信号処理部３０１の等価回路及びブロック図の一例である。図４には、１つの信号処理部３０１と、それに対応する４つの画素２０１ａ、２０１ｂ、２０１ｃ、２０１ｄを示している。ここでは、複数の画素の集合を１つの部分画素領域とみなし、光子カウンター４０３ａ、ｂ、ｃ、ｄは各画素に対して配置されるのに対して時間カウンター４０６は部分画素領域毎に配置される。なお、以下では４つの画素を区別する必要があるときにはａ、ｂ、ｃ、ｄの符号を付与し、区別する必要がない場合は符号を省略する。

センサチップ１１における画素２０１は、光電変換部であるＡＰＤ２０２を含む。ＡＰＤ２０２に光子が入射されると、光電変換により電荷対が生成される。ＡＰＤ２０２のアノードには、電圧ＶＬ（第１電圧）が供給される。また、ＡＰＤ２０２のカソードには、アノードに供給される電圧ＶＬよりも高い電圧ＶＨ（第２電圧）がスイッチ素子４０８を介して供給される。アノードとカソードには、ＡＰＤ２０２がアバランシェ増倍動作をするような逆バイアス電圧が供給される。このような電圧を供給した状態とすることで、入射光によって生じた電荷がアバランシェ増倍を起こし、アバランシェ電流が発生する。

逆バイアスの電圧が供給される場合において、アノードおよびカソードの電位差が降伏電圧より大きな電位差で動作させるガイガーモードと、アノードおよびカソードの電位差が降伏電圧近傍、もしくはそれ以下の電圧差で動作させるリニアモードがある。ガイガーモードで動作させるＡＰＤをＳＰＡＤ（Ｓｉｎｇｌｅ Ｐｈｏｔｏｎ Ａｖａｌａｎｃｈｅ Ｄｉｏｄｅ）と呼ぶ。例えば、電圧ＶＬ（第１電圧）は、－３０Ｖ、電圧ＶＨ（第２電圧）は、１Ｖである。

回路チップ２１における信号処理部３０１は、クエンチ素子４０１、波形整形部４０２、光子カウンター４０３、スイッチ４０４、判定回路４０５、時間カウンター４０６、選択回路４０７およびタイミング制御回路４１０を含む。

クエンチ素子４０１は、電圧ＶＨを供給する電源とＡＰＤ２０２に接続される。クエンチ素子４０１は、ＡＰＤ２０２で生じたアバランシェ電流の変化を電圧信号に置き換える機能を有する。クエンチ素子４０１は、アバランシェ増倍による信号増倍時に負荷回路（クエンチ回路）として機能し、ＡＰＤ２０２に供給する電圧を抑制して、アバランシェ増倍を抑制する働きを持つ（クエンチ動作）。

波形整形部４０２は、光子検出時に得られるＡＰＤ２０２のカソードの電位変化を整形して、パルス信号を出力する。波形整形部４０２は、例えば、インバータ回路やバッファ回路が用いられる。

光子カウンター４０３は、画素に入射した光子の数を計測する光子カウンターであり、波形整形部４０２から出力された、パルス信号を例えば第１の閾値Ｃｘまでカウントする。また、光子カウンター４０３は、垂直選択線３１１を介して所定の制御信号が供給されたとき、計測値をリセットする。

以上で説明した、ＡＰＤ２０２、クエンチ素子４０１、波形整形部４０２、光子カウンター４０３は各々の画素毎に設けられている。一方で、以下で説明する、論理和回路４０４、判定回路４０５、時間カウンター４０６は４つの画素（すなわち、１つの部分画素領域）に対して１つ設けられている。また、選択回路４０７は、各々の光子カウンター４０３に対しては１つずつ配置され、時間カウンター４０６に対して１つ設けられている。

スイッチ４０４、判定回路４０５、タイミング制御回路４１０は、４つの光子カウンター４０３ａ、４０３ｂ、４０３ｃ、４０３ｄのうち、最も計測値の大きいカウンターを、時間カウンター４０６に接続する役割を有する。例えば、カウント開始時には光子カウンター４０３ａと時間カウンター４０６をスイッチ４０４で接続しておく。そして、光子のカウントの途中で、スイッチ４０４を切り替えて、光子カウンター４０３ａ、４０３ｂ、４０３ｃ、４０３ｄのうち、最もカウント数の多い光子カウンター４０３と時間カウンター４０６を接続するようにすればよい。詳細については後述する。

また、判定回路４０５は、時間カウンター４０６の接続されている光子カウンター４０３の計測値が第１の閾値Ｃｘに達したかどうかを判定する。時間カウンター４０６は、光子カウンター４０３が計測を開始してから計測値（計測値）が第１の閾値Ｃｘに達するまでの時間を計測し、計測した時間を画素値として出力する。即ち、判定回路４０５が、光子カウンター４０３の計測値が第１の閾値Ｃｘに達した、と判定した時点で、判定回路４０５は「１」を出力し、それを受けて、時間カウンター４０６は、その時点での時間計測値を画素値として保持する。そして、非図示のリクエスト回路から送られたリクエスト信号が来たタイミングで、保持していた時間カウンター４０６の計測値を周辺回路に送る。また、判定回路４０５の出力は４つの光子カウンター４０３ａ、４０３ｂ、４０３ｃ、４０３ｄにも接続されており、判定回路４０５が「１」を出力した時点で、４つの光子カウンター全てにおいて、光子カウントを停止し、各々の光子計測値を保持する。

タイミング制御回路４１０は、所定の条件に基づいて時間カウンター４０６の接続を切り替えるタイミングを制御する。例えば、一定時間おきに接続を切り替えるようにしてもよいし、光子カウンターの計測値に基づいてタイミングを決定してもよい。詳細な動作については後述する。複数光子カウンターによって共有される時間カウンターの接続をタイミングに応じて切り替えることによって、効率的に光子を計測できる。なお、図４では、部分画素領域毎にタイミング制御回路を配置する例であるが、画素毎にタイミング制御回路を配置してもよい。

＜効果の説明＞
前述したように、時間カウンター４０６は、光子カウンター４０３ａ、４０３ｂ、４０３ｃ、４０３ｄのうち、最もカウント数の多い光子カウンター４０３と接続されている。そのため、時間カウンター４０６は、画素２０１ａ、２０１ｂ、２０１ｃ、２０１ｄのうち、最も単位時間当たりに入射する光の量が多い画素において、画素への光の入射を開始してから、画素が飽和するまでの時間を計測していることになる。

飽和するまでの時間が短いほど、画素に単位時間当たりに入射する光の量が多い（明るい）ことを意味するため、飽和するまでの時間を計測することで、時間カウンター４０６の計測値から、４つの画素のうち、最も明るい画素の明るさ情報を取得することができる。

４つの光子カウンターのうち、最も明るい画素の計測値は、必ず第１の閾値であるが、それ以外の３つの光子カウンターは、最も明るい画素の計測値が第１の閾値に達した時点での、各々の光子計測値である。そのため、光子カウンター４０３の計測値から、４つの画素のうち、最も明るい画素以外の３つの画素の、最も明るい画素に対する相対的な明るさ情報を取得することができる。従って、時間カウンター４０６の計測値と、光子カウンターの計測値を組み合わせることで、４つの画素の明るさ情報をすべて取得することができる。具体的な画素信号の復元処理については後述する。

＜選択回路＞
選択回路４０７は、図３の垂直走査回路３０２から垂直選択線３１１を介して供給される、ｎ番目の行を読出すための垂直選択信号ＶＳＥＬにより、光子カウンター４０３、時間カウンター４０６と垂直信号線３１０との電気的な接続、非接続を切り替える。順次読みだされた画素計測値、時間計測値は列回路３０３に送られて、信号復元部３０６、水平出力回路３０７を経て光電変換装置１００の外部に出力される。垂直選択線３１１から供給される読出し用の選択信号により、選択回路４０７で画素計測値、時間計測値を読み出した後、光子カウンター、時間カウンターは垂直選択線３１１を介して供給されるリセット信号によりリセットされ、再度各々のカウントを再開する。

なお、図４では各列の光子カウンター用の垂直信号線３１０のほかに時間カウンター用の垂直信号線３１０を別に設ける構成としてもよい。

例えば、４つの画素のうち、最も明るい画素の光子計測値は必ず第１の閾値に一致するはずなので、最も明るい画素の光子計測値の代わりに、時間計測値を読みだしてもよい。具体的には、垂直選択信号ＶＳＥＬにより、時間カウンターが接続されている画素の光子計測値を読み出す制御信号が来た場合に時間計測値を読み出せばよい。このような構成とすることで、読みだす信号量を減少させることができ、消費電力を低減させることができるため、好ましい。

また、４つの画素のうち第１の閾値に達した画素を識別するためのフラグ信号、第１の閾値に達した画素の時間計測値、第１の閾値に達しなかった３画素分の光子計測値を、マルチプレクサ回路などを用いて１つの信号線にまとめて出力してもよい。

＜光子カウンターの切り替え：変形例１＞
ここで、光子のカウントの途中で、スイッチ４０４によって時間カウンターの接続先となる光子カウンターを切り替える方法について説明を行う。まず、一つ目の方法として、周辺の走査回路を使用し、各々の画素のスイッチを順次切り替える方法について説明を行う。この方法の場合、時間計測を行う画素を選択するタイミングを制御するタイミング制御回路４１０は、図４ａのように、周辺の走査回路部に位置している。

前述したように、時間カウンター４０６は、光子カウンター４０３ａ、４０３ｂ、４０３ｃ、４０３ｄのいずれかの計測値が、第１の閾値Ｃｘに達するまでの時間をカウントする。そのため、スイッチ４０４は、光子カウンターの計測値が特定の閾値に達する前でかつ時間カウンターの閾値（第１の所定時間）に達する前に、光子カウンター４０３ａ、４０３ｂ、４０３ｃ、４０３ｄの計測値を比較する必要がある。

そこで、光電変換装置１００は、図３の垂直走査回路１１０中のリクエスト信号送付回路から垂直選択線３１１を介して、一定の間隔（第１の所定時間より短い第２の所定時間）でリクエスト信号を各々の画素の信号処理部３０１に送る。信号処理部３０１がリクエスト信号送付回路からリクエスト信号を受け取った際、判定回路４０５は、４つの光子カウンター４０３ａ、４０３ｂ、４０３ｃ、４０３ｄのいずれかが、第１の閾値よりも小さい第二の閾値に達しているかどうかを判定し、判定結果を垂直走査回路１１０に送付する。垂直走査回路１１０は判定結果を受けて、時間カウンターの接続先を、第２の閾値に達している光子カウンターに切り替える。

リクエスト信号を１フレームが完了するまでに複数回送ることで、４つの光子カウンター４０３ａ、４０３ｂ、４０３ｃ、４０３ｄのうち、最も大きい計測値が第２の閾値に達した時点で、時間カウンターの接続先を切り替えることができる。即ち、４つの画素のうち、最も明るい画素の計測値が第１の閾値に達する前に、時間カウンターの接続先を、最も明るい画素に切り替えることができる。このような構成とすることで、時間カウンター４０６の計測値から、４つの画素のうち、最も明るい画素の明るさ情報を取得することができる。

言い換えると、本実施形態における光電変換装置は、時間カウンターを複数の画素で共有することで、回路規模を抑制している。そして、時間カウンターを複数の画素で共有したことによって生じる課題を、時間カウンターの接続先を途中で切り替えることで解決している。以下で、課題について説明を行う。

図５は、時間と光子計測値の関係を説明する図である。図５（ａ）は、時間カウンターを共有する複数の画素間で、時間カウンターが接続されている画素の感度が最も高い場合である。一方、図５（ｂ）は、時間カウンターを共有する複数の画素間で、時間カウンターが接続されている画素の感度よりも高い感度を有する他の画素がある場合である。

図５（ａ）のように、時間カウンターが接続された光子カウンターの画素感度が最も高い場合には、時間カウンターが接続された光子カウンターが飽和するまでの時間を計測することで、複数の画素の明るさ情報を取得することができる。一方、図５（ｂ）のように、時間カウンターが接続された光子カウンターよりも画素感度の高い他の画素がある場合には、時間カウンターが接続された光子カウンターが飽和するよりも前に、時間カウンターが接続されていない光子カウンターが飽和してしまう。その場合、時間カウンターが接続された光子カウンターが飽和するまでの時間を計測したとしても、既に飽和してしまった画素の明るさ情報を取得することができない。このように、時間カウンターを複数の画素で共有した場合、被写体によっては、明るさ情報を正しく取得できない場合がある。

この課題を解決するために、本実施形態における光電変換装置は、最も画素感度が高い画素に、時間カウンターの接続先を切り替えることで、時間カウンターが接続されていない光子カウンターが飽和しないようにする。

＜カウンターの切り替え：変形例２＞
次に、二つ目の方法として、各々の画素に、スイッチを切り替える回路を配置する場合について説明を行う。この方法の場合、時間計測を行う画素を選択するタイミングを制御するタイミング制御回路４１０は、図４ｂのように、各々の画素の信号処理部に位置している。

前述したように、時間カウンター４０６は、光子カウンター４０３ａ、４０３ｂ、４０３ｃ、４０３ｄのうち、最もカウント数の多い光子カウンターの計測値が、第１の閾値に達するまでの時間をカウントする。そのため、スイッチ４０４は、光子カウンターの計測値が特定の閾値に達する前に、光子カウンター４０３ａ、４０３ｂ、４０３ｃ、４０３ｄの計測値を比較する必要がある。

そこで、判定回路４０５において、光子カウンター４０３ａ、４０３ｂ、４０３ｃ、４０３ｄのいずれかが、第１の閾値よりも小さい第二の閾値に達しているかどうかを判定する。そして、時間カウンターの接続先を、第二の閾値に達している光子カウンターに切り替える。例えば、第１の閾値が飽和レベル、第二の閾値が飽和レベルの半分であった場合、判定回路４０５に、４つの光子カウンターの計測値の上位２ビットの論理和回路を設け、論理和回路の出力が１になった時点で、時間カウンターの接続先を切り替えればよい。このような構成とすることで、時間カウンター４０６の計測値から、４つの画素のうち、最も明るい画素の明るさ情報を取得することができる。

＜切り替え動作を複数回行う：変形例３＞
なお、カウンターの切り替えは１フレーム内に複数回制御してもよい。例えば、複数の光子カウンターの計測値の差異が小さい場合、フォトンショットノイズの影響で、どちらの光子カウンターが先に飽和するかが予測できない場合がある。そのため、複数の光子カウンターのいずれかが、第二の閾値に達したタイミングで、計測値が最も大きい光子カウンターＡと、その次に大きい光子カウンターＢの計測値の差異が、第三の閾値よりも小さい場合、カウンターの切り替えを再度行ったほうが良い。第三の閾値は、フォトンショットノイズで決めればよく、例えば第二の閾値の平方根、またはその２倍程度とすればよい。

具体的には、カウンターの切り替えを一度行った後、複数の光子カウンターのいずれかが、第二の閾値よりも大きく、第１の閾値よりも小さい第四の閾値に達したかどうかを判定する。そして、時間カウンターの接続先を、第四の閾値に達している光子カウンターに切り替える。このように、時間カウンターの接続先を複数回切り替えることで、時間カウンターの接続先が、最も画素感度が高い画素である確率が向上する。なお、この時、第四の閾値に達しているかどうかを判定する光子カウンターは、光子カウンターＡと、光子カウンターＢのみでよい。なぜなら、光子カウンターＡ、Ｂ以外の光子カウンターは、フォトンショットノイズの影響を考慮したとしても、光子カウンターＡ、Ｂよりも先に飽和する可能性が低いためである。

＜信号復元部＞
信号復元部３０６は、時間カウンター４０６でカウントした時間計測値および、光子カウンター４０３でカウントした光子計測値を、被写体の明るさ情報を表す画素信号に復元する。時間計測値をＴ０、４つの画素２０１ａ、２０１ｂ、２０１ｃ、２０１ｄの光子計測値を各々、Ｐ１、Ｐ２、Ｐ３、Ｐ４とした時、各々の画素信号値Ｃ１、Ｃ２、Ｃ３、Ｃ４は以下の式で求めることができる。
Ｃ１＝Ｋ×Ｐ１／Ｔ０、Ｃ２＝Ｋ×Ｐ２／Ｔ０
Ｃ３＝Ｋ×Ｐ３／Ｔ０、Ｃ４＝Ｋ×Ｐ４／Ｔ０
Ｋは自然数であり、Ｃ１、Ｃ２、Ｃ３、Ｃ４が１ＬＳＢ未満にならないような値に決定すると好ましい。具体的には、Ｋ＝時間計測値の最大値、とすればよい。

＜一定時間後に光子計測値を出力：変形例４＞
なお、判定回路４０５は、所定の時間（第１の所定時間）経過しても、時間カウンターが接続されている光子カウンターの計測値が、第１の閾値に達しない場合には、時間カウンター４０６を止めて、その時点での光子計測値を出力する構成としてもよい。このような構成とすることで、被写体の明るさが非常に暗い場合に、フレームレートが遅くなってしまう、という課題を解決することができる。所定の時間は、時間カウントの最大値に設定すると好ましい。

＜分光感度、ベイヤー配列＞
図３、図４の例では、４つの画素２０１に対して、１つの信号処理部３０１が接続されている例を示したが、１つの信号処理部３０１に対して接続される画素数が２以上であれば、回路規模を削減することができる。具体的には、光子カウンターは画素毎に、時間カウンターは複数画素で共有する構成となっていればよい。

なお、各々の画素２０１がオンチップカラーフィルタを有しており、分光情報を取得可能に構成されていてもよい。例えばベイヤー配列のカラーフィルタを想定した場合、２ｘ２の４画素に対して１つの信号処理部３０１を設ける構成とすることで、ベイヤー画素単位での明るさ情報取得が可能となるため、好ましい。すなわち、時間カウンターを共有する画素間の少なくとも一部で、分光感度が異なっていると好ましい。

仮に、各々の画素の分光感度が異なっていない場合、複数の画素の画素カウント値が同時に第１の閾値Ｃｘに達する場合がある。その場合には、複数の画素が第１の閾値Ｃｘに達した時点での時間計測値を画素値として保持する。そして、非図示のリクエスト回路から送られたリクエスト信号が来たタイミングで、保持していた時間カウンター４０６の計測値を周辺回路に送る。その後、時間カウンターの接続先を、第１の閾値Ｃｘに達していない画素のいずれかに接続する。その後は、時間カウンターが接続された画素の画素カウント値が第１の閾値Ｃｘに達するたびに、同じ動作を繰り返せばよい。

また、ベイヤー配列の場合、一般的な被写体では緑画素の感度が最も高いため、時間カウンターの初期の接続先を緑画素にしておく方が好ましい。更に、複数フレームの動画を取得する場合、前フレームの赤画素、緑画素、青画素の値を比較し、次のフレームでは、時間カウンターの初期の接続先を、前フレームで最も感度の高かった画素に接続するようにすると更に好ましい。

＜撮像装置＞
図６は、光電変換装置１００を用いた撮像装置５００のブロック図である。

撮像装置５００は、例えばデジタルカメラであり、光電変換装置１００を含む撮像装置であり、レンズ５０１、画像処理部５０２、光学制御部５０３、記憶部５０４、通信部としての無線のＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）部５０５を含む。

レンズ５０１は被写体の光学像を形成し、形成した光学像を光電変換装置１００の撮像面に入射し、フォーカスレンズ、ズームレンズ、及び、絞り等が備えられている。光電変換装置１００では、レンズ５０１によって形成される光学像を撮像する。光電変換装置１００から読みだした信号は、画像処理部５０２に出力する。画像処理部５０２は、光電変換装置１００から出力される信号に対して信号の並べ替え、欠陥画素の補正、ノイズリダクション、色変換、ホワイトバランス補正、ガンマ補正、データ圧縮等の処理をし、画像を生成する。尚、画像処理部５０２にはコンピュータとしてのＣＰＵが内蔵されており、記憶媒体としてのメモリに記憶されたコンピュータプログラムに基づき撮像装置５００全体の各部の動作を制御する制御手段として機能する。光学制御部５０３は、レンズ５０１に備えられたフォーカスレンズ、ズームレンズ、絞り等の制御を行う。記録部５０４には、不図示の記録媒体が装着され、画像処理部から出力する映像を記憶媒体に保存する。かかる記録媒体としては、例えば、メモリカード等が用いられる。なお、記録媒体として、ハードディスク等が用いられてもよい。通信部としての無線のＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）部５０５は、画像処理部５０２で生成した画像信号を撮像装置５００の外部に出力する。５０６はネットワークであり、例えば、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成され、クライアントが、ネットワーク５０６を介して撮像装置５００を制御する。

＜フローチャート＞
図７は、本発明の光電変換装置が実行する動作を説明するフローチャートである。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。Ｓ７００において、スイッチ４０４は、時間カウンター４０６を、４つの光子カウンター４０３ａ、４０３ｂ、４０３ｃ、４０３ｄのいずれかに初期接続する。初期の接続先は任意に選択してもよいし、前のフレームの情報を使用してもよい。

Ｓ７０１において、４つの光子カウンターの計測値のいずれかが、第二の閾値に達しているかどうかの判定を行う。計測値が第二の閾値に達していなければ、時間カウンターの接続先を初期接続のままで、光子のカウントと時間のカウントを継続する。計測値が第二の閾値に達していれば、Ｓ７０２に進み、時間カウンターの接続先を、第二の閾値に達した光子カウンターに切り替える。

Ｓ７０３では、切り替えた後の時間カウンターが接続されている光子カウンターの計測値が、第１の閾値に達したかどうかを判定する。そして、Ｓ７０４において、光子カウンターの計測値が、第１の閾値に達した時点で、時間カウンターでの時間のカウントを停止し、光子のカウント数および時間のカウント数を出力する。

＜その他の実施形態＞
尚、実施形態においては、撮像装置として例えばデジタルカメラに適用した例について説明した。しかし、撮像装置はデジタルムービーカメラ、カメラ付きのスマートフォン、カメラ付きのタブレットコンピュータ、車載カメラ、ドローンカメラ、ロボットに搭載されたカメラ、ネットワークカメラなどの撮像機能を有する電子機器等を含む。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明は上記実施形態に限定されるものではなく、本発明の主旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。

尚、本実施例実施形態における制御の一部又は全部を上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して光電変換装置や撮像装置等に供給するようにしてもよい。そしてその光電変換装置や撮像装置等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

１００ 光電変換装置
５００ 撮像装置
５０１ レンズ
５０２ 画像処理部
５０３ 光学制御部
５０４ 記憶部
５０５ Ｉ／Ｆ部

Claims (19)

1. 入射した光子に応じて信号を出力する光電変換部を備えた画素を有する光電変換装置であって、
   前記画素に入射した前記光子の数を計測する第１の計測手段と、
   前記第１の計測手段が前記計測を開始してから前記第１の計測手段の計測値が第１の閾値に達するまでの時間を計測する第２の計測手段と、
   複数の前記第１の計測手段のうち、計測値が前記第１の閾値よりも小さい第２の閾値に最も速く達した第１の計測手段を選択して前記第２の計測手段と接続する選択手段と、
   前記選択手段によって前記第２の計測手段の接続を切り替えるタイミングを制御する制御手段と、を有することを特徴とする光電変換装置。
2. 前記制御手段は、所定の時間毎に、前記複数の第１の計測手段のそれぞれの計測値に基づいて、前記選択手段による前記第２の計測手段の接続の切り替えを行うか否かを判定することを特徴とする請求項１に記載の光電変換装置。
3. 前記制御手段は、複数の前記画素から成る部分画素領域毎に配置され、前記部分画素領域に含まれる前記画素に対応する前記第１の計測手段による計測値が、前記第１の閾値より小さい前記第２の閾値より大きいか否かを判定し、
   前記選択手段は、前記計測値が前記第２の閾値より大きい前記第１の計測手段に接続を切り替えることを特徴とする請求項１または２に記載の光電変換装置。
4. 前記選択手段は、前記部分画素領域に含まれる前記画素に対応する前記第１の計測手段による計測値が最も大きい前記第１の計測手段に、前記第２の計測手段を接続することを特徴とする請求項３に記載の光電変換装置。
5. 前記制御手段は、前記画素毎に配置され、それぞれの前記画素に対応する前記第１の計測手段による計測値が、前記第１の閾値より小さい前記第２の閾値より大きいか否かを判定し、
   前記選択手段は、前記計測値が前記第２の閾値より大きい前記第１の計測手段に接続を切り替えることを特徴とする請求項１または２に記載の光電変換装置。
6. 前記画素に対応する前記第１の計測手段による計測値または、前記第２の計測手段による計測値を出力する出力手段を更に有することを特徴とする、請求項１乃至５のいずれか１項に記載の光電変換装置。
7. 前記出力手段は、複数の前記画素のそれぞれの前記画素に対応する前記第１の計測手段による計測値のうち、前記第１の閾値に達した前記第１の計測手段以外の前記第１の計測手段による計測値と、前記第２の計測手段による計測値と、を出力することを特徴とする請求項６に記載の光電変換装置。
8. 前記出力手段は、複数の前記画素から成る部分画素領域に含まれる前記第１の計測手段の計測値と、前記第２の計測手段による計測値と、を１つの信号にまとめて出力することを特徴とする請求項６または７に記載の光電変換装置。
9. 前記出力手段は、前記第２の計測手段の計測値が第１の所定時間に達した場合、それぞれの前記画素に対応する前記第１の計測手段による計測値を出力することを特徴とする請求項６乃至８のいずれか１項に記載の光電変換装置。
10. それぞれの前記画素に対応する前記第１の計測手段による計測値または、前記第２の計測手段の時間の計測値に基づいて画素信号を復元する信号復元手段を更に有することを特徴とする請求項１乃至８のいずれか１項に記載の光電変換装置。
11. 前記第１の計測手段は、複数の前記画素毎に配置され、
    前記第２の計測手段は、分光感度が互いに異なる複数の前記画素を含む部分画素領域毎に配置されることを特徴とする請求項１乃至１０のいずれか１項に記載の光電変換装置。
12. 前記第２の計測手段は、前記複数の画素のうち、前のフレームにおいて、最も感度の高かった画素に対応する前記第１の計測手段に接続されることを特徴とする請求項１１に記載の光電変換装置。
13. 前記光電変換装置は、赤画素、青画素、緑画素を有し、
    前記第２の計測手段は、初期状態において、前記緑画素に対応する前記第１の計測手段に接続されることを特徴とする請求項１１に記載の光電変換装置。
14. 前記制御手段は、リクエスト信号に基づいて、複数の前記画素のそれぞれに対応する前記第１の計測手段の計測値が、前記第１の閾値よりも小さい前記第２の閾値に達しているかどうかを判定し、
    前記選択手段は、判定結果に基づいて、前記第２の計測手段の接続先を、計測値が前記第２の閾値に達している前記第１の計測手段に切り替えることを特徴とする請求項１乃至１３のいずれか１項に記載の光電変換装置。
15. 前記制御手段は、時間計測を行う画素を選択するタイミングを、１フレーム内で複数回制御することを特徴とする請求項１乃至１４のいずれか１項に記載の光電変換装置。
16. 前記光電変換部は、光子の入射を検出するアバランシェフォトダイオードを有することを特徴とする請求項１乃至１５のいずれか１項に記載の光電変換装置。
17. 請求項１乃至１６のいずれか１項に記載の光電変換装置を有することを特徴とする撮像装置。
18. 入射した光子に応じて信号を出力する光電変換部を備えた画素と、前記画素に入射した前記光子の数を計測する第１の計測手段と、
    前記第１の計測手段が前記計測を開始してから前記第１の計測手段の計測値が第１の閾値に達するまでの時間を計測する第２の計測手段と、を有する光電変換装置を制御する制御方法であって、
    複数の前記第１の計測手段のうち、計測値が前記第１の閾値よりも小さい第２の閾値に最も速く達した第１の計測手段を選択して前記第２の計測手段と接続する選択工程と、
    前記選択工程によって前記第２の計測手段の接続を切り替えるタイミングを制御する制御工程と、を有することを特徴とする制御方法。
19. コンピュータを請求項１乃至１６のいずれか１項に記載の光電変換装置又は請求項１７に記載の撮像装置の各手段として機能させるためのコンピュータプログラム。