JP7120180B2

JP7120180B2 - イメージセンサ

Info

Publication number: JP7120180B2
Application number: JP2019145685A
Authority: JP
Inventors: 敏樹金道
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2019-08-07
Filing date: 2019-08-07
Publication date: 2022-08-17
Anticipated expiration: 2039-08-07
Also published as: JP2021026621A; US11212469B2; CN112351226B; CN112351226A; US20210044764A1

Description

本開示は、イメージセンサに関する。

特許文献１は、移動体の情報を取得する装置を開示する。この装置は、時間相関イメージセンサ及び処理装置を備える。時間相関イメージセンサは、入射光強度と全画素共通の参照信号との間の時間相関を画素ごとに出力する。時間相関イメージセンサは、フォトダイオード検出器、トランジスタ及びコンデンサを備える。フォトダイオード検出器は、入射フォトンを光電流に変換する。トランジスタは、フォトダイオード検出器により変換された光電流と全画素共通の参照信号との間の積に比例する電流を、ゲート電圧の制御によって生成する。コンデンサは、トランジスタにより生成された電流の電荷を蓄積する。時間相関イメージセンサは、コンデンサに蓄積された電荷に基づいて信号を出力する。

処理装置は、時間相関イメージセンサにより出力された信号に基づいて、強度画像及び相関画像を同一タイミングで生成する。強度画像は画素ごとの入射光強度を示す画像である。相関画像は、入射光強度と全画素共通の参照信号との時間相関を画素ごとに生成した画像である。処理装置は、強度画像及び相関画像に基づいて、移動体のオプティカルフローを算出する。これにより、異なる時刻に撮像された複数の画像を用いずに移動体のオプティカルフローが得られる。

特開２００７－３０５０６１号公報

特許文献１記載の時間相関イメージセンサは、相関画像について十分なダイナミックレンジを実現できないおそれがある。例えば、フォトダイオード検出器により検出される光量が増大すると、キャパシタに蓄積される電荷量も増大する。このため、相関画像のダイナミックレンジは、キャパシタの容量に依存し、制限される。

ここで、キャパシタの容量上限になる前に暫定的な相関画像を出力させることが考えられる。つまり、単位時間あたりのフレーム数を増加させることが考えられる。例えば、時間相関イメージセンサは、キャパシタの容量上限になる前に暫定的な相関画像を出力し、処理装置は、出力された複数の暫定的な相関画像を参照信号の周期にわたって積分する。これにより、キャパシタの容量に依存せず、参照信号の周期に対応する最終的な相関画像が得られるので、キャパシタの容量上限に起因したダイナミックレンジの制限は解消する。しかしながら、単位時間あたりのフレーム数が増加すると計算コストが増大するため、高性能のハードウェアを用意する必要がある。

本開示は、ダイナミックレンジの制限を改善したイメージセンサを提供する。

本開示の一形態は、イメージセンサである。イメージセンサは、イベントベースセンサ及び相関画像生成部を備える。イベントベースセンサは、画素ごとの輝度変化をイベントとして検出し、イベントが検出された検出時刻と、イベントが発生した画素位置と、画素値の変化とを含むイベント信号を、イベントが検出されるごとに出力する。相関画像生成部は、イベント信号と所定周期の参照信号とに基づいて、イベント信号と参照信号との画素ごとの相関を示す相関画像を生成する。

このイメージセンサにおいては、イベントベースセンサによって画素ごとの輝度変化がイベントとして検出される。イベント信号は、イベント検出のタイミングで出力される。相関画像は、イベント信号と所定周期の参照信号とに基づいて生成される。このように、相関画像の全画素が連続的に生成されるのではなく、イベントに対応する相関画像の画素のみが生成（更新）される。このため、このイメージセンサは、相関画像の全画素を連続的に生成する場合と比べて、計算コストを低減することができる。

一実施形態においては、相関画像生成部は、任意の基準時刻から少なくとも所定周期だけ過去に遡った所定期間においてイベントベースセンサにより出力された、イベント信号を記憶するバッファと、バッファに記憶されたイベント信号に基づいて相関画像を生成する生成部とを有してもよい。

この場合、イメージセンサは、バッファに記憶された所定期間のイベント信号に基づいて相関画像を生成することができる。時間相関イメージセンサは、１フレームの周期の相関を積分して相関画像を得るため、１フレームの周期に合わせたタイミングでしか相関画像を得ることができない。これに対して、このイメージセンサにおいては、バッファが、基準時刻から過去に遡って１フレームの周期のイベント信号をバッファが記憶している。このため、このイメージセンサは、任意のタイミングで相関画像を出力することができる。

一実施形態においては、相関画像生成部は、相関画像と画素ごとの更新時刻とを記憶する記憶部と、イベントベースセンサによりイベント信号が出力される度に、出力されたイベント信号と参照信号と記憶部に記憶された相関画像と更新時刻とに基づいて、記憶部に記憶された相関画像と更新時刻とを更新する画像更新部と、記憶部に記憶された相関画像と更新時刻と任意の読み出し時刻とに基づいて、読み出し時刻における相関画像を出力する読出部とを有してもよい。

この場合、記憶部に記憶された相関画像がイベント発生の度に更新され、更新時刻が記憶される。更新時刻が記憶されることにより、イベント信号に含まれる画素値の変化は、前回のイベント発生からの経過時間における画素値の変化として捉えることができる。よって、このイメージセンサは、最新の相関画像を保持することができる。そして、読出部によって、更新時刻に基づいて読み出し時刻における相関画像が得られる。このため、このイメージセンサは、任意の読み出しタイミングで画素を出力することができる。

本開示によれば、ダイナミックレンジの制限を改善したイメージセンサが提供される。

第１実施形態に係るイメージセンサを備える画像生成装置の構成概要を説明するブロック図である。第２実施形態に係るイメージセンサを備える画像生成装置の構成概要を説明するブロック図である。第３実施形態に係るイメージセンサを備える画像生成装置の構成概要を説明するブロック図である。相関画像記憶部の更新動作を示すフローチャートである。相関画像記憶部の更新動作を説明するタイムチャートである。

以下、種々の例示的実施形態について説明する。以下の説明において、同一又は相当要素には同一符号を付し、重複する説明は繰り返さない。

［第１実施形態］
（時間相関イメージセンサの概要）
一般的な時間相関イメージセンサの概要を述べる。時間相関イメージセンサのイメージャの１つの画素は、１つの光ダイオードと、光ダイオードから生じた電荷を外部からの参照信号に従って３つのキャパシタに振り分ける構成を有する。参照信号は、概して三相交流である。画像を生み出す画素ごとの光電流は、以下の数式１に従う。

ｆ（ｘ，ｙ，ｔ）は時刻ｔにおける画素（ｘ，ｙ）の明度であり、ｖは画素（ｘ，ｙ）の速度である。

１フレームの画像を取得する撮像時間（シャッター開放時間）をＴとし、画像ｇ（ｘ，ｙ）を以下の数式（２）のように表す。

数式（２）に示されるように、画像は、明度ｆ（ｘ，ｙ，ｔ）に複素数の参照信号e^-inΔ _ω ^ｔを乗じて１フレーム時間の積分を演算した値となる。撮像された画像ｇ（ｘ，ｙ）は以下の数式（３）を満たすとする。

数式（３）の第二項は積分境界値である。数式（３）は連立方程式をなしているため、例えば２つの画像ｇ_０（ｘ，ｙ）、ｇ_１（ｘ，ｙ）を用いて連立方程式を解くことで、積分境界値を消去することができる。時間相関イメージセンサは、実部のみからなる強度画像ｇ_０（ｘ，ｙ）と、複素数の相関画像ｇ_ｎ（ｘ，ｙ）の実部と虚部を出力することができる（以下では、複素数の相関画像を時間相関信号ともいう。）。このため、センサ検出結果を数式（３）の連立方程式に代入して解くことで各画素における速度ｖ、つまりオプティカルフローを得ることができる。

時間相関イメージセンサにおいては、数式（２）に示されるように、１フレーム時間の積分を演算する必要がある。このため、相関画像の出力タイミングは、１フレーム時間単位に限定される。時間相関イメージセンサにおいては、参照信号の周期とシャッターの開放時間とを一致させている。このため、相関画像の出力は、シャッターの開放時間の周期タイミングで出力される。

（イベントベースセンサの概要）
一般的なイベントベースセンサの概要を述べる。イベントベースセンサは、撮像範囲内の輝度変化を検出し、イベント信号をイベントが検出されるごとに出力する。イベントベースセンサは、例えばマトリックス状に配置された複数の画像素子によって構成される。イベント信号とは、イベントに関連付けられた信号である。イベントとは、画素の輝度変化である。イベント信号は、一例として、イベントが検出された検出時刻と、イベントが発生した画素位置と、画素値の変化とを含む。イベントが検出された時刻は、イベントベースセンサの内部時計（イベントカメラ時刻）を基準に計測されてもよい。イベントが検出された時刻の基準は、必要に応じてリセットされ得る。画素値の変化は、例えば輝度の変化である。画素値の変化は、変化量そのものであってもよいし、輝度変化の正負を示す情報であってもよい。イベントベースセンサは、輝度変化が生じたときのみイベント信号を出力する。つまり、イベントベースセンサは、イベント信号を非同期に出力する。非同期に出力とは、全画素で同期することなく、画素単位で時間的に独立した出力を行うことを意味する。

イベントベースセンサの動作を数式で表現すると以下の数式（４）となる。

Ｙ（ｘ，ｙ，ｔ）は時刻ｔのときの画像である。時刻ｔ_０は計測開始の時刻であり、画像Ｙ（ｘ，ｙ，ｔ_０）は時刻ｔ_０に記憶されていた初期の画像である。一般的に、画像Ｙ（ｘ，ｙ，ｔ_０）は０とすることができる。ΔＹはイベント発生の閾値（輝度変化の絶対値）である。ｐ（ｘ，ｙ，ｓ_ｉ）は画素（ｘ，ｙ）でｉ番目に起きたイベント信号であり、ｐ（ｘ，ｙ，ｓ_ｉ）＝±１としている。

（イベントベースセンサへの時間相関機能の適用）
イベントベースセンサにおいて、時間相関イメージセンサのような時間相関信号を出力する機能を付与することができるか否かを考察する。時刻ｔをフレームの終点とした場合、時間相関カメラの信号は、角速度ω＝２π／Ｔとして以下の数式（５）～数式（７）のように表現できる。

一般的な時間相関カメラは光ダイオードからの電流をキャパシタに蓄積することで輝度を表現しているのに対して、イベントベースセンサは、光ダイオードからの電流の変化を量子化して表現している。このため、イベントベースセンサにおいて、時刻ｓの光ダイオードからの電流は、以下の数式（８）に示されるように、計測期間で一定値となる項と、それからの変位項とに分けることができる。

そして、参照信号の性質を考慮すると、以下に示す数式（９），（１０）が成立する。

数式（９），（１０）の関係を用いつつ、数式（５）～数式（７）を定数項と変位項との数式に書き換えると、以下の数式（１１）～数式（１３）のように表現できる。

イベントベースセンサにおいて、以下の数式（１４）に示されるように、時間相関カメラの光ダイオードの電流をイベント信号に置き換える。

これにより、数式（１１）～数式（１３）は、以下の数式（１５）～数式（１７）のように表現することができる。

数式（１５）～数式（１７）に示されるように、相関を取得する期間（周期Ｔ）の間に発生しているイベントを用いて時間相関信号を出力できる。

（イメージセンサの構成）
図１は、第１実施形態に係るイメージセンサを備える画像生成装置の構成概要を説明するブロック図である。図１に示される画像生成装置１０は、一例として、ＣＰＵ（Central Processing Unit）、ＲＯＭ（Read OnlyMemory）、ＲＡＭ（Random Access Memory）などを備える一般的なコンピュータとして構成される。画像生成装置１０は、イベントベースセンサ１１、強度画像更新部１２、強度画像記憶部１３、及び、相関画像生成部１４を備える。イメージセンサ１は、イベントベースセンサ１１及び相関画像生成部１４を含んで構成される。

イベントベースセンサ１１は、上述したとおり、撮像範囲内の輝度変化を検出し、イベント信号を非同期に出力する。強度画像記憶部１３は、強度画像を記憶する。強度画像更新部１２は、イベントベースセンサ１１により出力されたイベント信号に基づいて、強度画像記憶部１３に記憶された強度画像を更新する。つまり、イベントベースセンサ１１、強度画像更新部１２及び強度画像記憶部１３によって一般的なイベントカメラの機能が実現する。

相関画像生成部１４は、イベントベースセンサ１１により出力されたイベント信号と所定周期の参照信号とに基づいて、イベント信号と参照信号との画素ごとの相関を示す相関画像を生成する。具体的な一例として、相関画像生成部１４は、上述した数式（１５）～数式（１７）を用いて相関画像を生成する。

以上のように構成された画像生成装置１０は、イベントベースセンサ１１を用いて時間相関イメージセンサと等価な強度画像ｇ_０（ｔ）及び相関画像ｇ_１（ｔ）を出力することができる。

（第１実施形態のまとめ）
イメージセンサ１においては、イベントベースセンサ１１によって画素ごとの輝度変化がイベントとして検出される。輝度変化は、時間相関イメージセンサのキャパシタの容量変化に相当する。このため、イメージセンサ１は、イベントベースセンサ１１を用いることで、キャパシタを備える必要がなくなることから、キャパシタの容量上限に起因したダイナミックレンジの制限が解消する。そして、イベント信号は、イベント検出のタイミング、つまり非同期で出力される。相関画像は、非同期のイベント信号と所定周期の参照信号とに基づいて生成される。このように、相関画像の全画素が連続的に生成されるのではなく、イベントに対応する相関画像の画素のみが非同期に生成（更新）される。このため、イメージセンサ１は、相関画像の全画素を連続的に生成する場合と比べて、計算コストを低減することができる。

［第２実施形態］
第２実施形態に係るイメージセンサ１Ａは、第１実施形態に係るイメージセンサ１と比較して、相関画像生成部の機能が一部相違し、その他は同一である。第２実施形態においては、第１実施形態と重複する説明は省略し、相違点を中心に説明する。

図２は、第２実施形態に係るイメージセンサを備える画像生成装置の構成概要を説明するブロック図である。図２に示されるように、画像生成装置１０Ａは、イメージセンサ１Ａを備える。イメージセンサ１Ａは、イベントベースセンサ１１及び相関画像生成部１４Ａを備える。相関画像生成部１４Ａは、バッファ更新部１４０、バッファ１４１及び生成部１４２を備える。

バッファ１４１は、イベントベースセンサ１１により出力されたイベント信号を記憶する。バッファ更新部１４０は、バッファ１４１に記憶されるイベント信号が、任意の基準時刻から少なくとも所定周期だけ過去に遡った所定期間においてイベントベースセンサにより出力されたイベント信号となるように、バッファ１４１を更新する。基準時刻は、予め定義された時刻であり、一例として現在時刻である。基準時刻は、現在時刻から前後した時刻であってもよい。所定周期は、上述した参照信号の周期Ｔである。バッファ更新部１４０は、一例として、所定期間分のイベント信号を先入後出法によってバッファ１４１に格納する。これにより、バッファ１４１は、相関を取得する期間（周期Ｔ）分の最新のイベント信号を常に保持することができる。

生成部１４２は、バッファ１４１に記憶されたイベント信号に基づいて相関画像を生成する。具体的な一例として、相関画像生成部１４は、上述した数式（１５）～数式（１７）を用いて相関画像を生成する。その他の構成は、第１実施形態のイメージセンサ１と同一である。

相関画像生成部１４は、連続的に相関画像を生成する場合、積分の計算コストを低減するために、漸化式型に定式化された数式を用いてもよい。数式（１５）～数式（１７）は、時刻ｔから経過時間δｔだけ経過した場合、以下のように表すことができる。

数式（１８）～数式（２０）を変形し、経過時間δｔが相関を取得する周期Ｔよりも十分小さい場合を仮定することにより、以下の漸化式（２１）が得られる。

漸化式（２１）は、相関画像を短周期（δｔ＜＜Ｔ）で更新する場合に適用することができる。漸化式（２１）を用いることにより、積分の演算を、前回値を用いた単純な掛け算と足し算に落とし込むことができる。これにより、演算コストを低減することができる。

［第２実施形態のまとめ］
相関を取得する期間分のイベント信号が常にバッファ１４１に保持されるため、生成部１４２は、任意のタイミングであっても相関画像を生成することができる。第１実施形態において説明されたとおり、時間相関イメージセンサにおいては、相関画像の出力タイミングがシャッターの開放時間の周期タイミングに限定されていた。このイメージセンサ１Ａは、バッファ１４１を備えることで、相関画像を任意のタイミングで出力することができる。

［第３実施形態］
第３実施形態に係るイメージセンサ１Ｂは、第１及び第２実施形態に係るイメージセンサ１，１Ａと比較して、相関画像生成部の機能が一部相違し、その他は同一である。第３実施形態においては、第１及び第２実施形態と重複する説明は省略し、相違点を中心に説明する。

第２実施形態に係るイメージセンサ１Ａにおいては、バッファ１４１を備えることで相関画像を任意のタイミングで出力する構成となった。以下では、バッファ１４１を省略する方法を考察する。

関数Ｘ（ｓ）の区分積分は、以下のように指数関数で重み付けた積分によって近似できる。

上記式を適用し、時間相関信号の区分積分を、指数関数で重み付けた積分によって近似することにより、時刻ｔ－Ｔに限定された積分区間の計算を消し去ることができる。具体的に、数式（１５）～数式（１７）は、以下のように簡略化することができる。

さらに、数式（２２）～数式（２４）を、第２実施形態において説明した漸化式（２１）のように書き下すと、以下の漸化式（２５）となる。

時間相関信号ｇ_１（ｘ，ｙ）は、イベントベースセンサ１１からイベント信号が出力される度に、漸化式（２５）を用いて更新される。前回のイベント発生時刻をｓ_ｍ（ｘ，ｙ）とすると、漸化式（２５）における経過時間δｔは、ｔ－ｓ_ｍ（ｘ，ｙ）で表現される。なお、以下では、イベント発生時刻、イベント信号の受信時刻、相関画像の更新時刻にタイムラグはなく、全て同一タイミングであるとして説明する。漸化式（２５）に、イベント信号と、前回の時間相関信号と、前回のイベント発生時刻ｓ_ｍ（ｘ，ｙ）と、参照信号の周期Ｔとを代入して演算することにより、今回の時間相関信号を得ることができる。これにより、常に最新の時間相関信号を得ることになるので、周期Ｔ分のイベント信号を保有する必要がない。このため、イベント信号を記録するためのバッファ１４１を省略することができる。

相関画像の読出しは、相関画像の更新（記憶）とは独立して行うことができる。前回のイベント発生時刻ｓ_ｍ（ｘ，ｙ）から、読出し指令を受信した時刻ｔまでの経過時間をτとする。前回のイベント信号受信時の時間相関信号ｇ_１（ｘ，ｙ）を以下の数式（２６），（２７）に従い修正し、相関画像として出力する。

これにより、任意のタイミングで時間相関信号を得ることができる。

（イメージセンサの構成）
図３は、第３実施形態に係るイメージセンサを備える画像生成装置の構成概要を説明するブロック図である。図３に示されるように、イメージセンサ１Ｂは、イベントベースセンサ１１及び相関画像生成部１４Ｂを備える。相関画像生成部１４Ｂは、相関画像更新部１４３（画像更新部の一例）、相関時間記憶部１４４、相関画像記憶部１４５（記憶部の一例）及び読出部１４６を備える。

相関時間記憶部１４４は、参照信号の周期Ｔを記憶する。相関画像記憶部１４５は、相関画像ｇ_１（ｘ，ｙ）と画素ごとの更新時刻（ここではイベント発生時刻ｓ_ｍ（ｘ，ｙ）と同時刻）とを記憶する。つまり、相関画像記憶部１４５は、画素ごとの相関及び更新時刻を記憶する。相関画像更新部１４３は、イベントベースセンサ１１によりイベント信号が出力される度に、相関画像記憶部１４５を更新する。データの更新は、データの一部修正や上書きに限定されず、データのインデックスを変更した場合（前のデータを消去せずに別な記憶域に新たなデータを書き込む場合）であってもよい。相関画像更新部１４３は、読出部１４６と同期するために、クロック２０からの信号に基づいて更新時刻を決定する。

相関画像更新部１４３は、イベントベースセンサ１１により出力されたイベント信号と、参照信号と、相関画像記憶部１４５に記憶された相関画像と、更新時刻とに基づいて、相関画像記憶部１４５に記憶された相関画像と更新時刻とを更新する。具体的には、相関画像更新部１４３は、上述した漸化式（２５）に、イベントベースセンサ１１により出力されたイベント信号と、相関画像記憶部１４５に記憶された前回の時間相関信号ｇ_１（ｘ，ｙ）と、更新時刻（前回のイベント発生時刻ｓ_ｍ（ｘ，ｙ））と、相関時間記憶部１４４に記憶された周期Ｔとを代入して、今回の時間相関信号ｇ_１（ｘ，ｙ）を得る。相関画像更新部１４３は、今回の時間相関信号ｇ_１（ｘ，ｙ）と、現在時刻とを用いて、相関画像記憶部１４５に記憶された相関画像と更新時刻とを更新する。

読出部１４６は、相関画像記憶部１４５に記憶された相関画像と更新時刻と任意の読み出し時刻とに基づいて、読み出し時刻における相関画像を出力する。読出部１４６は、相関画像記憶部１４５に記憶された更新時刻（前回のイベント発生時刻ｓ_ｍ（ｘ，ｙ））から、読出し指令を受信した読み出し時刻ｔまでの経過時間τを算出する。そして、経過時間τと相関時間記憶部１４４に記憶された周期Ｔとを用いて、上述した数式（２６），（２７）に従い、前回のイベント信号受信時の時間相関信号ｇ_１（ｘ，ｙ）を修正する。読出部１４６は、相関画像更新部１４３と同期するために、クロック２０からの信号に基づいて時刻を決定する。

（更新部の動作）
図４は、相関画像記憶部の更新動作を示すフローチャートである。図４に示されるフローチャートは、画像生成装置１０Ｂに対して画像取得指示がなされたタイミングで、相関画像更新部１４３により実行される。

図４に示されるように、最初にイベント発生の有無が判定される（ステップＳ１０）。ステップＳ１０においてイベントが発生したと判定された場合には、相関画像記憶部の更新処理へと移行する（ステップＳ１２）。ステップＳ１２では、相関画像記憶部１４５に記憶された相関画像及び更新時刻が更新される。ステップＳ１２が終了すると、図４に示されるフローチャートは終了する。

図５は、相関画像記憶部の更新動作を説明するタイムチャートである。図５に示されるように、時刻ｓ_０（ｘ，ｙ）において記憶された相関画像が更新され、その後、時刻ｓ_１（ｘ，ｙ）において第１のイベントが発生したとする。この場合、相関画像更新部１４３は、相関画像記憶部１４５に記憶された更新時刻（時刻ｓ_０（ｘ，ｙ））から時刻ｓ_１（ｘ，ｙ）となるまでの経過時間δｔ１を算出する。そして、相関画像更新部１４３は、前回の相関画像と、第１のイベント信号と、経過時間δｔ１とを用いて相関画像を算出し、相関画像記憶部１４５に記憶された相関画像を更新する。そして、相関画像更新部１４３は、相関画像記憶部１４５に記憶された更新時刻を時刻ｓ_１（ｘ，ｙ）に変更する。その後、時刻ｓ_２（ｘ，ｙ）において第２のイベントが発生したとする。この場合、相関画像更新部１４３は、相関画像記憶部１４５に記憶された更新時刻（時刻ｓ_１（ｘ，ｙ））から時刻ｓ_２（ｘ，ｙ）となるまでの経過時間δｔ２を算出する。そして、相関画像更新部１４３は、前回の相関画像と、第２のイベント信号と、経過時間δｔ２とを用いて相関画像を算出し、相関画像記憶部１４５に記憶された相関画像を更新する。そして、相関画像更新部１４３は、相関画像記憶部１４５に記憶された更新時刻を時刻ｓ_２（ｘ，ｙ）に変更する。このように、イベントの発生のたびに相関画像記憶部１４５に格納されたデータが更新される。

（第３実施形態のまとめ）
相関画像記憶部１４５に記憶された相関画像がイベント発生の度に更新され、更新時刻が記憶される。更新時刻が記憶されることにより、イベント信号に含まれる画素値の変化は、前回のイベント発生からの経過時間における画素値の変化として捉えることができる。よって、このイメージセンサ１Ｂは、最新の相関画像を保持することができる。そして、読出部１４６によって、更新時刻に基づいて読み出し時刻における相関画像が得られる。このため、このイメージセンサ１Ｂは、任意の読み出しタイミングで画素を出力することができる。

本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

ＣＰＵなどの演算装置がプログラムを実行することにより実現される機能は、論理回路などによって実現してもよい。実施形態においてはイベントベースセンサの出力は輝度信号であるとして記載したが、上記実施形態に係るイベントベースセンサにおいて、各画素に適切なカラーフィルタが追加されることにより、カラーイベントベースセンサとして機能させてもよい。

１，１Ａ，１Ｂ…イメージセンサ、１１…イベントベースセンサ、１４…相関画像生成部、１４１…バッファ、１４２…生成部、１４３…相関画像更新部（画像更新部の一例）、１４５…相関画像記憶部（記憶部の一例）、１４６…読出部。

Claims

画素ごとの輝度変化をイベントとして検出し、前記イベントが検出された検出時刻と、前記イベントが発生した画素位置と、画素値の変化とを含むイベント信号を、前記イベントが検出されるごとに出力するイベントベースセンサと、
前記イベント信号と所定周期の参照信号とに基づいて、前記イベント信号と前記参照信号との画素ごとの相関を示す相関画像を生成する相関画像生成部と、
を備えるイメージセンサ。
前記相関画像生成部は、
任意の基準時刻から少なくとも前記所定周期だけ過去に遡った所定期間において前記イベントベースセンサにより出力された、前記イベント信号を記憶するバッファと、
前記バッファに記憶された前記イベント信号に基づいて前記相関画像を生成する生成部と、
を有する請求項１に記載のイメージセンサ。
前記相関画像生成部は、
前記相関画像と画素ごとの更新時刻とを記憶する記憶部と、
前記イベントベースセンサにより前記イベント信号が出力される度に、出力された前記イベント信号と前記参照信号と前記記憶部に記憶された前記相関画像と前記更新時刻とに基づいて、前記記憶部に記憶された前記相関画像と前記更新時刻とを更新する画像更新部と、
前記記憶部に記憶された前記相関画像と前記更新時刻と任意の読み出し時刻とに基づいて、前記読み出し時刻における前記相関画像を出力する読出部と、
を有する請求項１に記載のイメージセンサ。