JP2017187471A - 撮像装置 - Google Patents

Abstract

【課題】被検体の浅部及び深部における生体成分の分布を高精度化、高密度化および高速化が可能な撮像装置を提供する。【解決手段】本開示の一態様に係る撮像装置は、第１のパルス光を発光して被写体の所定の領域内に第１のパターンの第１の像を投影し、かつ第２のパルス光を発光して前記被写体の前記所定の領域内の、前記第１の像の位置と異なる位置に第２のパターンの第２の像を投影する第１の光源と、複数の画素を含み、前記複数の画素の各々は、受けた光を信号電荷に変換する光検出器と、前記信号電荷を蓄積する第１の蓄積部および第２の蓄積部とを含むイメージセンサと、前記第１の光源および前記イメージセンサを制御する制御回路と、を備える。【選択図】図１

Description

本開示は、非接触で測定対象の内部情報を取得する技術に関する。たとえば本開示は、被写体である光散乱体の表面近傍からの反射光に基づく画像と、光散乱体の内部まで到達して、再び表面まで戻ってきた光に基づく画像とを分離する技術に関する。

生体計測および材料分析の分野では、対象物に光を照射し対象物内部を透過した光の情報から対象物の内部情報を取得する方法が用いられる。この方法において、対象物表面からの反射成分がノイズとなり問題となることがある。これら表面反射成分によるノイズを取り除き所望の内部情報のみを取得する方法として、たとえば生体計測の分野では、特許文献１に記載の方法が知られている。特許文献１では、光源と光検出器のどちらかを非接触にすることで、制御部は照射点もしくは検出点を随時変化させる。これにより、光検出器は被験者内の異なる経路を透過した光による複数の信号を検出し、解析部は、光検出器で得られる複数の信号のうち所定の信号を選択し、選択した信号を用いて被験者内の光吸収特性を算出することができる。

また、特許文献２には明暗パターンの照射光を、１回の露光期間内での切り替えと照射輝度の変調を行う手段と、被検査面における欠陥を検出する処理部とを有することを特徴とする欠陥検査装置を開示している。

特開２０１２−１２５３７０号公報 特開２０１２−２３０００５号公報

しかしながら、上述した従来の技術では、さらなる高精度化、高密度化および高速化が求められていた。

本願の、限定的ではない例示的なある実施形態は、高精度化、高密度化および高速化が可能な撮像装置を提供する。

本開示の一態様に係る撮像装置は、第１のパルス光を発光して被写体の所定の領域内に第１のパターンの第１の像を投影し、かつ第２のパルス光を発光して前記被写体の前記所定の領域内の、前記第１の像の位置と異なる位置に第２のパターンの第２の像を投影する第１の光源と、複数の画素を含み、前記複数の画素の各々は、受けた光を信号電荷に変換する光検出器と、前記信号電荷を蓄積する第１の蓄積部および第２の蓄積部とを含むイメージセンサと、前記第１の光源および前記イメージセンサを制御する制御回路と、を備える。前記制御回路は、前記第１の光源に前記第１のパルス光を発光させ、前記第１のパルス光の発光に対応して前記光検出器で生じた第１の信号電荷を前記第１の蓄積部に蓄積させ、前記第１の光源に前記第２のパルス光を前記第１のパルス光の発光と異なる時刻に発光させ、前記第２のパルス光の発光に対応して前記光検出器で生じた第２の信号電荷を前記第２の蓄積部に蓄積させる。

上述の一般的かつ特定の態様は、システム、方法およびコンピュータプログラムを用いて実装され、またはシステム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。

本発明の一態様にかかる撮像装置によれば、被検体と非接触でありながら、被検体の浅部及び深部における生体成分の分布を高速・高精度な撮像装置を提供することが可能になる。

撮像装置１００１の構成を示す図である。 撮像装置１００１を含む撮像システム図である。 本実施形態の撮像装置１００１の利用シーン２００を示す図である。 頭部１０２（額）に照射される光照射パターン２０２の例を示す図である。 ７５０ｎｍと８５０ｎｍの光を透過し、それ以外の波長の光成分は遮光するための光学ダブルバンドパスフィルター１１２の分光透過率を表すグラフである。 時間分解イメージセンサ１１３の１つの画素４０１の構成図である。 本実施形態による時間分解イメージセンサ１１３の構成図である。 実施形態１の撮像装置の動作を示すタイミング図である。 実施形態１の撮像装置の動作を示すタイミング図である。 実施形態１の撮像装置の詳細な動作を示すタイミング図である リング状の照射パターンの例を示す図である。 ライン状の照射パターンの例を示す図である。 実施形態１による、時間分解イメージセンサ１１３上のドット照射パターンと画素位置との関係を示す図である。 撮像装置１００１の処理の手順を示すフローチャートである。 実施形態２の撮像装置１００２を含む撮像システム図である。 実施形態２の撮像装置１００２の利用シーン１２００を示す図である。 頭部１０２（額）に照射される光照射パターン１１０２の例を示す図である。 実施形態２の撮像装置の動作を示すタイミング図である。 実施形態２の撮像装置の動作を示すタイミング図である。 実施形態２の撮像装置の詳細な動作を示すタイミング図である。 実施形態２の撮像装置の詳細な動作を示すタイミング図である。 実施形態２による、時間分解イメージセンサ１１３上のドット照射パターンと画素位置との関係を示す図である。 実施形態３の撮像装置の動作を示すタイミング図である。 実施形態３の撮像装置の動作を示すタイミング図である。 実施形態３の撮像装置の詳細な動作を示すタイミング図である。 実施形態３の撮像装置の詳細な動作を示すタイミング図である。 実施形態４の撮像装置１００３を含む撮像システム図である。 実施形態４の撮像装置１００３の利用シーン２２００を示す図である。 頭部１０２（額）に照射される光照射パターン２１０２の例を示す図である。 時間分解イメージセンサ２０１の１つの画素３０１の構成図である。

本願発明者らの鋭意研究の結果、上述の特許文献１および２では、高精度化、高密度化および高速化に限界があることが分かった。

本開示の実施の形態を説明する前に、以下に、対象物の内部情報を浅部と深部を分離観測する従来技術として、特許文献１に記載の方法を説明する。

特許文献１は、可視光または近赤外光を用いた生体光計測装置において、信号成分に混合する皮膚血流成分等の表層成分の影響を分離、除去するための技術を開示する。この文献の目的は、大きく３つ存在する。１つ目は、ＮＩＲＳ信号に含まれる、局所的な皮膚血流を含む脳以外の組織由来成分の影響を除去し、脳もしくは大脳皮質由来の信号のみを分離、抽出することである。２つ目は、より汎用的に脳由来および皮膚由来成分、および脳・皮膚に共通に含まれる成分を分離、抽出することである。３つ目は、脳由来信号と皮膚由来信号の寄与率の個人差を考慮した上で両信号を分離することである。

脳由来の信号と皮膚由来の信号を分離するために、特許文献１では、複数の送光器−受光器間距離による計測を実現するよう、かつ、各受光器が受光する光が灰白質および頭皮をともに伝播するよう、各々の送光器および受光器が配置される。計測時には、信号検出の際に複数の光源からの信号が互いに干渉しないよう、かつ、各々の受光器が適正な強度レベルの光を受光するよう、必要に応じて各光源パワーのＯＮ・ＯＦＦまたは強弱、あるいは検出器のＯＮ・ＯＦＦまたはゲイン強弱等を切り換えて計測を実施する。さらに解析時には、各計測点におけるデータを使用して独立成分分析等の信号分離手法を実施し、得られた１つまたは複数の分離成分の、各計測点における重み値の送光器−受光器間距離依存性を用いて、各々の分離成分が脳由来の信号成分か皮膚由来の信号成分かを判定する。そして、使用する１つあるいは複数の分離成分のみを用いて、各々の送光器−受光器間距離における計測信号を再構成する。

制御部は、照射点もしくは検出点を随時変化させることにより、光検出器は被験者内の異なる経路を透過した光による複数の信号を検出する。解析部は、光検出器で得られる複数の信号のうち所定の信号を選択し、選択した信号を用いて被験者内の光吸収特性を算出する。

本願発明者らの検討によれば、特許文献１に記載された方法は、照射点もしくは検出点の位置を随時変化させて、計測する必要がある。同時に一つの送光器−受光器間距離のデータしか検出できないため、高速性と解像度の両立が困難であるという課題を有することが分かった。

また、特許文献２には、１回の露光期間内での照明パターンの切り替えを行うことが記載されている。しかしながらこの方法では、イメージセンサの各画素は照明光のパターン変化の積分値を検出することになる。被検体の深部・浅部の演算を行うためには、複数のフレーム間の演算処理が必要となる。

本願発明者らは、被検体表面の複数の位置への光照射を行うとともに、多数のポイントの時間分解イメージセンサ出力を用いる撮像装置を実現するに至った。この撮像装置は１フレーム内の演算処理により被検体の浅部及び深部における生体成分の分布を高精度・高密度・高速にイメージング可能である。

本開示の一態様の概要は以下のとおりである。

本開示の一態様に係る撮像装置は、第１のパルス光を発光して被写体の所定の領域内に第１のパターンの第１の像を投影し、かつ第２のパルス光を発光して前記被写体の前記所定の領域内の、前記第１の像の位置と異なる位置に第２のパターンの第２の像を投影する第１の光源と、複数の画素を含み、前記複数の画素の各々は、受けた光を信号電荷に変換する光検出器と、前記信号電荷を蓄積する第１の蓄積部および第２の蓄積部とを含むイメージセンサと、前記第１の光源および前記イメージセンサを制御する制御回路と、を備える。前記制御回路は、前記第１の光源に前記第１のパルス光を発光させ、前記第１のパルス光の発光に対応して前記光検出器で生じた第１の信号電荷を前記第１の蓄積部に蓄積させ、前記第１の光源に前記第２のパルス光を前記第１のパルス光の発光と異なる時刻に発光させ、前記第２のパルス光の発光に対応して前記光検出器で生じた第２の信号電荷を前記第２の蓄積部に蓄積させる。

前記撮像装置は、前記第１の信号電荷、および前記第２の信号電荷に基づいて、画像情報を生成する信号処理回路をさらに備えていてもよい。

前記第１パターン及び前記第２のパターンは、例えば、複数の点を含むパターンである。

前記第１パターン及び前記第２のパターンは、例えば、複数のリングを含むパターンである。

前記第１パターン及び前記第２のパターンは、例えば、複数の直線を含むパターンである。

前記制御回路は、前記第１の光源に、複数の第１のパルス光を発光させ、前記複数の第１のパルス光の各々は前記第１のパルス光であり、前記第１の光源に、複数の第２のパルス光を発光させ、前記複数の第１のパルス光の各々は前記第１のパルス光であってもよい。

前記撮像装置は、第３のパルス光を発光して前記被写体の前記所定の領域内の、前記第１および第２の像の位置と異なる位置に第３のパターンの第３の像を投影し、かつ第４のパルス光を発光して前記被写体の前記所定の領域内の、前記第１、第２および第３の像の位置と異なる位置に第４のパターンの像を投影する第２の光源をさらに備え、前記イメージセンサにおける前記複数の画素の各々は、前記信号電荷を蓄積する第３の蓄積部および第４の蓄積部をさらに含み、前記第１の光源は第１の波長範囲の光を発光し、前記第２の光源は前記第１の波長範囲と異なる第２の波長範囲の光を発光し、前記制御回路は前記第２の光源をさらに制御し、前記制御回路は、前記第２の光源に前記第３のパルス光を発光させ、前記第３のパルス光の発光に対応して前記光検出器で生じた第３の信号電荷を前記第３の蓄積部に蓄積させ、前記第２の光源に前記第４のパルス光を前記第３のパルス光の発光と異なる時刻に発光させ、前記第４のパルス光の発光に対応して前記光検出器で生じた第４の信号電荷を前記第４の蓄積部に蓄積させてもよい。

前記信号処理回路は、前記第１から第４の信号電荷に基づいて前記画像情報を生成してもよい。

前記撮像装置において、前記被写体は光学的散乱体であり、前記第１の信号電荷は、前記被写体から到達した、前記第１のパルス光に由来する内部散乱光成分であり、前記第２の信号電荷は、前記被写体から到達した、前記第２のパルス光に由来する内部散乱光成分であってもよい。

前記撮像装置において、前記イメージセンサにおける前記複数の画素の各々は、前記信号電荷を蓄積する第３の蓄積部および第４の蓄積部をさらに含み、前記制御回路は、第１の時刻および第２の時刻のそれぞれにおいて前記第１のパルス光を発光させ、前記第１の時刻から第１の時間が経過した後から、前記第１の蓄積部に前記第１の信号電荷を蓄積させ、前記第２の時刻から前記第１の時間よりも長い第２の時間が経過した後から、前記第３の蓄積部に前記第１の信号電荷を蓄積させ、第３の時刻および第４の時刻のそれぞれにおいて前記第２のパルス光を発光させ、前記第３の時刻から第３の時間が経過した後から、前記第２の蓄積部に前記第２の信号電荷を蓄積させ、前記第４の時刻から前記第３の時間よりも長い第４の時間が経過した後から、前記第４の蓄積部に前記第２の信号電荷を蓄積させてもよい。

本開示の他の一態様に係る撮像装置は、第１のパルス光を発光して被写体の所定の領域に所定パターンの像を投影する光源と、複数の画素を含み、前記複数の画素の各々は、受けた光を信号電荷に変換する光検出器と、前記信号電荷を蓄積する第１の蓄積部および第２の蓄積部とを含むイメージセンサと、前記光源および前記イメージセンサを制御する制御回路とを備え、前記制御回路は、第１の時刻において前記光源に前記第１のパルス光を発光させ、前記第１の時刻の後で、かつ第２の時刻までは、前記第１の蓄積部に前記信号電荷を蓄積させ、前記第２の時刻を超えてからは前記第２の蓄積部に前記信号電荷を蓄積させる。

以下、添付の図面を参照しながら、本開示による撮像装置の実施形態を説明する。

撮像装置の各実施形態の説明に先立って、当該撮像装置の動作の概要を説明する。

図１は、撮像装置１００１の構成を示す。撮像装置１００１は、制御回路１１４と、制御回路１１４によって制御される光源６００およびイメージセンサ６０２と、イメージセンサ６０２の出力信号を処理する信号処理回路６０４とを備える。なお、撮像装置１００１がその内部に光源６００を有することは必須ではなく、制御回路１１４によって制御ができるのであれば、光源６００は外付けでもよい。以下、本明細書において同様である。

光源６００から出射された光は被検者の額を含む頭部１０２で反射され、イメージセンサ６０２に入射する。イメージセンサ６０２は、入射した光を電気信号に変換して出力する。制御回路１１４は、イメージセンサ６０２から出力された信号に基づいて、光源６００による光の照射位置およびパワーを調整する。

制御回路１１４は、２つの初期動作を行う。すなわち、頭部１０２までの距離測定動作、および照射調整動作である。

まず、制御回路１１４が行う距離測定動作について説明する。制御回路１１４は、光源６００の発光中にイメージセンサ６０２から出力された電気信号（たとえば画像を示す信号）に基づいて、頭部１０２の位置、および頭部１０２までの距離を特定する。たとえば制御回路１１４は、ＴＯＦ（Ｔｉｍｅ−ｏｆ−Ｆｌｉｇｈｔ）技術を用いて頭部１０２までの距離を計測できる。ＴＯＦ技術では、照射光（たとえばパルス光）が頭部１０２で反射され、その反射光がイメージセンサ６０２に到達するまでに要する時間、すなわち飛行時間が計測される。制御回路１１４は、光源６００がパルス光を出射してからイメージセンサ６０２が当該パルス光を検出するまでの時間に基づいて頭部１０２までの距離を検出できる。飛行時間は、イメージセンサ６０２の各検出素子で検出される光の位相と、光源６００における光の位相との差に基づいて計測できる。イメージセンサ６０２として、複眼カメラを用いてもよい。複眼カメラは、複数のイメージセンサを有し、取得した複数の画像間の視差に基づいて、距離を計測できる。このように、イメージセンサ６０２は、画像情報と距離情報の両方を取得可能なデバイスであってもよい。

次に、制御回路１１４が行う照射調整動作について説明する。制御回路１１４は、特定した頭部１０２の位置および距離に基づいて、頭部１０２において光が照射される位置および光のパワーを決定する。たとえば、頭部１０２の位置に光が正しく照射されるように、不図示のＭＥＭＳミラーなどの光学素子を制御する。そして、イメージセンサ６０２に到達する光のパワーがほぼ規定値になるように光源６００を発光させる。たとえば、頭部１０２までの距離が大きいほど光源６００が発する光のパワーを高くし、当該距離が小さいほど光源６００が発する光のパワーを低くする。

制御回路１１４は、上記の動作を、たとえば生体情報の検出を開始する時（初期動作時）にまず行う。これにより、頭部１０２に適切なパワーで光が照射され、生体情報の検出を高い精度で行うことができる。

上述の初期動作の後、制御回路１１４は生体情報の計測動作を行う。

制御回路１１４は光源６００から光を頭部１０２に光を照射する。光１２１が照射された頭部１０２において反射および散乱した光（「戻り光」と表記する。）はイメージセンサ６０２に到達する。戻り光は、頭部１０２の表面で反射する成分（表面反射成分６０６）と、頭部１０２の内部で１回反射（拡散反射含む）、散乱、または多重散乱する成分（内部散乱成分６０８）とを含む。このうち、検出したい成分は内部散乱成分６０８である。

しかし、一般に、内部散乱成分６０８の信号強度は小さい。これは、レーザ安全基準を満たす非常に小さな光量の光が照射されることに加えて、頭皮、脳髄液、頭蓋骨、灰白質、白質および血流による光の散乱および吸収が大きいためである。さらに、脳活動時の血流量または血流内成分の変化による信号強度の変化は、内部散乱成分６０８の信号強度の数十分の１の大きさに相当し、非常に小さい。したがって、検出したい信号成分の数千〜数万倍である表面反射成分６０６をできるだけ混入させずに内部散乱成分６０８を検出することが望ましい。

そこで、電子シャッタの機能を有するイメージセンサ６０２を利用する。制御回路１１４がシャッタタイミングを適切に制御することにより、内部散乱成分６０８のみを検出するようにすることができる。そのような構成は、たとえば特願２０１５−１２２３９０号の明細書に開示されている。特願２０１５−１２２３９０号の開示内容全体を本願に援用する。

信号処理回路６０４は、イメージセンサ６０２から出力された内部散乱成分６０８に関する信号を受け取り、被検体の浅部からの反射成分および深部からの反射成分の分離を行う。さらに信号処理回路６０４は、得られた明暗情報から酸素化ヘモグロビンと脱酸素化ヘモグロビンの濃度変化を得て、得られた酸素化ヘモグロビンと脱酸素化ヘモグロビンの濃度変化から脳活動を演算によりイメージングデータとして出力する。

（実施形態１）
本実施形態１の撮像装置１００１は被検体として生体等の光散乱体を対象とする。具体的には、撮像装置１００１は、観測すべき脳内の酸素化ヘモグロビン、脱酸素化ヘモグロビンの濃度分布とその時間変化を検出し、前記濃度分布を２Ｄ画像として構築する。本撮像装置１００１は非接触でありながらアーチファクトである頭皮血流の除去軽減を高速かつ高精度に実行する。

図２は本実施形態の撮像装置１００１を含む撮像システムを示す図である。脳内の酸素化ヘモグロビン、脱酸素化ヘモグロビンの濃度を計測する場合には、７００〜９５０ｎｍの近赤外光を使用することが提案されている。その理由は、生体内では、これらの波長は水分とヘモグロビンの双方共に比較的吸収されにくいからである。これらの波長帯域は「生体の窓」と呼ばれている。そこで本実施形態の撮像装置１００１は、光源６００（図１）として、波長７５０ｎｍのレーザーパルス光を出射する４つの第１の光源１０３、１０４、１０５、１０６、および波長８５０ｎｍのレーザーパルス光を出射する４つの第２の光源１０７、１０８、１０９、１１０を用いる。

第１の光源１０３、１０４、１０５、１０６および第２の光源１０７、１０８、１０９、１１０の各々は、短パルスで高速で繰り返し決められた後述のパターンでレーザ光の照射を行う。詳細は後述する。

撮像装置１００１はさらに、結像光学系１１１と、光学ダブルバンドパスフィルター１１２と、時間分解イメージセンサ１１３と、制御回路１１４と、第１信号処理回路１１５と、第２信号処理回路１１６とを有している。

結像光学系１１１は、いわゆるカメラレンズである。

光学ダブルバンドパスフィルター１１２は、７５０ｎｍと８５０ｎｍの二波長の光を透過させるフィルタである。光学ダブルバンドパスフィルター１１２は、レンズの結像面に設置される。

制御回路１１４は、たとえば演算プロセッサであり、撮像装置１００１における、第１の光源１０３、１０４、１０５、１０６および第２の光源１０７、１０８、１０９、１１０のパルス発光と、時間分解イメージセンサ１１３での受光の露光期間とを制御する。また、制御回路１１４は、受光によって蓄積された信号電荷をデジタル変換し、得られた画像データの処理を第１信号処理回路１１５および第２信号処理回路１１６に命令する。

第１信号処理回路１１５および第２信号処理回路１１６は、図１における信号処理回路６０４に対応する。すなわち信号処理回路６０４は、第１信号処理回路１１５および第２信号処理回路１１６として実現されている。ただしこれは一例である。図１のように、１つの回路によって実現してもよい。

第１信号処理回路１１５は、頭部１０２内の浅部である頭皮血流からの反射光の特徴と深部である大脳皮質の脳血流からの反射光の特徴とを分離する演算を行う。演算の結果、第１信号処理回路１１５は、脳血流から得られた明暗情報を出力する。

第２信号処理回路１１６は、得られた明暗情報から酸素化ヘモグロビンと脱酸素化ヘモグロビンの濃度変化から脳活動を演算によりイメージングデータとして出力する。

図３Ａは本実施形態の撮像装置１００１の利用シーン２００を示す。撮像装置１００１はタブレット端末２０１に組み込まれている。撮像装置１００１は、たとえば異なる時刻１、２、３、４において第１〜第４照射光をそれぞれ放射する。第１〜第４照射光として、まず波長７５０ｎｍの光が第１の光源１０３、１０４、１０５、１０６から放射される。その放射が終わると、続いて波長８５０ｎｍの光が第２の光源１０７、１０８、１０９、１１０から放射される。第１〜第４照射光は、各々が頭部１０２（額）の複数の特定の位置に入射して光の像を形成するよう、その位置が予め決められている。照射によって形成される像のパターンを、本明細書では「光照射パターン」と呼ぶ。

図３Ｂは、頭部１０２（額）に照射される光照射パターン２０２の例を示す。

図３Ｂに示される丸数字１、２，３、４で示される複数の位置２０３、２０４、２０５、２０６は、それぞれ、額上に形成される、第１の光源１０３、１０４、１０５、１０６および第２の光源１０７、１０８、１０９、１１０から放射されたレーザ光の光点の位置を示す。同じ丸数字によって形成される光点の配列を「光ドットパターン」と呼ぶ。光ドットパターンは光照射パターンの一例である。例えば、位置２０３には、第１の光源１０３から照射されたレーザ光の光点が形成され、さらに位置２０３には、第１の光源１０３から照射とは異なるタイミングで、第２の光源１０７から照射されたレーザ光の光点も形成される。位置２０４、２０５、２０６もそれぞれ同様である。これらは後述する動作タイミングで、１フレーム内で時分割して照射される。第１の光源１０３および第２の光源１０７は、同じ光ドットパターンを形成する。第１の光源１０４および第２の光源１０８は、同じ光ドットパターンを形成する。第１の光源１０５および第２の光源１０９は、同じ光ドットパターンを形成する。第１の光源１０６および第２の光源１１０は、同じ光ドットパターンを形成する。

なお「フレーム」とは、イメージセンサからの出力単位であり、ある出力動作によって得られる信号またはデータは、１つのフレームを構成する信号またはデータである。

図４は７５０ｎｍと８５０ｎｍの光を透過し、それ以外の波長の光成分は遮光するための光学ダブルバンドパスフィルター１１２の分光透過率を表すグラフである。光学ダブルバンドパスフィルター１１２を設けることにより、第１の光源１０３、１０４、１０５、１０６および第２の光源１０７、１０８、１０９、１１０から放射されたレーザ光の反射光を、時間分解イメージセンサ１１３において効果的に取得することができる。

図５は、時間分解イメージセンサ１１３の１つの画素４０１の構成図である。１つの画素４０１は、電荷排出部であるドレイン４０２と、光電変換部である光検出器（ＰＤ）４０３と、信号電荷を蓄積する蓄積部である８つの浮遊拡散層（ＦＤ）４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１と、高速タイミング制御回路４１２とを有している。

光検出器４０３は、入射フォトンを信号エレクトロン（信号電荷）に変換する。高速タイミング制御回路４１２は、制御信号を出力して、信号電荷をドレイン４０２に排出するか、浮遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１のいずれかに蓄積するかを切り換える。浮遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１のいずれに振り分けるかは後述するタイミングに依存する。当該タイミングに必要とされる動作速度はナノ秒オーダである。このような高速動作を実現するため、高速タイミング制御回路４１２は、たとえばＣＭＯＳロジック回路で形成されている。

図６は本実施形態による時間分解イメージセンサ１１３の構成図である。１画素領域５０１は二点鎖線の円で示した領域で、８つの浮遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１を含む。１画素領域５０１では、蓄えられた電荷は、あたかも一般的なＣＭＯＳイメージセンサの８画素（２行４列）の信号のように取り扱われて時間分解イメージセンサ１１３から出力される。

実際の時間分解イメージセンサ１１３は二点鎖線の円領域が水平垂直にｍ行ｎ列配置されて構成されるが図面説明の関係上、本例では２行１列の簡単な例で説明する。

以下に簡単な本イメージセンサ１１３の基本動作を説明する。記載の便宜上、「浮遊拡散層」という表記を省略して、単に「ＦＤ」と記述する場合がある。

なお、図６では、図５に記載のドレイン４０２、光検出器４０３、高速タイミング制御回路４１２の記載は省略されている。これらは、各浮遊拡散層に信号電荷の蓄積が完了してから、ＦＤ内の信号電荷を時間分解イメージセンサ１１３から出力する低速読み出し動作には直接関係しないからである。

行選択回路５０２が信号読み出しトランジスタ５０８をＯＮすると、各浮遊拡散層に蓄積された信号電荷は、ソースフォロワトランジスタ５０９とソースフォロワ負荷５０６を介して増幅されて、垂直信号線５０４に読み出される。その後、浮遊拡散層の列毎に設置されたＡＤ変換器５０７は、読み出された信号を、デジタル信号データに変換する。列選択回路５０３は、デジタル信号を時間分解イメージセンサ１１３から出力する。時間分解イメージセンサ１１３は、同一行の信号を出力した後、次の行の読み出しを行い、同様の手順で全ての浮遊拡散層の情報を読み出し、読み出し後にリセットトランジスタ５１０をオンする。これにより、全ての浮遊拡散層はセットされる。次のフレームの高速繰り返し撮像が始まるタイミングで、イメージセンサの一連のフレーム動作が完結する。

本実施の形態ではＣＭＯＳ型のイメージセンサの例を挙げたが、イメージセンサはＣＣＤ型であっても、単一光子計数型素子であっても、増幅型イメージセンサ（ＥＭＣＣＤ、ＩＣＣＤ）であっても構わない。

続いて、図１のシステム構成図、図７Ａのタイミング図、図７Ｂのタイミング図、および図８のタイミング図を参照しながら本実施形態１の撮像装置の詳細動作を説明する。

図７Ａおよび図７Ｂにおいて、信号Ａ１、Ａ２、Ａ３、Ａ４、Ａ５、Ａ６、Ａ７、Ａ８はそれぞれ第１の光源１０３、１０４、１０５、１０６、第２の光源１０７、１０８、１０９、１１０の発光のタイミングを示し、信号Ｂは電子シャッタのＯＰＥＮ、ＣＬＯＳＥのタイミングを示し、信号Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ８はそれぞれ浮遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１のＯＮ（すなわち浮遊拡散層に電荷が蓄積される状態）、ＯＦＦ（すなわち浮遊拡散層に電荷が蓄積されない状態）のタイミングを示す。また、図８において、信号Ａは光源の発光のタイミングを示し、信号Ｂは電子シャッタのＯＰＥＮ、ＣＬＯＳＥのタイミングを示し、信号Ｄは時間分解イメージセンサ１１３に到達した表面反射成分の強度を示し、信号Ｅは時間分解イメージセンサ１１３に到達した内部散乱光成分の強度を示し、信号Ｆは信号Ｄと信号Ｅとの和を示す。

図２及び図１の制御回路１１４は、約１０ｎｓパルス幅で約１０ＭＨｚの周波数にて、第１の光源１０３を図７Ａに示すように複数回発光させる。通常は、例えば約１０００回、約１００μｓｅｃ程度の期間、繰り返し照射を行う。たとえば、図７Ａでは、第１の光源１０３は３つのパルス発光を行っているかのように記載されているが、このパルス発光が、約１００μｓｅｃ程度の期間内に約１０００回行われることを意味している。各発光により、頭部１０２（額）には、所定の光の像（照射ドットパターン）が形成される。この照射ドットパターンは、図３Ｂの丸数字１の頭部額上の位置に形成される。丸数字１の位置の間隔は、例えば約６ｃｍに設定される。

頭部額上の丸数字１の位置に照射された波長７５０ｎｍの光成分の大部分は、図１に示す通り、頭部１０２の表面で反射される。反射光は、戻り光としてカメラレンズである結像光学系１１１に入射する。頭部１０２の表面で反射しなかった一部の光成分は頭部１０２の内部を散乱しながらの大脳皮質に到達する。そして、大脳皮質に到達した当該一部の光成分はさらに散乱を継続し、そのうちの少量の光成分が内部散乱光成分として、再び頭部１０２の額表面に到達する。頭部１０２の額表面から対外に放射された光成分のさらに一部は、結像光学系１１１に入射し、時間分解イメージセンサ１１３に到達して光電変換が行われる。結像光学系１１１に入射する光成分は、表面反射成分６０６（図１）、内部散乱光成分６０８（図１）および７５０ｎｍ，８５０ｎｍ以外の波長の外乱光成分である。このうち７５０ｎｍ，８５０ｎｍ以外の波長の外乱光成分は、光学ダブルバンドパスフィルター１１２によってカットされる。

この結果、時間分解イメージセンサ１１３に到達する内部散乱光のエネルギーは時間分解イメージセンサ１１３に到達する表面反射光のエネルギーの１万分の１程度に減衰する。この減衰した光には脳活動の情報が含まれる。よって、如何にエネルギーの高いノイズである表面反射光を除去して、内部散乱光を検出するかが重要な要件となる。

以下、図８を参照しながらそのメカニズムを説明する。

図８は、図７Ａおよび図７Ｂのａ−ｂ区間のタイミングの詳細を示す。

図８に示す通り、高速タイミング制御回路４１２（図５）によるドレイン４０２への不要電荷の排出制御により、時間分解イメージセンサ１１３は、ドレイン排出期間中に電子シャッタがクローズ（ＣＬＯＳＥ）、ドレインに排出しない期間中は電子シャッタがオープン（ＯＰＥＮ）として制御される。高速タイミング制御回路４１２は、表面反射成分が消失する時刻近傍に電子シャッタＯＰＥＮの開始の時刻を設定する。その理由は、表面反射成分を排除して内部散乱光を多く検出するためである。表面反射成分と比較すると、内部散乱光は散乱する時間分、時間分解イメージセンサ１１３に入射する時刻が遅れる。表面反射成分が消失する時刻近傍以降に内部散乱光が検出可能になる。

表面反射成分が消失する時刻は、レーザーパルス光源の発光から若干の時間が経過した後である。具体的には、表面反射成分が消失する時刻は、レーザーパルス光源が発光した時刻を起点として、レーザ光が頭部１０２の額表面に到達し、額表面で反射した表面反射成分６０６が時間分解イメージセンサ１１３に入射するまでの時間経過後である。本実施形態では、表面反射成分が消失する時刻から約１００ピコ秒経過以降に電子シャッタをＯＰＥＮする。高速タイミング制御回路４１２は、発光パルス幅相当の期間、電子シャッタＯＰＥＮ期間を維持し、その直後に電子シャッタがＣＬＯＳＥとなるように制御する。

第１の光源１０３（図２）は繰り返しパルス発光するので、電子シャッタも図７Ａに示す通り第１の光源１０３の発光に対応して、動作する。

第１の光源１０３の発光期間中は、高速タイミング制御回路４１２により、信号電荷を蓄積する図５の浮遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１のうちの浮遊拡散層４０４のみがアクティブにされ、他の浮遊拡散層はＯＦＦにされる。よって、電子シャッタ開の有効期間の信号電荷は浮遊拡散層４０４のみに蓄積されることになる。なお、本デバイスは、ドレイン排出がアクティブの際には光検出器内の電荷は全てドレインに排出されるように設計されている。

制御回路１１４は、表面反射光成分がイメージセンサ結像面上から消失し、かつ、内部散乱光のみがイメージセンサ結像面上に存在するようになった後の時刻から電子シャッタをＯＰＥＮにし、生じた信号電荷を浮遊拡散層に蓄積する。これにより、効率良く表面反射光を除去して、脳活動の情報を含んだ内部散乱光のみを検出することが可能となる。

被検体が人体頭部１０２であり脳血流などの情報を検出する際には、内部での光の減衰率が非常に大きい。上述のとおり、内部散乱光のエネルギーは表面反射光のエネルギーの１万分の１程度に減衰する。内部散乱光のみを検出するには、１パルスの照射だけでは光量が不足する。そこで本実施形態では、パルス光源を複数回発光させ、それに応じてイメージセンサも電子シャッタによって複数回露光することで検出信号を積算して感度を向上させている。これにより、初めて非接触で脳血流などの情報を検出することが可能となる。

次に同様に図１および図２の制御回路１１４により、約１０ｎｓパルス幅で約１０ＭＨｚの周波数にて、第１の光源１０４を図７Ａに示すように複数回発光させる。本実施形態では、例えば、約１００μｓｅｃ程度の期間中に、約１０００回、繰り返し照射を行う。この照射ドットパターンは図３Ｂに示す丸数字２の頭部額上の位置に形成される。丸数字２の位置の間隔は、例えば約６ｃｍで丸数字１の位置の中間点に設定される。

第１の光源１０４を発光させた後、内部散乱光が時間分解イメージセンサ１１３に到達するまでの挙動は先の例と同じであるから説明を省略する。

第１の光源１０４は繰り返しパルス発光するので、電子シャッタも図７Ａに示す通り、第１の光源１０４の発光に対応して、動作することになる。

この時、信号電荷を蓄積する図５の浮遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１は、高速タイミング制御回路４１２により、浮遊拡散層４０５のみがアクティブになり、他の浮遊拡散層はＯＦＦにされる。よって、電子シャッタ開の有効期間の信号電荷は浮遊拡散層４０５のみに蓄積されることになる。

以下、図７Ａに示すように、第１の光源１０５、第１の光源１０６についても同様に動作をさせる。

そうすることにより、信号電荷は独立して以下のように蓄積される。

第１の光源１０３が、丸数字１の照射パターンでパルス発光を行うことにより、内部散乱光の信号電荷は浮遊拡散層４０４に蓄積される。

第１の光源１０４が、丸数字２の照射パターンでパルス発光を行うことにより、内部散乱光の信号電荷は浮遊拡散層４０５に蓄積される。

第１の光源１０５が、丸数字３の照射パターンでパルス発光を行うことにより、内部散乱光の信号電荷は浮遊拡散層４０６に蓄積される。

第１の光源１０６が、丸数字４の照射パターンでパルス発光を行うことにより、内部散乱光の信号電荷は浮遊拡散層４０７に蓄積される。

次に、図７Ｂに示すように、引き続き第２の光源１０７、１０８、１０９、１１０についても同様に動作させることにより、信号電荷は独立して以下のように蓄積される。

第２の光源１０７が、丸数字１の照射パターンでパルス発光を行うことにより、内部散乱光の信号電荷は浮遊拡散層４０８に蓄積される。

第２の光源１０８が、丸数字２の照射パターンでパルス発光を行うことにより、内部散乱光の信号電荷は浮遊拡散層４０９に蓄積される。

第２の光源１０９が、丸数字３の照射パターンでパルス発光を行うことにより、内部散乱光の信号電荷は浮遊拡散層４１０に蓄積される。

第２の光源１１０が、丸数字４の照射パターンでパルス発光を行うことにより、内部散乱光の信号電荷は浮遊拡散層４１１に蓄積される。

これらの動作を１セットとして、必要な信号電荷が蓄積されるまで、１フレーム内に複数セット繰り返し動作をさせる。１セット分のデータの蓄積に要する時間は、約８００μｓｅｃ程度であり十分高速である。例えば、これらの動作を数十セット程度繰り返す場合であっても数十ミリ秒程度要するだけである。

この繰り返し動作により、１フレームを信号電荷の蓄積期間とみなすと、第１の光源１０３、１０４、１０５、１０６および第２の光源１０７、１０８、１０９、１１０の照射の擬似同時化が可能となる。

次に、時間分解イメージセンサ１１３は、浮遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１に蓄積された信号電荷を読み出す動作を行う。読み出し動作のタイミングでは、第１及び第２の光源は、基本的に消灯する。読み出し動作の内容は、図６を参照しながら上述したとおりである。

本願発明者らが上述の２種類の波長を用いた理由は、脳血流において、酸素化ヘモグロビンと脱酸素化ヘモグロビンの光吸収係数が８０５ｎｍを境に逆転しているからである。そのため、酸素化ヘモグロビン、脱酸素化ヘモグロビンの各々の濃度変化を単波長に比べて精度良く検出することが可能となる。

なお、これまで説明しているレーザーパルス光源の二種類の波長（７５０ｎｍおよび８５０ｎｍ）は一例である。７００〜９５０ｎｍの波長帯域で、８０５ｎｍを境界としてそれよりも短い波長と、長い波長とを選択すればよい。

本例では光照射パターンは光ドットパターンの例で説明したが、リング状またはライン状のパターンを採用しても構わない。たとえば図９Ａは、リング状の照射パターンの例を示し、図９Ｂは、ライン状の照射パターンの例を示す。丸数字１から４の各照射パターンが、第１の光源１０３、１０４、１０５、１０６および第２の光源１０７、１０８、１０９、１１０によって形成される像である。図９Ａに示す各リングの直径は、たとえば約６ｃｍである。また、連続する２つの丸数字に対応する２つのリングの中心間隔は、たとえば約３ｃｍである。図９Ｂに示す各ラインの間隔は、たとえば約３ｃｍである。

次に、第１信号処理回路１１５は、時間分解イメージセンサ１１３から出力された８枚の画像のデータを用いて浅部と深部の分離を行う。８枚の画像の各々は、浮遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１の各々に蓄積されていた、二波長の各照射パターンに応じて取得された信号電荷に対応する。分離法については、特許文献１にも記載されているマルチＳＤ（Ｓｏｕｒｃｅ Ｄｅｔｅｃｔｏｒ・送光−受光）間距離の受光データから連立方程式を用いて解く手法、適応フィルタを用いた引き算方式の手法等が知られている。

本実施形態では、図１０に示すように、時分割光パターン照射と時間分解イメージセンサを用いることにより、イメージセンサ全画素と各ドットパターンの光照射点間の距離の組み合わせが使用可能となるため、多数のＳＤ間距離データを取得することが可能となる。

図１０は、時間分解イメージセンサ１１３上のドット照射パターンと画素位置との関係を示す。図１０の各方眼状の升目が被検体の額表面に相当するイメージセンサの画素位置、丸数字１〜４は各レーザーパルスの照射パターン位置を表している。たとえば丸数字１から伸びる矢印の先は、丸数字１の位置に入射したレーザーパルスが、内部散乱光成分として再び額表面に現れたときの位置を示している。ただしこれは一例を示したに過ぎない。内部散乱光成分は丸数字１の位置を中心として種々の方向に現れ得る。レーザーパルスの照射位置から離れた画素においても、内部散乱光成分は検出され得る。なお、２つの丸数字１から、その間に位置する丸数字２の位置に内部散乱光成分が別個に到達することがある。その位置の画素の浮遊拡散層４０４または浮遊拡散層４０８には、その両方の内部散乱光成分の情報が含まれることになる。なお図１０には、丸数字２および４に関連する内部散乱光成分の矢印は示されていないが、これは記載の簡単化のためである。

各画素の浮遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１から得られた情報によれば、４つの異なる位置の光照射ドットパターンに起因する内部散乱光成分の情報と（被検体の長さ／イメージセンサ画素数）に相当する距離のステップでの信号の取得が可能となる。たとえば水平２００画素のイメージセンサを水平２０ｃｍの被検体長の場合は１ｍｍステップで各ドットパターンのＳＤ間距離の信号の取得が可能となるため、浅部・深部の分離精度を向上することが可能となる。また高速な時間分解イメージセンサを用いていることで、１フレームでの高速な撮像が可能となる。

第１信号処理回路１１５が７５０ｎｍと８５０ｎｍの各々の浅部深部の分離を行った後、第２信号処理回路１１６は、２波長の深部分離画像から、酸素化ヘモグロビン及び脱酸素化ヘモグロビンの各波長の光吸収係数を用いて、酸素化ヘモグロビン及び脱酸素化ヘモグロビンの各画素における相対変化を演算する。これにより、高速且つ高精度な脳機能のイメージングの提供が可能となる。

本実施例の時間分解イメージセンサは１画素あたり８つの浮遊拡散層を備える。よって、被検体が光散乱体の場合は得られる光学解像度の空間周波数は低いため、画素数は通常のカメラに比べ少なくても十分である。同じイメージエリアを想定すると、画素サイズは大きく設計することが可能となるため、合理性が高い。

図１１は、撮像装置１００１の処理の手順を示すフローチャートである。動作の主体を制御回路１１４（図１、２）とし、制御回路１１４が他の構成要素に命令を出力するとして説明する。なお、図１１の処理は１セット分のデータを取得する例である。

まず、制御回路１１４は、被検者の頭部１０２（たとえば額）の位置および第１の光源１０３、１０４、１０５、１０６または第２の光源１０７、１０８、１０９、１１０と額との間の距離を検出する（ステップＳ１）。具体的には、制御回路１１４は、時間分解イメージセンサ１１３から出力され、複数のフレーム画像から構成された動画像を利用して、フレーム画像中の額の位置情報を画像認識によって取得する。このとき時間分解イメージセンサ１１３は一般的な撮像動作を行えばよく、遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１に順次信号電荷を蓄積する必要はない。

額の位置は、たとえば、人の額に関連付けられたテンプレートを用いたパターンマッチングによって特定される。位置情報とは、たとえば、検出されたパターンにおける画像中の中心の位置を示す情報などであり得る。テンプレートは、図示しないメモリに予め格納されている。画像認識には、公知の手法を広く用いることができ、特定の方法に限定されない。また、制御回路１１４は、時間分解イメージセンサ１１３から出力された光のパワーの位相差を示す情報を含む信号に基づいて被検者までの距離を計算する。

測距は、ＴＯＦ技術を用いて行うこともできる。たとえば光のパルスを複数回の照射し、各反射光を、時間分解イメージセンサの複数の浮遊拡散層の各々で順次受ける。パルス発光時から反射光受光時までの光の飛行時間を計測することにより、直接的に頭部までの距離を測距しても構わない。

制御回路１１４は、第１の光源１０３、１０４、１０５、１０６または第２の光源１０７、１０８、１０９、１１０を制御する。

撮像装置１００１で生体情報の計測を開始するとき、制御回路１１４は第１の光源１０３、１０４、１０５、１０６または第２の光源１０７、１０８、１０９、１１０に発光のための制御信号を出力する。この際の光のパワーおよび出射方向は、予め設定された初期値に設定される。制御回路１１４は、初期動作を実行し、被検部の位置および距離を示す初期情報を取得する。

次に、制御回路１１４は、初期情報に基づいて、光源から出射される光の出射方向およびパワーの初期値を設定する（ステップＳ２）。各光源は、初期値に応じたパワーを有する光を被検者に出射する。以上の動作により、撮像装置１００１に対面する被検者の位置に関わらず、その位置に応じた適切な方向に適切なパワーで光を出射させることができる。

さらに制御回路１１４は、変数としてＭ、Ｎおよびｋにそれぞれ１を設定する。「Ｍ」は１または２であり、「第Ｍの光源」のように表現されて光源の波長に対応する値を示す。「Ｎ」は、１以上、４以下の整数であり、「第１の光源Ｎ」のように表現されて光源を特定する値を示す。ここで、第１の光源１０３が「第１の光源１」、第１の光源１０４が「第１の光源２」、第１の光源１０５が「第１の光源３」、第１の光源１０６が「第１の光源４」、第２の光源１０７が「第２の光源１」、第２の光源１０８が「第２の光源２」、第２の光源１０９が「第２の光源３」、第２の光源１１０が「第２の光源４」にそれぞれ相当する。「ｋ」は１以上、８以下の整数であり、「浮遊拡散層ｋ」のように表現されて、信号電荷を蓄積する浮遊拡散層を特定する値を示す。ここで、浮遊拡散層４０４が「浮遊拡散層１」、浮遊拡散層４０５が「浮遊拡散層２」、浮遊拡散層４０６が「浮遊拡散層３」、浮遊拡散層４０７が「浮遊拡散層４」、浮遊拡散層４０８が「浮遊拡散層５」、浮遊拡散層４０９が「浮遊拡散層６」、浮遊拡散層４１０が「浮遊拡散層７」、浮遊拡散層４１１が「浮遊拡散層８」にそれぞれ対応する。

次に、制御回路１１４は、制御信号を出力して第Ｍの光源Ｎを発光させ、被検者の頭部１０２の領域に所定パターンの像を投影させる（ステップＳ３）。

次に、制御回路１１４は、高速タイミング制御回路４１２に制御信号を送り、表面反射成分が消失する時刻近傍で電子シャッタをＯＰＥＮにして、内部散乱光成分を浮遊拡散層ｋで受光させる（ステップＳ４）。電子シャッタをＯＰＥＮさせる期間は、発光パルス幅相当の期間である。

次に、制御回路１１４は、所定回数だけ、第Ｍの光源Ｎを発光させたか否かを判定する（ステップＳ５）。所定回数は、たとえば１０００回である。発光回数が条件を満たしていれば処理はステップＳ６に進む。満たしていなければ処理はステップＳ３に戻り、制御回路１１４は再度、発光と内部散乱光成分の受光とを行わせる。

次に、制御回路１１４は、Ｎが４か否かを判定する（ステップＳ６）。つまり、制御回路１１４は、第１の光源４の発光まで完了したか否かを判定する。Ｎが４であれば処理はステップＳ７に進む。一方、Ｎが４未満であれば処理はステップＳ３に戻る。このときＮおよびｋは１つインクリメントされる。これにより、次に発光する光源を変更し、受光時に動作する浮遊拡散層を変更することができる。

次に、制御回路１１４は、Ｍが２か否かを判定する（ステップＳ７）。つまり、制御回路１１４は、第２の光源４の発光まで完了したか否かを判定する。Ｍが２であれば処理はステップＳ８に進む。一方、Ｍが２未満（つまりＭ＝１）であれば処理はステップＳ３に戻る。このときＭには２が代入され、Ｎには１が代入され、ｋは１つインクリメントされる。これにより、第２の光源１を発光させることができる。

次に、制御回路１１４は、各画素４０１の浮遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１に蓄積された信号電荷を読み出すための制御信号を生成して時間分解イメージセンサ１１３に送る。これにより、浮遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１に蓄積された信号電荷の各々がアナログ信号として読み出される。併せて制御回路１１４は、ＡＤ変換器５０７に命令して、読み出されたアナログ信号をデジタルデータに変換して画像データを取得する（ステップＳ８）。

最後に、制御回路１１４は、第１信号処理回路１１５および第２信号処理回路１１６に命令して、頭部１０２内の浅部である頭皮血流からの反射光の特徴と深部である大脳皮質の脳血流からの反射光の特徴とを分離して脳血流から得られた明暗情報を生成させ、得られた明暗情報から酸素化ヘモグロビンと脱酸素化ヘモグロビンの濃度変化から脳活動を演算し、イメージングデータを得て出力させる（ステップＳ９）。

（実施形態２）
次に、本開示の実施形態２について説明する。本実施の形態による撮像装置は被検体として生体等の光散乱体を対象とする。具体的には、撮像装置は、観測すべき脳内の酸素化ヘモグロビン、脱酸素化ヘモグロビンの濃度分布とその時間変化を検出し、前記濃度分布を２Ｄ画像として構築する。

本実施形態の目的と実施形態１の目的とは同じであるが、浅部の頭皮血流と深部の脳血流とを分離する手法が異なっている。具体的には、本実施形態では、同一発光パターン、同一波長において、異なる２位相の電子シャッタ期間を利用する。マルチＳＤ手法に時間分解手法を加えることで、浅部の頭皮血流と深部の脳血流とをより精度良く分離することが可能となる。

以下実施形態１との差異のある部分を中心に説明する。特に説明しない構成要素の構造および／または機能は実施形態１の撮像装置１００１の構成と同じである。

図１２は本実施形態の撮像装置１００２を含む撮像システム図である。

撮像装置１００２が、実施形態１の撮像装置１００１と相違する点は、光源の数、および、時間分解イメージセンサ１１３の動作である。これらの相違に伴って制御回路１１４の動作も相違する。ただし、ハードウェアとしては同じであるため、同じ名称および参照符号を付すことにする。以下、制御回路１１４の動作を含む撮像装置１００２の動作を詳細に説明する。

撮像装置１００２は、波長７５０ｎｍのレーザーパルス光を出射する２つの第１の光源１０３、１０４、および波長８５０ｎｍ波長のレーザーパルス光を出射する２つの第２の光源１０７、１０８を有している。各々の光源は短パルスで高速で繰り返し決められた後述のパターンで照射を行う。

図１３Ａは本実施形態の撮像装置１００２の利用シーン１２００を示す。撮像装置１００２はタブレット端末１２０１に組み込まれている。撮像装置１００２は、たとえば異なる時刻１および２において第１および第２照射光をそれぞれ放射する。第１および第２照射光として、まず波長７５０ｎｍの光が第１の光源１０３、１０４から放射される。その放射が終わると、続いて波長８５０ｎｍの光が第２の光源１０７、１０８から放射される。いずれの照射光も、頭部１０２の特定の位置に入射するよう、その位置が予め決められている。つまり、照射によって形成される像のパターンである光照射パターンは予め決められている。

図１３Ｂは、頭部１０２に照射される光照射パターン１１０２の例を示す。

図１３Ｂに示される丸数字１、２で示される複数の位置１１０３、１１０４は、それぞれ、第１の光源１０３，１０４、および第２の光源１０７、１０８から放射されたレーザ光によって形成される光ドットパターンの位置を示す。これらは後述する動作タイミングで１フレーム内の各々異なる時刻で時分割して照射される。

本実施形態では、光学ダブルバンドパスフィルター１１２の特性、時間分解イメージセンサ１１３の各画素の構成、および全体構成は、それぞれ図４〜図６に記載された通りである。よってそれらの再度の説明は省略する。

なお、本実施形態においても、時間分解イメージセンサ１１３としてＣＭＯＳ型のイメージセンサの例を挙げたが、イメージセンサは他にＣＣＤ型であっても、単一光子計数型素子であってもよいし、増幅型イメージセンサ（ＥＭＣＣＤ、ＩＣＣＤ）であっても構わない。

以下、図１２のシステム構成図、図１４Ａのタイミング図、図１４Ｂのタイミング図、図１５Ａのタイミング図、および図１５Ｂのタイミング図を参照しながら本開示の実施形態２の撮像装置の詳細動作を説明する。

図１４Ａおよび図１４Ｂにおいて、信号Ａ１、Ａ２、Ａ５、Ａ６はそれぞれ第１の光源１０３、１０４、第２の光源１０７、１０８の発光のタイミングを示し、信号Ｂは電子シャッタのＯＰＥＮ、ＣＬＯＳＥのタイミングを示し、信号Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ８はそれぞれ浮遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１のＯＮ（すなわち浮遊拡散層に電荷が蓄積される状態）、ＯＦＦ（すなわち浮遊拡散層に電荷が蓄積されない状態）のタイミングを示す。また、図１５Ａおよび図１５Ｂにおいて、信号Ａは光源の発光のタイミングを示し、信号Ｂ１は時刻ａからｂの間での電子シャッタのＯＰＥＮ、ＣＬＯＳＥのタイミングを示し、信号Ｂ２は時刻ｃからｄの間での電子シャッタのＯＰＥＮ、ＣＬＯＳＥのタイミングを示し、信号Ｄは時間分解イメージセンサ１１３に到達した表面反射成分の強度を示し、信号Ｅは時間分解イメージセンサ１１３に到達した内部散乱光成分の強度を示し、信号Ｆは信号Ｄと信号Ｅとの和を示す。

図１及び図１２の制御回路１１４により、約１０ｎｓパルス幅で約１０ＭＨｚの周波数にて、第１の光源１０３を図１４Ａに示すように複数回発光させる。通常は、例えば約１０００回、約１００μｓｅｃ程度の期間、繰り返し照射を行う。この時、照射ドットパターンは図１３Ｂの丸数字１の頭部額上の位置に照射される。例えば、丸数字１の位置の間隔は水平垂直に約６ｃｍに、斜め方向には、その間隔の「２の平方根」倍である８．４９ｃｍに設定される。

額に入射した各波長の光成分の挙動、および内部散乱光成分の検出原理は実施形態１と同じである。内部散乱光成分の減衰の程度も同じである。

以下、本実施形態による内部散乱光成分の検出メカニズムを説明する。

図１５Ａは、図１４Ａおよび図１４Ｂのａ−ｂ区間の時刻の詳細を示す。

図１５Ａに示す通り、高速タイミング制御回路４１２（図５）によるドレインへの不要電荷の排出制御により、時間分解イメージセンサ１１３は、ドレイン排出期間中に電子シャッタがＣＬＯＳＥ、ドレインに排出しない期間中は電子シャッタがＯＰＥＮとして制御する。

ここで、図１５Ｂは、図１５Ａのタイミング図中の時刻ｆから時刻ｇｅ付近を拡大して示すタイミング図である。制御回路１１４からの命令に基づいて、高速タイミング制御回路４１２は、表面反射成分が消失した直後の時刻ｆに電子シャッタＯＰＥＮの開始の時刻を設定する。時刻ｆは、たとえば、表面反射光成分が消失してから約１００ピコ秒である。さらに高速タイミング制御回路４１２は、発光パルス幅相当の期間、電子シャッタＯＰＥＮ期間を維持し、その直後に電子シャッタをＣＬＯＳＥにする。

第１の光源１０３は繰り返しパルス発光するので、電子シャッタも図１４Ａに示す通り第１の光源１０３の発光に対応して、動作する。

第１の光源１０３の発光期間中は、高速タイミング制御回路４１２により、信号電荷を蓄積する図５の浮遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１のうちの浮遊拡散層４０４のみがアクティブにされ、他の浮遊拡散層はＯＦＦにされる。よって、電子シャッタ開の有効期間の信号電荷は浮遊拡散層４０４のみに蓄積されることになる。なお、本デバイスは、ドレイン排出がアクティブの際には光検出器内の電荷は全てドレインに排出されるように設計されている。

制御回路１１４は、表面反射光成分がイメージセンサ結像面上から消失し、かつ、内部散乱光のみがイメージセンサ結像面上に存在するようになった後の時刻において電子シャッタをＯＰＥＮにし、生じた信号電荷を浮遊拡散層に蓄積する。これにより、効率良く表面反射光を除去することが可能となる。

上述のとおり、被検体が人の額であり脳血流などの情報を検出する際には、内部での光の減衰率が非常に大きい（１万分の１程度）。このため、内部散乱光のみを検出するには、１パルスの照射だけでは光量が不足する。このためパルス光源を複数回発光し、それに応じてイメージセンサも電子シャッタによって複数回露光することで検出信号を積算して感度を向上することで初めて非接触で脳血流などの情報を検出することが可能となる。

次に、図１および図１２の制御回路１１４により、約１０ｎｓパルス幅で約１０ＭＨｚの周波数にて、第１の光源１０４を図１４Ａに示すように複数回発光させる。本実施形態では、例えば約１００μｓｅｃ程度の期間に、約１０００回、繰り返し照射を行う。この時照射ドットパターンは図１３Ｂの丸数字２の頭部額上の位置に形成される。丸数字２の位置の間隔は、例えば約６ｃｍで丸数字１の位置の中間点に設定される。

電子シャッタの動作タイミングは図１５Ａに示す先述のａ−ｂ間と同様である。

第１の光源１０４は繰り返しパルス発光するので、電子シャッタも図１４Ａに示す通り、第１の光源１０４の発光に対応して、動作することになる。

この時、図５の浮遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１は、高速タイミング制御回路４１２により、浮遊拡散層４０５のみがアクティブになり、他の浮遊拡散層はＯＦＦにされる。よって、電子シャッタ開の有効期間の信号電荷は浮遊拡散層４０５のみに蓄積されることになる。

制御回路１１４は、表面反射光成分がイメージセンサ結像面上で消失した後の時刻で電子シャッタをＯＰＥＮにし、生じた信号電荷を浮遊拡散層に蓄積する。これにより、効率良く表面反射光を除去して脳活動の情報を含んだ内部散乱光のみを検出することが可能となる。なお、第１の光源１０４も複数回発光させて、それに応じてイメージセンサも電子シャッタによって複数回露光することで検出信号を積算して感度を向上することが可能である。

次に、第１の光源１０４の２回目の発光について説明する。

図１および図１２の制御回路１１４により、約１０ｎｓパルス幅で約１０ＭＨｚの周波数にて、第１の光源１０４を図１４Ａに示すように複数回発光させる。本実施形態では、例えば約１００μｓｅｃ程度の期間中に、約１０００回、繰り返し照射を行う。この時照射ドットパターンは図１３Ｂに示す丸数字１の頭部額上の位置に形成される。

電子シャッタの動作タイミングは図１５Ａに示す先述のａ−ｂ間と同様である。

図１５Ａに示す通り、高速タイミング制御回路４１２（図５）によるドレインへの不要電荷の排出制御により、時間分解イメージセンサ１１３は、ドレイン排出期間中に電子シャッタがＣＬＯＳＥ、ドレインに排出しない期間中は電子シャッタがＯＰＥＮとして制御される。

図１５Ａは、図１４Ａおよび図１４Ｂのｃ−ｄ間の詳細なタイミングも示している。具体的には、制御回路１１４からの命令に基づいて、高速タイミング制御回路４１２は、表面反射成分が消失して、さらに数ナノ秒（ｎｓ）後のｅ部を拡大して示した時刻ｇで、電子シャッタＯＰＥＮの開始の時刻を設定する。時刻ｇは、たとえば表面反射成分が消失した後、約２〜３ｎｓ後の時刻である。さらに高速タイミング制御回路４１２は、発光パルス幅相当の期間、電子シャッタＯＰＥＮ期間を維持し、その直後に電子シャッタをＣＬＯＳＥにする。この数ｎｓ期間（ｆ−ｇ期間、たとえば３ｎｓ）に戻ってくる内部散乱光成分は、光路長が短いために深部より浅部の情報が多く含まれる。つまりｇの時刻より後にイメージセンサに到達する光成分の比率は、散乱光路長の長い成分となるため、深部の情報の比率が高まることになる。

第１の光源１０４は繰り返しパルス発光するので、電子シャッタも図１４Ａに示す通り、第１の光源１０４の発光に対応して、動作する。

第１の光源１０４の２回目の発光期間中は、高速タイミング制御回路４１２により、信号電荷を蓄積する図５の浮遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１のうちの浮遊拡散層４０６のみがアクティブにされ、他の浮遊拡散層はＯＦＦにされる。よって、電子シャッタ開の有効期間の信号電荷は浮遊拡散層４０６のみに蓄積されることになる。

時刻ｆから電子シャッタをＯＰＥＮにして得られた信号電荷成分には、浅部情報の方が深部情報よりも十分多く、その結果、頭皮血流成分の方が脳血流成分よりも十分多く含まれている。

一方、時刻ｇから電子シャッタをＯＰＥＮにした信号電荷成分には、時刻ｆから取得した信号電荷成分と比較すると、深部情報の割合が増え、その結果、脳血流成分の情報の割合が増えている。

本願発明者らは、電子シャッタのオープンおよびクローズの時刻で上記比率が変化することが重要であることに着眼した。

制御回路１１４は、表面反射光成分がイメージセンサ結像面上から消失し、かつ、内部散乱光のみがイメージセンサ結像面上に存在するようになった後の時刻で、電子シャッタをＯＰＥＮにし、生じた信号電荷を浮遊拡散層に蓄積することで、効率良く表面反射光を除去することが可能となる。内部散乱光の中でも先述の通り、浮遊拡散層４０４に蓄積された信号電荷より、浮遊拡散層４０６に蓄積された信号電荷の方が深部の脳血流成分比率が高まる。

次に、第１の光源１０４の２回目の発光について説明する。

図１および図１２の制御回路１１４により、約１０ｎｓパルス幅で約１０ＭＨｚの周波数にて、第１の光源１０４を図１４Ａに示すように複数回発光させる。本実施形態では、例えば約１００μｓｅｃ程度の期間中に、約１０００回、繰り返し照射を行う。この時照射ドットパターンは図１３Ｂに示す丸数字２の頭部額上の位置に形成される。

図１５Ａに示す通り、高速タイミング制御回路４１２（図５）によるドレインへの不要電荷の排出制御により、時間分解イメージセンサ１１３は、ドレイン排出期間中に電子シャッタがＣＬＯＳＥ、ドレインに排出しない期間中は電子シャッタがＯＰＥＮとして制御する。

図１５Ａは、図１４Ａおよび図１４Ｂのｃ−ｄ間の詳細なタイミングも示している。具体的には、制御回路１１４からの命令に基づいて、高速タイミング制御回路４１２は、表面反射成分が消失して、さらに数ナノ秒（ｎｓ）後の時刻ｇで、電子シャッタＯＰＥＮの開始の時刻を設定する。さらに高速タイミング制御回路４１２は、発光パルス幅相当の期間、シャッタＯＰＥＮ期間を維持し、その直後に電子シャッタをＣＬＯＳＥにする。この数ｎｓ期間（ｆ−ｇ期間）に戻ってくる内部散乱光成分は、光路長が短いために深部より浅部の情報が多く含まれる。つまりｇの時刻より後にイメージセンサ１１３に到達する光成分では、深部の情報の比率が高まることになる。

第１の光源１０４は繰り返しパルス発光するので、電子シャッタも図１４Ａに示す通り、第１の光源１０４の発光に対応して、動作する。

第１の光源１０４の２回目の発光期間中は、高速タイミング制御回路４１２により、信号電荷を蓄積する図５の浮遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１のうちの浮遊拡散層４０７のみがアクティブになり、他の浮遊拡散層はＯＦＦにされる。よって、電子シャッタ開の有効期間の信号電荷は浮遊拡散層４０７のみに蓄積されることになる。

よって時刻ｆから電子シャッタをＯＰＥＮにした信号電荷成分には、浅部情報の方が深部情報よりも十分多く、その結果、頭皮血流成分の方が脳血流成分よりも十分多く含まれている。

時刻ｇから電子シャッタをＯＰＥＮにした信号電荷成分には、時刻ｆから取得した信号電荷成分と比較すると、深部情報の割合が増え、その結果、脳血流成分の情報の割合が増えている。

制御回路１１４は、表面反射光成分がイメージセンサ結像面上から消失し、かつ、内部散乱光のみがイメージセンサ結像面上に存在するようになった後の時刻で電子シャッタをＯＰＥＮにし、生じた信号電荷を浮遊拡散層に蓄積することで、効率良く表面反射光を除去することが可能となる。内部散乱光の中でも先述の通り、浮遊拡散層４０５に蓄積された信号電荷より、浮遊拡散層４０７に蓄積された信号電荷の方が深部の脳血流成分比率が高まることになる。

以上説明した動作により、以下のように独立して信号電荷が蓄積される。

第１の光源１０３が、丸数字１の照射パターンでパルス発光を行うことにより、電子シャッタＯＰＥＮの位相時刻ｆの信号電荷は浮遊拡散層４０４に蓄積される。

第１の光源１０４が、丸数字２の照射パターンでパルス発光を行うことにより、電子シャッタＯＰＥＮの位相時刻ｆの信号電荷は浮遊拡散層４０５に蓄積される。

第１の光源１０３が、丸数字１の照射パターンでパルス発光を行うことにより、電子シャッタＯＰＥＮの位相時刻ｇの信号電荷は浮遊拡散層４０６に蓄積される。

第１の光源１０４が、丸数字２の照射パターンでパルス発光を行うことにより、電子シャッタＯＰＥＮの位相時刻ｇの信号電荷は浮遊拡散層４０７に蓄積される。

次に、図１４Ｂに示すように、引き続き第２の光源１０７、１０８についても同様に動作させることで、第２の光源１０７が、丸数字１の照射パターンでパルス発光を行うことにより、電子シャッタＯＰＥＮの位相時刻ｆの信号電荷は浮遊拡散層４０８に蓄積される。

第２の光源１０８が、丸数字２の照射パターンでパルス発光を行うことにより、電子シャッタＯＰＥＮの位相時刻ｆの信号電荷は浮遊拡散層４０９に蓄積される。

第２の光源１０７が、丸数字１の照射パターンでパルス発光を行うことにより、電子シャッタＯＰＥＮの位相時刻ｇの信号電荷は浮遊拡散層４１０に蓄積される。

第２の光源１０８が、丸数字２の照射パターンでパルス発光を行うことにより、電子シャッタＯＰＥＮの位相時刻ｇの信号電荷は浮遊拡散層４１１に蓄積される。

これらの動作を１セットとして、必要な信号電荷が蓄積されるまで、１フレーム内に複数セット繰り返し動作をさせる。数十セット程度繰り返してもよい。

この繰り返し動作で、１フレームを信号電荷の蓄積期間とみなすと、第１の光源１０３、１０４および第２の光源１０７、１０８の照射の擬似同時化が可能となる。

次に浮遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１に蓄積した信号電荷を実施形態１と同様にイメージセンサ出力からの読み出し動作を行う。

イメージセンサの信号読み出しは実施形態１と同様なため、説明を割愛する。

本例では光照射パターンは２種類のドットパターンの例で説明したが、光源の照射パターン数も必要に応じて増加させれば良く、パターン形状としてもリング状またはライン状のパターンであっても構わない。

このとき必要に応じてイメージセンサの浮遊拡散層の数を増加する設計を行えば良い。

次に、第１信号処理回路１１５は、時間分解イメージセンサ１１３から出力された８枚の画像データを用いて浅部と深部の分離を行う。８枚の画像の各々は、浮遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１の各々に蓄積されていた、二波長の各照射パターンに応じて取得された信号電荷に対応する。分離法については、特許文献１にも記載されているマルチＳＤ（Ｓｏｕｒｃｅ Ｄｅｔｅｃｔｏｒ・送光−受光）間距離の受光データから連立方程式を用いて解く手法および適応フィルタを用いた引き算方式の手法等が知られている。

これに加えて、電子シャッタＯＰＥＮの位相時刻ｆ、ｇの違いによる、浅部深部比率の変化から、正規化による差分手法、さらに連立方程式を加えることで、求める解の精度・信頼度を向上させることが可能となる。

なお、上述したとおり、位相時刻ｆでは、表面反射が収まった直後の光の成分、および頭部の浅い部分で内部散乱した光の成分が多く得られる。一方、位相時刻ｇでは、表面反射からさらに遅延した分、散乱光路長の長い光の成分が多く検出される。相対的に浅い位置の信号成分の比率が減少するため、時刻に応じて浅部深部比率が変化し得る。

本開示の形態では、図１６に示すように、時分割光パターン照射と時間分解イメージセンサを用いることにより、イメージセンサ全画素と各ドットパターンの光照射点間の距離の組み合わせが使用可能となるため、多数のＳＤ間距離データを取得することが可能となる。

図１６の各方眼状の升目が被検体の額表面に相当するイメージセンサの画素位置、丸数字１および２は各レーザーパルスの照射パターン位置を表している。矢印の意味は、図１０と同じである。

２つの異なる位置の光照射ドットパターンと（被検体の長さ／イメージセンサ画素数）に相当する距離のステップでの信号の取得が可能となる。たとえば水平２００画素のイメージセンサを水平２０ｃｍの被検体長の場合は１ｍｍステップで各ドットパターンのＳＤ間距離の取得が可能となるため、浅部・深部の分離精度を向上することが可能となる。また高速な時間分解イメージセンサを用いていることで、１フレームでの高速な撮像が可能となる。

第１信号処理回路１１５が７５０ｎｍと８５０ｎｍの各々の浅部深部の分離を行った後、第２信号処理回路１１６は、２波長の深部分離画像から、酸素化ヘモグロビン及び脱酸素化ヘモグロビンの各波長の光吸収係数を用いて、酸素化ヘモグロビン及び脱酸素化ヘモグロビンの各画素における相対変化を演算する。これにより、高速且つ高精度な脳機能のイメージングの提供が可能となる。

なお、計測対象によっては、上述した２種類の波長の光の吸収率が異なる場合があり得る。そこで、吸収率が既知であれば、その吸収率に応じて、波長７５０ｎｍの光と波長８５０ｎｍの光とで、時刻ｆから時刻ｇまでの時間間隔および時刻ｆから時刻ｉまでの時間間隔を変更してもよい。

（実施形態３）
次に、本開示の実施形態３について説明する。実施形態２にかかる撮像装置１００２と比較すると、本実施形態にかかる撮像装置は、１発光パルスの反射光を２位相に分割して光電変換する機能を備える点で相違する。ハードウェアとしての構成は実施形態２と同じであるので、本実施形態では図１２を参照する。

以下、実施形態２からの相違点を中心に説明する。

図１３Ｂは本実施形態３の光照射パターンを示す図であり、実施形態２と同じであるので、説明は省略する。

以下、図１７Ａのタイミング図、図１７Ｂのタイミング図、図１および図１２の全体システムを示す模式図、図１８Ａのタイミング図、および図１８Ｂのタイミング図を参照しながら本実施形態３の撮像装置の詳細動作を説明する。

図１７Ａおよび図１７Ｂにおいて、信号Ａ１、Ａ２、Ａ５、Ａ６はそれぞれ第１の光源１０３、１０４、第２の光源１０７、１０８の発光のタイミングを示し、信号Ｂは電子シャッタのＯＰＥＮ、ＣＬＯＳＥのタイミングを示し、信号Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６、Ｃ７、Ｃ８はそれぞれ浮遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１のＯＮ（すなわち浮遊拡散層に電荷が蓄積される状態）、ＯＦＦ（すなわち浮遊拡散層に電荷が蓄積されない状態）のタイミングを示す。また、図１８Ａおよび図１８Ｂにおいて、信号Ａは光源の発光のタイミングを示し、信号Ｂは時刻ａからｂの間での電子シャッタのＯＰＥＮ、ＣＬＯＳＥのタイミングを示し、信号Ｃ１、Ｃ３、Ｃ５、Ｃ７は浮遊拡散層４０４、４０６、４０８、４１０のＯＮ、ＯＦＦのタイミングを示し、信号Ｃ２、Ｃ４、Ｃ６、Ｃ８は浮遊拡散層４０５、４０７、４０９、４１１のＯＮ、ＯＦＦのタイミングを示し、信号Ｄは時間分解イメージセンサ１１３に到達した表面反射成分の強度を示し、信号Ｅは時間分解イメージセンサ１１３に到達した内部散乱光成分の強度を示し、信号Ｆは信号Ｄと信号Ｅとの和を示す。

図１および図１２の制御回路１１４により、約１０ｎｓパルス幅で約１０ＭＨｚの周波数にて、第１の光源１０３を図１７Ａに示すように複数回発光させる。通常は、例えば約１０００回、約１００μｓｅｃ程度の期間、繰り返し照射を行ってもよい。

図１８Ａに示す通り、高速タイミング制御回路４１２（図５）によるドレインへの不要電荷の排出制御により、時間分解イメージセンサ１１３は、ドレイン排出期間中に電子シャッタがＣＬＯＳＥ、ドレインに排出しない期間中は電子シャッタがＯＰＥＮとして制御する。

ここで、図１８Ｂは、図１８Ａのタイミング図中の時刻ｆから時刻ｉ付近を拡大して示すタイミング図である。制御回路１１４からの命令に基づいて、高速タイミング制御回路４１２は、表面反射成分が消失する時刻ｆに電子シャッタＯＰＥＮの開始の時刻を設定する。さらに高速タイミング制御回路４１２は、発光パルス幅相当の期間、電子シャッタＯＰＥＮ期間を維持し、その直後に電子シャッタをＣＬＯＳＥにする。

この時、高速タイミング制御回路４１２により、浮遊拡散層４０４は電子シャッタＯＰＥＮ時には既にアクティブであり、電子シャッタＯＰＥＮの途中である図１８Ｂの時刻ｉでｏｆｆにされる。同時に、高速タイミング制御回路４１２により、時刻ｉにおいて浮遊拡散層４０５がアクティブとされ、電子シャッタＣＬＯＳＥのタイミングまで浮遊拡散層４０５はアクティブを継続し、その後ＯＦＦにされる。

第１の光源１０３は繰り返しパルス発光するので、電子シャッタと浮遊拡散層４０４、４０５の制御も図１７Ａに示す通り、第１の光源１０３の発光に対応して、動作する。

高速タイミング制御回路４１２の制御により、電子シャッタ開の有効期間の前半（時刻ｉまで）の信号電荷は浮遊拡散層４０４に蓄積され、電子シャッタ開の有効期間の後半（時刻ｉから後）の信号電荷は浮遊拡散層４０５に蓄積されることになる。この間、他の浮遊拡散層はＯＦＦである。なお、本デバイスは、ドレイン排出がアクティブの際には光検出器内の電荷は全てドレインに排出されるように設計されている。

実施形態２と同様、浮遊拡散層４０４の信号電荷成分には、浅部情報の方が深部情報よりも十分多く、その結果、頭皮血流成分の方が脳血流成分よりも十分多く含まれている。

一方、浮遊拡散層４０５の信号電荷成分には、時刻ｆから取得した信号電荷成分と比較すると、深部情報の割合が増え、その結果、脳血流成分の情報の割合が増えている。

電子シャッタの動作タイミングを前半後半に分割して浮遊拡散層４０４と浮遊拡散層４０５に信号電荷を蓄積することで上記比率が変化する。

次に図１および図１２の制御回路１１４により、約１０ｎｓパルス幅で約１０ＭＨｚの周波数にて、第１の光源１０４を図１７Ａに示すように複数回発光させる。

図１８Ａに示す通り、高速タイミング制御回路４１２（図５）によるドレインへの不要電荷の排出制御により、時間分解イメージセンサ１１３は、ドレイン排出期間中に電子シャッタがＣＬＯＳＥ、ドレインに排出しない期間中は電子シャッタがＯＰＥＮとして制御する。

制御回路１１４からの命令に基づいて、高速タイミング制御回路４１２は、表面反射成分が消失する時刻ｆで、電子シャッタＯＰＥＮの開始の時刻を設定する。さらに高速タイミング制御回路４１２は、発光パルス幅相当の期間、電子シャッタＯＰＥＮ期間を維持し、その直後に電子シャッタをＣＬＯＳＥにする。

高速タイミング制御回路４１２により、浮遊拡散層４０６は電子シャッタＯＰＥＮ時には既にアクティブであり、電子シャッタＯＰＥＮの途中である図１８Ｂの時刻ｉでｏｆｆにされる。同時に、高速タイミング制御回路４１２により、時刻ｉにおいて浮遊拡散層４０７がアクティブとされ、電子シャッタＣＬＯＳＥのタイミングまで浮遊拡散層４０７はアクティブを継続し、その後ＯＦＦにされる。

第１の光源１０４は繰り返しパルス発光するので、電子シャッタと浮遊拡散層４０６、４０７の制御も図１７Ａに示す通り、第１の光源１０４の発光に対応して、動作する。

高速タイミング制御回路４１２の制御により、電子シャッタ開の有効期間の前半（時刻ｉまで）の信号電荷は浮遊拡散層４０６に蓄積され、電子シャッタ開の有効期間の後半（時刻ｉから後）の信号電荷は浮遊拡散層４０７に蓄積されることになる。この間、他の浮遊拡散層はＯＦＦである。なお、本デバイスは、ドレイン排出がアクティブの際には光検出器内の電荷は全てドレインに排出されるように設計されている。

以上の動作により、以下のように独立して信号電荷が蓄積される。

第１の光源１０３が、丸数字１の照射パターンでパルス発光を行うことにより、電子シャッタ開の前半の時刻ｉまでの信号電荷は浮遊拡散層４０４に蓄積され、電子シャッタ開の後半の時刻ｉからの信号電荷は浮遊拡散層４０５に蓄積される。

第１の光源１０４が、丸数字２の照射パターンでパルス発光を行うことにより、電子シャッタ開の前半の時刻ｉまでの信号電荷は浮遊拡散層４０６に蓄積され、電子シャッタ開の後半の時刻ｉからの信号電荷は浮遊拡散層４０７に蓄積される。

次に、図１７Ｂに示すように、引き続き８５０ｎｍのレーザーパルス光源１および２を同様に動作させることで、以下のように独立して信号電荷が蓄積される。

第２の光源１０７が、丸数字１の照射パターンでパルス発光を行うことにより、電子シャッタ開の前半の時刻ｉまでの信号電荷は浮遊拡散層４０８に蓄積され、電子シャッタ開の後半の時刻ｉからの信号電荷は浮遊拡散層４０９に蓄積される。

第２の光源１０８が、丸数字２の照射パターンでパルス発光を行うことにより、電子シャッタ開の前半の時刻ｉまでの信号電荷は浮遊拡散層４１０に蓄積され、電子シャッタ開の後半の時刻ｉからの信号電荷は浮遊拡散層４１１に蓄積される。

これらの動作を１セットとして、必要な信号電荷が蓄積されるまで、１フレーム内に複数セット繰り返し動作をさせる。数十セット程度繰り返してもよい。

次に、時間分解イメージセンサ１１３から出力された各々の浮遊拡散層４０４、４０５、４０６、４０７、４０８、４０９、４１０、４１１に相当する二波長の各照射パターン毎の８枚の画像データを用いて第１信号処理回路１１５にて浅部と深部の分離を行う。分離法については、基本的に実施形態２と同じ原理なので説明を省略する。

実施形態２と比較して１パルスの発光で、２位相の信号電荷を検出可能となるので、更に高速な撮像装置を提供することが可能となる。

（実施形態４）
次に、本開示の実施形態４について説明する。本実施の形態による撮像装置は被検体として生体等の光散乱体を対象とする。具体的には、撮像装置は、観測すべき脳内の酸素化ヘモグロビン、脱酸素化ヘモグロビンの濃度分布とその時間変化を検出し、前記濃度分布を２Ｄ画像として構築する。

本実施形態の目的と実施形態１の目的とは同じであるが、波長７５０ｎｍのレーザーパルス光を出射する１つの第１の光源１０３、および波長８５０ｎｍのレーザーパルス光源を出射する１つの第２の光源１０７を備えている点で、実施形態１と異なる。

以下実施形態１との差異のある部分を中心に説明する。特に説明しない構成要素の構造および／または機能は実施形態１の撮像装置１００１の構成と同じである。

図１９は本実施形態の撮像装置１００３を含む撮像システム図である。

撮像装置１００３が、実施形態１の撮像装置１００１と相違する点は、光源の数、および、時間分解イメージセンサ２１３の構成および動作である。これらの相違に伴って制御回路１１４の動作も相違する。時間分解イメージセンサ２１３の構成以外はハードウェアとしては同じであるため、同じ名称および参照符号を付すことにする。以下、制御回路１１４の動作を含む撮像装置１００３の動作を詳細に説明する。

撮像装置１００３は、波長７５０ｎｍのレーザーパルス光を出射する１つの第１の光源１０３、および波長８５０ｎｍ波長のレーザーパルス光を出射する１つの第２の光源１０７を有している。各々の光源は短パルスで高速で繰り返し決められた後述のパターンで照射を行う。

図２０Ａは本実施形態の撮像装置１００３の利用シーン２２００を示す。撮像装置１００３はタブレット端末２２０１に組み込まれている。撮像装置１００３は、たとえば異なる時刻１および２において第１および第２照射光をそれぞれ放射する。第１および第２照射光として、まず波長７５０ｎｍの光が第１の光源１０３から放射される。その放射が終わると、続いて波長８５０ｎｍの光が第２の光源１０７から放射される。いずれの照射光も、頭部１０２の特定の位置に入射するよう、その位置が予め決められている。つまり、照射によって形成される像のパターンである光照射パターンは予め決められている。

図２０Ｂは、頭部１０２に照射される光照射パターン２１０２の例を示す。

図２０Ｂに示される丸数字１で示される複数の位置２１０３は、第１の光源１０３および第２の光源１０７から放射されたレーザ光によって形成される光ドットパターンの位置を示す。第１の光源１０３と第２の光源１０７は、後述する動作タイミングで１フレーム内の各々異なる時刻で時分割して照射される。本実施形態において、第１の光源１０３と第２の光源１０７から放射されたレーザ光によって形成される光ドットパターンの位置は同じである。

本実施形態では、光学ダブルバンドパスフィルター１１２の特性は図４に記載された通りであるため、再度の説明は省略する。

本実施形態における時間分解イメージセンサ２１３の各画素の構成は実施形態１とは異なるため、この点を説明する。

図２１は、時間分解イメージセンサ２１３の１つの画素３０１の構成図である。１つの画素３０１は、電荷排出部であるドレイン３０２と、光電変換部である光検出器（ＰＤ）３０３と、信号電荷を蓄積する蓄積部である２つの浮遊拡散層（ＦＤ）３０４、３０５と高速タイミング制御回路２１２とを有している。

光検出器３０３は、入射フォトンを信号エレクトロン（信号電荷）に変換する。高速タイミング制御回路２１２は、制御信号を出力して、信号電荷をドレイン３０２に排出するか、浮遊拡散層３０４、３０５のどちらに蓄積するかを切り換える。浮遊拡散層３０４、３０５のどちらに振り分けるかは後述するタイミングに依存する。当該タイミングに必要とされる動作速度はナノ秒オーダである。このような高速動作を実現するため、高速タイミング制御回路２１２は、たとえばＣＭＯＳロジック回路で形成されている。

本実施形態による時間分解イメージセンサ２１３の構成において、実施形態１の時間分解イメージセンサ１１３と異なるのは、１画素領域に２つの浮遊拡散層３０４、３０５を含む点である。これによって、１画素領域では、蓄えられた電荷は、あたかも一般的なＣＭＯＳイメージセンサの２画素（１行２列または２行１列）の信号のように取り扱われて時間分解イメージセンサ２１３から出力される。

以下、図１９のシステム構成図を参照しながら本開示の実施形態４の撮像装置の詳細動作を説明する。

図１９の制御回路１１４により、約１０ｎｓパルス幅で約１０ＭＨｚの周波数にて、第１の光源１０３を、例えば、図７Ａに示すように複数回発光させる。通常は、例えば約１０００回、約１００μｓｅｃ程度の期間、繰り返し照射を行う。この時、照射ドットパターンは図２０Ｂの丸数字１の頭部額上の位置に照射される。例えば、丸数字１の位置の間隔は水平垂直に約３ｃｍに、斜め方向には、その間隔の「２の平方根」倍である４．２４ｃｍに設定される。

額に入射した各波長の光成分の挙動、および内部散乱光成分の検出原理は実施形態１と同じである。内部散乱光成分の減衰の程度も同じである。

また、第１の光源１０３および第２の光源１０７の動作については、実施形態１、２、３のいずれかと同様に動作させても良く、これらに対応する電子シャッタのＯＰＥＮおよび／またはＣＬＯＳＥの動作、並びに浮遊拡散層３０４、３０５のＯＮおよび／またはＯＦＦ動作についても同様に動作させても良いため、説明を省略する。

次に、本実施形態における信号電荷の蓄積について説明する。

第１の光源１０３が、図２０Ｂにおける丸数字１の照射パターンでパルス発光を行うことにより、図１５Ａにおける電子シャッタＯＰＥＮの位相時刻ｆまたはｇの信号電荷は浮遊拡散層３０４に蓄積される。

また、第２の光源１０７が、図２０Ｂにおける丸数字１の照射パターンでパルス発光を行なうことにより、図１５Ａにおける電子シャッタＯＰＥＮの位相時刻ｆまたはｇの信号電荷は浮遊拡散層３０５に蓄積される。

このとき、電子シャッタＯＰＥＮの位相時刻は、浮遊拡散層３０４、３０５に蓄積される信号電荷の両者で合わせることが好ましい。

これらの動作を１セットとして、必要な信号電荷が蓄積されるまで、１フレーム内に複数セット繰り返し動作をさせる。数十セット程度繰り返してもよい。

この繰り返し動作で、１フレームを信号電荷の蓄積期間とみなすと、第１の光源１０３、および第２の光源１０７の照射の擬似同時化が可能となる。

次に浮遊拡散層３０４、３０５に蓄積した信号電荷を実施形態１と同様にイメージセンサ出力からの読み出し動作を行う。

イメージセンサの信号読み出しは実施形態１と同様なため、説明を割愛する。

本例では光照射パターンは１種類のドットパターンの例で説明したが、光源の照射パターン数も必要に応じて増加させれば良く、パターン形状としてもリング状またはライン状のパターンであっても構わない。

このとき必要に応じてイメージセンサの浮遊拡散層の数を増加する設計を行えば良い。

次に、第１信号処理回路１１５は、時間分解イメージセンサ２１３から出力された２枚の画像データを用いて浅部と深部の分離を行う。２枚の画像の各々は、浮遊拡散層３０４、３０５の各々に蓄積されていた、二波長の照射パターンに応じて取得された信号電荷に対応する。分離法については、特開２０１２−１２５３７０号公報にも記載されているマルチＳＤ（Ｓｏｕｒｃｅ Ｄｅｔｅｃｔｏｒ・送光−受光）間距離の受光データから連立方程式を用いて解く手法および適応フィルタを用いた引き算方式の手法等が知られている。

なお、上述したとおり、位相時刻ｆでは、表面反射が収まった直後の光の成分、および頭部の浅い部分で内部散乱した光の成分が多く得られる。一方、位相時刻ｇでは、表面反射からさらに遅延した分、散乱光路長の長い光の成分が多く検出される。相対的に浅い位置の信号成分の比率が減少するため、時刻に応じて浅部深部比率が変化し得る。

第１信号処理回路１１５が７５０ｎｍと８５０ｎｍの各々の浅部深部の分離を行った後、第２信号処理回路１１６は、２波長の深部分離画像から、酸素化ヘモグロビン及び脱酸素化ヘモグロビンの各波長の光吸収係数を用いて、酸素化ヘモグロビン及び脱酸素化ヘモグロビンの各画素における相対変化を演算する。これにより、高速且つ高精度な脳機能のイメージングの提供が可能となる。

以上、本開示の例示的な各実施形態を説明した。

上述の各実施形態によれば、撮像装置には、画素ごとに、独立した信号電荷を蓄積する蓄積部である浮遊拡散層を有しているイメージセンサが設けられる。このイメージセンサは電子シャッタ機能を有している。パルス光源による照射光パターンを１フレーム内で時分割に位置を変化させながら発光させ、各々の照射パターン毎の信号を各パルス光照射の度に同位相の高速電子シャッタ機能で繰り返し蓄積部に蓄積する。その結果、被検体の浅部と深部の演算分離が高精度に可能となり、たとえば従来困難であった頭部深部の脳血流イメージングに際し、頭皮血流によるアーチファクトを高速且つ高精度に取り除くことが可能となる。

上述の実施形態では、２種類の波長の光源を利用する例を説明した。しかしながら、本開示は、１種類の波長の光源を用いて撮像を行う撮像装置であっても適用可能である。

さらに、実施形態の説明では、８つの浮遊拡散層が設けられている時間分解イメージセンサ１１３を挙げたが、これも一例である。浮遊拡散層の数は少なくとも２つ設けられていればよい。１フレーム内で、複数の照射パターンの各々について、信号電荷を各パルス光照射の度に高速シャッタ機能で繰り返し蓄積することができれば、浮遊拡散層の数は２つであってもよいし、３つ以上であってもよい。

なお、以上の実施の形態では、本開示の一態様に係る撮像装置を生体計測に用いる例について示したが、これに限定されない。本開示の一態様に係る撮像装置を、例えば、ピッキングロボット等に用いてもよい。さらに、例えば、材料分析装置、および食品分析装置等に用いても良い。

また、以上の実施の形態では、１つの光源から出射される光照射パターンが１種類である例について示したが、これに限定されない。１つの光源から出射される光照射パターンを切り替えることにより、１つの光源から複数の光照射パターンが出射可能であってもよい。

本発明の一態様にかかる撮像装置は、例えば、非接触で測定対象の内部情報を取得するカメラや測定機器として利用することができる。当該撮像装置は、たとえば生体・医療センシング、材料分析、および食品分析等に応用できる。生体・医療センシングに利用した場合、撮像装置は、たとえば人体の頭皮血流と頭部内部の脳血流を非接触で精度良く分離して、映像として出力することに利用できる。

１００１、１００２ 撮像装置
１０３、１０４、１０５、１０６ 第１の光源
１０７、１０８、１０９、１１０ 第２の光源
１１１ 結像光学系
１１２ 光学ダブルバンドパスフィルター
１１３ 時間分解イメージセンサ
１１４ 制御回路
１１５ 第１信号処理回路
１１６ 第２信号処理回路
６００ 光源
６０２ イメージセンサ
６０４ 信号処理回路
６０６ 表面反射成分
６０８ 内部散乱成分

Claims (11)

1. 第１のパルス光を発光して被写体の所定の領域内に第１のパターンの第１の像を投影し、かつ第２のパルス光を発光して前記被写体の前記所定の領域内の、前記第１の像の位置と異なる位置に第２のパターンの第２の像を投影する第１の光源と、
   複数の画素を含み、前記複数の画素の各々は、受けた光を信号電荷に変換する光検出器と、前記信号電荷を蓄積する第１の蓄積部および第２の蓄積部とを含む、イメージセンサと、
   前記第１の光源および前記イメージセンサを制御する制御回路と
   を備え、 前記制御回路は、
   前記第１の光源に前記第１のパルス光を発光させ、
   前記第１のパルス光の発光に対応して前記光検出器で生じた第１の信号電荷を前記第１の蓄積部に蓄積させ、
   前記第１の光源に前記第２のパルス光を前記第１のパルス光の発光と異なる時刻に発光させ、
   前記第２のパルス光の発光に対応して前記光検出器で生じた第２の信号電荷を前記第２の蓄積部に蓄積させる、
   撮像装置。
2. 前記第１の信号電荷および前記第２の信号電荷に基づいて画像情報を生成する信号処理回路をさらに備える、
   請求項１に記載の撮像装置。
3. 前記第１パターン及び前記第２のパターンは、複数の点を含むパターンである、
   請求項１または２に記載の撮像装置。
4. 前記第１パターン及び前記第２のパターンは、複数のリングを含むパターンである、
   請求項１または２に記載の撮像装置。
5. 前記第１パターン及び前記第２のパターンは、複数の直線を含むパターンである、
   請求項１または２に記載の撮像装置。
6. 前記制御回路は、
   前記第１の光源に、複数の第１のパルス光を発光させ、前記複数の第１のパルス光の各々は前記第１のパルス光であり、
   前記第１の光源に、複数の第２のパルス光を発光させ、前記複数の第１のパルス光の各々は前記第１のパルス光である、
   請求項１から５のいずれかに記載の撮像装置。
7. 第３のパルス光を発光して前記被写体の前記所定の領域内の、前記第１および第２の像の位置と異なる位置に第３のパターンの第３の像を投影し、かつ第４のパルス光を発光して前記被写体の前記所定の領域内の、前記第１、第２および第３の像の位置と異なる位置に第４のパターンの像を投影する第２の光源をさらに備え、
   前記イメージセンサにおける前記複数の画素の各々は、前記信号電荷を蓄積する第３の蓄積部および第４の蓄積部をさらに含み、
   前記第１の光源は第１の波長範囲の光を発光し、
   前記第２の光源は前記第１の波長範囲と異なる第２の波長範囲の光を発光し、
   前記制御回路は前記第２の光源をさらに制御し、
   前記制御回路は、
   前記第２の光源に前記第３のパルス光を発光させ、
   前記第３のパルス光の発光に対応して前記光検出器で生じた第３の信号電荷を前記第３の蓄積部に蓄積させ、
   前記第２の光源に前記第４のパルス光を前記第３のパルス光の発光と異なる時刻に発光させ、
   前記第４のパルス光の発光に対応して前記光検出器で生じた第４の信号電荷を前記第４の蓄積部に蓄積させる、
   請求項１から６のいずれかに記載の撮像装置。
8. 前記第１から第４の信号電荷に基づいて画像情報を生成する信号処理回路をさらに備える、
   請求項７に記載の撮像装置。
9. 前記被写体は光学的散乱体であり、
   前記第１の信号電荷は、前記被写体から到達した、前記第１のパルス光に由来する内部散乱光成分であり、
   前記第２の信号電荷は、前記被写体から到達した、前記第２のパルス光に由来する内部散乱光成分である、
   請求項１から６のいずれかに記載の撮像装置。
10. 前記イメージセンサにおける前記複数の画素の各々は、前記信号電荷を蓄積する第３の蓄積部および第４の蓄積部をさらに含み、
    前記制御回路は、
    第１の時刻および第２の時刻のそれぞれにおいて前記第１のパルス光を発光させ、
    前記第１の時刻から第１の時間が経過した後から、前記第１の蓄積部に前記第１の信号電荷を蓄積させ、
    前記第２の時刻から前記第１の時間よりも長い第２の時間が経過した後から、前記第３の蓄積部に前記第１の信号電荷を蓄積させ、
    第３の時刻および第４の時刻のそれぞれにおいて前記第２のパルス光を発光させ、
    前記第３の時刻から第３の時間が経過した後から、前記第２の蓄積部に前記第２の信号電荷を蓄積させ、
    前記第４の時刻から前記第３の時間よりも長い第４の時間が経過した後から、前記第４の蓄積部に前記第２の信号電荷を蓄積させる、
    請求項１に記載の撮像装置。
11. 第１のパルス光を発光して被写体の所定の領域に所定パターンの像を投影する光源と、
    複数の画素を含み、前記複数の画素の各々は、受けた光を信号電荷に変換する光検出器と、前記信号電荷を蓄積する第１の蓄積部および第２の蓄積部とを含むイメージセンサと、
    前記光源および前記イメージセンサを制御する制御回路と
    を備え、
    前記制御回路は、
    第１の時刻において前記光源に前記第１のパルス光を発光させ、
    前記第１の時刻の後で、かつ第２の時刻までは、前記第１の蓄積部に前記信号電荷を蓄積させ、
    前記第２の時刻を超えてからは前記第２の蓄積部に前記信号電荷を蓄積させる、
    撮像装置。

Images