JPH10281868A - 時間相関検出型イメージセンサおよび画像解析方法 - Google Patents

Abstract

(57)【要約】 【課題】 時間分解能の制限から従来不可能であった種
々の画像解析を可能とする。 【解決手段】 入力フォトンを電流に変換するフォトダ
イオードＦＤ、入力された外部電気信号Ｓに応じてフォ
トダイオードＦＤにより発生した電流を変調するトラン
ジスタ対、およびトランジスタ対により変調された電流
を時間積分するコンデンサＣを有する複数の受光素子を
備え、複数の受光素子を走査して各コンデンサＣの積分
値を順次読み出す。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、入射光強度と外部
電気信号との時間相関検出を行う時間相関検出型センサ
および時間相関検出型センサを用いた画像解析方法に関
する。

【０００２】

【従来の技術】画像センシングや画像解析の応用は、コ
ンピュータビジョン、自動視覚検査、科学計測、リモー
トセシング等、多岐にわたっている。しかし、その入力
手段としては、ほとんど放送用のイメージセンサの流用
以外の方法がなく、その限定された機能に由来して、画
像処理の応用展開上、多くの制約を受けているのが現状
である。

【０００３】特に問題が大きいのが、フレームレート1/
30秒という時間分解能の悪さであり、ＭＯＳ型イメージ
センサの高速スキャンや、イメージディテクタのような
時間信号出力型デバイスを用いても、感度や本来の空間
分解能が犠牲になるため、本質的な解決にならない。

【０００４】

【発明が解決しようとする課題】この問題に対して、本
発明は画像センシングの方法論に立返った考察から解決
法を与えようとするものである。もともと、空間分解能
と時間分解能の双方を高めようとする要求は情報量の莫
大化に帰着するため、本質的な困難さがある。本発明
は、センサ段階で適切な処理を加え、後続する画像解析
に必要十分な情報に圧縮して出力する方法を採るもので
あり、これにより、例えば、時間分解能の制限から従来
不可能であった種々の画像解析が可能となる、という技
術上の効果が得られる。

【０００５】

【課題を解決するための手段】一実施の形態を示す図１
〜図８に対応づけて説明すると、請求項１に記載の発明
は、入力フォトンを電流に変換する変換手段ＦＤ、入力
された変調信号Ｓに応じて変換手段ＦＤにより発生した
電流を変調する電流変調手段１（図１）、および電流変
調手段により変調された電流を時間積分する積分手段Ｃ
（図１）を有する複数の受光素子と、変調信号よりも遅
い周期により複数の受光素子を走査して積分手段の積分
値を順次読み出す走査手段とを備えることにより上述の
目的が達成される。請求項２に記載の発明は、請求項１
に記載の時間検出相関型イメージセンサにおいて、各受
光素子の電流変調手段１に同一の変調信号を入力するも
のである。請求項３に記載の発明は、時間変調をかけた
光を物体４に照射する光源３と、光源３の時間変調信号
を遅延する遅延手段とを用い、遅延手段により遅延され
た信号を請求項１または２に記載の時間相関型イメージ
センサに変調信号として入力することにより、光源３か
らの光が物体４で反射され、さらにイメージセンサで受
光される際の光伝播時間で決定される物体の特定部分の
みを検出するものである（図３）。請求項４に記載の発
明は、請求項１または２に記載の時間検出相関型イメー
ジセンサの電流変調手段１に変調信号を印加しつつ、受
光素子に入力される画像の位置を変調信号と同期して振
動させることにより、画像の微分値を求めるものであ
る。

【０００６】なお、本発明の構成を説明する上記課題を
解決するための手段の項では、本発明を分かり易くする
ために発明の実施の形態の図を用いたが、これにより本
発明が実施の形態に限定されるものではない。

【０００７】

【発明の実施の形態】以下、図１〜図８を用いて本発明
による時間相関検出型イメージセンサおよび画像解析方
法の実施の形態について説明する。

【０００８】本発明による時間相関型イメージセンサの
基本構造を図１に示す。この構造の要点は、入射フォ
トンを光電流（被乗数）に変換するフォトダイオード検
出器ＦＤを備え、全画素に共通に外部電気信号（乗
数）Ｓを供給するようにし、光電流と電気信号との間
の積に比例する電流を生成する電流モード乗算器１を備
え、上記の積電流を時間積分して相関値として蓄積す
るコンデンサＣを備え、相関値を走査して通常のビデ
オ信号として出力するための走査部（ＣＣＤあるいはＭ
ＯＳスイッチ回路）２を備える、ことにある。

【０００９】画素（ｉ，ｊ）の光検出器の出力をｆ_i,j
（ｔ）、外部電気信号をｇ（ｔ）、走査周期に一致する
積分時間をＴとすると、時間相関型イメージセンサの
（ｉ，ｊ）画素の出力は、

【数１】 と表されるものとなる。

【００１０】周波数帯域から見た本発明による時間相関
検出型センサの構造（動作）を図２に示す。変調光のよ
うな変化する光ではｆ_i,j（ｔ）にはいくらでも高い時
間周波数帯域を想定できる。通常のイメージセンサで
は、この帯域は走査周期（フレームレート）で強い制限
を受けるが、上記のセンサ構造では、この上限は光検出
器の限界帯域まで取払われる。外部電気信号Ｓは全画素
共通のため、この帯域も走査周期の制約は受けず、上限
帯域は信号分配配線の限界帯域程度と見積もられる。こ
れに対して、出力信号はそれらの相関値であり走査周期
分の積分値であるため、その帯域は常に走査周期の帯域
に収っている。

【００１１】−光伝搬時間による距離画像の生成− これまで画像センシングにおける相関計測は、主として
空間相関−パターンマッチング−に関して議論されるに
留まり、時間軸に対する相関は、ほとんど議論されてい
ない。ここでは、非常に高速な時間相関が得られる場合
に、画像センシングにどのような応用展開が開けてくる
かを、二三の具体例を用いて示す。空間解像度や出力信
号の形態としては、積極的に通常の放送用のイメージセ
ンサとコンパティブルなものを想定する。回路の複雑さ
を１０トランジスタ／画素程度に抑えれば、ハイビジョ
ン程度の空間解像度までターゲットとなり得る。

【００１２】まず最初に、光伝搬時間による距離画像の
生成について図３を用いて説明する。この応用は、光検
出器、外部電気信号入力とも、数ＧＨｚ以上の帯域が実
現できたときに可能となる。数ＧＨｚの時間分解能で
は、光の伝搬長分解能は３次元計測に求められる数ｃｍ
以下となることに注目すべきである。

【００１３】光源はレーザダイオードやＬＥＤなどのよ
うに、広帯域な（高い周波数成分を含む）時間変調がか
けられるものを想定する。ここではＬＥＤ３を用いてい
る。このＬＥＤ３は一定レベルで発光させるのではな
く、発光の輝度をＭ系列のパターンに変調を施して発光
させる。この変調光をＭ（ｔ）とする。すなわち、

【数２】 を満たすものである。

【００１４】ＬＥＤ３の変調信号は遅延装置６を介して
遅延時間τだけ遅延されて、外部電気信号としてセンサ
５に入力される。また、センサ５の各受光素子により捉
えられた入射光は外部電気信号により変調されて、入射
光と外部電気信号との積に相当する電荷が相関値として
蓄積される。各素子を順次走査することにより蓄積され
た各素子の電荷を読み出し、これにより相関が求まるこ
ととなる。

【００１５】ここで、ＬＥＤ３から対象４までの距離
と、対象４からセンサ５までの距離との和をｌ_i （i＝
１，２・・・ｎ）、光速をｃとする。ただし、対象４は
静止しているものと仮定する。センサ５上の光強度分布
は一般に以下のように書かれる。

【数３】 ただし、光の減衰等は簡略化のため無視してある。ま
た、対象４をセンサ５上に結像させる結像光学系の図示
は省略している。ここで、ｆ_i （ｘ，ｙ）は距離ｌ_i の
ところにある画像、ｎ（ｘ，ｙ，ｔ）は照明光や太陽光
などの観測雑音である。この強度分布Ｇ（ｘ，ｙ，ｔ）
と変調信号Ｍ（ｔ）の時間相関関数は、

【数４】 であり、外部信号として与えるＭ（ｔ）の時間遅れがτ
＝ｌ_i ／ｃの時だけ、ｆ_i （ｘ，ｙ）の出力が得られる
ということである。すなわち、適当にτを選択すること
によって、外来光によらず所望の距離の物体４表面のみ
を明るく検出することができる。したがって、例えばτ
を段階的に変化させることにより、物体４の立体像が得
られる。

【００１６】−画像の１次微分の算出− 入射光の強度に変調成分を与える方法として、センサを
微小振動させる方法もある。以下で述べる応用には、光
検出器と外部電気信号の時間周波数帯域とも１００ｋＨ
ｚ以下で十分である。また、微分を画素間差分を用いず
に生成することには、イメージセンサ最大の雑音源であ
る画素感度差による誤差を排除できる利点がある。

【００１７】センサが静止しているときにセンサ上に到
来するであろう光強度分布をｆ₀ （ｘ，ｙ）で表す。セ
ンサには微小半径εで回転角速度ωの回転的シフト運
動、すなわちセンサの受光面内で半径εの円を軌跡とす
る平行運動を与える。センサの運動速度に比べれば、
（例えあったとしても）対象の運動は無視できるものと
仮定する。このとき、時刻ｔにおいてセンサが捉える光
強度分布は、

【数５】 となり、テーラー展開をして１次近似すると、

【数６】 である。ここで、式（６）にεｃｏｓωｔを乗じて時間
平均をとると、

【数７】 となる。ここで、＜ｃｏｓωｔ＞＝０、＜ｓｉｎωｔｃ
ｏｓωｔ＞＝０、＜ｃｏｓ² ωｔ＞＝１／２を用いた。
式（７）の左辺はセンサ上に相関値として生成され、ε
も既知であるから、センサ出力として画像のｘ微分ｆ_0x
（ｘ，ｙ）が読み出されることになる。同様にして、ｆ
_0y（ｘ，ｙ）も式（６）にεｓｉｎωｔを掛けて時間平
均をとることにより求まる。

【００１８】これは、回転的シフト量のｘ方向成分を外
部電気信号とすることにより、画像のｘ微分ｆ_0x（ｘ，
ｙ）が読み出されることを意味する。同様に、回転的シ
フト量のｙ方向成分を外部電気信号とすることにより、
画像のｙ微分ｆ_0y （ｘ，ｙ）が読み出される。また、
定数を外部信号として読み出せば、回転的シフトによる
移動平均画像が得られる。

【００１９】１次微分が精度良く求まることは、単に演
算処理量の減少にとどまらず、勾配ベクトルを用いたさ
まざまな画像処理（エッジ検出、オプティカルフロー検
出、両眼ステレオ等）の精度の大幅な向上につながる。
なお、センサ自体を振動させる代りに、例えば光学系の
一部を振動させるなどして、固定したセンサ上で結像を
移動（振動）させるようにしてもよい。

【００２０】−時間相関型イメージセンサのセンシング
セルの構造− 次に、時間相関型イメージセンサのセンシングセルの具
体的な構成を例示する。

【００２１】乗算を実現する代表的な回路構成として、
可変コンダクタンス差動増幅器が知られている。図４
は、これを利用した構成法を示す。図４ではバイポーラ
トランジスタＱ₁ ，Ｑ₂ を用いているが、差動のトラン
ジスタ対として、サブスレッショルド領域にバイアスさ
れたＭＯＳＦＥＴ対を用いてもよい。

【００２２】この回路の差動入力電圧

【数８】 に対する相互コンダクタンスｇ_m は、トランジスタＱ
₁ ，Ｑ₂ のエミッタバイアス電流を与える光電流Ｉ
_PD（ｔ）に比例する。したがって、この比例係数をρと
すると、両コレクタ電流は、

【数９】 となり、コンデンサＣ₁ ，Ｃ₂ に蓄積される電荷には、

【数１０】

【数１１】 のように、Ｉ_PD （ｔ）とＶ（ｔ）の相関に比例した成
分と、Ｉ_PD の積分値に比例する成分との和が生成され
る。ＭＯＳＦＥＴＱ₃ ，Ｑ₄ による電荷転送の後で、画
素ごとにこれらの和と差をとることにより、

【数１２】

【数１３】 のごとく、それらが分離される。前者の和の成分は、通
常のイメージセンサの出力（平均照度）に等しい。した
がって、例えば上述した画像の１次微分の算出を行う場
合には、式（８）の差動入力電圧Ｖ（ｔ）をセンサの外
部電気信号（変調信号）として用い、２つのコンデンサ
Ｃ₁ ，Ｃ₂ の電荷をＦＥＴＱ₃ およびＱ₄をオンさせて
電圧を介して検出し、その差分を相関として求めればよ
い。なお、式（９）〜式（１３）の添字はコンデンサＣ
₁ ，Ｃ₂ の添字に対応している。

【００２３】しかし、この回路構成の欠点は、応用によ
っては大変大きな値をもつＩ_PD の積分値の成分が、蓄
積コンデンサ（コンデンサＣ₁ ，Ｃ₂ ）やＣＣＤ転送線
を飽和させやすいため精度上の困難さが予想される点に
ある。平均照度の成分をあきらめて差成分のみを生成す
るには、カレントミラー回路の付加により分岐された電
流を逆相合成して１つのコンデンサに電荷を蓄積する方
法や、図５のように、２つのコンデンサＣ₃ ，Ｃ₄ の蓄
積電荷の差成分のみを取り出すようなＦＥＴスイッチ回
路（Ｑ₅ ，Ｑ₆ ）を内蔵させる方法なども考えられる。
通常は図５のＶ_XFR を低電位に維持して２つのコンデン
サＣ₃ ，Ｃ₄ を充電するとともに、走査時にＶ_XFR を高
電位に切替えることにより、ＦＥＴＱ₃ を介して２つの
コンデンサＣ₃ ，Ｃ₄ の蓄積電荷の差成分に応じた電圧
を検出することができる。

【００２４】図４および図５の回路では、検出器に生じ
た光電流を、電圧入力に比例した按分比率で２つのコン
デンサに分配し、電荷として蓄えていると見なせる。そ
して、光検出器自体にこのような発生電流の按分機構を
埋め込めれば、回路的手段により電荷を振り分ける場合
に比べて乗算の周波数帯域が大幅に拡大することが予想
される（例えば数ＧＨｚ以上）。

【００２５】図６はこのような光検出器の一例であり、
半導体中に発生した光キャリアのドリフト方向を外部電
界で制御し、２つのｐｎ接合に流れ落ちるキャリア数を
変調するようにし、コンデンサＣ₅ ，Ｃ₆ に電流を振り
分けている。コンデンサＣ₅，Ｃ₆ の電荷はＭＯＳＦＥ
ＴＱ₇ ，Ｑ₈ のオン動作により読み出される。図６に示
す光検出器では、Ｖ_MPY ⁺ とＶ_MPY ^- の差分が上述の光伝
搬時間による距離画像の生成における外部電気信号（変
調信号）に対応する。

【００２６】次に、図７に示すＦＥＴブリッジを用いた
スイッチング方式半２値相関回路について説明する。こ
の回路構成には、外部電気信号が２値的信号に制限され
る欠点はあるが、容易に高精度の動作が得られるという
利点とともに、従来のＣＣＤイメージセンサと半導体製
造プロセス上の共通点が多いという利点がある。

【００２７】この回路の動作は、図８に模式的に示され
る。まず、画素に光が入射すると、その光は各画素ごと
にフォトダイオードＰＤにより電流に変換される。通常
のＣＣＤカメラでは、この電流により直接コンデンサで
電荷を蓄積し、コンデンサの両端電圧をスキャンする。
ここで提案する方法では、通常の電荷蓄積前にＦＥＴを
４個（Ｑ₁₁ 〜Ｑ₁₄ ）用いてスイッチングを行い、走査
時にはＦＥＴＱ₁₂ およびＱ₁₃ をオンさせた状態でＦＥ
ＴＱ₁₅ を介してコンデンサＣ₇ の電圧を検出する。こ
れは、例えばＭ系列信号で駆動することに対応してい
る。すなわち、電流スイッチングを繰返し行うことによ
り、中央のコンデンサＣ₇ の電荷が蓄積され（放出さ
れ）、このコンデンサＣ₇ の両端電圧を計測することに
より、相関が計算されたことになる。

【００２８】

【発明の効果】請求項１に記載の発明によれば、入力フ
ォトンを電流に変換する変換手段、入力された電気信号
に応じて変換手段により発生した電流を変調する電流変
調手段、および電流変調手段により制御された電流を時
間積分する積分手段を有する複数の受光素子を備え、複
数の受光素子を走査して積分手段の積分値を順次読み出
すので、高い時間分解能での時間相関検出を行うことが
できる。請求項３に記載の発明によれば、時間変調をか
けた光を物体に照射する光源と、光源の時間変調信号を
遅延する遅延手段とを用い、遅延手段により遅延された
信号を請求項１または２に記載の時間相関型イメージセ
ンサに変調信号として入力するので、距離画像等を生成
することができる。請求項４に記載の発明によれば、請
求項１または２に記載の時間検出相関型イメージセンサ
に変調信号を印加しつつ、イメージセンサに入力される
画像の位置を振動させるので、高精度に画像の微分値を
求めることができる。

【図面の簡単な説明】

【図１】本発明によるイメージセンサの構造を示す図。

【図２】図１に示すイメージセンサの動作帯域を示す
図。

【図３】本発明によるイメージセンサを用いた光伝播時
間による距離画像の生成を示す図。

【図４】差動トランジスタを用いて光電流を２つのコン
デンサに分流させる例を示す回路図。

【図５】図４に示す回路にＦＥＴスイッチを付加しで差
分だけを取り出す例を示す回路図。

【図６】半導体中に発生した光キャリアを２つのコンデ
ンサに割り振る構成を模式的に示す図。

【図７】ＦＥＴブリッジを用いたスイッチング方式半２
値相関回路を示す回路図。

【図８】図７に示す回路の動作を説明する図。

【符号の説明】

１ 電流モード乗算器 ３ ＬＥＤ ４ 対象 Ｃ コンデンサ Ｓ 電気信号 ＦＤ フォトダイオード

Claims (4)

【特許請求の範囲】
1. 【請求項１】 入力フォトンを電流に変換する変換手
   段、入力された変調信号に応じて前記変換手段により発
   生した電流を変調する電流変調手段、および前記電流変
   調手段により変調された電流を時間積分する積分手段を
   有する複数の受光素子と、 前記変調信号よりも遅い周期により前記複数の受光素子
   を走査して前記積分手段の前記積分値を順次読み出す走
   査手段とを備えることを特徴とする時間相関検出型イメ
   ージセンサ。
2. 【請求項２】 前記各受光素子の前記電流変調手段に同
   一の変調信号を入力することを特徴とする請求項１に記
   載の時間相関検出型イメージセンサ。
3. 【請求項３】 時間変調をかけた光を物体に照射する光
   源と、前記光源の時間変調信号を遅延する遅延手段とを
   用い、 前記遅延手段により遅延された信号を請求項１または２
   に記載の時間相関型イメージセンサに前記変調信号とし
   て入力することにより、前記光源からの光が前記物体で
   反射され、さらに前記イメージセンサで受光される際の
   光伝播時間で決定される前記物体の特定部分のみを検出
   することを特徴とする画像解析方法。
4. 【請求項４】 請求項１または２に記載の時間検出相関
   型イメージセンサの前記電流変調手段に変調信号を印加
   しつつ、前記受光素子に入力される画像の位置を前記変
   調信号と同期して振動させることにより、前記画像の微
   分値を求めることを特徴とする画像解析方法。