JP3643210B2

JP3643210B2 - 時間相関検出型イメージセンサおよび画像解析方法

Info

Publication number: JP3643210B2
Application number: JP08672397A
Authority: JP
Inventors: 繁安藤
Original assignee: Individual
Current assignee: Individual
Priority date: 1997-04-04
Filing date: 1997-04-04
Publication date: 2005-04-27
Anticipated expiration: 2017-04-04
Also published as: JPH10281868A

Description

【０００１】
【発明の属する技術分野】
本発明は、入射光強度と外部電気信号との時間相関検出を行う時間相関検出型センサおよび時間相関検出型センサを用いた画像解析方法に関する。
【０００２】
【従来の技術】
画像センシングや画像解析の応用は、コンピュータビジョン、自動視覚検査、科学計測、リモートセシング等、多岐にわたっている。しかし、その入力手段としては、ほとんど放送用のイメージセンサの流用以外の方法がなく、その限定された機能に由来して、画像処理の応用展開上、多くの制約を受けているのが現状である。
【０００３】
特に問題が大きいのが、フレームレート1/30秒という時間分解能の悪さであり、ＭＯＳ型イメージセンサの高速スキャンや、イメージディテクタのような時間信号出力型デバイスを用いても、感度や本来の空間分解能が犠牲になるため、本質的な解決にならない。
【０００４】
【発明が解決しようとする課題】
この問題に対して、本発明は画像センシングの方法論に立返った考察から解決法を与えようとするものである。もともと、空間分解能と時間分解能の双方を高めようとする要求は情報量の莫大化に帰着するため、本質的な困難さがある。本発明は、センサ段階で適切な処理を加え、後続する画像解析に必要十分な情報に圧縮して出力する方法を採るものであり、これにより、例えば、時間分解能の制限から従来不可能であった種々の画像解析が可能となる、という技術上の効果が得られる。
【０００５】
【課題を解決するための手段】
一実施の形態を示す図１〜図８に対応づけて説明すると、請求項１に記載の発明は、入力フォトンを電流に変換する変換手段ＦＤ、入力された変調信号Ｓに応じて変換手段ＦＤにより発生した電流を変調する電流変調手段１（図１）、および電流変調手段により変調された電流を時間積分する積分手段Ｃ（図１）を有する複数の受光素子と、変調信号よりも遅い周期により複数の受光素子を走査して積分手段の積分値を順次読み出す走査手段とを備えることにより上述の目的が達成される。
請求項２に記載の発明は、請求項１に記載の時間検出相関型イメージセンサにおいて、各受光素子の電流変調手段１に同一の変調信号を入力するものである。
請求項３に記載の発明は、時間変調をかけた光を物体４に照射する光源３と、光源３の時間変調信号を遅延する遅延手段とを用い、遅延手段により遅延された信号を請求項１または２に記載の時間相関型イメージセンサに変調信号として入力することにより、光源３からの光が物体４で反射され、さらにイメージセンサで受光される際の光伝播時間で決定される物体の特定部分のみを検出するものである（図３）。
請求項４に記載の発明は、請求項１または２に記載の時間検出相関型イメージセンサの電流変調手段１に変調信号を印加しつつ、受光素子に入力される画像の位置を変調信号と同期して振動させることにより、画像の微分値を求めるものである。
【０００６】
なお、本発明の構成を説明する上記課題を解決するための手段の項では、本発明を分かり易くするために発明の実施の形態の図を用いたが、これにより本発明が実施の形態に限定されるものではない。
【０００７】
【発明の実施の形態】
以下、図１〜図８を用いて本発明による時間相関検出型イメージセンサおよび画像解析方法の実施の形態について説明する。
【０００８】
本発明による時間相関型イメージセンサの基本構造を図１に示す。この構造の要点は、▲１▼入射フォトンを光電流（被乗数）に変換するフォトダイオード検出器ＦＤを備え、▲２▼全画素に共通に外部電気信号（乗数）Ｓを供給するようにし、▲３▼光電流と電気信号との間の積に比例する電流を生成する電流モード乗算器１を備え、▲４▼上記の積電流を時間積分して相関値として蓄積するコンデンサＣを備え、▲５▼相関値を走査して通常のビデオ信号として出力するための走査部（ＣＣＤあるいはＭＯＳスイッチ回路）２を備える、ことにある。
【０００９】
画素（ｉ，ｊ）の光検出器の出力をｆ_i,j（ｔ）、外部電気信号をｇ（ｔ）、走査周期に一致する積分時間をＴとすると、時間相関型イメージセンサの（ｉ，ｊ）画素の出力は、
【数１】

と表されるものとなる。
【００１０】
周波数帯域から見た本発明による時間相関検出型センサの構造（動作）を図２に示す。変調光のような変化する光ではｆ_i,j（ｔ）にはいくらでも高い時間周波数帯域を想定できる。通常のイメージセンサでは、この帯域は走査周期（フレームレート）で強い制限を受けるが、上記のセンサ構造では、この上限は光検出器の限界帯域まで取払われる。外部電気信号Ｓは全画素共通のため、この帯域も走査周期の制約は受けず、上限帯域は信号分配配線の限界帯域程度と見積もられる。これに対して、出力信号はそれらの相関値であり走査周期分の積分値であるため、その帯域は常に走査周期の帯域に収っている。
【００１１】
−光伝搬時間による距離画像の生成−
これまで画像センシングにおける相関計測は、主として空間相関−パターンマッチング−に関して議論されるに留まり、時間軸に対する相関は、ほとんど議論されていない。ここでは、非常に高速な時間相関が得られる場合に、画像センシングにどのような応用展開が開けてくるかを、二三の具体例を用いて示す。空間解像度や出力信号の形態としては、積極的に通常の放送用のイメージセンサとコンパティブルなものを想定する。回路の複雑さを１０トランジスタ／画素程度に抑えれば、ハイビジョン程度の空間解像度までターゲットとなり得る。
【００１２】
まず最初に、光伝搬時間による距離画像の生成について図３を用いて説明する。この応用は、光検出器、外部電気信号入力とも、数ＧＨｚ以上の帯域が実現できたときに可能となる。数ＧＨｚの時間分解能では、光の伝搬長分解能は３次元計測に求められる数ｃｍ以下となることに注目すべきである。
【００１３】
光源はレーザダイオードやＬＥＤなどのように、広帯域な（高い周波数成分を含む）時間変調がかけられるものを想定する。ここではＬＥＤ３を用いている。このＬＥＤ３は一定レベルで発光させるのではなく、発光の輝度をＭ系列のパターンに変調を施して発光させる。この変調光をＭ（ｔ）とする。すなわち、
【数２】

を満たすものである。
【００１４】
ＬＥＤ３の変調信号は遅延装置６を介して遅延時間τだけ遅延されて、外部電気信号としてセンサ５に入力される。また、センサ５の各受光素子により捉えられた入射光は外部電気信号により変調されて、入射光と外部電気信号との積に相当する電荷が相関値として蓄積される。各素子を順次走査することにより蓄積された各素子の電荷を読み出し、これにより相関が求まることとなる。
【００１５】
ここで、ＬＥＤ３から対象４までの距離と、対象４からセンサ５までの距離との和をｌ_i （i＝１，２・・・ｎ）、光速をｃとする。ただし、対象４は静止しているものと仮定する。センサ５上の光強度分布は一般に以下のように書かれる。
【数３】

ただし、光の減衰等は簡略化のため無視してある。また、対象４をセンサ５上に結像させる結像光学系の図示は省略している。ここで、ｆ_i （ｘ，ｙ）は距離ｌ_i のところにある画像、ｎ（ｘ，ｙ，ｔ）は照明光や太陽光などの観測雑音である。この強度分布Ｇ（ｘ，ｙ，ｔ）と変調信号Ｍ（ｔ）の時間相関関数は、
【数４】

であり、外部信号として与えるＭ（ｔ）の時間遅れがτ＝ｌ_i ／ｃの時だけ、ｆ_i （ｘ，ｙ）の出力が得られるということである。すなわち、適当にτを選択することによって、外来光によらず所望の距離の物体４表面のみを明るく検出することができる。したがって、例えばτを段階的に変化させることにより、物体４の立体像が得られる。
【００１６】
−画像の１次微分の算出−
入射光の強度に変調成分を与える方法として、センサを微小振動させる方法もある。以下で述べる応用には、光検出器と外部電気信号の時間周波数帯域とも１００ｋＨｚ以下で十分である。また、微分を画素間差分を用いずに生成することには、イメージセンサ最大の雑音源である画素感度差による誤差を排除できる利点がある。
【００１７】
センサが静止しているときにセンサ上に到来するであろう光強度分布をｆ₀ （ｘ，ｙ）で表す。センサには微小半径εで回転角速度ωの回転的シフト運動、すなわちセンサの受光面内で半径εの円を軌跡とする平行運動を与える。センサの運動速度に比べれば、（例えあったとしても）対象の運動は無視できるものと仮定する。このとき、時刻ｔにおいてセンサが捉える光強度分布は、
【数５】

となり、テーラー展開をして１次近似すると、
【数６】

である。ここで、式（６）にεｃｏｓωｔを乗じて時間平均をとると、
【数７】

となる。ここで、＜ｃｏｓωｔ＞＝０、＜ｓｉｎωｔｃｏｓωｔ＞＝０、＜ｃｏｓ² ωｔ＞＝１／２を用いた。式（７）の左辺はセンサ上に相関値として生成され、εも既知であるから、センサ出力として画像のｘ微分ｆ_0x（ｘ，ｙ）が読み出されることになる。同様にして、ｆ_0y（ｘ，ｙ）も式（６）にεｓｉｎωｔを掛けて時間平均をとることにより求まる。
【００１８】
これは、回転的シフト量のｘ方向成分を外部電気信号とすることにより、画像のｘ微分ｆ_0x（ｘ，ｙ）が読み出されることを意味する。同様に、回転的シフト量のｙ方向成分を外部電気信号とすることにより、画像のｙ微分ｆ_0y （ｘ，ｙ）が読み出される。また、定数を外部信号として読み出せば、回転的シフトによる移動平均画像が得られる。
【００１９】
１次微分が精度良く求まることは、単に演算処理量の減少にとどまらず、勾配ベクトルを用いたさまざまな画像処理（エッジ検出、オプティカルフロー検出、両眼ステレオ等）の精度の大幅な向上につながる。なお、センサ自体を振動させる代りに、例えば光学系の一部を振動させるなどして、固定したセンサ上で結像を移動（振動）させるようにしてもよい。
【００２０】
−時間相関型イメージセンサのセンシングセルの構造−
次に、時間相関型イメージセンサのセンシングセルの具体的な構成を例示する。
【００２１】
乗算を実現する代表的な回路構成として、可変コンダクタンス差動増幅器が知られている。図４は、これを利用した構成法を示す。図４ではバイポーラトランジスタＱ₁ ，Ｑ₂ を用いているが、差動のトランジスタ対として、サブスレッショルド領域にバイアスされたＭＯＳＦＥＴ対を用いてもよい。
【００２２】
この回路の差動入力電圧
【数８】

に対する相互コンダクタンスｇ_m は、トランジスタＱ₁ ，Ｑ₂ のエミッタバイアス電流を与える光電流Ｉ_PD（ｔ）に比例する。したがって、この比例係数をρとすると、両コレクタ電流は、
【数９】

となり、コンデンサＣ₁ ，Ｃ₂ に蓄積される電荷には、
【数１０】

【数１１】

のように、Ｉ_PD （ｔ）とＶ（ｔ）の相関に比例した成分と、Ｉ_PD の積分値に比例する成分との和が生成される。ＭＯＳＦＥＴＱ₃ ，Ｑ₄ による電荷転送の後で、画素ごとにこれらの和と差をとることにより、
【数１２】

【数１３】

のごとく、それらが分離される。前者の和の成分は、通常のイメージセンサの出力（平均照度）に等しい。したがって、例えば上述した画像の１次微分の算出を行う場合には、式（８）の差動入力電圧Ｖ（ｔ）をセンサの外部電気信号（変調信号）として用い、２つのコンデンサＣ₁ ，Ｃ₂ の電荷をＦＥＴＱ₃ およびＱ₄ をオンさせて電圧を介して検出し、その差分を相関として求めればよい。なお、式（９）〜式（１３）の添字はコンデンサＣ₁ ，Ｃ₂ の添字に対応している。
【００２３】
しかし、この回路構成の欠点は、応用によっては大変大きな値をもつＩ_PD の積分値の成分が、蓄積コンデンサ（コンデンサＣ₁ ，Ｃ₂ ）やＣＣＤ転送線を飽和させやすいため精度上の困難さが予想される点にある。平均照度の成分をあきらめて差成分のみを生成するには、カレントミラー回路の付加により分岐された電流を逆相合成して１つのコンデンサに電荷を蓄積する方法や、図５のように、２つのコンデンサＣ₃ ，Ｃ₄ の蓄積電荷の差成分のみを取り出すようなＦＥＴスイッチ回路（Ｑ₅ ，Ｑ₆ ）を内蔵させる方法なども考えられる。通常は図５のＶ_XFR を低電位に維持して２つのコンデンサＣ₃ ，Ｃ₄ を充電するとともに、走査時にＶ_XFR を高電位に切替えることにより、ＦＥＴＱ₃ を介して２つのコンデンサＣ₃ ，Ｃ₄ の蓄積電荷の差成分に応じた電圧を検出することができる。
【００２４】
図４および図５の回路では、検出器に生じた光電流を、電圧入力に比例した按分比率で２つのコンデンサに分配し、電荷として蓄えていると見なせる。そして、光検出器自体にこのような発生電流の按分機構を埋め込めれば、回路的手段により電荷を振り分ける場合に比べて乗算の周波数帯域が大幅に拡大することが予想される（例えば数ＧＨｚ以上）。
【００２５】
図６はこのような光検出器の一例であり、半導体中に発生した光キャリアのドリフト方向を外部電界で制御し、２つのｐｎ接合に流れ落ちるキャリア数を変調するようにし、コンデンサＣ₅ ，Ｃ₆ に電流を振り分けている。コンデンサＣ₅ ，Ｃ₆ の電荷はＭＯＳＦＥＴＱ₇ ，Ｑ₈ のオン動作により読み出される。図６に示す光検出器では、Ｖ_MPY ⁺ とＶ_MPY ^- の差分が上述の光伝搬時間による距離画像の生成における外部電気信号（変調信号）に対応する。
【００２６】
次に、図７に示すＦＥＴブリッジを用いたスイッチング方式半２値相関回路について説明する。この回路構成には、外部電気信号が２値的信号に制限される欠点はあるが、容易に高精度の動作が得られるという利点とともに、従来のＣＣＤイメージセンサと半導体製造プロセス上の共通点が多いという利点がある。
【００２７】
この回路の動作は、図８に模式的に示される。まず、画素に光が入射すると、その光は各画素ごとにフォトダイオードＰＤにより電流に変換される。通常のＣＣＤカメラでは、この電流により直接コンデンサで電荷を蓄積し、コンデンサの両端電圧をスキャンする。ここで提案する方法では、通常の電荷蓄積前にＦＥＴを４個（Ｑ₁₁ 〜Ｑ₁₄ ）用いてスイッチングを行い、走査時にはＦＥＴＱ₁₂ およびＱ₁₃ をオンさせた状態でＦＥＴＱ₁₅ を介してコンデンサＣ₇ の電圧を検出する。これは、例えばＭ系列信号で駆動することに対応している。すなわち、電流スイッチングを繰返し行うことにより、中央のコンデンサＣ₇ の電荷が蓄積され（放出され）、このコンデンサＣ₇ の両端電圧を計測することにより、相関が計算されたことになる。
【００２８】
【発明の効果】
請求項１に記載の発明によれば、入力フォトンを電流に変換する変換手段、入力された電気信号に応じて変換手段により発生した電流を変調する電流変調手段、および電流変調手段により制御された電流を時間積分する積分手段を有する複数の受光素子を備え、複数の受光素子を走査して積分手段の積分値を順次読み出すので、高い時間分解能での時間相関検出を行うことができる。
請求項３に記載の発明によれば、時間変調をかけた光を物体に照射する光源と、光源の時間変調信号を遅延する遅延手段とを用い、遅延手段により遅延された信号を請求項１または２に記載の時間相関型イメージセンサに変調信号として入力するので、距離画像等を生成することができる。
請求項４に記載の発明によれば、請求項１または２に記載の時間検出相関型イメージセンサに変調信号を印加しつつ、イメージセンサに入力される画像の位置を振動させるので、高精度に画像の微分値を求めることができる。
【図面の簡単な説明】
【図１】本発明によるイメージセンサの構造を示す図。
【図２】図１に示すイメージセンサの動作帯域を示す図。
【図３】本発明によるイメージセンサを用いた光伝播時間による距離画像の生成を示す図。
【図４】差動トランジスタを用いて光電流を２つのコンデンサに分流させる例を示す回路図。
【図５】図４に示す回路にＦＥＴスイッチを付加しで差分だけを取り出す例を示す回路図。
【図６】半導体中に発生した光キャリアを２つのコンデンサに割り振る構成を模式的に示す図。
【図７】ＦＥＴブリッジを用いたスイッチング方式半２値相関回路を示す回路図。
【図８】図７に示す回路の動作を説明する図。
【符号の説明】
１電流モード乗算器
３ＬＥＤ
４対象
Ｃコンデンサ
Ｓ電気信号
ＦＤフォトダイオード

Claims

入力フォトンを電流に変換する変換手段、入力された変調信号に応じて前記変換手段により発生した電流を変調する電流変調手段、および前記電流変調手段により変調された電流を時間積分する積分手段を有する複数の受光素子と、
前記変調信号よりも遅い周期により前記複数の受光素子を走査して前記積分手段の前記積分値を順次読み出す走査手段とを備えることを特徴とする時間相関検出型イメージセンサ。
前記各受光素子の前記電流変調手段に同一の変調信号を入力することを特徴とする請求項１に記載の時間相関検出型イメージセンサ。
時間変調をかけた光を物体に照射する光源と、前記光源の時間変調信号を遅延する遅延手段とを用い、
前記遅延手段により遅延された信号を請求項１または２に記載の時間相関型イメージセンサに前記変調信号として入力することにより、前記光源からの光が前記物体で反射され、さらに前記イメージセンサで受光される際の光伝播時間で決定される前記物体の特定部分のみを検出することを特徴とする画像解析方法。
請求項１または２に記載の時間検出相関型イメージセンサの前記電流変調手段に変調信号を印加しつつ、前記受光素子に入力される画像の位置を前記変調信号と同期して振動させることにより、前記画像の微分値を求めることを特徴とする画像解析方法。