JP6741680B2 - 撮像装置、およびそれに用いられる固体撮像素子 - Google Patents

Description

本発明は、撮像装置、およびそれに用いられる固体撮像素子に関する。

ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）方式の測距演算では、被写体からの反射光に対して、少なくとも２つ以上の露光信号を取得し、その取得した露光信号量から発光と受光との時間差または位相差（対象物体まで光が往復するのに要した時間）を算出することで測距演算を行う。

また、上記測距演算では、一般的に差分演算が含まれており、太陽光など、露光期間中に一定の光量が被写体に照射あるいは撮像装置（ＴＯＦカメラ）に入射される背景光の影響は差分除去され、その影響は抑制される。

しかし、ＴＯＦカメラが複数ある場合、他の撮像装置（他ＴＯＦカメラ）からの発光や反射光は周期性を持った光であるため、自ＴＯＦカメラの露光期間中に時間的な変化を持つ。そのため、測距演算に必要な複数の各露光信号に含まれる他ＴＯＦカメラからの干渉光の影響成分は同一ではない。つまり、測距演算に含まれる差分演算を行っても、干渉光の影響は排除することができず、測距誤差が発生する。

特許文献１では、以下のような光飛行型距離画像生成装置が開示されている。すなわち、撮影空間の距離画像生成する際、同一撮影空間内に同時期に複数の光飛行型距離画像生成装置が存在する場合であっても、精度良く測距を行うため、光源から照射する変調光の発光（ＯＮ）期間と、電荷蓄積部の各単位蓄積部における電荷の蓄積期間とを一定としながら、変調周期毎に周期の長さを変化させるよう、発光と蓄積とを制御する。周期の長さは、予め定めた固定の変調周期Ｔｓに、周期毎に異なる付加時間を付加することにより変化させる。そして、付加時間中に取得した電荷は廃棄する従来技術を開示している。

特表２０１３−７６６４５号公報

しかしながら、一般的にＴＯＦカメラは、発光および露光期間が数１０ｎｓと非常に短いため、１フレーム中に数１０００回以上の発光および露光動作を行う必要がある。

そのため、ＴＯＦカメラにおいて、照射光に対して、１周期毎に発光周期に付加時間を加え、発光信号の周期を変調することにより、発光の周期性を崩し、測距演算に必要な各露光信号に含まれる干渉光成分を均一化する場合、付加した時間だけ、発光期間および露光期間が増大し、フレームレートが低下するという課題を有している。

上記課題に鑑み、本発明は、フレームレートを低下させること無く、いわゆる干渉現象の抑制を実現する撮像装置、およびそれに用いられる固体撮像素子を提供することを目的とする。

上記課題を解決するために、本発明の一態様に係る撮像装置は、光を照射して被写体からの反射光を受光することにより、当該被写体までの距離を測定する撮像装置であって、発光制御信号および露光制御信号を出力する制御部と、前記発光制御信号のタイミングで光の照射を行う光源部と、照射された光の前記被写体からの反射光を、前記露光制御信号により複数の異なるタイミングで露光し、当該複数の異なるタイミングによる露光で生成された複数の露光信号を出力する固体撮像素子を備える受光部と、前記複数の露光信号を入力として距離演算を行う演算部とを有し、前記制御部は、ランダムあるいは一定の規則に従い、前記発光制御信号と前記露光制御信号のぞれぞれのパルス回数を増減させることにより、前記複数の露光信号のそれぞれを生成するための前記光源部の発光期間および前記固体撮像素子の露光期間の長さに変調を加える、または、前記発光制御信号と前記露光制御信号との位相関係を保ち、前記発光期間および前記露光期間の繰り返し順序に変調を加える、ための前記発光制御信号および前記露光制御信号を出力することを特徴とする。

また、前記制御部は、ランダムあるいは一定の規則に従い前記発光期間および前記露光期間の長さを増減させる前記発光制御信号および前記露光制御信号を出力することにより、前記発光期間および前記露光期間の長さに変調を加えてもよい。

また、前記制御部は、ランダムあるいは一定の規則に従い前記発光期間および前記露光期間の繰り返し順序を変更する前記発光制御信号および前記露光制御信号を出力することにより、前記発光期間および前記露光期間の繰り返し順序に変調を加えてもよい。

また、前記制御部は、前記発光期間および前記露光期間において、発光状態と非発光状態との比率および露光状態と非露光状態との比率に変調を加えた前記発光制御信号または前記露光制御信号を出力してもよい。

また、前記比率の変調は、ランダムあるいは一定の規則に従って、前記発光状態と前記非発光状態との比率および前記露光状態と前記非露光状態との比率を増減させてもよい。

また、前記比率の変調は、ランダムあるいは一定の規則に従って、前記発光制御信号である発光パルスおよび前記露光制御信号である露光パルスをオフにすることで前記比率を変調させてもよい。

また、前記比率の変調は、ランダムあるいは一定の規則に従って、前記発光パルスおよび前記露光パルスについての少なくとも１周期分以上のパルス期間を間引くことで前記比率を変調させてもよい。

また、前記撮像装置は、ＴＯＦ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）方式により前記被写体までの距離を測定してもよい。

また、本発明の一態様に係る固体撮像素子は、発光制御信号および露光制御信号を出力する制御部と、前記発光制御信号のタイミングで光の照射を行う光源部と、固体撮像素子と、複数の露光信号を入力として距離演算を行う演算部とを有し、光を照射して被写体からの反射光を受光することにより、被写体までの距離を測定する撮像装置に用いられる固体撮像素子であって、前記固体撮像素子は、前記複数の露光信号のそれぞれを生成するための前記光源部の発光期間および前記固体撮像素子の露光期間の長さ、ならびに、前記発光期間および前記露光期間の繰り返し順序、の少なくとも一方に変調を加えるための前記発光制御信号および前記露光制御信号により、複数の異なるタイミングで露光して前記複数の露光信号を出力することを特徴とする。

また、前記固体撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型の固体撮像素子であってもよい。

本発明に係る撮像装置、およびそれに用いられる固体撮像素子によれば、露光期間の増加や、フレームレートを低下させること無く、いわゆる干渉現象を抑制することが可能となる。

図１は、実施の形態１に係る撮像装置（測距撮像装置）の概略構成の一例を示す機能ブロック図である。 図２は、実施の形態１に係る固体撮像素子を表す概略構成図である。 図３は、一般的な撮像装置の発光露光タイミングのシーケンスを表す図である。 図４は、一般的な撮像装置において、干渉信号が存在する場合の発光露光タイミングのシーケンスを表す図である。 図５は、実施の形態１に係る撮像装置の発光露光タイミングのシーケンスを表す図である。 図６は、実施の形態１に係る撮像装置において干渉信号が存在する場合の発光露光タイミングのシーケンスを表す図である。 図７は、実施の形態２に係る撮像装置の発光露光タイミングのシーケンスを表す図である。 図８は、実施の形態２の変形例に係る撮像装置の発光露光タイミングのシーケンスを表す図である。

以下、本開示の実施の形態に係る撮像装置、及びそれに用いられる固体撮像素子について、図面を参照しながら説明する。なお、以下の実施の形態は、いずれも本発明の一具体例を示すものであり、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは、一例であり、本発明を限定するものではない。

また、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

また、以下の実施の形態では、発光および露光に関する表現として発光露光を用いる。例えば、発光露光は発光と露光とであり、発光露光タイミングは発光タイミングおよび露光タイミングであり、発光露光動作は発光動作と露光動作とであり、発光露光期間は発光期間と露光期間とであり、発光露光期間の長さは発光期間の長さと露光期間の長さとであり、発光露光の繰り返しは発光の繰り返しと露光の繰り返しとであり、発光露光期間の動作順序（繰り返し順序）は発光期間の動作順序（繰り返し順序）と露光期間の動作順序（繰り返し順序）とである。

（実施の形態１）
図１は、実施の形態１に係る撮像装置（測距撮像装置）の概略構成の一例を示す機能ブロック図である。同図に示す撮像装置１は、光を照射して被写体からの反射光を受光することによって、被写体までの距離を測定する（または、被写体をセンシングする）。また、撮像装置１は、光源部１１と、受光部１２と、制御部１３と、ＴＯＦ演算部１４とを備える。なお、同図には、撮像装置１によって、当該撮像装置１からの距離が測定される（センシングされる）被写体ＯＢも示されている。

光源部１１は、発光制御信号が示すタイミングで光（照射光、パルス光、発光信号）を照射する光源である。本実施の形態では、光源部１１は、制御部１３で発生した発光制御信号を受信するタイミングに従って被写体ＯＢに対して光照射を行う。例えば、光源部１１は、駆動回路、コンデンサ及び発光素子を有し、コンデンサに保持した電荷を発光ダイオードへ供給することで光を発する。発光素子としてはレーザダイオード（ＬＤ）や発光ダイオード（ＬＥＤ）等のその他の発光素子を用いてもよい。

制御部１３は、発光制御信号及び露光制御信号を出力する制御部である。具体的には、制御部１３は、測定対象物（被写体ＯＢ）への光照射を指示する発光制御信号と、当該被写体からの反射光の露光を指示する露光制御信号とを発生する。制御部１３は、例えば、マイクロコンピュータ等の演算処理装置によって構成される。マイクロコンピュータは、プロセッサ（マイクロプロセッサ）、メモリ等を含み、メモリに格納された駆動プログラムがプロセッサにより実行されることで、発光制御信号及び露光制御信号を出力する。なお、制御部１３は、ＦＰＧＡやＩＳＰ等を用いてもよく、１つのハードウェアから構成されても、複数のハードウェアから構成されてもかまわない。また、制御部１３は、発光制御信号を発生する制御部と、露光制御信号を発生する制御部が別の制御部であっても良い。

受光部１２は、固体撮像素子（イメージセンサ、固体撮像装置）を含み、露光制御信号が示すタイミングで反射光を露光することにより露光量を示す撮像信号（露光信号）を出力する。

図２は、実施の形態１に係る固体撮像素子を表す概略構成図である。同図に示すように、本実施の形態に係る固体撮像素子は、いわゆるＣＣＤ型固体撮像素子であり、フォトダイオード１０１（ＰＤ、受光領域）と、垂直転送部１０２と、水平転送部１０３と、信号電荷検出部１０４とを備える。フォトダイオード１０１は、受光した光を電荷に変換する。垂直転送部１０２は、複数のゲートから構成され、フォトダイオード１０１から読み出された電荷を順次垂直方向に転送する。水平転送部１０３は、垂直転送部１０２から受けた電荷を順次水平方向に転送する。信号電荷検出部１０４は、水平転送部１０３から受けた電荷を順次検出して電圧信号に変換して出力する。

ここで、フォトダイオード１０１から垂直転送部１０２への読み出しゲートは開いた状態で、露光制御信号に従って基板電圧を制御し、露光制御信号がＬｏｗの期間においてフォトダイオード１０１で光が光電変換され、発生した電荷が垂直転送部１０２に蓄積される。

なお、図２では、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ（ＣＣＤ型固体撮像素子）を用いたことにより複数のフォトダイオード１０１を一括してリセットする動作、いわゆるグローバルリセットを行うことができ、高精度な測距を実現することが出来る。但し、本実施の形態に用いられる固体撮像素子は、ＣＣＤイメージセンサに限定されるものではなく、撮像装置として他の要求を考慮して、ＣＭＯＳイメージセンサ（ＣＭＯＳ型固体撮像素子）などのその他の固体撮像素子（イメージセンサ）を用いても同様の撮像装置の実現が可能である。

また、受光部１２は、例えば、光学レンズ、バンドパスフィルタ、カバーガラス、及びＡ／Ｄコンバータ等の撮像データ（ＲＡＷデータ）を作成し出力する回路などを必要に応じて有する。

また、ＴＯＦ演算部１４は、露光信号を用いて被写体までの距離を演算する演算部である。具体的には、ＴＯＦ演算部１４は、受光部１２から受けた複数の露光信号に基づいて、演算結果（距離画像、センシング画像、撮像画像、演算情報）を出力する。

更に、ＴＯＦ演算部１４は、制御部１３と同様に、例えば、マイクロコンピュータ等の演算処理装置によって構成される。またＴＯＦ演算部１４は、メモリに格納された演算プログラムがプロセッサにより実行されることで距離を演算する。なお、ＴＯＦ演算部１４は、制御部１３と同様に、ＦＰＧＡやＩＳＰ等を用いてもよく、１つのハードウェアから構成されても、複数のハードウェアから構成されてもかまわない。

次に、後述する実施の形態の理解を容易とするため、図３及び図４を用いて、一般的な測距撮像装置について説明する。なお、以下で説明する一般的な駆動方法は、駆動制御部等により実行される。

図３は、一般的な測距撮像装置の発光露光タイミングのシーケンスを表す図である。より具体的には、図３（ｂ）、（ｃ）及び（ｄ）は、発光制御信号と露光制御信号の位相が異なる３つのタイミングで検出される露光信号から距離を演算する場合の一般的な駆動タイミング（駆動方法）を説明する図であり、図３（ａ）は、１フレームにおけるタイミングの例を示している。

図３（ａ）より、１フレーム期間に、発光制御信号と露光制御信号の位相関係がそれぞれ異なるＡ０発光露光、Ａ１発光露光、及びＡ２発光露光動作を行い、信号出力期間に発光露光期間で検出した露光信号Ａ０〜Ａ２を出力し、距離演算を実施する。また、発光パルスの幅Ｔ_Ａの長さは、センシングを行いたい距離範囲に依存し、一般的に数ｍ〜数１０ｍのセンシング範囲では、数１０ｎｓと非常に短時間となる。

そのため、１パルス分で得られる露光量Ａ０〜Ａ２は非常に微少であり、測距精度を出すためには、各発光露光期間において、発光動作と露光動作とを数１０００回以上（Ｍ回）繰り返すことで露光信号を積算していき、十分な露光信号量を検出する必要がある。

図３（ｂ）は、１つめの位相関係のＡ０発光露光期間における１パルス分の露光量Ａ０の一般的な露光タイミング（駆動方法）を示している。発光制御信号がＨｉｇｈの状態（発光状態）において光源部から（パルス）光が照射され、光路による遅延、すなわち光源部１１から被写体ＯＢまでの往復距離に応じた時間遅延差で反射光が受光部１２に到達する。Ａ０発光露光期間では、発光状態（発光制御信号がＨｉｇｈ状態）と露光状態（露光制御信号がＬｏｗ状態）とが同期したタイミングとなっている。そして、この露光状態中に露光された反射光及び背景光の成分が１パルス分の露光量Ａ０となり、Ｍ回分の総和が受光部１２から出力される露光量Ａ０となる。

図３（ｃ）は、２つめの位相関係のＡ１発光露光期間における１パルス分の露光量Ａ１の一般的な露光タイミング（駆動方法）を示している。Ａ１発光露光期間では、発光状態が終了したと同時に露光状態が開始されるタイミングとなっており、同様にこの発光露光動作をＭ回繰り返したものが露光量Ａ１となる。

図３（ｄ）は、３つめの位相関係のＡ２発光露光期間における１パルス分の露光量Ａ２の一般的な露光タイミング（駆動方法）を示している。Ａ２発光露光期間では、発光制御信号は常にＯＦＦの状態であり、発光動作を行わず、露光動作のみを行う。これにより、露光量Ａ２は、太陽光などの背景光や暗電流成分などのオフセット成分を検出することになり、露光量Ａ０およびＡ１との差分演算することで、背景光の影響を抑制できる。上記の位相関係の発光および露光制御を行った場合、被写体ＯＢまでの距離Ｚは、Ｚ＝（Ａ１−Ａ２）／（Ａ０＋Ａ１−２Ａ２）で算出する。

次に、ＴＯＦカメラが複数台ある場合の一般的な測距撮像装置について説明する。

図４は、一般的な撮像装置において、干渉信号が存在する状態する場合の発光露光タイミングのシーケンスを表す図である。図４（ａ）は、２台のＴＯＦカメラが、図３で示した一般的な露光タイミング（駆動方法）で動作している一例である。なお、被写体ＯＢとの位置関係により、自ＴＯＦカメラの発光制御信号と他ＴＯＦカメラからの干渉信号との間には時間的なズレが発生する。また、発光信号の強度及び干渉光の光強度には差異が発生するが、理解を容易とするために、自ＴＯＦカメラと他ＴＯＦカメラとは完全に同期しており（１フレームの開始と終わりが同時）、自ＴＯＦカメラの反射光の強度と干渉信号の光強度とは等しいものとして説明する。

図４（ｂ）は、干渉信号がある場合の露光量Ａ０の一般的な露光タイミング（駆動方法）を示している。露光状態中（露光制御信号がＬｏｗ）に、他のＴＯＦカメラからの干渉信号が存在するため、露光量Ａ０には反射光成分と共に干渉光成分が混入し、それがＭ回積算される。

図４（ｃ）は、露光量Ａ１の一般的な露光タイミング（駆動方法）を示している。露光量Ａ１の露光タイミングでは、露光状態中に干渉光が存在しないため、露光量Ａ１は反射光成分のみとなり、干渉光成分は混入しない。

図４（ｄ）は、露光量Ａ２の一般的な露光タイミング（駆動方法）を示している。露光状態中に干渉信号が存在しないため、露光量Ａ１と同様に露光量Ａ２に干渉光成分は混入しない。つまり、露光量Ａ０だけが干渉光の影響を受け、露光量Ａ１およびＡ２は干渉光の影響を受けない。

したがって、図３及び図４で示したように、一般的な測距撮像装置は、干渉がない場合に比べ、露光量Ａ０だけが信号量が増加し、距離演算結果に差（誤差）が発生するという問題が生じる。

一方、実施の形態１に係る撮像装置１、及びそれに用いられる固体撮像素子では、発光露光期間を分割し、制御部１３が、分割された各Ａ０、Ａ１およびＡ２発光露光期間の長さ、ならびに、Ａ０、Ａ１およびＡ２発光露光期間の動作順序（繰り返し順序）、の少なくともいずれか一方に変調を加えるような発光制御信号および露光制御信号の少なくとも一方を出力する。

以下、その詳細について、図５及び図６を用いて説明する。

図５は、実施の形態１に係る撮像装置の発光露光タイミングのシーケンスを表す図である。また、図６は、実施の形態１に係る撮像装置において干渉信号が存在する場合の発光露光タイミングのシーケンスを表す図である。

まず、図５及び図６で示すように、本実施の形態では、距離信号を得る方式としてはＴＯＦ方式であり、また発光露光の繰り返しにおいて露光をしない位相が存在する矩形波型ＴＯＦ方式（パルスＴＯＦ方式）を用いて説明する。但し、距離信号を得る方式はこれに限定されるものではない。

次に、図５（ａ）を用いて、本実施の形態に係る発光露光期間の分割する場合の一例について説明する。図５（ａ）は、１フレームにおいて、Ａ０発光露光期間、Ａ１発光露光期間およびＡ２発光露光期間を１／Ｎ倍にし、Ｎ回繰り返すことで、１回当りの発光露光期間の長さに変調を加えている。また、１フレームにおける各発光露光期間の合計は、分割前と同等(ｍ×Ｎ＝Ｍ)であるため、検出される露光量Ａ０、Ａ１、Ａ２は従来例と同等であり、フレームレートの低下は発生しない。

更に、前述した一般的な駆動方法では、各発光露光期間に時間差があり、被写体ＯＢがフレームレートに対して高速に動いている場合、Ａ０発光露光期間、Ａ１発光露光期間およびＡ２発光露光期間において、被写体ＯＢにズレが生じてしまう可能性がある。これに対して、図５（ａ）では、各発光露光期間を１／Ｎ倍に分割し、繰り返すことで、各露光期間の時間差が小さくなるため、被写体ＯＢの動きズレに対して有利となる効果を得ることも出来る。

次に、図５（ｂ）は、本実施の形態に係る、分割した各Ａ０、Ａ１およびＡ２発光露光期間に対して、発光露光期間の長さ及びＡ２発光露光期間の動作順序に変調を加えた場合の一例について説明する。

図５（ｂ）では、発光露光期間の長さに変調を加えているため、Ａ０、Ａ１およびＡ２の各発光露光期間は同一ではない。また、動作順序に変調を加えているため、常にＡ０、Ａ１、Ａ２発光露光期間の順に動作するのではなく、１セット目はＡ０、Ａ２、Ａ１の動作順序、２セット目は、Ａ１、Ａ０、Ａ２の動作順序というように、Ｎ分割した各セットにおいて、動作順序が変わりながら動作する。

また、図６（ａ）は、本実施の形態に係る、発光露光期間を分割し、発光露光期間および動作順序に変調を加えた駆動パターンを有する自ＴＯＦカメラに対して、他ＴＯＦカメラが変調を加えていない場合における干渉信号のパターンを示した場合の一例である。

図６（ｂ）は、本実施の形態に係る、自ＴＯＦカメラのＮ分割した１セット目のＡ０発光露光期間の開始時における露光タイミングを示したものである。自ＴＯＦカメラの露光状態中と他ＴＯＦカメラからの干渉信号が完全に一致しているため、露光量Ａ０には干渉光成分が大きく混入する。

図６（ｃ）は、本実施の形態に係る、２セット目のＡ０発光露光期間の開始時における露光量タイミングを示したものである。自ＴＯＦカメラの露光状態中において、他ＴＯＦカメラからの干渉信号が一部重なっており、露光量Ａ０は干渉光の影響を一部受ける。

図６（ｄ）は、本実施の形態に係る、自ＴＯＦカメラのＮセット目の発光露光期間の開始時における露光タイミングを示したものである。自ＴＯＦカメラの露光状態中に他ＴＯＦカメラからの干渉信号は存在しないため、露光量Ａ０には干渉光成分は混入しない。

つまり、前述した一般的な駆動方法では、常に１パルス毎の露光量Ａ０には干渉光成分が含まれていたが、本実施の形態に係る駆動方法では、１パルス毎の露光量Ａ０に含まれる干渉光成分は常に一定ではなく、様々なバラつきを持つ。

そして、１フレーム期間中に数１０００回の発光露光動作を繰り返すと、積算された露光量は干渉光のバラつきが平均化された干渉光成分を含んだ露光信号となる。同様に露光量Ａ１および露光量Ａ２含まれる１パルス毎の干渉光成分はバラつきを持ち、積算された露光量は平均化された干渉成分を含んだ露光信号となる。

つまり、本実施の形態では、発光露光期間を分割し、さらに発光露光期間の長さ及び動作順序に変調を加えることで、他ＴＯＦカメラとの動作パターンの類似性をなくし、露光信号Ａ０、Ａ１およびＡ２に含まれる干渉光成分を同一化できる。

したがって、距離演算に含まれる差分演算により、露光量に含まれる干渉光成分が減算され、干渉の影響を抑制することができる。

更に、本実施の形態では、発光露光期間の長さ変調および動作順序の変調は、ランダムあるいは一定の規則に従って変調する。また、発光露光期間の長さおよび順序に変調を加える際に、変調を加える前後で、発光および露光期間の総和を一定に保つ規則を設定することで、変調を加えても暗電流やフレームレートに影響が及ばないようにすることができる。

以上、図面を用いて説明したように、本実施の形態に係る撮像装置１、及びそれに用いられる固体撮像素子は、発光露光の順序およびその期間に変調を加えることで、自ＴＯＦカメラの各露光信号に含まれる干渉光成分を均等化する。つまり、制御部１３は、光源部１１の発光期間および受光部１２の露光期間の組み合わせであるＡ０発光露光期間、Ａ１発光露光期間、およびＡ２発光露光期間の長さ、ならびに、Ａ０発光露光期間、Ａ１発光露光期間、およびＡ２発光露光期間の繰り返し順序、の少なくとも一方に変調を加えるように、発光制御信号および露光制御信号を出力する。

より具体的には、制御部１３は、ランダムあるいは一定の規則に従いＡ０発光露光期間、Ａ１発光露光期間、およびＡ２発光露光期間の長さを増減させる発光制御信号および露光制御信号を出力することにより、Ａ０〜Ａ２発光露光期間の長さに変調を加える。また、制御部１３は、ランダムあるいは一定の規則に従いＡ０発光露光期間、Ａ１発光露光期間、およびＡ２発光露光期間の繰り返し順序を変更する発光制御信号および露光制御信号を出力することにより、Ａ０〜Ａ２発光露光期間の繰り返し順序に変調を加える。

これにより、測距演算に含まれる差分演算によって干渉光の影響が抑制され、他ＴＯＦカメラからの干渉光（干渉信号）による測距誤差を低減することが可能となる。

また、１周期毎に発光周期に付加時間を加える場合のように、当該付加時間を発生させる回路の規模や付加時間のパターンを記憶しておくメモリ（記憶素子、記憶装置）が増大するという問題を防ぐことが出来る。

なお、本実施の形態では、発光露光期間の分割数Ｎはその数が大きいほど、各露光量に含まれる干渉光成分をより同一化することができる。

また、本実施の形態では、他ＴＯＦカメラは変調を加えていないものとしたが、他ＴＯＦカメラに発光露光期間の長さおよび動作順序の変調が加わっていても、同様に干渉の影響を抑制できる。また、自ＴＯＦカメラと他ＴＯＦカメラとで、発光露光期間の長さおよび動作順序に加える変調パターンを異なるものにすることで、より干渉の影響を抑制することができる。

なお、前述の説明では、発光動作と露光動作とは同期をとることを優先し、発光露光期間の長さ、ならびに、発光露光期間の動作順序（繰り返し順序）の少なくともいずれか一方に同じ変調を加える場合を説明したが、本実施の形態に係る撮像装置１、及びそれに用いられる固体撮像素子は、必ずしもそれに限定されるものではない。例えば、発光露光期間の発光要件（発光時間の長さ、発光時間の繰り返し順序、等）、露光要件（露光時間の長さ、露光時間の繰り返し順序、等）に対して、異なる変調を加えることも出来る。更に、発光要件及び露光要件のいずれかに変調を加えること、言い換えると、発光要件及び露光要件の一方に変調を加え、他方には変調を加えないことも出来る。

なお、発光要件は、発光時間の長さ、発光時間の繰り返し順序に限定されるものではなく、その他の発光に関係する要件も含まれる。同様に、露光要件は、露光時間の長さ、露光時間の繰り返し順序に限定されるものではなく、その他の露光が関係する要件も含まれる。

（実施の形態２）
以下、図面を参照しながら、実施の形態２に係る撮像装置、及びそれに用いられる固体撮像素子の構成及び動作について、実施の形態１との相違点を中心に説明する。

図７は、実施の形態２に係る撮像装置の発光露光タイミングのシーケンスを表す図である。図７（ａ）は、発光露光期間中における発光制御信号と露光制御信号とのタイミングを示したものである。なお、非発光状態（発光制御信号Ｌｏｗ）および非露光状態（露光制御信号Ｈｉｇｈ）の期間（Ｔ_ＡＯＦＦ）は一定である。

本実施の形態では、制御部１３は、Ａ０、Ａ１およびＡ２発光露光期間において、発光制御信号と露光制御信号との位相関係は保ったまま、発光および露光状態の周期（Ｄｕｔｙ）に変調を加えた発光制御信号および露光制御信号を出力する。

図７（ｂ）は、Ｄｕｔｙに変調を加えた動作の一例である。発光制御信号と露光制御信号との位相関係は保ったまま、ランダムあるいは一定の規則に従って、非発光状態および非露光状態の時間（Ｔ_ＡＯＦＦ）を変化させる。

なお、この変化量は正の値だけではなく、負の値を持たることも可能であり、増減させたＴ_ＡＯＦＦ期間の変化量の総和を０に保つことで、暗電流やフレームレートに変調の影響が及ばないようにすることができる。また、干渉光の影響を抑制するためには、増減量の最小単位は発光幅と同等以上であることが望ましい。つまり、Ｄｕｔｙ変調前の発光状態と非発光状態との比率が１：５であった場合、１：３、１：４、１：５、１：６、１：７などの組み合わせから、ランダムあるいは一定の規則に従って比率を選択していくことで変調をかける。

これによって、本実施の形態では、他ＴＯＦカメラとの駆動パターンの類似性を更になくし、より各露光信号量に含まれる干渉成分を同一化でき、干渉の影響を抑制することができる。

また言い換えれば、同等の干渉光の抑制効果を想定した場合、Ｄｕｔｙ変調に発光露光期間の長さおよび動作順序を組み合わせれば、Ｄｕｔｙ変調だけを行うよりも、Ｄｕｔｙ変調に要する乱数発生回路やメモリ量の増大を抑制することができる。

具体的には、１セット目の発光露光期間が終了した際に変調パターンを初期化し、各セット間で変調パターンを共通化することで、必要となる変調パターンが約１／Ｎ倍になり、乱数発生回路やメモリ量の増大を更に抑制することもできる。また、さらにより少ない乱数パターンを周期的に繰り返しながら変調を掛けることで、干渉光の影響を抑制しながら、ランダム発生回路の規模も抑制することも可能である。

なお、乱数の発生回路の一例としては、ＬＦＳＲ（ＬＩＮＥＡＲ ＦＥＥＤＢＡＣＫ ＳＨＩＦＴ ＲＥＧＩＳＴＥＲ）がある。この場合、初期値（シード）を変えることによって、シードに応じた擬似乱数を生成することができる。

例えば、Ｄｕｔｙ変調前の発光状態と非発光状態との比率が１：５であった場合、１０数ビットのＬＦＳＲ回路を用意し、任意の２ビットを取り出し、その組み合わせ（００、０１、１０、１１）に応じて、Ｄｕｔｙを（１：３、１：４、１：６、１：７）に変調させる。また、００の次が００の場合など、同じ変調が連続する場合、変化量の符号を反転させ（００を１１に変換）、乱数性を向上させることができる。

なお、前述の説明では、発光動作と露光動作とは同期をとることを優先し、発光および露光状態の周期（Ｄｕｔｙ）に同じ変調を加えた場合について説明したが、本実施の形態に係る撮像装置１、及びそれに用いられる固体撮像素子は、必ずしもそれに限定されるものではない。例えば、発光および露光状態の周期（Ｄｕｔｙ）に異なる変調を加えることも出来る。更に、発光および露光状態の周期（Ｄｕｔｙ）のいずれかに変調を加えること、言い換えると、発光および露光状態の周期（Ｄｕｔｙ）の一方に変調を加え、他方には変調を加えないことも出来る。

（実施の形態２の変形例１）
本変形例では、制御部１３は、発光制御信号パルスおよび露光制御信号パルスをＯＦＦにして、非発光状態および非露光状態の時間（Ｔ_ＡＯＦＦ）をさらに変調させる発光制御信号および露光制御信号を出力する。

図８は、実施の形態２の変形例に係る撮像装置の発光露光タイミングのシーケンスを表す図である。図８（ａ）は、発光制御信号パルスおよび露光制御信号パルスをＯＦＦにしてさらに変調を加えたパターンを示した場合の一例である。２周期目の発光制御信号パルスおよび露光制御信号パルスをＯＦＦにすることで、１周期目のＴ_ＡＯＦＦ＿１がＴ_ＡＯＦＦ＿１＋Ｔ_Ａ＋Ｔ_ＡＯＦＦ＿２に変調されたことになる。つまり基準となる乱数パターンが同じでも、パルスをＯＦＦにする箇所を変調することで、実質的に全く異なる乱数パターンを生成し、Ｄｕｔｙに変調を加えることが可能となる。

（実施の形態２の変形例２）
本変形例では、制御部１３は、発光制御信号パルスおよび露光制御信号パルスを間引きする発光制御信号および露光制御信号を出力する。

図８（ｂ）は、１周期分の発光制御信号パルスおよび露光制御信号パルスを間引きしたパターンを示した一例である。２周期目の発光制御信号パルスおよび露光制御信号パルスを間引き（スキップ）することで、Ｔ_ＡＯＦＦ＿２がＴ_ＡＯＦＦ＿３に変調されたことになり、異なる乱数パターンを生成することが可能である。

（その他の実施の形態）
以上、本開示の撮像装置、およびそれに用いられる固体撮像素子について、上記実施の形態に基づいて説明してきたが、本開示の撮像装置、およびそれに用いられる固体撮像素子は、上記実施の形態に限定されるものではない。上記実施の形態における任意の構成要素を組み合わせて実現される別の実施の形態や、上記実施の形態に対して本発明の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本開示の撮像装置、およびそれに用いられる固体撮像素子を内蔵した各種機器も本発明に含まれる。

本発明に係る撮像装置、およびそれに用いられる固体撮像素子は、干渉現象の抑制が要求される３次元測定などに有用である。

１ 撮像装置
１１ 光源部
１２ 受光部
１３ 制御部
１４ ＴＯＦ演算部
１０１ フォトダイオード
１０２ 垂直転送部
１０３ 水平転送部
１０４ 信号電荷検出部

Claims (12)

1. 光を照射して被写体からの反射光を受光することにより、当該被写体までの距離を測定する撮像装置であって、
   発光制御信号および露光制御信号を出力する制御部と、
   前記発光制御信号が指定するタイミングで光の照射を行う光源部と、
   照射された光の前記被写体からの反射光を、前記露光制御信号により複数の異なるタイミングで露光し、当該複数の異なるタイミングによる露光で生成された複数の露光信号を出力する固体撮像素子を備える受光部と、
   前記複数の露光信号を入力として距離演算を行う演算部とを有し、
   前記制御部は、ランダムあるいは一定の規則に従い、前記発光制御信号と前記露光制御信号のそれぞれのパルス回数を増減させることにより、前記複数の露光信号のそれぞれを生成するための前記光源部の発光期間および前記固体撮像素子の露光期間の長さに変調を加える、または、ランダムあるいは一定の規則に従い、前記発光制御信号と前記露光制御信号との位相関係を保ち、前記発光期間および前記露光期間の繰り返し順序に変調を加える、ための前記発光制御信号および前記露光制御信号を出力し、
   前記発光期間および前記露光期間は、前記発光制御信号と前記露光制御信号との位相関係がそれぞれ異なる複数種類の期間に分割され、
   前記制御部は、さらに、前記分割された複数種類の前記発光期間および前記露光期間の少なくとも１つの期間の長さに前記変調を加える、または、前記分割された複数種類の前記発光期間および前記露光期間の前記繰り返し順序、に前記変調を加える
   撮像装置。
2. 前記受光部は、前記分割された複数種類の前記発光期間および前記露光期間の１つの期間から出力される前記露光信号によって、背景光またはオフセット成分を検出する
   請求項１に記載の撮像装置。
3. 前記分割された複数種類の前記発光期間および前記露光期間は、１フレームにおいて、
   １／Ｎ倍（Ｎは、２以上の自然数）に分割されたものであり、
   １／Ｎ倍に分割された前記発光期間および前記露光期間をＮ回繰り返して、１回あたりの前記発光期間および前記露光期間の長さに前記変調を加える
   請求項１または２に記載の撮像装置。
4. 前記制御部は、前記発光期間および前記露光期間において、発光状態と非発光状態との比率および露光状態と非露光状態との比率に変調を加えた前記発光制御信号または前記露光制御信号を出力する
   請求項１〜３のいずれか一項に記載の撮像装置。
5. 前記比率の変調は、
   ランダムあるいは一定の規則に従って、前記発光状態と前記非発光状態との比率および前記露光状態と前記非露光状態との比率を増減させる
   請求項４に記載の撮像装置。
6. 前記比率の変調は、
   ランダムあるいは一定の規則に従って、前記発光制御信号である発光パルスおよび前記露光制御信号である露光パルスをオフにすることで前記比率を変調させる
   請求項４または５に記載の撮像装置。
7. 前記比率の変調は、
   ランダムあるいは一定の規則に従って、前記発光制御信号である発光パルスおよび前記露光制御信号である露光パルスについての少なくとも１周期分以上のパルス期間を間引くことで前記比率を変調させる
   請求項４〜６のいずれか一項に記載の撮像装置。
8. 前記撮像装置は、
   ＴＯＦ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）方式により前記被写体までの距離を測定する
   請求項１〜７のいずれか一項に記載の撮像装置。
9. 発光制御信号および露光制御信号を出力する制御部と、前記発光制御信号が指定するタイミングで光の照射を行う光源部と、固体撮像素子と、複数の露光信号を入力として距離演算を行う演算部と、ランダムあるいは一定の規則に従い、前記発光制御信号および前記露光制御信号のそれぞれのパルス回数を増減させることにより、前記複数の露光信号のそれぞれを生成するための前記光源部の発光期間および前記固体撮像素子の露光期間の長さに変調を加える、または、ランダムあるいは一定の規則に従い、前記発光制御信号と前記露光制御信号の位相関係を保ち、前記発光期間および前記露光期間の繰り返し順序に変調を加える、ための前記発光制御信号および前記露光制御信号を出力する制御部と、を有し、光を照射して被写体からの反射光を受光することにより、被写体までの距離を測定する撮像装置に用いられる固体撮像素子であって、
   前記固体撮像素子は、
   前記露光制御信号により複数の異なるタイミングで露光し、当該複数の異なるタイミングによる露光で生成された複数の露光信号を出力し、
   前記発光期間および前記露光期間は、前記発光制御信号と前記露光制御信号との位相関係がそれぞれ異なる複数種類の期間に分割され、
   前記制御部は、さらに、前記分割された複数種類の前記発光期間および前記露光期間の少なくとも１つの期間の長さに前記変調を加える、または、前記分割された複数種類の前記発光期間および前記露光期間の前記繰り返し順序、に前記変調を加える
   固体撮像素子。
10. 前記固体撮像素子は、
    前記発光制御信号と前記露光制御信号との位相関係がそれぞれ異なる複数種類の前記露光信号を出力する
    請求項９に記載の固体撮像素子。
11. 前記複数種類の前記露光信号のうちの１つの信号から背景光またはオフセット成分を検出する
    請求項１０に記載の固体撮像素子。
12. 前記固体撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型の固体撮像素子である
    請求項９〜１１のいずれか一項に記載の固体撮像素子。

Images