JP6435513B2 - 測距撮像装置及びその測距方法、固体撮像素子 - Google Patents

Description

本発明は、測距撮像装置及びその測距方法に関する。

物体を検知する複数の方式の中で、被写体まで光が往復する飛行時間を利用して測距を行うＴＯＦ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）方式が知られている。

特許文献１には、受光信号時間を、当該発光信号時間よりも短い３つないし４つの異なる位相の受光信号期間で得られた光量に基づいて測距値を算出する従来技術を開示している。

特開２０１２−２１５４８０号公報

しかしながら、特許文献１に開示された従来技術では、受光信号のＳ／Ｎが低く、測距精度が悪いという課題を有している。

上記課題に鑑み、本発明は、高Ｓ／Ｎで高い測距精度を有する測距撮像装置及びその測距方法を提供することを目的とする。

上記課題を解決するために、本発明の一態様に係る測距撮像装置は、光照射を指示する発光信号と反射光の露光を指示する露光信号とを発生する信号発生部と、前記発光信号を受信することにより前記光照射を行う光源部と、前記露光信号を受信することにより前記露光を行い、前記反射光の露光量を取得する撮像部と、前記露光量に基づいて、距離情報を演算して出力する演算部とを備え、前記撮像部は、前記発光信号の受信タイミングに対して第一の遅延時間を経て前記露光信号を受信し前記露光を行う第一の発光露光期間において、当該露光に対応した第一の前記露光量を取得し、前記発光信号の受信タイミングに対して前記第一の遅延時間と異なる第二の遅延時間を経て前記露光信号を受信し前記露光を行う第二の発光露光期間において、当該露光に対応した第二の前記露光量を取得し、前記演算部は、前記第一の発光露光期間における前記発光信号及び前記露光信号の少なくとも一方の繰り返し回数、ならびに、前記第二の発光露光期間における前記発光信号及び前記露光信号の少なくとも一方の繰り返し回数のうち、少なくともいずれかを可変することにより取得された前記第一の露光量と前記第二の露光量とから、前記距離情報を演算することを特徴とする。

上記構成によれば、第一の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数、ならびに、第二の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数のうち、少なくともいずれかを可変するので、発光強度や対象物の距離に依存せず、高Ｓ／Ｎで高い測距精度を実現することが可能となる。さらに、発光強度を抑えることができることで低消費電力化を実現できる。

また、本発明の一態様に係る測距撮像装置は、さらに、前記第一の発光露光期間において前記露光を繰り返して得られた前記第一の露光量の総和、及び、前記第二の発光露光期間において前記露光を繰り返して得られた前記第二の露光量の総和のそれぞれが、前記撮像部の最大露光容量へと近づくように、前記第一の発光露光期間における前記繰り返し回数、及び、前記第二の発光露光期間における前記繰り返し回数のうち、少なくともいずれかを可変制御し、当該可変制御された前記繰り返し回数に基づいて、前記距離情報を補正するための補正信号を前記演算部に出力する制御部を備え、前記演算部は、前記補正信号に基づいて、前記距離情報を演算して出力することを特徴とする。

これにより、第一の露光量の総和及び第二の露光量の総和の最大受光量が常に大きくなるので、高Ｓ／Ｎで高い測距精度を実現できる。

また、例えば、前記信号発生部は、前記第一の発光露光期間及び前記第二の発光露光期間のうち、前記繰り返し回数が少ない方の発光露光期間における前記発光信号及び前記露光信号を、前記繰り返し回数が多い方の発光露光期間側に発生タイミングを詰めて出力する。

これにより、第一の発光露光期間と第二の発光露光期間との時間差が短いので、動きの早い測距対象物体に対しても高精度な測距を実現できる。

また、例えば、前記信号発生部は、前記第一の発光露光期間において第一の露光信号を発生し、前記第二の発光露光期間において前記発光信号に対する出力タイミングが前記第一の露光信号と異なる第二の露光信号を発生し、前記第一の露光信号の出力期間には、前記反射光の開始点が含まれ、前記第二の露光信号の出力期間には、前記反射光の終了点が含まれ、前記第一の露光信号の終点タイミングは、前記第二の露光信号の始点タイミングと同一、または、前記第二の露光信号の始点タイミングよりも時間的に前にある。

第一の露光信号の終点タイミングと第二の露光信号の始点タイミングとが同一の場合には、第一の露光信号の出力期間と第二の露光信号の出力期間とが、時間的に分割される。これにより、各露光期間の短縮を実現し、測距精度の向上及び背景光耐性を向上した測距撮像装置を実現することが可能となる。また、第一の露光信号の終点タイミングが第二の露光信号の始点タイミングよりも時間的に前にある場合には、さらに、第一の露光期間と第二の露光期間と無感度期間とに３分割される。これにより、各露光期間の短縮、測距精度の向上及び背景光耐性の向上が加速される。

また、例えば、前記信号発生部は、前記第一の発光露光期間において、複数回の前記発光信号と複数回の前記第一の露光信号を発生し、前記第二の発光露光期間において、複数回の前記発光信号と複数回の前記第二の露光信号を発生する。

また、例えば、前記撮像部は、ＣＣＤ型の固体撮像素子を備える。

これにより、異なる複数の露光期間で得られる信号を蓄積する手段として、垂直転送部に既に構成されている複数パケットを利用することができる。よって、追加で信号蓄積手段を形成することが不要となり、同じ面積であればフォトダイオードを大きく形成でき、飽和感度を大きくすることが可能となり、最大受光量が大きくなり、高精度な測距を実現できる。また、複数のフォトダイオードを一括してリセットする動作、いわゆるグローバルリセットを行うことができ、更に高精度な測距を実現することが出来る。

なお、本発明は、このような特徴的な構成を備える測距撮像装置として実現することができるだけでなく、当該測距撮像装置の測距方法として実現することができる。

本発明に係る測距撮像装置によれば、第一の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数、ならびに、第二の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数のうち、少なくともいずれかを可変するので、高Ｓ／Ｎで高い測距精度を実現することが可能となる。

実施の形態１に係る測距撮像装置の概略構成を示す機能ブロック図である。 ＣＣＤ型の固体撮像素子の機能構成図である。 実施の形態１に係る測距撮像装置の露光量を検出するタイミングを説明する図である。 一般的なＴＯＦ方式における発光信号及び露光信号のタイミングチャートである。 一般的なＴＯＦ方式における露光量を検出するタイミングを説明する図である。 一般的なＴＯＦ方式の１画面における露光量の関係を示す図である。 実施の形態１に係る測距撮像装置の１画面における露光量の関係の一例を示す図である。 実施の形態１の第１の変形例に係る測距撮像装置の１画面における露光量の関係の一例を示す図である。 実施の形態１の第２の変形例に係る測距撮像装置の１画面における露光量の関係の一例を示す図である。 実施の形態１の第３の変形例に係る測距撮像装置の１画面における露光量の関係の一例を示す図である。 実施の形態２に係る測距撮像装置の概略構成を示す機能ブロック図である。 実施の形態２の第１の変形例に係る測距撮像装置の発光信号及び露光信号のタイミングチャートである。 実施の形態２の第２の変形例に係る測距撮像装置の発光信号及び露光信号のタイミングチャートである。

以下、本開示の実施の形態に係る測距撮像装置について、図面を参照しながら説明する。なお、以下の実施の形態は、いずれも本発明の一具体例を示すものであり、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは、一例であり、本発明を限定するものではない。

（実施の形態１）
図１は、実施の形態１に係る測距撮像装置１の概略構成を示す機能ブロック図である。同図に示すように、測距撮像装置１は、撮像部１０と、光源部２０と、信号発生部３０と、撮ＴＯＦ演算部（演算部）４０とを備える。

光源部２０は、駆動回路、コンデンサ及び発光素子を有し、コンデンサに保持した電荷を発光ダイオードへ供給することで光を発する。発光素子としてはレーザダイオードや発光ダイオード（ＬＥＤ）等のその他の発光素子を用いてもよい。

信号発生部３０は、対象物体への光照射を指示する発光信号と、当該対象物体からの反射光の露光を指示する露光信号とを発生する。

光源部２０は、信号発生部３０で発生する発光信号を受信するタイミングに従って対象物体に対して光照射を行う。

撮像部１０は、対象物体を含む領域に対して、信号発生部３０で発生する露光信号が示すタイミングに従って複数回の露光を行い、複数回の露光量の総和に対応したＲＡＷデータ（撮像情報）を得る。撮像部１０は、カメラレンズ、固体撮像素子、及びＡ／Ｄコンバータ等のＲＡＷデータを作成し出力する回路を有する。

ＴＯＦ演算部（演算部）４０は、撮像部１０から受けたＲＡＷデータに基づいて、対象物体までの距離情報であるＴＯＦ信号（距離信号）を演算して出力する。

次に、本実施の形態に係る測距撮像装置１の撮像部１０を、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型の固体撮像素子として用いた場合について説明する。

図２は、ＣＣＤ型の固体撮像素子の機能構成図である。同図に示すように、ＣＣＤ型固体撮像素子は、フォトダイオード１０１と、垂直転送部１０２と、水平転送部１０３と、信号電荷検出部１０４とを備える。

フォトダイオード１０１は、受光した光を電荷に変換する。

垂直転送部１０２は、複数のゲートから構成され、フォトダイオード１０１から読み出した電荷を順次垂直方向に転送する。

水平転送部１０３は、複数のゲートから構成されている複数のゲートがパケットとして垂直転送部１０２から受けた電荷を順次水平方向に転送する。

信号電荷検出部１０４は、水平転送部から受けた電荷を順次検出して電圧信号に変換して出力する。

ここで、読み出しゲートは開いた状態で、露光信号に従って基板電圧を制御し、露光信号がＬｏｗの期間でフォトダイオード１０１を露光し、当該露光により発生した電荷を垂直転送部１０２に蓄積する。

図３は、実施の形態１に係る測距撮像装置の露光量を検出するタイミングを説明する図である。図３の上では、信号発生部３０が発光信号と露光信号とを出力するタイミングを表し、図３の左下では、第一の発光露光期間における露光量Ｓ０の検出タイミングを表し、図３の中央下では、第二の発光露光期間における露光量Ｓ１の検出タイミングを表す。図３の上及び左下に示すように、第一の発光露光期間では、第一の露光信号がＬｏｗの期間でフォトダイオード１０１を露光し、当該露光により発生した電荷を垂直転送部１０２に蓄積する。第一の発光露光期間が終了した時点で、垂直転送部１０２のゲートを制御し、読出しゲートが存在しないパケットに上記電荷を転送する。ここで、第一の発光露光期間とは、撮像部１０が発光信号を受信するタイミングに対して第一の遅延時間を経て露光信号を受信し露光を行う期間である。本実施の形態の場合、第一の遅延時間は０に設定されている。

続いて、図３の上及び中央下に示すように、第二の発光露光期間では、第二の露光信号がＬｏｗの期間でフォトダイオード１０１を露光し、当該露光により発生した電荷を垂直転送部１０２に蓄積する。第二の発光露光期間が終了した時点で、垂直転送部１０２のゲートを制御し、読出しゲートが存在しないパケットに上記電荷を転送する。ここで、第二の発光露光期間とは、撮像部１０が発光信号を受信するタイミングに対して第一の遅延時間と異なる第二の遅延時間を経て露光信号を受信し露光を行う期間である。本実施の形態の場合、第二の遅延時間は、発光信号が送信されている（ハイレベルである）期間に設定されている。

続いて、図３の上に示すように、無発光露光期間では、露光信号がＬｏｗの期間でフォトダイオード１０１を露光し、当該露光により発生した電荷を垂直転送部１０２に蓄積する。無発光露光期間が終了した時点で、垂直転送部１０２のゲートを制御し、第一の露光信号によって露光した電荷が、読出しゲートが存在するパケットに来るように転送する。その後、この一連の動作をＮ回繰り返した後、垂直転送部１０２の転送と水平転送部１０３の転送とを順次繰り返して、上記電荷を信号電荷検出部１０４で電圧信号に変換して出力する。

これにより、発光信号に対して測定対象物からの反射光を受光する露光信号のタイミングが各々異なる複数の露光期間で得られる信号を蓄積する手段として、垂直転送部１０２に既に構成されている複数パケットを利用することができる。よって、追加で信号蓄積手段を形成することが不要となり、同じ面積であればフォトダイオード１０１を大きく形成でき、飽和感度を大きくすることが可能となり、最大受光量が大きくなり、高精度な測距を実現できる。

なお、図２では、ＣＣＤイメージセンサ（ＣＣＤ型固体撮像素子）を用いたことにより複数のフォトダイオード１０１を一括してリセットする動作、いわゆるグローバルリセットを行うことができ、更に高精度な測距を実現することが出来る。しかし、本実施の形態に用いられる固体撮像素子は、ＣＣＤイメージセンサに限定されるものではなく、測距撮像装置として他の要求を考慮して、ＣＭＯＳイメージセンサ（ＣＭＯＳ型固体撮像素子）などのその他の固体撮像素子（イメージセンサ）を用いても同様の効果（Ｓ／Ｎ改善による測距精度向上、等）を得ることが可能となる。

ここで、本開示の測距撮像装置の理解を容易とするため、図４〜図６を用いて、一般的な測距撮像装置を説明する。

図４は、一般的なＴＯＦ方式における発光信号及び露光信号のタイミングチャートである。同図より、ＴＯＦ方式を用いて測定対象物の測距を行う場合、発光信号に対して、測定対象物からの反射光を第一の露光信号及び第二の露光信号の異なるタイミングの２パターンで露光する。上記２パターンの露光により発生した光量の比に基づいて測定対象物までの距離を算出する方法が一般的である。例えば、第一の露光信号により、測定対象物からの反射光の全てを含むように露光を行う。一方、第二の露光信号により、測定対象物からの反射光が発光タイミングに対して遅延する程、露光量が増加するような露光を行う。また背景光等のオフセット成分を検出するため、発光信号を停止させて第一の露光信号および第二の露光信号と同じ条件の露光を行う。

ここで、第一の露光信号による第一の露光量ｓ０の総和をＳ０、第二の露光信号による第二の露光量ｓ１の総和をＳ１、背景光の露光量の総和をＢＧ、照射する直接光の発光信号幅をＴ０、光速（２９９，７９２，４５８ｍ／ｓ）をｃ、とすると、以下の式１の演算を行うことにより、距離Ｌを算出できる。

図５は、一般的なＴＯＦ方式における露光量を検出するタイミングを説明する図である。図５の上では、発光信号と露光信号とを出力するタイミングを表し、図５の左下では、第一の発光露光期間における露光量ｓ０の検出タイミングを表し、図５の中央下では、第二の発光露光期間における総露光量ｓ１の検出タイミングを表す。発光信号と第一の露光信号とを複数回繰り返し出力し、その後発光信号と第二の露光信号とを同じ回数だけ繰り返し出力し、その後発光信号を停止させて第一の露光信号や第二の露光信号と同じ条件の露光信号を同じ回数だけ繰り返し出力する。この一連のタイミングを１セットとし、これを複数セット繰り返し出力した後、蓄積された露光信号を出力する。

また、測距精度は信号のＳ／Ｎ（信号／ノイズ比）に依存する。ＴＯＦ方式のノイズは光ショットノイズが支配的であり、従って信号のＳ／Ｎは、最大受光量の平方根に比例する。

しかしながら、第一の露光信号は、測定対象物からの反射光の全てを含むように露光を行い、第二の露光信号は、測定対象物からの反射光が発光タイミングに対して遅延する程、露光量が増加するような露光を行う。これより、第二の露光信号を複数回繰り返した第二の露光量ｓ１の総和Ｓ１は、同じ回数繰り返した第一の露光信号の第一の露光量ｓ０の総和Ｓ０よりも必ず小さくなるので、最大受光量が小さくＳ／Ｎが低下し、測距精度が低下する。

図６は、一般的なＴＯＦ方式の１画面における発光信号及び露光信号の露光量の関係を示す図である。同図には、信号蓄積の容量が８００、発光信号と第一の露光信号とを１６回繰り返した際の露光量が４００、発光信号と第一の露光信号とを１６回繰り返した際の露光量が１００である場合の例を示している。一連のタイミングによる第一の発光露光、第二の発光露光及び無発光露光というセットを２セット繰り返すことにより、第一の露光信号の露光量の総和は、信号蓄積の容量である８００となる。一方、このときの第二の露光信号の露光量の総和は２００となる。つまり、一般的なＴＯＦ方式における上記例では、最大受光量は２００に留まってしまい、Ｓ／Ｎが低下してしまう。

さらに、一般的な測距撮像装置では、いずれかの受光信号期間の光電子保持部が必ず先に飽和する。よって、受光信号期間の光電子保持部が飽和近傍となるように発光強度ないし受光の繰り返し回数を調整すると、他の受光信号期間の最大受光量は光電子保持部の飽和量を全て使うことが出来ず、Ｓ／Ｎが低下し、測距精度が低下する。

このことは、発光強度が小さい場合や、第二の露光信号による露光量が小さくなる（測定対象物までの距離が近い）場合や、背景光が多い場合や、撮像部を構成する固体撮像素子のセルサイズ（受光部の面積、等）が小さい場合に顕著となる。

これに対して、本実施の形態に係る測距撮像装置では、上述した特性劣化を解決することが可能となる。以下、その詳細を説明する。

図３の下では、本実施の形態に係る測距撮像装置１の動作の詳細を表し、具体的には、信号発生部３０で発生する発光信号と露光信号とのタイミング関係の例を示している。信号発生部３０は、発光信号に対して測定対象物からの反射光を受光するタイミングが異なる第一の露光信号及び第二の露光信号を出力する。撮像部１０は、第一の露光信号により、測定対象物からの反射光の全てを含むように露光を行い、当該露光に対応した第一の露光量を取得し、第二の露光信号によって、測定対象物からの反射光が発光タイミングに対して遅延する程、第二の露光量が増加するような露光を行う。また、背景光等のオフセット成分を検出するため、発光信号を停止させて第一の露光信号、第二の露光信号と同じ条件の露光を行う。

一方、図３の上では、発光信号、第一の露光信号及び第二の露光信号の１画面におけるタイミング関係の例を示している。第一の発光露光期間では、第一の露光信号をｍ回繰り返し出力し、発光信号をｙ回繰り返し出力する。その後、第二の発光露光期間では、発光信号をｍ回繰り返し出力し、第二の露光信号をｍ回繰り返し出力する。その後、無発光露光期間では、発光信号を停止させて第一の露光信号や第二の露光信号と同じ条件の露光信号をｍ回だけ繰り返し出力する。この一連のタイミングを１セットとし、これをＮ回セット繰り返し出力した後、蓄積された露光信号を出力する。

ここで、第一の露光信号による露光量ｓ０の総和をＳ０、第二の露光信号による露光量ｓ１の総和をＳ１、背景光の露光量の総和をＢＧ、照射する直接光の発光信号幅をＴ０、光速（２９９，７９２，４５８ｍ／ｓ）をｃ、とすると、以下の式２の演算を行うことにより、距離Ｌを算出できる。

ここで、本実施の形態に係る測距撮像装置１は、発光信号がｙ×Ｎ回繰り返された場合の第一の露光信号による露光量の総和、及び、発光信号がｍ（ｙとは独立）×Ｎ回繰り返された場合の第二の露光信号による露光量の総和が、ともに信号蓄積の最大容量近傍になるようにｙ及びｍを選択する。これにより測距撮像装置１は、第一の露光信号による露光量の総和及び第二の露光信号による露光量の総和の双方の最大受光量を大きく設定できるので、高Ｓ／Ｎで高い測距精度を実現することが可能となる。

図７は、実施の形態１に係る測距撮像装置の１画面における露光量の関係の一例を示す図である。同図には、信号蓄積の容量が８００、発光信号と第一の露光信号とを１６回繰り返した際の露光量が４００、発光信号と第一の露光信号とを１６回繰り返した際の露光量が１００である場合の例を示している。ここで、第一の発光露光期間における発光信号の繰り返しを、上記１６回の１／４である４回に設定しているので、第一の発光露光期間における露光量は、４００の１／４である１００となる。これら一連のタイミングを８セット繰り返すことで第一の露光信号の露光量の総和、及び、第二の露光信号の露光量の総和は、ともに信号蓄積の容量である８００となる。この場合、距離Ｌは、第一の発光露光期間における発光信号の繰り返し回数が、第二の発光露光期間における発光信号の繰り返し回数の１／４であるので、以下の式３の演算を行うことで算出できる。

（実施の形態１の第１の変形例）
図８は、実施の形態１の第１の変形例に係る測距撮像装置の１画面における露光量の関係の一例を示す図である。同図に示された例は、図７と同一の露光量及び信号繰り返し回数となっている。本変形例の場合も、距離Ｌは、上記式３の演算を行うことで算出できる。図７の例との違いは、第一の発光露光期間において、第一の露光信号の繰り返し回数（１６回）の１／４（４回）にしている発光信号の出力タイミングを、第二の発光露光期間側に詰めて出力していることである。つまり、信号発生部３０は、第一の発光露光期間及び第二の発光露光期間のうち、繰り返し回数が少ない方の発光露光期間における発光信号及び露光信号を、繰り返し回数が多い方の発光露光期間側に発生タイミングを詰めて出力する。

この例でも、第一の露光信号の露光量の総和、及び、第二の露光信号の露光量の総和の双方が、信号蓄積の容量である８００と最大受光量が大きくなり、高Ｓ／Ｎで高い測距精度を実現できる。更に、第一の発光露光期間と第二の発光露光期間との時間差が短いので、動きの早い測距対象物体に対しても高精度な測距を実現できる。

（実施の形態１の第２の変形例）
図９は、実施の形態１の第２の変形例に係る測距撮像装置の１画面における露光量の関係の一例を示す図である。同図に示された例は、図７と同一の露光量及び信号繰り返し回数となっている。図７の例との違いは、第一の発光露光期間において、発光信号だけでなく第一の露光信号の繰り返し回数も１／４（４回）にし、発光信号及び第一の露光信号の双方の出力タイミングを、第二の発光露光期間側に詰めて出力していることである。この例でも、第一の露光信号の露光量の総和、及び、第二の露光信号の露光量の総和の双方が、信号蓄積の容量である８００と最大受光量が大きくなり、高Ｓ／Ｎで高い測距精度を実現できる。本変形例の場合、第一の発光露光期間における発光信号の繰り返し回数が第二の発光露光期間における発光信号の繰り返し回数の１／４であり、さらに、背景光の露光量の総和が無発光露光期間の１／４となるので、距離Ｌは、以下の式４の演算を行うことで算出できる。

更に、第一の発光露光期間の時間が１／４と短くなるので、ＴＯＦ信号の出力フレームレートが向上し、動きの早い測距対象物体に対しても追従性の高い、高精度な測距を実現することが可能となる。

（実施の形態１の第３の変形例）
図１０は、実施の形態１の第３の変形例に係る測距撮像装置の１画面における露光量の関係の一例を示す図である。同図に示された例は、図７と同一の露光量及び信号繰り返し回数となっている。図７の例との違いは、第一の発光露光期間において、発光信号だけでなく第一の露光信号の繰り返し回数も１／４（４回）にし、発光信号及び第一の露光信号の双方の出力タイミングを、第二の発光露光期間側に詰めて出力していることである。この例でも、第一の露光信号の露光量の総和、及び、第二の露光信号の露光量の総和の双方が、信号蓄積の容量である８００と最大受光量が大きくなり、高Ｓ／Ｎで高い測距精度を実現できる。更に本変形例の場合は、無発光露光期間の繰り返し回数も、第一の露光信号の繰り返し回数と同様に１／４（４回）にしていることである。本変形例の場合、第一の発光露光期間における発光信号の繰り返し回数が第二の発光露光期間における発光信号の繰り返し回数の１／４であり、さらに、第二の発光露光期間における背景光の露光量の総和が無発光露光期間の４倍となるので、距離Ｌは、以下の式５の演算を行うことで算出できる。

更に、第一の発光露光期間の時間だけでなく、無発光露光期間も１／４と短くなるので、ＴＯＦ信号の出力フレームレートが更に向上し、動きの早い測距対象物体に対しても追従性のより高くなり、更に露光信号生成に係る消費電力が削減できるので温度上昇を低減し、高精度な測距を実現することが可能となる。

以上、実施の形態１及びその変形例に係る測距撮像装置によれば、第一の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数、ならびに、第二の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数のうち、少なくともいずれかを可変するので、発光強度や対象物の距離に依存せず、高Ｓ／Ｎで高い測距精度を実現することが可能となる。さらに、発光強度を抑えることができることで低消費電力化を実現できる。

また、撮像部１０がＣＣＤ型の固体撮像素子を備えることにより、セルサイズに依存せず、高Ｓ／Ｎで高い測距精度を実現することができ、固体撮像素子を小型化できることで測距撮像装置の小型化を実現することが可能となる。

（実施の形態２）
以下、実施の形態２に係る測距撮像装置の構成及び動作について、実施の形態１との相違点を中心に説明する。

図１１は、実施の形態２に係る測距撮像装置の概略構成を示す機能ブロック図である。同図に示すように、測距撮像装置２は、撮像部１０と、光源部２０と、信号発生部３０と、ＴＯＦ演算部４０と、制御部５０とを備える。

信号発生部３０は、制御部５０の制御に従って発光信号と露光信号とを発生する。

光源部２０は、信号発生部３０で発生する発光信号が示すタイミングに従って光の照射を行う。

撮像部１０は、対象物体を含む領域に対して、信号発生部３０で発生する露光信号が示すタイミングに従って複数回の露光を行い、複数回の露光量の総和からＲＡＷデータを得る。

ＴＯＦ演算部４０は、撮像部１０から受けたＲＡＷデータと制御部５０から受けた補正信号とに基づいて得られるＴＯＦ信号を出力する。

制御部５０は、撮像部１０から受けたＲＡＷデータの信号量を検出し、検出された信号量に基づいて、信号発生部３０で発生する発光信号及び露光信号の少なくとも一方の繰り返し回数を可変する制御を行い、また、当該繰り返し回数に基づく補正信号を出力する。

具体的には、制御部５０は、発光信号に対して測定対象物からの反射光を受光する露光信号のタイミングが各々異なる複数の露光期間とは独立に、受光部から受けたＲＡＷデータの信号量に基づいて発光信号及び露光信号の少なくとも一方の繰り返し回数を可変する制御を行い、また、当該繰り返し回数に基づく補正信号を出力する。つまり、発光強度や測距対象物体の距離が刻々と変化する中でも、図３に示されたように、発光信号がｙ×Ｎ回繰り返された場合の第一の露光信号による露光量の総和、及び、発光信号がｍ（ｙとは独立）×Ｎ回繰り返された場合の第二の露光信号による露光量の総和が、ともに信号蓄積の最大容量近傍になるようにｙ及びｍの少なくとも１つをリアルタイムに可変する。

言い換えれば、制御部５０は、第一の発光露光期間において露光を繰り返して得られた第一の露光量の総和Ｓ０、及び、第二の発光露光期間において露光を繰り返して得られた第二の露光量の総和Ｓ１のそれぞれが、撮像部１０の最大露光容量へと近づくように、第一の発光露光期間における繰り返し回数、及び、第二の発光露光期間における繰り返し回数のうち、少なくともいずれかを可変制御し、当該可変制御された繰り返し回数に基づいて、距離情報を補正するための補正信号をＴＯＦ演算部４０に出力する。

これにより、第一の露光信号による露光量の総和及び第二の露光信号による露光量の総和の最大受光量が常に大きくなり、高Ｓ／Ｎで高い測距精度を実現できる。

（実施の形態２の第１の変形例）
図１２は、実施の形態２の第１の変形例に係る測距撮像装置の発光信号及び露光信号のタイミングチャートである。同図より、信号発生部３０で発生する発光信号と露光信号とは、発光信号に対して測定対象物からの反射光を受光する相対位相タイミングが異なる第一の露光信号及び第二の露光信号の２つで構成される。第一の露光信号の出力期間には反射光の開始点が含まれ、第二の露光信号の出力期間には反射光の終了点が含まれる。さらに、発光信号に対する第一の露光信号の終点のタイミングは、発光信号に対する第二の露光信号の始点のタイミングと同一である。さらに具体的には、発光期間Ｔ０と第一の露光期間との相対位相タイミングを合致させ、発光期間の終了と第二の露光期間の開始の相対位相タイミングを合致させ、第二の露光期間長もＴ０に設定する。これにより、発光パルス１回分の総露光信号を等価的に第一の露光信号と第二の露光信号とに分割して露光することになる。また、信号発生部３０は、第一の発光露光期間において、複数回の発光信号と複数回の第一の露光信号を発生し、第二の発光露光期間において、複数回の発光信号と複数回の第二の露光信号を発生する。

この場合、第一の露光信号と第二の露光信号との双方において、背景光によるノイズ成分も信号値に含まれるため、光源部２０による発光を停止しただけのＴ０期間の露光も時分割に実施され、ＢＧ信号も撮像部１０より得る。

ＴＯＦ演算部４０では、背景光によるノイズ成分を減算して、真の総露光信号（Ｓ０−ＢＧ）＋（Ｓ１−ＢＧ）と、真の反射遅延信号（Ｓ１−ＢＧ）とから距離Ｌを算出する。

ここで、発光パルスの回数のみを制御する際は、第一の露光期間の発光パルス回数と第二の露光期間の発光パルス回数の比が１：ｎであるとすると、距離Ｌは、以下の式６の演算を行うことで算出される。

また、発光パルスの回数及び露光回数の両方を制御する際は、第一の露光期間の発光パルス回数と第二の露光期間の発光パルス回数との比が１：ｎであるとすると、距離Ｌは、以下の式７の演算を行うことで算出される。

上述したように、総露光信号を第一の露光期間と第二の露光期間とに分割することにより、各露光期間の短縮を実現し、測距精度の向上及び背景光耐性を向上した測距撮像装置を実現することが可能となる。

（実施の形態２の第２の変形例）
図１３は、実施の形態２の第２の変形例に係る測距撮像装置の発光信号及び露光信号のタイミングチャートである。同図より、信号発生部３０で発生する発光信号と露光信号とは、発光信号に対して測定対象物からの反射光を受光する相対位相タイミングが異なる第一の露光信号及び第二の露光信号の２つで構成される。第一の露光信号の出力期間には反射光の開始点が含まれ、第二の露光信号の出力期間には反射光の終了点が含まれる。さらに、発光信号に対する第一の露光信号の終点のタイミングは、発光信号に対する第二の露光信号の始点のタイミングよりも時間的に前に存在する。さらに具体的には、発光期間Ｔ０と第一の露光期間の開始との相対位相タイミングを一致させ、発光期間の終了と第二の露光期間の開始との相対位相タイミングを合致させ、第一及び第二の露光期間長をＴ１（Ｔ０＞Ｔ１）に設定する。これにより、発光パルス１回分の中に無感度タイミングを設定し、その前後の期間を第一の露光信号と第二の露光信号とに分割して露光することになる。また、信号発生部３０は、第一の発光露光期間において、複数回の発光信号と複数回の第一の露光信号を発生し、第二の発光露光期間において、複数回の発光信号と複数回の第二の露光信号を発生する。

この場合、第一の露光信号及び第二の露光信号の双方において背景光によるノイズ成分も信号値に含まれるため、光源部２０による発光を停止しただけのＴ１期間の露光も時分割に実施し、ＢＧ信号も撮像部１０より得る。

ＴＯＦ演算部４０では、背景光によるノイズ成分を減算して、露光信号の総量（Ｓ０−ＢＧ）＋（Ｓ１−ＢＧ）と、真の反射遅延信号（Ｓ１−ＢＧ）から距離Ｌを算出する。

この時発光パルスの回数のみを制御する際は、第一の露光期間の発光パルス回数と第二の露光期間の発光パルス回数との比が１：ｎあるとすると、距離Ｌは、上記式６の演算を行うことで算出される。

ここで、発光パルスの回数及び露光回数の両方を制御する際は、第一の露光期間の発光パルス回数と第二の露光期間の発光パルス回数との比が１：ｎであるとすると、距離Ｌは、上記式７の演算を行うことで算出される。

上述したように、総露光信号を第一の露光期間と第二の露光期間と無感度期間とに３分割することにより、各露光期間のさらなる短縮を実現し、さらなる背景光耐性を向上した測距撮像装置を実現することが可能となる。

以上、実施の形態２及びその変形例に係る測距撮像装置によれば、第一の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数、ならびに、第二の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数のうち、少なくともいずれかを可変するので、発光強度や対象物の距離に依存せず、高Ｓ／Ｎで高い測距精度を実現することが可能となる。さらに、発光強度を抑えることができることで低消費電力化を実現できる。また、背景光に依存しない、高Ｓ／Ｎで高い測距精度を実現することが可能となる。

また、撮像部１０がＣＣＤ型の固体撮像素子を備えることにより、セルサイズに依存せず、高Ｓ／Ｎで高い測距精度を実現することができ、固体撮像素子を小型化できることで測距撮像装置の小型化を実現することが可能となる。

以上、本開示の測距撮像装置について、上記実施の形態に基づいて説明してきたが、本開示の測距撮像装置は、上記実施の形態に限定されるものではない。上記実施の形態における任意の構成要素を組み合わせて実現される別の実施の形態や、上記実施の形態に対して本発明の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本開示の測距撮像装置を内蔵した各種機器も本発明に含まれる。

なお、本発明は、上述した特徴的な構成を備える測距撮像装置として実現することができるだけでなく、当該測距撮像装置の測距方法として実現することができる。

つまり、本発明に係る測距撮像装置の測距方法は、光照射を行い、反射光を露光することにより距離を測定する測距撮像装置の測距方法であって、光照射を指示する発光信号の出力タイミングに対し、第一の遅延時間を経て反射光の露光を指示する露光信号を出力することにより露光を行う第一の発光露光期間において、当該露光に対応した第一の露光量を取得する第一露光量取得ステップと、発光信号の出力タイミングに対し、第一の遅延時間と異なる第二の遅延時間を経て露光信号を出力することにより露光を行う第二の発光露光期間において、当該露光に対応した第二の露光量を取得する第二露光量取得ステップと、第一の露光量と第二の露光量に基づいて、距離情報を演算して出力する距離演算ステップとを含む。ここで、第一露光量取得ステップ及び第二露光量取得ステップでは、第一の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数、ならびに、第二の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数のうち、少なくともいずれかを可変することにより、第一の露光量と前記第二の露光量とを取得する。

これにより、第一の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数、ならびに、第二の発光露光期間における発光信号及び露光信号の少なくとも一方の繰り返し回数のうち、少なくともいずれかを可変するので、発光強度や対象物の距離に依存せず、高Ｓ／Ｎで高い測距精度を実現することが可能となる。さらに、発光強度を抑えることができることで低消費電力化を実現できる。

なお、上記実施の形態では、測距撮像装置について説明したが、本開示の測距撮像装置の構成は、距離情報により距離を測定する測距撮像装置に留まらず、その他の物理量（例：形状、温度、放射線濃度など）を精度よく検知（測定）する物理量検知装置や、撮像したデータを精度良く描写させる撮像装置にも適用することが可能である。

本発明に係る測距撮像装置は、周辺環境に依存することなく、測定対象物の高精度な３次元測定が実現できるため、例えば、人物、建物などの３次元測定に有用である。

１，２ 測距撮像装置
１０ 撮像部
２０ 光源部
３０ 信号発生部
４０ ＴＯＦ演算部（演算部）
５０ 制御部
１０１ フォトダイオード
１０２ 垂直転送部
１０３ 水平転送部
１０４ 信号電荷検出部

Claims (8)

1. 光照射を指示する発光信号と反射光の露光を指示する露光信号とを発生する信号発生部と、
   前記発光信号を受信することにより前記光照射を行う光源部と、
   前記露光信号を受信することにより前記露光を行い、前記反射光の露光量を取得する撮像部と、
   距離情報を演算して出力する演算部とを備えた測距撮像装置であって、
   前記撮像部は、前記発光信号の受信タイミングに対して第一の遅延時間を経て前記露光信号を受信し前記露光を行う第一の発光露光期間において、当該露光に対応した第一の露光量を取得し、前記発光信号の受信タイミングに対して前記第一の遅延時間と異なる第二の遅延時間を経て前記露光信号を受信し前記露光を行う第二の発光露光期間において、当該露光に対応した第二の露光量を取得し、
   前記演算部は、前記第一の発光露光期間における前記発光信号及び前記露光信号の少なくとも一方の繰り返し回数、ならびに、前記第二の発光露光期間における前記発光信号及び前記露光信号の少なくとも一方の繰り返し回数のうち、少なくともいずれかを可変することにより取得された前記第一の露光量と前記第二の露光量とから、前記距離情報を演算し、
   前記測距撮像装置は、さらに、前記第一の発光露光期間における前記繰り返し回数を当該第一の発光露光期間内に前記第一の露光量の総和に対応した撮像情報の信号量に基づいてリアルタイムで可変する可変制御、及び、前記第二の発光露光期間における前記繰り返し回数を当該第二の発光露光期間内に前記第二の露光量の総和に対応した撮像情報の信号量に基づいてリアルタイムで可変する可変制御のうち、少なくともいずれかを行うと共に、当該可変制御された前記繰り返し回数に基づく前記距離情報を補正するための補正信号を前記演算部に出力する制御部を備え、
   前記演算部は、前記露光量と前記補正信号とに基づいて、前記距離情報を演算する、
   測距撮像装置。
2. 前記制御部は、前記第一の発光露光期間において前記露光を繰り返して得られた前記第一の露光量の総和、及び、前記第二の発光露光期間において前記露光を繰り返して得られた前記第二の露光量の総和のそれぞれが、前記撮像部の最大露光容量へと近づくように、前記第一の発光露光期間における前記繰り返し回数の前記可変制御、及び、前記第二の発光露光期間における前記繰り返し回数の前記可変制御のうち、少なくともいずれかを行う、
   請求項１に記載の測距撮像装置。
3. 前記信号発生部は、前記第一の発光露光期間及び前記第二の発光露光期間のうち、前記繰り返し回数が少ない方の発光露光期間における前記発光信号及び前記露光信号を、前記繰り返し回数が多い方の発光露光期間側に発生タイミングを詰めて出力する、
   請求項１または２に記載の測距撮像装置。
4. 前記信号発生部は、前記第一の発光露光期間において第一の露光信号を発生し、前記第二の発光露光期間において前記発光信号に対する出力タイミングが前記第一の露光信号と異なる第二の露光信号を発生し、
   前記第一の露光信号の出力期間には、前記反射光の開始点が含まれ、
   前記第二の露光信号の出力期間には、前記反射光の終了点が含まれ、
   前記第一の露光信号の終点タイミングは、前記第二の露光信号の始点タイミングと同一、または、前記第二の露光信号の始点タイミングよりも時間的に前にある、
   請求項１に記載の測距撮像装置。
5. 前記信号発生部は、前記第一の発光露光期間において、複数回の前記発光信号と複数回の前記第一の露光信号を発生し、前記第二の発光露光期間において、複数回の前記発光信号と複数回の前記第二の露光信号を発生する、
   請求項４に記載の測距撮像装置。
6. 光照射を行い、反射光を露光することにより距離を測定し、
   光照射を指示する発光信号と反射光の露光を指示する露光信号とを発生する信号発生部と、
   前記発光信号を受信することにより前記光照射を行う光源部と、
   固体撮像素子を備え、前記露光信号を受信することにより前記露光を行い、前記反射光の露光量を取得する撮像部と、
   距離情報を演算して出力し、第一の発光露光期間における前記発光信号及び前記露光信号の少なくとも一方の繰り返し回数、ならびに、第二の発光露光期間における前記発光信号及び前記露光信号の少なくとも一方の繰り返し回数のうち、少なくともいずれかを可変することにより取得された第一の露光量と第二の露光量とから、前記距離情報を演算する演算部と、
   前記第一の発光露光期間における前記繰り返し回数を当該第一の発光露光期間内に前記第一の露光量の総和に対応した撮像情報の信号量に基づいてリアルタイムで可変する可変制御、及び、前記第二の発光露光期間における前記繰り返し回数を当該第二の発光露光期間内に前記第二の露光量の総和に対応した撮像情報の信号量に基づいてリアルタイムで可変する可変制御のうち、少なくともいずれかを行うと共に、当該可変制御された前記繰り返し回数に基づく前記距離情報を補正するための補正信号を前記演算部に出力する制御部とを備え、
   前記演算部は、前記露光量と前記補正信号とに基づいて、前記距離情報を演算する測距撮像装置に用いられる固体撮像素子であって、
   前記固体撮像素子は、
   前記発光信号の受信タイミングに対して第一の遅延時間を経て前記露光信号を受信し前記露光を行う前記第一の発光露光期間において、当該露光に対応した前記第一の露光量を取得し、前記発光信号の受信タイミングに対して前記第一の遅延時間と異なる第二の遅延時間を経て前記露光信号を受信し前記露光を行う前記第二の発光露光期間において、当該露光に対応した前記第二の露光量を取得する、
   固体撮像素子。
7. 前記固体撮像素子は、ＣＣＤ型固体撮像素子である、
   請求項６に記載の固体撮像素子。
8. 光照射を行い、反射光を露光することにより、前記反射光の露光量を取得し、距離を測定する測距撮像装置の測距方法であって、
   光照射を指示する発光信号の出力タイミングに対し、第一の遅延時間を経て前記反射光の露光を指示する露光信号を出力することにより前記露光を行う第一の発光露光期間において、当該露光に対応した第一の露光量を取得する第一露光量取得ステップと、
   前記発光信号の出力タイミングに対し、前記第一の遅延時間と異なる第二の遅延時間を経て前記露光信号を出力することにより前記露光を行う第二の発光露光期間において、当該露光に対応した第二の露光量を取得する第二露光量取得ステップと、
   前記第一の露光量と前記第二の露光量に基づいて、距離情報を演算して出力する距離演算ステップとを含み、
   前記第一露光量取得ステップにおいて前記第一の発光露光期間における前記発光信号及び前記露光信号の少なくとも一方の繰り返し回数を当該第一の発光露光期間内に前記第一の露光量の総和に対応した撮像情報の信号量に基づいてリアルタイムで可変する可変制御、及び、前記第二露光量取得ステップにおいて前記第二の発光露光期間における前記発光信号及び前記露光信号の少なくとも一方の繰り返し回数を当該第二の発光露光期間内に前記第二の露光量の総和に対応した撮像情報の信号量に基づいてリアルタイムで可変する可変制御のうち、少なくともいずれかを行い、
   前記距離演算ステップでは、前記可変制御された前記繰り返し回数に基づく前記距離情報を補正するための補正信号を用いる、
   測距撮像装置の測距方法。

Images