JP7224708B2 - 深度データ測定ヘッド、測定装置及び測定方法 - Google Patents

Description

本発明は三次元イメージングの分野に関し、具体的には、深度データ測定ヘッド、測定装置及び測定方法に関する。

深度カメラは目標物体の深度情報を収集する収集装置であり、このようなカメラは三次元走査、三次元モデリング等の分野で広く応用されており、例として、現在ますます多くのスマートフォンに顔認識を行うための深度カメラ装置が搭載されている。三次元イメージングはこの分野で長年研究されてきた注目点であるが、従来の深度カメラは依然として消費電力が多く、体積が大きく、干渉防止能力に劣り、画素レベルさらにはサブ画素レベルでのリアルタイムイメージングを実現できない等の多くの課題を有する。

このため、深度データ測定の改善された手段が必要とされている。

これに鑑みて、本発明は深度データ測定ヘッド及び測定システムを提供し、能動的に投射されるコード化ストライプ状構造化光と双眼イメージングの組み合わせにより、複数のコード化ストライプ状パターンの重畳可能なマッチング性と、特定の較正イメージング平面に依存しない双眼イメージングの特性に基づき、融通性に優れた画素レベル深度イメージング手段を提供する。本発明はさらに、イメージングと走査の高度な同期化によって、深度の測定結果に対する環境光の影響を除去し、それにより本発明が利用可能なシーンをさらに拡張することができる。

本発明の一態様によれば、撮影領域にコード化ストライプを有する構造化光を走査投射するために用いられる投影装置と、前記撮影領域を撮影して前記構造化光照射下での第１二次元画像フレーム及び第２二次元画像フレームをそれぞれ取得するために用いられ、所定の相対位置関係を有する２つのイメージセンサである第１イメージセンサ及び第２イメージセンサと、前記投影装置の走査位置に基づき、前記第１イメージセンサ及び第２イメージセンサ内の現在の走査位置に対応するストライプ方向の画素列を同期オンしてイメージングするために用いられる同期装置とを含み、前記同期装置は、前記投影装置の走査位置を測定するための測定装置を含み、且つ前記測定装置の測定結果に基づいて、前記画素列のイメージングの同期オンを実行する、深度データ測定ヘッドを提供する。並列の解決手段においては、同期装置は前記投影装置の走査位置を制御してイメージセンサのイメージングと同期させることもできる。これにより、ストライプ画像の一次元特性を利用して、時刻毎にイメージングする画素列の範囲を制御することで、測定結果に対する環境光の悪影響を低下させる。

本発明の別の態様によれば、上記のいずれか一項に記載の深度データ測定ヘッドと、前記第１イメージセンサ及び第２イメージセンサの所定の相対位置、及び前記構造化光をイメージングして得られた第１二次元画像フレームと第２二次元画像フレームに基づき、前記撮影領域内の撮影対象の深度データを決定するために用いられ、前記深度データ測定ヘッドに接続されたプロセッサとを含む深度データ測定装置を提供する。好ましくは、前記同期装置の少なくとも一部の同期機能は前記プロセッサによって実現される。

本発明の別の態様によれば、撮影領域にコード化ストライプを有する構造化光を走査投射することと、所定の相対位置関係を有する２つのイメージセンサである第１イメージセンサ及び第２イメージセンサを用いて前記撮影領域を撮影することで、前記構造化光照射下での第１二次元画像フレーム及び第２二次元画像フレームをそれぞれ取得し、構造化光のストライプの走査位置に基づいて、前記第１イメージセンサ及び第２イメージセンサ内の現在の走査位置に対応するストライプ方向の画素列を同期オンしてイメージングし、前記操作投射の走査位置を測定した測定結果に基づいて、前記画素列のイメージングの同期オンを実行することと、第１二次元画像フレーム及び第２二次元画像フレームに基づいて前記撮影領域内の測定対象の深度データを求めることとを含む深度データ測定方法を提供する。並列の解決手段においては、前記投影装置の走査位置を制御してイメージセンサのイメージングと同期させることもできる。

本発明の深度データ測定方法によれば、能動的に投射されるコード化ストライプ状構造化光と双眼イメージングの組み合わせにより、コード化ストライプ状パターンの重畳可能性と特定の較正イメージング平面に依存しない双眼イメージングの特性に基づき、融通性に優れた画素レベルの深度イメージング手段を提供する。具体的には、本発明はさらにイメージングと走査の高度な同期によって深度測定の結果に対する環境光の影響を除去し、ＤＭＤを利用した線状光の高速走査を実現し、それにより本発明が利用可能なシーンをさらに拡張し、イメージングの速度及び精度を向上させる。

本開示の上記および他の目的、特徴および利点は、図面を参照しながら本開示の例示的な実施形態についてより詳細に説明することによって、より明らかになり、ここで、本開示の例示的な実施形態において、同一の符号は一般的に同一の構成要素を表す。
図１は、コード化ストライプ状構造化光を用いてなされる深度イメージングの原理を示す。 図２は、コード化ストライプ状構造化光を投射する別の例を示す。 図３は、本発明の一実施形態に係る深度データ測定ヘッドの構成概略図を示す。 図４Ａ、図４Ｂは、図３に示す投影装置の拡大した操作例を示す。 図５は、本発明で使用される投影装置の簡略化した斜視原理図を示す。 図６は、イメージセンサにおける画素行が順番にオンにされる模式図を示す。 図７は、本発明に用いられるイメージセンサの画素構成の一例を示す。 図８は、本発明に用いられるイメージセンサの画素構成の他の例を示す。 図９は、本発明の画素グループの分割に係る一例を示す。 図１０は、本発明の画素メモリサブ列の分割に係る一例を示す。 図１１は、本発明の一実施形態に係るイメージセンサの構成概略図を示す。 図１２は、本発明のイメージセンサを操作するタイミングチャートの一例を示す。 図１３は、本発明のイメージセンサを操作する他のタイミングチャートの例を示す。 図１４は、本発明の一実施形態に係る深度データ測定装置の概略図を示す。 図１５は、本発明の一実施形態に係る深度データ測定方法の概略フローチャートを示す。

以下に図面を参照しながら、本開示の好ましい実施形態についてより詳細に説明する。図面に本開示の好ましい実施形態が示されているが、理解されるべき点として、本開示は本明細書で説明される実施形態によって限定されることなく、様々な形態で実現することができる。むしろ、これらの実施形態は、本開示をより明確で完全なものとし、且つ本開示の範囲を当業者に完全に開示するために提供されるものである。

三次元イメージング分野における高精度、高フレームレート、低消費電力及び小型化に対する要求を満たすために、本発明は深度データ測定ヘッド及び測定システムを提供し、能動的に投射されるコード化ストライプ状構造化光と双眼イメージングの組み合わせにより、コード化ストライプ状パターンの重畳可能性と特定のイメージング平面に依存しない双眼イメージングの特性に基づいて、融通性に優れた画素レベル深度イメージング手段を提供する。本発明はさらに、イメージングと走査の高度な同期化によって、深度の測定結果に対する環境光の影響を除去し、それにより本発明が利用可能なシーンをさらに拡張することができる。

構造化光の測定原理から分かるように、走査角αを正確に決定できるか否かは測定システム全体のキーポイントであり、点状及び線状の構造化光は回転ミラー等の機械装置によって走査角を計算及び決定することができ、また画像を符号化及び復号する意味は符号化構造化光、即ち面状構造化光システムの走査角を決定することである。図１は、コード化ストライプ状構造化光を用いてなされる深度イメージングの原理を示す。理解しやすくするために、図においては２つの階調数の３ビット２進数の時間符号化によりストライプ状構造化光の符号化原理を簡単に説明する。投射装置は撮影領域内の測定対象に対して、図に示すような３枚のパターンを順次投射することができ、３枚のパターンにおいてそれぞれ明暗２つの階調を用い、投射空間を８つの領域に分ける。各領域はそれぞれの投射角に対応し、そのうち明領域はコード「１」に対応し、暗領域はコード「０」に対応すると仮定することができる。投射空間におけるシーンの一点の３つの符号化パターンにおける符号化値を、投射順序に従って組み合わせ、該点の領域符号化値を取得し、これにより該点が位置する領域を確定し、さらに復号して該点の走査角を取得する。

双眼イメージングシステムにおいて、上記復号プロセスは第１と第２イメージセンサにおける各点の符号化値を直接マッチングさせることにより簡略化することができる。マッチング精度を向上させるために、時間符号化における投射パターンの数を増やすことができる。図２は、コード化ストライプ状構造化光を投射する別の例を示す。具体的には、図において２つの階調数の５ビット２進数の時間符号化を示す。双眼イメージングの応用シーンにおいて、これは例えば左右の各画像フレーム内の各画素がいずれも５つの０又は１の領域符号化値を含むことを意味し、これによりさらに高精度（例えば、画素レベル）で左右画像のマッチングを実現することができる。投射装置の投射速度が変化しない場合、図１における３枚の符号化パターンと比較して、図２の例はより高い時間領域コストでより高精度な画像マッチングを実現することに相当する。これは投射装置の本来の投射速度が極めて速い場合（本発明で好ましく用いられるマイクロミラーデバイスなど）、依然として非常に望ましい。

図３は本発明の一実施形態に基づく深度データ測定ヘッドの構成概略図を示す。図３に示すように、深度データ測定ヘッド３００は、投影装置３１０と、２つのイメージセンサ３２０＿１、３２０＿２とを含む。

投影装置３１０は、コード化ストライプを有する構造化光を撮影領域に走査投影するために用いられる。例えば、連続する３つの画像フレームの投射周期において、投影装置３１０は図１に示すような３つのパターンを連続して投射することができ、この３つのパターンのイメージング結果を深度データの生成に用いることができる。第１および第２イメージセンサ３２０＿１、３２０＿２は所定の相対位置関係を有し、それぞれ撮影領域に対して撮影を行うことにより構造化光照射下での第１および第２二次元画像フレームをそれぞれ取得するために用いられる。例えば、投影装置３１０が図１に示すような３つのパターンを投射する場合、第１及び第２イメージセンサ３２０＿１、３２０＿２は、３つの同期した画像フレームイメージング周期内で、これら３つのパターンが投射された撮影領域（例えば、図３におけるイメージング平面及びその前後の一定範囲内の領域）をそれぞれイメージングすることができる。

図３に示すように、投影装置３１０は、ｘ方向に延在する線状光をｚ方向に（すなわち、撮影領域に向かって）投射することができる。異なる実施形態においては、上記線状光の投射は既に成形されていてもよく（即ち、出射光自体が線状光である）、又はｘ方向において移動する光点（即ち、走査して得られた線状光）でもよい。投射された線状光は、イメージング領域全体をカバーするようにｙ方向に連続して移動させることができる。図３下部の撮影領域の斜視図は線状光の走査をより分かりやすく図示したものである。

本発明の実施形態において、光線が測定ヘッドから出射される方向をｚ方向、撮影平面の垂直方向をｘ方向、水平方向をｙ方向と規定する。この場合、投射装置が投射するストライプ状構造化光は、ｘ方向に延在する線状光がｙ方向に移動した結果であるとすることができる。他の実施形態においては、水平ｙ方向に延在する線状光がｘ方向に移動することで得られるストライプ状構造化光に対して同期及びイメージング処理を行うこともできるが、本発明の実施形態においては、依然として好ましくは垂直ストライプ状光を使用して説明する。

さらに、測定ヘッド３００は同期装置３３０を含む。同期装置３３０はそれぞれ投影装置３１０、第１及び第２イメージセンサ３２０＿１、３２０＿２に接続され、これにより三者間の正確な同期を実現する。具体的には、同期装置３３０は投影装置３１０の走査位置に基づいて、第１及び第２イメージセンサ３２０＿１、３２０＿２における現在の走査位置に対応するストライプ方向の画素列を同期オンしてイメージングを行う。図３に示すように、現在のストライプは撮影領域の中心領域まで走査している。このため、イメージセンサ３２０＿１、３２０＿２において、中心領域に位置する画素列（例えば、３つの隣接する画素列）がオンにされてイメージングを行う。ストライプがｙ方向に移動するのに伴って（図３の下部の斜視図における矢印で示す）、イメージセンサ３２０＿１、３２０＿２におけるイメージング用画素列もオンにされ、それに応じて同期移動する（図３の左上のブロック図における行列上方の矢印で示す）。これにより、ストライプ画像の一次元特性を利用して、時刻毎にイメージングされる画素列の範囲を制御して、測定結果に対する環境光による悪影響を低下させることができる。環境光の影響をさらに低下させるために、投射装置は、特に、赤外光などの環境光と混在しにくい光を投射することに用いられる。また、画素列と走査光との対応関係は、投射光の幅、出力、速度、イメージセンサの感光効率等の多くの要因の影響を受けるため、毎回同期オンさせる画素列の範囲（及び対応数）は、較正操作などに基づいて決定することができる。

図４Ａ及び図４Ｂは、図３に示す投影装置の拡大した操作例を示す。具体的には、図３に示すように、投影装置３１０において、レーザ発生器（図４Ａ及び図４Ｂに詳細に示されるレーザ発生器４１１）が発するレーザは投射機構（図４Ａ及び図４Ｂに詳細に示される投射機構４１２）によって撮影領域（図３の灰色領域）に走査投影され、撮影領域内の測定対象（例えば、図３における人）に対して能動的な構造化光の投射を行うために用いられる。一組のイメージセンサ３２０＿１、３２０＿２は撮影領域に対してイメージングを行うことにより、深度データの計算に必要な画像フレームを取得する。図３に示すように、投影装置３１０から出る破線はその投射範囲を示すために用いられ、イメージセンサ３２０＿１、３２０＿２から出る破線はそれぞれのイメージング範囲を示すために用いられる。撮影領域は一般的にこれら三者のそれぞれの投射範囲とイメージング範囲の重複領域に位置する。

実際の応用において、レーザ発生器は線状及び／又は赤外線レーザを生成するために用いられ、且つ前記レーザ発生器は高速スイッチングを行ってコード化ストライプに対応する明暗相間の構造化光を走査して投射する。高速スイッチングは、レーザ発生器の高速スイッチング及び高速符号化スイッチングを含むことができる。

一実施形態において、レーザ発生器は、同じ強度のレーザを連続して発出し、且つ投影されるストライプ状パターンは、レーザ発生器のオンオフによって実現させることができる。この場合、レーザ発生器は１種類の強度の光のみを投射し、イメージセンサの各画素は光の「有無」のみを記録すればよいので、使用するイメージセンサはモノクロイメージセンサであってもよい。

別の実施形態では、レーザ発生器自体が、印加される電力に応じて出射光の強度が正弦変換を呈するような、光強度が変化するレーザを発出できるものであってもよい。前記正弦変換を呈するレーザはストライプ投射と組み合わされることで、明暗相間、さらには明るいストライプ間の輝度も異なるパターンを走査投射することができる。この場合、イメージセンサは、異なる光強度を区別してイメージングする性能を備えている必要があり、よって多階調のグレースケールイメージセンサであってもよい。明らかな点として、階調値による投射およびイメージングは、モノクロによる投射およびイメージングよりも正確な画素間マッチングを提供し、それにより深度データ測定の精度を向上させることができる。

一実施形態では、レーザ発生器４１１は、ｘ方向に延在する線状光（図４Ａ及び図４Ｂにおける紙面に垂直な方向）を生成するラインレーザ発生器であってもよい。該線状光は、ｘ方向の軸に沿って揺動可能な投射機構４１２によってイメージング平面に投射される。投射機構４１２の揺動図は図４Ｂに示すとおりである。これにより、イメージング平面のＡＢ範囲内で往復する線状光の走査を行うことができる。

一実施形態において、上記投射機構４１２はマイクロミラーデバイス（デジタルマイクロミラーデバイス、ＤＭＤとも呼ばれる）であってもよく、且つＭＥＭＳ（微小電気機械システム）として実現されてもよい。図５は、本発明で使用される投影装置の簡略化した斜視原理図を示す。図５に示すように、レーザ発生器が発生するスポットレーザからレンズを介して線状光を得ることができ（図４のラインレーザ発生器４１１に対応）、上記線状光はさらにＭＥＭＳ形式のマイクロミラーデバイスで反射され、反射した線状光はさらに光学窓を介して外部空間に投射される。マイクロミラーデバイスは非常に高い性能を有し、例えば、市販のＤＭＤは２ｋの頻度で高度に安定した往復振動をするため、それにより高性能の深度イメージングのための基礎を築くことができる。

他の実施形態において、走査投射するレーザはスポットレーザであってもよく、投射機構はそれに応じて二次元方向（図中のｘｙの２つの方向）において投射方向を変換する必要がある。例えば、投射機構はまず、ｘ方向でストライプ状光を走査し、さらにｙ方向で移動して、引き続き異なるｙ位置でｘ方向の走査を行う。

一実施形態では、第１イメージセンサ３２０＿１および第２イメージセンサ３２０＿２の画素列は、現在の走査位置に対応するようにそれぞれオンにすることができる。言い換えると、２つのセンサ間の視差を考慮して、第１イメージセンサ３２０＿１と第２イメージセンサ３２０＿２のそれぞれがオンにする画素列は異なっていてもよいが、いずれも同期装置の制御下で、走査位置とそれぞれ同期させることができる。

例えば、イメージセンサが１０００ｘ１０００画素を有し、第１及び第２イメージセンサが２５０画素の視差を有し、且つ投影装置が２つのセンサの間に取り付けられた場合、現在撮影領域の中央に投射されている線状光に対して、第１イメージセンサ３２０＿１は第３００－３７５画素列をオンにし、第２イメージセンサ３２０＿２は第６２５－７００画素列をオンにすることができる。２つのイメージセンサがそれぞれオンにした画素列は、それぞれのイメージング視野内で現在投射されたストライプに対してイメージングすることができる。

上記の例では、２つのイメージセンサは時刻毎に７５個の画素列をオンにすることができ（すなわち、イメージングウィンドウの幅は７５画素である）、且つイメージングウィンドウは走査光の移動に伴って移動する。図１の例において、イメージセンサのイメージングウィンドウは、ストライプ状光のイメージングを保証するために、ｙ方向への線状光の移動に伴って移動させることができる。当然のことながら、イメージングウィンドウが狭いほど（ストライプ状光自体のイメージング幅に近いほど）、環境光に対するそのフィルタリングの程度が大きくなり、イメージングフレームの信号対雑音比も高くなる。しかし被写体から測定ヘッドまでの距離（すなわち、ｚ方向の距離）が一定の範囲内で変化し、さらに較正ステップを完全且つ正確に実現できないことを考慮すると、イメージングウィンドウに一定の冗長性を残す必要がある。言い換えれば、イメージングウィンドウが広いほど、現在の投射光がイメージングウィンドウの範囲外に照射されてイメージングできないという状況は発生しにくいが、そのイメージングフレームの信号対雑音比は相対的に低くなる。したがって、イメージングウィンドウの幅は、操作のしやすさ、冗長性と画像の信号対雑音比とのトレードオフにより適切に選択することができる。

図３に示すように、現在のストライプは撮影領域の中心領域まで走査している。このため、イメージセンサ３２０＿１、３２０＿２において、中心領域に位置する画素列（例えば、３つの隣接する画素列）がオンにされてイメージングを行う。ｙ方向へのストライプの移動に伴って（図３の下部の斜視図に矢印で示す）、イメージセンサ３２０＿１、３２０＿２におけるイメージングのためにオンにされる画素列も、それに応じて同期して移動する（図３の左上のブロック図における行列上方の矢印で示す）。これにより、ストライプ画像の一次元特性を利用して、時刻毎にイメージングされる画素列の範囲を制御して、測定結果に対する環境光による悪影響を低下させることができる。環境光の影響をさらに低下させるために、投射装置は特に赤外光などの環境光と混在しにくい光を投射することに用いられる。また、画素列と走査光との対応関係は、投射光の幅、出力、速度、イメージセンサの感光効率等の多くの要因の影響を受けるため、毎回同期オンにする画素列の範囲（及び対応数）は、較正操作などに基づいて決定することができる。

ｙ方向に移動するストライプ状光を直接投射するか、又はｘ方向に移動してストライプを形成し、且つｙ方向に変位させる必要があるスポット光を投射するかに関わらず、それが撮影領域に形成するのはいずれも時間とともにｙ方向に移動するストライプである。光スポットがｙ方向に移動するのに伴って、該画像フレームを記録するためのイメージセンサ上の全ての画素における特定の画素列をオンにして、それにより対応する位置で反射された光線を収集することができる。図６はイメージセンサにおける画素列が順番にオンにされる模式図を示す。図６に示すように、投影装置が投射するストライプがイメージング領域の中央部から一方の側へ移動する時、イメージセンサの画素アレイにおいて、イメージングのためにオンにされる画素列もそれに伴って中央部から一方の側へ移動する。これにより、画素列は、対応する撮影領域が走査される時間だけイメージングによる記録を行い、その他の時間には記録を行わない。投射されるレーザ光の強度が環境光の強度より大きいため、環境光が本発明の同期オンの解決手段において蓄積されない状況で、構造化光自体を極めて正確にイメージングすることができる。従来のイメージセンサは一般的に露光を行うため、これにより、本発明で使用される列ごとに（又は複数列で同時に）露光するイメージセンサは、従来のイメージセンサをもとに９０°回転して得ることができる。回転した後、列の同時露光のための制御を追加する必要がある。

ここで、図３および図６に示す画素アレイは、本発明の同期原理を説明するための例示にすぎない。実際の応用において、イメージセンサの画素アレイはより大きなレベル（１０００ｘ１０００など）を有することが多く、且つ毎回同時にオンになる画素列も較正に応じて、異なる範囲（例えば、毎回３列オンにするか、又は撮影領域の異なる位置に対して異なる列数をオンにするかなど）を有するようにすることができる。また、イメージセンサ内の画素列のオンを、投射装置における投射構造の走査位置のみに関連させ、現在本当にストライプ状光を投影しているか否かとは無関係にすることができる。言い換えれば、投影される構造化光の明暗ストライプの分布に基づいて行われるレーザエミッタのオンオフは、投射構造の走査投射動作に影響せず、上記走査投射動作と同期するイメージセンサの画素列のオン動作にも影響しない。

以上のような投影装置は所定の頻度で往復振動するマイクロミラーデバイス（ＤＭＤ）を含むことができ、所定の頻度で前記撮影領域へ線状レーザを走査投射するために用いられる。マイクロミラーデバイスは振動頻度が極めて多く、例えば、毎秒２ｋであり、これは２５０ｎｓで一つの完全な投射構造化光を掃引することに相当するため、マイクロミラーデバイスが反射した光線位置に対して極めて正確な同期を行う必要がある。上記精度により、マイクロミラーデバイスの起動信号を直接利用して同期することは不可能であり（遅延が生じたため、信頼できない）、従ってマイクロミラーデバイスの位相振動の特性を考慮して、同期装置にマイクロミラーデバイスの振動位相をリアルタイムで測定するための測定装置を含めて、且つ測定装置の測定結果に基づいて、画素列イメージングの同期オンを行うことができる。これにより、非常に高い頻度での走査及びイメージングの同期が保証される。

一実施形態では、上記測定は出射光自体に基づいて行うことができる。したがって、上記測定装置は、１つ以上の光電センサ（例えば、２つのフォトダイオードＰＤ）であってもよく、且つ前記２つの光電センサは、前記投影装置の異なる出射経路上に配置されるか、前記投影装置内の異なる反射経路上に配置されるか、又は前記投影装置内外の出射及び反射経路上にそれぞれ配置される形態のうちいずれかで配置される。光電センサの配置形態を合理的に選択することにより、位相を正確に測定できるだけではなく、構造化光の正常な投影に影響を及ぼすことがない。図５に示すように、ＰＤを投影装置内に取り付け、レーザが光学窓から出射する時の反射角を測定することによって瞬時の振動位相を特定することができる。ＤＭＤの振動位相は正弦分布をなしており、よって１つのＰＤで正弦分布情報を特定することができ、より多くのＰＤは位相をより正確に測定することに役立つ。他の実施形態においては、ＰＤを投影装置の外に取り付けて、例えば、光学窓に取り付けるか、光学窓の縁部に近接させることで撮影領域内への投影への影響を防止することができる。他の実施形態では、容量測定などの他の方法を利用して位相測定を実施してもよい。

一実施形態では、各イメージセンサは、投影装置が走査投射を行うたびに１枚の画像フレームのイメージングを完了する。例えば、ＤＭＤが半周期の振動を完了してｘ方向のストライプ状光を撮影領域の一方の側から他方の側に走査することで、１枚の画像フレーム（例えば、図１又は図２における１つのパターン）のイメージングが完了する。投影装置の投射出力が限られているか、又は測定対象が測定ヘッドから離れている場合、イメージセンサは一般的に１回の走査で取得した電荷量でイメージングすることができず、複数回の走査イメージングを行う必要がある。そのため、各イメージセンサは、投影装置が所定回数の走査投射を行うたびに１枚の画像フレームのイメージングを完了する。例として、ＤＭＤは連続した５つの振動周期内で同じ構造化光パターンを走査し、それによりイメージセンサはイメージングするのに十分な電荷量を得て、さらに次の５つの振動周期内で次の同じ構造化光パターンを走査し、以下同様に行うことができる。

図５には反射装置として使用されるＤＭＤを示されているが、他の実施形態において、反射装置は所定の頻度で往復運動するメカニカルミラーであってもよく、メカニカルミラーは前記所定の頻度で、レーザ発生器が生成する線状光を前記撮影領域に走査投射するために用いられる。それに対応して、同期装置に含まれる測定装置は、前記反射装置のモータの回転角度をリアルタイムで測定するための角度測定器であってもよい。同期装置は、角度測定器の測定結果に基づいて、画素列イメージングの同期オンを行ってもよい。

以上のような実施形態において、走査線と列画素の露光との間の同期は、イメージセンサの露光を制御することによって実現される。これは、光源による走査が制御可能である場合（例えば、電圧及び電流によってメカニカルミラーの角度及び回転速度を制御できる）に用いられるが、光源走査の位相及び速度が制御不可能である場合（例えば、マイクロミラーデバイスの場合）にさらに適用することができる。したがって、マイクロミラーデバイスはそれぞれＰＤ又はコンデンサで角度を検出することができ、メカニカルミラーも電圧検出又は光電符号化によって位置検出を実現することができる。

具体的には、各イメージセンサ内の画素はいずれも現在の走査位置に対応する時に同期オンされる構造化光画像フレームメモリユニットを含むことができる。図７は、本発明に用いられるイメージセンサの画素構成の一例を示す。図７に示すように、画素列７２１は、ｋ個の画素Ｐ_１－Ｐ_ｋを含んでもよい。各画素はいずれも同じ構造を含み、即ち、１つの感光ユニットと、１つのスイッチ及び１つのメモリユニットである。具体的には、画素Ｐ_１７２２は、感光ユニットとして機能するフォトダイオード７２４と、１つのスイッチ７２６と及び１つのメモリユニット７２８を含むことができる。画素Ｐ_ｋ７２３は、感光ユニットとして機能するフォトダイオード７２５、１つのスイッチ７２７及び１つのメモリユニット７２９を含むことができる。メモリユニットは、例えば、受光した光に基づいてフォトダイオードが発生した電荷を蓄積し、且つ電荷蓄積量に基づいて０または１で出力するものである。これにより、同期装置が、測定装置の測定結果に基づいてイメージセンサ内のあるブロック領域の画素列をオンにする必要があると判断した場合、同期装置は画素列７２１内の各画素に対応するスイッチをオンにし、それによりフォトダイオードが変換した電荷をメモリユニットに蓄積させることができる。その他の時間には、画素の電荷蓄積用のスイッチをオフにすることで、各画素の構造化光画像フレームメモリユニットは１枚の画像フレームの大部分の時間内でオンにされず、それにより環境光の影響を最小限にすることができる。

好ましい実施形態において、各イメージセンサ内の画素はそれぞれ、複数の上記のような構造化光画像フレームメモリユニットを含む。図８は、本発明で使用されるイメージセンサの画素構造の他の例を示す。図８に示すように、画素列８２１は、ｋ個の画素Ｐ_１－Ｐ_ｋを含んでもよい。各画素はいずれも同じ構造を含み、即ち、１つの感光ユニット、Ｍ個のスイッチ及びＭ個のメモリユニットであり、そのうち各スイッチは対応する１つのメモリユニットの電荷記憶を制御する。具体的には、画素Ｐ_１８２２は、感光ユニットとして機能するフォトダイオード８２４と、Ｍ個のスイッチ８２６及びＭ個のメモリユニット８２８を含むことができる。画素Ｐ_ｋ８２３は、感光ユニットとして機能するフォトダイオード８２５、Ｍ個のスイッチ８２７及びＭ個のメモリユニット８２９を含むことができる。

メモリユニットは、例えば、受光した光に基づいてフォトダイオードが発生した電荷を蓄積し、電荷蓄積量に基づいて０または１で出力するものである。各構造化光画像フレームメモリユニットは、それぞれ前記投射装置が順に投射する異なるパターンのコード化ストライプ状構造化光をイメージングして、異なるパターンに対する１セットの画像フレームを生成するために用いられる。該画像フレームセットは全体として１回の深度データ計算を行うために使用することができる。

図２の５つのパターンの１セットの画像フレームを例として、投射装置はまず図２における最も左側の第１パターンを投射する。イメージセンサはパターン走査中に、対応する画素列８２１内の第１組のスイッチ及びメモリユニットを順にオンにする。次いで、投射装置は図２の左から２番目のパターンを投射する。イメージセンサはパターン走査中に、対応する画素列８２１内の第２組のスイッチ及びメモリユニットを順にオンにする。次いで、投射装置は図２の中央のパターンを投射する。イメージセンサはパターン走査中に、対応する画素列８２１内の第３組のスイッチ及びメモリユニットを順にオンにする。次いで、投射装置は図２の右から２番目のパターンを投射する。イメージセンサはパターン走査中に、対応する画素列８２１内の第４組のスイッチ及びメモリユニットを順にオンにする。最後に、投射装置は図２の最も右側の第１パターンを投射する。イメージセンサはパターン走査中に、対応する画素列８２１内の第５組のスイッチ及びメモリユニットを順にオンにする。これにより、1セット５種類のパターンに対する画像フレームイメージングが完了する。この時、各画素の５つのメモリユニットにはいずれも０または１の値が記憶されている。それにより、各画素の５つの値に基づいて値を取得し、搭載されたデジタル演算モジュールによって、画素レベルマッチングのように、２つのイメージセンサ中の画素を直接マッチングする。言い換えれば、イメージセンサの画素自体が複数のメモリユニットを備えている場合、ダミー画像信号をデジタル信号に変換し、デジタル演算モジュールにおいて加減乗除などの処理を直接行って画像間の画素マッチングを行うことができる。画像フレームを１枚ずつ読み取り、さらには画素マッチングのためにソフトウェアによる計算をプロセッサが行う必要がある従来技術と比較して、本出願のデジタル演算による解決手段は画像処理の速度を大幅に向上させ、且つそれにより深度データの生成速度を向上させることができる。

好ましい実施形態において、メモリユニットは多階調の階調値を記憶できるメモリユニットであってもよい。それに応じて、レーザ発生器は強度が一定の規則に従って変化するストライプ状光を投射し、メモリユニットはそれに対して階調によるイメージングを行うことができる。特定の光強度変化投射モードを選択することにより、マルチメモリユニットのイメージセンサとフロントエンドのデジタル演算モジュールを組み合わせ、階調によるイメージングにおけるデジタル動作に基づく高度な画素マッチングを実現することができ、それにより深度データの高速計算を保証すると同時に、画像解像度をさらに向上させる。

環境光をイメージングするために（例えば、異なる二次元イメージング）、各イメージセンサ内の画素はさらにそれぞれ１つの追加メモリユニットを含み、追加メモリユニットは該画素の少なくとも１つの構造化光画像フレームメモリユニットがオンの時にオフであり、且つ前記構造化光の照射を受けない少なくとも一部の時間帯にオンであり、それによりイメージセンサに追加メモリユニットに基づいて環境光画像フレームを生成させるために用いられる。

１つの画素がマルチメモリユニットを有する解決手段の代替又は追加として、複数セットの投射パターンの同時記憶を実現し、後続の画像マッチング及び他の処理操作を容易にするために、イメージセンサの同一位置（又はほぼ同一位置）における異なるイメージングメモリユニットをグループ分けし、且つ異なるパターン投射周期でオンにすることができる。このために、第１イメージセンサ３２０＿１及び第２イメージセンサ３２０＿２において、それぞれの又は各組の画素列はいずれもＮ個の画素メモリサブ列を含むことができ、ここで、Ｎは２以上の整数である。同期装置３３０は投影装置３１０の走査位置に基づき、前記第１及び第２イメージセンサにおける現在の走査位置に対応するストライプ方向の画素列に含まれる１つ又は複数の画素メモリサブ列を同期オンしてイメージングすることができる。

ここで、「画素メモリサブ列」とは、それぞれの及び各組の画素列内の全ての画素に対応する全てのメモリユニットのサブセットを指し、且つストライプ投射長さの全体に対する深度情報の正確な測定を実現するために、上記メモリユニットのサブセットに対応する画素は画素列方向（即ち、ストライプの長さ方向）に沿って均一に分布する。すなわち、本発明で使用されるイメージセンサにおいて、それぞれの又は各組の画素列内の全ての画素に対応する全てのメモリユニットはＮ部分に分割され、各部分のメモリユニットに対応する画素は画素列方向に沿って均一に配列される。分割方式の違いに基づき、Ｎ個の画素メモリサブ列は単一の画素列で実現されてもよく、隣接する複数の画素列で構成された画素列グループによって実現されてもよい。

従って、１組の深度データの計算のための複数のストライプ状パターン（例えば、図１及び図２に示す１組の３つ又は５つのパターン）の投射中に、これらのＮ個のサブセットは同期装置の制御下で、走査ストライプが到来するのに伴ってそれぞれオンにされ、対応するイメージング情報を収集することができる。これにより、複数のストライプ状パターンの投射が完了した時、イメージセンサのメモリユニットはこれらの複数のストライプ状パターンに対応するイメージング情報を同時に含むことができる。上記情報は併せて後続の深度計算、例えば、以下で説明するデジタル回路を直接利用した迅速で効率的な画素マッチング計算に使用することができる。ここで、Ｎの個数は走査パターンの個数に対応し、即ち、走査するたびに１種類のパターンを投射する際、Ｎ個のサブ列のうちの１つのメモリサブ列をオンにしてイメージングする。さらに、他の実施形態では、Ｎの個数は走査パターンの個数よりも多くてもよい。例えば、１種類のパターンを走査して投射するたびに、Ｎ個のサブ列のうちの２つのメモリサブ列をオンにしてイメージングするか、又は１つのメモリサブ列を保留して以下に記載の環境光のイメージングに用いることもできる。１組の走査パターンに含まれるパターンの数がＮより多い場合、走査パターンを複数のグループに分割して投射することにより（後続の複数グループの計算も意味する）、Ｎ個のサブ列のうちの１つ又は複数のサブ列が１つのパターンをイメージングするという設定を実現することができる。

異なる実現においては、それぞれの又は各組の画素列の異なる画素メモリサブ列は、異なる画素をオンにすることにより、又は同じ画素に接続された異なるメモリユニットをオンにすることにより実現することができる。

それぞれの又は各組の画素列のメモリユニットをＮ個の画素メモリサブ列に分割する場合、各画素は図７に示すように１つのメモリユニットだけを含むため、画素に対する分割により、そのメモリユニットのサブ列に対する分割を直接実現することができる。すなわち、第１イメージセンサ３２０＿１及び第２イメージセンサ３２０＿２はそれぞれ複数の画素グループに分けられ、各画素グループはＭ個の隣接する画素で構成され、ここで、Ｍは２以上の整数であり、それぞれの又は各組の画素列のＮ個の画素メモリサブ列は、それぞれ該画素列又は該グループの画素列内の各画素グループにおける異なる画素に対応するメモリユニットのサブ列を含む。

理解を容易にするために、図９は本発明の画素グループの分割に係る一例を示す。図９に示すように、１４ｘ１４の画素は複数グループの画素列に分割され、各グループの画素列は、複数の２ｘ２の画素グループ（すなわち、この例ではＭ＝４）を含む。図中央部の２つの画素列に示すように、１グループの画素列は２つの画素列からなり、７つの画素グループを含む。

Ｎ＝Ｍ＝４の場合、該グループの画素列の４つの画素メモリサブ列は、それぞれ該グループの画素列内の各画素グループにおける異なる画素に対応するメモリユニットのサブ列を含むことができる。図１０は本発明の画素メモリサブ列を分割する一例を示す。図１０に示すように、各画素メモリサブ列はいずれも７つの画素及びそれに対応するメモリユニットを含み、且つそのそれぞれに含まれる画素は各画素グループ内に規則的に分布することで、各画素メモリサブ列の対応する画素はいずれも画素列の方向に均一に分布し、それにより各画素メモリサブ列がオンにされた時、いずれも画素列方向全体にイメージングすることを保証できる。

図１の３パターンを１組とする画像フレームを例として、投射装置はまず図１の最も左側の第１パターンを投射する。イメージセンサはパターン走査中に、対応する画素列グループ内の第１画素メモリサブ列を順にオンにする（例えば、７組の画素列においては図１０で最も左側に示す「左上」画素及びそのメモリユニットを順にオンにする）。次いで、投射装置は図１の左から２番目のパターンを投射する。イメージセンサはパターン走査中に、対応する画素列グループ内の第２画素メモリサブ列を順にオンにする（例えば、７組の画素列において図１０の左から２番目の画素列に示す「右上」画素及びそのメモリユニットを順にオンにする）。次いで、投射装置は図１の第３パターンを投射する。イメージセンサはパターン走査中に、対応する画素列グループ内の第３画素メモリサブ列を順にオンにする（例えば、７組の画素列において図１０の左から３番目の画素列に示される「左下」画素及びそのメモリユニットを順にオンにする）。これにより、１組３パターンに対する画像フレームイメージングが完了する。

一実施形態において、第１及び／又は第２イメージセンサのそれぞれの又は各グループの画素列のＮ個の画素メモリサブ列のうち１つのサブ列は、環境光メモリサブ列として用いられ、前記環境光メモリサブ列の対応する該画素列又は該グループの画素列は、前記構造化光照射を受けない少なくとも一部の時間帯でオンになり、それにより第１及び／又は第２イメージセンサは前記環境光メモリサブ列に基づいて環境光画像フレームを生成する。このため、図１０の最も右側に示す「右下」画素およびそのメモリユニットは環境光メモリサブ列として用いることができ、環境光画像フレームを生成するように、該グループの画素列が構造化光照射を受けない少なくとも一部の時間帯でオンになる。

従って深度計算においては、各画素グループ内の画素の３つの値に基づいて値をとり、搭載されたデジタル演算モジュールによって２つのイメージセンサにおける画素マッチングを直接行うことができる。画像フレームを１枚ずつ読み取り、さらに画素マッチングのためにソフトウェアによる計算をプロセッサが行う必要がある従来技術と比較して、本発明のデジタル演算による解決手段は画像処理の速度を大幅に向上させ、且つそれにより深度データの生成速度を向上させることができる。

図１０の例示において、画素メモリサブ列の数Ｎは、画素グループに含まれる数Ｍと同じであり、他の実施形態では、上記数は異なっていてもよい。例えば、画素グループが３ｘ３の画素からなり（すなわち、Ｍ＝９）、画素メモリサブ列の数Ｎが３であってもよい。すなわち、各画素グループにおいていずれも３つの画素が１つの画素メモリサブ列に接続されてもよい。また、各画素メモリサブ列はいずれも、該グループの画素列内の各画素グループにおける異なる画素にそれぞれ対応するメモリユニットのサブ列を含むべきであるが、各画素グループ内の同じ画素メモリサブ列に接続された画素は画素グループ内の同じ位置にある必要はない。言い換えれば、図１０は例示の便宜上、含まれる画素が画素グループにおける左上、右上、左下及び右下位置にそれぞれ属する４つの画素メモリサブ列として示されているが、他の実施形態においては、各画素メモリサブ列の間で同一画素を重複して選択しない限り、同一の画素メモリサブ列は異なる画素グループにおける異なる位置の画素を選択することができる。

マルチメモリユニットの実現においては、第１イメージセンサ１２０＿１及び第２イメージセンサ１２０＿２の各画素はいずれも図８に示すようにＭ個のメモリユニットを含むことができ、ここで、Ｍは２以上の整数であり、且つそれぞれの又は各グループの画素列のＮ個の画素メモリサブ列は、それぞれ該画素列又は該グループの画素列に対応する異なるメモリユニットサブ列を含む。これにより、図９及び図１０に示す画素をグループ化してそれぞれオンにする解決手段とは異なり、マルチメモリユニットの実現手段は、対応する画素列内の各画素をオンにすることができ、異なる走査パターンにおいても、該画素の異なるメモリユニットをオンにするだけでよい。

以上のような実施形態では、投影装置の走査位置を検出することにより、イメージセンサのイメージング位置と走査位置を同期させている。言い換えると、イメージセンサを制御することにより、それと走査装置が投射するストライプの位置を同期させる手段である。

本発明においては、さらに投影装置を制御することにより、その走査位置とイメージセンサのイメージング位置を同期させる手段を実現することができる。この時、同期装置３３０は同様に投影装置３１０及びイメージセンサ３２０にそれぞれ接続され、イメージセンサ３２０に基づく投影装置３１０の正確な同期を実現する。具体的には、イメージセンサ３２０は列ごとに画素列をオンにしてイメージングを行い、前記撮影領域を撮影して前記構造化光照射下での画像フレームを取得するために用いられる。同期装置３３０は前記投影装置の走査位置を制御することができ、それにより前記投影装置が現在投射するストライプの位置は、前記イメージセンサの現在オンにされた画素列のイメージング位置と少なくとも部分的に重なる。従って、走査装置を制御することにより、画素列と走査ストライプとを同期オンさせ、環境光の影響を少なくとも部分的に除去することを実現する。

一実施形態では、本発明で使用されるイメージセンサ３２０は従来のローリングシャッターイメージセンサであってもよい。該ローリングシャッターイメージセンサ３２０はトリガ（ｔｒｉｇｇｅｒ）モードで動作し、且つ現在オンにされた画素列はイメージングウィンドウを構成して所定の方向に列ごとに移動する。

図３に示すように、現在のストライプは撮影領域の中心領域まで走査している。このため、イメージセンサ３２０において、中心領域に位置する画素列（例えば、３つの隣接する画素列）がオンにされてイメージングされる。ｙ方向へのストライプの移動に伴って（図３の下部の斜視図に矢印で示す）、イメージセンサ３２０におけるイメージングのためにオンにされる画素列も、それに応じて同期して移動する（図３の左上のブロック図における行列上方の矢印に示す）。これにより、ストライプ画像の一次元特性を利用して、時刻毎にイメージングされる画素列の範囲を制御して、測定結果に対する環境光による悪影響を低下させることができる。環境光の影響をさらに低下させるために、投射装置は特に赤外光などの環境光と混在しにくい光を投射することに用いられる。また、画素列と走査光との対応関係は、投射光の幅、出力、速度、イメージセンサの感光効率等の多くの要因の影響を受けるため、毎回同期してオンにする画素列の範囲及び対応する数（即ち、イメージングウィンドウの設定）は、較正操作などに基づいて決定することができる。ローリングシャッターセンサのトリガモードにおいては、イメージングウィンドウの具体的な露光時間は前記イメージングウィンドウに含まれる同期してオンにする画素列の数によって決定される。

従来のローリングシャッターイメージセンサにおいては、単列の露光時間及び１枚の画像フレームの全体的な露光時間は固定されている（又は、いくつかのオプションのみを有する）。この時、イメージングウィンドウの露光時間は、行ごとの露光の総列数（又は回転した行ごとに露光するセンサの総行数であり、以下同様）に基づいて決定することができる。例えば、１０００ｘ１０００のイメージセンサでは、１フレームの露光時間は１０ｍｓであり、各列の露光時間は１０μｓである。この場合、トリガモードでイメージングウィンドウの幅を２００に設定すると、イメージングウィンドウのイメージング時間は２ｍｓであり、且つ１０μｓの速度で一方の側に移動することになる。

これにより、同期装置３３０は前記投影装置３１０が投射するストライプの撮影領域内での移動速度と、前記イメージングウィンドウの前記撮影領域内における対応するイメージング位置の移動速度が同じになるように制御することができる。加えて、同期装置３３０はさらに前記投影装置から投射されたストライプの前記撮影領域内における初期移動位置が、イメージングウィンドウの撮影領域内における対応する初期イメージング範囲内に少なくとも部分的に位置するように制御することができる。

上述したように、イメージングウィンドウの幅が広すぎると、走査と列露光が同期してフィルタリング可能な環境光が少なくなり、イメージングの信号対雑音比を低下させる。イメージングウィンドウの幅が狭すぎると、より多くの環境光をフィルタリングすることができるが、幅の冗長性が不足する等の原因で、ウィンドウ内で全ての投射構造化光情報が取得できない可能性がある。また、従来のローリングシャッターイメージセンサを用いる場合、イメージングウィンドウの幅は、さらにイメージングウィンドウ全体の露光時間の長さを考慮する必要がある。

このため、一実施形態では、複数回の投射および露光によってより狭いイメージングウィンドウを使用して、より高い信号対雑音比を得ることができる。投影装置３１０は、Ｎ個のイメージングフレーム周期内で、同じパターンの構造化光を撮影領域に走査投射する。同期装置３３０はこのＮ個のイメージングフレーム周期の各周期内で、前記イメージセンサの初期イメージングウィンドウを、前記所定の方向に１つのイメージングウィンドウの幅だけ平行移動させることにより、前記イメージセンサが前記Ｎ個のイメージングフレーム周期内で撮影したＮ個の画像フレームを、１枚の画像フレームの合成に用いる。同時に、投射装置の初期投射位置は各周期内で一定に保たれる。例えば、一般的な幅のイメージングウィンドウの実現において、ウィンドウ幅は２００に設定され、且つ左から右への１回の露光が行われる。投影装置も同期装置の制御下で、左から右への１回のストライプ状光走査を行うことで、１枚の画像フレームが得られる。信号対雑音比を向上させるために、ウィンドウ幅を１００に設定し、且つ左から右への２回の露光を行う。１回目の露光は０～１００列から開始し、２回目の露光は１０１～２００列から開始する。投影装置３１０は、２回の露光で全く同じ走査を行う（初期投射位置、走行速度がいずれも同じである）。これにより２枚の画像フレームを得て、この２枚の画像フレームは統合することができ、それにより全てのストライプ状光情報を取得すると同時に、露光過程で侵入する環境光を低下させて、信号対雑音比を向上させる。

同期装置は投影装置内の反射装置の往復運動頻度及び開始時間を制御することができ、それにより前記投影装置が現在投射するストライプ位置は、前記イメージセンサの現在オンにされている画素列のイメージング位置と少なくとも部分的に重なる。

一実施形態において、反射装置は所定の頻度で往復運動するメカニカルミラーを備えていてもよく、メカニカルミラーは所定の頻度で、前記線状光を前記撮影領域に走査投射するために用いられ、ここで、線状光の長さ方向は前記投射ストライプの長さ方向である。例えば、同期装置は電圧及び電流によって前記メカニカルミラーの角度及び回転速度を制御することができ、それにより前記投影装置が現在投射するストライプ位置は、前記イメージセンサの現在オンにされている画素列のイメージング位置と少なくとも部分的に重なる。

一実施形態において、本発明のイメージセンサは特別な構造のイメージセンサとして実現させることができ、特にＨＤＲ画像の撮影に適している。図１１は本発明の一実施形態に基づくイメージセンサの構成概略図である。図１１に示すように、イメージセンサ１１２０はイメージング用の画素アレイ１１２１と、画素アレイの露光を制御するための制御ユニット１１２２と、画素アレイの露光信号を読み取るための読取ユニット１１２３と、画素アレイをリセットするためのリセットユニット１１２４を備える。

画素アレイは複数の画素ユニットを含む。例えば、解像度１０００ｘ１０００のイメージセンサにおいて、画素アレイは１００００００個の画素ユニットを含むことができる。各画素ユニットは感光素子及びメモリ素子を備えていてもよい。画素ユニットは図７または図８に示すような構成を有することができる。

制御ユニット１１２２は対応する画素のスイッチをオンにすることができ、それによりフォトダイオードが変換した電荷をメモリユニットに蓄積して画素の露光を実現することができる。読取ユニット１１２３は各メモリ素子内の露光信号を読み取ることができる。リセットユニット１１２４はメモリ素子内の信号をリセットするために用いることができる。当然のことながら、制御ユニット１１２２、読取ユニット１１２３及びリセットユニット１１２４は各画素ユニットに接続される必要があるが、異なる応用シーンに基づき、画素アレイ１１２１に対する操作は全体、行毎、列毎、さらに画素毎に行うことができる。

本発明のイメージセンサは露光時間を蓄積し、蓄積した露光時間中に露光情報を複数回読み取るという特徴を有する。従って、制御ユニット１１２２は画素ユニットの所定時間帯の少なくとも一部の時間帯における露光を制御することができ、読取ユニット１１２３はメモリ素子の前記所定の時間帯における蓄積された露光信号を複数回、例えばＮ回読み取ることができ、ここで、Ｎは２以上の整数である。リセットユニット１１２４はメモリ素子が所定の時間内にリセットされないようにすることができる。従って、露光の蓄積及び複数回の読み取りにより、露光時間を効率的に再利用することができ、フレーミング効率を向上させ、且つ動的ターゲットの正確な捕捉に役立つ。

図１２は、本発明のイメージセンサを操作するタイミングチャートの一例を示す。図１２に示すように、イメージセンサの画素アレイの各画素は制御ユニット１１２２の制御の下で、ｔ_２－ｔ_１０の所定の時間帯内で露光を継続することができる。これにより、各画素ユニットに含まれるメモリ素子はｔ_２－ｔ_１０の時間帯内で露光を継続することができる。読取ユニットは図の信号１、信号２、信号３、…、信号Ｎの読み取りに示すとおり、メモリ素子のｔ_２－ｔ_１０の所定の時間帯内での露光信号を複数回読み取る。リセットユニット１１２４はメモリ素子が所定の時間帯内にリセットされないようにすることができる。図に示すように、リセットユニット１１２４は、時刻ｔ_１１においてはじめて露光信号のリセットを行う。これにより、各画素ユニット内のＮ回読み取られた露光信号１－Ｎは、該画素の徐々に増加した露光時間内に蓄積された露光信号を含む。すなわち、ある画素ユニットについて読み出された信号１、信号２、信号３、…、信号Ｎの輝度は、露光時間が長くなるにつれて徐々に大きくなる。上記の露光強度が異なる各信号は画像フレームの取得に用いることができる。

理解されるべき点として、図１２に示すタイミングチャートは単一又は複数の画素ユニット、単一又は複数の画素列（又は行）、又は画素アレイ全体のタイミングチャートであってもよい。グローバルシャッター露光の場合、各画素ユニットが同時に露光されるため、図５のタイミングチャートは各画素ユニットに対する操作タイミングを反映することができる。ローリングシャッター露光の場合、露光は行ごとに行われるため、図１２のタイミングチャートはある行の画素ユニットの操作タイミングを反映することができる。この時、他の行のタイミングチャートは図１２に類似しているが、その具体的な操作時刻は時間軸上で平行移動したものとなる。また、イメージセンサの各画素ユニットがそれぞれ操作される場合、図５のタイミングチャートは少なくとも一部の画素ユニットの操作タイミングを反映することができ、及び／又は他の画素ユニットの操作タイミングは図５に示すものに類似しているが、具体的な操作タイミングは異なったものとなる。

異なる応用シーンにおいて、制御ユニット１１２２は図１２に示すように、画素ユニットを制御して所定の時間帯で露光を継続させ、且つ読取ユニット１１２３はメモリ素子の所定の時間帯における露光信号について同じ又は異なる間隔で複数回の読み取りを行うことができる。また、制御ユニット１１２２は画素ユニットの所定の時間帯における複数回の露光も制御し、且つ読取ユニット１１２３はメモリ素子の所定の時間帯における露光信号について対応する複数回の読み取りを行うことができる。上記複数回の露光及び複数回の読み取りの実施形態において、制御ユニット１１２２及び読取ユニット１１２３を固定された露光読み取り実行モジュールによって実現し、例えば、露光及び読み取りを流れ作業のように実現させて、それにより操作効率を向上させることができる。

一実施形態において、所定の時間帯とは１つの画像フレーム周期であり、前記画像フレーム周期はＮ個のイメージング段階を含む。すなわち、２回のリセット信号の間の時間帯を１つの画像フレーム周期とみなすことができる。制御ユニット１１２２は、メモリ素子がＮ個のイメージング段階における露光信号を蓄積できるように、画素ユニットの各イメージング段階のうち少なくとも一部の時間帯の露光を制御することができる。読取ユニット１１２３は、各イメージング段階でメモリ素子内の露光信号を１回読み取ることができる。さらに、読取ユニット１１２３が各イメージング段階において前記メモリ素子内の信号を読み取ることにより取得されたＮ組の画素アレイの露光信号は、１つの画像フレームを合成するために用いることができる。よって、１枚の画像フレーム内での段階的な露光及び複数回の読み取りにより、各画素に反映される撮影対象情報をより全面的に取得することができる。

図１３は、本発明のイメージセンサを操作する他のタイミングチャートの例を示す。図に示すように、画素アレイにおける一部又は全ての画素ユニットは制御ユニット１１２２の制御下で、ｔ_２－ｔ_９の画像フレーム周期内のｔ_２、ｔ_５及びｔ_８で３回の露光を行うことができ、読取ユニット１１２３は各露光後に信号１、信号２及び信号３の読み取りを行い、リセットユニット１１２４はｔ_１０において画素ユニットをリセットする。画素アレイがリセットされた後、次の画像フレーム周期のイメージングを開始する。すなわち、新たなサイクルの信号１、信号２および信号３の読み取りが開始される。

これにより、１つの画像フレーム周期において、露光時間が順次長くなる（輝度が順次大きくなる）３組の露光信号を得ることができ、これらの信号を１枚の画像フレームの合成に用いることができる。各画素ユニットに対して、Ｎ個の画素信号の中から、輝度が所定の規則に適合する１つ又は複数の画素信号を選択して前記画像フレームの合成に用いる。例えば、Ｎ個の画素信号のうち所定の輝度値の範囲内にあるか又は中間輝度値に最も近い信号を選択して、前記画像フレームの合成に用い、それにより撮影対象情報をよりよく反映している画像を取得することができる。

各画素ユニットについて取得されたＮ個の信号から、異なる基準に基づいて選択されることにより、合成画像フレームに最終的に使用される輝度値を得ることができる。したがって、画素信号を選択するための所定の規則は、Ｎ個の画素信号のうち輝度値が所定の輝度値の範囲内にある画素信号を選択すること、Ｎ個の画素信号のうち輝度値が中間輝度値に最も近い画素信号を選択すること、Ｎ個の画素信号のうち輝度値が輝度飽和領域に最も近いが輝度飽和領域に入らない輝度信号を選択すること、のうち少なくとも一つを含むことができる。

例えば、明るすぎる又は暗すぎる輝度値をフィルタリングするか、又は中間輝度に近い値を選択するか、又は所定の輝度値の範囲内の複数の値の平均値を求めることができる。又は好ましくはＮ個の段階のうち第ｎサイクルで取得した値である。例えば、輝度値の範囲が０～２５５である場合、５０以下及び２００以上の値はフィルタリングすると規定して、所定の輝度値の範囲内で輝度が適切な値を選択することができる。フィルタリングしても依然として複数の値を有する場合、中間輝度値１２７に最も近い値を選択するか、又は複数の値の平均を求めることができる。又は好ましくはあるサイクルの値（例えば、好ましくは第３段階の輝度値）を選択する。また、Ｎ個の値がいずれも５０未満であるか又は２００より大きい場合、その中から中間輝度値に最も近い信号を選択する。例えば、ある画素の３つのイメージング段階の信号輝度がそれぞれ５、２０、４４である場合、輝度値が閾値５０より大きい信号がないため、最も明るい値である４４を選択して合成画像フレームにおける該画素の輝度値とする。

また、イメージセンサのイメージングにおける輝度飽和特性の曲線は一般的にＳ形を呈するため、輝度値が輝度飽和領域に最も近いが、該飽和領域に入らない輝度信号を選択することができる。具体的な操作においては、輝度値Ｐ_０と露光時間値Ｔ_０の比が所定の飽和勾配閾値より小さく且つ輝度が最大である画素を選択し、該画素点における輝度値とすることができる。これにより、輝度が最大であり、且つ明るすぎない飽和画素の画像フレームを取得することができる。

一実施形態において、制御ユニット１１２２は、画素アレイ中の各画素列または画素行を制御して、各イメージング段階の固定した時間帯で露出をオンにすることができる（深度測定の実施形態を組み合わせて以下に詳述する）。これにより、本発明のイメージセンサは、撮影対象と列や行の同期が必要な応用シーンに特に適したものとなる。同様に、各画素ユニットはＭ個のメモリ素子を備えることができ、各メモリ素子はいずれもＭ個の画像フレーム周期のうち１つの画像フレーム周期の露光信号を記憶するために用いられ、ここで、Ｍは２以上の整数である。これにより、本発明のイメージセンサは、複数の画像フレームを同時に記憶することができる。

イメージセンサ１１２０は図８に示す構造を有していてもよく、すなわち、各画素ユニットはＭ個のメモリ素子を含み、各メモリ素子はいずれもＭ個の画像フレーム周期のうち１つの画像フレーム周期の露光信号を記憶するために用いられる。これにより、イメージセンサ１１２０はＭ個の画像フレームを同時に記憶することができる。好ましい実施形態において、測定ヘッドはさらにデジタル演算モジュールを含むことができ、前記デジタル演算モジュールは前記１組のＭ個の画像フレームを生成した後、各画素ユニットに記憶されたＭ個の露光信号に対してデジタル演算を直接行って画素マッチングを実行する。

本発明はさらに上記測定ヘッドを用いた測定装置を開示する。具体的には、深度データ測定装置は上記のような深度データ測定ヘッド、及び深度データ測定ヘッドに接続されたプロセッサを備えることができ、第１イメージセンサ及び第２イメージセンサの所定の相対位置及び前記構造化光をイメージングして得られた第１二次元画像フレーム及び第２二次元画像フレームに基づき、撮影領域内の撮影対象の深度データを決定するために用いられる。異なる実施形態において、測定ヘッドは相対的に独立したパッケージを有していてもよく、プロセッサと一体に測定装置内にパッケージされていてもよい。

図１４は、本発明の一実施形態による深度データ測定装置の概略図を示す。図に示すように、測定装置１４００は、上記のような測定ヘッド及びプロセッサ１４４０を備えることができる。測定ヘッドは投影装置１４１０、２つのイメージセンサ１４２０、同期装置１４３０を含む。

プロセッサ１４４０は測定ヘッドに接続され、例えば投影装置１４１０、２つのイメージセンサ１４２０、同期装置１４３０にそれぞれ接続され、第１及び第２イメージセンサ１４２０＿１、１４２０＿２の所定の相対位置及び前記構造化光をイメージングして得られた第１及び第２二次元画像フレームに基づき、前記撮影領域内の撮影対象の深度データを決定するために用いられる。

一実施形態では、同期装置の少なくとも一部の同期機能は、プロセッサによって実現されてもよい。例えば、プロセッサは、同期装置に含まれる測定装置によって測定されたデータに基づいて、ストライプの走査位置をリアルタイムで決定し、且つ同期装置の同期機能を組み込んで、例えば、遅延のない電気信号に直接基づいた、各部材の同期制御を実現してもよい。

図１５は、本発明の一実施形態による深度データ測定方法の概略フローチャートを示す。該方法は、本発明の深度データ測定ヘッド及び測定装置によって実施することができる。

ステップＳ１５１０において、コード化ストライプを有する構造化光を撮影領域に走査投射する。ステップＳ１５２０において、所定の相対位置関係を有する第１及び第２イメージセンサを用いて前記撮影領域を撮影し、前記構造化光照射下での第１及び第２二次元画像フレームをそれぞれ取得し、構造化光ストライプの走査位置に基づき、前記第１及び第２イメージセンサ内の現在の走査位置に対応するストライプ方向の画素列を同期オンしてイメージングする。ステップＳ１５３０において、第１及び第２二次元画像フレームに基づいて前記撮影領域内の測定対象の深度データを求める。

一実施形態では、ステップＳ１５１０は、レーザエミッタを使用して赤外線タイプの光を生成することと、マイクロミラーデバイスを用いて所定の頻度で往復振動し、それにより前記所定の頻度で、前記線状レーザを前記撮影領域に走査投射することとを含んでもよく、前記線状レーザの長さ方向は前記投射ストライプの長さ方向である。

並列の解決手段においては、投射装置が制御される深度データ測定手段を実現することができる。この場合、該方法は、まず、コード化ストライプを有する構造化光を撮影領域に走査投射することと、次に、イメージセンサが列ごとに画素列をオンにしてイメージングを行い、前記撮影領域を撮影して前記構造化光照射下での画像フレームを取得し、前記投影装置の走査位置は、前記投影装置の現在投射するストライプ位置と、前記イメージセンサの現在オンにされた画素列のイメージング位置が少なくとも部分的に重なるように制御されることとを含む。

上記ステップを繰り返し、異なるパターンの１組のコード化ストライプ状構造化光を順次投射し、且つ前記イメージセンサに、異なるパターンの１組のコード化ストライプ状構造化光についてイメージングを行わせ、且つ異なるパターンについての１組の画像フレームを生成させる。例えば、図１又は図２はそれぞれ３枚又は５枚のパターンで構成される１組の画像フレームを示している。このように、前記１組の画像フレームに基づいて前記撮影領域内の測定対象の深度データを求めることができる。この場合、投射装置の反射装置は、制御が容易なメカニカルミラーによって実現することができる。

以上、図面を参照して本発明の深度データ測定ヘッド、測定装置及び測定方法について詳細に説明した。本発明の深度データ測定の解決手段は、能動的に投射されるコード化ストライプ状構造化光と双眼イメージングの組み合わせにより、コード化ストライプ状パターンの重畳可能性と特定の較正イメージング平面に依存しない双眼イメージングの特性に基づいて、融通性に優れた画素レベル深度イメージング手段を提供する。具体的には、本発明はさらにイメージングと走査の高度な同期によって深度測定の結果に対する環境光の影響を除去し、ＤＭＤを利用した線状光の高速走査を実現し、それにより本発明が利用可能なシーンをさらに拡張し、イメージングの速度及び精度を向上させることができる。

図中のフローチャートおよびブロック図は、本発明の複数の実施形態に基づくシステムおよび方法で実現可能なアーキテクチャ、機能、および動作を示している。この点において、フローチャート又はブロック図中の各ブロックは１つのモジュール、プログラムステップ又はコードの一部を表すことができ、前記モジュール、プログラムステップ又はコードの一部は、所定の論理機能を実現するための一つ又は複数の実行可能な命令を含む。また留意すべき点として、代替としたいくつかの実現において、ブロック内でマークされた機能は、図中でマークされたものとは異なる順序で実行されてもよい。例えば、２つの連続するブロックは、実際には基本的に並行して実行されてもよく、場合によっては逆の順序で実行されてもよく、これは関連する機能に応じて決定される。さらに、ブロック図及び／又はフローチャート中の各ブロック、及びブロック図及び／又はフローチャート中のブロックの組み合わせは、所定の機能又は操作を実行する専用の、ハードウェアに基づくシステムで実現することができ、又は専用ハードウェアとコンピュータ命令の組み合わせで実現することができる。

以上、本発明の各実施形態について説明したが、上記の説明は例示であり、網羅的なものではなく、開示された各実施形態に限定されるものではない。当業者にとって、説明された各実施形態の範囲および趣旨から逸脱することなくなされる多くの修正および変更はいずれも自明である。本明細書で使用される用語の選択は、各実施形態の原理、実際の適用、または市場における技術の改善を最も良く説明すること、又は当業者が本明細書に開示された各実施形態を理解できるようにすることを意図したものである。

Claims (18)

1. 撮影領域にコード化ストライプを有する構造化光を走査投射するために用いられる投影装置と、
   前記撮影領域を撮影して前記構造化光照射下での第１二次元画像フレーム及び第２二次元画像フレームをそれぞれ取得するために用いられ、所定の相対位置関係を有する２つのイメージセンサである第１イメージセンサ及び第２イメージセンサと、
   前記投影装置の走査位置に基づき、前記第１イメージセンサ及び第２イメージセンサ内の現在の走査位置に対応するストライプ方向の画素列を同期オンしてイメージングするために用いられる同期装置と、
   を含み、
   前記同期装置は、前記投影装置の走査位置を測定するための測定装置を含み、且つ前記測定装置の測定結果に基づいて、前記画素列のイメージングの同期オンを実行する、
   深度データ測定ヘッド。
2. 各前記イメージセンサは前記投影装置が所定回数の走査投射を行うごとに１枚の画像フレームのイメージングを完了する、請求項１に記載の測定ヘッド。
3. 各前記イメージセンサ内の画素は、それぞれ複数の構造化光画像フレームメモリユニットを備える、請求項１に記載の測定ヘッド。
4. 前記第１イメージセンサ及び第２イメージセンサにおいて、それぞれの又は各組の画素列はＮ個の画素メモリサブ列を含み、ここで、Ｎは２以上の整数であり、
   且つ前記第１イメージセンサ及び第２イメージセンサのそれぞれの又は各組の画素列の画素メモリサブ列に対応する画素及び該画素のメモリユニットは、異なるパターンのコード化ストライプ状構造化光をイメージングするために用いられ、それにより前記第１イメージセンサ及び第２イメージセンサはそれぞれ、異なるパターンに対する１セットの画像フレームを生成し、ここで、前記１セットの画像フレームは１回の深度データ計算を実行するために用いられる、請求項１に記載の測定ヘッド。
5. 各構造化光画像フレームメモリユニット又は画素メモリサブ列は、それぞれ前記投影装置が順次投射する異なるパターンのコード化ストライプ状構造化光をイメージングして、異なるパターンに対する１セットの画像フレームを生成するために用いられ、ここで、前記１セットの画像フレームは全体として１回の深度データ計算を実行するために用いられる、請求項３又は４に記載の測定ヘッド。
6. 前記構造化光画像フレームメモリユニット又はメモリユニットは０又は１の値を記憶するバイナリメモリであり、且つ前記１セットの画像フレームを生成した後、各画素に記憶された複数の０又は１の値に基づき、第１イメージセンサと第２イメージセンサとの間の画素マッチングを直接実行する、請求項５に記載の測定ヘッド。
7. 前記構造化光画像フレームメモリユニット又はメモリユニットは階調値を記憶するためのマルチレベルメモリであり、且つ前記測定ヘッドはさらに、前記１セットの画像フレームを生成した後、各画素に記憶された階調値に対してデジタル演算を直接行って、第１イメージセンサと第２イメージセンサとの間の画素マッチングを実行するデジタル演算モジュールを含む、請求項５に記載の測定ヘッド。
8. 各前記イメージセンサ内の画素はさらにそれぞれ１つの追加メモリユニットを含み、又はＮ個の画素メモリサブ列のうち１つのサブ列が環境光メモリサブ列として用いられ、
   前記追加メモリユニット又は環境光メモリサブ列は、該画素の少なくとも１つの構造化光画像フレームメモリユニットがオンの時にオフであり、且つ前記構造化光の照射を受けない少なくとも一部の時間帯にオンであり、それにより前記イメージセンサは前記追加メモリユニット又は環境光メモリサブ列に基づいて環境光画像フレームを生成するために用いられる、請求項３又は４に記載の測定ヘッド。
9. 前記投影装置は、線状及び／又は赤外レーザを生成し、且つ高速スイッチングを行ってコード化ストライプに対応する明暗相間の構造化光を走査投射するために用いられるレーザ発生器を含む、請求項１に記載の測定ヘッド。
10. 前記投影装置は、
    線状光を発生するために用いられる発光装置と、
    所定の頻度で往復運動するメカニカルミラーと所定の頻度で往復振動するマイクロミラーデバイスのうちの１つを含み、線状光を反射させることで、前記ストライプ方向の垂直方向において移動する線状光を撮影領域に投射するために用いられる反射装置と、
    を含み、
    前記メカニカルミラーは、前記所定の頻度で、長さ方向が投射ストライプの長さ方向である前記線状光を前記撮影領域に走査投射するために用いられ、
    前記マイクロミラーデバイスは、前記所定の頻度で、長さ方向が前記投射ストライプの長さ方向である前記線状光を前記撮影領域に走査投射するために用いられる、請求項９に記載の測定ヘッド。
11. 前記同期装置は、前記マイクロミラーデバイスの振動位相をリアルタイムで測定するための測定装置を含む、請求項１０に記載の測定ヘッド。
12. 前記イメージセンサは、
    複数の画素ユニットを含み、且つ各画素ユニットが感光素子及びメモリ素子を含む画素アレイと、
    画素ユニットの露光を制御するために用いられる制御ユニットと、
    メモリ素子内の露光信号を読み取るために用いられる読取ユニットと、
    前記メモリ素子内の信号をリセットするために用いられるリセットユニットと
    を含み、
    前記制御ユニットは前記画素ユニットの所定の時間帯の少なくとも一部の時間帯内の露光を制御し、前記読取ユニットはメモリ素子の前記所定の時間帯内に蓄積された露光信号を２以上の整数であるＮ回読み取り、且つ前記リセットユニットは前記メモリ素子を前記所定の時間帯内にリセットさせない、請求項１に記載の測定ヘッド。
13. コード化ストライプを有する構造化光を撮影領域に走査投射する投影装置と、
    前記撮影領域を撮影して前記構造化光照射下での画像フレームを取得するために用いられ、列ごとに画素列をオンにしてイメージングするイメージセンサと、
    前記投影装置の走査位置を制御して、前記投影装置の現在投射しているストライプ位置と前記イメージセンサの現在オンしている画素列のイメージング位置を少なくとも部分的に重畳させるために用いられる同期装置と、
    を含む、測定ヘッド。
14. 請求項１～１３のいずれか一項に記載の測定ヘッドと、
    前記測定ヘッドに接続されるプロセッサであって、前記第１イメージセンサ及び第２イメージセンサの所定の相対位置、及び前記構造化光をイメージングして得られた第１二次元画像フレーム及び第２二次元画像フレームに基づいて、前記撮影領域内の撮影対象の深度データを決定するために用いられるプロセッサと、
    を含む、深度データ測定装置。
15. コード化ストライプを有する構造化光を撮影領域に走査投射することと、
    所定の相対位置関係を有する２つのイメージセンサである第１イメージセンサ及び第２イメージセンサを用いて前記撮影領域を撮影して前記構造化光照射下での第１二次元画像フレーム及び第２二次元画像フレームをそれぞれ取得し、構造化光ストライプの走査位置に基づいて、前記第１イメージセンサ及び第２イメージセンサにおける現在の走査位置に対応するストライプ方向の画素列を同期オンしてイメージングし、前記操作投射の走査位置を測定した測定結果に基づいて、前記画素列のイメージングの同期オンを実行することと、
    前記第１二次元画像フレーム及び第２二次元画像フレームに基づいて、前記撮影領域内の測定対象の深度データを求めることと、
    を含む、深度データ測定方法。
16. コード化ストライプを有する構造化光を撮影領域に走査投射することは、
    レーザエミッタを利用して赤外線状光を生成することと、
    マイクロミラーデバイス又はメカニカルミラーを利用して所定の頻度で往復振動させることにより、前記所定の頻度で、長さ方向が投射ストライプの長さ方向である線状レーザを前記撮影領域に走査投射することと、
    を含む、請求項１５に記載の方法。
17. 各イメージセンサ内の画素がそれぞれ含む複数の構造化光画像フレームメモリユニット、又はそれぞれの又は各組の画素列に含まれるＮ個の画素メモリサブ列を使用して、順次投射される異なるパターンのコード化ストライプ状構造化光をそれぞれイメージングすることにより、異なるパターンに対する１セットの画像フレームを生成することと、
    各画素に記憶された複数の値に基づいて、デジタル演算を実行して第１イメージセンサと第２イメージセンサとの間の画素マッチングを直接実行することと、
    をさらに含む、請求項１５に記載の方法。
18. コード化ストライプを有する構造化光を撮影領域に走査投射することと、
    イメージセンサが列ごとに画素列をオンにしてイメージングを行い、前記撮影領域を撮影して前記構造化光照射下での画像フレームを取得し、投影装置の走査位置は、前記投影装置の現在投射しているストライプ位置と、前記イメージセンサの現在オンにされた画素列のイメージング位置が少なくとも部分的に重なるように制御されることと、
    異なるパターンの１セットのコード化ストライプ構造化光を順次投射し、前記イメージセンサに、異なるパターンの１セットのコード化ストライプ構造化光をイメージングさせ、且つ異なるパターンに対する１セットの画像フレームを生成させることと、
    前記１セットの画像フレームに基づいて前記撮影領域内の測定対象の深度データを求めることと、
    を含む、深度データ測定方法。

Images