JP6596433B2 - ２つのカメラからの曲線の集合の構造化光整合 - Google Patents

Description

本発明は概して、オブジェクトの表面幾何形状の３次元走査の分野に関し、より具体的には、構造化光立体視に関する。

オブジェクトの表面幾何形状の３次元走査及びデジタル化は、多くの産業及びサービスにおいて一般的に使用され、それらの用途は多数ある。そのような用途の少数の例は、工業生産システム、複雑幾何形状による既存部品のリバースエンジニアリング、生物測定等における形状一致の点検及び測定である。

オブジェクトの形状は、センサと表面上の点の集合との間の距離を測定する測距センサを使用して、走査及びデジタル化される。距離センサについて異なる原理が開発されている。中でも、三角測量ベースの距離センサは、概して、数メートルより下の距離等の近い距離測定に適切である。この種の装置を使用して、オブジェクト上の同じ特徴点に収束する少なくとも２つの光線は、基線距離によって分離された２つの異なる視点から得られる。基線及び２つの光線方向から、観察点の相対位置は回復され得る。両方の光線の交点は、三角形における一辺長と２つの角度についての知識を使用して判定され、それは実際に、立体視における三角測量の原理である。立体視における課題は、フレームを組み立てている双眼写真の各々の画像の中で、どのピクセルが互いに対応するかについて、効率的に特定することである。最も一般的な場合において、整合させるためのすべての必要な情報が単一のフレーム中に見出されることが強いられる携帯型または手持ち式の走査機にとって、この問題は特に重要である。

整合問題を単純化するために、光検出器のうちの１つを、既知の方向で光線の集合を出力する光プロジェクターと置き換えることができる。この場合、投影された光線、及びオブジェクト表面に反映された各々の検出された光線の配向を利用して、整合点を見出すことが可能である。次いで、三角形の基礎に対して各々の観察された特徴点の座標を算出することが可能である。

特殊光検出器が使用され得るが、デジタルＣＣＤまたはＣＭＯＳカメラが典型的には使用される。

プロジェクターについては、光源は、スポット、光面、もしくは多くの他の可能なパターンを投影している、コヒーレント源（レーザー）または非コヒーレント源（例えば、白色光）であり得る。光プロジェクターの使用が、オブジェクト表面上の至る所で反映された点の検出を容易にするが、パターンがより複雑であるほど、対応するピクセル及び光線を効率的に特定することの課題が大きくなるだろう。

この理由で、射影幾何学の理論からの特性をさらに利用することになる。当該分野では少なくとも３０年間、２つの視界の場合において、全画像中の検索とは対照的に、対応するピクセルの検索を単一の直線に制限するエピポーラ制約を利用し得ることが周知となっている。この原理は、受動的及び能動的（プロジェクターでの）立体視の両方で、広く利用される。この使用法の一例は、米国特許第８，０３２，３２７号に記載され、レーザープロジェクターは、表面上の反射が２つのカメラによって捕捉される十字カーソルパターンとして、２つの垂直な光面を投影する。細い単色のストライプを投影することは、良好な信号対雑音比を得て、画像処理を単純化して、各々の単一のフレームから３Ｄ点を得るために有利である。単一のストライプを各々のカメラによって観察可能にすることは、各々のエピポーラ線が、ストライプを１回交差することで、整合の曖昧性を回避することを確実にする。

オブジェクトの表面の形状を捕捉するのに必要である時間を減少させるためには、フレーム率を増加させるか、または同時に投影されるストライプの数を増加させるか、あるいは両方を必要とするだろう。提案された１つの手法は、ストライプのグリッドを投影することにある。投影パターンが、２つの方向からの正接曲線が表面法線を測定することを可能にするオブジェクト表面上で、曲線のネットワークを作り出すので、グリッドを投影することは、表面再構築のためにさらに興味深いことである。表面法線情報は、米国特許第７，４８７，０６３号に記載されるような３Ｄ測定からのリアルタイム表面再構築において、有利に利用され得る。ストライプの数を増加させることは、走査速度のために有利であるが、ストライプの数が増加されるにつれ、三角測量を応用する前に像点を整合させる複雑さは、指数的に増え、場合によっては解消され得ない曖昧性を導入する。

曖昧性を解決する１つの方法は、１つ以上のカメラを追加することにあるが、ハードウェアの複雑さは増加し、それは、所与の帯域幅についてフレーム率制限を減少させる。投影されたグリッドから点を整合させるための、１つまたは２つのカメラを利用する方法が提案された。反映された曲線の交点は、追加の整合制約を設定するように、曲線区分の連結されたネットワークをセグメント化して、特定することを可能にする。しかしながら、２つの曲線の交点の近くで抽出される点は、正確ではない。「近く」は、２つの曲線からのピクセル上の画像処理オペレータが干渉する距離の範囲内を意味する。正確さを維持するためには、これらの点を破棄することにより消失させる必要がある。

非交差曲線の２つの集合を交互に作り出し、単一のフレーム内でグリッドの投影を避ける一方で、表面接線から抽出された表面正規配向から利益を得ることは、有益であろう。しかしながら、整合課題は残るだろう。１つの解決策は、多色のストライプを投影することにあるだろう。しかしながら、いくつかの材料の上の色反射率は、整合の質を損ない、プロジェクターは、より複雑である必要があるだろう。別の手法は、各々のフレーム内で可視でなければならない平面の背景上にオブジェクトを位置付けることを強いる。環境に干渉することなく、現場でオブジェクトを測定することが要求されるときに特に、これは、システムの柔軟性を明らかに制限する。

２つのみのカメラ、変更し得る投影パターンを用いて、観察された場面への特定の制約を伴わずに、各々の単一のフレームについて独立して整合問題を解決する解決策への必要性が残る。

広い一態様に従って、画像の中で点を整合させるように、ブロブの連続性を利用する方法が提供される。

広い一態様に従って、２つのカメラによって獲得された場面の２つの画像の間で点を整合させるための方法であって、画像の中の反射からブロブを抽出して、固有の識別子でブロブに個別にラベルをつけることと、選択されたエピポーラ面を選択して、画像の各々の上で共役エピポーラ線を画定することと、画像の各々の中のブロブから選択された妥当なブロブに関する、投影パターン及び固有の識別子の光シートラベルを含む妥当な組み合わせを特定することと、妥当な組み合わせの各々について整合誤差を算出することと、少なくともいくつかのエピポーラ面について、選択する工程、特定する工程、及び算出する工程を繰り返すことと、妥当な組み合わせのために性能指数を計算することによって、最も確実な組み合わせを判定することと、最も確実な組み合わせからフレーム中の整合点を特定することと、を含む、方法が提供される。

別の広い態様に従って、２つのカメラによって同時に獲得された場面の２つの画像の間で点を整合させるための方法であって、それらの２つの画像が、フレームを形成し、それらの画像が各々、場面上の投影パターンの反射を含み、投影パターンが、光のシートを場面上に投影している光プロジェクターユニットによって提供され、カメラ及び光プロジェクターユニットが、共通座標系内で較正され、画像の中の反射からブロブを抽出して、固有の識別子でブロブに個別にラベルをつけることと、エピポーラ面の集合から選択されたエピポーラ面を選択して、画像の各々の上で共役エピポーラ線を画定することと、妥当な組み合わせを特定することであって、妥当な組み合わせが、画像の各々の中のブロブから選択された妥当なブロブに関する、投影パターン及び固有の識別子の光シートラベルを含み、妥当なブロブが、共役エピポーラ線を交差することと、妥当な組み合わせの各々について整合誤差を算出することと、エピポーラ面の集合の各々のエピポーラ面について、選択する工程、特定する工程、及び算出する工程を繰り返すことと、エピポーラ面の集合の各々のエピポーラ面についての整合誤差を使用して妥当な組み合わせのために性能指数を計算することによって、最も確実な組み合わせを判定することと、最も確実な組み合わせからフレーム中の整合点を特定することと、を含む、方法が提供される。

さらに別の広い態様に従って、場面の２つの画像の間で点を整合させるためのシステムであって、光のシートを場面上に投影し、それによって場面上の投影パターンを提供する光プロジェクターユニットと、場面の２つの画像を同時に獲得するための２つのカメラであって、２つの画像が、フレームを形成し、カメラ及び光プロジェクターユニットが、共通座標系内で較正され、画像が各々、場面上の投影パターンの反射を含む、２つのカメラと、プロセッサであって、画像の中の反射からブロブを抽出して、固有の識別子でブロブに個別にラベルをつけ、エピポーラ面の集合から選択されたエピポーラ面を選択して、画像の各々の上で共役エピポーラ線を画定し、妥当な組み合わせを特定し、妥当な組み合わせが、画像の各々の中のブロブから選択された妥当なブロブに関する、投影パターン及び固有の識別子の光シートラベルを含み、妥当なブロブが、共役エピポーラ線を交差し、妥当な組み合わせの各々について整合誤差を算出し、エピポーラ面の集合の各々のエピポーラ面について、選択する工程、特定する工程、及び算出する工程を繰り返し、エピポーラ面の集合の各々のエピポーラ面についての整合誤差を使用して妥当な組み合わせのために性能指数を計算することによって、最も確実な組み合わせを判定し、最も確実な組み合わせからフレーム中の整合点を特定するための、プロセッサと、を含む、システムが提供される。

別の広い態様に従って、場面の２つの画像の間で点を整合させるために少なくとも１つのコンピュータプロセッサによって実施される、コンピュータ実装方法であって、センサによって獲得された２つの画像を取り出すことであって、２つの画像が、場面とセンサとの間の単一の相対位置で捕捉されたフレームを形成し、画像が各々、場面上の投影パターンの反射を含むことと、画像の中の反射からブロブを抽出して、固有の識別子でブロブに個別にラベルをつけることと、エピポーラ面の集合から選択されたエピポーラ面を選択して、画像の各々の上で共役エピポーラ線を画定することと、妥当な組み合わせを特定することであって、妥当な組み合わせが、画像の各々の中のブロブから選択された妥当なブロブに関する、投影パターン及び固有の識別子の光シートラベルを含み、妥当なブロブが、共役エピポーラ線を交差することと、妥当な組み合わせの各々について整合誤差を算出することと、エピポーラ面の集合の各々のエピポーラ面について、選択する工程、特定する工程、及び算出する工程を繰り返すことと、エピポーラ面の集合の各々のエピポーラ面についての整合誤差を使用して妥当な組み合わせのために性能指数を計算することによって、最も確実な組み合わせを判定することと、最も確実な組み合わせからフレーム中の整合点を特定することと、フレーム中の整合点を特定している出力を生成することと、を含む、方法が提供される。

さらに別の広い態様に従って、少なくとも１つのコンピュータプロセッサによって実行されるとき、上記の方法の工程を実施する、コンピュータ実行可能命令を上に記憶しているコンピュータ可読メモリを備える、コンピュータプログラム製品が提供される。

一実施形態において、センサは、２つのカメラ及び光プロジェクターユニットを有し、投影パターンは、少なくとも１つの光のシートを場面上に投影している光プロジェクターユニットによって提供され、カメラ及び光プロジェクターユニットは、共通座標系内で較正される。

一実施形態において、本方法は、性能指数が整合閾値の質を満たすことができないならば整合点を破棄するように、整合点を検査することをさらに含む。

一実施形態において、本方法は、複数のフレームについてコンピュータ実装方法を繰り返すことをさらに含む。

一実施形態において、本方法は、フレーム内の整合点を使用して、３Ｄ点の集合を算出することをさらに含む。

一実施形態において、本方法は、センサの位置を各々のフレームにおいて推定して、３Ｄ点を共通座標系内で統合することをさらに含み、センサの位置を推定することは、場面、場面の幾何形状、及び場面のテクスチャに付加された標的のうちの少なくとも１つを使用することを含む。

一実施形態において、本方法は、３Ｄ点の集合を算出するために画像を利用して、３Ｄ曲線のセグメントを得ることをさらに含む。

別の広い態様に従って、場面の２つの画像の間で点を整合させるためのシステムであって、センサであって、少なくとも１つの光のシートを場面上に投影し、それによって場面上の投影パターンを提供する光プロジェクターユニットと、場面の２つの画像を獲得するための２つのカメラであって、２つの画像が、場面とセンサとの間の単一の相対位置で捕捉されたフレームを形成し、画像が各々、場面上の投影パターンの反射を含む、２つのカメラと、を含み、カメラ及び光プロジェクターユニットが、共通座標系内で較正される、センサと、センサと電子通信している、少なくとも１つのコンピュータプロセッサであって、カメラによって獲得された２つの画像を取り出し、画像の中の反射からブロブを抽出して、固有の識別子でブロブに個別にラベルをつけ、エピポーラ面の集合から選択されたエピポーラ面を選択して、画像の各々の上で共役エピポーラ線を画定し、妥当な組み合わせを特定し、妥当な組み合わせが、画像の各々の中のブロブから選択された妥当なブロブに関する、投影パターン及び固有の識別子の光シートラベルを含み、妥当なブロブが、共役エピポーラ線を交差し、妥当な組み合わせの各々について整合誤差を算出し、エピポーラ面の集合の各々のエピポーラ面について、選択する工程、特定する工程、及び算出する工程を繰り返し、エピポーラ面の集合の各々のエピポーラ面についての整合誤差を使用して妥当な組み合わせのために性能指数を計算することによって、最も確実な組み合わせを判定し、最も確実な組み合わせからフレーム中の整合点を特定するための、コンピュータプロセッサと、フレーム中の整合点を特定している出力を生成するための、プロセッサと電子通信している、少なくとも１つのコンピュータ出力と、を含む、システムが提供される。

一実施形態において、光プロジェクターユニットは、２つの光プロジェクターを含み、各々の光プロジェクターは少なくとも１つの光のシートを場面上に投影し、投影パターンは、各々のフレームにおいて２つの光プロジェクターのうちのいずれか１つによって提供され、投影パターンは、２つの光プロジェクターの各々について異なる。

一実施形態において、少なくとも１つの光のシートは光の面である。
また別の広い態様に従って、少なくとも１つのコンピュータプロセッサによる実行のために上に文及び命令を記録したコンピュータ可読メモリであって、文及び命令が、センサによって獲得された２つの画像を取り出すためのコード手段であって、２つの画像が、場面とセンサとの間の単一の相対位置で捕捉されたフレームを形成し、画像が各々、場面上の投影パターンの反射を含むための、コード手段と、画像の中の反射からブロブを抽出して、固有の識別子でブロブに個別にラベルをつけるためのコード手段と、エピポーラ面の集合から選択されたエピポーラ面を選択して、画像の各々の上で共役エピポーラ線を画定するためのコード手段と、妥当な組み合わせを特定することであって、妥当な組み合わせが、画像の各々の中のブロブから選択された妥当なブロブに関する、投影パターン及び固有の識別子の光シートラベルを含み、妥当なブロブが、共役エピポーラ線を交差するためのコード手段と、妥当な組み合わせの各々について整合誤差を算出するためのコード手段と、エピポーラ面の集合の各々のエピポーラ面について、選択する工程、特定する工程、及び算出する工程を繰り返すためのコード手段と、エピポーラ面の集合の各々のエピポーラ面についての整合誤差を使用して妥当な組み合わせのために性能指数を計算することによって、最も確実な組み合わせを判定するためのコード手段と、最も確実な組み合わせからフレーム中の整合点を特定するためのコード手段と、フレーム中の整合点を特定している出力を生成するためのコード手段と、を備える、コンピュータ可読メモリが提供される。

本開示の上記の特徴及び目的は、添付の図面と併せて解釈された以下の説明に関してより明確になり、図面中、同様の参照番号は同様の要素を表す。
図１Ａ及び図１Ｂを含み、図１Ａは、光プロジェクターユニットによる例示のシステム構成の図解であり、図１Ｂは、２つの光プロジェクターを含む光プロジェクターユニットによる例示のシステム構成の図解である。 光面の集合を投影している光プロジェクターユニットの図解である。 平面から反映された２つの組み合わされたパターンの図解である。 場面上にオーバーレイされたエピポーラ面の表示である。 画像、投影パターン、及びオブジェクト上のその反射の図を描写する。 ２つのカメラ及び光プロジェクターユニットからの光線交差の表示である。 図７Ａ及び図７Ｂを含み、図７Ａは、整合の質を測定する一方法を描写し、図７Ｂは、整合の質を測定する別の方法を描写する。 ブロブの集合についての整合誤差のグラフを描写する。 ３Ｄ点を整合させて、作り出すための例示の方法のフローチャートである。 ３Ｄ点を整合させて、作り出すためのシステムの例示の主要構成要素のブロック図である。

２つのカメラを使用して、あらゆるフレーム内で整合を効率的に見出すために、システム及びコンピュータ実装方法が提案される。

図１は、センサ１００の例示の実施形態を図解する。１つ以上の光プロジェクターユニット１３０は、２つのカメラ１１０の間に装着される。各々のカメラ１１０は視野１２０を有する。各々の光プロジェクターユニット１３０は、１４０ａ及び１４０ｂとラベルをつけられたそれぞれの範囲１４０内にパターンを投影する。図１Ａにおいて、光プロジェクターユニット１３０は単一の光プロジェクターを含む。図１Ｂにおいて、センサ１０２は、２つの光プロジェクター１３０ａ、１３０ｂを含む光プロジェクターユニットについて、異なる実施形態を有する。光プロジェクターは、レーザ光プロジェクター、白色光プロジェクター等であり得る。

例示的な一実施形態において、カメラ１１０の間の基線１５０は、１７０ｍｍで、カメラのレンズの焦点距離は５．７ｍｍである。２つのカメラの光軸の輻輳は約３０°である。図２に示される光プロジェクターユニット１３０について、光面の数は５であるが、変動し得、例えば、１〜１５またはそれ以上でさえある。２２０ａ、２２０ｂ、２２０ｃ、２２０ｄ、及び２２０ｅとラベルをつけられた５つの光面２２０を作り出す光プロジェクターユニット１３０の実施形態例２００が、図２に図解される。

図１Ｂの実施形態において、２つの光プロジェクター１３０ａ、１３０ｂは、図３に示されるように表面上の交差曲線３００を創出している異なるパターンを作り出すように配向される。システムは、各々のパターンを交互に投影することになる。曲線３１０及び３２０の２つの集合は、それぞれプロジェクター１３０ａ、１３０ｂによって投影される。それらは、３１０ａ、３１０ｂ、３１０ｃ、３１０ｄ、及び３１０ｅ、ならびに３２０ａ、３２０ｂ、３２０ｃ、３２０ｄ、及び３２０ｅとラベルをつけられる。例えば、図１Ｂの実施形態例において、光プロジェクター１３０ａ及び１３０ｂは、それら自体、オブジェクトに対してある角度で、例えば＋３０°及び−３０°で配向され、異なるパターンを作り出す。

容易に理解されるように、投影ユニット１３０は、光の２つ以上のパターンを投影し得るプログラム可能な光プロジェクターユニットを含み得る。例えば、投影ユニット１３０は、同時に、または代わりに、交差曲線３００の２つの集合及び追加の光面を投影するようにプログラムされ得る。

カメラ１１０及び光プロジェクターユニット１３０は、共通座標系内で較正される。これは、両方のカメラ１１０について外部パラメータ同様に、歪みパラメータを含む内部パラメータが測定されることを意味する。投影される光のシートの各々は、同じ座標系内で較正される。この例では、光のシートは平面近似である。プロジェクターの波長を整合させるように、カメラレンズ上で帯域フィルタを付加することも可能である。これは、周辺光及び他の源から干渉を減少させることになる。

少なくとも１つのコンピュータプロセッサを用いてそのようなセンサ１００を使用して、３Ｄ点は、以下のコンピュータ実装方法を応用した後に得られ得る。フレームの２つの画像は、２つのカメラ１１０を使用して捕捉される。２つの画像は同時に捕捉され、画像の獲得中に場面とセンサ１００との間の相対変位が存在しないこと、あるいは、この相対変位が無視し得ることを意味する。カメラは、同時に、または長期間中に順次に、のどちらかで、画像を捕捉するように同期され、その期間中、センサ１００の場面に対する相対位置は、同じままであるか、所定のごくわずかな範囲内で変動する捕捉。これらの場合の両方とも、センサによる画像の同時捕捉であると考えられる。

一旦フレームの２つの画像が捕捉されたならば、画像処理は応用される。２つの画像は、カメラ１１０の２つのそれぞれの視点からの、場面内の投影パターンの反射を含む。反映されたパターンは、各々の画像中の曲線区分の集合として現れる。これらの曲線区分は、画像の中の背景より明るく見えて、最先端技法を使用してセグメント化され得る。１つの技法は、画像信号を閾値化することにある。曲線の輪郭が典型的で、それが、頂上の輪郭として画像中に現れるので、セグメント化検査は応用され得る。幅も検査され得る。騒音の影響を減少させるために、曲線セグメントの長さは、例えば、２ピクセル等のピクセルの所定数に設定される最小限の閾値も上回ることになる。同じ連結された構成要素の部分であるピクセルは、ラベルを用いてインデックスをつけられるブロブを画定する。側面投影の中心の位置は、これらの中心を結合して、多角形を組み立てる前に、ブロブに沿って各々のピクセル線について最後に推定される。

一旦フレームの２つの画像がセグメント化されたならば、エピポーラ面が選択される。例示のエピポーラ面４３０は、場面４２０の上にオーバーレイされたエピポーラ面４３０の図解４００である図４に示される。エピポーラ面は、２つのカメラＣ１及びＣ２の投影４５０ならびに４６０の中心の間で共通線分を共有する。線分Ｃ１―Ｃ２は、エピポーラ面を画定するための回転軸の働きをする。このように、エピポーラ面の集合は、パラメータ角度、あるいは、同等に画像中のピクセル座標を使用して、インデックスをつけられ得る。エピポーラ面は２つの画面を交差して、このように２つの共役エピポーラ線を画定する。一般性の喪失なく、画像の修正された双眼写真を仮定すると、各々の画像線は、エピポーラ面のインデックスである。図４で図解された場合には、場面４２０は平面である。プロジェクターＰの投影４７０の中心から生じる光線４４０は、点線で示される。場面４２０から反映された曲線輪郭４１０は、はっきりしている。それらは、４１０ａ、４１０ｂ、４１０ｃ、４１０ｄ、及び４１０ｅとラベルをつけられる。

図５は、画像、投影パターン、及びオブジェクト上のその反射の図５００を描写する。各々のエピポーラ面について、または、画像中のピクセルの各々の線について同等に、両方の画像中で現在の線を交差しているセグメント化されたブロブは、各々の画像についてのブロブのインデックスの一覧を生成することが特定される。第１のカメラＣ１は、投影５５２のその中心及びその画像面５４０によって表示される。第２のカメラＣ２は、投影５５４のその中心及びその画像面５４２によって表示される。プロジェクターＰは、投影４７０の中心及び画像面５３６によって図解される。図５の実施形態例において真実であるが、プロジェクターの投影４７０の中心が、カメラの投影５５２、５５４の中心間の基線上に置かれることが必要ではない。

画像面とエピポーラ面との間の交差点５５０は、点線を使用して示される。光線５２２、５２０、及び５２４は、同じエピポーラ面に属している。プロジェクターはオブジェクト５４４上に光面５３２を投影し、このように反映された曲線５１０を作り出す。この反映された曲線５１０は、次いで、第１のカメラＣ１（画像化された曲線５３０）によって捕捉された第１の画像中で画像化される一方で、それはまた、第２のカメラＣ２（画像化された曲線５３４）によって捕捉された第２の画像中で画像化される。反映された曲線５１０上の点５４６は、次いで、画像化された曲線５３０、５３４上に存在し、その３Ｄ座標を見出すことを許容するように、これらの画像中で適切に特定及び整合されなければならない。画像化された曲線５３０、５３４は、光線５２２及び５２０に沿って交点５５０上で図解されたエピポーラ面を交差し、オブジェクト５４４上で、反映された曲線５１０から生じている。

光プロジェクターユニット及びカメラが同じ座標系内で較正されるので、トリプレット（Ｉ１、Ｉ２、ＩＰ）が第１の画像Ｉ１中の曲線のインデックス、第２の画像Ｉ２中の候補対応曲線のインデックス、及びプロジェクターＩＰ中の光シートのインデックスから成るインデックスのトリプレットにインデックスをつけることが可能である。可能な組み合わせの数は、投影パターン中の光シートの数であるＮが増えるにつれての組み合わせの数の増加の位数であるＯ（Ｎ^３）である。組み合わせの数を制限するために、エピポーラ面内の線光線の交点６１０を分析して、誤差測定を所与の交点に起因し得る。図６は、２つのカメラ及びプロジェクターからの光線交差の表示６００である。光線６０４及び６０６は、それぞれカメラＣ２及びＣ１によって捕捉される。光線６０２はプロジェクターＰによって投影される。プロジェクターＰについて、光線は角度６３０を使用してインデックスをつけられ得る。いくつかの交点６１０は、単一の点で交差するように見える交点６１０ｂ等のより確実な整合である一方で、交点６１０ａ及び６１０ｃ等の他の交差は、より大きな誤差を有する。

図７Ａ及び７Ｂは、交点に起因し得る２つの例示の誤差測定を図解する。図７Ａにおいて、誤差測定７００は、点と３つの光線の各々との間の距離の最小の合計である。図７Ｂにおいて、誤差測定７０２は、２つのカメラ光線の交差とプロジェクター光線との間の距離である。他の変形も可能である。妥当な組み合わせの数は、閾値を得られた値に加えた後に、かなり減少させることができる。プロジェクターの光のシートが、角度によってインデックスをつけられた面によって近づけることができるとき、第２の誤差測定は、効率的に計算され得る一方で、最も近い面のみを保つことを可能にする。これは、Ｏ（Ｎ^２）への整合の複雑さを減少させることになる。

これらの動作を完了した後に、各々が誤差及びエピポーラ面のインデックスに起因される可能性がある整合のトリプレットの一覧を得る。この動作は、ブロブセグメントを交差しているすべてのエピポーラ面について、典型的には、修正された画像の中のピクセルのすべての行について（必然的にではないが）、繰り返される。

それらの関連付けられた誤差及びエピポーラインデックスと一緒のトリプレットは、次いで、エピポーラインデックスに対して追跡される。図８において、エピポーラインデックスに関する誤差のグラフ８００は、曲線８０２、８０４、８０６、及び８０８と共に、４つのトリプレットの各々について描写される。グラフ８００は、すべての妥当なトリプレットについての情報を組み合わせる。より重要なことに、それは、所与のトリプレットについて、エピポーラ面に沿ってブロブについてのすべての情報を統合する。このように、例えば、所与の曲線について平均誤差を算出した後に、対応するトリプレットを整合させるために、性能指数を得る。図８において、誤差が曲線８０６で描写されるトリプレットは、この例において最高の性能指数を作り出すであろう。平均誤差は、閾値を応用した後に、さらに検査され得る。また、曖昧性がないと確信することによって、さらに検査することもできる。実は、短い曲線区分について、２つ以上のトリプレットが低い平均誤差を示し得る。この場合、整合は拒絶されるだろう。曲線８０８に関して真実であるように、曲線が、最高の性能指数を有する曲線よりも、低い最小値に局所的に達し得ることが注目される。これは、例えば、投影された光シートが完全に較正されないとき、あるいは、より高い誤差が画像中の曲線のピーク検出において存在するとき、起こることになる。図８は、特定された曲線が必ずしも同じ長さであるというわけではないことをさらに示す。それは、両方の画像中の反射された曲線の可視性次第ということになる。

所与のフレームについての整合工程の完了後、３Ｄ点は、各々のトリプレットについて観察から算出される。そのために、空間で３Ｄ点と３つの光線の各々との間の距離を最小にし得る。次いで、投影された光シートが、パラメータ的に、あるいは、参照表（ＬＵＴ）を使用して、非常によく較正され、より正確な測定を最終的に得ることが仮定される。現実的応用において、市販の光学構成要素を通して作り出された投影された光シートは、面に正確には対応しない場合がある。このため、ＬＵＴの使用は、より適切である場合がある。別の可能な手法は、３Ｄ点の最終的な算出のために２つのカメラからの画像を利用することにのみある。さもなければ、２Ｄ画像中で、３Ｄ点の再投影誤差を最小にし得る。次いで、投影面を正確に較正することは必要ではない。その上、この後者の場合において、３Ｄ測定は、オブジェクトの表面上のテクスチャ不連続性等の反射信号の輪郭によって、より影響を受けない。結果として生じる３Ｄ点は、より正確である。３Ｄ点の集合を算出した後に、３Ｄ曲線のセグメントを得る。

整合方法９００のための例示の工程は、図９に示される。ブロブは、両方の画像の中で抽出される９１０。エピポーラ面は選択される９２０。選択されたエピポーラ面に沿ったすべての妥当なトリプレット組み合わせは、特定される９３０。性能指数は、トリプレット組み合わせの各々のために算出される９４０。すべての性能指数が算出されるとき、各々の画像ブロブは最も妥当なトリプレットと関連付けられる９５０。各々の整合は検査される９６０。３Ｄ点の集合は、次いで算出される９７０。

その方法は、エピポーラ面の各々に沿って独立した整合とは対照的に、いくつかのエピポーラ面の上に整合されるブロブの空間連続性から利益を得る。それでも、いくつかの整合誤差が残る可能性がまだある。例えば、ブロブは、特定の幾何形状の上の２つの曲線の付帯的な投影のために、１つの画像中に「Ｙ」形構造として現れ得る。さらにその上、面の数が、例えば１５を超えて増加するならば、曖昧性の数もまた増加し得る。しかしながら、米国特許第７，４８７，０６３号に記載のような表面再構築方法が入力として３Ｄ点を取るとき、それらの曖昧性は、表面に影響を及ぼすように、一方から他方のフレームまで持続的なままでなければならない。その表面が複数の観察が獲得された領域で再構築されるので、実は、この種の手法は、異常値観察を除くためによく適応される。

携帯型３Ｄセンサシステム内で統合されるとき、それは、共通座標系内で３Ｄ点を統合するために、オブジェクトとセンサとの間の相対運動が存在し、そのシステムが各々のフレームにおいてその位置を推定するときである。そのシステムは、例えば、再帰反射標的等の標的を使用して、あるいは、オブジェクトが剛性（または「準剛性」）であるとき、オブジェクトの幾何形状またはテクスチャを使用して、各々のフレームにおいてセンサの位置を推定し得る。そのシステムがテクスチャを捕捉するカメラをさらに統合するとき、センサのポーズはテクスチャ特性を整合させた後に算出され得る。

図３に示される実施形態例において、面上に投影されるとき、光シートの２つのそのような集合は、この場合平行線である曲線３１０及び３２０の２つの集合を作り出す。そのシステムは、次いで、異なる配向を用いて光シートの交互の集合を投影する。オブジェクトの表面上で捕捉されるであろう３Ｄ曲線区分は、観察されたオブジェクトの表面上で局所接ベクトルを推定することを可能にする。その上、光シート集合を交互にする一方、局所接ベクトルは、異なる方向に沿って、かつこれらの３Ｄ接ベクトルから算出され得、表面法線配向を算出することになる。表面法線情報は、３Ｄ表面再構築を向上するのを補助し得る。

図１０は、システム９８０の例示の主要構成要素を示しているブロック図である。センサ９８２は、少なくとも１つの光プロジェクターを含む光プロジェクターユニット９８８だけでなく、第１のカメラ９８４及び少なくとも第２のカメラ９８６を含む。フレーム生成装置９９０は、単一のフレーム中でカメラによって捕捉された画像をアセンブルするのに使用され得る。センサ９８２は、フレームの画像間で点を整合させるための処理工程を実装するために、少なくとも１つのコンピュータプロセッサ９９２と通信している。コンピュータプロセッサ（複数可）９９２は、出力装置９９４と電子通信して、整合された点及び／または任意の追加のもしくは中間出力を出力する。容易に理解されるように、プロセッサ（複数可）９９２及び／またはセンサ９８２による使用のためにデータを入力する必要がある場合がある。したがって、入力装置（複数可）９９６は、このために提供され得る。

容易に理解されるように、本明細書に記載の方法が、２つの画像を用いて実行され、それによってトリプレットの組み合わせを形成するが、３つ以上の画像は、フレームにつき獲得され得、それらの組み合わせは、４つ以上の要素を含み得る。代わりに、または追加として、３つ以上の画像がフレームにつき獲得されるならば、これらの画像のうちの２つについてのトリプレットの組み合わせは、点を整合させるのに使用され得、追加の画像（複数可）は、整合を検査するのに使用され得る。

上述の技法は、例えば、ハードウェア、コンピュータ可読媒体上に有形に記憶されたソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実装され得る。上述の技法は、プロセッサ、プロセッサによって読み取り可能な記憶媒体（例えば、揮発性及び不揮発性メモリならびに／または記憶要素を含む）、少なくとも１つの入力装置、ならびに少なくとも１つの出力装置を含むプログラム可能なコンピュータ上で実行している１つ以上のコンピュータプログラムに実装され得る。入力装置を使用して、記述された機能を実施して、出力を生成するように入力された入力に、プログラムコードは応用され得る。出力は、１つ以上の出力装置に提供され得る。

下記の特許請求の範囲内の各々のコンピュータプログラムは、アセンブラ言語、機械語、高水準手続き型プログラム言語、またはオブジェクト指向プログラム言語等の任意のプログラム言語で、実装され得る。プログラム言語は、例えば、編集または解釈されたプログラム言語であり得る。

各々のコンピュータプログラムは、コンピュータプロセッサによる実行のために機械可読記憶機器内に有形に具体化されたコンピュータプログラム製品に実装され得る。本発明の方法工程は、コンピュータ可読媒体上に有形に具体化されたプログラムを実行しているコンピュータプロセッサによって実施されて、入力を動作させて、出力を生成することによって本発明の機能を実施し得る。好適なプロセッサは、例えば、一般的な及び特別な目的のマイクロプロセッサーを含む。概して、プロセッサは、読取り専用メモリ及び／またはランダムアクセスメモリから命令ならびにデータを受信する。コンピュータプログラム命令を有形に具体化するのに好適な記憶装置は、例えば、ＥＰＲＯＭ、ＥＥＰＲＯＭを含む半導体メモリ、及びフラッシュメモリ装置等の不揮発性メモリ装置のすべての形態；内蔵ハードディスク及び取り外し可能ディスク等の磁気ディスク；光磁気ディスク；ならびにＣＤ―ＲＯＭを含む。前述のいずれも、特殊設計のＡＳＩＣ（特定用途向け集積回路）またはＦＰＧＡ（フィールドプログラマブルゲートアレイ）によって補遺をつけられるか、それによって組み込まれ得る。コンピュータは、概して、内蔵ディスク（図示せず）または取り外し可能ディスク等の記憶媒体から、プログラム及びデータを受信することもできる。これらの要素は、本明細書に記載された方法を実装しているコンピュータプログラムを実行するのに好適な、従来のデスクトップ、携帯コンピュータ、またはワークステーションコンピュータ、ならびに他のコンピュータでも見出されることになり、それらは、紙、フィルム、表示スクリーン、または他の出力媒体上にカラーまたはグレースケールのピクセルを作り出すことが可能な、任意のデジタル印刷エンジンもしくはマーキングエンジン、表示モニタ、または他のラスタ出力装置と併せて使用され得る。タブレット、ファブレット、スマートフォン、パーソナル携帯情報機器、携帯コンピュータ、ラップトップ、装着型コンピュータ等、本明細書に記載のコンピュータプログラムを実行するのに好適な他のモバイル装置も、使用することができる。

上記の説明が、本発明者らによって現在企図されるような実施形態例に関するものであるが、本発明が、その広い態様において、本明細書に記載の要素の均等物及び変形を含むことが理解されるだろう。上述の実施形態は、典型的であることのみが意図される。したがって、本発明の範囲は、添付の特許請求の範囲のみによって制限されることが意図される。

Claims (12)

1. 場面の２つの画像の間で点を整合させるために少なくとも１つのコンピュータプロセッサによって実施される、コンピュータ実装方法であって、
   センサによって獲得された２つの画像を取り出すことを含み、前記センサは、少なくとも第１のカメラと、第２のカメラと、投影パターンを前記場面に投影する光プロジェクターユニットとを含み、前記２つの画像が、前記場面と前記センサとの間の単一の相対位置で捕捉されたフレームを形成し、前記画像が各々、前記場面上の、前記光プロジェクターユニットによって投影された前記投影パターンの反射を含み、前記投影パターンは、少なくとも１つの光のシートを含み、各光のシートは対応する光シートラベルでラベル付けされ、
   前記画像の中の前記反射からブロブを抽出して、固有の識別子で前記ブロブに個別にラベルをつけることと、
   エピポーラ面の集合から選択されたエピポーラ面を選択して、前記画像の各々の上で共役エピポーラ線を画定することとを含み、前記エピポーラ面の集合のうちの前記選択されたエピポーラ面は、前記第１のカメラ及び前記第２のカメラ各々の投影の中心と、前記抽出されたブロブ上に位置する対応する点とによって画定され、
   妥当な組み合わせを特定することであって、前記妥当な組み合わせが、前記投影パターンの光シートラベルと、前記画像の各々の中の前記ブロブから選択された妥当なブロブの前記固有の識別子とを含み、前記妥当なブロブが、前記共役エピポーラ線と交差することと、
   前記妥当な組み合わせの各々について整合誤差を算出することを含み、所与の妥当な組み合わせの整合誤差は、３つの光線のうちの光線の各対の交点間の近さを示し、第１の光線は、前記第１のカメラの投影中心から発生し、前記共役エピポーラ線と交差する妥当なブロブに達し、第２の光線は、前記第２のカメラの投影中心から発生し、前記共役エピポーラ線と交差する妥当なブロブに達し、第３の光線は、前記光プロジェクターユニットから発生し、前記共役エピポーラ線と交差する妥当なブロブに達し、
   前記エピポーラ面の集合の各々のエピポーラ面について、前記選択する工程、特定する工程、及び算出する工程を繰り返すことと、
   前記エピポーラ面の集合の各々のエピポーラ面についての前記整合誤差を使用して前記妥当な組み合わせのために性能指数を計算することによって、最も確実な組み合わせを判定することと、
   前記判定した最も確実な組み合わせ及び前記エピポーラ面の集合を用いて、前記フレーム中の前記２つの画像間の整合点を特定することと、
   前記フレーム中の前記整合点を特定している出力を生成することとを含む、前記方法。
2. 前記第１のカメラ、前記第２のカメラ及び前記光プロジェクターユニットが、共通座標系内で較正される、請求項１に記載の前記方法。
3. 前記性能指数が整合閾値の質を満たすことができないならば前記整合点を破棄するように、前記整合点を検査することをさらに含む、請求項１及び２のいずれか一項に記載の前記方法。
4. 複数のフレームについて前記コンピュータ実装方法を繰り返すことをさらに含む、請求項１〜３のいずれか一項に記載の前記方法。
5. 前記フレーム内の前記整合点を使用して、３Ｄ点の集合を算出することをさらに含む、請求項１〜４のいずれか一項に記載の前記方法。
6. 前記センサの位置を各々のフレームにおいて推定して、前記３Ｄ点を共通座標系内で統合することをさらに含み、前記センサの前記位置を前記推定することが、前記場面、前記場面の幾何形状、及び前記場面のテクスチャに付加された標的のうちの少なくとも１つを使用することを含む、請求項５に記載の前記方法。
7. 前記３Ｄ点の集合を前記算出するために前記画像を利用して、３Ｄ曲線のセグメントを得ることをさらに含む、請求項５に記載の前記方法。
8. 場面の２つの画像の間で点を整合させるためのシステムであって、
   センサであって、
   少なくとも１つの光のシートを前記場面上に投影し、それによって前記場面上の投影パターンを提供する光プロジェクターユニットを含み、各光のシートは対応する光シートラベルでラベル付けされ、
   少なくとも第１のカメラ及び第２のカメラを含み、各カメラは、前記場面の前記２つの画像のうちの対応する画像を取得するためのものであり、前記２つの画像が、前記場面と前記センサとの間の単一の相対位置で捕捉されたフレームを形成し、前記画像が各々、前記場面上の前記投影パターンの反射を含み、
   前記第１のカメラ、前記第２のカメラ及び前記光プロジェクターユニットが、共通座標系内で較正される、センサと、
   前記センサと電子通信している、少なくとも１つのコンピュータプロセッサであって、前記カメラによって獲得された前記２つの画像を取り出し、
   前記画像の中の前記反射からブロブを抽出して、固有の識別子で前記ブロブに個別にラベルをつけ、
   エピポーラ面の集合から選択されたエピポーラ面を選択して、前記画像の各々の上で共役エピポーラ線を画定し、前記エピポーラ面の集合のうちの前記選択されたエピポーラ面は、前記第１のカメラ及び前記第２のカメラ各々の投影の中心と、抽出されたブロブ上に位置する対応する点とによって画定され、
   妥当な組み合わせを特定し、前記妥当な組み合わせが、前記投影パターンの光シートラベルと、前記画像の各々の中の前記ブロブから選択された妥当なブロブの前記固有の識別子とを含み、前記妥当なブロブが、前記共役エピポーラ線と交差し、
   前記妥当な組み合わせの各々について整合誤差を算出し、所与の妥当な組み合わせの整合誤差は、３つの光線のうちの光線の各対の交点間の近さを示し、第１の光線は、前記第１のカメラの投影中心から発生し、前記共役エピポーラ線と交差する妥当なブロブに達し、第２の光線は、前記第２のカメラの投影中心から発生し、前記共役エピポーラ線と交差する妥当なブロブに達し、第３の光線は、前記光プロジェクターユニットから発生し、前記共役エピポーラ線と交差する妥当なブロブに達し、
   前記エピポーラ面の集合の各々のエピポーラ面について、前記選択する工程、特定する工程、及び算出する工程を繰り返し、
   前記エピポーラ面の集合の各々のエピポーラ面についての前記整合誤差を使用して前記妥当な組み合わせのために性能指数を計算することによって、最も確実な組み合わせを判定し、
   前記判定した最も確実な組み合わせ及び前記エピポーラ面の集合を用いて、前記フレーム中の前記２つの画像間の整合点を特定するための、コンピュータプロセッサと、
   前記フレーム中の前記整合点を特定している出力を生成するための、前記プロセッサと電子通信している、少なくとも１つのコンピュータ出力とを含む、前記システム。
9. 前記光プロジェクターユニットが、２つの光プロジェクターを含み、各々の光プロジェクターが少なくとも１つの光のシートを前記場面上に投影し、前記投影パターンが、各々のフレームにおいて前記２つの光プロジェクターのうちのいずれか１つによって提供され、前記投影パターンが、前記２つの光プロジェクターの各々について異なる、請求項８に記載の前記システム。
10. 前記少なくとも１つの光のシートが光の面である、請求項８及び９のいずれか一項に記載の前記システム。
11. 少なくとも１つのコンピュータプロセッサによって実行されると、請求項１〜７のいずれか一項に記載の前記方法の工程を実施する、コンピュータ実行可能命令を記憶しているコンピュータ可読メモリを備える、コンピュータプログラム製品。
12. 少なくとも１つのコンピュータプロセッサによる実行のために文及び命令を記録したコンピュータ可読メモリであって、前記文及び命令が、
    センサによって獲得されたある場面の２つの画像を取り出すためのコード手段を含み、前記センサは、第１のカメラと、第２のカメラと、投影パターンを前記場面に投影する光プロジェクターユニットとを含み、前記２つの画像が、前記場面と前記センサとの間の単一の相対位置で捕捉されたフレームを形成し、前記画像が各々、前記場面上の投影パターンの反射を含み、前記投影パターンは、少なくとも１つの光のシートを含み、各光のシートは対応する光シートラベルでラベル付けされ、
    前記画像の中の前記反射からブロブを抽出して、固有の識別子で前記ブロブに個別にラベルをつけるためのコード手段と、
    エピポーラ面の集合から選択されたエピポーラ面を選択して、前記画像の各々の上で共役エピポーラ線を画定するためのコード手段と、
    妥当な組み合わせを特定するためのコード手段とを含み、前記妥当な組み合わせが、前記投影パターンの光シートラベルと、前記画像の各々の中の前記ブロブから選択された妥当なブロブの前記固有の識別子とを含み、前記妥当なブロブが、前記共役エピポーラ線と交差し、
    前記妥当な組み合わせの各々について整合誤差を算出するためのコード手段を含み、所与の妥当な組み合わせの整合誤差は、３つの光線のうちの光線の各対の交点間の近さを示し、第１の光線は、前記第１のカメラの投影中心から発生し、前記共役エピポーラ線と交差する妥当なブロブに達し、第２の光線は、前記第２のカメラの投影中心から発生し、前記共役エピポーラ線と交差する妥当なブロブに達し、第３の光線は、前記光プロジェクターユニットから発生し、前記共役エピポーラ線と交差する妥当なブロブに達し、
    前記エピポーラ面の集合の各々のエピポーラ面について、前記選択する工程、特定する工程、及び算出する工程を繰り返すためのコード手段と、
    前記エピポーラ面の集合の各々のエピポーラ面についての前記整合誤差を使用して前記妥当な組み合わせのために性能指数を計算することによって、最も確実な組み合わせを判定するためのコード手段と、
    前記判定した最も確実な組み合わせ及び前記エピポーラ面の集合を用いて、前記フレーム中の前記２つの画像間の整合点を特定するためのコード手段と、
    前記フレーム中の前記整合点を特定している出力を生成するためのコード手段とを備える、前記コンピュータ可読メモリ。

Images