JP5110138B2 - Ａｒ処理装置、ａｒ処理方法及びプログラム - Google Patents

Description

本発明は、撮像画像に対してＡＲ（Augmented Reality：拡張現実）処理を施す技術に関する。

ＡＲ技術は、カメラで撮影された現実空間の画像（撮像画像）に、当該被写体に関する情報やＣＧ（コンピュータグラフィックス）画像等を重畳してユーザに提示する等を行う技術であり、近年、その研究・開発が盛んに行われている。

このＡＲ技術では、ユーザに対して、撮像画像に重畳する画像等（仮想物体）が、現実空間中に実在するような感覚を与えるため、ユーザの視点（即ち、カメラの位置姿勢）の変化に合わせて、重畳する仮想物体の位置も正確に整合させる必要がある。

例えば、非特許文献１では、被写体に所定のマーカを貼り付け、これを追跡することで、カメラの位置姿勢を推定する技術が提案されている。

加藤博一、外３名、「マーカー追跡に基づく拡張現実感システムとそのキャリブレーション」、日本バーチャルリアリティ学会論文誌、Vol.4、No.4、pp.607-616、1999

しかしながら、上記のマーカを利用する手法では、被写体に予めマーカを貼り付ける作業を要するため、事前の準備に手間がかかる。また、被写体によっては、その形状や希少性等の問題から、マーカの貼り付け自体が困難な場合もあり、被写体として選択できる幅が狭まる。

本発明は、上記実状に鑑みてなされたものであり、ＡＲ処理において、多種多様な有体物を被写体にすることができる上、マーカを使用することなくカメラの位置姿勢を精度よく推定できるＡＲ処理装置等を提供することを目的とする。

本発明の第１の観点に係るＡＲ処理装置は、
同一被写体について視差のある２以上の画像の組を取得する画像取得手段と、
該画像取得手段により取得された画像の組に基づいて、当該被写体の３Ｄモデルを生成する生成手段と、
該生成手段により生成された３Ｄモデルから被合成３Ｄモデル及び合成３Ｄモデルを選択し、該被合成３Ｄモデルから複数の第１特徴点を抽出すると共に、該合成３Ｄモデルから複数の第２特徴点を抽出する抽出手段と、
該抽出手段により抽出された前記被合成３Ｄモデルの複数の第１特徴点と、前記合成３Ｄモデルの複数の第２特徴点と、に基づいて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する座標変換パラメータを取得する取得手段と、
該取得手段により取得された前記座標変換パラメータを用いて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する変換手段と、
変換された前記合成３Ｄモデルを前記被合成３Ｄモデルに合成すると共に、特徴点の統合を行う合成手段と、
該合成手段の前記合成により生成された被写体の３Ｄモデルと、前記統合された特徴点に関する特徴点情報を所定のメモリに保存する保存手段と、を備え、
前記取得手段は、
前記抽出された複数の第１特徴点の中から３つの第１特徴点を選択し、前記抽出された複数の第２特徴点の中から、当該選択された３つの第１特徴点を頂点とする三角形に対応する三角形の３つの頂点を構成する３つの第２特徴点を選択し、当該選択された３つの第２特徴点の座標を当該選択された３つの第１特徴点の座標に合わせる座標変換パラメータを取得し、
前記抽出された複数の第１特徴点の中から３つの第１特徴点をランダムに選択して座標変換パラメータを取得する処理を複数回実行し、当該複数回の処理により得られた複数の座標変換パラメータの中から一の座標変換パラメータを選択する、ことを特徴とする。

その際、前記取得手段は、前記複数の座標変換パラメータの中から、前記変換手段による座標変換後の前記複数の第２特徴点の座標が、前記複数の第１特徴点の座標と最も合致する一の座標変換パラメータを選択してもよい。

本発明の第２の観点に係るＡＲ処理装置は、
同一被写体について視差のある２以上の画像の組を取得する画像取得手段と、
該画像取得手段により取得された画像の組に基づいて、当該被写体の３Ｄモデルを生成する生成手段と、
該生成手段により生成された３Ｄモデルから被合成３Ｄモデル及び合成３Ｄモデルを選択し、該被合成３Ｄモデルから複数の第１特徴点を抽出すると共に、該合成３Ｄモデルから複数の第２特徴点を抽出する抽出手段と、
該抽出手段により抽出された前記被合成３Ｄモデルの複数の第１特徴点と、前記合成３Ｄモデルの複数の第２特徴点と、に基づいて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する座標変換パラメータを取得する取得手段と、
該取得手段により取得された前記座標変換パラメータを用いて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する変換手段と、
変換された前記合成３Ｄモデルを前記被合成３Ｄモデルに合成すると共に、特徴点の統合を行う合成手段と、
該合成手段の前記合成により生成された被写体の３Ｄモデルと、前記統合された特徴点に関する特徴点情報を所定のメモリに保存する保存手段と、を備え、
前記合成手段は、前記複数の第１特徴点と前記複数の第２特徴点とを、対応する特徴点同士が同じグループに属するように複数のグループにグループ化し、当該複数のグループのそれぞれについて重心を求め、求められた複数の重心を新たな複数の特徴点として、新たな３Ｄモデルを生成する、ことを特徴とする。

本発明の第３の観点に係るＡＲ処理方法は、
同一被写体について視差のある２以上の画像の組を取得する画像取得ステップと、
該画像取得ステップで取得された画像の組に基づいて、当該被写体の３Ｄモデルを生成する生成ステップと、
該生成ステップで生成された３Ｄモデルから被合成３Ｄモデル及び合成３Ｄモデルを選択し、該被合成３Ｄモデルから複数の第１特徴点を抽出すると共に、該合成３Ｄモデルから複数の第２特徴点を抽出する抽出ステップと、
該抽出ステップで抽出された前記被合成３Ｄモデルの複数の第１特徴点と、前記合成３Ｄモデルの複数の第２特徴点と、に基づいて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する座標変換パラメータを取得する取得ステップと、
該取得ステップで取得された前記座標変換パラメータを用いて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する変換ステップと、
変換された前記合成３Ｄモデルを前記被合成３Ｄモデルに合成すると共に、特徴点の統合を行う合成ステップと、
該合成ステップの前記合成により生成された被写体の３Ｄモデルと、前記統合された特徴点に関する特徴点情報を所定のメモリに保存する保存ステップと、を含み、
前記取得ステップでは、
前記抽出された複数の第１特徴点の中から３つの第１特徴点を選択し、前記抽出された複数の第２特徴点の中から、当該選択された３つの第１特徴点を頂点とする三角形に対応する三角形の３つの頂点を構成する３つの第２特徴点を選択し、当該選択された３つの第２特徴点の座標を当該選択された３つの第１特徴点の座標に合わせる座標変換パラメータを取得し、
前記抽出された複数の第１特徴点の中から３つの第１特徴点をランダムに選択して座標変換パラメータを取得する処理を複数回実行し、当該複数回の処理により得られた複数の座標変換パラメータの中から一の座標変換パラメータを選択する、ことを特徴とする。

本発明の第４の観点に係るＡＲ処理方法は、
同一被写体について視差のある２以上の画像の組を取得する画像取得ステップと、
該画像取得ステップで取得された画像の組に基づいて、当該被写体の３Ｄモデルを生成する生成ステップと、
該生成ステップで生成された３Ｄモデルから被合成３Ｄモデル及び合成３Ｄモデルを選択し、該被合成３Ｄモデルから複数の第１特徴点を抽出すると共に、該合成３Ｄモデルから複数の第２特徴点を抽出する抽出ステップと、
該抽出ステップで抽出された前記被合成３Ｄモデルの複数の第１特徴点と、前記合成３Ｄモデルの複数の第２特徴点と、に基づいて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する座標変換パラメータを取得する取得ステップと、
該取得ステップで取得された前記座標変換パラメータを用いて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する変換ステップと、
変換された前記合成３Ｄモデルを前記被合成３Ｄモデルに合成すると共に、特徴点の統合を行う合成ステップと、
該合成ステップの前記合成により生成された被写体の３Ｄモデルと、前記統合された特徴点に関する特徴点情報を所定のメモリに保存する保存ステップと、を含み、
前記合成ステップでは、前記複数の第１特徴点と前記複数の第２特徴点とを、対応する特徴点同士が同じグループに属するように複数のグループにグループ化し、当該複数のグループのそれぞれについて重心を求め、求められた複数の重心を新たな複数の特徴点として、新たな３Ｄモデルを生成する、ことを特徴とする。

本発明の第５の観点に係るプログラムは、
ＡＲ処理装置を制御するコンピュータに、
同一被写体について視差のある２以上の画像の組を取得する画像取得機能と、
該画像取得機能で取得された画像の組に基づいて、当該被写体の３Ｄモデルを生成する生成機能と、
該生成機能で生成された３Ｄモデルから被合成３Ｄモデル及び合成３Ｄモデルを選択し、該被合成３Ｄモデルから複数の第１特徴点を抽出すると共に、該合成３Ｄモデルから複数の第２特徴点を抽出する抽出機能と、
該抽出機能で抽出された前記被合成３Ｄモデルの複数の第１特徴点と、前記合成３Ｄモデルの複数の第２特徴点と、に基づいて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する座標変換パラメータを取得する取得機能と、
該取得機能で取得された前記座標変換パラメータを用いて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する変換機能と、
変換された前記合成３Ｄモデルを前記被合成３Ｄモデルに合成すると共に、特徴点の統合を行う合成機能と、
該合成機能の前記合成により生成された被写体の３Ｄモデルと、前記統合された特徴点に関する特徴点情報を所定のメモリに保存する保存機能と、を実現させるプログラムであって、
前記取得機能は、
前記抽出された複数の第１特徴点の中から３つの第１特徴点を選択し、前記抽出された複数の第２特徴点の中から、当該選択された３つの第１特徴点を頂点とする三角形に対応する三角形の３つの頂点を構成する３つの第２特徴点を選択し、当該選択された３つの第２特徴点の座標を当該選択された３つの第１特徴点の座標に合わせる座標変換パラメータを取得し、
前記抽出された複数の第１特徴点の中から３つの第１特徴点をランダムに選択して座標変換パラメータを取得する処理を複数回実行し、当該複数回の処理により得られた複数の座標変換パラメータの中から一の座標変換パラメータを選択する、ことを特徴とする。

本発明の第６の観点に係るプログラムは、
ＡＲ処理装置を制御するコンピュータに、
同一被写体について視差のある２以上の画像の組を取得する画像取得機能と、
該画像取得機能で取得された画像の組に基づいて、当該被写体の３Ｄモデルを生成する生成機能と、
該生成機能で生成された３Ｄモデルから被合成３Ｄモデル及び合成３Ｄモデルを選択し、該被合成３Ｄモデルから複数の第１特徴点を抽出すると共に、該合成３Ｄモデルから複数の第２特徴点を抽出する抽出機能と、
該抽出機能で抽出された前記被合成３Ｄモデルの複数の第１特徴点と、前記合成３Ｄモデルの複数の第２特徴点と、に基づいて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する座標変換パラメータを取得する取得機能と、
該取得機能で取得された前記座標変換パラメータを用いて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する変換機能と、
変換された前記合成３Ｄモデルを前記被合成３Ｄモデルに合成すると共に、特徴点の統合を行う合成機能と、
該合成機能の前記合成により生成された被写体の３Ｄモデルと、前記統合された特徴点に関する特徴点情報を所定のメモリに保存する保存機能と、を実現させるプログラムであって、
前記合成機能は、前記複数の第１特徴点と前記複数の第２特徴点とを、対応する特徴点同士が同じグループに属するように複数のグループにグループ化し、当該複数のグループのそれぞれについて重心を求め、求められた複数の重心を新たな複数の特徴点として、新たな３Ｄモデルを生成する、ことを特徴とする。

本発明によれば、ＡＲ処理において、手間がかからずに多種多様な有体物を被写体にすることができ、カメラの位置姿勢も精度よく推定できる。

本発明の実施形態に係るステレオカメラの外観構成を示す図であり、（ａ）は、前面側を示し、（ｂ）は背面側を示す。 本実施形態のステレオカメラの電気的構成を示すブロック図である。 本実施形態のステレオカメラにおいて、３Ｄオブジェクト登録モードに係る機能的構成を示すブロック図である。 本実施形態における３Ｄオブジェクト登録処理の手順を示すフローチャートである。 本実施形態における３Ｄモデル生成処理の手順を示すフローチャートである。 本実施形態におけるカメラ位置推定処理Ａの手順を示すフローチャートである。 本実施形態における座標変換パラメータ取得処理の手順を示すフローチャートである。 本実施形態における３Ｄモデル合成処理の手順を示すフローチャートである。 本実施形態のステレオカメラにおいて、３Ｄオブジェクト操作モードに係る機能的構成を示すブロック図である。 本実施形態におけるＡＲ処理の手順を示すフローチャートである。 本実施形態におけるカメラ位置推定処理Ｂの手順を示すフローチャートである。

以下、本発明の一実施形態について、図面を参照して説明する。本実施形態では、本発明をデジタル式のステレオカメラに適用した例を示す。

図１（ａ）、（ｂ）は、本実施形態に係るステレオカメラ１の外観図である。図１（ａ）に示すように、このステレオカメラ１の前面には、レンズ１１１Ａと、レンズ１１１Ｂと、ストロボ発光部４００と、が設けられ、上面には、シャッタボタン３３１が設けられている。レンズ１１１Ａとレンズ１１１Ｂは、シャッタボタン３３１が上になる方向で、ステレオカメラ１を水平にした場合に、各々の中心位置が水平方向で同一線上となるように、所定の間隔を隔てて配置されている。ストロボ発光部４００は、必要に応じて被写体に向けてストロボ光を照射する。シャッタボタン３３１は、ユーザからのシャッタ動作指示を受け付けるためのボタンである。

ステレオカメラ１の背面には、図１（ｂ）に示すように、表示部３１０と、操作キー３３２と、電源ボタン３３３と、が設けられている。表示部３１０は、例えば、液晶表示装置等から構成され、ステレオカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像、撮像画像等を表示するための電子ビューファインダとして機能する。

操作キー３３２は、十字キーや決定キー等を含み、モード切替や表示切替等、ユーザからの各種の操作を受け付ける。電源ボタン３３３は、ステレオカメラ１の電源のオン・オフをユーザから受け付けるためのボタンである。

図２は、ステレオカメラ１の電気的構成を示すブロック図である。図２に示すように、ステレオカメラ１は、第１撮像部１００Ａと、第２撮像部１００Ｂと、データ処理部２００と、Ｉ／Ｆ部３００と、ストロボ発光部４００と、を備える。

第１撮像部１００Ａ及び第２撮像部１００Ｂは、それぞれ被写体を撮像する機能を担う部分である。ステレオカメラ１は、いわゆる複眼カメラであり、このように２つの撮像部を有する構成であるが、第１撮像部１００Ａと第２撮像部１００Ｂは同一の構成である。以下、第１撮像部１００Ａについての構成には参照符号の末尾に「Ａ」を付し、第２撮像部１００Ｂについての構成には参照符号の末尾に「Ｂ」を付す。

図２に示すように、第１撮像部１００Ａ（第２撮像部１００Ｂ）は、光学装置１１０Ａ（１１０Ｂ）やイメージセンサ部１２０Ａ（１２０Ｂ）等から構成されている。光学装置１１０Ａ（１１０Ｂ）は、例えば、レンズ、絞り機構、シャッタ機構等を含み、撮像に係る光学的動作を行う。即ち、光学装置１１０Ａ（１１０Ｂ）の動作により、入射光が集光されるとともに、焦点距離、絞り、シャッタスピード等といった、画角やピント、露出等にかかる光学的要素の調整がなされる。

なお、光学装置１１０Ａ（１１０Ｂ）に含まれるシャッタ機構はいわゆるメカニカルシャッタであり、イメージセンサの動作のみでシャッタ動作をおこなう場合には、光学装置１１０Ａ（１１０Ｂ）にシャッタ機構が含まれていなくてもよい。また、光学装置１１０Ａ（１１０Ｂ）は、後述する制御部２１０による制御によって動作する。

イメージセンサ部１２０Ａ（１２０Ｂ）は、光学装置１１０Ａ（１１０Ｂ）によって集光された入射光に応じた電気信号を生成する。イメージセンサ部１２０Ａ（１２０Ｂ）は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementally Metal Oxide Semiconductor）等のイメージセンサから構成され、光電変換を行うことで、受光した光の強度に応じた電気信号を生成し、生成した電気信号をデータ処理部２００に出力する。

上述したように、第１撮像部１００Ａと第２撮像部１００Ｂは同一の構成である。より詳細には、レンズの焦点距離ｆやＦ値、絞り機構の絞り範囲、イメージセンサのサイズや画素数、配列、画素面積等の各仕様が全て同一である。第１撮像部１００Ａと第２撮像部１００Ｂとを同時に動作させた場合、同一被写体について２つの画像（ペア画像）が撮像されるが、光軸位置は横方向で異なっている。

データ処理部２００は、第１撮像部１００Ａ及び第２撮像部１００Ｂによる撮像動作によって生成された電気信号を処理し、撮像画像を示すデジタルデータを生成すると共に、撮像画像に対する画像処理等を行う。データ処理部２００は、制御部２１０、画像処理部２２０、画像メモリ２３０、画像出力部２４０、記憶部２５０、外部記憶部２６０等から構成される。

制御部２１０は、例えば、ＣＰＵ（Central Processing Unit）等のプロセッサや、ＲＡＭ（Random Access Memory）等の主記憶装置等から構成され、記憶部２５０等に格納されているプログラムを実行することで、ステレオカメラ１の各部を制御する。また、本実施形態では、所定のプログラムを実行することで、後述する各処理にかかる機能が制御部２１０によって実現する。

画像処理部２２０は、例えば、ＡＤＣ（Analog-Digital Converter）、バッファメモリ、画像処理用のプロセッサ（いわゆる、画像処理エンジン）等から構成され、イメージセンサ部１２０Ａ及び１２０Ｂによって生成された電気信号に基づいて、撮像画像を示すデジタルデータを生成する。即ち、イメージセンサ部１２０Ａ（１２０Ｂ）から出力されたアナログ電気信号をＡＤＣがデジタル信号に変換して順次バッファメモリに格納すると、バッファされたデジタルデータに対し、画像処理エンジンが、いわゆる現像処理等を行うことで、画質の調整やデータ圧縮等を行う。

画像メモリ２３０は、例えば、ＲＡＭやフラッシュメモリ等の記憶装置から構成され、画像処理部２２０によって生成された撮像画像データや、制御部２１０によって処理される画像データ等を一時的に保存する。

画像出力部２４０は、例えば、ＲＧＢ信号を生成する回路等から構成され、画像メモリ２３０に格納された画像データをＲＧＢ信号等に変換して表示画面（表示部３１０等）に出力する。

記憶部２５０は、例えば、ＲＯＭ（Read Only Memory）やフラッシュメモリ等の記憶装置から構成され、ステレオカメラ１の動作に必要なプログラムやデータ等を格納する。本実施形態では、制御部２１０等が実行する動作プログラムや、その実行時に必要となるパラメータや演算式等のデータが記憶部２５０に格納されているものとする。

外部記憶部２６０は、例えば、メモリカード等といった、ステレオカメラ１に着脱可能な記憶装置から構成され、ステレオカメラ１で撮像した画像データ、３Ｄオブジェクトデータ等を格納する。

Ｉ／Ｆ部３００は、ステレオカメラ１と、ユーザあるいは外部装置との間のインタフェースに係る機能を担う処理部であり、表示部３１０、外部Ｉ／Ｆ部３２０、操作部３３０等から構成される。

表示部３１０は、上述したように、例えば、液晶表示装置等から構成され、ユーザがステレオカメラ１を操作するために必要な種々の画面や、撮影時のライブビュー画像、撮像画像等を表示出力する。本実施形態では、画像出力部２４０からの画像信号（ＲＧＢ信号）等に基づいて撮像画像等の表示出力が行われる。

外部Ｉ／Ｆ部３２０は、例えば、ＵＳＢ（Universal Serial Bus）コネクタやビデオ出力端子等から構成され、外部のコンピュータ装置への画像データの出力や外部モニタ装置への撮像画像の表示出力等を行う。

操作部３３０は、ステレオカメラ１の外面上に設けられている各種ボタン等によって構成され、ユーザによる操作に応じた入力信号を生成して制御部２１０に送出する。操作部３３０を構成するボタンには、上述したように、シャッタボタン３３１、操作キー３３２、電源ボタン３３３等が含まれる。

ストロボ発光部４００は、例えば、キセノンランプ（キセノンフラッシュ）により構成される。ストロボ発光部４００は、制御部２１０の制御に従って被写体にストロボ光を照射する。

以上、本発明を実現するために必要となるステレオカメラ１の構成について説明したが、ステレオカメラ１は、このほかにも、一般的なステレオカメラの機能を実現するための構成を備えているものとする。

以上の構成のステレオカメラ１では、３Ｄオブジェクト登録モード時の処理（３Ｄオブジェクト登録処理）により、被写体の３Ｄモデルと特徴点情報を登録する。そして、３Ｄオブジェクト操作モード時の処理（ＡＲ処理）にて、先に登録した特徴点情報に基づいて、ステレオカメラ１の位置姿勢を推定し、今回取得した撮像画像に対してＡＲ処理を施し、ＡＲデータを生成する。

先ず、図３〜図８を参照して、ステレオカメラ１の動作の内、３Ｄオブジェクト登録モードに係る動作について説明する。

図３は、ステレオカメラ１における、３Ｄオブジェクト登録モードに係る動作を実現するための機能的構成を示すブロック図である。

この動作において、図３に示すように、ステレオカメラ１は、画像取得部１１、生成部１２、抽出部１３、取得部１４、変換部１５、合成部１６、保存部１７と、を備える。

画像取得部１１は、同一被写体について視差のある２つの画像（ペア画像）を取得する。生成部１２は、画像取得部１１により取得されたペア画像に基づいて、被写体の３Ｄモデルを生成する。

抽出部１３は、生成部１２により生成された最初の３Ｄモデル（被合成３Ｄモデル）から複数の第１特徴点を抽出すると共に、生成部１２により生成された２回目以降の一の３Ｄモデル（合成３Ｄモデル）から複数の第２特徴点を抽出する。

取得部１４は、抽出部１３により抽出された複数の第１特徴点と複数の第２特徴点とに基づいて、当該合成３Ｄモデルの座標を当該被合成３Ｄモデルの座標系の座標に変換する座標変換パラメータを取得する。

変換部１５は、取得部１４により取得された座標変換パラメータを用いて、合成３Ｄモデルの座標を被合成３Ｄモデルの座標系の座標に変換する。

合成部１６は、変換された全ての合成３Ｄモデルを被合成３Ｄモデルに合成すると共に、特徴点の統合を行う。保存部１７は、合成部１６により合成された被写体の３Ｄモデルと、統合された特徴点に関する情報（特徴点情報）を外部記憶部２６０等に保存する。

図４は、上記の３Ｄオブジェクト登録処理の手順を示すフローチャートである。この３Ｄオブジェクト登録処理は、ユーザが、操作キー３３２等の操作部３３０を操作することで、３Ｄオブジェクト登録モードが選択されたことを契機に開始される。

３Ｄオブジェクト登録処理では、シャッタボタン３３１が押圧されている間、被写体の撮像、３Ｄモデルの生成、生成された３Ｄモデルの合成、特徴点の統合、合成後の３Ｄモデルのプレビュー表示、などが、繰り返し実行される。ここで、最初の撮像により得られる３Ｄモデルであって、合成の基礎となる３Ｄモデルを被合成３Ｄモデルという。また、２回目以降の撮像により得られる３Ｄモデルであって、被合成３Ｄモデルに合成される３Ｄモデルを合成３Ｄモデルという。なお、ユーザは、被写体に対する視点を動かしながら、即ち、ステレオカメラ１の位置姿勢を変えながら、被写体を連写するものとする。

ステップＳ１０１では、制御部２１０により、終了イベントの発生有無が判定される。終了イベントは、例えば、ユーザにより、再生モード等へのモード移行操作が行われた場合や、ステレオカメラ１の電源がオフされた場合等に発生する。

終了イベントが発生している場合（ステップＳ１０１；ＹＥＳ）、本処理は終了する。一方、終了イベントが発生していない場合（ステップＳ１０１；ＮＯ）、制御部２１０は、一方の撮像部（例えば、第１撮像部１００Ａ）を介して得られた画像データに基づく画像（いわゆる、ライブビュー画像）を表示部３１０に表示する（ステップＳ１０２）。

ステップＳ１０３では、制御部２１０は、シャッタボタン３３１が押下されているか否かを判定する。シャッタボタン３３１が押下されていない場合（ステップＳ１０３；ＮＯ）、制御部２１０は、再度、ステップＳ１０１の処理を実行する。一方、シャッタボタン３３１が押下されている場合（ステップＳ１０３；ＹＥＳ）、制御部２１０は、第１撮像部１００Ａ、第２撮像部１００Ｂ、画像処理部２２０を制御して、被写体を撮像する（ステップＳ１０４）。その結果、２枚の平行同位画像（ペア画像）が得られる。取得されたペア画像は、例えば、画像メモリ２３０に保存される。なお、以降の説明において、ペア画像の内、第１撮像部１００Ａによる撮像の結果得られた画像を画像Ａ、第２撮像部１００Ｂによる撮像の結果得られた画像を画像Ｂとする。

制御部２１０は、画像メモリ２３０に保存されているペア画像に基づいて、３Ｄモデル生成処理を実行する（ステップＳ１０５）。

ここで、図５に示すフローチャートを参照して、３Ｄモデル生成処理について説明する。なお、３Ｄモデル生成処理は、一組のペア画像に基づいて３Ｄモデルを生成する処理である。つまり、３Ｄモデル生成処理は、一のカメラ位置から見た３Ｄモデルを生成する処理と考えることができる。

まず、制御部２１０は、特徴点の候補を抽出する（ステップＳ２０１）。例えば、制御部２１０は、画像Ａに対してコーナー検出を行う。制御部２１０は、例えば、ハリスのコーナー検出関数等を用いて特徴点の抽出を行う。この場合、コーナー特徴量が所定閾値以上かつ所定半径内で最大になる点がコーナー点として選択される。これにより、被写体の先端等、他の点に対して特徴のある点が特徴点として抽出される。

次に、制御部２１０は、ステレオマッチングを実行し、画像Ａの特徴点に対応する点（対応点）を画像Ｂから探す（ステップＳ２０２）。具体的には、制御部２１０は、テンプレートマッチングにより、類似度が所定閾値以上かつ最大のもの（あるいは、相違度が所定閾値以下かつ最小のもの）を対応点として検出する。テンプレートマッチングには、例えば、残差絶対値和（ＳＡＤ）、残差平方和（ＳＳＤ）、正規化相関（ＮＣＣやＺＮＣＣ）、方向符号相関等、様々な既知の技法が採用可能である。

制御部２１０は、ステップＳ２０２において検出した対応点の視差情報、第１撮像部１００Ａ及び第２撮像部１００Ｂの画角、基線長などから、特徴点の位置情報を算出する（ステップＳ２０３）。算出した特徴点の位置情報は、例えば、記憶部２５０に保存される。なお、この際、特徴点の付帯的な情報として、色情報等も位置情報と共に保存してもよい。

制御部２１０は、算出した特徴点の位置情報に基づいてドロネー三角形分割を実行し、ポリゴン化処理を実行する（ステップＳ２０４）。この処理により生成されたポリゴン情報（３Ｄモデル）は、例えば、記憶部２５０に保存される。制御部２１０は、ポリゴン化処理を完了すると、３Ｄモデル生成処理を終了する。

３Ｄモデル生成処理が終了すると、制御部２１０は、当該撮像が最初であるか否かを判定する（図４のステップＳ１０６）。最初の撮像である場合（ステップＳ１０６；ＹＥＳ）、制御部２１０は、３Ｄモデル生成処理において生成された３Ｄモデルを、被合成３Ｄモデルに設定する（ステップＳ１０７）。

一方、最初の撮像でない場合（ステップＳ１０６；ＮＯ）、制御部２１０は、カメラ位置推定処理Ａを実行する（ステップＳ１０８）。カメラ位置推定処理Ａについては、図６のフローチャートを参照して説明する。なお、カメラ位置推定処理Ａにおいては、最初の撮像時のステレオカメラ１の位置姿勢に対する、今回の撮像時のステレオカメラ１の相対的な位置姿勢が求められる。なお、この相対的な位置姿勢を求めることは、今回の撮像により得られた３Ｄモデルの座標を、最初の撮像により得られた３Ｄモデルの座標系の座標に変換する座標変換パラメータを求めることと同様である。

まず、制御部２１０は、被合成３Ｄモデル及び合成３Ｄモデルの双方から３Ｄ空間上の特徴点（第１特徴点及び第２特徴点）を取得する（ステップＳ３０１）。例えば、制御部２１０は、被合成３Ｄモデル（もしくは、合成３Ｄモデル）の特徴点の内、コーナー強度が高く、ステレオマッチングの一致度が高いものを選択する。あるいは、制御部２１０は、ペア画像間でエピ線拘束を考慮した上で、ＳＵＲＦ（Speeded-Up Robust Features）特徴量によるマッチングを実行することで、特徴点を取得するようにしてもよい。

制御部２１０は、ステップＳ３０１の処理を完了すると、被合成３Ｄモデルから３つの特徴点をランダムに選択する（ステップＳ３０２）。そして、制御部２１０は、当該選択が適切であるか否かを判定する（ステップＳ３０３）。ここでは、以下に示す（Ａ）及び（Ｂ）の条件を何れも満たす場合に、当該３つの特徴点の選択が適切であると判定される。

（Ａ）の条件は、３つの特徴点を頂点とする三角形の面積が小さ過ぎないこと、即ち、予め決められた面積以上であることであり、（Ｂ）の条件は、３つの特徴点を頂点とする三角形が極端に鋭角な角を持たないこと、即ち、予め決められた角度以上であることである。

上記の判定の結果、当該選択が適切でない場合（ステップＳ３０３；ＮＯ）、制御部２１０は、再度、ステップＳ３０２の処理を行う。一方、当該選択が適切である場合（ステップＳ３０３；ＹＥＳ）、制御部２１０は、合成３Ｄモデルが有する３つの特徴点を頂点とする三角形の中から、ステップＳ３０２において選択した３つの特徴点を頂点とする三角形と合同な三角形（合同三角形）を探索する（ステップＳ３０４）。例えば、両者の３辺の長さがほぼ等しい場合、この２つの三角形は合同であると判定される。このステップＳ３０４の処理は、ステップＳ３０２において被合成３Ｄモデルから選択された３つの特徴点に対応する３点を、合成３Ｄモデルの特徴点の内から探索する処理と考えることもできる。

なお、制御部２１０は、特徴点やその周辺の色情報、あるいはＳＵＲＦ特徴量等で三角形の候補を予め絞ることで、この探索処理を高速化することができる。探索された三角形を示す情報（典型的には、当該三角形の頂点を構成する３つの特徴点の３Ｄ空間上の座標を示す情報。）は、例えば、記憶部２５０に保存される。合同三角形が複数ある場合、全ての三角形を示す情報が、記憶部２５０に保存される。

制御部２１０は、上記の探索により、少なくとも１つの合同三角形が存在するか否かを判定する（ステップＳ３０５）。なお、探索された合同三角形の数が所定数以上の場合、制御部２１０は、合同三角形が存在しない（見つからない）と判定してもよい。

合同三角形が存在する場合（ステップＳ３０５；ＹＥＳ）、制御部２１０は、その内の１つを選択する（ステップＳ３０６）。一方、合同三角形が存在しない場合（ステップＳ３０５；ＮＯ）、制御部２１０は、再度、ステップＳ３０２の処理を行う。

合同三角形を１つ選択すると、制御部２１０は、座標変換パラメータ取得処理を実行する（ステップＳ３０７）。座標変換パラメータ取得処理は、合成３Ｄモデルの座標を被合成３Ｄモデルの座標系の座標に変換するための座標変換パラメータを取得する処理である。なお、座標変換パラメータ取得処理は、ステップＳ３０２において選択された３つの特徴点と、ステップＳ３０６において選択された合同三角形と、の組み合わせ毎に実行される。ここで、座標変換パラメータは、式（１）及び（２）で与えられる対応点ペア（特徴点ペア、頂点ペア）に対して、式（３）を満たす回転行列Ｒと移動ベクトルｔとを求める処理である。式（１）及び（２）のｐとｐ’とは、各々のカメラ視点に対応する３Ｄ空間上の座標を持つ。なお、Ｎは、対応点ペアのペア数である。

図７は、座標変換パラメータ取得処理の手順を示すフローチャートである。まず、制御部２１０は、式（４）及び（５）に示すように、対応点ペアを設定する（ステップＳ４０１）。ここで、ｃ１とｃ２とは、対応する列ベクトルが対応点の座標になる行列である。この行列から回転行列Ｒと移動ベクトルｔとを直接求めることは難しい。しかしながら、ｐとｐ’との分布がほぼ等しいことから、対応点の重心を合わせてから回転すれば、対応点を重ね合わせることができる。このことを利用して、回転行列Ｒと移動ベクトルｔとを求める。

つまり、制御部２１０は、式（６）及び（７）を用いて、特徴点の重心である重心ｔ１およびｔ２を求める（ステップＳ４０２）。

次に、制御部２１０は、式（８）及び（９）を用いて、特徴点の分布である分布ｄ１及びｄ２を求める（ステップＳ４０３）。ここで、上述したように、分布ｄ１と分布ｄ２との間には、式（１０）の関係がある。

次に、制御部２１０は、式（１１）及び（１２）を用いて、分布ｄ１及びｄ２の特異値分解を実行する（ステップＳ４０４）。特異値は、降順に並べられているものとする。ここで、記号＊は複素共役転置を表す。

次に、制御部２１０は、分布ｄ１及びｄ２が２次元以上であるか否かを判定する（ステップＳ４０５）。特異値は、分布の広がり具合に対応している。従って、最大の特異値とそれ以外の特異値との比率や、特異値の大きさを用いて判定がなされる。例えば、２番目に大きい特異値が、所定値以上かつ最大の特異値との比率が所定範囲内である場合に、分布が２次元以上と判定される。

分布ｄ１及びｄ２が２次元以上でない場合（ステップＳ４０５；ＮＯ）、制御部２１０は、回転行列Ｒを求めることができないので、エラー処理を実行し（ステップＳ４１３）、座標変換パラメータ取得処理を終了する。

一方、分布ｄ１及びｄ２が２次元以上である場合（ステップＳ４０５；ＹＥＳ）、制御部２１０は、関連付けＫを求める（ステップＳ４０６）。式（１０）〜（１２）から、回転行列Ｒは、式（１３）のように表すことができる。ここで、関連付けＫを、式（１４）のように定義すると、回転行列Ｒは、式（１５）のようになる。

ここで、固有ベクトルＵは、分布ｄ１及びｄ２の固有ベクトルに相当し、関連付けＫにより関連付けられる。関連付けＫの要素は、固有ベクトルが対応する場合は１か−１が、そうでない場合は０が与えられる。ところで、分布ｄ１及びｄ２が等しいことは、特異値も等しく、Ｓも等しいことを意味する。実際には、分布ｄ１と分布ｄ２とには誤差が含まれているので、誤差を丸める。以上を考慮すると、関連付けＫは、式（１６）のようになる。つまり、制御部２１０は、ステップＳ４０６において、式（１６）を計算する。

制御部２１０は、ステップＳ４０６の処理を完了すると、回転行列Ｒを計算する（ステップＳ４０７）。具体的には、制御部２１０は、式（１５）と式（１６）とに基づいて、回転行列Ｒを計算する。計算により得られた回転行列Ｒを示す情報は、例えば、記憶部２５０に保存される。

制御部２１０は、ステップＳ４０７の処理を完了すると、分布ｄ１及びｄ２が２次元であるか否かを判定する（ステップＳ４０８）。例えば、最小の特異値が、所定値以下又は最大の特異値との比率が所定範囲外である場合、分布ｄ１及びｄ２は２次元であると判定される。

分布ｄ１及びｄ２が２次元でない場合（ステップＳ４０８；ＮＯ）、制御部２１０は、移動ベクトルｔを計算する（ステップＳ４１４）。ここで、分布ｄ１及びｄ２が２次元ではないことは、分布ｄ１及びｄ２が３次元（３Ｄ）であることを示す。また、ｐとｐ’とは、式（１７）の関係を満たす。式（１７）を変形すると、式（１８）のようになる。式（１８）と式（３）との対応から、移動ベクトルｔは式（１９）のようになる。

一方、分布ｄ１及びｄ２が２次元である場合（ステップＳ４０８；ＹＥＳ）、制御部２１０は、回転行列Ｒを検証し、回転行列Ｒが正常であるか否かを判定する（ステップＳ４０９）。分布が２次元の場合、特異値の１つが０になるので、式（１４）から判るように、関連付けが不定になる。つまり、Ｋの３行３列目の要素が１か−１のどちらかであるが、式（１６）では正しい符号を割り当てる保証がない。そこで、回転行列Ｒの検証が必要になる。検証は、回転行列Ｒの外積関係の確認や式（１０）による検算などで行われる。ここでいう外積関係の確認とは、回転行列Ｒの列ベクトル（および、行ベクトル）が座標系による制約を満たすことの確認である。右手座標系では、１列目のベクトルと２列目のベクトルの外積は、３列目のベクトルに等しくなる。

回転行列Ｒが正常である場合（ステップＳ４０９；ＹＥＳ）、制御部２１０は、移動ベクトルｔを計算し（ステップＳ４１４）、座標変換パラメータ取得処理を終了する。

一方、回転行列Ｒが正常ではない場合（ステップＳ４０９；ＮＯ）、制御部２１０は、関連付けＫを修正する（ステップＳ４１０）。ここでは、関連付けＫの３行３列目の要素の符号を反転する。

ステップＳ４１０の処理後、制御部２１０は、修正された関連付けＫを用いて回転行列Ｒを計算する（ステップＳ４１１）。そして、制御部２１０は、再度、回転行列Ｒが正常であるか否かを判定する（ステップＳ４１２）。

回転行列Ｒが正常である場合（ステップＳ４１２；ＹＥＳ）、制御部２１０は、移動ベクトルｔを計算し（ステップＳ４１４）、座標変換パラメータ取得処理を終了する。

一方、回転行列Ｒが正常ではない場合（ステップＳ４１２；ＮＯ）、制御部２１０は、エラー処理を実行し（ステップＳ４１３）、座標変換パラメータ取得処理を終了する。

図６のフローに戻り、制御部２１０は、上記の座標変換パラメータ取得処理を終了すると、取得された座標変換パラメータを用いて、座標系を合わせる処理を行う（ステップＳ３０８）。具体的には、上記の式（３）を用いて、合成３Ｄモデルの特徴点の座標を被合成３Ｄモデルの座標系の座標に変換する。

ステップＳ３０８の処理後、制御部２１０は、特徴点ペアを保存する（ステップＳ３０９）。ここで、特徴点ペアは、被合成３Ｄモデルの特徴点と、座標変換後の合成３Ｄモデルの特徴点の内、当該被合成３Ｄモデルの特徴点との距離が所定値以下かつ最近傍である特徴点と、から構成される。ここで、特徴点ペアの数が多いほど、ステップＳ３０２における３つの特徴点の選択、ならびに、ステップＳ３０６における合同三角形の選択が適切であったと推定される。なお、特徴点ペアは、座標変換パラメータの取得条件（ステップＳ３０２における３つの特徴点の選択、ならびに、ステップＳ３０６における合同三角形の選択）と共に、記憶部２５０等に保存される。

次に、制御部２１０は、ステップＳ３０４での探索によって見つけた全ての合同三角形が、ステップＳ３０６において選択されたか否かを判定する（ステップＳ３１０）。選択されていない合同三角形が存在する場合（ステップＳ３１０；ＮＯ）、制御部２１０は、再度、ステップＳ３０６の処理を行う。

一方、全ての合同三角形が選択された場合（ステップＳ３１０；ＹＥＳ）、制御部２１０は、終了条件が成立しているか否かを判定する（ステップＳ３１１）。本実施形態では、特徴点ペアの数が所定数以上になった場合や、ステップＳ３０２、Ｓ３０４、Ｓ３０７等の処理が所定回数実行された場合等に終了条件が成立するものとする。

終了条件が成立していない場合（ステップＳ３１１；ＮＯ）、制御部２１０は、再度、ステップＳ３０２の処理を行う。

一方、終了条件が成立している場合（ステップＳ３１１；ＹＥＳ）、制御部２１０は、最適な座標変換パラメータを特定する（ステップＳ３１２）。例えば、特徴点ペアが最も多く取得された座標変換パラメータや、特徴点ペアの平均距離が最も小さくなる座標変換パラメータ等が特定される。言い換えれば、ステップＳ３０２における３つの特徴点の選択、ならびに、ステップＳ３０６における合同三角形の選択が最適であるものが特定される。なお、座標変換パラメータは、回転行列Ｒと、移動ベクトルｔとから構成される。

制御部２１０は、ステップＳ３１２の処理を終了すると、カメラ位置推定処理Ａを終了する。

図４に戻り、制御部２１０は、以上のカメラ位置推定処理Ａ（ステップＳ１０８）を終了すると、３Ｄモデル合成処理を実行する（ステップＳ１０９）。以下、３Ｄモデル合成処理について、図８のフローチャートを参照して説明する。

まず、制御部２１０は、座標変換パラメータを用いて、全ての３Ｄモデルを重ねる（ステップＳ５０１）。各３Ｄモデルは、それぞれ対応する座標変換パラメータで座標変換された後、合成される。例えば、２回目の撮像の場合、１回目に撮像されたペア画像に基づいて生成された被合成３Ｄモデルに、２回目に撮像されたペア画像に基づいて生成された座標変換後の合成３Ｄモデルが重ねられる。また、３回目の撮像の場合、１回目に撮像されたペア画像に基づいて生成された被合成３Ｄモデルに、２回目に撮像されたペア画像に基づいて生成された座標変換後の合成３Ｄモデルが重ねられ、さらに、３回目に撮像されたペア画像に基づいて生成された座標変換後の合成３Ｄモデルが重ねられる。

次に、制御部２１０は、各特徴点の重なり具合から信頼性の低い特徴点を除去する（ステップＳ５０２）。例えば、ある３Ｄモデルの注目特徴点に対する他の３Ｄモデルの最近傍の特徴点の分布から、当該注目特徴点のマハラノビス距離が計算され、このマハラノビス距離が所定値以上の場合は当該注目特徴点の信頼性が低いと判定される。なお、注目特徴点からの距離が所定値以上の特徴点は、最近傍の特徴点に含めないようにしてもよい。また、最近傍の特徴点の数が少ない場合、信頼性が低いものとみなしてもよい。なお、特徴点を実際に除去する処理は、全ての特徴点に対して、除去するか否かが判定された後に、実行されるものとする。

次に、制御部２１０は、同一とみなせる特徴点を統合する（ステップＳ５０３）。例えば、所定距離以内の特徴点は、全て同一の特徴点を表すグループに属するものとして扱われ、これらの特徴点の重心が新たな特徴点とされる。

ステップＳ５０３の処理後、制御部２１０は、ポリゴンメッシュを再構成する（ステップＳ５０４）。つまり、ステップＳ５０３において求められた新たな特徴点に基づいて、ポリゴンが生成される。制御部２１０は、ステップＳ５０４の処理後、３Ｄモデル合成処理を終了する。

なお、図５の３Ｄモデル生成処理において生成された３Ｄモデルを示す情報（典型的には、特徴点の座標情報）は、シャッタボタン３３１が押圧されている間は、全撮像分（全視点分）保持され、基本的に変更されない。つまり、上述した３Ｄモデル合成処理は、全撮像分の３Ｄモデルに基づいて、表示用もしくは保存用の高精細な３Ｄモデルを別途作成する処理であるといえる。

図４に戻り、制御部２１０は、ステップＳ１０７もしくはステップＳ１０９の処理を完了すると、合成後の３Ｄモデルを表示する（ステップＳ１１０）。具体的には、制御部２１０は、３Ｄモデル生成処理（ステップＳ１０５）もしくは３Ｄモデル合成処理（ステップＳ１０９）において取得された３Ｄモデルを、表示部３１０に表示する（ステップＳ１１０）。これにより、ユーザは、現在までの撮像に置いて、どの程度正確な３Ｄモデルが生成されているかを知ることができる。

ステップＳ１１０の処理後、制御部２１０は、シャッタボタン３３１の押下が解除されたか否かを判定する（ステップＳ１１１）。シャッタボタン３３１の押下が解除されていない場合（ステップＳ１１１；ＮＯ）、制御部２１０は、再度、ステップＳ１０４の処理を行う。

一方、シャッタボタン３３１の押下が解除されている場合（ステップＳ１１１；ＹＥＳ）、制御部２１０は、３Ｄモデル合成処理で取得した、３Ｄモデルと、統合した特徴点に関する情報（特徴点情報）と、からなる３Ｄオブジェクトデータを外部記憶部２６０等に保存し（ステップＳ１１２）、ステップＳ１０１の処理に戻る。

続いて、３Ｄオブジェクト操作モードに係る動作について説明する。図９は、ステレオカメラ１における、３Ｄオブジェクト操作モードに係る動作を実現するための機能的構成を示すブロック図である。

上記動作において、図９に示すように、ステレオカメラ１は、登録データ取得部２１と、画像取得部２２、生成部２３、抽出部２４、取得部２５、ＡＲデータ生成部２６、ＡＲ画像表示部２７と、を備える。

登録データ取得部２１は、上述した３Ｄオブジェクト登録処理で生成された、３Ｄモデル（第１の３Ｄモデル）と、特徴点情報と、からなる３Ｄオブジェクトデータを外部記憶部２６０等から読み出す。

画像取得部２２は、同一被写体について視差のある２つの画像（ペア画像）を取得する。生成部２３は、画像取得部２２により取得されたペア画像に基づいて、被写体の３Ｄモデル（第２の３Ｄモデル）を生成する。

抽出部２４は、生成部２３により生成された第２の３Ｄモデルから複数の特徴点を抽出する。取得部２５は、抽出部２４により抽出された第２の３Ｄモデルの複数の特徴点と、登録データ取得部２１により読み出された３Ｄオブジェクトデータに係る複数の特徴点と、に基づいて、第１の３Ｄモデルの座標を第２の３Ｄモデルの座標系の座標に変換する座標変換パラメータを取得する。

ＡＲデータ生成部２６は、取得部２５により取得された座標変換パラメータと、第２の３Ｄモデルと、に基づいて、ＡＲデータの生成を行う。ＡＲ画像表示部２７は、ＡＲデータ生成部２６により生成されたＡＲデータに基づく画像（ＡＲ画像）を表示部３１０に表示する。

図１０は、３Ｄオブジェクト操作モード時の処理（ＡＲ処理）の手順を示すフローチャートである。ＡＲ処理は、ユーザが、操作キー３３２等の操作部３３０を操作することで、３Ｄオブジェクト操作モードが選択されたことを契機に開始される。

先ず、制御部２１０は、上述した３Ｄオブジェクト登録処理により得られた３Ｄオブジェクトデータを外部記憶部２６０等から読み出し、画像メモリ２３０に展開する（ステップＳ６０１）。

次に、制御部２１０は、終了イベントの発生有無を判定する（ステップＳ６０２）。終了イベントは、例えば、ユーザにより、再生モード等へのモード移行操作が行われた場合や、ステレオカメラ１の電源がオフされた場合等に発生する。

終了イベントが発生している場合（ステップＳ６０２；ＹＥＳ）、本処理は終了する。一方、終了イベントが発生していない場合（ステップＳ６０２；ＮＯ）、制御部２１０は、第１撮像部１００Ａ、第２撮像部１００Ｂ、画像処理部２２０を制御して、被写体を撮像する（ステップＳ６０３）。その結果、ペア画像が取得され、取得されたペア画像は、例えば、画像メモリ２３０に保存される。

制御部２１０は、画像メモリ２３０に保存されているペア画像に基づいて、３Ｄモデル生成処理を実行する（ステップＳ６０４）。３Ｄモデル生成処理の内容については、上述した３Ｄオブジェクト登録処理における３Ｄモデル生成処理（図５参照）と同様であるため、説明を省略する。

次に、制御部２１０は、カメラ位置推定処理Ｂを実行する（ステップＳ６０５）。図１１は、カメラ位置推定処理Ｂの手順を示すフローチャートである。まず、制御部２１０は、今回取得した（即ち、今回の撮像に係る）特徴点から、３点をランダムに選択する（ステップＳ７０１）。そして、制御部２１０は、当該選択が適切であるか否かを判定する（ステップＳ７０２）。ここでの判定条件は、上述したカメラ位置推定処理Ａの場合と同様である。

上記の判定の結果、当該選択が適切でない場合（ステップＳ７０２；ＮＯ）、制御部２１０は、再度、ステップＳ７０１の処理を行う。一方、当該選択が適切である場合（ステップＳ７０２；ＹＥＳ）、制御部２１０は、読み出した３Ｄオブジェクトデータが有する３つの特徴点を頂点とする三角形の中から、ステップＳ７０１の処理において選択した３つの特徴点を頂点とする三角形と合同な三角形（合同三角形）を探索する（ステップＳ７０３）。例えば、両者の３辺の長さがほぼ等しい場合、この２つの三角形は合同であると判定される。

なお、上述したカメラ位置推定処理Ａと同様、制御部２１０は、特徴点やその周辺の色情報、あるいはＳＵＲＦ特徴量等で三角形の候補を予め絞ることで、この探索処理を高速化することができる。探索された三角形を示す情報（典型的には、当該三角形の頂点を構成する３つの特徴点の３Ｄ空間上の座標を示す情報。）は、例えば、記憶部２５０に保存される。合同三角形が複数ある場合、全ての三角形を示す情報が、記憶部２５０に保存される。

制御部２１０は、上記の探索により、少なくとも１つの合同三角形が存在するか否かを判定する（ステップＳ７０４）。なお、探索された合同三角形の数が所定数以上の場合、制御部２１０は、合同三角形が存在しない（見つからない）と判定してもよい。

合同三角形が存在する場合（ステップＳ７０４；ＹＥＳ）、制御部２１０は、その内の１つを選択する（ステップＳ７０５）。一方、合同三角形が存在しない場合（ステップＳ７０４；ＮＯ）、制御部２１０は、再度、ステップＳ７０１の処理を行う。

合同三角形を１つ選択すると、制御部２１０は、座標変換パラメータ取得処理を実行する（ステップＳ７０６）。座標変換パラメータ取得処理の内容については、上述したカメラ位置推定処理Ａにおける座標変換パラメータ取得処理（図７参照）と同様であるため、説明を省略する。

制御部２１０は、座標変換パラメータ取得処理を終了すると、取得された座標変換パラメータを用いて、座標系を合わせる処理を行う（ステップＳ７０７）。即ち、式（３）を用いて、３Ｄオブジェクトデータに係る特徴点（登録特徴点）の座標を、今回取得した特徴点の座標系の座標に変換する。

ステップＳ７０７の処理後、制御部２１０は、取得した特徴点ペアを記憶部２５０等に保存する（ステップＳ７０８）。ここで、特徴点ペアは、今回取得した特徴点と、座標変換後の登録特徴点の内、今回取得した特徴点との距離が所定値以下かつ最近傍である特徴点と、から構成される。

次に、制御部２１０は、ステップＳ７０３での探索によって見つけた全ての合同三角形が、ステップＳ７０５において選択されたか否かを判定する（ステップＳ７０９）。選択されていない合同三角形が存在する場合（ステップＳ７０９；ＮＯ）、制御部２１０は、再度、ステップＳ７０５の処理を行う。

一方、全ての合同三角形が選択された場合（ステップＳ７０９；ＹＥＳ）、制御部２１０は、終了条件が成立しているか否かを判定する（ステップＳ７１０）。本実施形態では、特徴点ペアの数が所定数以上になった場合や、ステップＳ７０１、Ｓ７０３、Ｓ７０６等の処理が所定回数実行された場合等に終了条件が成立するものとする。

終了条件が成立していない場合（ステップＳ７１０；ＮＯ）、制御部２１０は、再度、ステップＳ７０１の処理を行う。

一方、終了条件が成立している場合（ステップＳ７１０；ＹＥＳ）、制御部２１０は、最適な座標変換パラメータを特定する（ステップＳ７１１）。例えば、特徴点ペアが最も多く取得された座標変換パラメータや、特徴点ペアの平均距離が最も小さくなる座標変換パラメータ等が特定される。言い換えれば、ステップＳ７０１における３つの特徴点の選択、ならびに、ステップＳ７０５における合同三角形の選択が最適であるものが特定される。なお、座標変換パラメータは、上述したカメラ位置推定処理Ａと同様、回転行列Ｒと、移動ベクトルｔとから構成される。

制御部２１０は、ステップＳ７１１の処理を終了すると、カメラ位置推定処理Ｂを終了する。

図１０のフローに戻り、制御部２１０は、カメラ位置推定処理Ｂで取得した座標変換パラメータを用いて、ＡＲデータの生成を行う（ステップＳ６０６）。ＡＲデータとしては、例えば、今回の撮像画像において被写体の写り込んでいる部分に関連する情報等を当該撮像画像に重畳した画像データ、被写体の写り込んでいる部分を仮想的な物体の画像に置き換えた画像データ、被写体の写り込んでいる部分の色や模様を変更した、あるいは、拡大した画像データ等が含まれる。

そして、制御部２１０は、生成したＡＲデータに基づく画像（ＡＲ画像）を表示部３１０に表示し（ステップＳ６０７）、再度、ステップＳ６０２の処理を行う。

以上説明したように、本発明の本実施形態に係るステレオカメラ１によれば、ユーザは、３Ｄオブジェクト登録モードにおける処理（３Ｄオブジェクト登録処理）を実行させることで、容易に、所望の被写体の多視点（多視線）３Ｄモデリングにおける３Ｄ特徴点を取得することができる。そして、３Ｄオブジェクト操作モードにおける処理（ＡＲ処理）にて、今回取得した３Ｄ特徴点と、先に取得した３Ｄ特徴点と、に基づいて、ステレオカメラ１の位置姿勢を推定する。これにより、マーカ等を使うことなく、ステレオカメラ１の位置姿勢を精度よく推定することができ、ユーザの視点の変化に、重畳等する仮想物体の位置を正確に追従させることができる。

なお、本発明は、上記実施形態に限定されず、本発明の要旨を逸脱しない範囲での種々の変更は勿論可能である。

例えば、上記実施形態のステレオカメラ１の如く、３Ｄオブジェクト登録モードと、３Ｄオブジェクト操作モードの両機能を必ずしも備える構成でなくてもよい。例えば、３Ｄオブジェクト登録モード機能のみを備えるステレオカメラ（第１のカメラ）において、所望の被写体の多視点３Ｄモデリングにおける３Ｄ特徴点を取得し、３Ｄオブジェクト操作モード機能のみを備えるステレオカメラ（第２のカメラ）が、第１のカメラで取得された３Ｄ特徴点を使用するようにしてもよい。

この場合、上記の第２のカメラは、ステレオカメラに限定されず、単眼カメラであってもよい。単眼カメラの場合、第１のカメラで取得された３Ｄ特徴点と、今回の撮像で得られた２Ｄ（２次元）特徴点との対応付けを、例えば、ＲＡＮＳＡＣによる射影変換パラメータ推定アルゴリズムを用いて行う。

また、３Ｄオブジェクト操作モードでの動作開始時において、予め、複数の３Ｄオブジェクトデータが登録されている場合には、ユーザに対して、所望の３Ｄオブジェクトデータを指定させる仕様にしてもよい。あるいは、登録されている全ての３Ｄオブジェクトデータを順次使用して、自動的にカメラ位置姿勢の推定処理を行い、その結果が良好な場合に、ＡＲデータを生成するようにしてもよい。

さらに、既存のステレオカメラ等を本発明に係るＡＲ処理装置として機能させることも可能である。即ち、上述した制御部２１０が実行したようなプログラムを既存のステレオカメラ等に適用し、そのステレオカメラ等のＣＰＵ等が当該プログラムを実行することで、当該ステレオカメラ等を本発明に係るＡＲ処理装置として機能させることができる。

このようなプログラムの配布方法は任意であり、例えば、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＭＯ（Magneto Optical Disk）、メモリカードなどのコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネットなどの通信ネットワークを介して配布してもよい。

この場合、上述した本発明に係る機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などでは、アプリケーションプログラム部分のみを記録媒体等に格納してもよい。

１…ステレオカメラ、１１，２２…画像取得部、１２，２３…生成部、１３，２４…抽出部、１４，２５…取得部、１５…変換部、１６…合成部、１７…保存部、２１…登録データ取得部、２６…ＡＲデータ生成部、２７…ＡＲ画像表示部、１００Ａ…第１撮像部、１００Ｂ…第２撮像部、１１０Ａ，１１０Ｂ…光学装置、１１１Ａ，１１１Ｂ…レンズ、１２０Ａ，１２０Ｂ…イメージセンサ部、２００…データ処理部、２１０…制御部、２２０…画像処理部、２３０…画像メモリ、２４０…画像出力部、２５０…記憶部、２６０…外部記憶部、３００…Ｉ／Ｆ部、３１０…表示部、３２０…外部Ｉ／Ｆ部、３３０…操作部、３３１…シャッタボタン、３３２…操作キー、３３３…電源ボタン、４００…ストロボ発光部

Claims (7)

1. 同一被写体について視差のある２以上の画像の組を取得する画像取得手段と、
   該画像取得手段により取得された画像の組に基づいて、当該被写体の３Ｄモデルを生成する生成手段と、
   該生成手段により生成された３Ｄモデルから被合成３Ｄモデル及び合成３Ｄモデルを選択し、該被合成３Ｄモデルから複数の第１特徴点を抽出すると共に、該合成３Ｄモデルから複数の第２特徴点を抽出する抽出手段と、
   該抽出手段により抽出された前記被合成３Ｄモデルの複数の第１特徴点と、前記合成３Ｄモデルの複数の第２特徴点と、に基づいて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する座標変換パラメータを取得する取得手段と、
   該取得手段により取得された前記座標変換パラメータを用いて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する変換手段と、
   変換された前記合成３Ｄモデルを前記被合成３Ｄモデルに合成すると共に、特徴点の統合を行う合成手段と、
   該合成手段の前記合成により生成された被写体の３Ｄモデルと、前記統合された特徴点に関する特徴点情報を所定のメモリに保存する保存手段と、を備え、
   前記取得手段は、
   前記抽出された複数の第１特徴点の中から３つの第１特徴点を選択し、前記抽出された複数の第２特徴点の中から、当該選択された３つの第１特徴点を頂点とする三角形に対応する三角形の３つの頂点を構成する３つの第２特徴点を選択し、当該選択された３つの第２特徴点の座標を当該選択された３つの第１特徴点の座標に合わせる座標変換パラメータを取得し、
   前記抽出された複数の第１特徴点の中から３つの第１特徴点をランダムに選択して座標変換パラメータを取得する処理を複数回実行し、当該複数回の処理により得られた複数の座標変換パラメータの中から一の座標変換パラメータを選択する、
   ことを特徴とするＡＲ処理装置。
2. 前記取得手段は、前記複数の座標変換パラメータの中から、前記変換手段による座標変換後の前記複数の第２特徴点の座標が、前記複数の第１特徴点の座標と最も合致する一の座標変換パラメータを選択する、
   ことを特徴とする請求項１に記載のＡＲ処理装置。
3. 同一被写体について視差のある２以上の画像の組を取得する画像取得手段と、
   該画像取得手段により取得された画像の組に基づいて、当該被写体の３Ｄモデルを生成する生成手段と、
   該生成手段により生成された３Ｄモデルから被合成３Ｄモデル及び合成３Ｄモデルを選択し、該被合成３Ｄモデルから複数の第１特徴点を抽出すると共に、該合成３Ｄモデルから複数の第２特徴点を抽出する抽出手段と、
   該抽出手段により抽出された前記被合成３Ｄモデルの複数の第１特徴点と、前記合成３Ｄモデルの複数の第２特徴点と、に基づいて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する座標変換パラメータを取得する取得手段と、
   該取得手段により取得された前記座標変換パラメータを用いて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する変換手段と、
   変換された前記合成３Ｄモデルを前記被合成３Ｄモデルに合成すると共に、特徴点の統合を行う合成手段と、
   該合成手段の前記合成により生成された被写体の３Ｄモデルと、前記統合された特徴点に関する特徴点情報を所定のメモリに保存する保存手段と、を備え、
   前記合成手段は、前記複数の第１特徴点と前記複数の第２特徴点とを、対応する特徴点同士が同じグループに属するように複数のグループにグループ化し、当該複数のグループのそれぞれについて重心を求め、求められた複数の重心を新たな複数の特徴点として、新たな３Ｄモデルを生成する、
   ことを特徴とするＡＲ処理装置。
4. 同一被写体について視差のある２以上の画像の組を取得する画像取得ステップと、
   該画像取得ステップで取得された画像の組に基づいて、当該被写体の３Ｄモデルを生成する生成ステップと、
   該生成ステップで生成された３Ｄモデルから被合成３Ｄモデル及び合成３Ｄモデルを選択し、該被合成３Ｄモデルから複数の第１特徴点を抽出すると共に、該合成３Ｄモデルから複数の第２特徴点を抽出する抽出ステップと、
   該抽出ステップで抽出された前記被合成３Ｄモデルの複数の第１特徴点と、前記合成３Ｄモデルの複数の第２特徴点と、に基づいて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する座標変換パラメータを取得する取得ステップと、
   該取得ステップで取得された前記座標変換パラメータを用いて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する変換ステップと、
   変換された前記合成３Ｄモデルを前記被合成３Ｄモデルに合成すると共に、特徴点の統合を行う合成ステップと、
   該合成ステップの前記合成により生成された被写体の３Ｄモデルと、前記統合された特徴点に関する特徴点情報を所定のメモリに保存する保存ステップと、を含み、
   前記取得ステップでは、
   前記抽出された複数の第１特徴点の中から３つの第１特徴点を選択し、前記抽出された複数の第２特徴点の中から、当該選択された３つの第１特徴点を頂点とする三角形に対応する三角形の３つの頂点を構成する３つの第２特徴点を選択し、当該選択された３つの第２特徴点の座標を当該選択された３つの第１特徴点の座標に合わせる座標変換パラメータを取得し、
   前記抽出された複数の第１特徴点の中から３つの第１特徴点をランダムに選択して座標変換パラメータを取得する処理を複数回実行し、当該複数回の処理により得られた複数の座標変換パラメータの中から一の座標変換パラメータを選択する、
   ことを特徴とするＡＲ処理方法。
5. 同一被写体について視差のある２以上の画像の組を取得する画像取得ステップと、
   該画像取得ステップで取得された画像の組に基づいて、当該被写体の３Ｄモデルを生成する生成ステップと、
   該生成ステップで生成された３Ｄモデルから被合成３Ｄモデル及び合成３Ｄモデルを選択し、該被合成３Ｄモデルから複数の第１特徴点を抽出すると共に、該合成３Ｄモデルから複数の第２特徴点を抽出する抽出ステップと、
   該抽出ステップで抽出された前記被合成３Ｄモデルの複数の第１特徴点と、前記合成３Ｄモデルの複数の第２特徴点と、に基づいて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する座標変換パラメータを取得する取得ステップと、
   該取得ステップで取得された前記座標変換パラメータを用いて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する変換ステップと、
   変換された前記合成３Ｄモデルを前記被合成３Ｄモデルに合成すると共に、特徴点の統合を行う合成ステップと、
   該合成ステップの前記合成により生成された被写体の３Ｄモデルと、前記統合された特徴点に関する特徴点情報を所定のメモリに保存する保存ステップと、を含み、
   前記合成ステップでは、前記複数の第１特徴点と前記複数の第２特徴点とを、対応する特徴点同士が同じグループに属するように複数のグループにグループ化し、当該複数のグループのそれぞれについて重心を求め、求められた複数の重心を新たな複数の特徴点として、新たな３Ｄモデルを生成する、
   ことを特徴とするＡＲ処理方法。
6. ＡＲ処理装置を制御するコンピュータに、
   同一被写体について視差のある２以上の画像の組を取得する画像取得機能と、
   該画像取得機能で取得された画像の組に基づいて、当該被写体の３Ｄモデルを生成する生成機能と、
   該生成機能で生成された３Ｄモデルから被合成３Ｄモデル及び合成３Ｄモデルを選択し、該被合成３Ｄモデルから複数の第１特徴点を抽出すると共に、該合成３Ｄモデルから複数の第２特徴点を抽出する抽出機能と、
   該抽出機能で抽出された前記被合成３Ｄモデルの複数の第１特徴点と、前記合成３Ｄモデルの複数の第２特徴点と、に基づいて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する座標変換パラメータを取得する取得機能と、
   該取得機能で取得された前記座標変換パラメータを用いて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する変換機能と、
   変換された前記合成３Ｄモデルを前記被合成３Ｄモデルに合成すると共に、特徴点の統合を行う合成機能と、
   該合成機能の前記合成により生成された被写体の３Ｄモデルと、前記統合された特徴点に関する特徴点情報を所定のメモリに保存する保存機能と、を実現させるプログラムであって、
   前記取得機能は、
   前記抽出された複数の第１特徴点の中から３つの第１特徴点を選択し、前記抽出された複数の第２特徴点の中から、当該選択された３つの第１特徴点を頂点とする三角形に対応する三角形の３つの頂点を構成する３つの第２特徴点を選択し、当該選択された３つの第２特徴点の座標を当該選択された３つの第１特徴点の座標に合わせる座標変換パラメータを取得し、
   前記抽出された複数の第１特徴点の中から３つの第１特徴点をランダムに選択して座標変換パラメータを取得する処理を複数回実行し、当該複数回の処理により得られた複数の座標変換パラメータの中から一の座標変換パラメータを選択する、
   ことを特徴とするプログラム。
7. ＡＲ処理装置を制御するコンピュータに、
   同一被写体について視差のある２以上の画像の組を取得する画像取得機能と、
   該画像取得機能で取得された画像の組に基づいて、当該被写体の３Ｄモデルを生成する生成機能と、
   該生成機能で生成された３Ｄモデルから被合成３Ｄモデル及び合成３Ｄモデルを選択し、該被合成３Ｄモデルから複数の第１特徴点を抽出すると共に、該合成３Ｄモデルから複数の第２特徴点を抽出する抽出機能と、
   該抽出機能で抽出された前記被合成３Ｄモデルの複数の第１特徴点と、前記合成３Ｄモデルの複数の第２特徴点と、に基づいて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する座標変換パラメータを取得する取得機能と、
   該取得機能で取得された前記座標変換パラメータを用いて、当該合成３Ｄモデルの座標を前記被合成３Ｄモデルの座標系の座標に変換する変換機能と、
   変換された前記合成３Ｄモデルを前記被合成３Ｄモデルに合成すると共に、特徴点の統合を行う合成機能と、
   該合成機能の前記合成により生成された被写体の３Ｄモデルと、前記統合された特徴点に関する特徴点情報を所定のメモリに保存する保存機能と、を実現させるプログラムであって、
   前記合成機能は、前記複数の第１特徴点と前記複数の第２特徴点とを、対応する特徴点同士が同じグループに属するように複数のグループにグループ化し、当該複数のグループのそれぞれについて重心を求め、求められた複数の重心を新たな複数の特徴点として、新たな３Ｄモデルを生成する、
   ことを特徴とするプログラム。

Images