JP2017187882A - 画像処理に用いられるコンピュータープログラム - Google Patents

Abstract

【課題】撮像された物体の画像を用いて、撮像された物体の姿勢以外の情報を用いて各種処理を行なう。
【解決手段】画像処理システムと通信可能なコンピューターのためのコンピュータープログラムは；実物体が撮像されて得られる撮像画像データに基づく実物体の画像を表示装置に表示させる機能と；実物体に対応する３Ｄモデルを所定のビューに基づいて写像して得られた２Ｄモデルを表示装置に表示させる機能と；表示装置によって実物体と前記２Ｄモデルとがほぼ一致して表示された後で、実物体の外観情報と、前記２Ｄモデルのデータと、を対応付けて記憶装置に記憶させる記憶機能と、をコンピューターによって実現させる。
【選択図】図１

Description

本発明は、画像処理システムと通信可能なコンピューターに画像処理を実現させるためのコンピュータープログラムに関する。

カメラによって撮像された物体の姿勢を推定する方法として、特許文献１には、物体の画像を含む入力画像の２値マスクを作成し、２値マスクから物体の内側および外側輪郭内にある点としてのシングレットを抽出し、シングレットのセットを連結してデュプレックス行列として表されるメッシュにすることで、物体の姿勢を推定する技術が記載されている。

特開２０１３−５０９４７号公報

オブジェクト認識（物体認識：物体検出）は、シーンにおいて関心のあるオブジェクトを検出することと、所定の３次元座標系に対するその姿勢（並進と配向）を特定することとの双方を含む。RGB/輝度画像からの色または輝度情報を用いてオブジェクト認識問題を解決し、検出精度および姿勢特定の精度を向上させるためには、コンピュータービジョンシステムは、普通はオフライントレーニングフェーズの間に、多様なビューポイントから見たオブジェクトの見た目（外観情報）を記憶していることが好ましい。

ただし、オブジェクトのアピアランスを含むトレーニングデータ（テンプレート）を生成することは、コンピュータービジョンおよびオブジェクト認識の分野の事前知識に関する知識を必要とすることから、通常の使用者には扱いにくい作業である。

トレーニングデータ（テンプレート）の生成のために、テクスチャ情報（つまり、テクスチャマップ）を伴った３ＤＣＡＤモデルを入手できる場合には、異なるビューポイント（ビュー）からのオブジェクトのフォトリアリスティックな（写真のような実写感を伴った）レンダリング（２Ｄ面への描画）が可能である。生成画像の精度は、与えられた外観情報（テクスチャ情報）の解像度およびシミュレートされた照明に関する要素に依存する。ただし、このような３ＤＣＡＤモデルが普及しているとはいえない。つまり、検出したい実オブジェクトについて、使用者が、このような外観情報を伴う３ＤＣＡＤモデルを常に入手できるとは限らない。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、記憶装置と、表示装置と、を備えた画像処理システムと通信可能なコンピューターのためのコンピュータープログラムが提供される。このコンピュータープログラムは、実物体が撮像されて得られる撮像画像データに基づく前記実物体の画像を前記表示装置に表示させる機能と；前記実物体に対応する３Ｄモデルを所定のビューに基づいて写像して得られた２Ｄモデルを前記表示装置に表示させる機能と；前記表示装置によって前記実物体と前記２Ｄモデルとがほぼ一致して表示された後で、前記実物体の外観情報と、前記２Ｄモデルのデータと、を対応付けて前記記憶装置に記憶させる記憶機能と、をコンピューターによって実現させる。この形態のコンピュータープログラムによれば、実物体の表面の見えの情報である外観情報を有さない３Ｄモデルに、撮像画像データによって取得された外観情報を対応付けることができる。外観情報を対応付けられた３Ｄモデルを参照することで、使用者は、外観情報を有さないＣＡＤモデルなどと比較して、より実物の実物体に近いモデルを入手でき、使用者の利便性が向上する。

（２）上記形態のコンピュータープログラムにおいて、さらに；前記表示装置によって前記実物体と前記２Ｄモデルとがほぼ一致して表示されるように前記ビューを調整するためのユーザーインターフェース機能を、コンピューターに実現させてもよい。この形態のコンピュータープログラムによれば、実物体と２Ｄモデルとが一致した状態を初期姿勢として、外観情報と２Ｄモデルとの対応付けを開始でき、外観情報と３Ｄモデルとの対応付けの精度を向上させることができる。

（３）上記形態のコンピュータープログラムにおいて、前記撮像画像データは前記実物体の静止画像を表してもよい。この形態のコンピュータープログラムによれば、容量の少ないデータに基づいて、外観情報と３Ｄモデルとの対応付けを実行できる。

（４）上記形態のコンピュータープログラムにおいて、さらに；前記表示装置によって前記実物体と前記２Ｄモデルとがほぼ一致して表示された後で、前記ビューを改善する改善機能を、コンピューターに実現させ、前記記憶機能は、前記実物体の外観情報と、改善された前記ビューに基づいて得られた前記２Ｄモデルのデータと、を対応付けて前記記憶装置に記憶させてもよい。この形態のコンピュータープログラムによれば、改善機能によって実物体の３Ｄモデルとの対応付けの精度が向上する。

（５）上記形態のコンピュータープログラムにおいて、さらに；前記表示装置によって前記実物体と前記２Ｄモデルとがほぼ一致して表示された後で、前記撮像画像データに少なくとも基づいて前記実物体の姿勢を追跡する追跡機能と；前記追跡された姿勢に対応した前記ビューに基づいて前記３Ｄモデルから前記２Ｄモデルを得る機能と；コンピューターに実現させ；前記記憶機能は、前記姿勢を追跡することで得られた複数の前記姿勢のそれぞれについて、前記前記実物体の外観情報と、前記２Ｄモデルのデータと、を対応付けて前記記憶装置に記憶させてもよい。この形態のコンピュータープログラムによれば、実物体の姿勢の追跡の進行具合をリアルタイムで使用者に認識させることができ、使用者の利便性が向上する。

（６）上記形態のコンピュータープログラムにおいて、前記コンピューターは、さらに、撮像部を有し；前記コンピュータープログラムは、さらに；前記撮像部を用いて、前記実物体が撮像された前記撮像画像データを取得する機能を、コンピューターによって実現させてもよい。この形態のコンピュータープログラムによれば、撮像部が実物体を撮像できれば、複雑な装置を必要とせずに、３Ｄモデルの姿勢と実物体の外観情報とを対応付けられる。

（７）上記形態のコンピュータープログラムにおいて、前記撮像部は、前記撮像画像データとして、前記実物体に対する前記撮像部の位置を変化させつつ取得した映像シーケンスを取得し；前記コンピュータープログラムは、さらに；前記映像シーケンスの中から、前記３Ｄモデルのビューに対応する姿勢を有する実物体を表す一の画像フレームが選択された場合に、前記ビューを改善することで前記実物体の姿勢を導出する導出機能と；前記一の画像フレームの前後方向の各画像フレームについて、前記実物体の前記姿勢を追跡する追跡機能と；をコンピューターに実現させ；前記記憶機能は、前記姿勢を追跡することで得られた複数の前記姿勢のそれぞれについて、前記前記実物体の外観情報と、前記２Ｄモデルのデータと、を対応付けて前記記憶装置に記憶させてもよい。この形態のコンピュータープログラムによれば、写像エラーを最小化することで、実物体の外観情報と３Ｄモデルとの対応付けの精度をより向上させることができる。

本発明は、コンピュータープログラム以外の種々の形態で実現することも可能である。例えば、情報処理装置、画像表示装置、情報処理装置および画像表示装置の制御方法、情報処理システム、コンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

本実施形態における画像処理システムの概略構成図である。 画像処理システムの機能的な構成を示すブロック図である。 オンラインにおけるマーカーを用いないデータ作成であるオンライン作成処理のフローチャートである。 ２次元モデルの輪郭および撮像部の撮像画像が表示部に表示された表示画像の説明図である。 実物体の画像輪郭と２Ｄモデルの輪郭とがほぼ一致した状態の表示画像の説明図である。 オブジェクト距離と予め設定された閾値とを比較する場合に表示部に表示された表示画像の説明図である。 ＣＰＵが実物体の姿勢を追跡している途中に表示部に表示された表示画像の説明図である。 半球画像を構成するドットのそれぞれの詳細図である。 オフライン作成処理のフローチャートである。 第２実施形態における画像処理システムの機能的な構成を示すブロック図である。 第２実施形態のオンラインにおけるマーカーに基づくデータ作成であるオンライン作成処理のフローチャートである。 撮像部がマーカー画像を撮像した場合に表示部に表示される座標軸を含む表示画像を示す説明図である。 撮像部がオブジェクトの姿勢を追跡している途中に表示部に表示された表示画像の説明図である。

本明細書では、以下の項目に沿って順番に説明する。
Ａ．第１実施形態：
Ａ−１．画像処理システムの構成：
Ａ−２．マーカーを用いないデータ作成：
Ａ−２−１．オンラインにおけるデータ作成：
Ａ−２−２．オフラインにおけるデータ作成：
Ｂ．第２実施形態：
Ｂ−１．画像処理システムの構成：
Ｂ−２．マーカーに基づくデータ作成：
Ｃ．変形例：

Ａ．第１実施形態：
Ａ−１．画像処理システムの構成：
図１は、本実施形態における画像処理システムＳＹＳの概略構成図である。画像処理システムＳＹＳは、対象となる実物体ＯＢ１を撮像して、撮像した実物体ＯＢ１の撮像画像データと、予め記憶された実物体ＯＢ１の３Ｄモデルのデータと、を対応付けた新たな対応付けデータを作成する。

画像処理システムＳＹＳは、本体部１００と、撮像部４０と、表示部２０と、操作部３０とを備えている。本体部１００は、表示部２０と、操作部３０と、撮像部４０とに電気的に接続している。本体部１００は、表示部２０と操作部３０と撮像部４０とに制御信号を送ることで、これらを制御する。本体部１００が実行する制御の詳細については、後述する。

撮像部４０は、本体部１００から送信される制御信号に基づき、外景を撮像する。本実施形態では、撮像部４０は、特定の軸を中心とする円状のレールＲＬに沿って移動できるように形成されている。撮像部４０は、アクチュエーター４１（図２で図示）によって、制御信号に基づきレールＲＬに沿って移動する。本実施形態では、特定の軸上に実物体ＯＢ１が配置されるため、撮像部４０は、３６０度回転して実物体ＯＢ１を撮像できる。なお、実物体ＯＢ１は、請求項における実物体に相当する。

表示部２０は、画像を表示可能なディスプレイである。表示部２０は、本体部１００から送信される制御信号に基づき、画像を表示する。図１に示す例では、表示部２０は、撮像部４０が撮像した撮像画像を表示している。

操作部３０は、使用者の操作を受け付けるユーザーインターフェースである。図１に示すように、操作部３０は、キーボードＫＢと、マウスＭＳとを有している。キーボードＫＢは、押下されることで決定の有無を判定する複数のボタンを有している。キーボードＫＢは、押下したボタンに対応する制御信号を本体部１００に送信する。マウスＭＳは、位置の変化、および、押下されることで決定の有無を判定する２つのボタンを有している。マウスＭＳは、位置の変化および決定の有無に対応する制御信号を本体部１００へと送信する。

図２は、画像処理システムＳＹＳの機能的な構成を示すブロック図である。図２に示すように、本体部１００は、ＣＰＵ１１０と、記憶部１２０と、ＲＯＭと、ＲＡＭと、通信部１３０と、インターフェース１４０と、電源１５０とを備えている。記憶部１２０は、各種データを記憶し、ハードディスクドライブなどによって構成されている。記憶部１２０は、３Ｄモデル記憶部１２１と、作成データ記憶部１２２と、撮像画像データベース１２３（撮像画像ＤＢ１２３）とを有している。

３Ｄモデル記憶部１２１は、実物体ＯＢ１の形状・構造に対応する３Ｄモデルとして、ＣＡＤ（computer-aided design）によって作成された３Ｄモデル（３ＤＣＡＤモデル）を記憶している。作成データ記憶部１２２は、ＣＰＵ１１０が作成したデータを記憶する。作成データ記憶部１２２に記憶されるデータの詳細については後述するが、作成データ記憶部１２２は、３Ｄモデルの所定のビューに対応する２次元モデルデータと、撮像部４０によって撮像された実物体ＯＢ１の外観情報と、当該所定のビューと、を対応付けた対応付けデータを記憶する。撮像画像データベース１２３は、撮像部４０によって撮像された実物体ＯＢ１の撮像画像を記憶する。撮像画像データベース１２３が記憶する撮像画像は、ある特定の位置から撮像した実物体ＯＢ１の１つの撮像フレームや実物体ＯＢ１を撮像した動画などである。

ＣＰＵ１１０は、ＲＯＭから各種プログラムを読み出し、ＲＡＭに展開することで、各種プログラムを実行する。ＣＰＵ１１０は、画像設定部１１１と、データ作成部１１２と、対応付け部１１３とを有している。画像設定部１１１は、表示部２０に表示させる画像を設定する。例えば、画像設定部１１１は、撮像部４０によって撮像された実物体ＯＢ１の画像と、３Ｄモデル記憶部１２１に記憶された実物体ＯＢ１の３Ｄモデルから得られる２Ｄモデルの輪郭と、を表示部２０に表示させる。データ作成部１１２は、３Ｄモデル記憶部１２１に記憶された実物体ＯＢ１の３Ｄモデルから得られる２Ｄモデルデータと、撮像部４０によって撮像された実物体ＯＢ１の画像データ（外観情報）と、を対応付けた対応付けデータを作成する。データ作成部１１２は、作成した対応付けデータを作成データ記憶部１２２に記憶させる。なお、データ作成部１１２が作成するデータの詳細については、後述する。

画像設定部１１１は、撮像部４０の撮像画像を表示部２０に表示させる。また、画像設定部１１１は、３Ｄモデルを所定のビューポイントに基づいて仮想平面に写像して得られる２Ｄモデルを表示部２０に表示させる。撮像部４０によって実物体ＯＢ１が撮像された場合に、使用者から所定のコマンドを受け取ったタイミングで、対応付け部１１３は、撮像された実物体ＯＢ１の輪郭と、当該２次元モデルの輪郭と、を対応付けることで、撮像された実物体ＯＢ１の姿勢を推定する。なお、対応付け部１１３が実行する実物体ＯＢ１の姿勢の推定の詳細については後述する。対応付け部１１３が実物体ＯＢ１の姿勢を推定すると、画像設定部１１１は、推定された姿勢を用いて３Ｄモデルを新たに写像して得られる２次元モデルを表示する。このとき、表示部２０に表示される実物体ＯＢ１と新たな２次元モデルとは、より高い精度で互いに重畳することとなる。

電源１５０は、画像処理システムＳＹＳの各部に電力を供給する。電源１５０としては、例えば二次電池を用いることができる。インターフェース１４０は、本体部１００に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェースである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェース１４０としては、例えば、ＵＳＢインターフェース、マイクロＵＳＢインターフェース、メモリーカード用インターフェース等、を用いることができる。データ作成部１１２は、インターフェース１４０を介して、実物体ＯＢ１の撮像画像データを取得することもできる。

通信部１３０は、無線ＬＡＮやブルートゥース（登録商標）といった所定の無線通信規格に則って、例えば、コンテンツサーバー、テレビ、パーソナルコンピューターといった他の機器との間で無線通信を行なう。データ作成部１１２は、通信部１３０を介して、他のサーバーから実物体ＯＢ１の撮像画像データを取得することもできる。

Ａ−２．マーカーを用いないデータ作成：
データ作成部１１２は、撮像部４０によって撮像された実物体ＯＢ１の撮像画像データと、３Ｄモデル記憶部１２１に記憶された実物体ＯＢ１の３Ｄモデルに基づくデータと、を対応付けるために、マーカーに基づくデータ作成と、マーカーを用いないデータ作成とを適用できる。ここでは、マーカーを用いないデータ作成について説明し、第２実施形態においてマーカーに基づくデータ作成を説明する。

Ａ−２−１．オンラインにおけるデータ作成：
図３は、オンラインにおけるマーカーを用いないデータ作成であるオンライン作成処理のフローチャートである。マーカーを用いないデータ作成では、撮像部４０によってオブジェクトを撮像しながら「２Ｄモデルデータ」に外観情報を与えるオンライン作成処理と、予め用意された実物体ＯＢ１の撮像画像データを用いて「２Ｄモデルデータ」に外観情報を与えるオフライン作成処理と、の２つのデータ作成処理がある。ここでは、オンライン作成処理について説明し、オフライン作成処理については、後述する。

「姿勢の初期化」
オンライン作成処理では、初めに、ＣＰＵ１１０は映像シーケンスの取得を開始する（ステップＳ１１）。映像シーケンスの取得では、ＣＰＵ１１０は、使用者に撮像部４０を用いて、実物体ＯＢ１を撮像するように促す。画像設定部１１１は、実物体ＯＢ１の画像を表示部２０に表示する。また同時に、画像設定部１１１は、所定のビューに基づいて３次元モデルを仮想平面に写像することで得られる２次元モデルを表示部２０に表示する。この結果、表示部２０には、撮像部４０に撮像された実物体ＯＢ１と、写像された２次元モデルとが互いに重なって表示されるが、通常、この段階では、実物体ＯＢ１の画像輪郭と、２次元モデルの輪郭とは、一致していない。次に、対応付け部１１３は、姿勢の初期化を実行する（ステップＳ１３）。

図４は、２次元モデルの輪郭ＯＬ１および撮像部４０の撮像画像が表示部２０に表示された表示画像ＩＭ１の説明図である。図４に示すように、撮像部４０によって撮像されて表示部２０に表示された実物体ＯＢ１の画像と、表示部２０に表示された２次元モデルの輪郭ＯＬ１とは一致していない。そのため、姿勢の初期化の処理において、画像設定部１１１は、実物体ＯＢ１の画像輪郭と、２次元モデルの輪郭とが、大まかに一致するように、使用者に、撮像部４０を移動するように促す。そして、実物体ＯＢ１の画像輪郭と、２次元モデルの輪郭と、が大よそ一致した場合に、操作部３０に対して所定のコマンドを入力するように使用者に促す。なお、図４および図５以降でも示す座標軸ＡＸ１は、実物体ＯＢ１に固定される座標軸であり、撮像部４０に対する実物体ＯＢ１の姿勢の変化に応じて、変化する。

操作部３０が当該所定のコマンドを受け付け場合に、対応付け部１１３は、２次元モデルの輪郭に含まれる２Ｄモデル点に対応する画像点をサーチする。なお、ここで２次元モデルの輪郭に含まれる２Ｄモデル点は、２Ｄモデルを表す輪郭線に沿って万遍なく分布するように事前に選択されていればよい。また、当該２Ｄモデル点に対応する画像点のサーチは、例えば、ＣＰＵ１１０が、それぞれの２Ｄモデル点を中心とした隣接近傍範囲内（例えば３×３の画素マトリクス）に属する複数の画像点の中から、当該２Ｄモデル点の輝度グラディエントに近い輝度グラディエントを有する画像点を選択することにより実施することができる。ＣＰＵ１１０による２つのグラディエントの比較は、２つのベクトルの内積に基づくことで得られる。

そして、対応付け部１１１は、当該ビューおよび当該デプスマップに基づいて当該２Ｄモデル点を逆変換して得られる３Ｄモデル点と、当該２Ｄモデル点に対応する対応する画像点と、に基づいて、仮想平面（この場合は撮像部４０の撮像面に相当する平面）上で写像エラーが最小化されるように、ビューパラメーターに含まれる剛体変換行列で表わされる姿勢を最適化する。姿勢を最適化、すなわち改善することは、例えば、ガウス・ニュートン法による繰り返し計算を行うことを伴う。当該姿勢が最適化（改善）されると、表示部２０上で、画像輪郭と２Ｄモデルの輪郭とは、より高精度で一致する。以上の処理を、「姿勢の初期化」ともよぶ。なお、２つの輪郭が一致する場合のビューによって表される姿勢は、撮像部４０に対する実物体ＯＢ１の姿勢にほぼ一致している。また、この姿勢に対応づけて、撮像画像における実物体ＯＢ１の画像情報を外観情報として記憶する。本実施形態に係る外観情報は、当該姿勢で撮像部４０に撮像された実物体ＯＢ１の外部表面のテクスチャ情報（エッジ、模様、または色彩などの見えの情報）を含んでいる。なお、２Ｄモデル点に対応する画像点のサーチは、検出されたエッジの比較を利用するが、エッジ検出については、公知の技術を適用可能であり、他の実施形態では、エッジ検出以外の方法（例えばコーナー検出）によって、写像された２Ｄモデル点に対応する画像点のサーチが行われてもよい。また、上記姿勢の初期化において姿勢が改善された場合には、ＣＰＵ１１０は、表示部を介して、姿勢の改善が終了したことを表す情報を使用者に提示してもよい。例えば、ＣＰＵ１１０は、表示部２０上に表示されている２Ｄモデルの色を変えることで、姿勢の改善の終了を使用者に伝えてもよい。

「姿勢の追跡」
「姿勢の初期化」が終了すると、ＣＰＵ１１０は、実物体ＯＢ１の姿勢の追跡処理を開始する（ステップＳ１５）。本実施形態に係る姿勢の追跡処理は、撮像部４０が取得した撮像画像に現れる実物体ＯＢ１上の特徴要素（特徴点）を追跡することに基づく。姿勢の追跡処理の準備ができたら、ＣＰＵ１１０は、使用者に、実物体ＯＢ１に対して撮像部４０を動かすように促す。撮像部４０が相対的に動かされている間、撮像部４０に対する実物体ＯＢ１の姿勢はＣＰＵ１１０によって追跡されることとなる。また、ＣＰＵ１１０は、追跡により更新された実物体ＯＢ１の姿勢と同じ姿勢を用いて、３次元モデルを仮想平面に写像する。このため、使用者が実物体ＯＢ１を撮像しながら撮像部４０を動かしても、表示部２０上で画像輪郭と２次元モデルの輪郭とはほぼ一致し続ける。

ＣＰＵ１１０は、撮像部４０と実物体ＯＢ１との間の空間関係（撮像部４０に対する姿勢）が所定の空間関係となる場合に、当該空間関係での実物体ＯＢ１の画像情報を外観情報として取得する。そして、取得した外観情報を、当該空間関係（姿勢）と、当該姿勢での「２次元モデルデータ」と、に関連付けて記憶する。「２次元モデルデータ」は、２次元モデルの輪郭（輪郭線）を表す画像、および当該輪郭を表す「輪郭特徴情報」の少なくとも一方を含む。「輪郭特徴情報」とは、輪郭に含まれる２Ｄモデル点の位置、および当該位置での輝度グラディエントを含む。

図７は、使用者に、上記所定の空間関係で実物体ＯＢ１を撮像することを促す表示画像ＩＭ４を示している。当該空間関係は、図７において、表示画像ＩＭ４に含まれる複数のドットＤＴで表現されている。ドットＤＴは、図８に示す半球の表面上に分布している。この半球の座標系のＸＹＺ軸は、オブジェクト座標系で表わされていて、その原点が実物体ＯＢ１に相当する。

表示画像ＩＭ４おけるドットＤＴは、３つの色に変化する。青色の青ドットＤＴｂは、当該ドットＤＴｂで表わされる空間関係では、まだ実物体ＯＢ１の外観情報が得られていない状態を表す。緑色の緑ドットＤＴｇは、当該ドットＤＴｇで表わされる空間関係で、外観情報が得られたことを表す。黄色の黄ドットＤＴｙは、当該ドットＤＴｙで表わされる空間関係ではさらに多くの外観情報を取得すべきことを表している。すなわち、全てのドットＤＴが青ドットＤＴｂから緑ドットＤＴｂに変化すると、所定の空間関係の全てに亘って、実物体ＯＢ１の外観情報が取得し終わったことを使用者に伝えることができる。なお、本実施形態では、「位置」とは、「向き」の概念を含み、例えば、撮像部４０の座標値が変化していなくても、撮像部４０の光軸の向きが変化している状態は、撮像部４０の位置が変化した状態とも呼ぶ。

上記所定の空間関係のうち、撮像部４０と実物体ＯＢ１との間の距離を使用者に把握させる目的で、図６に示すような表示画像ＩＭ３を表示してもよい。図６に示すように、表示画像ＩＭ３には、図５に示す表示画像ＩＭ２と比較して、さらに、メーターＭＴ１が表示部２０に表示されている。メーターＭＴ１は、撮像部４０と実物体ＯＢ１との間の距離（以下、オブジェクト距離と表記する）を示す画像である。メーターＭＴ１は、閾値上限ＴＨＵと、閾値下限ＴＨＬと、オブジェクト距離ＯＢＤ（ハッチング領域）とを含んでいる。閾値上限ＴＨＵは、予め設定された閾値の範囲の上限を示す。閾値下限ＴＨＬは、予め設定された閾値の範囲の下限を示す。オブジェクト距離ＯＢＤは、データ作成部１１２が特定した空間関係に含まれるオブジェクト距離を示す。オブジェクト距離ＯＢＤが一定の範囲を示しているのは、データ作成部１１２によって特定された距離に幅があるためである。

以上のような処理によって作成されたテンプレートデータを用いれば、ＨＭＤを用いて、実物体ＯＢ１を検出して、実物体ＯＢ１に対してＡＲオブジェクトをレンダリングする場合に、ＨＭＤ上のカメラを用いて、実物体ＯＢ１の姿勢を高精度に初期検出または初期推定することができる空間関係が多様になる。

「姿勢追跡の停止」
姿勢の追跡の間に、撮像部４０が取得する撮像画像において、実物体ＯＢ１の特徴要素が消失した場合、または動きブラーが生じた場合には、追跡された姿勢がドリフトし始めることがある。そのような場合には、姿勢の追跡を停止してもよい。そして、追跡を停止した姿勢にて、再度、姿勢の初期化を行うことが好ましい。そうすれば、外観情報を取得した際の姿勢と、２次元モデルを得るために３次元モデルを写像した際の姿勢とが、サンプリングされるべき複数の姿勢（空間関係）に亘って、高い精度で一致し続ける。

そこで、データ作成部１１２は、図３のステップＳ１５の処理を実行すると、姿勢を追跡している途中で姿勢のドリフトを検出したか否かを判定する（ステップＳ１７）。当該判定は、使用者による観測に基づく使用者からの入力、または追跡に基づくＣＰＵ１１０による分析によって決定することができる。データ作成部１１２がドリフトを検出したと判定した場合には（ステップＳ１７：ＹＥＳ）、正しい実物体ＯＢ１の姿勢を特定できないおそれがあるため、姿勢の追跡を停止し（ステップＳ１９）、ステップＳ１３に戻り、再度、姿勢の初期化を行う。

ステップＳ１７の処理において、データ作成部１１２は、ドリフトを検出していないと判定した場合には（ステップＳ１７：ＮＯ）、実物体ＯＢ１の十分な外観情報を取得できたか否かを判定する（ステップＳ２１）。本実施形態では、データ作成部１１２は、図７の半球画像ＩＭ_ｈｂ1を構成するドットＤＴの全てが緑ドットＤＴｇに変化した場合に、実物体ＯＢ１の十分な外観情報を取得できたと判定する。

図３のステップＳ２１の処理において、データ作成部１１２は、オブジェクトＯＢ２の十分な外観情報を取得できていないと判定した場合には（ステップＳ２１：ＮＯ）、引き続き、ステップＳ２５以降の処理を繰り返す。ステップＳ２１の処理において、データ作成部１１２は、オブジェクトＯＢ２の十分な外観情報を取得できたと判定した場合には（ステップＳ２１：ＹＥＳ）、実物体ＯＢ１の姿勢の追跡を終了し、空間関係（姿勢）と、その空間関係でのオブジェクトＯＢ２の外観情報と、２次元モデルデータと、を対応付けた対応付けデータ（テンプレートまたはトレーニングデータとも呼ぶ）を作成し（ステップＳ２３）、オンライン作成処理を終了する。データ作成部１１２は、作成した対応付けデータ（テンプレートデータとも呼ぶ）を作成データ記憶部１２２に記憶させる。

以上説明したように、本実施形態の画像処理システムＳＹＳでは、データ作成部１１２は、操作部３０が受け付けた操作に応じて、表示部２０に表示された実物体ＯＢ１の画像輪郭ＩＭ_ＯＢ２と、２次元モデルの輪郭ＯＬ１とをほぼ重畳させる。データ作成部１１２は、その際の撮像部４０と実物体ＯＢ１との間の空間関係と、その空間関係で撮像部４０によって撮像されたオブジェクトＯＢ２の外観情報と、２次元モデルデータと、を対応付けた対応付けデータを作成する。データ作成部１１２は、作成した対応付けデータを、作成データ記憶部１２２に記憶させる。そのため、本実施形態の画像処理システムＳＹＳによれば、オブジェクトの外部表面の見えの情報である外観情報（テクスチャ情報）を有さない３Ｄモデル（例えば３ＤＣＡＤモデル）から得られるテンプレートに、撮像画像データによって取得された外観情報を与えることができる。この対応付けにより、テンプレートは、３次元モデルから得られる特徴情報（例えば輪郭情報）に加えて、撮像画像から得られるテクスチャ情報（表面の外観情報）を有する。ＨＭＤが、実物体ＯＢ１を検出し、そしてその姿勢を推定する際に、表面の外観情報を有するテンプレートを参照することで、外観情報を有さないテンプレートと比較して、実物体ＯＢ１の初期姿勢の検出精度が向上し得る。また、本実施形態の画像処理システムＳＹＳでは、撮像部４０が実物体ＯＢ１を撮像できれば、データ作成部１１２がテンプレート（対応付けデータ）を作成でき、複雑な装置を必要とせずに外観情報を有するテンプレート（対応付けデータ）を作成できる。

Ａ−２−２．オフラインにおけるデータ作成：
オフラインに係るデータ作成の処理に関しては、その「姿勢の追跡」がオンラインの場合の処理のそれとは異なる。

図９は、オフライン作成処理のフローを表す説明図である。オフライン作成処理では、初めに、ＣＰＵ１１０が、映像シーケンスの取得を実行する（ステップＳ３１）。実行される映像シーケンスの取得では、使用者に、事前に実物体ＯＢ１を撮像させる。このとき、撮像部４０に対する実物体ＯＢ１の姿勢が、図７または図８のドットで表わされるすべての空間関係に対応するように撮像部４０が相対移動されることが好ましい。撮像部４０の撮像によって、ＣＰＵ１１０は、実物体ＯＢ１の映像シーケンスを記録する。ＣＰＵ１１０は、映像シーケンスを構成する画像フレームの中から、所定のビューで表わされる姿勢に近い姿勢を有する実物体ＯＢ１が撮像されている画像フレームを選択する。選択の方法は、ＣＰＵ１１０が行う画像処理によって自動で行われてもよいし、使用者に選択させてもよい。そして、選択された当該画像フレームにおける実物体ＯＢ１の姿勢を推定する。姿勢を推定する方法は、オンラインにおけるデータ作成に係る処理において説明した方法と同じでよい。

次に、ＣＰＵ１１０は、基準画像フレームの取得を実行する（ステップＳ３３）。選択された上記画像フレームを基準として、その時間軸の前後両方向に、各画像フレームにおいて撮像されている実物体ＯＢ１の姿勢を追跡していく（ステップＳ３５）。このとき、基準とされた上記画像フレームに対して、バンドル調整を局所的又は全体的に適用することによって、各画像フレームに関して、実物体ＯＢ１の姿勢の推定を改善する。そして、所定のタイミングで、実物体ＯＢ１の外観情報を取得し、記録する。そして、取得した外観情報を、当該姿勢、および当該姿勢で３次元モデルを写像することで得られる２次元モデルの「２次元モデルデータ」に対応付けたトレーニングデータを作成して（ステップＳ３７）、それらをテンプレートとして記憶し、オンライン作成処理を終了する。

以上説明したように、本実施形態の画像処理システムＳＹＳでは、データ作成部１１２は、オフライン作成処理における対応付けデータを作成する際に、オブジェクトＯＢ２の撮像画像データとして、予め実物体ＯＢ１を撮像した際に記録された映像シーケンスを用いる。そのため、オフライン作成処理では、データ作成部１１２が、オブジェクトＯＢ２の姿勢を推定する際に、バンドル調整を適用した画像フレームを用いるため、姿勢の推定を改善できる。データ作成部１１２は、これらの画像フレームを用いることで、ドリフトの発生の問題を部分的に解消できる。

Ｂ．第２実施形態：
第２実施形態では、撮像部４０がオブジェクトに加えて、撮像部４０の撮像範囲に予め設定されたマーカーが存在する場合に、マーカーに設定された座標軸を基準として、実物体ＯＢ１の姿勢の推定および追跡が実行される。

Ｂ−１．画像処理システムの構成：
図１０は、第２実施形態における画像処理システムＳＹＳａの機能的な構成を示すブロック図である。第２実施形態の画像処理システムＳＹＳａは、第１実施形態の画像処理システムＳＹＳと比較して、記憶部１２０ａがマーカー画像記憶部１２４を有すること、および、ＣＰＵ１１０ａの対応付け部１１３ａが実行する処理が異なること、が異なる。そのため、第２実施形態では、第１実施形態の画像処理システムＳＹＳと同じ構成についての説明を省略する。

記憶部１２０ａが有するマーカー画像記憶部１２４は、予め設定されたマーカーモデルを記憶している。マーカーモデルは、平面マーカーを表すが、そのマーカー座標系は、直交する３軸（Ｘ軸、Ｙ軸、Ｚ軸）で表わされている。

Ｂ−２．マーカーに基づくデータ作成：
「姿勢の初期化」
図１１は、第２実施形態におけるマーカーに基づく処理のフローの説明図である。第１実施形態と同じ方法で、ＣＰＵ１１０ａは、使用者から所定のコマンドを受けとった場合に、映像シーケンスの取得を開始し（ステップＳ４１）、映像シーケンスの各画像フレームについて実物体ＯＢ１の姿勢を導出する（ステップＳ４３）。実物体の姿勢の推定は、例えば、第１実施形態で説明したような方法で、使用者に実物体の画像輪郭と、実物体に対応する３Ｄモデルからえら得た２Ｄモデルの輪郭とを、一致させ、その後、ＣＰＵ１１０ａが、互いに対応する画像点と２Ｄモデル点との間の写像エラーを最小化するようなビューパラメーターの導出（最適化）を行うことでよい（図１２）。

ＣＰＵ１１０ａは、導出された上記姿勢について信頼スコアを計算し、ＵＩを介して使用者に報知してもよい。このスコアに基づいて、使用者は、その姿勢を受け入れることもできるし、ステップＳ４３の処理をやり直すこともできる。第１実施形態で説明したマーカーレスに基づく方法とは異なり、推定されたこの姿勢は、トレーニングデータ（テンプレート）に含まれない。

使用者は、実物体ＯＢ１の回りで撮像部を相対移動させ続け、さまざまな確度からの映像シーケンスを収集し、記録し続ける。この間、ＣＰＵ１１０ａは実物体の姿勢を追跡し記録し続ける（ステップＳ４５）。十分な画像が収集されたら、使用者からのコマンドに応じて、ＣＰＵ１１０ａは、ＰＧＥ ｔｏｏｌの機能として提供される多視点改善アルゴリズム（ＡｕｔｏＦｉｔ）をコール（起動）し、以下のような処理を行う。まず、ＣＰＵ１１０ａは、映像シーケンスに含まれる各画像フレームについて、撮像部４０に対する平面マーカーのそれぞれの姿勢を求める。本実施形態では、平面マーカーの姿勢は、ホモグラフィー行列を用いる方法によって導出される。一般に、平面マーカーの３次元姿勢を精度よく求めることは、任意の３次元物体の３次元姿勢を精度よく求めることよりも容易である。そして、追跡された実物体ＯＢ１のそれぞれの姿勢と、それぞれ同じ画像フレームに含まれる平面マーカーの姿勢と、を用いて、平面マーカーと実オブジェクトとの間の正確な姿勢を推定する（この姿勢をＴｍｏとも表記する。ここで、添え字ｏはオブジェクト座標系を示し、添え字ｍはマーカー座標系を示し、Ｔは、両座標系間の変換行列を表す）（ステップＳ４７）。以上のステップＳ４からステップＳ４７までが、第１実施形態の姿勢の初期化に対応する。

以降、使用者は、実物体ＯＢ１に対して撮像部４０をいかに相対移動させても、平面マーカーの姿勢と、平面マーカーと実物体ＯＢ１との間の姿勢Ｔｍｏと、に基づいて、より精度よく実物体ＯＢ１の姿勢を追跡することができる（ステップＳ４９）。そして、第１実施形態で説明したような方法で、所定の姿勢に基づいて３Ｄモデルを仮想平面に写像することで得られる２Ｄモデルを当該映像シーケンスに重ねて表示し、使用者にマウスなどを操作させることで、実物体の画像輪郭と２Ｄモデルの輪郭とを一致させる。そして、実物体の画像輪郭と２Ｄモデルの輪郭とがほぼ一致する場合に、ＣＰＵ１１０は、その姿勢での外観情報と、その姿勢での「２次元モデルデータ」とを対応づけて記憶する。実物体の画像輪郭と２Ｄモデルの輪郭とが一致したことのＣＰＵ１１０ａによる判定は、互いに対応する画像点と２Ｄモデル点との間の写像エラーを最小化するようなビューパラメーターの導出（最適化）が終了することに基づいてもよいし、このような最適化が利用できないときには目視に基づく使用者からの指示に基づいてもよい。そして、第１実施形態の場合と同様に、図７および図８のドットＤＴで表わされる姿勢のすべてに亘って、実物体ＯＢ１の姿勢と、その姿勢での外観情報と、その姿勢での「２次元モデルデータ」と、を対応づけて記憶する（図１３）。所定数の姿勢について対応付けデータが記憶された場合には（ステップＳ５１：ＹＥＳ）、それらをまとめて、対応付けデータ（トレーニングデータ）として記憶し（ステップＳ５３）、マーカーに基づく処理が終了する。所定数の姿勢について対応付けデータが記憶されていない場合には（ステップＳ５１：ＮＯ）、処理がステップＳ４９に戻るとともに、ＣＰＵ１１０ａは使用者に撮像部４０を相対移動させ続けることを促す。なお、第１実施形態において説明したように、ここでいう「２次元モデルデータ」は、２次元モデルが輪郭で合された画像、または当該輪郭を表す「輪郭特徴情報」の少なくとも一つを含む。

Ｃ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｃ−１．変形例１：
第１実施形態において、オンラインにおけるデータ作成では、実物体ＯＢ１の形状に対応した３Ｄモデルを、所定のビュー（姿勢）に基づいて仮想平面に写像することで得られた２Ｄモデルに対して、実物体ＯＢ１の撮像画像が重なるように、使用者に撮像部４０を相対移動させた。このような方法に代えて、以下のような方法が採用されてもよい。

まず、使用者に、実物体ＯＢ１に対して任意の姿勢で、撮像部４０を用いて実物体ＯＢ１の１つの静止画像を撮像させる。そして、ＣＰＵ１１０は、当該撮像された実物体ＯＢ１を表示部２０に表示する。ＣＰＵ１１０は、実物体ＯＢ１の形状に対応する３Ｄモデルを、所定の（デフォルトの）ビューに基づいて仮想平面に写像することで得られる２Ｄモデルに基づく輪郭を表示部２０に表示する。この結果、実物体ＯＢ１と２Ｄモデルの輪郭とは、重なって表示されることとなるが、普通、この段階では、実物体ＯＢ１の画像輪郭と、２Ｄモデルの輪郭とは、一致していない。

ＣＰＵ１１０は、使用者に、実物体ＯＢ１の画像輪郭と、２Ｄモデルの輪郭と、が一致するように、３Ｄモデルを写像しているビューを調整するように促す。具体的には、使用者に、マウスやタッチパッドなどのインターフェースを用いて、ビューに含まれる３軸回りの回転および３軸に沿った並進を更新させる。ＣＰＵ１１０は、更新された回転および並進を含む新しいビューに基づいて、３次元モデルを仮想平面に写像して得られる２次元モデルを表示部２０に表示する。ＣＰＵ１１０は、表示部２０に所定のテキストを表示することによって、使用者に、上記マウス等の操作を介して、表示部２０に表示されている実物体ＯＢ１の画像輪郭と、２次元モデルの輪郭とを一致させるように促す。また、ＣＰＵ１１０は、使用者に、実物体ＯＢ１の画像輪郭と、２次元モデルの輪郭と、が一致したタイミングを、所定のインターフェースを介して、ＣＰＵ１１０に通知するよう促す。ＣＰＵ１１０は、当該通知を受け取った時点での上記３つの回転および３つの並進を、実物体ＯＢ１の姿勢を表す初期姿勢として、静止画における画像点と、写像された２Ｄモデル点と、の間の写像エラーを最小化させるアルゴリズムを起動し、実物体ＯＢ１について推定された姿勢を改善する。姿勢が改善されると、表示部２０上において、実物体ＯＢ１の画像輪郭と、２Ｄモデルの輪郭とは、より高精度に一致することとなる。この場合に、ＣＰＵ１１０は、表示部を介して、姿勢の改善が終了したことを表す情報を使用者に提示してもよい。例えば、ＣＰＵ１１０は、表示部２０上に表示されている２Ｄモデルの色を変えることで、姿勢の改善が終了したことを使用者に伝えてもよい。

そして、ＣＰＵ１１０は、実物体ＯＢ１の外観情報と、当該姿勢に対応する「２次元モデルデータ」とを、互いに関連付けて、記憶部に記憶する。本変形例によれば、撮像部４０と実物体ＯＢ１との間の一つの空間関係についてのみ、実物体ＯＢ１の外観情報がテンプレートに付加される。このような処理によって作成されたテンプレートデータを用いる場合でも、ＨＭＤが、実物体ＯＢ１を検出して、実物体ＯＢ１に対応するようにＡＲオブジェクトをレンダリングする場合に、ＨＭＤが、ＨＭＤ上のカメラを用いて、実物体ＯＢ１の姿勢を高精度に初期推定することができる。

Ｃ−２．変形例２：
第１実施形態および第２実施形態では、対応付けデータを作成する情報処理システムとして、画像処理システムＳＹＳが用いられたが、対応付けデータを作成するシステムについては、種々変形可能である。例えば、撮像部４０を有する頭部装着型表示装置（ＨＭＤ）であってもよい。また、第１実施形態では、撮像部４０は、１つであったが、複数の撮像部４０によって実物体ＯＢ１，ＯＢ２が撮像されてもよい。撮像部４０によるオブジェクトＯＢ２の撮像方法として、撮像部４０が位置を変化させずに、撮像部４０の位置を固定した上でオブジェクトＯＢ２の位置が変化してもよい。例えば、オブジェクトＯＢ２が回転可能な回転台の上に配置されて、位置が固定された撮像部４０によってオブジェクトＯＢ２が撮像されてもよい。また、撮像部４０およびオブジェクトＯＢ２の両方が位置を変化させてもよい。

第１実施形態では、撮像部４０がオブジェクトＯＢ２を撮像すると共に、データ作成部１１２は、撮像されたオブジェクトＯＢ２の姿勢と、３Ｄモデル記憶部１２１に記憶された３Ｄモデルとの姿勢を撮像と並行して得られる映像シーケンスを用いて最適化したが、必ずしもそのような映像シーケンスを用いて実行される必要はない。撮像部４０によって一連のビデオシーケンスが取得され、記憶部によって記憶された後に、データ作成部１１２は、姿勢の一致の最適化を実行してもよい。また、データ作成部１１２は、必ずしもオブジェクトＯＢ２の全周から撮像されたビデオシーケンスを必要としない。例えば、特定の１つの視点から撮像されたオブジェクトＯＢ２の画像ＩＭ_ＯＢ２があれば、データ作成部１１２は、特定の１つの視点から見た対応付けデータを作成することもできる。

本明細書における撮像部４０によって取得される実物体の外観情報とは、３Ｄモデル記憶部１２１に記憶された３Ｄモデルに含まれない情報を少なくとも１つを含むデータである。外観情報として、オブジェクトの外部表面のテクスチャ情報（模様、色彩、ざらつき感や質感）を一例として挙げたが、これらの情報に限られない。

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

ＳＹＳ，ＳＹＳａ…画像処理システム、２０…表示部、３０…操作部、４０…撮像部、４１…アクチュエーター、１００…本体部、１１０，１１０ａ…ＣＰＵ、１１１…画像設定部、１１２…データ作成部、１１３，１１３ａ…対応付け部、１２０，１２０ａ…記憶部、１２１…３Ｄモデル記憶部、１２２…作成データ記憶部、１２３…撮像画像ＤＢ、１２４…マーカー画像記憶部、１３０…通信部、１４０…インターフェース、１５０…電源、ＡＸ１，ＡＸ２，ＡＸ３，ＡＸ４…座標軸、ＣＦ，ＣＦ１，ＣＦ２，ＣＦ３，ＣＦｍ…輪郭特徴要素、ＣＳ，ＣＳ１，ＣＳ２，ＣＳ３，ＣＳ４，ＣＳ５，ＣＳ６，ＣＳ７，ＣＳ８，ＣＳ９，ＣＳ１０…矢印、ＤＴ…ドット、ＤＴｂ…青ドット、ＤＴｇ…緑ドット、ＤＴｙ…黄ドット、ＦＣ１…領域、ＩＭ１，ＩＭ２，ＩＭ３，ＩＭ４，ＩＭ５，ＩＭ６…表示画像、ＩＭ_ＭＫ…マーカー画像、ＩＭＧ_ＯＢ，ＩＭ_ＯＢ２，ＩＭ_ＯＢ３…オブジェクトの画像、ＩＭ_ｈｂ１，ＩＭ_ｈｂ２，ＩＭ_ｈｂ３…半球画像、ＫＢ…キーボード、ＩＭＧ…画像、ＬＡＮ…無線、ＭＳ…マウス、ＭＴ１，ＭＴ２…メーター、ＯＡ…外部機器、ＯＢ１，ＯＢ２，ＯＢ３…オブジェクト、ＯＢＤ…オブジェクト距離、ＯＬ１，ＯＬ２…レンダリングモデルの輪郭、ＲＬ…レール、ＴＨＬ…閾値下限、ＴＨＵ…閾値上限、ＰＭ_１，ＰＭ_２，ＰＭ_３，ＰＭ_４，ＰＭ_５…２Ｄモデル点、ＰＭｎ…２Ｄモデル点のセット

Claims (7)

1. 記憶装置と、表示装置と、を備えた画像処理システムと通信可能なコンピューターのためのコンピュータープログラムであって、
   実物体が撮像されて得られる撮像画像データに基づく前記実物体の画像を前記表示装置に表示させる機能と、
   前記実物体に対応する３Ｄモデルを所定のビューに基づいて写像して得られた２Ｄモデルを前記表示装置に表示させる機能と、
   前記表示装置によって前記実物体と前記２Ｄモデルとがほぼ一致して表示された後で、前記実物体の外観情報と、前記２Ｄモデルのデータと、を対応付けて前記記憶装置に記憶させる記憶機能と、をコンピューターによって実現させるためのコンピュータープログラム。
2. 請求項１に記載のコンピュータープログラムであって、さらに
   前記表示装置によって前記実物体と前記２Ｄモデルとがほぼ一致して表示されるように前記ビューを調整するためのユーザーインターフェース機能を、コンピューターに実現させる、
   コンピュータープログラム。
3. 請求項２に記載のコンピュータープログラムであって、
   前記撮像画像データは前記実物体の静止画像を表す、
   コンピュータープログラム。
4. 請求項１または２に記載のコンピュータープログラムであって、さらに、
   前記表示装置によって前記実物体と前記２Ｄモデルとがほぼ一致して表示された後で、前記ビューを改善する改善機能を、コンピューターに実現させ、
   前記記憶機能は、前記実物体の外観情報と、改善された前記ビューに基づいて得られた前記２Ｄモデルのデータと、を対応付けて前記記憶装置に記憶させる、
   コンピュータープログラム。
5. 請求項１に記載のコンピュータープログラムであって、さらに、
   前記表示装置によって前記実物体と前記２Ｄモデルとがほぼ一致して表示された後で、前記撮像画像データに少なくとも基づいて前記実物体の姿勢を追跡する追跡機能と、
   前記追跡された姿勢に対応した前記ビューに基づいて前記３Ｄモデルから前記２Ｄモデルを得る機能と、
   をコンピューターに実現させ、
   前記記憶機能は、前記姿勢を追跡することで得られた複数の前記姿勢のそれぞれについて、前記実物体の外観情報と、前記２Ｄモデルのデータと、を対応付けて前記記憶装置に記憶させる、
   コンピュータープログラム。
6. 請求項１に記載のコンピュータープログラムであって、
   前記コンピューターは、さらに、撮像部を有し、
   前記コンピュータープログラムは、さらに、
   前記撮像部を用いて、前記実物体が撮像された前記撮像画像データを取得する機能を、コンピューターによって実現させるコンピュータープログラム。
7. 請求項６に記載のコンピュータープログラムであって、
   前記撮像部は、前記撮像画像データとして、前記実物体に対する前記撮像部の位置を変化させつつ取得した映像シーケンスを取得し、
   前記コンピュータープログラムは、さらに、
   前記映像シーケンスの中から、前記３Ｄモデルのビューに対応する姿勢を有する前記実物体を表す一の画像フレームが選択された場合に、前記ビューを改善することで前記実物体の姿勢を導出する導出機能と、
   前記一の画像フレームの前後方向の各画像フレームについて、前記実物体の前記姿勢を追跡する追跡機能と、
   をコンピューターに実現させ、
   前記記憶機能は、前記姿勢を追跡することで得られた複数の前記姿勢のそれぞれについて、前記前記実物体の外観情報と、前記２Ｄモデルのデータと、を対応付けて前記記憶装置に記憶させる、
   コンピュータープログラム。

Images