JP2004355131A

JP2004355131A - 複合現実感映像生成方法及び複合現実感画像生成装置

Info

Publication number: JP2004355131A
Application number: JP2003149570A
Authority: JP
Inventors: Yasuhiro Okuno; 泰弘奥野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-05-27
Filing date: 2003-05-27
Publication date: 2004-12-16

Abstract

【課題】現実映像とＣＧとを重畳したＭＲ映像を生成する際、用途によらず固定の生成条件が用いられていた。
【解決手段】現実映像のキャプチャ解像度、フレームレート、ＣＧモデル、テクスチャ画像の詳細度等、ＭＲ映像の生成条件を複数の選択肢から設定可能にし、設定値に従ってＭＲ映像を生成するようにした。
【選択図】図１

Description

【０００１】
【発明の属する利用分野】
本発明は、現実世界の映像と、ＣＧ（３次元的にモデリングされたＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ））によって生成された映像を重畳し、かつ、両者の映像を位置合わせして表示することができる、複合現実感呈示技術に関するものである。
【０００２】
【従来の技術】
従来より、現実空間の映像と、三次元モデリングされた物体のＣＧ映像を重畳して表示し、あたかも現実の世界にＣＧで描かれた物体（仮想物体）が存在しているかのように見せることができる複合現実感（ＭＲ：ＭｉｘｅｄＲｅａｌｉｔｙ）提示装置が存在する（例えば特許文献１参照）。
【０００３】
複合現実感提示装置は、現実空間の映像を撮影するための現実映像撮影装置（たとえばビデオカメラ）と、現実映像撮影装置の撮影位置、方向で見たようにＣＧ映像を作り出すＣＧ映像生成装置（例えばコンピュータ）と、両者を合成して表示することのできる映像表示装置（たとえばＨＭＤ（ヘッドマウントディスプレイ）またはモニタ）を有する装置である。
【０００４】
また、複合現実感提示装置においては、通常、現実映像撮影装置の視線位置及び視線方向（撮影位置及び方向）を検出するための視線位置姿勢検出装置（たとえば位置姿勢センサ）が設けられており、現実映像撮影装置の撮影位置、方向が変化しても、ＣＧ映像と現実映像との位置関係を正しく維持するように構成される。
【０００５】
すなわち、ＣＧ映像生成装置は、三次元モデリングされた仮想物体を、現実空間と同じスケールの仮想空間中に配置し、視線位置姿勢検出装置によって検出された視線位置、視線方向から観察されたものとしてＣＧをレンダリングする。このようにして生成されたＣＧ映像と現実の映像とを重畳すると、結果として、現実映像撮影装置がどの視線位置及び視線方向から撮影した場合でも、現実空間の中にＣＧで生成された仮想物体が正しく置かれているような映像を表示ことができる。仮想物体の生成に用いるＣＧの種類や技法については特に制限はなく、仮想物体の配置の変更やアニメーション表示など、一般的なＣＧと同様に取り扱うことができる。
【０００６】
現実空間の映像を撮影する現実映像撮影装置は、たとえばビデオカメラであり、カメラの視線方向にある映像を撮影し、その映像信号を例えば半導体記憶装置や磁気記録装置、光学記録装置などの記憶装置（メモリ）中にキャプチャする装置である。
【０００７】
現実空間の映像とＣＧとを合成して表示する映像表示装置としては、たとえばＨＭＤ（ヘッドマウントディスプレイ）が用いられる。通常のモニタでなくＨＭＤを用いて、さらにビデオカメラをＨＭＤに、観察者の視線方向に沿って装着することで、観察者が向いている方向の現実映像をＨＭＤに映し出すことができ、かつ、観察者と略一致した視点位置及び視線方向からのＣＧ描画も行えるため、観察者の没入感を高めることができる。
【０００８】
位置姿勢検出装置としては磁気方式による位置姿勢センサなどが用いられ、これをビデオカメラ（またはビデオカメラが取り付けられているＨＭＤ）に取り付ることによって、ビデオカメラの視点位置及び姿勢を検出する。磁気方式の位置姿勢センサとは、磁気発生装置（発信機）と磁気センサ（受信機）との間の相対位置・姿勢を検出するものであり、米国ポヒマス（Ｐｏｌｈｅｍｕｓ）社の製品ＦＡＳＴＲＡＫなどがあげられる。これは特定の領域内で、センサの３次元位置（Ｘ，Ｙ，Ｚ）と姿勢（Ｒｏｌｌ，Ｐｉｔｃｈ，Ｙａｗ）をリアルタイムに検出する装置である。
【０００９】
上記の構成により、観察者はＨＭＤを通じて、現実映像とＣＧ映像が重畳された世界を観察することができるようになる。観察者が周囲を見回すと、ＨＭＤに備え付けられた現実映像撮影装置（ビデオカメラ）が現実の映像を撮影し、ＨＭＤ又はビデオカメラに備え付けられた視線位置姿勢検出装置（位置姿勢センサ）がビデオカメラの視点位置及び姿勢を検出し、これに応じてＣＧ映像生成装置がその視線位置・姿勢から見たＣＧ映像を生成（レンダリング）し、これを現実映像に重畳してＭＲ映像（現実映像とＣＧとが合成された映像）を生成して、ＨＭＤに表示する。
【００１０】
ＨＭＤはその装着者のみが映像を鑑賞できる装置であるため、ＨＭＤを装着していない第３者はＭＲ映像を見ることができない。そのため、視点位置及び視線方向を固定して生成したＭＲ映像をＣＲＴモニタやテレビなどの一般的なのディスプレイに表示し、これを不特定多数の観衆に提示することもできる。これは固定視点からのＭＲ映像であるから、このＭＲ映像を生成するための現実映像撮影装置の位置姿勢を検出するための位置姿勢センサは不要である。
【００１１】
すなわち、現実映像撮影用のカメラを設置した状態の位置姿勢をひとたび設定すれば、その後は常にその位置姿勢からレンダリングしたＣＧを合成すればよい。それ以外の動作においては通常のＨＭＤ用のシステムと同様に動作させることができる。このような用途の場合、ディスプレイは大勢の観衆に見せるためにＨＭＤに比べると大画面・高解像度のものが用いられることが多い。
【００１２】
また、ＨＭＤを装着している観察者が見ているＭＲ映像を、そのまま分岐させて別のディスプレイの画面に表示し、観衆に提示するということも行われている。これによって観衆は、観察者が実際にどのような画面を見ているのかを知ることができる。この用途に用いられるディスプレイも、大画面・高解像度のものが用いられることが多い。
【００１３】
【特許文献１】
特開２００１−１９５６０１号公報
【００１４】
【発明が解決しようとする課題】
従来のシステムでは、ＭＲ映像を大画面で観衆に提示する場合でも、ＨＭＤに表示させるＭＲ映像と同等の画像生成条件（解像度、フレームレート、ＣＧの品質等）で映像生成を行っていた。しかしながら、観察者のＨＭＤに表示するための映像と、ＨＭＤを装着していない観衆のための大画面ディスプレイに表示するための映像とでは、要求される品質が異なる。
【００１５】
すなわち、観察者が装着するＨＭＤに表示するための映像は、観察者の視点位置及び姿勢の変化に追従する必要があるため、現実映像のキャプチャから表示までの遅延が少なく、表示のフレームレートが高いことが好ましい。これは、視野をＨＭＤに覆われた観察者は、顔の向きを動かしたときの映像の応答に遅延があったりフレームレートが低かったりすると、違和感を覚えるためである。そのため、ＨＭＤ表示用の映像生成においては、現実映像の解像度やＣＧの品質（ポリゴン数、テクスチャの解像度）をある程度犠牲にしても、システムの負荷を減らし、その分の処理能力を応答性やフレームレート向上のために使うほうが好ましい。
【００１６】
一方、観衆用のＭＲ映像については、観衆はＨＭＤを装着しておらず、また自分の動きと映像の変化とは切り離されているという認識があるため、映像の応答性がさほど問題にならないことがある。また、視点が固定であるために、現実映像に変化が少なく、高いフレームレートを必ずしも要求しない場合もある。さらに、大画面に表示するために、現実映像の解像度やＣＧの品質を高く保つことを要求される場合もある。この場合には、応答性やフレームレートをある程度犠牲にしても、現実映像の解像度やＣＧの品質を高く設定することが望まれる。
【００１７】
しかしながら、従来の複合現実感提示装置では、用途とは無関係に、固定のＭＲ映像生成条件でＭＲ映像を生成しており、用途及び処理能力に応じて画像の生成条件を変更することができなかった。
本発明はこのような従来技術の課題を解決するものである。
【００１８】
【課題を解決するための手段】
上述の目的を達成するため、本発明の複合現実感映像生成方法は、現実空間を撮影することにより得られる現実映像を取得する現実映像取得工程と、現実映像の撮影位置及び方向に基づいて、ＣＧ映像を生成するＣＧ映像生成工程と、現実映像と、ＣＧ映像とを合成して複合現実感映像を生成する複合現実感映像生成工程とを有する複合現実感映像生成方法であって、現実映像取得工程における現実映像取得条件及びＣＧ映像生成工程におけるＣＧ映像生成条件をユーザインターフェースを用いたユーザ指示に応じて設定する設定工程を有し、現実映像取得工程及びＣＧ映像生成工程は、設定された現実映像取得条件及びＣＧ映像生成条件に基づいて現実映像の取得及びＣＧ映像の生成を行うことを特徴とする。
【００１９】
また、上述の目的は、コンピュータ装置に、現実空間を撮影することにより得られる現実映像を取得する現実映像取得工程と、現実映像の撮影位置及び方向に基づいて、ＣＧ映像を生成するＣＧ映像生成工程と、現実映像と、ＣＧ映像とを合成して複合現実感映像を生成する複合現実感映像生成工程とを有する複合現実感映像生成方法であって、現実映像取得工程における現実映像取得条件及びＣＧ映像生成工程におけるＣＧ映像生成条件をユーザインターフェースを用いたユーザ指示に応じて設定する設定工程を有し、現実映像取得工程及びＣＧ映像生成工程は、設定された現実映像取得条件及びＣＧ映像生成条件に基づいて現実映像の取得及びＣＧ映像の生成を行うことを特徴とする複合現実感映像生成方法を実現させるコンピュータプログラムによっても達成される。
【００１９】
さらに、上述の目的は、現実空間を撮影することにより得られる現実映像を取得する現実映像取得手段と、現実映像の撮影位置及び方向に基づいて、ＣＧ映像を生成するＣＧ映像生成手段と、現実映像と、ＣＧ映像とを合成して複合現実感映像を生成する複合現実感映像生成手段とを有する複合現実感映像生成装置であって、現実映像取得手段における現実映像取得条件及びＣＧ映像生成手段におけるＣＧ映像生成条件をユーザインターフェースを用いたユーザ指示に応じて設定する設定手段を有し、現実映像取得手段及びＣＧ映像生成手段は、設定された現実映像取得条件及びＣＧ映像生成条件に基づいて現実映像の取得及びＣＧ映像の生成を行うことを特徴とする複合現実感映像生成装置によっても達成される。
【００２０】
【発明の実施の形態】
以下、添付図面を参照して、本発明をその好適な実施形態に基づいて詳細に説明する。
図１は、本発明の複合現実感映像生成装置の一実施形態としての複合現実感提示装置の構成例を示す図である。
【００２１】
ＣＰＵ１０１は、図示しないハードディスクドライブやＲＯＭ等の記憶装置に予め記録されているプログラムを実行することにより、複合現実感提示装置全体の制御を行う。ＣＰＵ１０１には、図示しないインタフェースやバスなどを介して、ＨＭＤ１０２、ビデオカメラ１０３、位置姿勢センサコントローラ１０４、及びメモリ１０５、１０６が接続されている。位置姿勢センサコントローラ１０４には位置姿勢センサ１０７が接続されている。なお、固定視点からのＭＲ映像を生成する場合にはＨＭＤ１０２のかわりにＣＲＴ、ＬＣＤやプラズマディスプレイ等のディスプレイを接続すればよく、また位置姿勢センサ１０７は不要になる。なお、ＨＭＤ１０２等の画像呈示装置（表示装置）は本発明の複合現実感映像生成装置においては必須でない。
【００２２】
メモリ１０５、１０６はそれぞれ記憶装置から構成され、例えば半導体記憶装置、磁気記憶装置、光学記憶装置等によって実現できる。図１においては便宜上メモリ１０５には各種プログラムモジュールが、メモリ１０６にはプログラムモジュールが使用するパラメータがそれぞれ記憶されているが、メモリ１０５及び１０６を同一の記憶装置によって構成することも可能である。
【００２３】
メモリ１０５には、本実施形態に係る複合現実感提示装置の各種動作をＣＰＵ１０１に実現させるためのプログラムモジュール１１０〜１１４が記憶されている。
【００２４】
現実映像品質設定部１１０は、現実映像品質の詳細を設定するものであり、ここでは、現実映像キャプチャの解像度の高低とキャプチャのフレームレートをそれぞれ設定するものとする。解像度に関しては、具体的な数値ではなく、予め定めたいくつかの選択肢から選べることとし、ここではその選択肢を整数で指定することにする。たとえば０なら３２０＊２４０ピクセル、１なら６４０＊４８０ピクセル、ということにする。フレームレートに関してはキャプチャ時に指定する具体的なフレームレートの数値（１秒当たりのフレーム数）を直接記録することとする。現実映像品質設定部１１０は、例えば図示しない、本装置の管理者用ディスプレイに設定用のＧＵＩ（設定用画面）を表示し、管理者ユーザがキーボード、マウス等の入力装置（図示せず）を用いて入力した解像度、フレームレートをメモリ１０６中の現実映像解像度１２１、現実映像フレームレート１２２としてそれぞれ記憶する。
【００２５】
なお、現実映像の品質に関連する設定項目（現実映像品質設定条件）としては、解像度及びフレームレートに限定されるものではなく、例えば使用する色数の大小やビデオ信号のフォーマット、圧縮方法など他の項目についても選択できるようにすることが可能である。どのような項目を設定可能とするか及び各項目で設定可能な値の範囲（もしくは選択肢の数）は、アプリケーションの内容などに応じて適宜決定する。
【００２６】
ＣＧ品質設定部１１１は、ＣＧ品質の詳細（ＣＧ品質設定条件）を設定するもので、本実施形態においては、ＣＧ品質の詳細として、ＣＧモデルの詳細度（ポリゴン数の多さで示される）の高低と、ＣＧモデルに貼り付けるテクスチャ画像の解像度の高低を、それぞれ設定可能なものとする。
【００２７】
これら項目の設定値は予め定めた複数の選択肢から選べることとし、その選択肢を整数で指定することとする。たとえばポリゴン数に関しては、ポリゴン数の多いモデルと少ないモデルを用意し、どちらを使うかを選べるようにする。テクスチャ画像に関しても解像度の高い画像と低い画像を用意して選べるようにする。ここでは指定された数値が０なら低いほうを、１なら高いほうを選択したことにする。ＣＧ品質設定部１１１も現実映像品質設定部１１０と同様、項目設定用のＧＵＩを管理者ユーザに呈示し、ＣＧモデルの詳細度及びテクスチャ画像の解像度の設定結果をメモリ１０６中のＣＧ詳細度１２３、ＣＧテクスチャ解像度１２４として記憶する。
【００２８】
メモリ１０６には、現実映像品質設定部１１０とＣＧ品質設定部１１１によって設定された現実映像品質条件およびＣＧ品質条件が記憶される。本実施形態では、現実映像品質条件として現実映像解像度１２１および現実映像フレームレート１２２、ＣＧ品質条件としてＣＧ詳細度１２３およびＣＧテクスチャ解像度１２４が記憶され、さらに、高詳細度のＣＧモデルのデータであるＣＧモデルＨ１２５、低詳細度のＣＧモデルのデータであるＣＧモデルＬ１２６、高解像度のテクスチャ画像データであるテクスチャ画像Ｈ１２７、低解像度のテクスチャ画像データであるテクスチャ画像Ｌ１２８が予め記憶されている。
【００２９】
図２は、本実施形態における複合現実感提示装置におけるＭＲ映像生成のための処理を説明するためのフローチャートである。
ここでは、事前に、メモリ１０６中の各設定項目（現実映像解像度１２１、現実映像フレームレート１２２、ＣＧ詳細度１２３及びＣＧテクスチャ解像度１２４）は設定済みであるとする。
【００３０】
最初に、ステップＳ２０１で、メモリ１０６中の現実映像解像度１２１を読み出し、ここに記録された値をもとに現実映像をキャプチャする際の解像度を決定し、映像キャプチャのための初期設定を行う。たとえば、現実映像解像度１２１の値が０ならば３２０＊２４０の解像度でキャプチャするようにする。
【００３１】
次に、ステップＳ２０２で、メモリ１０６中の現実映像フレームレート１２２を読み出し、ここに記録された数値で現実映像をキャプチャする際のフレームレートを決定し、映像キャプチャのための初期設定を行う。
これ以降、現実映像撮影部１１２は設定された解像度とフレームレートでビデオカメラ１０３が撮影した画像をキャプチャしていく。
【００３２】
次に、ステップＳ２０３で、メモリ１０６中のＣＧ詳細度１２３を読み出し、ここに記録された数値をもとに、使用するＣＧモデルの詳細度を決定する。高詳細度のＣＧモデルを使うように設定されていた場合は、メモリ１０６中のＣＧモデルＨ１２５を使用し、低詳細度のＣＧモデルを使うように設定されていた場合は、メモリ１０６中のＣＧモデルＬ１２６を使用することにする。
【００３３】
次に、ステップＳ２０４で、メモリ１０６中のＣＧテクスチャ解像度１２４を読み出し、ここに記録された数値をもとに、使用するＣＧテクスチャ画像の解像度の高低を決定する。高解像度のテクスチャ画像を使うように設定されていた場合は、メモリ１０６中のテクスチャ画像Ｈ１２７を使用し、低解像度のテクスチャ画像を使うように設定されていた場合は、メモリ１０６中のテクスチャ画像Ｌ１２８を使用することにする。
これ以降、ＣＧ映像生成部１１３は、ここで設定されたＣＧモデルとテクスチャ画像を用いてＣＧのレンダリングを行う。
【００３４】
ステップＳ２０５以降は、通常のＭＲ映像生成システムと同等の動作である。現実映像撮影部１１２によってビデオカメラ１０３が撮影する映像をキャプチャして現実映像画像としてメモリに取り込み、続いてＣＧ映像生成部１１３は位置姿勢センサ１０７によって取得される位置姿勢の視点からＣＧをレンダリングしてＣＧ映像を生成し、映像表示部１１４は現実映像画像とＣＧ映像を合成した画像をＨＭＤ１０２の表示画面に出力する。この動作を設定されたキャプチャフレームレートにしたがって繰り返し行う。
【００３５】
このように、本実施形態によれば、複合現実感提示装置において生成するＭＲ映像の生成条件を選択可能とすることにより、ＭＲ映像の用途や装置の処理能力を勘案して適切なＭＲ映像を生成することが可能になる。
【００３６】
【他の実施形態】
上述の実施形態においては、テクスチャ画像とＣＧモデルの詳細度を個々に指定可能な場合を説明したが、テクスチャ画像がＣＧモデルと一体化していて区別不可能なときは、ＣＧ詳細度のみを設定可能としたり、画像生成時にＣＧ詳細度のみに基づいて処理を行ってもかまわない。
【００３７】
また、上述の実施形態においては、解像度や詳細度を高低２種類のいずれかに設定する場合のみを説明したが、３種類以上の選択肢から選択するようにしても良い。この場合、設定可能な詳細度に応じてモデルやテクスチャ画像をメモリ１０６に用意しておく。
【００３８】
なお、上述の実施形態では、現実映像品質とＣＧ品質を設定する際に、設定項目を個別に設定する場合を説明したが、予め想定される設定値の組み合わせを用意しておき、この組み合わせの１つを選択するようにしても良い。例えば、生成したいＭＲ映像の用途（ＨＭＤ用、高解像度表示用等）に適切と考えられる設定値の組み合わせを用意しておき、ユーザに用途を選択させてもよい。
【００３９】
具体的には、まず用途別に、現実映像解像度や現実映像フレームレートやＣＧ詳細度やＣＧテクスチャ解像度などの設定項目の設定値の組合せを生成し、メモリ１０６中に登録しておく。図３はそのような設定値の組み合わせ例を示す図である。
【００４０】
この例では、用途がＨＭＤ用であれば現実映像解像度は０（低）、現実映像フレームレートは３０フレーム／秒、ＣＧ詳細度は０（低）、ＣＧテクスチャ解像度は０（低）である。用途が固定視点用であれば現実映像解像度は１（高）、現実映像フレームレートは１５フレーム／秒、ＣＧ詳細度は１（高）、ＣＧテクスチャ解像度は１（高）である。これらの設定は、複合現実感提示装置の処理能力や構成、アプリケーションの内容を鑑みながら用途に好適になるよう設定することができる。
【００４１】
例えば、メモリ１０５に用途別品質設定部を設け、ＧＵＩを介してユーザに用途を設定させる。そして、設定された用途に対応する項目の設定値を図３に示すようなテーブルから読み出し、メモリ１０６の対応するパラメータの値として記憶する。
このようにしておけば、ＭＲ映像生成システムを使用する時に用途を指定するだけですぐさま設定処理を行うことが可能である。
【００４２】
また、上述の実施形態においては、例えば現実映像のキャプチャ解像度を整数でユーザに指定させるようにしたが、ユーザに対しては実際に設定される解像度（３２０＊２４０等）を選択肢として表示し、選択結果を整数値に変換してメモリ１０６へ記憶するようにしても良い。
【００４２】
また、上述の実施形態においては、複合現実感映像を提示する画像提示装置として、ＨＭＤ１０２のみが接続された構成を説明したが、複数の画像提示装置が接続され、各装置ごとに現実映像品質設定条件とＣＧ品質設定条件を設定できるようにすることも可能である。
【００４２】
図４に、ビデオカメラ１０３からの現実映像にＣＧ映像を合成することにより生成されるＭＲ映像を表示するＨＭＤ１０２の他に、視点位置・姿勢が固定されている固定カメラ４０１から得られた現実映像に、この固定されている視点位置・姿勢に応じて生成されたＣＧ映像を合成することにより生成されるＭＲ映像を表示するディスプレイ４０２がシステムに接続された場合の複合現実感提示装置の構成例を示す。
【００４２】
ＨＭＤ１０２とディスプレイ４０２では、用途が異なり、ＭＲ映像の品質に対する要求も異なる。ＨＭＤ１０２では、観察者の視点位置及び姿勢の変化に追従する必要があり、現実映像の解像度やＣＧの品質をある程度犠牲にしても、応答性やフレームレートの向上が求められる。一方、ディスプレイ４０２は、観衆用のＭＲ映像を表示するものであるので、自分の動きと映像の変化とは切り離されており、映像の応答性はさほど問題にならない。大画面に表示するために、現実映像の解像度やＣＧ映像の品質を高く要求される。よって、応答性やフレームレートをある程度犠牲にしても、現実映像の解像度やＣＧ映像の品質を高く設定することが求められる。
【００４２】
このように、複数の画像提示装置が接続されるシステムにおいては、個々の画像提示装置もしくは、用途毎に適切な設定条件を設定可能とする。図４の例では、用途が異なるＨＭＤ１０２とディスプレイ４０２のそれぞれに対して適切な条件が設定できるように、それぞれの画像提示装置について現実映像品質設定条件とＣＧ品質設定条件を独立にユーザがＧＵＩを用いて設定可能にする。そして、設定された条件を、メモリ１０６内に記憶する（４０３、４０４）。そして、メモリ１０５に記憶されているモジュールが、これらの設定条件を用いてＨＭＤ１０２およびディスプレイ４０２のそれぞれのためのＭＲ映像を生成する。
図４に示す実施形態によれば、システムに接続された複数の画像提示装置のそれぞれについて、ユーザが用途に応じて最適なＭＲ画像生成条件を設定することができる。もちろん、個々の画像提示装置単位でなく、同じ用途を有するグループ毎に設定するように構成しても良い。
【００４３】
また、上述の実施形態においては、ＭＲ映像の生成条件を事前に設定しておく場合を説明したが、例えば上述の実施形態においてＣＰＵ１０１に接続されている表示装置がＨＭＤか通常のディスプレイ装置なのかを自動的に判別して、その結果に応じて適切な生成条件を設定するようにすることも可能である。この場合、表示装置の自動判別を行うための方法はどのようなものであっても良いが、表示装置側が問い合わせに対して装置の種別や機種名を表す情報を応答し、その応答内容と予め登録した対応表等とから表示装置がＨＭＤか通常の表示装置かを判別することができる。
【００４４】
また、本発明に係る複合現実感映像生成装置は、１つの機器で構成されても、複数の機器から構成されても良い。
尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
【００４５】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００４６】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００４７】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００４８】
有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
【００４９】
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
【００５０】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００５１】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００５２】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００５３】
【発明の効果】
以上説明したように、本発明によれば、現実映像とＣＧとを重畳したＭＲ映像を生成する複合現実感提示装置において、ＭＲ映像の用途など、様々な条件に応じて適切なＭＲ映像の生成を行うことが可能になる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る複合現実感提示装置の構成例を示す図である。
【図２】図１の複合現実感提示装置におけるＭＲ映像の生成処理を説明するフローチャートである。
【図３】他の実施形態における、用途別の設定値の組み合わせについて説明する図である。
【図４】本発明の他の実施形態に係る複合現実感提示装置の構成例を示す図である。

Claims

現実空間を撮影することにより得られる現実映像を取得する現実映像取得工程と、
前記現実映像の撮影位置及び方向に基づいて、ＣＧ映像を生成するＣＧ映像生成工程と、
前記現実映像と、前記ＣＧ映像とを合成して複合現実感映像を生成する複合現実感映像生成工程とを有する複合現実感映像生成方法であって、
前記現実映像取得工程における現実映像取得条件及び前記ＣＧ映像生成工程におけるＣＧ映像生成条件をユーザインターフェースを用いたユーザ指示に応じて設定する設定工程を有し、
前記現実映像取得工程及び前記ＣＧ映像生成工程は、前記設定された現実映像取得条件及びＣＧ映像生成条件に基づいて前記現実映像の取得及び前記ＣＧ映像の生成を行うことを特徴とする複合現実感映像生成方法。
前記現実映像取得条件及びＣＧ映像生成条件が、現実映像及びＣＧ映像の品質に関する条件であることを特徴とする請求項１記載の複合現実感映像生成方法。
前記ユーザインターフェースは、複数の用途に対応して、前記現実映像取得条件および前記ＣＧ映像生成条件について設定された組み合わせを選択肢として提示することを特徴とする請求項１又は請求項２に記載の複合現実感映像生成方法。
前記用途が、前記複合現実感映像を表示する表示装置の種別であることを特徴とする請求項３記載の複合現実感映像生成方法。
前記現実映像取得条件及び前記ＣＧ映像生成条件を、複数の複合現実感映像提示装置のそれぞれについて独立に設定可能であることを特徴とする請求項１乃至請求項４のいずれか１項に記載の複合現実感生成方法。
コンピュータ装置に、
現実空間を撮影することにより得られる現実映像を取得する現実映像取得工程と、
前記現実映像の撮影位置及び方向に基づいて、ＣＧ映像を生成するＣＧ映像生成工程と、
前記現実映像と、前記ＣＧ映像とを合成して複合現実感映像を生成する複合現実感映像生成工程とを有する複合現実感映像生成方法であって、
前記現実映像取得工程における現実映像取得条件及び前記ＣＧ映像生成工程におけるＣＧ映像生成条件をユーザインターフェースを用いたユーザ指示に応じて設定する設定工程を有し、
前記現実映像取得工程及び前記ＣＧ映像生成工程は、前記設定された現実映像取得条件及びＣＧ映像生成条件に基づいて前記現実映像の取得及び前記ＣＧ映像の生成を行うことを特徴とする複合現実感映像生成方法を実現させるコンピュータプログラム。
現実空間を撮影することにより得られる現実映像を取得する現実映像取得手段と、
前記現実映像の撮影位置及び方向に基づいて、ＣＧ映像を生成するＣＧ映像生成手段と、
前記現実映像と、前記ＣＧ映像とを合成して複合現実感映像を生成する複合現実感映像生成手段とを有する複合現実感映像生成装置であって、
前記現実映像取得手段における現実映像取得条件及び前記ＣＧ映像生成手段におけるＣＧ映像生成条件をユーザインターフェースを用いたユーザ指示に応じて設定する設定手段を有し、
前記現実映像取得手段及び前記ＣＧ映像生成手段は、前記設定された現実映像取得条件及びＣＧ映像生成条件に基づいて前記現実映像の取得及び前記ＣＧ映像の生成を行うことを特徴とする複合現実感映像生成装置。