JP2017146762A - 画像表示型シミュレーションサービス提供システム及び画像表示型シミュレーションサービス提供方法 - Google Patents

Abstract

【課題】体感者自らが動き回って仮想空間を体感可能とし、三次元立体視特有の映像酔い症状を解消するとともに、現実空間と仮想空間を組合せて画像表示することにより、現実世界に於ける利用上の危険を回避可能とする画像表示型シミュレーションサービスを提供すること。【解決手段】予め撮影された画像情報の中から任意の画像情報を抽出し、抽出された任意の画像情報を参照して三次元仮想画像情報を生成し、モーションキャプチャ装置２００により人物や物体の位置や姿勢を時間連続的に計測し、この計測情報を参照してモーションキャプチャ装置２００の計測対象にて現実にカメラ撮影した画像情報と三次元仮想画像情報とを合成処理して合成画像情報を生成し、この合成画像情報を画像表示装置３００に出力表示するように構成したことを特徴とする。【選択図】 図１

Description

本発明は、合成画像にて疑似体験を可能とする画像表示型シミュレーションサービス提供システム及び画像表示型シミュレーションサービス提供方法に関する。

従来より、例えばマンション等の集合住宅の販売に於いては、モデルルームが利用されている。モデルルームは、集合住宅建設現場の近くに広いスペースの商談会場として設けられるものである。販売されるマンションの部屋タイプには幾つかのバリエーションがあるのが実情ではあるのだが、それら全てをモデルルームとして用意することはなく、通常は、標準的な部屋タイプのモデルルームが一つ用意されるものである。

他の部屋タイプについては、標準的な部屋タイプのモデルルームを念頭に、販売業者の説明を受けたりパンフレットや図面を参考にして、モデルルーム見学者自らがイメージするしか術はなかった。

下記特許文献１には、建築予定等の建築物をコンピュータグラフィックスによる画像（ＣＧ画像）として作成し、立体像として表示するＣＧ画像の作成表示方法の技術が開示されている。この特許文献１によれば、建築物に関する三次元形状データを予めＣＡＤシステムにより作成しておき、三次元形状データに対して設定した仮想的な視点位置を、オペレータの入力操作に応じて三次元形状データに対し停止または所望方向へ移動させ、三次元画像データと視点位置とに基づく演算により、建築物を所望位置から見た状態を表すＣＧ画像に対応するＣＧ画像用データを生成し、このＣＧ画像用データに基づいて視点位置が停止しているときは建築物に関するＣＧ画像を静止画として、視点位置が移動しているときは動画として表示するとともに、鑑賞者が立体化用メガネを着用することにより静止画または動画を立体像として認識できるようにしたものである。

下記特許文献２には、建築予定等の建築物を、家庭用の遊戯機及びテレビジョンまたはヘッドマウントディスプレイ（ＨＭＤ）等の表示装置を用いて、一般家庭内で静止画または動画として鑑賞できるようにする遊戯機を用いた建築物の表示方法に関する技術が開示されている。この特許文献２に開示されたものは、建築物に関する画像データを遊戯機の記録媒体に記録しておき、遊戯機に付属する操作手段を操作することにより、画像データに対する視点位置を停止または所望方向へ移動させ、視点位置と画像データとに基いて所定の演算を行い、遊戯機と連携する表示装置に建築物を表すＣＧ画像を静止画または動画として表示するようにしたものである。

特開平９−１０６４６４号公報 特開平９−１４７１４１号公報

従来の集合住宅建設現場の近くに設けられるモデルルームにあっては、標準的な部屋タイプのものが一つ用意されているに過ぎず、他の部屋タイプについては、販売業者の説明や図面またはパンフレット等から見学者自らが想像するしか術はなかった。特に、生活していく上で重要な要素である間取りや日照状況については、このような状況下では的確に把握することは困難であった。

特許文献１に開示されものにあっては、立体化用メガネを着用した鑑賞者は定点に位置することを前提として、オペレータによる操作によりＣＧ画像を立体像として認識するようにしたものである。このため、鑑賞者自らが実際に動き回っての状況確認はできないものである。

特許文献２に開示されものにあっては、操作手段を操作して移動方向を指示することにより、定点に位置することを前提とする顧客自身があたかも建築物の内部等を歩き回っているのと同様の感覚で、主体的に建築物の各部を観察、評価することができるにしたものである。しかしながら、顧客自らが実際に動き回っての状況確認はできないものである。

ところで、近時、ＣＧで周辺環境映像を生成し鑑賞者がその映像を見ることで架空世界を疑似体験するバーチャルリアルティ（ＶＲ）技術が、コンピュータの演算性能の向上等の技術進歩により急速に発展してきている。ＶＲを応用したシステムは様々なものがあり、航空会社のパイロットが利用するフライトシミュレータや自動車運転教習所で運転技能向上に利用されるドライブシミュレータ等のような訓練用シミュレーションシステムはその典型的なものである。ＶＲ技術の向上によって、より現実に近いシミュレーションが可能になっているのが実情である。

また、近時、注目を集めているＨＭＤの良さは、視界全てを覆うことによる没入感にあるといわれている。ＨＭＤ装着者があたかも仮想世界にいる、という臨場感を体感可能としているからである。このＨＭＤを利用することで訓練用シミュレータの活用の幅も広がりをみせてきている。

しかしながら、三次元立体視では、乗り物酔いに似た症状が出る傾向が強いものである。これは、利用者が例えば椅子に座った姿勢で激しく動くＶＲ映像を見ると、人体の感覚は「動いていない」という情報が送られているのにもかかわらず、脳では映像から「動いているはずだ」という認識をしてしまい、混乱を起こすことによるためである。このために酔いの症状が現れ、健康被害の虞があるものである。

また、ＨＭＤは視界を全て覆うため、実際の周囲の環境を把握できない虞が大きいものである。装着者が見ているＨＭＤに表示されている画像は仮想空間をＣＧで再現したものであり、実際の装着者の周りにある環境とは異なるものである。例えば、６畳程度の狭い部屋でＶＲ体験を行う際、１００畳以上の広い仮想空間を生成すれば、装着者が広い空間にいる意識で走り回ると、実際の壁に激突してしまう虞がある。このようなことを回避するため、現状では装着者には椅子等に座って定点位置にて動かないようにすることが求められている。このことが酔いの症状を生むことにもなり、ＨＭＤの利用範囲を狭めることにもなっている。

本発明は、上記事情を考慮してなされたもので、上述不具合を解消し、体感者が定点に位置することを前提とせず体感者自らが動き回って仮想空間を体感可能とする画像表示型シミュレーションサービス提供システム、及び画像表示型シミュレーションサービス提供方法を提供することを目的とする。
また、本発明は、三次元立体視特有の映像酔い症状を解消するとともに、現実空間と仮想空間を組合せて画像表示することにより、現実世界に於ける利用上の危険を回避可能とする画像表示型シミュレーションサービス提供システム、及び画像表示型シミュレーションサービス提供方法を提供することを目的とする。

本発明は、上記目的を達成するために以下の通りの構成とすることを特徴とする。

（１） 各種画像情報を格納する画像情報記憶手段と、この画像情報記憶手段から任意の画像情報を抽出する画像情報抽出手段と、この画像情報抽出手段から抽出された上記任意の画像情報を参照して三次元仮想画像情報を生成する三次元仮想画像情報生成手段と、この三次元仮想画像情報生成手段にて生成された三次元仮想画像情報と現実の画像情報とを合成処理して合成画像情報として生成する合成画像情報生成手段とを具備するシミュレーション管理装置と、
人物や物体の位置や姿勢を時間連続的に計測し当該計測情報を上記シミュレーション管理装置に送出可能なモーションキャプチャ装置と、
上記シミュレーション管理装置から送出されてくる合成画像情報を出力表示する画像表示装置と、
この画像表示装置に設けられ、少なくとも当該画像表示装置の前方を撮影可能とし、当該撮影画像情報を上記シミュレーション管理装置に送出可能な撮影装置とから構成される画像表示型シミュレーションサービス提供システムであって、
上記シミュレーション管理装置の上記合成画像情報生成手段は上記撮影装置から送出されてくる撮影画像情報を上記現実の画像情報として認識するとともに上記モーションキャプチャ装置から送出されてくる計測情報に基いて合成画像情報を生成し、上記画像表示装置は当該合成画像情報を出力表示するように構成したことを特徴とする。

（２） 上記（１）の構成にあって、上記モーションキャプチャ装置は、光学センサ式、慣性センサ式、超音波センサ式または磁気センサ式のモーションキャプチャ機能を有するよう構成したことを特徴とする。

（３） 本発明の画像表示型シミュレーションサービス提供方法は、予め作成されたまたは撮影された各種画像情報の中から任意の画像情報を抽出し、この抽出された任意の画像情報を参照して三次元仮想画像情報を生成し、モーションキャプチャ装置により人物や物体の位置や姿勢を時間連続的に計測し、このモーションキャプチャ装置からの計測情報を参照して当該モーションキャプチャ装置の計測対象にて現実にカメラ撮影した画像情報と上記三次元仮想画像情報とを合成処理して合成画像情報を生成し、表示装置にこの合成画像情報を出力表示するようにしたことを特徴とする。

（４） 上記（３）の構成にあって、上記表示装置に設けられた撮影装置により当該撮影装置前方の撮影情報を上記現実にカメラ撮影した画像情報とし、上記計測対象に装着される表示装置に上記合成画像情報が出力表示されるようにしたことを特徴とする。

上記構成によれば、体感者（計測対象）が定点に位置することなく体感者自らが動き回って仮想空間を体感できるものである。
また、上記構成によれば、体感者が定点に位置する必要がないため、三次元立体視特有の映像酔い症状を解消するとともに、現実空間と仮想空間を組合せて画像表示することにより、現実世界に於ける利用上の危険を回避可能とするものである。
さらに、上記構成によれば、大規模なシミュレータ設備を必要とせず実現できるので、経済的且つ実用的に極めて有用なものである。

本発明によれば、定点に位置することなく体感者自らが動き回って仮想空間を体感できるものである。
また、本発明によれば、三次元立体視特有の映像酔い症状を解消するとともに、現実空間と仮想空間を組合せて画像表示することにより、現実世界に於ける利用上の危険を回避可能とし、実用的に優れた効果を奏するものである。

本発明の一実施形態に係わる画像表示型シミュレーションサービス提供システムの全体構成を概念的に示す図である。 同実施形態に係わり、シミュレーション管理装置の概略構成を示す図である。 同実施形態に係わり、画像表示装置と撮影装置の概観構成を模式的に示す図であり、（ａ）は正面側からの、（ｂ）は左側面側からの図である。 同実施形態に係わり、画像表示型シミュレーションサービス提供方法の全体の処理のおおよその流れを示す図である。 同実施形態に係わり、光学センサ式のモーションキャプチャ装置による位置情報取得の様子を模式的に示す図である。 同実施形態に係わり、光学センサ式のモーションキャプチャ装置による位置情報取得の処理の流れを示す図である。 同実施形態に係わり、慣性センサ式のモーションキャプチャ装置による位置情報取得の様子を模式的に示す図である。 同実施形態に係わり、慣性センサ式のモーションキャプチャ装置による位置情報取得の処理の流れを示す図である。 同実施形態に係わり、超音波センサ式のモーションキャプチャ装置による位置情報取得の様子を模式的に示す図である。 同実施形態に係わり、超音波センサ式のモーションキャプチャ装置による位置情報取得の処理の流れを示す図である。 同実施形態に係わり、合成画像の生成方法を模式的に示す図である。

以下、本発明の一実施形態につき、図面を参照して説明する。

本実施形態に係わる画像表示型シミュレーションサービス提供システム１０は、シミュレーション管理装置１００、モーションキャプチャ装置２００、画像表示装置３００、撮影装置４００及び操作装置５００とから構成される。本システム１０では、画像表示装置３００としてＨＭＤを採用し、このＨＭＤを装着する人物（計測対象、即ち体感者）の位置をリアルタイムで検出するモーションキャプチャ装置２００を組合せて、仮想空間（バーチャル空間）で例えばマンション等の集合住宅のモデルルームを体感できるようにしたものである。

シミュレーション管理装置１００は、図２に示すように中央制御処理部１１０、入力部１２０、出力部１３０、記憶部１４０、画像情報抽出部１５０、三次元仮想画像情報生成部１６０及び合成画像情報生成部１７０とからなり、夫々が信号性１８０を介して接続されている。

中央制御処理部１１０は、記憶部１４０に格納された所定のプログラム情報を参照してシステム全体の制御処理を司る機能を有する。また、中央制御処理部１１０は、外部から送出されてくる情報を入力部１２０を介して受信し記憶部１４０に格納させ、記憶部１４０に格納される情報や入力部１２０からの入力情報を出力部１３０を介して外部に送出させる機能を有する。

入力部１２０は、中央制御処理部１１０の管理下で、外部から送出されてくる情報を受信し記憶部１４０に格納する機能を有する。例えば、モーションキャプチャ装置２００や撮影装置４００から送出されてくる情報を受信し、記憶部１４０に格納するよう構成されている。また、入力部１２０は、中央制御処理部１１０の管理下で、内設するキーボード等からのキー入力による入力情報を記憶部１４０に格納する機能を有する。

出力部１３０は、中央制御処理部１１０の管理下で、記憶部１４０に格納された各種情報を出力したり外部へ送出等する出力機能を有する。例えば、記憶部１４０に格納された合成画像情報を画像表示装置３００に送出するよう機能構成されている。

記憶部１４０は、リード／ライト可能なメモリ装置である。この記憶部１４０は、プログラム情報格納領域１４０ａ、画像情報格納領域１４０ｂ、撮影情報格納領域１４０ｃ、合成画像情報格納領域１４０ｄ、計測情報格納領域１４０ｅ及び作業領域１４０ｆ等を内設している。

而してプログラム情報格納領域１４０ａは、中央制御処理部１１０が各種制御処理・管理をするために参照するプログラム情報を格納するための記憶領域である。

画像情報格納領域１４０ｂは、予め撮影または作成された各種画像情報を格納するための記憶領域である。また、画像情報格納領域１４０ｂは、各種画像コンテンツ情報やメニュー情報等を格納する記憶領域でもある。

撮影情報格納領域１４０ｃは、撮影画像情報を格納するための記憶領域である。即ち、撮影装置４００にて撮影され入力部１２０を介して送出されてくる撮影画像情報を格納するための記憶領域である。

合成画像情報格納領域１４０ｄは、合成画像情報を格納しておくための記憶領域である。即ち、合成画像情報生成部１７０にて生成された合成画像情報が格納される記憶領域である。

計測情報格納領域１４０ｅは、モーションキャプチャ装置２００にて時間連続的に計測された人物や物体の位置や姿勢に関する計測情報を格納するための記憶領域である。

作業領域１４０ｆは、内設する情報や送出されてくる情報に関し、各種作業を行うための領域である。

画像情報抽出部１５０は、中央制御処理部１１０の管理下で、記憶部１４０の画像情報格納領域１４０ｂに格納された画像情報の中から、入力部１２０を介して送出されてくる情報に基いて任意の画像情報を抽出する機能を有するものである。

三次元仮想画像情報生成部１６０は、中央制御処理部１１０の管理下で、画像情報抽出部１５０にて抽出された任意の画像情報を参照して三次元仮想画像情報を生成する機能を有するものである。ここで、生成される三次元仮想画像情報は、右目用及び左目用の三次元仮想画像情報を二つ一組として生成されるものである。

合成画像情報生成部１７０は、中央制御処理部１１０の管理下で、三次元仮想画像情報生成部１６０にて生成された三次元仮想画像情報と現実の画像情報とを合成処理して合成画像情報として生成する機能を有するものである。即ち、合成画像情報生成部１７０は、撮影装置４００にて撮影された撮影画像情報を現実の画像情報として認識し、モーションキャプチャ装置２００から送出されてくる計測情報に基いて三次元仮想画像情報生成部１６０にて生成された三次元仮想画像情報と撮影装置４００からの撮影画像情報とを同期して合成処理し、当該合成処理して生成した合成画像情報を合成画像情報格納領域１４０ｄに格納するものである。ここで、生成される合成画像情報は、右目用及び左目用の合成画像情報を二つ一組として生成されるものである。

斯様にして生成された合成画像情報は、中央制御処理部１１０の管理下で、シミュレーション管理装置１００が出力部１３０を介して画像表示装置３００に送出するよう構成されている。

モーションキャプチャ装置２００は、人物や物体の位置や姿勢を時間連続的にデジタル計測する機能を有し、画像表示装置３００の位置情報を検出して当該計測情報をシミュレーション管理装置１００に送出するよう構成されている。このモーションキャプチャ装置２００は、非接触型の光学式の複数のモーションキャプチャカメラ２０２と画像表示装置３００に取付けられたマーカ（センサ）２０４を有するよう構成されている。

なお、本実施形態では光学センサ式のモーションキャプチャ装置を用いているが、慣性センサ式のモーションキャプチャ装置、超音波センサ式または磁気センサ式の非接触型のモーションキャプチャ装置を用いてもよいことは勿論である。

画像表示装置３００は、装着者（体感者）が着脱自在に装着可能なＨＭＤであり、シミュレーション管理装置１００から送出されてくる合成画像情報を出力表示する機能を有する。

撮影装置４００は、右目用カメラ４２０及び左目用カメラ４４０を有し画像表示装置３００の前方部位に設けられて、画像表示装置３００の前方を撮影可能なものである。撮影装置４００による撮影画像情報は、シミュレーション管理装置１００に送出されるよう構成されている。而して装着者が画像表示装置３００を装着すると、右目用カメラ４２０は装着者の右目前方に、左目用カメラ４４０は装着者の左目前方に位置することになる。

操作装置５００は、画像表示装置３００の装着者（体感者）が操作可能なライト機能やハンドカメラ機能を有し、撮影画像情報をピクチャーインピクチャーとして画像表示装置３００の映像画像中に表示可能とする機能を有するものである。

なお、画像表示型シミュレーションサービス提供システム１０では、装着者以外の第三者は別モニターにて、同時に画像表示装置３００の装着者が見ている画像情報を確認することができるよう機能構成されている。これにより、装着者が指摘する内容を第三者も見ながら情報共有することを可能となるよう機能構成されている。

上記構成につき、その作用を以下に説明する。

画像表示装置３００の装着者が画像表示装置３００に表示されるメニューの中から操作装置５００を介して所望のモデルルームを選択すると（図４のステップＳ１００参照）、シミュレーション管理装置１００の画像情報抽出部１５０が記憶部１４０の画像情報格納領域１４０ｂから該当する画像情報を抽出することになる（ステップＳ２００）。即ち、予め撮影または作成された該当するモデルルームの部屋の画像情報が用意されることになる。

同時に、モーションキャプチャ装置２００からの計測情報に基いて、右目の位置及び左目の位置が算出されることになる（ステップＳ３００）。

算出された右目及び左目の位置情報を参照して、抽出された画像情報に関し三次元仮想画像情報が作成されることになる（ステップＳ４００）。即ち、モデルルームでの装着者が相当する位置に於ける右目用及び左目用の三次元仮想画像情報が三次元仮想画像情報生成部１６０により夫々生成されることになる。

而して撮影装置４００から送出されてくる右目用及び左目用撮影画像情報を取得して（ステップＳ５００）、ステップＳ４００にて作成された右目用及び左目用の三次元仮想画像情報との画像合成処理が合成画像情報生成部１７０にて行われることになる（ステップＳ６００）。

合成された合成画像情報は、画像表示装置３００に送出されて出力表示されることになる（ステップＳ７００）。これにより、装着者は、あたかもモデルルーム内に位置しているよう体感できるものである。

ここで、装着者に動きがあると（ステップＳ８００のＹ）、ステップＳ３００に処理が移行し、あらたな画像合成処理がなされて出力表示されることになる。

また、操作装置５００が操作されると（ステップＳ８５０）、当該操作に応じた処理がなされるものである（ステップＳ９００）。

さて、光学センサ式のモーションキャプチャ装置２００の機能について、図５及び図６を参照して以下に詳述する。

光学センサ式のものは、例えば部屋の周囲に設置された複数のカメラ２０２により装着者Ａに取り付けたマーカ２０４を撮影し（図６のステップＳ６０２）、その画像を解析することによりマーカ２０４の位置情報を算出することになる（ステップＳ６０４）。而して当該位置情報から撮影装置４００の位置を算出するものである（ステップＳ６０６）。斯様にして算出された位置情報がステップＳ３００の位置情報取得処理に利用されることになる。
光学センサ式のモーションキャプチャ装置は、非常に正確なデータ取得が可能である。

光学センサ式のモーションキャプチャ装置は、例えば英国 Ｖｉｃｏｎ Ｍｏｔｉｏｎ Ｓｙｓｔｅｍｓ社、米国 Ｍｏｔｉｏｎ Ａｎａｌｙｓｉｓ社、米国 Ｎａｔｕｒａｌ Ｐｏｉｎｔ社から提供されている。

ところで、モーションキャプチャ装置は、光学センサ式のものの他に慣性センサ式のものや超音波センサ式のものが提供されている。

以下に、慣性センサ式のモーションキャプチャ装置の機能について、図７及び図８を参照して説明する。

慣性センサ式のものは、例えば装着者Ｂの身体に慣性センサ２０６を複数個装着し、各センサ２０６の移動量を受信し（図８のステップＳ８０２）、受信した移動量から装着者Ｂの動きの位置情報を算出する（ステップＳ８０４）。而して当該位置情報から撮影装置４００の位置を算出するものである（ステップＳ８０６）。斯様にして算出された位置情報がステップＳ３００の位置情報取得処理に利用されることになる。
慣性センサ式のモーションキャプチャ装置は、使用場所に制限がなく、予め設定された場所ではなく、所望の場所での使用が可能である。

例えば慣性センサ式のモーションキャプチャ装置は、オランダ Ｘｓｅｎｓ社からＭＶＮモーションキャプチャシステムとして提供されている。

続いて、超音波センサ式のモーションキャプチャ装置の機能について、図９及び図１０を参照して説明する。

超音波センサ式のものは、例えば部屋の天井等に超音波発信機２０８を複数個設置して、装着者Ｃの身体に装着した超音波受信機２１０にて超音波発信機２０８からの超音波を受信し、（図１０のステップＳ１００２）、受信した超音波信号の位相差により受信機の位置情報を算出する（ステップＳ１００４）。而して当該位置情報から撮影装置４００の位置を算出するものである（ステップＳ１００６）。斯様にして算出された位置情報がステップＳ３００の位置情報取得処理に利用されることになる。
超音波センサ式のモーションキャプチャ装置は、光学センサ式よりも設置に手間がかからず移動も容易に可能であり、また慣性センサ式よりも高い精度で位置情報を算出できるものである。

ところで、ステップＳ６００に於ける合成処理について、モデルルームを例に以下に説明する。

例えば光学センサ式処理により算出された位置情報からＨＭＤ装着者の目の位置情報が算出される。そして、この算出された目の位置に対応したＣＧ画像を生成することになる。ここでは、モデルルーム内に配置する家具などをＣＧで生成する（図１１の（ａ）参照）。

画像表示装置３００の前方部位に設けられた撮影装置４００のカメラ４２０，４４０は、装着者の目の位置と合致するよう構成されているので、カメラ４２０，４４０で撮影する画像は実際に目で見る画像と一致することになる。ここでは、実際の室内の風景が撮影されることになる（図１１の（ｂ）参照）。

生成されたＣＧ画像とカメラ撮影された実際の画像は解像度を一致させてあるので、画素毎に重ね合わせることで合成画像を得られる。而して画像表示装置３００に表示出力されて装着者は体感することになる（図１１の（ｃ）参照）。

上記実施形態によれば、ＨＭＤ装着者（体感者）が定点に位置することなく体感者自らが動き回って仮想空間を体感できるものである。しかも、体感者が定点に位置する必要がないため、三次元立体視特有の映像酔い症状を解消できるものである。また、現実空間と仮想空間を組合せて画像表示するようにしたので、現実世界に於ける利用上の危険を回避できるものである。加えて、色々な場面を想定した空間を体感できるので、極めて有用なものである。

例えば不動産販売店の会議室や応接室のように、販売物件とは全く異なる間取りの部屋であっても、本システムを利用することにより、マンションの部屋をバリエーション毎に確認することが可能となるものである。その際、実際の会議室や応接室にはテーブルや椅子等が設置されており、これらを認知できないと体感者が衝突する虞がある。このような事態を回避するために、本システムでは、カメラで撮影する会議室や応接室の画像とＣＧで生成するマンション物件のＣＧ画像を合成して表示出力することで、その危険を回避できることになる。

さらに、上記実施形態によれば、従来のような大規模なショウルームや展示場を用意する必要もなく、また大規模なシミュレータ設備を必要とせず小規模空間で実現できるので、経済的且つ実用的に極めて有用なものである。

本発明は上記実施形態に限定されることなく、本発明の要旨を逸脱しない限り種々の変形が可能なことは勿論である。

１０ …画像表示型シミュレーションサービス提供システム
１００ …シミュレーション管理装置
１４０ …記憶部
１４０ｂ…画像情報格納領域
１４０ｃ…撮影情報格納領域
１４０ｄ…合成画像情報格納領域
１４０ｅ…計測情報格納領域
１５０ …画像情報抽出部
１６０ …三次元仮想画像情報生成部
１７０ …合成画像情報生成部
２００ …モーションキャプチャ装置
２０２ …カメラ
２０４ …マーカ
３００ …画像表示装置
４００ …撮影装置
４２０ …右目用カメラ
４４０ …左目用カメラ
５００ …操作装置

Claims (4)

1. 各種画像情報を格納する画像情報記憶手段と、この画像情報記憶手段から任意の画像情報を抽出する画像情報抽出手段と、この画像情報抽出手段から抽出された上記任意の画像情報を参照して三次元仮想画像情報を生成する三次元仮想画像情報生成手段と、この三次元仮想画像情報生成手段にて生成された三次元仮想画像情報と現実の画像情報とを合成処理して合成画像情報として生成する合成画像情報生成手段とを具備するシミュレーション管理装置と、
   人物や物体の位置や姿勢を時間連続的に計測し当該計測情報を上記シミュレーション管理装置に送出可能なモーションキャプチャ装置と、
   上記シミュレーション管理装置から送出されてくる合成画像情報を出力表示する画像表示装置と、
   この画像表示装置に設けられ、少なくとも当該画像表示装置の前方を撮影可能とし、当該撮影画像情報を上記シミュレーション管理装置に送出可能な撮影装置とから構成される画像表示型シミュレーションサービス提供システムであって、
   上記シミュレーション管理装置の上記合成画像情報生成手段は、上記撮影装置から送出されてくる撮影画像情報を上記現実の画像情報として認識するとともに、上記モーションキャプチャ装置から送出されてくる計測情報に基いて合成画像情報を生成し、
   上記画像表示装置は、当該合成画像情報を出力表示するようにしたことを特徴とする画像表示型シミュレーションサービス提供システム。
2. 上記モーションキャプチャ装置は、光学センサ式、慣性センサ式、超音波センサ式または磁気センサ式のモーションキャプチャ機能を有することを特徴とする請求項１記載の画像表示型シミュレーションサービス提供システム。
3. 予め作成されたまたは撮影された各種画像情報の中から任意の画像情報を抽出し、
   この抽出された任意の画像情報を参照して三次元仮想画像情報を生成し、
   モーションキャプチャ装置により人物や物体の位置や姿勢を時間連続的に計測し、
   このモーションキャプチャ装置からの計測情報を参照して、当該モーションキャプチャ装置の計測対象にて現実にカメラ撮影した画像情報と上記三次元仮想画像情報とを合成処理して合成画像情報を生成し、
   この合成画像情報を出力表示するようにしたことを特徴とする画像表示型シミュレーションサービス提供方法。
4. 上記計測対象に装着される表示装置に上記合成画像情報が出力表示され、
   上記表示装置に設けられた撮影装置により当該撮影装置前方の撮影情報を上記現実にカメラ撮影した画像情報としたことを特徴とする請求項３記載の画像表示型シミュレーションサービス提供方法。