JPH06176131A - 画像合成装置及びこれを用いた仮想体験装置 - Google Patents

Abstract

(57)【要約】 【目的】 実空間映像と仮想空間画像とを合成表示する
こと等により、仮想世界をより現実世界に近づけること
ができる画像合成装置及びこれを用いた仮想体験装置を
提供すること。 【構成】 画像表示装置２０は、プレーヤ５０の視野を
覆うように装着されている。また、プレーヤ５０には、
プレーヤ５０から見える実空間映像１００を撮影する映
像カメラ１０も装着されている。更に、プレーヤ５０の
３次元情報はプレーヤ用の空間センサ１２により検出さ
れる。仮想視界画像演算装置７０では、操作部３８から
の操作信号及びプレーヤ用の空間センサ１２からの検出
信号に基づいて、仮想３次元空間及び仮想３次元空間に
おけるプレーヤ５０から見える仮想視界画像１０２を画
像演算している。そして、この仮想視界画像１０２は、
表示画像合成装置８０により、映像カメラ１０で撮影さ
れた実空間映像１００と画像合成され、表示画像１０４
として画像表示装置２０に出力される。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、実空間映像と仮想空間
画像とを合成表示する画像合成装置及びこれを用いた仮
想体験装置に関する。

【０００２】

【背景の技術】近年、ドライブシュミレータ、フライト
シュミレータ、ゲーム装置、システムキッチンの疑似体
験システム等の分野で、いわゆる仮想現実と呼ばれるシ
ステムを用いた各種の仮想体験装置が提案されている。
そして、この種の仮想体験装置いおいては、いかにして
仮想世界を現実の世界に近づけるかが、最も大きな技術
的課題となっている。

【０００３】ところで、この仮想現実と呼ばれる世界を
体験させるための画像表示装置として、例えば頭部装着
型ディスプレーと称される装置が知られている。この頭
部装着型ディスプレーと呼ばれる装置は、液晶ディスプ
レー等の表示装置を操作者、例えばゲームにおけるプレ
ーヤの視野を覆うようにプレーヤの目の前に取り付ける
ことで構成される。そして、この頭部装着型ディスプレ
ーには、空間センサと呼ばれる装置が取り付けられ、こ
れによりプレーヤの３次元情報を検出させる。そして、
この空間センサからの検出信号に応じた映像を生成し、
これを頭部装着型ディスプレーの表示装置に表示してや
ることで、例えば普段何気なく行っている見回すという
ような動作を、仮想空間において、現実空間と同じよう
な臨場感で体験することができることとなる。

【０００４】しかし、この頭部装着型ディスプレーと呼
ばれる装置を、例えばドライビングゲームに使用したと
すると、以下のような問題が生じることが判明した。

【０００５】即ち、この頭部装着型ディスプレーでは、
プレーヤの視界範囲は全て液晶ディスプレー等で覆われ
てしまう。従って、プレーヤが実際に操作をしている現
実の世界におけるハンドル、ギア、操作パネル、プレー
ヤ自身の手足、周りの人の様子などを実際に見ることが
できない。この結果、ハンドル、ギア等の操作ミスを起
こし、操作感覚がいまいちであるという問題が判明し
た。更に、操作パネルに表示されるスピード計、タコメ
ータなどを見ることができず、臨場感に欠けるといった
問題も判明した。

【０００６】これを、防止する手法として、例えば、ハ
ンドル、ギア、操作パネルなどを全てコンピュータグラ
フィックにして、プレーヤに見せるという手法も考えら
れる。しかし、コンピュータグラフィックにより再現さ
れる映像は、あくまで仮想的なものにすぎず、現実の世
界において見えるハンドル、ギア等を完全に再現するこ
とはできない。特に、近年は、この種のドライビングゲ
ームにおいては、例えば実際のフォーミュラーレースな
どで使用されるレーシングカーの車体を、ゲーム施設内
に設置して、プレーヤに実際のレーシングカーに乗って
いるように感じさせ、臨場感、現実感を高めるという傾
向にある。ところが、前記したコンピュータグラフィッ
クによって車体を再現する手法によっては、このような
実際の車体を設置することにより得られる臨場感、現実
感を演出することができない。

【０００７】以上のように、従来の頭部装着型ディスプ
レーと呼ばれる画像表示装置では、実際には現実の空間
において見えるべき実映像を使用した方のが好ましい場
合においては、仮想世界を現実世界に近づけるといった
技術的課題の達成が不十分であった。

【０００８】また、この頭部装着型ディスプレーと呼ば
れる装置を、例えばロールプレイングゲームに使用した
とすると、以下のような問題が生じることが判明した。

【０００９】即ち、この頭部装着型ディスプレーでは、
空間センサはプレーヤの位置、向いている方向のみを検
出するものであった。従って、例えば対戦型のロールプ
レイングゲームにこれを使用した場合、プレーヤが持っ
ている対戦用武器がどのような位置にあり、どのような
方向を向いているかを正確に認識することができず、あ
る特定のプレーヤが敵のキャラクターを倒したかどうか
を正確かつ完全に判定することが困難であった。この結
果、例えば対戦用武器がいわゆる戦闘用の剣であった場
合、また、対戦用武器がいわゆる戦闘用の銃であり、こ
れにより狙う標的がかなり小さいものである場合など、
正確に戦闘結果を判定することが困難であるといった問
題が生じた。

【００１０】この結果、従来の頭部装着型ディスプレー
と呼ばれる画像表示装置を、例えば対戦型のロールプレ
イングゲームに使用した場合、その戦闘結果を正確に判
定することができず、前記した仮想世界を現実世界に近
づけるといった技術的課題の達成が不十分であった。

【００１１】本発明は、以上のような課題に鑑みてなさ
れたものであり、実空間映像と仮想空間画像とを合成表
示すること等により、仮想世界をより現実世界に近づけ
ることができる画像合成装置及びこれを用いた仮想体験
装置を提供することにある。

【００１２】

【課題を解決するための手段】前記目的を達成するため
に本発明に係る画像合成装置は、操作者の視野を覆うよ
うに装着される画像表示手段と、操作者に装着され、操
作者から見える実空間映像を撮像する撮像手段と、操作
者の実３次元空間における３次元情報を検出する操作者
用空間センサと、前記操作者用空間センサからの検出信
号に基づいて、前記実３次元空間と重ね合わせて設定さ
れる仮想３次元空間を演算し、仮想３次元空間における
操作者から見える仮想視界画像を画像演算する仮想視界
画像演算手段と、前記仮想視界画像と前記撮像手段で撮
像される実空間映像とを表示画像として画像合成する表
示画像合成手段と、を含み、前記画像表示手段に前記表
示画像を画像表示することを特徴とする。

【００１３】また、本発明に係る仮想体験装置は、操作
者が搭乗する搭乗体と、前記搭乗体に設けられ操作者が
操作信号を入力する操作部と、操作者の視野を覆うよう
に装着される画像表示手段と、操作者に装着され、操作
者から見える実空間映像を撮像する撮像手段と、操作者
の実３次元空間における３次元情報を検出する操作者用
空間センサと、前記操作部からの操作信号と前記操作者
用空間センサからの検出信号とに基づいて、前記実３次
元空間と重ね合わせて設定される仮想３次元空間を演算
し、仮想３次元空間における操作者から見える仮想視界
画像を画像演算する仮想視界画像演算手段と、前記仮想
視界画像と前記撮像手段で撮像される実空間映像とを表
示画像として画像合成する表示画像合成手段と、を含
み、前記画像表示手段に前記表示画像を画像表示し、操
作部による搭乗体の操作感覚を仮想的に体験できること
を特徴とする。

【００１４】更に、本発明に係る仮想体験装置は、プレ
ーヤがゲーム用キャラクターとの対戦用に用いる対戦用
武器と、プレーヤの視野を覆うように装着される画像表
示手段と、プレーヤに装着され、プレーヤから見える実
空間映像を撮像する撮像手段と、プレーヤの実３次元空
間における３次元情報を検出するプレーヤ用空間センサ
と、対戦用武器の実３次元空間における３次元情報を検
出する対戦武器用空間センサと、前記対戦武器用空間セ
ンサ及び前記プレーヤ用空間センサからの検出信号に基
づいて、前記実３次元空間と重ね合わせて設定されるゲ
ーム空間を表す仮想３次元空間を演算し、仮想３次元空
間におけるプレーヤから見える仮想視界画像を画像演算
する仮想視界画像演算手段と、前記仮想視界画像と前記
撮像手段で撮像される実空間映像とを表示画像として画
像合成する表示画像合成手段と、を含み、前記画像表示
手段に前記表示画像を画像表示し、対戦用武器によるゲ
ーム用キャラクターとの対戦を仮想的に体験できること
を特徴とする。

【００１５】この場合、前記仮想視界画像演算手段は、
所定のゲームプログラムと前記対戦武器用空間センサか
らの検出信号に基づき前記実３次元空間と重ね合わせて
設定されるゲーム空間を表す仮想３次元空間を演算する
仮想３次元空間演算部と、前記プレーヤ用空間センサか
らの検出信号に基づいて、プレーヤから見える仮想視界
画像を画像演算する視界画像演算部と、を含むことが望
ましい。

【００１６】

【作用】本発明に係る画像合成装置によれば、操作者用
空間センサに基づいて演算された仮想３次元空間におけ
る仮想視界画像に、操作者に装着された撮像手段により
撮像された実空間映像を、表示画像合成手段により画像
合成することができる。この結果、操作者は、プログラ
ム等で任意に設定される仮想３次元空間における仮想視
界画像に、実空間における実際の物体の画像を組み込ん
で見ることができるため、より現実世界に近いた仮想世
界を体験することができることとなる。

【００１７】また、本発明に係る仮想体験装置によれ
ば、前記した画像合成装置により、搭乗体や、搭乗体の
操作部等の実空間における画像を見ることができる。

【００１８】従って、これを例えばドライビングゲーム
に利用した場合には、自分自身の乗った本物の車を仮想
空間の中で自由に走らせることができるため、臨場感を
大幅に向上させることができることとなる。更に、従来
のドライビングゲームでは見ることができなかった例え
ば３６０度の全方向の映像を見ることができ、且つ、従
来の仮想体験装置では見ることができなかったハンド
ル、計器類等を見ながら運転できるため操作性が大幅に
向上することとなる。

【００１９】また、本発明に係る仮想体験装置によれ
ば、ゲーム用キャラクターとの対戦用に用いる対戦用武
器の３次元情報も空間センサにより検出することができ
る。従って、特定のプレーヤが敵のキャラクターを倒し
たか否かの判定を、正確に判定することができることと
なる。この結果、例えば複数のプレーヤで競い合って行
うゲームにおいて、各プレーヤの腕前を正確に判定する
ことができることとなり、ゲームの臨場感を大幅に向上
させることができることとなる。

【００２０】この場合、例えば、各プレーヤごとにゲー
ム成績を演算し、このゲーム成績に基づいてゲーム空間
を表す仮想次３元空間の設定を各プレーヤごとに変化さ
せれば、各プレーヤの腕前に応じたゲーム空間を提供で
き、繰り返しプレイしても飽きることのない仮想体験装
置を提供できることとなる。

【００２１】

【実施例】次に、本発明の好適な実施例について図面を
用いて詳細に説明する。 １．第１の実施例 図１には、本発明を用いた第１の実施例についてのブロ
ック図が示される。また、図２には、これをドライビン
グゲームに適用した仮想体験装置の一例が示される。

【００２２】図２（ａ）において、ゲーム用の本物のレ
ーシングカー３０は、内側が全てブルーの色に塗られた
ドーム１の中のフロア４の上に設置されている。ここ
で、このフロア４もドーム１の内側と同様に全てブルー
の色に塗られている。そして、このレーシングカー３０
には、操作者例えばゲームにおけるプレーヤ５０が搭乗
している。なお、操作者という場合には、ゲームにおけ
るプレーヤのみならず、例えばフライトシュミレータを
操作するパイロット、スポーツを行うプレーヤなど仮想
体験装置を利用する全ての者が含まれるとする。

【００２３】レーシングカー３０は、例えば、車両本体
３６、タイヤ３２、リアウイング３４、ハンドル４０、
サイドミラー４１、計器盤４４、シフトギア、アクセ
ル、ブレーキ（図示せず）等を含んで構成されている。
そして、例えばフロントタイヤ３２はプレーヤ５０のハ
ンドル４０の操作により自在に操舵されるように形成さ
れており、また、リアウイング３４も、プレーヤの操作
又はレーシングカー３０のスピードの変化等により上下
に動くように形成されている。そして、後述するよう
に、プレーヤ５０は映像カメラ１０によりこれらの動き
の変化を見ることができることとなる。

【００２４】計器盤４４は、例えばスピードメータ、タ
コメータ、燃料計、警告計（図示せず）を含んでおり、
プレーヤ５０の運転状態により変化するように構成され
ている。即ち、プレーヤ５０のアクセル操作、ブレーキ
操作、シフトギア操作に応じて、スピードメータ、タコ
メータが変化し、また、ゲーム終番になり燃料が尽きて
くると燃料計がこれを示すように構成される。更に、レ
ーシングカー３０のエンジン等にトラブルが生じると警
告計が点滅し、プレーヤ５０は映像カメラ１０によりこ
れを知ることができる。

【００２５】また、レーシングカー３０の下部には、姿
勢制御部２４が設けられ、ゲーム状況（路面変化、道路
の変化等）、プレーヤ５０のハンドル操作、アクセル操
作、ブレーキ操作に応じて、レーシングカー３０の姿勢
変化、加速変化が制御される。プレーヤ５０は、これに
より、姿勢変化、加速Ｇの変化を体感することができ、
より現実世界に近づいた仮想世界を体験することができ
ることとなる。

【００２６】プレーヤ５０には、頭部装着体９がプレー
ヤ５０の視界を覆うように装着されている。この頭部装
着体９は、映像カメラ１０、プレーヤ用の空間センサ１
２、画像表示装置２０、スピーカー２２を含んで構成さ
れている。

【００２７】図４（ａ）、（ｂ）には、この頭部装着体
９の形状の一例が示される。図４（ａ）は、映像カメラ
１０、プレーヤ用の空間センサ１２、画像表示装置２
０、スピーカ２２を、ヘルメット１４に設けて構成され
る装着体９が示される。このタイプの装着体によれば、
ヘルメット１４をプレーヤ５０が装着することにより外
部と完全に隔離した世界を作ることができるため、より
臨場感溢れる仮想現実を楽しむことができる。これに対
して図４（ｂ）に示す装着体９は、映像カメラ１０、プ
レーヤ用の空間センサ１２、画像表示装置２０、スピー
カ２２が、装着バンド１６に一体的に取り付けて構成さ
れているため、より軽快感溢れる装着感を実現すること
ができる。なお、本実施例に使用される装着体として
は、図４（ａ）、（ｂ）に示す形状のものに限らず種々
の形状のものを使用することが可能である。

【００２８】画像表示装置２０は、プレーヤ５０の視界
を覆うようにプレーヤ５０の目の前に取り付けられ、車
両本体３６に内蔵された画像合成装置から接続線１８を
通じて送られてくる画像信号を画像表示するものであ
る。この場合の画像表示方法としては、頭部装着体９を
小型化し装着感を向上させるべく、例えばカラー液晶デ
ィスプレー、小型ブラウン管等の小型のディスプレーを
用いることが望ましい。また、映像に目の焦点を合わせ
るべく、更に、視野角を広げて臨場感を向上させるべく
光学系により補正することが望ましい。

【００２９】ここで、小型ディスプレーの形状として
は、プレーヤ５０の顔の形状に沿ってプレーヤの視界を
覆うように形成し、パノラマ映像効果を得るような形状
としてもよいし、２つの小型ディスプレーをそれぞれプ
レーヤ５０の両眼の前に形成するような形状としてもよ
い。後者の場合は、両眼に与えられた平面的な２次元画
像に視差のある画像を与えること等により、３次元的な
立体感を与えるような形成することが望ましい。このよ
うに構成すれば、物体の大きさや、物体までの距離を把
握することができるようになるため、より現実世界に近
づいた仮想世界を作り出すことが可能となるからであ
る。

【００３０】映像カメラ１０は、プレーヤ５０が現実世
界を見るために使用するものであり、例えば図４に示す
ように、プレーヤ５０の視点位置（目の位置）に近い位
置に設定し、そのアングルもプレーヤ５０の視界方向と
一致するように設定することが望ましい。このように設
定すれば実際にプレーヤ５０から見える現実世界の映像
を、より違和感なく見ることができるからである。これ
により、例えば後ろから追いかけてくる他のプレーヤの
レーシングカーを、プレーヤ５０が実際に振り返るとい
う動作により確認することができ、より現実感があり、
緊張感のあるゲーム世界を作り出すことが可能となる。

【００３１】但し、この場合、頭部装着体９の例えば後
部にもう一台の映像カメラを取り付けて、プレーヤ５０
の操作によりこれを切り替えて見ることができるように
構成してもよい。更に、例えばレーシングカー５０にサ
イドミラー４１、バックミラー等を設けて、これに例え
ばテクスチャーマッピング等の手法を用いて、実際に後
ろに見えるべき映像を映し出すような構成としてもよ
い。

【００３２】映像カメラ１０として使用する撮像手段と
しては、例えば高解像でより小型なカメラ、例えば高解
像度ＣＣＤカメラ等を用いることが望まく、自動焦点合
わせ等の機能を持つものを用いることが望ましい。

【００３３】プレーヤ用の空間センサ１２、１２は、プ
レーヤ５０の３次元情報を検出するセンサであり、例え
ば一方側はドーム１の天井部に、他方側はプレーヤ５０
の頭部装着体９に取り付けられる。

【００３４】なお、ここでいうプレーヤ５０の３次元情
報とは、例えばプレーヤ５０の位置情報、視界方向情報
をいい、空間センサ１２、１２の３次元空間における方
向をも含めた相対位置関係を求めることにより検出され
る。但し、プレーヤ５０の位置が、ゲームの設定上、動
かないか、もしくは動いたとしても許容範囲内である場
合、この３次元情報には、必ずしもプレーヤ５０の位置
情報を含める必要はない。また、逆にプレーヤ５０の視
界方向が、ゲームの設定上、変更されることがないよう
な場合は、この３次元情報には、必ずしもプレーヤ５０
の視界情報を含める必要はない。これらの場合は、ゲー
ム上で設定される位置もしくは視界情報によりその後の
画像演算処理を行えばよい。

【００３５】空間センサ１２、１２による３次元情報の
検出手法としては、例えば以下の手法が考えられる。即
ち、それぞれの空間センサ１２、１２を互いに直交した
３つのコイルで構成する。そして、どちらか一方の空間
センサ１２のコイルに電流を流し、この時に他方の空間
センサ１２のコイルに誘起される電流値から、これらの
空間センサ１２、１２の方向を含めた位置関係を検出す
る。これによりプレーヤ５０の空間情報が検出されるこ
ととなる。

【００３６】なお、空間センサ１２、１２による３次元
情報の検出方法としては、上記の動磁界を利用したもの
に限らず、例えば、静磁界を利用したもの、超音波を利
用したものを用いてもよい。

【００３７】次に、本実施例による画像合成の手法につ
いて以下に説明する。

【００３８】本実施例では、図２（ｂ）に示すように、
映像カメラ１０で撮影した実３次元空間における実空間
映像１００と、仮想３次元空間における仮想視界画像１
０２とを画像合成して、表示画像１０４を形成してい
る。そして、この表示画像１０４は、接続線１８を通じ
て画像表示装置２０に出力され、実際にプレーヤ５０が
見る視界画像となる。

【００３９】この画像合成を、本実施例ではブルーマッ
ト合成により行っている。つまり、レーシングカー３０
及びその付属物、自分自身であるプレーヤ５０等、以外
のもの、即ちドーム１の内側及びフロア４を全てブルー
の色にしておく。このようにすると、実空間映像１００
において、レーシングカー３０、ハンドル４０、プレー
ヤの手５４以外は全てブルーの背景となる。そして、こ
の実空間映像１００のうちブルーの色の部分の画素を全
て空きドットに設定し、これに仮想視界画像１０２に重
ね合わることにより表示画像１０４を得ることができる
こととなる。この場合、例えばドーム１には主にプレー
ヤ５０から見えるサーキットの背景が、フロア４には、
レーシングカー３０が走っている道路の路面状況が映し
出される。

【００４０】この場合の画像合成装置の一例を示すブロ
ック図が、図１に示される。

【００４１】図１において仮想視界画像演算装置７０
は、仮想３次元空間においてプレーヤ５０が見ることが
できる仮想画像を演算するものであり、仮想３次元空間
演算部７２及び視界画像演算部７６とを含む。そして、
仮想３次元空間演算部７２は、実３次元空間と重ね合わ
せて設定されるゲーム空間を表す仮想３次元空間を演算
するものであり、視界画像演算部７６は、この演算され
た仮想３次元空間より、プレーヤ５０から見える方向に
おける仮想視界画像を演算するものである。

【００４２】プログラム部７４には、ゲーム用の演算プ
ログラムが格納されている。例えば、本実施例のドライ
ビングゲームを例にとれば、ドライビングゲーム空間を
構成するサーキット上のあらゆる物体（レーシングカ
ー、道路、他のレーシングカー、道路から見える背景
等）が多面体の組合せで表現され、この多面体の各頂点
の３次元情報及び付随データが画像情報として格納され
ている。なお、プログラム部７４には、これらのデータ
以外にもゲームの進行等を制御するプログラムも格納さ
れ、また、複数のサーキット走行を楽しめるものであれ
ば、これら全てのサーキット情報が格納されている。

【００４３】プレーヤ５０が、ハンドル４０、アクセ
ル、ブレーキ、シフトギアにより入力した操作信号は、
操作部３８を介して仮想３次元空間演算部７２に入力さ
れる。そして、この操作信号と前記したプログラム部７
４からの情報により、仮想３次元空間でのレーシングカ
ー３０の位置、方向がリアルタイムに演算される。そし
て、この演算結果に基づき、仮想３次元空間におけるレ
ーシングカー３０及びその周りのサーキット上のあらゆ
る物体の画像情報が、視界画像演算部７６に出力され
る。

【００４４】視界画像演算部７６では、プレーヤ用の空
間センサ１２より検出された３次元情報に基づき、以下
のような座標変換がなされる。即ち、図１２に示すよう
に、仮想３次元空間演算部７２により演算された画像情
報（例えば背景画面を構成する看板、ビル等の物体１７
０、１７２を表す画像情報）が、仮想３次元空間におけ
るワールド座標系（ＸW 、ＹW 、ＺW ）から、プレーヤ
５０の視点座標系（Ｘｖ、ＹV 、ＺV ）に座標変換され
る。そして、プレーヤ５０の視野外、例えば視野から外
れて後ろに通り過ぎて行く看板等の物体１７２の画像情
報はクリッピングされて除去され、視野内にある物体１
７０の画像情報はスクリーン座標系（ＸS 、ＹS ）、即
ち実際にプレーヤ５０から見える座標系に透視変換され
る。この場合、この透視変換された画像情報は、前記物
体を構成する多面体に対応するポリゴン１７４、１７
５、１７６（裏側のポリゴンは省略）の組合せとして表
現されている。次に、このポリゴン１７４、１７５、１
７６内の全てのドットの画像情報が、ポリゴン毎にもし
くはポリゴンの各頂点毎に与えられた色、輝度等の付随
情報を基に演算され、これが仮想視界画像情報として、
表示画像合成装置８０に出力されることとなる。

【００４５】表示画像合成装置８０では、視界画像演算
部７６からの仮想視界画像１０２と映像カメラ１０から
の実空間映像１００との画像合成が行われる。この画像
合成の手法としては種々の手法が考えられるが、本実施
例では前述したようにブルーマット合成による手法によ
って行っている。図１３には、この場合に表示画像合成
装置８０の詳細が示されている。

【００４６】即ち、図１３において、映像カメラ１０か
ら入力された実空間映像１００を表す画像信号は、表示
画像合成装置８０内においてまずフィルター２００に通
されＲＧＢの３原色の成分に分けられる。そして、これ
らの成分のそれぞれが例えば８ビットのデジタルデータ
に、Ａ／Ｄ変換回路２０２にてＡ／Ｄ変換され、これに
より各画素毎に２４ビットのＲＧＢデジタルデータが求
められる。そして、この実空間映像１００における各画
素の２４ビットのＲＧＢデジタルデータが、ドーム１の
裏側及びフロア４に塗られたブルーの色の２４ビットの
ＲＧＢデジタルデータと一致するか否かが、空きドット
判定回路２０４にて各画素毎に演算され、判断される。
そして、この判断結果は、空きドットメモリ２０６に書
き込まれる。空きドットメモリ２０６は、表示画像の全
ての画素に対応した１ビットメモリの構成となってお
り、各画素毎に空きドットか否かの空きドット判定デー
タが１ビットデータとして書き込まれる。

【００４７】表示画像合成装置８０には、表示画像の各
画素に対応したフィールドバッファ２１０が内蔵されて
いる。そして、データ制御部２０８により、空きドット
メモリ２０６に書き込まれている空きドット判定データ
が参照され、フィールドバッファ２１０の各画素位置に
実空間映像が書き込まれる。即ち、空きドット判定デー
タにより、その画素が空きドットであると判断された場
合は、フィールドバッファ２１０のその画素位置には、
実空間映像は書き込まれない。逆に、空きドット判定デ
ータにより、その画素が空きドットではないと判断され
た場合には、実空間映像の２４ビットのＲＧＢデジタル
データがそのまま書き込まれることとなる。

【００４８】次に、データ制御部２０８により、空きド
ットメモリ２０６に書き込まれている空きドット判定デ
ータが参照され、フィールドバッファ２１０の各画素位
置に、視界画像演算部７６により演算された仮想視界画
像情報が重ね書きされる。即ち、空きドット判定データ
により、その画素が空きドットであると判断された場合
は、仮想視界画像情報がそのまま書き込まれる。逆に、
空きドット判定データにより、その画素が空きドットで
はないと判断された場合には、なにも書き込まれず、こ
の画素位置には実空間映像が表示されることとなる。

【００４９】以上の書き込みを行なった後、データ制御
部２０８によりフィールドバッファ２１０から各画素位
置の画像情報データが読み出される。そして、この画像
情報データは接続線１８を通して画像表示装置２０に画
像出力され、プレーヤ５０は、実空間映像１００に仮想
視界画像１０２が組み込まれた表示画像１０４をリアル
タイムに見ることができることとなる。

【００５０】なお、以上の画像情報の書き込みと、読み
出しは、例えばフィールドバッファ２１０を２画面分の
構成とすることにより、同時に行うように構成すること
がより望ましい。

【００５１】また、仮想３次元空間演算部７２において
は、画像情報の演算のみならず、例えば、音声合成部７
８を通じてスピーカ２２より出力される音声信号、及
び、レーシングカー３０の姿勢を制御する姿勢制御信号
の生成も行っている。即ち、プログラム７４からのゲー
ムプログラム及び操作部３８からの操作信号により演算
された、ゲーム空間におけるゲーム進行状況に応じて、
より効果的な音声信号及び姿勢制御信号の生成を行い、
ゲームの臨場感をより一層高めている。

【００５２】また、本実施例では、仮想視界画像演算装
置７０を、仮想３次元空間演算部７２と視界画像演算部
７６とに分けたが、これは便宜的なものであり、例えば
３次元空間演算を行う機能と視界画像を演算する機能と
を一体となって行う手法によりこれを構成しても構わな
い。即ち、結果として、仮想３次元空間において、プレ
ーヤ５０から見える方向における仮想視界画像を得るこ
とができれば、演算順序、演算手法等は、図１に示す手
法に限らずあらゆる手法を用いることができる。

【００５３】また、表示画像合成装置８０における画像
合成の方法としては、上記したものに限らず、例えばブ
ルーではなくレッドを用いて画像合成したり、複数の色
を用いて画像合成したり、種々の手法を用いることがで
きる。

【００５４】また、視界画像演算部７６において、演算
されたポリゴン内の全てのドットの画像情報を求める手
法としては、前記したものに限らず、例えばテクスチャ
マッピングと呼ばれる手法を用いてもよい。即ち、仮想
３次元空間における物体の各頂点に、あらかじめはり付
けたいテクスチャ情報を指定するテクスチャ座標を与え
ておく。そして、前記した視点座標系への演算等を行っ
た後に、このテクスチャ座標をアドレスとして、テクス
チャ情報メモリよりテクスチャ情報を読みだし、これを
ポリゴンにはり付けることにより、ポリゴン内の全ての
ドットの画像情報を演算する。

【００５５】このようなテクスチャマッピングと呼ばれ
る手法を用いて画像情報を演算することにより、まず、
演算処理部分の負担を大幅に減らすことができるという
メリットが生じる。また、この他にも、この手法を用い
れば種々の今までにない画像効果を得ることもできる。
その例として例えば以下に挙げるものがある。

【００５６】即ち、レーシングカー３０に設けられたサ
イドミラー４１に映像カメラ４３を取り付ける。そし
て、図１４に示すように、この映像カメラ４３により撮
影される後方の実空間映像１０５と、後方の仮想視界画
像１０６とを画像合成してサイドミラー表示画像１０８
を形成し、このサイドミラー表示画像１０８を、プレー
ヤ５０から見える表示画像１０４のサイドミラー４１の
部分にテクスチャマッピング手法を用いてはり付ける。
このような構成とすれば、サイドミラー４１には、図２
（ｂ）に示す表示画像１０４と同様に、後方の実空間映
像１０５と後方の仮想視界画像１０６とが合成された画
像が表示されることとなる。これにより、例えば後ろか
ら追いかけてくる相手のプレーヤのレーシングカー３１
及び後方における背景画像と自分のレーシングカー３０
の実映像との合成画像を、サイドミラー４１により見る
ことができ、より現実世界に近づいた仮想世界を作り出
すことが可能となる。

【００５７】図１５には、テクスチャマッピング手法を
用いた映像効果のもう一つの例が示される。この例で
は、図１５（ａ）に示すように、それぞれ独立のドーム
内に、プレーヤ５０のレーシングカー３０及び相手プレ
ーヤ５２のレーシングカー３１が設置される。ドーム内
には映像カメラ２６が設置されており、これによりプレ
ーヤ５０、５２の頭部２８が四方から撮影される。そし
て、このプレーヤの頭部２８の撮影データを図１５
（ｂ）に示すように、仮想視界画像１０２上の相手プレ
ーヤ５２の頭部の部分に、テクスチャマッピング手法を
用いてはり付ける。このようにすれば、プレーヤ５０が
後ろを振り返って見た場合に、相手プレーヤの頭部の実
写映像を見ることができ、ゲームの臨場感を非常に高め
ることができる。特に、相手プレーヤ５２のレーシング
カー３１が自分のレーシングカー３０に追いつき横に並
んだときに、相手プレーヤ５２の勝利に誇った顔なども
見ることができ、各プレーヤの競争意識を刺激し、より
現実感、緊張感のあるゲームを提供できることとなる。

【００５８】なお、図１５では、４方向から映像カメラ
２６で各プレーヤの頭部２８を撮影する構成としたが、
少なくともプレーヤの頭部２８の正面からの映像情報が
あればよく、他の方向からの映像情報は、仮想３次元空
間演算部７０において作り出したものを用いてもよい。
また、各プレーヤの頭部２８の撮影手段は、映像カメラ
２６に限られるものではなく、例えばゲームプレイを始
める前に、静止画カメラにより撮影し、これを登録して
用いる構成としてもよい。

【００５９】図１６には、以上に述べたテクスチャマッ
ピング手法により、画像を合成するための簡単なブロッ
ク図の一例が示される。

【００６０】即ち、テクスチャマッピング手法により画
像を合成する場合には、視界画像演算部７６を、例えば
図１６に示すような構成にする。

【００６１】仮想３次元空間演算部７２より出力された
各物体の画像情報は、各物体を構成するポリゴンの頂点
座標ＶX 、ＶY 、ＶZ と、そのポリゴンの各頂点に与え
られたテクスチャ頂点座標ＶＴX 、ＶＴY 等とで表現さ
れている。ここで、テクスチャ座標ＴX 、ＴY は、各ポ
リゴンにはり付けるべきテクスチャ情報を指定するもの
で、このテクスチャ情報は、テクスチャ座標ＴX 、ＴY
をアドレスとしてテクスチャ記憶部３０８に格納されて
いる。そして、テクスチャ頂点座標ＶＴX 、ＶＴY は、
このテクスチャ座標ＴX 、ＴY のうち、各ポリゴンの頂
点位置におけるテクスチャ座標を表すものである。

【００６２】この頂点座標ＶX 、ＶY 、ＶZ 、及びテク
スチャ頂点座標ＶＴX 、ＶＴY 等は、頂点座標変換部３
００に入力される。そして、頂点座標変換部３００にお
いて、透視変換等の座標変換が行われ、その結果はソー
ティング回路３０２に出力される。ソーティング回路３
０２では、各ポリゴンの処理の優先度が設定される。優
先度は、例えばプレーヤの視点に近いポリゴンが優先的
に処理されるように設定され、以降の処理はこの優先度
にしたがって処理されることとなる。

【００６３】プロセッサ部３０４では、各ポリゴンの座
標変換後の頂点座標及びテクスチャ頂点座標から、ポリ
ゴン内の全てのドットの表示座標及びテクスチャ座標Ｔ
X 、ＴY が求められる。そして、この求められたテクス
チャ座標ＴX 、ＴY は前記した表示座標をアドレスとし
てフィールドバッファ部３０６に書き込まれる。

【００６４】画像表示する際には、このフィルードバッ
ファ部３０６からテクスチャ座標ＴX 、ＴY が読み出さ
れ、これをアドレスとしてテクスチャ記憶部３０８から
テクスチャ情報が読み出され、仮想視界画像が形成され
る。その後、表示画像合成装置８０にて、実空間映像と
の画像合成が行われる。

【００６５】以上の構成により、例えば以下に示す演算
処理により、サイドミラー４１にサイドミラー表示画像
１０８が映し出される。ここで、サイドミラー４１は、
例えばブルーの色に塗られており、この位置には画像合
成装置により演算された画像が映し出されるように設定
されている。

【００６６】この場合、まず図１４に示すサイドミラー
表示画像１０８の画像合成が行われる。即ち、図１６に
おいて、後方の仮想視界画像１０６の演算が仮想３次元
空間演算部７２及び視界画像演算部７６により演算され
る。また、後方の実空間映像１０５は映像カメラ４３に
より撮影される。そして、この後方の仮想視界画像１０
６と、後方の実空間映像１０５の画像合成が表示画像合
成装置８０により行われ、サイドミラー表示画像１０８
が画像合成されることとなる。

【００６７】次に、このサイドミラー表示画像１０８
は、図１６に示すようにテクスチャ記憶部３０８に戻さ
れる。そして、テクスチャ記憶部３０８の記憶エリアの
内、サイドミラー４１に対応するテクスチャ座標の位置
に、このサイドミラー表示画像１０８の画像情報が書き
込まれる。その後、このようにしてサイドミラー表示画
像１０８が表示された仮想視界画像１０２と、映像カメ
ラ１０により撮影された実空間映像１００との画像合成
が、表示画像合成装置８０により行われる。これによ
り、表示画像１０４のサイドミラー４１に、サイドミラ
ー表示画像１０８が表示された画像を形成することがで
きることとなる。

【００６８】また、図１６に示す構成により、相手プレ
ーヤの頭部の実映像を映し出す場合には、図１６に示す
ように映像カメラ２６により撮影された映像が、直接テ
クスチャ記憶部３０８に書き込まれる。即ち、テクスチ
ャ記憶部３０８の記憶エリアの内、相手プレーヤの頭部
に対応するテクスチャ座標の位置に、映像カメラ２６に
より撮影された映像データがリアルタイムに書き込まれ
る。これにより、プレーヤ５０から見える仮想視界画像
１０２に、相手プレーヤ５２の頭部の実映像が映し出さ
れた表示画像を得ることができることとなる。

【００６９】なお、静止画カメラにより撮影する構成と
する場合は、ゲーム開始前に登録する際に、このテクス
チャ記憶部３０８に相手プレーヤの写真が画像データと
して記憶されることとなる。

【００７０】また、本実施例におけるテクスチャマッピ
ング手法は図１６に示す構成のものに限られるものでは
なく、あらゆる手法のテクスチャマッピングを用いるこ
とができる。

【００７１】以上の構成の本実施例により、これまでの
ドライビングゲームでは体験できなかった、臨場感溢れ
るゲームを提供することができることとなった。

【００７２】即ち、まず、従来のドライビングゲームで
は、サーキット等を映し出すゲーム画面がプレーヤ５０
の前面にしか設定されていなかったため、いまひとつ臨
場感に欠けるところがあった。これに対して、本実施例
では、プレーヤ５０は例えば３６０度全方向を見ること
ができるため、ゲームの臨場感が大幅に向上する。特
に、例えば本実施例を複数プレーヤによるドライビング
ゲームに適用した場合、プレーヤ５０は、実際に振り返
えることにより、もしくは、前記した構成のサイドミラ
ー４１、バックミラーを使用することにより、追いかけ
てくる相手のプレーヤを確認できることとなり臨場感を
より増すことができる。この場合、前記したようにテク
スチャーマッピングで相手のプレーヤの実空間映像をは
り付ければ、更にゲームの現実感、緊張感を増すことが
可能となる。

【００７３】また、本実施例では、プレーヤ５０は、実
３次元空間における本物のレーシングカー３０に搭乗す
ることができ、しかも、その本物のレーシングカー３０
を、ゲーム用の仮想３次元空間で自由に走らせることが
可能となり、より現実世界に近づいた仮想世界を体験で
きることになる。即ち、プレーヤ５０は、実３次元空間
におけるレーシングカー３０、タイヤ３２、リアウイン
グ３４の動き、サイドミラー４１に写る相手プレーヤな
どを、映像カメラ１０を通じて実際に自分の目で確認し
ながらレーシングカー３０を操作することができる。更
に、このプレーヤ５０が操作する操作部、即ちハンドル
４０、計器盤４４、アクセル、ブレーキ、シフトギアな
ども、上記と同様に映像カメラ１０を通じて実際に自分
の目で確認しながら操作することができるため、操作性
が大幅に向上し、ゲームの現実感も大幅に向上すること
となる。また、この場合に、ゲーム状況に応じて、姿勢
制御部２４の制御、スピーカ２２に出力する音声を変化
されば、より、臨場感溢れるゲームを提供できることと
なる。

【００７４】図３には、本第１の実施例をフライトシュ
ミレータに適用した場合の仮想体験装置の一例が示され
る。

【００７５】図３（ａ）で、コックピット４５の中の右
側窓２、左側窓３には、ブルーの色をしたマット（以
下、ブルーマットと呼ぶ）が張り付けられ、このブルー
マットに前述した手法と同様の手法により、表示画像１
０４がはめ込まれる。この様子が図３（ｂ）に示され
る。ここで図３（ｂ）には、左側窓３方向の実空間映像
１００に仮想視界画像１０２をはめ込み、表示画像１０
４が合成される場合が示されている。

【００７６】この場合、表示画像１０４に映し出される
画像は、パイロット４６と教官４８とで異なったように
見えることになる。これは、仮想視界画像１０２は、プ
レーヤ用の空間センサ１２を用いて、パイロット４６、
教官４８のそれぞれの視界方向を検出して演算されてい
るからである。従って、教官４８には見えるがパイロッ
ト４６には見えないといった映像、即ち視界方向によっ
て異なるといった映像効果を作り出すことができ、より
現実感の増した仮想世界を実現できる。この点、従来の
方式、即ち、窓に単にＣＲＴディスプレーを設ける方
式、もしくは、ハーフミラーによりＣＲＴ画像を窓に映
し出す方式によっては、このような映像効果を作り出す
ことはできない。

【００７７】更に、本実施例では、パイロット４６は、
映像カメラ１０によりコックピット４５の中にある操作
盤４７、操縦桿４２、教官４８の顔などを見ながら飛行
機の操縦をシュミレートすることができる。従って、一
般に、複雑で操作しにくいといわれる飛行機の操作盤４
７を、映像カメラ１０により実際に自分の目で見ながら
操作できるため、操作ミスを劇的に減少させることがで
きる。

【００７８】即ち、例えば、これらの操作盤４７、操縦
桿４２等をも全て画像合成により作り出す方式による
と、パイロット４６にとっての操作感はいまいち現実感
に欠けるものとなる。しかも、この方式によると、パイ
ロット４６にデータグローブを装着させ、このデータグ
ローブからの操作信号に基づいて、操作盤４７、操縦桿
４２にパイロット４６がどのような操作を行ったかを検
出させる必要が生じ、システムの規模が膨大なものとな
ってしまう。そして、このようにシステムでは、その規
模が膨大であるにもかかわらず、パイロット４６の操作
感はいまいちであり、パイロット４６の操作ミスが多い
という欠点がある。

【００７９】この点、本実施例では、コックピット４５
は本物の飛行機のコックピットと同様の構造になってい
るため、このような不都合は生じない。更に、本実施例
では、隣にいる教官４８を見ることもできるため、教官
４８の指示なども的確に把握することができ、また、操
作ミスをした場合の教官４８の怒った顔なども見ること
ができ、より現実感の溢れるフライトシュミレーターを
実現できることとなる。 ２．第２の実施例 図５には、本第２の実施例についてのブロック図が示さ
れる。また、図６には、これをロールプレイングゲーム
に適用した仮想体験装置の一例が示される。

【００８０】図５に示すように、本第２の実施例は、本
第１の実施例のうち操作部３８を、敵キャラクターとの
対戦用武器５８に変更し、また、この対戦用武器５８に
対戦武器用空間センサ６４を取り付け、更に、仮想３次
元空間演算部７２にゲーム成績演算部６８を内蔵させた
ものである。

【００８１】本第２の実施例を適用したロールプレイン
グゲームは、図６（ａ）に示すように示すような設定、
即ち、対戦用武器５８、例えば剣６０を所持した複数の
プレーヤ５０、５２等がチームを組んで敵キャラクター
６６を倒すという設定となっている。そして、それぞれ
のプレーヤは、本第１の実施例と同様の構成の頭部装着
体９を装着しており、画像表示部２０に映し出された表
示画像１０４を見ながら、ゲームプレイを行っている。

【００８２】アトラクションルーム１１０は、その内側
が全てブルーの色に塗られており、これにより前述した
ようなブルーマット合成が可能となる。また、アトラク
ションルーム１１０の天井部には、プレーヤ５０等の３
次元情報を検出する空間センサ１２及び対戦用武器であ
る剣６０の３次元情報を検出する空間センサ６４が取り
付けられている。このアトラクションルーム１１０は、
プレーヤが実際にゲームプレイをするゲーム空間とほぼ
同面積の空間となっており、プレーヤ５０、５２等をこ
のアトラクションルーム１１０を自分自身で歩きなが
ら、敵キャラクター６６を倒してゆくこととなる。

【００８３】図６（ｂ）において、実空間映像１００
は、プレーヤ５０に取り付けられた映像カメラ１０から
の映像であり、同図に示すように、この実空間映像１０
０には、ブルーのアトラクションルーム１１０を背景と
して、自分自身の手５４、目の前にいる第２のプレーヤ
５２等が映し出される。この画像に、前記本第１の実施
例と同様の手法により作り出された仮想視界画像１０２
を画像合成し、表示画像１０４を作り出している。この
場合、仮想視界画像１０２には、敵キャラクタ６６の他
に、ゲーム空間を構成する迷路、ドア、床等も共に表示
される。

【００８４】このような構成とすることにより、プレー
ヤ５０は、表示画像１０４を見ながら、第２のプレーヤ
５２と組みながら敵キャラクター６６を倒すことが可能
となる。この場合、第２のプレーヤ５２との連絡は、例
えばスピーカ２２を通じて行う。また、敵キャラクタ６
６を倒したか否かの判定は、剣６０に取り付けられた対
戦武器用空間センサ６４により行う。

【００８５】即ち、対戦武器用空間センサ６４、６４に
より、３次元情報、例えば剣６０の位置及び方向を検出
する。そして、この剣６０の３次元情報を基に、図５に
示す仮想３次元空間演算部７２により、剣６０による敵
キャラクター６６への攻撃が成功したか否かが正確に演
算される。そして、成功した場合には、ゲーム空間おけ
る敵キャラクター６６を消滅させる等して、これをリア
ルタイムにプレーヤ５０、５２等の画像表示装置２０に
表示する。この結果、各プレーヤは、敵キャラクタ６６
が倒れたか否かを確認でき、倒れた場合には、新たな敵
キャラクタ６６を倒すべく次の迷路へと進むこととな
る。このように、本実施例では、プレーヤ５０、５２等
の腕前によって、形成されるゲーム空間のゲーム進行を
変えることが可能となり、繰り返しプレイしても飽きる
ことのない仮想体験装置を提供できることとなる。

【００８６】なお、本実施例では、各プレーヤのゲーム
成績、即ち敵キャラクター６６を倒した数などが、前記
した対戦用空間センサ６４からの３次元情報を基に、ゲ
ーム成績演算部６８を用いて演算され、この成績も各プ
レーヤの画像表示装置２０等に出力される。これによ
り、ゲーム終了後、もしくはゲーム中にリアルタイム
で、各プレーヤのゲーム成績、チーム毎のゲーム成績な
どを確認することができることになる。この結果、各プ
レーヤは、それぞれのプレーヤの腕前をリアルタイムに
競い合うことができるため、ゲームとしての面白さを飛
躍的に増大させることができることとなる。

【００８７】また、本実施例では、プレーヤ５０から見
える第２のプレーヤ５２の映像情報として、映像カメラ
１０により撮影される実空間映像を用いたが、本実施例
はこれに限られるものではない。即ち、例えば第２のプ
レーヤ５２については実空間映像を用いず、仮想３次元
空間演算部７２により合成したキャラクタを用いて表示
してもよい。このようにすれば、ゲームが進行して敵キ
ャラクター６６を倒すにつれて第２のプレーヤを進化さ
せてゆく等の映像効果を得ることができ、よりゲームの
面白さを増すことができる。

【００８８】このように、他のプレーヤの実空間映像を
画像合成したキャラクター画像に変更させる手法として
は以下の手法を用いることができる。例えば、プレーヤ
毎に違う色の戦闘スーツ、つまりアトラクションルーム
１１０の内側と違う色の戦闘スーツを装着させ、本第１
の実施例で説明したブルーマット方式と同様の手法によ
り画像合成を行う。即ち、第２のプレーヤにはレッドの
色の戦闘スーツを装着させ、映像カメラ１０から、この
レッドの色の部分のみを前述した手法と同様の手法によ
り抜き出し、これを空きドットとして設定する。次に、
これに他のプレーヤに重ねて表示させたいキャラクター
画像を重ね書きすれば、実空間映像１００に、第２のプ
レーヤ５２のキャラクター画像が重ね書きされた画像を
得ることができる。その後、この重ね書きした画像か
ら、今度は、ブルーの色の部分のみを抜き出し、これを
空きドットに設定し、これに敵キャラクター６６、迷路
等が表示された仮想視界画像１０２を重ね書きする。こ
の結果、第２のプレーヤ５２がキャラクター画像に変更
した表示画像１０４を得ることが可能となる。なお、こ
のように第２のプレーヤ５２の画像を変更する手法とし
ては、例えば前記したテクスチャマッピング手法を用い
てもよい。

【００８９】また、本実施例では、対戦用武器５８とし
て剣６０を使用しているが、本実施例はこれに限られる
ものではなく、例えば光線銃等あらゆる対戦武器を用い
ることができる。そして、例えば光線銃等を用いた場合
には、プレーヤが光線銃を撃った否かの情報が必要とな
るため、この場合は、図５に示すように仮想３次元空間
演算部７２にこの情報が入力され、ゲーム空間の演算に
使用されることとなる。

【００９０】図７（ａ）には、本実施例をライド方式の
アトラクション施設に適用した場合の仮想体験装置が示
される。

【００９１】このアトラクションでは、プレーヤ５０、
５２は搬器１１６に搭乗し、この搬器１１６は、アトラ
クションルーム１１０内に敷かれたレール１１８上を移
動してゆく。アトラクションルーム１１０内には、種々
のジオラマ１１４が設けられ、また、アトラクションル
ーム１１０の内側にはブルーの色に塗られた背景マット
１１２が設けられている。そして、プレーヤ５０、５２
は、光線銃６２により敵キャラクタ６６を撃ち落とし
て、ゲームを競い合う。図７（ｂ）には、この場合の画
像合成の様子が示されるが、この画像合成の方式は、本
第１の実施例と同様である。

【００９２】本実施例を、アトラクション施設に利用し
た場合は、主に次のような利点がある。

【００９３】まず、これまでの通常のアトラクション施
設では、一度、アトラクション施設を建設してしまう
と、施設が大がかりで高価なため、そのアトラクション
の内容を変更することは大変困難であった。このため、
プレーヤが何度か同じゲームを繰り返しても飽きられる
ことがないような対策を講ずることが必要とされる。こ
の点、本実施例では、ジオラマ１１４を共通としながら
も、背景マット１１２に映し出されるゲーム空間の仮想
映像を変更させることで、容易にこれに対処することが
できる。また、前述したように、仮想３次元空間演算部
７２にゲーム成績演算部６８を設けることにより、更
に、効果的にこれに対処できる。

【００９４】即ち、各プレーヤが撃ち落とした敵キャラ
クター６６の数をリアルタイムにゲーム成績演算部６８
で演算し、この撃ち落とした敵キャラクター６６の数に
応じて、つまりプレーヤの腕前に応じて各プレーヤの画
像表示装置２０に表示させる仮想画像１０２を変化させ
る。例えば、腕前の高いプレーヤに対しては、仮想視界
画像１０２に映し出される敵キャラクター６６の数を増
やし、また、表示する敵キャラクタ−６６を強力なもの
とする。更に、仮想視界画像１０２上に表示させるゲー
ム空間のコースを、あらかじめ幾種類か設けておき、ゲ
ーム成績に応じて、いずれかのコースが選択されるよう
な構成としてもよい。これにより、このアトラクション
施設に乗るプレーヤは、何度乗っても違うゲームの仮想
体験をすることができ、繰り返しプレーしても飽きるこ
とのないアトラクション施設を提供できることとなる。

【００９５】本実施例の、もう一つの利点は、このよう
に飽きのこないアトラクション施設を実現できるにも関
わらず、アトラクションルーム内のジオラマ１１４等に
ついては実空間画像を用いることができるため、より現
実感溢れるアトラクションを実現できることにある。

【００９６】例えば、搬器１１６がいわゆるジェットコ
ースタータイプのものであった場合、プレーヤから見え
るジオラマ１１４が実空間映像である方のが、プレーヤ
にとってよりスリリングで、スピード感溢れるアトラク
ションを実現できる。即ち、ユーザーから見える視界映
像が全て画像合成により作り出したものであると、ジェ
ットコースターが本来もつスピード、緊張感、迫力を十
分に再現できないからである。この点、本実施例では、
隣にいる他のプレーヤの顔も実空間映像として見ること
ができ、よりジエットコースターが本来もつ機能を発揮
させることができる。

【００９７】また、ジオラマ１１４が、プレーヤの手に
触れるものである場合も、その映像は実空間映像である
場合の方が、より臨場感溢れるアトラクションを提供で
きる。この点については、例えば、図８に示すような本
実施例を適用したアトラクションに示される。。

【００９８】図８に示すアトラクションは、宇宙船１３
４による飛行及び戦闘を疑似的に体験できるアトラクシ
ョンである。

【００９９】このアトラクションでは、図８（ａ）に示
すように、複数のプレーヤが、宇宙船１３４の宇宙船キ
ャビン１２０内に乗り込む。宇宙船キャビン１２０内
は、本物の宇宙船内に極めて似せて作られており、例え
ば操縦席、戦闘席等が設けられている。この場合、特に
プレーヤが直接に触る操縦桿１３２、操作盤１３０は、
戦闘砲１４４は、極めて本物に似せて精巧に作られてい
る。

【０１００】宇宙船キャビン１２０内に乗り込んだプレ
ーヤは、それぞれの役割に従って、操縦士、副操縦士、
射撃手として操縦席、戦闘席等に配置される。そして、
操縦席に配置された操縦士１４６、副操縦士１４７は、
操縦席用窓１２２に前述したブルーマット方式により映
し出された隕石１４０等を避けながら操縦桿１３２、操
作盤１３０等により宇宙船１３４の操縦を行う。この場
合、本実施例では、前述したように各プレーヤに空間セ
ンサ１２を取り付け、各プレーヤ毎に視界方向を演算
し、この演算により得られた視界画像を画像表示装置２
０に表示している。この結果、宇宙船１３４に近づいて
くる隕石１４０の見え方が、操縦士１４６、副操縦士１
４７、射撃手１４８とで異なって見えるように設定でき
るため、より臨場感、現実感溢れるアトラクションを提
供できることとなる。更に、操縦士１４６、副操縦士１
４７は、本物に極めて似せて作られた操縦桿１３２、操
作盤１３０を操作しながら宇宙船を操縦できるため、本
物の宇宙船を操縦しているかのような感覚でプレイでき
ることとなる。

【０１０１】戦闘席に配置された射撃手１４８、１４９
は、対戦用武器である戦闘砲１４４により、左側窓１２
４、右側窓１２５にブルーマット方式により映し出され
る宇宙船１４２を撃ち落とす。この場合のゲーム成績
は、ゲーム成績演算部６８により演算されて、ゲーム中
にリアルタイムに、もしくはゲーム終了後に全員の乗組
員のゲーム結果として表示されることになる。

【０１０２】なお、図８（ｂ）に示すように、プレーヤ
が乗り込む宇宙船１３４は、油圧等を用いた姿勢制御部
１３８により、ゲーム進行及びプレーヤの操作信号に応
じて姿勢、加速Ｇが制御され、より現実感が増すような
構成となっている。

【０１０３】このように、本実施例では、それぞれのプ
レーヤが異なる役割について、極めて本物に近い宇宙船
内で一体となってプレーできるため、飽きのこない臨場
感溢れるアトラクションを提供できることとなる。

【０１０４】なお、以上に説明した実施例では画像表示
部２０と画像合成部（図５における仮想視界画像演算装
置７０、表示画像合成装置８０等）が別々の場所に配置
され、接続線１８によりこれを接続する構成としていた
が、本実施例はこれに限らず、画像合成部も含めて全て
画像表示部２０に内蔵させる構成としても良いし、図９
に示すように、双方向無線機１６０を用いてこれを接続
する構成としてもよい。

【０１０５】この歩行型アトラクションは、図９
（ａ）、（ｂ）に示すように頭部装着体９、双方向無線
機１６０、光線銃６２を装備したプレーヤ５０が、迷路
１５０内を自分で進みながら敵キャラクター６６を倒す
という設定のアトラクションである。このように迷路１
５０内を自ら進んで行くようなアトラクションでは、プ
レーヤの動きに、より自由度をもたせることが望まし
い。従って、本実施例では、画像合成部との接続を、双
方向無線機１６０により行なっている。なお、この場合
の双方向無線の方法としては、例えば赤外線等を用いて
も構わない。

【０１０６】ここで、迷路１５０には、窓１５２、絵１
５４、エレベータ１５６、ドア１５８などが設けられて
いる。そして、窓１５２には全面にブルーマットが敷か
れ、絵１５４には、敵キャラクタ−６６が現れる部分の
みにブルーマットが敷かれている。

【０１０７】また、エレベータ１５６、ドア１５８は、
その内部がブルーに塗られている。これにより、プレー
ヤ５０がエレベータボタンを押してエレベータを開けた
際に、もしくは、ドアのノブを回してドアを開けた際
に、その中から敵キャラクター６６が飛び出してくるよ
うな構成とすることが可能となり、おばけ屋敷のような
ゲームのアトラクションに最適なものとなる。なお、こ
の場合も本実施例では、エレベータのボタン、ドアのノ
ブ等は本物のものを用いており、プレーヤ５０もその実
映像を見ながら操作できるため、より現実感溢れる仮想
世界を楽しむことができることとなる。 ３．第３の実施例 図１０には、本第３の実施例についてのブロック図が示
される。また、図１１には、これをゴルフに適用した仮
想体験装置の一例が示される。なお、ここでは仮にゴル
フに適用した場合について示したが、本実施例はこれに
限定されず種々のスポーツに適用できる。

【０１０８】図１０に示すように、本第３の実施例は、
本第１の実施例のうち操作部３８を、ボール映像カメラ
８４、８６及び移動体検出装置８８、９０に変更したも
のであり、主にボールを用いた球技に好適な実施例であ
る。

【０１０９】図１１（ａ）には、本第２の実施例を適用
したインドアゴルフの一例が示される。この実施例は、
プレーヤ５０が、プレイルーム１６２内において、本物
のゴルフとほぼ同様の感覚で仮想世界を体験することが
できる仮想体験装置に関するものである。

【０１１０】図１１（ａ）において、プレイルーム１６
２内は全てブルーの色に塗られており、プレーヤ５０
は、第１の実施例と同様の構成の頭部装着体９を装着し
ている。そして、プレーヤ５０は、本物のゴルフコース
にいるような感覚で、本物のゴルフクラブ１６４を用い
て、本物のゴルフボール１６６のショットを行う。

【０１１１】この場合、プレイルーム１６２内には、仮
想３次元空間演算部７２により作り出されたゴルフコー
スの画像が画像表示装置２０を介して映し出され、プレ
ーヤ５０は、あたかも本物のゴルフコースにいるような
感覚を持つことができる。そして、プレーヤ５０が前を
向くと、その視線方向には、図１１（ｂ）に示すよう
に、ゴルフコースのグリーン１６２を示した仮想視界画
像１０２が映し出されている。

【０１１２】そして、プレーヤ５０がゴルフボール１６
６のショットを行うと、ショットされたゴルフボール１
６６は、ボール映像カメラ８４、８６により撮影され
る。そしてこの撮影映像に基づいて移動体検出装置８
８、９０によりゴルフボール１６６の重心座標が演算さ
れ、このデータに基づき、その後のゴルフボール１６６
の軌道を推定して演算する。次に、仮想３次元空間演算
部７２にて、この推定されたゴルフボール１６６の軌道
データに基づき、仮想世界に設定されたゴルフコース上
にゴルフボールの軌道を描き、これを実空間映像１００
と画像合成して画像表示装置２０に画像表示する。これ
によりプレーヤ５０は、自分のショットしたゴルフボー
ル１６６がグリーン１６２に向かって飛んでゆく様子
が、表示画像１０４により見ることができることとな
る。

【０１１３】次に、ゴルフボール１６６の移動体検出の
手法について説明する。

【０１１４】ボール映像カメラ８６、８９は、ゴルフボ
ール１６６を連続撮影するものであり、図１１（ａ）に
示すように、プレイルーム１６２内の、異なる位置、異
なる撮影アングルにて設定される。そしてこの撮影デー
タは、移動体座標検出部８８、９０内のデータ抽出部９
２、９４にコマ送りフレームデータとして入力される。
データ抽出部９２、９４では、背景処理によりボールの
撮影データのみが抽出される。即ち、ゴルフボール１６
６の映っていないフレームデータと映っているフレーム
データとの差分を求め、これをフレームバッファと呼ば
れる画像メモリに重ね書きしてゆく。これにより、結果
としてゴルフボール１６６の映像のみが映し出された画
像データを得ることができる。

【０１１５】次に、得られたこの画像データから、座標
検出部９６、９８において、ゴルフボール１６６の位
置、例えば重心位置の２次元座標を求められ、仮想３次
元空間演算部７２に出力される。

【０１１６】仮想３次元空間演算部７２では、移動体検
出装置８８、９０で検出された、ゴルフボール１６６の
２つの２次元座標から、仮想３次元空間内での３次元座
標を求める。即ち、仮想３次元空間演算部７２には、ボ
ール映像カメラ８４、８６の仮想３次元空間内での設定
位置、設定アングルがあらかじめ記憶されており、この
記憶データと、検出された２つの２次元座標から、仮想
３次元空間内での３次元座標を求めることが可能とな
る。そして、この求められた３次元座標から、仮想３次
元空間でのゴルフボール１６６の軌道を、例えばスプラ
イン補間等を用いて演算し、ゴルフコースの背景データ
と共に、視界画像演算部７６に出力する。

【０１１７】なお、ゴルフボール１６６の軌道の推定の
手法としては、上記したものに限らず種々の手法を用い
ることができる。例えば、打った方向と、インパクトの
時の初速からこれを推定してもよいし、打った瞬間の音
等のよりこれを推定してもよい。

【０１１８】また、例えばプレーヤ５０の切り替え信号
により、プレーヤ５０から見た映像のみならず、例えば
グリーン１６２から見た映像を画像表示装置２０に表示
することも可能である。即ち、これを行うには、視界画
像演算部７６で視点変換を行う際に、視点位置をグリー
ン１６２上に設定すればよい。このようにすれば、プレ
ーヤ５０は、実際にゴルフボール１６６がグリーン１６
２に飛んで行く様子と、ゴルフボール１６６がグリーン
１６２に飛んで来る様子を同時に見ることができ、現実
のゴルフプレイでは得られないプレイ感覚を楽しむこと
ができることとなる。

【０１１９】以上の構成の本実施例によれば、プレーヤ
５０は、プレイルーム１６２内にて、実際にゴルフコー
スにいるような感覚でゴルフを楽しむことができる。特
に、この種のボールを用いた競技、例えばゴルフにおい
ては、クラブ１６４によりゴルフボール１６６をショッ
トした瞬間をプレーヤ５０が正確に認識する必要があ
る。即ち、このショットした瞬間のクラブ１６４、ゴル
フボール１６６を、例えば画像合成により作り出したの
では、プレイ感覚が著しく悪化し、現実感も減退してし
まい、更に、正確なスポーツプレーを再現することがで
きない。

【０１２０】これに対して、本実施例では、ゴルフクラ
ブ１６４、ゴルフボール１６６、自分のスイング等を、
映像カメラ１０を通じて得られた実空間映像により見る
ことができるため、このような問題が生じず、より正確
で、現実感溢れるゴルフプレーを楽しむことができるこ
ととなる。従って、例えば、球技練習用の仮想体験装置
として最適なものとなる。

【０１２１】なお、本発明は上記実施例に限定されるも
のではなく、本発明の要旨の範囲内において種々の変形
実施が可能である。

【０１２２】例えば、本実施例においては、仮想視界画
像と実空間映像とを画像合成する手法としてブルーマッ
ト方式を用いたが、本発明における画像合成はこれに限
られるものではない。例えばブルー以外の色を用いたも
の、多数の色を用いてこれを複合させて画像合成するも
の、テクスチャマッピングを用いたもの等、種々の手法
を使用することができる。

【０１２３】また、本発明が適用される仮想体験装置
も、本実施例に示したものに限らず種々の体験装置に適
用することができる。例えば、ヘリコプターのフライト
シュミレータ、仮想的な人体手術体験装置、仮想スタジ
オ、仮想動物園、仮想設計システム、仮想電話、仮想通
信会議、仮想野球体験装置、仮想スキー、仮想サッカー
等、種々の体験装置に適用することが可能である。

【０１２４】

【発明の効果】本発明に係る画像合成装置によれば、仮
想視界画像に実空間映像を画像合成することができ、操
作者は、仮想３次元空間に実際の物体の画像が組み込ま
れた仮想世界を体験することができる。

【０１２５】これにより、例えばドライビングゲームに
本発明を適用した場合には、従来は得られなかった視界
映像、例えば３６０度全方向に展開された映像を楽しむ
ことができ、しかも、ハンドル、計器類等は実空間映像
のものを用いているため、より現実世界に近づいた仮想
世界を楽しむことができる。

【０１２６】また、ゲーム用キャラクターとの対戦用に
用いる対戦用武器にも空間センサを設ければ、各プレー
ヤの腕前を正確に判定することができ、ゲームの臨場
感、緊張感を大幅に向上させることができる。

【０１２７】更に、ゲーム成績を演算し、これに基づい
てゲーム空間を表す仮想次３元空間の設定を、各プレー
ヤごとにもしくはゲーム成績に応じて変化させれば、繰
り返しプレイしても飽きることのない仮想体験装置を提
供できる。

【図面の簡単な説明】

【図１】本発明の第１の実施例の構成を示すブロック図
である。

【図２】第１の実施例をドライビングゲームに適用した
場合について示す概略説明図である。

【図３】第１の実施例をフライトシュミレータに適用し
た場合について示す概略説明図である。

【図４】頭部装着体の形状について示す概略説明図であ
る。

【図５】本発明の第２の実施例の構成を示すブロック図
である。

【図６】第２の実施例をロールプレイングゲームに適用
した場合について示す概略説明図である。

【図７】第２の実施例をライド方式のアトラクションに
適用した場合について示す概略説明図である。

【図８】第２の実施例を宇宙船体験のアトラクションに
適用した場合について示す概略説明図である。

【図９】第２の実施例を歩行型アトラクションに適用し
た場合について示す概略説明図である。

【図１０】本発明の第３の実施例の構成を示すブロック
図である。

【図１１】第３の実施例をゴルフ体験装置に適用した場
合について示す概略説明図である。

【図１２】本実施例における座標変換について説明する
ための概略説明図である。

【図１３】表示画像合成装置の構成の一例を示す概略ブ
ロック図である。

【図１４】サイドミラーに画像を表示する手法について
説明するための概略説明図である。

【図１５】テクスチャマッピング手法により、相手プレ
ーヤの顔に実空間映像をはりつける手法について説明す
る概略説明図である。

【図１６】テクスチャマッピング手法を実現するための
構成の一例を示す概略ブロック図である。

【符号の説明】

９ 頭部装着体 １０ 映像カメラ １２ 空間センサ ２０ 画像表示装置 ３８ 操作部 ５０ プレーヤ ５８ 対戦用武器 ６４ 対戦武器用センサ ６８ ゲーム成績演算部 ７０ 仮想視界画像演算装置 ７２ 仮想３次元空間演算部 ７６ 視界画像演算部 ８０ 表示画像合成装置 ８４、８６ ボール映像カメラ ８８、９０ 移動体検出装置 １００ 実空間映像 １０２ 仮想視界画像 １０４ 表示画像

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁵ 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０９Ｂ 9/30 7517−2Ｃ

Claims (7)

【特許請求の範囲】
1. 【請求項１】 操作者の視野を覆うように装着される画
   像表示手段と、 操作者に装着され、操作者から見える実空間映像を撮像
   する撮像手段と、 操作者の実３次元空間における３次元情報を検出する操
   作者用空間センサと、 前記操作者用空間センサからの検出信号に基づいて、前
   記実３次元空間と重ね合わせて設定される仮想３次元空
   間を演算し、仮想３次元空間における操作者から見える
   仮想視界画像を画像演算する仮想視界画像演算手段と、 前記仮想視界画像と前記撮像手段で撮像される実空間映
   像とを表示画像として画像合成する表示画像合成手段
   と、を含み、 前記画像表示手段に前記表示画像を画像表示することを
   特徴とする画像合成装置。
2. 【請求項２】 操作者が搭乗する搭乗体と、 前記搭乗体に設けられ操作者が操作信号を入力する操作
   部と、 操作者の視野を覆うように装着される画像表示手段と、 操作者に装着され、操作者から見える実空間映像を撮像
   する撮像手段と、 操作者の実３次元空間における３次元情報を検出する操
   作者用空間センサと、 前記操作部からの操作信号と前記操作者用空間センサか
   らの検出信号とに基づいて、前記実３次元空間と重ね合
   わせて設定される仮想３次元空間を演算し、仮想３次元
   空間における操作者から見える仮想視界画像を画像演算
   する仮想視界画像演算手段と、 前記仮想視界画像と前記撮像手段で撮像される実空間映
   像とを表示画像として画像合成する表示画像合成手段
   と、を含み、 前記画像表示手段に前記表示画像を画像表示し、操作部
   による搭乗体の操作感覚を仮想的に体験できることを特
   徴とする仮想体験装置。
3. 【請求項３】 プレーヤがゲーム用キャラクターとの対
   戦用に用いる対戦用武器と、 プレーヤの視野を覆うように装着される画像表示手段
   と、 プレーヤに装着され、プレーヤから見える実空間映像を
   撮像する撮像手段と、 プレーヤの実３次元空間における３次元情報を検出する
   プレーヤ用空間センサと、 対戦用武器の実３次元空間における３次元情報を検出す
   る対戦武器用空間センサと、 前記対戦武器用空間センサ及び前記プレーヤ用空間セン
   サからの検出信号に基づいて、前記実３次元空間と重ね
   合わせて設定されるゲーム空間を表す仮想３次元空間を
   演算し、仮想３次元空間におけるプレーヤから見える仮
   想視界画像を画像演算する仮想視界画像演算手段と、 前記仮想視界画像と前記撮像手段で撮像される実空間映
   像とを表示画像として画像合成する表示画像合成手段
   と、を含み、 前記画像表示手段に前記表示画像を画像表示し、対戦用
   武器によるゲーム用キャラクターとの対戦を仮想的に体
   験できることを特徴とするゲーム用の仮想体験装置。
4. 【請求項４】 請求項３において、 前記仮想視界画像演算手段は、 所定のゲームプログラムと前記対戦武器用空間センサか
   らの検出信号とに基づき前記実３次元空間と重ね合わせ
   て設定されるゲーム空間を表す仮想３次元空間を演算す
   る仮想３次元空間演算部と、 前記プレーヤ用空間センサからの検出信号に基づいて、
   プレーヤから見える仮想視界画像を画像演算する視界画
   像演算部と、を含むことを特徴とするゲーム用の仮想体
   験装置。
5. 【請求項５】 請求項３乃至４のいずれかにおいて、 前記仮想視界画像演算手段は、前記対戦用武器からの操
   作信号を用いて仮想３次元空間を演算することを特徴と
   するゲーム用の仮想体験装置。
6. 【請求項６】 請求項３乃至５のいずれかにおいて、 前記仮想視界画像演算手段は、 前記対戦武器用空間センサからの検出信号、もしくは前
   記対戦用武器からの操作信号及び対戦武器用空間センサ
   からの検出信号により各プレーヤごとにゲーム成績を演
   算し、このゲーム成績に基づきゲーム空間を表す仮想３
   次元空間の設定を各プレーヤごとに変化させることを特
   徴とするゲーム用の仮想体験装置。
7. 【請求項７】 プレーヤの視野を覆うように装着される
   画像表示手段と、 プレーヤに装着され、プレーヤから見える実空間映像を
   撮像する撮像手段と、 プレーヤの実３次元空間における３次元情報を検出する
   プレーヤ用空間センサと、 プレーヤがスポーツプレーに用いるボールの実空間にお
   ける軌道を検出する移動体検出手段と、 前記移動体検出手段及び前記プレーヤ用空間センサから
   の検出信号に基づいて、前記実３次元空間と重ね合わせ
   て設定されるボールの軌道及びプレイフィールドを表す
   仮想３次元空間を演算し、仮想３次元空間におけるプレ
   ーヤから見える仮想視界画像を画像演算する仮想視界画
   像演算手段と、 前記仮想視界画像と前記撮像手段で撮像される実空間映
   像とを表示画像として画像合成する表示画像合成手段
   と、を含み、 前記画像表示手段に前記表示画像を画像表示し、ボール
   を用いたスポーツプレーを仮想的に体験できることを特
   徴とするゲーム用の仮想体験装置。