JP2017184174A - シミュレーションシステム及びプログラム - Google Patents

Abstract

【課題】ユーザの位置や方向が変化した場合にも適正な音場を形成できるシミュレーションシステム及びプログラム等の提供。【解決手段】シミュレーションシステムは、第１〜第Ｍのスピーカ（ＳＰ１〜ＳＰ４）が配置される実空間において移動するユーザの位置、方向の情報を取得する入力処理部と、実空間でのユーザの位置、方向の変化に伴い、ユーザに対応する仮想ユーザＰＶの仮想空間での位置ＰＰ、方向ＤＰが変化した場合にも、仮想ユーザＰＶに対して所定の相対的位置関係を保って追従する第１〜第Ｎの位置（ＰＳ１〜ＰＳ４）に対して、第１〜第Ｍのスピーカの音量バランス調整を行うことで第１〜第Ｎの仮想スピーカ（ＶＳ１〜ＶＳ４）を設定し、仮想空間内の仮想音源による音場の形成処理を、第１〜第Ｎの仮想スピーカを用いて行う音処理部を含む。【選択図】図１６

Description

本発明は、シミュレーションシステム及びプログラム等に関する。

従来より、例えば５．１ｃｈなどのサラウンド用の複数のスピーカを用いて、現実世界の音場をシミュレートしたリアルな音場を形成し、ゲームや映画鑑賞などを楽しむことができるバーチャルリアルティのシミュレーションシステムが知られている。このようなシミュレーションシステムの従来技術としては、例えば特許文献１に開示される技術がある。

特開平８−２４３２５６公報

しかしながら、複数のスピーカを用いてサラウンド等を実現する従来のシミュレーションシステムでは、これらの複数のスピーカの配置位置に対して、所定の基準位置に所定の基準方向を向いてユーザが位置するとして、サラウンドの音場を形成していた。従って、ユーザが実空間で移動することで、ユーザの位置や方向が変化すると、適正なサラウンド等の音場を維持できないという課題があった。

本発明の幾つかの態様によれば、ユーザの位置や方向が変化した場合にも適正な音場を形成できるシミュレーションシステム及びプログラム等を提供できる。

本発明の一態様は、第１〜第Ｍ（Ｍは３以上の整数）のスピーカが配置される実空間において移動するユーザの位置、方向の情報を取得する入力処理部と、前記実空間での前記ユーザの位置、方向の変化に伴い、前記ユーザに対応する仮想ユーザの仮想空間での位置、方向が変化した場合にも、前記仮想ユーザに対して所定の相対的位置関係を保って追従する第１〜第Ｎ（Ｎは２以上の整数）の位置に対して、前記第１〜第Ｍのスピーカの音量バランス調整を行うことで第１〜第Ｎの仮想スピーカを設定し、前記仮想空間内の仮想音源による音場の形成処理を、前記第１〜第Ｎの仮想スピーカを用いて行う音処理部と、を含むシミュレーションシステムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。

本発明の一態様によれば、第１〜第Ｍのスピーカが配置される実空間において移動するユーザの位置、方向の情報が取得される。そしてユーザの位置、方向の変化に伴い、仮想ユーザの位置、方向が変化した場合にも、仮想ユーザに対して所定の相対的位置関係を保って追従する第１〜第Ｎの位置に対して、第１〜第Ｎの仮想スピーカが設定される。これらの第１〜第Ｎの仮想スピーカは、実空間に配置される第１〜第Ｍのスピーカの音量バランス調整を行うことで設定される。そして、設定された第１〜第Ｎの仮想スピーカを用いて、仮想空間内の仮想音源による音場の形成処理が行われる。このように本発明の一態様では、ユーザの位置、方向の変化に伴い仮想ユーザの位置、方向が変化した場合にも、第１〜第Ｎの仮想スピーカは、当該仮想ユーザに対して所定の相対的位置関係を保って追従するようになる。そして仮想空間内の仮想音源による音場は、このように仮想ユーザに対して所定の相対的位置関係を保って追従する第１〜第Ｎの仮想スピーカを用いて形成される。従って、ユーザの位置や方向が変化した場合にも適正な音場を形成できるシミュレーションシステム等の提供が可能になる。

また本発明の一態様では、前記音処理部は、前記第１〜第Ｍのスピーカのうちの第１のスピーカ群の位置の情報と前記第１〜第Ｎの位置のうちの第１の位置の情報とに基づいて、前記第１のスピーカ群の音量バランス調整を行うことで、前記第１〜第Ｎの仮想スピーカのうちの第１の仮想スピーカを設定し、前記第１〜第Ｍのスピーカのうちの第２のスピーカ群の位置の情報と前記第１〜第Ｎの位置のうちの第２の位置の情報とに基づいて、前記第２のスピーカ群の音量バランス調整を行うことで、前記第１〜第Ｎの仮想スピーカのうちの第２の仮想スピーカを設定してもよい。

このようにすれば、各仮想スピーカを、各仮想スピーカに対応するスピーカ群の位置の情報と各仮想スピーカの位置の情報とに基づき、当該スピーカ群の音量バランス調整を行うことで、設定できるようになる。

また本発明の一態様では、前記音処理部は、少なくとも３個のスピーカを含む前記第１のスピーカ群に、第１のチャンネルの音を出力させ、少なくとも３個のスピーカを含む前記第２のスピーカ群に、第２のチャンネルの音を出力させてもよい。

このように、少なくとも３個のスピーカを含むスピーカ群を用いて、各仮想スピーカを設定すれば、任意の位置への仮想スピーカの設定などが可能になる。

また本発明の一態様では、前記音処理部は、前記仮想ユーザの左耳に対応する位置に前記第１の仮想スピーカが設定されるように、前記第１のスピーカ群の音量バランス調整を行い、前記仮想ユーザの右耳に対応する位置に前記第２の仮想スピーカが設定されるように、前記第２のスピーカ群の音量バランス調整を行ってもよい。

このようにすれば、例えば仮想的なヘッドホンを装着しているかのような音響効果を実現できるようになる。

また本発明の一態様では、前記音処理部は、前記第１、第２のスピーカ群に、バイノーラル音源による音を出力させてもよい。

このように第１、第２のスピーカ群に、バイノーラル音源による音を出力させることで、更にリアルで臨場感のある立体音響の実現が可能になる。

また本発明の一態様では、前記音処理部は、前記第１〜第Ｍのスピーカのうちの第１のスピーカ群の位置の情報と前記第１〜第Ｎの位置のうちの第１の位置の情報とに基づいて、前記第１のスピーカ群の音量バランス調整を行うことで、前記第１〜第Ｎの仮想スピーカのうちの第１の仮想スピーカを設定し、前記第１〜第Ｍのスピーカのうちの第２のスピーカ群の位置の情報と前記第１〜第Ｎの位置のうちの第２の位置の情報とに基づいて、前記第２のスピーカ群の音量バランス調整を行うことで、前記第１〜第Ｎの仮想スピーカのうちの第２の仮想スピーカを設定し、前記第１〜第Ｍのスピーカのうちの第３のスピーカ群の位置の情報と前記第１〜第Ｎの位置のうちの第３の位置の情報とに基づいて、前記第３のスピーカ群の音量バランス調整を行うことで、前記第１〜第Ｎの仮想スピーカのうちの第３の仮想スピーカを設定してもよい。

このようにすれば、第１〜第Ｍのスピーカの第１、第２、第３のスピーカ群の音量バランス調整を行うことで、第１、第２、第３の仮想スピーカを設定できるようになる。そしてユーザの位置、方向の変化に伴い仮想ユーザの位置、方向が変化しても、これらの第１、第２、第３の仮想スピーカは、仮想ユーザと所定の相対的位置関係を保ちながら追従するようになるため、より適正なサラウンド効果等の実現が可能になる。

また本発明の一態様では、前記音処理部は、前記第１〜第Ｎの仮想スピーカの前記第１〜第Ｎの位置の情報と前記仮想音源の位置の情報とに基づいて、前記第１〜第Ｎの仮想スピーカの音量バランス調整を行うことで、前記仮想音源による前記音場の形成処理を行ってもよい。

このようにすれば、仮想ユーザと所定の相対的位置関係を保ちながら追従する第１〜第Ｍの仮想スピーカの音量バランス調整を行うことで、仮想空間内の仮想音源による音場を適正に形成することが可能になる。

また本発明の一態様では、前記実空間の前記ユーザには移動可能範囲が設定されており、前記移動可能範囲に対応する位置に前記第１〜第Ｍのスピーカが配置されてもよい。

このようにすれば、実空間に設定された移動可能範囲においてユーザが移動して、その位置や方向が変化した場合にも、その位置や方向の変化に依存しない適正な音場を形成することが可能になる。

また本発明の一態様では、前記ユーザに対応する前記仮想ユーザの視点から見える画像の表示処理を行う表示処理部を含んでもよい。

このようにすれば、ユーザの位置、方向が変化すると、仮想ユーザの位置、方向が変化することで、仮想ユーザの視点から見える画像も変化するようになり、このような変化する画像がユーザに対して表示されるようになる。そして、このように画像が変化した場合にも、仮想スピーカを用いて適正な仮想音源の音場を形成できるため、ユーザの仮想現実感を向上できる。

また本発明の一態様では、前記表示処理部は、前記仮想ユーザが表示されない一人称視点での画像の表示処理を行ってもよい。

このようにすれば、ユーザは、あたかも自身が仮想ユーザになったかのような仮想現実感を得ることができる。そして、仮想音源による音場についても、仮想スピーカを用いて適正に形成できるため、当該仮想現実感が損なわれてしまうのを防止できる。

また本発明の一態様では、前記表示処理部は、前記ユーザが装着する頭部装着型表示装置に画像を表示するための処理を行ってもよい。

このようにすれば頭部装着型表示装置によりユーザの視界が覆われてしまうような場合にも、仮想音源による音場を、仮想スピーカを用いて適正に形成できるため、ユーザの仮想現実感を向上できる。

また本発明の一態様では、前記入力処理部は、前記ユーザが頭部装着型表示装置を装着して移動する場合に、前記頭部装着型表示装置に設けられたセンサ部からの情報に基づいて、前記ユーザの位置、方向の情報を取得してもよい。

このようにすれば、頭部装着型表示装置に設けられたセンサ部からの情報に基づいて、ユーザの位置、方向の情報を取得して、ユーザの位置、方向の変化に伴い、仮想ユーザの位置、方向を変化させることが可能になる。

また本発明の一態様では、前記表示処理部は、前記仮想空間での前記仮想音源による音の発生状況を再現する画像の表示処理を行ってもよい。

このようにすれば、仮想空間での仮想音源による音の発生状況を、ユーザに表示される画像により再現しながら、当該仮想音源による音場を適正に形成することが可能になり、ユーザの仮想現実感を更に向上できる。

また本発明の一態様では、前記音処理部は、前記実空間の前記第１〜第Ｍのスピーカのうちの第ｉのスピーカ（１≦ｉ＜Ｍ）への前記ユーザの接近が検出された場合に、前記第ｉのスピーカから出力される音の音量、高周波成分及び残響の少なくとも１つを調整する処理を行ってもよい。

このようにすれば、ユーザが実世界のスピーカに接近した場合に、当該スピーカの存在がユーザに認識されて、ユーザの仮想現実感が損なわれてしまうのを防止できるようになる。

また本発明の一態様では、前記音処理部は、所定状況が発生したと判断した場合に、前記第１〜第Ｎの仮想スピーカの設定を無効にしてもよい。

このように仮想スピーカの設定を無効にすれば、実空間のスピーカの位置をユーザに把握させることが可能になり、例えば緊急事態の発生などの所定状況の発生に対応できるようになる。

本実施形態のシミュレーションシステムの構成例を示すブロック図。 図２（Ａ）、図２（Ｂ）は本実施形態に用いられるＨＭＤの一例。 図３（Ａ）、図３（Ｂ）は本実施形態に用いられるＨＭＤの他の例。 プレイエリアである個室の説明図。 プレイエリアである個室の説明図。 本実施形態により生成されるゲーム画像の例。 本実施形態により生成されるゲーム画像の例。 ステージでのユーザ（仮想ユーザ）の移動についての説明図。 図９（Ａ）、図９（Ｂ）は実空間においてユーザの位置が変化した場合における音場形成の問題点についての説明図。 実空間においてユーザの方向が変化した場合における音場形成の問題点についての説明図。 図１１（Ａ）、図１１（Ｂ）はステレオ用の仮想スピーカの設定手法についての説明図。 図１１（Ａ）、図１１（Ｂ）の仮想スピーカをスピーカ群の音量バランス調整により設定する手法についての説明図。 図１３（Ａ）、図１３（Ｂ）は仮想ユーザの耳に対応する位置に仮想スピーカを設定する手法についての説明図。 図１３（Ａ）、図１３（Ｂ）の仮想スピーカをスピーカ群の音量バランス調整により設定する手法についての説明図。 図１５（Ａ）、図１５（Ｂ）はバイノーラル音源を用いる手法の説明図。 図１６（Ａ）、図１６（Ｂ）はサラウンド用の仮想スピーカを仮想ユーザに追従させる手法の説明図。 仮想空間内の仮想音源についての説明図。 仮想音源による音場を仮想スピーカの音量バランス調整により形成する手法の説明図。 ＨＭＤを装着したユーザの移動可能範囲や移動可能範囲に対応して配置されるスピーカについての説明図。 仮想音源の具体例の説明図。 図２１（Ａ）、図２１（Ｂ）は仮想音源の音の発生状況の一例を説明する図。 図２２（Ａ）、図２２（Ｂ）は仮想音源の音の発生状況の他の例を説明する図。 ユーザがスピーカに接近した場合に行われる処理の説明図。 本実施形態の詳細な処理例を示すフローチャート。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．構成
図１に本実施形態のシミュレーションシステム（ゲームシステム、映像表示システム、シミュレーション装置）の構成例を示す。なお、本実施形態のシミュレーションシステムは図１の構成に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

入力装置１６０は、ユーザが種々の入力情報を入力するための装置である。この入力装置１６０は、音入力装置１６１、振動デバイス１６４を含むことができる。また入力装置１６０は、ユーザがゲームの操作情報を入力するためのゲームコントローラの機能を有していてもよい。ゲームコントローラは、例えば操作ボタン、方向指示キー、ジョイスティック又はレバー等により実現される。この場合にゲームコントローラと音入力装置１６１は、一体の筐体で実現してもよいし、別体の筐体で実現してもよい。

音入力装置１６１は、ユーザが音情報を入力するための装置である。音入力装置１６１により、例えばユーザの歌声や呼び声や掛け声などのユーザ音声を入力できる。この音入力装置１６１は例えば図２（Ａ）で説明するマイク１６２などにより実現できる。なお音入力装置１６１の形状は図２（Ａ）のような形状のマイク１６２には限定されず、例えばヘッドバンドを有するヘッドセット型マイクや小型マイクなどの種々のタイプのものを用いることができる。また音入力装置１６１は、楽器或いは楽器を模した装置における音の入力装置（ピックアップマイク等）であってもよい。楽器としては、弦楽器（ギター）、打楽器（ドラム、太鼓）、或いは鍵盤楽器（ピアノ、キーボード）などがある。

振動デバイス１６４（振動発生部）は、警告等のための振動を発生するデバイスであり、例えば振動モータ（バイブレータ）などにより実現される。振動モータは、例えば、偏芯した錘を回転させることで振動を発生する。具体的には駆動軸の両端に偏心した錘を取り付けてモータ自体が揺れるようにする。なお振動デバイス１６４は、振動モータには限定されず、例えばピエゾ素子などにより実現されるものであってもよい。

記憶部１７０は各種の情報を記憶する。記憶部１７０は、処理部１００や通信部１９６などのワーク領域として機能する。ゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。記憶部１７０の機能は、半導体メモリ（ＤＲＡＭ、ＶＲＡＭ）、ＨＤＤ（ハードディスクドライブ）、ＳＤＤ、光ディスク装置などにより実現できる。記憶部１７０は、空間情報記憶部１７２、楽曲情報記憶部１７４、音データ記憶部１７５、パラメータ記憶部１７６、描画バッファ１７８を含む。

情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＢＤ、ＣＤ）、ＨＤＤ、或いは半導体メモリ（ＲＯＭ）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。即ち情報記憶媒体１８０には、本実施形態の各部としてコンピュータ（入力装置、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）が記憶される。

頭部装着型表示装置２００（ＨＭＤ）は、ユーザの頭部に装着されて、ユーザの眼前に画像を表示する装置である。ＨＭＤ２００は非透過型であることが望ましいが、透過型であってもよい。またＨＭＤ２００は、いわゆるメガネタイプのＨＭＤであってもよい。

ＨＭＤ２００は、センサ部２１０、表示部２２０、処理部２４０を含む。なおＨＭＤ２００に発光素子を設ける変形実施も可能である。センサ部２１０は、例えばヘッドトラッキングなどのトラッキング処理を実現するためものである。例えばセンサ部２１０を用いたトラッキング処理により、ＨＭＤ２００の位置、方向を特定する。ＨＭＤ２００の位置、方向を特定することで、ユーザの位置、方向を特定できる。ユーザの位置、方向により、ユーザ（プレーヤ）に対応する仮想空間の仮想ユーザ（仮想プレーヤ）の位置、方向が特定される。ユーザの位置、方向は例えばユーザの視点位置、視線方向である。仮想ユーザの位置、方向は例えば仮想ユーザの視点位置、視線方向である。

トラッキング方式としては種々の方式を採用できる。トラッキング方式の一例である第１のトラッキング方式では、後述の図２（Ａ）、図２（Ｂ）で詳細に説明するように、センサ部２１０として複数の受光素子（フォトダイオード等）を設ける。そして外部に設けられた発光素子（ＬＥＤ等）からの光（レーザー等）をこれらの複数の受光素子により受光することで、現実世界の３次元空間でのＨＭＤ２００（ユーザの頭部）の位置、方向を特定する、第２のトラッキング方式では、後述の図３（Ａ）、図３（Ｂ）で詳細に説明するように、複数の発光素子（ＬＥＤ）をＨＭＤ２００に設ける。そして、これらの複数の発光素子からの光を、外部に設けられた撮像部で撮像することで、ＨＭＤ２００の位置、方向を特定する。第３のトラッキング方式では、センサ部２１０としてモーションセンサを設け、このモーションセンサを用いてＨＭＤ２００の位置、方向を特定する。モーションセンサは例えば加速度センサやジャイロセンサなどにより実現できる。例えば３軸の加速度センサと３軸のジャイロセンサを用いた６軸のモーションセンサを用いることで、現実世界の３次元空間でのＨＭＤ２００の位置、方向を特定できる。なお、第１のトラッキング方式と第２のトラッキング方式の組合わせ、或いは第１のトラッキング方式と第３のトラッキング方式の組合わせなどにより、ＨＭＤ２００の位置、方向を特定してもよい。

ＨＭＤ２００の表示部２２０は例えば液晶ディスプレイ（ＬＣＤ）や有機ＥＬディスプレイなどにより実現できる。例えばＨＭＤ２００には、表示部２２０として、ユーザの左目の前に配置される第１のディスプレイと、右目の前に配置される第２のディスプレイが設けられており、例えば立体視表示が可能になっている。立体視表示を行う場合には、例えば視差が異なる左目用画像と右目用画像を生成し、第１のディスプレイに左目用画像を表示し、第２のディスプレイに右目用画像を表示すればよい。

ＨＭＤ２００の処理部２４０は、ＨＭＤ２００において必要な各種の処理を行う。例えば処理部２４０は、センサ部２１０の制御処理や表示部２２０の表示制御処理などを行う。また処理部２４０が、３次元音響（立体音響）処理を行って、３次元的な音の方向や距離や広がりの再現を実現してもよい。

音出力部１９２は、本実施形態により生成された音を出力するものであり、例えばスピーカ又はヘッドホン等により実現できる。

Ｉ／Ｆ（インターフェース）部１９４は、携帯型情報記憶媒体１９５とのインターフェース処理を行うものであり、その機能はＩ／Ｆ処理用のＡＳＩＣなどにより実現できる。携帯型情報記憶媒体１９５は、ユーザが各種の情報を保存するためのものであり、電源が非供給になった場合にもこれらの情報の記憶を保持する記憶装置である。携帯型情報記憶媒体１９５は、ＩＣカード（メモリカード）、ＵＳＢメモリ、或いは磁気カードなどにより実現できる。

通信部１９６は、有線や無線のネットワークを介して外部（他の装置）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。

なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバ（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０、補助記憶装置１９４）に配信してもよい。このようなサーバ（ホスト装置）による情報記憶媒体の使用も本発明の範囲内に含めることができる。

処理部１００（プロセッサ）は、入力装置１６０からの入力情報やＨＭＤ２００でのトラッキング情報（ＨＭＤの位置、方向、或いは視点位置、視線方向）と、プログラムなどに基づいて、ゲーム処理、ゲーム成績演算処理、表示処理、或いは音処理などを行う。

処理部１００の各部が行う本実施形態の各処理（各機能）はプロセッサ（ハードウェアを含むプロセッサ）により実現できる。例えば本実施形態の各処理は、プログラム等の情報に基づき動作するプロセッサと、プログラム等の情報を記憶するメモリにより実現できる。プロセッサは、例えば各部の機能が個別のハードウェアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。但し、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Processing Unit）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路であってもよい。メモリ（記憶部１７０）は、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリであってもよいし、レジスターであってもよい。或いはハードディスク装置（ＨＤＤ）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部１００の各部の処理（機能）が実現されることになる。ここでの命令は、プログラムを構成する命令セットでもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。

処理部１００は、入力処理部１０２、演算処理部１１０、出力処理部１４０を含む。演算処理部１１０は、ゲーム処理部１１１、ゲーム成績演算部１１８、表示処理部１２０、音処理部１３０を含む。上述したように、これらの各部により実行される本実施形態の各処理は、プロセッサ（或いはプロセッサ及びメモリ）により実現できる。なお、これらの構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。

入力処理部１０２（入力処理のプログラムモジュール）は、入力情報やトラッキング情報を受け付ける処理や、記憶部１７０から情報を読み出す処理や、通信部１９６を介して情報を受信する処理を、入力処理として行う。例えば入力処理部１０２は、入力装置１６０を用いてユーザが入力した入力情報やＨＭＤ２００のセンサ部２１０等により検出されたトラッキング情報（ユーザの位置、方向又は視線の情報等）を取得する処理や、読み出し命令で指定された情報を、記憶部１７０から読み出す処理や、外部装置（サーバ等）からネットワークを介して情報を受信する処理を、入力処理として行う。ここで受信処理は、通信部１９６に情報の受信を指示したり、通信部１９６が受信した情報を取得して記憶部１７０に書き込む処理などである。

演算処理部１１０は、各種の演算処理を行う。例えばゲーム処理、ゲーム成績演算処理、表示処理、或いは音処理などの演算処理を行う。

ゲーム処理部１１１（ゲーム処理のプログラムモジュール）はユーザがゲームをプレイするための種々のゲーム処理を行う。ゲーム処理部１１１は、ゲーム進行処理部１１２、評価処理部１１３、キャラクタ処理部１１４、パラメータ処理部１１５、オブジェクト空間設定部１１６、仮想カメラ制御部１１７を含む。

ゲーム進行処理部１１２は、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などを行う。評価処理部１１３は、ユーザのゲームプレイの評価処理を行う。例えば音楽ゲームでのユーザの演奏や、ゲーム操作についての評価処理を行う。音楽ゲームに使用される楽曲情報は楽曲情報記憶部１７４に記憶される。

キャラクタ処理部１１４は、キャラクタに関する種々の処理を行う。例えばオブジェクト空間（仮想空間、ゲーム空間）においてキャラクタを移動させる処理や、キャラクタを動作させる処理を行う。例えばキャラクタを動作させる処理は、モーションデータを用いたモーション処理（モーション再生等）により実現できる。パラメータ処理部１１５は、ゲームに使用される種々のパラメータ（ゲームパラメータ）の演算処理を行う。例えばパラメータの値を増減させる処理を行う。パラメータの情報はパラメータ記憶部１７６に記憶される。

オブジェクト空間設定部１１６は、複数のオブジェクトが配置されるオブジェクト空間（広義には仮想空間）の設定処理を行う。例えば、キャラクタ（人、動物、ロボット等）、マップ（地形）、建物、観客席、コース（道路）、樹木、壁、水面などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）をオブジェクト空間に配置設定する処理を行う。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０の空間情報記憶部１７２には、オブジェクト空間での複数のオブジェクト（パーツオブジェクト）の位置、回転角度（方向）等の情報が空間情報として記憶される。オブジェクト空間設定部１１６は、例えば各フレーム毎にこの空間情報を更新する処理などを行う。

仮想カメラ制御部１１７は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）の制御処理を行う。具体的には、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。この仮想カメラはユーザの視点に相当する。立体視表示の場合は、左目用の第１の視点（左目用の第１の仮想カメラ）と、右目用の第２の視点（右目用の第２の仮想カメラ）が設定される。

ゲーム成績演算部１１８はユーザのゲーム成績を演算する処理を行う。例えばユーザのゲームプレイにより獲得された得点、ポイントなどのゲーム成績の演算処理を行う。

表示処理部１２０（表示処理のプログラムモジュール）は、ゲーム画像の表示処理を行う。例えば処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、ＨＭＤ２００の表示部２２０に表示する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７８（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において仮想カメラ（所与の視点。左目用、右目用の第１、第２の視点）から見える画像が生成される。なお、表示処理部１２０で行われる描画処理は、頂点シェーダ処理やピクセルシェーダ処理等により実現することができる。

音処理部１３０（音処理のプログラムモジュール）は、処理部１００で行われる種々の処理の結果に基づいて音処理を行う。具体的には、楽曲（音楽、ＢＧＭ）、効果音、又は音声などのゲーム音を生成し、ゲーム音を音出力部１９２に出力させる。ゲーム中に出力（再生）される音のデータは音データ記憶部１７５に記憶される。なお音処理部１３０の音処理の一部（例えば３次元音響処理）を、ＨＭＤ２００の処理部２４０により実現してもよい。

出力処理部１４０は各種の情報の出力処理を行う。例えば出力処理部１４０は、記憶部１７０に情報を書き込む処理や、通信部１９６を介して情報を送信する処理を、出力処理として行う。例えば出力処理部１４０は、書き込み命令で指定された情報を、記憶部１７０に書き込む処理や、外部の装置（サーバ等）に対してネットワークを介して情報を送信する処理を行う。送信処理は、通信部１９６に情報の送信を指示したり、送信する情報を通信部１９６に指示する処理などである。

例えば本実施形態では、ゲーム処理部１１１は、複数のオブジェクトが配置される仮想空間（ゲーム空間）において、ユーザがプレイするゲームの処理を行う。例えばオブジェクト空間である仮想空間には、キャラクタ等の複数のオブジェクトが配置されており、ゲーム処理部１１１は、この仮想空間でのゲームを実現するための種々のゲーム処理（ゲーム進行処理、キャラクタ処理、オブジェクト空間設定処理、或いは仮想カメラ制御処理等）を実行する。そして表示処理部１２０は、仮想空間において所与の視点（左目用、右目用の第１、第２の視点）から見えるゲーム画像を、ＨＭＤ２００の表示部２２０（第１、第２のディスプレイ）に表示する処理を行う。即ち、仮想空間であるオブジェクト空間において、仮想ユーザ（ユーザ）の視点（仮想カメラ）から見えるゲーム画像を表示する処理を行う。

例えばＨＭＤ２００を装着した現実世界のユーザが、後述の図４、図５の個室のプレイエリアにおいて移動したり、移動方向が変化したり、首を振ったり、しゃがんだりして、その位置、方向が変化すると、ユーザに対応する仮想空間の仮想ユーザの位置、方向も変化する。現実世界でのユーザの位置、方向は、ＨＭＤ２００のトラッキング処理により特定できるため、仮想空間での仮想ユーザの位置、方向も特定できる。ユーザ、仮想ユーザの位置、方向は、例えばユーザ、仮想ユーザの視点位置、視線方向でもある。仮想ユーザがキャラクタとして表示されない場合には、ＨＭＤ２００の表示画像は一人称視点の画像となり、仮想ユーザがキャラクタとして表示される場合には表示画像は三人称視点の画像になる。

なお、プレイエリア（行動エリア）は、例えばユーザが移動可能な範囲として設定されるエリアであり、例えばユーザがゲームプレイ等の行動を行うエリア（フィールド、スペース）として予め規定されているエリアである。このプレイエリア（広義には移動可能範囲）は、例えばユーザの位置情報等のトラッキングが可能な範囲を内包するエリアである。プレイエリアは、例えば周囲が壁で囲まれたエリアであってもよいが、オープンスペースのエリアであってもよい。

そして本実施形態では入力処理部１０２は、実空間において移動するユーザの位置、方向の情報を取得する。例えばＨＭＤ２００のトラッキング処理等により特定されるユーザの位置（視点位置）や方向（視線方向、移動方向）の情報を取得する。実空間（ユーザが移動可能な範囲）には第１〜第Ｍ（Ｍは３以上の整数）のスピーカ（実スピーカ）が配置されている。例えばユーザの周囲を囲むように３個以上のスピーカが配置されている。これらのスピーカは、プレイエリアである個室の壁や天井に設置されるスピーカであってもよいし、オープンエリアのプレイエリアにおいてスタンドにより支持されて設置されるスピーカであってもよい。

そして音処理部１３０は、仮想スピーカの設定処理を行い、設定された仮想スピーカを用いて仮想空間での音場形成処理を行う。仮想スピーカの設定処理は仮想スピーカ設定部１３２が行い、音場形成処理は音場形成処理部１３４が行う。具体的には、音処理部１３０（仮想スピーカ設定部）は、実空間（プレイエリア、行動エリア）でのユーザの位置、方向（視点位置、視線方向）の変化に伴い、ユーザに対応する仮想ユーザの仮想空間（オブジェクト空間）での位置、方向（視点位置、視線方向）が変化した場合にも、仮想ユーザに対して所定の相対的位置関係を保って追従する第１〜第Ｎ（Ｎは２以上の整数）の位置に対して、第１〜第Ｎの仮想スピーカを設定する処理を行う。例えば実空間に配置された第１〜第Ｍのスピーカの音量バランス調整などを行うことで、第１〜第Ｎの仮想スピーカを設定する。そして音処理部１３０（音場形成処理部）は、仮想空間内の仮想音源による音場の形成処理を、これらの第１〜第Ｎの仮想スピーカを用いて行う。例えば、設定された第１〜第Ｎの仮想スピーカの音量バランス調整を行って、これらの第１〜第Ｎの仮想スピーカから仮想的な音を出力することで、仮想空間の任意の位置に設定される仮想音源による音場の形成処理を行う。例えば仮想音源の位置に仮想音源による音が定位するような音場形成処理を行う。

仮想スピーカは、現実に存在するスピーカではなく、コンピュータ演算処理により、仮想空間に設定される仮想的なスピーカである。仮想スピーカは、実空間（現実世界）の複数のスピーカの音量バランス調整などにより実現される。本実施形態では、仮想スピーカと仮想ユーザとの相対的な位置関係が例えば予め決められている。この相対的位置関係は、仮想ユーザの位置及び方向（視線位置及び視線方向）の少なくとも一方と仮想スピーカの位置等との相対的な関係である。例えばステレオの場合には、仮想ユーザの左耳と右耳を結ぶ線上に２つの仮想スピーカが設定される。サラウンドの場合には、仮想ユーザの周囲の複数の所定位置に、所定数の仮想スピーカの各仮想スピーカが配置される。例えば仮想ユーザの左斜め前方向、右斜め前方向、左斜め後ろ方向、右斜め後ろ方向などに仮想スピーカが設定される。或いはこれらに加えて、仮想ユーザの正面方向や真後ろの方向に仮想スピーカが設定される。仮想スピーカは、コンピュータ演算処理により実現されるものであるため、その設定個数は２以上の任意の個数であり、その設定位置も任意である。

仮想音源は、例えば仮想空間における音の発生源としてコンピュータ演算処理により実現される仮想的な音源である。仮想音源の音は、例えば仮想空間に登場するオブジェクトを発生源とする音などである。例えば仮想音源の音は、仮想空間（ゲーム空間、オブジェクト空間）に登場するキャラクタの音声（声援、掛け声、歌声）や演奏音（ギター、ドラム又はピアノ等の楽器の演奏音）などである。また仮想音源の音は、仮想空間に登場する車、飛行機又はロボット等の移動体から聞こえる動作音などであってもよいし、仮想空間での爆発物による爆発音などの効果音であってもよい。本実施形態では、これらの仮想音源がコンピュータ演算処理によりシミュレートされる。そして、仮想音源による音場が、仮想スピーカにより形成される。例えば複数の仮想スピーカの音量バランス調整等を行うことにより、仮想音源による音場が形成される。なお仮想音源の位置や方向の情報は空間情報記憶部１７２に記憶される。

また音処理部１３０は、第１〜第Ｍのスピーカのうちの第１のスピーカ群の位置の情報と第１〜第Ｎの位置のうちの第１の位置の情報とに基づいて、当該第１のスピーカ群の音量バランス調整を行うことで、第１〜第Ｎの仮想スピーカのうちの第１の仮想スピーカを設定（構成）する。また第１〜第Ｍのスピーカのうちの第２のスピーカ群の位置の情報と第１〜第Ｎの位置のうちの第２の位置の情報とに基づいて、当該第２のスピーカ群の音量バランス調整を行うことで、第１〜第Ｎの仮想スピーカのうちの第２の仮想スピーカを設定（構成）する。

ここで、第１のスピーカ群、第２のスピーカ群の各々は、第１〜第Ｍのスピーカのうちの複数のスピーカにより構成される。第１のスピーカ群を構成する複数のスピーカと、第２のスピーカ群を構成する複数のスピーカの間には、重複するスピーカがあってもよい。

そして第１の仮想スピーカは、第１のスピーカ群の音量バランス調整により実現される。例えば第１のスピーカ群のうちの第ｍのスピーカの音量を大きくすれば、第１の仮想スピーカは、第ｍのスピーカに対応する位置に近づき、第ｎのスピーカの音量を大きくすれば、第１の仮想スピーカは、第ｎのスピーカに対応する位置に近づく。そして第１のスピーカ群の各スピーカの音量バランスをどのように調整するかは、第１のスピーカ群の各スピーカの位置の情報と、第１の仮想スピーカが設定される第１の位置の情報とに基づいて、決定される。

同様に、第２の仮想スピーカは、第２のスピーカ群の音量バランス調整により実現される。そして第２のスピーカ群の各スピーカの音量バランスをどのように調整するかは、第２のスピーカ群の各スピーカの位置の情報と、第２の仮想スピーカが設定される第２の位置の情報とに基づいて、決定される。

また音処理部１３０は、少なくとも３個のスピーカを含む第１のスピーカ群に、第１のチャンネルの音を出力させ、少なくとも３個のスピーカを含む第２のスピーカ群に、第２のチャンネルの音を出力させる。第１のチャンネルの音は例えば左チャンネルの音であり、第２のチャンネルの音は例えば右チャンネルの音である。このようにすれば、第１のスピーカ群の音量バランス調整により設定される第１の仮想スピーカから第１のチャンネルの音が仮想的に出力され、第２のスピーカ群の音量バランス調整により設定される第２の仮想スピーカから第２のチャンネルの音が仮想的に出力されるようになる。そして、各々が少なくとも３個のスピーカを含む第１、第２のスピーカ群を用いることで、任意の位置への第１、第２の仮想スピーカの設定が可能になる。例えば第１のチャンネルが左チャンネルであり、第２のチャンネルが右チャンネルである場合には、仮想ユーザの左耳に対応する位置と右耳に対応する位置とを結ぶ線上の任意の位置に、第１、第２の仮想スピーカを設定することが可能になる。なお第１、第２のチャンネルは、例えばサラウンドにおける任意のチャンネルであってもよい。

音処理部１３０は、例えば仮想ユーザの左耳に対応する位置に第１の仮想スピーカが設定されるように、第１のスピーカ群の音量バランス調整を行い、仮想ユーザの右耳に対応する位置に第２の仮想スピーカが設定されるように、第２のスピーカ群の音量バランス調整を行ってもよい。このようにすれば、あたかもヘッドホンを装着しているかのような音をユーザに聴かせることが可能になる。

また音処理部１３０は、第１、第２のスピーカ群に、バイノーラル音源による音を出力させてもよい。このようにすれば、耳の鼓膜に届く状態での音が、左右の第１、第２の仮想スピーカから仮想的に出力されるようになるため、あたかもその場に居合わせたかのような臨場感のある音を聴かせることが可能になる。バイノーラル音源による音は、バイノーラル音源の音をコンピュータ演算処理により仮想的にシミュレートした音であってもよいし、バイノーラル録音による音を含む音であってもよい。例えば仮想音源から左耳、右耳に直接に届く音波に加えて、耳たぶや体の各部によって複雑に回折、反射する音波が重ね合わさるような音のシミュレーション処理を行って、仮想スピーカから出力させる。

また音処理部１３０は、上述のように第１のスピーカ群の位置の情報と第１の位置の情報とに基づいて、第１のスピーカ群の音量バランス調整を行うことで、第１の仮想スピーカを設定し、第２のスピーカ群の位置の情報と第２の位置の情報とに基づいて、第２のスピーカ群の音量バランス調整を行うことで、第２の仮想スピーカを設定すると共に、第１〜第Ｍのスピーカのうちの第３のスピーカ群の位置の情報と第１〜第Ｎの位置のうちの第３の位置の情報とに基づいて、第３のスピーカ群の音量バランス調整を行うことで、第１〜第Ｎの仮想スピーカのうちの第３の仮想スピーカを設定してもよい。このようにすれば、仮想空間内に第１、第２、第３の仮想スピーカというように少なくとも３個の仮想スピーカを設定できるようになり、サラウンド効果を実現できる。

なお仮想スピーカの設定数は４個以上であってもよい。例えば５個の仮想スピーカを設定する場合には、仮想ユーザの左斜め前、右斜め前に第１、第２の仮想スピーカを設定し、仮想ユーザの正面に第３の仮想スピーカを設定し、仮想ユーザの左斜め後ろ、右斜め後ろに第４、第５の仮想スピーカを設定すればよい。この場合に実空間においてユーザの位置、方向が変化し、仮想空間において仮想ユーザの位置、変化が変化した場合にも、仮想ユーザに対する第１〜第５の仮想スピーカの相対的位置関係が維持されたままになる。従って、ユーザ（仮想ユーザ）の位置や方向の変化に追従するサラウンドスピーカ（仮想サラウンドスピーカ）の実現が可能になる。

また音処理部１３０は、第１〜第Ｎの仮想スピーカの第１〜第Ｎの位置の情報と仮想音源の位置の情報とに基づいて、第１〜第Ｎの仮想スピーカの音量バランス調整を行うことで、仮想音源による音場の形成処理を行う。

例えば第１〜第Ｎの仮想スピーカのうちの第１の仮想スピーカ群の位置の情報と、第１の仮想音源の位置の情報とに基づいて、第１の仮想スピーカ群の音量バランス調整を行うことで、第１の仮想音源による音場の形成処理を行う。また第１〜第Ｎの仮想スピーカのうちの第２の仮想スピーカ群の位置の情報と、第２の仮想音源の位置の情報とに基づいて、第２の仮想スピーカ群の音量バランス調整を行うことで、第２の仮想音源による音場の形成処理を行う。第１、第２の仮想スピーカ群の各々は少なくとも３個の仮想スピーカを含む。これらの３個の仮想スピーカの位置と仮想音源との相対的な位置関係に基づいて、これらの３個の仮想スピーカの音量バランス調整を行うことで、あたかも仮想音源の位置から音が発生しているかのように聞こえる音場を形成する。

また本実施形態では、実空間のユーザには移動可能範囲が設定されており、移動可能範囲に対応する位置に第１〜第Ｍのスピーカが配置される。例えば移動可能範囲の周囲に第〜第Ｍのスピーカを配置したり、その一部を移動可能範囲内に配置する。ユーザの移動可能範囲は、例えばユーザのプレイエリアであり、プレイエリアは、周囲が壁で囲まれたエリアであってもよいし、オープンスペースのエリアであってもよい。

また表示処理部１２０は、ユーザに対応する仮想ユーザの視点から見える画像の表示処理を行う。例えば仮想空間であるオブジェクト空間において、当該視点から見える画像の表示処理を行う。この画像は、仮想ユーザの視点位置において、その視線方向に見える画像である。この画像はいわゆる立体視画像であることが望ましい。

また表示処理部１２０は、仮想ユーザが表示されない一人称視点での画像の表示処理を行う。即ち、仮想ユーザに対応するキャラクタが仮想空間には登場せず、仮想ユーザの視点位置、視線方向での画像を表示する。

また表示処理部１２０は、ユーザが装着するＨＭＤ２００（頭部装着型表示装置）に画像を表示するための処理を行う。このようにＨＭＤ２００を装着してその視界が覆われると、ユーザは、自身の周囲に配置される複数のスピーカの位置を把握できなくなる。この場合にも本実施形態では、これらの複数のスピーカの音量バランス調整で実現される複数の仮想スピーカが、ユーザに対応する仮想ユーザに対して所定の相対的位置関係を保って設定されるようになる。即ち、ユーザの位置や方向が変化して、仮想ユーザの位置や方向が変化した場合にも、当該相対的位置関係は維持される。従って、ＨＭＤ２００を装着するユーザの位置や方向が変化した場合にも、適正（正確）な音場を形成することが可能になる。

また入力処理部１０２は、ユーザがＨＭＤ２００を装着して移動する場合に、ＨＭＤ２００に設けられたセンサ部２１０からの情報に基づいて、ユーザの位置、方向の情報を取得する。例えば後述する図２（Ａ）〜図３（Ｂ）のようなトラッキング手法により、ユーザの位置、方向の情報を取得する。そして、取得されたユーザの位置、方向の情報に基づいて、ユーザに対応する仮想ユーザの位置、方向を特定し、当該仮想ユーザに追従する複数の仮想スピーカを設定し、仮想音源による音場を形成する。

また表示処理部１３０は、仮想空間での仮想音源による音の発生状況を再現する画像の表示処理を行う。例えば仮想空間に登場する観客が仮想音源である場合には、この観客が歓声や掛け声や拍手をすることで音が発生する状況の再現画像を表示する。仮想空間に登場するギタリストなどの演奏者が仮想音源である場合には、演奏者が例えば移動しながら演奏して演奏音（ギターの音等）が発生する状況の再現画像を表示する。また爆発物が仮想音源である場合には、爆発物が投下されて爆発による爆発音が発生する状況を再現する画像を表示する。こうすることで、仮想スピーカを用いた仮想音源の音場と、仮想音源による音の発生状況の画像とがリンクするようになり、ユーザの仮想現実感を更に向上できるようになる。

また音処理部１３０は、実空間の第１〜第Ｍのスピーカのうちの第ｉのスピーカ（１≦ｉ＜Ｍ）へのユーザの接近が検出された場合に、第ｉのスピーカから出力される音の音量、高周波成分及び残響の少なくとも１つを調整する処理を行う。例えば第ｉのスピーカの音の音量を下げたり、第ｉのスピーカの音の高周波成分を低減したり、第ｉのスピーカの音の残響（エコー）を大きくすることで、第ｉのスピーカの存在を隠すための処理を行う。このようにすれば、ユーザが第ｉのスピーカに接近した場合に、第ｉのスピーカの存在を、ユーザが認識できないようにすることが可能になる。これにより、仮想スピーカがこれらの実空間のスピーカにより形成されたものであることを、ユーザが感じにくくすることが可能になる。

また音処理部１３０は、所定状況が発生したと判断した場合に、第１〜第Ｎの仮想スピーカの設定を無効にする。例えば緊急事態の発生などの所定状況が発生したと判断した場合に、第１〜第Ｎの仮想スピーカの設定を無効にして、仮想スピーカによる仮想音の出力を無効にする。第１〜第Ｎの仮想スピーカの設定を無効にする処理は、実空間の第１〜第Ｍのスピーカが、仮想スピーカの設定のための音量バランス調整を行わないようにすることで実現できる。例えば第１〜第Ｎの仮想スピーカの各仮想スピーカが、各仮想スピーカに対応する各スピーカ群の音量バランス調整により設定される場合に、その各スピーカ群の音量バランス調整を行わないようにすることで、各仮想スピーカの設定を無効にできる。

２．本実施形態の手法
次に本実施形態の手法について具体的に説明する。なお、以下では本実施形態の手法が適用されるゲームが、歌の演奏を行う音楽ゲーム（ライブステージのゲーム、カラオケゲーム等）である場合を主に例にとり説明する。しかしながら、本実施形態の手法が適用されるゲームは、これに限定されず、例えば弦楽器（ギター等）、打楽器（ドラム、太鼓等）、或いは鍵盤楽器（キーボード、ピアノ）等の楽器を演奏する音楽ゲーム（リズムや演奏の上手さを競うゲーム）などであってもよい。また本実施形態の手法は、異性キャラクタ等とのコミュニケーションゲーム（人間関係シミュレーションゲーム）、トークバトルなどを行う会話ゲーム（法廷闘争ゲーム、掛け合い漫才ゲーム）、戦闘ゲーム、ＲＰＧゲーム、ロボットゲーム、カードゲーム、スポーツゲーム、或いはアクションゲーム等の種々のゲームや、映像コンテンツや音楽コンテンツの再生にも適用可能である。

２．１ ＨＭＤ、プレイエリア
図２（Ａ）に本実施形態のシミュレーションシステムに用いられるＨＭＤ２００の一例を示す。図２（Ａ）に示すようにＨＭＤ２００には複数の受光素子２０１、２０２、２０３（フォトダイオード）が設けられている。受光素子２０１、２０２はＨＭＤ２００の前面側に設けられ、受光素子２０３はＨＭＤ２００の右側面に設けられている。またＨＭＤの左側面、上面等にも不図示の受光素子が設けられている。

またユーザＰＬは、左手、右手で入力装置１６０−１、１６０−２を持っている。入力装置１６０−１、１６０−２には、ＨＭＤ２００と同様に複数の受光素子（不図示）が設けられている。また入力装置１６０−１にはマイク１６２（広義には音入力装置）が設けられており、ユーザＰＬは歌の演奏ゲームにおいてマイク１６２に口を向けて歌うことになる。また入力装置１６０−１、１６０−２はゲームコントローラとしても機能し、不図示の操作ボタン、方向指示キー等が設けられている。なおユーザが持つ入力装置１６０の個数は１個であってもよい。

またＨＭＤ２００には、ヘッドバンド２６０等が設けられており、ユーザＰＬは、より良い装着感で安定的に頭部にＨＭＤ２００を装着できるようになっている。そしてユーザＰＬは、ゲームコントローラとして機能する入力装置１６０−１、１６０−２を操作したり、頭部の頷き動作や首振り動作を行うことで、操作情報を入力し、ゲームプレイを楽しむ。頷き動作や首振り動作は、ＨＭＤ２００のセンサ部２１０等により検出できる。

図２（Ｂ）に示すように、ユーザＰＬのプレイエリアにはベースステーション２８０、２８４が設置されている。ベースステーション２８０には発光素子２８１、２８２が設けられ、ベースステーション２８４には発光素子２８５、２８６が設けられている。発光素子２８１、２８２、２８５、２８６は、例えばレーザー（赤外線レーザー等）を出射するＬＥＤにより実現される。ベースステーション２８０、２８４は、これら発光素子２８１、２８２、２８５、２８６を用いて、例えばレーザーを放射状に出射する。そして図２（Ａ）のＨＭＤ２００に設けられた受光素子２０１〜２０３等が、ベースステーション２８０、２８４からのレーザーを受光することで、ＨＭＤ２００のトラッキングが実現され、ユーザＰＬの頭の位置や向く方向（広義にはユーザの位置や方向）を検出できるようになる。また入力装置１６０−１、１６０−２に設けられた不図示の受光素子が、ベースステーション２８０、２８４からのレーザーを受光することで、入力装置１６０−１、１６０−２のトラッキングが実現され、入力装置１６０−１、１６０−２の位置や方向を検出できるようになる。これにより、例えばゲーム画像に、入力装置１６０−１に対応するマイクの画像等を表示することが可能になる。

図３（Ａ）にＨＭＤ２００の他の例を示す。図３（Ａ）では、ＨＭＤ２００に対して複数の発光素子２３１〜２３６が設けられている。これらの発光素子２３１〜２３６は例えばＬＥＤなどにより実現される。発光素子２３１〜２３４は、ＨＭＤ２００の前面側に設けられ、発光素子２３５や不図示の発光素子２３６は、背面側に設けられる。これらの発光素子２３１〜２３６は、例えば可視光の帯域の光を出射（発光）する。具体的には発光素子２３１〜２３６は、互いに異なる色の光を出射する。そして図３（Ｂ）に示す撮像部１５０をユーザＰＬの前方側に設置し、この撮像部１５０により、これらの発光素子２３１〜２３６の光を撮像する。即ち、撮像部１５０の撮像画像には、これらの発光素子２３１〜２３６のスポット光が映る。そして、この撮像画像の画像処理を行うことで、ユーザＰＬの頭部（ＨＭＤ）のトラッキングを実現する。即ちユーザＰＬの頭部の３次元位置や向く方向（ユーザの位置、方向）を検出する。

例えば図３（Ｂ）に示すように撮像部１５０には第１、第２のカメラ１５１、１５２が設けられており、これらの第１、第２のカメラ１５１、１５２の第１、第２の撮像画像を用いることで、ユーザＰＬの頭部の奥行き方向での位置等が検出可能になる。またＨＭＤ２００に設けられたモーションセンサのモーション検出情報に基づいて、ユーザＰＬの頭部の回転角度（視線）も検出可能になっている。従って、このようなＨＭＤ２００を用いることで、ユーザＰＬが、周囲の３６０度の全方向うちのどの方向を向いた場合にも、それに対応する仮想空間（仮想３次元空間）での画像（ユーザの視点に対応する仮想カメラから見える画像）を、ＨＭＤ２００の表示部２２０に表示することが可能になる。なお、発光素子２３１〜２３６として、可視光ではなく赤外線のＬＥＤを用いてもよい。また、例えばデプスカメラ等を用いるなどの他の手法で、ユーザの頭部の位置や動き等を検出するようにしてもよい。

なお、ユーザの視点位置、視線方向（ユーザの位置、方向）を検出するトラッキング処理の手法は、図２（Ａ）〜図３（Ｂ）で説明した手法には限定されない。例えばＨＭＤ２００に設けられたモーションセンサ等を用いて、ＨＭＤ２００の単体でトラッキング処理を実現してもよい。即ち、図２（Ｂ）のベースステーション２８０、２８４、図３（Ｂ）の撮像部１５０などの外部装置を設けることなく、トラッキング処理を実現する。或いは、公知のアイトラッキング、フェイストラッキング又はヘッドトラッキングなどの種々の視点トラッキング手法により、ユーザの視点位置、視線方向などの視点情報等を検出してもよい。

図４、図５に本実施形態のゲームが実現されるプレイエリアの一例を示す。このプレイエリアは、ボックス状の防音の個室により実現される。図４、図５に示すようにボックスの個室は、壁３０１、３０２、３０３、３０４、天井３０５、ドア３０６を有する。壁３０１、３０２、３０３、３０４、天井３０５の内側にはクッション材としても機能する防音材３１１、３１２、３１３、３１４、３１５が設けられている。また天井３０５には前述のベースステーション２８０、２８４や照明器具２９０、２９２が設置されている。

ユーザＰＬの前側にはフロントスピーカ３３０、３３１、センタースピーカ３３２が設置され、後ろ側にはリアスピーカ３３３、３３４、ウーハー３３５が設置される。これらのスピーカによりサラウンド音響が実現される。そしてウーハー３３５が収容されている収容ボックス内に、巻き取り装置５０が収容されている。この巻き取り装置５０は回転リール６２を有しており、ケーブル２０は、収容ボックス（棚）に設けられたケーブル通過口５２を通って、回転リール６２により巻き取られる。

ユーザＰＬは図５のドア３０６を開けて個室内に入り、ゲームをプレイする。この個室内の空間がユーザＰＬのプレイエリア（プレイ空間、実空間）になる。そして図５に示すように、ボックスの個室のプレイエリアには、ユーザＰＬの移動範囲（移動可能範囲）として想定されるエリアＡＲが設定される。このエリアＡＲ内では、ステーション２８０、２８４等を用いたユーザＰＬの位置、方向（視点位置、視線方向）のトラッキングが可能になっている。一方、エリアＡＲの境界ＢＤを越えた位置では、確実なトラッキングを実現できない。またユーザＰＬがエリアＡＲの境界ＢＤを越えると、壁３０１、３０２、３０３、３０４にぶつかるおそれがあり、安全面の上で望ましくない。エリアＡＲの設定は、例えばゲーム装置のイニシャライズ設定などにより、その範囲を設定可能になっている。

そして図４、図５に示すように、ユーザＰＬは腰ベルト３０を装着している。腰ベルト３０には収容部３２が取り付けられており、この収容部３２内にケーブル２０の中継点ＲＰが設けられる。ケーブル２０は、ＨＭＤ２００から中継点ＲＰを経由して巻き取り装置５０により巻き取られる。ケーブル部分２１とケーブル部分２２の間のポイントが中継点ＲＰになる。なおケーブル２０には、ユーザＰＬが基準位置に立っている際にケーブル２０を弛ませるためのストッパー２６が設けられている。

２．２ ゲームの概要
次に、本実施形態の手法により実現されるゲームの概要について説明する。本実施形態により実現されるゲームは、本物のライブステージのような臨場感の中、バンドのボーカルになりきって、ボーカル演奏を行う音楽ゲームである。ユーザは、大観衆を目前にして歌うという、かつてない高揚感を感じつつ、自分のファンからの歓声を全身に浴びる強烈な快感を得ることができる。ＨＭＤと大出力のサラウンドスピーカーにより、まるで本物のライブステージに出演し、自分のファンに囲まれて歌っているかのような、臨場感を得ることができる。

ステージの周りの観客は、ユーザのボーカル演奏やステージアクションに反応して、派手な声援や様々なアクションをインタラクティブに返してくる。ＨＭＤによる、まるでその場に立っているかのような臨場感のライブステージの上で、表情まで見える最前列のファンをはじめ、会場を埋める満員の観客の前で、バンドメンバーの演奏と共に、自分の歌とライブパフォーマンスを行って、観客の期待に応える。

ユーザは共有スペースに設けられた受け付けスペースで、入室時間の予約やプレイ設定を行い、図４、図５に示すようにクッション材（防音材）が貼られた安全な個室内で、ライブ出演体験を楽しむ。

ユーザは、ステージ出演前のプレイ設定において、コンサート出演モードを選択する。その後、歌う曲の選択を行い、出演ステージを選択する。そして図２（Ａ）、図２（Ｂ）等で説明したＨＭＤ２００、入力装置１６０−１、１６０−２などのデバイスや、腰ベルト３０を装着する。店舗のオペレータが、注意事項等を説明し、ユーザのデバイス等の装着や調整を補助する。プレイエリアである個室空間のキャリブレーション（イニシャライズ）は、オペレータが事前に行う。

図２（Ａ）の入力装置１６０−１は、マイク＆ゲームコントローラになっている。ＶＲ（バーチャルリアリティ）空間内では、ユーザ（仮想ユーザ）の腕や手は描画されないが、ユーザが手で持っている入力装置１６０−１等の位置がセンシングされ、同じ位置にマイク画像が描画され、ユーザの動きに応じてマイク画像が動くようになる。

ユーザは、ＶＲ空間のスタンバイルームで、ボーカルのキー調整を行う。スタンバイルームは、ステージの下の待機スペースである。ＶＲ空間においてユーザが立っているスペースは大きなリフトになっていて、本番時にはステージ上にせり上がる。

リフトが上昇しステージが近づいて来るのに合わせて、遠くから聞こえていたホールの歓声や掛け声が徐々に大きくなり、迫力を増し、且つ、生々しく変化する。ステージ上にユーザが出現すると、ユーザに向けて前方から逆光のスポットライトが当てられ、ユーザの登場で最高潮に達した大歓声が起こる。

ライブの本番ではユーザは、思う存分、ステージでの熱唱を楽しむ。図６、図７は、ステージ上のユーザのＨＭＤ２００に表示されるゲーム画像（ＶＲ空間での画像）の例である。図６、図７に示すようにユーザの目の前には満員の観客が映し出される。図６はユーザが正面を向いた場合のゲーム画像であり、図７は、ユーザが右方向を向いた場合のゲーム画像である。

図６、図７に示すように、ＨＭＤ２００を用いる本実施形態のゲーム装置では、ユーザの全周囲の方向に亘って、仮想空間であるＶＲ空間の世界が広がる。例えばＨＭＤ２００を装着したユーザが前方向を向けば、図６のゲーム画像がＨＭＤ２００に表示され、右方向を向けば、図７のゲーム画像が表示される。後ろ方向を向けば、演奏バンドなどの画像が表示される。従って、多数の観客が歓声を上げる巨大なコンサートホールにおいて、ボーカル演奏しているかのような仮想現実感をユーザに与えることができ、ゲームへの没入度等を格段に向上できる。

また本実施形態では、曲の抑揚に合わせて観客の動き（アクション）や歓声が変化する。またユーザのアクションに応じるように、観客の動きや歓声が変化する。例えば図６において、ユーザが立つステージの近くの観客ＡＤ１〜ＡＤ７は、例えば多数のポリゴンで構成されるポリゴンモデルのオブジェクトにより表現されている。図７の観客ＡＤ８〜ＡＤ１１も同様である。一方、ステージから遠い位置にいる観客は、ユーザの視線に正対するビルボードポリゴンに描かれた画像により表現されている。

ポリゴンモデルの観客（ＡＤ１〜ＡＤ１１）は、例えばモーションデータによるモーション再生によりその動きが表現されている。これらの観客は、曲のリズムにのって基本アクション（基本モーション）を行う。観客は、ユーザの声や動きに応じも、インタラクティブにリアクションする。ユーザが、例えば「特定の方向を向いて歌う」、「手を振る」といったアクションを行うことで、その方向の観客のテンションが上がり、基本アクションが、１段階、派手になったり、或いは曲のリズムとは関係ない突発的な盛り上がりアクションを行うようになる。

図８は、ＶＲ空間においてユーザＰＬ（仮想ユーザ）が立つステージＳＧを、上方から俯瞰した様子を示す図である。ステージＳＧは境界ＢＤＳにより区画されており、ステージＳＧの周りの観客席ＳＥ１、ＳＥ２、ＳＥ３には、図６、図７に示すようにアクションする観客が配置されている。このステージＳＧの境界ＢＤＳは、例えば図５の現実世界のプレイエリアのエリアＡＲの境界ＢＤに対応している。一例としては、図５の現実世界のエリアＡＲの境界ＢＤから例えば所定距離だけ内側に対応する位置に、ＶＲ空間でのステージＳＧの境界ＢＤＳが設定されている。

本実施形態ではユーザは、観客を盛り上げるためのパフォーマンスを行うことができる。ユーザに向けて何らかのアピールのアクションをしてくる観客が、当該パフォーマンスのターゲットになる。例えば図６では、観客ＡＤ４が、右手を高く上げてユーザに対してアピールのアクションを行っており、この観客ＡＤ４がターゲットになる。また図７ではアピールのアクションを行っている観客ＡＤ１０がターゲットになる。

これらのアピールする観客に対して、ユーザがアクションを行うことで、これらの観客の熱狂度パラメータ（熱狂度ゲージ）の値が上昇する。そして熱狂度パラメータが最大値になると、これらの観客が、大喜びを表現する熱狂アクションを行うようになる。

アピールする観客に対してユーザが行う第１のアクションは、そのターゲットの観客の方に視線を向けて歌うアクションである。この第１のアクションが行われるのは、楽曲の歌唱パートと間奏パートのうち、歌唱パートにおいてである。

アピールする観客に対してユーザが行う第２のアクションは、観客に対して呼びかけなどの発声を行うアクションである。ユーザの呼びかけの発声に対して、観客は声援や掛け声や拍手などで応答する。ユーザは、観客からの声援や掛け声や拍手に合わせて、腕を上げるアクションなどを行う。

これらの第１、第２のアクションのターゲットとなる観客は、例えばランダムにコンサートホール内で発生する。ユーザの１曲の演奏におけるターゲットの数は所定数に決まっている。ターゲットとなる所定数の全ての観客について、熱狂度パラメータが最大値になり盛り上げに成功すると、全クリアになる。例えばターゲットとなる観客の数が１０人である場合に、これらの１０人の全ての観客の熱狂度パラメータが最大値に達すると、ターゲットの全クリアになる。この場合に、ターゲットのクリア数に応じて、最後のステージエフェクトの種類が変化する。例えば１０人のターゲットの全てをクリアした場合には、最後のステージにおいて最も派手なエフェクトが発生する。また例えば８人のターゲットをクリアした場合には、５人のターゲットをクリアした場合に比べて、より派手なエフェクトが発生する。

また本実施形態ではユーザの歌唱力が評価される。即ち、ユーザの歌の音程とリズムが検知されて評価される。具体的には、リズムに合わせた発声が出来たかを評価する。例えば、ベース又はドラムの演奏の指定タイミングに合わせて、ユーザが発声できると、ポイントが加算される。また、ロングトーンの上手さや、休符についての正確性なども評価される。また音程の正確性も評価する。即ち、ユーザの歌の音程判定を行い、正解な音程で歌った音程をグラフ的に表示する。なお、ユーザの音量がゼロの状態が一定時間、継続すると、観客の多くは待機モーションに移行し、その間はユーザはポイント加算を得ることができない。

ユーザの演奏が終了し、ライブステージを通してのユーザの評価結果が一定基準を満たすと、観客はアンコールを求めて来る。そのアンコールに応えることで、ユーザは更に１曲、追加で演奏できるようになる。そしてライブステージの終了時には、フェードアウトする歓声の中で、照明はさらに暗くなり、ブラックアウトして終了する。その後、「お疲れ様でした、ＨＭＤを外してください」といった表示及びガイド音声が流れる。そしてユーザは装備を外して個室から退室し、ゲームプレイの終了となる。

２．３ 仮想スピーカ
図９（Ａ）では、ユーザＰＬは、移動可能範囲であるプレイエリアで移動可能になっており、プレイエリア（移動可能範囲）の周囲に５つのスピーカＦＬ、ＦＲ、ＦＣ、ＲＬ、ＲＲが配置されている。ＦＬ、ＦＲはフロントスピーカであり、ＦＣはセンタースピーカであり、ＲＬ、ＲＲはリアスピーカである。このようなスピーカＦＬ、ＦＲ、ＦＣ、ＲＬ、ＲＲを配置することで、いわゆるサラウンド音響を実現でき、奥行き感や広がり感が表現された臨場感のある音響をユーザＰＬに提供できる。

しかしながら、これらのスピーカＦＬ、ＦＲ、ＦＣ、ＲＬ、ＲＲによるサラウンドは、図９（Ａ）のようにユーザＰＬがプレイエリアの中央（基準位置）に位置し、正面方向（基準方向）を向いている場合に最適になるように、仮想空間の音場が形成されている。このため、図９（Ｂ）のようにユーザＰＬが移動して、ユーザＰＬの位置ＰＰＬがプレイエリアの中央から離れた場所に変化したり、図１０に示すようにユーザＰＬの向く方向ＤＰＬが変化した場合には、不適正（不正確）な音場になってしまう。ここでユーザＰＬの位置ＰＰＬは例えばユーザの視点位置であり、ユーザＰＬの方向ＤＰＬは例えばユーザＰＬの視線方向である。なおユーザＰＬの移動方向がユーザの視線方向に一致するものと想定するようにしてもよい。

例えばユーザＰＬは、図９（Ａ）では真後ろにあった仮想空間での仮想音源（例えばバンドの演奏者）の位置が、図９（Ｂ）では右斜めの位置に存在するように感じてしまう。またユーザＰＬは、図９（Ａ）では真正面にあった仮想音源（例えば観客）の位置が、図１０では、左斜め後ろに存在するように感じてしまう。このため、ユーザＰＬの仮想現実感が損なわれたり、方向感を失ってしまうなどの問題が生じるおそれがある。特にユーザＰＬがＨＭＤ２００を装着している場合には、その視界がＨＭＤ２００により覆われており、実世界の状況を見ることができないため、方向感等を失ってしまう可能性が高い。

そこで本実施形態では、ユーザＰＬの位置ＰＰＬ、方向ＤＰＬが変化しても、正確な音場環境（例えばサラウンド環境）の維持を可能にする手法を採用している。具体的には実空間の複数のスピーカの音量バランス調整により、仮想空間に複数の仮想スピーカを設定し、これらの複数の仮想スピーカを用いて、仮想空間内の仮想音源を表現する。

まず図１１（Ａ）、図１１（Ｂ）を用いて、ステレオ用の仮想スピーカの設定手法について説明する。例えば図１１（Ａ）、図１１（Ｂ）において、スピーカＳＰ１、ＳＰ２の音量バランスを調整することで、左チャンネル用の仮想スピーカＶＳ１を設定（構成）する。またスピーカＳＰ３、ＳＰ４の音量バランスを調整することで、右チャンネル用の仮想スピーカＶＳ２を設定（構成）する。そして仮想スピーカＶＳ１から、ステレオ再生における左チャンネルの音を出力する。また仮想スピーカＶＳ２から、ステレオ再生における右チャンネルの音を出力する。これによりユーザに対して正しい向きでのステレオ効果を与えることができる。

ここで、図１１（Ａ）、図１１（Ｂ）のスピーカＳＰ１、ＳＰ２、ＳＰ３、ＳＰ４は、実空間に配置されるスピーカであり、図９（Ａ）のように、ユーザＰＬの移動可能範囲に対応して設置されるスピーカＦＬ、ＦＲ、ＦＣ、ＲＬ、ＲＲに相当する。そしてＰ１、Ｐ２、Ｐ３、Ｐ４はスピーカＳＰ１、ＳＰ２、ＳＰ３、ＳＰ４の位置である。ＰＳ１、ＰＳ２は、仮想スピーカＶＳ１、ＶＳ２（第１、第２の仮想スピーカ）の位置（第１、第２の位置）である。

また図１１（Ａ）、図１１（Ｂ）の仮想ユーザＰＶ（仮想プレーヤ）は、図９（Ａ）のユーザＰＬ（プレーヤ）に相当するものであり、実空間のユーザＰＬの位置ＰＰＬ、ＤＰＬが変化すると、それに応じて仮想空間の仮想ユーザＰＶの位置ＰＰ、方向ＤＰも変化する。位置ＰＰは仮想ユーザＰＶの例えば視点位置であり、方向ＤＰは仮想ユーザＰＶの例えば視線方向である。

例えばユーザＰＬがＨＭＤ２００を装着している場合には、ＨＭＤ２００の位置、方向を検出することでユーザＰＬの位置、方向（視点位置、視線方向）を特定し、これにより仮想ユーザＰＶの位置、方向（視点位置、視線方向）が特定される。従って図９（Ａ）〜図１０のようにユーザＰＬの位置ＰＰＬ、方向ＤＰＬが変化した場合に、それに応じて仮想空間の仮想ユーザＰＶの位置ＰＰ、方向ＤＰを変化させることができる。なおユーザＰＬがＨＭＤ２００を装着しないようなシステムにおいても、各種のセンサを用いることでユーザＰＬの位置ＰＰＬ、方向ＤＰＬを特定し、それに応じて仮想ユーザＰＶの位置ＰＰ、方向ＤＰを変化させることが可能である。例えば画像センサ（ＲＧＢセンサ）やデプスセンサなどのセンサを用いて、ユーザＰＬのスケルトン情報や位置情報を取得して、ユーザＰＬの位置ＰＰＬ、方向ＤＰＬを特定してもよい。

そして本実施形態では、ユーザＰＬの位置ＰＰＬ、方向ＤＰＬの変化に伴い、仮想ユーザＰＶの位置ＰＰ、方向ＤＰが変化した場合にも、仮想スピーカＶＳ１、ＶＳ２は仮想ユーザＰＶに対して所定の相対的位置関係を保って追従する。具体的には、図１１（Ａ）、図１１（Ｂ）では、仮想ユーザＰＶに対して相対的位置関係を保って追従する位置ＰＳ１、ＰＳ２（第１、第２の位置）に、仮想スピーカＶＳ１、ＶＳ２（第１、第２の仮想スピーカ）が設定される。例えば仮想ユーザＰＶの左耳ＥＬの位置と右耳ＥＲの位置を結ぶ線上に、仮想スピーカＶＳ１、ＶＳ２の位置ＰＳ１、ＰＳ２が設定されるという相対的位置関係が保たれる。例えば図１１（Ａ）と図１１（Ｂ）とでは、仮想ユーザＰＶの位置ＰＰ、方向ＤＰは異なっているが、仮想ユーザＰＶに対する仮想スピーカＶＳ１、ＶＳ２の相対的位置関係は保たれている。即ち、仮想ユーザＰＶの左耳ＥＬと右耳ＥＲを結ぶ線上に位置ＰＳ１、ＰＳ２が設定されるように、仮想スピーカＶＳ１、ＶＳ２が仮想ユーザＰＶに追従する。

そして仮想空間内の仮想音源（例えば後述する観客、演奏者等）による音場形成を、これらの仮想スピーカＶＳ１、ＶＳ２を用いて行う。例えば当該仮想音源の位置に当該仮想音源による音が定位するように、仮想スピーカＶＳ１、ＶＳ２の音量バランス調整等が行われる。このようにすれば、ユーザＰＬの位置ＰＰＬ、方向ＤＰＬが変化して、仮想ユーザＰＶの位置ＰＰ、方向ＤＰが変化した場合にも、これらの変化に依存しない適正な音場を形成できるようになる。

また図１１（Ａ）、図１１（Ｂ）では、スピーカＳＰ１、ＳＰ２の音量バランス調整を行うことで、位置ＰＳ１に仮想スピーカＶＳ１を設定し、スピーカＳＰ３、ＳＰ４の音量バランス調整を行うことで、位置ＰＳ２に仮想スピーカＶＳ２を設定している。

図１２は、図１１（Ａ）、図１１（Ｂ）の仮想スピーカＶＳ１、ＶＳ２をスピーカＳＰ１〜ＳＰ４の音量バランス調整により設定する手法の説明図である。

図１２では、スピーカＳＰ１〜ＳＰ４（広義には第１〜第Ｍのスピーカ）のうちの第１のスピーカ群であるスピーカＳＰ１、ＳＰ２の位置Ｐ１、Ｐ２の情報と、位置ＰＳ１（第１の位置）の情報とに基づいて、スピーカＳＰ１、ＳＰ２の音量バランス調整を行うことで、仮想スピーカＶＳ１（第１の仮想スピーカ）を設定している。またスピーカＳＰ１〜ＳＰ４のうちの第２のスピーカ群であるスピーカＳＰ３、ＳＰ４の位置Ｐ３、Ｐ４の情報と、位置ＰＳ２（第２の位置）の情報とに基づいて、スピーカＳＰ３、ＳＰ４の音量バランス調整を行うことで、仮想スピーカＶＳ２（第２の仮想スピーカ）を設定している。

例えば図１１（Ａ）、図１１（Ｂ）で説明したように、位置ＰＳ１、ＰＳ２は、仮想ユーザＰＶの位置ＰＰ、方向ＤＰに対して相対的位置関係を保つ位置に設定されており、例えば図１２に示すように左耳ＥＬと右耳ＥＲを結ぶ線ＬＬＲ上の位置に設定されている。具体的には位置ＰＳ１は、線ＬＬＲと、位置Ｐ１、Ｐ２を結ぶ線Ｌ１２との交点の位置になる。位置ＰＳ２は、線ＬＬＲと、位置Ｐ３、Ｐ４を結ぶ線Ｌ３４との交点の位置になる。

そして位置ＰＳ１に仮想スピーカＶＳ１が設定されるように、位置Ｐ１、Ｐ２のスピーカＳＰ１、ＳＰ２（第１のスピーカ群）の音量バランスを調整する。例えば位置Ｐ１とＰＳ１の距離をＤ１とし、位置Ｐ２とＰＳ１の距離をＤ２とする。この場合にＤ１が長くなり、Ｄ２が短くなるほど、スピーカＳＰ１の音量を小さくし、スピーカＳＰ２の音量を大きくする。一方、Ｄ１が短くなり、Ｄ２が長くなるほど、スピーカＳＰ１の音量を大きくし、スピーカＳＰ２の音量を小さくする。

また位置ＰＳ２に仮想スピーカＶＳ２が設定されるように、位置Ｐ３、Ｐ４のスピーカＳＰ１、ＳＰ２（第２のスピーカ群）の音量バランスを調整する。例えば位置Ｐ３とＰＳ２の距離をＤ３とし、位置Ｐ４とＰＳ２の距離をＤ４とする。この場合にＤ３が長くなり、Ｄ４が短くなるほど、スピーカＳＰ３の音量を小さくし、スピーカＳＰ４の音量を大きくする。一方、Ｄ３が短くなり、Ｄ４が長くなるほど、スピーカＳＰ３の音量を大きくし、スピーカＳＰ４の音量を小さくする。こうすることで位置ＰＳ１、ＰＳ２に仮想スピーカＶＳ１、ＶＳ２を定位させることができる。

２．４ ３個以上のスピーカによる仮想スピーカの設定
さて、図１１（Ａ）〜図１２の手法では、各仮想スピーカを設定するスピーカ群として２個のスピーカしか使用していないため、任意の位置に仮想スピーカを設定することができない。このため、厳密に正しいステレオ効果を実現することが難しいという問題点がある。例えば図１１（Ａ）において、仮想ユーザＰＶの位置ＰＰが左側に移動すると、仮想スピーカＶＳ１と左耳ＥＬとの距離が短くなり、仮想スピーカＶＳ２と右耳ＥＲとの距離が長くなってしまう。また仮想ユーザＰＶの位置ＰＰが右側に移動すると、仮想スピーカＶＳ１と左耳ＥＬとの距離が長くなり、仮想スピーカＶＳ２と右耳ＥＲとの距離が短くなってしまう。従って、正しいステレオ効果を実現することが難しい。

この点、本実施形態では、図１３（Ａ）〜図１４で説明するように、各仮想スピーカを設定するスピーカ群として３個以上のスピーカを用いており、これにより任意の位置への仮想スピーカの設定を可能にしている。

例えば図１３（Ａ）、図１３（Ｂ）では、少なくとも３個のスピーカＳＰ１、ＳＰ２、ＳＰ３を含む第１のスピーカ群により、仮想スピーカＶＳ１を設定している。また少なくとも３個のスピーカＳＰ２、ＳＰ３、ＳＰ４を含む第２のスピーカ群により、仮想スピーカＶＳ２を設定している。

このようにすることで図１３（Ａ）、図１３（Ｂ）では、仮想ユーザＰＶの左耳ＥＬに対応する位置に仮想スピーカＶＳ１を設定し、右耳ＥＲに対応する位置に仮想スピーカＶＳ２を設定できる。ここで、左耳ＥＬに対応する位置は、例えば仮想ユーザＰＶが装着する仮想的なヘッドホンの左スピーカの位置であり、右耳ＥＲに対応する位置は、例えば仮想的なヘッドホンの右スピーカの位置である。このようにすることで、ヘッドホンを装着している状態に近い効果を作り出すことができるため、例えばバイノーラル音源の再生も可能になるという利点がある。また、仮想スピーカＶＳ１、ＶＳ２の位置ＰＳ１、ＰＳ２を自由に設定できるため、ユーザＰＬ（仮想ユーザＰＶ）の位置に依存せずに、正しいステレオ効果を実現できるという利点がある。

図１４は、図１３（Ａ）、図１３（Ｂ）の仮想スピーカＶＳ１、ＶＳ２をスピーカＳＰ１〜ＳＰ４の音量バランス調整により設定する手法の説明図である。

図１４では、スピーカＳＰ１〜ＳＰ４（第１〜第Ｍのスピーカ）のうちの第１のスピーカ群であるスピーカＳＰ１、ＳＰ２、ＳＰ３の位置Ｐ１、Ｐ２、Ｐ３の情報と、位置ＰＳ１の情報とに基づいて、スピーカＳＰ１、ＳＰ２、ＳＰ３の音量バランス調整を行うことで、仮想スピーカＶＳ１を設定している。またスピーカＳＰ１〜ＳＰ４のうちの第２のスピーカ群であるスピーカＳＰ２、ＳＰ３、ＳＰ４の位置Ｐ２、Ｐ３、Ｐ４の情報と、位置ＰＳ２の情報とに基づいて、スピーカＳＰ２、ＳＰ３、ＳＰ４の音量バランス調整を行うことで、仮想スピーカＶＳ２を設定している。つまり、少なくとも３個以上のスピーカを含むスピーカ群の音量バランス調整を行うことで、各仮想スピーカを設定している。

例えば図１３（Ａ）、図１３（Ｂ）に示すように、位置ＰＳ１、ＰＳ２は、仮想ユーザＰＶの位置ＰＰ、方向ＤＰに対して相対的位置関係を保つ位置に設定されている。具体的には図１４に示すように、左耳ＥＬと右耳ＥＲを結ぶ線ＬＬＲ上の位置において、位置ＰＰから同一の距離ＤＥの位置にＰＳ１、ＰＳ２が設定されている。線ＬＬＲは例えば仮想ユーザＰＶの方向ＤＰに直交する。

そして本実施形態では、位置ＰＳ１に仮想スピーカＶＳ１が設定されるように、位置Ｐ１、Ｐ２、Ｐ３のスピーカＳＰ１、ＳＰ２、ＳＰ３（第１のスピーカ群）の音量バランスを調整する。

例えば図１４において、スピーカＳＰ１、ＳＰ２の位置Ｐ１、Ｐ２を結ぶ線をＬ１２とし、仮想スピーカＶＳ１の位置ＰＳ１から線Ｌ１２に下ろした垂線との交点をＰＳ１Ｙとする。そして位置Ｐ１と交点ＰＳ１Ｙとの距離をＹ１とし、位置Ｐ２と交点ＰＳ１Ｙとの距離をＹ２とする。またスピーカＳＰ２、ＳＰ３の位置Ｐ２、Ｐ３を結ぶ線をＬ２３とし、仮想スピーカＶＳ１の位置ＰＳ１から線Ｌ２３に下ろした垂線との交点をＰＳ１Ｘとする。そして位置Ｐ２と交点ＰＳ１Ｘとの距離をＸ２とし、位置Ｐ３と交点ＰＳ１Ｘとの距離をＸ３とする。

この場合に、距離Ｙ１、Ｙ２に基づいてスピーカＳＰ１、ＳＰ２の音量バランスを調整し、距離Ｘ２、Ｘ３に基づいてスピーカＳＰ２、ＳＰ３の音量バランスを調整する。例えばＹ１が長くなり、Ｙ２が短くなるほど、スピーカＳＰ１の音量を小さくし、スピーカＳＰ２の音量を大きくする。一方、Ｙ１が短くなり、Ｙ２が長くなるほど、スピーカＳＰ１の音量を大きくし、スピーカＳＰ２の音量を小さくする。またＸ２が長くなり、Ｘ３が短くなるほど、スピーカＳＰ２の音量を小さくし、スピーカＳＰ３の音量を大きくする。一方、Ｘ２が短くなり、Ｘ３が長くなるほど、スピーカＳＰ２の音量を大きくし、スピーカＳＰ３の音量を小さくする。

また本実施形態では、位置ＰＳ２に仮想スピーカＶＳ２が設定されるように、位置Ｐ３、Ｐ３、Ｐ４のスピーカＳＰ２、ＳＰ３、ＳＰ４（第２のスピーカ群）の音量バランスを調整する。

例えば図１４において、スピーカＳＰ３、ＳＰ４の位置Ｐ３、Ｐ４を結ぶ線をＬ３４とし、仮想スピーカＶＳ２の位置ＰＳ２から線Ｌ３４に下ろした垂線との交点をＰＳ２Ｙとする。そして位置Ｐ３と交点ＰＳ２Ｙとの距離をＹ３とし、位置Ｐ４と交点ＰＳ２Ｙとの距離をＹ４とする。またスピーカＳＰ４、ＳＰ１の位置Ｐ４、Ｐ１を結ぶ線をＬ４１とし、仮想スピーカＶＳ２の位置ＰＳ２から線Ｌ４１に下ろした垂線との交点をＰＳ２Ｘとする。そして位置Ｐ４と交点ＰＳ２Ｘとの距離をＸ４とし、位置Ｐ１と交点ＰＳ２Ｘとの距離をＸ１とする。

この場合に、距離Ｙ３、Ｙ４に基づいてスピーカＳＰ３、ＳＰ４の音量バランスを調整し、距離Ｘ４、Ｘ１に基づいてスピーカＳＰ４、ＳＰ１の音量バランスを調整する。例えばＹ３が長くなり、Ｙ４が短くなるほど、スピーカＳＰ３の音量を小さくし、スピーカＳＰ４の音量を大きくする。一方、Ｙ３が短くなり、Ｙ４が長くなるほど、スピーカＳＰ３の音量を大きくし、スピーカＳＰ４の音量を小さくする。またＸ４が長くなり、Ｘ１が短くなるほど、スピーカＳＰ４の音量を小さくし、スピーカＳＰ１の音量を大きくする。一方、Ｘ４が短くなり、Ｘ１が長くなるほど、スピーカＳＰ４の音量を大きくし、スピーカＳＰ１の音量を小さくする。以上のようにすることで、位置ＰＳ１、ＰＳ２に仮想スピーカＶＳ１、ＶＳ２を定位させることができる。

図１５（Ａ）、図１５（Ｂ）はバイノーラル録音についての説明図である。図１５（Ａ）に示すように、例えば人間の頭部の音響効果を再現するダミーヘッドＤＭＨが用意され、ダミーヘッドＤＭＨの周囲に複数の音源が配置される。またダミーヘッドＤＭＨの左耳、右耳の位置にマイクＭＣＬ、ＭＣＲが設置される。そして、これらの複数の音源からの音をマイクＭＣＬ、ＭＣＲを用いて録音する。このようにして録音された音を、図１５（Ｂ）に示すようにヘッドホンＨＤＰの左スピーカＨＤＬ、右スピーカＨＤＲから出力することで、その場に居合わせたかのような臨場感のある音を再現できる。このようなバイノーラル録音に対応する音を、コンピュータ演算処理によりシミュレートする。例えばダミーヘッドＤＭＨに対応するモデル（モデルオブジェクト）を用意する。そして仮想空間内の仮想音源から、当該モデルの左耳、右耳に届く音波に加えて、モデルの耳たぶや体の各部によって回折、反射する音波を重ね合わせる音のシミュレーション処理を行って、バイノーラル音源の音を生成する。そして、バイノーラル音源による左チャンネルの音を、図１３（Ａ）の仮想スピーカＶＳ１から出力させ、バイノーラル音源による右チャンネルの音を仮想スピーカＶＳ２から出力させる。具体的には上述のような音量バランス調整を行った上で、仮想スピーカＶＳ１に対応する第１のスピーカ群から、バイノーラル音源による左チャンネルの音を出力させ、仮想スピーカＶＳ２に対応する第２のスピーカ群から、バイノーラル音源による右チャンネルの音を出力させる。こうすることで、現実世界に非常に近いリアルで臨場感のある音場の生成が可能になる。

２．５ サラウンド
図１６（Ａ）、図１６（Ｂ）は、仮想スピーカの個数を増やして、仮想ユーザＰＶ（ユーザ）の移動に追従するサラウンド音響を実現する手法の説明図である。

図１６（Ａ）、図１６（Ｂ）では、仮想ユーザＰＶの周囲を囲むように例えば４個の仮想スピーカＶＳ１、ＶＳ２、ＶＳ３、ＶＳ４が設定されている。そして図１６（Ａ）、図１６（Ｂ）に示すように、仮想ユーザＰＶの位置ＰＰ、方向ＤＰが変化しても、仮想ユーザＰＶに対して所定の相対的位置関係を保って追従する位置ＰＳ１、ＰＳ２、ＰＳ３、ＰＳ４（第１〜第Ｎの位置）に対して、仮想スピーカＶＳ１、ＶＳ２、ＶＳ３、ＶＳ４（第１〜第Ｎの仮想スピーカ）が設定されている。例えば仮想スピーカＶＳ１は、第１のスピーカ群（ＳＰ４、ＳＰ１、ＳＰ２）の音量バランス調整により設定され、仮想スピーカＶＳ２は、第２のスピーカ群（ＳＰ１、ＳＰ２、ＳＰ３）の音量バランス調整により設定される。仮想スピーカＶＳ３は、第３のスピーカ群（ＳＰ２、ＳＰ３、ＳＰ４）の音量バランス調整により設定され、仮想スピーカＶＳ４は、第４のスピーカ群（ＳＰ３、ＳＰ４、ＳＰ１）の音量バランス調整により設定される。

なお、各仮想スピーカを設定する各スピーカ群は、仮想ユーザＰＶの位置ＰＰ等に基づいて変化させることができる。また図１６（Ａ）、図１６（Ｂ）では、サラウンド音響の実現のために、４個の仮想スピーカを設定しているが、本実施形態はこれに限定されない。サラウンド音響の実現には、少なくとも３個以上の仮想スピーカを設定すればよく、仮想スピーカの個数は任意である。例えば２個のフロントの仮想スピーカと１個のセンターの仮想スピーカというように、合計で３個の仮想スピーカで実現してもよいし、これらの３個の仮想スピーカに対して、２個のリアの仮想スピーカを加えて、合計で５個の仮想スピーカで実現してもよい。また仮想ユーザＰＶに対して任意の位置に仮想スピーカを設定できることは、図１４から明らかであるため、図１６（Ａ）、図１６（Ｂ）の仮想スピーカＶＳ１〜ＶＳ４の設定の詳細な説明については省略する。

図１６（Ａ）、図１６（Ｂ）の手法によれば、例えば図９（Ａ）〜図１０のようにユーザＰＬの位置ＰＰＬ、方向ＤＰＬが変化し、これに応じて仮想ユーザＰＶの位置ＰＰ、方向ＤＰが変化しても、その変化に追従するようにサラウンド用の仮想スピーカＶＳ１〜ＶＳ４が設定される。即ち、サラウンド用の仮想スピーカＶＳ１〜ＶＳ４は、仮想ユーザＰＶの位置ＰＰ、方向ＤＰが変化した場合にも、仮想ユーザＰＶに対して所定の相対的位置関係を保って追従する。例えば図１６（Ａ）、図１６（Ｂ）では、仮想ユーザＰＶに対して、仮想スピーカＶＳ１、ＶＳ２、ＶＳ３、ＶＳ４は、各々、左斜め前、左斜め後ろ、右斜め後ろ、右斜め前の位置に固定される。従って、常に正しい向きの適正な音場のサラウンド音響を実現できるようになる。

２．６ 仮想音源による音場形成
本実施形態では、仮想スピーカの位置の情報と仮想音源の位置の情報とに基づいて、仮想スピーカの音量バランス調整を行うことで、仮想音源による音場の形成処理を行っている。図１７、図１８は、このような仮想スピーカによる仮想音源の音場形成手法について説明する図である。

図１７では、仮想空間内の位置ＰＲ１、ＰＲ２に仮想音源ＳＲ１、ＳＲ２が設定されている。これらの仮想音源ＳＲ１、Ｒ２は、例えば後述するような仮想空間内の観客、演奏者等による音の発生源である。本実施形態では、これらの仮想音源ＳＲ１、ＳＲ２による音場を、仮想スピーカＶＳ１〜ＶＳ４を用いて形成する。これらの仮想スピーカＶＳ１〜ＶＳ４は、図１６（Ａ）、図１６（Ｂ）に示すように、仮想ユーザＰＶの位置ＰＰ、方向ＤＰが変化した場合にも、仮想ユーザＰＶに対して所定の相対的位置関係を保って追従する。

例えば本実施形態では、仮想音源ＳＲ１による音場形成を、仮想スピーカＶＳ１、ＶＳ２、ＶＳ３の音量バランス調整により実現している。

例えば図１８において、仮想スピーカＶＳ１、ＶＳ２の位置ＰＳ１、ＰＳ２を結ぶ線をＬＳ１２とし、仮想音源ＳＲ１の位置ＰＲ１から線ＬＳ１２に下ろした垂線との交点をＰＲ１Ｙとする。そして位置ＰＳ１と交点ＰＲ１Ｙとの距離をＹ１Ｒとし、位置ＰＳ２と交点ＰＲ１Ｙとの距離をＹ２Ｒとする。また仮想スピーカＶＳ２、ＶＳ３の位置ＰＳ２、ＰＳ３を結ぶ線をＬＳ２３とし、仮想音源ＳＲ１の位置ＰＲ１から線ＬＳ２３に下ろした垂線との交点をＰＲ１Ｘとする。そして位置ＰＳ２と交点ＰＲ１Ｘとの距離をＸ２Ｒとし、位置ＰＳ３と交点ＰＲ１Ｘとの距離をＸ３Ｒとする。

この場合に本実施形態では、距離Ｙ１Ｒ、Ｙ２Ｒに基づいて仮想スピーカＶＳ１、ＶＳ２の音量バランスを調整し、距離Ｘ２Ｒ、Ｘ３Ｒに基づいて仮想スピーカＶＳ２、ＶＳ３の音量バランスを調整することで、仮想音源ＳＲ１を位置ＰＲ１に定位させる。例えばＹ１Ｒが長くなり、Ｙ２Ｒが短くなるほど、仮想スピーカＶＳ１の音量を小さくし、仮想スピーカＶＳ２の音量を大きくする。一方、Ｙ１Ｒが短くなり、Ｙ２Ｒが長くなるほど、仮想スピーカＶＳ１の音量を大きくし、仮想スピーカＶＳ２の音量を小さくする。またＸ２Ｒが長くなり、Ｘ３Ｒが短くなるほど、仮想スピーカＶＳ２の音量を小さくし、仮想スピーカＶＳ３の音量を大きくする。一方、Ｘ２Ｒが短くなり、Ｘ３Ｒが長くなるほど、仮想スピーカＶＳ２の音量を大きくし、仮想スピーカＶＳ３の音量を小さくする。このようにして仮想音源ＳＲ１が位置ＰＲ１に定位した音場を形成できる。

また仮想音源ＳＲ２による音場形成は、例えば仮想スピーカＶＳ３、ＶＳ４、ＶＳ１の音量バランス調整により実現できる。この場合に仮想音源ＳＲ２を位置ＰＲ２に定位させる音場形成は、仮想音源ＳＲ１の場合と同様の手法により実現できるため、詳細な説明は省略する。なお各仮想音源を設定する各仮想スピーカ群は、各仮想音源の位置等に基づいて変化させることができる。

以上のように本実施形態では、スピーカＳＰ１〜ＳＰ４（第１〜第Ｍのスピーカ）が配置される実空間において移動するユーザＰＬの位置ＰＰＬ、方向ＤＰＬの情報を取得する。そして図９（Ａ）〜図１０のような実空間でのユーザＰＬの位置ＰＰＬ、方向ＤＰＬの変化に伴い、ユーザＰＬに対応する仮想ユーザＰＶの仮想空間での位置ＰＰ、方向ＤＰが変化したとする。この場合に、例えば図１６（Ａ）、図１６（Ｂ）や図１３（Ａ）〜図１４等で説明したように、仮想ユーザＰＶに対して所定の相対的位置関係を保って追従する位置ＰＳ１〜ＰＳ４（第１〜第Ｎの位置）に対して、仮想スピーカＶＳ１〜ＶＳ４（第１〜第Ｎの仮想スピーカ）を設定する。これらの仮想スピーカＶＳ１〜ＶＳ４は、スピーカＳＰ１〜ＳＰ４の音量バランス調整を行うことで設定される。そして図１７に示す仮想空間内の仮想音源ＳＲ１、ＳＲ２による音場の形成処理を、仮想スピーカＶＳ１〜ＶＳ４を用いて行う。具体的には図１８で説明したように、仮想スピーカＶＳ１〜ＶＳ４の位置ＰＳ１〜ＰＳ４の情報と仮想音源ＳＲ１、ＳＲ２の位置ＰＲ１、ＰＲ２の情報とに基づいて、仮想スピーカＶＳ１〜ＶＳ４の音量バランス調整を行うことで、仮想音源ＳＲ１、ＳＲ２による音場の形成処理を行う。

このように本実施形態では、仮想空間内に単に仮想スピーカを定位させるのではなく、仮想ユーザに対して所定の相対的位置関係を保って追従する位置（ＰＳ１〜ＰＳ４）に仮想スピーカ（ＶＳ１〜ＶＳ４）を設定している。即ちユーザの位置、方向が変化して、仮想ユーザの位置、方向が変化しても、当該相対的位置関係については維持されるように、仮想スピーカを追従させる。そして、このように仮想ユーザに対して追従する複数の仮想スピーカを用いて、仮想空間に登場する仮想音源の音場を形成する。このようにすることで、例えばゲームなどにおいて様々な位置に様々な態様で出現する仮想音源（観客、演奏者、爆発等）についての音場を、ユーザの位置や方向の変化に依存せずに、正確に形成することが可能になる。即ち、ユーザの位置や方向が変化した場合にも、仮想音源についての適正（正確）な音場を形成することが可能になり、これまでにないシミュレーションシステムの実現が可能になる。

また本実施形態では、図１３（Ａ）〜図１４で説明したように、少なくとも３個のスピーカ（ＳＰ１、ＳＰ２、ＳＰ３）を含む第１のスピーカ群に、左チャンネル（広義には第１のチャンネル）の音を出力させ、少なくとも３個のスピーカ（ＳＰ２、ＳＰ３、ＳＰ４）を含む第２のスピーカ群に、右チャンネル（広義には第２のチャンネル）の音を出力させている。そして仮想ユーザＰＶの左耳ＥＬの位置に仮想スピーカＶＳ１が設定されるように、第１のスピーカ群の音量バランス調整を行う。また仮想ユーザＰＶの右耳ＥＲの位置に仮想スピーカＶＳ２が設定されるように、第２のスピーカ群の音量バランス調整を行う。こうすることで、仮想的なヘッドホンの左スピーカから左チャンネルの音を出力し、仮想的なヘッドホンの右スピーカから右チャンネルの音を出力するようなステレオ効果を実現できる。そして、これらの第１、第２のスピーカ群に、バイノーラル音源による音を出力させることで、更にリアルで臨場感のある立体音響の実現が可能になる。

また本実施形態では図１９に示すように、実空間のユーザＰＬには移動可能範囲ＡＲＭが設定されている。ユーザＰＬは、この移動可能範囲ＡＲＭにおいて自由に移動しながら、シミュレーションシステムにより生成される音や画像を観て楽しむことができる。そして、この移動可能範囲ＡＲＭに対応する位置に、仮想スピーカを実現するためのスピーカＳＰ１〜ＳＰ４（第１〜第Ｍのスピーカ）が配置されている。例えば図１９では、移動可能範囲ＡＲＭの周囲にスピーカＳＰ１〜ＳＰ４が配置されている。即ち、ユーザＰＬの周囲を囲むようにスピーカＳＰ１〜ＳＰ４が配置されている。なお移動可能範囲ＡＲＭの中にこれらのスピーカの一部を配置することも可能である。

本実施形態では、このように設定された移動可能範囲ＡＲＭにおいてユーザＰＬが自由に移動して、その位置や方向が変化した場合にも、その位置や方向の変化に依存せずに、適正（正確）な音場を形成することが可能になる。例えばユーザＰＬに対応する仮想ユーザが移動する仮想空間において発生する種々の仮想音源の音場を、リアルに正確に再現できるようになり、これまでにないシミュレーションシステムの実現が可能になる。

また本実施形態では、ユーザに対応する仮想ユーザの視点から見える画像の表示処理が行われる。具体的には、図６、図７に示すように当該仮想ユーザが表示されない一人称視点での画像の表示処理が行われる。このような一人称視点の画像を表示することで、ユーザは、あたかも仮想空間の中に入り込んだかのような仮想現実を感じながら、ゲーム等をプレイすることになる。例えば本実施形態では、実世界でのユーザが移動するなどして、その位置、方向が変化すると、仮想空間の仮想ユーザの位置、方向が変化するため、その仮想ユーザがあたかも自分自身であるかのような感覚になる。そしてこの場合に本実施形態では、この仮想ユーザの位置、方向の変化に対して所定の相対的位置関係を保って仮想スピーカが追従し、当該仮想スピーカにより、仮想空間内の仮想音源の音場形成の処理が行われる。従って、ユーザは、図１９のような実空間でのスピーカＳＰ１〜ＳＰ４の存在を感じることなく、正確に形成された音場で、ＶＲの世界に没入することが可能になる。

また本実施形態では図１９に示すように、ユーザＰＬが装着するＨＭＤに画像を表示するための処理が行われる。このように視界を覆うＨＭＤをユーザＰＬが装着するシミュレーションシステムにおいては、実世界のスピーカＳＰ１〜ＳＰ４の存在感が消えて、仮想スピーカによる正確な音場が形成できる本実施形態の手法は、特に有効になる。そしてこのようにユーザＰＬがＨＭＤを装着して移動する場合には、ＨＭＤに設けられたセンサ部からの情報に基づいて、ユーザの位置、方向の情報を取得できる。そして、取得されたユーザの位置、方向に基づき仮想ユーザの位置、方向を特定し、当該仮想ユーザに追従する仮想スピーカを設定して、リアルな音場が形成できるようになる。

また本実施形態では、仮想空間での仮想音源による音の発生状況を再現する画像の表示処理を行う。

例えば図２０では、仮想ユーザＰＶ（ユーザ）が、仮想空間内の観客ＡＤＡ、ＡＤＢ、ＡＤＣに対して呼びかけを行っている。例えばその視線ＶＬＰを観客ＡＤＡ、ＡＤＢ、ＡＤＣに向けて呼びかけを行っている。これは、例えばユーザが観客ＡＤＡ、ＡＤＢ、ＡＤＣの方に視線ＶＬＰを向けて、図２（Ａ）のマイク１６２に呼びかけの音声を入力することで実現される。このように呼びかけの音声が入力されると、これに対応して観客ＡＤＡ、ＡＤＢ、ＡＤＣが歓声や拍手などを行う。即ち応答音声や応答音が発生する。この場合に、観客ＡＤＡ、ＡＤＢ、ＡＤＣが仮想空間での仮想音源に相当し、歓声や拍手などの応答音声や応答音が、仮想音源から発生する音になる。このように本実施形態では、観客である仮想音源から音が発生する状況を再現する画像が表示される。

そして例えば図２１（Ａ）では、仮想ユーザＰＶ（ユーザ）が、正面の観客ＡＤＡ〜ＡＤＣの方に視線ＶＬＰを向けて呼びかけを行っており、これに対応して正面の観客ＡＤＡ〜ＡＤＣが歓声や拍手などを行っている。一方、図２１（Ｂ）では、仮想ユーザＰＶが、右側の観客ＡＤＤ〜ＡＤＦの方に視線ＶＬＰを向けて呼びかけを行っており、これに対応して右側の観客ＡＤＤ〜ＡＤＦが歓声や拍手などを行っている。このように本実施形態では、仮想ユーザＰＶの視線ＶＬＰの向きに対応する場所の仮想音源から音が発生しており、仮想音源による音の発生状況がリアルタイムに変化している。

また図２２（Ａ）では、仮想ユーザＰＶがステージＳＧに立って、歌の演奏を行っている。観客席ＳＥ１には図２１（Ａ）で説明したような観客ＡＤＡ〜ＡＤＣが配置され、観客席ＳＥ２には図２１（Ｂ）で説明したような観客ＡＤＤ〜ＡＤＦが配置されている。そして仮想ユーザＰＶの後ろには、バンドの演奏用のステージＳＧＢが設定されており、ギタリストＧＴやドラマーＤＲが、ギター演奏やドラム演奏を行っている。この場合に、観客ＡＤＡ〜ＡＤＣ、ＡＤＤ〜ＡＤＦに加えて、ギタリストＧＴやドラマーＤＲも、仮想空間内の仮想音源になり、本実施形態では、これらの仮想音源による音の発生状況を再現する画像が生成される。具体的には例えば図２２（Ａ）、図２２（Ｂ）のように、演奏ステージＳＧＢ上でギタリストＧＴが移動すると、この移動の様子を示す画像が表示される。またギタリストＧＴの移動に伴い、対応するギター演奏の仮想音源も移動する。

この場合に本実施形態では、図２２（Ａ）のように仮想ユーザＰＶが正面の観客席ＳＥ１の方に向いていた場合には、その左後ろ方向からギター演奏が聞こえるような正確な音場を形成することができる。また図２２（Ｂ）のように仮想ユーザＰＶが右側の観客席ＳＥ２の方を向いており、ギタリストＧＴが移動した場合にも、その右側方向からギター演奏が聞こえるような正確な音場を形成することができる。従って、より仮想現実感の高いＶＲ世界の構築が可能になり、ＶＲ世界へのユーザの没入度を向上できるようになる。

なお図２３に示すように、ユーザＰＬがＨＭＤを装着している場合に、ＨＭＤがその視界を覆っているため、ユーザＰＬがスピーカＳＰ１に接近してしまう事態が生じる。このような事態が生じると、大音量の音がスピーカＳＰ１から聞こえることで、スピーカＳＰ１の存在がユーザＰＬに知られてしまう。即ち本実施形態では、仮想スピーカを設定することで、実世界のスピーカＳＰ１〜ＳＰ４の存在感を消すことができる効果があるが、図２３のように特定のスピーカＳＰ１にユーザＰＬが接近してしまうと、当該効果が低減してしまう。

そこで本実施形態では、このように例えばスピーカＳＰ１（第１〜第Ｍのスピーカのうちの第ｉのスピーカ）へのユーザＰＬの接近が検出された場合に、スピーカＳＰ１から出力される音の音量、高周波成分及び残響の少なくとも１つを調整する処理を行う。例えばスピーカＳＰの音の音量を低くしたり、当該音の高周波成分を低減したり（ローパスフィルタ処理）、或いは当該音の残響（エコー成分）を大きくする処理を行って、スピーカＳＰ１の存在感を無くす処理を行う。こうすることで、ユーザＰＬがスピーカＳＰ１（或いはＳＰ２、ＳＰ３、ＳＰ４）に接近した場合にも、その存在感を極力無くすことができる。従って、スピーカＳＰ１の存在をユーザＰＬが感じることで仮想現実感が損なわれてしまうような事態の発生を防止できる。なお、スピーカへのユーザの接近の判断処理は、例えば４０ｃｍの接近、６０ｃｍの接近というように多段階に分けて行ってもよい。

また本実施形態では、所定状況が発生したと判断した場合に、例えば図１６（Ａ）、図１６（Ｂ）の仮想スピーカＶＳ１〜ＶＳ４（第１〜第Ｎの仮想スピーカ）の設定を無効にするようにしてもよい。例えば緊急事態の発生などの所定状況が発生したと判断した場合に、仮想スピーカＶＳ１〜ＶＳ４の設定を無効にして、仮想スピーカから仮想音が出力されないようにする。図１６（Ａ）、図１６（Ｂ）を例にとれば、第１のスピーカ群（ＳＰ４、ＳＰ１、ＳＰ２）の音量バランス調整を行わないようにすることで、仮想スピーカＶＳ１の設定を無効にできる。また第２のスピーカ群（ＳＰ１、ＳＰ２、ＳＰ３）の音量バランス調整を行わないようにすることで、仮想スピーカＶＳ２の設定を無効にできる。同様に、第３のスピーカ群（ＳＰ２、ＳＰ３、ＳＰ４）、第４のスピーカ群（ＳＰ３、ＳＰ４、ＳＰ１）による音量バランス調整を行わないようにすることで、仮想スピーカＶＳ３、ＶＳ４の設定を無効にできる。

本実施形態では、前述のように、仮想スピーカを設定することで、実空間のスピーカの存在感を無くすことが可能になる。そして仮想スピーカが設定されると、ユーザは、実世界のスピーカの位置を認識することが難しくなる。

しかしながら、場合によっては、このような仮想スピーカの設定が行われない方が良いケースもあり得る。そこで本実施形態では、例えば緊急事態等の所定状況が発生した場合には、仮想スピーカの設定を無効にする。こうすることで、例えば緊急事態の発生時に、仮想スピーカの設定を無効にし、例えばドアの近くのスピーカを用いて、緊急避難時の案内を行うことが可能になる。即ち、仮想スピーカの設定が無効になっており、ドアの近くにあるスピーカの音は、そのドアの方から聞こえてくるようになる。従って、ユーザがＨＭＤを装着したままの状態であっても、そのスピーカからの緊急避難用の案内音声を手がかりに、ドアの方に移動して退避することが可能になる。なお、仮想スピーカを無効にする所定状況は、このような緊急事態には限定されない。例えばゲームの進行上、仮想スピーカを無効にした方が良い状況が発生した場合にも、仮想スピーカの設定を無効にする処理を行うようにしてもよい。

３．詳細な処理
次に本実施形態の詳細な処理例について図２４のフローチャートを用いて説明する。

まずユーザの位置、方向を取得する（ステップＳ１）。例えばユーザが装着するＨＭＤの位置、方向等を検出することで、ユーザの位置、方向を取得する。次に、ユーザの位置、方向に対応する各仮想スピーカを設定するためのスピーカの音量バランス調整を実行する（ステップＳ２）。例えば図１３（Ａ）、図１３（Ｂ）、図１４、図１６（Ａ）、図１６（Ｂ）等で説明したような音量バランス調整を行う。そして、設定された仮想スピーカを用いて、仮想空間内の仮想音源の音場の形成処理を実行する（ステップＳ３）。例えば図１７、図１８で説明したような音場の形成処理を行って、図２０〜図２２（Ｂ）で説明した仮想音源による音の発生をシミュレートする。

次に、ユーザがスピーカに接近したか否かの判断を行う（ステップＳ４）。そして接近したと判断した場合（所定距離よりも近づいたと判断した場合）には、当該スピーカの音量、高周波成分、又は残響の調整処理を実行する（ステップＳ５）。即ち、図２３で説明したように、当該スピーカの存在感を無くすための調整処理を実行する。

なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（音入力装置、移動可能範囲、第１のチャンネル、第２のチャンネル等）と共に記載された用語（マイク、プレイエリア、左チャンネル、右チャンネル等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また仮想スピーカの設定手法、仮想音源の音場形成手法、音量バランスの調整手法、画像の表示手法や、シミュレーションシステムの構成等も、本実施形態で説明したものに限定されず、これらと均等な手法・処理・構成も本発明の範囲に含まれる。また本発明は種々のゲームに適用できる。また本発明は、業務用ゲーム装置、家庭用ゲーム装置、又は多数のユーザが参加する大型アトラクションシステム等の種々のシミュレーションシステムに適用できる。

ＰＬ ユーザ、ＰＶ 仮想ユーザ、ＰＰＬ、ＰＰ 位置、ＤＰＬ、ＤＰ 方向、
ＳＰ１〜ＳＰ４ スピーカ（第１〜第Ｍのスピーカ）、Ｐ１〜Ｐ４ 位置、
ＶＳ１〜ＶＳ４ 仮想スピーカ（第１〜第Ｎの仮想スピーカ）、
ＰＳ１〜ＰＳ４ 位置（第１〜第Ｎの位置）、ＲＰ 中継点、ＡＲ エリア、ＢＤ 境界、
１００ 処理部、１０２ 入力処理部、１１０ 演算処理部、１１１ ゲーム処理部、
１１２ ゲーム進行処理部、１１３ 評価処理部、１１４ キャラクタ処理部、
１１５ パラメータ処理部、１１６ オブジェクト空間設定部、
１１７ 仮想カメラ制御部、１１８ ゲーム成績演算部、１２０ 表示処理部、
１３０ 音処理部、１３２ 仮想スピーカ設定部、１３４ 音場形成処理部、
１４０ 出力処理部、１５０ 撮像部、１５１、１５２ カメラ、
１６０（１６０−１、１６０−２） 入力装置、１６１ 音入力装置、
１６２ マイク、１７０ 記憶部、１７２ 空間情報記憶部、１７４ 楽曲情報記憶部、
１７５ 音データ記憶部、１７６ パラメータ記憶部、１７８ 描画バッファ、
１８０ 情報記憶媒体、１９２ 音出力部、１９４ Ｉ／Ｆ部、
１９５ 携帯型情報記憶媒体、１９６ 通信部、
２００ ＨＭＤ（頭部装着型表示装置）、２０１〜２０３ 受光素子、２１０ センサ部、
２２０ 表示部、２３１〜２３６ 発光素子、２４０ 処理部、２６０ ヘッドバンド、
２８０、２８４ ステーション、２８１、２８２、２８５、２８６ 発光素子、
２９０、２９２照明器具、３０１〜３０４ 壁、３０５ 天井、３０６ ドア、
３１１〜３１５ 防音材、３３０、３３１ フロントスピーカ、３３２ リアスピーカ、
３３３、３３４、リアスピーカ、３３５ ウーハー、

Claims (16)

1. 第１〜第Ｍ（Ｍは３以上の整数）のスピーカが配置される実空間において移動するユーザの位置、方向の情報を取得する入力処理部と、
   前記実空間での前記ユーザの位置、方向の変化に伴い、前記ユーザに対応する仮想ユーザの仮想空間での位置、方向が変化した場合にも、前記仮想ユーザに対して所定の相対的位置関係を保って追従する第１〜第Ｎ（Ｎは２以上の整数）の位置に対して、前記第１〜第Ｍのスピーカの音量バランス調整を行うことで第１〜第Ｎの仮想スピーカを設定し、前記仮想空間内の仮想音源による音場の形成処理を、前記第１〜第Ｎの仮想スピーカを用いて行う音処理部と、
   を含むことを特徴とするシミュレーションシステム。
2. 請求項１において、
   前記音処理部は、
   前記第１〜第Ｍのスピーカのうちの第１のスピーカ群の位置の情報と前記第１〜第Ｎの位置のうちの第１の位置の情報とに基づいて、前記第１のスピーカ群の音量バランス調整を行うことで、前記第１〜第Ｎの仮想スピーカのうちの第１の仮想スピーカを設定し、
   前記第１〜第Ｍのスピーカのうちの第２のスピーカ群の位置の情報と前記第１〜第Ｎの位置のうちの第２の位置の情報とに基づいて、前記第２のスピーカ群の音量バランス調整を行うことで、前記第１〜第Ｎの仮想スピーカのうちの第２の仮想スピーカを設定することを特徴とするシミュレーションシステム。
3. 請求項２において、
   前記音処理部は、
   少なくとも３個のスピーカを含む前記第１のスピーカ群に、第１のチャンネルの音を出力させ、少なくとも３個のスピーカを含む前記第２のスピーカ群に、第２のチャンネルの音を出力させることを特徴とするシミュレーションシステム。
4. 請求項３において、
   前記音処理部は、
   前記仮想ユーザの左耳に対応する位置に前記第１の仮想スピーカが設定されるように、前記第１のスピーカ群の音量バランス調整を行い、前記仮想ユーザの右耳に対応する位置に前記第２の仮想スピーカが設定されるように、前記第２のスピーカ群の音量バランス調整を行うことを特徴とするシミュレーションシステム。
5. 請求項３又は４において、
   前記音処理部は、
   前記第１、第２のスピーカ群に、バイノーラル音源による音を出力させることを特徴とするシミュレーションシステム。
6. 請求項１において、
   前記音処理部は、
   前記第１〜第Ｍのスピーカのうちの第１のスピーカ群の位置の情報と前記第１〜第Ｎの位置のうちの第１の位置の情報とに基づいて、前記第１のスピーカ群の音量バランス調整を行うことで、前記第１〜第Ｎの仮想スピーカのうちの第１の仮想スピーカを設定し、
   前記第１〜第Ｍのスピーカのうちの第２のスピーカ群の位置の情報と前記第１〜第Ｎの位置のうちの第２の位置の情報とに基づいて、前記第２のスピーカ群の音量バランス調整を行うことで、前記第１〜第Ｎの仮想スピーカのうちの第２の仮想スピーカを設定し、
   前記第１〜第Ｍのスピーカのうちの第３のスピーカ群の位置の情報と前記第１〜第Ｎの位置のうちの第３の位置の情報とに基づいて、前記第３のスピーカ群の音量バランス調整を行うことで、前記第１〜第Ｎの仮想スピーカのうちの第３の仮想スピーカを設定することを特徴とするシミュレーションシステム。
7. 請求項１乃至６のいずれかにおいて、
   前記音処理部は、
   前記第１〜第Ｎの仮想スピーカの前記第１〜第Ｎの位置の情報と前記仮想音源の位置の情報とに基づいて、前記第１〜第Ｎの仮想スピーカの音量バランス調整を行うことで、前記仮想音源による前記音場の形成処理を行うことを特徴とするシミュレーションシステム。
8. 請求項１乃至７のいずれかにおいて、
   前記実空間の前記ユーザには移動可能範囲が設定されており、前記移動可能範囲に対応する位置に前記第１〜第Ｍのスピーカが配置されることを特徴とするシミュレーションシステム。
9. 請求項１乃至８のいずれかにおいて、
   前記ユーザに対応する前記仮想ユーザの視点から見える画像の表示処理を行う表示処理部を含むことを特徴とするシミュレーションシステム。
10. 請求項９において、
    前記表示処理部は、
    前記仮想ユーザが表示されない一人称視点での画像の表示処理を行うことを特徴とするシミュレーションシステム。
11. 請求項９又は１０において、
    前記表示処理部は、
    前記ユーザが装着する頭部装着型表示装置に画像を表示するための処理を行うことを特徴とするシミュレーションシステム。
12. 請求項１１において、
    前記入力処理部は、
    前記ユーザが頭部装着型表示装置を装着して移動する場合に、前記頭部装着型表示装置に設けられたセンサ部からの情報に基づいて、前記ユーザの位置、方向の情報を取得することを特徴とするシミュレーションシステム。
13. 請求項９乃至１２のいずれかにおいて、
    前記表示処理部は、
    前記仮想空間での前記仮想音源による音の発生状況を再現する画像の表示処理を行うことを特徴とするシミュレーションシステム。
14. 請求項１乃至１３のいずれかにおいて、
    前記音処理部は、
    前記実空間の前記第１〜第Ｍのスピーカのうちの第ｉのスピーカ（１≦ｉ＜Ｍ）への前記ユーザの接近が検出された場合に、前記第ｉのスピーカから出力される音の音量、高周波成分及び残響の少なくとも１つを調整する処理を行うことを特徴とするシミュレーションシステム。
15. 請求項１乃至１４のいずれかにおいて、
    前記音処理部は、
    所定状況が発生したと判断した場合に、前記第１〜第Ｎの仮想スピーカの設定を無効にすることを特徴とするシミュレーションシステム。
16. 第１〜第Ｍ（Ｍは３以上の整数）のスピーカが配置される実空間において移動するユーザの位置、方向の情報を取得する入力処理部と、
    前記実空間での前記ユーザの位置、方向の変化に伴い、前記ユーザに対応する仮想ユーザの仮想空間での位置、方向が変化した場合にも、前記仮想ユーザに対して所定の相対的位置関係を保って追従する第１〜第Ｎ（Ｎは２以上の整数）の位置に対して、前記第１〜第Ｍのスピーカの音量バランス調整を行うことで第１〜第Ｎの仮想スピーカを設定し、前記仮想空間内の仮想音源による音場の形成処理を、前記第１〜第Ｎの仮想スピーカを用いて行う音処理部として、
    コンピュータを機能させることを特徴とするプログラム。

Images