JP7462017B2

JP7462017B2 - 音声処理プログラム、情報処理システム、情報処理装置、および音声処理方法

Info

Publication number: JP7462017B2
Application number: JP2022192763A
Authority: JP
Inventors: 潤也長田
Original assignee: Nintendo Co Ltd
Current assignee: Nintendo Co Ltd
Priority date: 2022-12-01
Filing date: 2022-12-01
Publication date: 2024-04-04
Anticipated expiration: 2042-12-01
Also published as: JP2023098632A; US20240181344A1

Description

本開示は、スピーカへ音声出力する音声制御処理に関する。

従来から、３人称視点のゲームで、仮想カメラの注視点をプレイヤキャラクタの位置に設定して制御するようなゲームが知られている。

特開２０２２－１４１０５４号公報

上記のようなゲームでは、仮想空間内の仮想的な音源から発せられる音声の音量については、仮想マイクと当該仮想的な音源との距離に基づいて決定される。

ここで、上記のような３人称視点のゲームにおいて、仮想カメラと仮想マイクが連動して移動するシーンを想定する。例えば、注視点であるプレイヤキャラクタを中心とする円周上を、視線方向はプレイヤキャラクタに向けたまま仮想カメラおよび仮想マイクが移動するようなシーンを想定する。そして、当該移動中に、仮想カメラのすぐ後ろに所定の音源が位置するという状況が発生したとする。このような場合、当該音源は仮想カメラの視界に含まれないため、ゲーム画像としては表示されない。その一方で、仮想マイクと当該音源との距離は至近距離となっている。そのため、当該距離に基づいて音量を決定すると、大きな音量として決定されることになる。その結果、プレイヤからすれば、ゲーム画像上では見えていないのに、何かの音が急に大きな音で聞こえてくる、というような状況になり、ゲーム画像の見た目に対する違和感や不自然さを覚えることになりかねない。

それ故に、本開示の目的は、３人称視点のゲームにおいて、仮想カメラと仮想マイクの位置を連動させて制御する場合において、画面上では見えない位置から不意に大きな音声が聞こえるという状況の発生を抑制することができる音声処理プログラム、情報処理システム、情報処理装置、および音声処理方法を提供することである。

上記目的を達成するために、例えば以下のような構成例が挙げられる。

（構成１）
構成１は、情報処理装置のコンピュータに、以下の処理を実行させる音声処理プログラムである。すなわち、仮想空間内における仮想カメラの注視点の位置を、操作入力に基づいて決定させ、操作入力に基づいて、仮想カメラの視線方向を制御させ、注視点の位置と視線方向とに基づいて、仮想カメラの位置を決定させ、仮想空間内における仮想マイクの位置を、仮想カメラの位置に連動した位置に決定させる。そして、仮想空間内に配置される少なくとも１つの音源のそれぞれに関して、仮想マイクの位置に設定される音量基準位置、または、当該音源が仮想マイクに対して注視点と反対側に配置される場合に仮想マイクの位置より注視点側の位置に設定される音量基準位置と、当該音源との距離に基づいて、当該音源に設定された音声を出力する音量を決定させ、決定された音量に基づいて、音源に設定された音声を出力させる。

上記構成例によれば、仮想マイクが仮想カメラの視線に連動して移動する場合において、視界外の音源から急に音量の大きい音声が聞こえるような状況を抑制できる。

（構成２）
構成２は、上記構成１において、コンピュータにさらに、少なくとも１つの音源のそれぞれに関して、仮想マイクと音源との仮想空間内の位置関係に基づいて、当該音源に設定された音声の定位を決定させ、決定された定位と音量に基づいて、当該音源に設定された音声を出力させてもよい。

上記構成例によれば、定位については仮想マイクの位置を基準とする。そのため、音声が聞こえてくる位置を変えることなく、音量だけを調整できる。

（構成３）
構成３は、上記構成２において、コンピュータに、少なくとも１つの音源のそれぞれに関して、音量基準位置を、仮想カメラの位置または仮想マイクの位置から、注視点の位置までの直線上のいずれかの位置に決定させてもよい。

上記構成例によれば、音量基準位置を、仮想カメラまたは仮想マイクと、注視点との間のいずれかの位置に決定する。これにより、画面に表示される仮想カメラの撮像画像に対して違和感の少ない音量を設定することができる。

（構成４）
構成４は、上記構成３において、コンピュータにさらに、少なくとも１つの音源のそれぞれに関して、仮想マイクの位置に対して、当該音源の位置が、注視点の方向とは反対方向に位置するほど、当該音源の音量基準位置を上記直線上における注視点に近い位置に決定させてもよい。

上記構成例によれば、音源が仮想カメラの後方にあるほど、音量基準位置を仮想カメラの前方側に設定する。これにより、仮想カメラには映らない位置にある音源から急に大きな音量の音声が聞こえることを効果的に抑制することができる。

（構成５）
構成５は、上記構成４において、コンピュータに、少なくとも１つの音源のそれぞれに関して、仮想カメラの位置または仮想マイクの位置から、上記注視点に向かう第１の方向と、上記音源に向かう第２の方向との向きの差に基づいて、当該音源の位置が、仮想マイクの位置に対して注視点の方向の反対方向に位置する度合いを決定させ、当該度合いが高いほど、当該音源の音量基準位置を上記直線上における注視点に近い位置に決定させてもよい。

上記構成例によれば、音源の位置が仮想マイクの位置に対して注視点の方向の反対方向に位置する度合いを、注視点方向と音源方向との２つの方向の向きの差を用いて決定する。これにより、当該度合いを、計算処理の負荷を抑えながら適切に算出できる。

（構成６）
構成６は、上記構成５において、コンピュータに、少なくとも１つの音源のそれぞれに関して、第１の方向と第２の方向とのなす角が１８０度を含む所定の範囲内の場合に、上記度合いを最大として、音量基準位置を注視点の位置に決定させてもよい。

上記構成例によれば、第１の方向と第２の方向とのなす角が１８０度という、仮想カメラの視界には確実に含まれないような所定範囲内の音源について、一律に注視点位置を基準とした音量計算を行うことができる。これにより、処理負荷を軽減しながら、見えない位置から不意に大きな音が聞こえることを抑制できる。

（構成７）
構成７は、上記構成６において、コンピュータに、少なくとも１つの音源のそれぞれに関して、第１の方向と第２の方向とのなす角が０度を含む所定の範囲内の場合に、上記度合いを最小として、音量基準位置を仮想マイクの位置に決定させてもよい。

上記構成例によれば、注視点方向にある程度近い方向上に存在する音源については、一律に仮想マイクの位置を基準にして音量を決めることができる。注視点方向に近い方向上に存在するということは、必然的に仮想カメラの視界内に入ってくるものでもあるため、例えば、所定の範囲内を仮想カメラの画角と同じ範囲とすれば、画面に表示される音源については一律に仮想マイクの位置を基準に音量が決定できる。これにより、ゲーム画面として表示される見た目に対して違和感がない音声表現ができ、プレイヤに違和感を与えることを抑制できる。

（構成８）
構成８は、上記構成１～構成７のいずれかにおいて、コンピュータにさらに、操作入力に基づいて、仮想空間内においてプレイヤキャラクタを制御させ、注視点の位置を、プレイヤキャラクタの位置に追従させて決定させてもよい。

上記構成例によれば、音量基準位置を、プレイヤキャラクタと、仮想カメラまたは仮想マイクとの間のいずれかの位置に決定する。そのため、プレイヤは、音量に関しては、音源の位置について、仮想カメラまたはプレイヤキャラクタの位置のどちらか、またはその間のいずれかの位置にあるように感じることができる。これにより、仮想カメラの撮像画像の見た目に対して違和感の少ない音量を設定することができる。特に、プレイヤキャラクタを注視点に設定した３人称視点の情報処理において、より効果的である。

本開示によれば、仮想マイクが仮想カメラの視線に連動して移動する場合において、仮想カメラの視界外の音源から急に音量の大きい音声が聞こえるような状況を抑制できる。

ゲーム装置２の内部構成の一例を示すブロック図本実施形態に係るゲーム画面の一例仮想ゲーム空間を俯瞰した模式図仮想マイクの移動例を示す図本実施形態の処理の原理を説明するための図本実施形態の処理の原理を説明するための図本実施形態の処理の原理を説明するための図本実施形態の処理の原理を説明するための図本実施形態の処理の原理を説明するための図本実施形態の処理の原理を説明するための図本実施形態の処理の原理を説明するための図本実施形態の処理の原理を説明するための図記憶部８４に記憶される各種データの一例を示すメモリマップ音源オブジェクトデータ３０４のデータ構成の一例本実施形態に係るゲーム処理の詳細を示すフローチャート本実施形態に係るゲーム処理の詳細を示すフローチャート変形例について説明するための図変形例について説明するための図

以下、一実施形態について説明する。

［情報処理装置のハードウェア構成］
まず、本実施形態にかかる情報処理を実行するための情報処理装置について説明する。当該情報処理装置は、例えばスマートフォン、据置型または携帯型のゲーム装置、タブレット端末、携帯電話、パーソナルコンピュータ、ウェアラブル端末等である。また、本実施形態にかかる情報処理は、上記のようなゲーム装置等と、所定のサーバとから構成されるゲームシステムにも適用可能である。本実施形態では、据置型ゲーム装置（以下、単にゲーム装置と呼ぶ）を情報処理装置の一例として説明する。また、ゲーム処理を情報処理の一例として説明する。

図１は、本実施形態に係るゲーム装置２の内部構成の一例を示すブロック図である。ゲーム装置２は、プロセッサ８１を備える。プロセッサ８１は、ゲーム装置２において実行される各種の情報処理を実行する情報処理部であって、例えば、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）のみから構成されてもよいし、ＣＰＵ機能、ＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）機能等の複数の機能を含むＳｏＣ（Ｓｙｓｔｅｍ－ｏｎ－ａ－ｃｈｉｐ）から構成されてもよい。プロセッサ８１は、記憶部８４に記憶される情報処理プログラム（例えば、ゲームプログラム）を実行することによって、各種の情報処理を実行する。なお、記憶部８４は、例えば、フラッシュメモリやＤＲＡＭ（ＤｙｎａｍｉｃＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）等の内部記憶媒体であってもよいし、図示しないスロットに装着される外部記憶媒体等を利用する構成でもよい。

また、ゲーム装置２は、ゲーム装置２がコントローラ４と有線または無線通信を行うためのコントローラ通信部８６を備える。なお、図示は省略するが、コントローラ４には、十字キーやＡＢＸＹボタン等の各種のボタン、および、アナログスティック等が設けられている。

また、ゲーム装置２には、画像音声出力部８７を介して表示部５（例えば液晶モニタ等）およびスピーカ６が接続される。プロセッサ８１は、例えば、上記の情報処理の実行によって生成した画像を、画像音声出力部８７を介して表示部５に出力する。また、プロセッサ８１は、生成した音声信号を、画像音声出力部８７を介してスピーカ６に出力する。

［本実施形態におけるゲーム処理の概要］
次に、本実施形態にかかるゲーム装置２で実行されるゲーム処理の動作概要を説明する。まず、本実施形態で想定するゲームは、仮想３次元ゲーム空間（以下、仮想ゲーム空間と呼ぶ）内で、プレイヤキャラクタオブジェクト（以下、プレイヤキャラクタと呼ぶ）を操作するゲームである。図２に、当該ゲームに係るゲーム画面の一例を示す。図２では、プレイヤキャラクタ２０１と、音源オブジェクト（以下、単に音源と呼ぶ）２０２とが表示されている。図２で示されるように、本ゲームでは、３人称視点の画面でゲームが進行する。本ゲームでは、仮想カメラの注視点としてプレイヤキャラクタ２０１が設定されている。また、仮想カメラは、デフォルトの配置位置として、プレイヤキャラクタの後方に所定距離離れた位置に配置されている。図２の例では、画面の略中央にプレイヤキャラクタ２０１の全身が映るような距離で仮想カメラが配置されている。

また、仮想カメラの位置には、仮想マイクも配置されている。当該仮想マイクは、仮想ゲーム空間内に配置されている音源２０２から発せられた音声を取得し、所定の音声関連処理を行ってから、音声信号としてスピーカに出力するために用いられる。なお、仮想マイクは、「オーディオリスナー」、あるいは単に「リスナー」と呼ばれることもある。

図３に、図２で示した状況の仮想ゲーム空間を俯瞰し、仮想マイクとプレイヤキャラクタ２０１との位置関係を示す模式図を示す。なお、図３では図示は省略しているが、仮想マイクの位置に仮想カメラも存在している。図３では、プレイヤキャラクタ２０１の前方方向に音源２０２が存在しており、プレイヤキャラクタ２０１の後方に所定距離だけ離れた位置に仮想マイク２０４が配置されていることが示されている。

ここで、本ゲームでは、仮想マイクと仮想カメラとは連動するよう構成されている。例えば、プレイヤキャラクタ２０１が移動した場合は、仮想カメラおよび仮想マイクは注視点であるプレイヤキャラクタに追従して移動する。また、プレイヤキャラクタ２０１が移動していない状態であれば、図４に示すように、注視点であるプレイヤキャラクタ２０１を中心とする円周に沿うようにして仮想カメラを移動させることも可能である。そして、仮想マイクの位置は仮想カメラと同じ位置であるため、仮想マイクも仮想カメラと一緒に円状に移動することになる。換言すれば、仮想マイクは、仮想カメラの視線に連動するようにして移動する。このような仮想カメラおよび仮想マイクの円状の移動は、例えば、所定のイベントシーンやデモシーン等において行われ得る。また、例えばプレイヤが直接的に仮想カメラを移動させるような操作に基づいても、図４のような仮想カメラおよび仮想マイクの移動が行われ得る。例えば、プレイヤキャラクタ２０１が移動していない状態で、プレイヤが、仮想カメラ制御用に割り当てられている方向入力キーまたはアナログスティックに対して左右いずれかの方向入力を行うことで、このような仮想カメラの移動も可能である。

ところで、仮想カメラおよび仮想マイクが移動している最中、例えば、上記のように注視点を中心とする円状に移動している場合等に、図５に示すように、音源２０２のすぐ近くを仮想マイク２０４が通過する状況が発生し得る。図５の例では、仮想マイク２０４は、音源２０２よりも少しプレイヤキャラクタ２０１側寄りの位置を通過している。この場合、仮想マイク２０４と音源２０２と間の距離は非常に近いため、当該距離に応じて音量を決めると、この音源２０２から発せられる音声の音量が大きくなる。一方、仮想カメラの注視点はプレイヤキャラクタ２０１であるため、図５のような位置関係では、当該音源２０２は仮想カメラの視界に入らず、画面に映らないことになる。このような場合、プレイヤからすると、画面上ではプレイヤキャラクタ２０１の周囲に何も音源らしきものは映っていないにも関わらず、何かの音が大きな音量で聞こえてしまうことがあり得る。例えば、仮想カメラがプレイヤキャラクタ２０１の周りを高速で円状に移動しているような場合に、画面には何も映っていないのに急に何かの大きな音が聞こえ、すぐに聞こえなくなる、というような状況が発生し得る。その結果、プレイヤは、画面上で視認できる内容に対する違和感を覚えたり、不自然さを感じたりする可能性がある。そこで、本実施形態では、上記のような状況における音量に関する違和感等を軽減すべく、以下のような音声制御を行う。

［本実施形態に係る処理の概要］
本実施形態では、ある音源から発せられる音声の音量は、当該音源と、「音量基準位置」との直線距離に基づき決定される。当該音量基準位置のデフォルトの位置は仮想マイクの位置である。つまり、基本的には、音量と仮想マイクとの距離に基づき音量が決定される。そして、本実施形態では、以下に説明するような処理によって、当該音量基準位置を、仮想マイクからプレイヤキャラクタまでの直線上のいずれかの位置に決定するものである。例えば、図６に示すように、音量基準位置を、デフォルト位置から注視点寄りの位置に補正するような制御が行われる。換言すれば、音量の決定の基とする「距離」を変化させるような制御が行われる。以下、本実施形態における当該音量基準位置の決定手法の概要について説明する。

本実施形態では、各音源について「後方度合い」というものを求め、これに基づいて上記音量基準位置を決定する。当該「後方度合い」とは、注視点方向を正面方向とした場合、音源の位置が、仮想マイクの位置に対して注視点方向の反対方向に位置する度合いを示すための指標である。換言すれば、仮想マイクから見て、音源の位置が正面からどれだけ後方に回っているかを示す指標である。本実施形態では、「後方度合い」は、音源の位置が注視点方向とは真逆方向となるような位置関係の場合に最も高い度合いになるものとする。具体的には、当該「後方度合い」は、次のようにして求められる。まず、説明のための一例として、図７に示すような位置関係を想定する。図７では、プレイヤキャラクタ２０１と、仮想マイク２０４と、音源Ａおよび音源Ｂが示されている。また、図示は書略するが、仮想マイク２０４の位置には仮想カメラも配置されている。また、注視点は、プレイヤキャラクタ２０１である。仮想マイク２０４は、プレイヤキャラクタ２０１の後方に位置している。また、音源Ａは、プレイヤキャラクタ２０１の位置からみると、左斜め後ろとなるような位置、仮想マイクからみると、左斜め前方となるような位置にある。また、音源Ｂは、プレイヤキャラクタ２０１および仮想マイク２０４のほぼ真後ろからやや左寄りとなるような位置にある。また、音源Ａ、音源Ｂ共に、仮想カメラの視界には入っていない状況であるとする。このような位置関係を例として、以下説明する。

まず、音源Ａに関して、図８に示すように、仮想マイク２０４からプレイヤキャラクタ２０１（注視点）に向かう第１ベクトルが求められる。当該第１ベクトルは、仮想カメラの注視点方向、すなわち視線方向を示すベクトルでもある。続いて、仮想マイク２０４から音源Ａに向かう第２ベクトルが求められる。更に、当該２つのベクトルのなす角が求められる。本例では、第１ベクトルの方向を０度として、当該２つのベクトルがなす角が求められる。

次に、上記２つのベクトルがなす角に基づいて、音源Ａについての上記「後方度合い」が決定される。本実施形態では、「後方度合い」は０．０～１．０の範囲内の値であるとする。当該範囲内の値で、上記２つのベクトルがなす角が０度の場合は、”０．０”となり、２つのベクトルがなす角が１８０度の場合は”１．０”になるよう、「後方度合い」が決定される。ここで、当該２つのベクトルがなす角と「後方度合い」の対応関係については、図９のグラフに示すように、リニアな対応関係であってもよいし、図１０のグラフに示すように、一定範囲内の角度は同じ「後方度合い」として扱うようにしてもよい。なお、いずれのグラフも、縦軸を「後方度合い」、横軸を上記２つのベクトルがなす角としている。図１０の例では、２つのベクトルがなす角が、１８０度を含む所定範囲内である１２０度から１８０度の範囲内であれば、「後方度合い」を１．０とする例を示している。また、２つのベクトルがなす角が、０度を含む所定範囲内である０度から４５度の範囲内であれば、「後方度合い」を０．０とする例を示している。図９または図１０のグラフで示されるような対応関係に基づき、上記２つのベクトルがなす角から「後方度合い」が求められることになる。

更に、音源Ｂについても、上記と同様にして「後方度合い」が求められる。具体的には、図１１に示すように、仮想マイク２０４からプレイヤキャラクタ２０１に向かう第１ベクトルが求められる。あるいは、上記音源Ａに関して求められた第１ベクトルが流用されてもよい。続いて、仮想マイク２０４から音源Ｂに向かう第２ベクトルが求められる。更に、２つのベクトルがなす角が求められる。そして、上記図９または図１０のグラフで示されるような対応関係に基づき、当該２つのベクトルがなす角から「後方度合い」が求められる。

上記のようにして、各音源についての「後方度合い」が決まれば、次に、当該「後方度合い」に応じて、音源毎に音量基準位置が決定される。本実施形態では、図１２に示すように、「後方度合い」が”０．０”の場合は、デフォルト位置（仮想マイクの位置）となり、”１．０”のときは、プレイヤキャラクタ（注視点）の位置になるように、音量基準位置が決定される。換言すれば、音量基準位置を、デフォルト位置である仮想マイクの位置から、「後方度合い」が高いほど、より注視点方向に移動させるという制御が行われることになる。そのため、例えば「後方度合い」が”０．５”の場合は、概ね、プレイヤキャラクタと仮想マイクとの中間あたりの位置が音量基準位置として決定されることになる。なお、「後方度合い」と音量基準位置（デフォルト位置からの移動量）の対応関係についても、上述した図９や図１０のグラフと同様に、リニアな対応関係としてもよいし、一定範囲内の「後方度合い」は、同じ音量基準位置となるようにしてもよい。

なお、上記音量基準位置は、あくまで音量の決定に用いるものであり、定位等のその他の要素については、仮想マイクの位置（デフォルト位置）を基準にして決定される。例えば、上記音源Ｂから聞こえる音声の場合は、音量については上記のような音量基準位置による調整が行われ得るが、音が聞こえてくる方向については、仮想マイクとの位置関係が反映され、左寄りの位置から聞こえてくるような音声表現が行われることになる。

［本実施形態のゲーム処理の詳細］
次に、図１３～図１６を参照して、本実施形態におけるゲーム処理についてより詳細に説明する。

［使用データについて］
まず、本ゲーム処理で利用される各種データに関して説明する。図１３は、ゲーム装置２の記憶部８４に記憶される各種データの一例を示すメモリマップである。記憶部８４には、プログラム記憶領域３０１およびデータ記憶領域３０３が含まれている。プログラム記憶領域３０１には、ゲーム処理プログラム３０２が記憶される。また、データ記憶領域３０３には、音源オブジェクトデータ３０４、仮想マイクデータ３０５、仮想カメラデータ３０６、プレイヤキャラクタデータ３０７、操作データ３０８等が記憶される。

ゲーム処理プログラム３０２は、本実施形態にかかるゲーム処理を実行するためのプログラムであり、上記のような音量決定関する制御を実行するためのプログラムコードも含まれている。

音源オブジェクトデータ３０４は、仮想空間内に配置され得る上記音源２０２に関するデータである。図１４は、音源オブジェクトデータ３０４のデータ構成の一例を示す図である。音源オブジェクトデータ３０４は、音源ＩＤ３４１、音声ソース３４２、位置姿勢情報３４３、音量基準位置情報３４４、定位情報３４５を少なくとも含むレコードで構成されるデータベースである。音源ＩＤ３４１は、上記の各音源を一意に識別するためのＩＤである。音声ソース３４２は、再生される音声の元となる音声データである。位置姿勢情報３４３は、仮想ゲーム空間内における音源２０２の位置および姿勢を示すデータである。音量基準位置情報３４４は、上述したような音量基準位置を示す情報である。音量基準位置情報３４４は、例えば、仮想マイクの位置からプレイヤキャラクタの位置に直線移動させる移動量や相対距離として示されてもよいし、仮想空間内の座標として示されてもよい。定位情報３４５は、その音源から聞こえる音声の定位を示す情報である。定位情報３４５は、例えば、最大値を”右”、最小値を”左”に割り当てた所定範囲内の値で示されてもよい。

図１３に戻り、仮想マイクデータ３０５は、仮想マイクに関するデータである。仮想マイクデータ３０５には、仮想マイクの位置および姿勢を示す情報が含まれる。なお、本実施形態では、上記のように仮想マイクの位置および姿勢は仮想カメラと同じであるとする。

仮想カメラデータ３０６は、仮想カメラの現在の位置・姿勢・画角等を指定するデータである。

プレイヤキャラクタデータ３０７は、上記プレイヤキャラクタに関するデータである。プレイヤキャラクタデータ３０７には、仮想空間内におけるプレイヤキャラクタの位置や姿勢を示す情報や、その外観を示す情報等が含まれる。

操作データ３０８は、コントローラ４に対して行われた操作の内容を示すデータである。本実施形態では、十字キー等のボタンに対する押下状態や、コントローラ４に設けられているアナログスティックに対する入力状態を示すデータが含まれる。当該操作データ３０８の内容は、コントローラ４からの信号に基づき、所定の周期で更新される。

その他、記憶部８４には、ゲーム処理で用いられる各種のデータが必要に応じて記憶される。

［プロセッサ８１が実行する処理の詳細］
次に、本実施形態にかかるゲーム処理の詳細について説明する。なお、ここでは主に、上記のような音量決定の制御に関する処理について説明し、その他のゲーム処理については、詳細な説明は割愛する。

図１５および図１６は、本実施形態に係るゲーム処理の詳細を示すフローチャートである。本実施形態では、１以上のプロセッサが１以上のメモリに記憶された上記プログラムを読み込んで実行することにより、当該フローチャートが実現される。当該図で示すステップＳ１～Ｓ１３の処理ループは、１フレーム毎に繰り返し実行されるものとする。また、当該フローチャートは、処理過程の単なる一例にすぎない。そのため、同様の結果が得られるのであれば、各ステップの処理順序を入れ替えてもよい。また、変数の値や、判定ステップで利用される閾値も、単なる一例であり、必要に応じて他の値を採用してもよい。

本実施形態に係るゲーム処理が開始されると、まず、ステップＳ１で、プロセッサ８１は、操作データ３０８を取得する。そして、プロセッサ８１は、その操作内容に基づき、プレイヤキャラクタの移動制御を行う。これにより、プレイヤキャラクタの位置が変化し得る。

次に、ステップＳ２で、プロセッサ８１は、操作データ３０８に基づき、仮想カメラの視線方向、換言すれば、仮想カメラの姿勢を決定する。なお、イベントシーン等で仮想カメラの動きをプレイヤの操作によらずに自動的に制御する場合は、自動的に移動させる内容に相当する情報を上記操作データ３０８の代わりに用いてもよい。

次に、ステップＳ３で、プロセッサ８１は、仮想カメラの視線方向と、注視点であるプレイヤキャラクタの位置とに基づき、仮想カメラの位置を決定する。更に、プロセッサ８１は、当該仮想カメラの位置を仮想マイクの位置として決定する。そして、プロセッサ８１は、当該決定された内容で仮想カメラデータ３０６、仮想マイクデータ３０５の内容を更新する。これにより、プレイヤキャラクタが移動している場合は、プレイヤキャラクタに追従するような移動制御が行われることになる。また、プレイヤキャラクタが移動していない場合でも、例えば上記図４で示したような仮想カメラの移動が行われ得ることになる。

次に、ステップＳ４で、プロセッサ８１は、上述したような第１ベクトルを算出する。すなわち、プロセッサ８１は、仮想マイクの位置からプレイヤキャラクタの位置までのベクトルを第１ベクトルとして算出する。

次に、各音源について、上記のような音量基準位置を決定する処理が実行される。具体的には、まず、ステップＳ５で、プロセッサ８１は、仮想マイクの集音範囲として定義されている所定範囲内に存在する音源２０２の中から、以下に説明する処理の対象とする処理対象音源を１つ決定する。

次に、ステップＳ６で、プロセッサ８１は、処理対象音源について、上記第２ベクトルを算出する。すなわち、プロセッサ８１は、仮想マイクの位置から処理対象音源の位置までのベクトルを第２ベクトルとして算出する。

次に、ステップＳ７で、プロセッサ８１は、上記第１ベクトルと第２ベクトルのなす角を算出する。

次に、ステップＳ８で、プロセッサ８１は、上記第１ベクトルと第２ベクトルのなす角と、上記図９または図１０で示したようなグラフに基づき、上記「後方度合い」を決定する。更に、プロセッサ８１は、当該「後方度合い」に基づき、上記音量基準位置を決定する。そして、プロセッサ８１は、当該決定された音量基準位置を処理対象音源に係る上記音量基準位置情報３４４として記憶する。

次に、ステップＳ９で、プロセッサ８１は、仮想マイクと処理対象音源との位置関係に基づき、処理対象音源の定位を決定する。そして、プロセッサ８１は、当該決定した定位を処理対象音源に係る上記定位情報３４５として記憶する。

次に、図１６のステップＳ１０で、プロセッサ８１は、仮想マイクの集音範囲内に存在する音源２０２の全てに対して、上記ステップＳ５からＳ９に係る処理を行ったか否かを判定する。また未処理の音源が残っている場合は（ステップＳ１０でＮＯ）、上記ステップＳ５に戻り、処理が繰り返される。一方、全ての音源について処理済みの場合は（ステップＳ１０でＹＥＳ）、ステップＳ１１で、プロセッサ８１は、各音源の音量基準位置情報３４４および定位情報３４５に基づき、最終的に出力する出力音声を生成する。すなわち、プロセッサ８１は、各音源に係る音声の音量を各音源の音量基準位置情報３４４に基づき決定する。更に、定位情報３４５に基づき、各音源に係る音声の定位を決定する。そして、プロセッサ８１は、当該決定した音量と定位で各音源の音声を生成し、これらを合成することで、出力音声を生成する。

次に、ステップＳ１２で、プロセッサ８１は、上記出力音声をスピーカ６に出力する。また、この際、仮想カメラで撮像したゲーム空間の画像をゲーム画像として出力する処理等も行われる。

次に、ステップＳ１３で、プロセッサ８１は、ゲーム処理終了のための条件が満たされたか否かを判定する。例えば、プレイヤによるゲーム終了指示操作があったか否か等である。当該条件が満たされていない場合は（ステップＳ１３でＮＯ）、プロセッサ８１は、上記ステップＳ１に戻り、処理を繰り返す。一方、当該条件が満たされた場合は（ステップＳ１３でＹＥＳ）、プロセッサ８１は、当該ゲーム処理を終了する。

以上で、本実施形態に係るゲーム処理の詳細説明を終了する。

このように、本実施形態では、各音源について、上記のような「後方度合い」に基づき、音量基準位置が決定される。また、当該音量基準位置は、仮想マイクから注視点までの直線上のいずれかの位置に決定される。そして、当該音量基準位置と仮想マイクとの距離に基づき、各音源の音量が決定される。これにより、仮想マイクが仮想カメラの視線に連動して移動する場合において、仮想カメラの視界外の音源から急に大きな音量の音声が聞こえるような状況が発生することを抑制できる。例えば、仮想マイクから注視点方向に延びる直線上に音源がある場合は、後方度合いは”０．０”となる。この場合は、仮想空間内における仮想マイクと音源との実際の距離に基づいて音量が決定することになる。また、仮想マイクから注視点方向に延びる直線上に音源がある場合は、必然的に仮想カメラの視界に当該音源が含まれている状況であるため、結果として、ゲーム画面として表示される見た目に対して違和感がない音声表現が行われることになる。一方、後方度合いが”１．０”の場合は、注視点方向とは真逆の方向上に音源が存在しているといえる。そして、注視点とは真逆方向であるため、当該音源は仮想カメラの視界には含まれず、ゲーム画面にも表示されない要素となる。この場合は、仮に仮想マイクと当該見えない音源との距離が至近距離であっても、音量決定の元とする距離として、音量基準位置として決定された注視点と、当該音源との距離が用いられることになる。その結果、例えば仮想カメラおよび仮想マイクのすぐ後ろに音源が存在するような状況であっても、音量自体はあたかも注視点であるプレイヤキャラクタの位置に仮想マイクがあるような音量で聞こえてくる。これにより、特に、仮想カメラおよび仮想マイクが移動している最中に、このような見えない音源の側を通過したことで急に大きな音が聞こえてしまい、ゲーム画像の見た目に対する違和感をプレイヤに与えるような状況の発生を抑制できる。

［変形例］
なお、上記実施形態では、仮想マイクの位置は仮想カメラの位置と同じである場合を例示した。他の実施形態では、仮想マイクの位置は、仮想カメラの位置から所定距離だけずれた位置であってもよい。あるいは、他の実施形態では、仮想マイクの位置を仮想カメラに追従させるように制御してもよい。なお、仮想カメラと仮想マイクの位置を一致させない場合は、上記音量基準位置については、仮想マイクから注視点までの直線上における位置で決定してもよいし、仮想カメラから注視点までの直線上における位置として決定してもよい。

また、上記実施形態では、「後方度合い」の決定において、第１ベクトルおよび第２ベクトルのなす角を用いる手法を例示した。このような角を算出することに限らず、仮想マイクから注視点に向かう第１方向と、仮想マイクから音源に向かう第２方向との向きの差を判別し、これに基づいて上記のような「後方度合い」が決定できれば、どのような手法を用いてもよい。

また、上記実施形態では、音量基準位置のデフォルト位置を仮想マイクの位置とし、「後方度合い」に応じてこの位置を注視点方向に向けて補正している。この点につき、他の実施形態では、補正する量に上限を設定するようにしてもよい。例えば、ゲーム中に、仮想カメラの注視点が、一時的にプレイヤキャラクタから別のものに変更される場合を想定する。一例として、イベントシーンなどにおいて、例えば、図１７に示すように、仮想カメラの注視点が、プレイヤキャラクタ２０１から、その正面方向であって、より遠方にある山オブジェクトに変更された場合を想定する。この場合、上記の処理によれば、仮想マイクから当該山オブジェクトまでの直線上で、上記音量基準位置を決定することになる。この際、上記の処理をそのまま適用すると、図１７の音源Ｃについて、注視点がプレイヤキャラクタ２０１である場合と山オブジェクトである場合とで、補正後の音量基準位置が異なることがあり得る。つまり、上記第１ベクトルと第２ベクトルのなす角が同じ角度であっても、仮想マイクから注視点までの直線距離が異なることで、デフォルト位置から補正後の音量基準位置までの距離が異なることがあり得る。例えば、図１８で示すように、注視点がプレイヤキャラクタ２０１の場合は、補正後の音量基準位置は音量基準位置Ａとなり、注視点が山オブジェクトである場合は、補正後の音量基準位置は音量基準位置Ｂとなることもあり得る。そのため、注視点が一時的に山オブジェクトに変化した場合、音源Ｃからの音量については音量基準位置Ｂに基づいて決定され得る。その結果、注視点が変化したときに不自然な音量変化が生じたりする等で、プレイヤに違和感を与える可能性もある。そのため、当該音量基準位置を補正する量に上限を設けるようにしてもよい。例えば、プレイヤキャラクタ２０１の位置を補正量の上限としてもよい。または、補正量の数値に上限を設定してもよい。これにより、注視点が変化した場合でも、音量に関してプレイヤに違和感を与えることを抑制できる。

また、上記実施形態においては、ゲーム処理にかかる一連の処理を単一のゲーム装置２で実行される場合を説明した。他の実施形態においては、上記一連の処理が複数の情報処理装置からなる情報処理システムにおいて実行されてもよい。例えば、端末側装置と、当該端末側装置とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの一部の処理がサーバ側装置によって実行されてもよい。更には、端末側装置と、当該端末側装置とネットワークを介して通信可能なサーバ側装置とを含む情報処理システムにおいて、上記一連の処理のうちの主要な処理がサーバ側装置によって実行され、当該端末側装置では一部の処理が実行されてもよい。また、上記情報処理システムにおいて、サーバ側のシステムは、複数の情報処理装置によって構成され、サーバ側で実行するべき処理を複数の情報処理装置が分担して実行してもよい。また、いわゆるクラウドゲーミングの構成としてもよい。例えば、ゲーム装置２は、プレイヤの操作を示す操作データを所定のサーバに送り、当該サーバにおいて各種ゲーム処理が実行され、その実行結果が動画・音声としてゲーム装置２にストリーミング配信されるような構成としてもよい。

２ゲーム装置
４コントローラ
５表示部
６スピーカ
８１プロセッサ
８４記憶部
８７画像音声出力部

Claims

情報処理装置のコンピュータに、
仮想空間内における仮想カメラの注視点の位置を、操作入力に基づいて決定させ、
前記操作入力に基づいて、前記仮想カメラの視線方向を制御させ、
前記注視点の位置と前記視線方向とに基づいて、前記仮想カメラの位置を決定させ、
前記仮想空間内における仮想マイクの位置を、前記仮想カメラの位置に連動した位置に決定させ、
前記仮想空間内に配置される少なくとも１つの音源のそれぞれに関して、
前記仮想マイクの位置に設定される、または、当該音源が前記仮想マイクに対して前記注視点と反対側に配置される場合に前記仮想マイクの位置より前記注視点側の位置に設定される音量基準位置と、当該音源との距離に基づいて、当該音源に設定された音声を出力する音量を決定させ、
決定された前記音量に基づいて、前記音源に設定された音声を出力させる、
音声処理プログラム。
前記コンピュータにさらに、
前記少なくとも１つの音源のそれぞれに関して、
前記仮想マイクと当該音源との前記仮想空間内の位置関係に基づいて、前記音源に設定された音声の定位を決定させ、
決定された前記定位と前記音量に基づいて、前記音源に設定された音声を出力させる、
請求項１記載の音声処理プログラム。
前記コンピュータに、
前記少なくとも１つの音源のそれぞれに関して、前記音量基準位置を、前記仮想カメラの位置、または、前記仮想マイクの位置から、前記注視点の位置までの直線上のいずれかの位置に決定させる、
請求項２記載の音声処理プログラム。
前記コンピュータにさらに、
前記少なくとも１つの音源のそれぞれに関して、前記仮想マイクの位置に対して、当該音源の位置が、前記注視点の方向の反対方向に位置するほど、当該音源の前記音量基準位置を前記直線上における前記注視点に近い位置に決定させる、
請求項３記載の音声処理プログラム。
前記コンピュータに、
前記少なくとも１つの音源のそれぞれに関して、
前記仮想カメラの位置または前記仮想マイクの位置から、前記注視点に向かう第１の方向と、前記音源に向かう第２の方向との向きの差に基づいて、当該音源の位置が、前記仮想マイクの位置に対して前記注視点の方向の反対方向に位置する度合いを決定させ、
当該度合いが高いほど、当該音源の前記音量基準位置を前記直線上における前記注視点に近い位置に決定させる、
請求項４記載の音声処理プログラム。
前記コンピュータに、
前記少なくとも１つの音源のそれぞれに関して、前記第１の方向と前記第２の方向とのなす角が１８０度を含む所定の範囲内の場合に、前記度合いを最大として、前記音量基準位置を前記注視点の位置に決定させる、
請求項５記載の音声処理プログラム。
前記コンピュータに、
前記少なくとも１つの音源のそれぞれに関して、前記第１の方向と前記第２の方向とのなす角が０度を含む所定の範囲内の場合に、前記度合いを最小として、前記音量基準位置を前記仮想マイクの位置に決定させる、
請求項６記載の音声処理プログラム。
前記コンピュータにさらに、
前記操作入力に基づいて、前記仮想空間内においてプレイヤキャラクタを制御させ、
前記注視点の位置を、前記プレイヤキャラクタの位置に追従させて決定させる、
請求項１から７のいずれか記載の音声処理プログラム。
プロセッサを備えた情報処理システムであって、
前記プロセッサは、
仮想空間内における仮想カメラの注視点の位置を、操作入力に基づいて決定し、
操作入力に基づいて、前記仮想カメラの視線方向を制御し、
前記注視点の位置と前記視線方向に基づいて、前記仮想カメラの位置を決定し、
前記仮想空間内における仮想マイクの位置を、前記仮想カメラの位置に連動した位置に決定し、
前記仮想空間内に配置される少なくとも１つの音源のそれぞれに関して、
前記仮想マイクの位置に設定される、または当該音源が前記仮想マイクに対して前記注視点と反対側に配置される場合に前記仮想マイクの位置より前記注視点側の位置に設定される音量基準位置と、当該音源との距離に基づいて、前記音源に設定された音声を出力する音量を決定し、
決定された前記音量に基づいて、前記音源に設定された音声を出力する、
情報処理システム。
前記プロセッサはさらに、
前記少なくとも１つの音源のそれぞれに関して、
前記仮想マイクと当該音源との前記仮想空間内の位置関係に基づいて、前記音源に設定された音声の定位を決定し、
決定した前記定位と前記音量に基づいて、前記音源に設定された音声を出力する、
請求項９記載の情報処理システム。
前記プロセッサは、
前記少なくとも１つの音源のそれぞれに関して、前記音量基準位置を、前記仮想カメラの位置、または、前記仮想マイクの位置から、前記注視点の位置までの直線上のいずれかの位置に決定する、
請求項１０記載の情報処理システム。
前記プロセッサはさらに、
前記少なくとも１つの音源のそれぞれに関して、前記仮想マイクの位置に対して、当該音源の位置が、前記注視点の方向の反対方向に位置するほど、当該音源の前記音量基準位置を前記直線上における前記注視点に近い位置に決定する、
請求項１１記載の情報処理システム。
前記プロセッサは、
前記少なくとも１つの音源のそれぞれに関して、
前記仮想カメラの位置または前記仮想マイクの位置から、前記注視点に向かう第１の方向と、前記音源に向かう第２の方向との向きの差に基づいて、当該音源の位置が、前記仮想マイクの位置に対して前記注視点の方向の反対方向に位置する度合いを決定し、
当該度合いが高いほど、当該音源の前記音量基準位置を前記直線上における前記注視点に近い位置に決定する、
請求項１２記載の情報処理システム。
前記プロセッサは、
前記少なくとも１つの音源のそれぞれに関して、前記第１の方向と前記第２の方向とのなす角が１８０度を含む所定の範囲内の場合に、前記度合いを最大として、前記音量基準位置を前記注視点の位置に決定する、
請求項１３記載の情報処理システム。
前記プロセッサは、
前記少なくとも１つの音源のそれぞれに関して、前記第１の方向と前記第２の方向とのなす角が０度を含む所定の範囲内の場合に、前記度合いを最小として、前記音量基準位置を前記仮想マイクの位置に決定する、
請求項１４記載の情報処理システム。
前記プロセッサはさらに、
前記操作入力に基づいて、前記仮想空間内においてプレイヤキャラクタを制御し、
前記注視点の位置を、前記プレイヤキャラクタの位置に追従させて決定する、
請求項９から１５のいずれか記載の情報処理システム。
プロセッサを備えた情報処理装置であって、
前記プロセッサは、
仮想空間内における仮想カメラの注視点の位置を、操作入力に基づいて決定し、
操作入力に基づいて、前記仮想カメラの視線方向を制御し、
前記注視点の位置と前記視線方向に基づいて、前記仮想カメラの位置を決定し、
前記仮想空間内における仮想マイクの位置を、前記仮想カメラの位置に連動した位置に決定し、
前記仮想空間内に配置される少なくとも１つの音源のそれぞれに関して、
前記仮想マイクの位置に設定される、または当該音源が前記仮想マイクに対して前記注視点と反対側に配置される場合に前記仮想マイクの位置より前記注視点側の位置に設定される音量基準位置と、当該音源との距離に基づいて、前記音源に設定された音声を出力する音量を決定し、
決定された前記音量に基づいて、前記音源に設定された音声を出力する、
情報処理装置。
前記プロセッサはさらに、
前記少なくとも１つの音源のそれぞれに関して、
前記仮想マイクと当該音源との前記仮想空間内の位置関係に基づいて、前記音源に設定された音声の定位を決定し、
決定した前記定位と前記音量に基づいて、前記音源に設定された音声を出力する、
請求項１７記載の情報処理装置。
前記プロセッサは、
前記少なくとも１つの音源のそれぞれに関して、前記音量基準位置を、前記仮想カメラの位置、または、前記仮想マイクの位置から、前記注視点の位置までの直線上のいずれかの位置に決定する、
請求項１８記載の情報処理装置。
前記プロセッサはさらに、
前記少なくとも１つの音源のそれぞれに関して、前記仮想マイクの位置に対して、当該音源の位置が、前記注視点の方向の反対方向に位置するほど、当該音源の前記音量基準位置を前記直線上における前記注視点に近い位置に決定する、
請求項１９記載の情報処理装置。
前記プロセッサは、
前記少なくとも１つの音源のそれぞれに関して、
前記仮想カメラの位置または前記仮想マイクの位置から、前記注視点に向かう第１の方向と、前記音源に向かう第２の方向との向きの差に基づいて、当該音源の位置が、前記仮想マイクの位置に対して前記注視点の方向の反対方向に位置する度合いを決定し、
当該度合いが高いほど、当該音源の前記音量基準位置を前記直線上における前記注視点に近い位置に決定する、
請求項２０記載の情報処理装置。
前記プロセッサは、
前記少なくとも１つの音源のそれぞれに関して、前記第１の方向と前記第２の方向とのなす角が１８０度を含む所定の範囲内の場合に、前記度合いを最大として、前記音量基準位置を前記注視点の位置に決定する、
請求項２１記載の情報処理装置。
前記プロセッサは、
前記少なくとも１つの音源のそれぞれに関して、前記第１の方向と前記第２の方向とのなす角が０度を含む所定の範囲内の場合に、前記度合いを最小として、前記音量基準位置を前記仮想マイクの位置に決定する、
請求項２２記載の情報処理装置。
前記プロセッサはさらに、
前記操作入力に基づいて、前記仮想空間内においてプレイヤキャラクタを制御し、
前記注視点の位置を、前記プレイヤキャラクタの位置に追従させて決定する、
請求項１７から２３のいずれか記載の情報処理装置。
情報処理装置を制御するコンピュータが実行する音声処理方法であって、
前記コンピュータに、
仮想空間内における仮想カメラの注視点の位置を、操作入力に基づいて決定させ、
前記操作入力に基づいて、前記仮想カメラの視線方向を制御させ、
前記注視点の位置と前記視線方向とに基づいて、前記仮想カメラの位置を決定させ、
前記仮想空間内における仮想マイクの位置を、前記仮想カメラの位置に連動した位置に決定させ、
前記仮想空間内に配置される少なくとも１つの音源のそれぞれに関して、
前記仮想マイクの位置に設定される、または、当該音源が前記仮想マイクに対して前記注視点と反対側に配置される場合に前記仮想マイクの位置より前記注視点側の位置に設定される音量基準位置と、当該音源との距離に基づいて、当該音源に設定された音声を出力する音量を決定させ、
決定された前記音量に基づいて、前記音源に設定された音声を出力させる、
音声処理方法。
前記コンピュータにさらに、
前記少なくとも１つの音源のそれぞれに関して、
前記仮想マイクと当該音源との前記仮想空間内の位置関係に基づいて、前記音源に設定された音声の定位を決定させ、
決定された前記定位と前記音量に基づいて、前記音源に設定された音声を出力させる、
請求項２５記載の音声処理方法。
前記コンピュータに、
前記少なくとも１つの音源のそれぞれに関して、前記音量基準位置を、前記仮想カメラの位置、または、前記仮想マイクの位置から、前記注視点の位置までの直線上のいずれかの位置に決定させる、
請求項２６記載の音声処理方法。
前記コンピュータにさらに、
前記少なくとも１つの音源のそれぞれに関して、前記仮想マイクの位置に対して、当該音源の位置が、前記注視点の方向の反対方向に位置するほど、当該音源の前記音量基準位置を前記直線上における前記注視点に近い位置に決定させる、
請求項２７記載の音声処理方法。
前記コンピュータに、
前記少なくとも１つの音源のそれぞれに関して、
前記仮想カメラの位置または前記仮想マイクの位置から、前記注視点に向かう第１の方向と、前記音源に向かう第２の方向との向きの差に基づいて、当該音源の位置が、前記仮想マイクの位置に対して前記注視点の方向の反対方向に位置する度合いを決定させ、
当該度合いが高いほど、当該音源の前記音量基準位置を前記直線上における前記注視点に近い位置に決定させる、
請求項２８記載の音声処理方法。
前記コンピュータに、
前記少なくとも１つの音源のそれぞれに関して、前記第１の方向と前記第２の方向とのなす角が１８０度を含む所定の範囲内の場合に、前記度合いを最大として、前記音量基準位置を前記注視点の位置に決定させる、
請求項２９記載の音声処理方法。
前記コンピュータに、
前記少なくとも１つの音源のそれぞれに関して、前記第１の方向と前記第２の方向とのなす角が０度を含む所定の範囲内の場合に、前記度合いを最小として、前記音量基準位置を前記仮想マイクの位置に決定させる、
請求項３０記載の音声処理方法。
前記コンピュータにさらに、
前記操作入力に基づいて、前記仮想空間内においてプレイヤキャラクタを制御させ、
前記注視点の位置を、前記プレイヤキャラクタの位置に追従させて決定させる、
請求項２５から３１のいずれか記載の音声処理方法。