JP2004267433A - 音声チャット機能を提供する情報処理装置、サーバおよびプログラム並びに記録媒体 - Google Patents
音声チャット機能を提供する情報処理装置、サーバおよびプログラム並びに記録媒体 Download PDFInfo
- Publication number
- JP2004267433A JP2004267433A JP2003061544A JP2003061544A JP2004267433A JP 2004267433 A JP2004267433 A JP 2004267433A JP 2003061544 A JP2003061544 A JP 2003061544A JP 2003061544 A JP2003061544 A JP 2003061544A JP 2004267433 A JP2004267433 A JP 2004267433A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- chat
- data
- user
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Information Transfer Between Computers (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】仮想空間にキャラクタを配置して音声チャットを行う場合に、ユーザが、仮想空間内のキャラクタになって会話しているかのような臨場感を感じられるようにする。
【解決手段】チャット音声を出力する(S110)前に、仮想空間と音声の関連を密にするような音声変換処理(S103,S105,S107)あるいは音声合成処理(S109)を施す。例えば、仮想空間に配置されたキャラクタ以外のオブジェクトの存在によって音声の聞こえ方が変わるようにしたり、仮想空間内を移動しながら発声するキャラクタの声が移動とともにリアルタイムに変化して聞こえるようにする。また、チャット音声が、仮想空間内で発生するチャット音声以外の音に影響されたり、音声を実際に発しているユーザの身体状態に影響されるようにする。
【選択図】 図6
【解決手段】チャット音声を出力する(S110)前に、仮想空間と音声の関連を密にするような音声変換処理(S103,S105,S107)あるいは音声合成処理(S109)を施す。例えば、仮想空間に配置されたキャラクタ以外のオブジェクトの存在によって音声の聞こえ方が変わるようにしたり、仮想空間内を移動しながら発声するキャラクタの声が移動とともにリアルタイムに変化して聞こえるようにする。また、チャット音声が、仮想空間内で発生するチャット音声以外の音に影響されたり、音声を実際に発しているユーザの身体状態に影響されるようにする。
【選択図】 図6
Description
【0001】
【発明の属する技術分野】
本発明は、仮想空間に配置されたキャラクタを介して会話する音声チャットシステムへの適用に適した情報処理装置、サーバおよびそれらを制御するコンピュータプログラムに関する。
【0002】
【従来の技術】
インターネット上で提供されているチャットサービスは、ユーザから入力されたテキストデータをネットワークを介してリアルタイムに他のユーザに転送することにより、物理的に離れているユーザ同士が文字による会話を楽しめるようにしたサービスである。もともとは、ユーザ同士の直接的なコミュニケーション手段として提案されたものであるが、近年、コンピュータ画面に表示されたキャラクタ同士を会話させるための機能としても利用されるようになった。例えば特許文献1には、3次元仮想現実空間にアバタと呼ばれるユーザの分身キャラクタを配置して、各ユーザが入力した文字を分身キャラクタの発言として他のユーザに伝えるシステムが開示されている。
【0003】
また、近年、マイク入力された音声をデジタルデータに変換して交換することによって、電話と同様に音声で会話することができる音声チャットサービスも提供されはじめた。
【0004】
【特許文献1】
特開2001−312744号公報
【0005】
【発明が解決しようとする課題】
前述のように、チャットには、ユーザが自分自身として会話する形態と、分身キャラクタとして会話する形態の2通りがある。前者と後者では、チャットシステムに期待される役割は若干異なる。前者の場合には各ユーザの発言がリアルタイムに正確に伝達されれば十分である。しかし、後者の場合、特にネットワーク・ロールプレイング・ゲームなどでは、正確な情報伝達のみならず、各ユーザが分身キャラクタに十分に感情移入できる雰囲気作りも重要である。
【0006】
上記特許文献1記載の発明は、チャット文字列の属性を変えることによってアバタ同士の距離感を表現しようとしているが、このような文字による雰囲気作りには限界がある。そこで、本発明は、仮想空間の雰囲気を盛り上げ、臨場感溢れる会話を楽しむことができる音声チャットシステムを提供することを目的とする。さらには、臨場感を重視したことにより起こり得るいくつかの問題点も、合わせて解決する。
【0007】
【課題を解決するための手段】
本発明は、音声チャットを行う際の臨場感を高めるための手段として、以下に説明するようなキャラクタ制御手段、チャットデータ発信手段、およびチャット音声出力手段を備える情報処理装置を提供する。また、コンピュータをそのような情報処理装置として機能させるプログラムも合わせて提供する。なお、プログラムは、DVD、CD−ROM、メモリカードなどのコンピュータ読み取り可能な記録媒体に記録して提供することができる。
【0008】
キャラクタ制御手段は、複数のユーザによる共有が可能な仮想空間およびその仮想空間に配置されたユーザごとのキャラクタを管理するサーバと交信することにより、その情報処理装置のユーザが仮想空間に配置したキャラクタの行動を制御するための手段である。
【0009】
チャットデータ発信手段は、情報処理装置のユーザが発した音声を表す第1音声データを取得し、その第1音声データを含むチャットデータを生成して発信する手段である。
【0010】
チャット音声出力手段は、サーバと交信中の情報処理装置により生成されたチャットデータを取得し、そのチャットデータに含まれる第1音声データを使用して、チャットデータが生成された情報処理装置のユーザが配置したキャラクタの音声を出力する手段である。
【0011】
本発明が提案する第1の情報処理装置あるいはプログラムでは、チャット音声出力手段は、取得したチャットデータに含まれる第1音声データを、仮想空間に配置されたオブジェクトの音声に係る属性に基づいて変換することにより第2音声データを生成し、その第2音声データが表す音声を前記キャラクタの音声として出力する。但し、変換の結果第1音声データと第2音声データが等しくなる場合もあり得る。オブジェクトの音声に係る属性は、例えば音吸収、音反射、音程変更などであり、仮想空間を構成する際にオブジェクトの他の属性とともに定義される。
【0012】
言い換えれば、仮想空間内のキャラクタ以外のオブジェクトの存在によって音声の聞こえ方が変わるようにして、ユーザが、視覚のみならず聴覚によっても仮想空間の構造を認識できるようにする。これにより、臨場感を高めることができる。
【0013】
また、本発明が提案する第2の情報処理装置あるいはプログラムでは、チャット音声出力手段は、取得したチャットデータに含まれる第1音声データを、チャットデータが生成された情報処理装置のユーザが配置したキャラクタと、この情報処理装置のユーザが配置したキャラクタの位置関係の単位時間あたりの変位量、すなわち変位速度に基づいて変換することにより第2音声データを生成し、第2音声データが表す音声を前記キャラクタの音声として出力する。
【0014】
移動するキャラクタが発する音声をリアルタイムに変化させることにより、ユーザはキャラクタが移動中であることを聴覚によっても認識できるようになるので、ユーザの臨場感を高めることができる。
【0015】
また、本発明が提案する第3の情報処理装置あるいはプログラムでは、チャットデータ発信手段は、ユーザに装着された所定のセンサによりユーザの身体情報を取得して、その身体情報を含むチャットデータを生成して発信する。また、チャット音声出力手段は、取得したチャットデータに含まれる第1音声データを、チャットデータに含まれる身体情報に基づいて変換することにより第2音声データを生成し、第2音声データが表す音声を前記キャラクタの音声として出力する。
【0016】
ユーザの身体情報とは、キャラクタを操作するユーザの身体状態の変化を表す情報であり、例えば脈拍、発汗状態、体温などがある。キャラクタを操作するユーザの身体状態に合わせてキャラクタの声を変化させることにより、ユーザとキャラクタとが同化したように感じさせる効果を狙ったものである。
【0017】
また、本発明が提案する第4の情報処理装置あるいはプログラムでは、チャット音声出力手段は、仮想空間を演出するための効果音を表す効果音データを取得し、第1音声データと効果音データを合成することにより第2音声データを生成し、第2音声データが表す音声を前記キャラクタの音声として出力する。
【0018】
効果音とチャット音声の出力タイミングが重なった場合に、ユーザが発する音声が仮想空間内で発生する他の音の影響を受けるようにすることで、ユーザはあたかも仮想空間内で声を発しているかのように感じることができる。
【0019】
さらに、上記各情報処理装置のチャット音声出力手段は、音声を出力する音声出力装置(スピーカ)と情報処理装置のユーザの位置関係に基づいて、音声出力装置ごとに第2音声データを生成することが望ましい。チャット音声をスピーカの配置を生かして出力することで、臨場感をさらに高めることができる。
【0020】
次に、本発明は音声チャットの新たな機能として、チャット音声の再生機能を提案し、そのような機能を実現するための手段として、次のような情報処理装置とサーバ、さらにはコンピュータをそのような情報処理装置あるいはサーバとして機能させるプログラムを提供する。
【0021】
本発明が提供する第5の情報処理装置およびプログラムは、第1から第4までの情報処理装置などと同じく、前述のようなキャラクタ制御手段、チャットデータ発信手段、およびチャット音声出力手段を備える。第5の情報処理装置およびプログラムでは、チャット音声出力手段は、各情報処理装置により生成された直後のチャットデータを取得してキャラクタの音声を出力する機能に加え、各情報処理装置により生成されサーバに蓄積保存されたチャットデータを取得してキャラクタの音声を再生する機能を提供する。なお、チャット音声出力手段は、音声データが取得された速度と異なる速度で前記キャラクタの音声を再生できることが望ましい。再生時の音声の早送りなどを可能にするためである。
【0022】
さらに、チャット音声の再生機能を提供するために、以下のようなキャラクタ制御手段、チャットデータ配信手段、およびチャットデータ検索手段を備えたサーバおよびサーバ用のプログラムを提供する。
【0023】
キャラクタ制御手段は、複数のユーザによる共有が可能な仮想空間を提供するとともに、仮想空間に各ユーザが配置したキャラクタの行動を、各ユーザの情報処理装置と交信することにより制御する手段である。
【0024】
チャットデータ配信手段は、各ユーザの情報処理装置から、各ユーザが発した音声を表す音声データを含むチャットデータを受信して、そのチャットデータを所定の記憶媒体に記憶するとともに交信中の複数の情報処理装置に対し配信する手段である。チャットデータに含まれる音声データは、文字データに変換してから記憶媒体に記憶してもよい。
【0025】
チャットデータ検索手段は、記憶媒体に記憶されたチャットデータの中からユーザが要求するチャットデータを検索し、そのユーザの情報処理装置に送信する手段である。これにより、サーバにアクセスする情報処理装置は、チャット音声を再生することができる。
【0026】
さらに、本発明は、第6の情報処理装置あるいはプログラムとして、第1から第4までの情報処理装置と同じく、前述のようなキャラクタ制御手段、チャットデータ発信手段、およびチャット音声出力手段を備え、チャット音声出力手段が、この情報処理装置を使用するユーザが配置したキャラクタや出力する音声データが取得された情報処理装置のユーザが配置したキャラクタが有する属性やアイテムに基づいて、キャラクタの音声を出力する装置とプログラムを提供する。この装置あるいはプログラムによれば、ユーザは所定の属性やアイテムを獲得することで、自らの選択により音声の聞こえ方を変化させることができる。ユーザに、好みの聞こえ方を選択させることにより、チャット音声の聞こえ方に関してユーザにストレスを感じさせないようにするためである。
【0027】
【発明の実施の形態】
以下、本発明の実施の形態について、ネットワークロールプレイングゲームを例にあげて説明する。はじめに、図1を参照して、ネットワークロールプレイングゲームと、その音声チャット機能の概要について説明する。
【0028】
一般に、ネットワークゲームサービスは、ゲーム会社などが管理するサーバコンピュータにより提供される。本実施の形態のネットワークロールプレイングゲームサービスも、インターネットなどのネットワーク1に接続された1台または複数のコンピュータ(以下、サーバ2とする)により提供される。ゲームサービスの利用者(以下、ユーザと称する)は、通信機能を備えた情報処理装置、例えば家庭用ゲーム機器、パソコン、携帯用ゲーム機器、携帯電話、携帯情報端末などを操作し、ネットワーク1を介してサーバ2にアクセスしてゲームを行う。なお、通信機能は有線に限らず無線通信機能でもよい。図は、2人のユーザ4A、4Bが、それぞれ情報処理装置3A,3Bを使用してサーバ2にアクセスしている状態を表している。
【0029】
サーバ2は、土地、建造物、その他多種多様なオブジェクトにより構成される仮想空間5を定義し、その仮想空間5をサーバ2にアクセスしたユーザが共有できるような状態で提供する。ユーザは、サーバ2により提供される仮想空間5に自分の分身に相当するキャラクタを配置して、そのキャラクタを動かすことによって、あたかも自分が仮想空間にいるかのような感覚を楽しむことができる。ユーザは、情報処理装置に接続された操作機器(コントローラ)を操作してサーバ2に所定の指示信号を送ることにより自分のキャラクタを動かすことができる。図は、ユーザ4Aがコントローラ11Aを操作してキャラクタ6Aを動かし、ユーザ4Bがコントローラ11Bを操作してキャラクタ6Bを動かした結果、仮想空間においてキャラクタ6Aとキャラクタ6Bが遭遇したところを例示している。
【0030】
各ユーザが使用する情報処理装置3A、3Bには、音声を入力するためのマイクおよび音声を出力するためのスピーカが、内蔵または接続されている。さらに、本実施の形態では、各ユーザは、身体のいずれかの部位に、脈拍を測定するための脈拍センサを装着する。マイク、スピーカ、脈拍センサの形態は、どのような形態であってもよい。例えば、図は、ユーザ4A、4Bが、音声入力用マイク7A,7Bと音声出力用イヤホン8A,8Bを備えたマイク付きヘッドホンを装備し、さらに、頭のこめかみ部分にあたるように脈拍センサ12A,12Bを装着した状態を例示している。
【0031】
音声チャットは、マイク7A,7Bから入力された音声を表す音声データを含むチャットデータを生成し、ネットワーク1およびサーバ2を介してチャットデータを交換することにより実現される。例えばユーザ4Bの発声音9がマイク7Bを通して情報処理装置3Bに入力されると、情報処理装置3Bからサーバ2に発声音9を表す音声データを含むチャットデータが転送される。そのチャットデータはサーバ2により情報処理装置3A,3Bに配信され、ユーザ4Aのイヤホン8A、ユーザ4Bのイヤホン8Bから音声10が出力される。
【0032】
ネットワークロールプレイングゲームでは、音声チャットを行うユーザは、通常分身キャラクタになったつもりで音声を発する。言い換えれば、ユーザ同士の直接的な会話ではなく、キャラクタを介した間接的な会話が行われる。このため、以下の説明では、ユーザがキャラクタとして発声することを、必要に応じて「キャラクタが発声する」などと表現する。
【0033】
本実施の形態のネットワークロールプレイングゲームの音声チャット機能は、以下に説明するようないくつかの特徴を有する。
【0034】
第1に、キャラクタが発した音声が、そのキャラクタの周辺にある物体の形状、位置、向き、特性などによって変化して聞こえる。言い換えれば、仮想空間に配置されたキャラクタ以外のオブジェクトの属性が、キャラクタが発した音声の聞こえ方に影響する。各オブジェクトの属性は、仮想空間を構成する時点で定義される。
【0035】
例えば、図1に例示した仮想空間5では、オブジェクト13(トンネル)の属性の1つとして、音反響特性が定義されている。この場合、オブジェクト13付近にいるキャラクタ6Cがオブジェクト13の方を向いて音声を発した場合に、その音声が反響して聞こえる。キャラクタ6Cがオブジェクト13と反対の方向を向いて音声を発した場合には、音声が反響することはない。また、オブジェクト14(植物)は、音吸収特性を有する。この場合、オブジェクト14を挟んで会話しようとしたキャラクタ6Dとキャラクタ6Eは、いずれも発した音声がオブジェクト14により吸収されてしまうため、互いの声が聞こえず、会話することができない。一方、オブジェクト13からもオブジェクト14からも所定距離以上離れた位置にいるキャラクタ6Aおよび6Bは、オブジェクトの影響を受けることなく、普通に会話することができる。
【0036】
音声に係るオブジェクト属性としては、上記反響、吸収以外にも、例えば発した音声が段階的に小さくなって聞こえる特性や、オクターブ高くなって聞こえる特性など、多種多様な属性を自由に定義することができる。音声に係る属性は、オブジェクト13の例のように現実世界に近い環境となるように定義してもよいし、オブジェクト14の例のように非現実的な現象を起こす属性としてもよい。
【0037】
キャラクタのいる場所によってそのキャラクタが発した音声の聞こえ方が変化するということは、音声が仮想空間の構造と密接に関連しているということに他ならない。これにより、各ユーザは、あるキャラクタが仮想空間のある場所から別の場所に移動したということを、そのキャラクタが発した音声の聞こえ方の変化から感じとることができる。すなわち、従来、視覚でのみ捉えていた事象を、聴覚によっても捉えることになるので、従来よりも臨場感が増す。
【0038】
また、音声チャットは、本来はコミュニケーションを図るための機能であるが、本実施の形態では、キャラクタを移動させながら独り言を発し、音声の聞こえ方の変化を楽しむこともできる。さらには、会話したくない相手と遭遇した際に、わざと音声が聞こえにくくなる場所にキャラクタを移動させるなど、音声の聞こえ方を利用しながらゲームを進行させることもできる。
【0039】
次に、第2の特徴について説明する。本実施の形態のゲームでは、会話をしているキャラクタの位置関係が時間の経過とともに変化する場合、音声もまた時間の経過とともにリアルタイムに変化する。例えば、車に乗って走り去ろうとするキャラクタが車を走らせながら発した音声は、その音声を聞くキャラクタとの距離が離れるほどに徐々に小さくなって聞こえる。すなわち、キャラクタ同士の相対的な位置関係のみならず位置関係の変化をも検出して、検出した変化を出力する音声に反映させる。位置関係の変化と音声変化の関係は、上記例のように現実世界に類似した関係としてもよいが、仮想空間特有の非現実的な関係を定義してもよい。例えば発声中のキャラクタが仮想空間内を瞬時移動(ワープ)した場合に、ワープしたタイミングで音声が聞こえなくなったり、あるいは突然音声が聞こえるようになるといった関係を定義することができる。
【0040】
キャラクタの動きに合わせてそのキャラクタが発した音声の聞こえ方が変化するということもまた、ユーザが発した音声と仮想空間との関係を密にすることに他ならない。上記第1の特徴と同様に、ユーザは、あるキャラクタが仮想空間のある場所から別の場所に移動中であるということを、そのキャラクタが発した音声の聞こえ方の変化から感じとることができる。従来、視覚でのみ捉えていた事象を、聴覚によっても捉えることができるようになるので、臨場感が増す。
【0041】
次に、第3の特徴について説明する。ロールプレイングゲームでは、通常、場面あるいはキャラクタがとった行動に合わせて、演出のための効果音が出力される。例えば風の音や衝突音などである。これらの効果音は仮想空間と同じく、ゲームを作成し提供する側によって定義される。本実施の形態のロールプレイングゲームでは、キャラクタが音声を発したタイミングが、このような効果音の出力タイミングと重なった場合に、キャラクタの音声の聞こえ方が変化する。言い換えれば、ゲーム制御プログラムにより出力される音声データと、マイク入力により取得された音声データとが、所定の規則にしたがって合成された後に出力される。
【0042】
例えば、強風の場面では、風の音とキャラクタの声が重なって聞こえることとなるが、この場合には、風の音の重み付けを大きくすることにより、キャラクタの音声が風の音にかき消されて聞こえにくくなるようにする。音声を合成する際の規則は、現実世界に類似する聞こえ方になるような規則としてもよいし、仮想世界特有の非現実的な聞こえ方になるような規則としてもよい。いずれの場合も、種々の規則が考えられることは言うまでもない。
【0043】
仮想空間の中で発生した音によって、キャラクタが発した音声の聞こえ方が変化するということもまた、ユーザが発した音声と仮想空間との関係を密にすることに他ならない。これにより、音声を発するユーザは、あたかも自分自身が仮想空間内で音声を発しているかのような臨場感を味わうことができ、音声を聞く側のユーザは、仮想空間内のキャラクタが実際に音声を発しているかのような感覚を味わうことができる。
【0044】
次に、第4の特徴について説明する。本実施の形態のロールプレイングゲームでは、前述のように各ユーザは脈拍センサ12A,12Bを装着しており、ユーザが発した音声は、ユーザの脈拍に応じて変化する。
【0045】
例えば、脈拍が極度に高いことが検出された場合には、ユーザ自身が平常通りの声を発していたとしても、その音声を聞く側のユーザには、声が震えたり、高くなったりして聞こえる。さらには、脈拍の高いユーザのキャラクタは、例えば、顔色が赤くなる(あるいは青くなる)など、画面表示も変化する。なお、脈拍センサに代えて発汗センサや温度センサを装着するようにしてもよい。センサは、ユーザの身体状態の変化を検出する目的で装着するものであるため、この目的にかなうセンサであればどのようなものであってもよい。
【0046】
上述のように、ユーザの身体情報をユーザのキャラクタの発声音に反映させた場合、発声する側のユーザはキャラクタと同化してゲームを楽しむことができる。また、音声を聞く側のユーザは、キャラクタの発声音から、そのキャラクタを操作するユーザの状態、あるいは性格を垣間見ることができる。
【0047】
次に、上述の音声チャット機能を提供するための手段について説明する。図2はユーザが使用する情報処理装置3の機能について説明するための図である。図に示すように、情報処理装置3は、キャラクタ制御機能16と、チャットデータ発信機能17とチャット音声出力機能18を備える。詳細には、これらの機能は、情報処理装置3に組み込まれる制御プログラムにより実現される。
【0048】
キャラクタ制御機能16は、図示されないサーバからネットワーク1を介して仮想空間やキャラクタの配置位置の情報を受信し、受信した情報に基づいてディスプレイ15に仮想空間の一部の領域を表示する一方、コントローラ11からの操作入力を受け付けて、サーバに対しキャラクタの行動を指定する情報を送信する機能である。
【0049】
チャットデータ発信機能17は、マイク7からの音声入力と、センサ12からの脈拍情報の入力を受け付けて、それらの情報を含むチャットデータを生成し、ネットワーク1を介してサーバに発信する機能である。チャットデータは、図3に示すように、少なくとも、マイク入力されデジタル化された発声音21、発声音21の発声時刻19、および発声キャラクタ20の情報の3種類の情報を含むフォーマットとする必要がある。あるいは、発声キャラクタ20に代えて、ユーザを特定する情報を付加してもよい。また、本実施の形態では、チャットデータには、センサにより取得した脈拍などのユーザ身体情報22も含まれている。
【0050】
チャット音声出力機能18は、サーバ2からネットワーク1を介して転送される音声のデータを受信して、スピーカ8に出力する機能である。サーバ2から転送される音声のデータには、各情報処理装置のチャットデータ発信機能17により発信されたチャットデータのほか、演出のための効果音を表す演出音データがある。演出音データは、図4に示すように、少なくとも、効果音24と、効果音24の出力タイミング23の情報が含まれている。演出音データは、サーバ2から転送される場合もあるが、予め情報処理装置3が保持している場合もある。
【0051】
図5は、情報処理装置3のハードウェア構成を表す図である。情報処理装置3は、少なくともCPU25,RAM26,通信制御部27、入出力制御部28、操作入力制御部29、表示出力制御部30、音声入出力制御部31、センサ入力制御部32およびそれらを接続するシステムバス33を備えている。
【0052】
通信制御部27はネットワーク1と接続され、サーバ2とのプログラム、データのやりとりを制御する。また、入出力制御部28は、CD−ROMやDVD33、メモリカード34、ハードディスク35などの記録媒体からのデータの読取りおよびそれらの記録媒体へのデータの書き込みを制御する。操作入力制御部29は、情報処理装置3に外部接続されたコントローラ11などの入力機器からのユーザ入力を制御する。受け付けた入力はシステムバス33を介してCPU25に伝達される。表示出力制御部30は、制御プログラムが出力する画像のディスプレイ15への表示を制御する。音声入出力制御部31は、マイク7からの音声入力とスピーカ8への音声出力を制御する。さらに、センサ入力制御部32は、脈拍センサ12からのセンサ入力を制御する。
【0053】
図2の各機能を提供する制御プログラムは、CD−ROMやDVD33によって提供されるか、またはサーバ2からのダウンロードにより提供される。いずれの場合も、制御プログラムはRAM26にロードされ、CPU25によって実行される。CPU25は、制御プログラムに基づいて、操作入力制御部29、表示出力制御部30および通信制御部27との間で指示信号などを交換することによりキャラクタ制御機能16を実現する。同様に、チャットデータ発信機能17は、CPU25が制御プログラムに基づいて音声入出力制御部31、センサ入力制御部32および通信制御部27と信号などを交換することにより実現され、チャット音声出力機能18は、通信制御部27や音声入出力制御部31と信号などを交換することにより実現される。
【0054】
図6は、図2のチャット音声出力機能18に対応する制御プログラムの処理の概要を表すフローチャートである。図に示すように、制御プログラムは、ステップS101においてチャットデータを受信すると、まずステップS102において、そのチャットデータの発信元のユーザに対応するキャラクタの周辺に音声出力に影響する属性を有するオブジェクトが存在するか否かを判定する。仮想空間の構成とキャラクタの配置位置についての情報は、前述のようにキャラクタ制御機能により取得済みであるので、判定はその情報を利用して行うことができる。例えば、音声を発したキャラクタを中心とした所定半径の円状領域、あるいはキャラクタの正面の所定角度の扇型領域内に、音声に係る属性を有するオブジェクトが存在するか否かを判定する。
【0055】
音声に係る属性を有するオブジェクトが存在した場合には、次にステップS103においてそのオブジェクト属性に基づいて、チャットデータに含まれる発声音を変換する。例えば、オブジェクトの属性が音反響特性であれば、発声音に対しエコー処理を施した後、処理後の音声データをメモリに保存する。音声に係る属性を有するオブジェクトがキャラクタの周辺に存在しない場合には、ステップS103の処理は実行しない。
【0056】
次に、ステップS104において、音声を発したキャラクタと、この音声出力処理を実行する装置を使用しているユーザのキャラクタとの相対的な位置関係を、仮想空間およびキャラクタ配置の情報に基づいて計算する。さらに、2キャラクタのいずれか、もしくは両方が移動中である場合には、単位時間あたりの位置関係の変化(変位速度)を求め、変位速度が音声に影響する程度の速度か否かを所定の閾値との比較により判定する。
【0057】
変位速度が閾値以上である場合には、ステップS105において、変位速度に基づく音声変換処理を行う。ステップS103において、変換処理が行われていた場合には、メモリに保存されている処理後の音声データに対してさらに変換処理を施す。変位速度が音声に影響しない程度である場合には、ステップS105の処理は実行しない。
【0058】
次に、ステップS106においてチャットデータに脈拍などのユーザ身体情報が含まれているか否かを判定する。音声に影響するようなユーザ身体情報(例えば脈拍が非常に高いという情報)が含まれている場合には、ステップS107において、そのユーザ身体情報に基づく変換処理を実行する。例えば前述のように、声が震えて聞こえるように発声音を変換する。ステップS103あるいはS105において、変換処理が行われていた場合には、メモリに保存されている変換後の音声データに対してさらに変換処理を施す。変換後のデータは再びメモリに保存する。一方、音声に影響するようなユーザ身体情報が含まれていなかった場合には、ステップS107の処理は実行しない。
【0059】
次に、ステップS108において、出力中あるいはこれから出力しようとする効果音があるか否かを演出音データに含まれる出力タイミングの情報に基づいて判定する。効果音がある場合には、ステップS109において、発声音と効果音を、前述のように所定の重み付けを行うなどして、合成する。合成の方法は、効果音の種類ごとに、予め定義しておくのがよい。ステップS103、S105あるいはS107において変換処理が行われていた場合には、メモリに保存されている処理後の音声を効果音と合成する。なお、効果音がない場合には、ステップS109の処理は行わない。
【0060】
次に、ステップS110において変換あるいは合成された音声を出力する。以上の処理により、前述の4つの特徴を備えた音声チャット機能を実現することができる。但し、図6に示したフローチャートは、上記4つの特徴すべてを備えるための処理を示したものであるが、上記各特徴は単独で臨場感を増す効果を奏するものであり、必ずしもすべての特徴を組み合わせる必要はない。
【0061】
以上に説明したように、音声の聞こえ方は、音声変換や、他の音声との合成により音声データ自体を加工することにより、変化させることができる。一方、音声の聞こえ方は、音声を聞くユーザと音声が出力されるスピーカの位置によっても変わることは経験的に知られている。
【0062】
そこで、本実施の形態では、上記音声の変換や合成を行う際に、ユーザの右側に配置されるスピーカ用、左側に配置されるスピーカ用というように、スピーカの配置位置ごとに異なる出力用データを生成する。例えば、あるキャラクタが音声を発しながら、情報処理装置を使用するユーザのキャラクタからみて右方向に高速で移動した場合には、左側のスピーカから出力する発声音は音量が段階的に小さくなるようにし、右側のスピーカから出力する発声音は音量が段階的に大きくなるようにする。これにより、発声キャラクタが右方向に高速移動したことが聴覚により実感でき、臨場感が増す。3以上のスピーカが配置されることを想定して、より多くの出力用データを生成するようにしてもよいことは言うまでもない。
【0063】
次に、臨場感を増すことにより起こり得る問題と、その問題を解決するための手段について説明する。前述の説明からも明らかであるように、音声の聞こえ方を変化させることにより臨場感を増すということと、音声を聞こえやすくするということは、必ずしも両立しない。このため、臨場感を楽しむユーザがいる一方で、音声が聞こえにくいことにストレスを感じるユーザもいる可能性がある。そこで、本実施の形態のネットワークロールプレイングゲームは、すべてのユーザがストレスを感じることなく前述の臨場感を楽しめるよう、いくつかの新たな機能を備える。
【0064】
図7は、聞き取りにくさのストレスを緩和するための第1の機能について説明するための図である。仮想空間において、ユーザ4Aのキャラクタ6Aと他のユーザが操作するキャラクタ6Bおよび6Cの間には、大音量ノイズを発するオブジェクト36が配置されている。ユーザ4Aのヘッドホンのスピーカ8Aからは、音声10が出力されているが、オブジェクト36の影響を受けて音質が悪化しているため、ユーザ4Aは音声10が、どのキャラクタの声であるかを判別することができない。
【0065】
第1の機能は、このようなケースで、発声キャラクタを容易に判別できるようにするための機能である。具体的には、図7に示すように、発声中のキャラクタ6Bの周辺に、発声中であることを示すマーク37を表示する。あるいは、「発声中」などの文字を発声キャラクタ6Bの周辺の表示してもよい。さらには、発声キャラクタ本体の色を変化させたり、キャラクタの口を動かすなどしてもよい。これにより、ユーザ4Aは、音声10の発生元がキャラクタ6Bであることを容易に認識することができる。これにより、例えばキャラクタ6Aをキャラクタ6Bの近くまで移動させて、再度会話を交わすことにより、聞き取り損ねた発言の内容を確認することができる。第1の機能は、図2に示した制御プログラムの構成において、チャット音声出力機能18とキャラクタ制御機能16を連携させることにより実現することができる。
【0066】
ここで、第1の機能では、キャラクタ6Aがキャラクタ6Bに問いかけを行い、キャラクタ6Bが再度同じ発言をすることによってはじめて、聞き取り損ねた発言の内容が明らかになる。言い換えれば、キャラクタ6Bが発言を繰り返すことを拒んだ場合には、聞き取り損ねた発言の内容を知ることができない。そこで、そのような場合でも、聞き取り損ねた発言の内容を知ることができるように、本実施の形態では、第2の機能として音声再生機能を提供する。
【0067】
第2の機能として提供する音声再生機能は、ユーザから所定の指示入力があった場合に、キャラクタの過去の発声音を再生する機能である。指示入力のためのユーザインタフェースは種々考えられるが、例えば図8に示すように、画面に音声再生指示のためのメニュー38を表示する方法が考えられる。図8の例は、キャラクタ6Bにカーソル39を合わせて所定のボタン操作を行うことにより操作メニュー38を表示させる例である。さらにカーソル39を操作してメニュー項目の中から所望の指示を選択すれば、過去の発言の一部または全部を再生することができる。第1の機能のみとした場合には、キャラクタ6Bを操作するユーザは、多数のキャラクタから再発言を求められた場合に何度も同じ発言を繰り返さなければならないが、第2の機能によれば、キャラクタ6Bを操作するユーザは再発言を求められることはない。また、キャラクタ6Aを操作するユーザ4Aも、キャラクタ6Bを操作するユーザに気兼ねすることなく、知りたい内容を確認することができる。
【0068】
さらに、本実施の形態では、図9に示すように、キャラクタを指定することなく、仮想空間内の所定の場所(部屋など)で行われた会話を、まとめて再生する機能も提供する。この機能によれば、ユーザが所定のボタン操作を行った場合に操作メニュー40が画面に現れる。ユーザは、カーソル39を操作することによりメニュー項目のいずれかを選択し、仮想空間内の所定の場所において、過去に行われた会話の一部あるいは全部を再生することができる。本実施の形態では、多くの会話を短時間に再生できるように、早送り再生機能も提供する。
【0069】
なお、音声再生機能は、音声を聞き取り損ねた場合の聞き直しに限らず、ゲームに途中から参加したユーザにとっても有用な機能である。例えば図9は、キャラクタ6Aを操作するユーザがゲームに途中参加し、会話中のキャラクタ6B〜6Dに遭遇した例を示している。このようなケースで、キャラクタ6Aを操作するユーザは、この場所で過去に行われた会話を再生することにより、3人のキャラクタの間でなされた会話の内容を把握することができる。この場合、キャラクタ6Aが、状況把握のために多くの質問をして他のユーザを煩わせることがなくなる。
【0070】
第2の機能を提供するためには、過去の発言に係る音声データをすべて記憶しておく必要がある。聞き直しのみを目的とした再生機能を提供する場合には、情報処理装置側に再生用のデータを蓄積してもよいが、前述のように聞き直し目的に限らず全キャラクタの全発言内容を再生できるようにするためには、サーバ側に再生用のデータを蓄積しておくのがよい。
【0071】
図10は、音声再生を行うために必要なサーバ側の機能を示す図である。図に示すように、サーバ2は、仮想空間を提供するとともにキャラクタの配置を管理する仮想空間/キャラクタ制御機能41と、各情報処理装置からチャットデータを受信して他の情報処理装置に配信するチャットデータ配信機能42と、各情報処理装置からの要求に応じてデータベース44を検索することにより要求されたチャットデータを取得して送信するチャットデータ検索機能43を備える。
【0072】
チャットデータは、チャットデータ配信機能42によりデータベース44に蓄積保存される。この際、チャットデータに含まれる発声時刻、発声キャラクタの情報に加え、発声場所など検索に必要な他の情報が付加される。チャットデータの保存は、受信したままのチャットデータを保存する方法のほか、チャットデータに含まれる音声データを文字データに変換し、発声時刻、発声キャラクタ、発声内容を表す文字データを含むデータとして保存する方法も考えられる。発声内容を文字データとして保存した場合には、音声の再生を要求された場合に、音声と合わせて文字を表示することも可能になる。また、文字情報の検索技術は数多く知られているため、それらの技術を用いれば、発声キャラクタ、発声時刻のみならず、発声内容の検索も可能になる。さらには、近年、音声データを標準音声符号に変換して音声符号の一致、不一致により音声の検索を行う技術も提案されている。したがって、音声データを標準音声符号に変換して保存し、音声符号に基づく検索を行ってもよい。
【0073】
また、例えばMP3などの標準音声圧縮技術の多くは、音声の早送り再生についても規格を定めている。したがって、チャットデータに含まれる発声音の情報を、標準のデータ形式で保存すれば、前述の早送り機能を提供することができる。なお、検索用データと一括再生や早送り再生用のデータを別個に異なるデータ形式で保存しておき、目的に応じて使い分けてもよい。
【0074】
図11は、情報処理装置3により実行される再生処理と、サーバ2により実行される検索処理を表したフローチャートである。図に示すように、情報処理装置3は、ステップS201において、図8あるいは図9のような操作メニューから音声再生指示の入力を受け付けると、ステップS202において、キャラクタ、発声時刻、会話がなされた場所など検索のキーワードの情報を含む再生要求をサーバ2に送信する。サーバ2は、ステップS301において再生要求を受信すると、ステップS302において、検索キーワードの有無を確認することによって、一部再生が要求されているか、過去の全音声の再生が要求されているかを判定する。検索キーワードが含まれている場合には、ステップS303において、そのキーワードを使用してデータベース44の検索を行う。ステップS304では、検索により取得したチャットデータを再生要求を送信した情報処理装置に送信する。なお、過去の全音声の再生が要求された場合には、データベース44に保管されているチャットデータを時系列に並べて情報処理装置に送信する。
【0075】
情報処理装置は、ステップS203において、サーバ2が送信したチャットデータを受信し、ステップS204においてそのチャットデータに含まれる音声を再生出力する。
【0076】
次に、聞き取りにくさのストレスを緩和するための第3の機能について説明する。第3の機能は、キャラクタが所定のアイテムを所持している場合、あるいはキャラクタが所定の属性を有する場合など、キャラクタが所定の条件を満たす場合に、臨場感を出すための音声変換処理あるいは音声合成処理を省略して音声を出力する機能である。
【0077】
図12は、第3の機能を提供するための処理を示すフローチャートである。図に示すように、図12に示すフローチャートは、図6に示したフローチャートのステップS101の後に、チャットデータを受信したユーザ(音声の聞き手のユーザ)のキャラクタが、指定アイテムを所持しているか否かを判定するステップS111を追加したものである。指定アイテムは固定的としてもよいが、チャットデータごとに定義してもよい。すなわち、チャットデータに指定アイテムの情報を含めておいてもよい。
【0078】
ステップS111において、聞き手のキャラクタが指定アイテムを所持していないと判定した場合には、図6のステップS102以降の処理を実行する。一方、聞き手のキャラクタが指定アイテムを所持している場合には、図6のステップS102〜S109までの処理は実行しない。この場合、音声変換や合成処理は行われないので、ステップS110では、チャットデータに含まれる音声がそのまま出力される。
【0079】
第3の機能によれば、例えば指定アイテムをトランシーバとした場合、図13に示すように、トランシーバ45Aを所持するキャラクタ6Aとトランシーバ45Bを所持するキャラクタ6Bは、周辺オブジェクトや効果音の影響を受けることなく、常に聞き取りやすい音声で会話することができる。
【0080】
同様に、図12のステップS111においてキャラクタの属性を参照し、属性によって、音声変換あるいは合成の要否を決定してもよい。この場合、例えば、人間属性のキャラクタがロボット属性のキャラクタと会話する際には音声が聞き取りにくくなることがあるが、人間属性のキャラクタ同士が会話するときには常に鮮明な音声で会話できるといった仕様を実現することができる。グループに分かれて対戦を行うタイプのゲームであれば、グループ分けを属性として定義しておくことにより、味方グループのみとチャットできる仕様を実現することもできる。
【0081】
第3の機能によれば、ユーザは、所定の条件を満たすことによって、従来と同じく発声したままの音声によって会話を行うことができるようになるため、臨場感を優先するユーザと、聞き取りやすさを優先するユーザが、いずれもストレスを感じることなく一緒にゲームを楽しむことができるようになる。
【0082】
以上に説明したように、本実施の形態のロールプレイングゲームでは、音声チャットを行う際に、仮想空間と密接に関連した音声が出力されるため、ユーザは、視覚のみならず聴覚によっても臨場感を感じることができる。また、臨場感を重視した結果、一時的に音声が聞き取りにくくなることがあるとしても、音声を聞き直す、あるいは鮮明な音声に聞くための工夫が施されているため、ユーザがストレスを感じることはない。
【0083】
なお、ネットワークロールプレイングゲームを例に説明したが、本発明はキャラクタを介して音声チャットを行うあらゆるシステムに適用可能な技術であることは言うまでもない。
【0084】
【発明の効果】
本発明の各情報処理装置あるいはプログラムによれば、チャット音声は、仮想空間と音声の関連を密にする処理が施された後に出力されるので、その音声を聞くユーザは、あたかも仮想空間内で会話をしているような臨場感を感じることができる。
【0085】
また、本発明の他の各情報処理装置あるいはプログラムによれば、チャット音声が聞き取りにくい場合でも、ユーザにストレスを感じさせることがない。
【図面の簡単な説明】
【図1】ネットワークロールプレイングゲームと、その音声チャット機能の概要について説明するための図である。
【図2】本発明の情報処理装置の機能を示す図である。
【図3】チャットデータのフォーマットの一例を表す図である。
【図4】演出音データのフォーマットの一例を表す図である。
【図5】情報処理装置のハードウェア構成を表す図である。
【図6】本発明のプログラムの一実施の形態における処理概要を表すフローチャートである。
【図7】発声キャラクタを判別するための機能について説明するための図である。
【図8】チャット音声のキャラクタごとの再生機能について説明するための図である。
【図9】チャット音声の一括再生機能について説明するための図である。
【図10】チャット音声の再生に必要なサーバの機能を示す図である。
【図11】チャット音声を再生する処理の概要を表すフローチャートである。
【図12】所持アイテムに基づく音声出力処理を表すフローチャートである。
【図13】所持アイテムに基づく音声出力処理について説明するための図である。
【符号の説明】
2 サーバ、 3,3A,3B 情報処理装置、 4A,4B ユーザ、 5仮想空間、 6A〜6E キャラクタ、 7,7A,7B マイク、 8,8A,8B スピーカ(イヤホン)、 9 発声音、 10 出力される音声、 11,11A,11B コントローラ、 12,12A,12B センサ、 13,14,36 オブジェクト、 33 システムバス、 34 メモリカード、 35 ハードディスク、 37 マーク、 38,40 操作メニュー、 39 カーソル、 45A,45B トランシーバ。
【発明の属する技術分野】
本発明は、仮想空間に配置されたキャラクタを介して会話する音声チャットシステムへの適用に適した情報処理装置、サーバおよびそれらを制御するコンピュータプログラムに関する。
【0002】
【従来の技術】
インターネット上で提供されているチャットサービスは、ユーザから入力されたテキストデータをネットワークを介してリアルタイムに他のユーザに転送することにより、物理的に離れているユーザ同士が文字による会話を楽しめるようにしたサービスである。もともとは、ユーザ同士の直接的なコミュニケーション手段として提案されたものであるが、近年、コンピュータ画面に表示されたキャラクタ同士を会話させるための機能としても利用されるようになった。例えば特許文献1には、3次元仮想現実空間にアバタと呼ばれるユーザの分身キャラクタを配置して、各ユーザが入力した文字を分身キャラクタの発言として他のユーザに伝えるシステムが開示されている。
【0003】
また、近年、マイク入力された音声をデジタルデータに変換して交換することによって、電話と同様に音声で会話することができる音声チャットサービスも提供されはじめた。
【0004】
【特許文献1】
特開2001−312744号公報
【0005】
【発明が解決しようとする課題】
前述のように、チャットには、ユーザが自分自身として会話する形態と、分身キャラクタとして会話する形態の2通りがある。前者と後者では、チャットシステムに期待される役割は若干異なる。前者の場合には各ユーザの発言がリアルタイムに正確に伝達されれば十分である。しかし、後者の場合、特にネットワーク・ロールプレイング・ゲームなどでは、正確な情報伝達のみならず、各ユーザが分身キャラクタに十分に感情移入できる雰囲気作りも重要である。
【0006】
上記特許文献1記載の発明は、チャット文字列の属性を変えることによってアバタ同士の距離感を表現しようとしているが、このような文字による雰囲気作りには限界がある。そこで、本発明は、仮想空間の雰囲気を盛り上げ、臨場感溢れる会話を楽しむことができる音声チャットシステムを提供することを目的とする。さらには、臨場感を重視したことにより起こり得るいくつかの問題点も、合わせて解決する。
【0007】
【課題を解決するための手段】
本発明は、音声チャットを行う際の臨場感を高めるための手段として、以下に説明するようなキャラクタ制御手段、チャットデータ発信手段、およびチャット音声出力手段を備える情報処理装置を提供する。また、コンピュータをそのような情報処理装置として機能させるプログラムも合わせて提供する。なお、プログラムは、DVD、CD−ROM、メモリカードなどのコンピュータ読み取り可能な記録媒体に記録して提供することができる。
【0008】
キャラクタ制御手段は、複数のユーザによる共有が可能な仮想空間およびその仮想空間に配置されたユーザごとのキャラクタを管理するサーバと交信することにより、その情報処理装置のユーザが仮想空間に配置したキャラクタの行動を制御するための手段である。
【0009】
チャットデータ発信手段は、情報処理装置のユーザが発した音声を表す第1音声データを取得し、その第1音声データを含むチャットデータを生成して発信する手段である。
【0010】
チャット音声出力手段は、サーバと交信中の情報処理装置により生成されたチャットデータを取得し、そのチャットデータに含まれる第1音声データを使用して、チャットデータが生成された情報処理装置のユーザが配置したキャラクタの音声を出力する手段である。
【0011】
本発明が提案する第1の情報処理装置あるいはプログラムでは、チャット音声出力手段は、取得したチャットデータに含まれる第1音声データを、仮想空間に配置されたオブジェクトの音声に係る属性に基づいて変換することにより第2音声データを生成し、その第2音声データが表す音声を前記キャラクタの音声として出力する。但し、変換の結果第1音声データと第2音声データが等しくなる場合もあり得る。オブジェクトの音声に係る属性は、例えば音吸収、音反射、音程変更などであり、仮想空間を構成する際にオブジェクトの他の属性とともに定義される。
【0012】
言い換えれば、仮想空間内のキャラクタ以外のオブジェクトの存在によって音声の聞こえ方が変わるようにして、ユーザが、視覚のみならず聴覚によっても仮想空間の構造を認識できるようにする。これにより、臨場感を高めることができる。
【0013】
また、本発明が提案する第2の情報処理装置あるいはプログラムでは、チャット音声出力手段は、取得したチャットデータに含まれる第1音声データを、チャットデータが生成された情報処理装置のユーザが配置したキャラクタと、この情報処理装置のユーザが配置したキャラクタの位置関係の単位時間あたりの変位量、すなわち変位速度に基づいて変換することにより第2音声データを生成し、第2音声データが表す音声を前記キャラクタの音声として出力する。
【0014】
移動するキャラクタが発する音声をリアルタイムに変化させることにより、ユーザはキャラクタが移動中であることを聴覚によっても認識できるようになるので、ユーザの臨場感を高めることができる。
【0015】
また、本発明が提案する第3の情報処理装置あるいはプログラムでは、チャットデータ発信手段は、ユーザに装着された所定のセンサによりユーザの身体情報を取得して、その身体情報を含むチャットデータを生成して発信する。また、チャット音声出力手段は、取得したチャットデータに含まれる第1音声データを、チャットデータに含まれる身体情報に基づいて変換することにより第2音声データを生成し、第2音声データが表す音声を前記キャラクタの音声として出力する。
【0016】
ユーザの身体情報とは、キャラクタを操作するユーザの身体状態の変化を表す情報であり、例えば脈拍、発汗状態、体温などがある。キャラクタを操作するユーザの身体状態に合わせてキャラクタの声を変化させることにより、ユーザとキャラクタとが同化したように感じさせる効果を狙ったものである。
【0017】
また、本発明が提案する第4の情報処理装置あるいはプログラムでは、チャット音声出力手段は、仮想空間を演出するための効果音を表す効果音データを取得し、第1音声データと効果音データを合成することにより第2音声データを生成し、第2音声データが表す音声を前記キャラクタの音声として出力する。
【0018】
効果音とチャット音声の出力タイミングが重なった場合に、ユーザが発する音声が仮想空間内で発生する他の音の影響を受けるようにすることで、ユーザはあたかも仮想空間内で声を発しているかのように感じることができる。
【0019】
さらに、上記各情報処理装置のチャット音声出力手段は、音声を出力する音声出力装置(スピーカ)と情報処理装置のユーザの位置関係に基づいて、音声出力装置ごとに第2音声データを生成することが望ましい。チャット音声をスピーカの配置を生かして出力することで、臨場感をさらに高めることができる。
【0020】
次に、本発明は音声チャットの新たな機能として、チャット音声の再生機能を提案し、そのような機能を実現するための手段として、次のような情報処理装置とサーバ、さらにはコンピュータをそのような情報処理装置あるいはサーバとして機能させるプログラムを提供する。
【0021】
本発明が提供する第5の情報処理装置およびプログラムは、第1から第4までの情報処理装置などと同じく、前述のようなキャラクタ制御手段、チャットデータ発信手段、およびチャット音声出力手段を備える。第5の情報処理装置およびプログラムでは、チャット音声出力手段は、各情報処理装置により生成された直後のチャットデータを取得してキャラクタの音声を出力する機能に加え、各情報処理装置により生成されサーバに蓄積保存されたチャットデータを取得してキャラクタの音声を再生する機能を提供する。なお、チャット音声出力手段は、音声データが取得された速度と異なる速度で前記キャラクタの音声を再生できることが望ましい。再生時の音声の早送りなどを可能にするためである。
【0022】
さらに、チャット音声の再生機能を提供するために、以下のようなキャラクタ制御手段、チャットデータ配信手段、およびチャットデータ検索手段を備えたサーバおよびサーバ用のプログラムを提供する。
【0023】
キャラクタ制御手段は、複数のユーザによる共有が可能な仮想空間を提供するとともに、仮想空間に各ユーザが配置したキャラクタの行動を、各ユーザの情報処理装置と交信することにより制御する手段である。
【0024】
チャットデータ配信手段は、各ユーザの情報処理装置から、各ユーザが発した音声を表す音声データを含むチャットデータを受信して、そのチャットデータを所定の記憶媒体に記憶するとともに交信中の複数の情報処理装置に対し配信する手段である。チャットデータに含まれる音声データは、文字データに変換してから記憶媒体に記憶してもよい。
【0025】
チャットデータ検索手段は、記憶媒体に記憶されたチャットデータの中からユーザが要求するチャットデータを検索し、そのユーザの情報処理装置に送信する手段である。これにより、サーバにアクセスする情報処理装置は、チャット音声を再生することができる。
【0026】
さらに、本発明は、第6の情報処理装置あるいはプログラムとして、第1から第4までの情報処理装置と同じく、前述のようなキャラクタ制御手段、チャットデータ発信手段、およびチャット音声出力手段を備え、チャット音声出力手段が、この情報処理装置を使用するユーザが配置したキャラクタや出力する音声データが取得された情報処理装置のユーザが配置したキャラクタが有する属性やアイテムに基づいて、キャラクタの音声を出力する装置とプログラムを提供する。この装置あるいはプログラムによれば、ユーザは所定の属性やアイテムを獲得することで、自らの選択により音声の聞こえ方を変化させることができる。ユーザに、好みの聞こえ方を選択させることにより、チャット音声の聞こえ方に関してユーザにストレスを感じさせないようにするためである。
【0027】
【発明の実施の形態】
以下、本発明の実施の形態について、ネットワークロールプレイングゲームを例にあげて説明する。はじめに、図1を参照して、ネットワークロールプレイングゲームと、その音声チャット機能の概要について説明する。
【0028】
一般に、ネットワークゲームサービスは、ゲーム会社などが管理するサーバコンピュータにより提供される。本実施の形態のネットワークロールプレイングゲームサービスも、インターネットなどのネットワーク1に接続された1台または複数のコンピュータ(以下、サーバ2とする)により提供される。ゲームサービスの利用者(以下、ユーザと称する)は、通信機能を備えた情報処理装置、例えば家庭用ゲーム機器、パソコン、携帯用ゲーム機器、携帯電話、携帯情報端末などを操作し、ネットワーク1を介してサーバ2にアクセスしてゲームを行う。なお、通信機能は有線に限らず無線通信機能でもよい。図は、2人のユーザ4A、4Bが、それぞれ情報処理装置3A,3Bを使用してサーバ2にアクセスしている状態を表している。
【0029】
サーバ2は、土地、建造物、その他多種多様なオブジェクトにより構成される仮想空間5を定義し、その仮想空間5をサーバ2にアクセスしたユーザが共有できるような状態で提供する。ユーザは、サーバ2により提供される仮想空間5に自分の分身に相当するキャラクタを配置して、そのキャラクタを動かすことによって、あたかも自分が仮想空間にいるかのような感覚を楽しむことができる。ユーザは、情報処理装置に接続された操作機器(コントローラ)を操作してサーバ2に所定の指示信号を送ることにより自分のキャラクタを動かすことができる。図は、ユーザ4Aがコントローラ11Aを操作してキャラクタ6Aを動かし、ユーザ4Bがコントローラ11Bを操作してキャラクタ6Bを動かした結果、仮想空間においてキャラクタ6Aとキャラクタ6Bが遭遇したところを例示している。
【0030】
各ユーザが使用する情報処理装置3A、3Bには、音声を入力するためのマイクおよび音声を出力するためのスピーカが、内蔵または接続されている。さらに、本実施の形態では、各ユーザは、身体のいずれかの部位に、脈拍を測定するための脈拍センサを装着する。マイク、スピーカ、脈拍センサの形態は、どのような形態であってもよい。例えば、図は、ユーザ4A、4Bが、音声入力用マイク7A,7Bと音声出力用イヤホン8A,8Bを備えたマイク付きヘッドホンを装備し、さらに、頭のこめかみ部分にあたるように脈拍センサ12A,12Bを装着した状態を例示している。
【0031】
音声チャットは、マイク7A,7Bから入力された音声を表す音声データを含むチャットデータを生成し、ネットワーク1およびサーバ2を介してチャットデータを交換することにより実現される。例えばユーザ4Bの発声音9がマイク7Bを通して情報処理装置3Bに入力されると、情報処理装置3Bからサーバ2に発声音9を表す音声データを含むチャットデータが転送される。そのチャットデータはサーバ2により情報処理装置3A,3Bに配信され、ユーザ4Aのイヤホン8A、ユーザ4Bのイヤホン8Bから音声10が出力される。
【0032】
ネットワークロールプレイングゲームでは、音声チャットを行うユーザは、通常分身キャラクタになったつもりで音声を発する。言い換えれば、ユーザ同士の直接的な会話ではなく、キャラクタを介した間接的な会話が行われる。このため、以下の説明では、ユーザがキャラクタとして発声することを、必要に応じて「キャラクタが発声する」などと表現する。
【0033】
本実施の形態のネットワークロールプレイングゲームの音声チャット機能は、以下に説明するようないくつかの特徴を有する。
【0034】
第1に、キャラクタが発した音声が、そのキャラクタの周辺にある物体の形状、位置、向き、特性などによって変化して聞こえる。言い換えれば、仮想空間に配置されたキャラクタ以外のオブジェクトの属性が、キャラクタが発した音声の聞こえ方に影響する。各オブジェクトの属性は、仮想空間を構成する時点で定義される。
【0035】
例えば、図1に例示した仮想空間5では、オブジェクト13(トンネル)の属性の1つとして、音反響特性が定義されている。この場合、オブジェクト13付近にいるキャラクタ6Cがオブジェクト13の方を向いて音声を発した場合に、その音声が反響して聞こえる。キャラクタ6Cがオブジェクト13と反対の方向を向いて音声を発した場合には、音声が反響することはない。また、オブジェクト14(植物)は、音吸収特性を有する。この場合、オブジェクト14を挟んで会話しようとしたキャラクタ6Dとキャラクタ6Eは、いずれも発した音声がオブジェクト14により吸収されてしまうため、互いの声が聞こえず、会話することができない。一方、オブジェクト13からもオブジェクト14からも所定距離以上離れた位置にいるキャラクタ6Aおよび6Bは、オブジェクトの影響を受けることなく、普通に会話することができる。
【0036】
音声に係るオブジェクト属性としては、上記反響、吸収以外にも、例えば発した音声が段階的に小さくなって聞こえる特性や、オクターブ高くなって聞こえる特性など、多種多様な属性を自由に定義することができる。音声に係る属性は、オブジェクト13の例のように現実世界に近い環境となるように定義してもよいし、オブジェクト14の例のように非現実的な現象を起こす属性としてもよい。
【0037】
キャラクタのいる場所によってそのキャラクタが発した音声の聞こえ方が変化するということは、音声が仮想空間の構造と密接に関連しているということに他ならない。これにより、各ユーザは、あるキャラクタが仮想空間のある場所から別の場所に移動したということを、そのキャラクタが発した音声の聞こえ方の変化から感じとることができる。すなわち、従来、視覚でのみ捉えていた事象を、聴覚によっても捉えることになるので、従来よりも臨場感が増す。
【0038】
また、音声チャットは、本来はコミュニケーションを図るための機能であるが、本実施の形態では、キャラクタを移動させながら独り言を発し、音声の聞こえ方の変化を楽しむこともできる。さらには、会話したくない相手と遭遇した際に、わざと音声が聞こえにくくなる場所にキャラクタを移動させるなど、音声の聞こえ方を利用しながらゲームを進行させることもできる。
【0039】
次に、第2の特徴について説明する。本実施の形態のゲームでは、会話をしているキャラクタの位置関係が時間の経過とともに変化する場合、音声もまた時間の経過とともにリアルタイムに変化する。例えば、車に乗って走り去ろうとするキャラクタが車を走らせながら発した音声は、その音声を聞くキャラクタとの距離が離れるほどに徐々に小さくなって聞こえる。すなわち、キャラクタ同士の相対的な位置関係のみならず位置関係の変化をも検出して、検出した変化を出力する音声に反映させる。位置関係の変化と音声変化の関係は、上記例のように現実世界に類似した関係としてもよいが、仮想空間特有の非現実的な関係を定義してもよい。例えば発声中のキャラクタが仮想空間内を瞬時移動(ワープ)した場合に、ワープしたタイミングで音声が聞こえなくなったり、あるいは突然音声が聞こえるようになるといった関係を定義することができる。
【0040】
キャラクタの動きに合わせてそのキャラクタが発した音声の聞こえ方が変化するということもまた、ユーザが発した音声と仮想空間との関係を密にすることに他ならない。上記第1の特徴と同様に、ユーザは、あるキャラクタが仮想空間のある場所から別の場所に移動中であるということを、そのキャラクタが発した音声の聞こえ方の変化から感じとることができる。従来、視覚でのみ捉えていた事象を、聴覚によっても捉えることができるようになるので、臨場感が増す。
【0041】
次に、第3の特徴について説明する。ロールプレイングゲームでは、通常、場面あるいはキャラクタがとった行動に合わせて、演出のための効果音が出力される。例えば風の音や衝突音などである。これらの効果音は仮想空間と同じく、ゲームを作成し提供する側によって定義される。本実施の形態のロールプレイングゲームでは、キャラクタが音声を発したタイミングが、このような効果音の出力タイミングと重なった場合に、キャラクタの音声の聞こえ方が変化する。言い換えれば、ゲーム制御プログラムにより出力される音声データと、マイク入力により取得された音声データとが、所定の規則にしたがって合成された後に出力される。
【0042】
例えば、強風の場面では、風の音とキャラクタの声が重なって聞こえることとなるが、この場合には、風の音の重み付けを大きくすることにより、キャラクタの音声が風の音にかき消されて聞こえにくくなるようにする。音声を合成する際の規則は、現実世界に類似する聞こえ方になるような規則としてもよいし、仮想世界特有の非現実的な聞こえ方になるような規則としてもよい。いずれの場合も、種々の規則が考えられることは言うまでもない。
【0043】
仮想空間の中で発生した音によって、キャラクタが発した音声の聞こえ方が変化するということもまた、ユーザが発した音声と仮想空間との関係を密にすることに他ならない。これにより、音声を発するユーザは、あたかも自分自身が仮想空間内で音声を発しているかのような臨場感を味わうことができ、音声を聞く側のユーザは、仮想空間内のキャラクタが実際に音声を発しているかのような感覚を味わうことができる。
【0044】
次に、第4の特徴について説明する。本実施の形態のロールプレイングゲームでは、前述のように各ユーザは脈拍センサ12A,12Bを装着しており、ユーザが発した音声は、ユーザの脈拍に応じて変化する。
【0045】
例えば、脈拍が極度に高いことが検出された場合には、ユーザ自身が平常通りの声を発していたとしても、その音声を聞く側のユーザには、声が震えたり、高くなったりして聞こえる。さらには、脈拍の高いユーザのキャラクタは、例えば、顔色が赤くなる(あるいは青くなる)など、画面表示も変化する。なお、脈拍センサに代えて発汗センサや温度センサを装着するようにしてもよい。センサは、ユーザの身体状態の変化を検出する目的で装着するものであるため、この目的にかなうセンサであればどのようなものであってもよい。
【0046】
上述のように、ユーザの身体情報をユーザのキャラクタの発声音に反映させた場合、発声する側のユーザはキャラクタと同化してゲームを楽しむことができる。また、音声を聞く側のユーザは、キャラクタの発声音から、そのキャラクタを操作するユーザの状態、あるいは性格を垣間見ることができる。
【0047】
次に、上述の音声チャット機能を提供するための手段について説明する。図2はユーザが使用する情報処理装置3の機能について説明するための図である。図に示すように、情報処理装置3は、キャラクタ制御機能16と、チャットデータ発信機能17とチャット音声出力機能18を備える。詳細には、これらの機能は、情報処理装置3に組み込まれる制御プログラムにより実現される。
【0048】
キャラクタ制御機能16は、図示されないサーバからネットワーク1を介して仮想空間やキャラクタの配置位置の情報を受信し、受信した情報に基づいてディスプレイ15に仮想空間の一部の領域を表示する一方、コントローラ11からの操作入力を受け付けて、サーバに対しキャラクタの行動を指定する情報を送信する機能である。
【0049】
チャットデータ発信機能17は、マイク7からの音声入力と、センサ12からの脈拍情報の入力を受け付けて、それらの情報を含むチャットデータを生成し、ネットワーク1を介してサーバに発信する機能である。チャットデータは、図3に示すように、少なくとも、マイク入力されデジタル化された発声音21、発声音21の発声時刻19、および発声キャラクタ20の情報の3種類の情報を含むフォーマットとする必要がある。あるいは、発声キャラクタ20に代えて、ユーザを特定する情報を付加してもよい。また、本実施の形態では、チャットデータには、センサにより取得した脈拍などのユーザ身体情報22も含まれている。
【0050】
チャット音声出力機能18は、サーバ2からネットワーク1を介して転送される音声のデータを受信して、スピーカ8に出力する機能である。サーバ2から転送される音声のデータには、各情報処理装置のチャットデータ発信機能17により発信されたチャットデータのほか、演出のための効果音を表す演出音データがある。演出音データは、図4に示すように、少なくとも、効果音24と、効果音24の出力タイミング23の情報が含まれている。演出音データは、サーバ2から転送される場合もあるが、予め情報処理装置3が保持している場合もある。
【0051】
図5は、情報処理装置3のハードウェア構成を表す図である。情報処理装置3は、少なくともCPU25,RAM26,通信制御部27、入出力制御部28、操作入力制御部29、表示出力制御部30、音声入出力制御部31、センサ入力制御部32およびそれらを接続するシステムバス33を備えている。
【0052】
通信制御部27はネットワーク1と接続され、サーバ2とのプログラム、データのやりとりを制御する。また、入出力制御部28は、CD−ROMやDVD33、メモリカード34、ハードディスク35などの記録媒体からのデータの読取りおよびそれらの記録媒体へのデータの書き込みを制御する。操作入力制御部29は、情報処理装置3に外部接続されたコントローラ11などの入力機器からのユーザ入力を制御する。受け付けた入力はシステムバス33を介してCPU25に伝達される。表示出力制御部30は、制御プログラムが出力する画像のディスプレイ15への表示を制御する。音声入出力制御部31は、マイク7からの音声入力とスピーカ8への音声出力を制御する。さらに、センサ入力制御部32は、脈拍センサ12からのセンサ入力を制御する。
【0053】
図2の各機能を提供する制御プログラムは、CD−ROMやDVD33によって提供されるか、またはサーバ2からのダウンロードにより提供される。いずれの場合も、制御プログラムはRAM26にロードされ、CPU25によって実行される。CPU25は、制御プログラムに基づいて、操作入力制御部29、表示出力制御部30および通信制御部27との間で指示信号などを交換することによりキャラクタ制御機能16を実現する。同様に、チャットデータ発信機能17は、CPU25が制御プログラムに基づいて音声入出力制御部31、センサ入力制御部32および通信制御部27と信号などを交換することにより実現され、チャット音声出力機能18は、通信制御部27や音声入出力制御部31と信号などを交換することにより実現される。
【0054】
図6は、図2のチャット音声出力機能18に対応する制御プログラムの処理の概要を表すフローチャートである。図に示すように、制御プログラムは、ステップS101においてチャットデータを受信すると、まずステップS102において、そのチャットデータの発信元のユーザに対応するキャラクタの周辺に音声出力に影響する属性を有するオブジェクトが存在するか否かを判定する。仮想空間の構成とキャラクタの配置位置についての情報は、前述のようにキャラクタ制御機能により取得済みであるので、判定はその情報を利用して行うことができる。例えば、音声を発したキャラクタを中心とした所定半径の円状領域、あるいはキャラクタの正面の所定角度の扇型領域内に、音声に係る属性を有するオブジェクトが存在するか否かを判定する。
【0055】
音声に係る属性を有するオブジェクトが存在した場合には、次にステップS103においてそのオブジェクト属性に基づいて、チャットデータに含まれる発声音を変換する。例えば、オブジェクトの属性が音反響特性であれば、発声音に対しエコー処理を施した後、処理後の音声データをメモリに保存する。音声に係る属性を有するオブジェクトがキャラクタの周辺に存在しない場合には、ステップS103の処理は実行しない。
【0056】
次に、ステップS104において、音声を発したキャラクタと、この音声出力処理を実行する装置を使用しているユーザのキャラクタとの相対的な位置関係を、仮想空間およびキャラクタ配置の情報に基づいて計算する。さらに、2キャラクタのいずれか、もしくは両方が移動中である場合には、単位時間あたりの位置関係の変化(変位速度)を求め、変位速度が音声に影響する程度の速度か否かを所定の閾値との比較により判定する。
【0057】
変位速度が閾値以上である場合には、ステップS105において、変位速度に基づく音声変換処理を行う。ステップS103において、変換処理が行われていた場合には、メモリに保存されている処理後の音声データに対してさらに変換処理を施す。変位速度が音声に影響しない程度である場合には、ステップS105の処理は実行しない。
【0058】
次に、ステップS106においてチャットデータに脈拍などのユーザ身体情報が含まれているか否かを判定する。音声に影響するようなユーザ身体情報(例えば脈拍が非常に高いという情報)が含まれている場合には、ステップS107において、そのユーザ身体情報に基づく変換処理を実行する。例えば前述のように、声が震えて聞こえるように発声音を変換する。ステップS103あるいはS105において、変換処理が行われていた場合には、メモリに保存されている変換後の音声データに対してさらに変換処理を施す。変換後のデータは再びメモリに保存する。一方、音声に影響するようなユーザ身体情報が含まれていなかった場合には、ステップS107の処理は実行しない。
【0059】
次に、ステップS108において、出力中あるいはこれから出力しようとする効果音があるか否かを演出音データに含まれる出力タイミングの情報に基づいて判定する。効果音がある場合には、ステップS109において、発声音と効果音を、前述のように所定の重み付けを行うなどして、合成する。合成の方法は、効果音の種類ごとに、予め定義しておくのがよい。ステップS103、S105あるいはS107において変換処理が行われていた場合には、メモリに保存されている処理後の音声を効果音と合成する。なお、効果音がない場合には、ステップS109の処理は行わない。
【0060】
次に、ステップS110において変換あるいは合成された音声を出力する。以上の処理により、前述の4つの特徴を備えた音声チャット機能を実現することができる。但し、図6に示したフローチャートは、上記4つの特徴すべてを備えるための処理を示したものであるが、上記各特徴は単独で臨場感を増す効果を奏するものであり、必ずしもすべての特徴を組み合わせる必要はない。
【0061】
以上に説明したように、音声の聞こえ方は、音声変換や、他の音声との合成により音声データ自体を加工することにより、変化させることができる。一方、音声の聞こえ方は、音声を聞くユーザと音声が出力されるスピーカの位置によっても変わることは経験的に知られている。
【0062】
そこで、本実施の形態では、上記音声の変換や合成を行う際に、ユーザの右側に配置されるスピーカ用、左側に配置されるスピーカ用というように、スピーカの配置位置ごとに異なる出力用データを生成する。例えば、あるキャラクタが音声を発しながら、情報処理装置を使用するユーザのキャラクタからみて右方向に高速で移動した場合には、左側のスピーカから出力する発声音は音量が段階的に小さくなるようにし、右側のスピーカから出力する発声音は音量が段階的に大きくなるようにする。これにより、発声キャラクタが右方向に高速移動したことが聴覚により実感でき、臨場感が増す。3以上のスピーカが配置されることを想定して、より多くの出力用データを生成するようにしてもよいことは言うまでもない。
【0063】
次に、臨場感を増すことにより起こり得る問題と、その問題を解決するための手段について説明する。前述の説明からも明らかであるように、音声の聞こえ方を変化させることにより臨場感を増すということと、音声を聞こえやすくするということは、必ずしも両立しない。このため、臨場感を楽しむユーザがいる一方で、音声が聞こえにくいことにストレスを感じるユーザもいる可能性がある。そこで、本実施の形態のネットワークロールプレイングゲームは、すべてのユーザがストレスを感じることなく前述の臨場感を楽しめるよう、いくつかの新たな機能を備える。
【0064】
図7は、聞き取りにくさのストレスを緩和するための第1の機能について説明するための図である。仮想空間において、ユーザ4Aのキャラクタ6Aと他のユーザが操作するキャラクタ6Bおよび6Cの間には、大音量ノイズを発するオブジェクト36が配置されている。ユーザ4Aのヘッドホンのスピーカ8Aからは、音声10が出力されているが、オブジェクト36の影響を受けて音質が悪化しているため、ユーザ4Aは音声10が、どのキャラクタの声であるかを判別することができない。
【0065】
第1の機能は、このようなケースで、発声キャラクタを容易に判別できるようにするための機能である。具体的には、図7に示すように、発声中のキャラクタ6Bの周辺に、発声中であることを示すマーク37を表示する。あるいは、「発声中」などの文字を発声キャラクタ6Bの周辺の表示してもよい。さらには、発声キャラクタ本体の色を変化させたり、キャラクタの口を動かすなどしてもよい。これにより、ユーザ4Aは、音声10の発生元がキャラクタ6Bであることを容易に認識することができる。これにより、例えばキャラクタ6Aをキャラクタ6Bの近くまで移動させて、再度会話を交わすことにより、聞き取り損ねた発言の内容を確認することができる。第1の機能は、図2に示した制御プログラムの構成において、チャット音声出力機能18とキャラクタ制御機能16を連携させることにより実現することができる。
【0066】
ここで、第1の機能では、キャラクタ6Aがキャラクタ6Bに問いかけを行い、キャラクタ6Bが再度同じ発言をすることによってはじめて、聞き取り損ねた発言の内容が明らかになる。言い換えれば、キャラクタ6Bが発言を繰り返すことを拒んだ場合には、聞き取り損ねた発言の内容を知ることができない。そこで、そのような場合でも、聞き取り損ねた発言の内容を知ることができるように、本実施の形態では、第2の機能として音声再生機能を提供する。
【0067】
第2の機能として提供する音声再生機能は、ユーザから所定の指示入力があった場合に、キャラクタの過去の発声音を再生する機能である。指示入力のためのユーザインタフェースは種々考えられるが、例えば図8に示すように、画面に音声再生指示のためのメニュー38を表示する方法が考えられる。図8の例は、キャラクタ6Bにカーソル39を合わせて所定のボタン操作を行うことにより操作メニュー38を表示させる例である。さらにカーソル39を操作してメニュー項目の中から所望の指示を選択すれば、過去の発言の一部または全部を再生することができる。第1の機能のみとした場合には、キャラクタ6Bを操作するユーザは、多数のキャラクタから再発言を求められた場合に何度も同じ発言を繰り返さなければならないが、第2の機能によれば、キャラクタ6Bを操作するユーザは再発言を求められることはない。また、キャラクタ6Aを操作するユーザ4Aも、キャラクタ6Bを操作するユーザに気兼ねすることなく、知りたい内容を確認することができる。
【0068】
さらに、本実施の形態では、図9に示すように、キャラクタを指定することなく、仮想空間内の所定の場所(部屋など)で行われた会話を、まとめて再生する機能も提供する。この機能によれば、ユーザが所定のボタン操作を行った場合に操作メニュー40が画面に現れる。ユーザは、カーソル39を操作することによりメニュー項目のいずれかを選択し、仮想空間内の所定の場所において、過去に行われた会話の一部あるいは全部を再生することができる。本実施の形態では、多くの会話を短時間に再生できるように、早送り再生機能も提供する。
【0069】
なお、音声再生機能は、音声を聞き取り損ねた場合の聞き直しに限らず、ゲームに途中から参加したユーザにとっても有用な機能である。例えば図9は、キャラクタ6Aを操作するユーザがゲームに途中参加し、会話中のキャラクタ6B〜6Dに遭遇した例を示している。このようなケースで、キャラクタ6Aを操作するユーザは、この場所で過去に行われた会話を再生することにより、3人のキャラクタの間でなされた会話の内容を把握することができる。この場合、キャラクタ6Aが、状況把握のために多くの質問をして他のユーザを煩わせることがなくなる。
【0070】
第2の機能を提供するためには、過去の発言に係る音声データをすべて記憶しておく必要がある。聞き直しのみを目的とした再生機能を提供する場合には、情報処理装置側に再生用のデータを蓄積してもよいが、前述のように聞き直し目的に限らず全キャラクタの全発言内容を再生できるようにするためには、サーバ側に再生用のデータを蓄積しておくのがよい。
【0071】
図10は、音声再生を行うために必要なサーバ側の機能を示す図である。図に示すように、サーバ2は、仮想空間を提供するとともにキャラクタの配置を管理する仮想空間/キャラクタ制御機能41と、各情報処理装置からチャットデータを受信して他の情報処理装置に配信するチャットデータ配信機能42と、各情報処理装置からの要求に応じてデータベース44を検索することにより要求されたチャットデータを取得して送信するチャットデータ検索機能43を備える。
【0072】
チャットデータは、チャットデータ配信機能42によりデータベース44に蓄積保存される。この際、チャットデータに含まれる発声時刻、発声キャラクタの情報に加え、発声場所など検索に必要な他の情報が付加される。チャットデータの保存は、受信したままのチャットデータを保存する方法のほか、チャットデータに含まれる音声データを文字データに変換し、発声時刻、発声キャラクタ、発声内容を表す文字データを含むデータとして保存する方法も考えられる。発声内容を文字データとして保存した場合には、音声の再生を要求された場合に、音声と合わせて文字を表示することも可能になる。また、文字情報の検索技術は数多く知られているため、それらの技術を用いれば、発声キャラクタ、発声時刻のみならず、発声内容の検索も可能になる。さらには、近年、音声データを標準音声符号に変換して音声符号の一致、不一致により音声の検索を行う技術も提案されている。したがって、音声データを標準音声符号に変換して保存し、音声符号に基づく検索を行ってもよい。
【0073】
また、例えばMP3などの標準音声圧縮技術の多くは、音声の早送り再生についても規格を定めている。したがって、チャットデータに含まれる発声音の情報を、標準のデータ形式で保存すれば、前述の早送り機能を提供することができる。なお、検索用データと一括再生や早送り再生用のデータを別個に異なるデータ形式で保存しておき、目的に応じて使い分けてもよい。
【0074】
図11は、情報処理装置3により実行される再生処理と、サーバ2により実行される検索処理を表したフローチャートである。図に示すように、情報処理装置3は、ステップS201において、図8あるいは図9のような操作メニューから音声再生指示の入力を受け付けると、ステップS202において、キャラクタ、発声時刻、会話がなされた場所など検索のキーワードの情報を含む再生要求をサーバ2に送信する。サーバ2は、ステップS301において再生要求を受信すると、ステップS302において、検索キーワードの有無を確認することによって、一部再生が要求されているか、過去の全音声の再生が要求されているかを判定する。検索キーワードが含まれている場合には、ステップS303において、そのキーワードを使用してデータベース44の検索を行う。ステップS304では、検索により取得したチャットデータを再生要求を送信した情報処理装置に送信する。なお、過去の全音声の再生が要求された場合には、データベース44に保管されているチャットデータを時系列に並べて情報処理装置に送信する。
【0075】
情報処理装置は、ステップS203において、サーバ2が送信したチャットデータを受信し、ステップS204においてそのチャットデータに含まれる音声を再生出力する。
【0076】
次に、聞き取りにくさのストレスを緩和するための第3の機能について説明する。第3の機能は、キャラクタが所定のアイテムを所持している場合、あるいはキャラクタが所定の属性を有する場合など、キャラクタが所定の条件を満たす場合に、臨場感を出すための音声変換処理あるいは音声合成処理を省略して音声を出力する機能である。
【0077】
図12は、第3の機能を提供するための処理を示すフローチャートである。図に示すように、図12に示すフローチャートは、図6に示したフローチャートのステップS101の後に、チャットデータを受信したユーザ(音声の聞き手のユーザ)のキャラクタが、指定アイテムを所持しているか否かを判定するステップS111を追加したものである。指定アイテムは固定的としてもよいが、チャットデータごとに定義してもよい。すなわち、チャットデータに指定アイテムの情報を含めておいてもよい。
【0078】
ステップS111において、聞き手のキャラクタが指定アイテムを所持していないと判定した場合には、図6のステップS102以降の処理を実行する。一方、聞き手のキャラクタが指定アイテムを所持している場合には、図6のステップS102〜S109までの処理は実行しない。この場合、音声変換や合成処理は行われないので、ステップS110では、チャットデータに含まれる音声がそのまま出力される。
【0079】
第3の機能によれば、例えば指定アイテムをトランシーバとした場合、図13に示すように、トランシーバ45Aを所持するキャラクタ6Aとトランシーバ45Bを所持するキャラクタ6Bは、周辺オブジェクトや効果音の影響を受けることなく、常に聞き取りやすい音声で会話することができる。
【0080】
同様に、図12のステップS111においてキャラクタの属性を参照し、属性によって、音声変換あるいは合成の要否を決定してもよい。この場合、例えば、人間属性のキャラクタがロボット属性のキャラクタと会話する際には音声が聞き取りにくくなることがあるが、人間属性のキャラクタ同士が会話するときには常に鮮明な音声で会話できるといった仕様を実現することができる。グループに分かれて対戦を行うタイプのゲームであれば、グループ分けを属性として定義しておくことにより、味方グループのみとチャットできる仕様を実現することもできる。
【0081】
第3の機能によれば、ユーザは、所定の条件を満たすことによって、従来と同じく発声したままの音声によって会話を行うことができるようになるため、臨場感を優先するユーザと、聞き取りやすさを優先するユーザが、いずれもストレスを感じることなく一緒にゲームを楽しむことができるようになる。
【0082】
以上に説明したように、本実施の形態のロールプレイングゲームでは、音声チャットを行う際に、仮想空間と密接に関連した音声が出力されるため、ユーザは、視覚のみならず聴覚によっても臨場感を感じることができる。また、臨場感を重視した結果、一時的に音声が聞き取りにくくなることがあるとしても、音声を聞き直す、あるいは鮮明な音声に聞くための工夫が施されているため、ユーザがストレスを感じることはない。
【0083】
なお、ネットワークロールプレイングゲームを例に説明したが、本発明はキャラクタを介して音声チャットを行うあらゆるシステムに適用可能な技術であることは言うまでもない。
【0084】
【発明の効果】
本発明の各情報処理装置あるいはプログラムによれば、チャット音声は、仮想空間と音声の関連を密にする処理が施された後に出力されるので、その音声を聞くユーザは、あたかも仮想空間内で会話をしているような臨場感を感じることができる。
【0085】
また、本発明の他の各情報処理装置あるいはプログラムによれば、チャット音声が聞き取りにくい場合でも、ユーザにストレスを感じさせることがない。
【図面の簡単な説明】
【図1】ネットワークロールプレイングゲームと、その音声チャット機能の概要について説明するための図である。
【図2】本発明の情報処理装置の機能を示す図である。
【図3】チャットデータのフォーマットの一例を表す図である。
【図4】演出音データのフォーマットの一例を表す図である。
【図5】情報処理装置のハードウェア構成を表す図である。
【図6】本発明のプログラムの一実施の形態における処理概要を表すフローチャートである。
【図7】発声キャラクタを判別するための機能について説明するための図である。
【図8】チャット音声のキャラクタごとの再生機能について説明するための図である。
【図9】チャット音声の一括再生機能について説明するための図である。
【図10】チャット音声の再生に必要なサーバの機能を示す図である。
【図11】チャット音声を再生する処理の概要を表すフローチャートである。
【図12】所持アイテムに基づく音声出力処理を表すフローチャートである。
【図13】所持アイテムに基づく音声出力処理について説明するための図である。
【符号の説明】
2 サーバ、 3,3A,3B 情報処理装置、 4A,4B ユーザ、 5仮想空間、 6A〜6E キャラクタ、 7,7A,7B マイク、 8,8A,8B スピーカ(イヤホン)、 9 発声音、 10 出力される音声、 11,11A,11B コントローラ、 12,12A,12B センサ、 13,14,36 オブジェクト、 33 システムバス、 34 メモリカード、 35 ハードディスク、 37 マーク、 38,40 操作メニュー、 39 カーソル、 45A,45B トランシーバ。
Claims (21)
- 音声チャット機能を提供する情報処理装置であって、
複数のユーザによる共有が可能な仮想空間および該仮想空間に配置されたユーザごとのキャラクタを管理するサーバと交信することにより、当該情報処理装置のユーザが前記仮想空間に配置したキャラクタの行動を制御するキャラクタ制御手段と、
当該情報処理装置のユーザが発した音声を表す第1音声データを取得し、該第1音声データを含むチャットデータを生成して発信するチャットデータ発信手段と、
前記サーバと交信中の情報処理装置により生成されたチャットデータを取得し、該チャットデータに含まれる第1音声データを使用して、該チャットデータが生成された情報処理装置のユーザが配置したキャラクタの音声を出力するチャット音声出力手段とを備え、
前記チャット音声出力手段は、取得したチャットデータに含まれる第1音声データを、前記仮想空間に配置されたオブジェクトの音声に係る属性に基づいて変換することにより第2音声データを生成し、該第2音声データが表す音声を前記キャラクタの音声として出力することを特徴とする情報処理装置。 - 音声チャット機能を提供する情報処理装置であって、
複数のユーザによる共有が可能な仮想空間および該仮想空間に配置されたユーザごとのキャラクタを管理するサーバと交信することにより、当該情報処理装置のユーザが前記仮想空間に配置したキャラクタの行動を制御するキャラクタ制御手段と、
当該情報処理装置のユーザが発した音声を表す第1音声データを取得し、該第1音声データを含むチャットデータを生成して発信するチャットデータ発信手段と、
前記サーバと交信中の情報処理装置により生成されたチャットデータを取得し、該チャットデータに含まれる第1音声データを使用して、該チャットデータが生成された情報処理装置のユーザが配置したキャラクタの音声を出力するチャット音声出力手段とを備え、
前記チャット音声出力手段は、取得したチャットデータに含まれる第1音声データを、前記チャットデータが生成された情報処理装置のユーザが配置したキャラクタと当該情報処理装置のユーザが配置したキャラクタの位置関係の単位時間あたりの変位量に基づいて変換することにより第2音声データを生成し、該第2音声データが表す音声を前記キャラクタの音声として出力することを特徴とする情報処理装置。 - 音声チャット機能を提供する情報処理装置であって、
複数のユーザによる共有が可能な仮想空間および該仮想空間に配置されたユーザごとのキャラクタを管理するサーバと交信することにより、当該情報処理装置のユーザが前記仮想空間に配置したキャラクタの行動を制御するキャラクタ制御手段と、
当該情報処理装置のユーザが発した音声を表す第1音声データを取得し、該第1音声データを含むチャットデータを生成して発信するチャットデータ発信手段と、
前記サーバと交信中の情報処理装置により生成されたチャットデータを取得し、該チャットデータに含まれる第1音声データを使用して、該チャットデータが生成された情報処理装置のユーザが配置したキャラクタの音声を出力するチャット音声出力手段とを備え、
前記チャットデータ発信手段は、前記ユーザに装着された所定のセンサにより前記ユーザの身体情報を取得して、該身体情報を含むチャットデータを生成して発信し、
前記チャット音声出力手段は、取得したチャットデータに含まれる第1音声データを、該チャットデータに含まれる身体情報に基づいて変換することにより第2音声データを生成し、該第2音声データが表す音声を前記キャラクタの音声として出力することを特徴とする情報処理装置。 - 音声チャット機能を提供する情報処理装置であって、
複数のユーザによる共有が可能な仮想空間および該仮想空間に配置されたユーザごとのキャラクタを管理するサーバと交信することにより、当該情報処理装置のユーザが前記仮想空間に配置したキャラクタの行動を制御するキャラクタ制御手段と、
当該情報処理装置のユーザが発した音声を表す第1音声データを取得し、該第1音声データを含むチャットデータを生成して発信するチャットデータ発信手段と、
前記サーバと交信中の情報処理装置により生成されたチャットデータを取得し、該チャットデータに含まれる第1音声データを使用して、該チャットデータが生成された情報処理装置のユーザが配置したキャラクタの音声を出力するチャット音声出力手段とを備え、
前記チャット音声出力手段は、前記仮想空間を演出するための効果音を表す効果音データを取得し、前記第1音声データと前記効果音データを合成することにより第2音声データを生成し、該第2音声データが表す音声を前記キャラクタの音声として出力することを特徴とする情報処理装置。 - 請求項1から4のいずれかに記載された情報処理装置において、
前記チャット音声出力手段は、前記音声を出力する音声出力装置と当該情報処理装置のユーザの位置関係に基づいて、音声出力装置ごとに前記第2音声データを生成することを特徴とする情報処理装置。 - 音声チャット機能を提供する情報処理装置であって、
複数のユーザによる共有が可能な仮想空間および該仮想空間に配置されたユーザごとのキャラクタを管理するサーバと交信することにより、当該情報処理装置のユーザが前記仮想空間に配置したキャラクタの行動を制御するキャラクタ制御手段と、
当該情報処理装置のユーザが発した音声を表す音声データを取得し、該音声データを含むチャットデータを生成して発信するチャットデータ発信手段と、
前記サーバと交信中の情報処理装置により生成されたチャットデータを取得し、該チャットデータに含まれる音声データを使用して、該チャットデータが生成された情報処理装置のユーザが配置したキャラクタの音声を出力するチャット音声出力手段とを備え、
前記チャット音声出力手段は、各情報処理装置により生成された直後のチャットデータを取得して前記キャラクタの音声を出力する機能と、各情報処理装置により生成され前記サーバに蓄積保存されたチャットデータを取得して前記キャラクタの音声を再生する機能とを提供することを特徴とする情報処理装置。 - 前記チャット音声出力手段は、前記音声データが取得された速度と異なる速度で前記キャラクタの音声を再生できることを特徴とする請求項6記載の情報処理装置。
- 音声チャット機能を提供するサーバであって、
複数のユーザによる共有が可能な仮想空間を提供するとともに、前記仮想空間に前記各ユーザが配置したキャラクタの行動を、前記各ユーザの情報処理装置と交信することにより制御するキャラクタ制御手段と、
前記各ユーザの情報処理装置から、前記各ユーザが発した音声を表す音声データを含むチャットデータを受信して、該チャットデータを所定の記憶媒体に記憶するとともに交信中の複数の情報処理装置に対し配信するチャットデータ配信手段と、
前記記憶媒体に記憶されたチャットデータの中から前記ユーザが要求するチャットデータを検索し、該ユーザの情報処理装置に送信するチャットデータ検索手段とを備えることにより、前記情報処理装置によるチャット音声の再生を可能にしたことを特徴とするサーバ。 - 前記チャットデータ配信手段は、前記チャットデータに含まれる前記音声データを文字データに変換し、該文字データを前記所定の記憶媒体に記憶することを特徴とする請求項8記載のサーバ。
- 音声チャット機能を提供する情報処理装置であって、
複数のユーザによる共有が可能な仮想空間および該仮想空間に配置されたユーザごとのキャラクタを管理するサーバと交信することにより、当該情報処理装置のユーザが前記仮想空間に配置したキャラクタの行動を制御するキャラクタ制御手段と、
当該情報処理装置のユーザが発した音声を表す音声データを取得し、該音声データを含むチャットデータを生成して発信するチャットデータ発信手段と、
前記サーバと交信中の情報処理装置により生成されたチャットデータを取得し、該チャットデータに含まれる音声データを使用して、該チャットデータが生成された情報処理装置のユーザが配置したキャラクタの音声を出力するチャット音声出力手段とを備え、
前記チャット音声出力手段は、当該情報処理装置を使用するユーザが配置したキャラクタおよび/または出力する音声データが取得された情報処理装置のユーザが配置したキャラクタが有する属性および/またはアイテムに基づいて、前記キャラクタの音声を出力することを特徴とする情報処理装置。 - 音声チャット機能を提供するプログラムであって、コンピュータを、
複数のユーザによる共有が可能な仮想空間および該仮想空間に配置されたユーザごとのキャラクタを管理するサーバと交信することにより、前記コンピュータのユーザが前記仮想空間に配置したキャラクタの行動を制御するキャラクタ制御手段、
前記コンピュータのユーザが発した音声を表す第1音声データを取得し、該第1音声データを含むチャットデータを生成して発信するチャットデータ発信手段、および
前記サーバと交信中のコンピュータにより生成されたチャットデータを取得し、該チャットデータに含まれる第1音声データを使用して、該チャットデータが生成されたコンピュータのユーザが配置したキャラクタの音声を出力するチャット音声出力手段として機能させ、
前記チャット音声出力手段は、取得したチャットデータに含まれる第1音声データを、前記仮想空間に配置されたオブジェクトの音声に係る属性に基づいて変換することにより第2音声データを生成し、該第2音声データが表す音声を前記キャラクタの音声として出力することを特徴とするプログラム。 - 音声チャット機能を提供するプログラムであって、コンピュータを、
複数のユーザによる共有が可能な仮想空間および該仮想空間に配置されたユーザごとのキャラクタを管理するサーバと交信することにより、前記コンピュータのユーザが前記仮想空間に配置したキャラクタの行動を制御するキャラクタ制御手段、
前記コンピュータのユーザが発した音声を表す第1音声データを取得し、該第1音声データを含むチャットデータを生成して発信するチャットデータ発信手段、および
前記サーバと交信中のコンピュータにより生成されたチャットデータを取得し、該チャットデータに含まれる第1音声データを使用して、該チャットデータが生成されたコンピュータのユーザが配置したキャラクタの音声を出力するチャット音声出力手段として機能させ、
前記チャット音声出力手段は、取得したチャットデータに含まれる第1音声データを、前記チャットデータが生成されたコンピュータのユーザが配置したキャラクタと当該プログラムが動作するコンピュータのユーザが配置したキャラクタの位置関係の単位時間あたりの変位量に基づいて変換することにより第2音声データを生成し、該第2音声データが表す音声を前記キャラクタの音声として出力することを特徴とするプログラム。 - 音声チャット機能を提供するプログラムであって、コンピュータを、
複数のユーザによる共有が可能な仮想空間および該仮想空間に配置されたユーザごとのキャラクタを管理するサーバと交信することにより、前記コンピュータのユーザが前記仮想空間に配置したキャラクタの行動を制御するキャラクタ制御手段、
前記コンピュータのユーザが発した音声を表す第1音声データを取得し、該第1音声データを含むチャットデータを生成して発信するチャットデータ発信手段、および
前記サーバと交信中のコンピュータにより生成されたチャットデータを取得し、該チャットデータに含まれる第1音声データを使用して、該チャットデータが生成されたコンピュータのユーザが配置したキャラクタの音声を出力するチャット音声出力手段として機能させ、
前記チャットデータ発信手段は、前記ユーザに装着された所定のセンサにより前記ユーザの身体情報を取得して、該身体情報を含むチャットデータを生成して発信し、
前記チャット音声出力手段は、取得したチャットデータに含まれる第1音声データを、該チャットデータに含まれる身体情報に基づいて変換することにより第2音声データを生成し、該第2音声データが表す音声を前記キャラクタの音声として出力することを特徴とするプログラム。 - 音声チャット機能を提供するプログラムであって、コンピュータを、
複数のユーザによる共有が可能な仮想空間および該仮想空間に配置されたユーザごとのキャラクタを管理するサーバと交信することにより、前記コンピュータのユーザが前記仮想空間に配置したキャラクタの行動を制御するキャラクタ制御手段、
前記コンピュータのユーザが発した音声を表す第1音声データを取得し、該第1音声データを含むチャットデータを生成して発信するチャットデータ発信手段、および
前記サーバと交信中のコンピュータにより生成されたチャットデータを取得し、該チャットデータに含まれる第1音声データを使用して、該チャットデータが生成されたコンピュータのユーザが配置したキャラクタの音声を出力するチャット音声出力手段として機能させ、
前記チャット音声出力手段は、前記仮想空間を演出するための効果音を表す効果音データを取得し、前記第1音声データと前記効果音データを合成することにより第2音声データを生成し、該第2音声データが表す音声を前記キャラクタの音声として出力することを特徴とするプログラム。 - 請求項11から14のいずれかに記載されたプログラムであって、
前記チャット音声出力手段は、前記音声を出力する音声出力装置と当該プログラムが動作するコンピュータのユーザの位置関係に基づいて、音声出力装置ごとに前記第2音声データを生成することを特徴とするプログラム。 - 音声チャット機能を提供するプログラムであって、コンピュータを、
複数のユーザによる共有が可能な仮想空間および該仮想空間に配置されたユーザごとのキャラクタを管理するサーバと交信することにより、前記コンピュータのユーザが前記仮想空間に配置したキャラクタの行動を制御するキャラクタ制御手段、
前記コンピュータのユーザが発した音声を表す第1音声データを取得し、該第1音声データを含むチャットデータを生成して発信するチャットデータ発信手段、および
前記サーバと交信中のコンピュータにより生成されたチャットデータを取得し、該チャットデータに含まれる第1音声データを使用して、該チャットデータが生成されたコンピュータのユーザが配置したキャラクタの音声を出力するチャット音声出力手段として機能させ、
前記チャット音声出力手段は、前記各コンピュータにより生成された直後のチャットデータを取得して前記キャラクタの音声を出力する機能と、各コンピュータにより生成され前記サーバに蓄積保存されたチャットデータを取得して前記キャラクタの音声を再生する機能とを提供することを特徴とするプログラム。 - 前記チャット音声出力手段は、前記音声データが取得された速度と異なる速度で前記キャラクタの音声を再生できることを特徴とする請求項16記載のプログラム。
- 音声チャット機能を提供するサーバ用のプログラムであって、コンピュータを、
複数のユーザによる共有が可能な仮想空間を提供するとともに、前記仮想空間に前記各ユーザが配置したキャラクタの行動を、前記各ユーザの情報処理装置と交信することにより制御するキャラクタ制御手段、
前記各ユーザの情報処理装置から、前記各ユーザが発した音声を表す音声データを含むチャットデータを受信して、該チャットデータを所定の記憶媒体に記憶するとともに交信中の複数の情報処理装置に対し配信するチャットデータ配信手段、および
前記記憶媒体に記憶されたチャットデータの中から前記ユーザが要求するチャットデータを検索し、該ユーザの情報処理装置に送信するチャットデータ検索手段として機能させることにより、前記情報処理装置によるチャット音声の再生を可能にしたことを特徴とするサーバ用のプログラム。 - 前記チャットデータ配信手段は、前記チャットデータに含まれる前記音声データを文字データに変換し、該文字データを前記所定の記憶媒体に記憶することを特徴とする請求項18記載のプログラム。
- 音声チャット機能を提供するプログラムであって、コンピュータを、
複数のユーザによる共有が可能な仮想空間および該仮想空間に配置されたユーザごとのキャラクタを管理するサーバと交信することにより、前記コンピュータのユーザが前記仮想空間に配置したキャラクタの行動を制御するキャラクタ制御手段、
前記コンピュータのユーザが発した音声を表す音声データを取得し、該音声データを含むチャットデータを生成して発信するチャットデータ発信手段、および前記サーバと交信中のコンピュータにより生成されたチャットデータを取得し、該チャットデータに含まれる音声データを使用して、該チャットデータが生成されたコンピュータのユーザが配置したキャラクタの音声を出力するチャット音声出力手段として機能させ、
前記チャット音声出力手段は、当該プログラムが動作するコンピュータを使用するユーザが配置したキャラクタおよび/または出力する音声データが取得されたコンピュータのユーザが配置したキャラクタが有する属性および/またはアイテムに基づいて、前記キャラクタの音声を出力することを特徴とするプログラム。 - 請求項11から20までのいずれかに記載されたプログラムが記録されたコンピュータ読み取り可能な記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003061544A JP2004267433A (ja) | 2003-03-07 | 2003-03-07 | 音声チャット機能を提供する情報処理装置、サーバおよびプログラム並びに記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003061544A JP2004267433A (ja) | 2003-03-07 | 2003-03-07 | 音声チャット機能を提供する情報処理装置、サーバおよびプログラム並びに記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004267433A true JP2004267433A (ja) | 2004-09-30 |
Family
ID=33123735
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003061544A Pending JP2004267433A (ja) | 2003-03-07 | 2003-03-07 | 音声チャット機能を提供する情報処理装置、サーバおよびプログラム並びに記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004267433A (ja) |
Cited By (40)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2006132276A1 (ja) * | 2005-06-08 | 2006-12-14 | Konami Digital Entertainment Co., Ltd. | ユーザ音声合成装置、仮想空間共有システム、コンピュータの制御方法及び情報記憶媒体 |
| JP2007094001A (ja) * | 2005-09-29 | 2007-04-12 | Konami Digital Entertainment:Kk | 音声情報処理装置、音声情報処理方法、ならびに、プログラム |
| WO2007105689A1 (ja) * | 2006-03-13 | 2007-09-20 | Konami Digital Entertainment Co., Ltd. | ゲーム音出力装置、ゲーム音制御方法、情報記録媒体、および、プログラム |
| JP2008065675A (ja) * | 2006-09-08 | 2008-03-21 | Ritsumeikan | 複合現実感システムとそのイベント入力方法及びヘッドマウントディスプレイ |
| WO2008047621A1 (fr) * | 2006-10-18 | 2008-04-24 | Konami Digital Entertainment Co., Ltd. | Dispositif de jeu, procédé d'affichage de messages, support d'enregistrement d'informations, et programme |
| JP2008287210A (ja) * | 2007-04-16 | 2008-11-27 | Sony Corp | 音声チャットシステム、情報処理装置、音声認識方法およびプログラム |
| JP2009122776A (ja) * | 2007-11-12 | 2009-06-04 | Internatl Business Mach Corp <Ibm> | 仮想世界における情報制御方法および装置 |
| KR100903500B1 (ko) | 2005-03-04 | 2009-06-18 | 가부시키가이샤 코나미 데지타루 엔타테인멘토 | 음성출력장치, 음성출력방법 및 프로그램을 기록한 컴퓨터 판독 가능한 정보기록매체 |
| JP2009199198A (ja) * | 2008-02-20 | 2009-09-03 | Nomura Research Institute Ltd | 仮想空間提供サーバ、仮想空間提供方法及びコンピュータプログラム |
| JP2010005133A (ja) * | 2008-06-26 | 2010-01-14 | Taito Corp | ゲーム装置、ゲームプログラム |
| JP2010035908A (ja) * | 2008-08-07 | 2010-02-18 | Namco Bandai Games Inc | プログラム、情報記憶媒体及びゲーム装置 |
| JP2010509810A (ja) * | 2006-11-08 | 2010-03-25 | ドルビー・ラボラトリーズ・ライセンシング・コーポレーション | オーディオシーン作成用装置および方法 |
| JP2010110622A (ja) * | 2008-10-08 | 2010-05-20 | Copcom Co Ltd | ゲームプログラム、記憶媒体、コンピュータおよびゲームシステム |
| JP2010134037A (ja) * | 2008-12-02 | 2010-06-17 | Taito Corp | 電子機器 |
| JP2011510409A (ja) * | 2008-01-17 | 2011-03-31 | ヴィヴォックス インコーポレイテッド | アバタ別にレンダリングされる環境を用いる仮想現実システムにおいてリアルタイムのアバタ別のストリーミングデータを提供するスケーラブルな技法 |
| US8156184B2 (en) | 2008-02-20 | 2012-04-10 | International Business Machines Corporation | Dialog server for handling conversation in virtual space method and computer program for having conversation in virtual space |
| JP2012081063A (ja) * | 2010-10-12 | 2012-04-26 | Rohm Co Ltd | ゲームシステム、プログラム、及び、情報記憶媒体 |
| US8234342B2 (en) | 2006-01-31 | 2012-07-31 | Konami Digital Entertainment Co., Ltd. | Chat system, chat device and control method of chat server, and information storage medium for advancing an end timing of a message reception stopping period |
| US8620658B2 (en) | 2007-04-16 | 2013-12-31 | Sony Corporation | Voice chat system, information processing apparatus, speech recognition method, keyword data electrode detection method, and program for speech recognition |
| JP2014094160A (ja) * | 2012-11-09 | 2014-05-22 | Nintendo Co Ltd | ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム |
| JP2015023534A (ja) * | 2013-07-23 | 2015-02-02 | 富士通株式会社 | 情報提供装置、情報提供システム、及び情報提供プログラム |
| JP2017176728A (ja) * | 2016-03-31 | 2017-10-05 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
| JP2018114241A (ja) * | 2017-01-20 | 2018-07-26 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置およびゲーム画音生成方法 |
| JP2018139115A (ja) * | 2018-03-20 | 2018-09-06 | 株式会社 ディー・エヌ・エー | 音声チャットを可能とするシステム、方法及びプログラム |
| JP2019054838A (ja) * | 2017-09-19 | 2019-04-11 | ヤフー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
| CN110215692A (zh) * | 2019-07-10 | 2019-09-10 | 网易(杭州)网络有限公司 | 游戏中语音信息的处理方法、装置、存储介质和电子装置 |
| US10469422B2 (en) | 2014-07-01 | 2019-11-05 | DeNA Co., Ltd. | System, method, and program that allow audio chatting |
| CN112612445A (zh) * | 2020-12-28 | 2021-04-06 | 维沃移动通信有限公司 | 音频播放方法和装置 |
| KR20210119589A (ko) * | 2017-02-28 | 2021-10-05 | 매직 립, 인코포레이티드 | 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩 |
| JP2022091892A (ja) * | 2020-12-01 | 2022-06-21 | グリー株式会社 | 情報処理システム、情報処理方法、情報処理プログラム |
| US11445305B2 (en) | 2016-02-04 | 2022-09-13 | Magic Leap, Inc. | Technique for directing audio in augmented reality system |
| KR102458703B1 (ko) * | 2022-05-10 | 2022-10-25 | (주)에어패스 | 음성인식기반의 xr 콘텐츠 또는 메타버스 콘텐츠 서비스에서 이용자간 소통시스템 |
| JP2023063358A (ja) * | 2023-03-07 | 2023-05-09 | 株式会社カプコン | 情報処理システム、情報処理方法およびプログラム ~デジタルツイン環境を支援する技術~ |
| JP2023071712A (ja) * | 2018-05-22 | 2023-05-23 | 株式会社 ディー・エヌ・エー | 動画を配信するためのシステム、方法、及びプログラム |
| WO2024014266A1 (ja) * | 2022-07-13 | 2024-01-18 | ソニーグループ株式会社 | 制御装置、制御方法、情報処理装置、情報処理方法、およびプログラム |
| WO2024084580A1 (ja) * | 2022-10-18 | 2024-04-25 | 日本電信電話株式会社 | 体性感覚制御装置、方法およびプログラム |
| WO2024194946A1 (ja) * | 2023-03-17 | 2024-09-26 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム |
| JP2024133800A (ja) * | 2023-03-20 | 2024-10-03 | 株式会社カプコン | プログラムおよび音響装置 |
| US12175617B2 (en) | 2020-11-27 | 2024-12-24 | Gree, Inc. | Information processing system and method for judging whether to allow a mobile medium to move within a virtual space |
| WO2025100566A1 (ko) * | 2023-11-06 | 2025-05-15 | 주식회사 엔씨소프트 | 가상 아이템을 통해 미디어를 변환하기 위한 전자 장치, 방법, 및 비-일시적 컴퓨터 판독 가능 저장 매체 |
-
2003
- 2003-03-07 JP JP2003061544A patent/JP2004267433A/ja active Pending
Cited By (75)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100903500B1 (ko) | 2005-03-04 | 2009-06-18 | 가부시키가이샤 코나미 데지타루 엔타테인멘토 | 음성출력장치, 음성출력방법 및 프로그램을 기록한 컴퓨터 판독 가능한 정보기록매체 |
| JP2006343447A (ja) * | 2005-06-08 | 2006-12-21 | Konami Digital Entertainment:Kk | 仮想空間共有システム及び仮想空間共有システムの制御方法 |
| US8219388B2 (en) | 2005-06-08 | 2012-07-10 | Konami Digital Entertainment Co., Ltd. | User voice mixing device, virtual space sharing system, computer control method, and information storage medium |
| CN101189048B (zh) * | 2005-06-08 | 2011-05-25 | 科乐美数码娱乐株式会社 | 用户声音合成装置、假想空间共有系统及计算机控制方法 |
| WO2006132276A1 (ja) * | 2005-06-08 | 2006-12-14 | Konami Digital Entertainment Co., Ltd. | ユーザ音声合成装置、仮想空間共有システム、コンピュータの制御方法及び情報記憶媒体 |
| KR100946611B1 (ko) * | 2005-06-08 | 2010-03-09 | 가부시키가이샤 코나미 데지타루 엔타테인멘토 | 사용자 음성 합성 장치, 가상 공간 공유 시스템, 컴퓨터의제어 방법 및 정보 기억 매체 |
| JP2007094001A (ja) * | 2005-09-29 | 2007-04-12 | Konami Digital Entertainment:Kk | 音声情報処理装置、音声情報処理方法、ならびに、プログラム |
| US8234342B2 (en) | 2006-01-31 | 2012-07-31 | Konami Digital Entertainment Co., Ltd. | Chat system, chat device and control method of chat server, and information storage medium for advancing an end timing of a message reception stopping period |
| KR100945130B1 (ko) | 2006-03-13 | 2010-03-02 | 가부시키가이샤 코나미 데지타루 엔타테인멘토 | 게임음 출력장치, 게임음 제어방법 및 프로그램을 기록한 정보기록매체 |
| WO2007105689A1 (ja) * | 2006-03-13 | 2007-09-20 | Konami Digital Entertainment Co., Ltd. | ゲーム音出力装置、ゲーム音制御方法、情報記録媒体、および、プログラム |
| US8221237B2 (en) | 2006-03-13 | 2012-07-17 | Konami Digital Entertainment Co., Ltd. | Game sound output device, game sound control method, information recording medium, and program |
| JP2008065675A (ja) * | 2006-09-08 | 2008-03-21 | Ritsumeikan | 複合現実感システムとそのイベント入力方法及びヘッドマウントディスプレイ |
| US8137191B2 (en) | 2006-10-18 | 2012-03-20 | Konami Digital Entertainment Co., Ltd. | Game device, message display method, information recording medium and program |
| CN101528314A (zh) * | 2006-10-18 | 2009-09-09 | 科乐美数码娱乐株式会社 | 游戏装置、讯息显示方法、信息记录介质及程序 |
| CN101528314B (zh) * | 2006-10-18 | 2015-07-15 | 科乐美数码娱乐株式会社 | 游戏装置以及讯息显示方法 |
| WO2008047621A1 (fr) * | 2006-10-18 | 2008-04-24 | Konami Digital Entertainment Co., Ltd. | Dispositif de jeu, procédé d'affichage de messages, support d'enregistrement d'informations, et programme |
| KR101030508B1 (ko) | 2006-10-18 | 2011-04-25 | 가부시키가이샤 코나미 데지타루 엔타테인멘토 | 게임장치, 메시지 표시방법 및 정보기록매체 |
| RU2495538C2 (ru) * | 2006-11-08 | 2013-10-10 | Долби Лэборетериз Лайсенсинг Корпорейшн | Устройства и способы для использования в создании аудиосцены |
| KR101201695B1 (ko) * | 2006-11-08 | 2012-11-15 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 오디오 장면을 생성하는데 사용하기 위한 장치들 및 방법들 |
| KR101225475B1 (ko) | 2006-11-08 | 2013-01-23 | 돌비 레버러토리즈 라이쎈싱 코오포레이션 | 오디오 장면을 생성하는데 사용하기 위한 장치들 및 방법들 |
| US8403751B2 (en) | 2006-11-08 | 2013-03-26 | Dolby Laboratories Licensing Corporation | Apparatuses and methods for use in creating an audio scene |
| JP2012196465A (ja) * | 2006-11-08 | 2012-10-18 | Dolby Lab Licensing Corp | オーディオシーン作成用装置および方法 |
| RU2449496C2 (ru) * | 2006-11-08 | 2012-04-27 | Долби Лэборетериз Лайсенсинг Корпорейшн | Устройства и способы для использования в создании аудиосцены |
| JP2010509810A (ja) * | 2006-11-08 | 2010-03-25 | ドルビー・ラボラトリーズ・ライセンシング・コーポレーション | オーディオシーン作成用装置および方法 |
| US8620658B2 (en) | 2007-04-16 | 2013-12-31 | Sony Corporation | Voice chat system, information processing apparatus, speech recognition method, keyword data electrode detection method, and program for speech recognition |
| JP2008287210A (ja) * | 2007-04-16 | 2008-11-27 | Sony Corp | 音声チャットシステム、情報処理装置、音声認識方法およびプログラム |
| US20130151627A1 (en) * | 2007-11-12 | 2013-06-13 | International Business Machines Corporation | Method and apparatus for controlling information in virtual world |
| JP2009122776A (ja) * | 2007-11-12 | 2009-06-04 | Internatl Business Mach Corp <Ibm> | 仮想世界における情報制御方法および装置 |
| US8386566B2 (en) | 2007-11-12 | 2013-02-26 | International Business Machines Corporation | Method and apparatus for controlling information in virtual world |
| US9344468B2 (en) * | 2007-11-12 | 2016-05-17 | International Business Machines Corporation | Method and apparatus for controlling information in virtual world |
| JP2011510409A (ja) * | 2008-01-17 | 2011-03-31 | ヴィヴォックス インコーポレイテッド | アバタ別にレンダリングされる環境を用いる仮想現実システムにおいてリアルタイムのアバタ別のストリーミングデータを提供するスケーラブルな技法 |
| JP2013254501A (ja) * | 2008-01-17 | 2013-12-19 | Vivox Inc | アバタ別にレンダリングされる環境を用いる仮想現実システムにおいてリアルタイムのアバタ別のストリーミングデータを提供するスケーラブルな技法 |
| US10001970B2 (en) | 2008-02-20 | 2018-06-19 | Activision Publishing, Inc. | Dialog server for handling conversation in virtual space method and computer program for having conversation in virtual space |
| US8156184B2 (en) | 2008-02-20 | 2012-04-10 | International Business Machines Corporation | Dialog server for handling conversation in virtual space method and computer program for having conversation in virtual space |
| US8554841B2 (en) | 2008-02-20 | 2013-10-08 | Activision Publishing, Inc. | Dialog server for handling conversation in virtual space method and computer program for having conversation in virtual space |
| JP2009199198A (ja) * | 2008-02-20 | 2009-09-03 | Nomura Research Institute Ltd | 仮想空間提供サーバ、仮想空間提供方法及びコンピュータプログラム |
| US9583109B2 (en) | 2008-02-20 | 2017-02-28 | Activision Publishing, Inc. | Dialog server for handling conversation in virtual space method and computer program for having conversation in virtual space |
| JP2010005133A (ja) * | 2008-06-26 | 2010-01-14 | Taito Corp | ゲーム装置、ゲームプログラム |
| JP2010035908A (ja) * | 2008-08-07 | 2010-02-18 | Namco Bandai Games Inc | プログラム、情報記憶媒体及びゲーム装置 |
| JP2010110622A (ja) * | 2008-10-08 | 2010-05-20 | Copcom Co Ltd | ゲームプログラム、記憶媒体、コンピュータおよびゲームシステム |
| JP2010134037A (ja) * | 2008-12-02 | 2010-06-17 | Taito Corp | 電子機器 |
| JP2012081063A (ja) * | 2010-10-12 | 2012-04-26 | Rohm Co Ltd | ゲームシステム、プログラム、及び、情報記憶媒体 |
| JP2014094160A (ja) * | 2012-11-09 | 2014-05-22 | Nintendo Co Ltd | ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム |
| JP2015023534A (ja) * | 2013-07-23 | 2015-02-02 | 富士通株式会社 | 情報提供装置、情報提供システム、及び情報提供プログラム |
| US10469422B2 (en) | 2014-07-01 | 2019-11-05 | DeNA Co., Ltd. | System, method, and program that allow audio chatting |
| US11812222B2 (en) | 2016-02-04 | 2023-11-07 | Magic Leap, Inc. | Technique for directing audio in augmented reality system |
| US11445305B2 (en) | 2016-02-04 | 2022-09-13 | Magic Leap, Inc. | Technique for directing audio in augmented reality system |
| JP2017176728A (ja) * | 2016-03-31 | 2017-10-05 | 株式会社バンダイナムコエンターテインメント | シミュレーションシステム及びプログラム |
| JP2018114241A (ja) * | 2017-01-20 | 2018-07-26 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置およびゲーム画音生成方法 |
| WO2018135393A1 (ja) * | 2017-01-20 | 2018-07-26 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置およびゲーム画音生成方法 |
| KR20220101210A (ko) * | 2017-02-28 | 2022-07-19 | 매직 립, 인코포레이티드 | 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩 |
| US12190016B2 (en) | 2017-02-28 | 2025-01-07 | Magic Leap, Inc. | Virtual and real object recording in mixed reality device |
| KR20210119589A (ko) * | 2017-02-28 | 2021-10-05 | 매직 립, 인코포레이티드 | 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩 |
| KR102419065B1 (ko) * | 2017-02-28 | 2022-07-07 | 매직 립, 인코포레이티드 | 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩 |
| KR102616220B1 (ko) * | 2017-02-28 | 2023-12-20 | 매직 립, 인코포레이티드 | 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩 |
| US11669298B2 (en) | 2017-02-28 | 2023-06-06 | Magic Leap, Inc. | Virtual and real object recording in mixed reality device |
| JP2019054838A (ja) * | 2017-09-19 | 2019-04-11 | ヤフー株式会社 | 情報処理装置、情報処理方法および情報処理プログラム |
| JP2018139115A (ja) * | 2018-03-20 | 2018-09-06 | 株式会社 ディー・エヌ・エー | 音声チャットを可能とするシステム、方法及びプログラム |
| JP2023071712A (ja) * | 2018-05-22 | 2023-05-23 | 株式会社 ディー・エヌ・エー | 動画を配信するためのシステム、方法、及びプログラム |
| CN110215692A (zh) * | 2019-07-10 | 2019-09-10 | 网易(杭州)网络有限公司 | 游戏中语音信息的处理方法、装置、存储介质和电子装置 |
| CN110215692B (zh) * | 2019-07-10 | 2023-02-28 | 网易(杭州)网络有限公司 | 游戏中语音信息的处理方法、装置、存储介质和电子装置 |
| US12175617B2 (en) | 2020-11-27 | 2024-12-24 | Gree, Inc. | Information processing system and method for judging whether to allow a mobile medium to move within a virtual space |
| JP2022091892A (ja) * | 2020-12-01 | 2022-06-21 | グリー株式会社 | 情報処理システム、情報処理方法、情報処理プログラム |
| CN112612445A (zh) * | 2020-12-28 | 2021-04-06 | 维沃移动通信有限公司 | 音频播放方法和装置 |
| KR102458703B1 (ko) * | 2022-05-10 | 2022-10-25 | (주)에어패스 | 음성인식기반의 xr 콘텐츠 또는 메타버스 콘텐츠 서비스에서 이용자간 소통시스템 |
| WO2024014266A1 (ja) * | 2022-07-13 | 2024-01-18 | ソニーグループ株式会社 | 制御装置、制御方法、情報処理装置、情報処理方法、およびプログラム |
| WO2024084580A1 (ja) * | 2022-10-18 | 2024-04-25 | 日本電信電話株式会社 | 体性感覚制御装置、方法およびプログラム |
| JPWO2024084580A1 (ja) * | 2022-10-18 | 2024-04-25 | ||
| JP7819782B2 (ja) | 2022-10-18 | 2026-02-25 | Ntt株式会社 | 体性感覚制御装置、方法およびプログラム |
| JP2023063358A (ja) * | 2023-03-07 | 2023-05-09 | 株式会社カプコン | 情報処理システム、情報処理方法およびプログラム ~デジタルツイン環境を支援する技術~ |
| JP7523614B2 (ja) | 2023-03-07 | 2024-07-26 | 株式会社カプコン | 情報処理システム、情報処理方法およびプログラム ~デジタルツイン環境を支援する技術~ |
| JP2024133237A (ja) * | 2023-03-07 | 2024-10-01 | 株式会社カプコン | 情報処理システム、情報処理方法およびプログラム ~デジタルツイン環境を支援する技術~ |
| WO2024194946A1 (ja) * | 2023-03-17 | 2024-09-26 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム |
| JP2024133800A (ja) * | 2023-03-20 | 2024-10-03 | 株式会社カプコン | プログラムおよび音響装置 |
| WO2025100566A1 (ko) * | 2023-11-06 | 2025-05-15 | 주식회사 엔씨소프트 | 가상 아이템을 통해 미디어를 변환하기 위한 전자 장치, 방법, 및 비-일시적 컴퓨터 판독 가능 저장 매체 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2004267433A (ja) | 音声チャット機能を提供する情報処理装置、サーバおよびプログラム並びに記録媒体 | |
| US9583109B2 (en) | Dialog server for handling conversation in virtual space method and computer program for having conversation in virtual space | |
| JP3949701B1 (ja) | 音声処理装置、音声処理方法、ならびに、プログラム | |
| JP6055657B2 (ja) | ゲームシステム、ゲーム処理制御方法、ゲーム装置、および、ゲームプログラム | |
| JP6515057B2 (ja) | シミュレーションシステム、シミュレーション装置及びプログラム | |
| JP2008539874A (ja) | コンピューターインタラクティブ処理による選択的音源聴取 | |
| KR20100097739A (ko) | 통신 시스템의 적어도 두 사용자들 사이의 통신들을 제어하는 방법 | |
| JP2017184174A (ja) | シミュレーションシステム及びプログラム | |
| US20100125633A1 (en) | On-line conversation system, on-line conversation server, on-line conversation control method, and information storage medium | |
| JP2005322125A (ja) | 情報処理システム、情報処理方法、プログラム | |
| WO2006132276A1 (ja) | ユーザ音声合成装置、仮想空間共有システム、コンピュータの制御方法及び情報記憶媒体 | |
| US20230218998A1 (en) | 3D Spatialisation of Voice Chat | |
| JP7492104B2 (ja) | 音声再生プログラム、音声再生装置、および音声生成方法 | |
| CN110915240B (zh) | 向用户提供交互式音乐创作的方法 | |
| WO2019146309A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
| JP6817282B2 (ja) | 音声生成プログラム、および音声生成装置 | |
| JP2022173870A (ja) | 鑑賞システム、鑑賞装置及びプログラム | |
| US12548545B2 (en) | Audio cancellation system and method | |
| JP2023132236A (ja) | 情報処理装置、音響再生装置、情報処理システムおよび情報処理方法および仮想音源生成装置 | |
| JP7131550B2 (ja) | 情報処理装置および情報処理方法 | |
| JP6817281B2 (ja) | 音声生成プログラム、および音声生成装置 | |
| US20260128030A1 (en) | Audio cancellation system and method | |
| US20250262533A1 (en) | Data processing apparatus and method | |
| JP7572620B2 (ja) | ゲームプログラム、およびゲーム装置 | |
| JP2007029506A (ja) | ゲーム装置、音声データの生成方法及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060301 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070130 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070529 |