JPH11232488A - ３次元仮想空間システム - Google Patents

Abstract

(57)【要約】 【課題】 音の再生と、それに対応させて３次元の文字
列を可視表示する３次元仮想空間システムを提供する。 【解決手段】 仮想的に作られた３次元の仮想空間に提
供する背景音の属性として音源位置情報、音データ、文
字情報を格納し、これらの内、音源位置情報と音データ
に基づいて、仮想空間の音源位置に背景音を再生する。
また、音源位置情報と文字情報に基づいて、上記の文字
情報を３次元の文字列として視覚化処理する。そして、
仮想空間内の音源位置に、視覚化された文字列の可視表
示を行う。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、仮想的に作られた
３次元の空間内で、例えば、３次元画像や音を提供する
３次元仮想空間システムに関するものである。

【０００２】

【従来の技術】従来より、計算機上で実現した３次元仮
想空間の中で、使用者に対して文字情報等を提示する様
々な方式が提案されてきた。例えば、特開平９−１６８
１０は、３次元仮想空間における文字情報の表示方式を
開示しており、また、例えば、特開平８−１０６４３５
は、３次元仮想空間における音声信号の供給方式を提案
するものである。

【０００３】これらの従来技術の内、特開平９−１６８
１０に係るコンピュータシステムは、メモリ内に、ユー
ザに提示すべき文字をテクスチャとして貼り付けるため
の文字用物体を含む物体データを保持し、このメモリと
データのやり取りをするＣＰＵ内には、ユーザの視線を
決定する視線決定部、上記メモリ内の文字用の板状物体
を、この視線決定部で決定された視線ベクトルに基づい
て移動し、物体データを更新する座標変換部、テクスチ
ャを物体データに貼り付けるための貼り付け部、そし
て、３次元画像を生成するレンダリング部が設けられて
いる。このＣＰＵには、ユーザからの指示を受ける入力
装置と、ユーザへ画像を表示するための出力装置が接続
されている。

【０００４】このような構成を有する、特開平９−１６
８１０に係るコンピュータシステムでは、ユーザの視線
方向に対応させて、文字が貼り付けられた３次元の板状
物体の方向を変更することで、３次元仮想空間内の文字
情報の視認性を高めている。

【０００５】一方、特開平８−１０６４３５に係るサイ
バースペースシステムは、３次元の仮想現実空間内の物
体、その物体を説明する音声情報、その音声情報を再生
するために用いる、文字を伴うアイコンを備えており、
ユーザが希望する物体に関してのみ、そのアイコンを選
択することで、その物体に関連する音声情報の再生を行
うことができる。

【０００６】

【発明が解決しようとする課題】しかしながら、上記特
開平９−１６８１０に開示された方法では、３次元仮想
空間内に文字情報を置く場合、２次元の文字を貼り付け
るための３次元の板状物体を必要とすると同時に、テク
スチャを変化させることができない。また、３次元仮想
空間内の音と文字を関連付けることができない、という
問題がある。

【０００７】また、特開平８−１０６４３５に係るシス
テムでは、ユーザに提供されるのは、音の再生に限られ
るため、３次元空間内の音を他の形態、例えば視覚的に
表現することが難しい。

【０００８】すなわち、上記従来の３次元仮想空間に係
るシステムには、３次元仮想空間内に設定された音を、 （１）文字情報として表示できない （２）再生するか、視覚化するかの選択ができない （３）その音量に対応した３次元文字として表示できな
い （４）３次元文字として表示する際、各文字をそれぞれ
の音量に対応した大きさで表示できない （５）３次元文字として表示する際、音源から文字がせ
り出してくるように表現できない （６）その音の長さに対応して変形することができない （７）その音の区分に対応する色や字体で表示できない （８）その音の種類に基づいて、ユーザが設定した文字
列や字体で、３次元仮想空間内に表示できない という問題がある。

【０００９】本発明は、上述の課題に鑑みてなされたも
ので、その目的とするところは、３次元仮想空間内にお
いて、音の再生と、それに対応させて、３次元の文字列
を表示すると同時に、音の各種属性を３次元の文字に反
映させる３次元仮想空間システムを提供することであ
る。また、本発明の目的とするところは、特に聴覚に障
害を持つ人に、容易に背景音情報を伝達することができ
る３次元仮想空間システムを提供することである。

【００１０】

【課題を解決するための手段】上記の目的を達成するた
め、第１の発明は、仮想的に作られた３次元の仮想空間
に３次元画像を提供する３次元仮想空間システムにおい
て、上記仮想空間に提供する背景音の属性として音源位
置情報、音データ、文字情報を格納する手段と、上記音
源位置情報と音データに基づいて、上記仮想空間の音源
位置に上記背景音を再生する手段と、上記音源位置情報
と文字情報に基づいて、この文字情報を３次元の文字列
として視覚化処理する処理手段と、上記視覚化された文
字列を、上記仮想空間内の音源位置に可視表示する表示
手段とを備える３次元仮想空間システムを提供する。

【００１１】第２の発明に係る３次元仮想空間システム
は、第１の発明においてさらに、上記背景音の再生、あ
るいは上記文字列の可視表示のいずれかを選択する手段
を備える。

【００１２】第３の発明に係る３次元仮想空間システム
は、第１の発明において、上記背景音の属性には、さら
にその背景音の音量情報が含まれ、上記処理手段は、上
記視覚化処理の際、この音量情報に基づいて上記文字列
の拡大あるいは縮小を行う。また、第４の発明は、この
第３の発明において、上記音量情報が上記文字列の各文
字に対応しており、上記処理手段は、上記視覚化処理の
際、この対応に基づいて上記各文字の拡大あるいは縮小
を行う３次元仮想空間システムを提供する。

【００１３】第５の発明に係る３次元仮想空間システム
は、第１の発明において、上記処理手段が、上記視覚化
処理の際、上記文字列に所定の視覚効果を奏するための
表示効果情報を生成し、上記表示手段は、この表示効果
情報に従って、上記仮想空間内の音源位置から所定位置
まで、上記文字列を連続的に徐々に拡大して表示する。

【００１４】また、第６の発明に係る３次元仮想空間シ
ステムは、この第５の発明において、上記背景音の属性
には、その背景音の音長情報が含まれ、上記処理手段
は、この音長情報に基づいて上記表示効果情報を生成
し、また、上記表示手段は、上記文字列が、この表示効
果情報の示す音長に合致した奥行きを有するように表示
する。

【００１５】第７の発明に係る３次元仮想空間システム
は、第１の発明において、上記背景音の属性にはさら
に、その背景音の区分が含まれ、上記処理手段は、この
区分に基づいて上記文字列の各文字の色および字体が変
化するよう、この文字列を視覚化する。

【００１６】そして、第８の発明に係る３次元仮想空間
システムは、第１の発明において、上記背景音の属性に
は、その背景音の種類が含まれ、上記処理手段は、この
種類に対応した背景音文字に上記視覚化処理を施す。好
ましくは、この背景音文字は、所定のデータべースに登
録されており、上記処理手段は、このデータベースより
選択された文字列および字体を用いて前記視覚化処理を
行う。

【００１７】

【発明の実施の形態】以下、添付図面を参照して、本発
明に係る実施の形態を詳細に説明する。 実施の形態１．図１は、本発明の実施の形態１に係る３
次元仮想空間システムの構成を示すブロック図である。
同図に示す３次元仮想空間システム１００において、ア
プリケーション部１は、情報の表示を行う仮想空間表示
装置２と、音の再生を行う音再生装置３とからなり、３
次元仮想空間内の情報を利用者に提供する。

【００１８】また、仮想空間管理部４は、３次元仮想空
間のデータをアプリケーション部１へ提供するもので、
３次元仮想空間データの管理および保持を行う３次元仮
想空間データ管理装置５と、３次元仮想空間データ管理
装置５内にある背景音属性データ６に基づいて、アプリ
ケーション部１へ伝達する背景音情報を管理する背景音
管理装置７とからなる。なお、３次元仮想空間データ管
理装置５内の背景音属性データ６は、３次元仮想空間内
で再生等が行われる背景音の属性を記述した属性データ
である。

【００１９】また、図２は、図１の３次元仮想空間デー
タ管理装置５内の背景音属性データ６に記述される属性
の一例を示しており、その属性として、ここでは、背景
音名称、音源位置、音データ、そして、文字情報が記述
されている。

【００２０】以下、本実施の形態に係る３次元仮想空間
システムにおける処理動作について説明する。図３は、
本実施の形態に係る３次元仮想空間システムの処理動作
を示すフローチャートである。同図に示すステップＳ１
０１では、図１の背景音管理装置７が、３次元仮想空間
データ管理装置５から、図２に示す属性を有する背景音
属性データ６を獲得し、そこに記述された背景音の音デ
ータの所在（ここでは、背景音名称「Ｂｏｍｂ」と音デ
ータ「ｂｏｍｂ．ｄａｔａ」）、音源位置（ここでは、
３次元座標「−５０，２００，１５０」）を背景音情報
として、アプリケーション部１内の音再生装置３へ伝達
する。

【００２１】背景音管理装置７は、さらに、この背景音
属性データ６に記述された文字情報「ｂｏｍｂ！」を獲
得し（ステップＳ１０２）、上記の音源位置「−５０，
２００，１５０」に基づいて、その位置に上記の文字情
報を３次元の文字列として表示するための情報を生成す
る（ステップＳ１０３）。そして、背景音管理装置７
は、ステップＳ１０３で生成した情報を、アプリケーシ
ョン部１内の仮想空間表示装置２へ送る（ステップＳ１
０４）。

【００２２】以上の処理が行われると、ステップＳ１０
５で、音再生装置３は、背景音管理装置７より伝達され
た背景音情報をもとに、所定の３次元空間位置において
音の再生を行う。同時に仮想空間表示装置２は、同じく
背景音管理装置７より伝達された表示情報から、上記の
音源位置に３次元の文字列を表示する。

【００２３】図４は、本実施の形態に係る仮想空間表示
装置２に表示される仮想空間の表示例である。同図に示
す画像４１には、図２の属性に従う背景音情報、例え
ば、文字情報が文字列４２として表示されている。

【００２４】以上説明したように、本実施の形態によれ
ば、３次元仮想空間システムに、背景音を３次元文字と
して視覚化するための文字情報を背景音属性データとし
て備えるとともに、この情報に基づいて必要な情報を生
成する背景音管理機構を備えることで、３次元仮想空間
内において、背景音を、音として再生するだけでなく、
３次元文字情報として可視表示でき、特に聴覚に障害を
持つ人に容易に背景音情報を伝達することが可能とな
る。

【００２５】実施の形態２．図５は、本発明の実施の形
態２に係る３次元仮想空間システムの構成を示すブロッ
ク図である。なお、同図において、図１に示す上記実施
の形態１に係る３次元仮想空間システム１００の構成要
素と同じ構成要素には同じ符号を付し、ここでは、それ
らの説明を省略する。

【００２６】図５に示す３次元仮想空間システム２００
において、仮想空間管理部４の背景音管理装置７内に
は、背景音情報の伝達先を仮想空間表示装置２にする
か、あるいは音再生装置３にするかを選択するための再
生・視覚化選択装置８が設けられている。また、３次元
仮想空間データ管理装置５に格納される背景音属性デー
タ６は、背景音の位置情報（音源位置）、音データ、文
字情報を含んでいる。

【００２７】図６は、本実施の形態に係る３次元仮想空
間システムの処理動作を示すフローチャートである。同
図のステップＳ２０１では、アプリケーション部１よ
り、再生・視覚化選択装置８に対して視覚化の指定があ
るか否かを判定する。ここで、視覚化の指定があると判
定された場合、背景音管理装置７は、３次元仮想空間デ
ータ管理装置５の背景音属性データ６内に指定された文
字情報を獲得するが（ステップＳ２０２）、それを音再
生装置３には伝達しない。

【００２８】すなわち、背景音管理装置７は、ステップ
Ｓ２０３で、背景音属性データ６に記述された上記の音
源位置と文字情報に基づいて、３次元の文字表示に必要
な情報を生成する。ここで生成された、３次元の文字表
示に必要な情報は、仮想空間表示装置２に伝達される
（ステップＳ２０４）。そして、仮想空間表示装置２
は、ステップＳ２０７で、上記の情報に基づく３次元の
文字表示を行う。

【００２９】一方、ステップＳ２０１において、アプリ
ケーション部１より、再生・視覚化選択装置８に対して
視覚化が指定されていないと判定された場合、つまり、
音再生が指定されている場合には、背景音管理装置７
は、背景音属性データ６に記述された音データの所在と
音源の位置情報を音再生装置３に伝達し（ステップＳ２
０５）、仮想空間表示装置２へは何も伝達しない。そし
て、ステップＳ２０６では、音再生装置３が、これらの
情報に基づく音再生を行う。

【００３０】以上説明したように、本実施の形態によれ
ば、３次元仮想空間システムに、背景音の再生、あるい
は表示（可視化）のいずれかを選択するための再生・視
覚化選択機構を備え、それをアプリケーション部より指
定できるようにすることで、３次元仮想空間内におい
て、使用者が、背景音を再生するか、あるいは、それを
視覚的に表示するかを任意に選択することが可能とな
る。

【００３１】実施の形態３．図７は、本発明の実施の形
態３に係る３次元仮想空間システムの構成を示すブロッ
ク図である。なお、同図において、図１に示す上記実施
の形態１に係る３次元仮想空間システム１００の構成要
素と同じ構成要素には同じ符号を付し、ここでは、それ
らの説明を省略する。

【００３２】図７に示す３次元仮想空間システム３００
において、仮想空間管理部４の背景音管理装置７内に３
次元文字拡大・縮小装置９が配され、これにより、背景
音属性データ６に記述された音量に基づいて、３次元の
文字を拡大／縮小するための情報を生成する。

【００３３】また、図８は、図７の３次元仮想空間デー
タ管理装置５内の背景音属性データ６に記述される属性
の一例を示しており、その属性として、背景音名称、音
源位置、音データ、文字情報、そして、音量が記述され
ている。

【００３４】そこで、以下、本実施の形態に係る３次元
仮想空間システムの処理動作を説明する。図９は、本実
施の形態に係る３次元仮想空間システムの処理動作を示
すフローチャートである。同図のステップＳ３０１で、
図７の背景音管理装置７は、３次元仮想空間データ管理
装置５から、図８に示す属性を有する背景音属性データ
６を獲得し、音データの所在と音源位置、つまり、背景
音情報としての背景音名称「Ｂｏｍｂ」、音データ「ｂ
ｏｍｂ．ｄａｔａ」、音源位置「−５０，２００，１５
０」を、アプリケーション部１内の音再生装置３に伝達
する（ステップＳ３０２）。

【００３５】次に、背景音管理装置７は、背景音属性デ
ータ６に記述された音源位置「−５０，２００，１５
０」、音量（ここでは「１」）、文字情報「Ｂｏｍｂ
！」を３次元文字拡大・縮小装置９へ伝達する（ステッ
プＳ３０３）。３次元文字拡大・縮小装置９は、これら
の情報を受けて、仮想空間表示装置２が、この音量を反
映した大きさの３次元文字を表示するために必要とする
情報を生成する（ステップＳ３０４）。そして、ここで
生成された情報は、背景音管理装置７から仮想空間表示
装置２へ伝えられる（ステップＳ３０５）。

【００３６】これらの処理の後、ステップＳ３０６で
は、音再生装置３が、背景音管理装置７より伝達された
背景音情報をもとに、所定の３次元空間位置において背
景音の再生を行い、仮想空間表示装置２は、伝えられた
情報から、その音量を反映させた大きさを持つ３次元文
字を音源位置に可視表示する。

【００３７】図１０は、図９に示す処理の結果、仮想空
間表示装置２に表示される画像の例を示す。同図の
（ａ）の画像には、背景音属性データ６に記述された音
量「１」に対応する大きさの文字１０１が表示され、
（ｂ）の画像には、音量「１」に対応する文字よりも大
きい、音量「５」に対応する大きさの文字１０２が表示
されている。

【００３８】以上説明したように、本実施の形態によれ
ば、３次元仮想空間システムにおいて背景音を３次元文
字として視覚化する際、背景音属性データ内に、音量に
対応して文字を拡大／縮小するための音量情報を配する
とともに、この情報に基づいて、３次元文字を拡大／縮
小する３次元文字拡大・縮小機構を備えることで、３次
元仮想空間内で、設定された音に対して、その音量に対
応した大きさの３次元文字を表示することが可能とな
る。

【００３９】実施の形態４．図１１は、本発明の実施の
形態４に係る３次元仮想空間システムの構成を示すブロ
ック図である。なお、同図において、図７に示す上記実
施の形態３に係る３次元仮想空間システム３００の構成
要素と同じ構成要素には同じ符号を付し、ここでは、そ
れらの説明を省略する。

【００４０】図１１において、３次元仮想空間システム
４００は、その背景音管理装置７の３次元文字拡大・縮
小装置９内に文字別音量適用装置１０を備え、この装置
によって、３次元仮想空間データ管理装置５内の背景音
属性データ６に記述された文字別音量に基づいて、３次
元の各文字を拡大／縮小するための情報を生成する。

【００４１】また、図１２は、図１１の背景音属性デー
タ６に記述される属性の一例を示している。同図に示す
ように、本実施の形態では、背景音の属性として、背景
音属性データ６に、背景音名称、音源位置、音データ、
文字情報、そして、文字別音量が記述される。

【００４２】以下、本実施の形態に係る３次元仮想空間
システムの処理動作を説明する。図１３は、本実施の形
態に係る３次元仮想空間システムの処理動作を示すフロ
ーチャートである。同図のステップＳ４０１では、背景
音管理装置７が、３次元仮想空間データ管理装置５か
ら、図８に示す属性を有する背景音属性データ６を獲得
し、その内、音データの所在と音源位置「−５０，２０
０，１５０」を背景音情報として音再生装置３に伝える
（ステップＳ４０２）。

【００４３】次に、背景音管理装置７は、背景音属性デ
ータ６に記述された文字別音量（ここでは「２１１１
２」）、音源位置「−５０，２００，１５０」、文字情
報「Ｂｏｍｂ！」を、３次元文字拡大・縮小装置９へ伝
達する（ステップＳ４０３）。そして、３次元文字拡大
・縮小装置９が、伝達された属性を文字別音量適用装置
１０へ送ると、文字別音量適用装置１０は、仮想空間表
示装置２が、上記の文字別音量を反映した大きさの３次
元文字を表示するのに必要とする情報を生成する（ステ
ップＳ４０４）。

【００４４】文字別音量適用装置１０で生成された情報
は、３次元文字拡大・縮小装置９に返され、３次元文字
拡大・縮小装置９は、その文字別音量を反映した各文字
情報を一つの情報にまとめる（ステップＳ４０５）。こ
こでまとめられた情報は、ステップＳ４０６で、背景音
管理装置７から仮想空間表示装置２へ伝えられる。

【００４５】仮想空間表示装置２は、伝えられた情報を
もとに、文字別の音量を反映させた大きさを持つ３次元
文字を音源位置に可視表示する。また、音再生装置３
は、上記の背景音情報をもとに、所定の３次元空間位置
において音の再生を行う（ステップＳ４０７）。

【００４６】図１４は、図１３に示す処理が行われたと
きに、仮想空間表示装置２に表示される画像の例を示し
ている。同図の（ａ）の画像には、背景音属性データ６
に記述された文字別音量「１１１１１」に対応する、各
々の文字の大きさが等しい文字列１４１が表示され、
（ｂ）の画像には、文字別音量「５３３３５」に対応し
て、その両端の文字が、それらの中間に位置する文字よ
りも大きくなっている表示文字列１４２が示されてい
る。

【００４７】以上説明したように、本実施の形態によれ
ば、３次元仮想空間システムにおいて、背景音を３次元
文字として視覚化する際、背景音属性データ内に文字別
音量情報を配して、各文字毎に、音量に対応させてその
大きさを拡大／縮小し、また、この情報に基づいて、３
次元の各文字を拡大／縮小するための文字別音量適用機
構を備えることで、３次元仮想空間内で、設定された音
に対して、文字列の各文字を、それぞれの音量に対応し
た大きさで３次元表示することが可能となる。

【００４８】実施の形態５．図１５は、本発明の実施の
形態５に係る３次元仮想空間システムの構成を示すブロ
ック図である。なお、同図において、図１に示す上記実
施の形態１に係る３次元仮想空間システム１００の構成
要素と同一構成要素には同一符号を付し、ここでは、そ
れらの説明を省略する。

【００４９】図１５に示す３次元仮想空間システム５０
０には、仮想空間管理部４の背景音管理装置７内に表示
効果適用装置１１が配されている。この表示効果適用装
置１１は、背景音属性データ６に記述された文字を、３
次元の文字として表示するのに必要な情報を生成する。
ここでは、後述するように、３次元文字が音源位置から
特定の距離だけ離れた地点まで、連続して徐々に大きく
なるよう表示されるよう、その情報が生成される。

【００５０】図１６は、図１５の３次元仮想空間データ
管理装置５内の背景音属性データ６に記述される属性の
一例を示しており、ここには、その属性として、背景音
名称、音源位置、音データ、そして、文字情報が記述さ
れている。

【００５１】以下、本実施の形態に係る３次元仮想空間
システムの動作を簡単に説明する。背景音管理装置７
は、３次元仮想空間データ管理装置５から、上記の背景
音属性データ６を獲得し、その中から、音データの所在
と音源位置を音再生装置３に伝達する。また同時に、背
景音管理装置７は、背景音属性データ６に記述された音
源位置、文字情報を表示効果適用装置１１に伝える。

【００５２】表示効果適用装置１１は、これらの情報を
受けて、３次元文字が、音源の位置から特定の距離離れ
た地点まで、その大きさが連続して徐々に大きくなるよ
う表示されるために必要な情報を生成する。そして、背
景音管理装置７は、表示効果適用装置１１が生成した情
報を、３次元文字情報とともに仮想空間表示装置２へ伝
える。

【００５３】その結果、音再生装置３は、背景音管理装
置７より伝達された背景音情報をもとに、所定の３次元
空間位置において音の再生を行い、仮想空間表示装置２
は、同じく背景音管理装置７より伝達された表示情報か
ら、上記の音源位置に３次元文字を表示する。

【００５４】図１７に、本実施の形態に係る仮想空間表
示装置２に表示される画像の一例を示す。同図に示すよ
うに、ここでは、３次元文字（ここでは「Ｉ」）１７１
が、音源位置から特定の距離だけ離れた地点まで、連続
して徐々に大きくなるよう表示される。

【００５５】以上説明したように、本実施の形態によれ
ば、３次元仮想空間システムにおいて、背景音を３次元
文字として視覚化する際、その３次元文字が、音源位置
から特定の距離だけ離れた地点まで、徐々に連続して大
きくなるような表示効果を奏する表示効果適用機構を備
えることで、３次元仮想空間内で、例えば、３次元文字
が音源からせり出して来るような可視表示が可能とな
る。

【００５６】実施の形態６．図１８は、本発明の実施の
形態６に係る３次元仮想空間システムの構成を示すブロ
ック図である。なお、同図において、図１５に示す上記
実施の形態５に係る３次元仮想空間システム５００の構
成要素と同一構成要素には同一符号を付し、ここでは、
それらの説明を省略する。

【００５７】図１８に示す３次元仮想空間システム６０
０において、背景音管理装置７の表示効果適用装置１１
内には、３次元仮想空間データ管理装置５内の背景音属
性データ６に記述された音長（これについては、後述す
る）を、３次元文字の表示効果に適用するための音長適
用装置１２が設けられている。

【００５８】図１９は、図１８の３次元仮想空間データ
管理装置５内の背景音属性データ６に記述される属性の
一例を示す。ここには、その属性として、背景音名称、
音源位置、音データ、文字情報、そして、音長が記述さ
れている。

【００５９】以下、本実施の形態に係る３次元仮想空間
システムの処理動作を説明する。図２０は、本実施の形
態に係る３次元仮想空間システムの処理動作を示すフロ
ーチャートである。同図のステップＳ６０１で、背景音
管理装置７は、３次元仮想空間データ管理装置５より背
景音属性データ６を獲得し、ステップＳ６０２で、背景
音情報としての音データの所在と音源位置を音再生装置
３に伝達する。さらに、背景音管理装置７は、背景音属
性データ６に記述された音源位置、文字情報、および音
長を表示効果適用装置１１に伝える（ステップＳ６０
３）。

【００６０】表示効果適用装置１１は、上記の情報をも
とに、３次元文字が、音源の位置から特定の距離だけ離
れた地点まで、その大きさが連続して徐々に大きくなる
ように表示するのに必要となる情報を生成する。そし
て、表示効果適用装置１１は、この生成した情報と音長
を、音長適用装置１２に送る（ステップＳ６０４）。

【００６１】音長適用装置１２は、受け取った情報と音
長をもとに、３次元文字の奥行きを、この音長に合わせ
て伸縮し、表示するために必要な情報を生成する（ステ
ップＳ６０５）。そして、背景音管理装置７は、３次元
文字情報とともに、表示効果適用装置１１および音長適
用装置１２が生成した情報を、アプリケーション部１の
仮想空間表示装置２へ伝達する（ステップＳ６０６）。

【００６２】以上の処理の結果、音再生装置３は、上記
の背景音情報をもとに、所定の３次元空間位置において
音の再生を行う。また、仮想空間表示装置２は、上記の
音長に合わせて伸縮した３次元文字を音源位置に可視表
示する（ステップＳ６０７）。

【００６３】図２１は、上記の処理の結果を受けて、仮
想空間表示装置２が表示する画像の例を示す。同図の
（ａ）の画像には、背景音属性データ６に記述された音
長「５」に対応する長さの文字が表示され、（ｂ）の画
像には、それよりも長い、音長「１５」に対応する長さ
の文字が表示される。

【００６４】以上説明したように、本実施の形態によれ
ば、音長情報に基づいて表示効果を奏する情報を生成
し、この情報の示す音長に合致した奥行きを有するよう
に文字列を表示することで、３次元仮想空間内で、音を
その音の長さに対応して変形させて、可視表示すること
が可能となる。

【００６５】実施の形態７．図２２は、本発明の実施の
形態７に係る３次元仮想空間システムの構成を示すブロ
ック図である。なお、同図において、図１に示す上記実
施の形態１に係る３次元仮想空間システム１００の構成
要素と同一構成要素には同一符号を付し、ここでは、そ
れらの説明を省略する。

【００６６】図２２に示す３次元仮想空間システム７０
０において、背景音管理装置７は、音区分適用装置１３
を有し、その内部には、音区分データ１４が配されてい
る。この音区分適用装置１３は、背景音属性データ６に
記述された、後述する音区分に基づいて、３次元文字の
色や字体を変化させる装置であり、音区分データ１４
は、音区分と、文字の色や字体との対応を記述したデー
タである。

【００６７】図２３は、図２２の３次元仮想空間データ
管理装置５内の背景音属性データ６に記述される属性の
一例を示す。ここには、その属性として、背景音名称、
音源位置、音データ、文字情報、そして、音区分が記述
されている。

【００６８】以下、本実施の形態に係る３次元仮想空間
システムの処理動作を説明する。図２４は、本実施の形
態に係る３次元仮想空間システムの処理動作を示すフロ
ーチャートである。同図のステップＳ７０１では、背景
音管理装置７が、３次元仮想空間データ管理装置５内の
背景音属性データ６を獲得し、ステップＳ７０２で、音
データの所在と音源位置を、背景音情報として音再生装
置３へ伝達する。

【００６９】背景音管理装置７は、上記の情報をもと
に、３次元文字を表示するために必要な情報を生成し
（ステップＳ７０３）、その後、背景音属性データ６に
記述された音区分を、音区分適用装置１３に送る（ステ
ップＳ７０４）。この音区分適用装置１３は、送られて
きた音区分に従って、音区分データ１４より、適用する
文字色と字体を選択する。そして、音区分適用装置１３
は、これら選択した色と字体で３次元文字を表示するの
に必要な情報を生成する（ステップＳ７０５）。

【００７０】次に、背景音管理装置７は、音区分適用装
置１３が生成した情報を、３次元文字情報とともに仮想
空間表示装置２へ送る（ステップＳ７０６）。以上の処
理の結果、音再生装置３は、上記の背景音情報をもとに
３次元空間位置において音再生を行い、仮想空間表示装
置２は、上記の生成情報と３次元文字情報に基づく３次
元文字を音源位置に可視表示する（ステップＳ７０
７）。

【００７１】図２５は、上記の処理の結果、仮想空間表
示装置２によって表示される画像の例を示す。同図の
（ａ）の画像において、背景音属性データ６に記述され
た音データや音区分等に対応した文字２５１が、所定の
位置に表示され、また、（ｂ）の画像には、他の音区分
等に対応する文字２５２が表示される。

【００７２】以上説明したように、本実施の形態によれ
ば、３次元仮想空間システムで背景音を３次元文字とし
て視覚化する際、背景音属性データ内に格納された、そ
の背景音の属する区分に基づいて、３次元文字の色や字
体を変更し、この情報に基づいて必要な情報の生成や変
形を行う音区分適用機構を備えることで、３次元仮想空
間内において、その音の区分に対応する色や字体で３次
元文字を可視表示することが可能となる。

【００７３】実施の形態８．図２６は、本発明の実施の
形態８に係る３次元仮想空間システムの構成を示すブロ
ック図である。なお、同図において、図１に示す上記実
施の形態１に係る３次元仮想空間システム１００の構成
要素と同一構成要素には同一符号を付し、ここでは、そ
れらの説明を省略する。

【００７４】図２６に示す３次元仮想空間システム８０
０において、背景音管理装置７は、背景音属性データ６
に記述された、後述する背景音種類に対応して表示する
文字列を選択する背景音文字選択装置１５と、背景音種
類に対応して使用する背景音文字を保持する背景音デー
タベース１６を備える。また、アプリケーション部１
は、仮想空間表示装置２と音再生装置３に加えて、この
アプリケーション部１が背景音管理装置７に登録する背
景音文字データを有する。

【００７５】図２７は、背景音属性データ６に記述され
る属性の一例を示し、ここでは、その属性として、背景
音名称、音源位置、音データ、文字情報、そして、背景
音種類が記述されている。また、図２８は、背景音文字
データ１７として、背景音文字データベース１６に保持
されるデータの一例を示す。

【００７６】なお、アプリケーション部１には、背景音
文字の種類に対応して、所望の表示を行うための文字列
や字体を背景音文字データ１７として保持し、それを背
景音文字データベース１６に登録しておく。

【００７７】以下、本実施の形態に係る３次元仮想空間
システムにおける処理動作について説明する。図２９
は、本実施の形態に係る３次元仮想空間システムの処理
動作を示すフローチャートである。同図に示すステップ
Ｓ８０１では、背景音管理装置７が、３次元仮想空間デ
ータ管理装置５の背景音属性データ６を獲得し、ステッ
プＳ８０２で、そのデータの内、音データの所在と音源
位置を、背景音情報として音再生装置３に伝達する。

【００７８】背景音管理装置７は、文字情報と音源情報
をもとに、３次元文字を表示するために必要な情報を生
成し（ステップＳ８０３）、背景音属性データ６に記述
された背景音種類を背景音文字選択装置１５に伝達する
（ステップＳ８０４）。この伝達を受けた背景音文字選
択装置１５は、背景音文字データベース１６より、指定
された背景音種類に相当するデータを検索する（ステッ
プＳ８０５）。

【００７９】上記のステップＳ８０５の検索で、相当す
るデータが見つからないと判定された場合は（ステップ
Ｓ８０６で「ｎｏ」）、背景音管理装置７によって生成
された３次元文字情報が、そのまま背景音管理装置７に
伝えられ、それが、仮想空間表示装置２に送られる（ス
テップＳ８０８）。

【００８０】しかし、相当するデータが背景音文字デー
タベース１６から見つかった場合には（ステップＳ８０
６で「ｙｅｓ」）、背景音管理装置７は、その見つかっ
た文字列と字体を獲得し、これら文字列と字体を用い
て、３次元文字の可視表示に必要な情報を生成する（ス
テップＳ８０７）。その後、背景音管理装置７は、生成
された３次元文字情報を仮想空間表示装置２に伝える
（ステップＳ８０８）。

【００８１】以上の処理が行われると、ステップＳ８０
９で、音再生装置３は、背景音管理装置７より伝達され
た背景音情報をもとに、所定の３次元空間位置において
音再生を行う。同時に仮想空間表示装置２は、背景音管
理装置７によって生成された３次元文字情報に基づく表
示を行うか、あるいは、背景音管理装置７が上記データ
ベースより検索した文字列と字体を用いて作成し、伝達
した表示情報をもとに、上記の音源位置に３次元文字を
可視表示する。

【００８２】図３０は、本実施の形態に係る仮想空間表
示装置２に表示される画像の一例を示す。同図に示すよ
うに、本実施の形態では、図２７の背景音属性データの
記述に基づいて、図２８に示す背景音文字データの示す
文字が表示される。具体的には、背景音属性データとし
て記述された背景音種類に対応する背景音文字データに
従って、同一画面中に、２種類の３次元文字３０１，３
０２が、それぞれ指定された音源位置に表示される。

【００８３】以上説明したように、本実施の形態によれ
ば、３次元仮想空間システムで背景音を３次元文字とし
て視覚化する際、その背景音を一意に示す情報に基づい
て、アプリケーションより指定された文字を３次元文字
として表示する目的で、背景音属性データ中に音の種類
情報を配し、この情報に基づいて必要な情報を生成する
背景音文字選択機構を備えることで、３次元仮想空間内
に、その音の種類に基づいて、使用者により設定された
文字列、字体で３次元文字を可視表示することが可能と
なる。

【００８４】

【発明の効果】以上説明したように、第１の発明によれ
ば、仮想空間に提供する背景音の属性として音源位置情
報、音データ、文字情報を格納する手段と、音源位置情
報と音データに基づいて、この仮想空間の音源位置に上
記背景音を再生する手段と、上記音源位置情報と文字情
報に基づいて、この文字情報を３次元の文字列として視
覚化処理する処理手段と、上記視覚化された文字列を、
上記仮想空間内の音源位置に可視表示する表示手段とを
備えることで、３次元仮想空間内において、背景音を音
として再生するだけでなく、その音源位置に３次元の文
字列として可視的に表示でき、特に聴覚に障害を持つ人
に容易に背景音情報を伝達することが可能となる。

【００８５】第２の発明によれば、背景音の再生、ある
いは上記文字列の可視表示のいずれかを選択する手段を
備えることで、使用者が３次元仮想空間内で、背景音を
再生するか、それを視覚的に表示するかの選択が可能と
なる。

【００８６】第３の発明によれば、背景音の属性に、そ
の背景音の音量情報を含め、上記処理手段が、上記視覚
化処理の際に、この音量情報に基づいて上記文字列の拡
大あるいは縮小を行うことで、３次元仮想空間内で、音
をその音量に対応した大きさの３次元文字として可視表
示することが可能となる。

【００８７】また、第４の発明によれば、音量情報を上
記文字列の各文字に対応させ、上記処理手段が、上記視
覚化処理の際に、この対応に基づいて上記各文字の拡大
あるいは縮小を行うことで、３次元仮想空間内におい
て、音を３次元の文字列として表示する際、その文字列
の各文字を、それぞれの音量に対応した大きさで可視表
示することができる。

【００８８】第５の発明によれば、上記処理手段が、上
記視覚化処理の際に、上記文字列に所定の視覚効果を奏
するための表示効果情報を生成し、上記表示手段が、こ
の表示効果情報に従って、上記仮想空間内の音源位置か
ら所定位置まで、上記文字列を連続的に徐々に拡大して
表示することで、３次元仮想空間内において、音を３次
元文字として表示する際、その音源から文字が飛び出す
ように可視表現できる。

【００８９】第６の発明によれば、背景音の属性に、そ
の背景音の音長情報を含め、上記処理手段が、この音長
情報に基づいて上記表示効果情報を生成し、また、上記
表示手段が、この表示効果情報の示す音長に合致した奥
行きを有するように上記文字列を表示することで、３次
元仮想空間内で、音をその音の長さに対応して変形させ
て、可視表示することが可能となる。

【００９０】第７の発明によれば、背景音の属性に、そ
の背景音の区分を含め、上記処理手段が、この区分に基
づいて上記文字列の各文字の色および字体が変化するよ
う、この文字列を視覚化することで、３次元仮想空間内
で、再生しようとする音の区分に対応する色や字体で、
３次元文字を可視表示することができる。

【００９１】そして、第８の発明によれば、背景音の属
性に、その背景音の種類を含め、上記処理手段が、この
種類に対応した背景音文字に上記視覚化処理を施すこと
で、３次元仮想空間内において、その音の種類に基づい
て、使用者が設定した文字列、字体で、３次元文字を可
視表示することが可能となる。また、この背景音文字
を、所定のデータべースに登録することで、上記処理手
段は、表示する文字列および字体をデータベースより容
易に選択できる。

【図面の簡単な説明】

【図１】 本発明の実施の形態１に係る３次元仮想空間
システムの構成を示すブロック図である。

【図２】 本発明の実施の形態１に係る背景音属性デー
タに記述される属性の一例を示す図である。

【図３】 本発明の実施の形態１に係る３次元仮想空間
システムの処理動作を示すフローチャートである。

【図４】 本発明の実施の形態１に係る仮想空間の表示
例を示す図である。

【図５】 本発明の実施の形態２に係る３次元仮想空間
システムの構成を示すブロック図である。

【図６】 本発明の実施の形態２に係る３次元仮想空間
システムの処理動作を示すフローチャートである。

【図７】 本発明の実施の形態３に係る３次元仮想空間
システムの構成を示すブロック図である。

【図８】 本発明の実施の形態３に係る背景音属性デー
タに記述される属性の一例を示す図である。

【図９】 本発明の実施の形態３に係る３次元仮想空間
システムの処理動作を示すフローチャートである。

【図１０】 本発明の実施の形態３に係る仮想空間の表
示例を示す図である。

【図１１】 本発明の実施の形態４に係る３次元仮想空
間システムの構成を示すブロック図である。

【図１２】 本発明の実施の形態４に係る背景音属性デ
ータに記述される属性の一例を示す図である。

【図１３】 本発明の実施の形態４に係る３次元仮想空
間システムの処理動作を示すフローチャートである。

【図１４】 本発明の実施の形態４に係る仮想空間の表
示例を示す図である。

【図１５】 本発明の実施の形態５に係る３次元仮想空
間システムの構成を示すブロック図である。

【図１６】 本発明の実施の形態５に係る背景音属性デ
ータに記述される属性の一例を示す図である。

【図１７】 本発明の実施の形態５に係る仮想空間の表
示例を示す図である。

【図１８】 本発明の実施の形態６に係る３次元仮想空
間システムの構成を示すブロック図である。

【図１９】 本発明の実施の形態６に係る背景音属性デ
ータの一例を示す図である。

【図２０】 本発明の実施の形態６に係る３次元仮想空
間システムの処理動作を示すフローチャートである。

【図２１】 本発明の実施の形態６における仮想空間の
表示例を示す図である。

【図２２】 本発明の実施の形態７に係る３次元仮想空
間システムの構成を示すブロック図である。

【図２３】 本発明の実施の形態７に係る背景音属性デ
ータに記述される属性を示す図である。

【図２４】 本発明の実施の形態７に係る３次元仮想空
間システムの処理動作を示すフローチャートである。

【図２５】 本発明の実施の形態７に係る仮想空間の表
示例を示す図である。

【図２６】 本発明の実施の形態８に係る３次元仮想空
間システムの構成をを示すブロック図である。

【図２７】 本発明の実施の形態８に係る背景音属性デ
ータに記述される属性を示す図である。

【図２８】 本発明の実施の形態８に係る背景音文字デ
ータベースに保持されるデータの一例を示す図である。

【図２９】 本発明の実施の形態８に係る３次元仮想空
間システムの処理動作を示すフローチャートである。

【図３０】 本発明の実施の形態８に係る仮想空間の表
示例を示す図である。

【符号の説明】

１…アプリケーション部、２…仮想空間表示装置、３…
音再生装置、４…仮想空間管理部、５…３次元仮想空間
データ管理装置、６…背景音属性データ、７…背景音管
理装置、８…再生・視覚化選択装置、９…３次元文字拡
大・縮小装置、１０…文字別音量適用装置、１１…表示
効果適用装置、１２…音長適用装置、１３…音区分適用
装置、１４…音区分データ、１５…背景音文字選択装
置、１６…背景音データベース、１７…背景音文字デー
タ、１００，２００，３００，４００．５００，６０
０，７００，８００…３次元仮想空間システム

Claims (9)

【特許請求の範囲】
1. 【請求項１】 仮想的に作られた３次元の仮想空間に３
   次元画像を提供する３次元仮想空間システムにおいて、 前記仮想空間に提供する背景音の属性として音源位置情
   報、音データ、文字情報を格納する手段と、 前記音源位置情報と音データに基づいて、前記仮想空間
   の音源位置に前記背景音を再生する手段と、 前記音源位置情報と文字情報に基づいて、この文字情報
   を３次元の文字列として視覚化処理する処理手段と、 前記視覚化された文字列を、前記仮想空間内の音源位置
   に可視表示する表示手段とを備えることを特徴とする３
   次元仮想空間システム。
2. 【請求項２】 さらに、前記背景音の再生、あるいは前
   記文字列の可視表示のいずれかを選択する手段を備える
   ことを特徴とする請求項１記載の３次元仮想空間システ
   ム。
3. 【請求項３】 前記背景音の属性には、その背景音の音
   量情報が含まれ、前記処理手段は、前記視覚化処理の
   際、この音量情報に基づいて前記文字列の拡大あるいは
   縮小を行うことを特徴とする請求項１記載の３次元仮想
   空間システム。
4. 【請求項４】 前記音量情報は前記文字列の各文字に対
   応しており、前記処理手段は、前記視覚化処理の際、こ
   の対応に基づいて前記各文字の拡大あるいは縮小を行う
   ことを特徴とする請求項３記載の３次元仮想空間システ
   ム。
5. 【請求項５】 前記処理手段は、前記視覚化処理の際、
   前記文字列に所定の視覚効果を奏するための表示効果情
   報を生成し、前記表示手段は、この表示効果情報に従っ
   て、前記仮想空間内の音源位置から所定位置まで、前記
   文字列を連続的に徐々に拡大して表示することを特徴と
   する請求項１記載の３次元仮想空間システム。
6. 【請求項６】 前記背景音の属性には、その背景音の音
   長情報が含まれ、前記処理手段は、この音長情報に基づ
   いて前記表示効果情報を生成し、また、前記表示手段
   は、前記文字列が、この表示効果情報の示す音長に合致
   した奥行きを有するように表示することを特徴とする請
   求項５記載の３次元仮想空間システム。
7. 【請求項７】 前記背景音の属性には、その背景音の区
   分が含まれ、前記処理手段は、この区分に基づいて前記
   文字列の各文字の色および字体が変化するよう、この文
   字列を視覚化することを特徴とする請求項１記載の３次
   元仮想空間システム。
8. 【請求項８】 前記背景音の属性には、その背景音の種
   類が含まれ、前記処理手段は、この種類に対応した背景
   音文字に前記視覚化処理を施すことを特徴とする請求項
   １記載の３次元仮想空間システム。
9. 【請求項９】 前記背景音文字は、所定のデータべース
   に登録されており、前記処理手段は、このデータベース
   より選択された文字列および字体を用いて前記視覚化処
   理を行うことを特徴とする請求項８記載の３次元仮想空
   間システム。