JPH08160960A

JPH08160960A - 音声データ処理装置

Info

Publication number: JPH08160960A
Application number: JP6300031A
Authority: JP
Inventors: Makoto Furuhashi; 真古橋
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1994-12-02
Filing date: 1994-12-02
Publication date: 1996-06-21
Anticipated expiration: 2021-07-05
Also published as: JP3792742B2

Abstract

(57)【要約】【構成】４ビットのＡＤＰＣＭデータをＢＢＲデコー
ダ５３でデコード処理し、ピッチ変換部５４でピッチ変
換され、エンベロープジェネレータ５８でエンベロープ
の変換処理された後に、ボリューム６０Ｌ、６０Ｒで音
量調節されて出力する左右チャンネルの音声出力と、ミ
キシングボリューム６５で音量調節された１６ビットＰ
ＣＭデータとを加算器６２で加算する。さらに、ミキシ
ングボリューム６５からの音声データ、又はこの音声デ
ータと上記ボリューム６０Ｌ、６０Ｒからの音声データ
とを加算器６７で加算した加算出力が、リバーブ処理部
６８でリバーブ処理され、リバーブボリューム６９で音
量調節された音声データと、加算器６２からの音声デー
タと加算する。【効果】音源データと実音声データとを１つの回路内
で容易に混合することができる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、効果音や背景音楽（Ｂ
ＧＭ）等を発生させる際に用いられる音源データの生成
方法、この音源データの情報が記録される記録媒体、及
びこの音源データを用いて音を発生させる音声データ処
理装置に関する。

【０００２】

【従来の技術】従来、電子楽器、ゲーム機、及びパーソ
ナルコンピュータ等の情報処理装置においては、楽音や
効果音等を発生させることが行われている。この楽音や
効果音等を発生させる場合には、例えば方形波、三角
波、正弦波等の信号をそれぞれ分周比及びデューティ比
が異なる複数のプリセット分周器に供給し、各分周器か
ら出力される個々の音源信号いわゆるボイスを所望のレ
ベルで合成するものがある。

【０００３】また、ピアノやドラム等の楽器において
は、音の全発音期間がアタック、ディケイ、サスティン
及びリリースの４区間に分けられて、各区間で信号の振
幅、即ちレベルが特有の変化状態を呈するものがある。
この変化状態に対応するために、各ボイスの信号レベル
が同様に変化するようないわゆるＡＤＳＲ制御が行われ
ている。

【０００４】さらに、電子楽器用には、正弦波信号を低
周波数の正弦波信号で周波数変調（ＦＭ）するいわゆる
ＦＭ音源が知られており、変調度を時間の関数として少
ない音源データによって多種多様の音声信号を発生する
ことができる。尚、効果音の音源として、ノイズが用い
られることもある。また、近年、ゲーム機及びパーソナ
ルコンピュータ等の情報処理装置等においてゲームプロ
グラムを行う場合には、ゲームプログラムの進行あるい
はゲーム機及び情報処理装置の使用者の操作等に応じ
て、発生される効果音や背景音楽（ＢＧＭ）の開始、停
止、及び音量等が、実時間、即ちリアルタイムで変更さ
れる。

【０００５】この効果音やＢＧＭのための音声情報は、
例えばディジタル録音された１６ビットの多様なディジ
タルデータが圧縮されて、４ビットのビット・レート低
減、即ちＢＲＲエンコード処理が施された後にブロック
化された適応差分ＰＣＭいわゆるＡＤＰＣＭデータであ
り、基本波の波形のための音源データである。即ち、ゲ
ーム機及び情報処理装置等においては、指示された音程
等に応じて上記音源データの読み出し周期を可変させて
音程を発生させるいわゆるＰＣＭ音源を備えている。

【０００６】

【発明が解決しようとする課題】ところで、従来のＰＣ
Ｍ音源により合成される音声出力が、例えばゲームプロ
グラム中の効果音用に用いられるときには、ＢＧＭ等の
楽曲に重ね合わせて出力される場合が多い。この場合に
は、この効果音のための音声出力とＢＧＭ等の楽曲のた
めの音声信号とを混合して出力する必要がある。このと
き、上記混合される音声信号として、上記ＰＣＭ音源と
は異なる他の処理回路から出力される音声信号を用いて
いるので、音声出力と音声信号との混合は複雑になって
いる。また、回路構成も大きいものとなっている。

【０００７】そこで、本発明は上述の実情に鑑み、音源
データから合成された音声出力と音声信号とを容易に混
合することができる音声データ処理装置を提供するもの
である。

【０００８】

【課題を解決するための手段】本発明に係る音声データ
処理装置は、４ビットの適応差分ＰＣＭデータから成る
音源データと上記音源データとは異なる１６ビットＰＣ
Ｍデータである実音声データとを格納する格納手段と、
上記格納手段から読み出された音源データをデコード処
理してピッチ変換を行い、信号レベルを制御して音声を
出力する音声出力手段と、上記音声出力手段からの音声
出力に、上記格納手段から読み出した上記実音声データ
を混合する混合手段とを有することにより上述した課題
を解決する。

【０００９】さらに、本発明の音声データ処理装置は、
上記実音声データを上記音声出力手段からの音声出力に
混合する第２の混合手段と、上記第２の混合手段からの
音声データを時間的に前後させて、上記混合手段からの
音声データに混合する反響音声データ混合手段とをも設
けることを特徴とする。

【００１０】

【作用】本発明においては、格納手段に音源データと実
音声データとを格納しており、４ビットの適応差分ＰＣ
Ｍデータである音源データから生成した１６ビットの音
声出力と、この音源データとは異なる実音声データであ
る１６ビットＰＣＭデータとを任意に混合する。

【００１１】また、本発明においては、さらに第２の混
合手段を設け、この第２の混合手段により混合した音声
データを時間的にずらし、混合手段からの音声データに
混合することで反響音声データを生成している。

【００１２】

【実施例】以下、本発明の好ましい実施例について、図
面を参照しながら説明する。図１には、本発明に係る音
声データ処理装置を備える音声出力装置の概略的な構成
を示す。ここで、図１のＣＤ−ＲＯＭドライブ９３は、
ディスク状記録媒体であって、光学的にデータの記録及
び再生を行う場合に用いられる光ディスクの内で、再生
専用型光ディスクであるコンパクトディスクいわゆるＣ
Ｄを読み出し専用メモリとして用いるＣＤ−ＲＯＭを記
録媒体として用いるものである。

【００１３】この図１において、マイクロプロセッサ等
から成る中央処理装置であるＣＰＵ９０は、バス９２に
接続されている。また、このバス９２には、上記ＣＰＵ
９０によってデータの格納等に用いられるメインメモリ
９１、ＣＤ−ＲＯＭドライブ９３内のＣＤ−ＲＯＭから
読み出されるデータにデコード処理等を施すＣＤ−ＲＯ
Ｍデコーダ８０、及び上記ＣＤ−ＲＯＭから読み出され
た音声データを用いて音を発生する音声データ処理装置
４９が接続されている。この音声データ処理装置４９
は、音源データの処理及び音源データと実音声データと
の混合を行うディジタル音声信号発生装置５０及び音源
データを格納するためのサウンドバッファ５１から構成
される。また、上記ディジタル音声信号発生装置５０に
は、音を外部に出力するスピーカ装置９５が接続されて
いる。

【００１４】上記ＣＰＵ９０からの制御命令により、上
記ＣＤ−ＲＯＭドライブ９３から音声データが読み出さ
れて、ＣＤ−ＲＯＭデコーダ８０内のＣＤ−ＲＯＭバッ
ファ８２に格納される。上記ＣＤ−ＲＯＭバッファ８２
に格納された音声データは、エラー訂正部８１に送られ
る。このエラー訂正部８１では、送られたデータに対し
てエラー訂正処理等を行う。

【００１５】ここで、上記音声データとしては、楽音が
連続した、即ち背景音楽（ＢＧＭ）等の楽曲として出力
されるための音声データ、及び効果音等の音を発生する
ための音源データが含まれている。具体的には、上記エ
ラー訂正処理等がなされた音声データの内で、曲として
出力される音声データは、ＣＤ−ＲＯＭ用音声データの
規格であるＣＤ−ＲＯＭＸＡに基づく４ビットＡＤＰ
ＣＭデータ、及び音楽用ＣＤにおける音声データの規格
であるＣＤ−ＤＡによる１６ビットＰＣＭデータであ
り、また、効果音等の音を発生するための音源データ
は、上記４ビットＡＤＰＣＭデータである。

【００１６】そして、上記ＣＰＵ９０によって上記どち
らの音声データであるのかが検出される。また、上記Ｃ
ＰＵ９０の制御により、楽曲として出力される音声デー
タはデコーダ８３に送られる。このデコーダ８３では、
ＡＤＰＣＭデータのみにデコード処理が施され、１６ビ
ットＰＣＭデータがミキサ８４に出力される。このミキ
サ８４では、ステレオの左右チャンネルのＰＣＭデータ
に対して、ディジタル的に減衰量を変更してミックスす
ることを行う。このミキサ８４から出力される音声デー
タは、ディジタル音声信号発生装置５０に入力される。

【００１７】また、効果音等を発生するための音源デー
タは、ホストインターフェイス（Ｉ／Ｆ）８５からバス
９２を介してディジタル音声信号発生装置５０に入力さ
れる。この後、上記送られた音源データは、上記ディジ
タル音声信号発生装置５０によりサウンドバッファ５１
に格納される。ここで、上記サウンドバッファ５１に格
納される音源データを、図２に示す。

【００１８】この音源データは、横１６ビット、縦８ビ
ットの１６バイトを１ブロックとするブロック単位で構
成される。このブロックは、音源データの音声情報のヘ
ッダ情報である２バイトのサウンドパラメータ領域ＰＡ
と、２８サンプルの音声情報いわゆるサウンドデータか
ら成る１４バイトのサウンドデータ領域ＳＡとから構成
される。

【００１９】また、上記サウンドパラメータ領域ＰＡ
は、４ビットのシフト量ＲＡ、４ビットのフィルタ情報
ＦＬ、３ビットのループ情報ＬＰ、及び５ビットの予約
領域ＲＳから成る。上記シフト量ＲＡは、ＢＲＲデコー
ド処理において、４ビット値を１６ビット値に伸張する
ためのパラメータである。このシフト量ＲＡは、０〜１
２の値をとり得り、以下の（１）式で表される。

【００２０】（１６ビットデータ）＝２^(12-RA)・（４ビットデータ）・・・（１）また、上記ブロック毎のサウンドデータを生成する際に
はＢＲＲエンコード処理が施されており、上記フィルタ
情報ＦＬは、上記ＢＲＲエンコード処理対応するＢＲＲ
デコード処理を行う際に用いるフィルタの情報を示して
いる。このフィルタ情報ＦＬにより、後述する複数の予
測フィルタから、ブロック単位毎に最適なもの、即ち誤
差の少ないものを選択する。

【００２１】上記ループ情報ＬＰは、下位ビット側から
順に、それぞれ１ビットのループ終了フラグＥＦ、ルー
プフラグＬＦ、及びループ開始フラグＬＳＦを備えてい
る。上記ループ開始フラグＬＳＦは、１のときに、この
ブロックがループのスタートであることを示すものであ
る。また、ループフラグＬＦは、音源データにループが
あるのか否かを示し、このループフラグＬＦが１のとき
にはループがあることを示すものである。尚、ループあ
りの音源データは、その全てのブロックのこのループフ
ラグＬＦのビットを１にする。また、ループ終了フラグ
ＥＦは、このブロックが音源データの最後のブロックで
あることを示すものである。

【００２２】また、上記サウンドデータ領域ＳＡには、
サウンドデータＳＤ０〜ＳＤ２７までの２８サンプルの
サウンドデータが含まれる。上記ディジタル音声信号発
生装置５０では、入力された音声データ、及び上記サウ
ンドバッファ５１内の音源データを用いて楽曲及び効果
音等をスピーカ装置９５から出力する。

【００２３】次に、上記ディジタル音声信号発生装置の
概略的な構成を図３に示し、以下に詳細に説明する。こ
の実施例に示すディジタル音声信号発生装置は、上記サ
ウンドバッファ５１から、図２に示す４ビットのＡＤＰ
ＣＭデータであるサンプルデータいわゆる音源データを
読み出して、このＡＤＰＣＭデータに施されているビッ
ト・レート低減のエンコード処理に対応するデコード処
理を施してＰＣＭデータに変換するＢＲＲデコーダ５
３、上記変換されたＰＣＭデータのピッチを変換するピ
ッチ変換部５４、クロック信号を発生するクロック信号
発生器５５、この発生されたクロックに基づいてノイズ
を発生するノイズ発生器５６、上記ピッチ変換部５４か
らの出力と上記ノイズ発生器５６からの出力とを切り換
える信号切換器５７、この信号切換器５７からの出力の
レベルを調整して、出力波形の振幅を可変させて発生す
る音の包絡線（エンベロープ）を変換するエンベロープ
ジェネレータ５８、ミュート時にはオフされるミュート
処理部５９、音量及び左右のチャンネルのバランスを調
整する左右ボリューム６１Ｌ、６１Ｒを備えている。こ
れにより、上記音源データを用いた音声が出力される。

【００２４】ここで、図３においては、１音声（１ボイ
ス）分の音声出力を行うための回路構成のみを示してい
るが、この実施例のディジタル音声信号発生装置は２４
ボイス分の音声出力を行うことが可能であり、２４ボイ
スにそれぞれ対応する、上記ピッチ変換部５４〜ボリュ
ーム６０Ｌ、６０Ｒまでの回路構成を備えている。よっ
て、このディジタル音声信号発生装置では、各ボイスの
左チャンネル及び右チャンネルがそれぞれ合成されて、
左チャンネル及び右チャンネルの２チャンネル分の音声
出力が発生される。

【００２５】また、各ボイス毎に、上記サウンドバッフ
ァ５１に記憶された音源データ、エンベロープ、音量、
及び左右チャンネルのバランス等を独立に設定すること
ができる。また、このディジタル音声信号発生装置にお
いては、図１のＣＤ−ＲＯＭデコーダ８０から送られる
実音声データである音声信号を上記発生された音声出力
に混合するために、音声信号を入力して上記音声出力に
合成するか否かを選択する信号切換部６４、及びこの混
合する音声信号の音量を調節するミキシングボリューム
６５が設けられている。よって、音声信号と上記音声出
力との混合を行う場合には、図１のＣＤ−ＲＯＭデコー
ダ８０内のミキサ８４から送られるＰＣＭデータが信号
入力端子６３から入力されて、上記信号切換部６４を介
してミキシングボリューム６５に送られる。このミキシ
ングボリューム６５では、送られた音声信号の音量調節
がなされる。この音量調節された音声信号は加算器６２
に送られて、上記ボリューム６０Ｌからの音声出力と混
合される。

【００２６】尚、図３には、上記ボリューム６０Ｌから
出力される２４ボイス分の音声出力が合成された左チャ
ンネルの音声出力と、上記ミキシングボリューム６５か
らの左チャンネルの音声信号との混合を行う回路構成の
みを示しているが、右チャンネルについても上記左チャ
ンネルのための回路構成と同様な回路構成を備えてお
り、左チャンネル及び右チャンネルの２チャンネルにつ
いてそれぞれ混合が行われる。

【００２７】さらに、このディジタル音声信号発生装置
では、上記発生された音声出力に、時間を前後させた音
声出力を混合するいわゆるリバーブ処理を行うことが可
能である。上記リバーブ処理を行うために、上記音声信
号をリバーブ処理に用いるか否かを切り換える信号切換
部６６、この信号切換部６６からの音声信号と信号切換
部６１Ｌを介して出力される上記発生された音声出力と
を加算する加算器６７、この加算器６７からの音声信号
を用いてリバーブ処理を行うリバーブ処理部６８、リバ
ーブ処理が施された音声信号による音の音量を調節する
リバーブボリューム６９、この音量が調節されたリバー
ブボリューム６９からの出力を、上記加算器６２から出
力される、時間的に前後させる前の音声出力に混合する
加算器７０、この加算器７０から出力される音声信号の
音量を調節するマスタボリューム７１が設けられてお
り、上記音声出力に混合する音声信号として上記ミキシ
ングボリューム６５からの音声信号を用いている。

【００２８】上記加算器６７から出力される音声信号
は、リバーブ処理部６８に入力されて時間的に前後さ
れ、リバーブボリューム６９に送られる。このリバーブ
ボリューム６９では、送られた音声信号の音量が調節さ
れる。この音量調節がなされた音声信号は、加算器７０
に送られ、上記加算器６２からの音声信号と合成され
る。次に、このディジタル音声信号発生装置における、
図２に示す音源データの処理動作について以下に説明す
る。

【００２９】図１のＣＰＵ９０により、発音する音の音
源データを指示する選択情報、音の長さ情報、音の音程
情報、音の音色を決めるためのエンベロープ情報、音の
音量情報が上記メインメモリ９１から取り出されて、こ
のディジタル音声信号発生装置５０に送られる。このデ
ィジタル音声信号発生装置は、上記送られた選択情報に
基づいて上記サウンドバッファ５１から音源データを読
み出し、この音源データを音源データ入力端子５２から
入力する。また、上記ＣＰＵ９０からの音の長さ情報に
基づいて、サウンドバッファ５１からの音源データの入
力を制御する。

【００３０】この入力された音源データは、上記ＢＲＲ
デコーダ５３に送られてデコード処理が施され、１６ビ
ットＰＣＭデータに変換される。このＢＲＲデコーダ５
３によるデコード処理は、各ボイス毎に、１処理単位
（１Ｔｓ）について最大４サンプル行われる。このデコ
ード結果は、内部メモリ（サウンドバッファ５１）内に
格納される。これらの格納されたデータは、後述するピ
ッチ変換部５４におけるピッチ変換演算に使用される
が、その際のデータの消費量に従って、ＢＲＲデコード
処理の割合が決定される。なお、ピッチ変換によるデー
タの消費量が少なければ、ＢＲＲデコード処理の頻度は
少なくなる。

【００３１】ここで、図２の音源データのサウンドパラ
メータ領域ＰＡ内のフィルタ情報ＦＬの内容を図４に示
す。このように、フィルタ情報ＦＬに示す値によって、
ストレート、１次、２次（ＬｅｂｅｌＢ）、２次（Ｌ
ｅｂｅｌＣ）の４種類の予測フィルタを選択すること
ができる。尚、係数ａ、ｂは、フィルタ情報ＦＬの値に
よって決定されるものである。

【００３２】このフィルタ情報ＦＬが２及び３の値をと
る予測フィルタは、ＣＤ−ＲＯＭＸＡの規格に基づく４
ビットのＡＤＰＣＭデータのデコード処理のために用い
られるものである。図２に示すサウンドデータが４ビッ
トのＡＤＰＣＭデータである場合には、この４ビットの
ＡＤＰＣＭデータをデコード処理するために、上記フィ
ルタ情報ＦＬが２及び３の値をとる予測フィルタを用い
ることも可能である。

【００３３】ここで、４ビットの音源データをＤ_n、１
サンプル前のデコード結果をＸ_n-1(１６ビットデー
タ）、２サンプル前のデコード結果をＸ_n-2(１６ビット
データ）とすると、現サンプルのデコード結果Ｘ_n( １
６ビットデータ）は、シフト量ＲＡを用いて以下の
（２）式で表される。Ｘ_n＝２^(12-RA)Ｄ_n＋ａＸ_n-1＋ｂＸ_n-2・・・（２）上記ＢＲＲデコーダ５３から出力されるＰＣＭデータ
は、ピッチ変換部５４に入力される。このピッチ変換部
５４では、上記ＣＰＵ９０からの音程情報に基づいてピ
ッチ変換演算が行われて、入力されたＰＣＭデータによ
り発生する音の音程、即ちピッチが変換される。このピ
ッチ変換された音声データは信号切換部５７内の端子５
７ａに送られる。

【００３４】一方、クロック信号発生器５５によって発
生されたクロック信号は、ノイズ発生器５６に送られる
ことによりノイズが発生される。ここで、このノイズ発
生器５６は、例えばＭ系列の疑似乱数によるノイズを発
生するものである。この発生されたノイズは、信号切換
部５７内の端子５７ｂに送られる。このディジタル音声
信号発生装置は、図１のＣＰＵ９０からの制御命令に基
づいて上記信号切換部５７を端子５７ａ又は５７ｂに切
り換えることにより、上記ピッチ変換部５４からの音声
データ又は上記ノイズ発生器５６からのノイズが選択さ
れて、エンベロープジェネレータ５８に出力される。

【００３５】このエンベロープジェネレータ５８では、
上記ＣＰＵ９０からのエンベロープ情報に基づいて、い
わゆるＡＤＳＲ制御が行われ、発音される音の音色が決
定される。このエンベロープジェネレータ５８からの出
力は、信号切換部５９を介して、左チャンネル用の音声
データはボリューム６０Ｌに、右チャンネル用の音声デ
ータはボリューム６０Ｒにそれぞれ送られる。このボリ
ューム６０Ｌ、６０Ｒでは、上記ＣＰＵ９０からの音量
情報に基づいて音量が調節されて、音声出力が発生され
る。

【００３６】このようにして、２４ボイス分の音声がそ
れぞれ生成されて出力される。そして、各ボイスの左チ
ャンネル及び右チャンネルがそれぞれ合成されて、左チ
ャンネル及び右チャンネルの２チャンネル分の音声出力
が発生される。この左右チャンネルの２チャンネル分の
音声出力は、上述のように、上記加算器６２において上
記ミキシングボリューム６５から出力される音声信号と
混合され、さらに、上記加算器７０において上記リバー
ブボリューム６９から出力される音声信号と混合され
る。この混合された音声出力は、マスタボリューム７１
で発生される音の音量調節がなされた後に、音声信号出
力端子７２から出力される。これにより、図１のスピー
カ装置９５から音が発生する。

【００３７】また、上述した音声データ処理装置は家庭
用ゲーム機等において好適なものであり、この音声デー
タ処理装置を用いた家庭用ゲーム機の一実施例の概略的
な構成を図５に示し、以下に説明する。この家庭用ゲー
ム機は、バス３１に、ＣＰＵ１１及び周辺デバイス１２
等から構成されるメインシステム、グラフィックスシス
テム、サウンドシステム、ＣＤ−ＲＯＭシステム、及び
通信システム内の各種の機能を実現するための複数のプ
ロセッサ及びデバイスが接続されることにより構成され
ている。

【００３８】上記メインシステムの基本部分となる上記
ＣＰＵ１１は、３２ビットのＲＩＳＣ(Reduced Instruc
tion Set Computer) ＣＰＵであり、周辺デバイス１２
は、ＤＭＡ、タイマ、割り込み等の複数の制御用コント
ローラから構成されるものである。また、２ＭＢｙｔｅ
ｓのメインメモリ１３、５１２ＫＢｙｔｅｓのメモリ容
量をもち、上記ＣＰＵ１１や周辺デバイス１２等の動作
を制御してこの家庭用ゲーム機を制御するためのオペレ
ーティングシステム（ＯＳ）プログラムが格納されてい
るＲＯＭ１４、パラレル通信の入出力（Ｉ／Ｏ）部であ
るＰＩＯ２９、及びシリアル通信の入出力（Ｉ／Ｏ）部
であるＳＩＯ３０が、それぞれバス３１に接続されてい
る。

【００３９】この家庭用ゲーム機に電源が投入されたと
きには、上記ＣＰＵ１１によってＲＯＭ１４内のＯＳが
実行されて装置全体の初期化が行われ、上記ＣＰＵ１１
からの制御命令により、ＣＤ−ＲＯＭシステムのＣＤ−
ＲＯＭドライブ２５に搭載されたＣＤ−ＲＯＭからアプ
リケーションプログラム即ちゲームプログラムや画像及
び音声データが読み出される。

【００４０】具体的には、上記ＣＤ−ＲＯＭに記録され
ている画像データは、ＤＣＴ（離散コサイン変換）等の
直交変換が施されて画像圧縮された動画や静止画の画像
データ及びポリゴンを修飾するためのテクスチャ画像の
画像データである。尚、動画及び静止画の画像データと
しては、静止画データ圧縮の国際標準規格であるＪＰＥ
Ｇ(Joint Photographic Experts Group)方式で圧縮され
たデータ、及び動画圧縮の国際標準規格であるＭＰＥＧ
(Moving Picture Image Coding Experts Group) 方式で
あって、フレーム内符号化のみによって圧縮されたデー
タが用いられる。また、上記ＣＤ−ＲＯＭからのゲーム
プログラムには、微小な多角形領域いわゆるポリゴンを
描画するためのポリゴン描画命令が含まれている。

【００４１】また、ＣＤ−ＲＯＭに記録されている音声
データは、音楽用ＣＤにおける音声データの規格である
ＣＤ−ＤＡによる１６ビットＰＣＭデータ、及びＣＤ−
ＲＯＭ用画像及び音声データの規格であるＣＤ−ＲＯＭ
ＸＡに基づいた適応差分ＰＣＭいわゆるＡＤＰＣＭデ
ータである。上記ＣＤ−ＲＯＭから読み出されたデータ
はＣＤ−ＲＯＭバッファ２４に格納された後、ＣＤ−Ｒ
ＯＭデコーダ２３によってデコード処理が施され、デー
タの内容に従って、上記メインシステム、グラフィック
スシステム及びサウンドシステム等に送られる。

【００４２】上記グラフィックスシステムとしては、グ
ラフィックスデータ生成プロセッサであるジェオメトリ
トランスファエンジン、即ちＧＴＥ１５、グラフィック
ス描画処理プロセッサであるグラフィックスプロセッシ
ングユニット、即ちＧＰＵ１６、このＧＰＵ１６によっ
て画像を生成する際に使用される１ＭＢｙｔｅｓのフレ
ームバッファ１７、画像データ伸張エンジンであるモー
ションデコーダ、即ちＭＤＥＣ１９、及びＣＲＴディス
プレイ装置や液晶ディスプレイ（ＬＣＤ）装置等のビデ
オ出力装置１８から構成される。

【００４３】上記ＧＴＥ１５は、上記ＣＰＵ１１のコプ
ロセッサとして用いられ、上記ＣＰＵ１１が描画命令や
制御命令を生成する際に、画像内の３次元の物体を表示
するためにポリゴンについての座標変換や光源計算、例
えば固定少数点形式の行列やベクトルの計算を、並列処
理機構によって高速に行う。上記ＧＰＵ１６は、上記Ｃ
ＰＵ１１からのポリゴン描画命令に従って動作するもの
であり、上記ＣＰＵ１１とは独立した２次元のアドレス
空間にマッピングされるフレームバッファ１７にポリゴ
ンの描画を行う。このＧＰＵ１６は、ポリゴンに同じ色
で描画を行うフラットシェーディング、ポリゴンの頂点
毎に任意の色を指定して、この頂点の色を用いてポリゴ
ン内の色を求めるグーローシェーディング、及びポリゴ
ンに対して２次元のイメージデータであるテクスチャ
（素材）を貼り付けるテクスチャマッピングを行う。

【００４４】上記ＧＴＥ１５は、具体的には、例えば１
つの三角形のポリゴンに同じ色で描画を行うフラットシ
ェーディングを行う場合には、１秒間に最大１５０万程
度のポリゴンの座標演算を行うことができ、また、グー
ローシェーディング又はテクスチャマッピングを行う場
合には、１秒間に最大５０万程度のポリゴンの座標演算
を行うことができるので、ＣＰＵ１１の負荷を軽減する
と共に、高速な座標演算を行うことができる。

【００４５】上記フレームバッファ１７は、縦５１２画
素、横１０２４画素の矩形領域であって、１６ビットの
いわゆるデュアルポートＲＡＭから成り、上記ＧＰＵ１
６による画像の描画、メインメモリ１３から転送される
データの格納等に使用される。尚、上記ＧＰＵ１６によ
る描画又はメインメモリ１３からのデータ転送、及び画
像データの読み出しは同時に行われる。また、フレーム
バッファ１７内には、テクスチャが格納されるテクスチ
ャ領域、及びカラーパレットとして用いられるカラール
ックアップテーブル（ＣＬＵＴ）が格納されるＣＬＵＴ
領域が設けられている。このテクスチャパターン及びＣ
ＬＵＴのデータは、上記ＣＰＵ１１の制御によってＣＤ
−ＲＯＭドライブ２５から読み出され、上記ＧＰＵ１６
を介して上記フレームバッファ１７に転送され、格納さ
れる。また、ＣＬＵＴのデータは上記ＧＰＵ１６によっ
て生成される場合もある。

【００４６】従って、上記ＣＰＵ１６によって、上記Ｇ
ＴＥ１５で求めた座標や色情報を用いてポリゴンが描画
され、このポリゴンに対してテクスチャを貼り付けるこ
とにより３次元（３Ｄ）画像を作成している。この作成
された画像データを画像信号として上記ビデオ出力装置
１８に出力することにより、３次元（３Ｄ）画像が表示
される。

【００４７】尚、動画像を表示する場合に、フレームバ
ッファ１７上に２つの矩形領域を設け、一方の矩形領域
にフレーム画像を描画すると同時に、他方の矩形領域に
既に描画されたフレーム画像のデータをビデオ出力装置
１８に出力して画像を表示するように、上記２つの矩形
領域を交互に描画及び画像表示用として用いることによ
り、上記ビデオ出力装置１８上に画像の書き換えの状態
が表示されるのを回避している。

【００４８】また、ＭＤＥＣ１９は、ＣＤ−ＲＯＭドラ
イブ２５から読み出された画像データを再生する際に用
いられるものであり、上記ＣＰＵ１１と互いにメインメ
モリ１３を共有しながら並列的に動作を行う。上記ＣＤ
−ＲＯＭドライブ２５から読み出された動画像用のデー
タは、ＣＤ−ＲＯＭデコーダ２３でエラー訂正等がなさ
れた後、ＭＤＥＣ１９に送られる。このＭＤＥＣ１９で
は、送られたデータにデコード処理を施す。このデコー
ド処理されたデータは、動画像データとしてメインメモ
リ１３に送られる。このメインメモリ１３に送られた動
画像データは、上記ＧＰＵ１６を介してフレームバッフ
ァ１７に格納された後、画像信号として上記ビデオ出力
装置１８に出力されることにより、動画が表示される。

【００４９】また、サウンドシステムとしては、サウン
ド再生処理プロセッサであるサウンドプロセッシングユ
ニットいわゆるＳＰＵ２０、このＳＰＵ２０によって音
声信号を再生する際に用いられる５１２ＫＢｙｔｅｓの
サウンドバッファ２１、及びスピーカ装置等のサウンド
出力装置２２から構成される。上記ＳＰＵ２０は、１６
ビットの音声データが４ビットの差分信号としてＡＤＰ
ＣＭされた音声データを再生するＡＤＰＣＭ復号化機
能、サウンドバッファ２１に記憶されている音源データ
を再生して効果音等を発生する再生機能、上記音源デー
タを変調させて再生する変調機能等を備えている。

【００５０】ここで、上記ＣＤ−ＲＯＭ内には背景音楽
（ＢＧＭ）に用いられる音声データ及び効果音の発生等
に用いられる音源データが記録されている。これらのデ
ータは、上記ＣＰＵ１１の制御により、上記ＣＤ−ＲＯ
Ｍドライブ２５から読み出されてＣＤ−ＲＯＭデコーダ
２３でエラー訂正等の処理が施される。ＢＧＭ等に用い
られる音声データは、上記ＣＰＵ１１の制御により上記
ＣＤ−ＲＯＭデコーダ２３から上記ＳＰＵ２０に送ら
れ、このＳＰＵ２０によって楽曲として上記サウンド出
力装置２２から出力される。また、効果音用に用いられ
る音源データは、上記ＣＰＵ１１の制御により上記サウ
ンドバッファ２１内に格納される。上記ＳＰＵ２０は、
上記サウンドバッファ２１内に格納された音源データに
基づいて、楽音や効果音等を発生する。よって、上記Ｓ
ＰＵ２０は、いわゆるサンプリング音源である。

【００５１】また、通信システムとして、入力デバイス
いわゆる入力パッドであるコントローラ２７、１ＭＢｙ
ｔｅｓのメモリカード２８、及び同期シリアルポートで
ある通信デバイス２６により構成されている。上記コン
トローラ２７は、ゲームの進行及びゲーム内において画
像表示される物体の動作等を制御するための指示を入力
するためのキーを有する。このコントローラ２７から入
力された操作情報は、通信デバイス２６に送られる。こ
の通信デバイス２６に送られた情報は、上記ＣＰＵ１１
によって約１／６０秒毎に読み出される。上記ＣＰＵ１
１は、この情報に基づいて、周辺デバイス１２やメイン
メモリ１３、及びグラフィックスシステム、サウンドシ
ステム、ＣＤ−ＲＯＭシステムのそれぞれの動作を制御
する制御命令を送信することにより、各システムの動作
が制御され、上記入力された操作情報に応じた画像が表
示され、音声が出力する。

【００５２】また、上記メモリカード２８は、例えばフ
ラッシュメモリ等の不揮発性のメモリから成り、複数の
ゲームの設定及び進行途中の状態や結果を格納し、保持
するために用いられる。また、バス３１から分離されて
いるので、電源を入れた状態で着脱することが可能であ
り、この家庭用ゲーム機の動作中に複数のメモリカード
２８を着脱させてデータを記憶させることができる。

【００５３】尚、上記ＰＩＯ２９を介して周辺機器との
接続を行うことができ、また、ＳＩＯ３０を介して他の
ゲーム装置との通信等を行うことが可能である。また、
この家庭用ゲーム機においては、ゲームプログラムの読
み出し、画像データの表示あるいは描画等を行う際に、
上記メインメモリ１３、ＧＰＵ１６、ＭＤＥＣ１９、及
びＣＤ−ＲＯＭデコーダ２３等の間で大量の画像データ
を高速に転送する必要があるので、この場合には、上記
ＣＰＵ１１を介さずに周辺デバイス１２からの制御によ
って直接に画像データを転送するいわゆるＤＭＡ転送を
行う。これにより、データ転送によるＣＰＵ１１の負荷
を低減させて、高速なデータ転送を行っている。

【００５４】

【発明の効果】以上の説明からも明らかなように、本発
明に係る音声データ処理装置は、４ビットの適応差分Ｐ
ＣＭデータから成る音源データと上記音源データとは異
なる１６ビットＰＣＭデータである実音声データとを格
納する格納手段と、上記格納手段から読み出された音源
データをデコード処理してピッチ変換を行い、信号レベ
ルを制御して音声を出力する音声出力手段と、上記音声
出力手段からの音声出力に、上記格納手段から読み出し
た上記実音声データを混合する混合手段とを有すること
により、音源データから生成した音声出力と、１６ビッ
トＰＣＭデータである音声データとを容易に混合するこ
とができる。また、音源データからの音声出力と１６ビ
ットＰＣＭデータである音声データとを混合する回路構
成を小さくすることができる。

【００５５】さらに、本発明の音声データ処理装置は、
上記構成に加えて、上記実音声データを上記音声出力手
段からの音声出力に混合する第２の混合手段と、上記第
２の混合手段からの音声データを時間的に前後させて、
上記混合手段からの音声データに混合する反響音声デー
タ混合手段とを設けることにより、この第２の混合手段
により混合した音声データを時間的にずらし、混合手段
からの音声データに混合することで反響音声データを容
易に生成可能となっている。

【図面の簡単な説明】

【図１】本発明に係る音声データ処理装置を用いた音声
出力装置の一実施例の概略的な構成を示す図である。

【図２】音源データの構成を示す図である。

【図３】ディジタル音声信号発生装置の概略的な構成を
示す図である。

【図４】フィルタ情報を説明するための図である。

【図５】家庭用ゲーム機の概略的な構成を示す図であ
る。

【符号の説明】４９音声データ処理装置５０ディジタル音声信号発生装置５１サウンドバッファ５３ＢＲＲデコーダ５４ピッチ変換部５７、６１Ｌ、６１Ｒ、６４、６６信号切換部５８エンベロープジェネレータ６０Ｌ、６０Ｒボリューム６５ミキシングボリューム６８リバーブ処理部６９リバーブボリューム７１マスタボリューム８０ＣＤ−ＲＯＭデコーダ９０ＣＰＵ９１メインメモリ９２バス９３ＣＤ−ＲＯＭドライブ９５スピーカ装置

Claims

【特許請求の範囲】

【請求項１】４ビットの適応差分ＰＣＭデータから成
る音源データと上記音源データとは異なる１６ビットＰ
ＣＭデータである実音声データとを格納する格納手段
と、上記格納手段から読み出された音源データをデコード処
理してピッチ変換を行い、信号レベルを制御して音声を
出力する音声出力手段と、上記音声出力手段からの音声出力に、上記格納手段から
読み出した上記実音声データを混合する混合手段とを有
することを特徴とする音声データ処理装置。
【請求項２】上記実音声データを上記音声出力手段か
らの音声出力に混合する第２の混合手段と、上記第２の混合手段からの音声データを時間的に前後さ
せて、上記混合手段からの音声データに混合する反響音
声データ混合手段とを設けることを特徴とする請求項１
記載の音声データ処理装置。