JPH11213558A - 音声データ処理装置およびコンピュータシステム並びに音声データ処理方法 - Google Patents

Abstract

(57)【要約】 【課題】サンプリング周波数が異なる複数のデジタル音
声データをデジタルのままミックスする。 【解決手段】異なったサンプリング周波数でサンプリン
グされたデジタル音声データＡ，Ｂをミックスする場
合、サンプリング周波数の低い方のデジタル音声データ
Ａはサンプリングレート変換部３０１による補間処理に
よって、サンプリング周波数の高い方のデジタル音声デ
ータＢのサンプリング周波数に変換される。このサンプ
リングレート変換によってデジタル音声データＡ，Ｂの
サンプリング周波数が揃えられた後に、それらデジタル
音声データＡ，Ｂがミキシング部３０４で加算されるこ
とによってそれらがデジタル的にミックスされる。した
がって、デジタルデータのまま音声データをミックスし
てそれを外部にデジタルデータとして出力することが可
能となる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は音声データ処理装置
およびコンピュータシステム並びに音声データ処理方法
に関し、特にサンプリング周波数が互いに異なる複数の
デジタル音声データをミックスして出力するための音声
データ処理装置およびコンピュータシステム並びに音声
データ処理方法に関する。

【０００２】

【従来の技術】近年、コンピュータおよびマルチメディ
ア技術の発達に伴い、いわゆるマルチメディア対応のコ
ンピュータシステムが種々開発されている。この種のコ
ンピュータシステムには、テキストデータやグラフィッ
クスデータの他に、動画や音声データを再生するための
機能が設けられている。

【０００３】このようなコンピュータのマルチメディア
化に伴い、最近では、ＣＤ−ＲＯＭに代わる新たな蓄積
メディアとしてＤＶＤが注目されている。１枚のＤＶＤ
−ＲＯＭメディアには、片面で現在のＣＤ−ＲＯＭの約
７倍にあたる４．７Ｇバイト程度のデータを記録するこ
とができ、両面記録では９．４Ｇバイト程度のデータを
記録できる。このＤＶＤ−ＲＯＭメディアを使用するこ
とにより、大量の映像情報を含む映画などのタイトル
を、コンピュータ上で高品質に再生することが可能とな
る。

【０００４】ＤＶＤ−ＲＯＭメディアに記録されるビデ
オ情報は、プレゼンテーションデータとナビゲーション
データの２種類のデータから構成されている。プレゼン
テーションデータは再生されるビデオオブジェクトの集
合であり、ビデオ、サブピクチャ、およびオーディオか
ら構成されている。ビデオデータはＭＰＥＧ２方式で圧
縮符号化される。また、サブピクチャおよびオーディオ
の符号化方式としては、ランレングス符号化およびドル
ビーＡＣ−３などがサポートされている。サブピクチャ
はビットマップデータであり、映画の字幕や、メニュー
画面上の選択肢の表示などに用いられる。１つのビデオ
オブジェクトにはビデオデータ、最大８チャネルまでの
オーディオデータ、最大３２チャネルまでのサブピクチ
ャデータを含ませることができる。

【０００５】ナビゲーションデータは、プレゼンテーシ
ョンデータの再生手順を制御する再生制御データであ
り、ここにはナビゲーションコマンドを埋め込むことが
できる。ナビゲーションコマンドは、ビデオデータの再
生内容や再生順序を変更するためのものである。このナ
ビゲーションコマンドを用いることにより、タイトル作
成者はそのタイトルの中に種々の分岐構造を定義するこ
とができ、インタラクティブなタイトルを作成すること
が可能となる。

【０００６】ＤＶＤに蓄積されたタイトルをコンピュー
タ上で再生する場合には、ＤＶＤ−ＲＯＭドライブ装置
から読み出されたデータはコンピュータの主記憶に読み
込まれ、そしてそれがＭＰＥＧ２デコーダに転送され
る。ＭＰＥＧ２デコーダでは、まず、タイトルの不正コ
ピーを防止するために符号化ビデオデータ列に予め施さ
れているスクランブル処理を解除するためのデスクラン
ブル処理が行われ、次いでビデオ、サブピクチャ、オー
ディオの復号化がそれぞれ行われる。復号化されたビデ
オデータおよびサブピクチャは表示コントローラによっ
てコンピュータのディスプレイモニタまたは外部のＴＶ
に表示され、また復号化されたオーディオデータはオー
ディオコントローラなどを介して内蔵スピーカなどから
再生される。

【０００７】ところで、ＤＶＤに蓄積されたタイトルに
含まれるオーディオデータのソースはリニアＰＣＭやド
ルビーＡＣ３対応の高品質のオーディオデータであり、
その広いダイナミックレンジやサラウンド効果などを有
効利用できるようにするために、最近では、パーソナル
コンピュータにおいても外部オーディオシステムを接続
できるような構成が望まれている。

【０００８】これは、パーソナルコンピュータにデジタ
ルオーディオ出力端子を設け、そこに外部オーディオシ
ステムを接続することによって実現できる。これによ
り、ＤＶＤオーディオをデジタルデータのまま外部に出
力することができるので、外部オーディオシステムにて
それを品質良く再生することが可能となる。

【０００９】

【発明が解決しようとする課題】ところが、パーソナル
コンピュータにおいて扱われるオーディオデータには、
ＤＶＤオーディオのみならず、ＭＩＤＩオーディオ、Ｐ
ＣＭオーディオ、およびＣＤオーディオなど、さまざま
な種類のものがある。通常、これらデジタル音声データ
のサンプリング周波数は、そのデジタル音声データのフ
ォーマットの種類によって互いに異なっている。したが
って、パーソナルコンピュータでは、これらサンプリン
グ周波数が異なるデジタル音声データをミキシングする
場合には、通常、アナログミキシングが用いられる。

【００１０】このアナログミキシングを用いて、異なっ
たサンプリング周波数でサンプリングされた複数のデジ
タル音声データをミックスしてそれを外部オーディオシ
ステムで再生する場合には、それらデジタル音声データ
をＤ／Ａ変換してアナログ音声信号に戻してからそれら
音声データをアナログ的にミックスし、ミックスされた
アナログ信号を再びＡ／Ｄ変換によってサンプリングを
行いデジタルの音声データに変換することが必要とな
る。

【００１１】しかし、このように一度アナログに戻して
からミックスする方法では、音声品質の劣化が発生して
しまい、オリジナルの音声データソースの品質がミキシ
ングによって低下されるという問題が生ずる。また、従
来では、ミックス対象の音声データの音量のバランス調
整についてもアナログボリュウムで行う構成であるた
め、これにより雑音等のノイズも一緒に増幅されてしま
う。これも、音声品質を低下させる要因となる。

【００１２】本発明はこのような実情に鑑みてなされた
ものであり、サンプリング周波数が異なる複数のデジタ
ル音声データをデジタルのままミックスできるように
し、高音質のミックスデータを得ることが可能な音声デ
ータ処理装置およびコンピュータシステム並びに音声デ
ータ処理方法を提供することを目的とする。

【００１３】

【課題を解決するための手段】上述の課題を解決するた
め、本発明は、サンプリング周波数が互いに異なる第１
および第２のデジタル音声データをミックスする音声デ
ータ処理装置において、前記第１および第２のデジタル
音声データの中でサンプリング周波数が低い側の一方の
デジタル音声データのサンプリング周波数を、サンプリ
ング周波数が高い側の他方のデジタル音声データのサン
プリング周波数に変換するサンプリングレート変換手段
と、このサンプリングレート変換手段によって変換され
た一方のデジタル音声データと前記他方のデジタル音声
データとをデジタル的にミックスし、そのミックス結果
を外部にデジタル音声データとして出力する手段とを具
備することを特徴とする。

【００１４】この音声データ処理装置においては、異な
ったサンプリング周波数でサンプリングされたデジタル
音声データをミックスする場合、サンプリング周波数の
低いものを補間することなどにより、そのサンプリング
周波数が、高い方のサンプリング周波数に変換される。
このサンプリングレート変換によってサンプリング周波
数が揃えられた後に、それらデジタル音声データが加算
によってデジタル的にミックスされる。したがって、デ
ジタルデータのまま音声データをミックスしてそれを外
部にデジタルデータとして出力することが可能となり、
Ｄ／Ａ変換などによるノイズの混入が無くなり、高音質
のデジタルミックスデータを得ることが可能となる。

【００１５】前記サンプリングレート変換手段として
は、前述したように、補間手段を用いることができる。
この補間手段は１サンプリングデータ毎にサンプリング
データをシフトさせながら、前記一方のデジタル音声デ
ータを時間的に連続する３個のサンプリングデータ（Ｙ
_n-1 ，Ｙ_n ，Ｙ_n+1 ）単位で取り込み、第１のサンプリ
ングデータ（Ｙ_n-1 ）と第３のサンプリングデータ（Ｙ
_n+1 ）間の単位サンプリング周期当たりのデータ値の変
化量に対応する傾きと、第２のサンプリングデータ（Ｙ
_n ）と第３のサンプリングデータ（Ｙ_n+1 ）間の単位サ
ンプリング周期当たりのデータ値の変化量に対応する傾
きと、目的とするサンプリング周波数を得るためのサン
プリング周波数の変換倍率とに基づいて、第２のサンプ
リングデータ（Ｙ_n ）と第３のサンプリングデータ（Ｙ
_n+1 ）のサンプリングタイミング間に設定すべき１以上
の補間データのデータ値を決定する手段を具備すること
を特徴とする。

【００１６】例えば、２倍に補間する場合は補間値（Ｙ
_n+1/2 ）を求めることになるが、この補間値（Ｙ
_n+1/2 ）は、傾きが、（Ｙ_n+1 ）−（Ｙ_n-1 ）の傾き
と、（Ｙ_n+1）−（Ｙ_n ）の傾きとの中間で、（Ｙ_n ）
を通る線上における、（Ｙ_n ）と（Ｙ_n+1 ）それぞれの
サンプリングタイミングの中間のサンプリングタイミン
グに相当する点の値となる。この補間値（Ｙ_n+1/2 ）
は、補間式「（３（Ｙ_n+1 ）＋６（Ｙ_n ）−（Ｙ_n-1
））÷８」で求めることができる。これにより、連続
した３つのサンプリング音声データのみを用いて補間を
行うことが可能となり、補間処理のためのハードウェア
やソフトウェアの構成を簡単化することができる。

【００１７】また、前記サンプリングレート変換手段
は、前記一方のデジタル音声データを構成するサンプリ
ングデータが順次入力される入力バッファと、前記他方
のデジタル音声データのサンプリング周波数に同期し
て、前記入力バッファからそこに保持されているサンプ
リングデータを読み出す手段とから構成することもでき
る。この場合は、入力バッファに対するサンプリングデ
ータの書き込み速度よりも読み出し速度の方が高くなる
ので、補間データの代わりに、定期的に入力バッファか
ら同一のサンプリングデータがいくつか連続して読み出
される（例えば、Ｙ_n-1 ，Ｙ_n ，Ｙ_n ，Ｙ_n+1 ，…）こ
とになるが、第１および第２の音声データのサンプリン
グ周波数の差が比較的小さい場合には、このような同期
化出力による方式でも、アナログミキシングを行う場合
よりもミキシングデータの音質を高めることができる。

【００１８】たとえば１１．０２５ＫＨｚまたは２２．
０５ＫＨｚの音声データを４４．１ＫＨｚのサンプリン
グ周波数に変換する場合には、サンプリングレートを２
倍、または４倍にするための補間処理を用いることが好
ましいが、例えば４４．１ＫＨｚの音声データを４８Ｋ
Ｈｚのサンプリング周波数に変換するような場合には、
補間処理の代わりに、前述の同期化出力を用いたサンプ
リングレート変換を用いても、音質の良いデジタルミキ
シングデータを得ることができる。

【００１９】また、本発明の音声処理装置は、前記第１
および第２のデジタル音声データそれぞれの各サンプリ
ングデータのデータ値をデジタル的に増減して、前記第
１および第２のデジタル音声データの音量を調整するデ
ジタル音量調整手段をさらに具備することを特徴とす
る。

【００２０】これにより、ノイズの増幅なしで各音声デ
ータの音量バランスを調整することが可能となり、アナ
ログボリュームを使用する場合に比し音質の向上を図る
ことができる。

【００２１】また、前記デジタル音量調整手段は、前記
第１および第２のデジタル音声データのそれぞれについ
て、各チャンネル毎にサンプリングデータのデータ値の
増減を行うように構成することが好ましい。

【００２２】このように各チャンネル毎に音量調節を行
うことにより、音源や、音声を再生する環境に合わせた
各チャンネルの音量調整を、余計な雑音等を増幅せずに
実現することができる。

【００２３】また、本発明は、複数のデジタル音声デー
タを入力し、それらデジタル音声データをミックスする
音声データ処理装置において、前記ミックス対象のデジ
タル音声データそれぞれのサンプリング周波数を判別す
る手段と、前記ミックス対象のデジタル音声データそれ
ぞれのサンプリング周波数が、最も高いサンプリング周
波数を有するデジタル音声データのサンプリング周波数
の値に一致するように、前記最も高いサンプリング周波
数よりも低いサンプリング周波数を有する各デジタル音
声データのサンプリング周波数を変換するサンプリング
レート変換手段と、このサンプリングレート変換手段に
よって変換された各デジタル音声データと、前記最も高
いサンプリング周波数を有するデジタル音声データとを
デジタル的にミックスする手段とを具備することを特徴
とする。

【００２４】この音声データ処理装置においては、複数
のデジタル音声データそれぞれのサンプリング周波数を
判別することにより、全てのデジタル音声データのサン
プリング周波数が最も高いサンプリング周波数に揃うよ
うに、各デジタル音声データ毎にサンプリングレートの
変換が行われる。したがって、目的とするサンプリング
周波数の指定などを行うことなく、様々な種類のデジタ
ル音声データのデジタルミックスを自動的に行うことが
可能となる。

【００２５】

【発明の実施の形態】以下、図面を参照して本発明の実
施形態を説明する。図１には、本発明の第１実施形態に
係るデジタル音声データ処理装置の基本構成が示されて
いる。このデジタル音声データ処理装置はパーソナルコ
ンピュータやＡＶ再生機能を持つセットトップボックス
などに搭載されて使用されるものであり、サンプリング
周波数の異なる第１および第２のデジタル音声データス
トリームＡ，Ｂをデジタルミキシングする。

【００２６】このデジタル音声データ処理装置は、図示
のように、サンプリングレート変換部３０１、ボリュー
ム調整部３０２，３０３、ミキシング部３０４、デジタ
ル出力インターフェイス３０５、アナログ出力インター
フェイス３０６、Ｄ／Ａ変換部（ＤＡＣ）３０７から構
成されている。

【００２７】サンプリングレート変換部３０１は、サン
プリング周波数が低いデジタル音声データストリームＡ
のサンプリングデータを補間してそのサンプリング周波
数をデジタル音声データストリームＢのサンプリング周
波数に変換するためのサンプリングレートコンバータで
ある。

【００２８】このサンプリングレート変換部３０１によ
る補間処理では、デジタル音声データストリームＡの時
間的に連続する３つのサンプリングデータ（Ｙ_n-1 ，Ｙ
_n ，Ｙ_n+1 ）を用い、１サンプリング周期当たりの（Ｙ
_n+1 ）−（Ｙ_n-1 ）の傾きと、１サンプリング周期当た
りの（Ｙ_n+1 ）−（Ｙ_n ）の傾きと、目的とするサンプ
リング周波数を得るためのサンプリング周波数の変換倍
率とに基づいて、サンプリングデータ（Ｙ_n ）とサンプ
リングデータ（Ｙ_n+1 ）のサンプリングタイミング間に
設定すべき１以上の補間データのデータ値が決定され
る。

【００２９】例えば、２倍に補間する場合は補間値（Ｙ
_n+1/2 ）を求めることになるが、この補間値（Ｙ
_n+1/2 ）は、傾きが、（Ｙ_n+1 ）−（Ｙ_n-1 ）の傾き
と、（Ｙ_n+1）−（Ｙ_n ）の傾きの中間で、（Ｙ_n ）を
通る線上における、（Ｙ_n ）と（Ｙ_n+1 ）それぞれのサ
ンプリングタイミングの中間のサンプリングタイミング
に相当する点の値となる。この補間値（Ｙ_n+1/2 ）は、
２倍補間式「（３（Ｙ_n+1 ）＋６（Ｙ_n ）−（Ｙ_n-1
））÷８」で求めることができる。この２倍補間式の
導出法については、図４を参照して後述する。

【００３０】ボリューム調整部３０２は、サンプリング
レート変換されたデジタル音声データストリームＡの音
量を調整するためのものであり、これはデジタル乗算器
から構成されている。同様に、ボリューム調整部３０３
は、デジタル音声データストリームＢの音量を調整する
ためのものであり、これもデジタル乗算器から構成され
ている。ボリューム調整部３０２，３０３の乗数値を決
定する制御情報は、ソフトウェアによってボリューム調
整部３０２，３０３に個別に設定される。

【００３１】ミキシング部３０４は、サンプリングレー
ト変換されたデジタル音声データストリームＡと、デジ
タル音声データストリームＢとをデジタル的にミックス
するものであり、サンプリングタイミング毎に、対応す
るデジタル音声データストリームＡのサンプリングデー
タと、デジタル音声データストリームＢのサンプリング
データとを加算するデジタル加算器から構成されてい
る。

【００３２】デジタル出力インターフェイス３０５は、
デジタル音声データストリームＡ，Ｂのミックスデータ
を例えばＩＥＣ−９５８や他のフォーマットのデジタル
データストリームに変換し、それをパーソナルコンピュ
ータに設けられた、例えば、日本電子機械工学会ＥＩＡ
Ｊの規格ＣＰ−１２０１に準拠した光インターフェイス
のデジタルオーディオ端子を介して外部に出力する。

【００３３】アナログ出力インターフェイス３０６は、
デジタル音声データストリームＡ，Ｂのミックスデータ
をＤ／Ａ変換器３０７を用いてアナログオーディオ信号
に変換する。アナログオーディオ信号はパーソナルコン
ピュータの内蔵スピーカから再生、あるいは、パーソナ
ルコンピュータに設けられたアナログラインアウト端子
などを介して外部に出力される。

【００３４】このデジタル音声データ処理装置において
は、サンプリング周波数がｎＫＨｚのデジタル音声デー
タストリームＡとサンプリング周波数が２ｎＫＨｚのデ
ジタル音声データストリームＢをミックスする場合に
は、サンプリングレート変換部３０１による補間処理に
よってデジタル音声データストリームＡのサンプリング
周波数がその２倍の２ｎＫＨｚに変換される。そして、
デジタル音声データストリームＡ，Ｂそれぞれのボリュ
ーム調整がボリューム調整部３０２によって行われた
後、ミキシング部３０４では、デジタル音声データスト
リームＡのサンプリングデータが、入力されたままのデ
ジタル音声データストリームＢのサンプリングデータに
同期化され、そしてデジタル音声データストリームＡと
Ｂのサンプリングデータが加算されることにより、デジ
タル音声データストリームＡ，Ｂのデジタルミックスが
行われる。この場合、デジタル音声データストリームＢ
については何ら変換処理を施していないので、このデジ
タル音声データストリームＢにデジタル音声データスト
リームＡを同期化させることにより、音質の劣化無しで
デジタル音声データストリームＡ，Ｂのデジタルミック
スが行われることになる。

【００３５】以上の処理により、デジタルデータのまま
音声データストリームをミックスしてそれを外部にデジ
タルデータとして出力することが可能となり、Ｄ／Ａ変
換などによるノイズの混入が無くなり、高音質のミック
スデータを得ることが可能となる。

【００３６】図２には、図１のサンプリングレート変換
部３０１およびボリューム調整部３０２，３０３をソフ
トウェアで実現する場合に必要となるパーソナルコンピ
ュータの基本構成が示されている。

【００３７】図２に示されているように、このパーソナ
ルコンピュータには、システムバス４００、ＣＰＵ４０
１、主メモリ４０２、２次記憶装置４０３、デジタル音
声データ入力インターフェイス（ＤＩ Ｉ／Ｆ）４０
４、デジタル音声データ出力インターフェイス（ＤＯ
Ｉ／Ｆ）４０５、アナログ音声データ出力インターフェ
イス（ＤＡＣ Ｉ／Ｆ）４０６、およびＤ／Ａコンバー
タ（ＤＡＣ）４０７などが設けられている。

【００３８】ＣＰＵ４０１はプログラムを実行するため
の演算処理装置である。主メモリ４０２は、実行するプ
ログラムを記憶したり、プログラム実行中のワークメモ
リとして使用される。２次記憶装置４０３は、例えばＨ
ＤＤやＦＤＤ等、処理を行うデータや処理後のデータを
記憶する記憶装置である。デジタル音声データ入力イン
ターフェイス（ＤＩ Ｉ／Ｆ）４０４は、デジタル音声
データのストリームを例えばＩＥＥＥ１３９４ポートや
ＵＳＢポートなどのシリアルインターフェイスを介して
外部から直接、あるいはパーソナルコンピュータ内に設
けられた音源を介して入力するためのインターフェイス
である。デジタル音声データ出力インターフェイス（Ｄ
Ｏ Ｉ／Ｆ）４０５は、デジタルミキシング処理後のデ
ジタル音声データストリームを、コンピュータに設けら
れた前述の光インターフェイスなどのデジタルオーディ
オ端子を介して外部に出力するためのインターフェイス
である。アナログ音声データ出力インターフェイス（Ｄ
ＡＣ Ｉ／Ｆ）４０６は、デジタルミキシング処理後の
デジタル音声データストリームをＤ／Ａコンバータ（Ｄ
ＡＣ）４０７を用いてアナログ信号に変換し、それをコ
ンピュータに設けられた内蔵スピーカから再生、あるい
はコンピュータに設けられたアナログラインアウト端子
などを介して外部に出力するためのインターフェイスで
ある。

【００３９】以下、入力した複数のサンプリング音声デ
ータ（デジタル音声データ）をデジタルミックスして出
力するまでの動作について説明する。ここでは、２つの
サンプリング音声データをミックスする例について説明
するが、同様の方法で３つ以上のサンプリング音声デー
タのミックスを行うこともできる。

【００４０】入力されるサンプリング音声データのスト
リームがサンプリングデータＡ、サンプリングデータＢ
の２つで、サンプリングデータＢはサンプリングデータ
Ａの２倍のサンプリング周波数である場合を想定する。

【００４１】［Ｉn ｐｕｔデータ］デジタルミックスを
行う場合の元となる各サンプリング音声データＡ，Ｂの
入力方法としては、メモリ４０２上にサンプリングデー
タとして展開された例えばＷＡＶＥフォーマットなどの
サウンドデータファイルから抽出する方法、２記憶装置
４０３上のデータファイルから必要なデータを読取る方
法、あるいはデジタル音声データ入力インターフェイス
（ＤＩ Ｉ／Ｆ）４０４を介してシリアル入力されたサ
ンプリング音声データのストリームをパラレルデータに
変換して順次入力する方法等がある。また、デジタル音
声データ入力インターフェイス（ＤＩＩ／Ｆ）４０４か
らストリームを入力した場合、ＦＩＦＯ等のデータバッ
ファを用いて作業を行う場合も考えられる。

【００４２】［Ｏｕｔｐｕｔデータ］またデジタルミッ
クスしたデータの出力方法には、ミックス結果をメモリ
４０２上に展開する方法、２次記憶装置４０３上にサウ
ンドデータファイルとして書き出す方法、デジタル音声
データ出力インターフェイス（ＤＯ Ｉ／Ｆ）４０５を
用いて外部にデジタル出力する方法、アナログ音声デー
タ出力インターフェイス（ＤＡＣ Ｉ／Ｆ）４０６およ
びＤ／Ａコンバータ（ＤＡＣ）４０７を介してアナログ
出力する方法等がある。

【００４３】［デジタルミキシング］ ・デジタルミキシング処理の概要 デジタルミキシングは、基本的に、サンプリングデータ
Ａを２倍に補間してサンプリングデータＢと同一のサン
プリング周波数に変換する処理、各データを個別のボリ
ューウムを用いて音量バランスを調整する処理、音量調
整されたサンプリングデータ同士をミックスする処理、
およびそのミックスデータを出力する処理から構成され
る。

【００４４】以下、図３のフローチャートを参照して、
このデジタルミキシング処理の具体的な手順について説
明する。 （１）初期化 まず、メモリ４０２上に用意されたワークバッファＹ
_n+1 ，Ｙ_n ，Ｙ_n-1 、およびカウンタ変数ＣＴを初期化
する（ステップＳ１０１）。

【００４５】（２）サンプリングデータＡ Ｉn ｐｕｔ 補間対象のサンプリングデータＡ（ＤＴ１）を順次入力
する（ステップＳ１０２）。

【００４６】（３）補間データセット サンプリングデータＡ（ＤＴ１）の補間を行うため、新
たにサンプリングデータ（ＤＴ１）が入力される度に、
その入力サンプリングデータをメモリ４０２上のワーク
バッファＹ_n+1 にセットし、同時に前回の入力サンプリ
ングデータをバッファＹ_n+1 からバッファＹ_n に、前々
回の入力サンプリングデータをバッファＹ_n からバッフ
ァＹ_n-1 にシフトする（ステップＳ１０３）。

【００４７】（４）補間 バッファＹ_n+1 ，Ｙ_n ，Ｙ_n-1 のデータから補間を実行
（補間の詳細は図４で後述する）し、補間値をバッファ
Ｙ_n+1/2 にセットする（ステップＳ１０４）。

【００４８】（５）サンプリングデータＡとサンプリン
グデータＢの同期 サンプリングデータＡを［Ｙ_n ］→［Ｙ_n+1/2 ］の順番
で出力し、サンプリングデータＢと同一のサンプリング
周波数のストリームデータとする（ステップＳ１０４〜
Ｓ１０７、Ｓ１1/2 〜Ｓ１１４）。

【００４９】（６）デジタルＶｏｌｕｍｅによるバラン
ス調整１ 補間したサンプリングデータＡを順次乗算してデータ値
を増減する（ステップＳ１０８）。この時、データを左
右（Ｌ，Ｒ）個別にチャンネル毎に乗算することで左右
別々にバランスを制御する。

【００５０】（７）サンプリングデータＢ Ｉn ｐｕｔ サンプリングデータＢ（ＤＴ２）を順次入力する（ステ
ップＳ１０９）。 （８）デジタルＶｏｌｕｍｅによるバランス調整２ サンプリングデータＢ（ＤＴ２）を順次乗算してデータ
値を増減する（ステップＳ１１０）。この時サンプリン
グデータＡのＶｏｌｕｍｅとバランスをとることでミッ
クス時の音量のバランスを調整する。また、データを左
右個別に乗算することで左右別々にバランスを制御でき
る。

【００５１】（９）デジタルミックス 補間および音量調整されたサンプリングデータＡ（バッ
ファＢＵＦ１）と音量調整されたサンプリングデータＢ
（バッファＢＵＦ２）を同期して加算することで各サン
プリングデータのミックスを行い、結果を出力する（ス
テップＳ１１１）。

【００５２】以上の（２）〜（９）の処理は、音声デー
タＡ，Ｂがなくなるまで繰り返し実行される。また、図
３のフローチャートの手順を実行するコンピュータプロ
グラムは、コンピュータ読み取り可能な各種記録媒体に
格納して配布することもできる。また、そのコンピュー
タプログラムが適用可能なものとしては、光インターフ
ェイスなどのデジタルオーディオ端子を有するコンピュ
ータであればよい。また、全ての処理をソフトウェアの
みで行う必要はなく、専用のハードウェアを用いてそれ
による補間処理や音量調節処理、およびミックス処理な
どの動作を制御する処理をソフトウェアで行うようにし
たり、また補間処理、音量調節処理、およびミックス処
理の一部をハードウェアだけで自動的に行うようにする
ことも可能である。

【００５３】次に、図４を参照して、補間方法の詳細に
ついて説明するサンプリングデータの補間方法は、連続
する３サンプリングデータｙ_n-1 ，ｙ_n ，ｙ_n+1 より算
出する。サンプリング周期ｘのサンプリング音声データ
を補間する時、求めるべき補間データはサンプリングデ
ータｙ_n とサンプリングデータｙ_n+1 との間に設定すべ
きサンプリングデータである。まずサンプリングデータ
ｙ_n-1 とサンプリングデータｙ_n+1 間のサンプリング周
期当たりの傾きａ＝（ｙ_n+1 −ｙ_n-1 ）／２ｘ）
と、サンプリングデータｙ_n とサンプリングデータｙ
_n+1 間のサンプリング周期当たりの傾きｂ＝（ｙ_n+1
−ｙ_n ）／ｘとを導き、補間点Ｚ_n は点ｙ_n を通る
傾きａと傾きｂの間にある傾き上の点から求める。

【００５４】例えば２倍のサンプリング周波数に補間す
る場合、図４に示す通り求める補間点は傾きａと傾きｂ
の間で各傾きとの距離を1/2 ： 1/2 とする傾きｃ＝
（xa-xb)／２＋xb＝（３ｙ_n+1 -２ｙ_n −ｙ_n-1 ）
／４の直線上のｙ_n からx/2周期上の点が補間点であ
る。この補間点のデータ値Ｚ_n は、Ｚ_n ＝ ｃx/2 +
ｙ_n から、 Ｚ_n ＝（３ｙ_n-1 +６ｙ_n −ｙ_n-1 ）／８ となる。これが、本実施形態で用いられる２倍補間式で
ある。

【００５５】同様に３倍ならば、傾きａと傾きｂの間で
各傾きとの距離を1/3 ：2/3 とする傾きｃ１上のｙ_n
からx/3 の周期上の点Ｚ_n1と、傾きａと傾きｂの間で各
傾きとの距離を2/3 :1/3 とする傾きｃ2 上のｙ_n か
ら2x/3の周期上の点Ｚ_n2とが求める補間点となる。

【００５６】このようにして３点から単純に補間点を求
めることができる。図５は２倍オーバーサンプリングの
補間の例である。周波数n ＫＨｚのサンプリング音声デ
ータ（黒丸）を補間して２n ＫＨｚのサンプリング音声
データにする場合、図に白丸で示すように補間データが
求められる。この補間により、２倍のオーバーサンプリ
ングが行われる。

【００５７】なお、前述の補間処理、ボリューム調整、
およびミックス処理はハードウェアロジックによって実
現することができる。この場合の回路構成の一例を図６
に示す。

【００５８】図６に示されているように、このデジタル
ミックス回路は、ボリューム調整回路（Ｖｏｌｕｍｅ
Ａ）５０1 、２倍補間回路５０２、バッファセレクタ５
０３、同期回路５０４、ボリューム調整回路（Ｖｏｌｕ
ｍｅ Ｂ）５０５、およびミックス回路５０６から構成
されている。この図６の回路構成のほとんど全ては１個
のデジタル回路（ＬＳＩ）にて構成されている。

【００５９】ボリューム調整回路（Ｖｏｌｕｍｅ Ａ）
５０１は、サンプリング音声データＡを、指定された倍
率で順次乗算してそのデータ値を増減するものであり、
乗算回路６０１と、この乗算回路６０１に指定する倍率
が設定される制御レジスタ６０２とから構成されてい
る。

【００６０】２倍補間器５０２は、サンプリング音声デ
ータＡを２倍補間するための演算回路であり、サンプリ
ング音声データＡについての入力サンプリングデータを
Ｙ_n+1 バッファ６０５→Ｙ_n バッファ６０４→Ｙ_n-1 バ
ッファ６０３へと順次シフトしながら、２倍補間式の演
算回路（６０６〜６１９）に入力し、これによって得ら
れた補間値をＹ_n+1/2 バッファ６１１に出力する。

【００６１】バッファセレクタ５０３は、Ｙ_n バッファ
６０４の内容とＹ_n+1/2 バッファ６１１の内容を交互に
出力する。同期回路５０４は、補間したデータＡをデー
タＢに同期させるためのものであり、バッファセレクタ
５０３を介して２倍補間器５０２から順次出力される補
間されたデータＡを、順次入力されるデータＢのサンプ
リングクロックに同期させてミックス回路５０６に送
る。

【００６２】ボリューム調整回路（Ｖｏｌｕｍｅ Ｂ）
５０５は、サンプリング音声データＢを指定された倍率
で順次乗算してそのデータ値を増減するものであり、乗
算回路６２１と、この乗算回路６２１に指定する倍率が
設定される制御レジスタ６２２とから構成されている。

【００６３】ミックス回路５０６は、同期したデータＡ
とデータＢの対応するサンプリングデータを加算してミ
ックスする。次に、本実施形態のデジタル音声データ処
理装置の適用例について説明する。

【００６４】図７は、本実施形態のデジタル音声データ
処理装置を内蔵した音声・画像再生制御装置を示してい
る。この音声・画像再生制御装置は、デジタルビデオプ
レーヤやセットトップボックス等として使用可能なコン
ピュータであり、ＤＶＤタイトルの動画像とコンピュー
タグラフィクスとを融合したタイトルの再生などのため
に、動画像とコンピュータグラフィクスとの合成表示機
能、およびＤＶＤオーディオとコンピュータの各種サウ
ンドデータとをデジタルミキシングする機能を有する。

【００６５】この音声・画像再生制御装置には、図示の
ように、ＤＶＤドライブ１０１、ＭＰＥＧ２デコーダ１
０２、ＡＣ−３デコーダ１０３、主メモリ１０４、ビデ
オメモリ（ＶＲＡＭ）１０５、ＲＧＢからＹＣｒＣｂへ
の色空間コンバータ１０６、フィルタ１０７、コンピュ
ータグラフィクスのピクセルアスペクト比変換のために
用いられるスケーラ１０８ａ、動画データサイズをそれ
を表示するためのビデオウインドウサイズに合わせるた
めのスケーラ１０８ｂ、αブレンディング回路１０９、
ＴＶエンコーダ１１０、オーディオサンプリングレート
コンバータ１１１，１１４、音量調整回路（ＶＯＬＵＭ
Ｅ）１１２，１１３、ミックス回路（ＭＩＸ）１１４、
オーディオ出力インターフェイス１１５、Ｄ／Ａコンバ
ータ１１６などが設けられている。

【００６６】光ディスクからなるＤＶＤメディア１００
には、動画データ（ＤＶＤビデオ＋ＤＶＤオーディオ）
とこれと連動再生されるアプリケーションファイル（コ
ンピュータグラフィクスデータファイル＋サウンドデー
タファイル）とから構成されるコンテンツが蓄積されて
おり、ＤＶＤドライブ１０１は、このコンテンツを読み
出す。コンピュータグラフィクスデータは、ＤＶＤビデ
オによって提供される自然動画像の背景映像などとして
使用されるものであり、このグラフィクスデータは、音
声・画像再生制御装置のＣＰＵによって実行されるＤＶ
Ｄタイトル再生用アプリケーションプログラムなどによ
って、ビデオメモリ（ＶＲＡＭ）１０５に書き込まれ
る。また、ＤＶＤドライブ１０１はＣＤＲＯＭ互換であ
り、ＣＤ−ＲＯＭメディアに蓄積されたタイトルやプロ
グラムを読み出すこともできる。

【００６７】動画データには、主映像（ビデオ）、1 ６
チャネルまでの副映像（サブピクチャ）、および８チャ
ネルまでの音声（オーディオ）を含ませることができ
る。この場合、これらビデオ、サブピクチャ、およびオ
ーディオはそれぞれＭＰＥＧ２規格でデジタル圧縮符号
化されて記録されている。ＭＰＥＧ２規格では、ＭＰＥ
Ｇ２で符号化されたデータに、他の符号化データを含ま
せることがことができ、それら符号化データは１本のＭ
ＰＥＧ２プログラムストリームとして扱われる。ビデオ
の符号化にはＭＰＥＧ２を使用し、サブピクチャおよび
オーディオの符号化にはそれぞれランレングス符号化お
よびＤＯＬＢＹ ＡＣ３などが使用される。この場合で
も、それら符号化されたビデオ、サブピクチャ、および
オーディオは１本のＭＰＥＧ２プログラムストリームと
して扱われる。ＭＰＥＧ２規格の符号化処理は可変レー
ト符号化であり、単位時間当たりに記録／再生する情報
量を異ならせることができる。よって、動きの激しいシ
ーンほど、それに対応するフレーム群を構成するＭＰＥ
Ｇストリームの転送レートを高くすることによって、高
品質の動画再生が可能となる。

【００６８】ＤＶＤメディア１００に蓄積されるビデオ
データには、標準ＴＶ用の表示アスペクト比４：３に対
応するものと、ワイドＴＶ、ＨＤＴＶ、およびＥＤＴＶ
用の表示アスペクト比１６：９に対応したものとがあ
る。

【００６９】一方、ＤＶＤメディア１００に蓄積される
グラフィクスデータにも、標準ＴＶ用の表示アスペクト
比４：３に対応した解像度（水平解像度ｘ垂直解像度）
を有するものと、ワイドＴＶ、ＨＤＴＶ、およびＥＤＴ
Ｖ用の表示アスペクト比１６：９に対応した解像度（水
平解像度ｘ垂直解像度）を有するものとがある。表示ア
スペクト比４：３および１６：９のどちらに対応するグ
ラフィクスデータにおいても、そのピクセルアスペクト
比は１：１である。

【００７０】ＤＶＤメディア１００から読み出されたＭ
ＰＥＧ２プログラムストリームは、ＭＰＥＧ２デコーダ
１０２に送られる。ＭＰＥＧ２デコーダ１０２は、ＭＰ
ＥＧ２プログラムストリームをビデオデータ、サブピク
チャデータ、およびオーディオデータに分離した後、そ
れらをそれぞれデコード処理し同期化して出力する。Ａ
Ｃ−３で符号化されたＤＶＤオーディオデータは、ＡＣ
−３デコーダ１０３で復号化された後にオーディオデー
タストリーム（Ｂ）として音量調整回路（ＶＯＬＵＭ
Ｅ）１１３に送られる。なお、ＤＶＤオーディオデータ
がリニアＰＣＭであれば、ＡＣ−３デコーダ１０３を介
さずにそれがオーディオデータストリーム（Ｂ）として
音量調整回路（ＶＯＬＵＭＥ）１１３に送られることに
なる。オーディオデータストリーム（Ｂ）のサンプリン
グ周波数は４８ＫＨｚである。

【００７１】デコードされたビデオデータとサブピクチ
ャデータは合成された後、ＹＣｒＣｂフォーマットの動
画データとしてスケーラ１０８ｂに送られる。スケーラ
１０８ｂは、動画データのサイズ（例えば７２０ｘ４８
０）をビデオウインドウサイズに合わせるために縮小す
るためのものであり、ビデオウインドウサイズが動画デ
ータのサイズよりも小さい場合に使用される。

【００７２】αブレンディング回路１０９は、動画デー
タとグラフィクスデータとをピクセル単位で合成する。
ピクセル毎の動画データとグラフィクスデータとの合成
の比率は、α値によって決定される。このα値はグラフ
ィクスデータの各ピクセルについてその透過の度合いを
示すパラメタであり、動画データの各ピクセルの透過率
は１−αとなる。したがって、例えば、α＝１のピクセ
ルについてはグラフィクスデータが表示され、動画デー
タは表示されない。反対に、α＝０のピクセルについて
はグラフィクスデータは表示されず、動画データが表示
される。

【００７３】ＴＶエンコーダ１１０は、αブレンディン
グ回路１０９によって合成された画像データをＮＴＳＣ
あるいはＰＡＬ方式のＴＶ映像信号に変換して、本装置
のディスプレイモニタとして使用されるＴＶ受像機にイ
ンターレース表示する。

【００７４】ＴＶ受像機としては、前述の標準ＴＶか、
あるいはワイドＴＶ、ＨＤＴＶ、ＥＤＴＶ対応のものが
用いられる。ワイドＴＶ、ＨＤＴＶ、ＥＤＴＶ対応のＴ
Ｖ受像機は、通常、モニタモードとして表示アスペクト
比４：３と１６：９の双方の表示をサポートすることが
できる。モニタモードの切り替えは、リモコン操作など
によって入力されるユーザからの指示に従ってＴＶ受像
機内で行われる。

【００７５】色空間コンバータ１０６は、ビデオメモリ
（ＶＲＡＭ）１０４に描画されたＲＧＢカラーデータを
ＤＶＤビデオと同じテレビジョン規格のＹＣｒＣｂデー
タに変換する。

【００７６】フィルタ１０７およびスケーラ１０８ａ
は、ビデオメモリ（ＶＲＡＭ）１０５描画されたノンイ
ンターレース表示用のグラフィクスデータをインターレ
ース走査のＴＶに高品質表示するために設けられたもの
であり、αブレンディング回路１０９による合成処理に
先だって、グラフィクスデータの輝度および色信号帯域
をＴＶ用の映像信号に合わせて低減するためのフィルタ
リング処理と、ピクセルアスペクト比変換のためのスケ
ーリング処理をそれぞれ実行する。

【００７７】グラフィクスデータの効果音として使用さ
れたり、あるいはＤＶＤ再生プログラムのバックグラウ
ンドで実行される他のアプリケーションプログラムなど
で使用されるサウンドデータファイルはメモリ１０４上
で、あるいは対応する音源を経由することなどによりサ
ンプリング音声データのストリームに展開され、それが
オーディオデータストリーム（Ａ）としてサンプリング
レートコンバータ１１１に送られる。このオーディオデ
ータストリーム（Ａ）は例えばＰＣＭフォーマットまた
はＭＩＤＩフォーマットのデータであり、そのサンプリ
ング周波数は、ＰＣＭフォーマットのものであれば１
１．０２５ＫＨｚ、２２．０５ＫＨｚ、４４．１ＫＨｚ
のいずれかとなり、またＭＩＤＩフォーマットのもので
あれば、４４．１ＫＨｚである。

【００７８】サンプリング周波数が１１．０２５ＫＨｚ
あるいは２２．０５ＫＨｚであれば、オーディオデータ
ストリーム（Ａ）は、サンプリングレートコンバータ１
１１によって２倍あるいは４倍に補間されて、４４．１
ＫＨｚのサンプリング周波数に変換される。

【００７９】４４．１ＫＨｚのサンプリング周波数に変
換されたオーディオデータストリーム（Ａ）は、音量調
整回路（ＶＯＬＵＭＥ）１1 ２にて音量調整された後に
サンプリングレートコンバータ１１４に送られる。この
サンプリングレートコンバータ１１４では、オーディオ
データストリーム（Ａ）のサンプリング周波数を、前述
のオーディオデータストリーム（Ｂ）のサンプリング周
波数４８ＫＨｚに変換する処理が行われる。このサンプ
リングレート変換では、前述と同様の補間処理を用いる
こともできるが、本実施形態では、補間処理の代わり
に、入力されたオーディオデータストリーム（Ａ）を、
オーディオデータストリーム（Ｂ）と同じ４８ＫＨｚの
サンプリングクロックに同期して読み出すという同期化
処理が用いられている。この場合、補間データの代わり
に、一つ前のサンプリングデータがいくつか連続して出
力されることになり、これによってサンプリング周波数
４８ＫＨｚのオーディオデータストリーム（Ａ）が得ら
れる。

【００８０】ミックス回路１１５は、共にサンプリング
周波数４８ＫＨｚを有するオーディオデータストリーム
（Ａ）と（Ｂ）を加算してミックスデータを生成し、そ
れをオーディオ出力インターフェイス１１６に送る。オ
ーディオ出力インターフェイス１１６では、ミックスデ
ータがデジタルストリームに変換され、それが外部のオ
ーディオシステムやＴＶのデジタルオーディオ入力端子
に出力される。また、ミックスデータをＤ／Ａコンバー
タ１１７にてアナログ信号に変換して外部に出力するこ
ともできる。

【００８１】このように、本実施形態では、画像合成
と、サンプリング周波数の異なる複数のオーディオのデ
ジタルミックスを同時に行うことができる。図８には、
図７の音声・画像再生制御装置の具体的な構成例が示さ
れている。

【００８２】この音声・画像再生制御装置は、前述のＤ
ＶＤ−ＲＯＭドライブ１０１を利用したＤＶＤタイトル
の再生、およびゲームソフト、メールソフトなどを初め
とする各種アプリケーションプログラムを実行すること
ができる。この音声・画像再生制御装置には、ＣＰＵ１
１、ホスト／ＰＣＩブリッジ１２、主メモリ１０４、Ｏ
Ｓ格納用のマスクＲＯＭ１４、Ｉ／Ｏコントロールゲー
トアレイ１５、ＵＳＢコネクタ１６、音声・画像再生制
御装置の操作用コントロールパネルにステータス表示を
行うためのＬＥＤ１７、操作用コントロールパネルを構
成するための各種ユーザ操作スイッチ１８、赤外線通信
ポート１９、ＲＳ２３２Ｃコネクタ２０、システムＢＩ
ＯＳを格納するフラッシュＲＯＭ２１、２次記憶として
使用されるフラッシュメモリカード（ＳＳＦＤＣ）用の
ソケット２２に加え、前述のＡＣ−３デコーダ１０３、
ＮＴＳＣエンコーダ１１０、およびオーディオミキサ２
５などが設けられている。オーディオミキサ２５は、図
７のオーディオサンプリングレートコンバータ１１１，
１１４、音量調整回路（ＶＯＬＵＭＥ）１１２，１１
３、ミックス回路（ＭＩＸ）１１４などから構成される
ものである。

【００８３】ＣＰＵ１１は、このシステム全体の動作を
制御するものであり、主メモリ１０４にロードされたオ
ペレーティングシステムおよび実行対象のアプリケーシ
ョンプログラムおよび各種ドライバプログラムを実行す
る。

【００８４】ホスト／ＰＣＩブリッジ１２は、プロセッ
サバス１とＰＣＩバス２との間でトランザクションを双
方向で変換するためのＬＳＩであり、プロセッサバスイ
ンタフェース１２１と、ＰＣＩバスインタフェース１２
３を備えている。また、ホスト／ＰＣＩブリッジ１２に
は、ＣＰＵ１１およびそれ以外の他のＰＣＩバスマスタ
から発行されるメモリリード／ライトトランザクション
に従って主メモリ１０４およびマスクＲＯＭ１４をアク
セス制御するメモリコントローラ１２２が設けられてい
る。

【００８５】Ｉ／Ｏコントロールゲートアレイ１５は各
種Ｉ／Ｏデバイスを制御するための１個のＬＳＩであ
り、ここには、図示のように、ＰＣＩバス２と内部ＰＣ
Ｉバス２ａ間をつなぐＰＣＩバスインタフェース１５
１、内部ＰＣＩバス２ａと内部ＩＳＡバス２ｂ間をつな
ぐＰＣＩ／ＩＳＡブリッジ１５２が設けられている。内
部ＰＣＩバス２ａには、ＵＳＢコネクタ１６に接続され
る外部キーボードなどの周辺装置を制御するＵＳＢイン
タフェース１５３と、ＤＶＤ−ＲＯＭドライブ１０１を
制御するバスマスタＩＤＥコントローラ１５４と、前述
したグラフィクスデータに対するスケーリングおよびフ
ィルタリング処理、およびグラフィクスと動画データと
のαブレンディングなどを行うグラフィクス／ビデオミ
キサ２０３と、内部ＰＣＩバス２ａとＭＰＥＧ２デコー
ダ１０２との間のインターフェース制御を行うＭＰＥＧ
インタフェース１５６が接続されている。

【００８６】ディスプレイ制御は、ビデオメモリ（ＶＲ
ＡＭ）１０５をアクセス制御するメモリコントローラ２
０１、ＣＰＵ１１からの指示に従って転送元と転送先の
ビットマップ間でさまざまな論理演算や、ビットマップ
の拡大／縮小などを行うビットブリット（Ｂｉｔ Ｂｌ
ｏｃｋ Ｔｒａn ｓｅｆｅｒ）回路２０２、グラフィク
ス／ビデオミキサ２０３によって行われる。

【００８７】オーディオコントローラ２０４は、ＰＣＭ
オーディオやＭＩＤＩオーディオの音源として機能する
ものであり、ＰＣＭオーディオデータストリームやＭＩ
ＤＩオーディオデータストリームを出力する。

【００８８】オーディオミキサ２５には、ＰＣＭオーデ
ィオデータストリーム、ＭＩＤＩオーディオデータスト
リーム、ＤＶＤオーディオデータストリーム、ＣＤオー
ディオストリームが入力され、そこでそれらのデジタル
ミックス処理が行われる。

【００８９】デジタルミックスされたオーディオデータ
は、デジタル出力インターフェイス２６を介してデジタ
ルデータとして、あるいはアナログ出力インターフェイ
ス２７を介してアナログデータとして外部に出力され
る。

【００９０】図９には、オーディオミキサ２５の具体的
なハードウェア構成利一例が示されている。オーディオ
ミキサ２５は、図示のように、サンプリングレート変換
部２５1 ，２５７、ボリューム調整部２５２，２５３，
２５６、ミックス回路２５４，２５８、およびＤＶＤ／
ＣＤセレクタ２５５から構成されている。

【００９１】ＰＣＭオーディオのサンプリング周波数は
前述のように１１．０２５ＫＨｚ、２２．０５ＫＨｚ、
４４．１ＫＨｚのいずれかであり、また、ＭＩＤＩオー
ディオのサンプリング周波数は４４．１ＫＨｚ、ＤＶＤ
オーディオのサンプリング周波数は４８ＫＨｚ、ＣＤオ
ーディオのサンプリング周波数は４４．１ＫＨｚであ
る。

【００９２】ＰＣＭオーディオのサンプリングデータは
まずサンプリングレート変換部２５１に送られ、そこ
で、２倍または４倍の補間処理が実行され、ＭＩＤＩオ
ーディオと同じ４４．１ＫＨｚのサンプリング周波数に
変換される。すなわち、ＰＣＭオーディオが１１．０２
５ＫＨｚのものであれば４倍補間が行われ、２２．０５
ＫＨｚであれば２倍補間が行われる。このように、サン
プリングレート変換部２５１による補間処理の倍数値
は、入力されるＰＣＭオーディオのサンプリング周波数
の値によって決定される。このサンプリング周波数の値
は、一つ前のサンプリングデータを受信してから次のサ
ンプリングデータを受信するまでの期間をカウンタによ
って計数し、その計数値によって判別することができ
る。

【００９３】サンプリングレート変換部２５１は図１０
に示されているように、２つの２倍補間器１００１，1
００２を縦続接続し、２倍補間器１００１と１００２の
一方の出力をセレクタ１００３で選択する構成によって
実現できる。２倍補間器１００１と１００２のどちらを
選択するか、つまりセレクタ１００３の選択動作は、入
力されるＰＣＭオーディオのサンプリング周波数の値を
判別するサンプリングレート判別部１００４の判別結果
に基づいて制御される。

【００９４】サンプリング周波数４４．１ＫＨｚに変換
されたＰＣＭオーディオデータはボリューム調整部２５
２で音量調整された後、ミックス回路２５４の入力Ａに
入力される。ミックス回路２５４の入力Ｂには、ボリュ
ーム調整部２５３で音量調整されたＭＩＤＩオーディオ
が入力される。ミックス回路２５４では、入力Ａと入力
Ｂのデータが加算されて、その加算結果が４４．１ＫＨ
ｚのサンプリングデータ（Ｃ）としてサンプリングレー
ト変換部２５７に送られる。

【００９５】ＤＶＤオーディオおよびＣＤオーディオの
入力系統はそれぞれ異なるが、それらは同一ドライブか
ら読み出されるものであるので、通常、ＤＶＤオーディ
オおよびＣＤオーディオが同時に入力されることはな
い。したがって、ＤＶＤドライブに挿入されたメディア
の種類などに応じて、セレクタ２５５により、ＤＶＤオ
ーディオ入力とＣＤオーディオ入力の一方が選択され、
それがボリューム調整部２５６で音量調整された後に、
ミックス回路２５８に送られる。ＤＶＤオーディオのサ
ンプリング周波数は４８ＫＨｚ、ＣＤオーディオのサン
プリング周波数は４４．１ＫＨｚであるので、ボリュー
ム調整部２５６から出力されるデータのサンプリング周
波数は４８ＫＨｚあるいは４４．１ＫＨｚとなる。

【００９６】サンプリングレート変換部２５７では、ミ
ックス回路２５４から入力された４４．１ＫＨｚのサン
プリングデータ（Ｃ）をボリューム調整部２５６からの
サンプリングデータ（Ｄ）のサンプリング周波数に変換
するためのものであり、ミックス回路２５４から入力さ
れた４４．１ＫＨｚのサンプリングデータ（Ｃ）をボリ
ューム調整部２５６からのサンプリングデータ（Ｄ）の
サンプリングクロックに同期して出力するという同期化
処理を行う。たとえば、サンプリングデータ（Ｄ）とし
てＤＶＤオーディオが入力されている場合には、ミック
ス回路２５４から入力された４４．１ＫＨｚのサンプリ
ングデータ（Ｃ）は４８ＫＨｚのタイミングで出力さ
れ、これによって４４．１ＫＨｚのサンプリングデータ
（Ｃ）は４８ＫＨｚのサンプリングデータストリーム
（Ｃ’）に変換される。また、ＣＤオーディオが入力さ
れている場合には、ミックス回路２５４から入力された
４４．１ＫＨｚのサンプリングデータ（Ｃ）はそのまま
のサンプリング周波数でサンプリングデータストリーム
（Ｃ’）として出力されることになる。

【００９７】このようにして、サンプリングデータスト
リーム（Ｃ）はサンプリングデータ（Ｄ）のサンプリン
グ周波数と揃えられた後、ミックス回路２５８にて加算
される。

【００９８】サンプリングレート変換部２５７による同
期化処理およびミックス回路２５８のミックス動作の様
子を図１１に示す。図１１では、サンプリングデータ
（Ｄ）としてＤＶＤオーディオが入力された場合を想定
している。図示のように、サンプリングデータ（Ｃ）と
してＹ_n ，Ｙ_n+1 ，Ｙ_n+2 ，Ｙ_n+3 ，…が入力され、サ
ンプリングデータ（Ｄ）としてｙ_n ，ｙ_n+1 ，ｙ_n+2 ，
ｙ_n+3 ，ｙ_n+4 ，…が入力された場合、サンプリングデ
ータ（Ｃ）のサンプリング周期よりもサンプリングデー
タ（Ｄ）のサンプリング周期が短いので、サンプリング
データ（Ｃ）はその入力よりも出力が早くなり、サンプ
リングデータ（Ｃ）のデータＹ_n とＹ_n+1 との間には、
補間データの代わりに、Ｙ_n が続けて出力されることに
なる。このようにして、定期的に同一データが連続出力
されることにより、サンプリングデータ（Ｃ）のサンプ
リング周波数が４４．１ＫＨｚから４８ＫＨｚに変換さ
れる。

【００９９】なお、サンプリングデータ（Ｃ）を出力す
るタイミングは必ずしもサンプリングデータ（Ｄ）のサ
ンプリング周波数に合わせる必要はなく、サンプリング
データ（Ｄ）のサンプリング周波数よりも高い所定値の
サンプリング周波数を用いればよい。ただし、この場合
には、そのサンプリング周波数を用いて、サンプリング
データ（Ｄ）についても、サンプリングデータ（Ｃ）と
同様の同期化処理を行うことが必要となる。

【０１００】図１２には、サンプリングレート変換部２
５７の具体的なハードウェア構成の一例が示されてい
る。ラッチ回路２００１はサンプリングデータ（Ｃ）を
入力および保持するバッファ回路として機能するもので
あり、次のサンプリングデータ（Ｃ）が入力されるまで
前のサンプリングデータ（Ｃ）を保持する。タイミング
パルス発生回路２００２はサンプリングデータ（Ｄ）か
らサンプリングクロックを抽出または生成しし、それを
サンプリングデータ（Ｃ）の出力タイミングを決めるタ
イミングパルス信号としてＡＮＤ回路２００３に出力す
る。これにより、サンプリングデータ（Ｄ）のサンプリ
ングクロックに同期してその時のラッチ回路２００１の
データがＡＮＤ回路２００３からは出力されることにな
る。

【０１０１】図１３には、本発明の第２実施形態に係る
デジタル音声データ処理装置の基本構成が示されてい
る。このデジタル音声データ処理装置は、入力される複
数のデジタル音声データ（Ａ，Ｂ，Ｃ）それぞれのサン
プリング周波数を判別することにより、最もサンプリン
グ周波数が高いものにサンプリング周波数を揃えてそれ
らデジタル音声データ（Ａ，Ｂ，Ｃ）のデジタルミック
スを行うものであり、図示のように、サンプリングレー
ト判定部７０１、音声データ選択部７０２，７０３，７
０４、サンプリングレート変換部７０５，７０６、ボリ
ューム調整部７０７，７０８，７０９、ミキシング部７
１０、およびＤ／Ａ変換部７１１から構成されている。

【０１０２】以下、このデジタル音声データ処理装置の
動作手順を図１４を参照して説明する。サンプリングレ
ート判定部７０１は、デジタル音声データ（Ａ，Ｂ，
Ｃ）それぞれのサンプリング周波数を判別する（ステッ
プＳ２０１）。この判別結果に基づき、音声データ選択
部７０２，７０３，７０４の選択処理が行われる。例え
ば、デジタル音声データＡ，Ｂ，Ｃのサンプリング周波
数がそれぞれ４４．１ＫＨｚ、２２．０５ＫＨｚ、1
１．０２５ＫＨｚである場合には、最もサンプリング周
波数が高いデジタル音声データＡは音声データ選択部７
０２によって選択されてボリューム調整部７０７に送ら
れ、また残りのデジタル音声データＢ，Ｃはそれぞれ音
声データ選択部７０３，７０４で選択され、サンプリン
グレート変換部７０５，７０６に送られる。

【０１０３】この後、サンプリングレート判定部７０１
は、最も高いサンプリング周波数４４．１ＫＨｚとデジ
タル音声データＢ，Ｃのサンプリング周波数との関係に
基づいて、デジタル音声データＢ，Ｃそれぞれについて
サンプリング周波数の変換倍率を決定する。この例で
は、デジタル音声データＢについては２倍、デジタル音
声データＣについては４倍が、変換倍率となる。

【０１０４】この後、第１実施形態と同様の処理手順
で、サンプリングレート変換処理、ボリューム調整処
理、ミックス処理が行われる（ステップＳ２０３）。す
なわち、サンプリングレート変換部７０５，７０６で
は、デジタル音声データＢ，Ｃに対して第１実施形態と
同様の処理手順で補間処理が施され、これによりデジタ
ル音声データＡ，Ｂ，Ｃのサンプリング周波数は４４．
１ＫＨｚに揃えられる。この後、デジタル音声データ
Ａ，Ｂ，Ｃそれぞれの音量が対応するボリューム調整部
７０７，７０８，７０９で行われた後、それらがミキシ
ング部７１０にてデジタルミックスされる。

【０１０５】デジタルミックスの結果は第１実施形態で
説明したようにデジタルデータまたはＤ／Ａコンバータ
７１１によりアナログデータとして外部に出力される
か、あるいは新たなサウンドデータファイルに変換され
る（ステップＳ２０４，Ｓ２０５，Ｓ２０６）。

【０１０６】

【発明の効果】以上説明したように、本発明によれば、
サンプリング周波数が異なる複数のデジタル音声データ
をデジタルのままミックスできるようになり、高音質の
ミックスデータを得ることが可能となる。また、連続す
る３つのサンプリングデータのみを用いて補間処理を行
う構成を採用することにより、簡単な構成でサンプリン
グ周波数の変換を行うことができる。

【図面の簡単な説明】

【図１】本発明の第１実施形態に係るデジタル音声デー
タ処理装置の基本構成を示すブロック図。

【図２】同実施形態のオーディオデジタルミックス機能
をソフトウェアで実現する場合に必要となるパーソナル
コンピュータの基本構成を示すブロック図。

【図３】図２のパーソナルコンピュータで実行されるデ
ジタルミックス処理の手順を示すフローチャート。

【図４】同実施形態で用いられる補間方法の原理を説明
するための図。

【図５】同実施形態において実行される２倍オーバーサ
ンプリングの補間例を示す図。

【図６】同実施形態で用いられるオーディオデジタルミ
ックス回路の構成を示す図。

【図７】同実施形態のデジタル音声データ処理装置を用
いて実現される音声・画像再生制御装置の基本構成を示
す図。

【図８】図７の音声・画像再生制御装置の具体的なシス
テム構成を示すブロック図。

【図９】図７の音声・画像再生制御装置に適用されるオ
ーディオミキサのハードウェア構成を示す図。

【図１０】図９のオーディオミキサに設けられた第１の
サンプリングレートコンバータの構成例を示す図。

【図１１】図９のオーディオミキサに設けられた第２の
サンプリングレートコンバータの動作を示す図。

【図１２】図９のオーディオミキサに設けられた第２の
サンプリングレートコンバータの回路構成を示す図。

【図１３】本発明の第２実施形態に係るデジタル音声デ
ータ処理装置の基本構成を示すブロック図。

【図１４】同第２実施形態のデジタル音声データ処理装
置の動作を説明するフローチャート。

【符号の説明】

３０１…サンプリングレート変換部 ３０２…ボリューム調整部 ３０３…ボリューム調整部 ３０４…ミキシング部 ３０５…デジタル出力インターフェイス ３０６…アナログ出力インターフェイス ３０７…Ｄ／Ａコンバータ ５０１…ボリューム調整回路（Ｖｏｌｕｍｅ Ａ） ５０２…２倍補間器 ５０３…バッファセレクタ ５０４…同期回路 ５０５…ボリューム調整回路（Ｖｏｌｕｍｅ Ｂ） ５０６…ミックス回路

───────────────────────────────────────────────────── フロントページの続き (72)発明者 藤本 曜久 東京都青梅市末広町２丁目９番地 株式会 社東芝青梅工場内 (72)発明者 来住野 真人 東京都青梅市新町1381番地１ 東芝コンピ ュ―タエンジニアリング株式会社内

Claims (16)

【特許請求の範囲】
1. 【請求項１】 サンプリング周波数が互いに異なる第１
   および第２のデジタル音声データをミックスする音声デ
   ータ処理装置において、 前記第１および第２のデジタル音声データの中でサンプ
   リング周波数が低い側の一方のデジタル音声データのサ
   ンプリング周波数を、サンプリング周波数が高い側の他
   方のデジタル音声データのサンプリング周波数に変換す
   るサンプリングレート変換手段と、 このサンプリングレート変換手段によって変換された一
   方のデジタル音声データと前記他方のデジタル音声デー
   タとをデジタル的にミックスし、そのミックス結果を外
   部にデジタル音声データとして出力する手段とを具備す
   ることを特徴とする音声データ処理装置。
2. 【請求項２】 前記サンプリングレート変換手段は、 前記一方のデジタル音声データを補間する補間手段を含
   み、この補間手段によって得られた補間データを用い
   て、前記一方のデジタル音声データのサンプリング周波
   数を、前記他方のデジタル音声データのサンプリング周
   波数に変換することを特徴とする請求項１記載の音声デ
   ータ処理装置。
3. 【請求項３】 前記補間手段は、 １サンプリングデータ毎にサンプリングデータをシフト
   させながら、前記一方のデジタル音声データを時間的に
   連続する３個のサンプリングデータ（Ｙ_n-1 ，Ｙ_n ，Ｙ
   _n+1 ）単位で取り込み、第１のサンプリングデータ（Ｙ
   _n-1 ）と第３のサンプリングデータ（Ｙ_n+1 ）間の単位
   サンプリング周期当たりのデータ値の変化量に対応する
   傾きと、第２のサンプリングデータ（Ｙ_n ）と第３のサ
   ンプリングデータ（Ｙ_n+1 ）間の単位サンプリング周期
   当たりのデータ値の変化量に対応する傾きと、目的とす
   るサンプリング周波数を得るためのサンプリング周波数
   の変換倍率とに基づいて、第２のサンプリングデータ
   （Ｙ_n ）と第３のサンプリングデータ（Ｙ_n+1 ）のサン
   プリングタイミング間に設定すべき１以上の補間データ
   のデータ値を決定する手段を具備することを特徴とする
   請求項２記載の音声データ処理装置。
4. 【請求項４】 前記補間手段は、 前記３個のサンプリングデータ（Ｙ_n-1 ，Ｙ_n ，Ｙ
   _n+1 ）から前記補間データを生成するために予め決めら
   れた補間式に対応するデジタル演算を実行する演算回路
   から構成されていることを特徴とする請求項３記載の音
   声データ処理装置。
5. 【請求項５】 前記サンプリングレート変換手段は、 前記一方のデジタル音声データを構成するサンプリング
   データが順次入力される入力バッファと、 前記他方のデジタル音声データのサンプリング周波数に
   同期して、前記入力バッファからそこに保持されている
   サンプリングデータを読み出す手段とを含むことを特徴
   とする請求項１記載の音声データ処理装置。
6. 【請求項６】 前記第１および第２のデジタル音声デー
   タそれぞれの各サンプリングデータのデータ値をデジタ
   ル的に増減して、前記第１および第２のデジタル音声デ
   ータの音量を調整するデジタル音量調整手段をさらに具
   備することを特徴とする請求項１記載のデジタル音声デ
   ータ処理装置。
7. 【請求項７】 前記デジタル音量調整手段は、 前記第１および第２のデジタル音声データのそれぞれに
   ついて、各チャンネル毎にサンプリングデータのデータ
   値の増減を行うことを特徴とする請求項６記載の音声デ
   ータ処理装置。
8. 【請求項８】 前記ミックスされたデジタル音声データ
   を、所定フォーマットのデジタルデータストリームに変
   換する手段をさらに具備し、 前記ミックスされたデジタル音声データを前記デジタル
   データストリームとして外部に出力することを特徴とす
   る請求項１記載の音声データ処理装置。
9. 【請求項９】 複数のデジタル音声データを入力し、そ
   れらデジタル音声データをミックスする音声データ処理
   装置において、 前記ミックス対象のデジタル音声データそれぞれのサン
   プリング周波数を判別する手段と、 前記ミックス対象のデジタル音声データそれぞれのサン
   プリング周波数が、最も高いサンプリング周波数を有す
   るデジタル音声データのサンプリング周波数の値に揃う
   ように、前記最も高いサンプリング周波数よりも低いサ
   ンプリング周波数を有する各デジタル音声データそれぞ
   れのサンプリング周波数を変換するサンプリングレート
   変換手段と、 このサンプリングレート変換手段によって変換された各
   デジタル音声データと、前記最も高いサンプリング周波
   数を有するデジタル音声データとをデジタル的にミック
   スし、そのミックス結果を外部にデジタル音声データと
   して出力する手段とを具備することを特徴とする音声デ
   ータ処理装置。
10. 【請求項１０】 デジタル音声データのサンプリング周
    波数を変換する音声データ処理装置において、 サンプリングデータ毎にサンプリングデータをシフトさ
    せながら、前記デジタル音声データを時間的に連続する
    ３個のサンプリングデータ（Ｙ_n-1 ，Ｙ_n ，Ｙ_n+1 ）単
    位で取り込む手段と、 第１のサンプリングデータ（Ｙ_n-1 ）と第３のサンプリ
    ングデータ（Ｙ_n+1 ）間の単位サンプリング周期当たり
    のデータ値の変化量に対応する第１の傾きと、第２のサ
    ンプリングデータ（Ｙ_n ）と第３のサンプリングデータ
    （Ｙ_n+1 ）間の単位サンプリング周期当たりのデータ値
    の変化量に対応する第２の傾きと、目的とするサンプリ
    ング周波数を得るためのサンプリング周波数の変換倍率
    とに基づいて、第２のサンプリングデータ（Ｙ_n ）と第
    ３のサンプリングデータ（Ｙ_n+1）のサンプリングタイ
    ミング間に設定すべき１以上の補間データのデータ値を
    決定する手段とを具備し、 この決定したデータ値の補間データを用いて、デジタル
    音声データのサンプリング周波数を変換することを特徴
    とする音声データ処理装置。
11. 【請求項１１】 目的とするサンプリング周波数を得る
    ためのサンプリング周波数の変換倍率が２倍であると
    き、前記第１および第２の傾きの中間の傾きに基づい
    て、前記第２のサンプリングデータ（Ｙ_n ）のサンプリ
    ングタイミングと前記第３のサンプリングデータ（Ｙ
    _n+1 ）のサンプリングタイミングの中間のサンプリング
    タイミングに設定すべき補間データ（Ｙ_n+1/2 ）のデー
    タ値を決定することを特徴とする請求項１０記載の音声
    データ処理装置。
12. 【請求項１２】 デジタル音声データを外部に出力する
    ためのオーディオ端子を有するコンピュータシステムに
    おいて、 サンプリング周波数が互いに異なる第１および第２のデ
    ジタル音声データの中でサンプリング周波数が低い側の
    一方のデジタル音声データのサンプリング周波数を、サ
    ンプリング周波数が高い側の他方のデジタル音声データ
    のサンプリング周波数に変換するサンプリングレート変
    換手段と、 このサンプリングレート変換手段によって変換された一
    方のデジタル音声データと前記他方のデジタル音声デー
    タとをデジタル的にミックスし、そのミックス結果を、
    前記オーディオ端子から外部にデジタル音声データとし
    て出力する手段とを具備することを特徴とするコンピュ
    ータシステム。
13. 【請求項１３】 サンプリング周波数が互いに異なる第
    １および第２のデジタル音声データをミックスする音声
    データ処理方法において、 前記第１および第２のデジタル音声データの中でサンプ
    リング周波数が低い側の一方のデジタル音声データのサ
    ンプリング周波数を、サンプリング周波数が高い側の他
    方のデジタル音声データのサンプリング周波数に変換
    し、 変換された一方のデジタル音声データと前記他方のデジ
    タル音声データとをデジタル的にミックスし、そのミッ
    クス結果を外部にデジタル音声データとして出力するこ
    とを特徴とする音声データ処理方法。
14. 【請求項１４】 複数のデジタル音声データを入力し、
    それらデジタル音声データをミックスする音声データ処
    理方法において、 前記ミックス対象のデジタル音声データそれぞれのサン
    プリング周波数を判別し、 前記ミックス対象のデジタル音声データそれぞれのサン
    プリング周波数が、最も高いサンプリング周波数を有す
    るデジタル音声データのサンプリング周波数の値に一致
    するように、前記最も高いサンプリング周波数よりも低
    いサンプリング周波数を有する各デジタル音声データの
    サンプリング周波数を変換し、 変換された各デジタル音声データと、前記最も高いサン
    プリング周波数を有するデジタル音声データとをデジタ
    ル的にミックスすることを特徴とする音声データ処理方
    法。
15. 【請求項１５】 デジタル音声データのサンプリング周
    波数を変換する音声データ処理方法において、 １サンプリングデータ毎にサンプリングデータをシフト
    させながら、前記デジタル音声データを時間的に連続す
    る３個のサンプリングデータ（Ｙ_n-1 ，Ｙ_n ，Ｙ_n+1 ）
    単位で取り込み、 第１のサンプリングデータ（Ｙ_n-1 ）と第３のサンプリ
    ングデータ（Ｙ_n+1 ）間の単位サンプリング周期当たり
    のデータ値の変化量に対応する第１の傾きと、第２のサ
    ンプリングデータ（Ｙ_n ）と第３のサンプリングデータ
    （Ｙ_n+1 ）間の単位サンプリング周期当たりのデータ値
    の変化量に対応する第２の傾きと、目的とするサンプリ
    ング周波数を得るためのサンプリング周波数の変換倍率
    とに基づいて、第２のサンプリングデータ（Ｙ_n ）と第
    ３のサンプリングデータ（Ｙ_n+1）のサンプリングタイ
    ミング間に設定すべき１以上の補間データのデータ値を
    決定し、 この決定したデータ値の補間データを用い
    て、デジタル音声データのサンプリング周波数を変換す
    ることを特徴とする音声データ処理方法。
16. 【請求項１６】 サンプリング周波数が互いに異なる第
    １および第２のデジタル音声データをミックスする音声
    データ処理を制御するコンピュータプログラムが記録さ
    れた記録媒体であって、 前記コンピュータプログラムは、 前記第１および第２のデジタル音声データの中でサンプ
    リング周波数が低い側の一方のデジタル音声データのサ
    ンプリング周波数を、サンプリング周波数が高い側の他
    方のデジタル音声データのサンプリング周波数に変換す
    るための制御を行う手順と、 変換された一方のデジタル音声データと前記他方のデジ
    タル音声データとをデジタル的にミックスし、そのミッ
    クス結果を外部にデジタル音声データとして出力するた
    めの制御を行う手順とを具備することを特徴とする記録
    媒体。