JP2005032425A - ミキシングのためのオーディオストリームを製作する方法、その装置およびその情報保存媒体 - Google Patents

Abstract

【課題】 ミキシングのためのオーディオストリームを製作する方法、その装置およびその情報保存媒体を提供する。
【解決手段】 対応するオーディオデータがそれぞれ保存された複数個のオーディオチャンネル成分と、以後に追加的に挿入される追加チャンネル成分と前記オーディオチャンネル成分とのミキシングのためのミキシング情報とを含むことを特徴とする情報保存媒体。これにより、相異なるオーディオストリームの相異なるチャンネル成分同士でも一つのオーディオストリームとしてミキシングして再生できる。
【選択図】 図４Ａ

Description

本発明はオーディオミキシングに係り、より詳細には、相異なるオーディオストリームに保存された複数個のチャンネルに保存されたオーディオデータをミキシング可能にするオーディオストリームを製作する方法、その装置およびその情報保存媒体に関する。

図１は従来のパソコンに設置されたオーディオプレーヤーのボリュームを調節するためのユーザーインターフェースの概略図である。図１に示されたようなボリューム調節インターフェースを通じてユーザーはボリュームを調節できる。所定オーディオストリームを再生するに当って、ユーザーがキーボードまたはマウスを利用してボリュームボタン１００を上げたり下げたりしてボリュームを調節すれば、オーディオプレーヤーはオーディオストリームに保存されたチャンネルの個数、チャンネルの種類に関係なくオーディオストリームを構成する複数個のチャンネルに保存されたオーディオデータをオーディオプレーヤーが設定した任意の方式通りにミキシングして再生する。

たとえば、２つのチャンネルからそれぞれ得られたオーディオデータで構成されたオーディオストリームを再生する場合にプレーヤーはチャンネル１のオーディオデータ１の出力レベルはいくらとするか、チャンネル２のオーディオデータ２の出力レベルはいくらとするかをあらかじめ指定しておく。これに、チャンネル１および２のオーディオデータ１および２はあらかじめ指定された大きさによってその出力レベルが調整されて互いにミキシングされる。

しかし、プレーヤーによる任意のミキシングは次のような問題点が発生しうる。

第１に、コンテンツ提供者が２つのチャンネルからそれぞれ得られたオーディオデータ１および２を同時に提供しつつオーディオデータ１およびオーディオデータ２の出力レベルが特定大きさに調整されてミキシングされることを所望するとしてもコンテンツ提供者の意図通りにミキシングされることができない。なぜなら、パソコンに設置されたプレーヤーにあらかじめ設定された通りに出力レベルの調整のための調整係数が変更されるためにコンテンツ製作者の意図を正しく反映できない。

第２に、歌１曲、映画１編のための台詞など一つのオーディオコンテンツに対するミキシング方式が一応決定されればその再生が終了するまでその方式で一定にミキシングされ、オーディオコンテンツの内容や特性の変化に合せて動的にミキシングを変えることはできず、さらに適応的なオーディオコンテンツを提供できなくなる。

第３に、オーディオコンテンツを構成するチャンネル成分が異なるオーディオコンテンツのチャンネル成分とミキシングされる場合に必ず同じチャンネル成分同士のみでミキシングされうる。換言すれば、コンテンツ提供者がオーディオコンテンツ１の右側チャンネルのオーディオデータとオーディオコンテンツ２の左側チャンネルのオーディオデータとをミキシングすることを所望するとしてもそれを具現できない。特に、一つのオーディオコンテンツはマルチチャンネルデータであり、他のオーディオコンテンツは２チャンネルデータである場合、現在のオーディオプレーヤーは２チャンネルデータをそのままマルチチャンネルデータのサラウンド成分にミキシングできない。したがって、コンテンツ提供者が、ＭＰ３音楽がＤＶＤビデオのマルチチャンネルオーディオのサラウンドチャンネルに自分の指定する出力レベルの大きさほど混ざって再生されることを所望するとしても現在の方式ではそのようなコンテンツ提供者の意図を実現できない。
米国特許第６，２９８、０２５号 特開平１１−２２５３０９号公報 特開平１２−２１４８８８号公報 韓国特許公開第１９９８−００４７１１号

したがって、本発明が解決しようとする技術的課題は、相異なるオーディオストリームを構成するオーディオチャンネル成分同士でミキシング可能にするオーディオストリームを製作する方法、その装置およびその情報保存媒体を提供することである。

前記技術的課題は、本発明によって、対応するオーディオデータがそれぞれ保存された複数個のオーディオチャンネル成分と、以後に追加的に挿入される追加チャンネル成分と前記オーディオチャンネル成分とのミキシングのためのミキシング情報とを含むことを特徴とする情報保存媒体によって達成される。

前記ミキシング情報は前記追加チャンネル成分に関する情報を記録できるフィールドを含むか、所定ダミー値と設定されている、前記追加チャンネル成分に関する情報を記録できるフィールドを含んでいることが望ましい。

また前記技術的課題は、対応するオーディオデータがそれぞれ保存された複数個のオーディオチャンネル成分と、所定オーディオデータを保存するための余裕空間を提供する少なくとも一つのヌルチャンネル成分を持つオーディオストリームとを含むことを特徴とする情報保存媒体により達成される。

前記ヌルチャンネル成分に保存されるオーディオデータが前記複数個のオーディオチャンネルのうち少なくとも一つにミキシングされるために参照されるミキシング情報をさらに含むことが望ましい。

一方、本発明の他の分野によれば、前記技術的課題は、対応するオーディオデータがそれぞれ保存された複数個の主オーディオチャンネルと、所定オーディオデータを保存するための余裕空間を提供する少なくとも一つのヌルチャンネルを持つ主オーディオストリームをデマルチプレクスしてチャンネル別に出力する主マルチプレクサと、前記ヌルチャンネルに充填されるためのオーディオデータが保存された少なくとも一つの補助オーディオチャンネルを持つ補助オーディオストリームをデマルチプレクスしてチャンネル別に出力する補助デマルチプレクサと、前記主マルチプレクサから出力されたヌルチャンネルのうちいずれか一つを前記補助デマルチプレクサから出力された補助オーディオチャンネルのうちいずれか一つに交替するマッパーと、前記マッパーから出力された補助オーディオチャンネルおよび前記主マルチプレクサから出力された主オーディオチャンネルをマルチプレクスして統合オーディオストリームを出力するマルチプレクサとを含むことを特徴とする装置によっても達成される。

前記統合オーディオストリームをデコードするデコーダと、前記デコーダによりデコードされたオーディオチャンネルを前記ミキシング情報を参照してミキシングするミキサーとをさらに含むことが望ましい。

また前記技術的課題は、所定フォーマットのオーディオストリームを完成する複数個の主オーディオチャンネルと、前記主オーディオチャンネルのうちいずれか一つとミキシングされるための補助オーディオチャンネルを持つ統合オーディオストリームをデコードするデコーダと、ミキシング情報を参照して前記補助オーディオチャンネルと前記主オーディオチャンネルとをミキシングするミキサーとを含むことを特徴とする装置によっても達成される。

一方、本発明の他の分野によれば、前記技術的課題は、（ａ）少なくとも一つの主オーディオチャンネル成分を生成する段階と、（ｂ）生成された主オーディオチャンネル成分と、以後に追加的に挿入される追加チャンネル成分とのミキシングのためのミキシング情報をパッケージしてオーディオストリームを製作する段階と、を含むことを特徴とするオーディオストリーム製作方法によっても達成される。

前記（ｂ）段階は、前記ミキシング情報を、前記追加チャンネル成分に関する情報を記録できるフィールドを含むように生成する段階を含むか、前記ミキシング情報を所定ダミー値に設定されている、前記追加チャンネル成分に関する情報を記録できるフィールドを含むように生成する段階を含むことが望ましい。

また、前記技術的課題は、（ａ）少なくとも一つの主オーディオチャンネル成分を生成する段階と、（ｂ）生成された主オーディオチャンネル成分と、少なくとも一つのヌルチャンネル成分を持つ主オーディオストリームを生成する段階とを含むことを特徴とするオーディオストリーム製作方法によっても達成される。

前記方法は、（ｃ）少なくとも一つの補助オーディオチャンネル成分を生成する段階と、（ｄ）生成された補助オーディオチャンネル成分を前記ヌルチャンネル成分と交換して統合オーディオストリームを生成する段階と、をさらに含むことが望ましい。

また、前記技術的課題は、（ａ）少なくとも一つの主オーディオチャンネル成分を生成する段階と、（ｂ）少なくとも一つの補助オーディオチャンネル成分を生成する段階と、（ｃ）生成された主オーディオチャンネル成分および補助オーディオチャンネル成分が保存された統合オーディオストリームを生成する段階と、を含むことを特徴とするオーディオストリーム製作方法によっても達成される。

本発明によれば、相異なるオーディオストリームの相異なるチャンネル成分同士でも一つのオーディオストリームとしてミキシングして再生できる。また、コンテンツの内容や特性の変化に合せて複数個のチャンネル成分に対して動的にミキシングを変えることができてさらに適応的なオーディオコンテンツを提供できる。さらに、統合オーディオストリームはデジタルデータであり、伝送がさらに容易でありかつチャンネル成分別に再活用が可能である。

以下、添付された図面を参照して本発明の望ましい実施例を説明する。

まず、「ミキシング」の意味は次の通りである。１）一つのオーディオストリームを構成する複数個のオーディオチャンネル成分のうち少なくとも一部チャンネル成分の出力レベルを調整するか、２）一つのオーディオストリームを構成する複数個のオーディオチャンネル成分のうち少なくとも一部チャンネル成分の出力レベルを調整した後、調整された出力レベルを持つチャンネル成分を残りのチャンネル成分のうち少なくとも一つに加えるか、３）一つのオーディオストリームを構成する複数個のオーディオチャンネルのオーディオデータのうち少なくとも一部チャンネルのオーディオデータを互いに加えた後、スピーカーに送出することをいう。または、複数個のオーディオストリームをそれぞれ構成する複数個のチャンネル成分のうち少なくとも一部のオーディオチャンネルに対して前記の１）、２）、３）をそのまま適用でき、これもまた「ミキシング」の範ちゅうに属する。さらに、後述する動的ミキシングもまた本明細書でのミキシングに属する。

「オーディオストリーム」とは所定フォーマットによって製作されて、歌１曲、音楽１曲等一つの完成になったオーディオを鑑賞できる単位、すなわち独立的に再生可能なオーディオデータであり、少なくとも一つのチャンネル成分を持つ。

図２は、本発明の一実施例による装置のブロック図である。本実施例による装置１は本発明によって主オーディオストリームおよび補助オーディオストリームを入力されて統合オーディオストリームを生成するために、主マルチプレクサ１１、補助デマルチプレクサ１２、マッパー１３、およびマルチプレクサ１４を含む。

主マルチプレクサ１１は主オーディオストリームを入力されてデマルチプレクスして複数個のオーディオチャンネル成分をそれぞれ出力する。主オーディオストリームは本発明によって製作されたオーディオストリームであり、他のオーディオストリームを構成する複数個のチャンネル成分のうち少なくとも一つのチャンネル成分を追加できる情報構造、すなわち拡張可能な構造を持つ。実線矢印は主オーディオストリームを構成するオーディオチャンネル成分を示し、点線矢印は追加できるチャンネル成分を意味する。後述するように、主オーディオストリームが追加できるチャンネル成分としてあらかじめ少なくとも一つのヌルチャンネルを持っている場合、点線矢印はヌルチャンネル成分を示す。

補助デマルチプレクサ１２は補助オーディオストリームを入力されてデマルチプレクスして複数個の補助オーディオチャンネル成分をそれぞれ出力する。本実施例で補助オーディオストリームはヌルチャンネル成分を持っていないが、ヌルチャンネル成分を持っても構わない。

主マルチプレクサ１１および補助デマルチプレクサ１２はデマルチプレクスする対象がそれぞれ主オーディオストリームおよび補助オーディオストリームであるため、識別のために付けられた名称に過ぎず、ハードウェアー的に主装置および補助装置を意味するものではない。

マッパー１３は、主マルチプレクサ１１から出力された少なくとも一つの追加可能なチャンネル成分を補助デマルチプレクサ１２から出力された少なくとも一つの補助オーディオチャンネル成分に交換する。すなわち、補助オーディオチャンネルに保存されているオーディオデータを主オーディオストリームに挿入する。主オーディオストリームがヌルチャンネルを持っている場合には、ヌルチャンネルに補助オーディオチャンネルに保存されているオーディオデータを充填することによってヌルチャンネル成分を補助オーディオチャンネル成分に交換する。交換時、マッパー１３は補助オーディオチャンネルに保存されているオーディオデータをあらかじめ定められた所定フォーマット、例えば主オーディオチャンネルのそれと同じ方式で再びフォーマットした後、ヌルチャンネルに充填することもある。

マルチプレクサ１４はマッパー１３から出力された、ヌルチャンネル成分と交換された補助オーディオチャンネル成分と主マルチプレクサ１１から出力された主オーディオチャンネル成分とをマルチプレクスして一つの統合オーディオストリームに出力する。この時、マルチプレクサ１４はミキシングに必要な情報を統合オーディオストリームに挿入できる。ただし、再生装置側であらかじめミキシングに必要な情報を知っている場合にはこれを別途に充填しなくても構わない。

統合オーディオストリームは独立的なオーディオストリームであり、所定フォーマットを完成する複数個の主オーディオチャンネル成分を持ち、合せて主オーディオチャンネル成分にミキシングされるための補助オーディオチャンネル成分を持つ。所定フォーマットを完成するということは、所定フォーマットが要求するデータをいずれも具備していることを意味する。たとえば、ドルビー社のＡＣ３による５チャンネル成分をいずれも持っているということを意味する。しかし、これに限定されるものではなくＤＶＤ−Ａｕｄｉｏ、ＭＰＥＧ、Ｄｏｌｂｙ ＰＲＯＬＯＧＩＣ、ＭＰ３、ＷＩＮＤＯＷＳ（登録商標）ＭＥＤＩＡなども利用されうる。

図３は、本発明の他の実施例による装置のブロック図である。本実施例による装置は統合オーディオストリームを入力されて再生するために、デコーダ２１およびミキサー２２を具備する。デコーダ２１は統合オーディオストリームをデコードして、デコードされた複数個の主オーディオチャンネル成分および少なくとも一つの補助オーディオチャンネル成分を出力する。ミキサー２２は少なくとも一つの補助オーディオチャンネル成分を複数個の主オーディオチャンネル成分のうちいずれか一つとミキシングする。ミキシングは、あらかじめ決定された方式によるか、または後述するミキシング情報を参照して行われる。ミキシング情報の内容が複数個存在する場合、ミキサー２２は一つの統合オーディオストリームに対しても一律的なミキシングではなく動的ミキシングを行う。動的ミキシングに関する詳細な説明は後述する。

一方、相異なるフォーマットを持つオーディオチャンネル成分はデコード速度が相異なるためにデコーダ２１からデコードされて出力される量が互いに変わりうる。このような状況を考慮して、ミキサー２２はバッファ（図示せず）を具備できる。バッファはミキシングの前にあらかじめオーディオデータを適宜にバッファリングする。

図４Ａないし図４Ｅは、本発明による主オーディオストリームの多様な実施例を示す。以下で、主オーディオストリームは５つのチャンネルについて例をあげて説明しているが、チャンネルの個数はフォーマットによって多様に変更できることはもちろんである。

図４Ａを参照すれば、本実施例で主オーディオストリームは５つの相異なる主チャンネルを持つオーディオストリームである。５つの主オーディオチャンネルはＬ（Ｌｅｆｔ）、Ｒ（Ｒｉｇｈｔ）、Ｃ（Ｃｅｎｔｅｒ）、ＬＳ（Ｌｅｆｔ Ｓｕｒｒｏｕｎｄ）、ＲＳ（Ｒｉｇｈｔ Ｓｕｒｒｏｕｎｄ）よりなっている。Ｌ、Ｒ、Ｃチャンネルは安定した仮想音源を提供し、ＬＳおよびＲＳチャンネルは現場感あふれる３次元音源を形成する。

一方、本実施例で主オーディオストリームのヘッダには本発明によるミキシング情報が記録されている。ミキシング情報は主オーディオストリームを拡張可能にする。拡張可能であるということは主オーディオストリームに他のオーディオストリームの所定チャンネル成分を挿入できることを意味する。ミキシング情報とは、今後挿入される所定チャンネル成分と既存主オーディオストリームの構成成分である主オーディオチャンネル成分とをミキシング可能にする情報をいう。ミキシング情報の具体的な情報構造は後述する。

図４Ｂを参照すれば、本実施例で主オーディオストリームは５つの相異なる主チャンネルおよび２つのヌルチャンネルを持つ。５つの主オーディオチャンネルは図４Ａのそれと同様に、Ｌ、Ｒ、Ｃ、ＬＳ、ＲＳよりなっている。２つのヌルチャンネルは所定オーディオデータを保存するための余裕空間を提供するためのチャンネルである。本実施例でヌルチャンネルにはデータが保存されずに空いている。

図４Ｃを参照すれば、本実施例で主オーディオストリームを構成する５つの主オーディオチャンネルは図４Ｂのそれと同一であるが、２つのヌルチャンネルは異なる。すなわち、２つのヌルチャンネルは空いておらずにヌルデータが保存されている。ヌルデータは何の意味もないデータ、例えば０の連続などでもあり、またはオーディオデータでもある。ヌルデータとしてのオーディオデータは再生されれば他の付加的な音質を提供することはあるが、再生されなくても主オーディオストリームの音質に大きい影響を及ぼさない。逆に、主オーディオチャンネルのうちいずれか一つが再生されなければ音質に影響を及ぼす。

図４Ｄを参照すれば、本実施例で主オーディオストリームは図４Ｂのそれと同一である。ただし、ヘッダにミキシング情報が挿入されている。ミキシング情報は前述したものと同様に、今後追加的に挿入される所定チャンネル成分と既存主オーディオストリームの構成成分である主オーディオチャンネル成分とをミキシング可能にする情報をいう。

図４Ｅを参照すれば、本実施例で主オーディオストリームは図４Ｃのそれと同一である。ただし、ヘッダにミキシング情報が挿入されている。ミキシング情報は同様に、今後追加的に挿入される所定チャンネル成分と既存主オーディオストリームの構成成分である主オーディオチャンネル成分とをミキシング可能にする情報をいう。

図５は、本発明の一実施例による補助オーディオストリームの概略図である。本実施例による補助オーディオストリームは２チャンネルを持つオーディオストリームであり、２チャンネルからそれぞれ得られたオーディオデータが保存されている。２チャンネルはＬ’およびＲ’よりなっている。２チャンネルオーディオストリームは左右に移動する音の再生が可能である。補助オーディオストリームにおいて‘補助’とは、そのチャンネル成分が本発明による主オーディオストリームに挿入されるという意味で付けられた名称であるだけで、独立的に再生可能なオーディオストリームである。一方、補助オーディオストリームを構成するチャンネルの個数もまたフォーマットによって多様に変更できる。

図６Ａおよび図６Ｂは、本発明による統合オーディオストリームの実施例である。図６Ａを参照すれば、本実施例による統合オーディオストリームは、図４Ａないし図４Ｅの主オーディオストリームと図５の補助オーディオストリームとが統合されて作られたものである。換言すれば、主オーディオストリームに補助オーディオストリームの２チャンネル成分、Ｌ’およびＲ’が追加的に挿入されて得られたものである。主オーディオストリームがヌルチャンネルを持つ場合、２つのヌルチャンネル成分と補助オーディオストリームの２チャンネル成分とがそれぞれ交換されたことと説明することもできる。

一方、統合オーディオストリームは装置により生成されず、直ちに最初から前記のようなフォーマットにオーディオストリーム製作者により製作されうる。統合オーディオストリームはデータ量の少ないデジタルデータであって、必要に応じて補助オーディオチャンネル成分を主オーディオチャンネル成分にミキシングしたり、しなかったりする。

図６Ｂを参照すれば、本実施例による統合オーディオストリームは図６Ａのそれと同一であるが、ヘッダに本発明によるミキシング情報が記録されている。ミキシング情報は主オーディオチャンネル成分と補助オーディオチャンネル成分とをミキシングするために参照される情報である。ミキシング情報もまた装置により生成されて統合オーディオストリームのヘッダに挿入されるか、またはオーディオストリーム製作者の意図によって生成されて統合オーディオストリームのヘッダに挿入される。装置はユーザーの選択に応答してミキシング情報を生成できる。

図７は、図６Ａおよび図６Ｂの統合オーディオストリームを再生するための装置であり、図３の具現例である。ただし、図３のそれと同じ機能を発揮するブロックについては同じ参照番号を付けて反復される説明は省略する。

図７を参照すれば、本具現例による装置は本発明による統合オーディオストリームをデコードした後、統合オーディオストリームのヘッダに記録されたミキシング情報を参照してミキシングする装置であり、デコーダ２１およびミキサー２２を含む。

デコーダ２１は統合オーディオストリームに保存されている５つの主オーディオチャンネルにそれぞれ対応するオーディオデータと、２つの補助オーディオチャンネルにそれぞれ対応するオーディオデータとをデコードして各チャンネル別に出力する。一方、統合オーディオストリームのヘッダからミキシング情報を読み込んでミキサー２２に提供する。必要な場合、デコーダ２１はデコードする時にミキシング情報を参照してデコードすることもある。

ミキサー２２は、デコーダ２１から出力されたオーディオデータの出力レベルを増幅させるための増幅器２２１、２２２、２２３、２２４、２２５、２２６、２２７および少なくとも２つのチャンネルの出力を加算するための加算器２２８、２２９を具備する。ただし、加算器は本実施例を説明するために必要な範囲内でのみ示したものであり、図示していない他のチャンネルの出力を加算するために他の加算器がさらに備えられうることはもちろんである。

ミキサー２２はミキシング情報を参照してデコーダ２１から出力されたＬ、Ｒ、Ｃチャンネルの出力レベルに増幅器２２１、２２２、２２３を通じてそれぞれミキシング係数１を積算し、ＬＳおよびＲＳチャンネルの出力レベルにそれぞれ増幅器２２４、２２５を通じてミキシング係数０．５を積算する。また、ミキサー２２はミキシング情報を参照してデコーダ２１から出力されたＬ’、Ｒ’チャンネルの出力レベルにそれぞれ増幅器２２６、２２７を通じてそれぞれミキシング係数０．５を積算した後、それをそれぞれ加算器２２８、２２９を通じて主オーディオチャンネルであるＬＳチャンネル成分およびＲＳチャンネル成分の出力に加算する。これにより、補助オーディオチャンネルであるＬ’チャンネル成分およびＲ’チャンネル成分が主オーディオチャンネル成分であるＬＳチャンネル成分およびＲＳチャンネル成分に加算されて最終的に５つのＬ、Ｒ、Ｃ、ＬＳ、ＲＳチャンネル成分のオーディオデータに出力される。

図８Ａおよび図８Ｂは、本発明の装置が装着されたシステムの一例を示す。同様に、前記の説明と同じ機能を発揮するブロックについては同じ参照番号を付けて反復される説明は省略する。

図８Ａおよび図８Ｂを参照すれば、システムはオーディオプレーヤー１００およびアンプ２００で構成される。オーディオプレーヤー１００とアンプ２００とはデジタルデータを伝送するのに適した容量を持つ伝送線路４００で連結されている。一例として、ＳＰＤＩ（Ｓｏｎｙ Ｐｈｉｌｉｐｓ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）コネクタを挙げられる。図８Ａではオーディオプレーヤー１００と示されているが、オーディオ／ビデオプレーヤーまたはコンピュータまたはＭＰ３などのようなポータブルミュージックディバイスが用いられることもある。また、オーディオプレーヤー１００とアンプ２００間の伝送線路は無線であることもあり、特定伝送ラインに限定されるものではない。

オーディオプレーヤー１００には図２の装置１が搭載されている。また、本発明による主オーディオストリームが記録されているディスク型情報保存媒体３００がローディングされれば、ディスク型情報保存媒体３００から主オーディオストリームを読み込められるディスクドライブが装着されている。また、オーディオプレーヤー１００には補助オーディオストリームが保存されている保存装置１１０が設けられている。保存装置１１０の例としてはハードディスクまたはメモリを挙げられる。アンプ２００には図３Ａまたは図３Ｂの装置２が搭載されている。情報保存媒体にはＣＤ−Ｒ、ＣＤ−ＲＯＭ、ＤＶＤ、Ｂｌｕｒａｙ、ＡＯＤ（Ａｄｖａｎｃｅｄ Ｏｐｔｉｃａｌ Ｄｉｓｃ）またはフラッシュメモリのようなメモリが選択的に利用され、またオーディオストリームはインターネットやＬＡＮ、ＷＡＮなどのようなネットワークを通じて受信されることもある。

ディスク型情報保存媒体３００に記録された主オーディオストリームは主マルチプレクサ１１に提供され、保存装置１１０に保存されている補助オーディオストリームは補助デマルチプレクサ１２に提供される。マルチプレクサ１４は本発明による統合オーディオストリームを伝送線路４００を通じてアンプ２００に伝達する。アンプ２００は前述したような過程を通じて統合オーディオストリームをデコードしてミキシングする。

前記のようなシステムにおいて、本発明による主オーディオストリームおよび統合オーディオストリームは次のような利点を提供する。従来、相異なるオーディオストリームに保存されたチャンネル成分を互いに共に再生するためには、各オーディオストリームのチャンネル成分をデコードした後にアナログ信号に変え、アナログ信号を所定方式によってミキシングせねばならない。ミキシングされた結果として得られる信号もやはりアナログ信号である。しかし、一般的にプレーヤーとアンプとを連結する伝送線路の容量はオーディオデータをアナログ信号に伝送するのに足りない。したがって、アンプに伝達するためには再びエンコードして、すなわち圧縮して伝送する必要がある。このためにはプレーヤーはエンコーダを具備せねばならない。しかし、本発明による統合オーディオストリームはデジタルデータストリームであって、オーディオプレーヤー１００側にエンコーダを具備しなくても従来伝送線路４００を利用してアンプ２００に伝達できる。

さらに、従来方式でミキシングが完了して最終的に出力されたアナログ信号だけではいかなるチャンネルがいかなるチャンネルにいかなる出力レベルにミキシングされたかが知ることができず、かつ、いかなるチャンネル成分の組合わせであるかを逆追跡して調べることが不可であるため、一応最終的なアナログ信号に作られれば各チャンネル成分別にオーディオデータを抽出するなどのチャンネル別オーディオデータの再活用は不可能である。しかし、本発明によれば、主オーディオストリームと補助オーディオストリームとをミキシングするための前段階として統合オーディオストリームが生成されるため、統合オーディオストリームを製作して所望の方式で主オーディオストリームと補助オーディオストリームとをミキシングできるだけでなく、依然として統合オーディオストリームは主オーディオストリームと補助オーディオストリームおよびミキシング情報を持っているデジタルデータであるため、チャンネル成分別に分離が可能であり、かつ再活用が可能な利点がある。

図９は、本発明の一実施例によるミキシング情報のデータ構造図である。ミキシング情報はミキシングチャンネル情報を含む。ミキシングチャンネル情報はミキシング対象となるチャンネル成分を知らせる。ミキシングチャンネル情報を通じて統合オーディオストリームに保存されたチャンネル成分のうちその出力が互いに加算される成分を知らせ、ミキシング係数情報はミキシング対象であるオーディオデータの出力レベルを決定するためのミキシング係数を知らせる。実施例によってミキシング情報はミキシング関係情報だけを含むか、またはミキシング係数情報だけを含むこともある。

さらに、ミキシング情報は統合オーディオストリームに保存された補助オーディオチャンネルのフォーマットを知らせるエンコード情報と、補助オーディオチャンネルを主オーディオチャンネルに同期化させて再生するために必要な再生時刻情報を知らせる同期化情報とを含むこともある。ただし、再生する装置側であらかじめ補助オーディオチャンネルのエンコード情報および／または同期化情報を知っている場合にはミキシング情報に保存されていないこともある。

また、ミキシング情報はバッファリング情報を持つこともある。バッファリング情報は、相異なるフォーマットのオーディオチャンネル成分のデコード速度が相異なることを勘案して、ミキシングの前にデータ量を適切に調節して供給するために参照される情報であり、バッファの大きさ情報などと具現される。

図１０Ａおよび図１０Ｂは、図９のミキシング情報が保存されたミキシングテーブルの一具現例である。図１０Ａを参照すれば、ミキシングテーブルは図４Ａの主オーディオストリームのためのものであり、今後追加的に挿入されるオーディオチャンネル成分と既存の主オーディオチャンネル成分とのミキシングを考慮して作られたものである。ミキシングテーブルは既存の主オーディオチャンネル成分の識別子を持ち、また追加的に挿入されるオーディオチャンネル成分識別子を記録できるフィールドが設けられている。本実施例ではいずれも‘００’とセットされており、以後にオーディオチャンネルが挿入される時、挿入されるチャンネル成分の識別子として再びセットされる。

ミキシング対象となるチャンネル成分もいずれも‘００’とセットされており、以後にオーディオチャンネルが挿入される時、ミキシングしようとするチャンネル成分の識別子として再びセットされる。

ミキシング係数情報として出力レベルを調整するためのミキシング係数、エンコード情報として各オーディオチャンネルのフォーマット、および同期化情報として各オーディオチャンネル成分の再生時刻を記録できるフィールドが設けられており、はじめにはいずれも‘００’とセットされている。同様に、以後にオーディオチャンネルが挿入される時、製作者、装置またはユーザーの意思に応じて再びセットされる。一方、‘００’はデータの長さを固定する意味として使われたものではなく、追加的に情報が記録できるフィールドが設けられていることを表示するダミー値として使われたものにすぎない。

一方、図４Ｄおよび図４Ｅの主オーディオストリームに対するミキシングテーブルもまた図１０Ａのそれと同一に構成されうる。ただし、図４Ｄおよび図４Ｅの主オーディオストリームは追加的に挿入されるチャンネル成分と交換されるためのヌルチャンネルを持っているため、‘００’とセットされる代わりにヌルチャンネル成分に関する情報が記録される。

図１０Ｂを参照すれば、ミキシングテーブルは図６Ａおよび図６Ｂの統合オーディオストリームのためのものであり、ミキシングチャンネル情報として、ミキサー２２に入力される各オーディオチャンネル成分識別子、すなわち、主オーディオチャンネルおよび補助オーディオチャンネル成分に対する識別子と、ミキシング対象となるチャンネル成分が記録されており、ミキシング係数情報として出力レベルを調整するためのミキシング係数が記録されている。また、エンコード情報として各オーディオチャンネルのフォーマットが記録されており、同期化情報として補助オーディオチャンネルの再生時刻が記録されている。

このようなミキシングテーブルによれば、主オーディオチャンネルであるＬ、Ｒ、Ｃチャンネルの出力レベルにはミキシング係数１が積算され、ＬＳおよびＲＳチャンネルにはミキシング係数０．５が積算される。すなわち、ＬＳおよびＲＳチャンネルの出力レベルを半分に減らした後、それぞれ補助オーディオチャンネルであるＬ’およびＲ’チャンネルに加算することを表示している。一方、補助オーディオチャンネルであるＬ’およびＲ’チャンネルの出力レベルにはそれぞれミキシング係数０．５が積算される。すなわち、Ｌ’およびＲ’チャンネルの出力レベルを半分に減らした後、それぞれＬＳおよびＲＳチャンネルに加算することを表している。

一方、主オーディオチャンネルのフォーマットはＡＣ３であり、補助オーディオチャンネルのフォーマットはＭＰ３であり、補助オーディオチャンネルは再生時刻３００で再生が始まることが分かる。

図１１は、本発明の一実施例による動的ミキシングについて説明するための参考図である。ビデオに保存されたオーディオデータ、すなわち統合オーディオストリームに保存された主オーディオチャンネルまたは主オーディオストリームに保存された主オーディオチャンネルと共に再生される統合オーディオストリームに保存された補助オーディオチャンネルであるＬ’およびＲ’または補助オーディオストリームに保存された補助オーディオチャンネルＬ’およびＲ’が存在する場合、たとえば映画が上映されながら映画監督が自分の意図を説明するナレーションが共に再生される時、最初から最後まで固定的なミキシング係数によって補助オーディオチャンネルＬ’およびＲ’を再生すれば不適切になる恐れがある。すなわち、静かな雰囲気を強調する場面でも激しい戦闘場面でも監督のナレーションが同じ出力レベルで再生されるならば、静かな雰囲気を強調する場面では相対的にナレーションの出力レベルがあまり大きくて感じられて映画の雰囲気と合わず、激しい戦闘場面では相対的にナレーションの出力レベルがあまり小さく感じられて聞こえなくなる恐れがある。したがって、コンテンツ提供者は映画の雰囲気に合わせて出力レベルを調整できるミキシング係数が記録された複数個のミキシングテーブルを作って提供できる。ミキシングテーブルが複数個設けられる場合に参照時刻情報が添付される。参照時刻情報はミキサー２２にミキシングテーブルを参照すべき時点を知らせる情報である。これに、ミキサー２２は参照時刻情報によって複数個のミキシングテーブルをそれぞれ参照して相異なるミキシング係数を積算して出力レベルを調整できる。

同様に、複数個のミキシングテーブルを作ってミキシングチャンネル情報、フォーマット、再生時刻情報などを必要によって多様に変更することによって動的ミキシングを行うようにする。

一方、前述した方法はコンピュータで実行されるコンピュータプログラムで作成されうる。そのコンピュータプログラムを構成するコードらおよびコードセグメントは当該分野のコンピュータプログラマーによって容易に推論できる。また、前記プログラムはコンピュータ可読の情報保存媒体に保存され、コンピュータによって読取られかつ実行されることによって前記方法を具現する。前記情報保存媒体は磁気記録媒体、光記録媒体、およびキャリアウェーブ媒体を含む。

本発明はオーディオミキシングが行われるオーディオ装置、音楽装置などに適用できる。

従来パソコンに設置されたオーディオプレーヤーのボリュームを調節するためのユーザーインターフェースの概略図、 本発明の一実施例による装置のブロック図である。 本発明の他の実施例による装置のブロック図である。 本発明の一実施例による主オーディオストリームの概略図である。 本発明の他の実施例による主オーディオストリームの概略図である。 本発明のまた他の実施例による主オーディオストリームの概略図である。 本発明のさらに他の実施例による主オーディオストリームの概略図である。 本発明のさらに他の実施例による主オーディオストリームの概略図である。 本発明の一実施例による補助オーディオストリームの概略図である。 本発明の一実施例による統合オーディオストリームの概略図である。 本発明の他の実施例による統合オーディオストリームの概略図である。 図６Ａおよび図６Ｂの統合オーディオストリームを再生するための装置であり、図３の具現例である。 本発明の装置が装着されたシステムの一例である。 本発明の装置が装着されたシステムの一例である。 本発明の一実施例によるミキシング情報のデータ構造図である。 図９のミキシング情報が保存されたミキシングテーブルの一具現例である。 図９のミキシング情報が保存されたミキシングテーブルの一具現例である。 本発明の一実施例による動的ミキシングについて説明するための参考図である。

符号の説明

１ 装置
１１ 主マルチプレクサ
１２ 補助デマルチプレクサ
１３ マッパー
１４ マルチプレクサ
２１ デコーダ
２２ ミキサー
１００ オーディオプレーヤー
１１０ 保存装置
２００ アンプ
２２１、２２２、２２３、２２４、２２５、２２６、２２７ 増幅器
２２８、２２９ 加算器
３００ ディスク型情報保存媒体

Claims (42)

1. 対応するオーディオデータがそれぞれ保存された複数個のオーディオチャンネル成分と、
   以後に追加的に挿入される追加チャンネル成分と前記オーディオチャンネル成分とのミキシングのためのミキシング情報とを含むことを特徴とする情報保存媒体。
2. 前記ミキシング情報は前記追加チャンネル成分に関する情報を記録できるフィールドを含んでいることを特徴とする請求項１に記載の情報保存媒体。
3. 前記ミキシング情報は所定ダミー値と設定されている、前記追加チャンネル成分に関する情報を記録できるフィールドを含んでいることを特徴とする請求項１に記載の情報保存媒体。
4. 前記ミキシング情報はミキシング対象チャンネル成分を知らせるミキシングチャンネル情報、出力レベルを知らせるミキシング係数情報、対象チャンネル成分のフォーマットを知らせるエンコード情報、および対象チャンネルの再生時刻を知らせる同期化情報のうち少なくとも一つを含むことを特徴とする請求項１に記載の情報保存媒体。
5. 対応するオーディオデータがそれぞれ保存された複数個のオーディオチャンネル成分と、
   所定オーディオデータを保存するための余裕空間を提供する少なくとも一つのヌルチャンネル成分を持つオーディオストリームとを含むことを特徴とする情報保存媒体。
6. 前記ヌルチャンネル成分は所定オーディオデータを保存するために空いていることを特徴とする請求項５に記載の情報保存媒体。
7. 前記ヌルチャンネル成分はヌルデータで充填されていることを特徴とする請求項５に記載の情報保存媒体。
8. 前記複数個のオーディオチャンネルは所定フォーマットのオーディオストリームを完成する各チャンネルをいずれも含むことを特徴とする請求項５に記載の情報保存媒体。
9. 前記ヌルチャンネル成分に保存されるオーディオデータが前記複数個のオーディオチャンネルのうち少なくとも一つにミキシングされるために参照されるミキシング情報をさらに含むことを特徴とする請求項５に記載の情報保存媒体。
10. 前記ミキシング情報はミキシング対象チャンネルを知らせるミキシングチャンネル情報を含むことを特徴とする請求項９に記載の情報保存媒体。
11. 前記ミキシング情報はミキシング対象チャンネルの出力レベルを知らせるミキシング係数情報をさらに含むことを特徴とする請求項９に記載の情報保存媒体。
12. 前記ミキシング情報は前記ヌルチャンネルに保存されるオーディオデータをデコードするために参照されるエンコード情報を含むことを特徴とする請求項９に記載の情報保存媒体。
13. 前記ミキシング情報は前記ヌルチャンネルに保存されるオーディオデータの再生時刻情報を知らせる同期化情報を含むことを特徴とする請求項９に記載の情報保存媒体。
14. 前記ミキシング情報は前記オーディオストリームのヘッダに記録されていることを特徴とする請求項１に記載の情報保存媒体。
15. 前記ヌルチャンネルに充填されるためのオーディオデータが保存された少なくとも一つのオーディオチャンネルを持つ補助オーディオストリームをさらに含むことを特徴とする請求項５に記載の情報保存媒体。
16. 対応するオーディオデータがそれぞれ保存された複数個の主オーディオチャンネルと、所定オーディオデータを保存するための余裕空間を提供する少なくとも一つのヌルチャンネルを持つ主オーディオストリームをデマルチプレクスしてチャンネル別に出力する主マルチプレクサと、
    前記ヌルチャンネルに充填されるためのオーディオデータが保存された少なくとも一つの補助オーディオチャンネルを持つ補助オーディオストリームをデマルチプレクスしてチャンネル別に出力する補助デマルチプレクサと、
    前記主マルチプレクサから出力されたヌルチャンネルのうちいずれか一つを前記補助デマルチプレクサから出力された補助オーディオチャンネルのうちいずれか一つに交替するマッパーと、
    前記マッパーから出力された補助オーディオチャンネルおよび前記主マルチプレクサから出力された主オーディオチャンネルをマルチプレクスして統合オーディオストリームを出力するマルチプレクサとを含むことを特徴とする装置。
17. 前記ヌルチャンネルは所定オーディオデータを保存するために空いていることを特徴とする請求項１６に記載の装置。
18. 前記ヌルチャンネルはヌルデータで充填されていることを特徴とする請求項１６に記載の装置。
19. 前記マルチプレクサは、前記ヌルチャンネルと交替されるチャンネルに保存されたオーディオデータが前記複数個のオーディオチャンネルのうち少なくとも一つとミキシングされるために参照されるミキシング情報が保存された前記統合オーディオストリームを出力することを特徴とする請求項１６に記載の装置。
20. 前記ミキシング情報はミキシング対象チャンネルを知らせるミキシングチャンネル情報を含むことを特徴とする請求項１９に記載の装置。
21. 前記ミキシング情報はミキシング対象チャンネルの出力レベルを知らせるミキシング係数情報をさらに含むことを特徴とする請求項１９に記載の装置。
22. 前記ミキシング情報は、前記ヌルチャンネルと交替されるチャンネルに保存されるオーディオデータをデコードするために参照されるエンコード情報と、前記ヌルチャンネルと交替されるチャンネルに保存されるオーディオデータの再生時刻情報を知らせる同期化情報のうち少なくとも一つを含むことを特徴とする請求項１９に記載の装置。
23. 前記統合オーディオストリームをデコードするデコーダと、
    前記デコーダによりデコードされたオーディオチャンネルを前記ミキシング情報を参照してミキシングするミキサーと、をさらに含むことを特徴とする請求項１９に記載の装置。
24. 所定フォーマットのオーディオストリームを完成する複数個の主オーディオチャンネルと、前記主オーディオチャンネルのうちいずれか一つとミキシングされるための補助オーディオチャンネルとを持つ統合オーディオストリームをデコードするデコーダと、
    ミキシング情報を参照して前記補助オーディオチャンネルと前記主オーディオチャンネルとをミキシングするミキサーとを含むことを特徴とする装置。
25. 前記ミキサーは前記統合オーディオストリームのヘッダに記録されている前記ミキシング情報を参照してミキシングすることを特徴とする請求項２４に記載の装置。
26. 前記デコーダは前記ミキシング情報のうちエンコード情報および再生時刻情報を参照して前記補助オーディオチャンネルに保存されているオーディオデータをデコードすることを特徴とする請求項２４に記載の装置。
27. 前記ミキサーは前記ミキシング情報のうちミキシングチャンネル情報およびミキシング係数情報を参照して補助オーディオチャンネルを前記主オーディオチャンネルとミキシングすることを特徴とする請求項２４に記載の装置。
28. （ａ）少なくとも一つの主オーディオチャンネル成分を生成する段階と、
    （ｂ）生成された主オーディオチャンネル成分と、以後に追加的に挿入される追加チャンネル成分とのミキシングのためのミキシング情報をパッケージしてオーディオストリームを製作する段階とを含むことを特徴とするオーディオストリーム製作方法。
29. 前記（ｂ）段階は、
    前記ミキシング情報を、前記追加チャンネル成分に関する情報を記録できるフィールドを含むように生成する段階を含むことを特徴とする請求項２８に記載のオーディオストリーム製作方法。
30. 前記（ｂ）段階は、
    前記ミキシング情報を所定ダミー値に設定されている、前記追加チャンネル成分に関する情報を記録できるフィールドを含むように生成する段階を含むことを特徴とする請求項２８に記載のオーディオストリーム製作方法。
31. （ａ）少なくとも一つの主オーディオチャンネル成分を生成する段階と、
    （ｂ）生成された主オーディオチャンネル成分と、少なくとも一つのヌルチャンネル成分とを持つ主オーディオストリームを生成する段階とを含むことを特徴とするオーディオストリーム製作方法。
32. （ｃ）少なくとも一つの補助オーディオチャンネル成分を生成する段階と、
    （ｄ）生成された補助オーディオチャンネル成分を前記ヌルチャンネル成分と交換して統合オーディオストリームを生成する段階とをさらに含むことを特徴とする請求項３１に記載のオーディオストリーム製作方法。
33. （ａ）少なくとも一つの主オーディオチャンネル成分を生成する段階と、
    （ｂ）少なくとも一つの補助オーディオチャンネル成分を生成する段階と、
    （ｃ）生成された主オーディオチャンネル成分および補助オーディオチャンネル成分が保存された統合オーディオストリームを生成する段階とを含むことを特徴とするオーディオストリーム製作方法。
34. 複数の主チャンネルを持つ主デジタルストリームおよび少なくとも一つの補助チャンネルを持つ補助デジタルストリームをデマルチプレクスする第１デマルチプレクサと、
    前記複数の主チャンネルのうち少なくとも一つと前記補助チャンネルのうち少なくとも一つとを交換するマッパーと、
    統合ストリームを生成するために前記複数の主チャンネルのうち残りおよび前記交換された補助チャンネルをマルチプレクスするマルチプレクサとを含むことを特徴とするデジタルミキサーシステム。
35. 前記第１デマルチプレクサは、
    前記主デジタルストリームを複数の主チャンネルにデマルチプレクスする主マルチプレクサと、
    前記補助デジタルストリームを少なくとも一つの補助チャンネルにデマルチプレクスする補助デマルチプレクサとを含むことを特徴とする請求項３４に記載のデジタルミキサーシステム。
36. 前記マルチプレクサは前記統合ストリームのヘッダ内に、再生時に用いられるミキシング情報を挿入することを特徴とする請求項３４に記載のデジタルミキサーシステム。
37. 前記ミキシング情報は前記主チャンネルおよびミキシングされる少なくとも一つの補助チャンネルを指定するミキシングチャンネル情報を含むことを特徴とする請求項３６に記載のデジタルミキサーシステム。
38. 前記ミキシング情報は再生時に使われる前記主チャンネルと、少なくとも一つの補助チャンネルの出力レベルを指定するミキシング係数情報とを含むことを特徴とする請求項３７に記載のデジタルミキサーシステム。
39. 前記ミキシング情報は再生中に前記少なくとも一つの補助チャンネルの再生時間を指定する同期情報を含むことを特徴とする請求項３８に記載のデジタルミキサーシステム。
40. オーディオをデジタル的にミキシングする方法であって、
    複数の主オーディオチャンネルを持つ主デジタルオーディオストリームおよび少なくとも一つの補助オーディオチャンネルを持つ補助デジタルオーディオストリームをデマルチプレクスする段階と、
    前記複数の主オーディオチャンネルのうち少なくとも一つを前記補助オーディオチャンネルの少なくとも一つと交換する段階と、
    統合オーディオストリームを生成するために前記複数の主オーディオチャンネルのうち残りと前記交換された補助オーディオチャンネルをマルチプレクスする段階と、
    再生中に使われる主オーディオチャンネルおよび少なくとも一つの補助オーディオチャンネルを指定するミキシング情報と、再生中に前記少なくとも一つの補助オーディオチャンネルの再生時間を指定する同期情報とを保存する段階と、
    前記統合オーディオストリームを前記主オーディオチャンネルおよび少なくとも一つの補助チャンネルに対応する複数の再生オーディオチャンネルにデコードする段階と、
    前記複数のデコードされたオーディオチャンネルのうち少なくとも二つを選択して、前記ミキシング情報によって前記選択されたデコードされたオーディオチャンネルをミキシングする段階とを含むことを特徴とするデジタルミキシング方法。
41. ５チャンネルサラウンドサウンドオーディオストリームを含む第１オーディオ入力ストリームと、２チャンネル補助オーディオストリームを含む第２オーディオ入力ストリームと、を含む少なくとも二つのオーディオ入力ストリームを受信する段階と、
    前記第１オーディオ入力ストリーム中の５チャンネルのうち少なくとも一つと前記第２オーディオ入力ストリームのうち少なくとも一つの補助オーディオチャンネルとを交換する段階と、
    前記第１オーディオ入力ストリームから５チャンネルのうち残りおよび前記少なくとも一つの交換された補助オーディオチャンネルの出力レベルを指定するミキシング情報を生成する段階と、
    前記第１オーディオ入力ストリームから５チャンネルのうち残りおよび少なくとも一つの交換された補助オーディオチャンネル並びに前記ミキシング情報に基づいて統合オーディオストリームを生成する段階とを含むことを特徴とする統合オーディオストリーム生成方法。
42. 記録および／または再生装置に用いられる情報伝達波信号において、
    それぞれが対応オーディオチャンネルコンポーネントを含む複数のオーディオストリームと、
    前記装置により選択された前記オーディオチャンネルコンポーネントと合わせれる付加的なチャンネルコンポーネントをミキシングするために前記装置により使われるミキシング情報とを含むことを特徴とする情報伝達波信号。

Images