JP2017503375A - オーディオの対スクリーン・レンダリングおよびそのようなレンダリングのためのオーディオのエンコードおよびデコード - Google Patents

Abstract

いくつかの実施形態では、少なくとも一つのオーディオ・オブジェクトについての少なくとも一つの歪め度パラメータを示すスクリーン関係メタデータを含むオブジェクト・ベースのオーディオ・プログラムを生成する、あるいは少なくとも部分的には少なくとも一つの歪め度パラメータによって決定される度合いまでオブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを歪めることによることを含めスピーカー・チャネル・ベースのプログラムを生成する方法、あるいはそのような任意のオーディオ・プログラムをデコードまたはレンダリングする方法。他の側面は、そのようなオーディオ信号生成、デコードまたはレンダリングを実行するよう構成されたシステムおよび任意のそのようなオーディオ・プログラムの少なくとも一つのセグメントを記憶するバッファ・メモリを含むオーディオ処理ユニット（たとえばデコーダまたはエンコーダ）である。

Description

関連出願への相互参照
本願は2013年11月14日に出願された米国仮特許出願第61/904,233号の優先権の利益を主張するものである。同出願の内容はここに参照によってその全体において組み込まれる。

発明の技術分野
本発明は、対応するビデオ・コンテンツをもつオーディオ・プログラム（たとえば、映画または他のオーディオビジュアル・プログラムのサウンドトラック）のエンコード、デコードおよびレンダリングに関する。いくつかの実施形態では、プログラムは、少なくとも一つのオーディオ・オブジェクト・チャネルと、スクリーン関係メタデータ（screen-related metadata）と、典型的にはまたスピーカー・チャネルとを含むオブジェクト・ベースのオーディオ・チャネルである。スクリーン関係メタデータは、プログラムによって示される音源（たとえばオブジェクト・チャネルによって示されるオブジェクト）が再生システムの表示スクリーンに対する諸位置（少なくとも部分的には前記スクリーン関係メタデータによって決定される）においてレンダリングされる対スクリーン・レンダリング（screen-relative rendering）をサポートする。

本発明の実施形態は、オーディオ・コンテンツ生成および配送パイプライン（たとえば、オーディオビジュアル・プログラムのオーディオ・コンテンツを生成し、配送するためのパイプライン）の一つまたは複数の側面に関する。

そのようなパイプラインは、オーディオ・プログラム（典型的には、オーディオ・コンテンツおよび該オーディオ・コンテンツに対応するメタデータを示すエンコードされたオーディオ・プログラム）の生成を実装する。オーディオ・プログラムの生成は、オーディオ制作〔プロダクション〕活動（オーディオの捕捉および記録）および任意的にはまた「ポストプロダクション」活動（記録されたオーディオの操作）を含んでいてもよい。生放送は、必然的に、あらゆるオーサリング決定がオーディオ制作の間になされることを要求する。映画および他の非リアルタイム・プログラムの生成においては、多くのオーサリング決定はポストプロダクションの間になされてもよい。

オーディオ・コンテンツ生成および配送パイプラインは任意的に、プログラムのリミックスおよび／またはリマスタリングを実装する。いくつかの場合には、プログラムは、コンテンツを代替的な使用ケースのために転用するため、コンテンツ生成後に追加的な処理を必要とすることがある。たとえば、映画館での再生のためにもともと生成されたプログラムが、家庭環境での再生により好適であるよう修正（たとえばリミックス）されてもよい。

オーディオ・コンテンツ生成および配送パイプラインは典型的には、エンコード段を含む。オーディオ・プログラムは、配送を可能にするためにエンコードを必要とすることがある。たとえば、家庭での再生のために意図されるプログラムは、典型的には、より効率的な配送を許容するためにデータ圧縮される。エンコード・プロセスは、空間的オーディオ・シーンの複雑さの低減および／またはプログラムの個々のオーディオ・ストリームのデータ・レート低減および／またはオーディオ・コンテンツ（たとえば圧縮されたオーディオ・コンテンツ）の複数のチャネルおよび対応するメタデータの、所望されるフォーマットをもつビットストリームへのパッケージングの段階を含んでいてもよい。

オーディオ・コンテンツ生成および配送パイプラインは、（典型的にはデコーダを含む再生システムによって実装される）デコードおよびレンダリングの段を含む。最終的には、プログラムは、再生設備および環境に基づいてオーディオ記述をラウドスピーカー信号にレンダリングすることによって、最終消費者に呈示される。

本発明の典型的な実施形態は、聴覚像の位置が、対応する視覚像の位置と整合する仕方で信頼できるように呈示されるよう、オーディオ・プログラム（たとえば、映画またはオーディオおよび画像コンテンツをもつ他のプログラムのサウンドトラック）が再生されることを許容する。

伝統的には、映画館のミキシング室（または他のオーディオビジュアル・プログラム・オーサリング環境）では、表示スクリーン（本稿では、オーディオビジュアル・プログラム再生スクリーンと区別するために「参照」スクリーンと称される）の位置およびサイズは、ミキシング環境の前方壁と一致し、参照スクリーンの左右の端は左右のメイン・スクリーン・ラウドスピーカーの位置と一致する。追加的な中央スクリーン・チャネルは一般に、参照スクリーン／壁の中央に位置される。このように、前方壁の広がり、前面ラウドスピーカー位置およびスクリーン位置は一貫して共位置にされる。典型的には、参照スクリーンは部屋とほぼ同じくらい広く、左、中央および右のラウドスピーカーは参照スクリーンの左端、中心および右端に近い。この配列は、期待される映画シアター再生位置におけるスクリーンおよび前面スピーカーの典型的な配列と同様である。たとえば、図１は、そのような映画シアターの前方壁の図であり、表示スクリーンS、左右の前方スピーカー（LおよびR）および前方中央スピーカー（C）が前方壁に（またはその近くに）取り付けられている。映画の再生中、視覚像BがスクリーンS上に表示され、その間、付随する音「A」が（スピーカーL、R、Cを含む）再生システムのスピーカーから放出される。たとえば、像Bは、音源（たとえば鳥またはヘリコプター）の画像であってもよく、音「A」はその音源から発しているように知覚されることが意図される音であってもよい。映画は、前面スピーカーがスクリーンSと同平面に位置され、左前方および右前方スピーカー（LおよびR）がスクリーンSの左および右端にあり、中央前方スピーカーがスクリーンSの中央付近にあるときに、音Aが、像Bが表示されるスクリーンS上の位置に一致する（またはほぼ一致する）音源位置から発しているように知覚されるよう、オーサリングおよびレンダリングされているものとする。図１は、スクリーンSが少なくとも実質的に音響的に透明であり、スピーカーL、C、RはスクリーンSの背後に（ただし少なくとも実質的にスクリーンSの面内に）設置されていると想定している。

しかしながら、消費者の家庭における（またはモバイル・ユーザーのポータブル再生装置による）再生中は、再生システムの前面スピーカー（またはヘッドセット・スピーカー）の、互いに対するおよび再生システムの表示スクリーンに対するサイズおよび位置は、プログラム・オーサリング環境（たとえば映画館ミキシング室）の前面スピーカーおよび表示スクリーンのものと一致する必要はない。そのような再生事例では、再生スクリーンの幅は典型的には左右のメイン・スピーカー（左右の前方スピーカーまたはヘッドセット、たとえば一対のヘッドフォンのスピーカー）を分離する距離より有意に小さい。スクリーンがメイン・スピーカーに対して中心にされていない、またさらには固定位置にさえない（たとえば、ヘッドフォンを装着して表示装置を保持しているモバイル・ユーザーの場合）こともありうる。これは、知覚されるオーディオとビジュアルの間の、気づかれる食い違いを作り出すことがある。

たとえば、図２は、前方壁に（またはその近くに）取り付けられた家庭シアター・システムの表示スクリーン（S'）、左右の前方スピーカー（L'およびR'）および前方中央スピーカー（C'）をもつ部屋の前方壁（W'）の図である。図１の例に記載された同じ映画の（図２のシステムによる）再生中、視覚像BはスクリーンS'上に表示され、その間、付随する音Aが（スピーカーL'、R'、C'を含む）再生システムのスピーカーから放出される。映画は、音Aが、像Bが表示される映画シアター・スクリーン上の位置に一致する（またはほぼ一致する）音源位置から発しているように知覚されるよう、（映画シアター再生システムによる）レンダリングおよび再生のためにオーサリングされているものと想定した。しかしながら、映画が図２の家庭シアター・システムによって再生されるとき、音Aは、左前方スピーカーL'に近い音源位置から発しているように知覚されることになる。その音源位置は像Bが表示される家庭シアター・スクリーンS'上の位置と一致するのでも、ほぼ一致するのでもない。これは、家庭シアター・システムの前方スピーカーL'、C'およびR'が、プログラム・オーサリング・システムの前方スピーカーがプログラム・オーサリング・システムの参照スクリーンに対してもつものとは、異なるサイズおよび位置をスクリーンS'に対して有することによる。

図１および図２の例では、期待される映画館再生システムは、そのラウドスピーカーとスクリーンとの間のよく定義された関係をもつものと想定される。よって、表示される画像および対応するオーディオ源についてのコンテンツ・クリエーターの所望される相対位置は、（映画館における再生の間）信頼性をもって再現できる。他の環境での（たとえば家庭オーディオ・ビデオ室での）再生については、ラウドスピーカーとスクリーンとの間の想定される関係は典型的には保存されず、よって（コンテンツ・クリエーターによって所望される）表示される画像と対応するオーディオ源との相対位置は典型的にはよく再現されない。（ラウドスピーカーとスクリーンとの間での想定される関係をもつ映画館以外における）再生中に実際に達成される表示される画像と対応するオーディオ源の相対位置は、再生システムのラウドスピーカーおよび表示スクリーンの実際の相対的な位置およびサイズに基づく。

オーディオビジュアル・プログラムの再生の間、オン・スクリーン位置において知覚されるようレンダリングされる音については、最適な聴覚像位置は、聴取者位置とは独立である。（スクリーンの平面に垂直な方向において0でない距離にある）オフ・スクリーン位置において知覚されるようレンダリングされる音については、聴取者位置に依存して、音源の聴覚的に知覚される位置におけるパララックス誤差（parallax errors）の可能性がある。既知のまたは想定される聴取者位置に基づいてそのようなパララックス誤差を最小にするまたはなくすよう試みる諸方法が提案されている。

オブジェクト・ベースのオーディオ・プログラム（たとえば映画サウンドトラックを示すオブジェクト・ベースのプログラム）をレンダリングするために（たとえば映画シアターにおいて）ハイエンドの再生システムを用いることが知られている。たとえば、映画サウンドトラックであるオブジェクト・ベースのオーディオ・プログラムは、意図される全体的な聴覚体験を作り出すために、スクリーン上の像に対応する多くの異なる音要素（オーディオ・オブジェクト）、ダイアログ、ノイズおよびスクリーン上の（またはスクリーンに対する）異なる位置から発するサウンド効果ならびに背景音楽および周囲効果（ambient effects）（これはプログラムのスピーカー・チャネルによって示されてもよい）を示していてもよい。そのようなプログラムの正確な再生は、音が、オーディオ・オブジェクト・サイズ、位置、強度、動きおよび奥行きに関してコンテンツ・クリエーターによって意図されているものにできるだけ近く対応する仕方で再現されることを要求する。

オブジェクト・ベースのオーディオ・プログラムは、伝統的なスピーカー・チャネル・ベースのオーディオ・プログラムに対して有意な改善を表わす。スピーカー・チャネル・ベースのオーディオは、特定のオーディオ・オブジェクトの空間的再生に関して、オブジェクト・チャネル・ベースのオーディオよりも制限されているからである。スピーカー・チャネル・ベースのオーディオ・プログラムのオーディオ・チャネルは、スピーカー・チャネルのみからなり（オブジェクト・チャネルなし）、各スピーカー・チャネルは典型的には、聴取環境における特定の、個別のスピーカーのためのスピーカー・フィードを決定する。

オブジェクト・ベースのオーディオ・プログラムを生成し、レンダリングするためのさまざまな方法およびシステムが提案されている。オブジェクト・ベースのオーディオ・プログラムの生成の間、典型的には、任意の数のラウドスピーカーがプログラムの再生のために用いられること、再生のために（典型的には映画シアターにおいて）用いられるラウドスピーカーは再生環境中の任意の位置に位置されるのであり、必ずしも（公称上の）水平面内またはプログラム生成の時点で知られていた他の任意の所定の配置ではないことが想定される。典型的には、プログラムに含まれるオブジェクト関係メタデータは、たとえばスピーカーの三次元アレイを使って、（三次元体積において）ある見かけの空間位置にまたはある軌跡に沿ってプログラムの少なくとも一つのオブジェクトをレンダリングするためのレンダリング・パラメータを示す。たとえば、プログラムのオブジェクト・チャネルは、（該オブジェクト・チャネルによって示される）オブジェクトがレンダリングされる見かけの空間位置の三次元軌跡を示す対応するメタデータを有していてもよい。軌跡は、（再生環境の、床上に位置されていると想定されるスピーカーの部分集合の平面内または他の水平面内の）「床」位置のシーケンスと、（それぞれ再生環境の少なくとも一つの他の水平面に位置されると想定されるスピーカーの部分集合を駆動することによって決定される）「床上方」位置のシーケンスとを含んでいてもよい。オブジェクト・ベースのオーディオ・プログラムのレンダリングの例は、たとえば、本願の被譲渡者に譲渡された特許文献１に記載されている。

オブジェクト・ベースのオーディオ・プログラム・レンダリングの到来は、処理されるオーディオ・データの量およびレンダリング・システムによって実行されねばならないレンダリングの複雑さを有意に増した。これは部分的には、オブジェクト・ベースのオーディオ・プログラムは多くのオブジェクト（それぞれ対応するメタデータをもつ）を示すことがあり、多くのラウドスピーカーを含むシステムによる再生のためにレンダリングされうるからである。意図されるレンダリング・システムがプログラムをレンダリングする機能をもつよう、オブジェクト・ベースのオーディオ・プログラムに含まれるオブジェクト・チャネルの数を制限することが提案されている。たとえば、2012年12月21日に出願された「オブジェクト・ベースのオーディオ・コンテンツをレンダリングするためのシーン単純化およびオブジェクト・クラスタリング」と題する、Brett Crockett, Alan Seefeldt, Nocolas Tsingos, Rhonda WilsonおよびJeroen Breebaartを発明者として挙げ、本発明の被譲渡者に譲渡された米国仮特許出願第61/745,401号は、入力オブジェクト・チャネルをクラスタリングして、プログラムに含められるクラスタリングされたオブジェクト・チャネルを生成することによっておよび／または、入力オブジェクト・チャネルのオーディオ・コンテンツをスピーカー・チャネルと混合してプログラムに含められる混合されたスピーカー・チャネルを生成することによって、オブジェクト・ベースのオーディオ・プログラムのオブジェクト・チャネルの数をそのように制限するための方法および装置を記載している。本発明のいくつかの実施形態は、再生システムへの（スクリーン関係メタデータと一緒の）送達のためのオブジェクト・ベースのプログラムを生成するために、あるいは再生システムへの送達のためのスピーカー・チャネル・ベースのプログラムの生成において使うために、（たとえばミキシングまたはリミックス施設において）そのようなクラスタリングとの関連で実行されてもよいことが考えられている。

PCT国際出願第PCT/US2011/028783号、国際公開第2011/119041A2号、2011年9月29日公開

本開示を通じて、オーディオ・プログラムの少なくとも一つのチャネル（たとえば、オブジェクト・チャネルまたはスピーカー・チャネル）の「歪め」（warping［ワーピング］）とは、プログラムが対応するビデオ・コンテンツをもつことを想定し（たとえばプログラムは映画または他のオーディオビジュアル・プログラムのサウンドトラックであってもよい）、歪められたオーディオ・コンテンツを生成するようそれぞれの前記チャネルのオーディオ・コンテンツ（オーディオ・データ）を処理すること（あるいはそれぞれの前記チャネルを歪められたオーディオ・コンテンツを示す少なくとも一つの他のオーディオ・チャネルで置き換えること）を表わす。歪められたオーディオ・コンテンツがレンダリングされてスピーカー・フィードを生成し、該スピーカー・フィードが再生スピーカーを駆動するために用いられると、スピーカーから発される音は、（コンテンツ・クリエーターが参照スクリーン、たとえば映画シアターのスクリーンに対して少なくとも一つの所定の位置において知覚されるよう意図した）少なくとも一つのオーディオ要素であって、知覚される歪められた位置（これは固定であってもよく、時間とともに変化してもよい）をもつものを示す。歪められた位置は、（コンテンツ・クリエーターによって想定された参照スクリーンに対してではなく）再生システムの表示スクリーンに対する所定の位置であるという意味で「歪められ（warped）」ている。典型的には、それぞれの歪められた位置は、オーディオ・プログラムと一緒に提供される（たとえばオーディオ・プログラムに含められる）メタデータ（本稿では「スクリーン関係」メタデータと称される）によって、（少なくとも部分的には）再生システムの表示スクリーン（時に「再生スクリーン」と称される）に対して決定される。それぞれの歪められた位置は、スクリーン関係メタデータおよび再生システム構成を示す他のデータ（たとえば、再生システムのスピーカーおよび表示スクリーンの位置または位置およびサイズおよび／または諸サイズおよび／または諸位置の間の関係（単数または複数）を示すデータ）によって決定されうる。歪められた位置（単数または複数）は、実際の再生スクリーンと一致してもよいが、その必要はない。本発明のいくつかの実施形態は、（再生スクリーンに対して）オン・スクリーンおよび／またはオフ・スクリーンの、再生の間に変化する歪められた位置の間でのなめらかな遷移を許容する。

本稿において、プログラムの少なくとも一つのチャネルの「オフ・スクリーンの歪め」という表現は、（前記少なくとも一つのチャネルのオーディオ・コンテンツによって決定される）少なくとも一つの対応するオーディオ要素の歪められた位置が、再生スクリーンに対して0でない奥行きのところにある（すなわち、再生スクリーンの平面に少なくとも実質に垂直な方向において再生スクリーンからの0でない距離をもつ）という型の、前記少なくとも一つのチャネルの「歪め」を表わす。

第一のクラスの実施形態では、本発明は、オーディオ・プログラム（たとえばオブジェクト・ベースのオーディオ・プログラム）をレンダリングする方法であって：（ａ）少なくとも一つの歪め度（warping degree）パラメータを決定する（たとえば、プログラムをパースして、プログラムのスクリーン関係メタデータによって示される少なくとも一つの前記一つの歪め度パラメータを同定することによる、あるいは少なくとも一つの前記一つの歪め度パラメータを再生システムに対して指定することによることを含むレンダリングを実行するよう再生システムを構成することによる）段階と；（ｂ）プログラムの少なくとも一つのチャネルのオーディオ・コンテンツに対して、少なくとも部分的には前記チャネルに対応する歪め度パラメータによって決定される度合いまで歪めを実行する段階であって、それぞれの前記歪め度パラメータは、再生システムによってプログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す（たとえば、該最大の度合いを示す非バイナリー値である）段階とを含む方法である。第一のクラスのいくつかの実施形態では、段階（ａ）は、少なくとも一つのオフ・スクリーン歪めパラメータを決定する（たとえば、プログラムをパースして、プログラムのスクリーン関係メタデータによって示される少なくとも一つの前記一つのオフ・スクリーン歪めパラメータを同定することによる）段階を含み、前記オフ・スクリーン歪めパラメータは、再生システムによるプログラムの対応するオーディオ・コンテンツに対するオフ・スクリーン歪めの少なくとも一つの特性を示し、段階（ｂ）において実行される歪めは、少なくとも部分的には少なくとも一つの前記オフ・スクリーン歪めパラメータによって決定されるオフ・スクリーン歪めを含む。たとえば、オフ・スクリーン歪めパラメータは、オーディオ要素の歪められた位置の（再生スクリーンの平面に少なくとも実質的に平行な方向における）歪めの仕方もしくは度合いまたは最大の歪めを、奥行き（再生スクリーンの平面に少なくとも実質的に垂直な方向における再生スクリーンからの距離）の関数として制御してもよい。いくつかの実施形態では、段階（ａ）において決定される歪め度パラメータは、プログラムの対応するオーディオ・コンテンツに対して（再生スクリーンに少なくとも実質的に垂直なある奥行きにある）再生スクリーンの平面に少なくとも実質的に平行な平面において実行される歪めの最大の度合いを示し、よってオフ・スクリーン歪めパラメータである。他の実施形態では、段階（ａ）は、少なくとも一つの歪め度パラメータおよび歪め度パラメータではない少なくとも一つのオフ・スクリーン歪めパラメータを決定することを含む。いくつかの実施形態では、プログラムは、少なくとも二つのオブジェクトを示し、段階（ａ）は、前記オブジェクトの少なくとも二つのそれぞれについて、少なくとも一つの歪め度パラメータを独立に決定する段階を含み、段階（ｂ）は、少なくとも部分的には前記オブジェクトの前記それぞれに対応する前記少なくとも一つの歪め度パラメータによって決定される度合いまで前記オブジェクトのそれぞれを示すオーディオ・コンテンツに対して歪めを独立して実行する段階を含む。

第二のクラスの実施形態では、本発明は、オブジェクト・ベースのオーディオ・プログラムを生成する（またはデコードする）方法である。本方法は、少なくとも一つのオーディオ・オブジェクトについて少なくとも一つの歪め度パラメータを決定する段階と、（前記オブジェクトを示す）オブジェクト・チャネルおよび前記オブジェクトについてのそれぞれの前記歪め度パラメータを示すスクリーン関係メタデータを前記プログラムに含める段階とを含む。それぞれの前記歪め度パラメータは、再生システムによって対応するオブジェクトに対して（たとえば再生スクリーンの平面に平行な平面において）実行される歪めの最大の度合いを示す（たとえば、該最大の度合いを示す非バイナリー値（たとえば、所定の範囲内の多くの値のうちの任意の値をもつスカラー値）である）。たとえば、歪め度パラメータは、ある最小値（歪めが実行されるべきでないことを示す）からフルの歪めが実行される（たとえば、参照スクリーンの右端にあるようプログラムによって定義されているオーディオ要素位置を再生スクリーンの右端の歪められた位置に歪める）べきであることを示すある最大値までの範囲内の浮動小数点値であってもよい。ここで、前記範囲は、中間的な度合いの歪め（たとえばフル歪めの50%）が実行される（たとえば、参照スクリーンの右端にあるようプログラムによって定義されているオーディオ要素位置を再生部屋の右端と再生スクリーンの右端の間の中間の歪められた位置に歪める）べきであることを示す少なくとも一つの中間的な値（前記最小値より大きいが前記最大値より小さい）を含む。このコンテキストにおいて、フル歪めは、歪められた位置が再生スクリーンと一致するような、再生スクリーンの平面内でのオーディオ要素の知覚される位置の歪めを表わしてもよく、中間的な度合いの（あるいはフル歪めより少ない）歪めは、歪められた位置が再生スクリーンより大きな（かつ再生スクリーンを含む）エリアと一致するような、再生スクリーンの平面内でのオーディオ要素の知覚される位置の歪めを表わしてもよい。

第二のクラスのいくつかの実施形態では、前記スクリーン関係メタデータは、プログラムの少なくとも二つのオブジェクトのそれぞれについての少なくとも一つの前記歪め度パラメータを示し、それぞれの前記歪め度パラメータは、それぞれの対応するオブジェクトに対して実行される最大の歪めの度合いを示す。たとえば、歪め度パラメータは、異なるオブジェクト・チャネルによって示される各オブジェクトについて、再生スクリーンの面内のまたは該面に平行な、異なる最大の歪めの度合いを示すことがありうる。もう一つの例では、歪め度パラメータは、異なるオブジェクト・チャネルによって示される各オブジェクトについて、再生スクリーンの面内でのまたは該面に平行な鉛直方向における異なる最大の歪めの度合いと、再生スクリーンの面内でのまたは該面に平行な水平方向における異なる最大の歪めの度合いとを示すことがありうる。

第二のクラスのいくつかの実施形態では、前記スクリーン関係メタデータは、再生システムによってプログラムの対応するオーディオ・コンテンツに対して実行されるオフ・スクリーン歪めの少なくとも一つの特性を示す（たとえば、再生スクリーンの平面に少なくとも実質的に平行な面内で歪めが実行される仕方および／または度合いを、再生スクリーンの平面に少なくとも実質的に垂直な、各面の距離の関数として示す）、少なくとも一つのオフ・スクリーン歪めパラメータをも示す。いくつかのそのような実施形態では、スクリーン関係メタデータは、プログラムによって示される少なくとも二つのオブジェクトのそれぞれについて一つの前記オフ・スクリーン歪めパラメータを示し、それぞれの前記オフ・スクリーン歪めパラメータはそれぞれの対応するオブジェクトに対して実行されるべきオフ・スクリーン歪めの少なくとも一つの特性を示す。たとえば、プログラムは、異なるオブジェクト・チャネルによって示される各オブジェクトについてのオフ・スクリーン歪めパラメータを含むことができ、該オフ・スクリーン歪めパラメータは、それぞれの対応するオブジェクトに対して実行されるオフ・スクリーン歪めの型を示す（すなわち、前記メタデータは、各オブジェクト・チャネルに対応するオブジェクト（単数または複数）について異なる型のオフ・スクリーン歪めを指定することができる）。いくつかの実施形態では、少なくとも一つのオフ・スクリーン歪めパラメータは、プログラムの対応するオーディオ・コンテンツに対する（再生スクリーンに少なくとも実質的に垂直なある奥行きにある）再生スクリーンの平面に少なくとも実質的に平行な面内において実行されるべき最大の歪めの度合いを示し、よって該オフ・スクリーン歪めパラメータは歪め度パラメータである。

第三のクラスの実施形態では、本発明は：
（ａ）オブジェクト・ベースのオーディオ・プログラムを生成する段階と；
（ｂ）前記オブジェクト・ベースのオーディオ・プログラムに応答して、再生スクリーンに対して所定の位置に位置されるラウドスピーカーによる再生のために意図されたスピーカー・チャネルの少なくとも一つの集合を含むスピーカー・チャネル・ベースのプログラムを生成する段階であって、スピーカー・チャネルの前記集合の生成は、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを、少なくとも部分的には少なくとも一つの歪め度パラメータによって決定される度合いまで歪める段階を含み、それぞれの前記歪め度パラメータは、再生システムによって前記オブジェクト・ベースのオーディオ・プログラムの対応するオーディオ・コンテンツに対して（たとえば再生スクリーンの平面に平行な平面において）実行される歪めの最大の度合いを示す（たとえば、該最大の度合いを示す非バイナリー値（たとえば、所定の範囲内の多くの値のうちの任意の値をもつスカラー値）である）、段階とを含む、方法である。

第三のクラスのいくつかの実施形態では、段階（ｂ）は、前記スピーカー・チャネル・ベースのオーディオ・プログラムを、スピーカー・チャネルの二つ以上の選択可能な集合を含むように生成する段階を含み、それらの集合の少なくとも一つは前記オブジェクト・ベースのオーディオ・プログラムの歪められていないオーディオ・コンテンツを示し、それらの集合の少なくとも一つの他のものの生成は、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを（前記歪め度パラメータを使って）歪める段階を含み、前記集合の前記他のものは、再生スクリーンに対して所定の位置に位置されるラウドスピーカーによる再生のために意図される。第三のクラスのいくつかの実施形態では、段階（ｂ）は、少なくとも一つのオフ・スクリーン歪めパラメータを決定する（たとえば、前記オブジェクト・ベースのプログラムをパースして、前記オブジェクト・ベースのプログラムのスクリーン関係メタデータによって示される少なくとも一つの前記オフ・スクリーン歪めパラメータを同定することによる）段階を含み、前記オフ・スクリーン歪めパラメータは、再生システムによる前記オブジェクト・ベースのオーディオ・プログラムの対応するオーディオ・コンテンツに対するオフ・スクリーン歪めの少なくとも一つの特性を示し、段階（ｂ）は、少なくとも部分的には少なくとも一つの前記オフ・スクリーン歪めパラメータによって決定されるオフ・スクリーン歪めを含む。

第三のクラスのいくつかの実施形態では、前記オブジェクト・ベースのオーディオ・プログラムは、少なくとも一つの前記歪め度パラメータ（または少なくとも一つの前記歪め度パラメータおよび少なくとも一つのオフ・スクリーン歪めパラメータ）を示すスクリーン関係メタデータを含み、段階（ｂ）は、前記オブジェクト・ベースのオーディオ・プログラムをパースして、前記少なくとも一つの前記歪め度パラメータ（または前記少なくとも一つの前記歪め度パラメータおよび前記オフ・スクリーン歪めパラメータ）を同定する段階を含む。

（第三のクラスの実施形態による）前記スピーカー・チャネル・ベースのプログラムの前記生成は、オブジェクト・ベースのオーディオ・プログラムのデコードおよびレンダリングを実行するよう構成されていない（だがスピーカー・チャネル・ベースのプログラムをデコードし、レンダリングすることはできる）再生システムによる対スクリーン・レンダリングをサポートする。典型的には、スピーカー・チャネル・ベースのプログラムは、特定の再生システム・スピーカーおよびスクリーン構成の知識をもつ（または該構成を想定する）リミックス・システムによって生成される。典型的には、前記オブジェクト・ベースのプログラム（それに応答して前記スピーカー・チャネル・ベースのプログラムが生成される）は、好適に構成された（オブジェクト・ベースのプログラムをデコードおよびレンダリングできる）再生システムによる前記オブジェクト・ベースのプログラムの対スクリーン・レンダリングをサポートするスクリーン関係メタデータを含む。

第四のクラスの実施形態では、本発明は、歪められたコンテンツを示すスピーカー・チャネルの少なくとも一つの集合を含むスピーカー・チャネル・ベースのプログラムをレンダリングする方法であり、前記スピーカー・チャネル・ベースのプログラムは、オブジェクト・ベースのオーディオ・プログラムを処理することによって生成されたものである。該処理は、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを、少なくとも部分的には少なくとも一つの歪め度パラメータによって決定される度合いまで歪めて、歪められたコンテンツを示すスピーカー・チャネルの前記集合を生成することによることを含む。ここで、それぞれの前記歪め度パラメータは、再生システムによって前記オブジェクト・ベースのオーディオ・プログラムの対応するオーディオ・コンテンツに対して（たとえば再生スクリーンの平面に平行な平面において）実行される歪めの最大の度合いを示す（たとえば、該最大の度合いを示す非バイナリー値（たとえば、所定の範囲内の多くの値のうちの任意の値をもつスカラー値）である）。本レンダリングする方法は：
（ａ）前記スピーカー・チャネル・ベースのプログラムをパースして、歪められたコンテンツを示すスピーカー・チャネルのそれぞれの前記集合を含む、前記スピーカー・チャネル・ベースのプログラムのスピーカー・チャネルを同定する段階と、
（ｂ）歪められたコンテンツを示すスピーカー・チャネルの少なくとも一つの前記集合（at least one said set）を含む、前記スピーカー・チャネル・ベースのプログラムのスピーカー・チャネルの少なくともいくつかに応答して、再生スクリーンに対する所定の位置に位置されるラウドスピーカーを駆動するためのスピーカー・フィードを生成する段階とを含む。

第四のクラスのいくつかの実施形態では、前記スピーカー・チャネル・ベースのプログラムは、前記オブジェクト・ベースのオーディオ・プログラムを処理することによって生成されたものであり、該処理は、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツの、少なくとも部分的には前記少なくとも一つの歪め度パラメータによって決定される度合いまでのオフ・スクリーン歪めを、前記オブジェクト・ベースのプログラムの対応するオーディオ・コンテンツに対するオフ・スクリーン歪めの少なくとも一つの特性を示す少なくとも一つのオフ・スクリーン歪めパラメータを使って実行することによることを含む。

第四のクラスのいくつかの実施形態では、前記スピーカー・チャネル・ベースのオーディオ・プログラムは、スピーカー・チャネルの二つ以上の選択可能な集合を含み、それらの集合の少なくとも一つは前記オブジェクト・ベースのオーディオ・プログラムの歪められていないオーディオ・コンテンツを示し、それらの集合の他のものは、歪められたコンテンツを示すスピーカー・チャネルの一つの前記集合（one said set）であり、段階（ｂ）は、歪められたコンテンツを示すスピーカー・チャネルの一つの前記集合である前記集合の一つを選択する段階を含む。

いくつかの実施形態では、本発明の方法は、スクリーン関係メタデータを含むオブジェクト・ベースのオーディオ・プログラムを（たとえばエンコーダにおいて）生成する段階、（たとえばデコーダにおいて）デコードする段階および／またはレンダリングする段階を含む。オブジェクト・ベースのプログラムは、対応するビデオ・コンテンツを有し（たとえば映画または他のオーディオビジュアル・プログラムのサウンドトラックであってもよい）、少なくとも一つのオーディオ・オブジェクト・チャネル、スクリーン関係メタデータおよび典型的にはスピーカー・チャネルをも含む。スクリーン関係メタデータは、前記オブジェクト・チャネルの少なくとも一つのそれぞれに対応するメタデータを（および任意的には、前記スピーカー・チャネルの少なくとも一つのそれぞれに対応するメタデータも）含む。オブジェクト・ベースのプログラムのレンダリングおよび再生の間、（典型的には再生システムのスピーカーとスクリーンとの間の関係（単数または複数）を示すデータをもつ）スクリーン関係メタデータの処理は、オン・スクリーンのオーディオ要素（たとえば、映画シアターにおける再生中に映画スクリーン上の所定の位置において知覚されるようコンテンツ・クリエーターが意図したオーディオ要素）の知覚される位置の動的な歪めを許容し、よって歪められた位置は、再生システムの表示スクリーンの実際のサイズおよび位置に対して所定のサイズおよび位置をもつ。歪められた位置は、再生システムの実際の表示スクリーンと一致する必要はなく、本発明の典型的な実施形態は、プログラムの再生の間に変化する位置が変化するオーディオ要素のオン・スクリーンおよびオフ・スクリーンの知覚される位置の間のなめらかな遷移を許容する。

いくつかの実施形態では、オブジェクト・ベースのオーディオ・プログラムが生成され、デコードされ、および／またはレンダリングされる。プログラムは、少なくとも一つのオーディオ・オブジェクト・チャネルを、任意的には少なくとも一つのスピーカー・チャネル（たとえば、スピーカー・チャネルの集合または「ベッド」）も含み、各オブジェクト・チャネルはオーディオ・オブジェクトまたはオーディオ・オブジェクトの集合（たとえば混合またはクラスター）を示し、少なくとも一つのオブジェクト・チャネルは対応するスクリーン関係メタデータをもつ（たとえば含む）。スピーカー・チャネルのベッドは、オブジェクト・チャネルを含まない通常のスピーカー・チャネル・ベースの放送プログラムに含まれうる型のスピーカー・チャネルの通常の混合（たとえば5.1チャネル混合）であってもよい。本方法は、それぞれの前記オブジェクト・チャネルを（任意的にはスピーカー・チャネルの前記集合も）示すオーディオ・データをエンコードしてオブジェクト・ベースのオーディオ・プログラムを生成する段階を含んでいてもよい。このクラスの典型的な実施形態によって生成されるオブジェクト・ベースのオーディオ・プログラムに応答して、レンダリングする段階は、各スピーカー・チャネルおよび各オブジェクト・チャネルのオーディオ・コンテンツの混合を示すスピーカー・フィードを生成してもよい。

本発明の諸側面は、本発明の方法の任意の実施形態を実装するよう構成された（たとえばプログラムされた）システムまたは装置および本発明の方法の任意の実施形態またはその段階を実装するためのコードを（たとえば非一時的な仕方で）記憶するコンピュータ可読媒体（たとえばディスク）を含む。たとえば、本発明のシステムは、プログラム可能な汎用プロセッサ、デジタル信号プロセッサまたはマイクロプロセッサであって本発明の方法の実施形態またはその段階を含むデータに対する多様な動作の任意のものを実行するようソフトウェアもしくはファームウェアによってプログラムされたおよび／または他の仕方で構成されたものであるまたはそれを含むことができる。そのような汎用プロセッサは、入力装置と、メモリと、呈されたデータに応答して本発明の方法の実施形態（またはその段階）を実行するようプログラムされた（および／または他の仕方で構成された）処理回路とを含むコンピュータ・システムであってもよく、あるいはそれを含んでいてもよい。

あるクラスの実施形態では、本発明は、少なくとも一つのオーディオ・オブジェクト・チャネル（典型的にはオブジェクト・チャネルの集合）および少なくとも一つのスピーカー・チャネル（典型的にはスピーカー・チャネルの集合）を示すオブジェクト・ベースのオーディオ・プログラムを生成するよう構成されたシステムである。各オーディオ・オブジェクト・チャネルはオブジェクトまたはオブジェクトの集合（たとえば混合またはクラスター）を示し、典型的には対応するオブジェクト関係メタデータを含む。スピーカー・チャネルの集合は、オブジェクト・チャネルを含まない通常のスピーカー・チャネル・ベースの放送プログラムに含まれうる型のスピーカー・チャネルの通常の混合（たとえば5.1チャネル混合）であってもよい。システムの典型的な実施形態によって生成されるオブジェクト・ベースのオーディオ・プログラムに応答して、空間的レンダリング・サブシステムは、スピーカー・チャネルおよび各オブジェクト・チャネルのオーディオ・コンテンツの混合を示すスピーカー・フィードを生成してもよい。

あるクラスの実施形態では、本発明は、本発明の方法の任意の実施形態によって生成されたオーディオ・プログラムの（オーディオ・コンテンツを含む）少なくとも一つのフレームまたは他のセグメントを（たとえば非一時的な仕方で）記憶するバッファ・メモリ（バッファ）を含むオーディオ処理ユニット（APU：audio processing unit）である。プログラムがオブジェクト・ベースのオーディオ・プログラムである場合には、記憶されるセグメントは典型的にはスピーカー・チャネルのベッドおよびオブジェクト・チャネルのオーディオ・コンテンツと、対応するスクリーン関係メタデータとを含む。別のクラスの実施形態では、本発明は、スピーカー・チャネル・ベースのオーディオ・プログラムの少なくとも一つのフレームまたは他のセグメントを（たとえば非一時的な仕方で）記憶するバッファ・メモリ（バッファ）を含むAPUである。ここで、該セグメントは、本発明の実施形態に従ってオブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツの歪めを実行することの結果として生成されたスピーカー・チャネルの少なくとも一つの集合のオーディオ・コンテンツを含む。該セグメントは、スピーカー・チャネル・ベースのプログラムのスピーカー・チャネルの少なくとも二つの選択可能な集合のオーディオ・コンテンツを含んでいてもよく、ここで、それらの集合の少なくとも一つは、本発明の実施形態に従う歪めの結果として生成される。

本発明の典型的な実施形態は、外部のレンダリング・システム（たとえば装置）への送信（または別の仕方での送達）のための、エンコードされた、オブジェクト・ベースのオーディオ・ビットストリームのリアルタイムの生成を実装するよう構成される。

表示スクリーン（S）および左右の前方スピーカー（LおよびR）および前方中央スピーカー（C）が前方壁（またはその近く）に設置された映画シアターの前方壁（W）の図である。 家庭シアター・システムの表示スクリーン（S'）、左右の前方スピーカー（L'およびR'）および前方中央スピーカー（C'）が前方壁（またはその近く）に設置された部屋の前方壁（W'）の図である。 本発明の方法のある実施形態を実行するよう構成されたシステムのある実施形態のブロック図である。 再生システムの表示スクリーン（再生スクリーンS'）およびスピーカー（L'、C'、R'、LsおよびRs）を含む再生環境の図である。 図４の再生環境の図であり、パラメータEXPが図４を参照して記述される実施形態とは異なる値をもつ実施形態を示している。 図４の再生環境の図であり、パラメータEXPが図４および図４Ａを参照して記述される実施形態とは異なる値をもつ実施形態を示している。 本発明のもう一つの実施形態を実行するよう構成されたシステムの要素のブロック図である。

〈記法および命名法〉
請求項を含む本開示を通じて、信号またはデータ「に対して」動作を実行する（たとえば信号またはデータをフィルタリングする、スケーリングする、変換するまたは利得を適用する）という表現は、信号またはデータに対して直接的に、または信号またはデータの処理されたバージョンに対して（たとえば、予備的なフィルタリングまたは前処理を該動作の実行に先立って受けている前記信号のバージョンに対して）該動作を実行することを表わすために広義で使用される。

請求項を含む本開示を通じて、「システム」という表現は、装置、システムまたはサブシステムを表わす広義で使用される。たとえば、デコーダを実装するサブシステムは、デコーダ・システムと称されてもよく、そのようなサブシステムを含むシステム（たとえば、複数の入力に応答してX個の出力信号を生成するシステムであって、前記サブシステムが入力のうちのM個を生成し、他のX−M個の入力は外部源から受領されるもの）もデコーダ・システムと称されることがある。

請求項を含む本開示を通じて、用語「プロセッサ」は、データ（たとえばオーディオまたはビデオまたは他の画像データ）に対して動作を実行するよう（たとえばソフトウェアまたはファームウェアを用いて）プログラム可能または他の仕方で構成可能であるシステムまたは装置を表わす広義で使用される。プロセッサの例は、フィールド・プログラム可能なゲート・アレイ（または他の構成可能な集積回路またはチップセット）、オーディオまたは他のサウンド・データに対してパイプライン化された処理を実行するようプログラムされたおよび／または他の仕方で構成されたデジタル信号プロセッサ、プログラム可能な汎用プロセッサもしくはコンピュータおよびプログラム可能なマイクロプロセッサ・チップまたはチップセットを含む。

請求項を含む本開示を通じて、表現「オーディオ・プロセッサ」および「オーディオ処理ユニット」は、交換可能に、オーディオ・データを処理するよう構成されたシステムを表わす広義で使用される。オーディオ処理ユニットの例は、エンコーダ（たとえばトランスコーダ）、デコーダ、コーデック、前処理システム、後処理システムおよびビットストリーム処理システム（時にビットストリーム処理ツールと称される）を含むがこれに限られない。

請求項を含む本開示を通じて、（たとえば「スクリーン関係メタデータ」という表現における）「メタデータ」という表現は、対応するオーディオ・データ（メタデータをも含むビットストリームの、オーディオ・コンテンツ）とは別個の異なるデータを指す。メタデータは、オーディオ・データに関連付けられ、該オーディオ・データの少なくとも一つの特徴または特性（たとえばそのオーディオ・データに対してどの型（単数または複数）の処理がすでに実行されているか、あるいは実行されるべきかまたはそのオーディオ・データによって示されるオブジェクトの軌跡）を示す。メタデータのオーディオ・データとの関連付けは、時間同期的である。このように、現在の（最も最近受領または更新された）メタデータは、対応するオーディオ・データが同時的に、示される特徴をもつおよび／または示される型のオーディオ・データ処理の結果を含むことを示しうる。

請求項を含む本開示を通じて、「結合する」または「結合される」という用語は、直接的または間接的な接続を意味するために使われる。よって、第一の装置が第二の装置に結合する場合、その接続は、直接接続を通じてであってもよいし、他の装置および接続を介した間接的な接続を通じてであってもよい。

請求項を含む本開示を通じて、以下の表現は以下の定義をもつ。

スピーカーおよびラウドスピーカーは、任意の音を発するトランスデューサを表わすものとして同義に使われる。この定義は、複数のトランスデューサ（たとえばウーファーおよびツイーター）として実装されるラウドスピーカーを含む。

スピーカー・フィード：ラウドスピーカーに直接加えられるオーディオ信号または直列の増幅器およびラウドスピーカーに加えられるオーディオ信号。

チャネル（または「オーディオ・チャネル」）：モノフォニック・オーディオ信号。そのような信号は典型的には、該信号を所望されるまたは公称上の位置にあるラウドスピーカーに直接加えるのと等価であるようにレンダリングされることができる。所望される位置は、物理的なラウドスピーカーでは典型的にそうであるように静的であってもよく、あるいは動的であってもよい。

オーディオ・プログラム：一つまたは複数のオーディオ・チャネル（少なくとも一つのスピーカー・チャネルおよび／または少なくとも一つのオブジェクト・チャネル）および任意的には関連するメタデータ（たとえば、所望される空間的オーディオ呈示を記述するメタデータ）の集合。

スピーカー・チャネル（または「スピーカー・フィード・チャネル」）：（所望されるまたは公称上の位置にある）指定されたラウドスピーカーに関連付けられているまたは定義されたスピーカー配位内での指定されたスピーカー・ゾーンに関連付けられているオーディオ・チャネル。スピーカー・チャネルは、該オーディオ信号を（所望されるまたは公称上の位置にある）指定されたラウドスピーカーにまたは指定されたスピーカー・ゾーン内のスピーカーに直接加えるのと等価であるようにレンダリングされる。

オブジェクト・チャネル：オーディオ源（時にオーディオ「オブジェクト」と称される）によって発される音を示すオーディオ・チャネル。典型的には、オブジェクト・チャネルは、パラメトリックなオーディオ源記述を決定する（たとえば、パラメトリックなオーディオ源記述を示すメタデータがオブジェクト・チャネル内に含められるまたはオブジェクト・チャネルと一緒に提供される）。源記述は、（時間の関数としての）源によって発された音、時間の関数としての源の見かけの位置（たとえば、3D空間座標）および任意的には源を特徴付ける少なくとも一つの追加的パラメータ（たとえば見かけの源サイズまたは幅）を決定してもよい。

オブジェクト・ベースのオーディオ・プログラム：一つまたは複数のオブジェクト・チャネルの集合を（および任意的には少なくとも一つのスピーカー・チャネルも）および任意的には関連するメタデータ（たとえば、オブジェクト・チャネルによって示される音を発するオーディオ・オブジェクトの軌跡を示すメタデータ、あるいは他の仕方でオブジェクト・チャネルによって示される音の所望される空間的オーディオ呈示を示すメタデータまたはオブジェクト・チャネルによって示される音の源である少なくとも一つのオーディオ・オブジェクトの識別情報を示すメタデータ）も含むオーディオ・プログラム。

レンダリング：オーディオ・プログラムを一つまたは複数のスピーカー・フィードに変換するプロセスまたはオーディオ・プログラムを一つまたは複数のスピーカー・フィードに変換し、該スピーカー・フィードを一つまたは複数のラウドスピーカーを使って音に変換するプロセス。（後者の場合、レンダリングは本稿では時にラウドスピーカー「による」レンダリングと称される。）オーディオ・チャネルは、信号を所望される位置にある物理的なラウドスピーカーに直接加えることによって（所望される位置「において」）トリビアルにレンダリングされることができる。あるいは、一つまたは複数のオーディオ・チャネルは、（聴取者にとって）そのようなトリビアルなレンダリングと実質的に等価であるよう設計された多様な仮想化技法の一つを使ってレンダリングされることができる。この後者の場合、各オーディオ・チャネルは、一般には所望される位置とは異なる既知の位置にあるラウドスピーカー（単数または複数）に加えられるべき一つまたは複数のスピーカー・フィードに変換されてもよく、それによりフィードに応答してラウドスピーカーによって発される音は、所望される位置から発しているように知覚されることになる。そのような仮想化技法の例は、ヘッドフォンを介したバイノーラル・レンダリング（たとえばヘッドフォン装着者のために7.1チャネルまでのサラウンド・サウンドをシミュレートするドルビー・ヘッドフォン処理を使う）および波面合成（wave field synthesis）を含む。

〈発明の実施形態の詳細な説明〉
本発明のシステム（および該システムによって実行される方法）の実施形態の例は図３、図４、図５を参照して記述される。

図３はオーディオ処理パイプライン（オーディオ・データ処理システム）の例のブロック図であって、本システムの要素の一つまたは複数は本発明のある実施形態に基づいて構成されている。本システムは、図のように一緒に結合された以下の要素を含む：捕捉ユニット、プロダクション・ユニット３（これはエンコード・サブシステムを含む）、送達サブシステム５、デコーダ７、オブジェクト処理サブシステム９、コントローラ１０およびレンダリング・サブシステム１１。変形では、図のシステムに対して、要素の一つまたは複数が省略され、あるいは追加的なオーディオ・データ処理ユニットが含められる。典型的には、要素７、９、１０および１１は再生システム（たとえば、エンドユーザーの家庭シアター・システム）に含められる。

捕捉ユニット１は典型的には、オーディオ・コンテンツを有するPCM（時間領域）サンプルを生成し、該PCMサンプルを出力するよう構成されている。それらのサンプルは、マイクロホンによって捕捉されたオーディオの複数のストリームを示す。プロダクション・ユニット３は、前記PCMサンプルを入力として受け入れ、前記オーディオ・コンテンツを示すオブジェクト・ベース・オーディオ・プログラムを出力するよう構成される。プログラムは典型的には、エンコードされた（たとえば圧縮された）オーディオ・ビットストリームであるまたはそれらを含む。前記オーディオ・コンテンツを示すエンコードされたビットストリームのデータは本稿では時に「オーディオ・データ」と称される。プロダクション・ユニット３のエンコード・サブシステムが本発明の典型的な実施形態に従って構成される場合、ユニット３によって出力されるオブジェクト・ベース・オーディオ・プログラムは、オーディオ・データの複数のスピーカー・チャネル（スピーカー・チャネルの「ベッド」）と、オーディオ・データの複数のオブジェクト・チャネルと、メタデータ（各オブジェクト・チャネルに対応するスクリーン関係メタデータおよび任意的には各スピーカー・チャネルに対応するスクリーン関係メタデータを含む）と示す（すなわち含む）。

典型的な実装では、ユニット３は、そこで生成されたオブジェクト・ベースのオーディオ・プログラムを出力するよう構成される。

もう一つの実装では、ユニット３は、オブジェクト・ベースのオーディオ・プログラムに応答してスピーカー・チャネル・ベースのオーディオ・プログラム（スピーカー・チャネルを含むがオブジェクト・チャネルは含まない）を生成するよう結合され、構成されているリミックス・サブシステムを含み、ユニット３は、該スピーカー・チャネル・ベースのオーディオ・プログラムを出力するよう構成される。図５のシステムのリミックス・サブシステム６は、本発明のある実施形態に従って（図５の）エンコーダ４によって生成されたオブジェクト・ベースのオーディオ・プログラム（「OP」）に応答して本発明のある実施形態に従ってスピーカー・チャネル・ベースのオーディオ・プログラム（スピーカー・チャネルを含むがオブジェクト・チャネルは含まないプログラム「SP」）を生成するよう結合され、構成されたリミックス・サブシステムのもう一つの例である。

図３の送達サブシステムは、ユニット３によって生成され、ユニット３から出力されるプログラム（たとえば、オブジェクト・ベースのオーディオ・プログラムまたは該オブジェクト・ベースのオーディオ・プログラムに応答して生成されたスピーカー・チャネル・ベースのオーディオ・プログラム）を記憶および／または伝送（たとえば放送）するよう構成されている。簡単のため、（ユニット３によって生成されユニット３から出力されるプログラムがスピーカー・チャネル・ベースのオーディオ・プログラムであることがコンテキスト、記述または参照から明らかでない限り）ユニット３によって生成されユニット３から出力されるプログラムはオブジェクト・ベースのオーディオ・プログラムであるとの想定で図３のシステムを記述する（そしてそれを参照する）。

図３のシステムの典型的な実施形態では、サブシステム５はオブジェクト・ベースのオーディオ・プログラムの、デコーダ７への送達を実装する。たとえば、サブシステム５は、プログラムを（たとえばディスクに）記憶し、記憶されたプログラムをデコーダ７に提供するよう構成されていてもよい。あるいはまた、サブシステム５は、プログラムを（たとえば放送システムまたはインターネット・プロトコルまたは他のネットワークを通じて）デコーダ７に送信するよう構成されていてもよい。

デコーダ７は、送達サブシステム５によって送達されるプログラムを受け入れ（受信しまたは読み）、該プログラムをデコードするよう結合され、構成される。プログラムがオブジェクト・ベースのプログラムであり、デコーダ７が本発明の典型的な実施形態に従って構成されている場合、典型的な動作におけるデコーダ７の出力は次のものを含む：
該プログラムのスピーカー・チャネルのベッドを示すオーディオ・サンプルのストリーム（および任意的にはスクリーン関係メタデータの対応するストリームも）；および
該プログラムのオブジェクト・チャネルを示すオーディオ・サンプルのストリームおよびスクリーン関係メタデータの対応するストリーム。

オブジェクト処理サブシステム９は、（デコーダ７から）送達されたプログラムのデコードされたスピーカー・チャネル、オブジェクト・チャネルおよびオブジェクト関係メタデータを受領するよう結合されている。サブシステム９は、スクリーン関係メタデータを使って、オブジェクト・チャネルに対する（あるいはオブジェクト・チャネルの選択された部分集合に対する、あるいはオブジェクト・チャネルの一部または全部の少なくとも一つの混合（たとえばクラスター）に対する）歪めを実行し、結果として得られるオブジェクト・チャネルおよび／または混合をレンダリング・サブシステム１１に出力するよう結合され、構成されている。サブシステム９は典型的には、サブシステム１１に出力するオブジェクト・チャネルおよび／または混合に対応するオブジェクト関係メタデータ（これは、サブシステム５によって送達されたプログラムからデコーダ７によってパースされ、デコーダ７からサブシステム９に呈されたものである）をもレンダリング・サブシステム１１に対して出力する。サブシステム９は典型的には、デコーダ７からのデコードされたスピーカー・チャネルを不変のまま（サブシステム１１に）素通りさせるよう構成されている。

デコーダ７に送達されるプログラムが（本発明のある実施形態に基づいてオブジェクト・ベースのプログラムから生成された）スピーカー・チャネル・ベースのオーディオ・プログラムである場合、サブシステム９は、（のちにより詳細に述べる仕方で）プログラムのスピーカー・チャネルのいくつかを選択し、選択されたチャネルをレンダリング・サブシステム１１に呈することによって、本発明に基づく歪めを実装するよう構成された単純なスピーカー・チャネル選択システムとして実装されても（あるいはそのような選択システムによって置換されても）よい。

サブシステム９によって実行される歪めは、少なくとも部分的には（たとえばシステムのセットアップ中にコントローラ１０のユーザー操作に応答して）コントローラ１０からサブシステム９に呈されるデータによって制御されてもよい。そのようなデータは、再生システム・スピーカーおよび表示スクリーンの特性を示していてもよい（たとえば、再生システム・スクリーンと再生システム・スピーカーの相対的なサイズおよび位置を示していてもよい）し、および／または少なくとも一つの歪め度パラメータおよび／または少なくとも一つのオフ・スクリーン歪めパラメータを含んでいてもよい。サブシステム９によって実行される歪めは典型的には、（デコーダ７に送達される）プログラムのスクリーン関係メタデータによって示される少なくとも一つの歪め度パラメータおよび／または少なくとも一つのオフ・スクリーン歪めパラメータならびに／またはコントローラ１０からサブシステム９に呈される少なくとも一つの歪め度パラメータおよび／または少なくとも一つのオフ・スクリーン歪めパラメータによって決定される。

図３のレンダリング・サブシステム１１は、再生システムのスピーカー（図示せず）による再生のために、サブシステム９の出力によって決定されたオーディオ・コンテンツをレンダリングするよう構成される。サブシステム１１は、サブシステム９から出力されたレンダリング・パラメータ（たとえばサブシステム９から出力されるオブジェクト関係メタデータによって示される空間位置およびレベルの値）を使って、サブシステム９から出力されるオブジェクト・チャネル（または混合）によって決定されたオーディオ・オブジェクトを利用可能なスピーカー・チャネルにマッピングするよう構成される。レンダリング・サブシステム１１はまた、サブシステム９によって素通しにされたスピーカー・チャネルのベッドがあればそれも受領する。典型的には、サブシステム１１は知的な混合器であり、利用可能なスピーカーについてのスピーカー・フィードを決定するよう構成されている。該決定は、一つまたは複数のオブジェクト（または混合）をいくつかの個々のスピーカー・チャネルのそれぞれにマッピングして、それらのオブジェクト（または混合）をプログラムのスピーカー・チャネル・ベッドの各対応するスピーカー・チャネルによって示される「ベッド」オーディオ・コンテンツと混合することによることを含む。

典型的には、サブシステム１１の出力は、再生システム・ラウドスピーカー（たとえば図４に示されるスピーカー）に呈されてそれらのスピーカーを駆動するスピーカー・フィードの集合である。

本発明のある側面は、本発明の方法の任意の実施形態を実行するよう構成されたオーディオ処理ユニット（APU）である。APUの例は、エンコーダ（たとえばトランスコーダ）、デコーダ、コーデック、前処理システム（前処理器）、後処理システム（後処理器）、オーディオ・ビットストリーム処理システムおよびそのような要素の組み合わせを含むがそれに限定されるものではない。APUの例は、図３のプロダクション・ユニット３、デコーダ７、オブジェクト処理サブシステム９およびレンダリング・サブシステム１１である。本発明の方法のある実施形態を実行するよう構成されているこれらすべての例示的なAPUの実装が本稿で考えられ、記載されている。

あるクラスの実施形態では、本発明は、本発明の方法の任意の実施形態によって生成されたオーディオ・プログラム（オーディオ・コンテンツを含む）の少なくとも一つのフレームまたは他のセグメントを（たとえば非一時的な仕方で）記憶するバッファ・メモリ（バッファ）を含むAPUである。プログラムがオブジェクト・ベースのオーディオ・プログラムである場合には、記憶されるセグメントは典型的にはスピーカー・チャネルのベッドおよびオブジェクト・チャネルのオーディオ・コンテンツと、対応するスクリーン関係メタデータとを含む。そのようなAPUの例は、エンコード・サブシステム３Ｂ（本発明の実施形態に従ってオブジェクト・ベースのオーディオ・プログラムを生成するよう構成されている）およびサブシステム３Ｂに結合されたバッファ３Ａを含む図３のプロダクション・ユニット３の実装である。ここで、バッファ３Ａはオブジェクト・ベースのオーディオ・プログラムの少なくとも一つのフレームまたは他のセグメント（スピーカー・チャネルのベッドおよびオブジェクト・チャネルのオーディオ・コンテンツならびに対応するスクリーン関係メタデータを含む）を（たとえば非一時的な仕方で）記憶する。そのようなAPUのもう一つの例は、バッファ７Ａと、デコード・サブシステム７Ｂ（バッファ７Ａに結合されている）とを含む図３のデコーダ７の実装である。ここで、バッファ７Ａはサブシステム５からデコーダ７に送達されたオブジェクト・ベースのオーディオ・プログラムの少なくとも一つのフレームまたは他のセグメント（スピーカー・チャネルのベッドおよびオブジェクト・チャネルのオーディオ・コンテンツならびに対応するスクリーン関係メタデータを含む）を（たとえば非一時的な仕方で）記憶する。デコード・サブシステム７Ｂは、プログラムをパースし、必要なデコードがあればそれをプログラムに対して実行するよう構成されている。

別のクラスの実施形態では、本発明は、スピーカー・チャネル・ベースのオーディオ・プログラムの少なくとも一つのフレームまたは他のセグメントを（たとえば非一時的な仕方で）記憶するバッファ・メモリ（バッファ）を含むAPUである。ここで、該セグメントは、本発明の実施形態に従ってオブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツの歪めを実行することの結果として生成されたスピーカー・チャネルの少なくとも一つの集合のオーディオ・コンテンツを含む。該セグメントは、スピーカー・チャネル・ベースのプログラムのスピーカー・チャネルの少なくとも二つの選択可能な集合のオーディオ・コンテンツを含んでいてもよく、ここで、それらの集合の少なくとも一つは、本発明の実施形態に従う歪めの結果として生成される。そのようなAPUの例は、エンコード・サブシステム３Ｂ（本発明の実施形態に従ってスピーカー・チャネル・ベースのオーディオ・プログラムを生成するよう構成されている；これはやはりユニット３によって生成されるオブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツに対して歪めを実行することによることを含む）およびサブシステム３Ｂに結合されたバッファ３Ａを含む図３のプロダクション・ユニット３の実装である。ここで、バッファ３Ａはスピーカー・チャネル・ベースのオーディオ・プログラムの少なくとも一つのフレームまたは他のセグメント（スピーカー・チャネルの少なくとも二つの選択可能な集合のオーディオ・コンテンツを含む；ここで、それらの集合の少なくとも一つは、オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツに対して本発明の実施形態に基づく歪めを実行することの結果として生成される）を（たとえば非一時的な仕方で）記憶する。そのようなAPUのもう一つの例は、バッファ７Ａと、デコード・サブシステム７Ｂ（バッファ７Ａに結合されている）とを含む図３のデコーダ７の実装である。ここで、バッファ７Ａはユニット３からサブシステム５を介してデコーダ７に送達された、ユニット３の例示的実施形態によって生成されたスピーカー・チャネル・ベースのオーディオ・プログラムの少なくとも一つのフレームまたは他のセグメントを（たとえば非一時的な仕方で）記憶する。デコード・サブシステム７Ｂは、プログラムをパースし、必要なデコードがあればそれをプログラムに対して実行するよう構成されている。そのようなAPUのもう一つの例は、サブシステム６Ｂ（本発明の実施形態に従ってスピーカー・チャネル・ベースのオーディオ・プログラムを生成するよう構成されている；これは図５のエンコーダ４によって生成される、典型的にはスクリーン関係メタデータ含む、オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツに対して歪めを実行することによることを含む）と、オーディオ処理サブシステム６Ｂに結合されたバッファ６Ａとを含む図５のリミックス・サブシステム６の実装である。ここで、バッファ６Ａはサブシステム６Ｂによって生成されたスピーカー・チャネル・ベースのオーディオ・プログラムの少なくとも一つのフレームまたは他のセグメント（スピーカー・チャネルの少なくとも二つの選択可能な集合のオーディオ・コンテンツを含む；ここで、それらの集合の少なくとも一つは、本発明の実施形態に基づく歪めの結果として生成される）を（たとえば非一時的な仕方で）記憶する。

本発明の典型的な実施形態は、再生環境がx軸に沿った幅、（x軸に垂直な）y軸に沿った奥行きおよび（x軸およびy軸のそれぞれに垂直な）z軸に沿った高さをもつ単位立方体であると想定する。オーディオ・プログラムによって示されるオーディオ要素（音源）（すなわち、オブジェクト・チャネルによって示されるオーディオ・オブジェクトまたはスピーカー・チャネルによって示される音源）がレンダリングされる位置は、この単位立方体において、デカルト座標(x,y,z)を使って同定される。x、y座標のそれぞれは区間[0,1]内の値域をもつ。たとえば、図４は、再生システムの表示スクリーン（再生スクリーンS'）およびスピーカー（L'、C'、R'、LsおよびRs）を含む再生環境（部屋）の図である。図４の再生スクリーンS'はx軸に沿った幅W1をもち、その中心は部屋の前方壁（y＝0である平面）の中央の垂直軸に添って位置されている。部屋の後方壁（これは幅W2をもつ）は、y＝1である平面である。前方スピーカーL'、C'およびR'は、部屋の前方壁の近くに位置され、左サラウンド・スピーカーLsは部屋の左壁（x＝0である平面）の近くに位置され、右サラウンド・スピーカーRsは部屋の右壁（x＝1である平面）の近くに位置される。

典型的には、再生環境のz座標は、（公称上再生システムのユーザーの耳のレベルに対応する）固定した値をもつと想定される。あるいはまた、耳レベルより下または上にあると知覚される位置においてオブジェクト（または他の音源）をレンダリングするために、レンダリング位置のz座標は（たとえば部屋が1に等しい幅、1に等しい奥行きおよび2に等しい高さをもつと想定される場合、区間[−1,1]にわたって）変動することが許容されることができる。

いくつかの実施形態では、スクリーン・パラメータ化および／または歪めは、以下のパラメータの全部または一部を使って達成される（これらは、オーサリングおよび／またはエンコードの際に決定されてもよく、送達されるプログラムのスクリーン関係メタデータによって示されてもよい）。
・参照スクリーンに対するオーディオ要素（たとえばオブジェクト）位置；
・オン・スクリーン歪めの度合い（たとえば、再生スクリーンの平面内で、または該平面に平行に実行される歪めの最大の度合いを示すパラメータ）。オーサリングは典型的には歪めを二分決定として指定してもよく、エンコード・プロセスは該二分決定を歪めなしからフル（最大）歪めの範囲にわたる連続的な（またはほとんど連続的な）変数に修正してもよいことが考えられる；
・所望されるオフ・スクリーン歪め（たとえば、再生スクリーンの平面に少なくとも実質的に平行な平面における歪めが、再生スクリーンの平面に少なくとも実質的に垂直な距離の関数として実行されるべき仕方または度合いを示す一つまたは複数のパラメータ）。オーサリングは、オーディオ要素の知覚される歪められた位置が再生スクリーン面に垂直な方向において再生スクリーンから離れるにつれての、歪めが実行されるべき仕方または度合いを示すパラメータ（単数または複数）を定義することができる。場合によっては、そのようなパラメータは、プログラムと一緒に送達されはしない（代わりに再生システムによって決定できる）；
・参照部屋に対する（またはオーサリングの間に使われた参照L/Rスピーカーに対する）参照スクリーン幅。典型的には、このパラメータは映画館については（すなわち、映画館における再生のためにオーサリングされたオーディオビジュアル・プログラムについては）1.0に等しい；
・参照部屋に対する（またはオーサリングの間に使われた参照L/Rスピーカーに対する）参照スクリーン中心位置。典型的には、このパラメータは映画館については(0.5,0,0.5)に等しい。

いくつかの実施形態では、スクリーン・パラメータ化および／または歪めは、以下のパラメータの全部または一部を使って達成される（これらは典型的には、再生システムによって、たとえば家庭シアター・セットアップの際に決定される）。
・再生部屋に対する（または再生システムL/Rスピーカーに対する）再生スクリーン幅。たとえば、このパラメータはデフォルト値1.0を有していてもよい（たとえば、エンドユーザーが再生スクリーン・サイズを指定しない場合には、再生システムは、再生スクリーンは再生部屋幅に一致すると想定する。これは事実上、歪めを無効にすることになる）；
・所望されるオフ・スクリーン歪め（たとえば、再生スクリーンの平面に少なくとも実質的に平行な平面における歪めが、再生スクリーンの平面に少なくとも実質的に垂直な距離の関数として実行されるべき仕方または度合いを示す一つまたは複数のパラメータ）。いくつかの実施形態では、再生システム（たとえば、図３の実施形態のコントローラ１０）は、（再生スクリーン面に少なくとも実質的に垂直な方向における）再生スクリーン面からのオーディオ要素の知覚される歪められた位置の距離の関数として、歪めが実行されるべき仕方または度合いを示すカスタム設定を可能にするよう構成される。典型的な実施形態では、プログラムのスクリーン関係メタデータが固定した関数またはデフォルト関数（これはたとえば再生システム・セットアップの間に、ユーザーが指定する代替的な関数によって置き換えられることができる）を示す（たとえばそれを示す少なくとも一つのオフ・スクリーン歪めパラメータを含む）ことが期待される。これが、再生スクリーンの面からのオーディオ要素の知覚される歪められた位置の距離の関数として、歪めが実行されるべき仕方を少なくとも部分的には決定する。
・再生スクリーン・アスペクト比（たとえば、デフォルト値1.0をもつ）；
・再生スクリーン中心位置（たとえば、デフォルト値(0.5,0,0.5)をもつ）。

いくつかの実施形態では、歪めは、送達されたプログラムのスクリーン関係メタデータによって示されてもよい他のパラメータを（上述したパラメータの一部または全部の代わりにまたはそれに加えて）使って達成される。たとえば、プログラムの各チャネル（オブジェクト・チャネルまたはスピーカー・チャネル）について（またはプログラムのチャネルのうちいくつかのそれぞれについて）、以下のパラメータのうち一つまたは複数が提供されることができる。

１．歪め有効化。このパラメータは、チャネルによって決定される少なくとも一つのオーディオ要素の知覚される位置を歪めるために処理が実行されるべきか否かを示す。このパラメータは典型的には、歪めが実行されるべきか否かを示すバイナリー値である。例は、後述する「apply_screen_warping」値である。

２．歪めの度合い（たとえば、それぞれが範囲[0,1]または他の所定の範囲における多くの異なる値のうちの任意のものをもつ一つまたは複数の浮動小数点値または一つまたは複数の他の非バイナリー・パラメータ）。そのような歪め度パラメータ（単数または複数）は典型的には、参照スクリーンの面内（または該面に平行な）位置から再生スクリーンの面内（または該面に平行な）位置への歪めを制御する関数を修正して、再生スクリーンの面内において（または該面に並行に）実行されるべき歪めの最大の度合いを決定する。歪め度パラメータ（またはパラメータ集合）は、再生スクリーンの幅が沿う軸（たとえばx軸）に沿った（または該軸に平行な）および再生スクリーンの高さが沿う軸（たとえばz軸）に沿った（または該軸に平行な）歪めについて異なることができる。

３．奥行き歪め（たとえば、それぞれ所定の範囲[1,N]、たとえばN＝2、における任意の浮動小数点値をもつ一つまたは複数のパラメータ）。そのようなパラメータ（単数または複数）（本稿では時に「オフ・スクリーン歪めパラメータ」と称される）は典型的には、オフ・スクリーン・オーディオ要素の歪めを制御する関数を修正して、再生スクリーンの面からの距離（奥行き）の関数としてオーディオ要素レンダリング位置の歪めの度合いまたは最大歪めを制御する。たとえば、そのようなパラメータは、（再生部屋の前部にある）再生スクリーンから再生部屋の後部に、あるいはその逆方向に「飛んでいる」ように知覚されるよう意図されているオーディオ要素のレンダリング位置のシーケンスの（再生スクリーンの面に少なくとも実質的に平行な）歪めの度合いを制御することができる。

たとえば、あるクラスの実施形態では、歪めは、オーディオ・プログラム（たとえば、オブジェクト・ベースのオーディオ・プログラム）に含まれるスクリーン関係メタデータを使って達成される。ここで、スクリーン関係メタデータは、再生システムによって実行されるべき歪めの最大の度合い（たとえば、再生スクリーンの面内においてまたは該面に平行に実行されるべき歪めの最大の度合い）を示す少なくとも一つの非バイナリー値（たとえば、連続的に可変なまたは所定の範囲内の多くの値のうちの任意の値をもつスカラー値）を示す。たとえば、非バイナリー値は、ある最大値（フルの歪めが実行されて、たとえば、参照スクリーンの右端にあるようプログラムによって定義されているオーディオ要素位置を再生スクリーンの右端の歪められた位置に歪めるべきであることを示す）からある最小値（歪めが実行されるべきでないことを示す）までの範囲の浮動小数点値であってもよい。一例では、前記範囲の中点における非バイナリー値は、半分の歪め（50%歪め）が実行される（たとえば、参照スクリーンの右端にあるようプログラムによって定義されているオーディオ要素位置を再生部屋の右端と再生スクリーンの右端の間の中間の歪められた位置に歪める）べきであることを示してもよい。

このクラスのいくつかの実施形態では、プログラムは、該プログラムの各オブジェクト・チャネルについてそのようなメタデータを含むオブジェクト・ベースのオーディオ・プログラムである。前記メタデータは、それぞれの対応するオブジェクトに対して実行されるべき歪めの最大の度合いを示す。たとえば、メタデータは、異なるオブジェクト・チャネルによって示される各オブジェクトについて、再生スクリーンの面内におけるまたは該面に平行な歪めの異なる最大の度合いを示すことができる。もう一つの例として、メタデータは、異なるオブジェクト・チャネルによって示される各オブジェクトについて、再生スクリーンの面内のまたは該面に平行な垂直方向の（たとえば図４のz軸に平行な）歪めの異なる最大の度合いおよび再生スクリーンの面内のまたは該面に平行な水平方向の（たとえば図４のx軸に平行な）歪めの異なる最大の度合いを示すことができる。

このクラスのいくつかの実施形態では、オーディオ・プログラムは、オフ・スクリーン歪めの少なくとも一つの特性を示すスクリーン関係メタデータをも含む（そして該スクリーン関係メタデータを使って歪めが達成される）。（該特性は、たとえば、再生スクリーンの平面に少なくとも実質的に平行な面内で歪めが実行される仕方または度合いを、再生スクリーンの平面に少なくとも実質的に垂直な距離の関数として示す。）いくつかのそのような実施形態では、プログラムは、該プログラムの各オブジェクト・チャネルについてそのようなメタデータを含むオブジェクト・ベースのオーディオ・プログラムである。前記メタデータは、それぞれの対応するオブジェクトに対して実行されるべきオフ・スクリーン歪めの少なくとも一つの特性を示す。たとえば、プログラムは、各オブジェクト・チャネルについて、各対応するオブジェクトに対して実行されるべきオフ・スクリーン歪めの型を示すそのようなメタデータを含むことができる（すなわち、メタデータは、各オブジェクト・チャネルに対応するオブジェクトについて異なる型のオフ・スクリーン歪めを指定できる）。

次に、本発明の実施形態に基づく歪めを実装するためにオーディオ・プログラムを処理する方法の例を記述する。

例示的な方法では、オーディオ・プログラムのスクリーン関係メタデータは、（オーディオ・コンテンツが歪められるべき各チャネルについての）再生スクリーンの面内のまたは該面に平行な、当該チャネルによって示される少なくとも一つのオーディオ要素に対して再生システムによって実行されるべき歪めの最大の度合いを示す非バイナリー値をもつ少なくとも一つの歪め度パラメータを含む。それにより、プログラムが（参照スクリーンの面内においてかつ）参照スクリーンに対して諸位置においてレンダリングされるべきであることを示すオーディオ要素が、（再生スクリーンの面内においてかつ）再生スクリーンに対する歪められた諸位置においてレンダリングされる。好ましくは、各チャネルについて一つまたは二つのそのような歪め度パラメータが含まれる。水平方向において（たとえば図４のx軸に沿って）当該チャネルによって示される少なくとも一つのオーディオ要素にどのくらいの歪めが適用されるべきか（すなわち、適用されるべき歪めの最大の度合い）を制御する歪め因子を示すもの（たとえば後述する値XFACTOR）および／または垂直方向において（たとえば図４のz軸に沿って）当該チャネルによって示される少なくとも一つのオーディオ要素にどのくらいの歪めが適用されるべきか（すなわち、適用されるべき歪めの最大の度合い）を制御する歪め因子を示すものである。プログラムのスクリーン関係メタデータは、各チャネルについてのオフ・スクリーン歪めパラメータ（たとえば後述する値EXP）をも示す。これは、再生スクリーンの面に垂直な（対応するオーディオ要素の歪められた位置の）距離の関数として、実行されるべきオフ・スクリーン歪めの少なくとも一つの特性を制御する。たとえば、オフ・スクリーン歪めパラメータは、再生スクリーンの面に垂直な奥行き（図４のy軸に沿った距離）の関数としてオーディオ要素の歪められた位置の歪めの仕方または度合いまたは最大歪めを制御してもよい。

例示的実施形態では、プログラムのスクリーン関係メタデータは、プログラムについての（またはプログラムのセグメントのシーケンスの各セグメントについての）バイナリー値（本稿ではapply_screen_warping〔スクリーン歪めを適用〕と称される）をも含む。（プログラムまたはそのセグメントについての）apply_screen_warpingの値が「オフ」を示す場合には、再生システムによって対応するオーディオ・コンテンツに歪めが適用されない。たとえば、再生スクリーンの面内の（または再生スクリーンと一致する）知覚される諸位置をもってレンダリングされるべきであるが、ビジュアルに緊密に結びついている必要はないオーディオ・コンテンツ（たとえば、音楽または周囲音であるオーディオ・コンテンツ）については、このように歪めが無効にされることができる。（プログラムまたはそのセグメントについての）apply_screen_warpingの値が「オン」を示す場合には、再生システムは次のようにして対応するオーディオ・コンテンツに歪めを適用する。パラメータapply_screen_warpingは、本発明に基づいて使われるおよび／または生成される型の「歪め度」パラメータの例ではない。

以下の記述は、プログラムがオブジェクト・ベースのプログラムであり、歪めを受ける各チャネルが、プログラムによって決定される歪められていない位置（これは時間変化する位置であってもよい）をもつオーディオ・オブジェクトを示すオブジェクト・チャネルであると想定する。当業者には、スピーカー・チャネルがプログラムによって決定される歪められていない位置（これは時間変化する位置であってもよい）をもつ少なくとも一つのオーディオ要素を示す場合に、プログラムのスピーカー・チャネルの歪めを実装するために本記述をどのように修正するかは明白であろう。以下の記述は、再生環境が図４に示されるようなものであることおよび再生システムがプログラムに応答して（図４に示されるスピーカーL’、C'、R'、LsおよびRsについての）五つのスピーカー・フィードを生成するよう構成されていることも想定する。

本例示的実施形態では、再生システム（たとえば図３のシステムのサブシステム９）は、プログラムから（たとえば、プログラムのスクリーン関係メタデータから）、（再生システムによって決定されるべき歪められた位置においてレンダリングされるべき）オブジェクトの歪められていない位置を示す次の値
Xs＝(x−RefSXcenterpos)/RefSWidth
を決定する。ここで、xは、参照スクリーンの左端に対する水平（xまたは「幅」）軸に沿った、歪められていないオブジェクト位置であり、RefSXcenterposは、水平軸に沿った参照スクリーンの中心点の位置であり、RefSWidthは参照スクリーンの（水平軸に沿った）幅である。

再生システム（たとえば図３のシステムのサブシステム９）は、プログラムのスクリーン関係メタデータ（および再生システム構成を示す他のデータ）を使って次の値
Xwarp＝Xs*SWidth＋SXcenterpos
YFACTOR＝y^EXPおよび
X'＝x*YFACTOR＋(1−YFACTOR)*[XFACTOR*Xwarp＋(l−XFACTOR)*x)]
を生成するよう構成されている。ここで、Xwarpは、再生システム表示スクリーン（「再生スクリーン」）の左端に対する水平（xまたは「幅」）軸に沿った、生の（スケーリングされていない）歪められたオブジェクト位置であり、Xsは再生スクリーンの中心点に対する、水平軸に沿った、前記歪められたオブジェクト位置であり、SXcenterposは、水平軸に沿った再生スクリーンの中心点の位置であり、SWidthは再生スクリーンの（水平軸に沿った）幅であり、
YFACTORは、再生スクリーンの面に垂直な奥行き軸（図４のy軸）に沿った位置の関数としての、水平（幅）軸に沿った歪めの度合いを示す奥行き歪め因子であり、yは奥行き軸に沿った歪められたオブジェクト位置であり、EXPは本稿でいうところの「オフ・スクリーン歪め」パラメータの例である所定の（たとえばユーザー選択された）定数であり、
X'は、再生スクリーンの左端に対する水平軸に沿った歪められたオブジェクト位置（生の歪められたオブジェクト位置Xwarpのスケーリングされたバージョン）を表わし（よって、再生環境の水平面内における歪められたオブジェクト位置は座標X',yをもつ点である）、XFACTORは、プログラムのスクリーン関係メタデータによって示される幅軸歪めパラメータ（これは、プログラムのオーサリング、ミキシング、リミックスまたはエンコードの間に決定されうる）である。XFACTORは本稿でいうところの「歪め度」パラメータの例である。

垂直（zまたは「高さ」）軸に沿っての（プログラムによって決定される）歪められていないオブジェクト位置の、再生スクリーンに対する垂直軸に沿った歪められた位置への歪めは、参照スクリーンのアスペクト比および再生スクリーンのアスペクト比を考慮に入れて、上記の式のトリビアルな修正（水平またはx軸への言及を垂直またはz軸への言及で置き換える）によって決定される仕方で実行されることができる。

パラメータXFACTORは0から1まで（両端含む）の範囲の値をもつ（すなわち、この範囲内の少なくとも三つの値のうちの一つ、典型的には多くの値のうちの一つをもつ）。XFACTORの値は水平軸に沿って歪めが適用される度合いを制御する。XFACTOR＝1であれば、水平軸に沿ってフル歪めが実行される（それにより、オブジェクトの歪められていない位置が再生スクリーンから外れていたとしても、歪められた位置は再生スクリーン上になる）。XFACTOR＝1/2（または1より小さい他の値）であれば、低減された量の歪めがx軸に沿って実行される（それにより、オブジェクトの歪められていない位置が再生スクリーンから遠く外れている場合、たとえば左前方再生スピーカーの位置にある場合、歪められた位置も再生スクリーンから外れて、たとえば左前方スピーカーと再生スクリーンの左端との間の中間になることがありうる）。さまざまな理由により、XFACTORを1より小さいが0より大きい値に設定することが有用であることがある。たとえば、歪めが所望されるが、小さな再生スクリーンへのフル歪めは望ましくないと見なされる場合、あるいは（たとえば拡散音源について）オーディオ・オブジェクト位置が表示スクリーン・サイズとゆるやかに結びついているだけである場合がそうである。

パラメータYFACTORは、奥行き軸に沿ったオーディオ・オブジェクトの歪められた位置の関数として、（水平軸および／または垂直軸に沿っての）歪めの度合いを制御するために使われ、パラメータYFACTORの値は奥行き軸に沿ったオブジェクトの歪められた位置の関数である。上記の例において、この関数は、指数関数である。代替的な実施形態では、この例示的な指数関数の変形であるまたは他の仕方でこの例示的な指数関数と異なる他の関数がYFACTORを決定するために用いられる（たとえば、YFACTORは、奥行き軸に沿った歪められたオブジェクト位置yの余弦または余弦の冪乗であってもよい）。YFACTOR＝y^EXPである上記の例では、（典型的な選択であると期待されるように）EXPが0より大きいとき、再生部屋の前部における（すなわち、再生スクリーン上の）歪められていない位置をもつ音の（奥行き軸に垂直なxおよび／またはz方向における）歪めの度合いは、部屋の前部から遠い（すなわち、再生部屋の後方壁における）歪められていない位置をもつ音の（奥行き軸に垂直な方向における）歪めの度合いよりも大きい。EXPが0より大きく、y＝0である場合（すなわち、オブジェクトの歪められた位置および歪められていない位置が再生部屋の前部にある再生スクリーンの面内にある場合）には、YFACTOR＝0であり、水平な「幅」軸に沿った歪められた位置（X'）は、幅軸に沿った歪められていない位置（x）およびパラメータXFACTORおよびXwarpによって決定される。EXPが0より大きく、y＝1である場合（すなわち、オブジェクトの歪められた位置および歪められていない位置が再生部屋の後部にある場合）には、YFACTOR＝1であり、水平な「幅」軸に沿った歪められた位置（X'）は、幅軸に沿った歪められていない位置（x）に等しく、よって、事実上、この場合にはオブジェクトに対して歪めは（幅軸に沿っては）実行されないことになる。

より特定的な例として、図４のオーディオ・オブジェクトA1は、歪められていない位置を（よって歪められた位置を）再生部屋の前部における再生スクリーンS'の面内にもつ（すなわち、y＝y1＝0）。EXPが0より大きければ、オブジェクトA1に対する水平軸歪めを実行するためにYFACTOR＝0であり、歪めはオブジェクトA1の歪められた位置を、再生スクリーンS'に一致する何らかの位置X'＝x1、y＝0に置く（たとえば図４に示されるように）。図４のオーディオ・オブジェクトA2は、歪められていない位置を（よって歪められた位置を）を再生部屋の前方壁および後方壁の間に（0＜y2＜1において）もつ。EXPが0より大きければ、オブジェクトA2に対する水平軸歪めを実行するためにYFACTORは0より大きく、歪めはオブジェクトA2の歪められた位置を、点T1とT2の間の線分に沿った何らかの位置X'＝x2、y＝y2に置く（たとえば図４に示されるように）。点T1とT2の間の離間は（図４に示されるように）W3であり、EXPは0より大きいので、W3はW1＜W3＜W2を満たす。ここで、W1はスクリーンS'の幅であり、W2は再生部屋の幅である。EXPの特定の値は、W3の値を決定する。W3は、歪めによって、再生スクリーンS'に対して奥行きy＝y2のところのオブジェクトがマッピングされることのできる幅範囲である。EXPが1より大きければ、歪めはオブジェクトA2の歪められた位置を、（図４に示される）曲線C1とC2の間の位置に置く。ここで、曲線C1とC2の間の離間（W3）は、（図４に示されるように）奥行きパラメータyの指数関数的に増大する関数であり、離間W3は、yがより大きな値をもつときほど（yの値の増大とともに）より急速に増大し、yがより小さな値をもつときほど（yの値の増大とともに）より遅く増大する。

図４の曲線C1およびC2を参照して述べた例示的実施形態に対する変形である（図４Ａを参照して後述する）他の実施形態では、EXPは1に等しい。よって、歪めは、オブジェクトA2の歪められた位置を二つの曲線（たとえば図４Ａにおける曲線C3およびC4）の間の位置に置く。ここで、曲線C3とC4の間の離間は奥行きパラメータyの線形に増大する関数である。図４の曲線C1およびC2を参照して述べた例示的実施形態に対する変形である（図４Ｂを参照して後述する）他の実施形態では、EXPは0より大きいが1より小さく、よって、歪めは、オブジェクトA2の歪められた位置を二つの曲線（たとえば図４Ｂにおける曲線C5およびC6）の間の位置に置く。ここで、曲線C5とC6の間の離間は奥行きパラメータyの対数的に増大する関数である。曲線間の離間は、yがより小さな値をもつときほど（yの値の増大とともに）より急速に増大し、yがより大きな値をもつときほど（yの値の増大とともに）より遅く増大する。EXPが1以下である実施形態は典型的であると期待される。というのも、そのような実施形態では、歪めの効果が、EXPが1より大きい場合よりも、yの増大する値とともに（すなわち、スクリーンからの歪められた位置の距離の増大とともに）より急速に減少するからである。EXPが1より小さいときは、歪めの効果は歪められた位置がスクリーンから離れはじめる際には急速に減少し、歪められた位置がスクリーンからさらに遠くに進むにつれて漸進的によりゆっくり減少し、しまいには歪められた位置は、歪めが実行されない後方壁に到達する。

次に、オブジェクト・ベースのプログラムに応答して、（たとえばスクリーン関係メタデータを使って）歪める段階を含む仕方で（スピーカー・チャネルを含むがオブジェクト・チャネルを含まない）スピーカー・チャネル・ベースのオーディオ・プログラムが生成される別のクラスの実施形態について述べる。該スピーカー・チャネル・ベースのオーディオ・プログラムは、スピーカー・チャネルの少なくとも一つの集合を含み、それは、オブジェクト・ベースのプログラムのオーディオ・コンテンツを、少なくとも部分的には歪め度パラメータによって（および／またはオフ・スクリーン歪めパラメータを使って）決定される度合いまで歪める結果として生成され、再生システム表示スクリーンに対する所定の諸位置に位置されるラウドスピーカーによる再生のために意図される。このクラスのいくつかの実施形態では、スピーカー・チャネル・ベースのオーディオ・プログラムは、スピーカー・チャネルの二つ以上の選択可能な集合を含むよう生成され、それらの集合の少なくとも一つは、歪めの結果として生成され、再生システム表示スクリーンに対する所定の諸位置に位置されるラウドスピーカーによる再生のために意図される。スピーカー・チャネル・ベースのプログラムの生成は、オブジェクト・ベースのオーディオ・プログラムのデコードおよびレンダリングを実行するよう構成されていない（だがスピーカー・チャネル・ベースのプログラムをデコードし、レンダリングすることはできる）再生システムによる対スクリーン・レンダリングをサポートする。典型的には、スピーカー・チャネル・ベースのプログラムは、特定の再生システム・スピーカーおよびスクリーン構成の知識をもつ（または該構成を想定する）リミックス・システムによって生成される。典型的には、前記オブジェクト・ベースのプログラム（それに応答して前記スピーカー・チャネル・ベースのプログラムが生成される）は、好適に構成された（オブジェクト・ベースのプログラムをデコードおよびレンダリングできる）再生システムによる前記オブジェクト・ベースのプログラムの対スクリーン・レンダリングをサポートするスクリーン関係メタデータを含む。

このクラスの実施形態は、対スクリーン・レンダリングを実装することが望まれるが利用可能な再生システム（単数または複数）がオブジェクト・ベースのプログラムをレンダリングするよう構成されていない場合に特に有用である。スピーカー・チャネルのみを含む（オブジェクト・チャネルは含まない）オーディオ・プログラムの対スクリーン・レンダリングを実装するためには、まず、対スクリーン・レンダリングをサポートするオブジェクト・ベースのプログラムが本発明の実施形態に従って生成される。次いで、該オブジェクト・ベースのプログラムに応答して、（対スクリーン・レンダリングをサポートする）スピーカー・チャネル・ベースのオーディオ・プログラムが生成される。スピーカー・チャネル・ベースのオーディオ・プログラムは、スピーカー・チャネルの少なくとも二つの選択可能な集合を含んでいてもよく、再生システムは、対スクリーン・レンダリングを実装するために、スピーカー・チャネルのそれらの集合のうちの選択された一つをレンダリングするよう構成されていてもよい。

スピーカー・チャネル・ベースのプログラムによって想定される一般的なスピーカー・チャネル構成は、（二つのスピーカーを使った再生のための）ステレオおよび（五つのフルレンジ・スピーカーによる再生のための）5.1サラウンド・サウンドを含む。そのようなチャネル構成では、スピーカー・チャネル（オーディオ信号）は、定義により、ラウドスピーカー位置に関連付けられており、（諸チャネルのオーディオ・コンテンツによって示される）オーディオ要素がレンダリングされる知覚される位置は、典型的には、再生環境における想定されるスピーカー位置または参照聴取位置に対する想定されるスピーカー位置に基づいて決定される。

（オブジェクト・ベースのプログラムに応答して）スピーカー・チャネル・ベースのオーディオ・プログラムが生成されるいくつかの実施形態では、オブジェクト・ベースのプログラムのスクリーン関係メタデータによって可能にされるスクリーン関係歪め（スケーリング）機能は、再生スクリーンに対する所定の諸位置を有するラウドスピーカーに関連付けられている（スピーカー・チャネル・ベースのプログラムの）スピーカー・チャネルを生成するために利用される。典型的には、特定の再生スクリーンのサイズおよび形状ならびに位置が、スピーカー・チャネル・ベースのプログラムを生成するシステムによって想定される。たとえば、オブジェクト・ベースのプログラムに応答して、スピーカー・チャネル・ベースのプログラムは、スピーカー・チャネルの次の二つの集合を（および任意的には他のスピーカー・チャネルも）含むよう生成されることができる：
参照スクリーンに対して（たとえば映画館ミキシング施設において）決定される知覚される位置にオーディオ要素をレンダリングするための、通常の左（L）および右（R）前方スピーカー・チャネルの第一の集合；および
想定される再生表示スクリーンの左端および右端に対して（たとえばリミックス施設またはミキシング施設のリミックス段において）決定される知覚される位置に同じオーディオ要素をレンダリングするための、「左スクリーン」（Lsc）および「右スクリーン」（Rsc）と称されてもよい左および右前方スピーカー・チャネルの第二の集合（ここで、再生スクリーンおよび再生システム前方スピーカーは、所定の相対的なサイズ、形状および位置を有すると想定される）。

典型的には、歪めの結果として生成されるスピーカー・チャネル・ベースのプログラムのチャネル（たとえばLscおよびRscチャネル）は、再生スクリーン上に表示される画像と対応するレンダリングされる音との間のより近い近接性マッチを許容するようにレンダリングされることができる。

通常の左（L）および右（R）前方スピーカー・チャネルを選択し、レンダリングすることによって、再生システムは、それにより決定されたオーディオ要素が歪められていない位置をもつように知覚されるよう、選択されたチャネルをレンダリングすることができる。「左スクリーン」（Lsc）および「右スクリーン」（Rsc）スピーカー・チャネルを選択し、レンダリングすることによって、再生システムは、それにより決定されたオーディオ要素が（再生スクリーンに対して）歪められた位置をもつように知覚されるよう、選択されたチャネルをレンダリングすることができる。だが、歪めは、再生システムによってではなく、（典型的にはスクリーン関係メタデータを含むオブジェクト・ベースのプログラムに応答して）スピーカー・チャネル・ベースのプログラムの生成の時点で実行される。

このクラスのいくつかの実施形態は：（ミキシングの時と場所において）スクリーン関係メタデータをもつオブジェクト・ベースのプログラムを生成する段階と；次いで、（たとえば家庭用途のためのレコーディングを生成するために、もとのミキシングがなされたのと同じ位置であることができる「リミックス」の時と場所において）スクリーン関係メタデータを使って、オブジェクト・ベースのプログラムからスピーカー・チャネル・ベースのプログラムを生成する段階であって、スクリーン関係歪めを実行することによることを含む、段階と；次いで、スピーカー・チャネル・ベースのプログラムを再生システムに送達する段階とを含む。スピーカー・チャネル・ベースのプログラムは、チャネルの複数の選択可能な集合を含むことができる。該複数の選択可能な集合は、歪めを実行することなく生成され、少なくとも一つの歪められていない位置にあると知覚される少なくとも一つのオーディオ要素を（レンダリングされたときに）示すスピーカー・チャネル（たとえば、通常の仕方で生成されるLおよびRチャネル）の第一の集合と、オブジェクト・ベースのプログラムのコンテンツの歪めの結果として生成され、同じオーディオ要素を（レンダリングされたときに）示すが、少なくとも一つの異なる（すなわち、歪められた）位置にあると知覚されるスピーカー・チャネル（たとえば、LscおよびRscチャネル）の少なくとも一つの追加的な集合とを含む。あるいはまた、スピーカー・チャネル・ベースのプログラムは、歪めの結果として生成され、少なくとも一つ歪められた位置に知覚される少なくとも一つのオーディオ要素を（レンダリングされたときに）示すチャネル（たとえば、LscおよびRscチャネル）の一つの集合のみを含み、歪められていない位置に知覚される同じオーディオ要素を（レンダリングされたときに）示すチャネル（たとえばLおよびRチャネル）の別の集合は含まない。

ある例示的実施形態に基づいてオブジェクト・ベースのプログラムから生成されるスピーカー・チャネル・ベースのプログラムは、五つの前方チャネルを含む：左（L）、左スクリーン（Lsc）、中央（C）、右スクリーン（Rsc）および右（R）である。LscおよびRscチャネルは、オブジェクト・ベースのプログラムのスクリーン関係メタデータを使って歪めを実行することによって生成される。スピーカー・チャネル・ベースのプログラムをレンダリングおよび再生するために、再生システムは、再生スクリーンの左端および右端にある前方スピーカーを駆動するようLおよびRチャネルを選択し、レンダリングしてもよいし、あるいは、再生スクリーンの左端および右端から隔たった前方スピーカーを駆動するためにLscおよびRscチャネルを選択し、レンダリングしてもよい。たとえば、LscおよびRscチャネルは、想定されるユーザー位置に対して＋30度と−30度の方位角にある前方スピーカーを使ってオーディオ要素をレンダリングするために使われるという想定で生成されてもよく、LおよびRチャネルは、想定されるユーザー位置に対して（再生スクリーンの左端および右端にある）＋15度と−15度の方位角にある前方スピーカーを使ってオーディオ要素をレンダリングするために使われるという想定で生成されてもよい。

たとえば、図５のシステムは、本発明のある実施形態に基づく、スクリーン関係メタデータを含むオブジェクト・ベースのオーディオ・プログラム（「OP」）を生成するよう構成されたエンコーダ４を含んでいる。エンコーダ４は、ミキシング施設内でまたはミキシング施設において実装されてもよい。図５のシステムは、エンコーダ４によって生成されたオブジェクト・ベースのオーディオ・プログラムに応答して、スピーカー・チャネルを含むがオブジェクト・チャネルを含まないスピーカー・チャネル・ベースのオーディオ・プログラム（「SP」）を（本発明のある実施形態に従って）生成するよう結合され、構成されているリミックス・サブシステム６をも含む。サブシステム６は、リミックス施設内でまたはリミックス施設においてまたはミキシング施設（たとえばエンコーダ４も実装されるミキシング施設）のリミックス段として実装されてもよい。スピーカー・チャネル・ベースのプログラムSPのオーディオ・コンテンツは、スピーカー・チャネルの少なくとも二つの選択可能な集合（たとえば、上記で論じたチャネルLおよびRを含む一つの集合と、上記で論じたLscおよびRscを含むもう一つの集合）を含み、サブシステム６は、本発明の実施形態に基づいて、プログラムOPのスクリーン関係メタデータを使って（そして典型的にはスクリーン関係メタデータによっては示されない、歪めの型および／または度合いを示す他の制御データも使って）（エンコーダ４によって生成された）オブジェクト・ベースのプログラムOPのオーディオ・コンテンツを歪める結果として、それらの集合のうちの少なくとも一つ（たとえばチャネルLscおよびRsc）を生成するよう構成されている。スピーカー・チャネル・ベースのプログラムSPはサブシステム６から送達サブシステム５に出力される。サブシステム５は、図３のシステムの上記で論じたサブシステム５と同一であることができる。

本発明の実施形態は、ハードウェア、ファームウェアまたはソフトウェアまたはそれらの組み合わせにおいて（たとえばプログラム可能な論理アレイとして）実装されてもよい。たとえば、図３のシステム（またはそのサブシステム３またはサブシステム７、９、１０、１１）は、適切にプログラムされた（または他の仕方で構成された）ハードウェアまたはファームウェアにおいて、たとえばプログラムされた汎用プロセッサ、デジタル信号プロセッサまたはマイクロプロセッサとして実装されてもよい。特に断わりのない限り、本発明の一部として含まれるアルゴリズムまたはプロセスは、いかなる特定のコンピュータまたは他の装置にも本来的に関係していない。特に、さまざまな汎用機械が、本願の教示に従って書かれたプログラムとともに使用されてもよく、あるいは必要とされる方法ステップを実行するためにより特化した装置（たとえば集積回路）を構築することがより便利であることがある。このように、本発明は、一つまたは複数のプログラム可能なコンピュータ・システム（たとえば、図３のシステム（またはそのサブシステム３またはサブシステム７、９、１０、１１）を実装するコンピュータ・システム）上で実行される一つまたは複数のコンピュータ・プログラムにおいて実装されてもよい。各コンピュータ・システムは、少なくとも一つのプロセッサ、少なくとも一つのデータ記憶システム（揮発性および不揮発性メモリおよび／または記憶要素を含む）、少なくとも一つの入力装置またはポートおよび少なくとも一つの出力装置またはポートを有する。本稿に記載される機能を実行し、出力情報を生成するようプログラム・コードが入力データに適用される。出力情報は、既知の仕方で一つまたは複数の出力装置に適用される。

そのような各プログラムは、コンピュータ・システムと通信するためにいかなる所望されるコンピュータ言語（機械、アセンブリーまたは高水準手続き型、論理的またはオブジェクト指向のプログラミング言語を含む）において実装されてもよい。いずれの場合にも、言語はコンパイルされる言語でもインタープリットされる言語でもよい。

たとえば、コンピュータ・ソフトウェア命令のシーケンスによって実装されるとき、本発明の実施形態のさまざまな機能および段階は、好適なデジタル信号処理ハードウェアにおいて実行されるマルチスレッド式のソフトウェア命令シーケンスによって実装されてもよく、その場合、実施形態のさまざまな装置、段階および機能は、ソフトウェア命令の諸部分に対応してもよい。

そのような各コンピュータ・プログラムは好ましくは、汎用または専用のプログラム可能なコンピュータによって読み取り可能な記憶媒体またはデバイス（たとえば半導体メモリまたはメディアまたは磁気式もしくは光学式メディア）に記憶されるまたはダウンロードされ、記憶媒体またはデバイスがコンピュータ・システムによって読まれたときに、本稿に記載される手順を実行するようコンピュータを構成し、動作させる。本発明のシステムは、コンピュータ・プログラムをもって構成された（すなわちコンピュータ・プログラムを記憶している）コンピュータ可読記憶媒体として実装されてもよく、そのように構成された記憶媒体はコンピュータ・システムに、本稿に記載される機能を実行するよう特定のあらかじめ定義された仕方で動作させる。

諸実装を例として、例示的な個別的な実施形態を用いて記述してきたが、本発明の実装は開示される実施形態に限定されないことは理解される。むしろ、当業者に明白となるさまざまな修正および類似の構成をカバーすることが意図されている。したがって、付属の請求項の範囲は、あらゆるそのような修正および類似の構成を包含するよう最も広い解釈を与えられるべきものである。

Claims (57)

1. オーディオ・プログラムをレンダリングする方法であって：
   （ａ）少なくとも一つの歪め度パラメータを決定する段階と；
   （ｂ）前記プログラムの少なくとも一つのチャネルのオーディオ・コンテンツに対して、少なくとも部分的には前記チャネルに対応する前記歪め度パラメータによって決定される度合いまで歪めを実行する段階であって、それぞれの前記歪め度パラメータは、再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す、段階とを含む、
   方法。
2. 段階（ａ）は、少なくとも一つのオフ・スクリーン歪めパラメータを決定する段階を含み、前記オフ・スクリーン歪めパラメータは、前記再生システムによる前記プログラムの対応するオーディオ・コンテンツに対するオフ・スクリーン歪めの少なくとも一つの特性を示し、段階（ｂ）において実行される歪めが、少なくとも部分的には少なくとも一つの前記オフ・スクリーン歪めパラメータによって決定されるオフ・スクリーン歪めを含む、請求項１記載の方法。
3. 前記オフ・スクリーン歪めパラメータは、再生スクリーンの面に少なくとも実質的に平行な幅軸に沿ったオーディオ要素の歪められていない位置を歪める度合いを、前記再生スクリーンの面に少なくとも実質的に垂直な、前記オーディオ要素がレンダリングされるべき歪められた位置の距離の関数として制御する、請求項２記載の方法。
4. 前記歪めが、幅軸に沿ったある歪められた位置においてレンダリングされるべきオーディオ要素の幅軸に沿った歪められていない位置を示す値Xsの決定と、値
   Xwarp
   YFACTOR＝y^EXPおよび
   X'＝x*YFACTOR＋(1−YFACTOR)*[XFACTOR*Xwarp＋(l−XFACTOR)*x)]
   の決定とを含み、
   Xwarpは、再生スクリーンの端に対する幅軸に沿った前記オーディオ要素の生の歪められた位置を表わし、
   EXPはオフ・スクリーン歪めパラメータであり、
   YFACTORは、前記再生スクリーンの面に少なくとも実質的に垂直な奥行き軸に沿った前記オーディオ要素の歪められた位置yの関数としての、幅軸に沿った歪めの度合いを示し、
   X'は、前記再生スクリーンの前記端に対する幅軸に沿った前記オーディオ要素の歪められたオブジェクト位置を表わし、
   XFACTORは、一つの前記歪め度パラメータである、
   請求項１ないし３のうちいずれか一項記載の方法。
5. 前記プログラムはオブジェクト・ベースのオーディオ・プログラムであり、段階（ａ）は、前記プログラムをパースして、前記プログラムのスクリーン関係メタデータによって示される少なくとも一つの前記歪め度パラメータを同定する段階を含む、請求項１ないし４のうちいずれか一項記載の方法。
6. 前記プログラムは少なくとも二つのオブジェクトを示し、段階（ａ）は、前記オブジェクトのそれぞれについて、少なくとも一つの歪め度パラメータを独立に決定する段階を含み、段階（ｂ）は：
   少なくとも部分的には前記オブジェクトの前記それぞれに対応する前記少なくとも一つの歪め度パラメータによって決定される度合いまで前記オブジェクト・チャネルのそれぞれのオーディオ・コンテンツに対して歪めを独立して実行する段階を含む、
   請求項５記載の方法。
7. それぞれの前記歪め度パラメータは、前記再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す非バイナリー値である、請求項１ないし６のうちいずれか一項記載の方法。
8. オブジェクト・ベースのオーディオ・プログラムを生成する方法であって：
   （ａ）少なくとも一つのオブジェクトについての少なくとも一つの歪め度パラメータを決定する段階と；
   （ｂ）前記オブジェクトを示すオブジェクト・チャネルおよび前記オブジェクトについてのそれぞれの前記歪め度パラメータを示すスクリーン関係メタデータを前記プログラムに含める段階であって、それぞれの前記歪め度パラメータは、再生システムによって前記オブジェクトに対して実行される歪めの最大の度合いを示す、段階とを含む、
   方法。
9. 前記プログラムは少なくとも二つのオブジェクトを示し、前記スクリーン関係メタデータは、前記オブジェクトのうち少なくとも二つのオブジェクトのそれぞれについての少なくとも一つの前記歪め度パラメータを示し、それぞれの前記歪め度パラメータは、それぞれの対応するオブジェクトに対して実行される最大の歪めの度合いを示す、請求項８記載の方法。
10. 段階（ａ）は、前記少なくとも一つのオブジェクトについての少なくとも一つのオフ・スクリーン歪め度パラメータを決定する段階を含み、前記オフ・スクリーン歪めパラメータは、前記再生システムによって前記オブジェクトに対して実行されるオフ・スクリーン歪めの少なくとも一つの特性を示し、前記プログラムに含められる前記スクリーン関係メタデータは、それぞれの前記オフ・スクリーン歪めパラメータを示す、請求項８または９記載の方法。
11. 前記オフ・スクリーン歪めパラメータは、再生スクリーンの面に少なくとも実質的に平行な幅軸に沿った前記オブジェクトの歪められていない位置を歪める度合いを、前記再生スクリーンの面に少なくとも実質的に垂直な、前記オブジェクトがレンダリングされるべき歪められた位置の距離の関数として制御する、請求項１０記載の方法。
12. 前記歪めが、幅軸に沿ったある歪められた位置においてレンダリングされるべき前記オブジェクトの幅軸に沿った歪められていない位置を示す値Xsの決定と、値
    Xwarp
    YFACTOR＝y^EXPおよび
    X'＝x*YFACTOR＋(1−YFACTOR)*[XFACTOR*Xwarp＋(l−XFACTOR)*x)]
    の決定とを含み、
    Xwarpは、再生スクリーンの端に対する幅軸に沿った前記オーディオ要素の生の歪められた位置を表わし、
    EXPはオフ・スクリーン歪めパラメータであり、
    YFACTORは、前記再生スクリーンの面に少なくとも実質的に垂直な奥行き軸に沿った前記オーディオ要素の歪められた位置yの関数としての、幅軸に沿った歪めの度合いを示し、
    X'は、前記再生スクリーンの前記端に対する幅軸に沿った前記オーディオ要素の歪められたオブジェクト位置を表わし、
    XFACTORは、一つの前記歪め度パラメータである、
    請求項８ないし１１のうちいずれか一項記載の方法。
13. それぞれの前記歪め度パラメータは、前記再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す非バイナリー値である、請求項８ないし１２のうちいずれか一項記載の方法。
14. （ａ）オブジェクト・ベースのオーディオ・プログラムを生成する段階と；
    （ｂ）前記オブジェクト・ベースのオーディオ・プログラムに応答して、再生スクリーンに対して所定の位置に位置されるラウドスピーカーによる再生のために意図されたスピーカー・チャネルの少なくとも一つの集合を含むスピーカー・チャネル・ベースのプログラムを生成する段階であって、スピーカー・チャネルの前記集合の生成は、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを、少なくとも部分的には少なくとも一つの歪め度パラメータによって決定される度合いまで歪める段階を含み、それぞれの前記歪め度パラメータは、再生システムによって前記オブジェクト・ベースのオーディオ・プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す、段階とを含む、方法。
15. 段階（ｂ）は、前記スピーカー・チャネル・ベースのオーディオ・プログラムを、該スピーカー・チャネル・ベースのオーディオ・プログラムがスピーカー・チャネルの二つ以上の選択可能な集合を含むように生成する段階を含み、それらの集合の少なくとも一つは前記オブジェクト・ベースのオーディオ・プログラムの歪められていないオーディオ・コンテンツを示し、それらの集合の少なくとも一つの他のものの生成は、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを、少なくとも部分的には前記歪め度パラメータによって決定される度合いまで歪める段階を含み、前記集合の前記他のものは、前記再生スクリーンに対して前記所定の位置に位置されるラウドスピーカーによる再生のために意図される、請求項１４記載の方法。
16. 段階（ｂ）は、少なくとも一つのオフ・スクリーン歪めパラメータを決定する段階を含み、前記オフ・スクリーン歪めパラメータは、前記再生システムによる前記オブジェクト・ベースのオーディオ・プログラムの対応するオーディオ・コンテンツに対するオフ・スクリーン歪めの少なくとも一つの特性を示し、段階（ｂ）は、少なくとも部分的には少なくとも一つの前記オフ・スクリーン歪めパラメータによって決定されるオフ・スクリーン歪めを含む、請求項１４または１５記載の方法。
17. 前記オフ・スクリーン歪めは、再生スクリーンの面に少なくとも実質的に平行な幅軸に沿ったオーディオ要素の歪められていない位置を、前記再生スクリーンの面に少なくとも実質的に垂直な、前記オーディオ要素がレンダリングされるべき歪められた位置の距離の関数として前記オフ・スクリーン歪めパラメータによって制御される度合いまで、歪めることを含む、請求項１６記載の方法。
18. 前記歪める段階が、幅軸に沿ったある歪められた位置においてレンダリングされるべきオーディオ・オブジェクトの、前記再生スクリーンの面に少なくとも実質的に平行な幅軸に沿った歪められていない位置を示す値Xsの決定と、値
    Xwarp
    YFACTOR＝y^EXPおよび
    X'＝x*YFACTOR＋(1−YFACTOR)*[XFACTOR*Xwarp＋(l−XFACTOR)*x)]
    の決定とを含み、
    Xwarpは、再生スクリーンの端に対する幅軸に沿った前記オブジェクトの生の歪められた位置を表わし、
    EXPはオフ・スクリーン歪めパラメータであり、
    YFACTORは、前記再生スクリーンの面に少なくとも実質的に垂直な奥行き軸に沿った前記オブジェクトの歪められた位置yの関数としての、幅軸に沿った歪めの度合いを示し、
    X'は、前記再生スクリーンの前記端に対する幅軸に沿った前記オブジェクトの歪められたオブジェクト位置を表わし、
    XFACTORは、一つの前記歪め度パラメータである、
    請求項１４ないし１７のうちいずれか一項記載の方法。
19. 前記オブジェクト・ベースのオーディオ・プログラムは、前記少なくとも一つの歪め度パラメータを示すスクリーン関係メタデータを含み、段階（ｂ）は、前記オブジェクト・ベースのオーディオ・プログラムをパースして、前記スクリーン関係メタデータによって示されるそれぞれの前記歪め度パラメータを同定する段階を含む、請求項１４ないし１８のうちいずれか一項記載の方法。
20. それぞれの前記歪め度パラメータは、前記再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す非バイナリー値である、請求項１４ないし１９のうちいずれか一項記載の方法。
21. 歪められたコンテンツを示すスピーカー・チャネルの少なくとも一つの集合を含むスピーカー・チャネル・ベースのプログラムをレンダリングする方法であって、前記スピーカー・チャネル・ベースのプログラムは、オブジェクト・ベースのオーディオ・プログラムを処理することによって生成されたものであり、該処理は、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを、少なくとも部分的には少なくとも一つの歪め度パラメータによって決定される度合いまで歪めて、歪められたコンテンツを示すスピーカー・チャネルの前記集合を生成することによることを含み、それぞれの前記歪め度パラメータは、再生システムによって前記オブジェクト・ベースのオーディオ・プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示し、当該レンダリングする方法は：
    （ａ）前記スピーカー・チャネル・ベースのプログラムをパースして、歪められたコンテンツを示すスピーカー・チャネルのそれぞれの前記集合を含む、前記スピーカー・チャネル・ベースのプログラムのスピーカー・チャネルを同定する段階と；
    （ｂ）歪められたコンテンツを示すスピーカー・チャネルの少なくとも一つの前記集合を含む、前記スピーカー・チャネル・ベースのプログラムのスピーカー・チャネルの少なくともいくつかに応答して、再生スクリーンに対する所定の位置に位置されるラウドスピーカーを駆動するためのスピーカー・フィードを生成する段階とを含む、
    方法。
22. 前記スピーカー・チャネル・ベースのプログラムは、前記オブジェクト・ベースのオーディオ・プログラムを処理することによって生成されたものであり、該処理は、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツのオフ・スクリーン歪めを、少なくとも部分的には前記少なくとも一つの歪め度パラメータと、前記オブジェクト・ベースのプログラムの対応するオーディオ・コンテンツに対するオフ・スクリーン歪めの少なくとも一つの特性を示す少なくとも一つのオフ・スクリーン歪めパラメータを使うこととによって決定される度合いまで実行することによることを含む、請求項２１記載の方法。
23. 前記スピーカー・チャネル・ベースのオーディオ・プログラムは、スピーカー・チャネルの二つ以上の選択可能な集合を含み、それらの集合の少なくとも一つは前記オブジェクト・ベースのオーディオ・プログラムの歪められていないオーディオ・コンテンツを示し、それらの集合の他の一つは、歪められたコンテンツを示すスピーカー・チャネルの一つの前記集合であり、段階（ｂ）は、歪められたコンテンツを示すスピーカー・チャネルの一つの前記集合である前記集合の一つを選択する段階を含む、請求項２１または２２記載の方法。
24. それぞれの前記歪め度パラメータは、前記再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す非バイナリー値である、請求項２１ないし２３のうちいずれか一項記載の方法。
25. マルチチャネル・オーディオ・プログラムをパースして前記プログラムのチャネルを同定するよう構成されている第一のサブシステムと；
    前記第一のサブシステムに結合された処理サブシステムであって、前記プログラムの少なくとも一つのチャネルのオーディオ・コンテンツに対して、少なくとも部分的には前記チャネルに対応する少なくとも一つの歪め度パラメータによって決定される度合いまで歪めを実行するよう構成された処理サブシステムとを含んでおり、それぞれの前記歪め度パラメータは、再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す、
    システム。
26. 前記歪めは、少なくとも部分的には少なくとも一つのオフ・スクリーン歪めパラメータによって決定されるオフ・スクリーン歪めを含み、前記オフ・スクリーン歪めパラメータは、再生システムによる前記プログラムの対応するオーディオ・コンテンツに対するオフ・スクリーン歪めの少なくとも一つの特性を示す、請求項２５記載のシステム。
27. 前記オフ・スクリーン歪めは、再生スクリーンの面に少なくとも実質的に平行な幅軸に沿ったオーディオ要素の歪められていない位置を、前記再生スクリーンの面に少なくとも実質的に垂直な、前記オーディオ要素がレンダリングされるべき歪められた位置の距離の関数として前記オフ・スクリーン歪めパラメータによって制御される度合いまで、歪めることを含む、請求項２６記載のシステム。
28. 前記歪めが、幅軸に沿ったある歪められた位置においてレンダリングされるべきオーディオ要素の幅軸に沿った歪められていない位置を示す値Xsの決定と、値
    Xwarp
    YFACTOR＝y^EXPおよび
    X'＝x*YFACTOR＋(1−YFACTOR)*[XFACTOR*Xwarp＋(l−XFACTOR)*x)]
    の決定とを含み、
    Xwarpは、再生スクリーンの端に対する幅軸に沿った前記オーディオ要素の生の歪められた位置を表わし、
    EXPはオフ・スクリーン歪めパラメータであり、
    YFACTORは、前記再生スクリーンの面に少なくとも実質的に垂直な奥行き軸に沿った前記オーディオ要素の歪められた位置yの関数としての、幅軸に沿った歪めの度合いを示し、
    X'は、前記再生スクリーンの前記端に対する幅軸に沿った前記オーディオ要素の歪められたオブジェクト位置を表わし、
    XFACTORは、一つの前記歪め度パラメータである、
    請求項２５ないし２７のうちいずれか一項記載のシステム。
29. 前記プログラムはオブジェクト・ベースのオーディオ・プログラムであり、前記第一のサブシステムは、前記プログラムをパースして、前記プログラムのスクリーン関係メタデータによって示される少なくとも一つの前記歪め度パラメータを同定するよう構成されている、請求項２５ないし２８のうちいずれか一項記載のシステム。
30. 前記プログラムは少なくとも二つのオブジェクトを示し、前記第一のサブシステムは、前記オブジェクトのそれぞれについて、少なくとも一つの歪め度パラメータを独立に決定するよう構成されており、前記処理サブシステムは、少なくとも部分的には前記オブジェクトの前記それぞれに対応する前記少なくとも一つの歪め度パラメータによって決定される度合いまで前記オブジェクトのそれぞれを示すオーディオ・コンテンツに対して歪めを独立して実行するよう構成されている、請求項２９記載のシステム。
31. それぞれの前記歪め度パラメータは、前記再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す非バイナリー値である、請求項２５ないし３０のうちいずれか一項記載のシステム。
32. オブジェクト・ベースのオーディオ・プログラムを生成するよう構成された第一のサブシステムと；
    前記オブジェクト・ベースのオーディオ・プログラムに応答して、再生スクリーンに対して所定の位置に位置されるラウドスピーカーによる再生のために意図されたスピーカー・チャネルの少なくとも一つの集合を含むスピーカー・チャネル・ベースのプログラムを生成するよう構成された、前記第一のサブシステムに結合された第二のサブシステムとを含むシステムであって、前記第二のサブシステムは、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを、少なくとも部分的には少なくとも一つの歪め度パラメータによって決定される度合いまで歪めることによることを含め、スピーカー・チャネルの前記集合を生成するよう構成されており、それぞれの前記歪め度パラメータは、再生システムによって前記オブジェクト・ベースのオーディオ・プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す、システム。
33. 前記第二のサブシステムは、前記スピーカー・チャネル・ベースのオーディオ・プログラムを、該スピーカー・チャネル・ベースのオーディオ・プログラムがスピーカー・チャネルの二つ以上の選択可能な集合を含むように生成するよう構成されており、それらの集合の少なくとも一つは前記オブジェクト・ベースのオーディオ・プログラムの歪められていないオーディオ・コンテンツを示し、それらの集合の少なくとも一つの他のものの生成は、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを、少なくとも部分的には前記歪め度パラメータによって決定される度合いまで歪めることを含み、前記集合の前記他のものは、前記再生スクリーンに対して前記所定の位置に位置されるラウドスピーカーによる再生のために意図される、請求項３２記載のシステム。
34. 前記第二のサブシステムは、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツのオフ・スクリーン歪めを実行することによることを含め、スピーカー・チャネルの前記集合を生成するよう構成されており、前記オフ・スクリーン歪めは、少なくとも部分的には、前記オフ・スクリーン歪めの少なくとも一つの特性を示す少なくとも一つのオフ・スクリーン歪めパラメータによって決定される、請求項３２または３３記載のシステム。
35. 前記第二のサブシステムは、前記オフ・スクリーン歪めパラメータに応答して、再生スクリーンの面に少なくとも実質的に平行な幅軸に沿ったオブジェクトの歪められていない位置を歪める度合いを、前記再生スクリーンの面に少なくとも実質的に垂直な、前記オブジェクトがレンダリングされるべき歪められた位置の距離の関数として制御するよう構成されている、請求項３４記載のシステム。
36. 前記第二のサブシステムが、幅軸に沿ったある歪められた位置においてレンダリングされるべきオーディオ要素の、前記再生スクリーンの面に少なくとも実質的に平行な前記幅軸に沿った歪められていない位置を示す値Xsを決定し、値
    Xwarp
    YFACTOR＝y^EXPおよび
    X'＝x*YFACTOR＋(1−YFACTOR)*[XFACTOR*Xwarp＋(l−XFACTOR)*x)]
    を決定することによることを含めて前記歪めを実行するよう構成されており、
    Xwarpは、再生スクリーンの端に対する幅軸に沿った前記オブジェクトの生の歪められた位置を表わし、
    EXPはオフ・スクリーン歪めパラメータであり、
    YFACTORは、前記再生スクリーンの面に少なくとも実質的に垂直な奥行き軸に沿った前記オブジェクトの歪められた位置yの関数としての、幅軸に沿った歪めの度合いを示し、
    X'は、前記再生スクリーンの前記端に対する幅軸に沿った前記オブジェクトの歪められたオブジェクト位置を表わし、
    XFACTORは、一つの前記歪め度パラメータである、
    請求項３２ないし３５のうちいずれか一項記載のシステム。
37. 前記オブジェクト・ベースのオーディオ・プログラムは、前記少なくとも一つの歪め度パラメータを示すスクリーン関係メタデータを含み、前記第二のサブシステムは、前記オブジェクト・ベースのオーディオ・プログラムをパースして、前記スクリーン関係メタデータによって示されるそれぞれの前記歪め度パラメータを同定するよう構成されている、請求項３２ないし３６のうちいずれか一項記載のシステム。
38. それぞれの前記歪め度パラメータは、前記再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す非バイナリー値である、請求項３２ないし３７のうちいずれか一項記載のシステム。
39. 歪められたコンテンツを示すスピーカー・チャネルの少なくとも一つの集合を含むスピーカー・チャネル・ベースのプログラムをレンダリングするシステムであって、前記スピーカー・チャネル・ベースのプログラムは、オブジェクト・ベースのオーディオ・プログラムを処理することによって生成されたものであり、該処理は、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを、少なくとも部分的には少なくとも一つの歪め度パラメータによって決定される度合いまで歪めて、歪められたコンテンツを示すスピーカー・チャネルの前記集合を生成することによることを含み、それぞれの前記歪め度パラメータは、再生システムによって前記オブジェクト・ベースのオーディオ・プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示し、当該システムは：
    前記スピーカー・チャネル・ベースのプログラムをパースして、歪められたコンテンツを示すスピーカー・チャネルのそれぞれの前記集合を含む、前記スピーカー・チャネル・ベースのプログラムのスピーカー・チャネルを同定するよう構成された第一のサブシステムと；
    歪められたコンテンツを示すスピーカー・チャネルの少なくとも一つの前記集合を含む、前記スピーカー・チャネル・ベースのプログラムのスピーカー・チャネルの少なくともいくつかに応答して、再生スクリーンに対する所定の位置に位置されるラウドスピーカーを駆動するためのスピーカー・フィードを生成するよう構成されている、前記第一のサブシステムに結合されたレンダリング・サブシステムとを含む、
    システム。
40. 前記スピーカー・チャネル・ベースのオーディオ・プログラムは、スピーカー・チャネルの二つ以上の選択可能な集合を含み、それらの集合の少なくとも一つは前記オブジェクト・ベースのオーディオ・プログラムの歪められていないオーディオ・コンテンツを示し、それらの集合の他の一つは、歪められたコンテンツを示すスピーカー・チャネルの一つの前記集合であり、前記第一のサブシステムは、歪められたコンテンツを示すスピーカー・チャネルの一つの前記集合である前記集合の一つを、前記レンダリング・サブシステムによるレンダリングのために選択するよう構成されている、請求項３９記載のシステム。
41. それぞれの前記歪め度パラメータは、前記再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す非バイナリー値である、請求項３９または４０記載のシステム。
42. バッファ・メモリと；
    前記バッファ・メモリに結合された少なくとも一つの処理サブシステムとを含むオーディオ処理ユニットであって、
    前記バッファ・メモリは、オブジェクト・ベースのオーディオ・プログラムの少なくとも一つのセグメントであって、前記セグメントは少なくとも一つのオブジェクトを示す少なくとも一つのオブジェクト・チャネルのオーディオ・コンテンツを含む、セグメントと、少なくとも一つの前記オブジェクトについての少なくとも一つの歪め度パラメータを示すスクリーン関係メタデータであって、それぞれの前記歪め度パラメータは、再生システムによって前記オブジェクトに対して実行されるべき歪めの最大の度合いを示す、スクリーン関係メタデータとを記憶しており、
    前記処理サブシステムは、前記スクリーン関係メタデータの少なくとも一部を使った前記オブジェクト・ベースのオーディオ・プログラムのレンダリングまたは前記オブジェクト・ベースのオーディオ・プログラムの生成または前記オブジェクト・ベースのオーディオ・プログラムのデコードのうちの少なくとも一つを実行するよう結合され、構成されている、
    オーディオ処理ユニット。
43. 前記プログラムは少なくとも二つのオブジェクトを示し、前記スクリーン関係メタデータは、前記オブジェクトのうち少なくとも二つのオブジェクトのそれぞれについての少なくとも一つの前記歪め度パラメータを示し、それぞれの前記歪め度パラメータは、それぞれの対応するオブジェクトに対して実行される最大の歪めの度合いを示す、請求項４２記載のオーディオ処理ユニット。
44. 前記バッファ・メモリに記憶されている前記オブジェクト・ベースのオーディオ・プログラムの前記セグメントは、前記少なくとも一つのオブジェクトについての少なくとも一つのオフ・スクリーン歪めパラメータを示し、前記オフ・スクリーン歪めパラメータは、前記再生システムによって前記オブジェクトに対して実行されるべきオフ・スクリーン歪めの少なくとも一つの特性を示し、前記プログラムに含まれる前記スクリーン関係メタデータはそれぞれの前記オフ・スクリーン歪めパラメータを示す、請求項４２または４３記載のオーディオ処理ユニット。
45. 前記オフ・スクリーン歪めパラメータは、再生スクリーンの面に少なくとも実質的に平行な幅軸に沿った前記オブジェクトの歪められていない位置を歪める度合いを、前記再生スクリーンの面に少なくとも実質的に垂直な、前記オブジェクトがレンダリングされるべき歪められた位置の距離の関数として制御する、請求項４４記載のオーディオ処理ユニット。
46. 前記歪めが、幅軸に沿ったある歪められた位置においてレンダリングされるべき前記オブジェクトの幅軸に沿った歪められていない位置を示す値Xsの決定と、値
    Xwarp
    YFACTOR＝y^EXPおよび
    X'＝x*YFACTOR＋(1−YFACTOR)*[XFACTOR*Xwarp＋(l−XFACTOR)*x)]
    の決定とを含み、
    Xwarpは、再生スクリーンの端に対する幅軸に沿った前記オーディオ要素の生の歪められた位置を表わし、
    EXPはオフ・スクリーン歪めパラメータであり、
    YFACTORは、前記再生スクリーンの面に少なくとも実質的に垂直な奥行き軸に沿った前記オーディオ要素の歪められた位置yの関数としての、幅軸に沿った歪めの度合いを示し、
    X'は、前記再生スクリーンの前記端に対する幅軸に沿った前記オーディオ要素の歪められたオブジェクト位置を表わし、
    XFACTORは、一つの前記歪め度パラメータである、
    請求項４２ないし４５のうちいずれか一項記載のオーディオ処理ユニット。
47. 当該オーディオ処理ユニットがエンコーダであり、前記処理サブシステムが前記オブジェクト・ベースのオーディオ・プログラムを生成するよう構成されている、請求項４２ないし４６のうちいずれか一項記載のオーディオ処理ユニット。
48. 当該オーディオ処理ユニットがデコーダであり、前記処理サブシステムが前記オブジェクト・ベースのオーディオ・プログラムをデコードするよう構成されている、請求項４２ないし４６のうちいずれか一項記載のオーディオ処理ユニット。
49. それぞれの前記歪め度パラメータは、前記再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す非バイナリー値である、請求項４２ないし４８のうちいずれか一項記載のオーディオ処理ユニット。
50. バッファ・メモリと；
    前記バッファ・メモリに結合された少なくとも一つの処理サブシステムとを含むオーディオ処理ユニットであって、
    前記バッファ・メモリは、スピーカー・チャネル・ベースのオーディオ・プログラムの少なくとも一つのセグメントを記憶しており、前記セグメントは、再生スクリーンに対して所定の位置に位置されるラウドスピーカーによる再生のために意図された前記スピーカー・チャネル・ベースのプログラムのスピーカー・チャネルの少なくとも一つの集合のオーディオ・コンテンツを含み、スピーカー・チャネルの前記集合はオブジェクト・ベースのオーディオ・プログラムに応答して生成されたものであり、該生成は、前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを、少なくとも部分的には少なくとも一つの歪め度パラメータによって決定される度合いまで歪めることによることを含み、それぞれの前記歪め度パラメータは、再生システムによって前記オブジェクト・ベースのオーディオ・プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示し、
    前記処理サブシステムは、前記スピーカー・チャネル・ベースのオーディオ・プログラムのレンダリングまたは前記スピーカー・チャネル・ベースのオーディオ・プログラムのデコードのうちの少なくとも一つを実行するよう構成されている、
    オーディオ処理ユニット。
51. 前記バッファ・メモリに記憶されている前記スピーカー・チャネル・ベースのオーディオ・プログラムの少なくとも一つの前記セグメントは、スピーカー・チャネルの二つ以上の選択可能な集合のオーディオ・コンテンツを含み、それらの集合の少なくとも一つは前記オブジェクト・ベースのオーディオ・プログラムの歪められていないオーディオ・コンテンツを示し、それらの集合の少なくとも一つの他のものは、少なくとも部分的には前記少なくとも一つの歪め度パラメータによって決定される度合いまで前記オブジェクト・ベースのオーディオ・プログラムのオーディオ・コンテンツを歪めることによることを含め、前記オブジェクト・ベースのオーディオ・プログラムに応答して生成されたものである、請求項５０記載のオーディオ処理ユニット。
52. スピーカー・チャネルの前記集合は、少なくとも部分的には少なくとも一つのオフ・スクリーン歪めパラメータによって決定されるオフ・スクリーン歪めの実行を含むプロセスによって生成されたものである、請求項５０または５１記載のオーディオ処理ユニット。
53. 前記オフ・スクリーン歪めは、再生スクリーンの面に少なくとも実質的に平行な幅軸に沿ったオーディオ要素の歪められていない位置を、前記再生スクリーンの面に少なくとも実質的に垂直な、前記オーディオ要素がレンダリングされるべき歪められた位置の距離の関数として前記オフ・スクリーン歪めパラメータによって制御される度合いまで、歪めることを含む、請求項５２記載のオーディオ処理ユニット。
54. スピーカー・チャネルの前記集合は、幅軸に沿ったある歪められた位置においてレンダリングされるべきオーディオ・オブジェクトの、再生スクリーンの面に少なくとも実質的に平行な前記幅軸に沿った歪められていない位置を示す値Xsの決定と、値
    Xwarp
    YFACTOR＝y^EXPおよび
    X'＝x*YFACTOR＋(1−YFACTOR)*[XFACTOR*Xwarp＋(l−XFACTOR)*x)]
    の決定とを含む歪めの実行を含むプロセスによって生成されたものであり、
    Xwarpは、再生スクリーンの端に対する幅軸に沿った前記オブジェクトの生の歪められた位置を表わし、
    EXPはオフ・スクリーン歪めパラメータであり、
    YFACTORは、前記再生スクリーンの面に少なくとも実質的に垂直な奥行き軸に沿った前記オブジェクトの歪められた位置yの関数としての、幅軸に沿った歪めの度合いを示し、
    X'は、前記再生スクリーンの前記端に対する幅軸に沿った前記オブジェクトの歪められたオブジェクト位置を表わし、
    XFACTORは、一つの前記歪め度パラメータである、
    請求項５０ないし５３のうちいずれか一項記載のオーディオ処理ユニット。
55. 前記オブジェクト・ベースのオーディオ・プログラムは、前記少なくとも一つの歪め度パラメータを示すスクリーン関係メタデータを含み、スピーカー・チャネルの前記集合は、前記スクリーン関係メタデータによって示されるそれぞれの前記歪め度パラメータを同定するよう前記オブジェクト・ベースのオーディオ・プログラムをパースする段階を含むプロセスによって生成されたものである、請求項５０ないし５４のうちいずれか一項記載のオーディオ処理ユニット。
56. 前記オーディオ処理ユニットはデコーダである、請求項５０ないし５５のうちいずれか一項記載のオーディオ処理ユニット。
57. それぞれの前記歪め度パラメータは、前記再生システムによって前記プログラムの対応するオーディオ・コンテンツに対して実行される歪めの最大の度合いを示す非バイナリー値である、請求項５０ないし５６のうちいずれか一項記載のオーディオ処理ユニット。

Images