JP7677325B2

JP7677325B2 - 信号処理装置および方法、並びにプログラム

Info

Publication number: JP7677325B2
Application number: JP2022511914A
Authority: JP
Inventors: 隆郎福井; 徹知念
Original assignee: Sony Corp; Sony Group Corp
Current assignee: Sony Corp; Sony Group Corp
Priority date: 2020-04-01
Filing date: 2021-03-19
Publication date: 2025-05-15
Anticipated expiration: 2041-03-19
Also published as: WO2021200260A1; US20230105632A1; EP4131257A4; JPWO2021200260A1; EP4131257A1; CN115315747A

Description

本技術は、信号処理装置および方法、並びにプログラムに関し、特に少ない処理量でも高音質な信号を得ることができるようにした信号処理装置および方法、並びにプログラムに関する。

従来、オーディオ信号に対する高音質化のための処理、すなわち音質改善のための処理として、帯域拡張処理やダイナミックレンジ拡張処理が知られている。

例えばそのような帯域拡張処理として、低域サブバンド信号に基づいて高域を通過帯域とする帯域通過フィルタのフィルタ係数を算出し、そのフィルタ係数を用いて低域サブバンド信号から得られる平坦化信号をフィルタリングすることで高域信号を生成する技術が提案されている（例えば、特許文献１参照）。

米国特許第９９２２６６０号明細書

ところで、複数のオブジェクトごとのオーディオ信号を含むオブジェクトオーディオについて、全てのオブジェクトのオーディオ信号に対して同等に高音質化のための処理を行おうとすると、当然、オブジェクト数分の処理が必要となる。

したがって、例えばスマートホンやポータブルプレーヤ、サウンドアンプなどといった、現状のプラットフォームでは処理しきれなくなってしまうことがある。

例えば、比較的オブジェクト数の少ない１２オブジェクトでも、それらの１２個の全てのオブジェクトに対して高音質化の処理を行おうとすると、1 GCPS（cycles per second）乃至3 GCPSという膨大な処理量となってしまう。

本技術は、このような状況に鑑みてなされたものであり、少ない処理量でも高音質な信号を得ることができるようにするものである。

本技術の一側面の信号処理装置は、複数のオーディオ信号の供給を受け、高音質化処理を施す前記オーディオ信号を選択する選択部と、前記選択部により選択された前記オーディオ信号に対して、前記高音質化処理を行う高音質化処理部とを備える。

本技術の一側面の信号処理方法またはプログラムは、複数のオーディオ信号の供給を受け、高音質化処理を施す前記オーディオ信号を選択し、選択された前記オーディオ信号に対して、前記高音質化処理を行うステップを含む。

本技術の一側面においては、複数のオーディオ信号の供給を受け、高音質化処理を施す前記オーディオ信号が選択され、選択された前記オーディオ信号に対して、前記高音質化処理が行われる。

信号処理装置の構成例を示す図である。高音質化処理部の構成例を示す図である。ダイナミックレンジ拡張部の構成例を示す図である。帯域拡張部の構成例を示す図である。ダイナミックレンジ拡張部の構成例を示す図である。帯域拡張部の構成例を示す図である。帯域拡張部の構成例を示す図である。再生信号生成処理を説明するフローチャートである。高負荷高音質化処理を説明するフローチャートである。中負荷高音質化処理を説明するフローチャートである。低負荷高音質化処理を説明するフローチャートである。信号処理装置の構成例を示す図である。再生信号生成処理を説明するフローチャートである。信号処理装置の構成例を示す図である。信号処理装置の構成例を示す図である。再生信号生成処理を説明するフローチャートである。コンピュータの構成例を示す図である。

以下、図面を参照して、本技術を適用した実施の形態について説明する。

〈第１の実施の形態〉
〈本技術について〉
本技術は、オブジェクトオーディオに代表されるマルチチャンネル・オーディオの高音質化を行う場合に、メタデータ等を用いて、各オーディオ信号に対して行われる処理を差異化することで、少ない処理量でも高音質な信号を得ることができるようにするものである。

例えば本技術では、オーディオ信号ごとに、メタデータ等に基づいて、オーディオ信号に対して行われる高音質化処理が選択される。換言すれば、高音質化処理を施すオーディオ信号が選択される。

このようにすることで、全体として高音質化のための処理の処理量を低減させ、ポータブル端末等の処理能力の低いプラットフォームでも高音質な信号を得ることができる。

近年、オブジェクトオーディオに代表されるマルチチャンネル・オーディオの配信が計画されている。そのようなオーディオ配信では、例えばMPEG（Moving Picture Experts Group）-Hフォーマットを採用することができる。

例えば、MPEG-Hフォーマットの圧縮信号（オーディオ信号）に対する高音質化処理として、ダイナミックレンジ拡張処理や帯域拡張処理を行うことが考えられる。

ここで、ダイナミックレンジ拡張処理とは、オーディオ信号のダイナミックレンジ、すなわちオーディオ信号の１サンプルのサンプル値のビット数（量子化ビット数）を拡張する処理である。また、帯域拡張処理とは、オーディオ信号に対して、そのオーディオ信号には含まれていない高域成分を付加する処理である。

ところで、複数の全てのオーディオ信号に対して、処理負荷が高く、より音質が改善される高音質化処理を行うことは現実的ではない。

そこで本技術では、例えばオーディオ信号のメタデータ等に基づいて、重要なオーディオ信号に対しては処理負荷が高くてもより音質改善効果の高い高音質化処理を行い、重要度の低いオーディオ信号に対してはより処理負荷の低い高音質化処理を行うことで、より適切な音質改善を行うことができるようにした。すなわち、少ない処理量でも十分に高音質な信号を得ることができるようにした。

なお、高音質化の対象となるオーディオ信号は、どのようなものであってもよいが、以下では、所定のコンテンツを構成する複数のオーディオ信号が高音質化の対象とされるものとして説明を行う。

また、高音質化の対象のコンテンツを構成する複数のオーディオ信号には、ＲやＬなどの各チャンネルのオーディオ信号と、ボーカル音声等の各オーディオオブジェクト（以下、単にオブジェクトと称する）のオーディオ信号とが含まれているものとする。

さらに、各オーディオ信号にはメタデータが付加されており、そのメタデータには種別情報と優先度情報が含まれているとする。また、オブジェクトのオーディオ信号のメタデータには、そのオブジェクトの位置を示す位置情報も含まれているものとする。

種別情報は、オーディオ信号の種別、すなわち、例えばＬやＲなどのオーディオ信号のチャンネル名や、ボーカル、ギターなどのオブジェクトの種別、より詳細にはオブジェクトの音源の種別を示す情報である。

優先度情報は、オーディオ信号の優先度（プライオリティ）を示す情報であり、ここでは１から１０までの数値により優先度が表されているものとする。具体的には、優先度を表す数値が小さいほど、優先度が高いものとする。したがって、この例では優先度「１」が最も優先度が高く、優先度「１０」が最も優先度が低くなっている。

さらに、以下において説明する例では、高音質化処理として高負荷高音質化処理、中負荷高音質化処理、および低負荷高音質化処理といった、互いに異なる３つの高音質化処理が予め用意されている。そして、メタデータに基づいて、それらの高音質化処理のなかからオーディオ信号に対して施される高音質化処理が選択される。

高負荷高音質化処理は、３つの高音質化処理のなかで最も処理負荷が高いが、最も音質改善効果が高い高音質化処理であり、特に優先度が高いオーディオ信号や重要な種別のオーディオ信号に対する高音質化の処理として有用である。

高負荷高音質化処理の具体的な例としては、例えば予め機械学習により得られたDNN（Deep Neural Network）等に基づくダイナミックレンジ拡張処理や帯域拡張処理を組み合わせて行うことが考えられる。

低負荷高音質化処理とは、３つの高音質化処理のなかで最も処理負荷が低く、最も音質改善効果も低い高音質化処理であり、特に優先度や種別の重要度が低いオーディオ信号に対する高音質化の処理として有用である。

低負荷高音質化処理の具体的な例としては、例えば予め定められた係数や符号化側で指定された係数を用いた帯域拡張処理、オーディオ信号に対してホワイトノイズ等の信号を高域成分として付加する簡易的な帯域拡張処理、予め定められた係数を用いたフィルタリングによるダイナミックレンジ拡張処理などの極めて低負荷な処理を組み合わせて行うことが考えられる。

中負荷高音質化処理とは、３つの高音質化処理のなかで２番目に処理負荷が高く、音質改善効果も２番目に高い高音質化処理であり、特に優先度や種別の重要度が中程度であるオーディオ信号に対する高音質化の処理として有用である。

中負荷高音質化処理の具体的な例としては、例えば線形予測により高域成分を生成する帯域拡張処理や、予め定められた係数を用いたフィルタリングによるダイナミックレンジ拡張処理などを組み合わせて行うことが考えられる。

なお、以下では互いに異なる高音質化処理として３つの処理がある例について説明するが、互いに異なる高音質化処理は２以上の任意の数であってもよい。また、高音質化処理は、ダイナミックレンジ拡張処理や帯域拡張処理に限らず、他の処理であってもよいし、ダイナミックレンジ拡張処理と帯域拡張処理の何れか一方のみが行われてもよい。

ここで、具体的な例について説明する。例えば、高音質化の対象となるオーディオ信号として、８個のオブジェクトOB1乃至オブジェクトOB7のオーディオ信号があるとする。

また、各オブジェクトの種別と優先度を（種別，優先度）と記すこととする。

いま、オブジェクトOB1乃至オブジェクトOB7の各オブジェクトのメタデータにより表される種別および優先度が、それぞれ（ボーカル，１）、（ドラム，１）、（ギター，２）、（ベース，３）、（リバーブ，９）、（オーディエンス，１０）、および（環境音，１０）であるとする。

このとき、例えば一般的な処理能力を有するプラットフォームにおいては、優先度が最も高い「１」であるオブジェクトOB1およびオブジェクトOB2のオーディオ信号に対しては高負荷高音質化処理が行われる。また、優先度が「２」または「３」であるオブジェクトOB3およびオブジェクトOB4のオーディオ信号に対しては中負荷高音質化処理が行われ、それ以外の優先度の低いオブジェクトOB5乃至オブジェクトOB7のオーディオ信号に対しては低負荷高音質化処理が行われる。

これに対して、処理能力が高く、より多くの処理を音質改善に行うことができる再生機器（プラットフォーム）においては、前述の例よりも、より多くのオブジェクトのオーディオ信号に対して高負荷高音質化処理が行われる。

例えばオブジェクトOB1乃至オブジェクトOB7の各オブジェクトのメタデータにより表される種別および優先度が、それぞれ（ボーカル，１）、（ドラム，２）、（ギター，２）、（ベース，３）、（リバーブ，９）、（オーディエンス，１０）、および（環境音，１０）であるとする。

このとき、優先度が高い「１」または「２」のオブジェクトOB1乃至オブジェクトOB3のオーディオ信号に対しては高負荷高音質化処理が行われ、優先度が「３」乃至「９」までのオブジェクトOB4およびオブジェクトOB5のオーディオ信号に対しては中負荷高音質化処理が行われる。そして、優先度が最も低い「１０」であるオブジェクトOB6およびオブジェクトOB7のオーディオ信号に対してのみ低負荷高音質化処理が行われる。

また、一般的な処理能力よりも低い処理能力を有するプラットフォームにおいては、前述の２つの例よりも高負荷高音質化処理が行われるオーディオ信号は少なくされ、より効率よく高音質化が行われる。

このとき、優先度が最も高い「１」のオブジェクトOB1のオーディオ信号に対してのみ高負荷高音質化処理が行われ、優先度が「２」のオブジェクトOB2およびオブジェクトOB3のオーディオ信号に対して中負荷高音質化処理が行われる。そして、優先度が「３」以下であるオブジェクトOB4乃至オブジェクトOB7のオーディオ信号に対して低負荷高音質化処理が行われる。

以上のように、本技術ではメタデータに含まれている優先度情報と種別情報の少なくとも何れか一方に基づいて、各オーディオ信号に対して行われる高音質化処理が選択される。このようにすることで、例えば再生機器（プラットフォーム）の処理能力に合わせて、実行される高音質化時の全体の処理負荷を設定することができ、どのような再生機器でも高音質化、すなわち音質改善を行うことができる。

〈信号処理装置の構成例〉
次に、以上において説明した本技術のより具体的な実施の形態について説明する。

図１は、本技術を適用した信号処理装置の一実施の形態の構成例を示す図である。

図１に示す信号処理装置１１は、例えばスマートホンやポータブルプレーヤ、サウンドアンプ、パーソナルコンピュータ、タブレットなどからなる。

信号処理装置１１は、復号部２１、オーディオ選択部２２、高音質化処理部２３、レンダラ２４、および再生信号生成部２５を有している。

復号部２１には、例えば複数のオーディオ信号や、それらのオーディオ信号のメタデータを符号化して得られた符号化データが供給される。例えば符号化データは、MPEG-H等の所定の符号化フォーマットのビットストリームなどとされる。

復号部２１は、供給された符号化データに対する復号処理を行い、その結果得られた各オーディオ信号と、それらのオーディオ信号のメタデータとをオーディオ選択部２２に供給する。

オーディオ選択部２２は、復号部２１から供給された複数のオーディオ信号ごとに、復号部２１から供給されたメタデータに基づいて、オーディオ信号に対して行う高音質化処理を選択し、その選択結果に応じてオーディオ信号を高音質化処理部２３に供給する。

換言すればオーディオ選択部２２は、復号部２１から複数のオーディオ信号の供給を受けるとともに、メタデータに基づいて、高負荷高音質化処理等の高音質化処理を施すオーディオ信号を選択する。

オーディオ選択部２２は、選択部３１－１乃至選択部３１－ｍを有しており、それらの各選択部３１－１乃至選択部３１－ｍには、１つのオーディオ信号と、そのオーディオ信号のメタデータが供給される。

特に、この例では符号化データには、高音質化の対象となるオーディオ信号として、ｎ個の各オブジェクトのオーディオ信号と、（m-n）個の各チャンネルのオーディオ信号とが含まれている。そして、選択部３１－１乃至選択部３１－ｎにはオブジェクトのオーディオ信号とそのメタデータが供給され、選択部３１－（n+1）乃至選択部３１－ｍにはチャンネルのオーディオ信号とそのメタデータが供給される。

選択部３１－１乃至選択部３１－ｍは、復号部２１から供給されたメタデータに基づいて、復号部２１から供給されたオーディオ信号に対して行う高音質化処理、すなわちオーディオ信号の出力先のブロックを選択し、その選択結果に応じた高音質化処理部２３のブロックにオーディオ信号を供給する。

また、選択部３１－１乃至選択部３１－ｎは、復号部２１から供給されたオブジェクトのオーディオ信号のメタデータを、高音質化処理部２３を介してレンダラ２４に供給する。

なお、以下、選択部３１－１乃至選択部３１－ｍを特に区別する必要のない場合、単に選択部３１とも称することとする。

高音質化処理部２３は、オーディオ選択部２２から供給された各オーディオ信号に対して、予め定められた３種類の高音質化処理のうちの何れかを施し、その結果得られたオーディオ信号を高音質化信号として出力する。ここでいう３種類の高音質化処理とは、上述した高負荷高音質化処理、中負荷高音質化処理、および低負荷高音質化処理である。

高音質化処理部２３は、高負荷高音質化処理部３２－１乃至高負荷高音質化処理部３２－ｍ、中負荷高音質化処理部３３－１乃至中負荷高音質化処理部３３－ｍ、および低負荷高音質化処理部３４－１乃至低負荷高音質化処理部３４－ｍを有している。

高負荷高音質化処理部３２－１乃至高負荷高音質化処理部３２－ｍは、選択部３１－１乃至選択部３１－ｍからオーディオ信号が供給された場合、供給されたオーディオ信号に対して高負荷高音質化処理を行い、高音質化信号を生成する。

高負荷高音質化処理部３２－１乃至高負荷高音質化処理部３２－ｎは、高負荷高音質化処理により得られた各オブジェクトの高音質化信号をレンダラ２４に供給する。

また、高負荷高音質化処理部３２－（n+1）乃至高負荷高音質化処理部３２－ｍは、高負荷高音質化処理により得られた各チャンネルの高音質化信号を再生信号生成部２５に供給する。

なお、以下、高負荷高音質化処理部３２－１乃至高負荷高音質化処理部３２－ｍを特に区別する必要のない場合、単に高負荷高音質化処理部３２とも称することとする。

中負荷高音質化処理部３３－１乃至中負荷高音質化処理部３３－ｍは、選択部３１－１乃至選択部３１－ｍからオーディオ信号が供給された場合、供給されたオーディオ信号に対して中負荷高音質化処理を行い、高音質化信号を生成する。

中負荷高音質化処理部３３－１乃至中負荷高音質化処理部３３－ｎは、中負荷高音質化処理により得られた各オブジェクトの高音質化信号をレンダラ２４に供給する。

また、中負荷高音質化処理部３３－（n+1）乃至中負荷高音質化処理部３３－ｍは、中負荷高音質化処理により得られた各チャンネルの高音質化信号を再生信号生成部２５に供給する。

なお、以下、中負荷高音質化処理部３３－１乃至中負荷高音質化処理部３３－ｍを特に区別する必要のない場合、単に中負荷高音質化処理部３３とも称することとする。

低負荷高音質化処理部３４－１乃至低負荷高音質化処理部３４－ｍは、選択部３１－１乃至選択部３１－ｍからオーディオ信号が供給された場合、供給されたオーディオ信号に対して低負荷高音質化処理を行い、高音質化信号を生成する。

低負荷高音質化処理部３４－１乃至低負荷高音質化処理部３４－ｎは、低負荷高音質化処理により得られた各オブジェクトの高音質化信号をレンダラ２４に供給する。

また、低負荷高音質化処理部３４－（n+1）乃至低負荷高音質化処理部３４－ｍは、低負荷高音質化処理により得られた各チャンネルの高音質化信号を再生信号生成部２５に供給する。

なお、以下、低負荷高音質化処理部３４－１乃至低負荷高音質化処理部３４－ｍを特に区別する必要のない場合、単に低負荷高音質化処理部３４とも称することとする。

レンダラ２４は、高音質化処理部２３から供給されたメタデータに基づいて、高負荷高音質化処理部３２や中負荷高音質化処理部３３、低負荷高音質化処理部３４から供給された各オブジェクトの高音質化信号に対して、後段のスピーカ等の再生機器に合わせたレンダリング処理を行う。

例えばレンダラ２４では、レンダリング処理としてVBAP（Vector Based Amplitude Panning）が行われ、各オブジェクトの音が、それらのオブジェクトのメタデータに含まれている位置情報により示される位置に定位するオブジェクト再生信号が得られる。このオブジェクト再生信号は、（m-n）個の各チャンネルのオーディオ信号からなる、マルチチャンネルのオーディオ信号である。

レンダラ２４は、レンダリング処理により得られたオブジェクト再生信号を再生信号生成部２５に供給する。

再生信号生成部２５は、レンダラ２４から供給されたオブジェクト再生信号と、高負荷高音質化処理部３２や中負荷高音質化処理部３３、低負荷高音質化処理部３４から供給された各チャンネルの高音質化信号とを合成する合成処理を行う。

例えば合成処理では、同じチャンネルのオブジェクト再生信号と高音質化信号が加算（合成）され、（m-n）チャンネルの再生信号が生成される。この再生信号を（m-n）個のスピーカにより再生すると、各チャンネルの音や各オブジェクトの音、すなわちコンテンツの音が再生される。

再生信号生成部２５は、合成処理により得られた再生信号を後段に出力する。

〈高音質化処理部の構成例〉
続いて、高負荷高音質化処理部３２、中負荷高音質化処理部３３、および低負荷高音質化処理部３４の構成例について説明する。

例えば、それらの高負荷高音質化処理部３２、中負荷高音質化処理部３３、および低負荷高音質化処理部３４は、図２に示すように構成される。なお、図２では、高負荷高音質化処理部３２乃至低負荷高音質化処理部３４の後段にレンダラ２４が設けられている例が示されている。

図２に示す例では、高負荷高音質化処理部３２は、ダイナミックレンジ拡張部６１および帯域拡張部６２を有している。

ダイナミックレンジ拡張部６１は、選択部３１から供給されたオーディオ信号に対して、予め機械学習されたDNNに基づくダイナミックレンジ拡張処理を行い、その結果得られたオーディオ信号を帯域拡張部６２に供給する。

帯域拡張部６２は、ダイナミックレンジ拡張部６１から供給されたオーディオ信号に対して、予め機械学習されたDNNに基づく帯域拡張処理を行い、その結果得られた高音質化信号をレンダラ２４に供給する。

中負荷高音質化処理部３３は、ダイナミックレンジ拡張部７１および帯域拡張部７２を有している。

ダイナミックレンジ拡張部７１は、選択部３１から供給されたオーディオ信号に対して、多段のオールパスフィルタによるダイナミックレンジ拡張処理を行い、その結果得られたオーディオ信号を帯域拡張部７２に供給する。

帯域拡張部７２は、ダイナミックレンジ拡張部７１から供給されたオーディオ信号に対して、線形予測を利用した帯域拡張処理を行い、その結果得られた高音質化信号をレンダラ２４に供給する。

さらに、低負荷高音質化処理部３４は、ダイナミックレンジ拡張部８１および帯域拡張部８２を有している。

ダイナミックレンジ拡張部８１は、選択部３１から供給されたオーディオ信号に対して、ダイナミックレンジ拡張部７１における場合と同様のダイナミックレンジ拡張処理を行い、その結果得られたオーディオ信号を帯域拡張部８２に供給する。

帯域拡張部８２は、ダイナミックレンジ拡張部８１から供給されたオーディオ信号に対して、符号化側で指定された係数を用いた帯域拡張処理を行い、その結果得られた高音質化信号をレンダラ２４に供給する。

〈ダイナミックレンジ拡張部の構成例〉
さらに、以下、図２に示したダイナミックレンジ拡張部６１や帯域拡張部６２などの構成例について説明する。

図３は、ダイナミックレンジ拡張部６１のより詳細な構成例を示す図である。

図３に示すダイナミックレンジ拡張部６１は、FFT（Fast Fourier Transform）処理部１１１、ゲイン算出部１１２、差分信号生成部１１３、IFFT（Inverse Fast Fourier Transform）処理部１１４、および合成部１１５を有している。

ダイナミックレンジ拡張部６１では、復号部２１での復号により得られたオーディオ信号と、そのオーディオ信号の符号化前の原音信号との差分である差分信号がDNNを用いた予測演算により予測され、その差分信号とオーディオ信号とが合成される。このようにすることで、より原音信号に近い高音質なオーディオ信号を得ることができる。

FFT処理部１１１は、選択部３１から供給されたオーディオ信号に対してFFTを行い、その結果得られた信号をゲイン算出部１１２および差分信号生成部１１３に供給する。

ゲイン算出部１１２は、予め機械学習により得られたDNNにより構成される。すなわち、ゲイン算出部１１２は予め機械学習により得られた、DNNでの演算に用いられる予測係数を保持しており、差分信号の周波数特性のエンベロープを予測する予測器として機能する。

ゲイン算出部１１２は、保持している予測係数、およびFFT処理部１１１から供給された信号に基づいて、オーディオ信号に対応する差分信号を生成するためのパラメータとしてのゲイン値を算出し、差分信号生成部１１３に供給する。すなわち、差分信号を生成するためのパラメータとして、差分信号の周波数エンベロープのゲインが算出される。

差分信号生成部１１３は、FFT処理部１１１から供給された信号と、ゲイン算出部１１２から供給されたゲイン値とに基づいて差分信号を生成し、IFFT処理部１１４に供給する。IFFT処理部１１４は、差分信号生成部１１３から供給された差分信号に対してIFFTを行い、その結果得られた時間領域の差分信号を合成部１１５に供給する。

合成部１１５は、選択部３１から供給されたオーディオ信号と、IFFT処理部１１４から供給された差分信号とを合成し、その結果得られたオーディオ信号を帯域拡張部６２に供給する。

〈帯域拡張部の構成例〉
また、図２に示した帯域拡張部６２は、例えば図４に示すように構成される。

図４に示す帯域拡張部６２は、ポリフェーズ構成低域通過フィルタ１４１、遅延回路１４２、低域抽出帯域通過フィルタ１４３、特徴量算出回路１４４、高域サブバンドパワー推定回路１４５、帯域通過フィルタ算出回路１４６、加算部１４７、高域通過フィルタ１４８、平坦化回路１４９、ダウンサンプリング部１５０、ポリフェーズ構成レベル調整フィルタ１５１、および加算部１５２を有している。

ポリフェーズ構成低域通過フィルタ１４１は、ダイナミックレンジ拡張部６１の合成部１１５から供給されたオーディオ信号に対して、ポリフェーズ構成の低域通過フィルタによりフィルタリングを行い、その結果得られた低域信号を遅延回路１４２に供給する。

ポリフェーズ構成低域通過フィルタ１４１では、ポリフェーズ構成の低域通過フィルタによるフィルタリングによって、信号のアップサンプリングおよび低域成分の抽出が行われ、低域信号が得られる。

遅延回路１４２は、ポリフェーズ構成低域通過フィルタ１４１から供給された低域信号を一定の遅延時間だけ遅延させて加算部１５２に供給する。

低域抽出帯域通過フィルタ１４３は、それぞれ異なる通過帯域を持つ帯域通過フィルタ１６１－１乃至帯域通過フィルタ１６１－Ｋから構成される。

帯域通過フィルタ１６１－ｋ（但し、１≦ｋ≦Ｋ）は、合成部１１５から供給されたオーディオ信号のうちの低域側の所定通過帯域であるサブバンドの信号を通過させ、その結果得られた所定帯域の信号を低域サブバンド信号として特徴量算出回路１４４および平坦化回路１４９に供給する。したがって、低域抽出帯域通過フィルタ１４３では、低域に含まれるＫ個のサブバンドの低域サブバンド信号が得られることになる。

なお、以下、帯域通過フィルタ１６１－１乃至帯域通過フィルタ１６１－Ｋを特に区別する必要のない場合、単に帯域通過フィルタ１６１とも称する。

特徴量算出回路１４４は、帯域通過フィルタ１６１から供給された複数の各低域サブバンド信号、または合成部１１５から供給されたオーディオ信号に基づいて特徴量を算出し、高域サブバンドパワー推定回路１４５に供給する。

高域サブバンドパワー推定回路１４５は、予め機械学習により得られたDNNにより構成される。すなわち、高域サブバンドパワー推定回路１４５は予め機械学習により得られた、DNNでの演算に用いられる予測係数を保持している。

高域サブバンドパワー推定回路１４５は、保持している予測係数と、特徴量算出回路１４４から供給された特徴量とに基づいて、高域サブバンド信号のパワーである高域サブバンドパワーの推定値を高域のサブバンドごとに算出し、帯域通過フィルタ算出回路１４６に供給する。以下、高域サブバンドパワーの推定値を疑似高域サブバンドパワーとも称することとする。

帯域通過フィルタ算出回路１４６は、高域サブバンドパワー推定回路１４５から供給された複数の各高域サブバンドの疑似高域サブバンドパワーに基づいて、高域サブバンドのそれぞれの帯域を通過帯域とする帯域通過フィルタの帯域通過フィルタ係数を算出し、加算部１４７に供給する。

加算部１４７は、帯域通過フィルタ算出回路１４６から供給された帯域通過フィルタ係数を加算して１つのフィルタ係数とし、高域通過フィルタ１４８に供給する。

高域通過フィルタ１４８は、加算部１４７から供給されたフィルタ係数を、高域通過フィルタを用いてフィルタリングすることでフィルタ係数から低域成分を除去し、その結果得られたフィルタ係数をポリフェーズ構成レベル調整フィルタ１５１に供給する。すなわち、高域通過フィルタ１４８は、フィルタ係数の高域成分のみを通過させる。

平坦化回路１４９は、帯域通過フィルタ１６１から供給された複数の各低域サブバンドの低域サブバンド信号を平坦化して加算することで平坦化信号を生成し、ダウンサンプリング部１５０に供給する。

ダウンサンプリング部１５０は、平坦化回路１４９から供給された平坦化信号に対してダウンサンプリングを行い、ダウンサンプリングされた平坦化信号をポリフェーズ構成レベル調整フィルタ１５１に供給する。

ポリフェーズ構成レベル調整フィルタ１５１は、ダウンサンプリング部１５０から供給された平坦化信号に対して、高域通過フィルタ１４８から供給されたフィルタ係数を用いたフィルタリングを行うことで高域信号を生成し、加算部１５２に供給する。

加算部１５２は、遅延回路１４２から供給された低域信号と、ポリフェーズ構成レベル調整フィルタ１５１から供給された高域信号とを加算して高音質化信号とし、レンダラ２４または再生信号生成部２５に供給する。

ポリフェーズ構成レベル調整フィルタ１５１で得られる高域信号は、もとのオーディオ信号には含まれていない高域成分の信号、すなわち、例えばオーディオ信号の符号化時に欠落してしまった高域成分の信号である。したがって、このような高域信号を、もとのオーディオ信号の低域成分である低域信号に合成することで、より広い周波数帯域の成分が含まれる信号、すなわち、より高音質な高音質化信号を得ることができる。

〈ダイナミックレンジ拡張部の構成例〉
また、図２に示した中負荷高音質化処理部３３のダイナミックレンジ拡張部７１は、例えば図５に示すように構成される。

図５に示すダイナミックレンジ拡張部７１は、オールパスフィルタ１９１－１乃至オールパスフィルタ１９１－３、ゲイン調整部１９２、および加算部１９３を有している。この例では、３つのオールパスフィルタ１９１－１乃至オールパスフィルタ１９１－３がカスケード接続されている。

オールパスフィルタ１９１－１は、選択部３１から供給されたオーディオ信号に対してフィルタリングを行い、その結果得られたオーディオ信号を後段のオールパスフィルタ１９１－２に供給する。

オールパスフィルタ１９１－２は、オールパスフィルタ１９１－１から供給されたオーディオ信号に対してフィルタリングを行い、その結果得られたオーディオ信号を後段のオールパスフィルタ１９１－３に供給する。

オールパスフィルタ１９１－３は、オールパスフィルタ１９１－２から供給されたオーディオ信号に対してフィルタリングを行い、その結果得られたオーディオ信号をゲイン調整部１９２に供給する。

なお、以下、オールパスフィルタ１９１－１乃至オールパスフィルタ１９１－３を特に区別する必要のない場合、単にオールパスフィルタ１９１とも称することとする。

ゲイン調整部１９２は、オールパスフィルタ１９１－３から供給されたオーディオ信号に対してゲイン調整を行い、ゲイン調整後のオーディオ信号を加算部１９３に供給する。

加算部１９３は、ゲイン調整部１９２から供給されたオーディオ信号と、選択部３１から供給されたオーディオ信号とを加算することで、高音質化された、すなわちダイナミックレンジが拡張されたオーディオ信号を生成し、帯域拡張部７２に供給する。

ダイナミックレンジ拡張部７１において行われる処理は、フィルタリングやゲイン調整であるので、図３に示したダイナミックレンジ拡張部６１で行われるようなDNNでの演算処理よりも少ない（低い）処理負荷で実現することができる。

〈帯域拡張部の構成例〉
さらに、図２に示した帯域拡張部７２は、例えば図６に示すように構成される。

図６に示す帯域拡張部７２は、ポリフェーズ構成低域通過フィルタ２２１、遅延回路２２２、低域抽出帯域通過フィルタ２２３、特徴量算出回路２２４、高域サブバンドパワー推定回路２２５、帯域通過フィルタ算出回路２２６、加算部２２７、高域通過フィルタ２２８、平坦化回路２２９、ダウンサンプリング部２３０、ポリフェーズ構成レベル調整フィルタ２３１、および加算部２３２を有している。

また、低域抽出帯域通過フィルタ２２３は、帯域通過フィルタ２４１－１乃至帯域通過フィルタ２４１－Ｋを有している。

なお、ポリフェーズ構成低域通過フィルタ２２１乃至特徴量算出回路２２４、および帯域通過フィルタ算出回路２２６乃至加算部２３２は、図４に示した帯域拡張部６２のポリフェーズ構成低域通過フィルタ１４１乃至特徴量算出回路１４４、および帯域通過フィルタ算出回路１４６乃至加算部１５２と同じ構成を有し、同じ動作を行うので、その説明は省略する。

また、帯域通過フィルタ２４１－１乃至帯域通過フィルタ２４１－Ｋも、図４に示した帯域拡張部６２の帯域通過フィルタ１６１－１乃至帯域通過フィルタ１６１－Ｋと同じ構成を有し、同じ動作を行うので、その説明は省略する。

なお、以下、帯域通過フィルタ２４１－１乃至帯域通過フィルタ２４１－Ｋを特に区別する必要のない場合、単に帯域通過フィルタ２４１とも称する。

図６に示す帯域拡張部７２は、図４に示した帯域拡張部６２とは高域サブバンドパワー推定回路２２５における動作のみ異なっており、その他の点では帯域拡張部６２と同じ構成および動作となっている。

高域サブバンドパワー推定回路２２５は、予め統計学習により得られた係数を保持しており、保持している係数と、特徴量算出回路２２４から供給された特徴量とに基づいて疑似高域サブバンドパワーを算出し、帯域通過フィルタ算出回路２２６に供給する。例えば高域サブバンドパワー推定回路２２５では、保持している係数を用いた線形予測により、高域成分、より詳細には疑似高域サブバンドパワーが算出される。

高域サブバンドパワー推定回路２２５での線形予測は、高域サブバンドパワー推定回路１４５におけるDNNでの演算による予測と比較して、より少ない処理負荷で実現することができる。

〈帯域拡張部の構成例〉
また、図２に示した低負荷高音質化処理部３４のダイナミックレンジ拡張部８１は、例えば図５に示したダイナミックレンジ拡張部７１と同じ構成とされる。なお、低負荷高音質化処理部３４では、特にダイナミックレンジ拡張部８１が設けられないようにしてもよい。

さらに、図２に示した低負荷高音質化処理部３４の帯域拡張部８２は、例えば図７に示すように構成される。

図７に示す帯域拡張部８２は、サブバンド分割回路２７１、特徴量算出回路２７２、高域復号回路２７３、復号高域サブバンドパワー算出回路２７４、復号高域信号生成回路２７５、および合成回路２７６を有している。

なお、帯域拡張部８２が図７に示す構成とされる場合には、復号部２１に供給される符号化データには、高域符号化データが含まれており、その高域符号化データが高域復号回路２７３に供給される。高域符号化データは、後述する高域サブバンドパワー推定係数を得るためのインデックスを符号化して得られるデータである。

サブバンド分割回路２７１は、ダイナミックレンジ拡張部８１から供給されたオーディオ信号を、所定の帯域幅を持つ複数の低域サブバンド信号に等分割し、特徴量算出回路２７２および復号高域信号生成回路２７５に供給する。

特徴量算出回路２７２は、サブバンド分割回路２７１から供給された低域サブバンド信号に基づいて特徴量を算出し、復号高域サブバンドパワー算出回路２７４に供給する。

高域復号回路２７３は、供給された高域符号化データを復号し、その結果得られたインデックスに対応する高域サブバンドパワー推定係数を復号高域サブバンドパワー算出回路２７４に供給する。

高域復号回路２７３では、複数のインデックスごとに、それらのインデックスに対応付けられて高域サブバンドパワー推定係数が記録されている。

この場合、オーディオ信号の符号化側において、帯域拡張部８２での帯域拡張処理に最も適した高域サブバンドパワー推定係数を示すインデックスが選択され、選択されたインデックスが符号化される。そして、符号化により得られた高域符号化データがビットストリームに格納されて信号処理装置１１へと供給される。

したがって、高域復号回路２７３は、予め記録している複数の高域サブバンドパワー推定係数のなかから、高域符号化データの復号により得られたインデックスにより示されるものを選択し、復号高域サブバンドパワー算出回路２７４に供給する。

復号高域サブバンドパワー算出回路２７４は、特徴量算出回路２７２から供給された特徴量と、高域復号回路２７３から供給された高域サブバンドパワー推定係数とに基づいて、高域サブバンドパワーを算出し、復号高域信号生成回路２７５に供給する。

復号高域信号生成回路２７５は、サブバンド分割回路２７１から供給された低域サブバンド信号と、復号高域サブバンドパワー算出回路２７４から供給された高域サブバンドパワーとに基づいて高域信号を生成し、合成回路２７６に供給する。

合成回路２７６は、ダイナミックレンジ拡張部８１から供給されたオーディオ信号と、復号高域信号生成回路２７５から供給された高域信号とを合成し、その結果得られた高音質化信号をレンダラ２４または再生信号生成部２５に供給する。

復号高域信号生成回路２７５で得られる高域信号は、もとのオーディオ信号には含まれていない高域成分の信号である。したがって、このような高域信号を、もとのオーディオ信号に合成することで、より広い周波数帯域の成分が含まれる、より高音質な高音質化信号を得ることができる。

以上のような帯域拡張部８２による帯域拡張処理では、供給されたインデックスにより示される高域サブバンドパワー推定係数を用いて高域信号を予測しているので、図６に示した帯域拡張部７２における場合よりも、さらに少ない処理負荷で実現することができる。

〈再生信号生成処理の説明〉
次に、信号処理装置１１の動作について説明する。

すなわち、以下、図８のフローチャートを参照して、信号処理装置１１による再生信号生成処理について説明する。この再生信号生成処理は、復号部２１が供給された符号化データを復号し、復号により得られたオーディオ信号およびメタデータを選択部３１に供給すると開始される。

ステップＳ１１において選択部３１は、復号部２１から供給されたメタデータに基づいて、復号部２１から供給されたオーディオ信号に対して行う高音質化の処理を選択する。

すなわち、例えば選択部３１は、供給されたメタデータに含まれている優先度情報および種別情報に基づいて、高負荷高音質化処理、中負荷高音質化処理、および低負荷高音質化処理のうちの何れかの処理を高音質化の処理として選択する。

具体的には、例えばステップＳ１１では、優先度情報により示される優先度が所定値以下である場合や、種別情報により示される種別が、センターチャンネルやボーカルなどの特定の種別である場合に高負荷高音質化処理が選択される。

なお、高音質化処理の選択には、優先度情報と種別情報の少なくとも何れか一方が用いられるが、その他、信号処理装置１１の処理能力を示す情報なども用いられて高音質化処理が選択されるようにしてもよい。

具体的には、例えば処理能力を示す情報により示される処理能力が所定値以上である場合には、高負荷高音質化処理が選択されるオーディオ信号の数が多くなるように、高負荷高音質化処理が選択される優先度の値などが変更される。

ステップＳ１２において選択部３１は、高負荷高音質化処理を行うか否かを判定する。

例えばステップＳ１１での選択の結果として、高負荷高音質化処理が選択された場合、ステップＳ１２では高負荷高音質化処理を行うと判定される。

ステップＳ１２において高負荷高音質化処理を行うと判定された場合、選択部３１は、復号部２１から供給されたオーディオ信号を高負荷高音質化処理部３２に供給し、その後、処理はステップＳ１３へと進む。

ステップＳ１３において高負荷高音質化処理部３２は、選択部３１から供給されたオーディオ信号に対して高負荷高音質化処理を行い、その結果得られた高音質化信号を出力する。なお、高負荷高音質化処理の詳細は後述する。

例えば高音質化されたオーディオ信号がオブジェクトの信号である場合、高負荷高音質化処理部３２は、得られた高音質化信号をレンダラ２４に供給する。この場合、選択部３１は、復号部２１から供給されたメタデータに含まれている位置情報を、高音質化処理部２３を介してレンダラ２４に供給する。

これに対して、高音質化されたオーディオ信号がチャンネルの信号である場合、高負荷高音質化処理部３２は、得られた高音質化信号を再生信号生成部２５に供給する。

高負荷高音質化処理が行われて高音質化信号が生成されると、その後、処理はステップＳ１７へと進む。

また、ステップＳ１２において高負荷高音質化処理を行わないと判定された場合、ステップＳ１４において選択部３１は、中負荷高音質化処理を行うか否かを判定する。

例えばステップＳ１１での選択の結果として、中負荷高音質化処理が選択された場合、ステップＳ１４では中負荷高音質化処理を行うと判定される。

ステップＳ１４において中負荷高音質化処理を行うと判定された場合、選択部３１は、復号部２１から供給されたオーディオ信号を中負荷高音質化処理部３３に供給し、その後、処理はステップＳ１５へと進む。

ステップＳ１５において中負荷高音質化処理部３３は、選択部３１から供給されたオーディオ信号に対して中負荷高音質化処理を行い、その結果得られた高音質化信号を出力する。なお、中負荷高音質化処理の詳細は後述する。

例えば高音質化されたオーディオ信号がオブジェクトの信号である場合、中負荷高音質化処理部３３は、得られた高音質化信号をレンダラ２４に供給する。この場合、選択部３１は、復号部２１から供給されたメタデータに含まれている位置情報を、高音質化処理部２３を介してレンダラ２４に供給する。

これに対して、高音質化されたオーディオ信号がチャンネルの信号である場合、中負荷高音質化処理部３３は、得られた高音質化信号を再生信号生成部２５に供給する。

中負荷高音質化処理が行われて高音質化信号が生成されると、その後、処理はステップＳ１７へと進む。

また、ステップＳ１４において中負荷高音質化処理を行わないと判定された場合、すなわち低負荷高音質化処理が行われる場合、処理はステップＳ１６へと進む。この場合、選択部３１は、復号部２１から供給されたオーディオ信号を低負荷高音質化処理部３４に供給する。

ステップＳ１６において低負荷高音質化処理部３４は、選択部３１から供給されたオーディオ信号に対して低負荷高音質化処理を行い、その結果得られた高音質化信号を出力する。なお、低負荷高音質化処理の詳細は後述する。

例えば高音質化されたオーディオ信号がオブジェクトの信号である場合、低負荷高音質化処理部３４は、得られた高音質化信号をレンダラ２４に供給する。この場合、選択部３１は、復号部２１から供給されたメタデータに含まれている位置情報を、高音質化処理部２３を介してレンダラ２４に供給する。

これに対して、高音質化されたオーディオ信号がチャンネルの信号である場合、低負荷高音質化処理部３４は、得られた高音質化信号を再生信号生成部２５に供給する。

低負荷高音質化処理が行われて高音質化信号が生成されると、その後、処理はステップＳ１７へと進む。

ステップＳ１３、ステップＳ１５、またはステップＳ１６の処理が行われると、その後、ステップＳ１７の処理が行われる。

ステップＳ１７においてオーディオ選択部２２は、復号部２１から供給された全てのオーディオ信号を処理したか否かを判定する。

例えばステップＳ１７では、選択部３１－１乃至選択部３１－ｍにおいて、供給されたオーディオ信号に対する高音質化処理の選択が行われ、その選択結果に応じて高音質化処理部２３で高音質化処理が行われた場合、全てのオーディオ信号を処理したと判定される。この場合、全てのオーディオ信号に対応する高音質化信号が生成されたことになる。

ステップＳ１７において、まだ全てのオーディオ信号を処理していないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返し行われる。

例えば、選択部３１－ｎにおいて、まだステップＳ１１の処理が行われていない場合には、選択部３１－ｎに供給されたオーディオ信号に対して、上述のステップＳ１１乃至ステップＳ１６の処理が行われる。なお、より詳細には、オーディオ選択部２２では、各選択部３１で並列してステップＳ１１乃至ステップＳ１６の処理が行われる。

これに対して、ステップＳ１７において全てのオーディオ信号を処理したと判定された場合、その後、処理はステップＳ１８へと進む。

ステップＳ１８においてレンダラ２４は、高音質化処理部２３の高負荷高音質化処理部３２や中負荷高音質化処理部３３、低負荷高音質化処理部３４から供給された合計ｎ個の高音質化信号に対してレンダリング処理を行う。

例えばレンダラ２４は、高音質化処理部２３から供給された各オブジェクトの位置情報と高音質化信号とに基づいてVBAPを行うことでオブジェクト再生信号を生成し、再生信号生成部２５に供給する。

ステップＳ１９において再生信号生成部２５は、レンダラ２４から供給されたオブジェクト再生信号と、高負荷高音質化処理部３２や中負荷高音質化処理部３３、低負荷高音質化処理部３４から供給された各チャンネルの高音質化信号とを合成し、再生信号を生成する。

再生信号生成部２５は、得られた再生信号を後段に出力し、その後、再生信号生成処理は終了する。

以上のようにして信号処理装置１１は、メタデータに含まれる優先度情報や種別情報に基づいて、互いに処理負荷が異なる複数の高音質化処理のなかから、各オーディオ信号に対して行う高音質化処理を選択し、その選択結果に応じて高音質化処理を行う。このようにすることで、全体として処理負荷を低減させ、少ない処理負荷、すなわち少ない処理量でも十分に高音質な再生信号を得ることができる。

〈高負荷高音質化処理の説明〉
ここで、図８を参照して説明したステップＳ１３における高負荷高音質化処理、ステップＳ１５における中負荷高音質化処理、およびステップＳ１６における低負荷高音質化処理について、より詳細に説明する。

まず、図９のフローチャートを参照して、高負荷高音質化処理部３２により行われる、図８のステップＳ１３の処理に対応する高負荷高音質化処理について説明する。

ステップＳ４１においてFFT処理部１１１は、選択部３１から供給されたオーディオ信号に対してFFTを行い、その結果得られた信号をゲイン算出部１１２および差分信号生成部１１３に供給する。

ステップＳ４２においてゲイン算出部１１２は、保持している予測係数と、FFT処理部１１１から供給された信号とに基づいて、差分信号を生成するためのゲイン値を算出し、差分信号生成部１１３に供給する。ステップＳ４２では、予測係数と、FFT処理部１１１から供給された信号とに基づいてDNNでの演算が行われ、差分信号の周波数エンベロープのゲイン値が算出される。

ステップＳ４３において差分信号生成部１１３は、FFT処理部１１１から供給された信号と、ゲイン算出部１１２から供給されたゲイン値とに基づいて差分信号を生成し、IFFT処理部１１４に供給する。例えばステップＳ４３では、FFT処理部１１１から供給された信号に対して、ゲイン値に基づきゲイン調整を行うことで差分信号が生成される。

ステップＳ４４においてIFFT処理部１１４は、差分信号生成部１１３から供給された差分信号に対してIFFTを行い、その結果得られた差分信号を合成部１１５に供給する。

ステップＳ４５において合成部１１５は、選択部３１から供給されたオーディオ信号と、IFFT処理部１１４から供給された差分信号とを合成し、その結果得られたオーディオ信号を帯域拡張部６２のポリフェーズ構成低域通過フィルタ１４１、特徴量算出回路１４４、および帯域通過フィルタ１６１に供給する。

ステップＳ４６においてポリフェーズ構成低域通過フィルタ１４１は、合成部１１５から供給されたオーディオ信号に対して、ポリフェーズ構成の低域通過フィルタによりフィルタリングを行い、その結果得られた低域信号を遅延回路１４２に供給する。

また、遅延回路１４２は、ポリフェーズ構成低域通過フィルタ１４１から供給された低域信号を一定の遅延時間だけ遅延させた後、加算部１５２に供給する。

ステップＳ４７において各帯域通過フィルタ１６１は、合成部１１５から供給されたオーディオ信号の低域側のサブバンドの信号を通過させることで、オーディオ信号を複数の低域サブバンド信号に分割し、特徴量算出回路１４４および平坦化回路１４９に供給する。

ステップＳ４８において特徴量算出回路１４４は、帯域通過フィルタ１６１から供給された複数の各低域サブバンド信号、または合成部１１５から供給されたオーディオ信号の少なくとも何れか一方に基づいて特徴量を算出し、高域サブバンドパワー推定回路１４５に供給する。

ステップＳ４９において高域サブバンドパワー推定回路１４５は、予め保持している予測係数と、特徴量算出回路１４４から供給された特徴量とに基づいて、高域のサブバンドごとに疑似高域サブバンドパワーを算出し、帯域通過フィルタ算出回路１４６に供給する。

ステップＳ５０において帯域通過フィルタ算出回路１４６は、高域サブバンドパワー推定回路１４５から供給された複数の各高域サブバンドの疑似高域サブバンドパワーに基づいて帯域通過フィルタ係数を算出し、加算部１４７に供給する。

また、加算部１４７は、帯域通過フィルタ算出回路１４６から供給された帯域通過フィルタ係数を加算して１つのフィルタ係数とし、高域通過フィルタ１４８に供給する。

ステップＳ５１において高域通過フィルタ１４８は、加算部１４７から供給されたフィルタ係数を、高域通過フィルタを用いてフィルタリングし、その結果得られたフィルタ係数をポリフェーズ構成レベル調整フィルタ１５１に供給する。

ステップＳ５２において平坦化回路１４９は、帯域通過フィルタ１６１から供給された複数の各低域サブバンドの低域サブバンド信号を平坦化して加算することで平坦化信号を生成し、ダウンサンプリング部１５０に供給する。

ステップＳ５３においてダウンサンプリング部１５０は、平坦化回路１４９から供給された平坦化信号に対してダウンサンプリングを行い、ダウンサンプリングされた平坦化信号をポリフェーズ構成レベル調整フィルタ１５１に供給する。

ステップＳ５４においてポリフェーズ構成レベル調整フィルタ１５１は、ダウンサンプリング部１５０から供給された平坦化信号に対して、高域通過フィルタ１４８から供給されたフィルタ係数を用いたフィルタリングを行うことで高域信号を生成し、加算部１５２に供給する。

ステップＳ５５において加算部１５２は、遅延回路１４２から供給された低域信号と、ポリフェーズ構成レベル調整フィルタ１５１から供給された高域信号とを加算することで高音質化信号を生成し、出力する。このようにして高音質化信号が生成されると、高負荷高音質化処理は終了し、その後、処理は図８のステップＳ１７へと進む。

以上のようにして高負荷高音質化処理部３２は、高負荷でもより高音質な信号を得ることができるダイナミックレンジ拡張処理と帯域拡張処理を組み合わせて、より高音質な高音質化信号を生成する。このようにすることで、優先度が高いなど、重要なオーディオ信号について高音質な信号を得ることができる。

〈中負荷高音質化処理の説明〉
次に、図１０のフローチャートを参照して、中負荷高音質化処理部３３により行われる、図８のステップＳ１５に対応する中負荷高音質化処理について説明する。

ステップＳ８１においてオールパスフィルタ１９１は、選択部３１から供給されたオーディオ信号に対して多段のオールパスフィルタによるフィルタリングを行い、その結果得られたオーディオ信号をゲイン調整部１９２に供給する。

すなわち、ステップＳ８１では、オールパスフィルタ１９１－１乃至オールパスフィルタ１９１－３において、フィルタリングが行われる。

ステップＳ８２においてゲイン調整部１９２は、オールパスフィルタ１９１－３から供給されたオーディオ信号に対してゲイン調整を行い、ゲイン調整後のオーディオ信号を加算部１９３に供給する。

ステップＳ８３において加算部１９３は、ゲイン調整部１９２から供給されたオーディオ信号と、選択部３１から供給されたオーディオ信号とを加算し、その結果得られたオーディオ信号を帯域拡張部７２のポリフェーズ構成低域通過フィルタ２２１、特徴量算出回路２２４、および帯域通過フィルタ２４１に供給する。

ステップＳ８３の処理が行われると、その後、ポリフェーズ構成低域通過フィルタ２２１、帯域通過フィルタ２４１、および特徴量算出回路２２４によりステップＳ８４乃至ステップＳ８６の処理が行われる。なお、これらの処理は図９のステップＳ４６乃至ステップＳ４８の処理と同様であるので、その説明は省略する。

ステップＳ８７において高域サブバンドパワー推定回路２２５は、保持している係数と、特徴量算出回路２２４から供給された特徴量とに基づいて線形予測により疑似高域サブバンドパワーを算出し、帯域通過フィルタ算出回路２２６に供給する。

ステップＳ８７の処理が行われると、その後、帯域通過フィルタ算出回路２２６乃至加算部２３２によりステップＳ８８乃至ステップＳ９３の処理が行われて中負荷高音質化処理は終了する。なお、これらの処理は図９のステップＳ５０乃至ステップＳ５５の処理と同様であるので、その説明は省略する。中負荷高音質化処理が終了すると、その後、処理は図８のステップＳ１７へと進む。

以上のようにして中負荷高音質化処理部３３は、中程度の負荷で、それなりに高音質な信号を得ることができるダイナミックレンジ拡張処理と帯域拡張処理を組み合わせて、オブジェクトやチャンネルのオーディオ信号を高音質化する。このようにすることで、ある程度、優先度が高い等のオーディオ信号については、中程度の負荷で、それなりに高音質な信号を得ることができる。

〈低負荷高音質化処理の説明〉
さらに、図１１のフローチャートを参照して、低負荷高音質化処理部３４により行われる、図８のステップＳ１６に対応する低負荷高音質化処理について説明する。

なお、ステップＳ１２１乃至ステップＳ１２３の処理は、図１０のステップＳ８１乃至ステップＳ８３の処理と同様であるので、その説明は省略する。

ステップＳ１２３の処理が行われると、そのステップＳ１２３の処理により得られたオーディオ信号が、ダイナミックレンジ拡張部８１から帯域拡張部８２のサブバンド分割回路２７１および合成回路２７６に供給され、ステップＳ１２４の処理が行われる。

ステップＳ１２４においてサブバンド分割回路２７１は、ダイナミックレンジ拡張部８１から供給されたオーディオ信号を複数の低域サブバンド信号に分割し、特徴量算出回路２７２および復号高域信号生成回路２７５に供給する。

ステップＳ１２５において特徴量算出回路２７２は、サブバンド分割回路２７１から供給された低域サブバンド信号に基づいて特徴量を算出し、復号高域サブバンドパワー算出回路２７４に供給する。

ステップＳ１２６において高域復号回路２７３は、供給された高域符号化データを復号し、その結果得られたインデックスに対応する高域サブバンドパワー推定係数を復号高域サブバンドパワー算出回路２７４に出力（供給）する。

ステップＳ１２７において復号高域サブバンドパワー算出回路２７４は、特徴量算出回路２７２から供給された特徴量と、高域復号回路２７３から供給された高域サブバンドパワー推定係数とに基づいて高域サブバンドパワーを算出し、復号高域信号生成回路２７５に供給する。例えばステップＳ１２７では、高域サブバンドパワー推定係数が乗算された特徴量の和を求めることで、高域サブバンドパワーが算出される。

ステップＳ１２８において復号高域信号生成回路２７５は、サブバンド分割回路２７１から供給された低域サブバンド信号と、復号高域サブバンドパワー算出回路２７４から供給された高域サブバンドパワーとに基づいて高域信号を生成し、合成回路２７６に供給する。例えばステップＳ１２８では、低域サブバンド信号と高域サブバンドパワーに基づいて、低域サブバンド信号に対する周波数変調およびゲイン調整が行われて、高域信号が生成される。

ステップＳ１２９において合成回路２７６は、ダイナミックレンジ拡張部８１から供給されたオーディオ信号と、復号高域信号生成回路２７５から供給された高域信号とを合成し、その結果得られた高音質化信号を出力する。このようにして高音質化信号が生成されると、低負荷高音質化処理は終了し、その後、処理は図８のステップＳ１７へと進む。

以上のようにして低負荷高音質化処理部３４は、低負荷で高音質化を実現できるダイナミックレンジ拡張処理と帯域拡張処理を組み合わせて、オブジェクトやチャンネルのオーディオ信号を高音質化する。このようにすることで、優先度が低いなど、あまり重要でないオーディオ信号については、低負荷で高音質化を行い、全体の処理負荷を低減させることができる。

〈第２の実施の形態〉
〈信号処理装置の構成例〉
上述したように、高負荷高音質化処理部３２では、予め機械学習により得られたDNNでの演算に用いられる予測係数が用いられ、周波数エンベロープのゲインや疑似高域サブバンドパワーが推定（予測）される。

このとき、オーディオ信号の種別を特定することが可能であれば、その種別ごとに予測係数を学習しておくこともできる。そうすることで、オーディオ信号の種別に応じた予測係数を用いて、より精度よく、かつより少ない処理負荷で周波数エンベロープのゲインや疑似高域サブバンドパワーを予測することができる。

特に、オーディオ信号の種別ごとに予測係数、すなわちDNNを機械学習すれば、より小さい規模のDNNにより精度よくゲイン値や疑似高域サブバンドパワーを予測することができ、処理負荷を低減させることができる。

一方で、処理負荷に問題がなければ、オーディオ信号の種別によらず、同一のDNN、すなわち同一の予測係数を用いるようにしてもよい。そのような場合には、例えば完全パッケージなどとも呼ばれる、様々な音源の一般的なステレオのオーディオコンテンツを予測係数の機械学習に用いればよい。

以下では、完全パッケージなど、様々な音源の音を含むオーディオコンテンツを用いた機械学習により生成された、全種別で共通に用いられる予測係数を特にジェネラルな予測係数とも称することとする。

上述の第１の実施の形態では、各オーディオ信号のメタデータに、オーディオ信号の種別を示す種別情報が含まれているため、オーディオ信号の種別を特定することが可能である。そこで、例えば図１２に示すように、種別情報に応じた予測係数を選択し、高音質化を行うようにしてもよい。なお、図１２において図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１２に示す信号処理装置１１は、復号部２１、オーディオ選択部２２、高音質化処理部２３、レンダラ２４、および再生信号生成部２５を有している。

また、オーディオ選択部２２は、選択部３１－１乃至選択部３１－ｍを有している。

さらに、高音質化処理部２３は、ジェネラル高音質化処理部３０２－１乃至ジェネラル高音質化処理部３０２－ｍ、高負荷高音質化処理部３２－１乃至高負荷高音質化処理部３２－ｍ、および係数選択部３０１－１乃至係数選択部３０１－ｍを有している。

したがって、図１２に示す信号処理装置１１は、図１に示した信号処理装置１１とは高音質化処理部２３の構成のみが異なり、その他の構成は同じとなっている。

係数選択部３０１－１乃至係数選択部３０１－ｍは、オーディオ信号の種別ごとに機械学習された、DNNでの演算に用いられる予測係数を予め保持しており、これらの係数選択部３０１－１乃至係数選択部３０１－ｍには、復号部２１からメタデータが供給される。

ここでいう予測係数とは、高負荷高音質化処理部３２、より詳細にはダイナミックレンジ拡張部６１のゲイン算出部１１２での処理、および帯域拡張部６２の高域サブバンドパワー推定回路１４５での処理に用いられる予測係数である。

係数選択部３０１－１乃至係数選択部３０１－ｍは、予め保持している複数の種別ごとの予測係数のなかから、復号部２１から供給されたメタデータに含まれる種別情報により示される種別の予測係数を選択し、高負荷高音質化処理部３２－１乃至高負荷高音質化処理部３２－ｍに供給する。すなわち、オーディオ信号ごとに、それらのオーディオ信号に対して行われる高負荷高音質化処理に用いる予測係数が選択される。

なお、以下、係数選択部３０１－１乃至係数選択部３０１－ｍを特に区別する必要のない場合、単に係数選択部３０１とも称することとする。

ジェネラル高音質化処理部３０２－１乃至ジェネラル高音質化処理部３０２－ｍは、基本的には高負荷高音質化処理部３２と同様の構成を有している。

但し、ジェネラル高音質化処理部３０２－１乃至ジェネラル高音質化処理部３０２－ｍにおいては、ゲイン算出部１１２および高域サブバンドパワー推定回路１４５に対応するブロックの構成、すなわちDNN構成は高負荷高音質化処理部３２と異なっており、それらのブロックには上述したジェネラルな予測係数が保持されている。

その他、ジェネラル高音質化処理部３０２－１乃至ジェネラル高音質化処理部３０２－ｍでは、例えば入力されるオーディオ信号がオブジェクトのものであるか、チャンネルのものであるかなどに応じて、DNN構成等が異なるようにしてもよい。

ジェネラル高音質化処理部３０２－１乃至ジェネラル高音質化処理部３０２－ｍは、選択部３１－１乃至選択部３１－ｍからオーディオ信号が供給されると、それらのオーディオ信号と、予め保持しているジェネラルな予測係数とに基づいて高音質化処理を行い、その結果得られた高音質化信号をレンダラ２４または再生信号生成部２５に供給する。

なお、以下、ジェネラル高音質化処理部３０２－１乃至ジェネラル高音質化処理部３０２－ｍを特に区別する必要のない場合、単にジェネラル高音質化処理部３０２とも称する。また、以下、ジェネラル高音質化処理部３０２において行われる高音質化処理を、特にジェネラル高音質化処理とも称することとする。

このように図１２に示す例では、各選択部３１は、メタデータに含まれる優先度情報および種別情報に基づいて、オーディオ信号の供給先として、ジェネラル高音質化処理部３０２と高負荷高音質化処理部３２の何れか一方を選択する。

〈再生信号生成処理の説明〉
次に、図１３のフローチャートを参照して、図１２に示した信号処理装置１１により行われる再生信号生成処理について説明する。

ステップＳ１６１において選択部３１は、復号部２１から供給されたメタデータに基づいて、復号部２１から供給されたオーディオ信号に対して行う高音質化の処理を選択する。

例えば選択部３１は、メタデータに含まれている種別情報により示される種別が、係数選択部３０１において予測係数が予め保持されている種別である場合、高負荷高音質化処理を選択する。これに対して、例えば種別情報により示される種別が、係数選択部３０１に予測係数が保持されていない種別である場合、ジェネラル高音質化処理が選択される。

ステップＳ１６２において選択部３１は、ステップＳ１６１で高負荷高音質化処理が選択されたか否か、すなわち高負荷高音質化処理を行うか否かを判定する。

ステップＳ１６２において高負荷高音質化処理を行うと判定された場合、選択部３１は、復号部２１から供給されたオーディオ信号を高負荷高音質化処理部３２に供給し、その後、処理はステップＳ１６３へと進む。

ステップＳ１６３において係数選択部３０１は、予め保持している複数の種別ごとの予測係数のなかから、復号部２１から供給されたメタデータに含まれる種別情報により示される種別の予測係数を選択し、高負荷高音質化処理部３２に供給する。

ここでは、予め種別ごとに機械学習により生成された、ゲイン算出部１１２および高域サブバンドパワー推定回路１４５のそれぞれで用いられる予測係数が選択され、それらのゲイン算出部１１２および高域サブバンドパワー推定回路１４５に予測係数が供給される。

予測係数が選択されると、その後、ステップＳ１６４の処理が行われる。すなわち、ステップＳ１６４では、図９を参照して説明した高負荷高音質化処理が行われる。

但し、ステップＳ４２ではゲイン算出部１１２は、係数選択部３０１から供給された予測係数と、FFT処理部１１１から供給された信号とに基づいて、差分信号を生成するためのゲイン値を算出する。また、ステップＳ４９では、高域サブバンドパワー推定回路１４５は、係数選択部３０１から供給された予測係数と、特徴量算出回路１４４から供給された特徴量とに基づいて疑似高域サブバンドパワーを算出する。

また、ステップＳ１６２において高負荷高音質化処理を行わないと判定された場合、すなわちジェネラル高音質化処理が行われると判定された場合、選択部３１は、復号部２１から供給されたオーディオ信号をジェネラル高音質化処理部３０２に供給し、その後、処理はステップＳ１６５へと進む。

ステップＳ１６５においてジェネラル高音質化処理部３０２は、選択部３１から供給されたオーディオ信号に対してジェネラル高音質化処理を行い、その結果得られた高音質化信号をレンダラ２４または再生信号生成部２５に供給する。

ジェネラル高音質化処理では、基本的には図９を参照して説明した高負荷高音質化処理と同様の処理が行われて高音質化信号が生成される。

但し、ジェネラル高音質化処理において、例えば図９のステップＳ４２に対応する処理では、予め保持されているジェネラルな予測係数が用いられて、差分信号を生成するためのゲイン値が算出される。また、図９のステップＳ４９に対応する処理では、予め保持されているジェネラルな予測係数が用いられて、疑似高域サブバンドパワーが算出される。

以上のようにしてステップＳ１６４またはステップＳ１６５の処理が行われると、その後、ステップＳ１６６乃至ステップＳ１６８の処理が行われて再生信号生成処理は終了するが、これらの処理は図８のステップＳ１７乃至ステップＳ１９の処理と同様であるので、その説明は省略する。

以上のようにして信号処理装置１１は、メタデータに含まれる優先度情報や種別情報に基づいて、ジェネラル高音質化処理または高負荷高音質化処理を選択的に行い、再生信号を生成する。このようにすることで、少ない処理負荷、すなわち少ない処理量でも十分に高音質な再生信号を得ることができる。特にこの例では、オーディオ信号の種別ごとに予測係数を用意することで、少ない処理負荷でも高音質な再生信号を得ることができる。

〈第２の実施の形態の変形例１〉
〈信号処理装置の構成例〉
なお、図１２では、高音質化処理として、高負荷高音質化処理またはジェネラル高音質化処理が選択される例について説明した。しかし、これに限らず、高負荷高音質化処理、中負荷高音質化処理、低負荷高音質化処理、およびジェネラル高音質化処理のうちの任意の２以上のもののなかから選択が行われるようにしてもよい。

例えば高音質化処理として、高負荷高音質化処理、中負荷高音質化処理、低負荷高音質化処理、およびジェネラル高音質化処理のうちの何れかが選択される場合、信号処理装置１１は、図１４に示すように構成される。なお、図１４において図１または図１２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１４に示す信号処理装置１１は、復号部２１、オーディオ選択部２２、高音質化処理部２３、レンダラ２４、および再生信号生成部２５を有している。

さらに、高音質化処理部２３は、ジェネラル高音質化処理部３０２－１乃至ジェネラル高音質化処理部３０２－ｍ、中負荷高音質化処理部３３－１乃至中負荷高音質化処理部３３－ｍ、低負荷高音質化処理部３４－１乃至低負荷高音質化処理部３４－ｍ、高負荷高音質化処理部３２－１乃至高負荷高音質化処理部３２－ｍ、および係数選択部３０１－１乃至係数選択部３０１－ｍを有している。

したがって、図１４に示す信号処理装置１１は、図１や図１２に示した信号処理装置１１とは高音質化処理部２３の構成のみが異なり、その他の構成は同じとなっている。

この例では、選択部３１は、復号部２１から供給されたメタデータに基づいて、復号部２１から供給されたオーディオ信号に対して行われる高音質化処理を選択する。

すなわち、選択部３１は、高負荷高音質化処理、中負荷高音質化処理、低負荷高音質化処理、またはジェネラル高音質化処理を選択し、その選択結果に応じてオーディオ信号を、高負荷高音質化処理部３２、中負荷高音質化処理部３３、低負荷高音質化処理部３４、またはジェネラル高音質化処理部３０２へと供給する。

〈第３の実施の形態〉
〈信号処理装置の構成例〉
さらに、高音質化処理部２３に係数選択部３０１が設けられる場合、メタデータに種別情報が含まれていないなど、オーディオ信号の種別を特定できないときには、係数選択部３０１において予測係数を選択できず、高負荷高音質化処理を行うことができなくなる。

そこで、例えばオーディオ信号に基づいて、メタデータを生成するメタデータ生成部を設けるようにしてもよい。以下では、特に、オーディオ信号に基づいて、そのオーディオ信号の種別を特定し、その特定結果を示す種別情報をメタデータとして生成する例について説明する。

そのような場合、信号処理装置１１は、例えば図１５に示すように構成される。なお、図１５において図１２における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図１５に示す信号処理装置１１は、復号部２１、オーディオ選択部２２、高音質化処理部２３、レンダラ２４、および再生信号生成部２５を有している。

また、オーディオ選択部２２は、選択部３１－１乃至選択部３１－ｍ、およびメタデータ生成部３４１－１乃至メタデータ生成部３４１－ｍを有している。

したがって、図１５に示す信号処理装置１１は、図１２に示した信号処理装置１１とはオーディオ選択部２２の構成のみが異なり、その他の構成は同じとなっている。

メタデータ生成部３４１－１乃至メタデータ生成部３４１－ｍは、例えば予め機械学習等により生成されたDNN等の種別分類器であり、その種別分類器を実現するための種別予測係数を予め保持している。すなわち、機械学習等により種別予測係数を学習することにより、DNN等の種別分類器が得られる。

メタデータ生成部３４１－１乃至メタデータ生成部３４１－ｍは、予め保持している種別予測係数と、復号部２１から供給されたオーディオ信号とに基づいて種別分類器による演算を行うことで、オーディオ信号の種別を特定（推定）する。例えば種別分類器では、オーディオ信号の周波数特性などに基づいて種別の特定が行われる。

メタデータ生成部３４１－１乃至メタデータ生成部３４１－ｍは、種別の特定結果を示す種別情報、すなわちメタデータを生成し、選択部３１－１乃至選択部３１－ｍ、および係数選択部３０１－１乃至係数選択部３０１－ｍに供給する。

なお、以下、メタデータ生成部３４１－１乃至メタデータ生成部３４１－ｍを特に区別する必要のない場合、単にメタデータ生成部３４１とも称する。

また、メタデータ生成部３４１を構成する種別分類器は、入力されたオーディオ信号に対して、そのオーディオ信号の種別が複数の種別のなかの何れであるかを出力するものであってもよいし、入力されたオーディオ信号が特定種別のものであるか否かを出力する種別ごとの種別分類器が複数用意されてもよい。例えば種別ごとに種別分類器が用意される場合、それらの各種別分類器にオーディオ信号が入力され、それらの各種別分類器の出力に基づいて、種別情報が生成される。

また、ここでは高音質化処理部２３に、ジェネラル高音質化処理部３０２と高負荷高音質化処理部３２が設けられる例について説明したが、中負荷高音質化処理部３３や低負荷高音質化処理部３４も設けられるようにしてもよい。

〈再生信号生成処理の説明〉
次に、図１６のフローチャートを参照して、図１５に示した信号処理装置１１により行われる再生信号生成処理について説明する。

ステップＳ２０１においてメタデータ生成部３４１は、予め保持している種別予測係数と、復号部２１から供給されたオーディオ信号とに基づいてオーディオ信号の種別を特定し、その特定結果を示す種別情報を生成する。メタデータ生成部３４１は、生成した種別情報を選択部３１および係数選択部３０１に供給する。

なお、より詳細には、メタデータ生成部３４１においては、復号部２１で得られたメタデータに種別情報が含まれていない場合にのみ、ステップＳ２０１の処理が行われる。ここではメタデータには種別情報が含まれていないものとして説明を続ける。

ステップＳ２０２において選択部３１は、復号部２１から供給されたメタデータに含まれる優先度情報、およびメタデータ生成部３４１から供給された種別情報に基づいて、復号部２１から供給されたオーディオ信号に対して行う高音質化の処理を選択する。ここでは、高音質化処理として、高負荷高音質化処理またはジェネラル高音質化処理が選択される。

高音質化処理が選択されると、その後、ステップＳ２０３乃至ステップＳ２０９の処理が行われて再生信号生成処理は終了するが、これらの処理は図１３のステップＳ１６２乃至ステップＳ１６８の処理と同様であるので、その説明は省略する。但し、ステップＳ２０４では、係数選択部３０１は、メタデータ生成部３４１から供給された種別情報に基づいて、予測係数を選択する。

以上のようにして信号処理装置１１は、オーディオ信号に基づいて種別情報を生成し、その種別情報や優先度情報に基づいて高音質化処理を選択する。このようにすることで、メタデータに種別情報が含まれていない場合でも、種別情報を生成し、高音質化処理や予測係数の選択を行うことができる。これにより、少ない処理負荷でも高音質な再生信号を得ることができる。

〈コンピュータの構成例〉
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。

以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、本技術は、以下の構成とすることも可能である。

（１）
複数のオーディオ信号の供給を受け、高音質化処理を施す前記オーディオ信号を選択する選択部と、
前記選択部により選択された前記オーディオ信号に対して、前記高音質化処理を行う高音質化処理部と
を備える信号処理装置。
（２）
前記選択部は、前記オーディオ信号のメタデータに基づいて、前記高音質化処理を施す前記オーディオ信号を選択する
（１）に記載の信号処理装置。
（３）
前記メタデータには、前記オーディオ信号の優先度を示す優先度情報が含まれている
（２）に記載の信号処理装置。
（４）
前記メタデータには、前記オーディオ信号の種別を示す種別情報が含まれている
（２）または（３）に記載の信号処理装置。
（５）
前記オーディオ信号に基づいて、前記メタデータを生成するメタデータ生成部をさらに備える
（２）乃至（４）の何れか一項に記載の信号処理装置。
（６）
前記選択部は、前記オーディオ信号ごとに、互いに異なる複数の前記高音質化処理のなかから、前記オーディオ信号に対して行う前記高音質化処理を選択する
（１）乃至（５）の何れか一項に記載の信号処理装置。
（７）
前記高音質化処理は、ダイナミックレンジ拡張処理または帯域拡張処理である
（６）に記載の信号処理装置。
（８）
前記高音質化処理は、機械学習により得られた予測係数と、前記オーディオ信号とに基づく、ダイナミックレンジ拡張処理または帯域拡張処理である
（６）に記載の信号処理装置。
（９）
前記オーディオ信号の種別ごとに前記予測係数を保持し、前記オーディオ信号の種別を示す種別情報に基づいて、保持している複数の前記予測係数のなかから、前記高音質化処理に用いる前記予測係数を選択する係数選択部をさらに備える
（８）に記載の信号処理装置。
（１０）
前記高音質化処理は、前記オーディオ信号に基づく線形予測により高域成分を生成する帯域拡張処理である
（６）に記載の信号処理装置。
（１１）
前記高音質化処理は、前記オーディオ信号に対してホワイトノイズを付加する帯域拡張処理である
（６）に記載の信号処理装置。
（１２）
前記オーディオ信号は、チャンネルのオーディオ信号、またはオーディオオブジェクトのオーディオ信号である
（１）乃至（１１）の何れか一項に記載の信号処理装置。
（１３）
信号処理装置が、
複数のオーディオ信号の供給を受け、高音質化処理を施す前記オーディオ信号を選択し、
選択された前記オーディオ信号に対して、前記高音質化処理を行う
信号処理方法。
（１４）
複数のオーディオ信号の供給を受け、高音質化処理を施す前記オーディオ信号を選択し、
選択された前記オーディオ信号に対して、前記高音質化処理を行う
ステップを含む処理をコンピュータに実行させるプログラム。

１１信号処理装置，２２オーディオ選択部，２３高音質化処理部，２４レンダラ，２５再生信号生成部，３２－１乃至３２－ｍ，３２高負荷高音質化処理部，３３－１乃至３３－ｍ，３３中負荷高音質化処理部，３４－１乃至３４－ｍ，３４低負荷高音質化処理部，３０１－１乃至３０１－ｍ，３０１係数選択部，３４１－１乃至３４１－ｍ，３４１メタデータ生成部

Claims

複数のオーディオ信号の供給を受け、高音質化処理を施す前記オーディオ信号を選択する選択部と、
前記選択部により選択された前記オーディオ信号に対して、前記高音質化処理を行う高音質化処理部と
を備え、
前記高音質化処理は、ダイナミックレンジ拡張処理または帯域拡張処理である
信号処理装置。
前記選択部は、前記オーディオ信号のメタデータに基づいて、前記高音質化処理を施す前記オーディオ信号を選択する
請求項１に記載の信号処理装置。
前記メタデータには、前記オーディオ信号の優先度を示す優先度情報が含まれている
請求項２に記載の信号処理装置。
前記メタデータには、前記オーディオ信号の種別を示す種別情報が含まれている
請求項２に記載の信号処理装置。
前記オーディオ信号に基づいて、前記メタデータを生成するメタデータ生成部をさらに備える
請求項２に記載の信号処理装置。
前記選択部は、前記オーディオ信号ごとに、互いに異なる複数の前記高音質化処理のなかから、前記オーディオ信号に対して行う前記高音質化処理を選択する
請求項１に記載の信号処理装置。
前記高音質化処理は、機械学習により得られた予測係数と、前記オーディオ信号とに基づく、ダイナミックレンジ拡張処理または帯域拡張処理である
請求項６に記載の信号処理装置。
前記オーディオ信号の種別ごとに前記予測係数を保持し、前記オーディオ信号の種別を示す種別情報に基づいて、保持している複数の前記予測係数のなかから、前記高音質化処理に用いる前記予測係数を選択する係数選択部をさらに備える
請求項７に記載の信号処理装置。
前記高音質化処理は、前記オーディオ信号に基づく線形予測により高域成分を生成する帯域拡張処理である
請求項６に記載の信号処理装置。
前記高音質化処理は、前記オーディオ信号に対してホワイトノイズを付加する帯域拡張処理である
請求項６に記載の信号処理装置。
前記オーディオ信号は、チャンネルのオーディオ信号、またはオーディオオブジェクトのオーディオ信号である
請求項１に記載の信号処理装置。
信号処理装置が、
複数のオーディオ信号の供給を受け、高音質化処理を施す前記オーディオ信号を選択し、
選択された前記オーディオ信号に対して、前記高音質化処理を行い、
前記高音質化処理は、ダイナミックレンジ拡張処理または帯域拡張処理である
信号処理方法。
複数のオーディオ信号の供給を受け、高音質化処理を施す前記オーディオ信号を選択し、
選択された前記オーディオ信号に対して、前記高音質化処理を行う
ステップを含む処理をコンピュータに実行させ、
前記高音質化処理は、ダイナミックレンジ拡張処理または帯域拡張処理である
プログラム。