JP2023025251A - 符号化装置および方法、復号装置および方法、並びにプログラム - Google Patents

符号化装置および方法、復号装置および方法、並びにプログラム Download PDF

Info

Publication number
JP2023025251A
JP2023025251A JP2022198009A JP2022198009A JP2023025251A JP 2023025251 A JP2023025251 A JP 2023025251A JP 2022198009 A JP2022198009 A JP 2022198009A JP 2022198009 A JP2022198009 A JP 2022198009A JP 2023025251 A JP2023025251 A JP 2023025251A
Authority
JP
Japan
Prior art keywords
metadata
audio signal
frame
samples
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2022198009A
Other languages
English (en)
Other versions
JP2023025251A5 (ja
JP7509190B2 (ja
Inventor
優樹 山本
Yuki Yamamoto
徹 知念
Toru Chinen
実 辻
Minoru Tsuji
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Publication of JP2023025251A publication Critical patent/JP2023025251A/ja
Publication of JP2023025251A5 publication Critical patent/JP2023025251A5/ja
Priority to JP2024099700A priority Critical patent/JP7726336B2/ja
Application granted granted Critical
Publication of JP7509190B2 publication Critical patent/JP7509190B2/ja
Priority to JP2025131313A priority patent/JP2025159029A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/167—Audio streaming, i.e. formatting and decoding of an encoded audio signal representation into a data stream for transmission or storage purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/02—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo four-channel type, e.g. in which rear channel signals are derived from two-channel stereo signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

Figure 2023025251000001
【課題】より高音質な音声を得ることができるようにする。
【解決手段】オーディオ信号復号部は、符号化オーディオデータを復号して、各オブジェクトのオーディオ信号を得る。メタデータ復号部は、符号化メタデータを復号して、各オブジェクトのオーディオ信号のフレームごとに複数のメタデータを得る。ゲイン算出部は、メタデータに基づいてスピーカごとに、各オブジェクトのオーディオ信号のVBAPゲインを算出する。オーディオ信号生成部は、スピーカごとに、各オブジェクトのオーディオ信号にVBAPゲインを乗算して加算し、各スピーカに供給するオーディオ信号を生成する。本技術は復号装置に適用することができる。
【選択図】図４

Description

本技術は符号化装置および方法、復号装置および方法、並びにプログラムに関し、特に、より高音質な音声を得ることができるようにした符号化装置および方法、復号装置および方法、並びにプログラムに関する。
従来、オーディオオブジェクトのオーディオ信号と、そのオーディオオブジェクトの位置情報などのメタデータとを圧縮（符号化）するMPEG(Moving Picture Experts Group)-H 3D Audio規格が知られている（例えば、非特許文献１参照）。
この技術では、オーディオオブジェクトのオーディオ信号とメタデータがフレームごとに符号化されて伝送される。このとき、オーディオオブジェクトのオーディオ信号の１フレームにつき、最大で１つのメタデータが符号化されて伝送される。つまり、フレームによっては、メタデータがない場合もある。
また、符号化されたオーディオ信号とメタデータは、復号装置において復号され、復号により得られたオーディオ信号とメタデータに基づいてレンダリングが行われる。
すなわち、復号装置では、まずオーディオ信号とメタデータが復号される。復号の結果、オーディオ信号については、フレーム内のサンプルごとのPCM（Pulse Code Modulation）サンプル値が得られる。つまり、オーディオ信号としてPCMデータが得られる。
一方、メタデータについては、フレーム内の代表サンプルのメタデータ、具体的にはフレーム内の最後のサンプルのメタデータが得られる。
このようにしてオーディオ信号とメタデータが得られると、復号装置内のレンダラは、フレーム内の代表サンプルのメタデータとしての位置情報に基づいて、その位置情報により示される位置にオーディオオブジェクトの音像が定位するように、VBAP（Vector Base Amplitude Panning）によりVBAPゲインを算出する。このVBAPゲインは、再生側のスピーカごとに算出される。
但し、オーディオオブジェクトのメタデータは、上述したようにフレーム内の代表サンプル、つまりフレーム内の最後のサンプルのメタデータである。したがって、レンダラで算出されたVBAPゲインはフレーム内の最後のサンプルのゲインであり、フレーム内のそれ以外のサンプルのVBAPゲインは求められていない。そのため、オーディオオブジェクトの音声を再生するには、オーディオ信号の代表サンプル以外のサンプルのVBAPゲインも算出する必要がある。
そこで、レンダラでは補間処理により各サンプルのVBAPゲインが算出される。具体的には、スピーカごとに、現フレームの最後のサンプルのVBAPゲインと、その現フレームの直前のフレームの最後のサンプルのVBAPゲインとから、それらのサンプルの間にある現フレームのサンプルのVBAPゲインが線形補間により算出される。
このようにして、オーディオオブジェクトのオーディオ信号に乗算される各サンプルのVBAPゲインがスピーカごとに得られると、オーディオオブジェクトの音声を再生することができるようになる。
すなわち、復号装置では、スピーカごとに算出されたVBAPゲインが、そのオーディオオブジェクトのオーディオ信号に乗算されて各スピーカに供給され、音声が再生される。
ISO/IEC JTC1/SC29/WG11 N14747, August 2014, Sapporo, Japan, "Text of ISO/IEC 23008-3/DIS, 3D Audio"
しかしながら、上述した技術では、十分に高音質な音声を得ることが困難であった。
例えばVBAPでは、算出された各スピーカのVBAPゲインの２乗和が１となるように正規化が行われる。このような正規化により、音像の定位位置は、再生空間において所定の基準点、例えば音声付の動画像や楽曲などのコンテンツを視聴する仮想のユーザの頭部位置を中心とする、半径が１の球の表面上に位置するようになる。
しかし、フレーム内の代表サンプル以外のサンプルのVBAPゲインは補間処理により算出されるため、そのようなサンプルの各スピーカのVBAPゲインの２乗和は１とはならない。そのため、補間処理によりVBAPゲインを算出したサンプルについては、音声の再生時に音像の位置が仮想のユーザから見て、上述した球面の法線方向や、球の表面上の上下左右方向にずれてしまうことになる。そうすると、音声再生時において、１フレームの期間内でオーディオオブジェクトの音像位置がゆらいだりして定位感が悪化し、音声の音質が劣化してしまう。
特に、１フレームを構成するサンプル数が多くなればなるほど、現フレームの最後のサンプル位置と、その現フレームの直前のフレームの最後のサンプル位置との間の長さが長くなる。そうすると、補間処理により算出された各スピーカのVBAPゲインの２乗和と１との差が大きくなり、音質の劣化が大きくなる。
また、代表サンプル以外のサンプルのVBAPゲインを補間処理により算出する場合、オーディオオブジェクトの動きが速いときほど、現フレームの最後のサンプルのVBAPゲインと、その現フレームの直前のフレームの最後のサンプルのVBAPゲインとの差が大きくなる。そうすると、オーディオオブジェクトの動きを正確にレンダリングすることができなくなり、音質が劣化してしまう。
さらに、スポーツや映画などの実際のコンテンツでは、シーンが不連続に切り替わる。そのような場合、シーンの切り替わり部分では、オーディオオブジェクトが不連続に移動することになる。しかし、上述したように補間処理によりVBAPゲインを算出すると、補間処理によりVBAPゲインを算出したサンプルの区間、つまり現フレームの最後のサンプルと、その現フレームの直前のフレームの最後のサンプルとの間では、音声についてはオーディオオブジェクトが連続的に移動していることになってしまう。そうすると、オーディオオブジェクトの不連続な移動をレンダリングにより表現することができなくなってしまい、その結果、音声の音質が劣化してしまう。
本技術は、このような状況に鑑みてなされたものであり、より高音質な音声を得ることができるようにするものである。
本技術の第１の側面の復号装置は、オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得する取得部と、前記符号化オーディオデータを復号する復号部と、前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行うレンダリング部とを備え、前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれており、前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータである。
本技術の第１の側面の復号方法またはプログラムは、オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得し、前記符号化オーディオデータを復号し、前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行うステップを含み、前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれており、前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータである。
本技術の第１の側面においては、オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとが取得され、前記符号化オーディオデータが復号され、前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングが行われる。また、前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれており、前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータとされる。
本技術の第２の側面の符号化装置は、オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化する符号化部と、前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成する生成部とを備え、前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれており、前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータである。
本技術の第２の側面の符号化方法またはプログラムは、オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化し、前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成するステップを含み、前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれており、前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータである。
本技術の第２の側面においては、オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号が符号化され、前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームが生成される。また、前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれており、前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータとされる。
本技術の第１の側面および第２の側面によれば、より高音質な音声を得ることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
ビットストリームについて説明する図である。 符号化装置の構成例を示す図である。 符号化処理を説明するフローチャートである。 復号装置の構成例を示す図である。 復号処理を説明するフローチャートである。 コンピュータの構成例を示す図である。
以下、図面を参照して、本技術を適用した実施の形態について説明する。
〈第１の実施の形態〉
〈本技術の概要について〉
本技術は、オーディオオブジェクトのオーディオ信号と、そのオーディオオブジェクトの位置情報などのメタデータとを符号化して伝送したり、復号側においてそれらのオーディオ信号とメタデータを復号して音声を再生したりする場合に、より高音質な音声を得ることができるようにするものである。なお、以下では、オーディオオブジェクトを単にオブジェクトとも称することとする。
本技術では、１フレームのオーディオ信号について複数のメタデータ、すなわち２以上のメタデータを符号化して送信するようにした。
ここで、メタデータは、オーディオ信号のフレーム内のサンプルのメタデータ、つまりサンプルに対して与えられたメタデータである。例えばメタデータとしての位置情報により示される空間内のオーディオオブジェクトの位置は、そのメタデータが与えられたサンプルに基づく音声の再生タイミングにおける位置を示している。
また、メタデータを送信する方法として以下に示す３つの方法、すなわち個数指定方式、サンプル指定方式、および自動切り替え方式による送信方法のうちの何れかの方法によりメタデータを送信することができる。また、メタデータ送信時には、所定時間間隔の区間であるフレームごとやオブジェクトごとに、それらの３つの方式を切り替えながらメタデータを送信することができる。
（個数指定方式）
まず、個数指定方式について説明する。
個数指定方式は、１フレームに対して送信されるメタデータの数を示すメタデータ個数情報をビットストリームシンタックスに含め、指定された個数のメタデータを送信する方式である。なお、１フレームを構成するサンプルの数を示す情報は、ビットストリームのヘッダ内に格納されている。
また、送信される各メタデータが、１フレーム内のどのサンプルのメタデータであるかは、１フレームを等分したときの位置など、予め定められているようにすればよい。
例えば、１フレームを構成するサンプルの数が2048サンプルであり、１フレームにつき４つのメタデータを送信するとする。このとき、１フレームの区間を、送信するメタデータの数で等分し、分割された区間境界のサンプル位置のメタデータを送るものとする。すなわち、１フレームのサンプル数をメタデータ数で除算して得られるサンプル数の間隔で並ぶフレーム内のサンプルのメタデータを送信するとする。
この場合、フレーム先頭から、それぞれ512個目のサンプル、1024個目のサンプル、1536個目のサンプル、および2048個目のサンプルについてメタデータが送信される。
その他、１フレームを構成するサンプルの数をSとし、１フレームにつき送信されるメタデータの数をAとしたときに、S/2(A-1)により定まるサンプル位置のメタデータが送信されるようにしてもよい。すなわち、フレーム内においてS/2(A-1)サンプル間隔で並ぶサンプルの一部または全部のメタデータを送信してもよい。この場合、例えばメタデータ数A＝1であるときには、フレーム内の最後のサンプルのメタデータが送信されることになる。
また、所定間隔で並ぶサンプルごと、つまり所定サンプル数ごとにメタデータを送信するようにしてもよい。
（サンプル指定方式）
次に、サンプル指定方式について説明する。
サンプル指定方式では、上述した個数指定方式において送信されるメタデータ個数情報に加えて、さらに各メタデータのサンプル位置を示すサンプルインデックスもビットストリームに格納されて送信される。
例えば１フレームを構成するサンプルの数が2048サンプルであり、１フレームにつき４つのメタデータを送信するとする。また、フレーム先頭から、それぞれ128個目のサンプル、512個目のサンプル、1536個目のサンプル、および2048個目のサンプルについてメタデータを送信するとする。
この場合、ビットストリームには、１フレームにつき送信されるメタデータの個数「４」を示すメタデータ個数情報と、フレーム先頭から128個目のサンプル、512個目のサンプル、1536個目のサンプル、および2048個目のサンプルのそれぞれのサンプルの位置を示すサンプルインデックスのそれぞれとが格納される。例えばフレーム先頭から128個目のサンプルの位置を示すサンプルインデックスの値は、128などとされる。
サンプル指定方式では、フレームごとに任意のサンプルのメタデータを送信することが可能となるため、例えばシーンの切り替わり位置の前後のサンプルのメタデータを送信することができる。この場合、レンダリングによりオブジェクトの不連続な移動を表現することができ、高音質な音声を得ることができる。
（自動切り替え方式）
さらに、自動切り替え方式について説明する。
自動切り替え方式では、１フレームを構成するサンプルの数、つまり１フレームのサンプル数に応じて、各フレームにつき送信されるメタデータの数が自動的に切り替えられる。
例えば１フレームのサンプル数が1024サンプルである場合には、フレーム内において256サンプル間隔で並ぶ各サンプルのメタデータが送信される。この例では、フレーム先頭から、それぞれ256個目のサンプル、512個目のサンプル、768個目のサンプル、および1024個目のサンプルについて、合計４個のメタデータが送信される。
また、例えば１フレームのサンプル数が2048サンプルである場合には、フレーム内において256サンプル間隔で並ぶ各サンプルのメタデータが送信される。この例では、合計８個のメタデータが送信されることになる。
このように個数指定方式、サンプル指定方式、および自動切り替え方式の各方式で１フレームにつき２以上のメタデータを送信すれば、フレームを構成するサンプルの数が多い場合などに、より多くのメタデータを送信することができる。
これにより、線形補間によりVBAPゲインが算出されるサンプルが連続して並ぶ区間の長さがより短くなり、より高音質な音声を得ることができるようになる。
例えば線形補間によりVBAPゲインが算出されるサンプルが連続して並ぶ区間の長さがより短くなれば、各スピーカのVBAPゲインの２乗和と１との差も小さくなるので、オブジェクトの音像の定位感を向上させることができる。
また、メタデータを有するサンプル間の距離も短くなるので、それらのサンプルにおけるVBAPゲインの差も小さくなり、オブジェクトの動きをより正確にレンダリングすることができる。さらにメタデータを有するサンプル間の距離が短くなると、シーンの切り替わり部分など、本来オブジェクトが不連続に移動する期間において、音声についてオブジェクトが連続的に移動しているかのようになってしまう期間をより短くすることができる。特に、サンプル指定方式では、適切なサンプル位置のメタデータを送信することで、オブジェクトの不連続な移動を表現することができる。
なお、以上において説明した個数指定方式、サンプル指定方式、および自動切り替え方式の３つの方式の何れか１つのみを用いてメタデータを送信するようにしてもよいが、それらの３つの方式のうちの２以上の方式をフレームごとやオブジェクトごとに切り替えるようにしてもよい。
例えば個数指定方式、サンプル指定方式、および自動切り替え方式の３つの方式をフレームごとやオブジェクトごとに切り替える場合には、ビットストリームに、何れの方式によりメタデータが送信されたかを示す切り替えインデックスを格納するようにすればよい。
この場合、例えば切り替えインデックスの値が０のときは個数指定方式が選択されたこと、つまり個数指定方式によりメタデータが送信されたことを示しており、切り替えインデックスの値が１のときはサンプル指定方式が選択されたことを示しており、切り替えインデックスの値が２のときは自動切り替え方式が選択されたことを示しているなどとされる。以下では、これらの個数指定方式、サンプル指定方式、および自動切り替え方式が、フレームごとやオブジェクトごとに切り替えられるものとして説明を続ける。
また、上述したMPEG-H 3D Audio規格で定められているオーディオ信号とメタデータの送信方法では、フレーム内の最後のサンプルのメタデータのみが送信される。そのため、補間処理により各サンプルのVBAPゲインを算出する場合には、現フレームよりも前のフレームの最後のサンプルのVBAPゲインが必要となる。
したがって、例えば再生側（復号側）において、任意のフレームのオーディオ信号から再生を開始するランダムアクセスをしようとしても、そのランダムアクセスしたフレームよりも前のフレームのVBAPゲインは算出されていないので、VBAPゲインの補間処理を行うことができない。このような理由から、MPEG-H 3D Audio規格ではランダムアクセスを行うことができなかった。
そこで、本技術では、各フレームや任意の間隔のフレーム等において、それらのフレームのメタデータとともに、補間処理を行うために必要となるメタデータも送信することで、現フレームよりも前のフレームのサンプル、または現フレームの先頭のサンプルのVBAPゲインを算出できるようにした。これにより、ランダムアクセスが可能となる。なお、以下では、通常のメタデータとともに送信される、補間処理を行うためのメタデータを特に追加メタデータとも称することとする。
ここで、現フレームのメタデータとともに送信される追加メタデータは、例えば現フレームの直前のフレームの最後のサンプルのメタデータ、または現フレームの先頭のサンプルのメタデータなどとされる。
また、フレームごとに追加メタデータがあるか否かを容易に特定することができるように、ビットストリーム内に各オブジェクトについて、フレームごとに追加メタデータの有無を示す追加メタデータフラグが格納される。例えば所定のフレームの追加メタデータフラグの値が１である場合、そのフレームには追加メタデータが存在し、追加メタデータフラグの値が０である場合には、そのフレームには追加メタデータは存在しないなどとされる。
なお、基本的には、同一フレームの全てのオブジェクトの追加メタデータフラグの値は同じ値とされる。
このようにフレームごとに追加メタデータフラグを送信するとともに、必要に応じて追加メタデータを送信することで、追加メタデータのあるフレームについては、ランダムアクセスを行うことができるようになる。
なお、ランダムアクセスのアクセス先として指定されたフレームに追加メタデータがないときには、そのフレームに時間的に最も近い、追加メタデータのあるフレームをランダムアクセスのアクセス先とすればよい。したがって、適切なフレーム間隔等で追加メタデータを送信することで、ユーザに不自然さを感じさせることなくランダムアクセスを実現することが可能となる。
以上、追加メタデータの説明を行ったが、ランダムアクセスのアクセス先として指定されたフレームにおいて、追加メタデータを用いずに、VBAPゲインの補間処理を行うようにしても良い。この場合、追加メタデータを格納することによるビットストリームのデータ量（ビットレート）の増大を抑えつつ、ランダムアクセスが可能となる。
具体的には、ランダムアクセスのアクセス先として指定されたフレームにおいて、現フレームよりも前のフレームのVBAPゲインの値を０として、現フレームで算出されるVBAPゲインの値との補間処理を行う。なお、この方法に限らず、現フレームの各サンプルのVBAPゲインの値が、すべて、現フレームで算出されるVBAPゲインと同一の値となるように補間処理を行うようにしても良い。一方、ランダムアクセスのアクセス先として指定されないフレームにおいては、従来通り、現フレームよりも前のフレームのVBAPゲインを用いた補間処理が行われる。
このように、ランダムアクセスのアクセス先として指定されたか否かに基づいてVBAPゲインの補間処理の切り替えを行うことにより、追加メタデータを用いずに、ランダムアクセスをすることが可能となる。
なお、上述したMPEG-H 3D Audio規格では、フレームごとに、現フレームが、ビットストリーム内の現フレームのみのデータを用いて復号およびレンダリングできるフレーム（独立フレームと称する）であるか否かを示す、独立フラグ（indepFlagとも称する）がビットストリーム内に格納されている。独立フラグの値が１である場合、復号側では、ビットストリーム内の、現フレームよりも前のフレームのデータ、及びそのデータの復号により得られるいかなる情報も用いることなく復号およびレンダリングを行うことができるとされている。
したがって、独立フラグの値が１である場合、現フレームよりも前のフレームのVBAPゲインを用いずに復号およびレンダリングを行うことが必要となる。
そこで、独立フラグの値が１であるフレームにおいて、上述の追加メタデータをビットストリームに格納するようにしても良いし、上述の補間処理の切り替えを行っても良い。
このように、独立フラグの値に応じて、ビットストリーム内に追加メタデータを格納するか否かの切り替えや、VBAPゲインの補間処理の切り替えを行うことで、独立フラグの値が１である場合に、現フレームよりも前のフレームのVBAPゲインを用いずに復号およびレンダリングを行うことが可能となる。
さらに、上述したMPEG-H 3D Audio規格では、復号により得られるメタデータは、フレーム内の代表サンプル、つまり最後のサンプルのメタデータのみであると説明した。しかし、そもそもオーディオ信号とメタデータの符号化側においては、符号化装置に入力される圧縮（符号化）前のメタデータもフレーム内の全サンプルについて定義されているものは殆どない。つまり、オーディオ信号のフレーム内のサンプルには、符号化前の状態からメタデータのないサンプルも多い。
現状では、例えば0番目のサンプル、1024番目のサンプル、2048番目のサンプルなどの等間隔で並ぶサンプルのみメタデータを有していたり、0番目のサンプル、138番目のサンプル、2044番目のサンプルなどの不等間隔で並ぶサンプルのみメタデータを有していたりすることが殆どである。
このような場合、フレームによってはメタデータを有するサンプルが１つも存在しないこともあり、そのようなフレームについてはメタデータが送信されないことになる。そうすると、復号側において、メタデータを有するサンプルが１つもないフレームについて、各サンプルのVBAPゲインを算出するには、そのフレーム以降のメタデータのあるフレームのVBAPゲインの算出を行わなければならなくなる。その結果、メタデータの復号とレンダリングに遅延が発生し、リアルタイムで復号およびレンダリングを行うことができなくなってしまう。
そこで、本技術では、符号化側において、必要に応じてメタデータを有するサンプル間の各サンプルについて、補間処理（サンプル補間）によりそれらのサンプルのメタデータを求め、復号側においてリアルタイムで復号およびレンダリングを行うことができるようにした。特に、ビデオゲームなどにおいては、オーディオ再生の遅延をできるだけ小さくしたいという要求がある。そのため、本技術により復号およびレンダリングの遅延を小さくすること、つまりゲーム操作等に対するインタラクティブ性を向上させることができるようにすることの意義は大きい。
なお、メタデータの補間処理は、例えば線形補間、高次関数を用いた非線形補間など、どのような処理であってもよい。
〈ビットストリームについて〉
次に、以上において説明した本技術を適用した、より具体的な実施の形態について説明する。
各オブジェクトのオーディオ信号とメタデータを符号化する符号化装置からは、例えば図１に示すビットストリームが出力される。
図１に示すビットストリームでは、先頭にヘッダが配置されており、そのヘッダ内には、各オブジェクトのオーディオ信号の１フレームを構成するサンプルの数、すなわち１フレームのサンプル数を示す情報（以下、サンプル数情報とも称する）が格納されている。
そして、ビットストリームにおいてヘッダの後ろには、フレームごとのデータが配置される。具体的には、領域Ｒ１０の部分には、現フレームが、独立フレームであるか否かを示す、独立フラグが配置されている。そして、領域Ｒ１１の部分には、同一フレームの各オブジェクトのオーディオ信号を符号化して得られた符号化オーディオデータが配置されている。
また、領域Ｒ１１に続く領域Ｒ１２の部分には、同一フレームの各オブジェクトのメタデータ等を符号化して得られた符号化メタデータが配置されている。
例えば領域Ｒ１２内の領域Ｒ２１の部分には、１つのオブジェクトの１フレーム分の符号化メタデータが配置されている。
この例では、符号化メタデータの先頭には、追加メタデータフラグが配置されており、その追加メタデータフラグに続いて、切り替えインデックスが配置されている。
さらに、切り替えインデックスの次にはメタデータ個数情報とサンプルインデックスが配置されている。なお、ここではサンプルインデックスが１つだけ描かれているが、より詳細には、サンプルインデックスは、符号化メタデータに格納されるメタデータの数だけ、その符号化メタデータ内に格納される。
符号化メタデータでは、切り替えインデックスにより示される方式が個数指定方式である場合には、切り替えインデックスに続いてメタデータ個数情報は配置されるが、サンプルインデックスは配置されない。
また、切り替えインデックスにより示される方式がサンプル指定方式である場合には、切り替えインデックスに続いてメタデータ個数情報およびサンプルインデックスが配置される。さらに、切り替えインデックスにより示される方式が自動切り替え方式である場合には、切り替えインデックスに続いてメタデータ個数情報もサンプルインデックスも配置されない。
必要に応じて配置されるメタデータ個数情報やサンプルインデックスに続く位置には、追加メタデータが配置され、さらにその追加メタデータに続いて各サンプルのメタデータが定義された個数分だけ配置される。
ここで、追加メタデータは、追加メタデータフラグの値が１である場合にのみ配置され、追加メタデータフラグの値が０である場合には配置されない。
領域Ｒ１２の部分には、領域Ｒ２１の部分に配置された符号化メタデータと同様の符号化メタデータがオブジェクトごとに並べられて配置されている。
ビットストリームでは、領域Ｒ１０の部分に配置された独立フラグと、領域Ｒ１１の部分に配置された各オブジェクトの符号化オーディオデータと、領域Ｒ１２の部分に配置された各オブジェクトの符号化メタデータとから、１フレーム分のデータが構成される。
〈符号化装置の構成例〉
次に、図１に示したビットストリームを出力する符号化装置の構成について説明する。
図２は、本技術を適用した符号化装置の構成例を示す図である。
符号化装置１１は、オーディオ信号取得部２１、オーディオ信号符号化部２２、メタデータ取得部２３、補間処理部２４、関連情報取得部２５、メタデータ符号化部２６、多重化部２７、および出力部２８を有している。
オーディオ信号取得部２１は、各オブジェクトのオーディオ信号を取得してオーディオ信号符号化部２２に供給する。オーディオ信号符号化部２２は、オーディオ信号取得部２１から供給されたオーディオ信号をフレーム単位で符号化し、その結果得られた各オブジェクトのフレームごとの符号化オーディオデータを多重化部２７に供給する。
メタデータ取得部２３は、各オブジェクトのフレームごとのメタデータ、より詳細にはフレーム内の各サンプルのメタデータを取得して補間処理部２４に供給する。ここで、メタデータには、例えば空間内におけるオブジェクトの位置を示す位置情報、オブジェクトの重要度を示す重要度情報、オブジェクトの音像の広がり度合いを示す情報などが含まれている。メタデータ取得部２３では、各オブジェクトのオーディオ信号の所定サンプル（PCMサンプル）のメタデータが取得される。
補間処理部２４は、メタデータ取得部２３から供給されたメタデータに対する補間処理を行って、オーディオ信号のメタデータのないサンプルのうちの、全てのサンプルまたは一部の特定のサンプルのメタデータを生成する。補間処理部２４では、１つのオブジェクトの１フレームのオーディオ信号が複数のメタデータを有するように、つまり１フレーム内の複数のサンプルがメタデータを有するように、補間処理によりフレーム内のサンプルのメタデータが生成される。
補間処理部２４は、補間処理により得られた、各オブジェクトのフレームごとのメタデータをメタデータ符号化部２６に供給する。
関連情報取得部２５は、フレームごとに、現フレームを、独立フレームにするかを示す情報（独立フレーム情報と称する）や、各オブジェクトについて、オーディオ信号のフレームごとに、サンプル数情報や、何れの方式でメタデータを送信するかを示す情報、追加メタデータを送信するかを示す情報、どのサンプルのメタデータを送信するかを示す情報など、メタデータに関連する情報を関連情報として取得する。また、関連情報取得部２５は、取得した関連情報に基づいて、各オブジェクトについて、フレームごとに追加メタデータフラグ、切り替えインデックス、メタデータ個数情報、およびサンプルインデックスのうちの必要な情報を生成し、メタデータ符号化部２６に供給する。
メタデータ符号化部２６は、関連情報取得部２５から供給された情報に基づいて、補間処理部２４から供給されたメタデータの符号化を行い、その結果得られた各オブジェクトのフレームごとの符号化メタデータと、関連情報取得部２５から供給された情報に含まれる独立フレーム情報とを多重化部２７に供給する。
多重化部２７は、オーディオ信号符号化部２２から供給された符号化オーディオデータと、メタデータ符号化部２６から供給された符号化メタデータと、メタデータ符号化部２６から供給された独立フレーム情報に基づき得られる独立フラグとを多重化してビットストリームを生成し、出力部２８に供給する。出力部２８は、多重化部２７から供給されたビットストリームを出力する。すなわち、ビットストリームが送信される。
〈符号化処理の説明〉
符号化装置１１は、外部からオブジェクトのオーディオ信号が供給されると、符号化処理を行ってビットストリームを出力する。以下、図３のフローチャートを参照して、符号化装置１１による符号化処理について説明する。なお、この符号化処理はオーディオ信号のフレームごとに行われる。
ステップＳ１１において、オーディオ信号取得部２１は、各オブジェクトのオーディオ信号を１フレーム分だけ取得してオーディオ信号符号化部２２に供給する。
ステップＳ１２において、オーディオ信号符号化部２２は、オーディオ信号取得部２１から供給されたオーディオ信号を符号化し、その結果得られた各オブジェクトの１フレーム分の符号化オーディオデータを多重化部２７に供給する。
例えばオーディオ信号符号化部２２は、オーディオ信号に対してMDCT（Modified Discrete Cosine Transform）等を行うことで、オーディオ信号を時間信号から周波数信号に変換する。そして、オーディオ信号符号化部２２は、MDCTにより得られたMDCT係数を符号化し、その結果得られたスケールファクタ、サイド情報、および量子化スペクトルを、オーディオ信号を符号化して得られた符号化オーディオデータとする。
これにより、例えば図１に示したビットストリームの領域Ｒ１１の部分に格納される各オブジェクトの符号化オーディオデータが得られる。
ステップＳ１３において、メタデータ取得部２３は、各オブジェクトについて、オーディオ信号のフレームごとのメタデータを取得して補間処理部２４に供給する。
ステップＳ１４において、補間処理部２４は、メタデータ取得部２３から供給されたメタデータに対する補間処理を行って、メタデータ符号化部２６に供給する。
例えば補間処理部２４は、１つのオーディオ信号について、所定のサンプルのメタデータとしての位置情報と、その所定のサンプルの時間的に前に位置する他のサンプルのメタデータとしての位置情報とに基づいて、線形補間によりそれらの２つのサンプルの間に位置する各サンプルの位置情報を算出する。同様に、メタデータとしての重要度情報や音像の広がり度合いを示す情報などについても線形補間等の補間処理が行われ、各サンプルのメタデータが生成される。
なお、メタデータの補間処理では、オブジェクトの１フレームのオーディオ信号の全サンプルがメタデータ有するようにメタデータが算出されてもよいし、全サンプルのうちの必要なサンプルのみメタデータを有するようにメタデータが算出されてもよい。また、補間処理は線形補間に限らず、非線形補間であってもよい。
ステップＳ１５において、関連情報取得部２５は、各オブジェクトのオーディオ信号のフレームについて、メタデータに関連する関連情報を取得する。
そして、関連情報取得部２５は、取得した関連情報に基づいて、オブジェクトごとに追加メタデータフラグ、切り替えインデックス、メタデータ個数情報、およびサンプルインデックスのうちの必要な情報を生成し、メタデータ符号化部２６に供給する。
なお、関連情報取得部２５が追加メタデータフラグや切り替えインデックスなどを生成するのではなく、関連情報取得部２５が追加メタデータフラグや切り替えインデックスなどを外部から取得するようにしてもよい。
ステップＳ１６において、メタデータ符号化部２６は、関連情報取得部２５から供給された追加メタデータフラグや、切り替えインデックス、メタデータ個数情報、サンプルインデックスなどに基づいて、補間処理部２４から供給されたメタデータを符号化する。
メタデータの符号化にあたっては、各オブジェクトについて、オーディオ信号のフレーム内の各サンプルのメタデータのうち、サンプル数情報や、切り替えインデックスにより示される方式、メタデータ個数情報、サンプルインデックスなどにより定まるサンプル位置のメタデータのみが送信されるように、符号化メタデータが生成される。また、フレームの先頭サンプルのメタデータ、または保持されていた直前のフレームの最後のサンプルのメタデータが、必要に応じて追加メタデータとされる。
符号化メタデータには、メタデータの他、追加メタデータフラグおよび切り替えインデックスが含まれ、かつ必要に応じてメタデータ個数情報やサンプルインデックス、追加メタデータなどが含まれるようにされる。
これにより、例えば図１に示したビットストリームの領域Ｒ１２に格納される各オブジェクトの符号化メタデータが得られる。例えば領域Ｒ２１に格納されている符号化メタデータが、１つのオブジェクトの１フレーム分の符号化メタデータである。
この場合、例えばオブジェクトの処理対象となっているフレームで個数指定方式が選択され、かつ追加メタデータが送信されるときには、追加メタデータフラグ、切り替えインデックス、メタデータ個数情報、追加メタデータ、およびメタデータからなる符号化メタデータが生成される。
また、例えばオブジェクトの処理対象となっているフレームでサンプル指定方式が選択され、かつ追加メタデータが送信されないときには、追加メタデータフラグ、切り替えインデックス、メタデータ個数情報、サンプルインデックス、およびメタデータからなる符号化メタデータが生成される。
さらに、例えばオブジェクトの処理対象となっているフレームで自動切り替え方式が選択され、かつ追加メタデータが送信されるときには、追加メタデータフラグ、切り替えインデックス、追加メタデータ、およびメタデータからなる符号化メタデータが生成される。
メタデータ符号化部２６は、メタデータの符号化により得られた各オブジェクトの符号化メタデータと、関連情報取得部２５から供給された情報に含まれる独立フレーム情報とを多重化部２７に供給する。
ステップＳ１７において、多重化部２７は、オーディオ信号符号化部２２から供給された符号化オーディオデータと、メタデータ符号化部２６から供給された符号化メタデータと、メタデータ符号化部２６から供給された独立フレーム情報に基づき得られる独立フラグとを多重化してビットストリームを生成し、出力部２８に供給する。
これにより、１フレーム分のビットストリームとして、例えば図１に示したビットストリームの領域Ｒ１０乃至領域Ｒ１２の部分からなるビットストリームが生成される。
ステップＳ１８において、出力部２８は、多重化部２７から供給されたビットストリームを出力し、符号化処理は終了する。なお、ビットストリームの先頭部分が出力される場合には、図１に示したように、サンプル数情報等が含まれるヘッダも出力される。
以上のようにして符号化装置１１は、オーディオ信号を符号化するとともに、メタデータを符号化し、その結果得られた符号化オーディオデータと符号化メタデータとからなるビットストリームを出力する。
このとき、１フレームに対して複数のメタデータが送信されるようにすることで、復号側において、補間処理によりVBAPゲインが算出されるサンプルの並ぶ区間の長さをより短くすることができ、より高音質な音声を得ることができるようになる。
また、メタデータに対して補間処理を行うことで、必ず１フレームで１以上のメタデータを送信することができ、復号側においてリアルタイムで復号およびレンダリングを行うことができるようになる。さらに、必要に応じて追加メタデータを送信することで、ランダムアクセスを実現することができる。
〈復号装置の構成例〉
続いて、符号化装置１１から出力されたビットストリームを受信（取得）して復号を行う復号装置について説明する。例えば本技術を適用した復号装置は、図４に示すように構成される。
この復号装置５１には、再生空間に配置された複数のスピーカからなるスピーカシステム５２が接続されている。復号装置５１は、復号およびレンダリングにより得られた各チャンネルのオーディオ信号を、スピーカシステム５２を構成する各チャンネルのスピーカに供給し、音声を再生させる。
復号装置５１は、取得部６１、分離部６２、オーディオ信号復号部６３、メタデータ復号部６４、ゲイン算出部６５、およびオーディオ信号生成部６６を有している。
取得部６１は、符号化装置１１から出力されたビットストリームを取得して分離部６２に供給する。分離部６２は、取得部６１から供給されたビットストリームを、独立フラグと符号化オーディオデータと符号化メタデータとに分離させ、符号化オーディオデータをオーディオ信号復号部６３に供給するとともに、独立フラグと符号化メタデータとをメタデータ復号部６４に供給する。
なお、分離部６２は、必要に応じて、ビットストリームのヘッダからサンプル数情報などの各種の情報を読み出して、オーディオ信号復号部６３やメタデータ復号部６４に供給する。
オーディオ信号復号部６３は、分離部６２から供給された符号化オーディオデータを復号し、その結果得られた各オブジェクトのオーディオ信号をオーディオ信号生成部６６に供給する。
メタデータ復号部６４は、分離部６２から供給された符号化メタデータを復号し、その結果得られたオブジェクトごとのオーディオ信号の各フレームのメタデータと、分離部６２から供給された独立フラグとをゲイン算出部６５に供給する。
メタデータ復号部６４は、符号化メタデータから追加メタデータフラグを読み出す追加メタデータフラグ読み出し部７１と、符号化メタデータから切り替えインデックスを読み出す切り替えインデックス読み出し部７２を有している。
ゲイン算出部６５は、予め保持しているスピーカシステム５２を構成する各スピーカの空間上の配置位置を示す配置位置情報と、メタデータ復号部６４から供給された各オブジェクトのフレームごとのメタデータと独立フラグとに基づいて、各オブジェクトについて、オーディオ信号のフレーム内のサンプルのVBAPゲインを算出する。
また、ゲイン算出部６５は、所定のサンプルのVBAPゲインに基づいて、補間処理により他のサンプルのVBAPゲインを算出する補間処理部７３を有している。
ゲイン算出部６５は、各オブジェクトについて、オーディオ信号のフレーム内のサンプルごとに算出されたVBAPゲインをオーディオ信号生成部６６に供給する。
オーディオ信号生成部６６は、オーディオ信号復号部６３から供給された各オブジェクトのオーディオ信号と、ゲイン算出部６５から供給された各オブジェクトのサンプルごとのVBAPゲインとに基づいて、各チャンネルのオーディオ信号、すなわち各チャンネルのスピーカに供給するオーディオ信号を生成する。
オーディオ信号生成部６６は、生成したオーディオ信号をスピーカシステム５２を構成する各スピーカに供給し、オーディオ信号に基づく音声を出力させる。
復号装置５１では、ゲイン算出部６５およびオーディオ信号生成部６６からなるブロックが、復号により得られたオーディオ信号とメタデータに基づいてレンダリングを行うレンダラ（レンダリング部）として機能する。
〈復号処理の説明〉
復号装置５１は、符号化装置１１からビットストリームが送信されてくると、そのビットストリームを受信（取得）して復号する復号処理を行う。以下、図５のフローチャートを参照して、復号装置５１による復号処理について説明する。なお、この復号処理はオーディオ信号のフレームごとに行われる。
ステップＳ４１において、取得部６１は、符号化装置１１から出力されたビットストリームを１フレーム分だけ取得して分離部６２に供給する。
ステップＳ４２において、分離部６２は、取得部６１から供給されたビットストリームを、独立フラグと符号化オーディオデータと符号化メタデータとに分離させ、符号化オーディオデータをオーディオ信号復号部６３に供給するとともに、独立フラグと符号化メタデータをメタデータ復号部６４に供給する。
このとき、分離部６２は、ビットストリームのヘッダから読み出したサンプル数情報をメタデータ復号部６４に供給する。なお、サンプル数情報の供給タイミングは、ビットストリームのヘッダが取得されたタイミングとすればよい。
ステップＳ４３において、オーディオ信号復号部６３は、分離部６２から供給された符号化オーディオデータを復号し、その結果得られた各オブジェクトの１フレーム分のオーディオ信号をオーディオ信号生成部６６に供給する。
例えばオーディオ信号復号部６３は、符号化オーディオデータを復号してMDCT係数を求める。具体的には、オーディオ信号復号部６３は符号化オーディオデータとして供給されたスケールファクタ、サイド情報、および量子化スペクトルに基づいてMDCT係数を算出する。
また、オーディオ信号復号部６３はMDCT係数に基づいて、IMDCT（Inverse Modified Discrete Cosine Transform）を行い、その結果得られたPCMデータをオーディオ信号としてオーディオ信号生成部６６に供給する。
符号化オーディオデータの復号が行われると、その後、符号化メタデータの復号が行われる。すなわち、ステップＳ４４において、メタデータ復号部６４の追加メタデータフラグ読み出し部７１は、分離部６２から供給された符号化メタデータから追加メタデータフラグを読み出す。
例えばメタデータ復号部６４は、分離部６２から順次供給されてくる符号化メタデータに対応するオブジェクトを順番に処理対象のオブジェクトとする。追加メタデータフラグ読み出し部７１は、処理対象とされたオブジェクトの符号化メタデータから追加メタデータフラグを読み出す。
ステップＳ４５において、メタデータ復号部６４の切り替えインデックス読み出し部７２は、分離部６２から供給された、処理対象のオブジェクトの符号化メタデータから切り替えインデックスを読み出す。
ステップＳ４６において、切り替えインデックス読み出し部７２は、ステップＳ４５で読み出した切り替えインデックスにより示される方式が個数指定方式であるか否かを判定する。
ステップＳ４６において個数指定方式であると判定された場合、ステップＳ４７において、メタデータ復号部６４は、分離部６２から供給された、処理対象のオブジェクトの符号化メタデータからメタデータ個数情報を読み出す。
処理対象のオブジェクトの符号化メタデータには、このようにして読み出されたメタデータ個数情報により示される数だけ、メタデータが格納されている。
ステップＳ４８において、メタデータ復号部６４は、ステップＳ４７で読み出したメタデータ個数情報と、分離部６２から供給されたサンプル数情報とに基づいて、処理対象のオブジェクトのオーディオ信号のフレームにおける、送信されてきたメタデータのサンプル位置を特定する。
例えばサンプル数情報により示される数のサンプルからなる１フレームの区間が、メタデータ個数情報により示されるメタデータ数の区間に等分され、等分された各区間の最後のサンプル位置がメタデータのサンプル位置、つまりメタデータを有するサンプルの位置とされる。このようにして求められたサンプル位置が、符号化メタデータに含まれる各メタデータのサンプル位置、つまりそれらのメタデータを有するサンプルとされる。
なお、ここでは１フレームの区間が等分されて、それらの等分された区間の最後のサンプルのメタデータが送信される場合について説明したが、どのサンプルのメタデータを送信するかに応じて、サンプル数情報とメタデータ個数情報から各メタデータのサンプル位置が算出される。
このようにして処理対象のオブジェクトの符号化メタデータに含まれているメタデータの個数と、各メタデータのサンプル位置が特定されると、その後、処理はステップＳ５３へと進む。
一方、ステップＳ４６において個数指定方式でないと判定された場合、ステップＳ４９において、切り替えインデックス読み出し部７２は、ステップＳ４５で読み出した切り替えインデックスにより示される方式がサンプル指定方式であるか否かを判定する。
ステップＳ４９においてサンプル指定方式であると判定された場合、ステップＳ５０において、メタデータ復号部６４は、分離部６２から供給された、処理対象のオブジェクトの符号化メタデータからメタデータ個数情報を読み出す。
ステップＳ５１において、メタデータ復号部６４は、分離部６２から供給された、処理対象のオブジェクトの符号化メタデータからサンプルインデックスを読み出す。このとき、メタデータ個数情報により示される個数だけ、サンプルインデックスが読み出される。
このようにして読み出されたメタデータ個数情報とサンプルインデックスから、処理対象のオブジェクトの符号化メタデータに格納されているメタデータの個数と、それらのメタデータのサンプル位置とを特定することができる。
処理対象のオブジェクトの符号化メタデータに含まれているメタデータの個数と、各メタデータのサンプル位置が特定されると、その後、処理はステップＳ５３へと進む。
また、ステップＳ４９においてサンプル指定方式でないと判定された場合、すなわち切り替えインデックスにより示される方式が自動切り替え方式である場合、処理はステップＳ５２へと進む。
ステップＳ５２において、メタデータ復号部６４は、分離部６２から供給されたサンプル数情報に基づいて、処理対象のオブジェクトの符号化メタデータに含まれているメタデータの個数と、各メタデータのサンプル位置を特定し、処理はステップＳ５３へと進む。
例えば自動切り替え方式では、１フレームを構成するサンプルの数に対して、送信されるメタデータの個数と、各メタデータのサンプル位置、つまりどのサンプルのメタデータを送信するかとが予め定められている。
そのため、メタデータ復号部６４は、サンプル数情報から、処理対象のオブジェクトの符号化メタデータに格納されているメタデータの個数と、それらのメタデータのサンプル位置とを特定することができる。
ステップＳ４８、ステップＳ５１、またはステップＳ５２の処理が行われると、ステップＳ５３において、メタデータ復号部６４は、ステップＳ４４で読み出された追加メタデータフラグの値に基づいて、追加メタデータがあるか否かを判定する。
ステップＳ５３において、追加メタデータがあると判定された場合、ステップＳ５４において、メタデータ復号部６４は、処理対象のオブジェクトの符号化メタデータから、追加メタデータを読み出す。追加メタデータが読み出されると、その後、処理はステップＳ５５へと進む。
これに対して、ステップＳ５３において追加メタデータがないと判定された場合、ステップＳ５４の処理はスキップされて、処理はステップＳ５５へと進む。
ステップＳ５４で追加メタデータが読み出されたか、またはステップＳ５３において追加メタデータがないと判定されると、ステップＳ５５において、メタデータ復号部６４は、処理対象のオブジェクトの符号化メタデータからメタデータを読み出す。
このとき、符号化メタデータからは、上述した処理により特定された個数だけ、メタデータが読み出されることになる。
以上の処理により、処理対象のオブジェクトの１フレーム分のオーディオ信号について、メタデータと追加メタデータの読み出しが行われたことになる。
メタデータ復号部６４は、読み出した各メタデータをゲイン算出部６５に供給する。その際、ゲイン算出部６５は、どのメタデータが、どのオブジェクトのどのサンプルのメタデータであるかを特定できるようにメタデータの供給を行う。また、追加メタデータが読み出されたときには、メタデータ復号部６４は、読み出した追加メタデータもゲイン算出部６５に供給する。
ステップＳ５６において、メタデータ復号部６４は、全てのオブジェクトについて、メタデータの読み出しを行ったか否かを判定する。
ステップＳ５６において、まだ全てのオブジェクトについて、メタデータの読み出しを行っていないと判定された場合、処理はステップＳ４４に戻り、上述した処理が繰り返し行われる。この場合、まだ処理対象とされていないオブジェクトが、新たな処理対象のオブジェクトとされて、そのオブジェクトの符号化メタデータからメタデータ等が読み出される。
これに対して、ステップＳ５６において全てのオブジェクトについてメタデータの読み出しを行ったと判定された場合、メタデータ復号部６４は、分離部６２から供給された独立フラグをゲイン算出部６５に供給し、その後、処理はステップＳ５７に進み、レンダリングが開始される。
すなわち、ステップＳ５７において、ゲイン算出部６５は、メタデータ復号部６４から供給されたメタデータや追加メタデータや独立フラグに基づいて、VBAPゲインを算出する。
例えばゲイン算出部６５は、各オブジェクトを順番に処理対象のオブジェクトとして選択していき、さらにその処理対象のオブジェクトのオーディオ信号のフレーム内にある、メタデータのあるサンプルを、順番に処理対象のサンプルとして選択する。
ゲイン算出部６５は、処理対象のサンプルについて、そのサンプルのメタデータとしての位置情報により示される空間上のオブジェクトの位置と、配置位置情報により示されるスピーカシステム５２の各スピーカの空間上の位置とに基づいて、VBAPにより処理対象のサンプルの各チャンネル、すなわち各チャンネルのスピーカのVBAPゲインを算出する。
VBAPでは、オブジェクトの周囲にある３つまたは２つのスピーカから、所定のゲインで音声を出力することで、そのオブジェクトの位置に音像を定位させることができる。なお、VBAPについては、例えば「Ville Pulkki, “Virtual Sound Source Positioning Using Vector Base Amplitude Panning”, Journal of AES, vol.45, no.6, pp.456-466, 1997」などに詳細に記載されている。
ステップＳ５８において、補間処理部７３は補間処理を行って、メタデータのないサンプルの各スピーカのVBAPゲインを算出する。
例えば補間処理では、直前のステップＳ５７で算出した処理対象のサンプルのVBAPゲインと、その処理対象のサンプルよりも時間的に前にある、処理対象のオブジェクトの同じフレームまたは直前のフレームのメタデータのあるサンプル（以下、参照サンプルとも称する）のVBAPゲインとが用いられる。すなわち、スピーカシステム５２を構成するスピーカ（チャンネル）ごとに、処理対象のサンプルのVBAPゲインと、参照サンプルのVBAPゲインとが用いられて、それらの処理対象のサンプルと、参照サンプルとの間にある各サンプルのVBAPゲインが線形補間等により算出される。
なお、例えばランダムアクセスが指示された場合、もしくは、メタデータ復号部６４から供給された独立フラグの値が１である場合で、追加メタデータがある場合には、ゲイン算出部６５は追加メタデータを用いてVBAPゲインの算出を行う。
具体的には、例えば処理対象のオブジェクトのオーディオ信号のフレーム内において、最もフレーム先頭側にある、メタデータを有するサンプルが処理対象のサンプルとされて、そのサンプルのVBAPゲインが算出されたとする。この場合、このフレームよりも前のフレームについてはVBAPゲインが算出されていないので、ゲイン算出部６５は、追加メタデータを用いて、そのフレームの先頭サンプルまたはそのフレームの直前のフレームの最後のサンプルを参照サンプルとして、その参照サンプルのVBAPゲインを算出する。
そして、補間処理部７３は、処理対象のサンプルのVBAPゲインと、参照サンプルのVBAPゲインとから、それらの処理対象のサンプルと参照サンプルの間にある各サンプルのVBAPゲインを補間処理により算出する。
一方、例えばランダムアクセスが指示された場合、もしくは、メタデータ復号部６４から供給された独立フラグの値が１である場合で、追加メタデータがない場合には、追加メタデータを用いたVBAPゲインの算出は行われず、補間処理の切り替えが行われる。
具体的には、例えば処理対象のオブジェクトのオーディオ信号のフレーム内において、最もフレーム先頭側にある、メタデータを有するサンプルが処理対象のサンプルとされて、そのサンプルのVBAPゲインが算出されたとする。この場合、このフレームよりも前のフレームについてはVBAPゲインが算出されていないので、ゲイン算出部６５は、そのフレームの先頭サンプルまたはそのフレームの直前のフレームの最後のサンプルを参照サンプルとして、その参照サンプルのVBAPゲインを０として算出する。
そして、補間処理部７３は、処理対象のサンプルのVBAPゲインと、参照サンプルのVBAPゲインとから、それらの処理対象のサンプルと参照サンプルの間にある各サンプルのVBAPゲインを補間処理により算出する。
なお、この方法に限らず、例えば、補間される各サンプルのVBAPゲインを、すべて、処理対象のサンプルのVBAPゲインと同一の値にするように補間処理を行っても良い。
このように、VBAPゲインの補間処理を切り替えることにより、追加メタデータがないフレームにおいても、ランダムアクセスや、独立フレームにおける復号およびレンダリングが可能となる。
また、ここではメタデータのないサンプルのVBAPゲインが補間処理により求められる例について説明したが、メタデータ復号部６４において、メタデータのないサンプルについて、補間処理によりサンプルのメタデータが求められるようにしてもよい。この場合、オーディオ信号の全てのサンプルのメタデータが得られるので、補間処理部７３ではVBAPゲインの補間処理は行われない。
ステップＳ５９において、ゲイン算出部６５は、処理対象のオブジェクトのオーディオ信号のフレーム内の全サンプルのVBAPゲインを算出したか否かを判定する。
ステップＳ５９において、まだ全サンプルのVBAPゲインを算出していないと判定された場合、処理はステップＳ５７に戻り、上述した処理が繰り返し行われる。すなわち、メタデータを有する次のサンプルが処理対象のサンプルとして選択され、VBAPゲインが算出される。
これに対して、ステップＳ５９において全サンプルのVBAPゲインを算出したと判定された場合、ステップＳ６０において、ゲイン算出部６５は、全オブジェクトのVBAPゲインを算出したか否かを判定する。
例えば全てのオブジェクトが処理対象のオブジェクトとされて、それらのオブジェクトについて、スピーカごとの各サンプルのVBAPゲインが算出された場合、全オブジェクトのVBAPゲインを算出したと判定される。
ステップＳ６０において、まだ全オブジェクトのVBAPゲインを算出していないと判定された場合、処理はステップＳ５７に戻り、上述した処理が繰り返し行われる。
これに対して、ステップＳ６０において全オブジェクトのVBAPゲインを算出したと判定された場合、ゲイン算出部６５は算出したVBAPゲインをオーディオ信号生成部６６に供給し、処理はステップＳ６１へと進む。この場合、スピーカごとに算出された、各オブジェクトのオーディオ信号のフレーム内の各サンプルのVBAPゲインがオーディオ信号生成部６６へと供給される。
ステップＳ６１において、オーディオ信号生成部６６は、オーディオ信号復号部６３から供給された各オブジェクトのオーディオ信号と、ゲイン算出部６５から供給された各オブジェクトのサンプルごとのVBAPゲインとに基づいて、各スピーカのオーディオ信号を生成する。
例えばオーディオ信号生成部６６は、各オブジェクトのオーディオ信号のそれぞれに対して、それらのオブジェクトごとに得られた同じスピーカのVBAPゲインのそれぞれをサンプルごとに乗算して得られた信号を加算することで、そのスピーカのオーディオ信号を生成する。
具体的には、例えばオブジェクトとしてオブジェクトOB1乃至オブジェクトOB3の３つのオブジェクトがあり、それらのオブジェクトのスピーカシステム５２を構成する所定のスピーカSP1のVBAPゲインとして、VBAPゲインG1乃至VBAPゲインG3が得られているとする。この場合、VBAPゲインG1が乗算されたオブジェクトOB1のオーディオ信号、VBAPゲインG2が乗算されたオブジェクトOB2のオーディオ信号、およびVBAPゲインG3が乗算されたオブジェクトOB3のオーディオ信号が加算され、その結果得られたオーディオ信号が、スピーカSP1に供給されるオーディオ信号とされる。
ステップＳ６２において、オーディオ信号生成部６６は、ステップＳ６１の処理で得られた各スピーカのオーディオ信号をスピーカシステム５２の各スピーカに供給し、それらのオーディオ信号に基づいて音声を再生させ、復号処理は終了する。これにより、スピーカシステム５２によって、各オブジェクトの音声が再生される。
以上のようにして復号装置５１は、符号化オーディオデータおよび符号化メタデータを復号し、復号により得られたオーディオ信号およびメタデータに基づいてレンダリングを行い、各スピーカのオーディオ信号を生成する。
復号装置５１では、レンダリングを行うにあたり、オブジェクトのオーディオ信号のフレームに対して複数のメタデータが得られるので、補間処理によりVBAPゲインが算出されるサンプルの並ぶ区間の長さをより短くすることができる。これにより、より高音質な音声を得ることができるだけでなく、リアルタイムで復号とレンダリングを行うことができる。また、フレームによっては追加メタデータが符号化メタデータに含まれているので、ランダムアクセスや独立フレームにおける復号及びレンダリングを実現することもできる。また、追加メタデータが含まれないフレームにおいても、VBAPゲインの補間処理を切り替えることにより、ランダムアクセスや独立フレームにおける復号及びレンダリングを実現することもできる。
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
図６は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
入力部５０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体５１１を駆動する。
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
コンピュータでは、プログラムは、リムーバブル記録媒体５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、本技術は、以下の構成とすることも可能である。
（１）
オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得する取得部と、
前記符号化オーディオデータを復号する復号部と、
前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行うレンダリング部と
を備える復号装置。
（２）
前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれている
（１）に記載の復号装置。
（３）
前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータである
（１）または（２）に記載の復号装置。
（４）
前記複数のメタデータのそれぞれは、前記フレームを構成するサンプルの数を前記複数のメタデータの数で除算して得られるサンプル数の間隔で並ぶ複数のサンプルのそれぞれのメタデータである
（３）に記載の復号装置。
（５）
前記複数のメタデータのそれぞれは、複数のサンプルインデックスのそれぞれにより示される複数のサンプルのそれぞれのメタデータである
（３）に記載の復号装置。
（６）
前記複数のメタデータのそれぞれは、前記フレーム内の所定サンプル数間隔で並ぶ複数のサンプルのそれぞれのメタデータである
（３）に記載の復号装置。
（７）
前記複数のメタデータには、メタデータに基づいて算出される前記オーディオ信号のサンプルのゲインの補間処理を行うためのメタデータが含まれている
（１）乃至（６）の何れか一項に記載の復号装置。
（８）
オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得し、
前記符号化オーディオデータを復号し、
前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行う
ステップを含む復号方法。
（９）
オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得し、
前記符号化オーディオデータを復号し、
前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行う
ステップを含む処理をコンピュータに実行させるプログラム。
（１０）
オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化する符号化部と、
前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成する生成部と
を備える符号化装置。
（１１）
前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれている
（１０）に記載の符号化装置。
（１２）
前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータである
（１０）または（１１）に記載の符号化装置。
（１３）
前記複数のメタデータのそれぞれは、前記フレームを構成するサンプルの数を前記複数のメタデータの数で除算して得られるサンプル数の間隔で並ぶ複数のサンプルのそれぞれのメタデータである
（１２）に記載の符号化装置。
（１４）
前記複数のメタデータのそれぞれは、複数のサンプルインデックスのそれぞれにより示される複数のサンプルのそれぞれのメタデータである
（１２）に記載の符号化装置。
（１５）
前記複数のメタデータのそれぞれは、前記フレーム内の所定サンプル数間隔で並ぶ複数のサンプルのそれぞれのメタデータである
（１２）に記載の符号化装置。
（１６）
前記複数のメタデータには、メタデータに基づいて算出される前記オーディオ信号のサンプルのゲインの補間処理を行うためのメタデータが含まれている
（１０）乃至（１５）の何れか一項に記載の符号化装置。
（１７）
メタデータに対する補間処理を行う補間処理部をさらに備える
（１０）乃至（１６）の何れか一項に記載の符号化装置。
（１８）
オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化し、
前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成する
ステップを含む符号化方法。
（１９）
オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化し、
前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成する
ステップを含む処理をコンピュータに実行させるプログラム。
１１ 符号化装置， ２２ オーディオ信号符号化部， ２４ 補間処理部， ２５ 関連情報取得部， ２６ メタデータ符号化部， ２７ 多重化部， ２８ 出力部， ５１ 復号装置， ６２ 分離部， ６３ オーディオ信号復号部， ６４ メタデータ復号部， ６５ ゲイン算出部， ６６ オーディオ信号生成部， ７１ 追加メタデータフラグ読み出し部， ７２ 切り替えインデックス読み出し部， ７３ 補間処理部

Claims (15)

  1. オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得する取得部と、
    前記符号化オーディオデータを復号する復号部と、
    前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行うレンダリング部と
    を備え、
    前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれており、
    前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータである
    復号装置。
  2. 前記複数のメタデータのそれぞれは、前記フレームを構成するサンプルの数を前記複数のメタデータの数で除算して得られるサンプル数の間隔で並ぶ複数のサンプルのそれぞれのメタデータである
    請求項１に記載の復号装置。
  3. 前記複数のメタデータのそれぞれは、複数のサンプルインデックスのそれぞれにより示される複数のサンプルのそれぞれのメタデータである
    請求項１に記載の復号装置。
  4. 前記複数のメタデータのそれぞれは、前記フレーム内の所定サンプル数間隔で並ぶ複数のサンプルのそれぞれのメタデータである
    請求項１に記載の復号装置。
  5. 前記複数のメタデータには、メタデータに基づいて算出される前記オーディオ信号のサンプルのゲインの補間処理を行うためのメタデータが含まれている
    請求項１に記載の復号装置。
  6. オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得し、
    前記符号化オーディオデータを復号し、
    前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行う
    ステップを含み、
    前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれており、
    前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータである
    復号方法。
  7. オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化して得られた符号化オーディオデータと、前記フレームの複数のメタデータとを取得し、
    前記符号化オーディオデータを復号し、
    前記復号により得られたオーディオ信号と、前記複数のメタデータとに基づいてレンダリングを行う
    ステップを含む処理をコンピュータに実行させ、
    前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれており、
    前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータである
    プログラム。
  8. オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化する符号化部と、
    前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成する生成部と
    を備え、
    前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれており、
    前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータである
    符号化装置。
  9. 前記複数のメタデータのそれぞれは、前記フレームを構成するサンプルの数を前記複数のメタデータの数で除算して得られるサンプル数の間隔で並ぶ複数のサンプルのそれぞれのメタデータである
    請求項８に記載の符号化装置。
  10. 前記複数のメタデータのそれぞれは、複数のサンプルインデックスのそれぞれにより示される複数のサンプルのそれぞれのメタデータである
    請求項８に記載の符号化装置。
  11. 前記複数のメタデータのそれぞれは、前記フレーム内の所定サンプル数間隔で並ぶ複数のサンプルのそれぞれのメタデータである
    請求項８に記載の符号化装置。
  12. 前記複数のメタデータには、メタデータに基づいて算出される前記オーディオ信号のサンプルのゲインの補間処理を行うためのメタデータが含まれている
    請求項８に記載の符号化装置。
  13. メタデータに対する補間処理を行う補間処理部をさらに備える
    請求項８に記載の符号化装置。
  14. オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化し、
    前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成する
    ステップを含み、
    前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれており、
    前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータである
    符号化方法。
  15. オーディオオブジェクトの所定時間間隔のフレームのオーディオ信号を符号化し、
    前記符号化により得られた符号化オーディオデータと、前記フレームの複数のメタデータとが含まれたビットストリームを生成する
    ステップを含む処理をコンピュータに実行させ、
    前記メタデータには、前記オーディオオブジェクトの位置を示す位置情報が含まれており、
    前記複数のメタデータのそれぞれは、前記オーディオ信号の前記フレーム内の複数のサンプルのそれぞれのメタデータである
    プログラム。
JP2022198009A 2015-06-19 2022-12-12 復号装置および方法、並びにプログラム Active JP7509190B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2024099700A JP7726336B2 (ja) 2015-06-19 2024-06-20 復号装置および方法、並びにプログラム
JP2025131313A JP2025159029A (ja) 2015-06-19 2025-08-06 情報処理装置および方法、並びにプログラム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2015123589 2015-06-19
JP2015123589 2015-06-19
JP2015196494 2015-10-02
JP2015196494 2015-10-02
JP2021079510A JP7205566B2 (ja) 2015-06-19 2021-05-10 符号化装置および方法、復号装置および方法、並びにプログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2021079510A Division JP7205566B2 (ja) 2015-06-19 2021-05-10 符号化装置および方法、復号装置および方法、並びにプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024099700A Division JP7726336B2 (ja) 2015-06-19 2024-06-20 復号装置および方法、並びにプログラム

Publications (3)

Publication Number Publication Date
JP2023025251A true JP2023025251A (ja) 2023-02-21
JP2023025251A5 JP2023025251A5 (ja) 2023-09-04
JP7509190B2 JP7509190B2 (ja) 2024-07-02

Family

ID=57545216

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2017524823A Active JP6915536B2 (ja) 2015-06-19 2016-06-03 符号化装置および方法、復号装置および方法、並びにプログラム
JP2021079510A Active JP7205566B2 (ja) 2015-06-19 2021-05-10 符号化装置および方法、復号装置および方法、並びにプログラム
JP2022198009A Active JP7509190B2 (ja) 2015-06-19 2022-12-12 復号装置および方法、並びにプログラム
JP2024099700A Active JP7726336B2 (ja) 2015-06-19 2024-06-20 復号装置および方法、並びにプログラム
JP2025131313A Pending JP2025159029A (ja) 2015-06-19 2025-08-06 情報処理装置および方法、並びにプログラム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2017524823A Active JP6915536B2 (ja) 2015-06-19 2016-06-03 符号化装置および方法、復号装置および方法、並びにプログラム
JP2021079510A Active JP7205566B2 (ja) 2015-06-19 2021-05-10 符号化装置および方法、復号装置および方法、並びにプログラム

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2024099700A Active JP7726336B2 (ja) 2015-06-19 2024-06-20 復号装置および方法、並びにプログラム
JP2025131313A Pending JP2025159029A (ja) 2015-06-19 2025-08-06 情報処理装置および方法、並びにプログラム

Country Status (12)

Country Link
US (2) US20180315436A1 (ja)
EP (1) EP3316599B1 (ja)
JP (5) JP6915536B2 (ja)
KR (2) KR20170141276A (ja)
CN (2) CN107637097B (ja)
BR (1) BR112017026743B1 (ja)
CA (2) CA3232321A1 (ja)
MX (1) MX378540B (ja)
MY (1) MY201775A (ja)
RU (1) RU2720439C2 (ja)
TW (1) TWI607655B (ja)
WO (1) WO2016203994A1 (ja)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI607655B (zh) * 2015-06-19 2017-12-01 Sony Corp Coding apparatus and method, decoding apparatus and method, and program
RU2632473C1 (ru) * 2016-09-30 2017-10-05 ООО "Ай Ти Ви групп" Способ обмена данными между ip видеокамерой и сервером (варианты)
CN109389987B (zh) 2017-08-10 2022-05-10 华为技术有限公司 音频编解码模式确定方法和相关产品
JP7358986B2 (ja) * 2017-10-05 2023-10-11 ソニーグループ株式会社 復号装置および方法、並びにプログラム
US10650834B2 (en) 2018-01-10 2020-05-12 Savitech Corp. Audio processing method and non-transitory computer readable medium
IL319278A (en) * 2018-07-02 2025-04-01 Dolby Laboratories Licensing Corp Methods and devices for generating or decoding a bit sequence comprising embedded audio signals
JP7441057B2 (ja) * 2019-01-25 2024-02-29 日本放送協会 オーディオオーサリング装置、オーディオレンダリング装置、送信装置、受信装置、及び方法
EP4002870A4 (en) 2019-07-19 2022-09-28 Sony Group Corporation SIGNAL PROCESSING DEVICE AND METHOD AND PROGRAM
JP7434610B2 (ja) * 2020-05-26 2024-02-20 ドルビー・インターナショナル・アーベー 効率的なダッキング利得適用による改善されたメイン‐関連オーディオ体験
DE112021003663T5 (de) * 2020-07-09 2023-04-27 Sony Group Corporation Signalverarbeitungsvorrichtung, Verfahren und Programm
JP7663419B2 (ja) * 2021-06-09 2025-04-16 日本放送協会 音響メタデータ処理装置及びプログラム
JP7663418B2 (ja) * 2021-06-09 2025-04-16 日本放送協会 音響メタデータ処理装置及びプログラム
CN121909504A (zh) * 2024-07-26 2026-04-21 北京小米移动软件有限公司 编解码方法、设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014036121A1 (en) * 2012-08-31 2014-03-06 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments
JP2014522155A (ja) * 2011-07-01 2014-08-28 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的オーディオ信号生成、コーディング、及びレンダリングのためのシステムと方法
WO2014187991A1 (en) * 2013-05-24 2014-11-27 Dolby International Ab Efficient coding of audio scenes comprising audio objects
JP6915536B2 (ja) * 2015-06-19 2021-08-04 ソニーグループ株式会社 符号化装置および方法、復号装置および方法、並びにプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
JP3352406B2 (ja) * 1998-09-17 2002-12-03 松下電器産業株式会社 オーディオ信号の符号化及び復号方法及び装置
JP4547965B2 (ja) * 2004-04-02 2010-09-22 カシオ計算機株式会社 音声符号化装置、方法及びプログラム
US7624021B2 (en) * 2004-07-02 2009-11-24 Apple Inc. Universal container for audio data
CN101410891A (zh) * 2006-02-03 2009-04-15 韩国电子通信研究院 使用空间线索控制多目标或多声道音频信号的渲染的方法和装置
CN101290774B (zh) * 2007-01-31 2011-09-07 广州广晟数码技术有限公司 音频编码和解码系统
CN101690269A (zh) * 2007-06-26 2010-03-31 皇家飞利浦电子股份有限公司 双耳的面向对象的音频解码器
PL2489037T3 (pl) * 2009-10-16 2022-03-07 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Urządzenie, sposób i program komputerowy do dostarczania regulowanych parametrów
EP2450880A1 (en) * 2010-11-05 2012-05-09 Thomson Licensing Data structure for Higher Order Ambisonics audio data
EP2727371A1 (en) * 2011-06-29 2014-05-07 Thomson Licensing Managing common content on a distributed storage system
US9473870B2 (en) * 2012-07-16 2016-10-18 Qualcomm Incorporated Loudspeaker position compensation with 3D-audio hierarchical coding
US9516446B2 (en) * 2012-07-20 2016-12-06 Qualcomm Incorporated Scalable downmix design for object-based surround codec with cluster analysis by synthesis
WO2014087277A1 (en) * 2012-12-06 2014-06-12 Koninklijke Philips N.V. Generating drive signals for audio transducers
WO2014091375A1 (en) * 2012-12-14 2014-06-19 Koninklijke Philips N.V. Reverberation processing in an audio signal
WO2014111765A1 (en) * 2013-01-15 2014-07-24 Koninklijke Philips N.V. Binaural audio processing
WO2014113478A1 (en) * 2013-01-21 2014-07-24 Dolby Laboratories Licensing Corporation Metadata transcoding
US9607624B2 (en) * 2013-03-29 2017-03-28 Apple Inc. Metadata driven dynamic range control
TWI530941B (zh) * 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
US8804971B1 (en) * 2013-04-30 2014-08-12 Dolby International Ab Hybrid encoding of higher frequency and downmixed low frequency content of multichannel audio
TWI615834B (zh) * 2013-05-31 2018-02-21 Sony Corp 編碼裝置及方法、解碼裝置及方法、以及程式
TWM487509U (zh) * 2013-06-19 2014-10-01 杜比實驗室特許公司 音訊處理設備及電子裝置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014522155A (ja) * 2011-07-01 2014-08-28 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応的オーディオ信号生成、コーディング、及びレンダリングのためのシステムと方法
WO2014036121A1 (en) * 2012-08-31 2014-03-06 Dolby Laboratories Licensing Corporation System for rendering and playback of object based audio in various listening environments
WO2014187991A1 (en) * 2013-05-24 2014-11-27 Dolby International Ab Efficient coding of audio scenes comprising audio objects
JP6915536B2 (ja) * 2015-06-19 2021-08-04 ソニーグループ株式会社 符号化装置および方法、復号装置および方法、並びにプログラム

Also Published As

Publication number Publication date
US20180315436A1 (en) 2018-11-01
JP7205566B2 (ja) 2023-01-17
JP2024111209A (ja) 2024-08-16
JPWO2016203994A1 (ja) 2018-04-05
MY201775A (en) 2024-03-16
TW201717663A (zh) 2017-05-16
US11170796B2 (en) 2021-11-09
CA3232321A1 (en) 2016-12-22
RU2017143404A (ru) 2019-06-13
CN107637097B (zh) 2021-06-29
KR20180107307A (ko) 2018-10-01
MX378540B (es) 2025-03-06
EP3316599A1 (en) 2018-05-02
CA2989099C (en) 2024-04-16
MX2017016228A (es) 2018-04-20
JP2025159029A (ja) 2025-10-17
RU2017143404A3 (ja) 2019-11-13
EP3316599A4 (en) 2019-02-20
WO2016203994A1 (ja) 2016-12-22
CN107637097A (zh) 2018-01-26
JP7726336B2 (ja) 2025-08-20
US20190304479A1 (en) 2019-10-03
KR20170141276A (ko) 2017-12-22
BR112017026743A2 (ja) 2018-08-28
CA2989099A1 (en) 2016-12-22
RU2720439C2 (ru) 2020-04-29
CN113470665A (zh) 2021-10-01
TWI607655B (zh) 2017-12-01
JP7509190B2 (ja) 2024-07-02
EP3316599B1 (en) 2020-10-28
JP6915536B2 (ja) 2021-08-04
JP2021114001A (ja) 2021-08-05
KR102140388B1 (ko) 2020-07-31
CN113470665B (zh) 2024-08-16
HK1244384A1 (zh) 2018-08-03
BR112017026743B1 (pt) 2022-12-27

Similar Documents

Publication Publication Date Title
JP7205566B2 (ja) 符号化装置および方法、復号装置および方法、並びにプログラム
US20240055007A1 (en) Encoding device and encoding method, decoding device and decoding method, and program
JP6510541B2 (ja) 環境高次アンビソニックス係数の遷移
KR102095091B1 (ko) 벡터들을 코딩하기 위한 프레임 파라미터 재사용성의 표시
JP6820386B2 (ja) 高次アンビソニック（ｈｏａ）コンテンツの画面に関連した適応
JP7459913B2 (ja) 信号処理装置および方法、並びにプログラム
KR102077375B1 (ko) Hoa 콘텐츠의 스크린 관련된 적응
EP3363213B1 (en) Coding higher-order ambisonic coefficients during multiple transitions
JP2017520785A (ja) 高次アンビソニック係数の閉ループ量子化
EP4158623B1 (en) Improved main-associated audio experience with efficient ducking gain application
HK1244384B (zh) 编码装置和方法、解码装置和方法以及程序

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221214

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230825

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240521

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240603