JP6790251B2 - マルチチャネルオーディオ信号処理方法、装置、およびシステム - Google Patents

マルチチャネルオーディオ信号処理方法、装置、およびシステム Download PDF

Info

Publication number
JP6790251B2
JP6790251B2 JP2019516957A JP2019516957A JP6790251B2 JP 6790251 B2 JP6790251 B2 JP 6790251B2 JP 2019516957 A JP2019516957 A JP 2019516957A JP 2019516957 A JP2019516957 A JP 2019516957A JP 6790251 B2 JP6790251 B2 JP 6790251B2
Authority
JP
Japan
Prior art keywords
frame
stereo parameter
nth frame
parameter set
nth
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019516957A
Other languages
English (en)
Other versions
JP2019533189A (ja
Inventor
▲ジ▼ 王
▲ジ▼ 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2019533189A publication Critical patent/JP2019533189A/ja
Application granted granted Critical
Publication of JP6790251B2 publication Critical patent/JP6790251B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/012—Comfort noise or silence coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/18—Vocoders using multiple modes
    • G10L19/24—Variable rate codecs, e.g. for generating different qualities using a scalable representation such as hierarchical encoding or layered encoding
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/78—Detection of presence or absence of voice signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Description

本発明は、オーディオの符号化および復号技術の分野に関し、詳細には、マルチチャネルオーディオ信号処理方法、装置、およびシステムに関する。
オーディオの通信中、通信システムの容量を増やすために、通常、送信端は最初に、送信されるべき元のオーディオ信号の各フレームを符号化し、次いで、オーディオ信号を送信する。オーディオ信号は符号化によって圧縮される。信号を受信した後に、受信端は、受信信号を復号し、元のオーディオ信号を復元する。オーディオ信号に対する最大の圧縮を実現するために、異なるタイプのオーディオ信号に対して異なるタイプの符号化方式が使用される。従来技術では、オーディオ信号が音声信号であるとき、連続的な符号化方式が通常使用される、すなわち、音声信号の各フレームが符号化され、オーディオ信号が雑音信号であるとき、雑音信号を符号化するために、不連続な符号化方式が通常使用される、すなわち、いくつかのフレームの雑音信号ごとに1つのフレームの雑音信号が符号化される。たとえば、雑音信号は6フレームおきに符号化される。1番目のフレームの雑音信号が符号化された後、2番目のフレームの雑音信号〜7番目のフレームの雑音信号は符号化されず、8番目のフレームの雑音信号が符号化される。2番目のフレーム〜7番目のフレームは、6つのNo＿Dataフレームである。具体的には、オーディオ信号はモノラルのオーディオ信号である。
オーディオ通信技術の発展に伴い、オーディオ通信システムはさらに、特殊な通信方式：ステレオ通信を有する。一例として、ステレオ通信がデュアルチャネル通信であることが使用される。2つのチャネルは第1のチャネルおよび第2のチャネルを含む。送信端は、第1のチャネル上の第nのフレームの音声信号および第2のチャネル上の第nのフレームの音声信号に従って、第1のチャネル上の第nのフレームの音声信号および第2のチャネル上の第nのフレームの音声信号をダウンミックス信号の1つのフレームにミキシングするために使用されるステレオパラメータを取得し、ダウンミックス信号はモノラル信号である。次いで、送信端は、2つのチャネル上の第nのフレームの音声信号をダウンミックス信号の1つのフレームにミキシングし、nは0より大きい正の整数であり、次いで、ダウンミックス信号のフレームを符号化し、最後に、符号化されたダウンミックス信号およびステレオパラメータを受信端に送信する。符号化されたダウンミックス信号およびステレオパラメータを受信した後に、受信端は、符号化されたダウンミックス信号を復号し、ステレオパラメータに従ってダウンミックス信号をデュアルチャネル信号に復元する。2つのチャネル上の音声信号の各フレームが符号化される送信方式と比較して、この送信方式では、送信されるビットの数は大幅に削減され、圧縮が実現される。
しかしながら、ステレオ通信中に雑音信号が送信されると、音声信号用の符号化方式と同じ符号化方式が使用され、モノラルで使用される不連続な符号化方式がステレオ通信にそのまま適用される場合、受信端は雑音信号を復元することができず、受信端のユーザの主観的体験が乏しくなる。
本発明は、マルチチャネルオーディオ通信システムにおいてオーディオ信号を不連続に送信することができないという従来技術の問題を解決するために、マルチチャネルオーディオ信号処理方法、装置、およびシステムを提供する。
第1の態様によれば、エンコーダにより、第Nのフレームのダウンミックス信号が音声信号を含むかどうかを検出するステップと、第Nのフレームのダウンミックス信号が音声信号を含むことを検出すると、第Nのフレームのダウンミックス信号を符号化するステップ、または第Nのフレームのダウンミックス信号が音声信号を含まないことを検出すると、第Nのフレームのダウンミックス信号が事前設定されたオーディオフレーム符号化条件を満たすと判断した場合、第Nのフレームのダウンミックス信号を符号化するステップ、もしくは第Nのフレームのダウンミックス信号が事前設定されたオーディオフレーム符号化条件を満たさないと判断した場合、第Nのフレームのダウンミックス信号の符号化をスキップするステップとを含み、第Nのフレームのダウンミックス信号が、所定の第1のアルゴリズムに基づいて複数のチャネルのうちの2つのチャネル上の第Nのフレームのオーディオ信号がミキシングされた後に取得され、Nが0より大きい正の整数である、マルチチャネルオーディオ信号処理方法が提供される。
エンコーダは、ダウンミックス信号が音声信号を含むか、またはダウンミックス信号が事前設定されたオーディオフレーム符号化条件を満たすときのみ、ダウンミックス信号を符号化し、そうでない場合、エンコーダはダウンミックス信号を符号化せず、その結果、エンコーダはダウンミックス信号に対して不連続な符号化を実施し、ダウンミックス信号の圧縮効率が向上する。
本発明の実施形態では、事前設定されたオーディオフレーム符号化条件は、第1のフレームのダウンミックス信号を含むことに留意されたい。すなわち、第1のフレームのダウンミックス信号が音声信号を含まないが、第1のフレームのダウンミックス信号が事前設定されたオーディオフレーム符号化条件を満たすとき、第1のフレームのダウンミックス信号が符号化される。
第1の態様に基づいて、ダウンミックス信号の圧縮効率を大いに向上させるために、場合によっては、エンコーダは、第Nのフレームのダウンミックス信号が音声信号を含むことを検出すると、事前設定された音声フレーム符号化レートに従って第Nのフレームのダウンミックス信号を符号化し、または第Nのフレームのダウンミックス信号が音声信号を含まないことを検出すると、第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たすと判断した場合、事前設定された音声フレーム符号化レートに従って第Nのフレームのダウンミックス信号を符号化し、もしくは第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たさないが、事前設定されたSID符号化条件を満たすと判断した場合、事前設定されたSID符号化レートに従って第Nのフレームのダウンミックス信号を符号化し、SID符号化レートは音声フレーム符号化レートよりも小さい。
具体的な実装の間、第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たさないが、事前設定されたSID符号化条件を満たすと判断された場合、事前設定されたSID符号化レートに従って第Nのフレームのダウンミックス信号に対してSID符号化が実行される。音声信号の符号化と比較して、これはダウンミックス信号の圧縮効率をさらに向上させる。加えて、第1の態様および技術的解決策では、デコーダがダウンミックス信号を復元できないことを回避するために、ステレオパラメータセットがさらに符号化される必要があることに留意されたい。
第1の態様に基づいて、マルチチャネル通信システムの圧縮効率をさらに向上させるために、場合によっては、エンコーダはステレオパラメータセットに対して不連続な符号化を実行する。具体的には、エンコーダは、第Nのフレームのオーディオ信号に従って第Nのフレームのステレオパラメータセットを取得し、第Nのフレームのダウンミックス信号が音声信号を含むことを検出すると、第Nのフレームのステレオパラメータセットを符号化し、または第Nのフレームのダウンミックス信号が音声信号を含まないことを検出すると、第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たすと判断した場合、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化し、もしくは第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たさないと判断した場合、ステレオパラメータセットの符号化をスキップし、第NのフレームのステレオパラメータセットはZ個のステレオパラメータを含み、Z個のステレオパラメータは、エンコーダが所定のアルゴリズムに基づいて第Nのフレームのオーディオ信号をミキシングするときに使用され、Zは0より大きい正の整数である。
第1の態様に基づいて、場合によっては、マルチチャネル通信システムの圧縮効率をさらに向上させるために、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化する前に、エンコーダは、事前設定されたステレオパラメータ次元縮小規則に基づいて第Nのフレームのステレオパラメータセット内のZ個のステレオパラメータに従ってX個のターゲットステレオパラメータを取得し、次いで、X個のターゲットステレオパラメータを符号化し、Xは0より大きくZ以下の正の整数である。
事前設定されたステレオパラメータ次元縮小規則は、事前設定されたステレオパラメータタイプであってもよい。すなわち、第Nのフレームのステレオパラメータセットから、事前設定されたステレオパラメータタイプを満たすX個のターゲットステレオパラメータが選択される。あるいは、事前設定されたステレオパラメータ次元縮小規則は、事前設定された数のステレオパラメータである。すなわち、第Nのフレームのステレオパラメータセットから、X個のターゲットステレオパラメータが選択される。あるいは、事前設定されたステレオパラメータ次元縮小規則は、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータについての時間領域または周波数領域解像度を縮小することである。すなわち、X個のターゲットステレオパラメータは、少なくとも1つのステレオパラメータの縮小された時間領域または周波数領域解像度に従って、Z個のステレオパラメータに基づいて決定される。
第1の態様に基づいて、場合によっては、マルチチャネル通信システムの圧縮効率を向上させるために、以下の方法がさらに使用されてもよい：
第Nのフレームのオーディオ信号が音声信号を含むことを検出すると、エンコーダは、第1のステレオパラメータセット生成方式に基づいて、第Nのフレームのオーディオ信号に従って第Nのフレームのステレオパラメータセットを取得し、第Nのフレームのステレオパラメータセットを符号化し、あるいは第Nのフレームのオーディオ信号が音声信号を含まないことを検出すると、第Nのフレームのオーディオ信号が事前設定された音声フレーム符号化条件を満たすと判断した場合、エンコーダは、第1のステレオパラメータセット生成方式に基づいて、第Nのフレームのオーディオ信号に従って第Nのフレームのステレオパラメータセットを取得し、第Nのフレームのステレオパラメータセットを符号化し、または第Nのフレームのオーディオ信号が事前設定された音声フレーム符号化条件を満たさないと判断した場合、エンコーダは、第2のステレオパラメータセット生成方式に基づいて、第Nのフレームのオーディオ信号に従って第Nのフレームのステレオパラメータセットを取得し、第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たすと判断すると、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化し、もしくは第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たさないとき、エンコーダはステレオパラメータを符号化せず、
第1のステレオパラメータセット生成方式および第2のステレオパラメータセット生成方式は、以下の条件のうちの少なくとも1つを満たす：
ステレオパラメータセットに含まれるステレオパラメータのタイプの数であり、第1のステレオパラメータセット生成方式で規定された数は、ステレオパラメータセットに含まれるステレオパラメータのタイプの数であり、第2のステレオパラメータセット生成方式で規定された数よりも少なくない、ステレオパラメータセットに含まれるステレオパラメータの数であり、第1のステレオパラメータセット生成方式で規定された数は、ステレオパラメータセットに含まれるステレオパラメータの数であり、第2のステレオパラメータセット生成方式で規定された数よりも少なくない、ステレオパラメータの時間領域解像度であり、第1のステレオパラメータセット生成方式で規定された時間領域解像度は、ステレオパラメータの時間領域解像度であり、第2のステレオパラメータセット生成方式で規定された時間領域解像度よりも低くない、またはステレオパラメータの周波数領域解像度であり、第1のステレオパラメータセット生成方式で規定された周波数領域解像度は、ステレオパラメータの周波数領域解像度であり、第2のステレオパラメータセット生成方式で規定された周波数領域解像度よりも低くない。
第1の態様に基づいて、場合によっては、第Nのフレームのダウンミックス信号が音声信号を含むとき、エンコーダは、第1の符号化方式に従って第Nのフレームのステレオパラメータセットを符号化し、第Nのフレームのダウンミックス信号が音声フレーム符号化条件を満たすとき、エンコーダは、第1の符号化方式に従って第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化し、または第Nのフレームのダウンミックス信号が音声フレーム符号化条件を満たさないとき、エンコーダは、第2の符号化方式に従って第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化し、
第1の符号化方式で規定された符号化レートは、第2の符号化方式で規定された符号化レートよりも小さくなく、かつ／または第Nのフレームのステレオパラメータセット内の任意のステレオパラメータについて、第1の符号化方式で規定された量子化精度は、第2の符号化方式で規定された量子化精度よりも低くない。
たとえば、第NのフレームのステレオパラメータセットはIPDおよびITDを含む。第1の符号化方式で規定されたIPDの量子化精度は、第2の符号化方式で規定されたIPDの量子化精度よりも低くなく、第1の符号化方式で規定されたITDの量子化精度は、第2の符号化方式で規定されたITDの量子化精度よりも低くない。
第1の態様に基づいて、場合によっては、一般に、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータがチャネル間レベル差ILDを含む場合、事前設定されたステレオパラメータ符号化条件はDL≧D0を含み、
DLはILDが第1の規格から逸脱する程度を表し、第1の規格は、第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセットに従って、所定の第2のアルゴリズムに基づいて決定され、Tは0より大きい正の整数であり、
第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータがチャネル間時間差ITDを含む場合、事前設定されたステレオパラメータ符号化条件はDT≧D1を含み、
DTはITDが第2の規格から逸脱する程度を表し、第2の規格は、第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセットに従って、所定の第3のアルゴリズムに基づいて決定され、Tは0より大きい正の整数であり、または
第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータがチャネル間位相差IPDを含む場合、事前設定されたステレオパラメータ符号化条件はDP≧D2を含み、
DPはIPDが第3の規格から逸脱する程度を表し、第3の規格は、第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセットに従って、所定の第4のアルゴリズムに基づいて決定され、Tは0より大きい正の整数である。
第2のアルゴリズム、第3のアルゴリズム、および第4のアルゴリズムは、実際の状況に応じて事前設定される必要がある。
場合によっては、DL、DT、およびDPは、それぞれ、以下の式：
Figure 0006790251
Figure 0006790251
 および
Figure 0006790251
 を満たし、
ここで、ILD（m）は、第Nのフレームのオーディオ信号が第mのサブ周波数帯域内の2つのチャネル上でそれぞれ送信されるときに生じるレベル差であり、Mは、第Nのフレームのオーディオ信号を送信するために占有されるサブ周波数帯域の総数であり、
Figure 0006790251
 は、第mのサブ周波数帯域内で第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセット内のILDの平均値であり、Tは0より大きい正の整数であり、ILD［−t］（m）は、第Nのフレームのオーディオ信号に先行する第tのフレームのオーディオ信号が、第mのサブ周波数帯域内の2つのチャネル上でそれぞれ送信されるときに生じるレベル差であり、ITDは、第Nのフレームのオーディオ信号が2つのチャネル上でそれぞれ送信されるときに生じる時間差であり、
Figure 0006790251
 は、第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセット内のITDの平均値であり、ITD［−t］は、第Nのフレームのオーディオ信号に先行する第tのフレームのオーディオ信号が2つのチャネル上でそれぞれ送信されるときに生じる時間差であり、IPD（m）は、第Nのフレームのオーディオ信号の一部が第mのサブ周波数帯域内の2つのチャネル上でそれぞれ送信されるときに生じる位相差であり、
Figure 0006790251
 は、第mのサブ周波数帯域内の第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセット内のIPDの平均値であり、IPD［−t］（m）は、第Nのフレームのオーディオ信号に先行する第tのフレームのオーディオ信号が、第mのサブ周波数帯域内の2つのチャネル上でそれぞれ送信されるときに生じる位相差である。
第2の態様によれば、デコーダにより、ビットストリームを受信するステップであって、ビットストリームが少なくとも2つのフレームを含み、少なくとも2つのフレームが、少なくとも1つの第1のタイプのフレームおよび少なくとも1つの第2のタイプのフレームを含み、第1のタイプのフレームがダウンミックス信号を含み、第2のタイプのフレームがダウンミックス信号を含まない、ステップと、Nが1より大きい正の整数である第Nのフレームのビットストリームについて、デコーダにより、第Nのフレームのビットストリームが第1のタイプのフレームであると判断した場合、第Nのフレームのダウンミックス信号を取得するために、第Nのフレームのビットストリームを復号するステップ、または第Nのフレームのビットストリームが第2のタイプのフレームであると判断した場合、デコーダにより、事前設定された第1の規則に従って、第Nのフレームのダウンミックス信号に先行する少なくとも1フレームのダウンミックス信号内のmフレームのダウンミックス信号を特定し、所定の第1のアルゴリズムに基づいて、mフレームのダウンミックス信号に従って第Nのフレームのダウンミックス信号を取得するステップであって、mが0より大きい正の整数である、ステップとを含み、第Nのフレームのダウンミックス信号が、所定の第2のアルゴリズムに基づいて、複数のチャネルのうちの2つのチャネル上で第Nのフレームのオーディオ信号をミキシングすることにより、エンコーダによって取得される、マルチチャネルオーディオ信号処理方法が提供される。
デコーダによって受信されたビットストリームは、第1のタイプのフレームおよび第2のタイプのフレームを含み、第1のタイプのフレームはダウンミックス信号を含み、第2のタイプのフレームはダウンミックス信号を含まない。すなわち、エンコーダは、ダウンミックス信号の各フレームを符号化しない。したがって、ダウンミックス信号に対して不連続送信が実施され、マルチチャネルオーディオ通信システムのダウンミックス信号の圧縮効率が向上する。
本発明の実施形態では、第1のフレームのビットストリームは第1のタイプのフレームであることに留意されたい。具体的には、第1のフレームのビットストリームが復号された後に、取得されたダウンミックス信号を2つのチャネル上のオーディオ信号に復元するために、第1のフレームのビットストリームはさらにステレオパラメータセットを含む必要がある。具体的には、第1のタイプのフレームはダウンミックス信号を含み、第2のタイプのフレームはダウンミックス信号を含まないので、第1のタイプのフレームのサイズは第2のタイプのフレームのサイズよりも大きい。デコーダは、第Nのフレームのビットストリームのサイズに従って、第Nのフレームのビットストリームが第1のタイプのフレームであるか第2のタイプのフレームであるかを判定することができる。加えて、第Nのフレームのビットストリーム内で、フラグビットがさらにカプセル化されてもよい。デコーダは、第Nのフレームのビットストリームを部分的に復号してフラグビットを取得する。第Nのフレームのビットストリームが第1のタイプのフレームであることをフラグビットが示す場合、デコーダは、第Nのフレームのビットストリームを復号して、第Nのフレームのダウンミックス信号を取得する。第Nのフレームのビットストリームが第2のタイプのフレームであることをフラグビットが示す場合、デコーダは、所定の第1のアルゴリズムに従って第Nのフレームのダウンミックス信号を取得する。
第2の態様に基づいて、ダウンミックス信号を2つのチャネル上のオーディオ信号に復元し、オーディオ信号の通信品質を保証するために、場合によっては、第1のタイプのフレームはダウンミックス信号とステレオパラメータセットの両方を含み、第2のタイプのフレームはステレオパラメータセットを含むが、ダウンミックス信号を含まず、第Nのフレームのビットストリームが第1のタイプのフレームであると判断した場合、第Nのフレームのビットストリームを復号した後に、デコーダは第Nのフレームのダウンミックス信号と第Nのフレームのステレオパラメータセットの両方を取得し、所定の第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元し、または第Nのフレームのビットストリームが第2のタイプのフレームであると判断した場合、デコーダは第Nのフレームのビットストリームを復号して第Nのフレームのステレオパラメータセットを取得し、所定の第1のアルゴリズムに基づいて第Nのフレームのダウンミックス信号を取得する。次いで、デコーダは、所定の第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元する。
第2の態様に基づいて、ダウンミックス信号を2つのチャネル上のオーディオ信号に復元し、オーディオ信号の通信品質を保証するために、場合によっては、第1のタイプのフレームはダウンミックス信号とステレオパラメータセットの両方を含み、第2のタイプのフレームはステレオパラメータセットもダウンミックス信号も含まず、第Nのフレームのビットストリームが第1のタイプのフレームであると判断した場合、デコーダは第Nのフレームのビットストリームを復号して、第Nのフレームのダウンミックス信号と第Nのフレームのステレオパラメータセットの両方を取得し、次いで、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元し、または第Nのフレームのビットストリームが第2のタイプのフレームであると判断した場合、デコーダは所定の第1のアルゴリズムに基づいて第Nのフレームのダウンミックス信号を取得し、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、kフレームのステレオパラメータセットに従って第Nのフレームのステレオパラメータセットを取得し、次いで、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元し、kは0より大きい正の整数である。
第2の態様に基づいて、ダウンミックス信号を2つのチャネル上のオーディオ信号に復元し、オーディオ信号の通信品質を保証するために、場合によっては、第1のタイプのフレームはダウンミックス信号とステレオパラメータセットの両方を含み、第3のタイプのフレームはステレオパラメータセットを含むが、ダウンミックス信号を含まず、第4のタイプのフレームはダウンミックス信号もステレオパラメータセットも含まず、第3のタイプのフレームおよび第4のタイプのフレームの各々は第2のタイプのフレームの1つのケースであり、
第Nのフレームのビットストリームが第1のタイプのフレームであると判断した場合、デコーダは、第Nのフレームのビットストリームを復号して、第Nのフレームのダウンミックス信号と第Nのフレームのステレオパラメータセットの両方を取得し、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元し、または
第Nのフレームのビットストリームが第2のタイプのフレームであるとデコーダが判断した場合、以下の2つのケースが含まれる：
第Nのフレームのビットストリームが第3のタイプのフレームであると判断すると、デコーダは、第Nのフレームのビットストリームを復号して第Nのフレームのステレオパラメータセットを取得し、所定の第1のアルゴリズムに基づいて第Nのフレームのダウンミックス信号を取得し、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元し、もしくは
第Nのフレームのビットストリームが第4のタイプのフレームであるとき、デコーダは、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、kフレームのステレオパラメータセットに従って第Nのフレームのステレオパラメータセットを取得し、kは0より大きい正の整数であり、所定の第1のアルゴリズムに基づいて第Nのフレームのダウンミックス信号を取得し、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元する。
第2の態様に基づいて、ダウンミックス信号を2つのチャネル上のオーディオ信号に復元し、オーディオ信号の通信品質を保証するために、場合によっては、第5のタイプのフレームはダウンミックス信号とステレオパラメータセットの両方を含み、第6のタイプのフレームはダウンミックス信号を含むが、ステレオパラメータセットを含まず、第5のタイプのフレームおよび第6のタイプのフレームの各々は第1のタイプのフレームの1つのケースであり、第2のタイプのフレームはダウンミックス信号もステレオパラメータセットも含まず、
第Nのフレームのビットストリームが第1のタイプのフレームであるとデコーダが判断した場合、以下の2つのケースが含まれる：
第Nのフレームのビットストリームが第5のタイプのフレームであるとき、デコーダは、第Nのフレームのビットストリームを復号して、第Nのフレームのダウンミックス信号と第Nのフレームのステレオパラメータセットの両方を取得し、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元し、もしくは
第Nのフレームのビットストリームが第6のタイプのフレームであるとき、デコーダは、第Nのフレームのビットストリームを復号して第Nのフレームのダウンミックス信号を取得し、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、kフレームのステレオパラメータセットに従って第Nのフレームのステレオパラメータセットを取得し、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元し、または
第Nのフレームのビットストリームが第2のタイプのフレームである場合、デコーダは所定の第1のアルゴリズムに基づいて第Nのフレームのダウンミックス信号を取得し、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、kフレームのステレオパラメータセットに従って第Nのフレームのステレオパラメータセットを取得し、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元する。
第2の態様に基づいて、ダウンミックス信号を2つのチャネル上のオーディオ信号に復元し、オーディオ信号の通信品質を保証するために、場合によっては、第5のタイプのフレームはダウンミックス信号とステレオパラメータセットの両方を含み、第6のタイプのフレームはダウンミックス信号を含むが、ステレオパラメータセットを含まず、第5のタイプのフレームおよび第6のタイプのフレームの各々は第1のタイプのフレームの1つのケースであり、第3のタイプのフレームはステレオパラメータセットを含むが、ダウンミックス信号を含まず、第4のタイプのフレームはダウンミックス信号もステレオパラメータセットも含まず、第3のタイプのフレームおよび第4のタイプのフレームの各々は第2のタイプのフレームの1つのケースであり、
第Nのフレームのビットストリームが第1のタイプのフレームであるとデコーダが判断した場合、以下の2つのケースが含まれる：
第Nのフレームのビットストリームが第5のタイプのフレームであるとき、第Nのフレームのビットストリームを復号した後に、デコーダは、第Nのフレームのダウンミックス信号と第Nのフレームのステレオパラメータセットの両方を取得し、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元し、もしくは
第Nのフレームのビットストリームが第6のタイプのフレームであるとき、第Nのフレームのビットストリームを復号した後に、デコーダは、第Nのフレームのダウンミックス信号を取得し、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、kフレームのステレオパラメータセットに従って第Nのフレームのステレオパラメータセットを取得し、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元し、または
第Nのフレームのビットストリームが第2のタイプのフレームであるとデコーダが判断した場合、以下の2つのケースが含まれる：
第Nのフレームのビットストリームが第3のタイプのフレームであるとき、デコーダは、第Nのフレームのビットストリームを復号して第Nのフレームのステレオパラメータセットを取得し、所定の第1のアルゴリズムに基づいて第Nのフレームのダウンミックス信号を取得し、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元し、もしくは
第Nのフレームのビットストリームが第4のタイプのフレームであるとき、デコーダは、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、kフレームのステレオパラメータセットに従って第Nのフレームのステレオパラメータセットを取得し、kは0より大きい正の整数であり、所定の第1のアルゴリズムに基づいて第Nのフレームのダウンミックス信号を取得し、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元する。
第3の態様によれば、信号検出ユニットおよび信号符号化ユニットを含むエンコーダが提供される。信号検出ユニットは、第Nのフレームのダウンミックス信号が音声信号を含むかどうかを検出するように構成され、第Nのフレームのダウンミックス信号は、所定の第1のアルゴリズムに基づいて複数のチャネルのうちの2つのチャネル上の第Nのフレームのオーディオ信号がミキシングされた後に取得され、Nは0より大きい正の整数である。信号符号化ユニットは、第Nのフレームのダウンミックス信号が音声信号を含むことを信号検出ユニットが検出すると、第Nのフレームのダウンミックス信号を符号化し、または第Nのフレームのダウンミックス信号が音声信号を含まないことを信号検出ユニットが検出すると、第Nのフレームのダウンミックス信号が事前設定されたオーディオフレーム符号化条件を満たすと信号検出ユニットが判断した場合、第Nのフレームのダウンミックス信号を符号化し、もしくは第Nのフレームのダウンミックス信号が事前設定されたオーディオフレーム符号化条件を満たさないと信号検出ユニットが判断した場合、第Nのフレームのダウンミックス信号の符号化をスキップするように構成される。
第3の態様に基づいて、場合によっては、信号符号化ユニットは、第1の信号符号化ユニットおよび第2の信号符号化ユニットを含む。第Nのフレームのダウンミックス信号が音声信号を含むことを信号検出ユニットが検出すると、信号検出ユニットは、第Nのフレームのダウンミックス信号を符号化するように第1の信号符号化ユニットに指示する。あるいは、第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たすと判断した場合、信号検出ユニットは、第Nのフレームのダウンミックス信号を符号化するように第1の信号符号化ユニットに指示する。具体的には、第1の信号符号化ユニットは、事前設定された音声フレーム符号化レートに従って、第Nのフレームのダウンミックス信号を符号化する。第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たさないが、事前設定された無音挿入記述子SIDフレーム符号化条件を満たすと判断した場合、信号検出ユニットは、第Nのフレームのダウンミックス信号を符号化するように第2の信号符号化ユニットに指示する。具体的には、第2の信号符号化ユニットは、事前設定されたSID符号化レートに従って、第Nのフレームのダウンミックス信号を符号化し、SID符号化レートは音声フレーム符号化レートよりも大きくない。
第3の態様に基づいて、場合によっては、エンコーダは、パラメータ生成ユニット、パラメータ符号化ユニット、およびパラメータ検出ユニットをさらに含む。パラメータ生成ユニットは、第Nのフレームのオーディオ信号に従って第Nのフレームのステレオパラメータセットを取得するように構成され、第NのフレームのステレオパラメータセットはZ個のステレオパラメータを含み、Z個のステレオパラメータは、エンコーダが所定の第1のアルゴリズムに基づいて第Nのフレームのオーディオ信号をミキシングするときに使用されるパラメータを含み、Zは0より大きい正の整数である。パラメータ符号化ユニットは、第Nのフレームのダウンミックス信号が音声信号を含むことを信号検出ユニットが検出すると、第Nのフレームのステレオパラメータセットを符号化し、または第Nのフレームのダウンミックス信号が音声信号を含まないことを信号検出ユニットが検出すると、第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たすとパラメータ検出ユニットが判断した場合、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化し、もしくは第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たさないとパラメータ検出ユニットが判断した場合、ステレオパラメータセットの符号化をスキップするように構成される。
第3の態様に基づいて、場合によっては、パラメータ符号化ユニットは、事前設定されたステレオパラメータ次元縮小規則に基づいて、第Nのフレームのステレオパラメータセット内のZ個のステレオパラメータに従って、X個のターゲットステレオパラメータを取得し、X個のターゲットステレオパラメータを符号化するように構成され、Xは0より大きくZ以下の正の整数である。
第3の態様に基づいて、場合によっては、パラメータ生成ユニットは、第1のパラメータ生成ユニットおよび第2のパラメータ生成ユニットを含み、
第Nのフレームのオーディオ信号が音声信号を含むことを信号検出ユニットが検出すると、または第Nのフレームのオーディオ信号が音声信号を含まず、第Nのフレームのオーディオ信号が事前設定された音声フレーム符号化条件を満たすことを信号検出ユニットが検出すると、信号検出ユニットは、第Nのフレームのステレオパラメータセットを生成するように第1のパラメータ生成ユニットに指示し、具体的には、第1のパラメータ生成ユニットは、第1のステレオパラメータセット生成方式に基づいて、第Nのフレームのオーディオ信号に従って第Nのフレームのステレオパラメータセットを取得し、具体的には、パラメータ符号化ユニットが第1のパラメータ符号化ユニットおよび第2のパラメータ符号化ユニットを含むとき、第1のパラメータ符号化ユニットは第Nのフレームのステレオパラメータセットを符号化し、第1のパラメータ符号化ユニットによって規定された符号化方式は第1の符号化方式であり、第2のパラメータ符号化ユニットによって規定された符号化方式は第2の符号化方式であり、具体的には、第1の符号化方式で規定された符号化レートは、第2の符号化方式で規定された符号化レートよりも小さくなく、かつ／または第Nのフレームのステレオパラメータセット内の任意のステレオパラメータについて、第1の符号化方で規定された量子化精度は、第2の符号化方式で規定された量子化精度よりも低くなく、
第Nのフレームのオーディオ信号が音声信号を含まないことを信号検出ユニットが検出すると、第2のパラメータ生成ユニットは、第2のステレオパラメータセット生成方式に基づいて、第Nのフレームのオーディオ信号に従って第Nのフレームのステレオパラメータセットを取得し、第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たすとパラメータ検出ユニットが判断すると、パラメータ符号化ユニットは、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化し、具体的には、パラメータ符号化ユニットが第1のパラメータ符号化ユニットおよび第2のパラメータ符号化ユニットを含むとき、第2のパラメータ符号化ユニットは第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化し、または
第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たさないとパラメータ検出ユニットが判断すると、パラメータ符号化ユニットはステレオパラメータセットの符号化をスキップし、
第1のステレオパラメータセット生成方式および第2のステレオパラメータセット生成方式は、以下の条件のうちの少なくとも1つを満たす：
ステレオパラメータセットに含まれるステレオパラメータのタイプの数であり、第1のステレオパラメータセット生成方式で規定された数は、ステレオパラメータセットに含まれるステレオパラメータのタイプの数であり、第2のステレオパラメータセット生成方式で規定された数よりも少なくない、ステレオパラメータセットに含まれるステレオパラメータの数であり、第1のステレオパラメータセット生成方式で規定された数は、ステレオパラメータセットに含まれるステレオパラメータの数であり、第2のステレオパラメータセット生成方式で規定された数よりも少なくない、ステレオパラメータの時間領域解像度であり、第1のステレオパラメータセット生成方式で規定された時間領域解像度は、ステレオパラメータの時間領域解像度であり、第2のステレオパラメータセット生成方式で規定された時間領域解像度よりも低くない、またはステレオパラメータの周波数領域解像度であり、第1のステレオパラメータセット生成方式で規定された周波数領域解像度は、ステレオパラメータの周波数領域解像度であり、第2のステレオパラメータセット生成方式で規定された周波数領域解像度よりも低くない。
第3の態様に基づいて、場合によっては、パラメータ符号化ユニットは、第1のパラメータ符号化ユニットおよび第2のパラメータ符号化ユニットを含む。具体的には、第1のパラメータ符号化ユニットは、第Nのフレームのダウンミックス信号が音声信号を含むとき、および第Nのフレームのダウンミックス信号が音声信号を含まないが、音声フレーム符号化条件を満たすとき、第1の符号化方式に従って第Nのフレームのステレオパラメータセットを符号化するように構成され、第2のパラメータ符号化ユニットは、第Nのフレームのダウンミックス信号が音声フレーム符号化条件を満たさないとき、第2の符号化方式に従って第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化するように構成され、
第1の符号化方式で規定された符号化レートは、第2の符号化方式で規定された符号化レートよりも小さくなく、かつ／または第Nのフレームのステレオパラメータセット内の任意のステレオパラメータについて、第1の符号化方式で規定された量子化精度は、第2の符号化方式で規定された量子化精度よりも低くない。
第1の態様に基づいて、場合によっては、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータがチャネル間レベル差ILDを含む場合、事前設定されたステレオパラメータ符号化条件はDL≧D0を含み、
DLはILDが第1の規格から逸脱する程度を表し、第1の規格は、第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセットに従って、所定の第2のアルゴリズムに基づいて決定され、Tは0より大きい正の整数であり、
第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータがチャネル間時間差ITDを含む場合、事前設定されたステレオパラメータ符号化条件はDT≧D1を含み、
DTはITDが第2の規格から逸脱する程度を表し、第2の規格は、第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセットに従って、所定の第3のアルゴリズムに基づいて決定され、Tは0より大きい正の整数であり、または
第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータがチャネル間位相差IPDを含む場合、事前設定されたステレオパラメータ符号化条件はDP≧D2を含み、
DPはIPDが第3の規格から逸脱する程度を表し、第3の規格は、第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセットに従って、所定の第4のアルゴリズムに基づいて決定され、Tは0より大きい正の整数である。
第3の態様に基づいて、場合によっては、DL、DT、およびDPは、それぞれ、以下の式：
Figure 0006790251
Figure 0006790251
 および
Figure 0006790251
 を満たし、
ここで、ILD（m）は、第Nのフレームのオーディオ信号が第mのサブ周波数帯域内の2つのチャネル上でそれぞれ送信されるときに生じるレベル差であり、Mは、第Nのフレームのオーディオ信号を送信するために占有されるサブ周波数帯域の総数であり、
Figure 0006790251
 は、第mのサブ周波数帯域内で第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセット内のILDの平均値であり、Tは0より大きい正の整数であり、ILD［−t］（m）は、第Nのフレームのオーディオ信号に先行する第tのフレームのオーディオ信号が、第mのサブ周波数帯域内の2つのチャネル上でそれぞれ送信されるときに生じるレベル差であり、ITDは、第Nのフレームのオーディオ信号が2つのチャネル上でそれぞれ送信されるときに生じる時間差であり、
Figure 0006790251
 は、第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセット内のITDの平均値であり、ITD［−t］は、第Nのフレームのオーディオ信号に先行する第tのフレームのオーディオ信号が2つのチャネル上でそれぞれ送信されるときに生じる時間差であり、IPD（m）は、第Nのフレームのオーディオ信号の一部が第mのサブ周波数帯域内の2つのチャネル上でそれぞれ送信されるときに生じる位相差であり、
Figure 0006790251
 は、第mのサブ周波数帯域内の第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセット内のIPDの平均値であり、IPD［−t］（m）は、第Nのフレームのオーディオ信号に先行する第tのフレームのオーディオ信号が、第mのサブ周波数帯域内の2つのチャネル上でそれぞれ送信されるときに生じる位相差である。
第4の態様によれば、受信ユニットおよび復号ユニットを含むデコーダが提供される。受信ユニットはビットストリームを受信するように構成され、ビットストリームは少なくとも2つのフレームを含み、少なくとも2つのフレームは、少なくとも1つの第1のタイプのフレームおよび少なくとも1つの第2のタイプのフレームを含み、第1のタイプのフレームはダウンミックス信号を含み、第2のタイプのフレームはダウンミックス信号を含まず、復号ユニットは、Nが1より大きい正の整数である第Nのフレームのビットストリームについて、第Nのフレームのビットストリームが第1のタイプのフレームであると判断された場合、第Nのフレームのダウンミックス信号を取得するために、第Nのフレームのビットストリームを復号し、または第Nのフレームのビットストリームが第2のタイプのフレームであると判断された場合、事前設定された第1の規則に従って、第Nのフレームのダウンミックス信号に先行する少なくとも1フレームのダウンミックス信号内のmフレームのダウンミックス信号を特定し、所定の第1のアルゴリズムに基づいて、mフレームのダウンミックス信号に従って第Nのフレームのダウンミックス信号を取得するように構成され、mは0より大きい正の整数であり、第Nのフレームのダウンミックス信号は、所定の第2のアルゴリズムに基づいて、複数のチャネルのうちの2つのチャネル上で第Nのフレームのオーディオ信号をミキシングすることにより、エンコーダによって取得される。
第4の態様に基づいて、場合によっては、第1のタイプのフレームはダウンミックス信号とステレオパラメータセットの両方を含み、第2のタイプのフレームはステレオパラメータセットを含むが、ダウンミックス信号を含まず、
復号ユニットは、第Nのフレームのビットストリームが第1のタイプのフレームであると判断された場合、第Nのフレームのビットストリームを復号して、第Nのフレームのダウンミックス信号と第Nのフレームのステレオパラメータセットの両方を取得し、または第Nのフレームのビットストリームが第2のタイプのフレームであると判断された場合、第Nのフレームのビットストリームを復号して第Nのフレームのステレオパラメータセットを取得するようにさらに構成され、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータは、所定の第3のアルゴリズムに基づいて、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元するためにデコーダによって使用され、
信号復元ユニットは、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元するように構成される。
第4の態様に基づいて、場合によっては、第1のタイプのフレームはダウンミックス信号とステレオパラメータセットの両方を含み、第2のタイプのフレームはステレオパラメータセットもダウンミックス信号も含まず、
復号ユニットは、第Nのフレームのビットストリームが第1のタイプのフレームであると判断された場合、第Nのフレームのビットストリームを復号して、第Nのフレームのダウンミックス信号と第Nのフレームのステレオパラメータセットの両方を取得し、または第Nのフレームのビットストリームが第2のタイプのフレームであると判断された場合、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、kフレームのステレオパラメータセットに従って第Nのフレームのステレオパラメータセットを取得するようにさらに構成され、kは0より大きい正の整数であり、
第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータは、所定の第3のアルゴリズムに基づいて第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元するためにデコーダによって使用され、
信号復元ユニットは、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元するように構成される。
第4の態様に基づいて、場合によっては、第1のタイプのフレームはダウンミックス信号とステレオパラメータセットの両方を含み、第3のタイプのフレームはステレオパラメータセットを含むが、ダウンミックス信号を含まず、第4のタイプのフレームはステレオパラメータセットもダウンミックス信号も含まず、第3のタイプのフレームおよび第4のタイプのフレームの各々は第2のタイプのフレームの1つのケースであり、
復号ユニットは、第Nのフレームのビットストリームが第1のタイプのフレームであると判断された場合、第Nのフレームのビットストリームを復号して、第Nのフレームのダウンミックス信号と第Nのフレームのステレオパラメータセットの両方を取得し、または第Nのフレームのビットストリームが第2のタイプのフレームであると判断された場合、第Nのフレームのビットストリームが第3のタイプのフレームであるとき、第Nのフレームのビットストリームを復号して第Nのフレームのステレオパラメータセットを取得し、もしくは第Nのフレームのビットストリームが第4のタイプのフレームであるとき、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、kフレームのステレオパラメータセットに従って第Nのフレームのステレオパラメータセットを取得するようにさらに構成され、kは0より大きい正の整数であり、
第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータは、所定の第3のアルゴリズムに基づいて、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元するためにデコーダによって使用され、
信号復元ユニットは、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元するように構成される。
第4の態様に基づいて、場合によっては、第5のタイプのフレームはダウンミックス信号とステレオパラメータセットの両方を含み、第6のタイプのフレームはダウンミックス信号を含むが、ステレオパラメータセットを含まず、第5のタイプのフレームおよび第6のタイプのフレームの各々は第1のタイプのフレームの1つのケースであり、第2のタイプのフレームはダウンミックス信号もステレオパラメータセットも含まず、
復号ユニットは、第Nのフレームのビットストリームが第1のタイプのフレームであると判断された場合、第Nのフレームのビットストリームが第5のタイプのフレームであるとき、第Nのフレームのビットストリームを復号して、第Nのフレームのダウンミックス信号と第Nのフレームのステレオパラメータセットの両方を取得し、もしくは第Nのフレームのビットストリームが第6のタイプのフレームであるとき、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、kフレームのステレオパラメータセットに従って第Nのフレームのステレオパラメータセットを取得し、または第Nのフレームのビットストリームが第2のタイプのフレームであると判断された場合、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、kフレームのステレオパラメータセットに従って第Nのフレームのステレオパラメータセットを取得するようにさらに構成され、
第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータは、所定の第3のアルゴリズムに基づいて、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元するためにデコーダによって使用され、kは0より大きい正の整数であり、
信号復元ユニットは、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元するように構成される。
第4の態様に基づいて、場合によっては、第5のタイプのフレームはダウンミックス信号とステレオパラメータセットの両方を含み、第6のタイプのフレームはダウンミックス信号を含むが、ステレオパラメータセットを含まず、第5のタイプのフレームおよび第6のタイプのフレームの各々は第1のタイプのフレームの1つのケースであり、第3のタイプのフレームはステレオパラメータセットを含むが、ダウンミックス信号を含まず、第4のタイプのフレームはダウンミックス信号もステレオパラメータセットも含まず、第3のタイプのフレームおよび第4のタイプのフレームの各々は第2のタイプのフレームの1つのケースであり、
復号ユニットは、第Nのフレームのビットストリームが第1のタイプのフレームであると判断された場合、第Nのフレームのビットストリームが第5のタイプのフレームであるとき、第Nのフレームのビットストリームを復号して、第Nのフレームのダウンミックス信号と第Nのフレームのステレオパラメータセットの両方を取得し、もしくは第Nのフレームのビットストリームが第6のタイプのフレームであるとき、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、kフレームのステレオパラメータセットに従って第Nのフレームのステレオパラメータセットを取得するようにさらに構成され、または
復号ユニットは、第Nのフレームのビットストリームが第2のタイプのフレームであると判断された場合、第Nのフレームのビットストリームが第3のタイプのフレームであるとき、第Nのフレームのビットストリームを復号して第Nのフレームのステレオパラメータセットを取得し、もしくは第Nのフレームのビットストリームが第4のタイプのフレームであるとき、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、kフレームのステレオパラメータセットに従って第Nのフレームのステレオパラメータセットを取得するようにさらに構成され、
第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータは、所定の第3のアルゴリズムに基づいて、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元するためにデコーダによって使用され、kは0より大きい正の整数であり、
デコーダは信号復元ユニットをさらに含み、
信号復元ユニットは、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元するように構成される。
第5の態様によれば、第3の態様で提供された任意のエンコーダおよび第4の態様で提供された任意のデコーダを含む、符号化および復号システムが提供される。
第6の態様によれば、本発明の一実施形態は端末デバイスをさらに提供する。端末デバイスはプロセッサおよびメモリを含む。メモリはソフトウェアプログラムを記憶するように構成され、プロセッサは、メモリに記憶されたソフトウェアプログラムを読み取り、第1の態様または第1の態様の任意の実装形態で提供された方法を実施するように構成される。
第7の態様によれば、本発明の一実施形態はコンピュータ記憶媒体をさらに提供する。記憶媒体は不揮発性であってもよい。すなわち、電源を切ってもコンテンツは失われない。記憶媒体はソフトウェアプログラムを記憶し、ソフトウェアプログラムが1つまたは複数のプロセッサによって読み取られ、実行されると、第1の態様または第1の態様の任意の実装形態で提供された方法を実施することができる。
本発明の実施形態1による、マルチチャネルオーディオ信号処理方法の概略フローチャートである。 本発明の実施形態2による、マルチチャネルオーディオ信号処理方法の概略フローチャートである。 本発明の実施形態2による、マルチチャネルオーディオ信号処理方法の概略フローチャートである。 本発明の実施形態2による、マルチチャネルオーディオ信号処理方法の概略フローチャートである。 本発明の一実施形態による、エンコーダの概略図である。 本発明の一実施形態による、エンコーダの概略図である。 本発明の一実施形態による、エンコーダの概略図である。 本発明の一実施形態による、エンコーダの概略図である。 本発明の一実施形態による、デコーダの概略図である。 本発明の一実施形態による、符号化および復号システムの概略図である。
本発明の目的、技術的解決策、および利点をより明確にするために、以下でさらに、添付図面を参照して本発明を詳細に記載する。
オーディオ符号化および復号技術では、オーディオ信号はフレーム単位で符号化または復号されることを理解されたい。具体的には、第Nのフレームのオーディオ信号は第Nのオーディオフレームである。第Nのフレームのオーディオ信号が音声信号を含むとき、第Nのオーディオフレームは音声フレームである。第Nのフレームのオーディオフレームが音声信号を含まないが、背景雑音信号を含む場合、第Nのオーディオフレームは雑音フレームである。ここで、Nは0より大きい正の整数である。
加えて、モノラル通信システムでは、不連続符号化方式が使用されるとき、無音挿入記述子（Silence Insertion Descriptor、SID）フレームを取得するために、符号化は数雑音フレームごとに1回実行される。
本発明の実施形態におけるエンコーダおよびデコーダは、マルチチャネルオーディオ信号を処理するために使用されるパッケージである。パッケージは、端末（たとえば、携帯電話、ノートブックコンピュータ、もしくはタブレットコンピュータ）、またはサーバなどのマルチチャネルオーディオ信号処理をサポートするデバイスに取り付けられてもよく、その結果、端末またはサーバなどのデバイスは、本発明の実施形態におけるマルチチャネルオーディオ信号を処理する機能を有する。
本発明の実施形態では、マルチチャネル通信システムにおいて不連続符号化メカニズムを使用することによってオーディオ信号を符号化することができるので、オーディオ信号の圧縮効率が大幅に向上する。
以下で、一例として第Nのフレームのダウンミックス信号を使用して、本発明の実施形態におけるマルチチャネルオーディオ信号処理方法を詳細に記載し、Nは0より大きい正の整数である。第Nのフレームのダウンミックス信号は、複数のチャネルのうちの2つのチャネル上の第Nのフレームのオーディオ信号がミキシングされた後に取得されると想定される。
複数のチャネルが2つのチャネルであり、2つのチャネルがそれぞれ第1のチャネルおよび第2のチャネルであるとき、複数のチャネルのうちの2つのチャネルは第1のチャネルおよび第2のチャネルであり、第Nのフレームのダウンミックス信号は、第1のチャネル上の第Nのフレームのオーディオ信号と第2のチャネル上の第Nのフレームのオーディオ信号をミキシングすることによって取得される。複数のチャネルが少なくとも3つのチャネルであるとき、ダウンミックス信号は、複数のチャネル内の2つの対になったチャネル上のオーディオ信号をミキシングすることによって取得される。具体的には、一例として3つのチャネルが使用され、3つのチャネルは、第1のチャネル、第2のチャネル、および第3のチャネルである。第1のチャネルおよび第2のチャネルのみが指定された規則に従って対になっていると仮定すると、複数のチャネルのうちの2つのチャネルは第1のチャネルおよび第2のチャネルであり、第Nのフレームのダウンミックス信号は、第1のチャネル上の第Nのフレームのオーディオ信号および第2のチャネル上の第Nのフレームのオーディオ信号に対してダウンミキシングが実行された後に取得される。3つのチャネルにおいて、第1のチャネルおよび第2のチャネルが対になっており、第2のチャネルおよび第3のチャネルが対になっていると仮定すると、複数のチャネルのうちの2つのチャネルは、第1のチャネルおよび第2のチャネルであってもよいし、第2のチャネルおよび第3のチャネルであってもよい。
図1に示されたように、本発明の実施形態1におけるマルチチャネルオーディオ信号処理方法は、以下のステップを含む。
ステップ100：エンコーダが、複数のチャネルのうちの2つのチャネル上の第Nのフレームのオーディオ信号に従って第Nのフレームのステレオパラメータセットを生成し、ステレオパラメータセットはZ個のステレオパラメータを含む。
具体的には、Z個のステレオパラメータは、エンコーダが所定の第1のアルゴリズムに基づいて第Nのフレームのオーディオ信号をミキシングするときに使用されるパラメータを含み、Zは0より大きい正の整数である。所定の第1のアルゴリズムは、エンコーダ内で事前設定されたダウンミックス信号生成アルゴリズムであることを理解されたい。
第Nのフレームのステレオパラメータセットに具体的に含まれるステレオパラメータは、事前設定されたステレオパラメータ生成アルゴリズムを使用して決定されることに留意されたい。2つのチャネルのうちの一方が左チャネルであり、他方が右チャネルであると仮定すると、事前設定されたステレオパラメータ生成アルゴリズムは以下の通りであり、第Nのフレームのオーディオ信号に従って取得されるステレオパラメータはチャネル間レベル差（Inter−channel Level Difference、ILD）である：
Figure 0006790251
Figure 0006790251
Figure 0006790251
Figure 0006790251
Figure 0006790251
 ここで、L（i）は第iの周波数ビン内の左チャネル上の第Nのフレームのオーディオ信号の離散フーリエ変換（Discrete Fourier Transform、DFT）係数であり、R（i）は第iの周波数ビン内の右チャネル上の第Nのフレームのオーディオ信号のDFT係数であり、ReL（i）はL（i）の実数部であり、ImL（i）はL（i）の虚数部であり、ReR（i）はR（i）の実数部であり、ImR（i）はR（i）の虚数部であり、PL（i）は第iの周波数ビン内の左チャネル上の第Nのフレームのオーディオ信号のエネルギースペクトルであり、PR（i）は 第iの周波数ビン内の右チャネル上の第Nのフレームのオーディオ信号のエネルギースペクトルであり、El（m）は左チャネルの第mのサブ周波数帯域内の第Nのフレームのオーディオ信号のエネルギーであり、ER（m）は右チャネルの第mのサブ周波数帯域内の第Nのフレームのオーディオ信号のエネルギーであり、第Nのフレームのオーディオ信号を送信するためのサブ周波数帯域の総数はMである。
ステレオパラメータ生成アルゴリズムでは、第Nのフレームのオーディオ信号が、周波数ビンi＝0または
Figure 0006790251
 において、それぞれ直接成分またはナイキスト成分であるケースは考慮されない。
事前設定されたステレオパラメータ生成アルゴリズムが、チャネル間時間差（Inter−channel Time Difference、ITD）、チャネル間位相差（Inter−channel Phase Difference、IPD）、およびチャネル間コヒーレンス（Inter−channel Coherence、IC）などの他のステレオパラメータを計算するためのアルゴリズムをさらに含むとき、エンコーダは、事前設定されたステレオパラメータ生成アルゴリズムに基づいて、オーディオ信号に従って、ITD、IPD、およびICなどのステレオパラメータをさらに取得することができる。
第Nのフレームのステレオパラメータセットは、少なくとも1つのステレオパラメータを含むことを理解されたい。たとえば、IPD、ITD、ILD、およびICは、事前設定されたステレオパラメータ生成アルゴリズムに基づいて、2つのチャネル上の第Nのフレームのオーディオ信号に従って取得され、IPD、ITD、ILD、およびICは第Nのフレームのステレオパラメータセットを形成する。
ステップ101：エンコーダが、所定の第1のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、2つのチャネル上の第Nのフレームのオーディオ信号を第Nのフレームのダウンミックス信号にミキシングする。
たとえば、第Nのフレームのステレオパラメータセットは、ITD、ILD、IPD、およびICを含む。第Nのフレームのダウンミックス信号は、所定の第1のアルゴリズムに基づいてILDおよびIPDに従って取得される。具体的には、第Nのフレームのダウンミックス信号DMX（k）は、第kの周波数ビンにおいて以下の式を満たす：
Figure 0006790251
 ここで、DMX（k）は第kの周波数ビン内の第Nのフレームのダウンミックス信号を表し、｜ L（k）｜は第kの周波数ビン内の第Kのチャネル対の中の左チャネル上の第Nのフレームのオーディオ信号の振幅を表し、｜ R（k）｜は第kの周波数ビン内の第Kのチャネル対の中の右チャネル上の第Nのフレームのオーディオ信号の振幅を表し、∠L（k）は第kの周波数ビン内の左チャネル上の第Nのフレームのオーディオ信号の位相角を表し、ILD（k）は第kの周波数ビン内の第Nのフレームのオーディオ信号のILDを表し、IPD（k）は第kの周波数ビン内の第Nのフレームのオーディオ信号のIPDを表す。
ダウンミックス信号を取得するためのアルゴリズムに加えて、本発明のこの実施形態は、ダウンミックス信号を取得するための別のアルゴリズムに制限を課さないことに留意されたい。
本発明の実施形態1では、第Nのフレームのステレオパラメータセットが符号化され、その結果、デコーダは第Nのフレームのダウンミックス信号を復元することができる。場合によっては、符号化中の圧縮効率を向上させるために、エンコーダは、第Nのフレームのステレオパラメータセット内の、第Nのフレームのダウンミックス信号を取得するために使用されるステレオパラメータを符号化する。たとえば、生成された第Nのフレームのステレオパラメータセットは、ITD、ILD、IPD、およびICを含む。エンコーダが、所定の第1のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内のILDおよびIPDのみに従って、2つのチャネル上の第Nのフレームのオーディオ信号を第Nのフレームのダウンミックス信号にミキシングする場合、圧縮効率を向上させるために、エンコーダは、第Nのフレームのステレオパラメータセット内のILDおよびIPDのみを符号化してもよい。
ステップ102：エンコーダが、第Nのフレームのダウンミックス信号が音声信号を含むかどうかを検出し、第Nのフレームのダウンミックス信号が音声信号を含む場合、ステップ103を実行し、第Nのフレームのダウンミックス信号が音声信号を含まない場合、ステップ104を実行する。
エンコーダにより、第Nのフレームのダウンミックス信号が音声信号を含むかどうかを検出することを容易にするために、場合によっては、エンコーダは、音声活動検出（Voice Activity Detection、VAD）によって、第Nのフレームのダウンミックス信号が音声信号を含むかどうかを直接検出する。
場合によっては、エンコーダにより、第Nのフレームのダウンミックス信号が音声信号を含むかどうかを間接的に検出するための方法は、エンコーダが、VADによって、第Nのフレームのオーディオ信号が音声信号を含むかどうかを直接検出することである。具体的には、2つのチャネルのうちの1つのチャネル上のオーディオ信号が音声信号を含むことを検出した場合、エンコーダは、2つのチャネル上のオーディオ信号をミキシングすることによって取得されたダウンミックス信号が音声信号を含むと判断する。2つのチャネル上のオーディオ信号のいずれも音声信号を含まないと判断したときのみ、エンコーダは、2つのチャネル上のオーディオ信号をミキシングすることによって取得されたダウンミックス信号が音声信号を含まないと判断する。そのような間接的な検出方式では、ステップ100がステップ101に先行するならば、ステップ102とステップ100またはステップ101との間の順番は限定されないことに留意されたい。
ステップ103：エンコーダが第Nのフレームのダウンミックス信号を符号化し、ステップ107を実行する。
エンコーダは、第Nのフレームのダウンミックス信号を符号化して、第Nのフレームのビットストリームを取得する。
本発明の実施形態1では、ダウンミックス信号に対して不連続符号化が実行されるので、ビットストリームは、2つのフレームタイプ：第1のタイプのフレームおよび第2のタイプのフレームを含む。第1のタイプのフレームはダウンミックス信号を含み、第2のタイプのフレームはダウンミックス信号を含まない。ステップ103で取得された第Nのフレームのビットストリームは、第1のタイプのフレームである。
ステップ103では、第Nのフレームのダウンミックス信号は音声信号を含むので、場合によっては、エンコーダは、事前設定された音声フレーム符号化レートに従って、第Nのフレームのダウンミックス信号を符号化する。好ましくは、事前設定された音声フレーム符号化レートは、13．2kbpsに設定されてもよい。
加えて、場合によっては、第Nのフレームのダウンミックス信号を符号化する場合、エンコーダは第Nのフレームのステレオパラメータセットを符号化する。
ステップ104：エンコーダが、第Nのフレームのダウンミックス信号が事前設定されたオーディオフレーム符号化条件を満たすかどうかを判定し、第Nのフレームのダウンミックス信号が事前設定されたオーディオフレーム符号化条件を満たす場合、ステップ105を実行し、第Nのフレームのダウンミックス信号が事前設定されたオーディオフレーム符号化条件を満たさない場合、ステップ106を実行する。
事前設定されたオーディオフレーム符号化条件は、エンコーダ内で事前構成され、第Nのフレームのダウンミックス信号を符号化するかどうかを決定するために使用される条件である。
第1のフレームのダウンミックス信号について、第1のフレームのダウンミックス信号が音声信号を含まない場合、第1のフレームのダウンミックス信号は事前設定されたオーディオフレーム符号化条件を満たすことに留意されたい。すなわち、第1のフレームのダウンミックス信号が音声信号を含むかどうかに関わらず、第1のフレームのダウンミックス信号は符号化される。
ステップ105：エンコーダが第Nのフレームのダウンミックス信号を符号化し、ステップ107を実行する。
具体的には、ステップ105で取得された第Nのフレームのビットストリームも第1のタイプのフレームである。
場合によっては、第Nのフレームのダウンミックス信号を符号化する場合、エンコーダは第Nのフレームのステレオパラメータセットを符号化することに留意されたい。
場合によっては、ダウンミックス信号を符号化する実装形態を単純化することを容易にするために、本発明の実施形態1では、第Nのフレームのダウンミックス信号は、ステップ103およびステップ105において同じ方式で符号化される。
場合によっては、ステップ105における第Nのフレームのダウンミックス信号は音声信号を含まないので、第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たすとき、エンコーダは、事前設定された音声フレーム符号化レートに従って、第Nのフレームのダウンミックス信号を符号化する。あるいは、第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たさないが、事前設定されたSID符号化条件を満たすとき、エンコーダは、事前設定されたSID符号化レートに従って、第Nのフレームのダウンミックス信号を符号化する。事前設定されたSID符号化レートは2．8kbpsに設定されてもよい。
第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たさないが、事前設定されたSID符号化条件を満たすとき、エンコーダは、SID符号化方式に従って第Nのフレームのダウンミックス信号を符号化することに留意されたい。SID符号化方式は、符号化レートが事前設定されたSID符号化レートであることを規定し、符号化に使用されるアルゴリズムおよび符号化に使用されるパラメータを規定する。
事前設定された音声フレーム符号化条件は、第Nのフレームのダウンミックス信号と第Mのフレームのダウンミックス信号との間の持続時間が、事前設定された持続時間よりも大きくないことであってもよい。第Mのフレームのダウンミックス信号は音声信号を含み、第Mのフレームのダウンミックス信号は、音声信号を含み、第Nのフレームのダウンミックス信号に最も近いダウンミックス信号のフレームである。事前設定されたSID符号化条件は、奇数フレームを符号化することであってもよい。第Nのフレームのダウンミックス信号のNが奇数であるとき、エンコーダは、第Nのフレームのダウンミックス信号が事前設定されたSID符号化条件を満たすと判断する。
ステップ106：エンコーダが第Nのフレームのダウンミックス信号の符号化をスキップし、ステップ109を実行する。
具体的には、ステップ106において取得された第Nのフレームのビットストリームは、第2のタイプのフレームである。
エンコーダは、第Nのフレームのダウンミックス信号が事前設定されたオーディオフレーム符号化条件を満たさないと判断する。具体的には、エンコーダは、第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たさず、事前設定されたSID符号化条件を満たさないと判断する。
本発明のこの実施形態では、エンコーダは第Nのフレームのダウンミックス信号を符号化しない。具体的には、第Nのフレームのビットストリームは第Nのフレームのダウンミックス信号を含まない。
エンコーダが第Nのフレームのダウンミックス信号を符号化しないとき、エンコーダは、第Nのフレームのステレオパラメータセットを符号化してもよいし、第Nのフレームのステレオパラメータセットを符号化しなくてもよい。
本発明の実施形態1では、エンコーダが第Nのフレームのダウンミックス信号を符号化しないが、第Nのフレームのステレオパラメータセットを符号化する例を使用して、説明が行われる。しかしながら、場合によっては、エンコーダが第Nのフレームのダウンミックス信号を符号化しないとき、エンコーダは第Nのフレームのステレオパラメータセットも符号化しなくてもよい。具体的には、エンコーダが第Nのフレームのステレオパラメータセットも第Nのフレームのダウンミックス信号も符号化しないとき、デコーダによって第Nのフレームのダウンミックス信号および第Nのフレームのステレオパラメータセットを取得する方式については、本発明の実施形態2を参照されたい。
ステップ107：エンコーダが第Nのフレームのビットストリームをデコーダに送信する。
復号によって第Nのフレームのダウンミックス信号を取得した後に、デコーダが第Nのフレームのダウンミックス信号を2つのチャネル上の第Nのフレームのオーディオ信号に復元することができるには、第Nのフレームのビットストリームは、第Nのフレームのステレオパラメータセットと第Nのフレームのダウンミックス信号の両方を含む。
ステップ108：第Nのフレームのビットストリームが第1のタイプのフレームであると判断した場合、デコーダが、第Nのフレームのビットストリームを復号して、第Nのフレームのダウンミックス信号および第Nのフレームのステレオパラメータセットを取得し、ステップ111を実行する。
第1のタイプのフレームはダウンミックス信号を含み、第2のタイプのフレームはダウンミックス信号を含まないので、第1のタイプのフレームのサイズは第2のタイプのフレームのサイズよりも大きいことに留意されたい。デコーダは、第Nのフレームのビットストリームのサイズに従って、第Nのフレームのビットストリームが第1のタイプのフレームであるか第2のタイプのフレームであるかを判定することができる。加えて、場合によっては、第Nのフレームのビットストリーム内で、フラグビットがさらにカプセル化されてもよい。デコーダは、第Nのフレームのビットストリームを部分的に復号してフラグビットを取得し、フラグビットに従って、第Nのフレームのビットストリームが第1のタイプのフレームであるか第2のタイプのフレームであるかを判定する。たとえば、フラグビットが1であるとき、それは第Nのフレームのビットストリームが第1のタイプのフレームであることを示し、フラグビットが0であるとき、それは第Nのフレームのビットストリームが第2のタイプのフレームであることを示す。
加えて、場合によっては、デコーダは、第Nのフレームのビットストリームに対応するレートに従って復号方式を決定する。たとえば、第Nのフレームのビットストリームのレートが17．4kbpsであり、ダウンミックス信号に対応するビットストリームのレートが13．2kbpsであり、ステレオパラメータセットに対応するビットストリームのレートが4．2kbpsである場合、デコーダは、13．2kbpsに対応する復号方式に従って、ダウンミックス信号に対応するビットストリームを復号し、4．2kbpsに対応する復号方式に従って、ステレオパラメータセットに対応するビットストリームを復号する。
あるいは、デコーダは、第Nのフレームのビットストリームの中の符号化方式フラグビットに従って、第Nのフレームのビットストリームの符号化方式を決定し、符号化方式に対応する復号方式に従って、第Nのフレームのビットストリームを復号する。
ステップ109：エンコーダが第Nのフレームのビットストリームをデコーダに送信し、第Nのフレームのビットストリームは第Nのフレームのステレオパラメータセットを含む。
ステップ110：第Nのフレームのビットストリームが第2のタイプのフレームであると判断した場合、デコーダが、第Nのフレームのビットストリームを復号して第Nのフレームのステレオパラメータセットを取得し、事前設定された第1の規則に従って、第Nのフレームのダウンミックス信号に先行する少なくとも1フレームのダウンミックス信号内のmフレームのダウンミックス信号を特定し、所定の第1のアルゴリズムに基づいて、mフレームのダウンミックス信号に従って第Nのフレームのダウンミックス信号を取得し、mは0より大きい正の整数である。
具体的には、第（N−3）のフレームのダウンミックス信号、第（N−2）のフレームのダウンミックス信号、および第（N−1）のフレームのダウンミックス信号の平均値が第Nのフレームのダウンミックス信号として使用されるか、または第（N−1）のフレームのダウンミックス信号が第Nのフレームのダウンミックス信号としてそのまま使用されるか、または別のアルゴリズムに従って第Nのフレームのダウンミックス信号が推定される。
加えて、第（N−1）のフレームのダウンミックス信号が第Nのフレームのダウンミックス信号としてそのまま使用されてもよく、または事前設定されたアルゴリズムに基づいて、第（N−1）のフレームのダウンミックス信号および事前設定されたオフセット値に従って第Nのフレームのダウンミックス信号が計算される。
ステップ111：デコーダが、所定の第2のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内のターゲットステレオパラメータに従って、第Nのフレームのダウンミックス信号を2つのチャネル上の第Nのフレームのオーディオ信号に復元する。
ターゲットステレオパラメータは、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータであることを理解されたい。
具体的には、デコーダにより、第Nのフレームのダウンミックス信号を2つのチャネル上の第Nのフレームのオーディオ信号に復元するプロセスは、エンコーダにより、2つのチャネル上の第Nのフレームのオーディオ信号を第Nのフレームのダウンミックス信号ミキシングするプロセスの逆である。 エンコーダが、第Nのフレームのステレオパラメータセット内のIPDおよびILDに従って第Nのフレームのダウンミックス信号を取得すると仮定すると、デコーダは、第Nのフレームのステレオパラメータセット内のIPDおよびILDに従って、第Nのフレームのダウンミックス信号を、第Kのチャネル対の中のチャネル上の第Nのフレームの信号に復元する。 加えて、デコーダ内で事前設定され、ダウンミックス信号を復元するために使用されるアルゴリズムは、エンコーダ内のダウンミックス信号生成アルゴリズムの逆アルゴリズムであってもよく、またはエンコーダ内のダウンミックス信号生成アルゴリズムとは無関係のアルゴリズムであってもよいことに留意されたい。
加えて、マルチチャネル通信システムにおける符号化中の圧縮効率を向上させるために、ダウンミックス信号に対して不連続符号化を実施するとき、エンコーダはステレオパラメータセットに対して不連続符号化をさらに実施することができる。下記の例として、第Nのフレームのダウンミックス信号が使用される。図2A、図2B、および図2Cに示されたように、本発明の実施形態2におけるマルチチャネル音声信号処理方法は、以下のステップを含む。
ステップ200：エンコーダが、複数のチャネルのうちの2つのチャネル上の第Nのフレームのオーディオ信号に従って第Nのフレームのステレオパラメータセットを生成し、ステレオパラメータセットはZ個のステレオパラメータを含む。
具体的には、Z個のステレオパラメータは、エンコーダが所定の第1のアルゴリズムに基づいて第Nのフレームのオーディオ信号をミキシングするときに使用されるパラメータを含み、Zは0より大きい正の整数である。所定の第1のアルゴリズムは、エンコーダ内で事前設定されたダウンミックス信号生成アルゴリズムであることを理解されたい。
第Nのフレームのステレオパラメータセットに含まれるステレオパラメータは、事前設定されたステレオパラメータ生成アルゴリズムを使用して決定されることに留意されたい。2つのチャネルのうちの一方が左チャネルであり、他方が右チャネルであると仮定すると、事前設定されたステレオパラメータ生成アルゴリズムは以下の通りであり、第Nのフレームのオーディオ信号に従って取得されるステレオパラメータはITDである：
Figure 0006790251
 および
Figure 0006790251
 ここで、0≦i≦Tmaxであり、Nはフレーム長であり、l（j）は瞬間jにおける左チャネル上の時間領域信号フレームを表し、r（j）は瞬間jにおける右チャネル上の時間領域信号フレームを表し、
Figure 0006790251
 である場合、ITDは
Figure 0006790251
 に対応するインデックス値の反対の数であり、そうでない場合、ITDは
Figure 0006790251
 に対応するインデックス値の反対の数である。ITDを取得するための別のアルゴリズムも本発明のこの実施形態に適用可能である。
事前設定されたステレオパラメータ生成アルゴリズムが以下のIPD生成アルゴリズムをさらに含む場合、IPDは以下のアルゴリズムに従ってさらに取得されてもよい。具体的には、第bのサブ周波数帯域内のIPDは以下の式を満たす：
Figure 0006790251
 ここで、Bは周波数領域内のオーディオ信号によって占有されるサブ周波数帯域の総数であり、L（k）は第kの周波数ビン内の左チャネル上の第Nのフレームのオーディオ信号の信号であり、R＊（k）は第kの周波数ビン内の右チャネル上の第Nのフレームのオーディオ信号の共役信号である。
加えて、本発明の実施形態1において、事前設定されたステレオパラメータ生成アルゴリズムがILD生成アルゴリズムをさらに含むとき、ILDがさらに取得されてもよい。
ステップ201：エンコーダが、所定のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、2つのチャネル上の第Nのフレームのオーディオ信号を第Nのフレームのダウンミックス信号にミキシングする。
具体的には、所定の第1のアルゴリズムについては、本発明の実施形態1における第Nのフレームのダウンミックス信号を取得するための方法を参照されたい。しかしながら、所定の第1のアルゴリズムは、本発明の実施形態1における第Nのフレームのダウンミックス信号を取得するための方法に限定されない。
ステップ202：エンコーダが、第Nのフレームのダウンミックス信号が音声信号を含むかどうかを検出し、第Nのフレームのダウンミックス信号が音声信号を含む場合、ステップ203を実行し、第Nのフレームのダウンミックス信号が音声信号を含まない場合、ステップ204を実行する。
本発明の実施形態2では、エンコーダにより、第Nのフレームのダウンミックス信号が音声信号を含むかどうかを検出する具体的な実装形態については、本発明の実施形態1における、エンコーダにより、第Nのフレームのダウンミックス信号が音声信号を含むかどうかを検出する方式を参照されたい。
ステップ203：エンコーダが、事前設定された音声フレーム符号化レートに従って第Nのフレームのダウンミックス信号を符号化し、第Nのフレームのステレオパラメータセットを符号化し、ステップ211を実行する。
具体的には、エンコーダがステレオパラメータセットを符号化する2つの方式：第1の符号化方式および第2の符号化方式を含むとき、第1の符号化方式で規定された符号化レートは、第2の符号化方式で規定された符号化レートよりも小さくなく、かつ／または第Nのフレームのステレオパラメータセット内の任意のステレオパラメータについて、第1の符号化方式で規定された量子化精度は、第2の符号化方式で規定された量子化精度よりも低くない。ステップ203では、エンコーダは、第1の符号化方式に従って第Nのフレームのステレオパラメータセットを符号化する。
たとえば、第NのフレームのステレオパラメータセットはIPDおよびITDを含む。第1の符号化方式で規定されたIPDの量子化精度は、第2の符号化方式で規定されたIPDの量子化精度よりも低くなく、第1の符号化方式で規定されたITDの量子化精度は、第2の符号化方式で規定されたITDの量子化精度よりも低くない。
好ましくは、音声フレーム符号化レートは13．2kbpsに設定されてもよい。
ステップ204：エンコーダが、第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たすかどうかを判定し、第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たす場合、ステップ205を実行し、第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たさない場合、ステップ206を実行する。
ステップ205：エンコーダが、事前設定された音声フレーム符号化レートに従って第Nのフレームのダウンミックス信号を符号化し、第Nのフレームのステレオパラメータセットを符号化し、ステップ211を実行する。
具体的には、エンコーダがステレオパラメータセットを符号化する2つの方式：第1の符号化方式および第2の符号化方式を含むとき、第1の符号化方式で規定された符号化レートは、第2の符号化方式で規定された符号化レートよりも小さくなく、かつ／または第Nのフレームのステレオパラメータセット内の任意のステレオパラメータについて、第1の符号化方式で規定された量子化精度は、第2の符号化方式で規定された量子化精度よりも低くない。ステップ205では、エンコーダは、第1の符号化方式に従って第Nのフレームのステレオパラメータセットを符号化する。
ステップ206：エンコーダが、第Nのフレームのダウンミックス信号が事前設定されたSID符号化条件を満たすかどうかを判定し、第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たすかどうかを判定し、第Nのフレームのダウンミックス信号が事前設定されたSID符号化条件を満たし、第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たす場合、ステップ207を実行し、第Nのフレームのダウンミックス信号が事前設定されたSID符号化条件を満たすが、第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たさない場合、ステップ208を実行し、第Nのフレームのダウンミックス信号が事前設定されたSID符号化条件を満たさないが、第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たす場合、ステップ209を実行し、第Nのフレームのダウンミックス信号が事前設定されたSID符号化条件を満たさず、第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たさない場合、ステップ210を実行する。
具体的には、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化する前に、エンコーダは、少なくとも1つのステレオパラメータ内のステレオパラメータが事前設定された対応するステレオパラメータ符号化条件を満たすかどうかを判定する。具体的には、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータがチャネル間レベル差ILDを含む場合、事前設定されたステレオパラメータ符号化条件はDL≧D0を含み、DLはILDが第1の規格から逸脱する程度を表し、第1の規格は、第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセットに従って、所定の第3のアルゴリズムに基づいて決定され、Tは0より大きい正の整数である。
第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータがチャネル間時間差ITDを含む場合、事前設定されたステレオパラメータ符号化条件はDT≧D1を含み、
DTはITDが第2の規格から逸脱する程度を表し、第2の規格は、第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセットに従って、所定の第4のアルゴリズムに基づいて決定され、Tは0より大きい正の整数である。
第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータがチャネル間位相差IPDを含む場合、事前設定されたステレオパラメータ符号化条件はDP≧D2を含み、
DPはIPDが第3の規格から逸脱する程度を表し、第3の規格は、第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセットに従って、所定の第5のアルゴリズムに基づいて決定され、Tは0より大きい正の整数である。
第3のアルゴリズム、第4のアルゴリズム、および第5のアルゴリズムは、実際の状況に応じて事前設定される必要がある。
具体的には、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータがITDのみを含むとき、事前設定されたステレオパラメータ符号化条件はDT≧D1のみを含み、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに含まれるITDがDT≧D1を満たすとき、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータが符号化される。第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータがITDおよびIPDのみを含むとき、事前設定されたステレオパラメータ符号化条件はDT≧D1のみを含み、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに含まれるITDがDT≧D1を満たすとき、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータが符号化される。しかしながら、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータがITDおよびILDのみを含むとき、事前設定されたステレオパラメータ符号化条件はDT≧D1およびDL≧D0を含み、エンコーダは、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに含まれるITDがDT≧D1を満たし、ILDがDL≧D0を満たすときのみ、ITDおよびILDを符号化する。
場合によっては、DL、DT、およびDPは、それぞれ、以下の式：
Figure 0006790251
Figure 0006790251
 および
Figure 0006790251
 を満たし、
ここで、ILD（m）は、第Nのフレームのオーディオ信号が第mのサブ周波数帯域内の2つのチャネル上でそれぞれ送信されるときに生じるレベル差であり、Mは、第Nのフレームのオーディオ信号を送信するために占有されるサブ周波数帯域の総数であり、
Figure 0006790251
 は、第mのサブ周波数帯域内で第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセット内のILDの平均値であり、Tは0より大きい正の整数であり、ILD［−t］（m）は、第Nのフレームのオーディオ信号に先行する第tのフレームのオーディオ信号が、第mのサブ周波数帯域内の2つのチャネル上でそれぞれ送信されるときに生じるレベル差であり、ITDは、第Nのフレームのオーディオ信号が2つのチャネル上でそれぞれ送信されるときに生じる時間差であり、
Figure 0006790251
 は、第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセット内のITDの平均値であり、ITD［−t］は、第Nのフレームのオーディオ信号に先行する第tのフレームのオーディオ信号が2つのチャネル上でそれぞれ送信されるときに生じる時間差であり、IPD（m）は、第Nのフレームのオーディオ信号の一部が第mのサブ周波数帯域内の2つのチャネル上でそれぞれ送信されるときに生じる位相差であり、
Figure 0006790251
 は、第mのサブ周波数帯域内の第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセット内のIPDの平均値であり、IPD［−t］（m）は、第Nのフレームのオーディオ信号に先行する第tのフレームのオーディオ信号が、第mのサブ周波数帯域内の2つのチャネル上でそれぞれ送信されるときに生じる位相差である。
ステップ207：エンコーダが、事前設定されたSID符号化レートに従って第Nのフレームのダウンミックス信号を符号化し、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化し、ステップ211を実行する。
具体的には、エンコーダがステレオパラメータセットを符号化する2つの方式：第1の符号化方式および第2の符号化方式を含むとき、第1の符号化方式で規定された符号化レートは、第2の符号化方式で規定された符号化レートよりも小さくなく、かつ／または第Nのフレームのステレオパラメータセット内の任意のステレオパラメータについて、第1の符号化方式で規定された量子化精度は、第2の符号化方式で規定された量子化精度よりも低くない。エンコーダは、第2の符号化方式に従って、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化する。
たとえば、第1の符号化方式では、エンコーダは、4．2kbpsに従って第Nのフレームのステレオパラメータセットを符号化し、第2の符号化方式では、エンコーダは、1．2kbpsに従って第Nのフレームのステレオパラメータセットを符号化する。
エンコーダによってステレオパラメータセットを圧縮する効率を向上させるために、場合によっては、エンコーダは、事前設定されたステレオパラメータ次元縮小規則に基づいて、第Nのフレームのステレオパラメータセット内のZ個のステレオパラメータに従って、X個のターゲットステレオパラメータを取得し、X個のターゲットステレオパラメータを符号化する。Xは0より大きくZ以下の正の整数である。
具体的には、第Nのフレームのステレオパラメータセットは、3つのタイプのステレオパラメータ：IPD、ITD、およびILDを含む。ILDは10個のサブ周波数帯域内のILD：ILD（0）、．．．、およびILD（9）を含み、IPDは10個のサブ周波数帯域内のIPD：IPD（0）、．．．、およびIPD（9）を含み、ITDは2つの時間領域サブバンド内のITD：ITD（0）およびITD（1）を含む。事前設定されたステレオパラメータ次元縮小規則が、ステレオパラメータセットが2つのタイプのステレオパラメータのみを含むことであると仮定すると、エンコーダは、IPD、ITD、およびILDから任意の2つのタイプのステレオパラメータを選択する。IPDおよびILDが選択されたと仮定すると、エンコーダはIPDおよびILDを符号化する。あるいは、事前設定されたステレオパラメータ次元縮小規則が、各タイプのステレオパラメータの半分のみが確保されることである場合、ILD（0）、．．．、およびILD（9）から5つのILDが選択され、IPD（0）、．．．、およびIPD（9）から5つのIPDが選択され、ITD（0）およびITD（1）から1つのITDが選択され、選択されたパラメータが符号化される。あるいは、事前設定されたステレオパラメータ次元縮小規則は、5つのILDおよび5つのIPDが選択されることである。あるいは、事前設定されたステレオパラメータ次元縮小規則が、ILDの周波数領域解像度、IPDの周波数領域解像度、およびITDの時間領域解像度が低減されることである場合、ILD（0）、．．．、およびILD（9）の中の隣接するサブ周波数帯域内のILDが結合される。たとえば、新しいILD（0）を取得するためにILD（0）とILD（1）の平均値が計算され、新しいILD（1）を取得するためにILD（2）とILD（3）の平均値が計算され、．．．、新しいILD（4）を取得するためにILD（8）とILD（9）の平均値が計算される。新しいILD（0）に対応するサブ周波数帯域は、元のILD（0）および元のILD（1）に対応するサブ周波数帯域を結合することにより取得され、．．．、新しいILD（4）に対応するサブ周波数帯域は、元のILD（8）および元のILD（9）に対応するものを結合することにより取得される。同じ方法に従って、新しいIPD（0）、．．．、および新しいIPD（4）を取得するために、IPD（0）、．．．、およびIPD（9）の中の隣接するサブ周波数帯域内のIPDが結合され、新しいITD（0）が取得するために、ITD（0）とITD（1）の平均値も計算される。新しいITD（0）に対応する時間領域信号は、元のITD（0）および元のITD（1）に対応するものを結合することにより取得される。新しいILD（0）、．．．、および新しいILD（4）、新しいIPD（0）、．．．、および新しいIPD（4）、ならびに新しいITD（0）が符号化される。あるいは、事前設定されたステレオパラメータ次元縮小規則が、ILDの周波数領域解像度が低減されることである場合、ILD（0）、．．．、およびILD（9）の中の隣接するサブ周波数帯域内のILDが結合される。たとえば、新しいILD（0）を取得するためにILD（0）とILD（1）の平均値が計算され、新しいILD（1）を取得するためにILD（2）とILD（3）の平均値が計算され、．．．、新しいILD（4）を取得するためにILD（8）とILD（9）の平均値が計算される。新しいILD（0）に対応するサブ周波数帯域は、元のILD（0）および元のILD（1）に対応するものを結合することにより取得され、．．．、新しいILD（4）に対応するサブ周波数帯域は、元のILD（8）および元のILD（9）に対応するものを結合することにより取得される。次いで、新しいILD（0）、．．．、および新しいILD（4）が符号化される。
ステップ208：エンコーダが、事前設定されたSID符号化レートに従って第Nのフレームのダウンミックス信号を符号化するが、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータの符号化をスキップし、ステップ211を実行する。
ステップ209：エンコーダが、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化するが、第Nのフレームのダウンミックス信号の符号化をスキップし、ステップ215を実行する。
ステップ210：エンコーダが、第Nのフレームのダウンミックス信号も第Nのフレームのステレオパラメータセットも符号化せず、ステップ217を実行する。
本発明の実施形態2では、エンコーダは符号化を実行してビットストリームを取得する。ビットストリームは、4つの異なるタイプのフレーム、すなわち、第3のタイプのフレーム、第4のタイプのフレーム、第5のタイプのフレーム、および第6のタイプのフレームを含む。第3のタイプのフレームはステレオパラメータセットを含むが、ダウンミックス信号を含まず、第4のタイプのフレームはダウンミックス信号もステレオパラメータセットも含まず、第5のタイプのフレームはダウンミックス信号とステレオパラメータセットの両方を含み、第6のタイプのフレームはダウンミックス信号を含むが、ステレオパラメータセットを含まない。第5のタイプのフレームおよび第6のタイプのフレームの各々は、ダウンミックス信号を含むタイプのフレームの1つのケースであり、第3のタイプのフレームおよび第4のタイプのフレームの各々は、ダウンミックス信号を含まないタイプのフレームの1つのケースである。
具体的には、ステップ203、ステップ205、またはステップ207において取得された第Nのフレームのビットストリームは第5のタイプのフレームであり、ステップ208において取得された第Nのフレームのビットストリームは第6のタイプのフレームであり、ステップ209において取得された第Nのフレームのビットストリームは第3のタイプのフレームであり、ステップ211において取得された第Nのフレームのビットストリームは第4のタイプのフレームである。
ステップ211：エンコーダが第Nのフレームのビットストリームをデコーダに送信し、第Nのフレームのビットストリームは、第Nのフレームのダウンミックス信号および第Nのフレームのステレオパラメータセットを含む。
ステップ212：デコーダが第Nのフレームのビットストリームを受信し、第Nのフレームのビットストリームが第5のタイプのフレームであると判断した場合、第Nのフレームのビットストリームを復号して、第Nのフレームのダウンミックス信号および第Nのフレームのステレオパラメータセットを取得し、ステップ218を実行する。
デコーダにより、第Nのフレームのビットストリームがどのタイプのフレームであるかを判断する具体的な実装形態については、本発明の実施形態1を参照されたい。
具体的には、デコーダは、第Nのフレームのビットストリームに対応するレートに従って、第Nのフレームのビットストリームを復号する。具体的には、エンコーダが13．2kbpsに従って第Nのフレームのダウンミックス信号を符号化した場合、デコーダは、13．2kbpsに従って第Nのフレームのビットストリーム内の第Nのフレームのダウンミックス信号のビットストリームを復号する。エンコーダが4．2kbpsに従って第Nのフレームのステレオパラメータセットを符号化した場合、デコーダは、4．2kbpsに従って第Nのフレームのビットストリーム内の第Nのフレームのステレオパラメータセットのビットストリームを復号する。
ステップ213：エンコーダが第Nのフレームのビットストリームをデコーダに送信し、第Nのフレームのビットストリームは第Nのフレームのダウンミックス信号を含む。
ステップ214：デコーダが、第Nのフレームのビットストリームが第6のタイプのフレームであると判断した場合、第Nのフレームのビットストリームを復号して第Nのフレームのダウンミックス信号を取得し、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第6のアルゴリズムに基づいて、kフレームのステレオパラメータセットに従って第Nのフレームのステレオパラメータセットを取得し、ステップ218を実行する。
具体的には、一例として第Nのフレームのステレオパラメータセット内のステレオパラメータを使用すると、事前設定された第2の規則で規定されたステレオパラメータセットは、Pに最も近く、復号によって取得されるステレオパラメータセットのフレームであり、第NのフレームのステレオパラメータPは、以下のアルゴリズムに従って取得される：
Figure 0006790251
 ここで、Pは第Nのフレームのステレオパラメータを表し、
Figure 0006790251
 はPに最も近く、復号によって取得されるステレオパラメータのフレームを表し、δは絶対値が比較的小さい乱数を表す。たとえば、δは
Figure 0006790251
 と
Figure 0006790251
 との間の乱数であってもよい。
本発明のこの実施形態は、第Nのフレームのステレオパラメータセット内のステレオパラメータを推定するための方法に制限を課さないことに留意されたい。
ステップ215：エンコーダが第Nのフレームのビットストリームをデコーダに送信し、第Nのフレームのビットストリームは、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを含む。
ステップ216：デコーダが、第Nのフレームのビットストリームが第3のタイプのフレームであると判断した場合、第Nのフレームのビットストリームを復号して、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを取得し、事前設定された第1の規則に従って、第Nのフレームのダウンミックス信号に先行する少なくとも1フレームのダウンミックス信号内のmフレームのダウンミックス信号を特定し、所定の第2のアルゴリズムに基づいて、mフレームのダウンミックス信号に従って第Nのフレームのダウンミックス信号を取得し、mは0より大きい正の整数であり、ステップ218を実行する。
具体的には、第（N−3）のフレームのダウンミックス信号、第（N−2）のフレームのダウンミックス信号、および第（N−1）のフレームのダウンミックス信号の平均値が第Nのフレームのダウンミックス信号として使用されるか、または第（N−1）のフレームのダウンミックス信号が第Nのフレームのダウンミックス信号としてそのまま使用されるか、または別のアルゴリズムに従って第Nのフレームのダウンミックス信号が推定される。
加えて、第（N−1）のフレームのダウンミックス信号が第Nのフレームのダウンミックス信号としてそのまま使用されてもよく、または事前設定されたアルゴリズムに基づいて、第（N−1）のフレームのダウンミックス信号および事前設定されたオフセット値に従って第Nのフレームのダウンミックス信号が計算される。
ステップ217：第Nのフレームのビットストリームを受信した後に、デコーダが、第Nのフレームのビットストリームが第4のタイプのフレームであると判断し、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第6のアルゴリズムに基づいて、kフレームのステレオパラメータセットに従って第Nのフレームのステレオパラメータセットを取得し、
事前設定された第1の規則に従って、第Nのフレームのダウンミックス信号に先行する少なくとも1フレームのダウンミックス信号内のmフレームのダウンミックス信号を特定し、所定の第2のアルゴリズムに基づいて、mフレームのダウンミックス信号に従って第Nのフレームのダウンミックス信号を取得し、mは0より大きい正の整数である。
ステップ218：デコーダが、所定の第7のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内のターゲットステレオパラメータに従って、第Nのフレームのダウンミックス信号を2つのチャネル上の第Nのフレームのオーディオ信号に復元する。
加えて、本発明のこの実施形態に基づいて、エンコーダが、2つのチャネル上の第Nのフレームのオーディオ信号を使用することにより、第Nのフレームのダウンミックス信号が音声信号を含むかどうかを検出する場合、ステレオパラメータセットを符号化する別の方式がさらに提供される。具体的には、2つのチャネル上の第Nのフレームのオーディオ信号のいずれかが音声信号を含むことを検出した場合、エンコーダは、第1のステレオパラメータセット生成方式に基づいて、第Nのフレームのオーディオ信号に従って第Nのフレームのステレオパラメータセットを取得し、第Nのフレームのステレオパラメータセットを符号化する。
2つのチャネル上の第Nのフレームのオーディオ信号のいずれも音声信号を含まないとエンコーダが判断すると、第Nのフレームのオーディオ信号が事前設定された音声フレーム符号化条件を満たす場合、エンコーダは、第1のステレオパラメータセット生成方式に基づいて、第Nのフレームのオーディオ信号に従って第Nのフレームのステレオパラメータセットを取得し、第Nのフレームのステレオパラメータセットを符号化し、または第Nのフレームのオーディオ信号が事前設定された音声フレーム符号化条件を満たさない場合、エンコーダは、第2のステレオパラメータセット生成方式に基づいて、第Nのフレームのオーディオ信号に従って第Nのフレームのステレオパラメータセットを取得し、
第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たさすと判断すると、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化し、または第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たさないと判断すると、ステレオパラメータセットの符号化をスキップする。
第1のステレオパラメータセット生成方式および第2のステレオパラメータセット生成方式は、以下の条件のうちの少なくとも1つを満たす。
ステレオパラメータセットに含まれるステレオパラメータのタイプの数であり、第1のステレオパラメータセット生成方式で規定された数は、ステレオパラメータセットに含まれるステレオパラメータのタイプの数であり、第2のステレオパラメータセット生成方式で規定された数よりも少なくない、ステレオパラメータセットに含まれるステレオパラメータの数であり、第1のステレオパラメータセット生成方式で規定された数は、ステレオパラメータセットに含まれるステレオパラメータの数であり、第2のステレオパラメータセット生成方式で規定された数よりも少なくない、ステレオパラメータの時間領域解像度であり、第1のステレオパラメータセット生成方式で規定された時間領域解像度は、ステレオパラメータの時間領域解像度であり、第2のステレオパラメータセット生成方式で規定された時間領域解像度よりも低くない、またはステレオパラメータの周波数領域解像度であり、第1のステレオパラメータセット生成方式で規定された周波数領域解像度は、ステレオパラメータの周波数領域解像度であり、第2のステレオパラメータセット生成方式で規定された周波数領域解像度よりも低くない。
具体的には、第1のステレオパラメータセット生成方式で取得されたステレオパラメータセットの周波数領域精度または時間領域精度は、第2のステレオパラメータセット生成方式で取得されたステレオパラメータセットのそれよりも高い。
加えて、本発明の実施形態3におけるマルチチャネルオーディオ信号処理方法では、第Nのフレームのダウンミックス信号が音声信号を含むことを検出すると、エンコーダは、音声符号化レートに従って第Nのフレームのダウンミックス信号を符号化し、第Nのフレームのステレオパラメータセットを符号化し、あるいは第Nのフレームのダウンミックス信号が音声信号を含まないことをエンコーダが検出すると、第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たす場合、エンコーダは、音声符号化レートに従って第Nのフレームのダウンミックス信号を符号化し、第Nのフレームのステレオパラメータセットを符号化し、または第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たさないが、事前設定されたSID符号化条件を満たす場合、エンコーダは、SID符号化レートに従って第Nのフレームのダウンミックス信号を符号化し、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化し、もしくは第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件も事前設定されたSID符号化条件も満たさない場合、エンコーダは、第Nのフレームのダウンミックス信号も第Nのフレームのステレオパラメータセットも符号化しない。
本発明の実施形態3と本発明の実施形態1との間、または本発明の実施形態3と本発明の実施形態2との間の相違点は、エンコーダが、ステレオパラメータセットに対する判定を実行せず、ダウンミックス信号を符号化するためにどの方式が使用されるかに関わらず、ステレオパラメータセットを符号化することにあることを理解されたい。
本発明の実施形態3では、エンコーダがダウンミックス信号を符号化した後に取得されるビットストリームは、2つのタイプのフレーム：第1のタイプのフレームおよび第2のタイプのフレームを含む。第1のタイプのフレームは、ダウンミックス信号とステレオパラメータセットの両方を含み、第2のタイプのフレームは、ダウンミックス信号もステレオパラメータセットも含まない。具体的には、ビットストリームを受信した後にデコーダによってビットストリームを2つのチャネル上の音声信号に復元する方法については、本発明の実施形態2および本発明の実施形態1を参照されたい。
本発明の実施形態3に基づいて、場合によっては、第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件も事前設定されたSID符号化条件も満たさないとき、エンコーダは、第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たすかどうかを判定し、 第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たす場合、エンコーダは、第Nのフレームのダウンミックス信号を符号化しないが、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化し、または第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たさない場合、エンコーダは、第Nのフレームのダウンミックス信号も第Nのフレームのステレオパラメータセットも符号化しない。
上記の符号化方法に基づいて取得されるビットストリームは、3つのタイプのフレーム：第1のタイプのフレーム、第3のタイプのフレーム、および第4のタイプのフレームを含む。第1のタイプのフレームはダウンミックス信号とステレオパラメータセットの両方を含み、第3のタイプのフレームはダウンミックス信号を含まないが、ステレオパラメータセットを含み、第4のタイプのフレームはダウンミックス信号もステレオパラメータセットも含まない。具体的には、ビットストリームを受信した後にデコーダによってビットストリームを2つのチャネル上の音声信号に復元する方法については、本発明の実施形態2および本発明の実施形態1を参照されたい。
上記の技術的解決策と本発明の実施形態2との間の相違点は、第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件も事前設定されたSID符号化条件も満たさないとき、エンコーダが、第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たすかどうかを判定することにある。
場合によっては、本発明の実施形態4におけるマルチチャネルオーディオ信号処理方法では、第Nのフレームのダウンミックス信号が音声信号を含むことを検出すると、エンコーダは、音声符号化レートに従って第Nのフレームのダウンミックス信号を符号化し、第Nのフレームのステレオパラメータセットを符号化し、あるいは第Nのフレームのダウンミックス信号が音声信号を含まないことをエンコーダが検出すると、第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たす場合、エンコーダは、音声符号化レートに従って第Nのフレームのダウンミックス信号を符号化し、第Nのフレームのステレオパラメータセットを符号化し、または第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たさないが、事前設定されたSID符号化条件を満たす場合、エンコーダは、第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たすかどうかを判定し、第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たすとき、エンコーダは、SID符号化レートに従って第Nのフレームのダウンミックス信号を符号化し、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化し、もしくは第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たさないとき、エンコーダは、SID符号化レートに従って第Nのフレームのダウンミックス信号を符号化するが、第Nのフレームのステレオパラメータセットを符号化せず、または第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件も事前設定されたSID符号化条件も満たさない場合、エンコーダは、第Nのフレームのダウンミックス信号も第Nのフレームのステレオパラメータセットも符号化しない。
本発明の実施形態4における符号化方式に基づいて取得されるビットストリームは、3つのタイプのフレーム：第5のタイプのフレーム、第6のタイプのフレーム、および第2のタイプのフレームを含む。第5のタイプのフレームはダウンミックス信号とステレオパラメータセットの両方を含み、第6のタイプのフレームはダウンミックス信号を含むが、ステレオパラメータセットを含まず、第2のタイプのフレームはダウンミックス信号もステレオパラメータセットも含まない。具体的には、ビットストリームを受信した後にデコーダによってビットストリームを2つのチャネル上の音声信号に復元する方法については、本発明の実施形態2および本発明の実施形態1を参照されたい。
本発明の実施形態4と本発明の実施形態2との間の相違点は、第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たさないが、事前設定されたSID符号化条件を満たすとき、エンコーダが、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化するかどうかを判定し、第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件も事前設定されたSID符号化条件も満たさないとき、第Nのフレームのステレオパラメータセットの符号化をスキップすることにある。
本発明の実施形態3および本発明の実施形態4では、具体的に、デコーダにより、第Nのフレームのダウンミックス信号および第Nのフレームのステレオパラメータセットを取得する方式については、本発明の実施形態2および本発明の実施形態1を参照されたく、ステレオパラメータおよびダウンミックス信号を符号化する具体的な実装形態については、本発明の実施形態2および本発明の実施形態1を参照されたい。
本発明の任意の実施形態では、所定の第1のアルゴリズムおよび所定の第2のアルゴリズムにおける第1および第2は特別な意味をもたず、異なるアルゴリズムを区別するために使用されるにすぎず、第3、第4、第5、第6、第7などはそれらと同様であり、詳細は本明細書では記載されない。
同じ発明概念に基づいて、本発明の実施形態は、エンコーダ、デコーダ、ならびに符号化および復号システムをさらに提供する。本発明の実施形態におけるエンコーダ、デコーダ、ならびに符号化および復号システムに対応する方法は、本発明の実施形態におけるマルチチャネルオーディオ信号処理方法なので、本発明の実施形態におけるエンコーダ、デコーダ、ならびに符号化および復号システムの実装形態については、方法の実装形態を参照されたく、詳細は本明細書では繰り返さない。
図3aに示されたように、本発明の一実施形態におけるエンコーダは、信号検出ユニット300および信号符号化ユニット310を含む。信号検出ユニット300は、第Nのフレームのダウンミックス信号が音声信号を含むかどうかを検出するように構成される。第Nのフレームのダウンミックス信号は、所定の第1のアルゴリズムに基づいて複数のチャネルのうちの2つのチャネル上の第Nのフレームのオーディオ信号がミキシングされた後に取得され、Nは0より大きい正の整数である。信号符号化ユニット310は、第Nのフレームのダウンミックス信号が音声信号を含むことを信号検出ユニット300が検出すると、第Nのフレームのダウンミックス信号を符号化し、または第Nのフレームのダウンミックス信号が音声信号を含まないことを信号検出ユニット300が検出すると、第Nのフレームのダウンミックス信号が事前設定されたオーディオフレーム符号化条件を満たすと信号検出ユニット300が判断した場合、第Nのフレームのダウンミックス信号を符号化し、もしくは第Nのフレームのダウンミックス信号が事前設定されたオーディオフレーム符号化条件を満たさないと信号検出ユニット300が判断した場合、第Nのフレームのダウンミックス信号の符号化をスキップするように構成される。
場合によっては、図3bに示されたように、信号符号化ユニット310は、第1の信号符号化ユニット311および第2の信号符号化ユニット312を含む。第Nのフレームのダウンミックス信号が音声信号を含むことを信号検出ユニット300が検出すると、信号検出ユニット300は、第Nのフレームのダウンミックス信号を符号化するように第1の信号符号化ユニット311に指示する。
第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たすと判断した場合、信号検出ユニット300は、第Nのフレームのダウンミックス信号を符号化するように第1の信号符号化ユニット311に指示する。
具体的には、第1の信号符号化ユニット311が、事前設定された音声フレーム符号化レートに従って、第Nのフレームのダウンミックス信号を符号化することが規定される。
第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たさないが、事前設定された無音挿入記述子SIDフレーム符号化条件を満たすと判断した場合、信号検出ユニット300は、第Nのフレームのダウンミックス信号を符号化するように第2の信号符号化ユニット312に指示する。具体的には、第2の信号符号化ユニット312が、事前設定されたSID符号化レートに従って、第Nのフレームのダウンミックス信号を符号化することが規定される。SID符号化レートは音声フレーム符号化レートよりも大きくない。
場合によっては、図3aおよび図3bに示されたように、エンコーダは、パラメータ生成ユニット320、パラメータ符号化ユニット330、およびパラメータ検出ユニット340をさらに含む。パラメータ生成ユニット320は、第Nのフレームのオーディオ信号に従って、第Nのフレームのステレオパラメータセットを取得するように構成される。第NのフレームのステレオパラメータセットはZ個のステレオパラメータを含み、Z個のステレオパラメータは、エンコーダが所定の第1のアルゴリズムに基づいて第Nのフレームのオーディオ信号をミキシングするときに使用されるパラメータを含み、Zは0より大きい正の整数である。パラメータ符号化ユニット330は、第Nのフレームのダウンミックス信号が音声信号を含むことを信号検出ユニットが検出すると、第Nのフレームのステレオパラメータセットを符号化し、または第Nのフレームのダウンミックス信号が音声信号を含まないことをパラメータ検出ユニット300が検出すると、第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たすと信号検出ユニット300が判断した場合、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化し、もしくは第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たさないとパラメータ検出ユニット300が判断した場合、ステレオパラメータセットの符号化をスキップするように構成される。
場合によっては、パラメータ符号化ユニット330は、事前設定されたステレオパラメータ次元縮小規則に基づいて、第Nのフレームのステレオパラメータセット内のZ個のステレオパラメータに従って、X個のターゲットステレオパラメータを取得し、X個のターゲットステレオパラメータを符号化するように構成される。Xは0より大きくZ以下の正の整数である。
具体的には、パラメータ符号化ユニット330が第1のパラメータ符号化ユニット331および第2のパラメータ符号化ユニット332を含むとき、第2のパラメータ符号化ユニット332は、事前設定されたステレオパラメータ次元縮小規則に基づいて、第Nのフレームのステレオパラメータセット内のZ個のステレオパラメータに従って、X個のターゲットステレオパラメータを取得し、X個のターゲットステレオパラメータを符号化するように構成される。
場合によっては、図3aおよび図3bに基づいて、図3cに示されたように、エンコーダのパラメータ生成ユニット320は、第1のパラメータ生成ユニット321および第2のパラメータ生成ユニット322を含む。第Nのフレームのオーディオ信号が音声信号を含むことを信号検出ユニット300が検出するか、または第Nのフレームのオーディオ信号が音声信号を含まず、第Nのフレームのオーディオ信号が事前設定された音声フレーム符号化条件を満たすことを信号検出ユニット300が検出すると、信号検出ユニット300は、第Nのフレームのステレオパラメータセットを生成するように第1のパラメータ生成ユニット321に指示する。第Nのフレームのオーディオ信号が音声信号を含まず、第Nのフレームのオーディオ信号が事前設定された音声フレーム符号化条件を満たさないことを信号検出ユニット300が検出すると、信号検出ユニット300は、第Nのフレームのステレオパラメータセットを生成するように第2のパラメータ生成ユニット322に指示する。 具体的には、第1のパラメータ生成ユニット321は、第1のステレオパラメータセット生成方式に基づいて、第Nのフレームのオーディオ信号に従って第Nのフレームのステレオパラメータセットを取得し、第2のパラメータ生成ユニット322は、第2のステレオパラメータセット生成方式に基づいて、第Nのフレームのオーディオ信号に従って第Nのフレームのステレオパラメータセットを取得することが事前に規定される。
第1のステレオパラメータセット生成方式および第2のステレオパラメータセット生成方式は、以下の条件のうちの少なくとも1つを満たす。
ステレオパラメータセットに含まれるステレオパラメータのタイプの数であり、第1のステレオパラメータセット生成方式で規定された数は、ステレオパラメータセットに含まれるステレオパラメータのタイプの数であり、第2のステレオパラメータセット生成方式で規定された数よりも少なくない、ステレオパラメータセットに含まれるステレオパラメータの数であり、第1のステレオパラメータセット生成方式で規定された数は、ステレオパラメータセットに含まれるステレオパラメータの数であり、第2のステレオパラメータセット生成方式で規定された数よりも少なくない、ステレオパラメータの時間領域解像度であり、第1のステレオパラメータセット生成方式で規定された時間領域解像度は、ステレオパラメータの時間領域解像度であり、第2のステレオパラメータセット生成方式で規定された時間領域解像度よりも低くない、またはステレオパラメータの周波数領域解像度であり、第1のステレオパラメータセット生成方式で規定された周波数領域解像度は、ステレオパラメータの周波数領域解像度であり、第2のステレオパラメータセット生成方式で規定された周波数領域解像度よりも低くない。
第2のパラメータ生成ユニット322が第Nのフレームのステレオパラメータセットを取得した後に、パラメータ符号化ユニット330は、第Nのフレームのステレオパラメータセットを符号化する。具体的には、図3dに示されたように、パラメータ符号化ユニット330が第1のパラメータ符号化ユニット331および第2のパラメータ符号化ユニット332を含むとき、第1のパラメータ符号化ユニット331は、第1のパラメータ生成ユニット321によって生成された第Nのフレームのステレオパラメータセットを符号化し、第2のパラメータ符号化ユニット332は、第2のパラメータ生成ユニット322によって生成された第Nのフレームのステレオパラメータセットを符号化する。第1のパラメータ符号化ユニット331の符号化方式は第1の符号化方式であることが事前に規定され、第2のパラメータ符号化ユニット332の符号化方式は第2の符号化方式であることが事前に規定される。第1のパラメータ符号化ユニットによって規定された符号化方式は第1の符号化方式であり、第2のパラメータ符号化ユニットによって規定された符号化方式は第2の符号化方式である。具体的には、第1の符号化方式で規定された符号化レートは、第2の符号化方式で規定された符号化レートよりも小さくなく、かつ／または第Nのフレームのステレオパラメータセット内の任意のステレオパラメータについて、第1の符号化方式で規定された量子化精度は、第2の符号化方式で規定された量子化精度よりも低くない。
第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たさないとパラメータ検出ユニット340が判断すると、ステレオパラメータセットは符号化されない。
場合によっては、パラメータ符号化ユニット330は、第1のパラメータ符号化ユニット331および第2のパラメータ符号化ユニット332を含む。具体的には、第1のパラメータ符号化ユニット331は、第Nのフレームのダウンミックス信号が音声信号を含むとき、および第Nのフレームのダウンミックス信号が音声信号を含まないが、音声フレーム符号化条件を満たすとき、第1の符号化方式に従って第Nのフレームのステレオパラメータセットを符号化するように構成される。第2のパラメータ符号化ユニット332は、第Nのフレームのダウンミックス信号が音声フレーム符号化条件を満たさないとき、第2の符号化方式に従って第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化するように構成される。
第1の符号化方式で規定された符号化レートは、第2の符号化方式で規定された符号化レートよりも小さくなく、かつ／または第Nのフレームのステレオパラメータセット内の任意のステレオパラメータについて、第1の符号化方式で規定された量子化精度は、第2の符号化方式で規定された量子化精度よりも低くない。
場合によっては、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータがチャネル間レベル差ILDを含む場合、事前設定されたステレオパラメータ符号化条件はDL≧D0を含み、
DLはILDが第1の規格から逸脱する程度を表し、第1の規格は、第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセットに従って、所定の第2のアルゴリズムに基づいて決定され、Tは0より大きい正の整数である。
第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータがチャネル間時間差ITDを含む場合、事前設定されたステレオパラメータ符号化条件はDT≧D1を含み、
DTはITDが第2の規格から逸脱する程度を表し、第2の規格は、第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセットに従って、所定の第3のアルゴリズムに基づいて決定され、Tは0より大きい正の整数である。
第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータがチャネル間位相差IPDを含む場合、事前設定されたステレオパラメータ符号化条件はDP≧D2を含み、
DPはIPDが第3の規格から逸脱する程度を表し、第3の規格は、第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセットに従って、所定の第4のアルゴリズムに基づいて決定され、Tは0より大きい正の整数である。
場合によっては、DL、DT、およびDPは、それぞれ、以下の式：
Figure 0006790251
Figure 0006790251
 および
Figure 0006790251
 を満たし、
ここで、ILD（m）は、第Nのフレームのオーディオ信号が第mのサブ周波数帯域内の2つのチャネル上でそれぞれ送信されるときに生じるレベル差であり、Mは、第Nのフレームのオーディオ信号を送信するために占有されるサブ周波数帯域の総数であり、
Figure 0006790251
 は、第mのサブ周波数帯域内で第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセット内のILDの平均値であり、Tは0より大きい正の整数であり、ILD［−t］（m）は、第Nのフレームのオーディオ信号に先行する第tのフレームのオーディオ信号が、第mのサブ周波数帯域内の2つのチャネル上でそれぞれ送信されるときに生じるレベル差であり、ITDは、第Nのフレームのオーディオ信号が2つのチャネル上でそれぞれ送信されるときに生じる時間差であり、
Figure 0006790251
 は、第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセット内のITDの平均値であり、ITD［−t］は、第Nのフレームのオーディオ信号に先行する第tのフレームのオーディオ信号が2つのチャネル上でそれぞれ送信されるときに生じる時間差であり、IPD（m）は、第Nのフレームのオーディオ信号の一部が第mのサブ周波数帯域内の2つのチャネル上でそれぞれ送信されるときに生じる位相差であり、
Figure 0006790251
 は、第mのサブ周波数帯域内の第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセット内のIPDの平均値であり、IPD［−t］（m）は、第Nのフレームのオーディオ信号に先行する第tのフレームのオーディオ信号が、第mのサブ周波数帯域内の2つのチャネル上でそれぞれ送信されるときに生じる位相差である。
図3a〜図3dにおけるパラメータ検出ユニット340はオプションであることに留意されたい。すなわち、エンコーダは、パラメータ検出ユニット340を含んでもよいし、パラメータ検出ユニット340を含まなくてもよい。
パラメータ符号化ユニット330がパラメータ生成ユニット320のステレオパラメータセットの各フレームを符号化するとき、ステレオパラメータは検出される必要がないが、直ちに符号化される。
図4に示されたように、本発明の一実施形態におけるデコーダは、受信ユニット400および復号ユニット410を含む。受信ユニット400はビットストリームを受信するように構成される。ビットストリームは少なくとも2つのフレームを含み、少なくとも2つのフレームは少なくとも1つの第1のタイプのフレームおよび少なくとも1つの第2のタイプのフレームを含み、第1のタイプのフレームはダウンミックス信号を含み、第2のタイプのフレームはダウンミックス信号を含まない。Nが1より大きい正の整数である第Nのフレームのビットストリームについて、復号ユニット410は、第Nのフレームのビットストリームが第1のタイプのフレームであると判断された場合、第Nのフレームのビットストリームを復号して第Nのフレームのダウンミックス信号を取得し、または第Nのフレームのビットストリームが第2のタイプのフレームであると判断された場合、事前設定された第1の規則に従って、第Nのフレームのダウンミックス信号に先行する少なくとも1フレームのダウンミックス信号内のmフレームのダウンミックス信号を特定し、所定の第1のアルゴリズムに基づいて、mフレームのダウンミックス信号に従って第Nのフレームのダウンミックス信号を取得する。mは0より大きい正の整数である。
第Nのフレームのダウンミックス信号は、所定の第2のアルゴリズムに基づいて、複数のチャネルのうちの2つのチャネル上の第Nのフレームのオーディオ信号をミキシングすることにより、エンコーダによって取得される。
場合によっては、図4に示されたように、デコーダは信号復元ユニット420をさらに含む。第1のタイプのフレームはダウンミックス信号とステレオパラメータセットの両方を含み、第2のタイプのフレームはステレオパラメータセットを含むが、ダウンミックス信号を含まない。
第Nのフレームのビットストリームが第1のタイプのフレームであると判断された場合、復号ユニット410は、第Nのフレームのビットストリームを復号して、第Nのフレームのダウンミックス信号と第Nのフレームのステレオパラメータセットの両方を取得し、または第Nのフレームのビットストリームが第2のタイプのフレームであると判断された場合、復号ユニット410は、第Nのフレームのビットストリームを復号して第Nのフレームのステレオパラメータセットを取得する。第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータは、所定の第3のアルゴリズムに基づいて、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元するために、デコーダによって使用される。
信号復元ユニット420は、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元するように構成される。
場合によっては、第1のタイプのフレームはダウンミックス信号とステレオパラメータセットの両方を含み、第2のタイプのフレームはステレオパラメータセットもダウンミックス信号も含まない。
復号ユニット410は、第Nのフレームのビットストリームが第1のタイプのフレームであると判断された場合、第Nのフレームのビットストリームを復号して、第Nのフレームのダウンミックス信号と第Nのフレームのステレオパラメータセットの両方を取得し、または第Nのフレームのビットストリームが第2のタイプのフレームであると判断された場合、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、kフレームのステレオパラメータセットに従って第Nのフレームのステレオパラメータセットを取得するようにさらに構成される。 kは0より大きい正の整数である。
第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータは、所定の第3のアルゴリズムに基づいて、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元するために、デコーダによって使用される。
信号復元ユニット420は、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元するように構成される。
場合によっては、第1のタイプのフレームはダウンミックス信号とステレオパラメータセットの両方を含み、第3のタイプのフレームはステレオパラメータセットを含むが、ダウンミックス信号を含まず、第4のタイプのフレームはダウンミックス信号もステレオパラメータセットも含まず、第3のタイプのフレームおよび第4のタイプのフレームの各々は、第2のタイプのフレームの1つのケースである。
復号ユニット410は、第Nのフレームのビットストリームが第1のタイプのフレームであると判断された場合、第Nのフレームのビットストリームを復号して、第Nのフレームのダウンミックス信号と第Nのフレームのステレオパラメータセットの両方を取得し、または第Nのフレームのビットストリームが第2のタイプのフレームであると判断された場合、第Nのフレームのビットストリームが第3のタイプのフレームであるとき、第Nのフレームのビットストリームを復号して第Nのフレームのステレオパラメータセットを取得し、もしくは第Nのフレームのビットストリームが第4のタイプのフレームであるとき、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、kフレームのステレオパラメータセットに従って第Nのフレームのステレオパラメータセットを取得するようにさらに構成される。 kは0より大きい正の整数である。
第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータは、所定の第3のアルゴリズムに基づいて、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元するために、デコーダによって使用される。
信号復元ユニット420は、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元するように構成される。
場合によっては、第5のタイプのフレームはダウンミックス信号とステレオパラメータセットの両方を含み、第6のタイプのフレームはダウンミックス信号を含むが、ステレオパラメータセットを含まず、第5のタイプのフレームおよび第6のタイプのフレームの各々は、第1のタイプのフレームの1つのケースであり、第2のタイプのフレームはダウンミックス信号もステレオパラメータセットも含まない。
復号ユニット410は、第Nのフレームのビットストリームが第1のタイプのフレームであると判断された場合、第Nのフレームのビットストリームが第5のタイプのフレームであるとき、第Nのフレームのビットストリームを復号して、第Nのフレームのダウンミックス信号と第Nのフレームのステレオパラメータセットの両方を取得し、または第Nのフレームのビットストリームが第6のタイプのフレームであるとき、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、kフレームのステレオパラメータセットに従って第Nのフレームのステレオパラメータセットを取得するようにさらに構成される。
復号ユニット410は、第Nのフレームのビットストリームが第2のタイプのフレームであると判断された場合、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、kフレームのステレオパラメータセットに従って第Nのフレームのステレオパラメータセットを取得するようにさらに構成される。
第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータは、所定の第3のアルゴリズムに基づいて、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元するために、デコーダによって使用され、kは0より大きい正の整数である。
信号復元ユニット420は、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元するように構成される。
場合によっては、第5のタイプのフレームはダウンミックス信号とステレオパラメータセットの両方を含み、第6のタイプのフレームはダウンミックス信号を含むが、ステレオパラメータセットを含まず、第5のタイプのフレームおよび第6のタイプのフレームの各々は、第1のタイプのフレームの1つのケースであり、第3のタイプのフレームはステレオパラメータセットを含むが、ダウンミックス信号を含まず、第4のタイプのフレームはダウンミックス信号もステレオパラメータセットも含まず、第3のタイプのフレームおよび第4のタイプのフレームの各々は、第2のタイプのフレームの1つのケースである。
復号ユニット410は、第Nのフレームのビットストリームが第1のタイプのフレームであると判断された場合、第Nのフレームのビットストリームが第5のタイプのフレームであるとき、第Nのフレームのビットストリームを復号して、第Nのフレームのダウンミックス信号と第Nのフレームのステレオパラメータセットの両方を取得し、または第Nのフレームのビットストリームが第6のタイプのフレームであるとき、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、kフレームのステレオパラメータセットに従って第Nのフレームのステレオパラメータセットを取得するようにさらに構成される。
復号ユニット410は、第Nのフレームのビットストリームが第2のタイプのフレームであると判断された場合、第Nのフレームのビットストリームが第3のタイプのフレームであるとき、第Nのフレームのビットストリームを復号して第Nのフレームのステレオパラメータセットを取得し、または第Nのフレームのビットストリームが第4のタイプのフレームであるとき、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、kフレームのステレオパラメータセットに従って第Nのフレームのステレオパラメータセットを取得するようにさらに構成される。
第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータは、所定の第3のアルゴリズムに基づいて、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元するために、デコーダによって使用され、kは0より大きい正の整数である。
信号復元ユニット420は、第3のアルゴリズムに基づいて、第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータに従って、第Nのフレームのダウンミックス信号を第Nのフレームのオーディオ信号に復元するように構成される。
図5に示されたように、本発明の一実施形態は、図3aおよび図3bに示された任意のエンコーダ500および図4に示されたデコーダ510を含む、符号化および復号システムを提供する。
本発明の実施形態は、方法、システム、またはコンピュータプログラム製品として提供されてもよいことを当業者なら理解されよう。したがって、本発明は、ハードウェアのみの実施形態、ソフトウェアのみの実施形態、またはソフトウェアとハードウェアの組合せを有する実施形態の形態を使用することができる。その上、本発明は、コンピュータ使用可能プログラムコードを含む、（限定はしないが、ディスクメモリ、CD−ROM、光メモリなどを含む）1つまたは複数のコンピュータ使用可能記憶媒体に実装されたコンピュータプログラム製品の形態を使用することができる。
本発明は、本発明の実施形態による、方法、デバイス（システム）、およびコンピュータプログラム製品のフローチャートおよび／またはブロック図を参照して記載されている。コンピュータプログラム命令は、フローチャートおよび／またはブロック図の中の各プロセスおよび／または各ブロックを実装し、フローチャートおよび／またはブロック図の中のプロセスおよび／またはブロックの組合せを実装するために使用されてもよいことを理解されたい。これらのコンピュータプログラム命令は、機械を生成するために、汎用コンピュータ、専用コンピュータ、組込み型プロセッサ、または別のプログラマブルデータ処理デバイスのプロセッサに提供されてもよく、その結果、コンピュータまたは別のプログラマブルデータ処理デバイスのプロセッサによって実行される命令は、フローチャートの1つもしくは複数のプロセス内、および／またはブロック図の1つもしくは複数のブロック内の特定の機能を実装するための装置を生成する。
これらのコンピュータプログラム命令は、特定の方式で動作するようにコンピュータまたは別のプログラマブルデータ処理デバイスに命令することができるコンピュータ可読メモリに記憶されてもよく、その結果、コンピュータ可読メモリに記憶された命令は、命令装置を含む人工物を生成する。命令装置は、フローチャートの1つもしくは複数のプロセス内、および／またはブロック図の1つもしくは複数のブロック内の特定の機能を実装する。
これらのコンピュータプログラム命令は、コンピュータまたは別のプログラマブルデータ処理デバイスにロードされてもよく、その結果、一連の動作およびステップは、コンピュータまたは別のプログラマブルデバイス上で実行されて、コンピュータ実装処理が生成される。したがって、コンピュータまたは別のプログラマブルデバイス上で実行される命令は、フローチャートの1つもしくは複数のプロセス内、および／またはブロック図の1つもしくは複数のブロック内の特定の機能を実装するためのステップを提供する。
本発明のいくつかの実施形態が記載されたが、当業者は、基本的な本発明の概念を知ると、これらの実施形態に対して変更および修正を行うことができる。したがって、以下の特許請求の範囲は、本発明の範囲内に入る実施形態ならびにすべての変更および修正を包含するように解釈されるものである。
明らかに、当業者は、本発明の範囲から逸脱することなく、本発明に対して様々な修正および変形を行うことができる。本発明は、以下の特許請求の範囲およびそれらの等価な技術によって定義される保護範囲内に入るならば、これらの修正および変形を包含するものである。
300 信号検出ユニット
310 信号符号化ユニット
311 第1の信号符号化ユニット
312 第2の信号符号化ユニット
320 パラメータ生成ユニット
321 第1のパラメータ生成ユニット
322 第2のパラメータ生成ユニット
330 パラメータ符号化ユニット
331 第1のパラメータ符号化ユニット
332 第2のパラメータ符号化ユニット
340 パラメータ検出ユニット
400 受信ユニット
410 復号ユニット
420 信号復元ユニット
500 エンコーダ
510 デコーダ

Claims (25)

  1. マルチチャネルオーディオ信号処理方法であって、
    エンコーダにより、第Nのフレームのダウンミックス信号が音声信号を備えるかどうかを検出するステップであって、前記第Nのフレームのダウンミックス信号が、所定の第1のアルゴリズムに基づいて複数のチャネルのうちの2つのチャネル上の第Nのフレームのオーディオ信号がミキシングされた後に取得され、Nが0より大きい正の整数である、ステップと、
    前記エンコーダにより、前記第Nのフレームのダウンミックス信号が前記音声信号を備えることを検出すると、前記第Nのフレームのダウンミックス信号を符号化するステップ、または
    前記第Nのフレームのダウンミックス信号が前記音声信号を備えないことを前記エンコーダが検出すると、
    前記エンコーダにより、前記第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たすと判断した場合、前記第Nのフレームのダウンミックス信号を符号化するステップ、もしくは前記第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たさないと判断した場合、前記第Nのフレームのダウンミックス信号の符号化をスキップするステップと
    を備え、
    前記エンコーダにより、前記第Nのフレームのダウンミックス信号が前記音声信号を備えることを検出すると、前記第Nのフレームのダウンミックス信号を符号化する前記ステップが、
    前記エンコーダにより、前記第Nのフレームのダウンミックス信号が前記音声信号を備えることを検出すると、事前設定された音声フレーム符号化レートに従って前記第Nのフレームのダウンミックス信号を符号化するステップを備え、または
    前記エンコーダにより、前記第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たすと判断した場合、前記第Nのフレームのダウンミックス信号を符号化する前記ステップが、
    前記エンコーダにより、前記第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たすと判断した場合、事前設定された音声フレーム符号化レートに従って前記第Nのフレームのダウンミックス信号を符号化するステップ、もしくは
    前記エンコーダにより、前記第Nのフレームのダウンミックス信号が前記事前設定された音声フレーム符号化条件を満たさないが、事前設定された無音挿入記述子(SID)符号化条件を満たすと判断した場合、事前設定されたSIDフレーム符号化レートに従って前記第Nのフレームのダウンミックス信号を符号化するステップであって、前記SID符号化レートが前記音声フレーム符号化レートよりも大きくない、ステップ
    を備え、
    前記第Nのフレームのオーディオ信号が前記音声信号を備えることを前記エンコーダが検出すると、
    前記エンコーダにより、第1のステレオパラメータセット生成方式に基づいて、前記第Nのフレームのオーディオ信号に従って第Nのフレームのステレオパラメータセットを取得し、前記第Nのフレームのステレオパラメータセットを符号化するステップ、あるいは
    前記第Nのフレームのオーディオ信号が前記音声信号を備えないことを前記エンコーダが検出すると、
    前記第Nのフレームのオーディオ信号が前記事前設定された音声フレーム符号化条件を満たすと判断した場合、前記エンコーダにより、第1のステレオパラメータセット生成方式に基づいて、前記第Nのフレームのオーディオ信号に従って第Nのフレームのステレオパラメータセットを取得し、前記第Nのフレームのステレオパラメータセットを符号化するステップ、または
    前記第Nのフレームのオーディオ信号が前記事前設定された音声フレーム符号化条件を満たさないと判断した場合、前記エンコーダにより、第2のステレオパラメータセット生成方式に基づいて、前記第Nのフレームのオーディオ信号に従って第Nのフレームのステレオパラメータセットを取得するステップと、
    前記第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たすと判断すると、前記第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化するステップ、もしくは前記第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たさないと判断すると、前記ステレオパラメータセットの符号化をスキップするステップと
    をさらに備え、
    前記第1のステレオパラメータセット生成方式および前記第2のステレオパラメータセット生成方式が、以下の条件のうちの少なくとも1つを満たす：
    ステレオパラメータセットに備えられたステレオパラメータのタイプの数であり、前記第1のステレオパラメータセット生成方式で規定された数は、ステレオパラメータセットに備えられたステレオパラメータのタイプの数であり、前記第2のステレオパラメータセット生成方式で規定された数よりも少なくない、ステレオパラメータセットに備えられたステレオパラメータの数であり、前記第1のステレオパラメータセット生成方式で規定された数は、ステレオパラメータセットに備えられたステレオパラメータの数であり、前記第2のステレオパラメータセット生成方式で規定された数よりも少なくない、ステレオパラメータの時間領域解像度であり、前記第1のステレオパラメータセット生成方式で規定された時間領域解像度は、対応するステレオパラメータの時間領域解像度であり、前記第2のステレオパラメータセット生成方式で規定された時間領域解像度よりも低くない、またはステレオパラメータの周波数領域解像度であり、前記第1のステレオパラメータセット生成方式で規定された周波数領域解像度は、対応するステレオパラメータの周波数領域解像度であり、前記第2のステレオパラメータセット生成方式で規定された周波数領域解像度よりも低くない、
    マルチチャネルオーディオ信号処理方法。
  2. 前記方法が、
    前記エンコーダにより、前記第Nのフレームのオーディオ信号に従って第Nのフレームのステレオパラメータセットを取得するステップであって、前記第NのフレームのステレオパラメータセットがZ個のステレオパラメータを備え、前記Z個のステレオパラメータが、前記エンコーダが前記所定の第1のアルゴリズムに基づいて前記第Nのフレームのオーディオ信号をミキシングするときに使用されるパラメータを備え、Zが0より大きい正の整数である、ステップと、
    前記エンコーダにより、前記第Nのフレームのダウンミックス信号が前記音声信号を備えることを検出すると、前記第Nのフレームのステレオパラメータセットを符号化するステップ、または
    前記第Nのフレームのダウンミックス信号が前記音声信号を備えないことを前記エンコーダが検出すると、前記エンコーダにより、前記第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たすと判断した場合、前記第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化するステップ、もしくは前記第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たさないと判断した場合、前記ステレオパラメータセットの符号化をスキップするステップと
    をさらに備える、請求項1に記載の方法。
  3. 前記エンコーダにより、前記第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化する前記ステップが、
    前記エンコーダにより、事前設定されたステレオパラメータ次元縮小規則に基づいて、前記第Nのフレームのステレオパラメータセット内の前記Z個のステレオパラメータに従ってX個のターゲットステレオパラメータを取得するステップであって、Xが0より大きくZ以下の正の整数である、ステップと、
    前記エンコーダにより、前記X個のターゲットステレオパラメータを符号化するステップと
    を備える、請求項2に記載の方法。
  4. 前記エンコーダにより、前記第Nのフレームのステレオパラメータセットを符号化する前記ステップが、
    前記エンコーダにより、第1の符号化方式に従って前記第Nのフレームのステレオパラメータセットを符号化するステップ
    を備え、
    前記エンコーダにより、前記第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化する前記ステップが、
    前記エンコーダにより、前記第Nのフレームのダウンミックス信号が前記音声フレーム符号化条件を満たすとき、前記第1の符号化方式に従って前記第Nのフレームのステレオパラメータセット内の前記少なくとも1つのステレオパラメータを符号化するステップ、または
    前記エンコーダにより、前記第Nのフレームのダウンミックス信号が前記音声フレーム符号化条件を満たさないとき、第2の符号化方式に従って前記第Nのフレームのステレオパラメータセット内の前記少なくとも1つのステレオパラメータを符号化するステップ
    を備え、
    前記第1の符号化方式で規定された符号化レートが、前記第2の符号化方式で規定された符号化レートよりも小さくなく、かつ／または前記第Nのフレームのステレオパラメータセット内の任意のステレオパラメータについて、前記第1の符号化方式で規定された量子化精度が、前記第2の符号化方式で規定された量子化精度よりも低くない、
    請求項1から3のいずれか一項に記載の方法。
  5. 前記第Nのフレームのステレオパラメータセット内の前記少なくとも1つのステレオパラメータがチャネル間レベル差ILDを備える場合、前記事前設定されたステレオパラメータ符号化条件がDL≧D0を備え、
    DLが、前記ILDが第1の規格から逸脱する程度を表し、前記第1の規格が、前記第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセットに従って、所定の第2のアルゴリズムに基づいて決定され、Tが0より大きい正の整数であり、
    前記第Nのフレームのステレオパラメータセット内の前記少なくとも1つのステレオパラメータがチャネル間時間差ITDを備える場合、前記事前設定されたステレオパラメータ符号化条件がDT≧D1を備え、
    DTが、前記ITDが第2の規格から逸脱する程度を表し、前記第2の規格が、前記第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセットに従って、所定の第3のアルゴリズムに基づいて決定され、Tが0より大きい正の整数であり、
    または
    前記第Nのフレームのステレオパラメータセット内の前記少なくとも1つのステレオパラメータがチャネル間位相差IPDを備える場合、前記事前設定されたステレオパラメータ符号化条件がDP≧D2を備え、
    DPが、前記IPDが第3の規格から逸脱する程度を表し、前記第3の規格が、前記第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセットに従って、所定の第4のアルゴリズムに基づいて決定され、Tが0より大きい正の整数である、
    請求項1から4のいずれか一項に記載の方法。
  6. DL、DT、およびDPが、それぞれ、以下の式：

    Figure 0006790251
    Figure 0006790251
     および

    Figure 0006790251
     を満たし、
    ILD（m）が、前記第Nのフレームのオーディオ信号が第mのサブ周波数帯域内の前記2つのチャネル上でそれぞれ送信されるときに生じるレベル差であり、Mが、前記第Nのフレームのオーディオ信号を送信するために占有されるサブ周波数帯域の総数であり、

    Figure 0006790251
     が、前記第mのサブ周波数帯域内で前記第Nのフレームのステレオパラメータセットに先行する前記Tフレームのステレオパラメータセット内のILDの平均値であり、Tが0より大きい正の整数であり、ILD［−t］（m）が、前記第Nのフレームのオーディオ信号に先行する第tのフレームのオーディオ信号が、前記第mのサブ周波数帯域内の前記2つのチャネル上でそれぞれ送信されるときに生じるレベル差であり、前記ITDが、前記第Nのフレームのオーディオ信号が前記2つのチャネル上でそれぞれ送信されるときに生じる時間差であり、

    Figure 0006790251
     が、前記第Nのフレームのステレオパラメータセットに先行する前記Tフレームのステレオパラメータセット内のITDの平均値であり、ITD［−t］が、前記第Nのフレームのオーディオ信号に先行する前記第tのフレームのオーディオ信号が前記2つのチャネル上でそれぞれ送信されるときに生じる時間差であり、IPD（m）が、前記第Nのフレームのオーディオ信号の一部が前記第mのサブ周波数帯域内の前記2つのチャネル上でそれぞれ送信されるときに生じる位相差であり、

    Figure 0006790251
     が、前記第mのサブ周波数帯域内の前記第Nのフレームのステレオパラメータセットに先行する前記Tフレームのステレオパラメータセット内のIPDの平均値であり、IPD［−t］（m）が、前記第Nのフレームのオーディオ信号に先行する前記第tのフレームのオーディオ信号が、前記第mのサブ周波数帯域内の前記2つのチャネル上でそれぞれ送信されるときに生じる位相差である、請求項5に記載の方法。
  7. マルチチャネルオーディオ信号処理方法であって、
    デコーダにより、ビットストリームを受信するステップであって、前記ビットストリームが第Nのフレームのステレオパラメータセットおよび少なくとも2つのフレームを備え、前記少なくとも2つのフレームが、少なくとも1つの第1のタイプのフレームおよび少なくとも1つの第2のタイプのフレームを備え、前記第1のタイプのフレームがダウンミックス信号を備え、前記第2のタイプのフレームがダウンミックス信号を備えない、ステップと、
    Nが1より大きい正の整数である第Nのフレームのビットストリームについて、
    デコーダにより、前記第Nのフレームのビットストリームが前記第1のタイプのフレームであると判断した場合、第Nのフレームのダウンミックス信号を取得するために、前記第Nのフレームのビットストリームを復号するステップ、または
    前記第Nのフレームのビットストリームが前記第2のタイプのフレームであると判断した場合、前記デコーダにより、事前設定された第1の規則に従って、第Nのフレームのダウンミックス信号に先行する少なくとも1フレームのダウンミックス信号内のmフレームのダウンミックス信号を特定し、所定の第1のアルゴリズムに基づいて、前記mフレームのダウンミックス信号に従って前記第Nのフレームのダウンミックス信号を取得するステップであって、mが0より大きい正の整数である、ステップと
    を備え、
    前記第Nのフレームのダウンミックス信号が、所定の第2のアルゴリズムに基づいて、複数のチャネルのうちの2つのチャネル上で第Nのフレームのオーディオ信号をミキシングすることにより、エンコーダによって取得される、マルチチャネルオーディオ信号処理方法。
  8. 前記第1のタイプのフレームがダウンミックス信号とステレオパラメータセットの両方を備え、前記第2のタイプのフレームがステレオパラメータセットを備えるが、ダウンミックス信号を備えず、
    前記デコーダにより、前記第Nのフレームのビットストリームが前記第1のタイプのフレームであると判断した場合、前記第Nのフレームのビットストリームを復号する前記ステップの後に、前記方法が、
    前記デコーダにより、第Nのフレームのステレオパラメータセットを取得するステップ
    をさらに備え、または
    前記第Nのフレームのビットストリームが前記第2のタイプのフレームであると前記デコーダが判断した後に、前記方法が、
    前記デコーダにより、第Nのフレームのステレオパラメータセットを取得するために、前記第Nのフレームのビットストリームを復号するステップであって、
    前記第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータが、所定の第3のアルゴリズムに基づいて、前記第Nのフレームのダウンミックス信号を前記第Nのフレームのオーディオ信号に復元するために、前記デコーダによって使用される、
    ステップと、
    前記デコーダにより、前記所定の第3のアルゴリズムに基づいて、前記第Nのフレームのステレオパラメータセット内の前記少なくとも1つのステレオパラメータに従って、前記第Nのフレームのダウンミックス信号を前記第Nのフレームのオーディオ信号に復元するステップと
    をさらに備える、請求項7に記載の方法。
  9. 前記第1のタイプのフレームがダウンミックス信号とステレオパラメータセットの両方を備え、前記第2のタイプのフレームがダウンミックス信号もステレオパラメータセットも備えず、
    前記デコーダにより、前記第Nのフレームのビットストリームが前記第1のタイプのフレームであると判断した場合、前記第Nのフレームのビットストリームを復号する前記ステップの後に、前記方法が、
    前記デコーダにより、第Nのフレームのステレオパラメータセットを取得するステップ
    をさらに備え、または
    前記第Nのフレームのビットストリームが前記第2のタイプのフレームであると前記デコーダが判断した後に、前記方法が、
    前記デコーダにより、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、前記kフレームのステレオパラメータセットに従って前記第Nのフレームのステレオパラメータセットを取得するステップであって、kが0より大きい正の整数であり、
    前記第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータが、所定の第3のアルゴリズムに基づいて、前記第Nのフレームのダウンミックス信号を前記第Nのフレームのオーディオ信号に復元するために、前記デコーダによって使用される、
    ステップと、
    前記デコーダにより、前記所定の第3のアルゴリズムに基づいて、前記第Nのフレームのステレオパラメータセット内の前記少なくとも1つのステレオパラメータに従って、前記第Nのフレームのダウンミックス信号を前記第Nのフレームのオーディオ信号に復元するステップと
    をさらに備える、請求項7に記載の方法。
  10. 前記第1のタイプのフレームがダウンミックス信号とステレオパラメータセットの両方を備え、第3のタイプのフレームがステレオパラメータセットを備えるが、ダウンミックス信号を備えず、第4のタイプのフレームがダウンミックス信号もステレオパラメータセットも備えず、前記第3のタイプのフレームおよび前記第4のタイプのフレームの各々が、前記第2のタイプのフレームの1つのケースであり、
    前記デコーダにより、前記第Nのフレームのビットストリームが前記第1のタイプのフレームであると判断した場合、前記第Nのフレームのビットストリームを復号する前記ステップの後に、前記方法が、
    前記デコーダにより、第Nのフレームのステレオパラメータセットを取得するステップ
    をさらに備え、または
    前記第Nのフレームのビットストリームが前記第2のタイプのフレームであると前記デコーダが判断した後に、前記方法が、
    前記デコーダにより、前記第Nのフレームのビットストリームが前記第3のタイプのフレームであるとき、第Nのフレームのステレオパラメータセットを取得するために、前記第Nのフレームのビットストリームを復号するステップ、もしくは
    前記第Nのフレームのビットストリームが前記第4のタイプのフレームであるとき、前記デコーダにより、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、前記kフレームのステレオパラメータセットに従って前記第Nのフレームのステレオパラメータセットを取得するステップであって、kが0より大きい正の整数であり、
    前記第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータが、所定の第3のアルゴリズムに基づいて、前記第Nのフレームのダウンミックス信号を前記第Nのフレームのオーディオ信号に復元するために、前記デコーダによって使用される、
    ステップと、
    前記デコーダにより、前記所定の第3のアルゴリズムに基づいて、前記第Nのフレームのステレオパラメータセット内の前記少なくとも1つのステレオパラメータに従って、前記第Nのフレームのダウンミックス信号を前記第Nのフレームのオーディオ信号に復元するステップと
    をさらに備える、請求項7に記載の方法。
  11. 第5のタイプのフレームがダウンミックス信号とステレオパラメータセットの両方を備え、第6のタイプのフレームがダウンミックス信号を備えるが、ステレオパラメータセットを備えず、前記第5のタイプのフレームおよび前記第6のタイプのフレームの各々が、前記第1のタイプのフレームの1つのケースであり、前記第2のタイプのフレームがダウンミックス信号もステレオパラメータセットも備えず、
    前記第Nのフレームのビットストリームが前記第1のタイプのフレームであると前記デコーダが判断した後に、前記方法が、
    前記デコーダにより、前記第Nのフレームのビットストリームが前記第5のタイプのフレームであるとき、第Nのフレームのステレオパラメータセットを取得するために、前記第Nのフレームのビットストリームを復号するステップ、もしくは
    前記第Nのフレームのビットストリームが前記第6のタイプのフレームであるとき、前記デコーダにより、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、前記kフレームのステレオパラメータセットに従って前記第Nのフレームのステレオパラメータセットを取得するステップ
    を備え、または
    前記第Nのフレームのビットストリームが前記第2のタイプのフレームであると前記デコーダが判断した後に、前記方法が、
    前記デコーダにより、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、前記kフレームのステレオパラメータセットに従って前記第Nのフレームのステレオパラメータセットを取得するステップであって、
    前記第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータが、所定の第3のアルゴリズムに基づいて、前記第Nのフレームのダウンミックス信号を前記第Nのフレームのオーディオ信号に復元するために、前記デコーダによって使用され、kが0より大きい正の整数である、
    ステップと、
    前記デコーダにより、前記第3のアルゴリズムに基づいて、前記第Nのフレームのステレオパラメータセット内の前記少なくとも1つのステレオパラメータに従って、前記第Nのフレームのダウンミックス信号を前記第Nのフレームのオーディオ信号に復元するステップと
    をさらに備える、請求項7に記載の方法。
  12. 第5のタイプのフレームがダウンミックス信号とステレオパラメータセットの両方を備え、第6のタイプのフレームがダウンミックス信号を備えるが、ステレオパラメータセットを備えず、前記第5のタイプのフレームおよび前記第6のタイプのフレームの各々が、前記第1のタイプのフレームの1つのケースであり、第3のタイプのフレームがステレオパラメータセットを備えるが、ダウンミックス信号を備えず、第4のタイプのフレームがダウンミックス信号もステレオパラメータセットも備えず、前記第3のタイプのフレームおよび前記第4のタイプのフレームの各々が、前記第2のタイプのフレームの1つのケースであり、
    前記第Nのフレームのビットストリームが前記第1のタイプのフレームであると前記デコーダが判断した後に、前記方法が、
    前記デコーダにより、前記第Nのフレームのビットストリームが前記第5のタイプのフレームであるとき、第Nのフレームのステレオパラメータセットを取得するために、前記第Nのフレームのビットストリームを復号するステップ、もしくは
    前記第Nのフレームのビットストリームが前記第6のタイプのフレームであるとき、前記デコーダにより、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、前記kフレームのステレオパラメータセットに従って前記第Nのフレームのステレオパラメータセットを取得するステップ
    を備え、または
    前記第Nのフレームのビットストリームが前記第2のタイプのフレームであると前記デコーダが判断した後に、前記方法が、
    前記デコーダにより、前記第Nのフレームのビットストリームが前記第3のタイプのフレームであるとき、第Nのフレームのステレオパラメータセットを取得するために、前記第Nのフレームのビットストリームを復号するステップ、もしくは
    前記第Nのフレームのビットストリームが前記第4のタイプのフレームであるとき、前記デコーダにより、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、前記kフレームのステレオパラメータセットに従って前記第Nのフレームのステレオパラメータセットを取得するステップであって、
    前記第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータが、所定の第3のアルゴリズムに基づいて、前記第Nのフレームのダウンミックス信号を前記第Nのフレームのオーディオ信号に復元するために、前記デコーダによって使用され、kが0より大きい正の整数である、
    ステップと、
    前記デコーダにより、前記所定の第3のアルゴリズムに基づいて、前記第Nのフレームのステレオパラメータセット内の前記少なくとも1つのステレオパラメータに従って、前記第Nのフレームのダウンミックス信号を前記第Nのフレームのオーディオ信号に復元するステップと
    をさらに備える、請求項7に記載の方法。
  13. 第Nのフレームのダウンミックス信号が音声信号を備えるかどうかを検出するように構成された信号検出ユニットであって、前記第Nのフレームのダウンミックス信号が、所定の第1のアルゴリズムに基づいて複数のチャネルのうちの2つのチャネル上の第Nのフレームのオーディオ信号がミキシングされた後に取得され、Nが0より大きい正の整数である、信号検出ユニットと、
    前記第Nのフレームのダウンミックス信号が前記音声信号を備えることを前記信号検出ユニットが検出すると、前記第Nのフレームのダウンミックス信号を符号化するように構成された信号符号化ユニットと
    を備えたエンコーダであって、
    前記信号符号化ユニットが、前記第Nのフレームのダウンミックス信号が前記音声信号を備えないことを前記信号検出ユニットが検出すると、
    前記第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たすと前記信号検出ユニットが判断した場合、前記第Nのフレームのダウンミックス信号を符号化すること、もしくは前記第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たさないと前記信号検出ユニットが判断した場合、前記第Nのフレームのダウンミックス信号の符号化をスキップすること
    を行うように構成され、
    前記信号符号化ユニットが、第1の信号符号化ユニットおよび第2の信号符号化ユニットを備え、前記第1の信号符号化ユニットが、具体的に、
    前記第Nのフレームのダウンミックス信号が前記音声信号を備えることを前記信号検出ユニットが検出すると、事前設定された音声フレーム符号化レートに従って前記第Nのフレームのダウンミックス信号を符号化すること、または
    前記第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たすと前記信号検出ユニットが判断した場合、事前設定された音声フレーム符号化レートに従って前記第Nのフレームのダウンミックス信号を符号化すること
    を行うように構成され、
    前記第2の信号符号化ユニットが、具体的に、
    前記第Nのフレームのダウンミックス信号が事前設定された音声フレーム符号化条件を満たさないが、事前設定された無音挿入記述子(SID)符号化条件を満たすと前記信号検出ユニットが判断した場合、事前設定されたSIDフレーム符号化レートに従って前記第Nのフレームのダウンミックス信号を符号化することであって、前記SID符号化レートが前記音声フレーム符号化レートよりも大きくない、符号化すること
    を行うように構成され、
    パラメータ生成ユニットが、第1のパラメータ生成ユニットおよび第2のパラメータ生成ユニットを備え、
    前記第1のパラメータ生成ユニットが、前記第Nのフレームのオーディオ信号が前記音声信号を備えることを前記信号検出ユニットが検出する場合、又は前記第Nのフレームのオーディオ信号が前記音声信号を備えないことを前記信号検出ユニットが検出し、前記第Nのフレームのオーディオ信号が前記事前設定された音声フレーム符号化条件を満たすと前記信号検出ユニットが判断する場合、第1のステレオパラメータセット生成方式に基づいて、前記第Nのフレームのオーディオ信号に従って前記第Nのフレームのステレオパラメータセットを取得するように構成され、パラメータ符号化ユニットが前記第Nのフレームのステレオパラメータセットを符号化し、
    前記第2のパラメータ生成ユニットが、前記第Nのフレームのオーディオ信号が前記音声信号を備えないことを前記信号検出ユニットが検出し、前記第Nのフレームのオーディオ信号が前記事前設定された音声フレーム符号化条件を満たさないと前記信号検出ユニットが判断すると、
    第2のステレオパラメータセット生成方式に基づいて、前記第Nのフレームのオーディオ信号に従って前記第Nのフレームのステレオパラメータセットを取得するように構成され、
    前記パラメータ符号化ユニットは、前記第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たすと前記パラメータ検出ユニットが判断すると、前記第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化すること、または前記第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たさないと前記パラメータ検出ユニットが判断すると、前記ステレオパラメータセットの符号化をスキップするように構成され、
    前記第1のステレオパラメータセット生成方式および前記第2のステレオパラメータセット生成方式が、以下の条件のうちの少なくとも1つを満たす：
    ステレオパラメータセットに備えられたステレオパラメータのタイプの数であり、前記第1のステレオパラメータセット生成方式で規定された数は、ステレオパラメータセットに備えられたステレオパラメータのタイプの数であり、前記第2のステレオパラメータセット生成方式で規定された数よりも少なくない、ステレオパラメータセットに備えられたステレオパラメータの数であり、前記第1のステレオパラメータセット生成方式で規定された数は、ステレオパラメータセットに備えられたステレオパラメータの数であり、前記第2のステレオパラメータセット生成方式で規定された数よりも少なくない、ステレオパラメータの時間領域解像度であり、前記第1のステレオパラメータセット生成方式で規定された時間領域解像度は、対応するステレオパラメータの時間領域解像度であり、前記第2のステレオパラメータセット生成方式で規定された時間領域解像度よりも低くない、またはステレオパラメータの周波数領域解像度であり、前記第1のステレオパラメータセット生成方式で規定された周波数領域解像度は、対応するステレオパラメータの周波数領域解像度であり、前記第2のステレオパラメータセット生成方式で規定された周波数領域解像度よりも低くない、
    エンコーダ。
  14. パラメータ生成ユニット、パラメータ符号化ユニット、およびパラメータ検出ユニットをさらに備え、
    前記パラメータ生成ユニットが、前記第Nのフレームのオーディオ信号に従って第Nのフレームのステレオパラメータセットを取得するように構成され、前記第NのフレームのステレオパラメータセットがZ個のステレオパラメータを備え、前記Z個のステレオパラメータが、前記エンコーダが前記所定の第1のアルゴリズムに基づいて前記第Nのフレームのオーディオ信号をミキシングするときに使用されるパラメータを備え、Zが0より大きい正の整数であり、
    前記パラメータ符号化ユニットが、前記第Nのフレームのダウンミックス信号が前記音声信号を備えることを前記信号検出ユニットが検出すると、前記第Nのフレームのステレオパラメータセットを符号化するように構成され、または
    前記パラメータ符号化ユニットが、前記第Nのフレームのダウンミックス信号が前記音声信号を備えないことを前記信号検出ユニットが検出すると、
    前記第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たすと前記パラメータ検出ユニットが判断した場合、前記第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータを符号化すること、もしくは前記第Nのフレームのステレオパラメータセットが事前設定されたステレオパラメータ符号化条件を満たさないと前記パラメータ検出ユニットが判断した場合、前記ステレオパラメータセットの符号化をスキップすること
    を行うように構成される、
    請求項13に記載のエンコーダ。
  15. 前記第Nのフレームのステレオパラメータセット内の前記少なくとも1つのステレオパラメータを符号化するとき、前記パラメータ符号化ユニットが、具体的に、
    事前設定されたステレオパラメータ次元縮小規則に基づいて、前記第Nのフレームのステレオパラメータセット内の前記Z個のステレオパラメータに従ってX個のターゲットステレオパラメータを取得し、前記X個のターゲットステレオパラメータを符号化することであって、Xが0より大きくZ以下の正の整数である、符号化すること
    を行うように構成される、
    請求項14に記載のエンコーダ。
  16. 前記パラメータ符号化ユニットが、第1のパラメータ符号化ユニットおよび第2のパラメータ符号化ユニットを備え、
    前記第1のパラメータ符号化ユニットが、前記第Nのフレームのダウンミックス信号が前記音声信号を備え、前記第Nのフレームのダウンミックス信号が前記音声フレーム符号化条件を満たすことを前記信号検出ユニットが検出すると、第1の符号化方式に従って前記第Nのフレームのステレオパラメータセットを符号化するように構成され、
    前記第2のパラメータ符号化ユニットが、具体的に、前記第Nのフレームのダウンミックス信号が前記音声フレーム符号化条件を満たさないとき、第2の符号化方式に従って前記第Nのフレームのステレオパラメータセット内の前記少なくとも1つのステレオパラメータを符号化するように構成され、
    前記第1の符号化方式で規定された符号化レートが、前記第2の符号化方式で規定された符号化レートよりも小さくなく、かつ／または前記第Nのフレームのステレオパラメータセット内の任意のステレオパラメータについて、前記第1の符号化方式で規定された量子化精度が、第2の符号化方式で規定された量子化精度よりも低くない、
    請求項13から15のいずれか一項に記載のエンコーダ。
  17. 前記第Nのフレームのステレオパラメータセット内の前記少なくとも1つのステレオパラメータがチャネル間レベル差ILDを備える場合、前記事前設定されたステレオパラメータ符号化条件がDL≧D0を備え、
    DLが、前記ILDが第1の規格から逸脱する程度を表し、前記第1の規格が、前記第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセットに従って、所定の第2のアルゴリズムに基づいて決定され、Tが0より大きい正の整数であり、
    前記第Nのフレームのステレオパラメータセット内の前記少なくとも1つのステレオパラメータがチャネル間時間差ITDを備える場合、前記事前設定されたステレオパラメータ符号化条件がDT≧D1を備え、
    DTが、前記ITDが第2の規格から逸脱する程度を表し、前記第2の規格が、前記第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセットに従って、所定の第3のアルゴリズムに基づいて決定され、Tが0より大きい正の整数であり、
    または
    前記第Nのフレームのステレオパラメータセット内の前記少なくとも1つのステレオパラメータがチャネル間位相差IPDを備える場合、前記事前設定されたステレオパラメータ符号化条件がDP≧D2を備え、
    DPが、前記IPDが第3の規格から逸脱する程度を表し、前記第3の規格が、前記第Nのフレームのステレオパラメータセットに先行するTフレームのステレオパラメータセットに従って、所定の第4のアルゴリズムに基づいて決定され、Tが0より大きい正の整数である、
    請求項13から16のいずれか一項に記載のエンコーダ。
  18. DL、DT、およびDPが、それぞれ、以下の式：

    Figure 0006790251
    Figure 0006790251
     および

    Figure 0006790251
     を満たし、
    ILD（m）が、前記第Nのフレームのオーディオ信号が第mのサブ周波数帯域内の前記2つのチャネル上でそれぞれ送信されるときに生じるレベル差であり、Mが、前記第Nのフレームのオーディオ信号を送信するために占有されるサブ周波数帯域の総数であり、

    Figure 0006790251
     が、前記第mのサブ周波数帯域内で前記第Nのフレームのステレオパラメータセットに先行する前記Tフレームのステレオパラメータセット内のILDの平均値であり、Tが0より大きい正の整数であり、ILD［−t］（m）が、前記第Nのフレームのオーディオ信号に先行する第tのフレームのオーディオ信号が、前記第mのサブ周波数帯域内の前記2つのチャネル上でそれぞれ送信されるときに生じるレベル差であり、前記ITDが、前記第Nのフレームのオーディオ信号が前記2つのチャネル上でそれぞれ送信されるときに生じる時間差であり、

    Figure 0006790251
     が、前記第Nのフレームのステレオパラメータセットに先行する前記Tフレームのステレオパラメータセット内のITDの平均値であり、ITD［−t］が、前記第Nのフレームのオーディオ信号に先行する前記第tのフレームのオーディオ信号が前記2つのチャネル上でそれぞれ送信されるときに生じる時間差であり、IPD（m）が、前記第Nのフレームのオーディオ信号の一部が前記第mのサブ周波数帯域内の前記2つのチャネル上でそれぞれ送信されるときに生じる位相差であり、

    Figure 0006790251
     が、前記第mのサブ周波数帯域内の前記第Nのフレームのステレオパラメータセットに先行する前記Tフレームのステレオパラメータセット内のIPDの平均値であり、IPD［−t］（m）が、前記第Nのフレームのオーディオ信号に先行する前記第tのフレームのオーディオ信号が、前記第mのサブ周波数帯域内の前記2つのチャネル上でそれぞれ送信されるときに生じる位相差である、請求項17に記載のエンコーダ。
  19. ビットストリームを受信するように構成された受信ユニットであって、前記ビットストリームが第Nのフレームのステレオパラメータセットおよび少なくとも2つのフレームを備え、前記少なくとも2つのフレームが、少なくとも1つの第1のタイプのフレームおよび少なくとも1つの第2のタイプのフレームを備え、前記第1のタイプのフレームがダウンミックス信号を備え、前記第2のタイプのフレームがダウンミックス信号を備えない、受信ユニットと、
    Nが1より大きい正の整数である第Nのフレームのビットストリームについて、
    前記第Nのフレームのビットストリームが前記第1のタイプのフレームであると判断した場合、第Nのフレームのダウンミックス信号を取得するために、前記第Nのフレームのビットストリームを復号すること、または
    前記第Nのフレームのビットストリームが前記第2のタイプのフレームであると判断した場合、事前設定された第1の規則に従って、第Nのフレームのダウンミックス信号に先行する少なくとも1フレームのダウンミックス信号内のmフレームのダウンミックス信号を特定し、所定の第1のアルゴリズムに基づいて、前記mフレームのダウンミックス信号に従って前記第Nのフレームのダウンミックス信号を取得することであって、mが0より大きい正の整数である、取得すること
    を行うように構成された復号ユニットと
    を備え、
    前記第Nのフレームのダウンミックス信号が、所定の第2のアルゴリズムに基づいて、複数のチャネルのうちの2つのチャネル上で第Nのフレームのオーディオ信号をミキシングすることにより、エンコーダによって取得される、デコーダ。
  20. 前記第1のタイプのフレームがダウンミックス信号とステレオパラメータセットの両方を備え、前記第2のタイプのフレームがステレオパラメータセットを備えるが、ダウンミックス信号を備えず、
    前記復号ユニットが、
    前記第Nのフレームのビットストリームが前記第1のタイプのフレームであると判断された場合、第Nのフレームのステレオパラメータセットを取得するために、前記第Nのフレームのビットストリームを復号すること、または
    前記第Nのフレームのビットストリームが前記第2のタイプのフレームであると判断された場合、第Nのフレームのステレオパラメータセットを取得するために、前記第Nのフレームのビットストリームを復号すること
    を行うようにさらに構成され、
    前記第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータが、所定の第3のアルゴリズムに基づいて、前記第Nのフレームのダウンミックス信号を前記第Nのフレームのオーディオ信号に復元するために、前記デコーダによって使用され、
    前記デコーダが、信号復元ユニットをさらに備え、
    前記信号復元ユニットが、前記所定の第3のアルゴリズムに基づいて、前記第Nのフレームのステレオパラメータセット内の前記少なくとも1つのステレオパラメータに従って、前記第Nのフレームのダウンミックス信号を前記第Nのフレームのオーディオ信号に復元するように構成される、
    請求項19に記載のデコーダ。
  21. 前記第1のタイプのフレームがダウンミックス信号とステレオパラメータセットの両方を備え、前記第2のタイプのフレームがダウンミックス信号もステレオパラメータセットも備えず、
    前記復号ユニットが、
    前記第Nのフレームのビットストリームが前記第1のタイプのフレームであると判断された場合、第Nのフレームのステレオパラメータセットを取得するために、前記第Nのフレームのビットストリームを復号すること、または
    前記第Nのフレームのビットストリームが前記第2のタイプのフレームであると判断された場合、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、前記kフレームのステレオパラメータセットに従って前記第Nのフレームのステレオパラメータセットを取得することであって、kが0より大きい正の整数である、取得すること
    を行うようにさらに構成され、
    前記第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータが、所定の第3のアルゴリズムに基づいて、前記第Nのフレームのダウンミックス信号を前記第Nのフレームのオーディオ信号に復元するために、前記デコーダによって使用され、
    前記デコーダが、信号復元ユニットをさらに備え、
    前記信号復元ユニットが、前記第3のアルゴリズムに基づいて、前記第Nのフレームのステレオパラメータセット内の前記少なくとも1つのステレオパラメータに従って、前記第Nのフレームのダウンミックス信号を前記第Nのフレームのオーディオ信号に復元するように構成される、
    請求項19に記載のデコーダ。
  22. 前記第1のタイプのフレームがダウンミックス信号とステレオパラメータセットの両方を備え、第3のタイプのフレームがステレオパラメータセットを備えるが、ダウンミックス信号を備えず、第4のタイプのフレームがダウンミックス信号もステレオパラメータセットも備えず、前記第3のタイプのフレームおよび前記第4のタイプのフレームの各々が、前記第2のタイプのフレームの1つのケースであり、
    前記復号ユニットが、
    前記第Nのフレームのビットストリームが前記第1のタイプのフレームであると判断された場合、第Nのフレームのステレオパラメータセットを取得するために、前記第Nのフレームのビットストリームを復号すること、または
    前記第Nのフレームのビットストリームが前記第2のタイプのフレームであると判断された場合、前記第Nのフレームのビットストリームが前記第3のタイプのフレームであるとき、第Nのフレームのステレオパラメータセットを取得するために、前記第Nのフレームのビットストリームを復号すること、もしくは前記第Nのフレームのビットストリームが前記第4のタイプのフレームであるとき、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、前記kフレームのステレオパラメータセットに従って前記第Nのフレームのステレオパラメータセットを取得することであって、kが0より大きい正の整数である、取得すること
    を行うようにさらに構成され、
    前記第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータが、所定の第3のアルゴリズムに基づいて、前記第Nのフレームのダウンミックス信号を前記第Nのフレームのオーディオ信号に復元するために、前記デコーダによって使用され、
    前記デコーダが、信号復元ユニットをさらに備え、
    前記信号復元ユニットが、前記第3のアルゴリズムに基づいて、前記第Nのフレームのステレオパラメータセット内の前記少なくとも1つのステレオパラメータに従って、前記第Nのフレームのダウンミックス信号を前記第Nのフレームのオーディオ信号に復元するように構成される、
    請求項19に記載のデコーダ。
  23. 第5のタイプのフレームがダウンミックス信号とステレオパラメータセットの両方を備え、第6のタイプのフレームがダウンミックス信号を備えるが、ステレオパラメータセットを備えず、前記第5のタイプのフレームおよび前記第6のタイプのフレームの各々が、前記第1のタイプのフレームの1つのケースであり、前記第2のタイプのフレームがダウンミックス信号もステレオパラメータセットも備えず、
    前記復号ユニットが、
    前記第Nのフレームのビットストリームが前記第1のタイプのフレームであると判断された場合、前記第Nのフレームのビットストリームが前記第5のタイプのフレームであるとき、第Nのフレームのステレオパラメータセットを取得するために、前記第Nのフレームのビットストリームを復号すること、もしくは前記第Nのフレームのビットストリームが前記第6のタイプのフレームであるとき、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、前記kフレームのステレオパラメータセットに従って前記第Nのフレームのステレオパラメータセットを取得すること、または
    前記第Nのフレームのビットストリームが前記第2のタイプのフレームであると判断された場合、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、前記kフレームのステレオパラメータセットに従って前記第Nのフレームのステレオパラメータセットを取得すること
    を行うようにさらに構成され、
    前記第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータが、所定の第3のアルゴリズムに基づいて、前記第Nのフレームのダウンミックス信号を前記第Nのフレームのオーディオ信号に復元するために、前記デコーダによって使用され、kが0より大きい正の整数であり、
    前記デコーダが、信号復元ユニットをさらに備え、
    前記信号復元ユニットが、前記第3のアルゴリズムに基づいて、前記第Nのフレームのステレオパラメータセット内の前記少なくとも1つのステレオパラメータに従って、前記第Nのフレームのダウンミックス信号を前記第Nのフレームのオーディオ信号に復元するように構成される、
    請求項19に記載のデコーダ。
  24. 第5のタイプのフレームがダウンミックス信号とステレオパラメータセットの両方を備え、第6のタイプのフレームがダウンミックス信号を備えるが、ステレオパラメータセットを備えず、前記第5のタイプのフレームおよび前記第6のタイプのフレームの各々が、前記第1のタイプのフレームの1つのケースであり、第3のタイプのフレームがステレオパラメータセットを備えるが、ダウンミックス信号を備えず、第4のタイプのフレームがダウンミックス信号もステレオパラメータセットも備えず、前記第3のタイプのフレームおよび前記第4のタイプのフレームの各々が、前記第2のタイプのフレームの1つのケースであり、
    前記復号ユニットが、
    前記第Nのフレームのビットストリームが前記第1のタイプのフレームであると判断された場合、前記第Nのフレームのビットストリームが前記第5のタイプのフレームであるとき、第Nのフレームのステレオパラメータセットを取得するために、前記第Nのフレームのビットストリームを復号すること、もしくは前記第Nのフレームのビットストリームが前記第6のタイプのフレームであるとき、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、前記kフレームのステレオパラメータセットに従って前記第Nのフレームのステレオパラメータセットを取得すること、または
    前記第Nのフレームのビットストリームが前記第2のタイプのフレームであると判断された場合、前記第Nのフレームのビットストリームが前記第3のタイプのフレームであるとき、第Nのフレームのステレオパラメータセットを取得するために、前記第Nのフレームのビットストリームを復号すること、もしくは前記第Nのフレームのビットストリームが前記第4のタイプのフレームであるとき、事前設定された第2の規則に従って、第Nのフレームのステレオパラメータセットに先行する少なくとも1フレームのステレオパラメータセット内のkフレームのステレオパラメータセットを特定し、所定の第4のアルゴリズムに基づいて、前記kフレームのステレオパラメータセットに従って前記第Nのフレームのステレオパラメータセットを取得すること
    を行うようにさらに構成され、
    前記第Nのフレームのステレオパラメータセット内の少なくとも1つのステレオパラメータが、所定の第3のアルゴリズムに基づいて、前記第Nのフレームのダウンミックス信号を前記第Nのフレームのオーディオ信号に復元するために、前記デコーダによって使用され、kが0より大きい正の整数であり、
    前記デコーダが、信号復元ユニットをさらに備え、
    前記信号復元ユニットが、前記所定の第3のアルゴリズムに基づいて、前記第Nのフレームのステレオパラメータセット内の前記少なくとも1つのステレオパラメータに従って、前記第Nのフレームのダウンミックス信号を前記第Nのフレームのオーディオ信号に復元するように構成される、
    請求項19に記載のデコーダ。
  25. 請求項13から18のいずれか一項に記載のエンコーダと、請求項19から24のいずれか一項に記載のデコーダとを備える、符号化および復号システム。
JP2019516957A 2016-09-28 2016-09-28 マルチチャネルオーディオ信号処理方法、装置、およびシステム Active JP6790251B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2016/100617 WO2018058379A1 (zh) 2016-09-28 2016-09-28 一种处理多声道音频信号的方法、装置和系统

Publications (2)

Publication Number Publication Date
JP2019533189A JP2019533189A (ja) 2019-11-14
JP6790251B2 true JP6790251B2 (ja) 2020-11-25

Family

ID=61763024

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019516957A Active JP6790251B2 (ja) 2016-09-28 2016-09-28 マルチチャネルオーディオ信号処理方法、装置、およびシステム

Country Status (8)

Country Link
US (5) US10593339B2 (ja)
EP (2) EP3511934B1 (ja)
JP (1) JP6790251B2 (ja)
KR (3) KR20190052122A (ja)
CN (5) CN117351965A (ja)
MX (1) MX395045B (ja)
MY (1) MY200195A (ja)
WO (1) WO2018058379A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6790251B2 (ja) * 2016-09-28 2020-11-25 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． マルチチャネルオーディオ信号処理方法、装置、およびシステム
CN110556119B (zh) 2018-05-31 2022-02-18 华为技术有限公司 一种下混信号的计算方法及装置
KR20210154807A (ko) * 2019-04-18 2021-12-21 돌비 레버러토리즈 라이쎈싱 코오포레이션 다이얼로그 검출기
DK4165629T3 (da) * 2020-06-11 2025-06-02 Dolby Laboratories Licensing Corp Fremgangsmåder og indretninger til kodning og afkodning af rumlig baggrundsstøj i et multikanalsindgangssignal
CN115917643B (zh) * 2020-06-24 2025-05-02 日本电信电话株式会社 声音信号解码方法、声音信号解码装置、计算机程序产品以及记录介质
JP7614328B2 (ja) * 2020-07-30 2025-01-15 フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン オーディオ信号を符号化する、又は符号化オーディオシーンを復号化する装置、方法及びコンピュータープログラム
CN115410584A (zh) * 2021-05-28 2022-11-29 华为技术有限公司 多声道音频信号的编码方法和装置
WO2024051955A1 (en) * 2022-09-09 2024-03-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder and decoding method for discontinuous transmission of parametrically coded independent streams with metadata
CN119895493A (zh) * 2022-09-13 2025-04-25 瑞典爱立信有限公司 自适应声道间时间差估计

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0713586B2 (ja) 1987-02-20 1995-02-15 三機工業株式会社 自動車エンジン実験用移動油水制御装置
JP2835483B2 (ja) * 1993-06-23 1998-12-14 松下電器産業株式会社 音声判別装置と音響再生装置
JP2728122B2 (ja) * 1995-05-23 1998-03-18 日本電気株式会社 無音圧縮音声符号化復号化装置
WO1998041978A1 (en) * 1997-03-19 1998-09-24 Hitachi, Ltd. Method and device for detecting starting and ending points of sound section in video
EP1238489B1 (en) * 1999-12-13 2008-03-05 Broadcom Corporation Voice gateway with downstream voice synchronization
JP3526269B2 (ja) 2000-12-11 2004-05-10 株式会社東芝 ネットワーク間中継装置及び該中継装置における転送スケジューリング方法
US7657706B2 (en) 2003-12-18 2010-02-02 Cisco Technology, Inc. High speed memory and input/output processor subsystem for efficiently allocating and using high-speed memory and slower-speed memory
KR100888474B1 (ko) 2005-11-21 2009-03-12 삼성전자주식회사 멀티채널 오디오 신호의 부호화/복호화 장치 및 방법
JP2008286904A (ja) * 2007-05-16 2008-11-27 Panasonic Corp オーディオ複号化装置
CN101320563B (zh) * 2007-06-05 2012-06-27 华为技术有限公司 一种背景噪声编码/解码装置、方法和通信设备
EP2218068A4 (en) * 2007-11-21 2010-11-24 Lg Electronics Inc METHOD AND APPARATUS FOR SIGNAL PROCESSING
EP2144229A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient use of phase information in audio encoding and decoding
KR101797033B1 (ko) * 2008-12-05 2017-11-14 삼성전자주식회사 부호화 모드를 이용한 음성신호의 부호화/복호화 장치 및 방법
CN101556799B (zh) * 2009-05-14 2013-08-28 华为技术有限公司 一种音频解码方法和音频解码器
CN101661749A (zh) * 2009-09-23 2010-03-03 清华大学 一种语音和音乐双模切换编/解码的方法
KR101137652B1 (ko) * 2009-10-14 2012-04-23 광운대학교 산학협력단 천이 구간에 기초하여 윈도우의 오버랩 영역을 조절하는 통합 음성/오디오 부호화/복호화 장치 및 방법
US9324337B2 (en) * 2009-11-17 2016-04-26 Dolby Laboratories Licensing Corporation Method and system for dialog enhancement
JP5299327B2 (ja) 2010-03-17 2013-09-25 ソニー株式会社 音声処理装置、音声処理方法、およびプログラム
EP2609592B1 (en) 2010-08-24 2014-11-05 Dolby International AB Concealment of intermittent mono reception of fm stereo radio receivers
US8831937B2 (en) * 2010-11-12 2014-09-09 Audience, Inc. Post-noise suppression processing to improve voice quality
CN103180899B (zh) 2010-11-17 2015-07-22 松下电器（美国）知识产权公司 立体声信号的编码装置、解码装置、编码方法及解码方法
WO2013068634A1 (en) * 2011-11-10 2013-05-16 Nokia Corporation A method and apparatus for detecting audio sampling rate
CN103188595B (zh) * 2011-12-31 2015-05-27 展讯通信（上海）有限公司 处理多声道音频信号的方法和系统
US9036526B2 (en) * 2012-11-08 2015-05-19 Qualcomm Incorporated Voice state assisted frame early termination
US9905232B2 (en) 2013-05-31 2018-02-27 Sony Corporation Device and method for encoding and decoding of an audio signal
CN105304080B (zh) * 2015-09-22 2019-09-03 科大讯飞股份有限公司 语音合成装置及方法
US10319385B2 (en) * 2015-09-25 2019-06-11 Voiceage Corporation Method and system for encoding left and right channels of a stereo sound signal selecting between two and four sub-frames models depending on the bit budget
US20170134282A1 (en) 2015-11-10 2017-05-11 Ciena Corporation Per queue per service differentiation for dropping packets in weighted random early detection
JP6790251B2 (ja) * 2016-09-28 2020-11-25 華為技術有限公司Ｈｕａｗｅｉ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｃｏ．，Ｌｔｄ． マルチチャネルオーディオ信号処理方法、装置、およびシステム
CN109285536B (zh) * 2018-11-23 2022-05-13 出门问问创新科技有限公司 一种语音特效合成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
US20210312932A1 (en) 2021-10-07
MY200195A (en) 2023-12-13
US20200273468A1 (en) 2020-08-27
CN108140393A (zh) 2018-06-08
EP3511934B1 (en) 2021-04-21
US12315522B2 (en) 2025-05-27
KR20210111898A (ko) 2021-09-13
US20240233736A1 (en) 2024-07-11
US10984807B2 (en) 2021-04-20
EP3511934A4 (en) 2019-08-14
CN117392988A (zh) 2024-01-12
KR20220053030A (ko) 2022-04-28
US11922954B2 (en) 2024-03-05
BR112019005983A2 (pt) 2019-10-01
US10593339B2 (en) 2020-03-17
US20190221219A1 (en) 2019-07-18
KR102480710B1 (ko) 2022-12-22
EP3511934A1 (en) 2019-07-17
EP3910629A1 (en) 2021-11-17
JP2019533189A (ja) 2019-11-14
CN117351965A (zh) 2024-01-05
MX395045B (es) 2025-03-24
CN117351966A (zh) 2024-01-05
MX2019003417A (es) 2019-10-07
CN117476018A (zh) 2024-01-30
WO2018058379A1 (zh) 2018-04-05
US20250329336A1 (en) 2025-10-23
KR102387162B1 (ko) 2022-04-14
CN108140393B (zh) 2023-10-20
KR20190052122A (ko) 2019-05-15

Similar Documents

Publication Publication Date Title
JP6790251B2 (ja) マルチチャネルオーディオ信号処理方法、装置、およびシステム
US10089997B2 (en) Method for predicting high frequency band signal, encoding device, and decoding device
KR101449434B1 (ko) 복수의 가변장 부호 테이블을 이용한 멀티 채널 오디오를부호화/복호화하는 방법 및 장치
JP2022126688A (ja) 快適雑音の生成のサポート
EP2702588B1 (en) Method for parametric spatial audio coding and decoding, parametric spatial audio coder and parametric spatial audio decoder
US9123328B2 (en) Apparatus and method for audio frame loss recovery
US20250210051A1 (en) Encoder and encoding method for discontinuous transmission of parametrically coded independent streams with metadata
KR20120069906A (ko) 묵음 구간 정보를 사용한 오디오 신호의 부호화/복호화 장치 및 방법
BR112019005983B1 (pt) Método de processamento de sinal de áudio de multicanais, codificador, decodificador e sistema de codificação e decodificação
EP4584783A1 (en) Decoder and decoding method for discontinuous transmission of parametrically coded independent streams with metadata

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190508

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190508

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200529

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200615

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200915

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201005

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201104

R150 Certificate of patent or registration of utility model

Ref document number: 6790251

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250