WO2011114932A1 - 音声処理装置、音声処理方法、およびプログラム - Google Patents

音声処理装置、音声処理方法、およびプログラム Download PDF

Info

Publication number
WO2011114932A1
WO2011114932A1 PCT/JP2011/055293 JP2011055293W WO2011114932A1 WO 2011114932 A1 WO2011114932 A1 WO 2011114932A1 JP 2011055293 W JP2011055293 W JP 2011055293W WO 2011114932 A1 WO2011114932 A1 WO 2011114932A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
unit
frequency
time domain
channels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2011/055293
Other languages
English (en)
French (fr)
Inventor
戸栗　康裕
鈴木　志朗
松本　淳
前田　祐児
松村　祐樹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201180013301.2A priority Critical patent/CN102792369B/zh
Priority to BR112012022784A priority patent/BR112012022784A2/pt
Priority to US13/583,839 priority patent/US8977541B2/en
Priority to EP11756121.7A priority patent/EP2525352B1/en
Publication of WO2011114932A1 publication Critical patent/WO2011114932A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G10L19/0212—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using orthogonal transformation

Definitions

  • the present invention relates to an audio processing device, an audio processing method, and a program, and in particular, when a multi-channel audio signal is downmixed and encoded, increases the delay and the amount of calculation when decoding the audio signal.
  • the present invention relates to a voice processing device, a voice processing method, and a program that can be suppressed.
  • An encoding device that encodes a multi-channel audio signal can perform highly efficient encoding by performing encoding using the relationship between channels. Examples of such encoding include intensity encoding, M / S stereo encoding, and spatial encoding.
  • An encoding apparatus that performs spatial encoding downmixes an n-channel audio signal into an m-channel (m ⁇ n) audio signal and encodes it, and obtains a spatial parameter that represents the relationship between the channels during the downmix. The spatial parameter is transmitted together with the encoded data.
  • a decoding device that receives the spatial parameter and the encoded data decodes the encoded data, and restores the original n-channel audio signal from the m-channel audio signal obtained as a result of the decoding, using the spatial parameter.
  • BC parameters Spatial parameters
  • ILD Inter-channel Level Difference
  • IPD Inter-channel Phase Difference
  • ICC Inter-channel Correlation
  • the ILD is a parameter indicating a ratio of signal sizes between channels.
  • IPD is a parameter indicating a phase difference between channels
  • ICC is a parameter indicating a correlation between channels.
  • FIG. 1 is a block diagram illustrating a configuration example of an encoding device that performs spatial encoding.
  • the audio signal to be encoded is a stereo audio signal (hereinafter referred to as a stereo signal), and the encoded data obtained as a result of encoding is encoded data of a monaural audio signal (hereinafter referred to as a monaural signal). .
  • the encoding apparatus 10 in FIG. 1 includes a channel downmix unit 11, a spatial parameter detection unit 12, an audio signal encoding unit 13, and a multiplexing unit 14.
  • the encoding apparatus 10 the stereo signal consisting of audio signals X L and the audio signal X R for right for left is input as coded, coding device 10 outputs the encoded data of monaural signal.
  • the channel downmixing unit 11 of the encoding device 10 downmixing a stereo signal input as coded into a monaural signal X M. Then, the channel downmix unit 11 supplies the monaural signal to the spatial parameter detection unit 12 and the audio signal encoding unit 13.
  • Spatial parameter detection unit 12 a monaural signal X M supplied from the channel downmixing unit 11, based on the stereo signal input as coded detects BC parameters, supplied to the multiplexer 14.
  • the audio signal encoding unit 13 encodes the monaural signal supplied from the channel downmix unit 11 and supplies the encoded data obtained as a result to the multiplexing unit 14.
  • the multiplexing unit 14 multiplexes the encoded data supplied from the audio signal encoding unit 13 and the BC parameter supplied from the spatial parameter detection unit 12 and outputs the multiplexed data.
  • FIG. 2 is a block diagram showing a configuration example of the audio signal encoding unit 13 of FIG.
  • the configuration of the audio signal encoding unit 13 in FIG. 2 is performed when the audio signal encoding unit 13 performs encoding using, for example, an MPEG-2 AAC LC (Moving Picture Experts Group phase 2 Advanced Audio Coding Low Complexity) profile scheme. It is a configuration. However, in order to simplify the description, the configuration is simplified in FIG.
  • the audio signal encoding unit 13 in FIG. 2 includes an MDCT (Modified Discrete Cosine Transform) unit 21, a spectrum quantization unit 22, an entropy encoding unit 23, and a multiplexing unit 24.
  • MDCT Modified Discrete Cosine Transform
  • the MDCT unit 21 performs MDCT on the monaural signal supplied from the channel downmix unit 11, and converts the monaural signal, which is a time domain signal, into MDCT coefficients, which are frequency domain coefficients.
  • the MDCT unit 21 supplies the MDCT coefficient obtained as a result of the conversion to the spectrum quantization unit 22 as a frequency spectrum coefficient.
  • the spectrum quantization unit 22 quantizes the frequency spectrum coefficient supplied from the MDCT unit 21 and supplies it to the entropy encoding unit 23. Further, the spectrum quantization unit 22 supplies quantization information, which is information related to the quantization, to the multiplexing unit 24. Quantization information includes scale factor, quantization bit information, and the like.
  • the entropy coding unit 23 performs entropy coding such as Huffman coding and arithmetic coding on the quantized frequency spectrum coefficient supplied from the spectrum quantization unit 22 and performs lossless compression.
  • the entropy encoding unit 23 supplies data obtained as a result of entropy encoding to the multiplexing unit 24.
  • the multiplexing unit 24 multiplexes the data supplied from the entropy encoding unit 23 and the quantization information supplied from the spectrum quantization unit 22, and uses the resulting data as encoded data as the multiplexing unit 14 ( 1).
  • FIG. 3 is a block diagram showing another configuration example of the audio signal encoding unit 13 of FIG.
  • the configuration of the audio signal encoding unit 13 in FIG. 3 is a configuration in the case where encoding is performed by a scheme such as an MPEG-2 AAC SSR (Scalable Sample Rate) profile or MP3 (MPEG Audio Layer-3). .
  • a scheme such as an MPEG-2 AAC SSR (Scalable Sample Rate) profile or MP3 (MPEG Audio Layer-3).
  • MP3 MPEG Audio Layer-3
  • the audio signal encoding unit 13 in FIG. 3 includes an analysis filter bank 31, MDCT units 32-1 to 32-N (N is an arbitrary integer), a spectrum quantization unit 33, an entropy encoding unit 34, and a multiplexing unit 35. Consists of.
  • the analysis filter bank 31 includes a QMF (Quadrature Mirror Filterbank) bank, a PQF (Poly-phase Quadrature Filter) bank, and the like.
  • the analysis filter bank 31 divides the monaural signal supplied from the channel downmix unit 11 into N groups according to the frequency.
  • the analysis filter bank 31 supplies the N subband signals obtained as a result of the division to the MDCT units 32-1 to 32-N, respectively.
  • Each of the MDCT units 32-1 to 32-N performs MDCT on the subband signal supplied from the analysis filter bank 31, and converts the subband signal that is a time domain signal into an MDCT coefficient that is a frequency domain coefficient. To do.
  • the MDCT units 32-1 to 32-N supply the MDCT coefficients of the respective subband signals to the spectrum quantization unit 33 as frequency spectrum coefficients.
  • the spectrum quantization unit 33 quantizes the N frequency spectrum coefficients supplied from the MDCT units 32-1 to 32-N, and supplies the quantized values to the entropy coding unit 34. Further, the spectrum quantization unit 33 supplies the quantization information of the quantization to the multiplexing unit 35.
  • the entropy coding unit 34 performs entropy coding such as Huffman coding and arithmetic coding on each of the N quantized frequency spectrum coefficients supplied from the spectrum quantization unit 33 and performs lossless compression. .
  • the entropy encoding unit 34 supplies N data obtained as a result of entropy encoding to the multiplexing unit 35.
  • the multiplexing unit 35 multiplexes the N pieces of data supplied from the entropy encoding unit 34 and the quantization information supplied from the spectrum quantization unit 33, and multiplexes the resulting data as encoded data. It supplies to the part 14 (FIG. 1).
  • FIG. 4 is a block diagram illustrating a configuration example of a decoding device that decodes the encoded data spatially encoded by the encoding device 10 of FIG.
  • the decoding device 40 decodes the encoded data supplied from the encoding device in FIG. 1 and generates a stereo signal.
  • the demultiplexing unit 41 of the decoding device 40 performs demultiplexing on the multiplexed encoded data supplied from the encoding device 10 of FIG. 1, and converts the encoded data and BC parameters. obtain.
  • the demultiplexer 41 supplies the encoded data to the audio signal decoder 42 and supplies the BC parameters to the generation parameter calculator 43.
  • Audio signal decoding unit 42 decodes the encoded data supplied from the demultiplexer 41, and supplies the monaural signal X M is a time-domain signal obtained as a result of the stereo signal generator 44.
  • the generation parameter calculation unit 43 uses the BC parameter supplied from the demultiplexing unit 41, and is a parameter for generating a stereo signal from a monaural signal that is a decoding result of encoded data multiplexed together with the BC parameter. Calculate the parameters.
  • the generation parameter calculation unit 43 supplies the generation parameter to the stereo signal generation unit 44.
  • the stereo signal generation unit 44 uses the generation parameter supplied from the generation parameter calculation unit 43 to generate the left audio signal X L and the right audio signal X from the monaural signal X M supplied from the audio signal decoding unit 42. R is generated. Stereo signal generation unit 44 outputs the audio signal X L and the audio signal X R for the right for the left stereo signal.
  • FIG. 5 is a block diagram illustrating a configuration example of the audio signal decoding unit 42 of FIG.
  • the configuration of the audio signal decoding unit 42 in FIG. 5 is a configuration in the case where encoded data encoded by, for example, the MPEG-2 AAC ⁇ LC profile method is input to the decoding device 40. That is, the audio signal decoding unit 42 in FIG. 5 decodes the encoded data encoded by the audio signal encoding unit 13 in FIG.
  • the audio signal decoding unit 42 in FIG. 5 includes a demultiplexing unit 51, an entropy decoding unit 52, a spectrum dequantization unit 53, and an IMDCT unit 54.
  • the demultiplexing unit 51 performs demultiplexing on the encoded data supplied from the demultiplexing unit 41 in FIG. 4 and obtains frequency spectrum coefficients and quantization information that are quantized and entropy-coded.
  • the demultiplexing unit 51 supplies the quantized and entropy-encoded frequency spectrum coefficient to the entropy decoding unit 52 and supplies the quantization information to the spectrum dequantization unit 53.
  • the entropy decoding unit 52 performs entropy decoding such as Huffman decoding and arithmetic decoding on the frequency spectrum coefficient supplied from the demultiplexing unit 51, and restores the quantized frequency spectrum coefficient.
  • the entropy decoding unit 52 supplies the frequency spectrum coefficient to the spectrum inverse quantization unit 53.
  • the spectrum dequantization unit 53 dequantizes the quantized frequency spectrum coefficient supplied from the entropy decoding unit 52 based on the quantization information supplied from the demultiplexing unit 51 to restore the frequency spectrum coefficient. . Then, the spectrum inverse quantization unit 53 supplies the frequency spectrum coefficient to an IMDCT (Inverse MDCT) (inverse corrected cosine transform) unit 54.
  • IMDCT Inverse MDCT
  • IMDCT unit 54 performs IMDCT on the frequency spectrum coefficients supplied from the spectrum inverse quantization unit 53, converts the frequency spectral coefficients in the mono signal X M is a time domain signal. IMDCT unit 54 supplies the monaural signal X M to the stereo signal generator 44 (FIG. 4).
  • FIG. 6 is a block diagram showing another configuration example of the audio signal decoding unit 42 of FIG.
  • the configuration of the audio signal decoding unit 42 in FIG. 6 is a configuration in the case where encoded data encoded by, for example, an MPEG-2 AAC SSR profile or a method such as MP3 is input to the decoding device 40. That is, the audio signal decoding unit 42 in FIG. 6 decodes the encoded data encoded by the audio signal encoding unit 13 in FIG.
  • a demultiplexing unit 61 includes a demultiplexing unit 61, an entropy decoding unit 62, a spectral dequantization unit 63, IMDCT units 64-1 to 64-N, and a synthesis filter bank 65.
  • the demultiplexing unit 61 demultiplexes the encoded data supplied from the demultiplexing unit 41 of FIG. 4, and frequency spectrum coefficients of the N subband signals that are quantized and entropy-coded. And get the quantization information.
  • the demultiplexing unit 61 supplies the frequency spectrum coefficients of the N subband signals that have been quantized and entropy-coded to the entropy decoding unit 62, and supplies the quantization information to the spectrum dequantization unit 63.
  • the entropy decoding unit 62 performs entropy decoding such as Huffman decoding and arithmetic decoding on each of the frequency spectral coefficients of the N subband signals supplied from the demultiplexing unit 61 and supplies the result to the spectral dequantization unit 63. To do.
  • the spectrum inverse quantization unit 63 calculates the frequency spectrum coefficients of the N subband signals obtained as a result of entropy decoding supplied from the entropy decoding unit 62. Dequantize each. As a result, the frequency spectrum coefficients of the N subband signals are restored.
  • the spectrum inverse quantization unit 63 supplies the frequency spectrum coefficients of the restored N subband signals to the IMDCT units 64-1 to 64-N one by one.
  • the IMDCT units 64-1 to 64-N perform IMDCT on the frequency spectrum coefficients supplied from the spectrum inverse quantization unit 63, and convert the frequency spectrum coefficients into subband signals that are time domain signals.
  • the IMDCT units 64-1 to 64-N supply the subband signals obtained as a result of the conversion to the synthesis filter bank 65, respectively.
  • the synthesis filter bank 65 is composed of inverse PQF, inverse QMF, and the like. Synthesis filter bank 65 synthesizes the N sub-band signals supplied from the IMDCT unit 64-1 to 64-N, the stereo signal generator 44 (FIG. 4) a signal obtained as a result monaural signal X M Supply.
  • FIG. 7 is a block diagram illustrating a configuration example of the stereo signal generation unit 44 of FIG.
  • reverberation signal generation unit 71 includes a reverberation signal generation unit 71 and a stereo synthesis unit 72.
  • Reverberation signal generation unit 71 using the monaural signal X M supplied from the audio signal decoding unit 42 of FIG. 4, it is this mono signal X M generates an uncorrelated signal X D.
  • a comb filter, an all-pass filter, or the like is generally used as the reverberation signal generation unit 71.
  • the reverberation signal generator 71 generates a reverberation (reverb) signal of the monaural signal X M as a signal X D.
  • a feedback delay network (Feedback Delay Network (FDN)) may be used as the reverberation signal generation unit 71 (see, for example, Patent Document 1).
  • FDN Feedback Delay Network
  • the reverberation signal generation unit 71 supplies the generated signal XD to the stereo synthesis unit 72.
  • Stereo synthesis unit 72 uses the generated parameters supplied from the generation parameter calculation unit 43 in FIG. 4, a monophonic signal X M supplied from the audio signal decoding unit 42 of FIG. 4, is supplied from the reverberation signal generator 71 It synthesizes the signal X D that. Then, the stereo synthesis unit 72 outputs the audio signal X L and the audio signal X R for the right for a left obtained as a result of synthesis as a stereo signal.
  • FIG. 8 is a block diagram showing another configuration example of the stereo signal generation unit 44 of FIG.
  • 8 includes an analysis filter bank 81, subband stereo signal generation units 82-1 to 82-P (P is an arbitrary number), and a synthesis filter bank 83.
  • the BC parameter is detected for each subband signal in the spatial parameter detection unit 12 of the encoding device 10 in FIG.
  • the spatial parameter detection unit 12 has two analysis filter banks. Then, the spatial parameter detection unit 12 divides the stereo signal by frequency in one analysis filter bank, and divides the monaural signal from the channel downmix unit 11 by frequency in the other analysis filter bank. The spatial parameter detector 12 detects the BC parameter for each subband signal based on the subband signal of the stereo signal and the subband signal of the monaural signal obtained as a result of the division. Then, the BC parameter of each subband signal is supplied from the demultiplexing unit 41 to the generation parameter calculation unit 43 in FIG. 4, and the generation parameter calculation unit 43 generates a generation parameter for each subband signal.
  • the analysis filter bank 81 is configured by a QMF (Quadrature Mirror Filter) bank or the like. Analysis filter bank 81 is divided into P-number of groups by frequency monaural signal X M supplied from the audio signal decoding unit 42 of FIG. The analysis filter bank 81 supplies P subband signals obtained as a result of the division to the subband stereo signal generators 82-1 to 82-P, respectively.
  • QMF Quadrature Mirror Filter
  • the subband stereo signal generation units 82-1 to 82-P are each composed of a reverberation signal generation unit and a stereo synthesis unit. Since the subband stereo signal generation units 82-1 to 82-P have the same configuration, only the subband stereo signal generation unit 82-B will be described here.
  • the subband stereo signal generation unit 82 -B includes a reverberation signal generation unit 91 and a stereo synthesis unit 92.
  • the reverberation signal generation unit 91 uses the monaural subband signal X m B supplied from the analysis filter bank 81 to generate a signal X D B unrelated to the subband signal X m B, and the signal X D B is supplied to the stereo synthesis unit 92.
  • Stereo synthesis unit 92 using the generation parameter of the sub-band signals X m B supplied from the generation parameter calculation unit 43 in FIG. 4, the sub-band signals X m B supplied from the analyzing filter bank 81, the reverberation signal generator It synthesizes the signal X D B supplied from the parts 91. Then, the stereo synthesizing unit 92 supplies the left audio signal X L B and the right audio signal X R B obtained as a result of the synthesis to the synthesis filter bank 83 as subband signals of the stereo signal.
  • the synthesis filter bank 83 synthesizes the stereo signals of the respective subband signals supplied from the subband stereo signal generation units 82-1 to 82-P for the left and the right. Synthesis filter bank 83 outputs the audio signal X L and the audio signal X R for the right for the left a resulting stereo signal.
  • the coding apparatus that performs intensity coding mixes the frequency spectrum coefficients of each channel having a frequency equal to or higher than a predetermined frequency band of the input stereo signal, and generates a frequency spectrum coefficient of the monaural signal. Then, the encoding device outputs the frequency spectrum coefficient of the monaural signal and the level ratio of the frequency spectrum coefficient between channels as an encoding result.
  • an encoding apparatus that performs intensity coding performs MDCT conversion on a stereo signal, and among the frequency spectrum coefficients of each channel obtained as a result, each channel having a frequency equal to or higher than a predetermined frequency band. Mix frequency spectrum coefficients for common use. Then, an encoding apparatus that performs intensity encoding quantizes the shared frequency spectrum coefficient and performs entropy encoding, and multiplexes the resulting data with the quantization information to obtain encoded data. Also, an encoding apparatus that performs intensity encoding obtains a level ratio of frequency spectrum coefficients between channels, multiplexes the level ratio with encoded data, and outputs the result.
  • a decoding apparatus that performs intensity decoding performs demultiplexing on encoded data in which the level ratio of frequency spectrum coefficients between channels is multiplexed, entropy decodes the resulting encoded data, and performs quantum quantization. Inverse quantization is performed based on the quantization information.
  • the decoding apparatus that performs intensity decoding is based on the frequency spectrum coefficient obtained as a result of inverse quantization and the frequency ratio of the frequency spectrum coefficient between the channels multiplexed in the encoded data. Restore spectral coefficients. Then, the decoding apparatus that performs intensity decoding performs IMDCT on the restored frequency spectrum coefficient of each channel to obtain a stereo signal having a frequency equal to or higher than a predetermined frequency band.
  • the decoding apparatus 40 which decodes the conventional spatial coded data is irrelevant signal and monaural signal X M used in the generation of a stereo signal X D and signal X D 1 to X D the P, and generated using the monaural signal X M is a time domain signal.
  • the signal X D or reverberation signal generator 71 which generates a signal X D 1 to X D analysis to generate a P filter bank 81 and the sub-band stereo signal generating unit 82-1 to 82-P of the reverberation signal generator 91 causes a delay, and the algorithm delay of the decoding device 40 increases. This becomes a problem when low delay characteristics become important, for example, when an immediate response characteristic is required for the decoding apparatus 40 or when the decoding apparatus 40 is used for real-time communication.
  • the amount of calculation increases due to the reverberation signal generation unit 71 and the filter calculation in the reverberation signal generation unit 91 of the analysis filter bank 81 and the subband stereo signal generation units 82-1 to 82-P, and the necessary buffer capacity is also increased. Increase.
  • the present invention has been made in view of such a situation, and when a multi-channel audio signal is downmixed and encoded, it suppresses an increase in delay and calculation amount when the audio signal is decoded. It is something that can be done.
  • an audio processing device including: a frequency domain coefficient of an audio signal of a channel less than the plurality of channels generated from an audio signal that is a time domain signal of an audio of a plurality of channels; Acquisition means for acquiring a parameter representing a relationship; first conversion means for converting the frequency domain coefficient acquired by the acquisition means into a first time domain signal; and the acquisition acquired by the acquisition means.
  • Synthesis means for generating an audio signal of the channel, and a basis for conversion by the first conversion means and a basis for conversion by the second conversion means Is a sound processing apparatus orthogonal.
  • the audio processing method and program according to one aspect of the present invention correspond to the audio processing apparatus according to one aspect of the present invention.
  • the frequency domain coefficient of the audio signal of the channel less than the plurality of channels generated from the audio signal that is the time domain signal of the audio of the plurality of channels and the relationship between the channels of the plurality of channels are represented.
  • Parameters are acquired, the acquired frequency domain coefficients are converted to a first time domain signal, and the acquired frequency domain coefficients are converted to a second time domain signal, using the parameters Then, the first time domain signal and the second time domain signal are combined to generate the audio signals of the plurality of channels.
  • the basis in the conversion to the first time domain signal is orthogonal to the basis in the conversion to the second time domain signal.
  • the audio processing device may be an independent device or an internal block constituting one device.
  • FIG. 2 is a block diagram illustrating a configuration example of an audio signal encoding unit in FIG. 1. It is a block diagram which shows the other structural example of the audio signal encoding part of FIG. It is a block diagram which shows the structural example of the decoding apparatus which decodes the coding data by which space coding was carried out.
  • FIG. 5 is a block diagram illustrating a configuration example of an audio signal decoding unit in FIG. 4.
  • FIG. 5 is a block diagram illustrating another configuration example of the audio signal decoding unit in FIG. 4.
  • FIG. 5 is a block diagram illustrating a configuration example of a stereo signal generation unit in FIG. 4.
  • FIG. 5 is a block diagram illustrating a configuration example of a stereo signal generation unit in FIG. 4.
  • FIG. 5 is a block diagram illustrating another configuration example of the stereo signal generation unit in FIG. 4. It is a block diagram which shows the structural example of 1st Embodiment of the speech processing unit to which this invention is applied. It is a block diagram which shows the detailed structural example of the non-correlation frequency time conversion part of FIG. It is a block diagram which shows the other detailed structural example of the uncorrelated frequency time conversion part of FIG. It is a block diagram which shows the detailed structural example of the stereo synthetic
  • FIG. 9 is a block diagram showing a configuration example of the first embodiment of the speech processing apparatus to which the present invention is applied.
  • the 9 mainly includes a demultiplexing unit 101 in place of the demultiplexing unit 41 and the demultiplexing unit 51, and the IMDCT unit 54 and the reverberation signal generating unit 71.
  • the point that the uncorrelated frequency time conversion unit 102 is provided instead, and the point that the stereo synthesis unit 103 and the generation parameter calculation unit 104 are provided instead of the stereo synthesis unit 72 and the generation parameter calculation unit 43, 4 is different from the configuration of the decoding device 40 of FIG. 4 including the audio signal decoding unit 42 of FIG. 5 and the stereo signal generation unit 44 of FIG.
  • the audio processing device 100 decodes, for example, encoded data that has been spatially encoded by the encoding device 10 of FIG. 1 including the audio signal encoding unit 13 of FIG. At this time, the sound processing apparatus 100 generates a signal X D ′ that is irrelevant to the monaural signal X M used when generating the stereo signal, using the frequency spectrum coefficient of the monaural signal X M.
  • the demultiplexing unit 101 acquisition means of the speech processing apparatus 100 corresponds to the demultiplexing unit 41 in FIG. 4 and the demultiplexing unit 51 in FIG. That is, the demultiplexing unit 101 performs demultiplexing on the multiplexed encoded data supplied from the encoding device 10 of FIG. 1, and acquires encoded data and BC parameters.
  • the BC parameter multiplexed into the encoded data may be a BC parameter for all frames or a BC parameter for a predetermined frame, but here, for a predetermined frame, It is assumed that it is a BC parameter.
  • the demultiplexing unit 101 performs demultiplexing on the encoded data, obtains frequency spectrum coefficients and quantization information that are quantized and entropy-coded. Then, the demultiplexing unit 101 supplies the quantized and entropy-encoded frequency spectrum coefficients to the entropy decoding unit 52, and supplies the quantization information to the spectrum dequantization unit 53. Also, the demultiplexing unit 101 supplies the BC parameter to the generation parameter calculation unit 104.
  • the uncorrelated frequency time conversion unit 102 obtains a monaural signal X M and a signal that are two uncorrelated two time domain signals from the frequency spectrum coefficient of the monaural signal X M obtained as a result of the inverse quantization by the spectrum inverse quantization unit 53. X D ′ is generated. Then, the uncorrelated frequency time conversion unit 102 supplies the monaural signal X M and the signal X D ′ to the stereo synthesis unit 103. Details of the uncorrelated frequency time conversion unit 102 will be described with reference to FIGS.
  • the stereo synthesizing unit 103 (synthesizing unit) synthesizes the monaural signal X M and the signal X D ′ supplied from the uncorrelated frequency time conversion unit 102 using the generation parameter supplied from the generation parameter calculation unit 104. Then, the stereo synthesis unit 103 outputs the audio signal X L and the audio signal X R for the right for a left obtained as a result of synthesis as a stereo signal. Details of the stereo synthesizing unit 103 will be described with reference to FIG.
  • the generation parameter calculation unit 104 interpolates the BC parameter for the predetermined frame supplied from the demultiplexing unit 101, and calculates the BC parameter of each frame.
  • the generation parameter calculation unit 104 generates a generation parameter using the BC parameter of the current processing target frame, and supplies the generation parameter to the stereo synthesis unit 103.
  • FIG. 10 is a block diagram illustrating a detailed configuration example of the uncorrelated frequency time conversion unit 102 of FIG.
  • IMDCT unit 54 is composed of an IMDCT unit 54 and an IMDST unit 111.
  • the IMDCT unit 54 (first conversion means) in FIG. 10 is the same as the IMDCT unit 54 in FIG. 5 and uses the IMDCT for the frequency spectrum coefficient of the monaural signal X M supplied from the spectrum inverse quantization unit 53. I do. Then, the IMDCT unit 54 supplies the monaural signal X M (first time domain signal), which is a time domain signal obtained as a result, to the stereo synthesis unit 103 (FIG. 9).
  • An IMDST (Inverse Modified Discrete Sine Transform) unit 111 (second conversion unit) performs IMDST on the frequency spectrum coefficient of the monaural signal X M supplied from the spectrum inverse quantization unit 53. Then, the IMDST unit 111 supplies a signal X D ′ (second time domain signal), which is a time domain signal obtained as a result, to the stereo synthesis unit 103 (FIG. 9).
  • X D ′ second time domain signal
  • the transformation by the IMDCT unit 54 is an inverse transformation of cosine
  • the transformation by the IMDST unit 111 is an inverse transformation of sine
  • the basis in the transformation by the IMDCT unit 54 and the basis in the transformation by the IMDST unit 111 are orthogonal to each other. Yes. Therefore, the monaural signal X M and the signal X D ′ can be regarded as substantially uncorrelated signals.
  • MDCT, IMDCT, and IMDST are defined by the following equations (1) to (3), respectively.
  • x (n) is a time domain signal
  • w (n) is a transformation window
  • w ′ (n) is an inverse transformation window
  • y (n) is an inverse transformation. It is a later signal.
  • Xc (k) is an MDCT coefficient
  • Xs (k) is an MDST coefficient.
  • FIG. 11 is a block diagram illustrating another detailed configuration example of the uncorrelated frequency time conversion unit 102 of FIG.
  • uncorrelated frequency time conversion section 102 in FIG. 11 is mainly different from the configuration in FIG. 10 in that spectrum inversion section 121, IMDCT section 122, and code inversion section 123 are provided instead of IMDST section 111. .
  • the spectrum inversion unit 121 of the non-correlated frequency time conversion unit 102 in FIG. 11 inverts the frequency spectrum coefficient supplied from the spectrum inverse quantization unit 53 so that the frequencies are in reverse order, and supplies the inverted frequency spectrum coefficient to the IMDCT unit 122.
  • the IMDCT unit 122 performs IMDCT on the frequency spectrum coefficient supplied from the spectrum inversion unit 121 to obtain a time domain signal.
  • the IMDCT unit 122 supplies the time domain signal to the sign inverting unit 123.
  • the sign inversion unit 123 inverts the sign of the odd-numbered sample of the time domain signal supplied from the IMDCT unit 122 to obtain a signal X D ′.
  • equation (3) when Xs (k) is replaced with Xs (Nk-1), if N is a general multiple of 4, equation (3) can be expressed as It can deform
  • the signal obtained as a result of performing IMDST on the frequency spectrum coefficient from the spectrum inverse quantization unit 53 and the frequency spectrum coefficient are inverted so that the frequencies are in reverse order, the IMDST is performed, and the code of the odd sample is obtained.
  • the signals obtained as a result of the inversion become the same signal X D ′. That is, the IMDST unit 111 in FIG. 10 is equivalent to the spectrum inversion unit 121, the IMDCT unit 122, and the sign inversion unit 123 in FIG.
  • the sign inversion unit 123 supplies the obtained signal X D ′ to the stereo synthesis unit 103 in FIG.
  • the uncorrelated frequency time conversion unit 102 in FIG. 11 only needs to provide the IMDCT unit in order to convert the time domain signal into the frequency spectrum coefficient, and therefore it is necessary to provide the IMDCT unit and the IMDST unit in FIG. Compared with the case where there is, manufacturing cost can be reduced.
  • FIG. 12 is a block diagram illustrating a detailed configuration example of the stereo synthesis unit 103 in FIG. 9.
  • 12 includes multipliers 141 to 144, an adder 145, and an adder 146.
  • the multiplier 141 multiplies the monaural signal X M supplied from the uncorrelated frequency time conversion unit 102 by a coefficient h 11 that is one of the generation parameters supplied from the generation parameter calculation unit 104.
  • the multiplier 141 supplies the resultant multiplication value h 11 ⁇ X M to the adder 145.
  • the multiplier 142 multiplies the monaural signal X M supplied from the uncorrelated frequency time conversion unit 102 by a coefficient h 21 that is one of the generation parameters supplied from the generation parameter calculation unit 104.
  • the multiplier 141 supplies the resultant multiplication value h 21 ⁇ X M to the adder 146.
  • the multiplier 143 multiplies the signal X D ′ supplied from the uncorrelated frequency time conversion unit 102 by a coefficient h 12 that is one of the generation parameters supplied from the generation parameter calculation unit 104.
  • the multiplier 141 supplies the resultant multiplication value h 12 ⁇ X D ′ to the adder 145.
  • the multiplier 144 multiplies the signal X D ′ supplied from the uncorrelated frequency time conversion unit 102 by a coefficient h 22 that is one of the generation parameters supplied from the generation parameter calculation unit 104.
  • the multiplier 141 supplies the resultant multiplication value h 22 ⁇ X D ′ to the adder 146.
  • the adder 145 adds the multiplication value h 11 ⁇ X M supplied from the multiplier 141 and the multiplication value h 12 ⁇ X D ′ supplied from the multiplier 143, and uses the resulting addition value as the left audio. and outputs it as the signal X L.
  • the adder 146 adds the multiplication value h 21 ⁇ X M supplied from the multiplier 142 and the multiplication value h 22 ⁇ X D ′ supplied from the multiplier 143, and uses the resulting addition value for the right side. outputs as the audio signal X R.
  • the stereo synthesizing unit 103 As described above, in the stereo synthesizing unit 103, as shown in FIG. 13, the following equations are used with the monaural signal X M , the signal X D ′, the left audio signal X L , and the right audio signal X R as vectors. As shown in (5), weighted addition using a generation parameter is performed.
  • the coefficients h 11 , h 12 , h 21 , and h 22 are expressed by the following formula (6).
  • the angle ⁇ L is an angle formed by the vector of the left audio signal X L and the vector of the monaural signal X M
  • the angle ⁇ R is the vector of the right audio signal X R and the monaural signal X.
  • the coefficients h 11 , h 12 , h 21 , and h 22 are calculated as generation parameters by the generation parameter calculation unit 104.
  • the generation parameter calculation unit 104 calculates g L , g R , ⁇ L , and ⁇ R from the BC parameter, and calculates coefficients h 11 , h from the g L , g R , ⁇ L , and ⁇ R. 12 , h 21 , and h 22 are calculated as generation parameters. Details of a method for calculating g L , g R , ⁇ L , and ⁇ R from the BC parameters are described in, for example, Japanese Patent Application Laid-Open No. 2006-325162.
  • g L , g R , ⁇ L , and ⁇ R can be used as the BC parameter, and those obtained by compression-coding g L , g R , ⁇ L , and ⁇ R can also be used. Also, as the BC parameter, the coefficients h 11 , h 12 , h 21 , and h 22 can be used directly or after being compression-coded.
  • FIG. 14 is a flowchart for explaining the decoding process by the speech processing apparatus 100 of FIG. This decoding process is started when multiplexed encoded data supplied from the encoding apparatus 10 in FIG. 1 is input to the audio processing apparatus 100.
  • step S11 of FIG. 14 the demultiplexing unit 101 performs demultiplexing on the multiplexed encoded data supplied from the encoding apparatus 10 of FIG. 1, and acquires encoded data and BC parameters. . Further, the demultiplexer 101 further demultiplexes the encoded data, obtains frequency spectrum coefficients and quantization information that have been quantized and entropy encoded. Then, the demultiplexing unit 101 supplies the quantized and entropy-encoded frequency spectrum coefficients to the entropy decoding unit 52, and supplies the quantization information to the spectrum dequantization unit 53. Also, the demultiplexing unit 101 supplies the BC parameter to the generation parameter calculation unit 104.
  • step S12 the entropy decoding unit 52 performs entropy decoding such as Huffman decoding and arithmetic decoding on the frequency spectrum coefficient supplied from the demultiplexing unit 101, and restores the quantized frequency spectrum coefficient.
  • the entropy decoding unit 52 supplies the frequency spectrum coefficient to the spectrum inverse quantization unit 53.
  • step S ⁇ b> 13 the spectrum inverse quantization unit 53 performs inverse quantization on the quantized frequency spectrum coefficient supplied from the entropy decoding unit 52 based on the quantization information supplied from the demultiplexing unit 101. To restore the frequency spectral coefficients. Then, the spectrum inverse quantization unit 53 supplies the frequency spectrum coefficient to the uncorrelated frequency time conversion unit 102.
  • step S14 uncorrelated frequency-time conversion unit 102, the frequency spectral coefficients of the mono signal X M obtained as a result of the inverse quantization by the spectrum inverse quantization unit 53, the monaural signal is two time domain signals uncorrelated to each other X M and signal X D ′ are generated. Then, the uncorrelated frequency time conversion unit 102 supplies the monaural signal X M and the signal X D ′ to the stereo synthesis unit 103.
  • step S ⁇ b> 15 the stereo synthesizing unit 103 synthesizes the monaural signal X M and the signal X D ′ supplied from the uncorrelated frequency time conversion unit 102 using the generation parameter supplied from the generation parameter calculation unit 104.
  • step S16 the generation parameter calculation unit 104 interpolates the BC parameter for the predetermined frame supplied from the demultiplexing unit 101, and calculates the BC parameter for each frame.
  • step S ⁇ b> 17 the generation parameter calculation unit 104 generates coefficients h 11 , h 12 , h 21 , and h 22 as generation parameters using the BC parameter of the current processing target frame, and supplies the generated parameters to the stereo synthesis unit 103. .
  • step S ⁇ b> 18 the stereo synthesis unit 103 synthesizes the monaural signal X M and the signal X D ′ supplied from the uncorrelated frequency time conversion unit 102 using the generation parameter supplied from the generation parameter calculation unit 104, and stereo. Generate a signal. Then, the stereo synthesizing unit 103 outputs a stereo signal, and the process ends.
  • the audio processing apparatus 100 generates a monaural signal X M and the signal X D 'by carrying out the two transformations base is orthogonal to the frequency spectral coefficient of the mono signal X M. That is, the audio processing apparatus 100 can generate the signal X D ′ using the frequency spectrum coefficient of the monaural signal X M. Therefore, in the audio processing apparatus 100, the delay by the reverberation signal generation unit 71 in FIG. 7 is compared with the decoding apparatus 40 in FIG. 4 that includes the audio signal decoding unit 42 in FIG. 5 and the stereo signal generation unit 44 in FIG. An increase in resources such as a calculation amount and a buffer can be suppressed.
  • the IMDCT unit 54 of the conventional decoding device 40 can be reused as a part of the uncorrelated frequency time conversion unit 102, the addition of new functions can be minimized, and the circuit scale and necessary resources can be increased. Can be suppressed.
  • FIG. 15 is a block diagram showing a configuration example of the second embodiment of the speech processing apparatus to which the present invention is applied.
  • FIG. 15 is different from the configuration of FIG. 9 mainly in that a band dividing unit 201, an IMDCT unit 202, an adder 203, and an adder 204 are newly provided.
  • the audio processing device 200 performs, for example, the same spatial encoding as that of the encoding device 10 of FIG. 1 including the audio signal encoding unit 13 of FIG. 2, and is encoded data in which BC parameters for high frequencies are multiplexed. decodes and stereo only monaural signal X M of the high frequency range.
  • the band dividing unit 201 (dividing unit) of the speech processing device 200 calculates the frequency spectrum coefficient obtained by the spectrum inverse quantization unit 53 by using a frequency spectrum coefficient of a high frequency and a frequency spectrum coefficient of a low frequency depending on the frequency. Divide into two groups. Then, the band division unit 201 supplies the low frequency spectrum coefficient to the IMDCT unit 202 and supplies the high frequency spectrum coefficient to the uncorrelated frequency time conversion unit 102.
  • the IMDCT unit 202 (third conversion unit) performs IMDCT on the low frequency spectrum coefficient supplied from the band dividing unit 201, and outputs a monaural signal X M low (third signal) that is a low frequency domain signal. Time domain signal).
  • the IMDCT unit 202 supplies the low-frequency monaural signal X M low to the adder 203 as a low-frequency left audio signal and also supplies the low-frequency monaural signal X M low to the adder 204 as a low-frequency right audio signal.
  • the adder 203 the high frequency left spectrum obtained as a result of the processing performed by the uncorrelated frequency time conversion unit 102 and the stereo synthesis unit 103 on the high frequency spectrum coefficient output from the band dividing unit 201 is used.
  • An audio signal X L High is input.
  • the adder 203 adds the high-frequency left audio signal X L High and the low-frequency monaural signal X M low supplied from the IMDCT unit 202 as the low-frequency left audio signal, Left audio signal XL is generated.
  • the adder 204 uses the high-frequency frequency spectrum coefficient output from the band dividing unit 201 for the high-frequency right obtained as a result of processing performed by the uncorrelated frequency time conversion unit 102 and the stereo synthesis unit 103. Audio signal X R High is input. The adder 204 adds the high-frequency right audio signal X R High and the low-frequency monaural signal X M low supplied from the IMDCT unit 202 as the low-frequency right audio signal, and it outputs the audio signal X R for the right frequency band.
  • FIG. 16 is a flowchart for explaining decoding processing by the speech processing apparatus 200 of FIG.
  • spatial encoding similar to that of the encoding device 10 of FIG. 1 provided with the audio signal encoding unit 13 of FIG. 2 is performed, and encoded data in which BC parameters for high frequencies are multiplexed is speech It starts when it is input to the processing device 200.
  • steps S31 to S33 in FIG. 16 are the same as the processing in steps S11 to S13 in FIG.
  • step S34 the band dividing unit 201 divides the frequency spectrum coefficient obtained by the spectrum inverse quantization unit 53 into two groups of a high frequency spectrum coefficient and a low frequency spectrum coefficient according to the frequency. Then, the band division unit 201 supplies the low frequency spectrum coefficient to the IMDCT unit 202 and supplies the high frequency spectrum coefficient to the uncorrelated frequency time conversion unit 102.
  • step S35 the IMDCT unit 202 performs IMDCT on the low frequency spectrum coefficient supplied from the band dividing unit 201 to obtain a monaural signal X M low that is a low frequency domain signal.
  • the IMDCT unit 202 supplies the low-frequency monaural signal X M low to the adder 203 as a low-frequency left audio signal and also supplies the low-frequency monaural signal X M low to the adder 204 as a low-frequency right audio signal.
  • step S ⁇ b> 36 the uncorrelated frequency time conversion unit 102, the stereo synthesis unit 103, and the generation parameter calculation unit 104 perform stereo signal generation processing on the high frequency spectrum coefficients supplied from the band division unit 201. Specifically, the uncorrelated frequency time conversion unit 102, the stereo synthesis unit 103, and the generation parameter calculation unit 104 perform the processes of steps S14 to S18 in FIG.
  • the resulting high frequency left audio signal X L High is input to the adder 203, and the high frequency right audio signal X R High is input to the adder 204.
  • step S37 the adder 203 outputs the low-frequency monaural signal X M low supplied as the low-frequency left audio signal from the IMDCT unit 202 and the high-frequency left-use signal supplied from the uncorrelated frequency time conversion unit 102.
  • the audio signal X L High is added to generate the left audio signal X L in the entire frequency band.
  • the adder 203 outputs the audio signal X L for the left of the entire frequency band.
  • step S ⁇ b> 38 the adder 204 performs a low-frequency monaural signal X M low supplied as a low-frequency right audio signal from the IMDCT unit 202 and a high-frequency right signal supplied from the uncorrelated frequency time conversion unit 102.
  • the audio signal X R High for use is added to generate the right audio signal X R for the entire frequency band.
  • the adder 204 outputs the audio signal X R for the right of the entire frequency band.
  • the audio processing unit 200 decodes the encoded data of monaural signal X M of the entire frequency band, to stereo only high band.
  • the stereo mono signal X M of the low frequency the sound can be prevented from becoming unnatural.
  • the band dividing unit 201 divides the frequency spectrum coefficient into the high frequency spectrum coefficient and the low frequency spectrum coefficient, but the frequency spectrum coefficient in a predetermined frequency band and the frequency spectrum in other frequency bands. You may make it divide
  • FIG. 17 is a block diagram illustrating a configuration example of the third embodiment of the speech processing device to which the present invention has been applied.
  • the 17 mainly includes a demultiplexing unit 301 in place of the demultiplexing unit 41 and the demultiplexing unit 61, the IMDCT unit 64-1 to the IMDCT unit 64- IMDCT sections 304-1 to 304- (N-1) are provided instead of (N-1), and a stereo section 305 is provided instead of the IMDCT section 64-N and the stereo signal generation section 44.
  • the generation parameter calculation unit 104 and the synthesis filter bank 306 are provided instead of the generation parameter calculation unit 43 and the synthesis filter bank 65.
  • the audio signal decoding unit 42 in FIG. 6 and the stereo signal generation unit in FIG. 4 is different from the configuration of the decoding device 40 of FIG.
  • the audio processing device 300 in FIG. 17 performs, for example, the same spatial coding as the coding device 10 in FIG. 1 including the audio signal coding unit 13 in FIG. 3, and multiplexes BC parameters of predetermined subband signals.
  • the encoded data is decoded.
  • the demultiplexing unit 301 of the speech processing device 300 corresponds to the demultiplexing unit 41 in FIG. 4 and the demultiplexing unit 61 in FIG. That is, the demultiplexing unit 301 performs spatial coding similar to that of the coding apparatus 10 of FIG. 1 including the audio signal coding unit 13 of FIG. 3, and multiplexes BC parameters of predetermined subband signals. Encoded data is input. The demultiplexing unit 301 performs demultiplexing on the input encoded data, and obtains BC parameters of the encoded data and a predetermined subband signal. Then, the demultiplexing unit 301 supplies the BC parameter of the predetermined subband signal to the generation parameter calculation unit 104.
  • the demultiplexer 301 demultiplexes the encoded data, obtains the frequency spectrum coefficients and quantization information of the N subband signals that are quantized and entropy-coded.
  • the demultiplexing unit 301 supplies the frequency spectrum coefficients of the N subband signals that are quantized and entropy-coded to the entropy decoding unit 62 and supplies the quantization information to the spectrum dequantization unit 63.
  • the frequency spectral coefficients of the N subband signals restored by the spectrum inverse quantization unit 63 are Input one by one.
  • the IMDCT units 304-1 to 304- (N-1) respectively supply the subband signal X M i to the synthesis filter bank 306 as the left audio signal X L i and the right audio signal X R i .
  • the stereo unit 305 includes the uncorrelated frequency time conversion unit 102 and the stereo synthesis unit 103 shown in FIG.
  • Stereo processing section 305 uses the generation parameter generated by generation parameter calculation section 104 and uses the frequency spectrum coefficient of a predetermined subband signal input from spectrum inverse quantization section 63 to perform left audio that is a time domain signal.
  • a signal subband signal X L A and a right audio signal subband signal X R A are generated.
  • the stereo processing unit 305 supplies the left subband signal X L A and the right subband signal X R A to the synthesis filter bank 306.
  • the synthesis filter bank 306 (adding means) includes a left synthesis filter bank for synthesizing a subband signal of the left audio signal and a right synthesis filter bank for synthesizing a subband signal of the right audio signal. Is done.
  • the left synthesis filter bank of the synthesis filter bank 306 includes the left subband signals X L 1 to X L N ⁇ 1 from the IMDCT units 304-1 to 304- (N ⁇ 1) and the left sub-band signals from the stereo unit 305.
  • the subband signal X L A is synthesized. Then, for left synthesis filterbank outputs the audio signal X L for the left of all the frequency band obtained as a result of synthesis.
  • the right synthesis filter bank of the synthesis filter bank 306 includes right subband signals X R 1 to X R N ⁇ 1 from the IMDCT units 304-1 to 304- (N ⁇ 1), and a stereo unit 305. From the right sub-band signal X R A is synthesized. Then, the right for the synthesis filter bank outputs an audio signal X R for the right of the entire frequency band obtained as a result of synthesis.
  • stereoization is performed for only one subband signal, but stereoization may be performed for a plurality of subband signals.
  • the subband signal to be stereo-ized may be dynamically set on the encoding side instead of being set in advance. In this case, for example, information for specifying a subband signal to be stereoized is included in the BC parameter.
  • FIG. 18 is a flowchart for explaining decoding processing by the audio processing device 300 of FIG.
  • this decoding process for example, spatial encoding similar to that of the encoding device 10 of FIG. 1 including the audio signal encoding unit 13 of FIG. 3 is performed, and BC parameters of a predetermined subband signal are multiplexed. Triggered when data is input to the audio processing device 300.
  • step S51 of FIG. 18 the demultiplexing unit 301 performs demultiplexing on the input encoded data, and obtains BC parameters of the encoded data and a predetermined subband signal. Then, the demultiplexing unit 301 supplies the BC parameter of the predetermined subband signal to the generation parameter calculation unit 104. Also, the demultiplexing unit 301 performs demultiplexing on the encoded data, obtains frequency spectrum coefficients and quantization information of the N subband signals that are quantized and entropy encoded. The demultiplexing unit 301 supplies the frequency spectrum coefficients of the N subband signals that are quantized and entropy-coded to the entropy decoding unit 62 and supplies the quantization information to the spectrum dequantization unit 63.
  • step S52 the entropy decoding unit 62 performs entropy decoding on the frequency spectrum coefficients of the N subband signals supplied from the demultiplexing unit 101, and supplies the result to the spectrum inverse quantization unit 63.
  • step S ⁇ b> 53 the spectrum dequantization unit 63 performs the N subband signals obtained as a result of entropy decoding supplied from the entropy decoding unit 62 based on the quantization information supplied from the demultiplexing unit 301. Inverse quantization is performed for each frequency spectrum coefficient. Then, the spectrum inverse quantization unit 63 supplies the frequency spectrum coefficients of the N subband signals restored as a result to the IMDCT units 304-1 to 304- (N-1) and the stereoization unit 305 one by one. To do.
  • step S ⁇ b> 55 the stereolation unit 305 uses the generation parameter supplied from the generation parameter calculation unit 104 to generate a stereo signal for the frequency spectrum coefficient of the predetermined subband signal supplied from the spectrum inverse quantization unit 63. Perform the generation process. Then, the stereo processing section 305 supplies the subband signal X L A of the left audio signal and the subband signal X R A of the right audio signal, which are time domain signals obtained as a result, to the synthesis filter bank 306.
  • step S56 the left synthesis filter bank of the synthesis filter bank 306 synthesizes all subband signals of the left audio signal supplied from the IMDCT units 304-1 to 304- (N-1) and the stereo unit 305, respectively. Te, and generates an audio signal X L for the left of the entire frequency band. Then, for left synthesis filter bank outputs an audio signal X L for the left of the entire frequency band.
  • step S57 the right synthesis filter bank of the synthesis filter bank 306 outputs all subband signals of the right audio signal supplied from the IMDCT units 304-1 to 304- (N-1) and the stereo unit 305, respectively. synthesized and generates an audio signal X R for the right of all the frequency bands. Then, the right for the synthesis filter bank outputs an audio signal X R for the right of the entire frequency band.
  • FIG. 19 is a block diagram illustrating a configuration example of the fourth embodiment of the speech processing device to which the present invention has been applied.
  • 19 mainly includes a spectrum separation unit 401 instead of the band division unit 201, IMDCTs 402 and 403 instead of the IMDCT unit 202, and includes an adder 203 and an adder 204. Instead, an adder 404 and an adder 405 are provided, which is different from the configuration of FIG.
  • the speech processing device 400 is intensity-encoded encoded data in which BC parameters of frequencies equal to or higher than the intensity start frequency Fis are multiplexed instead of a conventional level ratio of frequency spectrum coefficients between channels. Decrypt data.
  • the encoded data is decoded by the audio processor 400, for example, a stereo signal to be encoded down-mixed to mono signal X M, Inten of the resulting mono signal X M and the stereo signal to be encoded
  • a frequency component equal to or higher than the city start frequency Fis is extracted by a high-pass filter or the like, and is generated by an encoding device that detects BC parameters.
  • the spectrum separation unit 401 (separation unit) of the speech processing device 400 obtains the frequency spectrum coefficient restored by the spectrum inverse quantization unit 53.
  • the spectrum separation unit 401 separates the frequency spectrum coefficient into a frequency spectrum coefficient of a stereo signal having a frequency lower than the intensity start frequency Fis and a frequency spectrum coefficient of a monaural signal X M high having a frequency equal to or higher than the intensity start frequency Fis. .
  • the spectrum separation unit 401 supplies the frequency spectrum coefficient of the left audio signal X L low of the stereo signal having a frequency lower than the intensity start frequency Fis to the IMDCT unit 402, and the frequency spectrum coefficient of the right audio signal X R low is obtained. This is supplied to the IMDCT unit 403.
  • the spectrum separation unit 401 supplies the frequency spectrum coefficient of the monaural signal X M high to the uncorrelated frequency time conversion unit 102.
  • the IMDCT unit 402 (third conversion unit) performs IMDCT on the frequency spectrum coefficient of the left audio signal X L low supplied from the spectrum separation unit 401, and uses the resulting left audio signal X L low as a result. This is supplied to the adder 404.
  • the IMDCT unit 403 (third conversion unit) performs IMDCT on the frequency spectrum coefficient of the right audio signal X R low supplied from the spectrum separation unit 401 and obtains the right audio signal X R obtained as a result. low is supplied to the adder 405.
  • the adder 404 (adding means) includes a left audio signal X L high that is a time domain signal having a frequency equal to or higher than the intensity start frequency Fis generated by the stereo synthesis unit 103, and a left audio signal supplied from the IMDCT unit 402. The signal X L low is added. The adder 404 outputs an audio signal obtained as a result as the audio signal X L for the left of the entire frequency band.
  • the adder 405 (adding means) is a right audio signal X R high that is a time domain signal having a frequency equal to or higher than the intensity start frequency Fis generated by the stereo synthesizer 103, and the right supplied from the IMDCT unit 402. Audio signal X R low is added.
  • the adder 405 outputs an audio signal obtained as a result as the audio signal X R for the right of all the frequency bands.
  • the speech processing apparatus 400 uses the BC parameter multiplexed with the intensity-encoded encoded data, and uses the BC parameter multiplexed with the intensity encoding to generate a frequency component equal to or higher than the intensity start frequency Fis. To stereo. This makes it possible to restore the stereo effect of the frequency component equal to or higher than the intensity start frequency Fis, as compared to the conventional intensity decoding apparatus that performs stereo using the frequency spectrum coefficient level ratio between channels.
  • FIG. 20 is a flowchart for explaining decoding processing by the audio processing device 400 of FIG. This decoding process is started when, for example, encoded data in which intensity coding is performed and BC parameters having a frequency equal to or higher than the intensity start frequency Fis are multiplexed is input.
  • the spectrum separation unit 401 uses the frequency spectrum coefficient restored by the spectrum inverse quantization unit 53 as a frequency spectrum coefficient of a stereo signal having a frequency lower than the intensity start frequency Fis and a frequency equal to or higher than the intensity start frequency Fis. Are separated into frequency spectrum coefficients of the monaural signal X M high .
  • the spectrum separation unit 401 supplies the frequency spectrum coefficient of the left audio signal X L low of the stereo signal having a frequency lower than the intensity start frequency Fis to the IMDCT unit 402, and the frequency spectrum coefficient of the right audio signal X R low is obtained. This is supplied to the IMDCT unit 403.
  • the spectrum separation unit 401 supplies the frequency spectrum coefficient of the monaural signal X M high to the uncorrelated frequency time conversion unit 102.
  • step S75 the IMDCT unit 402 performs IMDCT on the frequency spectrum coefficient of the left audio signal X L low supplied from the spectrum separation unit 401. Then, the IMDCT unit 402 supplies the left audio signal X L low obtained as a result to the adder 404.
  • step S76 the IMDCT unit 403 performs IMDCT on the frequency spectrum coefficient of the right audio signal X R low supplied from the spectrum separation unit 401. Then, the IMDCT unit 403 supplies the right audio signal X R low obtained as a result to the adder 405.
  • step S77 the uncorrelated frequency time conversion unit 102, the stereo synthesis unit 103, and the generation parameter calculation unit 104 perform stereo signal generation processing on the frequency spectrum coefficient of the monaural signal X M high from the spectrum separation unit 401.
  • the left audio signal X L high which is the time domain signal obtained as a result, is supplied to the adder 404, and the right audio signal X R high is supplied to the adder 405.
  • step S78 the adder 404 adds the left audio signal X L low having a frequency lower than the intensity start frequency Fis from the IMDCT unit 402 and the left audio signal having a frequency equal to or higher than the intensity start frequency Fis from the stereo synthesis unit 103.
  • X L high is added to generate a left audio signal X L in the entire frequency band.
  • the adder 404 outputs the audio signal X L for the left.
  • step S79 the adder 405 outputs the right audio signal X R low having a frequency lower than the intensity start frequency Fis from the IMDCT unit 403 and the right audio signal having a frequency equal to or higher than the intensity start frequency Fis from the stereo synthesis unit 103. by adding the audio signal X R high, and generates an audio signal X R for the right of all the frequency bands. The adder 405 outputs the audio signal X R for the right.
  • speech processing apparatus 100 decodes encoded data that has been time-frequency converted by MDCT
  • IMDCT has been performed during frequency-time conversion.
  • frequency-time conversion is performed.
  • the uncorrelated time-frequency transform unit 102 uses the IMDCT transform and the IMDST transform as transforms whose bases are orthogonal to each other, but other overlapping orthogonal transforms such as a sine transform and a cosine transform are used. Also good.
  • FIG. 21 shows a configuration example of an embodiment of a computer in which a program for executing the above-described series of processing is installed.
  • the program can be recorded in advance in a storage unit 508 or a ROM (Read Only Memory) 502 as a recording medium built in the computer.
  • the program can be stored (recorded) in the removable medium 511.
  • a removable medium 511 can be provided as so-called package software.
  • examples of the removable medium 511 include a flexible disk, a CD-ROM (Compact Disc Read Only Memory), an MO (Magneto Optical) disc, a DVD (Digital Versatile Disc), a magnetic disc, and a semiconductor memory.
  • the program can be installed on the computer from the removable medium 511 as described above via the drive 510, or can be downloaded to the computer via a communication network or a broadcast network and installed in the built-in storage unit 508. That is, the program is transferred from a download site to a computer wirelessly via a digital satellite broadcasting artificial satellite, or wired to a computer via a network such as a LAN (Local Area Network) or the Internet. be able to.
  • LAN Local Area Network
  • the computer includes a CPU (Central Processing Unit) 501, and an input / output interface 505 is connected to the CPU 501 via a bus 504.
  • CPU Central Processing Unit
  • input / output interface 505 is connected to the CPU 501 via a bus 504.
  • the CPU 501 executes a program stored in the ROM 502 according to an instruction input by the user operating the input unit 506 via the input / output interface 505. Alternatively, the CPU 501 loads a program stored in the storage unit 508 into a RAM (Random Access Memory) 503 and executes it.
  • a RAM Random Access Memory
  • the CPU 501 performs processing according to the flowchart described above or processing performed by the configuration of the block diagram described above. Then, the CPU 501 outputs the processing result as necessary, for example, via the input / output interface 505, from the output unit 507, transmitted from the communication unit 509, and further recorded in the storage unit 508.
  • the input unit 506 includes a keyboard, a mouse, a microphone, and the like.
  • the output unit 507 includes an LCD (Liquid Crystal Display), a speaker, and the like.
  • the processing performed by the computer according to the program does not necessarily have to be performed in chronological order in the order described as the flowchart. That is, the processing performed by the computer according to the program includes processing executed in parallel or individually (for example, parallel processing or object processing).
  • the program may be processed by one computer (processor), or may be distributedly processed by a plurality of computers. Furthermore, the program may be transferred to a remote computer and executed.
  • the present invention can be applied to a pseudo stereo technique for audio signals.
  • IMDCT unit 100 speech processing unit, 101 demultiplexing unit, 103 stereo synthesis unit, 111 IMDST unit, 121 spectrum inversion unit, 122 IMDCT unit, 123 code inversion unit, 200 speech processing unit, 201 band division unit, 202 IMDCT Unit, 203, 204 adder, 300 speech processing unit, 301 demultiplexing unit, 304-1 to 304-N IMDCT unit, 305 stereolation unit, 306 synthesis filter bank, 400 speech processing unit, 401 spectrum separation unit, 402 403 IMDCT part 404, 405 adder

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Mathematical Physics (AREA)
  • Stereophonic System (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

　本発明は、マルチチャンネルのオーディオ信号がダウンミックスされて符号化されている場合に、そのオーディオ信号の復号時の遅延や演算量の増加を抑制することができる音声処理装置、音声処理方法、およびプログラムに関する。　逆多重化部１０１は、ＢＣパラメータが多重化された符号化データを取得する。無相関周波数時間変換部１０２は、その符号化データから得られるモノラル信号ＸＭの周波数スペクトル係数をIMDCT変換するとともにIMDST変換し、時間領域信号であるモノラル信号ＸＭと、そのモノラル信号ＸＭと略無相関な信号ＸＤ´を生成する。ステレオ合成部１０３は、ＢＣパラメータを用いてモノラル信号ＸＭと信号ＸＤ´を合成することにより、ステレオ信号を生成する。本発明は、例えば、ダウンミックスされて符号化されているステレオ信号を復号する音声処理装置に適用することができる。

Description

音声処理装置、音声処理方法、およびプログラム
　本発明は、音声処理装置、音声処理方法、およびプログラムに関し、特に、マルチチャンネルのオーディオ信号がダウンミックスされて符号化されている場合に、そのオーディオ信号の復号時の遅延や演算量の増加を抑制することができるようにした音声処理装置、音声処理方法、およびプログラムに関する。
　マルチチャンネルのオーディオ信号を符号化する符号化装置は、チャンネル間の関係を利用した符号化を行うことで効率の高い符号化を行うことができる。このような符号化としては、例えば、インテンシティ符号化、M/Sステレオ符号化、空間符号化などがある。空間符号化を行う符号化装置は、ｎチャンネルのオーディオ信号をｍチャンネル（ｍ＜ｎ）のオーディオ信号にダウンミックスして符号化し、そのダウンミックスの際にチャンネル間の関係を表す空間パラメータを求め、その空間パラメータを符号化データとともに伝送する。空間パラメータと符号化データを受信する復号装置は、符号化データを復号し、空間パラメータを用いて、復号の結果得られるｍチャンネルのオーディオ信号から元のｎチャンネルのオーディオ信号を復元する。
　このような空間符号化は、バイノーラルキュー符号化(Binaural cue coding)として知られている。空間パラメータ（以下、BCパラメータという）としては、ILD (Inter-channel Level Difference)（チャンネル間レベル差)、IPD(Inter-channel Phase Difference)（チャンネル間位相差）、ICC(Inter-channel Correlation)（チャンネル間相関)などが用いられる。ILDは、チャンネル間の信号の大きさの比率を示すパラメータである。IPDは、チャンネル間の位相差を示すパラメータであり、ICCは、チャンネル間の相関性を示すパラメータである。
　図１は、空間符号化を行う符号化装置の構成例を示すブロック図である。
　なお、以下では、説明を簡単にするため、ｎ＝２、ｍ＝１とする。即ち、符号化対象のオーディオ信号はステレオのオーディオ信号（以下、ステレオ信号という）であり、符号化の結果得られる符号化データはモノラルのオーディオ信号（以下、モノラル信号という）の符号化データである。
　図１の符号化装置１０は、チャンネルダウンミックス部１１、空間パラメータ検出部１２、オーディオ信号符号化部１３、および多重化部１４により構成される。符号化装置１０には、左用のオーディオ信号ＸＬと右用のオーディオ信号ＸＲからなるステレオ信号が符号化対象として入力され、符号化装置１０は、モノラル信号の符号化データを出力する。
　具体的には、符号化装置１０のチャンネルダウンミックス部１１は、符号化対象として入力されたステレオ信号をモノラル信号ＸＭにダウンミックスする。そして、チャンネルダウンミックス部１１は、モノラル信号を空間パラメータ検出部１２とオーディオ信号符号化部１３に供給する。
　空間パラメータ検出部１２は、チャンネルダウンミックス部１１から供給されるモノラル信号ＸＭと、符号化対象として入力されたステレオ信号とに基づいて、ＢＣパラメータを検出し、多重化部１４に供給する。
　オーディオ信号符号化部１３は、チャンネルダウンミックス部１１から供給されるモノラル信号を符号化し、その結果得られる符号化データを多重化部１４に供給する。
　多重化部１４は、オーディオ信号符号化部１３から供給される符号化データと、空間パラメータ検出部１２から供給されるＢＣパラメータを多重化して出力する。
　図２は、図１のオーディオ信号符号化部１３の構成例を示すブロック図である。
　なお、図２のオーディオ信号符号化部１３の構成は、オーディオ信号符号化部１３が例えばMPEG-2 AAC LC (Moving Picture Experts Group phase 2 Advanced Audio Coding Low Complexity）プロファイル方式で符号化を行う場合の構成である。但し、説明を簡単にするため、図２では構成を簡略化して記載している。
　図２のオーディオ信号符号化部１３は、MDCT（Modified Discrete Cosine Transform）（修正コサイン変換）部２１、スペクトル量子化部２２、エントロピー符号化部２３、および多重化部２４により構成される。
　MDCT部２１は、チャンネルダウンミックス部１１から供給されるモノラル信号に対してMDCTを行い、時間領域信号であるモノラル信号を周波数領域の係数であるMDCT係数に変換する。MDCT部２１は、変換の結果得られるMDCT係数を周波数スペクトル係数としてスペクトル量子化部２２に供給する。
　スペクトル量子化部２２は、MDCT部２１から供給される周波数スペクトル係数を量子化し、エントロピー符号化部２３に供給する。また、スペクトル量子化部２２は、この量子化に関する情報である量子化情報を多重化部２４に供給する。量子化情報としては、スケールファクタ、量子化ビット情報などがある。
　エントロピー符号化部２３は、スペクトル量子化部２２から供給される量子化された周波数スペクトル係数に対して、ハフマン符号化、算術符号化などのエントロピー符号化を行い、可逆圧縮する。エントロピー符号化部２３は、エントロピー符号化の結果得られるデータを多重化部２４に供給する。
　多重化部２４は、エントロピー符号化部２３から供給されるデータと、スペクトル量子化部２２から供給される量子化情報とを多重化し、その結果得られるデータを符号化データとして多重化部１４（図１）に供給する。
　図３は、図１のオーディオ信号符号化部１３の他の構成例を示すブロック図である。
　なお、図３のオーディオ信号符号化部１３の構成は、例えばMPEG-2 AAC SSR（Scalable Sample Rate）プロファイルや、MP3(MPEG Audio Layer-3)などの方式で符号化を行う場合の構成である。但し、説明を簡単にするため、図３では構成を簡略化して記載している。
　図３のオーディオ信号符号化部１３は、分析フィルタバンク３１、MDCT部３２－１乃至３２－Ｎ（Ｎは任意の整数）、スペクトル量子化部３３、エントロピー符号化部３４、および多重化部３５により構成される。
　分析フィルタバンク３１は、QMF（Quadrature Mirror Filterbank）バンクや、PQF（Poly-phase Quadrature Filter）バンクなどにより構成される。分析フィルタバンク３１は、チャンネルダウンミックス部１１から供給されるモノラル信号を周波数によってＮ個のグループに分割する。分析フィルタバンク３１は、分割の結果得られるＮ個のサブバンド信号をMDCT部３２－１乃至３２－Ｎにそれぞれ供給する。
　MDCT部３２－１乃至３２－Ｎは、それぞれ、分析フィルタバンク３１から供給されるサブバンド信号に対してMDCTを行い、時間領域信号であるサブバンド信号を周波数領域の係数であるMDCT係数に変換する。そして、MDCT部３２－１乃至３２－Ｎは、それぞれ、各サブバンド信号のMDCT係数を周波数スペクトル係数として、スペクトル量子化部３３に供給する。
　スペクトル量子化部３３は、MDCT部３２－１乃至３２－Ｎから供給されるＮ個の周波数スペクトル係数を、それぞれ、量子化し、エントロピー符号化部３４に供給する。また、スペクトル量子化部３３は、この量子化の量子化情報を多重化部３５に供給する。
　エントロピー符号化部３４は、スペクトル量子化部３３から供給されるＮ個の量子化された周波数スペクトル係数のそれぞれに対して、ハフマン符号化や算術符号化などのエントロピー符号化を行い、可逆圧縮する。エントロピー符号化部３４は、エントロピー符号化の結果得られるＮ個のデータを多重化部３５に供給する。
　多重化部３５は、エントロピー符号化部３４から供給されるＮ個のデータと、スペクトル量子化部３３から供給される量子化情報とを多重化し、その結果得られるデータを符号化データとして多重化部１４（図１）に供給する。
　図４は、図１の符号化装置１０により空間符号化された符号化データを復号する復号装置の構成例を示すブロック図である。
　図４の復号装置４０は、逆多重化部４１、オーディオ信号復号部４２、生成パラメータ計算部４３、およびステレオ信号生成部４４により構成される。復号装置４０は、図１の符号化装置から供給される符号化データを復号し、ステレオ信号を生成する。
　具体的には、復号装置４０の逆多重化部４１は、図１の符号化装置１０から供給される多重化された符号化データに対して逆多重化を行い、符号化データとＢＣパラメータを得る。逆多重化部４１は、符号化データをオーディオ信号復号部４２に供給し、ＢＣパラメータを生成パラメータ計算部４３に供給する。
　オーディオ信号復号部４２は、逆多重化部４１から供給される符号化データを復号し、その結果得られる時間領域信号であるモノラル信号ＸＭをステレオ信号生成部４４に供給する。
　生成パラメータ計算部４３は、逆多重化部４１から供給されるＢＣパラメータを用いて、それとともに多重化された符号化データの復号結果であるモノラル信号からステレオ信号を生成するためのパラメータである生成パラメータを計算する。生成パラメータ計算部４３は、その生成パラメータをステレオ信号生成部４４に供給する。
　ステレオ信号生成部４４は、生成パラメータ計算部４３から供給される生成パラメータを用いて、オーディオ信号復号部４２から供給されるモノラル信号ＸＭから、左用のオーディオ信号ＸＬと右用のオーディオ信号ＸＲを生成する。ステレオ信号生成部４４は、その左用のオーディオ信号ＸＬと右用のオーディオ信号ＸＲをステレオ信号として出力する。
　図５は、図４のオーディオ信号復号部４２の構成例を示すブロック図である。
　なお、図５のオーディオ信号復号部４２の構成は、例えばMPEG-2 AAC LCプロファイル方式で符号化された符号化データが復号装置４０に入力される場合の構成である。即ち、図５のオーディオ信号復号部４２は、図２のオーディオ信号符号化部１３で符号化された符号化データを復号するものである。
　図５のオーディオ信号復号部４２は、逆多重化部５１、エントロピー復号部５２、スペクトル逆量子化部５３、およびIMDCT部５４により構成される。
　逆多重化部５１は、図４の逆多重化部４１から供給される符号化データに対して逆多重化を行い、量子化され、エントロピー符号化された周波数スペクトル係数と量子化情報を得る。逆多重化部５１は、量子化され、エントロピー符号化された周波数スペクトル係数をエントロピー復号部５２に供給し、量子化情報をスペクトル逆量子化部５３に供給する。
　エントロピー復号部５２は、逆多重化部５１から供給される周波数スペクトル係数に対して、ハフマン復号や算術復号などのエントロピー復号を行い、量子化された周波数スペクトル係数を復元する。エントロピー復号部５２は、その周波数スペクトル係数をスペクトル逆量子化部５３に供給する。
　スペクトル逆量子化部５３は、逆多重化部５１から供給される量子化情報に基づいて、エントロピー復号部５２から供給される量子化された周波数スペクトル係数を逆量子化し、周波数スペクトル係数を復元する。そして、スペクトル逆量子化部５３は、その周波数スペクトル係数をIMDCT（Inverse MDCT）（逆修正コサイン変換）部５４に供給する。
　IMDCT部５４は、スペクトル逆量子化部５３から供給される周波数スペクトル係数に対してIMDCTを行い、周波数スペクトル係数を時間領域信号であるモノラル信号ＸＭに変換する。IMDCT部５４は、そのモノラル信号ＸＭをステレオ信号生成部４４（図４）に供給する。
　図６は、図４のオーディオ信号復号部４２の他の構成例を示すブロック図である。
　なお、図６のオーディオ信号復号部４２の構成は、例えばMPEG-2 AAC SSRプロファイルや、MP3などの方式で符号化された符号化データが復号装置４０に入力される場合の構成である。即ち、図６のオーディオ信号復号部４２は、図３のオーディオ信号符号化部１３で符号化された符号化データを復号するものである。
　図６のオーディオ信号復号部４２は、逆多重化部６１、エントロピー復号部６２、スペクトル逆量子化部６３、IMDCT部６４－１乃至６４－Ｎ、および合成フィルタバンク６５により構成される。
　逆多重化部６１は、図４の逆多重化部４１から供給される符号化データに対して逆多重化を行い、量子化され、エントロピー符号化されたＮ個のサブバンド信号の周波数スペクトル係数と量子化情報を得る。逆多重化部６１は、量子化され、エントロピー符号化されたＮ個のサブバンド信号の周波数スペクトル係数をエントロピー復号部６２に供給し、量子化情報をスペクトル逆量子化部６３に供給する。
　エントロピー復号部６２は、逆多重化部６１から供給されるＮ個のサブバンド信号の周波数スペクトル係数のそれぞれに対してハフマン復号や算術復号などのエントロピー復号を行い、スペクトル逆量子化部６３に供給する。
　スペクトル逆量子化部６３は、逆多重化部６１から供給される量子化情報に基づいて、エントロピー復号部６２から供給されるエントロピー復号の結果得られたＮ個のサブバンド信号の周波数スペクトル係数をそれぞれ逆量子化する。これにより、Ｎ個のサブバンド信号の周波数スペクトル係数が復元される。スペクトル逆量子化部６３は、復元されたＮ個のサブバンド信号の周波数スペクトル係数をIMDCT部６４－１乃至６４－Ｎに１つずつ供給する。
　IMDCT部６４－１乃至６４－Ｎは、それぞれ、スペクトル逆量子化部６３から供給される周波数スペクトル係数に対してIMDCTを行い、周波数スペクトル係数を時間領域信号であるサブバンド信号に変換する。IMDCT部６４－１乃至６４－Ｎは、変換の結果得られるサブバンド信号を、それぞれ合成フィルタバンク６５に供給する。
　合成フィルタバンク６５は、逆PQFや逆QMFなどにより構成される。合成フィルタバンク６５は、IMDCT部６４－１乃至６４－Ｎから供給されるＮ個のサブバンド信号を合成し、その結果得られる信号をモノラル信号ＸＭとしてステレオ信号生成部４４（図４）に供給する。
　図７は、図４のステレオ信号生成部４４の構成例を示すブロック図である。
　図７のステレオ信号生成部４４は、残響信号生成部７１とステレオ合成部７２により構成される。
　残響信号生成部７１は、図４のオーディオ信号復号部４２から供給されるモノラル信号ＸＭを用いて、このモノラル信号ＸＭとは無相関な信号ＸＤを生成する。残響信号生成部７１としては、一般的に、コムフィルタやオールパスフィルタなどが用いられる。この場合、残響信号生成部７１は、モノラル信号ＸＭの残響(リバーブ）信号を信号ＸＤとして生成する。
　なお、残響信号生成部７１としては、フィードバック遅延ネットワーク（Feedback Delay Network（FDN））が用いられることもある（例えば、特許文献１参照）。
　残響信号生成部７１は、生成された信号ＸＤをステレオ合成部７２に供給する。
　ステレオ合成部７２は、図４の生成パラメータ計算部４３から供給される生成パラメータを用いて、図４のオーディオ信号復号部４２から供給されるモノラル信号ＸＭと、残響信号生成部７１から供給される信号ＸＤとを合成する。そして、ステレオ合成部７２は、合成の結果得られる左用のオーディオ信号ＸＬと右用のオーディオ信号ＸＲをステレオ信号として出力する。
　図８は、図４のステレオ信号生成部４４の他の構成例を示すブロック図である。
　図８のステレオ信号生成部４４は、分析フィルタバンク８１、サブバンドステレオ信号生成部８２－１乃至８２－Ｐ（Ｐは任意の数）、および合成フィルタバンク８３により構成される。
　なお、図４のステレオ信号生成部４４の構成が図８に示す構成である場合、図１の符号化装置１０の空間パラメータ検出部１２では、サブバンド信号ごとにＢＣパラメータが検出される。
　具体的には、例えば、空間パラメータ検出部１２は、２つの分析フィルタバンクを有する。そして、空間パラメータ検出部１２は、一方の分析フィルタバンクでステレオ信号を周波数によって分割し、他方の分析フィルタバンクでチャンネルダウンミックス部１１からのモノラル信号を周波数によって分割する。空間パラメータ検出部１２は、分割の結果得られるステレオ信号のサブバンド信号とモノラル信号のサブバンド信号に基づいて、サブバンド信号ごとにＢＣパラメータを検出する。そして、図４の生成パラメータ計算部４３には、逆多重化部４１から各サブバンド信号のＢＣパラメータが供給され、生成パラメータ計算部４３は、サブバンド信号ごとに生成パラメータを生成する。
　分析フィルタバンク８１は、QMF（Quadrature Mirror Filter）バンクなどにより構成される。分析フィルタバンク８１は、図４のオーディオ信号復号部４２から供給されるモノラル信号ＸＭを周波数によってＰ個のグループに分割する。分析フィルタバンク８１は、分割の結果得られるＰ個のサブバンド信号を、サブバンドステレオ信号生成部８２－１乃至８２－Ｐにそれぞれ供給する。
　サブバンドステレオ信号生成部８２－１乃至８２－Ｐは、それぞれ、残響信号生成部とステレオ合成部により構成される。各サブバンドステレオ信号生成部８２－１乃至８２－Ｐの構成は同一であるので、ここでは、サブバンドステレオ信号生成部８２－Ｂについてのみ説明する。
　サブバンドステレオ信号生成部８２－Ｂは、残響信号生成部９１とステレオ合成部９２により構成される。残響信号生成部９１は、分析フィルタバンク８１から供給されるモノラル信号のサブバンド信号Ｘｍ Ｂを用いて、このサブバンド信号Ｘｍ Ｂとは無関係な信号ＸＤ Ｂを生成し、信号ＸＤ Ｂをステレオ合成部９２に供給する。
　ステレオ合成部９２は、図４の生成パラメータ計算部４３から供給されるサブバンド信号Ｘｍ Ｂの生成パラメータを用いて、分析フィルタバンク８１から供給されるサブバンド信号Ｘｍ Ｂと、残響信号生成部９１から供給される信号ＸＤ Ｂとを合成する。そして、ステレオ合成部９２は、合成の結果得られる左用のオーディオ信号ＸＬ Ｂと右用のオーディオ信号ＸＲ Ｂを、ステレオ信号のサブバンド信号として合成フィルタバンク８３に供給する。
　合成フィルタバンク８３は、サブバンドステレオ信号生成部８２－１乃至８２－Ｐから供給される各サブバンド信号のステレオ信号を左用および右用ごとに合成する。合成フィルタバンク８３は、その結果得られる左用のオーディオ信号ＸＬと右用のオーディオ信号ＸＲをステレオ信号として出力する。
　なお、図８のステレオ信号生成部４４の構成は、例えば、特許文献２に記載されている。
　また、インテンシティ符号化を行う符号化装置は、入力されたステレオ信号の所定の周波数帯域以上の周波数の各チャンネルの周波数スペクトル係数をミックスし、モノラル信号の周波数スペクトル係数を生成する。そして、符号化装置は、このモノラル信号の周波数スペクトル係数、および、チャンネル間の周波数スペクトル係数のレベル比を符号化結果として出力する。
　具体的には、インテンシティ符号化を行う符号化装置は、ステレオ信号に対してMDCT変換を行い、その結果得られる各チャンネルの周波数スペクトル係数のうち、所定の周波数帯域以上の周波数の各チャンネルの周波数スペクトル係数をミックスして共通化する。そして、インテンシティ符号化を行う符号化装置は、共通化された周波数スペクトル係数を量子化してエントロピー符号化を行い、その結果得られるデータを量子化情報と多重化して符号化データとする。また、インテンシティ符号化を行う符号化装置は、チャンネル間の周波数スペクトル係数のレベル比を求め、そのレベル比を符号化データと多重化して出力する。
　また、インテンシティ復号を行う復号装置は、チャンネル間の周波数スペクトル係数のレベル比が多重化された符号化データに対して逆多重化を行い、その結果得られる符号化データをエントロピー復号し、量子化情報に基づいて逆量子化する。また、インテンシティ復号を行う復号装置は、逆量子化の結果得られた周波数スペクトル係数と、符号化データに多重化されたチャンネル間の周波数スペクトル係数のレベル比とに基づいて、各チャンネルの周波数スペクトル係数を復元する。そして、インテンシティ復号を行う復号装置は、復元された各チャンネルの周波数スペクトル係数に対してIMDCTを行い、所定の周波数帯域以上の周波数のステレオ信号を得る。
　このようなインテンシティ符号化は、符号化効率を向上させるためによく用いられるが、ステレオ信号の高域の周波数スペクトル係数をモノラル化してチャンネル間のレベル差のみで表現しているので、本来のステレオ感がやや失われる。
特開２００６－３２５１６２号公報 特表２００６－５２４８３２号公報
　上述したように、従来の空間符号化された符号化データを復号する復号装置４０は、ステレオ信号の生成の際に用いられるモノラル信号ＸＭと無関係な信号ＸＤや信号ＸＤ １乃至ＸＤ Ｐを、時間領域信号であるモノラル信号ＸＭを用いて生成する。
　従って、信号ＸＤを生成する残響信号生成部７１や、信号ＸＤ １乃至ＸＤ Ｐを生成する分析フィルタバンク８１とサブバンドステレオ信号生成部８２－１乃至８２－Ｐの残響信号生成部９１によって遅延が発生し、復号装置４０のアルゴリズム遅延が増大する。このことは、例えば、復号装置４０に即時の応答特性が要求される場合や復号装置４０がリアルタイム通信に用いられる場合などの低遅延特性が重要になる場合に問題となる。
　また、残響信号生成部７１や、分析フィルタバンク８１とサブバンドステレオ信号生成部８２－１乃至８２－Ｐの残響信号生成部９１におけるフィルタ演算などにより、演算量が増大し、必要なバッファ容量も増大する。
　本発明は、このような状況に鑑みてなされたものであり、マルチチャンネルのオーディオ信号がダウンミックスされて符号化されている場合に、そのオーディオ信号の復号時の遅延や演算量の増加を抑制することができるようにするものである。
　本発明の一側面の音声処理装置は、複数チャンネルの音声の時間領域信号である音声信号から生成された前記複数チャンネルより少ないチャンネルの音声信号の周波数領域の係数と、前記複数チャンネルのチャンネル間の関係を表すパラメータとを取得する取得手段と、前記取得手段により取得された前記周波数領域の係数を、第１の時間領域信号に変換する第１の変換手段と、前記取得手段により取得された前記周波数領域の係数を、第２の時間領域信号に変換する第２の変換手段と、前記パラメータを用いて前記第１の時間領域信号と前記第２の時間領域信号を合成することにより、前記複数チャンネルの音声信号を生成する合成手段とを備え、前記第１の変換手段による変換における基底と前記第２の変換手段による変換における基底は直交する音声処理装置である。
　本発明の一側面の音声処理方法およびプログラムは、本発明の一側面の音声処理装置に対応する。
　本発明の一側面においては、複数チャンネルの音声の時間領域信号である音声信号から生成された前記複数チャンネルより少ないチャンネルの音声信号の周波数領域の係数と、前記複数チャンネルのチャンネル間の関係を表すパラメータとが取得され、取得された前記周波数領域の係数が、第１の時間領域信号に変換され、取得された前記周波数領域の係数が、第２の時間領域信号に変換され、前記パラメータを用いて前記第１の時間領域信号と前記第２の時間領域信号が合成されることにより、前記複数チャンネルの音声信号が生成される。なお、第１の時間領域信号への変換における基底と第２の時間領域信号への変換における基底は直交する。
　本発明の一側面の音声処理装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
　本発明の一側面によれば、マルチチャンネルのオーディオ信号がダウンミックスされて符号化されている場合に、そのオーディオ信号の復号時の遅延や演算量の増加を抑制することができる。
空間符号化を行う符号化装置の構成例を示すブロック図である。 図１のオーディオ信号符号化部の構成例を示すブロック図である。 図１のオーディオ信号符号化部の他の構成例を示すブロック図である。 空間符号化された符号化データを復号する復号装置の構成例を示すブロック図である。 図４のオーディオ信号復号部の構成例を示すブロック図である。 図４のオーディオ信号復号部の他の構成例を示すブロック図である。 図４のステレオ信号生成部の構成例を示すブロック図である。 図４のステレオ信号生成部の他の構成例を示すブロック図である。 本発明を適用した音声処理装置の第１実施の形態の構成例を示すブロック図である。 図９の無相関周波数時間変換部の詳細構成例を示すブロック図である。 図９の無相関周波数時間変換部の他の詳細構成例を示すブロック図である。 図９のステレオ合成部の詳細構成例を示すブロック図である。 各信号のベクトルを表す図である。 図９の音声処理装置による復号処理を説明するフローチャートである。 本発明を適用した音声処理装置の第２実施の形態の構成例を示すブロック図である。 図１５の音声処理装置による復号処理を説明するフローチャートである。 本発明を適用した音声処理装置の第３実施の形態の構成例を示すブロック図である。 図１７の音声処理装置による復号処理を説明するフローチャートである。 本発明を適用した音声処理装置の第４実施の形態の構成例を示すブロック図である。 図１９の音声処理装置による復号処理を説明するフローチャートである。 コンピュータの一実施の形態の構成例を示す図である。
＜第１実施の形態＞
［音声処理装置の第１実施の形態の構成例］
　図９は、本発明を適用した音声処理装置の第１実施の形態の構成例を示すブロック図である。
　図９に示す構成のうち、図４および図５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図９の音声処理装置１００の構成は、主に、逆多重化部４１および逆多重化部５１の代わりに逆多重化部１０１が設けられている点、IMDCT部５４および残響信号生成部７１の代わりに無相関周波数時間変換部１０２が設けられている点、および、ステレオ合成部７２、生成パラメータ計算部４３の代わりに、ステレオ合成部１０３、生成パラメータ計算部１０４が設けられている点が、図５のオーディオ信号復号部４２と図７のステレオ信号生成部４４を備える図４の復号装置４０の構成と異なる。
　音声処理装置１００は、例えば、図２のオーディオ信号符号化部１３を備える図１の符号化装置１０により空間符号化された符号化データを復号する。このとき、音声処理装置１００は、ステレオ信号の生成の際に用いられるモノラル信号ＸＭと無関係な信号ＸＤ´を、モノラル信号ＸＭの周波数スペクトル係数を用いて生成する。
　具体的には、音声処理装置１００の逆多重化部１０１（取得手段）は、図４の逆多重化部４１と図５の逆多重化部５１に対応する。即ち、逆多重化部１０１は、図１の符号化装置１０から供給される多重化された符号化データに対して逆多重化を行い、符号化データとＢＣパラメータを取得する。なお、符号化データに多重化されるＢＣパラメータは、全てのフレームについてのＢＣパラメータであってもよいし、所定のフレームについてのＢＣパラメータであってもよいが、ここでは、所定のフレームについてのＢＣパラメータであるものとする。
　また、逆多重化部１０１は、符号化データに対して逆多重化を行い、量子化され、エントロピー符号化された周波数スペクトル係数と量子化情報を得る。そして、逆多重化部１０１は、量子化され、エントロピー符号化された周波数スペクトル係数をエントロピー復号部５２に供給し、量子化情報をスペクトル逆量子化部５３に供給する。また、逆多重化部１０１は、ＢＣパラメータを生成パラメータ計算部１０４に供給する。
　無相関周波数時間変換部１０２は、スペクトル逆量子化部５３による逆量子化の結果得られるモノラル信号ＸＭの周波数スペクトル係数から、互いに無相関な２つの時間領域信号であるモノラル信号ＸＭと信号ＸＤ´を生成する。そして、無相関周波数時間変換部１０２は、モノラル信号ＸＭと信号ＸＤ´をステレオ合成部１０３に供給する。この無相関周波数時間変換部１０２の詳細は、後述する図１０や図１１を参照して説明する。
　ステレオ合成部１０３（合成手段）は、生成パラメータ計算部１０４から供給される生成パラメータを用いて、無相関周波数時間変換部１０２から供給されるモノラル信号ＸＭと信号ＸＤ´とを合成する。そして、ステレオ合成部１０３は、合成の結果得られる左用のオーディオ信号ＸＬと右用のオーディオ信号ＸＲをステレオ信号として出力する。このステレオ合成部１０３の詳細は、後述する図１２を参照して説明する。
　生成パラメータ計算部１０４は、逆多重化部１０１から供給される所定のフレームについてのＢＣパラメータを補間し、各フレームのＢＣパラメータを計算する。生成パラメータ計算部１０４は、現在の処理対象のフレームのＢＣパラメータを用いて生成パラメータを生成し、ステレオ合成部１０３に供給する。
［無相関周波数時間変換部の詳細構成例］
　図１０は、図９の無相関周波数時間変換部１０２の詳細構成例を示すブロック図である。
　図１０の無相関周波数時間変換部１０２は、IMDCT部５４とIMDST部１１１により構成される。
　図１０のIMDCT部５４（第１の変換手段）は、図５のIMDCT部５４と同一のものであり、スペクトル逆量子化部５３から供給されるモノラル信号ＸＭの周波数スペクトル係数に対してIMDCTを行う。そして、IMDCT部５４は、その結果得られる時間領域信号であるモノラル信号ＸＭ（第１の時間領域信号）をステレオ合成部１０３（図９）に供給する。
　IMDST（Inverse Modified Discrete Sine Transform）部１１１（第２の変換手段）は、ペクトル逆量子化部５３から供給されるモノラル信号ＸＭの周波数スペクトル係数に対してIMDSTを行う。そして、IMDST部１１１は、その結果得られる時間領域信号である信号ＸＤ´（第２の時間領域信号）をステレオ合成部１０３（図９）に供給する。
　以上のように、IMDCT部５４による変換はコサインの逆変換であり、IMDST部１１１による変換はサインの逆変換であり、IMDCT部５４による変換における基底とIMDST部１１１による変換における基底は直交している。従って、モノラル信号ＸＭと信号ＸＤ´は、互いに略無相関な信号とみなすことができる。
　なお、MDCT，IMDCT、およびIMDSTは、それぞれ、以下の式（１）乃至（３）で定義される。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　式（１）乃至（３）において、x(n)は時間領域信号であり、w(n)は変換窓であり、w'(n)は逆変換窓であり、y(n)は逆変換後の信号である。また、Xc(k)はMDCT係数であり、Xs(k)はMDST係数である。
［無相関周波数時間変換部の詳細構成例］
　図１１は、図９の無相関周波数時間変換部１０２の他の詳細構成例を示すブロック図である。
　図１１に示す構成のうち、図１０の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１１の無相関周波数時間変換部１０２の構成は、主に、IMDST部１１１の代わりにスペクトル反転部１２１、IMDCT部１２２、および符号反転部１２３が設けられている点が図１０の構成と異なる。
　図１１の無相関周波数時間変換部１０２のスペクトル反転部１２１は、スペクトル逆量子化部５３から供給される周波数スペクトル係数を、周波数が逆順になるように反転し、IMDCT部１２２に供給する。
　IMDCT部１２２は、スペクトル反転部１２１から供給される周波数スペクトル係数に対してIMDCTを行い、時間領域信号を得る。IMDCT部１２２は、その時間領域信号を符号反転部１２３に供給する。
　符号反転部１２３は、IMDCT部１２２から供給される時間領域信号の奇数サンプルの符号を反転し、信号ＸＤ´を得る。
　ここで、IMDSTを定義する上述した式（３）において、Xs(k)をXs(N-k-1)に置き換えると、Nが一般的な4の倍数とすれば、式（３）は、以下の式（４）に変形することができる。
Figure JPOXMLDOC01-appb-M000004
　従って、スペクトル逆量子化部５３からの周波数スペクトル係数に対してIMDSTを行った結果得られる信号と、その周波数スペクトル係数を周波数が逆順になるように反転してIMDSTを行い、奇数サンプルの符号を反転した結果得られる信号は、同一の信号ＸＤ´となる。即ち、図１０のIMDST部１１１と、図１１のスペクトル反転部１２１、IMDCT部１２２、および符号反転部１２３とは、等価である。
　符号反転部１２３は、得られた信号ＸＤ´を図９のステレオ合成部１０３に供給する。
　以上のように、図１１の無相関周波数時間変換部１０２は、時間領域信号を周波数スペクトル係数に変換するためにIMDCT部だけを設ければよいので、図９のIMDCT部とIMDST部を設ける必要がある場合に比べて、製造コストを削減することができる。
［ステレオ合成部の詳細構成例］
　図１２は、図９のステレオ合成部１０３の詳細構成例を示すブロック図である。
　図１２のステレオ合成部１０３は、乗算器１４１乃至１４４並びに加算器１４５および加算器１４６により構成される。
　乗算器１４１は、無相関周波数時間変換部１０２から供給されるモノラル信号ＸＭに対して、生成パラメータ計算部１０４から供給される生成パラメータの１つである係数ｈ１１を乗算する。乗算器１４１は、その結果得られる乗算値ｈ１１×ＸＭを加算器１４５に供給する。
　乗算器１４２は、無相関周波数時間変換部１０２から供給されるモノラル信号ＸＭに対して、生成パラメータ計算部１０４から供給される生成パラメータの１つである係数ｈ２１を乗算する。乗算器１４１は、その結果得られる乗算値ｈ２１×ＸＭを加算器１４６に供給する。
　乗算器１４３は、無相関周波数時間変換部１０２から供給される信号ＸＤ´に対して、生成パラメータ計算部１０４から供給される生成パラメータの１つである係数ｈ１２を乗算する。乗算器１４１は、その結果得られる乗算値ｈ１２×ＸＤ´を加算器１４５に供給する。
　乗算器１４４は、無相関周波数時間変換部１０２から供給される信号ＸＤ´に対して、生成パラメータ計算部１０４から供給される生成パラメータの１つである係数ｈ２２を乗算する。乗算器１４１は、その結果得られる乗算値ｈ２２×ＸＤ´を加算器１４６に供給する。
　加算器１４５は、乗算器１４１から供給される乗算値ｈ１１×ＸＭと、乗算器１４３から供給される乗算値ｈ１２×ＸＤ´を加算し、その結果得られる加算値を左用のオーディオ信号ＸＬとして出力する。
　加算器１４６は、乗算器１４２から供給される乗算値ｈ２１×ＸＭと、乗算器１４３から供給される乗算値ｈ２２×ＸＤ´を加算し、その結果得られる加算値を右用のオーディオ信号ＸＲとして出力する。
　以上のように、ステレオ合成部１０３では、図１３に示すように、モノラル信号ＸＭ、信号ＸＤ´、左用のオーディオ信号ＸＬ、および右用のオーディオ信号ＸＲをベクトルとして、以下の式（５）に示すように、生成パラメータを用いた重み付け加算が行われる。
Figure JPOXMLDOC01-appb-M000005
　なお、係数ｈ１１，ｈ１２，ｈ２１、およびｈ２２は、以下の式（６）で表される。
Figure JPOXMLDOC01-appb-M000006
 　但し、
Figure JPOXMLDOC01-appb-M000007
　式（６）において、角度θＬは、左用のオーディオ信号ＸＬのベクトルとモノラル信号ＸＭのベクトルがなす角度であり、角度θＲは、右用のオーディオ信号ＸＲのベクトルとモノラル信号ＸＭのベクトルがなす角度である。
　ここで、係数ｈ１１，ｈ１２，ｈ２１、およびｈ２２は、生成パラメータ計算部１０４により生成パラメータとして計算される。具体的には、生成パラメータ計算部１０４は、ＢＣパラメータからｇＬ，ｇＲ，θＬ、およびθＲを計算し、そのｇＬ，ｇＲ，θＬ、およびθＲから係数ｈ１１，ｈ１２，ｈ２１、およびｈ２２を計算して生成パラメータとする。なお、ＢＣパラメータからｇＬ，ｇＲ，θＬ、およびθＲを計算する方法の詳細は、例えば、特開２００６－３２５１６２号公報などに記載されている。
　なお、ＢＣパラメータとしては、ｇＬ，ｇＲ，θＬ、およびθＲを用いることもできるし、ｇＬ，ｇＲ，θＬ、およびθＲを圧縮符号化したものを用いることもできる。また、ＢＣパラメータとしては、係数ｈ１１，ｈ１２，ｈ２１、およびｈ２２を直接、または圧縮符号化して用いることもできる。
［音声処理装置の処理の説明］
　図１４は、図９の音声処理装置１００による復号処理を説明するフローチャートである。この復号処理は、図１の符号化装置１０から供給される多重化された符号化データが音声処理装置１００に入力されたとき、開始される。
　図１４のステップＳ１１において、逆多重化部１０１は、図１の符号化装置１０から供給される多重化された符号化データに対して逆多重化を行い、符号化データとＢＣパラメータを取得する。また、逆多重化部１０１は、その符号化データに対してさらに逆多重化を行い、量子化され、エントロピー符号化された周波数スペクトル係数と量子化情報を取得する。そして、逆多重化部１０１は、量子化され、エントロピー符号化された周波数スペクトル係数をエントロピー復号部５２に供給し、量子化情報をスペクトル逆量子化部５３に供給する。また、逆多重化部１０１は、ＢＣパラメータを生成パラメータ計算部１０４に供給する。
　ステップＳ１２において、エントロピー復号部５２は、逆多重化部１０１から供給される周波数スペクトル係数に対して、ハフマン復号や算術復号などのエントロピー復号を行い、量子化された周波数スペクトル係数を復元する。エントロピー復号部５２は、その周波数スペクトル係数をスペクトル逆量子化部５３に供給する。
　ステップＳ１３において、スペクトル逆量子化部５３は、逆多重化部１０１から供給される量子化情報に基づいて、エントロピー復号部５２から供給される量子化された周波数スペクトル係数に対して逆量子化を行い、周波数スペクトル係数を復元する。そして、スペクトル逆量子化部５３は、その周波数スペクトル係数を無相関周波数時間変換部１０２に供給する。
　ステップＳ１４において、無相関周波数時間変換部１０２は、スペクトル逆量子化部５３による逆量子化の結果得られるモノラル信号ＸＭの周波数スペクトル係数から、互いに無相関な２つの時間領域信号であるモノラル信号ＸＭと信号ＸＤ´を生成する。そして、無相関周波数時間変換部１０２は、モノラル信号ＸＭと信号ＸＤ´をステレオ合成部１０３に供給する。
　ステップＳ１５において、ステレオ合成部１０３は、生成パラメータ計算部１０４から供給される生成パラメータを用いて、無相関周波数時間変換部１０２から供給されるモノラル信号ＸＭと信号ＸＤ´とを合成する。
　ステップＳ１６において、生成パラメータ計算部１０４は、逆多重化部１０１から供給される所定のフレームについてのＢＣパラメータを補間し、各フレームについてのＢＣパラメータを計算する。
　ステップＳ１７において、生成パラメータ計算部１０４は、現在の処理対象のフレームのＢＣパラメータを用いて係数ｈ１１，ｈ１２，ｈ２１、およびｈ２２を生成パラメータとして生成し、ステレオ合成部１０３に供給する。
　ステップＳ１８において、ステレオ合成部１０３は、生成パラメータ計算部１０４から供給される生成パラメータを用いて、無相関周波数時間変換部１０２から供給されるモノラル信号ＸＭと信号ＸＤ´を合成し、ステレオ信号を生成する。そして、ステレオ合成部１０３はステレオ信号を出力し、処理は終了する。
　以上のように、音声処理装置１００は、モノラル信号ＸＭの周波数スペクトル係数に対して基底が直交する２つの変換を行うことによりモノラル信号ＸＭと信号ＸＤ´を生成する。即ち、音声処理装置１００では、モノラル信号ＸＭの周波数スペクトル係数を用いて信号ＸＤ´を生成することができる。従って、音声処理装置１００では、従来の図５のオーディオ信号復号部４２と図７のステレオ信号生成部４４を備える図４の復号装置４０に比べて、図７の残響信号生成部７１による遅延、演算量やバッファなどのリソースの増加を抑制することができる。
　また、従来の復号装置４０のIMDCT部５４を無相関周波数時間変換部１０２の一部に再利用することができるので、新たな機能の追加が最小限で済み、回路規模や必要なリソースの増加を抑制することができる。
＜第２実施の形態＞
［音声処理装置の第２実施の形態の構成例］
　図１５は、本発明を適用した音声処理装置の第２実施の形態の構成例を示すブロック図である。
　図１５に示す構成のうち、図９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１５の音声処理装置２００の構成は、主に、新たに帯域分割部２０１、IMDCT部２０２、加算器２０３、および加算器２０４が設けられている点が図９の構成と異なる。
　音声処理装置２００は、例えば、図２のオーディオ信号符号化部１３を備える図１の符号化装置１０と同様の空間符号化が行われ、高域についてのＢＣパラメータが多重化された符号化データを復号し、高域のモノラル信号ＸＭのみをステレオ化する。
　具体的には、音声処理装置２００の帯域分割部２０１（分割手段）は、スペクトル逆量子化部５３により得られる周波数スペクトル係数を、周波数によって高域の周波数スペクトル係数と低域の周波数スペクトル係数の２つのグループに分割する。そして、帯域分割部２０１は、低域の周波数スペクトル係数をIMDCT部２０２に供給し、高域の周波数スペクトル係数を無相関周波数時間変換部１０２に供給する。
　IMDCT部２０２（第３の変換手段）は、帯域分割部２０１から供給される低域の周波数スペクトル係数に対してIMDCTを行い、低域の時間領域信号であるモノラル信号ＸＭ ｌｏｗ（第３の時間領域信号）を得る。IMDCT部２０２は、低域のモノラル信号ＸＭ ｌｏｗを低域の左用のオーディオ信号として加算器２０３に供給するとともに、低域の右用のオーディオ信号として加算器２０４に供給する。
　加算器２０３には、帯域分割部２０１から出力された高域の周波数スペクトル係数に対して、無相関周波数時間変換部１０２およびステレオ合成部１０３による処理が行われた結果得られる高域の左用のオーディオ信号ＸＬ Ｈｉｇｈが入力される。加算器２０３は、その高域の左用のオーディオ信号ＸＬ Ｈｉｇｈと、IMDCT部２０２から低域の左用のオーディオ信号として供給される低域のモノラル信号ＸＭ ｌｏｗとを加算して、全周波数帯域の左用のオーディオ信号ＸＬを生成する。
　加算器２０４には、帯域分割部２０１から出力された高域の周波数スペクトル係数に対して、無相関周波数時間変換部１０２およびステレオ合成部１０３による処理が行われた結果得られる高域の右用のオーディオ信号ＸＲ Ｈｉｇｈが入力される。加算器２０４は、その高域の右用のオーディオ信号ＸＲ Ｈｉｇｈと、IMDCT部２０２から低域の右用のオーディオ信号として供給される低域のモノラル信号ＸＭ ｌｏｗとを加算して、全周波数帯域の右用のオーディオ信号ＸＲを出力する。
［音声処理装置の処理の説明］
　図１６は、図１５の音声処理装置２００による復号処理を説明するフローチャートである。この復号処理は、図２のオーディオ信号符号化部１３を備える図１の符号化装置１０と同様の空間符号化が行われ、高域についてのＢＣパラメータが多重化された符号化データが、音声処理装置２００に入力されたとき、開始される。
　図１６のステップＳ３１乃至Ｓ３３は、図１４のステップＳ１１乃至Ｓ１３の処理と同様であるので、説明は繰り返しになるので省略する。
　ステップＳ３４において、帯域分割部２０１は、スペクトル逆量子化部５３により得られる周波数スペクトル係数を、周波数によって高域の周波数スペクトル係数と低域の周波数スペクトル係数の２つのグループに分割する。そして、帯域分割部２０１は、低域の周波数スペクトル係数をIMDCT部２０２に供給し、高域の周波数スペクトル係数を無相関周波数時間変換部１０２に供給する。
　ステップＳ３５において、IMDCT部２０２は、帯域分割部２０１から供給される低域の周波数スペクトル係数に対してIMDCTを行い、低域の時間領域信号であるモノラル信号ＸＭ ｌｏｗを得る。IMDCT部２０２は、低域のモノラル信号ＸＭ ｌｏｗを低域の左用のオーディオ信号として加算器２０３に供給するとともに、低域の右用のオーディオ信号として加算器２０４に供給する。
　ステップＳ３６において、無相関周波数時間変換部１０２、ステレオ合成部１０３、および生成パラメータ計算部１０４は、帯域分割部２０１から供給される高域の周波数スペクトル係数に対してステレオ信号生成処理を行う。具体的には、無相関周波数時間変換部１０２、ステレオ合成部１０３、および生成パラメータ計算部１０４は、図１４のステップＳ１４乃至Ｓ１８の処理行う。その結果得られる高域の左用のオーディオ信号ＸＬ Ｈｉｇｈは加算器２０３に入力され、高域の右用のオーディオ信号ＸＲ Ｈｉｇｈは加算器２０４に入力される。
　ステップＳ３７において、加算器２０３は、IMDCT部２０２から低域の左用のオーディオ信号として供給される低域のモノラル信号ＸＭ ｌｏｗと、無相関周波数時間変換部１０２から供給される高域の左用のオーディオ信号ＸＬ Ｈｉｇｈとを加算して、全周波数帯域の左用のオーディオ信号ＸＬを生成する。そして、加算器２０３は、その全周波数帯域の左用のオーディオ信号ＸＬを出力する。
　ステップＳ３８において、加算器２０４は、IMDCT部２０２から低域の右用のオーディオ信号として供給される低域のモノラル信号ＸＭ ｌｏｗと、無相関周波数時間変換部１０２から供給される高域の右用のオーディオ信号ＸＲ Ｈｉｇｈとを加算して、全周波数帯域の右用のオーディオ信号ＸＲを生成する。そして、加算器２０４は、その全周波数帯域の右用のオーディオ信号ＸＲを出力する。
　以上のように、音声処理装置２００は、全周波数帯域のモノラル信号ＸＭの符号化データを復号し、高域についてのみステレオ化する。これにより、低域のモノラル信号ＸＭのステレオ化によって、音声が不自然になることを防止することができる。
　なお、音声処理装置２００では、帯域分割部２０１が、高域の周波数スペクトル係数と低域の周波数スペクトル係数に分割したが、所定の周波数帯域の周波数スペクトル係数と、それ以外の周波数帯域の周波数スペクトル係数に分割するようにしてもよい。即ち、ステレオ化の有無が、低域であるか、高域であるかによって選択されるのではなく、所定の周波数帯域であるか、それ以外の周波数帯域であるかによって選択されるようにしてもよい。
＜第３実施の形態＞
［音声処理装置の第３実施の形態の構成例］
　図１７は、本発明を適用した音声処理装置の第３実施の形態の構成例を示すブロック図である。
　図１７に示す構成のうち、図４、図６、および図９の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１７の音声処理装置３００の構成は、主に、逆多重化部４１と逆多重化部６１の代わりに逆多重化部３０１が設けられている点、IMDCT部６４－１乃至IMDCT部６４－（Ｎ－１）の代わりにIMDCT部３０４－１乃至３０４－（Ｎ－１）が設けられている点、IMDCT部６４－Ｎおよびステレオ信号生成部４４の代わりにステレオ化部３０５が設けられている点、生成パラメータ計算部４３、合成フィルタバンク６５の代わりに生成パラメータ計算部１０４、合成フィルタバンク３０６が設けられている点が、図６のオーディオ信号復号部４２と図７のステレオ信号生成部４４を備える図４の復号装置４０の構成と異なる。
　図１７の音声処理装置３００は、例えば図３のオーディオ信号符号化部１３を備える図１の符号化装置１０と同様の空間符号化が行われ、所定のサブバンド信号のＢＣパラメータが多重化された符号化データを復号する。
　具体的には、音声処理装置３００の逆多重化部３０１は、図４の逆多重化部４１と図６の逆多重化部６１に対応する。即ち、逆多重化部３０１には、図３のオーディオ信号符号化部１３を備える図１の符号化装置１０と同様の空間符号化が行われ、所定のサブバンド信号のＢＣパラメータが多重化された符号化データが入力される。逆多重化部３０１は、入力された符号化データに対して逆多重化を行い、符号化データと所定のサブバンド信号のＢＣパラメータを得る。そして、逆多重化部３０１は、所定のサブバンド信号のＢＣパラメータを生成パラメータ計算部１０４に供給する。
　また、逆多重化部３０１は、符号化データに対して逆多重化を行い、量子化され、エントロピー符号化されたＮ個のサブバンド信号の周波数スペクトル係数と量子化情報を得る。逆多重化部３０１は、量子化され、エントロピー符号化されたＮ個のサブバンド信号の周波数スペクトル係数をエントロピー復号部６２に供給し、量子化情報をスペクトル逆量子化部６３に供給する。
　IMDCT部３０４－１乃至３０４－（Ｎ－１）（第３の変換手段）およびステレオ化部３０５には、スペクトル逆量子化部６３により復元されたＮ個のサブバンド信号の周波数スペクトル係数が、１つずつ入力される。
　IMDCT部３０４－１乃至３０４－（Ｎ－１）は、それぞれ、入力された周波数スペクトル係数に対してIMDCTを行い、周波数スペクトル係数を時間領域信号であるモノラル信号ＸＭのサブバンド信号ＸＭ ｉ（ｉ=１，２，・・・，Ｎ－１）に変換する。IMDCT部３０４－１乃至３０４－（Ｎ－１）は、それぞれ、サブバンド信号ＸＭ ｉを、左用のオーディオ信号ＸＬ ｉと右用のオーディオ信号ＸＲ ｉとして合成フィルタバンク３０６に供給する。
　ステレオ化部３０５は、図９の無相関周波数時間変換部１０２とステレオ合成部１０３により構成される。ステレオ化部３０５は、生成パラメータ計算部１０４により生成された生成パラメータを用いて、スペクトル逆量子化部６３から入力された所定のサブバンド信号の周波数スペクトル係数から、時間領域信号である左用のオーディオ信号のサブバンド信号ＸＬ Ａと右用のオーディオ信号のサブバンド信号ＸＲ Ａを生成する。そして、ステレオ化部３０５は、左用のサブバンド信号ＸＬ Ａと右用のサブバンド信号ＸＲ Ａを合成フィルタバンク３０６に供給する。
　合成フィルタバンク３０６（加算手段）は、左用のオーディオ信号のサブバンド信号を合成するための左用合成フィルタバンクと、右用のオーディオ信号のサブバンド信号を合成するための右用合成フィルタバンクにより構成される。合成フィルタバンク３０６の左用合成フィルタバンクは、IMDCT部３０４－１乃至３０４－（Ｎ－１）からの左用のサブバンド信号ＸＬ １乃至ＸＬ Ｎ－１と、ステレオ化部３０５からの左用のサブバンド信号ＸＬ Ａを合成する。そして、左用合成フィルタバンクは、合成の結果得られる全周波数帯域の左用のオーディオ信号ＸＬを出力する。
　また、合成フィルタバンク３０６の右用合成フィルタバンクは、IMDCT部３０４－１乃至３０４－（Ｎ－１）からの右用のサブバンド信号ＸＲ １乃至ＸＲ Ｎ－１と、ステレオ化部３０５からの右用のサブバンド信号ＸＲ Ａを合成する。そして、右用合成フィルタバンクは、合成の結果得られる全周波数帯域の右用のオーディオ信号ＸＲを出力する。
　なお、図１７の音声処理装置３００では、１つのサブバンド信号についてのみステレオ化が行われるようにしたが、複数のサブバンド信号についてステレオ化が行われるようにすることもできる。また、ステレオ化が行われるサブバンド信号は、予め設定されるのではなく、符号化側で動的に設定されるようにしてもよい。この場合、例えば、ＢＣパラメータにステレオ化の対象となるサブバンド信号を特定する情報が含められる。
［音声処理装置の処理の説明］
　図１８は、図１７の音声処理装置３００による復号処理を説明するフローチャートである。この復号処理は、例えば、図３のオーディオ信号符号化部１３を備える図１の符号化装置１０と同様の空間符号化が行われ、所定のサブバンド信号のＢＣパラメータが多重化された符号化データが音声処理装置３００に入力されたとき、開始される。
　図１８のステップＳ５１において、逆多重化部３０１は、入力された多重化された符号化データに対して逆多重化を行い、符号化データと所定のサブバンド信号のＢＣパラメータを得る。そして、逆多重化部３０１は、所定のサブバンド信号のＢＣパラメータを生成パラメータ計算部１０４に供給する。また、逆多重化部３０１は、符号化データに対して逆多重化を行い、量子化され、エントロピー符号化されたＮ個のサブバンド信号の周波数スペクトル係数と量子化情報を得る。逆多重化部３０１は、量子化され、エントロピー符号化されたＮ個のサブバンド信号の周波数スペクトル係数をエントロピー復号部６２に供給し、量子化情報をスペクトル逆量子化部６３に供給する。
　ステップＳ５２において、エントロピー復号部６２は、逆多重化部１０１から供給されるＮ個のサブバンド信号の周波数スペクトル係数に対してエントロピー復号を行い、スペクトル逆量子化部６３に供給する。
　ステップＳ５３において、スペクトル逆量子化部６３は、逆多重化部３０１から供給される量子化情報に基づいて、エントロピー復号部６２から供給されるエントロピー復号の結果得られたＮ個のサブバンド信号の周波数スペクトル係数それぞれに対して逆量子化を行う。そして、スペクトル逆量子化部６３は、その結果復元されたＮ個のサブバンド信号の周波数スペクトル係数を、IMDCT部３０４－１乃至３０４－（Ｎ－１）およびステレオ化部３０５に１つずつ供給する。
　ステップＳ５４において、IMDCT部３０４－１乃至３０４－（Ｎ－１）は、それぞれ、スペクトル逆量子化部６３から供給される周波数スペクトル係数に対してIMDCTを行う。そして、IMDCT部３０４－１乃至３０４－（Ｎ－１）は、それぞれ、その結果得られるモノラル信号のサブバンド信号ＸＭ ｉ（ｉ=１，２，・・・，Ｎ－１）を、左用のオーディオ信号のサブバンド信号ＸＬ ｉと右用のオーディオ信号のサブバンド信号ＸＬ ｉとして合成フィルタバンク３０６に供給する。
　ステップＳ５５において、ステレオ化部３０５は、生成パラメータ計算部１０４から供給される生成パラメータを用いて、スペクトル逆量子化部６３から供給される所定のサブバンド信号の周波数スペクトル係数に対して、ステレオ信号生成処理を行う。そして、ステレオ化部３０５は、その結果得られる時間領域信号である左用のオーディオ信号のサブバンド信号ＸＬ Ａと右用のオーディオ信号のサブバンド信号ＸＲ Ａを合成フィルタバンク３０６に供給する。
　ステップＳ５６において、合成フィルタバンク３０６の左用合成フィルタバンクは、IMDCT部３０４－１乃至３０４－（Ｎ－１）とステレオ化部３０５からそれぞれ供給される左用のオーディオ信号の全サブバンド信号を合成して、全周波数帯域の左用のオーディオ信号ＸＬを生成する。そして、左用合成フィルタバンクは、その全周波数帯域の左用のオーディオ信号ＸＬを出力する。
　ステップＳ５７において、合成フィルタバンク３０６の右用合成フィルタバンクは、IMDCT部３０４－１乃至３０４－（Ｎ－１）とステレオ化部３０５からそれぞれ供給される右用のオーディオ信号の全サブバンド信号を合成して、全周波数帯域の右用のオーディオ信号ＸＲを生成する。そして、右用合成フィルタバンクは、その全周波数帯域の右用のオーディオ信号ＸＲを出力する。
＜第４実施の形態＞
［音声処理装置の第４実施の形態の構成例］
　図１９は、本発明を適用した音声処理装置の第４実施の形態の構成例を示すブロック図である。
　図１９に示す構成のうち、図１５の構成と同じ構成には同じ符号を付してある。重複する説明については適宜省略する。
　図１９の音声処理装置４００の構成は、主に、帯域分割部２０１の代わりにスペクトル分離部４０１が設けられ、IMDCT部２０２の代わりにIMDCT４０２および４０３が設けられ、加算器２０３、加算器２０４の代わりに加算器４０４、加算器４０５が設けられている点が、図１５の構成と異なる。
　音声処理装置４００は、インテンシティ符号化された符号化データであって、従来のチャンネル間の周波数スペクトル係数のレベル比の代わりにインテンシティ開始周波数Fis以上の周波数のＢＣパラメータが多重化された符号化データを復号する。
　即ち、音声処理装置４００によって復号される符号化データは、例えば、符号化対象のステレオ信号をモノラル信号ＸＭにダウンミックスし、その結果得られるモノラル信号ＸＭと符号化対象のステレオ信号のインテンシティ開始周波数Fis以上の周波数の成分をハイパスフィルタ等によって抽出してＢＣパラメータを検出する符号化装置により生成される。
　音声処理装置４００のスペクトル分離部４０１（分離手段）は、スペクトル逆量子化部５３により復元された周波数スペクトル係数を得る。スペクトル分離部４０１は、その周波数スペクトル係数を、インテンシティ開始周波数Fisより低い周波数のステレオ信号の周波数スペクトル係数と、インテンシティ開始周波数Fis以上の周波数のモノラル信号ＸＭ ｈｉｇｈの周波数スペクトル係数に分離する。スペクトル分離部４０１は、インテンシティ開始周波数Fisより低い周波数のステレオ信号の左用のオーディオ信号ＸＬ ｌｏｗの周波数スペクトル係数をIMDCT部４０２に供給し、右用のオーディオ信号ＸＲ ｌｏｗの周波数スペクトル係数をIMDCT部４０３に供給する。また、スペクトル分離部４０１は、モノラル信号ＸＭ ｈｉｇｈの周波数スペクトル係数を無相関周波数時間変換部１０２に供給する。
　IMDCT部４０２（第３の変換手段）は、スペクトル分離部４０１から供給される左用のオーディオ信号ＸＬ ｌｏｗの周波数スペクトル係数に対してIMDCTを行い、その結果得られる左用のオーディオ信号ＸＬ ｌｏｗを加算器４０４に供給する。
　IMDCT部４０３（第３の変換手段）は、スペクトル分離部４０１から供給される右用のオーディオ信号ＸＲ ｌｏｗの周波数スペクトル係数に対してIMDCTを行い、その結果得られる右用のオーディオ信号ＸＲ ｌｏｗを加算器４０５に供給する。
　加算器４０４（加算手段）は、ステレオ合成部１０３により生成されるインテンシティ開始周波数Fis以上の周波数の時間領域信号である左用のオーディオ信号ＸＬ ｈｉｇｈと、IMDCT部４０２から供給される左用のオーディオ信号ＸＬ ｌｏｗとを加算する。加算器４０４は、その結果得られるオーディオ信号を全周波数帯域の左用のオーディオ信号ＸＬとして出力する。
　加算器４０５（加算手段）は、ステレオ合成部１０３により生成されるインテンシティ開始周波数Fis以上の周波数の時間領域信号である右用のオーディオ信号ＸＲ ｈｉｇｈと、IMDCT部４０２から供給される右用のオーディオ信号ＸＲ ｌｏｗとを加算する。加算器４０５は、その結果得られるオーディオ信号を全周波数帯域の右用のオーディオ信号ＸＲとして出力する。
　以上のように、音声処理装置４００は、インテンシティ符号化された符号化データに多重化されたＢＣパラメータを用いて、インテンシティ符号化によってモノラル化されたインテンシティ開始周波数Fis以上の周波数の成分をステレオ化する。これにより、従来のチャンネル間の周波数スペクトル係数のレベル比を用いてステレオ化を行うインテンシィティ復号装置に比べて、インテンシティ開始周波数Fis以上の周波数の成分のステレオ感を復元することができる。
［音声処理装置の処理の説明］
　図２０は、図１９の音声処理装置４００による復号処理を説明するフローチャートである。この復号処理は、例えば、インテンシティ符号化され、インテンシティ開始周波数Fis以上の周波数のＢＣパラメータが多重化された符号化データが入力されたとき、開始される。
　図２０のステップＳ７１乃至Ｓ７３の処理は、図１６のステップＳ３１乃至Ｓ３３の処理と同様であるので、説明は省略する。
　ステップＳ７４において、スペクトル分離部４０１は、スペクトル逆量子化部５３により復元された周波数スペクトル係数を、インテンシティ開始周波数Fisより低い周波数のステレオ信号の周波数スペクトル係数と、インテンシティ開始周波数Fis以上の周波数のモノラル信号ＸＭ ｈｉｇｈの周波数スペクトル係数に分離する。スペクトル分離部４０１は、インテンシティ開始周波数Fisより低い周波数のステレオ信号の左用のオーディオ信号ＸＬ ｌｏｗの周波数スペクトル係数をIMDCT部４０２に供給し、右用のオーディオ信号ＸＲ ｌｏｗの周波数スペクトル係数をIMDCT部４０３に供給する。また、スペクトル分離部４０１は、モノラル信号ＸＭ ｈｉｇｈの周波数スペクトル係数を無相関周波数時間変換部１０２に供給する。
　ステップＳ７５において、IMDCT部４０２は、スペクトル分離部４０１から供給される左用のオーディオ信号ＸＬ ｌｏｗの周波数スペクトル係数に対してIMDCTを行う。そして、IMDCT部４０２は、その結果得られる左用のオーディオ信号ＸＬ ｌｏｗを加算器４０４に供給する。
　ステップＳ７６において、IMDCT部４０３は、スペクトル分離部４０１から供給される右用のオーディオ信号ＸＲ ｌｏｗの周波数スペクトル係数に対してIMDCTを行う。そして、IMDCT部４０３は、その結果得られる右用のオーディオ信号ＸＲ ｌｏｗを加算器４０５に供給する。
　ステップＳ７７において、無相関周波数時間変換部１０２、ステレオ合成部１０３、および生成パラメータ計算部１０４は、スペクトル分離部４０１からのモノラル信号ＸＭ ｈｉｇｈの周波数スペクトル係数に対してステレオ信号生成処理を行う。その結果得られる時間領域信号である左用のオーディオ信号ＸＬ ｈｉｇｈは、加算器４０４に供給され、右用のオーディオ信号ＸＲ ｈｉｇｈは、加算器４０５に供給される。
　ステップＳ７８において、加算器４０４は、IMDCT部４０２からのインテンシティ開始周波数Fisより低い周波数の左用のオーディオ信号ＸＬ ｌｏｗとステレオ合成部１０３からのインテンシティ開始周波数Fis以上の周波数の左用のオーディオ信号ＸＬ ｈｉｇｈとを加算して、全周波数帯域の左用のオーディオ信号ＸＬを生成する。そして、加算器４０４は、その左用のオーディオ信号ＸＬを出力する。
　ステップＳ７９において、加算器４０５は、IMDCT部４０３からのインテンシティ開始周波数Fisより低い周波数の右用のオーディオ信号ＸＲ ｌｏｗと、ステレオ合成部１０３からのインテンシティ開始周波数Fis以上の周波数の右用のオーディオ信号ＸＲ ｈｉｇｈとを加算して、全周波数帯域の右用のオーディオ信号ＸＲを生成する。そして、加算器４０５は、その右用のオーディオ信号ＸＲを出力する。
　なお、上述した説明では、音声処理装置１００（２００，３００，４００）が、MDCTによって時間周波数変換された符号化データを復号するようにしたので、周波数時間変換時にIMDCTが行われたが、MDSTによって時間周波数変換された符号化データを復号する場合には、周波数時間変換時にIMDSTが行われる。
　また、上述した説明では、無相関時間周波数変換部１０２において、基底が互いに直交する変換としてIMDCT変換とIMDST変換が用いられたが、サイン変換とコサイン変換等の他の重複直交変換が用いられてもよい。
[本発明を適用したコンピュータの説明]
　次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
　そこで、図２１は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
　プログラムは、コンピュータに内蔵されている記録媒体としての記憶部５０８やROM（Read Only Memory）５０２に予め記録しておくことができる。
　あるいはまた、プログラムは、リムーバブルメディア５１１に格納（記録）しておくことができる。このようなリムーバブルメディア５１１は、いわゆるパッケージソフトウエアとして提供することができる。ここで、リムーバブルメディア５１１としては、例えば、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory)，MO(Magneto Optical)ディスク，DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリ等がある。
　なお、プログラムは、上述したようなリムーバブルメディア５１１からドライブ５１０を介してコンピュータにインストールする他、通信網や放送網を介して、コンピュータにダウンロードし、内蔵する記憶部５０８にインストールすることができる。すなわち、プログラムは、例えば、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送することができる。
　コンピュータは、CPU(Central Processing Unit)５０１を内蔵しており、CPU５０１には、バス５０４を介して、入出力インタフェース５０５が接続されている。
　CPU５０１は、入出力インタフェース５０５を介して、ユーザによって、入力部５０６が操作等されることにより指令が入力されると、それに従って、ROM５０２に格納されているプログラムを実行する。あるいは、CPU５０１は、記憶部５０８に格納されたプログラムを、RAM(Random Access Memory)５０３にロードして実行する。
　これにより、CPU５０１は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU５０１は、その処理結果を、必要に応じて、例えば、入出力インタフェース５０５を介して、出力部５０７から出力、あるいは、通信部５０９から送信、さらには、記憶部５０８に記録等させる。
　なお、入力部５０６は、キーボードや、マウス、マイク等で構成される。また、出力部５０７は、LCD(Liquid Crystal Display)やスピーカ等で構成される。
　ここで、本明細書において、コンピュータがプログラムに従って行う処理は、必ずしもフローチャートとして記載された順序に沿って時系列に行われる必要はない。すなわち、コンピュータがプログラムに従って行う処理は、並列的あるいは個別に実行される処理（例えば、並列処理あるいはオブジェクトによる処理）も含む。
　また、プログラムは、１のコンピュータ（プロセッサ）により処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
　本発明は、オーディオ信号の擬似ステレオ化技術に適用することができる。
　本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
　５４　IMDCT部，　１００　音声処理装置，　１０１　逆多重化部，　１０３　ステレオ合成部，　１１１　IMDST部，　１２１　スペクトル反転部，　１２２　IMDCT部，　１２３　符号反転部，　２００　音声処理装置，　２０１　帯域分割部，　２０２　IMDCT部，　２０３，２０４　加算器，　３００　音声処理装置，　３０１　逆多重化部，　３０４－１乃至３０４－Ｎ　IMDCT部，　３０５　ステレオ化部，　３０６　合成フィルタバンク，　４００　音声処理装置，　４０１　スペクトル分離部，　４０２，４０３　IMDCT部，　４０４，４０５　加算器

Claims (9)

  1. 　複数チャンネルの音声の時間領域信号である音声信号から生成された前記複数チャンネルより少ないチャンネルの音声信号の周波数領域の係数と、前記複数チャンネルのチャンネル間の関係を表すパラメータとを取得する取得手段と、
    　前記取得手段により取得された前記周波数領域の係数を、第１の時間領域信号に変換する第１の変換手段と、
    　前記取得手段により取得された前記周波数領域の係数を、第２の時間領域信号に変換する第２の変換手段と、
    　前記パラメータを用いて前記第１の時間領域信号と前記第２の時間領域信号を合成することにより、前記複数チャンネルの音声信号を生成する合成手段と
    　を備え、
    　前記第１の変換手段による変換における基底と前記第２の変換手段による変換における基底は直交する
    　音声処理装置。
  2. 　前記取得手段により取得された前記周波数領域の係数を、周波数によって複数のグループに分割する分割手段と、
    　前記複数のグループのうちの第１のグループに分割された前記周波数領域の係数を、第３の時間領域信号に変換する第３の変換手段と、
    　前記第３の時間領域信号を前記第１のグループの周波数帯域の各チャンネルの音声信号とし、その第３の時間領域信号と、前記合成手段により生成された前記複数チャンネルの音声信号とをチャンネルごとに加算して、全周波数帯域の前記複数チャンネルの音声信号を生成する加算手段と
    　をさらに備え、
    　前記取得手段は、前記周波数領域の係数と前記第１のグループ以外のグループである第２のグループの周波数帯域の前記パラメータを取得し、
    　前記第１の変換手段は、前記第２のグループに分割された前記周波数領域の係数を、前記第１の時間領域信号に変換し、
    　前記第２の変換手段は、前記第２のグループに分割された前記周波数領域の係数を、前記第２の時間領域信号に変換し、
    　前記合成手段は、前記パラメータを用いて前記第１の時間領域信号と前記第２の時間領域信号を合成することにより、前記第２のグループの周波数帯域の前記複数チャンネルの音声信号を生成する
    　請求項１に記載の音声処理装置。
  3. 　前記取得手段により取得される周波数により複数のグループに分割された前記周波数領域の係数のうちの第１のグループの周波数領域の係数を、第３の時間領域信号に変換する第３の変換手段と、
    　前記第３の時間領域信号を前記第１のグループの周波数帯域の各チャンネルの音声信号とし、その第３の時間領域信号と、前記合成手段により生成された前記複数チャンネルの音声信号とをチャンネルごとに加算して、全周波数帯域の前記複数チャンネルの音声信号を生成する加算手段と
    　をさらに備え、
    　前記取得手段は、各グループの前記周波数領域の係数と、前記複数のグループのうちの前記第１のグループ以外のグループである第２のグループの周波数帯域の前記パラメータを取得し、
    　前記第１の変換手段は、前記第２のグループに分割された前記周波数領域の係数を、前記第１の時間領域信号に変換し、
    　前記第２の変換手段は、前記第２のグループに分割された前記周波数領域の係数を、前記第２の時間領域信号に変換し、
    　前記合成手段は、前記パラメータを用いて前記第１の時間領域信号と前記第２の時間領域信号を合成することにより、前記第２のグループの周波数帯域の前記複数チャンネルの音声信号を生成する
    　請求項１に記載の音声処理装置。
  4. 　前記周波数領域の係数は、前記複数チャンネルの音声信号の周波数領域の係数から生成される
    　請求項１に記載の音声処理装置。
  5. 　前記取得手段により取得された所定の周波数帯域の前記周波数領域の係数と、その周波数帯域以外の周波数帯域の前記複数チャンネルの音声信号の周波数領域の係数を分離する分離手段と、
    　前記分離手段により分離された前記複数チャンネルの音声信号の周波数領域の係数を、前記複数チャンネルの第３の時間領域信号に変換する第３の変換手段と、
    　前記複数チャンネルの第３の時間領域信号を前記所定の周波数帯域以外の周波数帯域の前記複数チャンネルの音声信号とし、その第３の時間領域信号と、前記合成手段により生成された前記複数チャンネルの音声信号とをチャンネルごとに加算して、全周波数帯域の前記複数チャンネルの音声信号を生成する加算手段と
    　をさらに備え、
    　前記取得手段は、前記所定の周波数帯域の前記周波数領域の係数、前記所定の周波数帯域以外の周波数帯域の前記複数チャンネルの音声信号の周波数領域の係数、および、前記所定の周波数帯域の前記パラメータを取得し、
    　前記第１の変換手段は、前記分離手段により分離された前記所定の周波数帯域の前記周波数領域の係数を、前記第１の時間領域信号に変換し、
    　前記第２の変換手段は、前記分離手段により分離された前記所定の周波数帯域の前記周波数領域の係数を、前記第２の時間領域信号に変換し、
    　前記合成手段は、前記パラメータを用いて前記第１の時間領域信号と前記第２の時間領域信号を合成することにより、前記所定の周波数帯域の前記複数チャンネルの音声信号を生成する
    　請求項４に記載の音声処理装置。
  6. 　前記周波数領域の係数は、MDCT（Modified Discrete Cosine Transform）係数であり、
    　前記第１の変換手段による変換は、IMDCT（Inverse Modified Discrete Cosine Transform）であり、
    　前記第２の変換手段による変換は、IMDST（Inverse Modified Discrete Sine Transform）である
    　請求項１乃至５のいずれかに記載の音声処理装置。
  7. 　前記第２の変換手段は、
    　　前記周波数領域の係数を周波数が逆順になるように反転するスペクトル反転手段と
    　　前記スペクトル反転手段による反転の結果得られる周波数領域の係数にIMDCT（Inverse Modified Discrete Cosine Transform）を行い、時間領域信号を得るIMDCT手段と、
    　前記IMDCT手段により得られた時間領域信号の各サンプルの符号を１つ置きに反転する符号反転手段と
    　を備え、
    　前記周波数領域の係数は、MDCT（Modified Discrete Cosine Transform）係数であり、
    　前記第１の変換手段による変換は、IMDCTである
    　請求項１乃至５のいずれかに記載の音声処理装置。
  8. 　音声処理装置が、
    　複数チャンネルの音声の時間領域信号である音声信号から生成された前記複数チャンネルより少ないチャンネルの音声信号の周波数領域の係数と、前記複数チャンネルのチャンネル間の関係を表すパラメータとを取得する取得ステップと、
    　前記取得ステップの処理により取得された前記周波数領域の係数を、第１の時間領域信号に変換する第１の変換ステップと、
    　前記取得ステップの処理により取得された前記周波数領域の係数を、第２の時間領域信号に変換する第２の変換ステップと、
    　前記パラメータを用いて前記第１の時間領域信号と前記第２の時間領域信号を合成することにより、前記複数チャンネルの音声信号を生成する合成ステップと
    　を含み、
    　前記第１の変換ステップの処理による変換における基底と前記第２の変換ステップの処理による変換における基底は直交する
    　音声信号処理方法。
  9. 　コンピュータに、
    　複数チャンネルの音声の時間領域信号である音声信号から生成された前記複数チャンネルより少ないチャンネルの音声信号の周波数領域の係数と、前記複数チャンネルのチャンネル間の関係を表すパラメータとを取得する取得ステップと、
    　前記取得ステップの処理により取得された前記周波数領域の係数を、第１の時間領域信号に変換する第１の変換ステップと、
    　前記取得ステップの処理により取得された前記周波数領域の係数を、第２の時間領域信号に変換する第２の変換ステップと、
    　前記パラメータを用いて前記第１の時間領域信号と前記第２の時間領域信号を合成することにより、前記複数チャンネルの音声信号を生成する合成ステップと
    　を含み、
    　前記第１の変換ステップの処理による変換における基底と前記第２の変換ステップの処理による変換における基底は直交する
    　処理を実行させるためのプログラム。
PCT/JP2011/055293 2010-03-17 2011-03-08 音声処理装置、音声処理方法、およびプログラム Ceased WO2011114932A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201180013301.2A CN102792369B (zh) 2010-03-17 2011-03-08 语音处理装置、语音处理方法
BR112012022784A BR112012022784A2 (pt) 2010-03-17 2011-03-08 aparelho de processamento de fala, método de processamento de sinal de fala, e, programa
US13/583,839 US8977541B2 (en) 2010-03-17 2011-03-08 Speech processing apparatus, speech processing method and program
EP11756121.7A EP2525352B1 (en) 2010-03-17 2011-03-08 Audio-processing device, audio-processing method and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-061170 2010-03-17
JP2010061170A JP5299327B2 (ja) 2010-03-17 2010-03-17 音声処理装置、音声処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2011114932A1 true WO2011114932A1 (ja) 2011-09-22

Family

ID=44649030

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/055293 Ceased WO2011114932A1 (ja) 2010-03-17 2011-03-08 音声処理装置、音声処理方法、およびプログラム

Country Status (6)

Country Link
US (1) US8977541B2 (ja)
EP (1) EP2525352B1 (ja)
JP (1) JP5299327B2 (ja)
CN (1) CN102792369B (ja)
BR (1) BR112012022784A2 (ja)
WO (1) WO2011114932A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108140393A (zh) * 2016-09-28 2018-06-08 华为技术有限公司 一种处理多声道音频信号的方法、装置和系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101698439B1 (ko) 2010-04-09 2017-01-20 돌비 인터네셔널 에이비 Mdct-기반의 복소수 예측 스테레오 코딩
TWI618050B (zh) 2013-02-14 2018-03-11 杜比實驗室特許公司 用於音訊處理系統中之訊號去相關的方法及設備
JP6094322B2 (ja) * 2013-03-28 2017-03-15 富士通株式会社 直交変換装置、直交変換方法及び直交変換用コンピュータプログラムならびにオーディオ復号装置
EP3011562A2 (en) * 2013-06-17 2016-04-27 Dolby Laboratories Licensing Corporation Multi-stage quantization of parameter vectors from disparate signal dimensions
CN108665902B (zh) * 2017-03-31 2020-12-01 华为技术有限公司 多声道信号的编解码方法和编解码器
CN108694955B (zh) * 2017-04-12 2020-11-17 华为技术有限公司 多声道信号的编解码方法和编解码器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006524832A (ja) 2003-04-30 2006-11-02 コーディング テクノロジーズ アクチボラゲット 複素指数変調フィルタバンクを基にした新型プロセッシングおよび適応型時間信号伝達方法
JP2006325162A (ja) 2005-05-20 2006-11-30 Matsushita Electric Ind Co Ltd バイノーラルキューを用いてマルチチャネル空間音声符号化を行うための装置
WO2007010785A1 (ja) * 2005-07-15 2007-01-25 Matsushita Electric Industrial Co., Ltd. オーディオデコーダ
WO2007029412A1 (ja) * 2005-09-01 2007-03-15 Matsushita Electric Industrial Co., Ltd. マルチチャンネル音響信号処理装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3147807B2 (ja) * 1997-03-21 2001-03-19 日本電気株式会社 信号符号化装置
JP2007520748A (ja) * 2004-01-28 2007-07-26 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 複素値データを用いたオーディオ信号の復号
CN101325059B (zh) * 2007-06-15 2011-12-21 华为技术有限公司 语音编解码收发方法及装置
CN101802907B (zh) * 2007-09-19 2013-11-13 爱立信电话股份有限公司 多信道音频的联合增强
DE102007048973B4 (de) * 2007-10-12 2010-11-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Multikanalsignals mit einer Sprachsignalverarbeitung

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006524832A (ja) 2003-04-30 2006-11-02 コーディング テクノロジーズ アクチボラゲット 複素指数変調フィルタバンクを基にした新型プロセッシングおよび適応型時間信号伝達方法
JP2006325162A (ja) 2005-05-20 2006-11-30 Matsushita Electric Ind Co Ltd バイノーラルキューを用いてマルチチャネル空間音声符号化を行うための装置
WO2007010785A1 (ja) * 2005-07-15 2007-01-25 Matsushita Electric Industrial Co., Ltd. オーディオデコーダ
WO2007029412A1 (ja) * 2005-09-01 2007-03-15 Matsushita Electric Industrial Co., Ltd. マルチチャンネル音響信号処理装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2525352A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108140393A (zh) * 2016-09-28 2018-06-08 华为技术有限公司 一种处理多声道音频信号的方法、装置和系统
CN108140393B (zh) * 2016-09-28 2023-10-20 华为技术有限公司 一种处理多声道音频信号的方法、装置和系统
US11922954B2 (en) 2016-09-28 2024-03-05 Huawei Technologies Co., Ltd. Multichannel audio signal processing method, apparatus, and system
US12315522B2 (en) 2016-09-28 2025-05-27 Huawei Technolgoies Co., Ltd. Multichannel audio signal processing method, apparatus, and system

Also Published As

Publication number Publication date
CN102792369A (zh) 2012-11-21
BR112012022784A2 (pt) 2018-05-22
EP2525352A1 (en) 2012-11-21
EP2525352B1 (en) 2014-08-20
JP2011197105A (ja) 2011-10-06
US20130006618A1 (en) 2013-01-03
CN102792369B (zh) 2014-04-23
JP5299327B2 (ja) 2013-09-25
EP2525352A4 (en) 2013-08-28
US8977541B2 (en) 2015-03-10

Similar Documents

Publication Publication Date Title
JP7270096B2 (ja) フレーム制御同期化を使用して多チャネル信号を符号化又は復号化する装置及び方法
JP6869322B2 (ja) 音場のための高次アンビソニックス表現を圧縮および圧縮解除する方法および装置
US8817992B2 (en) Multichannel audio coder and decoder
JP6542269B2 (ja) 圧縮ｈｏａ表現をデコードする方法および装置ならびに圧縮ｈｏａ表現をエンコードする方法および装置
JP6289613B2 (ja) オブジェクト特有時間／周波数分解能を使用する混合信号からのオーディオオブジェクト分離
EP2904609B1 (en) Encoder, decoder and methods for backward compatible multi-resolution spatial-audio-object-coding
EP2849180B1 (en) Hybrid audio signal encoder, hybrid audio signal decoder, method for encoding audio signal, and method for decoding audio signal
JP5299327B2 (ja) 音声処理装置、音声処理方法、およびプログラム
WO2014115225A1 (ja) 帯域幅拡張パラメータ生成装置、符号化装置、復号装置、帯域幅拡張パラメータ生成方法、符号化方法、および、復号方法
JP2019194704A (ja) 独立したノイズ充填を用いた強化された信号を生成するための装置および方法
CN106471579B (zh) 用于对hoa信号表示的子带内的主导方向信号的方向进行编码/解码的方法和装置
CN106463130B (zh) 用于对hoa信号表示的子带内的主导方向信号的方向进行编码/解码的方法和装置
CN106463132B (zh) 对压缩的hoa表示编码和解码的方法和装置
JPWO2010140350A1 (ja) ダウンミックス装置、符号化装置、及びこれらの方法
JPWO2010016270A1 (ja) 量子化装置、符号化装置、量子化方法及び符号化方法
JPWO2008132850A1 (ja) ステレオ音声符号化装置、ステレオ音声復号装置、およびこれらの方法
WO2007029412A1 (ja) マルチチャンネル音響信号処理装置
JP6094322B2 (ja) 直交変換装置、直交変換方法及び直交変換用コンピュータプログラムならびにオーディオ復号装置
CN105336334B (zh) 多声道声音信号编码方法、解码方法及装置
CN106463131B (zh) 用于对hoa信号表示的子带内的主导方向信号的方向进行编码/解码的方法和装置
JP6299202B2 (ja) オーディオ符号化装置、オーディオ符号化方法、オーディオ符号化プログラム及びオーディオ復号装置
CN113544774A (zh) 降混器及降混方法
HK1213360B (en) Encoder, decoder and methods for backward compatible multi-resolution spatial-audio-object-coding

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201180013301.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11756121

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2011756121

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13583839

Country of ref document: US

Ref document number: 7791/CHENP/2012

Country of ref document: IN

NENP Non-entry into the national phase

Ref country code: DE

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112012022784

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112012022784

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20120910