WO2013189199A1 - 一种单通道语音去混响的方法和装置 - Google Patents

一种单通道语音去混响的方法和装置 Download PDF

Info

Publication number
WO2013189199A1
WO2013189199A1 PCT/CN2013/073584 CN2013073584W WO2013189199A1 WO 2013189199 A1 WO2013189199 A1 WO 2013189199A1 CN 2013073584 W CN2013073584 W CN 2013073584W WO 2013189199 A1 WO2013189199 A1 WO 2013189199A1
Authority
WO
WIPO (PCT)
Prior art keywords
current frame
sound
power spectrum
late
frames
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2013/073584
Other languages
English (en)
French (fr)
Inventor
楼厦厦
吴晓婕
李波
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Goertek Inc
Original Assignee
Goertek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Goertek Inc filed Critical Goertek Inc
Priority to DK13807732.6T priority Critical patent/DK2863391T3/da
Priority to KR1020147035393A priority patent/KR101614647B1/ko
Priority to JP2015516415A priority patent/JP2015519614A/ja
Priority to US14/407,610 priority patent/US9269369B2/en
Priority to EP13807732.6A priority patent/EP2863391B1/en
Publication of WO2013189199A1 publication Critical patent/WO2013189199A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech

Definitions

  • the present invention relates to the field of speech enhancement, and more particularly to a method and apparatus for single channel speech dereverberation.
  • voice communication such as conference calls, smart television network telephones, and the like
  • the speaker is relatively far away from the microphone, and the communication environment is a relatively closed space, and the signal received by the microphone end is susceptible to environmental reverberation.
  • the signal received by the microphone termination is a mixture of direct and reflected sounds. This part of the reflected sound is the reverb signal.
  • the reverberation is serious, the voice will be unclear and affect the quality of the call.
  • the reverberation caused by the reverberation will also lead to poor performance of the acoustic receiving system and a significant degradation in the performance of the speech recognition system.
  • de-reverberation method does not require estimating the impulse response of the reverberant environment, so there is no need to calculate the inverse filter and perform the inverse filtering operation, also known as the blind de-reverberation method.
  • Such methods are usually based on speech model assumptions, such as: Reverberation causes the received voiced excitation pulse to change, making the periodicity less noticeable, affecting speech intelligibility.
  • This type of method is generally based on the LPC (Linear Prediction Coding) model, assuming that the model that produces the speech is an all-pole model, and that reverberation or other additive noise introduces new zeros throughout the system, thus overwhelming The voiced spurs the pulse, but does not affect the all-pole filter.
  • LPC Linear Prediction Coding
  • the dereverberation method is: Estimating the LPC residual of the signal, and then according to the gene synchronization burst > (1 (( pitch - synchronous clustering criterion) or 11 more ⁇ K rtosis ) : , to estimate the clean pulse excitation sequence, thus achieving dereverberation.
  • the problem with this type of method is that the computational complexity is often very high, and the assumption that the reverberation only affects the all-zero filter is inconsistent with the experimental analysis. Reverberation is a better solution by using the subtractive method.
  • the speech signal includes direct sound, early reflected sound and late reflected sound.
  • the spectral subtraction method is used to remove the power spectrum of the late reflected sound from the power spectrum of the whole speech to improve the speech quality.
  • the present invention provides a single channel speech dereverberation method and apparatus for solving the problem of estimating the transfer function of a reverberant environment or estimating the reverberation time in single channel speech dereverberation.
  • the invention discloses a single channel voice dereverberation method, and the method comprises:
  • the input single-channel speech signal is divided into rows and frames, and the frame signal is processed in chronological order as follows: a short-time Fourier transform is performed on the current frame to obtain a power spectrum and a phase spectrum of the current frame;
  • the power spectrum of the estimated reflection sound of the current frame is removed from the power of the current frame by subtraction, and the power spectrum of the direct sound and the early reflected sound of the current frame is obtained;
  • the power error of the direct sound and the early reflected sound of the current frame is subjected to a short-time Fourier transform together with the phase spectrum of the current frame to obtain a signal after the current frame is dereverbered.
  • the upper limit value of the duration range is set according to the attenuation characteristic of the late anti-shot sound; and the duration is set according to the speech correlation characteristic and the impact response distribution area of the direct sound and the early reflection sound in the reverberation environment.
  • the lower limit of the range is set according to the attenuation characteristic of the late anti-shot sound.
  • the upper limit of the duration range is selected at (). A value between 3 seconds and 0.5 seconds.
  • the lower limit of the duration range selects a value between 50 milliseconds and 80 milliseconds.
  • the power spectrum of the frames is linearly superimposed to estimate the power spectrum of the late reflection sound of the current frame, and specifically includes:
  • the autoregressive AR model is used to estimate the power spectrum of the late reflection sound of the current frame by superimposing all the components in the power spectrum of these frames;
  • the power of these frames is linearly superimposed on the direct and early reflected sound components to estimate the power spectrum of the late inverse of the current frame.
  • the autoregressive AR model is used to map all the power spectra of these frames. The components are linearly superimposed, and the moving average and the early reflected sound components in the power spectrum of these frames are linearly superimposed using a moving average MA model to estimate the power spectrum of the late reflected sound of the current frame.
  • the invention also discloses a single channel voice dereverberation device, and the device comprises:
  • a framing unit configured to framing the input single-channel speech signal, and outputting the frame signal to the Fourier transform unit in chronological order;
  • a Fourier transform unit configured to perform short-time Fourier transform on the received current frame, obtain a power spectrum and a phase spectrum of the current frame, and output a power spectrum of the current frame to the spectral subtraction unit and the spectral estimation unit, to Fourier Inverse transform unit output phase;
  • a multiplication unit configured to estimate a power spectrum of a late-reflected sound of a current frame of a current frame from a power-spot of a thousand frames within a set duration of time before the current frame, to a power spectrum of the current frame, to The submersible unit outputs the estimated power-latency of the late reflection sound of the current frame;
  • a spectral subtraction unit configured to remove the power of the late reflection sound of the current frame obtained by the error estimation unit from the power language of the current frame obtained by the spectral subtraction from the Fourier transform unit, to obtain the direct sound and the early reflection sound of the current frame The power of the output, outputting the power of the direct sound of the current frame and the early reflected sound to the inverse Fourier transform unit;
  • An inverse Fourier transform unit for performing a short time Fourier inverse with a power spectrum of a direct sound and an early reflected sound of a current frame obtained from a spectral subtraction unit together with a phase spectrum of a current frame obtained from a Fourier transform unit Transform, output the signal after the current frame is reverberated.
  • the spectrum estimation unit is specifically configured to set an upper limit value of the duration range according to an attenuation characteristic of the late reflection sound; and Z or, depending on the voice related characteristic and the direct sound and the early reflection sound in the reverberation environment
  • the lower impact response distribution area sets the lower limit of the duration range.
  • the pan estimating unit is specifically configured to select a value between the upper limit of the duration range of (), 3 seconds to 0.5 seconds.
  • the potential estimating unit is specifically configured to select a lower limit value of a range of durations between 50 milliseconds and 8 milliseconds.
  • the estimating unit is specifically configured to: For the thousands of frames before the current frame whose distance to the current frame is within the set duration, the autoregressive AR model is used to linearly superimpose all the components in the power spectrum of the frames to estimate the late reflection sound of the current frame. Power spectrum; for the thousands of frames in the range of the set duration, before the current frame, the moving average MA model is used to linearly superimpose the direct and early reflected sound components in the power spectrum of the frames. The power spectrum of the late reflected sound of the current frame;
  • the autoregressive AR type is used to linearly superimpose all the components in the power spectrum of the frames, and the frames are applied by the moving average MA model.
  • the direct sound and the early reflected sound components are linearly superimposed to estimate the power spectrum of the late reflected sound of the current frame.
  • the beneficial effects of the embodiment of the present invention are: estimating the late reflection sound of the current frame by linearly superimposing the power spectrum of the frames before the current frame and the distance from the current frame within the set duration.
  • the power spectrum can estimate the power spectrum of the late reflection sound of the current frame without estimating the transfer function or reverberation time of the reverberation environment, and then use the spectral subtraction method to de-reverberation, simplifying the basis of voice-related characteristics and direct
  • the upper limit value can reduce the amount of superposition calculation while ensuring the accuracy of the power spectrum of the estimated late reflection sound;
  • the upper limit value is selected to be a value between 0.3 seconds and (), 5 seconds, and the upper limit value is a threshold value obtained through experiments.
  • the upper limit value does not need to be adjusted. , can get 4 good de-reverberation effects;
  • the lower limit value is set between 5 () milliseconds and 80 milliseconds.
  • the lower limit value is not required to be changed, so that the direct sound and the early reflected sound can be effectively overlapped, so that the superimposed result is obtained. It basically does not contain direct sound and early reflection sound, so it can retain useful direct sound and early reflection sound while de-reverberation, and achieve better voice quality.
  • Figure 2 is a schematic diagram of the impulse of a real room
  • FIG. 3 is a schematic diagram of the effect of the implementation of the present invention
  • FIG. 3( a ) is a time domain diagram of the reverberation signal
  • FIG. 3 ( b ) is a time domain diagram of the signal after dereverberation
  • FIG. 3 ( e ) is a reverberation signal and going The energy envelope curve of the reverberation signal
  • FIG. 4 is a structural diagram of a single channel-to-speech de-reverberation device of the present invention.
  • FIG. 5 is a structural diagram of a specific embodiment of a single channel-to-speech de-reverberation device according to the present invention.
  • FIG. 1 is a single channel voice dereverberation provided by the present invention.
  • Step S100 In-line framing the input single-channel speech signal, and processing the frame signal in chronological order as follows.
  • Step S200 Perform a short-time Fourier transform on the current frame to obtain a power error and a phase spectrum of the current frame.
  • Step S300 selecting thousands of frames before the current frame and ranging from the current frame to the set duration, and linearly superimposing the power spectrum of the frames into the _-line linear superposition to estimate the power spectrum of the late reflection sound of the current frame.
  • the thousand frames are a preset number of frames, and may be all frames within the duration or a part of the frames within the duration.
  • Step S400 removing the power spectrum of the late reverse sound of the estimated current frame from the power spectrum of the current frame by spectral subtraction, and obtaining the power of the direct sound and the early reflected sound of the current frame.
  • Step S50() performing a short-time Fourier inverse transform on the power spectrum of the direct sound and the early reflected sound of the current frame together with the phase spectrum of the current frame to obtain a signal after the current frame is dereverbered.
  • the signal acquired by the microphone is a mixture of direct and reflected sounds, which can be represented by the following reverberation model:
  • A is the room impulse response between the two points from the sound source position to the microphone position
  • * indicates the convolution operation, indicating other additive noise in the reverberant environment.
  • the impulse response of a real room as shown in Figure 2. It can be divided into 3 parts, direct Peak ⁇ , early reflection and late reflection. Convolution with 5 (0) can be simply thought of as the reproduction of the signal from the sound source at the microphone end after a certain delay, corresponding to the direct sound portion of x . The impact response of the early reflection portion corresponds to the portion of the subsequent period of time, The time point of the duration of the duration is
  • the impact response of the late reflection part is the long tailing part of the room impulse response after the removal and the reverberation caused by the convolution of this part, which is the reverberation component that affects the sense of hearing.
  • the de-reverberation algorithm is mainly to remove the influence of this part.
  • the reverb model can also be expressed as:
  • the reverberation time (RT60) of the reverberation environment is a zero-mean Gaussian distribution random variable.
  • the power word estimation of the late reflected sound is described in detail below.
  • the signal power spectrum can be expressed as: where /) is the power spectrum of the late reflection sound, and ⁇ , /) is the power spectrum of the direct sound and early reflection sound, which should be preserved.
  • the spectral subtraction can be used to estimate the ⁇ ⁇ /) from /) to achieve dereverberation.
  • the power spectrum of the late reflection sound is linear with some components of the signal power spectrum or signal power before it, and the power of the direct sound and the early reflection sound is due to human speech characteristics. Some components in the past signal power spectrum or signal power do not form a linear relationship. Therefore, by linearly superimposing the power error components of the frame of a specific duration before the current frame, the power spectrum of the late reflection sound of the current frame can be estimated. Then, the power spectrum of the late reflected sound is removed from the power spectrum by spectral subtraction, and single-channel speech de-reverberation can be realized.
  • the upper limit value of the duration range is set according to the attenuation characteristic of the late reflection sound.
  • the lower limit value of the range of the duration is set according to the speech-related characteristic and the impact response distribution area of the direct sound and the early reflection sound in the reverberation environment.
  • the lower limit value is set in the shock response distribution area in the reverberation environment, so that the time period of avoiding the direct sound and the early reflection sound energy concentration during the linear superposition can be better while removing the reverberation.
  • the lower limit value of the duration range is selected to be a value between 50 milliseconds and 80 milliseconds.
  • the upper limit of the duration range is selected to be a value between 0.3 seconds and 0.5 seconds.
  • the setting of the upper limit is related to the specific environment in which the method is applied.
  • the upper limit value theoretically corresponds to the length of the room impulse response, but the impulse response generation model combined with the reverberation generation and the real environment is attenuated by the exponential model, the distance The farther the reflected sound energy at the current time is, the less the energy of the reflected sound is almost negligible after more than 0.5 s. Therefore, in practice only a rough upper limit is needed to apply to most reverberant environments.
  • the upper limit value is between 0.3 seconds and 0,5 seconds, for the anechoic chamber environment (the reverberation time is often short), the general office environment (reverberation time 0,3 ⁇ 0.5s), or even
  • the reverberation environment of the auditorium (reverberation time > is) has a good adaptability.
  • the method of the present invention only estimates the linear component and bypasses the energy concentration period of the direct sound and the early reflected sound, so even if the upper limit value is much longer than the reverberation time of the anechoic chamber, the effective speech component is Will not be removed.
  • the linearly superimposing the power spectra of the frames to estimate the power spectrum of the late inverse sound of the current frame specifically includes: applying an autoregressive AR model to line all the components in the power spectrum of the frames. The surname superposition estimates the power spectrum of the late reflected sound of the current frame.
  • the power spectrum of the frames is estimated to be linearly superimposed to estimate the power spectrum of the late reflection sound of the current frame, which specifically includes: applying a moving average MA model to direct and early reflection sounds in the power spectrum of the frames The components are linearly superimposed to estimate the power spectrum of the late reflected sound of the current frame.
  • the power spectrum of the frames is linearly superimposed to estimate the power spectrum of the late reflection sound of the current frame, which specifically includes: applying an autoregressive AR model to superimpose all components in the power spectrum of the frames And applying a moving average MA model to linearly superimpose the direct sound and early reflected sound components in the power spectrum of these frames, and estimate the power pan of the late reflected sound of the current frame.
  • J is the order of the AR model derived from the upper limit of the set duration range
  • a is the AR model estimate-number, which is the order of the MA model derived from the set upper limit, which is MA
  • Y(t - j - M) is the power spectrum of the direct and early reflection sounds of the j frame before the current frame
  • ⁇ ⁇ ' ⁇ '/) is the power of the j frame before the current frame. , for frame spacing.
  • the power spectrum estimation of the late reflection sound mentioned in the prior art is often a special case of the AR or MA or ARMA model proposed above.
  • the power estimation methods of other late reflection sounds often need to estimate the reverberation in the intermittent phase of speech.
  • the ambient reverberation time (RT60) is an important parameter in the power spectrum estimation of late reflection sound.
  • RT60 ambient reverberation time
  • , / is the spectrum -;
  • Gain (gain) function ' n ⁇ fruit as shown in Figure 3.
  • the reverb signal (single channel voice signal) is collected from the conference room, the sound source and microphone are 2m away, and the reverberation time (RT60) is about 0,45s.
  • the power spectrum of the late reflected sound is estimated, the lower limit is set to 80 ms, and the upper limit is set to 0, 5 s.
  • the reverberation tail is obviously attenuated, and the speech quality is significantly improved.
  • the apparatus of the present invention is shown in Figure 4, and the single channel "voice de-reverberation" apparatus includes the following units.
  • the framing unit 100 is configured to frame the input single channel_speech signal and output the frame signal to the Fourier transform unit 200 in chronological order.
  • a Fourier transform unit 200 configured to perform short-time Fourier transform on the received current frame, obtain a power spectrum and a phase spectrum of the current frame, and output a power spectrum of the current frame to the spectral subtraction unit 400 and the estimating unit 300, to Fu
  • the inverse Fourier transform unit 500 outputs a phase spectrum.
  • the spectrum estimation unit 300 is configured to superimpose the power spectrum of the thousands of frames in the range of the current frame before the current frame within the set duration, and estimate the power spectrum of the late anti-sound of the current frame.
  • the subtraction unit 400 outputs the estimated power of the late reflection sound of the current frame.
  • the subtraction unit 400 is configured to remove the power spectrum of the late reflection sound of the current frame obtained from the estimation unit 300 in the power spectrum of the current frame obtained from the Fourier transform unit 200 by the f subtraction, to obtain the current direct sound and early reflection.
  • the power spectrum of the sound outputs the power of the direct sound of the current frame and the early reflected sound to the inverse Fourier transform unit 500.
  • the inverse Fourier transform unit 500 is configured to perform short-time Fu with the power spectrum of the direct sound and the early reflected sound of the current frame obtained from the subtraction unit 400 together with the phase spectrum of the current frame obtained from the Fourier transform unit 200. Inverse transform, output the current frame to the signal after reverberation.
  • the estimation unit 300 is specifically configured to set an upper limit value of the duration range according to an attenuation characteristic of the late reflection sound.
  • the estimating unit 300 is specifically configured to set the lower limit value of the duration range according to the speech correlation characteristic and the impact response distribution area of the direct sound and the early reflected sound in the reverberation environment.
  • the spectrum estimation unit 300 is specifically configured to select a value between the upper limit of the range of durations of 0.3 seconds to 0.5 seconds.
  • the pan estimating unit 300 is specifically configured to select a lower limit value of the range of time duration values between 5 () milliseconds and 80 milliseconds.
  • the estimating unit 300 is specifically configured to: apply an autoregressive AR model to the frames of the thousands of frames within a set duration of time before the current frame to the current frame.
  • a linear superposition of all components in the power spectrum estimates the power spectrum of the late reflected sound of the current frame.
  • use the AR model to estimate the power of the late reflection sound of the current frame by the following formula: R(t, f) ⁇ J ⁇ ⁇ , f ' X(i - j ' At, f)
  • the power spectrum for the estimated late reflection sound ' 7 .
  • the number of starting stages derived from the set lower limit value, the order of the AR model derived from the set upper limit value, is the AR model estimation parameter;
  • X ⁇ t -j - M is the power spectrum of the j frame before the current frame , for frame spacing.
  • the error estimation unit 300 is specifically configured to: apply a moving average MA model to the power spectrum of the frames in the range of the set time length before the current frame.
  • a linear superposition of the medium direct sound and the early reflected sound component estimates the power spectrum of the late reflected sound of the current frame.
  • the starting number obtained from the lower limit of the setting ⁇ ⁇ is the order of the ⁇ model derived from the set upper limit value, / is the ⁇ model estimation parameter; . , /) is the direct sound of the j frame before the current frame
  • the power error of the early reflected sound is the frame spacing.
  • the error estimation unit 300 is specifically configured to: apply an autoregressive AR model to the power of the frames before the current frame, if the distance to the current frame is within a set duration All components in the spectrum are linearly superimposed, and the moving average and the early reflected sound components in the power spectrum of these frames are linearly superimposed by using the moving average MA model to estimate the power of the late reverse sound of the current frame.
  • the number of initial stages obtained from the set lower limit value is the order of the AR model obtained from the set upper limit value
  • / is the AR model estimation parameter
  • ⁇ The order of the set of the upper limit of the MA model is the estimated value of the MA model
  • Y(t ⁇ j - At, f) is the power spectrum of the direct and early reflected sound of the j frame before the current frame
  • X(t -j -M,f) is the power spectrum of the j frame before the current frame
  • ⁇ is the frame spacing
  • the spectral subtraction unit 400 is specifically configured to: based on the power spectrum of the late reflected sound
  • the benefit function multiplies the gain function by the power spectrum of the current frame to obtain the power of the direct and early reflected sounds of the current frame.
  • the speech signal ⁇ '/) from which the reverberation is removed can be obtained by spectral subtraction:

Landscapes

  • Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Multimedia (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Cable Transmission Systems, Equalization Of Radio And Reduction Of Echo (AREA)
  • Telephone Function (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Description

本发明涉及语音增强领域， 特别涉及单通道语音去混响的方法和装置。 背景技术 在电话会议， 智能电视网络电话等语音通讯中， 说话人距离麦克风比较 -远， 且通话环境是一个相对封闭的空间， 麦克风端接收的信号容易受到环境混响的 影响。 比如， 在房间内， 语音经过墙面、 地板和家具等多次反射， 麦克风端接 收到的信号是直达声和反射声的混合信号。 这部分反射声就是混响信号。 混响 严重时， 会导致语音不清楚， 影响通话质量。 另外， 混响带来的千扰， 还会导 致声学接收系统性能变差， 语音识别系统性能显著下降等。
早期的去混响方法主要是利用反卷积来进行的。 这类方法需要提前知道准 确的混响环境（房间或办公室等） 的沖激响应或传递函数。 混响环境的冲激响 应可以通过某种特别的方法或装置提前测量得到， 也可以通过其它方法单独估 计得到。 然后利用这个已知的混响环境冲激响应， 估计逆滤波器， 实现对混响 信号的反卷积， 从而实现去混 。 这类方法的问题是， 混响环境的沖激响应往 往很难提前获得， 且求取逆滤波器的过程本身可能引入新的不稳定因素。
另一类去混响方法， 不需要估计混响环境的沖激响应， 因此不需要计算逆 滤波器和进行逆滤波运算， 也被称为盲去混响方法。 这类方法通常基于语音模 型假设， 比如： 混响导致接收的浊音激励脉冲发生变化， 使得周期性变得不那 么明显，从,¾影响语音清晰度。这类方法一般基于 LPC( Linear Prediction Coding, 线性预测编码）模型， 假定产生语音的模型是一个全极点模型， 而混响或其它 加性噪声在整个系统中引入了新的零点， 从而千扰了浊音激凝脉冲， 但并不影 响全极点滤波器。 去混响方法是： 估计信号的 LPC残差， 然后按照基因同步猝发 >(1则 ( pitch— synchronous clustering criterion )或11 更 { K rtosis )
Figure imgf000003_0001
: , 来估计干净的脉冲激励序列， 从而实现去混响。 这类方法的问题是计算复杂度 往往非常高， 且对于混响只影响全零点滤波器的假设， 与实验分析存在不相符 的情况。 利用錯减法去混响是一个较佳的方案， 语音信号包括直达声、 早期反射声 和晚期反射声， 采用谱减法将晚期反射声的功率谱从整个语音的功率谱中除去 能够提高语音质量。 但其中的关键问题在于晚期反射声的谱的估计， 即如何获 得比较准确的晚期反射声的功率谱， 从, ¾在将晚期反射声的成份有效去除的同 时又不损伤语音。 在单通道语音去混响中， 因为只有一路麦克风信息可用， 因 此估计混响环境的传递函数或估计混响时间 （RT60 ) 非常困难。 发明内容 本发明提供的一种单通道语音去混响的方法和装置， 以解决单通道语音去 混响中估计混响环境的传递函数或估计混响时间困难的问¾。
本发明公开了一种单通道语音去混响的方法， 所述方法包括：
对输入的单通道语音信号进.行分幀， 按时间顺序对帧信号进 ^于如下处理： 对当前帧进 ^亍短时傅里叶变换， 获得当前帧的功率谱和相位谱；
选取当前帧之前的、 到当前帧的距离在设置的时长范围内的若千幀， 将这 些帧的功率谱进-行线性叠加估计出当前帧的晚期反射声的功率谱；
通过讲减法从当前帧的功率讲中去除估计出的当前帧的晚期反射声的功率 谱， 得到当前帧的直达声和早期反射声的功率谱；
将当前帧的直达声和早期反射声的功率錯与当前帧的相位谱一起进行短时 傅里叶逆变换， 获得当前帧去混响后的信号。
较佳地， 依据晚期反.射声的衰减特性， 设置所述时长范围的上限值； 依据语音相关特性及直达声和早期反射声在混响环境下的冲击响应分布区 域， 设置所述时长范围的下限值。
较佳地， 所述时长范围的上限值选择在 ()。3秒〜 0.5秒之间的值。
较佳地， 所述时长范围的下限值选择在 50毫秒〜 80毫秒之间的值。
较佳地， 所述将这些幀的功率谱进行线性叠加估计出当前帧的晚期反射声 的功率谱具体包括：
应用自回归 AR模型将这些帧的功率谱中全部成分进行线姓叠加估计出当前 幀的晚期反射声的功率谱；
或^ ¾， 应用滑动平均 MA模型将这些帧的功率借中直达声和早期反射声成分进行 线性叠加估计出当前帧的晚期反.射声的功率谱-; 应用自回归 AR模型将这些帧的功率谱中全部成分进行线性叠加， 并且应用 滑动平均 M A模型将这些帧的功率谱中直达声和早期反射声成分进行线性叠加， 估计出当前幀的晚期反射声的功率谱。
本发明还公开了一种单通道语音去混响的装置， ^述装置包括：
分帧单元， 用于对输入的单通道语音信号进行分帧， 按时间顺序向傅里叶 变换单元输出帧信号；
傅里叶变换单元， 用于对接收的当前帧进行短时傅里叶变换， 获得当前帧 的功率谱和相位谱， 向谱减单元和谱估计单元输出当前幀的功率谱， 向傅里叶 逆变换单元输出相位 ；
传计单元， 用于将当前帧之前的、 到当前帧的距离在设置的时长范围内 的若千帧的功率-潜进行线性叠力^ 估计出当前帧的晚期反射声的功率谱， 向-潜 减单元输出估计的当前帧的晚期反射声的功率 -潜；
谱减单元， 用于通过谱减法从傅里叶变换单元获得的当前帧的功率语中去 除从錯估计单元获得的当前幀的晚期反射声的功率讲， 得到当前帧的直达声和 早期反射声的功率讲， 向傅里叶逆变换单元输出当前帧的直达声和早期反射声 的功率 ;
傅里叶逆变换单元， 用于将从谱减单元获得的当前帧的直达声和早期反射 声的功率谱与从傅里叶变换单元获得的当前幀的相位谱一起进行短时傅里叶逆 变换， 输出当前帧去混响后的信号。
较佳地， 所述谱估计单元具体用于， 依据晚期反射声的衰减特性设置所述 时长范围的上限值； 和 Z或， 依椐语音相关特性及直达声和早期反射声在混响环 境下的冲击响应分布区域设置所述时长范围的下限值。
较佳地， ^述潘估计单元具体用于， 选择时长范围的上限值为 (),3秒〜 0.5秒 之.间的值。
较佳地， 所述潜估计单元具体用于， 选择时长范围的下限值为 50毫秒〜 8()毫 秒之间的俏.。
较佳地， 所述 估计单元具体用于： 对于当前帧之前的、 到当前帧的距离在所述设置的时长范围内的若千帧， 应用自回归 AR模型将这些帧的功率谱中全部成分进行线性叠加估计出当前帧的 晚期反射声的功率谱； 对于当前帧之前的 到当前帧的距离在所述设置的时长范围内的若千帧， 应用滑动平均 MA模型将这些帧的功率谱中直达声和早期反射声成分进行线性 叠加估计出当前幀的晚期反射声的功率谱；
或者，
对于当前帧之前的 到当前帧的距离在所述设置的时长范围内的若千帧， 应用自回归 AR 型将这些帧的功率谱中全部成分进行线性叠加， 并且应用滑动 平均 MA模型将这些帧的功率谱中直达声和早期反射声成分进行线性叠加，估计 出当前帧的晚期反射声的功率谱。
本发明实施例的有益效果是： 通过选取当前帧之前的、 到当前帧的距离在 设置的时长范围内的若千帧， 将这些幀的功率谱进行线性叠加估计出当前帧的 晚期反射声的功率谱， 能够不需估计混响环境的传递函数或混响时间， 便可以 估计出当前帧的晚期反射声的功率谱， 进而利用谱减法进行去混响， 简化了去 依据语音相关特性及直达声和早期反射声在混响环境下的冲击响应分布区 域设置时长范围的下限值， 能够在去除混响的同时更^ "保留有用的直达声和早 依据晚期反射声的衰减特性设置时长范围的上限值， 能够在保证估计的晚 期反射声的功率谱的准确性的同时， 减少叠加运算量；
本发明实施例将上限值选择为 0.3秒〜 (),5秒之间的值， 该上限值为通过实验 获得的门限值， 在混响环境发生变化时， 无需调整该上限值， 都能够获得 4 好 的去混响效果；
本发明实施例将下限值设置在 5()毫秒〜 80毫秒之间， 在混响环境变化时， 无 需改变下限值， 便能够有效避开直达声和早期反射声进行叠加， 使得叠加结果 中基本不包含直达声和早期反射声 , 从而在去混响的同时保留有用的直达声和 早期反射声， 取得较好的话音质量
上述混 环境的变化包括： 从无混响的消声室到混响非常严重的大礼堂 W"围说明 图 i为本发明单通道语音去混响的方法的流程图；
图 2为真实房间的冲激 应的示意图；
图 3为本发明实施效果示意图， 图 3 ( a )为混响信号时域示意图， 图 3 ( b ) 为去混响后的信号的时域示意图， 图 3 ( e ) 为混响信号和去混响信号的能量包 络曲线；
图 4为本发明单通道—语音去混响装置的结构图；
图 5为本发明单通道—语音去混响装置具体实施方式的结构图。
为使本发明的目的 > 技术方案和优点更.加清楚， 下面将结合附图对本发明 实旅方式作进一步地详.细描述- 参见图 1， 为本发明提供的单通道语音去混响的方法的流程图。
步骤. S100, 对输入的单通道语音信号进-行分帧， 按时间顺序对帧信号进-行 如下处理。
步骤 S200， 对当前帧进 短时傅里叶变换， 获得当前帧的功率錯和相位谱。 步骤 S300, 选取当前帧之前的、 到当前幀的距离在设置的时长范围内的若 千帧， 将这些帧的功率谱进 _行线性叠加估计出当前帧的晚期反射声的功率谱。
所述若千帧为一个预设数量的帧， 可以为时长范围内的所有帧或该时长范 围内的一部分帧。
步驟 S400， 通过谱减法从当前帧的功率谱中去除估计的当前帧的晚期反.射 声的功率谱， 得到当前帧的直达声和早期反射声的功率谋。
步驟 S50()， 将当前幀的直达声和早期反射声的功率谱与当前帧的相位谱一 起进行短时傅里叶逆变换， 获得当前幀去混响后的信号。
在混响环境中， 麦克风采集到的信号 )， 即单通道语音信号， 是直达声和 反射声的混合， 可用如下混响模型表示：
x(t) = h * s(t) + n(t)
其中， 是从声源发出的信号， A是从声源位置到麦克风位置两点之间的 房间冲激响应， *表示卷积运算， 表示混响环境内的其它加性噪声。
—个真实房间的沖激响应， 如图 2所示。 可以将它划分为 3个部分， 直达 峰^、 早期反射 和晚期反射 。 和 5(0的卷积可以简单地认为是声源发出 的信号经过一定的延迟后在麦克风端的再现， 对应于 x 中的直达声部分。 早期 反射部分的冲击响应对应于 之后一段时长的部分， 该时长的结東时间点为
50ms至 80ms中的某个时间点。 一般.认为这一部分和 )卷积所产生的早期反射 声对直达声有加强和改善音质的作用。 晚期反射声部分的冲击响应是去除 和 ^后房间冲激响应余下的长长的拖尾部分， 这一部分与信号 )卷积所产生的反 射声， 就是会对听感造成影响的混响成份。 去混响算法主要是去除这一部分的 影响。
因此， 混响模型也可表示为：
x(t) = {he! + he) * s(t) + M * s(j) + n{t) hi部分符合指数衰减模型 , 可用如下方程近似：
3 In 10
hl( ) - h(i)e 7
其中， 是混响环境的混响时间 （RT60 ), )是零均值高斯分布随机变量。 下面详细描述如何进行晚期反射声的功率语估计。
从功率谱分柝角度来看， 信号功率谱 可以表示为： 其中 /)为晚期反射声的功率谱， 而 ^， /)是直达声和早期反射声的功率 谱，应予以保留。估计出晚期反射声的功率谱 后，可以利用谱减法把}^/) 从 /)中估计出来， 从而实现去混响。
根据混响产生模型分折， 晚期反射声的功率谱与在它之前的信号功率谱或 信号功率 中的某些成份成线性关系， 而直达声和早期反射声的功率 由于人 的语音特性， 恰恰和过去的信号功率谱或信号功率讲中的某些成份不构成线性 关系。 因此， 通过对当前帧之前的特定时长的帧的功率錯中成分进行线性叠加， 能够估计出当前帧的晚期反射声的功率谱。 接着， 再通过谱减法将晚期反射声 的功率谱从功率谱中去除掉， 能够实现单通道语音去混响。 较.佳地， 依据晚期反射声的衰减特性设置所述时长范围的上限值。
进行语估计所用的帧越多， 估计越准确， 但是过多的帧造成运算量的增加。 通过图 2和 ^部分的指数衰减模型可知距离当前幀越远的反射声能量越小， 在 某一时刻之后的反射声能量可以被忽略。 因此， 依据晚期反射声的衰减特性获 得该反射声能量可以被忽略的时刻， 设置上限值为该时刻距离当前幀时刻的时 长。 由此， 能够在保证估计的晚期反射声的功率谱的准确性的同时， 减少叠加 运界量。 较佳地， 依椐语音相关特性及直达声和早期反射声在混响环境下的冲击响 应分布区域, 来设置 ^述时长范围的下限值。
通过图 2可知直达声和早期反射声能量集中在距离当前幀较近的时间内。 依据直达声和早期反射声在混响环境下的冲击响应分布区域设置下限值， 使得 在线性叠加时避开直达声和早期反射声能量集中的时间段， 能够在去除混响的 同时更好保留有用的直达声和早期反射声， 提高话音质量。 较佳地， 所述时长范围的下限值选择为 50毫秒〜 80毫秒之间的值。
通过实验发现，在各种环境下， 只要保证下限值取值为 50ms〜 80ms之间的 数值， 就可以有效地绕过直达声和早期.反射声部分， 更好地估计出有效的晚期 反射声的功率谱。 当环境发生变化后， 无需调整下限值设置， 便可获得较好话 音质量。 较佳地， 所述时长范围的上限值选择为在 0.3秒〜 0.5秒之间的值。
理论上， 上限值的设置与应用方法的具体环境相关。 在本发明所涉及的晚 期反射声的功率语估计中， 上限值理论上对应于房间冲激响应的长度， 但结合 混响产生模型以及真实环境的冲激响应 ^部分按指数模型衰减， 距离当前时刻 越远的反射声能量越小， 超过 0.5s后反射声的能量几乎可以忽略不计。 因此， 实际中只需要使用一个粗略的上限值就可以适用于绝大多数混响环境。 经验证， 上限值取在 0.3秒〜 0,5秒之间的值时， 对消声室环境（混响时间 常短）、 一般 办公室环境（混响时间 0,3 ~ 0.5s )、 甚或大礼堂（混响时间 >i s ) 的多种混响环 境都具有艮好的适应性。 在消声室环境下， 几乎没有晚期反射声。 本发明的方 法只估计线性成份， 且绕过了直达声和早期反射声的能量集中时间段， 因此即 便上限值的取值比消声室的混响时间长很多， 但有效的语音成份并不会被去除。 而在大礼堂环境中， 虽然上限值的取值可能小于真实的混 时间， 但由于冲激 响应按指数衰减得非常快， 前 0,3s 内的晚期反射声成份占据了总体晚期反射声 成份的绝大部分能量， 因为也可以把混响很.好地去除。 在一具体实施方式中， 所述将这些帧的功率谱进行线性叠加估计出当前帧 的晚期反.射声的功率谱具体包括：应用自回归 AR模型将这些帧的功率谱中全部 成分进行线姓叠加估计出当前帧的晚期反射声的功率谱。
例如， 按如下公式使用 AR模型估计当前帧的晚期反射声的功率谱：
R , f) -∑ ' X(t j - At, f) 其中， 为估计的晚期反射声的功率谱， 为由设置的时长范围的下限 值得出的起始阶数， ^为由设置的时长范围的上限值得出的 AR模型的阶数， ""为 AR模型估计参数； ^Δί，/)为当前帧之前 j帧的功率谱， 为帧间距。 在一具体实施方式中， 所述将这些帧的功率讲进行线性叠加估计出当前幀 的晚期反射声的功率谱具体包括： 应用滑动平均 MA模型将这些帧的功率谱中 直达声和早期反射声成分进行线性叠加估计出当前帧的晚期反射声的功率谱。
例如, 按如下公式使用 MA模型估计当前幀的晚期反射声的功率谱：
R(i f) - 2 β, f ' Y(t - j ' Δ ·， /) 其中， 为估计的晚期反射声的功率谱， ^为由设置的时长范围的下限 值得出的起始阶数， 为由设置的时长范围的上限值得出的 ΜΑ模型的阶数， β 为 ΜΑ模型估计参数； 。^/)为当前帧之前 j帧的直达声和早期反.射声 的功率谱， 为帧间距。 在一具体实施方式中， 所述将这些帧的功率谱进行线性叠加估计出当前帧 的晚期反射声的功率谱具体包括：应用自回归 AR模型将这些幀的功率谱中全部 成分进行线姓叠加， 并且应用滑动平均 MA模型将这些帧的功率谱中直达声和 早期反射声成分进行线性叠加， 估计出当前帧的晚期反射声的功率潘。
例如， 按如下公式使用 ARMA模型估计当前帧的晚期反射声的功率谱：
R(t, f) - ¾ a f , X(t - j ' At, ./') .+· Y(t― j ' At, f) 其中， 计的晚期反射声的功率谱， ^为由设置的
值得出的起始阶数， J 为由设置的时长范围的上限值得出的 AR模型的阶数， a 为 AR模型估计 -数， 为由设置的上限值得出的 MA模型的阶数， 为 MA模型怙 "ί十参数， Y(t -- j - M )为当前帧之前 j帧的直达声和早期反射声的功 率谱， ίϊ~^'Δί'/)为当前帧之前 j帧的功率讲， 为帧间距。
AR模型、 ΜΑ模型、 ARMA模型的具体求解， 现有技术中存在公知算法， 比如， 利用 Yule- Walker (尤利-沃克）方程求解或 Burg (伯格）算法。
利用讲减法来去混响， 估计晚期反射声的功率谱最为关键。 现有技术中提 到的晚期反射声的功率谱估计往往是上述提出的 AR或 MA或 ARMA模型的某 种特例， 此外， 其它晚期反射声的功率讲估计方法往往需要在语音间歇阶段估 计混响环境的混响时间（RT60 )， 作为晚期反射声的功率谱估计中的一个重要参 数。 在本专利中， 不需要估计混响时间或对各种环境估计冲激响应， 便可以适 应多种不同的混响环境， 以及说话人在混响环境中由于运动等造成的混响冲激 响应或混响时间发生改变的情况。 中， 通
Figure imgf000011_0001
函数；
ή直达声和早期反射声的功率
^ * 功率谱 ^、/)估计完成后， 去除混响的语音信号 可以通 过谱减法得到:
Figure imgf000011_0002
其中， ,/) 为谱-; Gain (增益 ) 函数' n ：^果如图 3 所示。 混响信号 （单通道语音信号） 采集自会议 室， 声源和麦克风距离 2m， 混响时间 （ RT60 )约 0,45s。 按本发明中提出的 AR 模型估计晚期反射声的功率谱， 下限值设置为 80ms， 上限值设置为 0,5s。 依图 示可知， 应用本发明方法去混响后， 混响拖尾明显衰减， 语音质量得到显著提 升。 本发明的装置如图 4所示， 单通道―语音去混响的装置包括如下单元。
分帧单元 100， 用于对输入的单通道 _语音信号进行分帧， 按时间顺序向傅里 叶变换单元 200输出幀信号。
傅里叶变换单元 200， 用于对接收的当前帧进行短时傅里叶变换， 获得当前 幀的功率谱和相位谱， 向谱减单元 400和 估计单元 300输出当前帧的功率谱， 向傅里叶逆变换单元 500输出相位谱。
谱估计单元 300, 用于将当前帧之前的、 到当前帧的距离在设置的时长范围 内的若千幀的功率谱进行线姓叠加， 估计出当前帧的晚期反 声的功率谱， 向 谱减单元 400输出估计的当前帧的晚期反射声的功率
减单元 400，用于通过 f减法从傅里叶变换单元 200获得的当前帧的功率 谱中去除从 估计单元 300获得的当前幀的晚期反射声的功率谱， 得到当前顿 的直达声和早期反射声的功率谱， 向傅里叶逆变换单元 500输出当前帧的直达 声和早期反射声的功率语。
傅里叶逆变换单元 500，用于将从傳减单元 400获得的当前帧的直达声和早 期反射声的功率谱与从傅里叶变换单元 200获得的当前幀的相位谱一起进行短 时傅里叶逆变换， 输出当前帧去混响后的信号。
较佳地， 所述讲估计单元 300具体用于， 依据晚期反射声的衰减特性设置 所述时长范围的上限值。
较佳地， 谋估计单元 300 具体用于， 依据语音相关特性及直达声和早期反 射声在混响环境下的沖击响应分布区域设置所述时长范围的下限值。
较佳地， 谱估计单元 300具体用于，选择时长范围的上限值为 0.3秒〜 0.5秒 之.间的值。
较佳地， 潘估计单元 300具体用于， 选择时长范围的下限值为 5()毫秒〜 80 毫秒之间的值。
具体实施方式的装置如图 5所示， 所述 估计单元 300具体用于： 对于当 前帧之前的 到当前帧的距离在设置的时长范围内的若千帧， 应用自回归 AR 模型将这些帧的功率谱中全部成分进行线性叠加估计出当前帧的晚期反射声的 功率谱。 例如， 按如下公式使用 AR模型估计当前帧的晚期反射声的功率借： R(t, f) 二 J αΊ, f ' X(i - j ' At, f)
Figure imgf000013_0001
其中， 为估计的晚期反射声的功率谱， '7。为由设置的下限值得出的起 始级数， 为由设置的上限值得出的 AR模型的阶数， 为 AR模型估计参数; X{t -j - M )为当前帧之前 j帧的功率谱， 为幀间距。
在另一具体实施方式中， 所述錯估计单元 300具体用于： 对于当前帧之前 的 到当前幀的距离在设置的时长范围内的若千帧， 应用滑动平均 MA模型将 这些帧的功率谱中直达声和早期反射声成分进行线性叠加估计出当前帧的晚期 反射声的功率谱-。
例如, 按如下公式使用 MA模型估计当前幀的晚期反射声的功率谱： '/ ) =^ U ( . · 。 Δ"')
==:Jo
其中， 为估计的晚期反射声的功率谱， ^。为由设置的下限^ ί得出的起 始级数， 为由设置的上限值得出的 ΜΑ模型的阶数， /为 ΜΑ模型估计参 数； . ,/)为当前帧之前 j帧的直达声和早期反射声的功率錯， 为帧间距。
在另一具体实施方式中， 所述錯估计单元 300具体用于： 对于当前幀之前 的、到当前帧的距离在设置的时长范围内的若千帧，应用自回归 AR模型将这些 幀的功率谱中全部成分进行线性叠加， 并且应用滑动平均 MA模型将这些帧的 功率谱中直达声和早期反射声成分进行线性叠加， 估计出当前帧的晚期反.射声 的功率请。
例如， 按如下公式使用 ARMA模型估计当前幀的晚期反身声的功率谱： R{t, f) = a i, f ' x^― j ' Δί, ) + β · Y(i― j · At, f)
j ' J
其中， 为估计的晚期反射声的功率讲， 为由设置的下限值得出的起 始级数， 为由设置的上限值得出的 AR模型的阶数， /为 AR模型估计参数， ^"为由设置的上限值得出的 MA模型的阶数， 为 MA 模型估计参数， Y(t ~j - At,f)为当前帧之前 j 帧的直达声和早期反射声的功率谱， X(t -j -M,f)为 当前帧之前 j帧的功率谱， ^为幀间距
AR模型、 ΜΑ模型、 A MA模型的具体求解， 现有技术中存在公知算法， 比如， 利用 Yuie- Walker (尤利-沃克）方程求解或 Burg (伯格） 算法， 所述谱减单元 400具体用于： 依据晚期反射声的功率谱通
益函数， 将增益函数与当前帧的功率谱相乘得当前帧的直达声和早期反射声的 功率 -。
晚期反射声的功率谱 估计完成后， 去除混响的语音信号 ^'/)可以通 过谱减法得到：
Figure imgf000014_0001
Figure imgf000014_0002
以上所述仅为本发明的较佳实施例而已， 并非用于限定本发明的保护范围 凡在本发明的精神和原则之内所作的任何修改、 等同替换、 改进等， 均包含 本发明的保护范围内。

Claims

1、 一种单通道语音去混响的方法， 其特征在于， 所述方法包括： 对输入的单通道语音信号进.行分帧， 按时间顺序对帧信号进.行如下处理： 对当前幀进行短时傅里叶变换， 获得当前帧的功率谱和相位谱；
选取当前帧之前的、 到当前帧的距离在设置的时长范围内的若千帧， 将这 些幀的功率-潜进行线性叠加估计出当前幀的晚期反射声的功率语；
通过语减法从当前帧的功率讲中去除估计出的当前帧的晚期反射声的功率 谱， 得到当前幀的直达声和早期反射声的功率谱；
将当前帧的直达声和早期反射声的功率谱与当前帧的相位錯一起进行短时 傅里叶逆变换， 获得当前帧去混响后的信号。
2、 根据权利要求 1所述的方法， 其特征在于，
依据晚期反射声的衰减特性， 设置所述时长范围的上限值；
和,' '或，
依据语音相关特性及直达声和早期反 声在混响环境下的冲击响应分布区 域， 设置所述时长范围的下限值。
3、 根据权利要求 1所述的方法， 其特征在于，
所述时长范围的上限值选择在 0,3秒〜 0,5秒之间的值。
4、 根据权利要求 1所述的方法， 其特征在于，
所述时长范围的下限值选择在 50毫秒〜 80毫秒之间的值。
5、 根据权利要求 1所述的方法， 其特征在于，
所述将这些顿的功率谱进行线性叠加估计出当前帧的晚期反射声的功率谱 具体包括：
应用自回归 AR模型将这些幀的功率谱中全部成分进 线性叠加估计出当 前幀的晚期反射声的功率谱； 应用滑动平均 MA模型将这些帧的功率谱中直达声和早期反射声成分进行 线性叠加估计出当前帧的晚期反射声的功率谱; 加， 估计出当前帧的晚期反射声的功率谱。
6、 一种单通道.语音去混响的装置， 其特征在于， 所述装置包括：
分幀单元， 用于对输入的单通道—语音信号进行分帧， 按时间顺序向傅里叶 变换单元输出帧信号；
傅里叶变换单元， 用于对接收的当前帧进行短时傅里叶变换， 获得当前帧 的功率谱和相位'谱， 向谱减单元和谱估计单元输出当前帧的功率讲， 向傅里叶 逆变换单元输出相位谱；
谱估计单元， 用于将当前帧之前的、 到当前帧的距离在设置的时长范围内 的若千帧的功率谱进行线性叠加， 估计出当前帧的晚期反射声的功率谱， 向谱 减单元输出估计的当前幀的晚期反射声的功率讲；
谱减单元， 用于通过谱减法从傅里叶变换单元获得的当前帧的功率谱中去 除从讲估计单元获得的当前帧的晚期反射声的功率谱， 得到当前帧的直达声和 早期反射声的功率谱， 向傅里叶逆变换单元输出当前帧的直达声和早期反射声 的功率 -潜；
傅里叶逆变换单元， 用于将从傳减单元获得的当前帧的直达声和早期反射 声的功率谱与从傅里叶变换单元获得的当前帧的相位谱一起进行短时傅里叶 逆变换， 输出当前帧去混响后的信号。
7、 根据权利要求 6所述的装置， 其特征在于，
所述讲估计单元具体用于， 依据晚期反射声的衰减特性设置所述时长范围 的上限值； 和 /或，依据语音相关特性及直达声和早期反射声在混响环境下的沖 击响应分布区域设置所述时长范围的下限值。
8、 根据权刹要求 6所述的装置， 其特征在于，
所述潘估计单元具体用于，选择时长范围的上限值为 0.3秒〜 0,5秒之间的值。
9、 根据权利要求 6所述的装置， 其特征在于，
所述潘估计单元具体用于， 选择时长范围的下限值为 50毫秒〜 8()毫秒之间 的值。
10、 根据权利要求 6所述的装置， 其特征在于，
所述潘估计单元具体用于：
对于当前帧之前的、 到当前帧的距离在所述_设置的时长范围内的若千帧， 应用自回归 AR模型将这些帧的功率谱中全部成分进行线性叠加估计出当前幀 对于当前帧之前的、 到当前帧的距离在所述设置的时长范围内的若千帧， 应用滑动平均 MA模型将这些帧的功率谱中直达声和早期反射声成分进行线性 叠加估计出当前帧的晚期反射声的功率谱；
或者，
对于当前帧之前的 到当前帧的距离在所述设置的时长范围内的若干帧， 应用自回归 AR模型将这些幀的功率谱中全部成分进行线性叠加， 并且应用滑 动平均 MA模型将这些帧的功率谱中直达声和早期反射声成分进行线性叠加， 估计出当前帧的晚期反射声的功率谱。
PCT/CN2013/073584 2012-06-18 2013-04-01 一种单通道语音去混响的方法和装置 Ceased WO2013189199A1 (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DK13807732.6T DK2863391T3 (da) 2012-06-18 2013-04-01 Fremgangsmåde og indretning til fjernelse af efterklang af enkanal-tale
KR1020147035393A KR101614647B1 (ko) 2012-06-18 2013-04-01 단일채널 음성의 반향제거를 위한 방법 및 장치
JP2015516415A JP2015519614A (ja) 2012-06-18 2013-04-01 シングルチャンネル音声残響除去方法及びその装置
US14/407,610 US9269369B2 (en) 2012-06-18 2013-04-01 Method and device for dereverberation of single-channel speech
EP13807732.6A EP2863391B1 (en) 2012-06-18 2013-04-01 Method and device for dereverberation of single-channel speech

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210201879.7 2012-06-18
CN201210201879.7A CN102750956B (zh) 2012-06-18 2012-06-18 一种单通道语音去混响的方法和装置

Publications (1)

Publication Number Publication Date
WO2013189199A1 true WO2013189199A1 (zh) 2013-12-27

Family

ID=47031075

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2013/073584 Ceased WO2013189199A1 (zh) 2012-06-18 2013-04-01 一种单通道语音去混响的方法和装置

Country Status (7)

Country Link
US (1) US9269369B2 (zh)
EP (1) EP2863391B1 (zh)
JP (2) JP2015519614A (zh)
KR (1) KR101614647B1 (zh)
CN (1) CN102750956B (zh)
DK (1) DK2863391T3 (zh)
WO (1) WO2013189199A1 (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016054421A (ja) * 2014-09-03 2016-04-14 リオン株式会社 残響抑制装置
CN111512367A (zh) * 2017-09-21 2020-08-07 弗劳恩霍夫应用研究促进协会 提供处理的降噪且混响降低的音频信号的信号处理器和方法
CN113160842A (zh) * 2021-03-06 2021-07-23 西安电子科技大学 一种基于mclp的语音去混响方法及系统
CN114255777A (zh) * 2021-12-20 2022-03-29 苏州蛙声科技有限公司 实时语音去混响的混合方法及系统
CN114898771A (zh) * 2022-03-25 2022-08-12 沈阳化工大学 一种适用于美声教学的发声训练方法

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102750956B (zh) * 2012-06-18 2014-07-16 歌尔声学股份有限公司 一种单通道语音去混响的方法和装置
CN104867497A (zh) * 2014-02-26 2015-08-26 北京信威通信技术股份有限公司 一种语音降噪方法
CN106504763A (zh) * 2015-12-22 2017-03-15 电子科技大学 基于盲源分离与谱减法的麦克风阵列多目标语音增强方法
CN107358962B (zh) * 2017-06-08 2018-09-04 腾讯科技（深圳）有限公司 音频处理方法及音频处理装置
CN109754821B (zh) 2017-11-07 2023-05-02 北京京东尚科信息技术有限公司 信息处理方法及其系统、计算机系统和计算机可读介质
CN110111802B (zh) * 2018-02-01 2021-04-27 南京大学 基于卡尔曼滤波的自适应去混响方法
US10726857B2 (en) * 2018-02-23 2020-07-28 Cirrus Logic, Inc. Signal processing for speech dereverberation
CN108986799A (zh) * 2018-09-05 2018-12-11 河海大学 一种基于倒谱滤波的混响参数估计方法
CN109584896A (zh) * 2018-11-01 2019-04-05 苏州奇梦者网络科技有限公司 一种语音芯片及电子设备
WO2020107455A1 (zh) * 2018-11-30 2020-06-04 深圳市欢太科技有限公司 语音处理方法、装置、存储介质及电子设备
CN110364161A (zh) * 2019-08-22 2019-10-22 北京小米智能科技有限公司 响应语音信号的方法、电子设备、介质及系统
CN111123202B (zh) * 2020-01-06 2022-01-11 北京大学 一种室内早期反射声定位方法及系统
DK3863303T3 (da) 2020-02-06 2023-01-16 Univ Zuerich Vurdering af forholdet mellem direkte lyd og efterklangsforholdet i et lydsignal
CN111489760B (zh) 2020-04-01 2023-05-16 腾讯科技（深圳）有限公司 语音信号去混响处理方法、装置、计算机设备和存储介质
KR102191736B1 (ko) 2020-07-28 2020-12-16 주식회사 수퍼톤 인공신경망을 이용한 음성향상방법 및 장치
CN112599126B (zh) * 2020-12-03 2022-05-27 海信视像科技股份有限公司 一种智能设备的唤醒方法、智能设备及计算设备
CN112863536A (zh) * 2020-12-24 2021-05-28 深圳供电局有限公司 环境噪声提取方法、装置、计算机设备和存储介质
CN113362841B (zh) * 2021-06-10 2023-05-02 北京小米移动软件有限公司 音频信号处理方法、装置和存储介质
CN113223543B (zh) * 2021-06-10 2023-04-28 北京小米移动软件有限公司 语音增强方法、装置和存储介质
CN114333876B (zh) * 2021-11-25 2024-02-09 腾讯科技（深圳）有限公司 信号处理的方法和装置
CN114898763B (zh) * 2022-05-27 2025-04-25 随锐科技集团股份有限公司 用于预测混响时间的方法及其相关产品
CN116469407A (zh) * 2023-05-04 2023-07-21 北京沃东天骏信息技术有限公司 一种音频处理方法、装置、设备和介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1989550A (zh) * 2004-07-22 2007-06-27 皇家飞利浦电子股份有限公司 音频信号去混响
US20080059157A1 (en) * 2006-09-04 2008-03-06 Takashi Fukuda Method and apparatus for processing speech signal data
US20080292108A1 (en) * 2006-08-01 2008-11-27 Markus Buck Dereverberation system for use in a signal processing apparatus
CN101315772A (zh) * 2008-07-17 2008-12-03 上海交通大学 基于维纳滤波的语音混响消减方法
CN101385386A (zh) * 2006-03-03 2009-03-11 日本电信电话株式会社 混响除去装置、混响除去方法、混响除去程序和记录介质
CN101454825A (zh) * 2006-09-20 2009-06-10 哈曼国际工业有限公司 用于提取和改变输入信号的混响内容的方法和装置
US8160262B2 (en) * 2007-10-31 2012-04-17 Nuance Communications, Inc. Method for dereverberation of an acoustic signal
CN102750956A (zh) * 2012-06-18 2012-10-24 歌尔声学股份有限公司 一种单通道语音去混响的方法和装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5029509A (en) * 1989-05-10 1991-07-09 Board Of Trustees Of The Leland Stanford Junior University Musical synthesizer combining deterministic and stochastic waveforms
JPH0739968B2 (ja) * 1991-03-25 1995-05-01 日本電信電話株式会社 音響伝達特性模擬方法
JPH1091194A (ja) * 1996-09-18 1998-04-10 Sony Corp 音声復号化方法及び装置
US6011846A (en) * 1996-12-19 2000-01-04 Nortel Networks Corporation Methods and apparatus for echo suppression
US6261101B1 (en) * 1997-12-17 2001-07-17 Scientific Learning Corp. Method and apparatus for cognitive training of humans using adaptive timing of exercises
US6496795B1 (en) * 1999-05-05 2002-12-17 Microsoft Corporation Modulated complex lapped transform for integrated signal enhancement and coding
US6618712B1 (en) * 1999-05-28 2003-09-09 Sandia Corporation Particle analysis using laser ablation mass spectroscopy
JP2001175298A (ja) * 1999-12-13 2001-06-29 Fujitsu Ltd 騒音抑圧装置
KR100701452B1 (ko) * 2000-05-17 2007-03-29 코닌클리케 필립스 일렉트로닉스 엔.브이. 스펙트럼 모델링
WO2002011326A2 (en) * 2000-07-27 2002-02-07 Activated Content Corporation, Inc. Stegotext encoder and decoder
US6862558B2 (en) * 2001-02-14 2005-03-01 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Empirical mode decomposition for analyzing acoustical signals
US20080281602A1 (en) * 2004-06-08 2008-11-13 Koninklijke Philips Electronics, N.V. Coding Reverberant Sound Signals
CN101040512B (zh) * 2004-10-13 2010-05-26 皇家飞利浦电子股份有限公司 回波抵消设备与方法
JP4486527B2 (ja) * 2005-03-07 2010-06-23 日本電信電話株式会社 音響信号分析装置およびその方法、プログラム、記録媒体
JP2007065204A (ja) * 2005-08-30 2007-03-15 Nippon Telegr & Teleph Corp <Ntt> 残響除去装置、残響除去方法、残響除去プログラム及びその記録媒体
US7856353B2 (en) * 2007-08-07 2010-12-21 Nuance Communications, Inc. Method for processing speech signal data with reverberation filtering
JP5178370B2 (ja) * 2007-08-09 2013-04-10 本田技研工業株式会社 音源分離システム
US20090154726A1 (en) * 2007-08-22 2009-06-18 Step Labs Inc. System and Method for Noise Activity Detection
JP4532576B2 (ja) * 2008-05-08 2010-08-25 トヨタ自動車株式会社 処理装置、音声認識装置、音声認識システム、音声認識方法、及び音声認識プログラム
JP2009276365A (ja) * 2008-05-12 2009-11-26 Toyota Motor Corp 処理装置、音声認識装置、音声認識システム、音声認識方法
JP4977100B2 (ja) * 2008-08-11 2012-07-18 日本電信電話株式会社 残響除去装置、残響除去方法、そのプログラムおよび記録媒体
JP4960933B2 (ja) * 2008-08-22 2012-06-27 日本電信電話株式会社 音響信号強調装置とその方法と、プログラムと記録媒体
JP5645419B2 (ja) * 2009-08-20 2014-12-24 三菱電機株式会社 残響除去装置
EP2545717A1 (de) * 2010-03-10 2013-01-16 Siemens Medical Instruments Pte. Ltd. Enthallen von signalen einer binauralen hörvorrichtung
CN102576543B (zh) * 2010-07-26 2014-09-10 松下电器产业株式会社 多输入噪声抑制装置、多输入噪声抑制方法以及集成电路
JP5751110B2 (ja) * 2011-09-22 2015-07-22 富士通株式会社 残響抑制装置および残響抑制方法並びに残響抑制プログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1989550A (zh) * 2004-07-22 2007-06-27 皇家飞利浦电子股份有限公司 音频信号去混响
CN101385386A (zh) * 2006-03-03 2009-03-11 日本电信电话株式会社 混响除去装置、混响除去方法、混响除去程序和记录介质
US20080292108A1 (en) * 2006-08-01 2008-11-27 Markus Buck Dereverberation system for use in a signal processing apparatus
US20080059157A1 (en) * 2006-09-04 2008-03-06 Takashi Fukuda Method and apparatus for processing speech signal data
CN101454825A (zh) * 2006-09-20 2009-06-10 哈曼国际工业有限公司 用于提取和改变输入信号的混响内容的方法和装置
US8160262B2 (en) * 2007-10-31 2012-04-17 Nuance Communications, Inc. Method for dereverberation of an acoustic signal
CN101315772A (zh) * 2008-07-17 2008-12-03 上海交通大学 基于维纳滤波的语音混响消减方法
CN102750956A (zh) * 2012-06-18 2012-10-24 歌尔声学股份有限公司 一种单通道语音去混响的方法和装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016054421A (ja) * 2014-09-03 2016-04-14 リオン株式会社 残響抑制装置
CN111512367A (zh) * 2017-09-21 2020-08-07 弗劳恩霍夫应用研究促进协会 提供处理的降噪且混响降低的音频信号的信号处理器和方法
CN111512367B (zh) * 2017-09-21 2023-03-14 弗劳恩霍夫应用研究促进协会 提供处理的降噪且混响降低的音频信号的信号处理器和方法
CN113160842A (zh) * 2021-03-06 2021-07-23 西安电子科技大学 一种基于mclp的语音去混响方法及系统
CN113160842B (zh) * 2021-03-06 2024-04-09 西安电子科技大学 一种基于mclp的语音去混响方法及系统
CN114255777A (zh) * 2021-12-20 2022-03-29 苏州蛙声科技有限公司 实时语音去混响的混合方法及系统
CN114898771A (zh) * 2022-03-25 2022-08-12 沈阳化工大学 一种适用于美声教学的发声训练方法

Also Published As

Publication number Publication date
EP2863391B1 (en) 2020-05-20
CN102750956A (zh) 2012-10-24
KR20150005719A (ko) 2015-01-14
EP2863391A4 (en) 2015-09-09
JP2017021385A (ja) 2017-01-26
US9269369B2 (en) 2016-02-23
JP2015519614A (ja) 2015-07-09
CN102750956B (zh) 2014-07-16
DK2863391T3 (da) 2020-08-03
EP2863391A1 (en) 2015-04-22
JP6431884B2 (ja) 2018-11-28
US20150149160A1 (en) 2015-05-28
KR101614647B1 (ko) 2016-04-21

Similar Documents

Publication Publication Date Title
WO2013189199A1 (zh) 一种单通道语音去混响的方法和装置
US10891931B2 (en) Single-channel, binaural and multi-channel dereverberation
US11133019B2 (en) Signal processor and method for providing a processed audio signal reducing noise and reverberation
CN108172231B (zh) 一种基于卡尔曼滤波的去混响方法及系统
CN108141656B (zh) 用于麦克风的数字信号处理的方法和装置
US20140025374A1 (en) Speech enhancement to improve speech intelligibility and automatic speech recognition
US11380312B1 (en) Residual echo suppression for keyword detection
Mosayyebpour et al. Single-microphone early and late reverberation suppression in noisy speech
CN109920444B (zh) 回声时延的检测方法、装置以及计算机可读存储介质
EP3692529B1 (en) An apparatus and a method for signal enhancement
Zhou et al. Speech dereverberation with a reverberation time shortening target
GB2577905A (en) Processing audio signals
CN106340302A (zh) 一种语音数据的去混响方法及装置
Cherkassky et al. Blind synchronization in wireless sensor networks with application to speech enhancement
CN202887704U (zh) 一种单通道语音去混响装置
CN110140294B (zh) 用于均衡音频信号的方法和装置
EP3058564A1 (fr) Spatialisation sonore avec effet de salle, optimisee en complexite
KR20160149736A (ko) 음성 인식 장치 및 그 동작 방법
Islam et al. Statistical modeling for suppression of late reverberation with inverse filtering for early reflections

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13807732

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015516415

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14407610

Country of ref document: US

ENP Entry into the national phase

Ref document number: 20147035393

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2013807732

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE